JP4794903B2

JP4794903B2 - 端末装置、端末装置が行う制御方法及びプログラム

Info

Publication number: JP4794903B2
Application number: JP2005138367A
Authority: JP
Inventors: 哲広高根澤; 弘幸大澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-11
Filing date: 2005-05-11
Publication date: 2011-10-19
Anticipated expiration: 2025-05-11
Also published as: JP2006319526A

Description

本発明は、撮像装置の撮像画像を表示画面で表示する端末装置、端末装置が行う制御方法及びプログラムに関する。

インターネット技術を利用して、リアルタイムにカメラで撮影した画像をネットワークを介して接続されたパーソナルコンピュータ等の端末装置に表示しつつ、その端末装置からカメラの撮影方向を制御するネットワークカメラシステムがある。かかるネットワークカメラシステムの例として、例えばキヤノン社のWebView Livescopeシステムが知られている。

従来の監視システムにおいては、事前に撮影方向を設定しておき、センサが反応したときにその方向にカメラの撮影方向を自動的に変更する方法等が採られている。

また、会議システム等においては、音声の方向を判断するマイクを使用し、音声の発せられた方向にカメラの撮影方向を自動的に変更する方法等が採られている（特許文献１を参照）。

特開平７−２８４１８６号公報

しかしながら、従来のネットワークカメラシステムにおいては、端末装置で表示中の領域外で状況変化が発生した場合に、その状況変化がどこで発生したのかを利用者が容易に把握できないという問題がある。

また、利用者が端末装置からカメラの撮影方向を変更操作しているときに、上述したようにセンサや音声によってカメラの撮影方向が自動的に変更されると、利用者の操作を妨げることになってしまう。

本発明は上記のような点に鑑みてなされたものであり、状況変化が発生した場合に、その状況変化がどこで発生したのかを利用者が容易に把握できるようにすることを目的とする。

本発明による端末装置は、撮像装置の撮像画像を表示画面で表示する端末装置であって、前記撮像装置の撮像画像の表示中に第１の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第１の発生位置への方向に応じた前記表示画面上の第１の表示位置に前記状況変化の発生を示す画像を表示させ、第２の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第２の発生位置への方向に応じた前記表示画面上の第２の表示位置に状況変化の発生を示す画像を表示させる表示制御手段と、前記第１の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第１の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信し、前記第２の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第２の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信する送信手段とを有することを特徴とする。
本発明による制御方法は、撮像装置の撮像画像を表示画面で表示する端末装置が行う制御方法であって、前記撮像装置の撮像画像の表示中に第１の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第１の発生位置への方向に応じた前記表示画面上の第１の表示位置に前記状況変化の発生を示す画像を表示させ、第２の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第２の発生位置への方向に応じた前記表示画面上の第２の表示位置に状況変化の発生を示す画像を表示させる表示制御ステップと、前記第１の表示位置に表示された画像の選択指示に応じて、前記撮像装置が前記第１の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信し、前記第２の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第２の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信する送信ステップとを有することを特徴とする。
本発明によるプログラムは、撮像装置の撮像画像を表示画面で表示するコンピュータに、前記撮像装置の撮像画像の表示中に第１の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第１の発生位置への方向に応じた前記表示画面上の第１の表示位置に前記状況変化の発生を示す画像を表示させ、第２の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第２の発生位置への方向に応じた前記表示画面上の第２の表示位置に状況変化の発生を示す画像を表示させる表示制御手順と、前記第１の表示位置に表示された画像の選択指示に応じて、前記撮像装置が前記第１の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信し、前記第２の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第２の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信する送信手順とを実行させる。

本発明によれば、状況変化の発生とともに状況変化の発生方向を、例えばアイコンや画像を利用して端末装置の表示上で通知するようにしたので、状況変化が発生した場合に、その状況変化がどこで発生したのかを利用者は容易に把握することができ、利用者の操作により状況変化の発生領域の画像を端末装置に表示させることができる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本実施形態のネットワークカメラシステムの全体構成を示す図である。ネットワークカメラシステムは、撮影方向を変更可能な例えば旋回型のカメラ装置１と、ネットワーク２と、端末装置３とにより構成される。

カメラ装置１は、画像を撮影する撮像部１１と、撮像部１１による撮影方向やズーム値、撮影処理を制御するカメラ制御部１２と、光や音声や温度等から周辺での状況変化を検知するセンサ部１３と、全体の制御を司る制御部１５と、ネットワーク２を介してデータの送受信を行うためのネットワークインタフェース１４とにより構成される。

端末装置３は、画像を表示する表示部３３と、利用者からの操作を受け付ける操作入力部３４と、全体の制御を司る制御部３２と、ネットワーク２を介してデータの送受信を行うためのネットワークインタフェース３１とにより構成される。

かかる構成のネットワークカメラシステムでは、カメラ装置１の撮像部１１で撮影した画像のデータを端末装置３に送信し、表示部３３に表示することができる。

また、端末装置３の操作入力部３４で行われた操作の情報をカメラ装置１に送信し、それに応じてカメラ制御部１２が撮像部１１による撮影方向やズーム値、撮影処理を変更する。

ここで、カメラ装置１のセンサ部１３が周辺での状況変化の発生及びその発生位置を検知すると、制御部１５は、カメラ制御部１２が制御している撮影方向を基準とした状況変化の発生方向を求める。そして、状況変化の発生の通知とともに、制御部１５で取得した状況変化の発生方向を端末装置３に送信する。

図２は、端末装置３の表示部３３への表示例である。４はカメラ装置１の撮像部１１で撮影された画像を表示する映像表示領域、４１は映像表示領域４の中心（すなわち撮影方向）である表示領域中心、４２は状況変化の発生とともに状況変化の発生方向を通知するために映像表示領域４に重畳して表示される通知アイコンである。

図２に示すように、通知アイコン４２は、表示領域中心４１を基準として状況変化の発生方向に表示される。例えば映像表示領域４を分割し、表示領域中心４１（すなわち撮影方向）を基準として状況変化の発生方向にある分割領域に表示される。この場合に、或いは、映像表示領域４を分割しない場合でも、通知アイコン４２を、状況変化の発生方向を特定可能な形状、例えば状況変化の発生方向に向く矢印形状の図柄としてもよい。

また、通知アイコン４２を、状況変化の種類、例えば状況変化の発生を検知したセンサ部１３の種類（光センサや音声センサや温度センサ等）に応じたものとしてもよい。

端末装置３は、操作入力部３４を介して表示部３３上で通知アイコン４２が選択操作されると、その操作の情報をカメラ装置１に送信する。それに応じて、カメラ装置１のカメラ制御部１２は撮影方向を状況変化の発生方向に変更する。すなわち、通知アイコン４２がカメラ装置１の撮影方向を変更するためのトリガーとなっている。

（第２の実施形態）
上記第１の実施形態では通知アイコン４２を重畳して表示するようにしたが、通知アイコン４２に替えて、事前にカメラ装置１で撮影可能なすべての領域を撮影した画像を保存しておき、その画像から状況変化の発生領域を切り出した画像を表示するようにしてもよい。

（第３の実施形態）
上記第１、２の実施形態では、カメラ装置１の制御部１５で状況変化の発生方向を求めるようにしたが、端末装置３側で求めるようにしてもよい。すなわち、カメラ装置１のセンサ部１３が周辺での状況変化の発生及びその発生位置を検知すると、状況変化の発生の通知とともに、状況変化の発生位置を端末装置３に送信する。それに応じて、端末装置３は、カメラ制御部１２が制御している撮影方向を基準とした状況変化の発生方向を求める。

（第４の実施形態）
上記第１〜３の実施形態では、状況変化の発生方向を求めるだけにしたが、さらに状況変化の発生領域を撮影するのに適したズーム値を算出するようにしてもよい。すなわち、カメラ装置１のセンサ部１３が周辺での状況変化の発生及びその発生位置を検出すると、センサ部１３の種類によって可能であれば状況変化の発生位置までの（カメラ装置１からの）距離及び状況変化の発生範囲を取得し、状況変化の発生の通知とともに、状況変化の発生位置さらには状況変化の発生位置までの距離及び発生範囲を端末装置３に送信する。それに応じて、端末装置３は、カメラ制御部１２が制御している撮影方向を基準とした状況変化の発生方向を求めるとともに、状況変化の発生位置までの距離及び発生範囲からズーム値を算出する。ズーム値が算出できない場合は、事前に設定されたズーム値とするか、或いは、現在のズーム値とすればよい。

端末装置３の表示部３３への表示例としては、上記第１の実施形態で説明した図２を参照すれば、通知アイコン４２を、現在のズーム値と算出したズーム値との差に比例して、算出したズーム値が望遠の場合は小さく、広角の場合は大きく表示したり、逆に算出したズーム値が望遠の場合は大きく、広角の場合は小さく表示したりするようにすればよい。

端末装置３は、操作入力部３４を介して表示部３３上で通知アイコン４２が選択操作されると、その操作の情報をカメラ装置１に送信する。それに応じて、カメラ装置１のカメラ制御部１２は状況変化の発生方向に撮影方向を変更するとともに、ズーム値を現在のズーム値から算出したズーム値に変更する。すなわち、通知アイコン４２がカメラ装置１の撮影方向を変更し、ズーム値を変更するためのトリガーとなっている。

（第５の実施形態）
第４の実施形態は、端末装置３の表示部３３への表示を変更したものである。図３は、端末装置３の表示部３３への表示例である。４はカメラ装置１の撮像部１１で撮影された画像を表示する映像表示領域である。

４３はパン方向への稼動範囲を表わすパンスクロールバー、４３１はパンスクロールバー４３の中で現在撮影しているパン位置を表わすパン現在値、４３２はパンスクロールバー４３の中で状況変化の発生領域に相当する箇所を表わすパン通知アイコンである。

また、４４はチルト方向への稼動範囲を表すチルトスクロールバー、４４１はチルトスクロールバー４４の中で現在撮影しているチルト位置を表わすチルト現在値、４４２はチルトスクロールバー４４の中で状況変化が発生領域に相当する箇所を表わすチルト通知アイコンである。

また、４５はズームの稼動範囲を表わすズームスクロールバー、４５１はズームスクロールバー４５の中で現在のズームの値を表わすズーム現在値、４５２はズームスクロールバー４５の中で状況変化の発生領域を撮影するのに適したズーム値を表わすズーム通知アイコンである。

カメラ装置１のセンサ部１３が周辺での状況変化の発生及びその発生位置を検知すると、状況変化の発生の通知とともに、状況変化の発生位置を端末装置３に送信する。それに応じて、端末装置３は、カメラ制御部１２が制御している撮影方向を基準とした状況変化の発生方向を求め、状況変化の発生領域を撮影するためのパン値及びチルト値を算出し、各スクロールバー４３、４４上に通知アイコン４３２、４４２を表示する。また、第３の実施形態で説明したようにズーム値を算出する場合には、スクロールバー４５上に通知アイコン４５２を表示する。

端末装置３は、操作入力部３４を介して表示部３３上でパン通知アイコン４３２やチルト通知アイコン４４２やズーム通知アイコン４５２が選択操作されると、その操作の情報をカメラ装置１に送信する。それに応じて、カメラ装置１のカメラ制御部１２は状況変化の発生方向に撮影方向を変更するとともに、ズーム値を現在のズーム値から算出したズーム値に変更する。すなわち、パン通知アイコン４３２及びチルト通知アイコン４４２がカメラ装置１の撮影方向を変更するためのトリガー、ズーム通知アイコン４５２がズーム値を変更するためのトリガーとなっている。

（第６の実施形態）
図４は、本実施形態のネットワークカメラシステムの全体構成を示す図である。ネットワークカメラシステムは、広角撮影可能なカメラ装置１と、ネットワーク２と、端末装置３とにより構成される。

カメラ装置１において、図１で説明した構成以外の構成について説明すると、１６は魚眼レンズや回転体ミラー等により広角撮影することが可能な広角撮像部である。１７は広角撮像部１６で撮影した画像から端末装置３に送信する領域を切り出す画像切り出し部である。１８は広角撮像部１６で撮影した画像を解析することにより、動きや人物（顔や人物全体）や色の状況変化を検知する画像解析部である。

端末装置３において、図１で説明した構成以外の構成について説明すると、３５は表示部３３に表示する画像に他の画像を重畳する画像合成部である。

かかる構成のネットワークシステムでは、カメラ装置１の広角撮像部１６で撮影した画像から、端末装置３より指定された領域を画像切り出し部１７で切り出して端末装置３に送信し、表示部３３に表示することができる。すなわち、カメラ装置１は、端末装置３の操作入力部３４で行われた操作に応じて、画像切り出し部１７で切り出す領域を変更して端末装置３に送信することができる。この画像をメイン画像とする。

ここで、カメラ装置１の画像解析部１８が動きや人物や色の状況変化及びその発生位置を検知すると、広角撮影部１６で撮影した画像から、その状況変化の発生領域を画像切り出し部１７で切り出して、メイン画像と並行して端末装置３に送信する。これにより、端末装置３の表示部３３のメイン画像上に状況変化の発生領域を切り出した画像を重畳して表示することができる。

また、カメラ装置１のセンサ部１３が周辺での状況変化の発生及びその発生位置を検知したときも、広角撮影部１６で撮影した画像から、その状況変化の発生領域を画像切り出し部１７で切り出して、メイン画像と並行して端末装置３に送信する。これにより、端末装置３の表示部３３のメイン画像上に状況変化の発生領域を切り出した画像を重畳して表示することができる。

図５は、端末装置３の表示部３３への表示例である。４はメイン画像を表示する映像表示領域、４１は映像表示領域４の中心である表示領域中心、４３は状況変化の発生とともに状況変化の発生方向を通知するために映像表示領域４に重畳して表示される通知画像であり、上述したように状況変化の発生領域を切り出した画像である。

図５に示すように、通知画像４３は、表示領域中心４１を基準として状況変化の発生方向に表示される。例えば映像表示領域４を分割し、表示領域中心４１を基準として状況変化の発生方向にある分割領域に表示される。

また、通知画像４３を、状況変化の種類、例えば状況変化を検知したセンサ部１３の種類（光センサや音声センサや温度センサ等）に応じたものとしたり、状況変化を検知した画像解析部１８の動きや人物や色等の種類に応じたものとしたりしてもよい。

端末装置３は、操作入力部３４を介して表示部３３上で通知画像４３が選択操作されると、その操作の情報をカメラ装置１に送信する。それに応じて、カメラ装置１は端末装置３に表示する画像を、メイン画像から状況変化の発生領域を含む領域を切り出した画像に変更する。すなわち、通知画像４３が、端末装置３に表示する画像を状況変化の発生領域を含む領域を切り出した画像に変更するためのトリガーとなっている。

以下、本実施形態のネットワークカメラシステムでの処理をさらに詳しく説明する。図６はカメラ装置１から画像を送信するときの処理を示すフローチャートであり、図７は端末装置３が画像を受信して表示するときの処理を示すフローチャートである。

図６に示す処理は、カメラ装置１の広角撮像部１６で撮影した画像から、端末装置３より指定された領域を画像切り出し部１７で切り出して端末装置３に送信する処理と並行して実行されるものである。

まず、画像解析部１８が、広角撮像部１６から最新の画像を取得する（ステップＳ０１）。ここで取得する画像は、広角撮像部１６で撮影した広角画像である。

次に、画像解析部１８のバッファに、１つ前に取得した比較対照の広角画像が存在するか否かを調べる（ステップＳ０２）。

バッファに広角画像が存在した場合は、そのバッファの広角画像とステップＳ０１で取得した広角画像とを解析して比較し、変化量を算出する（ステップＳ０３）。解析・比較の方法としては、画像間で画素或いはブロック単位で変化が起きているか、画像間で類似パターンがどこに移動したのか、人の顔にマッチするパターンが存在するか、画像間で人の顔が移動したか、特定カラーにマッチする領域が存在するか、画像間で特定カラーが移動しているか等の解析或いはそれらを組み合わせた画像解析を行い、広角画像を比較して変化量を算出する。

広角画像を比較した結果の変化量が、事前にそれぞれの解析方法ごとに設定した閾値、或いは、それらの組み合わせで設定した閾値を超えるか否かで、状況変化があったか否かを判定する（ステップＳ０４）。

状況変化が検知された場合は、その状況変化の発生領域が画像解析部１８から画像切り出し部１７に送出されて、画像切り出し部１７が状況変化の発生領域を広角画像から切り出して端末装置３に送信する（ステップＳ０５）。

ステップＳ０５の後、或いはステップＳ０２でバッファに広角画像が保存されていなかった場合、或いはステップＳ０４で広角画像間で変化がなかった場合は、ステップＳ０１で取得した広角画像を画像解析部１８のバッファに保存する。バッファに１枚の画像しか保存しない場合は上書きで保存し、バッファに複数の画像を保存する場合は最も古い画像を削除して保存する。

図７に示す処理は、端末装置３が、メイン画像をカメラ装置１から受信して、その受信したメイン画像を表示部３３に表示するとともに、図６のステップＳ０５で状況変化の発生領域を切り出した画像が送信されてきた場合に実行されるものである。

まず、カメラ装置１から状況変化の発生領域を切り出した画像を受信すると、広角画像におけるメイン画像の領域と状況変化の発生領域とをそれぞれ算出する（ステップＳ０７）。

次に、メイン画像の領域に状況変化の発生領域が含まれている割合を算出し、事前に規定した閾値を越えた場合は含まれていると判定し（ステップＳ０８）、この場合は、そのままメイン画像のみを表示する（ステップＳ１１）。メイン画像に状況変化の発生領域が含まれる場合、メイン画像上に状況変化の発生領域を切り出した画像を重畳する必要がないからである。

メイン画像の領域に状況変化の発生領域が含まれていないと判定した場合は（ステップＳ０８）、メイン画像の領域の中心から、状況変化の発生領域の中心に向かうベクトルを算出する（ステップＳ０９）。そして、算出したベクトルからメイン画像上に重畳する、状況変化の発生領域を切り出した画像の位置、大きさを算出して重畳し（ステップＳ１０）、表示部３３へ表示する（ステップＳ１１）。状況変化の発生領域を切り出した画像の位置の算出方法例として、メイン画像の中心からベクトル方向に進み、メイン画像の縁から一定距離の位置を重畳する位置とすればよい。また、状況変化の発生領域を切り出した画像の大きさの算出方法例として、状況変化の発生領域の面積に、メイン領域の面積に対する状況変化の発生領域の面積の割合と、ベクトルの大きさに反比例或いは比例する係数を乗算して大きさを算出すればよい。係数は、ベクトルが大きいとき（距離が遠いとき）に重畳する大きさが小さくなり、ベクトルが小さいとき（距離が近いとき）に重畳する大きさが大きくなるような係数が一例である。

なお、本実施形態の場合でも、通知画像４３に替えて、上記第１の実施形態等で説明したようなアイコンを利用してもよい。

（第７の実施形態）
第７の実施形態として、図７のフローチャートのステップＳ１０における、メイン画像に重畳する、状況変化の発生領域を切り出した画像の位置を算出する方法の一例を説明する。図８（ａ）は、メイン画像の領域の中心から状況変化の発生領域の中心へのベクトルの角度の分類を示す図である。図８（ｂ）は、ベクトルの角度の分類から、映像表示領域４上のどこに重畳するかを表わす図である。

図８（ａ）中の「１」の角度に分類された場合は、同図（ｂ）の「Ｉ」の映像表示領域上に重畳する。同様に、「２」は「II」に、「３」は「III」に、「４」は「IV」に、「５」は「V」に、「６」は「VI」、「７」は「VII」に、「８」は「VIII」に対応する。

図８（ａ）に示す角度の分類方法としては、均等に４５度ずつに分類するものがある。また、映像表示領域４が３対４であることから近似で算出した図８（ａ）の角度の分類方法は２つあり、それぞれ角度を表１に記述した角度（１）と角度（２）のそれぞれにするものである。

（第８の実施形態）
第８の実施形態は、端末装置３の表示部３３への表示を変更したものである。図９は、端末装置３の表示部３３への表示例である。４はメイン画像を表示する映像表示領域である。

４３はパン方向への稼動範囲を表わすパンスクロールバー、４３１はパンスクロールバー４３の中で現在メイン画像として切り出されているパン位置を表わすパン現在値、４３３はパンスクロールバー４３の中で状況変化の発生領域に相当する箇所を表わすパン通知画像である。

また、４４はチルト方向への稼動範囲を表すチルトスクロールバー、４４１はチルトスクロールバー４４の中で現在メイン画像として切り出されているチルト位置を表わすチルト現在値、４４３はチルトスクロールバー４４の中で状況変化の発生領域に相当する箇所を表わすチルト通知画像である。

また、４５はズームの稼動範囲を表わすズームスクロールバー、４５１はズームスクロールバー４５の中で現在のズームの値を表わすズーム現在値、４５３はズームスクロールバー４５の中で状況変化の発生領域を撮影するのに適したズーム値を表わすズーム通知画像である。

カメラ装置１のセンサ部１３や画像解析部１８が状況変化及びその発生位置を検知すると、状況変化の発生の通知とともに、画像切り出し部１７が状況変化の発生領域を切り出した画像もメイン画像と並行して端末装置３に送信する。それに応じて、端末装置３は、状況変化の位置をメイン画像とするためのパン値、チルト値、ズーム値を算出し、パン通知画像４３３、チルト通知画像４４３、ズーム通知画像４５３として状況変化の発生領域を切り出した画像を表示する。なお、ここでは、パン通知画像４３３、チルト通知画像４４３、ズーム通知画像４５３のすべてに、状況変化の発生領域を切り出した画像を表示するようにしたが、いずれかだけに状況変化の発生領域を切り出した画像を表示し、他には別の画像を表示したり、アイコンに替えたりしてもよい。

端末装置３は、操作入力部３４を介して表示部３３上でパン通知画像４３３やチルト通知画像４４３やズーム通知画像４５３が選択操作されると、その操作の情報をカメラ装置１に送信する。それに応じて、カメラ装置１は端末装置３に表示する画像を、メイン画像から状況変化の発生領域を含む画像に変更する。すなわち、パン通知画像４３３及びチルト通知画像４４３が、端末装置３に表示する画像を状況変化の発生領域を含む画像に変更するためのトリガー、ズーム通知画像４５３がズーム値を変更するためのトリガーとなっている。

（第９の実施形態）
上記第６の実施形態で説明したカメラ装置１は、広角撮像部１６が最大で３６０度の視野領域を持つ全方位カメラであってもよい。図１０は、広角撮像部１６で撮影する全方位画像での領域の位置関係を示す一例である。６１は広角撮像部１６で撮影する全方位画像の全領域である。６２は画像解析部１８で動きや人物や色等の状況変化の発生領域である。６３は端末装置３より指定されているメイン画像の領域である。

図１０において、メイン画像の領域６３を中心に、状況変化の発生領域６３の位置関係を相対的に測ると、領域６２は領域６３の右側に位置し、領域６３よりも外周側に位置しており、外周側が下と考えられる全方位カメラの場合には、メイン画像として切り出された領域の右下方向で状況変化が発生している。画像合成部１４では、メイン画像の領域６３を基準とした状況変化の発生方向に基づいて、メイン画像上に状況変化の発生領域６３を切り出した画像（通知画像４３）を重畳する。

（第１０の実施形態）
カメラ装置１に複数台の端末装置３が接続する場合、制御部１５はそれぞれの端末装置３より指定されたメイン画像の領域を管理し、画像切り出し部１７はそれぞれのメイン画像を切り出す。センサ部１３や画像解析部１８で状況変化の発生及びその発生位置を検知すると、画像切り出し部１７で状況変化の発生領域の画像を切り出して、それぞれの端末装置３に送信する。各端末装置３では、画像合成部３５にてメイン画像上に状況変化の発生領域を切り出した画像（通知画像４３）を重畳して、それぞれの画像表示部３３に表示する。

この場合に、すべての端末装置３でメイン画像上に状況変化の発生領域を切り出した画像を重畳して表示するのではなく、一部の端末装置３でのみ重畳して表示するようにしてもよい。例えば、少なくとも１つのメイン画像の領域に状況変化の発生領域が含まれた場合は、そのメイン画像を受信する端末装置３に、状況変化の発生領域を切り出した画像を送信するのを停止する。メイン画像に状況変化の発生領域が含まれる場合、そのメイン画像を表示する端末装置３では通知画像４３を重畳する必要がないからである。

また、広角画像（或いは全方位画像）上で状況変化の発生領域に最も近い領域をメイン画像としている端末装置３を選択し、その選択された端末装置３でのみ通知画像４３を重畳するようにしてもよい。

（第１１の実施形態）
センサ部１３や画像解析部１８が複数の状況変化を検知したような場合には、各状況変化に対応する複数の通知画像４３（或いは通知アイコン４２）を重畳して表示するようにしてもよい。

図１１は、端末装置３の表示部３３への表示例である。１つ目の状況変化が発生して１つ目の通知画像４３（１）が表示されている間に、次の状況変化が検知された場合、１つ目の通知画像４３（１）の近傍に通知の番号を示す通知番号４７（１）が表示され、次の状況変化の通知画像４３（２）及び通知番号４７（２）が表示される。通知番号は通知の古い順番に昇順に数字がふられる。もしくは通知の新しい順番に数字がふられる。

３つ目以降の状況変化が通知された場合も同様に通知画像４３及び通知番号４７を重畳して表示する。複数の通知画像４３を表示するときに重なりあった場合は、通知の古い通知画像４３を前に表示するか、逆に通知の新しい通知画像４３を前に表示すればよい。或いは、状況変化を検知したセンサの種類や画像解析の種類や検知の範囲によって事前に指定した優先順位の高い通知画像４３を前に表示するようにしてもよい。

状況変化が終わったか、一定時間が経過して通知画像４３が消える場合は、その通知画像４３に関連付けられた通知番号４７も一緒に消される。また、通知画像４３及び通知番号４７が消えた場合は，残っている通知番号４７の番号が更新される。通知画像４３及び通知番号４７が消えて、残っている通知画像４３が１つだけになった場合は、その通知画像４３に関連付けられた通知番号４７も消える。

図１２は、端末装置３の表示部３３への表示例である。１つ目の状況変化が発生して１つ目の通知画像４３（１）が表示されている間に、次の状況変化が検知された場合、その２つ目の通知画像４３（２）は、本来表示される大きさよりも小さく表示される。３つ目以降の状況変化が検知された場合は、一つ前の通知画像４３の縮小の割合よりもさらに小さくなる縮小率で表示される。

逆に、１つ目の通知画像４３（１）が表示されている間に、次の状況変化が検知された場合、１つ目の通知画像４３（１）は本来表示される大きさよりも小さく表示されて、本来の大きさで２つ目の通知画像４３（２）が表示されるようにしてもよい。３つ目以降の状況変化が検知された場合は、それまでに表示されている通知画像４３はそれぞれその時点の表示の大きさからさらに縮小される。最新に通知された通知画像４３は本来の大きさで表示されて、それよりも前に通知されたものは、その順序に応じて段階的に本来の表示よりも小さくなる縮小率で表示される。

複数の通知画像４３を表示するときに重なりあった場合は、通知の古い通知画像４３を前に表示するか、逆に通知の新しい通知画像４３を前に表示すればよい。或いは、状況変化を検知したセンサの種類や画像解析の種類や検知の範囲によって事前に指定した優先順位の高い通知画像を前に表示するようにしてもよい。

状況変化が終わったか、一定時間が経過して通知画像４３が消える場合は、残っている通知画像４３の大きさが更新される。

（第１２の実施形態）
上記実施形態では端末装置３の表示部３３に表示された通知アイコン４２や通知画像４３が表示画像を変更するためのトリガーとなる例を説明したが、図１３に示すように、表示画像を変更するための移動ボタン４６を別に設定してもかまわない。映像表示領域４上で通知画像４３や通知アイコン４２により状況変化の発生が通知された場合に、移動ボタン４６を押下することにより、撮影方向を状況変化の発生方向に変更したり、端末装置３に表示する画像を、メイン画像から状況変化の発生領域を含む画像に変更したりすることができる。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

ネットワークカメラシステムの全体構成を示す図である。端末装置の表示部への表示例を示す図である。端末装置の表示部への表示例を示す図である。ネットワークカメラシステムの全体構成を示す図である。端末装置の表示部への表示例を示す図である。カメラ装置から画像を送信するときの処理を示すフローチャートである。端末装置が画像を受信して表示するときの処理を示すフローチャートである。状況変化の発生領域を切り出した画像の位置を算出する方法を説明するための図である。端末装置の表示部への表示例を示す図である。全方位画像での領域の位置関係を示す図である。端末装置の表示部への表示例を示す図である。端末装置の表示部への表示例を示す図である。端末装置の表示部への表示例を示す図である。

符号の説明

１カメラ装置
２ネットワーク
３端末装置
１１撮像部
１２カメラ制御部
１３センサ部
１４ネットワークインタフェース
１５制御部
１６広角撮像部
１７画像切り出し部
１８画像解析部
３１ネットワークインタフェース
３２制御部
３３表示部
３４操作入力部
３５画像合成部

Claims

撮像装置の撮像画像を表示画面で表示する端末装置であって、
前記撮像装置の撮像画像の表示中に第１の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第１の発生位置への方向に応じた前記表示画面上の第１の表示位置に前記状況変化の発生を示す画像を表示させ、第２の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第２の発生位置への方向に応じた前記表示画面上の第２の表示位置に状況変化の発生を示す画像を表示させる表示制御手段と、
前記第１の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第１の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信し、前記第２の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第２の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信する送信手段とを有することを特徴とする端末装置。
前記表示制御手段は、予め前記撮像装置で撮影可能な領域を撮影して保存しておいた画像から状況変化の発生領域を切り出した画像を表示させることを特徴とする請求項１に記載の端末装置。
前記表示制御手段は、前記状況変化を検知したセンサの種類に応じたアイコンを、前記状況変化の発生を示す画像として表示させることを特徴とする請求項１に記載の端末装置。
前記表示制御手段は、前記撮像装置のパン及びチルトの稼動範囲及び現在値を示すスクロールバーを表示させるとともに、状況変化の発生位置に対応する前記スクロールバーの箇所に前記画像を表示させることを特徴とする請求項１に記載の端末装置。
前記表示制御手段は、複数の状態変化の検知に応じて表示させる複数の画像の表示位置が重なる場合、状態変化を検知したセンサの種類の優先順位に応じて、前記複数の画像のうちのいずれかを表示させることを特徴とする請求項１乃至４のうちいずれか１項に記載の端末装置。
前記表示制御手段は、前記第１の発生位置で発生した状態変化が検知された後、前記第２の発生位置で発生した状態変化が検知された場合、前記第１の表示位置に表示する画像よりも前記第２の表示位置に表示する画像を小さくすることを特徴とする請求項１乃至５のうちいずれか１項に記載の端末装置。
前記表示制御手段は、前記第１の発生位置で発生した状態変化が検知された後、前記第２の発生位置で発生した状態変化が検知された場合、前記第１の表示位置に表示する画像よりも前記第２の表示位置に表示する画像を大きくすることを特徴とする請求項１乃至５のうちいずれか１項に記載の端末装置。
撮像装置の撮像画像を表示画面で表示する端末装置が行う制御方法であって、
前記撮像装置の撮像画像の表示中に第１の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第１の発生位置への方向に応じた前記表示画面上の第１の表示位置に前記状況変化の発生を示す画像を表示させ、第２の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第２の発生位置への方向に応じた前記表示画面上の第２の表示位置に状況変化の発生を示す画像を表示させる表示制御ステップと、
前記第１の表示位置に表示された画像の選択指示に応じて、前記撮像装置が前記第１の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信し、前記第２の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第２の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信する送信ステップとを有することを特徴とする制御方法。
前記表示制御ステップは、前記撮像装置のパン及びチルトの稼働範囲及び現在値を示すスクロールバーを表示させるとともに、状況変化の発生位置に対応する前記スクロールバーの箇所に前記画像を表示させることを特徴とする請求項８に記載の制御方法。
撮像装置の撮像画像を表示画面で表示するコンピュータに、
前記撮像装置の撮像画像の表示中に第１の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第１の発生位置への方向に応じた前記表示画面上の第１の表示位置に前記状況変化の発生を示す画像を表示させ、第２の発生位置で発生した状況変化が検知されると、前記撮像装置の撮像範囲から前記第２の発生位置への方向に応じた前記表示画面上の第２の表示位置に状況変化の発生を示す画像を表示させる表示制御手順と、
前記第１の表示位置に表示された画像の選択指示に応じて、前記撮像装置が前記第１の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信し、前記第２の表示位置に表示された画像の選択操作に応じて、前記撮像装置が前記第２の発生位置を撮像するように前記撮像装置の撮像方向を制御するための制御信号を前記撮像装置へ送信する送信手順とを実行させるためのプログラム。
前記表示制御手順は、前記撮像装置のパン及びチルトの稼働範囲及び現在値を示すスクロールバーを表示させるとともに、状況変化の発生位置に対応する前記スクロールバーの箇所に前記画像を表示させることを特徴とする請求項１０に記載のプログラム。