JP4406821B2 - 監視システムおよび方法、情報処理装置、記録媒体、並びにプログラム - Google Patents

Description

本発明は、監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、必要なイベントを確実に検知および通知し、カメラ等の消費電力を抑えることができるようにした監視システムシステムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。

従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。

また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。

さらに、複数台のインテリジェントカメラを有する監視カメラシステムが、監視領域の異常を検知し、検知した映像や音声を記録または再生する手法が提案されている（例えば、特許文献３参照）。

これらの特許文献１乃至特許文献３に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
特開平８−１２４０７８号公報 特開２０００−３３９５５４号公報 特開平７−２１２７４８号公報

しかしながら、これらの特許文献１乃至特許文献３に記載されている発明では、センサ（撮像装置、監視装置、または複数台のインテリジェントカメラ）を設置した際の調整が煩わしいばかりでなく、一度設置してしまうと、別の場所に移動させることが困難である課題があった。

また、従来使用されている無線カメラは、常時、画像および音声等を送信し続ける為、バッテリを使ったシステムに適用することが困難である課題があった。

本発明はこのような状況に鑑みてなされたものであり、必要なイベントを確実に検知および通知し、カメラ等の消費電力を抑えることができるようにするものである。

本発明の監視システムは、センサの反応を検知する検知手段と、検知手段による検知に基づいて、物体の特徴量を算出する第１の算出手段と、第１の算出手段により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出手段と、第２の算出手段により算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段と、構築手段により構築された呈示データに基づく呈示を行う呈示手段と、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段と、取得手段により取得されたユーザからの判断の入力を、第１の算出手段により算出された特徴量に対応付けて蓄積する蓄積手段とを備える。

前記第２の算出手段により算出された距離に基づいて、イベントを通知するか否かを判定する判定手段をさらに設け、構築手段は、判定手段によりイベントを通知すると判定された場合、呈示データを構築するようにすることができる。

前記第２の算出手段は、第１の算出手段により算出された特徴量と、蓄積手段に蓄積されている、ユーザからの判断の入力が対応付けられた過去の特徴量との特徴量空間での距離を算出するようにすることができる。

前記センサは、赤外線センサ、カメラ、またはマイクロホンであるようにすることができる。

前記構築手段は、テレビジョン放送に基づく信号にイベントデータを挿入して呈示データを構築するようにすることができる。

前記構築手段は、判定手段によりイベントを通知しないと判定された場合、予め定められた信号に基づくデータを呈示データとするようにすることができる。

本発明の監視方法は、センサの反応を検知する検知ステップと、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップと、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップとを含む。

本発明の第１の記録媒体に記録されているプログラムは、センサの反応を検知する検知ステップと、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップと、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップとを含む処理をコンピュータに実行させる。

本発明の第１のプログラムは、センサの反応を検知する検知ステップと、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップと、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップとを含む処理をコンピュータに実行させる。

本発明の第１の情報処理装置は、センサの反応を検知する検知手段と、検知手段による検知に基づいて、物体の特徴量を算出する第１の算出手段と、第１の算出手段により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出手段と、第２の算出手段により算出された距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信手段と、他の装置から供給されたユーザからの判断の入力を取得する取得手段と、取得手段により取得されたユーザからの判断の入力を、第１の算出手段により算出された特徴量に対応付けて蓄積する蓄積手段とを備える。

前記第２の算出手段により算出された距離に基づいて、イベントを通知するか否かを判定する判定手段をさらに設け、送信手段は、判定手段によりイベントを通知すると判定された場合、イベントデータを他の装置に送信するようにすることができる。

前記第２の算出手段は、第１の算出手段により算出された特徴量と、蓄積手段に蓄積されている、ユーザからの判断の入力が対応付けられた過去の特徴量との特徴量空間での距離を算出するようにすることができる。

前記センサは、赤外線センサ、カメラ、またはマイクロホンであるようにすることができる。

本発明の第１の情報処理方法は、センサの反応を検知する検知ステップと、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップと、他の装置から供給されたユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップとを含む。

本発明の第２の記録媒体に記録されているプログラムは、センサの反応を検知する検知ステップと、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップと、他の装置から供給されたユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップとを含む処理をコンピュータに実行させる。

本発明の第２のプログラムは、センサの反応を検知する検知ステップと、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップと、他の装置から供給されたユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップとを含む処理をコンピュータに実行させる。

本発明の第２の情報処理装置は、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、構築手段により構築された呈示データに基づく呈示を行う呈示手段と、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段と、取得手段により取得されたユーザからの判断の入力を他の装置に送信する送信手段とを備える。

前記他の装置よりイベントが通知されていない場合、構築手段は、予め定められた信号に基づくデータを呈示データとするようにすることができる。

本発明の第２の情報処理方法は、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップと、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を他の装置に送信する送信ステップとを含む。

本発明の第３の記録媒体に記録されているプログラムは、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップと、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を他の装置に送信する送信ステップとを含む処理をコンピュータに実行させる。

本発明の第３のプログラムは、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップと、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、取得ステップの処理により取得されたユーザからの判断の入力を他の装置に送信する送信ステップとを含む処理をコンピュータに実行させる。

第１の本発明においては、センサの反応が検知され、その検知に基づいて物体の特徴量が算出され、算出された特徴量と過去に算出された特徴量との特徴量空間での距離が算出され、算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データが構築されて呈示される。また、イベント呈示に基づいて入力されたユーザからの判断が、算出された特徴量に対応付けて蓄積される。

第２の本発明においては、センサが検知され、その検知に基づいて物体の特徴量が算出され、算出された特徴量と過去に算出された特徴量との特徴量空間での距離が算出され、算出された距離に応じて、イベントを通知するためのイベントデータが他の装置に送信される。また、他の装置から供給されたユーザからの判断が、算出された特徴量に対応付けて蓄積される。

第３の本発明においては、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータが、予め定められた信号に基づくデータに挿入されて呈示データが構築されて呈示される。また、イベント呈示に基づいて入力されたユーザからの判断が他の装置に送信される。

第１の本発明によれば、検知したイベントを通知することができる。特に、ユーザの判断の入力に基づいて、必要なイベントを確実に検知し、通知することが可能となる。また、無駄な消費電力を抑えることができる。

第２の本発明によれば、検知したイベントを通知することができる。特に、ユーザが必要とするイベントのみ確実に検知し、他の装置に通知するとともに、無駄な消費電力を抑えることが可能となる。

第３の本発明によれば、検知したイベントを呈示することができる。特に、通常の場合、予め定められた信号をユーザに視聴させ、イベントが発生した場合、そのイベントを呈示してユーザに通知することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の監視システム（例えば、図１の監視システム１０）は、センサの反応を検知する検知手段（例えば、図５のステップＳ２の処理を実行する図２の人体検知判定部１３）と、検知手段による検知に基づいて、物体の特徴量を算出する第１の算出手段（例えば、図５のステップＳ４の処理を実行する図２の特徴量計算部１４）と、第１の算出手段により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出手段（例えば、図６のステップＳ２６の処理を実行する図３の距離計算部４１）と、第２の算出手段により算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段（例えば、図７のステップＳ４５の処理を実行する図２の呈示画像構築部２２）と、構築手段により構築された呈示データに基づく呈示を行う呈示手段（例えば、図７のステップＳ４５の処理を実行する図２の呈示部３、または図８のステップＳ６２の処理を実行する図２の呈示部３２）と、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段（例えば、図５のステップＳ７の処理を実行する図２のイベント通知判定部１５）と、取得手段により取得されたユーザからの判断の入力を、第１の算出手段により算出された特徴量に対応付けて蓄積する蓄積手段（例えば、図５のステップＳ８の処理を実行する図３の特徴量蓄積部４２）とを備える。

請求項２に記載の監視システムは、第２の算出手段により算出された距離に基づいて、イベントを通知するか否かを判定する判定手段（例えば、図６のステップＳ２９またはステップＳ３０の処理を実行する図３の距離判定部４３）をさらに備え、構築手段は、判定手段によりイベントを通知すると判定された場合、呈示データを構築する。

請求項３に記載の監視システムの第２の算出手段は、第１の算出手段により算出された特徴量と、蓄積手段に蓄積されている、ユーザからの判断の入力が対応付けられた過去の特徴量との特徴量空間（例えば、図４に示されるような背景差分の絶対値の和、背景差分の重心位置の水平成分、および背景差分の重心位置の垂直成分の３種類の特徴量軸で構成される特徴量空間）での距離を算出する。

請求項４に記載の監視システムのセンサは、赤外線センサ（例えば、図２の赤外線センサ１２）、カメラ、またはマイクロホンである。

請求項５に記載の監視システムの構築手段は、テレビジョン放送に基づく信号（例えば、図２に示す一般視聴信号）にイベントデータを挿入して呈示データを構築する。

請求項６に記載の監視システムの構築手段は、判定手段によりイベントを通知しないと判定された場合、予め定められた信号（例えば、図４に示す一般視聴信号）に基づくデータを呈示データとする。

請求項７に記載の監視方法は、センサの反応を検知する検知ステップ（例えば、図５のステップＳ２）と、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップ（例えば、図５のステップＳ４）と、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップ（例えば、図６のステップＳ２６）と、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップ（例えば、図７のステップＳ４５）と、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップ（例えば、図７のステップＳ４５または図８のステップＳ６２）と、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップ（例えば、図５のステップＳ７）と、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップ（例えば、図５のステップＳ８）とを含む。

なお、請求項８に記載の記録媒体に記録されているプログラム、および請求項９に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項７に記載の監視方法と同様である。

請求項１０に記載の情報処理装置（例えば、図１のマルチセンサカメラ１）は、センサの反応を検知する検知手段（例えば、図５のステップＳ２の処理を実行する図２の人体検知判定部１３）と、検知手段による検知に基づいて、物体の特徴量を算出する第１の算出手段（例えば、図５のステップＳ４の処理を実行する図２の特徴量計算部１４）と、第１の算出手段により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出手段（例えば、図６のステップＳ２６の処理を実行する図３の距離計算部４１）と、第２の算出手段により算出された距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信手段（例えば、図６のステップＳ２４の処理を実行する図２のイベント通知判定部１５）と、他の装置から供給されたユーザからの判断の入力を取得する取得手段（例えば、図５のステップＳ７の処理を実行する図２のイベント通知判定部１５）と、取得手段により取得されたユーザからの判断の入力を、第１の算出手段により算出された特徴量に対応付けて蓄積する蓄積手段（例えば、図５のステップＳ８の処理を実行する図３の特徴量蓄積部４２）とを備える。

請求項１１に記載の情報処理装置は、第２の算出手段により算出された距離に基づいて、イベントを通知するか否かを判定する判定手段（例えば、図６のステップＳ２９またはステップＳ３０の処理を実行する図３の距離判定部４３）をさらに備え、送信手段は、判定手段によりイベントを通知すると判定された場合、イベントデータを他の装置に送信する。

請求項１２に記載の情報処理装置の第２の算出手段は、第１の算出手段により算出された特徴量と、蓄積手段に蓄積されている、ユーザからの判断の入力が対応付けられた過去の特徴量との特徴量空間（例えば、図４に示されるような背景差分の絶対値の和、背景差分の重心位置の水平成分、および背景差分の重心位置の垂直成分の３種類の特徴量軸で構成される特徴量空間）での距離を算出する。

請求項１３に記載の情報処理装置のセンサは、赤外線センサ（例えば、図２の赤外線センサ１２）、カメラ、またはマイクロホンである。

請求項１４に記載の情報処理方法は、センサの反応を検知する検知ステップ（例えば、図５のステップＳ２）と、検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップ（例えば、図５のステップＳ４）と、第１の算出ステップの処理により算出された特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップ（例えば、図６のステップＳ２６）と、第２の算出ステップの処理により算出された距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップ（例えば、図６のステップＳ２４）と、他の装置から供給されたユーザからの判断の入力を取得する取得ステップ（例えば、図５のステップＳ７）と、取得ステップの処理により取得されたユーザからの判断の入力を、第１の算出ステップの処理により算出された特徴量に対応付けて蓄積する蓄積ステップ（例えば、図５のステップＳ８）とを含む。

なお、請求項１５に記載の記録媒体に記録されているプログラム、および請求項１６に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１４に記載の情報処理方法と同様である。

請求項１７に記載の情報処理装置（例えば、図１の処理ボックス２）は、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段（例えば、図７のステップＳ４５の処理を実行する図２の呈示画像構築部２２）と、構築手段により構築された呈示データに基づく呈示を行う呈示手段（例えば、図７のステップＳ４５の処理を実行する図２の呈示部３、または図８のステップＳ６２の処理を実行する図２の呈示部３２）と、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段（例えば、図５のステップＳ７の処理を実行する図２のイベント通知判定部１５）と、取得手段により取得されたユーザからの判断の入力を他の装置に送信する送信手段（例えば、図７のステップＳ４９の処理を実行する図２の送信部２５）とを備える。

請求項１８に記載の情報処理装置は、他の装置よりイベントが通知されていない場合、構築手段は、予め定められた信号（例えば、図２に示す一般視聴信号）に基づくデータを呈示データとする。

請求項１９に記載の情報処理方法は、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップ（例えば、図７のステップＳ４５）と、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップ（例えば、図７のステップＳ４５または図８のステップＳ６２）と、呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップ（例えば、図５のステップＳ７）と、取得ステップの処理により取得されたユーザからの判断の入力を他の装置に送信する送信ステップ（例えば、図７のステップＳ４９）とを含む。

なお、請求項２０に記載の記録媒体に記録されているプログラム、および請求項２１に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１９に記載の情報処理方法と同様である。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線アンテナ１Ａと無線アンテナ２Ａを介して、相互に無線通信を行なう。処理ボックス２とリモートコントローラ４は、相互に無線通信あるいは赤外線通信を行う。処理ボックス２と呈示部３は、バスなどの有線あるいは無線により接続されている。なお、マルチセンサカメラ１と処理ボックス２は、無線通信に限られるものではなく、有線による通信であってもよい。

マルチセンサカメラ１は、イベントを監視したい領域（必要な場所）に設置されている。マルチセンサカメラ１には、CCD（Charge Coupled Device）カメラ１１および赤外線センサ１２（図２）が設けられており、各センサは、図示せぬバッテリにより駆動される。その詳細は後述するが、マルチセンサカメラ１は、赤外線センサ１２で検出されたイベントに基づいて、イベントデータを通知するか否かを判定し、イベントデータを通知すると判定した場合、無線アンテナ１Ａを介して、CCDカメラ１１で撮影された画像データ（イベント呈示に必要なデータ）を処理ボックス２に送信する。

処理ボックス２は、マルチセンサカメラ１から送信されてきたイベント呈示に必要なデータを、無線アンテナ２Ａを介して受信し、その受信データに基づいて呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に供給または送信して、イベントを呈示させる。

呈示部３は、例えば、一般のテレビジョン受像機とされ、イベントが発生していない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。

ユーザは、呈示部３に呈示されたイベントに対して、判断を行ない、その判断の結果に基づいて、リモートコントローラ４から各種指令を入力することができる。例えば、いま発生したイベントを今後も知らせて欲しいときは、その旨を、OKボタン（図示せず）を操作し、いま発生したイベントを今後は知らせなくてもよいときは、その旨を、NGボタン（図示せず）を操作して指示入力することができる。このユーザからの判断の入力に基づいて、処理ボックス２により検出されるイベントが時間と共に変化し、ユーザが監視システム１０を使う度にユーザが意図するイベントのみが検出され、通知されるようになる。

またマルチセンサカメラ１に搭載されるCCDカメラ１１は、イベントを通知すると判定された場合にのみ動作するため、無駄な消費電力を抑えることができる。

図２は、図１に示した監視システム１０の機能的構成例を示すブロック図である。

マルチセンサカメラ１のCCDカメラ１１は、監視領域内の状況を随時撮影し、画像信号を通知画像データとしてスイッチ１６を介して送信部１７に供給するとともに、特徴量計算部１４に供給する。赤外線センサ１２は、図示せぬ物体から発する赤外領域の光を受光し、受けた光を電気信号に変換し、センサデータとして人体検知判定部１３に供給する。

人体検知判定部１３は、赤外線センサ１２からセンサデータが供給されると、赤外線センサが反応した（すなわち、主に、人体、猫、犬等の動物を検知した）と判定し、電源制御信号をCCDカメラ１１に供給してその電源をオンさせる。これにより、CCDカメラ１１から出力された通知画像データが、特徴量計算部１４に供給される。

特徴量計算部１４は、CCDカメラ１１から供給された画像データから特徴量データを算出し、その算出結果をイベント通知判定部１５に供給する。

イベント通知判定部１５は、特徴量計算部１４から供給された特徴量データと、過去に算出された特徴量データとの特徴量空間での距離を算出し、その算出結果に基づいて、イベントが発生しているか否かを判定し、イベントが発生していると判定した場合、処理ボックス２に通知するイベントを送信部１７に供給するとともに、スイッチ１６にイベント通知信号を供給してオンさせる。これにより、CCDカメラ１１から出力された通知画像データが、スイッチ１６を介して送信部１７に供給される。

またイベント通知判定部１５は、受信部１８を介して処理ボックス２から受信したユーザフィードバック（FB）に関する信号（以下、適宜、ユーザFB信号と称する）を現在発生しているイベントの特徴量データに対応付けて蓄積する。

ここで、ユーザフィードバックとは、ユーザが、呈示されたイベントに対して、判断を行ない、リモートコントローラ４の入力部３３を用いて入力されたユーザの判断入力を意味する。例えば、ユーザは、イベントを今後も知らせて欲しい場合には、入力部３３のOKボタン（図示せず）を操作し、今後はイベントとして検出しなくてもよい場合には、NGボタン（図示せず）を操作することで、ユーザフィードバックとして入力することができる。あるいは、イベントとして検出しなくてもよい場合だけ、フィードバックさせるようにしてもよい。

送信部１７は、処理ボックス２に対し、イベント通知判定部１５から供給されたイベントを送信するとともに、CCDカメラ１１から供給された通知画像データを送信する。受信部１８は、処理ボックス２から送信されてきたユーザフィードバックを受信し、それをイベント通知判定部１５に供給する。

処理ボックス２の受信部２１は、マルチセンサカメラ１から送信されてきた通知画像データおよびイベントを呈示画像構築部２２に供給する。

呈示画像構築部２２は、受信部２１を介してマルチセンサカメラ１からイベントが通知された場合、図示せぬ装置（呈示部３でもよい）から供給される一般視聴信号（テレビジョン放送信号）の一部に通知画像データを挿入した通知データを構築（作成）し、それを呈示部３に供給して呈示させる。また、呈示画像構築部２２は、通知画像データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の通知データを構築し、送信部２３に供給する。なお、呈示画像構築部２２は、イベントが通知されていない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を呈示部３に供給して呈示させる。

呈示部３用の通知データは、一般の視聴信号の一部に通知画像データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示が呈示される。また、リモートコントローラ４用の通知データは、通知画像データから構成されているため、リモートコントローラ４の呈示部３２には、イベントを表わす表示（例えば、監視している場所の画像）のみが呈示される。

送信部２３は、呈示画像構築部３２から供給された通知データをリモートコントローラ４に送信する。受信部２４は、リモートコントローラ４から送信されてきたユーザFB信号を受信し、それを送信部２５に供給する。送信部２５は、受信部２４から供給されたユーザFB信号をマルチセンサカメラ１に送信する。

リモートコントローラ４の受信部３１は、処理ボックス２から送信されてきた通知データを受信し、それを呈示部３２に呈示させる。入力部３３は、呈示されたイベントに対するユーザからの判断に基づく入力を受け、その入力（ユーザフィードバック）に関する信号を送信部３４に供給する。送信部３４は、入力部３３から供給されたユーザFB信号を処理ボックス２に送信する。

ここで、ユーザフィードバックとは、上述したように、例えば、「今後も知らせて欲しいイベントである」、あるいは、「今後は知らせなくてよいイベントである」などのユーザによる判断の入力を示す。マルチセンサカメラ１と処理ボックス２は、このユーザフィードバックに基づいて、処理を変化させる。

図３は、図２のマルチセンサカメラ１のイベント通知判定部１５の詳細な構成例を示すブロック図である。

距離計算部４１は、特徴量計算部１４から供給された現在の特徴量データと、特徴量蓄積部４２に蓄積されている、ユーザフィードバック（OK（通知して欲しい）またはNG（通知しなくてよい））が対応付けられた過去の特徴量データとの特徴量空間での距離を算出し、算出した距離データを距離判定部４３に供給する。ここで、利用される特徴量は、背景差分（予め保持しておいた背景画像データと移動物体の位置を表わす現在画像データの画素値の差分）の絶対値の和、背景差分の重心位置の画像中での水平成分、および背景差分の重心位置の画像中での垂直成分の３種類であり、この３種類の特徴量軸で構成される特徴量空間での距離が算出される。

また距離計算部４１は、特徴量計算部１４から供給された現在の特徴量データを特徴量蓄積部４２に供給し、そこに蓄積させる。

距離判定部４３は、距離計算部４１から供給された距離データのうち、最も近い距離が所定の閾値以上であるか否かを判定し、その判定結果に基づいて、処理ボックス２に通知するイベントを送信部４５に供給する。

特徴量蓄積部４２は、距離計算部４１により追加された特徴量データを蓄積する。なお、蓄積された特徴量データに対して、処理ボックス２からユーザフィードバックが供給された場合、特徴量蓄積部４２は、特徴量データにユーザフィードバックを対応付けて蓄積する。

なお、マルチセンサカメラ１の初期状態においては、特徴量蓄積部４２に特徴量データが蓄積されておらず、イベント通知判定部１５は、特徴量計算部１４から現在の特徴量データが供給されると、直ちに通知イベントと判定する。すなわち、初期状態においては、全てのイベントが通知されることになる。これにより、必要なイベントがユーザに通知されないことが防止される。

図４は、特徴量空間での距離算出およびイベント通知を説明する図である。同図において、ｘ軸は、背景差分の重心位置の水平成分を表わし、ｙ軸は、背景差分の絶対値の和を表わし、ｚ軸は、背景差分の重心位置の垂直成分を表わしている。

図４の例の場合、特徴量Ｐ１は、時刻ｔ１において特徴量計算部１４で算出された特徴量データを表わし、特徴量Ｐ２は、時刻ｔ２において特徴量計算部１４で算出された特徴量データを表わし、特徴量Ｐ３は、時刻ｔ３において特徴量計算部１４で算出された特徴量データを表わしている。また、図中、白い円で示される特徴量Ｑ１乃至Ｑ４は、特徴量蓄積部４２に蓄積されている過去の特徴量データのうち、ユーザフィードバックによりNG（イベントを通知しなくてよい）とされた特徴量データを表わし、図中、黒い円で示される特徴量Ｑ５乃至Ｑ１０は、特徴量蓄積部４２に蓄積されている過去の特徴量データのうち、ユーザフィードバックによりOK（イベントを通知してほしい）とされた特徴量データを表わしている。

距離計算部４１は、時刻ｔ１において、現在の特徴量Ｐ１とユーザフィードバックによりNG（イベントを通知しなくてよい）とされた全ての特徴量Ｑ１乃至Ｑ４との距離（特徴量空間でのユークリッド距離）をそれぞれ算出し、算出した距離データを距離判定部４３に供給する。距離判定部４３は、距離計算部４１から供給された距離データのうち、最も近い距離データ（図４の例の場合、特徴量Ｑ１との距離）が予め設定されている所定の閾値以上であるか否かを判定し、所定の閾値以上ではない（閾値未満である）と判定した場合、非通知イベントと判断する。

また距離計算部４１は、時刻ｔ２において、現在の特徴量Ｐ２とユーザフィードバックによりNGとされた全ての特徴量Ｑ１乃至Ｑ４との距離をそれぞれ算出し、算出した距離データを距離判定部４３に供給する。距離判定部４３は、距離計算部４１から供給された距離データのうち、最も近い距離データ（図４の例の場合、特徴量Ｑ２との距離）が予め設定されている所定の閾値以上であるか否かを判定し、所定の閾値以上ではない（閾値未満である）と判定した場合、非通知イベントと判断する。

さらに距離計算部４１は、時刻ｔ３において、現在の特徴量Ｐ３とユーザフィードバックによりNGとされた全ての特徴量Ｑ１乃至Ｑ４との距離をそれぞれ算出し、算出した距離データを距離判定部４３に供給する。距離判定部４３は、距離計算部４１から供給された距離データのうち、最も近い距離データ（図４の例の場合、特徴量Ｑ４との距離）が予め設定されている所定の閾値以上であるか否かを判定し、所定の閾値以上であると判定した場合、通知イベントと判断する。

図４の例では、現在の特徴量Ｐ１乃至Ｐ３とユーザフィードバックによりNG（イベントを通知しなくてよい）とされた全ての特徴量Ｑ１乃至Ｑ４との距離をそれぞれ算出し、最も近い距離データが所定の閾値以上である場合、通知イベントであると判断し、所定の閾値より小さい場合、非通知イベントであると判断することができる。あるいは、現在の特徴量Ｐ１乃至Ｐ３とユーザフィードバックによりOK（イベントを通知して欲しい）とされた全ての特徴量Ｑ５乃至Ｑ１０との距離をそれぞれ算出し、最も近い距離データが予め設定されている所定の閾値以下である場合、通知イベントであると判断し、所定の閾値より大きい場合、非通知イベントであると判断するようにしてもよい。

次に、図５のフローチャートを参照して、マルチセンサカメラ１における処理について説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ１において、人体検知判定部１３は、CCDカメラ１１に電源制御信号を供給してその電源をオフさせる。イベント通知判定部１５は、イベント通知フラグをオフし、特徴量蓄積部４２に蓄積されている特徴量データをクリアする。

ステップＳ２において、人体検知判定部１３は、赤外線センサ１２が反応したか否か、すなわち、赤外線センサ１２から動物（主に人物）を検知したことを示すセンサデータが供給されたか否かを判定し、赤外線センサ１２が反応したと判定した場合、ステップＳ３に進み、CCDカメラ１１に電源制御信号を供給してその電源をオンさせる。すなわち、赤外線センサ１２が反応するまでは、赤外線センサ１２に較べ、消費電力が大きいCCDカメラ１１の電源がオフのままとなっており、これにより、無駄なバッテリ消費を抑えることができる。

そして、ステップＳ３の処理により、CCDカメラ１１から特徴量計算部１４に画像データが供給される。ステップＳ４において、特徴量計算部１４は、CCDカメラ１１から供給された画像データに基づいて、特徴量を算出する。具体的には、特徴量計算部１４は、予めCCDカメラ１１から背景画像データを取得して保持しており、赤外線センサ１２の反応に応じてCCDカメラ１１から供給された現在の画像データと背景画像データから、背景差分の絶対値の和、背景差分の重心位置の画像中での水平成分、および背景差分の重心位置の画像中での垂直成分の３種類の特徴量を算出する。

ステップＳ５において、イベント通知判定部１５は、ステップＳ４の処理で算出された特徴量データに基づいて、イベント通知判定処理を行う。このイベント通知判定処理の詳細については、図６のフローチャートを参照して後述するが、この処理により、イベント通知判定部１５から通知イベントが発生されるか、または非通知イベントが発生される（イベントは通知されない）。

ステップＳ２において、赤外線センサが反応していないと判定された場合、ステップＳ６に進み、人体検知判定部１３は、CCDカメラ１１に電源制御信号を供給してその電源をオフさせ、イベント通知判定部１５は、イベント通知フラグをオフする。その後、処理は、ステップＳ７に進む。

ステップＳ７において、イベント通知判定部１５は、受信部１８を介して処理ボックス２から（後述する図７のステップＳ４９の処理により）送信されてきたユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、ステップＳ８に進み、ユーザフィードバック（「OK（今後も通知して欲しい）」または「NG（今後は通知しなくても良い）」）を、最近発生したイベントに対応する特徴量データに対応付けて特徴量蓄積部４２に蓄積する。

ステップＳ７において、ユーザFB信号を受信していないと判定された場合、または、ステップＳ８の処理の後、処理はステップＳ２に戻り、上述した処理が繰り返し実行される。

次に、図６のフローチャートを参照して、図５のステップＳ５におけるイベント通知判定処理の詳細について説明する。

ステップＳ２１において、距離計算部４１は、特徴量計算部１４で算出された（図５のステップＳ４の処理で算出された）特徴量データがあるか否か（すなわち、CCDカメラ１１の電源がオンであるか否か）を判定し、特徴量データがあると判定した場合、ステップＳ２２に進み、その特徴量データを読み込む。

ステップＳ２３において、距離判定部４３は、イベントフラグがオンである（イベント通知中である）か否かを判定し、イベントフラグがオンであると判定した場合、ステップＳ２４に進み、送信部１７を介して処理ボックス２にイベントを通知するとともに、イベント通知信号をスイッチ１６に供給してオンさせる。これにより、CCDカメラ１１から処理ボックス２に対し、通知画像データ（イベント画像）の送信が開始される。処理ボックス２は、この通知画像データを受信し、呈示部３に呈示させる（後述する図７のステップＳ４５）。

ステップＳ２３において、イベントフラグがオンではなくオフである（イベント通知中ではない）と判定された場合、ステップＳ２５に進み、距離計算部４１は、特徴量蓄積部４２に蓄積されている過去の特徴量データとそれに対応するユーザフィードバック（「OK（今後も通知して欲しい）」または「NG（今後は通知しなくても良い）」）を読み込む。ステップＳ２６において、距離計算部４１は、ステップＳ２２の処理で読み込んだ現在の特徴量データと、ステップＳ２５の処理で読み込んだ過去の特徴量データとの特徴量空間での距離を算出する。すなわち、距離計算部４１は、図４に示したように、背景差分の絶対値の和、背景差分の重心位置の水平成分、および背景差分の重心位置の垂直成分の３種類の特徴量軸で構成される特徴量空間での距離を算出する。

さらに、距離計算部４１は、いま着目している過去の特徴量データに対応するユーザフィードバックがNGの場合、過去に算出されたNGに対応する特徴量データとの最短距離より、いま着目しているデータの距離の方が小さい場合には、いま着目しているデータの距離をNGに対応するデータとの最短距離として保持する。同様に、距離判定部４３は、いま着目している過去の特徴量データに対応するユーザフィードバックがOKの場合、過去に算出されたOKに対応する特徴量データとの最短距離より、いま着目しているデータの距離の方が小さい場合には、いま着目しているデータの距離をOKに対応するデータとの最短距離として保持する。

ステップＳ２７において、距離計算部４１は、特徴量蓄積部４２に蓄積されている全ての過去の特徴量データを読み込んだか否かを判定し、未だ読み込んでいない過去の特徴量データがあると判定した場合、ステップＳ２５に戻り、上述した処理を繰り返し実行する。

ステップＳ２７において、全ての過去の特徴量データを読み込んだと判定された場合、ステップ２８に進み、距離計算部４１は、現在の特徴量データを特徴量蓄積部４２に供給してそこに蓄積させる。

ステップＳ２９において、距離判定部４３は、ステップＳ２６の処理で距離計算部４１により算出されたNGに対応する過去の特徴量データとの最短距離が所定の閾値以上であるか否かを判定し、所定の閾値以上であると判定した場合、ステップＳ３１に進む。

ステップＳ２９において、NGに対応する過去の特徴量データとの最短距離が所定の閾値以上ではなく、所定の閾値よりも小さいと判定された場合、ステップＳ３０に進み、距離判定部４３は、さらに、OKに対応する過去の特徴量データとの最短距離が所定の閾値以下であるか否かを判定し、所定の閾値以下であると判定した場合、ステップＳ３１に進む。ステップＳ３１において、イベント通知判定部１５は、イベントフラグをオンする。

ステップＳ２１において、特徴量計算部１４で算出された特徴量データがないと判定された場合（すなわち、CCDカメラ１１の電源がオフであると判定された場合）、ステップＳ３２に進み、イベント通知判定部１５は、イベントフラグをオフする。

ステップＳ２４の処理の後、ステップＳ３１の処理の後、ステップＳ３２の処理の後、または、ステップＳ３０において、OKに対応する過去の特徴量データとの最短距離が所定の閾値より大きいと判定された場合、処理は、図５のステップＳ６にリターンされる。

以上の処理により、特徴量空間での距離に応じて、イベント通知判定部１５からイベントが発生されるか、あるいは、イベントは通知されない（非通知イベントである）。

なお、マルチセンサカメラ１の初期状態においては、特徴量蓄積部４２に特徴量データが蓄積されておらず、距離判定部４３は、特徴量計算部１４から現在の特徴量データが供給されると、直ちにイベントを発生する。

次に、図７のフローチャートを参照して、図５のマルチセンサカメラ１の処理に対応して実行される処理ボックス２における処理について説明する。なお、この処理は、ユーザにより、呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示を行うよう指令されたとき、または監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ４１において、受信部２１は、イベント受信フラグをオフする。ステップＳ４２において、受信部２１は、イベント受信フラグがオンである（イベント受信中である）か否かを判定し、イベント受信フラグがオンであると判定した場合、ステップＳ４３に進む。

ステップＳ４３において、受信部２１は、（上述した図６のステップＳ２４の処理により）マルチセンサカメラ１から送信されてきた通知画像データの受信が終了したか否かを判定し、通知画像データの受信が終了したと判定した場合、ステップＳ４４に進み、イベント受信フラグをオフする。その後、処理はステップＳ４８に進む。

ステップＳ４３において、未だ通知画像データの受信が終了していないと判定された場合、受信部２１は、（上述した図６のステップＳ２４の処理により）マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部２２に供給し、ステップＳ４５に進む。

ステップＳ４５において、呈示画像構築部２２は、受信部２１から供給された通知画像データを一般視聴信号の一部に通知画像データを挿入した通知データ（ピクチャインピクチャで呈示するための画像データ）を構築し、それを呈示部３に出力し、呈示させる。また呈示画像構築部２２は、一般視聴信号を含まないリモートコントローラ４用の通知データ（通知画像データにより構成されるデータ）を構築し、送信部２３を介してリモートコントローラ４に送信する。リモートコントローラ４は、この通知データを受信し、呈示部６２に呈示させる（後述する図８のステップＳ６２）。

ステップＳ４２において、イベント受信フラグがオンではなくオフである（イベント受信中ではない）と判定された場合、ステップＳ４６に進み、受信部２１は、（上述した図６のステップＳ２４の処理により）マルチセンサカメラ１から送信されてきたイベントを受信したか否かを判定する。

ステップＳ４６において、イベントを受信したと判定された場合、ステップＳ４７に進み、受信部２１は、イベント受信フラグをオンした後、ステップＳ４８に進む。一方、ステップＳ４６において、イベントを受信していないと判定された場合、ステップＳ４７の処理はスキップされ、処理はステップＳ４８に進む。

ステップＳ４８において、受信部２４は、リモートコントローラ４から（後述する図８のステップＳ６４の処理により）送信されてきたユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、ステップＳ４９に進む。

ステップＳ４９において、受信部２４は、受信したユーザFB信号を、送信部２５を介してマルチセンサカメラ１に送信する。マルチセンサカメラ１は、このユーザFB信号を受信し、特徴量データに対応付ける（上述した図５のステップＳ８）。

ステップＳ４９の処理の後、または、ステップＳ４８において、ユーザFB信号を受信していないと判定された場合、処理はステップＳ４２に戻り、上述した処理が繰り返し実行される。

次に、図８のフローチャートを参照して、図７の処理ボックス２の処理に対応して実行されるリモートコントローラ４における処理について説明する。なお、この処理は、処理ボックス２の送信部２３により、図７のステップＳ４５の処理が実行されたとき、開始される。

ステップＳ６１において、受信部３１は、処理ボックス２より通知イベントを受信したか否かを判定し、通知イベントを受信するまで待機する。そして、通知イベントを受信したと判定した場合、ステップＳ６２に進み、受信部３１は、（上述した図７のステップＳ４５の処理により）処理ボックス２から通知イベントとともに送信されてきた通知データに基づくイベント画像（通知画像データ）を呈示部３２に呈示させる。

ユーザは、呈示部３２に呈示されたイベント画像を見て、入力部３３を操作し、判断（例えば、いま呈示されているイベントは今後も知らせて欲しいイベントであるか、あるいは、今後は知らせなくてよいイベントであるのか）を入力する。

ステップＳ６３において、入力部３３は、呈示されたイベントに対するユーザからの判断（ユーザフィードバック）が入力されたか否かを判定し、ユーザフィードバックが入力されたと判定した場合、ユーザFB信号を、送信部３４に供給し、ステップＳ６４に進む。

ステップＳ６４において、送信部３４は、入力部３３から供給されたユーザFB信号を処理ボックス２に送信する。処理ボックス２は、これを受信し、マルチセンサカメラ１に送信する（図７のステップＳ４９）。

ステップＳ６４の処理の後、または、ステップＳ６３において、ユーザフィードバックが入力されていないと判定された場合、処理はステップＳ６１に戻り、上述した処理が繰り返し実行される。

以上のように、赤外線センサ１２の反応に応じて得られたCCDカメラ１１の画像データから現在の特徴量を算出し、その特徴量とNG（イベントとして通知しなくてよい）とされた過去の全ての特徴量との距離を算出し、その最短距離が所定の閾値以上である場合、イベントを通知することができる。また、現在の特徴量とOK（イベントとして通知して欲しい）とされた過去の全ての特徴量との距離を算出し、その最短距離が所定の閾値以下である場合、イベントを通知することができる。

なお、OK（イベントとして通知して欲しい）とされた過去の全ての特徴量との距離を算出し、その最短距離が所定の閾値以下であるか否かを判定する処理（図６のステップＳ３０の処理）は、省略するようにしてもよい。なぜなら、NG（イベントとして通知しなくてよい）とされた過去の全ての特徴量との距離を算出し、その最短距離が所定の閾値以上であった場合には、イベントを通知するため、さらに、OK（イベントとして通知して欲しい）とされた過去の全ての特徴量との距離を算出し、その最短距離が所定の閾値以下であるか否かを判定することは、冗長的であるためである。

以上のように、特徴量空間における過去のユーザからの指定（ユーザフィードバック）との距離の判定を行うことで、木の葉の揺れ等による差分の小さい外乱は通知しないようにしたり、犬、猫等が検出されても通知しないようにすることができる。

以上においては、ユーザからのフィードバックに基づいて、イベント通知の判定に用いる過去の特徴量が変化していくため、ユーザが意図するイベントのみを検出することができ、かつ、イベントを通知する場合にのみ、CCDカメラ１１の電源をオンするようにしたので、無駄なバッテリ消費を抑えることができる。

また、以上においては、背景差分の絶対値の和、背景差分の重心位置の水平成分、および背景差分の重心位置の垂直成分の３つの特徴量を利用する場合の例について説明したが、これに限らず、例えば、フレーム間差分の絶対値の和、フレーム間差分の重心位置の水平成分、およびフレーム間差分の重心位置の垂直成分などの３つの特徴量を利用するようにしたり、あるいは、特徴量の数を３つに限らず、それ以上に増やすようにしてもよい。

さらに、赤外線センサ１２を利用して人体を検知する場合の例について説明したが、これに限らず、例えば、マイクロホン、フォトセンサ、マイクロ波センサ、あるいは、他のセンサを利用することも勿論可能である。

また、マルチセンサカメラ１や呈示部３は、１台ではなく、複数台設けるようにしたり、処理ボックス２は、呈示部３と別の筐体とせず、一体型とするようにしたり、リモートコントローラ４に呈示部３２を設けずに、呈示部３のみの呈示とするようにしたり、あるいは、処理ボックス２にユーザフィードバックを入力するための入力部を設けるようにすることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図９は、汎用のパーソナルコンピュータ１００の内部の構成例を示す図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。

入出力インターフェース１０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部１０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部２０７、ハードディスクなどで構成される記憶部１０８、およびモデムやターミナルアダプタなどで構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インターフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部１０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０３または記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

本発明を適用した監視システムの構成例を示す図である。 図１の監視システムの機能的構成例を示すブロック図である。 図２のイベント通知判定部の詳細な構成例を示すブロック図である。 特徴量空間での距離算出およびイベント通知を説明するための図である。 マルチセンサカメラにおける処理を説明するフローチャートである。 図５のステップＳ５の処理におけるイベント通知判定処理の詳細を説明するフローチャートである。 処理ボックスにおける処理を説明するフローチャートである。 リモートコントローラにおける処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， １１ CCDカメラ， １２ 赤外線センサ， １３ 人体検知判定部， １４ 特徴量計算部， １５ イベント通知判定部， ２２ 呈示画像構築部，３２ 呈示部， ３３ 入力部

Claims (21)

1. センサの反応を検知する検知手段と、
   前記検知手段による検知に基づいて、物体の特徴量を算出する第１の算出手段と、
   前記第１の算出手段により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出手段と、
   前記第２の算出手段により算出された前記距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段と、
   前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と、
   前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段と、
   前記取得手段により取得された前記ユーザからの判断の入力を、前記第１の算出手段により算出された前記特徴量に対応付けて蓄積する蓄積手段と
   を備える監視システム。
2. 前記第２の算出手段により算出された前記距離に基づいて、イベントを通知するか否かを判定する判定手段をさらに備え、
   前記構築手段は、前記判定手段により前記イベントを通知すると判定された場合、前記呈示データを構築する
   請求項１に記載の監視システム。
3. 前記第２の算出手段は、前記第１の算出手段により算出された前記特徴量と、前記蓄積手段に蓄積されている、前記ユーザからの判断の入力が対応付けられた過去の特徴量との特徴量空間での距離を算出する
   請求項１に記載の監視システム。
4. 前記センサは、赤外線センサ、カメラ、またはマイクロホンである
   請求項１に記載の監視システム。
5. 前記構築手段は、テレビジョン放送に基づく信号に前記イベントデータを挿入して前記呈示データを構築する
   請求項１に記載の監視システム。
6. 前記構築手段は、前記判定手段により前記イベントを通知しないと判定された場合、予め定められた信号に基づくデータを呈示データとする
   請求項１に記載の監視システム。
7. センサの反応を検知する検知ステップと、
   前記検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、
   前記第１の算出ステップの処理により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、
   前記第２の算出ステップの処理により算出された前記距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
   前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、
   前記取得ステップの処理により取得された前記ユーザからの判断の入力を、前記第１の算出ステップの処理により算出された前記特徴量に対応付けて蓄積する蓄積ステップと
   を含む監視方法。
8. センサの反応を検知する検知ステップと、
   前記検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、
   前記第１の算出ステップの処理により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、
   前記第２の算出ステップの処理により算出された前記距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
   前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、
   前記取得ステップの処理により取得された前記ユーザからの判断の入力を、前記第１の算出ステップの処理により算出された前記特徴量に対応付けて蓄積する蓄積ステップと
   を含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
9. センサの反応を検知する検知ステップと、
   前記検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、
   前記第１の算出ステップの処理により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、
   前記第２の算出ステップの処理により算出された前記距離に応じて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
   前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、
   前記取得ステップの処理により取得された前記ユーザからの判断の入力を、前記第１の算出ステップの処理により算出された前記特徴量に対応付けて蓄積する蓄積ステップと
   を含む処理をコンピュータに実行させるためのプログラム。
10. センサの反応を検知する検知手段と、
    前記検知手段による検知に基づいて、物体の特徴量を算出する第１の算出手段と、
    前記第１の算出手段により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出手段と、
    前記第２の算出手段により算出された前記距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信手段と、
    前記他の装置から供給されたユーザからの判断の入力を取得する取得手段と、
    前記取得手段により取得された前記ユーザからの判断の入力を、前記第１の算出手段により算出された前記特徴量に対応付けて蓄積する蓄積手段と
    を備える情報処理装置。
11. 前記第２の算出手段により算出された前記距離に基づいて、イベントを通知するか否かを判定する判定手段をさらに備え、
    前記送信手段は、前記判定手段により前記イベントを通知すると判定された場合、前記イベントデータを前記他の装置に送信する
    請求項１０に記載の情報処理装置。
12. 前記第２の算出手段は、前記第１の算出手段により算出された前記特徴量と、前記蓄積手段に蓄積されている、前記ユーザからの判断の入力が対応付けられた過去の特徴量との特徴量空間での距離を算出する
    請求項１０に記載の情報処理装置。
13. 前記センサは、赤外線センサ、カメラ、またはマイクロホンである
    請求項１０に記載の情報処理装置。
14. センサの反応を検知する検知ステップと、
    前記検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、
    前記第１の算出ステップの処理により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、
    前記第２の算出ステップの処理により算出された前記距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップと、
    前記他の装置から供給されたユーザからの判断の入力を取得する取得ステップと、
    前記取得ステップの処理により取得された前記ユーザからの判断の入力を、前記第１の算出ステップの処理により算出された前記特徴量に対応付けて蓄積する蓄積ステップと
    を含む情報処理方法。
15. センサの反応を検知する検知ステップと、
    前記検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、
    前記第１の算出ステップの処理により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、
    前記第２の算出ステップの処理により算出された前記距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップと、
    前記他の装置から供給されたユーザからの判断の入力を取得する取得ステップと、
    前記取得ステップの処理により取得された前記ユーザからの判断の入力を、前記第１の算出ステップの処理により算出された前記特徴量に対応付けて蓄積する蓄積ステップと
    を含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. センサの反応を検知する検知ステップと、
    前記検知ステップの処理による検知に基づいて、物体の特徴量を算出する第１の算出ステップと、
    前記第１の算出ステップの処理により算出された前記特徴量と、過去に算出された特徴量との特徴量空間での距離を算出する第２の算出ステップと、
    前記第２の算出ステップの処理により算出された前記距離に応じて、イベントを通知するためのイベントデータを他の装置に送信する送信ステップと、
    前記他の装置から供給されたユーザからの判断の入力を取得する取得ステップと、
    前記取得ステップの処理により取得された前記ユーザからの判断の入力を、前記第１の算出ステップの処理により算出された前記特徴量に対応付けて蓄積する蓄積ステップと
    を含む処理をコンピュータに実行させるためのプログラム。
17. 他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、
    前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と、
    前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段と、
    前記取得手段により取得された前記ユーザからの判断の入力を前記他の装置に送信する送信手段と
    を備える情報処理装置。
18. 前記他の装置より前記イベントが通知されていない場合、前記構築手段は、前記予め定められた信号に基づくデータを呈示データとする
    請求項１７に記載の情報処理装置。
19. 他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
    前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、
    前記取得ステップの処理により取得された前記ユーザからの判断の入力を前記他の装置に送信する送信ステップと
    を含む情報処理方法。
20. 他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
    前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、
    前記取得ステップの処理により取得された前記ユーザからの判断の入力を前記他の装置に送信する送信ステップと
    を含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
21. 他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
    前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する取得ステップと、
    前記取得ステップの処理により取得された前記ユーザからの判断の入力を前記他の装置に送信する送信ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images