JP4438341B2 - 監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、柔軟にイベントを検知および通知し、カメラ等の消費電力を抑えることができるようにした監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。

従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。

また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。

さらに、複数台のインテリジェントカメラを有する監視カメラシステムが、監視領域の異常を検知し、検知した映像や音声を記録または再生する手法が提案されている（例えば、特許文献３参照）。

これらの特許文献１乃至特許文献３に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
特開平８−１２４０７８号公報 特開２０００−３３９５５４号公報 特開平７−２１２７４８号公報

しかしながら、これらの特許文献１乃至特許文献３に記載されている発明では、センサ（撮像装置、監視装置、または複数台のインテリジェントカメラ）を設置した際の調整が煩わしいばかりでなく、一度設置してしまうと、別の場所に移動させることが困難である課題があった。

また、従来使用されている無線カメラは、常時、画像および音声等を送信し続ける為、バッテリを使ったシステムに適用することが困難である課題があった。

本発明はこのような状況に鑑みてなされたものであり、柔軟にイベントを検出および通知し、カメラ等の消費電力を抑えることができるようにするものである。

本発明の監視システムは、複数のセンサからセンサデータを取得する取得手段と、前記取得手段により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述手段と、前記状態データ記述手段により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段と、前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と、前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と、前記入力取得手段により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述手段により記述された前記状態データが蓄積された判定テーブルを作成する作成手段と、前記状態データ記述手段により記述された前記状態データと、前記作成手段により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定手段とを備え、前記構築手段は、前記判定手段により前記イベントを通知すると判定された場合、前記呈示データを構築することを特徴とする。

前記作成手段は、前記センサを識別するための状態番号と、前記状態データ記述手段により記述された前記状態データに含まれる前記センサの反応継続時間とが対応付けられた前記判定テーブルを作成し、前記判定手段は、前記状態データ記述手段により記述された前記状態データに含まれる反応継続時間と、前記作成手段により作成された前記判定テーブルの反応継続時間とを、前記状態番号の順に比較し、前記イベントを通知するか否かを判定することができる。

前記複数のセンサは、フォトセンサであるようにすることができる。

前記構築手段は、テレビジョン放送に基づく信号にイベントデータを挿入して呈示データを構築するようにすることができる。

前記構築手段は、判定手段によりイベントを通知しないと判定された場合、予め定められた信号に基づくデータを呈示データとするようにすることができる。

本発明の監視方法は、複数のセンサからセンサデータを取得する取得ステップと、前記取得ステップの処理により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、前記状態データ記述ステップの処理により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、前記入力取得ステップの処理により取得された前記ユーザの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述ステップの処理により記述された前記状態データが蓄積された判定テーブルを作成する作成ステップと、前記状態データ記述ステップの処理により記述された前記状態データと、前記作成ステップの処理により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定ステップとを含み、前記構築ステップの処理は、前記判定ステップの処理により前記イベントを通知すると判定された場合、前記呈示データを構築する。

本発明の第１の記録媒体に記録されているプログラムは、複数のセンサからセンサデータを取得する取得ステップと、前記取得ステップの処理により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、前記状態データ記述ステップの処理により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、前記入力取得ステップの処理により取得された前記ユーザの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述ステップの処理により記述された前記状態データが蓄積された判定テーブルを作成する作成ステップと、前記状態データ記述ステップの処理により記述された前記状態データと、前記作成ステップの処理により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定ステップとを含み、前記構築ステップの処理は、前記判定ステップの処理により前記イベントを通知すると判定された場合、前記呈示データを構築する処理をコンピュータに行わせることを特徴とする。

本発明の第１のプログラムは、複数のセンサからセンサデータを取得する取得ステップと、前記取得ステップの処理により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、前記状態データ記述ステップの処理により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、前記入力取得ステップの処理により取得された前記ユーザの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述ステップの処理により記述された前記状態データが蓄積された判定テーブルを作成する作成ステップと、前記状態データ記述ステップの処理により記述された前記状態データと、前記作成ステップの処理により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定ステップとを含み、前記構築ステップの処理は、前記判定ステップの処理により前記イベントを通知すると判定された場合、前記呈示データを構築することをコンピュータに実行させることを特徴とする。

本発明の情報処理装置は、他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積手段と、前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と、前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段とを備え、前記蓄積手段は、前記入力取得手段により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積することを特徴とする

前記蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段をさらに設けるようにすることができる。

前記他の装置よりイベントが通知されていない場合、構築手段は、予め定められた信号に基づくデータを呈示データとするようにすることができる。

前記複数のセンサは、フォトセンサであるものとすることができる。

前記状態データは、センサを識別するための状態番号、および、センサの反応継続時間を含むものとすることができる。

本発明の情報処理方法は、他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップとを含み、前記蓄積ステップの処理は、前記入力取得ステップの処理により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積することを特徴とする。

本発明の第２の記録媒体に記録されているプログラムは、他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップとを含み、前記蓄積ステップの処理は、前記入力取得ステップの処理により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積する処理をコンピュータに行わせることを特徴とする。

本発明の第２のプログラムは、他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップとを含み、前記蓄積ステップの処理は、前記入力取得ステップの処理により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積することをコンピュータに実行させることを特徴とする。

第１の本発明においては、複数のセンサからセンサデータが取得され、それらのデータに基づいて、複数のセンサの反応状態に関する状態データが記述され、記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データが構築されて呈示される。また、取得されたユーザからの判断の結果がイベントとして通知しなくてよい旨を示している場合、記述された状態データが蓄積された判定テーブルが作成され、記述された状態データと、作成された判定テーブルを比較し、イベントを通知するか否かが判定され、イベントを通知すると判定された場合、呈示データが構築される。

第２の本発明においては、他の装置で記述された複数のセンサの反応状態に関する状態
データが受信されて、それが判定テーブルとして蓄積され、他の装置からイベントが通知
された場合、イベントとともに送信されてくるイベントデータが、予め定められた信号に
基づくデータに挿入されて呈示データが構築され、構築された呈示データに基づく呈示が行われ、呈示に基づいて、ユーザからの判断の入力が取得され、取得されたユーザからの判断の結果がイベントとして通知しなくてよい旨を示している場合、状態データが判定テーブルとして蓄積される。

第１の本発明によれば、検知したイベントを通知することができる。特に、ユーザの判断の入力に基づいて、柔軟にイベントを検出し、通知することが可能となる。また、無駄な消費電力を抑えることができる。

第２の本発明によれば、検知したイベントを呈示することができる。特に、他の装置で発生したイベントを呈示するとともに、発生したイベント時の状態を、イベント通知の判定処理に用いるテーブルとして蓄積することが可能となる。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線アンテナ１Ａと無線アンテナ２Ａを介して、相互に無線通信を行なう。処理ボックス２とリモートコントローラ４は、相互に無線通信あるいは赤外線通信を行う。処理ボックス２と呈示部３は、バスなどの有線あるいは無線により接続されている。なお、マルチセンサカメラ１と処理ボックス２は、無線通信に限られるものではなく、有線による通信であってもよい。

マルチセンサカメラ１は、イベントを監視したい領域（必要な場所）に設置されている。マルチセンサカメラ１には、例えば、図２に示されるように、CCD（Charge Coupled Device）カメラ２１、フォトセンサ２２−１乃至２２−３が設けられており、各センサは、図示せぬバッテリにより駆動される。

CCDカメラ２１は、監視領域（視野角）内の状況を随時撮影する。その詳細は後述するが、マルチセンサカメラ１は、フォトセンサ２２−１乃至２２−３で検出されたイベントに基づいて、イベントデータを通知するか否かを判定し、イベントデータを通知すると判定した場合、CCDカメラ２１で撮影された画像データ（イベントデータ）を処理ボックス２に送信する。

フォトセンサ２２−１乃至２２−３は、それぞれ、図３に示されるように、自己が監視することが可能な領域３１−１乃至３１−３内の平均輝度を検知信号として出力しており、人物（監視対象）が領域３１−１乃至３１−３内に進入または退出したことに応じて、その出力が変化する。以下、フォトセンサ２２−１乃至２２−３が監視することが可能な領域３１−１乃至３１−３を、単に、監視領域３１−１乃至３１−３と記載する。

図１の説明に戻る。マルチセンサカメラ１は、イベントを通知すると判定した場合、無線アンテナ１Ａを介して、イベント呈示に必要なデータを処理ボックス２に送信する。

処理ボックス２は、マルチセンサカメラ１から送信されてきたイベント呈示に必要なデータを、無線アンテナ２Ａを介して受信し、その受信データに基づいて呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に供給または送信して、イベントを呈示させる。

呈示部３は、例えば、一般のテレビジョン受像機とされ、イベントが発生していない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。

ユーザは、呈示部３に呈示されたイベントに対して、判断を行ない、その判断の結果に基づいて、リモートコントローラ４から各種指令を入力することができる。例えば、いま発生したイベントを今後も知らせて欲しいときは、その旨を、OKボタン（図示せず）を操作し、いま発生したイベントを今後は知らせなくてもよいときは、その旨を、NGボタン（図示せず）を操作して指示入力することができる。このユーザからの判断の入力に基づいて、処理ボックス２で作成される、イベントを通知するか否かを判定する際に用いられる通知判定テーブル（後述）が時間とともに変化するため、ユーザが監視システム１０を使用する度にユーザが意図するイベントのみが検知され、通知されるようになる。

またマルチセンサカメラ１に搭載されるCCDカメラ２１は、イベントを通知すると判定された場合にのみ動作するため、無駄な消費電力を抑えることができる。

図４は、図１に示した監視システム１０の機能的構成例を示すブロック図である。

マルチセンサカメラ１のCCDカメラ２１は、監視領域内の状況を随時撮影し、画像信号を通知画像データとしてスイッチ４４を介して送信部４５に供給する。

フォトセンサ２２−１乃至２２−３は、それぞれ、監視領域３１−１乃至３１−３（図３）内の平均輝度をフォトセンサデータとして状態記述部４１に供給する。

ここで、図５を参照して、フォトセンサ２２−１が出力する検知信号７１の出力レベルの変化と人物の行動との関係について説明する。同図において、縦軸はフォトセンサ２２−１が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。また、基準値Ｌは、人物が監視領域３１−１内に侵入していない場合のセンサ出力値であり、背景の平均輝度に対応している。

反応区間Ｘは、フォトセンサ２２−１が出力する検知信号７１の出力レベルが基準値Ｌから変化している区間（時間）であり、人物が監視領域３１−１内に存在していることを表わしている。この反応区間Ｘにおいて、検知信号７１の出力レベルが基準値Ｌから離れる方向（図５の例の場合、正の方向に離れているが、負の方向に離れる場合も含む）に変化する区間Ａは、人物が監視領域３１−１内に徐々に進入しているか、または監視領域３１−１内でフォトセンサ２２−１に徐々に接近していることを表わし、検知信号８１の出力レベルが変化しない区間Ｂは、人物が監視領域３１−１内で行動していない（静止している）ことを表わし、検知信号７１の出力レベルが基準値Ｌに近づく方向（図５の例の場合、負の方向に近づいているが、正の方向に近づく場合も含む）に変化する区間Ｃは、人物が監視領域３１−１から徐々に退出しているか、または監視領域３１−１内でフォトセンサ２２−１から徐々に離反していることを表わしている。

このように、フォトセンサ２２−１が出力する検知信号７１の出力レベルの変化および変化する方向に応じて、監視領域３１−１内における人物の行動をおおよそ推定することができる。

なお、図５に示す検知信号７１は、人物に対する平均輝度の出力レベルが基準値（背景に対する平均輝度）Ｌより高い場合の特性を表わしており、人物に対する平均輝度の出力レベルが基準値Ｌより低い場合には、検知信号７１の出力変化は、負の方向に変化する。

また、フォトセンサ２２−２，２２−３が出力する検知信号の出力レベルの変化と人物の行動との関係は、上述したフォトセンサ２２−１の場合と同様であり、その説明は省略する。

フォトセンサ２２−１乃至２２−３は、状態記述部４１にフォトセンサデータを供給する際、自己を識別するための状態番号も供給する。以下、本実施の形態では、フォトセンサ２２−１の状態番号を“１”とし、フォトセンサ２２−２の状態番号を“２”とし、フォトセンサ２２−３の状態番号を“３”として説明する。

図４の説明に戻る。状態記述部４１は、フォトセンサ２２−１乃至２２−３からそれぞれ供給されたフォトセンサデータおよび状態番号に基づいて、監視領域内における人物の一連の行動（センサ反応）の状態に関するデータ（以下、状態記述データと称する）を記述する。

ここで、図６を参照して、人物の行動に応じて記述される状態記述データの例について説明する。

図６Ａは、人物８１が、フォトセンサ２２−１乃至２２−３の監視領域３１−１乃至３１−３において、図中矢印で示される方向（図中、左から右方向）に行動している様子を模式的に示している。フォトセンサ２２−１乃至２２−３は、それぞれ、常時、監視領域３１−１乃至３１−３内の平均輝度を検知信号として出力しており、図６Ａに示されるように人物８１が行動した場合、それに対応して、検知信号７１の出力レベルが変化する（図５）。

状態記述部４１は、フォトセンサ２２−１乃至２２−３からそれぞれ供給されたフォトセンサデータ（検知信号）および状態番号から、その状態番号とともに、検知信号７１の出力レベルが基準値Ｌから離れている区間（図５に示す反応区間Ｘ）を反応継続時間として記述する。例えば、図６Ｂに示されるように、フォトセンサ２２−１のセンサ反応として、“３”の状態番号および“ｔａ”の反応継続時間が状態記述データ９１−１として記述され、フォトセンサ２２−２のセンサ反応として、“２”の状態番号および“ｔｂ”の反応継続時間が状態記述データ９１−２として記述され、フォトセンサ２２−３のセンサ反応として、“１”の状態番号および“ｔｃ”の反応継続時間が状態記述データ９１−３として記述される。

そして、状態記述部４１は、例えば、図７に示されるように、状態記述データ９１−１，９１−２，９１−３、・・・（以下、状態記述データ９１−１，９１−２，９１−３、・・・を個々に区別する必要がない場合、単に状態記述データ９１と称する）を時間軸方向に連続的に並べたものをイベント通知判定部４２に供給するとともに、スイッチ４３を介して送信部４５に供給する。

再び、図４の説明に戻る。イベント通知判定部４２は、状態記述部４１から供給された状態記述データ９１（図７）と、受信部４６を介して処理ボックス２から受信した通知判定テーブル（後述）を比較し、比較の結果、一致するものがない場合（例えば、状態番号が一致しない場合、あるいは、状態番号は一致するが反応継続時間がテーブルの範囲内に収まっていない場合）、通知イベントと判定し、処理ボックス２に通知するイベントを送信部４５に供給するとともに、CCDカメラ２１に電源制御信号を供給してその電源をオンさせ、スイッチ４３に状態記述データ送信制御信号を供給してオンさせ、スイッチ４４に通知画像送信制御信号を供給してオンさせる。これにより、CCDカメラ２１から出力された通知画像データが、スイッチ４４を介して送信部４５に供給され、状態記述部４１から出力された状態記述データ９１がスイッチ４３を介して送信部４５に供給される。

なお、マルチセンサカメラ１の初期状態においては、処理ボックス２から通知判定テーブルが送信されておらず、イベント通知判定部４２は、この通知判定テーブルを保持していないため、状態記述部４１から状態記述データ９１が供給されると、直ちに通知イベントと判定する。すなわち、初期状態においては、全てのイベントが通知されることになる。これにより、必要なイベントがユーザに通知されないことが防止される。

送信部４５は、処理ボックス２に対し、イベント通知判定部４２から供給された通知イベントを送信するとともに、CCDカメラ２１から供給された通知画像データおよび状態記述部４１から供給された状態記述データ９１を送信する。

受信部４６は、処理ボックス２から送信されてきた通知判定テーブルを受信し、それをイベント通知判定部４２に供給する。

処理ボックス２の受信部５１は、マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部５２に供給する。また受信部５１は、マルチセンサカメラ１から送信されてきた状態記述データ９１を状態記述データ蓄積部５３に供給し、そこに蓄積させる。

呈示画像構築部５２は、受信部５１を介してマルチセンサカメラ１からイベントが通知された場合、一般視聴信号（テレビジョン放送信号）の一部に通知画像データを挿入した通知データを構築（作成）し、それを呈示部３に供給して呈示させる。また、呈示画像構築部５２は、通知画像データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の通知データを構築し、送信部５６に供給する。なお、呈示画像構築部５２は、イベントが通知されていない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を呈示部３に供給して呈示させる。

呈示部３用の通知データは、一般の視聴信号の一部に通知画像データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示が呈示される。また、リモートコントローラ４用の通知データは、通知画像データから構成されているため、リモートコントローラ４の呈示部６２には、イベントを表わす表示（例えば、監視している場所の画像）のみが呈示される。

通知判定テーブル更新部５４は、受信部５７を介してリモートコントローラ４からユーザフィードバック（FB）に関する信号（以下、適宜、ユーザFB信号と称する）を受信した場合、そのユーザフィードバックを状態記述データ蓄積部５３に供給し、そこに蓄積させる。また通知判定テーブル更新部５４は、状態記述データ蓄積部５３に蓄積されている状態記述データ９１とそれに対応するユーザフィードバックを読み込み、それらと通知判定テーブルを比較し、比較の結果に基づいてテーブルを更新する。そして、通知判定テーブル更新部５４は、以前にマルチセンサカメラ１に送信した通知判定テーブルと異なる場合、新しい通知判定テーブルを送信部５５に供給する。

ここで、ユーザフィードバックとは、ユーザが、呈示されたイベントに対して、判断を行ない、リモートコントローラ４の入力部６３を用いて入力されたユーザの判断入力を意味する。例えば、ユーザは、イベントを今後も知らせて欲しい場合には、入力部６３のOKボタン（図示せず）を操作し、今後はイベントとして検出しなくてもよい場合には、NGボタン（図示せず）を操作することで、ユーザフィードバックとして入力することができる。あるいは、イベントとして検出しなくてもよい場合だけ、フィードバックさせるようにしてもよい。

状態記述データ蓄積部５３は、受信部５１から状態記述データ９１が供給されたときに、通知判定テーブル更新部５４からユーザフィードバックが供給された場合、状態記述データ９１とユーザフィードバックを対応付けて蓄積し、状態記述データ９１またはユーザフィードバックのいずれか一方のみが供給された場合、新規の状態記述データまたは新規のユーザフィードバックとして蓄積する。

送信部５５は、通知判定テーブル更新部５４から供給された通知判定テーブルをマルチセンサカメラ１に送信する。送信部５６は、呈示画像構築部５２から供給された通知データをリモートコントローラ４に送信する。受信部５７は、リモートコントローラ４から送信されてきたユーザFB信号を受信し、それを通知判定テーブル更新部５４に供給する。

リモートコントローラ４の受信部６１は、処理ボックス２から送信されてきた通知データを受信し、それを呈示部６２に呈示させる。入力部６３は、呈示されたイベントに対するユーザからの判断に基づく入力を受け、その入力（ユーザフィードバック）に関する信号を送信部６４に供給する。送信部６４は、入力部６３から供給されたユーザFB信号を処理ボックス２に送信する。

ここで、ユーザフィードバックとは、上述したように、例えば、「今後も知らせて欲しいイベントである」、あるいは、「今後は知らせなくてよいイベントである」などのユーザによる判断の入力を示す。マルチセンサカメラ１と処理ボックス２は、このユーザフィードバックに基づいて、処理を変化させる。

図８は、図４の処理ボックス２の通知判定テーブル更新部５４の詳細な構成例を示すブロック図である。

ユーザフィードバック（FB）判定部１０１は、状態記述データ蓄積部５３に蓄積されている状態記述データ９１（図７）とそれに対応するユーザフィードバックを読み込み、ユーザフィードバックが「OK」を示すデータであるか、または「NG」を示すデータであるかを判定し、判定結果を状態記述データ９１とともに状態記述パターン比較部１０２に供給する。

状態記述パターン比較部１０２は、ユーザフィードバック判定部１０１から「NG（今後はイベントとして検出しなくてもよい）」を示す判定結果が供給された場合、その判定結果とともに供給される状態記述データ９１と、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブル中のパターンとを比較する。状態記述パターン比較部１０２は、比較の結果、状態記述データ９１と仮の通知判定テーブル中のパターンが一致するものがあれば、その状態記述データ９１とそれに一致するパターンを既存パターン更新部１０４に供給し、一致するものがなければ、状態記述データ９１を新規パターン作成部１０３に供給する。

新規パターン作成部１０３は、状態記述パターン比較部１０２から供給された状態記述データ９１に含まれる状態番号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部１０５に追加し、そこに蓄積させる。

既存パターン更新部１０４は、状態記述パターン比較部１０２から供給された、現在の状態記述データ９１に含まれる継続時間と、状態記述データ９１に一致するパターンに対応する継続時間の最小値および最大値を比較する。既存パターン更新部１０４は、比較の結果、一致するパターンに対応する継続時間の最小値より現在の状態記述データ９１の継続時間の方が短いと判定した場合、一致するパターンの継続時間の最小値を現在のデータの継続時間に置き換え（更新し）、一致するパターンに対応する継続時間の最大値より現在の状態記述データ９１の継続時間の方が長いと判定した場合、一致するパターンの継続時間の最大値を現在のデータの継続時間に置き換える（更新する）。そして、既存パターン更新部１０４は、置き換えたデータを、更新通知判定テーブルとして仮通知判定テーブル蓄積部１０５に蓄積させる。

仮通知判定テーブル蓄積部１０５は、新規パターン作成部１０３により追加された仮の通知判定テーブルであって、必要に応じて既存パターン更新部１０４により更新された通知判定テーブルを蓄積する。

テーブル比較部１０６は、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルと、過去通知判定テーブル蓄積部１０７に蓄積されている過去の通知判定テーブルを比較し、同じであると判定した場合、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルを過去通知判定テーブル蓄積部１０７に供給し、更新通知判定テーブルとして蓄積させる。これに対し、仮の通知判定テーブルと過去の通知判定テーブルが同じではないと判定した場合、テーブル比較部１０６は、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルを、送信部５５を介してマルチセンサカメラ１に送信した後、その仮の通知判定テーブルを過去通知判定テーブル蓄積部１０７に供給し、更新通知判定テーブルとして蓄積させる。

過去通知判定テーブル蓄積部１０７は、テーブル比較部１０６により更新された通知判定テーブルを過去の通知判定テーブルとして蓄積する。

図９は、過去通知判定テーブル蓄積部１０７に蓄積される通知判定テーブルの例を示す図である。

同図に示されるように、フォトセンサ２２−１乃至２２−３を識別する状態番号、および、その状態番号の反応区間Ｘ（図５）における継続時間の最小値および最大値が１つの状態記述データに規定される。この状態記述データ１２１−１乃至１２１−ｍからなる人物の行動が１つの通知判定テーブルに規定される。そして、通知判定テーブル１１１−１乃至１１１−ｎからなる通知判定テーブル群が過去通知判定テーブル蓄積部１０７に蓄積される。

以下、状態記述データ１２１−１乃至１２１−ｍを個々に区別する必要がない場合、単に状態記述データ１２１と称し、通知判定テーブル１１１−１乃至１１１−ｎを個々に区別する必要がない場合、単に通知判定テーブル１１１と称する。

次に、図１０のフローチャートを参照して、マルチセンサカメラ１における処理について説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ１において、イベント通知判定部４２は、CCDカメラ２１に電源制御信号を供給してその電源をオフさせ、イベント通知フラグをオフし、保持している通知判定テーブルをクリアする。

ステップＳ２において、状態記述部４１は、オンされているフォトセンサ２２−１乃至２２−３からそれぞれフォトセンサデータを取得する。ステップＳ３において、状態記述部４１は、ステップＳ２の処理で取得したフォトセンサデータに基づいて、監視領域内における人物８１の一連の行動に関し、状態データ記述処理を行う。すなわち、状態記述部４１は、図７に示したように、フォトセンサ２２−１乃至２２−３の状態番号、および、反応継続時間を含む状態記述データ９１を記述し、それをイベント通知判定部４２に出力する。

ステップＳ４において、イベント通知判定部４２は、イベント通知フラグがオンである（通知イベント発生中である）か否かを判定し、イベント通知フラグがオンではなくオフである（通知イベント発生中ではない）と判定した場合、ステップＳ８に進む。

ステップＳ８において、イベント通知判定部４２は、通知イベントが発生しているか否かのイベント通知判定処理を行う。具体的には、ステップＳ３の処理で、例えば、図１１に示されるように、状態番号１および継続時間Ｔ１からなる状態記述データ９１−１と、状態番号２および継続時間Ｔ２からなる状態記述データ９１−２が記述された場合、イベント通知判定部４２は、状態番号１、状態番号２の順のパターンと、保持している通知判定テーブル１１１（図９）の状態記述データ１２１に含まれる状態番号のパターンを比較し、一致するものがなければ通知イベントが発生していると判断する。

これに対し、状態番号１、状態番号２の順のパターンに一致する通知判定テーブル１１１がある場合、イベント通知判定部４２は、図１１に示されるように、状態記述データ９１−１の継続時間Ｔ１が、通知判定テーブル１１１の状態記述データ１２１−１の継続時間最小値Ｔmin１と継続時間最大値Ｔmax１の範囲内におさまっているか否か、また、状態記述データ９１−２の継続時間Ｔ２が、通知判定テーブル１１１の状態記述データ１２１−２の継続時間最小値Ｔmin２と継続時間最大値Ｔmax２の範囲内におさまっているか否かの判定を行い、少なくともいずれか一方が、その範囲内におさまっていなければ、通知イベントが発生していると判断する。

さらに、イベント通知判定部４２は、状態記述データ９１−１の継続時間Ｔ１が、通知判定テーブル１１１の状態記述データ１２１−１の継続時間最小値Ｔmin１と継続時間最大値Ｔmax１の範囲内におさまっており、かつ、状態記述データ９１−２の継続時間Ｔ２が、通知判定テーブル１１１の状態記述データ１２１−２の継続時間最小値Ｔmin２と継続時間最大値Ｔmax２の範囲内におさまっていれば、非通知イベントが発生していると判断する（イベントは通知されない）。

なお、マルチセンサカメラ１の初期状態においては、未だ通知判定テーブル１１１が処理ボックス２から送信されておらず、イベント通知判定部４２が、この通知判定テーブルを保持していないため、状態記述部４１から状態記述データ９１が供給されると、直ちに通知イベントと判定する。

ステップＳ９において、イベント通知判定部４２は、ステップＳ８の処理結果に基づいて、通知イベントであるか否かを判定し、通知イベントであると判定した場合、ステップＳ１０に進み、CCDカメラ２１に電源制御信号を供給してその電源をオンさせるとともに、イベント通知フラグをオンする。すなわち、通知イベントであると判定された場合にのみCCDカメラ２１の電源がオンされ、通知イベントでない場合には、CCDカメラ２１の電源はオフのままとなっており、これにより、無駄なバッテリ消費を抑えることができる。

ステップＳ１１において、イベント通知判定部４２は、送信部４５を介して処理ボックス２にイベントを通知するとともに、通知画像送信制御信号をスイッチ４４に供給してオンさせる。これにより、CCDカメラ２１から処理ボックス２に対し、通知画像データ（イベント画像）の送信が開始される。処理ボックス２は、この通知画像データを受信し、呈示部３に呈示させる（後述する図１２のステップＳ２３）。

ステップＳ９において、通知イベントではない、すなわち非通知イベントであると判定された場合、ステップＳ１０，Ｓ１１の処理はスキップされ、ステップＳ１２に進む。

ステップＳ４において、イベント通知フラグがオンである（通知イベント発生中である）と判定された場合、ステップＳ５に進み、イベント通知判定部４２は、イベント終了であるか否かを判定し、イベント終了であると判定した場合、ステップＳ６に進み、CCDカメラ２１に電源制御信号を供給してその電源をオフさせるとともに、イベント通知フラグをオフする。

ステップＳ７において、イベント通知判定部４２は、状態記述データ送信制御信号をスイッチ４３に供給してオンさせ、通知画像送信制御信号をスイッチ４４に供給してオフさせる。これにより、ステップＳ３の処理で状態記述部４１から出力された状態記述データ９１がスイッチ４３および送信部４５を介して処理ボックス２に送信され、CCDカメラ２１からスイッチ４４および送信部４５を介して処理ボックス２に送信されていた通知画像データ（イベント画像）の送信が停止される。処理ボックス２は、この状態記述データ９１を受信し、通知判定テーブルとして状態記述データ蓄積部５３に蓄積するとともに（後述する図１２のステップＳ２８）、この通知判定テーブルを必要に応じて更新し（後述する図１２のステップＳ３３）、更新した通知判定テーブルを送信してくる（後述する図１２のステップＳ３４）。

ステップＳ５において、イベント終了ではないと判定された場合、ステップＳ６，Ｓ７の処理はスキップされ、ステップＳ１２に進む。

ステップＳ１２において、イベント通知判定部４２は、受信部４６を介して処理ボックス２より通知判定テーブルを受信したか否かを判定し、通知判定テーブルを受信したと判定した場合、ステップＳ１３に進み、保持している通知判定テーブルを、受信した通知判定テーブルに更新する。

ステップＳ１２において、処理ボックス２より通知判定テーブルを受信していないと判定された場合、または、ステップＳ１３の処理の後、処理はステップＳ２に戻り、上述した処理が繰り返し実行される。

次に、図１２のフローチャートを参照して、図１０のマルチセンサカメラ１の処理に対応して実行される処理ボックス２における処理について説明する。なお、この処理は、ユーザにより、呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示を行うよう指令されたとき、または監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ２１において、通知判定テーブル更新部５４は、状態記述データ蓄積部５３に蓄積されている状態記述データ、および仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルをクリアするとともに、ユーザフィードバック受信フラグをオフする。受信部５１は、イベント受信フラグ、および状態記述データ受信フラグをオフする。

ステップＳ２２において、受信部５１は、イベント受信フラグがオンである（通知イベント受信中である）か否かを判定し、イベント受信フラグがオンであると判定した場合、（上述した図１０のステップＳ１１の処理により）マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部５２に供給し、ステップＳ２３に進む。

ステップＳ２３において、呈示画像構築部５２は、受信部５１から供給された通知画像データを一般視聴信号の一部に通知画像データを挿入した通知データ（ピクチャインピクチャで呈示するための画像データ）を構築し、それを呈示部３に呈示させる。また呈示画像構築部５２は、一般視聴信号を含まないリモートコントローラ４用の通知データ（通知画像データにより構成されるデータ）を構築し、送信部５６を介してリモートコントローラ４に送信する。リモートコントローラ４は、この通知データを受信し、呈示部６２に呈示させる（後述する図１４のステップＳ７２）。

ステップＳ２２において、イベント受信フラグがオンではなくオフであると判定された場合、ステップＳ２４に進み、受信部５１は、マルチセンサカメラ１から通知イベントを受信したか否かを判定し、通知イベントを受信したと判定した場合、ステップＳ２５に進み、イベント受信フラグをオンする。

ステップＳ２３の処理の後、ステップＳ２５の処理の後、またはステップＳ２４において、通知イベントを受信していないと判定された場合、ステップＳ２６に進み、受信部５１は、マルチセンサカメラ１から状態記述データ９１を受信したか否かを判定する。

ステップＳ２６において、状態記述データを受信したと判定された場合、ステップＳ２７に進み、受信部５１は、状態記述データ受信フラグをオンし、ステップＳ２８において、（上述した図１０のステップＳ７の処理により）マルチセンサカメラ１から送信されてきた状態記述データ９１を受信し、状態記述データ蓄積部５３に蓄積させる。ただし、このときに、既にユーザフィードバック受信フラグがオンである場合、そのユーザフィードバックに対応付けて状態記述データ９１が蓄積される。

ステップＳ２８の処理の後、または、ステップＳ２６において、状態記述データを受信していないと判定された場合、ステップＳ２９に進み、通知判定テーブル更新部５４は、受信部５７を介してリモートコントローラ４から（後述する図１４のステップＳ７４の処理により）送信されてきたユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、ステップＳ３０に進む。

ステップＳ３０において、通知判定テーブル更新部５４は、ユーザフィードバック受信フラグをオンし、受信部５１は、イベント受信フラグをオフする。ステップＳ３１において、通知判定テーブル更新部５４は、このとき、状態記述データ受信フラグがオンであれば、ユーザフィードバック（「OK（今後も通知して欲しい）」または「NG（今後は通知しなくても良い）」）を状態記述データ蓄積部５３に蓄積されている状態記述データ９１に対応付け、状態記述データ受信フラグがオフであれば新規のユーザフィードバックとして蓄積させる。また、イベント受信フラグがオフであればそのユーザフィードバックは無視する。

すなわち、ユーザフィードバックを状態記述データ９１に対応付けて通知判定テーブルとして蓄積することにより、ユーザが意図するイベントのみを検知し、通知することが可能になる。

ステップＳ３２において、通知判定テーブル更新部５４は、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであるか否かを判定し、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであると判定した場合、ステップＳ３３に進み、通知判定テーブル更新処理を行う。この通知判定テーブル更新処理の詳細については、図１３のフローチャートを参照して後述するが、この処理により、過去通知判定テーブル蓄積部１０７に蓄積される通知判定テーブルが更新される。

ステップＳ３４において、通知判定テーブル更新部５４は、ステップＳ３３の処理により、過去の通知判定テーブルと異なる通知判定テーブルが作成され、過去通知判定テーブル蓄積部１０７に蓄積された場合には、その新しい通知判定テーブルを、送信部５５を介してマルチセンサカメラ１に送信する。マルチセンサカメラ１は、この新しい通知判定テーブルを受信し、通知判定テーブル蓄積部１２２を更新する（上述した図１０のステップＳ１３）。

ステップＳ３５において、通知判定テーブル更新部５４は、状態記述データ受信フラグおよびユーザフィードバック受信フラグをオフする。

ステップＳ３５の処理の後、または、ステップＳ３２において、状態記述データ受信フラグまたはユーザフィードバック受信フラグのうち、少なくともいずれか一方がオンではないと判定された場合、ステップＳ２２に戻り、上述した処理が繰り返し実行される。

次に、図１３のフローチャートを参照して、図１２のステップＳ３３における通知判定テーブル更新処理の詳細について説明する。

ステップＳ５１において、通知判定テーブル更新部５４の状態記述パターン比較部１０２は、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルをクリアする。ステップＳ５２において、ユーザフィードバック判定部１０１は、状態記述データ蓄積部５３に蓄積されている状態記述データ９１とそれに対応するユーザフィードバックを読み込む。

ステップＳ５３において、ユーザフィードバック判定部１０１は、ステップＳ５２の処理で読み込んだユーザフィードバックが「NG（今後はイベントとして検出しなくてもよい）」を示すデータであるか否かを判定し、ユーザフィードバックが「NG」を示すデータであると判定した場合、その判定結果を状態記述データ９１（図７）とともに状態記述パターン比較部１０２に供給し、ステップＳ５４に進む。

ステップＳ５４において、状態記述パターン比較部１０２は、ユーザフィードバック判定部１０１から供給された状態記述データ９１に含まれる状態番号（１，２または３）のパターンと、仮通知判定テーブル蓄積部１０５に蓄積されている通知判定テーブル１１１（図９）の状態記述データ１２１に含まれる状態番号のパターンを比較する。

ステップＳ５５において、状態記述パターン比較部１０２は、ステップＳ５４の処理による比較の結果、パターンが一致するものがあるか否か、例えば、状態番号３、状態番号２、状態番号１の順のパターンに一致するものが通知判定テーブル１１１にあるか否かを判定し、パターンが一致するものがあると判定した場合、状態記述データ９１とそれに一致するパターン（すなわち通知判定テーブル１１１）を既存パターン更新部１０４に供給し、ステップＳ５６に進む。

ステップＳ５６において、既存パターン更新部１０４は、状態記述パターン比較部１０２から供給された、現在の状態記述データ９１に含まれる継続時間と、状態記述データ９１に一致するパターンに対応する継続時間の最小値および最大値を比較する。

そして既存パターン更新部１０４は、比較の結果、一致するパターンに対応する継続時間の最小値より現在の状態記述データ９１の継続時間の方が短いと判断した場合、一致するパターンの継続時間の最小値を現在の状態記述データ９１の継続時間に置き換え（更新し）、また、一致するパターンに対応する継続時間の最大値より現在の状態記述データ９１の継続時間の方が長いと判断した場合、一致するパターンの継続時間の最大値を現在の状態記述データ９１の継続時間に置き換え（更新し）、仮通知判定テーブル蓄積部１０５に更新通知判定テーブルとして蓄積させる。

ステップＳ５５において、ステップＳ５４の処理による比較の結果、パターンが一致するものがないと判定された場合、状態記述データ９１を新規パターン作成部１０３に供給し、ステップＳ５７に進む。

ステップＳ５７において、新規パターン作成部１０３は、状態記述パターン比較部１０２から供給された状態記述データ９１に含まれる状態番号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部１０５に追加し、そこに蓄積させる。

ステップＳ５６の処理の後、またはステップＳ５７の処理の後、ステップＳ５８において、ユーザフィードバック判定部１０１は、状態記述データ蓄積部５３に蓄積されている全ての状態記述データ９１とそれに対応するユーザフィードバックを読み込んだか否かを判定し、未だ読み込んでいないデータがあると判定した場合、ステップＳ５２に戻り、上述した処理を繰り返し実行する。

ステップＳ５８において、全ての状態記述データ９１とそれに対応するユーザフィードバックを読み込んだと判定された場合、ステップＳ５９に進み、テーブル比較部１０６は、過去通知判定テーブル蓄積部１０７に蓄積されている過去の通知判定テーブルと、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルを比較する。

ステップＳ６０において、テーブル比較部１０６は、ステップＳ５９の処理による比較の結果、過去の通知判定テーブルと仮の通知判定テーブルが同じであるか否かを判定し、同じではないと判定した場合、ステップＳ６１に進み、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルを、送信部５５に送信し、ステップＳ６２に進む。これにより、図１２のステップＳ３４において、マルチセンサカメラ１に仮の通知判定テーブルが送信される。

ステップＳ６０において、過去の通知判定テーブルと仮の通知判定テーブルが同じであると判定された場合、またはステップＳ６１の処理の後、ステップＳ６２において、テーブル比較部１０６は、仮通知判定テーブル蓄積部１０５に蓄積されている仮の通知判定テーブルを過去通知判定テーブル蓄積部１０７に供給し、更新通知判定テーブルとして更新させる。

以上の処理により、図９に示したような通知判定テーブル１１１が過去通知判定テーブル蓄積部１０７に蓄積される。いわば、この通知判定テーブル１１１には、イベントとして通知しなくてよい場合のパターンが記憶されることになる。

次に、図１４のフローチャートを参照して、図１２の処理ボックス２の処理に対応して実行されるリモートコントローラ４における処理について説明する。なお、この処理は、処理ボックス２の送信部５６により、図１２のステップＳ３４の処理が実行されたとき、開始される。

ステップＳ７１において、受信部６１は、処理ボックス２より通知イベントを受信したか否かを判定し、通知イベントを受信するまで待機する。そして、通知イベントを受信したと判定した場合、ステップＳ７２に進み、受信部６１は、（上述した図１２のステップＳ２３の処理により）処理ボックス２から通知イベントとともに送信されてきた通知データに基づくイベント画像（通知画像データ）を呈示部６２に呈示させる。

ユーザは、呈示部６２に呈示されたイベント画像を見て、入力部６３を操作し、判断（例えば、いま呈示されているイベントは今後も知らせて欲しいイベントであるか、あるいは、今後は知らせなくてよいイベントであるのか）を入力する。

ステップＳ７３において、入力部６３は、呈示されたイベントに対するユーザからの判断（ユーザフィードバック）が入力されたか否かを判定し、ユーザフィードバックが入力されたと判定した場合、ユーザFB信号を、送信部６４に供給し、ステップＳ７４に進む。

ステップＳ７４において、送信部６４は、入力部６３から供給されたユーザFB信号を処理ボックス２に送信する。処理ボックス２は、これを受信し、状態記述データ蓄積部５３に蓄積されている状態記述データ９１に対応付ける（図１２のステップＳ３１）。

ステップＳ７４の処理の後、または、ステップＳ７３において、ユーザフィードバックが入力されていないと判定された場合、処理はステップＳ７１に戻り、上述した処理が繰り返し実行される。

以上のように、ユーザからのフィードバックに基づいて、イベント通知の判定に用いる通知判定テーブルを変化（更新）させるようにしたので、ユーザが意図するイベントのみを検出することができ、かつ、イベントを通知する場合にのみ、CCDカメラ２１の電源をオンするようにしたので、無駄なバッテリ消費を抑えることができる。

また上述した通知判定テーブル１１１の状態記述データ１２１に含まれる継続時間最小値および継続時間最大値を、図１５に示されるように、±α時間だけ短く、または長くして、非通知の範囲を広げるように調整することも可能である。これにより、通知イベントを、ユーザが特に必要とするもののみに絞ることができ、かつ、通知イベントの数が減るため、マルチセンサカメラ１の消費電力をさらに抑えることができる。

さらに以上においては、複数のフォトセンサ２２−１乃至２２−３を設置することで、これらの反応状態から、人物の行動をおおよそ推定することが可能となる。

図１６は、出入口１３１に対する人物の行動を模式的に示している。同図において、フォトセンサ２２−１乃至２２−３は、出入口１３１の表側（外側）に設置されており、フォトセンサ２２−２は、出入口１３１のほぼ正面に位置するように配置されている。

例えば、人物８１−１が図中矢印で示されるように、出入口１３１から室内に進入した場合、状態記述部４１は、“３”の状態番号、“２”の状態番号の順に状態記述データ９１を記述する。また人物８１−２が図中矢印で示されるように、出入口１３１から退出した場合、状態記述部４１は、“２”の状態番号、“３”の状態番号の順に状態記述データ９１を記述する。また人物８１−３が図中矢印で示されるように、出入口１３１から退出した場合、状態記述部４１は、“２”の状態番号、“１”の状態番号の順に状態記述データ９１を記述する。また人物８１−４が図中矢印で示されるように、出入口１３１から室内に侵入した場合、状態記述部４１は、“１”の状態番号、“２”の状態番号の順に状態記述データ９１を記述する。そして、状態記述部４１は、人物８１−１乃至８１−４の行動に応じて記述した状態記述データ９１をイベント通知判定部４２に供給する。

イベント通知判定部４２は、状態記述部４１から供給された状態記述データ９１を参照し、状態記述データ９１に含まれる状態番号が“２”で終わる場合には（フォトセンサ２２−２が最後に反応した場合には）、人物（いまの場合、人物８１−１，８１−４）が室内に侵入するように行動したと判断することができる。

さらに、フォトセンサ２２−１乃至２２−３がほぼ同時に反応した場合には、それは明るさの変化（例えば、電気が付いたこと）であり、侵入者ではないと判断することができる。

このように、複数のフォトセンサ２２−１乃至２２−３の反応状態に基づいて、人物の行動をおおよそ推定することが可能となる。

さらに以上においては、マルチセンサカメラ１や呈示部３は、１台ではなく、複数台設けるようにしたり、処理ボックス２は、呈示部３と別の筐体とせず、一体型とするようにしたり、リモートコントローラ４に呈示部６２を設けずに、呈示部３のみの呈示とするようにしたり、あるいは、処理ボックス２にユーザフィードバックを入力するための入力部を設けるようにすることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図１７は、汎用のパーソナルコンピュータ２００の内部の構成例を示す図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記憶されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。

入出力インターフェース２０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部２０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部２０７、ハードディスクなどで構成される記憶部２０８、およびモデムやターミナルアダプタなどで構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インターフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部２０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図１７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０３または記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

本発明を適用した監視システムの構成例を示す図である。 マルチセンサカメラの外観の構成例を示す図である。 フォトセンサの監視領域を示す図である。 図１の監視システムの機能的構成例を示すブロック図である。 フォトセンサが出力する検知信号の出力レベルの変化と人物の行動との関係を示す図である。 人物の行動に応じて記述される状態記述データの例を示す図である。 時間軸方向に連続的に並べた状態記述データの例を示す図である。 図４の通知判定テーブル更新部の詳細な構成例を示すブロック図である。 通知判定テーブルの例を示す図である。 マルチセンサカメラにおける処理を説明するフローチャートである。 図１０のステップＳ８の処理を説明する図である。 処理ボックスにおける処理を説明するフローチャートである。 図１２のステップＳ３３における通知判定テーブル更新処理の詳細を説明するフローチャートである。 リモートコントローラにおける処理を説明するフローチャートである。 通知判定テーブルにおける非通知の範囲を広げる場合の例を示す図である。 出入口に対する人物の行動を模式的に示す図である。 汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ２２−１乃至２２−３ フォトセンサ， ４１ 状態記述部， ４２ イベント通知判定部， ５２ 呈示画像構築部， ５３ 状態記述データ蓄積部， ５４ 通知判定テーブル更新部， ６２ 呈示部， ６３ 入力部， １０１ ユーザフィードバック判定部， １０２ 状態記述パターン比較部， １０３ 新規パターン作成部， １０４ 既存パターン更新部， １０５ 仮通知判定テーブル蓄積部， １０６ テーブル比較部， １０７ 過去通知判定テーブル蓄積部

Claims (16)

1. 複数のセンサからセンサデータを取得する取得手段と、
   前記取得手段により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
   前記状態データ記述手段により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段と、
   前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と、
   前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と、
   前記入力取得手段により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述手段により記述された前記状態データが蓄積された判定テーブルを作成する作成手段と、
   前記状態データ記述手段により記述された前記状態データと、前記作成手段により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定手段と
   を備え、
   前記構築手段は、前記判定手段により前記イベントを通知すると判定された場合、前記呈示データを構築する
   ことを特徴とする監視システム。
2. 前記作成手段は、前記センサを識別するための状態番号と、前記状態データ記述手段により記述された前記状態データに含まれる前記センサの反応継続時間とが対応付けられた前記判定テーブルを作成し、
   前記判定手段は、前記状態データ記述手段により記述された前記状態データに含まれる反応継続時間と、前記作成手段により作成された前記判定テーブルの反応継続時間とを、前記状態番号の順に比較し、前記イベントを通知するか否かを判定する
   ことを特徴とする請求項１に記載の監視システム。
3. 前記複数のセンサは、フォトセンサである
   ことを特徴とする請求項１に記載の監視システム。
4. 前記構築手段は、テレビジョン放送に基づく信号に前記イベントデータを挿入して前記呈示データを構築する
   ことを特徴とする請求項１に記載の監視システム。
5. 前記構築手段は、前記判定手段により前記イベントを通知しないと判定された場合、予め定められた信号に基づくデータを呈示データとする
   ことを特徴とする請求項１に記載の監視システム。
6. 複数のセンサからセンサデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
   前記状態データ記述ステップの処理により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
   前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、
   前記入力取得ステップの処理により取得された前記ユーザの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述ステップの処理により記述された前記状態データが蓄積された判定テーブルを作成する作成ステップと、
   前記状態データ記述ステップの処理により記述された前記状態データと、前記作成ステップの処理により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定ステップと
   を含み、
   前記構築ステップの処理は、前記判定ステップの処理により前記イベントを通知すると判定された場合、前記呈示データを構築する
   ことを特徴とする監視方法。
7. 複数のセンサからセンサデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
   前記状態データ記述ステップの処理により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
   前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、
   前記入力取得ステップの処理により取得された前記ユーザの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述ステップの処理により記述された前記状態データが蓄積された判定テーブルを作成する作成ステップと、
   前記状態データ記述ステップの処理により記述された前記状態データと、前記作成ステップの処理により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定ステップと
   を含み、
   前記構築ステップの処理は、前記判定ステップの処理により前記イベントを通知すると判定された場合、前記呈示データを構築する
   ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 複数のセンサからセンサデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記複数のセンサデータに基づいて、前記複数のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
   前記状態データ記述ステップの処理により記述された状態データに基づいて、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
   前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、
   前記入力取得ステップの処理により取得された前記ユーザの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データ記述ステップの処理により記述された前記状態データが蓄積された判定テーブルを作成する作成ステップと、
   前記状態データ記述ステップの処理により記述された前記状態データと、前記作成ステップの処理により作成された前記判定テーブルを比較し、前記イベントを通知するか否かを判定する判定ステップと
   を含み、
   前記構築ステップの処理は、前記判定ステップの処理により前記イベントを通知すると判定された場合、前記呈示データを構築する
   ことをコンピュータに実行させることを特徴とするプログラム。
9. 他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積手段と、
   前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、
   前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と、
   前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と
   を備え、
   前記蓄積手段は、前記入力取得手段により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積する
   ことを特徴とする情報処理装置。
10. 前記蓄積手段に蓄積されている前記判定テーブルを前記他の装置に送信する送信手段をさらに備える
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記他の装置より前記イベントが通知されていない場合、前記構築手段は、前記予め定められた信号に基づくデータを呈示データとする
    ことを特徴とする請求項９に記載の情報処理装置。
12. 前記複数のセンサは、フォトセンサである
    ことを特徴とする請求項９に記載の情報処理装置。
13. 前記状態データは、前記センサを識別するための状態番号、および、前記センサの反応継続時間を含む
    ことを特徴とする請求項９に記載の情報処理装置。
14. 他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、
    前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
    前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと
    を含み、
    前記蓄積ステップの処理は、前記入力取得ステップの処理により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積する
    ことを特徴とする情報処理方法。
15. 他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、
    前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
    前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと
    を含み、
    前記蓄積ステップの処理は、前記入力取得ステップの処理により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積する
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
16. 他の装置で記述された複数のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、
    前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと、
    前記呈示ステップの処理による呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと
    を含み、
    前記蓄積ステップの処理は、前記入力取得ステップの処理により取得された前記ユーザからの判断の結果が前記イベントとして通知しなくてよい旨を示している場合、前記状態データを前記判定テーブルとして蓄積する
    ことをコンピュータに実行させることを特徴とするプログラム。

Images