以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現したり、追加される発明の存在を否定するものではない。
本発明によれば、監視システムが提供される。この監視システム(例えば、図3の監視システム21)は、監視領域の監視に基づく第1のデータ(例えば、センサデータ)を出力する第1のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のフォトセンサ51)と、監視領域の監視に基づく第2のデータ(例えば、センサデータ)を出力する第2のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のフォトセンサ51)と、監視領域の監視に基づく第3のデータ(例えば、画像データ)を出力する第3のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のカメラ54)と、監視領域の監視に基づく第4のデータ(例えば、画像データ)を出力する第4のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のカメラ54)と、前記第1のセンサにより出力された前記第1のデータに基づいて、監視領域の状況の変化に伴う第1のイベントの発生および状態を検出する第1のイベント検出手段(例えば、図3のマルチセンサカメラ1−1の図11の状態検知部52)と、前記第2のセンサにより出力された前記第2のデータに基づいて、監視領域の状況の変化に伴う第2のイベントの発生および状態を検出する第2のイベント検出手段(例えば、図3のマルチセンサカメラ1−2の図11の状態検知部52)と、前記第1のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第1のイベント分類情報と前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第2のイベント分類情報と前記第2のイベントの状態の履歴を表わすデータ、または、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第3のイベント分類情報と前記統合したイベントの状態の履歴を表す統合データに基づき、前記第1のイベントおよび前記第2のイベントの通知を制御する通知制御手段(例えば、図11のイベント通知制御部53または図12のイベント通知制御部73)と、前記通知制御手段により通知するように制御された前記第1のイベントに関する前記第3のセンサにより出力された前記第3のデータ、および前記第2のイベントに関する前記第4のセンサにより出力された前記第4のデータの呈示を制御する呈示制御手段(例えば、図12のイベント呈示制御部74)とを備える。
この監視システム(例えば、図3の監視システム21)は、ユーザからの情報の入力を取得する入力取得手段(例えば、図12のユーザ入力部77)をさらに備えるようにすることができる。
この監視システム(例えば、図3の監視システム21)においては、前記入力取得手段は、前記呈示制御手段により制御された呈示に基づく、ユーザからの評価(例えば、イベントの通知が不要か否かの評価)の入力を取得し、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、前記統合データならびに前記入力取得手段により取得されたユーザからの評価の入力に基づいて、前記第1のイベント分類情報、前記第2のイベント分類情報、および、前記第3のイベント分類情報を生成するイベント分類情報生成手段(例えば、図12の分類情報生成部76)をさらに備えるようにすることができる。
この監視システム(例えば、図3の監視システム21)においては、前記入力取得手段は、前記呈示制御手段による制御に基づき前記第3のデータおよび前記第4のデータのうち少なくとも1つのデータを用いて呈示されたイベントの通知の必要性を評価(例えば、イベントの通知が不要か否かの評価)する入力を前記ユーザからの評価の入力として取得するようにすることができる。
この監視システム(例えば、図3の監視システム21)は、前記イベント分類情報生成手段により生成された前記第1のイベント分類情報、前記第2のイベント分類情報、および、前記第3のイベント分類情報を蓄積するイベント分類情報蓄積手段(例えば、図12のイベント分類情報蓄積部80)をさらに備えるようにすることができる。
この監視システム(例えば、図3の監視システム21)は、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、および前記統合データのうち少なくとも1つのデータを、前記入力取得手段により取得されたユーザからの評価の入力の情報と対応づけてイベント情報として記録する情報記録手段(例えば、図12のイベント情報記録部75)をさらに備えるようにすることができる。
この監視システム(例えば、図3の監視システム21)においては、前記情報記録手段により記録されたイベント情報、前記第1のイベント分類情報、および前記第2のイベント分類情報に基づき、イベントの通知を制御するモード(例えば、処理モード)を選択するモード選択手段(例えば、図12の処理モード選択部78)をさらに備え、前記通知制御手段は、前記モード選択手段により選択されたモードに基づき、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、および前記統合データのうちどのデータに基づきイベントの通知を制御するかを制御するようにすることができる。
この監視システム(例えば、図3の監視システム21)においては、前記入力手段は、ユーザからの前記モードに関する指令(例えば、低消費電力モードを選択するか否かの入力)を取得し、前記モード選択手段は、前記入力取得手段により取得されたユーザからの指令に基づいて、前記モードを選択するようにすることができる。
この監視システム(例えば、図3の監視システム21)においては、前記第1のセンサ、前記第2のセンサ、前記第3のセンサ、前記第4のセンサ、前記第1のイベント検出手段、前記第2のイベント検出手段、前記通知制御手段、および前記呈示制御手段は、第1の情報処理装置(例えば、マルチセンサカメラ1−1)、第2の情報処理装置(例えば、マルチセンサカメラ1−2)、および第3の情報処理装置(例えば、サーバ31)のいずれかに分離して配置されるようにすることができる。
この監視システム(例えば、図3の監視システム21)においては、前記通知制御手段は、第1の通知制御手段(例えば、図3のマルチセンサカメラ1−1の図11のイベント通知制御部53)、第2の通知制御手段(例えば、図3のマルチセンサカメラ1−2の図11のイベント通知制御部53)、および第3の通知制御手段(例えば、図3のサーバ31の図12のイベント通知制御部73)から構成され、前記第1のセンサ、前記第3のセンサ、前記第1のイベント検出手段、および第1の通知制御手段は、第1の情報処理装置(例えば、図3のマルチセンサカメラ1−1)に配置され、前記第2のセンサ、前記第4のセンサ、前記第2のイベント検出手段、および第2の通知制御手段は、第2の情報処理装置(例えば、図3のマルチセンサカメラ1−2)に配置され、前記第3の通知制御手段、前記呈示制御手段、前記入力取得手段、前記イベント分類情報生成手段、前記情報記録手段、および前記モード選択手段は、前記第3の情報処理装置(例えば、図3のサーバ31)に配置されるようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、監視領域の監視に基づき第1のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のフォトセンサ51)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴う第1のイベントの発生および状態を検出する第1のイベント検出ステップ(例えば、図3のマルチセンサカメラ1−1における図16のステップS102、図42のステップS402、または、図56のステップS502)と、監視領域の監視に基づき第2のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のフォトセンサ51)から出力された第2のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴う第2のイベントの発生および状態を検出する第2のイベント検出ステップ(例えば、図3のマルチセンサカメラ1−2における図16のステップS102、図42のステップS402、または、図56のステップS502)と、前記第1のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第1のイベント分類情報と前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第2のイベント分類情報と前記第2のイベントの状態の履歴を表わすデータ、または、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第3のイベント分類情報と前記統合したイベントの状態の履歴を表す統合データに基づき、前記第1のイベントおよび前記第2のイベントの通知を制御する通知制御ステップ(例えば、図20のステップS159、図43のステップS407、または、図56のステップS503)と、前記通知制御ステップの処理により通知するように制御された前記第1のイベントに関する第3のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のカメラ54)による監視領域の監視に基づき出力された第3のデータ(例えば、画像データ)、および前記第2のイベントに関する第4のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のカメラ54)による監視領域の監視に基づき出力された第4のデータ(例えば、画像データ)の呈示を制御する呈示制御ステップ(例えば、図20のステップS161、図47のステップS458、または、図58のステップS558)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、監視領域の監視に基づき第1のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のフォトセンサ51)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴う第1のイベントの発生および状態を検出する第1のイベント検出ステップ(例えば、図3のマルチセンサカメラ1−1における図16のステップS102、図42のステップS402、または、図56のステップS502)と、監視領域の監視に基づき第2のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のフォトセンサ51)から出力された第2のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴う第2のイベントの発生および状態を検出する第2のイベント検出ステップ(例えば、図3のマルチセンサカメラ1−2における図16のステップS102、図42のステップS402、または、図56のステップS502)と、前記第1のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第1のイベント分類情報と前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第2のイベント分類情報と前記第2のイベントの状態の履歴を表わすデータ、または、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第3のイベント分類情報と前記統合したイベントの状態の履歴を表す統合データに基づき、前記第1のイベントおよび前記第2のイベントの通知を制御する通知制御ステップ(例えば、図20のステップS159、図43のステップS407、または、図56のステップS503)と、前記通知制御ステップの処理により通知するように制御された前記第1のイベントに関する第3のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のカメラ54)による監視領域の監視に基づき出力された第3のデータ(例えば、画像データ)、および前記第2のイベントに関する第4のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のカメラ54)による監視領域の監視に基づき出力された第4のデータ(例えば、画像データ)の呈示を制御する呈示制御ステップ(例えば、図20のステップS161、図47のステップS458、または、図58のステップS558)とを含む。
本発明によれば、情報処理装置が提供される。この情報処理装置(例えば、図3のマルチセンサカメラ1−1)は、監視領域の監視に基づく第1のデータ(例えば、センサデータ)を出力する第1のセンサ(例えば、図11のフォトセンサ51)と、監視領域の監視に基づく第2のデータ(例えば、画像データ)を出力する第2のセンサ(例えば、図11のカメラ54)と、前記第1のセンサにより出力された前記第1のデータに基づいて、監視領域の状況の変化に伴う第1のイベントの発生および状態を検出するイベント検出手段(例えば、図11の状態検知部52)と、第1の他の情報処理装置(例えば、図3のマルチセンサカメラ1−2)により検出された第2のイベントの状態の履歴を表わすデータを受信する受信手段(例えば、図11の受信部56)と、前記第1のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第1のイベント分類情報と前記第1のイベントの状態の履歴を表わすデータ、または、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第2のイベント分類情報と前記統合したイベントの状態の履歴を表す統合データに基づき、前記第1のイベントの通知を制御する通知制御手段(例えば、図11のイベント通知制御部53)と、前記通知制御手段により通知するように制御された前記第1のイベントに関する前記第2のセンサにより出力された前記第2のデータを第2の他の情報処理装置(例えば、図3のサーバ31)に送信するとともに、前記第1のイベントの状態の履歴を表わすデータを前記第1の他の情報処理装置および前記第2の他の情報処理装置に送信する送信手段(例えば、図11の送信部55)とを備える。
この情報処理装置(例えば、図3のマルチセンサカメラ1−1)においては、前記通知制御手段は、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、前記統合データ、およびユーザからの指令(例えば、イベントの通知が不要か否かの評価の入力)に基づき選択されたイベントの通知を制御するモード(例えば、処理モード)に基づき、前記第1のイベントの状態の履歴を表わすデータ、および前記統合データのうちどのデータに基づきイベントの通知を制御するかを制御するようにすることができる。
この情報処理装置(例えば、図3のマルチセンサカメラ1−1)においては、前記通知制御手段は、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、前記統合データ、およびユーザからの指令(例えば、イベントの通知が不要か否かの評価の入力)に基づき選択されたイベントの通知を制御するモード(例えば、処理モード)に基づき、前記第1のイベントの通知の制御を行なうか否かを制御するようにすることができる。
この情報処理装置(例えば、図3のマルチセンサカメラ1−1)においては、前記イベント検出手段は、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、前記統合データ、およびユーザからの指令(例えば、イベントの通知が不要か否かの評価の入力)に基づき選択されたイベントの通知を制御するモード(例えば、処理モード)に基づき、前記第1のイベントの状態の履歴を表わすデータを、前記第1の他の情報処理装置、または前記第2の他の情報処理装置に送信するか否かを制御するようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、監視領域の監視に基づき第1のセンサ(例えば、図11のフォトセンサ51)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴う第1のイベントの発生および状態を検出するイベント検出ステップ(例えば、図16のステップS102、図42のステップS402、または、図56のステップS502)と、第1の他の情報処理装置(例えば、図3のマルチセンサカメラ1−2)により検出された第2のイベントの状態の履歴を表わすデータを受信する受信ステップ(例えば、図42のステップS405)と、前記第1のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第1のイベント分類情報と前記第1のイベントの状態の履歴を表わすデータ、または、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第2のイベント分類情報と前記統合したイベントの状態の履歴を表す統合データに基づき、前記第1のイベントの通知を制御する通知制御ステップ(例えば、図43のステップS407、または、図56のステップS503)と、前記通知制御ステップの処理により通知するように制御された第1のイベントに関する第2のセンサ(例えば、図11のカメラ54)による監視領域の監視に基づき出力された第2のデータ(例えば、画像データ)を第2の他の情報処理装置(例えば、図3のサーバ31)に送信するとともに、前記第1のイベントの状態の履歴を表わすデータを前記第1の他の情報処理装置および前記第2の他の情報処理装置に送信する送信ステップ(例えば、図16のステップS104、図42のステップS404、図44のステップS419)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、監視領域の監視に基づき第1のセンサ(例えば、図11のフォトセンサ51)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴う第1のイベントの発生および状態を検出するイベント検出ステップ(例えば、図16のステップS102、図42のステップS402、または、図56のステップS502)と、第1の他の情報処理装置(例えば、図3のマルチセンサカメラ1−2)により検出された第2のイベントの状態の履歴を表わすデータを受信する受信ステップ(例えば、図42のステップS405)と、前記第1のイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第1のイベント分類情報と前記第1のイベントの状態の履歴を表わすデータ、または、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わす第2のイベント分類情報と前記統合したイベントの状態の履歴を表す統合データに基づき、前記第1のイベントの通知を制御する通知制御ステップ(例えば、図43のステップS407、または、図56のステップS503)と、前記通知制御ステップの処理により通知するように制御された第1のイベントに関する第2のセンサ(例えば、図11のカメラ54)による監視領域の監視に基づき出力された第2のデータ(例えば、画像データ)を第2の他の情報処理装置(例えば、図3のサーバ31)に送信するとともに、前記第1のイベントの状態の履歴を表わすデータを前記第1の他の情報処理装置および前記第2の他の情報処理装置に送信する送信ステップ(例えば、図16のステップS104、図42のステップS404、図44のステップS419)とを含む。
本発明によれば、情報処理装置が提供される。この情報処理装置(例えば、図3のサーバ31)は、第1のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のフォトセンサ51)の監視領域の監視に基づき生成された第1のイベントの状態の履歴を表わすデータ、第2のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のフォトセンサ51)の監視領域の監視に基づき生成された第2のイベントの状態の履歴を表わすデータ、第3のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のカメラ54)の監視領域の状況の変化に伴うイベントの第3のデータ(例えば、画像データ)、および第4のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のカメラ54)の監視領域の状況の変化に伴うイベントの第4のデータ(例えば、画像データ)を受信する受信手段(例えば、図12の受信部72)と、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴を表わす統合データと、前記統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わすイベント分類情報とに基づき、前記第1のイベントおよび前記第2のイベントの通知を制御する通知制御手段(例えば、図12のイベント通知制御部73)と、前記通知制御手段により通知するように制御された前記第1のイベントに関する前記第3のセンサにより出力された前記第3のデータ、および前記第2のイベントに関する前記第4のセンサにより出力された前記第4のデータの呈示を制御する呈示制御手段(例えば、図12のイベント呈示制御部74)とを備える。
この情報処理装置(例えば、図3のサーバ31)は、ユーザからの情報の入力を取得する入力取得手段(例えば、図12のユーザ入力部77)をさらに備えるようにすることができる。
この情報処理装置(例えば、図3のサーバ31)においては、この監視システム(例えば、図3の監視システム21)においては、前記入力取得手段は、前記呈示制御手段により制御された呈示に基づく、ユーザからの評価(例えば、イベントの通知が不要か否かの評価)の入力を取得し、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、前記統合データならびに前記入力取得手段により取得されたユーザからの評価の入力に基づいて、前記イベント分類情報を生成するイベント分類情報生成手段(例えば、図12の分類情報生成部76)をさらに備えるようにすることができる。
この情報処理装置(例えば、図3のサーバ31)においては、前記呈示制御手段による制御に基づき前記第3のデータおよび前記第4のデータのうち少なくとも1つのデータを用いて呈示されたイベントの通知の必要性を評価(例えば、イベントの通知が不要か否かの評価)する入力を前記ユーザからの評価の入力として取得するようにすることができる。
この情報処理装置(例えば、図3のサーバ31)は、前記イベント分類情報生成手段により生成されたイベント分類情報を蓄積するイベント分類情報蓄積手段(例えば、図12のイベント分類情報蓄積部80)をさらに備えるようにすることができる。
この情報処理装置(例えば、図3のサーバ31)は、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、および前記統合データのうち少なくとも1つのデータを、前記入力取得手段により取得されたユーザからの評価の入力の情報と対応づけてイベント情報として記録する情報記録手段(例えば、図12のイベント情報記録部75)をさらに備えるようにすることができる。
この情報処理装置(例えば、図3のサーバ31)においては、前記情報記録手段により記録されたイベント情報、および前記イベント分類情報に基づき、前記第1のイベントの状態の履歴を表わすデータ、前記第2のイベントの状態の履歴を表わすデータ、および前記統合データのうちどのデータに基づきイベントの通知を制御するかを示すモード(例えば、処理モード)を選択するモード選択手段(例えば、図12の処理モード選択部78)をさらに備えるようにすることができる。
この情報処理装置(例えば、図3のサーバ31)においては、前記入力手段は、ユーザからの前記モードに関する指令(例えば、低消費電力モードを選択するか否かの入力)を取得し、前記モード選択手段は、前記入力取得手段により取得されたユーザからの指令に基づいて、前記モードを選択するようにすることができる。
この情報処理装置(例えば、図3のサーバ31)においては、前記モード選択手段は、他の情報処理装置(例えば、図3のマルチセンサカメラ1−1)の消費電力に基づき、前記モードを選択するようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、第1のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のフォトセンサ51)の監視領域の監視に基づき生成された第1のイベントの状態の履歴を表わすデータ、第2のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のフォトセンサ51)の監視領域の監視に基づき生成された第2のイベントの状態の履歴を表わすデータ、第3のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のカメラ54)の監視領域の状況の変化に伴うイベントの第3のデータ(例えば、画像データ)、および第4のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のカメラ54)の監視領域の状況の変化に伴うイベントの第4のデータ(例えば、画像データ)を取得する取得ステップ(例えば、図20のステップS151およびS160)と、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴を表わす統合データと、前記統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わすイベント分類情報とに基づき、前記第1のイベントおよび前記第2のイベントの通知を制御する通知制御ステップ(例えば、図20のステップS159)と、前記通知制御ステップの処理により通知するように制御された前記第1のイベントに関する前記第3のセンサにより出力された前記第3のデータ、および前記第2のイベントに関する前記第4のセンサにより出力された前記第4のデータの呈示を制御する呈示制御ステップ(例えば、図20のステップS161)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、第1のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のフォトセンサ51)の監視領域の監視に基づき生成された第1のイベントの状態の履歴を表わすデータ、第2のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のフォトセンサ51)の監視領域の監視に基づき生成された第2のイベントの状態の履歴を表わすデータ、第3のセンサ(例えば、図3のマルチセンサカメラ1−1の図11のカメラ54)の監視領域の状況の変化に伴うイベントの第3のデータ(例えば、画像データ)、および第4のセンサ(例えば、図3のマルチセンサカメラ1−2の図11のカメラ54)の監視領域の状況の変化に伴うイベントの第4のデータ(例えば、画像データ)を取得する取得ステップ(例えば、図20のステップS151およびS160)と、前記第1のイベントの状態と前記第2のイベントの状態とを組み合わせることにより統合したイベントの状態の履歴を表わす統合データと、前記統合したイベントの状態の履歴に基づいてイベントの通知の必要性を表わすイベント分類情報とに基づき、前記第1のイベントおよび前記第2のイベントの通知を制御する通知制御ステップ(例えば、図20のステップS159)と、前記通知制御ステップの処理により通知するように制御された前記第1のイベントに関する前記第3のセンサにより出力された前記第3のデータ、および前記第2のイベントに関する前記第4のセンサにより出力された前記第4のデータの呈示を制御する呈示制御ステップ(例えば、図20のステップS161)とを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図1は、監視システムが1台のマルチセンサカメラ1−1で監視した場合の監視領域を示し、図2は、監視システムが2台のマルチセンサカメラ1−1および1−2で監視した場合の監視領域を示している。図1の監視システムの場合、マルチセンサカメラ1−1の監視領域11−1のみしか監視できないが、図2の監視システムの場合、マルチセンサカメラ1−2の監視領域11−2も監視できるようになり、より多くのイベントを検出できるようになる。
さらに、図2の監視システムの場合、マルチセンサカメラ1−1のみイベントを検出している状態(図2の監視領域11−3(監視領域11−1と監視領域11−2が重なる領域)の領域を除く監視領域11−1でイベントが発生している状態)、マルチセンサカメラ1−2のみイベントを検出している状態(図2の監視領域11−3の領域を除く監視領域11−2でイベントが発生している状態)、およびマルチセンサカメラ1−1および1−2の両方がイベントを検出している状態(図2の監視領域11−3でイベントが発生している状態)と、イベントの検出状態が区分可能である。従って、図2の監視システムの場合、図2の監視システムに比べて、監視領域で発生するイベントの状態をより詳細に分析することができ、その分析結果に基づいて、ユーザに通知が必要なイベントか否かを判断し、ユーザへのイベントの通知を制御することにより、よりユーザに必要十分な量の情報を提供できるようになる。
図3は、本発明を適用した監視システム21の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ1―1および1−2が設けられており、図中右側の通知・呈示側に、サーバ31、および呈示部32が設けられている。マルチセンサカメラ1−1、マルチセンサカメラ1−2、およびサーバ31は、互いに無線通信を行なう。サーバ31と通信する呈示部32は、例えば、一般のテレビジョン受像機や専用のモニタとされる。
マルチセンサカメラ1−1,1−2には、それぞれセンサが設けられており、イベントを監視したい領域(必要な場所)を監視できるように設置されている。これ以降の説明では、マルチセンサカメラ1−1,1−2は、図2に示されるように、互いの監視領域がほぼ垂直に重なるように配置されたものとして説明する。
図4乃至図7は、監視システム21のマルチセンサカメラ1−1,1−2の監視領域と、その監視領域内で発生したイベントの例を表わす。まず、図4を参照して、監視システム21の監視領域とイベントの状態の分類に関して説明する。
マルチセンサカメラ1−1にはフォトセンサ51−1が設けられ、マルチセンサカメラ1−2にはフォトセンサ51−2が設けられている。図2で説明したように、フォトセンサ51−1は監視領域11−1を監視し、フォトセンサ51−2は監視領域11−2を監視する。監視領域11−1と監視領域11−2が重なった領域は、監視領域11−3とされる。フォトセンサ51−1および51−2は、受光光量に、予め設定されている基準を超える変化があった時、イベントの発生を検出する。
監視システム21では、マルチセンサカメラ1−1のフォトセンサ51−1およびマルチセンサカメラ1−2のフォトセンサ51−2の検出状態により、イベントの状態が分類される。さらに、1つのイベントに対して、マルチセンサカメラ1−1の単独の状態(以下、単独状態と称する)、マルチセンサカメラ1−2の単独状態、マルチセンサカメラ1−1,1−2の状態を統合した状態(以下、統合状態と称する)の3つの状態が定義される。そして、分類した状態毎に番号(以下、状態番号と称する)がつけられ、マルチセンサカメラ1−1,1−2の単独状態の状態番号をマルチセンサカメラ1−1,1−2の単独状態番号、マルチセンサカメラ1−1,1−2の統合状態の状態番号を統合状態番号と称する。
マルチセンサカメラ1−1の単独状態番号は、監視領域11−1でイベントが発生している(フォトセンサ51−1がイベントを検出している)場合が0x01、監視領域11−1でイベントが発生していない(フォトセンサ51−1がイベントを検出していない)場合が0x00と定義される。同様に、マルチセンサカメラ1−2の単独状態番号は、監視領域11−2でイベントが発生している(フォトセンサ51−2がイベントを検出している)場合が0x01、監視領域11−2でイベントが発生していない(フォトセンサ51−2がイベントを検出していない)場合が0x00と定義される。
統合状態番号は、サーバ31とマルチセンサカメラ1−1,1−2で番号体系が異なる。サーバ31の統合状態番号は、監視領域11−1でのみイベントが発生している(フォトセンサ51−1のみがイベントを検出している)場合が0x01、監視領域11−2でのみイベントが発生している(フォトセンサ51−2のみがイベントを検出している)場合が0x10、監視領域11−3内でイベントが発生している(フォトセンサ51−1および51−2がともにイベントを検出している)場合が0x11、イベントが発生していない(フォトセンサ51−1および51−2がともにイベントを検出していない)場合が0x00と定義される。
マルチセンサカメラ1−1,1−2の統合状態番号は、自己の監視領域でのみイベントが発生している場合が0x01、他のマルチセンサカメラの監視領域でのみイベントが発生している場合が0x10、自己の監視領域と他のマルチセンサカメラの監視領域が重なる領域(監視領域11−3)でイベントが発生している場合が0x11、イベントが発生していない場合が0x00と定義される。
この監視システム21の監視領域で、イベントが図4から図7の順で検出されたものとする。図4は、時刻T=tにおいて、人41が、監視領域11−1に侵入し、監視システム21の監視領域でイベントが発生した状態を表わす。図5は、図4の状態からm秒経過した時刻T=t+mにおいて、人41が監視領域11−3に侵入した状態を表わす。図6は、図5の状態からさらにn秒経過した時刻T=t+m+nにおいて、人41が監視領域11−1から外に出て、監視領域11−2のみの領域に侵入した状態を表わす。図7は、図6の状態からさらにp秒経過した時刻T=t+m+n+pにおいて、人41が、監視システム21の監視領域の外へ出て、イベントが終了した状態を表わす。
図8は、図4乃至図7で表わされたイベントでの各時刻におけるイベントの各状態番号を示している。図8の1行目は時刻を表わしており、イベントの状態は、それぞれ時刻T=tの時が図4の状態、時刻T=t+mの時が図5の状態、時刻T=t+m+nの時が図6の状態、時刻T=t+m+n+oの時が図7の状態にそれぞれ対応する。図8の2行目以降は、各時刻における1列目に示された各状態番号の値を表わす。例えば、時刻T=tの時のマルチセンサカメラ1−1の単独状態番号は0x01、マルチセンサカメラ1−2の単独状態番号は0x00、マルチセンサカメラ1−1における統合状態番号は0x01、マルチセンサカメラ1−2における統合状態番号は0x10、サーバ31における統合状態番号は0x01となる。
イベント発生から終了までのイベントの状態番号の遷移パターンが、状態遷移パターンとされる。状態遷移パターンには、イベントが発生している間の状態番号の遷移が含まれ、イベントが発生していない時の状態番号は含まれない。例えば、図4乃至図7のイベントの例では、マルチセンサカメラ1−2の単独状態番号は、時刻T=t+mの時に、監視領域11−2でのイベントの発生に伴い、0x00から0x01に遷移し、時刻T=t+m+n+pの時に、監視領域11−2でのイベントの終了に伴い、0x01から0x00に遷移している。従って、監視領域11−2でイベントが発生している間、マルチセンサカメラ1−2の単独状態番号は、0x01から他の状態番号に遷移していないため、マルチセンサカメラ1−2の単独状態遷移パターンは、単独状態0x01と記述される。
同様に、図4乃至図7のイベントの例では、サーバ31における統合状態番号は、時刻T=tの時に0x01であり、時刻T=t+mの時に0x01から0x11に遷移し、時刻T=t+m+nの時に0x11から0x10に遷移し、時刻T=t+m+n+pの時にイベントの終了に伴い0x10から0x00に遷移している。従って、サーバ31における統合状態遷移パターンは、統合状態0x01,統合状態0x11,統合状態0x10と記述される。
同様に、図4乃至図7のイベントの例では、マルチセンサカメラ1−1の単独状態遷移パターンは、単独状態0x01、マルチセンサカメラ1−1における統合状態遷移パターンは、統合状態0x01,統合状態0x11,統合状態0x10、マルチセンサカメラ1−2における統合状態遷移パターンは、統合状態0x10,統合状態0x11,統合状態0x01と、それぞれ記述される。
イベントの状態遷移パターンに、各状態における継続時間を付加したデータが、状態履歴データとされる。例えば、図4乃至図7のイベントの例では、マルチセンサカメラ1−2の状態遷移パターンに記述されている単独状態0x01は、時刻T=t+mの時に単独状態0x00から単独状態0x01に遷移してから、時刻T=t+m+n+pの時に単独状態0x01から単独状態0x00に遷移するまでの間のn+p秒間継続している。従って、マルチセンサカメラ1−2の単独状態履歴データは、単独状態0x01(n+p秒)と記述される。
同様に、図4乃至図7のイベントの例では、サーバ31における統合状態履歴データは、統合状態0x01がm秒継続し、統合状態0x11がn秒継続し、統合状態0x10がp秒継続しているので、統合状態0x01(m秒),統合状態0x11(n秒),統合状態0x10(p秒)と記述される。
同様に、図4乃至図7のイベントの例では、マルチセンサカメラ1−1の単独状態履歴データは、単独状態0x01(m+n秒)、マルチセンサカメラ1−1における統合状態履歴データは、統合状態0x01(m秒),統合状態0x11(n秒),統合状態0x10(p秒)、マルチセンサカメラ1−2における統合状態履歴データは、統合状態0x10(m秒),統合状態0x11(n秒),統合状態0x01(p秒)と、それぞれ記述される。
監視システム21における監視処理は、監視領域で発生したイベントをユーザに通知すべきか否かを判定(以下、イベント通知判定と称する)する時に、マルチセンサカメラ1−1,1−2の統合状態に基づき判定するか、マルチセンサカメラ1−1,1−2それぞれの単独状態に基づき判定するかにより、2つの処理モードに分かれる。前者を統合モード、後者を単独モードと称する。さらに、統合モードは、統合モードによるイベント通知判定を、マルチセンサカメラ1−1,1−2で行なうか、サーバ31で行なうかにより、さらに2つの処理モードに分かれ、前者をカメラ処理モード、後者をサーバ処理モードと称する。単独モードの場合、イベント通知判定は、常にマルチセンサカメラ1−1,1−2で行われ、サーバ31では行われない(常に、カメラ処理モードとされる)。従って、監視システム21の監視処理は合計3つの処理モードに分かれ、統合モードかつサーバ処理モードを統合サーバ処理モード、統合モードかつカメラ処理モードを統合カメラ処理モード、単独モードかつカメラ処理モードを独立カメラ処理モードと称する。
図3は、統合カメラ処理モードにおける監視システム21の情報の流れを示している。マルチセンサカメラ1−1,1−2は、自己の監視領域でイベントの状態が変化した時、他のマルチセンサカメラに状態が変化したことを通知する。この時他のマルチセンサカメラに送信される通知信号を状態変化通知と称し、この状態変化通知には、その時点のマルチセンサカメラ1−1,1−2の単独状態番号が含まれている。マルチセンサカメラ1−1,1−2は、他のマルチセンサカメラから送信された状態変化通知と、自己が検出したイベント状態に基づき、マルチセンサカメラ1−1,1−2の統合状態履歴データを求める。マルチセンサカメラ1−1,1−2は、その統合状態履歴データに基づき、イベント通知判定を行なう。イベント通知判定の詳細については、図13を参照して後述する。発生中のイベントが、ユーザに通知する必要があると判定された場合は、マルチセンサカメラ1−1,1−2から、サーバ31へ画像データが送信され、サーバ31は、受信した画像データから呈示用データを生成し、呈示部32に出力し、呈示させる。
図9は、統合サーバ処理モードにおける監視システム21の情報の流れを示している。マルチセンサカメラ1−1,1−2は、自己の監視領域でイベントの状態が変化した時、サーバ31に状態変化通知を送信する。サーバ31は、マルチセンサカメラ1−1,1−2からの状態変化通知に基づき、マルチセンサカメラ1−1,1−2の統合状態履歴データを求め、その統合状態履歴データに基づき、イベント通知判定を行なう。発生中のイベントが、ユーザに通知する必要があると判定された場合、サーバ31は、マルチセンサカメラ1−1,1−2に画像データの送信を要求し、マルチセンサカメラ1−1,1−2からサーバ31へ画像データが送信される。サーバ31は、受信した画像データから呈示用データを生成し、呈示部32に出力し、呈示させる。
図10は、独立カメラ処理モードにおける監視システム21の情報の流れを示している。マルチセンサカメラ1−1,1−2は、統合サーバ処理モードおよび統合カメラ処理モードの場合と異なり、自己の監視領域でイベントの状態が変化しても、状態変化通知を送信しない。マルチセンサカメラ1−1,1−2は、自己の単独状態履歴データに基づき、ユーザに通知が必要なイベントか否かを判定する。発生中のイベントが、ユーザに通知する必要があると判定された場合は、ユーザに通知する必要があると判定されたイベントを検出中のマルチセンサカメラから、サーバ31へ画像データが送信され、サーバ31は、受信した画像データから呈示用データを生成し、呈示部32へ出力し、呈示させる。
統合サーバ処理モードおよび統合カメラ処理モードの場合、発生中のイベントが、ユーザに通知する必要があると判定されても、必ずしも全てのマルチセンサカメラがイベントを検出しているとは限らない。そこで、監視システム21では、イベントを検出中のマルチセンサカメラからのみ画像データが送信されるように制御される。
例えば、図4乃至図7のイベントの例において、監視システム21の処理モードが統合サーバ処理モードあるいは統合カメラ処理モードで、図4の状態で、ユーザに通知が必要なイベントと判定された場合、マルチセンサカメラ1−1の監視領域11−1でのみイベントが発生しているため、マルチセンサカメラ1−1からのみサーバ31への画像データの送信が開始され、マルチセンサカメラ1−2からは、画像データは送信されない。
図5の状態では、マルチセンサカメラ1−2の監視領域11−2でもイベントが発生しているので、マルチセンサカメラ1−2からも、サーバ31への画像データの送信が開始され、マルチセンサカメラ1−1および1−2の両方から、サーバ31へ画像データが送信される。
図6の状態では、マルチセンサカメラ1−1の監視領域11−1では、イベントが終了しているため、マルチセンサカメラ1−1からの画像データの送信は停止され、マルチセンサカメラ1−2からのみサーバ31への画像データが送信される。従って、マルチセンサカメラ1−1,1−2の消費電力を最低限に抑えつつ、かつユーザが通知を必要とするイベントを呈示することができる。
統合サーバ処理モードおよび統合カメラ処理モードでは、マルチセンサカメラ1−1,1−2の状態を統合してイベント通知判定を行なうため、独立モードに比べて、イベントの検出状態が細分化され、それに従い、イベント通知判定の条件も細分化されるため、ユーザが通知を必要とするイベントを通知する精度(監視システム21がユーザに通知したイベントのうち、ユーザが通知を必要とするイベントの割合)が向上する。また、無駄なイベントの通知が減少し、消費電力が低減される。ただし、マルチセンサカメラ1−1,1−2の状態が変化するごとに、状態変化通知が、マルチセンサカメラ1−1と1−2の間、あるいはサーバ31とマルチセンサカメラ1−1,1−2の間で伝送されるため、マルチセンサカメラ1−1,1−2の消費電力が大きくなる場合がある。
統合サーバ処理モードでは、統合カメラ処理モードに比べて、イベント検出の処理をサーバ31で行なうため、マルチセンサカメラ1−1,1−2の消費電力が低減される。一方、統合サーバ処理モードでは、イベント検出の処理にサーバ31が介在するため、サーバ31が停止した場合、監視システム21のイベント検出処理が停止してしまう危険性がある。統合カメラ処理モードでは、サーバ31が停止しても、イベント検出処理は継続でき、イベントの呈示はできないが、イベント検出結果のデータを残すことができ、イベント検出処理の停止のリスクが低減される。
監視システム21では、図33を参照して後述する処理モード選択処理により、ユーザの要求やイベントの検出状態に基づき、以上の3つのモード中から、最適なモードが選択され、監視処理が行なわれる。
図11は、図3のマルチセンサカメラ1−1,1−2の機能的構成を示すブロック図である。
マルチセンサカメラ1−1,1−2には、フォトセンサ51、状態検知部52、イベント通知制御部53、カメラ54、送信部55、受信部56、およびバッテリ57が設けられている。
状態検知部52は、フォトセンサ51から得られるデータ(以下、センサデータと称する)に基づいて、イベントの検出処理を行ない、発生中のイベントの単独状態履歴データを記録、更新する。状態検知部52は、監視領域のイベントの状態が変化した場合、統合サーバ処理モードの場合はサーバ31に、統合カメラ処理モードの場合は他のマルチセンサカメラに、送信部55を介して、状態変化通知を送信する。また、状態検知部52は、統合カメラ処理モードの場合、イベント通知制御部53にも状態変化通知を送信する。
統合サーバ処理モードの場合、イベント通知制御部53は、受信部56を介して、サーバ31から画像送信開始指示を受信し、自己の監視領域でのイベントの発生状況に応じて、カメラ54の電源をオンし、送信部55を介して、カメラ54で撮像した画像データをサーバ31に送信させるよう制御する。また、イベント通知制御部53は、受信部56を介して、サーバ31から画像送信終了指示を受信し、その画像送信終了指示に基づき、カメラ54の電源をオフし、サーバ31への画像データの送信を終了させるよう制御する。
統合カメラ処理モードの場合、イベント通知制御部53は、受信部56を介して、他のマルチセンサカメラから状態変化通知を受信する。イベント通知制御部53は、他のマルチセンサカメラから取得した状態変化通知、および状態検知部52から取得した自己の状態変化通知に基づき、自分自身の統合状態履歴データを求める。イベント通知制御部53は、その統合状態履歴データ、およびサーバ31から取得した後述する通知不要テーブルに基づき、イベント通知判定を行なう。イベント通知制御部53は、イベント通知判定により、発生中のイベントがユーザに通知が必要なイベントと判定された場合、自己の監視領域でのイベントの発生状況に応じて、カメラ54の電源をオンし、送信部55を介して、カメラ54で撮像した画像データをサーバ31に送信させるよう制御する。
また、イベント通知制御部53は、受信部56を介して、サーバ31から画像送信終了指示を受信した場合、その画像送信終了指示に基づき、カメラ54の電源をオフし、サーバ31への画像データの送信を終了させるよう制御する。イベント通知制御部53は、ユーザに通知が必要と判定されたイベントが終了した時、送信部55を介して、自己の単独状態履歴データ、および統合状態履歴データを含むイベント終了通知をサーバ31に送信し、カメラ54の電源をオフし、サーバ31への画像データの送信を終了させるよう制御する。
独立カメラ処理モードの場合、イベント通知制御部53は、状態検知部52から自己の単独状態履歴データを取得し、その単独状態履歴データ、および通知不要テーブルに基づき、イベント通知判定を行なう。イベント通知判定により、自己の監視領域で発生中のイベントがユーザに通知が必要なイベントと判定された場合、イベント通知制御部53は、カメラ54の電源をオンし、送信部55を介して、カメラ54で撮像した画像データをサーバ31に送信するよう制御する。
また、イベント通知制御部53は、受信部56を介して、サーバ31から画像送信終了指示を受信した場合、その画像送信終了指示に基づき、カメラ54の電源をオフし、サーバ31への画像データの送信を終了させるよう制御する。イベント通知制御部53は、ユーザに通知が必要と判定されたイベントが終了した時、送信部55を介して、自己の単独状態履歴データを含むイベント終了通知をサーバ31に送信し、カメラ54の電源をオフし、サーバ31への画像データの送信を終了させるよう制御する。
イベント通知制御部53は、後述する通知イベント発生フラグ、および画像送信許可フラグを設定し、保持する。イベント通知制御部53は、受信部56を介して、サーバ31から、通知不要テーブルを受信し、保持する。
送信部55は、サーバ31の受信部72、あるいは他のマルチセンサカメラの受信部56と無線で通信を行ない、サーバ31や他のマルチセンサカメラに状態変化通知を送信したり、サーバ31に画像データ、およびイベント終了通知を送信したりする。
受信部56は、サーバ31の送信部71、あるいは他のマルチセンサカメラの送信部55と無線で通信を行ない、サーバ31から画像送信開始指示、画像送信停止指示、通知不要テーブルを受信したり、他のマルチセンサカメラから状態変化通知を受信したりする。受信部56は、処理モード選択処理後に、サーバ31から処理モード通知を受信し、状態検知部52およびイベント通知制御部53に供給する。
バッテリ57は、マルチセンサカメラ1−1,1−2の各部に対して必要な電力を供給している。
図12は、図3のサーバ31の機能的構成を示すブロック図である。
サーバ31には、送信部71、受信部72、イベント通知制御部73、イベント呈示制御部74、イベント情報記録部75、分類情報生成部76、ユーザ入力部77、処理モード選択部78、イベント情報蓄積部79、およびイベント分類情報蓄積部80が設けられている。
送信部71は、マルチセンサカメラ1−1,1−2の受信部56と無線で通信を行ない、マルチセンサカメラ1−1,1−2に、画像送信開始指示、画像送信停止指示、通知不要テーブル、および処理モード通知を送信する。
受信部72は、マルチセンサカメラ1−1,1−2の送信部55と無線で通信を行ない、マルチセンサカメラ1−1,1−2から、状態変化通知、画像データ、およびイベント終了通知を受信する。
統合サーバ処理モードの場合、イベント通知制御部73は、受信部72を介して、マルチセンサカメラ1−1,1−2から受信した状態変化通知に基づき、マルチセンサカメラ1−1,1−2の統合状態履歴データを求める。イベント通知制御部73は、その統合状態履歴データ、およびイベント分類情報蓄積部80に保存された通知不要テーブルに基づき、イベント通知判定を行なう。発生中のイベントが、ユーザに通知が必要なイベントと判定された場合、イベント通知制御部73は、送信部71を介して、マルチセンサカメラ1−1,1−2に画像送信開始指示を送信する。ユーザに通知が必要と判定されたイベントが終了した場合、イベント通知制御部73は、送信部71を介して、マルチセンサカメラ1−1,1−2に画像送信停止指示を送信する。
イベント通知制御部73は、処理モードに関わらず、イベント呈示中に、呈示中のイベントに対して、ユーザから通知不要と評価する入力がユーザ入力部77に入力された場合、送信部71を介して、マルチセンサカメラ1−1,1−2に画像送信停止指示を送信する。
イベント通知制御部73は、後述する通知イベント発生フラグを設定し、保持する。
イベント呈示制御部74は、受信部72を介して、マルチセンサカメラ1−1,1−2から送信された画像データを受信する。イベント呈示制御部74は、取得した画像データに基づき、呈示部32への呈示データを作成し、呈示部32に出力する。
統合サーバ処理モードの場合、イベント情報記録部75は、イベント終了時に、イベント通知制御部73から取得するそのイベントの統合状態履歴データと、ユーザ入力部77に入力されたそのイベントの通知が不要か否かの評価に基づき、イベント情報を生成し、イベント情報蓄積部79に保存する。
統合カメラ処理モードの場合、イベント情報記録部75は、イベント終了時に、受信部72を介して、マルチセンサカメラ1−1,1−2から取得するイベント終了通知に含まれるマルチセンサカメラ1−1,1−2の単独状態履歴データおよび統合状態履歴データと、ユーザ入力部77に入力されたそのイベントの通知が不要か否かの評価に基づき、イベント情報を生成して、イベント情報蓄積部79に保存する。
独立カメラ処理モードの場合、イベント情報記録部75は、イベント終了時に、受信部72を介して、マルチセンサカメラ1−1または1−2から受信するイベント終了通知に含まれるマルチセンサカメラ1−1または1−2の単独状態履歴データと、ユーザ入力部77に入力されたそのイベントの通知が不要か否かの評価に基づき、イベント情報を生成し、イベント情報蓄積部79に保存する。
統合サーバ処理モードの場合、分類情報生成部76は、イベント終了時に、イベント通知制御部73から取得するそのイベントの統合状態履歴データと、ユーザ入力部77に入力されたそのイベントの通知が不要か否かの評価に基づき、通知が不要なイベントを記述する通知不要テーブルを生成し、イベント分類情報蓄積部80に保存する。
統合カメラ処理モードの場合、分類情報生成部76は、イベント終了時に、受信部72を介して、マルチセンサカメラ1−1,1−2から取得するイベント終了通知に含まれるマルチセンサカメラ1−1,1−2の単独状態履歴データおよび統合状態履歴データと、ユーザ入力部77に入力されたそのイベントの通知が不要か否かの評価に基づき、通知が不要なイベントを記述する通知不要テーブルを生成し、イベント分類情報蓄積部80に保存する。
独立カメラ処理モードの場合、分類情報生成部76は、イベント終了時に、受信部72を介して、マルチセンサカメラ1−1または1−2から取得するイベント終了通知に含まれるマルチセンサカメラ1−1または1−2の単独状態履歴データと、ユーザ入力部77に入力されたそのイベントの通知が不要か否かの評価に基づき、通知が不要なイベントを記述する通知不要テーブルを生成し、イベント分類情報蓄積部80に保存する。
ユーザ入力部77は、呈示したイベントに対して、ユーザからの今後は通知が不要か否かの評価の入力を受け付け、イベント情報記録部75および分類情報生成部76に供給する。また、処理モード選択処理時に、ユーザから低消費電力モードを選択するか否かの入力を受け付け、処理モード選択部78に通知する。
処理モード選択部78は、イベント情報蓄積部79に保存されているイベント情報、イベント分類情報蓄積部80に保存されている通知不要テーブル、およびユーザ入力部77から取得したユーザが低消費電力モードを選択したか否かの情報に基づき、モード選択処理を行なう。処理モード選択部78は、処理モード選択処理により選択した処理モードを、イベント通知制御部73、イベント情報記録部75、分類情報生成部76、および送信部71を介して、マルチセンサカメラ1−1,1−2に通知する。
通知不要テーブルは、通知が不要なイベントのパターンが登録されているテーブルである。1つの通知不要テーブルには、1つの通知が不要なイベントのパターンが登録されていて、通知が不要なイベントのパターンが追加される毎に、通知不要テーブルが1つ追加される。通知不要テーブルには、統合サーバ処理モード時にサーバ31で使用する通知不要テーブル、統合カメラ処理モード時にマルチセンサカメラ1−1,1−2で使用する通知不要テーブル、および独立カメラ処理モード時にマルチセンサカメラ1−1,1−2で使用する通知不要テーブルの3種類が存在する。図13は、統合カメラ処理モード用の通知不要テーブルの実施の形態を表わす。
通知不要テーブルには、通知を不要とするイベントの状態遷移パターンと、各状態における継続時間の最小値と最大値が登録されている。図13の通知不要テーブルの例では、状態遷移パターンは、統合状態0x01,統合状態0x11であり、統合状態0x01の継続時間の最小値が0.5秒、最大値が3.0秒、統合状態0x11の継続時間の最小値が1.0秒、最大値が2.5秒である。他の種類の通知不要テーブルも同じ形式であり、統合カメラ処理モード時にマルチセンサカメラ1−1,1−2で使用する通知不要テーブルの場合、マルチセンサカメラ1−1,1−2における統合状態の状態遷移パターンが登録され、独立カメラ処理モード時にマルチセンサカメラ1−1,1−2で使用する通知不要テーブルの場合、マルチセンサカメラ1−1または1−2の単独状態の状態遷移パターンが登録される。
検出されたイベントが通知不要テーブルに登録されているイベントに該当するか否かは、そのイベントの状態遷移パターンが、通知不要テーブルに登録されている状態遷移パターンと完全一致し(過不足なく一致し)、かつそのイベントの各状態の継続時間が、通知不要テーブルの継続時間の最小値と最大値の範囲に収まるか否かで判定される。例えば、統合状態0x01(1秒),統合状態0x11(2秒)の統合状態履歴データのイベントは、図13の通知不要テーブルに登録されているイベントに該当する。統合状態0x01のみ発生したイベントや、統合状態0x01,統合状態0x11,統合状態0x10の順に遷移したイベントは、図13の通知不要テーブルに登録されているイベントに該当しない。また、統合状態0x01(5秒),統合状態0x11(2秒)の統合状態履歴データのイベントは、統合状態0x01の継続時間が、図13の通知不要テーブルに示されている統合状態0x01の継続時間の範囲外のため、図13の通知不要テーブルに登録されているイベントに該当しない。
ただし、イベント発生中に、そのイベントの通知が必要か否かを判定する場合には、そのイベントが通知不要テーブルに登録されているイベントに該当していなくても、イベントの進行に従い、通知不要テーブルに登録されているイベントとなる可能性がある間は、そのイベントは、記録が必要なイベントとは判定されない。そして、そのイベントが全ての通知不要テーブルのイベントに該当する可能性がなくなった時点で、そのイベントは通知が必要なイベントと判定される。
例えば、サーバ31で図13の通知不要テーブルのみ保持している場合、統合状態0x01のイベントが発生した時点では、図13の通知不要テーブルに登録されたイベントとなる可能性があるため、そのイベントは通知が必要なイベントとはまだ判定されない。そして、そのイベントの統合状態0x01の継続期間が3秒を超えたり、統合状態0x11に遷移したりした時点で、図13の通知不要テーブルに登録されたイベントに該当する可能性がなくなるため、そのイベントは通知が必要なイベントと判定される。
統合サーバ処理モードの場合、サーバ31のイベント通知制御部73が、統合サーバ処理モード用の通知不要テーブルに基づき、イベント通知制御部73で更新される発生中のイベントの統合状態履歴データが、通知不要テーブルに登録されているイベントに該当するか否かを判定することにより、ユーザに通知が必要なイベントか否かが判定される。
統合カメラ処理モードの場合、マルチセンサカメラ1−1,1−2のそれぞれのイベント通知制御部53が、統合カメラ処理モード用の通知不要テーブルに基づき、イベント通知制御部53で更新される発生中のイベントの統合状態履歴データが、通知不要テーブルに登録されているイベントに該当するか否かを判定することにより、ユーザに通知が必要なイベントか否かが判定される。
独立カメラ処理モードの場合、マルチセンサカメラ1−1,1−2のそれぞれのイベント通知制御部53が、独立カメラ処理モード用の通知不要テーブルに基づき、状態検知部52で更新される発生中のイベントの単独状態履歴データが、通知不要テーブルに登録されているイベントに該当するか否かを判定することにより、ユーザに通知が必要なイベントか否かが判定される。
通知不要テーブルは、ユーザに呈示したイベントに対して、ユーザから通知不要の評価を入力された場合、そのイベント終了後に作成、あるいは更新される。通知不要と評価されたイベントの状態遷移パターンと一致する状態遷移パターンを持つイベントの通知不要テーブルがない場合は、そのイベントの状態履歴データに基づいて、新たな通知不要テーブルが作成される。通知不要と評価されたイベントの状態遷移パターンと一致する状態遷移パターンを持つイベントの通知不要テーブルがある場合は、そのイベント情報の状態履歴データの各状態の継続時間と、通知不要テーブルに登録されているイベントの状態履歴データの各状態の継続時間を比較して、そのイベントの状態履歴データの継続時間が、通知不要テーブルの状態履歴データの継続時間の範囲内に収まらない箇所がある場合は、その箇所の継続時間を更新する。
統合サーバ処理モードあるいは統合カメラ処理モードの場合、ユーザに呈示したイベントに対して、ユーザから通知不要の評価を入力された場合、そのイベントのマルチセンサカメラ1−1,1−2の統合状態の状態遷移パターンに基づく通知不要テーブルと、そのイベントのマルチセンサカメラ1−1,1−2の単独状態の状態遷移パターンに基づく通知不要テーブルが作成、あるいは更新される。独立カメラ処理モードの場合、ユーザに呈示したイベントに対して、ユーザから通知不要の評価を入力された場合、そのイベントのマルチセンサカメラ1−1,1−2の単独状態の状態遷移パターンに基づく通知不要テーブルのみが作成、あるいは更新される。
通知イベント発生フラグは、監視システム21の監視領域で、ユーザに通知が必要なイベントが発生中か否かを判定するフラグであり、マルチセンサカメラ1−1,1−2、およびサーバ31のそれぞれで管理される。このフラグは、発生中のイベントがユーザに通知が必要なイベントであると判定されてから、そのイベントが終了するまでの間、オンに設定される。
画像送信許可フラグは、マルチセンサカメラ1−1,1−2が、画像データをサーバに送信してもよい状態か否かを判定するフラグである。マルチセンサカメラ1−1,1−2は、ユーザに通知が必要なイベントが自己の監視領域で発生していて、画像データを送信しようとした時、画像送信許可フラグの値により、画像データを送信するか否かを判定する。画像送信許可フラグは、統合サーバ処理モードの場合、サーバ31から画像送信開始指示を受信してから画像送信停止指示を受信するまでの間、オンに設定される。統合カメラ処理モードおよび独立カメラ処理モードの場合、ユーザに通知が必要なイベントが検出されてから、そのイベントが終了するか、あるいはサーバ31から画像送信停止指示を受信するまでの間、オンに設定される。統合カメラ処理モードおよび独立カメラ処理モードの場合、イベントの呈示中に、そのイベントに対してユーザから通知不要の評価が入力された場合、サーバ31から画像送信停止指示が受信され、イベントの途中でもこのフラグはオフされ、以降サーバ31への画像データの送信が停止される。
次に、図14乃至図59を参照して、図3の監視システム21により実行される処理を説明する。説明は、監視処理開始から処理モード選択処理が行われるまでの監視処理、処理モード選択処理、および処理モード選択後の各モードにおける監視処理の順に説明する。
まず、図14を参照して監視処理開始時に、マルチセンサカメラ1−1,1−2により実行される監視処理を説明する。この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
ステップS1において、イベント通知制御部53により、初期化処理が実行される。マルチセンサカメラ1−1,1−2の処理モードが統合サーバ処理モードに初期設定され、通知イベント発生フラグおよび画像送信許可フラグが、ともにオフに初期化される。
ステップS2において、受信部56は、サーバ31から処理モード通知が受信されたか否かを判定する。この処理モード通知は、後述する図33のステップS210において、処理モード選択処理が実行された後に、サーバ31から送信されるものである。いまの場合、監視処理を開始したばかりであり、まだ処理モード選択処理は実行されず、処理モード通知は受信されないため、ステップS3の処理はスキップされ、処理はステップS4に進む。
ステップS4において、受信部56は、サーバ31から通知不要テーブルを受信したか否かを判定する。この通知不要テーブルは、後述する図33のステップS211において、処理モード選択処理後に、サーバ31から送信されるものである。いまの場合、監視処理を開始したばかりであり、まだ処理モード選択処理は実行されず、通知不要テーブルは受信されないため、ステップS5の処理はスキップされ、処理はステップS6に進む。
ステップS6において、イベント通知制御部53は、設定されている処理モードを判別する。いまの場合、統合サーバ処理モードが設定されていると判別され、処理はステップS7に進み、図16,図17を参照して後述する統合サーバ処理モードによる監視処理が実行される。
ステップS7において、統合サーバ処理モードによる監視処理が実行された後、処理はステップS10に進む。ステップS10において、イベント通知制御部53は、ユーザから監視領域における監視の終了が指令されたか否かを判定し、終了の指令がないと判定されれば、処理はステップS2に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、監視処理は終了される。
このように、マルチセンサカメラ1−1,1−2の監視処理が開始され、処理モード選択処理が実行されるまで、統合サーバ処理モードによる監視処理が繰り返される。
次に、図15を参照して監視処理開始時にサーバ31により実行される監視処理を説明する。この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
ステップS21において、サーバ31の初期化処理が実行される。処理モード選択部78は、サーバ31の処理モードを統合サーバ処理モードに初期設定し、イベント通知制御部73、イベント情報記録部75、および分類情報生成部76に処理モードを通知する。イベント通知制御部73は、通知イベント発生フラグをオフに初期化する。
ステップS22において、処理モード選択部78は、設定されている処理モードを判別する。いまの場合、統合サーバ処理モードが設定されていると判別され、処理はステップS23に進み、図20乃至図22を参照して後述する統合サーバ処理モードによる監視処理が実行される。
ステップS23において、統合サーバ処理モードによる監視処理が実行された後、処理はステップS26に進む。ステップS26において、イベント通知制御部73は、ユーザから監視領域における監視の終了が指令されたか否かを判定し、終了の指令がないと判定されれば、処理はステップS22に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、監視処理は終了される。
このように、サーバ31の監視処理が開始され、処理モード選択処理が実行されるまで、統合サーバ処理モードによる監視処理が繰り返される。
次に、図16乃至32を参照して、図4乃至図7で説明したイベントの例に基づき、監視システム21の監視処理が開始された時に設定される統合サーバ処理モードにおいて、監視システム21により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理と、図15のステップS23におけるサーバ監視処理)を説明する。ここでは、図4の状態ではユーザに通知が必要なイベントと判定されず、図5の状態でユーザに通知が必要なイベントと判定されるものとして説明する。
なお、マルチセンサカメラ1−1,1−2の図14のステップS2乃至S6およびステップS10の処理、およびサーバ31の図15のステップS22,S26の処理は、処理モード選択処理が行なわれるまで、上述した監視処理開始時と同様の処理が繰り返されるため、その説明は省略する。
最初に、図4のイベントが発生した時、統合サーバ処理モードにおいて監視システム21により実行される監視処理を説明する。先に説明したとおり、図4は、時刻T=tにおいて、人41が、監視領域11−1に侵入し、監視システム21の監視領域でイベントが発生した状態を表わしている。
まず、図16および図17を参照して、統合サーバ処理モード時に、マルチセンサカメラ1−1により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。この状態では、通知イベント発生フラグおよび画像送信許可フラグは、ともにオフされている。
ステップS101において、状態検知部52は、フォトセンサ51からセンサデータを取得する。
ステップS102において、状態検知部52は、ステップS101で取得したセンサデータに基づき、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。図18は、この時点におけるマルチセンサカメラ1−1の単独状態履歴データを表わしている。図4は、マルチセンサカメラ1−1の監視領域11−1に人41が侵入した状態を表わしており、マルチセンサカメラ1−1の単独状態番号は0x01である。従って、マルチセンサカメラ1−1の単独状態履歴データには、状態遷移パターンが単独状態0x01と記録され、継続時間が0秒と記録される。
ステップS103において、状態検知部52は、前回ステップS102において状態履歴データを更新した時から、自己(マルチセンサカメラ1−1)の監視領域11−1の状態(単独状態番号)が変化したか否かを判定する。いまの場合、自己の監視領域11−1の状態が変化したと判定され、処理はステップS104に進む。
ステップS104において、状態検知部52は、送信部55を介して、サーバ31に状態変化通知を送信する。状態変化通知には、この時点の自己(マルチセンサカメラ1−1)の単独状態番号が含まれ、これにより、マルチセンサカメラ1−1のこの時点の単独状態0x01が、サーバ31に通知される。
ステップS105において、受信部56は、サーバ31から画像送信開始指示を受信したか否かを判定する。画像送信開始指示は、後述する図20のステップS159において、サーバ31でユーザに通知が必要なイベントが発生中であると判定された場合、ステップS160において、サーバ31からマルチセンサカメラ1−1,1−2に送信されてくる。いまの場合、ユーザに通知が必要なイベントが発生中ではないと判定され、サーバ31から画像送信開始指示は送信されてこないため、画像送信開始指示を受信していないと判定され、処理はステップS106に進む。
ステップS106において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。この画像送信停止指示は、ユーザに通知が必要なイベントが発生中に、サーバ31で、後述する図20のステップS153において、イベントが終了したと判定された時、あるいは、後述する図20のステップS156において、ユーザから通知が不要と評価されたと判定された時、図21のステップS172、あるいは図20のステップS157において送信される。いまの場合、まだユーザに通知が必要なイベントが発生しておらず、サーバ31から画像送信停止指示は送信されないため、画像送信停止指示を受信していないと判定され、ステップS107の処理はスキップされ、処理はステップS109に進む。
ステップS109において、イベント通知制御部53は、サーバ31に画像データを送信中か否かを判定する。いまの場合、サーバ31への画像データの送信は開始されておらず、サーバ31に画像データを送信中でないと判定され、処理はステップS110に進む。
ステップS110において、イベント通知制御部53は、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ画像送信許可フラグがオンか否かを判定する。いまの場合、自己の監視領域11−1でイベントは発生中だが、画像送信許可フラグはオフなので、ステップS111の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−1でイベントが検出され、単独状態履歴データが更新され、サーバ31へ状態変化通知が送信される。その後、サーバ31で、ユーザに通知が必要なイベントが発生中ではないと判定された場合、特別な処理は行なわれない。
次に、統合サーバ処理モード時に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。この時点では、通知イベント発生フラグおよび画像送信許可フラグは、ともにオフされている。
マルチセンサカメラ1−1の場合と同様に、状態検知部52は、ステップS101において、フォトセンサ51からセンサデータを取得し、ステップS102において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。図19は、この時点におけるマルチセンサカメラ1−2の単独状態履歴データを表わしている。図4は、マルチセンサカメラ1−2の監視領域11−2に人41は侵入しておらず、監視領域11−2でイベントが発生していないことを表わしている。従って、マルチセンサカメラ1−2の単独状態履歴データには、状態遷移パターンが、マルチセンサカメラ1−2の監視領域11−2でイベントが発生していないことを示す単独状態0x00が記録される。
ステップS103において、マルチセンサカメラ1−1の場合と同様に、自己(マルチセンサカメラ1−2)の監視領域11−2の状態(単独状態番号)が変化したか否かが判定される。いまの場合、自己の監視領域11−2の状態は変化していないと判定され、ステップS104の処理はスキップされ、状態変化通知は送信されず、処理はステップS105に進む。
ステップS105乃至S109における処理は、マルチセンサカメラ1−1の場合と同様であり、サーバ31から画像送信開始指示および画像送信停止指示は受信されておらず、マルチセンサカメラ1−2からサーバ31に画像データは送信されていないため、そのまま処理はステップS110に進む。
ステップS110において、マルチセンサカメラ1−1の場合と同様に、イベント通知制御部53は、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが発生中、かつ画像送信許可フラグがオンか否かを判定する。いまの場合、自己の監視領域11−2でイベントは発生しておらず、画像送信許可フラグもオフなので、ステップS111の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−1と同様に、単独状態履歴データが更新され、その後、特別な処理は行なわれない。
次に、図20乃至図22を参照して、統合サーバ処理モード時に、マルチセンサカメラ1−1,1−2の図16,図17の処理に対応して、サーバ31により実行される監視処理(図15のステップS23におけるサーバ監視処理)を説明する。この時点では、通知イベント発生フラグはオフされている。
ステップS151において、受信部72はマルチセンサカメラ1−1,1−2から状態変化通知を受信する。いまの場合、先に説明した図16のステップS104において、マルチセンサカメラ1−1から状態変化通知が送信されており、受信部72は、その状態変化通知を受信し、処理はステップS152に進む。ステップS151において、状態変化通知が受信されなかった場合は、何も処理は行われず、処理はステップS152に進む。
ステップS152において、イベント通知制御部73は、受信部72から、ステップS151において受信した状態変化通知を取得する。イベント通知制御部73は、取得した状態変化通知に基づき、マルチセンサカメラ1−1,1−2の統合状態履歴データを更新する。図23は、この時点において、サーバ31が保持する統合状態履歴データを表わしている。イベント通知制御部73は、マルチセンサカメラ1−1から受信した状態変化通知からマルチセンサカメラ1−1の状態が、単独状態0x01であると認識し、マルチセンサカメラ1−2からは状態変化通知を受信していないため、マルチセンサカメラ1−2の状態が、単独状態0x00のままであると認識し、マルチセンサカメラ1−1,1−2の統合状態が統合状態0x01であると認識する。従って、統合状態履歴データには、状態遷移パターンが統合状態0x01と記録され、このイベントは開始されたばかりなので、継続時間が0秒と記録される。
ステップS153において、イベント通知制御部73は、イベントが終了したか否かを判定する。いまの場合、監視領域11−1でイベントが発生中のため、処理はステップS154に進む。
ステップS154において、イベント通知制御部73は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオフと判定され、処理はステップS159に進む。
ステップS159において、イベント通知制御部73は、ユーザに通知が必要なイベントが発生中か否かを判定する。イベント通知制御部73は、イベント分類情報蓄積部80から通知不要テーブルを取得し、ステップS152で更新した図23の統合状態履歴データと、取得した通知不要テーブルに基づき、図13を参照して説明したイベント通知判定により、発生中のイベントがユーザに通知が必要なイベントか否かを判定する。いまの場合、ユーザに通知が必要なイベントが発生中ではないと判定され、ステップS160乃至S162の処理はスキップされ、イベントの呈示は開始されずに、処理は図15のステップS26に進む。
このように、サーバ31は、マルチセンサカメラ1−1,1−2から状態変化通知を受信し、マルチセンサカメラ1−1,1−2の統合状態履歴データを求める。そして、イベント通知判定を行ない、ユーザに通知が必要なイベントが発生中でないと判定された場合、イベントの呈示は開始されない。
次に、発生中のイベントが図5の状態に遷移した時、統合サーバ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図5は、図4の時点からm秒経過した時刻T=t+mにおいて、人41が監視領域11−3に侵入した状態を表わしている。
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。
ステップS101において、フォトセンサ51からセンサデータが取得され、ステップS102において、自己(マルチセンサカメラ1−1)の単独状態履歴データが更新される。図24は、この時点におけるマルチセンサカメラ1−1の単独状態履歴データを表わしている。いまの場合、マルチセンサカメラ1−1の監視領域11−1のイベントの状態(単独状態番号)は、図4の時点から変化しておらず、マルチセンサカメラ1−1の単独状態履歴データの単独状態0x01の継続時間がm秒に更新される。
ステップS103において、自己(マルチセンサカメラ1−1)の監視領域11−1の状態(単独状態番号)は変化していないと判定され、ステップS104の処理はスキップされ、状態変化通知は送信されず、処理はステップS105に進む。
ステップS105において、いまの場合、後述する図20のステップS159で、サーバ31でユーザに通知が必要なイベントが発生中であると判定され、図20のステップS160で、画像送信開始指示がサーバ31からマルチセンサカメラ1−1,1−2に送信され、受信部56はその画像送信開始指示を受信する。従って、ステップS105において、画像送信開始指示を受信したと判定され、処理はステップS108に進む。
ステップS108において、イベント通知制御部53は、画像送信許可フラグをオンにする。
ステップS109において、いまの場合、画像データを送信中ではないと判定され、処理はステップS110に進む。
ステップS110において、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ画像送信許可フラグがオンか否かが判定される。いまの場合、自己の監視領域11−1でイベントが発生中であり、かつ画像送信許可フラグがオンなので、処理はステップS111に進む。
ステップS111において、イベント通知制御部53は、カメラ54の電源をオンし、送信部55を介して、カメラ54により撮像した画像データのサーバ31への送信が開始される。その後、処理は図14のステップS10に進む。
このように、サーバ31でユーザに通知が必要なイベントが発生中であると判定された場合、サーバ31から送信される画像送信開始指示に基づき、サーバ31への画像データの送信が開始される。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。
ステップS101において、フォトセンサ51からセンサデータが取得され、ステップS102において、自己(マルチセンサカメラ1−2)の単独状態履歴データが更新される。図25は、この時点におけるマルチセンサカメラ1−2の単独状態履歴データを表わしている。いまの場合、マルチセンサカメラ1−2の単独状態履歴データには、状態遷移パターンが単独状態0x01と記録され、継続時間が0秒と記録される。
ステップS103において、いまの場合、自己(マルチセンサカメラ1−2)の監視領域11−2の状態(単独状態番号)が変化したと判定され、処理はステップS104に進む。
ステップS104において、サーバ31に状態変化通知が送信される。状態変化通知には、この時点の自己(マルチセンサカメラ1−2)の単独状態番号が含まれ、マルチセンサカメラ1−2のこの時点の単独状態0x01が、サーバ31に通知される。
ステップS105乃至S111までの処理は、マルチセンサカメラ1−1の場合と同様であり、ステップS105において、画像送信開始指示が受信され、ステップS108において、画像送信許可フラグがオンにされ、ステップS111において、サーバ31への画像データの送信が開始される。その後、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−1と同様に、マルチセンサカメラ1−2でも、サーバ31から送信される画像送信開始指示に基づき、サーバ31への画像データの送信が開始される。
次に、サーバ31により実行される処理(図15のステップS23におけるサーバ監視処理)を説明する。
ステップS151において、いまの場合、マルチセンサカメラ1−2からの状態変化通知が受信され、ステップS152において、統合状態履歴データが更新される。図26は、この時点において、サーバ31が保持する統合状態履歴データを表わしている。統合状態0x01の継続時間はm秒に更新され、状態遷移パターンに現在の統合状態0x11が追加され、統合状態0x11の継続時間が0秒と記録される。
ステップS153において、いまの場合、イベントが終了していないと判定され、処理はステップS154に進み、ステップS154において、通知イベント発生フラグがオフであると判定され、処理はステップS159に進む。
ステップS159において、図26の統合状態履歴データと通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中であると判定され、処理はステップS160に進む。
ステップS160において、イベント通知制御部73は、送信部71を介して、マルチセンサカメラ1−1,1−2に画像送信開始指示を送信する。先に説明したとおり、この画像送信開始指示が、図16のステップS105において、マルチセンサカメラ1−1,1−2により受信され、図17のステップS111において、マルチセンサカメラ1−1,1−2から画像データの送信が開始され、受信部72は、マルチセンサカメラ1−1,1−2から送信された画像データを受信する。
ステップS161において、受信部72は、ステップS160において受信が開始されたマルチセンサカメラ1−1,1−2からの画像データのイベント呈示制御部74への供給を開始する。イベント呈示制御部74は、取得した画像データに基づき、ユーザに呈示するデータを生成し、図3の呈示部32に出力し、イベントの呈示を開始させる。
ステップS162において、イベント通知制御部73は、通知イベント発生フラグをオンにして、処理は図15のステップS26に進む。
このように、サーバ31で、ユーザに通知が必要なイベントが発生中であると判定された場合、マルチセンサカメラ1−1,1−2に画像送信開始指示が送信され、マルチセンサカメラ1−1,1−2から画像データが送信され、イベントの呈示が開始される。
次に、発生中のイベントが図6の状態に遷移した時、統合サーバ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図6は、図5の時点からさらにn秒経過した時刻T=t+m+nにおいて、人41が監視領域11−1から外に出て、監視領域11−2のみの領域に侵入した状態を表わしている
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。
ステップS101において、フォトセンサ51からセンサデータが取得され、ステップS102において、自己(マルチセンサカメラ1−1)の単独状態履歴データが更新される。図27は、この時点におけるマルチセンサカメラ1−1の単独状態履歴データを表わしている。いまの場合、マルチセンサカメラ1−1の監視領域11−1でのイベントは終了し、イベントの状態が、単独状態0x01から単独状態0x00に変化している。従って、マルチセンサカメラ1−1の単独状態履歴データの単独状態0x01の継続時間がm+n秒に更新される。
ステップS103において、いまの場合、自己(マルチセンサカメラ1−1)の監視領域11−1の状態(単独状態番号)が変化したと判定され、処理はステップS104に進み、ステップS104において、サーバ31に状態変化通知が送信される。
ステップS105において、いまの場合、現在発生中のイベントについて、すでにサーバ31から画像送信開始指示を受信ずみであり、新たに画像送信開始指示は送信されないため、画像送信開始指示を受信していないと判定され、処理はステップS106に進む。
ステップS106において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。画像送信停止指示を受信したと判定された場合は、処理はステップS107に進み、イベント通知制御部53は、画像送信許可フラグをオフする。画像送信停止指示を受信していないと判定された場合は、ステップS106の処理はスキップされ、処理はステップS109に進む。これ以降の説明では、ステップS106において、画像送信停止指示を受信していないと判定されたものとして説明する。
ステップS109において、いまの場合、画像データを送信中と判定され、処理はステップS112に進む。
ステップS112において、イベント通知制御部53は、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが未発生、あるいは画像送信許可フラグがオフか否かを判定する。いまの場合、自己の監視領域11−1でイベントが未発生のため、処理はステップS113に進む。
ステップS113において、イベント通知制御部53は、カメラ54の電源をオフし、サーバ31への画像データの送信を停止させ、処理はステップ図14のS10に進む。
このように、監視システム21全体の監視領域でイベントは継続中ではあるが、マルチセンサカメラ1−1の監視領域11−1では、イベントが終了したため、マルチセンサカメラ1−1からの画像データの送信が停止される。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。
ステップS101において、フォトセンサ51からセンサデータが取得され、ステップS102において、自己(マルチセンサカメラ1−2)の単独状態履歴データが更新される。図28は、この時点におけるマルチセンサカメラ1−2の単独状態履歴データを表わしている。いまの場合、マルチセンサカメラ1−2の監視領域11−2のイベントの状態(単独状態番号)は、図5の状態から変化しておらず、マルチセンサカメラ1−2の単独状態履歴データの単独状態0x01の継続時間がn秒に更新される。
ステップS103において、いまの場合、自己(マルチセンサカメラ1−2)の監視領域11−2の状態(単独状態番号)は変化していないと判定され、処理はステップS105に進む。
ステップS105乃至S109における処理は、図6の状態におけるマルチセンサカメラ1−1の場合と同様であり、ステップS109において、サーバ31へ画像データを送信中であると判定され、処理はステップS112に進む。
ステップS112において、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが未発生、あるいは画像送信許可フラグがオフか否かが判定される。いまの場合、自己の監視領域11−2でイベントが発生中、かつ画像送信許可フラグがオンなので、ステップS113の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−2の監視領域11−2では、イベントが継続中であり、サーバ31への画像データの送信は停止されずに、継続される。
次に、サーバ31により実行される処理(図15のステップS23におけるサーバ監視処理)を説明する。
ステップS151において、マルチセンサカメラ1−1からの状態変化通知が受信され、ステップS152において、統合状態履歴データが更新される。図29は、この時点において、サーバ31が保持する統合状態履歴データを表わしている。統合状態0x11の継続時間はn秒に更新され、状態遷移パターンに現在の統合状態0x10が追加され、統合状態0x10の継続時間が0秒と記録される。
ステップS153において、いまの場合、イベントは終了していないと判定され、処理はステップS154に進み、ステップS154において、通知イベント発生フラグがオンであると判定され、処理はステップS155に進む。
ステップS155において、ユーザ入力部77は、呈示したイベントに対して、ユーザから通知が必要か否かを評価する入力を取得したか否かを判定する。ユーザから通知が必要か否かを評価する入力を取得したと判定された場合は、処理はステップS156に進む。これは、イベントの呈示中に、ユーザから通知が必要か否かの評価が入力された場合である。
ステップS156において、ユーザ入力部77は、ステップS155で取得したユーザの評価が通知不要か否かを判定する。ユーザの評価が通知不要であると判定された場合、処理はステップS157に進む。これは、イベントの呈示中に、ユーザから通知不要の評価が入力された場合である。ユーザの評価が通知不要でないと判定された場合、ステップS156およびS157の処理はスキップされ、処理は図15のステップS26に進む。
ステップS157において、イベント通知制御部73は、送信部71を介して、画像送信停止指示をマルチセンサカメラ1−1,1−2に送信する。ステップS158において、イベント呈示制御部74は、呈示部32への呈示データの出力を停止し、イベントの呈示が終了される。ステップS157およびS158の処理は、イベントの呈示中に、ユーザがから通知不要の評価が入力されたため、イベントの呈示を停止させるために実行される処理である。その後、処理は図15のステップS26に進む。
一方、ステップS155において、ユーザから通知が必要か否かを評価する入力を取得していないと判定された場合は、ステップS156乃至158の処理はスキップされ、処理は図15のステップS26に進む。
このように、ユーザに通知が必要なイベントが継続していて、ユーザから通知が不要の評価が入力されない場合、イベントの呈示は停止されずに、継続される。
次に、発生中のイベントが図7の状態に遷移した時、統合サーバ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図7は、図6の時点からさらにp秒経過した時刻T=t+m+n+pにおいて、人41が、監視システム21の監視領域の外へ出て、イベントが終了した状態を表わしている。
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。
ステップS101において、フォトセンサ51からセンサデータが取得され、ステップS102において、自己(マルチセンサカメラ1−1)の単独状態履歴データが更新される。図30は、この時点におけるマルチセンサカメラ1−1の単独状態履歴データを表わしている。いまの場合、マルチセンサカメラ1−1の単独状態履歴データには、状態遷移パターンにイベントが発生していないことを示す単独状態0x00が記録される。
ステップS103において、いまの場合、自己(マルチセンサカメラ1−1)の監視領域11−1の状態(単独状態番号)は変化していないと判定され、状態変化通知は送信されず、処理はステップS105に進む。
ステップS105において、いまの場合、図7は、監視システム21の監視領域でのイベントが終了した時点を表わしており、画像送信開始指示は送信されないため、画像送信開始指示を受信していないと判定され、処理はステップS106に進む。
ステップS106において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。いまの場合、図7は、監視システム21の監視領域でのイベントが終了した時点を表わしており、イベント呈示中に、そのイベントが終了した場合、後述する図21のステップS172において、サーバ31から画像送信停止指示が送信される。ステップS106において、その画像送信停止指示が受信されるため、処理はステップS107に進む。
ステップS107において、イベント通知制御部53は、画像送信許可フラグをオフする。
ステップS109において、いまの場合、サーバ31に画像データを送信中でないと判定され、処理はステップS110に進む。
ステップS110において、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ画像送信許可フラグがオンか否かが判定される。いまの場合、自己の監視領域11−1でイベントは発生しておらず、画像送信許可フラグもオフなので、ステップS111の処理はスキップされ、処理は図14のステップS10に進む。
このように、ユーザに通知が必要と判定されたイベントが終了した場合、サーバ31から送信された画像送信停止指示が受信され、画像送信許可フラグがオフされる。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理)を説明する。
ステップS101において、フォトセンサ51からセンサデータが取得され、ステップS102において、自己(マルチセンサカメラ1−2)の単独状態履歴データが更新される。図31は、この時点におけるマルチセンサカメラ1−2の単独状態履歴データを表わしている。いまの場合、マルチセンサカメラ1−2の監視領域11−2でのイベントは終了し、イベントの状態が単独状態0x01から単独状態0x00に変化している。従って、マルチセンサカメラ1−2の単独状態履歴データの単独状態0x01の継続時間がn+p秒に更新される。
ステップS103において、いまの場合、自己(マルチセンサカメラ1−2)の監視領域11−2の状態(単独状態番号)が変化したと判定され、処理はステップS104に進み、ステップS104において、サーバ31に状態変化通知が送信される。
ステップS105乃至S108における処理は、図7の状態におけるマルチセンサカメラ1−1の場合と同様であり、ステップS106において、画像送信停止指示が受信されたと判定され、ステップS107において、画像送信許可フラグがオフにされる。
ステップS109において、いまの場合、サーバ31に画像データを送信中と判定され、処理はステップS112に進む。
ステップS112において、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが未発生、あるいは画像送信許可フラグがオフか否かが判定される。いまの場合、自己の監視領域11−2でイベントが未発生であり、また画像送信許可フラグもオフなので、処理はステップS113に進む。
ステップS113において、図6の状態におけるマルチセンサカメラ1−1の場合と同様に、マルチセンサカメラ1−2からのサーバ31への画像データの送信が停止される。その後、処理は図14のステップS10に進む。
このように、ユーザに通知が必要と判定されたイベントが終了した場合、サーバ31から送信された画像送信停止指示が受信され、画像送信許可フラグがオフされ、画像データを送信中の場合、画像データの送信が停止される。
次に、サーバ31により実行される処理(図15のステップS23におけるサーバ監視処理)を説明する。
ステップS151において、いまの場合、マルチセンサカメラ1−2からの状態変化通知が受信され、ステップS152において、統合状態履歴データが更新される。図32は、この時点において、サーバ31が保持する統合状態履歴データを表わしている。統合状態0x10の継続時間がp秒に更新され、さらに、現在の統合状態が統合状態0x00であることを認識される(イベントが終了したことが認識される)。
ステップS153において、いまの場合、イベントが終了したと判定され、処理はステップS163に進む。
ステップS163において、イベント情報記録部75は、イベント通知制御部73から、終了したイベントの統合状態履歴データを取得し、イベント情報をイベント情報蓄積部79に保存する。
イベント情報は、イベント番号、状態履歴データ、イベント発生時刻、ユーザの評価から構成される。イベント番号は、保存されたイベント情報に順番に割り振られるシーケンス番号である。状態履歴データは、いまの場合、イベント通知制御部73から取得した統合状態履歴データであり、図32の統合状態履歴データとなる。イベント発生時刻は、イベントが検出された時刻である。ユーザの評価は、ステップS155あるいはS166において取得される、ユーザから入力されたイベントに対する通知が不要か否かの評価である。統合サーバ処理モードの場合、処理モード選択処理の判定材料とするため、ユーザに呈示されなかったイベントについても、イベント情報が保存され、そのイベント情報のユーザの評価は、ユーザから通知が不要と判定されたイベントと同じ扱いとなる。
ステップS164において、イベント通知制御部73は、通知イベント発生フラグがオンか否かを判定する。通知イベント発生フラグがオンと判定された場合、処理はステップS165に進み、通知イベント発生フラグがオフと判定された場合、処理はステップS175に進む。
ステップS165において、ユーザ入力部77は、呈示したイベントに対するユーザの評価を取得ずみか否かを判定する。いまの場合、ユーザの評価を取得ずみでないと判定され、処理はステップS166に進む。
ステップS166において、ステップS155と同様に、ユーザ入力部77は、呈示したイベントに対して、ユーザから通知が必要か否かを評価する入力を取得したか否かを判定する。ユーザから通知が必要か否かを評価する入力を取得したと判定された場合は、処理はステップS167に進む。ユーザから通知が必要か否かを評価する入力を取得していないと判定された場合は、ステップS167,168の処理はスキップされ、処理はステップS171に進む。
ステップS167において、分類情報生成部76は、ユーザ入力部77から、ステップS166においてユーザから入力された呈示したイベントに対する評価を取得し、先に図13を参照して説明した処理により、通知不要テーブルを更新する。
ステップS168において、イベント情報記録部75は、ユーザ入力部77から、ステップS166においてユーザから入力された呈示したイベントに対する評価を取得し、ステップS163において保存したイベント情報に対応付けて保存する。
ステップS165において、ユーザの評価を取得ずみと判定された場合、処理はステップS169に進む。ステップS169において、ステップS167と同様に、分類情報生成部76は、通知不要テーブルを更新する。ステップS170において、ステップS168と同様に、イベント情報記録部75は、ステップS163において保存したイベント情報に、ユーザの評価を対応付けて保存する。
ステップS171において、イベント通知制御部73は、イベントを呈示中か否かを判定する。イベントを呈示中と判定された場合は、処理はステップS172に進む。イベントを呈示中でないと判定された場合は、ステップS172およびS173の処理はスキップされ、処理はステップS174に進む。いまの場合、イベントを呈示中であると判定され、処理はステップS172に進む。
ステップS172において、ステップS157と同様に、イベント通知制御部73は、画像送信停止指示をマルチセンサカメラ1−1,1−2に送信する。
ステップS173において、ステップS158と同様に、イベント呈示制御部74は、イベントの呈示を終了させる。
ステップS174において、イベント通知制御部73は、通知イベント発生フラグをオフする。
ステップS175において、処理モード選択部78は、処理モード選択処理が未実施か否かを判定する。処理モード選択処理が未実施と判定された場合、処理はステップS175に進む。処理モード選択処理が実施ずみと判定された場合、ステップS175乃至S177の処理はスキップされ、処理は図15のステップS26に進む。
ステップS176において、処理モード選択部78は、イベント情報蓄積部79に保存されているイベント情報の蓄積量が、処理モード選択処理を実行するのに十分な所定の量(例えば、所定の回数)を超えたか否かを判定する。イベント情報の蓄積量が所定の量を超えるまでは、ステップS177の処理はスキップされ、処理は図15のステップS26に進む。
このように、イベントが終了した場合、イベント情報が保存され、マルチセンサカメラ1−1,1−2に画像送信停止指示が送信され、イベントの呈示が終了される。
統合サーバ処理モードによるイベント検出が繰り返され、ステップS176において、イベント情報の蓄積量が所定の量を超えたと判定された場合、処理はステップS177に進み、処理モード選択処理が行われ、ユーザが通知を必要とするイベントを検出するために最適な処理モードが選択される。処理モード選択処理の詳細に関しては、図33を参照して後述する。
以上説明した統合サーバ処理モードにおける監視システム21の一連の処理により、マルチセンサカメラ1−1,1−2の検出状態を、サーバ31で統合して、その統合状態履歴データに基づき、検出したイベントをユーザに通知が必要なイベントか否かを判定し、ユーザに通知が必要なイベントと判定された場合、イベントの呈示が行なわれる。
次に、図33を参照して、図22のステップS177で、サーバ31により実行される処理モード選択処理を説明する。
ステップS201において、処理モード選択部78は、イベント情報蓄積部79に保存されているイベント情報をロードする。
ステップS202において、処理モード選択部78は、過去に発生したイベントのうち、複数のマルチセンサカメラで同時にイベントを検出した割合が、所定の閾値以上か否かを判定する。具体的には、処理モード選択部78は、ステップS201においてロードしたイベント情報の統合状態履歴データに基づいて、複数のマルチセンサカメラで同時に検出されたイベントの件数を求め、過去に発生したイベントの件数に占める割合を求める。求めた割合が所定の閾値以上であると判定された場合、処理はステップS203に進む。
ステップS202において、過去に発生したイベントの件数に占める複数のマルチセンサカメラで同時に検出されたイベントの件数の割合が、所定の閾値に満たないと判定された場合、処理はステップS209に進み、処理モードが独立カメラ処理モードに決定される。これは、マルチセンサカメラ1−1,1−2の監視領域が全く重ならないなどの原因により、マルチセンサカメラ1−1,1−2が、それぞれ単独でイベントを検出する割合が高い場合には、マルチセンサカメラ1−1,1−2の統合状態履歴データに基づいて、イベント通知判定をするメリットがないからである。その後、処理はステップS210に進む。
ステップS203において、処理モード選択部78は、ステップS202でロードしたイベント情報に基づき、独立カメラ処理モードで動作させたと想定して、過去に発生したイベントにおけるイベントの検出精度を算定する。イベントの検出精度とは、統合サーバ処理モードにおいてユーザから通知が必要と判定されたイベントを、独立カメラ処理モードでも通知が必要と判定でき、統合サーバ処理モードにおいてユーザから通知が不要と判定されたイベントを、独立カメラ処理モードでも通知が不要と判定できる割合である。
具体的には、まず、処理モード選択部78は、イベント分類情報蓄積部80から、マルチセンサカメラ1−1の独立カメラ処理モード用の通知不要テーブルをロードする。そして、処理モード選択部78は、過去のイベント情報から、マルチセンサカメラ1−1が検出したイベント情報を抽出する。処理モード選択部78は、その抽出したイベント情報を、ユーザから通知が必要と判定されたイベントとユーザから通知が不要と判定されたイベントに分ける。この通知が不要と判定されたイベント情報には、サーバ31のイベント通知判定により、ユーザに通知が不要と判定され、ユーザに呈示されなかったイベント情報も含まれる。
そして、処理モード選択部78は、ユーザから通知が必要と判定されたイベントについて、それぞれ、独立カメラ処理モードで動作させた場合、マルチセンサカメラ1−1でユーザに通知が必要なイベントと判定されるか否かを判定する。この判定は、ロードされたイベント情報の統合状態履歴データから、マルチセンサカメラ1−1の単独状態履歴データを求め、先に取得したマルチセンサカメラ1−1の独立カメラ処理モード用の通知不要テーブルと比較することにより行なわれる。
例えば、図34がマルチセンサカメラ1−1の独立カメラ処理モード用の通知不要テーブルで、図35がイベント情報の統合状態履歴データとする。図35の統合状態0x01および統合状態0x11とも、マルチセンサカメラ1−1の監視領域11−1でイベントが発生している状態であるから、図35の統合状態履歴データを統合することで、図36に示されるマルチセンサカメラ1−1の単独状態履歴データが求められる。この図36の単独状態履歴データは、図34の通知不要テーブルに登録されているイベントに該当しないと判定される。従って、図35の統合状態履歴データのイベントは、独立カメラ処理モードで動作させた場合、マルチセンサカメラ1−1でユーザに通知が必要なイベントと判定されると判定される。
同様に、図38は、図37の統合状態履歴データから求めたマルチセンサカメラ1−1の単独状態履歴データである。図38の単独状態履歴データは、図34の通知不要テーブルに登録されているイベントに該当すると判定され、図37の統合状態履歴データのイベントは、独立カメラ処理モードで動作させた場合、マルチセンサカメラ1−1でユーザに通知が不要なイベントと判定されると判定される。
以上の判定処理に基づき、統合サーバ処理モードにおいてユーザから通知が必要と判定されたイベントのうち、独立カメラ処理モードで動作させた場合においても、通知が必要と判定できるイベントの割合が求められる。同様の判定処理に基づき、統合サーバ処理モードにおいてユーザから通知が不要と判定されたイベントのうち、独立カメラ処理モードで動作させた場合においても、通知が不要と判定できるイベントの割合が求められる。全てのマルチセンサカメラについて、以上の2つの割合(イベント検出精度)が求められる。
ステップS204において、処理モード選択部78は、全てのマルチセンサカメラについて、ステップS203で算定した独立カメラ処理モードにおけるイベント検出精度が、所定の閾値以上か否かを判定する。全てのマルチセンサカメラについて、独立カメラ処理モードにおけるイベント検出精度が所定の閾値以上(統合サーバ処理モードと独立カメラ処理モードのイベント検出精度があまり変わらない)と判定された場合、処理はステップS209に進み、処理モードが独立カメラ処理モードに決定される。その後、処理はステップS210に進む。
ステップS204において、独立カメラ処理モードにおけるイベント検出精度が所定の閾値に満たない(独立カメラ処理モードは、統合サーバ処理モードよりもイベント検出精度が劣る)と判定された場合、処理はステップS205に進む。
ステップS205において、ユーザ入力部77は、ユーザに低消費電力モードを選択するか否かのメッセージを表示し、それに対するユーザからの回答の入力を取得し、処理モード選択部78に通知する。
ステップS206において、処理モード選択部78は、ステップS205において取得した通知に基づき、低消費電力モードが選択されたか否かを判定する。低消費電力モードが選択されたと判定された場合、処理はステップS207に進み、処理モード選択部78は、処理モードを統合サーバ処理モードに決定する。その後、処理はステップS210に進む。低消費電力モードが選択されなかったと判定された場合、処理はステップS208に進み、処理モード選択部78は、処理モードを統合カメラ処理モードに決定する。その後、処理はステップS210に進む。
ステップS210において、処理モード選択部78は、ステップS207乃至S209で決定された処理モードを、送信部71を介して、マルチセンサカメラ1−1,1−2に通知する。また、処理モード選択部78は、イベント通知制御部73、イベント情報記録部75、および分類情報生成部76にも、処理モードを通知する。
ステップS211において、送信部71は、イベント分類情報蓄積部80に保存されている通知不要テーブルをマルチセンサカメラ1−1,1−2に送信する。
以上説明した処理モード選択処理により、監視システム21に蓄積された過去のイベント情報、およびユーザからの低消費電力モードの選択に基づいて、ユーザに必要十分な情報を通知できる最適な処理モードが設定される。
図33においては、そのステップS206で、統合サーバ処理モード(サーバ31でイベント検出を行なう)あるいは統合カメラ処理モード(マルチセンサカメラ1−1,1−2でイベント検出を行なう)のどちらの処理モードを選択するかを、ユーザからの低消費電力モードの選択に基づき判定するようにしたが、マルチセンサカメラ1−1,1−2のバッテリの残量に基づき判定することもできる。図39は、この場合の処理を表わしている。
図39の処理モード選択処理の方法では、図33のステップS205,S206における、ユーザから低消費電力モードを選択するか否かの入力を取得し、低消費電力モードを選択したか否かを判定する処理が、ステップS255,S256の処理に置き換わっている。図39のその他のステップの処理は、図33の処理と同様であり、その説明は省略し、ステップS255,S256における処理だけを説明する。
ステップS255において、処理モード選択部78は、受信部72を介して、マルチセンサカメラ1−1,1−2のバッテリ57の残量の情報を取得する。すなわち、このとき、処理モード選択部78は、送信部71を介して、マルチセンサカメラ1−1,1−2にバッテリ残量の通知を要求する。状態検知部52は、受信部56を介して、この通知を受信したとき、バッテリ57の残量を検出し、送信部55を介して、通知してくる。
ステップS256において、処理モード選択部78は、全てのマルチセンサカメラのバッテリの残量が、所定の閾値以上か否かを判定する。全てのマルチセンサカメラのバッテリの残量が、所定の閾値以上であると判定された場合、処理はステップS258に進み、処理モード選択部78は、処理モードを統合カメラ処理モードに決定する。少なくとも1つのマルチセンサカメラのバッテリの残量が、所定の閾値未満であると判定された場合、処理はステップS257に進み、処理モード選択部78は、処理モードを統合サーバ処理モードに決定する。
図39の処理モード選択処理の方法においては、ユーザが低消費電力モードを選択するか否かを入力する必要はなく、マルチセンサカメラの消費電力の状況に応じて処理モードが選択される。
さらに、図33と図39においては、そのステップS204またはステップS254で、独立カメラ処理モードにおけるイベント検出精度が所定の閾値未満であると判定された場合、ユーザからのモード選択、またはバッテリ残量に基づいて処理モードを決定するようにしたが、予め決められた処理モードを設定することもできる。図40と図41は、この場合の処理例を表わしている。
図40の例においては、図33のステップS204に対応するステップS304において、独立カメラ処理モードにおけるイベント検出精度が所定の閾値未満であると判定された場合、処理はステップS305に進み、処理モードは統合カメラ処理モードに決定される。その他の処理は、図33における場合と同様である。
図40の処理モード選択処理は、マルチセンサカメラ1−1,1−2がバッテリ駆動でない場合など、特にマルチセンサカメラ1−1,1−2の消費電力を考慮する必要がない場合に用いられる。
図41の例においては、図33のステップS204に対応するステップS354において、独立カメラ処理モードにおけるイベント検出精度が所定の閾値未満であると判定された場合、処理はステップS355に進み、処理モードは統合サーバ処理モードに決定される。その他の処理は、図33における場合と同様である。
図41に示された処理モード選択処理は、マルチセンサカメラ1−1,1−2のバッテリの消費電力を最低限に抑えたい場合に用いられる。
次に、以上のようにして、処理モードが選択された後に監視システム21により実行される処理を説明する。
まず、図14を参照して、マルチセンサカメラ1−1,1−2により実行される処理を説明する。
ステップS2において、受信部56は、サーバ31から処理モード通知を受信したか否かを判定する。ステップS2において、上述した図33のステップS210においてサーバ31から送信された処理モードの通知が受信され、処理はステップS3に進む。
ステップS3において、受信部56は、状態検知部52およびイベント通知制御部53に、ステップS2で取得した処理モードを通知する。状態検知部52およびイベント通知制御部53は、これ以降通知された処理モードに従い処理を実行する。
ステップS4において、受信部56は、サーバ31から通知不要テーブルを受信したか否かを判定する。ステップS4において、上述した図33のステップS211においてサーバ31から送信された通知不要テーブルが受信され、処理はステップS5に進む。
ステップS5において、イベント通知判定部53は、受信部56から、ステップS4で受信された通知不要テーブルを取得して、保持する。
ステップS6において、イベント通知制御部53は、ステップS2において通知された処理モードを判別し、処理モードが統合サーバ処理モードの場合、処理はステップS7に進み、処理モードが統合カメラ処理モードの場合、処理はステップS8に進み、処理モードが独立カメラ処理モードの場合、処理はステップS9に進む。
ステップS7,S8あるいはS9において、それぞれの処理モードに基づく監視処理が実行された後、処理はステップS10に進む。ステップS10において、イベント通知制御部53は、ユーザから監視領域における監視の終了が指令されたか否かを判定し、終了の指令がないと判定されれば、処理はステップS2に戻り、それ以降の処理が繰り返される。
このように、処理モード選択処理後、マルチセンサカメラ1−1,1−2において、処理モード通知と通知不要テーブルが受信され、通知された処理モードに応じた監視処理が繰り返される。
次に、各処理モードにおいて監視システム21により実行される監視処理を説明する。なお、統合サーバ処理モードにおいて監視システム21により実行される監視処理(図14のステップS7におけるマルチセンサカメラ監視処理と、図15のステップS23におけるサーバ監視処理)は、上述した処理モード選択前の処理と同様であり、その説明は省略する。また、マルチセンサカメラ1−1,1−2の図14のステップS2乃至S6およびステップS10の処理、およびサーバ31の図15のステップS22,S26の処理は、上述した監視処理開始時と同様の処理が繰り返されるため、その説明は省略する。
まず、図42乃至図55を参照して、図4乃至図7で説明したイベントの例に基づき、統合カメラ処理モードにおいて監視システム21により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理と、図15のステップS24におけるサーバ監視処理)を説明する。ここでは、先述した統合サーバ処理モードの場合と同様に、図4の時点ではユーザに通知が必要なイベントと判定されず、図5の時点でユーザに通知が必要なイベントと判定されるものとして説明する。
最初に、図4のイベントが発生した時、統合カメラ処理モードにおいて監視システム21により実行される監視処理を説明する。先に説明したとおり、図4は、時刻T=tにおいて、人41が、監視領域11−1に侵入し、監視システム21の監視領域でイベントが発生した状態を表わしている。
まず、図42乃至図44を参照して、統合カメラ処理モード時に、マルチセンサカメラ1−1により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。この時点では、通知イベント発生フラグおよび画像送信許可フラグは、ともにオフされている。
統合サーバ処理モードにおける図16のステップS101,S102と同様に、状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、ステップS401で取得したセンサデータに基づき、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。マルチセンサカメラ1−1,1−2の自己の状態履歴データについては、先に説明した統合サーバ処理モードの場合と同様であり、この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図18に示されるようになる。
ステップS403において、統合サーバ処理モードにおける図16のステップS103と同様に、状態検知部52は、前回状態履歴データを更新した時に比べて、自己(マルチセンサカメラ1−1)の監視領域11−1の状態が変化したか否かを判定する。いまの場合、自己の監視領域11−1の状態が変化したと判定され、処理はステップS404に進む。
ステップS404において、状態検知部52は、送信部55を介して、統合サーバ処理モードの場合と異なり、他のマルチセンサカメラ(マルチセンサカメラ1−2)に状態変化通知を送信する。状態変化通知には、この時点の自己(マルチセンサカメラ1−1)の単独状態番号が含まれ、マルチセンサカメラ1−1のこの時点の単独状態0x01が、マルチセンサカメラ1−2に通知される。また、状態検知部52は、イベント通知制御部53にも、同様に状態変化通知を送信する。
ステップS405において、イベント通知制御部53は、受信部56を介して、他のマルチセンサカメラ(マルチセンサカメラ1−2)から状態変化通知を受信する。図4の時点では、マルチセンサカメラ1−2の監視領域11−2でイベントは発生しておらず、イベントの状態は変化していないため、マルチセンサカメラ1−2から状態変化通知は送信されない。従って、特に処理は行われず、処理はステップS406に進む。
ステップS406において、イベント通知制御部53は、ステップS404で取得した自己の状態変化通知と、ステップS405で受信した他のマルチセンサカメラ(マルチセンサカメラ1−2)の状態変化通知に基づいて、統合状態履歴データを更新する。
イベント通知制御部53には、状態検知部52が保持している自己の単独状態履歴データとは別に、自己の状態、他のマルチセンサカメラの状態、および統合状態が記録された状態履歴データが保持されている。図45は、この時点で、マルチセンサカメラ1−1のイベント通知制御部53に保持されている状態履歴データを表わしている。1行目が自己(マルチセンサカメラ1−1)の単独状態の状態遷移パターン、2行目が他のマルチセンサカメラ(マルチセンサカメラ1−2)の単独状態の状態遷移パターン、3行目がマルチセンサカメラ1−1におけるマルチセンサカメラ1−1,1−2の統合状態の状態遷移パターン、4行目が状態の継続時間を表わしている。
いまの場合、自己の単独状態の状態遷移パターンには単独状態0x01が記録され、他のマルチセンサカメラの単独状態の状態遷移パターンには、マルチセンサカメラ1−2から状態変化通知を受信していないため、前の状態から変化していない(イベントが発生していない)と判定され、単独状態0x00が記録される。統合状態の状態遷移パターンには、この時点の、マルチセンサカメラ1−1におけるマルチセンサカメラ1−1,1−2の統合状態0x01が記録される。このイベントは、開始されたばかりなので、継続時間には0秒が設定される。
ステップS407において、イベント通知制御部53は、ユーザに通知が必要なイベントが発生中か否かを判定する。図45の状態履歴データの統合状態遷移パターンと継続時間(統合状態履歴データ)、並びに通知不要テーブルに基づき、図13を参照して説明したイベント通知判定により、発生中のイベントがユーザに通知が必要なイベントか否かが判定される。いまの場合、ユーザに通知が必要なイベントが発生中ではないと判定され、処理はステップS413に進む。
ステップS413において、イベント通知制御部53は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオフであると判定され、ステップS414およびS415の処理はスキップされ、処理はステップS416に進む。
ステップS416において、イベント通知制御部53は、画像送信許可フラグをオフにする。
ステップS417において、イベント通知制御部53は、画像データをサーバ31に送信中か否かを判定する。いまの場合、画像データを送信中でないと判定され、処理はステップS418に進む。
ステップS418において、イベント通知制御部53は、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ通知イベント発生フラグがオン、かつ画像送信許可フラグがオンか否かを判定する。いまの場合、自己の監視領域11−1でイベント発生中であるが、通知イベント発生フラグおよび画像送信許可フラグが共にオフなので、ステップS419の処理はスキップされ、処理は図14のステップS10に進む。
このように、統合カメラ処理モードにおいては、マルチセンサカメラ1−1で、マルチセンサカメラ1−1の状態と、他のマルチセンサカメラ(マルチセンサカメラ1−2)からの状態変化通知に基づき、状態履歴データが更新され、イベント通知判定が行なわれる。
次に、統合カメラ処理モード時に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。この時点では、通知イベント発生フラグおよび画像送信許可フラグは、ともにオフされている。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図19に示されるようになる。
ステップS403において、いまの場合、自己(マルチセンサカメラ1−2)の監視領域11−2の状態は変化していないと判定され、ステップS404の処理はスキップされ、状態変化通知は送信されず、処理はステップS405に進む。
ステップS405において、イベント通知制御部53は、受信部56を介して、他のマルチセンサカメラ(マルチセンサカメラ1−1)から状態変化通知を受信する。いまの場合、マルチセンサカメラ1−1の図42のステップS404で送信された状態変化通知が受信される。
ステップS406において、マルチセンサカメラ1−1の場合と同様に、イベント通知制御部53は、ステップS404で取得した自己の状態変化通知と、ステップS405で受信した他のマルチセンサカメラ(マルチセンサカメラ1−1)の状態変化通知に基づいて、統合状態履歴データを更新する。
図46は、この時点で、マルチセンサカメラ1−2のイベント通知制御部53に保持されている状態履歴データを表わしている。1行目が自己(マルチセンサカメラ1−2)の単独状態の状態遷移パターン、2行目が他のマルチセンサカメラ(マルチセンサカメラ1−1)の単独状態の状態遷移パターン、3行目がマルチセンサカメラ1−2におけるマルチセンサカメラ1−1,1−2の統合状態の状態遷移パターン、4行目が状態の継続時間を表わしている。いまの場合、自己の単独状態の状態遷移パターンには単独状態0x00が記録され、他のマルチセンサカメラの単独状態の状態遷移パターンには、マルチセンサカメラ1−1から受信した状態変化通知に基づき、単独状態0x01が記録される。統合状態の状態遷移パターンには、この時点の、マルチセンサカメラ1−2におけるマルチセンサカメラ1−1,1−2の統合状態0x10が記録される。このイベントは、開始されたばかりなので、継続時間には0秒が設定される。
ステップS407において、図46の状態履歴データの統合状態遷移パターンと継続時間(統合状態履歴データ)、並びに通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、マルチセンサカメラ1−1の場合と同様に、ユーザに通知が必要なイベントが発生中ではないと判定され、処理はステップS413に進む。
ステップS413乃至S418における処理は、マルチセンサカメラ1−1の場合と同様であり、ステップS416において、画像送信許可フラグがオフにされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−2でも、マルチセンサカメラ1−2の状態と、他のマルチセンサカメラ(マルチセンサカメラ1−1)からの状態変化通知に基づき、状態履歴データが更新され、イベント通知判定が行なわれる。
次に、図47および図48を参照して、統合カメラ処理モード時に、マルチセンサカメラ1−1,1−2の図42乃至図44の処理に対応して、サーバ31により実行される監視処理(図15のステップS24におけるサーバ監視処理)を説明する。この時点では、通知イベント発生フラグはオフされている。
ステップS451において、イベント通知制御部73は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオフと判定され、処理はステップS457に進む。
ステップS457において、受信部72は、マルチセンサカメラ1−1,1−2から画像データを受信中か否かを判定する。いまの場合、マルチセンサカメラ1−1,1−2から画像データは送信されていないため、画像データを受信中でないと判定され、ステップS458,S459の処理はスキップされ、処理は図15のステップS26に進む。
すなわち、この場合、画像データが送信されてくるまで、特別な処理は行なわれない。
次に、発生中のイベントが図5の状態に遷移した時、統合カメラ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図5は、図4の時点からm秒経過した時刻T=t+mにおいて、人41が監視領域11−3に侵入した状態を表わしている。
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図24に示されるようになる。
ステップS403において、いまの場合、自己(マルチセンサカメラ1−1)の監視領域11−1の状態が変化していないと判定され、ステップS404の処理はスキップされ、状態変化通知は送信されず、処理はステップS405に進む。
ステップS405において、他のマルチセンサカメラ(マルチセンサカメラ1−2)からの状態変化通知が受信され、ステップS406において、状態履歴データが更新される。図49は、この時点で、マルチセンサカメラ1−1のイベント通知制御部53に保持されている状態履歴データを表わしている。他のマルチセンサカメラ(マルチセンサカメラ1−2)の単独状態の状態遷移パターンが単独状態0x01に、マルチセンサカメラ1−1,1−2の統合状態の状態遷移パターンが統合状態0x11に、それぞれ更新される。また、統合状態0x01の継続時間がm秒に更新される。
ステップS407において、図49の状態履歴データの統合状態遷移パターンと継続時間(統合状態履歴データ)、並びに通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中であると判定され、処理はステップS408に進む
ステップS408において、イベント通知制御部53は、通知イベント発生フラグがオフか否かを判定する。いまの場合、通知イベント発生フラグはオフであると判定され、処理はステップS409に進む。
ステップS409において、イベント通知制御部53は、通知イベント発生フラグをオンにする。
ステップS410において、イベント通知制御部53は、画像送信許可フラグをオンにする。
ステップS411において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。この画像送信停止指示は、イベント呈示中に、サーバ31で、後述する図47のステップS454において、ユーザから通知が不要と評価されたと判定された時、図47のステップS455において送信される。いまの場合、まだユーザにイベントは呈示されておらず、サーバ31から画像送信停止指示は送信されないため、画像送信停止指示を受信していないと判定され、ステップS412の処理はスキップされ、処理はステップS417に進む
ステップS417において、いまの場合、サーバ31に画像データを送信していないと判定され、処理はステップS418に進む。
ステップS418において、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ通知イベント発生フラグがオン、かつ画像送信許可フラグがオンか否かが判定される。いまの場合、マルチセンサカメラ1−1の監視領域11−1でイベントが発生中であり、通知イベント発生フラグおよび画像送信許可フラグが共にオンなので、処理はステップS419に進む。
ステップS419において、統合サーバ処理モードにおける図17のステップS111と同様に、イベント通知制御部53は、カメラ54の電源をオンし、送信部55を介して、カメラ54で撮像した画像データのサーバ31への送信が開始される。その後、処理は図14のステップS10に進む。
このようにマルチセンサカメラ1−1のイベント通知判定処理により、ユーザに通知が必要なイベントが発生中であると判定された場合、サーバ31への画像データの送信が開始される。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図25に示されるようになる。
ステップS403において、自己(マルチセンサカメラ1−2)の監視領域11−2の状態(単独状態番号)が変化したと判定され、処理はステップS404に進み、ステップS404において、他のマルチセンサカメラ(マルチセンサカメラ1−1)およびイベント通知制御部53に状態変化通知が送信される。
ステップS405において、いまの場合、他のマルチセンサカメラ(マルチセンサカメラ1−1)からの状態変化通知が受信されないため、特に処理は行われずに、処理はステップS406に進む。
ステップS406において、状態履歴データが更新される。図50は、この時点で、マルチセンサカメラ1−2のイベント通知制御部53に保持されている状態履歴データを表わしている。自己(マルチセンサカメラ1−2)の単独状態の状態遷移パターンが単独状態0x01に、マルチセンサカメラ1−1,1−2の統合状態の状態遷移パターンが統合状態0x11に、それぞれ更新される。また、統合状態0x10の継続時間がm秒に更新される。
ステップS407において、図50の状態履歴データの統合状態遷移パターンと継続時間(統合状態履歴データ)、並びに通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中と判定され、処理はステップS408に進む。
ステップS408乃至S419における処理は、マルチセンサカメラ1−1の場合と同様であり、ステップS409において、通知イベント発生フラグがオンにされ、ステップS410において、画像送信許可フラグがオンにされる。そして、ステップS419において、サーバ31への画像データの送信が開始され、処理は図14のステップS10に進む。
このようにマルチセンサカメラ1−2でも、ユーザに通知が必要なイベントが発生中であると判定され、サーバ31への画像データの送信が開始される。
次に、サーバ31により実行される監視処理(図15のステップS24におけるサーバ監視処理)を説明する。
ステップS451において、いまの場合、通知イベント発生フラグはオフと判定され、処理はステップS457に進む。
ステップS457において、受信部72は、マルチセンサカメラ1−1,1−2から画像データを受信中か否かを判定する。先に説明したとおり、図44のステップS419において、マルチセンサカメラ1−1および1−2から画像データの送信が開始されており、サーバ31はその画像データを受信し、画像データを受信中であると判定され、処理はステップS458に進む。
ステップS458において、受信部72は、マルチセンサカメラ1−1および1−2から受信した画像データのイベント呈示制御部74への供給を開始する。イベント呈示制御部74は、取得した画像データに基づき、ユーザに呈示するデータを生成し、図3の呈示部32に出力し、イベントの呈示を開始させる。
ステップS459において、イベント通知制御部73は、通知イベント発生フラグをオンにする。その後、処理は図15のステップS26に進む。
このように、マルチセンサカメラ1−1,1−2から画像データの送信が開始されることにより、イベントの呈示が開始される。
次に、発生中のイベントが図6の状態に遷移した時、統合カメラ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図6は、図5の時点からさらにn秒経過した時刻T=t+m+nにおいて、人41が監視領域11−1から外に出て、監視領域11−2のみの領域に侵入した状態を表わしている
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図27に示されるようになる。
ステップS403において、いまの場合、自己(マルチセンサカメラ1−1)の監視領域11−1の状態(単独状態番号)が変化したと判定され、処理はステップS404に進み、ステップS404において、他のマルチセンサカメラ(マルチセンサカメラ1−2)およびイベント通知制御部53に状態変化通知が送信される。
ステップS405において、いまの場合、他のマルチセンサカメラ(マルチセンサカメラ1−2)からの状態変化通知が受信されないため、特に処理は行なわれずに、処理はステップS406に進む。
ステップS406において、状態履歴データが更新される。図51は、この時点で、マルチセンサカメラ1−1のイベント通知制御部53に保持されている状態履歴データを表わしている。自己(マルチセンサカメラ1−1)の単独状態の状態遷移パターンが単独状態0x00に、マルチセンサカメラ1−1,1−2の統合状態の状態遷移パターンが統合状態0x10に、それぞれ更新される。また、統合状態0x11の継続時間がn秒に更新される。
ステップS407において、図51の状態履歴データの統合状態遷移パターンと継続時間(統合状態履歴データ)、並びに通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中であると判定され、処理はステップS408に進む
ステップS408において、いまの場合、通知イベント発生フラグはオンであると判定され、ステップS409およびS410の処理はスキップされ、処理はステップS411に進む。
ステップS411において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。画像送信停止指示を受信したと判定された場合、処理はステップS412に進み、ステップS412において、イベント通知制御部53は、画像送信許可フラグをオフにする。画像送信停止指示を受信していないと判定された場合は、ステップS412の処理はスキップされ、処理はステップS417に進む。これ以降の説明では、ステップS411において、画像送信停止指示を受信していないと判定されたものとして説明する。
ステップS417において、いまの場合、サーバ31に画像データを送信中と判定され、処理はステップS420に進む。
ステップS420において、イベント通知制御部53は、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが未発生、あるいは通知イベント発生フラグがオフ、あるいは画像送信許可フラグがオフか否かを判定する。いまの場合、自己の監視領域11−1でイベントが未発生のため、処理はステップS421に進む。
ステップS421において、イベント通知制御部53は、カメラ54の電源をオフし、サーバ31への画像データの送信を停止させ、処理はステップ図14のS10に進む。
このように、監視システム21全体の監視領域でイベントは継続中であるが、マルチセンサカメラ1−1の監視領域11−1では、イベントが終了したため、マルチセンサカメラ11−1からの画像データの送信が停止される。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図28に示されるようになる。
ステップS403において、自己(マルチセンサカメラ1−2)の監視領域11−2の状態が変化していないと判定され、ステップS404の処理はスキップされ、状態変化通知は送信されず、処理はステップS405に進む。
ステップS405において、他のマルチセンサカメラ(マルチセンサカメラ1−2)からの状態変化通知が受信され、ステップS406において、状態履歴データが更新される。図52は、この時点で、マルチセンサカメラ1−2のイベント通知制御部53に保持されている状態履歴データを表わしている。他のマルチセンサカメラ(マルチセンサカメラ1−1)の単独状態の状態遷移パターンが単独状態0x00に、マルチセンサカメラ1−1,1−2の統合状態の状態遷移パターンが統合状態0x01に、それぞれ更新される。また、統合状態0x11の継続時間がn秒に更新される。
ステップS407において、図52の状態履歴データの統合状態遷移パターンと継続時間(統合状態履歴データ)、並びに通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中であると判定され、処理はステップS408に進む
ステップS408乃至S417における処理は、マルチセンサカメラ1−1の場合と同様であり、ステップS417において、サーバ31に画像データを送信中であると判定され、処理はステップS420に進む。
ステップS420において、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが未発生、通知イベント発生フラグがオフ、あるいは画像送信許可フラグがオフか否かが判定される。いまの場合、自己の監視領域11−2でイベントが発生中であり、通知イベント発生フラグおよび画像送信許可フラグが共にオンなので、ステップS421の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−2の監視領域11−2では、イベントが継続中であり、サーバ31への画像データの送信は停止されずに、継続される。
次に、サーバ31により実行される監視処理(図15のステップS24におけるサーバ監視処理)を説明する。
ステップS451において、いまの場合、通知イベント発生フラグがオンと判定され、処理はステップS452に進む。
ステップS452において、受信部72は、マルチセンサカメラ1−1あるいは1−2からイベント終了通知を受信したか否かを判定する。いまの場合、マルチセンサカメラ1−1あるいは1−2からイベント終了通知は送信されていないため、イベント終了通知は受信されていないと判定され、処理はステップS453に進む。
ステップS453乃至S456の処理は、統合サーバ処理モードにおける図20のステップS155乃至S158の処理と同様である。ステップS453において、呈示したイベントに対して、ユーザから通知が不要か否かの評価が入力され、ステップS454において、取得したユーザの評価が通知不要であると判定された場合、ステップS455において、画像送信停止指示がマルチセンサカメラ1−1,1−2に送信され、ステップS456において、イベントの呈示が終了される。
これ以降の説明では、ステップS453において、通知が必要か否かを評価する入力がユーザから取得されていないと判定されたものとして説明する。ステップS453において、通知が必要か否かを評価する入力がユーザから取得されていないと判定された場合は、処理は図15のステップS26に進む。
このように、マルチセンサカメラ1−1,1−2からイベント終了通知が送信されず、ユーザから通知が不要の評価が入力されない場合、イベントの呈示は停止されずに、継続される。
次に、発生中のイベントが図7の状態に遷移した時、統合カメラ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図7は、図6の時点からさらにp秒経過した時刻T=t+m+n+pにおいて、人41が、監視システム21の監視領域の外へ出て、イベントが終了した状態を表わしている。
まず、統合カメラ処理モード時に、マルチセンサカメラ1−1により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図30に示されるようになる。
ステップS403において、いまの場合、自己(マルチセンサカメラ1−1)の監視領域11−1の状態が変化していないと判定され、ステップS404の処理はスキップされ、状態変化通知は送信されず、処理はステップS405に進む。
ステップS405において、いまの場合、他のマルチセンサカメラ(マルチセンサカメラ1−2)からの状態変化通知が受信され、ステップS406において、状態履歴データが更新される。図53は、この時点で、マルチセンサカメラ1−1のイベント通知制御部53に保持されている状態履歴データを表わしている。統合状態0x10の継続時間がp秒に更新されている。さらに、現在の統合状態が統合状態0x00であることが認識される(イベントが終了したことが認識される)。
ステップS407において、いまの場合、監視システム21の監視領域でイベントが終了しており、ユーザに通知が必要なイベントが発生中でないと判定され、処理はステップS413に進む。
ステップS413において、イベント通知制御部53は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオンであると判定され、処理はステップS414に進む。
ステップS414において、イベント通知制御部53は、送信部55を介して、サーバ31にイベント終了通知を送信する。このイベント終了通知には、図53のマルチセンサカメラ1−1の状態履歴データが含まれる。
ステップS415において、イベント通知制御部53は、通知イベント発生フラグをオフにする。
ステップS416において、イベント通知制御部53は、画像送信許可フラグをオフにする。
ステップS417において、いまの場合、サーバ31に画像データを送信中でないと判定され、処理はステップS418に進む。
ステップS418において、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ通知イベント発生フラグがオン、かつ画像送信許可フラグがオンか否かが判定される。いまの場合、自己の監視領域11−1でイベント発生中ではなく、通知イベント発生フラグおよび画像送信許可フラグが共にオフなので、ステップS419の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−1で、ユーザに通知が必要と判定されたイベントの終了が検出され、サーバ31にイベント終了通知が送信される。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS8におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS401において、フォトセンサ51からセンサデータを取得し、ステップS402において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図31に示されるようになる。
ステップS403において、自己(マルチセンサカメラ1−2)の監視領域11−2の状態が変化したと判定され、処理はステップS404に進み、ステップS404において、他のマルチセンサカメラ(マルチセンサカメラ1−1)およびイベント通知制御部53に状態変化通知が送信される。
ステップS405において、いまの場合、他のマルチセンサカメラ(マルチセンサカメラ1−1)からの状態変化通知が受信されないため、特に処理は行なわれずに、処理はステップS406に進む。
ステップS406において、統合状態履歴データが更新される。図54は、この時点で、マルチセンサカメラ1−2のイベント通知制御部53に保持されている状態履歴データを表わしている。統合状態0x10の継続時間がp秒に更新されている。さらに、現在の統合状態が統合状態0x00であることを認識される(イベントが終了したことが認識される)。
ステップS407乃至S416における処理は、マルチセンサカメラ1−1の場合と同様であり、ステップS414において、サーバ31にイベント終了通知が送信され、ステップS415において、通知イベント発生フラグがオフにされ、ステップS416において、画像送信許可フラグがオフにされる。
ステップS417において、サーバ31に画像データを送信中であると判定され、処理はステップS420に進む。
ステップS420において、自己(マルチセンサカメラ1−2)の監視領域11−1でイベントが未発生、あるいは通知イベント発生フラグがオフ、あるいは画像送信許可フラグがオフか否かが判定される。いまの場合、自己の監視領域11−2でイベントが未発生であり、通知イベント発生フラグおよび画像送信許可フラグがともにオフなので、処理はステップS421に進む。
ステップS421において、イベント通知制御部53は、カメラ54の電源をオフし、サーバ31への画像データの送信を停止させ、処理はステップ図14のS10に進む。
このように、マルチセンサカメラ1−2でも、ユーザに通知が必要なイベントの終了が検出され、サーバ31にイベント終了通知が送信され、サーバ31への画像データの送信が停止される。
次に、サーバ31により実行される監視処理(図15のステップS24におけるサーバ監視処理)を説明する。
ステップS451において、いまの場合、通知イベント発生フラグがオンと判定され、処理はステップS452に進む。
ステップS452において、受信部72は、マルチセンサカメラ1−1あるいは1−2からイベント終了通知を受信したか否かを判定する。いまの場合、先に説明した図43のステップS414において、マルチセンサカメラ1−1および1−2から送信されたイベント終了通知が受信され、処理はステップS460に進む。
ステップS460において、イベント情報記録部75は、統合サーバ処理モードにおける図21のステップS163と同様に、イベント情報をイベント情報蓄積部79に保存する。イベント情報記録部75は、受信部72から、ステップS452において受信したイベント終了通知を取得し、そのイベント終了通知に含まれるマルチセンサカメラ1−1,1−2の状態履歴データに基づき生成される。イベント情報は、統合サーバ処理モードと同様に、イベント番号、状態履歴データ、イベント発生時刻、ユーザの評価から構成されるが、統合カメラ処理モードの場合、状態履歴データは、図55に示されるようになる。図55の状態履歴データは、マルチセンサカメラ1−1,1−2のそれぞれの単独状態および統合状態の状態遷移パターンと、それぞれの状態における継続時間から構成される。
ステップS461乃至S466の処理は、統合サーバ処理モードにおける図21のステップS165乃至S170の処理と同様である。呈示したイベントに対するユーザの通知が必要か否かの評価が入力された場合は、その評価の入力に基づき、通知不要テーブルが更新され、ステップS460において保存したイベント情報に、その評価が対応付けられて保存される。
ステップS467において、イベント通知制御部73は、イベントを呈示中か否かを判定する。イベントを呈示中であると判定された場合は、処理はステップS468に進む。イベントを呈示中でないと判定された場合は、ステップS468の処理はスキップされ、処理はステップS469に進む。
ステップS470において、統合サーバ処理モードにおける図21のステップS173の処理と同様に、イベント呈示制御部74は、イベントの呈示を終了させる。
ステップS469において、イベント通知制御部73は、通知イベント発生フラグをオフする。
ステップS470において、送信部71は、イベント分類情報蓄積部80に保持されている通知不要テーブルを、マルチセンサカメラ1−1,1−2に送信する。その後、処理は図15のステップS26に進む。ステップS470で送信された通知不要テーブルは、図14のステップS4において、マルチセンサカメラ1−1,1−2により受信される。
このように、マルチセンサカメラ1−1あるいは1−2からイベント終了通知を受信した場合、イベント情報が保存され、イベントの呈示が終了される。
以上説明した統合カメラ処理モードにおける監視システム21の一連の処理により、監視システム21において、マルチセンサカメラ1−1,1−2の検出状態を、マルチセンサカメラ1−1,1−2でお互いに通知しあい、その状態を統合した統合状態履歴データに基づき、検出したイベントをユーザに通知すべきか否かを判定し、ユーザに通知が必要なイベントと判定された場合、イベントの呈示が行なわれる。
次に、図56乃至図59を参照して、図4乃至図7で説明したイベントの例に基づき、独立カメラ処理モードにおいて監視システム21により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理と、図15のステップS25におけるサーバ監視処理)を説明する。ここでは、マルチセンサカメラ1−1ではユーザに通知が必要なイベントと判定されず、マルチセンサカメラ1−2ではユーザに通知が必要なイベントと判定されるものとして、説明する。
最初に、図4のイベントが発生した時、独立カメラ処理モードにおいて監視システム21により実行される監視処理を説明する。先に説明したとおり、図4は、時刻T=tにおいて、人41が、監視領域11−1に侵入し、監視システム21の監視領域でイベントが発生した状態を表わしている。
まず、図56および図57を参照して、独立カメラ処理モード時に、マルチセンサカメラ1−1により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。この時点では、通知イベント発生フラグおよび画像送信許可フラグは、ともにオフされている。
統合サーバ処理モードにおける図16のステップS101,S102と同様に、状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、ステップS501で取得したセンサデータに基づき、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。マルチセンサカメラ1−1,1−2の自己の状態履歴データについては、先に説明した統合サーバ処理モードの場合と同様であり、この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図18に示されるようになる。
ステップS503において、イベント通知制御部53は、ユーザに通知が必要なイベントが発生中か否かを判定する。図18の単独状態履歴データと、通知不要テーブルに基づき、図13を参照して説明したイベント通知判定により、発生中のイベントがユーザに通知が必要なイベントか否かを判定する。いまの場合、ユーザに通知が必要なイベントが発生中ではないと判定され、処理はステップS509に進む。
ステップS509において、イベント通知制御部53は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオフであると判定され、ステップS510およびS511の処理はスキップされ、処理はステップS512に進む。
ステップS512において、イベント通知制御部53は、画像送信許可フラグをオフにする。
ステップS513において、イベント通知制御部53は、画像データをサーバ31に送信中か否かを判定する。いまの場合、画像データを送信中でないと判定され、処理はステップS514に進む。
ステップS514において、イベント通知制御部53は、自己(マルチセンサカメラ1−1)の監視領域11−1でイベントが発生中、かつ通知イベント発生フラグがオン、かつ画像送信許可フラグがオンか否かを判定する。いまの場合、自己の監視領域11−1でイベント発生中だが、通知イベント発生フラグおよび画像送信許可フラグが共にオフなので、ステップS515の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−1では、単独状態履歴データに基づき、イベント通知判定が行なわれる。イベント通知判定で、ユーザに通知が必要なイベントが発生していないと判定された場合、サーバ31に画像データは送信されない。
次に、独立カメラ処理モード時に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。この時点では、通知イベント発生フラグおよび画像送信許可フラグは、ともにオフされている。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図19に示されるようになる。
ステップS503において、図4の時点では、マルチセンサカメラ1−2の監視領域11−2ではイベントは発生していないため、ユーザに通知が必要なイベントが発生中でないと判定され、処理はステップS509に進む。
ステップS509乃至S514における処理は、マルチセンサカメラ1−1の場合と同様であり、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−2でも、単独状態履歴データに基づき、イベント通知判定が行なわれる。
次に、図58および図59を参照して、独立カメラ処理モード時に、マルチセンサカメラ1−1,1−2の図56および図57の処理に対応して、サーバ31により実行される監視処理(図15のステップS25におけるサーバ監視処理)を説明する。この時点では、通知イベント発生フラグはオフされている。
ステップS551において、イベント通知制御部73は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオフと判定され、処理はステップS557に進む。
ステップS557において、受信部72は、マルチセンサカメラ1−1,1−2から画像データを受信中か否かを判定する。いまの場合、マルチセンサカメラ1−1,1−2から画像データは送信されていないため、画像データを受信中でないと判定され、ステップS558,S559の処理はスキップされ、処理は図15のステップS26に進む。
すなわち、この場合、画像データが送信されてくるまで、特別な処理は行なわれない。
次に、発生中のイベントが図5の状態に遷移した時、独立カメラ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図5は、図4の時点からm秒経過した時刻T=t+mにおいて、人41が監視領域11−3に侵入した状態を表わしている。
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図24に示されるようになる。
ステップS503において、図24の単独状態履歴データと、通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中でないと判定され、処理はステップS509に進む
ステップS509乃至S514における処理は、上述した図4のイベントの状態における処理と同様であり、画像送信許可フラグがオフに設定され、処理は図14のステップS10に進む。
このように、引き続きユーザに通知が必要なイベントが発生していないと判定された場合、マルチセンサカメラ1−2のイベント検出状態とは関係なく、特別な処理は行なわれない。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図25に示されるようになる。
ステップS503において、図25の単独状態履歴データと、通知不要テーブルに基づき、図13を参照して説明したイベント通知判定が行なわれる。いまの場合、ユーザに通知が必要なイベントが発生中であると判定され、処理はステップS504に進む
ステップS504において、イベント通知制御部53は、通知イベント発生フラグがオフか否かを判定する。いまの場合、通知イベント発生フラグはオフであると判定され、処理はステップS505に進む。
ステップS505において、イベント通知制御部53は、通知イベント発生フラグをオンにする。
ステップS506において、イベント通知制御部53は、画像送信許可フラグをオンにする。
ステップS507において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。この画像送信停止指示は、イベント呈示中に、サーバ31で、後述する図58のステップS554において、ユーザから通知が不要と評価されたと判定された時、図58のステップS555において送信される。いまの場合、まだユーザにイベントは呈示されておらず、サーバ31から画像送信停止指示は送信されないため、画像送信停止指示を受信していないと判定され、ステップS508の処理はスキップされ、処理はステップS513に進む
ステップS513において、イベント通知制御部53は、画像データをサーバ31に送信中か否かを判定する。いまの場合、画像データを送信中でないと判定され、処理はステップS514に進む。
ステップS514において、イベント通知制御部53は、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが発生中、かつ通知イベント発生フラグがオン、かつ画像送信許可フラグがオンか否かを判定する。いまの場合、自己の監視領域11−2でイベント発生中であり、通知イベント発生フラグおよび画像送信許可フラグも共にオンなので、処理はステップS515に進む。
ステップS515において、統合サーバ処理モードにおける図17のステップS111と同様に、イベント通知制御部53は、カメラ54の電源をオンし、送信部55を介して、カメラ54で撮像した画像データのサーバ31への送信が開始される。その後、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−2でユーザに通知が必要なイベントと判定された場合、サーバ31への画像データの送信が開始される。
次に、サーバ31により実行される監視処理(図15のステップS25におけるサーバ監視処理)を説明する。
ステップS551において、通知イベント発生フラグはオフと判定され、処理はステップS557に進む。
ステップS557において、受信部72は、マルチセンサカメラ1−1,1−2から画像データを受信中か否かを判定する。先に説明したとおり、図57のステップS515において、マルチセンサカメラ1−2から画像データの送信が開始されており、サーバ31はその画像データを受信し、画像データを受信中であると判定され、処理はステップS558に進む。
ステップS558において、受信部72は、マルチセンサカメラ1−2から受信した画像データのイベント呈示制御部74への供給を開始する。イベント呈示制御部74は、取得した画像データに基づき、ユーザに呈示するデータを生成し、図3の呈示部32に出力し、イベントの呈示を開始させる。
ステップS559において、イベント通知制御部73は、通知イベント発生フラグをオンにする。その後、処理は図15のステップS26に進む。
このように、マルチセンサカメラ1−2から画像データの送信が開始されることにより、サーバ31でのイベントの呈示が開始される。
次に、発生中のイベントが図6の状態に遷移した時、独立カメラ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図6は、図5の時点からさらにn秒経過した時刻T=t+m+nにおいて、人41が監視領域11−1から外に出て、監視領域11−2のみの領域に侵入した状態を表わしている
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図27に示されるようになる。
ステップS503において、図6の時点では、マルチセンサカメラ1−1の監視領域11−1ではイベントは発生していないため、ユーザに通知が必要なイベントが発生中でないと判定され、処理はステップS509に進む
ステップS509乃至S514における処理は、上述した図4のイベントの状態における処理と同様であり、画像送信許可フラグがオフに設定され、処理は図14のステップS10に進む。
このように、引き続きユーザに通知が必要なイベントが発生していないと判定された場合、マルチセンサカメラ1−2のイベント検出状態とは関係なく、特別な処理は行なわれない。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図28に示されるようになる。
ステップS503において、いまの場合、ユーザに通知が必要なイベントが発生中であると判定され、処理はステップS504に進む
ステップS504において、いまの場合、通知イベント発生フラグはオンであると判定され、ステップS505,S506の処理はスキップされ、処理はステップS507に進む。
ステップS507において、受信部56は、サーバ31から画像送信停止指示を受信したか否かを判定する。画像送信停止指示を受信したと判定された場合、処理はステップS508に進み、ステップS508において、イベント通知制御部53は、画像送信許可フラグをオフにする。画像送信停止指示を受信していないと判定された場合は、ステップS508の処理はスキップされ、処理はステップS513に進む。これ以降の説明では、ステップS507において、画像送信停止指示を受信していないと判定されたものとして説明する。
ステップS513において、いまの場合、サーバ31に画像データを送信中と判定され、処理はステップS516に進む。
ステップS516において、イベント通知制御部53は、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが未発生、あるいは通知イベント発生フラグがオフ、あるいは画像送信許可フラグがオフか否かを判定する。いまの場合、自己の監視領域11−2でイベントが発生中、かつ通知イベント発生フラグおよび画像送信許可フラグともにオンなので、ステップS517の処理はスキップされ、処理は図14のステップS10に進む。
このように、マルチセンサカメラ1−2の監視領域11−2では、イベントが継続中であり、サーバ31への画像データの送信は停止されずに、継続される。
次に、サーバ31により実行される監視処理(図15のステップS25におけるサーバ監視処理)を説明する。
ステップS551において、通知イベント発生フラグがオンと判定され、処理はステップS552に進む。
ステップS552において、受信部72は、マルチセンサカメラ1−1,1−2からイベント終了通知を受信したか否かを判定する。いまの場合、マルチセンサカメラ1−1,1−2からイベント終了通知は送信されていないため、イベント終了通知は受信されていないと判定され、処理はステップS553に進む。
ステップS553乃至S556の処理は、統合サーバ処理モードにおける図20のステップS155乃至S158の処理と同様である。ステップS553において、呈示したイベントに対して、ユーザから通知が不要か否かの評価が入力され、ステップS554において、取得したユーザの評価が通知不要であると判定された場合、ステップS555において、画像送信停止指示がマルチセンサカメラ1−1,1−2に送信され、ステップS556において、イベントの呈示が終了される。
これ以降の説明では、ステップS553において、通知が必要か否かを評価する入力がユーザから取得されていないと判定されたものとして説明する。ステップS553において、通知が必要か否かを評価する入力がユーザから取得されていないと判定された場合は、処理は図15のステップS26に進む。
このように、マルチセンサカメラ1−1,1−2からイベント終了通知が送信されず、ユーザから通知が不要の評価が入力されない場合、イベントの呈示は停止されずに、継続される。
次に、発生中のイベントが図7の状態に遷移した時、統合カメラ処理モードにおいて、監視システム21により実行される監視処理を説明する。先に説明したとおり、図7は、図6の時点からさらにp秒経過した時刻T=t+m+n+pにおいて、人41が、監視システム21の監視領域の外へ出て、イベントが終了した状態を表わしている。
まず、マルチセンサカメラ1−1により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−1)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−1の単独状態履歴データは、図30に示されるようになる。
ステップS503において、図7の時点では、マルチセンサカメラ1−1の監視領域11−1ではイベントは発生していないため、ユーザに通知が必要なイベントが発生中でないと判定され、処理はステップS509に進む
ステップS509乃至S514における処理は、上述した図4のイベントの状態における処理と同様であり、画像送信許可フラグがオフに設定され、処理は図14のステップS10に進む。
このように、引き続きユーザに通知が必要なイベントが発生していないと判定された場合、マルチセンサカメラ1−2のイベント検出状態とは関係なく、特別な処理は行なわれない。
次に、マルチセンサカメラ1−2により実行される監視処理(図14のステップS9におけるマルチセンサカメラ監視処理)を説明する。
状態検知部52は、ステップS501において、フォトセンサ51からセンサデータを取得し、ステップS502において、自己(マルチセンサカメラ1−2)の単独状態履歴データを更新する。この時点におけるマルチセンサカメラ1−2の単独状態履歴データは、図31に示されるようになる。
ステップS503において、図7の時点では、マルチセンサカメラ1−2の監視領域11−2ではイベントが終了しており、ユーザに通知が必要なイベントが発生中でないと判定され、処理はステップS509に進む
ステップS509において、イベント通知制御部53は、通知イベント発生フラグがオンか否かを判定する。いまの場合、通知イベント発生フラグはオンであると判定され、処理はステップS510に進む。
ステップS510において、イベント通知制御部53は、送信部55を介して、サーバ31にイベント終了通知を送信する。このイベント終了通知には、図31のマルチセンサカメラ1−2の単独状態履歴データが含まれる。
ステップS511において、イベント通知制御部53は、通知イベント発生フラグをオフにする。
ステップS512において、イベント通知制御部53は、画像送信許可フラグをオフにする。
ステップS513において、いまの場合、サーバ31に画像データを送信中であると判定され、処理はステップS516に進む。
ステップS516において、イベント通知制御部53は、自己(マルチセンサカメラ1−2)の監視領域11−2でイベントが未発生、通知イベント発生フラグがオフ、あるいは画像送信許可フラグがオフか否かを判定する。いまの場合、自己の監視領域11−2でイベントが未発生、かつ通知イベント発生フラグおよび画像送信許可フラグともにオフなので、処理はステップS517に進む。
ステップS517において、イベント通知制御部53は、カメラ54の電源をオフし、サーバ31への画像データの送信を停止させ、処理はステップ図14のS10に進む。
このように、ユーザに通知が必要と判定されたイベントが終了した場合、サーバ31にイベント終了通知が送信され、サーバ31への画像データの送信が停止される。
次に、サーバ31により実行される監視処理(図15のステップS25におけるサーバ監視処理)を説明する。
ステップS551において、通知イベント発生フラグがオンと判定され、処理はステップS552に進む。
ステップS552において、受信部72は、マルチセンサカメラ1−1あるいは1−2からイベント終了通知を受信したか否かを判定する。いまの場合、先に説明した図56のステップS510において、マルチセンサカメラ1−2から送信されたイベント終了通知が受信され、処理はステップS560に進む。
ステップS560において、イベント情報記録部75は、統合サーバ処理モードにおける図21のステップS163と同様に、イベント情報をイベント情報蓄積部79に保存する。イベント情報記録部75は、受信部72から、ステップS552において受信したイベント終了通知を取得し、そのイベント終了通知に含まれるマルチセンサカメラ1−2の単独状態履歴データに基づき生成される。イベント情報は、統合サーバ処理モードと同様に、イベント番号、状態履歴データ、イベント発生時刻、ユーザの評価から構成されるが、独立カメラ処理モードの場合、状態履歴データは、図31のマルチセンサカメラ1−2の単独状態履歴データとなる。
ステップS561乃至S566の処理は、統合サーバ処理モードにおける図21のステップS165乃至S170の処理と同様である。呈示したイベントに対するユーザの通知が必要か否かの評価が入力された場合は、その評価の入力に基づき、通知不要テーブルが更新され、ステップS560において保存したイベント情報に、その評価が対応付けられて保存される。
ステップS567において、イベント通知制御部73は、画像データを送信中の全てのマルチセンサカメラからイベント終了通知を受信した(全てのマルチセンサカメラの監視領域でユーザに通知が必要と判定されたイベントが終了した)か否かを判定する。画像データを送信中の全てマルチセンサカメラからイベント終了通知を受信したと判定された場合は、処理はステップS568に進む。画像データを送信中のマルチセンサカメラうち少なくとも1つのマルチセンサカメラからイベント終了通知を受信していない(少なくとも1つのマルチセンサカメラの監視領域でユーザに通知が必要と判定されたイベントが継続している)と判定された場合、ステップS568,S569の処理はスキップされ、イベントの呈示は終了されずに、処理はステップS570に進む。いまの場合、ステップS552において、画像データを送信中のマルチセンサカメラ1−2からイベント終了通知を受信しており、マルチセンサカメラ1−1から画像データは送信されていないので、画像データを送信中の全てマルチセンサカメラからイベント終了通知を受信したと判定され、処理はステップS568に進む。
ステップS568において、統合サーバ処理モードにおける図21のステップS173の処理と同様に、イベント呈示制御部74は、イベントの呈示を終了させる。
ステップS569において、イベント通知制御部73は、通知イベント発生フラグをオフする。
ステップS570において、送信部71は、イベント分類情報蓄積部80に保持されている通知不要テーブルを、マルチセンサカメラ1−1,1−2に送信する。その後、処理は図15のステップS26に進む。ステップS570で送信された通知不要テーブルは、図14のステップS4において、マルチセンサカメラ1−1,1−2により受信される。
このように、マルチセンサカメラ1−2からイベント終了通知を受信した場合、イベント情報が保存され、画像データを送信中の全てのマルチセンサカメラからイベント終了通知を受信した場合、イベントの呈示が終了される。
以上説明した独立カメラ処理モードにおける監視システム21の一連の処理により、監視システム21において、マルチセンサカメラ1−1,1−2が独立して、検出したイベントをユーザに通知すべきか否かを判定し、ユーザに通知が必要なイベントと判定された場合、イベントの呈示が行なわれる。
なお、以上の例は、監視システム21を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。
例えば、使用するセンサは1個のフォトセンサに限らず、CCD撮像装置、CMOS撮像装置、マイクロホン、マイクロ波センサ、赤外線センサ、あるいはその他のセンサを搭載することができる。また、検出したイベントの分類も、上述した例に限られるものではない。
さらに、センサを複数使用したり、複数のセンサを組み合わせて使用したりすることができる。
また、マルチセンサカメラ1−1,1−2、およびサーバ31の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。
さらに、呈示部32は、1つではなく、複数設けることも可能である。
また、サーバ31は、呈示部32と別の筐体とせず、一体型とすることもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図60に示されるようなパーソナルコンピュータ500により実行される。
図60において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。
入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube),LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。
入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図60に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
1 マルチセンサカメラ, 11 監視領域, 21 監視システム, 31 サーバ, 32 呈示部, 51 フォトセンサ, 52 状態検知部, 53 イベント通知制御部, 54 カメラ, 55 送信部, 56 受信部, 57 バッテリ, 71 送信部, 72 受信部, 73 イベント通知制御部, 74 イベント呈示制御部, 75 イベント情報記録部, 76 分類情報生成部, 77 ユーザ入力部, 78 処理モード選択部, 79 イベント情報蓄積部, 80 イベント分類情報蓄積部