JP5686435B2 - 監視システム、監視カメラ端末、および動作モード制御プログラム - Google Patents

Description

この発明は、監視エリア内における人や物体等のオブジェクトの検知、および追跡を行う監視システム、この監視システムに用いる監視カメラ端末、およびこの監視カメラ端末にインストールされる動作モード制御プログラムに関する。

従来、複数の監視カメラ端末を用いて、人や物体等のオブジェクトの検知や、検知したオブジェクト（特に、不審者）を広域にわたって追跡する監視システムがある。この監視システムでは、オブジェクトの検知や追跡を行う監視エリアを複数に分割した部分監視エリアを、各監視カメラ端末に１つずつ割り当てている。監視カメラ端末１は、自端末に割り当てられている部分監視エリア全体を撮像する向きに撮像部を取り付けている。監視カメラ端末は、撮像部で撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出する。また、監視カメラ端末は、時間的に連続する複数のフレーム画像間で、検知したオブジェクトの位置の変化を取得することにより、このオブジェクトを追跡する。

また、監視カメラ端末は、追跡しているオブジェクトが、自端末に割り当てられている部分監視エリアから、隣接する部分監視エリアに移動するとき、移動先の部分監視エリアが割り当てられている監視カメラ端末との間で、オブジェクトの受け渡しを行う。隣接する２つの部分監視エリアは、その領域の一部が重なっている。オブジェクトの追跡を引き継ぐ監視カメラ端末は、この重なっている領域（重複エリア）で追跡されていたオブジェクトを同定する。

また、監視カメラ端末の消費電力を低減する提案がなされている（特許文献１〜３参照）。特許文献１は、焦電型赤外線センサを用い、この焦電型赤外線センサで人などの熱源を検知したときに、撮像部による撮像や、撮像画像の処理を開始する構成である。また、特許文献２は、他の端末と通信する通信部と、監視対象を監視する監視部と、に対する電源を分け、異常を検出した場合に監視部に対して電源供給を行う構成である。また、特許文献３は、監視カメラは、本体の動作モードを、画像取得モード、または待機モードに切り換える。画像取得モードでは、露光量の調整を行うとともに輝度・色差データの生成を行う。一方、待機モードでは、露光量の調整を行うとともに輝度・色差データの生成を停止する。

このように、特許文献１〜３は、割り当てられている部分監視エリアにおけるオブジェクトの有無に応じて、監視カメラ端末の動作モードを切り換え、消費電力を低減することを提案している。

特開２００５−１１５９３２号公報 特開２００８− ２８７５６号公報 特開２００８−１５４０２４号公報

しかしながら、撮像部や、撮像画像を処理する処理部は、電源供給の開始から、実際に処理が行える状態に立ち上がるまでに、比較的長い時間を要する。このため、オブジェクトの追跡開始を判断したタイミングから、実際にそのオブジェクトの追跡を開始するまでに時間遅れ（タイムラグ）が生じる。オブジェクトは、このタイムラグの間も移動している。このため、監視カメラ端末は、オブジェクトの追跡が開始できる状態になったときに、そのオブジェクトを見つけることができずに（そのオブジェクトを見失い）、追跡に失敗することがあった。

この発明の目的は、消費電力を効率的に低減するとともに、検知したオブジェクトを見失って追跡に失敗するという事態が発生するのを十分に抑えることができる監視システム、監視カメラ端末、および動作モード制御プログラムを提供することにある。

この発明は、上記課題を解決し、その目的を達するために、以下の構成を備えている。

この発明にかかる監視システムは、複数の監視カメラ端末で連携して、監視エリア内におけるオブジェクトの検知、および検知したオブジェクトの追跡を行う。

各監視カメラ端末は、撮像部が自端末に割り当てられている、監視エリアを分割した部分監視エリアを撮像する。また、オブジェクト検知部が、自端末に割り当てられている部分監視エリア内に位置するオブジェクトを検知する。オブジェクト検知部は、例えば撮像部が撮像した撮像画像を処理して、撮像されているオブジェクトの有無を検知する構成であってもよいし、焦電センサ等で自端末に割り当てられている部分監視エリア内に位置するオブジェクトを検知する構成であってもよい。オブジェクト追跡部が、オブジェクト検知部が検知したオブジェクトについて、撮像部が撮像している撮像画像を処理し、自端末に割り当てられている部分監視エリア内におけるオブジェクトの移動を追跡する。

動作モード切換部は、
（ａ）撮像部、オブジェクト検知部、およびオブジェクト追跡部を停止させた待機モード
（ｂ）オブジェクト検知部を動作させ、オブジェクト追跡部を停止させたオブジェクト検知モード
（ｃ）撮像部、およびオブジェクト追跡部を動作させたオブジェクト追跡モード
の間で端末本体の動作モードを切り換える。

通信部が、他の監視カメラ端末との間で、監視エリアにおいて追跡されているオブジェクトの移動を示す追跡情報を相互に送受信する。動作モード切換部は、通信部で他の監視カメラ端末から取得した追跡情報を用いて、端末本体の動作モードを切り換える。

さらに、動作モード切換部は、通信部で他の監視カメラ端末から取得した追跡情報から得た、監視エリアにおいて追跡されているオブジェクトの位置と、自端末に割り当てられている部分監視エリアと、の距離が短くなるにつれて、端末本体の動作モードを、待機モード、オブジェクト検知モード、および、オブジェクト追跡モードの順番に選択し、切り換える。
また、動作モード切換部は、監視エリアにおいて追跡されているオブジェクトの移動方向が自端末に割り当てられている部分監視エリアに近づく方向、または部分監視エリアから離れる方向である場合に、監視エリアにおいて追跡されているオブジェクトの位置と、自端末に割り当てられている部分監視エリアと、の距離に応じて選択した端末本体の動作モードを変更するようにしてもよい。

したがって、他の端末が追跡しているオブジェクトが、自端末に割り当てられている部分監視エリアに進入してくるまでの時間に応じて、動作モードを切り換えることができる。このため、追跡するオブジェクトが、自端末に割り当てられている部分監視エリアに進入してきたときには、そのオブジェクトの追跡が開始できる状態に立ち上げておくことができ、オブジェクトを見失って追跡に失敗するという事態が発生するのを十分に抑えられる。

また、他の端末が追跡しているオブジェクトが、自端末に割り当てられている部分監視エリアに進入してくるまでの時間に応じて、動作モードを切り換えているので、各監視カメラ端末の消費電力を効率的に低減することができる。

この発明によれば、消費電力を効率的に低減することができるとともに、オブジェクトを見失って追跡に失敗するという事態が発生するのを十分に抑えることができる。

監視システムの概略図である。 監視エリアと、部分監視エリアとの関係を示す図である。 監視カメラ端末の主要部の構成を示す図である。 監視カメラ端末の各部について、各モードにおける電源供給状態、および動作状態を示す図である。 待機モードにおける監視カメラ端末の動作を示すフローチャートである。 追跡されているオブジェクトの移動方向を判定する処理を説明する図である。 検知モードにおける監視カメラ端末の動作を示すフローチャートである。 準備モードにおける監視カメラ端末の動作を示すフローチャートである。 追跡モードにおける監視カメラ端末の動作を示すフローチャートである。 追跡されているオブジェクトの位置に応じて、各監視カメラ端末が選択する動作モードの例を示している。 追跡されているオブジェクトの位置、および移動方向に応じて、各監視カメラ端末が選択する動作モードの例を示している。 追跡されているオブジェクトの位置、および移動方向に応じて、各監視カメラ端末が選択する動作モードの例を示している。

以下、この発明の実施形態について説明する。

図１は、この発明の実施形態にかかる監視システムの概略図である。この監視システムは、複数の監視カメラ端末１（１Ａ〜１Ｈ）を有するネットワークシステムである。以下の説明では、特に監視カメラ端末１Ａ〜１Ｈを区別しないで説明する場合、監視カメラ端末１と示す。

この監視システムは、複数の監視カメラ端末１が連携して、監視エリア内における人や物等のオブジェクトの検知、および検知したオブジェクトの追跡を行う。監視エリアは、図２に示すように、複数の部分監視エリアに分割している。隣接する部分監視エリアは、その一部が重複している。各監視カメラ端末１には、１つの部分監視エリアが割り当てられている。監視カメラ端末１は、自端末に割り当てられている部分監視エリア全体を撮像し、その撮像画像（フレーム画像）を処理して、撮像されているオブジェクトを検知する。また、監視カメラ端末１は、検知したオブジェクトが人等の移動体であれば、時間的に連続するフレーム画像間でのオブジェクトの位置の変化を取得することにより、このオブジェクトを追跡する。さらに、隣接する部分監視エリアが割り当てられている２つの監視カメラ端末１は、オブジェクトが重複しているエリア（以下、重複エリアと言う。）に位置しているときに、オブジェクトの受け渡しを行い、このオブジェクトの追跡の引き継ぎを行う。

この監視システムは、例えば、アドホック型のネットワークシステムである。監視カメラ端末１間では、直接、または他の監視カメラ端末１を介してデータ通信が行える。この監視カメラ端末１間のデータ通信は、無線であってもよいし、有線であってもよい。また、監視システムを構成する監視カメラ端末１の台数は、ここで例示している８台に限らず、複数台であれば何台であってもよい。

なお、図１に示した、監視カメラ端末１間を結ぶ線はリンクである。

図３は、監視カメラ端末の主要部の構成を示す図である。この監視カメラ端末１は、制御部１１と、撮像部１２と、画像処理部１３と、画像解析部１４と、記憶部１５と、通信部１６と、を備えている。

制御部１１は、監視カメラ端末１本体各部の動作を制御する。

撮像部１２は、自端末に割り当てられている部分監視エリアを撮像する。言い換えれば、撮像部１２の撮像エリアが自端末に割り当てられている部分監視エリアである。撮像部１２は、１秒間に３０フレーム程度のフレーム画像を出力する。このフレーム画像は、画像処理部１３に入力される。

画像処理部１３は、撮像部１２から入力されるフレーム画像に対して明るさ補正を行う。すなわち、画像処理部１３は、撮像部１２から入力されるフレーム画像を周辺環境の明るさの変化に対応して補正した明るさ補正画像を生成する。画像処理部１３は、生成した明るさ補正画像を画像解析部１４に出力する。

画像解析部１４には、画像処理部１３で生成された明るさ補正画像、または画像処理部１３をスルーして撮像部１２で撮像されたフレーム画像が入力される。画像解析部１４は、撮像部１２が撮像する撮像エリア（部分監視エリア）の背景画像と、入力画像と、の差分画像を生成し、この差分画像に撮像されているオブジェクトを検知するオブジェクト検知処理を行う。このオブジェクト検知処理にかかる構成が、この発明で言うオブジェクト検知部に相当する。

また、画像解析部１４は、検知したオブジェクトについてフレーム画像上の位置を検出する。オブジェクトが人であれば、足元の位置を検出し、オブジェクトが物であれば、接地面の中心を検出する。画像解析部１４は、検出したフレーム画像上のオブジェクトの位置を、監視エリア上の位置に変換する。具体的には、検出したフレーム画像上のオブジェクトの座標位置を、監視エリア上の座標位置に変換する。画像解析部１４は、撮像されているオブジェクトを検知したフレーム画像毎に、検知したオブジェクトのＩＤ、そのオブジェクトを検知したフレーム画像の撮像時刻、そのオブジェクトの監視エリア上の座標位置を対応づけたレコードを生成し、このレコードをオブジェクトマップに登録する。

画像解析部１４は、このオブジェクトマップにより、検知したオブジェクト毎に、そのオブジェクトの時間経過にともなう位置の変化から、このオブジェクトの移動を追跡する。オブジェクトマップから、オブジェクトの監視エリア上の位置と、監視エリア上における移動方向、移動速度が得られる。画像解析部１４は、オブジェクトの追跡を行っているとき、フレーム画像を処理する毎に、そのオブジェクトの監視エリア上の位置と、監視エリア上における移動方向を含む追跡情報を生成する。上述した、検知したオブジェクトについてフレーム画像上の位置の検出から、オブジェクトマップの作成にかかる処理が、この発明で言うオブジェクト追跡部に相当する構成である。

なお、画像解析部１４は、時空間ＭＲＦ(Markov Random Field)モデルを利用して、撮像されている人物の抽出や追跡を行う。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数ピクセル×数ピクセル（例えば、８ピクセル×８ピクセル）のブロックで領域分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義するモデルである。

記憶部１５は、本体を動作させる動作プログラムや、動作時に利用する設定データ、動作時に発生した処理データ等を記憶する。設定データには、撮像部１２で撮像したフレーム画像上の位置を、監視エリア上の位置に対応づける座標変換パラメータが含まれている。画像解析部１４は、この座標変換パラメータを用いて、検出したフレーム画像上のオブジェクトの座標位置を、監視エリア上の座標位置に変換する。

通信部１６は、他の監視カメラ端末１との間における通信を制御する。画像解析部１４が生成した追跡情報は、通信部１６において送受信される。

この監視カメラ端末１は、待機モード、検知モード、準備モード、および追跡モードの４つのモードで動作する。図４は、監視カメラ端末の各部について、各モードにおける電源供給状態、および動作状態を示す図である。監視カメラ端末１の消費電力は、待機モード、検知モード、準備モード、追跡モードの順に、大きくなる。

待機モードは、撮像部１２、画像処理部１３、および画像解析部１４に対する電源供給を停止したモードである。また、制御部１１、および通信部１６に対する電源供給を行っている。制御部１１は、電源供給を停止している撮像部１２、画像処理部１３、および画像解析部１４にかかる制御が不要である。すなわち、制御部１１は、一部機能を停止させることができ、処理負荷が比較的小さく、消費電力が抑えられている。

検知モードは、画像処理部１３に対する電源供給を停止している。また、制御部１１、撮像部１２、画像解析部１４、および通信部１６に対する電源供給を行っている。この物体検知モードでは、撮像部１２で撮像されたフレーム画像が画像処理部１３をスルーして画像解析部１４に入力される。また、画像解析部１４は、上述したオブジェクト検知処理については実行するが、上述したオブジェクトの追跡にかかる処理については実行しない。すなわち、画像解析部１４は、一部機能を停止させており、処理負荷が比較的小さく、消費電力が抑えられている。

準備モードは、制御部１１、撮像部１２、画像処理部１３、画像解析部１４、および通信部１６に対する電源供給を行っている。この準備モードは、上述の検知モードとほぼ同じであるが、画像処理部１３が撮像部１２で撮像されたフレーム画像に対して明るさ補正処理を実行する点で異なる。画像解析部１４には、画像処理部１３で明るさ補正処理が実行されたフレーム画像が入力される。また、画像解析部１４は、上述したオブジェクト検知処理については実行するが、上述したオブジェクトの追跡にかかる処理については実行しない。

追跡モードは、制御部１１、撮像部１２、画像処理部１３、画像解析部１４、および通信部１６に対する電源供給を行っている。この追跡モードは、上述の準備モードとほぼ同じであるが、画像解析部１４は、上述したオブジェクトの追跡にかかる処理も実行する。

監視カメラ端末１は、追跡モードで物体を追跡しているとき、撮像部１２で撮像したフレーム画像毎に、そのフレーム画像を処理して生成した追跡情報を通信部１６から送出する。監視カメラ端末１は、モードに関係なく、他の監視カメラ端末１が送出した追跡情報を通信部１６で受信する。

なお、記憶部１５に対する電源供給は、モードに関係なく行っている。

以下、この監視システムにおける監視カメラ端末１の動作について説明する。

ここでは、監視カメラ端末１の動作を上述した、待機モード、検知モード、準備モード、および追跡モードに分けて説明する。図５は、待機モードにおける監視カメラ端末の動作を示すフローチャートである。

監視カメラ端末１は、他の監視カメラ端末１から送信されてきた追跡情報を通信部１６で受信するか（ｓ１）、待機モードの継続時間が一定時間に達するのを待つ（ｓ２）。

監視カメラ端末１は、ｓ１で他の監視カメラ端末１から送信されてきた追跡情報を通信部１６で受信したと判定すると、自端末を移行させるモードを選択するモード選択処理を行う（ｓ３）。このｓ３にかかるモード選択処理は、今回通信部１６で受信した追跡情報に基づき、追跡されているオブジェクトの位置から、自端末に割り当てられている部分監視エリアの中心までの距離Ｘ、および、この追跡されているオブジェクトの移動方向に基づいてモードを選択する処理である。

具体的には、
（１）監視カメラ端末１は、今回通信部１６で受信した追跡情報において、追跡されているオブジェクトの位置から、自端末に割り当てられている部分監視エリアまでの距離Ｘを算出する。追跡されているオブジェクトの位置（監視エリア上の位置）は、受信した追跡情報に含まれている。また、自端末に割り当てられている部分監視エリアの中心の位置（監視エリア上の位置）は、記憶部１５に記憶している。

（２）記憶部１５は、このモード選択処理で用いる第１の距離Ａ、および第２の距離Ｂ（第１の距離Ａ＞第２の距離Ｂ）を記憶している。第１の距離Ａは、例えば１００ｍであり、第２の距離Ｂは、例えば５０ｍである。監視カメラ端末１は、（１）で算出した距離Ｘが、第１の距離Ａ以上であれば、待機モードを仮選択する。また、監視カメラ端末１は、（１）で算出した距離Ｘが、第１の距離Ａ未満で且つＢ以上（Ａ＞Ｂ）であれば、検知モードを仮選択する。さらに、監視カメラ端末１は、（１）で算出した距離Ｘが、第２の距離Ｂ未満であれば、準備モードを仮選択する。

（３）監視カメラ端末１は、今回通信部１６で受信した追跡情報において、追跡されているオブジェクトの移動方向αが、自端末に割り当てられている部分監視エリアに近づく方向であるか、遠ざかる方向であるかを判定する。監視エリアにおける、追跡されているオブジェクトの位置、および移動方向αは受信した追跡情報に含まれている。

監視カメラ端末１は、図６に示すように、監視エリア上における、追跡されているオブジェクトの位置と、自端末に割り当てられている部分監視エリアの中心と、を結ぶ直線を基準線Ｌとする。追跡されているオブジェクトの位置において、基準線Ｌに対して±４５°の角度で交わる２本の直線で区切られる４つの領域Ｓ〜Ｖを想定する。監視カメラ端末１は、追跡されているオブジェクトの移動方向αが領域Ｓ内に含まれるとき、自端末に割り当てられている部分監視エリアに近づく方向であると判定する。また、監視カメラ端末１は、追跡されているオブジェクトの移動方向αが領域Ｔ内に含まれるとき、自端末に割り当てられている部分監視エリアから遠ざかる方向であると判定する。

なお、監視カメラ端末１は、追跡されているオブジェクトの移動方向αが領域Ｕ、またはＶ内に含まれるとき、自端末に割り当てられている部分監視エリアに近づく方向であるとも、遠ざかる方向であるとも判定しない。

（４）監視カメラ端末１は、上記（３）で、追跡されているオブジェクトの移動方向αが自端末に割り当てられている部分監視エリアに近づく方向であると判定すると、上記（２）で仮選択したモードの１つ上のモードを選択する。すなわち、仮選択したモードが待機モードであれば検知モードを選択し、仮選択したモードが検知モードであれば準備モードを選択し、仮選択したモードが準備モードであれば追跡モードを選択する。

（５）監視カメラ端末１は、上記（３）で、追跡されているオブジェクトの移動方向αが自端末に割り当てられている部分監視エリアから離れる方向であると判定すると、上記（２）で仮選択したモードの１つ下のモードを選択する。すなわち、仮選択したモードが待機モードであればそのまま待機モードを選択し、仮選択したモードが検知モードであれば待機モードを選択し、仮選択したモードが準備モードであれば検知モードを選択し、仮選択したモードが追跡モードであれば準備モードを選択する。

（６）監視カメラ端末１は、上記（３）で、追跡されているオブジェクトの移動方向αが自端末に割り当てられている部分監視エリアに近づく方向でもなく、遠ざかる方向でもないと判定すると、上記（２）で仮選択したモードを、そのまま選択する。

監視カメラ端末１は、ｓ３で待機モードを選択すると（ｓ４）、ｓ２で待機モードの継続時間が一定時間に達したかどうかを判定する。監視カメラ端末１は、ｓ２で待機モードの継続時間が一定時間に達したと判定すると、検知モードに移行する（ｓ７）。

監視カメラ端末１は、ｓ３で検知モードを選択すると（ｓ５）、ｓ７で検知モードに移行する。監視カメラ端末１は、ｓ３で準備モードを選択すると（ｓ６）、準備モードに移行する（ｓ８）。監視カメラ端末１は、ｓ３で追跡モードを選択すると（ｓ６）、追跡モードに移行する（ｓ９）。

次に、検知モードにおける監視カメラ端末の動作について説明する。図７は、検知モードにおける監視カメラ端末の動作を示すフローチャートである。監視カメラ端末１は、他の監視カメラ端末１からの追跡情報を通信部１６で受信したかどうかを判定する（ｓ１１）。監視カメラ端末１は、ｓ１１で他の監視カメラ端末１からの追跡情報を通信部１６で受信したと判定すると、自端末を移行させるモードを選択するモード選択処理を行う（ｓ１２）。このｓ１２にかかる処理は、上述したｓ３と同様の処理である。

監視カメラ端末１は、ｓ１２で待機モードを選択すると（ｓ１３）、オブジェクト検知処理を実行する（ｓ１６）。ｓ１６にかかるオブジェクト検知処理では、画像処理部１３におけるフレーム画像の明るさ補正を行わない。監視カメラ端末１は、ｓ１６にかかるオブジェクト検知処理でオブジェクトを検知すると（ｓ１７）、今回検知したオブジェクトを追跡するために、追跡モードに移行する（ｓ２２）。反対に、ｓ１６にかかるオブジェクト検知処理でオブジェクトを検知しないと（ｓ１７）、待機モードに移行する（ｓ１８）。

監視カメラ端末１は、ｓ１２で検知モードを選択すると（ｓ１４）、オブジェクト検知処理を実行する（ｓ１９）。ｓ１９は、ｓ１６と同じ処理である。監視カメラ端末１は、ｓ１９にかかるオブジェクト検知処理でオブジェクトを検知すると（ｓ２０）、今回検知したオブジェクトを追跡するために、追跡モードに移行する（ｓ２２）。反対に、ｓ１９にかかるオブジェクト検知処理でオブジェクトを検知しないと（ｓ２０）、ｓ１１に戻り、上述した処理を繰り返す。すなわち、ｓ１９にかかるオブジェクト検知処理でオブジェクトを検知しなかった場合は、待機モードに移行するのではなく、現在の検知モードを維持する。

また、監視カメラ端末１は、ｓ１２で準備モードを選択すると（ｓ１５）、準備モードに移行する（ｓ２１）。監視カメラ端末１は、ｓ１２で追跡モードを選択すると（ｓ１５）、追跡モードに移行する（ｓ２２）。

また、監視カメラ端末１は、ｓ１１で他の監視カメラ端末１からの追跡情報を通信部１６で受信していないと判定すると、上述したｓ１６以降の処理を実行する。

次に、準備モードにおける監視カメラ端末の動作について説明する。図８は、準備モードにおける監視カメラ端末の動作を示すフローチャートである。監視カメラ端末１は、他の監視カメラ端末１からの追跡情報を通信部１６で受信したかどうかを判定する（ｓ３１）。監視カメラ端末１は、ｓ３１で他の監視カメラ端末１からの追跡情報を通信部１６で受信したと判定すると、自端末を移行させるモードを選択するモード選択処理を行う（ｓ３２）。このｓ３２にかかる処理は、上述したｓ３や、ｓ１２と同様の処理である。

監視カメラ端末１は、ｓ３２で待機モードを選択すると（ｓ３３）、オブジェクト検知処理を実行する（ｓ３６）。ｓ３６にかかるオブジェクト検知処理では、画像処理部１３においてフレーム画像の明るさ補正を行っている。監視カメラ端末１は、ｓ３６にかかるオブジェクト検知処理でオブジェクトを検知すると（ｓ３７）、今回検知したオブジェクトを追跡するために、追跡モードに移行する（ｓ４４）。反対に、ｓ３６にかかるオブジェクト検知処理でオブジェクトを検知しないと（ｓ３７）、待機モードに移行する（ｓ３８）。

監視カメラ端末１は、ｓ３２で検知モードを選択すると（ｓ３４）、オブジェクト検知処理を実行する（ｓ３９）。ｓ３９は、ｓ３６と同じ処理である。監視カメラ端末１は、ｓ３９にかかるオブジェクト検知処理でオブジェクトを検知すると（ｓ４０）、今回検知したオブジェクトを追跡するために、追跡モードに移行する（ｓ４４）。反対に、ｓ３９にかかるオブジェクト検知処理でオブジェクトを検知しないと（ｓ４０）、ｓ３２で判定した検知モードに移行する（ｓ４１）。

監視カメラ端末１は、ｓ３２で準備モードを選択すると（ｓ３５）、オブジェクト検知処理を実行する（ｓ４２）。ｓ４２は、ｓ３６やｓ３９と同じ処理である。監視カメラ端末１は、ｓ４２にかかるオブジェクト検知処理でオブジェクトを検知すると（ｓ４３）、今回検知したオブジェクトを追跡するために、追跡モードに移行する（ｓ４４）。反対に、ｓ４２にかかるオブジェクト検知処理でオブジェクトを検知しないと（ｓ４０）、３１に戻り、上述した処理を繰り返す。すなわち、ｓ４２にかかるオブジェクト検知処理でオブジェクトを検知しなかった場合は、現在の準備モードを維持する。

また、監視カメラ端末１は、ｓ３２で追跡モードを選択すると（ｓ３５）、追跡モードに移行する（ｓ４４）。

また、監視カメラ端末１は、ｓ３１で他の監視カメラ端末１からの追跡情報を通信部１６で受信していないと判定すると、上述したｓ３６以降の処理を実行する。

次に、追跡モードにおける監視カメラ端末の動作について説明する。図９は、追跡モードにおける監視カメラ端末の動作を示すフローチャートである。監視カメラ端末１は、オブジェクト検知処理を実行する（ｓ５１）。ｓ５１にかかるオブジェクト検知処理では、画像処理部１３においてフレーム画像の明るさ補正を行っている。監視カメラ端末１は、ｓ３６にかかるオブジェクト検知処理でオブジェクトを検知すると（ｓ５２）、検知したオブジェクトについて、監視エリア上における位置、および移動方向を算出し、追跡情報を作成する追跡処理を行う（ｓ５３）。ｓ５３では、上述したオブジェクトマップへのレコードの登録も行う。監視カメラ端末１は、ｓ５３で生成した追跡情報を、他の監視カメラ端末１に対して通知する一斉送信を行い（ｓ５４）、ｓ５１に戻る。

また、監視カメラ端末１は、ｓ５２にかかるオブジェクト検知処理でオブジェクトを検知しないと、他の監視カメラ端末１からの追跡情報を通信部１６で受信したかどうかを判定する（ｓ５５）。監視カメラ端末１は、ｓ５５で他の監視カメラ端末１からの追跡情報を通信部１６で受信したと判定すると、自端末を移行させるモードを選択するモード選択処理を行う（ｓ５６）。このｓ５６にかかる処理は、上述したｓ３、ｓ１２、ｓ３２と同様の処理である。

監視カメラ端末１は、ｓ５５で他の監視カメラ端末１からの追跡情報を通信部１６で受信していないと判定した場合、または、ｓ５６で待機モードを選択すると（ｓ５７）、待機モードに移行する（ｓ６０）。また、監視カメラ端末１は、ｓ５６で検知モードを選択すると（ｓ５８）、検知モードに移行する（ｓ６１）。また、監視カメラ端末１は、ｓ５６で準備モードを選択すると（ｓ５９）、準備モードに移行する（ｓ６２）。さらに、監視カメラ端末１は、ｓ５６で追跡モードを選択すると（ｓ５９）、ｓ５１に戻り、上述した処理を繰り返す。

このように、この監視システムでは、各監視カメラ端末１は、端末本体の動作モードを消費電力が異なる４つのモード（待機モード、検知モード、準備モード、および追跡モード）の中から選択する。また、監視カメラ端末１は、動作モードに関係なく、他の監視カメラ端末１がオブジェクトを追跡しているかどうかを、通信部１６での追跡情報の受信により得ている。そして、監視カメラ端末１は、他の監視カメラ端末１がオブジェクトを追跡している場合、そのオブジェクトが自端末に割り当てられている部分監視エリア内に進入してくるまでの時間や、進入してくる可能性に応じて選択する動作モードを選択する。また、待機モードが一定時間継続する毎に、検知モードに移行する構成としているので、自端末に割り当てられている部分監視エリア内に位置するオブジェクトの検知が適正に行える。

したがって、監視カメラ端末１における消費電力が効率的に低減できるとともに、割り当てられている部分監視エリア内にオブジェクトが進入してきたときには、すぐに、そのオブジェクトの検知、および追跡が開始できる。

例えば、図１０は、追跡されているオブジェクトの位置に応じて、各監視カメラ端末１が選択する動作モードの例を示している。監視カメラ端末１Ａ〜１Ｇは、図１０に円で示す部分監視エリアが割り当てられている。図１０では、監視カメラ端末１Ｄが、自端末に割り当てられている部分監視エリア内に位置するオブジェクト（人）を追跡している。監視カメラ端末１Ｄは追跡モードで動作している。このとき、監視カメラ端末１Ｃ、１Ｅは準備モードで動作し、監視カメラ端末１Ｂ、１Ｆは検知モードで動作し、監視カメラ端末１Ａ、１Ｇは待機モードで動作する。

また、図１１、図１２は、追跡されているオブジェクトの位置、および移動方向応じて、各監視カメラ端末１が選択する動作モードの例を示している。図１１は、追跡されているオブジェクトの移動方向が自端末に割り当てられている部分監視エリアから離れる方向である場合、図１０に示した例に比べて、消費電力が低減される１つ下のモードを選択する例である。

また、図１２は、追跡されているオブジェクトの移動方向が自端末に割り当てられている部分監視エリアから離れる方向である場合、図１０に示した例に比べて、消費電力が低減される１つ下のモードを選択し、且つ、追跡されているオブジェクトの移動方向が自端末に割り当てられている部分監視エリアに近づく方向である場合、追跡処理を開始するのに要する時間が短縮される１つ上のモードを選択する例である。

この図１２に示す例が、上述の実施形態に対応する。

なお、上記の例では、検知モードで割り当てられている部分監視エリア内に位置するオブジェクトの検知を、撮像部１２の撮像画像を処理して行う構成としたが、焦電型赤外線センサ等を用いて検知する構成としてもよい。ただし、準備モード、および追跡モードでは、この焦電型赤外線センサ等によるオブジェクトの検知を停止し、上述した撮像部１２の撮像画像を処理して行えばよい。

また、通信部１６での追跡情報の受信の有無を検知するワンチップマイコンを設け、このワンチップマイコンが通信部１６での追跡情報の受信を検知したときに、制御部１１を起動する構成としてもよい。この場合、制御部１１は、待機モードであるとき、停止させておけばよい。

また、制御部１１、画像処理部１３、および画像解析部１４については、選択しているモードに応じてクロック周波数を変化させ、消費電力を効率的に低減してもよい。

また、上記の例では、追跡しているオブジェクトの位置と、移動方向に応じてモードを選択するとしたが、さらにオブジェクトの移動速度も加えて、モードを選択するようにしてもよい。

１（１Ａ〜１Ｈ）…監視カメラ端末
１１…制御部
１２…撮像部
１３…画像処理部
１４…画像解析部
１５…記憶部
１６…通信部

Claims (6)

1. 複数の監視カメラ端末で連携して、監視エリア内におけるオブジェクトの検知、および検知したオブジェクトの追跡を行う監視システムであって、
   前記監視カメラ端末は、
   自端末に割り当てられている、前記監視エリアを分割した部分監視エリアを撮像する撮像部と、
   自端末に割り当てられている前記部分監視エリア内に位置するオブジェクトを検知するオブジェクト検知部と、
   前記オブジェクト検知部が検知したオブジェクトについて、前記撮像部が撮像している撮像画像を処理し、自端末に割り当てられている前記部分監視エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡部と、
   端末本体の動作モードを、前記撮像部、前記オブジェクト検知部、および前記オブジェクト追跡部を停止させた待機モード、前記オブジェクト検知部を動作させ、前記オブジェクト追跡部を停止させたオブジェクト検知モード、および、前記撮像部、および前記オブジェクト追跡部を動作させたオブジェクト追跡モードの間で切り換える動作モード切換部と、
   他の監視カメラ端末との間で、前記監視エリアにおいて追跡されているオブジェクトの移動を示す追跡情報を相互に送受信する通信部と、を備え、
   前記動作モード切換部は、前記通信部で他の監視カメラ端末から取得した前記追跡情報から得た、前記監視エリアにおいて追跡されているオブジェクトの位置と、自端末に割り当てられている前記部分監視エリアと、の距離が短くなるにつれて、端末本体の動作モードを、前記待機モード、前記オブジェクト検知モード、および、前記オブジェクト追跡モードの順番に選択する、
   監視システム。
2. 前記監視カメラ端末の前記動作モード切換部は、前記通信部で他の監視カメラ端末から取得した前記追跡情報から得た、前記監視エリアにおいて追跡されているオブジェクトの移動方向が自端末に割り当てられている前記部分監視エリアに近づく方向、または前記部分監視エリアから離れる方向である場合に、前記監視エリアにおいて追跡されているオブジェクトの位置と、自端末に割り当てられている前記部分監視エリアと、の距離に応じて選択した端末本体の動作モードを変更する、
   請求項１に記載の監視システム。
3. 前記監視カメラ端末の前記動作モード切換部は、前記待機モードの継続時間が一定時間に達したときに、端末本体の動作モードを前記オブジェクト検知モードに切り換える、請求項１、または２に記載の監視システム。
4. 前記監視カメラ端末は、
   前記前記撮像部が前記部分監視エリアを撮像している撮像画像上の位置と、前記監視エリア上の位置と、を対応づける座標変換情報を記憶する記憶部と、
   前記オブジェクト追跡部追跡しているオブジェクトについて、前記記憶部が記憶する前記座標変換情報を用いて、前記監視エリア上の位置で示す追跡情報を生成する追跡情報生成手段と、を備えている、
   請求項１〜３のいずかに記載の監視システム。
5. 監視エリア内におけるオブジェクトの検知、および検知したオブジェクトの追跡を他の監視カメラ端末と連携して行う監視カメラ端末であって、
   自端末に割り当てられている、前記監視エリアを分割した部分監視エリアを撮像する撮像部と、
   自端末に割り当てられている前記部分監視エリア内に位置するオブジェクトを検知するオブジェクト検知部と、
   前記オブジェクト検知部が検知したオブジェクトについて、前記撮像部が撮像している撮像画像を処理し、自端末に割り当てられている前記部分監視エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡部と、
   端末本体の動作モードを、前記撮像部、前記オブジェクト検知部、および前記オブジェクト追跡部を停止させた待機モード、前記オブジェクト検知部を動作させ、前記オブジェクト追跡部を停止させたオブジェクト検知モード、および、前記撮像部、および前記オブジェクト追跡部を動作させたオブジェクト追跡モードの間で切り換える動作モード切換部と、
   他の監視カメラ端末との間で、前記監視エリアにおいて追跡されているオブジェクトの移動を示す追跡情報を相互に送受信する通信部と、を備え、
   前記動作モード切換部は、前記通信部で他の監視カメラ端末から取得した前記追跡情報から得た、前記監視エリアにおいて追跡されているオブジェクトの位置と、自端末に割り当てられている前記部分監視エリアと、の距離が短くなるにつれて、端末本体の動作モードを、前記待機モード、前記オブジェクト検知モード、および、前記オブジェクト追跡モードの順番に選択する、監視カメラ端末。
6. 自端末に割り当てられている、監視エリアを分割した部分監視エリアを撮像する撮像部、自端末に割り当てられている前記部分監視エリア内に位置するオブジェクトを検知するオブジェクト検知部、前記オブジェクト検知部が検知したオブジェクトについて、前記撮像部が撮像している撮像画像を処理し、自端末に割り当てられている前記部分監視エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡部、および、他の監視カメラ端末との間で、前記監視エリアにおいて追跡されているオブジェクトの移動を示す追跡情報を相互に送受信する通信部を備える監視カメラ端末の制御部に、端末本体の動作モードの切り換えを実行させる動作モード制御プログラムであって、
   前記通信部で他の監視カメラ端末から取得した前記追跡情報から得た、前記監視エリアにおいて追跡されているオブジェクトの位置と、自端末に割り当てられている前記部分監視エリアと、の距離が短くなるにつれて、端末本体の動作モードを、前記撮像部、前記オブジェクト検知部、および前記オブジェクト追跡部を停止させた待機モード、前記オブジェクト検知部を動作させ、前記オブジェクト追跡部を停止させたオブジェクト検知モード、および、前記撮像部、および前記オブジェクト追跡部を動作させたオブジェクト追跡モードの順番に選択する選択ステップと、
   端末本体の動作モードを、前記選択ステップで選択したモードに切り換える切り換えステップと、を監視カメラ端末の制御部に実行させる動作モード制御プログラム。

Images