JP5453429B2 - 監視カメラ端末 - Google Patents

Description

この発明は、監視対象エリアを撮像したフレーム画像を処理し、特異な行動をとった不審者等を追跡する監視カメラ端末に関する。

従来、駅、ショッピングセンタ、繁華街等の不特定多数の人が集まる場所では、複数の監視カメラ端末を用いて、特異な行動をとった不審者等（以下、単に不審者と言う。）の検出や、検出した不審者の追跡を行っている。複数の監視カメラ端末で不審者を追跡する場合、この不審者の移動に応じて、追跡する監視カメラ端末を切り替える必要がある。また、不審者を追跡する監視カメラ端末を切り替えるときには、追跡を引き継ぐ監視カメラ端末が、その不審者を同定する必要がある。この不審者の同定に失敗すると、これまで追跡していた不審者ではない別の人を追跡することになる。すなわち、検出した不審者を見失い、追跡に失敗する。

この不審者の同定精度を向上させるために、不審者を追跡している一方の監視カメラ端末が、不審者の検出に使用したテンプレート情報を、この不審者の追跡を引き継ぎ他方の監視カメラ端末に通知し、この他方の監視カメラ端末が通知されたテンプレート情報を用いて不審者を同定することが提案されている（特許文献１参照）。

また、テンプレート情報だけではなく、不審者の検出に利用した特徴情報を他方の監視カメラ端末に通知することも提案されている（特許文献２参照）。この特徴情報は、例えば、画像から切り出した不審者の画像データ、形状、色、大きさなどにより不審者を特定する情報、あるいは目、鼻、口等の顔部品の形状や、位置等である。

特許第３８１４７７９号公報 特許第３９９９５６１号公報

しかしながら、不審者を追跡している一方の監視カメラ端末と、この不審者の追跡を引き継ぐ他方の監視カメラ端末とでは、被写体である不審者に対するアングルが異なる。したがって、一方の監視カメラ端末で撮像したフレーム画像における不審者と、他方の監視カメラ端末で撮像したフレーム画像における不審者とでは、不審者の外形や、顔部品の形状や位置等に違いが生じる。このため、不審者の検出に使用したテンプレート情報や特徴情報を、一方の監視カメラ端末から他方の監視カメラ端末に通知しても、他方の監視カメラ端末でアングルの違いを考慮したマッチングが行えなければ、不審者の同定精度を確保することができない。

被写体である不審者の３次元情報を用いれば、上述のアングルの違いを考慮したマッチングが行える。しかし、不審者の３次元情報を得るには、ステレオカメラを用いなければならない。このため、個々の監視カメラ端末のコストがアップし、これにともない監視システム全体のコストもアップする。

この発明の目的は、他の監視カメラ端末との間で、追跡しているオブジェクトの同定精度を十分に確保し、且つ、コストアップも十分に抑えられる監視カメラ端末を提供することにある。

この発明の監視カメラ端末は、上記目的を達するために、以下のように構成している。

オブジェクト抽出手段が、撮像手段が撮像した自端末に割り当てられている監視対象エリアのフレーム画像を処理し、撮像されているオブジェクトを抽出する。ここで言うオブジェクトとは、人や車両等の物体である。ＩＤ付与手段は、オブジェクト抽出手段が抽出したオブジェクトにＩＤを付与する。このＩＤは、オブジェクトを識別できるユニークな値であればよい。また、オブジェクトマップ作成手段が、オブジェクト抽出手段が抽出したオブジェクト毎に、そのオブジェクトに付与されているＩＤと、フレーム画像上における座標位置と、を対応付けるとともに、作成時刻にかかるタイムスタンプを付加したオブジェクトマップを作成する。このタイムスタンプは、例えば、今回のオブジェクトマップの作成に用いたフレーム画像の撮像時刻や、オブジェクトマップ作成完了時の時刻等を示すものであればよい。そして、追跡手段が、オブジェクトマップ作成手段が作成したオブジェクトマップを用いて、自端末に割り当てられている監視対象エリア内に位置するオブジェクトを追跡する。

また、オブジェクトマップ取得手段が、割り当てられている監視対象エリアが、自端末の監視対象エリアの一部と重複している相手側端末とのデータ通信により、この相手側端末が作成した相手側オブジェクトマップを取得する。また、座標変換情報記憶手段が、自端末のフレーム画像の座標位置と、前記相手側端末のフレーム画像の座標位置とにおける、相対的な位置関係を示す座標変換情報を記憶する。マッチング手段は、オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、をその作成時刻にかかるタイムスタンプを用いて対応付ける。同定手段は、マッチング手段によって対応付けられた、オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、において、自端末の監視対象エリアと、相手側端末の監視対象エリアとが重複している重複エリア内に位置する自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとを同定する。この同定手段は、座標変換情報記憶手段が記憶している座標変換情報を用いて、自端末が抽出したオブジェクトの位置、および相手側端末が抽出したオブジェクトの位置を共通の座標系の位置に変換する。同定手段は、重複エリアに位置するオブジェクトを、この共通の座標系における、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとの距離によって同定する。

この共通の座標系は、どのような座標系であってもよいが、どちらか一方の監視カメラ端末（自端末、または相手側端末）の座標系とするのが好ましい。このようにすれば、一方のオブジェクトマップに登録されているオブジェクトについてのみ、座標変換を行えばよいので、この座標変換にかかる処理負荷が抑えられる。

通常、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトと、が同一のオブジェクトであっても、共通の座標系での位置は、アングルの違いや、検出精度等の要因により若干の誤差はあるものの略一致する。したがって、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとは、その位置間の距離によって、精度よく同定できる。

同定手段は、例えば、重複エリアに位置する自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトと、を１対１で対応付けた組み合せの中で、対応付けたオブジェクト間の距離（共通の座標系での位置間の距離）の総和が最小である組み合せにより、重複エリアに位置するオブジェクトを同定する。

また、共通の座標系を２種類とし、各種類での総和が最小である組み合せにより、重複エリアに位置するオブジェクトを同定してもよい。この場合、２種類の共通の座標系は、自端末のフレーム画像の座標系と、相手側端末のフレーム画像の座標系と、の２つにするのが好ましい。

また、オブジェクト抽出手段が抽出したオブジェクト毎に、そのオブジェクトの位置については、当該オブジェクトの接地面上の座標にすればよい。

また、マッチング手段は、オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、をその作成時刻にかかるタイムスタンプ、および重複エリアに位置するオブジェクト間の距離を用いて対応付ける構成としてもよい。これにより、同定精度の一層の向上が図れる。

そして、第１の発明は、上述の同定手段が、マッチング手段によって対応付けられた複数組のオブジェクトマップを用いて、前記重複エリアに位置するオブジェクトを同定する構成であり、且つ、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとの距離の算出において、マッチング手段が自端末のオブジェクトマップに対応付けた相手側オブジェクトマップに、自端末の他のオブジェクトマップも対応付けられている組については、重複エリアに位置するオブジェクト間の距離を算出する際に、予め定めたペナルティ距離を加算する構成である。これにより、オブジェクトの同定精度のさらなる向上が図れる。

また、第２の発明は、マッチング手段によって対応付けられた、自端末のオブジェクトマップと、相手側端末のオブジェクトマップとに付加されているタイムスタンプを用いて、自端末が計時している時刻を修正する時刻合せ手段を備える構成である。これにより、自端末と相手側端末との間で、計時している時刻を同期させることができる。

この発明によれば、検出した不審者等の同定精度を十分に確保でき、且つ、コストアップも十分に抑えられる。

監視システムの構成を示す概略図である。 監視カメラ端末の主要部の構成を示すブロック図である。 隣接する２つの監視カメラ端末の撮像エリアを示す図である。 監視カメラ端末の追跡処理を示すフローチャートである。 オブジェクトマップを説明する図である。 ＩＤ確定処理を示すフローチャートである。 足元位置を決定する処理を示すフローチャートである。 別のＩＤ確定処理を示すフローチャートである。 オブジェクトマップの対応付を示す図である。 時刻同期処理を示すフローチャートである。

以下、この発明の実施形態である監視カメラ端末を用いた監視システムについて説明する。

図１は、この監視システムの構成を示す概略図である。この監視システムは、複数の監視カメラ端末１（１Ａ〜１Ｈ）を有するネットワークシステムである。この監視システムは、例えば、アドホック型のネットワークシステムである。監視カメラ端末１間では、直接、または他の監視カメラ端末１を介してデータ通信が行える。この監視カメラ端末１間のデータ通信は、無線であってもよいし、有線であってもよい。

なお、図１は、８台の監視カメラ端末１Ａ〜１Ｈを有する監視システムの例であるが、本システムを構成する監視カメラ端末１の台数は、この台数に制限されない。また、図１に示している監視カメラ端末１間を結ぶ線はリンクである。また、以下の説明では、特に監視カメラ端末１Ａ〜１Ｈを区別しない場合、監視カメラ端末１と示す。

図２は、監視カメラ端末の主要部の構成を示す図である。監視カメラ端末１は、制御部１１と、撮像部１２と、画像処理部１３と、記憶部１４と、タイマ１５と、通信部１６と、を備えている。制御部１１は、監視カメラ端末１本体各部の動作を制御する。撮像部１２は、自端末に割り当てられている監視対象エリアを撮像する。言い換えれば、撮像部１２の撮像エリアが自端末に割り当てられている監視対象エリアである。撮像部１２は、１秒間に５フレーム〜１０フレーム程度の撮像画像（フレーム画像）を出力する。

画像処理部１３は、撮像部１２が撮像した監視対象エリアのフレーム画像を処理し、撮像されている人物（オブジェクト）を抽出する。また、時間的に連続する複数のフレーム画像により、監視対象エリア内を移動している人物を追跡する。画像処理部１３は、時空間ＭＲＦ(Markov Random Field)モデルを利用して、抽出した人物の抽出や追跡を行う。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数ピクセル×数ピクセル（例えば、８ピクセル×８ピクセル）のブロックで領域分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義するモデルである。

記憶部１４は、本体を動作させる動作プログラムや、動作時に利用する設定データ、動作時に発生した処理データ等を記憶する。タイマ１５は、現在時刻を計時する。通信部１６は、他の監視カメラ端末１との間におけるデータ通信を制御する。

この監視システムは、特異な行動をとった不審者等の人物を追跡するシステムであり、この人物の移動に応じて、追跡する監視カメラ端末１を切り替える。これにより、不審者の追跡が広域的に行える。図３は、隣接する２つの監視カメラ端末１Ａ、１Ｂの撮像エリア（監視対象エリア）を示す図である。隣接する２つの監視カメラ端末１Ａ、１Ｂは、撮像エリア（監視対象エリア）の一部が重複している。この重複している撮像エリアを、ここでは重複エリアと言う。図３では、隣接する２つの監視カメラ端末１Ａ、１Ｂの監視対象エリアを例示しているが、隣接する他の２つの監視カメラ端末１の組み合せにおいても、監視対象エリアの一部が重複している。監視カメラ端末１は、隣接する他の監視カメラ端末１との間で、重複エリアに位置する人物Ｘ、Ｙを、１対１で対応付ける同定処理を行う。図３では、人物Ｘ、Ｙは、監視カメラ端末１Ａ、１Ｂの重複エリア内に位置し、人物Ｚは、監視カメラ端末１Ａの監視対象エリア内で、且つ監視カメラ端末１Ｂとの重複エリア外に位置している。

なお、ここでは、監視対象エリアの一部が重複している２つの監視カメラ端末１を、隣接している監視カメラ端末１と呼んでいる。また、隣接している監視カメラ端末１は、直接（他の監視カメラ端末１を介さず）データ通信が行える。

また、監視カメラ端末１は、隣接する他の監視カメラ端末１が１台であるとは限らない。言い換えれば、隣接する監視カメラ端末１が２台や３台である監視カメラ端末１もある。ただし、重複エリアは、隣接する他の監視カメラ端末１毎に異なる。

各監視カメラ端末１は、隣接する監視カメラ端末１毎に、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１４に記憶している。この座標変換情報は、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、この座標変換情報として、自端末の撮像部１２が撮像したフレーム画像の２次元座標系を、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第１の座標変換パラメータと、反対に、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系を、自端末の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第２の座標変換パラメータと、を記憶部１４に記憶している。

なお、座標変換情報は、第１の座標変換パラメータ、または第２の座標変換パラメータのどちらか一方のみであってもよい。

ここで、第１の座標変換パラメータ、および第２の座標変換パラメータについて説明しておく。この第１の座標変換パラメータ、および第２の座標変換パラメータは、監視カメラ端末１の設置時に、実際に撮像したフレーム画像を用いて算出した値である。

まず、監視カメラ端末１の設置完了時に、テープ等を用いて、隣接する相手側監視カメラ端末１との重複エリア内の床面に４点をマーキングする。そして、自端末の撮像部１２で撮像したフレーム画像を処理し、このフレーム画像上におけるマーキングした４点の座標位置（ｘ，ｙ）を検出する。同様に、隣接する相手側監視カメラ端末１が撮像部１２で撮像したフレーム画像上におけるマーキングした４点の座標位置（Ｘ，Ｙ）を、この相手側端末から取得する。そして、マーキングした点毎に、その座標位置を、
Ｘ＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋１）
Ｙ＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、ａ０，ｂ０，ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２の８個の係数が、この隣接する相手側監視カメラ端末１との第１の座標変換パラメータである。監視カメラ端末１は、この第１の座標変換パラメータを記憶部１４に記憶する。

同様に、マーキングした点毎に、その座標位置を、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、Ａ０，Ｂ０，Ａ１，Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２の８個の係数が、この隣接する相手側監視カメラ端末１との第２の座標変換パラメータである。監視カメラ端末１は、この第２の座標変換パラメータを記憶部１４に記憶する。

次に、この監視システムにおける、不審者の追跡について詳細に説明する。図４は、各監視カメラ端末における追跡処理を示すフローチャートである。

監視カメラ端末１は、撮像部１２が撮像した監視対象エリアのフレーム画像を画像処理部１３に取り込む（Ｓ１）。画像処理部１３は、Ｓ１で取り込んだフレーム画像を処理し、撮像されている人物を抽出する（Ｓ２）。画像処理部１３は、前回処理したフレーム画像で抽出した人物と、Ｓ２で抽出した人物と、を対応付ける（Ｓ３）。画像処理部１３は、時空間ＭＲＦモデルを用い、人物を、８ピクセル×８ピクセルのブロックを単位とする人物領域として抽出する。Ｓ３では、前回処理したフレーム画像で抽出した人物と、Ｓ２で抽出した人物と、を対応付けることにより、今回抽出した人物の移動方向や移動量を得ることができ、これらの人物の追跡が行える。

また、今回の処理で抽出した人物であって、前回の処理で抽出されていなかった人物（すなわち、今回初めて抽出した人物）に対して、仮ＩＤを付与する（Ｓ４、Ｓ５）。

画像処理部１３は、今回処理したフレーム画像に対する、オブジェクトマップを作成する（Ｓ６）。このオブジェクトマップは、図５に示すように、今回抽出した人物毎に、その人物に付与されているＩＤ（または今回付与した仮ＩＤ）と、今回処理したフレーム画像上における座標位置とを対応付けた情報である。また、監視カメラ端末１は、タイムスタンプをオブジェクトマップに付与する。このタイムスタンプは、Ｓ１でフレーム画像を画像処理部１３に取り込んだ時刻であってもよいし、付与するときにタイマ１５が計時している時刻（現在時刻）であってもよい。

また、Ｓ６でオブジェクトマップを作成するときには、今回抽出した人物が床面上に接している位置（以下、足元位置と言う。）を、その人物の座標位置として検出する。具体的には、上述した第１の座標変換パラメータ、および第２の座標変換パラメータを得るときに、マーキングした４点を通る平面（すなわち、床面）と接している人物の人物領域の下辺中心の座標を、この人物の座標位置として検出する。以下、人物領域を、人物の外接長方形と言う。

監視カメラ端末１は、Ｓ６で作成したオブジェクトマップを記憶部１４に記憶するとともに、隣接する他の監視カメラ端末１に対して、今回作成したオブジェクトマップ（以下、自端末オブジェクトマップと言う。）を送信する（Ｓ７、Ｓ８）。

なお、各監視カメラ端末１は、隣接する他の監視カメラ端末１からオブジェクトマップ（以下、相手側オブジェクトマップと言う。）が送信されてくると、この相手側オブジェクトマップを記憶部１４に記憶する。監視カメラ端末１は、隣接する相手側監視カメラ端末１毎に、相手側オブジェクトマップを区別して記憶する。

監視カメラ端末１は、上述したＳ１〜Ｓ７の処理を繰り返し行うことにより、自端末の監視エリア内に位置する人物の追跡を行う。

次に、Ｓ４で仮ＩＤを付与した人物のＩＤを確定するＩＤ確定処理について説明する。上述したように、オブジェクトマップに登録されている人物には、その人物を特定できるＩＤ，または仮ＩＤが付与されている。仮ＩＤが付与されている人物には、他の監視カメラ端末１ですでにＩＤを付与されていた人物（すなわち、すでに追跡が開始されていた人物）と、現時点ではＩＤが付与されていない人物（すなわち、この監視システムで監視しているエリアに入ってきた人物）と、が含まれている。このＩＤ確定処理は、不審者を広域にわたって追跡するために、仮ＩＤを付与した人物が、すでにＩＤが付与されている人物であれば、今回付与した仮ＩＤを無効にし、すでに付与されているＩＤに戻す。また、仮ＩＤを付与した人物が、現時点でＩＤが付与されていない人物であれば、今回付与した仮ＩＤをこの人物のＩＤに確定する。

なお、人物に付与されているＩＤや、仮ＩＤは、その人物を特定できるユニークな値である。このＩＤや、仮ＩＤは、数字であってもよいし、符号であってもよいし、これらの組み合せであってもよい。また、監視カメラ端末１間で発行済ＩＤを通知し合うことなく、各人物に異なるＩＤが付与できるように、付与した監視カメラ端末１が識別できる数字や符号をＩＤに含ませるのが好ましい。

図６は、このＩＤ確定処理を示すフローチャートである。このＩＤ確定処理は、仮ＩＤを付与した人物を登録したオブジェクトマップを作成したときに行う。まず、今回仮ＩＤを付与した人物の中に、隣接する他の監視カメラ端末１との重複エリア内に位置する人物がいるかどうかを判定する（Ｓ１１）。今回仮ＩＤを付与した人物が、重複エリア内に位置している場合、その人物は、この重複エリアを監視エリアに含む隣接する相手側監視カメラ端末１で追跡されている人物である。すなわち、すでにＩＤが付与されている人物である。一方、今回仮ＩＤを付与した人物が、重複エリア内に位置していない場合、その人物は、他の監視カメラ端末１で追跡されていなかった人物である。すなわち、現時点でＩＤが付与されていない人物である。監視カメラ端末１は、Ｓ１１で重複エリア内に位置している人物がいなければ、今回仮ＩＤを付与した人物毎に、付与した仮ＩＤをＩＤに確定する（Ｓ１２）。

一方、重複エリア内に位置している人物がいれば、今回仮ＩＤを付与した人物の中で、重複エリア外に位置している人物について、付与した仮ＩＤをＩＤに確定する（Ｓ１３）。また、監視カメラ端末１は、今回、仮ＩＤを登録した自端末側オブジェクトマップに時間的に対応する、相手側オブジェクトマップを記憶部１４から読み出す（Ｓ１４）。Ｓ１４では、自端末側オブジェクトマップに付与されているタイムスタンプの時刻との時間差の絶対値が最小である時刻のタイムスタンプが付与されている相手側オブジェクトマップを記憶部１４から読み出す。

監視カメラ端末１は、自端末側オブジェクトマップに登録されている重複エリア内に位置している人物と、相手側オブジェクトマップに登録されている重複エリア内に位置している人物と、を１対１で対応付ける組み合せパターンを作成する（Ｓ１５）。Ｓ１５で作成される組み合せのパターン数は、例えば、重複エリア内に位置している人物が２人であれば２通りであり、また重複エリア内に位置している人物が３人であれば６通りである。

また、監視カメラ端末１は、今回作成した自端末側オブジェクトマップに登録されている人物の中で、重複エリア内に位置する人物毎に、第１の座標変換パラメータを用いて、その人物の座標位置を相手側端末の座標系に変換する（Ｓ１６）。監視カメラ端末１は、Ｓ１５で作成した組み合せパターン毎に、第１の距離エネルギーを算出する（Ｓ１７）。この第１の距離エネルギーは、相手側端末の座標系での、対応する組み合せパターンにおいて対応付けた人物間の距離の総和である。

また、監視カメラ端末１は、Ｓ１４で読み出した相手側オブジェクトマップに登録されている人物の中で、重複エリア内に位置する人物毎に、第２の座標変換パラメータを用いて、その人物の座標位置を自端末の座標系に変換する（Ｓ１８）。監視カメラ端末１は、Ｓ１５で作成した組み合せパターン毎に、第２の距離エネルギーを算出する（Ｓ１９）。この第２の距離エネルギーは、自端末の座標系での、対応する組み合せパターンにおいて対応付けた人物間の距離の総和である。

監視カメラ端末１は、Ｓ１４で作成した組み合せパターン毎に、総合距離エネルギーを算出する（Ｓ２０）。この総合距離エネルギーは、組み合せパターン毎に、その組み合せパターンの第１の距離エネルギーと、第２の距離エネルギーとの和である。

監視カメラ端末１は、Ｓ２０で得た総合距離エネルギーが最小である組み合せパターンを、重複エリア内に位置する人物の適正な対応付けであると判断する。そして、総合距離エネルギーが最小である組み合せパターンによる人物の対応付けにより、重複エリア内に位置する人物を同定する（Ｓ２１）。そして、監視カメラ端末１は、仮ＩＤを付与した人物については、付与されている仮ＩＤを無効とし、同定した人物に付与されているＩＤに確定する（Ｓ２２）。Ｓ２２では、オブジェクトマップにおける、仮ＩＤを同定した人物に付与されているＩＤに置き換える。

したがって、隣接する監視カメラ端末１間で、重複エリア内に位置する人物を精度よく同定することができ、特異な行動をとった不審者の追跡が広域にわたって行える。また、ステレオカメラ等を用いて、人物の３次元情報を得る必要もなく、コストアップが十分に抑えられる。

なお、図６では、重複エリア内に位置する人物の同定精度を確保するために、第１の距離エネルギーと、第２の距離エネルギーとの和を総合距離エネルギーとしたが、第１の距離エネルギー、または第２の距離エネルギーの一方を総合距離エネルギーとしてもよい。このようにすれば、（Ｓ１６、Ｓ１７）、または（Ｓ１８、Ｓ１９）の一方の処理が不要になり、監視カメラ端末１の処理負荷を低減することができる。

また、監視対象エリア内に位置する人物の重なりによって、人物の足元が撮像されないことがある。すなわち、フレーム画像において、人物の足元位置が検出できない場合がある。このような場合には、Ｓ５でオブジェクトマップを作成するときに、以下に示す処理で、撮像されている人物の足元位置を決定してもよい。この処理は、重複エリア内に位置する人物についてのみ行う処理としてもよいし、監視エリア内に位置する人物全員について行う処理としてもよい。

まず、画像処理部１３は、撮像部１２で撮像されたフレーム画像の奥行きに対する、人物の基準高さを学習し、これを記憶部１４に記憶する機能を設けている。

図７は、足元位置を決定する処理を示すフローチャートである。画像処理部１３は、足元位置を決定する対象人物を抽出した人物領域である外接長方形下辺に、別の人物に対応する人物領域が接しているかどうかを判定する（Ｓ３１）。画像処理部１３は、Ｓ３１で別の人物に対応する人物領域が接していなければ、この人物の足元が撮像されていると判定し、この人物の外接長方形下辺の中心を足元位置に決定する（Ｓ３２）。

一方、画像処理部１３は、Ｓ３１で別の人物に対応する人物領域が接していると、この人物領域である外接長方形の高さを検出する（Ｓ３３）。画像処理部１３は、この人物の撮像位置に対して記憶している基準高さと、Ｓ３３で検出した高さと、を比較する（Ｓ３４）。

画像処理部１３は、Ｓ３４で基準高さよりも高いと判定すると、Ｓ３２に進み、この人物の外接長方形下辺の中心を足元位置に決定する。一方、Ｓ３４で基準高さよりも低いと判定すると、この人物に対応する人物領域の外接長方形上辺の中心座標から、基準高さだけ下方の位置を、その人物の足元位置に決定する（Ｓ３５）。

これにより、監視対象エリア内に位置する人物の重なりによって、足元が撮像されていない人物についても、その足元位置の推定が適正に行える。

上記の説明では、自端末のタイマ１５が計時している時刻と、相手側端末のタイマ１５が計時している時刻と、が略同期していることを前提にしている。以下、この時刻のズレを考慮し、重複エリア内に位置する人物を同定する処理について説明する。

この場合も、各監視カメラ端末１は、図４に示した追跡処理を行う。

図８は、この場合のＩＤ確定処理を示すフローチャートである。このＩＤ確定処理は、仮ＩＤを付与した人物を登録したオブジェクトマップを作成したときに行う。まず、今回仮ＩＤを付与した人物の中に、隣接する他の監視カメラ端末１との重複エリア内に位置する人物がいるかを判定する（Ｓ４１）。監視カメラ端末１は、Ｓ４１で重複エリア内に位置する人物がいないと判定すると、今回仮ＩＤを付与した人物毎に、付与した仮ＩＤをＩＤに確定する（Ｓ４２）。Ｓ４１、およびＳ４２は、それぞれ上述したＳ１１、およびＳ１２と同様の処理である。

一方、重複エリア内に位置している人物がいれば、今回仮ＩＤを付与した人物の中で、重複エリア内に位置していない人物についてのみ、付与した仮ＩＤをＩＤに確定する（Ｓ４３）。Ｓ４３は、上述したＳ１３と同様の処理である。

次に、監視カメラ端末１は、今回、仮ＩＤ付与した人物を登録した自端末側オブジェクトマップ以降に作成した所定数（例えば、８個）のオブジェクトマップ毎に、対応する相手側オブジェクトマップを探索する（Ｓ４４）。Ｓ４４では、自端末側オブジェクトマップ毎に、以下の処理を行う。

まず、処理対象とする自端末側オブジェクトマップのタイムスタンプに対して、所定時間差内（例えば、−２００ｍｓ〜＋２００ｍｓ）のタイムスタンプが付与されている相手側オブジェクトマップを全て抽出する。

次に、ここで抽出した相手側オブジェクトマップ毎に、自端末側オブジェクトマップとの間で、重複エリア内に位置している人物と、を１対１で対応付ける組み合せパターンを作成し、作成した組み合せパターン毎に総合距離エネルギーを算出する。この総合距離エネルギーの算出方法については、上述したので、ここでは説明を省略する。そして、最小であった総合距離エネルギーを、今回対象とした相手側オブジェクトマップとの総合距離エネルギーとする。

さらに、総合距離エネルギーが最小であった相手側オブジェクトマップを、今回処理対象とした自端末側オブジェクトマップに対応する相手側オブジェクトマップに決定する。

監視カメラ端末１Ａが、時刻Ｔ１〜Ｔ８のタイムスタンプを付与した自端末側オブジェクトマップに対応する、隣接する監視カメラ端末１Ｂの相手側オブジェクトマップの探索結果の例を図９に示す。この例で、タイムスタンプが時刻Ｔ１である自端末側オブジェクトマップに対して、タイムスタンプがｔ１、およびｔ２の２つの相手側オブジェクトマップを抽出した場合、タイムスタンプがｔ１の相手側オブジェクトマップとの総合距離エネルギー、およびタイムスタンプがｔ２の相手側オブジェクトマップとの総合距離エネルギーを算出する。そして、タイムスタンプがｔ１の相手側オブジェクトマップの総合距離エネルギーと、タイムスタンプがｔ２の相手側オブジェクトマップの総合距離エネルギーとを比較し、より小さい（最小である）タイムスタンプがｔ１の相手側オブジェクトマップを、タイムスタンプが時刻Ｔ１である自端末側オブジェクトマップに対応づける。

また、この処理では、図９に示すように、複数の自端末側オブジェクトマップ（Ｔ３とＴ４、やＴ６とＴ７）が、同じ相手側オブジェクトマップ（ｔ３やｔ７）に対応づけられることがある。また、自端末側オブジェクトマップが対応付けられない相手側オブジェクトマップ（ｔ４や、ｔ６）が存在することもある。

監視カメラ端末１は、対応付けられている相手側オブジェクトマップに、他の自端末オブジェクトマップも対応付けられている自端末オブジェクトマップ（図８に示す、Ｔ３，Ｔ４、Ｔ６、Ｔ７）の総合距離エネルギーを、予め定められたペナルティ値を加算した値に更新する（Ｓ４５）。このペナルティ値は、設置環境等によって任意に設定できる。

Ｓ４４で対応付けた自端末オブジェクトマップと、相手側オブジェクトマップとの組み合せの中から、その組み合せにおける総合距離エネルギーが、予め定めた基準距離エネルギーを超える組み合せを抽出し、取り除く（Ｓ４６）。この基準距離エネルギーは、自端末オブジェクトマップと、相手側オブジェクトマップとの対応付が適正に行えていない場合や、重複エリア内に位置する人物の組み合せが適正に対応づけられていない場合等を検出できる大きさに設定されている。監視カメラ端末１は、例えば、相手側監視カメラ端末１との通信不良等によって、自端末オブジェクトマップに対応する適正な相手側オブジェクトマップが欠けていると、相手側オブジェクトマップとの対応付が適正に行えない。

監視カメラ端末１は、自端末オブジェクトマップと、相手側オブジェクトマップとの残りの組み合せにより、重複エリア内に位置する人物を同定する（Ｓ４７）。Ｓ４７では、例えば、自端末オブジェクトマップと、相手側オブジェクトマップとの組み合せの中で、総合距離エネルギーが最小である組合せを抽出する。そして、ここで抽出したオブジェクトマップの組合せにおける、重複エリア内に位置する人物の組み合せにより、この重複エリア内に位置する人物を同定する。また、自端末オブジェクトマップと、相手側オブジェクトマップとの残りの組み合せの中で、最も多い重複エリア内に位置する人物の組み合せにより、この重複エリア内に位置する人物を同定する。

そして、監視カメラ端末１は、仮ＩＤを付与した人物については、付与されている仮ＩＤを無効とし、同定した人物に付与されているＩＤに確定する（Ｓ２２）。Ｓ２２では、オブジェクトマップにおける、仮ＩＤを同定した人物に付与されているＩＤに置き換える。

これにより、自端末のタイマ１５が計時している時刻と、相手側端末のタイマ１５が計時している時刻とに、ズレがあっても、重複エリア内に位置する人物を精度よく同定することができる。

また、Ｓ４７で重複エリア内に位置する人物の同定に用いた自端末オブジェクトマップと、相手側オブジェクトマップとの組み合せを用いて、自端末のタイマ１５が計時している時刻を、相手側監視カメラ端末１のタイマ１５が計時している時刻に同期させる時刻同期処理を行ってもよい。図１０は、この時刻同期処理を示すフローチャートである。

Ｓ４７で重複エリア内に位置する人物の同定に用いた自端末オブジェクトマップと、相手側オブジェクトマップとの組み合せ毎に、タイムスタンプの時間差を算出し（Ｓ５１）、その平均時間差を得る（Ｓ５２）。そして、監視カメラ端末１は、Ｓ５２で算出した平均時間差だけ、タイマ１５が計時している時刻を修正する（Ｓ５３）。これにより、隣接する監視カメラ端末１との間で、タイマ１５が計時している時刻を同期させることができる。

また、タイムスタンプの時間差が、Ｓ５２で算出した平均時間差に対して一定時間以上離れているものを取り除き、その残りで再度平均時間差を算出し、タイマ１５が計時している時刻を修正する構成としてもよい。この処理は、タイムスタンプの時間差が、平均時間差に対して一定時間以上離れているものがなくなるまで繰り返してもよいし、予め定めた回数繰り返すだけであってもよい。

なお、上記の説明では、追跡するオブジェクトを人として説明したが、このオブジェクトは人に限らず、車両等の他の種類の移動体であってもよい。

１（１Ａ〜１Ｈ）−監視カメラ端末
１１−制御部
１２−撮像部
１３−画像処理部
１４−記憶部
１５−タイマ
１６−通信部

Claims (5)

1. 自端末に割り当てられている監視対象エリアを撮像する撮像手段と、
   前記撮像手段が撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
   前記オブジェクト抽出手段が抽出したオブジェクトにＩＤを付与するＩＤ付与手段と、
   前記オブジェクト抽出手段が抽出したオブジェクト毎に、そのオブジェクトに付与されているＩＤと、フレーム画像上における座標位置と、を対応付けるとともに、作成時刻にかかるタイムスタンプを付加したオブジェクトマップを作成するオブジェクトマップ作成手段と、
   前記オブジェクトマップ作成手段が作成したオブジェクトマップを用いて、自端末に割り当てられている監視対象エリア内に位置するオブジェクトを追跡する追跡手段と、を備えた監視カメラ端末において、
   割り当てられている監視対象エリアが、自端末の監視対象エリアの一部と重複している相手側端末とのデータ通信により、この相手側端末が作成した相手側オブジェクトマップを取得する相手側オブジェクトマップ取得手段と、
   自端末のフレーム画像の座標位置と、前記相手側端末のフレーム画像の座標位置とにおける、相対的な位置関係を示す座標変換情報を記憶する座標変換情報記憶手段と、
   前記オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、前記相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、をその作成時刻にかかるタイムスタンプを用いて対応付けるマッチング手段と、
   前記マッチング手段によって対応付けられた複数組のオブジェクトマップを用いて、対応づけられている前記オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、前記相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、において、自端末の監視対象エリアと、相手側端末の監視対象エリアとが重複している重複エリア内に位置する自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとを同定する同定手段と、を備え、
   前記同定手段は、前記座標変換情報記憶手段が記憶している前記座標変換情報を用いて、自端末が抽出したオブジェクトの位置、および相手側端末が抽出したオブジェクトの位置を共通の座標系の位置に変換し、この共通の座標系における、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとの距離によって、前記重複エリアに位置するオブジェクトを同定するとき、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとの距離の算出で、前記マッチング手段が自端末のオブジェクトマップに対応付けた前記相手側オブジェクトマップに、自端末の他のオブジェクトマップも対応付けられている組については、前記重複エリアに位置するオブジェクト間の距離を算出する際に、予め定めたペナルティ距離を加算する、監視カメラ端末。
2. 自端末に割り当てられている監視対象エリアを撮像する撮像手段と、
   前記撮像手段が撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
   前記オブジェクト抽出手段が抽出したオブジェクトにＩＤを付与するＩＤ付与手段と、
   前記オブジェクト抽出手段が抽出したオブジェクト毎に、そのオブジェクトに付与されているＩＤと、フレーム画像上における座標位置と、を対応付けるとともに、作成時刻にかかるタイムスタンプを付加したオブジェクトマップを作成するオブジェクトマップ作成手段と、
   前記オブジェクトマップ作成手段が作成したオブジェクトマップを用いて、自端末に割り当てられている監視対象エリア内に位置するオブジェクトを追跡する追跡手段と、を備えた監視カメラ端末において、
   割り当てられている監視対象エリアが、自端末の監視対象エリアの一部と重複している相手側端末とのデータ通信により、この相手側端末が作成した相手側オブジェクトマップを取得する相手側オブジェクトマップ取得手段と、
   自端末のフレーム画像の座標位置と、前記相手側端末のフレーム画像の座標位置とにおける、相対的な位置関係を示す座標変換情報を記憶する座標変換情報記憶手段と、
   前記オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、前記相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、をその作成時刻にかかるタイムスタンプを用いて対応付けるマッチング手段と、
   前記マッチング手段によって対応付けられた、前記オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、前記相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、において、自端末の監視対象エリアと、相手側端末の監視対象エリアとが重複している重複エリア内に位置する自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとを同定する同定手段と、
   前記マッチング手段によって対応付けられた、自端末のオブジェクトマップと、相手側端末のオブジェクトマップとに付加されているタイムスタンプを用いて、自端末が計時している時刻を修正する時刻合せ手段と、を備え、
   前記同定手段は、前記座標変換情報記憶手段が記憶している前記座標変換情報を用いて、自端末が抽出したオブジェクトの位置、および相手側端末が抽出したオブジェクトの位置を共通の座標系の位置に変換し、この共通の座標系における、自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトとの距離によって、前記重複エリアに位置するオブジェクトを同定する、監視カメラ端末。
3. 前記同定手段は、前記重複エリアに位置する自端末が抽出したオブジェクトと、相手側端末が抽出したオブジェクトと、を１対１で対応付けた組み合せの中で、対応付けたオブジェクト間の距離の総和が最小である組み合せにより、前記重複エリアに位置するオブジェクトを同定する、請求項１、または２に記載の監視カメラ端末。
4. 前記オブジェクトマップ作成手段は、前記オブジェクト抽出手段が抽出したオブジェクト毎に、そのオブジェクトの位置を、当該オブジェクトの接地面上の座標とする、請求項１〜３のいずれかに記載の監視カメラ端末。
5. 前記マッチング手段は、前記オブジェクトマップ作成手段が作成した自端末のオブジェクトマップと、前記相手側オブジェクトマップ取得手段が取得した相手側オブジェクトマップと、をその作成時刻にかかるタイムスタンプ、および前記重複エリアに位置するオブジェクト間の距離を用いて対応付ける、請求項１〜４のいずれかに記載の監視カメラ端末。

Images