JP5470111B2 - 監視カメラ端末 - Google Patents

Description

この発明は、自端末に割り当てられている監視対象エリアを撮像したフレーム画像を処理し、この監視対象エリアに位置する人物を追跡する監視カメラ端末に関し、特に監視対象エリアの一部が重複している他の監視カメラ端末との間で、追跡している人物の受け渡しが行える監視カメラ端末に関する。

従来、駅、ショッピングセンタ、繁華街等の不特定多数の人が集まる場所では、複数の監視カメラ端末を用いて、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）の検出や、検出した不審者の追跡を行っている。複数の監視カメラ端末で不審者を追跡する場合、この不審者の移動に応じて、追跡する監視カメラ端末を切り替える必要がある。また、不審者を追跡する監視カメラ端末を切り替えるときには、追跡を引き継ぐ監視カメラ端末が、その不審者を同定する必要がある。この不審者の同定に失敗すると、追跡を引き継いだ監視カメラ端末が、これまで追跡していた不審者でない別の人を追跡する。したがって、検出した不審者を見失い、この不審者の追跡に失敗する。

不審者の同定精度を向上させるために、不審者を追跡している一方の監視カメラ端末が、不審者の検出に使用したテンプレート情報を、この不審者の追跡を引き継ぐ他方の監視カメラ端末に通知し、この他方の監視カメラ端末が通知されたテンプレート情報を用いて不審者を同定することが提案されている（特許文献１参照）。

また、テンプレート情報だけではなく、不審者の検出に利用した特徴情報（例えば、画像から切り出した不審者の画像データ、形状、色、大きさなどにより不審者を特定する情報、あるいは目、鼻、口等の顔部品の形状や、位置等）を他方の監視カメラ端末に通知することも提案されている（特許文献２参照）。

特許第３８１４７７９号公報 特許第３９９９５６１号公報

しかしながら、不審者を追跡している一方の監視カメラ端末と、この不審者の追跡を引き継ぐ他方の監視カメラ端末とでは、被写体である不審者に対するアングルが異なる。したがって、一方の監視カメラ端末で撮像したフレーム画像における不審者の画像と、他方の監視カメラ端末で撮像したフレーム画像における同一の不審者の画像とでは、不審者の外形や、目、鼻、口等の顔部品等の形状に違いが生じる。このため、不審者の検出に使用したテンプレート情報や特徴情報を、一方の監視カメラ端末から他方の監視カメラ端末に通知しても、他方の監視カメラ端末がアングルの違いを考慮したマッチングを行えない限り、不審者の同定精度を確保することができない。

また、上述のアングルの違いを考慮したマッチングを行うには、被写体である不審者の３次元情報を用いればよいのであるが、不審者の３次元情報を得るには、ステレオカメラを用いなければならない。このため、個々の監視カメラ端末のコストがアップし、これにともない監視システム全体のコストもアップする。

この発明の目的は、他の監視カメラ端末との間で、追跡している人物の同定精度を十分に確保し、且つ、コストアップも十分に抑えられる監視カメラ端末を提供することにある。

この発明の監視カメラ端末は、上記目的を達するために、以下のように構成している。

人物抽出手段が、自端末に割り当てられている監視対象エリアを撮像したフレーム画像毎に、撮像されている人物を抽出する。ＩＤ付与手段は、人物抽出手段が抽出した人物にＩＤを付与する。このＩＤは、付与した人物を識別できるユニークな値であればよい。足元位置取得手段は、ＩＤ付与手段がＩＤを付与した人物について、その人物のフレーム画像上における足元の座標位置を取得する。また、オブジェクトマップ作成手段が、人物抽出手段が抽出した人物毎に、その人物に付与されているＩＤと、フレーム画像上における足元の座標位置と、を対応付けたオブジェクトマップを作成する。そして、追跡手段が、オブジェクトマップ作成手段が作成したオブジェクトマップを用いて、自端末に割り当てられている監視対象エリア内に位置する人物を追跡する。

すなわち、時系列にフレーム画像を処理することにより得られた、時系列に並べたオブジェクトマップにより、ＩＤを付与した人物の足元の座標位置の時間的変化を得ることで、監視対象エリア内における、その人物の移動が追跡できる。

また、身長推定手段が、ＩＤ付与手段がＩＤを付与した人物毎に、その人物の身長を推定する。足元位置取得手段は、フレーム画像に足元が撮像されていない人物、すなわち足元が他の物体に隠れて撮像されていない人物、については、身長推定手段が推定した身長を用いて、その人物の足元の座標位置を取得する。したがって、フレーム画像に足元が撮像されていない人物であっても、その人物の足元の座標位置が精度良く取得できる。

上述の身長推定手段は、例えば、ＩＤを付与した人物の足元と頭頂部とが撮像されているフレーム画像上における、足元の座標位置、および頭頂部の座標位置に基づいて身長を推定すればよい。また、推定した身長については、該当するＩＤに対応付けて記憶すればよい。これにより、ＩＤを付与した人物に対する身長の推定は、その人物に対して何度も繰り返し行う必要がない。

また、ＩＤを付与した人物について、その人物の顔が撮像されているフレーム画像から顔部品の特徴量を抽出し、当該人物の性別や年齢等の属性を推定し、ここで推定した属性に応じて、当該人物の身長を推定する構成としてもよい。

また、監視カメラ端末は、オブジェクトマップ取得手段が、割り当てられている監視対象エリアが、自端末の監視対象エリアの一部と重複している相手側端末とのデータ通信により、この相手側端末が作成した相手側オブジェクトマップを取得する。座標変換情報記憶手段が、自端末のフレーム画像の座標位置と、相手側端末のフレーム画像の座標位置とにおける、相対的な位置関係を示す座標変換情報を記憶する。そして、同定手段は、座標変換情報記憶手段が記憶している座標変換情報を用いて、自端末が抽出した人物の足元の位置、および相手側端末が抽出した人物の足元の位置を共通の座標系の位置に変換し、この共通の座標系における、自端末が抽出した人物の足元の位置と、相手側端末が抽出した人物の足元の位置との距離によって、重複エリアに位置する人物を同定する。
この共通の座標系は、どのような座標系であってもよいが、どちらか一方の監視カメラ端末（自端末、または相手側端末）の座標系とするのが好ましい。このようにすれば、一方のオブジェクトマップに登録されている人物の足元の位置についてのみ、座標変換を行えばよいので、この座標変換にかかる処理負荷が抑えられる。

通常、自端末が抽出した人物と、相手側端末が抽出した人物と、が同一の人物であっても、共通の座標系での座標位置は、アングルの違いや、検出精度等の要因により若干の誤差はある。自端末が抽出した人物と、相手側端末が抽出した人物とは、その足元の座標位置間の距離によって同定することで、この同定にかかる精度を十分に確保できる。

例えば、重複エリアに位置する自端末が抽出した人物と、相手側端末が抽出した人物と、を１対１で対応付けた組み合せの中で、対応付けた人物の足元の座標位置間の距離（共通の座標系での座標位置間の距離）の総和が最小である組み合せにより、重複エリアに位置する人物を同定すればよい。

また、共通の座標系を２種類とし、各種類での総和が最小である組み合せにより、重複エリアに位置するオブジェクトを同定してもよい。この場合、２種類の共通の座標系は、自端末のフレーム画像の座標系と、相手側端末のフレーム画像の座標系と、の２つにするのが好ましい。

この発明によれば、他の監視カメラ端末との間で、追跡している人物の同定精度を十分に確保でき、且つ、コストアップも十分に抑えられる。

広域監視システムの構成を示す概略図である。 監視カメラ端末の主要部の構成を示すブロック図である。 第１の推定身長の推定に用いる位置係数αｎを説明する図である。 属性テーブルを示す図である。 隣接する２つの監視カメラ端末の撮像エリアを示す図である。 監視カメラ端末の追跡処理を示すフローチャートである。 オブジェクトマップを説明する図である。 ＩＤ確定処理を示すフローチャートである。

以下、この発明の実施形態である監視カメラ端末について説明する。

図１は、この発明の実施形態にかかる監視カメラ端末を用いた、広域監視システムの構成を示す概略図である。この広域監視システムは、複数の監視カメラ端末１（１Ａ〜１Ｈ）を有するネットワークシステムである。この広域監視システムは、例えば、アドホック型のネットワークシステムである。監視カメラ端末１間では、直接、または他の監視カメラ端末１を介してデータ通信が行える。この監視カメラ端末１間のデータ通信は、無線であってもよいし、有線であってもよい。

なお、この広域監視システムを構成する監視カメラ端末１の台数は、ここで例示している８台に限らず、複数台であれば何台であってもよい。また、図１に示した、監視カメラ端末１間を結ぶ線はリンクである。また、以下の説明では、特に監視カメラ端末１Ａ〜１Ｈを区別しないで説明する場合、監視カメラ端末１と示す。

図２は、監視カメラ端末の主要部の構成を示す図である。監視カメラ端末１は、制御部１１と、撮像部１２と、画像処理部１３と、記憶部１４と、タイマ１５と、通信部１６と、を備えている。制御部１１は、本体各部の動作を制御する。撮像部１２は、自端末に割り当てられている監視対象エリアを撮像する。言い換えれば、撮像部１２の撮像エリアが自端末に割り当てられている監視対象エリアである。撮像部１２は、１秒間に３０フレーム程度の撮像画像（フレーム画像）を出力する。このフレーム画像は、画像処理部１３に入力される。

画像処理部１３は、撮像部１２が撮像した監視対象エリアのフレーム画像を処理し、撮像されている人物を抽出する。また、画像処理部１３は、抽出した人物にＩＤを付与する。このＩＤは、人物を識別できるユニークな値である。また、画像処理部１３は、時間的に連続する複数のフレーム画像を処理することにより、監視対象エリア内を移動している人物（ＩＤが付与されている人物）を追跡する。画像処理部１３は、時空間ＭＲＦ(Markov Random Field)モデルを利用して、撮像されている人物の抽出や追跡を行う。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数ピクセル×数ピクセル（例えば、８ピクセル×８ピクセル）のブロックで領域分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義するモデルである。

また、画像処理部１３は、抽出した人物について、その人物の身長を以下に示す２通りの方法（第１の方法、および第２の方法）で推定する。

第１の方法は、フレーム画像上で抽出した人物について、その足元と、頭頂部とが撮像されていれば、当該フレーム画像上における足元の座標位置と、頭頂部の座標位置とに基づいて身長を推定する。具体的には、フレーム画像上における足元の座標位置と、頭頂部の座標位置との距離を算出し、これに撮像位置（例えば、足元の座標位置）に応じた位置係数αｎ（ｎ＝１、２、３・・・ｎ）を乗じた値を、当該人物の推定身長（第１の推定身長）とする。フレーム画像上における人物の大きさ（身長）は、撮像部１２からの距離に反比例する。例えば、撮像部１２が、図３（Ａ）に示すエリアを撮像している場合、フレーム画像は図３（Ｂ）に示す画像になる。位置係数αｎは、図３に示すように、撮像されている人物と、撮像部１２との距離が長くなるにつれて、その値が大きくなる（α１側の値が大きくなる。）。画像処理部１３は、フレーム画像上において、撮像部１２からの距離によって区分（フレーム画像上の座標位置で区分）した複数の領域毎に、対応する位置係数αｎを対応付けた位置係数テーブル１３ａを記憶している。

第２の方法は、フレーム画像上で抽出した人物の性別、および年齢に基づいて身長を推定する。具体的には、フレーム画像上で抽出した人物について、その人物の顔画像が撮像されていれば、その人物の顔部品（目、鼻、口等）の特徴量を抽出し、性別、および年齢を含む属性を推定する。画像処理部１３は、顔部品の特徴量から属性を推定するのに用いる属性推定情報１３ｂを記憶している。顔部品の特徴量から属性を推定する技術については、公知であるので、ここでは詳細な説明を省略する。また、画像処理部１３は、属性別（性別、および年齢別）に身長を対応付けた属性テーブル１３ｃ（図４参照）を記憶している。画像処理部１３は、この人物について、推定した属性に対応する身長を属性テーブル１３ｃから読み出し、これを推定身長（第２の推定身長）とする。

なお、画像処理部１３は、ＩＤが付与されている人物毎に、ＩＤと第１の推定身長、および第２の推定身長を対応付けて記憶する。したがって、同一人物に対して、第１の推定身長を何度も繰り返し推定したり、第２の推定身長を何度も繰り返し推定したりすることはない。

記憶部１４は、本体を動作させる動作プログラムや、動作時に利用する設定データ、動作時に発生した処理データ等を記憶する。タイマ１５は、現在時刻を計時する。通信部１６は、他の監視カメラ端末１との間におけるデータ通信を制御する。

この広域監視システムは、特異な行動をとった不審者等の人物を追跡するシステムであり、この人物の移動に応じて、その人物を追跡する監視カメラ端末１を切り替える。これにより、不審者の追跡を広域的に行う。図５は、隣接する２つの監視カメラ端末１Ａ、１Ｂの撮像エリア（監視対象エリア）を示す図である。隣接する２つの監視カメラ端末１Ａ、１Ｂは、撮像エリア（監視対象エリア）の一部が重複している。この重複している撮像エリアを、ここでは重複エリアと言う。図５では、隣接する２つの監視カメラ端末１Ａ、１Ｂの監視対象エリアを例示しているが、隣接する他の２つの監視カメラ端末１の組み合せにおいても、監視対象エリアの一部が重複している。監視カメラ端末１は、隣接する他の監視カメラ端末１との間で、重複エリアに位置する人物Ｘ、Ｙを、１対１で対応付ける同定処理を行う。図５では、人物Ｘ、Ｙは、監視カメラ端末１Ａ、１Ｂの重複エリア内に位置し、人物Ｚは、監視カメラ端末１Ａの監視対象エリア内で、且つ監視カメラ端末１Ｂとの重複エリア外に位置している。

なお、ここでは、監視対象エリアの一部が重複している２つの監視カメラ端末１を、隣接している監視カメラ端末１と呼んでいる。また、隣接している監視カメラ端末１は、直接（他の監視カメラ端末１を介さず）データ通信が行える。

また、監視カメラ端末１は、隣接する他の監視カメラ端末１が１台であるとは限らない。言い換えれば、隣接する監視カメラ端末１が２台や３台である監視カメラ端末１もある。ただし、重複エリアは、隣接する他の監視カメラ端末１毎に異なる。

各監視カメラ端末１は、隣接する監視カメラ端末１毎に、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１４に記憶している。この座標変換情報は、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、この座標変換情報として、自端末の撮像部１２が撮像したフレーム画像の２次元座標系を、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第１の座標変換パラメータと、反対に、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系を、自端末の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第２の座標変換パラメータと、を記憶部１４に記憶している。

なお、座標変換情報は、第１の座標変換パラメータ、または第２の座標変換パラメータのどちらか一方のみであってもよい。

ここで、第１の座標変換パラメータ、および第２の座標変換パラメータについて説明しておく。この第１の座標変換パラメータ、および第２の座標変換パラメータは、監視カメラ端末１の設置時に、実際に撮像したフレーム画像を用いて算出した値である。

まず、監視カメラ端末１の設置完了時に、テープ等を用いて、隣接する相手側監視カメラ端末１との重複エリア内の床面に４点をマーキングする。そして、自端末の撮像部１２で撮像したフレーム画像を処理し、このフレーム画像上におけるマーキングした４点の座標位置（ｘ，ｙ）を検出する。同様に、隣接する相手側監視カメラ端末１が撮像部１２で撮像したフレーム画像上におけるマーキングした４点の座標位置（Ｘ，Ｙ）を、この相手側端末から取得する。そして、マーキングした点毎に、その座標位置を、
Ｘ＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋１）
Ｙ＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、ａ０，ｂ０，ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２の８個の係数が、この隣接する相手側監視カメラ端末１との第１の座標変換パラメータである。監視カメラ端末１は、この第１の座標変換パラメータを記憶部１４に記憶する。

同様に、マーキングした点毎に、その座標位置を、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、Ａ０，Ｂ０，Ａ１，Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２の８個の係数が、この隣接する相手側監視カメラ端末１との第１の座標変換パラメータである。監視カメラ端末１は、この第２の座標変換パラメータを記憶部１４に記憶する。

次に、この広域監視システムにおける、不審者等の人物の追跡について詳細に説明する。図６は、各監視カメラ端末における追跡処理を示すフローチャートである。

監視カメラ端末１は、撮像部１２が撮像した監視対象エリアのフレーム画像を画像処理部１３に取り込む（ｓ１）。画像処理部１３は、ｓ１で取り込んだフレーム画像を処理し、撮像されている人物を抽出する（ｓ２）。画像処理部１３は、前回処理したフレーム画像で抽出した人物と、ｓ２で抽出した人物と、を対応付ける（ｓ３）。画像処理部１３は、時空間ＭＲＦモデルを用い、人物を、８ピクセル×８ピクセルのブロックを単位とする人物領域として抽出する。ｓ３では、前回処理したフレーム画像で抽出した人物と、ｓ２で抽出した人物と、を対応付けることにより、今回抽出した人物の移動方向や移動量を得ることができ、抽出した人物の追跡が行える。

また、今回の処理で抽出した人物であって、前回の処理で抽出されていなかった人物（すなわち、今回初めて抽出した人物）については、仮ＩＤを付与する（ｓ４、ｓ５）。この仮ＩＤが付与される人物は、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、監視対象エリア内に入ってきた人物である。

なお、前回の処理で抽出されていたが、今回の処理で抽出されなかった人物は、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、監視対象エリア外に出た人物である。

画像処理部１３は、今回抽出した人物の中に、上述の第１の方法で推定した第１の推定身長が登録されていない人物（未登録の人物）がいるかどうかを判定する（ｓ６）。画像処理部１３は、第１の推定身長の未登録者がいれば、該当する人物を抽出する（ｓ７）。さらに、ｓ７で抽出した人物の中から、上述の第１の方法で第１の推定身長の推定が行える人物を抽出し、ここで抽出した人物毎に、上述の第１の方法で第１の推定身長を推定する（ｓ８）。ｓ８では、第１の推定身長の未登録者であって、且つ今回処理しているフレーム画像上で足元と、頭頂部とが撮像されている人物について、第１の推定身長を推定する。画像処理部１３は、ｓ８で推定した第１の推定身長を、その人物のＩＤに対応付けて記憶する（ｓ９）。

また、画像処理部１３は、今回抽出した人物の中に、上述の第２の方法で推定した第２の推定身長が登録されていない人物（未登録の人物）がいるかどうかを判定する（ｓ１０）。画像処理部１３は、第２の推定身長の未登録者がいれば、該当する人物を抽出する（ｓ１１）。

なお、この例の監視カメラ端末１では、後述する処理で、第１の推定身長を、第２推定身長よりも優先して使用するので、第２の推定身長の未登録者であっても、すでに第１の推定身長が登録されている人物については、ｓ１１で抽出しない構成としてもよい。

画像処理部１３は、ｓ１１で抽出した人物の中から、上述の第２の方法で第２の推定身長の推定が行える人物を抽出し、ここで抽出した人物毎に、顔部品（目、鼻、口等）の特徴量を抽出し、性別、および年齢を含む属性を推定する（ｓ１２）。ｓ１２では、第２の推定身長の未登録者であって、且つ今回処理しているフレーム画像上で顔が撮像されている人物について、その属性を推定する。画像処理部１３は、ｓ１２で属性を推定した人物毎に、その属性に対応する身長を属性テーブル１３ｃから読み出し、これを、その人物の第２の推定身長とする（ｓ１３）。画像処理部１３は、ｓ１３で得た第２の推定身長を、その人物のＩＤに対応付けて記憶する（ｓ１４）。

次に、画像処理部１３は、今回処理したフレーム画像に対する、オブジェクトマップを作成する（ｓ１５）。このオブジェクトマップは、図７に示すように、今回抽出した人物毎に、その人物に付与されているＩＤ（または今回付与した仮ＩＤ）と、今回処理したフレーム画像上における座標位置とを対応付けた情報である。また、監視カメラ端末１は、タイムスタンプをオブジェクトマップに付与する。このタイムスタンプは、ｓ１でフレーム画像を画像処理部１３に取り込んだ時刻であってもよいし、付与するときにタイマ１５で計時している時刻（現在時刻）であってもよい。また、ｓ１５でオブジェクトマップを作成するときには、今回抽出した人物の足元位置を、その人物の座標位置として取得する。

具体的には、以下（１）〜（４）の処理手順で、今回抽出した人物の足元位置を検出する。

（１）フレーム画像上で、人物の足元が撮像されていれば、その足元の座標位置（例えば、右足の中心、左足の中心、または両足を結ぶ直線の中点）を検出し、その人物の座標位置とする。

（２）また、他の人物の影になって、足元が撮像されていない人物（肉体の一部が撮像されている人物。）であれば、その人物について、第１の推定身長を記憶していれば、この第１の推定身長を用いて、足元の座標位置を推定する。例えば、撮像されている肉体の一部からフレーム画像上における頭頂部の位置を推定し、その位置、その位置に対応する位置係数αｎ、および第１の推定身長を用いて、足元位置を推定し、その人物の座標位置とすればよい。また、第１の推定身長のモデルを、縦横比を変えることなく、拡大、縮小して、撮像されている肉体の一部に重ね合わせたときに、得られる足元の座標位置を推定し、その人物の座標位置としてもよい。

なお、肉体の一部は、テンプレートマッチング等で検出すればよい。

（３）また、第１の推定身長を記憶していない人物であれば、この第２の推定身長を用いて、足元の座標位置を推定する。例えば、撮像されている肉体の一部からフレーム画像上における頭頂部の位置を推定し、その位置、その位置に対応する位置係数αｎ、および第２の推定身長を用いて、足元位置を推定し、その人物の座標位置とすればよい。また、第２の推定身長のモデルを、縦横比を変えることなく、拡大、縮小して、撮像されている肉体の一部に重ね合わせたときに、得られる足元の座標位置を推定し、その人物の座標位置としてもよい。

（４）さらに、第２の推定身長を記憶していない人物であれば、身長の学習データ等を用いて、当該人物の身長を推定し、ここで推定した身長を用いて、足元の座標位置を推定する。この場合も、ここで推定身長を用いて、上述した（２）や（３）と同様の手法で、足元の座標位置を推定し、その人物の座標位置とすればよい。

なお、この例では、第１の推定身長を、第２の推定身長よりも優先して使用する構成としているので、上述の（１）〜（４）の順番で、フレーム画像上において抽出した人物の座標位置を取得するとしたが、第２の推定身長を、第１の推定身長よりも優先して使用する構成とするのであれば、上述の（２）、（３）の順番を入れ換えればよい
監視カメラ端末１は、ｓ１５で作成されたオブジェクトマップを記憶部１４に記憶するとともに、通信部１６において隣接する他の監視カメラ端末１に対して、今回作成したオブジェクトマップ（以下、自端末オブジェクトマップと言う。）を送信する（ｓ１６、ｓ１７）。

なお、各監視カメラ端末１は、隣接する他の監視カメラ端末１からオブジェクトマップ（以下、相手側オブジェクトマップと言う。）が送信されてくると、この相手側オブジェクトマップを記憶部１４に記憶する。監視カメラ端末１は、隣接する相手側監視カメラ端末１毎に、相手側オブジェクトマップを区別して記憶する。

監視カメラ端末１は、上述したｓ１〜ｓ１７の処理を繰り返し行うことにより、自端末の監視エリア内に位置する人物の追跡を行う。

次に、ｓ５で仮ＩＤを付与した人物のＩＤを確定するＩＤ確定処理について説明する。上述したように、オブジェクトマップに登録されている人物には、その人物を特定できるＩＤ，または仮ＩＤが付与されている。仮ＩＤが付与されている人物には、他の監視カメラ端末１ですでにＩＤを付与されていた人物（すなわち、すでに追跡が開始されていた人物）と、現時点ではＩＤが付与されていない人物（すなわち、この広域監視システムで監視しているエリアに入ってきた人物）と、が含まれている。このＩＤ確定処理は、不審者等の人物を広域にわたって追跡するために、仮ＩＤを付与した人物が、すでにＩＤが付与されている人物であれば、今回付与した仮ＩＤを無効にし、すでに付与されているＩＤに戻すための処理である。また、仮ＩＤを付与した人物が、現時点でＩＤが付与されていない人物であれば、今回付与した仮ＩＤをこの人物のＩＤに確定する。

なお、人物に付与されているＩＤや、仮ＩＤは、その人物を特定できるユニークな値である。このＩＤや、仮ＩＤは、数字であってもよいし、符号であってもよいし、これらの組み合せであってもよい。また、監視カメラ端末１間で発行済ＩＤを通知し合うことなく、各人物に異なるＩＤが付与できるように、付与した監視カメラ端末１が識別できる数字や符号をＩＤに含ませる構成が好ましい。

図８は、このＩＤ確定処理を示すフローチャートである。このＩＤ確定処理は、仮ＩＤを付与した人物を登録したオブジェクトマップを作成したときに行う。まず、今回仮ＩＤを付与した人物の中に、隣接する他の監視カメラ端末１との重複エリア内に位置する人物がいるかどうかを判定する（ｓ２１）。今回仮ＩＤを付与した人物が、重複エリア内に位置している場合、その人物は、この重複エリアを監視エリアに含む隣接する相手側監視カメラ端末１で追跡されている人物である。すなわち、すでにＩＤが付与されている人物である。一方、今回仮ＩＤを付与した人物が、重複エリア内に位置していない場合、その人物は、他の監視カメラ端末１で追跡されていなかった人物である。すなわち、現時点でＩＤが付与されていない人物である。監視カメラ端末１は、ｓ２１で重複エリア内に位置している人物がいなければ、今回仮ＩＤを付与した人物毎に、付与した仮ＩＤをＩＤに確定する（ｓ２２）。

一方、重複エリア内に位置している人物がいれば、今回仮ＩＤを付与した人物の中で、重複エリア内に位置していない人物についてのみ、付与した仮ＩＤをＩＤに確定する（ｓ２３）。また、監視カメラ端末１は、今回、仮ＩＤを登録した自端末側オブジェクトマップに時間的に対応する、相手側オブジェクトマップを記憶部１４から読み出す（ｓ２４）。ｓ２４では、自端末側オブジェクトマップに付与されているタイムスタンプの時刻との時間差の絶対値が最小である時刻のタイムスタンプが付与されている相手側オブジェクトマップを記憶部１４から読み出す。

監視カメラ端末１は、自端末側オブジェクトマップに登録されている重複エリア内に位置している人物と、相手側オブジェクトマップに登録されている重複エリア内に位置している人物と、を１対１で対応付ける組み合せパターンを作成する（ｓ２５）。ｓ２５で作成される組み合せのパターン数は、例えば、重複エリア内に位置している人物が２人であれば２通りであり、また重複エリア内に位置している人物が３人であれば６通りである。

また、監視カメラ端末１は、今回作成した自端末側オブジェクトマップに登録されている人物の中で、重複エリア内に位置する人物毎に、第１の座標変換パラメータを用いて、その人物の座標位置を相手側端末の座標系に変換する（ｓ２６）。監視カメラ端末１は、ｓ２５で作成した組み合せパターン毎に、第１の距離エネルギーを算出する（ｓ２７）。この第１の距離エネルギーは、相手側端末の座標系での、対応する組み合せパターンにおいて対応付けた人物間の距離の総和である。

また、監視カメラ端末１は、ｓ２４で読み出した相手側オブジェクトマップに登録されている人物の中で、重複エリア内に位置する人物毎に、第２の座標変換パラメータを用いて、その人物の座標位置を自端末の座標系に変換する（ｓ２８）。監視カメラ端末１は、ｓ２５で作成した組み合せパターン毎に、第２の距離エネルギーを算出する（ｓ２９）。この第２の距離エネルギーは、自端末の座標系での、対応する組み合せパターンにおいて対応付けた人物間の距離の総和である。

監視カメラ端末１は、ｓ２４で作成した組み合せパターン毎に、総合距離エネルギーを算出する（ｓ３０）。この総合距離エネルギーは、組み合せパターン毎に、その組み合せパターンの第１の距離エネルギーと、第２の距離エネルギーとの和である。

監視カメラ端末１は、ｓ３０で得た総合距離エネルギーが最小である組み合せパターンを、重複エリア内に位置する人物の適正な対応付けと判断する。そして、総合距離エネルギーが最小である組み合せパターンによる人物の対応付けにより、重複エリア内に位置する人物を同定する（ｓ３１）。そして、監視カメラ端末１は、仮ＩＤを付与した人物については、付与されている仮ＩＤを無効とし、同定した人物に付与されているＩＤに確定する（ｓ３２）。ｓ３２では、オブジェクトマップにおける、仮ＩＤを同定した人物に付与されているＩＤに置き換える。

上述したように、オブジェクトマップを作成するとき、他の物体によって足元が撮像されていない人物であっても、その人物について推定した身長を用いて、足元の座標位置を取得している。すなわち、他の物体によって足元が撮像されていない人物であっても、足元の座標位置が精度良く取得されている。したがって、重複エリアに位置する人物の同定精度の向上が図れ、特異な行動をとった不審者等を見失うことなく、その追跡が広域にわたって行える。しかも、本処理は、仮ＩＤを付与した人物を登録したオブジェクトマップを作成したときに行うので、人物の同定にリアルタイム性を持たせることができる。

また、ステレオカメラ等を用いて、人物の３次元情報を得る必要がないので、コストアップが十分に抑えられる。

なお、上記の説明では、重複エリア内に位置する人物の同定精度を確保するために、第１の距離エネルギーと、第２の距離エネルギーとの和を総合距離エネルギーとしたが、第１の距離エネルギー、または第２の距離エネルギーの一方を総合距離エネルギーとしてもよい。このようにすれば、監視カメラ端末１の処理負荷を低減することができる。

１（１Ａ〜１Ｈ）−監視カメラ端末
１１−制御部
１２−撮像部
１３−画像処理部
１３ａ−位置係数テーブル
１３ｂ−属性推定情報
１３ｃ−属性テーブル
１４−記憶部
１５−タイマ
１６−通信部

Claims (3)

1. 自端末に割り当てられている監視対象エリアを撮像したフレーム画像毎に、撮像されている人物を抽出する人物抽出手段と、
   前記人物抽出手段が抽出した人物に、その人物を識別するＩＤを付与するＩＤ付与手段と、
   前記ＩＤ付与手段がＩＤを付与した人物について、その人物のフレーム画像上における足元の座標位置を取得する足元位置取得手段と、
   前記人物抽出手段が抽出した人物毎に、その人物に付与されているＩＤと、フレーム画像上における足元の座標位置と、を対応付けたオブジェクトマップを作成するオブジェクトマップ作成手段と、
   前記オブジェクトマップ作成手段が作成したオブジェクトマップを用いて、自端末に割り当てられている監視対象エリア内に位置する人物を追跡する追跡手段と、を備えた監視カメラ端末であって、
   前記ＩＤ付与手段がＩＤを付与した人物毎に、その人物の身長を推定する身長推定手段と、
   割り当てられている監視対象エリアが、自端末の監視対象エリアの一部と重複している相手側端末とのデータ通信により、この相手側端末が作成した相手側オブジェクトマップを取得する相手側オブジェクトマップ取得手段と、
   自端末のフレーム画像上の座標位置と、前記相手側端末のフレーム画像上の座標位置とにおける、相対的な位置関係を示す座標変換情報を記憶する座標変換情報記憶手段と、
   自端末の監視対象エリアと、相手側端末の監視対象エリアとが重複している重複エリア内において、自端末が抽出した人物と、相手側端末が抽出した人物とを同定する同定手段と、を備え、
   前記足元位置取得手段は、フレーム画像に足元が撮像されていない人物については、前記身長推定手段が推定した身長を用いて、その人物の足元の座標位置を取得し、
   前記同定手段は、前記座標変換情報記憶手段が記憶している前記座標変換情報を用いて、自端末が抽出した人物の位置、および相手側端末が抽出した人物の位置を共通の座標系の位置に変換し、この共通の座標系における、自端末が抽出した人物の足元の座標位置と、相手側端末が抽出した人物の足元の座標位置との距離によって、前記重複エリアに位置する人物を同定する、監視カメラ端末。
2. 前記身長推定手段は、前記ＩＤ付与手段がＩＤを付与した人物について、その人物の足元と頭頂部とが撮像されているフレーム画像上における、足元の座標位置、および頭頂部の座標位置に基づいて身長を推定する第１の身長推定を行う、請求項１に記載の監視カメラ端末。
3. 人物の属性別に、推定身長を対応付けて登録した属性テーブルを記憶する属性テーブル記憶手段と、
   前記ＩＤ付与手段がＩＤを付与した人物について、その人物の顔が撮像されているフレーム画像から顔部品の特徴量を抽出し、当該人物の属性を推定する属性推定手段と、を備え、
   前記身長推定手段は、前記ＩＤ付与手段がＩＤを付与した人物の身長を、前記属性テーブルにおいて、前記属性推定手段が推定した当該人物の属性に対応付けられている推定身長にする第２の身長推定を行う、請求項１、または２に記載の監視カメラ端末。

Images