JP6831117B2 - 移動体追跡方法及びこれに用いる画像処理装置 - Google Patents

Description

本発明は、複数のカメラを連携させて広域にわたって同一移動体の行動を追跡するための移動体追跡方法及び画像処理装置に関する。ここで移動体としては、人物、その他の動物、自動車等の車両など様々な移動体を含む。

移動体としての人物をカメラ画像を用いて検出する人物検出システムは、例えば、店舗の客数カウントなどの用途に用いられ、店舗の来客パターンの分析などに利用される。人物検出システムとして、例えば、カメラで人物を検出する場合、予め人物モデルを設定しカメラ画像中からこの人物モデルと合致する画像を検出することで人物を検出するようにした方法が知られている（例えば、特許文献１参照）。また、画像の座標系上の位置からワールド座標系の３次元座標系上の位置へと変換する技術及び、ワールド座標系の３次元座標系を地上からの高さを仮定することで画像の座標系の位置へと変換する技術も知られている（例えば、特許文献２参照）。

特許第３４０６５８７号公報 特開２００６−３３８１２３号公報 特開２０１６−１６２３０６号公報 米国特許第７３１９４７９号明細書

複数のカメラを用いて監視領域の全域にわたって人物を追跡する場合、人物位置を予め２台のカメラ間の距離が分かっている隣接する２台のカメラの真下位置からの距離に基づいて人物同定（同一人物判定）をしようとすると、カメラ位置と人物位置との距離が長くなるため、カメラの設置条件などの原因から誤差が大きくなり、人物同定が困難となることがある。また、各カメラからの人物位置情報を受け取り、監視領域を表す大きな１つの平面地図上にマッピングする等して人物の行動記録を検出するためには、例えば特許文献４のように複数のカメラを取りまとめる統括的なサーバーが必要であった。

また、上記の方法においては隣接する２台のカメラの設置角度や向き、設置距離を事前に計測しておくまたは一定にしておく必要があり、実際にはカメラの傾きの計測は特に困難であり、更にカメラ設置時の作業が煩雑であるという課題があった。
カメラの設置条件が完全に計測出来ている場合にはカメラ画像から推定される人物の距離の誤差は少ないが、実際にはカメラの設置角度や地面の傾きなどの誤差要因を完全に取り除くことは困難であり、カメラ画像においてカメラの真下位置からの距離に基づいた人物距離の推定を行うと、カメラ真下位置から人物位置との距離が遠くなるほど誤差が累積してより大きな誤差が生じてしまう。

以上の課題は、人物を対象とする場合に限らず、自動車等の様々な移動体を対象とする場合も同様である。
本発明は、以上の事情に鑑みてなされたものであり、統括的なサーバー要素を不要とし、隣接する２台のカメラ間だけの関係で精度よく移動体の同定を行い追跡することが可能となる移動体追跡方法及びこれに用いる画像処理装置を提供することを目的とする。

本発明に係る移動体追跡方法は、
複数のカメラの視野領域が設定される監視領域の移動体を追跡する方法であって、
隣接する２台のカメラの視野領域が部分的に重複する重複視野領域を有し、
重複視野領域において隣接する２台のカメラの視野領域間で同一位置として扱う共有点を配置し、
前記共有点は、前記重複視野領域に目印を２点配置してこれら２点の目印を共有点とし、更にこの２つの共有点の中間位置に配置する中点を共有点として加え、これら全ての前記共有点のうちの１点を基準点とし、
各カメラが各々の視野領域で検出する移動体を、実空間での移動体の外形をかたどった移動体モデルベースと照合して移動体モデルベースの位置を当該移動体の代表点として表して追跡し、
重複視野領域内で隣接する２台のカメラの各々が検出する移動体に対して、前記基準点と前記代表点で表す移動体の実空間上の移動体位置との実距離及び方向が許容値以内にある移動体同士を同一移動体と判定し、
同一移動体と判定した移動体について一方のカメラ側での移動体追跡情報を隣接する他方のカメラ側へと伝達して隣接する２台のカメラ間を連携させる。

また、本発明に係る画像処理装置は、
前記移動体追跡方法に共通に用いる画像処理装置であって、
カメラとプロセッサとを有し、
プロセッサは、
自己のカメラの視野領域が隣接する他のカメラの視野領域と部分的に重複する重複視野領域において各視野領域間で同一位置として扱う共有点を記録し、前記共有点は、前記重複視野領域に目印を２点配置してこれら２点の目印を共有点とし、更にこの２つの共有点の中間位置に配置する中点を共有点として加え、これら全ての前記共有点のうちの１点を基準点として記録する共有点記録部と、
自己のカメラが視野領域で検出する移動体を、実空間での移動体の外形をかたどった移動体モデルベースと照合して移動体モデルベースの位置を当該移動体の代表点として表す画像処理プロセス部と、
画像処理プロセス部で捉えた移動体を追跡する追跡処理プロセス部と、
追跡している移動体の移動体位置情報を隣接する他のカメラ側の画像処理装置と通信する通信プロセス部と、
重複視野領域内で自己のカメラと隣接する他のカメラの各々が検出する移動体に対して、前記基準点と前記代表点で表す移動体の実空間上の移動体位置との実距離及び方向が許容値以内にある移動体同士を同一移動体と判定する一致判定プロセス部とを備える。

本発明によれば、統括的なサーバー要素を不要とし、共有点の登録のみで動作するため設定が容易であり、隣接する２台のカメラ間だけの関係で精度よく移動体同定を行い追跡することが可能となる。また、移動体追跡のためのカメラ台数も実質的に制限なく連動することができる。よって、広域にわたり大規模な移動体追跡が可能となる。

実施形態の人物追跡システムを示す全体構成図である。 ２台のカメラの重複視野領域に２つ共有点と１つ中点を配置した状態を示す模式図である。 ２台のカメラの重複視野領域で認識された人物の人物同定方法として基準点と人物位置との間の距離及び方向を表した各視野領域を示す模式図である。 地上高さを持つ共有点から地上高さ０の中点を算出する方法を説明するために重複視野領域での各視野領域を示す模式図である。 実施形態における画像処理装置の構成を示すブロック図である。 ２つのカメラ画像の座標系に角度差を有する状態を示す模式図である。

以下に、本発明の実施形態について添付図面を参照しながら説明する。
本実施形態では、移動体として人物を対象とする。ただし、本発明は、人物に限らず、人間以外の動物や自動車等の車両など様々な移動体を対象とすることができる。
図１、図２に示すように、移動体追跡システムとしての人物追跡システム１は、カメラ１１（１１ａ，１１ｂ，１１ｃ等）を備える画像処理装置２（２ａ，２ｂ，２ｃ等）を複数有し、これらの画像処理装置２がＬＡＮ等のネットワーク３により通信接続されている。また、ネットワーク３には集計装置４が接続されている。集計装置４には各画像処理装置２で連携して追跡した人物５の人物追跡情報が最後に出力される。各画像処理装置２は、カメラ１１とプロセッサ１２とを備えている。これらの画像処理装置２は、同一構造を有し、同一のプログラムで作動し、連携して人物追跡を行う。

なお、隣接する画像処理装置２間ではカメラ画像の同期が取れていてカメラ画像の同時性が担保されているものとする。このとき、ネットワーク３はイーサネット（登録商標）など高速通信が可能なネットワークであることが好ましい。

カメラ１１は、CMOSカメラ等の撮像手段であり、その視野領域１３（１３ａ，１３ｂ，１３ｃ等）の範囲内で監視領域６を常時撮像し、このカメラ画像（視野領域１３）をビデオ信号として連続的にプロセッサ１２（１２ａ，１２ｂ，１２ｃ等）に送信する。各カメラ１１は、監視領域６の床面等を撮像するように天井又は壁等に設置されている。また、各カメラ１１は、監視領域６に対して隣接する２台のカメラ１１の視野領域１３（１３ａ，１３ｂ，１３ｃ等）が部分的に重複する重複視野領域３０（３０ａｂ，３０ｂｃ等）を持つように設置される。なお、図１では、視野領域１３が横方向一列に隣接するように複数のカメラ１１を設置しているが、視野領域１３の周囲４方向の任意の位置に別の視野領域１３が隣接するように複数のカメラ１１を設置するようにしてもよい。

プロセッサ１２は、カメラ１１が撮像する視野領域１３の人物５を捉えて追跡し、隣接する他の画像処理装置２へ同一人物の人物追跡情報を伝達し、隣接する２つの画像処理装置２間で人物５の追跡を連携させる。プロセッサ１２は、人物５が一方の視野領域１３から他方の視野領域１３へ移動する際、同一人物か否か人物同定を行う。この人物同定方法は、隣接する２台のカメラ１１の視野領域１３が部分的に重複する重複視野領域３０において各々のカメラ１１側で撮像する人物５について、図３に示すように、基準点１８から人物位置５１までの実距離ｄｐ１，ｄｐ２及び方向α１，α２が同一性を有する人物５ａ，５ｂ同士を同一人物として判定する。人物同定方法の詳細は後述する。

図５に示すように、プロセッサ１２は、共有点記録部２１、人物追跡履歴記録部２２、画像処理プロセス部２３、追跡処理プロセス部２４、座標変換プロセス部２５、通信プロセス部２６、一致判定プロセス部２７などを備えている。このプロセッサ１２により人物追跡方法が実現される。

共有点記録部２１は、隣接する２台のカメラ１１の視野領域１３が部分的に重複する重複視野領域３０にマーカーにより目印を２点配置し、これら２点を共有点１５，１６として記録する。この２つの共有点１５，１６は、隣接する２台のカメラ１１の各々の視野領域１３で同一位置として扱われる。また、共有点記録部２１は、２つの共有点１５，１６の実空間上の中間位置に配置する中点１７を共有点として記録する。中点１７も隣接する２台のカメラ１１間では、各々の視野領域１３での同一位置として扱われる。すなわち、共有点１５，１６は、マーカーを目印として決定した点であり、中点１７は、この目印の点（共有点１５，１６）を基に決定した点であるが、いずれの点１５〜１７も、隣接する２台のカメラ１１の各々の視野領域１３で同一位置として扱われる共有点とするものである。共有点１５，１６、及び、共有点として登録された中点１７の中から代表点１４で表す人物５の人物位置５１まで最も近い点を選択し、重複視野領域３０内で人物同定を行う際の基準点１８とされる。人物同定の際、この基準点１８から人物位置５１までの実距離ｄｐ１，ｄｐ２及び方向α１，α２が求められる。これによれば、例えば、カメラ位置の真下位置から人物位置までの実距離を求めて人物同定を行う場合に比べて短い距離となるので、距離の誤差も小さくすることができ、また、登録された共有点１５〜１７は隣接する２台のカメラ１１の各々の視野領域１３で同一地点と定義することで基準点１８が校正され、誤差を減らすことが出来る。その結果、人物同定を精度よく行うことができる。なお、共有点として登録された中点１７は、重複視野領域３０のほぼ中央付近に配置されるから、この中点１７を基準点１８としてもよい。この場合、重複視野領域３０内の人物位置５１との間の距離ｄｐ１，ｄｐ２も相対的に短い距離として得やすく、また、基準点１８の決定処理も簡易に行なうことができる。また、２つの各共有点１５，１６は、重複視野領域３０の任意の位置に配置することができるが、長方形形状の重複視野領域３０では各短辺側にそれぞれ配置するのが好ましく、また、各共有点１５，１６は、重複視野領域３０の短辺の中央付近に配置するのが好ましい。これにより、２つの共有点１５，１６と１つの中点１７の３点をできるだけ重複視野領域３０内で分散させることができる。

なお、図３において共有点１５，１６を決めるためのマーカーは地上面（地上高さ０）に配置されたものとして説明しているが、実際にはマーカーの地上高さは任意の高さとすることができる。

また、共有点１５，１６を決めるための目標としてマーカーを配置しているが、重複視野領域３０内に同一の地点または物体と判断できる特徴があれば、この特徴を基に共有点１５，１６を配置することができ、目印としてマーカーを配置する必要はない。

共有点記録部２１には地上高さの情報とカメラ画像上の位置情報が記録される。これにより、公知の座標変換技術（例えば、段落０００２等）により、共有点１５，１６の地上高さを変更した場合のカメラ画像上の位置を算出することが可能となる。座標変換技術により、例えば、図４に示すように、共有点１５，１６が地上高さ０のときのカメラ画像上の位置を点５２，５３として登録する。そして、この地上高さ０の共有点５２，５３から地上高０の中点１７を算出することが出来る。ただし、計算が煩雑になることと、実際には目印となるマーカーは地上面に配置されることが多いことから、地上高さ０で固定して共有点１５，１６を取得することが好ましい。

重複視野領域３０が広い場合においては、共有点を３点以上配置することで重複視野領域３０内で共有点を分散させることができ、精度を安定させることが出来る。また、それぞれの共有点の実空間上の中間位置に配置する中点を求めて共有点として記録することで、更に共有点の数を増やし、共有点から人物位置までの距離を短くすることで人物同定の精度を安定させることが出来る。

また、図３では共有点１５，１６の２点間の実空間上の中間位置に中点１７を配置しこれを共有点として追加する説明としているが、追加する共有点は、このような中点１７に限定されない。例えば、共有点１５，１６を基に更に追加する共有点として、共有点１５，１６の２点を結ぶ実空間上の線上に位置する任意の数の点より１点又は２点以上選択して決定してもよいし、更には共有点１５，１６から算出される実空間上の位置が同一として扱われる点を１点又は２点以上選択して決定してもよい。特に、初期化時に画像上の全ての地点に対応するように実空間上の位置が同一として扱われる点を配置することで、一致判定プロセス部２７の計算量を軽減することが出来る。

また、目印より決定する共有点は、図３では点１５，１６の２点で説明しているが、隣接する２台のカメラ１１の視野領域１３の画像上のそれぞれの座標系１９ａ，１９ｂが同じ座標系であると予め分かっている場合においては１点の共有点のみを配置、記録し、この１点の共有点を基準点１８と扱うことで目印（マーカー）の記録を行う手間を減らすことが出来る。

人物追跡履歴記録部２２は、自己の画像処理装置２で追跡する人物５の人物追跡情報を記録し、また、隣接する他の画像処理装置２から伝達されてきた人物５の人物追跡情報を記録する。

画像処理プロセス部２３は、カメラ１１が撮像するカメラ画像（視野領域１３）内の人物５を認識し捉える処理を行う。この画像処理プロセス部２３での人物認識方法として、ベクトル焦点法（特許第３４０６５８７号）を用いてカメラ画像中の人物５を、標準化された人物モデルベース（例えば、実空間で身長１６００ｍｍの人物の外形をかたどったモデル）と照合することにより人物５を認識し検出する。認識された人物５は、カメラ画像上でその人物５を代表点１４として表す。また、人物モデルベースから得られた画像上の人物５の代表点１４を座標変換技術（例えば、段落０００２で説明した座標変換技術等）を用いて、人物５の実空間上の地上高０の地点を実空間上の人物位置５１として算出する。これにより、視野領域１３において人物位置５１を誤差が少ない状態で示すことができる。

なお、人物認識方法として、例えば、人物画像の重心位置を人物位置として示す方法を用いると、カメラ画像上に映る形状によって人物画像の重心位置が変わることから人物位置が変動し、人物位置の検出に誤差が大きく生じる。また、人物画像の重心位置それ自体も地上高さがどの位置となるか不明である。その結果、人物同定において別人であると間違えるおそれが高くなる。これに対して、ベクトル焦点法（特許第３４０６５８７号）のように人物位置を標準化した人物モデルベースと照合し人物モデルベースの足元位置（地上高さ０の位置）を人物位置５１の形で正規化する。これにより、カメラ画像で捉える人物位置を誤差の少ない状態で表すことができ、人物同定を精度よく行うことができる。

追跡処理プロセス部２４は、画像処理プロセス部２３で捉えた人物５を時系列的に追跡する処理を行う。

座標変換プロセス部２５は、追跡している人物５の位置をカメラ画像の２次元座標系により座標変換する処理を行う。この際、図６に示すように、自己のカメラ１１におけるカメラ画像（１３ａ）の２次元座標系１９ａと隣接するカメラ１１におけるカメラ画像（１３ｂ）の２次元座標系１９ｂとに角度差θがある場合は、２点の共有点１５，１６を結ぶ線から角度差θを求めることができ、下記式１より前記の角度差θから算出した回転行列を用いて座標変換した人物位置５１を算出する。これにより、２台のカメラ１１間でカメラ画像の２次元座標系に角度差θがある場合でも、各々の視野領域１３ａ，１３ｂにおける人物位置５１を同一の２次元座標系として扱うことができる。

図６の例では、角度差θは、視野領域１３ａ，１３ｂそれぞれの座標軸（例えば、ｙ軸）と共有点１５，１６を結ぶ直線との差から求められた角度θａ，θｂの合計から求める。すなわち、角度差θは、視野領域１３ａ側の画像処理装置２ａにおいてはθａ−θｂの式で、視野領域１３ｂ側の画像処理装置２ｂにおいてはθｂ−θａの式で求めることができるため、予め画像処理装置２ａ，２ｂ間で角度差θを算出しておく。
若しくは、画像処理装置２ａ，２ｂ各々の座標変換プロセス部２５において、各々の角度θａ，θｂから算出した回転行列を用いて送受信時に変換することで、各々の視野領域１３ａ，１３ｂにおける人物位置５１を同一の２次元座標系として扱うことが出来る。

通信プロセス部２６は、座標変換プロセス部２５が出力する人物５の位置座標（人物位置情報）を隣接する画像処理装置２へ送信し、また、隣接する画像処理装置２から送信された人物５の位置座標（人物位置情報）を受信する。また、通信プロセス部２６は、同一人物と判定した人物５についての人物追跡情報を隣接する画像処理装置２との間で通信する。さらに、通信プロセス部２６は、最後に人物追跡情報を伝達すべきカメラ１１側となる画像処理装置２が無い場合は当該人物追跡情報を集計装置４へ送信する。

一致判定プロセス部２７は、重複視野領域３０内の人物５に対して隣接する２台のカメラ１１の各々で撮像する人物同士が同一人物であるか否かの人物同定の処理を行う。すなわち、隣接する２台のカメラ１１の重複視野領域３０内の人物５に対して、一方のカメラ１１側における基準点１８から人物位置５１までの間の実空間上の実距離及び方向と、他方のカメラ１１側における基準点１８から人物位置５１までの間の実空間上の実距離及び方向とを対比する。その結果、前記の距離と方向において同一性を有する人物同士を同一人物と判定する。この人物同定は、重複視野領域３０内に複数の人物５が存在する場合は、複数の人物のすべてに対して個々に対比判断して同一人物の特定を行う。

人物同定の際の同一性は、一致判定における距離と方向についての許容値としてはモデルベース幅以内の値を設定するのが好ましい。例えば、人物モデルベースの幅が４２ｃｍ程度の場合、許容値として３０ｃｍとし、前記一致判定における距離と方向を対比したときの差がこの許容値以内であれば、同一人物であると判定することができる。

次に、この人物追跡システム１による人物追跡方法を説明する。
複数のカメラ１１は、隣接する２台のカメラ１１の各々の視野領域１３が端部の領域で重複する重複視野領域３０を持つように設置される（図１参照）。そして、初期設定として、重複視野領域３０には、マーカーにより目印を２点配置し、この２点を隣接する２台のカメラ１１の視野領域１３間で同一位置として扱う共有点１５，１６とする（図２参照）。この共有点１５，１６により隣接する２台のカメラ１１の各々の視野領域１３が関連付けられて連結される。共有点１５，１６を決定すると、２つの共有点１５，１６の実空間上の中間位置に中点１７が配置される。共有点１５，１６またはこの中点１７から選択された人物同定に用いる点を基準点１８とする。ここでは、例えば、中点１７を基準点１８とする（図３参照）。以上の設定がなされた複数の画像処理装置２を用いて監視領域６の人物追跡を行う。

例えば、図２に示すように、隣接する２台のカメラ１１ａ，１１ｂ間で一方のカメラ１１ａ側の視野領域１３ａ内に人物５を新たに検出した時は、この人物５に新たな人物ＩＤを付与し人物５を代表点１４で示して追跡を行う。そして、人物５が重複視野領域３０ａｂ内に入ると、他方のカメラ１１ｂ側では自身の視野領域１３ｂ内に新たな人物５として検出されることとなるので、同様に、この人物５に新たなＩＤを付与し人物５を代表点１４で示して追跡を行う。すなわち、重複視野領域３０ａｂ内では、隣接するカメラ１１ａ，１１ｂ毎に検出した人物５に人物ＩＤが付与され、カメラ１１ａ，１１ｂ毎に各々の視野領域１３ａ，１３ｂ内で人物５の追跡が行われる。

図５を参照して、重複視野領域３０ａｂ内の人物５に対して、一方のカメラ１１ａ側は、自身で検出する人物５の人物位置５１の位置座標を求め、これを人物位置座標データ（人物位置情報）として他方のカメラ１１ｂ側へ伝達し、また、他方のカメラ１１ｂ側も、自身で検出する人物５の人物位置５１の位置座標を求め、これを人物位置座標データ（人物位置情報）として一方のカメラ１１ａ側へ伝達する（図５に示す座標変換プロセス部２５、通信プロセス部２６）。この際、図６に示すように、互いのカメラ１１ａ，１１ｂのカメラ画像（視野領域１３ａ，１３ｂ）において画像上の座標系１９ａ，１９ｂに角度差θがある場合は、２つの共有点１５，１６から求めた回転行列を用いて座標変換した人物位置座標データ（上記式１を参照）を相手方のカメラ１１ａ，１１ｂ側へ伝達する。

そして、隣接する各画像処理装置２ａ，２ｂは、相手方から受け取った人物位置座標データと、自身が検出する人物位置座標データとを対比し、人物同定を行う（図３参照、図５に示す一致判定プロセス部２７）。すなわち、自身の画像処理装置２ａにおける人物位置座標データに基づいて自身で検出する人物位置５１と基準点１８との間の距離ｄｐ１及び方向α１を算出し、また、相手方の画像処理装置２ｂから受け取った人物位置座標データに基づいて相手方で検出する人物位置５１と基準点１８との間の距離ｄｐ２及び方向α２を算出する。これら距離ｄｐ１，ｄｐ２及び方向α１，α２を対比して一致度を求め、一致度が最も高く同一性を有すると認められる人物同士を同一人物であると判定する。この時、人物位置５１と基準点１８との間の距離ｄｐ１，ｄｐ２及び方向α１，α２は、ワールド座標系での距離（実距離）及び方向で表現される。なお、一方の画像処理装置２ａでの人物同定と、他方の画像処理装置２ｂでの人物同定とは、これら画像処理装置２ａ，２ｂ間の双方向通信により共通する人物位置座標データに基づき、また、双方の実空間上のワールド座標系で同一位置である基準点１８に基づき処理されているので、人物同定の結果は、双方の画像処理装置２ａ，２ｂで同じ結果が得られる。

そして、同一人物と判定された人物５については、各々の画像処理装置２ａ，２ｂで付与した人物ＩＤをどちらか一方の人物ＩＤに統合し、この人物５が重複視野領域３０ａｂから脱出すると同時に視野領域１３ａからも脱出する画像処理装置２ａ側の当該人物５の人物追跡情報を、相手方の画像処理装置２ｂへ渡して引き継がせる。このようにして、隣接する２台のカメラ１１ａ，１１ｂ間で同一人物の人物追跡情報を伝達して連携させていく。最後に、人物追跡情報を伝達すべきカメラ１１側となる画像処理装置２が無い状態で人物５が視野領域１３外へ移動した時は、最後のカメラ１１側の画像処理装置２が当該人物５のこれまでの人物追跡情報を、集計装置４へ出力する。

以上の各画像処理装置２は、同一の構成を有し、同一のプログラムで動くものである。従って、各カメラ１１のセットアップも容易であり、迅速にかつ安価に広域の監視領域６に対して人物追跡システム１を構築することができる。

また、２つの共有点１５，１６及び共有点１５，１６間の中点１７を配置し、共有点１５，１６または中点１７のうちから選択された１点を基準点１８として人物位置５１までの距離ｄｐ１，ｄｐ２及び方向α１，α２に基づいて人物同定を行う。これにより、２台のカメラ１１間が共有点１５，１６のみで関連付けて連結されるから、安定して、かつ精度よく人物同定を行うことができる。なお、カメラ位置から人物位置までの距離に基づいて人物同定を行うと、一方のカメラ位置と人物位置との距離、他方のカメラ位置と人物位置との距離、各カメラ間の距離について評価を行うこととなる。この場合、カメラ位置と人物位置との距離や各カメラ間の距離が長くなり、加えてカメラ１１の設置条件などの原因から各距離の誤差が大きくなり、人物同定を安定的に精度よく行うことが困難となる。これに対して、各カメラ１１の重複視野領域３０内に共有点１５，１６を配置して連動し、基準点１８を配置することで、一方のカメラ１１側の人物位置５１と基準点１８との距離、他方のカメラ１１側の人物位置５１と基準点１８との距離について評価を行って人物同定を行うことにより、各距離が短いから距離の誤差があっても小さくなり、かつカメラ位置を認識することなく人物位置の追跡履歴の認識だけに基づいて人物同定を行うことができ、安定的に精度よく人物同定を行うことができる。

以上より、この人物追跡システムによれば、複数の画像処理装置２の各カメラ画像が共有点１５，１６のみで関連付け連結されていること、連結のための画像処理装置２間の通信が人物位置座標データと人物追跡情報だけで済み画像データの通信を行わないため通信量が少ないこと等の特徴を有している。これより、隣接する２台のカメラ１１間だけの関係で人物５を追跡することができるから、各カメラ１１からの人物位置情報をマッピングするための監視領域６全域にわたった統一的な地図情報が不要であり、また、複数のカメラ１１を取りまとめる統括的なサーバー要素も不要であり、さらに、追跡のためのカメラ１１の台数も実質的に制限が無い等の効果を有する。また、広域な監視領域６にわたり大規模な人物追跡が可能となる。

なお、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲内で必要な変形を施すことが可能である。

上記実施形態では、例として人物の追跡を挙げているが、人物以外の移動体のモデルベース（例えば自動車）を用いることで、前記のモデルベースと照合し、移動体位置を算出することで上記実施形態と同様の方法で移動体同定を精度よく行うことが出来る。

１ 人物追跡システム
２ 画像処理装置
３ ネットワーク
４ 集計装置
５ 人物（移動体）
６ 監視領域
１１ カメラ
１２ プロセッサ
１３ 視野領域
１４ 代表点
１５，１６ 共有点
１７ 中点（共有点）
１８ 基準点
２１ 共有点記録部
２２ 人物追跡履歴記録部
２３ 画像処理プロセス部
２４ 追跡処理プロセス部
２５ 座標変換プロセス部
２６ 通信プロセス部
２７ 一致判定プロセス部
３０ 重複視野領域
５１ 人物位置（移動体位置）
５２，５３ 共有点の位置（地上高さ０）
ｄｐ１，ｄｐ２ 距離
α１，α２ 方向
θ 角度差

Claims (4)

1. 複数のカメラの視野領域が設定される監視領域の移動体を追跡する方法であって、
   隣接する２台のカメラの視野領域が部分的に重複する重複視野領域を有し、
   重複視野領域において隣接する２台のカメラの視野領域間で同一位置として扱う共有点を配置し、
   前記共有点は、前記重複視野領域に目印を２点配置してこれら２点の目印を共有点とし、更にこの２つの共有点の中間位置に配置する中点を共有点として加え、これら全ての前記共有点のうちの１点を基準点とし、
   各カメラが各々の視野領域で検出する移動体を、実空間での移動体の外形をかたどった移動体モデルベースと照合して移動体モデルベースの位置を当該移動体の代表点として表して追跡し、
   重複視野領域内で隣接する２台のカメラの各々が検出する移動体に対して、前記基準点と前記代表点で表す移動体の実空間上の移動体位置との実距離及び方向が許容値以内にある移動体同士を同一移動体と判定し、
   同一移動体と判定した移動体について一方のカメラ側での移動体追跡情報を隣接する他方のカメラ側へと伝達して隣接する２台のカメラ間を連携させる移動体追跡方法。
2. 請求項１に記載の移動体追跡方法において、
   隣接する２台のカメラが撮像する画像上の座標系に角度差がある場合は、２つの共有点から求めた回転行列を用いて変換した移動体位置情報を用いて同一移動体の判定を行う移動体追跡方法。
3. 請求項１又は２に記載の移動体追跡方法において、
   一方のカメラ側で検出する移動体が視野領域外へ移動した時に、移動体追跡情報を伝達すべき他方のカメラ側が無い場合は、この移動体の移動体追跡情報を集計装置に出力する移動体追跡方法。
4. 請求項１〜３のいずれか１項に記載の移動体追跡方法に共通に用いる画像処理装置であって、
   カメラとプロセッサとを有し、
   プロセッサは、
   自己のカメラの視野領域が隣接する他のカメラの視野領域と部分的に重複する重複視野領域において各視野領域間で同一位置として扱う共有点を記録し、前記共有点は、前記重複視野領域に目印を２点配置してこれら２点の目印を共有点とし、更にこの２つの共有点の中間位置に配置する中点を共有点として加え、これら全ての前記共有点のうちの１点を基準点として記録する共有点記録部と、
   自己のカメラが視野領域で検出する移動体を、実空間での移動体の外形をかたどった移動体モデルベースと照合して移動体モデルベースの位置を当該移動体の代表点として表す画像処理プロセス部と、
   画像処理プロセス部で捉えた移動体を追跡する追跡処理プロセス部と、
   追跡している移動体の移動体位置情報を隣接する他のカメラ側の画像処理装置と通信する通信プロセス部と、
   重複視野領域内で自己のカメラと隣接する他のカメラの各々が検出する移動体に対して、前記基準点と前記代表点で表す移動体の実空間上の移動体位置との実距離及び方向が許容値以内にある移動体同士を同一移動体と判定する一致判定プロセス部とを備える画像処理装置。

Images