JP6280020B2

JP6280020B2 - 移動物体追跡装置

Info

Publication number: JP6280020B2
Application number: JP2014219296A
Authority: JP
Inventors: 直也大島; 黒川　高晴; 高晴黒川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2014-10-28
Filing date: 2014-10-28
Publication date: 2018-02-14
Anticipated expiration: 2034-10-28
Also published as: JP2016085675A

Description

本発明は、監視領域内を移動する複数の物体を追跡する移動物体追跡装置に関する。

監視領域内を移動する人等の監視対象物を追跡監視するシステムが知られている。このようなシステムにおいて、監視領域内に複数の移動物体が存在する場合、その一部が他の移動物体の陰に隠れると、隠れた移動物体の画像特徴が近接する他の移動物体の領域に誤ってマッチしてしまうおそれがある。そのため、移動物体の追跡に先立って画像上の複数の移動物体（移動物体グループ）の位置関係を追跡の拘束条件として予め設定し、設定した位置関係に近い領域ほどマッチし易くなるように重み付けする提案がなされている（非特許文献１）。

ＧｅｎｑｕａｎＤｕａｎ，ＨａｉｚｈｏｕＡｉ，ＳｏｎｇＣａｏ，ＳｈｉｈｏｎｇＬａｏ， "ＧｒｏｕｐＴｒａｃｋｉｎｇ：ＥｘｐｌｏｒｉｎｇＭｕｔｕａｌＲｅｌａｔｉｏｎｓｆｏｒＭｕｌｔｉｐｌｅＯｂｊｅｃｔＴｒａｃｋｉｎｇ"，ＥＣＣＶ２０１２，ＬｅｃｔｕｒｅＮｏｔｅｓｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＶｏｌｕｍｅ７５７４，２０１２，ｐｐ１２９−１４３

しかしながら、従来技術においては、移動物体のグループの位置関係を予め固定的に設定しており、監視領域を撮像した画像内に現れた複数の移動物体の中から移動物体のグループを動的に選択して設定する仕組みがなかった。そのため、追跡処理において不当な拘束条件が設定され、追跡の精度が低下するおそれがあった。

例えば、外れた動きをする移動物体を含めた移動物体グループを設定してしまうと、グループ内の移動物体の位置が過去フレームと現在フレームで入れ替わる。そのため、過去フレームの位置関係に近い領域ほど現在フレームでマッチし易くすると、逆に誤ったマッチングを助長してしまうおそれがあった。

本発明は、上記問題を鑑みてなされたものであり、移動物体グループを適切に設定でき、それによって位置の入れ替りが生じ得る複数の移動物体を高精度に追跡可能な移動物体追跡装置を提供することを目的とする。

本発明の１つの態様は、時系列画像上に現れた複数の移動物体を追跡する移動物体追跡装置であって、前記移動物体の各々の画像特徴、及び前記時系列画像のうち注目フレームよりも過去に撮像された複数の過去フレームにおける前記移動物体の各々の検出位置を記憶する記憶手段と、前記注目フレームにおいて前記移動物体の各々の前記画像特徴が現れている位置を前記注目フレームにおける検出位置と判定する物体位置判定手段と、を備え、前記物体位置判定手段は、を備え、前記物体位置判定手段は、前記記憶手段に記憶された前記検出位置を比較して前記移動物体同士の位置関係を求め、前記複数の過去フレームに亘って前記位置関係の変化量が所定基準値未満である前記移動物体のグループを抽出するグループ抽出手段と、前記注目フレームにおいて前記グループとして抽出された前記移動物体の前記画像特徴が現れている位置の組み合わせから、当該グループについて求められた前記位置関係との誤差が小さな組み合わせほど当該移動物体の前記検出位置として判定され易くする判定補正手段と、を含むことを特徴とする移動物体追跡装置である。

ここで、前記判定補正手段は、さらに前記変化量が小さい前記グループほど前記注目フレームにおいて当該グループとして抽出された前記移動物体の前記画像特徴が現れている位置の組み合わせが当該移動物体の前記検出位置として判定され易くすることが好適である。

また、前記判定補正手段は、さらに前記変化量が前記所定基準値未満であるフレーム数が多い前記グループほど前記注目フレームにおいて当該グループとして抽出された前記移動物体の前記画像特徴が現れている位置の組み合わせが当該移動物体の前記検出位置として判定され易くすることが好適である。

また、前記グループ抽出手段は、前記記憶手段に記憶された前記検出位置同士の距離が所定距離基準値未満である前記移動物体から前記グループを抽出することが好適である。

また、前記注目フレームにおいて前記移動物体の各々の前記検出位置の候補となる候補位置を設定する候補位置設定手段、をさらに備え、前記物体位置判定手段は、前記移動物体の各々の前記候補位置における前記注目フレームの画像と当該移動物体の前記画像特徴との類似性に基づいて当該候補位置毎に当該移動物体が存在していることの尤もらしさを示すスコアを算出し、当該スコアが高いほど前記移動物体毎の前記検出位置として判定され易くし、前記判定補正手段は、前記グループとして抽出された前記移動物体について、当該グループについて求められた前記位置関係との誤差が小さいほど前記候補位置の組み合わせについて前記スコアを高くすることが好適である。

また、前記グループ抽出手段は、前記記憶手段に記憶されている前記検出位置のうち前記スコアが所定スコア基準値以上であったときの前記検出位置を比較して前記グループを抽出することが好適である。

本発明によれば、複数フレームに亘って類似した位置関係を維持している移動物体を動的に選んで位置関係の拘束条件を設定するので、位置の入れ替りが生じ得る複数の移動物体を高精度に追跡できる。

本発明の実施の形態における人物追跡装置の構成を示す図である。本発明の実施の形態における人物追跡装置の機能ブロック図である。本発明の実施の形態におけるグループ情報の登録例を示す図である。本発明の実施の形態における人物同士が重なり合うときの位置履歴の例を示す図である。本発明の実施の形態におけるグループ抽出処理を説明する図である。本発明の実施の形態におけるスコア補正処理を説明する図である。本発明の実施の形態における人物追跡処理を示すフローチャートである。本発明の実施の形態におけるグループ抽出処理を示すフローチャートである。本発明の実施の形態における相対距離を用いた処理を説明する図である。

＜システム構成＞
本発明の実施の形態における人物追跡装置１は、図１に示すように、撮影部２、記憶部３、画像処理部４及び出力部５を含んで構成される。画像処理部４は、撮影部２によって撮像された監視領域の監視画像を処理して、監視領域に存在する移動物体（本実施の形態では人物とする）を追跡して、その処理結果を出力部５に出力する。

撮影部２は、監視領域を所定時間おきに撮影し、撮影した監視画像を時系列に順次画像処理部４に出力する。本実施の形態では、同一の監視領域を４台の監視カメラで互いに異なる方向から監視画像を撮像するものとする。

記憶部３は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリ装置を含んで構成される。記憶部３は、画像処理部４を後述する各手段として動作させるためのプログラム、設定データや各手段が生成したデータなどの各種データを記憶し、画像処理部４との間でこれらのプログラムやデータを入出力する。

画像処理部４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）等の少なくとも一つのプロセッサ及びその周辺回路を含んで構成される。画像処理部４は、後述する人物追跡装置１の各手段として機能し、時系列の監視画像を処理して監視領域内を移動する人物を追跡し、追跡結果である人物毎の検出位置を出力部５に出力する。なお、画像処理部４は、人物の追跡にあたり、追跡中の人物のうち位置関係の時間変化量が小さな人物の組を移動物体のグループとして検出し、グループを構成する人物の位置関係を利用して誤追跡を防止する。

出力部５は、液晶ディスプレイ、ＣＲＴなどの表示装置を含んで構成される。出力部５は、画像処理部４からの追跡結果を受けて、追跡結果やそれに応じた警報等を出力する。

人物追跡装置１は、図２の機能ブロック図に示すように、物体特徴記憶手段３０、物体位置記憶手段３１、グループ情報記憶手段３２、候補位置設定手段４０及び物体位置判定手段４１として機能する。ここで、記憶部３は、物体特徴記憶手段３０、物体位置記憶手段３１及びグループ情報記憶手段３２などの記憶手段として機能する。また、画像処理部４は、候補位置設定手段４０、物体位置判定手段４１、グループ抽出手段４１０及び判定補正手段４１１等として機能する。グループ抽出手段４１０及び判定補正手段４１１は、物体位置判定手段４１が行う処理の一部を担う。

物体特徴記憶手段３０は、追跡中の人物ごとの画像特徴を当該人物の人物ＩＤと対応付けて記憶する。すなわち記憶部３は、移動物体の各々を時系列画像上で特徴づける画像特徴を記憶する記憶手段として機能する。画像特徴は、例えば、追跡中の人物が監視画像に写されたときの人物画像における形状特徴及び色の分布を示す色ヒストグラム（色特徴）とすることができる。監視領域内に新たな人物が検出されると新規の人物ＩＤと対応付けて当該人物の外形形状を近似した人物形状モデルと当該人物の色ヒストグラムが追記され、当該人物の追跡中は人物形状モデルと色ヒストグラムが適宜更新され、監視領域にて検出されなくなった人物の人物ＩＤ、人物形状モデルおよび色ヒストグラムは削除される。

物体位置記憶手段３１は、物体位置判定手段４１が現フレームまでに検出した各人物の位置である検出位置を当該人物の人物ＩＤ、フレーム番号および検出位置において算出されたスコアと対応付けて記憶する。検出位置のスコアはフレーム番号が示す監視画像中の検出位置において人物ＩＤが示す人物の画像特徴が現れている度合いを示す値である。検出位置は、監視領域の実空間座標系におけるＸＹ平面（床面）の座標で示される。好ましくは、物体位置記憶手段３１は、追跡中の人物について新規出現から現フレームまでの検出位置を記憶可能であり、少なくとも下限値Ｔ_Fだけ過去のフレームに亘る検出位置を記憶可能である。このように、記憶部３は、時系列画像のうち注目フレームよりも過去の複数フレームにおける移動物体の各々の検出位置を記憶する記憶手段としても機能する。

また、物体位置記憶手段３１は、追跡中の各人物について候補位置設定手段４０が現フレームよりも過去の複数フレームにて予測した位置（候補位置）を、後述する物体位置判定手段４１が当該候補位置に対して算出したスコアとともに記憶する。また、物体位置記憶手段３１は、後述する候補位置設定手段４０によって設定された候補位置とスコアを記憶する。本実施の形態では、物体位置記憶手段３１は、各候補位置を、当該人物の人物ＩＤ、フレーム番号、スコア及びパーティクル番号と対応付けた情報をパーティクルとして記憶する。なお、これらの情報の他に、監視カメラの識別番号、人物の体型などを含めてもよい。

グループ情報記憶手段３２は、図３に示すように、人物グループの情報を記憶する。グループ情報記憶手段３２は、追跡中の人物を２人ずつの組み合わせ（人物ペア）単位で管理するために利用される。グループ情報記憶手段３２は、追跡中の全ての人物の組み合わせ（ペア）について、移動物体のグループとして検出されたか否かを表すグループフラグ、位置関係及び当該位置関係の拘束の強度を表すグループ強度を記憶する。

人物ペアの位置関係は、人物間の検出位置の相対位置を表すベクトルとして記憶され、位置関係から人物ペアの一方の検出位置から他方の検出位置への距離及び方向の情報を含む。本実施の形態では、時刻ｔにおける人物ｋと人物ｉからなるペアの位置関係を示すベクトルをｒ_ki（ｔ）と示す。例えば、図３中のｒ_AB（ｔ−１）は、時刻（ｔ−１）に撮像されたフレームに対して得られた人物Ａと人物Ｂの位置関係である。

候補位置設定手段４０は、追跡中の各人物について、現フレームにおける各人物の候補位置を設定し、フレームごとに各候補位置を更新する。候補位置設定手段４０は、例えばパーティクルフィルタの手法を用いて人物ごとに複数の候補位置を設定する。パーティクルフィルタは、確率分布による時系列データの予測手法であり、予測したい値の確率分布の１フレームごとの移り変わりをフレームごとに予測する。例えば、物体の座標を追跡する場合、監視画像のフレーム毎に、新しい１フレームの情報を用いて複数の候補位置（座標）を確率的に更新する。候補位置設定手段４０は、各候補位置と当該位置にて算出されたスコアを含むパーティクルにパーティクル番号を付与して管理する。

具体的には、候補位置設定手段４０は、物体位置記憶手段３１から過去の候補位置を読み出して、各人物の候補位置毎に（すなわち人物ＩＤとパーティクル番号が共通する候補位置毎に）過去の複数のフレームにおける候補位置の変化に基づく運動モデルを適用して現フレームにおける候補位置を予測する。そして、候補位置設定手段４０は、予測により得た候補位置を、物体位置記憶手段３１に記憶させる。

例えば、等速直線運動を仮定した運動モデルを適用して、過去の複数フレームにおいてある人物について設定された候補位置（同一のパーティクル番号を有する候補位置）の時間的な変化の軌跡から注目フレームにおいて当該人物が存在すると予想される位置を候補位置として設定する。具体例として、時刻ｔの注目フレームに対して時刻（ｔ−２）のフレームにおける人物Ａの候補位置Ｘ（ｔ−２）と時刻（ｔ−１）のフレームにおける人物Ａの同一パーティクル番号の候補位置Ｘ（ｔ−１）に基づいて人物Ａの移動方向と速さを求め、当該移動方向に向けて候補位置Ｘ（ｔ−１）を当該速さで１時刻分だけ移動させたときの位置を注目フレームにおける候補位置Ｘ（ｔ）に設定する。

なお、候補位置設定手段４０は、過去のフレームにおける人物の検出位置から候補位置を算出してもよい。例えば、過去の複数のフレームの人物毎の検出位置の変化に基づいた運動モデルを適用して現フレームにおける人物毎の位置を予測し、当該予測位置を中心とする所定範囲内においてランダムに選択した複数の位置を候補位置と設定してもよい。また、例えば、候補位置設定手段４０は、人物毎に１フレーム前の検出位置を中心とする所定範囲内においてランダムに選択した複数の位置を候補位置と設定してもよい。

また、候補位置設定手段４０は、各候補位置に対して算出されたスコアを参照して、スコアが所定値未満の候補位置を削除し、当該人物の検出位置を中心とする所定半径内の位置に削除した数だけ新たな候補位置をランダムに設定してもよい。スコアの算出については後述する。

このように、候補位置設定手段４０は、各移動物体の注目フレームよりも過去のフレームにおける候補位置又は過去の検出位置から当該移動物体が注目フレームにおいて存在する候補となる複数の候補位置を求める。

物体位置判定手段４１は、現フレームの監視画像において追跡中の各人物の画像特徴が現れている位置を現フレームにおける当該人物の検出位置と判定し、検出位置を物体位置記憶手段３１に追記する。

具体的には、物体位置判定手段４１は、まず、背景差分処理により現フレームの監視画像から変化領域を抽出する。そのために物体位置判定手段４１は、人物が存在しないときの過去フレームの監視画像を背景画像として記憶部３に記憶させておき、現フレームの監視画像と背景画像の差分が予め定めた閾値以上である画素からなる領域を変化領域とする。

次に、物体位置判定手段４１は、実空間を模した仮想空間における各人物の候補位置に各人物の人物形状モデル（回転楕円体等）を配置し、当該人物形状モデルを監視画像に投影して投影像を算出する。

続いて、物体位置判定手段４１は、各人物の候補位置毎に、変化領域と投影像の重複度に応じた形状スコアを算出する。

また、物体位置判定手段４１は、各人物の候補位置毎に、現フレームの監視領域における投影像内の色ヒストグラムを算出し、算出された色ヒストグラムと物体特徴記憶手段３０に記憶されている当該人物の色ヒストグラムとの類似度に応じた色スコアを算出する。そして、物体位置判定手段４１は、各人物の候補位置毎に、形状スコアと色スコアの重み付け和をスコアとする。重み付け和の重みは予め実験を通じて適宜定めることができる。

続いて、物体位置判定手段４１は、こうして算出されたスコアのうちグループを構成している人物のスコアに対して補正を行い（グループの抽出と補正については後述する）、各人物について設定された複数の候補位置を各候補位置に対して算出されたスコアで重み付けた重み付け平均値を当該人物の検出位置として判定する。すなわち、候補位置が離散的に設定されることに対して、候補位置の重み付け平均値を最も移動物体の画像特徴が現れている位置と推定している。なお、この場合、検出位置の最終的なスコアは各候補位置に対して算出されたスコアの平均値とすることができる。

なお、各人物についてのスコアが最も高い候補位置を当該人物の検出位置として算出してもよい。この場合、検出位置の最終的なスコアは、当該検出位置と判定された候補位置のスコアとすることができる。また、各人物について、スコアが上位所定数の候補位置の平均値を当該人物の検出位置として算出してもよい。この場合、検出位置の最終的なスコアは、当該検出位置の算出に用いた候補位置のスコアの平均値とすることができる。

また、物体位置判定手段４１は、各人物の検出位置から抽出した画像特徴を用い、物体特徴記憶手段３０に記憶している当該人物の画像特徴を更新する。なお、予め定めたスコア閾値以上のスコアが算出されなかった人物については、消失した（監視領域内から監視領域外に移動した）として、当該人物の画像特徴を物体特徴記憶手段３０から削除し、当該人物の位置履歴を物体位置記憶手段３１から削除する。また、新規出現した（監視領域外から監視領域内に移動した）人物を検出するために、監視画像を背景差分処理して現フレームの監視画像から変化領域を抽出し、抽出した変化領域と追跡中の各人物の投影像との重複度合いを確認し、重複度合いが所定値未満である変化領域を検出した場合、新規出現の人物が検出されたとして、当該人物に新規の人物ＩＤを付与し、投影像の領域から画像特徴を抽出して人物ＩＤとともに物体特徴記憶手段３０に追記し、人物を検出した位置を検出位置として人物ＩＤとともに物体位置記憶手段３１に追記する。

ここで、人物が監視領域内を集団で移動していると集団の中の一部の人物が他の人物に隠れてしまい集団の中で高い色スコアが得られなくなる、又は他の人物の影がかかって集団の中で高い色スコアが得られなくなるといった状況が生じ易い。そのため、人物が監視領域内を集団で移動していると、集団の中の人物が誤追跡される不具合が生じ易くなる。

図４の例では、人物Ａ〜Ｆが移動している状況が示されている。本例では、４台のカメラで監視領域を撮影しているが、第ｔフレームにおいて全てのカメラの監視画像上で人物Ｃが人物Ａ、Ｂ、ＤまたはＥの陰に隠れてしまい、真の人物Ｃの位置において高いスコアが得られなくなる。このような場合、真の人物Ｃの位置以外で真の人物Ｃの位置よりも高いスコアが算出される可能性が高くなり誤追跡の可能性が高まる。特に、排他制御を行うと集団の外側にて真の人物Ｃの位置よりも高いスコアが算出される可能性は高まり、より一層外れた位置にて誤追跡され易くなる。一方、短時間であれば集団を構成する人物の位置関係が維持されることが期待できる。

また、人物の集団においては一部の人物が他の人物と異なる動きをすることによって位置が入れ替わり得る。例えば、図５の例では、時刻（ｔ−３）から（ｔ−２）までは人物Ａ〜Ｅと類似した動きをしていた人物Ｆが時刻（ｔ−１）以降に人物Ａ〜Ｅとは異なる動きをしている。このような場合、人物Ｆと人物Ａ〜Ｅの位置関係を追跡に利用し続けると誤追跡の原因となる。

そこで、物体位置判定手段４１はフレーム毎に移動物体の集団を抽出し、集団としての位置関係を満たす位置ほどスコアが高くなるよう補正することによって、誤追跡を防ぐ。そのために、物体位置判定手段４１はグループ抽出手段４１０と判定補正手段４１１を備える。

グループ抽出手段４１０は、図５に示すように、物体位置記憶手段３１から人物ペアごとに過去の複数のフレームにおける検出位置を読み出し、その位置関係の時間変化量ｖ_kiを算出し、時間変化量ｖ_kiが予め定めた位置関係閾値Ｔ_V未満である人物ペアをグループとして抽出する。また、グループ抽出手段４１０は、抽出されたグループを１フレーム前の位置関係ｒ_ki（ｔ−１）に関連付けてグループ情報記憶手段３２に記憶させる。

例えば、図５に示す例の場合、人物Ａと人物Ｂとの関係では、その位置関係ｒ_AB（ｔ−３）〜ｒ_AB（ｔ−１）のベクトルの分散値を時間変化量Ｖ_ABとして求め、当該時間変化量Ｖ_ABが位置関係閾値Ｔ_V未満であるので人物Ａと人物Ｂとの相対的な位置が時間的に大きく変化していないものとしてグループとして抽出する。一方、人物Ｅと人物Ｆとの関係では、その位置関係ｒ_EF（ｔ−３）〜ｒ_EF（ｔ−１）のベクトルの分散値を時間変化量Ｖ_EFとして求め、当該時間変化量Ｖ_EFが位置関係閾値Ｔ_V以上であるので人物Ｅと人物Ｆとの相対的な位置が時間的に大きく変化しているものとしてグループとして抽出しない。なお、時間変化量として相対位置の分散の代わりに相対位置の差の積分値ゃ相対位置の差の平均値等を用いることもできる。

また、時間変化量ｖ_kiを算出するためのフレーム数に下限値Ｔ_F（≧２）を設け、下限値Ｔ_F以上のフレーム数において位置関係が得られているペアを対象にグループを抽出してもよい。下限値Ｔ_F未満のフレーム数しか位置関係が得られないペアは、グループでないものとして、時間変化量ｖ_kiを算出しないようにすればよい。例えば、下限値Ｔ_Fは３とすることができる。このようにすることで、例えば集団から外れた動きをする人物やすれ違った人物や追い越した人物を誤ってグループとして抽出することを防止し、誤追跡を減じることができる。

また、人物間の距離に上限値Ｔ_D1を設け、距離が上限値Ｔ_D1以下である人物のペアを対象にグループを抽出してもよい。例えば、上限値Ｔ_D1は通路幅等に基づいて設定とすることができる。このようにすることで、障害物により分岐し平行している別の人流に含まれる人物などをグループとして抽出することを防止し、誤追跡を減じることができる。

グループ抽出手段４１０は、例えば、下限値Ｔ_F分のフレームの検出位置を読み出してフレーム毎にペアの一方の人物の検出位置に対するペアの他方の人物の検出位置の相対位置を求め、相対位置の分散を時間変化量ｖ_kiとして算出する。

また、評価対象とする検出位置において算出されたスコアに下限値Ｔ_Sを設け、スコアが下限値Ｔ_S以上である検出位置から算出した位置関係のみを用いて時間変化量ｖ_kiを算出してもよい。このようにすることで、信頼性の低い時間変化量が算出されることを防止し、グループを正しく抽出でき、誤追跡を減じることができる。

また、時間変化量ｖ_kiが小さなペアほど現フレームにおいても過去のフレームと同様の位置関係を維持している可能性が高い。そこで、各ペアの時間変化量ｖ_kiの逆数を、当該ペアが位置関係を維持している可能性が高さを表すグループ強度ｇ_kiとして算出し、グループ情報記憶手段３２に記憶する。本実施の形態では、時刻ｔにおける人物ｋと人物ｉからなるペアのグループ強度をｇ_ki（ｔ）と示す。図３では、時刻（ｔ−１）に撮像されたフレームに対して得られたグループ強度がｇ_AB（ｔ−１）等として記憶されている。

以上のように、グループ抽出手段４１０は、記憶手段に記憶された検出位置を比較して移動物体同士の位置関係を求め、複数の過去フレームに亘って位置関係の変化量が所定基準値未満である移動物体のグループを抽出する。また、グループ抽出手段４１０は、記憶手段に記憶している検出位置同士の距離が所定値未満である移動物体の中からグループを抽出する。また、記憶手段に記憶している検出位置のうちスコアが所定スコア基準値以上であったときの検出位置を比較してグループを抽出する。

判定補正手段４１１は、各人物の候補位置ごとに算出したスコアのうち、グループとして抽出された人物のペアのスコアを、当該ペアの候補位置の位置関係の記憶している位置関係に対する誤差が小さいほど高く、誤差が大きいほど低く補正する。また、判定補正手段４１１は、グループ強度が強いペアほどスコアを高く、グループ強度が弱いペアほどスコアを低く補正する。

具体的には、図６に示すように、判定補正手段４１１は、監視画像から抽出された各人物ｋに対して設定された第ｍ番目の候補位置（パーティクル番号がｍの候補位置）におけるスコアＬ_kmを例えば以下の式（１）〜（３）により補正する。

ここで、ｉは人物ｋ以外の人物の人物ＩＤ、ｊは人物ｉの候補位置に付されたパーティクル番号、Ｌ_ijは人物ｉに対して設定された第ｊ番目の候補位置のスコア（なお、補正前のスコアには〜を付して示し、補正後のスコアには〜を付さないで示す）、ｗ_ijはグループの位置関係に基づく補正項、ｈ_ijは人物間の排他力に基づく補正項である。また、ｅ_ijは、人物ｋに対して設定された第ｍ番目の候補位置と人物ｉに対して設定された第ｊ番目の候補位置の位置関係ｒ_ki（ｔ，ｍ，ｊ）と記憶手段に記憶している人物ｋと人物ｉの位置関係ｒ_ki（ｔ−１，ｍ，ｊ）の誤差であり、ベクトルｒ_ki（ｔ，ｍ，ｊ）とｒ_ki（ｔ−１，ｍ，ｊ）の差ベクトルの絶対値で表わされる。また、ｇ_kiは、記憶手段に記憶している人物ｋと人物ｉの間のグループ強度ｇ_ki（ｔ−１）である。また、α及びβは、予めの実験により定めた定数である。また、ｄ_ijは、人物ｋに対して設定された第ｍ番目の候補位置と人物ｉに対して設定された第ｊ番目の候補位置の間の距離である。

ここで、数式（１）においては、人物ｋ以外の人物ｉの補正項を乗算して人物ｋのスコアを補正している。この乗算処理によって補正を同一のグループ内に伝搬させることができ、ペアの位置関係をグループ全体の位置関係として補正を行うことができるので、より正確に人物ｋを追跡することができる。また、数式（１）においては補正項ｗ_ijに人物ｉのスコアＬ_ijを作用させており、信頼性が高い位置関係ほど補正への寄与が大きくなるようにしている。これにより誤追跡を低減することができる。さらに、数式（１）〜（３）による補正処理を複数回反復処理することで、グループ全体で位置関係による補正をさらに安定化させることができる。

なお、人物ｋと人物ｉが同一グループではない場合は補正項ｗ_ij＝１．０とする。誤差ｅ_ijが小さいほどスコアＬ_kmは大きく補正され、誤差ｅ_ijが大きいほどスコアＬ_kmは小さく補正される。また、グループ強度ｇ_kiを作用させることで、注目フレームにてグループから外れて誤差が大きくなる可能性のある人物について、真の位置におけるスコアＬ_kmを高く補正し損ねる誤りを減じることができるので、誤追跡を低減することができる。また、距離ｄ_ijが小さいほどスコアＬ_kmを小さく補正する（大きな排他力を働かせる）ことによって、異なる人物が同一位置に推定されることを防ぐことができる。

＜移動物体追跡処理＞
以下、図７及び図８のフローチャートに沿って、本実施形態における移動物体追跡処理について説明する。ここでは、監視領域に人物が存在しない状態で人物追跡装置１を起動し、撮影部２は監視領域を所定時間おきに繰り返し撮影して監視画像を画像処理部４に出力するものとする。また、画像処理部４は、監視画像が入力されるたびに図７のステップＳ１〜Ｓ１０の処理を繰り返す。

ステップＳ１では、監視画像の取得が行われる。画像処理部４は、撮影部２から所定時間おきに撮影される監視画像を取得する。取得された監視画像は現フレームとして処理される。

ステップＳ２では、現フレームから変化領域の抽出が行われる。画像処理部４は、物体位置判定手段４１として機能し、ステップＳ１において取得した現フレームに対して背景差分処理を施すことにより現フレームの監視画像から変化領域を抽出する。

ステップＳ３では、現フレームから変化領域が抽出されたか否かが判定される。現フレームから１以上の変化領域が抽出された場合はステップＳ４へ処理を移行させ、変化領域が抽出されなかった場合はステップＳ４〜Ｓ８をスキップしてステップＳ９へ処理を移行させる。

ステップＳ４では、候補位置の設定が行われる。画像処理部４は、候補位置設定手段４０として機能し、現在追跡中の人物毎に対して現フレームにおける複数の候補位置を算出して設定し、設定された候補位置を物体位置判定手段４１に出力する。

ステップＳ５では、各人物に対して設定された候補位置毎にスコアが算出される。画像処理部４は、物体位置判定手段４１として機能し、各人物に対して設定された候補位置毎に、当該候補位置が当該人物の画像特徴が現れている度合いを表すスコアを算出する。ここで算出されるスコアは形状スコアと色スコアの重み付け和であり、補正前のスコアとなる。

ステップＳ６では、グループ情報が存在しているか否かが判定される。物体位置判定手段４１は、記憶部３のグループ情報記憶手段３２に移動物体のグループの情報が記憶されているか確認し、グループ情報記憶手段３２にグループフラグが１である人物ペアが記憶されていればステップＳ７へ処理を移行させ、そうでなければステップＳ７をスキップしてステップＳ８へ処理を移行させる。

ステップＳ７では、各人物に対して設定された候補位置毎にスコアの補正処理が行われる。画像処理部４は、判定補正手段４１１として機能し、移動物体のグループを構成する人物について、候補位置の位置関係と、グループ情報記憶手段３２に記憶されている当該グループの位置関係の誤差を算出し、誤差に応じて当該候補位置のスコアを補正する。

具体的には、判定補正手段４１１は、グループ情報記憶手段３２からグループフラグが１である人物ペアをその位置関係及びグループ強度と共に順次読み出し、ステップＳ４で設定された候補位置の中から、読み出した人物ペアを構成する各人物の候補位置を抽出する。そして、人物ペアの一方の人物の候補位置と他方の人物の候補位置から構成される候補位置のペアに対して総当たりで候補位置のペアの一方を基準とする他方の相対位置を位置関係として算出し、算出した位置関係とグループ情報記憶手段３２から読み出した当該人物ペアの位置関係の誤差を算出する。さらに、各ペアを構成する候補位置それぞれに対してステップＳ５にて算出されたスコア（補正前のスコア）に対して当該スコアと算出した誤差とグループ情報記憶手段３２から読み出した当該人物ペアのグループ強度を式（１）〜（３）に代入して補正を施す。このような処理を全ての人物ペアに対して繰り返す。

さらに、数式（１）〜（３）による補正処理を予め設定した回数（例えば３回）だけ繰り返すことで、グループ全体で位置関係による補正をさらに安定化させることができる。

ステップＳ８では、人物の位置の判定処理が行われる。物体位置判定手段４１は、各人物の候補位置と当該候補位置に対して算出されたスコアに基づいて現フレームにおける各人物の検出位置を判定する。例えば、各人物について、当該人物について設定された複数の候補位置を各候補位置に対して算出されたスコアで重み付けた重み付け候補位置の平均値を当該人物の検出位置と判定する。

ステップＳ９では、画像特徴の更新処理が行われる。物体位置判定手段４１は、物体特徴記憶手段３０に記憶されている各人物の画像特徴を現フレームにおいて当該人物の位置から抽出した画像特徴を用いて更新する。

具体的には、記憶されている画像特徴を抽出された画像特徴との平均値に更新する。なお、記憶されている画像特徴を抽出した画像特徴自体で置き換えてもよい。また、現フレームにおけるスコアが所定値未満である人物については、更新を禁止してもよい。さらに、現フレームにおいて位置が検出されなかった人物について、物体位置判定手段４１は物体特徴記憶手段３０から画像特徴を削除し、候補位置設定手段４０は物体位置記憶手段３１から位置履歴を削除する。また、物体位置判定手段４１はステップＳ８にて算出された各人物の検出位置に対応する仮想空間内の位置に人物形状モデルを配置して監視画像上に投影し、投影像をステップＳ２で抽出した変化領域に重ね合わせ、投影像と重なり合わない変化領域があれば当該変化領域を新規人物の領域と判定する。この場合、物体位置判定手段４１は、当該領域から新規人物の画像特徴を抽出して物体特徴記憶手段３０に追記し、候補位置設定手段４０は新規人物の領域の位置を物体位置記憶手段３１に追記する。

ステップＳ１０では、移動物体のグループの検出処理が行われる。画像処理部４は、グループ抽出手段４１０として機能し、ステップＳ８にて検出された各人物の検出位置に基づいて移動物体のグループを抽出する。当該処理は、図８に示すサブルーチンに沿って実行される。

ステップＳ１１では、人物ペアが順次注目ペアに設定される。グループ抽出手段４１０は、物体位置記憶手段３１に検出位置が記憶されている人物のペアについて総当たりで順次注目ペアに設定する。

ステップＳ１２では、注目ペアを構成する各人物のスコアが下限値Ｔ_S以上であるか否かが判定される。グループ抽出手段４１０は、注目ペアを構成する各人物について最新の検出位置（すなわち現フレームの検出位置）を判定したときのスコアを物体位置記憶手段３１から読み出して下限値Ｔ_Sと比較し、ペアを構成する各人物のスコアがいずれも下限値Ｔ_S以上である場合はステップＳ１３へ処理を移行させ、いずれかが下限値Ｔ_S未満である場合はステップＳ１３〜Ｓ２０をスキップしてステップＳ２１へ処理を移行させる。これにより、注目ペアがグループとして登録されていれば、オクルージョンなどにより一時的にスコアが低下したとしてもそのグループを維持できる。そして、次フレームにおいてスコアの低下が続いたとしてもグループの位置関係に基づくスコアの補正を施すことができる。

ステップＳ１３では、追跡時間が下限値Ｔ_F以上であるか否かが判定される。グループ抽出手段４１０は、注目ペアを構成する各人物の検出位置のうち検出位置を判定したときのスコアが下限値Ｔ_S以上であった検出位置を物体位置記憶手段３１から読み出し、注目ペアの検出位置がいずれも記憶されているフレーム数を計数して下限値Ｔ_Fと比較する。フレーム数が下限値Ｔ_F以上である場合には注目ペアはグループ候補であるとしてステップＳ１４へ処理を移行させ、フレーム数が下限値Ｔ_F未満である場合には注目ペアはグループ候補でないとしてステップＳ２１へ処理を移行させる。

ステップＳ１４では、注目ペアを構成する人物間の距離が上限値Ｔ_D1未満であるか否かが判定される。グループ抽出手段４１０は、注目ペアの検出位置のうち最新の検出位置の間の距離を算出して予め定めた上限値Ｔ_D1と比較し、距離が上限値Ｔ_D1未満である場合には注目ペアはグループ候補であるとしてステップＳ１５へ処理を移行させ、距離が上限値Ｔ_D1以上であればステップＳ１８へ処理を移行させる。

ステップＳ１５では、注目ペアを構成する人物の位置関係の変化量が算出される。グループ抽出手段４１０は、フレームごとに注目ペアの一方の人物（人物ｋ）の検出位置を基準とする他方の人物（人物ｉ）の検出位置の相対位置を算出する。さらに、算出された複数フレームの相対位置の分散を位置関係の時間変化量（ｖ_ki）として算出する。

ステップＳ１６では、位置関係の時間変化量が位置関係閾値Ｔ_V未満であるか否かが判定される。グループ抽出手段４１０は、ステップＳ１５において算出された時間変化量を位置関係閾値Ｔ_Vと比較し、時間変化量が閾値Ｔ_V未満であれば注目ペアは移動物体のグループであるとしてステップＳ１７へ処理を移行させ、時間変化量が閾値Ｔ_V以上であればステップＳ１９へ処理を移行させる。

ステップＳ１７では、グループの登録・更新処理が行われる。グループ抽出手段４１０は、ステップＳ１２，Ｓ１３，Ｓ１４及びＳ１６の条件を満たした人物ペアを移動物体のグループであるとして登録する。既に登録されている人物ペアの場合は更新処理を行う。グループ抽出手段４１０は、ステップＳ１５にて算出された時間変化量の逆数をグループ強度として算出し、グループ情報記憶手段３２内の注目ペアのレコードにおいてグループフラグを１に設定すると共に、同レコードにグループ強度とステップＳ１５で算出した注目ペアの位置関係のうちの最新の位置関係を書き込む。

ステップＳ１８では、注目ペアを構成する人物間の距離が下限値Ｔ_D2以上であるか否かが判定される。ステップＳ１４にて注目ペア間の距離が上限値Ｔ_D1以上であった場合、注目ペアを直ちにグループから登録抹消すると、ペア間の距離が上限値Ｔ_D1付近でふらつく場合に登録と抹消を繰り返すことになってしまう。そこで、グループ抽出手段４１０は、注目ペア間の距離をさらに下限値Ｔ_D2（＞上限値Ｔ_D1）と比較し、距離が下限値Ｔ_D2未満である場合はステップＳ２１に処理を移行させ，ステップＳ２０をスキップして登録抹消を保留する。一方、距離が下限値Ｔ_D2以上である場合、注目ペアはグループ候補ではないとしてステップＳ１９へ処理を移行させる。

ステップＳ１９では、注目ペアがグループとして登録済みであるか否かが判定される。ステップＳ１８にて注目ペア間の距離が下限値Ｔ_D2以上であった場合、又はステップＳ１６にて注目ペアの位置関係の時間変化量が位置関係閾値Ｔ_V以上であった場合、グループ抽出手段４１０は注目ペアのグループフラグが１であるか否かを判定する。注目ペアのグループフラグが１であればステップＳ２０に処理を移行させ、グループフラグが０であればステップＳ２０をスキップしてステップＳ２１に処理を移行させる。

ステップＳ２０では、注目ペアがグループ登録から抹消される。グループ抽出手段４１０は、注目ペアのグループフラグを０に設定して注目ペアのグループ登録を抹消する。

ステップＳ２１では、すべての人物ペアについてグループ抽出処理が行われたか否かが判定される。グループ抽出手段４１０は、ステップＳ１１〜Ｓ２０の処理をすべての人物ペアについて行ったか否かを判定する。未処理の人物ペアがある場合にはステップＳ１１に戻して次の人物ペアを注目ペアに設定して処理を行い、すべての人物ペアについて処理が終了している場合には移動物体グループの抽出処理を終えてステップＳ１へ処理を戻す。

本実施形態における人物追跡装置１によれば、複数フレームに亘って類似した位置関係を維持している移動物体をグループ（ペア）として動的に選出して、それらの位置関係の拘束条件を設定するので、位置の入れ替りが生じ得る複数の移動物体を高精度に追跡することができる。

＜第２の実施の形態＞
上記実施形態においては、移動物体間の相対位置を移動物体同士の位置関係としたが、第２の実施形態においては移動物体間の相対距離を移動物体同士の位置関係とすることもできる。

この場合、ステップＳ１５において、グループ抽出手段４１０は、フレームごとに注目ペアの一方の検出位置を基準とする他方の検出位置の相対距離を算出し、算出した複数フレームの相対距離の分散、相対距離の差の積分値又は相対距離の差の平均値を位置関係の時間変化量として算出し、算出した時間変化量が閾値Ｔ_V未満である移動物体のグループを抽出する。また、ステップＳ７において、判定補正手段４１１は、グループ情報記憶手段３２から読み出した注目人物ペアの位置関係から相対距離（参照相対距離）を算出するとともに、注目人物ペアについて各候補位置のペアの一方を基準とする他方の相対距離を算出し、各候補位置のペアの相対距離と参照相対距離との差の絶対値を誤差ｅ_ijとする。そして、判定補正手段４１１は、ステップＳ５にて算出されたスコアを、当該スコアと算出した誤差とグループ情報記憶手段３２から読み出した当該人物ペアのグループ強度を式（１）〜（３）に代入して補正を行う。

このように相対距離を位置関係として用いた場合、相対位置を位置関係として用いた場合よりも移動物体のグループに対する拘束条件は緩和されるため厳格性は下がるが、図９に示すように、移動物体の移動経路に曲がり角を含んでいる監視領域や移動物体が蛇行する監視領域に対して柔軟な対応が可能となる。

第２の実施の形態によっても、複数フレームに亘って類似した相対距離を維持している移動物体をグループ（ペア）として動的に選出して、それらの相対距離の拘束条件を設定し、位置の入れ替りが生じ得る複数の移動物体を高精度に追跡することができる。

＜変形例＞
上記各実施形態では、移動物体のペア（２つの移動物体）を単位として移動物体のグループを管理する例を示したが、３つの移動物体の組を単位として移動物体のグループを管理してもよい。また、２以上の任意数の移動物体の組を移動物体のグループとして管理してもよい。これらの場合、ペアを単位とする場合に比べて移動物体の組み合わせが増大するため、互いの距離が上限値Ｔ_D1未満の移動物体の組のみをグループとして記憶することが好適である。

また、上記各実施形態及びその変形例では、人物毎に候補位置を設定して検出位置を判定したが、候補位置を利用せずに検出位置を判定してもよい。この場合、監視画像全体を探索して各移動物体の画像特徴との類似度が最も高い位置を検出位置と判定すればよい。また、１フレームの間に移動物体が移動可能な範囲を予め定めておき、１フレーム前の検出位置を中心とする当該範囲を探索して各移動物体の画像特徴との類似度が最も高い位置を検出位置と判定してもよい。

また、上記各実施形態及びその変形例では、グループ強度を時間変化量ｖの逆数としたが、位置関係を維持しているフレーム数が多いグループほど現フレームでも当該位置関係を維持している信頼性が高いと考えられる。そこで、時間変化量ｖが位置関係閾値Ｔ_V未満であるフレーム数をグループ強度としてもよい。

また、上記各実施形態及びその変形例では、グループ情報として１フレーム前の位置関係を記憶させてスコアの補正に用いたが、下限値Ｔ_Fだけ過去のフレームの位置関係の平均値を記憶させてスコアの補正に用いてもよい。

また、上記各実施形態及びその変形例では、画像特徴を色ヒストグラムとしたが、人物モデルの上半身と下半身の輝度差などを画像特徴としてもよい。たとえば白シャツ及び黒ズボンを着用した人物と黒シャツ及び白ズボンを着用した人物を区別することができる。

また、上記各実施形態及びその変形例では、検出位置を判定しやすくするためスコア補正を行ったが、スコアに適用する閾値を補正してもよい。例えば、判定補正手段４１１は、（数式（１）〜（３）による補正を行わずに）位置関係の誤差に応じた閾値を候補位置毎に設定して、候補位置のスコアを閾値と比較し、閾値を超えるスコアが算出された候補位置の平均値を検出位置と判定する。また、例えば、スコアと閾値の差が最大の候補位置を検出位置として判定することもできる。

１人物追跡装置、２撮影部、３記憶部、４画像処理部、５出力部、３０物体特徴記憶手段、３１物体位置記憶手段、３２グループ情報記憶手段、４０候補位置設定手段、４１物体位置判定手段、４１０グループ抽出手段、４１１判定補正手段。

Claims

時系列画像上に現れた複数の移動物体を追跡する移動物体追跡装置であって、
前記移動物体の各々の画像特徴、及び前記時系列画像のうち注目フレームよりも過去に撮像された複数の過去フレームにおける前記移動物体の各々の検出位置を記憶する記憶手段と、
前記注目フレームにおいて前記移動物体の各々の前記画像特徴が現れている位置を前記注目フレームにおける検出位置と判定する物体位置判定手段と、を備え、前記物体位置判定手段は、
前記記憶手段に記憶された前記検出位置を比較して前記移動物体同士の位置関係を求め、前記複数の過去フレームに亘って前記位置関係の変化量が所定基準値未満である前記移動物体のグループを抽出するグループ抽出手段と、
前記注目フレームにおいて前記グループとして抽出された前記移動物体の前記画像特徴が現れている位置の組み合わせから、当該グループについて求められた前記位置関係との誤差が小さな組み合わせほど当該移動物体の前記検出位置として判定され易くする判定補正手段と、
を含むことを特徴とする移動物体追跡装置。
請求項１に記載の移動物体追跡装置であって、
前記判定補正手段は、さらに前記変化量が小さい前記グループほど前記注目フレームにおいて当該グループとして抽出された前記移動物体の前記画像特徴が現れている位置の組み合わせが当該移動物体の前記検出位置として判定され易くすることを特徴とする移動物体追跡装置。
請求項１に記載の移動物体追跡装置であって、
前記判定補正手段は、さらに前記変化量が前記所定基準値未満であるフレーム数が多い前記グループほど前記注目フレームにおいて当該グループとして抽出された前記移動物体の前記画像特徴が現れている位置の組み合わせが当該移動物体の前記検出位置として判定され易くすることを特徴とする移動物体追跡装置。
請求項１〜３のいずれか１項に記載の移動物体追跡装置であって、
前記グループ抽出手段は、前記記憶手段に記憶された前記検出位置同士の距離が所定距離基準値未満である前記移動物体から前記グループを抽出することを特徴とする移動物体追跡装置。
請求項１〜４のいずれか１項に記載の移動物体追跡装置であって、
前記注目フレームにおいて前記移動物体の各々の前記検出位置の候補となる候補位置を設定する候補位置設定手段、をさらに備え、
前記物体位置判定手段は、前記移動物体の各々の前記候補位置における前記注目フレームの画像と当該移動物体の前記画像特徴との類似性に基づいて当該候補位置毎に当該移動物体が存在していることの尤もらしさを示すスコアを算出し、当該スコアが高いほど前記移動物体毎の前記検出位置として判定され易くし、
前記判定補正手段は、前記グループとして抽出された前記移動物体について、当該グループについて求められた前記位置関係との誤差が小さいほど前記候補位置の組み合わせについて前記スコアを高くする、
ことを特徴とする移動物体追跡装置。
請求項５に記載の移動物体追跡装置であって、
前記グループ抽出手段は、前記記憶手段に記憶されている前記検出位置のうち前記スコアが所定スコア基準値以上であったときの前記検出位置を比較して前記グループを抽出することを特徴とする移動物体追跡装置。