JP4766495B2 - 対象物追跡装置および対象物追跡方法 - Google Patents

Description

本発明は情報処理技術に関し、特に入力画像中の対象物の追跡を行う対象物追跡装置およびそこで実行される対象物追跡方法に関する。

視覚追跡はコンピュータビジョン、特にセキュリティ分野における視覚監視やＡＶ分野における記録映像の解析・分類、編集、またはマンマシンインターフェース、さらには人間同士のインターフェース、すなわちテレビ会議やテレビ電話など、多岐に渡る応用が見込まれる。そのため、追跡精度および処理効率の向上等を目的に、多くの研究がなされている。中でも、カルマンフィルタで扱うことのできない非ガウス性雑音が加算された信号の時系列解析手法として注目されているパーティクルフィルタを視覚追跡に応用する研究が多くなされており、特にCondensation(Conditional Density Propagation)アルゴリズムが有名である（例えば非特許文献１から非特許文献３参照）。

パーティクルフィルタはベイズフィルタの近似計算法であり、有限個のパーティクルを追跡候補として導入することにより対象の確率分布を表現し、それを用いて時系列推定や予測を行う。Condensationアルゴリズムはパーティクルフィルタを用いて、追跡対象の形状についての確率分布の時間変化を推定する。具体的には、追跡対象と同一形状を有する候補の輪郭線を１つのパーティクルで表し、運動モデルによるパラメータ遷移と観測による遷移結果の尤度計算によって、対象のパラメータ空間上での存在分布確率を逐次推定する。
Contour tracking by stochastic propagation of conditional density, Michael Isard and Andrew Blake, Proc. European Conf. on Computer Vision, vol. 1, pp.343-356, Cambridge UK (1996) CONDENSATION - conditional density propagation for visual tracking, Michael Isard and Andrew Blake, Int. J. Computer Vision, 29, 1, 5-28 (1998) ICondensation: Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer VIsion, 1998

Condensationアルゴリズムのように形状に基づき対象を追跡する場合、同様の形状を有する別の人や物が追跡対象の近傍に存在したり、追跡対象に近づいたりすれ違ったりすると、追跡対象との区別が難しくなる。これにより尤度観測に誤りが生じ、結果として存在確率分布の精度が落ち、場合によっては追跡を失敗する可能性がある。

本発明はこのような課題に鑑みてなされたものであり、その目的は対象物の追跡を行う視覚追跡を高精度に行うことのできる技術を提供することにある。

本発明のある態様は対象物追跡装置に関する。この対象物追跡装置は、撮影した対象物の動きを追跡する対象物追跡装置であって、撮影の結果取得した動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、第２の画像フレームにおける対象物の候補輪郭を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成するサンプリング部と、サンプリング部が生成した各パーティクルを所定の運動モデルに則り遷移させ、それらのパーティクルによって定まる各候補輪郭の尤度を観測する観測部と、第２の画像フレームのうち各候補輪郭によって定まる領域の色情報を、第１の画像フレームのうち推定存在確率分布によって定まる領域の色情報と比較し、その結果により観測部が観測した尤度を補正する補正部と、補正部が補正した尤度に基づき、第２の画像フレームにおける対象物の存在確率分布を推定する結果取得部と、を備えることを特徴とする。

ここで「第１の画像フレーム」と「第２の画像フレーム」は、画像ストリームにおいて隣接する画像フレームでもよいし、離れて位置する画像フレームでもよい。時間軸の順方向へ追跡していく一般的な対象物追跡においては、「第１の画像フレーム」は「第２の画像フレーム」より時間的に前の画像フレームであるが、本実施の形態はこれに限らない。

「パーティクル」とは、過去の情報と現在の観測情報とから現在の状態を推定する手法のひとつであるパーティクルフィルタにおいて導入されるものであり、観測を行うパラメータへの重み付けを、パラメータ空間に存在するパーティクルの数で表現する。

「存在確率分布」は、対象物の画像フレーム内の位置座標に対する存在確率分布であってもよいし、形状、色、大きさなど対象物の有する属性のいずれかまたはそれらの組み合わせを表すパラメータが張る空間に対する存在確率分布であってもよい。「候補輪郭」は対象物の一部または全体の輪郭線の候補を表す図形であり、パーティクルごとに表される。また「尤度」は候補輪郭がどの程度対象物と近い態様となっているかを表す度合いであり、例えば対象物との重なり具合、対象物との距離などを数値で示したものなどである。

本発明の別の態様は対象物追跡方法に関する。この対象物追跡方法は、コンピュータが行う対象物追跡方法であって、入力された動画像データを構成する画像ストリームをメモリに記憶するステップと、画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームをメモリより読み出し、第１の画像フレームにおける対象物の推定存在確率分布に基づき、第２の画像フレームにおける対象物の候補輪郭を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成するステップと、各パーティクルを所定の運動モデルに則り遷移させ、それらのパーティクルによって定まる各候補輪郭の尤度を、メモリより読み出した第２の画像フレームのエッジ画像を探索することにより観測するステップと、第２の画像フレームのうち各候補輪郭によって定まる領域の色情報を、第１の画像フレームのうち推定存在確率分布によって定まる領域の色情報と比較し、その結果により尤度を補正するステップと、補正された尤度に基づき、第２の画像フレームにおける対象物の存在確率分布を推定するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、視覚追跡を行う際、対象物の追跡処理を精度よく行うことができる。

本実施の形態の特徴および効果を明らかにするために、まずパーティクルフィルタによる視覚追跡について概説する。図１は人物を追跡対象とした場合の視覚追跡手法を説明するための図である。人物画像５０は実写した動画像やコンピュータグラフィックスなどにより生成された動画像の画像ストリームを構成する画像フレームのひとつであり、追跡対象である人物５２が写っている。

この人物５２の動きを追跡するために、人物５２の頭部輪郭の形状を近似するΩ形の曲線５４を既知の表現で記述する。一方、人物５２を含む人物画像５０にはエッジ抽出処理を施し、エッジ画像を取得しておく。そして曲線５４を規定するパラメータを変化させながら形状および位置を変化させて、その近傍にあるエッジを探索することにより、人物５２の頭部輪郭と最もマッチすると推定されるパラメータの値を特定する。以上の処理をフレームごとに繰り返すことにより人物５２の追跡が進捗する。ここでエッジとは画像の濃度や色に急な変化を有する箇所のことである。

様々な曲線５４と人物５２の頭部輪郭とのマッチングを行うために、パーティクルフィルタによる確率分布予測技術を導入する。すなわち、ひとつ前のフレームにおけるパラメータ空間上の対象物の確率分布に応じて曲線５４のサンプリング数を増減させ、追跡候補の絞り込みを行う。これにより存在確率の高い部分に対しては重点的に探索を行うことができ、精度のよいマッチングが効率的に行える。

対象物の輪郭に着目した追跡に対するパーティクルフィルタの適用手法は、例えば非特許文献３（ICondensation: Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer VIsion, 1998）に詳述されている。ここでは本実施の形態に係る点に着目して説明する。

まずΩ形の曲線５４を、Ｂスプライン曲線で記述する。Ｂスプライン曲線はｎ個の制御点列（Ｑ０，・・・，Ｑｎ）と単位点列（ｓ０，・・・，ｓｎ）とから定義される。そして基本となる曲線形状、この場合はΩ形の曲線となるように、それらのパラメータをあらかじめ設定しておく。このときの設定によって得られる曲線を以後、テンプレートＱ_０と呼ぶ。なお、図１で示した人物画像５０における人物５２の追跡を行う場合は、テンプレートＱ_０はΩ形であるが、その形状は追跡対象によって変化させる。すなわち追跡対象がボールであれば円形、手のひらであれば手の形状などとなる。

次にテンプレートの形状を変化させるための変換パラメータとして、形状空間ベクトルｘを準備する。形状空間ベクトルｘは以下のような６つのパラメータで構成される。

ここで（shift_ｘ，shift_ｙ）は（ｘ，ｙ）方向への並進量、（extend_ｘ，extend_ｙ）は倍率、θは回転角である。そして形状空間ベクトルｘをテンプレートＱ_０に作用させるための作用行列Ｗを用いると、変形後の曲線、すなわち候補曲線Ｑは以下のように記述できる。

式２を用いれば、形状空間ベクトルｘを構成する６つのパラメータを適宜変化させることにより、テンプレートを並進、伸縮、回転させることができ、組み合わせによって候補曲線Ｑの形状や位置を種々変化させることができる。

そして、制御点列、および単位点列の間隔といったテンプレートＱ_０のパラメータや、形状空間ベクトルｘを構成する６つのパラメータを変化させることによって表現される複数の候補曲線について、各単位点の近傍にある人物５２のエッジを探索する。その後、エッジとの距離から各候補曲線の尤度を求めることにより、形状空間ベクトルｘを構成する６つのパラメータが張る６次元空間における確率密度分布を推定する。

図２はパーティクルフィルタを用いた確率密度分布推定の手法を説明する図である。同図では理解を簡単にするために、形状空間ベクトルｘを構成する６つのパラメータのうち、あるパラメータｘ１の変化を横軸に表しているが、実際には６次元空間において同様の処理が行われる。ここで確率密度分布を推定したい画像フレームが時刻ｔの画像フレームであるとする。

まず、時刻ｔの画像フレームのひとつ前のフレームである時刻ｔ−１の画像フレームにおいて推定された、パラメータｘ１軸上の確率密度分布を用いて（Ｓ１０）、時刻ｔにおけるパーティクルを生成する（Ｓ１２）。それまでにフィルタリングを行い、すでにパーティクルが存在する場合は、その分裂、および消滅を決定する。Ｓ１０において表した確率密度分布は、パラメータ空間上の座標に対応して離散的に求められたものであり、円が大きいほど確率密度が高いことを表している。

パーティクルはサンプリングするパラメータｘ１の値とサンプリング密度とを実体化したものであり、例えば時刻ｔ−１において確率密度が高かったパラメータｘ１の領域は、パーティクル密度を高くすることで重点的にサンプリングを行い、確率密度の低かった範囲はパーティクルを少なくすることでサンプリングをあまり行わない。これにより、例えば人物５２のエッジ近傍において候補曲線を多く発生させて、効率よくマッチングを行う。

次に所定の運動モデルを用いて、パーティクルをパラメータ空間上で遷移させる（Ｓ１４）。所定の運動モデルとは例えば、ガウシアン型運動モデル、自己回帰予測型運動モデルなどである。前者は、時刻ｔにおける確率密度は時刻ｔ−１における各確率密度の周囲にガウス分布している、とするモデルである。後者は、サンプルデータから取得した２次以上の自己回帰予測モデルを仮定する手法で、例えば人物５２がある速度で等速運動をしているといったことを過去のパラメータの変化から推定する。図２の例では、自己回帰予測型運動モデルによりパラメータｘ１の正方向への動きが推定され、各パーティクルをそのように遷移させている。

次に、各パーティクルで決定される候補曲線の近傍にある人物５２のエッジを、時刻ｔのエッジ画像を用いて探索することにより、各候補曲線の尤度を求め、時刻ｔにおける確率密度分布を推定する（Ｓ１６）。前述のとおり、このときの確率密度分布はＳ１６に示すように、真の確率密度分布４００を離散的に表したものになる。以降、これを繰り返すことにより、各時刻における確率密度分布がパラメータ空間において表される。例えば確率密度分布が単峰性であった場合、すなわち追跡対象が唯一であった場合は、得られた確率密度を用いて各パラメータの値に対し重み付けした和を最終的なパラメータとすることにより、追跡対象に最も近い輪郭の曲線が得られることになる。

Ｓ１６において推定される時刻ｔにおける確率密度分布p(ｘ_t ⁱ)は以下のように計算される。

ここでｉはパーティクルに一意に与えられた番号、p(ｘ_t ⁱ|ｘ_t ⁱ, ｕ_t-1)は所定の運動モデル、p(ｙ_t|ｘ_t ⁱ)は尤度である。

これまで述べた手法によって視覚追跡を精度よく行うためには、各パーティクルが表す候補曲線と実際の追跡対象の輪郭形状とのマッチングという、形状に基づく処理が重要となる。ここで例えば候補曲線を前出のΩ形とし、追跡対象の頭部輪郭とのマッチングを行ったとする。このような場合、追跡対象の人物の近傍に別の人物がいたり、接近してすれ違ったりすると、マッチングにおいてどちらの頭部の形状が追跡対象のものであるかを識別することができず、当該別の人物を追跡対象の分布に含めてしまう可能性がある。

これは人間の頭部に形状的な差が少ないことに起因しているが、近傍に似た形状を有する物があれば、頭部に限らずいかなる形状の追跡対象においても起こりうる。また画面内の複数の人物をそれぞれ追跡している場合でも、異なる追跡対象同士でマッチングに混同が生じ、追跡していたはずの対象が入れ替わってしまうなどの追跡の失敗も起こりうる。

そこで本実施の形態では、遷移させた各パーティクルが定める候補曲線の尤度を求めてから、当該尤度を色情報によって補正することにより追跡の精度を向上させる。上述のとおり、時刻ｔ−１における確率密度分布に基づき生成されたパーティクルのそれぞれが規定する候補曲線を、時刻ｔにおける追跡対象の輪郭と推定される曲線とマッチングすることにより尤度が計算される。このとき、近傍に存在する同様の輪郭形状を有する物とのマッチングで尤度が不当に高く観測され、確率密度分布の精度が悪化するのを防止するため、追跡対象が有する色情報によって尤度の確からしさを評価し補正を行う。

図３は色情報を取得する領域の例を示している。図１に示したように人物を追跡対象とした場合、テンプレートとしてΩ形の曲線を用意する。従って時刻ｔ−１において追跡対象の輪郭と推定される曲線も、時刻ｔにおいて各パーティクルが定める候補曲線も、Ω形の曲線となる。図３ではそのどちらも曲線５６として表している。このとき曲線５６に囲まれた所定の領域５８の色情報によって追跡対象と他とを区別する。

具体的には、時刻ｔの候補曲線である曲線５６に囲まれた所定の領域５８のカラーヒストグラムを取得し、時刻ｔ−１において推定された曲線５６に対して同様の位置関係にある領域５８のカラーヒストグラムと比較する。ここで「囲まれた」とは、曲線５６を追跡対象の輪郭、またはその一部ととらえたときの輪郭の内側を意味する。従って図３に示すように、領域５８は周囲の全てを曲線５６に囲まれていなくてもよい。

人間の頭部の画像は、その人間が向いている方向に応じて色の構成が異なる。図３のようにカラーヒストグラムを取得する領域５８を設定すると、追跡対象が撮影するカメラに対して後ろ向きであれば頭髪の色の占める割合が多くなり、正面を向いていれば顔面の肌の色の占める割合が多くなる。連続した２つのフレームにおいて顔の向きが大きく変化することは考えづらく、同じ人物であれば時刻ｔ−１におけるカラーヒストグラムの構成と時刻ｔにおけるカラーヒストグラムの構成は概ね同じであると考えられる。さらに頭髪の色や肌の色が異なれば、向きが同じでもヒストグラムの構成は大きく異なる。これらの点を人物の区別に利用する。比較の結果、両カラーヒストグラムの一致率が高い候補曲線は、その尤度が確からしいと判断する。

図３の例では領域５８は、曲線５６に内接する四角形であるが、頭部の色情報を取得できれば、内接または外接する多角形、円形、楕円形、などのいずれでもよく、曲線５６に沿った閉曲線で構成される図形などでもよい。言い換えると、領域５８は曲線５６、すなわち追跡対象の輪郭線の内側を含めば、その形状、曲線５６に対する大きさは限定されず、撮像対象の特色、大きさ、計算コストなどに鑑み、曲線５６に対する位置関係などを適宜設定してよい。例えば領域５８を図３のように画像の水平、垂直方向に辺を有する四角形とすると、カラーヒストグラムを生成するためのピクセル走査の領域を容易に設定することができ、計算コスト上、有利となる。

さらに領域５８を、曲線５６が囲む領域からはみ出した領域に及ぶように設定してもよい。例えば図３における領域５８を縦方向に拡張した長方形としてもよい。この場合は、人間の頭部のみならず服の色なども考慮して尤度の補正を行うことができる。服の色が互いに異なる複数の人間のそれぞれを追跡する場合などはこのようにすることにより追跡精度が向上する。追跡したい画像で領域５８を様々に設定して実験を繰り返し、最も精度のよい領域を求めてもよい。

また、推定した輪郭やカラーヒストグラムの構成から追跡対象の向きや大きさをリアルタイムで判断し、領域５８の形状、曲線５６に対する相対的な大きさ、曲線５６との位置関係などのパターンを適応的に変化させるようにしてもよい。例えば追跡対象がカメラから遠ざかりその像が小さくなった場合、図３に示した領域５８のまま固定とすると曲線５６とともに領域５８も小さくなってしまう。このとき、領域５８を曲線５６に対し拡張することにより追跡精度を維持することができる場合がある。このような態様においては、例えば曲線５６を規定する形状空間ベクトルのうち倍率を表すパラメータの数値範囲と、好適な領域５８のパターンとを対応づけたテーブルをあらかじめ図示しないメモリなどに記憶させておき、所定の時間間隔、フレーム間隔で当該テーブルを参照することにより、以後の領域５８のパターンを変化させる。変化の根拠とする変数は倍率を表すパラメータの他、形状空間ベクトルのその他のパラメータやカラーヒストグラムの構成を表す指標などでもよいし、それらの組み合わせでもよい。

図４は本実施の形態における視覚追跡システムの構成例を示している。視覚追跡システム１０は、追跡対象１８を撮像する撮像装置１２、追跡処理を行う追跡装置１４、撮像装置１２が撮像した画像のデータや追跡結果のデータを出力する表示装置１６を含む。追跡対象１８は人、物、それらの一部など、視覚追跡システム１０の使用目的によって異なっていてよいが、以後の説明では上記の例同様、人であるとする。

追跡装置１４と、撮像装置１２あるいは表示装置１６との接続は、有線、無線を問わず、また種々のネットワークを介していてもよい。あるいは撮像装置１２、追跡装置１４、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また使用環境によっては、撮像装置１２と表示装置１６は同時に追跡装置１４に接続されていなくてもよい。

撮像装置１２は追跡対象１８を含む画像、または追跡対象１８の有無に関わらずある場所の画像のデータを、所定のフレームレートで取得する。取得された画像データは追跡装置１４に入力され、追跡対象１８の追跡処理がなされる。処理結果は出力データとして追跡装置１４の制御のもと、表示装置１６へ出力される。追跡装置１４は別の機能を実行するコンピュータを兼ねていてもよく、追跡処理の結果得られたデータ、すなわち追跡対象１８の位置情報や形状情報などを利用して様々な機能を実現してよい。

図５は追跡装置１４の構成を詳細に示している。追跡装置１４は、撮像装置１２から入力される入力画像データを取得する画像取得部２０、当該入力画像データを記憶する画像記憶部２４、入力画像データからエッジ画像などを生成する画像処理部２２、追跡の開始および終了を判定する追跡開始終了判定部２８、パーティクルフィルタを用いて追跡処理を行う追跡処理部２６、最終的な追跡結果のデータを記憶する結果記憶部３６、追跡結果の表示装置１６への出力を制御する出力制御部４０を含む。

図５において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理部２２は追跡対象の輪郭を抽出する。具体的には、画像記憶部２４が記憶した入力画像データの画像フレームごとにエッジ抽出処理を施し、エッジ画像を生成する。ここではキャニーエッジフィルタや、ソーベルフィルタなど一般的なエッジ抽出アルゴリズムを用いることができる。また画像処理部２２は、背景差分を利用した前景抽出器（図示せず）を実装していてもよく、エッジ抽出処理の前処理として入力画像から追跡対象を含む前景を抽出することにより、追跡対象のエッジを効率的に抽出するようにしてもよい。

一方、画像処理部２２は、上述した一般的なエッジ抽出手法以外の手法で追跡対象の輪郭を抽出してもよい。例えば入力画像から抽出した前景の外周を構成する曲線を当該輪郭として抽出してもよいし、複数の手法を組み合わせてもよい。以降の説明ではそれらの手法によって抽出された輪郭を全て、「エッジ」に含めるものとする。したがって画像処理部２２が生成する「エッジ画像」は「輪郭線抽出画像」と同義とする。

追跡開始終了判定部２８は、画像処理部によって得られた前景を評価し、所定の条件によって追跡を開始するか、または終了するかを判定する。なおここでの「終了」はオクルージョンなどによる追跡の一時停止を含んでもよい。追跡は、追跡対象が撮像装置の視野角内に現れた場合や、物陰などから現れた場合などに開始し、追跡対象が撮像装置の視野角内から去った場合や物陰などに入った場合などに終了する。追跡を開始すると判定した場合は、前景のデータを追跡処理部２６に送信する。また、既に追跡中である場合は、追跡する時刻ｔの画像フレームに対し一つ前の時刻ｔ−１の画像フレームで追跡していた前景に対応する前景のデータを追跡処理部２６に送信する。

追跡処理部２６は、サンプリング部２９、観測部３０、補正部３２、および結果取得部３４を含む。サンプリング部２９は、一つ前の時刻ｔ−１における画像フレームに対して推定された確率密度分布に基づき、パーティクルの生成および消滅の処理を行う。サンプリング部２９は、追跡開始終了判定部２８から追跡開始を示す信号を受けたら処理を開始し、追跡終了を示す信号を受けたら処理を終了する。

観測部３０は上述のとおり全てのパーティクルに対し所定の運動モデルを適用してパーティクルをパラメータ空間上で遷移させるとともに、各パーティクルが定める候補曲線の尤度を観測する。補正部３２は各候補曲線に対して所定の位置関係にある領域５８のカラーヒストグラムと、一つ前の時刻ｔ−１の画像フレームにおいて対象物の輪郭と推定された曲線に対し同様の位置関係にある領域５８のカラーヒストグラムとの一致率を算出していき、それに基づき尤度を補正する。具体的な処理手順は後に詳述する。

結果取得部３４は、補正後の尤度に基づき式３で示すような確率密度分布p(ｘ_t ⁱ)を算出し、それにより重み付け平均したパラメータによって得られる曲線のデータなどの追跡結果を算出し、結果記憶部３６に格納する。また次の時刻ｔ＋１における追跡処理に使用するため、サンプリング部２９にそのデータを返す。結果記憶部３６に格納するデータは、重み付け平均した各パラメータの値でもよいし、それにより定まる曲線のみで構成される画像や、曲線と入力画像とを合成してできた画像のデータなどのいずれでもよい。

結果取得部３４はさらに、重み付け平均した各パラメータにより定まる曲線に対応する領域５８のカラーヒストグラムを取得し、これも次の時刻ｔ＋１における尤度の補正に使用するため、結果記憶部３６または補正部３２内の図示しないレジスタなどに格納しておく。

追跡対象が複数存在する場合、結果取得部３４はさらに、それぞれに用意したテンプレートを用いて、追跡対象ごとに追跡を行い、それらの追跡結果を合成することによりひとつの追跡結果としてもよい。また複数の追跡対象が重なるような場合を追跡結果によって検出し、後ろに隠れる追跡対象については所定のタイミングで追跡処理対象からはずすなどの措置を講じる。これにより追跡対象が別の追跡対象の背後に回ったことによって観測尤度が一時的に低下しても、不適当な追跡結果を出力するのを避けることができる。

画像処理部２２、追跡処理部２６における上述の処理を、各フレームに対して行うことにより、結果記憶部３６には例えば追跡結果を含む動画像のデータが記憶される。この場合、出力制御部４０の制御のもと、当該動画像のデータを表示装置１６に出力することにより、テンプレートの曲線が追跡対象の動きと同様に動く様を表示することができる。なお上述のとおり、追跡結果は動画として表示する以外に、追跡の目的に応じて別の演算モジュールに出力するなどの処理を適宜行ってよい。

次に追跡処理を行う際の追跡装置１４の動作について説明する。以下、例としてある場所にいる人物を追跡する場合について説明する。このとき撮像装置１２は、撮影対象の場所を所定のフレームレートで撮影する。撮影された画像は入力画像データとして追跡装置１４の画像取得部２０へ入力され、画像記憶部２４に格納される。このような状態において以下に述べる追跡処理が行われる。

図６は本実施の形態における追跡処理の手順を示すフローチャートである。この例の場合、追跡対象は人物であるため、追跡装置１４には前述のとおりΩ型のテンプレートを用意する。なおテンプレートの表現手法はＢスプライン曲線に限らず、所望の曲線を表現できる記述形式であればよい。またテンプレート形状の変形手法も、その記述形式に適合し、数種類のパラメータを変化させることによって上述のような柔軟な変形を行うことのできる手法を適宜選択してよい。

まず追跡開始終了判定部２８は、画像記憶部２４に格納された入力画像データをフレームごとに読み出し、追跡を開始するかどうかの判定を行う（Ｓ２０、Ｓ２２）。例えば、画像フレームから抽出した前景として、人物と推定できる所定のサイズ、形を有する対象が出現した場合には、追跡を開始する判定を行う。判定基準となる前景のサイズや形はあらかじめ論理的にまたは実験的に定めておく。前景の抽出処理は、画像処理部２２に実装された図示しない前景抽出器を利用してもよい。この場合は、追跡開始終了判定部２８が、画像処理部２２に対し前景抽出処理の要求を行う。あるいは追跡開始終了判定部２８が前景抽出器を実装していてもよい。

追跡開始と判定されるまでＳ２０とＳ２２を繰り返し、追跡開始と判定されたら（Ｓ２２のＹ）、判定対象の画像フレームにおける確率密度分布p(ｘ₀ ⁱ)を生成する（Ｓ２４）。ここで、当該画像フレームに対応する時刻をｔ＝０とし、以後の画像フレームは時刻ｔ＝１，２，３，・・・にそれぞれ対応するとする。まず、サンプリング部２９が画像処理部２２に対し、当該画像フレームのエッジ抽出処理の要求を行う。要求を受けた画像処理部２２は、当該フレームの、人物と推定できる所定のサイズ、形を有する前景内部に対し所定のエッジ抽出アルゴリズムを施すことによってエッジを抽出し、サンプリング部２９にエッジ画像データを渡す。

サンプリング部２９は取得したエッジ画像データから確率密度分布p(ｘ₀ ⁱ)を生成する。このときは、例えばパラメータ空間の所定領域に均等にパーティクルを配置し、それらが定める候補曲線の尤度を観測することによって式３のように確率密度分布p(ｘ₀ ⁱ)を算出する。ただしこの場合は運動モデルによるパーティクルの遷移は行わない。サンプリング部２９は、上述のエッジ抽出処理の要求と同時に、後続フレームのエッジ抽出処理要求も行ってよい。

さらにサンプリング部２９は、生成した確率密度分布p(ｘ₀ ⁱ)によって各パラメータを重み付き平均した値で決定されるΩ形の曲線、すなわち時刻ｔ＝０における追跡対象の頭部の輪郭と推定される曲線５６に対し、図３の領域５８のような所定の位置関係にある領域のカラーヒストグラムを取得し、補正部３２に渡しておく。

次にサンプリング部２９は、生成した確率密度分布p(ｘ₀ ⁱ)に対応した数のパーティクルを、パラメータ空間上に発生させるサンプリングを行う（Ｓ２６）。発生させるパーティクルの数は、追跡装置１４が有する演算リソースの量や、求められる結果出力速度などに基づき、処理の負荷を考慮して制御する。

次に観測部３０は、所定の運動モデルに基づき、パーティクルをそれぞれ遷移させ、遷移後のパーティクルが定める各候補曲線の尤度p(ｙ_t|ｘ_t ⁱ)を観測する（Ｓ２８）。運動モデルは追跡対象の種類に応じてガウシアン型運動モデル、自己回帰予測型運動モデルなどから追跡精度が高く得られるものをあらかじめ決定しておく。尤度の観測は、画像処理部２２が生成した時刻ｔ＝１のエッジ画像を用いて、各候補曲線近傍にあるエッジを探索することにより行われる。エッジの探索はコンデンセーションアルゴリズムなどで一般的に用いられる手法を用いてよい。

次に補正部３２は、各パーティクルが定める候補曲線たる曲線５６に対し、図３の領域５８のような所定の位置関係にある領域のカラーヒストグラムを取得し、あらかじめサンプリング部２９から取得した、時刻ｔ＝０におけるカラーヒストグラムとの一致率を計算して各候補曲線の尤度を補正する（Ｓ２８）。より具体的な手順については後述する。

結果取得部３４は、補正された尤度に基づき時刻ｔ＝１の確率密度分布p(x₁ ⁱ)を求める。複数の追跡対象が存在する場合は、上記の処理を追跡対象ごとに行う。そして結果取得部３４は、時刻ｔ＝１における追跡対象の形状および位置として、確率密度分布p(x₁ ⁱ)によって各パラメータを重み付け平均して得られるΩ型の曲線を最終的に決定し、元の入力画像フレームに重ねた画像フレームのデータを生成するなど、所望の追跡結果データを生成して結果記憶部に保存する（Ｓ３４）。

結果取得部３４はさらに、決定したΩ形の曲線５６に対し、図３の領域５８のような所定の位置関係にある領域のカラーヒストグラムを取得し、結果記憶部３６などに格納する。補正部３２は、時刻ｔ＝２以後の尤度の補正においては、結果取得部３４が格納した追跡結果の曲線に対するカラーヒストグラムを読み出すことによって、次の時刻の候補曲線に対するカラーヒストグラムと比較を行う。

追跡開始終了判定部２８は、追跡処理をこれ以上続行するか終了するかの判定を行う（Ｓ３６）。例えば人物と推定できる所定のサイズ、形を有する対象が前景として現れない状態が所定時間継続した場合に追跡終了の判定を行う。判定に用いる前景のデータは、それまでのエッジ抽出処理で画像処理部２２が行う前景抽出の結果を利用することができる。また追跡開始終了判定部２８には図示しないタイマーを設け、前景がなくなった時点からの経過時間を計測する。そして実験などによってあらかじめ定めた所定時間を経過した時点でフラグを立てるなどすることにより、フラグが立った直後の判定タイミングで追跡終了の判定がなされる。

追跡開始終了判定部２８はこの他に、例えば実空間上においてある追跡対象が別の追跡対象の背後に回った場合など、オクルージョンの状態が所定時間継続した場合に追跡終了の判定を行う。このときはまず結果取得部３４が、複数の追跡対象が近づくことを追跡処理結果から検出し、そのうち対応するΩ型曲線が小さい方の追跡対象が、他方の追跡対象の背後に回ると判断する。あるいは撮像装置１２に設けられた図示しない距離計測系によって背後に回る追跡対象を判断してもよい。そして２つの追跡対象が重なった時点で、追跡開始終了判定部２８は時間経過の計測を上記と同様に開始し、そのままの状態で所定時間を経過したら、背後にいる追跡対象について追跡終了の判定を行う。

追跡開始終了判定部２８はさらに、追跡対象が撮像装置１２の画角から外れた状態が所定時間継続した場合なども追跡終了の判定を行う。追跡対象が画角から外れる動きも結果取得部３４が検出する。追跡開始終了判定部２８には、上記の３種類の状態のそれぞれに対応させて、継続時間を計測するタイマーと、所定時間の経過を示すフラグとを設けることにより、いずれの状態が発生しても終了判定を行えるようにする。

Ｓ３６において追跡処理を終了しないと判定した場合は（Ｓ３６のＮ）、Ｓ３４で得られた時刻ｔ＝１のときの確率密度分布p(ｘ₁ ⁱ)を用いて、時刻ｔ＝２のフレームに対するサンプリングを行うため、パーティクルの生成または消滅を行う（Ｓ２６）。以降、Ｓ３６で追跡開始終了判定部２８が追跡終了の判定を行うまでＳ２６からＳ３４までの処理を、各フレームに対して繰り返す。これにより、Ω型の曲線が追跡対象の来訪者の頭部と同じ動きおよび形状で、時間に対して変化していくような動画のデータが結果記憶部３６に格納される。出力制御部４０が当該データを、表示装置１６や別の機能を提供するモジュールなどに出力することにより、ユーザは所望の形態で追跡結果を利用することができる。

図７は図６のＳ２８における尤度補正の処理手順を示すフローチャートである。まず、追跡対象の画像フレームを時刻ｔのフレームとしたとき、一つ前のフレームである時刻ｔ−１の画像フレームにおける追跡対象のカラーヒストグラムを取得する（Ｓ４０）。これは図６で説明したように、一つ前の時刻の追跡処理において結果取得部３４が結果記憶部３６などに格納したデータを読み出すことにより行われる。

次に遷移後の各パーティクルが定める候補曲線について観測された尤度がしきい値αを超えているかどうかを確認する（Ｓ４４）。本実施の形態では、追跡対象以外の人の頭部輪郭とのマッチングによって尤度が不当に高く算出されてしまうのを補正するが、もともと尤度の低い候補曲線はいずれのエッジとも比較的離れていると考えられ、確率密度分布に与える影響も少ないことから、補正の対象から外す。これにより補正処理にかかる計算の負荷を減らすとともに、カラーヒストグラムの一致率が偶然高かったことによって尤度が誤って高くされてしまうなどの誤差の発生を防止する。しきい値αはあらかじめ実験などによって追跡精度や計算コストなどの点から評価を行い決定しておく。

尤度がしきい値α以下であれば（Ｓ４４のＮ）、尤度の補正を行わずに次のパーティクルの補正処理に移行する（Ｓ５２のＮ、Ｓ４４）。尤度がしきい値αを超えていれば（Ｓ４４のＹ）、候補曲線に対し所定の位置関係にある領域５８のカラーヒストグラムを取得し、Ｓ４０で取得した時刻ｔ−１におけるカラーヒストグラムとの一致率ｒを計算する（Ｓ４６）。一致率には画像の類似性評価などで一般的に用いられるヒストグラムインターセクションの処理を利用することができる。具体的には、比較する２つの領域のそれぞれにおいて、カラー値iを有するピクセルが含まれる割合をそれぞれａ_i、ｂ_iとすると、一致率ｒを以下のように算出する。

次に一致率ｒがしきい値βを超えているかどうかを確認する（Ｓ４８）。一致率が高くなるほど、その尤度は追跡対象の輪郭に基づき観測された値である可能性が高くなるため、尤度を高くする補正を行う。図７の例では、一致率ｒがしきい値βを超えている場合（Ｓ４８のY）、尤度に所定の係数γを積算する（Ｓ５０）。一致率ｒがしきい値β以下である場合（Ｓ４８のN）、尤度の補正を行わずに次のパーティクルの補正処理に移行する（Ｓ５２のＮ、Ｓ４４）。一致率ｒに対するしきい値βおよび尤度を補正するための係数γも、しきい値αと同様、あらかじめ実験などによって追跡精度や計算コストなどの点から評価を行い決定しておく。

係数γは定数でなくてもよく、例えば一致率の増加に対して連続的、あるいは段階的に増加する変数でもよい。このとき、しきい値βを設けずに全ての尤度に対し積算するようにしてもよい。Ｓ４４〜Ｓ５０の処理を全てのパーティクルに対して繰り返し（Ｓ５２のN)、全てのパーティクルについて処理が終了したら（Ｓ５２）、尤度の補正処理を終える。

以上述べた本実施の形態によれば、追跡対象の輪郭などの形状に基づき視覚追跡を行う際、追跡対象の有する色情報を用いて尤度の補正を行い、追跡精度を向上させる。具体的には、時刻ｔ−１のフレームにおける追跡結果、すなわち確率密度分布によって重み付け平均されたパラメータにより定まる曲線と所定の位置関係にある領域のカラーヒストグラムと、時刻ｔのフレームにおける各パーティクルが定める候補曲線と所定の位置関係にある領域のカラーヒストグラムとを比較する。そして一致率が高い候補曲線は、その尤度が確からしいとして尤度を増加させる補正を行う。

これにより、追跡対象と同様の形状を有する物や人が追跡対象の近傍に存在していても、それとのマッチングによる誤差を含む尤度を、真の追跡対象とのマッチングによる尤度と差別化することができ、最終的に得られる確率密度分布の精度が向上する。このようにすることで、例えばスポーツスタジアムや銀行の自動預け払い機などを固定カメラで撮影する環境において、複数の人物が接近したりすれ違ったりを繰り返しても、人物の頭部領域をより安定的に追跡することができる。これらの追跡結果を利用することで、スポーツの試合状況の解析を行ったり、顔識別処理を頭部領域に行って不審者を検出したり、といった態様を実現することができる。

また、尤度の補正はあらかじめ用意したしきい値を超えた候補曲線に対してのみ行う。これにより、確率密度分布の精度に大きく影響しない尤度の補正処理を省略し、計算負荷を軽減させることができる。またカラーヒストグラムの偶然の一致によってさらなる誤差が生じるのを抑制することができる。

さらにカラーヒストグラムを取得する領域は、追跡対象によって柔軟に定める。本実施の形態の効果を最も得ることのできる領域を設定することにより、幅広い追跡対象に対し本実施の形態を効果的に適用することができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、候補曲線のテンプレートを閉曲線とした場合などは、カラーヒストグラムを取得する領域を、閉曲線内部の全ての領域とすることもできる。このような場合において、領域内の箇所による重要性に鑑み、重み付けを行ったうえでカラーヒストグラムとしてもよい。例えば追跡対象を識別する情報がテンプレートの形状の中心に集中している場合などは、中心のカラー値の割合を増加させ、周辺のカラー値の割合を減少させるなどの重み付けを行う。またこのような重み付けの設定を追跡対象ごとに設定してもよい。このように詳細に設定を行うことにより、より精度の高い追跡処理を行うことができる。

人物を追跡対象とした場合の視覚追跡手法を説明するための図である。 パーティクルフィルタを用いた確率密度推定の手法を説明する図である。 本実施の形態において色情報を取得する領域の例を示す図である。 本実施の形態における視覚追跡システムの構成例を示す図である。 本実施の形態における追跡装置の構成を詳細に示す図である。 本実施の形態における追跡処理の手順を示すフローチャートである。 本実施の形態における尤度補正の処理手順を示すフローチャートである。

符号の説明

１ 視覚追跡システム、 １２ 撮像装置、 １４ 追跡装置、 １６ 表示装置、 ２０ 画像取得部、 ２２ 画像処理部、 ２４ 画像記憶部、 ２６ 追跡処理部、 ２８ 追跡開始終了判定部、 ２９ サンプリング部、 ３０ 観測部、 ３２ 補正部、 ３４ 結果取得部、 ３６ 結果記憶部、 ４０ 出力制御部。

Claims (7)

1. 撮影した対象物の動きを追跡する対象物追跡装置であって、
   撮影の結果取得した動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、前記第１の画像フレームにおける対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける対象物の候補輪郭を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成するサンプリング部と、
   前記サンプリング部が生成した各パーティクルを所定の運動モデルに則り遷移させ、それらのパーティクルによって定まる各候補輪郭の尤度を、前記第２の画像フレームから検出したエッジとの距離に基づき観測する観測部と、
   前記第２の画像フレームのうち各候補輪郭によって定まる領域の色情報を、前記第１の画像フレームのうち前記推定存在確率分布によって定まる領域の色情報と比較し、その結果により前記観測部が観測した尤度を、所定のしきい値を超えた尤度のみを補正対象として補正する補正部と、
   前記補正部が補正した尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定する結果取得部と、
   を備えることを特徴とする対象物追跡装置。
2. 前記補正部は、前記第２の画像フレームにおいて前記候補輪郭と所定の位置関係にある領域内のカラーヒストグラムと、前記第１の画像フレームにおける推定存在確率分布によって重み付け平均されたパラメータによって定まる推定輪郭と所定の位置関係にある領域内のカラーヒストグラムとを比較し、その一致率によって各候補輪郭の尤度に重み付けを行うことを特徴とする請求項１に記載の対象物追跡装置。
3. 前記補正部は、前記候補輪郭によって囲まれた領域の少なくとも一部のカラーヒストグラムと、前記推定輪郭によって囲まれた領域の少なくとも一部のカラーヒストグラムとを比較することを特徴とする請求項２に記載の対象物追跡装置。
4. 前記補正部は、前記一致率が所定のしきい値を超えた候補輪郭の尤度に、所定の係数を積算することを特徴とする請求項２に記載の対象物追跡装置。
5. コンピュータが行う対象物追跡方法であって、
   入力された動画像データを構成する画像ストリームをメモリに記憶するステップと、
   前記画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームを前記メモリより読み出し、前記第１の画像フレームにおける対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける対象物の候補輪郭を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成するステップと、
   各パーティクルを所定の運動モデルに則り遷移させ、それらのパーティクルによって定まる各候補輪郭の尤度を、メモリより読み出した前記第２の画像フレームのエッジ画像を探索することにより、各候補輪郭とエッジとの距離に基づき観測するステップと、
   前記第２の画像フレームのうち各候補輪郭によって定まる領域の色情報を、前記第１の画像フレームのうち前記推定存在確率分布によって定まる領域の色情報と比較し、その結果により尤度を、所定のしきい値を超えた尤度のみを補正対象として補正するステップと、
   補正された尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定するステップと、
   を含むことを特徴とする対象物追跡方法。
6. コンピュータに対象物追跡を実現させるコンピュータプログラムであって、
   入力された動画像データを構成する画像ストリームをメモリに記憶する機能と、
   前記画像ストリームに含まれる画像フレームのうち第１の画像フレームを前記メモリより読み出し、前記第１の画像フレームにおける対象物の推定存在確率分布に基づき、第２の画像フレームにおける対象物の候補輪郭を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成する機能と、
   各パーティクルを所定の運動モデルに則り遷移させ、それらのパーティクルによって定まる各候補輪郭の尤度を、メモリより読み出した前記第２の画像フレームのエッジ画像を探索することにより、各候補輪郭とエッジとの距離に基づき観測する機能と、
   前記第２の画像フレームのうち各候補輪郭によって定まる領域の色情報を、前記第１の画像フレームのうち前記推定存在確率分布によって定まる領域の色情報と比較し、その結果により尤度を、所定のしきい値を超えた尤度のみを補正対象として補正する機能と、
   補正された尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定する機能と、
   をコンピュータに実現させることを特徴とするコンピュータプログラム。
7. コンピュータに対象物追跡を実現させるコンピュータプログラムを記録した記録媒体であって、
   入力された動画像データを構成する画像ストリームをメモリに記憶する機能と、
   前記画像ストリームに含まれる画像フレームのうち第１の画像フレームを前記メモリより読み出し、前記第１の画像フレームにおける対象物の推定存在確率分布に基づき、第２の画像フレームにおける対象物の候補輪郭を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成する機能と、
   各パーティクルを所定の運動モデルに則り遷移させ、それらのパーティクルによって定まる各候補輪郭の尤度を、メモリより読み出した前記第２の画像フレームのエッジ画像を探索することにより、各候補輪郭とエッジとの距離に基づき観測する機能と、
   前記第２の画像フレームのうち各候補輪郭によって定まる領域の色情報を、前記第１の画像フレームのうち前記推定存在確率分布によって定まる領域の色情報と比較し、その結果により尤度を、所定のしきい値を超えた尤度のみを補正対象として補正する機能と、
   補正された尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定する機能と、
   をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。

Images