JP4208898B2 - 対象物追跡装置および対象物追跡方法 - Google Patents

Description

本発明は情報処理技術に関し、特に入力画像中の対象物の追跡を行う対象物追跡装置およびそこで実行される対象物追跡方法に関する。

視覚追跡はコンピュータビジョン、特にセキュリティ分野における視覚監視やＡＶ分野における記録映像の解析・分類、編集、またはマンマシンインターフェース、さらには人間同士のインターフェース、すなわちテレビ会議やテレビ電話など、多岐に渡る応用が見込まれる。そのため、追跡精度および処理効率の向上等を目的に、多くの研究がなされている。中でも、カルマンフィルタで扱うことのできない非ガウス性雑音が加算された信号の時系列解析手法として注目されているパーティクルフィルタを視覚追跡に応用する研究が多くなされており、特にCondensation(Conditional Density Propagation)アルゴリズムが有名である（例えば非特許文献１および２参照）。

パーティクルフィルタはベイズフィルタの近似計算法であり、有限個のパーティクルを追跡候補として導入することにより対象の確率分布を表現し、それを用いて時系列推定や予測を行う。視覚追跡で用いる際には、パラメータ化した対象の動きを１個のパーティクルとして扱い、運動モデルによるパラメータ遷移と観測による遷移結果の尤度計算によって、対象のパラメータ空間上での存在分布確率を逐次推定する。しかしパーティクルフィルタは、設定する運動モデルで表現しきれない対象の動きに弱いことから、運動モデルをいかに構築するかが大きな問題になる。
Contour tracking by stochastic propagation of conditional density, Michael Isard and Andrew Blake, Proc. European Conf. on Computer Vision, vol. 1, pp.343-356, Cambridge UK (1996) CONDENSATION - conditional density propagation for visual tracking, Michael Isard and Andrew Blake, Int. J. Computer Vision, 29, 1, 5-28 (1998) A mixed-state Condensation tracker with automatic model-switching, Michael Isard and Andrew Blake, Proc. 6th Int. Conf. Computer Vision, 1998 ICondensation: Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998

視覚追跡における従来の標準的なパーティクルフィルタでは、画像のカテゴリに合わせて様々な運動モデルを選択する。ところが単一の運動モデルで追跡を行う場合、対象のパラメータ空間上の動きの特性が一定である必要があるため、適用環境が限定的となる。これは設定した運動モデルが対象のパラメータ空間上の動きを良好に表現できない場合に、著しく追跡性能が落ちることが理由である。これに対して複数の運動モデルを切り替えて追跡を行う手法も提案されている（例えば非特許文献３参照）。しかしこの手法も、切り替えタイミングを学習する必要があること、および学習が収束した場合にのみ有効であることから実用的ではない。

本発明はこのような課題に鑑みてなされたものであり、その目的は追跡対象の運動特性が変化しても、適応的かつ効率的に追跡を続行することのできる技術を提供することにある。

本発明のある態様は対象物追跡装置に関する。この対象物追跡装置は、動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、追跡候補を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成するサンプリング部と、複数の運動モデルのそれぞれに対応し、各運動モデルに則り遷移させたパーティクルが定める追跡候補の、第２の画像フレームにおける対象物に対する尤度を観測する複数のモデル追跡部と、複数のモデル追跡部が観測した尤度を比較することにより一の運動モデルを選択し、当該運動モデルに則り定めた追跡候補の尤度に基づき、第２の画像フレームにおける対象物の存在確率分布を推定する追跡統合部と、を備えることを特徴とする。

ここで「第１の画像フレーム」と「第２の画像フレーム」は、画像ストリームにおいて隣接する画像フレームでもよいし、離れて位置する画像フレームでもよい。時間軸の順方向へ追跡していく一般的な対象物追跡においては、「第１の画像フレーム」は「第２の画像フレーム」より時間的に前の画像フレームであるが、本実施の形態はこれに限らない。

また「存在確率分布」は、対象物の画像フレーム内の位置座標に対する存在確率分布であってもよいし、形状、色、大きさなど対象物の有する属性のいずれかまたはそれらの組み合わせを表すパラメータが張る空間に対する存在確率分布であってもよい。したがって「追跡候補」は形状や大きさを表す２次元図形として表されてもよいし、数値そのものでもよい。また「尤度」は追跡候補がどの程度対象物と近い態様となっているかを表す度合いであり、例えば追跡候補を２次元図形とした場合は、対象物との重なり具合、対象物との距離などを数値で示したものなどであり、追跡候補が数値であれば対象物の有する数値との差を示したものなどである。

「パーティクル」とは、過去の情報と現在の観測情報とから現在の状態を推定する手法のひとつであるパーティクルフィルタにおいて導入されるものであり、観測を行うパラメータへの重み付けを、パラメータ空間に存在するパーティクルの数で表現する。

本発明の別の態様は対象物追跡方法に関する。この対象物追跡方法は、コンピュータが行う対象物追跡方法であって、入力された動画像データを構成する画像ストリームをメモリに記憶するステップと、画像ストリームに含まれる画像フレームのうち第１の画像フレームをメモリより読み出し、第１の画像フレームにおける対象物の存在確率分布から、対象物の変化の度合いを複数の運動モデルを仮定して算出するステップと、算出した変化の度合いによって定まる対象物の仮の特性と、メモリより読み出した第２の画像フレームにおける対象物の真の特性とを比較して、複数の運動モデルのうち最も尤度の高い仮の特性を与える運動モデルを選択するステップと、選択した運動モデルに基づき、第２の画像フレームにおける対象物の存在確率分布を推定するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、複数の運動特性を有する対象物の追跡を、精度を確保しつつ効率的に行うことができる。

本実施の形態の特徴および効果を明らかにするために、まずパーティクルフィルタによる視覚追跡について説明する。図１は人物を追跡対象とした場合の視覚追跡手法を説明するための図である。人物画像５０は実写した動画像やコンピュータグラフィックスなどにより生成された動画像の画像ストリームを構成する画像フレームのひとつであり、追跡対象である人物５２が写っている。

この人物５２の動きを追跡するために、人物５２の頭部輪郭の形状を近似するΩ形の曲線５４を既知の表現で記述する。一方、人物５２を含む人物画像５０にはエッジ抽出処理を施し、エッジ画像を取得しておく。そして曲線５４を規定するパラメータを変化させながら形状および位置を変化させて、その近傍にあるエッジを探索することにより、人物５２の頭部輪郭に最もマッチするパラメータを特定する。以上の処理をフレームごとに繰り返すことにより人物５２の追跡が進捗する。ここでエッジとは画像の濃度や色に急な変化を有する箇所のことである。

様々な曲線５４と人物５２の頭部輪郭とのマッチングを行うために、パーティクルフィルタによる確率分布予測技術を導入する。すなわち、ひとつ前のフレームにおけるパラメータ空間上の対象物の確率分布に応じて曲線５４のサンプリング数を増減させ、追跡候補の絞り込みを行う。これにより存在確率の高い部分に対しては重点的に探索を行うことができ、精度のよいマッチングが効率的に行える。

対象物の輪郭に着目した追跡に対するパーティクルフィルタの適用手法は、例えば非特許文献４（ICondensation: Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998）に詳述されている。ここでは本実施の形態に係る点に着目して説明する。

まずΩ形の曲線５４を、Ｂスプライン曲線で記述する。Ｂスプライン曲線はｎ個の制御点列（Ｑ０，・・・，Ｑｎ）と単位点列（ｓ０，・・・，ｓｎ）とから定義される。そして基本となる曲線形状、この場合はΩ形の曲線となるように、それらのパラメータをあらかじめ設定しておく。このときの設定によって得られる曲線を以後、テンプレートＱ_０と呼ぶ。なお、図１で示した人物画像５０における人物５２の追跡を行う場合は、テンプレートＱ_０はΩ形であるが、その形状は追跡対象によって変化させる。すなわち追跡対象がボールであれば円形、手のひらであれば手の形状となる。

次にテンプレートの形状を変化させるための変換パラメータとして、形状空間ベクトルｘを準備する。形状空間ベクトルｘは以下のような６つのパラメータで構成される。

ここで（shift_ｘ，shift_ｙ）は（ｘ，ｙ）方向への並進量、（extend_ｘ，extend_ｙ）は倍率、θは回転角である。そして形状空間ベクトルｘをテンプレートＱ_０に作用させるための作用行列Ｗを用いると、変形後の曲線、すなわち候補曲線Ｑは以下のように記述できる。

式２を用いれば、形状空間ベクトルｘを構成する６つのパラメータを適宜変化させることにより、テンプレートを並進、伸縮、回転させることができ、組み合わせによって候補曲線Ｑの形状や位置を種々変化させることができる。

そして、制御点列、および単位点列の間隔といったテンプレートＱ_０のパラメータや、形状空間ベクトルｘを構成する６つのパラメータを変化させることによって表現される複数の候補曲線について、各単位点の近傍にある人物５２のエッジを探索する。その後、エッジとの距離から各候補曲線の尤度を求めることにより、形状空間ベクトルｘを構成する６つのパラメータが張る６次元空間における確率密度分布を推定する。

図２はパーティクルフィルタを用いた確率密度分布推定の手法を説明する図である。同図では理解を簡単にするために、形状空間ベクトルｘを構成する６つのパラメータのうちの１つのパラメータｘ１の変化を横軸に表しているが、実際には６次元空間において同様の処理が行われる。ここで確率密度分布を推定したい画像フレームが時刻ｔの画像フレームであるとする。

まず、時刻ｔの画像フレームのひとつ前のフレームである時刻ｔ−１の画像フレームにおいて推定された、パラメータｘ１軸上の確率密度分布を用いて（Ｓ１０）、時刻ｔにおけるパーティクルを生成する（Ｓ１２）。それまでにフィルタリングを行い、すでにパーティクルが存在する場合は、その分裂、および消滅を決定する。Ｓ１０において表した確率密度分布は、パラメータ空間上の座標に対応して離散的に求められたものであり、円が大きいほど確率密度が高いことを表している。

パーティクルはサンプリングするパラメータｘ１の値とサンプリング密度とを実体化したものであり、例えば時刻ｔ−１において確率密度が高かったパラメータｘ１の領域は、パーティクル密度を高くすることで重点的にサンプリングを行い、確率密度の低かった範囲はパーティクルを少なくすることでサンプリングをあまり行わない。これにより、例えば人物５２のエッジ近傍において候補曲線を多く発生させて、効率よくマッチングを行う。

次に所定の運動モデルを用いて、パーティクルをパラメータ空間上で遷移させる（Ｓ１４）。所定の運動モデルとは例えば、ガウシアン型運動モデル、自己回帰予測型運動モデルなどである。前者は、時刻ｔにおける確率密度は時刻ｔ−１における各確率密度の周囲にガウス分布している、とするモデルである。後者は、サンプルデータから取得した２次以上の自己回帰予測モデルを仮定する手法で、例えば人物５２がある速度で等速運動をしているといったことを過去のパラメータの変化から推定する。図２の例では、自己回帰予測型運動モデルによりパラメータｘ１の正方向への動きが推定され、各パーティクルをそのように遷移させている。

次に、各パーティクルで決定される候補曲線の近傍にある人物５２のエッジを、時刻ｔのエッジ画像を用いて探索することにより、各候補曲線の尤度を求め、時刻ｔにおける確率密度分布を推定する（Ｓ１６）。前述のとおり、このときの確率密度分布はＳ１６に示すように、真の確率密度分布４００を離散的に表したものになる。以降、これを繰り返すことにより、各時刻における確率密度分布がパラメータ空間において表される。例えば確率密度分布が単峰性であった場合、すなわち追跡対象が唯一であった場合は、得られた確率密度を用いて各パラメータの値に対し重み付けした和を最終的なパラメータとすることにより、追跡対象に最も近い曲線が得られることになる。

Ｓ１６において推定される時刻ｔにおける確率密度分布p(x_t ⁱ)は以下のように計算される。

ここでｉはパーティクルに一意に与えられた番号、p(x_t ⁱ|x_t ⁱ, u_t-1)は所定の運動モデル、p(y_t|x_t ⁱ)は尤度である。

ここで運動モデルとしてガウシアン型運動モデルを導入した場合、エッジ探索の範囲はひとつ前の時刻における１つのパーティクルに対してパラメータ空間上で等方的に広がる。そのため、直線運動や蛇行など多様な動きに対応しやすい一方、追跡対象が探索範囲を超えるような大きな動きでパラメータ空間上を変位した場合、遷移させたパーティクルが定める候補曲線が実際のエッジからかけ離れてしまうことがある。その場合、エッジ探索がうまくいかずに追跡が失敗する可能性がある。これを克服するためにはガウス分布の標準偏差を大きくし、パーティクルを広範囲に分布させることが考えられるが、この場合、観測の密度を維持するためにパーティクルの数を増加させる必要がある。これらのことからガウシアン型運動モデルは計算時間が増大しやすかったりノイズ耐性が低いなどの問題を有する。

一方、自己回帰予測型運動モデルの場合、自己回帰予測が当てはまるケースにおいては、パーティクルを効率よく使用できるため計算効率がよくノイズ耐性も高いが、予測からはずれた動きにおいて追跡を失敗する可能性が大きくなる。

このように各運動モデルは、適合しやすい運動特性がそれぞれ異なるため、その選択は重要な意味を持つ。ところが最適と思われる運動モデルを選択しても、追跡対象が複数の運動特性を有し、時刻によってそれが変化する場合などには対応が困難であることに本発明者は想到した。そこで本実施の形態では、追跡対象の複数の運動特性のそれぞれに適合する複数の運動モデルを用意し、それらを適応的に切り替えることによって、追跡対象の動きに複数の特性がある場合においても精度を維持した追跡を実現する。

図３は本実施の形態における視覚追跡システムの構成例を示す図である。視覚追跡システム１０は、追跡対象１８を撮像する撮像装置１２、追跡処理を行う追跡装置１４、撮像装置１２が撮像した画像のデータや追跡結果のデータを出力する表示装置１６を含む。追跡対象１８は人、物、それらの一部など、視覚追跡システム１０の使用目的によって異なっていてよいが、以後の説明では上記の例同様、人であるとする。

追跡装置１４と、撮像装置１２あるいは表示装置１６との接続は、有線、無線を問わず、また種々のネットワークを介していてもよい。あるいは撮像装置１２、追跡装置１４、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また使用環境によっては、撮像装置１２と表示装置１６は同時に追跡装置１４に接続されていなくてもよい。

撮像装置１２は追跡対象１８を含む画像、または追跡対象１８の有無に関わらずある場所の画像のデータを、所定のフレームレートで取得する。取得された画像データは追跡装置１４に入力され、追跡対象１８によって追跡処理がなされる。処理結果は出力データとして追跡装置１４の制御のもと、表示装置１６へ出力される。追跡装置１４は別の機能を実行するコンピュータを兼ねていてもよく、追跡処理の結果得られたデータ、すなわち追跡対象１８の位置情報や形状情報などを利用して様々な機能を実現してよい。

図４は追跡装置１４の構成を詳細に示している。追跡装置１４は、撮像装置１２から入力される入力画像データを取得する画像取得部２０、当該入力画像データを記憶する画像記憶部２４、入力画像データからエッジ画像などを生成する画像処理部２２、エッジ画像に対し複数の運動モデルに基づき追跡処理を行う追跡処理部２６、得られた複数の追跡結果から適宜追跡結果を選択、統合する追跡統合部３０、最終的な追跡結果のデータを記憶する結果記憶部３４、追跡結果のデータの表示装置１６への出力を制御する出力制御部３２を含む。

図４において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

追跡処理部２６は、追跡開始終了判定部２８、サンプリング部２９、第１モデル追跡部２７ａ、第２モデル追跡部２７ｂ、・・・、第ｎモデル追跡部２７ｎのｎ個のモデル追跡部２７を含む。ここでｎは追跡処理を行うために導入する運動モデルの数である。すなわち第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎにはそれぞれ、異なる運動モデルがあらかじめ設定され、個々の運動モデルによって遷移させたパーティクルに基づく候補曲線の尤度がそれぞれ計算される。つまり本実施の形態では、追跡処理部２６によって複数の運動モデルを用いた追跡処理が並列に行われる。第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎに設定する運動モデルは、追跡対象に応じて想定される運動特性を抽出し、各運動特性に適合する運動モデルを決定していく。これにより全ての運動特性にモデル追跡部２７のいずれかが対応可能となるようにする。

追跡開始終了判定部２８は、所定の条件によって追跡を開始するか、または終了するか、を判定する。なおここでの「終了」はオクルージョンなどによる追跡の一時停止を含んでもよい。追跡は、追跡対象が撮像装置の視野角内に現れた場合や、物陰などから現れた場合などに開始し、追跡対象が撮像装置の視野角内から去った場合や物陰などに入った場合などに終了する。

サンプリング部２９は、一つ前の時刻ｔ−１における画像フレームに対して推定された確率密度分布に基づき、パーティクルの生成および消滅の処理を行う。サンプリング部２９は、追跡開始終了判定部２８から追跡開始を示す信号を受けたら処理を開始し、追跡終了を示す信号を受けたら処理を終了する。

画像処理部２２は追跡対象の輪郭を抽出する。具体的には、画像記憶部２４が記憶した入力画像データの画像フレームごとにエッジ抽出処理を施し、エッジ画像を生成する。ここではキャニーエッジフィルタや、ソーベルフィルタなど一般的なエッジ抽出アルゴリズムを用いることができる。また画像処理部２２は、背景差分を利用した前景抽出器（図示せず）を実装していてもよく、エッジ抽出処理の前処理として入力画像から追跡対象を含む前景を抽出することにより、追跡対象のエッジを効率的に抽出するようにしてもよい。

一方、画像処理部２２は、上述した一般的なエッジ抽出手法以外の手法で追跡対象の輪郭を抽出してもよい。例えば入力画像から抽出した前景の外周を構成する曲線を当該輪郭として抽出してもよいし、複数の手法を組み合わせてもよい。以降の説明ではそれらの手法によって抽出された輪郭を全て、「エッジ」に含めるものとする。したがって画像処理部２２が生成する「エッジ画像」は「輪郭線抽出画像」と同義とする。

追跡統合部３０は追跡処理部２６が出力するｎ系列の仮の追跡結果、すなわちｎ個の運動モデルに基づく候補曲線の、時刻ｔにおける観測尤度を比較し、最大の観測尤度が得られた運動モデルの値を採用することにより、時刻ｔにおける真の追跡結果を決定する。これにより、推定される確率密度分布p(x_t ⁱ)を算出し、追跡対象の位置や形状などの追跡結果のデータを取得するとともに、次の時刻ｔ＋１における追跡処理に使用するため、追跡処理部２６にそのデータを返す。

上述した追跡処理部２６および追跡統合部３０の処理は、以下の式で表すことができる。

ここでｍ（１＜ｍ＜ｎ）はｎ個の運動モデルに一意に与えられた番号である。

追跡対象が複数存在する場合、追跡統合部３０はさらに、それぞれに用意したテンプレートを用いて、追跡対象ごとに追跡を行い、それらの追跡結果を合成することによりひとつの追跡結果としてもよい。また複数の追跡対象が重なるような場合を追跡結果によって検出し、後ろに隠れる追跡対象については所定のタイミングで追跡処理対象からはずすなどの措置を講じる。これにより追跡対象が別の追跡対象の背後に回ったことによって観測尤度が一時的に低下しても、不適当な追跡結果を出力するのを避けることができる。

追跡統合部３０は追跡結果として、例えば推定した確率密度分布で重み付けしたパラメータの値の和を、最終的なパラメータ値として算出する。そして最終的なパラメータ値によって決まる曲線のみで構成される画像や、曲線と入力画像とを合成してできた画像のデータなどを結果記憶部３４に格納する。

画像処理部２２、追跡処理部２６、追跡統合部３０における上述の処理を、各フレームに対して行うことにより結果記憶部３４には追跡結果を含む動画像のデータが記憶される。出力制御部３２の制御のもと、当該動画像のデータを表示装置１６に出力することにより、テンプレートの曲線が追跡対象の動きと同様に動く様を表示することができる。なお上述のとおり、追跡結果は動画として表示する以外に、追跡の目的に応じて別の演算モジュールに出力するなどの処理を適宜行ってよい。

図５は本実施の形態において追跡処理部２６および追跡統合部３０が行う確率密度推定の手法を説明する図である。図の表し方は図２で説明したのと同様である。まず図２の場合と同様、時刻ｔ−１のフレームにおいて推定される、パラメータｘ１の確率密度分布を離散的に表したものを用いて（Ｓ３０）、時刻ｔにおけるパーティクルの分裂、および消滅を決定する（Ｓ３２）。

次に例えばガウシアン型運動モデルと自己回帰予測型運動モデルをそれぞれ適用してパーティクルを変位させる（Ｓ３４）。このとき各パーティクルは、ガウシアン型運動モデルおよび自己回帰予測型運度モデルなど、複数の運動モデルによって複数の遷移状態を有することになる。同図の場合、自己回帰予測型運動モデルによってパラメータｘ１の正方向に大きく変位するような運動が予測されている。そして時刻ｔにおけるエッジ画像を探索することにより、各候補曲線の尤度を求める。

このときガウシアン型運動モデルと自己回帰予測型運動モデルのそれぞれに対してパーティクルごとに尤度が求まる。本実施の形態では、各パーティクルに対し最大の尤度を観測した運動モデルをそのパーティクルの最適運動モデルとして選択する。そしてパーティクルごとに選択された運動モデルに基づく候補曲線の観測尤度から、時刻ｔにおける確率密度分布を推定する（Ｓ３６）。図５では選択されない運動モデルによる確率密度分布が×印によって示されている。

同様にして、時刻ｔにおいて推定された確率密度分布からパーティクルの発生・消滅を決定し（Ｓ３８）、再びガウシアン型運動モデルと自己回帰予測型運動モデルをそれぞれ適用してパーティクルを遷移させる（Ｓ４０）。そして次の画像フレームである時刻ｔ＋１のフレームのエッジ画像を探索して各運動モデルについて候補曲線の尤度を求め、最大の尤度を観測した運動モデルに基づき、時刻ｔ＋１における確率密度分布を推定する（Ｓ４２）。このようにして観測尤度に基づき、真の確率密度分布４０２および４０４に最も近い確率密度分布を推定できる運動モデルが自動的に判断される。

次に追跡処理を行う際の追跡装置１４の動作について説明する。ここでは、撮像装置１２が固定カメラとして会社のエントランスなどに設置されており、視覚追跡システム１０を来訪者の解析に用いる場合を例に説明する。このとき撮像装置１２は、追跡対象たる来訪者の有無に関わらず、所定のフレームレートでエントランスの所定の範囲を撮像する。撮像された画像は入力画像データとして追跡装置１４の画像取得部２０へ入力され、画像記憶部２４に格納される。

図６は本実施の形態における追跡処理の手順を示すフローチャートである。同図は来訪者の登場より前の段階から来訪者が去った後までの追跡装置１４による処理手順を示している。またこの場合の追跡対象は人物であるため、追跡装置１４には前述のとおりΩ型のテンプレートを用意する。なおテンプレートの表現手法はＢスプライン曲線に限らず、所望の曲線を表現できる記述形式であればよい。またテンプレート形状の変形手法も、その記述形式に適合し、数種類のパラメータを変化させることによって上述のような柔軟な変形を行うことのできる手法を適宜選択してよい。

まず画像記憶部２４に格納された入力画像データは、追跡処理部２６の追跡開始終了判定部２８によってフレームごとに読み出され、追跡を開始するかどうかの判定が行われる（Ｓ２０、Ｓ２２）。例えば、画像フレームから抽出した前景として、人物と推定できる所定のサイズ、形を有する対象が出現した場合には、追跡を開始する判定を行う。判定基準となる前景のサイズや形はあらかじめ論理的にまたは実験的に定めておく。前景の抽出処理は、画像処理部２２に実装された図示しない前景抽出器を利用してもよい。この場合は、追跡開始終了判定部２８が、画像処理部２２に対し前景抽出処理の要求を行う。あるいは追跡開始終了判定部２８が前景抽出器を実装していてもよい。

追跡開始と判定されるまでＳ２０とＳ２２を繰り返し、追跡開始と判定されたら（Ｓ２２のＹ）、判定対象の画像フレームにおける確率密度分布p(x₀ ⁱ)を生成する（Ｓ２４）。ここで、当該画像フレームに対応する時刻をｔ＝０とする。このときまず、サンプリング部２９が画像処理部２２に対し、当該画像フレームのエッジ抽出処理の要求を行う。要求を受けた画像処理部２２は、当該フレームの、人物と推定できる所定のサイズ、形を有する前景内部に対し所定のエッジ抽出アルゴリズムを施すことによってエッジを抽出し、サンプリング部２９にエッジ画像データを渡す。

サンプリング部２９は取得したエッジ画像データから確率密度分布p(x₀ ⁱ)を生成する。このときは、例えばパラメータ空間の所定領域に均等にパーティクルを配置し、それらが定める候補曲線の尤度を観測することによって式３のように確率密度分布p(x₀ ⁱ)を算出する。ただしこの場合は運動モデルによるパーティクルの遷移は行わない。

サンプリング部２９は、上述のエッジ抽出処理の要求と同時に、後続フレームのエッジ抽出処理要求も行ってよい。この後続フレームのエッジ画像は第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎによって追跡処理に利用される。

次にサンプリング部２９は、生成した確率密度分布p(x₀ ⁱ)に対応した数のパーティクルを、パラメータ空間上に発生させる（Ｓ２６のｔ−１＝０）。発生させるパーティクルの数は、追跡装置１４が有する演算リソースの量や、求められる結果出力速度などに基づき、処理の負荷を考慮して制御される。

次に第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎは、それぞれに割り当てられたｎ個の運動モデルに基づき、パーティクルをそれぞれ遷移させる（Ｓ２８ａ〜Ｓ２８ｎ）。ここでは、自己回帰予測型運動モデルを利用し、等速運動などのほか、撮像装置１２をぞきこんだり、前かがみになったりのけぞったり、といった、人が行う特徴的な動作を予測できる運動モデルを用意する。

さらに、そのような特徴的な動き以外の動き、すなわち不特定な方向に揺らいだり小刻みに移動するなどの動きをカバーし、かつできるだけ小さい標準偏差を有するガウシアン型運動モデルを用意する。これはあらかじめ、対象となる動きをカバーするのに必要最低限の標準偏差を実験やシミュレーションにより求めておく。標準偏差を低く抑えることにより、自己回帰予測でカバーできる動きに対して２重にサンプリングすることが減り、効率的な追跡処理を行うことができる。

ガウシアン型運動モデルは、標準偏差を異ならせて複数用意してもよく、それらも第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎのいずれか複数のモデル追跡部２７にそれぞれ割り当ててよい。また非特許文献４に記述されているように、近傍の前景領域に移動すると予測するモデルを用意してもよい。

そして第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎは、画像処理部２２が生成した次のフレームである時刻ｔ＝１のエッジ画像を用いて、それぞれの運動モデルに基づいて遷移させたパーティクルに対応したΩ型の候補曲線近傍にあるエッジを探索し、尤度p(y_t|x_t ⁱ)を観測する（Ｓ３０ａ〜Ｓ３０ｎ）。エッジの探索手法については後述する。

追跡統合部３０は、第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎが観測したｎ個の尤度のうち、最も高い尤度を与える運動モデルを特定することにより、観測結果をパーティクルごとに選択する（Ｓ３２）。これにより時刻ｔ＝１の確率密度分布p(x₁ ⁱ)を求めることができる。複数の追跡対象が存在する場合は、上記の処理を追跡対象ごとに行う。

その後追跡統合部３０は、例えば確率密度分布p(x₁ ⁱ)によって重み付けした各パラメータ値の和から、追跡対象の形状および位置を表すΩ型の曲線を最終的に決定し、元の入力画像フレームに重ねた画像フレームのデータを生成するなど、所望の追跡結果データを生成して結果記憶部に保存する（Ｓ３４）。

次に追跡開始終了判定部２８は、追跡処理をこれ以上続行するか終了するかの判定を行う（Ｓ３６）。例えば人物と推定できる所定のサイズ、形を有する対象が前景として現れない状態が所定時間継続した場合に追跡終了の判定を行う。判定に用いる前景のデータは、それまでのエッジ抽出処理で画像処理部２２が行う前景抽出の結果を利用することができる。また追跡開始終了判定部２８には図示しないタイマーを設け、前景がなくなった時点からの経過時間を計測する。そして実験などによってあらかじめ定めた所定時間を経過した時点でフラグを立てるなどすることにより、フラグが立った直後の判定タイミングで追跡終了の判定がなされる。

追跡開始終了判定部２８はこの他に、例えば実空間上においてある追跡対象が別の追跡対象の背後に回った場合など、オクルージョンの状態が所定時間継続した場合に追跡終了の判定を行う。このときはまず追跡統合部３０が、複数の追跡対象が近づくことを追跡処理結果から検出し、そのうち対応するΩ型曲線が小さい方の追跡対象が、他方の追跡対象の背後に回ると判断する。あるいは撮像装置１２に設けられた図示しない距離計測系によって背後に回る追跡対象を判断してもよい。そして２つの追跡対象が重なった時点で、追跡開始終了判定部２８は時間経過の計測を上記と同様に開始し、そのままの状態で所定時間を経過したら、背後にいる追跡対象について追跡終了の判定を行う。

このことは、所定時間が経過するまでは背後の追跡対象についても追跡を継続することを意味する。これは単に２人の追跡対象がすれ違ったときなどオクルージョンが短期間であった場合に、再度現れた追跡対象に対する追跡効率を下げないための措置である。オクルージョンにより一時的に尤度が減少した場合でも、追跡統合部３０がオクルージョンを検知することにより、それを考慮した追跡を行うことができる。

追跡開始終了判定部２８はさらに、追跡対象が撮像装置１２の画角から外れた状態が所定時間継続した場合なども追跡終了の判定を行う。追跡対象が画角から外れる動きも追跡統合部３０が検出する。追跡開始終了判定部２８には、上記の３種類の状態のそれぞれに対応させて、継続時間を計測するタイマーと、所定時間の経過を示すフラグとを設けることにより、いずれの状態が発生しても終了判定を行えるようにする。

Ｓ３６において追跡処理を終了しないと判定した場合は、Ｓ３２で得られた時刻ｔ＝１のときの確率密度分布p(x₁ ⁱ)を用いて、時刻ｔ＝２のフレームに対するサンプリングを行うため、パーティクルの生成または消滅を行う（Ｓ２６）。以降、Ｓ３６で追跡開始終了判定部２８が追跡終了の判定を行うまでＳ２６からＳ３４までの処理を、各フレームに対して繰り返す。これにより、Ω型の曲線が追跡対象の来訪者の頭部と同じ動きおよび形状で、時間に対して変化していくような動画のデータが結果記憶部３４に格納される。出力制御部３２が当該データを、表示装置１６や別の機能を提供するモジュールなどに出力することにより、ユーザは所望の形態で追跡結果を利用することができる。

ここで、Ｓ３０ａ〜Ｓ３０ｎにおいて第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎがΩ型の候補曲線近傍にあるエッジを探索する手法について説明する。コンデンセーションアルゴリズムなどで一般的に用いられるエッジ探索は、単位点ごとに候補曲線の法線方向にエッジを探索していき、検出されたエッジのうち最も単位点に近いエッジまでの距離を計算する。しかし本来パーティクルは、確率密度の高い領域に多く配されるため、実空間上でも近接した位置に候補曲線が集中しやすい。当然、単位点も同一の画素や近接した画素に位置することになり、複数の候補曲線の尤度を計算するために、同様の計算を何度も繰り返す必要が出てくる。

そこで本実施の形態では、単位点の位置によらない、エッジの絶対的な位置情報をエッジ画像の全領域に渡って求め、距離マップを生成する。これはエッジ探索処理において、全ての単位点に共通に参照されるテーブルのようなものである。具体的には、エッジから各画素までの横方向の距離を、画素値として記憶する。距離マップは第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎが共通に参照するため、例えばサンプリング部２９が各画像フレームのエッジ画像に基づき生成し、第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎの共有メモリ（不図示）などに記憶させておく。

図７は距離マップの例を示している。同図では、マトリクス状に配された小さい矩形が画素８０、黒く塗りつぶされている画素８０がエッジ７２である。各画素８０の横方向において最近傍のエッジ７２までの距離が距離マップ７０における画素値として設定される。ここで設定される数値は、画素８０の幅を１単位とした自然数である。

第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎは、Ｓ３０ａ〜Ｓ３０ｎにおいて、それぞれの運動モデルに基づいて遷移させたパーティクルに基づく候補曲線を距離マップ７０にあてはめる。図７では、三角および円で示された画素８０が候補曲線７４である。そして候補曲線７４中、円で示された単位点７６を中心とした領域を探索領域７８とする。探索領域７８の大きさは、各パーティクルが有するパラメータのうち、倍率（extend_ｘ，extend_ｙ）に基づき計算する。これは候補曲線７４の大きさによって単位点の密度が異なるための措置であり、候補曲線７４が大きいほど探索領域も広くする。これにより候補曲線全体として近傍にあるエッジを検出できる確率が正規化され、パラメータ空間上の尤度分布が正確に得られる。候補曲線７４と探索領域７８の大きさの関係は、実験やシミュレーションによって定める。

なお、図７では探索領域７８を矩形として表しているが、本実施の形態はそれに限らない。例えば単位点７６を中心とした円や単位点７６を通る候補曲線７４の法線などの線でもよい。探索領域７８の形状も、探索の効率性および精度に鑑みあらかじめ実験やシミュレーションによって設定しておく。

図８は上述の距離マップ７０を用いて単位点７６から最近傍にあるエッジ７２までの距離を計算する手順を示している。まず、第１モデル追跡部２７ａから第ｎモデル追跡部２７ｎのそれぞれに含まれる図示しないレジスタを初期化する（Ｓ５２）。次に単位点７６の位置から探索領域７８を特定し、そこに含まれる画素８０の画素値を距離マップから取得する（Ｓ５４）。

次に単位点７６の位置である探索領域７８の中心からエッジ７２までの距離を計算する（Ｓ５６）。Ｓ５４において距離マップから取得した画素値は、各画素８０の横方向で最近傍にあるエッジ７２までの距離であるから、あとは中心から各画素までの縦方向の距離を考慮すれば、中心からエッジ７２までの距離が計算できる。したがってこの段階での探索先は中心の画素から上下方向に位置する１列の画素のみでよく、これにより全探索領域７８を探索したことになる。

Ｓ５６ではまず探索の出発点である単位点７６の存在する中心の画素の画素値が、「現在の最近傍距離」としてレジスタに保存される。次にその上下いずれかの画素８０の画素値と、中心からの縦方向の距離、すなわち"１"とから、その行で最も単位点７６に近いエッジ７２までの距離が計算できる。探索先の画素８０にエッジ７２が存在するときは、当該画素８０までの縦方向の距離を計算値とする。

計算値がレジスタに保存された値より小さければ（Ｓ５８のＹ）、レジスタの値を新たに計算した値に更新する（Ｓ６０）。計算値がレジスタに保存された値以上であれば（Ｓ５８のＮ）、値を更新せずに、さらに上または下に隣接する画素８０について計算を行う。以上の処理を、探索領域７８内で単位点７６の存在する列に属する全ての画素８０について行ったら（Ｓ６２のＹ）、探索を終了する。これによりレジスタには、単位点７６から最近傍にあるエッジ７２までの距離が格納されている。

本実施の形態では、候補曲線の法線方向を確認しながら画素を走査していく処理、検出したエッジの座標と単位点７６の座標とから距離を計算する処理など一般的に行われる処理を行わずに、候補曲線の最近傍にあるエッジ７２までの距離を簡易な計算で求めることができる。そのため、複数の候補曲線で近接した位置にある単位点７６についての計算を繰り返す場合も、重複した処理を最小限に抑えることができ、計算効率が大幅に向上する。

また、法線方向のエッジ探索では、法線上の画素から一つ隣の画素にエッジがあったとしてもそれを検出しないため、単位点７６が疎に存在している場合、候補曲線の近傍にあるエッジを見落とすことによって適正な尤度計算ができない可能性がある。一方、本実施の形態では、探索領域７８内にあるエッジの位置情報があらかじめ距離マップに組み込まれるため、画像上の２次元空間で最近傍にあるエッジ７２を正確に探索できる。しかも実際の探索は探索領域７８内の１列に属する画素に対する計算のみですむため、計算コストの増大を抑えながら探索精度を向上させることができる。結果として精度の高い追跡処理を効率的に実行することができる。

以上の動作によって、固定カメラの視野角内に入った人物の頭部追跡が可能となる。これにより例えば、銀行のＡＴＭ機などの固定カメラが設置されている環境において人物の追跡を行うことができる。追跡結果に基づき頭部の動きを解析することにより、不審行動を検出できる。また頭部領域に限定して顔の識別処理を行うことにより、効率的に不審者の特定や人相についてのデータ抽出などを行うことができる。

図６に示した追跡処理の手順は、別の目的で本実施の形態を用いる場合にも適用できる。例えばホームビデオで撮影した映像を入力画像とし、追跡装置１４による画像中の人物の追跡結果を利用して編集を行う場合である。例えば映像中の人物の追跡を行う場合は、上記の固定カメラの場合と同様、Ω型のテンプレートを用意する。追跡したい対象物が他の動物や昆虫、乗り物など人物以外の場合でも、それらの形状、あるいはその一部の形状を模したＢスプライン曲線を適宜用意する。想定されるそれらのテンプレートをあらかじめ追跡装置１４に記憶させておき、追跡段階で選択できるようにしてもよい。

そして追跡開始終了判定部２８はＳ２２において、上記の例と同様の追跡開始の判定を行う。ここでは上記の例と同様の判定基準を設けてもよいし、画像処理部２２に対し顔検出処理の要求を行い、一定のサイズを有する顔が検出された場合に追跡開始とするなどでもよい。

追跡開始の判定がなされたら、Ｓ２４において、画像処理部２２が生成したエッジ画像からサンプリング部２９が確率密度分布p(x₀ ⁱ)を生成する。このとき画像処理部２２は、キャニーエッジフィルタやソーベルフィルタなど一般的なエッジ抽出アルゴリズムによってエッジ画像を生成する。あるいは画像処理部２２は、ピクセルの色やテクスチャ、あるいは被写体の動きなど領域の特徴に基づいてセグメンテーションを行う一般的なセグメンテーションアルゴリズムによって分けられた領域の境界線をエッジとして抽出してもよい。どのアルゴリズムでエッジ抽出を行うかは、あらかじめ精度の高いものを実験などによって定めておいてもよいし、入力される映像の特徴などに応じて適宜選択するようにしてもよい。

そして固定カメラの例と同様に、Ｓ２６において確率密度分布p(x₀ ⁱ)に基づいてパーティクルを発生させ、Ｓ２８ａ〜Ｓ２８ｎにおいて各運動モデルを適用することによりパーティクルを遷移させる。このとき、入力される映像のカテゴリごとに、自己回帰予測型運動モデルを利用して被写体の特徴的な動作を予測できる運動モデルを用意する。例えばサッカーの映像であれば「フェイント」や「シュート」を行うときの人物の動きをあらかじめ用意しておく。さらに上記の例同様、そのような特徴的な動き以外の動きをカバーできる範囲のガウシアン型運動モデルを用意する。

そして遷移させたパーティクルごとに尤度を観測し（Ｓ３０ａ〜Ｓ３０ｎ）、観測結果を１系列選択する（Ｓ３２）。そして追跡対象の形状および位置を表すデータを生成して結果記憶部に保存する（Ｓ３４）。

Ｓ２６からＳ３４の処理を各フレームに対して行う。そして実空間上で、ある追跡対象が別の追跡対象の背後に回った場合など、オクルージョンの状態が所定時間継続した場合や、追跡対象が撮像装置１２の画角から外れた状態が所定時間継続した場合など、追跡開始終了判定部２８が追跡終了の判定を行った際、追跡処理を終了させる。

以上の動作によって、ホームビデオなどの映像中の人物の頭部追跡が可能となる。追跡結果のデータとして人物の位置をフレーミングのモジュールに渡すことにより、映像中の特定人物に対してオートフレーミングの処理を施すなどの特殊効果を容易に実現することができる。

本実施の形態はさらに、マンマシンインターフェースとしてカメラの視野角内に入った手のひらの追跡にも適用することができる。このときは手のひらを表すテンプレートとして、じゃんけんの"グー"、"チョキ"、"パー"と、それらを補間するような形状のＢスプライン曲線の設定を行う。

この場合、図６に示した手順のうちＳ２０においてサンプリング部２９はまず、パラメータ空間の所定領域に均等にパーティクルを配置する。そして各時刻のエッジ画像に基づき、配置されたパーティクルごとに尤度を観測する。そしてＳ２２において、観測尤度が所定のしきい値を超えたとき、追跡開始終了判定部２８は追跡開始の判定を行う。ここですでに追跡中の手のひらがある場合は、それと一致しない場合にのみ、新たな追跡対象の出現を認め、追跡開始を判定する。サンプリング部２９によるＳ２０のパーティクルの配置を所定の時間間隔で行うことにより、手のひらがカメラの視野角に入ったことが随時認識できる。追跡の終了判定はこれまで説明した例と同様に行う。

図６のＳ２８ａ〜Ｓ２８ｎにおいてパーティクルに適用する運動モデルとしては、自己回帰予測型運動モデルを利用して、"グー"から"チョキ"への変化など、手のひらの特徴的な動きを予測できるモデルと、それ以外の動きをカバーできる範囲のガウシアン型運動モデルを用意する。

以上の動作によって、カメラの視野角内に入った手のひらの位置および形状の追跡を行うことができる。この例の場合、手のひらの形の変形を許容できるため、マンマシンインターフェースなどへの応用が見込まれる。同様のことは手のひら以外、例えば身体全体の動きなどでも可能であるため、動作の解析を効率化することもできる。

以上述べた本実施の形態によれば、追跡対象の動きの特性ごとに複数の運動モデルを用意し、各運動モデルに基づきパーティクルを遷移させ、それぞれの運動モデルについて並列に尤度観測を行う。そして高い尤度を観測した運動モデルを採用して、その観測尤度から対象物の確率密度分布を求める。これにより、対象物の運動特性に適合した運動モデルを常時適用することが可能となり、単一の運動モデルでは表現することが困難な「対象の動きに複数の特性がある場合」にも対応できる。結果として追跡対象が突然特性の異なる動きを行った場合であっても追跡精度を保つことができる。

複数の運動モデルの切り替えタイミングを学習により判断する手法と比較すると、本実施の形態は切り替えを判断するアルゴリズムを実行する必要がないため、学習にかかる時間が必要なく、リソースの余分な消費を抑えられる。また学習結果の切り替え判断の誤りによる追跡精度の落ち込みなどが発生しない。さらに運動モデルの切り替えにおいて異なる運動モデルが干渉しあう領域を考慮する必要がなく、異なる運動モデルへの遷移が、容易な演算でスムーズに行える。

さらに、複数の運動モデルを相補完的に導入することにより、パラメータ空間上の探索範囲を効果的に絞ることができる。例えば複数の特性の動きをカバーしようとして、それらの動きをカバーできる程裾の広いガウス分布を有するガウス型運動モデルを導入するより、裾の狭いガウス分布を有するガウス型運動モデルと、各運動特性に適合した局所的な探索範囲の自己回帰予測型モデルを導入する方が、より限定的な探索範囲となる。そのため上記の追跡精度の確保を、リソース上のロスやノイズ耐性の悪化などを抑えながら実現することができる。学習によって切り替えを自動的に判断する場合と比べても、設計者やユーザの意図を組み入れた運動モデルを導入することにより、探索領域の広げ方を制御しやすく、明らかに非効率な探索を回避しやすい。

また、尤度観測を行う際、候補曲線の最近傍にあるエッジを探索するために、各画素から横方向において最近傍にあるエッジまでの距離を画素値としてもたせた距離マップを用意する。そして実際のエッジ探索では、単位点の上下に位置する一列の画素までの距離と、その画素の画素値とから得られる、単位点とエッジとの距離のうち最小のものを選択することにより、単位点の最近傍にあるエッジまでの距離を求める。これにより、各候補点についての計算段階で行う必要のある計算量が減り、多数の候補点で同様の領域においてエッジ探索を行っても、計算コストの増大を抑えることができる。また、探索領域全面でエッジ探索を行うため、近傍にあるエッジを見落とすことがなくなり、正確な尤度観測が行える。結果として、好適な運動モデルを適用することによる上述の効果との相乗効果により、計算コストを増大させずに高精度な追跡を行うことができ、

また、本実施の形態は特性ごとの運動モデルを処理に組み入れるのみで、視覚追跡を用いる様々な分野の装置に容易に適用することができるため、汎用性が高く導入障壁が少ない。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば実施の形態では追跡統合部３０による運動モデルの選択をパーティクルごとに行い、それぞれの運動モデルを適用した結果得られた尤度から確率密度分布を推定した。一方、各時刻において全てのパーティクルに対し１つの運動モデルを選択するようにしてもよい。このときは例えば、全てのパーティクルに渡り最大の尤度を観測した運動モデルを１つ選択し、全パーティクルに対してその選択された運動モデルを適用したときの尤度から確率密度分布を推定する。この場合も、上述した実施の形態で述べたのと同様の効果を得ることができる。

人物を追跡対象とした場合の視覚追跡手法を説明するための図である。 パーティクルフィルタを用いた確率密度推定の手法を説明する図である。 本実施の形態における視覚追跡システムの構成例を示す図である。 本実施の形態における追跡装置の構成を示すブロック図である。 本実施の形態において追跡処理部および追跡統合部が行う確率密度推定の手法を説明する図である。 本実施の形態における追跡処理の手順を示すフローチャートである。 本実施の形態における距離マップの例を示す図である。 本実施の形態において距離マップを用いて単位点から最近傍にあるエッジまでの距離を計算する手順を示すフローチャートである。

符号の説明

１０ 視覚追跡システム、 １２ 撮像装置、 １４ 追跡装置、 １６ 表示装置、 ２０ 画像取得部、 ２２ 画像処理部、 ２４ 画像記憶部、 ２６ 追跡処理部、 ２７ モデル追跡部、 ２８ 追跡開始終了判定部、 ２９ サンプリング部、 ３０ 追跡統合部、 ３２ 出力制御部、 ３４ 結果記憶部。

Claims (7)

1. 動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、前記第１の画像フレームにおける対象物の推定存在確率分布に基づき、追跡候補を定めるパラメータ空間上にパーティクルフィルタに用いるパーティクルを生成するサンプリング部と、
   複数の運動モデルのそれぞれに対応し、各運動モデルに則り遷移させた前記パーティクルが定める追跡候補の、前記第２の画像フレームにおける対象物に対する尤度を観測する複数のモデル追跡部と、
   前記複数のモデル追跡部が観測した尤度を比較することにより、パーティクルごとに一の運動モデルを選択し、当該運動モデルに則り定めた追跡候補の尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定する追跡統合部と、
   を備えることを特徴とする対象物追跡装置。
2. 前記追跡統合部は、前記複数のモデル追跡部が観測した尤度のうち、最も高い尤度を観測した運動モデルを選択することを特徴とする請求項１に記載の対象物追跡装置。
3. 前記複数のモデル追跡部は、前記サンプリング部が生成したパーティクルを、パラメータ空間の各座標を中心としたガウス分布をなすように遷移させるガウシアン型運動モデル追跡部を複数含み、各ガウシアン型運動モデル追跡部は異なる標準偏差を有するガウス分布をなすように前記パーティクルを遷移させることを特徴とする請求項１または２に記載の対象物追跡装置。
4. 前記複数のモデル追跡部は、前記画像ストリームに含まれる複数の画像フレームから対象物の動きを自己回帰予測して、その結果に基づき前記サンプリング部が生成したパーティクルを遷移させる自己回帰予測型運動モデル追跡部と、
   前記サンプリング部が生成したパーティクルを、パラメータ空間の各座標を中心としたガウス分布をなすように遷移させるガウシアン型運動モデル追跡部とを含み、
   前記ガウス分布をなすパーティクルの分布領域は、前記自己回帰予測型運動モデルが遷移させたパーティクルの分布領域の少なくとも一部を包含しないことを特徴とする請求項１または２に記載の対象物追跡装置。
5. 前記第２の画像フレームから前記対象物のエッジを抽出する画像処理部をさらに含み、
   前記複数のモデル追跡部は、前記追跡候補である候補曲線に含まれる複数の点ごとに、当該点を中心とし、所定の形状および大きさを有する領域を探索領域として設定し、前記探索領域内で最近傍にある前記対象物のエッジを探索して前記点からの距離を求めることによって前記尤度を前記候補曲線ごとに算出し、前記探索領域は前記候補曲線の大きさに基づき設定することを特徴とする請求項１または２に記載の対象物追跡装置。
6. コンピュータが行う対象物追跡方法であって、
   入力された動画像データを構成する画像ストリームをメモリに記憶するステップと、
   前記画像ストリームに含まれる画像フレームのうち第１の画像フレームを前記メモリより読み出し、前記第１の画像フレームにおける対象物の存在確率分布から複数の候補曲線を設定するステップと、
   前記対象物の変化の度合いを、複数の運動モデルを仮定して候補曲線ごとに算出するステップと、
   算出した変化の度合いによって定まる前記対象物の仮の特性と、前記メモリより読み出した第２の画像フレームにおける前記対象物の真の特性とを比較して、前記複数の運動モデルのうち最も尤度の高い前記仮の特性を与える運動モデルを、候補曲線ごとに選択するステップと、
   選択した運動モデルに基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定するステップと、
   を含むことを特徴とする対象物追跡方法。
7. コンピュータに対象物追跡を実現させるコンピュータプログラムであって、
   入力された動画像データを構成する画像ストリームをメモリに記憶する機能と、
   前記画像ストリームに含まれる画像フレームのうち第１の画像フレームを前記メモリより読み出し、前記第１の画像フレームにおける対象物の存在確率分布から複数の候補曲線を設定するステップと、
   前記対象物の変化の度合いを、複数の運動モデルを仮定して候補曲線ごとに算出するステップと、
   算出した変化の度合いによって定まる前記対象物の仮の特性と、前記メモリより読み出した第２の画像フレームにおける前記対象物の真の特性とを比較して、前記複数の運動モデルのうち最も尤度の高い前記仮の特性を与える運動モデルを、候補曲線ごとに選択するステップと、
   選択した運動モデルに基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定するステップと、
   をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images