JP4849464B2 - フレームシーケンス中のオブジェクトを追跡するコンピュータ化された方法 - Google Patents

Description

本発明は、包括的にはコンピュータビジョンに関し、特にビデオのオブジェクト追跡に関する。

フレームシーケンス又はビデオでは、フレーム毎にオブジェクト特徴の対応性を突き止めることによってオブジェクトを追跡することができる。しかし、非剛直であり変形し、高速で移動するオブジェクトを正確に追跡することは依然として課題である。

追跡は、平均値シフト演算子を使用して行うことができる（D. Comaniciu、V. Ramesh、及びP. Meer著「Real-time tracking of non-rigid objects using mean shift」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, vol. 1, pages 142-149, 2000））。非パラメトリック密度勾配推定量を使用して、所与のカラーヒストグラムに最も類似するオブジェクトを追跡する。この方法は、正確な位置特定を提供する。しかし、この方法では、連続フレーム中のオブジェクトの位置がいくらか重複している必要があり、これは、高速で移動するオブジェクトの場合に当てはまらない。

追跡は、その瞬間までのすべての測定が与えられた上でのオブジェクトの状態の推定と見なすこともできる。これは、オブジェクト位置の確率密度関数（ｐｄｆ）を構築することに等しい。最適解は、連続した予測ステップ及び更新ステップで問題を解く再帰ベイジアンフィルタによって提供される。

測定ノイズが正規分布すると仮定すると、多くの場合に剛直オブジェクトの追跡に使用されるカルマンフィルタによって、１つの解が提供される（Y. Boykov及びD. Huttenlocher著「Adaptive Bayesian recognition in tracking rigid objects」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, vol. 2, pages 697-704, 2000）並びにR. Rosales及びS. Sclarroff著「A framework for heading-guided recognition of human activity」（Computer Vision and Image Understanding, vol. 91, pages 335-367, 2003））。カルマンフィルタは、動き特性の「粘性（viscosity）」を制御する予め規定された状態遷移パラメータに制限される。

状態空間が離散型であり、有限数の状態からなる場合には、マルコフフィルタをオブジェクト追跡のために適用することができる。フィルタの最も一般的な種類は、モンテカルロ積分法に基づいた粒子フィルタによって表される。特定の状態の現密度が、関連する重みを有する無作為標本セットによって表される。次いで、新たな密度が重み付き標本に基づく。

粒子フィルタは、視覚追跡及び認証のために条件付き密度伝搬の復元に使用することができる。一般に、粒子フィルタ法は、無作為抽出に基づき、これは、標本の退化及び疲弊により、特に高次元問題の場合に問題である。カーネルベースのベイジアンフィルタを使用して、状態空間をより効率的に標本抽出することができる。多重仮説フィルタが、移動中のオブジェクトが特定の測定シーケンスを生じさせる確率を求める。

問題として、上述したフィルタベースの方法は、すべて、局所最適で行き詰まり易い可能性がある。別の懸案事項として、大半の従来技術による方法は、統計的特性及び空間的特性の両方を表す適当な類似性基準を欠く。大半の従来技術による方法は、色分布のみ又は構造モデルのみのいずれか一方に依存する。

集合統計からアピアランスモデルまで、多くの異なる表現法が、オブジェクト追跡に使用されてきた。ヒストグラムが、正規化されたヒストグラムがモデリングされるデータの確率密度関数によく似ているため普及している。しかし、ヒストグラムは、特徴値の空間配置を考慮しない。たとえば、観測窓のピクセルの配置を無作為に変えても、同じヒストグラムがもたらされる。さらに、少数のピクセルを使用して、より高次元のヒストグラムを構築することが大きな問題である。

アピアランスモデルは、形状及びテクスチャ等の画像の特徴を均等サイズのテンソル窓に写像する。指数的な複雑さにより、比較的少数の特徴しか使用することができない。このため、各特徴は、高度に差別的でなければならない。特徴の信頼性は、厳密にオブジェクトタイプに依存する。アピアランスモデルは、スケールのばらつきに非常に敏感である傾向を有し、ポーズにも依存する。

したがって、ビデオ中のオブジェクトを追跡する、よりよい方法を提供することが望まれる。

本発明の１つの実施の形態は、ビデオのフレームシーケンス中の非剛直オブジェクトを追跡する方法を提供する。オブジェクトの特徴がビデオから抽出される。特徴は、ピクセル位置及びピクセル特性を含む。特徴を使用して、共分散行列を構築する。追跡のために、共分散行列をオブジェクトの記述子として使用する。

共分散行列は、オブジェクトの空間的特性及び統計的特性の両方を表すとともに、同じ表現内の相関も表す。共分散行列は、異なるタイプの特徴及び様式を効率的に融合できるようにする。共分散行列の次元は、従来技術のヒストグラムと比べて比較的低い。

従来技術による方法と異なり、追跡対象オブジェクトの動き又は位置についての仮定は行われない。さらに、この方法は、事後確率関数の推定に制限されない。それに代えて、この方法は、大域最適解を提供するとともに、対応性問題を大幅に単純化する。

オブジェクトの変形及び外観変化は、リー代数平均化に基づく更新メカニズムを使用して管理される。

共分散に基づく追跡は、平均して、高速移動オブジェクトの場合であってさえも略完全な検出率を実現しながら、非静止カメラシーケンス中の非剛直の移動オブジェクトを正確に検出することが可能である。

共分散ベースのオブジェクト追跡
図１は、本発明の１つの実施の形態による、カメラ１０３によって得られたフレームシーケンス１０２又はビデオの移動オブジェクト１０１を追跡する方法１００のステップを示す。図示するステップは、フレーム１０２毎に繰り返される。オブジェクト１０１のモデル１０４を有するものと想定する。モデルは、本明細書において述べるように構築される共分散行列の形である。初期モデルは、たとえば、手動又は自動のオブジェクト位置特定手段を使用して、最初のフレームにおいてオブジェクトを位置特定することによって得ることができる。その後、本明細書において述べるように、モデルをフレーム１０２毎に更新する（１６０）。

ビデオシーケンス中のフレーム１０２毎に、特徴画像１１１を構築する（１１０）。特徴画像１１１中の各種領域又は窓Ｗ１１２毎に、特徴ベクトルセット１２１を構築する（１２０）。特徴ベクトルセット１２１に対して、対応する共分散行列１３１が求められる（１３０）。共分散行列１３１を現モデル１０４の共分散行列と比較して（１４０）、距離１４１を求める。現フレームにおいて、モデル１０４の共分散行列から最小共分散距離２０１を有する領域（窓）が位置特定され、対応する領域を移動オブジェクト１０１の位置１５１として選択する（１５０）。移動オブジェクトの位置及び外観の変動に動的に適合するために、前の共分散行列セット１６１を保持し、リー代数を使用して固有の「平均」共分散行列を更新後モデルとして抽出する。後続フレームに、オブジェクトの前の位置１５１を使用して候補領域（窓）セットを求め（１８０）、特徴ベクトルを構築する。

これより、本発明の実施の形態について詳細に説明する。

特徴抽出
Ｉを２次元ピクセル画像又はフレーム１０２として示す。各ピクセルは、位置（ｘ，ｙ）及び強度を有する。カラー画像の場合、各ピクセルは、３つの強度（ＲＧＢ）を有する。本発明の１つの実施の形態による方法は、他のタイプの画像、たとえば、マルチスペクトル画像に向けて一般化することができる。

画像Ｉ（１０２）から、
Ｆ（ｘ，ｙ）＝Φ（Ｉ，ｘ，ｙ）
に従ってＭ×Ｎ×ｄ次元特徴画像１１１を抽出する（１１０）。但し、Ｍ及びＮは、入力画像次元であり、関数Φは、色、画像勾配、エッジの大きさ、エッジの向き、フィルタ応答等の任意の特徴写像であってよい。特徴は、より高次の導関数、テクスチャスコア、及び時間フレーム差、たとえば、動きベクトルを含むように拡張することが可能である。

次に、特徴画像１１１中の窓セット１１２を調べる。窓セットは、前のフレームから求められるオブジェクトの外観、サイズ、向き、位置、速度、及び方向を考慮して、オブジェクトの現位置の最良推定に従って選択することができる。

セット中のｋ個の窓Ｗ_ｋ１１２又は領域毎に、ｄ次元特徴ベクトル｛ｆ_ｋ｝１２１（ｋ＝１，…，ｎ）を構築する（１２０）。２つのタイプの属性写像、すなわち、空間写像及び外観写像を使用して、特徴ベクトル｛ｆ_ｋ｝１２１を構築する（１２０）。空間的属性は、ピクセル座標（ｘ，ｙ）から得られ、外観属性は、色、勾配、エッジ、フィルタ応答等を含むことができる。特徴１２１を下式のピクセル座標に直接関連付けることができる。

別法として、特徴は、下式で表される軸に対して鏡像対称であると考えることができる。

上式において、（ｘ’，ｙ’）＝（ｘ−ｘ_０，ｙ−ｙ_０）は相対座標であり、（ｘ_０，ｙ_０）は窓１１２の中心の座標である。下式で表される対称半径方向関係の観点から特徴ベクトルを指定することも可能である。

上式において、‖（ｘ’，ｙ’）‖は、下式で表される。

空間的属性と外観属性との間の異なる関連付けにより、異なるブレンド規則を付与することが可能になる。たとえば、特徴ベクトルｆ_ｋは、窓の原点（ｘ’，ｙ’）を基準としたオブジェクト回転の影響を受けやすいアピアランスモデルとして普及している一方で、半径方向特徴ベクトルｆ^ｒ _ｋは、特徴のポーズ及び回転に対して不変の空間フォーメーションを提供する。

共分散行列の構築
各窓１１２の特徴ベクトル１２１毎に、対応する共分散行列Ｃ_Ｗ１３１を求める（１３０）。共分散行列は、２つの変数がどれくらい共に変わるかについての測度である。共分散は、それぞれの平均から同じ方向に異なる各対の値については、より正になり、それぞれの平均から逆方向に異なる各対の値については、より負になる。

したがって、特徴の各窓Ｗ１１２をピクセル特徴のｄ×ｄ共分散行列Ｃ_Ｗ１３１として下式のように表す。

式中、ｍ_μは、領域又は窓Ｗ１１２内のピクセルの対応する特徴の平均のベクトルであり、Ｍ及びＮは入力画像次元であり、Ｔは転置演算子である。

上記定義によれば、共分散行列は、対称行列である。行列の対角成分は、各特徴の分散を表し、非対角成分は、特徴の各相関を表す。行列Ｃ_Ｗ１３１は、単一の窓又は領域内の複数の特徴の共分散を表す。

共分散行列をオブジェクトモデルとして使用することには、いくつかの利点がある。共分散行列は、特徴を正規化することなく、又はブレンド重みを使用することなく複数の特徴を融合させる自然な方法を提供する。共分散行列は、従来技術によるヒストグラム内に埋めこまれる情報と同じ情報及びアピアランスモデルから導出することができる情報を具現する。

単一の共分散行列が、通常、オブジェクト１０２の異なるビュー及びポーズでの他の窓１２１の共分散行列セット１３１と比較する（１４０）のに十分である。個々のピクセル標本を損なうノイズは、大方、共分散行列セットが求められる（１３０）ときに平均化によってフィルタリングされる。すべての共分散行列は、同じサイズ（ｄ×ｄ）を有する。

したがって、異なるサイズの異なる領域の行列を、一定サイズの領域に限定することなく、直接比較することができる。実際に、共分散行列は、画像勾配及び向き等の特徴が異なるスケールで抽出される場合、異なる画像内の諸領域にわたって、固有のスケールに対して不変の特性を有する。上述したように、共分散行列は、回転に対して不変であることができる。それにも関わらず、ピクセルの向きに関する情報が特徴ベクトル１２１内に埋め込まれている場合には、回転差異を検出することが可能である。

したがって、共分散行列を移動オブジェクトの優れたモデルとして考える。

共分散行列構築についての完全な説明が、Porikli他により２００５年１２月１４日に出願された米国特許出願第１１／３０５，４２７号「Method for Constructing Covariance Matrices from Data Features」に与えられている。

共分散行列の他に、（ｄ×１）特徴平均ベクトルμ_Ｗ１７５も計算する。図３を参照願いたい。このベクトルμ_Ｗの各要素は、窓内の対応する特徴の平均値である。

領域の比較
フレーム１０２中の移動オブジェクト１０１を追跡するために、各フレーム１０２中の様々な窓１１２の共分散行列セット１３１をオブジェクト１０２の本発明の「現」モデル１０４の共分散行列と比較して（１４０）、距離１４１を得る。最小距離をオブジェクト１０１の現位置１５１として選択する（１５０）。モデルの共分散行列１０４は、後述するようにオブジェクトが追跡される際にフレーム毎に更新する（１６０）ことができる。

移動オブジェクト１０１の、現フレーム中で最も類似する領域を得るために、現フレームからの共分散行列セット１３１とオブジェクトモデル共分散行列１０４との間の「距離」１４１を測定する（１４０）。

しかし、共分散行列は、ユークリッド空間にない。たとえば、空間は、負のスカラーとの乗算下で閉じない。すなわち、２つの共分散行列の単純な算術減算では、対応する領域の差異は測定されない。

共分散行列は、正定値又は半正値のいずれかである。特徴ベクトルの特徴がまったく同一である、すなわち、共分散行列が対称正定値である場合、Forstner他著「A metric for covariance matrices」（Technical report, Dept. of Geodesy and Geoinformatics, Stuttgart University, 1999）に説明されている距離測定を適用することが可能であり、これを参照して本明細書に援用する。その行列は、固有値の対数平方和を使用して、下式として共分散行列間の差異すなわち「距離」１４１を求める。

式中、｛λ_ｋ（Ｃ_ｉ，Ｃ_ｊ）｝は、行列Ｃ_ｉ及びＣ_ｊの一般化された固有値であり、下式から求められる。

式中、ｘ_ｋは、一般化された固有ベクトルである。対数により、偏差が因子として測定されることが保証され、平方により、偏差因子が等しく評価されることが保証される。

距離測定値Ｄ１４１は、正定値対称行列Ｃ_ｉ及びＣ_ｊの距離公理を満たす。さらに、共分散は、色値の同一スケーリング等、平均変化に対して不変である。これは、照明条件が変化する中で、オブジェクトが追跡される場合に有利な特性になる。照明の到達距離による外観変化は、共分散距離の他に平均距離を含めることによって検出することができる。

図２は、本発明の１つの実施の形態による、共分散行列を比較して（１４０）距離測定値Ｄを求めるステップを示す。共分散行列の比較の他に、モデルと候補領域との特徴平均ベクトル間の距離を計算する（１７６）。この距離は、モデル１０４と現窓との間の平均特徴ベクトル差のノルム‖μ_Ｗ−μ^＊‖として定義される。

モデルと現窓との間の共分散距離１７７及び平均距離１７６は、両方とも、融合重みでスケーリングされて、用途固有の制約を距離関数に課す。これら重み１７１及び１７２は、共分散にどれくらいの重要度を与えるべきか、また距離関数が色変化及び照明変化等の平均差に向けてどれくらい敏感であるべきかを調整する。共分散距離１７７を共分散融合重み１７２で乗算し、特徴平均距離１７６を平均融合重み１７１で乗算した後、それぞれの和をモデルと現窓との間の距離１７４として割り当てる。この距離スコアは、オブジェクト１７３の前の位置からの現窓の空間距離も考慮する。空間距離１７３に関して、モデル−現窓距離スコア１７４は、比例して増大する。これにより、動き固有の制約を推定位置に課すことが可能になる。オブジェクトの動きを制限すべきではないような用途では、空間距離は、距離項１７４に含まれない。

さらなる動きベースの制約が、図３に示すように候補窓選択１８０に統合される。オブジェクトの動き履歴１８１、すなわち、オブジェクトセットの前の位置及びオブジェクト１８２のサイズを使用して、探索範囲が限定される。オブジェクトの動きが、線形又は非線形動きモデルに合うように制約される特定用途の場合、カルマンフィルタベースの方法を用いて現フレーム中のオブジェクトの位置を予測する（１８３）。オブジェクトのサイズに従って、この予測位置周囲の探索領域を定義する（１８４）。たとえば、探索領域は、オブジェクトの２倍の大きさの窓であってよい。次いで、特徴抽出、共分散比較、及び距離計算が、探索領域内のみの候補窓１１２に適用される。

動きが制約されない用途の場合、探索領域は、画像全体である。

モデル更新戦略
非剛直の移動オブジェクトは、形状、サイズ、及び外観の経時変形を受けるため、これらの変動に動的に適合する（１６０）ことが可能である。しかし、オブジェクト、たとえば、ボール又は車両の外観が比較的安定したままである場合、更新１６０ステップは、常に必要なわけではないことを理解されたい。

最近推定されたオブジェクト領域Ｗ_１，…，Ｗ_Ｔに対応する共分散行列１６１のサブセットを構築して更新する。Ｔ個の前の共分散行列のサブセット［Ｃ_１，…，Ｃ_Ｔ］を保持する。但し、Ｃ_１は、現共分散行列を示す。このサブセットから、標本平均共分散行列を求める。標本平均共分散行列は、前のすべての行列を「ブレンド」してオブジェクト１０１の特性に類似させる。

前に検出されたすべての領域及び対応する特徴測定値が利用可能な場合、総計共分散行列１０４を、下式によって得ることができる。

式中、相互共分散は、下式及びｆ^ｔ _ｋ∈Ｗ_Ｔとして定義される。

平均ｍ_μがすべての領域Ｗ_１，…，Ｗ_Ｔにわたって求められる。この式は、すべての窓が同一のサイズを有し、その影響力が等しいものと想定する。

しかし、一定の窓サイズに制限されることなく、また、すべての前の測定値を保持する必要なく、総計共分散行列を得ることが望ましい。

平均共分散行列、すなわち固有平均を求めたい。しかし、共分散行列は、ユークリッド幾何学に従わず、その結果、行列の平均をとることは、不正確であり得る。それでもなお、正定値共分散行列は、リー群構造を有するため、リーマン幾何学を使用して複数の共分散行列の平均を求めることができる。

リー群及びリー代数についての手短な概観を提供する。群とは、以下の特性を有する群演算を有する非空集合Ｇのことであり、Ａ，Ｂ，Ｃ（すべて）∈Ｇである。
閉包： ＡＢ∈Ｇ
結合： （ＡＢ）Ｃ＝Ａ（ＢＣ）
単位元： Ａｅ＝ｅＡ＝Ａのようなｅ∈Ｇ
逆元： ＡＡ^−１＝Ａ^−１Ａ＝ｅのようなＡ^−１∈Ｇ

リー群とは、下式に示されるような群演算の乗算、且つ逆元が微分可能写像であるような、これもまた群である解析的多様体である。

リー群は、ベクトル空間Ｒ^ｄと位相同形として局所的に見ることができる。したがって、任意の群要素Ｇの局所近傍は、その接ベクトル空間によって適宜記述することができる。群ｅの単位元要素での接ベクトル空間がリー代数ｇを形成する。リー代数ｇとは、リーの括弧式の下で閉じた下式で表されるベクトル空間である。

これは以下の恒等式：
逆対称：［ａ，ｂ］＝−［ｂ，ａ］且つ
ヤコビの恒等式：［ａ，［ｂ，ｃ］］＋［ｂ，［ｃ，ａ］］＋［ｃ，［ａ，ｂ］］＝０
を満たす双線形演算である。

下式の指数写像は、リー代数のベクトルをリー群に写像する。

本発明では、行列リー群に焦点を合わせる。行列の指数写像及びその逆元は、下式により定義される。

可換群の場合、指数写像は、恒等式ｅｘｐ（ａ）ｅｘｐ（ｂ）＝ｅｘｐ（ａ＋ｂ）を満たす。この恒等式は、共分散行列等の非可換リー群の場合には当てはまらない。等価写像は、下式によって定義される。

写像μ（…，…）は、下式としてベイカー・キャンベル・ハウスドルフ（Baker-Campbell-Hausdorff）の公式によって定義される。

リー代数を使用して、共分散行列セット１６１の固有平均を得る。ｃをリー代数での要素とし、Ｃ＝ｅｘｐ（ｃ）をリー群、すなわち、対応する共分散行列への要素の写像とする。多様体上の距離は、多様体上の点間の最小長曲線で定義される。最小長を有する曲線は、測地線と呼ばれ、曲線の長さは、固有距離である。

群ｅの単位元への点Ｃの固有距離は、‖ｌｏｇ（Ｃ）‖によって与えられる。群要素の逆数Ｃ^−１による左乗算は、点Ｃをｅに、またＣでの接ベクトル空間をリー代数に写像する。この写像は、同形写像である。この写像を用いて、任意の２つの群要素間の固有距離を下式としてとして測定することができる。

共分散行列１６１｛Ｃ_ｔ｝_{ｔ＝１，…，Ｔ}が群上のデータ点として与えられると、下式の写像はデータ点をリー代数に、またＣをゼロに変換する。

リー代数は、ベクトル空間であるため、この空間での真、すなわち、固有の平均への一次近似を求める。初期行列Ｃ１から始め、固有平均への一次近似を繰り返し求めることで、群の固定点に収束する。プロセスは、下式である。

繰り返しの終わりに、固有平均Ｃ（＾）を見つける。ここで、（＾）は、かっこの前の記号の上部に＾が付くことを意味している。また、固有平均共分散行列Ｃ（＾）を現モデル１０４として使用する。

後続フレーム中のオブジェクト位置を推定する場合、様々な領域の共分散行列１３１をモデル１０４の共分散行列と比較する。

上記式中、前の行列のサブセットＣ_１，…，Ｃ_Ｔを、結果が正確であるか否かにかかわらず、結果に対して等しい影響を有するものと考えた。

リー代数データ点を、前モデルへのリー群行列類似度に従って比例して重み付けることが可能である。次いで、上記プロセスの第２の「計算」ステップは、下式になる。

式中、ρ^＊は、下式である。

そして、Ｃ^＊は、前フレームに求められたモデルである。

換言すれば、最小距離Ｃ_ｍ２０１に対応する所与の共分散行列を使用してオブジェクトモデルＣ^＊１０４を更新する。図４を参照して、まず、行列Ｃ_ｍ２０１を前の共分散行列の行列データセット［Ｃ_１，…，Ｃ_Ｔ］１６１に加える（３００）。次いで、データベースの最初の行列を、一時的な固有平均共分散行列Ｃ（＾）として割り当てる（３０１）。その逆行列を計算する（３０２）。上記プロセスに示したように、逆行列で乗算された対応する共分散行列の対数による写像ｃ_ｔ（但し、ｔ＝１，…，Ｔ）を計算する（３０３）。重み係数４００を使用して、これら写像の加重和を計算する（３０５）。誤差項を計算し（３０６）、これを誤差しきい値ｅと比較する（３０７）。誤差項がしきい値よりも大きい場合、一時的な固有平均からの逆行列を割り当てることによって３０２に続く。誤差が小さい場合、一時的な固有平均共分散行列Ｃ（＾）を更新された新しいモデルＣ^＊１０４として割り当てる。

図５に示すように、上記重み４００を割り当てるために、固有距離関数を定義し（４０１）、個々の距離項を計算し（４０２）、総距離を計算する（４０３）。次いで、４０４に示す式に従って重み４００を割り当てる。

図６に示すように、最小距離に対応する現行列を前の共分散行列のデータセットに加える（３００）異なる方法がある。新しい行列である現行列をデータセットに直接加えて（３１１）、行列数を増分する（３１２）。別法として、データセットに加えられた最も古い行列を除去する（３２１）。インデックスを更新する（３２２）。これらインデックスは、行列がデータセットに加えられた時間を示す。次いで、最新の構成要素として、現行列を加える（３２３）。

発明の効果
本発明の実施の形態によるビデオにおいてオブジェクトを追跡する方法は、オブジェクトの空間的属性及び外観属性を両方とも利用し、複数のオブジェクト特徴を融合させる簡潔な解決策を提供する。

方法は、オブジェクトの外観及び動きについて何ら仮定を行わない。方法は、最大速度に限定されない。これは、オブジェクトの動きが不規則であり、高速である場合であっても、方法がオブジェクトを追跡できることを意味する。方法は、従来技術による平均値シフト法とは対照的に、連続フレーム間でのオブジェクト領域の重複を想定しない。

方法は、粒子フィルタリング等の従来技術による局所標本抽出法と異なり、大域最適解を見つける。方法は、時間的なモデル変更に効率的に適合することができ、（ｄ^２＋ｄ）／２という非常に低い次元を有する。方法は、また、様々なサイズのオブジェクト領域を比較することができ、これは、オブジェクトの認識されるサイズが、カメラから見て変化する場合に有用である。

本発明の１つの実施の形態によるビデオの移動オブジェクトを追跡する方法のブロック図である。 本発明の１つの実施の形態による距離判定のブロック図である。 本発明の１つの実施の形態による候補窓選択のブロック図である。 本発明の１つの実施の形態によるオブジェクトモデル更新のブロック図である。 本発明の１つの実施の形態によるオブジェクトモデル更新の重み割り当てのブロック図である。 本発明の実施の形態による、最小距離に対応する行列を前の共分散行列のデータセットに追加する２つの方法のブロック図である。

Claims (25)

1. フレームシーケンス中のオブジェクトを追跡するコンピュータ化された方法であって、
   オブジェクトの、取得されたフレームシーケンスの各フレームから特徴画像を抽出するステップと、
   前記特徴画像中の特徴の異なる窓に対応する特徴ベクトルセットを各特徴画像に構築するステップと、
   前記特徴ベクトルセットから対応する共分散行列セットを求めるステップと、
   前記オブジェクトを表すモデルとしてモデル共分散行列を使用し、前記共分散行列セット中の各共分散行列と、前記モデル共分散行列との間の距離を測定するステップと、
   前記モデル共分散行列からの最小距離を備えた対応する共分散行列を有する特定の窓を、前記フレーム中の前記オブジェクトの位置として選択するステップと
   を含み、
   前記測定するステップにおいて、２つの共分散行列Ｃ _ｉ とＣ _ｊ との間の距離は、
   

   

   であり、式中、｛λ _ｋ （Ｃ _ｉ ，Ｃ _ｊ ）｝は、ｄ個の特徴に対応するｄ個の固有値について
   

   

   から求められる前記共分散行列Ｃ _ｉ 及びＣ _ｊ の一般化された固有値である
   フレームシーケンス中のオブジェクトを追跡するコンピュータ化された方法。
2. フレーム毎に、前記モデル共分散行列を更新するステップをさらに含む請求項１に記載の方法。
3. 前記フレームは、マルチスペクトル画像である請求項１に記載の方法。
4. 前記異なる窓は、前記フレーム中の前記オブジェクトの前記位置の推定に従って選択される請求項１に記載の方法。
5. 各特徴ベクトルは、前記オブジェクトの空間的属性及び外観属性を含む請求項１に記載の方法。
6. 前記空間的属性は、前記特徴画像のピクセル座標から得られ、前記外観属性は、ピクセル強度を含む請求項５に記載の方法。
7. 特定の窓Ｗの共分散行列Ｃ_Ｗは、
   

   

   であり、式中、ｍ_μは対応する特徴ベクトルｆ_ｋの平均のベクトルであり、Ｍ及びＮは窓サイズであり、Ｔは転置演算子である請求項１に記載の方法。
8. 前記異なる窓は、前記特徴画像において異なるサイズ及び位置を有する請求項１に記載の方法。
9. 前記更新するステップは、前記共分散行列セットのサブセットを使用して、固有平均共分散行列を前記モデル共分散行列として求める請求項２に記載の方法。
10. 前記平均共分散行列は、リー代数を使用して求められる請求項９に記載の方法。
11. 各共分散行列距離を、前記モデル共分散行列からのそれぞれの距離に従って前記サブセット中の重みで乗算するステップをさらに含む請求項９に記載の方法。
12. 一定の重み値を前記サブセット中の各共分散行列に割り当てるステップをさらに含む請求項９に記載の方法。
13. 前記サブセット中の最も新しい共分散行列に対して、より高い重み値を割り当てるステップをさらに含む請求項９に記載の方法。
14. 現モデル共分散行列を前記サブセットに含めるステップと、
    前記サブセット中の共分散行列の数を増分するステップと
    をさらに含む請求項９に記載の方法。
15. 前記サブセットから最も古い共分散行列を除去するステップと、
    行列総数を一定に保つために、現モデル共分散行列を前記サブセットに含めるステップと
    をさらに含む請求項９に記載の方法。
16. 前記窓内の前のオブジェクト位置及び対応する特徴のサブセットを保持するステップと、
    前記特徴から直接、前記モデル共分散行列を計算するステップと
    をさらに含む請求項９に記載の方法。
17. フレーム毎に、モデル特徴平均ベクトルを更新するステップをさらに含む請求項１に記載の方法。
18. 特徴平均距離を計算するために、前記モデル特徴平均ベクトルと窓特徴平均ベクトルとの間の距離を測定するステップと、
    前記共分散距離を共分散融合重みで乗算するステップと、
    前記平均距離を共分散融合重みで乗算するステップと、
    前記共分散及び前記特徴平均距離の加重和を計算するステップと、
    前記加重和を、モデルと現窓との間の距離として割り当てるステップと、
    最小の加重和を有する特定の窓を、探索領域中の前記オブジェクトの位置として選択するステップと
    をさらに含む請求項１７に記載の方法。
19. 前記空間的属性は、ピクセルの空間座標値である請求項６に記載の方法。
20. 前記空間的属性は、前記窓の原点からの前記ピクセルの距離である請求項６に記載の方法。
21. 前記空間的属性は、前記窓の原点を基準にしたピクセルの空間座標値の絶対値である請求項６に記載の方法。
22. 前記オブジェクト位置の前の位置から現画像での探索領域を予測するステップと、
    前記探索領域中の特徴ベクトルセットを構築するステップと、
    前記探索領域中の前記特徴ベクトルセットから対応する共分散行列セットを求めるステップと、
    前記セット中の各共分散行列と前記探索領域中の前記オブジェクトを表すモデル共分散行列との間の距離を測定するステップと、
    前記モデル共分散行列からの最小距離を備えた対応する共分散行列を有する特定の窓を、前記探索領域中の前記オブジェクトの位置として選択するステップと
    をさらに含む請求項１に記載の方法。
23. 各窓を、その共分散行列の固有値セットで表すステップをさらに含む請求項１に記載の方法。
24. 前記特徴ベクトルセットから対応する固有値セットを求めるステップと、
    前記セット中の各固有値セットと前記オブジェクトを表すモデル固有値セットとの間の距離を測定するステップと、
    前記モデル固有値セットから最小距離を備えた対応する固有値セットを有する特定の窓を、前記フレーム中の前記オブジェクトの位置として選択するステップと
    をさらに含む請求項２３に記載の方法。
25. フレーム毎に、モデル固有値セットを更新するステップをさらに含む請求項２４に記載の方法。

Images