JP4964159B2 - ビデオのフレームのシーケンスにおいてオブジェクトを追跡するコンピュータに実装される方法 - Google Patents

Description

本発明は、包括的にはコンピュータビジョンアプリケーションに関し、特に、ビデオのフレームのシーケンスにおいてオブジェクトを追跡することに関する。

フレームのシーケンス、すなわち、ビデオにおいては、オブジェクトを、フレーム毎にオブジェクトの特徴の対応を求めることによって追跡することができる。しかしながら、変形する、非剛直のかつ高速に移動するオブジェクトを正確に追跡することは、依然として困難なコンピュータビジョン問題である。

追跡を、平均値シフト演算子を用いて実行することができる。これについては、Comaniciu他著、「Real-time tracking of non-rigid objects using mean-shift」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 142-149, 2000）と、２００３年７月８日発行のComaniciu他に対する米国特許第６，５９０，９９９号、「Real-time tracking of non-rigid objects using mean-shift」とを参照願いたい。ノンパラメトリック密度勾配推定量を使用して、所与のカラーヒストグラムにもっとも類似するオブジェクトを追跡する。この方法は、正確な位置特定を提供する。しかしながら、この方法には、連続フレームにおいて、オブジェクトの位置が幾分かオーバラップしている必要があり、それは、２つの連続したフレームにおけるオブジェクトが完全に異なる位置に現れる可能性のある、高速に移動するオブジェクトには当てはまらない。また、尤度を求めるためにヒストグラムが使用されるため、オブジェクトおよび背景の色分布が類似する場合には、勾配推定および収束が不正確になる。

この問題を解決するために、マルチカーネル平均値シフト法を使用することができる。これについては、Porikli他著、「Object tracking in low-frame-rate video」（Proc. of PIE/EI - Image and Video Communication and Processing, San Jose, CA, 2005）と、２００６年１１月２３日に出願されたTuzel他による米国特許出願第２００６０２６２９５９号、「Modeling low frame rate videos with Bayesian estimation」とを参照願いたい。追加のカーネルは、背景減算によって得られる。上記収束問題を解決するために、オブジェクトを背景領域から「押し」のける別のカーネルを適合させることができる。

追跡を、その瞬間までのすべての測定値を鑑みた上での状態の推定、または等価的にオブジェクトの位置の確率密度関数を構築することとみなすことができる。単純な追跡法は、予測フィルタリングである。この方法は、オブジェクトモデルを一定の重みによって更新する一方で、オブジェクトの色および位置の統計を使用する。これについては、Wren他著、「Pfinder: Real-time tracking of the human body」（IEEE Trans. Pattern Anal. Machine Intell., vol. 19, pp. 780-785, 1997）と、２００５年６月２８日発行のIvanov他による米国特許第６，９１１，９９５号、「Computer vision depth segmentation using virtual surface」を参照願いたい。最適解は、連続した予測ステップおよび更新ステップにおける問題を解決する再帰ベイズフィルタによって提供される。

測定雑音がガウス分布するものと想定される場合には、１つの解は、剛直オブジェクトを追跡するために使用されることが多いカルマンフィルタによって提供される。これについては、Boykov他著、「Adaptive Bayesian recognition in tracking rigid objects」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, volume 2, pages 697-704, 2000）と、Rosales他著、「A framework for heading-guided recognition of human activity」（Computer Vision and Image Understanding, volume 91, pages 335-367, 2003）とを参照願いたい。カルマンフィルタは、オブジェクトの動き特性の「粘性」を制御する事前に定義された状態遷移パラメータに制限される。

状態空間が離散的であり、かつ有限数の状態から構成される場合には、オブジェクト追跡にマルコフ型フィルタを適用することができる。フィルタの最も一般的な種類は、モンテカルロ積分法に基づく粒子フィルタによって表される。特定の状態の現密度が、関連する重みを含む一組のランダムサンプルによって表される。そして、新たな密度は、重み付きサンプルに基づく。

粒子フィルタを、視覚的追跡および検証のために条件付き密度伝播を回復するために使用することができる。一般に、粒子フィルタリングは、ランダムサンプリングに基づき、それは、特に、高次元問題の場合、サンプルの縮退および貧困化による未解決問題である。状態空間をより有効にサンプリングするために、カーネルベースのベイズフィルタを使用することができる。多重仮説フィルタが、移動するオブジェクトがある測定シーケンスを引き起こす確率を求める。

１つの問題として、上記フィルタベース方法のすべてが、局所最適において容易に「行き詰る」可能性がある。別の問題として、大部分の従来技術による方法には、統計的特性および空間的特性の両方を表す十分な類似性基準がない。大部分の従来技術による方法は、色分布または構造的モデルのいずれかにのみ依存する。

オブジェクトを追跡するために、集合統計からアピアランスモデルまで多くの異なる表現が使用されてきた。ヒストグラムが普及しており、それは、正規化ヒストグラムが、モデル化データの確率密度関数に非常に類似するためである。しかしながら、ヒストグラムは、特徴値の空間配置を考慮しない。たとえば、観測窓においてピクセルをランダムに再配置しても、同じヒストグラムがもたらされる。さらに、小数のピクセルを用いて、より高次のヒストグラムを構築することが主な問題である。

アピアランスモデルは、形状およびテクスチャ等の画像特徴を、テンソルの均一サイズの窓にマップする。指数関数的に複雑になるため、比較的少数の特徴しか使用することができない。このため、各特徴は、非常に際立っていなければならない。特徴の信頼性は、厳密にオブジェクトタイプによって決まる。アピアランスモデルは、スケールのばらつきに対して非常に影響を受け易い傾向にあり、かつ姿勢にも依存する。

追跡、すなわち、フレームのシーケンスにおけるオブジェクトに対応する領域を見つけることは、同様の難題に直面する。オブジェクトは、頻繁にその外観および姿勢を変化させる。オブジェクトは、部分的にまたは完全に遮られる可能性があり、または併合および分離する可能性がある。アプリケーションによっては、オブジェクトは、不規則な動きパターンを呈し、急に曲がる可能性もある。

追跡を分類問題として考慮することも可能であり、分類器を、背景からオブジェクトを識別するように訓練することができる。これについては、Avidan著、「Ensemble tracking」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, San Diego, CA, 2005）と、２００６年７月２７日に出願されたAvidanによる米国特許出願第２００６０１６５２５８号「Tracking objects in videos with adaptive classifiers」とを参照願いたい。これは、基準画像のすべてにピクセルに対し特徴ベクトルを構築し、背景に属するピクセルからオブジェクトに属するピクセルを分離するように分類器を訓練することによって行われる。所定期間分類器を統合することにより、照明が変化する場合のトラッカの安定性が向上する。平均値シフトと同様に、オブジェクトの動きが小さい場合にのみ、オブジェクトを追跡することができる。この方法は、オクルージョンの場合にオブジェクトを混乱させる可能性がある。

色、動き、形状および他の特性を、特徴ベクトル等の小型かつ特定可能な形態にいかに変換するかであるオブジェクト表現は、追跡において重要な役割を果たす。従来のトラッカは、ピクセルの構造的配置を軽視するカラーヒストグラムか、または、統計的特性を無視するアピアランスモデルのいずれかにのみ依存する。これらの表現には、いくつかの欠点がある。小数のピクセルによって、より高次のヒストグラムを埋めることにより、不完全な表現になる。さらに、ヒストグラムは、雑音によって容易に歪む。アピアランスモデルは、スケール変化および位置特定誤りの影響を受け易い。

共分散行列表現は、オブジェクトの空間的特性および統計的特性の両方を具現化し、複数の特徴の融合に対しエレガントな解を提供する。これについては、O. Tuzel、F. PorikliおよびP. Meer著、「Region covariance: A fast descriptor for detection and classification」（Proc. 9th European Conf. on Computer Vision, Graz, Austria, 2006）を参照願いたい。共分散は、２つ以上の変数またはプロセスの偏差がどれくらい一致するかの測度である。追跡において、これらの変数は、座標、色、勾配、向きおよびフィルタ応答等の特徴点に対応する。この表現は、ヒストグラムよりはるかに低い次元を有する。この表現は、雑音および光の変化に対して頑強である。共分散記述子を使用してオブジェクトを追跡するために、固有ベクトルベースの距離メトリックが、オブジェクトおよび候補領域の行列を比較するようになっている。共分散トラッカは、動きに対していかなる想定も行わない。これは、トラッカが、オブジェクトの動きが不規則かつ高速である場合であっても、オブジェクトを追跡することができることを意味する。それは、一定の窓サイズに制限されることなく、任意の領域を比較することができる。これらの利点にも関わらず、すべての候補領域に対する共分散行列距離の計算は、低速であり、指数関数的な時間を必要とする。

一定時間を必要とする積分画像ベースの方法は、速度を向上させることができる。これについては、Porikli著、「Integral histogram: A fast way to extract histograms in Cartesian spaces」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, San Diego, CA, vol.1, pp.829-836, 2005）と、２００６年８月１０日出願のPorikliによる米国特許出願第２００６０１７７１３１号、「Method of extracting and searching integral histograms of data samples」とを参照願いたい。この技法は、点の空間配置を利用することにより、共分散行列抽出プロセスを大幅に加速する。

多くのビジョンタスクと同様に、オブジェクト検出および追跡もまた、特定のハードウェアの実装から利益を得る。このような実装には、従来のデジタル信号プロセッサ（ＤＳＰ）、グラフィックプロセッサユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）および他のリコンフィギュラブルコア等、種々のサブシステムのさまざまな組合せが含まれる。ＤＳＰは、費用効率のよいソフトウェアプログラム能力を提供する。プログラム可能ＤＳＰアーキテクチャにより、基本的な低レベルアルゴリズムの速度を上昇させることが可能である。一方、ＡＳＩＣは、方法を実装するための高性能、低電力および低コストオプションを提供するが、種々の追跡方法をサポートするには、必要なＡＳＩＣの数が拡大し、それによってデバイスがより大きくなり、電力消費がより大きくなり、コストが高くなる。ＧＰＵは、また、経済的かつ並列のアーキテクチャの構築も可能にする。コントラスト強調、色変換、エッジ検出および特徴点追跡を含むいくつかの計算集約的プロセスを、ＧＰＵに委ねることができる。ＦＰＧＡにより、データフローの大規模並列処理およびパイプライン処理が可能にある。ＦＰＧＡは、かなりのオンチップＲＡＭを提供し、高クロック速度をサポートする。しかしながら、現在のオンチップＲＡＭは、オブジェクト検出および追跡において有用なレベルの内部ＲＡＭフレームバッファリングをサポートするには十分でない。したがって、画像データの処理中に記憶域を提供するために、追加の外部メモリが必要である。ＦＰＧＡの高Ｉ／Ｏ能力は、複数のＲＡＭバンクへの同時アクセスをサポートし、有効かつ効率的なパイプライン処理を可能にする。

追跡モデルには、克服すべき多くの問題がある。オブジェクトと候補領域との間の尤度スコア計算がボトルネックである。ヒストグラムを採用する追跡方法は、ヒストグラムサイズが増大するに従って、より要求が厳しくなる。いくつかのヒストグラム距離メトリック、たとえば、ＢｈａｔｔａｃｈａｒｙａメトリックおよびＫＬメトリックは、本質的に複雑である。共分散追跡の場合、尤度計算には、固有ベクトルの抽出が必要であり、それは低速である。高速尤度計算方法が、計算速度を大幅に向上させることができる。

複雑性は、候補領域の数または探索領域サイズに比例する。追跡プロセスを加速するために、階層探索方法を適用することができる。平均値シフトおよびアンサンブル追跡等の局所探索方法は、オブジェクトサイズが大きくなるに従って低速になる。際立った情報を破壊しないカーネルおよび画像の適応スケーリングが、リアルタイム性能を達成するようになっているものとすることができる。カーネルベースの追跡方法は、オブジェクトの数が増大するに従って、より要求が厳しくなる。複数のオブジェクトの追跡が必要なアプリケーションに対し、グローバル探索法を適用することができる。したがって、制御不可能な状態を有するオブジェクトを追跡する必要がある。

方法は、ビデオのフレームのシーケンスにおいてオブジェクトを追跡する。本方法には、一組の追跡モジュールが提供される。

ビデオのフレームを、メモリバッファにバッファリングする。第１に、オブジェクトを、バッファリングされたフレームにおいて、複数の追跡モジュールのうちの選択された１つを使用して時間的に順方向に追跡する。第２に、そのオブジェクトを、バッファリングされたフレームにおいて、選択された追跡モジュールを使用して時間的に逆方向に追跡する。

そして、第１の追跡と第２の追跡とから、追跡誤差を求める。追跡誤差が所定閾値未満である場合には、追加のフレームをメモリバッファにバッファリングし、第１の追跡するステップ、第２の追跡するステップおよび求めるステップを繰り返す。

一方、誤差が所定閾値を上回る場合には、異なる追跡モジュールを選択し、第１の追跡するステップ、第２の追跡するステップおよび求めるステップを繰り返す。

図１は、本発明の１つの実施の形態によるビデオ１０１のフレームのシーケンスにおけるオブジェクトを追跡する方法を示す。追跡モジュール４１０を選択する。追跡モジュールの選択については、後述する。ビデオ１０１からの新たなフレーム、たとえば、５つのフレームをメモリにバッファリングする（１１０）。オブジェクトを、バッファリングされたフレームにおいて、追跡モジュールを使用して時間的に順方向に追跡する（２１０）。そして、オブジェクトを時間的に逆方向に追跡する（２２０）。順方向追跡および逆方向追跡の後、追跡誤差７０１を求める（７００）。誤差７０１が所定閾値４０１未満である場合には、メモリバッファを空にし、ビデオのすべてのフレームが処理されるまで追加のフレームをバッファリングする（１１０）。

一方、誤差７０１が所定閾値を上回る場合には、異なる追跡モジュールを選択し（４００）、バッファにおける現フレームに対する順方向追跡および逆方向追跡を繰り返す。

本発明では、以前に割り当てられたトラッカが満足のいく結果をもたらしたか否かを評価する試行統計を使用して、バッファサイズ８０９を確定することができる（図８を参照）。追跡誤差に応じて、次に新たなフレームをバッファリングする時のために、バッファにおけるフレームの数を変更する。

誤差が所定閾値８１０未満であり、かつバッファにおけるフレームの数が最大フレームカウントより小さい場合には、次にフレームをバッファリングする時のために、バッファのサイズを増大させる（８２０）。追跡誤差が閾値を上回る場合には、バッファのサイズを低減させる（８３０）。バッファにおけるフレームの最小数は、１に設定されている。

別法として、図９に示すように、バッファサイズ８０９を、バッファ制御ユニットにおけるフレーム間差分（ＦＤ）誤差９１０の量を使用して設定する（図９および図１０を参照）。パラメータ化された動きを推定することにより、２つの連続フレーム間のグローバル動きを求めて（９１０）、フレーム間差分９１１を取得する。動きパラメータを推定するために、画像全体を使用してもよく、または画像の一部を使用してもよい。そして、動きパラメータを使用して、１つの画像ピクセル座標から他の画像へのマッピングを適用することにより、対応するピクセル対を見つける。この動作を、動き補償と呼ぶことができる。静止カメラの場合には、カメラの動きがないため、動き補償は、省略する。２つのフレームにおける対応するピクセルの強度差を集約することにより、フレーム間差分誤差を求める。バッファのサイズを変更するために、フレーム間差分誤差に閾値を適用する（９２０）。

２つめの実施の形態（図１０を参照）は、フレーム間差分誤差と、非線形マッピングであるバッファサイズ関数１０００とを使用して、バッファサイズを確定する。バッファサイズを、最大サイズ（最大バッファ）１０１０と１つのフレームのサイズとの間で定義してもよい。

図２は、追跡誤差が比較的小さい場合の５つのフレームに対する順方向追跡および逆方向追跡を示し、図３は、追跡誤差が比較的大きい場合を示す。図２および図３では、オブジェクトを楕円形２０１で表し、オブジェクトの追跡位置を十字線または網線（＋）２０２で表す。図３に示すように、時間２０３の経過により、実際のオブジェクト位置２０１と追跡位置２０２との間に相当な「ずれ」がある。

図４は、追跡モジュールを選択すること（４００）の詳細を示す。本方法は、複数の追跡モジュール４１０にアクセスすることができる。追跡モジュールのセットには、平均値シフトトラッカ、粒子フィルタトラッカ、共分散トラッカ、カルマンフィルタトラッカ、アンサンブルトラッカ、全数検索トラッカおよびオンライン分類器トラッカまたは他の同様の既知のトラッカが含まれ得る。トラッカを、高い複雑性から低い複雑性の順序４０２で配置することができる。したがって、セレクタ４００は、それ以上モジュールが存在するか否かを判断し（４２０）、ある場合には、適当なモジュールを選択する（４３０）。一方、存在しない場合には、閾値４０１を増大させる（４４０）。粒子フィルタトラッカに対する複雑性は、粒子の数であり、平均値シフトフィルタトラッカの場合、複雑性は、カーネルのサイズであり、カルマンフィルタトラッカおよび全数検索トラッカの場合、複雑性は、探索領域のサイズであり、共分散トラッカの場合、複雑性は、特徴の数であり、オンライン分類器トラッカおよびアンサンブルトラッカの場合、複雑性は、分類器の数である。したがって、追跡誤差に基づき、トラッカモジュールの複雑性、たとえば、粒子の数、カーネルのサイズ、特徴の数、探索領域のサイズ、または分類器の数を変更することも可能である。

選択は、複数の制約に基づく。追跡誤差が大きい場合、より複雑なトラッカを選択し、追跡誤差が小さい場合、複雑性の低いトラッカを選択する。多数の複雑性基準を利用することができる。種々のタイプの追跡方法の間で、複雑性は、計算複雑性を示す。追跡方法によっては、他より雑音等に対して頑強であり、そのため、複雑性は、頑強性の度合いも指す。

同じトラッカタイプの場合、複雑性は、追跡パラメータの計算負荷および範囲を意味する。局所探索ベースのトラッカ、たとえば、勾配シフト、カルマン等の場合、より複雑であることは、探索窓またはカーネル窓がより広いことを示す。サンプリングベースのトラッカ、たとえば、粒子フィルタ等の場合、複雑性は、粒子の数と、粒子状態の量子化ステップ（精度）とに対応する。

図５は、いくつかの追跡モジュール例、たとえば、平均値シフト、粒子、共分散およびアンサンブルトラッカ４１０を示す。複雑性の低いトラッカほど高速であり、複雑性の高いトラッカより、使用する資源が少ない。しかしながら、複雑性の低いトラッカは、不規則で高速に動いているかまたは外観が激しく変化しているオブジェクトを追跡することができない可能性がある。したがって、本発明による追跡は、トラッカ４１０を追跡プロセスの複雑性に適合させる。

図６は、特定のトラッカの複雑性をいかに変更することができるかを示す。たとえば、選択されたトラッカが粒子トラッカである場合である。この場合、粒子の数が最大数未満であるか否かを判断し（６２０）、そうでない場合、閾値を増大させる（６３０）。一方、最大数未満である場合、オブジェクトを追跡するために使用する粒子の数を増加させる（６４０）。

図７は、追跡誤差７１０を求めること（７００）の詳細を示す。トラッカ４１０は、第１のフレームにおけるオブジェクトの位置７１１と、逆方向追跡の後の第１のフレームにおける位置７１２とを有する。一般に、オブジェクトの位置は、オブジェクトモデルに従って求められる。そして、オブジェクトの位置を、追跡が開始する前に、順方向追跡の後に、かつ逆方向追跡の後に求めることができる。位置の間の距離は、正しい位置および追跡位置の空間的差異を求める（７１０）。第１のフレームに対するオブジェクトモデル７１３および最後のフレームに対するモデル７１４は、オブジェクトモデル距離を求める（７２０）。差異およびオブジェクトモデル距離を、重み付き合計７３０において結合して、追跡誤差を取得することができる。

本発明の１つの実施の形態によるオブジェクトを追跡する方法のブロック図である。 誤差が小さい場合の追跡のブロック図である。 誤差が大きい場合の追跡のブロック図である。 本発明の１つの実施の形態による追跡モジュールを選択するブロック図である。 本発明の１つの実施の形態による追跡モジュールを選択するブロック図である。 本発明の１つの実施の形態による追跡モジュールを選択するブロック図である。 本発明の１つの実施の形態による追跡誤差を求めるブロック図である。 本発明の１つの実施の形態による試行統計を更新するブロック図である。 本発明の１つの実施の形態によるバッファ制御ユニットのブロック図である。 本発明の１つの実施の形態によるバッファ制御ユニットのブロック図である。

Claims (16)

1. ビデオのフレームのシーケンスにおいてオブジェクトを追跡するコンピュータに実装される方法であって、
   一組の追跡モジュールを提供するステップと、
   ビデオのフレームをメモリバッファにバッファリングするステップと、
   バッファリングされた前記フレームにおけるオブジェクトを、前記複数の追跡モジュールのうちの選択される１つを使用して時間的に順方向に追跡する第１の追跡するステップと、
   バッファリングされた前記フレームにおける前記オブジェクトを、前記選択された追跡モジュールを使用して時間的に逆方向に追跡する第２の追跡するステップと、
   前記第１の追跡するステップおよび前記第２の追跡するステップからの追跡誤差を求めるステップとともに、該追跡誤差が所定閾値未満である場合には、前記メモリバッファに追加のフレームをバッファリングし、前記第１の追跡するステップ、前記第２の追跡するステップおよび前記求めるステップを繰返し、一方、前記誤差が前記所定閾値を上回る場合には、異なる追跡モジュールを選択し、前記第１の追跡するステップ、前記第２の追跡するステップおよび前記求めるステップを繰り返すステップと
   を含むビデオのフレームのシーケンスにおいてオブジェクトを追跡するコンピュータに実装される方法。
2. フレーム間差分誤差が所定閾値を上回る場合には、前記バッファのサイズを低減させ、一方、前記フレーム間差分誤差が前記所定閾値未満である場合には、前記バッファの前記サイズを増大させるステップ
   をさらに含む請求項１に記載の方法。
3. 前記フレーム間差分誤差は、前記バッファにおける連続フレーム間のフレーム間差分に基づくグローバル動きである請求項１に記載の方法。
4. 前記バッファサイズは、非線形関数である請求項２に記載の方法。
5. 前記複数の追跡モジュールのそれぞれは、関連する複雑性を有し、前記方法は、
   前記複数の追跡モジュールを高い複雑性から低い複雑性の順序で配置するステップ
   をさらに含む請求項１に記載の方法。
6. 前記異なる追跡モジュールは、前記追跡誤差に基づいて選択される請求項１に記載の方法。
7. 前記複数の追跡モジュールのそれぞれは、関連する複雑性を有し、前記一組の追跡モジュールは、平均値シフトトラッカ、粒子フィルタトラッカ、共分散トラッカ、カルマンフィルタトラッカ、アンサンブルトラッカ、全数検索トラッカ、およびオンライン分類器トラッカを含むグループから選択される請求項１に記載の方法。
8. 前記追跡誤差は、追跡するステップの前と、前記第１の順方向に追跡するステップおよび該第１の順方向に追跡するステップに続く前記第２の逆方向に追跡するステップの後との前記オブジェクトの位置に基づく請求項１に記載の方法。
9. 前記追跡誤差は、追跡するステップの前、前記第１の追跡するステップの後、および前記第２の追跡するステップの後の前記オブジェクトの位置において求められるオブジェクトモデルに基づく請求項１に記載の方法。
10. 前記複雑性は、前記追跡モジュールの計算負荷である請求項７に記載の方法。
11. 前記粒子フィルタトラッカの場合の前記複雑性は、粒子の数である請求項７に記載の方法。
12. 前記平均値シフトフィルタトラッカの場合の前記複雑性は、カーネルのサイズである請求項７に記載の方法。
13. 前記カルマンフィルタトラッカおよび前記全数検索トラッカの場合の前記複雑性は、探索領域のサイズである請求項７に記載の方法。
14. 前記共分散トラッカの場合の前記複雑性は、特徴の数である請求項７に記載の方法。
15. 前記オンライン分類器トラッカおよび前記アンサンブルトラッカの場合の前記複雑性は、分類器の数である請求項７に記載の方法。
16. 前記追跡誤差に基づいて選択された前記トラッカモジュールの前記複雑性を変更するステップをさらに含む請求項７に記載の方法。

Images