JP4912388B2 - ２次元見え方およびマルチキュー奥行き推定を使用する実世界の物体の視覚的追跡方法 - Google Patents

Description

本発明は、カメラシステム、２次元画像形成、およびカメラからの物体の距離の異なる測定値の組合せを用いて、経時的に実世界物体の動的状態を推定するための方法を記載する。本発明はまた、カメラ手段およびプログラムされたコンピューティング手段を有する追跡装置にも関する。

技術的システムにとって、視覚的追跡は、動的環境で物体を解析するために必要な１つの重要な特徴であり、この数十年の集中的な研究の対象であり、例えば監視、衝突防止、および軌跡評価の分野における用途を導いてきた。

Toward Robot Learning of Tool Manipulation from Human Demonstration, Aaron Edsinger and Charles C. Kemp 1 Computer Science and Artificial Intelligence Laboratory Massachusetts Institute of Technology Cambridge, Massachusetts（特に図１および１０を参照されたい）に詳述されている通り、ロボット分野では、カメラ手段の位置および向きを適応させるためのアクチュエータを制御することによって、カメラ手段の入力視野内の追跡される物体の位置および向きを制御するビジュアルサーボユニットに、視覚的追跡の結果を転送することができる。

ビジュアルサーボは、１つ以上のカメラおよびコンピュータビジョンシステムを使用して、ワーク（追跡される物体）に対するロボットのエンドエフェクタ（マニピュレータ）の位置を制御することを含む。

技術的追跡システムの主な問題は、それらがしばしば、追跡されている物体の正確な内部モデルを必要とすることにある。一例として、交通場面では、これらは例えば自動車の３次元モデル（それらの正確な物理的大きさについての知識を含め、ボリュメトリックまたはサーフェスモデルのいずれか）とすることができ、それらは次いで、カメラシステムによって感受される刺激と一致するように適合される。代替的に、多くの技術的追跡システムは、物体の色のような物体の見え方に関する特定の知識によって、物体を見つける。しかし、一般的な場合、追跡すべき物体は事前には分からないので、正確な３次元モデルまたは他の特定的な知識は利用できない。この場合、追跡システムは、幾つかの異なるキューおよび測定値の組合せを使用する、物体の３次元位置および３次元速度の推定に頼らなければならない。

先行技術
視覚的追跡とは、カメラ手段によって供給される信号を使用して、経時的に実世界物体を、その動的パラメータ（位置、速度等）およびカメラにおけるその２次元見え方が変化するにも関わらず、視覚的に識別しかつ追従する能力である。カメラの見え方は、実世界３次元物体の視覚的特性の２次元スクリーンへの透視投影の性格を成すので、本質的に２次元である。それは、（外部光スペクトル、光源の位置の変更、反射率、および日陰効果のような）変わりやすい外部条件によって生じる様々な表面効果のため、物体の変形のような内部特性のため、または単に物体が回転して奥行きの位置が変わったために、かなり変化することがあるので、透視投影は、捕捉された画像における物体の異なる２次元見え方を導く。

さらに詳しくは、視覚的追跡は通常、経時的な物体の動的制約付き探索を定義する。これは、物体の動的状態（その位置、速度等）およびさらなる変換パラメータの推定を含み、両タイプの動的パラメータは通常、内部に格納された見え方モデルと、物体の現在の実際の見え方をもたらす刺激との間の一致を最大化しようと試みる、対応探索によって得られる。最大化は、物体の仮説的動的パラメータに応じて内部見え方モデルを変化させることによって、実現される。次いで最良の一致は、物体のさらなる追跡のために使用される真のパラメータの新しい推定値を得るために、処理される。追跡メカニズムの研究は、非特許文献１に見ることができる。

視覚的追跡のための先行技術として、以下が挙げられる。

１．幾つかの公知の追跡システムは、２次元「テンプレート」を使用して、物体パラメータとして例えばその２次元位置、速度、および加速度を推定して、純粋に２次元ベースの追跡を取り扱う。例として、テンプレートと入力との間のユークリッド差分費用関数を使用する視覚入力における物体の相関ベースの探索、ヒストグラムベースの費用関数（非特許文献２、３）を使用する平均場技術、およびユークリッド費用関数の線形化バージョンを構成する差分法（例えばＬｕｃａｓ−Ｋａｎａｄｅまたは「ＫＬＴ」アルゴリズム）のような特別なアルゴリズムが挙げられる。以下で、これらの技術のいずれかに従って働くモジュールを「２次元トラッカ」と呼ぶ。

２．テンプレートマッチング技術を使用して、回転、スケーリング、および剪断を含む幾何学的２次元変換のような、より複雑な追跡の物体パラメータを推定することができる。例として再び、アフィン変換の推定のために特殊な変形を施した、「ＫＬＴ」アルゴリズムが挙げられる（非特許文献４〜６）。以下で、この技術を「２次元変換推定」と呼ぶ。

３．奥行きは通常、別個のキューから得られる追加的な「測定値」として含まれる。現状技術では、視差の計算を可能にする両眼／立体視システムが使用され、その結果として、追跡される物体の奥行き推定が得られる（非特許文献７）。奥行きは、物体の状態に付加されるが、自律的に実行される２次元ベースの追跡に影響を及ぼさない。視差ベースの奥行き計算は、信頼性の点でかなりの限界を有し、ベースライン長（２つのカメラ間の水平距離）によって制限される狭い奥行き範囲でのみ有効であるので、例えば人間は、数メートルの範囲でしかそれを使用することができない。以下で、この技術を「視差ベースの奥行き測定」と呼ぶ。

４．２次元トラッカの代わりに、３次元トラッカは時々、物体の正確な内部３次元モデルを使用する（物体を他の手段で測定するか、または事前に承知していなければならない）（非特許文献８、９）。この場合、内部３次元モデルの変換投影バージョンとカメラ入力との正確な一致を見出すことができれば、網膜上のそのサイズから、その奥行きに関する結論を引き出すことが可能である。

５．別のタイプの両眼３次元トラッカは、内部状態として３次元座標を直接使用して始動し、両方のカメラで特定の物体の見え方を見つけようとする。この場合、２次元見え方一致計算および奥行き推定は、３次元座標、および左右のカメラの２次元座標へのそれらの投影を介して、自動的に結合される。これらのトラッカはしばしば、（特殊な事例として、カルマンフィルタを含む）動的ベイジアンネットワークを使用して実現されるので、推定が経時的に得られかつ改善される。

６．公知のマルチキュートラッカは、同一タイプのパラメータの推定のために複数のキューを統合し、それらの信頼性に従ってそれらを組み合わせるか、または最も信頼できるキューを選択して、これらのみに基づいて推定を行なう。

７．一般的に、動的ベイジアン推定器はまさしく、追跡中に生じる状態変数の時間的推定および統合のための研究分野である。我々は、その変形の粒子フィルタおよびカルマンフィルタを含むこの先行技術を公知であると考える（非特許文献１０〜１２）。

８．視界のための頑健かつ高密度の３次元信号を提供する、例えば飛行時間信号を利用した奥行き検知カメラ技術（特許文献１を参照されたい）を使用する、多数の視覚的追跡システムが存在する。通常、これらのシステムは、３次元データに頼って物体を検出し追跡する。すなわち、物体は奥行きデータを用いて「切り取られる」。しかし、本発明で追求する方法は標準的な可視カメラおよび見え方ベースの追跡に依存するので、ａ）追跡される物体はその３次元データからセグメント化可能である必要が無く、かつｂ）特殊な検知ハードウェアが不要である。それにも関わらず、そのような検知技術からのデータを、まさしく核心的な意味で、追加的奥行き測定値として我々のシステムに組み込むことができる。

ＷＯ２００４／１０７２６６Ａ１

Yilmaz, A., Javed, O., Shah, M. "Object tracking: A survey". ACM Comput. Surv. 38(4) (2006) 13 Comaniciu, D., Ramesh, V., Meer, P. "Real-time tracking of non-rigid objects using mean-shift". Computer Vision and Pattern Recognition, 02:2142, 2000 Comaniciu, V., Meer, P. "Kernel-based object tracking", 2003 Lucas, B.D., Kanade, T. "An iterative image registration technique with an application to stereo vision". In International Joint Conference on Artificial Intelligence (IJCAI81), pages 674-679, 1981. Tomasi, C., Kanade, T. "Detection and tracking of point features". Technical Report CMU-CS-91-132, Carnegie Mellon University, April 1991. Shi, J., Tomasi, C. "Good features to track". In IEEE Conference on Computer Vision and Pattern Recognition (CVPR’94), pages 593-600, Seattle, June 1994. Qian, N. "Binocular disparity and the perception of depth". Neuron 18(3): 359-368, March 1997. Lou, J., Tan, T., Hu, W., Yang, H., Maybank, S.J. "3-D Model-Based Vehicle Tracking", IEEE Transactions on Image Processing, Volume 14, pp. 1561-1569, Oct. 2005. Krahnstoever, N., Sharma, R. "Appearance Mangement and Cue Fusion for 3D Model-Based Tracking", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Volume 2, pp. 249-254, 2003. Giebel, J., Gavrila, D., Schnorr, C. "A Bayesian for multicue 3D object tracking". In Proceedings of European Conference on Computer Vision, 2004. Ristic, B. "Beyond the Kalman Filter: Particle Filters for Tracking Applications". Artech House Publishers, February 2004. Arulampalam, S., Maskell, S., Gordon, N.J., Clapp, T. "A Tutorial on Particle Filters for On-line Non-linear/Non-Gaussian Bayesian Tracking". In IEEE Transactions of Signal Processing, Vol. 50(2), pages 174-188, February 2002.

本発明は、事前に正確な物体モデルを必要としないが、それにも関わらず、物体の２次元見え方の解析および奥行き推定のための幾つかの視覚的キューの統合に依存して、物体の３次元位置および３次元速度を推定することのできる視覚的追跡システムを目標とする。

この能力は、独立請求項の特徴によって達成される。従属請求項は、本発明の中心的概念をさらに展開する。

本発明の第１態様は、２次元見え方ヒントおよびマルチキュー奥行き推定を使用して、任意の実世界物体の３次元位置および３次元速度を推定することによって、該実世界物体を追跡するための方法に関する。該方法は、以下のステップを含む。

（１．１）時間ｔに計測されるカメラ画像を撮影するステップ。

（１．２）時間ｔの入力特徴を得るために一連のキューを使用して、時間ｔのカメラ画像のうちの追跡される物体が予想される部分領域を前処理するステップ。

（１．３）時間ｔの視覚的入力の領域であって、（セグメント化アルゴリズムのような）追加的アルゴリズム、または（カメラによって送達される画像の位置および領域を指示する）ユーザインタラクションのいずれかにより得られた領域を、外部手段を用いて指示することによって、時間ｔの入力特徴を使用してトラッカのテンプレートを初期化するステップ。この時間ステップで、選択された領域は重み付けマスクの形で格納され、物体の内部状態は、（例えば、そのセントロイド、その重心、または重み付けマスクを用いて積分されたその平均位置を使用して）該領域から導出される位置に初期化される。

（１．４）時間ｔ＋ｄｔに次のカメラ画像を撮影するステップ。

（１．５）時間ｔ＋ｄｔのカメラ画像の部分領域をステップ１．２と同様に前処理するステップ。

（１．６）時間ｔおよびｔ＋ｄｔの入力特徴に２次元トラッカを使用して、カメラ画像の２次元座標における物体の見え方の２次元位置および２次元速度の推定値を得るステップ。

（１．７）視覚をベースにすることができるが、必ずしもそうする必要の無い追加的キューから、時間ｔの物体の奥行き（カメラシステムからのその距離）の概算推定を使用するステップ。２つの連続的時間ステップｔおよびｔ＋ｄｔで計測され、これは奥行き変化の概算として役立つ。実際には、奥行き計測は、双眼カメラシステムの場合のように、例えば第２カメラからの入力が関係するかもしれない。

（１．８）時間ｔおよびｔ＋ｄｔのカメラ画像および／または選択された入力特徴に２次元変換推定を使用して、追跡される物体のスケール／サイズの相対的変化を抽出するステップ。

（１．９）剛性物体の場合、サイズの縮小または拡大がそれぞれ物体の奥行きの増加または減少のヒントになるという意味で、ステップ１．７からの物体の奥行きおよび奥行き変化の概算推定を、ステップ１．８からのスケール／サイズの変化と結合して、物体の奥行き推定を改善するステップ。

（１．１０）（カメラ座標における）ステップ１．６からの追跡される物体の２次元位置および２次元速度を、ステップ１．９からの奥行きおよび奥行き変化の推定と結合し、カメラ位置決め情報を使用することによってそれをグローバル３次元座標に変換して、追跡される物体のグローバル座標を得るステップ。

（１．１１）３次元位置を使用して、物体の大まかな物理的サイズを計算するステップ。

（１．１２）物体を見失うまで（それは例えば入力とテンプレートとの間のマッチングから何らかの信頼性基準によって検出することができる）、物体を追跡しながらステップ１．４〜１．１１を繰り返すステップ。

（１．１３）再びステップ１．１から始め、同一物体または新しい物体を追跡する。

該方法はさらに、
（２．１）グローバル空間におけるカメラの位置および向きの変化を考慮に入れて、カメラおよび／またはそれが搭載されたプラットフォームの動きを補償するステップ、
を含む。

ステップ１．６および１．７による物体の推定、および／またはステップ１．９による結合に確率論的方法を使用することによって、不確実性を考慮に入れることができる。

ステップ１．７からの奥行きおよび奥行き変化／奥行き速度の概算推定は、例えば動的ベイジアンフィルタ／カルマンフィルタ等を使用するときのように、結果を時間で積分することによって増分的に行なうことができる。

単一の概算奥行き推定の代わりに、異なるキューおよび／または測定技術に基づく一連の奥行き推定を使用することができ、次いでそれらは再び、ステップ１．９の場合と同様に、スケール／サイズの変化推定で２次元変化と結合される。

２つの推定ステップ１．７および１．８は、次の意味で、相互に影響を及ぼすことがある。
ａ）ステップ１．８からの２次元変換の推定は、ステップ１．７からの予想される奥行き変化／奥行き速度を考慮に入れることによって行なわれる。すなわち、奥行きの増加／減少によって生じる予想されるサイズの増減が、変換探索手順で考慮される。
ｂ）ステップ１．７からの物体の奥行き推定は、ステップ１．１１で計算された物理的サイズから導出される予想奥行き、およびステップ１．８からの追跡対象物体のスケール／サイズの予想変化に関する事前の情報を使用することによって行なわれる。

物体の状態パラメータのより高次の導関数に同じ原理を適用することができるので、例えば物体の位置またはサイズまたは向きの加速度が推定され、追跡手順に使用される。

本発明のさらなる特徴、特性、および利点は、本発明の好適な実施形態の以下の詳細な説明を、添付する図面の図と併せて読んだときに、当業者には明らかになるであろう。

本発明を実現するためのシステムの概要を示す。 物体の奥行き、物体の物理的サイズ、およびその２次元見え方サイズの間の数学的関係の図解を示す。

図１は、本発明を実現するためのシステムの概要を示す。

該システムは、幾つかのモジュールを備える。

１．物体の２次元見え方に基づいて働き、その位置および速度を推定する２次元トラッカモジュール。これは、追跡される物体の正確な事前のモデルを必要とすることなく行なわれる。代わりに、追跡テンプレート（すなわち、今から追跡すべき場面の原型的部分）を、第１ステップとして入力画像から直接抽出することができる。これは、物体の見え方および物体クラス／タイプに対する事前の制限無く、一般的な任意の物体を追跡することを可能にする。

２．そのスケールおよびスケール変化率を含め、テンプレートと入力との間の最良の一致を見出すことを可能にする、幾つかの変換パラメータを推定する、幾何学的２次元変換推定モジュール。例として、２つの追跡時間ステップ間のスケール変化が０．１である場合、それは、追跡される物体の２次元見え方（すなわち、カメラシステムによって送達されるときのその見え方）は、サイズが１０％増大することを意味する。

３．物体の奥行き（すなわち、カメラシステムから物体までの距離）の独立測定値を提供する１つ以上のモジュール。しかし、これらの測定値はあまり信頼できないかもしれない。我々の例示的な場合では、ａ）左右のカメラ間のローカルパッチの比較に基づく高密度双眼視差ベースの奥行き測定システム、およびｂ）左右のカメラ画像内で物体を見つけ出そうとし、２つの一致間のずれから追跡される物体の単一の奥行き値を計算する、よりグローバルに作用する双眼システムを使用する。

４．座標をカメラ座標系からグローバル座標系に変換しかつ元に戻すための手段。この場合、各ポイントの「完全な」３次元カメラ座標は、２次元カメラ座標プラス奥行き値から構成される。カメラ画像は、一種の「ピンホールカメラ」として取り扱うことができるように、レンズ歪みを考慮するように修正することができると想定し、グローバル空間におけるカメラの位置および向きが分かると、幾何学的考察を介して座標変換を容易に求めることができる。その場合、１つの座標系から他の座標系への完全な変換は、平行移動、直交投影、および透視投影の観点から説明することができる。

５．システムと共にカメラシステムの動きを定量化することができるように、グローバル空間におけるカメラの位置および向きの変化を測定または推定する手段。これは、例えばビジョンシステムを搭載した動く自動車またはロボットのような、カメラを搭載したまま自律的に移動するプラットフォームの場合に特に有利である。

システムは、場合により可動であるプラットフォームに取り付けられたカメラから、ｗ＊ｈ画素のサイズの２次元入力画像を受信する。グローバルに固定された座標系に対するプラットフォームの位置および向き、ならびにプラットフォームに対するカメラ（または、物体奥行き測定が双眼視差によって供給される場合、２つのカメラ）の位置および向きは、いつでも大まかに分かっているものと想定される。これにより、グローバル３次元座標系とカメラに固定されそれとアライメントさせた３次元座標系との間で座標の変換が可能である。

さらに、カメラの３次元座標からカメラの２次元入力座標への投影およびその逆が分かっているものと想定される。その結果、グローバル３次元座標系と２次元カメラ入力座標との間で、座標をいつでも変換することができる。

次に、本発明に係る処理について説明する。

第１ステップとして、２次元カメラ入力は、一連のｎ個のキューを使用して前処理され、ｎ個１組の画像を導く。キューは、向き、コントラスト、または色抽出フィルタを入力画像に適用するような、単純な前処理方法によって得ることができるが、その期待される色のような、特定の物体に特異的な、より洗練された指標をも含むことができる。キューの厳密な選択は、それらが前処理されたカメラ画像を用いて物体を追跡することを可能にする充分な情報を含む限り、本発明の関連事項ではない。理想的な場合では、１つのキューからの追跡障害が他のキューによって補償され、プロセス全体が入力の変動に対して頑健となるように、様々なキューが、物体に関して非相関的な情報を伝達する。以下のステップのほとんどは、前処理された入力画像から抽出されたｎ個のキューを使用し、以下ではそれらを「ｎ個の入力特徴」と呼ぶ。

処理資源を節約するために、前処理を２次元カメラ視野の制限された部分領域に制限することが可能である。部分領域は、例えば、追跡すべき物体の推定される位置、サイズ、および速度から決定することができる。ひとたび追跡が開始されると、これらのパラメータは全て、追跡システムによって連続的に推定されるので、それらは容易に利用可能であり、各時間ステップで部分領域をそれに応じて調整することができる。

まず、手始めに、システムは、追跡すべき物体がどのように見えるか、おおよその概念を必要とする。この目的のために、システムに、入力特徴と同一空間で作用する２次元見え方テンプレートを供給しなければならない。実際には、これは、システムがそのようなテンプレートをユーザインタラクションもしくはここに記載しない他の（以前に記録された見え方テンプレートを供給することのできるメモリモジュールのような）モジュールから得ること、または再びユーザインタラクションからまたは他のモジュールから位置およびエリア情報を得て、現在の入力特徴を使用して、独力で２次元見え方テンプレートを抽出することを意味する。詳しくは、テンプレートを抽出するには、直接供給されるかまたは２次元カメラ入力座標に変換することのできる、位置およびエリアの指示を必要とする。システム内で物体の２次元見え方を説明するために使用される物体の内部状態は、テンプレート、２次元カメラ座標における位置、および指示されたエリアから得られる重み付けマスクから構成される。最終的に、例えば位置が３次元座標で供給された場合、想定される速度、サイズ等のような補助情報のみならず、３次元位置も物体の状態の一部となる。

ひとたびトラッカが初期化されると、２次元見え方テンプレートと入力特徴との間の一致が大きい視覚的場面の部分を見つけることによって、その後の画像で物体を探索することができる。これは２次元トラッカによって達成され、それは、我々の特別な場合では、増分的にかつ統計的に動作する最先端のマルチキュー動的ベイジアントラッカとして実現される。このモジュールから得られる結果は、追跡される物体が現在何か特定の２次元カメラ入力位置および速度を有している確率を示す、確率マップである。

物体の２次元見え方が経時的にかなり変化する場合、２次元見え方テンプレートおよび／または物体特定的なキューのパラメータを再調整する、キューおよびテンプレート適応ステップを、追跡手順に組み込むことが有用である。

さらなるステップとして、物体とカメラとの間の３次元距離を意味する、奥行きがここで推定される。本発明の中心的概念は、全く異なるキューに作用しかつ各々の単一推定の弱点を相互に補い合うように相補的に機能する、２つの特定の（以下で説明する）奥行き推定を結合するというものである。１）それらの１つは、双眼視を利用するような従来の技術を使用した、直接奥行き推定である。本質的に、この直接奥行き推定は、相互にすでに統合された幾つかの異なる方法の組合せとすることができる。２）第２の技術は、単一のカメラの物体の２次元見え方のサイズの変化を観察することから抽出できる奥行き変化推定である。基本原理は、カメラまでの距離が増加または減少する物体が、２次元見え方のサイズの減少または増加をそれぞれ生じるということである。物体奥行きおよび奥行き速度が分かると、物体の２次元見え方の予想サイズ変化を推定することができる。逆に、物体奥行きおよびその２次元見え方サイズの変化が分かると、奥行き速度を推定することができる。したがって２つの奥行き推定（すなわち、直接推定および２次元サイズ変化の推定に基づくもの）は、密接に結び付けられ、これら２つの特性の組合せを利用する方法で３次元追跡システムを設計することは合理的である。そのようなシステムは、物体自体の正確な３次元モデル無しで、主に物体の２次元見え方および２次元見え方変化に頼って、任意の物体を安定的に容易に３次元追跡することが可能である。

特に、双眼技術と組み合わせて、２つの異なる奥行き推定法を結合することにより、３次元物体追跡システムの利点がもたらされる。双眼システムは、カメラのベースライン長に応じて、カメラからの近接距離でよく機能する。しかし、追跡される物体のサイズ変化の観察による奥行き推定は、より大きい範囲の距離に対してよく機能することができる。したがって両方の方法は相互にブートストラップすることができる。例として、その奥行きが近接距離範囲で正確に測定される物体は、それが双眼システムの正確な３次元推定の範囲外に移動したときには、そのサイズ変化を奥行き測定して追跡することができる。

物体の２次元見え方のサイズ変化は、このシステムで、先行技術の要点２に記載した、２次元変換推定と呼ばれるテンプレートマッチング手順を使用して、抽出される。我々の場合では、システムは、２次元見え方テンプレートと入力画像との間の最良の一致を提供するアフィン変換Ａを探索する。各時間ステップｔ_ｋで、現在の変換状態Ａ（ｔ_ｋ）は、「現在追跡される物体が、特定の量だけ変換された、例えば５度回転されかつ１０％スケーリングされた、２次元見え方テンプレートのように見える」という意味で、テンプレートに対する追跡される物体の現在の２次元見え方の最良の表現を表わす。次いで次の時間ステップｔ_ｋ＋１の変換状態Ａ（ｔ_ｋ＋１）は、変換状態Ａ（ｔ_ｋ）を未来に波及させ、かつそこから新しいテンプレートマッチングをベースとする変換推定探索を開始することによって、推定される。各アフィン変換状態から、サイズλは、次のようにそれをスケーリングおよび回転の合成として近似することによって抽出される。

これは、スケールλが、変換状態行列の決定から直接計算することができることを意味する。次いで、２つの連続時間ステップからの結果を減算して、２次元見え方のサイズ変化を定量化する変換変化、例えば２つの時間ステップ間のスケール変換変化Δλを計算することができる。

双眼入力に基づく直接奥行き推定は、我々の場合では、標準視差ベースの高密度（すなわち画素単位）奥行き測定（先行技術の要点３を参照されたい）の後に、物体重み付けマスクを用いて、（例えば、高密度奥行き測定とマスクの空間積分によって）追跡される物体全体の単一のおおよその奥行きを抽出するものであった。再びこれらの測定値を、動的ベイジアン推定器を用いて時間で積分した。我々がシステムに組み込んだ追加の第２の双眼奥行き測定は、第１カメラから抽出された２次元見え方テンプレートを、例えば相互相関または先行技術の要点２に記載されたテンプレートマッチング技術を用いて、第２カメラで直接探索するものである。左側のカメラでテンプレートが見られる位置と右側のカメラで見られる位置との間の相対ずれから、奥行き測定のベースとしても使用することのできる視差が抽出される。

直接奥行き測定は、しばしば信頼できない物体の奥行きに関して、幾つかのヒントを提供する。連続時間ステップからの奥行きを使用して、観察者／カメラプラットフォームに対して移動する物体の奥行きの速度を抽出することもできる。カメラプラットフォーム自体が移動しており、かつこの動きのパラメータが既知である場合には、例えばカメラ位置および動きを物体パラメータから減算して、絶対座標の物体パラメータを得ることによって、この作用を補償することができる。

直接奥行き測定に加えて、システムは説明した通り、２次元見え方サイズ変化測定値を送達する。略剛性の物体の場合、較正済みのカメラシステムでは、その物理的サイズλ_ｐｈ、その２次元見え方サイズλ、および奥行きｚの間の関係は、次の通りである（ｃは、カメラの焦点距離、２次元スクリーンサイズ、および追跡テンプレートサイズのような、幾つかのシステムパラメータを圧縮する定数である）。

これは、２次元見え方サイズλおよび奥行きｚが相互に反比例することが予想されることを表わす。つまり、同一の物理的サイズの場合、カメラからより遠い／により近い物体はカメラシステムではより小さく／より大きく見える。

図２は、物体奥行き、物体の物理的サイズ、およびその２次元見え方サイズの間の数学的関係の図解を示す。

本発明に係るシステムでは、数式２は直接奥行き測定を、２次元見え方サイズ変化による奥行き推論と結合する。内部では、我々はとりわけ速度のような、パラメータλ_ｐｈ、λ、および｛ｘ，ｙ，ｚ｝を含む状態によって追跡される物体を表わす。直接奥行き測定は、各時間ステップでｚの新しい推定値をもたらす。２次元見え方変化測定は、各時間ステップで、λの新しい推定値をもたらす。２次元位置追跡は奥行きと共に、各時間ステップで物体のグローバル位置｛ｘ，ｙ，ｚ｝の新しい推定値をもたらす。物理的サイズλ_ｐｈは、他の感覚測定、または代替的に特定の物体の物理的サイズに関する事前の知識、または対話する人間からの管理入力等のような、その状態に関する追加ヒントを他のソースから受け取ることのできるシステムの内部パラメータである。

ここで追跡システムのタスクは、現在の状態パラメータλ_ｐｈ（ｔ_ｋ）、λ（ｔ_ｋ）、および｛ｘ，ｙ，ｚ｝（ｔ_ｋ）を取り、それらを使用して、状態パラメータの何らかの動的モデル（例えば物体の物理的サイズが一定であり、物体が一定の奥行き速度で移動しており、かつ２次元見え方サイズが数式２に従って変化するようなモデル）に基づいて、次の時間ステップの予想状態パラメータ

および

を推定し、これを（２次元サイズ推定からの）λ、（直接奥行き推定からの）ｚ、および（２次元位置推定からの）｛ｘ，ｙ｝の新しい測定推定値と結合して、全て数式２の制約の下で新しい状態パラメータλ_ｐｈ（ｔ_ｋ＋１）、λ（ｔ_ｋ＋１）、および｛ｘ，ｙ，ｚ｝（ｔ_ｋ＋１）の更新推定値を得ることである。（図１で、新しい測定推定値は、それらを「真」の測定値と区別するために、表記法

および

を受け取る。）

これを行なうための直接的方法は、少なくとも考慮する状態パラメータ

を含む確率密度に対し、動的ベイジアン推定器／再帰的ベイジアンフィルタ／確率動力学的推定器の予測−確認枠組のような確率論的方法を使用し、過去の全ての直接奥行き測定および２次元見え方サイズ変化測定を前提として、経時的にそれを改善して、状態パラメータの最良の推定を得ることである。この枠組では、新しい測定推定値は、確率論的尤度に対応する。現在の確率密度から、追跡される物体の状況を最もよく記述する最確パラメータλ_ｐｈ、λ、およびｚを抽出することができる（例えば最大確率点を選択することによって；しかしこれを達成する異なる方法が存在する）。言うまでもなく、物体の（カメラ座標における）２次元位置および速度のようなさらなる物体パラメータが、見え方ベースの２次元追跡システムによって送達される（モジュール１）。次いでサイズおよび奥行きパラメータと共に、追跡される物体の３次元位置および速度を決定することができる（モジュール４）。さらに、３次元追跡とカメラの位置および向きの追跡の維持とを組み合わせることにより（モジュール５）、エゴモーション（ｅｇｏｍｏｔｉｏｎ）作用を補償することができるので、たとえカメラシステムがその位置を変えても、物体を確実に追跡することができる。特に、これは、ロボット／自動車自体が移動しながら、物体の信頼できる３次元追跡を行なうことが、視覚的場面の一貫した表現を構築するために必要な能力である、他の交通関与者の監視用のカメラを搭載した視覚的に案内されるロボットまたは自動車に関係する用途に、有意義である。

Claims (7)

1. ２次元見え方ヒントおよびマルチキュー奥行き推定を使用して、実世界物体の３次元位置および３次元速度を推定することによって、実世界物体を視覚的に追跡するためのコンピュータにより実行される方法であって、
   （１．１）時間ｔに計測されるカメラ画像を撮影するステップと、
   （１．２）時間ｔの入力特徴を得るために一連のキューを使用して、時間ｔのカメラ画像のうちの追跡される物体が予想される部分領域を前処理するステップと、
   （１．３）時間ｔの視覚的入力の領域が追加的アルゴリズムまたはユーザインタラクションのいずれかにより指示されることに応答して、前記時間ｔの入力特徴を使用してトラッカのテンプレートを初期化するステップと、
   （１．４）時間ｔ＋ｄｔに次のカメラ画像を撮影するステップと、
   （１．５）時間ｔ＋ｄｔのカメラ画像の部分領域をステップ１．２と同様に前処理するステップと、
   （１．６）時間ｔおよびｔ＋ｄｔの入力特徴に２次元トラッカを使用して、カメラ画像の２次元座標における物体の見え方の２次元位置および２次元速度の推定値を得るステップと、
   （１．７）２つの連続時間ステップｔおよびｔ＋ｄｔで測定された、追加的キューからの時間ｔの前記物体の奥行きの推定値を使用して奥行き変化を概算するステップと、
   （１．８）時間ｔおよびｔ＋ｄｔのカメラ画像または選択された入力特徴に２次元変換推定を使用して、追跡される物体のスケール／サイズの相対的変化を抽出するステップと、
   （１．９）ステップ１．７からの前記物体の奥行きおよび奥行き変化の概算値およびステップ１．８からのスケール／サイズの相対的変化に基づいて、前記物体の奥行きおよび奥行き変化を求めるステップと、
   （１．１０）カメラ座標におけるステップ１．６からの追跡される物体の２次元位置および２次元速度、ならびにステップ１．９からの奥行きおよび奥行き変化の推定値を使用して、前記物体の３次元座標を求めるステップと、
   （１．１１）前記３次元座標を使用して、前記物体の大まかな物理的サイズを計算するステップと、
   （１．１２）停止基準が満たされるまで、物体を追跡しながらステップ１．４〜１．１１を繰り返すステップと、
   を含む方法。
2. （２．１）グローバル空間におけるカメラの位置および向きの変化を考慮に入れて、カメラおよび／または前記カメラが搭載されたプラットフォームの動きを補償するステップ、をさらに含む、請求項１に記載の方法。
3. （３．１）ステップ１．６、１．７、またはステップ１．９に確率論的方法を使用する、請求項１または２に記載の方法。
4. （５．１）単一の概算奥行き推定の代わりに、異なるキューおよび／または測定技術に基づく一連の奥行き推定が使用され、次いでそれらが再び、ステップ１．９の場合と同様にスケール／サイズの変化推定で２次元変化と結合される、請求項１ないし３のいずれか１項に記載の方法。
5. （６．１）ステップ１．８からの２次元変換の推定が、ステップ１．７からの予想される奥行き変化／奥行き速度を考慮に入れることによって行なわれ、すなわち、奥行きの増加／減少によって生じる予想されるサイズの増減が、変換探索手順で考慮され、
   （６．２）ステップ１．７からの物体の奥行き推定が、ステップ１．１１で計算された物理的サイズから導出される予想奥行き、およびステップ１．８からの追跡対象物体のスケール／サイズの予想変化に関する事前の情報を使用することによって行なわれる、という意味で、２つの推定ステップ１．７および１．８が相互に影響を及ぼす、請求項１ないし４に記載の方法。
6. カメラ手段の位置および向きを適応させるためのアクチュエータを制御することによって、カメラ手段の入力視野内の追跡される物体の位置および向きを制御するビジュアルサーボユニットに、ステップ１．１２の結果が転送される、請求項１ないし５のいずれか１項に記載の方法。
7. コンピューティング装置で実行したときに請求項１ないし６のいずれか１項に記載の方法を実現する、コンピュータソフトウェアプログラム。

Images