JP4967062B2 - オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法 - Google Patents

オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法 Download PDF

Info

Publication number
JP4967062B2
JP4967062B2 JP2010519390A JP2010519390A JP4967062B2 JP 4967062 B2 JP4967062 B2 JP 4967062B2 JP 2010519390 A JP2010519390 A JP 2010519390A JP 2010519390 A JP2010519390 A JP 2010519390A JP 4967062 B2 JP4967062 B2 JP 4967062B2
Authority
JP
Japan
Prior art keywords
image
motion
flow
self
emf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010519390A
Other languages
English (en)
Other versions
JP2010535385A (ja
Inventor
ヴィラート、フォルカー
エッゲルト、ユリアン
シュミュデリッヒ、ヤンス
レバン、スヴェン
Original Assignee
ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP07114793.8 priority Critical
Priority to EP07114793 priority
Application filed by ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH filed Critical ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH
Priority to PCT/EP2008/006896 priority patent/WO2009024349A1/en
Publication of JP2010535385A publication Critical patent/JP2010535385A/ja
Application granted granted Critical
Publication of JP4967062B2 publication Critical patent/JP4967062B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods

Description

本発明は、オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な動き(物体固有運動、Object Proper Motion, OPM)を推定する方法及び対応する装置に関する。この方法及び装置は、ロボットや自動車など、自律的な可動性移動体に応用することができる。
動きを視覚的に知覚する能力は、動的な環境の中を切り抜けるために非常に役立つと考えられている。したがって、運動が視覚的な注意をひきつける最も重要な手がかりの一つであることを理解することは、驚くべきことではない。興味深いことに、ほとんどの哺乳類は、頭や眼を回転させ、全身を動かし、動いている場合にも、あるいは、走っている場合にも、視覚的な動きを知覚することができる。集めた情報は、自身の運動を制御するために、あるいは、網膜の中心窩に動いている物体を維持することによって、動いている物体を追跡するために使用される。
一般的に、ロボットの自律的な運動によって、カメラは、突然の速度変更を伴う、3次元の並進及び回転運動を受ける。
ロボットによって生成される、オプティカルフロー(OF)における自己の動きの効果、いわゆる、自己の動きフロー(自己運動フロー、EMF)は、この仕事を困難にしている。第一に、これは、多数の自由度及びそれぞれのロボット・セグメントの、カメラの位置に対する複雑な影響によって生じる。たとえば、ひざを曲げることは、ある状況においては、ロボットしたがってカメラを、激しく横にシフト及び回転させる一方、他の状況においては、ロボットは他方の足で立っているかもしれないので、ひざを曲げることはカメラの位置に全く影響しない。
自己の動きの間の物体の適切な動き(OPM)の推定が通常行なわれる分野は、自動車分野である。自動車分野で、この推定は、観察している自動車に対する他の自動車の速度を測定し、他の自動車を最終的には障害物となりうるものとして識別するのに重要である。ほとんどのアプローチは、オプティカルフロー(OF)の計算に依拠している。オプティカルフローは、自己の動き(EM)によってもたらされる効果、いわゆる、自己の動きフロー(EMF)及び物体の適切な動き(OPM)の重ね合わせである。オプティカルフロー(OF)を分解し、所望の物体の適切な動き(OPM)を抽出する通常の手順は、視覚的なフローの場からカメラの運動を推定しようとする。視覚的なフローの場では、カメラの運動の基礎となるモデルは、複雑さが非常に異なる。
したがって、カメラの運動を適切に抽出するには、オプティカルフロー(OF)が、個別に動いている物体ではなく、主に自己の動き(EM)の効果によってもたらされていることが、非常に重要である。このことは、動いている人々に向いているロボットに仮定することはできない。並進的な自己の動き(EM)の、画面のポイントへの効果は、離れたポイントは、より近いポイントよりもより小さなフローベクトルを含むように、カメラへのポイントの距離によって大きく影響される。
従来技術のアプローチには、これらのポイントの距離を実際に測定するものもある。しかし、多数の方法は、全てのポイントが、カメラの位置及び視野における拡張焦点を通って伸びる面上に位置すると仮定している。この手順は、自動車の分野では適切かもしれないが、環境についての、そのような簡略化した仮定は、動的な場面で自律的に行動するロボットには適切ではない。このように、自己の動き(EM)を取り扱う異なった方法を見出す必要がある。
カメラの運動についての既存の知識を使用する一つのアイディアは、以下のとおりである。ロボットに円内を歩行させながら、模様わけされた地面上のロボットの運動の結果としてのオプティカルフロー(OF)を計算してもよい。ロボットの足どりの様相及び関節角度に関連して、自己の動きフロー(EMF)を学習するようにニューラルネットワークが訓練すされる。その後、自己の動きフロー(EMF)と測定されたオプティカルフロー(OF)との差を、ロボットの経路における障害物を検出するのに使用することができる。ロボットの運動は、非常に制限されているが、Fidelmanらは、より複雑な運動に対しても、自己の動きフロー(EMF)を学習することができることを明らかにした(非特許文献1)。彼らのアプローチにおいて、ニューラルネットワークは、ロボットの歩行の様相及び関節角度に加えて、最近のオプティカルフロー(OF)計算を供給される。ニューラルネットは、次の時間ステップのフローを予測し、それを実際に測定されたオプティカルフロー(OF)と比較できるようにし、差を、物体の適切な動き(OPM)として分類できるようにする。
カメラの運動を計算し、それを自己の動きフロー(EMF)を計算するのに使用するアイディアも、自動車に対して記述されている。特許文献1(Comaniciu, D.他)において、ジャイロスコープセンサまたはGPS信号からの読みが、カメラの運動を推定するのに使用するのに利用されている。自動車における他のアプローチと同様に、深さは測定されず、上述のように、面仮定から推定される。他のアプローチは、ニューラルネットワークを使用する代わりに、測定されたロボットの関節にしたがって、実際に自己の動きフロー(EMF)を計算する(非特許文献2)。
しかし、与えられたアプローチの全ての結果は、おそらく深さ情報の統合が欠けているため、非常に有望なものではない。Fidelmanらは、カメラへのポイントの距離に依存する、
計算されたオプティカルフロー(OF)フィールドを与えることにより、暗に深さ情報を含んでいる(非特許文献3)。しかし、このアプローチは、訓練フェーズにおける物体からの距離と異なる距離の物体を適切に処理することができない。距離の差によって、オプティカルフロー(OF)が、学習されたものから離れる。したがって、動いていないポイントも、物体の適切な動き(OPM)として分類されうる。距離情報を伴うロボットの運動についての知識と、オプティカルフロー(OF)測定値とを組み合わせることは、Overettらの論文に記載されている(非特許文献4)。Overettらは、ロボットにカメラを固定し、走行距離測定データを測定し、深さを考慮している、結果としての自己の動きフロー(EMF)を計算することを試みた。後で、このフローは、推定されたオプティカルフロー(OF)から引かれ、残りのベクトルが、物体の適切な動き(OPM)を示すのに使用される。残念なことに、走行距離測定からのノイズを多く含むデータのために、著者らはロボットが通過した距離を人手によって測定しなければならず、システムは実時間で動作することができない。
現在の方法で、カメラの運動を予め計算し、それを基準とした運動を求めるものはない。個別に動いている物体の効果と重ねあわされたカメラの運動の効果を獲得する際に、オプティカルフロー(OF)は、何組もの置き換えを必要とする。獲得された動きの範囲が大きいことは、計算時間を増加させるだけではなく、あいまいさを増加させることにより、オプティカルフロー(OF)推定をだめにする。ごく最近、Rabeらは、密深さ及びフローフィールドを推定する代わりに、画像において追跡された外観上の特徴からフロー及び差異を計算することによって、この問題への解決策を提案した(非特許文献5)。結果をカルマンフィルタによって融合することにより、ポイントの組の位置および動きについての6次元の情報が供給される。慣性センサからの読みとともにこの情報は、自己の動き(EM)効果を補償し、実際の3次元の物体の適切な動き(OPM)を得るのに使用される。結果は、少なくとも移動体の緩やかな運動に対しては非常に説得力のあるものである。しかし、物体の適切な動き(OPM)の信頼性のある推定を作成するように、深さ、オプティカルフロー(OF)及び脚を備えたロボットによって引き起こされるカメラの運動の激しい効果を組み合わせながら、これらを処理することのできる手順は明らかに存在しない。
Fardiらは、カメラの自己の動き(EM)の補償を含み、オプティカルフローの計算を含む、動いている移動体から歩行者を認識する方法を発表した(非特許文献6)。
Fardiらにおいて、問題にしている領域は、レーザースキャナの距離測定から計算され、問題にしている領域における全ての画素に使用される、一様な深さz(カメラへの距離)を有する面とみなされる。しかし、深さについてのこの仮定は、物体の適切な動きの正確な推定が所望されるすべての状況において、適用することができない。この効果は、カメラに近く、離れた背景の前面の物体に対してはより重要になる。
US20040183905
Fidelman et al. , "Detecting motion in the environment with a moving quadruped robot," in RoboCup-2006: Robot Soccer World Cup X, G. Lakemeyer, E. Sklar, D. Sorenti, and T. Takahashi, Eds. Berlin: Springer Verlag, 2007, vol. 4434/2007, pp. 219-231 del Solar J.R. et al, "Motion detection and tracking for an Aibo robot using camera motion compensation and Kalman filtering." in RoboCup 2004: Robot Soccer World Cup VIII, ser. Lecture Notes in Computer Science, D. Nardi, M. Riedmiller, C. Sammut, and J. Santos-Victor, Eds. Berlin: Springer, March 2005, vol. 3276, pp. 619-627 Fidelman et al. , "Detecting motion in the world with a moving quadruped robot." P. Fidelman, T. Coffman, R. Miikulainen, and P. Stone. Technical Report TR-05-37, Department of Computer Science, University of Texas, 2005 G. Overett and D. Austin, "Stereo vision motion detection from a moving platform," in Proc. Australasian Conf. on Robotics and Automation, December 2004 Rabe et al.: "Fast detection of moving objects in complex scenarios," in Proc. IEEE Symp. Intelligent Vehicles, June 2007, pp. 398-403 Fardi et al.,"Motion-based pedestrian recognition from a moving vehicle," in Proc. IEEE Symp. Intelligent Vehicles, June 2006, pp. 219-224
したがって、深さ情報をより正確に扱うことによって物体の適切な動きを推定するための方法及び装置であって、画像シーケンスにおける全ての画素のOPM推定の信頼度を提供し、利用することのできる方法及び装置を提供することが、本発明の目的である。
この目的は、独立請求項による方法及び装置によって、本発明にしたがって達成される。有利な実施形態は、従属請求項に規定されている。
本発明のさらなる態様及び利点は、添付の図面に関連して、以下の本発明の詳細な説明を検討すればより明らかとなる。
本発明の実施形態によるシステムの概観を示す図である。 カメラ及び世界座標におけるポイント を示す図である。
カメラ変換を使用して時間nにおける静的なポイントの記述を示す図である。 自己の動き(EM)が事前にキャンセルされない場合に、オプティカルフロー(OF)の動きのスペクトルを示す図である。実線は、2個の画素の想定された物体の適切な動き(OPM)を視覚化したものであり、点線は、3個の画素の想定された自己の動き(EM)の効果を示す。オプティカルフロー(OF)によって獲得する必要のある間隔は、上記の二つを重ね合わせたものである。 自己の動きフロー(EMF)を基準とする、探索のための減少されたスペクトルを示す図である。 極端な体の運動の下で、画素ごとのゆがみの分裂した結果を示す図である。 平均したフローによって、自己の動きフロー(EMF)における穴を埋める効果を示す図である。 及び
からの結果としての分布
の1次元のプロット及び尤度Lを示す図である。
図1は、本発明の実施形態によるシステムの概観を示す図である。
第1ステップにおいて、順方向の運動学が、mからn=m+1までの時間間隔において生じるカメラの運動を計算するのに使用される。これを、両眼の差異からの深さ情報と組み合わせることにより、自己の動き(EM)により、時間mにおける、画像内の静的なポイントが動いた場所を推定し、自己の動きフロー(EMF)を得る。したがって、時間nにおける、画像内のポイントが、そこから発生した場所を知ることにより、第2のステップにおいて該ポイントをその発生の位置へ戻すことによって、自己の動き(EM)効果を補償し、結果として画像は、自己の動き(EM)効果の影響を受けなくなる。その後、この画像は、自己の動きフロー(EMF)を基準として測定された、オプティカルフロー(OF)の計算に使用してもよい。このステップごとの運動推定により、オプティカルフロー(OF)の探索範囲が縮小される。これは、計算時間を減少させるだけでなく、オプティカルフロー(OF)測定において生じうるあいまいさを低減し、そのため、質的によりよい結果に至る。理想的には、このようにして測定されたオプティカルフロー(OF)は、動いていない物体に対してはゼロであり、その他の場合には適切な動きを記述するはずである。
しかし、両眼の差異もオプティカルフロー(OF)も、特にノイズの多い信号であるので、フロー及び自己の動き(EM)ベクトルの信頼性に基づいて、誤った速度推定をフィルタによって除去するようにふさわしい方法が適用される。
自己の動きフロー(EMF)の計算
自己の動きフロー(EMF)の計算は、フローフィールド
をもたらす。フローフィールドは、画像 Im におけるポイントが、カメラの運動に起因して、画像 I n におけるどの場所へ移動したかを記述する。この計算のために、環境は静的であり、ポイントはそれら自身動かないと仮定する。
ベクトル
の絶対値が、カメラへの対応するポイントの距離に極めて依存するという事実を説明するために、カメラ運動の効果は、3次元のカメラに関する空間において計算してもよい。したがって、最初に、それぞれのポイント
は、画像において両眼の差異
と組み合わせて、一様な画像座標において
としてポイントを定義してもよい。
このポイントは、その後、カメラ座標から画像座標への一様な変換マトリクス
を計算し、それに
を乗ずることによって、カメラ座標において再び構築される。
次の時間ステップにおいて、カメラについてのそれぞれのそのようなポイントの位置を計算するために、カメラの動き方を知る必要がある。この知識はロボットの運動学から得ることができる。この目的のために、時間mにおける、上体の位置および全ての関節の角度を含む、ロボットの状態ベクトル
が使用される。このベクトルを使用して、当初の世界座標系から各ロボットセグメントへの変換を戻し、世界座標からカメラ座標への変換
を含む、順方向運動学を計算することができる。
この変換を逆にすると、カメラ座標から世界座標への変換を記述する
がもたらされる。さらに、現在の変換
は、
を適用することによって計算することができる。この計算は、上体の位置を含むので、結果としての変換は、回転マトリクスだけではなく、カメラ位置の並進的な変化もコード化する。
静的なポイント
を仮定して、新しい位置
は、最後の変換
を乗じて、実際の変換
を使用してカメラ座標に戻すことによって、ポイントを世界座標に変換することから計算することができる。
この過程は図2に示されている。
ポイントの新たな3次元位置には関心がなく、画像における2次元フローに関心があるので、それぞれのポイントは、画像面へ投影し戻してもよい。これは、一様投影マトリクス
を計算し、それに新しいポイント
を乗じることによって行なわれる。
が時間ステップの間で一定であるので、これらの一連の変換は、予め計算することができ、それぞれのポイント
と乗じることのできる単一の変換マトリクスがもたらされる。
を知って、カメラ運動による画像面におけるポイントの移動は、以下の式によって与えられる。
この移動ベクトルの信頼性を表現するために、運動学の計算は、決定論的であるので、
の測定された深さ
の質だけを考慮する必要がある。
の信頼性は、左及び右のカメラ画像の間の差異アルゴリズムによって見出される相関の量に関係する。これは、ある信頼度の値
で表される。さらに、増加する距離にしたがって低下する正確さを考慮することができる。
差異からの深さ推定に対する感度は、距離の二乗にしたがって低下する。
ここで、bはベースラインを、fは焦点距離を、qはカメラの画素サイズを示す。
に対する尤度を何らかの確率分布の形で記述するのが望ましいので、増加する分散

として宣言して、信頼性の低下を増加する分散によって表してもよい。ここで、1は単位マトリクスである。スカラーweは、全分散の重み付けを表すのに使用することができ、この分散をオプティカルフロー(OF)からのものと比較するのに有益である(以下の記載を参照のこと)。さらに、
は、信頼度または距離のいずれかの影響を強調するのに利用することができる。
自己の動きフロー(EMF)を基準としたフローの計算
自己の動き(EM)の効果は、画像上で計算されているので、この段階で、この自己の動きフロー(EMF)を基準とした、Im to Inの間のオプティカルフロー(OF)
を計算することができる。オプティカルフロー(OF)の計算の後で、自己の動き(EM)の効果を相殺する他のアプローチと比較して、この方法は、獲得される動きのスペクトルを減少させる。図3に示されているこの効果は、計算時間を減少させるだけではなく、あいまいさを減少させることによりオプティカルフロー(OF)推定を向上させる。
自己の動き(EM)の効果は、画像をゆがめることによって補償することができる。本ケースでは、順方向マッピングを使用してゆがめることは、
と記述することができる。ここで、
は、旧画像
に等しいが、測定された自己の動き(EM)の効果の影響を受けない。この種類の順方向マッピングは、二つの主要な欠点を有する。
は、通常、実数値の移動をコード化するので、データポイント
がグリッド内に存在せず、複雑な内挿が必要となる可能性がある。さらに、ゆがめられた画像におけるそれぞれのポイントは、元の位置および移動の和によってマッピングの対象とされている保証がないので、ゆがめられた画像に穴が生じる。
より柔軟な解決策は、実際の画像

へゆがめるのに逆方向マッピングを使用することである。
データポイントとは、結果として生じる画像
に対する引数としてわたされるので、画像における穴は生じない。実数値移動の問題は、ソース画像における双線形補間によって取り組んでもよい。誤った深さ測定値による偏差を別として、
及び
は、個別の物体の動きに伴うポイントにおいてのみ異なる。それにもかかわらず、激しい体の運動を伴うある状況においては、図4aに示すように、深さ画像Dmにおける穴が、画素ごとにゆがめられた画像においてアーティファクトを生じることがある。これらのアーティファクトは、計算されたオプティカルフロー(OF)の誤差につながり、たとえ、周囲の領域が有効な深さ推定を有していても、周囲の領域に影響を与える。第1スステップにおいて、これらのアーティファクトは、有効な自己の動きフロー(EMF)の推定から得られた適切な仮定を使用して、無効な領域を埋めることによって減少させてもよい。
本発明の一実施形態において、有効な深さ推定から得られた、平均的な自己の動きフロー(EMF)
は、ギャップを埋めるように使用してもよい(図4b参照)。ゆがめられた画像、したがって、オプティカルフロー(OF)の、信頼性が減少することを明らかにするように、無効な深さ領域の近く及び内部で高く、その他で0であるペナルティマップを生成してもよい。
オプティカルフロー(OF)アルゴリズムへ、
及び
をわたすことによって、推定された自己の動きフロー(EMF)を基準として、それぞれのポイントに対して、速度推定
が得られる。該アルゴリズムは、画素ごとの独立したガウスノイズを仮定して、オプティカルフローベクトルに対する信頼度測定を与える、共分散
を計算してもよい。
ゆがみに基づくペナルティを含めるために、ポイント
における複合分散

として計算してもよい。
無効なポイントに対して、
を選択すると、信頼度に基づく分散の影響は無視しうるものである。これは、ゆがめられた画像において、アーティファクトは、特定の領域において構造を増加させ、オプティカルフロー(OF)アルゴリズムの高い信頼度測定に至るので、有益である。
空間的な積分の他に、提案された発明は、以前の推定を考慮することにより、構造化されていない画像領域における動きの信頼性のある計算を反復的に行なう能力を与えることにより、時間にわたる推定も可能とする。フローアルゴリズムの理想的な結果は、動いていない物体に対してゼロであり、そのほかに対して適切な動きを示す、ベクトルフィールドである。しかし、オプティカルフロー(OF)も差異からの深さ測定値も非常にノイズの多い信号なので、物体の適切な動き(OPM)の検出には、さらなるフィルタリングが必要である。
物体の適切な動き(OPM)の検出
前章において、画像フローの計算のための二つのアプローチを導入した。それらは非常に異なった方法を使用するので、異なった特徴を示す。自己の動きフロー(EMF)の計算は、差異と運動学に基づいているので、ポイントが動いていない限り、画像ポイント上で自己の動き(EM)の効果を獲得することができる。対照的に、オプティカルフロー(OF)は、動いているポイントに対しても機能する。相対的なオプティカルフロー(OF)に自己の動きフロー(EMF)を加えることにより、物体の適切な動き(OPM)及び自己の動きフロー(EMF)効果の複合した網膜の運動を示す、総合的なフローが得られる。動いていないポイントに対しては、このフローは自己の動きフロー(EMF)に等しく、動いているポイントに対しては、異なるはずである。この距離の大きさの測定値は、オプティカルフロー(OF)から、物体の適切な動き(OPM)ベクトルを抽出するために、導入し使用してもよい。
この測定値は、推定されたフロー、深さ及び画像についての統計的な仮定から導かれる。したがって、画像aにおけるそれぞれのポイント
に対して何らかの統計的な変数を定義する必要がある。上述の総合的なフローのそれぞれのベクトルは、変数
によって表現され、
は、それぞれのポイント
に対する自己の動きフロー(EMF)ベクトルを記述する。ランダムな変数 I = {Im,In} 及び D = Dm は、観察されたソース画像および深さを規定する。
本アプローチの主要なアイディアは、対応するポイントが静的であると仮定して、自己の動きフロー(EMF)及び複合的なオプティカルフロー(OF)から同じ速度viを測定する確率を推定することである。すなわち、あるポイントが動いていなければ、
によって記述される速度は、
とそれほど異なるはずはなく、両方の方法から何らかの同一の速度viを測定する尤度は高い。対照的に、動いているポイントは、
及び
の結果が異なるので、両方の方法から同一の速度viを測定する尤度は非常に低い。結論として、高い、結合確率
は、静的なポイントを示し、低い確率は動いているポイントを示す。
の従属性についての仮定を考慮すると、この結合分布は、以下のように分解することができる。
ソース画像および深さについて、仮定はされていないので、対応する変数は一様に分布しており、したがって、分布に影響を与えない。自己の動きフロー(EMF)及びオプティカルフロー(OF)に対する予め計算された結果を使用して、条件付き分布は、平均値および分散を備えたガウス分布
によって以下のように近似することができる。
式(12)の
を加えることは、画像をゆがめることを説明し、
は、自己の動きフロー(EMF)を基準としたフローを符号化し、
及び
の和は、フローを絶対値のフローとし、自己の動きフロー(EMF)との比較を可能とする。この近似により、結合分布は、2個のガウス分布の積に比例し、以下のように定義される。
ここで
この手順は、それぞれの時間ステップに対して同一であるので、時間のインデクスは、便宜上省いている。
この積を視覚化したものを図5に示す。結果としての分布の平均値
は、両方のアルゴリズム、自己の動きフロー(EMF)及びオプティカルフロー(OF)によって測定される、最ももっともらしい同一の速度と解釈することができる。共通の速度の仮定に最もよく適合する値を見つけることは常に可能であるが、因子Lは、計算された変位及び分散に照らして、
が、実際にどの程度適合するかを記述する基準である。物体の適切な動き(OPM)を評価するために、ベクトル
の値よりも、そのようなベクトルが生じうるかどうかに関心がある。したがって、オプティカルフロー(OF)推定の拒絶は、この値Lを基礎としてもよく、Lに対数を適用することにより、さらに単純化することができる。
すなわち、光学的に測定された速度を物体の適切な動き(OPM)として分類するかどうかの決定は、自己の動きフロー(EMF)及びオプティカルフロー(OF)の分散によってスケールを決められた、その速度の絶対値に基づく。
をマハラノビス・ノルム
と定義して、大きなマハラノビス・ノルムは、動いているポイントを示し、したがって、オプティカルフロー(OF)の計算を信頼することができる。正式には、このことは以下のように表現することができる。
後続の処理段階において、信頼のおける測定可能な、物体の適切な動き(OPM)が生じる、視覚入力の領域を抽出するのに、
を使用してもよい。
結論
本発明は、動いているプラットフォームから物体の適切な動き(OPM)を知覚することができる方法及びシステムを提供する。オプティカルフロー(OF)の計算に先立ち自己の動きフロー(EMF)を補償することを含む、ステップごとの運動の推定が、ロボットの安定した自己の動き(EM)に対するシステムのロバスト性のための中心的な態様と考えられる。深さ及びフロー推定におけるノイズに対するロバスト性は、サイズ及び信頼性に基づいて速度を無視する、確率的な拒絶メカニズムの結果である。
本方法及びシステムによって計算された、物体の適切な動きは、視覚的な注意をひきつけること及びリアルタイムの物体との相互作用に使用することができる。より詳細には、自律的なロボットまたは自動車は、本発明によって定められた、物体の適切な動きを使用して、たとえば、自身の運動を制御し、動いている物体を、検出体の視野の中心に維持することによって、その動いている物体を追跡するなど、制御することができる。

Claims (9)

  1. 実世界の物体の固有運動を検出する検出方法であって、
    画像捕捉装置(ICD)によって、第1の時点(t1)において物体の第1の画像(I1)を獲得し、第2の時点(t2)において物体の第2の画像(I2)を獲得するステップと、
    前記第1及び第2の時点(t1,t2)の間の前記画像捕捉装置(ICD)の運動を計算して、前記第1の画像(I1)のポイントが前記第2の画像(I2)においてどのように変位するかを表わす自己運動フロー(EMF)を決定するステップと、
    前記自己運動フロー(EMF)により前記第1の画像(I1)を変形して第3の(仮想)画像(I3)を得るステップと、
    前記第2の画像(I2)と前記第3の画像(I3)との間のオプティカルフロー(OF)を定めるステップと、
    前記自己運動フロー(EMF)と前記オプティカルフロー(OF)とを合成して、物体の固有運動(OPM)を示す総合フローを得るステップと、
    前記総合フローと前記自己運動フロー(EMF)とが同一の物理的速度を示す尤度に基づいて、前記オプティカルフローの信頼性を評価することにより、物体の固有運動を決定するステップと、
    を含む検出方法。
  2. 実世界の物体の固有運動を検出する検出方法であって、
    画像捕捉装置(ICD)によって、第1の時点(t1)において物体の第1の画像(I1)を獲得し、第2の時点(t2)において物体の第2の画像(I2)を獲得するステップと、
    前記第1及び第2の時点(t1,t2)の間の前記画像捕捉装置(ICD)の運動を計算して、前記第1の画像(I1)のポイントが前記第2の画像(I2)においてどのように変位するかを表わす自己運動フロー(EMF)を決定するステップと、
    前記自己運動フロー(EMF)により前記第2の画像(I2)を変形して第3の(仮想)画像(I3)を得るステップと、
    前記第1の画像(I1)と前記第3の画像(I3)との間のオプティカルフロー(OF)を定めるステップと、
    前記自己運動フロー(EMF)と前記オプティカルフロー(OF)とを合成して、物体の固有運動(OPM)を示す総合フローを得るステップと、
    前記総合フローと前記自己運動フロー(EMF)とが同一の物理的速度を示す尤度に基づいて、前記オプティカルフローの信頼性を評価することにより、物体の固有運動を決定するステップと、
    を含む検出方法。
  3. 前記自己運動フロー(EMF)は、第1の画像(I1)の画素について推定された深さ情報に基づいて決定される前記第1の画像(I1)のポイントの三次元位置に基づいている請求項1または2に記載の検出方法。
  4. 第1の画像(I1)についての深さ情報が、両眼視差に基づいて推定される請求項に記載の検出方法。
  5. 無効な推定された深さが、有効な推定された深さから得られた深さモデルによって置き換えられる請求項に記載の検出方法。
  6. 請求項1からのいずれかに記載の検出方法を使用して可動性の自律的な移動体を制御する方法。
  7. 可動性の自律的な移動体が自律的なロボットである請求項に記載の方法。
  8. 物体の固有運動を検出するシステムであって、
    画像捕捉装置(ICD)によって、第1の時点(t1)において物体の第1の画像(I1)を獲得し、第2の時点(t2)において物体の第2の画像(I2)を獲得する手段と、
    前記第1及び第2の時点(t1,t2)の間の前記画像捕捉装置(ICD)の運動を計算して、前記第1の画像(I1)のポイントが前記第2の画像(I2)においてどのように変位するかを表わす自己運動フロー(EMF)を決定する手段と、
    前記自己運動フロー(EMF)により前記第1の画像(I1)を変形して第3の(仮想)画像(I3)を得る手段と、
    前記第2の画像(I2)と前記第3の画像(I3)との間のオプティカルフロー(OF)を定める手段と、
    前記自己運動フロー(EMF)と前記オプティカルフロー(OF)とを合成して、物体の固有運動(OPM)を示す総合フローを得る手段と、
    前記総合フローと前記自己運動フロー(EMF)とが同一の物理的速度を示す尤度に基づいて、前記オプティカルフローの信頼性を評価することにより、物体の固有運動を決定する手段と、
    を含むシステム。
  9. 物体の固有運動を検出するシステムであって、
    画像捕捉装置(ICD)によって、第1の時点(t1)において物体の第1の画像(I1)を獲得し、第2の時点(t2)において物体の第2の画像(I2)を獲得する手段と、
    前記第1及び第2の時点(t1,t2)の間の前記画像捕捉装置(ICD)の運動を計算して、前記第1の画像(I1)のポイントが前記第2の画像(I2)においてどのように変位するかを表わす自己運動フロー(EMF)を決定する手段と、
    前記自己運動フロー(EMF)により前記第2の画像(I2)を変形して第3の(仮想)画像(I3)を得る手段と、
    前記第1の画像(I1)と前記第3の画像(I3)との間のオプティカルフロー(OF)を定める手段と、
    前記自己運動フロー(EMF)と前記オプティカルフロー(OF)とを合成して、物体の固有運動(OPM)を示す総合フローを得る手段と、
    前記総合フローと前記自己運動フロー(EMF)とが同一の物理的速度を示す尤度に基づいて、前記オプティカルフローの信頼性を評価することにより、物体の固有運動を決定する手段と、
    を含むシステム。
JP2010519390A 2007-08-22 2008-08-21 オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法 Active JP4967062B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07114793.8 2007-08-22
EP07114793 2007-08-22
PCT/EP2008/006896 WO2009024349A1 (en) 2007-08-22 2008-08-21 Estimating objects proper motion using optical flow, kinematics and depth information

Publications (2)

Publication Number Publication Date
JP2010535385A JP2010535385A (ja) 2010-11-18
JP4967062B2 true JP4967062B2 (ja) 2012-07-04

Family

ID=40254410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010519390A Active JP4967062B2 (ja) 2007-08-22 2008-08-21 オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法

Country Status (6)

Country Link
US (1) US8422741B2 (ja)
EP (1) EP2179398B1 (ja)
JP (1) JP4967062B2 (ja)
AT (1) AT500570T (ja)
DE (1) DE602008005318D1 (ja)
WO (1) WO2009024349A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US20100246899A1 (en) * 2009-03-26 2010-09-30 Rifai Khalid El Method and Apparatus for Dynamic Estimation of Feature Depth Using Calibrated Moving Camera
BRPI1007100A2 (pt) 2009-04-29 2016-03-01 Koninkl Philips Electronics Nv método cirúrgico endoscópico e sistema cirúrgico minimamente invasivo
EP2256690B1 (en) * 2009-05-29 2016-08-17 Honda Research Institute Europe GmbH Object motion detection system based on combining 3D warping techniques and a proper object motion detection
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
TWI425445B (zh) * 2009-09-29 2014-02-01 Nat Univ Tsing Hua 用於判斷一移動平台之自我運動量的方法以及偵測系統
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
US10776635B2 (en) 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
GB2484133B (en) * 2010-09-30 2013-08-14 Toshiba Res Europ Ltd A video analysis method and system
WO2013006067A1 (en) * 2011-07-04 2013-01-10 Streeter Lee Vincent Motion compensation in range imaging
ES2710191T3 (es) * 2011-10-14 2019-04-23 Ecole Polytechnique Fed Lausanne Epfl Nanoscale motion detector
DE102012025463A1 (de) * 2012-12-28 2014-07-03 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP2757527B1 (en) * 2013-01-16 2018-12-12 Honda Research Institute Europe GmbH System and method for distorted camera image correction
DE102014202639A1 (de) 2013-02-15 2014-08-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs
CN103745458B (zh) * 2013-12-26 2015-07-29 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
TWI572846B (zh) * 2015-09-18 2017-03-01 國立交通大學 全景影像三維深度估測系統及全景影像三維深度估測方法
US9794588B2 (en) 2015-09-30 2017-10-17 Sony Corporation Image processing system with optical flow recovery mechanism and method of operation thereof
KR20170064652A (ko) 2015-12-02 2017-06-12 에스케이하이닉스 주식회사 에고모션 추정 시스템 및 방법
US9902071B2 (en) 2015-12-18 2018-02-27 General Electric Company Control system and method for brake bleeding
CN107305635A (zh) * 2016-04-15 2017-10-31 株式会社理光 对象识别方法、对象识别装置和分类器训练方法
US10419669B2 (en) * 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
US20180293735A1 (en) * 2017-04-11 2018-10-11 Sony Corporation Optical flow and sensor input based background subtraction in video content
US10262224B1 (en) 2017-07-19 2019-04-16 The United States Of America As Represented By Secretary Of The Navy Optical flow estimation using a neural network and egomotion optimization
KR20200037502A (ko) * 2018-10-01 2020-04-09 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
EP3809687A1 (en) * 2019-10-15 2021-04-21 Rohde & Schwarz GmbH & Co. KG Method and system for real time video stabilization

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2003515827A (ja) * 1999-11-26 2003-05-07 モービルアイ インク 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法
US20060020562A1 (en) * 2004-07-21 2006-01-26 University Of Southern Mississippi Apparatus and method for estimating optical flow
JP4539291B2 (ja) * 2004-10-29 2010-09-08 ソニー株式会社 ロボット装置及びその動作制御方法
US7894528B2 (en) * 2005-05-25 2011-02-22 Yissum Research Development Company Of The Hebrew University Of Jerusalem Fast and robust motion computations using direct methods
JP2007066094A (ja) * 2005-08-31 2007-03-15 Matsushita Electric Ind Co Ltd 姿勢推定装置および姿勢推定方法
JP4676373B2 (ja) * 2006-04-27 2011-04-27 株式会社デンソー 周辺認識装置、周辺認識方法、プログラム
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US20080319664A1 (en) * 2007-06-25 2008-12-25 Tidex Systems Ltd. Navigation aid

Also Published As

Publication number Publication date
EP2179398B1 (en) 2011-03-02
WO2009024349A1 (en) 2009-02-26
JP2010535385A (ja) 2010-11-18
US20110243390A1 (en) 2011-10-06
AT500570T (de) 2011-03-15
US8422741B2 (en) 2013-04-16
EP2179398A1 (en) 2010-04-28
DE602008005318D1 (de) 2011-04-14

Similar Documents

Publication Publication Date Title
US10670404B2 (en) Extended kalman filter for 3D localization and vision-aided inertial navigation
EP2959315B1 (en) Generation of 3d models of an environment
Levinson et al. Automatic Online Calibration of Cameras and Lasers.
JP5991952B2 (ja) 周囲状況に対するカメラの姿勢を求めるための方法
US10260862B2 (en) Pose estimation using sensors
US10444363B2 (en) System and method for off angle three-dimensional face standardization for robust performance
US7446766B2 (en) Multidimensional evidence grids and system and methods for applying same
JP5539680B2 (ja) 線形特徴を用いた対象追跡
Kitt et al. Monocular visual odometry using a planar road model to solve scale ambiguity
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
Wang et al. Simultaneous localization, mapping and moving object tracking
US9071829B2 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
Brand et al. Stereo-vision based obstacle mapping for indoor/outdoor SLAM
Lovegrove et al. Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras.
Kale et al. Moving object tracking using optical flow and motion vector estimation
CN102472609B (zh) 位置和姿势校准方法及设备
Assa et al. A robust vision-based sensor fusion approach for real-time pose estimation
US7747348B2 (en) Method and apparatus for using rotational movement amount of mobile device and computer-readable recording medium for storing computer program
JP2019536012A (ja) 可変コントラスト追跡残余を用いる視覚慣性ナビゲーション
US9864927B2 (en) Method of detecting structural parts of a scene
US5777690A (en) Device and method for detection of moving obstacles
Milella et al. Stereo-based ego-motion estimation using pixel tracking and iterative closest point
CN102914293B (zh) 信息处理设备和信息处理方法
JP4672175B2 (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
KR102016551B1 (ko) 위치 추정 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111205

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4967062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250