JP4943034B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、車両に取り付けられたカメラにより捕捉された画像を用いて、車両周辺物の３次元座標を取得するステレオ画像処理装置に係わり、特に１台のカメラで得られた画像から自車両の運動量および周辺物の３次元座標を計算するに好適なステレオ画像処理装置に関する。

従来から、車両にカメラを搭載し、車両前方や後方の画像を撮影し、車両周辺の環境を３次元的に認識するシステムが開発されている。カメラで３次元座標(距離)を測定する方法としては、２台以上のカメラを利用するステレオ視(以後、複眼ステレオとする)が一般的であるが、１台のカメラでも、時間的にずれた別視点から撮影された複数枚の画像を利用することによりステレオ視が実現できる。これは一般に、単眼ステレオ、モーションステレオ、SfM(Structure
from Motion)などと呼ばれる。単眼ステレオを実現するには、空間的に移動したカメラ間の幾何学的位置関係(移動距離および回転)が必要となる。複眼ステレオの場合、カメラ間の位置関係は事前にキャリブレーションをしておけば済むが、単眼ステレオの場合、カメラ間の位置関係(カメラ移動量、エゴモーション)は毎回異なるため、そのつど計算する必要がある。

カメラの移動量を計算する方法としては、例えば、車輪の回転を検出する車載センサから出力される車輪速パルス情報を利用して、カメラを搭載した自車量の移動量を計算して求める装置が知られている（例えば、特許文献１参照）。また、路面に属する対応点の移動状態を示すフローを利用して、カメラを搭載した自車量の移動量を計算する方法も知られている（例えば、非特許文献１参照）。

また、フローを利用せずに計算する手法も知られている（例えば、非特許文献２参照）。また、同平面に属する４個の対応点を利用してホモグラフィー行列を利用する手法も知られている（例えば、特許文献２参照）。また、８個以上の対応点から基礎行列Ｆを求め、カメラ間の幾何学的位置関係を計算する方法も知られている（例えば、非特許文献３及び非特許文献４参照）。

更に、誤フロー(アウトライア)の影響を排除し推定精度を向上させるために、RANSAC(RANdam SAmple Consensus)と呼ばれる手法を利用することも知られている（例えば、非特許文献５参照）。これは、例えば図１１に示すように、全体のフローから8点(あるいは8点以上)をランダムに選択し基礎行列Fを計算することをＮ回繰り返し（図１１のステップＳＳ１からＳＳ５）、得られた複数個のＦの中から最善と思われるものを選択する（図１１のステップＳＳ６）手法（あるいは、ある評価量が事前に設定したしきい値以下になるまで繰り返し演算する手法）である。

特開２００１−１８７５５３公報 特開２００４−１９８２１１公報

T.Suzuki(Toyota),T.Kanade,'Measurement of Vehicle Motion and Orientation using Optical Flow', IEEEconference on ITS, 1999 GideonP.Stein(MobileEye) et al, 'A Robust Method for Computing Vehicle Ego-motion' 金谷健一, '画像理解-３次元認識の数理-',森北出版, ISBN4-627-82140-9 徐剛,'写真から作る３次元CG', 近代科学社, ISBN4-7649-0286-9 山口(豊田中研)他、‘車載単眼カメラによる前方車両の障害物検出’、情報処理学会研究報告、2005.11

図１２は、従来における、基礎行列Ｆの求め方を示す処理の一例を示す図。

しかし、車載センサを利用して、カメラの移動量を計算する方法では、信号誤差の蓄積により計算される移動量が不正確なものとなりやすく、また、計算された移動量とカメラ画像との同期が取りにくい、更に、車載センサでは垂直方向(ピッチ等)の回転量の検出が困難などの問題がある。

路面に属する対応点の移動状態を示すフローを利用する方法では、そもそもどこが路面(平面)かの判定が難しい、という問題がある。

更に、基礎行列を用いた手法では、路面や平面の仮定を用いる必要がない利点があるが、１部の対応点に大きな誤差が存在する場合、動物体に属するフローが含まれる場合などに精度が大きく劣化する欠点がある。

そこで、図１２に示すような誤対応点にロバストなRANSACのような手法を用いる場合、誤対応点を排除するための評価量としてエピポーラ誤差を求めることが一般的である。しかし、エピポーラ誤差の計算量は、対応点の数に比例して大きくなる傾向があり、しかも、図１２からも分かるように、最良の行列Ｆを選択するために、エピポール誤差の計算を、対応点をランダムに選択する度に行う必要があり（図１２のステップＳＳ５参照）、合計Ｎ回もの膨大な量の計算を行うこととなる。これでは、車載用の小形のＣＰＵでは、その演算能力に問題が生じ、現実的ではない。

本発明は、上記した事情に鑑み、誤対応(アウトライア)にロバストで、かつ演算負荷が軽い形で自車の運動量を推定することの出来るステレオ画像処理装置を提供することを目的とするものである。

自車運動量の推定に、基礎行列Ｆを用いる手法を使う。誤対応へのロバスト性を向上させるために、RANSACを用いて仮の基礎行列を推定する第１基礎行列推定手段（６）と、第１基礎行列推定手段（６）で得られた仮基礎行列（Ｆ）を利用して誤対応点を除去する誤対応除去手段（７）と、誤対応除去手段（７）で誤対応点が除去された対応点を全て用いて高精度な基礎行列（Ｆ）を推定する第２の基礎行列推定手段（９）を備える。

また第１の基礎行列推定手段（６）では、演算負荷の高いエピポーラ誤差計算を行う代わりに、自車両の仮の自車運動量の推定値を用いて仮の基礎行列（Ｆ）を推定する、より負荷の軽い手法を用いる。

さらに、車輪速センサ等の自車運動量センシング手段（１１）からの情報を利用し仮の自車運動量が得られれば、第１基礎行列推定手段（６）の演算量が大きく削減ができる。

また、直前の時刻に得られた自車運動量の演算に基づいた基礎行列（Ｆ）を、現時刻の仮の基礎行列（Ｆ）としてもよい。

基礎行列（Ｆ）の推定を、第１基礎行列推定手段（６）と第２基礎行列推定手段（９）の２段階化することで、誤対応にロバストな構成となる。

また第１基礎行列推定手段（６）で、複数の基礎行列中から１つを選択する際の評価量として、通常利用されるエピポーラ誤差値の代わりに仮の自車運動量を用いた場合には、演算量を大きく削減することができ、車載用に適したステレオ画像処理の提供が可能となる。

また、仮の基礎行列Ｆを推定する際に、自車運動量センシング手段（１１）などからの車輪速センサ情報などを利用したり、前時刻に得られた基礎行列（Ｆ）を利用した場合には、第１基礎行列推定手段（６）の演算負荷が限りなく0になるため、さらに全体の演算量を大きく削減できる。

なお、括弧内の番号等は、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。

以下、図面に基づき、本発明の実施例を説明する。

図１は、ステレオ画像処理装置の一例を示すブロック図、図２は、ステレオ画像処理装置の別の例を示すブロック図、図３は、ステレオ画像処理装置の更に別の例を示すブロック図、図４は、自車運動量推定部での処理の一例を示すフローチャート、図５は、自車の並進移動量と回転移動量の座標上の関係を示す図、図６は、基礎行列推定の際の、演算された並進移動量とヨー回転角度を２次元座標上に表示した状態を示す模式図、図７は、図６の投票結果から作成される距離行列の模式図、図８は、図７の距離行列から仮の基礎行列を決定するための処理を示すフローチャートの一例、図９は、図８の処理の結果、最終的に求められた行列を示す模式図、図１０は、図６と同様の処理を、並進移動量とヨー回転角度を格子上に区切られた２次元座標上に投票することで行う場合の一例を示す図、図１１は、車両に取り付けられたカメラにより取得される画像の一例及びそれらから生成されたフローを示す図である。

車載用のステレオ画像処理装置１は、図１に示すように、車両に固定的に搭載された一台のカメラ２を有しており、該カメラ２には対応点推定部３が接続している。対応点推定部３には、自車運動量推定部５が接続しており、自車運動量推定部５は、対応点推定部３に接続された第１基礎行列推定部６、誤対応点除去部７及び第２基礎行列推定部９を有している。第２基礎行列推定部９には、３次元座標推定部１０が接続している。なお、図１のカメラ２以外の、対応点推定部３，自車運動量推定部５及び３次元座標推定部１０は、ＣＰＵを有するコンピュータが、例えば図４に示す処理のフローチャートに基づいて作成されたプログラムを実行することにより、仮想的に実現される機能を模式的に表示したものであるが、各部を半導体などの集積回路を用いたハードウエアとして構成しても良い。

ステレオ画像処理装置１は、以上のような構成を有するので、１台のカメラ２で捕捉した画像から、当該画像に捕捉された物標などの対象物の３次元座標を演算推定するには、まず、カメラ２を用いて、時々刻々変化する車両周辺の状況を撮影する。カメラ２により捕捉された画像は所定のフレームレート(単位時間あたりに撮影する枚数)で記録され、図示しないメモリに格納される。

例えば車両前方に取り付けられたカメラで、一定時刻ごとに車両周辺の画像を撮影取得する（図１１）。

次に、図４に示すステップＳ０に示すように、対応点推定部３は、公知の手法を用いて前記カメラで得られた撮影（取得）時刻の異なる２枚の画像を比較して、両方の画像で共通に表示されていると判断される点（画像の一部）を特徴点（任意の点で可）として多数抽出し、それらの特徴点を異なる画像間で互いに対応付けて両画像間の対応点と推定する処理からなる、対応点の推定処理を行う。これは一般的にオプティカルフロー推定(あるいは単にフロー推定)と呼ばれるものであり、KLT(Kanade Lucas-Tomashi)法がよく利用される。フローの例を、図１１に示す。図１１からも明らかであるが、フローは１時刻前の画像と現時刻における画像間で、特徴点が移動した軌跡である。

次に、第１基礎行列推定部６は、後の第２基礎行列推定部９で使用するための、仮の基礎行列Ｆを推定する処理を、図４に示すステップＳ１からＳ８において行う。ここでは、負荷の軽い基礎行列演算を繰り返し実施し、得られた複数の基礎行列Ｆの中から最も適当な基礎行列を仮基礎行列Ｆとして選択する。以下に処理の内容を説明する。

図４のステップＳ１に基づいて、自車運動量推定部５の第１基礎行列推定部６は、対応点推定部３により推定された多数(通常数百以上)ある対応点の中から、ランダムに８点を選択抽出する。ここで、第１の画像における点

と画像２における点

が対応しているとする。ここで上付きのTは転置、u(u’)は画像のx座標、v(v’)はy座標を表す (座標値は、演算精度を高めるために後ほど正規化される)。3番目の要素の1は、計算の便宜上ここに入っている。選ばれた対応が正しい場合、（１）式を満たす(実際は量子化誤差、ノイズ等のために右辺はかならずしも０にはならない)。

ここで、Ｆは基礎行列と呼ばれる。次に、第１基礎行列推定部６は、図４のステップ２に入り、（１）式を、（２）式に示すような連立一次方程式に変形する。

第１基礎行列推定部６は、図４のステップ３に入り、（２）式の連立１次方程式を解いてfを求め、ランダムに選択抽出された８個の対応点についての基礎行列Ｆを推定する。ただし数値演算の誤差を減らすために、座標値の正規化を行った後に解く(この正規化は最後に戻す必要がある)。正規化についての詳細は前述した非特許文献４に記載された公知の技術なので、ここではその詳細な説明は省略する。

未知パラメータ９個に対し方程式が８個なので、未知パラメータの比のみ求まる。ここでは、||f||=1などの拘束を加えて解く。||・||はベクトル・のノルムを表す。

基礎行列が求まった後、第１基礎行列推定部６は、図４のステップ４に入り、通常は、求められた基礎行列Ｆのランクを２に補正する処理を行う。これは、基礎行列Ｆはランク2の拘束があるが、上記で得られた基礎行列は一般にそれを満たさないためである。

前述したように、ランダムに８個の対応点を選択し、連立１次方程式を解いて基礎行列Ｆを推定するまでを１セットとし、これを複数回(ここではN回とする)繰り返す。これは一般にRANSACと呼ばれる。そして複数個得られた基礎行列Ｆの中から最も適当なものを選択する。選択方法としては、一般的には、エピポーラ誤差を各対応点について計算し、その総和が最小のものを選択する手法などが利用される。しかし、このエピポーラ誤差の計算は、既に説明したように全ての対応点について計算する必要があるため、演算負荷は対応点数に比例して大きくなる。そこで、本発明では、対応点数に依存しない負荷の軽い手法を用いて、最良の基礎行列Ｆを選択する処理を実行する。

即ち、本発明では、エピポーラ誤差を計算する代わりに、毎回、基礎行列Ｆから、当該基礎行列Ｆを求める基礎となった２枚の画像が取得された間に生じたカメラ２の運動量（従って、自車の運動量、これを、以後、「仮の自車運動量」と称する）の推定値、並進移動量・回転量の推定値（これを、以後、「仮の並進移動量・回転量」と称する）を求める(図４のステップＳ５からＳ８)処理を行う。この仮の並進移動量・回転量の成分を求める演算量は、エピポーラ誤差の演算量に比較してずっと少なく、また対応点数に関係なく１回の演算で済む利点がある。

基礎行列Ｆから、仮の並進移動量・回転量を求める方法について、以下に簡単に説明しておく。

即ち、仮の並進移動量を、
t=[Tx,Ty,Tz]T、
仮の回転量を、

とする。

Tx,Ty,TzはそれぞれX,Y,Z軸方向の仮の並進移動量、θ、ψ、φはぞれぞれ、ヨー回転
(Y軸周りの回転)角度[rad]、ピッチ回転(X軸周りの回転)角度[rad]、ロール回転(Z軸周りの回転)角度[rad]である(図５参照)。図５において、軸及び回転の向きは仮のものであり、任意の構成が可能である。

まず、図４のステップ５に基づいて、第１基礎行列推定部６は、（３）式の計算により基本行列Ｅを推定する。ここでＡはカメラ内部行列と呼ばれる3×3の行列で、カメラの焦点距離、画角、光軸点などの情報から得られる。カメラ内部行列に関する詳細については、非特許文献５などに記載された公知の事項なので、ここではその説明を省略する。

ここで得られた基本行列Ｅと仮の並進移動量tの間には（４）式で表す関係がある。

Rは回転行列と呼ばれる3×3の行列である。式(4)中の×は外積演算で、ベクトルの外積は（５）式のように表される。

ここで、図４のステップ６に示すように、仮の並進移動量tは、EE^Tの最小固有値に対応する固有ベクトルとして求まるので、特異値分解等の手法を利用してこれを求める。

次に、（６）式を計算する。

ここでei(i=1,2,3)は基礎行列Eのi列目のベクトルであり、

である。

次に、図４のステップＳ７に入り、行列Ｋを（７）式のように分解(特異値分解)する。ここで、U、VとDはそれぞれ3×3の行列である。

すると、回転行列Ｒは（８）式の計算で求めることができる。

回転行列Ｒの各要素(r11,..,r33)とヨー回転角θ、ピッチ回転角ψの間には（９）式の関係がある（ここでは簡単のため、ロール角φは０としている）。

これから、第１基礎行列推定部６は、図４のステップＳ８で、仮のヨー回転角θ及び仮のピッチ回転角ψを（１０）式から求める。

atan2(y,x) 関数はy / x
の逆正接を計算する。なお、行列Ｒの符号は、ヨー回転角θ、ピッチ回転角ψは±９０度以上にはならない、という仮定を利用して(車両はカメラ２の１ピクチャーフレーム間にそれほど大きくは回転しない)、事前にr11が正の値を取るように補正しておく。

また、ここで得られる仮の並進移動量tは大きさが1に正規化されているものとする(sqrt(Tx^2+Ty^2+Tz^2)=1)。なお、以上示した、基礎行列から仮の並進移動量・回転量を求める方法は１例であり、他の手法を用いても構わない。

ステップＳ１からステップＳ８をＮ回繰り返した後、第１基礎行列推定部６は、図４のステップＳ９に入り、こうして得られたN組の仮の自車運動量、例えば仮の並進移動量tと仮の回転量rの中から最も確からしい仮の自車運動量、例えば仮の並進移動量tと仮の回転量rを有する（最良）の基礎行列Ｆを選択し、その選ばれた基礎行列Ｆを仮の基礎行列として、次のステップに渡す。以下に、具体的な方法を記す。

即ち、第１基礎行列推定部６は、ステップＳ６及びＳ７で得られたＮ組の仮の並進移動量tと回転量rのうち、例えば前進成分Tzとヨー回転成分θを取り出し、その結果を２次元座標上に置く。すると、図６に示すように、確からしい(Tz,θ)の組み合わせ付近に答えが集中する。

次に、答えが集中している箇所から１つ値を選択する。具体的な手法例のフローチャートを図８に示す。まず図７に示すような、距離行列ＤＭを作成する。これは、行列中の各要素が、各点間の距離を持つN×N行列である。例えばA行B列には点Aと点Bとの距離|AB|が入る。例えば、|AB|=sqrt(α(Tz(A)-Tz(B))^2+(1-α)(θ(A)-θ(B))^2)などとする。Tz(A)、θ (A)はそれぞれ点AにおけるTzおよびθの値を表す。なお|BA|=|AB|である。ここでαは適当な定数であり、Sqrtは平方根を表す。

次に、距離行列ＤＭの各行の総和を求める。

次に、総和が一番大きい行に対応する点を除去する。仮に点Bに対応する行の総和が最大値を取る場合、点Bを除去する。すると、距離行列のサイズは(N-1)×(N-1)となる。上記処理により、他の点から孤立しているような点から順次取り除く。また、上記比較する値は、行の総和の代わりに、中央値のような別の評価値を利用しても構わない。

上記の処理を、図９に示すように、距離行列ＤＭのサイズが2×2になるまで繰り返す。

そして最後に残っている２点のうちどちらかを選択し、その並進・回転成分の導出に用いた基礎行列Ｆを、仮の基礎行列Ｆとして、図４の次ステップＳ１０に入る。あるいは、最後に残った２点に対応する基礎行列の平均値を仮の基礎行列としてもよい。

なお、図６〜図９のような処理を行う代わりに、得られた仮の並進移動量tと回転量rのうち、例えば前進成分Tzとヨー回転成分θを取り出し、図１０に示すように、予め格子状に区切られている２次元座標上に投票するようにしてもよい。投票結果の様子を図１０に示す(黒い方が投票値が大きい)。そして、投票数が一番大きい格子に属する中から適当に抽出し、対応する基礎行列を仮の基礎行列Ｆとする。あるいは、格子に含まれる仮の並進・回転成分に対応する全ての基礎行列の平均値を仮の基礎行列Ｆとしてもよい。

なお、自車運動量として前進成分Tzとヨー回転成分θの代わりに、別の組み合わせ(例えばTxとψ)、あるいはより多くの組み合わせ(例えばTzとθとψ)を利用しても構わない。また、並進・回転成分の代わりに、基礎行列Ｆから求まるFOE座標値を用いて同様の処理を行ってもよい。

こうして、第１基礎行列推定部６により、仮の基礎行列Ｆが求められたところで、対応点除去部７は、図４のステップＳ１０に基づいて、
エピポール誤差の計算を行う。

図４のステップＳ１０において、対応点除去部７は、得られた仮の基礎行列Ｆと対応点推定部３で推定された対応点を用い、（１１）及び（１２）式のエピポール誤差error[i](iは対応点番号)を各対応点について計算する。ｄ^２()は「各点とその対応するエピポーラ線との間のユークリッド距離の二乗」を表しており、一般的に利用されている評価量である。詳細は非特許文献５などに譲る。

次に、対応点除去部７は、図４のステップＳ１１に入り、得られたエピポーラ誤差値error[i]を小さい順にソートする。そして、あらかじめ設定しておいたしきい値Threshより大きい誤差値をもつ対応点を、誤対応点として除去する。あらかじめしきい値Threshを設定しておくことが困難な場合は、例えば、上記誤差全体の中央値Med_Erを計算し、Med_Er×C(Cは適当な定数)以上の誤差値を持つ対応点を誤対応点として除去するようにしてもよい。

こうして、誤対応点除去７で、誤対応点が除去された対応点のフローについて、第２基礎行列推定部９では、図４のステップＳ１２に入り、誤差対応点が除去された残りの全ての対応点についてのフローを用いて、より精度の高い基礎行列Ｆを推定する。例えば、最小二乗法を利用する場合、（１３）式を満たすfを求める。

を最小とするfは、

の最小固有値に対応する固有ベクトルであるので、特異値分解などの手法を用いてこれを求める。

次に、第２基礎行列推定部９は、図４のステップＳ１２からＳ１７で、得られた基礎行列Ｆから、公知の手法で自車運動量、（自車の並進移動量及び回転量）の推定値を求める。例えば、先に示した手法(図４のステップＳ５〜ステップＳ８)を用いる場合は、並進移動量tの大きさの絶対量は別途求める必要がある。大きさの絶対量の推定法としては、路面に属する特徴点とカメラの設置パラメータ(カメラ高、カメラ俯角など)を利用して求める方法、車速情報を利用する方法などが考えられる。
以上で、自車運動量推定が終了する。

次に３次元座標推定部１０では、図４のステップＳ１８に入り、得られた自車運動量の推定値と誤対応点の除去された対応点を利用して、特徴点の３次元座標を推定する。これらの手法は公知のものなので、ここではその詳細な説明は省略する。

基礎行列の推定を、多数の対応点のなかから選択された複数の対応点に基づいて、車両の仮の自車運動量（仮の並進移動量と仮の回転量）を求める処理を複数回行い、それらの結果から、仮の基礎行列Ｆの推定を行う、第１基礎行列推定部６と、仮の基礎行列推定部Ｆに基づいて、全ての対応点についてのエピポール誤差を計算して、誤対応点を除去し、その結果から、より精度の高い基礎行列Ｆを推定する第２基礎行列推定部９というように、基礎行列Ｆの推定手段を２段階に分けることで、誤対応にロバストな構成となる。また第１基礎行列推定部６では、複数の基礎行列Ｆ中から１つを選択する際の評価量として、通常利用されるエピポーラ誤差値の代わりに仮の自車運動量（仮の並進移動量と仮の回転量）を用いることにより、演算量を大きく削減することができ、高速の処理が可能となり、演算能力の限られた車載用のコンピュータ（ＣＰＵ）でも、適正な処理が可能となる。

図２に、ステレオ画像処理装置１の別の例を示す。図２のステレオ画像処理装置１は、図１のステレオ画像処理装置１の、第１基礎行列推定部６に、車輪速センサなどの、車両に装着して自車の運動量を検出することの出来る自車運動量センシング部１１を接続し、カメラ２及び対応点推定部３を、誤対応点除去部７に接続した構成となっている。

車輪速センサ情報などを利用して、自車量の仮の並進移動量t=[Tx,Ty,Tz]T、仮の回転量、

が得られる場合、仮の基礎行列Ｆは（１３）式で直接計算することができ、第１基礎行列推定部６の、Ｎ回に亙る図４におけるステップＳ１からステップＳ８の処理を省略することが可能となる。

inv(・)は行列・の逆行列を求める演算である。ただし、

もし、６つのパラメータ(Tx,Ty,Tz,θ、ψ、φ)の１部の値のみ求まる場合は、その他の値はとりあえず０を入れておく。

これにより第１基礎行列推定部６の演算負荷が大きく削減できる。さらに、第２基礎行列推定部９と併せて利用することで、上記センサから得られた値をそのまま用いるより、より精度の高い仮の自車量運動値（並進移動量・回転量）を得ることができる。

このように、カメラ搭載車両の車輪速センサ情報などを利用できる場合、第１基礎行列推定部６の演算量を大きく削減できる。

図３に、ステレオ画像処理装置１の更に別の例を示す。図３のステレオ画像処理装置１は、図２の自車運動量センシング部１１の変わりに、前時刻の結果を保存するメモリ１２を追加した構成とする。この場合、直前の時刻の第２基礎行列推定部９で得られた基礎行列Ｆを保存しておき、第１基礎行列推定部６は、これを現時点の仮の基礎行列Ｆとして、誤対応点除去部７に出力するようにする。このように、現時刻の仮の基礎行列Ｆは、直前の時点の、第２基礎行列推定部９で推定された基礎行列Ｆをそのまま利用することになる。これにより、仮の基礎行列Ｆを演算推定するための第１基礎行列推定部６の演算負荷はほぼ０になり、装置の演算量を大場に軽減することが出来る。

本発明は、車両に搭載され、１台のカメラを用いてステレオ画像処理を行うステレオ画像処理装置に利用することが出来る。

図１は、ステレオ画像処理装置の一例を示すブロック図。 図２は、ステレオ画像処理装置の別の例を示すブロック図。 図３は、ステレオ画像処理装置の更に別の例を示すブロック図。 図４は、自車運動量推定部での処理の一例を示すフローチャート。 図５は、自車の並進移動量と回転移動量の座標上の関係を示す図。 図６は、基礎行列推定の際の、演算された並進移動量とヨー回転角度を２次元座標上に表示した状態を示す模式図。 図７は、図６の投票結果から作成される距離行列の模式図。 図８は、図７の距離行列から仮の基礎行列を決定するための処理を示すフローチャートの一例。 図９は、図８の処理の結果、最終的に求められた行列を示す模式図。 図１０は、図６と同様の処理を、並進移動量とヨー回転角度を格子上に区切られた２次元座標上に投票することで行う場合の一例を示す図。 図１１は、車両に取り付けられたカメラにより取得される画像の一例及びそれらから生成されたフローを示す図である。 図１２は、従来における、基礎行列Ｆの求め方を示す処理の一例を示す図。

符号の説明

１……ステレオ画像処理装置
２……カメラ
３……対応点推定手段（対応点推定部）
５……第１基礎行列推定手段（第１基礎行列推定部）
７……誤対応点除去手段（誤対応点除去部）
９……第２基礎行列推定手段（第２基礎行列推定部）
１０……３次元座標推定手段（３次元座標推定部）
１１……自車運動量センシング手段（自車運動量センシング部）

Claims (4)

1. 車両に搭載された１台のカメラにより経時的に捕捉された複数の画像を用いて、該車両周辺の３次元座標を推定取得するステレオ画像処理装置において、
   捕捉時刻の異なる２枚の前記画像中で共通に表示されていると判断される特徴点を多数抽出し、それらを互いに対応付けて、両画像間の対応点と推定する処理を実行する対応点推定手段、
   前記捕捉時刻の異なる２枚の前記画像が取得された間に生じた前記カメラの運動量の推定値を前記車両の仮の自車運動量として演算して、該演算された仮の自車運動量の推定値の中から最も確からしい推定値を選択して、当該選択された推定値に対応した基礎行列を仮の基礎行列として演算推定する第１の基礎行列推定手段、
   前記仮の基礎行列から、前記対応点推定手段により多数抽出された前記各対応点について、エピポール誤差を演算することにより、前記多数抽出された対応点から、大きな誤差値を有する対応点を誤対応点として除去する誤対応点除去手段、
   前記誤対応点が除去された前記多数抽出された対応点に基づいて、基礎行列を推定し、当該推定された基礎行列から、前記車両の自車運動量を演算推定する第２の基礎行列推定手段、
   前記推定された車両の自車運動量及び誤対応点が除去された対応点を用いて、前記特徴点の３次元座標を推定する３次元座標推定手段、
   を有するステレオ画像処理装置。
   
2. 前記第１基礎行列推定手段は、
   前記対応点推定手段により推定された多数の対応点の中から、ランダムに８個の対応点を選択抽出する対応点抽出手段、
   前記選択抽出された対応点に対応する基礎行列を推定し、当該求められた基礎行列に対応する仮の自車運動量を推定する仮運動量推定手段、
   前記対応点抽出手段による８個の対応点の抽出をＮ回繰り返し、そのたびに前記仮運動量推定手段により、当該抽出された８個の対応点に対応する仮の自車運動量を推定させる、繰り返し演算手段、
   前記繰り返し演算手段により演算された、Ｎ組の仮の自車運動量に基づいて、最も確からしい前記仮の自車運動量を選択し、当該選択された自車運動量に対応した基礎行列を、仮の基礎行列と演算推定する、仮基礎行列推定手段、
   を有する、請求項１記載のステレオ画像処理装置。
3. 前記車両に装着して自車の運動量を検出することの出来る自車運動量センシング手段を設け、
   前記第１の基礎行列推定手段は、前記自車運動量センシング手段により検出された自車運動量から、前記仮の基礎行列を演算することを特徴とする、請求項１記載のステレオ画像処理装置。
4. 前記第１基礎行列推定手段は、
   直前の時刻の、前記第２の基礎行列推定手段により演算された前記基礎行列を、該第１基礎行列推定手段で演算推定する前記仮の基礎行列として利用する手段を有することを特徴とする、請求項１記載のステレオ画像処理装置。