JP4480083B2 - 物体認識装置 - Google Patents

Description

本発明は、移動体上に取付けられた撮像手段によって取得される、視点が異なる第１画像面と第２画像面との画像を処理して、移動体周辺の物体を認識する物体認識装置に関する。

上述した物体認識装置で用いられる、視点が異なる第１画像面と第２画像面とを所定間隔をあけて平行に左右配置された２台のカメラによって作り出し、それぞれの画像面における対応する物体画像部分のずれ量を算定し、このずれ量から三角測量の原理を用いて、左右のカメラを結ぶ直線から物体までの垂線距離を求める技術が知られている（例えば、特許文献１参照。）。この物体認識技術では、ステレオ画像が得られるように左右のカメラを正確に位置合わせして配置しなければならず、左右のカメラの位置ずれはそのまま物体の位置座標演算の誤差を導く。この物体認識装置を自動車などに搭載する際には、自動車におけるカメラ配置の自由度はそれほど高くないことから、このカメラ取り付け精度の厳密性は厳しい条件となる。

視点が異なる第１画像面と第２画像面とを１台のカメラの移動前後の画面から作り出し、その第１画像面とカメラ移動の補償変換処理を施された第２画像面とにおける対応する物体画像部分のずれ量を算定し、このずれ量から三角測量の原理を用いて、左右のカメラを結ぶ直線から物体までの垂線距離を求める技術が知られている（例えば、特許文献２参照。）。この物体認識技術では、１台のカメラの移動前後の画像面を用いるのでカメラの取り付け精度はあまり要求されない。しかしながら、物体の位置座標を求めるために、第１画像面と第２画像面とにおける物体画像部分のずれ量から物体の位置座標を算定してその物体を復元しているので、物体の曲面部の構造を復元できないという問題がある。なお、この問題は特許文献１による技術においても同様に生じる。

コンピュータビジョンと呼ばれている技術分野において知られている、異なる視点から得られた２つの画像において対応する点の変換行列としての基礎行列(fundamental matrix:Ｆ行列とも呼ばれる)を求める際、まずＮ組の対応点からランダムに８組の対応点を取り出し、取り出した８組の対応点を用いて求めたF行列を用いて、第１画像面における対応点に対する第２画像面上のエピポーラ線を計算し、次に第２画像面における対応点とこのエピポーラ線との距離ｄを求め、距離ｄがある閾値以下となる対応点の組の計数値を求める一連の処理を、ランダムに８組の対応点を取り出しながらある一定回数繰り返し、計数値が最大となるF行列を最終的なF行列とする手法が知られている（例えば、非特許文献１参照。）。この手法では、F行列を求めるために８組以上の対応点を必要とするため、特に自動車などの移動体における物体認識装置に適用する場合安定的に検出・追跡することが困難であるという問題が生じる。
特開平５−１１４０９９号公報（段落番号００１６−００２０、図３，４，５）

特開２００１−１８７５５３号公報（段落番号００４２−００６６、図４，８）

フィリップ・トル（P. Torr）著，「Motion segmentation and outlier detection」，University of Oxford ， 1995，p.58-60

以上の従来技術で示されるように、移動体上に取付けられた撮像手段によって取得される、視点が異なる第１画像面と第２画像面との画像を処理して、移動体周辺の物体を認識する、現状の物体認識装置では、認識すべき物体が自動車の前端部や後端部あるいは道路の縁石といった表面にテクスチャーが乏しく、かつ曲面形状をしている場合、安定的に認識・追跡することが困難であり、また、時々刻々と変化する画像中での特徴部を従来のステレオ法などで追跡しながら認識するためには対応点探索処理に時間がかかりすぎるといった問題があることから、本発明の課題は、計算負荷が低くても安定した認識が可能な、移動体用、特に自動車用の物体認識装置を提供することであり、さらには表面にテクスチャーの無い物体であっても安定した認識が可能なことである。

前記課題を解決するため、移動体上に取付けられた撮像手段によって取得される、視点が異なる第１画像面と第２画像面との画像を処理して移動体周辺の物体を認識する、本発明による物体認識装置の特徴構成は、前記第１画像面と前記第２画像面とにおける物体画像の特徴点を検出する特徴点検出手段と、前記第１画像面と前記第２画像面との間で対応する少なくとも２組の前記特徴点により前記第１画像面と前記第２画像面との間の並進カメラ運動に基づく幾何学的な対応関係を表す基礎行列を自己エピポーラによるエピポールの算定に基づいて決定する基礎行列決定手段と、前記第１画像面と前記第２画像面とにおける前記物体の座標及び前記決定された基礎行列に基づいて前記物体の３次元位置を計算する３次元位置計算手段とを備え、前記基礎行列決定手段は、仮の基礎行列を生成するとともに前記第１画像面と前記第２画像面とにおいて対応する特徴点同士を結ぶ直線と前記エピポールとの距離が所定値以内である特徴点を正対応特徴点とし、この正対応特徴点の数が最大となる仮の基礎行列を正式な基礎行列として決定することである。

この構成では、撮像された物体画像を写し出す第１画像面と第２画像面とが１台のカメラを用いた撮像手段又は２台のカメラを用いた撮像手段のいずれで作り出されようとも、第１画像面と第２画像面との関係が並進カメラ運動の関係である限り、前記第１画像面と前記第２画像面との間で対応するそれぞれの特徴点、つまり対応点の間の変換を決定する基礎行列を自己エピポーラによるエピポールの算定に基づいて求めることができるので、後で詳しく説明するように、前記第１画像面と前記第２画像面との間で対応する特徴点（対応点）は少なくとも２組だけあればよい。これにより、計算負荷が低くても安定した認識が可能な物体認識装置が実現する。
さらに、前記第１画像面と前記第２画像面とが並進運動に基づく幾何学的関係にあることから、その対応点同士を結ぶ直線がエピポールと呼ばれる一点で交差する自己エピポーラと呼ばれる性質が得られるので、対応点同士を結ぶ直線がエピポールから大きく外れている場合にはこれらの対応点の組は誤対応を起こしていると考えることができる。このことを利用して、ランダムに取り出された２組の対応点（前記第１画像面と前記第２画像面との間で対応し合う特徴点）を用いてＦ行列を算定し、このＦ行列より求められたエピポール（擬似的なエピポール）と前記対応点を結ぶ直線との距離がある閾値以下となる対応点の組の計数値を求める。以上の処理を、ランダムに２組の対応点を取り出しながらある一定回数繰り返し、計数値が最大となるＦ行列を最終的なＦ行列として決定するのである。このアルゴリズムでは、安定に誤対応除去を行いながらＦ行列の算定を行うので処理速度が改善される。

前記第１画像面と前記第２画像面とを１台のカメラによって作り出す撮像手段を採用する場合、前記移動体の移動に伴う前記カメラの並進移動の前後で撮影した際の画像面が並進カメラ運動に基づく幾何学的関係をもつ前記第１画像面と前記第２画像面となる。移動体が自動車のような車両の場合、その慣性が大きいことから短い時間間隔での運動（移動）は並進運動（並進移動）とみなすことができるので、このような物体認識装置は効果的に自動車に適用することができる。

なお、前記第１画像面と前記第２画像面とを２台のカメラによって作り出す撮像手段を採用することも本発明では除外されておらず、その際は、同時刻での２台のカメラによる撮影での画像面が前記第１画像面と前記第２画像面となる。この２台のカメラの幾何学的な配置に関しては、並進運動に基づく幾何学的条件が守られさえすればよいので、複数のカメラの並進と回転運動に基づくステレオカメラ法に較べ、カメラ配置の自由度が高くなり、取り付け場所に制限を受ける自動車などに適用する際に利点がある。

前記特徴点検出手段を、前記物体の遮蔽輪郭を検出するとともにこの遮蔽輪郭の輪郭線上に位置する点を前記特徴点として検出するように構成するならば、認識すべき物体にテクスチャーの無くても、物体画像における遮蔽輪郭をもとに物体の特徴点を検出して、３次元形状復元することができる。物体表面上のテクスチャーの代わりに物体と背景との境界である遮蔽輪郭を用いるため、特に、対象物表面にテクスチャーが乏しく、かつ曲面形状をした車両などを安定的に形状復元することが可能となる。

前述したように、本発明による物体認識装置は、計算負荷が低くにもかかわらず、表面にテクスチャーの無い物体であっても安定した認識が可能であることから、自動車に適用し、周囲に存在する自動車のバンパーを認識すべきバンパーとするとともに前記特徴点検出手段をバンパーの遮蔽輪郭を検出するように構成すると、自動車の車庫入れや駐車の自動化に貢献できる。

まず、本発明の理論的根拠を説明する。
本発明では、撮像手段によって取得された認識対象となる物体（以下単に対象物と略称する）の画像特徴として主に遮蔽輪郭が用いられる。遮蔽輪郭とは、図1に示すように、画像中において、対象物が背景を遮蔽して生ずる輪郭である。物体表面にテクスチャーが無い対象物でも、この対象物と背景との間で輝度差が有れば、このような遮蔽輪郭が観測できることから、テクスチャーの有無に関わらず、対象物のための画像特徴として用いることができる。しかしながら、多くの物体は曲面から構成されており、そのため、遮蔽輪郭はコーナーなどの特徴点とは異なり、曲線となるため異なる視点での撮像面で得られた遮蔽輪郭曲線上の点同士を対応付けることは困難である。そこで本発明では、エピポーラ幾何をもとに、異なる視点間における遮蔽輪郭上の点の対応を求め、３次元物体の形状を復元する方法を採用している。

この方法では、まず２つの異なる視点の２つの画像面における画像間のエピポーラ幾何を表すF行列（基礎行列）を安定的に求める必要がある。３次元空間中の同一の点をそのような２つの画像面（第１画像面と第２画像面）に投影して得られる投影点をぞれぞれm = [u, v]^T、m' = [u', v']^T とすると、これらの間には一般に以下に示すエピポーラ方程式が成り立つ。

ここで、上に付記された「〜」は斉次座標を表す記号であり、上付きの「T」は転置行列を表す記号である。行列F（基礎行列）は、3×3で自由度７の行列である。
一般に、F行列は線形計算で求めようとする場合には最低８点、非線形解法で求める場合にも最低７点の対応点が必要であり、ある程度安定なF行列を得るためには、さらに数点の対応点が必要となる。しかし、画像中において常に十数点の対応点をトラッキングするのは実際には非常に難しいので、本発明では、撮像手段としてのカメラを固定している移動体（典型的には自動車などの車両）の運動に拘束を設け、これをもとにより少ない対応点からより安定的にF行列を求めることにしている。一般に車両は大きな慣性を持っていることから、短時間中では近似的に直線運動を行っていると見なすことができる。従って車両に固定されたカメラの運動も、短時間中では、純粋な並進運動と考えることができる

同一のカメラが並進運動した場合には、並進前後で得られる画像間のF行列は次式で示すような形をしており、定数倍の不定性を除いて２自由度しかない。

従って車載カメラの運動を並進運動と仮定した場合には(2)式に示す２自由度のF行列を求めることによりエピポーラ幾何が求まり、先に述べたようにエピポーラ線をもとに遮蔽輪郭曲線上の対応点を求めることが可能となる。
(2)式のF行列は以下のようにして２組以上の対応点より線形に求めることができる。今、画像中においてN 組の対応点m_i = [u_i, v_i]^T、m'_i= [u'_i, v'_i]^T (i = 1, …,N)が得られているとする。(2)式を(1)式に代入し、求めるＦ行列の要素f = [a, b, c]^T に関して整理すると、以下の式が得られる。

ここでＭは以下に示すN×3 行列である。

この時、f の最小二乗解はＭ^TＭの最小固有値に対応する固有ベクトルとして定数倍の不定性を残して求まる。しかし実際には対応点中に誤対応が存在するため、求めた対応点全点を用いて単純に最小二乗解を求めると、得られるF行列は大きな誤差を含む場合がある。そこで、このような誤対応点を取り除いた上で最小二乗法によりF行列を求める手法を取り入れる。誤対応点を取り除く手法として、フィッティングに必要な最小点数を選択して直線をフィッティングするとともに、他の点がその直線にどの程度フィットするかをチェックする処理からなるRANSAC(RANdom Sample Consensus)手法が用いられる。

その際、本発明では、カメラ運動を並進運動に限定しており、また連続する２時刻の画像からF 行列を計算するためカメラ運動が小さいことから、以下のようなアルゴリズムとなる。
カメラ運動は純粋な並進と仮定するため、F行列は最低２組の対応点で求まる。従って、まずN組の対応点からランダムに２組の対応点を取り出し、これら２組の対応点を用いて、(3) 式によりF行列を計算する。
一般には、このようにして求めたF行列を用いて、第１画像面中の対応点mi に対する第２画像面中のエピポーラ線l'_iを計算し、第２画像の対応点m'_iとの距離を計算すると、カメラ運動が小さいことから、図2に示すように、全ての点点m'_iに関して距離dが閾値以下に収まってしまい、誤対応を起こしていても誤対応除去ができなくなる。このため、本発明では、並進運動カメラのエピポーラ幾何が自己エピポーラとなることを用いて、安定的に誤対応除去を行う。
つまり、並進運動カメラの場合には、運動前後の画像を重ね合わせると、図3 に示すように、対応点同士を結ぶ直線がある一点で交差し、この交点がエピポールとなる。この性質は自己エピポーラ（auto epipolar）と呼ばれ、その説明は、例えば、佐藤淳「コンピュータビジョン −視覚の幾何学−」コロナ社,1999年5月7日初版p.101-109に詳しい。この自己エピポーラの性質より、対応点同士を結ぶ直線がエピポールから大きく外れている場合にはこれらの対応点の組は誤対応を起こしていると考えることができる。
そこで、ランダムに２組の対応点を取り出し、これら２組の対応点を用いて、(3)式により仮のF行列を計算した後、このF行列よりエピポールeを計算する。次に、第１画像の対応点m_iと第２画像の対応点m'_iを結ぶ直線l_iを求め、この直線l_iとエピポールeとの距離dを計算し、距離dがある閾値以下となる対応点の組の計数値N_Cを求める。
以上の処理を、ランダムに２組の対応点を取り出しながらある一定回数繰り返し、計数値N_Cが最大となる最終的なF行列を求める。このようにして、カメラ運動の小さい並進運動カメラから、安定的に誤対応除去を行いながらF行列計算を行うことができる。

前述したアルゴリズムで求められたF行列を用いて遮蔽輪郭から３次元形状を復元する方法を以下に説明する。
３次元物体が車両や人体のように曲面形状である場合には、図４に示すように、異なる視点で得られる遮蔽輪郭曲線上において物理的に対応する点は存在しない。しかし、短い時間間隔またはカメラ移動により画像を得た場合には、近似的に同一の３次元点が遮蔽輪郭として異なる視点に投影されたと考えても差し支えない場合を考える。さらにカメラが並進運動をしていると仮定すると、自己エピポーラの性質が成り立ち、異なる視点の画像同士を重ね合わせると、対応点は同一エピポーラ線上に乗る。そこで図５に示すように、連続する２つの画像上においは、同一のエピポーラ線l上に存在する遮蔽輪郭線上の点m，m'は互いに対応していると考えられる。このようにして、エピポーラ幾何を用いて連続する２時刻の遮蔽輪郭上の点同士の対応関係を求めることができ、得られた対応点を用いて３次元形状を復元することが可能となる。
実際の３次元復元は、まず、求めたF行列から内部パラメータ行列Ａを用いて基本行列(Essential行列：以下E行列と称する) を計算し、このE行列を分解して、３次元のカメラ運動(回転と並進）を計算し、求めた２つの画像間のカメラ運動と、エピポーラ幾何より得られる遮蔽輪郭上の対応点m，m'から３次元座標を計算することにより行われる。

上述した本発明の原理を実践すべく構成された本発明による物体認識装置の一例を図面に基づいて説明する。
この物体認識装置は、車両、特に自動車に搭載されるものであり、図６に示すように、撮像手段として１台のデジタルカメラ１０と、デジタルカメラ１０からの画像信号を受ける画像入力部２０と、デジタル化された画像データを一時的に記憶するフレームメモリ３０と、取得された画像データに対して種々の画像処理を施す画像処理部４０と、ここでは図示されていないモニタなどへの画像信号の出力を行う画像出力部５０と、この物体認識装置を構成する種々の機能要素をセンサ等からの入力信号に応じて制御するとともにその制御結果を出力する制御部６０とから構成されている。画像処理部４０には、画像データ制御部４１と特徴抽出部４２と認識処理部４３が含まれている。

移動体位置情報取得手段として機能する車輪速センサ７０等から制御部６０に入力された車両移動信号に基づいて、マイコン６１が所定距離の車両移動を検知し、カメラ１０からの画像信号に画像入力部２０が有する機能としての同期分離とA/D変換を施して得られる画像データを所定距離の移動毎にフレームメモリ３０に蓄積する。例えて言うならば、この所定距離の移動前の画像データは第１画像面に形成される画像となり、所定距離の移動後の画像データは第２画像面に形成される画像となる。その際、車両の短い距離（例えば１０ｃｍ程度）の移動では、第１画像面と第２画像面は並進カメラ運動に基づく幾何学的な関係をもつとみなされる。

フレームメモリ３０に蓄えられた画像データのうち、画像データ制御部４１によるアドレス指定により所望の画像面に含まれる画像分が読み出され、特徴点検出手段として機能する特徴抽出部４２においてその画像中の輪郭線やコーナー上の特徴点が検出される。特徴抽出アルゴリムとして種々のものが利用可能であるがここではハリスのコーナー検出が採用されている。

認識処理部４３には、前述した第１画像面と第２画像面との間で対応する少なくとも２組の特徴点によりこれらの画像面間の並進カメラ運動に基づく幾何学的な対応関係を表す基礎行列を自己エピポーラによるエピポールの算定に基づいて決定する基礎行列決定手段４３ａと、この基礎行列と第１画像面と第２画像面とにおける対象物の座標に基づいて対象物の３次元位置を計算する３次元位置計算手段４３ｂがプログラムとして実装されている。

このように構成された認識処理部４３では、連続する２つの画像面、つまり視点の異なる第１画像面と第２画像面におけるそれぞれの画像間で検出された特徴点群を用いて、前述したアルゴリズムにしたがって自己エピポーラに基づくＦ行列の計算と誤対応点の除去が行われ、正しく対応した点群のみを用いて三角測量により３次元座標が算出される。つまり、この認識処理部４３は、Ｆ行列（基礎行列）決定手段として機能する。算出された３次元座標が画像出力部５０の描画部５１に転送されると、この３次元座標に基づいて２次元での立体視画像データが作成され、表示コントローラ５２で画像信号に変換される。表示コントローラ４０にはフレームメモリ３０からの画像データも入力されるので、表示コントローラ４０からの画像信号をモニタに接続することでカメラ１０による撮像画像と画像処理部４０で認識された物体の立体視画像がモニタ表示可能である。

なお、ここでは、３次元物体が車両や人体のように曲面形状である場合には、図4に示すように、異なる視点で得られる遮蔽輪郭曲線上において物理的に対応する点は存在しないが、短い時間間隔での画像取得またはカメラの並進移動前後での画像取得の場合には、近似的に同一の３次元点が遮蔽輪郭として異なる視点に投影されたとみなしている。

上述した構成の物体認識装置における、物体の撮像から３次元復元までの処理の流れを図７〜図１３のフローチャートを用いて説明する。
図７は基本フローチャートを示しており、制御部６０において所定のタイミングで生成されるトリガー信号に応答してカメラ１０で取得された画像が順次フレームメモリ３０に蓄積される（＃０１）。フレームメモリ３０から画像処理部４０に読み込んだ画像における対象物の特徴点を検出・追跡し、エピポーラ幾何計算に基づいてエピポールを求め、Ｆ行列を得る（＃０２）。エピポーラ幾何を用いて遮蔽輪郭検出を行う（＃０３）。検出された遮蔽輪郭上の対応点の座標からその点の３次元座標を算定し、算定された３次元座標から三次元形状を復元する（＃０４）。この３次元形状の復元では、まず、求めたF行列から内部パラメータ行列Ａを用いてＥ行列を計算し、このＥ行列を分解して、３次元のカメラ運動を計算し、求めた２つの画像間のカメラ運動と、エピポーラ幾何より得られる遮蔽輪郭上の対応点m，m'から３次元座標を計算する。

上記ステップ＃０２におけるエピポーラ幾何計算のルーチンを図８のフローチャートを用いて説明する。
まず、前時刻で取得された撮像面における特徴点の数が閾値を超えているかどうかチェックされる（＃１０）。特徴点の数が閾値を超えている場合（＃１０Yes分岐）、特徴点が有効な対応点となるかどうかをチェックする特徴点のトラッキングルーチン（後で説明される）に入り（＃２０）、さらにエピポールを求めてエピポーラ拘束による対応点の評価を行うエピポーラ拘束による対応チェックルーチンに（後で説明される）入る（＃３０）。特徴点の数が閾値以下の場合（＃１０No分岐）、コーナー検出によって特徴点を検出するハリスのコーナー検出ルーチン（後で説明される）を経て（＃４０）、リターンする。

続いて、現時刻で取得された撮像面における特徴点の数が閾値を超えているかどうかチェックされる（＃５０）。特徴点の数が閾値を超えている場合（＃５０Yes分岐）、最小二乗法により並進運動時のエピポーラ幾何を計算し、エピポールを求める（＃６０）。求められたエピポールが適切な範囲に入っているかどうかチェックされ（＃７０）、エピポールが適切な範囲に入っている場合（＃７０Yes分岐）、求められたエピポールの移動平均を計算し（＃７０）、リターンする。ステップ＃５０において特徴点の数が閾値以下の場合（＃５０No分岐）、及びステップ＃７０においてエピポールが適切な範囲に入っていない場合（＃７０No分岐）、このルーチンを終了してそのままリターンする。

前記ステップ＃２０の特徴点トラッキングルーチンを図９のフローチャートを用いて説明する。
まず、変数：minに特徴点近傍の相関値を代入する（＃２０１）。変数：sumに探索点近傍の相関値を代入する（＃２０２）。変数：sumと変数：minを比較して、変数：minが変数：sumを超えている場合（＃２０３Yes分岐）、変数：minに変数：sumの値を代入して、特徴点を対応点候補とする（＃２０４）。変数：minが変数：sum以下の場合（＃２０３No分岐）、ステップ＃２０４がジャンプされる。ステップ＃２０２〜ステップ＃２０４の処理が探索範囲内にわたって繰り返され（＃２０５）、探索範囲内にわたる全ての処理が完了すると対応点候補を有効な対応点として（＃２０６）、リターンする。

前記ステップ＃３０のエピポーラ拘束による対応チェックルーチンを図１０のフローチャートを用いて説明する。
まず、初期設定として変数：maxに０を代入した後（＃３０１）、２組の対応点をランダムに選択し（＃３０２）、この選択した２組の対応点からエピポールを計算する（＃３０３）。さらに、計数値を示す変数：Ｎcに０を代入した後（＃３０４）、１組の対応点から試験用エピポーラ線を計算し（＃３０５）、この試験用エピポーラ線とエピポールとの距離を計算する（＃３０６）。得られた距離を閾値と比較して（＃３０７）、距離が閾値を下回る場合（＃３０７Yes分岐）、この対応点を対応点候補とするとともに変数：Ｎcをインクリメントし（＃３０８）、距離が閾値以上の場合（＃３０７No分岐）、ステップ＃３０８の処理をジャンプする。ステップ＃３０５からステップ＃３０８までの処理を全対応点に対して繰り返し行う（＃３０９No分岐）。全対応点にわたる処理が終了すると（＃３０９Yes分岐）、変数：Ｎcと変数：maxを比較する（＃３１０）。変数：Ｎcが変数：maxより小さい場合（＃３１０Yes分岐）、対応点候補を対応点とするとともに変数：maxに変数：Ｎcの値を代入する（＃３１１）。変数：Ｎcが変数：max以上の場合（＃３１０No分岐）、ステップ＃３１１の処理をジャンプする。上記ステップ＃３０２からステップ＃３１１までの処理を規定回数だけ行った後（＃３１２）、リターンする。

前記ステップ＃４０のハリスのコーナー検出ルーチンを図１１のフローチャートを用いて説明する。
まず、対象となる画像データに対してＸ方向とＹ方向へガウシアン微分フィルタを走らせてガウシアン微分演算を施す（＃４０１）。各画素についてコーナーらしさ（ＣＲＦと呼ばれる評価値を採用）を計算する（＃４０２）。微分演算値から特徴点候補を列挙し（＃４０３）、列挙された特徴点候補をＣＲＦを基準にして並び替える（＃４０４）。ＣＲＦの大きいものから順に特徴点とする処理（＃４０５）を、必要な数の特徴点が得られるまで繰り返し（＃４０５No分岐）、必要な数の特徴点が得られるとリターンする（＃４０５Yes分岐）。

図７の基本フローチャートにおけるエピポーラ幾何を用いた遮蔽輪郭検出ルーチンを図１２のフローチャートを用いて説明する。
対象となる画像データに対してエピポールの方向へガウシアン微分フィルタを走らせてガウシアン微分演算を施す（＃３１）。得られた微分値演算マップをスケーリングした後（＃３２）、これを用いて微分画像を細線化して（＃３３）、リターンする。

図７の基本フローチャートにおける形状復元ルーチンを図１３のフローチャートを用いて説明する。
まず、特徴点群から注目特徴点を順次指定し、注目特徴点が復元候補点であるかどうかをチェックする（＃４１）。注目特徴点が復元候補点である場合（＃４１Yes分岐）、次の時刻の対応する点を推測して（＃４２）、次の時刻に対応する点が存在すれば（＃４３Yes分岐）、この注目特徴点を復元可能特徴点とする（＃４４）。また、注目特徴点が復元候補点でない場合（＃４１No分岐）、次の時刻の対応する点を探索して（＃４５）、次の時刻に対応する点が存在すれば（＃４６Yes分岐）、この注目特徴点を復元候補特徴点とする（＃４７）。このステップ＃４１からステップ＃４７の処理が全ての特徴点に対して行われると（＃４８Yes分岐）、次のステップに移行する。先の処理で得られた復元可能特徴点をF行列、正確にはE行列を用いて３次元空間に逆射影し（＃４９）、直線の交点の３次元座標を計算する（＃５０）。このステップ＃４９と＃５０を全ての復元可能特徴点に対して繰り返し行い（＃５１No分岐）、全ての復元可能特徴点に対する処理が終わると（＃５１Yes分岐）、リターンする。ここで得られた三次元座標が描画部４０に送られることで対象物の３次元表示画像データが生成される。

上述した物体認識装置を自動車に搭載し、用いて駐車スペースの脇を走行して得られた連続画像から、エピポーラ幾何計算を行い、通過した地点の３次元形状を復元した実験例を説明する。この駐車スペースに沿った走行シーンでは最初に３台の車両が駐車しており、その後スペースが有って１台車両が駐車していた。３台の駐車車両を３次元復元した結果が図１４に示されているが、図１４（ａ）は撮影画像であり、図１４（ｂ）が３次元復元画像である。また、次の１台の駐車車両を３次元復元した結果が図１５に示されているが、図１５（ａ）は撮影画像であり、図１５（ｂ）が３次元復元画像である。図１４（ｂ）から、車両の３次元形状より、連続して駐車している車両一台一台の区別が概ねつくことがわかる。また図１５(b) では、後ろ向きに駐車している車両の３次元の外形がほぼ正確に復元できていることが明らかである。さらに、駐車車両の存在するスペースと存在しないスペースの区別が概ねつくことも明らかになった。

自動車の最も突き出た先端部又は後端部であるにもかかわらず、従来は困難とされていた曲面体でテクスチャーのないバンパーの認識が、特に、図１５（ｂ）から明らかなように、エピポーラ幾何に基づく対応付けを行うとともにその遮蔽輪郭から３次元形状を認識するという手法で可能となるので、本発明は、駐車時や走行時の障害物、特にバンパーの認識のために効果的に適用できる。

本発明では、車両周辺障害物の３次元形状を、少ない計算コストで復元することができる。特に、エピポーラ幾何に基づく対応付けを行うことにより、駐車車両などテクスチャーの少ない障害物の遮蔽輪郭から３次元形状を復元することで、テクスチャーの無い障害物であっても３次元形状が復元可能となった。つまり、遮蔽輪郭は曲線であるため、異なる時刻で得られる遮蔽輪郭同士の対応を取るのは容易ではないが、エピポーラ幾何を用いることにより、遮蔽輪郭上の点同士の対応を求めている。その際、エピポーラ幾何を安定的に求めるために、短時間中では車両の運動がほぼ並進運動に近似可能であることを用いて、並進運動に限定したエピポーラ幾何を計算するとともに、複数視点の画像間での特徴点誤対応を低減するための大きな計算負荷を避けるために自己エピポーラを導入することにより、誤対応する点を除いている。これにより、画像ノイズに対するエピポーラ幾何計算の安定性が向上し、実際の走行シーン画像を用いた上記実験結果からも明らかなように、３次元形状が概ね復元可能である。

遮蔽輪郭を説明する説明図 RANSAC手法を説明する説明図 自己エピポーラを用いた誤対応除去を説明する説明図 異なる視点から得られる遮蔽輪郭を説明する説明図 自己エピポーラと遮蔽輪郭上の対応点を示す模式図 本発明の物体認識装置の実施形態における機能ブロック図 本発明の物体認識装置の実施形態における認識処理の流れを示すフローチャート エピポーラ幾何計算ルーチンを示すフローチャート 特徴点のトラッキングルーチンを示すフローチャート エピポーラ拘束による対応チェックルーチンを示すフローチャート ハリスのコーナー検出ルーチンを示すフローチャート エピポーラ幾何を用いた遮蔽輪郭検出ルーチンを示すフローチャート 形状復元ルーチンを示すフローチャート ３次元復元の実験結果を示す画面図 ３次元復元の実験結果を示す画面図

符号の説明

１０ カメラ（撮像手段）
２０ 画像入力部
３０ フレームメモリ
４０ 画像処理部
４１ 画像データ制御部
４２ 特徴抽出部（特徴点検出手段）
４３ 認識処理部
４３ａ基礎行列決定手段
４３ｂ３次元位置計算手段
５０ 画像出力部
５１ 描画部
６０ 制御部
７０ 車輪速センサ（移動体位置情報取得手段）

Claims (5)

1. 移動体上に取付けられた撮像手段によって取得される、視点が異なる第１画像面と第２画像面との画像を処理して、移動体周辺の物体を認識する物体認識装置において、
   前記第１画像面と前記第２画像面とにおける物体画像の特徴点を検出する特徴点検出手段と、
   前記第１画像面と前記第２画像面との間で対応する少なくとも２組の前記特徴点により前記第１画像面と前記第２画像面との間の並進カメラ運動に基づく幾何学的な対応関係を表す基礎行列を自己エピポーラによるエピポールの算定に基づいて決定する基礎行列決定手段と、
   前記第１画像面と前記第２画像面とにおける前記物体の座標及び前記決定された基礎行列に基づいて前記物体の３次元位置を計算する３次元位置計算手段と、
   を備え
   前記基礎行列決定手段は、仮の基礎行列を生成するとともに前記第１画像面と前記第２画像面とにおいて対応する特徴点同士を結ぶ直線と前記エピポールとの距離が所定値以内である特徴点を正対応特徴点とし、この正対応特徴点の数が最大となる仮の基礎行列を正式な基礎行列として決定する物体認識装置。
2. 前記撮像手段は１台のカメラによって構成され、前記第１画像面と前記第２画像面とを、前記移動体の移動に伴う前記カメラの並進移動の前後で作り出す請求項１に記載の物体認識装置。
3. 前記カメラの移動状態の評価を前記移動体に設けられた移動体位置情報取得手段からの情報に基づいて行う請求項２に記載の物体認識装置。
4. 前記特徴点検出手段は、前記物体の遮蔽輪郭を検出するとともにこの遮蔽輪郭の輪郭線上に位置する点を前記特徴点として検出する請求項１から３のいずれか一項に記載の物体認識装置。
5. 前記移動体が自動車であり、前記物体が周囲に存在する自動車のバンパーであり、前記特徴点検出手段は前記バンパーの遮蔽輪郭を検出する請求項１から４のいずれか一項に記載の物体認識装置。