JP6635621B2 - 自動車用視覚システム及び視覚システムを制御する方法 - Google Patents

Description

本発明は、ステレオ撮像装置を形成する一対の撮像デバイスと、このステレオ撮像装置によって取り込まれた画像の修正と、修正画像のステレオマッチングとを実行し、ステレオマッチングされた画像から自動車の周囲にある物体を検出するように構成されるデータ処理装置とを備える、自動車用視覚システムに関する。また、本発明は、視覚システムを制御する方法に関する。

ステレオカメラから視差画像又は深度画像を正確に計算するために、互いに対する２つのカメラの向きがわからなければならない。２つのカメラ間のピッチ角に誤差があることによって、一方のカメラの視点が、他方のカメラの視点に比べて下がる。ロール角は、対応する光学軸の周りの画像面の回転を意味する。左画像と右画像との間の正確なステレオマッチングを実行するために、これら両方の角度がわからなければならない。自動車用ステレオカメラの場合、自動車用システムの温度変化及び長い寿命に起因して、これらの角度は車両の寿命にわたって一定ではない。それゆえ、ピッチ角誤差及びロール角誤差を推定するためのオンラインの解決策が必要とされる。

５点法（5-point method）又は特徴点法（feature point method）として知られる、ピッチ角及びロール角を推定するための従来の方法は、左画像及び右画像対において、特徴点と呼ばれる、例えば、５つの特有の点を見つけることと、これらの特徴点からピッチ角誤差及びロール角誤差を推定することとを伴う。しかしながら、この方法は、画像内の特徴点を見つけることを必要とし、特有の特徴点を見つけることができない、例えば、変化のない環境、微光の環境又は雨降りの環境において十分に機能しないであろう。

本発明の目的は、自動車の運転中にステレオカメラ間のピッチ角誤差及び／又はロール角誤差を正確に特定できるようにする視覚システム及び方法を提供することである。

本発明は、独立請求項の特徴を用いて、この目的を解決する。本発明によれば、一方の撮像デバイスからの修正画像の画像要素に対して、他方の撮像デバイスからの対応する修正画像の２次元探索エリア内の最も一致する（best-matching）画像要素の探索が実行される。その探索は、垂直シフト情報をもたらし、その情報から、その画像要素から最も一致する画像要素までの垂直シフトが導出可能である。本発明によれば、撮像デバイスの、又は撮像デバイス間のピッチ角誤差及び／又はロール角誤差を、そのような垂直シフト情報に基づいて、すなわち、垂直シフト情報から直接、又は間接的に容易に計算できることがわかった。本発明によれば、画像内の任意の特有の特徴点を見つける必要はなく、検査される自動車環境における全ての条件下で、ピッチ角誤差及びロール角誤差の特定が可能である。それらの計算は修正画像に関して実行されるので、その誤差は、計算されるステレオマッチング又は修正において使用されるピッチ角及び／又はロール角の誤差である。

本発明による画像要素は、ピクセル、すなわち、取り得る最小の画像要素若しくは画素とすることができるか、又は複数のピクセルから構成される画像エリア、例えば、ｐ×ｑピクセルの長方形エリアとすることができる。ただし、ｐ及びｑは１より大きい整数である。

特に１次元水平探索エンジンの使用に関連する一実施形態において、垂直シフト情報は、検討対象の画像要素と、検討対象の画像要素に対して異なる垂直成分だけシフトされた他方の撮像デバイスからの対応する修正画像の複数の画像要素との間の垂直一致度を示す複数の一致関連スコアを含み、それにより、垂直マッチングコストキューブ（vertical matching cost cube）が生成される。具体的には、１次元水平探索エンジンが使用されるとき、各１次元水平探索が、１次元水平探索における水平位置ごとに１つの一致又はコスト値を有する、水平一致又はコストタプルを計算する。各水平一致又はコストタプル内の最も低い一致又はコスト値が抽出され、それにより、実行された水平探索ごとに１つの一致又はコスト値を含む垂直マッチングコストキューブが生成される。そのような垂直一致スコアキューブは、ステレオマッチングに影響を及ぼすピッチ角誤差及び／又はロール角誤差を計算するために必要とされる画像の全ての情報を含む。

好ましくは、複数の画像要素が、より大きな画像領域にまとめられ、垂直シフトごとに、その画像領域内の各画像要素からのコスト値、又は一致関連スコアが総計又は累積され、それにより、縮小サイズのマッチングコストキューブが生成される。この手法は、ピッチ角誤差及びロール角誤差の計算に関して十分に高い精度を依然として可能にしながら、大きい垂直マッチングコストキューブに比べて、データ量がはるかに少ないという利点を有する。言い換えると、数多くのピクセルからの一致スコア又はコスト値を画像領域に集約して、メモリ帯域幅、メモリサイズを節約し、処理要件を緩和することができる。

好ましくは、縮小コストキューブから、画像領域ごとに最良の一致を与える垂直シフトが特定され、それにより、垂直シフトマップが生成される。そのようなシフトマップから、ピッチ角誤差及び／又はロール角誤差を最も容易に計算することができる。例えば、同じ方向を指しており、同じサイズを有するシフトマップへの寄与からピッチ誤差を推定することができ、右側及び左側において反対方向を指しており、中央から左右に向かって増加するシフトマップへの寄与から、ロール誤差を推定することができる。代替的には、最小化関数、特に最小二乗最小化関数を同時に用いて、シフトマップからピッチ誤差及びロール誤差を計算することができる。また、シフトマップを使用することなく、垂直一致スコアキューブから、又は縮小コストキューブから直接、ピッチ角誤差及び／又はロール角誤差を計算することもできる。

幾つかの実施形態において、ピッチ角誤差及び／又はロール角誤差を計算することに加えて、垂直シフト情報から、両方の撮像デバイス間の焦点距離差の誤差を計算することができる。例えば、焦点距離差は、上側及び下側において反対方向を指しており、中央から上下に向かって増加するシフトマップへの寄与から推定することができる。代替的には、焦点距離差の誤差は、最小化関数を用いて、ピッチ誤差及び／又はロール誤差と同時にシフトマップから計算することができる。また、シフトマップを使用することなく、垂直一致スコアキューブから、又は縮小コストキューブから直接、焦点距離差の誤差を計算することもできる。

好ましい実施形態において、探索は、１次元水平探索エンジンを使用し、垂直方向において互いに対して異なる量だけシフトされた複数の１次元水平探索を実行することによって実行される。言い換えると、例えば、既存の１次元ステレオマッチングハードウェア又はソフトウェアエンジンを、視覚システムにおいて行われる標準的なステレオ計算と時分割することによって、単に再利用することができる。例えば、探索は、水平ステレオマッチングプロセスの空きタイムスロットにおいて、及び／又は水平ステレオマッチングプロセスと交互のタイムスロットにおいて実行することができる。

別の実施形態において、水平ステレオマッチングプロセスと探索とを同時に実行するために、完全に２次元の探索エンジンを使用することができる。両方のタスクの根底にある数学的問題は本質的に同じであるので、オプティカルフロー計算において使用される２次元探索エンジンが特に適している。そのような２次元探索エンジンは、検討対象の各画像要素から、他の撮像デバイスからの対応する画像内の最も一致する画像要素までのベクトルの形をとる垂直シフト情報をもたらす。ベクトルの垂直成分を単に取り出すことによって、これらのベクトルから垂直シフトマップを容易に導出することができる。

探索エンジンは、ソフトウェアエンジン又は専用探索ハードウェアとすることができる。詳細には、１次元探索エンジンは、水平ステレオマッチングハードウェアブロックによって形成することができる。

好ましくは、計算されたピッチ角誤差及び／又はロール角誤差は、後のステレオマッチングプロセスにおいて使用される。言い換えると、ピッチ角誤差及び／又はロール角誤差に起因する撮像デバイスのいかなる不一致も、運転中に自動的に絶えず補償することができる。

適切で正確な結果を得るために、適した信号処理アルゴリズムを用いて、各画像対から推定されたピッチ角及び／又はロール角をフィルタリングすることができる。また、統計値を改善し、それにより精度を高めるために、ピッチ角及び／又はロール角を推定する前に、幾つかのシフトマップを合成することもできる。同じ理由から、マッチングスコアキューブ又はコストキューブに基づいて更なる処理を実行する前に、特にシフトマップを計算する前に、幾つかのマッチングスコアキューブ又はコストキューブを合成することができる。

以下において、本発明は、添付の図面を参照しながら、好ましい実施形態に基づいて例示されることになる。

自動車内のステレオ視覚システムの概略図である。 左画像／右画像対のための水平ステレオマッチング及び垂直マッチングを示す図である。 コストキューブからのシフトマップの計算を概略的に示す図である。 シフトマップからのピッチ角誤差の計算を示す図である。 シフトマップからのロール角誤差の計算を示す図である。 シフトマップからの焦点距離ドリフトの計算を示す図である。

視覚システム１０は、自動車内に取り付けられ、自動車の周囲の領域、例えば、自動車の前方の領域の画像を取り込むための撮像装置１１を備える。撮像装置１１は、ステレオ撮像装置１１を形成し、可視及び／又は赤外波長範囲において動作する２つの光学撮像デバイス１２ａ、１２ｂ、詳細にはカメラを備える。ただし、赤外線は、５ミクロンより短い波長を有する近ＩＲ及び／又は５ミクロンより長い波長を有する遠ＩＲを含む。

撮像装置１１は、撮像装置１１から受信された画像データを処理するように構成されるデータ処理デバイス１４に結合される。データ処理デバイス１４は、有利には、撮像デバイス１１による画像の取り込みを制御し、撮像装置１１から画像情報を含む電気信号を受信し、左画像／右画像の対を修正するか、又はワーピングすることにより整合させ、及び／又は視差画像を作成するように構成される前処理セクション１３を備え、それ自体は当該技術分野において既知である。画像前処理セクション１３は、専用ハードウェア回路、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実現される場合がある。代替的には、前処理セクション１３、又はその機能の一部は、マイクロプロセッサにおいて、又は例えば、ＦＰＧＡ、ＤＳＰ、ＡＲＭ及び／又はマイクロプロセッサ機能を備えるシステムオンチップ（ＳｏＣ）デバイスにおいて実現することができる。

更なる画像及びデータ処理が、データ処理デバイス１４において、対応するソフトウェアによって実行される。詳細には、データ処理デバイス１４は、歩行者、他の車両、自転車運転者及び／又は大型動物等の自動車の前方に存在し得る物体を識別し、好ましくは分類もするように構成される物体検出セクション１５と、物体検出セクション１５によって識別された記録画像内の物体候補の位置を経時的に追跡するように構成される追跡セクション１６と、追跡される物体の衝突確率を推定し、推定された衝突確率に応じて、少なくとも１つの運転者支援デバイス１８、１９を起動するか、又は制御するように構成される推定及び決定セクション１７とを備える。運転者支援デバイス１８は、詳細には、検出された物体に関連する情報を表示するためのディスプレイデバイス１８を含むことができる。しかしながら、本発明は、ディスプレイデバイス１８には限定されない。運転者支援デバイス１８、１９は、それに加えて、又はその代わりに、適切な光学、音響及び／又は触覚警告信号によって運転者に衝突警告を与えるように構成される警告手段；乗員エアバッグ又は安全ベルトテンショナー、歩行者エアバッグ、フードリフター等の１つ以上の拘束システム；及び／又はブレーキ若しくはステアリング手段等の動的車両制御システムを含むことができる。データ処理システム１４は、メモリデバイス２５を備えることが好ましい。

データ処理デバイス１４は、プログラムされるか、又はプログラム可能であるデジタルデバイスであることが好ましく、マイクロプロセッサ、マイクロコントローラー、デジタルシグナルプロセッサ（ＤＳＰ）、又は例えば、ＦＰＧＡ及びマイクロプロセッサ機能を備えるシステムオンチップ（ＳｏＣ）を備えることが好都合である。前処理セクション１３及びメモリデバイス２５を含むデータ処理デバイス１４は、車載電子制御ユニット（ＥＣＵ）において実現されることが好ましく、個別のケーブル又は車両データバスを介して、撮像装置１１に接続することができる。別の実施形態では、ＥＣＵと、撮像デバイス１２のうちの１つ以上とを単一のユニットに統合することができ、ＥＣＵ及び全ての撮像デバイス１２を含むワンボックスの解決策が好ましい可能性がある。撮像、画像前処理、画像処理から、運転者支援デバイス１８の起こり得る起動若しくは制御、及び／又は回帰分析までの全てのステップは、運転中に自動的に絶えずリアルタイムに実行される。

以下において、一例として、運転中の撮像デバイス１２ａと１２ｂとの間のピッチ角誤差及び／又はロール角誤差の本発明の計算が説明される。以下の手順は、データ処理装置１４、好ましくは、その前処理セクション１３において行われる。

図２は、左側カメラ１２ａを用いて撮影された画像４０及び右側カメラ１２ｂを用いて撮影された画像４１を示す。最初に、上記で言及されたように、修正ステップが与えられ、そのステップでは、左画像／右画像を整合させるために、それらの画像が互いに対して修正されるか、又はワーピングされる。

修正ステップ後に、修正された左画像／右画像において、水平ステレオマッチングステップが実行される。このステップは、左画像／右画像のピクセルごとに最良の水平一致を見つけることと、ピクセルごとに視差値を計算することとを含み、結果として深度情報を含む視差画像が生成される。具体的には、左画像／右画像のピクセルごとの最良の水平一致を見つけるステップにおいて、通常、一方の画像内のピクセル４２ごとに、このピクセルの周りの小さな画像部分４３が取り込まれ、コスト関数、例えば、絶対差の総和、又は二乗差の総和を用いて、他方の画像内の対応する小さな画像部分４４に対して１次元水平探索４５が行われる。

図３に示される方法は、修正された左画像／右画像のピクセル、又は複数のピクセルからなる領域に関して最良の垂直一致を見つけるステップを含む。このステップは、修正画像全体において実行することができるか、又は処理リソースを節約するために、修正画像の１つ以上のより小さな部分に関してのみ、例えば、１つの画像のｎラインごとに、又はｍラインのｎグループごとに実行することができる。ただし、ｎ及びｍは１より大きい整数であり、例えば、ｎ＝２及びｍ＝６４である。さらに、このステップは、検討対象の修正画像又は修正画像部分（複数の場合もある）のピクセルごとに、又は全てのピクセルのサブセットに対して、例えば、ｎピクセルごとに実行することができる。ただし、ｎは１より大きい整数であり、例えば、ｎ＝２である。

通常、一方の画像４０内のピクセル４２ごとに最良の垂直一致を見つけるステップにおいて、このピクセルの周りの小さな画像部分４３が取り込まれ、コスト関数、例えば、絶対差の総和、又は二乗差の総和を用いて、他方の画像４１内の２次元探索領域５１内の対応する小さな画像部分４４に関して探索が行われる。

本実施形態において、探索は、１次元水平探索４５、４６、４７を何度も繰り返すことによって実行され、各水平探索は、異なる量だけ、上下両方に、探索４５の周りで垂直方向にシフトされる。図２において、例えば、水平探索４５に対して、垂直方向上方にシフトされた２つの水平探索４６及び垂直方向下方にシフトされた２つの水平探索４７が実行され、結果として、５回の水平探索が行われる。水平探索４５〜４７の数は、好ましくは５より多く、好ましくは少なくとも１０であり、より好ましくは少なくとも２０であり、更に好ましくは少なくとも３０であり、例えば、１６＋１＋１６＝３３であることは理解されたい。

互いに対する水平探索４５、４６、４７の好ましくは等距離の垂直シフトは、１つ以上のピクセルだけシフトすること、又は好ましくはサブピクセルシフト、すなわち、ピクセルの数分の一だけシフトすることとすることができ、それは画像処理技法によって実行される。垂直サブピクセルシフトは、ピッチ角誤差及び／又はロール角誤差の特定において、１つ以上のピクセルだけシフトする場合より高い精度を与える。垂直シフトは、２つの画像４０、４１の一方において、新たな修正によって、又はリサンプリングによって実行される。

各１次元水平探索４５、４６、４７は、１次元水平探索における水平位置ごとに１つの一致又はコスト値を有する、水平一致又はコストタプルを計算する。その後、各水平一致又はコストタプル内の最も低い一致又はコスト値が抽出され、それにより、実行された水平探索ごとに１つの一致又はコスト値を含む垂直マッチングコストキューブが生成される。より一般的には、２次元探索において使用されるコスト関数は、検討対象の個々のピクセル４３ごとに実行される水平探索ごとに個別のコスト値をもたらす。それゆえ、検討対象のピクセルごとの個別のコスト値の数は、上記で言及された例において、そのピクセルに関して実行された水平探索の数、例えば、３３に等しい。コスト値はここで、一致スコアを形成する；コスト値が小さいほど、一致度が高い。一致値が高いほど、一致度が高い一致値を含む、他のタイプの一致スコアも可能である。

複数の垂直にシフトされた１次元水平探索を介して実効的に２次元の探索を実行する上記で言及された実施形態は、最良の水平一致を実行するための通常の１次元マッチングエンジン又はハードウェアが、最良の垂直一致を見つけるためにも使用されるという利点を有する。それゆえ、新たな、又は適合したエンジン又はハードウェアは不要である。最良の垂直一致を見つけるために、水平マッチングエンジン又はハードウェアを時分割によって再利用することができる。例えば、交互のタイムスロットＡ−Ｂ−Ａ−Ｂ−...において、水平ステレオマッチング（タイムスロットＡ）及び垂直にシフトされた水平探索（タイムスロットＢ）が非同時に実行される。結果として、１つのステレオマッチングハードウェアブロックを通して、１つの画像に関する異なる水平シフト及び垂直シフトを何度も実行することによって、１次元マッチングハードウェアを用いて、２次元探索が実行される。

抽出された（垂直）コスト値の組が、（垂直）コストキューブ５２を構築する。図３を参照されたい。図３のコストキューブ５２の前面は、画像４０、４１のサイズを有し、一方、第３の次元は、実行される垂直シフトに関する垂直コスト値によって形成される。単に一例として図３に与えられる数は、上記で言及されたように、１０２４ｐｘ×２８８ｐｘを有する画像と、ピクセルごとに計算された３３個の垂直コスト値とに関連する。それゆえ、コストキューブ５２は３３単位の深度であり、概ね１０＾７個のコスト値を含む。

一例として、図２の画像要素４４’は、最も低いコスト値を有することができ、すなわち、他方の画像の画像要素４３との最良の垂直一致を有することができる。最良の垂直一致を与える、中央画像要素４４から画像要素４４’への矢印は、画像要素４４’の垂直シフト４５である。コストキューブ内のピクセルごとに、３３個の対応するコスト値のうちの最も低いコスト値を識別することによって、大きいコストキューブ５２から、１０２４×２８８垂直シフトマップを抽出することができる。しかしながら、そのような大きなシフトマップは、計算コストが非常に高くなる。

本発明において計算コストを下げるために、大きなコストキューブ５２から、図３の右側に示される縮小コストキューブ５０が計算されることが好ましい。これは、複数の画像要素又はピクセルを、ｎ×ｍピクセルのより大きな画像領域にまとめることによって行われる。ただし、ｎ及びｍは１より大きい整数であり、好ましくは少なくとも５であり、より好ましくは少なくとも１０である。検討対象の画像領域の数は、好ましくは少なくとも１０であり、及び／又は好ましくは画像内のピクセルの全数の少なくとも１０分の１であり、より好ましくは少なくとも１００分の１である。実際の実施形態において、１０２４ｐｘ×２８８ｐｘフル画像は、図３に示されるような６４ｐｘ×４８ｐｘの領域にまとめることができ、その結果、１６×６＝９６個の画像領域が生成される。画像領域ごとに、まとめられた一致スコアタプル（ここでは、３３個の垂直シフトコスト値を含む）、又はまとめられたコストタプルは、例えば、検討対象の画像領域に属する大きいコストキューブ５２のｎ×ｍ個のコストタプル（例えば、６４×４８）の総和、又は平均として計算される。この結果として、例えば、１６×６×３３＝３１６８個の（まとめられた）コスト値を有する、はるかに小さいサイズの縮小コストキューブ５０が生成される。

より小さいコストキューブ５０の大きな利点は、バッファリングされる必要があるデータ量が大きく削減されることである。１つの垂直シフトに対応する、コストキューブ内の各水平面は、一度に計算することができる。それゆえ、大きいコストキューブ５２の場合に垂直シフトごとに１０２４×２８８個のコスト値を記憶しなければならない代わりに、この実施形態では、小さいコストキューブ５０の場合に垂直シフトごとに１６×６個のコスト値しか記憶される必要がなく、それは、３０００分の１未満まで削減される。

縮小コストキューブ５０から、シフトマップ４８が計算されることが好ましい。縮小コストキューブ５０内の画像要素４９ごとに、対応するコストタプルのうちの（ここでは、３３個の対応するコスト値のうちの）最良の一致スコア、すなわち、最も低いコスト値が特定される。この最良の一致スコア、すなわち、最も低いコスト値は、左画像／右画像内の画像領域間の最良の一致を与える特定の垂直シフトに相当する。各要素４９の垂直シフトは、例えば、１６×６個の画像領域４９から構成される２次元シフトマップ４８をもたらす。それゆえ、シフトマップ４８は、最良の一致を与える垂直シフトがシフトマップ４８の各要素４９に割り当てられる２次元マップである。

シフトマップ４８から、ステレオマッチングに影響を及ぼすピッチ角誤差、ロール角誤差及び他のパラメーターを簡単に計算することができる。例えば、同じ方向、ここでは上方を指しており、同じサイズを有するシフトマップへの寄与からピッチ誤差を推定することができる。図４を参照されたい。右側及び左側において反対方向を指しており、中央から左右に向かって増加するシフトマップへの寄与からロール誤差を推定することができる。図５を参照されたい。上側及び下側において反対方向を指しており、中央から上下に向かって増加するシフトマップへの寄与から両方の撮像デバイス間の焦点距離差又は焦点距離ドリフトを計算することができる。図６を参照されたい。

実際には、図４及び図５に示される純粋なパターンの一次結合が、シフトマップ４８において生じる可能性が高い。適した処理技法を用いて、シフトマップ４８から、ピッチ角誤差及びロール角誤差からの寄与を抽出することができる。

後続の修正及び／又はステレオマッチングにおいてこれらの誤差を補償できるようにするために、計算されたピッチ角誤差及びロール角誤差が前処理セクション１３にフィードバックされることが好ましい。

Claims (14)

1. 自動車用視覚システム（１０）であって、
   ステレオ撮像装置（１１）を形成する一対の撮像デバイス（１２ａ、１２ｂ）と、
   前記ステレオ撮像装置（１１）によって取り込まれた画像の修正と、修正画像のステレオマッチングとを実行し、ステレオマッチングされた画像から、前記自動車の周囲にある物体を検出するように構成されるデータ処理装置（１４）とを備え、
   前記データ処理装置（１４）は、一方の撮像デバイスからの修正画像内のピクセル毎又は複数のピクセルからなる領域毎に、各画像要素（４３）に対して、他方の撮像デバイスからの対応する修正画像内の最も一致する画像要素（４４’）の探索を実行するように構成され、
   前記探索は、２次元探索エリアを対象にし、前記各画像要素（４３）から前記最も一致する画像要素（４４’）への垂直シフトが導出可能である垂直シフト情報をもたらし、
   前記データ処理デバイス（１４）は、前記垂直シフト情報から、前記撮像デバイス（１２ａ、１２ｂ）間のピッチ角誤差及び／又はロール角誤差を計算するように構成されることを特徴とする、自動車用視覚システム。
2. 前記垂直シフト情報は、検討対象の前記画像要素（４３）と、検討対象の前記画像要素（４３）に対して異なる垂直成分だけシフトされた他方の撮像デバイスからの対応する画像の複数の画像要素（４４）との間の垂直一致度を示す複数の一致関連スコアを含み、それにより、垂直マッチングコストキューブ（５２）が生成されることを特徴とする、請求項１に記載の視覚システム。
3. 複数の画像要素がより大きな画像領域（４９）にまとめられ、垂直シフトごとに、該画像領域（４９）内の各画像要素から前記一致関連スコアが累積され、それにより、縮小サイズのマッチングコストキューブ（５０）が生成されることを特徴とする、請求項２に記載の視覚システム。
4. 画像領域（４９）ごとに最良の一致を与える前記垂直シフトは、前記縮小コストキューブ（５０）から特定され、それにより、垂直シフトマップ（４８）が生成されることを特徴とする、請求項３に記載の視覚システム。
5. 前記データ処理デバイス（１４）は、前記垂直シフト情報から、両方の撮像デバイス間の焦点距離差を計算するように構成されることを特徴とする、請求項１〜４のいずれか一項に記載の視覚システム。
6. 前記垂直シフト情報は、検討対象の各画像要素（４３）から、前記他方の撮像デバイスからの前記対応する修正画像内の前記最も一致する画像要素（４４’）へのベクトルを含むことを特徴とする、請求項１〜５のいずれか一項に記載の視覚システム。
7. 前記ベクトルの垂直成分から垂直シフトマップ（４８）が導出されることを特徴とする、請求項６に記載の視覚システム。
8. 最小化関数、特に最小二乗最小化関数を同時に用いて、前記シフトマップ（４８）からピッチ誤差及びロール誤差が計算されることを特徴とする、請求項４又は７に記載の視覚システム。
9. 前記探索は、１次元水平探索エンジンを使用し、垂直方向において互いに対して異なる量だけシフトされる複数の１次元水平探索（４５〜４７）を実行することによって実行されることを特徴とする、請求項１〜８のいずれか一項に記載の視覚システム。
10. 前記１次元水平探索エンジンは、前記ステレオマッチングプロセスと、前記探索とを、時分割によって非同時に実行するために使用されることを特徴とする、請求項９に記載の視覚システム。
11. 前記探索は、前記ステレオマッチングプロセスの空きタイムスロットにおいて、及び／又は前記ステレオマッチングプロセスと交互のタイムスロットにおいて実行されることを特徴とする、請求項１０に記載の視覚システム。
12. 前記探索は、２次元探索エンジンを使用して、詳細には、オプティカルフロー計算を実行することができるアルゴリズムを利用して実行されることを特徴とする、請求項１〜８のいずれか一項に記載の視覚システム。
13. 前記計算されたピッチ角誤差及び／又はロール角誤差は、後の修正及び／又はステレオマッチングプロセスにおいて使用されることを特徴とする、請求項１〜１２のいずれか一項に記載の視覚システム。
14. ステレオ撮像装置（１１）を形成する一対の撮像デバイス（１２ａ、１２ｂ）を使用する、自動車用視覚方法であって、前記ステレオ撮像装置（１１）によって取り込まれた画像の修正と、修正画像のステレオマッチングと、ステレオマッチングされた画像から前記自動車の周囲にある物体を検出することとを含み、一方の撮像デバイスからの修正画像内のピクセル毎又は複数のピクセルからなる領域毎に、各画像要素（４３）に対して、他方の撮像デバイスからの対応する修正画像内の最も一致する画像要素（４４’）の探索を実行することであって、前記探索は、２次元探索エリアを対象にし、前記各画像要素（４３）から前記最も一致する画像要素（４４’）への垂直シフトが導出可能である垂直シフト情報をもたらすことと、前記垂直シフト情報から、前記撮像デバイス（１２ａ、１２ｂ）間のピッチ角誤差及び／又はロール角誤差を計算することとを特徴とする、視覚方法。

Images