JP4053314B2 - Stereo image misalignment adjusting device, misalignment adjusting method, and stereo monitoring device - Google Patents

Description

【数２】

【００１９】
基準画像に関するアフィンパラメータθ1，Ｋの内、画像の拡大を規定する拡大パラメータＫは固定値（初期設定値）であるが、画像の回転を規定する回転パラメータθ1は可変値である。また、比較画像に関するアフィンパラメータθ2，SHFTI，SHFTJの内、拡大パラメータＫと、画像の水平方向への移動を規定する水平パラメータSHFTIとは固定値であるが、回転パラメータθ2と、画像の垂直方向への移動を規定する垂直パラメータSHFTJとは可変値である。可変パラメータθ1，θ2，SHFTJの値は、マイクロコンピュータ９によって随時算出され、監視制御と並行して、リアルタイムで補正される。回転パラメータθ1，θ2を可変値とすることで、本来のカメラ基線（エピポーラライン）に対する基準画像の回転ずれと比較画像の回転ずれとが解消される。また、垂直パラメータSHFTJを可変値とすることで、基準画像を基準とした比較画像の垂直方向のずれが解消される。ステレオ画像に対してアフィン変換を施すことにより、ステレオマッチングの精度を確保する上で重要となる「エピポーララインの一致」、すなわち、基準画像と比較画像との間における水平線の一致が保証される。なお、アフィン変換回路のハードウェア構成については、特開平１０−３０７３５２号公報に記述されているので、必要ならば参照されたい。
【００２０】
このような画像処理を経て、メインカメラ１の出力信号から、例えば、水平方向が512画素、垂直方向が200画素で構成された１フレーム相当の基準画像データが得られる。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する１フレーム相当の比較画像データが生成される（一例として、水平方向が640画素、垂直方向が200画素）。これらの基準画像データおよび比較画像データは、後段の画像データメモリ７に格納される。
【００２１】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて距離データを算出する。この距離データは、一例として、4×4画素の画素ブロックを算出単位とし、１フレーム相当の基準画像全体では128×50個の距離データが算出され得る。基準画像中の１画素ブロックを対象とした場合、その対象画素ブロックの輝度特性と相関を有する領域を比較画像を探索することにより特定する（ステレオマッチング）。周知のとおり、ステレオ画像に写し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像の探索を行う場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上を１画素ずつシフトしながら、画素ブロック毎に対象画素ブロックとの相関を評価する。
【００２２】
２つの画素ブロックの相関は、例えば、数式３に示すシティブロック距離ＣＢ（基本形）を算出することにより評価することができる。同数式において、ｐijは一方の画素ブロックのｉｊ番目の画素の輝度（輝度データ）であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度データである。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数３】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２３】
基本的には、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが対象画素ブロックの相関先と判断される。このようにして特定された相関先と対象画素ブロックとの間の視差から距離データが出力される。なお、シティブロック距離を算出するためのハード構成については、特開平５−１１４００９号公報に開示されているので、必要ならば参照されたい。以上の手法によって算出された距離データは、後段の距離データメモリ８に格納される。
【００２４】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、道路形状（白線）や車輌前方の立体物（走行車）といった対象物を認識する。対象物の認識は、画像データメモリ７に記憶された画像データと距離データメモリ８に格納された距離データとに基づいて行われる。また、図示していない車速センサ、舵角センサからのセンサ情報、或いは、ナビゲーション情報等も必要に応じて参照される。そして、これらの認識結果に基づいて、認識部１０は、前方のカーブや立体物に対する警報が必要と判定した場合、モニタやスピーカー等の警報装置１１を作動させてドライバーに注意を促す。また、認識部１０は、必要に応じて、制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウン、エンジン出力の抑制、或いはブレーキの作動といった車輌制御を実行する。
【００２５】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである補正演算部１３）は、図２から図４までのフローチャートに示すルーチンにしたがい、基準画像の回転パラメータθ1の値、比較画像の回転パラメータθ2の値、および、比較画像の垂直パラメータSHFTJの値をリアルタイムで補正する。補正されたこれらのパラメータθ1，θ2，SHFTJは、補正回路５ａ，５ｂに随時フィードバックされる。なお、このルーチンは、所定の間隔で繰り返し実行される。
【００２６】
まず、ステップ１において、補正演算部１３は、ｉ番目の基準領域Ｒiを、基準画像平面上にランダムに設定し、この基準領域Ｒi内の輝度データｐと距離データｄとを読み込む。ここで、ｉは、基準領域Ｒiの設定個数をカウントする変数である。この変数ｉの初期値は１であり、所定値（例えばｉ＝20）に到達するまで、ステップ１２によって順次インクリメントされる。図６に示すように、基準領域Ｒiは、所定の面積（一例として16×16画素）を有する。基準画像平面における基準領域Ｒiの位置を基準点ａiで表す。本実施形態では、基準領域Ｒiの左下隅を基準点ａiとする。例えば、１番目の基準領域Ｒ1の位置は、基準点ａ1（ir1，jr1）で表される。本ステップ１以降ステップ１０までの処理対象は、ステップ１で設定された基準領域Ｒiである。
【００２７】
ステップ２において、基準領域Ｒiのエッジ数ＥＮが算出される。図７に示すように、基準領域Ｒi中には、4×4個の距離データｄ、そして16×16個の輝度データｐが存在する（同図の右側に示した輝度ブロックは、距離データｄ1が算出された画素ブロックに相当している）。これら256個の輝度データｐから、水平方向において隣接した画素対毎に輝度差（輝度変化量）Δｐ（絶対値）が算出される。ただし、基準領域Ｒの一番左側に位置した画素列（例えば、距離データｄ1に係る画素ブロックについてはｐ11，ｐ12，ｐ13，ｐ14（距離データｄ5，ｄ9，ｄ13に係る画素ブロックについても同様））に関しては、その左側に隣接した画素より輝度変化量Δｐが算出される。結果的に、256個の輝度変化量Δｐが算出される。つぎに、基準領域Ｒiが輝度エッジを有するか否かを評価するために、256個の輝度変化量Δｐの内、所定の判定しきい値以上のものの数をカウントし、その数を基準領域Ｒiのエッジ数ＥＮとする。
【００２８】
つぎに、ステップ３において、基準領域Ｒiに関する距離データの分布を求め、その最大出現度数ＭＡＸＮと最頻距離値ＭＦＤとが算出される。上述したように、距離データは、１つの視差の算出単位である4×4の画素ブロック毎に１つ算出されるため、１つの基準領域Ｒ内には16個の距離データｄiが存在する。図８は、基準領域Ｒi内に含まれる距離データｄi（ｉ＝1〜16）のヒストグラムの説明図である。同図において、横軸は距離データｄiの値、縦軸は出現度数である。このような分布から、最も大きな出現度数が最大出現度数ＭＡＸＮとして特定され、出現度数が最も大きな距離データｄiの値が最頻距離値ＭＦＤとして特定される。
【００２９】
ステップ２およびステップ３で算出された値ＥＮ，ＭＡＸＮ，ＭＦＤに基づき、ステップ４からステップ７において、ステップ１で設定された基準領域Ｒiが、二次元マッチングを行うのに”適した領域”であるかが評価される。本実施形態では、下記の４つの判定条件（ステップ４〜ステップ７）の全てを具備する場合に、基準領域Ｒiが二次元マッチングを行うのに”適した領域”であると判断する。
【００３０】
（判定条件）
１．エッジ数ＥＮが所定の最小規定値ＥＮ min よりも大きいこと（ステップ４）
基準領域Ｒiの相関先を探索する際、そのエッジ数ＥＮが小さい（すなわち輝度エッジがあまり存在しない）とミスマッチが起こりやすい。そこで、二次元マッチングの精度の向上を図るために、適切に設定された最小規定値ＥＮminよりもエッジ数ＥＮが大きいこと、すなわち、基準領域Ｒiが輝度エッジを有することを条件とする。
【００３１】
２．エッジ数ＥＮが所定の最大規定値ＥＮ max （ＥＮ max ＞ＥＮ min ）よりも小さいこと（ステップ５）
例えば、垣根や林等が写し出された領域の相関先を探索する場合、茂みの陰影により同様の輝度エッジが多数存在するため、適切な相関先を特定することが困難となる。したがって、二次元マッチングの精度を向上させる観点から、基準領域Ｒi内に垣根等が写し出されている場合、その基準領域Ｒiはマッチングを行うのに適切な領域ではないと判断する。垣根等が写し出されている状況では、その茂みの陰影により通常よりも多数の輝度エッジが出現する傾向がある。そこで、このような観点で適切に設定した最大規定値ＥＮmaxとエッジ数ＥＮとを比較することにより、その基準領域Ｒiが二次元マッチングに適した領域であるか否かを判断する。
【００３２】
３．最大出現度数ＭＡＸＮがピーク判定規定値ＭＡＸＮ th よりも大きいこと（ステップ６）
この判定条件は、オクリュージョンの影響を評価するものである。オクリュージョンの影響をあまり受けていない場合、図８に示したヒストグラムにおいて大きなピークが一つ出現する傾向がある。これに対して、オクリュージョンの影響が大きくなると、その影響が大きいほどピークは低下し、小さなピークが複数個出現するという傾向がある。このような見地から、ピーク判定規定値ＭＡＸＮthを適切に設定し、最大出現度数ＭＡＸＮがピーク判定規定値ＭＡＸＮthよりも大きい場合、その基準領域Ｒiはオクリュージョンの影響を受けておらず評価に適した領域であると判断する。
【００３３】
４．最頻距離値ＭＦＤが所定範囲以内であること（ステップ７）
この判定条件は、距離データに関するノイズの影響を評価するためのものである。通常、基準領域Ｒi内の距離データの値は、所定の距離レンジ内に収まる傾向がある。これは、通常、基準領域Ｒi内に写し出される対象物までの距離は、所定のレンジ内に収まる傾向があるからである。したがって、基準領域Ｒiに通常写し出されるであろう対象物までの距離を考慮して、それに応じた距離レンジを設定しておく。そして、最頻距離値ＭＦＤがこの範囲からはずれている場合、この基準領域Ｒiは、評価に適さない領域であると判断する。本実施形態では、16ｍ〜70ｍ（画素ずれ量としては24画素〜6画素）を所定範囲として設定している。
【００３４】
以上のような４つの判定条件に基づき、基準領域Ｒiがステレオマッチングに”適した領域”であると判断された場合のみ、ステップ４からステップ７までの各判断を経て、図３のステップ８に進む。それ以外の場合は、本ルーチンを抜ける。
【００３５】
ステップ８からステップ１０までの各手順は、一致点Ｐi、すなわち、基準領域Ｒiの相関先の処理に関する。まず、ステップ８において、基準領域Ｒi内の距離データｄ（具体的には最頻距離値ＭＦＤ）に基づき、探索範囲Ｓiが比較画像において設定される。図６に示した基準領域Ｒ1を例に説明すると、基準画像平面において、基準領域Ｒ1の位置を示す基準点ａ1の座標を（ir1，ij1）とし、その最頻距離値をＭＦＤ1とする。ステレオ法の原理上、基準領域Ｒ1の相関先（基準領域Ｒ1と同一面積である16×16画素ブロック）は、基準領域Ｒ1の基準点ａ1に水平方向のずれ（最頻距離値ＭＦＤ1）を加えた位置ａs1（ir1＋ＭＦＤ1，j1）付近に存在する。そこで、予想される上下左右の最大ずれ量を例えば4画素ほど見込み、位置ａs1を基準に上下左右方向に４画素ずらした領域、すなわち24×24画素の領域を探索範囲Ｓ1として設定する。なお、探索範囲Ｓ1の位置を設定する他の手法として、最頻距離値ＭＦＤiを用いた場合よりも精度が劣る可能性があるものの、基準領域Ｒ1内の距離データｄの平均値を最頻距離値ＭＦＤ1に代えて用いてもよい。
【００３６】
そして、ステップ８において設定された探索範囲Ｓi内において、一致点Ｐiが算出される（ステップ９）。ここで、「一致点Ｐi」とは、基準領域Ｒiの相関先に関する比較画像平面上の位置である。図５は、ある探索範囲Ｓiにおける一致点Ｐiの詳細な算出手順を示すフローチャートである。まず、ステップ５１において、基準領域Ｒiと、探索範囲Ｓiに存在する１６×１６画素の画素領域とのシティブロック距離ＣＢの分布が算出される。シティブロック距離ＣＢは、探索範囲Ｓi内に存在する画素ブロック（基準領域Ｒiと同一面積で16×16画素）毎に上述した数式３に基づいて算出される。探索範囲Ｓiの全域に渡って比較対象を水平／垂直方向に１画素ずつオフセットさせながら（二次元マッチング）、比較対象毎に１つのシティブロック距離ＣＢが算出される。したがって、１つの探索範囲Ｓiにおいて81個（9×9）のシティブロック距離ＣＢが算出される。これにより、図９に示す探索範囲Ｓi全域におけるシティブロック距離ＣＢの分布が得られる。
【００３７】
ステップ５１に続くステップ５２以降において、探索範囲Ｓiにおける一致点Ｐiが計算される。この一致点Ｐiは、基本的には、シティブロック距離ＣＢが極小となる点、すなわち、相関が最も大きい点の座標（ｉmin,ｊmin）として与えられる。しかしながら、この座標（ｉmin,ｊmin）は離散的な値であり、１画素以下の精度で位置を指定することができない。そのため、この値を画像の位置ずれ補正における入力変数として直接用いるのは、位置の調整精度の観点から好ましくない。そこで、上記座標（ｉmin,ｊmin）を仮の一致点Ｐi’とし、以下の処理によって、１画素以下の分解能で位置表示が可能な（真の）一致点Ｐi（ｉsub,ｊsub）を求める。
【００３８】
なお、シティブロック距離ＣＢの極小値が所定のしきい値よりも大きい場合は、相関が不明確であると判断して、そのサイクルにおける一致点Ｐiの算出をスキップするようにしてもよい。これにより、適切でない相関先が特定されてしまうことを避けることができる。
【００３９】
以下、一致点Ｐiのｉ座標値、すなわち、シティブロック距離ＣＢの値が最も小さくなる極小点のｉ座標値の算出手法について説明する、なお、これとまったく同様の手法で一致点Ｐiのｊ座標値も算出することができるので、ｊ座標値の算出手順については説明を省略する。図１０は、ｊmin列の極小点近傍におけるシティブロック距離ＣＢの分布特性を説明するための図であり、ステップ５１で算出されたシティブロック距離ＣＢの値を丸印でプロットしている。画素の面積が限りなく小さいと仮定した場合、シティブロック距離ＣＢは破線で示したように、極小点近傍において左右対称でかつ連続的に分布するという特性を有する。このような観点から、破線の極小値、すなわち一致点Ｐiのｉ座標値は、仮の一致点Ｐi’のｉ座標値とは異なる。
【００４０】
そこで、シティブロック距離ＣＢの分布が極小点近傍において左右対称となる特性を用いて、ステップ５２以降の手順において、仮の一致点Ｐi'を基準として右側のシティブロック距離ＣＢの差と左側のそれとを比較する。そして、直線近似によって、極小点、すなわち一致点Ｐiのｉ座標値を算出する。まず、ステップ５２において、数式４に示したように、仮の一致点Ｐi’のｉ座標値ｉminに対するｉ座標値ｉmin−１の変化量を求める。これにより、仮の一致点Ｐi’よりも左側におけるシティブロック距離ＣＢの変化量を評価する。同様に、仮の一致点Ｐi’のｉ座標値ｉminに対するｉ座標値ｉmin＋１の変化量を求めることで、仮の一致点Ｐi’よりも右側のシティブロック距離ＣＢの変化量を評価する。
【数４】
ΔＣＢ0＝ＣＢ[ｉmin−１,ｊmin]−ＣＢ[ｉmin,ｊmin]
ΔＣＢ1＝ＣＢ[ｉmin＋１,ｊmin]−ＣＢ[ｉmin,ｊmin]
【００４１】
つぎに、ステップ５３において、ステップ５２で算出された左側のシティブロック距離差ΔＣＢ0と右側のシティブロック距離差ΔＣＢ1とを比較する。シティブロック距離ＣＢの分布が極小点周りで対称になる特性に基づき、極小点が座標値（ｉmin−１）〜ｉmin間または座標値ｉmin〜（ｉmin＋１）間のどちらに存在するのかを判断することができる。
【００４２】
ステップ５３において肯定判定された場合、すなわち、仮の一致点の座標値ｉmin近傍で、シティブロック距離ＣＢの変化が座標値ｉminの左側よりも右側の方で大きい場合、極小点は座標値ｉmin〜（ｉmin−１）間に存在すると判断される。この場合はステップ５４に進み、点ＣＢ[ｉmin,ｊmin]と点ＣＢ[ｉmin＋１,ｊmin]とを結ぶ直線Ｌ１の傾きｍを算出する。そして、それに続くステップ５５において、点ＣＢ[ｉmin−１,ｊmin]を通り、かつ傾きが−ｍとなる直線Ｌ２を算出する。そして、ステップ５５に続くステップ５８において、算出された２本の直線Ｌ１,Ｌ２の交点を計算し、この交点を真の極小点（すなわち一致点Ｐiのｉ座標値ｉsub）とする。
【００４３】
一方、ステップ５３において否定判定された場合、すなわち、仮の一致点の座標値ｉmin近傍で、シティブロック距離ＣＢの変化が座標ｉminの右側よりも左側の方で大きい場合、極小点は、座標値ｉmin〜（ｉmin＋１）間に存在すると判断される。この場合はステップ５６に進み、点ＣＢ[ｉmin,ｊmin]と点ＣＢ[ｉmin−１,ｊmin]とを結ぶ直線Ｌ１の傾きｍを算出する。それに続くステップ５７において、点ＣＢ[ｉmin＋１,ｊmin]を通り、傾きが−ｍとなる直線Ｌ２を算出する。そして、ステップ５６においてこれらの直線Ｌ１，Ｌ２の交点を算出することで、一致点Ｐiのｉ座標値ｉsubを決定する。
【００４４】
図１１は、左側のシティブロック距離差ΔＣＢ0の方が右側の差ΔＣＢ1よりも大きい場合に算出された直線Ｌ１，Ｌ２を示している。同図からわかるように、極小点近傍におけるシティブロック距離ＣＢの分布を直線Ｌ１，Ｌ２で近似し、その交点を求める。そして、この交点を一致点Ｐiのｉ座標値ｉsubとして決定する。
【００４５】
一致点Ｐiのｉ座標値ｉsubの算出手法と同じ手法を用いて、一致点Ｐiのｊ座標値ｊsubを算出する。これにより、基準領域Ｒiと最も大きな相関を有する対象領域の位置Ｐi（ｉsub，ｊsub）（すなわち、サブピクセルレベルの一致点）を、１画素以下の分解能で算出することができる。
【００４６】
図３のステップ１０において、基準領域Ｒiに関して算出された一致点データ（ir，dj，dpix）がマイクロコンピュータ９中のメモリ（図示せず）に一時的に格納される（ステップ１０）。一致点データは、基準水平位置ir、垂直ずれ量djおよび水平ずれ量dpixが対応付けられたデータセットである。基準水平位置irは、基準画像平面上における基準領域Ｒiの水平位置（基準点ａiのｉ座標値）であり、例えば、基準領域Ｒ1ではir1になる。垂直ずれ量djは、基準点ａiと、これが対応する一致点Ｐiとの間の垂直方向のずれ量、換言すれば、基準領域Ｒiとこの相関先との相対的な垂直ずれ量（サブピクセルレベル）である。例えば、基準領域Ｒ1に関して算出されたサブピクセルレベルの一致点Ｐ1のｊ座標値がｊsub1とすると、この基準領域Ｒ1の垂直ずれ量djは（ｊsub1−jr1）になる。また、水平ずれ量dpixは、基準点ａiと、これが対応する一致点Ｐiとの間の水平方向のずれ量、換言すれば、基準領域Ｒiとこの相関先との相対的な水平ずれ量（サブピクセルレベル）である。例えば、基準領域Ｒ1に関して算出されたサブピクセルレベルの一致点Ｐ1のｉ座標値がｉsub1とするとこの基準領域Ｒ1の水平ずれ量dpixは（ｉsub1−ir1）になる。
【００４７】
ステップ１１において、一致点データ（ir，dj，dpix）が所定のサンプル個数（例えば20個）だけストアされたか否か、すなわち、変数ｉが20に到達したか否かが判断される。このステップ２０で否定判定された場合は、ステップ１２に進み、ｉに１を加算して、本ルーチンを抜ける。そして、本ルーチンの次の実行サイクルで、次の基準領域Ｒi+1がランダムに設定され、これを処理対象に上述したステップ１〜１０が実行されることで、次の基準領域Ｒi+1に関する一致点データが算出される。これにより、基準領域Ｒ1，Ｒ2，Ｒ3，・・・の順で、一致点データが順次算出・ストアされる。そして、ストアされた一致点データの数がサンプル個数（＝20）に到達すると、ステップ１１の判定結果が否定から肯定に変わり、図４のステップ１３に進む。
【００４８】
サンプル個数分の基準領域Ｒ1〜Ｒ20を設定するにあたり重要なことは、これらを基準画像平面上に分散させ、ばらつかせることである。このばらつきが保証される限り、基準領域Ｒ1〜Ｒ20を、１フレームの基準画像内に設定する必要は必ずしもなく、複数フレームの基準画像に亘って設定してもよい。その結果、サンプルデータである基準水平位置irおよび水平ずれ量dpixもばらつき、後述する（ir，dj，dpix）空間において、サンプルデータir，dpixが局所的に集中することを防ぐ。
【００４９】
ステップ１３において、メモリにストアされた20サンプル分の一致点データ（ir，dj，dpix）が読み出される。続くステップ１４では、読み出された一致点データに基づいて、基準水平位置ir群のヒストグラムと水平ずれ量dpix群のヒストグラムとがそれぞれ生成され、これらのばらつきが評価される。図１２は、基準水平位置irのヒストグラムの説明図である。同図において、横軸は基準水平位置irの値、縦軸はその出現度数である。このヒストグラムに基づき、基準水平位置irの分散ＶＥＲirが算出される。本実施形態では、（ir，dj，dpix）空間における平面を一義に特定し、この平面を規定するパラメータＡ，Ｂ，Ｃより、アフィンパラメータθ1，θ2，SHFTJを算出する。そのため、上記空間において、サンプルとして抽出された基準水平位置irが局所的に集中していると、信頼性の高い平面を規定できない。そこで、このステップ１４で、基準水平位置irのばらつきの程度を示す分散ＶＥＲirを算出している。
【００５０】
図１３は、水平ずれ量dpixのヒストグラムの説明図である。同図において、横軸は水平ずれ量dpixの値、縦軸はその出現度数である。このヒストグラムに基づき、水平ずれ量dpixの分散ＶＥＲdpixが算出される。この分散ＶＥＲdpixを算出する理由は、基準水平位置irと同様に、サンプルとして抽出された水平ずれ量dpixが（ir，dj，dpix）空間において局所的に集中していると、信頼性の高い平面を規定できないからである。
【００５１】
ステップ１５では、基準水平位置irの分散ＶＥＲirが所定のしきい値ＶＥＲ1thよりも大きく、かつ、水平ずれ量dpixの分散ＶＥＲdpixが所定のしきい値ＶＥＲ2thよりも大きいか否かが判断される。このステップ１５で否定判定された場合、すなわち、基準水平位置irまたは水平ずれ量dpixの少なくとも一方がばらついていない場合には、信頼性の高い平面が規定できないと判断して、ステップ１９のパラメータ更新を行うことなく、ステップ２０に進む。そして、メモリにストアされていた全ての一致点データをクリアするとともに、変数ｉもクリアして、本ルーチンを抜ける。これに対して、ステップ１５で肯定判定された場合は、ステップ１６に進む。
【００５２】
ステップ１６では、全ての一致点データに対して、数式５で示す三次元平面方程式を当てはめ、最小二乗法またはハフ変換等によって、（ir，dj，dpix）空間上の平面を規定するパラメータＡ，Ｂ，Ｃが算出される。
【数５】
Ａ・ir＋Ｂ・dpix＋dj＋Ｃ＝０
【００５３】
ステップ１７では、ステップ１６で算出されたパラメータＡ，Ｂ，Ｃに基づき、三次元のカメラずれ量として、メインカメラ１の回転ずれ量ΔＴrと、サブカメラ２の回転ずれ量ΔＴlと、サブカメラ２の上下ずれ量ΔＶlとが数式６より算出される。
【数６】
ΔＴr＝Ａ−Ｂ
ΔＴl＝−Ｂ
ΔＶl＝−Ｃ
【００５４】
ここで、図１４を参照しながら、上記ずれ量ΔＴr，ΔＴl，ΔＶlとパラメータＡ，Ｂ，Ｃとの関係について説明する。メインカメラ１が反時計方向にΔＴrだけ回転している場合、基準画像の実際のエピポーララインＬ1’は、本来のエピポーララインＬ1に対してこの傾き値ΔＴr分回転する。一方、サブカメラ１が反時計方向にΔＴlだけ回転し、メインカメラ１に対して平行にΔＶlずれている場合、比較画像の実際のエピポーララインＬ2’は、本来のエピポーララインＬ2に対してΔＴrだけ回転し、ΔＶlだけ平行移動する。また、ある基準領域Ｒiに関して、基準画像上のその位置を基準点ａi（ir，jr）とし、比較画像上における相関先の位置を一致点Ｐi（il，jl）とする。この場合、垂直ずれ量djは、数式７のように変形できる。
【数式７】
dj＝jl−jr
＝ΔＶl＋ΔＴl・il−ΔＴr・ir
＝ΔＶl＋ΔＴl（dpix＋ir）−ΔＴr・ir
＝ΔＶl＋（ΔＴl−ΔＴr）ir＋ΔＴl・dpix
【００５５】
上記変形は、（ir，dj，dpix）空間中で、１つの平面が構成されることを示している。そして、理論的には、サンプルデータとして抽出された全ての一致点データは、この平面上に存在する。そこで、（ir，dj，dpix）空間内に一致点データを配し、最小二乗法等により三次元平面（Ａ・ir＋Ｂ・dpix＋dj＋C＝０）を特定する。これにより、上述した数式６に示す関係式が一義的に導出される。
【００５６】
続くステップ１８では、ずれ量ΔＴr，ΔＴl，ΔＶlが所定のしきい値ΔＴrth，ΔＴlth，ΔＶlthよりも大きいか否かが個別に判断される。このステップ１８で否定判定されたずれ量ΔＴr，ΔＴl，ΔＶlに関しては、対応するアフィンパラメータθ1，θ2，SHFTJの現在値が適切に設定されていると判断する。すなわち、ΔＴr≦ΔＴrthの場合はθ1の更新は行われず、ΔＴl≦ΔＴlthの場合はθ2の更新を行われず、ΔＶl≦ΔＶlthの場合はSHFTJの更新を行われない。そして、ステップ２０において、メモリにストアされていた一致点データ等を全てクリアし、本ルーチンを抜ける。
【００５７】
これに対して、ステップ１８で肯定判定されたずれ量ΔＴr，ΔＴl，ΔＶlに関しては、対応するアフィンパラメータθ1，θ2，SHFTJの更新処理が行われる（ステップ１９）。すなわち、ΔＴr＞ΔＴrthの場合はθ1が更新され、ΔＴl＞ΔＴlthの場合はθ2が更新され、ΔＶl＞ΔＶlthの場合はSHFTJが更新される。この更新処理では、数式８に従い、アフィンパラメータθ1，θ2，SHFTJの値が比例制御によって補正される。
【数８】
θ1←θ1−0.25×ΔＴr
θ2←θ2−0.25×ΔＴl
SHFTJ←SHFTJ−0.25×ΔＶl
【００５８】
すなわち、メインカメラ１の回転ずれ量ΔＴrに所定のゲイン（例えば0.25）を乗じた値を、アフィンパラメータθ1の現在値より減算する。補正演算部１３は、補正後のパラメータθ1を、基準画像のアフィン変換を行う補正回路５ａにフィードバックする。補正回路５ａは、補正後のパラーメータθ1を適用して、基準画像のアフィン変換を行う。これにより、メインカメラ１の回転ずれが解消される方向に、基準画像が回転する。また、サブカメラ２の回転ずれ量ΔＴlおよび上下ずれ量ΔＶlに所定のゲインを乗じた値を、アフィンパラメータθ2，SHFTJの現在値よりそれぞれ減算する。補正演算部１３は、補正後のパラーメータθ2，SHFTJを、比較画像のアフィン変換を行う補正回路５ｂにフィードバックする。補正回路５ｂは、補正後のパラーメータθ2，SHFTJを適用して、比較画像のアフィン変換を行う。これにより、サブカメラ２の回転／上下ずれが解消される方向に、比較画像が回転／上下移動する。そして、ステップ１９に続くステップ２０において、メモリにストアされていた一致点データ等が全てクリアされて、本ルーチンを抜ける。
【００５９】
このように、本実施形態では、基準水平位置ir、垂直ずれ量djおよび水平ずれ量dpixを含む一致点データに基づき、（ir，dj，dpix）空間における平面を特定することによって、カメラずれ量ΔＴr，ΔＴl，ΔＶが算出される。そして、これらのずれ量ΔＴr，ΔＴl，ΔＶlに応じて、基準画像のアフィンパラメータθ1と、比較画像のアフィンパラメータθ2，SHFTJとが、フィードバック制御によって調整される。このような調整をリアルタイムで行うことにより、経年変化や温度変化等によって、ステレオカメラの光学的位置にずれが生じた場合であっても、それを適切に解消することができる。その結果、ステレオ処理におけるミスマッチングの発生を低減し、距離データの信頼性を向上させることができ、ステレオ式監視装置の監視精度を一層向上させることが可能になる。
【００６０】
特に、本実施形態では、メインカメラ１の回転ずれも調整しているので、従来技術と比較して、距離データの算出精度を一層向上させることができる。従来は、カメラの位置ずれ（エピポーララインの不一致）に関して、三次元のずれの自由度（基準画像の回転、比較画像の回転および比較画像の上下）があるにも拘わらず、ずれ量を完全に算出することができなかった。なぜなら、メインカメラ１の回転ずれは存在しない、或いは、無視できる程微少である仮定し、２つのパラメータ（基準点の水平座標、基準点と一致点との垂直ずれ量）のみに基づいて、カメラの位置ずれ量を算出していたからである。そのため、メインカメラ１の光軸を含む水平面上にサブカメラ２の光軸が存在しない場合、従来は、エピポーララインを完全に一致させることができず、その結果、算出距離の精度を、対象物までの距離の全域に亘って確保することが困難であった。これに対して、本実施形態では、上記２つのパラメータに、基準点ａiと一致点Ｐiとの水平ずれ量を加えた三次元のパラメータを用いて、カメラの位置ずれを算出している。そのため、理論的には、三次元のずれを完全に求めることが可能になり、より正確な位置ずれ調整が可能になる。
【００６１】
また、本実施形態では、サンプルである基準水平位置irと水平ずれ量dpixとのばらつきを分散として評価した上で、これらの分散が所定のしきい値よりも大きい場合のみ、（ir，dj，dpix）空間上の平面パラメータＡ，Ｂ，Ｃを算出する。換言すれば、これらの分散が小さく、基準水平位置ir，水平ずれ量dpixが集中している場合には、平面パラメータＡ，Ｂ，Ｃを算出しない。これにより、サンプル群ir，dpixが局所的に集中している場合に、信頼性の低い平面が特定されるのを回避できるので、常に適切なアフィンパラメータθ1，θ2，SHFTJを算出できる。その結果、距離データの算出精度を一層向上させることが可能になる。なお、平面の信頼性を考慮しないのであれば、基準水平位置ir，水平ずれ量dpixのいずれか一方の分散のみを評価してもよく、或いは、双方を評価しなくてもよい。
【００６２】
また、本実施形態では、一致点Ｐiを探索する探索範囲Ｓiを、基準領域Ｒi内の距離データに基づいて比較的狭い範囲（本実施形態では24×24画素のエリア）に限定している。このように探索範囲Ｓiを絞り込むことで、一致点Ｐiの探索に要する演算量を大幅に低減することができる。その結果、マイクロコンピュータ９の処理能力をそれほど要求することなく、認識・監視制御と並行して、リアルタイムで位置ずれの調整を行うことができるという効果がある。
【００６３】
さらに、本実施形態では、基準領域Ｒiが二次元マッチングを行う上で適した領域であるか否かを評価し、適していると判断された基準領域Ｒiに基づいて、一致点Ｐiを算出している。これにより、精度の高い二次元マッチングを行うことができるため、信頼性の高い一致点Ｐiを算出することができる。その結果、精度の高いステレオ画像の位置ずれ調整を安定して行うことができる。
【００６４】
なお、上述した実施形態では、基準領域Ｒiの位置を基準画像平面上にランダムに設定している。しかしながら、基準領域Ｒiの位置的なばらつきが確保される限り、その位置をランダムに設定する必要は必ずしもなく、１フレームまたは複数フレームの基準画像において、予め位置を設定しておいてもよい。
【００６５】
また、上述した実施形態では、平面を規定する空間を（ir，dj，dpix）空間としているが、これに代えて（ir，dj，il）空間を用いてもよい。一致点Ｐiの水平位置ilおよび水平ズレ量dpixは、dpix＝il−irの関係にあり、ilが特定されればdpixも一義的に算出されるからである。このような観点より、本明細書において、「水平ずれ量」とは、水平ずれ量dpixそのもの、若しくは、水平ずれ量dpixを一義的に特定可能なパラメータを広く含む意味で用いている。
【００６６】
また、上述した実施形態では、アフィンパラメータθ1，θ2，SHFTJのすべてを補正しているが、本発明は、これに限定されるものではなく、補正対象となるアフィンパラメータθ1，θ2，SHFTJの少なくとも一つであってもよい。
【００６７】
さらに、上述した実施形態では、基準画像のアフィンパラメータは固定として、比較画像のアフィンパラメータを調整する例について説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、比較画像のアフィンパラメータを固定として、基準画像のアフィンパラメータを調整してもよい。
【００６８】
（第２の実施形態）
第１の実施形態では、算出平面の信頼性を担保するために、サンプルとして抽出された一致点データ（ir，dj，dpix）の内、パラメータir，dpixのばらつきを分散ＶＥＲir，ＶＥＲdpixによって個別に評価している。そして、双方がばらついている場合のみ、（ir，dj，dpix）平面の空間を算出している。しかしながら、図１５に示すようなケース、すなわち、（ir，dj，dpix）空間でサンプル点（ir，dpix）が略一直線上に並んでしまう極めて稀なケースでは、平面を一義的に特定できないという不都合が生じる。その結果、個々のパラメータir，dpixはばらついているにも拘わらず、不適切なアフィンパラメータθ1，θ2，SHFTJが算出され、距離データの精度低下を招くおそれがある。
【００６９】
そこで、本実施形態では、サンプルとして抽出された全ての一致点データを通る近似直線ＢＬを算出し、この近似直線ＢＬを基準としたばらつきを評価することで、上記不都合を解消する。基本的な処理の流れは、図２から図４に示したフローチャートと同様であるが、ステップ１４の手順のみが相違する。
【００７０】
具体的には、図４のステップ１４において、まず、全てのサンプル点（ir，dpix）を通る近似直線ＢＬを最小二乗法により算出する。つぎに、この近似直線ＢＬを基準とした基準水平位置irのばらつきを分散ＶＥＲirとして算出する。それとともに、近似直線ＢＬを基準とした水平ずれ量dpixのばらつきを分散ＶＥＲdpixとして算出する。算出された分散ＶＥＲir，ＶＥＲdpixは、図１５のケースでは共にほぼ０となり、近似直線ＢＬを基準にしたサンプル点（ir，dpix）のばらつきが大きくなるに従い大きくなる。そして、ステップ１４以降において、第１の実施形態と同様に、パラメータir，dpixのばらつきを評価する。
【００７１】
本実施形態のような分散算出手法を用いることにより、図１５に示すようなケースでは、ステップ１５の判定結果が否定となり、アフィンパラメータが更新されない。その結果、不適切なアフィンパラメータθ1，θ2，SHFTJが算出されるのを回避でき、距離データの精度低下を防止できる。
【発明の効果】
このように、本発明では、ステレオ画像のずれを自動的かつリアルタイムで調整することが可能になる。そして、位置ずれが適切に調整された画像情報に基づいて、対象物の認識を行えば、認識精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本実施形態に係るステレオ式車外監視装置のブロック構成図
【図２】アフィンパラメータの調整手順の一部を示すフローチャート
【図３】図２に続く手順を示すフローチャート
【図４】図３に続く手順を示すフローチャート
【図５】一致点の詳細な算出手順を示すフローチャート
【図６】基準画像における基準領域の説明図
【図７】基準領域に関する輝度データと距離データとの説明図
【図８】一基準領域に関する距離データｄのヒストグラムの説明図
【図９】一基準領域に関するシティブロック距離の分布図
【図１０】極小点近傍におけるシティブロック距離の分布特性の説明図
【図１１】直線近似による一致点の算出手法の説明図
【図１２】基準水平座標irのヒストグラムの説明図
【図１３】水平ずれ量dpixのヒストグラムの説明図
【図１４】ステレオ画像とカメラずれとの関係を示す図
【図１５】（ir，dj，dpix）空間において、サンプル点（ir，dpix）が略一直線上に並んだケースを示す図
【符号の説明】
１ メインカメラ
２ サブカメラ
３ アナログインターフェース
３ａ ゲインコントロールアンプ
４ Ａ／Ｄコンバータ
５ａ 補正回路
５ｂ 補正回路
６ ステレオ演算回路
７ 画像データメモリ
８ 距離データメモリ
９ マイクロコンピュータ
１０ 認識部
１１ 警報装置
１２ 制御装置
１３ 補正演算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an adjustment device, an adjustment method, and a stereo monitoring device that automatically adjust a positional deviation of a stereo image by a geometric image conversion process.
[Prior art]
In recent years, a stereo type monitoring apparatus using a pair of in-vehicle cameras (stereo cameras) incorporating a solid-state imaging device such as a CCD attracts attention. In the stereo method, which is one of the three-dimensional measurement techniques, a pixel block having a correlation with a pixel block in one image is specified in the other image (stereo matching). Then, distance data is calculated from the parallax, which is a relative shift amount between both images, using the principle of triangulation. Therefore, in order to increase the accuracy of stereo matching, in other words, in order to calculate highly reliable distance data, there may be no positional deviation other than parallax between a pair of images (stereo images). desirable. However, in practice, the stereo camera mounting position shifts within a range of errors due to mechanical mounting accuracy.
[0002]
In this regard, Japanese Patent Application Laid-Open No. 2001-82955 discloses a position shift adjustment device that corrects a position shift of a stereo camera in real time in parallel with monitoring control by performing affine transformation on a stereo image. . In this adjustment device, affine transformation corresponding to the value of the affine parameter is performed on the pair of captured images output from the stereo camera. The arithmetic unit corrects, as needed, a parameter value related to the rotational shift of the comparative image relative to the reference image and a parameter value related to the vertical shift (vertical shift) of the comparative image relative to the reference image. . For this purpose, first, a plurality of reference areas are set on the reference image plane after the affine transformation. These reference areas are arranged in a line apart from each other on the same horizontal line (reference line) of the reference image, and each has a predetermined area. Next, on the comparison image plane after the affine transformation, a correlation area having a correlation with each reference area is specified. Then, based on coincidence points indicating the positions of the identified individual correlation regions, approximate lines passing through these coincidence points are identified on the comparison image plane. The calculation unit corrects the value of the affine parameter related to the rotation shift of the comparison image and the vertical shift of the comparison image so that the approximate line on the comparison image side matches the reference line of the reference image.
[0003]
[Problems to be solved by the invention]
However, in the above prior art, it is assumed that the mounting position of the main camera that outputs the reference image is correctly adjusted, and only the adjustment relating to the rotational shift and vertical shift of the comparison image output from the sub camera is performed. Yes. However, when the main camera is mounted vertically shifted, in other words, when the optical axis of the sub camera is not on the horizontal plane including the optical axis of the main camera, the epipolar line is adjusted to be completely coincident. I can't. For this reason, there is a problem that the reliability of the distance data indicating the distance from the stereo camera to the object is lowered.
[0004]
Accordingly, an object of the present invention is to provide a novel adjustment device capable of correcting a positional deviation of a stereo image in real time in parallel with the monitoring control.
[0005]
Another object of the present invention is to adjust not only the comparison image output from the sub-camera but also the reference image output from the main camera in the stereo image misalignment adjustment, thereby improving the adjustment accuracy. It is to improve.
[0006]
Furthermore, another object of the present invention is to improve the recognition accuracy of an object in a stereo monitoring device by improving the reliability of distance data calculated based on a stereo image.
[0007]
[Means for Solving the Problems]
In order to solve such a problem, the first invention provides a stereo image misalignment adjusting apparatus. This adjustment device is set by a correction unit that performs affine transformation of a stereo image, a setting unit that sets a plurality of reference regions in one image output from the correction unit, and a setting unit according to the value of an affine parameter For each of the determined reference areas, the matching includes the horizontal position of the reference area in one image, the vertical shift amount between the reference area and the correlation destination, and the horizontal shift amount between the reference area and the correlation destination. A plane parameter that defines a plane in a space composed of a horizontal position, a vertical shift amount, and a horizontal shift amount based on a data calculation unit that calculates point data and a plurality of matching point data calculated by the data calculation unit And a correction calculation unit for correcting the value of the affine parameter based on the plane parameter calculated by the parameter calculation unit. .
[0008]
Here, in the first invention, the setting unit preferably sets the plurality of reference regions so as to be dispersed on one image plane. In this case, the setting unit may randomly set the reference area on one image plane. Further, it is preferable that the setting unit sets a reference area for a predetermined number of samples in a reference image of the same frame or a reference image of a plurality of frames.
[0009]
In the first invention, for each pixel block in one image, a stereo calculation unit that calculates the distance data of the pixel block by specifying the correlation destination of the pixel block in the other image may be further provided. . In this case, the data calculation unit sets a search range including the correlation destination of the reference area based on the distance data included in the reference area, and specifies the reference area and the correlation destination by searching this search area. It is preferable.
[0010]
In the first invention, the parameter calculation unit calculates a variance relating to the horizontal position based on the plurality of coincidence point data calculated by the data calculation unit, and the calculated variance is larger than a predetermined threshold value. In this case, the plane parameter may be calculated. The parameter calculation unit calculates a variance related to the horizontal shift amount based on the plurality of coincidence point data calculated by the data calculation unit, and when the calculated variance is larger than a predetermined threshold, A parameter may be calculated. In this case, the parameter calculation unit calculates an approximate straight line that passes through all the sample points defined by the horizontal position and the horizontal shift amount, and uses the approximate straight line as a reference to distribute the horizontal position and the horizontal shift amount. It is desirable to calculate as follows.
[0011]
In the first invention, the correction calculation unit includes an affine parameter that defines the rotation of one image, an affine parameter that defines the rotation of the other image, or an affine parameter that defines the movement of the other image in the vertical direction. It is preferable to correct at least one of the above.
[0012]
According to a second aspect of the present invention, a stereo image misalignment adjusting apparatus according to the first aspect of the present invention and the correction unit project the stereo image based on the distance data calculated from the stereo image that has been subjected to affine transformation. A stereo monitoring device having a recognition unit for recognizing a target object.
[0013]
The third invention provides a method for adjusting the displacement of a stereo image. This adjustment method includes a first step of performing affine transformation of a stereo image according to an affine parameter value, and a second step of setting a plurality of reference regions in one image on which affine transformation has been performed. For each of the reference areas, a coincidence point including the horizontal position of the reference area in one image, the vertical shift amount between the reference area and its correlation destination, and the horizontal shift amount between the reference area and the correlation destination A third step of calculating data, and a fourth step of calculating a plane parameter defining a plane in a space composed of a horizontal position, a vertical shift amount, and a horizontal shift amount based on a plurality of coincidence point data And a fifth step of correcting the value of the affine parameter based on the plane parameter.
[0014]
Here, in the second invention, it is preferable that the fourth step includes a step of calculating a variance relating to the horizontal position based on a plurality of matching point data. Then, it is desirable to calculate the plane parameter when the calculated variance is larger than a predetermined threshold value. In that case, it is preferable that the fourth step includes a step of calculating a variance relating to the horizontal shift amount based on a plurality of coincident point data. Then, it is desirable to calculate the plane parameter when the calculated variance is larger than a predetermined threshold value.
[0015]
In the second invention, the fourth step includes a step of calculating an approximate straight line that passes through all the sample points defined by the horizontal position and the amount of horizontal deviation, and a horizontal line based on the calculated approximate straight line. A step of calculating a variance relating to the position and a variance relating to the amount of horizontal deviation may be included.
[0016]
Further, in the second invention, the fifth step defines the affine parameter that defines the rotation of one image, the affine parameter that defines the rotation of the other image, or the movement of the other image in the vertical direction. Preferably, at least one of the affine parameters to be corrected is corrected.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
FIG. 1 is a block configuration diagram of a stereo-type vehicle exterior monitoring apparatus according to the present embodiment. A stereo camera that captures the scenery outside the vehicle is mounted in the vicinity of the room mirror, and is composed of a pair of cameras 1 and 2 that incorporate an image sensor such as a CCD. The cameras 1 and 2 are attached at a predetermined interval (camera base line length) in the vehicle width direction. The main camera 1 for obtaining the reference image data is attached on the right side in the traveling direction of the vehicle. On the other hand, the sub camera 2 for obtaining a comparative image is attached on the left side in the traveling direction. In a state where the camera pairs 1 and 2 are synchronized, images (stereo images) output from the cameras 1 and 2 are adjusted in the analog interface 3 so as to match the input range of the subsequent circuit. Further, the brightness balance of the image is adjusted by a gain control amplifier (GCA) 3 a in the analog interface 3.
[0018]
The analog image adjusted in the analog interface 3 is converted by the A / D converter 4 into a digital image having a predetermined luminance gradation (for example, a gray scale of 256 gradations). The correction circuits 5a and 5b perform affine transformation on each digitized image. An error relating to the mounting position of the stereo cameras 1 and 2 and a shift (rotation shift or translation shift) of the stereo image caused by the error are equivalently corrected by performing affine transformation on the image. In this specification, the term “affine transformation” is used to collectively refer to rotation, movement, enlargement / reduction, or geometric coordinate transformation that approximates these. In this embodiment, the linear transformation shown in Formulas 1 and 2 is performed on the stereo image using four affine parameters. Formula 1 shows a conversion formula of affine transformation for the reference image performed by the correction circuit 5a, and Formula 2 shows a conversion formula of affine transformation for the comparison image performed by the correction circuit 5b. In the equation, (i, j) is the coordinates of the original image, and (i ′, j ′) is the coordinates after conversion. The affine parameters SHFTI and SHFTJ indicate movement in the i direction (the horizontal direction of the image) and movement in the j direction (the vertical direction of the image), respectively. The affine parameters θ (θ1, θ2) indicate rotation, and the affine parameters K indicate K-fold enlargement (reduction when | K | <1).
[Expression 1]

[Expression 2]

[0019]
Of the affine parameters θ1 and K related to the reference image, the enlargement parameter K that defines image enlargement is a fixed value (initial setting value), but the rotation parameter θ1 that defines image rotation is a variable value. Of the affine parameters θ2, SHFTI, and SHFTJ relating to the comparative image, the enlargement parameter K and the horizontal parameter SHFTI that regulates the horizontal movement of the image are fixed values, but the rotation parameter θ2 and the vertical direction of the image The vertical parameter SHFTJ that defines the movement to is a variable value. The values of the variable parameters θ1, θ2, and SHFTJ are calculated at any time by the microcomputer 9, and are corrected in real time in parallel with the monitoring control. By setting the rotation parameters θ1 and θ2 to variable values, the rotation shift of the reference image and the rotation shift of the comparative image with respect to the original camera base line (epipolar line) are eliminated. Further, by setting the vertical parameter SHFTJ to a variable value, the vertical shift of the comparison image with the reference image as a reference is eliminated. By performing the affine transformation on the stereo image, “equipolar line matching”, which is important in ensuring the accuracy of stereo matching, that is, matching of the horizontal line between the reference image and the comparison image is guaranteed. Note that the hardware configuration of the affine transformation circuit is described in Japanese Patent Laid-Open No. 10-307352, so refer to it if necessary.
[0020]
Through such image processing, reference image data corresponding to one frame composed of, for example, 512 pixels in the horizontal direction and 200 pixels in the vertical direction is obtained from the output signal of the main camera 1. Further, from the output signal of the sub camera 2, comparison image data corresponding to one frame having the same vertical length as the reference image and a larger horizontal length than the reference image is generated (for example, the horizontal direction is 640 pixels). The vertical direction is 200 pixels). These reference image data and comparison image data are stored in the subsequent image data memory 7.
[0021]
The stereo arithmetic circuit 6 calculates distance data based on the reference image data and the comparison image data. As an example of this distance data, a pixel block of 4 × 4 pixels is used as a calculation unit, and 128 × 50 distance data can be calculated for the entire reference image corresponding to one frame. When one pixel block in the reference image is targeted, a region having a correlation with the luminance characteristic of the target pixel block is specified by searching the comparison image (stereo matching). As is well known, the distance to the object projected in the stereo image appears as a parallax in the stereo image, that is, a horizontal shift amount between the reference image and the comparison image. Therefore, when searching for a comparative image, it is only necessary to search on the same horizontal line (epipolar line) as the j coordinate of the target pixel block. The stereo arithmetic circuit 6 evaluates the correlation with the target pixel block for each pixel block while shifting the pixel on the epipolar line one pixel at a time.
[0022]
The correlation between two pixel blocks can be evaluated, for example, by calculating a city block distance CB (basic form) shown in Equation 3. In the equation, pij is the luminance (luminance data) of the ijth pixel of one pixel block, and p2ij is the ijth luminance data of the other pixel block. The city block distance CB is the sum of the difference (absolute value) between the luminance values p1ij and p2ij corresponding to each other in the entire pixel block, and the smaller the difference is, the greater the correlation between the two pixel blocks is. Yes.
[Equation 3]
CB = Σ | p1ij−p2ij |
[0023]
Basically, of the city block distances CB calculated for each pixel block existing on the epipolar line, the pixel block having the smallest value is determined as the correlation destination of the target pixel block. Distance data is output from the parallax between the correlation destination specified in this way and the target pixel block. The hardware configuration for calculating the city block distance is disclosed in Japanese Patent Application Laid-Open No. 5-114009, so please refer to it if necessary. The distance data calculated by the above method is stored in the distance data memory 8 at the subsequent stage.
[0024]
The microcomputer 9 (recognizing unit 10 which is a functional block when functionally recognized) recognizes an object such as a road shape (white line) or a three-dimensional object (running vehicle) in front of the vehicle. The object is recognized based on the image data stored in the image data memory 7 and the distance data stored in the distance data memory 8. In addition, sensor information from a vehicle speed sensor, a steering angle sensor, navigation information, or the like (not shown) is referred to as necessary. Then, based on these recognition results, the recognition unit 10 activates the alarm device 11 such as a monitor or a speaker to call the driver's attention when it determines that an alarm for a forward curve or a three-dimensional object is necessary. The recognizing unit 10 controls the control device 12 as necessary to execute vehicle control such as AT (automatic transmission) shift down, engine output suppression, or brake operation.
[0025]
The microcomputer 9 (the functional calculation block 13 which is a functional block when functionally understood) follows the routines shown in the flowcharts of FIGS. 2 to 4 to determine the value of the rotation parameter θ1 of the reference image and the comparison image. The value of the rotation parameter θ2 and the value of the vertical parameter SHFTJ of the comparison image are corrected in real time. These corrected parameters θ1, θ2, and SHFTJ are fed back to the correction circuits 5a and 5b as needed. This routine is repeatedly executed at predetermined intervals.
[0026]
First, in step 1, the correction calculation unit 13 randomly sets the i-th reference area Ri on the reference image plane, and reads the luminance data p and distance data d in the reference area Ri. Here, i is a variable that counts the set number of reference regions Ri. The initial value of this variable i is 1, and is incremented sequentially by step 12 until a predetermined value (for example, i = 20) is reached. As shown in FIG. 6, the reference region Ri has a predetermined area (16 × 16 pixels as an example). The position of the reference area Ri on the reference image plane is represented by a reference point ai. In the present embodiment, the lower left corner of the reference region Ri is set as a reference point ai. For example, the position of the first reference region R1 is represented by a reference point a1 (ir1, jr1). The processing target from step 1 to step 10 is the reference region Ri set in step 1.
[0027]
In step 2, the number of edges EN of the reference region Ri is calculated. As shown in FIG. 7, there are 4 × 4 distance data d and 16 × 16 luminance data p in the reference area Ri (the luminance block shown on the right side of the figure is the distance data d1). Corresponds to the calculated pixel block). From these 256 pieces of luminance data p, a luminance difference (luminance change amount) Δp (absolute value) is calculated for each pair of pixels adjacent in the horizontal direction. However, the pixel column located on the leftmost side of the reference region R (for example, p11, p12, p13, p14 for the pixel block related to the distance data d1 (the same applies to the pixel block related to the distance data d5, d9, d13)) Is calculated from the pixel adjacent to the left side thereof. As a result, 256 luminance change amounts Δp are calculated. Next, in order to evaluate whether or not the reference region Ri has a luminance edge, the number of 256 luminance change amounts Δp that are equal to or greater than a predetermined determination threshold is counted, and the number is counted as the reference region Ri. The number of edges EN.
[0028]
Next, in step 3, the distribution of distance data regarding the reference region Ri is obtained, and the maximum appearance frequency MAXN and the most frequent distance value MFD are calculated. As described above, since one distance data is calculated for each 4 × 4 pixel block which is one parallax calculation unit, there are 16 distance data di in one reference region R. FIG. 8 is an explanatory diagram of a histogram of distance data di (i = 1 to 16) included in the reference region Ri. In the figure, the horizontal axis represents the value of the distance data di, and the vertical axis represents the appearance frequency. From such a distribution, the largest appearance frequency is specified as the maximum appearance frequency MAXN, and the value of the distance data di having the largest appearance frequency is specified as the most frequent distance value MFD.
[0029]
Based on the values EN, MAXN, and MFD calculated in step 2 and step 3, the reference region Ri set in step 1 in step 4 to step 7 is a “suitable region” for performing two-dimensional matching. Is evaluated. In the present embodiment, when all of the following four determination conditions (steps 4 to 7) are satisfied, it is determined that the reference region Ri is a “suitable region” for performing two-dimensional matching.
[0030]
(Judgment condition)
1.The number of edges EN is a predetermined minimum value EN min Bigger than(Step 4)
When searching for the correlation destination of the reference area Ri, if the number of edges EN is small (that is, there are not many luminance edges), a mismatch is likely to occur. Therefore, in order to improve the accuracy of the two-dimensional matching, the condition is that the number of edges EN is larger than the appropriately set minimum prescribed value ENmin, that is, the reference region Ri has a luminance edge.
[0031]
2.The number of edges EN is a predetermined maximum value EN max (EN max > EN min Smaller than(Step 5)
For example, when searching for correlation destinations in areas where fences, forests, etc. are projected, it is difficult to specify an appropriate correlation destination because there are many similar luminance edges due to shadows of bushes. Therefore, from the viewpoint of improving the accuracy of two-dimensional matching, when a fence or the like is projected in the reference area Ri, it is determined that the reference area Ri is not an appropriate area for matching. In a situation where a fence or the like is projected, there is a tendency that more luminance edges than usual appear due to the shadow of the bush. Therefore, by comparing the maximum specified value ENmax appropriately set from such a point of view with the number of edges EN, it is determined whether or not the reference region Ri is a region suitable for two-dimensional matching.
[0032]
3.Maximum appearance frequency MAXN is the peak determination specified value MAXN th Bigger than(Step 6)
This determination condition is for evaluating the influence of occlusion. When the influence of occlusion is not so much, one large peak tends to appear in the histogram shown in FIG. In contrast, when the influence of occlusion increases, the peak decreases as the influence increases, and a plurality of small peaks tend to appear. From this point of view, when the peak determination specified value MAXNth is appropriately set and the maximum appearance frequency MAXN is larger than the peak determination specified value MAXNth, the reference region Ri is not affected by occlusion and is suitable for evaluation. It is determined that the area is
[0033]
4).The most frequent distance value MFD is within a predetermined range.(Step 7)
This determination condition is for evaluating the influence of noise on the distance data. Usually, the value of the distance data in the reference area Ri tends to be within a predetermined distance range. This is because the distance to the object projected in the reference area Ri usually tends to be within a predetermined range. Therefore, a distance range corresponding to the distance to the object that would normally be projected in the reference area Ri is set in accordance with the distance. When the most frequent distance value MFD deviates from this range, it is determined that the reference area Ri is an area that is not suitable for evaluation. In the present embodiment, 16 m to 70 m (24 to 6 pixels as the pixel shift amount) is set as the predetermined range.
[0034]
Only when it is determined that the reference region Ri is a “suitable region” for stereo matching based on the four determination conditions as described above, the determination from step 4 to step 7 is performed, and the process returns to step 8 in FIG. move on. Otherwise, exit this routine.
[0035]
Each procedure from step 8 to step 10 relates to the process of correlation point Pi, that is, the correlation destination of reference region Ri. First, in step 8, the search range Si is set in the comparison image based on the distance data d (specifically, the mode distance value MFD) in the reference region Ri. The reference area R1 shown in FIG. 6 will be described as an example. On the reference image plane, the coordinates of the reference point a1 indicating the position of the reference area R1 are (ir1, ij1), and the most frequent distance value is MFD1. Based on the principle of the stereo method, the correlation destination of the reference region R1 (16 × 16 pixel block having the same area as the reference region R1) adds a horizontal shift (mode value MFD1) to the reference point a1 of the reference region R1. Exists near the position as1 (ir1 + MFD1, j1). Accordingly, an estimated maximum vertical and horizontal shift amount of about 4 pixels is estimated, and an area shifted by 4 pixels in the vertical and horizontal directions with reference to the position as1, that is, an area of 24 × 24 pixels is set as the search range S1. As another method for setting the position of the search range S1, the average value of the distance data d in the reference region R1 may be used as the mode distance although the accuracy may be inferior to that when the mode distance value MFDi is used. The value MFD1 may be used instead.
[0036]
Then, a coincidence point Pi is calculated within the search range Si set in step 8 (step 9). Here, the “matching point Pi” is a position on the comparison image plane regarding the correlation destination of the reference region Ri. FIG. 5 is a flowchart showing a detailed procedure for calculating the coincidence point Pi in a certain search range Si. First, in step 51, the distribution of the city block distance CB between the reference region Ri and the pixel region of 16 × 16 pixels existing in the search range Si is calculated. The city block distance CB is calculated based on Equation 3 described above for each pixel block (16 × 16 pixels having the same area as the reference region Ri) existing in the search range Si. One city block distance CB is calculated for each comparison target while the comparison target is offset by one pixel in the horizontal / vertical direction over the entire search range Si (two-dimensional matching). Accordingly, 81 (9 × 9) city block distances CB are calculated in one search range Si. Thereby, the distribution of the city block distance CB in the entire search range Si shown in FIG. 9 is obtained.
[0037]
In step 52 and subsequent steps following step 51, the coincidence point Pi in the search range Si is calculated. The coincidence point Pi is basically given as the coordinates (imin, jmin) of the point where the city block distance CB is minimized, that is, the point having the largest correlation. However, the coordinates (imin, jmin) are discrete values, and the position cannot be specified with an accuracy of 1 pixel or less. For this reason, it is not preferable to directly use this value as an input variable in image misregistration correction from the viewpoint of position adjustment accuracy. Therefore, the coordinates (imin, jmin) are used as temporary matching points Pi ', and the following processing determines the (true) matching points Pi (isub, jsub) that can be displayed with a resolution of one pixel or less.
[0038]
When the minimum value of the city block distance CB is larger than a predetermined threshold value, it may be determined that the correlation is unclear and the calculation of the coincidence point Pi in that cycle may be skipped. As a result, it is possible to avoid specifying an inappropriate correlation destination.
[0039]
Hereinafter, a method for calculating the i coordinate value of the coincidence point Pi, that is, the i coordinate value of the local minimum point where the value of the city block distance CB is the smallest will be described. Note that the j coordinate of the coincidence point Pi is exactly the same as this. Since the value can also be calculated, description of the procedure for calculating the j-coordinate value is omitted. FIG. 10 is a diagram for explaining the distribution characteristics of the city block distance CB in the vicinity of the minimum point in the jmin column, and the values of the city block distance CB calculated in step 51 are plotted with circles. Assuming that the area of the pixel is extremely small, the city block distance CB has a characteristic of being symmetrically and continuously distributed in the vicinity of the minimum point, as indicated by a broken line. From such a viewpoint, the minimum value of the broken line, that is, the i coordinate value of the coincidence point Pi is different from the i coordinate value of the temporary coincidence point Pi '.
[0040]
Therefore, using the characteristic that the distribution of the city block distance CB is symmetric in the vicinity of the minimum point, in the procedure after step 52, the difference between the right city block distance CB and that on the left side with reference to the temporary coincidence point Pi ′. Compare Then, the i-coordinate value of the minimum point, that is, the coincidence point Pi is calculated by linear approximation. First, in step 52, as shown in Equation 4, the amount of change of the i coordinate value imin-1 with respect to the i coordinate value imin of the temporary coincidence point Pi 'is obtained. Thereby, the change amount of the city block distance CB on the left side of the temporary coincidence point Pi ′ is evaluated. Similarly, the change amount of the city block distance CB on the right side of the temporary match point Pi ′ is evaluated by obtaining the change amount of the i coordinate value imin + 1 with respect to the i coordinate value imin of the temporary match point Pi ′.
[Expression 4]
ΔCB0 = CB [imin-1, jmin] −CB [imin, jmin]
ΔCB1 = CB [imin + 1, jmin] −CB [imin, jmin]
[0041]
Next, in step 53, the left city block distance difference ΔCB0 calculated in step 52 is compared with the right city block distance difference ΔCB1. Based on the characteristic that the distribution of the city block distance CB is symmetric around the local minimum point, it is determined whether the local minimum point exists between the coordinate values (imin-1) to imin or between the coordinate values imin to (imin + 1). Can do.
[0042]
If the determination in step 53 is affirmative, that is, if the change in the city block distance CB is greater on the right side than the left side of the coordinate value imin in the vicinity of the coordinate value imin of the temporary matching point, It is determined that it exists between (imin-1). In this case, the process proceeds to step 54, and the slope m of the straight line L1 connecting the point CB [imin, jmin] and the point CB [imin + 1, jmin] is calculated. In the subsequent step 55, a straight line L2 passing through the point CB [imin-1, jmin] and having an inclination of -m is calculated. Then, in step 58 following step 55, the intersection point of the two calculated straight lines L1 and L2 is calculated, and this intersection point is set as a true minimum point (that is, the i coordinate value isub of the coincidence point Pi).
[0043]
On the other hand, if a negative determination is made in step 53, that is, if the change in the city block distance CB is larger in the vicinity of the coordinate value imin of the temporary coincidence point on the left side than the right side of the coordinate imin, the minimum point is the coordinate value. It is determined that it exists between imin and (imin + 1). In this case, the process proceeds to step 56, and the slope m of the straight line L1 connecting the point CB [imin, jmin] and the point CB [imin-1, jmin] is calculated. In subsequent step 57, a straight line L2 passing through the point CB [imin + 1, jmin] and having an inclination of −m is calculated. In step 56, the intersection of these straight lines L1 and L2 is calculated to determine the i coordinate value isub of the coincidence point Pi.
[0044]
FIG. 11 shows straight lines L1 and L2 calculated when the left city block distance difference ΔCB0 is larger than the right difference ΔCB1. As can be seen from the figure, the distribution of the city block distance CB in the vicinity of the minimum point is approximated by straight lines L1 and L2, and the intersection is obtained. Then, this intersection is determined as the i coordinate value isub of the coincidence point Pi.
[0045]
The j coordinate value jsub of the coincidence point Pi is calculated using the same method as the method for calculating the i coordinate value isub of the coincidence point Pi. As a result, the position Pi (isub, jsub) (that is, the matching point at the subpixel level) of the target area having the greatest correlation with the reference area Ri can be calculated with a resolution of 1 pixel or less.
[0046]
In step 10 of FIG. 3, the coincidence point data (ir, dj, dpix) calculated for the reference region Ri is temporarily stored in a memory (not shown) in the microcomputer 9 (step 10). The coincidence point data is a data set in which the reference horizontal position ir, the vertical shift amount dj, and the horizontal shift amount dpix are associated with each other. The reference horizontal position ir is the horizontal position (i-coordinate value of the reference point ai) of the reference area Ri on the reference image plane, and is, for example, ir1 in the reference area R1. The vertical deviation amount dj is the vertical deviation amount between the reference point a i and the corresponding coincidence point Pi, in other words, the relative vertical deviation amount (sub-pixel level) between the reference region Ri and the correlation destination. ). For example, if the j coordinate value of the coincidence point P1 at the subpixel level calculated for the reference region R1 is jsub1, the vertical deviation amount dj of the reference region R1 is (jsub1−jr1). Further, the horizontal shift amount dpix is the horizontal shift amount between the reference point a i and the corresponding coincidence point Pi, in other words, the relative horizontal shift amount between the reference area Ri and the correlation destination (sub Pixel level). For example, if the i-coordinate value of the coincidence point P1 at the sub-pixel level calculated for the reference region R1 is isub1, the horizontal shift amount dpix of the reference region R1 is (isub1−ir1).
[0047]
In step 11, it is determined whether or not the matching point data (ir, dj, dpix) has been stored for a predetermined number of samples (for example, 20), that is, whether or not the variable i has reached 20. If a negative determination is made in step 20, the routine proceeds to step 12, where 1 is added to i, and this routine is exited. Then, in the next execution cycle of this routine, the next reference region Ri + 1 is set at random, and the above-described steps 1 to 10 are executed on this as a processing target, so that the next reference region Ri + 1 is related. Matching point data is calculated. As a result, the matching point data is sequentially calculated and stored in the order of the reference areas R1, R2, R3,. When the number of stored matching point data reaches the number of samples (= 20), the determination result in step 11 changes from negative to affirmative, and the process proceeds to step 13 in FIG.
[0048]
What is important in setting the reference areas R1 to R20 for the number of samples is to disperse them on the reference image plane and make them vary. As long as this variation is guaranteed, it is not always necessary to set the reference regions R1 to R20 in one frame of the reference image, and may be set over a plurality of frames of the reference image. As a result, the reference horizontal position ir and the horizontal shift amount dpix which are sample data also vary, and the sample data ir and dpix are prevented from being concentrated locally in the (ir, dj, dpix) space described later.
[0049]
In step 13, the coincidence point data (ir, dj, dpix) for 20 samples stored in the memory is read out. In the subsequent step 14, a histogram of the reference horizontal position ir group and a histogram of the horizontal shift amount dpix group are generated based on the read matching point data, and their variations are evaluated. FIG. 12 is an explanatory diagram of a histogram of the reference horizontal position ir. In the figure, the horizontal axis represents the value of the reference horizontal position ir, and the vertical axis represents the frequency of appearance. Based on this histogram, the variance VERir of the reference horizontal position ir is calculated. In this embodiment, a plane in (ir, dj, dpix) space is uniquely specified, and affine parameters θ1, θ2, and SHFTJ are calculated from parameters A, B, and C that define the plane. Therefore, if the reference horizontal position ir extracted as a sample is locally concentrated in the space, a highly reliable plane cannot be defined. Therefore, in step 14, a variance VERir indicating the degree of variation in the reference horizontal position ir is calculated.
[0050]
FIG. 13 is an explanatory diagram of a histogram of the horizontal shift amount dpix. In the figure, the horizontal axis represents the horizontal shift amount dpix, and the vertical axis represents the frequency of appearance. Based on this histogram, the variance VERdpix of the horizontal shift amount dpix is calculated. The reason for calculating this variance VERdpix is that, as in the case of the reference horizontal position ir, if the horizontal shift amount dpix extracted as a sample is locally concentrated in the (ir, dj, dpix) space, a highly reliable plane is obtained. This is because it cannot be defined.
[0051]
In step 15, it is determined whether or not the variance VERir of the reference horizontal position ir is larger than a predetermined threshold VER1th and the variance VERdpix of the horizontal shift amount dpix is larger than a predetermined threshold VER2th. If a negative determination is made in step 15, that is, if at least one of the reference horizontal position ir or the horizontal shift amount dpix does not vary, it is determined that a reliable plane cannot be defined, and the parameter update in step 19 is performed. Without proceeding to step 20. Then, all the matching point data stored in the memory are cleared, the variable i is also cleared, and this routine is exited. On the other hand, if an affirmative determination is made in step 15, the process proceeds to step 16.
[0052]
In step 16, the three-dimensional plane equation shown in Formula 5 is applied to all the matching point data, and the parameters A and B that define the plane in the (ir, dj, dpix) space by the least square method or the Hough transform or the like. B and C are calculated.
[Equation 5]
A ・ ir + B ・ dpix + dj + C = 0
[0053]
In step 17, based on the parameters A, B, and C calculated in step 16, as the three-dimensional camera deviation amount, the rotation deviation amount ΔTr of the main camera 1, the rotation deviation amount ΔTl of the sub camera 2, and the sub camera 2 The amount of vertical deviation ΔVl is calculated from Equation 6.
[Formula 6]
ΔTr = A−B
ΔTl = -B
ΔVl = −C
[0054]
Here, the relationship between the deviation amounts ΔTr, ΔT1, ΔVl and the parameters A, B, C will be described with reference to FIG. When the main camera 1 is rotated counterclockwise by ΔTr, the actual epipolar line L1 'of the reference image is rotated by this inclination value ΔTr with respect to the original epipolar line L1. On the other hand, when the sub-camera 1 rotates counterclockwise by ΔTl and deviates by ΔVl parallel to the main camera 1, the actual epipolar line L2 ′ of the comparative image is only ΔTr with respect to the original epipolar line L2. Rotate and translate by ΔVl. Further, regarding a certain reference area Ri, the position on the reference image is set as a reference point ai (ir, jr), and the correlation destination position on the comparison image is set as a coincidence point Pi (il, jl). In this case, the vertical deviation amount dj can be transformed as shown in Equation 7.
[Formula 7]
dj = jl−jr
= ΔVl + ΔTl · il-ΔTr · ir
= ΔVl + ΔTl (dpix + ir) −ΔTr · ir
= ΔVl + (ΔTl−ΔTr) ir + ΔTl · dpix
[0055]
The above deformation shows that one plane is formed in the (ir, dj, dpix) space. Theoretically, all coincidence point data extracted as sample data exists on this plane. Therefore, the matching point data is arranged in the (ir, dj, dpix) space, and the three-dimensional plane (A · ir + B · dpix + dj + C = 0) is specified by the least square method or the like. As a result, the relational expression shown in Equation 6 described above is uniquely derived.
[0056]
In the subsequent step 18, it is individually determined whether or not the deviation amounts ΔTr, ΔTl, ΔVl are larger than predetermined threshold values ΔTrth, ΔTlth, ΔVlth. With respect to the deviation amounts ΔTr, ΔTl, ΔVl determined negative in step 18, it is determined that the current values of the corresponding affine parameters θ1, θ2, SHFTJ are appropriately set. That is, θ1 is not updated when ΔTr ≦ ΔTrth, θ2 is not updated when ΔTl ≦ ΔTlth, and SHFTJ is not updated when ΔVl ≦ ΔVlth. Then, in step 20, all the matching point data stored in the memory are cleared, and this routine is exited.
[0057]
On the other hand, with respect to the deviation amounts ΔTr, ΔT1, and ΔVl that have been affirmed in step 18, the corresponding affine parameters θ1, θ2, and SHFTJ are updated (step 19). That is, θ1 is updated when ΔTr> ΔTrth, θ2 is updated when ΔTl> ΔTlth, and SHFTJ is updated when ΔVl> ΔVlth. In this update process, the values of the affine parameters θ1, θ2, and SHFTJ are corrected by proportional control according to Equation 8.
[Equation 8]
θ1 ← θ1−0.25 × ΔTr
θ2 ← θ2−0.25 × ΔTl
SHFTJ ← SHFTJ−0.25 × ΔVl
[0058]
That is, a value obtained by multiplying the rotation deviation amount ΔTr of the main camera 1 by a predetermined gain (for example, 0.25) is subtracted from the current value of the affine parameter θ1. The correction calculation unit 13 feeds back the corrected parameter θ1 to the correction circuit 5a that performs affine transformation of the reference image. The correction circuit 5a performs affine transformation of the reference image by applying the corrected parameter θ1. As a result, the reference image rotates in a direction in which the rotational deviation of the main camera 1 is eliminated. Further, values obtained by multiplying the rotational deviation amount ΔTl and vertical deviation amount ΔVl of the sub camera 2 by a predetermined gain are subtracted from the current values of the affine parameters θ2 and SHFTJ, respectively. The correction calculation unit 13 feeds back the corrected parameters θ2 and SHFTJ to the correction circuit 5b that performs affine transformation of the comparison image. The correction circuit 5b performs the affine transformation of the comparison image by applying the corrected parameters θ2 and SHFTJ. As a result, the comparative image is rotated / moved up / down in a direction in which the rotation / vertical shift of the sub camera 2 is eliminated. Then, in step 20 following step 19, all the coincidence point data stored in the memory are cleared, and this routine is exited.
[0059]
As described above, in this embodiment, the camera deviation amount is determined by specifying the plane in the (ir, dj, dpix) space based on the matching point data including the reference horizontal position ir, the vertical deviation amount dj, and the horizontal deviation amount dpix. ΔTr, ΔTl, and ΔV are calculated. Then, the affine parameter θ1 of the reference image and the affine parameters θ2 and SHFTJ of the comparative image are adjusted by feedback control in accordance with these deviation amounts ΔTr, ΔTl, and ΔVl. By performing such adjustment in real time, even when the optical position of the stereo camera is deviated due to aging, temperature change, or the like, it can be appropriately eliminated. As a result, the occurrence of mismatching in stereo processing can be reduced, the reliability of distance data can be improved, and the monitoring accuracy of the stereo monitoring device can be further improved.
[0060]
In particular, in the present embodiment, since the rotational deviation of the main camera 1 is also adjusted, the calculation accuracy of the distance data can be further improved as compared with the prior art. Conventionally, with regard to camera position shift (epipolar line mismatch), the amount of shift is completely reduced despite the three-dimensional degree of freedom (reference image rotation, comparison image rotation, and comparison image top and bottom). It was not possible to calculate. This is because the rotation deviation of the main camera 1 does not exist or is negligibly small, and the camera is based on only two parameters (the horizontal coordinate of the reference point and the vertical deviation amount between the reference point and the coincidence point). This is because the amount of misalignment was calculated. Therefore, when the optical axis of the sub camera 2 does not exist on the horizontal plane including the optical axis of the main camera 1, conventionally, the epipolar line cannot be perfectly matched, and as a result, the accuracy of the calculated distance is reduced. It was difficult to ensure over the entire distance. On the other hand, in the present embodiment, the camera position shift is calculated using a three-dimensional parameter obtained by adding the horizontal shift amount between the reference point a i and the coincidence point Pi to the above two parameters. Therefore, theoretically, it is possible to completely obtain a three-dimensional deviation, and more accurate positional deviation adjustment is possible.
[0061]
Further, in this embodiment, after evaluating the variation between the reference horizontal position ir and the horizontal deviation amount dpix as a variance, only when these variances are larger than a predetermined threshold (ir, dj, The plane parameters A, B, and C in the (dpix) space are calculated. In other words, when these variances are small and the reference horizontal position ir and the horizontal shift amount dpix are concentrated, the plane parameters A, B, and C are not calculated. Thus, when the sample groups ir and dpix are locally concentrated, it is possible to avoid specifying a plane with low reliability, and therefore it is possible to always calculate appropriate affine parameters θ1, θ2, and SHFTJ. As a result, the calculation accuracy of distance data can be further improved. If the reliability of the plane is not taken into consideration, only one of the dispersion of the reference horizontal position ir and the horizontal shift amount dpix may be evaluated, or both may not be evaluated.
[0062]
Further, in the present embodiment, the search range Si for searching for the coincidence point Pi is limited to a relatively narrow range (24 × 24 pixel area in the present embodiment) based on the distance data in the reference region Ri. By narrowing down the search range Si in this way, it is possible to greatly reduce the amount of calculation required for searching for the matching point Pi. As a result, there is an effect that the positional deviation can be adjusted in real time in parallel with the recognition / monitoring control without requiring the processing capability of the microcomputer 9 so much.
[0063]
Further, in the present embodiment, it is evaluated whether or not the reference region Ri is a suitable region for performing two-dimensional matching, and the coincidence point Pi is calculated based on the reference region Ri determined to be suitable. ing. Thereby, since highly accurate two-dimensional matching can be performed, the highly reliable coincidence point Pi can be calculated. As a result, it is possible to stably adjust the positional deviation of a stereo image with high accuracy.
[0064]
In the above-described embodiment, the position of the reference region Ri is randomly set on the reference image plane. However, as long as the positional variation of the reference region Ri is ensured, it is not always necessary to set the position randomly, and the position may be set in advance in one or more frames of the reference image.
[0065]
In the above-described embodiment, the space that defines the plane is the (ir, dj, dpix) space, but a (ir, dj, il) space may be used instead. This is because the horizontal position il and the horizontal shift amount dpix of the coincidence point Pi have a relationship of dpix = il−ir, and if il is specified, dpix is also uniquely calculated. From this point of view, in this specification, the “horizontal shift amount” is used in the sense that the horizontal shift amount dpix itself or a parameter that can uniquely specify the horizontal shift amount dpix is widely included.
[0066]
In the above-described embodiment, all of the affine parameters θ1, θ2, and SHFTJ are corrected. However, the present invention is not limited to this, and at least the affine parameters θ1, θ2, and SHFTJ to be corrected are used. There may be one.
[0067]
Furthermore, in the above-described embodiment, an example in which the affine parameters of the reference image are fixed and the affine parameters of the comparative image are adjusted has been described. However, the present invention is not limited to this. For example, the affine parameters of the reference image may be adjusted while fixing the affine parameters of the comparison image.
[0068]
(Second Embodiment)
In the first embodiment, in order to ensure the reliability of the calculation plane, among the matching point data (ir, dj, dpix) extracted as samples, the variations of the parameters ir, dpix are individually determined by the variances VERir, VERdpix. I am evaluating. Then, only when both sides vary, the space of the (ir, dj, dpix) plane is calculated. However, in the case shown in FIG. 15, that is, in the extremely rare case where the sample points (ir, dpix) are arranged in a substantially straight line in the (ir, dj, dpix) space, the plane cannot be uniquely specified. Inconvenience arises. As a result, although the individual parameters ir and dpix vary, inappropriate affine parameters θ1, θ2, and SHFTJ are calculated, which may cause a decrease in accuracy of distance data.
[0069]
Therefore, in the present embodiment, the above-mentioned inconvenience is solved by calculating an approximate line BL that passes through all the matching point data extracted as samples, and evaluating variations based on the approximate line BL. The basic processing flow is the same as that shown in the flowcharts of FIGS. 2 to 4, but only the procedure of step 14 is different.
[0070]
Specifically, in step 14 of FIG. 4, first, an approximate straight line BL passing through all sample points (ir, dpix) is calculated by the least square method. Next, the variation of the reference horizontal position ir with reference to the approximate straight line BL is calculated as the variance VERir. At the same time, the variation of the horizontal shift amount dpix with reference to the approximate straight line BL is calculated as the variance VERdpix. The calculated variances VERir and VERdpix are both substantially zero in the case of FIG. 15, and increase as the variation of the sample points (ir, dpix) based on the approximate straight line BL increases. Then, after step 14, as in the first embodiment, variations in the parameters ir and dpix are evaluated.
[0071]
By using the variance calculation method as in the present embodiment, in the case as shown in FIG. 15, the determination result in step 15 is negative, and the affine parameter is not updated. As a result, it is possible to avoid calculating inappropriate affine parameters θ1, θ2, and SHFTJ, and to prevent a decrease in accuracy of distance data.
【The invention's effect】
As described above, according to the present invention, it is possible to automatically adjust the shift of the stereo image in real time. If the object is recognized based on the image information in which the positional deviation is appropriately adjusted, the recognition accuracy can be improved.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a stereo-type vehicle exterior monitoring apparatus according to the present embodiment.
FIG. 2 is a flowchart showing a part of an affine parameter adjustment procedure.
FIG. 3 is a flowchart showing a procedure following FIG.
FIG. 4 is a flowchart showing the procedure following FIG.
FIG. 5 is a flowchart showing a detailed calculation procedure of coincidence points.
FIG. 6 is an explanatory diagram of a reference area in a reference image.
FIG. 7 is an explanatory diagram of luminance data and distance data related to a reference area.
FIG. 8 is an explanatory diagram of a histogram of distance data d related to one reference region.
FIG. 9 Distribution map of city block distance for one reference area
FIG. 10 is an explanatory diagram of a distribution characteristic of a city block distance in the vicinity of a minimum point
FIG. 11 is an explanatory diagram of a method for calculating a coincidence point by linear approximation.
FIG. 12 is an explanatory diagram of a histogram of the reference horizontal coordinate ir
FIG. 13 is an explanatory diagram of a histogram of the horizontal shift amount dpix.
FIG. 14 is a diagram illustrating a relationship between a stereo image and camera displacement.
FIG. 15 is a diagram showing a case where sample points (ir, dpix) are arranged on a substantially straight line in the (ir, dj, dpix) space;
[Explanation of symbols]
1 Main camera
2 Sub camera
3 Analog interface
3a Gain control amplifier
4 A / D converter
5a Correction circuit
5b Correction circuit
6 Stereo operation circuit
7 Image data memory
8 Distance data memory
9 Microcomputer
10 Recognition part
11 Alarm device
12 Control device
13 Correction calculation section

Claims (14)

In the stereo image position adjustment device,
A correction unit that performs affine transformation of a stereo image according to the value of an affine parameter,
In one image output from the correction unit, a setting unit that sets a plurality of reference regions;
For each of the reference areas set by the setting unit, the horizontal position of the reference area in the one image, the amount of vertical deviation between the reference area and its correlation destination, the reference area and the correlation destination A data calculation unit that calculates coincident point data including the amount of horizontal deviation between
Parameter calculation for calculating a plane parameter that defines a plane in a space constituted by the horizontal position, the vertical deviation amount, and the horizontal deviation amount based on the plurality of coincidence point data calculated by the data calculation unit. And
A stereo image misregistration adjustment apparatus comprising: a correction calculation unit that corrects the value of the affine parameter based on the planar parameter calculated by the parameter calculation unit. The stereo image position adjustment apparatus according to claim 1, wherein the setting unit sets the plurality of reference regions so as to be dispersed on one image plane. The stereo image misregistration adjustment apparatus according to claim 2, wherein the setting unit randomly sets the reference region on one image plane. The stereo image position adjustment apparatus according to any one of claims 1 to 3, wherein the setting unit sets the reference region for a predetermined number of samples in a reference image of the same frame. The stereo image position adjustment apparatus according to any one of claims 1 to 3, wherein the setting unit sets the reference region for a predetermined number of samples in a reference image of a plurality of frames. For each pixel block in one image, by further specifying the correlation destination of the pixel block in the other image, further having a stereo calculation unit that calculates distance data of the pixel block,
The data calculation unit sets a search range including a correlation destination of the reference region based on distance data included in the reference region, and specifies the reference region and the correlation destination by searching the search region. The stereo image misalignment adjusting apparatus according to claim 1, wherein: The parameter calculation unit calculates a variance relating to the horizontal position and a variance relating to the horizontal shift amount based on the plurality of coincidence point data calculated by the data calculation unit, and the variance relating to the horizontal position is predetermined. 2. The position of the stereo image according to claim 1, wherein the plane parameter is calculated when the variance relating to the horizontal shift amount is larger than a predetermined threshold value and larger than a predetermined threshold value. Deviation adjustment device. The parameter calculation unit calculates an approximate line that passes through all the sample points defined by the horizontal position and the amount of horizontal deviation, and relates to the variance relating to the horizontal position and the amount of horizontal deviation based on the approximate line. 8. The stereo image misregistration adjusting apparatus according to claim 7, wherein the apparatus calculates the variance. The correction calculation unit corrects at least one of an affine parameter that defines rotation of one image, an affine parameter that defines rotation of the other image, or an affine parameter that defines movement of the other image in the vertical direction. 9. The stereo image misalignment adjusting apparatus according to claim 1, wherein the stereo image misalignment adjusting apparatus is used. A stereo image misalignment adjusting device according to claim 1,
A stereo monitoring apparatus, comprising: a recognition unit that recognizes an object projected on the stereo image based on distance data calculated from the stereo image on which the affine transformation has been performed by the correction unit. In the stereo image misalignment adjustment method,
A first step of performing an affine transformation of the stereo image according to the value of the affine parameter;
A second step of setting a plurality of reference regions in one of the images subjected to the affine transformation;
For each of the reference areas, the horizontal position of the reference area in the one image, the amount of vertical deviation between the reference area and its correlation destination, and the amount of horizontal deviation between the reference area and the correlation destination A third step of calculating coincident point data including:
A fourth step of calculating a plane parameter defining a plane in a space constituted by the horizontal position, the vertical shift amount, and the horizontal shift amount based on a plurality of the matching point data;
And a fifth step of correcting the value of the affine parameter based on the plane parameter. The fourth step includes
Calculating a variance relating to the horizontal shift amount based on a plurality of the matching point data;
Calculating the plane parameter when the variance relating to the horizontal position is larger than a predetermined threshold value and the variance relating to the horizontal shift amount is larger than a predetermined threshold value. The method for adjusting a positional deviation of a stereo image according to claim 11. The fourth step includes
Calculating an approximate straight line passing through all sample points defined by the horizontal position and the amount of horizontal deviation;
13. The stereo image misalignment adjusting method according to claim 12, further comprising: calculating a variance relating to the horizontal position and a variance relating to the horizontal misalignment amount with reference to the approximate straight line. The fifth step includes at least one of an affine parameter that defines rotation of one image, an affine parameter that defines rotation of the other image, or an affine parameter that defines movement of the other image in the vertical direction. 14. The stereo image misalignment adjusting method according to claim 11, wherein correction is performed.

Images