JP4605582B2 - ステレオ画像認識装置及びその方法 - Google Patents

Description

本発明は、カラーのステレオカメラを用いたステレオ画像認識装置に関する。

従来、複数のカメラを用い、ステレオ画像認識技術を利用して空間を３次元認識する装置が開発されている。そして、このステレオ画像認識技術を自動車等の車両に応用し、立体物までの距離を検出しつつ、前方の障害物や、道路の形状を認識する障害物検出装置も研究されている。

ステレオ画像認識装置においては、複数のカメラに映った映像同士を比較し、一致する画像部分を探索し、一致する画像部分同士の画像上の視差を求め、距離情報を計算する方法が一般的である。

このようなステレオ画像認識装置では、複数の映像中の一致する画像部分の探索（一致検索）は、所定画素数の小領域（ブロック）単位で行われる。即ち、複数のカメラのうちの１台のカメラで撮像した画像を基準画像とし、他のカメラによって撮像した画像を比較画像として、基準画像の小領域の画像と一致する比較画像中の小領域を求めるのである。一致度の評価関数としては、基準画像と比較画像の小領域同士の各対応画素の輝度差分絶対値の総和:ＳＡＤ (Sum of Absolute Difference)が用いられ、最小のＳＡＤを与える小領域を一致する小領域と判定する。

このような一致検索（マッチング）法によるステレオ画像認識は、従来、モノクロカメラを用いて行われていた。しかし、モノクロカメラでは、たとえ色が異なる被写体であっても明るさが同じであれば、得られる画像では識別することができなくなり、ステレオマッチングで距離分布情報を得ようとしても、ミスマッチ（一致検索の不正解）が多くなる。その結果、距離分布情報の精度、確実性が劣化してしまう場合がある。

カラーカメラを用い、得られた画像から距離分布情報が生成できれば、このような距離分布情報の精度、確実性の劣化を防止することができる。しかも、カラーカメラを用いれば、距離分布情報の他に、カラー情報による様々な処理が可能となるというメリットがある。また、近年では一般的に、カラーＣＣＤ素子の方が、モノクロＣＣＤ素子より大量に生産されているため、コスト的に安価である場合が多い。

このようなカラーカメラを用いたステレオ画像認識装置として、特許文献１の装置がある。
特開２００３−１５０９３６号公報

しかしながら、特許文献１の装置は、各色画像毎に個別にマッチング演算を行い、マッチング演算結果の各視差を融合して、統一視差を求めるようになっている。即ち、各色毎に求めた視差から正確な統一視差を求めるためには、適正な融合処理が必要である。このため、演算時間が増大すると共に、融合処理に必要な情報の設定によっては、統一視差の精度が低下してしまうこともあるという問題点があった。

本発明は、複数のカラーカメラからの色画像に対するマッチング演算によって直接１つの視差を算出することにより、十分な精度で高速に距離を検出することができるステレオ画像認識装置を提供することを目的とする。

本発明に係るステレオ画像認識装置は、複数のカラーカメラで撮像した基準画像と１つ以上の参照画像との間で、前記基準画像の所定の領域毎に前記参照画像の各領域との間の各色成分毎の差分絶対値和を求め、求めた差分絶対値和の総和によって不一致度を求める一致度演算手段と、前記一致度演算手段の演算結果によって得られる視差から距離情報を求める距離情報取得手段と、前記基準画像の所定の領域の各画素について、隣接する画素間の輝度変化量が所定の閾値以上のとき当該画素が画像のエッジ部分であると判定する輝度変化検出部を備え、輝度変化検出部のエッジ判定結果の総数が所定値以上、前記不一致度の最小値が所定値以下、前記不一致度の最大値と最小値との差が所定値以上である場合に、前記距離情報が有効であると判定する距離情報有効判定手段と、を具備したことを特徴とする。

本発明において、複数のカラーカメラによって、基準画像及び１つ以上の参照画像が得られる。一致度演算手段は、基準画像の所定の領域毎に、参照画像の各領域との一致度計算を各色成分毎に行って合成することで一致度を求める。距離情報取得手段は、一致度演算手段の演算結果によって得られる視差から距離情報を求める。

本発明によれば、複数のカラーカメラからの色画像に対するマッチング演算によって直接１つの視差を算出することにより、十分な精度で高速に距離を検出することができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係るステレオ画像認識装置を示すブロック図である。

本実施の形態は３板式のカラーカメラを採用した例である。本実施の形態は２台のカラーカメラを使用する例を説明したが、３台以上のカラーカメラを用いる場合でも同様に構成可能である。

基準カメラ１及び比較カメラ２によって構成されるステレオカメラは、各カメラ１，２が図示しないカメラステイに所定の基線長を有して配設される。基準カメラ１及び比較カメラ２は、例えば、３板式のカラーＣＣＤカメラである。基準カメラ１は、ステレオ処理の際の基準画像を撮像し、他方の比較カメラ２はステレオ処理の際の参照画像を撮像するようになっている。

３板式のカメラでは、各色用の独立した固体撮像素子（例えばＣＣＤ）を有している。カメラ１，２は、被写体の光学像をプリズムによって３原色、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）に分光し、分光した各色光を相互に独立した固体撮像素子によって光電変換する。これにより、カメラ１，２は、各固体撮像素子からＲ，Ｇ，Ｂ色の色画像の画像信号を得ることができる。

基準カメラ１は、撮像した対象物の各Ｒ，Ｇ，Ｂ色画像（以下、基準画像という）を夫々Ａ／Ｄ変換器３乃至５に出力し、比較カメラ２は、撮像した対象物の各Ｒ，Ｇ，Ｂ色画像（以下、比較画像という）を夫々Ａ／Ｄ変換器６乃至８に出力する。Ａ／Ｄ変換器３乃至８は、入力された色画像を夫々デジタル信号に変換した後画像メモリ９乃至１４に出力するようになっている。画像メモリ９乃至１４は、例えばフレームメモリによって構成されており、入力された１画面分の画像信号を保持する。

画像一致度演算部１５は、画像メモリ９乃至１４に記憶されたＲ，Ｇ，Ｂ基準画像とＲ，Ｇ，Ｂ比較画像とを読出して、所定の小領域単位でマッチング演算を行う。図２は画像一致度演算部１５におけるマッチング演算を説明するための説明図であり、図２（ａ）乃至（ｆ）は夫々Ｒ基準画像、Ｇ基準画像、Ｂ基準画像、Ｒ比較画像、Ｇ比較画像又はＢ比較画像を示している。図２中のＡ11〜Ａ44，Ｂ11〜Ｂ44は画面内の各画素を示している。

画像一致度演算部１５は、Ｒ，Ｇ，Ｂ基準画像の各画像小領域（図２（ａ）〜（ｃ）の太線部）に対して、Ｒ，Ｇ，Ｂ比較画像の画像小領域（図２（ｄ）〜（ｆ）の太線部）をステレオ基線方向に１画素づつずらしながら一致検索（マッチング）演算を行う。図２は、画像小領域として、例えば、２×２画素ブロックを設定した例を示している。画像一致度演算部１５は、Ｇ，Ｂ，Ｒ基準画像の相互に同一位置の所定の画像小領域について、先ず、各色の基準画像と比較画像間でＳＡＤを算出する。即ち、画像一致度演算部１５は、Ｒ基準画像の画像小領域と、Ｒ比較画像の小領域との間でＳＡＤを算出する。同様に、画像一致度演算部１５は、Ｇ，Ｂ基準画像の画像小領域についても、夫々Ｇ，Ｂ比較画像の小領域との間でＳＡＤを算出する。そして、算出した各Ｒ，Ｇ，Ｂ基準画像の小領域についてのＳＡＤを合計して不一致度Ｓを求める。

即ち、不一致度Ｓは下記（１）式によって与えられる。

Ｓ＝Σ（｜Ａｎ−Ｂｎ｜R）＋Σ（｜Ａｎ−Ｂｎ｜G）＋Σ（｜Ａｎ−Ｂｎ｜B） （１）
なお、（１）式において、｜Ａｎ−Ｂｎ｜Rは、Ｒ画像について、基準画像小領域の各画素と、これらの各画素と比較画像小領域中の対応する位置の各画素との輝度差の絶対値を示し、同様に、｜Ａｎ−Ｂｎ｜Gは、｜Ａｎ−Ｂｎ｜Bは、夫々Ｇ画像、Ｂ画像についてのものである。

更に、画像一致度演算部１５は、Ｒ，Ｇ，Ｂ画像小領域を、ステレオカメラ１，２の基線方向（水平方向）に１画素ずつずらしながら、ＳＡＤの算出を繰返して、上記（１）式の不一致度Ｓを求める。画像一致度演算部１５は、算出した不一致度Ｓが最も小さい比較画像の小領域の位置と基準画像の位置とから視差を算出する。

画像一致度演算部１５は、基準画像の各小領域毎に算出した視差を距離情報検出部１６に出力する。距離情報検出部１６は、入力された各視差情報に基づいて、基準画像中の各小領域毎の距離情報を算出して距離情報有効判定部２０に出力する。

一方、画像メモリ９，１２、画像メモリ１０，１３又は画像メモリ１１，１４に蓄積された画像信号は、夫々輝度変化検出部１７乃至１９にも供給されるようになっている。輝度変化検出部１７乃至１９は、入力された基準画像の画像小領域の各画素について、その画素が画像のエッジ部分に相当するか否かを判定する。即ち、輝度変化検出部１７乃至１９は、ステレオ基線方向に隣接する画素との輝度変化量を求める。輝度変化検出部１７乃至１９は、求めた輝度変化量が所定値以上の場合には、その画素が画像のエッジ部分であるものと判定し、エッジ有効判定結果を距離情報有効判定部２０に出力する。

距離情報有効判定部２０には、画像一致度演算部１５から各画像小領域毎の不一致度Ｓの情報も入力されている。距離情報有効判定部２０は、不一致度Ｓの最小値Ｈｍを検出する図示しない最小値検出回路と、不一致度Ｓの最大値ＨＭを求める図示しない最大値検出回路と、最大値ＨＭと最小Ｈｍとの差Ｈｘ を算出する算出部（図示せず）とを有している。

前述したように不一致度Ｓは、一つの基準画像小領域に対し、比較画像小領域を１画素ずつずらしながら順次計算されていく。そこで、不一致度Ｓの値が出力される毎に、これまでの値の最大値Ｈｘ 、最小値Ｈｍ と比較、更新することによって、最後の不一致度Ｓの出力とほぼ同時に、その小領域における不一致度Ｓの最大値ＨＭ 、最小値Ｈｍ及び差Ｈｘが求まるようになっている。

距離情報有効判定部２０は、最小不一致度に基づいて算出される距離情報の有効無効を、以下の３つのチェック条件を満足するか否かによって判定する。満足しない場合には、例えば、距離情報検出部１６において求められた距離情報を採用せずに"０"を出力する。

（１）Ｈｍが所定値以下
（２）Ｈｘが所定値以上
（３）エッジ有効と判定された画素が存在する
（１）及び（２）の条件は、得られた最小値Ｈｍ がノイズによる揺らぎによるものか否かをチェックするための条件であり、また、最大値Ｈｘ をチェック対象とすることにより、曲面等のように緩やかに輝度が変わる物体に対しても距離検出を行うことを可能にしている。

（３）の条件は、エッジ有効判定の閾値を比較的大きく設定するとエッジ検出となるが、閾値を低くすると、輝度が緩やかに変化している場合にも対応可能である。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいて採用される。エッジ有効判定は、小領域中の画素毎に行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、（３）の条件を用いることで、自然な結果を得ることができる。

距離情報有効判定部２０は、上記（１）乃至（３）の条件の全てを満足する場合には、該当する基準画像の画像小領域座標に対する距離情報が有効であるものと判定する。

距離情報有効判定部２０からの有効な距離情報は、マイクロコンピュータ２１に与えられる。その他に、マイクロコンピュータ２１は、基準画像及び比較画像の合計６枚の色画像、基準画像に対応した距離情報（距離画像）、エッジ有効判定結果及び距離有効判定結果も与えられるようになっている。

次に、このように構成された実施の形態の動作について図３を参照して説明する。図３は距離情報検出フローを示すフローチャートである。

基準カメラ１から出力されるＲ，Ｇ，Ｂ基準画像信号は夫々Ａ／Ｄ変換器３乃至５に与えられ、比較カメラ２から出力されるＲ，Ｇ，Ｂ比較画像信号は夫々Ａ／Ｄ変換器６乃至８に与えられる。各画像信号はＡ／Ｄ変換器３乃至８によって、所定階調のデジタル信号に変換される。デジタル化されたＲ，Ｇ，Ｂ基準画像信号及びＲ，Ｇ，Ｂ比較画像信号は、夫々画像メモリ９乃至１４に蓄積される。画像一致度演算部１５は、画像メモリ９乃至１４に蓄積されている画像信号を画像小領域毎に読出し、上記（１）式に従って不一致度Ｓを求め、最小不一致度を与える比較画像の画像小領域の位置との関係によって、基準画像の各画像小領域毎にその視差を求める（ステップＳ1 ）。画像一致度演算部１５は、各画像小領域毎の視差に基づいて各画像領域毎の距離情報を検出する。

また、画像メモリ９乃至１１からのＲ，Ｇ，Ｂ基準画像信号は夫々輝度変化検出部１７乃至１９に与えられる。輝度変化検出部１７乃至１９は、夫々Ｒ，Ｇ，Ｂ基準画像中の画像小領域内の各画素の輝度変化量を求める（ステップＳ2 ）。更に、輝度変化検出部１７乃至１９は、求めた各画素の輝度変化量が所定値以上であるかによってエッジ有効判定を行う（ステップＳ3 ）。

距離情報有効判定部２０は、ステップＳ4 において、各画像小領域毎に不一致度Ｓの最小値Ｈｍを求める。また、距離情報有効判定部２０は、ステップＳ5 において、各画像小領域毎に不一致度の最大値と最小値との差Ｈｘを求める。

距離情報有効判定部２０は、各画像小領域毎に求められた距離情報の有効性を判定するために、ステップＳ6 乃至Ｓ8 の判定を行う。即ち、距離情報有効判定部２０は、ステップＳ6 において、距離情報の有効性の判定対象である画像小領域について、１つ以上のエッジ有効判定画素が存在するかを判定し、ステップＳ7 において、不一致度の最小値Ｈｍが所定の閾値Ｈｍｔｈよりも小さいかを判定し、ステップＳ8 において、不一致度の差Ｈｘが所定の閾値Ｈｘｔｈよりも大きいかを判定する。ステップＳ6 乃至Ｓ8 の全ての条件を満足した場合には、ステップＳ9 において、判定対象の画像小領域について求めた距離情報が有効であるものと判定する。この場合には、マイクロコンピュータ２１に、判定対象の画像小領域について求めた距離情報及び輝度変化量の有効判定結果を出力する。マイクロコンピュータ２１は、入力された距離情報を用いて、例えば距離画像を生成することができる。

また、距離情報有効判定部２０は、ステップＳ6 乃至Ｓ8 のいずれか１つの条件でも満足しない場合には、ステップＳ10において、判定対象の画像小領域について求めた距離情報が無効であるものと判定する。

このように、本実施の形態においては、カラーカメラを用いて得た複数の色信号に基づくＳＡＤを求めることで、極めて高い精度の距離情報を取得することができる。モノクロカメラを用いた場合に比べて、精度及び確実性の点で著しく優れている。

図４は本発明の第２の実施の形態を示すブロック図である。図４において図１と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態は単板式のカラーカメラを採用した例である。本実施の形態においても２台のカラーカメラを使用する例を説明したが、３台以上のカラーカメラを用いる場合でも同様に構成可能である。

基準カメラ３１及び比較カメラ３２によって構成されるステレオカメラは、基準カメラ３１及び比較カメラ３２が図示しないカメラステイに所定の基線長を有して配設される。基準及び比較カメラ３１，３２は、例えば、単板式のカラーＣＣＤカメラである。基準カメラ３１は、ステレオ処理の際の基準画像を撮像し、他方の比較カメラ３２はステレオ処理の際の参照画像を撮像するようになっている。

単板式のカメラでは、１個の固体撮像素子（例えばＣＣＤ）のみを有している。カメラ３１，３２の固体撮像素子は、Ｒ（赤）、Ｇ（緑）又はＢ（青）色に夫々感応する画素（以下、サブピクセルという）を有しており、各サブピクセルから夫々Ｒ（赤）、Ｇ（緑）又はＢ（青）色の画素信号が得られるようになっている。

例えば、基準及び比較カメラ３１，３２は、固体撮像素子の入射面側に各サブピクセル毎にＲ（赤）、Ｇ（緑）又はＢ（青）色に感応するフィルタが配設されて構成される。各色のフィルタを各サブピクセルに対応させて適宜の配列で配置することによって、複数のサブピクセルによって１画素を構成してカラー画像を得ることができる。例えば、基準カメラ３１，比較カメラ３２としては、画素配列がベイヤー配列のものを採用する。ベイヤー配列は、緑を市松格子状に配置し、赤と青とは夫々線順次に配置するようになっている。つまり、緑は各ラインに存在し、赤は奇数ラインにのみ存在し、青は偶数ラインにのみ存在する。こうして、例えば、縦横２×２サブピクセルによって色表現が可能な１画素が構成される。

基準カメラ３１は、撮像した対象物のカラー画像（以下、基準色画像という）をＡ／Ｄ変換器３に出力し、比較カメラ３２は、撮像した対象物のカラー画像（以下、比較色画像という）をＡ／Ｄ変換器６に出力する。Ａ／Ｄ変換器３，６は、入力されたカラー画像を夫々デジタル信号に変換した後画像メモリ９，１２に出力するようになっている。画像メモリ９，２は、例えばフレームメモリによって構成されており、入力された１画面分の画像信号を保持する。

画像一致度演算部３５は、画像メモリ９，１２に記憶された基準色画像と比較色画像とを読出して、所定の小領域単位でマッチング演算を行う。図５は画像一致度演算部３５におけるマッチング演算を説明するための説明図であり、図５（ａ），（ｂ）は夫々基準色画像又は比較色画像を示している。図５中のＡ11〜Ａ44，Ｂ11〜Ｂ44は画面内の各画素を示している。

なお、図５のＡ11〜Ａ44，Ｂ11〜Ｂ44にて示す各サブピクセルは以下の色配列で構成されているものとする。

赤色
Ａ12，Ａ14，Ａ32，Ａ34
Ｂ12，Ｂ14，Ｂ32，Ｂ34
緑色
Ａ11，Ａ13，Ａ22，Ａ24，Ａ31，Ａ33，Ａ42，Ａ44
Ｂ11，Ｂ13，Ｂ22，Ｂ24，Ｂ31，Ｂ33，Ｂ42，Ｂ44
青色
Ａ21，Ａ23，Ａ41，Ａ43
Ｂ21，Ｂ23，Ｂ41，Ｂ43
画像一致度演算部３５は、基準色画像の各画像小領域に対して、比較色画像の画像小領域をステレオ基線方向に色配列に従ったサブピクセル数だけずらしながら一致検索（マッチング）演算を行う。例えば、ベイヤー配列の場合には、２×２サブピクセル単位で色表現が可能であるので、画像一致度演算部３５は、比較色画像の画像小領域を水平方向に２サブピクセルづつずらしながら一致検索（マッチング）演算を行う。

図５は、画像小領域として、例えば、２×２サブピクセルブロックを設定した例を示している。画像一致度演算部３５は、基準色画像の所定の画像小領域を設定し、基準色画像と比較色画像間で同一色同士のＳＡＤを算出する。例えば、基準色画像と比較色画像の各画像小領域が夫々図５の太線にて示すものである場合には、ＳＡＤは、｜Ａ11−Ｂ11｜、｜Ａ12−Ｂ12｜、｜Ａ13−Ｂ13｜、…、｜Ａ34−Ｂ34｜、｜Ａ44−Ｂ44｜について求められる。そして、算出した基準色画像の小領域についてのＳＡＤを合計して不一致度Ｓを求める。

即ち、不一致度Ｓは下記（２）式によって与えられる。

Ｓ＝Σ（｜Ａｎ−Ｂｎ｜） （２）
なお、（２）式において、｜Ａｎ−Ｂｎ｜は、基準色画像小領域の各サブピクセルと、これらの各サブピクセルと比較色画像小領域中の対応する位置の各サブピクセルとの輝度差の絶対値を示している。

更に、画像一致度演算部３５は、比較色画像小領域を、ステレオカメラを構成する基準カメラ３１及び比較カメラ３２の基線方向（水平方向）に２サブピクセルずつずらしながら、ＳＡＤの算出を繰返して、上記（２）式の不一致度Ｓを求める。画像一致度演算部３５は、算出した不一致度Ｓが最も小さい比較画像の小領域の位置と基準画像の位置とから視差を算出する。

画像一致度演算部３５は、基準画像の各小領域毎に算出した視差を距離情報検出部１６に出力する。距離情報検出部１６は、入力された各視差情報に基づいて、基準画像中の各小領域毎の距離情報を算出して距離情報有効判定部２０に出力する。

一方、画像メモリ９，１２に蓄積された画像信号は、輝度変化検出部１７にも供給されるようになっている。輝度変化検出部１７は、ステレオ基線方向に隣接するサブピクセルとの輝度変化量を求めることによって、入力された基準色画像の画像小領域の各サブピクセルについて、そのサブピクセルが画像のエッジ部分に相当するか否かを判定する。輝度変化検出部乃至１７は、求めた輝度変化量が所定値以上の場合には、そのサブピクセルが画像のエッジ部分であるものと判定し、エッジ有効判定結果を距離情報有効判定部２０に出力する。

距離情報有効判定部２０には、画像一致度演算部３５から各画像小領域毎の不一致度Ｓの情報も入力されている。距離情報有効判定部２０は、第１の実施の形態と同様に、上記（１）乃至（３）の条件の全てを満足する場合には、該当する基準色画像の画像小領域座標に対する距離情報が有効であるものと判定する。距離情報有効判定部２０からの有効な距離情報は、マイクロコンピュータ２１に与えられる。マイクロコンピュータ２１には、基準色画像及び比較色画像の合計２枚の色画像、基準画像に対応した距離情報（距離画像）、エッジ有効判定結果及び距離有効判定結果も与えられるようになっている。

次に、このように構成された実施の形態の動作について図６を参照して説明する。図６は距離情報検出フローを示すフローチャートである。

基準カメラ１から出力される基準色画像信号はＡ／Ｄ変換器３に与えられ、比較カメラ２から出力される比較色画像信号はＡ／Ｄ変換器６に与えられる。各色画像信号はＡ／Ｄ変換器３，６によって、所定階調のデジタル信号に変換される。デジタル化された基準色画像信号及び比較色画像信号は、夫々画像メモリ９，１２に蓄積される。画像一致度演算部３５は、画像メモリ９，１２に蓄積されている画像信号を画像小領域毎に読出し、上記（１）式に従って不一致度Ｓを求め、最小不一致度を与える比較画像の画像小領域の位置との関係によって、基準画像の各画像小領域毎にその視差を求める（ステップＳ1 ）。画像一致度演算部３５は、各画像小領域毎の視差に基づいて各画像領域毎の距離情報を検出する。

また、画像メモリ９，１２からの基準色画像信号は夫々輝度変化検出部１７に与えられる。輝度変化検出部１７は、基準色画像中の画像小領域内の各サブピクセルの輝度変化量を求める（ステップＳ12）。更に、輝度変化検出部１７は、求めた各サブピクセルの輝度変化量が所定値以上であるかによってエッジ有効判定を行う（ステップＳ13）。

距離情報有効判定部２０は、ステップＳ4 において、各画像小領域毎に不一致度Ｓの最小値Ｈｍを求める。また、距離情報有効判定部２０は、ステップＳ5 において、各画像小領域毎に不一致度の最大値と最小値との差Ｈｘを求める。

距離情報有効判定部２０は、各画像小領域毎に求められた距離情報の有効性を判定するために、ステップＳ6 乃至Ｓ8 の判定を行う。即ち、距離情報有効判定部２０は、ステップＳ6 において、距離情報の有効性の判定対象である画像小領域について、１つ以上のエッジ有効判定サブピクセルが存在するかを判定し、ステップＳ7 において、不一致度の最小値Ｈｍが所定の閾値Ｈｍｔｈよりも小さいかを判定し、ステップＳ8 において、不一致度の差Ｈｘが所定の閾値Ｈｘｔｈよりも大きいかを判定する。ステップＳ6 乃至Ｓ8 の全ての条件を満足した場合には、ステップＳ19において、判定対象の画像小領域について求めた距離情報が有効であるものと判定する。この場合には、マイクロコンピュータ２１に、判定対象の画像小領域について求めた距離情報及び輝度変化量の有効判定結果を出力する。マイクロコンピュータ２１は、入力された距離情報を用いて、例えば距離画像を生成することができる。

また、距離情報有効判定部２０は、ステップＳ6 乃至Ｓ8 のいずれか１つの条件でも満足しない場合には、ステップＳ20において、判定対象の画像小領域について求めた距離情報が無効であるものと判定する。

このように、本実施の形態においては、単板式のカラーカメラを用いて得た複数の色信号に基づくＳＡＤを求めることで、極めて高い精度の距離情報を取得することができる。モノクロカメラを用いた場合に比べて、精度及び確実性の点で著しく優れている。

本発明の第１の実施の形態に係るステレオ画像認識装置を示すブロック図。 画像一致度演算部１５におけるマッチング演算を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 本発明の第２の実施の形態を示すブロック図。 画像一致度演算部３５におけるマッチング演算を説明するための説明図。 本発明の第２の実施の形態の動作を説明するためのフローチャート。

符号の説明

１…基準カメラ、２…比較カメラ、１５…画像一致度演算部、１６…距離情報検出部、１７〜１９…輝度変化検出部、２０…距離情報有効判定部。
代理人 弁理士 伊 藤 進

Claims (4)

1. 複数のカラーカメラで撮像した基準画像と１つ以上の参照画像との間で、前記基準画像の所定の領域毎に前記参照画像の各領域との間の各色成分毎の差分絶対値和を求め、求めた差分絶対値和の総和によって不一致度を求める一致度演算手段と、
   前記一致度演算手段の演算結果によって得られる視差から距離情報を求める距離情報取得手段と、
   前記基準画像の所定の領域の各画素について、隣接する画素間の輝度変化量が所定の閾値以上のとき当該画素が画像のエッジ部分であると判定する輝度変化検出部を備え、輝度変化検出部のエッジ判定結果の総数が所定値以上、前記不一致度の最小値が所定値以下、前記不一致度の最大値と最小値との差が所定値以上である場合に、前記距離情報が有効であると判定する距離情報有効判定手段と、を具備したことを特徴とするステレオ画像認識装置。
2. 前記複数のカラーカメラは、多板式のカラーカメラであり、
   前記一致度演算手段は、前記多板式のカラーカメラによって得られる各色画像毎に前記基準画像の所定の領域毎の前記参照画像の各領域との一致度計算を行い、計算結果を合成することで前記不一致度を求めることを特徴とする請求項１に記載のステレオ画像認識装置。
3. 前記複数のカラーカメラは、単板式のカラーカメラであり、複数のサブピクセルによって色表現が可能な１画素を構成する画像を得るものであって、
   前記一致度演算手段は、前記参照画像の各領域を前記１画素単位でずらしながら前記基準画像の所定の領域毎に一致度計算を行うことによって、前記不一致度を求めることを特徴とする請求項１に記載のステレオ画像認識装置。
4. 複数のカラーカメラで撮像した基準画像と１つ以上の参照画像との間で、前記基準画像の所定の領域毎に前記参照画像の各領域との間の各色成分毎の差分絶対値和を求め、求めた差分絶対値和の総和によって不一致度を求める一致度演算手順と、
   前記一致度演算手段の演算結果によって得られる視差から距離情報を求める距離情報取得手順と、
   前記基準画像の所定の領域の各画素について、隣接する画素間の輝度変化量が所定の閾値以上のとき当該画素が画像のエッジ部分であると判定する輝度変化検出部を備え、輝度変化検出部のエッジ判定結果の総数が所定値以上、前記不一致度の最小値が所定値以下、前記不一致度の最大値と最小値との差が所定値以上である場合に、前記距離情報が有効であると判定する距離情報有効判定手順と、を具備したことを特徴とするステレオ画像認識方法。

Images