JP5027710B2 - 車両用環境認識装置および先行車追従制御システム - Google Patents

Description

本発明は、車両用環境認識装置および先行車追従制御システムに係り、特に、ステレオ撮像手段で撮像された一対の画像に対してステレオマッチング処理を行って周囲の環境を認識する車両用環境認識装置およびそれを備える先行車追従制御システムに関する。

近年、ステレオカメラからなるステレオ撮像手段により撮像された一対の画像に対して画像処理を行い、自車両の前方やその周囲の環境や先行車両を認識し、それに基づいて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール（Adaptive Cruise Control。以下ＡＣＣと略称する）制御を行うＡＣＣ装置が開発されている。ＡＣＣ装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルやブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ＡＣＣ装置には先行車両を的確に検出できることが求められる。

ステレオ撮像手段により撮像された一対の画像を用いて先行車両を検出する手法としては、一対の画像に対してステレオマッチング処理を施して視差が算出され、それに基づいて距離を算出するように構成される場合が多い。ステレオマッチング処理では、まず、一対の画像のうち、一方の画像（例えばドライバに近い側のカメラで撮像された画像）を基準画像Ｔ_Oとし、他方の画像（例えばドライバから遠い側のカメラで撮像された画像）を比較画像Ｔ_Cとする。そして、図１５に示すように、基準画像Ｔ_Oを例えば３×３画素や４×４画素等の所定の画素数の小領域（以下、画素ブロックＰＢ_Oという。）に分割する。

そして、各画素ブロックＰＢ_Oごとに、比較画像Ｔ_C中で当該画素ブロックＰＢ_Oに対応する上下方向の位置にエピポーララインＥＰＬを設定し、画素ブロックＰＢ_Oの輝度パターンと、当該エピポーララインＥＰＬ上に存在する画素ブロックＰＢ_Oと同形の画素ブロックＰＢ_Cの輝度パターンとを比較する。その際、例えば、基準画像Ｔ_Oの画素ブロックＰＢ_O中の各画素の輝度値をｐ１s,tとし、比較画像Ｔ_Cの画素ブロックＰＢ_C中の各画素の輝度値をｐ２s,tとした場合、輝度パターンの差異として下記（１）式のＳＡＤ（Sum of Absolute Difference）値を算出する。

なお、上記（１）式では、画素ブロックＰＢ_Oや画素ブロックＰＢ_Cが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、例えば４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について、差の絶対値の総和が算出される。

そして、上記（１）式に従って算出されるＳＡＤ値であって、予め設定された閾値以下の値となるＳＡＤ値のうち、最小のＳＡＤ値を与える画素ブロックＰＢ_Cが、画素ブロックＰＢ_Oに撮像されている物体と同じ物体が撮像されている比較画像上の画素ブロックとして特定される。また、このステレオマッチング処理の結果を用いて、比較画像Ｔ_C上に特定された画素ブロックＰＢ_Cと元の基準画像Ｔ_Oの画素ブロックＰＢ_Oとの視差ｄｐが算出され、その視差ｄｐに基づいて三角測量の原理によりその画素ブロックＰＢ_Oに撮像されている物体までの距離Ｚが算出される。

ところで、ステレオ撮像手段としてＣＣＤ（Charge Coupled Device）イメージセンサ等を用いると、例えば図１６に示すような逆光の環境下で撮像したような場合、基準画像Ｔ_Oや図示しない比較画像Ｔ_C中に、太陽Ｓｕの強い光によるフレア（flare。レンズフレア、ハレーション等とも言う。）Ｆｌや筋状のスミア（smear。白飛び等とも言う。）Ｓｍが発生する場合がある。このような状況で、基準画像Ｔ_Oおよび比較画像Ｔ_Cに対するステレオマッチング処理を行うと、周囲の画像領域よりも極端に明るいフレアＦｌやスミアＳｍの影響で、その近傍等の画像領域でミスマッチングが生じ易くなる。

また、例えば図１７（Ａ）、（Ｂ）に例示される基準画像Ｔ_Oおよび比較画像Ｔ_Cのように、片方のカメラにだけ逆光が入射するなどして、一対のカメラの明るさのバランスが崩れた状態で撮像される場合がある。そして、このような場合にも、それらに対してステレオマッチング処理を行うと、ミスマッチングが生じ易くなる。

このようにミスマッチングが生じると、先行車両Ｖahが検出できなくなったり（すなわちロストしたり）、実際とは異なる誤った距離が検出されたりする。そして、先行車両Ｖahがロストしたり先行車両Ｖahまでの距離が誤検出された状態でＡＣＣ装置を作動させ続けると、自車両が先行車両Ｖahに向かって接近して行って追突するなど、非常に危険な状況となる。

このような事態の発生を回避するため、例えば特許文献１に記載の発明では、先行車両が撮像されている画像領域等における視差ｄｐや距離Ｚのデータのばらつきを検出することが提案されている。これは、ミスマッチングがなければ距離Ｚ等のデータのばらつきが少なく検出されることに基づく。

また、特許文献２に記載の発明では、基準画像Ｔ_Oと比較画像Ｔ_Cとの位置的に対応する各画像領域の全体的な輝度（例えば輝度値の平均値等）を比較して、それらが大きく異なる場合にフェール判定を行うことが提案されている。これは、まさに図１７（Ａ）、（Ｂ）に示したように、基準画像Ｔ_Oと比較画像Ｔ_Cの明るさのバランスが崩れたような場合に対応するものである。

さらに、特許文献３に記載の発明では、カメラの露光量が大きい場合に、対象が数フレームの間安定して撮像されないような場合に、スミアやフレア等の誤認識の可能性があるとして排除することが提案されている。
特開２００１−４３４９６号公報 特開２００２−３７４５２４号公報 特開２００７−９６６８４号公報

上記の各発明によれば、図１６に示したような画像中にフレアＦｌやスミアＳｍが発生している場合や図１７（Ａ）、（Ｂ）に示したような基準画像Ｔ_Oと比較画像Ｔ_Cとで明るさのバランスが崩れている場合に対処し得る。

しかしながら、上記のように先行車両Ｖahがロストしたり先行車両Ｖahまでの距離が誤検出され、ＡＣＣ装置がそれに基づいて作動して自車両が先行車両Ｖah追突するように事態を確実に回避するためには、まず、ステレオマッチング処理によりミスマッチングが生じているか否かを的確に判定することが必要となる。そして、ミスマッチングが生じている場合には、的確にＡＣＣ装置の作動を一時停止することが必要となる。

本発明は、このような事情に鑑みてなされたものであり、ステレオ撮像手段から出力された一対の画像に対するステレオマッチング処理でミスマッチングが発生していることを的確に判定することが可能な車両用環境認識装置を提供することを目的とする。また、ミスマッチングが発生している場合に適切に対処し得る先行車追従制御システムを提供することを目的とする。

前記の問題を解決するために、第１の発明は、車両用環境認識装置において、
一対のカメラで自車両の周囲の環境を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像または前記基準画像に所定の前処理が施されて形成された画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像または前記比較画像に前記所定の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第１視差をそれぞれ対応づけて第１距離画像を形成する第１ステレオマッチング手段と、
前記基準画像に前記前処理とは異なる別の前処理が施されて形成された画像を前記所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像に前記別の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第２視差をそれぞれ対応づけて第２距離画像を形成する第２ステレオマッチング手段と、
前記第１距離画像および前記第２距離画像の対応する画素ブロックの前記第１視差および前記第２視差を比較して、それらの差の絶対値が所定の閾値以上である画素ブロックでミスマッチングが発生していると判定するミスマッチング判定手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の車両用環境認識装置において、前記ミスマッチング判定手段は、前記第１視差および前記第２視差をそれぞれ第１距離および第２距離に変換して比較して、それらの差の絶対値が所定の閾値以上である画素ブロックでミスマッチングが発生していると判定することを特徴とする。

第３の発明は、第１または第２の発明の車両用環境認識装置において、
前記第１視差と前記第２視差の少なくとも一方に基づいて前記基準画像中から先行車両を検出する先行車両検出手段をさらに備え、
前記ミスマッチング判定手段は、前記差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在する場合に、ミスマッチング発生情報を作成することを特徴とする。

第４の発明は、第３の発明の車両用環境認識装置において、前記ミスマッチング判定手段は、前記基準画像中に設定された一定の領域内に属する画素ブロックのうち、前記差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在する場合に、ミスマッチング発生情報を作成することを特徴とする。

第５の発明は、先行車追従制御システムにおいて、
第３または第４の発明の車両用環境認識装置と、
自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
前記先行車追従制御装置は、前記車両用環境認識装置の前記ミスマッチング判定手段から前記ミスマッチング発生情報を受信した場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする。

第６の発明は、第５の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記ミスマッチング判定手段から所定数のフレームで連続して前記ミスマッチング発生情報を受信した場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。

第７の発明は、第５の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記ミスマッチング判定手段から前記ミスマッチング発生情報を受信したフレームではカウント数を増加させ、前記ミスマッチング判定手段から前記ミスマッチング発生情報を受信しなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。

第８の発明は、第５から第７のいずれかの発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする。

第１の発明によれば、ミスマッチング判定手段を、第１距離画像および第２距離画像の対応する画素ブロックの第１視差および第２視差を比較して、それらの差の絶対値が所定の閾値以上である画素ブロックでミスマッチングが発生していると判定するように構成した。

基準画像と比較画像とが正常に撮像されるような環境であれば、通常、基準画像と比較画像に対して異なる前処理（前処理を行わない場合を含む。）を行って得られた２組の一対の画像に対してそれぞれステレオマッチング処理を施しても、ステレオマッチング処理が正常に行われれば、第１距離画像と第２距離画像の対応する画素ブロックの第１視差と第２視差の値はさほど大きく異なるものにはならない。そのため、ステレオマッチング処理の結果として得られた第１視差と第２視差の値が大きく異なるものであれば、それは、その画素ブロックにおいて、いずれかのステレオマッチング処理でミスマッチングを生じていることを意味するものであると考えられる。

そのため、上記のように、対応する画素ブロックの第１視差と第２視差とを比較して、それらの差の絶対値が所定の閾値以上であり大きな差がある場合に画素ブロックでミスマッチングが発生していると判定することで、ステレオマッチング処理でミスマッチングが発生していることを的確に判定することが可能となる。

第２の発明によれば、前記発明の効果に加え、第１視差や第２視差の代わりにそれらと１対１に対応する第１距離および第２距離に変換して比較することで、それらの差の絶対値に対する閾値を、実空間上の距離の差として設定することが可能となる。

第３の発明によれば、前記各発明の効果に加え、ミスマッチング判定手段を、上記の差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在する場合に、ミスマッチング発生情報を作成するように構成することで、基準画像や比較画像が撮像される現在の環境が、ミスマッチングを生じ易い環境、すなわち画像中にフレアＦｌやスミアＳｍ（例えば図１６参照）が発生していたり基準画像と比較画像との明るさのバランスが崩れている場合（例えば図１７（Ａ）、（Ｂ）参照）である可能性が高いことをミスマッチング発生情報として伝えることが可能となるとともに、例えばその情報を先行車追従制御装置に伝達して、ミスマッチングが発生している場合に適切に対処させることが可能となる。

第４の発明によれば、前記各発明の効果に加え、上記の処理を、基準画像中に設定された一定の領域内に属する画素ブロックに限定して行うように構成することで、ミスマッチング判定手段における判定処理の負担を軽減し、判定処理にかかる時間を短縮することが可能となるとともに、前記一定の領域を基準画像中の縦方向の中央部分等に設定すれば、距離画像の上方のミスマッチングを生じ易い領域の影響を排除して、先行車両等が撮像された領域についてのみミスマッチングが発生しているか否かを判定することが可能となり、より有効なミスマッチング発生の判定を行うことが可能となる。

第５の発明によれば、上記のように車両用環境認識装置のミスマッチング判定手段が的確にミスマッチングが多発しているか否かを判定するため、先行車追従制御システムの先行車追従制御装置は、それに基づいてミスマッチングが多発している場合に適切に先行車追従制御を一時停止させることが可能となり、ミスマッチングの多発時に適切に対処することが可能となる。

第６の発明によれば、ミスマッチングが数フレームで連続して多発していると判定された場合に自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のミスマッチング判定手段が万が一ミスマッチングが多発していると誤判定したとしても、ミスマッチング判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。

第７の発明によれば、ミスマッチングが多発していると判定されたフレームのカウント数を増減させてそのカウント数が所定の閾値以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のミスマッチング判定手段が万が一ミスマッチングが多発していると誤判定したとしても、ミスマッチング判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。

第８の発明によれば、前記各発明の効果に加え、自車両のドライバが先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両に追突する等の事態が生じる可能性があるが、先行車追従制御装置の制御手段が自車両に対する先行車追従制御を一時停止した場合に、ドライバに対して例えば音声を発声させたり画面上に表示させたりランプを点灯させるなどして先行車追従制御が一時停止されたことをドライバに報知することで、ドライバの注意を喚起することが可能となり、上記の事態の発生を回避することが可能となる。

以下、本発明に係る車両用環境認識装置および先行車追従制御システムの実施の形態について、図面を参照して説明する。

［車両用環境認識装置］
本実施形態に係る車両用環境認識装置１は、図１に示すように、ステレオ撮像手段２、変換手段３、認識手段１０等で構成されている。また、車両用環境認識装置１は、２系統の画像処理手段６ａ、６ｂを備えている。

なお、ステレオ撮像手段２や変換手段３、画像補正部４、画像データメモリ５、第１、第２ステレオマッチング手段７ａ、７ｂと第１、第２距離データメモリ８ａ、８ｂを備える第１、第２画像処理手段６ａ、６ｂの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

ステレオ撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤイメージセンサがそれぞれ内蔵され例えばフロントガラスの車内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。

メインカメラ２ａおよびサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に自車両の周囲の環境を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは図２に例示される基準画像Ｔ_Oの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像Ｔ_Cの画像データを出力するようになっている。

メインカメラ２ａとサブカメラ２ｂから出力された基準画像Ｔ_Oと比較画像Ｔ_Cの画像データは、それぞれ変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、第１画像処理手段６ａおよび第２画像処理手段６ｂに送信されるようになっている。

第１画像処理手段６ａは、イメージプロセッサ等からなる第１ステレオマッチング手段７ａと第１距離データメモリ８ａとを備えている。

なお、本実施形態では、第１画像処理手段６ａでは、基準画像Ｔ_Oや比較画像Ｔ_Cに前処理を施さず、基準画像Ｔ_Oや比較画像Ｔ_Cに対して直接ステレオマッチング処理を行う場合について説明する。しかし、後述する第２画像処理手段６ｂの場合と同様に、第１画像処理手段６ａにおいても基準画像Ｔ_Oや比較画像Ｔ_Cに対して前処理が施されて形成された２つの画像に対してステレオマッチング処理を行うように構成することも可能である。その場合、第１画像処理手段６ａと第２画像処理手段６ｂには互いに異なる前処理の手法で前処理された２つの画像がそれぞれ入力される。

第１ステレオマッチング手段７ａでは、図１５に示した手法でステレオマッチング処理が行われるようになっているため、説明を省略する。本実施形態では、このようにＳＡＤ値を用いるように構成されているが、この他にも、例えば画素ブロックＰＢ_O中の各画素の輝度値ｐ１s,tと画素ブロックＰＢ_C中の各画素の輝度値ｐ２s,tとの差の二乗和に基づいてステレオマッチング処理を行うように構成することも可能である。また、画素ブロックＰＢ_Oと画素ブロックＰＢ_Cとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って算出される差異に基づいてステレオマッチング処理を行うように構成することも可能である。

第１ステレオマッチング手段７ａは、ステレオマッチング処理により特定した画素ブロックＰＢ_Cの比較画像Ｔ_C上の位置と元の基準画像Ｔ_O上の画素ブロックＰＢ_Oの位置から第１視差ｄｐ１を算出し、以上の処理を基準画像Ｔ_O上の全画素ブロックＰＢ_Oについて行って、画素ブロックＰＢ_Oごとに第１視差ｄｐ１を算出するようになっている。また、第１ステレオマッチング手段７ａは、図２に示した基準画像Ｔ_Oの各画素ブロックＰＢ_Oに上記のようにして算出した第１視差ｄｐ１をそれぞれ対応づけて、図３に示すような第１距離画像Ｔ_Z１を形成するようになっている。

なお、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ_１，Ｙ_１，Ｚ_１）と、上記の第１視差ｄｐ１および第１距離画像Ｔ_Z１上の点（ｉ_１，ｊ_１）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により１対１に対応づけられる。
Ｘ_１＝ＣＤ／２＋Ｚ_１×ＰＷ×（ｉ_１−ＩＶ） …（２）
Ｙ_１＝ＣＨ＋Ｚ_１×ＰＷ×（ｊ_１−ＪＶ） …（３）
Ｚ_１＝ＣＤ／（ＰＷ×（ｄｐ１−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の第１距離画像Ｔ_Z１上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

このように、第１視差ｄｐ１と第１距離Ｚ_１とは１対１に対応づけられるものであるため、第１ステレオマッチング手段７ａにおいて、算出した第１視差ｄｐ１を上記（４）式に従って第１距離Ｚ_１に変換し、基準画像Ｔ_Oの各画素ブロックＰＢ_Oに変換した第１距離Ｚ_１を割り当てて第１距離画像Ｔ_Z１を形成するように構成することも可能である。

第１ステレオマッチング手段７ａは、上記のようにして形成した第１距離画像Ｔ_Z１の情報を第１距離データメモリ８ａに送信して格納させるとともに、認識手段１０に送信するようになっている。

一方、第２画像処理手段６ｂには、前処理手段９（図１参照）で基準画像Ｔ_Oと比較画像Ｔ_Cに対してそれぞれ所定の前処理が施されて形成された２つの画像が入力されるようになっている。本実施形態では、前処理手段９では、所定の前処理として基準画像Ｔ_Oと比較画像Ｔ_Cに対してエッジ検出処理を行って基準エッジ画像と比較エッジ画像を形成するようになっている。なお、前処理手段９において行われる前処理として、エッジ検出処理以外の他の処理を行うように構成することも可能である。

本実施形態では、画像補正部４からずれやノイズの除去等の画像補正が行われた基準画像Ｔ_Oや比較画像Ｔ_Cの各画素の輝度値ｐ１i,j、ｐ２i,jのデータが基準画像Ｔ_Oや比較画像Ｔ_Cの水平ライン、すなわち１画素幅のエピポーララインごとに順々に出力されて、前処理手段９にそれぞれ入力されてくるようになっている。なお、輝度値ｐ１i,j、ｐ２i,jは基準画像Ｔ_Oや比較画像Ｔ_C上の座標（ｉ，ｊ）における画素の輝度値を表す。

前処理手段９は、基準画像Ｔ_Oや比較画像Ｔ_Cの水平ラインごとに入力されてくる各画素の輝度値ｐ１i,j、ｐ２i,jのデータに対して、１次編微分オペレータ（−１／０／＋１）（正確には１次編微分オペレータ（−０．５／０／＋０．５）の２倍の値のオペレータ）のフィルタをかけてエッジ検出処理を行うようになっている。

すなわち、前処理手段９は、基準画像Ｔ_Oの水平ラインごとに入力されてくる各画素の輝度値ｐ１i,jのデータに対して下記（５）式に示すエッジ検出処理を行って、算出されるエッジ値ｐ３i,jを座標（ｉ，ｊ）における画素の輝度値とする基準エッジ画像ＴＥ_Oを形成する。
ｐ３i,j＝−ｐ１i-1,j＋ｐ１i+1,j …（５）

また、前処理手段９は、比較画像Ｔ_Cの水平ラインごとに入力されてくる各画素の輝度値ｐ２i,jのデータに対して下記（６）式に示すエッジ検出処理を行って、算出されるエッジ値ｐ４i,jを座標（ｉ，ｊ）における画素の輝度値とする比較エッジ画像ＴＥ_Cを形成するようになっている。
ｐ４i,j＝−ｐ２i-1,j＋ｐ２i+1,j …（６）

なお、メインカメラ２ａとサブカメラ２ｂで前述した図１７（Ａ）、（Ｂ）に示したような基準画像Ｔ_Oと比較画像Ｔ_Cが撮像されるシーンでは、この前処理手段９のエッジ検出処理により、図４（Ａ）、（Ｂ）に示すような基準エッジ画像ＴＥ_Oおよび比較エッジ画像ＴＥ_Cが得られる。

前処理手段９は、このようにして輝度値（エッジ値）ｐ３i,j、ｐ４i,jを有する各画素からなる基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cとをそれぞれ形成して、第２画像処理手段６ｂに送信するようになっている。

第２画像処理手段６ｂは、上記の第１画像処理手段６ａと同様に構成されており、第２画像処理手段６ｂの第２ステレオマッチング手段７ｂにおいても、図１５に示した手法でステレオマッチング処理が行われるようになっている。ただし、ステレオマッチング処理の対象は基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cである。

そして、第２ステレオマッチング手段７ｂは、第１ステレオマッチング手段７ａと同様にして基準エッジ画像ＴＥ_O上の画素ブロックごとに第２視差ｄｐ２を算出し、基準エッジ画像ＴＥ_Oの各画素ブロックに、算出した第２視差ｄｐ２を対応づけて第２距離画像Ｔ_Z２を形成するようになっている。

なお、基準エッジ画像ＴＥ_Oの各画素ブロックは、第１ステレオマッチング手段７ａにおける基準画像Ｔ_O上の各画素ブロックＰＢ_Oと同じ画素位置に設定されるため、第２距離画像Ｔ_Z２は、基準画像Ｔ_Oの各画素ブロックＰＢ_Oに算出した各第２視差ｄｐ２を対応づけて形成されると表現することも可能である。

また、上記と同様に原点やＸ軸方向、Ｙ軸方向、Ｚ軸方向を設定し、第２視差ｄｐ２から算出される実空間上の点の座標を（Ｘ_２，Ｙ_２，Ｚ_２）とした場合、それと第２視差ｄｐ２および第２距離画像Ｔ_Z２上の点（ｉ_２，ｊ_２）とは、三角測量の原理に基づき下記（７）〜（９）式で表される座標変換により１対１に対応づけられる。なお、式中のＣＤ等は上記と同様である。
Ｘ_２＝ＣＤ／２＋Ｚ_２×ＰＷ×（ｉ_２−ＩＶ） …（７）
Ｙ_２＝ＣＨ＋Ｚ_２×ＰＷ×（ｊ_２−ＪＶ） …（８）
Ｚ_２＝ＣＤ／（ＰＷ×（ｄｐ２−ＤＰ）） …（９）

さらに、第２視差ｄｐ２と第２距離Ｚ_２とが１対１に対応づけられるものであるため、第２ステレオマッチング手段７ｂにおいて、算出した第２視差ｄｐ２を上記（９）式に従って第２距離Ｚ_２に変換し、基準エッジ画像ＴＥ_O（基準画像Ｔ_O）の各画素ブロックＰＢ_Oに、変換した第２距離Ｚ_２を対応づけて第２距離画像Ｔ_Z２を形成するように構成することも可能である。

第２ステレオマッチング手段７ｂは、上記のようにして形成した第２距離画像Ｔ_Z２の情報を第２距離データメモリ８ｂに送信して格納させるとともに、認識手段１０に送信するようになっている。

認識手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、認識手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

認識手段１０は、物体検出手段１１と、先行車両検出手段１２と、ミスマッチング判定手段１３とを備えており、さらに図示しないメモリを備えている。

物体検出手段１１は、本実施形態では、第１距離画像Ｔ_Z１に基づいて基準画像Ｔ_O中に撮像された物体を検出するようになっているが、第２距離画像Ｔ_Z２に基づいて基準画像Ｔ_O中に物体を検出するように構成することも可能である。また、物体検出手段１１を、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２に基づいてそれぞれ物体を検出し、それらの検出結果のうち、良好な検出結果を出力するように構成することも可能である。

なお、本実施形態では、物体検出手段１１は、本願出願人により先に提出された特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。

物体検出手段１１は、例えば図３に示したように形成された第１距離画像Ｔ_Z１を第１距離データメモリ８ａから読み出して、まず、図５に示すように第１距離画像Ｔ_Z１を所定の画素幅で縦方向に延びる短冊状の区分Ｄｎに分割する。そして、各区分Ｄｎごとに図６に示すようなヒストグラムＨｎを作成し、各区分Ｄｎに属する各第１視差ｄｐ１を当該視差ｄｐ１が属する区分ＤｎのヒストグラムＨｎに投票する。そして、度数Ｆｎが最大の階級の階級値をその区分Ｄｎにおける物体の視差ｄｐｎとする。これを第１距離画像Ｔ_Z１の全区分Ｄｎについて行うようになっている。

物体検出手段１１は、続いて、各区分Ｄｎごとに得られた視差ｄｐｎを上記（４）式のｄｐ１に代入して、視差ｄｐｎに対応する各区分Ｄｎごとの実空間上の第１距離Ｚ_１を算出してその区分Ｄｎの距離Ｚｎとし、図７に示すように実空間上にプロットし、図８に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。

本実施形態では、物体検出手段１１は、各グループに属する各点を図９に示すようにそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。

そして、物体検出手段１１は、図９の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。

また、物体検出手段１１は、このようにして検出した各物体を図１０に示すように基準画像Ｔ_O上で矩形状の枠線で包囲するようにして検出するようになっている。物体検出手段１１は、このようにして基準画像Ｔ_O中に撮像された各物体を検出して、自車両Ａの周囲の環境を認識するようになっている。

物体検出手段１１は、このようにして検出した各物体の情報をメモリに保存するとともに、必要に応じて外部に出力するようになっている。

先行車両検出手段１２は、図１１に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。

自車両Ａの走行軌跡Ｌestは、センサ類Ｑから送信されてくる自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（１０）式または下記（１１）、（１２）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（１０）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（１１）
Ｃua＝１／Ｒｅ …（１２）

そして、先行車両検出手段１２は、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１０や図１１では、車両Ｏ３が先行車両Ｖahとして検出される。

先行車両検出手段１２は、このようにして検出した先行車両Ｖahの自車両からの距離Ｚやその他必要な情報をメモリに保存するとともに、後述する先行車追従制御装置２１に送信するようになっている。

なお、本実施形態では、先行車両検出手段１２は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段１２は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

また、上記の説明では、物体検出手段１１と先行車両検出手段１２とを分けて説明したが、物体検出手段１１における物体検出処理と先行車両検出手段１２における先行車両検出処理は一連の処理として常時行われるようになっている。

ミスマッチング判定手段１３（図１参照）は、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２とに基づいてミスマッチングが発生しているか否かを判定するようになっている。

具体的には、ミスマッチング判定手段１３は、まず、第１距離データメモリ８ａから第１距離画像Ｔ_Z１の情報を読み出し、第２距離データメモリ８ｂから第２距離画像Ｔ_Z２の情報を読み出して、図１２に示すように、第１距離画像Ｔ_Z１および第２距離画像Ｔ_Z２の対応する画素ブロックの第１視差ｄｐ１および第２視差ｄｐ２を比較するようになっている。

前述したように、本実施形態では、基準エッジ画像ＴＥ_O上の各画素ブロックは基準画像Ｔ_O上の各画素ブロックＰＢ_Oと同じ画素位置に設定されるため、基準エッジ画像ＴＥ_Oの画素ブロックを、基準画像Ｔ_Oと同様に画素ブロックＰＢ_Oと表現することができる。そして、第１距離画像Ｔ_Z１は、基準画像Ｔ_Oの各画素ブロックＰＢ_Oに第１視差ｄｐ１がそれぞれ対応づけられて形成され、第２距離画像Ｔ_Z２は、基準エッジ画像ＴＥ_Oの各画素ブロックＰＢ_Oに第１視差ｄｐ２がそれぞれ対応づけられて形成されるため、第１距離画像Ｔ_Z１上と第２距離画像Ｔ_Z２上の同じ画素位置の画素ブロックＰＢ_Oの第１視差ｄｐ１と第２視差ｄｐ２とを対比させることで、それらを容易に比較することができる。

そして、ミスマッチング判定手段１３は、同じ画素位置の画素ブロックＰＢ_Oの第１視差ｄｐ１と第２視差ｄｐ２との差の絶対値が所定の閾値Δｄｐth以上である場合に、すなわち、
｜ｄｐ１−ｄｐ２｜≧Δｄｐth …（１３）
を満たす場合に、当該画素ブロックＰＢ_Oでミスマッチングが発生していると判定するようになっている。

この閾値Δｄｐthは、上記（４）式や上記（９）式に従って第１視差ｄｐ１と第２視差ｄｐ２をそれぞれ第１距離Ｚ_１と第２距離Ｚ_２とに変換した場合に、その差、すなわち実空間上の距離の差が明らかに存在すると考えられる値に設定される。

例えば、第１距離Ｚ_１や第２距離Ｚ_２の値自体が例えば１０ｍ程度の値であれば（すなわち第１視差ｄｐ１や第２視差ｄｐ２が１０ｍ程度の距離を与える値であれば）、その差が±５ｍもあれば明らかに差があると言い得るが、第１距離Ｚ_１や第２距離Ｚ_２の値自体が例えば１００ｍ程度の値であれば、その差が±５ｍであっても明らかに差があるとは言いがたい。

このように、第１距離Ｚ_１と第２距離Ｚ_２と値に明らかに差があると考えられることを表す閾値Δｄｐthは、第１距離Ｚ_１や第２距離Ｚ_２の値自体の大きさで変わるように設定することが好ましい。本実施形態では、閾値Δｄｐthは、第１距離Ｚ_１の値が大きくなるに従って大きくなるように設定されており、第１距離Ｚ_１の値が１０ｍの場合には例えば５ｍ、１００ｍの場合には例えば２０ｍとなるように設定されている。

上記（４）、（９）式から分かるように第１視差ｄｐ１と第１距離Ｚ_１とは反比例するから、正確に言えば、本実施形態では、閾値Δｄｐthは、第１視差ｄｐ１の値が小さくなるに従って大きくなるように設定されており、第１距離Ｚ_１の値が１０ｍとなるような第１視差ｄｐ１の値においては例えば５ｍに相当する視差の値、第１距離Ｚ_１の値が１００ｍとなるような第１視差ｄｐ１の値においては例えば２０ｍに相当する視差の値になるように設定されている。

なお、ミスマッチング判定手段１３を、第１視差ｄｐ１と第２視差ｄｐ２とをそれぞれ第１距離Ｚ_１と第２距離Ｚ_２とに変換したうえで、第１距離Ｚ_１と第２距離Ｚ_２とを比較してそれらの差の絶対値が所定の閾値以上である画素ブロックＰＢ_Oでミスマッチングが発生していると判定するように構成することも可能である。

ミスマッチング判定手段１３は、上記のようにして、第１距離画像Ｔ_Z１上と第２距離画像Ｔ_Z２上の同じ画素位置の各画素ブロックＰＢ_Oについてミスマッチングが発生しているか否かを判定し、ミスマッチングが発生していると判定した画素ブロックＰＢ_Oの数をカウントし、所定個数以上見出した場合に、ミスマッチング発生情報を作成するようになっている。

なお、ミスマッチング判定を第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２のそれぞれ全画像領域について行うように構成すると、通常、各距離画像には多数の画素ブロックＰＢ_Oが属しているため、判定処理に時間がかかる。また、各距離画像の上方の領域の方は空や先行車両Ｖahのさらに前方の風景が撮像されている場合があり、ミスマッチングを生じ易いが、そのような部分でミスマッチングを生じても、道路面上の物体や先行車両Ｖahの検出にはさほど影響がない。

そのため、本実施形態では、ミスマッチング判定手段１３は、第１距離画像Ｔ_Z１や第２距離画像Ｔ_Z２の全画素ブロックＰＢ_Oのうち、先行車両Ｖah等が検出される第１距離画像Ｔ_Z１や第２距離画像Ｔ_Z２の縦方向の中央部分に設定される図示を省略する所定の画像領域において、上記のようにして第１距離画像Ｔ_Z１上と第２距離画像Ｔ_Z２上の同じ画素位置の各画素ブロックＰＢ_Oについてミスマッチングが発生しているか否かを判定し、ミスマッチングが発生していると判定した画素ブロックＰＢ_Oの数をカウントし、所定個数以上見出した場合に、ミスマッチング発生情報を作成するようになっている。

このように構成することで、ミスマッチング判定手段１３における判定処理の負担を軽減し、判定処理にかかる時間を短縮することが可能となるとともに、距離画像の上方のミスマッチングを生じ易い領域の影響を排除して、先行車両Ｖah等が撮像された領域についてのみミスマッチングが発生しているか否かを判定することが可能となり、有効にミスマッチングの発生の有無の判定を行うことが可能となる。

なお、さらに判定処理の対象となる第１距離画像Ｔ_Z１や第２距離画像Ｔ_Z２の画素ブロックＰＢ_Oの数を減らすために、例えば、第１距離画像Ｔ_Z１や第２距離画像Ｔ_Z２の縦方向の中央部分で、横方向に延在する単数または複数の１画素ブロック幅の画素ブロックＰＢ_Oの水平ラインについて、上記のようにして第１距離画像Ｔ_Z１上と第２距離画像Ｔ_Z２上の同じ画素位置の各画素ブロックＰＢ_Oについてミスマッチングが発生しているか否かを判定するように構成することも可能である。

ミスマッチング判定手段１３は、ミスマッチング発生情報を作成すると、そのミスマッチング発生情報を後述する先行車追従制御装置２１に送信するようになっている。

［先行車追従制御システム］
本実施形態に係る先行車追従制御システム２０は、図１３に示すように、上記の車両用環境認識装置１と、先行車追従制御装置２１と、報知装置２４とで構成されている。

先行車追従制御装置２１は、マイクロコンピュータ等からなる制御手段２２と、制御手段２２からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を操作するアクチュエータ等からなる応動部２３とで構成されている。

先行車追従制御装置２１の制御手段２２は、車両用環境認識装置１の先行車両検出手段１２から先行車両Ｖahの自車両からの距離Ｚの情報等が送信されてくると、それに基づいて応動部２３を指示して自車両を先行車両Ｖahに追従させるようになっている。その際、自車両と先行車両Ｖahとが走行中であれば、先行車両Ｖahとの車間距離を保つ状態で自車両を先行車両Ｖahに追従させ、先行車両Ｖahが停止した場合には、先行車両Ｖahの後方の先行車両Ｖahから所定の距離だけ離れた位置で自車両を停止させる。

制御手段２２は、このように、車両用環境認識装置１の先行車両検出手段１２から送信されてくる先行車両Ｖahの情報に基づいて、自車両に対して、上記の処理を含む公知の先行車追従制御を行うようになっている。

一方、先行車追従制御装置２１の制御手段２２は、車両用環境認識装置１のミスマッチング判定手段１３から前述したミスマッチング発生情報が送信されてくると、上記の自車両に対する先行車追従制御を一時的に停止するようになっている。

その際、ミスマッチング判定手段１３がミスマッチングの発生を誤判定してミスマッチング発生情報を送信している可能性がないとは言い切れないため、例えば、ミスマッチング判定手段１３から所定数のフレーム（すなわち所定数のサンプリング周期）で連続してミスマッチング発生情報が送信されてきた場合に自車両に対する先行車追従制御を一時的に停止するように制御手段２２を構成することが可能である。

しかし、逆に、ミスマッチングが発生している状況であるにもかかわらず、ミスマッチング判定手段１３がミスマッチングは発生していないと判定する可能性がないとも言い切れない。その場合、それまでにミスマッチング発生情報が連続して送信されてきても、前述した所定数のフレームに達しないうちに上記の事態が生じてミスマッチング発生情報の送信が途絶えてしまえば、連続フレーム数がリセットされてしまう。そのため、再度所定数のフレームに達するまで先行車追従制御が一時停止されず、ミスマッチングが発生する状況であるにもかかわらず先行車追従制御が少なくともしばらくの間一時停止されない事態が生じることになる。

本実施形態では、このような事態を回避するため、先行車追従制御装置２１の制御手段２２が、ミスマッチング発生情報が送信されてきたフレームではカウント数を増加させ、ミスマッチング発生情報が送信されなかったフレームではカウント数を減少させる図示しないカウンタを備えるように構成されている。そして、制御手段２２は、図１４に示すように、カウンタのカウント数Ｃが所定の閾値Ｃth以上である場合に、自車両に対する先行車追従制御を一時停止するようになっている。

また、自車両のドライバが、先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両Ｖahに追突する等の事態が生じる可能性がある。そのため、本実施形態では、先行車追従制御装置２１の制御手段２２は、自車両に対する先行車追従制御を一時停止した場合には、例えば報知装置２４の図示しないスピーカから音声を発声させたり図示しない画面上に表示させたり或いは図示しない所定のランプを点灯させるなどして、先行車追従制御が一時停止されたことをドライバに報知するようになっている。

［作用］
次に、本実施形態に係る車両用環境認識装置１および先行車追従制御システム２０の作用について説明する。

車両用環境認識装置１では、メインカメラ２ａとサブカメラ２ｂ等で構成されるステレオ撮像手段２で自車両の周囲の環境が撮像され、出力された基準画像Ｔ_Oおよび比較画像Ｔ_Cに基づいて、第１画像処理手段６ａの第１ステレオマッチング手段７ａで、基準画像Ｔ_Oの各画素ブロックＰＢ_Oについてそれぞれ第１視差ｄｐ１が算出され、各画素ブロックＰＢ_Oに算出された第１視差ｄｐ１がそれぞれ対応づけられて第１距離画像Ｔ_Z１が形成される。

また、出力された基準画像Ｔ_Oおよび比較画像Ｔ_Cは、前処理手段９でそれぞれ例えばエッジ検出処理が行われて基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cとが形成され、それらの基準エッジ画像ＴＥ_Oおよび比較エッジ画像ＴＥ_Cに基づいて、第２画像処理手段６ｂの第２ステレオマッチング手段７ｂで、基準エッジ画像ＴＥ_Oの各画素ブロックについてそれぞれ第２視差ｄｐ２が算出され、基準エッジ画像ＴＥ_Oの各画素ブロックすなわち基準画像Ｔ_Oの各画素ブロックＰＢ_Oに算出された第２視差ｄｐ２がそれぞれ対応づけられて第２距離画像Ｔ_Z２が形成される。

そして、ステレオマッチング処理により得られた第１距離画像Ｔ_Z１に基づいて認識手段１０の物体検出手段１１と先行車両検出手段１２で基準画像Ｔ_O中から物体や先行車両Ｖahが検出される。物体検出手段１１を第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２に基づいてそれぞれ物体を検出するように構成する場合には、それらの検出結果のうち、良好な検出結果が出力される。

この物体検出や先行車両検出は、ミスマッチングの発生の有無にかかわらず常時行われ、それらの情報が先行車追従制御装置２１の制御手段２２や必要に応じて他のＥＣＵ等の装置に常時送信される。

また、ミスマッチング判定手段１３は、第１距離データメモリ８ａと第２距離データメモリ８ｂからそれぞれ第１距離画像Ｔ_Z１の情報と第２距離画像Ｔ_Z２の情報を読み出し、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２のそれぞれ縦方向の中央部分の画像領域に属する第１距離画像Ｔ_Z１上と第２距離画像Ｔ_Z２上の同じ画素位置の画素ブロックＰＢ_Oの第１視差ｄｐ１と第２視差ｄｐ２とを比較する。

そして、同じ画素位置の画素ブロックＰＢ_Oの第１視差ｄｐ１と第２視差ｄｐ２との差の絶対値が前述した距離に応じて変化する所定の閾値Δｄｐth以上であれば、その画素ブロックＰＢ_Oでミスマッチングが発生していると判定する。この場合、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２のいずれでミスマッチングを生じているかは検出しない。

ミスマッチング判定手段１３は、この判定処理を、上記の第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２の画像領域に属する全ての画素ブロックＰＢ_Oについて行い、ミスマッチングが発生していると判定した画素ブロックＰＢ_Oの数をカウントしていく。そして、ミスマッチングが発生していると判定した画素ブロックＰＢ_Oが所定個数以上見出された場合には、ミスマッチング発生情報を作成する。

そして、ミスマッチング判定手段１３は、ミスマッチング発生情報を作成すると、そのミスマッチング発生情報を後述する先行車追従制御装置２１に送信する。

一方、先行車追従制御システム２０の先行車追従制御装置２１では、車両用環境認識装置１のミスマッチング判定手段１３からミスマッチング発生情報が送信されてくると、自車両に対する先行車追従制御を一時的に停止する。

その際、ミスマッチングが数フレームで連続して発生していると判定された場合や、ミスマッチングが発生していると判定されたフレームのカウント数を増減させてそのカウント数Ｃが所定の閾値Ｃth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすれば、車両用環境認識装置１のミスマッチング判定手段１３のミスマッチング発生の判定を十分に確認したうえで自車両に対する先行車追従制御を一時的に停止することが可能となる。

［効果］
以上のように、本実施形態に係る車両用環境認識装置１によれば、ミスマッチング判定手段１３を、第１距離画像Ｔ_Z１および第２距離画像Ｔ_Z２の対応する画素ブロックＰＢ_Oの第１視差ｄｐ１および第２視差ｄｐ２を比較して、それらの差の絶対値が所定の閾値Δｄｐth以上である画素ブロックＰＢ_Oでミスマッチングが発生していると判定するように構成した。

基準画像Ｔ_Oと比較画像Ｔ_Cとが正常に撮像されるような環境であれば、通常、基準画像Ｔ_Oと比較画像Ｔ_Cに対して異なる前処理（前処理を行わない場合を含む。）を行って得られた２組の一対の画像に対してそれぞれステレオマッチング処理を施しても、ステレオマッチング処理が正常に行われれば、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２の対応する画素ブロックＰＢ_Oの第１視差ｄｐ１と第２視差ｄｐ２の値はさほど大きく異なるものにはならない。そのため、ステレオマッチング処理の結果として得られた第１視差ｄｐ１と第２視差ｄｐ２の値が大きく異なるものであれば、それは、その画素ブロックＰＢ_Oにおいて、いずれかのステレオマッチング処理でミスマッチングを生じていることを意味するものであると考えられる。

そのため、本実施形態のように、対応する画素ブロックＰＢ_Oの第１視差ｄｐ１と第２視差ｄｐ２とを比較して、それらの差の絶対値が所定の閾値Δｄｐth以上であり大きな差がある場合に画素ブロックＰＢ_Oでミスマッチングが発生していると判定することで、ステレオマッチング処理でミスマッチングが発生していることを的確に判定することが可能となる。

また、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２においてミスマッチングが発生していると判定される画素ブロックＰＢ_Oの個数をカウントし、それが所定個数以上の多さである場合にミスマッチング発生情報を作成するように構成した。

そのため、基準画像Ｔ_Oや比較画像Ｔ_Cが撮像される現在の環境が、ミスマッチングを生じ易い環境、すなわち画像中にフレアＦｌやスミアＳｍ（例えば図１６参照）が発生していたり基準画像Ｔ_Oと比較画像Ｔ_Cとの明るさのバランスが崩れている場合（例えば図１７（Ａ）、（Ｂ）参照）である可能性が高いことをミスマッチング発生情報として伝えることが可能となり、その情報を先行車追従制御装置２１に伝達して、ミスマッチングが発生している場合に適切に対処させることが可能となる。

一方、本実施形態に係る先行車追従制御システム２０によれば、上記のようにミスマッチングの発生の的確に判定することができる車両用環境認識装置１のミスマッチング判定手段１２から、ミスマッチングが多発している場合に的確にミスマッチング発生情報が送信されてくるため、それに基づいてミスマッチングが発生している場合に適切に先行車追従制御を一時停止することが可能となる。

また、その際、ミスマッチングが数フレームで連続して多発していると判定された場合や、ミスマッチングが多発していると判定されたフレームのカウント数を増減させてそのカウント数Ｃが所定の閾値Ｃth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置１のミスマッチング判定手段１３が万が一ミスマッチングが多発していると誤判定しても、ミスマッチング判定手段１３の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止して、適切に対処することが可能となる。

本実施形態に係る車両用環境認識装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図２の基準画像等に基づいて形成された第１距離画像を示す図である。 （Ａ）図１７（Ａ）の基準画像から得られる基準エッジ画像を示す写真であり、（Ｂ）図１７（Ｂ）の比較画像から得られる比較エッジ画像を示す写真である。 距離画像を分割する短冊状の区分を説明する図である。 図５の各区分ごとに作成されるヒストグラムを説明する図である。 区分ごとの距離を実空間上にプロットした各点を表す図である。 図７の各点がグループ化されて形成される各グループを表す図である。 図８の各グループの各点を直線近似して検出された物体の例を表す図である。 基準画像上に枠線で包囲されて検出された各物体を表す図である。 実空間上の自車両の走行軌跡、進行路および先行車両を示す図である。 ミスマッチング判定手段における第１視差と第２視差の比較の手法を説明する図である。 本実施形態に係る先行車追従制御システムの構成を示すブロック図である。 カウンタのカウント数のフレームごとの増減および閾値を表すグラフである。 ステレオマッチング処理の手法を説明する図である。 フレアやスミアが発生している画像の一例を示す図である。 （Ａ）基準画像の一例を示す写真であり、（Ｂ）（Ａ）の基準画像より全体的に暗く撮像された比較画像を示す写真である。

符号の説明

１ 車両用環境認識装置
２ ステレオ撮像手段
２ａ、２ｂ 一対のカメラ（メインカメラ、サブカメラ）
７ａ 第１ステレオマッチング手段
７ｂ 第２ステレオマッチング手段
１２ 先行車両検出手段
１３ ミスマッチング判定手段
２０ 先行車追従制御システム
２１ 先行車追従制御装置
Ａ 自車両
Ｃth 閾値
ｄｐ１ 第１視差
ｄｐ２ 第２視差
ＰＢ_O 画素ブロック
Ｔ_C 比較画像
Ｔ_O 基準画像
ＴＥ_C 比較画像に前処理が施された画像（比較エッジ画像）
ＴＥ_O 基準画像に前処理が施された画像（基準エッジ画像）
Ｔ_Z１ 第１距離画像
Ｔ_Z２ 第２距離画像
Ｚ_１ 第１距離
Ｚ_２ 第２距離
Δｄｐth 閾値
Ｖah 先行車両

Claims (8)

1. 一対のカメラで自車両の周囲の環境を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
   前記基準画像または前記基準画像に所定の前処理が施されて形成された画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像または前記比較画像に前記所定の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第１視差をそれぞれ対応づけて第１距離画像を形成する第１ステレオマッチング手段と、
   前記基準画像に前記前処理とは異なる別の前処理が施されて形成された画像を前記所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像に前記別の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第２視差をそれぞれ対応づけて第２距離画像を形成する第２ステレオマッチング手段と、
   前記第１距離画像および前記第２距離画像の対応する画素ブロックの前記第１視差および前記第２視差を比較して、それらの差の絶対値が所定の閾値以上である画素ブロックでミスマッチングが発生していると判定するミスマッチング判定手段と、
   を備えることを特徴とする車両用環境認識装置。
2. 前記ミスマッチング判定手段は、前記第１視差および前記第２視差をそれぞれ第１距離および第２距離に変換して比較して、それらの差の絶対値が所定の閾値以上である画素ブロックでミスマッチングが発生していると判定することを特徴とする請求項１に記載の車両用環境認識装置。
3. 前記第１視差と前記第２視差の少なくとも一方に基づいて前記基準画像中から先行車両を検出する先行車両検出手段をさらに備え、
   前記ミスマッチング判定手段は、前記差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在する場合に、ミスマッチング発生情報を作成することを特徴とする請求項１または請求項２に記載の車両用環境認識装置。
4. 前記ミスマッチング判定手段は、前記基準画像中に設定された一定の領域内に属する画素ブロックのうち、前記差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在する場合に、ミスマッチング発生情報を作成することを特徴とする請求項３に記載の車両用環境認識装置。
5. 請求項３または請求項４に記載の車両用環境認識装置と、
   自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
   前記先行車追従制御装置は、前記車両用環境認識装置の前記ミスマッチング判定手段から前記ミスマッチング発生情報を受信した場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする先行車追従制御システム。
6. 前記先行車追従制御装置は、前記ミスマッチング判定手段から所定数のフレームで連続して前記ミスマッチング発生情報を受信した場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項５に記載の先行車追従制御システム。
7. 前記先行車追従制御装置は、前記ミスマッチング判定手段から前記ミスマッチング発生情報を受信したフレームではカウント数を増加させ、前記ミスマッチング判定手段から前記ミスマッチング発生情報を受信しなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項５に記載の先行車追従制御システム。
8. 前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする請求項５から請求項７のいずれか一項に記載の先行車追従制御システム。