JP4532089B2

JP4532089B2 - 車外監視装置

Info

Publication number: JP4532089B2
Application number: JP2003316243A
Authority: JP
Inventors: 克郎泉名
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2003-09-09
Filing date: 2003-09-09
Publication date: 2010-08-25
Anticipated expiration: 2023-09-09
Also published as: JP2005084959A

Description

本発明は、撮像画像に基づいて走行路の路面状況、特に雪路を検出する車外監視装置に関する。

近年、ＣＣＤ等の固体撮像素子を内蔵した車載カメラを用いた車外監視装置が注目されている。この種の装置は、車載カメラにより撮像された画像に基づいて走行環境を認識し、必要に応じて、ドライバに注意を喚起したり、シフトダウン等の車両制御を行う。例えば、ステレオ法による距離計測技術を用いて走行状況の認識を行う場合、車外監視装置は、一対の撮像画像における対象物の位置的な差（視差）を求め、三角測量の原理を用いて各対象物の距離情報を算出することで、自車走行路や先行車等を三次元的に認識する。

ところで、このような車外監視装置を実用化するにあたり、監視装置の安全動作を保証するためには、フェールセーフ機能を設ける必要がある。この種の装置で検出すべきフェールの一つとして、道路やその路肩部分に雪が存在するような路面状況（雪路）が挙げられる。すなわち、雪路走行時には凍結による路面μの大幅な低下や雪による自車走行路の誤認識等が発生し易いため、車外監視装置は、自車走行路が雪路であると認識した際に、車両制御等の一時的な中断や制御パラメータの変更等を行う。

このような車外監視装置における雪路判定技術として、例えば、特許文献１には、路面に相当する範囲の平均輝度が基準値よりも大きく、且つ、この領域の距離データ（距離情報）数が所定値以下である場合に、走行路が雪によって覆われていると判定する技術が開示されている。
特開２０００−３０１８１号公報

しかしながら、上述の特許文献１に開示された技術では、撮像環境等によっては、雪路を精度よく認識することが困難な場合がある。

すなわち、一般に、同一路面を撮像した場合であっても、路面は天気等の撮像条件によって異なる輝度で撮像される。例えば、晴天時に撮像される路面は高輝度で撮像され、曇天時に撮像される路面は相対的に低輝度で撮像される。また、例えば、泥混じりの融雪路等は高輝度で（白く）撮像されない場合があり、逆に、雪路以外の路面であっても強い日差しが反射された路面は高輝度で撮像される場合がある。従って、これらの事象に対し、単に、上述のような路面の平均輝度と距離情報とに基づく判定では、実際の雪路のみを精度よく認識することが困難な場合がある。

本発明は上記事情に鑑みてなされたもので、撮像環境等に影響されることなく、精度よく雪路を認識することができる車外監視装置を提供することを目的とする。

本発明は、撮像された画像から道路の路面状況を検出する車外監視装置において、自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、雪路を判定する雪路判定手段とを備え、上記輝度分布パターン分類手段が、上記監視領域の輝度分散に基づいて上記監視領域の輝度分布が狭い輝度範囲内に輝度値が集中的に分布する第１の輝度分布パターンであると分類した場合、上記雪路判定手段は、上記監視領域の距離情報数と上記監視領域とは別に上記撮像画像中に設定した拡張領域の輝度分布に基づいて雪路を判定することを特徴とする。
また、本発明は、撮像された画像から道路の路面状況を検出する車外監視装置において、自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、雪路を判定する雪路判定手段とを備え、上記輝度分布パターン分類手段が、上記監視領域の輝度分散に基づいて所定以上の輝度範囲に輝度値が分布され且つ黒側及び白側に輝度分布のピークが存在する第２の輝度分布パターンであると分類した場合、上記雪路判定手段は撮像時の露出制御情報に基づいて雪路を判定することを特徴とする。
また、本発明は、撮像された画像から道路の路面状況を検出する車外監視装置において、自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、雪路を判定する雪路判定手段とを備え、上記輝度分布パターン分類手段が、上記監視領域の輝度分散と輝度の平均値と輝度分布中心の輝度値に基づいて所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に白側に偏って分布する第３の輝度分布パターンであると分類した場合、上記雪路判定手段は上記監視領域の距離情報数に基づいて雪路を判定することを特徴とする。
また、本発明は、撮像された画像から道路の路面状況を検出する車外監視装置において、自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、雪路を判定する雪路判定手段とを備え、上記輝度分布パターン分類手段が、上記監視領域の輝度分散と輝度の平均値と輝度分布中心の輝度値に基づいて所定以上の輝度範囲に輝度値が一様に分布する第５の輝度分布パターンであると分類した場合、上記雪路判定手段は、上記監視領域の距離情報と上記監視領域とは別に上記撮像画像中に設定した拡張領域の輝度分布に基づいて雪路を判定することを特徴とする。

本発明の車外監視装置は、撮像環境等に影響されることなく、精度よく雪路を認識することができる。

以下、図面を参照して本発明の形態を説明する。図面は本発明の一形態に係わり、図１はステレオ車外監視装置の機能ブロック図、図２は各輝度分布パターンイメージを示す説明図、図３は画像上の監視領域と拡張領域とを示す説明図、図４は雪路判定ルーチンのフローチャートである。

図１において、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２は、自動車等の車両の車幅方向において所定の間隔で取り付けられており、車両前方の景色を撮像する。メインカメラ１は、ステレオ処理を行う際に必要な基準画像（例えば、右画像）を撮像し、サブカメラ２は、この処理における比較画像（例えば、左画像）を撮像する。一対のカメラ１，２が同期している状態において、カメラ１，２から出力された各アナログ信号は、Ｄ／Ａコンバータ３，４により、所定の輝度階調（例えば、２５６階調のグレースケール）に変換される。このようにデジタル化された画像は、画像補正部５により、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差が存在するため、それに起因したずれが左右の画像に存在している。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。画像補正部５において補正された１フレーム相当のステレオ画像（基準画像と比較画像）の輝度データは、基画像メモリ８に格納される。

一方、ステレオ画像処理部６は、画像補正部５により補正された基準画像及び比較画像から、画像中の同一対象物（同一対象物のエッジ等）の三次元位置（自車両から対象物までの距離を含む）を算出する。この距離は、左右画像における同一対象物の位置に関する相対的なずれから、三角測量の原理に基づき算出することができる。このようにして算出された画像の距離情報は、距離データメモリ７に格納される。

マイクロコンピュータ９は、立体物認識部１０と、道路認識部１１と、フェール判定部１２と、処理部１３としての各機能部を有する。立体物認識部１０は、基画像メモリ８及び距離データメモリ７に格納された各データに基づき、車両前方の先行車等の立体物認識を行う。また、道路認識部１１は、基画像メモリ８及び距離データメモリ７に格納された各データに基づき、車線（白線等）検出を含めた車両前方の道路認識を行う。そして、処理部１３は、これらの認識部１０，１１からの情報に基づき、ドライバへの警報が必要と判定した場合、表示装置やスピーカ等の警報装置１９を介してドライバに対して注意を促す。また、処理部１３は、必要に応じて、各種制御部１４〜１８を制御する。例えば、ＡＴ（自動変速機）制御部１４に対して、シフトダウンの実行を指示したり、エンジン制御部１８に対して、エンジンの出力低下を指示する。また、アンチロックブレーキシステム（ＡＢＳ）制御部１５、トラクションコントロールシステム（ＴＣＳ）制御部１６、或いは、各車輪のトルク配分や回転数を制御する車両挙動制御部１７に対して、適切な車両制御を指示してもよい。

さらに、フェール判定部１２は、基画像メモリ８及び距離データメモリ７に格納された各データ等に基づいて、フェール判定を行う。具体的には、フェール判定部１２は、例えば、雪路や湿潤路等のように路面μが大幅に低下したり、正常な道路認識が困難となり得る各種路面状況や、弱逆光等のように正常な車外監視が困難となる撮像状況等を所定に判定した際にフェールと判定する。そして、フェール判定部１２でフェールと判定されている期間、処理部１３からの指示によりフェールセーフが実行される。例えば、道路の認識が困難な状況下における装置の誤動作を防ぐために、上述した車両制御等が一時的に中断される。また、通常制御時よりも緩やかな車両制動力が生じるように、各制御部１４〜１８の各種制御パラメータが変更される。

次に、フェール判定部１２で行われる雪路判定（雪路によるフェール判定）について説明する。

フェール判定部１２は、撮像画像（基画像）中に設定した監視領域２０の輝度値をヒストグラム処理し、その輝度分布を予め設定された複数の輝度分布パターンの何れかに分類する。そして、フェール判定部１２は、各輝度分布パターンに応じて個別に設定された判定方法を用いて、自車走行路が雪路であるか否かの判定（雪路によるフェールであるか否かの判定）を行う。すなわち、フェール判定部１２は、輝度分布パターン分類手段、雪路判定手段としての各機能を実現する。

ここで、本形態において、監視領域２０は、図３に示すように、画像下側で水平方向に延在する矩形領域に設定されている。このように画像下側に監視領域２０を設定することにより、実空間上での監視領域を自車直前に設定することができ、道路が前方でカーブしている場合等にも自車走行路を確実に監視領域内に位置させるとともに、監視する自車走行路が先行車等によってマスクされる状況を回避できる。

また、本形態において、フェール判定部１２には、輝度分布パターンとして、例えば図２（ａ）〜（ｅ）に示すように、５種類の形状の輝度分布パターンが設定されている。

図２（ａ）に示す第１の輝度分布パターンは、所定の狭い輝度範囲内に輝度値が集中する輝度分布パターンである。そして、この第１の輝度分布パターンには、主として、監視領域２０内の対象物（自車走行路）が、一面雪路である場合、白線のないきれいなドライ路面である場合、或いは、ウェット路面（反射あり）である場合が分類される。すなわち、一面雪路、白線のないきれいなドライ路面、ウェット路面等の各路面は、輝度レベルの相対的な差こそあれ、何れも狭い輝度範囲内に輝度値が集中した形状の輝度分布パターンとなり得、このような場合、第１の輝度分布パターンに分類される。

図２（ｂ）に示す第２の輝度分布パターンは、所定以上の輝度範囲に輝度値が分布され且つ黒側及び白側に輝度分布のピークが存在する輝度分布パターンである。そして、この第２の輝度分布パターンには、主として、監視領域２０内の対象物（自車走行路）が、融雪路である場合、或いは、くっきりとした影を有するドライ路面である場合が分類される。すなわち、融雪路、くっきりとした影を有するドライ路面等は、輝度レベルの相対的な差こそあれ、何れも、輝度の分布が２極化された形状の輝度分布パターンとなり得、このような場合、第２の輝度分布パターンに分類される。

図３（ｃ）に示す第３の輝度分布パターンは、所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に白側に偏って分布する輝度分布パターンである。そして、この第３の輝度分布パターンには、主として、監視領域２０内の対象物（自車走行路）が一面雪路である場合、或いは、ウェット路面（反射あり）である場合が分類される。すなわち、一面雪路、ウェット路面（反射あり）等の各路面は、輝度レベルの相対的な差こそあれ、何れも全体として高輝度側に偏った形状の輝度分布パターン（すなわち、白色が支配的な輝度分布パターン）となり得、このような場合、第３の輝度分布パターンに分類される。

図２（ｄ）に示す第４の輝度分布パターンは、所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に黒側に偏って分布する輝度分布パターンである。そして、この第４の輝度分布パターンには、主として、監視領域２０内の対象物（自車走行路）が白線のあるドライ路面である場合が分類される。すなわち、白線のあるドライ路面は、全体として低輝度側に偏った形状の輝度分布パターン（すなわち、黒色が支配的な輝度分布パターン）となり得、このような場合、第４の輝度分布パターンに分類される。

図２（ｅ）に示す第５の輝度分布パターンは、所定以上の輝度範囲に輝度値が一様に分布する輝度分布パターンである。そして、この第５の輝度分布パターンには、主として、監視領域２０内の対象物（自車走行路）が融雪路である場合、ウェット路面である場合、或いは、汚れたドライ路面である場合が分類される。すなわち、融雪路、ウェット路面、汚れたドライ路面等の各路面は、輝度レベルの相対的な差こそあれ、何れも輝度の分布が全体的に略均一化された形状の輝度分布パターンとなり得、このような場合、第５の輝度分布パターンに分類される。

次に、フェール判定部１２で実行される雪路判定ルーチンについて、図４のフローチャートを参照して説明する。このルーチンは所定の制御周期（例えば、１００ｍｓ）毎に繰り返し実行される。

ルーチンがスタートすると、フェール判定部１２は、先ず、ステップＳ１０１において、監視領域２０内の輝度分散値σ²が例えば２００以下であるか否かを調べ、これにより、監視領域２０内の輝度分布パターンが第１の輝度分布パターンに分類されるか否かを調べる。

すなわち、第１の輝度分布パターンは、所定の狭い輝度範囲内に輝度値が集中するため、輝度分散値σ²が他の輝度分布パターンに比べて極端に小さくなる。そこで、フェール判定部１２は、輝度分散値σ²＜２００である場合には、ステップＳ１０２に進み、監視領域２０内の輝度分布パターンを第１の輝度分布パターンに分類する。

そして、監視領域２０内の輝度分布パターンを第１の輝度分布パターンに分類すると、フェール判定部１２はステップＳ１０３，Ｓ１０４の処理で、路面の汚れ具合、及び、拡張領域２１内の輝度分布をそれぞれ用いた判定方法によって監視領域２０内の自車走行路が雪路であるか否かの判定を行う。ここで、路面の汚れ具合とは路面上の凹凸や模様等を総称するものであり、本形態においては、路面の汚れ具合として監視領域２０内の距離情報数Ｎが用いられる。また、拡張領域２１は、監視領域２０よりも広範な領域に設定されるもので、本形態においては、図３に示すように、撮像された画像上の道路の略全域を路肩部分も含んで包含可能な領域に設定されている。

すなわち、監視領域２０内の輝度分布パターンが第１の輝度分布パターンに分類された場合、監視領域２０内に撮像された自車走行路は、一面雪路、白線のないきれいなドライ路面、或いは、ウェット路面（反射あり）である可能性が高い。この場合、一般に、一面雪路は、雪玉（雪のかたまり）や轍等の凹凸等が複数存在することから、他の路面に比べて距離情報が格段に多く算出される。そこで、フェール判定部１２は、ステップＳ１０３において、監視領域２０内の距離情報数Ｎが例えば８００以上であるか否かを調べ、距離情報数Ｎ＞８００である場合には、ステップＳ１０５に進み、自車走行路が雪路であると判定する。

一方、フェール判定部１２は、ステップＳ１０３において距離情報数Ｎ≦８００であると判定した場合には、ステップＳ１０４に進む。ところで、稀なケースとして、自車走行路が新雪による一面雪路の場合がある。このような場合、一面雪路と他の路面（特に、白線のないきれいなドライ路面）とを、距離情報数Ｎから区別することが困難である。その反面、特に、新雪時に撮像された画像の輝度値は、他の撮像環境で撮像された画像の輝度値に比べ、全体的に高輝度側に集中する（すなわち、白が支配的な輝度分布となる）。そこで、フェール判定部１２は、ステップＳ１０４において、拡張領域２１内の輝度分布が白が支配的な輝度分布であるか否かを調べる。そして、白が支配的な輝度分布であると判定した場合にはステップＳ１０５に進み、自車走行路が雪路であると判定する一方、白が支配的な輝度分布でないと判定した場合にはステップＳ１０６に進み、自車走行路が雪路以外であると判定する。

また、ステップＳ１０１において輝度分散値σ²≧200であると判定してステップＳ１０７に進むと、フェール判定部１２は、監視領域２０内の輝度分散値σ²が例えば２０００以上であるか否かを調べ、これにより、監視領域２０内の輝度分布パターンが第２の輝度分布パターンに分類されるか否かを調べる。

すなわち、第２の輝度分布パターンは、輝度値の分布が黒側と白側とに２極化されるため、他の輝度分布パターンに比べて輝度分散値σ²が極端に大きくなる。そこで、フェール判定部１２は、輝度分散値σ²＞２０００である場合には、ステップＳ１０８に進み、監視領域２０内の輝度分布パターンを第２の輝度分布パターンに分類する。

そして、監視領域２０内の輝度分布パターンを第２の輝度分布パターンに分類すると、フェール判定部１２は、ステップＳ１０９の処理で、カメラ１，２の露出制御情報を用いた判定方法によって監視領域２０内の自車走行路が雪路であるか否かの判定を行う。ここで、本形態において、カメラ１，２の露出制御情報としてシャッタースピードが用いられる。

すなわち、監視領域２０内の輝度分布パターンが第２の輝度分布パターンに分類された場合、監視領域２０内に撮像された自車走行路は、融雪路、或いは、くっきりとした影を有するドライ路面である可能性が高い。この場合、何れの路面状況においても距離情報が多く算出されるため、これらを距離情報数Ｎに基づいて判別することは困難である。その一方で、雪路等を含む風景を撮像した場合、雪の反射によって周囲が明るくなるため、他の風景を撮像した場合よりもシャッタースピードが高速となる。そこで、フェール判定部１２は、ステップＳ１０９において、撮像時のシャッタースピードが高速であるか否かを調べ、シャッタースピードが所定以上の高速である場合にはステップＳ１１０に進み、自車走行路が雪路であると判定する一方、シャッタースピードが所定以下の低速である場合にはステップＳ１１１に進み、自車走行路が雪路以外であると判定する。

また、ステップＳ１０７において、輝度分散値σ²≦２０００であると判定してステップＳ１１２に進むと、フェール判定部１２は、監視領域２０内の輝度分布が白が支配的な輝度分布であるか否かを調べ、これにより、監視領域２０内の輝度分布パターンが第３の輝度分布パターンであるか否かを調べる。

そして、フェール判定部１２は、ステップＳ１１２において監視領域２０内の輝度分布が白が支配的な輝度分布であると判定した場合には、ステップＳ１１３に進み、監視領域２０内の輝度分布パターンを第３の輝度分布パターンに分類する。ここで、本形態において、監視領域２０内で白が支配的か否かの判定は、例えば、｜（輝度分布中心の輝度値）−（輝度の平均値）｜と標準偏差σとの比較によって行われる。具体的には、フェール判定部１２は、
（輝度の平均値）＞（輝度分布中心の輝度値）であって、且つ、
｜（輝度分布中心の輝度値）−（輝度の平均値）｜＞標準偏差σである場合に、監視領域２０内で白が支配的であると判定する。

監視領域２０内の輝度分布パターンを第３の輝度分布パターンに分類すると、フェール判定部１２は、ステップＳ１１４の処理で、路面の汚れ具合を用いた判定方法によって監視領域２０内の自車走行路が雪路であるか否かの判定を行う。

すなわち、監視領域２０内の輝度分布パターンが第３の輝度分布パターンに分類された場合、監視領域２０内に撮像された自車走行路は、僅かにアスファルト等が露出された一面雪路、或いは、ウェット路面（反射あり）である可能性が高い。この場合、一般に、一面雪路には雪玉（雪のかたまり）や轍等の凹凸等が複数存在することから、このような一面雪路ではウェット路面に比べて距離情報が格段に多く算出される。また、稀なケースとして、自車走行路が新雪による一面雪路の場合、ウェット路面に比べて距離情報が格段に少なく算出される。そこで、フェール判定部１２は、ステップＳ１１４において、監視領域２０内の距離情報数Ｎが例えば１００以下であるか否か、及び、距離情報数Ｎが例えば５００以上であるか否かを調べ、距離情報数Ｎ＜１００、或いは、距離情報数Ｎ＞５００である場合には、ステップＳ１１５に進み、自車走行路が雪路であると判定する。一方、フェール判定部１２は、ステップＳ１１４において、１００≦距離情報数Ｎ≦５００である場合には、ステップＳ１１６に進み、自車走行路が雪路以外であると判定する。

また、ステップＳ１１２において、監視領域２０内の輝度分布が白が支配的な輝度分布ではないと判定してステップＳ１１７に進むと、フェール判定部１２は、監視領域２０内の輝度分布が黒が支配的な輝度分布であるか否かを調べることで、監視領域２０内の輝度分布パターンが第４の輝度分布パターンであるか否かを調べる。

そして、フェール判定部１２は、ステップＳ１１７において監視領域２０内の輝度分布が黒が支配的な輝度分布であると判定した場合には、ステップＳ１１８に進み、監視領域２０内の輝度分布パターンを第４の輝度分布パターンに分類する。ここで、本形態において、監視領域２０内で黒が支配的か否かの判定は、例えば、｜（輝度分布中心の輝度値）−（輝度の平均値）｜と標準偏差σとの比較によって行われる。具体的には、フェール判定部１２は、
（輝度の平均値）＜（輝度分布中心の輝度値）であって、且つ、
｜（輝度分布中心の輝度値）−（輝度の平均値）｜＞標準偏差σである場合に、監視領域２０内で黒が支配的であると判定する。

そして、監視領域２０内の輝度分布パターンを第４の輝度分布パターンに分類すると、フェール判定部１２は、そのままステップＳ１１９に進み、自車走行路が雪路以外であると判定する。すなわち、監視領域２０内の輝度分布パターンが第４の輝度分布パターンに分類された場合、監視領域２０内に撮像された自車走行路は白線のあるドライ路面である可能性が高く、雪路である可能性は極めて低い。このため、フェール判定部１２は、そのままステップＳ１１９に進み、自車走行路が雪路以外であると判定する。

一方、フェール判定部１２は、ステップＳ１１７において監視領域２０内の輝度分布が黒が支配的な輝度分布でないと判定した場合には、ステップＳ１２０に進み、監視領域２０内の輝度分布パターンを第５の輝度分布パターンに分類する。

そして、監視領域２０内の輝度分布パターンを第５の輝度分布パターンに分類すると、フェール判定部１２は、ステップＳ１２１，Ｓ１２２の処理で、路面の汚れ具合、及び、拡張領域２１内の輝度分布をそれぞれ用いた判定方法によって監視領域２０内の自車走行路が雪路であるか否かの判定を行う。

すなわち、監視領域２０内の輝度分布パターンが第５の輝度分布パターンに分類された場合、監視領域２０内に撮像された自車走行路は、雪のかたまりが散乱したまだらな融雪路、ウェット路面、或いは、汚れたドライ路面（砂利道等も含む）である可能性が高い。この場合、一般に、雪のかたまりが散乱した融雪路は、ウェット路面に比べて距離情報が格段に多く算出される。しかし、その一方で、砂利道等も、融雪路と同様、距離情報が多く算出される場合がある。そこで、フェール判定部１２は、先ず、ステップＳ１２１において、監視領域２０内の距離情報数Ｎが例えば７００以上であるか否かを調べることで、少なくとも、融雪路とウェット路面とを区分する。そして、フェール判定部１２は、ステップＳ１２１において距離情報数Ｎ≦７００であると判定した場合に、ステップＳ１２４に進み、自車走行路が雪路以外（主としてウェット路面）であると判定する。

一方、フェール判定部１２は、ステップＳ１２１において距離情報数Ｎ＜７００であると判定した場合には、ステップＳ１２２に進み、拡張領域２１内の輝度分布が白が支配的な輝度分布であるか否かを調べる。そして、フェール判定部１２は、ステップＳ１２２において、拡張領域２１内の輝度分布が白が支配的な輝度分布であると判定した場合には、ステップＳ１２３に進み、自車走行路が雪路であると判定する一方、白が支配的ではないと判定した場合には、ステップＳ１２４に進み、自車走行路が雪路以外（主として汚れたドライ路面）であると判定する。

ステップＳ１０５，Ｓ１０６，Ｓ１１０，Ｓ１１１，Ｓ１１５，Ｓ１１６，Ｓ１１９，Ｓ１２３，或いはＳ１２４からステップＳ１２５に進むと、フェール判定部１２は、雪路の判定結果に従った所定のカウンタ処理を行い、雪路によるフェール判定フラグＦのセット／リセットを行った後、ルーチンを抜ける。例えば、ステップＳ１２５において、フェール判定部１２は、雪路の判定結果に従ってカウンタの増減処理を行い、カウント値が上限値（例えば、１０）に達すると、雪路によるフェール判定フラグＦを”１”にセットする。その一方で、フェール判定フラグＦが”１”にセットされた後は、カウント値が下限値（例えば０）に達するまで、フェール判定フラグＦを”１”のまま維持する。すなわち、”１”にセットされたフェール判定フラグＦは、カウント値が下限値となった際に、”０”にリセットされる。ここで、雪路によるフェール判定の精度を向上するため、フェール判定部１２は、カウンタ処理に際し、例えば、自車走行路が雪路以外（白線のないきれいなドライ路面を除く）であると判定された場合であって道路認識部１１で白線が認識されていない場合や、自車走行路が雪路（まだらな融雪路を除く）であると判定された場合であって道路認識部１１で白線が認識されている場合等には、カウンタの増減を禁止し、ペンディングとすることが好ましい。

このような形態によれば、撮像画像中に設定した監視領域２０の輝度分布を予め設定された複数の輝度分布パターンの何れかに分類し、各輝度分布パターンに応じて個別に設定された判定方法を用いて自車走行路が雪路であるか否かの判定を行うことにより、撮像条件の変動等に左右されることなく、精度のよい雪路判定を行うことができる。

すなわち、同一の路面を撮像した場合の輝度分布パターンは撮像環境の明暗に関係なく略同形状となることを利用し、監視領域２０の輝度分布を予め設定した輝度分布パターンの何れかに分類することにより、撮像条件の変動等の影響を受けることなく、自車走行路の路面状況を所定の路面状況に絞り込むことができる。そして、輝度分布パターン毎に個別に設定した詳細な判定条件を用いて雪路判定を行うことにより、絞り込んだ路面状況の中から、簡単な処理で精度のよい雪路判定を行うことができる。

ここで、上述の形態においては、路面の汚れ具合として距離情報数を用いた一例について説明したが、本発明はこれに限定されるものではなく、例えば、車外監視装置が単眼カメラで構成される場合等には、画像のエッジ算出処理による計数を用いてもよい。

また、上述の形態においては、カメラ１，２の露出制御情報としてシャッタースピードを用いた一例について説明したが、本発明はこれに限定されるものではなく、例えば、アンプゲイン値等を用いてもよい。

また、距離情報数Ｎを用いて雪路を判定する場合（第１，第３，第５の輝度分布パターン）にそれぞれ用いられる判定閾値を、シャッタースピード等の露出制御情報に応じた可変値にとすることも可能である。すなわち、一般に、明るい撮像環境である程、路面の凹凸等がより明確に撮像されることから、例えば、シャッタースピードが速くなる程、距離情報数Ｎの判定閾値を大きく設定してもよい。

ステレオ車外監視装置の機能ブロック図各輝度分布パターンイメージを示す説明図画像上の監視領域と拡張領域とを示す説明図雪路判定ルーチンのフローチャート

符号の説明

１ … メインカメラ
２ … サブカメラ
３，４ … Ａ／Ｄコンバータ
５ … 画像補正部
６ … ステレオ画像処理部
７ … 距離データメモリ
８ … 基画像メモリ
９ … マイクロコンピュータ
１０ … 立体物認識部
１１ … 道路認識部
１２ … フェール判定部（輝度分布パターン分類手段、雪路判定手段）
１３ … 処理部
２０ … 監視領域
２１ … 拡張領域
代理人弁理士伊藤進

Claims

撮像された画像から道路の路面状況を検出する車外監視装置において、
自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、
雪路を判定する雪路判定手段とを備え、
上記輝度分布パターン分類手段が、上記監視領域の輝度分散に基づいて上記監視領域の輝度分布が狭い輝度範囲内に輝度値が集中的に分布する第１の輝度分布パターンであると分類した場合、
上記雪路判定手段は、上記監視領域の距離情報数と上記監視領域とは別に上記撮像画像中に設定した拡張領域の輝度分布に基づいて雪路を判定することを特徴とする車外監視装置。
撮像された画像から道路の路面状況を検出する車外監視装置において、
自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、
雪路を判定する雪路判定手段とを備え、
上記輝度分布パターン分類手段が、上記監視領域の輝度分散に基づいて所定以上の輝度範囲に輝度値が分布され且つ黒側及び白側に輝度分布のピークが存在する第２の輝度分布パターンであると分類した場合、
上記雪路判定手段は撮像時の露出制御情報に基づいて雪路を判定することを特徴とする車外監視装置。
撮像された画像から道路の路面状況を検出する車外監視装置において、
自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、
雪路を判定する雪路判定手段とを備え、
上記輝度分布パターン分類手段が、上記監視領域の輝度分散と輝度の平均値と輝度分布中心の輝度値に基づいて所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に白側に偏って分布する第３の輝度分布パターンであると分類した場合、
上記雪路判定手段は上記監視領域の距離情報数に基づいて雪路を判定することを特徴とする車外監視装置。
撮像された画像から道路の路面状況を検出する車外監視装置において、
自車走行路に対応して上記撮像画像中に設定した監視領域の輝度分布を予め設定した複数の輝度分布パターンの何れかに分類する輝度分布パターン分類手段と、
雪路を判定する雪路判定手段とを備え、
上記輝度分布パターン分類手段が、上記監視領域の輝度分散と輝度の平均値と輝度分布中心の輝度値に基づいて所定以上の輝度範囲に輝度値が一様に分布する第５の輝度分布パターンであると分類した場合、
上記雪路判定手段は、上記監視領域の距離情報と上記監視領域とは別に上記撮像画像中に設定した拡張領域の輝度分布に基づいて雪路を判定することを特徴とする車外監視装置。
上記輝度分布パターン分類手段が、上記監視領域の輝度分散と輝度の平均値と輝度分布中心の輝度値に基づいて所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に黒側に偏って分布する第４の輝度分布パターンであると分類した場合、
上記雪路判定手段は上記自車走行路雪路は雪路ではないと判定することを特徴とする請求項１乃至請求項４の何れか１項に記載の車外監視装置。
上記輝度分布パターン分類手段は、上記監視領域の輝度分布を、
狭い輝度範囲内に輝度値が集中的に分布する第１の輝度分布パターンと、
所定以上の輝度範囲に輝度値が分布され且つ黒側及び白側に輝度分布のピークが存在する第２の輝度分布パターンと、
所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に白側に偏って分布する第３の輝度分布パターンと、
所定以上の輝度範囲に輝度値が分布され且つ大半の輝度値が相対的に黒側に偏って分布する第４の輝度分布パターンと、
所定以上の輝度範囲に輝度値が一様に分布する第５の輝度分布パターンとのうちの何れかに分類することを特徴とする請求項１乃至請求項５の何れか１項に記載の車外監視装置。