JP5666538B2

JP5666538B2 - 車外環境認識装置

Info

Publication number: JP5666538B2
Application number: JP2012247371A
Authority: JP
Inventors: 辰之輔木戸
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2015-02-12
Anticipated expiration: 2032-11-09
Also published as: CN103810469B; US9224055B2; CN103810469A; US20140132769A1; DE102013112171A1; DE102013112171B4; JP2014096712A

Description

本発明は、車載カメラにより自車両外の環境を認識する車外環境認識装置に係り、特に光学系部品やフロントガラスに付着した汚れや曇りなどを検出するとともに、検出結果に応じて適切に画像を処理する車外環境認識装置に関する。

従来より、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて信号機やブレーキランプなどの光源を検出する、車外環境認識装置が知られている（例えば、特許文献１）。

特開２０１０−２２４９２５号公報

このような、画像内における色情報を用いて光源を検出するに際して、仮にレンズなどの光学系部品や撮像方向に位置するフロントガラスなどの透過体に汚れや曇りが存在する状態で、太陽光（逆光）等の強い環境光が撮像方向から照射されると、撮像された画像全体に環境光の色成分が加算され、画像中の対象物が本来の色と異なってしまうことがある。その結果、色情報を用いた光源の認識精度が低下、もしくは認識不可能となることがあった。

本発明は、このような課題に鑑み、車載カメラの光学系部品やフロントガラスに汚れや曇りが存在することを検出するとともに、仮にそのような状況下であっても色情報を用いた画像認識を適切に行うことができる車外環境認識装置を提供することを目的としている。

上記課題を解決するために、車載カメラにより撮像されたカラー画像に基づき自車両外の環境を認識する本発明の車外環境認識装置は、カラー画像に基づき特定物を検出する特定物検出部と、特定物と、特定物の色を示す輝度範囲とを対応付け、かつ、特定物と、特定物の本来の輝度とを対応付けて保持するデータ保持部と、特定物のカラー画像における輝度と、特定物に対応付けられた輝度範囲とを比較し、車載カメラの撮像方向に位置する透過体の透過度の低下を判定する透過度低下判定部と、特定物のカラー画像における輝度と、特定物に対応付けられた本来の輝度との差分に基づいて補正量を導出する補正量導出部と、導出された補正量に基づきカラー画像の対象部位の輝度を補正する輝度補正部と、を備え、特定物検出部は、補正されたカラー画像に基づき特定物を検出することを特徴とする。

補正量導出部は、導出した補正量を、カラー画像の露光時間で除算した基本補正量を導出し、輝度補正部は、基本補正量に、補正対象となるカラー画像の露光時間を乗じた補正量に基づきカラー画像の対象部位の輝度を補正してもよい。

補正量導出部は、カラー画像を複数に分割した分割領域単位で補正量を導出してもよい。

補正量導出部は、補正量が導出された分割領域の補正量に基づいて、補正量が導出されていない分割領域の補正量を導出してもよい。

補正量導出部は、特定物のカラー画像における輝度と、特定物に対応付けられた本来の輝度との差分に基づいて導出された補正量と、同検出領域または同分割領域において過去に導出された補正量との時間平均値を改めて補正量としてもよい。

特定物検出部は、カラー画像における輝度の時間方向の変化に基づいて特定物を検出してもよい。

本発明によれば、車載カメラの光学系部品やフロントガラスに汚れや曇りが存在することを検出でき、仮にそのような状況下であっても色情報を用いた画像認識を適切に行うことが可能となる。

環境認識システムの接続関係を示したブロック図である。輝度画像と距離画像を説明するための説明図である。環境認識システムにおける環境光の影響を説明するための説明図である。車外環境認識装置の概略的な機能を示した機能ブロック図である。特定物対応テーブル、汚れ判定テーブルおよび補正リファレンステーブルを説明するための説明図である。位置情報取得部による三次元の位置情報への変換を説明するための説明図である。特定物マップを説明するための説明図である。透過度低下判定部の判定対象を説明するための説明図である。補正量導出部の処理を説明するための説明図である。補正量導出部の処理を説明するための他の説明図である。環境認識方法の全体的な流れを示したフローチャートである。特定物マップ生成処理の流れを示したフローチャートである。グループ化処理の流れを示したフローチャートである。特定物決定処理の流れを示したフローチャートである。透過度低下判定処理の流れを示したフローチャートである。補正量導出処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の車載カメラとしての撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、すなわち、画素単位で３つの色相（赤：Ｒ、緑：Ｇ、青：Ｂ）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像と呼び、後述する距離画像と区別する。

また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。

図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。本実施形態において、画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。

図１に戻って、車外環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。また、対象物を特定するために距離画像１２６に基づく車両１との相対距離も用いている。このとき、車外環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０に関しては、後ほど詳述する。

車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。

図３は、環境認識システム１００における環境光の影響を説明するための説明図である。上述したように、環境認識システム１００においては、撮像装置１１０が輝度画像１２４を生成し、車外環境認識装置１３０が、輝度画像１２４に基づく輝度を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。かかる輝度画像１２４には、図３中矢印（Ａ）で示したような発光体の光や矢印（Ｂ）で示したような物体の反射光が映し出される。

また、撮像装置１１０が車両１内に設けられている場合、撮像装置１１０の撮像方向には、フロントガラス等の透過体２が存在し、撮像装置１１０は、かかる透過体２を通じて輝度画像１２４を生成する。したがって、透過体２が汚れていたり、曇っていたりして透過度が低下しているときに、図３中矢印（Ｃ）で示したような太陽光等の強い環境光が撮像方向から照射されると、撮像された輝度画像１２４全体に環境光が影響し、例えば、矢印（Ａ）の発光体の光に矢印（Ｃ）の環境光が加算され、輝度画像１２４中の対象物が本来の色と異なることとなる。

なお、このような現象は、フロントガラスに汚れや曇りが存在する場合に限らず、レンズなどの光学系に汚れや曇りが存在する場合も同様のことが言える。

ここで、対象物の本来の輝度の再現を試みる場合、取得された輝度画像１２４から矢印（Ｃ）の環境光による影響を補正量として減じればよいことになる。かかる補正量は、例えば、ＲＧＢの比率が予め特定されている道路標識や信号機といった特定物が検出されたことを前提に、輝度画像１２４中の特定物に対応する対象部位の輝度から、特定物に対応付けられた本来の輝度を減算することで求めることができる。以下、かかる車外環境認識装置１３０の具体的な構成を説明する。

（車外環境認識装置１３０）
図４は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図４に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物対応テーブルや汚れ判定テーブル、補正リファレンステーブル、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物対応テーブル、汚れ判定テーブルおよび補正リファレンステーブルは、以下のように利用される。

図５は、特定物対応テーブル２００、汚れ判定テーブル２０２および補正リファレンステーブル２０４を説明するための説明図である。本実施形態では、まず、（１）輝度画像１２４に基づき、特定物対応テーブル２００を用いて特定物を特定する。続いて、（２）汚れ判定テーブル２０２を用い、特定した特定物が汚れや曇りを伴って検出されたものか否か判定する。そして、（３）特定した特定物が汚れや曇りを伴って検出されたものであると判定された場合、補正リファレンステーブル２０４を用い、その特定物の本来の輝度との差分である補正量を導出する。こうして導出された補正量は、同フレームにおける他の特定物の検出処理や、次回以降のフレームにおける全ての特定物の検出処理に適応される。

図５（ａ）に示す特定物対応テーブル２００では、複数の特定物に対して、色を表す輝度（カラーバランス）の範囲を示す輝度範囲２０６と、道路表面からの高さの範囲を示す高さ範囲２０８と、特定物の大きさの範囲を示す幅範囲２１０とが対応付けられている。ここで、特定物としては、「信号機（赤）」、「信号機（青）」、「道路標識（青）」、「道路標識（緑）」等、道路を走行する上で視認を要する様々な物が想定されている。ただし、特定物は図５（ａ）に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「信号機（赤）」には、基準値を輝度（Ｒ）として、輝度（Ｇ）には、基準値（Ｒ）の０．５倍以下、輝度（Ｂ）には、基準値（Ｒ）の０．３８倍以下、高さ範囲２０８には、４．５〜７．０ｍ、幅範囲２１０には０．０５〜０．２ｍが対応付けられ、特定物「道路標識（青）」には、基準値を輝度（Ｂ）として、輝度（Ｒ）には、基準値（Ｂ）の０．７倍以下、輝度（Ｇ）には、基準値（Ｂ）の０．８倍以下、高さ範囲２０８には、１．５〜１０．０ｍ、幅範囲２１０には０．３〜１．０ｍが対応付けられている。

また、図示はしていないが、各特定物には、その特定物特有の条件、例えば、道路に対する水平位置や高さ等の情報も対応づけられている。例えば、特定物「信号機（赤）」や「道路標識（青）」には、距離画像１２６の水平方向に道路幅内に位置し、車両１との相対距離が４０〜７０ｍ、対象部位同士の距離（ばらつき）が±１ｍ以内、グループ化された対象部位以外の距離が２０ｍ以上遠方、グループ内の対象部位の数が所定数または所定比率以上等の情報も対応づけられている。また、特定物「信号機（赤）」がＬＥＤで構成されている場合、後述するように点滅といった動作が対応付けられ、「道路標識（青）」には、青色と判定できる部位の面積が全体の５０％以上といった情報も対応付けられている。なお、このような特定物の特定には、既存の様々な技術、例えば、特願２００９−７２１６５のような実空間上の光源の位置に基づいて特定物を特定する技術を適用することができる。

本実施形態では、特定物対応テーブル２００に基づいて、輝度画像１２４内の任意の対象部位のうち、任意の特定物に関する輝度範囲２０６の条件を満たした対象部位が特定物の候補となる。例えば、対象部位の輝度が特定物対応テーブル２００の特定物「信号機（赤）」の輝度範囲２０６に含まれていれば、その対象部位を特定物「信号機（赤）」の候補とする。そして、対象部位をグループ化した対象物が、特定物らしい態様で抽出されれば、例えば、グループ化した対象物の大きさが「信号機（赤）」の高さ範囲４．５〜７．０ｍ、幅範囲０．０５〜０．２ｍ、および、「信号機（赤）」特有の条件を満たしていれば特定物と判定される。特定物と判定された対象部位は、特定物固有の識別番号によってラベリングされる。ここで、対象部位は、画素や画素を集めたブロックを想定しているが、本実施形態では、説明の便宜上、画素を用いることとする。

また、図５（ｂ）に示す汚れ判定テーブル２０２は、特定物対応テーブル２００と同等の項目で構成されるが、その輝度範囲２０６が異なる。当該汚れ判定テーブル２０２は、ある特定物が透過体に汚れや曇りがなければ満たすべき一定の輝度範囲２０６に基づき、それ以外の範囲を汚れや曇りが生じていると判定するためのものである。したがって、例えば、特定物「信号機（赤）」には、基準値を輝度（Ｒ）として、輝度（Ｇ）には、基準値（Ｒ）の０．３５倍以上、輝度（Ｂ）には、基準値（Ｒ）の０．２倍以上が対応付けられている。当該汚れ判定テーブルは、図５（ａ）の特定物対応テーブル２００を用いて検出された特定物を対象としているので、特定物対応テーブル２００の条件と合わせると、結果的に輝度（Ｇ）が、基準値（Ｒ）の０．３５倍以上、かつ、０．５倍以下、もしくは、輝度（Ｂ）が、基準値（Ｒ）の０．２倍以上、かつ、０．３８倍以下である場合に、汚れが生じていると判定することとなる。

また、図５（ｃ）に示す補正リファレンステーブル２０４も輝度範囲２０６が異なる。当該補正リファレンステーブル２０４は、特定物固有の本来の輝度を示している。したがって、汚れ判定テーブル２０２を通じて汚れが検出された特定物の輝度と、その特定物の本来の輝度との差分を導出するために用いられ、導出された差分は補正量として、特定物の輝度の補正に利用される。

図４に戻り、中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、輝度取得部１６０、位置情報取得部１６２、特定物仮決定部１６４、グループ化部１６６、特定物決定部１６８、透過度低下判定部１７２、補正量導出部１７４、輝度補正部１７６としても機能する。ここで、位置情報取得部１６２、特定物仮決定部１６４、グループ化部１６６、および、特定物決定部１６８は、特定物対応テーブル２００に基づき輝度画像１２４から特定物を検出する特定物検出部として機能する。

輝度取得部１６０は、受信した輝度画像１２４から、対象部位（画素）単位で輝度（画素単位で３つの色相（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の輝度）を取得する。また、後述する輝度補正部１７６が輝度を補正すると、補正された補正輝度を取得することとなる。

位置情報取得部１６２は、受信した距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。また、視差情報が画素単位ではなくブロック単位、すなわち、複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。

図６は、位置情報取得部１６２による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６２は、まず、距離画像１２６を図６の如く画素単位の座標系として認識する。ここでは、図６中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。

本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６２は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。

したがって、位置情報取得部１６２は、対象部位の相対距離と、対象部位と同相対距離にある道路表面上の点と対象部位との距離画像１２６上の検出距離とに基づいて、道路表面からの高さを導出していることとなる。

特定物仮決定部１６４は、データ保持部１５２に保持された特定物対応テーブル２００を参照し、輝度取得部１６０が取得した輝度（または補正輝度）に基づいて対象物に対応する特定物を仮決定する。

具体的に、特定物仮決定部１６４は、特定物対応テーブル２００に登録されている特定物から任意の特定物を順次選択し、取得した１の対象部位の輝度が、順次選択した特定物の輝度範囲２０６に含まれるか否か判定する。そして、対象となる輝度範囲２０６に含まれれば、その対象部位に当該特定物を示す識別番号を付して、特定物マップを作成する。

特定物仮決定部１６４は、このような対象部位それぞれの輝度と特定物対応テーブル２００に登録されている複数の特定物の輝度範囲２０６との一連の比較を、複数の対象部位毎に順次実行する。ここで、特定物の選択順は、特定物対応テーブル２００に示された優先順位に従っている。すなわち、図５（ａ）の特定物対応テーブル２００の例では、「信号機（赤）」、「信号機（青）」、「道路標識（青）」、「道路標識（緑）」の順に比較処理が実行される。

また、上記優先順位に従って比較した結果、対象部位の輝度が優先順位の高い特定物の輝度範囲２０６に含まれていると判定された場合、それより優先順位が低い特定物に関する比較処理は最早行われない。したがって、１の対象部位に関して多くとも１の特定物を示す識別番号しか付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、特定物仮決定部１６４によって一旦任意の特定物と判定された対象物は、最早、他の特定物であるか否かを判定する必要がないという理由に基づく。このように対象部位を排他的に取り扱うことによって、既に特定物が仮決定された対象部位の重複した特定処理を回避することができ、処理負荷を軽減することが可能となる。

図７は、特定物マップ２２０を説明するための説明図である。特定物マップ２２０は、輝度画像１２４に特定物の識別番号を重ねたものであり、特定物と仮決定された対象部位に相当する位置に、その特定物の識別番号が対応付けられる。

例えば、特定物マップ２２０中の部分マップ２２０ａでは、信号機の右側点灯部分に相当する複数の対象部位２２２の輝度が特定物「信号機（赤）」の輝度範囲２０６に含まれているので、特定物「信号機（赤）」の識別番号「１」が対応付けられる。図７では、輝度画像１２４の複数の対象部位２２２に識別番号「１」が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位２２２にデータとして識別番号「１」が登録されている。

グループ化部１６６は、仮決定された任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲内にある、同一の特定物に対応すると仮決定された（同一の識別番号が付された）対象部位をグループ化し、対象物とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、グループ化部１６６は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および高さｙの差分が所定範囲内にある、特定物が等しい対象部位をグループ化する。結果的に、同一の特定物として仮決定された対象部位同士の距離が所定範囲内であれば、それら全てがグループ化されることとなる。

ここで、グループ化部１６６は、実空間上の水平距離や高さを用いて判定しているが、輝度画像１２４や距離画像１２６をそのまま用い、輝度画像１２４上や距離画像１２６上の検出距離（例えば画素数）で判定することもできる。ここでは、実空間上の水平距離や高さを導出することなく、例えば、画素数のみで所定範囲内であるか否かを判定できる。ただし、この場合に、グループ化のための所定範囲の閾値は、対象部位の相対距離に応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における所定範囲の閾値は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても、適切に閾値を設定することができ、安定したグループ化が望める。

また、グループ化部１６６は、上述した水平距離ｘの差分や高さｙの差分に加えて、相対距離ｚの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化してもよい。実空間では、水平距離ｘや高さｙが近似していたとしても、相対距離ｚが離れている場合、別体の対象物であることが想定される。したがって、水平距離ｘ、高さｙおよび相対距離ｚのいずれかが離れている場合、その対象部位のグループは独立した対象物とみなすこととする。こうして、高精度なグループ化を図ることができる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

特定物決定部１６８は、グループ化部１６６がグループ化した対象物が、高さ範囲２０８、幅範囲２１０等、所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、図５（ａ）に示したように、特定物対応テーブル２００に高さ範囲２０８が対応付けられている場合、特定物決定部１６８は、特定物対応テーブル２００に基づき、対象物の道路に対する高さｙが、対象物について仮決定された特定物の高さ範囲２０８に含まれていれば、その対象物を対象となる特定物として決定することとする。また、それに加えて、幅範囲２１０が対応付けられている場合、特定物決定部１６８は、特定物対応テーブル２００に基づき、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、対象物について仮決定された特定物の幅範囲２１０に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲２１０を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な位置および大きさであることを確認している。

また、各特定物に、その特定物特有の情報、例えば、道路に対する水平位置や高さ等の情報も対応づけられている場合、その条件を満たす場合にのみ特定物決定部１６８が特定物として決定するとしてもよい。例えば、特定物の候補が「道路標識（青）」の場合、道路に対する水平位置が、距離画像１２６の水平方向に道路幅内に位置し、かつ、車両１からの水平距離ｘが４０ｍ〜７０ｍであり、グループ化された対象部位以外の距離が２０ｍ以上遠方、グループ内の対象部位の数が所定数または所定比率以上、青色と判定できる部位の面積が全体の５０％以上であることを条件に特定物として決定される。

また、特定物が他の特徴を有する場合、その特徴を条件に特定物として決定されてもよい。例えば、「信号機（赤）」は、ＬＥＤ（Light Emitting Diode）やランプで構成されているが、ＬＥＤで構成されている場合、人の目では把握できない周期（例えば１００Ｈｚ）で点滅している。したがって、特定物決定部１６８は、ＬＥＤの点滅タイミングと非同期に取得した輝度画像１２４の対象部位の輝度の時間方向の変化に基づいて、特定物「信号機（赤）」を決定することができる。

透過度低下判定部１７２は、決定（検出）された特定物に対応する対象部位の輝度と、汚れ判定テーブル２０２において特定物に対応付けられた輝度範囲２０６とを比較し、輝度画像１２４の撮像方向（撮像装置１１０の撮像方向）に位置する透過体２の透過度の低下（汚れや曇り）を判定する。

図８は、透過度低下判定部１７２の判定対象を説明するための説明図である。透過度低下判定部１７２は、輝度画像１２４（検出領域１２２）を複数に分割した分割領域毎に、透過体２の透過度の低下を判定する。本実施形態では、例えば、図８に示すように、輝度画像１２４を水平方向に５等分、垂直方向に３等分して分割領域２３０を設定する。ここでは、輝度画像１２４を５×３に分割したが、その分割数は任意に決めることができ、分割しなくてもよい。また、ここでは、水平方向および垂直方向に等分したが、輝度画像１２４中央の分割領域２３０の面積を端部側と比べて小さくする等、様々な大きさに分割することもできる。

透過度低下判定部１７２は、分割領域２３０毎に、決定された特定物に対応する対象部位の輝度が、汚れ判定テーブル２０２において特定物に対応付けられた輝度範囲２０６に含まれると、その対象部位が含まれる分割領域２３０に対応する透過体２の透過度が低下していると判断する。例えば、特定物「道路標識（青）」に関して、特定物仮決定部１６４が特定物対応テーブル２００に基づいて輝度範囲２０６に含まれると判定したとしても、その輝度が汚れ判定テーブル２０２の輝度範囲２０６に含まれていれば透過体２の透過度が低下していると判定する。

このように輝度画像１２４を複数の分割領域２３０に分割することで、透過体２の透過度の低下を細かい範囲で独立して判定することができ、透過度が低下していない分割領域２３０まで輝度が補正されてしまう事態を回避することができる。

また、図示はしないが、透過度低下判定部１７２の代わりに、輝度画像１２４の撮像方向に位置する透過体２の透過度の低下をハードウェア的に検出する透過度低下検出部を設けることもできる。かかる検出手段は既存の様々な技術を用いることができる。

補正量導出部１７４は、透過度低下判定部１７２や透過度低下検出部により、透過体２の透過度の低下が検出された場合、補正リファレンステーブル２０４を参照し、決定（検出）された特定物に対応する輝度画像１２４における対象部位の輝度と、補正リファレンステーブル２０４において特定物に対応付けられた輝度との差分に基づいて補正量を導出する。

また、補正量導出部１７４も、透過度低下判定部１７２同様、輝度画像１２４（検出領域１２２）を複数に分割した分割領域２３０単位で補正量を導出する。このように、複数の分割領域２３０毎に補正量を導出することで、分割領域２３０毎に適切に輝度を補正することができる。

図９は、補正量導出部１７４の処理を説明するための説明図である。例えば、輝度取得部１６０が取得した任意の対象部位の輝度が、Ｒ＝９０、Ｇ＝１００、Ｂ＝１５０であり、特定物対応テーブル２００に基づいて、その対象部位近傍の対象物が特定物「道路標識（青）」と決定された場合を想定する。

ここでは、図９（ａ）に示すように、特定物対応テーブル２００の特定物「道路標識（青）」の範囲、すなわち、基準値を輝度（Ｂ）として、輝度（Ｒ）は、基準値（Ｂ）の０．６倍であり、輝度（Ｇ）は、基準値（Ｂ）の０．６７倍であるので、「Ｒ≦Ｂ×０．７」、「Ｇ≦Ｂ×０．８」の条件を満たす。しかし、図９（ｂ）に示すように、かかる対象部位の輝度は、汚れ判定テーブル２０２の「道路標識（青）」の範囲、すなわち、基準値を輝度（Ｂ）として、輝度（Ｒ）は、基準値（Ｂ）の０．５５倍以上、輝度（Ｇ）は、基準値（Ｂ）の０．６５倍以上となっている。したがって、透過度低下判定部１７２は、かかる対象物が含まれる分割領域２３０について透過体２の透過度が低下していると判定する。

このような透過度低下判定部１７２の判定を受けて、補正量導出部１７４は、補正量を導出する。まず、補正量導出部１７４は、計算結果が０〜２５５となる範囲で、対象部位の各色の輝度をデクリメント（−１）し、その結果が補正リファレンステーブル２０４の「道路標識（青）」の輝度と等しくなったときの値との差分を補正量とする。

例えば、図９（ｃ）のように、対象部位の輝度Ｒ＝９０、Ｇ＝１００、Ｂ＝１５０をデクリメントした輝度Ｒ＝８９、Ｇ＝９９、Ｂ＝１４９は、まだ、補正リファレンステーブル２０４の「道路標識（青）」の輝度に達していない。しかし、図９（ｄ）に示すように、デクリメントを５０回繰り返した時点の輝度Ｒ＝４０、Ｇ＝５０、Ｂ＝１００は、Ｒ／Ｂ＝０．４、Ｇ／Ｂ＝０．５となり、補正リファレンステーブル２０４の「道路標識（青）」の輝度と一致することとなる。このときの補正量は、差分である５０となる。

また、上記のように対象となる輝度が複数あった場合、いずれか一方が条件を満たしたときの差分を補正量としてもよいし、双方が条件未満となったとき（例えば、「道路標識（青）」では、Ｒ／Ｂ<０．４、Ｇ／Ｂ<０．５、「信号機（赤）」では、Ｇ／Ｒ<０．２５、Ｂ／Ｒ<０．１」のとき）の差分を補正量としてもよい。

また、双方が条件未満となるまでデクリメントしたときに、いずれかの輝度が負の値となるような場合、対象部位の輝度をデクリメントしたときの輝度（比）と、補正リファレンステーブル２０４の輝度（比）との差分の平均（中心値）の絶対値が最小となったときの各輝度の差分を補正量としてもよい。以下、特定物「信号機（赤）」を例に挙げて説明する。

図１０は、補正量導出部１７４の処理を説明するための他の説明図である。例えば、輝度取得部１６０が取得した任意の対象部位の輝度が、Ｒ＝１２０、Ｇ＝４５、Ｂ＝１８であり、特定物対応テーブル２００に基づいて、その対象部位近傍の対象物が特定物「信号機（赤）」と決定された場合を想定する。

ここでは、図１０（ａ）に示すように、特定物対応テーブル２００の特定物「信号機（赤）」の範囲、すなわち、基準値を輝度（Ｒ）として、輝度（Ｇ）は、基準値（Ｒ）の０．３７５倍であり、輝度（Ｂ）は、基準値（Ｒ）の０．１５倍であるので、「Ｇ≦Ｒ×０．５」、「Ｂ≦Ｒ×０．３８」の条件を満たす。しかし、図１０（ｂ）に示すように、かかる対象部位の輝度は、汚れ判定テーブル２０２の「信号機（赤）」の範囲、すなわち、基準値を輝度（Ｒ）として、輝度（Ｇ）は、基準値（Ｒ）の０．３５倍以上となっている。したがって、透過度低下判定部１７２は、かかる対象物が含まれる分割領域２３０について透過体２の透過度が低下していると判定する。

このような透過度低下判定部１７２の判定を受けて、補正量導出部１７４は、補正量を導出する。まず、補正量導出部１７４は、計算結果が０〜２５５となる範囲で、対象部位の各色の輝度をデクリメント（−１）し、その結果が補正リファレンステーブル２０４の「信号機（赤）」の輝度、すなわち、「Ｇ＝Ｒ×０．２５」、「Ｂ＝Ｒ×０．１」と等しくなるように試みる。

しかし、１ずつデクリメントしていると、本来、双方の条件が同時に満たされるはずだが、一方が条件を満たしたとき、他方も必ずしも条件を満たすとは限らない。そこで、補正量導出部１７４は、対象部位の輝度をデクリメントしたときの輝度と、補正リファレンステーブル２０４の輝度との差分の平均の絶対値が最小となったときの各輝度の差分を補正量としてもよい。

例えば、デクリメントによって補正リファレンステーブル２０４の輝度との差分の平均の絶対値は漸減し、デクリメントした対象部位の輝度が、図１０（ｃ）のように、Ｒ＝１０８、Ｇ＝３３、Ｂ＝６となれば、補正リファレンステーブル２０４の輝度との差分の平均の絶対値は０．００６となる。同様に、図１０（ｄ）のように、Ｒ＝１０７、Ｇ＝３２、Ｂ＝５となれば、補正リファレンステーブル２０４の輝度との差分の平均の絶対値は０．００２となり、図１０（ｅ）のように、Ｒ＝１０６、Ｇ＝３１、Ｂ＝４となれば、補正リファレンステーブル２０４の輝度との差分の平均の絶対値は０．０１０となる。以降、デクリメントによって補正リファレンステーブル２０４の輝度との差分の平均の絶対値は漸増する。すなわち、Ｒ＝１０７、Ｇ＝３２、Ｂ＝５における補正リファレンステーブル２０４の輝度との差分の平均の絶対値０．００２が最小値となり、このときの補正量は、デクリメントする前の輝度との差分である１３となる。

このようにして補正量が導出されるが、図３を用いて説明したように、輝度の変化は矢印（Ｃ）の環境光の影響により生じている。また、環境光の影響は、入射光（太陽光等）の強度と透過度との積で示される。透過度は、透過体２の汚れや曇りに応じ、その値がほぼ固定値となるが、入射光の強度は、撮像装置１１０の露光時間に応じて比例的に変動する。

したがって、補正量導出部１７４は、補正量を導出すると、その補正量を導出した際の露光時間を取得し、補正量を露光時間で除算した基本補正量（透過度に相当）を導出する。そして、基本補正量に、補正対象となる輝度画像１２４の露光時間を乗じた値が、その補正対象となる輝度画像１２４の補正量となる。

ところで、上述したように、補正量導出部１７４は、分割領域２３０単位で補正量を導出している。また、補正量は、分割領域２３０内に特定物が存在する場合に導出される。したがって、分割領域２３０内に特定物が存在していない場合は、透過体２の透過度が低下している場合であっても補正されないこととなってしまう。

そこで、補正量導出部１７４は、補正量が導出されている分割領域２３０と補正量が導出されていない分割領域２３０が混在する場合、補正量が導出された分割領域２３０の補正量に基づいて、補正量が導出されていない分割領域２３０の補正量を導出する。例えば、補正量導出部１７４は、補正量が導出された１または複数の分割領域２３０の補正量を平均化し、その平均値を、補正量が導出されていない分割領域２３０の補正量とする。ただし、導出された平均値を補正量が導出された分割領域２３０には反映しない。

かかる構成により、透過体２が全体的に汚れていたり、全体的に曇っていた場合において、一部の分割領域２３０のみが補正されず、特定物の特定精度が低下するといった事態を回避できる。

また、補正量は、時間方向に変化し、また、変動が大きい。そこで、補正量導出部１７４は、今回導出された補正量と、同検出領域１２２または同分割領域２３０において過去に導出された補正量との時間平均値を求め、その時間平均値を改めて補正量とする。時間平均値は、今回導出された補正量と、過去の所定回数分の補正量を単純に平均した値でもよいし、所定の時定数を伴う１または複数次のＬＰＦ（Low Pass Filter）によって導出された値でもよい。

かかる構成により、補正量の時間方向の変化を緩めることができ、また、補正量の変動を抑制することが可能となる。

輝度補正部１７６は、導出された補正量に基づき輝度画像１２４を補正する。こうして、補正された輝度画像は、補正量を算出する際に用いた特定物以外の特定物を特定する際などに用いられる（例えば、道路標識（青）の輝度情報に基づいて算出した際、補正した輝度画像を用いて道路標識（青）以外の特定物、例えば、先行車のテールランプや信号機などの特定に用いられる）。また、輝度補正部１７６は、次回以降のフレームにおいて、受信した輝度画像１２４を上記補正量に基づいて補正し、その補正した補正輝度を輝度取得部１６０に取得させる。かかる輝度の補正は、常時実行してもよいが、透過度低下判定部１７２や透過度低下検出部により、透過体２の透過度の低下が検出された場合にのみ実行するとしてもよい。

また、輝度補正部１７６も、透過度低下判定部１７２同様、輝度画像１２４（検出領域１２２）を複数に分割した分割領域２３０単位で輝度を補正する。このようにして、複数の分割領域２３０毎に輝度を適切に補正することができる。本実施形態では、補正量が導出されていない分割領域２３０についても、補正量が導出されている分割領域２３０に基づいて補正量が導出され、その分割領域２３０の輝度が補正されるが、補正量が導出されていない分割領域２３０については全く補正を行わないとすることもできる。

また、上述したように、補正量導出部１７４は、補正量を、その補正量を導出した際の露光時間で除算した基本補正量を導出している。したがって、輝度補正部１７６は、補正量導出部１７４が導出した基本補正量に、補正対象となる輝度画像１２４の露光時間を乗じた補正量に基づき補正する。こうして、露光時間の変動に拘わらず、輝度を適切に補正することが可能となる。

こうして、車外環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、車両１は、停止または減速すべきであることを把握することができる。また、本実施形態では説明を省略しているが、特定物「テールランプ（赤）」を抽出することで、そこに車両１と共に走行している先行車両があることを把握することができる。

（環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１１〜図１６のフローチャートに基づいて説明する。図１１は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１２〜図１６は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜１８０画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、水平方向５×垂直方向３の分割領域２３０が準備され、１つの分割領域２３０は、水平１２０画素×６０画素となる。また、対象となる特定物の数を４つと仮定している。

図１１に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照され、対象物対応テーブル２００に基づいて、特定物マップ２２０が生成される（Ｓ３００）。特定物マップ２２０において、仮決定された特定物がグループ化され（Ｓ３０２）、グループ化された対象物が特定物として決定される（Ｓ３０４）。

続いて、輝度画像１２４の撮像方向に位置する透過体２の透過度の低下が判定され（Ｓ３０８）、その輝度画像１２４の対象部位の補正量が導出されると（Ｓ３１０）、導出された補正量に基づき輝度画像１２４の対象部位の輝度が補正される（Ｓ３１２）。このとき、輝度補正部１７６は、補正量導出部１７４が導出した基本補正量に、補正対象となる輝度画像１２４の露光時間を乗じた補正量に基づき補正する。以下、上記の処理を具体的に説明する。

（特定物マップ生成処理Ｓ３００）
図１２を参照すると、特定物仮決定部１６４は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、特定物仮決定部１６４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、特定物仮決定部１６４は、水平変数ｉに「１」を加算し、特定物変数ｍを初期化（「０」を代入）する（Ｓ４０４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×１８０の画素全てに対して当該特定物マップ生成処理Ｓ３００を実行するためであり、特定物変数ｍを設けているのは、画素毎に４つの特定物を順次比較するためである。

特定物仮決定部１６４は、輝度画像１２４から対象部位としての画素（ｉ，ｊ）の輝度を輝度取得部１６０に取得させ（Ｓ４０６）、特定物変数ｍに「１」を加算し（Ｓ４０８）、特定物（ｍ）の輝度範囲２０６を取得し（Ｓ４１０）、画素（ｉ，ｊ）の輝度が特定物（ｍ）の輝度範囲２０６に含まれるか否か判定する（Ｓ４１２）。

画素（ｉ，ｊ）の輝度が特定物（ｍ）の輝度範囲２０６に含まれていれば（Ｓ４１２におけるＹＥＳ）、特定物仮決定部１６４は、その画素に特定物（ｍ）を示す識別番号ｐを対応付けて、画素（ｉ，ｊ，ｐ）とする（Ｓ４１４）。こうして、輝度画像１２４中の各画素に識別番号ｐが付された特定物マップ２２０が生成される。また、画素（ｉ，ｊ）の輝度が特定物（ｍ）の輝度範囲２０６に含まれていなければ（Ｓ４１２におけるＮＯ）、特定物変数ｍが特定物の最大数である４を超えたか否か判定する（Ｓ４１６）。ここで、特定物変数ｍが最大値を超えていなければ（Ｓ４１６におけるＮＯ）、ステップＳ４０８の特定物変数ｍのインクリメント処理からを繰り返す。また、特定物変数ｍが最大値を超えていれば（Ｓ４１６におけるＹＥＳ）、当該画素（ｉ，ｊ）に対応する特定物は存在しないとして、次のステップＳ４１８に処理が移される。

続いて、特定物仮決定部１６４は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４１８）、水平変数ｉが最大値を超えていなければ（Ｓ４１８におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１８におけるＹＥＳ）、特定物仮決定部１６４は、垂直変数ｊが垂直画素の最大値である１８０を超えたか否か判定する（Ｓ４２０）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４２０におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４２０におけるＹＥＳ）、当該特定物マップ生成処理Ｓ３００を終了する。こうして、各画素に対応する特定物が仮決定される。

（グループ化処理Ｓ３０２）
図１３を参照すると、グループ化部１６６は、対象部位をグループ化するための所定範囲を参照し（Ｓ４５０）、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５２）。続いて、グループ化部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５４）。次に、グループ化部１６６は、水平変数ｉに「１」を加算する（Ｓ４５６）。

グループ化部１６６は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）を取得する（Ｓ４５８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に、特定物の識別番号ｐが対応付けられているか否か判定する（Ｓ４６０）。ここで、識別番号ｐが対応付けられていれば（Ｓ４６０におけるＹＥＳ）、グループ化部１６６は、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、等しい識別番号ｐが対応付けられている他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在するか否か判定する（Ｓ４６２）。

識別番号の等しい他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在すれば（Ｓ４６２におけるＹＥＳ）、グループ化部１６６は、自己を含む所定範囲内の全ての画素のいずれかにグループ番号ｇが付されているか否か判定する（Ｓ４６４）。いずれかにグループ番号ｇが付されていたら（Ｓ４６４におけるＹＥＳ）、グループ化部１６６は、所定範囲に含まれる全ての画素および同一のグループ番号ｇが付されている全ての画素に、その付されているグループ番号ｇのうち最も小さいグループ番号ｇ、および、グループ番号ｇとしてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ，ｇ）とする（Ｓ４６６）。また、いずれにもグループ番号ｇが付されていない場合（Ｓ４６４におけるＮＯ）、グループ番号ｇとしてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規のグループ番号ｇを付与する（Ｓ４６８）。

このように、所定範囲内に識別番号ｐが等しい対象部位が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、複数の対象部位のいずれにも未だグループ番号ｇが付されていない場合、新規のグループ番号ｇを付すこととし、いずれかに既にグループ番号ｇが付されている場合、それと同一のグループ番号ｇを付すこととなる。ただし、複数の対象部位に複数のグループ番号ｇが存在する場合、１つのグループとみなすべきなので、その対象部位全てのグループ番号ｇを１のグループ番号ｇに置換することとする。

このとき、所定範囲に含まれる全ての画素のみならず、同一のグループ番号ｇが付されている全ての画素のグループ番号ｇを一度に変更しているのは、グループ番号ｇの変更により、すでに統一化されたグループを分離しないためである。また、最も小さいグループ番号ｇまたはグループ番号ｇとしてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。

識別番号ｐが対応付けられていない場合（Ｓ４６０におけるＮＯ）、または、識別番号ｐの等しい他の画素が存在しない場合（Ｓ４６２におけるＮＯ）、次のステップＳ４７０に処理が移される。

続いて、グループ化部１６６は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４７０）、水平変数ｉが最大値を超えていなければ（Ｓ４７０におけるＮＯ）、ステップＳ４５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４７０におけるＹＥＳ）、グループ化部１６６は、垂直変数ｊが垂直画素の最大値である１８０を超えたか否か判定する（Ｓ４７２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４７２におけるＮＯ）、ステップＳ４５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４７２におけるＹＥＳ）、当該グループ化処理Ｓ３０２を終了する。

（特定物決定処理Ｓ３０４）
図１４を参照すると、特定物決定部１６８は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ５００）。続いて、特定物決定部１６８は、グループ変数ｋに「１」を加算する（Ｓ５０２）。

特定物決定部１６８は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ５０４）、存在すれば（Ｓ５０４におけるＹＥＳ）、そのグループ番号ｇが付された対象物の高さおよび大きさを計算する（Ｓ５０６）。そして、計算した高さおよび大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた識別番号ｐで示される特定物の高さ範囲２０８、幅範囲２１０に含まれ、かつ、特定物特有の条件を満たしているか否か判定する（Ｓ５０８）。

高さおよび大きさが識別番号ｐで示される特定物の高さ範囲２０８、幅範囲２１０に含まれ、かつ、特定物特有の条件を満たしていれば（Ｓ５０８におけるＹＥＳ）、特定物決定部１６８は、その対象物を特定物として決定する（Ｓ５１０）。高さおよび大きさが識別番号ｐで示される特定物の高さ範囲２０８、幅範囲２１０に含まれていない、もしくは、特定物特有の条件を満たしていない場合（Ｓ５０８におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ５０４におけるＮＯ）、次のステップＳ５１２に処理が移される。

続いて、特定物決定部１６８は、グループ変数ｋが、グループ化処理Ｓ３０２において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ５１２）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ５１２におけるＮＯ）、ステップＳ５０２のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ５１２におけるＹＥＳ）、当該特定物決定処理Ｓ３０４を終了する。こうして、グループ化された対象物が特定物として決定される。

（透過度低下判定処理Ｓ３０８）
図１５を参照すると、透過度低下判定部１７２は、上記特定物決定処理Ｓ３０４において特定物として決定された対象物（以下、特定物と記載する）を所定の記憶領域に格納する（Ｓ５５０）。そして、透過度低下判定部１７２は、その記憶領域に特定物が残っているか否か判定する（Ｓ５５２）。その結果、特定物が残っていれば（Ｓ５５２におけるＹＥＳ）、１の特定物を抽出して、その特定物を記憶領域から削除する（Ｓ５５４）。また、特定物が残っていなければ（Ｓ５５２におけるＮＯ）、当該透過度低下判定処理Ｓ３０８を終了する。

続いて、透過度低下判定部１７２は、抽出した特定物に対応する対象部位の輝度が、汚れ判定テーブル２０２において特定物に対応付けられた輝度範囲２０６に含まれているか否か判定する（Ｓ５５６）。その結果、輝度範囲２０６に含まれていれば（Ｓ５５６におけるＹＥＳ）、その特定物が含まれる分割領域２３０に関し、透過体２の透過度が低下したと判定して（Ｓ５５８）、ステップＳ５５２からの処理を繰り返す。また、輝度の範囲に含まれていなければ（Ｓ５５６におけるＮＯ）、何らの処理を行わず、ステップＳ５５２からの処理を繰り返す。こうして、特定物に関する透過体２の透過度の低下が判定される。

（補正量導出処理Ｓ３１０）
図１６を参照すると、補正量導出部１７４は、上記透過度低下判定処理Ｓ３０８において透過度が低下していると判定された特定物を所定の記憶領域に格納する（Ｓ６００）。そして、補正量導出部１７４は、その記憶領域に特定物が残っているか否か判定する（Ｓ６０２）。その結果、特定物が残っていれば（Ｓ６０２におけるＹＥＳ）、１の特定物を抽出して、その特定物を記憶領域から削除する（Ｓ６０４）。また、特定物が残っていなければ（Ｓ６０２におけるＮＯ）、当該補正量導出処理Ｓ３１０を終了する。

続いて、補正量導出部１７４は、抽出した特定物に対応する対象部位の輝度をデクリメントし（Ｓ６０６）、その結果が、補正リファレンステーブル２０４における当該特定物の輝度範囲２０６に達したか否か判定する（Ｓ６０８）。その結果、輝度範囲２０６に達すれば（Ｓ６０８におけるＹＥＳ）、次のステップＳ６１０に処理を移し、達していなければ、ステップＳ６０６からの処理を繰り返す。

そして、補正量導出部１７４は、輝度範囲２０６に達した場合の、デクリメントする前の値との差分を、当該特定物が含まれる分割領域２３０の補正量として設定する（Ｓ６１０）。ここでは、今回導出された補正量と、同検出領域１２２または同分割領域２３０において過去に導出された補正量との時間平均値を求め、その時間平均値を改めて補正量としてもよい。また、補正量導出部１７４は、補正量を導出すると、その補正量を導出した際の露光時間を取得し、補正量を露光時間で除算した基本補正量も導出する。

続いて、補正量導出部１７４は、全ての分割領域２３０において補正量が設定されているか否か判定する（Ｓ６１２）。その結果、補正量が設定されていない分割領域２３０があれば（Ｓ６１２におけるＮＯ）、補正量導出部１７４は、補正量が導出された１または複数の分割領域２３０の補正量を平均化し、その平均値を、補正量が導出されていない分割領域２３０の補正量とし（Ｓ６１４）、ステップＳ６０２からの処理を繰り返す。また、全ての分割領域２３０において補正量が設定されていれば（Ｓ６１２におけるＹＥＳ）、何らの処理を行わず、ステップＳ６０２からの処理を繰り返す。こうして、各分割領域２３０に補正量が設定される。

以上、説明したように、車外環境認識装置１３０によれば、車載カメラの光学系部品やフロントガラスに汚れや曇りが存在することを検出でき、仮にそのような状況下であっても色情報を用いた画像認識を適切に行うことが可能となる。

また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、上述した実施形態においては、輝度取得部１６０、位置情報取得部１６２、特定物仮決定部１６４、グループ化部１６６、特定物決定部１６８、透過度低下判定部１７２、補正量導出部１７４、輝度補正部１７６は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。

また、上述した実施形態では、透過度低下判定部１７２が透過体２の透過度の低下を判定した後、輝度補正部１７６が、その判定結果による補正量に基づいて対象部位の輝度を補正しているが、かかる場合に限らず、透過度低下判定部１７２によって透過体２の透過度の低下のみを判定してもよい。例えば、透過度低下判定部１７２によって透過体２の透過度が低下したと判定されると、車両１の運転者や搭乗者にその旨報知される。また、判定を行うことなく、輝度補正部１７６が輝度を補正してもよい。例えば、特定物対応テーブル２００を用いて特定物を特定した後、汚れ判定テーブル２０２によって透過体２の透過度の低下を判定することなく、補正リファレンステーブル２０４のみを利用して補正する等が考えられる。

また、上述した実施形態では、説明の便宜上、特定物対応テーブル２００として、信号機（赤）、信号機（青）、道路標識（青）、道路標識（緑）を挙げて説明したが、かかる場合に限らず、道路上に存在し、ＲＧＢの値が大凡不変的な特定物を対象とすることができる。例えば、ウィンカーはＲＧＢを大凡特定でき、また、多少のばらつきはあるものの、テールランプ等も大凡特定することができるので、特定物の対象となる。

なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する車外環境認識装置および環境認識方法に利用することができる。

１ …車両
２ …透過体
１２０ …画像処理装置
１２２ …検出領域
１２４ …輝度画像
１３０ …車外環境認識装置
１５２ …データ保持部
１６０ …輝度取得部
１６２ …位置情報取得部（特定物検出部）
１６４ …特定物仮決定部（特定物検出部）
１６６ …グループ化部（特定物検出部）
１６８ …特定物決定部（特定物検出部）
１７２ …透過度低下判定部
１７４ …補正量導出部
１７６ …輝度補正部
２００ …特定物対応テーブル
２０２ …汚れ判定テーブル
２０４ …補正リファレンステーブル
２０６ …輝度範囲
２０８ …高さ範囲
２１０ …幅範囲
２２０ …特定物マップ
２２２ …対象部位
２３０ …分割領域

Claims

車載カメラにより撮像されたカラー画像に基づき自車両外の環境を認識する車外環境認識装置において、
前記カラー画像に基づき特定物を検出する特定物検出部と、
特定物と、該特定物の色を示す輝度範囲とを対応付け、かつ、特定物と、該特定物の本来の輝度とを対応付けて保持するデータ保持部と、
前記特定物の前記カラー画像における輝度と、前記特定物に対応付けられた輝度範囲とを比較し、前記車載カメラの撮像方向に位置する透過体の透過度の低下を判定する透過度低下判定部と、
前記特定物の前記カラー画像における輝度と、前記特定物に対応付けられた本来の輝度との差分に基づいて補正量を導出する補正量導出部と、
導出された補正量に基づき前記カラー画像の対象部位の輝度を補正する輝度補正部と、
を備え、
前記特定物検出部は、補正されたカラー画像に基づき特定物を検出することを特徴とする車外環境認識装置。
前記補正量導出部は、導出した補正量を、前記カラー画像の露光時間で除算した基本補正量を導出し、
前記輝度補正部は、前記基本補正量に、補正対象となるカラー画像の露光時間を乗じた補正量に基づき前記カラー画像の対象部位の輝度を補正することを特徴とする請求項１に記載の車外環境認識装置。
前記補正量導出部は、前記カラー画像を複数に分割した分割領域単位で前記補正量を導出することを特徴とする請求項１または２に記載の車外環境認識装置。
前記補正量導出部は、前記補正量が導出された分割領域の補正量に基づいて、前記補正量が導出されていない分割領域の補正量を導出することを特徴とする請求項３に記載の車外環境認識装置。
前記補正量導出部は、前記特定物の前記カラー画像における輝度と、前記特定物に対応付けられた本来の輝度との差分に基づいて導出された補正量と、同検出領域または同分割領域において過去に導出された補正量との時間平均値を改めて補正量とすることを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
前記特定物検出部は、前記カラー画像における輝度の時間方向の変化に基づいて特定物を検出することを特徴とする請求項１から５のいずれか１項に記載の車外環境認識装置。