JP6126094B2 - 車載用画像認識装置 - Google Patents

Description

本発明は、車載されたカメラによって、他車両の位置やレーンマーカの位置などを検出する車載用画像認識装置に関するものである。

近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、他車両の位置やレーンマーカの位置などを検出して、検出された他車両の位置やレーンマーカの位置に基づいて、他車両との接触の可能性や車線逸脱の可能性を判断して注意喚起を行う車載用画像認識装置が実用化されている。

このようなシステムでは、雨天時の走行場面にあっては、自車両が巻き上げた水分がカメラのレンズ表面に付着する場合がある。また、未舗装路の走行場面にあっては、自車両が巻き上げた埃がカメラのレンズ表面に付着する場合がある。さらに、融雪剤が散布された道路を走行する場面にあっては、自車両が巻き上げた融雪剤がカメラのレンズ表面に付着する場合がある。そして、これらの付着物が乾燥することによって、水分や埃や融雪剤の中に含まれていた不純物が析出してレンズ表面に堆積し、レンズ表面に白い汚れ（以下、白濁と呼ぶ）が生じる。

レンズ表面に白濁した部位（白濁部）が生じると、レンズに入射した光は白濁部において散乱するため、観測される画像の中に、ぼけや滲みが生じる。そして、このぼけや滲みによって、検出対象である他車両やレーンマーカの像のコントラストが減少するため、他車両やレーンマーカの未検出や誤検出が発生する可能性がある。そして、こうした未検出や誤検出の発生によって、他車両の位置やレーンマーカの位置に関する、的確な注意喚起を実行できなくなる恐れがある。

特に、カメラで撮像した画像を、車両の乗員が目視確認できないシステムにあっては、乗員はレンズが白濁していることを確認することができないため、前記した未検出や誤検出は、乗員に、システムに対する不信感を与えることになる。

このような未検出や誤検出を防止するために、例えば、車両用障害物検出装置が開示されている（例えば、特許文献１）。

特開２０１２−３８０４８号公報

特許文献１に記載された車両用障害物検出装置では、カメラのレンズに付着した異物等を、時間的に位置が変化しない不動領域として検出し、こうして検出された不動領域を障害物の検出対象から除外することによって、障害物検出の精度を向上させていた。

しかしながら、レンズに付着する異物の中には、透光性が高い水滴のように、不動領域として検出するのが困難な物がある。

さらに、レンズに付着した異物の領域が広範囲になった場合には、障害物検出を実行できる領域が狭くなるため、障害物検出性能の劣化をきたす恐れがある。

本発明は、上記課題に鑑みてなされたもので、レンズが白濁した状態やレンズに付着物が付着した状態であっても、他車両の位置やレーンマーカの位置などを確実に検出することができる車載用画像認識装置を提供することを目的とする。

本発明に係る車載用画像認識装置は、レンズに白濁が生じているとき、また、レンズに泥や水滴等の付着物が付着しているときであっても、他車両の位置やレーンマーカの位置を検出することができる車載用画像認識装置に関するものである。

すなわち、本発明の請求項１に係る車載用画像認識装置は、自車両に設置されて、レンズを通して前記自車両の周囲を観測して、観測された前記自車両の周囲の光信号を画像信号に変換する撮像部と、前記撮像部で撮像された画像の中から、所定の検出感度をもって前記自車両の周囲に存在する移動物体の検出を行う画像認識アプリケーション実行部と、前記画像信号の中から、前記レンズの白濁度合を算出する白濁度合算出部と、前記レンズへの泥や水滴等の付着物の付着度合を算出する付着度合算出部と、前記白濁度合の高さに応じて前記検出感度を向上させる方向に調整する検出感度調整部と、を有し、前記検出感度調整部は、前記レンズへの泥や水滴等の付着物の付着度合に基づいて、前記検出感度を補正することを特徴とする。

このように構成された本発明の請求項１に係る車載用画像認識装置によれば、自車両に設置されて、レンズを通して自車両の周囲を観測し、観測された自車両の周囲の光信号を画像信号に変換する撮像部によって撮像された画像の中から、所定の検出感度で自車両の周囲に存在する移動物体の検出を行う画像認識アプリケーション実行部の検出感度を、白濁度合の高さに応じて検出感度を向上させる方向に調整する検出感度調整部において、付着度合算出部によって算出された、レンズへの泥や水滴等の付着物の付着度合に基づいて補正するようにしたため、レンズに泥や水滴等の付着物が付着している場合であっても、必要以上の検出感度の向上が抑制されるため、自車両の周囲に存在する移動物体を確実に検出することができる。

本発明に係る車載用画像認識装置によれば、レンズの白濁度合や付着物の付着状態に関わらず、他車両の位置やレーンマーカの位置などを確実に検出することができる。

本発明に係る車載用画像認識装置が実装された車載システムの一例であるＢＳＷ（Blind Spot Warning）システムについて説明する図である。 本発明の実施例１に係る車載用画像認識装置の概略構成を示すブロック図である。 本発明の第１白濁度合算出部の詳細構成を示すブロック図である。 本発明の第２白濁度合算出部の詳細構成を示すブロック図である。 本発明の付着度合算出部の詳細構成を示すブロック図である。 本発明の接近車両検出部の詳細構成を示すブロック図である。 本発明の実施例１において実行されるメインルーチンのフローチャートである。 レンズの白濁の発生状況について説明する図であり、（ａ）は白濁のない状態で撮像された画像の例と、その画像の中の輝度分布の例を示す。（ｂ）は白濁のある状態で撮像された画像の例と、その画像の中の輝度分布の例を示す。 本発明の実施例１において実行される輝度勾配に基づく白濁度合算出処理の流れを示すフローチャートである。 本発明の実施例１における光源領域検出処理の一例を示す図であり、（ａ）は撮像された画像を示す。（ｂ）は撮像された画像を縮小した画像を示す。（ｃ）は画像（ｂ）を２値化し、ラベリング処理を行った画像を示す。（ｄ）は画像（ｃ）の中から条件を満たす光源領域を検出した結果を示す。 本発明の実施例１において、輝度勾配に基づいて白濁度合を算出するための光源領域検出処理を行う範囲について説明する図である。 本発明の実施例１において、白濁度合を算出するための光源領域検出処理によって検出する領域の形状について説明する図であり、（ａ）は検出対象となる光源領域の形状特徴を示す。（ｂ）は検出対象とならない領域の例を示す。 本発明の実施例１において、白濁度合を算出するために輝度勾配を算出する所定ラインの一例と、輝度勾配の一例について説明する図である。 本発明の実施例１において、白濁度合の確信度の推移を表す状態遷移について説明する図である。 本発明の実施例１において実行されるエッジ強度に基づく白濁度合算出処理の流れを示すフローチャートである。 本発明の実施例１において実行される付着物検出処理の流れを示すフローチャートである。 本発明の実施例１において、撮像された画像の中にブロックを設定した例を示す図である。 （ａ）は撮像された画像の例を示す図である。（ｂ）はその画像の中から検出されたエッジ構成点の例を示す図である。 本発明の実施例１において、明るい周囲ブロックをカウントする工程を説明するための図である。 本発明の実施例１において実行される視点変換画像同士の位置合わせ処理の概要を説明する図であり、（ａ）は車両の移動状態を示す平面図である。（ｂ）は位置合わせの概要を示す図である。 本発明の実施例１において視点変換画像の差分結果に基づいて差分波形を生成する様子を説明する図であり、（ａ）は視点変換画像の差分結果から差分波形を生成する方法を説明する図である。（ｂ）は生成された差分波形の例を示す図である。 本発明の実施例１において、立体物検出部によって分割される小領域を示す図である。 本発明の実施例１において、立体物検出部により得られるヒストグラムの一例を示す図である。 レンズの汚れ度合に応じて車両検出処理の閾値を補正する方法を示す図である。 本発明の実施例１において実行される差分演算に基づく車両検出処理の流れを示すフローチャートである。 エッジ情報による立体物検出について説明する図であり、（ａ）は検出領域等の位置関係を示す平面図である。（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 輝度差算出部の動作を説明するための図であり、（ａ）は視点変換画像における注目線、参照線、注目点、および参照点の位置関係を示す図である。（ｂ）は実空間における注目線、参照線、注目点、および参照点の位置関係を示す図である。 輝度差算出部の詳細な動作を説明するための図であり、（ａ）は視点変換画像における検出領域を示す図である。（ｂ）は視点変換画像における注目線、参照線、注目点、および参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（車両）が存在している場合の輝度分布を示す図である。（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 レンズの汚れ度合に応じて車両検出処理の閾値を補正する方法を示す別の図である。 本発明の実施例１において実行されるエッジ情報に基づく車両検出処理の流れを示すフローチャートである。

以下、本発明に係る車載用画像認識装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。

本実施例は、本発明の車載用画像認識装置を、走行中の自車両の後方を監視して、自車両後方の隣接車線に接近車両があるときに注意喚起や警報を行うＢＳＷシステム（画像認識アプリケーション）が実装された車両に適用した例である。

まず、図１を用いてＢＳＷシステムの動作を説明する。自車両５の後方を監視する撮像部１０は、自車両５の後部に後ろ向きに取り付けられて、自車両５の後方の左右隣接車線を含む範囲ω（道路２の車線Ｙ_１，Ｙ_２，Ｙ_３を含む範囲）を撮像する。そして、撮像された画像の中から、画像処理によって隣接する車線Ｙ_１の検出領域Ｘ１、および隣接する車線Ｙ_３の検出領域Ｘ２に存在する接近車両を検出する。

ＢＳＷシステムは、自車両５が所定車速以上で走行しているときに起動されて、撮像部１０から所定の距離範囲内において、車線Ｙ_２に隣接する車線Ｙ_１，Ｙ_３に他車両６が検出されて、検出された他車両６が自車両５に接近していることが確認されたときに、他車両６を接近車両として認識する。

他車両６が自車両５に接近していることは、撮像部１０で撮像した画像を時系列的に分析することによって判定される。詳しくは後述する。

そして、他車両６が接近していると認識されたときには、自車両５に備えられた、例えばインジケータを点灯させることによって、他車両６の存在を、視覚情報として運転者に伝達する（１次警報）。

さらに、運転者がこの視覚情報に気づかずに、他車両６が存在する車線Ｙ_１側に方向指示器を出して車線変更を行おうとすると、インジケータの点滅と警報音の吹鳴を行って、運転者に対して、他車両６の存在をより明確に伝達して（２次警報）、車線変更動作の中断を促す。

次に、図２を用いて、実施例１に係る車載用画像認識装置の構成を説明する。図２は、本実施例に係る車載用画像認識装置を、前記したＢＳＷシステムが実装された自車両５に適用したときの構成図を示す。

実施例１に係る車載用画像認識装置８は、図２に示すように、自車両５（図１に図示）の後部ライセンスプレート付近に設置されて、図１に示した範囲ωを観測する撮像部１０と、撮像部１０で撮像された画像の中から、撮像部１０の前方に装着されたレンズ１２の白濁度合と、泥、水滴等の付着物の付着度合を検出するレンズ汚れ検出部２０と、検出されたレンズ１２の白濁度合と、泥、水滴等の付着物の付着度合に基づいて、レンズ１２の汚れ度合を算出するレンズ汚れ度合算出部３０と、後述する車両検出部７０における他車両６の検出感度を調整する検出感度調整部５０と、自車両５の車速を取得する車両情報取得部６０と、自車両５の後方から接近する他車両６を検出する車両検出部７０（画像認識アプリケーション実行部）を備えている。

そして、前記撮像部１０と、前記検出感度調整部５０と、前記車両情報取得部６０と、前記車両検出部７０とが、ＢＳＷシステム９を構成している。

前記撮像部１０は、さらに、レンズ１２と、光信号を電気信号に光電変換する、例えばＣＭＯＳ素子で構成された光電変換部１４と、光電変換された電気信号のゲインを調整するゲイン調整部１６を備えている。

前記レンズ汚れ検出部２０は、さらに、撮像部１０で撮像された画像の中の輝度勾配に基づいてレンズ１２の白濁度合を算出する第１白濁度合算出部２２と、撮像部１０で撮像された画像の中の輝度値の分散に基づいてレンズ１２の白濁度合を算出する第２白濁度合算出部２４からなる白濁度合算出部２５と、レンズ１２に付着した泥や水滴等の付着物を検出する付着度合算出部２６を備えている。

また、前記車両検出部７０は、撮像部１０で撮像された画像の中から自車両５の後方の立体物を検出して、その立体物の移動距離と移動速度を算出し、接近車両として検出する接近車両検出部７２と、接近車両検出部７２で接近車両が検出されたときに、インジケータやブザーによって注意喚起する警報出力部７４を備えている。

次に、図３から図５を用いて、レンズ汚れ検出部２０の詳細構成を説明する。

白濁度合算出部２５を構成する前記第１白濁度合算出部２２は、図３に示すように、後続車両の前照灯の像を検出する領域検出部２２ａと、領域検出部２２ａで検出された領域の中の所定ライン上の輝度勾配を算出する輝度勾配算出部２２ｂと、異なる時間に領域検出部２２ａで検出された領域が、同一光源による像であるか否かを判定する類似性算出部２２ｃと、算出された白濁度合の確信度を決定する確信度決定部２２ｄとから構成されている。

また、白濁度合算出部２５を構成する前記第２白濁度合算出部２４は、図４に示すように、撮像部１０で撮像された画像の中のエッジ強度を算出するエッジ強度算出部２４ａと、エッジ強度算出部２４ａで算出されたエッジ強度から、画像の中のエッジ強度の分布を求めて、画面の中のエッジ強度の分布に基づいてレンズ１２の白濁度合を算出するエッジ強度分析部２４ｂとから構成されている。

さらに、付着度合算出部２６は、図５に示すように、撮像部１０で撮像された画像の中に処理領域を設定して複数のブロックに分割する処理領域設定部２６ａと、前記画像の中からエッジ強度が弱い領域を検出するエッジ検出部２６ｂと、エッジ強度の弱い領域とその周囲の領域の輝度値を取得して輝度分布を算出する輝度分布算出部２６ｃと、時系列で蓄積された輝度値に基づいて輝度値の時系列変化を算出する輝度変化算出部２６ｄと、エッジ検出部２６ｂ，輝度分布算出部２６ｃ，輝度変化算出部２６ｄの処理結果に基づいてレンズ１２の付着物の有無を判定する付着物判定部２６ｅとから構成されている。

次に、図６を用いて、車両検出部７０を構成する接近車両検出部７２の詳細構成を説明する。

図６に示す接近車両検出部７２は、差分波形情報を利用して接近車両（他車両６）を検出する部位であり、視点変換部７２ａと、位置合わせ部７２ｂと、立体物検出部７２ｃと、を備える。

なお、本実施例１の接近車両検出部７２は、エッジ情報を利用して接近車両（他車両６）を検出する構成とすることもできる。この場合は、図６に示す構成のうち、位置合わせ部７２ｂと、立体物検出部７２ｃから構成される検出ブロックＡ１を、破線で囲んだ、輝度差算出部７２ｇと、エッジ線検出部７２ｈと、立体物検出部７２ｉから構成される検出ブロックＡ２と置き換えて構成することができる。

もちろん、検出ブロックＡ１、および検出ブロックＡ２の両方を備え、差分波形情報を利用して接近車両の検出を行うとともに、エッジ情報を利用した接近車両の検出も行うようにすることができる。検出ブロックＡ１と検出ブロックＡ２をともに備える場合には、例えば、明るさなどの環境要因に応じて検出ブロックＡ１、または検出ブロックＡ２のいずれかを動作させるようにしてもよい。

次に、実施例１に係る車載用画像認識装置８の一連の動作の流れについて、図７のフローチャートを用いて説明する。

まず、ステップＳ１において、前記車両情報取得部６０によって、自車両５の車両情報として車速を取得する。

次に、ステップＳ２において、前記車両情報取得部６０によって取得した車速信号の値が所定値（例えば１ｋｍ／ｈ）以上であるか否かが判定される。そして、車速信号の値が所定値以上であるときは、ステップＳ３に進んで、ＢＳＷシステム９が起動される。一方、車速が所定値に満たないときは、ステップＳ１に戻る。

次に、ステップＳ４において、前記撮像部１０で自車両５の後方の画像を撮像する。そして、レンズ１２を透過した光信号が、光電変換部１４において電気信号に変換されて、さらに、ゲイン調整部１６で増幅されて、画像信号Ｉ（ｘ,ｙ）が生成される。以後、こうして生成された画像信号Ｉ（ｘ,ｙ）を、単に画像Ｉ（ｘ,ｙ）と呼ぶ。

前記ゲイン調整部１６は、光電変換部１４において変換された電気信号のレベルが所定のレベルになるように、適切なゲインを与えてこれを増幅し、画像Ｉ（ｘ,ｙ）としている。これによって、暗い環境であっても、適切なゲインを与えることによってＳＮ比が高い画像Ｉ（ｘ,ｙ）が得られる。なお、このゲイン調整は、撮像とともに随時実行されて、ゲイン調整部１６では、最新のゲインの値がモニタできる構成になっている。

次に、ステップＳ５では、前記第１白濁度合算出部２２と前記第２白濁度合算出部２４において、レンズ１２の白濁度合が算出される。この処理の手順は図８，９に示すが、その詳細については後述する。

そして、ステップＳ６では、前記付着度合算出部２６において、レンズ１２に付着した泥や水滴等の付着物が検出される。この処理の手順は図１０に示すが、その詳細については後述する。

次に、ステップＳ７では、前記レンズ汚れ度合算出部３０において、レンズ１２の汚れ度合が算出される。その詳細については後述する。

そして、ステップＳ８では、前記第１白濁度合算出部２２と前記第２白濁度合算出部２４で算出されたレンズ１２の白濁度合と、前記付着度合算出部２６において算出されたレンズ１２に付着した泥や水滴等の付着物の付着度合が、前記検出感度調整部５０に通知されて、検出感度調整部５０において、通知されたレンズ１２の白濁度合と付着度合に基づいて車両検出感度が補正される。

次に、ステップＳ９では、前記接近車両検出部７２において、撮像部１０で撮像された画像の中から接近車両が検出される。この処理の手順は図２５，図３１に示すが、その詳細については後述する。

次に、ステップＳ１０では、前記接近車両検出部７２において検出された他車両６の有無、および他車両６の自車両５に対する相対速度に基づいて、警報を出力する必要性の有無が判定される。そして、警報を出力する必要性があるときはステップＳ１１に進み、警報を出力する必要性がないときはステップＳ４に戻る。

そして、ステップＳ１１では、前記警報出力部７４において、インジケータやブザーによって警報を出力し、自車両５の乗員に接近車両の存在を報知して注意喚起を行う。

次に、図７のフローチャートの中で行われる個別の処理について、その詳細を順に説明する。

（輝度勾配に基づく白濁度合算出処理）
まず、図７のステップＳ５で行われる白濁度合算出処理の詳細を、図８〜図１５を用いて説明する。白濁度合算出部２５では、レンズ１２の白濁度合が、撮像部１０で撮像された画像の中の輝度勾配に基づく方法と、撮像部１０で撮像された画像の中のエッジ強度の分布に基づく方法によって算出される。ここで、輝度勾配に基づいて算出されるレンズ１２の白濁度合をＵ１とし、エッジ強度の分布に基づいて算出されるレンズ１２の白濁度合をＵ２とする。

第１白濁度合算出部２２は、撮像部１０が撮像した画像Ｉ（ｘ,ｙ）の中から、後続車両の前照灯の像、もしくは太陽光の反射によって生じる像を検出し、こうして検出された像の中に所定ラインを設定し、この所定ライン上の輝度勾配に基づいてレンズの白濁度合Ｕ１を算出する。

これは、前照灯や太陽のような強い光源の像は、レンズの白濁によって散乱し、なおかつ、レンズの白濁度合に応じて散乱の度合が変化して、白濁度合が高いほど、明るい領域がより広がった像として観測されることを利用するためである。

図８（ａ），（ｂ）は、車載用画像認識装置８の撮像部１０で実際に観測された、自車両５と同一車線を走行している後続車両の前照灯を含む画像Ｉ（ｘ,ｙ）である。そして、図８（ａ）はレンズ１２の表面が白濁していない場合の画像を示し、図８（ｂ）は、レンズ１２の表面が白濁している場合の画像を示している。

図８（ａ），（ｂ）の画像Ｉ（ｘ,ｙ）の下に示したグラフは、前照灯の像の中の探索開始点Ｏを始点として、左方向に延びる探索方向（ライン）ＯＰ上の輝度値の分布（以後、輝度分布Ｌｄと呼ぶ）と、前照灯の像の中の探索開始点Ｏを始点として、右方向に延びるラインＯＱ上の輝度分布Ｌｄを１枚のグラフに示したものである。

図８（ａ）において、ラインＯＰ上の輝度分布Ｌｄが、閾値Ａを下回ってから、閾値Ａよりも小さい閾値Ｂを下回るまでの左右方向画素数をＬ_Ｗ、また、ラインＯＱ上の輝度分布Ｌｄが、閾値Ａを下回ってから、閾値Ａよりも小さい閾値Ｂを下回るまでの左右方向画素数をＲ_Ｗとしたときに、輝度勾配ｇを、輝度差Ｄ_Ｉ（＝Ａ−Ｂ）を用いて、Ｄ_Ｉ／Ｌ_Ｗ（ラインＯＰ上の輝度勾配）、および−Ｄ_Ｉ／Ｒ_Ｗ（ラインＯＱ上の輝度勾配）として算出すると、白濁のない図８（ａ）の場合は、輝度勾配ｇの絶対値は大きな値となり、輝度分布Ｌｄの広がりは狭く急峻になる。

一方、白濁のある図８（ｂ）の場合は、輝度勾配ｇの絶対値は小さな値となり、輝度分布Ｌｄの広がりは広くなる。

第１白濁度合算出部２２は、この輝度勾配ｇの大きさを利用して、レンズ１２の白濁度合Ｕ１を算出する。すなわち、輝度勾配ｇの絶対値が小さいほど、白濁度合Ｕ１が高いと算出される。なお、詳しくは後述するが、白濁度合算出の確実性を高めるために、輝度勾配ｇが小さい状態が一定期間継続した場合に、白濁が発生していると判断している。

以下、図９を用いて、第１白濁度合算出部２２で行われる白濁度合Ｕ１の算出方法について詳細に説明する。

ステップＳ２０では、前記撮像部１０で撮像された画像Ｉ（ｘ,ｙ）（以後、単に画像Ｉと記載する）が所定の比率で縮小されて、縮小画像Ｉ’（ｘ,ｙ）（以後、単に縮小画像Ｉ’と記載する）が生成される。このように画像を縮小するのは、画像のサイズを小さくして画像処理を行う際に要するメモリ量を削減し、なおかつ、処理速度を向上させるためである。なお、具体的な縮小率は、使用する計算機環境、および、画像の分解能等を勘案して決定される。

また、前記した画像の縮小は、画素の間引きによって行うが、これは近傍画素の輝度値の平均化を行って縮小してもよい。この処理によって、図１０（ａ）に示す画像が、図１０（ｂ）に示す画像のように縮小される。

次に、ステップＳ２１では、ステップＳ２０で縮小した縮小画像Ｉ’の中に、後続車の前照灯の像、もしくは太陽光の反射像を検出する領域を設定する。本実施例では、自車両５と同じ車線Ｙ_２を走行する後続車の、前照灯の像が写る領域を設定して、この領域の中から、後続車の前照灯の像、もしくは太陽光の反射像を検出する。このように処理領域を制限することによって、計算機負荷を軽減させることができる。

こうして設定される処理エリアの例を図１１に示す。図１１に示すように、横方向画素数ｎ、縦方向画素数ｍの画像に対して、左上を（ｘ１，ｙ１）として、右下を（ｘ２，ｙ２）とする処理エリアＥが設定される。

この処理エリアＥの上下方向位置は、自車両５に対する、撮像部１０の高さ方向の取り付け位置と上下方向の取り付け角度によって定まる、無限遠点に相当する消失点の上下方向座標Ｖ_Ｙ（図１１参照）の位置を基準にして設定される。

また、この処理エリアＥの左右方向位置は、自車両５に対する、撮像部１０の左右方向の取り付け位置に応じて設定される。すなわち、撮像部１０が自車両５の中央に設置されていれば、処理エリアＥは、縮小画像Ｉ’の中に左右対称に設定される。図１１は、撮像部１０の自車両５への取り付け位置が左右にオフセットしている場合の例であり、左右非対称な位置に処理エリアＥが設定される。

次に、ステップＳ２２では、ステップＳ２１で設定した処理エリアＥの内部に対して、縮小画像Ｉ’を所定の閾値で２値化して２値画像に変換し、さらに、２値画像を形成する領域の各々に番号を付けるラベリング処理を行う。ここで、所定の閾値には、予め実験等によって設定された、自車両５と同じ車線Ｙ_２を走行する後続車の前照灯の像を検出できる値、および、太陽光の反射像を検出できる値が使用される。なお、この閾値は領域検出部２２ａに記憶されている。

そして、画像Ｉが撮像された際に、画像Ｉのゲインの値をゲイン調整部１６から読み出して、読み出したゲインの値が所定値以上であるときは、画像Ｉを撮像した環境が夜間であると判断して、後続車両の前照灯の像を検出する閾値を適用して画像Ｉの２値化を行う。

一方、画像Ｉのゲインの値が所定値に満たないときは、画像Ｉを撮像した環境が昼間であると判断して、太陽光の反射像を検出する閾値を適用して画像Ｉの２値化を行う。

この２値化、ラベリング処理によって、図１０（ｃ）に示す画像が得られる。

次に、ステップＳ２３では、ステップＳ２２でラベリング処理された画像の中に前照灯の像、もしくは太陽光の反射像があるか否かが判定される。ここで行われる処理について、図１２（ａ），（ｂ）を用いて説明する。

前記撮像部１０で撮像される、自車両５と同じ車線Ｙ_２を走行する後続車の前照灯の像は、図１２（ａ）に示す領域Ｒ_０のように略円形状になる。したがって、ラベリング処理された各々の領域に対して、領域の面積が、その領域に外接する矩形領域（縦方向画素数Ｈ_０、横方向画素数Ｗ_０）の面積Ｈ_０Ｗ_０に対し、所定の割合以上の占有率を有すること、および、領域に外接する四角形の幅と高さが所定割合以上異ならないこと、を判定して、前照灯の像であるか否かを判断することができる。

また、前記撮像部１０で撮像される、太陽光の反射像も、領域Ｒ_０と同様に略円形状になるため、前照灯の像と同様にして、像の形状を表す占有率の閾値と外接四角形の縦横比率の閾値がそれぞれ数値化されて、実際に検出された領域が、その条件を満たすか否かが判定される。

この判定によって、例えば、図１２（ｂ）に示す領域Ｒ_１，Ｒ_２，Ｒ_３のような形状の領域は、前照灯の像、または太陽光の反射像ではないと判断されて棄却される。

この判定によって、図１０（ｄ）に示すように、条件を満足する領域が１つ選択される。なお、条件を満足する領域が複数見つかったときには、最も面積の大きい領域を１つ選択する。そして、条件を満たす領域が見つからなかったとき（ステップＳ２３がＮＯのとき）は、メインルーチン（図７）へ戻る。

次に、ステップＳ２４では、ステップＳ２３で選択された領域の重心位置Ｇが算出される。領域の重心位置Ｇの座標をＧ（Ｇｘ、Ｇｙ）とすると、重心位置Ｇの左右方向位置Ｇｘは、領域を構成する全ての画素の左右方向座標の総和を領域の面積で除して算出され、重心位置Ｇの上下方向位置Ｇｙは、領域を構成する全ての画素の上下方向座標の総和を領域の面積で除して算出される。

次に、ステップＳ２５では、縮小画像Ｉ’の中に、輝度勾配ｇを算出するための探索開始点Ｏと、輝度勾配を算出するための探索方向（ライン）を設定する。この探索開始点Ｏ、およびラインは、自車両５が巻き上げるスプラッシュや、後続車両の前照灯の路面反射や、隣接する車線を走行している車両の前照灯などの影響を受けにくい位置、方向を、実験等によって決定して、設定すればよい。

本実施例では、図１３に示すように、領域Ｒ_０の重心位置Ｇと、領域Ｒ_０の最上部の点Ｊの間に、輝度勾配ｇを算出するための探索開始点Ｏを設定する。図１３は、輝度勾配を算出するラインＯＰ，ＯＱの設定例と、そのラインＯＰ，ＯＱにおいて算出される輝度勾配の一例について説明する図である。

すなわち、探索開始点Ｏの上下方向座標をＯｙ、領域Ｒ_０の最上部の点Ｊの上下方向座標をＪｙとして、（式１）によってＯｙを求める。
Ｏｙ＝Ｊｙ＋（Ｇｙ−Ｊｙ）／Ｔｈ_ｙ （式１）
ここで、閾値Ｔｈ_ｙには０より大きい値が設定される。なお、閾値Ｔｈ_ｙの値は、実験等に基づいて設定される。

そして、図１３に示すように、探索開始点Ｏを通り、領域Ｒ_０の重心位置Ｇを通過する水平ラインと平行になるラインが、ラインＯＰ，ラインＯＱとして設定される。

次に、ステップＳ２６において、ラインＯＰ上で、探索開始点Ｏから点Ｐに向かって、縮小画像Ｉ’に格納された輝度値を読み取って、輝度分布Ｌｄを算出し、さらに、ラインＯＱ上で、縮小画像Ｉ’に格納された輝度値を読み取って、輝度分布Ｌｄを算出する。

こうして算出された輝度分布Ｌｄは、図１３に示すグラフのようになる。なお、このグラフは、説明をわかりやすくするために、ラインＯＰ上の輝度分布とラインＯＱ上の輝度分布を１つのグラフに表している。

次に、ステップＳ２７では、輝度分布Ｌｄの左右の裾野の大きさを求める。ここでは、予め、輝度値の閾値Ａと、Ａよりも小さい輝度値の閾値Ｂを準備しておき、先に作成した輝度分布Ｌｄを、探索開始点Ｏから点Ｐに向かって左方向に探索して、図１３に示すように、輝度値が閾値Ａを下回る位置と、輝度値が閾値Ｂを下回る位置との間隔を、左右方向画素数Ｌｗとして算出する。そして、探索開始点Ｏから点Ｑに向かって右方向に探索して、輝度値が閾値Ａを下回る位置と、輝度値が閾値Ｂを下回る位置との間隔を、左右方向画素数Ｒｗとして算出する。

次に、ステップＳ２８において輝度勾配ｇを算出する。具体的には、前記した閾値Ａと閾値Ｂの差分値である輝度差Ｄ_Ｉ（＝Ａ−Ｂ）を用いて、ラインＯＰ上の輝度勾配ｇをＤ_Ｉ／Ｌｗとして算出し、ラインＯＱ上の輝度勾配ｇを−Ｄ_Ｉ／Ｒｗとして算出する。

次に、ステップＳ２９では、領域Ｒ_０の左右の輝度勾配ｇであるＤ_Ｉ／Ｌｗと−Ｄ_Ｉ／Ｒｗに対称性があるか否かが判定される。この対称性は、（式２）によって算出される輝度勾配ｇのギャップＧ_Ｉが、所定の閾値Ｔｈ_Ｇ以下であるか否かを確認することによって行われる。
Ｇ_Ｉ＝（｜Ｌｗ｜−｜Ｒｗ｜）／（｜Ｌｗ｜＋｜Ｒｗ｜） （式２）

複数の領域が左右方向に連接して出現した場合には、先に算出した輝度勾配ｇの大きさが左右で異なるため、（式２）で算出されたギャップＧ_Ｉが閾値Ｔｈ_Ｇよりも大きくなる。そして、その場合には白濁度合の算出は行わずに、ステップＳ３５に移行する。

次に、ステップＳ３０では、レンズ１２の白濁度合Ｕ１が算出される。白濁度合Ｕ１は、（式３）に示すように、先に算出した左右の輝度勾配ｇであるＤ_Ｉ／Ｌｗと−Ｄ_Ｉ／Ｒｗの絶対値の平均値として算出される。
Ｕ１＝｛（Ｌｗ／Ｄ_Ｉ）＋（Ｒｗ／Ｄ_Ｉ）｝／２ （式３）
なお、（式３）において、輝度勾配ｇの逆数を平均化しているが、これは、レンズ１２の白濁度合が高いほど（汚れているほど）、Ｕ１の値が大きくなるようにするためである。

次に、ステップＳ３１では、先に検出した領域Ｒ_０が、その１回前の処理で検出した領域Ｒ_０と同一であるか否か、すなわち、同一の光源による像と考えられるか否かが判定される。

この判定は、過去の処理によって算出された白濁度合Ｕ１の平均値Ａｖｅ（Ｕ１）と、（式３）で算出された最新の白濁度合Ｕ１を比較することによって行われ、過去の白濁度合の平均値Ａｖｅ（Ｕ１）と、最新の白濁度合Ｕ１との差が小さいときに、同一光源によって生じた像による領域であると判定される。

この処理は、前記類似性算出部２２ｃにおいて行われ、具体的には、（式４）を満足するときに、同一の光源による像であると判定される。
Ｔｈ_LOW ＜ Ｕ１／Ａｖｅ（Ｕ１） ＜ Ｔｈ_HIGH （式４）
ここで、Ｔｈ_LOWは、同一光源による像と判定する最低閾値であり、Ｔｈ_HIGHは、同一光源による像と判定する最大閾値である。

ステップＳ３１において、同一光源による像であると判定されると、次に、ステップＳ３２において、同一光源によるとみなせる像が連続して検出されたことを示す通算回数Ｔがインクリメントされて、ステップＳ３４に進む。なお、ステップＳ３２以降の処理は、前記確信度決定部２２ｄにおいて行われ、ステップＳ３２でインクリメントされた通算回数Ｔの値は、随時、確信度決定部２２ｄに記憶される。

一方、ステップＳ３１において、同一光源による像でないと判定されると、次に、ステップＳ３３において、通算回数Ｔがデクリメントされて、ステップＳ３５に進む。なお、ステップＳ３３でデクリメントされた通算回数Ｔの値は、随時、確信度決定部２２ｄに記憶される。

次に、ステップＳ３４では、先にステップＳ３０で算出された白濁度合Ｕ１が確信度決定部２２ｄに記憶される。そして、過去の処理によって算出された白濁度合の平均値Ａｖｅ（Ｕ１）と先に算出された白濁度合Ｕ１に基づいて、白濁度合の平均値Ａｖｅ（Ｕ１）が再計算されて更新される。更新された白濁度合の平均値Ａｖｅ（Ｕ１）の値は、確信度決定部２２ｄに記憶される。

次に、ステップＳ３５では、算出された白濁度合の確信度Ｆが判定されて更新される。確信度Ｆは、前記した通算回数Ｔの値によって表される。そして、Ｔの値が大きいほど、すなわち、連続して検出された、同一光源によると考えられる像の輝度勾配に基づいて算出された白濁度合Ｕ１ほど、確信度Ｆが高いと判定されて、確信度Ｆの値が更新される。

なお、本実施例では、図１４に示すように、確信度Ｆを４つのレベル、すなわち、Ｐｈ０，Ｐｈ１，Ｐｈ２，Ｐｈ３に分けて管理している。このうち、Ｐｈ３が最も確信度が高い状態、すなわち、算出された白濁度合Ｕ１が最も信頼できる状態であることを示す。そして、確信度Ｆのレベルは、Ｔの値に応じて遷移する。

すなわち、図１４において、初期状態では、確信度ＦのレベルはＰｈ０であり、同一光源によるものとみなせる像が連続して検出されたことを示す通算回数Ｔの値が所定値Ｔ１を越えると、確信度ＦのレベルはＰｈ１に移行する。その後、通算回数Ｔの値が所定値Ｔ２を越えると確信度ＦのレベルはＰｈ２に移行し、さらに、通算回数Ｔの値が所定値Ｔ３を越えると確信度ＦのレベルはＰｈ３に移行する。

一方、確信度ＦのレベルがＰｈ３にあったとき、通算回数Ｔの値がデクリメントされて所定値Ｔ４を下回ると確信度ＦのレベルはＰｈ２に移行し、その後、通算回数Ｔの値が所定値Ｔ５を下回ると確信度ＦのレベルはＰｈ１に移行し、さらに、通算回数Ｔの値が所定値Ｔ６を下回ると確信度ＦのレベルはＰｈ０に移行する。

確信度Ｆが別のレベルに遷移した際には、すぐに元のレベルに戻ってしまうハンチングを防止するため、確信度Ｆが高いレベルに遷移したときには通算回数Ｔに所定値Ｔｃ_１を加算し、また、確信度Ｆが低いレベルに遷移したときには通算回数Ｔから所定値Ｔｃ_２を減算するようにしてもよい。そして、確信度Ｆの更新が実行されると、図９の処理を終了してメインルーチン（図７）へ戻る。

（エッジ強度に基づく白濁度合算出処理）
第２白濁度合算出部２４は、撮像部１０が撮像した画像Ｉの中から、エッジ強度の分布に基づいてレンズの白濁度合Ｕ２を算出する。

レンズ１２の表面に白濁が生じると、画像Ｉが不鮮明になる。その不鮮明さの度合は、白濁度合が高くなるにつれて大きくなる。本実施例では、この不鮮明さの度合を、画像Ｉの中のエッジ強度の分布に基づいて算出する。

以下、白濁度合Ｕ２の算出手順について、図１５を用いて説明する。

まず、図１５のステップＳ４０では、前記エッジ強度算出部２４ａにおいて、撮像部１０で撮像された画像Ｉの中に、エッジ検出を行う領域を設定する。エッジ検出を行う領域は、画像Ｉ全体としてもよいし、エッジが出現しやすい位置に限定してもよい。

すなわち、昼間であれば、自車両５の後方の地平線を含む領域を設定して、この領域の内部についてエッジ検出を行い、地平線によって形成されるエッジに基づいてエッジ強度を算出してもよい。夜間であれば、自車両５が走行している車線Ｙ_２に隣接する車線Ｙ_１，Ｙ_３を含む領域を設定して、この領域の内部についてエッジ検出を行い、隣接車線に存在する他車両６のエッジに基づいてエッジ強度を算出してもよい。ここで、昼間と夜間の識別は、前記したように、ゲイン調整部１６において調整されたゲインの値に基づいて行うことができる。

次に、ステップＳ４１では、前記エッジ強度算出部２４ａにおいて、ステップＳ４０で設定した領域の中にエッジ検出オペレータを作用させて、画像Ｉの中の各画素に対してエッジ強度を求める。このとき用いられるエッジ検出フィルタの係数は特に制限されるものではない。

次に、ステップＳ４２では、前記エッジ強度分析部２４ｂにおいて、画像Ｉの画素毎に算出されたエッジ強度の値を平均して平均エッジ強度を算出する。なお、平均エッジ強度は、エッジ検出を行った領域の面積で正規化しておく。こうして算出された平均エッジ強度が小さいほど、画像Ｉの鮮明度が低い、すなわち白濁度合が高いと判断される。また、平均エッジ強度が大きいほど、画像Ｉの鮮明度が高い、すなわち白濁度合が低いと判断される。

なお、平均エッジ強度は、１枚の画像から算出するだけでなく、異なる時間に撮像された複数の画像の平均エッジ強度を平均化することによって算出してもよい。これによって、画像Ｉの中に突発的なノイズの混入があった場合でも、画像Ｉの鮮明度を安定して評価することができる。そして、このとき、所定時間に亘って平均エッジ強度の変化を求めて、平均エッジ強度の変化量が小さいときには、算出された平均エッジ強度、すなわち白濁度合の信頼性が高いものとして、先に説明した確信度Ｆを算出することができる。

そして、ステップＳ４３では、平均エッジ強度に基づいて、白濁度合Ｕ２が算出される。具体的には、例えば、前記正規化された平均エッジ強度の逆数が白濁度合Ｕ２として算出される。

（付着物検出処理）
次に、図７のステップＳ６で行われる付着物検出処理の詳細を、図１６〜図１９を用いて説明する。付着度合算出部２６では、レンズ１２に付着した泥や水滴等の付着物の付着度合が、画像Ｉの中のエッジ強度と、輝度値の分布に基づいて算出される。ここで、付着度合算出部２６で算出される付着物の付着度合をＭとする。

以下、図１６を用いて、付着度合算出部２６で行われる付着物の付着度合Ｍの算出方法について、泥の付着を検出する場合を例にあげて詳細に説明する。

まず、ステップＳ５０では、前記処理領域設定部２６ａにおいて、撮像部１０で撮像された画像Ｉを所定の比率で縮小して縮小画像Ｉ’を得る。このように画像を縮小するのは、画像のサイズを小さくして画像処理を行う際に要するメモリ量を削減し、なおかつ、処理速度を向上させるためである。なお、具体的な縮小率は、使用する計算機環境、および、画像の分解能等を勘案して決定される。そして、縮小画像Ｉ’の中に、付着物検出を行う領域を設定する。

ここで生成する縮小画像Ｉ’は、先述した白濁度合を算出するために生成した縮小画像Ｉ’と同じ符号で記載しているが、それらの縮小率は同じ値にする必要はなく、それぞれの画像に応じた比率で縮小すればよい。

付着物検出を行う領域は、縮小画像Ｉ’の全体を設定してもよいが、本実施例では、使用する画像認識アプリケーションであるＢＳＷシステム９の車両検出領域を包含する領域を処理対象領域とする。処理対象領域をこのように設定することで、画像認識アプリケーションの精度を向上させることができるとともに、付着物検出処理の処理効率も向上する。

さらに、ステップＳ５０では、設定した処理対象領域を、図１７に示すように複数のブロック２０１に分割する。そして、以降の処理はこのブロック単位で行う。本実施例では、各ブロック２０１のサイズは、検出する付着物の大きさ以下に設定している。このようなサイズに設定することで、泥汚れのみを確実かつ効率的に検出することができる。また、このように分割された各ブロック２０１の座標等の情報は、各ブロックに付与されたブロック番号と対応付けられて処理領域設定部２６ａに記憶される。

次に、ステップＳ５１では、前記エッジ検出部２６ｂにおいて、エッジ検出処理と、エッジ検出結果に対するノイズ除去が行われる。エッジ検出処理は、ステップＳ５０で生成した縮小画像Ｉ’に対して行われる。このエッジ検出は、従来公知の手法を用いて行えばよい。そして、エッジ検出の結果得られたエッジ強度に対する閾値処理を行って、必要なエッジ構成点のみを抽出する。すなわち、エッジ強度ρが、所定の範囲内の値を有するエッジ構成点（弱エッジ構成点）のみを有するエッジ画像Ｅ（ｘ,ｙ）を生成する。

図１８（ｂ）に、こうして生成されたエッジ画像Ｅ（ｘ,ｙ）の一例を示す。図１８（ｂ）は、図１８（ａ）に示す縮小画像Ｉ’から得られたエッジ画像Ｅ（ｘ,ｙ）であり、泥汚れ部分が弱いエッジとして検出される。

なお、同じ泥汚れでも、オフロードなどの路面状態の悪い道路を走行している場合の泥汚れと、舗装道路（オンロード）を走行している場合の泥汚れとでは、濃度や色合いなどが異なり、弱いエッジ強度の度合も異なることがある。また、付着物の種類によっても、エッジ強度が異なることもある。そのため、路面状態、その他走行状況、付着物の種類や付着状況等に応じて、エッジ強度ρに対する閾値を複数用意しておき、付着物検出処理を実行するときに、いずれの閾値を用いるか判断してもよい。

ステップＳ５１では、さらに、生成されたエッジ画像Ｅ（ｘ,ｙ）の中に存在するノイズを除去するノイズ除去処理を行う。本実施例では、以下の条件を満たすエッジ構成点をノイズと定義する。
（ａ）前回の処理で検出したエッジ画像Ｅ（ｘ,ｙ）の中のエッジ構成点が、今回のエッジ検出処理で同じ位置に検出されないとき
（ｂ）面積が所定値以下のエッジ構成点

まず、時刻ｔで生成したエッジ画像Ｅ（ｘ,ｙ,ｔ）と、その１回前のエッジ検出処理によって、時刻ｔ-Δｔで生成したエッジ画像Ｅ（ｘ,ｙ,ｔ-Δｔ）との論理積をとって、前記（ａ）の条件を満たすエッジ構成点をノイズとして除去する。これは、付着物検出処理で検出したいエッジ構成点は、レンズ１２に付着している付着物のエッジであり、レンズ１２に付着した付着物は、一定時間同じ場所に存在し続けると考えられるためである。

次に、上記（ｂ）の条件を満たすエッジ構成点をノイズとして除去する。これは、レンズ１２に付着した汚れのエッジは、ある程度塊になるため、独立した小さなエッジは汚れではないと考えられるためである。以上のようなノイズ除去を行うことで、レンズ付着物の検出を高精度に行うことができる。

次に、ステップＳ５２では、前記輝度分布算出部２６ｃにおいて、輝度分布算出処理が行われる。ここでは、まず、ステップＳ５０で設定したブロック２０１毎に、各ブロック２０１内の画素の平均輝度値Ｉ_ave（ｕ，ｖ）を算出する。ここで、ｕ，ｖは、それぞれ、各ブロックの横方向位置、縦方向位置を表す。なお、平均輝度値Ｉ_ave（ｕ，ｖ）は、ブロック２０１毎に、ブロック２０１内部の画素の輝度値の総和を求めて、求められた輝度値の総和をブロック２０１の面積（画素数）で除算することによって算出される。

次に、ステップＳ５３では、各ブロックの平均輝度値Ｉ_ave（ｕ，ｖ）に基づいて、注目ブロックと、その注目ブロックの周囲のブロック（以下、周囲ブロックと呼ぶ）とを設定する。図１９に太線で示したブロックが注目ブロック２０１ａである。この注目ブロック２０１ａは、平均輝度値が低いブロックの中から選択される。すなわち、泥汚れが付着している領域の輝度値は、付着していない領域の平均輝度値より低くなる傾向があるためである。

また、周囲ブロック２０１ｂは、注目ブロック２０１ａの外周の当該注目ブロック２０１ａと隣接するブロック２０１の外周に位置するブロックが選択される。すなわち、泥汚れは一つのブロックだけでなく、その隣接するブロックにも付着している場合が多いので、注目ブロック２０１ａと、それと隣接するブロックとでは、平均輝度値Ｉ_ave（ｕ，ｖ）の差が小さいと考えられるためである。したがって、注目ブロック２０１ａに隣接するブロックよりも外側のブロックを周囲ブロック２０１ｂとして選択している。

なお、周囲ブロック２０１ｂの設定方法は、これに限定されることはなく、付着物の付着面積が小さい場合等は、注目ブロック２０１ａに隣接するブロック２０１を周囲ブロック２０１ｂとして設定してもよい。また、付着物の付着面積が大きい場合は、注目ブロック２０１ａから数ブロック離れたブロックを周囲ブロック２０１ｂとして設定してもよい。

次に、ステップＳ５４において、注目ブロック２０１ａの平均輝度値Ｉ_ave（ｕ，ｖ）よりも高い平均輝度値Ｉ_ave（ｕ，ｖ）をもつ周囲ブロック２０１ｂ（明るい周囲ブロック）の数をカウントする。この場合も、２値化前の輝度値を使用してカウントする。次に、明るい周囲ブロック２０１ｂの割合（明るい周囲ブロック数／周囲ブロックの総数）を計算する。このとき、泥汚れが存在するブロック（注目ブロック２０１ａ）については、明るい周囲ブロック数の割合が高くなる。

次に、ステップＳ５５において、エッジ検出処理で検出されたエッジ画像Ｅ（ｘ,ｙ）の中から弱いエッジを構成する画素数をカウントする。この弱いエッジのカウントは、２値化後の画像を用いて行う。レンズ１２に付着した泥汚れは、焦点が合わず輪郭がぼやけており、弱いエッジが塊となって存在する傾向にある。そのため、本実施例の付着物検出処理では、ブロック毎に弱いエッジ構成点の数をカウントし、カウント数を記憶する。

一枚の縮小画像Ｉ’に対して上記処理が終了した後、ステップＳ５６では、処理時間判定処理が行われる。ステップＳ５６では、一定時間を経過したか否かが判定されて、一定時間経過したときはステップＳ５７に進み、一定時間を経過していない場合は、ステップＳ５０に戻る。

このようにして、ステップＳ５０からステップＳ５５を、所定の時間内で複数回繰り返すことによって、平均輝度値、明るい周囲ブロックの割合、弱いエッジのカウント数などの情報が時系列で記憶される。なお、この所定の時間は、付着物の種類や、車速等の車両情報等に応じて任意に設定することができる。例えば、雨天時やオフロード走行中では、泥汚れが頻繁に付着するため、短時間で泥汚れの検出を行う必要があるとともに、迅速な警告が必要となる。そのため、所定の時間を短く設定するのが好ましい。

これに対して、晴天時やオンロード走行中では、泥汚れが付着しにくいため、高精度な検出を可能とするためには、長時間、情報を蓄積するのが好ましく、そのため、所定の時間を長く設定するのが好ましい。

次に、ステップＳ５７では、前記輝度変化算出部２６ｄにおいて、輝度変化抽出処理を行う。レンズ１２に付着した泥汚れは、時間が経過しても動きづらく、透過性が低いため、その領域内の時間方向における輝度値は変動が小さくなる。このような時間方向における輝度値の変化を調べるために、同じブロックの平均輝度値Ｉ_ave（ｕ，ｖ）の時間方向の平均値と分散を算出する。

ステップＳ５７では、まず、同じブロックの平均輝度値Ｉ_ave（ｕ，ｖ）を時間方向について平均化することにより、ブロック毎の時間平均輝度値Ｅ_０を算出する。

次に、算出されたブロック毎の時間平均輝度値Ｅ_０に基づいて、ブロック毎に時間方向の平均輝度値Ｉ_ave（ｕ，ｖ）の分散Ｖを算出する。

続いて、ステップＳ５８では、前記付着物判定部２６ｅにおいて、泥汚れ判定を行う。

泥汚れ判定は、以下に説明する情報に基づいて、ブロック２０１毎に、泥らしさを表すスコアを算出することによって行われる。

すなわち、弱いエッジのカウント数が閾値より少ないブロック２０１では、泥の付着率は低く、泥らしさを表すスコアは低いと考えられる。また、周囲ブロック２０１ｂにおける明るいブロック数の割合が閾値よりも高い場合は、ブロック２０１の泥らしさを表すスコアは高いと考えられる。そして、さらに、泥らしさを表すスコアが高いブロック２０１の平均輝度値の分散が所定の閾値以下であれば、ブロック２０１に泥が付着している可能性が高いと考えられる。

こうして算出された泥らしさを表すスコアに基づいて、ブロック２０１の泥らしさスコアが閾値以上であり、なおかつ、ブロック２０１の時間平均輝度値Ｅ_０の分散Ｖが所定の閾値以下であるときは、ブロック２０１に泥汚れがあると判断する。そして、泥らしさを表すスコアに応じた付着度合Ｍが算出される。

なお、上記例では泥汚れの判定を行う場合について説明したが、付着物が泥に限定されることはなく、水滴が付着した場合であっても、同様にしてその付着度合Ｍを算出することができる。そして、ステップＳ５８を終了すると、メインルーチン（図７）へ戻る。

（レンズ汚れ度合算出処理）
次に、図７のステップＳ７で行われるレンズ汚れ度合算出処理の詳細について説明する。

ここでは、先に算出した第１白濁度合Ｕ１，第２白濁度合Ｕ２，付着度合Ｍに基づいて、レンズ１２の汚れ度合が定量化される。

具体的には、まず、第１白濁度合Ｕ１、もしくは、第２白濁度合Ｕ２の値に基づいて、レンズ１２の白濁度合Ｕを算出する。このとき、第１白濁度合Ｕ１のみに基づいて白濁度合Ｕを算出してもよいし、第２白濁度合Ｕ２のみに基づいて白濁度合Ｕを算出してもよい、また、第１白濁度合Ｕ１と第２白濁度合Ｕ２を両方用いて白濁度合Ｕを算出してもよい。

そして、第１白濁度合Ｕ１，第２白濁度合Ｕ２のいずれを用いるかは、それらの値を算出した環境や、第１白濁度合Ｕ１，第２白濁度合Ｕ２の確信度に基づいて決定すればよい。

すなわち、例えば、ゲイン調整部１６で調整されたゲインの値をモニタして、ゲインの大きさが所定値以上であるとき、すなわち夜間であるときは、自車両５の後続車両の前照灯が鮮明に画像化されるため、そこから算出した第１白濁度合Ｕ１の値を用いて白濁度合Ｕの値を算出すればよい。

しかし、夜間であっても、後続車両が存在しないときには、前照灯の像に基づいて第１白濁度合Ｕ１を算出することができないため、前照灯の像が検出されないときには、第２白濁度合Ｕ２の値を用いて白濁度合Ｕの値を算出すればよい。

一方、ゲインの大きさが所定値に満たないとき、すなわち昼間であるときには、太陽光の反射像が鮮明に画像化されるため、そこから算出した第１白濁度合Ｕ１の値を用いて白濁度合Ｕの値を算出すればよい。

しかし、昼間であっても、太陽光の反射像が存在しないときには、太陽光の反射像に基づいて第１白濁度合Ｕ１を算出することができないため、太陽光の反射像が検出されないときには、第２白濁度合Ｕ２の値を用いて白濁度合Ｕの値を算出すればよい。

そして、こうして算出された白濁度合Ｕの値と、先に算出した付着度合Ｍの値が、検出感度調整部５０に通知される。

（車両検出閾値の補正処理）
次に、図７のステップＳ８において、車両検出部７０で他車両６の検出を行う際の車両検出感度の補正が行われる。この処理は、前記検出感度調整部５０で行われる。

検出感度調整部５０では、白濁度合Ｕの値と付着度合Ｍの値に応じて、車両検出部７０で行う車両検出の際に使用する各種閾値の値を補正する。具体的な閾値の内容については、後述する。

このように閾値の値を補正するのは、白濁度合Ｕの値が大きいとき、すなわち、レンズ１２の表面が白濁しているときは、撮像部１０で撮像される画像Ｉの鮮明度が低下するため、例えばエッジ検出を行う際に、エッジ検出の閾値を、白濁していないときに比べて小さい値に補正しないと、車両を検出することができないためである。

しかし、実際は、白濁度合Ｕの値のみに基づいて各種閾値を補正したのでは不十分である。すなわち、レンズ１２の表面が白濁した上で、さらに泥や水滴が付着しているときには、白濁度合自体は同じであっても、前記第１白濁度合算出部２２において、より一層白濁が進んでいるものと判断されて、実際よりも高い白濁度合Ｕが算出される。

そして、こうして算出された、より高い白濁度合Ｕに基づいて各種閾値を補正してしまうと、車両の検出感度が高くなりすぎてしまい、不要なノイズを検出しやすくなってしまうことによって、逆に車両の検出が困難になってしまうためである。

そのため、検出感度調整部５０は、白濁度合Ｕの値のみならず、付着度合Ｍの値も加味して、白濁度合Ｕの値が大きい（白濁度合が高い）ときであっても、付着度合Ｍの値が大きいときには、各種閾値の補正量を抑制する。なお、閾値の具体的な補正方法については後述する。

（車両検出処理）
次に、図７のステップＳ９で行われる車両検出処理の詳細を、図２５を用いて説明する。

《差分波形情報による立体物の検出》
まず、ステップＳ６０では、前記検出感度調整部５０において、レンズ１２の汚れ度合（白濁度合Ｕと付着度合Ｍ）に基づいて補正された各種閾値の値が、接近車両検出部７２に設定される。この処理の詳細については後述する。

次に、ステップＳ６１では、前記視点変換部７２ａにおいて、撮像部１０によって撮像された画像Ｉを、上空から鉛直下向きに見下ろした仮想画像に変換する。以後、この変換を視点変換と呼び、視点変換によって生成された仮想画像を視点変換画像と呼ぶ。

この視点変換は、路面との相対関係が既知の位置に設置されたカメラで撮像した、路面を含む画像Ｉに対して、画像Ｉの全体に路面が映っていると仮定して、その路面を真上から見下ろすように座標変換することによって行われる。撮像された画像Ｉを視点変換画像に変換するのは、立体物に特有の鉛直エッジは、視点変換によって特定の定点を通る直線群に変換されるという原理を利用して、平面物と立体物とを識別するためである。なお、視点変換によって変換された視点変換画像は、後述するエッジ情報による立体物の検出においても利用される。

次に、ステップＳ６２では、視点変換部７２ａにおいて得られた視点変換画像を、順次、前記位置合わせ部７２ｂに入力して、入力された異なる時刻の視点変換画像同士の位置合わせを行う。

図２０は、位置合わせ部７２ｂで行われる処理の概要を説明する図であり、図２０（ａ）は自車両５の移動状態を示す平面図、図２０（ｂ）は位置合わせの概要を示している。

図２０（ａ）に示すように、現時刻において自車両５が位置Ｖ１にあり、一時刻前に、自車両５が位置Ｖ２にあったとする。また、自車両５が走行している車線に隣接する車線の後方に、他車両６が位置して、現時刻において他車両６が位置Ｖ３にあり、一時刻前に、他車両６が位置Ｖ４にあったとする。さらに、自車両５は、一時刻で移動距離ｄだけ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。

このような状態において、現時刻の視点変換画像ＰＢ_ｔは図２０（ｂ）に示すようになる。この視点変換画像ＰＢ_ｔでは、路面上に描かれる白線は矩形状となるが、位置Ｖ３にある他車両６の領域では倒れ込みが発生する。また、一時刻前の視点変換画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線は矩形状となるが、位置Ｖ４にある他車両６の領域では倒れ込みが発生する。

これは、立体物の鉛直エッジは、視点変換によって倒れ込み方向に沿った直線群に変換されるのに対し、白線のような路面上に描かれた模様は、鉛直エッジを含まないため、視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部７２ｂは、上記のようにして生成された視点変換画像ＰＢ_ｔと視点変換画像ＰＢ_ｔ−１の位置合わせを行う。この際、位置合わせ部７２ｂは、一時刻前の視点変換画像ＰＢ_ｔ−１を、一時刻の間に自車両５が移動した距離に対応する量だけオフセットさせて、現時刻の視点変換画像ＰＢ_ｔと位置を一致させる。

図２０（ｂ）の左側の視点変換画像ＰＢ_ｔと中央の視点変換画像ＰＢ_ｔ−１は、オフセット量ｄ’だけずらした状態を示す。このオフセット量ｄ’は、図２０（ａ）に示した自車両５の実際の移動距離ｄに対応する視点変換画像上の移動量であり、車両情報取得部６０から得られる自車両５の車速と、一時刻前から現時刻までの時間に基づいて決定される。

次に、ステップＳ６３では、視点変換画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせを行った後で差分をとり、差分画像ＰＤ_ｔを生成する。ここで、差分画像ＰＤ_ｔに格納される輝度値は、視点変換画像ＰＢ_ｔ，ＰＢ_ｔ−１の対応する画素の輝度値の差の絶対値でもよいし、照度環境の変化に対応するために当該絶対値が第１閾値ｐを超えたときに「１」とし、超えないときに「０」としてもよい。

図２０（ｂ）の右側の画像が、差分画像ＰＤ_ｔである。なお、前記第１閾値ｐは、予め、検出感度調整部５０において補正された後、ステップＳ６０において接近車両検出部７２に設定された値である。その補正方法は後述する。

次に、ステップＳ６４以降では、前記立体物検出部７２ｃにおいて、図２０（ｂ）に示す差分画像ＰＤ_ｔに基づいて立体物を検出する。このとき、立体物検出部７２ｃは、立体物の移動距離も合わせて算出する。

立体物の検出、および移動距離の算出にあたり、まず、ステップＳ６４において、前記立体物検出部７２ｃは、差分画像ＰＤ_ｔに基づいて算出される差分波形ＤＷ_ｔを生成する。

差分波形ＤＷ_ｔの生成にあたって、立体物検出部７２ｃは、まず、差分画像ＰＤ_ｔの内部に、立体物の検出領域を設定する。

前記接近車両検出部７２は、自車両５が車線変更する際に接触の可能性がある、自車両５が走行する車線に隣接する車線を走行する他車両６を検出する。

このため、撮像部１０により得られた画像Ｉの中に、自車両５の右側、および左側に二つの検出領域を設定する。本実施例では、図１に示すように自車両５の後方の右側、および左側に、それぞれ矩形状の検出領域Ｘ１，Ｘ２を設定する。そして、この検出領域Ｘ１，Ｘ２の内部で検出された他車両６が、接近車両として検出される。なお、このような検出領域Ｘ１，Ｘ２は、自車両５に対する相対位置から設定してもよいし、道路上の白線の位置を基準に設定してもよい。道路上の白線の位置を基準に設定する場合には、例えば既存の白線認識技術等を利用して検出された白線の位置が基準にされる。

また、立体物検出部７２ｃは、検出領域Ｘ１，Ｘ２の自車両５側における辺（自車両５の走行方向に沿う辺）を、図１に示す接地線Ｌ１，Ｌ２として認識する。

図２１は、前記立体物検出部７２ｃによる差分波形の生成の様子を示す概略図である。図２１に示すように、立体物検出部７２ｃは、位置合わせ部７２ｂで算出した差分画像ＰＤ_ｔ（図２０（ｂ）の右図）のうち検出領域Ｘ１，Ｘ２の内部に相当する部分から、差分波形ＤＷ_ｔを生成する。このとき、視点変換によって立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図２１に示す例では、便宜上、検出領域Ｘ１のみを用いて説明するが、検出領域Ｘ２についても同様の手順で差分波形ＤＷ_ｔを生成する。

以下、差分波形ＤＷ_ｔの生成方法を具体的に説明する。立体物検出部７２ｃは、まず、差分画像ＰＤ_ｔにおいて、図２１（ａ）に示す、立体物が倒れ込む方向に沿う線Ｌａを設定する。そして、設定した線Ｌａ上において所定値以上の差分値を有する画素ＤＰの数をカウントする。ここで、所定値以上の差分値を有する画素ＤＰ（以下、単に画素ＤＰと呼ぶ）とは、差分画像ＰＤ_ｔの輝度値（画素値）が視点変換画像ＰＢ_ｔ，ＰＢ_ｔ−１の輝度値の差を絶対値化したものであるときは、第１閾値ｐを超える画素であり、差分画像ＰＤ_ｔの輝度値が「０」,「１」で表現されている場合は、「１」を示す画素である。

立体物検出部７２ｃは、第１閾値ｐ以上の差分値を有する画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、交点ＣＰと画素ＤＰのカウント数とを対応付け、交点ＣＰの位置に基づいて、横軸位置、すなわち図２１（ｂ）の上下方向軸上の位置を決定するとともに、画素ＤＰのカウント数から縦軸位置、すなわち図２１（ｂ）の左右方向軸上の位置を決定し、こうして決定した横軸位置、縦軸位置の交点にプロットを行う。

以下同様に、立体物検出部７２ｃは、立体物が倒れ込む方向に沿う線Ｌｂ，Ｌｃ…を設定して、画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて、図２１（ｂ）の対応する横軸位置を決定し、画素ＤＰのカウント数から縦軸位置を決定して、その位置にプロットを行う。こうして、図２１（ｂ）に示す差分波形ＤＷ_ｔを生成する。

なお、図２１（ａ）に示すように、立体物が倒れ込む方向に沿う線Ｌａと線Ｌｂとは検出領域Ｘ１を横切る距離が異なっている。このため、検出領域Ｘ１が画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が画素ＤＰのカウント数が多くなる。このため、立体物検出部７２ｃは、画素ＤＰのカウント数から縦軸位置を決定するときに、画素ＤＰのカウント数を、立体物が倒れ込む方向に沿う線Ｌａ，Ｌｂが検出領域Ｘ１を横切る距離に基づいて正規化する。

例えば、図２１（ａ）において線Ｌａ上の画素ＤＰのカウント数は６であり、線Ｌｂ上の画素ＤＰのカウント数は５である。このため、図２１（ａ）においてカウント数から縦軸位置を決定するにあたり、立体物検出部７２ｃは、カウント数を前記横切る距離で除算して正規化を行う。

その後、ステップＳ６５では、立体物検出部７２ｃにおいて、ステップＳ６４で生成された差分波形ＤＷ_ｔのピークが第２閾値α以上であるか否かを判断する。この第２閾値αは、予め、検出感度調整部５０において補正された後、ステップＳ６０において接近車両検出部７２に設定された値である。その補正方法は後述する。

ここで、差分波形ＤＷ_ｔのピークが第２閾値α以上でない場合、すなわち差分値が殆どない場合には、撮像された画像Ｉの中には立体物が存在しないと判断される。このため、差分波形ＤＷ_ｔのピークが第２閾値α以上でないと判断されたとき（ステップＳ６５がＮＯのとき）にはステップＳ７４に進み、ステップＳ７４では、立体物、すなわち他車両６が存在しないと判断して、図２５の車両検出処理を終了し、その後、メインルーチン（図７）へ戻る。

一方、差分波形ＤＷ_ｔのピークが第２閾値α以上であると判断されたとき（ステップＳ６５がＹＥＳのとき）には、立体物検出部７２ｃは、立体物が存在すると判断し、現時刻の差分波形ＤＷ_ｔと一時刻前の差分波形ＤＷ_ｔ−１との対比を行って、立体物の移動距離を算出する。

そのために、まずステップＳ６６では、立体物検出部７２ｃにおいて、図２２に示すように、差分波形ＤＷ_ｔが複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割される。このとき、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、図２２に示すように、互いに重複するようにして分割される。すなわち、図２２において、小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。

次に、ステップＳ６８では、立体物検出部７２ｃは、分割された小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向（図２１（ｂ）の上下方向）の移動量）を求める。このオフセット量は、一時刻前の差分波形ＤＷ_ｔ−１と現時刻の差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。

具体的には、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前の差分波形ＤＷ_ｔ−１を横軸方向（図２１（ｂ）の上下方向）に移動させたときに、現時刻の差分波形ＤＷ_ｔとの誤差が最小となる位置を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。

そして、ステップＳ６９では、立体物検出部７２ｃは、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラムを生成する。なお、このとき、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に予め重み付けをしておき、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を、重みに応じてカウントしてヒストグラム化してもよい。

例えば、小領域ＤＷ_ｔｉが平坦となっているとき、すなわち、画素ＤＰのカウント数の最大値と最小値との差が小さくなっているときは、重み付けを小さくする。これは、平坦な小領域ＤＷ_ｔｉでは、特徴がないため、オフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
一方、小領域ＤＷ_ｔｉが起伏に富んでいるとき、すなわち、画素ＤＰのカウント数の最大値と最小値との差が大きくなっているときは、重み付けを大きくする。これは、起伏に富む小領域ＤＷ_ｔｉでは、特徴があるため、オフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

図２３は、ステップＳ６９において生成されたヒストグラムの一例を示す図である。図２３に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前の差分波形ＤＷ_ｔ−１との誤差が最小となるオフセット量には、多少のばらつきが生じる。

次に、ステップＳ７０では、立体物検出部７２ｃにおいて、ヒストグラムの極大値を与える位置に基づいて、立体物の移動距離である相対移動距離τ^＊を算出する。

すなわち、図２３に示すヒストグラムの例では、ヒストグラムの極大値を示すオフセット量を相対移動距離τ^＊として算出する。この相対移動距離τ^＊は、自車両５に対する他車両６の相対移動距離である。

次に、ステップＳ７１では、立体物検出部７２ｃにおいて、相対移動距離から立体物の絶対移動速度が算出される。ここでは、相対移動距離を時間微分して相対移動速度を算出すると共に、車両情報取得部６０で取得された自車速を加算して、絶対移動速度を算出する。

なお、移動距離の算出精度を向上するために、上記したように差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しなくてもよい。この場合に、立体物検出部７２ｃは、差分波形ＤＷ_ｔと差分波形ＤＷ_ｔ−１との誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前の差分波形ＤＷ_ｔ−１と現時刻の差分波形ＤＷ_ｔとのオフセット量を求める方法は上記内容に限定されるものではない。

次に、ステップＳ７２では、立体物検出部７２ｃにおいて、立体物の絶対移動速度が所定の速度範囲内に入っているか否かが判定される。所定の速度範囲は予め設定された値が用いられる。そして、立体物の絶対移動速度が所定の速度範囲内にあるとき（ステップＳ７２がＹＥＳのとき）は、ステップＳ７３に進んで、ステップＳ７３において、立体物が他車両６であると判断し、その後、メインルーチン（図７）へ戻る。

一方、立体物の絶対移動速度が所定の速度範囲内にないとき（ステップＳ７２がＮＯのとき）は、ステップＳ７４に進んで、ステップＳ７４において、立体物、すなわち他車両６が存在しないと判断されて、図２５の車両検出処理を終了し、その後、メインルーチン（図７）へ戻る。

ここで、第１閾値ｐと第２閾値αの補正方法について、図２４を用いて説明する。図２４（ａ）は、レンズ１２の汚れ度合に応じた第１閾値ｐの補正方法について説明する図であり、図２４（ｂ）は、レンズ１２の汚れ度合に応じた第２閾値αの補正方法について説明する図である。

まず、図２４（ａ）を用いて、第１閾値ｐの補正方法について説明する。レンズ１２の汚れがないとき、第１閾値ｐは、検出感度調整部５０において所定値ｐ_０に設定される。図２４（ａ）の横軸は、白濁度合算出部２５で算出されたレンズ１２の白濁度合Ｕを示しており、右に行くほど白濁度合Ｕが高いことを表している。

そして、第１閾値ｐは、白濁度合Ｕが高くなるほど小さくなるように補正される。第１閾値ｐを小さく補正することによって、車両の検出感度が向上する。そして、このとき、第１閾値ｐは、さらに、付着度合算出部２６で算出されたレンズ１２への泥や水滴等の付着物の付着度合Ｍに応じて、小さくなる度合が抑制されるように補正される。

すなわち、図２４（ａ）に示すように、付着物があるとき（点線）は、付着物がないとき（実線）に比べて、レンズ１２の白濁度合が高くなっても、第１閾値ｐの値の低減量を小さくしている。

こうして補正された第１閾値ｐの値が接近車両検出部７２に設定されて、車両検出処理に用いられる。そして、車両検出処理において、レンズ１２の白濁度合Ｕが高いときには、検出感度を上げて、差分画像ＰＤ_ｔに小さな差分値が検出されると、その点を立体物（他車両）の候補として検出するが、レンズ１２に付着物があるときには、検出感度の向上を抑制して、差分画像ＰＤ_ｔの中に、先ほどよりも大きな差分値が検出されないと、立体物の候補として検出されないようにする。

そして、第２閾値αも、第１閾値ｐと同じ考え方によって補正される。すなわち、レンズ１２の汚れがないとき所定値α_０に設定された第２閾値αが、図２４（ｂ）に示すように、付着度合算出部２６で算出されたレンズ１２への泥や水滴等の付着物の付着度合Ｍに応じて補正されて、レンズ１２の白濁度合Ｕが高いときには、検出感度を上げて、差分波形ＤＷ_ｔの中に小さなピークが検出されると、その点を立体物（他車両）の候補として検出するが、レンズ１２に付着物があるときには、検出感度の向上を抑制して、差分波形ＤＷ_ｔの中に、先ほどよりも大きなピークが検出されないと、立体物の候補として検出されないようにする。

なお、図２４（ａ）,（ｂ）では、白濁度合Ｕの高さに応じて、第１閾値ｐ，第２閾値αをそれぞれリニアに補正する例を示したが、第１閾値ｐ，第２閾値αの補正方法は、これに限定されるものではない。すなわち、例えば、白濁度合Ｕの高さに応じて、第１閾値ｐ，第２閾値αを階段状（ステップ状）に補正してもよい。

また、夜間と昼間で、車両検出感度（第１閾値ｐと第２閾値α）の補正方法を設定するようにしてもよい。すなわち、夜間は昼間に対して、レンズ１２の白濁度合Ｕに応じた車両検出感度（第１閾値ｐと第２閾値α）の抑制量を低減して、接近車両をより一層確実に検出することもできる。なお、夜間と昼間の判定は、前記したように、ゲイン調整部１６において調整されたゲインの値に基づいて、ゲインの値が所定値以上のときは夜間と判定し、それ以外のときは昼間と判定することができる。

さらに、検出した立体物（接近車両）の絶対移動速度と自車両５の車速に基づいて接近車両の相対速度を算出し、こうして算出した相対速度の大きさに応じて、車両検出感度（第１閾値ｐと第２閾値α）の補正方法を設定するようにしてもよい。すなわち、算出された相対速度が所定値以上の正の値を有しているとき、すなわち、自車両５が接近車両に後方から追い抜かれるときには、レンズ１２の白濁度合Ｕに応じた車両検出感度（第１閾値ｐと第２閾値α）の抑制量を低減して、接近車両をより一層確実に検出することもできる。

《エッジ情報による立体物の検出》
次に、図６に示す検出ブロックＡ１に代えて動作させることが可能である、輝度差算出部７２ｇ、エッジ線検出部７２ｈ、および立体物検出部７２ｉで構成されるエッジ情報を利用した立体物の検出ブロックＡ２について説明する。

図２６は、前記撮像部１０の撮像範囲等を示す図であり、図２６（ａ）は平面図、図２６（ｂ）は、自車両５の後側方における実空間上の斜視図を示す。図２６（ａ）に示すように、撮像部１０は自車両５の後側方の所定の範囲ωを撮像する。

本実施例の検出領域Ｘ１，Ｘ２は、視点変換画像の中において台形状とされ、これらの検出領域Ｘ１，Ｘ２の位置、大きさ、および形状は、距離ｄ１〜ｄ４に基づいて決定される。なお、検出領域Ｘ１，Ｘ２は台形状に限らず、視点変換画像の中で矩形など他の形状であってもよい。

ここで、距離ｄ１は、自車両５から接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両５が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施例においては、自車両５の後側方において自車両５の車線に隣接する車線を走行する他車両６を検出することが目的である。このため、自車両５から白線Ｗまでの距離ｄ１１、および白線Ｗから他車両６が走行すると予測される位置までの距離ｄ１２から、他車両６の接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。

距離ｄ２は、自車両５の後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ｘ１，Ｘ２が少なくとも撮像部１０の撮影範囲に収まるように決定されている。距離ｄ３は、検出領域Ｘ１，Ｘ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施例においては、検出対象が他車両６であるため、距離ｄ３は、他車両６を含む長さに設定される。

距離ｄ４は、図２６（ｂ）に示すように、実空間において他車両６等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、視点変換画像においては図２６（ａ）に示す部位の長さとされる。なお、距離ｄ４は、視点変換画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの車線）を含まない長さとすることもできる。

以上のように、距離ｄ１〜距離ｄ４が決定され、これにより検出領域Ｘ１，Ｘ２の位置、大きさ、および形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ｘ１，Ｘ２の上方の辺ｂ１の位置が決定される。距離ｄ２により、上方の辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上方の辺ｂ１の終点位置Ｃ２が決定される。撮像部１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ｘ１，Ｘ２の側方の辺ｂ２が決定される。同様に、撮像部１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ｘ１，Ｘ２の側方の辺ｂ３が決定される。また、距離ｄ４により、台形をなす検出領域Ｘ１，Ｘ２の下方の辺ｂ４の位置が決定される。

このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ｘ１とされる。この検出領域Ｘ１は、図２６（ｂ）に示すように、自車両５から後側方における実空間上では真四角（長方形）となる。なお、図２６（ｂ）には記載しないが、検出領域Ｘ２についても同様である。

図６に示す輝度差算出部７２ｇは、視点変換画像に含まれる立体物のエッジを検出するために、視点変換部７２ａにより視点変換された視点変換画像に対して、輝度差の算出を行う。輝度差算出部７２ｇは、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置毎に、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部７２ｇは、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部７２ｇは、視点変換画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部７２ｇは、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線、および第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部７２ｇの動作について詳細に説明する。

輝度差算出部７２ｇは、図２７（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ｘ１を通過する第１鉛直仮想線Ｌｅ（以下、注目線Ｌｅという）を設定する。また輝度差算出部７２ｇは、注目線Ｌｅと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ｘ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌｅから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、視点変換画像においては撮像部１０の位置Ｐｓから放射状に広がる線となる。

輝度差算出部７２ｇは、注目線Ｌｅ上に注目点Ｐｅ（第１鉛直仮想線上の点）を設定する。また輝度差算出部７２ｇは、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌｅ、注目点Ｐｅ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図２７（ｂ）に示す関係となる。すなわち、注目線Ｌｅ、および参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐｅと参照点Ｐｒとは、実空間上において略同じ高さにある点である。

輝度差算出部７２ｇは、注目点Ｐｅと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐｅと参照点Ｐｒとの輝度差が大きいと、注目点Ｐｅと参照点Ｐｒとの間にエッジが存在すると考えられる。このため、図６のエッジ線検出部７２ｈは、注目点Ｐｅと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図２８は、輝度差算出部７２ｇの詳細動作を示す図であり、図２８（ａ）は視点変換画像を示し、図２８（ｂ）は、図２８（ａ）の視点変換画像の一部分Ｂ１を拡大した図である。なお、図２８では、検出領域Ｘ１のみを図示して説明するが、検出領域Ｘ２についても同様の手順で輝度差を算出する。

撮像部１０が撮像した画像Ｉ内に他車両６が映っていた場合には、図２８（ａ）に示すように、視点変換画像の検出領域Ｘ１に他車両６が現れる。そして、図２８（ｂ）に示すように、視点変換画像上において、他車両６のタイヤのゴム部分上に注目線Ｌｅが設定されていたとする。この状態において、輝度差算出部７２ｇは、まず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌｅから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。

具体的には、接近車両検出部７２において、参照線Ｌｒは、注目線Ｌｅから実空間上において、例えば１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、視点変換画像上において、例えば、他車両６のタイヤのゴムから１０ｃｍ相当だけ離れた他車両６のタイヤのホイール上に設定される。

次に、輝度差算出部７２ｇは、注目線Ｌｅ上に複数の注目点Ｐｅ１〜ＰｅＮを設定する。図２８（ｂ）においては、説明の便宜上、６つの注目点Ｐｅ１〜Ｐｅ６（以下、任意の点を示す場合には単に注目点Ｐｅｉという）を設定している。なお、注目線Ｌｅ上に設定する注目点Ｐｅの数は任意でよい。以下の説明では、総数Ｎ個の注目点Ｐｅが注目線Ｌｅ上に設定されたものとして説明する。

次に、輝度差算出部７２ｇは、実空間上において各注目点Ｐｅ１〜ＰｅＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部７２ｇは、同じ高さ同士の注目点Ｐｅと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部７２ｇは、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置毎に、２つの画素の輝度差を算出する。

すなわち、輝度差算出部７２ｇは、例えば第１注目点Ｐｅ１と第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐｅ２と第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部７２ｇは、注目線Ｌｅ、および参照線Ｌｒに沿って、連続的に輝度差を求める。

輝度差算出部７２ｇは、検出領域Ｘ１内において注目線Ｌｅをずらしながら、参照線Ｌｒの設定、注目点Ｐｅ、および参照点Ｐｒの設定、輝度差の算出をそれぞれ繰り返し実行する。すなわち、輝度差算出部７２ｇは、注目線Ｌｅ、および参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。そして、輝度差算出部７２ｇは、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌｅに設定し、この注目線Ｌｅに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

図６に戻り、エッジ線検出部７２ｈは、輝度差算出部７２ｇにより算出された連続的な輝度差から、エッジ線を検出する。例えば、図２８（ｂ）の場合、第１注目点Ｐｅ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は小さい。一方、第２〜第６注目点Ｐｅ２〜Ｐｅ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐｅ２〜Ｐｅ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部７２ｈは、輝度差が大きい第２〜第６注目点Ｐｅ２〜Ｐｅ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には、エッジ線検出部７２ｈは、エッジ線を検出するにあたり、まず（式５）に示す３つの規則に従って、ｉ番目の注目点Ｐｅｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐｅｉに属性ｓを付与する。すなわち、
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｗ のとき ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｗ のとき ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき ｓ（ｘｉ，ｙｉ）＝０ （式５）

（式５）において、ｗは第３閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐｅｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。前記（式５）によれば、注目点Ｐｅｉの輝度値が、参照点Ｐｒｉに第３閾値ｗを加えた輝度値よりも高い場合には、当該注目点Ｐｅｉの属性ｓ（ｘｉ，ｙｉ）は「１」となる。一方、注目点Ｐｅｉの輝度値が、参照点Ｐｒｉから第３閾値ｗを減じた輝度値よりも低い場合には、当該注目点Ｐｅｉの属性ｓ（ｘｉ，ｙｉ）は「−１」となる。注目点Ｐｅｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐｅｉの属性ｓ（ｘｉ，ｙｉ）は「０」となる。この第３閾値ｗは、予め、検出感度調整部５０において補正された後、接近車両検出部７２に設定された値である。その補正方法は後述する。

次にエッジ線検出部７２ｈは、（式６）に示す２つの規則に基づいて、注目線Ｌｅに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）を算出する。
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１） のとき ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき ｃ（ｘｉ，ｙｉ）＝０ （式６）

注目点Ｐｅｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐｅｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は「１」となる。注目点Ｐｅｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐｅｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は「０」となる。

次にエッジ線検出部７２ｈは、注目線Ｌｅ上の全ての注目点Ｐｅの連続性ｃの総和を求める。エッジ線検出部７２ｈは、求めた連続性ｃの総和を注目点Ｐｅの総数Ｎで割ることにより、連続性ｃを正規化する。エッジ線検出部７２ｈは、正規化した連続性ｃが第４閾値θを超えた場合に、注目線Ｌｅをエッジ線と判断する。なお、第４閾値θは、予め、検出感度調整部５０において補正された後、接近車両検出部７２に設定された値である。その補正方法は後述する。

すなわち、エッジ線検出部７２ｈは、（式７）に基づいて注目線Ｌｅがエッジ線であるか否かを判断する。そして、エッジ線検出部７２ｈは、検出領域Ｘ１上に描かれた注目線Ｌｅの全てについてエッジ線であるか否かを判断する。
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ （式７）

図６に戻り、立体物検出部７２ｉは、エッジ線検出部７２ｈにより検出されたエッジ線の量に基づいて立体物を検出する。上述したように、接近車両検出部７２は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ｘ１，Ｘ２に立体物が存在する可能性が高いということである。このため、立体物検出部７２ｉは、エッジ線検出部７２ｈにより検出されたエッジの量に基づいて立体物を検出する。さらに、立体物検出部７２ｉは、立体物を検出するのに先立って、エッジ線検出部７２ｈにより検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部７２ｉは、エッジ線上の視点変換画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の視点変換画像の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の視点変換画像の輝度変化が所定の閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この所定の閾値は、実験等により予め設定された値である。

図２９は、エッジ線の輝度分布を示す図であり、図２９（ａ）は検出領域Ｘ１に立体物としての他車両６が存在した場合のエッジ線、および輝度分布を示し、図２９（ｂ）は検出領域Ｘ１に立体物が存在しない場合のエッジ線、および輝度分布を示す。

図２９（ａ）に示すように、視点変換画像において他車両６のタイヤゴム部分に設定された注目線Ｌｅがエッジ線であると判断されていたとする。この場合、注目線Ｌｅ上の視点変換画像の輝度変化はなだらかなものとなる。これは、撮像部１０により撮像された画像Ｉが視点変換されたことにより、他車両６のタイヤが視点変換画像内で引き延ばされたことによる。

一方、図３０（ｂ）に示すように、視点変換画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌｅがエッジ線であると誤判定されていたとする。この場合、注目線Ｌｅ上の視点変換画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌｅ上の輝度分布の相違に基づいて、立体物検出部７２ｉは、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部７２ｉは、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまうことによる、立体物の検出精度の低下を抑制する。

具体的には、立体物検出部７２ｉは、下記（式８），（式９）の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記（式８）は、注目線Ｌｅ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記（式９）は、注目線Ｌｅ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝^２］（式８）
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜ （式９）

なお、（式８）,（式９）に限らず、（式１０）のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを２値化して、当該２値化した属性ｂを全ての注目点Ｐｅについて総和してもよい。
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２ のとき ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき ｂ（ｘｉ，ｙｉ）＝０ （式１０）

注目点Ｐｅｉの輝度値と参照点Ｐｒｉの輝度値の輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐｅ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は「１」となる。それ以外の関係である場合には、注目点Ｐｅｉの属性ｂ（ｘｉ，ｙｉ）は「０」となる。この閾値ｔ２は、注目線Ｌｅが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部７２ｉは、注目線Ｌｅ上の全注目点Ｐｅについての属性ｂを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。

ここで、第３閾値ｗと第４閾値θの補正方法について、図３０を用いて説明する。図３０（ａ）は、レンズ１２の汚れ度合に応じた第３閾値ｗの補正方法について説明する図であり、図３０（ｂ）は、レンズ１２の汚れ度合に応じた第４閾値θの補正方法について説明する図である。

まず、図３０（ａ）を用いて、第３閾値ｗの補正方法について説明する。レンズ１２の汚れがないとき、第３閾値ｗは、検出感度調整部５０において所定値ｗ_０に設定される。図３０（ａ）の横軸は、白濁度合算出部２５で算出されたレンズ１２の白濁度合Ｕを示しており、右に行くほど白濁度合Ｕが高いことを表している。

そして、第３閾値ｗは、白濁度合Ｕが高くなるほど小さくなるように補正される。第３閾値ｗを小さく補正することによって、車両の検出感度が向上する。そして、このとき、第３閾値ｗは、さらに、付着度合算出部２６で算出されたレンズ１２への泥や水滴等の付着物の付着度合Ｍに応じて、小さくなる度合が抑制されるように補正される。

すなわち、図３０（ａ）に示すように、付着物があるとき（点線）は、付着物がないとき（実線）に比べて、レンズ１２の白濁度合が高くなっても、第３閾値ｗの値の低減量を小さくしている。

こうして補正された第３閾値ｗの値が接近車両検出部７２に設定されて、車両検出処理に用いられる。そして、車両検出処理において、レンズ１２の白濁度合Ｕが高いときには、検出感度を上げて、視点変換画像の中に設定した注目線Ｌｅと参照線Ｌｒの間に輝度差が検出されると、その点を立体物（他車両）の候補として検出するが、レンズ１２に付着物があるときには、検出感度の向上を抑制して、注目線Ｌｅと参照線Ｌｒの間に、先ほどよりも大きな輝度差が検出されないと、立体物の候補として検出されないようにする。

そして、第４閾値θも、第３閾値ｗと同じ考え方によって補正される。すなわち、レンズ１２の汚れがないとき所定値θ_０に設定された第４閾値θが、図３０（ｂ）に示すように、付着度合算出部２６で算出されたレンズ１２への泥や水滴等の付着物の付着度合Ｍに応じて補正されて、レンズ１２の白濁度合Ｕが高いときには、検出感度を上げて、視点変換画像の中に設定した注目線Ｌｅ上における、属性ｓがｓ＝１である画素の連続性ｃが高いときに、その注目線Ｌｅをエッジ線と判断するが、レンズ１２に付着物があるときには、検出感度の向上を抑制して、注目線Ｌｅ上における、属性ｓがｓ＝１である画素の連続性ｃが、先ほどよりも高い値にならないと、エッジ線として検出されないようにする。

なお、図３０（ａ）,（ｂ）では、白濁度合Ｕの高さに応じて、第３閾値ｗ，第４閾値θをそれぞれリニアに補正する例を示したが、第３閾値ｗ，第４閾値θの補正方法は、これに限定されるものではない。すなわち、例えば、白濁度合Ｕの高さに応じて、第３閾値ｗ，第４閾値θを階段状（ステップ状）に補正してもよい。

次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図３１は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図３１においては、便宜上、検出領域Ｘ１を対象とする処理について説明するが、検出領域Ｘ２についても同様の処理が実行される。

図３１に示すように、まずステップＳ８０では、前記検出感度調整部５０において、レンズ１２の汚れ度合（白濁度合Ｕと付着度合Ｍ）に基づいて補正された第３閾値ｗと第４閾値θの値が、接近車両検出部７２に設定される。

次に、ステップＳ８１では、前記視点変換部７２ａにおいて、撮像部１０によって撮像された画像Ｉを、上空から鉛直下向きに見下ろした視点変換画像に変換する。

さらに、ステップＳ８２では、輝度差算出部７２ｇが、検出領域Ｘ１の内部に、注目線Ｌｅを設定する。このとき、輝度差算出部７２ｇは、実空間上において鉛直方向に伸びる線に相当する線を、注目線Ｌｅとして設定する。

そして、ステップＳ８３では、輝度差算出部７２ｇが、検出領域Ｘ１の内部に、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌｅと実空間上において所定距離離れた線を、参照線Ｌｒとして設定する。

次に、ステップＳ８４では、輝度差算出部７２ｇが、注目線Ｌｅ上に複数の注目点Ｐｅを設定する。このとき、輝度差算出部７２ｇは、エッジ線検出部７２ｈによるエッジ検出時に問題とならない程度の数の注目点Ｐｅを設定する。また、輝度差算出部７２ｇは、ステップＳ８５において、実空間上で、注目点Ｐｅと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐｅと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

そして、ステップＳ８６では、輝度差算出部７２ｇが、実空間上において同じ高さとなる注目点Ｐｅと参照点Ｐｒとの輝度差を算出する。そして、エッジ線検出部７２ｈは、前記（式５）に従って、各注目点Ｐｅの属性ｓを算出する。

さらに、ステップＳ８７では、エッジ線検出部７２ｈが、前記（式６）に従って、各注目点Ｐｅの属性ｓの連続性ｃを算出する。

次に、ステップＳ８８では、エッジ線検出部７２ｈが、前記（式７）に従って、連続性ｃの総和を正規化した値が第４閾値θより大きいか否かを判定する。正規化した値が第４閾値θよりも大きいと判断したとき（ステップＳ８８がＹＥＳのとき）は、エッジ線検出部７２ｈは、ステップＳ８９において、当該注目線Ｌｅをエッジ線として検出する。そして、処理はステップＳ９０に移行する。一方、ステップＳ８８において、正規化した値が第４閾値θより大きくないと判断したとき（ステップＳ８８がＮＯのとき）は、エッジ線検出部７２ｈは、当該注目線Ｌｅをエッジ線として検出せず、処理はステップＳ９０に移行する。

そして、ステップＳ９０では、接近車両検出部７２が、検出領域Ｘ１上に設定可能な注目線Ｌｅの全てについて上記のステップＳ８２〜ステップＳ８９の処理を実行したか否かを判断する。全ての注目線Ｌｅについて上記処理をしていないと判断したとき（ステップＳ９０がＮＯのとき）は、ステップＳ８２に戻り、新たに注目線Ｌｅを設定して、ステップＳ８９までの処理を繰り返す。一方、全ての注目線Ｌｅについて上記処理をしたと判断したとき（ステップＳ９０がＹＥＳのとき）は、ステップＳ９１に移行する。

次に、ステップＳ９１では、立体物検出部７２ｉが、ステップＳ８９において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部７２ｉは、前記（式８），（式９），（式１０）の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部７２ｉは、ステップＳ９２において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ｘ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。

次に立体物検出部７２ｉは、ステップＳ９３において、エッジ線の量が第５閾値β以上であるか否かを判断する。なお、この第５閾値βは、予め実験等によって求めておいて設定される。例えば、検出対象として四輪車を設定した場合、当該第５閾値βは、予め実験等によって検出領域Ｘ１内に出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第５閾値β以上であると判定したとき（ステップＳ９３がＹＥＳのとき）は、立体物検出部７２ｉは、ステップＳ９４において、検出領域Ｘ１内に立体物が存在すると判断する。

一方、エッジ線の量が第５閾値β以上ではないと判定した場合（ステップＳ９３がＮＯのとき）、立体物検出部７２ｉは、検出領域Ｘ１内に立体物が存在しないと判断する。その後、図３１に示す処理を終了して、メインルーチン（図７）へ戻る。

なお、検出された立体物は、自車両５が走行する車線の隣の隣接車線を走行する他車両６であると判断してもよいし、検出した立体物の自車両５に対する相対速度を考慮して隣接車線を走行する他車両６であるか否かを判断してもよい。

なお、実施例１においては、差分波形情報を用いて立体物（接近車両）を検出する方法と、エッジ情報を用いて立体物（接近車両）を検出する方法を説明したが、接近車両を検出する方法は、それに限定されるものではない。すなわち、例えば、実施例１で説明した視点変換を行わずに、撮像部１０で撮像された画像Ｉに対して、オプティカルフローを算出する等の画像処理を行うことによって立体物（接近車両）を検出することもできる。そして、そのときも、検出感度調整部５０において、時系列画像の中から特徴点を検出するための閾値や、特徴点同士を対応付けたときに対応付いたと判定する閾値を、レンズ１２の白濁度合Ｕや付着物の付着度合Ｍに応じて、補正することによって、他車両６を確実に検出することができる。

以上説明したように、このように構成された本発明の一実施形態の車載用画像認識装置８によれば、自車両５に設置されて、レンズ１２を通して自車両５の周囲を観測し、観測された自車両５の周囲の光信号を画像信号に変換する撮像部１０によって撮像された画像の中から、所定の検出感度で自車両５の周囲に存在する移動物体、例えば他車両６の検出を行う画像認識アプリケーション実行部、例えば車両検出部７０の検出感度を、白濁度合Ｕの高さに応じて検出感度を向上させる方向に調整する検出感度調整部５０において、付着度合算出部２６によって算出された、レンズ１２への泥や水滴等の付着物の付着度合Ｍに基づいて補正するようにしたため、レンズ１２に泥や水滴等の付着物が付着している場合であっても、必要以上の検出感度の向上が抑制されるため、レンズ１２の白濁度合Ｕや付着物の付着度合Ｍに関わらず、他車両６の位置を確実に検出することができる。

また、本発明の一実施形態の車載用画像認識装置８によれば、白濁度合算出部２２が、撮像部１０で撮像された画像Ｉの輝度勾配とエッジ強度分布の少なくとも一方によってレンズ１２の白濁度合Ｕを算出したため、自車両５の外部の明るさによらずに、レンズ１２の白濁度合Ｕを安定して確実に算出することができる。

そして、本発明の一実施形態の車載用画像認識装置８によれば、付着度合算出部２６によって算出されたレンズ１２への泥や水滴等の付着度合Ｍが高いときほど、検出感度調整部５０において他車両６の検出感度の向上を抑制するため、付着度合Ｍが高いことに伴って白濁度合Ｕが高いと判定されたときであっても、他車両６の検出感度の向上を抑制することができ、これによって、画像認識アプリケーション実行部、例えば車両検出部７０において、他車両６を確実に検出することができる。

さらに、本発明の一実施形態の車載用画像認識装置８によれば、検出感度調整部５０が、撮像部１０で撮像された１枚の画像Ｉの中から輝度差を有する画素を検出する第１閾値ｐ、撮像部１０で異なる時刻に撮像された時系列画像の中から輝度変化を有する画素を検出する第２閾値α、もしくは、撮像部１０で異なる時刻に撮像された時系列画像の中から検出した輝度変化を有する画素同士を対応付けるときに、対応付いたと判断する閾値、のうち少なくとも１つの閾値を補正するため、レンズ１２が汚れているときであっても、画像認識アプリケーション実行部、例えば車両検出部７０において、他車両６をより一層確実に検出することができる。

また、本発明の一実施形態の車載用画像認識装置８によれば、検出感度調整部５０が、レンズ１２の白濁度合Ｕとレンズ１２への泥や水滴等の付着物の付着度合Ｍが高いときほど、前記閾値のうち少なくとも１つの閾値を補正して、夜間は昼間よりも検出感度の向上を抑制するため、夜間は昼間に対して、レンズ１２の白濁度合Ｕに応じた車両検出感度（例えば、第１閾値ｐと第２閾値α）の抑制量を低減して、他車両６をより一層確実に検出することができる。

そして、本発明の一実施形態の車載用画像認識装置８によれば、画像認識アプリケーション実行部、例えば車両検出部７０が、自車両５の後方にあって、自車両５に接近している他車両６を検出するため、自車両５が車線変更を行う際に、後方の安全確認を確実に行うことができる。

さらに、本発明の一実施形態の車載用画像認識装置８によれば、検出感度調整部５０が、レンズ１２の白濁度合Ｕとレンズ１２への泥や水滴等の付着物の付着度合Ｍが高いときには、他車両６が、所定の正の相対速度をもって自車両５に接近しているときほど、検出感度の向上を抑制するため、例えば、相対速度が所定値以上の正の値を有しているとき、すなわち、自車両５が接近車両に後方から追い抜かれるときには、レンズ１２の白濁度合Ｕに応じた車両検出感度（例えば、第１閾値ｐと第２閾値α）の抑制量を低減して、接近車両をより一層確実に検出することができる。

なお、車載用画像認識装置８と同時に作動する画像認識アプリケーションは、ＢＳＷシステム９に限定されるものではない。すなわち、撮像部１０で撮像された画像Ｉの中から、自車両５の走行位置に応じて移動する白線等のレーンマーカの位置を検出して、こうして検出されたレーンマーカの位置に基づいて、車線の逸脱を事前に検出してこれを報知する、ＬＤＷ（Lane Departure Warning）システムや、その他のシステムに適用することも可能である。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

関連出願への相互参照

本出願は、２０１２年７月２７日に日本国特許庁に出願された特願２０１２−１６７７０２に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

８ 車載用画像認識装置
９ ＢＳＷシステム
１０ 撮像部
１２ レンズ
１４ 光電変換部
１６ ゲイン調整部
２０ レンズ汚れ検出部
２２ 第１白濁度合算出部
２４ 第２白濁度合算出部
２５ 白濁度合算出部
２６ 付着度合算出部
３０ レンズ汚れ度合算出部
５０ 検出感度調整部
６０ 車両情報取得部
７０ 車両検出部
７２ 接近車両検出部
７４ 警報出力部

Claims (7)

1. 自車両に設置されて、レンズを通して前記自車両の周囲を観測して、観測された前記自車両の周囲の光信号を画像信号に変換する撮像部と、
   前記撮像部で撮像された画像の中から、所定の検出感度をもって前記自車両の周囲に存在する移動物体の検出を行う画像認識アプリケーション実行部と、
   前記画像信号の中から、前記レンズの白濁度合を算出する白濁度合算出部と、
   前記レンズへの泥や水滴等の付着物の付着度合を算出する付着度合算出部と、
   前記白濁度合の高さに応じて、前記検出感度を向上させる方向に調整する検出感度調整部と、
   を有し、前記検出感度調整部は、前記レンズへの泥や水滴等の付着物の付着度合に基づいて、前記検出感度を補正することを特徴とする車載用画像認識装置。
2. 前記白濁度合算出部は、前記撮像部で撮像された画像の輝度勾配とエッジ強度分布の少なくとも一方によって前記レンズの白濁度合を算出するものであることを特徴とする請求項１に記載の車載用画像認識装置。
3. 前記検出感度調整部は、前記付着度合算出部によって算出された前記レンズへの泥や水滴等の付着度合が高いときほど、前記検出感度の向上を抑制することを特徴とする請求項１または請求項２に記載の車載用画像認識装置。
4. 前記検出感度調整部は、前記撮像部で撮像された１枚の画像の中から輝度差を有する画素を検出する閾値、前記撮像部で異なる時刻に撮像された時系列画像の中から輝度変化を有する画素を検出する閾値、もしくは、前記撮像部で異なる時刻に撮像された時系列画像の中から検出した輝度変化を有する画素同士を対応付けるときに、対応付いたと判断する閾値、のうち少なくとも１つの閾値を補正することを特徴とする請求項１から請求項３のいずれか１項に記載の車載用画像認識装置。
5. 前記検出感度調整部は、前記レンズの白濁度合と前記レンズへの泥や水滴等の付着物の付着度合が高いときほど、前記閾値のうち少なくとも１つを補正して、夜間は昼間よりも前記検出感度の向上を抑制することを特徴とする請求項４に記載の車載用画像認識装置。
6. 前記画像認識アプリケーション実行部は、前記自車両の後方にあって、前記自車両に接近している他車両を検出するものであることを特徴とする請求項１から請求項５のいずれか１項に記載の車載用画像認識装置。
7. 前記検出感度調整部は、前記レンズの白濁度合と前記レンズへの泥や水滴等の付着物の付着度合が高いときには、前記他車両が、所定の正の相対速度をもって前記自車両に接近しているときほど、前記検出感度の向上を抑制することを特徴とする請求項６に記載の車載用画像認識装置。

Images