JP5859652B2 - 水滴検出装置及び水滴検出装置を用いた立体物検出装置 - Google Patents

Description

本発明は、水滴検出装置及び水滴検出装置を用いた立体物検出装置に関するものである。

ＣＣＤカメラを用いた車載用監視装置において、車両に付着した雨滴を撮像するための近距離用の第１の焦点距離と、車両の周辺を撮像するための遠距離用の第２の焦点距離とを採り得るレンズと、レンズの焦点距離を第１の焦点距離と第２の焦点距離とに切り換え可能なカメラ部とを備え、雨滴の有無を検出する場合は第１の焦点距離に切り換え、車両の周辺を監視する場合は第２の焦点距離に切り換えるものが知られている（特許文献１参照）。

特開２００５−２２５２５０号公報

しかしながら、上記従来技術のように雨滴を検出するためにレンズの焦点距離を切り換える必要があるため、切換中は物体の検出を行うことができないという問題がある。

本発明が解決しようとする課題は、不検出期間が生じることなく水滴を検出できる水滴検出装置及び水滴検出装置を用いた立体物検出装置を提供することである。

本発明は、撮像手段の撮影光学系に水滴が付着したか否かを検出し、水滴が付着した場合はその状態に応じて車両を制御することにより、上記課題を解決する。

本発明によれば、水滴の付着状況に応じて車両を制御、たとえば水滴の付着が多い場合はその水滴を除去したり、立体物又は他車両であることの検出を抑制したりすることで、水滴による誤検出を防止して立体物を検出することができる。

本発明の立体物検出装置を適用した一実施の形態に係る車両の概略構成図である。 図１の車両の走行状態を示す平面図（差分波形情報による立体物検出）である。 図１の計算機の第１実施形態の詳細を示すブロック図である。 図３の位置合わせ部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 図３の第１立体物検出部による差分波形の生成の様子を示す概略図である。 図３の第１立体物検出部によって分割される小領域を示す図である。 図３の第１立体物検出部により得られるヒストグラムの一例を示す図である。 図３の第１立体物検出部による重み付けを示す図である。 図３のスミア検出部による処理及びそれによる差分波形の算出処理を示す図である。 図３の第１立体物検出部により得られるヒストグラムの他の例を示す図である。 図３の視点変換部、位置合わせ部、スミア検出部及び第１立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート（その１）である。 図３の視点変換部、位置合わせ部、スミア検出部及び第１立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート（その２）である。 図１の車両の走行状態を示す図（エッジ情報による立体物検出）であり、（ａ）は検出領域等の位置関係を示す平面図、（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 図３の輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図３の輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（車両）が存在している場合の輝度分布を示す図、（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図３の視点変換部、輝度差算出部、エッジ線検出部及び第２立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート（その１）である。 図３の視点変換部、輝度差算出部、エッジ線検出部及び第２立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート（その２）である。 エッジ検出動作を説明するための画像例を示す図である。 図３の立体物判断部及び制御部の制御手順を示すフローチャートである。 水滴個数に対するエアブローＯＦＦ時間の関係を示す制御マップの一例である。 水滴個数に応じて設定されたエアブローＯＮ／ＯＦＦを示すタイムチャートの一例である。 図３の水滴除去装置を示すブロック図である。 図３のカメラ及び水滴除去装置を示す斜視図である。 図２４Ａの２４Ｂ矢視図である。 図２４Ａに示すカメラ及び水滴除去装置を示す一部破断斜視図である。 図２０の水滴検出処理における着目点及び参照点の設定例を示す図である。 図２０の水滴検出処理（ステップＳ４１）のサブルーチンを示すフローチャートである。 図３の位置合わせ部の処理の他例を説明するための図（その１）である。 図３の位置合わせ部の処理の他例を説明するための図（その２）である。 図３の位置合わせ部の処理の他例を説明するための図（その３）である。 図１の計算機の第２実施形態の詳細を示すブロック図である。 図３１の立体物判断部の制御手順を示すフローチャートである。 水滴個数に対する第１閾値αと第２閾値βの関係を示す制御マップの一例である。 水滴個数に対する第１閾値αと第２閾値βの関係を示す制御マップの他例である。 水滴個数に対する第１閾値αと第２閾値βの関係を示す制御マップの他例である。 水滴個数に対する第１閾値αと第２閾値βの関係を示す制御マップの他例である。

図１は、本発明の立体物検出装置１を適用した一実施の形態に係る車両の概略構成図であり、本例の立体物検出装置１は、自車両Ｖが車線変更する際に接触の可能性がある他車両を検出し、移動距離を算出することを目的とする。このため、以下説明する一例は、立体物検出装置１を車両Ｖに搭載し、後続車を検出対象の立体物とする例を示すこととする。同図に示すように、本例の立体物検出装置１は、カメラ１０と、車速センサ２０と、計算機３０と、水滴検出部４０とを備える。

カメラ１０は、図１に示すように車両Ｖの後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように車両Ｖに取り付けられている。カメラ１０は、この位置から車両Ｖの周囲環境のうちの所定領域を撮像する。車速センサ２０は、車両Ｖの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機３０は、車両後方の立体物を検出するとともに、本例ではその立体物について移動距離及び移動速度を算出する。水滴検出部４０は、カメラ１０のレンズなどの撮影光学系に付着した雨滴などの水滴の有無を検出するものであり、その詳細は後述する。

図２は、図１の車両Ｖの走行状態を示す平面図である。同図に示すように、カメラ１０は、所定の画角ａで車両後方側を撮像する。このとき、カメラ１０の画角ａは、自車両Ｖが走行する車線に加えて、その左右の車線についても撮像可能な画角に設定されている。以下、本発明に係る立体物検出装置の第１実施形態を図３〜図３０を参照して説明し、同じく第２実施形態を図３１〜図３６を参照して説明する。

＜第１実施形態＞
図３は、図１の計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０、車速センサ２０、水滴検出部４０及び水滴除去装置４１についても図示する。

図３に示すように、計算機３０は、視点変換部３１と、位置合わせ部３２と、第１立体物検出部３３と、スミア検出部３４と、輝度差算出部３５と、エッジ線検出部３６と、第２立体物検出部３７と、立体物判断部３８と、制御部３９とを備える。このうち、視点変換部３１、スミア検出部３４、位置合わせ部３２及び第１立体物検出部３３が後述する差分波形情報を利用した立体物の検出ブロックＡに関する構成部であり、視点変換部３１、輝度差算出部３５、エッジ線検出部３６及び第２立体物検出部３７が後述するエッジ情報を利用した立体物の検出ブロックＢに関する構成部である。以下、最初にそれぞれの構成部について説明する。

《差分波形情報による立体物の検出》
本実施形態の立体物検出装置１は、車両後方を撮像する単眼のカメラ１により得られた画像情報に基づいて車両後方の右側検出領域又は左側検出領域に存在する立体物を検出する。

視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８−２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。なお、視点変換部３１による画像変換処理の結果は、後述するエッジ情報による立体物の検出においても利用される。

位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせる。図４は、位置合わせ部３２の処理の概要を説明するための図であり、（ａ）は車両Ｖの移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。

図４（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置していたとする。また、自車両Ｖの後側方向に他車両Ｖが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶがＶ３に位置し、一時刻前の他車両ＶがＶ４に位置していたとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。

このような状態において、現時刻における鳥瞰画像ＰＢ_ｔは図４（ｂ）に示すようになる。この鳥瞰画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、他車両Ｖ３については倒れ込みが発生する。また、一時刻前における鳥瞰画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、他車両Ｖ４については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部３２は、上記のような鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰画像ＰＢ_ｔと位置を一致させる。図４（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図４（ａ）に示した自車両Ｖの実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

また、位置合わせ後において位置合わせ部３２は、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分をとり、差分画像ＰＤ_ｔのデータを生成する。ここで、差分画像ＰＤ_ｔの画素値は、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値を超えたときに「１」とし、超えないときに「０」としてもよい。図４（ｂ）の右側の画像が、差分画像ＰＤ_ｔである。なお、本例の位置合わせ部３２は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像を得るが、この位置合わせ処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。

図３に戻り、第１立体物検出部３３は、図４（ｂ）に示す差分画像ＰＤ_ｔのデータに基づいて立体物を検出する。この際、本例の第１立体物検出部３３は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、第１立体物検出部３３は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。そして、立体物の移動速度は、立体物が車両であるか否かの判断に用いることができる。

差分波形の生成にあたって第１立体物検出部３３は、差分画像ＰＤ_ｔにおいて検出領域を設定する。本例の立体物検出装置１は、自車両Ｖの運転手が注意を払う他車両ＶＸであり、特に、自車両Ｖが車線変更する際に接触の可能性がある自車両Ｖが走行する車線の隣の車線を走行する他車両ＶＸを検出対象物として検出する。このため、画像情報に基づいて立体物を検出する本例では、カメラ１により得られた画像のうち、自車両Ｖの右側及び左側に二つの検出領域を設定する。具体的に本例では、図２に示すように自車両Ｖの後側方に矩形状の検出領域Ａ１，Ａ２を設定する。この検出領域Ａ１，Ａ２において検出された他車両ＶＸは、自車両Ｖが走行する車線の隣の隣接車線を走行する障害物として検出される。なお、このような検出領域Ａ１，Ａ２は、自車両Ｖに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、移動距離検出装置１は、例えば既存の白線認識技術等を利用するとよい。

また、第１立体物検出部３３は、設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両Ｖの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。

図５は、図３に示す第１立体物検出部３３による差分波形の生成の様子を示す概略図である。図５に示すように、第１立体物検出部３３は、位置合わせ部３２で算出した差分画像ＰＤ_ｔ（図４（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、第１立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷ_ｔを生成する。

具体的に説明すると、まず第１立体物検出部３３は、差分画像ＰＤ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、第１立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、所定の差分を示す差分画素ＤＰは、差分画像ＰＤｔの画素値が鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像ＰＤｔの画素値が「０」「１」で表現されている場合は、「１」を示す画素である。

第１立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、第１立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図５右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図５右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。

以下同様に、第１立体物検出部３３は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。第１立体物検出部３３は、上記を順次繰り返して度数分布化することで、図５右図に示すように差分波形ＤＷ_ｔを生成する。

なお、図５左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、第１立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、第１立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

差分波形ＤＷ_ｔの生成後、第１立体物検出部３３は一時刻前の差分波形ＤＷ_ｔ−１との対比により移動距離を算出する。すなわち、第１立体物検出部３３は、差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から移動距離を算出する。

詳細に説明すると、第１立体物検出部３３は、図６に示すように差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図６は、第１立体物検出部３３によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、例えば図６に示すように、互いに重複するようにして分割される。例えば小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。

次いで、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向（図６の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。この際、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。

図７は、第１立体物検出部３３により得られるヒストグラムの一例を示す図である。図７に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前における差分波形ＤＷ_ｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、第１立体物検出部３３は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、第１立体物検出部３３は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図７に示す例において第１立体物検出部３３は、ヒストグラムの極大値を示すオフセット量を移動距離τ^＊と算出する。なおこの移動距離τ^＊は、自車両Ｖに対する他車両Ｖの相対移動距離である。このため、第１立体物検出部３３は、絶対移動距離を算出する場合には、得られた移動距離τ^＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。

なお、ヒストグラム化にあたり第１立体物検出部３３は、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図８は、第１立体物検出部３３による重み付けを示す図である。

図８に示すように、小領域ＤＷ_ｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。第１立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを小さくする。平坦な小領域ＤＷ_ｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。

一方、小領域ＤＷ_ｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。第１立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを大きくする。起伏に富む小領域ＤＷ_ｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しなくてもよい。この場合に、第１立体物検出部３３は、差分波形ＤＷ_ｔと差分波形ＤＷ_ｔ−１との誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとのオフセット量を求める方法は上記内容に限定されない。

図３に戻り、計算機３０はスミア検出部３４を備える。スミア検出部３４は、カメラ１０による撮像によって得られた撮像画像のデータからスミアの発生領域を検出する。なお、スミアはＣＣＤイメージセンサ等に生じる白飛び現象であることから、こうしたスミアが生じないＣＭＯＳイメージセンサ等を用いたカメラ１０を採用する場合にはスミア検出部３４を省略してもよい。

図９は、スミア検出部３４による処理及びそれによる差分波形ＤＷ_ｔの算出処理を説明するための画像図である。まずスミア検出部３４にスミアＳが存在する撮像画像Ｐのデータが入力されたとする。このとき、スミア検出部３４は、撮像画像ＰからスミアＳを検出する。スミアＳの検出方法は様々であるが、例えば一般的なＣＣＤ（Charge-Coupled Device）カメラの場合、光源から画像下方向にだけスミアＳが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアＳの発生領域と特定する。

また、スミア検出部３４は、スミアＳの発生箇所について画素値を「１」とし、それ以外の箇所を「０」とするスミア画像ＳＰのデータを生成する。生成後、スミア検出部３４はスミア画像ＳＰのデータを視点変換部３１に送信する。また、スミア画像ＳＰのデータを入力した視点変換部３１は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部３１はスミア鳥瞰画像ＳＢ_ｔのデータを生成する。生成後、視点変換部３１はスミア鳥瞰画像ＳＢ_ｔのデータを位置合わせ部３２に送信する。また、視点変換部３１は一時刻前のスミア鳥瞰画像ＳＢ_ｔ−１のデータを位置合わせ部３２に送信する。

位置合わせ部３２は、スミア鳥瞰画像ＳＢ_ｔ，ＳＢ_ｔ−１の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部３２は、各スミア鳥瞰画像ＳＢ_ｔ，ＳＢ_ｔ−１のスミアＳの発生領域について論理和をとる。これにより、位置合わせ部３２は、マスク画像ＭＰのデータを生成する。生成後、位置合わせ部３２は、マスク画像ＭＰのデータを第１立体物検出部３３に送信する。

第１立体物検出部３３は、マスク画像ＭＰのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図９に示すような差分波形ＤＷ_ｔが生成されていた場合に、第１立体物検出部３３は、スミアＳによるカウント数ＳＣをゼロとし、補正された差分波形ＤＷ_ｔ’を生成することとなる。

なお、本実施形態において第１立体物検出部３３は、車両Ｖ（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、第１立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。

図１０は、第１立体物検出部３３により得られるヒストグラムの他例を示す図である。カメラ１０の画角内に他車両Ｖの他に静止物が存在する場合に、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、第１立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。

なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に他車両Ｖが複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の他車両Ｖが存在することは極めて稀である。このため、第１立体物検出部３３は、移動距離の算出を中止する。

次に差分波形情報による立体物検出手順を説明する。図１１及び図１２は、本実施形態の立体物検出手順を示すフローチャートである。図１１に示すように、まず、計算機３０はカメラ１０による撮像画像Ｐのデータを入力し、スミア検出部３４によりスミア画像ＳＰを生成する（Ｓ１）。次いで、視点変換部３１は、カメラ１０からの撮像画像Ｐのデータから鳥瞰画像ＰＢ_ｔのデータを生成すると共に、スミア画像ＳＰのデータからスミア鳥瞰画像ＳＢ_ｔのデータを生成する（Ｓ２）。

そして、位置合わせ部３２は、鳥瞰画像ＰＢ_ｔのデータと、一時刻前の鳥瞰画像ＰＢ_ｔ−１のデータとを位置合わせすると共に、スミア鳥瞰画像ＳＢ_ｔのデータと、一時刻前のスミア鳥瞰画像ＳＢ_ｔ−１のデータとを位置合わせする（Ｓ３）。この位置合わせ後、位置合わせ部３２は、差分画像ＰＤ_ｔのデータを生成すると共に、マスク画像ＭＰのデータを生成する（Ｓ４）。その後、第１立体物検出部３３は、差分画像ＰＤ_ｔのデータと、一時刻前の差分画像ＰＤ_ｔ−１のデータとから、差分波形ＤＷ_ｔを生成する（Ｓ５）。差分波形ＤＷ_ｔを生成後、第１立体物検出部３３は、差分波形ＤＷ_ｔのうち、スミアＳの発生領域に該当するカウント数をゼロとし、スミアＳによる影響を抑制する（Ｓ６）。

その後、第１立体物検出部３３は、差分波形ＤＷ_ｔのピークが第１閾値α以上であるか否かを判断する（Ｓ７）。この第１閾値αは、予め実験等より求められ設定されるが、図３１に示す立体物判断部３８により設定されてもよい。ここで、差分波形ＤＷ_ｔのピークが第１閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像Ｐ内には立体物が存在しないと考えられる。このため、差分波形ＤＷ_ｔのピークが第１閾値α以上でないと判断した場合には（Ｓ７：ＮＯ）、第１立体物検出部３３は、立体物が存在せず他車両が存在しないと判断する（図１２：Ｓ１６）。そして、図１１及び図１２に示す処理を終了する。

一方、差分波形ＤＷ_ｔのピークが第１閾値α以上であると判断した場合には（Ｓ７：ＹＥＳ）、第１立体物検出部３３は、立体物が存在すると判断し、差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割する（Ｓ８）。次いで、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けを行う（Ｓ９）。その後、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量を算出し（Ｓ１０）、重みを加味してヒストグラムを生成する（Ｓ１１）。

そして、第１立体物検出部３３は、ヒストグラムに基づいて自車両Ｖに対する立体物の移動距離である相対移動距離を算出する（Ｓ１２）。次に、第１立体物検出部３３は、相対移動距離から立体物の絶対移動速度を算出する（Ｓ１３）。このとき、第１立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ２０で検出された自車速を加算して、絶対移動速度を算出する。

その後、第１立体物検出部３３は、立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断する（Ｓ１４）。双方を満たす場合には（Ｓ１４：ＹＥＳ）、第１立体物検出部３３は、立体物が他車両Ｖであると判断する（Ｓ１５）。そして、図１１及び図１２に示す処理を終了する。一方、いずれか一方でも満たさない場合には（Ｓ１４：ＮＯ）、第１立体物検出部３３は、他車両が存在しないと判断する（Ｓ１６）。そして、図１１及び図１２に示す処理を終了する。

なお、本実施形態では自車両Ｖの後側方を検出領域Ａ１，Ａ２とし、自車両Ｖが走行中に注意を払うべきである自車両の走行車線の隣を走行する隣接車線を走行する他車両ＶＸを検出すること、特に自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いている。自車両Ｖが車線変更した場合に、自車両の走行車線の隣の隣接車線を走行する他車両ＶＸと接触する可能性がある否かを判断するためである。このため、ステップＳ１４の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が１０ｋｍ／ｈ未満である場合、たとえ他車両Ｖが存在したとしても、車線変更する際には自車両Ｖの遠く後方に位置するため問題となることが少ない。同様に、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、立体物が自車両Ｖの速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両Ｖの前方に移動しているため問題となることが少ない。このため、ステップＳ１４では車線変更の際に問題となる他車両Ｖを判断しているともいえる。

また、ステップＳ１４において立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、以下の効果がある。例えば、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得る。よって、１０ｋｍ／ｈ以上であるかを判断することにより、静止物を他車両Ｖであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Ｖに対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得る。よって、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。

さらに、ステップＳ１４の処理に代えて、絶対移動速度がマイナスでないことや、０ｋｍ／ｈでないことを判断してもよい。また、本実施形態では自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップＳ１５において他車両Ｖが検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。

このように、本例の差分波形情報による立体物の検出手順によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像ＰＤ_ｔのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成する。ここで、差分画像ＰＤ_ｔのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷ_ｔを生成することとなる。そして、高さ方向の情報を含む差分波形ＤＷ_ｔの時間変化から立体物の移動距離を算出する。このため、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

また、差分波形ＤＷ_ｔのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形ＤＷ_ｔのうちスミアＳによって生じる波形部位を除去することとなり、スミアＳを立体物と誤認してしまう事態を防止することができる。

また、異なる時刻に生成された差分波形ＤＷ_ｔの誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から立体物の移動距離を算出する。このため、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。

また、異なる時刻に生成された差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割する。このように複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。

また、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。

また、差分波形ＤＷ_ｔの各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。

また、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。

また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。

なお上記実施形態において、自車両Ｖの車速を速度センサ２０からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。

また、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像ＰＤ_ｔを生成し、生成した差分画像ＰＤ_ｔを倒れ込み方向（撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向）に沿って評価して差分波形ＤＷ_ｔを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向（すなわち、倒れ込み方向を撮像画像上の方向に変換した方向）に沿って評価することによって差分波形ＤＷ_ｔを生成してもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像ＰＤ_ｔを生成し、差分画像ＰＤ_ｔを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。

また、上記実施形態においては、図４（ｂ）に示すように現時刻の鳥瞰画像データＰＢ_ｔと一時刻前（過去）の鳥瞰画像データＰＢ_ｔ−１とを位置合わせしたのちこれらの差分画像ＰＤ_ｔを生成し、図５に示すように差分画像ＰＤ_ｔを倒れ込み方向に相当する方向に沿って評価することによって差分波形ＤＷ_ｔを生成したが、現時刻と一時刻前の鳥瞰画像データＰＢ_ｔ，ＰＢ_ｔ−１を、図５に示すように倒れ込み方向に相当する方向に沿ってそれぞれ評価することによって、現時刻と一時刻前の差分波形ＤＷ_ｔをそれぞれ生成したのち、これら２つの差分波形を図４（ｂ）に示すように位置合わせし、これら２つの差分波形の差分から最終的な差分波形情報を生成してもよい。

《エッジ情報による立体物の検出》
次に、図３に示す差分波形情報による立体物の検出ブロックＡに代えて動作させることが可能である、エッジ情報による立体物の検出ブロックＢについて説明する。本例のエッジ情報による立体物の検出ブロックＢは、視点変換部３１、輝度差算出部３５、エッジ線検出部３６及び第２立体物検出部３７で構成されるエッジ情報を利用して立体物を検出する。図１３は、図３のカメラ１０の撮像範囲等を示す図であり、図１３（ａ）は平面図、図１３（ｂ）は、自車両Ｖ１から後側方における実空間上の斜視図を示す。図１３（ａ）に示すように、カメラ１０は所定の画角ａとされ、この所定の画角ａに含まれる自車両Ｖ１から後側方を撮像する。カメラ１０の画角ａは、図２に示す場合と同様に、カメラ１０の撮像範囲に自車両Ｖ１が走行する車線に加えて、隣接する車線も含まれるように設定されている。

本例の検出領域Ａ１，Ａ２は、平面視（鳥瞰視された状態）において台形状とされ、これら検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ_１〜ｄ_４に基づいて決定される。なお、同図に示す例の検出領域Ａ１，Ａ２は台形状に限らず、図２に示すように鳥瞰視された状態で矩形など他の形状であってもよい。

ここで、距離ｄ１は、自車両Ｖ１から接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖ１が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖ１の後側方において自車両Ｖ１の車線に隣接する左右の車線を走行する他車両Ｖ２等（２輪車等を含む)を検出することが目的である。このため、自車両Ｖ１から白線Ｗまでの距離ｄ１１及び白線Ｗから他車両Ｖ２が走行すると予測される位置までの距離ｄ１２から、他車両Ｖ２の接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。

また、距離ｄ１については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機３０は、白線認識等の技術により自車両Ｖ１に対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。以下の本実施形態においては、他車両Ｖ２が走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖ１が走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。

距離ｄ２は、自車両Ｖ１の後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両Ｖ２等であるため、距離ｄ３は、他車両Ｖ２を含む長さに設定される。

距離ｄ４は、図１３（ｂ）に示すように、実空間において他車両Ｖ２等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰視画像においては図１３（ａ）に示す長さとされる。なお、距離ｄ４は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの車線）を含まない長さとすることもできる。自車両Ｖ１の車線から２車線隣の車線を含んでしまうと、自車両Ｖ１が走行している車線である自車線の左右の隣接車線に他車両Ｖ２が存在するのか、２車線隣りの車線に他車両Ｖ２が存在するのかについて、区別が付かなくなってしまうためである。

以上のように、距離ｄ１〜距離ｄ４が決定され、これにより検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図１３（ｂ）に示すように、自車両Ｖ１から後側方における実空間上では真四角（長方形）となる。

図３に戻り、視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部３１は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開２００８−２１９０６３号公報に記載された技術によって実現することができる。

輝度差算出部３５は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法とのいずれかによって輝度差を算出することができる。

鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３５は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３５は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３５の動作について詳細に説明する。

輝度差算出部３５は、図１４（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また輝度差算出部３５は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部３５は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３５は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図１４（ｂ）に示す関係となる。図１４（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部３５は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。このため、図３に示したエッジ線検出部３６は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図１５は、輝度差算出部３５の詳細動作を示す図であり、図１５（ａ）は鳥瞰視された状態の鳥瞰視画像を示し、図１５（ｂ）は、図１５（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお図１５についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。

カメラ１０が撮像した撮像画像内に他車両Ｖ２が映っていた場合に、図１５（ａ）に示すように、鳥瞰視画像内の検出領域Ａ１に他車両Ｖ２が現れる。図１５（ｂ）に図１５（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰視画像上において、他車両Ｖ２のタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３５は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１において、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰視画像上において、例えば他車両Ｖ２のタイヤのゴムから１０ｃｍ相当だけ離れた他車両Ｖ２のタイヤのホイール上に設定される。

次に、輝度差算出部３５は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図１５（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に、輝度差算出部３５は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部３５は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３５は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３５は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３５は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部３５は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３５は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３５は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

図３に戻り、エッジ線検出部３６は、輝度差算出部３５により算出された連続的な輝度差から、エッジ線を検出する。例えば、図１５（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部３６は、輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には、エッジ線検出部３６は、エッジ線を検出するにあたり、先ず下記の数式１に従って、ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
《数１》
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｔのとき
ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき
ｓ（ｘｉ，ｙｉ）＝０

上記数式１において、ｔは閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記数式１によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉから閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘−１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３６は、下記数式２に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
《数２》
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く）、
ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｃ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３６は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部３６は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。エッジ線検出部３６は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。

すなわち、エッジ線検出部３６は、下記数式３に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして、エッジ線検出部３６は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
《数３》
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ

図３に戻り、第２立体物検出部３７は、エッジ線検出部３６により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置１は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、第２立体物検出部３７は、エッジ線検出部３６により検出されたエッジ線の量に基づいて立体物を検出する。さらに、第２立体物検出部３７は、立体物を検出するに先立って、エッジ線検出部３６により検出されたエッジ線が正しいものであるか否かを判定する。第２立体物検出部３７は、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。

図１６は、エッジ線の輝度分布を示す図であり、図１６（ａ）は検出領域Ａ１に立体物としての他車両Ｖ２が存在した場合のエッジ線及び輝度分布を示し、図１６（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示す。

図１６（ａ）に示すように、鳥瞰視画像において他車両Ｖ２のタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両Ｖ２のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図１６（ｂ）に示すように、鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌａ上の輝度分布の相違に基づいて、第２立体物検出部３７は、エッジ線が誤判定により検出されたものか否かを判定する。第２立体物検出部３７は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。

具体的には、第２立体物検出部３７は、下記数式４，５のいずれかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式４は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記数式５は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
《数４》
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝^２］
《数５》
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜

なお、数式５に限らず、下記数式６のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
《数６》
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき、
ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｂ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、第２立体物検出部３７は、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。

次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図１７及び図１８は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図１７及び図１８においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。

図１７に示すように、先ずステップＳ２１において、カメラ１０は、画角ａ及び取付位置によって特定された所定領域を撮像する。次に視点変換部３１は、ステップＳ２２において、ステップＳ２１にてカメラ１０により撮像された撮像画像データを入力し、視点変換を行って鳥瞰視画像データを生成する。

次に輝度差算出部３５は、ステップＳ２３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部３５は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。次に輝度差算出部３５は、ステップＳ２４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部３５は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。

次に輝度差算出部３５は、ステップＳ２５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部３５は、エッジ線検出部３６によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。また、輝度差算出部３５は、ステップＳ２６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

次に輝度差算出部３５は、ステップＳ２７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。次にエッジ線検出部３６は、上記の数式１に従って、各注目点Ｐａの属性ｓを算出する。次にエッジ線検出部３６は、ステップＳ２８において、上記の数式２に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。次にエッジ線検出部３６は、ステップＳ２９において、上記数式３に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合（Ｓ２９：ＹＥＳ）、エッジ線検出部３６は、ステップＳ３０において、当該注目線Ｌａをエッジ線として検出する。そして、処理はステップＳ３１に移行する。正規化した値が閾値θより大きくないと判断した場合（Ｓ２９：ＮＯ）、エッジ線検出部３６は、当該注目線Ｌａをエッジ線として検出せず、処理はステップＳ３１に移行する。この閾値θは予め設定しておくことができるが、制御部３９からの制御命令に応じて変更することもできる。

ステップＳ３１において、計算機３０は、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ２３〜ステップＳ３０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（Ｓ３１：ＮＯ）、ステップＳ２３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ３１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（Ｓ３１：ＹＥＳ）、処理は図１８のステップＳ３２に移行する。

図１８のステップＳ３２において、第２立体物検出部３７は、図１７のステップＳ３０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。第２立体物検出部３７は、上記数式４，５，６のいずれかの式に従って、エッジ線の輝度変化を算出する。次に第２立体物検出部３７は、ステップＳ３３において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。

次に第２立体物検出部３７は、ステップＳ３４において、エッジ線の量が第２閾値β以上であるか否かを判断する。なお、この第２閾値βは、予め実験等によって求めて設定する。例えば、検出対象の立体物として四輪車を設定した場合、当該第２閾値βは、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第２閾値β以上であると判定した場合（Ｓ３４：ＹＥＳ）、第２立体物検出部３７は、ステップＳ３５において、検出領域Ａ１内に立体物が存在すると検出する。一方、エッジ線の量が第２閾値β以上ではないと判定した場合（Ｓ３４：ＮＯ）、第２立体物検出部３７は、検出領域Ａ１内に立体物が存在しないと判断する。その後、図１７及び図１８に示す処理は終了する。検出された立体物は、自車両Ｖが走行する車線の隣の隣接車線を走行する他車両ＶＸであると判断してもよいし、検出した立体物の自車両Ｖに対する相対速度を考慮して隣接車線を走行する他車両ＶＸであるか否かを判断してもよい。なお、この第２閾値βは、上述したとおり予め設定しておくこともできるが、図３１に示す制御部３９の制御命令に応じて変更することもできる。

以上のように、本実施形態のエッジ情報を利用した立体物の検出方法によれば、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定することができる。

具体的には、鳥瞰視画像における検出領域Ａ１，Ａ２に対して、実空間において鉛直方向に伸びる線分に該当する注目線Ｌａと、注目線Ｌａとは異なる参照線Ｌｒとを設定する。そして、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差を注目線Ｌａ及び参照線Ｌａに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Ｌａと参照線Ｌｒとの輝度差を求める。注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。これによって、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、本例の方法によれば、立体物の検出精度を向上させることができる。

また、本例では、鉛直仮想線付近の略同じ高さの２つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めるので、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。

更に、本例では、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図１９は、エッジ線検出部３６の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接した画像である。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。

これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部３６は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定するので、エッジ線検出部３６は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。

さらに、本例では、エッジ線検出部３６により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両Ｖ２のタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。

《立体物の最終判断》
図３に戻り、上述した２つの立体物検出部３３，３７による立体物の検出にあたり、本例の立体物検出装置１は、第１立体物検出部３３による検出結果と第２立体物検出部３７の検出結果から立体物であるか否かを最終的に判断する立体物判断部３８と、水滴検出部４０により検出されたレンズへの水滴の付着状態に応じて水滴除去装置４１を動作させる制御部３９とを備える。

最初に水滴検出部４０による水滴の検出方法の一例を説明する。図２４Ａは、撮像手段であるカメラ１０を示す斜視図であり、車両の後方左側部から見た斜視図である。前述したとおりカメラ１０には撮影光学系を構成するレンズ（又は保護フィルタ）１１が含まれるが、カメラは車両の室外に装着されることから、雨滴や路面から巻き上げられた水滴がカメラ１０の外表面であるレンズ１１に付着することが少なくない。レンズ１１に付着した水滴は、昼間などのように周囲環境が明るい場合には撮像画像のエッジ抽出をしても水滴の輪郭エッジは抽出され難く、立体物の検出にさほど影響はないが、夜間のように周囲環境が暗い場合には、撮像画像のエッジ抽出を行うと水滴の輪郭がエッジ情報として抽出され、立体物として誤検出される可能性がある。

このため、本例ではレンズ１１に水滴が付着しているか否かを検出し、所定以上の水滴が付着している場合には水滴除去装置４１を動作させて水滴を除去する。これにより、水滴を立体物であると誤検出することを防止する。

図２６（ａ）は、カメラ１０で取得した撮像画像を用いて水滴の有無を検出する方法を説明するための撮像画像上の平面を示す図である。本例の水滴検出方法では、撮像画像の全ての画素、または特定の領域、たとえば図２に示す検出領域Ａ１，Ａ２に対応する撮像画像中の領域の画素のそれぞれについて、着目点を設定する。図２６（ａ）は、ある１つの画素について着目点を設定した状態を示す。そして、この着目点を中心にした所定半径の仮想円を想定する。この仮想円が水滴の輪郭に相当する。多くの水滴は表面張力の関係からその輪郭が円形になることを利用するものである。

次に、想定した仮想円の内部に複数の内側参照点（第１参照点）を設定するとともに、仮想円の外部であって着目点と各内側参照点とを結ぶ直線上に外側参照点（第２参照点）を設定する。たとえば、本例では図２６（ｂ）に示すように、内側参照点は着目点から１画素の対角線だけ離れた位置に設定し、外側参照点は着目点から５画素の対角線だけ離れた位置に設定する。これら仮想円の半径や内側参照点と外側参照点の設定位置は、レンズに付着する水滴の大きさや頻度を経験的に求めることで適切な値を選択することができる。また、一つの画素について複数の仮想円の半径（すなわち内側参照点と外側参照点）を設定してもよい。

本例では、内側参照点として、仮想円の内部の上側中央部と、上側左部と、上側右部と、下側左部と、下側右部との合計５点を設定し、また外側参照点として、仮想円の外部の上側中央部と、上側左部と、上側右部と、下側左部と、下側右部との合計５点を設定する。上側中央部は、同一車線の後続車のヘッドライトによる水滴の浮上を想定し、同様に上側左部及び上側右部は、左右隣接車線の後続車のヘッドライトによる水滴の浮上を想定し、下側左部及び下側右部は隣接車線との境界の白線による水滴の浮上を想定したものである。少なくともこうした位置に５つずつの内側参照点と外側参照点を設定することが望ましいが、下側左部及び下側右部のいずれか一方の内側参照点及び外側参照点を省略してもよい。

着目点と各内側参照点との距離は等距離であることが望ましいが、厳密な意味で等距離である必要はない。また、着目点と各外側参照点との距離も等距離であることが望ましいが、厳密な意味で等距離である必要はない。

以上のようにして、一つの着目点に対して複数の内側参照点とこれに対応する複数の外側参照点とを設定したら、以下の手順で水滴の有無を検出する。図２７は水滴検出部４０における水滴検出手順を示すフローチャートである。まず、ステップＳ５１に示すように一つの着目点に対して複数の内側参照点とこれに対応する複数の外側参照点とを設定したら（本例ではいずれも５点）、ステップＳ５２にてこれら内側参照点及び外側参照点に対応する画素の出力信号から輝度値を読み込む。そして、ステップＳ５３にて５つの外側参照点の輝度値が全て第１判定値以下であるか否かを判定し、全て第１判定値以下である場合はステップＳ５４へ進んで次の判定を実行する。全て第１判定値以下でない場合はステップＳ５９へ進んで、この着目点については水滴の付着はないと判定する。

ステップＳ５４では、互いに対応する内側参照点と外側参照点との間のエッジ情報を検出するために、５つの内側参照点の輝度値と、それぞれ対応する５つの外側参照点の輝度値との差を求める。そして、ステップＳ５５にて、５つの輝度差が全て第２判定値以上であるか否かを判定し、全ての輝度差が第２判定値以上である場合はステップＳ５６へ進んで次の判定を実行する。全て第２判定値以上でない場合はステップＳ５９へ進んで、この着目点については水滴の付着はないと判定する。

ステップＳ５６では、上側左部と上側右部の外側参照点の輝度差と、下側左部と下側右部の外側参照点の輝度差をそれぞれ求める。そして、ステップＳ５７にて、これら２つの輝度差が全て第３判定値以下であるか否かを判定し、全ての輝度差が第３判定値以下である場合はステップＳ５８へ進んで、この着目点については水滴の付着があると判定する。全て第３判定値以下でない場合はステップＳ５９へ進んで、この着目点については水滴の付着はないと判定する。

ステップＳ６０では、全ての対象画素について上述したステップＳ５１〜Ｓ５９の処理が実行されたか否かを判定し、終了していない場合はステップＳ５１へ戻って次の対象画素について着目点と参照点とを設定し、以上の処理を繰り返す。全ての対象画素について処理が終了したら水滴検出処理を終了する。

以上の水滴検出処理では、外側参照点の輝度値が第１判定値以下であること（すなわち仮想円の外側が十分に暗く）と、内側参照点及び外側参照点の輝度差が第２判定値以上であること（すなわち、内側参照点と外側参照点との間に水滴の輪郭となり得るエッジが存在する）と、上下それぞれの左右における輝度差が第３判定値以下であること（すなわち、左右いずれかに水滴以外の物体等が存在しないこと）とを水滴の検出判定に用いている。そして、これらの判定条件を全て満足する場合に水滴の付着があると判定する。特に、５つの内側参照点及び外側参照点の輝度差が全て第２判定値以上である場合には、エッジ情報を抽出した際に仮想円の部分が水滴の輪郭として検出される可能性が高く、エッジ情報の集合体が円形として認識される可能性が高い。本例ではこのようにエッジ情報が円形として認識される可能性の高さを円形性の強さと称し、円形性が強いほど水滴である可能性が高いと判定する。

なお、上述した例では、５つの内側参照点及び外側参照点の輝度差が全て第２判定値以上である場合に水滴が付着していると判定するが、５つのデータのうちエッジ情報が検出される割合が所定割合以上である場合に水滴が付着していると判定してもよい。たとえば、８つずつの内側参照点及び外側参照点を設定する場合に、８つの内側参照点及び外側参照点の輝度差のうちの６つ又は７つ以上の輝度差が第２判定値以上である場合にはエッジ情報の円形性が強いといえるので、水滴が付着していると判定してもよい。

次に、カメラ１０のレンズ１１に付着した水滴や泥を除去するための水滴除去装置４１の一例を説明する。図２３に示すように、本例の水滴除去装置４１は、洗浄液を蓄積する洗浄液貯留タンク４１１と、この洗浄液貯留タンク４１１に蓄積された洗浄液を送り出す洗浄液ポンプ４１２と、圧縮空気を送り出す空気ポンプ４１４と、カメラ１０のレンズ１１に向けて洗浄液、圧縮空気、或いは洗浄液と圧縮空気との混合を吐出するノズル４１６と、を備える。

さらに、洗浄液ポンプ４１２にて送出される洗浄液を、該洗浄液を蓄積する二次タンク４１７に導く洗浄液配管４１３と、空気ポンプ４１４にて送出される圧縮空気を、ノズルユニット４１８のノズル４１６に導く空気配管４１５と、洗浄液ポンプ４１２及び空気ポンプ４１４の作動を制御する制御部３９と、を備える。

図２４Ａは、車両の後部に搭載されるカメラ１０に、本例の水滴除去装置４１を設置した状態を示す斜視図であり、車両後部に固定されたカメラ１０の側部近傍には、やはり車両後部に固定されてレンズ１１の表面を洗浄するノズルユニット４１８が設けられている。ノズルユニット４１８には、レンズ１１に向けて洗浄液及び圧縮空気を噴出するノズル４１６、及びキャップ４１６ａが設けられている。ノズル４１６は、図２４Ｂに示すように、その先端部に洗浄液及び圧縮空気を噴出する２個の吐出口４１９が設けられている。即ち、ノズル７の吐出口４１９よりレンズ１１の表面に向けて洗浄液及び圧縮空気を噴出することにより、レンズ１１の表面に付着した水滴や泥などの異物を除去する構成とされている。

図２５は、図２４Ａに示すノズルユニット４１８の一部破断斜視図である。図２５に示すように、ノズルユニット４１８の先端側に設けられるノズル４１６には、その中央部に圧縮空気を導入する空気通路４２０が設けられ、該空気通路４２０の左右両側には、洗浄液を導入する洗浄液通路４２１ａ，４２１ｂが設けられている。また、空気通路４２０、及び洗浄液通路４２１ａ，４２１ｂの先端はカメラ１０のレンズ１１の表面を向くように、略直角に屈曲している。

さらに、洗浄液通路４２１ａ，４２１ｂの上流側には、洗浄液を一時的に蓄積する二次タンク４１７が設けられている。該二次タンク４１７の側部には、洗浄液配管４１３を接続するためのプラグ４１７ａ、及び空気配管４１５を接続するためのプラグ４１７ｂが設けられ、このうちプラグ４１７ｂは、二次タンク４１７の下方に設けられた流路を介して空気通路４２０に接続されている。すなわち、プラグ４１７ｂを経由してノズルユニット４１８内に導入される圧縮空気は直接空気通路４２０に導入される。

また、プラグ４１７ａは、二次タンク４１７に接続され、該プラグ４１７ａを経由して供給される洗浄液は、二次タンク４１７の上方から内部に流入する。この際、プラグ４１７ａから二次タンク４１７に接続される配管は、鉛直方向を向いている。

また、図２５に示すように、二次タンク４１７の底部は、２系統の洗浄液通路４２１ａ，４２１ｂに接続されている。従って、図２３に示した空気ポンプ４１４より送出される圧縮空気は、空気配管４１５を経由してノズル４１６の空気通路４２０に導入され、一方、洗浄液ポンプ４１２より送出される洗浄液は、二次タンク４１７に蓄積された後に、２系統の洗浄液通路４２１ａ，４２１ｂに導入されることになる。

次に、図２３に示す制御部３９は、車両に搭載されるコントロールユニットと接続されて、自車速度情報，ワイパースイッチ情報，ウォッシャースイッチ情報、シフトポジション情報，ヘッドライトスイッチ情報の各種の車両情報を取得し、更に、カメラ１０で撮像される映像であるカメラ映像情報を取得する。また、該制御部３９は、カメラ映像情報に基づいてカメラ１０のレンズ１１の表面に水滴が付着しているか否かを判断する水滴検出部４０からの検出情報と、各種の車両情報に基づいてレンズ１１の洗浄モードを判断する。さらに、この判断された洗浄モードに基づいて、空気ポンプ４１４の駆動を制御するとともに、洗浄液ポンプ４１２の駆動を制御する。

本例の水滴除去装置４１は、洗浄液と圧縮空気を噴射してレンズ１１を洗浄する加圧洗浄モードと、圧縮空気のみを送出してレンズ１１に付着した水滴を除去するエアブローモード、及び洗浄液を断続的にレンズ１１に滴下してレンズ１１に汚れが付着し難くする連続注水モードの３つのモードが設定され、レンズ１１の汚れ状態や天候状態等の各種条件に応じて、３つのモードのうちのいずれかを適宜選択して実行することにより、カメラ１０を効果的に洗浄する。なお、以下の説明においては、加圧洗浄モード及び連続注水モードの説明は省略し、本発明に関係するエアブローモードを用いた水滴の除去について説明する。

本例の水滴除去装置４１のエアブローモードは、二次タンク４１７内に洗浄液が蓄積されていない状態で制御部３９により空気ポンプ４１４のみを駆動させる。これにより圧縮空気は、空気通路４２０の先端の吐出口４１９よりレンズ１１の表面に向かって吹き付けられる。その結果、カメラ１０のレンズ１１の表面に付着した水滴を空気圧により除去することができる。

このように本例の制御部３９は、水滴検出部４０によりレンズ１１に付着した水滴が検出された場合には、水滴の付着状態に応じて水滴除去装置４１の動作を制御する。具体的には、水滴の付着個数をカウントし、付着個数が多いほどエアブローの動作時間を長く設定する。

図２１及び図２２は、水滴の付着個数に対するエアブローのＯＦＦ間隔の設定例を示す制御マップである。図２１は、水滴の付着個数が多いほどエアブローのＯＦＦ間隔を短く設定した例であり、図２２（ａ）は水滴の付着個数が少ない場合のエアブローの動作タイムチャート、図２２（ｂ）は水滴の付着個数が多い場合のエアブローの動作タイムチャートの一例である。水滴除去装置４１の空気ポンプ４１４の動作をＯＮ／ＯＦＦ制御する場合に、制御部３９は、水滴検出部４０にて検出された水滴の個数が多いほど図２２（ｂ）に示すように相対的にＯＦＦ間隔ｔ１を短く設定する（ｔ１＜ｔ０）。これにより、カメラ１０のレンズ１１の表面に対してエアブローされる時間が長くなり、多量の水滴が付着していても除去することができる。逆に少量の水滴が付着している場合はエアブローのＯＦＦ間隔ｔ０を長く設定することでカメラ１０のレンズ１１の表面に対してエアブローされる時間を短くし、不検出期間を極力抑制する。

次に図２０を参照して、立体物判断部３８及び制御部３９の動作を説明する。まず、ステップＳ４１にて水滴検出部４０によりレンズ１１への水滴の付着状態（水滴個数）を検出し、制御部３９へ出力する。このとき、水滴が検出領域Ａ１又はＡ２の少なくとも一方に付着している場合にのみステップＳ４２を実行し、検出領域Ａ１，Ａ２のいずれにも付着していない場合はステップＳ４２を実行しないようにしてもよい。また、水滴の付着による誤検出は環境が暗い場合に発生する可能性が高いので、カメラ１０の露出センサなどによって環境の明るさを検出し、当該明るさが所定値以下の場合にのみステップＳ４２を実行するようにしてもよい。

ステップＳ４２にて、制御部３９は、検出された水滴の付着状態と予め記憶された図２１の制御マップを用いて水滴除去装置４１のエアブローモードにおけるエアブローＯＦＦ時間を設定するとともに、設定された条件でエアブローを実行する。これにより、水滴の付着状態に応じたエアブローが実行され、レンズ１１の表面に付着した水滴が除去される。

ステップＳ４３では、上述した手順で差分波形情報による立体物の検出を実行する。また、ステップＳ４４では、上述した手順でエッジ情報による立体物の検出を実行する。これら差分情報による立体物の検出とエッジ情報による立体物の検出に際しては、予め第１閾値α及び第２閾値βがそれぞれ第１立体物検出部３３と第２立体物検出部３７に設定されている。

ステップＳ４５では、ステップＳ４３にて立体物であると検出され、且つステップＳ４４にて立体物であると検出されたか否かを判断し、いずれのステップＳ４３，Ｓ４４でも立体物であると検出された場合にはステップＳ４６へ進み、立体物であると最終的に判断する。いずれかのステップＳ４３，Ｓ４４で立体物ではないと検出された場合にはステップＳ４７へ進み、立体物ではないと最終的に判断する。

以上のとおり、本例の立体物検出装置１によれば、カメラ１０のレンズ１１に水滴が付着すると、夜間などのように検出環境が暗い場合には、街灯やヘッドライト等の影響によって水滴を立体物であると誤検出する可能性があるが、水滴の付着個数が多いほど水滴除去装置４１によって水滴を効率的に除去するので、立体物と水滴との誤検出を防止することができる。

ちなみに、図３の位置合わせ部３２及び第１立体物検出部３３にて差分波形情報を生成するにあたり、上述した実施形態では図４に示すように自車両の移動速度に基づいて、現在時刻の鳥瞰視画像と一時刻前の鳥瞰視画像とを鳥瞰視画像の実空間における移動距離だけ位置をずらして位置合わせし、この状態での差分画像を求め、これから差分波形情報を生成したが、以下の方法によることもできる。

すなわち、異なるタイミングにおける撮像画像をオフセットさせた差分画像では、移動物体の特徴点に対応する画素量（差分を示す画素数）が大きく現れ、異なるタイミングにおける撮像画像をオフセットさせない差分画像では静止物体の特徴点に対応する画素量が大きく現れる。そこで、本例では、オフセットしたタイミングの異なる撮像画像の差分画像の画素値（エッジ量）と、オフセットしないタイミングの異なる撮像画像の差分画像の画素値（エッジ量）とを比較することにより、立体物が静止物体であるか移動物体であるかを判断する。

図２８（ａ）に示すように、過去のタイミングＴ０において、検出領域Ａ１，Ａ２内に立体物の像Ｑ（Ｔ０）が検出され、Ｔ０のタイミングの後の現在のタイミングＴ１において、検出領域Ａ１，Ａ２内に立体物の像Ｑ（Ｔ１）が検出された場合には、検出主体である自車両Ｖは方向Ｂに沿って移動するので、画像上、過去のタイミングＴ０において検出された立体物の像Ｑ（Ｔ０）は、検出領域Ａ１，Ａ２の図中上側の立体物の像Ｑ（Ｔ１）の位置へ移動する。

そして、図２８（ｂ）に示すように、現在のタイミングＴ１において検出された立体物の像Ｑ（Ｔ１）の画素またはエッジ成分の分布と、過去のタイミングＴ０において検出された立体物の像Ｑ（Ｔ０）の像であって、所定量だけオフセットさせた立体物の像Ｑ（Ｔ０Ａ）の画素またはエッジ成分の分布と、同じく過去のタイミングＴ０において検出された立体物の像Ｑ（Ｔ０）の像であって、オフセットをさせない立体物の像Ｑ（Ｔ０Ｂ）の画素またはエッジ成分の分布を得る。

図２８(ｂ)に示すように、画像Ｔ１とオフセットされた画像Ｔ０Ａとを比較すると、画像Ｔ１における立体物の像Ｑ（Ｔ１）と画像Ｔ０Ａにおける立体物の像Ｑ（Ｔ０Ａ）との位置（自車両Ｖの移動方向Ｂに沿う位置）はほぼ共通する。他方、同図に示すように、画像Ｔ１とオフセットしない画像Ｔ０Ｂとを比較すると、画像Ｔ１における立体物の像Ｑ（Ｔ１）と画像Ｔ０Ｂにおける立体物の像Ｑ（Ｔ０Ｂ）との位置（自車両Ｖの移動方向Ｂに沿う位置）は異なる。つまり、Ｔ１とＴ０Ａとの差分画像を求めると、共通する部分については差し引かれて残らないので、特徴として抽出される画素の数は少なく、Ｔ１とＴ０Ｂとの差分画像を求めると、異なる部分が残るので、特徴として抽出される画素の数は相対的に多い。

次に、立体物が移動物体であるか静止物体であるかを考慮して、図２８に示す着目点を説明する。図２９に基づいて立体物が移動物体である場合を説明し、図３０に基づいて立体物が静止物体である場合を説明する。

図２９（ａ）に示すように、検出される立体物が移動する他車両ＶＸである場合には、自車両Ｖと他車両ＶＸの両方が移動するので、自車両Ｖと他車両ＶＸとは所定の位置関係を保つ傾向がある。つまり、撮像画像をオフセットすると他車両ＶＸの位置は、却ってずれる傾向があり、差分画像ＰＤｔには特徴となりうる画素(エッジ)が多く検出される。他方、図２９（ｂ）に示すように、撮像画像をオフセットしない場合には、自車両Ｖと他車両ＶＸの位置は接近する傾向があり、差分画像ＰＤｔには特徴となりうる画素(エッジ)が少なく検出される。差分画像ＰＤｔにおける画素(エッジ)が多ければ積算値は高くなり、差分画像ＰＤｔにおける画素(エッジ)が少なければ差分波形情報における積算値は低くなる傾向がある。

また、図３０（ａ）に示すように、検出される立体物が静止した静止物体Ｑ１である場合には、自車両Ｖが移動する一方で静止物体Ｑ１は静止しているので、自車両Ｖと静止物体Ｑ１とは離隔する傾向がある。つまり、撮像画像をオフセットすると自車両Ｖと静止物体Ｑ１の位置は接近する傾向があり、差分画像ＰＤｔには特徴となりうる画素(エッジ)は少なく検出される。他方、図３０（ｂ）に示すように、撮像画像をオフセットしないと、自車両Ｖの移動に伴い静止物体Ｑ１の位置が前回の撮像画像とは異なる傾向があり、差分画像ＰＤｔには特徴となりうる画素(エッジ)が多く検出される。差分画像ＰＤｔにおける画素(エッジ)が多ければ輝度分布情報における積算値は高くなり、差分画像ＰＤｔにおける画素(エッジ)が少なければ輝度分布情報における積算値は低くなる傾向がある。

上述した考え方は、エッジ情報を用いる場合も同様に適用することができる。
つまり、立体物が検出された第１の時刻Ｔ０において得られた第１鳥瞰視画像の位置と、第１の時刻の後の第２の時刻Ｔ１において得られた第２鳥瞰視画像の位置とを鳥瞰視上で位置合わせし、この位置合わせされた鳥瞰視画像の差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第１輝度分布情報の第１積算値を求める。つまり、自車両Ｖの移動量を考慮して、オフセットした差分画像を生成する。オフセットする量ｄ’は、図４（ａ）に示した自車両Ｖの実際の移動距離に対応する鳥瞰視画像データ上の移動量に対応し、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。第１積算値は、第１輝度分布情報としてプロットされた値の全部又は所定領域の合計値である。

続いて、第１の時刻Ｔ０において得られた第１鳥瞰視画像と、第１の時刻Ｔ０の後の第２の時刻Ｔ１において得られた第２鳥瞰視画像との、位置をずらさないで得られた差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第２輝度分布情報の第２積算値を求める。つまり、オフセットさせない差分画像を生成し、その積算値（第２積算値）を算出する。第２積算値は、第２輝度分布情報としてプロットされた値の全部又は所定領域の合計値である。

そして、第２積算値が第１積算値よりも大きいと判断された回数に応じた評価値が所定の評価閾値以上である場合には、第１立体物検出部３３により検出された立体物が「移動物体」であると判断する。評価値の算出手法は限定されないが、本実施形態では、所定周期で繰り返し実行される処理において、第２積算値が第１積算値よりも大きいと判断される度に、評価ポイントをカウントアップし、その合計値を「評価値」として求める。

このように、異なる時刻の撮像画像に基づいて、オフセットさせた過去の撮像画像と現在の撮像画像との差分画像から抽出される画素量(エッジ量)と、オフセットさせない過去の撮像画像と現在の撮像画像との差分画像から抽出される画素量(エッジ量)との大小関係に基づいて、移動物体の画像遷移の特徴と静止物体の画像遷移の特徴とを識別し、立体物が移動物体であるか静止物体であるかを高い精度で判断することができる。

本例では、オフセットしていない画像との差分画像において所定差分を示す画素(エッジ量)の第２積算値が、オフセットした画像との差分画像において所定差分を示す画素(エッジ量)の第１積算値よりも大きいと判断された場合には、第１カウント値を加算して評価値を算出する。つまり、第２積算値が第１積算値よりも大きいという判断が積み重なるにつれて、評価値を増加させる。そして、評価値が所定の評価閾値以上である場合には、立体物が静止物体であると判断する。

この処理において、第２積算値が第１積算値よりも大きいという内容の判断が連続する場合には、この判断の連続回数が増えるにつれて、第１カウント値を高く設定する。このように、第２積算値が第１積算値よりも大きい判断が連続する場合には、検出された立体物が静止物体である可能性が高まっていると判断し、評価値がより大きくなるように第１カウント値を大きくするので、継時的な観察結果に基づいて、立体物が移動物体であるか否かを高い精度で判断することができる。

また、第２積算値が第１積算値よりも大きいと判断された場合には第１カウント値を加算するとともに、第２積算値が第１積算値よりも小さいと判断された場合には、第２カウント値を減算して評価値を算出してもよい。この場合において、静止物検出部３８は、第２積算値が第１積算値よりも大きいという内容の判断がされた後に、第２積算値が第１積算値よりも小さいという内容の判断がされ、さらにその後に、第２積算値が第１積算値よりも大きいという内容の判断がされた場合には、第１カウント値を高く設定する。

このように、第２積算値が第１積算値よりも大きいという判断と、第１積算値が第２積算値よりも大きいという判断とが入れ替わり生じる場合は、検出された立体物は静止物体である可能性が高いと判断し、評価値が大きくなるように第１カウント値を大きくするので、継時的な観察結果に基づいて、静止物体を高い精度で判断することができる。ちなみに、移動物体の特徴の検出状態は安定的に観察できる傾向が高い。検出結果が不安定であり、立体物が静止物体であるという判断結果が離散的に検出された場合には、検出された立体物は静止物体である可能性が高いと判断することができるからである。

また、第２積算値が第１積算値よりも小さいと判断された場合には、第２カウント値を減算して評価値を算出する。この場合において、第２積算値が第１積算値よりも小さいという内容の判断が所定回数以上連続した場合には、第２カウント値を高く設定する。

このように、第２積算値が第１積算値よりも小さいと判断した場合には、検出された立体物が移動物体（他車両ＶＸ）である可能性が高いと判断し、静止物体を判断するための評価値が小さくなるように、減算に係る第２カウント値を大きくするので、継時的な観察結果に基づいて、静止物体を高い精度で判断することができる。

＜第２実施形態＞
本発明に係る立体物検出装置の第２実施形態を図３１〜図３６を参照して説明する。なお、図４〜図１２に示す差分波形情報による立体物の検出の構成及び図１３〜図１９に示すエッジ情報による立体物の検出の構成は、特段の説明がない限り上述した第１実施形態と共通するので第１実施形態の説明をここに援用する。

図３１に示すように、本例の計算機３０は、視点変換部３１と、位置合わせ部３２と、第１立体物検出部３３と、スミア検出部３４と、輝度差算出部３５と、エッジ線検出部３６と、第２立体物検出部３７と、立体物判断部３８と、制御部３９とを備える。このうち、視点変換部３１、スミア検出部３４と、位置合わせ部３２及び第１立体物検出部３３が上述した第１実施形態の差分波形情報を利用した立体物の検出ブロックＡに関する構成部であり、視点変換部３１、輝度差算出部３５、エッジ線検出部３６及び第２立体物検出部３７が上述した第１実施形態のエッジ情報を利用した立体物の検出ブロックＢに関する構成部である。以下、第１実施形態との主な相違点を説明する。

《立体物の最終判断》
図３１に示す本例の立体物検出装置１は、２つの立体物検出部３３，３７による立体物の検出にあたり、第１立体物検出部３３による検出結果と第２立体物検出部３７の検出結果から立体物であるか否かを最終的に判断する立体物判断部３８と、水滴検出部４０により検出されたレンズへの水滴の付着状態に応じて第１立体物検出部３３の第１閾値αと第２立体物検出部３７の第２閾値βとを設定する制御部３９とを備える。なお、水滴検出部４０による水滴の検出方法は、図２６及び図２７に示す第１実施形態と同じであるためその説明を省略する。

本例においても、図２４Ａ，２４Ｂに示す撮像手段であるカメラ１０を備える。前述したとおりカメラ１０には撮影光学系を構成するレンズ（又は保護フィルタ）１１が含まれるが、カメラは車両の室外に装着されることから、雨滴や路面から巻き上げられた水滴がカメラ１０の外表面であるレンズ１１に付着することが少なくない。レンズ１１に付着した水滴は、昼間などのように周囲環境が明るい場合には撮像画像のエッジ抽出をしても水滴の輪郭エッジは抽出され難く、立体物の検出にさほど影響はないが、夜間のように周囲環境が暗い場合には、撮像画像のエッジ抽出を行うと水滴の輪郭がエッジ情報として抽出され、立体物として誤検出される可能性がある。

このため、本例ではレンズ１１に水滴が付着しているか否かを検出し、所定以上の水滴が付着している場合には、立体物との誤検出を防止するために立体物の検出を抑制する。具体的には、制御部３９によって第１立体物検出部３３の第１閾値αと、第２立体物検出部３７の第２閾値βとの少なくとも一方を、それまでの通常設定値より相対的に高く設定する。これにより、立体物判断部３８により立体物であると判断される可能性を低くし、水滴を立体物であると誤検出することを防止する。

本例の制御部３９は、水滴検出部４０によりレンズ１１に付着した水滴が検出された場合には、第１立体物検出部３３又は第２立体物検出部３７により検出された立体物が他車両ＶＸであると判断されることを抑制するために、検出された水滴に対応する像が検出領域Ａ１，Ａ２に存在する他車両ＶＸであると判断されることが抑制されるように計算機３０を構成する各部（制御部３９を含む）を制御する制御命令を出力する。第１立体物検出部３３又は第２立体物検出部３７により検出された立体物が他車両ＶＸであると判断されることを抑制する具体的方法は、以下のとおりである。

差分波形情報を用いて立体物を検出する第１立体物検出部３３が、差分波形情報が所定の第１閾値α以上であるときに立体物を検出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物が検出され難いように第１閾値αを高く変更する制御命令を生成し、この制御命令を第１立体物検出部３３に出力する。

同じく、第１立体物検出部３３が、差分波形情報が所定の第１閾値α以上であるときに立体物を検出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く変更して出力させる制御命令を生成し、この制御命令を第１立体物検出部３３に出力する。

また、差分波形情報を用いて立体物を検出する第１立体物検出部３３が閾値ｐ以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物が検出され難いように閾値ｐを高く変更する制御命令を生成し、この制御命令を第１立体物検出部３３に出力する。

同じく、第１立体物検出部３３が閾値ｐ以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において抽出される画素数を低く変更して出力する制御命令を生成し、この制御命令を第１立体物検出部３３に出力する。

一方、エッジ情報を用いて立体物を検出する第２立体物検出部３７が所定閾値ｔ以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物が検出され難いように所定閾値ｔを高く変更する制御命令を生成し、この制御命令を第２立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する第２立体物検出部３７が所定閾値ｔ以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、画素の輝度値を低く変更して出力する制御命令を生成し、この制御命令を第２立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する第２立体物検出部３７がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物が検出され難いように閾値θを高く変更する制御命令を生成し、この制御命令を第２立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する第２立体物検出部３７がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、検出したエッジ情報のエッジ線の長さの値を低く変更して出力させる制御命令を生成し、この制御命令を第２立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する第２立体物検出部３７がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第２閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物が検出され難いように第２閾値βを高く変更する制御命令を生成し、この制御命令を第２立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する第２立体物検出部３７がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第２閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、検出した所定長さ以上のエッジ線の本数を低く出力する制御命令を生成し、この制御命令を第２立体物検出部３７に出力する。

また、立体物判断部３８は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物が検出され難いように立体物を他車両であると判断する際の下限となる所定速度を高く変更する制御命令を生成し、この制御命令を立体物判断部３８に出力する。

同じく、立体物判断部３８は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物を他車両であると判断する際の下限となる所定速度と比較される立体物の移動速度を低く変更して出力する制御命令を生成し、当該制御命令を立体物判断部３８に出力する。

また、立体物判断部３８が、検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部３９は、水滴検出部３９がレンズ１１に付着した水滴を検出した場合には、立体物を他車両であると判断する際の上限となる所定速度を低く変更する制御命令を生成し、この制御命令を立体物判断部３８に出力する。

同じく、立体物判断部３８検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部３９は、水滴検出部４０がレンズ１１に付着した水滴を検出した場合には、立体物を他車両であると判断する際の上限となる所定速度と比較される立体物の移動速度を高く変更する制御命令を生成し、この制御命令を立体物判断部３８に出力する。

なお、ここで「移動速度」は、立体物の絶対速度、および自車両に対する立体物の相対速度を含む。立体物の絶対速度は立体物の相対速度から算出してもよいし、立体物の相対速度は立体物の絶対速度から算出してもよい。

さらに、制御部３９は、第１立体物検出部３３又は第２立体物検出部３７による立体物が存在するという検出結果、又は立体物判断部３８による立体物が最終的に他車両ＶＸであるという判断結果が出ることを抑制するために、検出領域Ａ１，Ａ２を部分的にマスクし、又は検出や判断に用いられる閾値や出力値を調整してもよい。

具体的に、制御部３９は、レンズ１１に付着した水滴の位置に対応する検出領域Ａ１，Ａ２の一部分の位置情報（画像座標情報）を指定し、そのマスクした領域における立体物の検出処理又は立体物が他車両ＶＸであるか否かの判断を行わない制御指令、マスクした領域において立体物は非検出である又はマスクした領域における立体物は他車両ＶＸではない旨の結果を出力させる制御指令を生成して第１立体物検出部３３、第２立体物検出部３７又は立体物判断部３８へ送出する。このマスクした領域において立体物は非検出である又はマスクした領域における立体物は他車両ＶＸではない旨の結果を出力させる制御指令は、マスク領域の画像データを指定する指令と、上述したように各閾値または各出力値を変更する指令を含む。

このように、制御部３９は、閾値や出力値を変更させる制御指令、立体物の検出処理又は立体物が他車両ＶＸであるか否かの判断を中止させる制御指令、立体物は非検出である又は立体物は他車両ＶＸではない旨の結果を出力させる制御指令を生成して第１立体物検出部３３、第２立体物検出部３７又は立体物判断部３８へ送出する。

本例の第１立体物検出部３３又は第２立体物検出部３７は、制御部３９の制御命令に従い、画像情報、差分波形情報、エッジ情報の一部を処理対象となる情報から除外し、閾値又は出力値を調整し、厳しい基準の下で立体物の検出を行い、立体物は非検出である旨の検出結果を出力する処理を実行し、又は立体物検出処理自体を中止する。同様に、立体物判断部３８は、制御部３９の制御命令に従い、閾値又は出力値を調整し、厳しい基準の下で検出された立体物が他車両ＶＸであるか否かの判断を行い、立体物は他車両ＶＸではない旨の判断を出力し、又は立体物判断処理自体を中止する。上記立体物判断に係る制御処理は、各検出領域Ａ１，Ａ２の像を受像するレンズ１１に水滴が付着している状況が水滴検出部４０により検出された場合に行われる。

次に、本例の制御部３９による立体物の検出抑制の一例を説明する。以下の例では、水滴検出部４０により検出された水滴の付着状態に応じて、第１立体物検出部３３の第１閾値αと第２立体物検出部３７の第２閾値βとを設定し、より具体的には、水滴検出部４０により検出された水滴の個数が多いほど、第１閾値α及び第２閾値βの少なくとも一方を大きく設定する。この場合の水滴の個数は、撮像画像の全体に対応するレンズ全体の個数でも、検出領域Ａ１，Ａ２といった特定領域に対応するレンズ領域に付着した個数であってもよい。

図３３〜図３６は、水滴の付着個数に対する第１閾値α又は第２閾値βの設定例を示す制御マップである。図３３は、水滴の付着個数が多いほど第１閾値α又は第２閾値βを階段的に増加させた例であり、図３４は同様に水滴の付着個数が多いほど第１閾値α又は第２閾値βを階段的に増加させた例であるが、制御のハンチングを防止するためにヒステリシスを設定した例である。また、図３５は、水滴の付着個数が多いほど第１閾値α又は第２閾値βを比例して増加させた例であり、図３６は同様に水滴の付着個数が多いほど第１閾値α又は第２閾値βを比例して増加させた例であるが、制御のハンチングを防止するためにヒステリシスを設定した例である。

次に図３２を参照して、立体物判断部３８及び制御部３９の動作を説明する。まず、ステップＳ４１にて水滴検出部４０によりレンズ１１への水滴の付着状態（水滴個数）を検出し、制御部３９へ出力する。ステップＳ４２にて、制御部３９は、検出された水滴の付着状態と予め記憶された図３３〜図３６のいずれかの制御マップを用いて第１閾値αと第２閾値βを演算し、第１立体物検出部３３と第２立体物検出部３７に出力する。

ステップＳ４３では、上述した手順で差分波形情報による立体物の検出を実行する。また、ステップＳ４４では、上述した手順でエッジ情報による立体物の検出を実行する。これら差分情報による立体物の検出とエッジ情報による立体物の検出に際しては、水滴の付着状態に応じた第１閾値α及び第２閾値βがそれぞれ第１立体物検出部３３と第２立体物検出部３７に設定されている。

ステップＳ４５では、ステップＳ４３にて立体物であると検出され、且つステップＳ４４にて立体物であると検出されたか否かを判断し、いずれのステップＳ４３，Ｓ４４でも立体物であると検出された場合にはステップＳ４６へ進み、立体物であると最終的に判断する。いずれかのステップＳ４３，Ｓ４４で立体物ではないと検出された場合にはステップＳ４７へ進み、立体物ではないと最終的に判断する。

以上のとおり、本例の立体物検出装置１によれば、カメラ１０のレンズ１１に水滴が付着すると、夜間などのように検出環境が暗い場合には、街灯やヘッドライト等の影響によって水滴を立体物であると誤検出する可能性があるが、水滴の付着個数が多いほど立体物の検出を抑制するので、立体物と水滴との誤検出を防止することができる。

ちなみに、図３１の位置合わせ部３２及び第１立体物検出部３３にて差分波形情報を生成するにあたり、上述した第２実施形態では図４に示すように自車両の移動速度に基づいて、現在時刻の鳥瞰視画像と一時刻前の鳥瞰視画像とを鳥瞰視画像の実空間における移動距離だけ位置をずらして位置合わせし、この状態での差分画像を求め、これから差分波形情報を生成したが、上述した第１実施形態と同様に図２８〜図３０に示す他の方法によることもできる。

以上のように構成され作用する本例の立体物検出装置１は、以下の効果を奏する。
（１）本例の立体物検出装置１によれば、画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の内側参照点と、仮想円の外部に内側１参照点に対応する複数の外側参照点とをそれぞれ設定し、これら内側参照点と外側参照点との間のエッジ情報を検出し、これらのエッジ情報の円形性の強さを判断することで、カメラ１０のレンズ１１に付着した水滴を検出するので、水滴を精度よく検出することができる。

（２）また本例の立体物検出装置１によれば、カメラ１０のレンズ１１に水滴が付着すると、夜間などのように検出環境が暗い場合には、街灯やヘッドライト等の影響によって水滴を立体物であると誤検出する可能性があるが、水滴の付着状態に応じて水滴除去装置４１を動作させて水滴を除去するので、立体物と水滴との誤検出を防止することができる。

（３）また本例の立体物検出装置１によれば、カメラ１０のレンズ１１に水滴が付着すると、夜間などのように検出環境が暗い場合には、街灯やヘッドライト等の影響によって水滴を立体物であると誤検出する可能性があるが、水滴の付着状態に応じて立体物が他車両であると判断されることを抑制するので、立体物と水滴との誤検出を防止することができる。

上記カメラ１０は本発明に係る撮像手段に相当し、上記レンズ１１は本発明に係る撮影光学系に相当し、上記視点変換部３１は本発明に係る画像変換手段に相当し、上記位置合わせ部３２及び第１立体物検出部３３は本発明に係る第１立体物検出手段に相当し、上記輝度差算出部３５，エッジ線検出部３６及び第２立体物検出部３７は本発明に係る第２立体物検出手段に相当し、上記立体物判断部３８は本発明に係る立体物判断手段に相当し、上記水滴検出部４０は本発明に係る水滴検出手段に相当し、上記制御部３９は本発明に係る制御手段に相当し、水滴除去装置４１は水滴除去手段に相当する。

１…移動距離検出装置
１０…カメラ
１１…レンズ
２０…車速センサ
３０…計算機
３１…視点変換部
３２…位置合わせ部
３３…第１立体物検出部
３４…スミア検出部
３５…輝度差算出部
３６…エッジ検出部
３７…第２立体物検出部
３８…立体物判断部
３９…制御部
４０…水滴検出部
４１…水滴除去装置
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
ＤＷ_ｔ１〜ＤＷ_ｍ，ＤＷ_ｍ＋ｋ〜ＤＷ_ｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢ_ｔ…鳥瞰視画像
ＰＤ_ｔ…差分画像
ＭＰ…マスク画像
Ｓ…スミア
ＳＰ…スミア画像
ＳＢ_ｔ…スミア鳥瞰視画像
Ｖ１，Ｖ２…自車両
Ｖ３，Ｖ４，ＶＸ…他車両

Claims (25)

1. 撮影光学系を含み所定領域を撮像する撮像手段と、
   前記撮像手段により得られた画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の第１参照点と、前記仮想円の外部に前記第１参照点に対応する複数の第２参照点と、をそれぞれ設定し、前記第１参照点と前記第２参照点との間のエッジ情報を検出し、これらのエッジ情報の円形性の強さを判断することで、前記撮影光学系に付着した水滴を検出する水滴検出手段と、を備える水滴検出装置。
2. 前記水滴検出手段は、
   前記仮想円の内部の上側中央部と、上側左部と、上側右部と、下側左部又は下側右部の少なくともいずれか一方と、を前記第１参照点として設定する請求項１に記載の水滴検出装置。
3. 前記水滴検出手段は、前記複数の第１参照点と前記複数の第２参照点との間にエッジ情報が検出される割合が大きいほど前記円形性の強さを強いと判断する請求項１又は２に記載の水滴検出装置。
4. 撮影光学系を含み所定領域を撮像する撮像手段と、
   前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
   前記画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の第１参照点と、前記仮想円の外部に前記第１参照点に対応する複数の第２参照点と、をそれぞれ設定し、前記第１参照点と前記第２参照点との間のエッジ情報を検出し、これらのエッジ情報の円形性の強さを判断することで、前記撮影光学系に付着した水滴を検出する水滴検出手段と、
   前記画像変換手段により得られた前記鳥瞰視画像上で、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向において輝度差が所定の第１閾値以上の画素の分布情報を検出し、前記立体物が倒れ込む方向における前記画素の分布の度合いが所定の第２閾値以上である場合に、前記画素の分布情報に基づいて立体物を検出する立体物検出手段と、
   前記立体物検出手段により検出された検知領域内の立体物が他車両であるか否かを判断する立体物判断手段と、
   前記水滴検出手段により検出された検知領域内における水滴の付着状態に応じて、車両を制御する制御手段と、を備える立体物検出装置。
5. 前記撮影光学系に付着した水滴を除去する水滴除去手段をさらに備え、
   前記制御手段は、前記水滴検出手段により検出された検知領域内における水滴の付着状態に応じて、前記水滴除去手段を動作させる請求項４に記載の立体物検出装置。
6. 前記制御手段は、前記水滴検出手段により検出された水滴の個数が多いほど前記水滴除去手段の動作時間を長く設定する請求項５に記載の立体物検出装置。
7. 前記制御手段は、前記画像中の前記所定領域内において前記水滴が検出された場合に、前記水滴除去手段を動作させる請求項５又は６に記載の立体物検出装置。
8. 前記制御手段は、環境の明るさが所定値以下の場合に前記水滴除去手段を動作させる請求項５〜７のいずれか一項に記載の立体物検出装置。
9. 前記制御手段は、前記水滴検出手段により検出された水滴の付着状態に応じて、前記立体物検出手段による立体物の検出を抑制または、前記立体物判断手段により前記立体物が他車両であると判断されることを抑制する請求項４に記載の立体物検出装置。
10. 前記水滴検出手段は、前記複数の第１参照点と前記複数の第２参照点との間にエッジ情報が検出される割合が大きいほど前記円形性の強さを強いと判断し、
    前記制御手段は、前記水滴検出手段により検出された円形性が強いほど、前記立体物検出手段の検出時間を相対的に長く設定する請求項４〜９のいずれか一項に記載の立体物検出装置。
11. 前記立体物検出手段は、
    前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で、前記所定領域内に予め設定された検知領域内の所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、前記差分波形情報に基づいて立体物を検出する第１立体物検出部を含み、
    前記差分波形情報が所定の第１閾値α以上である場合に立体物を検出し、
    前記制御手段は、
    前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記第１閾値αを高く変更する制御命令を生成し、当該制御命令を前記第１立体物検出部に出力する請求項４に記載の立体物検出装置。
12. 前記第１立体物検出部は、前記差分波形情報が所定の第１閾値α以上である場合に立体物を検出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低くする制御命令を生成し、当該制御命令を前記第１立体物検出部に出力する請求項１１に記載の立体物検出装置。
13. 前記第１立体物検出部は、閾値ｐ以上の画素値を示す画素数を前記所定の差分を示す画素数として抽出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記閾値ｐを高く変更する制御命令を生成し、当該制御命令を前記第１立体物検出部に出力する請求項１１又は１２に記載の立体物検出装置。
14. 前記第１立体物検出部は、閾値ｐ以上の画素値を示す画素数を前記所定の差分を示す画素数として抽出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において抽出される画素数を低く変更して出力する制御命令を生成し、当該制御命令を前記第１立体物検出部に出力する請求項１１〜１３のいずれか一項に記載の立体物検出装置。
15. 前記立体物検出手段は、
    前記画像変換手段により得られた鳥瞰視画像から前記所定領域内に予め設定された検知領域内のエッジ情報を検出し、前記エッジ情報に基づいて立体物を検出する第２立体物検出部を含み、
    所定閾値ｔ以上の輝度差を示す画素に基づいてエッジ線を抽出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記所定閾値ｔを高く変更する制御命令を生成し、当該制御命令を前記第２立体物検出部に出力する請求項４に記載の立体物検出装置。
16. 前記第２立体物検出部は、所定閾値ｔ以上の輝度差を示す画素に基づいてエッジ線を抽出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記画素の輝度値を低くする制御命令を生成し、当該制御命令を前記第２立体物検出部に出力する請求項１５に記載の立体物検出装置。
17. 前記第２立体物検出部は、前記エッジ情報に含まれる閾値θ以上の長さを有する前記エッジ線に基づいて立体物を検出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記閾値θを高く変更する制御命令を生成し、当該制御命令を前記第２立体物検出部に出力する請求項１５又は１６に記載の立体物検出装置。
18. 前記第２立体物検出部は、前記エッジ情報に含まれる閾値θ以上の長さを有する前記エッジ線に基づいて立体物を検出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記検出したエッジ情報に含まれるエッジの長さの値を低く出力する制御命令を生成し、当該制御命令を前記第２立体物検出部に出力する請求項１５〜１７のいずれか一項に記載の立体物検出装置。
19. 前記第２立体物検出部は、前記エッジ情報に含まれる所定長さ以上のエッジ線の本数が第２閾値β以上であるか否かの判断に基づいて立体物を検出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記立体物が検出され難いように前記第２閾値βを高く変更する制御命令を生成し、当該制御命令を前記第２立体物検出部に出力する請求項１５〜１８のいずれか一項に記載の立体物検出装置。
20. 前記第２立体物検出部は、前記エッジ情報に含まれる所定長さ以上のエッジ線の本数が第２閾値β以上であるか否かの判断に基づいて立体物を検出し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、前記検出した所定長さ以上のエッジ線の本数を低く出力する制御命令を生成し、当該制御命令を前記第２立体物検出部に出力する請求項１５〜１８のいずれか一項に記載の立体物検出装置。
21. 前記制御手段は、前記画像中の前記所定領域内において前記水滴が検出された場合に、前記立体物を他車両であると判断することを抑制する請求項４〜２０のいずれか一項に記載の立体物検出装置。
22. 前記制御手段は、前記水滴検出手段により検出された水滴の個数が多いほど前記立体物を他車両であると判断することの抑制度合を高くする請求項４〜２１のいずれか一項に記載の立体物検出装置。
23. 前記制御手段は、環境の明るさが所定値以下の場合に前記立体物を他車両であると判断することを抑制する請求項４〜２２に記載の立体物検出装置。
24. 前記立体物判断手段は、前記検出された立体物の移動速度が予め設定された所定速度以上である場合に、当該立体物を他車両であると判断し、
    前記制御手段は、前記水滴検出手段により水滴が検出された場合には、
    ａ）立体物を他車両であると判断する際の下限となる前記所定速度を高くする制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、
    ｂ）前記立体物を他車両であると判断する際の下限となる前記所定速度と比較される前記立体物の移動速度を低く変更して出力する制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、
    ｃ）前記立体物を他車両であると判断する際の上限となる前記所定速度を低く変更する制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、
    ｄ）前記立体物を他車両であると判断する際の上限となる前記所定速度と比較される前記立体物の移動速度を高く変更する制御命令を生成し、当該制御命令を前記立体物判断手段に出力するか、の少なくとも一を実行する請求項４〜２３のいずれか一項に記載の立体物検出装置。
25. 撮影光学系を含む撮像手段の前記撮影光学系に付着した水滴を検出する方法であって、
    前記撮像手段により取得された撮像画像中の任意の着目点と、当該着目点を中心とする所定半径の仮想円の内部に複数の第１参照点と、前記仮想円の外部に前記第１参照点に対応する複数の第２参照点と、をそれぞれ設定し、
    前記第１参照点と前記第２参照点との間のエッジ情報を検出し、
    これらのエッジ情報が所定条件を満たす場合に前記仮想円に相当する部位に水滴が付着していると判断する水滴検出方法。

Images