JPWO2014017601A1 - 立体物検出装置および立体物検出方法 - Google Patents

Abstract

撮像画像に基づいて立体物を検出する第１立体物検出手段３３と、自車両後方に存在する光源を検出する光源検出手段３４と、光源に基づいて立体物を検出する第２立体物検出手段３５と、立体物が隣接車両であるか否かを判断する立体物判断手段３７と、撮像画像に基づいて、レンズ白濁度を算出する白濁度算出手段３８と、レンズ白濁度が所定の判定値以上である場合には少なくとも第２立体物検出手段による検出結果に基づいて、立体物が隣接車両であるか否かを判断し、レンズ白濁度が判定値未満である場合には、少なくとも第１立体物検出手段による検出結果に基づいて、立体物が隣接車両であるか否かを判断する制御手段３７と、を備えることを特徴とする立体物検出装置。

Description

本発明は、立体物検出装置および立体物検出方法に関するものである。
本出願は、２０１２年７月２７日に出願された日本国特許出願の特願２０１２―１６６５１９に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

従来より、異なる時刻に撮像された２枚の撮像画像を鳥瞰視画像に変換し、変換した２枚の鳥瞰視画像の差分に基づいて、立体物を検出する技術が知られている（特許文献１参照）。

特開２００８−２２７６４６号公報

カメラで撮像した撮像画像に基づいて、自車両の走行車線に隣接する隣接車線に存在する立体物を隣接車両として検出する場合に、カメラのレンズに水垢などの異物が付着しており、レンズが白濁している場合には、レンズに付着している水垢などの異物により、被写体からの光束の一部が遮られたり、乱反射してしまい、隣接車両を適切に撮像することができず、その結果、隣接車両を適切に検出できない場合があった。

本発明が解決しようとする課題は、レンズに水垢などの異物が付着しており、レンズが白濁している場合でも、隣接車両を適切に検出できる立体物検出装置を提供することである。

本発明は、撮像画像に基づいて立体物を検出する第１立体物検出手段と、自車両後方に存在する光源に基づいて立体物を検出する第２立体物検出手段と、を備える立体物検出装置において、レンズ白濁度を算出し、レンズ白濁度が所定の判定値以上である場合には、少なくとも第２立体物検出手段による検出結果に基づいて立体物が隣接車両であるか否かを判断し、レンズ白濁度が判定値未満である場合には、少なくとも第１立体物検出手段による検出結果に基づいて立体物が隣接車両であるか否かを判断することで、上記課題を解決する。

通常、レンズが白濁している場合には、第１立体物検出手段による検出結果よりも、第２立体物検出手段による検出結果のほうが検出精度は高くなり、反対に、レンズが白濁していない場合には、第２立体物検出手段による検出結果よりも、第１立体物検出手段による検出結果のほうが検出精度は高くなる。本発明によれば、第１立体物検出手段による検出結果および第２立体物検出手段による検出結果を、レンズ白濁度に応じて用いることができるため、隣接車両をレンズが白濁している度合に応じて適切に検出することができる。

立体物検出装置を搭載した車両の概略構成図である。 図１の車両の走行状態を示す平面図である。 計算機の詳細を示すブロック図である。 位置合わせ部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 立体物検出部による差分波形の生成の様子を示す概略図である。 差分波形および立体物を検出するための閾値αの一例を示す図である。 立体物検出部によって分割される小領域を示す図である。 立体物検出部により得られるヒストグラムの一例を示す図である。 立体物検出部による重み付けを示す図である。 立体物検出部により得られるヒストグラムの他の例を示す図である。 本実施形態に係るレンズ白濁度の算出方法を説明するための図である。 本実施形態に係るレンズの白濁度の一例を説明するための図である。 第１実施形態に係る隣接車両検出処理を示すフローチャートである（その１）。 第１実施形態に係る隣接車両検出処理を示すフローチャートである（その２）。 第１実施形態に係る白濁度算出処理を示すフローチャートである。 第２実施形態に係る計算機の詳細を示すブロック図である。 車両の走行状態を示す図であり、（ａ）は検出領域等の位置関係を示す平面図、（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 第２実施形態に係る輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 第２実施形態に係る輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ検出動作を説明するための画像例を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（隣接車両）が存在している場合の輝度分布を示す図、（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 第２実施形態に係る隣接車両検出処理を示すフローチャートである（その１）。 第２実施形態に係る隣接車両検出処理を示すフローチャートである（その２）。 第２実施形態に係る白濁度算出処理を示すフローチャートである。

≪第１実施形態≫
図１は、本実施形態に係る立体物検出装置１を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置１は、自車両Ｖ１が車線変更する際に接触の可能性がある隣接車線に存在する他車両（以下、隣接車両Ｖ２ともいう）を検出することを目的とする。本実施形態に係る立体物検出装置１は、図１に示すように、カメラ１０と、車速センサ２０と、計算機３０とを備える。

カメラ１０は、図１に示すように、自車両Ｖ１の後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように車両Ｖ１に取り付けられている。カメラ１０は、この位置から自車両Ｖ１の周囲環境のうちの所定領域を撮像する。車速センサ２０は、自車両Ｖ１の走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機３０は、自車両後方の隣接車線に存在する隣接車両の検出を行う。

図２は、図１の自車両Ｖ１の走行状態を示す平面図である。同図に示すように、カメラ１０は、所定の画角ａで車両後方を撮像する。このとき、カメラ１０の画角ａは、自車両Ｖ１が走行する車線に加えて、その左右の車線（隣接車線）についても撮像可能な画角に設定されている。撮像可能な領域には、自車両Ｖ１の後方であり、自車両Ｖ１の走行車線の左右隣の隣接車線上の検出対象領域Ａ１，Ａ２を含む。なお、本実施形態における車両後方には、車両の真後ろだけではなく、車両の後ろ側の側方をも含む。撮像される車両後方の領域は、カメラ１０の画角に応じて設定される。一例ではあるが、車長方向に沿う車両の真後ろをゼロ度とした場合に、真後ろ方向から左右０度〜９０度、好ましくは０度〜７０度等の領域を含むように設定できる。

図３は、図１の計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０、車速センサ２０についても図示する。

図３に示すように、計算機３０は、視点変換部３１と、位置合わせ部３２と、第１立体物検出部３３と、ヘッドライト検出部３４と、第２立体物検出部３５と、白濁度算出部３６と、立体物判断部３７とを備える。以下に、それぞれの構成について説明する。

視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８−２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。

位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図４は、位置合わせ部３２の処理の概要を説明するための図であり、（ａ）は自車両Ｖ１の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。

図４（ａ）に示すように、現時刻の自車両Ｖ１がＰ_１に位置し、一時刻前の自車両Ｖ１がＰ_１’に位置していたとする。また、自車両Ｖ１の後側方向に隣接車両Ｖ２が位置して自車両Ｖ１と並走状態にあり、現時刻の隣接車両Ｖ２がＰ_２に位置し、一時刻前の隣接車両Ｖ２がＰ_２’に位置していたとする。さらに、自車両Ｖ１は、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。

このような状態において、現時刻における鳥瞰視画像ＰＢ_ｔは図４（ｂ）に示すようになる。この鳥瞰視画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両Ｖ２（位置Ｐ_２）については倒れ込みが発生する。また、一時刻前における鳥瞰視画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両Ｖ２（位置Ｐ_２’）については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部３２は、上記のような鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰視画像ＰＢ_ｔと位置を一致させる。図４（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図４（ａ）に示した自車両Ｖ１の実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

なお、本実施形態において、位置合わせ部３２は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像を得るが、この「位置合わせ」処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。たとえば、同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。

また、位置合わせ後において位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分をとり、差分画像ＰＤ_ｔのデータを生成する。ここで、本実施形態において、位置合わせ部３２は、照度環境の変化に対応するために、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化し、当該絶対値が所定の差分閾値ｔｈ以上であるときに、差分画像ＰＤ_ｔの画素値を「１」とし、絶対値が所定の差分閾値ｔｈ未満であるときに、差分画像ＰＤ_ｔの画素値を「０」とすることで、図４（ｂ）の右側に示すような差分画像ＰＤ_ｔのデータを生成することができる。

第１立体物検出部３３は、図４（ｂ）に示す差分画像ＰＤ_ｔのデータに基づいて、差分波形を生成する。具体的には、第１立体物検出部３３は、自車両Ｖ１の左右後方に設定された検出領域において、差分波形を生成する。また、本実施形態において、第１立体物検出部３３は、撮像画像ＰＤ_ｔが生成される度に、生成された差分画像ＰＤ_ｔのデータに基づいて差分波形を生成する。すなわち、第１立体物検出部３３は、撮像画像の撮像周期（フレームレート）で、差分波形を繰り返し生成することとなる。

ここで、本例の立体物検出装置１は、自車両Ｖ１が車線変更する際に接触の可能性がある隣接車両Ｖ２について移動距離を算出することを目的とするものである。このため、本例では、図２に示すように、自車両Ｖ１の左右後方に矩形状の検出領域Ａ１，Ａ２が設定される。なお、このような検出領域Ａ１，Ａ２は、自車両Ｖ１に対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、立体物検出装置１は、例えば既存の白線認識技術等を利用するとよい。

また、本例では、図２に示すように、設定した検出領域Ａ１，Ａ２の自車両Ｖ１側における辺（走行方向に沿う辺）が接地線Ｌ１，Ｌ２として認識される。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の隣接車両Ｖ２の位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。

図５は、第１立体物検出部３３による差分波形の生成の様子を示す概略図である。図５に示すように、第１立体物検出部３３は、位置合わせ部３２で算出した差分画像ＰＤ_ｔ（図４（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、第１立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷ_ｔを生成する。

具体的に説明すると、まず第１立体物検出部３３は、差分画像ＰＤ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、第１立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。本実施形態では、所定の差分を示す差分画素ＤＰは、差分画像ＰＤ_ｔの画素値が「０」「１」で表現されており、「１」を示す画素が、差分画素ＤＰとしてカウントされる。

第１立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、第１立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図５右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図５右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。

以下同様に、第１立体物検出部３３は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。第１立体物検出部３３は、上記を順次繰り返して度数分布化することで、図５右図に示すように差分波形ＤＷ_ｔを生成する。

ここで、差分画像ＰＤ_ｔのデータ上における差分画素ＰＤは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷ_ｔを生成することとなる。

なお、図５左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、第１立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、第１立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

差分波形ＤＷ_ｔの生成後、第１立体物検出部３３は、生成した差分波形ＤＷ_ｔに基づいて、隣接車線に存在している立体物の検出を行う。ここで、図６は、第１立体物検出部３３による立体物の検出方法を説明するための図であり、差分波形ＤＷ_ｔおよび立体物を検出するための閾値αの一例を示している。第１立体物検出部３３は、図６に示すように、生成した差分波形ＤＷ_ｔのピークが、当該差分波形ＤＷ_ｔのピーク位置に対応する所定の閾値α以上であるか否かを判断することで、検出領域Ａ１，Ａ２に立体物が存在するか否かを判断する。そして、第１立体物検出部３３は、差分波形ＤＷ_ｔのピークが所定の閾値α未満である場合には、検出領域Ａ１，Ａ２に立体物が存在しないと判断し、一方、差分波形ＤＷ_ｔのピークが所定の閾値α以上である場合には、検出領域Ａ１，Ａ２に立体物が存在すると判断する。

立体物を検出した後、第１立体物検出部３３は、現時刻における差分波形ＤＷ_ｔと一時刻前の差分波形ＤＷ_ｔ−１との対比により、第１立体物検出部３３により検出された立体物の相対移動速度を算出する。すなわち、第１立体物検出部３３は、差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から、自車両Ｖ１に対する立体物の相対移動速度を算出する。

詳細に説明すると、第１立体物検出部３３は、図７に示すように差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図７は、第１立体物検出部３３によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、例えば図７に示すように、互いに重複するようにして分割される。例えば小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。

次いで、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向（図７の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。この際、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、第１立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。

図８は、第１立体物検出部３３により得られるヒストグラムの一例を示す図である。図８に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前における差分波形ＤＷ_ｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、第１立体物検出部３３は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、第１立体物検出部３３は、ヒストグラムの極大値から立体物（隣接車両Ｖ２）の移動距離を算出する。すなわち、図８に示す例において、第１立体物検出部３３は、ヒストグラムの極大値を示すオフセット量を移動距離τ^＊と算出する。このように、本実施形態では、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することが可能となる。なお、移動距離τ^＊は、自車両に対する立体物（隣接車両Ｖ２）の相対移動距離である。このため、第１立体物検出部３３は、絶対移動距離を算出する場合には、得られた移動距離τ^＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。

このように、本実施形態では、異なる時刻に生成された差分波形ＤＷ_ｔの誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から立体物（隣接車両Ｖ２）の移動距離を算出することで、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。また、異なる時刻に生成された差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割することで、立体物のそれぞれの箇所を表わした波形を複数得ることができ、これにより、立体物のそれぞれの箇所毎にオフセット量を求めることができ、複数のオフセット量から移動距離を求めることができるため、移動距離の算出精度を向上させることができる。また、本実施形態では、高さ方向の情報を含む差分波形ＤＷ_ｔの時間変化から立体物の移動距離を算出することで、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とが高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

なお、ヒストグラム化にあたり第１立体物検出部３３は、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図９は、第１立体物検出部３３による重み付けを示す図である。

図９に示すように、小領域ＤＷ_ｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。第１立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを小さくする。平坦な小領域ＤＷ_ｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。

一方、小領域ＤＷ_ｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。第１立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを大きくする。起伏に富む小領域ＤＷ_ｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しなくてもよい。この場合に、第１立体物検出部３３は、差分波形ＤＷ_ｔと差分波形ＤＷ_ｔ−１との誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとのオフセット量を求める方法は上記内容に限定されない。

なお、本実施形態において第１立体物検出部３３は、自車両Ｖ１（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、第１立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。

図１０は、第１立体物検出部３３により得られるヒストグラムの他の例を示す図である。カメラ１０の画角内に立体物の他に静止物が存在する場合に、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、第１立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。これにより、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。

なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に立体物が複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の立体物が存在することは極めて稀である。このため、第１立体物検出部３３は、移動距離の算出を中止する。これにより、本実施形態では、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。

そして、第１立体物検出部３３は、立体物の移動速度に基づいて、隣接車両に存在する立体物が隣接車両Ｖ２であるか否かを判断する。たとえば、第１立体物検出部３３は、立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、自車両Ｖ１に対する立体物の相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断し、双方を満たす場合には、隣接車線に存在する立体物は隣接車両Ｖ２であるものと判断して、隣接車両Ｖ２を検出する。

なお、第１立体物検出部３３が、立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、自車両Ｖ１に対する立体物の相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断することで、隣接車線に存在する隣接車両Ｖ２を検出する構成としているのは、以下の理由による。すなわち、本実施形態では自車両Ｖ１の左右後方を検出領域Ａ１，Ａ２とし、自車両Ｖ１が車線変更した場合に接触する可能性があるか否かに重点を置いているため、本実施形態にけるシステムを高速道路で作動させることを前提とすると、隣接車両Ｖ２の速度が１０ｋｍ／ｈ未満である場合、たとえ隣接車両Ｖ２が存在したとしても、車線変更する際には自車両Ｖ１の遠く後方に位置するため、このような立体物を隣接車両Ｖ２として検出しなくても問題となることが少ないためである。同様に、隣接車両Ｖ２の自車両Ｖ１に対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、隣接車両Ｖ２が自車両Ｖ１の速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両Ｖ１の前方に移動しているため、このような立体物を隣接車両Ｖ２として検出しなくても問題となることが少ないためである。

また、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得るが、隣接車両Ｖ２の絶対移動速度が１０ｋｍ／ｈ以上であるか否かを判断することで、静止物を隣接車両Ｖ２であると判断してしまう可能性を低減することができる。さらに、ノイズによっては隣接車両Ｖ２の自車両Ｖ１に対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得るため、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。なお、第１立体物検出部３３は、隣接車両Ｖ２の絶対移動速度がマイナスでないことや、０ｋｍ／ｈでない場合に、隣接車線に存在する立体物を隣接車両Ｖ２と判断してもよい。

図３に戻り、ヘッドライト検出部３４は、カメラ１０により撮像された撮像画像に基づいて、自車両Ｖ１の後方に存在する、隣接車両Ｖ２のヘッドライトの候補となる光源を検出する。具体的には、ヘッドライト検出部３４は、周辺との明るさの差が所定値以上であり、かつ、所定面積以上の大きさである画像領域を、隣接車両Ｖ２のヘッドライトに対応する候補領域として検出することで、隣接車両Ｖ２のヘッドライトの候補となる光源を検出する。

第２立体物検出部３５は、ヘッドライト検出部３４により検出された光源が、隣接車両Ｖ２のヘッドライトに対応するものであるか否かを判定する。具体的には、第２立体物検出部３５は、まず、ヘッドライト検出部３４により検出された光源が、隣接車両Ｖ２のヘッドライトに対応するものであることの確からしさを、確信度として算出する。

たとえば、自車両Ｖ１の走行車線に隣接する隣接車線を走行する隣接車両Ｖ２のヘッドライトと比べて、自車両Ｖ１の走行車両の２つ隣の隣隣接車線を走行する隣隣接車両のヘッドライトや、路外に設置された街灯などの光源は、自車両Ｖ１から離れた位置で検出される。そのため、第２立体物検出部３５は、自車両Ｖ１から光源までの車幅方向における距離が短いほど、ヘッドライト検出部３４により検出された光源が隣接車両Ｖ２のヘッドライトであるとの確信度を高く算出することができる。また、ヘッドライト検出部３４により検出された光源の大きさが大きいほど、光源は自車両Ｖ１から近い位置に存在するものと判断できるため、第２立体物検出部３５は、ヘッドライト検出部３４により検出された光源の大きさが大きいほど、ヘッドライト検出部３４により検出された光源が隣接車両Ｖ２のヘッドライトであるとの確信度を高く算出することができる。さらに、街灯などの光源は静止物であり移動しないのに対して隣接車両Ｖ２は移動するため、隣接車両Ｖ２のヘッドライトの移動速度は、街灯などの静止物の光源の移動速度よりも速くなる。また、隣接車両Ｖ２のヘッドライトよりも隣隣接車両のヘッドライトの方が自車両Ｖ１から離れた位置で検出されるため、隣隣接車両のヘッドライトの移動速度よりも、隣接車両Ｖ２のヘッドライトの移動速度の方が速くなる傾向にある。そのため、第２立体物検出部３５は、ヘッドライト検出部３４により検出された光源の位置の変化に基づいて、光源の移動速度を算出し、光源の移動速度が速いほど、該光源が隣接車両Ｖ２のヘッドライトであるとの確信度を高く算出することができる。

そして、第２立体物検出部３５は、ヘッドライト検出部３４により検出された光源が隣接車両Ｖ２のヘッドライトであるとの確信度が所定値以上である場合に、隣接車線に隣接車両Ｖ２が存在するものと判断し、隣接車両Ｖ２を検出する。

白濁度算出部３６は、カメラ１０のレンズに水垢などの異物が付着し、レンズが白濁している（レンズ表面に白色の薄膜が形成されている）度合いをレンズの白濁度として算出する。以下に、白濁度算出部３６によるレンズの白濁度の算出方法について説明する。

まず、白濁度算出部３６は、第１立体物検出部３３により生成された差分波形ＤＷ_ｔについて、所定の判定閾値を越えるピークの数を検出する。たとえば、図６に示す例において、判定閾値が閾値αと同じ値である場合、白濁度算出部３６は、所定の判定閾値を越える差分波形ＤＷ_ｔのピークの数を「３」として検出する。なお、本実施形態においては、所定の周期（たとえば、撮像画像の撮像周期）で差分波形ＤＷ_ｔが生成されており、白濁度算出部３６は、差分波形ＤＷ_ｔが生成される度に、生成された差分波形ＤＷ_ｔについて所定の判定閾値を越えるピークの数を検出する。すなわち、白濁度算出部３６は、差分波形ＤＷ_ｔが生成される周期（撮像画像の撮像周期）で、所定の判定閾値を越えるピークの数を検出する。なお、上記判定閾値は、閾値αと同じ値に限定されず、予め実験等により適宜設定することができる。

そして、白濁度算出部３６は、所定の判定閾値を越える差分波形ＤＷ_ｔのピークの数に基づいて、該差分波形ＤＷ_ｔに応じたフレームスコアを算出する。具体的には、白濁度算出部３６は、差分波形ＤＷ_ｔのピークの数が３以上であり、立体物（隣接車両Ｖ２）を検出していると判断できる度合いが高いほど、フレームスコアを高く算出する。たとえば、下記の表１に示す例において、白濁度算出部３６は、所定のフレームにおいて生成された差分波形ＤＷ_ｔのピークの数が、０〜２本の場合には、隣接車両Ｖ２を検出していないものと判断して、スコアを０点として算出し、３〜４本の場合には、隣接車両Ｖ２を検出している可能性があるものと判断して、スコアを１点と算出する。さらに、差分波形ＤＷ_ｔのピークの数が、５〜６本の場合には、隣接車両Ｖ２を検出している可能性が高いものと判断し、スコアを２点として算出し、７本以上の場合には、隣接車両Ｖ２を検出している可能性がより高いものと判断し、スコアを３点として算出する。そして、白濁度算出部３６により算出されたフレームスコアは、算出された時刻に関連付けられて、計算機３０に備えるメモリ（不図示）に記憶される。

次いで、白濁度算出部３６は、所定時間内に生成された差分波形ＤＷに対応するフレームスコアを合計し、フレームスコアの合計値を算出する。たとえば、白濁度算出部３６は、図１１に示すように、差分波形ＤＷ_ｔの生成が０．１秒周期で行われている場合に、２．５秒間で生成された２５フレーム分のフレームスコアをメモリから取得し、この２５フレーム分のフレームスコアの合計点を算出することができる。なお、図１１は、レンズ白濁度の算出方法を説明するための図であり、各時刻ｔ_１、時刻ｔ_２、時刻ｔ_３・・・において、各差分波形ＤＷ_ｔに応じたフレームスコアが算出されている。

そして、白濁度算出部３６は、所定時間内に算出されたフレームスコアの合計点に基づいて、レンズが白濁している度合いを示す検知スコアを算出する。具体的には、白濁度算出部３６は、レンズが白濁している度合いが高いほど、検知スコアが高くなるように、検知スコアを算出する。たとえば、下記の表２に示す例においては、フレームスコアの合計点が０点である場合には、立体物（隣接車両Ｖ２）が検出されていないものと判断できるため、白濁度算出部３６は、レンズに水垢などの異物が付着しており、レンズが白濁している可能性が高いものと判断して、検知スコアを「＋５」として算出する。また、反対に、フレームスコアの合計点が１０以上である場合には、隣接車両Ｖ２が検出されている可能性が高いものと判断できるため、白濁度算出部３６は、レンズが白濁していない可能性が高いものと判断し、検知スコアを「−３」として算出する。

なお、上記の表１，２に示すように、白濁度算出部３６は、フレームスコアおよび検知スコアに上限を設けている。すなわち、白濁度算出部３６は、表１に示すように、所定の判定閾値以上の差分波形のピークの数が７本以上である場合には、フレームスコアを一律に「３」として算出し、また、表２に示すように、フレームスコアの合計点が１０以上である場合には、検知スコアを一律に「−３」として算出する。これにより、たとえば、隣接車両Ｖ２が車体の長いトラックなどであり、差分波形のピークの数が多く検出され易い（たとえばレンズが白濁している場合でも７本以上の差分波形のピークが検出されてしまう）場合に、レンズが実際に白濁しているにもかかわらず、検知スコアが低く検出されてしまい、レンズが白濁していないと判断されてしまうことを有効に防止することができる。

さらに、白濁度算出部３６は、差分波形ＤＷ_ｔが生成される周期（たとえば、撮像画像の撮像周期）で、検知スコアを繰り返し算出する。たとえば、図１１に示す例において、白濁度算出部３６は、まず、時刻ｔ_２５において、時刻ｔ_１から時刻ｔ_２５までの２５フレーム分の検知スコアＤＳ_１を算出し、その後、時刻ｔ_２６において、時刻ｔ_２から時刻ｔ_２６までの２５フレーム分の検知スコアＤＳ_２を算出する。同様に、対応するフレームスコアを１周期分づつずらしながら、検知スコアＤＳ_３，ＤＳ_４，・・・を算出する。

さらに、白濁度算出部３６は、算出した検知スコアを積算し、検知スコアの積算値をレンズの白濁度として算出する。ここで、図１２は、レンズの白濁度の一例を示す図であり、図１２の上図は、隣接車両Ｖ２のヘッドライトの検出タイミングを示しており、図１２の下図は、レンズ白濁度の時間推移の一例を示している。本実施形態において、白濁度算出部３６は、図１２に示すように、ヘッドライト検出部３４により隣接車両Ｖ２のヘッドライトが検出された場合に、上述した検知スコアの算出を開始し、隣接車両Ｖ２のヘッドライトが検出されている間、検知スコアの算出を繰り返し行い、検知スコアの積算値をレンズの白濁度として算出する。なお、図１２に示す例では、隣接車両Ｖ２のヘッドライトが検出された後の所定時間分（たとえばヘッドライトが検出された後の２秒間分）のフレームスコアを考慮して検知スコアを算出しているため、隣接車両Ｖ２のヘッドライトが検出された時刻ｔ_ｘよりも少し後の時刻ｔ_ｘ＋１からレンズの白濁度の算出が開始されている。

すなわち、白濁度算出部３６は、隣接車両Ｖ２のヘッドライトが検出され、検知スコアの算出を開始する場合、隣接車両Ｖ２のヘッドライトが検出された時刻を基準時刻とし、該基準時刻よりも微小時間前の時刻から、基準時刻より所定時間後の時刻までの時間内において算出されたフレームスコアの合計値に基づいて、検知スコアを算出することで、レンズ白濁度の算出を開始する。たとえば、図１１に示す例では、フレームスコアの算出が０．１秒周期で行われており、時刻ｔ_５において隣接車両Ｖ２のヘッドライトが検出されている。この場合、白濁度算出部３６は、隣接車両Ｖ２のヘッドライトが検出された時刻ｔ_５を基準時刻とし、該基準時刻ｔ_５よりも０．５秒前（微小時間前）の時刻ｔ_１から、該基準時刻ｔ_５よりも２秒後の時刻ｔ_２５までの２．５秒間で算出された２５フレーム分のフレームスコアの合計点に基づいて、検知スコアを算出する。そして、隣接車両Ｖ２のヘッドライトが検出された後も、隣接車両Ｖ２のヘッドライトが検出されている間は、白濁度算出部３６は、基準時刻を、隣接車両Ｖ２のヘッドライトが検出された時刻ｔ_５から、時刻ｔ_６，ｔ_７・・・と１周期づつずらしながら、該基準時刻よりも０．５秒前の時刻から、該基準時刻よりも２秒後の時刻までの２．５秒間で算出された２５フレーム分のフレームスコアの合計点に基づいて、検知スコアを繰り返し算出する。

また、図１２に示すように、隣接車両Ｖ２のヘッドライトが検出された後、白濁度算出部３６は、隣接車両Ｖ２のヘッドライトが非検出となった時刻ｔ_ｘ＋２で、白濁度の算出を停止し、再度、隣接車両Ｖ２のヘッドライトが検出されるまで、白濁度をそのままの値で保持する。その後、２台目の隣接車両Ｖ２のヘッドライトが検出されると（時刻ｔ_ｘ＋３）、レンズの白濁度の算出が再開され、隣接車両Ｖ２のヘッドライトが再び非検出となる時刻ｔ_ｘ＋４まで、レンズの白濁度の算出が繰り返される。

なお、本実施形態では、図１２に示すように、レンズの白濁度の値に、下限値Ｓ_０および上限値Ｓ_２を設けることができる。たとえば、上記の表１，表２に示す例においては、下限値Ｓ_０を０とし、上限値Ｓ_２を１００とすることができる。このように、レンズの白濁度に下限値Ｓ_０を設けることで、たとえば、差分波形のピークが多く検出され易いトラックなどの隣接車両Ｖ２が検知領域内Ａ１，Ａ２内に存在しているため、レンズが実際に白濁しているにもかかわらず、検知スコアが低い値で算出されてしまい、レンズの白濁度（すなわち検知スコアの積算値）が低い値で推移している場合でも、トラックなどの隣接車両Ｖ２が検知領域Ａ１，Ａ２から外れ、算出される検知スコアが高い値に変化した場合には、比較的短い時間で、レンズの白濁度（すなわち検知スコアの積算値）が高い値となるため、レンズが白濁していることを適切に判断することが可能となる。また同様に、レンズの白濁度に上限値Ｓ_２を設けることで、レンズが実際に白濁していないにもかかわらず、隣接車両Ｖ２が周囲に存在しないために、レンズの白濁度が高い値で推移している場合でも、隣接車両Ｖ２が検出された場合には、比較的短い時間で、レンズの白濁度が低い値となるため、レンズが白濁していなことを適切に判断することができる。

図３に戻り、立体物判断部３７は、第１立体物検出部３３により検出された隣接車両Ｖ２の検出結果、および、第２立体物検出部３５により検出された隣接車両Ｖ２の検出結果に基づいて、隣接車両Ｖ２が存在するか否かを判断する。

具体的には、立体物判断部３７は、第１立体物検出部３３により隣接車両Ｖ２が検出された場合には、第１立体物検出部３３の検出結果を「１」とし、第１立体物検出部３３により隣接車両Ｖ２が検出されなかった場合には、第１立体物検出部３３の検出結果を「０」として算出する。同様に、立体物判断部３７は、第２立体物検出部３５により隣接車両Ｖ２が検出された場合には、第２立体物検出部３５の検出結果を「１」とし、第２立体物検出部３５により隣接車両Ｖ２が検出されなかった場合には、第２立体物検出部３５の検出結果を「０」として算出する。

そして、立体物判断部３７は、下記式１に示すように、白濁度算出部３６により算出されたレンズの白濁度に基づいて、第１立体物検出部３３の検出結果（第１検出結果）と、第２立体物検出部３５の検出結果（第２検出結果）とに重み付けを行い、重み付した第１立体物検出部３３の検出結果（第１検出結果）と、第２立体物検出部３５の検出結果（第２検出結果）との合計値が、所定の車両判定閾値ｓ_ｃ以上であるか否かを判断する。
［式１］
第１検出結果×Ｗ_ｃ１ ＋ 第２検出結果×Ｗ_ｃ２ ≧ 車両判定閾値ｓ_ｃ
なお、Ｗ_ｃ１は、第１立体物検出部３３の検出結果（第１検出結果）に対する重み付けであり、Ｗ_ｃ２は、第２立体物検出部３５の検出結果（第２検出結果）に対する重み付である。

ここで、レンズの白濁度が高い場合には、レンズに付着した水垢などの異物により、被写体からの光束の一部が遮られたり、乱反射してしまうため、隣接車両Ｖ２の像を適切に撮像することができず、その結果、隣接車両Ｖ２に起因する差分波形ＤＷ_ｔを適切に生成することができない。そのため、レンズが白濁している場合には、差分波形ＤＷ_ｔに基づく第１立体物検出部の検出結果の検出精度は低くなる傾向にある。これに対して、レンズが白濁している場合でも、輝度の高い隣接車両Ｖ２のヘッドライトの像はその影響を受け難く、ヘッドライトに基づく第２立体物検出部３３の検出結果を比較的高い精度で得ることができる。そのため、立体物判断部３７は、レンズの白濁度が高いほど、第１立体物検出部３３の検出結果の重み付けＷ_ｃ１を相対的に小さくし、第２立体物検出部３５の検出結果の重み付けＷ_ｃ２を相対的に大きくする。また、レンズに水垢などの異物が付着しておらず、レンズが白濁していない場合には、隣接車両Ｖ２の車体を差分波形として検出する第１立体物検出部３３による検出結果の検出精度の方が、第２立体物検出部３５による検出結果の検出精度よりも高くなる傾向にある。そこで、立体物判断部３７は、レンズの白濁度が低いほど、第１立体物検出部３３の検出結果の重み付けＷ_ｃ１を相対的に大きくし、第２立体物検出部３５の検出結果の重み付けＷ_ｃ２を相対的に小さくする。

たとえば、図１２に示す例において、下限値Ｓ_０を０とし、上限値Ｓ_２を１００とした場合に、立体物判断部３７は、レンズの白濁度が所定の値Ｓ_１（たとえば５０）を超えた場合に、レンズが白濁していると判断し、一方、レンズの白濁度が所定の値Ｓ_１（たとえば５０）超えていない場合に、レンズは白濁していないと判断することができる。この場合、立体物判断部３７は、レンズの白濁度が所定の値Ｓ_１（たとえば５０）を超えた場合には、レンズが白濁していると判断して、レンズの白濁度が高いほど、第１立体物検出部３３の検出結果の重み付けＷ_ｃ１を小さくし、第２立体物検出部３５の検出結果の重み付けＷ_ｃ２を大きくすることができる。一方、立体物判断部３７は、レンズの白濁度が所定の値Ｓ_１（たとえば５０）を超えていない場合には、レンズが白濁していないと判断して、レンズの白濁度が低いほど、第１立体物検出部３３の検出結果の重み付けＷ_ｃ１を大きくし、第２立体物検出部３５の検出結果の重み付けＷ_ｃ２を小さくすることができる。

そして、立体物判断部３７は、上記式１に基づく判定の結果、第１立体物検出部３３の検出結果（第１検出結果）と、第２立体物検出部３５の検出結果（第２検出結果）との合計値が、所定の車両判定閾値ｓ_ｃ以上である場合には、隣接車両Ｖ２が存在するものと判断し、一方、第１立体物検出部３３の検出結果（第１検出結果）と、第２立体物検出部３５の検出結果（第２検出結果）との合計値が、所定の車両判定閾値ｓ_ｃ未満である場合には、隣接車両Ｖ２は存在しないものと判断する。

次に、図１３および図１４を参照して、本実施形態に係る隣接車両検出処理について説明する。図１３および図１４は、第１実施形態の隣接車両検出処理を示すフローチャートである。本実施形態において、この隣接車両検出処理は、後述する白濁度算出処理と並行して実行される。また、本実施形態の隣接車両検出処理は、所定の周期（たとえば、０．１秒周期）で繰り返し行われる。なお、以下においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。

図１３に示すように、まず、計算機３０により、カメラ１０から撮像画像のデータの取得が行われ（ステップＳ１０１）、視点変換部３１により、取得した撮像画像のデータに基づいて、鳥瞰視画像ＰＢ_ｔのデータが生成される（ステップＳ１０２）。

次いで、位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔのデータと、一時刻前の鳥瞰視画像ＰＢ_ｔ−１のデータとを位置合わせをし、差分画像ＰＤ_ｔのデータを生成する（ステップＳ１０３）。具体的には、位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化し、当該絶対値が所定の差分閾値ｔｈ以上であるときに、差分画像ＰＤ_ｔの画素値を「１」とし、絶対値が所定の差分閾値ｔｈ未満であるときに、差分画像ＰＤ_ｔの画素値を「０」とする。その後、第１立体物検出部３３は、差分画像ＰＤ_ｔのデータから、画素値が「１」の差分画素ＤＰの数をカウントして、差分波形ＤＷ_ｔを生成する（ステップＳ１０４）。

ステップＳ１０５では、第１立体物検出部３３により、ステップＳ１０４で生成した差分波形ＤＷ_ｔのピークが、所定の閾値α以上であるか否かの判断が行われる。差分波形ＤＷ_ｔのピークが閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像内には立体物が存在しないと考えられる。このため、差分波形ＤＷ_ｔのピークが閾値α以上でないと判断した場合には（ステップＳ１０５＝Ｎｏ）、図１４に示すステップＳ１１８に進み、第１立体物検出部３３は、立体物が存在せず隣接車両Ｖ２が存在しないと判断する。そして、ステップＳ１０１に戻り、図１３および図１４に示す処理を繰り返す。

一方、差分波形ＤＷ_ｔのピークが閾値α以上であると判断した場合には（ステップＳ１０５＝Ｙｅｓ）、第１立体物検出部３３により、隣接車線に立体物が存在すると判断され、ステップＳ１０６に進み、第１立体物検出部３３により、差分波形ＤＷ_ｔが、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割され（ステップＳ１０６）、分割された小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けが行われる（ステップＳ１０７）。そして、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量が算出され、重みを加味してヒストグラムが生成される（ステップＳ１０８）。

そして、第１立体物検出部３３は、ヒストグラムに基づいて自車両Ｖ１に対する立体物の移動距離である相対移動距離を算出する（ステップＳ１０９）。次に、第１立体物検出部３３は、相対移動距離から立体物の絶対移動速度を算出する（ステップＳ１１０）。このとき、第１立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出するとともに、車速センサ２０で検出された自車速を加算して、絶対移動速度を算出する。

次いで、ステップＳ１１１では、第１立体物検出部３３により、隣接車両Ｖ２の検出が行われる。具体的には、第１立体物検出部３３は、立体物の絶対移動速度が１０ｋｍ／ｈ以上であり、かつ、自車両Ｖ１に対する立体物の相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断することで、隣接車線に存在する立体物が隣接車両Ｖ２であるか否かを判断する。そして、第１立体物検出部３３は、双方を満たす場合には、隣接車線に存在する立体物は隣接車両Ｖ２であると判断し、隣接車線に存在する隣接車両Ｖ２を検出する。一方、いずれか一方を満たさない場合には、隣接車線に存在する立体物は隣接車両Ｖ２であはないと判断し、隣接車両Ｖ２を検出しない。

ステップＳ１１２では、ヘッドライト検出部３４により、隣接車両Ｖ２のヘッドライトの候補となる光源の検出が行われる。具体的には、ヘッドライト検出部３４は、カメラ１０により撮像された撮像画像に基づいて、周辺との明るさの差が所定値以上であり、かつ、所定面積以上の大きさである画像領域を、隣接車両Ｖ２のヘッドライトの候補領域として検出することで、隣接車両Ｖ２のヘッドライトの候補となる光源を検出する。

ステップＳ１１３では、第２立体物検出部により、ステップＳ１１２で検出された隣接車両Ｖ２のヘッドライトの候補となる光源に基づいて、隣接車両Ｖ２の検出が行われる。具体的には、第２立体物検出部３５は、ステップＳ１１２で検出された光源が、隣接車両Ｖ２のヘッドライトであることの確信度を算出し、算出した確信度が所定値以上である場合に、隣接車線に存在する立体物は隣接車両Ｖ２であると判断して、隣接車線に存在する隣接車両Ｖ２を検出する。なお、ステップＳ１１２で隣接車両Ｖ２のヘッドライトの候補となる光源が検出されなかった場合、または、ステップＳ１１２で検出された光源が隣接車両Ｖ２のヘッドライトであることの確信度が所定値未満である場合には、隣接車線に存在する立体物は隣接車両Ｖ２ではないと判断して、隣接車両Ｖ２を検出しない。

ステップＳ１１４では、立体物判断部３７により、後述する白濁度算出処理により算出されたレンズ白濁度の取得が行われる。そして、ステップＳ１１５では、立体物判断部３７により、ステップＳ１１４で取得されたレンズ白濁度に基づいて、ステップＳ１１１で得られた第１立体物検出部３３による検出結果、および、ステップＳ１１３で得られた第２立体物検出部３５による検出結果に重み付けが行われる。具体的には、立体物判断部３７は、上記式１に示すように、レンズ白濁度が高いほど、第１立体物検出部３３の検出結果の重み付けＷ_ｃ１を小さくし、第２立体物検出部３５の検出結果の重み付けＷ_ｃ２を大きくする。

そして、ステップＳ１１６では、立体物判断部３７により、上記式１に示すように、ステップＳ１１５で重み付した検出結果の合計値が、所定の車両判定閾値ｓ_ｃを越えるか否かの判断が行われる。重み付けした第１立体物検出部３３の検出結果と第２立体物検出部３５の検出結果との合計値が、所定の車両判定閾値ｓ_ｃを越える場合には、ステップＳ１１７に進み、隣接車両Ｖ２が存在すると判断される。一方、所定の車両判定閾値を越えない場合には、ステップＳ１１８に進み、隣接車両Ｖ２が存在しないと判断される。

なお、本実施形態では自車両Ｖ１が車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップＳ１１７において隣接車両Ｖ２が検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。

次に、図１５を参照して、本実施形態に係る白濁度算出処理について説明する。図１５は、第１実施形態に係る白濁度算出処理を示すフローチャートである。なお、以下に説明する白濁度算出処理は、所定の周期（たとえば、０．１秒周期）で実行される。また、以下に説明する白濁度算出処理は、上述した隣接車両検出処理と並行して行われ、この白濁度算出処理において算出されたレンズの白濁度が、上述した隣接車両検出処理において、隣接車両Ｖ２を検出する際に用いられることとなる。

まず、ステップＳ２０１では、白濁度算出部３６により、上述した隣接車両検出処理で生成された差分波形ＤＷ_ｔについて、所定の判定閾値を越えるピークの数の検出が行われる。たとえば、図６に示す例において、所定の判定閾値を閾値αと同じ値とした場合、白濁度算出部３６は、所定の判定閾値を越える差分波形ＤＷ_ｔのピークの数を「３」として検出する。

そして、ステップＳ２０２では、白濁度算出部３６により、上記の表１に示すように、ステップＳ２０１で検出された差分波形ＤＷ_ｔのピークの数に基づいて、フレームスコアの算出が行われる。たとえば、ステップＳ２０１で、所定の判定閾値を超えるピークの数が「３」として検出された場合、白濁度算出部３６は、上記の表１に従って、フレームスコアを「１」として算出する。そして、白濁度算出部３６は、算出したフレームスコアを、記憶部３０に備えるメモリに記憶する。

ステップＳ２０３では、白濁度算出部３６により、隣接車両Ｖ２のヘッドライトが検出されているか否かの判定が行われる。ここで、本実施形態では、ヘッドライト検出部３４により、隣接車両Ｖ２のヘッドライトの候補となる光源の検出が繰り返し行われており、白濁度算出部３６は、ヘッドライト検出部３４の検出の結果、隣接車両Ｖ２のヘッドライトの候補となる光源が検出されている場合には、隣接車両Ｖ２のヘッドライトが検出されているものとして扱い、ステップＳ２０４に進む。一方、ヘッドライト検出部３４により隣接車両Ｖ２のヘッドライトの候補となる光源が検出されていない場合には、隣接車両Ｖ２のヘッドライトが検出されていないものとして扱い、ステップＳ２０１に戻り、フレームスコアの算出を繰り返す。

ステップＳ２０４では、白濁度算出部３６により、所定時間内に算出されたフレームスコアの合計点の算出が行われる。ここで、ステップＳ２０２で算出されたフレームスコアは、計算機３０に備えるメモリに記憶されているため、白濁度算出部３６は、メモリに記憶されているフレームスコアのうち所定時間内に算出されたフレームスコアを抽出して、フレームスコアの合計点を算出することができる。たとえば、白濁度算出部３６は、図１１に示すように、隣接車両Ｖ２のヘッドライトが検出され、レンズの白濁度の算出を開始する際には、隣接車両Ｖ２のヘッドライトが検出された時刻ｔ_５を基準時刻とし、たとえば、この基準時刻ｔ_５の０．５秒前（微小時間前）の時刻ｔ_０から、この基準時刻ｔ_５の２秒後の時刻ｔ_２５までの２．５秒間における２５フレーム分のフレームスコアの合計点を算出する。また、レンズの白濁度の算出が開始された後では、図１１に示すように、基準時刻を１周期分づつずらしながら、基準時刻の０．５秒前（微小時間前）の時刻から基準時刻の２秒後までの２．５秒間における２５フレーム分のフレームスコアの合計点を順次算出する。

ステップＳ２０５では、白濁度算出部３６により、ステップＳ２０４で算出されたフレームスコアの合計点に基づいて、上記の表２に示すように、検知スコアの算出が行われる。たとえば、上記の表２に示す例では、フレームスコアの合計点が５点である場合に、検知スコアが「＋１」として算出されることとなる。

ステップＳ２０６では、白濁度算出部３６により、図１２に示すように、ステップＳ２０５で算出された検知スコアの積算が行われ、検知スコアの積算値がレンズの白濁度として算出される。算出されたレンズの白濁度は、後述する隣接車両検出処理で用いられることとなる。

また、本実施形態は、レンズに水垢などの異物が付着しており、レンズが白濁している場合に、差分波形ＤＷ_ｔに基づいて、自車両Ｖ１に対する隣接車両Ｖ２を検出することが困難であることに鑑みて、隣接車両Ｖ２のヘッドライトを検出し、隣接車両Ｖ２のヘッドライトに基づいて、隣接車両Ｖ２を検出するものである。そのため、図１３および図１４に示す白濁度算出処理を、隣接車両Ｖ２がヘッドライトを点灯する条件下、たとえば、夜間のみに行う構成とすることができる。これにより、昼間において、隣接車両Ｖ２を検出する際の演算負荷を軽減することができる。なお、白濁度算出部３６は、たとえば、カメラ１０により撮像した撮像画像全体の輝度が所定値以下である場合に、夜間であると判断することができる。また、白濁度算出部３６は、照度計や時刻に基づいて、夜間であるか否かを判断することもできる。

以上のように、第１実施形態では、鳥瞰視画像の差分画像から差分波形を生成し、該差分波形に基づいて隣接車両Ｖ２を検出する第１立体物検出部３３の検出結果と、ヘッドライトに基づいて隣接車両Ｖ２を検出する第２立体物検出部３５の検出結果とに、レンズの白濁度に応じた重み付けを行い、重み付けした検出結果に基づいて、隣接車両Ｖ２が存在するか否かを判断する。ここで、上述したように、レンズが白濁している場合には、差分波形に基づいて隣接車両Ｖ２を検出する第１立体物検出部３３の検出結果よりも、ヘッドライトに基づいて隣接車両Ｖ２を検出する第２立体物検出部３５の検出結果の方が信頼性が高く、反対に、レンズが白濁していない場合には、ヘッドライトに基づいて隣接車両Ｖ２を検出する第２立体物検出部３５の検出結果よりも、差分波形に基づいて隣接車両Ｖ２を検出する第１立体物検出部３３の検出結果の方が信頼性が高い傾向にある。そのため、本実施形態において、レンズの白濁度が高いほど、第１立体物検出部３３の検出結果の重み付けを小さくし、第２立体物検出部３５の検出結果の重み付けを大きくして、隣接車両Ｖ２が存在するか否かを判断することで、隣接車両Ｖ２を適切に検出することが可能となる。

また、第１実施形態では、レンズの白濁度を算出する際に、所定の判定閾値を越える差分波形のピークの数が多いほど、立体物（隣接車両Ｖ２）が検出されている可能性が高いものと判断して、フレームスコアを高く算出する。そして、所定時間内に算出されたフレームスコアの合計値が低いほど、レンズが立体物（隣接車両Ｖ２）を検出し難い状態、すなわち、レンズが白濁している状態であると判断して、検知スコアを高く算出し、検知スコアの積算値をレンズの白濁度として算出する。このように、本実施形態では、実際に生成された差分波形に基づいて、立体物（隣接車両Ｖ２）が検出できるか否かを判断することで、レンズが白濁している度合いをレンズ白濁度として適切に算出することができる。特に、本実施形態では、隣接車両Ｖ２のヘッドライトが検出された場合には、隣接車両Ｖ２が隣接車線に存在しており、隣接車両Ｖ２に起因する差分波形を検出できるものと判断することができるため、隣接車両Ｖ２に起因する差分波形に基づいて隣接車両Ｖ２が存在するか否かを判断することで、レンズが白濁しているために、隣接車両Ｖ２を検出できないのか否かを判断することができ、これにより、レンズの白濁度を適切に算出することができる。

さらに、本実施形態では、隣接車両Ｖ２のヘッドライトが検出され、レンズの白濁度の算出を開始する際に、図１１に示すように、隣接車両Ｖ２のヘッドライトが検出された時刻を基準時刻とし、該基準時刻後に算出されたフレームスコアに基づいて、検知スコアレンズの白濁度を算出する。通常、隣接車両Ｖ２のヘッドライトの後方において、隣接車両Ｖ２の車体が検出されるため、隣接車両Ｖ２のヘッドライトが検出された後に、隣接車両Ｖ２に起因する差分波形を検出することができ、隣接車両Ｖ２を検出できる度合いをフレームスコアとして算出することができるためである。また、本実施形態では、隣接車両Ｖ２のヘッドライトが検出され、レンズの白濁度の算出を開始する際に、図１１に示すように、隣接車両Ｖ２のヘッドライトが検出される時刻よりも微小時間前に算出されたフレームスコアを考慮して、検知スコアを算出する。隣接車両Ｖ２のヘッドライトが検出される前に、隣接車両Ｖ２の車体が検出される場合もあるためである。

《第２実施形態》
続いて、第２実施形態に係る立体物検出装置１ａについて説明する。第２実施形態に係る立体物検出装置１ａは、図１６に示すように、第１実施形態の計算機３０に代えて、計算機３０ａを備えており、以下に説明するように動作すること以外は、第１実施形態と同様である。ここで、図１６は、第２実施形態に係る計算機３０ａの詳細を示すブロック図である。

第２実施形態に係る立体物検出装置１ａは、図１６に示すように、カメラ１０と計算機３０ａとを備えており、計算機３０ａは、視点変換部３１、輝度差算出部３８、エッジ線検出部３９、第１立体物検出部３３ａ、ヘッドライト検出部３４、第２立体物検出部３５、白濁度算出部３６ａ、および立体物判断部３７から構成されている。以下に、第２実施形態に係る立体物検出装置１ａの各構成について説明する。なお、視点変換部３１、ヘッドライト検出部３４、第２立体物検出部３５、および、立体物判定部３７については、第１実施形態と同様の構成であるため、その説明は省略する。

図１６は、図１６のカメラ１０の撮像範囲等を示す図であり、図１６（ａ）は平面図、図１６（ｂ）は、自車両Ｖ１から後側方における実空間上の斜視図を示す。図１６（ａ）に示すように、カメラ１０は所定の画角ａとされ、この所定の画角ａに含まれる自車両Ｖ１から後側方を撮像する。カメラ１０の画角ａは、図２に示す場合と同様に、カメラ１０の撮像範囲に自車両Ｖ１が走行する車線に加えて、隣接する車線も含まれるように設定されている。

本例の検出領域Ａ１，Ａ２は、平面視（鳥瞰視された状態）において台形状とされ、これら検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ_１〜ｄ_４に基づいて決定される。なお、同図に示す例の検出領域Ａ１，Ａ２は台形状に限らず、図２に示すように鳥瞰視された状態で矩形など他の形状であってもよい。

ここで、距離ｄ１は、自車両Ｖ１から接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖ１が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖ１の後側方において自車両Ｖ１の車線に隣接する左右の車線を走行する隣接車両Ｖ２等（２輪車等を含む)を検出することが目的である。このため、自車両Ｖ１から白線Ｗまでの距離ｄ１１及び白線Ｗから隣接車両Ｖ２が走行すると予測される位置までの距離ｄ１２から、隣接車両Ｖ２の接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。

また、距離ｄ１については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機３０ａは、白線認識等の技術により自車両Ｖ１に対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。以下の本実施形態においては、隣接車両Ｖ２が走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖ１が走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。

距離ｄ２は、自車両Ｖ１の後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が隣接車両Ｖ２等であるため、距離ｄ３は、隣接車両Ｖ２を含む長さに設定される。

距離ｄ４は、図１６（ｂ）に示すように、実空間において隣接車両Ｖ２等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰視画像においては図１６（ａ）に示す長さとされる。なお、距離ｄ４は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの隣隣接車線）を含まない長さとすることもできる。自車両Ｖ１の車線から２車線隣の車線を含んでしまうと、自車両Ｖ１が走行している車線である自車線の左右の隣接車線に隣接車両Ｖ２が存在するのか、２車線隣りの隣隣接車線に隣隣接車両が存在するのかについて、区別が付かなくなってしまうためである。

以上のように、距離ｄ１〜距離ｄ４が決定され、これにより検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図１６（ｂ）に示すように、自車両Ｖ１から後側方における実空間上では真四角（長方形）となる。

輝度差算出部３８は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部３８は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部３８は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

ここでは、鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３８は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３８は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３８の動作について詳細に説明する。

輝度差算出部３８は、図１７（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また、輝度差算出部３８は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部３８は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３８は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図１７（ｂ）に示す関係となる。図１７（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部３８は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。特に、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。このため、図１６に示すエッジ線検出部３９は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図１８は、輝度差算出部３８の詳細動作を示す図であり、図１８（ａ）は鳥瞰視された状態の鳥瞰視画像を示し、図１８（ｂ）は、図１８（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお、図１８についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。

カメラ１０が撮像した撮像画像内に隣接車両Ｖ２が映っていた場合に、図１８（ａ）に示すように、鳥瞰視画像内の検出領域Ａ１に隣接車両Ｖ２が現れる。図１８（ｂ）に図１８（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰視画像上において、隣接車両Ｖ２のタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３８は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１ａにおいて、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰視画像上において、例えば隣接車両Ｖ２のタイヤのゴムから１０ｃｍ相当だけ離れた隣接車両Ｖ２のタイヤのホイール上に設定される。

次に、輝度差算出部３８は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図１８（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に、輝度差算出部３８は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部３８は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３８は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３８は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３８は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３８は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部３８は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３８は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３８は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

このように、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。

図１６に戻り、エッジ線検出部３９は、輝度差算出部３８により算出された連続的な輝度差から、エッジ線を検出する。例えば、図１８（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部３９は、輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には、エッジ線検出部３９は、エッジ線を検出するにあたり、先ず下記式１に従って、ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
［式２］
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｔのとき
ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき
ｓ（ｘｉ，ｙｉ）＝０

上記式２において、ｔはエッジ閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記式２によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉにエッジ閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉからエッジ閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘−１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。

次に、エッジ線検出部３９は、下記式３に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
［式３］
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く）、
ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｃ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。

次に、エッジ線検出部３９は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部３９は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。そして、エッジ線検出部３９は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。

すなわち、エッジ線検出部３９は、下記式４に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして、エッジ線検出部３９は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
［式４］
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ

このように、第２実施形態では、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図２０は、エッジ線検出部３９の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接した画像である。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。

これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部３９は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定するので、エッジ線検出部３９は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。

図１６に戻り、第１立体物検出部３３ａは、エッジ線検出部３９により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置１ａは、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、第１立体物検出部３３ａは、エッジ線検出部３９により検出されたエッジ線の量に基づいて立体物を検出する。具体的には、第１立体物検出部３３ａは、エッジ線検出部３９により検出されたエッジ線の量が、所定の閾値β以上であるか否かを判断し、エッジ線の量が所定の閾値β以上である場合には、エッジ線検出部３９により検出されたエッジ線は、立体物のエッジ線であるものと判断する。

さらに、第１立体物検出部３３ａは、立体物を検出するに先立って、エッジ線検出部３９により検出されたエッジ線が正しいものであるか否かを判定する。第１立体物検出部３３ａは、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値ｔｂ以上である否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値ｔｂ以上である場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値ｔｂ未満である場合には、当該エッジ線が正しいものと判定する。なお、この閾値ｔｂは、実験等により予め設定された値である。

図２１は、エッジ線の輝度分布を示す図であり、図２１（ａ）は検出領域Ａ１に立体物としての隣接車両Ｖ２が存在した場合のエッジ線及び輝度分布を示し、図２１（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示す。

図２１（ａ）に示すように、鳥瞰視画像において隣接車両Ｖ２のタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰視画像に視点変換されたことにより、隣接車両のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図２１（ｂ）に示すように、鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌａ上の輝度分布の相違に基づいて、第１立体物検出部３３ａは、エッジ線が誤判定により検出されたものか否かを判定する。たとえば、カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。上述したように、隣接車両Ｖ２のタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。そのため、第１立体物検出部３３ａは、エッジ線に沿った輝度変化が所定の閾値ｔｂ以上である場合には、当該エッジ線が誤判定により検出されたものであり、当該エッジ線は、立体物に起因するものではないと判断する。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。一方、第１立体物検出部３３ａは、エッジ線に沿った輝度変化が所定の閾値ｔｂ未満である場合には、当該エッジ線は、立体物のエッジ線であると判断し、立体物が存在するものと判断する。

具体的には、第１立体物検出部３３ａは、下記式５，６の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記式５は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記式６は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
［式５］
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝^２］
［式６］
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜

なお、上記式６に限らず、下記式７のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
［式７］
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき、
ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｂ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、第１立体物検出部３３ａは、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めることで、エッジ線が立体物に起因するものであり、立体物が存在するか否かを判定する。

第２実施形態に係る白濁度算出部３６ａは、所定の周期（フレームレート）で得られた各鳥瞰視画像から検出されたエッジ線の数に基づいて、各フレームごとに、フレームスコアを算出する。たとえば、白濁度算出部３６ａは、下記の表３に示すように、検出されたエッジ線の数が、０〜２本の場合には、隣接車両Ｖ２が検出されないものと判断して、スコアを０点として算出し、３〜４本の場合には、隣接車両Ｖ２を検出している可能性があるものと判断して、スコアを１点と算出する。さらに、エッジ線の数が、５〜６本の場合には、隣接車両Ｖ２を検出している可能性が高いものと判断し、スコアを２点として算出し、７本以上の場合には、隣接車両Ｖ２を検出している可能性がより高いものと判断し、スコアを３点として算出する。

また、白濁度算出部３６ａは、所定時間内に生成されたフレームスコアに基づいて、検知スコアを算出し、算出した検知スコアを積算していくことで、検知スコアの積算値を、レンズの白濁度として算出する。なお、検知スコアおよびレンズの白濁度の算出方法は、第１実施形態と同様に行うことができる。

次に、図２２および図２３を参照して、第２実施形態に係る隣接車両検出方法について説明する。図２２および図２３は、第２実施形態に係る隣接車両検出方法の詳細を示すフローチャートである。本実施形態において、この隣接車両検出処理は、後述する白濁度算出処理と並行して実行される。また、本実施形態の隣接車両検出処理は、所定の周期（たとえば、０．１秒周期）で繰り返し行われる。なお、以下においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。

ステップＳ３０１では、カメラ１０により、画角ａ及び取付位置によって特定された所定領域の撮像が行われ、計算機３０ａにより、カメラ１０により撮像された撮像画像Ｐの画像データが取得される。次に視点変換部３１は、ステップＳ３０２において、取得した画像データについて視点変換を行い、鳥瞰視画像データを生成する。

次に輝度差算出部３８は、ステップＳ３０３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部３８は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。次に輝度差算出部３８は、ステップＳ３０４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部３８は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。

次に輝度差算出部３８は、ステップＳ３０５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部３８は、エッジ線検出部３９によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。また、輝度差算出部３８は、ステップＳ３０６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

次に輝度差算出部３８は、ステップＳ３０７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。そして、エッジ線検出部３９は、輝度差算出部３８により算出された輝度差に基づいて、上記式１に従って、各注目点Ｐａの属性ｓを算出する。

次にエッジ線検出部３９は、ステップＳ３０８において、上記式２に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。そして、エッジ線検出部３９は、ステップＳ３０９において、上記式３に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。そして、正規化した値が閾値θよりも大きいと判断した場合（ステップＳ３０９＝Ｙｅｓ）、エッジ線検出部３９は、ステップＳ３１０において、当該注目線Ｌａをエッジ線として検出する。そして、処理はステップＳ３１１に移行する。正規化した値が閾値θより大きくないと判断した場合（ステップＳ３０９＝Ｎｏ）、エッジ線検出部３９は、当該注目線Ｌａをエッジ線として検出せず、処理はステップＳ３１１に移行する。

ステップＳ３１１において、計算機３０ａは、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ３０３〜ステップＳ３１０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（ステップＳ３１１＝Ｎｏ）、ステップＳ３０３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ３１１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（ステップＳ３１１＝Ｙｅｓ）、処理はステップＳ３１２に移行する。

ステップＳ３１２において、第１立体物検出部３３ａは、ステップＳ３１０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。第１立体物検出部３３ａは、上記式５，６，７の何れかの式に従って、エッジ線の輝度変化を算出する。次に第１立体物検出部３３ａは、ステップＳ３１３において、エッジ線のうち、輝度変化が所定の閾値ｔｂ以上のエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値ｔｂとは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。一方、第１立体物検出部３３ａは、エッジ線のうち、輝度変化が所定の閾値ｔｂ未満であるエッジ線を、立体物のエッジ線と判断し、これにより、隣接車両に存在する立体物を検出する。

次いで、ステップＳ３１４では、第１立体物検出部３３ａにより、隣接車両Ｖ２の検出が行われる。具体的には、第１立体物検出部３３ａは、ステップＳ３１０で検出したエッジ線の量が所定の閾値β以上であるか否かを判断することで、隣接車線に隣接車両Ｖ２が存在するか否かを判断する。ここで、閾値βは、予め実験等によって求めておいて設定された値であり、たとえば、検出対象の立体物として四輪車を設定した場合に、当該閾値βは、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。そして、第１立体物検出部３３ａは、エッジ線の量が閾値β以上である場合には、検出領域Ａ１内に隣接車両Ｖ２が存在すると判断し、隣接車線に存在する隣接車両Ｖ２を検出する。一方、第１立体物検出部３３ａは、エッジ線の量が閾値β以上ではない場合には、検出領域Ａ１内に隣接車両Ｖ２が存在しないものと判断し、隣接車両Ｖ２を検出しない。

ステップＳ３１５〜Ｓ３１７は、第１実施形態のステップＳ１１２〜Ｓ１１４と同様に、隣接車両Ｖ２のヘッドライトの候補となる光源の検出が行われ（ステップＳ３１５）、検出された隣接車両Ｖ２のヘッドライトの候補となる光源に基づいて、第２立体物検出部３５により、隣接車両Ｖ２の検出が行われる（ステップＳ３１６）。そして、後述する白濁度算出処理により算出されたレンズ白濁度の取得が行われる（ステップＳ３１７）。

そして、ステップＳ３１８では、立体物判断部３７により、ステップＳ３１７で取得されたレンズ白濁度に基づいて、ステップＳ３１４で得られた第１立体物検出部３３ａの検出結果、および、ステップＳ３１６で得られた第２立体物検出部３５の検出結果の重み付けが行われる。具体的には、立体物判断部３７は、上記式１に示すように、レンズ白濁度が高いほど、第１立体物検出部３３ａの検出結果の重み付けＷ_ｃ１を小さくし、第２立体物検出部３５の検出結果の重み付けＷ_ｃ２を大きくする。

次に、ステップＳ３１９では、立体物判断部３７により、上記式１に示すように、ステップＳ３１８で重み付した検出結果の合計値が、所定の車両判定閾値ｓ_ｃを越えるか否かの判断が行われ、重み付けした第１立体物検出部３３ａの検出結果と第２立体物検出部３５の検出結果との合計値が、所定の車両判定閾値ｓ_ｃを越える場合には、ステップＳ３２０に進み、隣接車両Ｖ２が存在すると判断される。一方、所定の車両判定閾値ｓ_ｃを越えない場合には、ステップＳ３２１に進み、隣接車両Ｖ２が存在しないと判断される。

続いて、図２４を参照して、第２実施形態に係る白濁度算出処理について説明する。図２４は、第２実施形態に係る白濁度算出処理を示すフローチャートである。なお、以下に説明する白濁度算出処理は、所定の周期（たとえば、０．１秒周期）で実行される。また、以下に説明する白濁度算出処理は、上述した隣接車両検出処理と並行して行われ、この白濁度算出処理において算出されたレンズの白濁度が、上述した隣接車両検出処理において、隣接車両Ｖ２を検出する際に用いられることとなる。

ステップＳ４０１では、白濁度算出部３６により、上述した隣接車両検出処理で検出されたエッジ線の数の検出が行われる。そして、ステップＳ４０２では、上記の表１に示すように、ステップＳ４０１で検出されたエッジ線の数に基づいて、フレームスコアの算出が行われる。

ステップＳ４０３〜Ｓ４０６は、第１実施形態のステップＳ２０３〜Ｓ２０６と同様の処理が行われる。すなわち、隣接車両Ｖ２のヘッドライトが検出されているか否かの判定が行われ（ステップＳ４０３）、隣接車両Ｖ２のヘッドライトが検出されている場合には（ステップＳ４０３＝Ｙｅｓ）、所定時間内に算出されたフレームスコアの合計点の算出が行われる（ステップＳ４０４）。そして、算出されたフレームスコアの合計点に基づいて、上記の表２に示すように、検知スコアの算出が行われ（ステップＳ４０５）、検知スコアの積算値がレンズの白濁度として算出される（ステップＳ４０６）。なお、隣接車両Ｖ２のヘッドライトが検出されていない場合には（ステップＳ４０３＝Ｎｏ）、フレームスコアの算出が繰り返し行われる。そして、ステップＳ４０６で算出されたレンズの白濁度が、図２２および図２３に示す隣接車両検出処理に用いられることとなる。

以上のように、第２実施形態では、隣接車両Ｖ２のエッジを検出し、該エッジに基づいて隣接車両Ｖ２を検出する第１立体物検出部３３ａの検出結果と、ヘッドライトに基づいて隣接車両Ｖ２を検出する第２立体物検出部３５の検出結果とに、レンズの白濁度に応じた重み付けを行い、重み付けした検出結果に基づいて、隣接車両Ｖ２が存在するか否かを判断する。具体的には、レンズの白濁度が高いほど、第１立体物検出部３３の検出結果の重み付けを小さくし、第２立体物検出部３５の検出結果の重み付けを大きくして、隣接車両Ｖ２が存在するか否かを判断する。これにより、第２実施形態においては、第１実施形態の効果に加えて、撮像画像から検出したエッジに基づいて隣接車両Ｖ２を検出する場合においても、レンズが白濁している度合いに応じて、隣接車両Ｖ２を適切に検出することが可能となる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した実施形態では、上記式１に示すように、レンズの白濁度に基づいて、第１立体物検出部３３の検出結果と、第２立体物検出部３５の検出結果とに重み付けを行い、重み付けした第１立体物検出部３３の検出結果と第２立体物検出部３５の検出結果との合計値が、所定の車両判定閾値ｓ_ｃ以上である場合に、隣接車両Ｖ２が存在するものと判断する構成を例示したが、この構成に限定されず、たとえば、レンズの白濁度に基づいて、立体物を検出するための差分閾値ｔｈ、エッジ閾値ｔを変更する構成としてもい。具体的には、レンズの白濁度が高いほど、立体物を検出し易いように、差分閾値ｔｈまたはエッジ閾値ｔを低い値に変更する構成としてもよい。この場合、レンズが白濁している場合でも、立体物を検出し易くなるため、隣接車線に存在する隣接車両Ｖ２を適切に検出することが可能となる。また、同様に、レンズの白濁度が高いほど、立体物を検出するための閾値α、閾値βを低くする構成としてもよい。さらに、レンズの白濁度が高いほど、立体物が検出し易くなるように、閾値θ、閾値ｔ２、閾値ｔｂなどを変更する構成としてもよい。また、検出されたレンズの白濁度が高いほど、カメラ１０から出力される画素値（または輝度値）を高くする構成としてもよい。この場合、差分画素ＤＰやエッジが検出され易くなるため、立体物（隣接車両Ｖ２）の検出が促進され、その結果、レンズが白濁している場合でも、隣接車両Ｖ２を適切に検出することができる。

さらに、上述した第１実施形態では、立体物の移動速度が所定の条件を満たす場合に、立体物を隣接車両Ｖ２として検出する構成を例示したが、たとえば、レンズの白濁度が高い場合に、上記の条件を緩くすることで、隣接車両Ｖ２の検出を促進する構成としてもよい。たとえば、上述した実施形態では、立体物の絶対移動速度が１０ｋｍ／ｈ以上、かつ、自車両Ｖ１に対する立体物の相対移動速度が＋６０ｋｍ／ｈ以下である場合に、立体物を隣接車両Ｖ２と判断しているが、レンズの白濁度が高い場合には、たとえば、立体物の絶対移動速度が５ｋｍ／ｈ以上、かつ、自車両Ｖ１に対する立体物の相対移動速度が＋７０ｋｍ／ｈ以下である場合に、立体物は隣接車両Ｖ２であると判断する構成とする構成としてもよい。

また、上述した実施形態に加えて、レンズの白濁度が所定値以上となった場合に、レンズが白濁して隣接車両Ｖ２を適切に検出することができないものとして、このような場合に、隣接車両Ｖ２の検出を行わない構成とすることもできる。たとえば、図１２に示す例において、レンズの白濁度が上限値Ｓ_２である１００に達した場合や、レンズの白濁度が上限値Ｓ_２に近い８０以上となった場合に、隣接車両Ｖ２の検出を行わない構成とすることもできる。

さらに、上述した実施形態では、隣接車両Ｖ２のヘッドライトが検出され、レンズ白濁度の算出を開始する際に、隣接車両Ｖ２のヘッドライトが検出された時刻よりも前の微小時間を含む所定時間において算出されたフレームスコアに基づいて、検知スコアを算出する構成を例示したが、この構成に限定されず、たとえば、隣接車両Ｖ２のヘッドライトが検出された後の所定時間において算出されたフレームスコアのみに基づいて、検知スコアを算出する構成としてもよい。たとえば、図１１に示す例において、隣接車両Ｖ２のヘッドライトが検出された時刻ｔ_５から時刻ｔ_３０までの２５フレーム分のフレームスコアに基づいて、検知スコアを算出することで、検知スコアＤＳ_１を算出する構成としてもよい。

加えて、上述した実施形態においては、カメラ１０のレンズに水垢などの異物が付着しており、レンズが白濁している場合を例示して説明したが、異物は水垢に限定されず、雨滴や泥水なども含むことができる。

なお、上述した実施形態のカメラ１０は本発明の撮像手段に相当し、視点変換部３１は本発明の画像変換手段に相当し、位置合わせ部３２、第１立体物検出部３３，３３ａ、輝度差算出部３８、エッジ線検出部３９は本発明の第１立体物検出手段に相当し、ヘッドライト検出部３４は本発明の光源検出手段に相当し、第２立体物検出部３５は本発明の第２立体物検出手段に相当し、立体物判断部３７は本発明の制御手段に相当し、白濁度算出部３６，３６ａは本発明の白濁度算出手段に相当する。

１，１ａ…立体物検出装置
１０…カメラ
２０…車速センサ
３０，３０ａ…計算機
３１…視点変換部
３２…位置合わせ部
３３，３３ａ…第１立体物検出部
３４…ヘッドライト検出部
３５…第２立体物検出部
３６，３６ａ…白濁度算出部
３７…立体物判断部
３８…輝度差算出部
３９…エッジ線検出部
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
ＤＷ_ｔ１〜ＤＷ_ｍ，ＤＷ_ｍ＋ｋ〜ＤＷ_ｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢ_ｔ…鳥瞰視画像
ＰＤ_ｔ…差分画像
Ｖ１…自車両
Ｖ２…隣接車両

本発明は、自車両後方に存在する光源に基づいて立体物を検出する第２立体物検出手段と、撮像画像に基づいて、第２立体物検出と異なる態様で立体物を検出する第１立体物検出手段と、を備える立体物検出装置において、レンズ白濁度を算出し、レンズ白濁度が所定の判定値以上である場合には、第１立体物検出手段の検出結果よりも第２立体物検出手段の検出結果を多く用いて立体物が隣接車両であるか否かを判断し、レンズ白濁度が判定値未満である場合には、第２立体物検出手段の検出結果よりも第１立体物検出手段の検出結果を多く用いて立体物が隣接車両であるか否かを判断することで、上記課題を解決する。

Claims (17)

1. 自車両後方の映像を結像させるレンズを備えた撮像手段と、
   前記撮像手段により得られた撮像画像に基づいて立体物を検出する第１立体物検出手段と、
   前記撮像手段により得られた前記撮像画像に基づいて、自車両後方に存在する光源を検出する光源検出手段と、
   前記光源検出手段により検出された前記光源に基づいて立体物を検出する第２立体物検出手段と、
   前記撮像画像に基づいて、前記レンズが白濁している度合いをレンズ白濁度として算出する白濁度算出手段と、
   前記レンズ白濁度が所定の判定値以上である場合には、少なくとも前記第２立体物検出手段による検出結果に基づいて、前記立体物が自車両の走行車線に隣接する隣接車線に存在する隣接車両であるか否かを判断し、
   前記レンズ白濁度が前記判定値未満である場合には、少なくとも前記第１立体物検出手段による検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断する制御手段と、を備えることを特徴とする立体物検出装置。
2. 請求項１に記載の立体物検出装置であって、
   前記第１立体物検出手段は、
   前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
   前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて、前記立体物を検出し、
   前記白濁度算出手段は、所定時間内に生成された前記差分波形情報のピークのうち、所定閾値以上の値を有するピークの数に基づいて、前記レンズ白濁度を算出することを特徴とする立体物検出装置。
3. 請求項２に記載の立体物検出装置であって、
   前記制御手段は、前記レンズ白濁度が高いほど、前記第１立体物検出手段の検出結果の重み付けを相対的に小さくし、前記第２立体物検出手段の検出結果の重み付けを相対的に大きくし、重み付けした前記第１立体物検出手段による検出結果および前記第２立体物検出手段による検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断することを特徴とする立体物検出装置。
4. 請求項２または３に記載の立体物検出装置であって、
   前記白濁度算出手段は、前記光源検出手段が前記光源を検出した場合に、前記レンズ白濁度の算出を開始することを特徴とする立体物検出装置。
5. 請求項４に記載の立体物検出装置であって、
   前記白濁度算出手段は、前記レンズ白濁度の算出を開始する際に、前記光源が検出された時刻を基準として前記所定時間を設定し、前記所定時間内に生成された前記差分波形情報のピークのうち、前記所定閾値以上の値を有するピークの数に基づいて、前記レンズ白濁度の算出を行うこと特徴とする立体物検出装置。
6. 請求項４または５に記載の立体物検出装置であって、
   前記白濁度算出手段は、前記レンズ白濁度の算出を開始する際に、前記光源が検出された時刻よりも前の微小時間を前記所定時間に含めて、前記レンズ白濁度を算出することを特徴とする立体物検出装置。
7. 請求項２〜６のいずれかに記載の立体物検出装置であって、
   前記白濁度算出手段は、前記差分波形情報において前記所定閾値以上の値を有するピークの数に基づいて第１スコアを算出し、前記所定時間内に算出された前記第１スコアの合計値に基づいて第２スコアを算出し、算出された前記第２スコアの積算値を、前記レンズ白濁度として算出することを特徴とする立体物検出装置。
8. 請求項７に記載の立体物検出装置であって、
   前記白濁度算出手段は、前記第１スコアまたは前記第２スコアに上限を設けることを特徴とする立体物検出装置。
9. 請求項１に記載の立体物検出装置であって、
   前記第１立体物検出手段は、
   前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
   前記画像変換手段により得られた前記鳥瞰視画像から、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿ってエッジ情報を検出し、該エッジ情報に基づいて立体物を検出し、
   前記白濁度算出手段は、所定時間内に検出された前記エッジ情報に含まれるエッジ線の量に基づいて、前記レンズ白濁度を算出することを特徴とする立体物検出装置。
10. 請求項９に記載の立体物検出装置であって、
    前記制御手段は、前記レンズ白濁度が高いほど、前記第１立体物検出手段の検出結果の重み付けを相対的に小さくし、前記第２立体物検出手段の検出結果の重み付けを相対的に大きくし、重み付けした前記第１立体物検出手段による検出結果および前記第２立体物検出手段による検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断することを特徴とする立体物検出装置。
11. 請求項９または１０に記載の立体物検出装置であって、
    前記白濁度算出手段は、前記光源検出手段が前記光源を検出した場合に、前記レンズ白濁度の算出を開始することを特徴とする立体物検出装置。
12. 請求項１１に記載の立体物検出装置であって、
    前記白濁度算出手段は、前記レンズ白濁度の算出を開始する際に、前記光源が検出された時刻を基準として前記所定時間を設定し、前記所定時間内に検出された前記エッジ情報に含まれるエッジ線の量に基づいて、前記レンズ白濁度の算出を行うこと特徴とする立体物検出装置。
13. 請求項１１または１２に記載の立体物検出装置であって、
    前記白濁度算出手段は、前記レンズ白濁度の算出を開始する際に、前記光源が検出された時刻よりも前の微小時間を前記所定時間に含めて、前記レンズ白濁度を算出することを特徴とする立体物検出装置。
14. 請求項９〜１３のいずれかに記載の立体物検出装置であって、
    前記白濁度算出手段は、前記エッジ情報に含まれる前記エッジ線の量に基づいて第１スコアを算出し、前記所定時間内に算出された前記第１スコアの合計値に基づいて第２スコアを算出し、算出された前記第２スコアの積算値を、前記レンズ白濁度として算出することを特徴とする立体物検出装置。
15. 請求項１４に記載の立体物検出装置であって、
    前記白濁度算出手段は、前記第１スコアまたは前記第２スコアに上限を設けることを特徴とする立体物検出装置。
16. 自車両後方を撮像した撮像画像を鳥瞰視画像に視点変換し、異なる時刻の前記鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて立体物を検出し、該検出結果を第１検出結果として出力するとともに、前記撮像画像に基づいて自車両後方に存在する光源を検出し、前記光源に基づいて立体物を検出し、該検出結果を第２検出結果として出力し、前記第１検出結果および前記第２検出結果に基づいて、前記立体物が、自車両の走行車線に隣接する隣接車線に存在する隣接車両であるか否かを判断する立体物検出方法であって、
    所定時間内に生成された前記差分波形情報のピークのうち、所定閾値以上の値を有するピークの数に基づいて、前記レンズが白濁している度合いをレンズ白濁度として算出し、前記レンズ白濁度が所定の判定値以上である場合には、前記第１検出結果および前記第２検出結果のうち、少なくとも前記第２検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断し、前記レンズ白濁度が前記判定値未満である場合には、前記第１検出結果および前記第２検出結果のうち、少なくとも前記第１検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断することを特徴とする立体物検出方法。
17. 自車両後方を撮像した撮像画像を鳥瞰視画像に視点変換し、前記鳥瞰視画像から、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿ってエッジ情報を検出し、該エッジ情報に基づいて立体物を検出し、該検出結果を第１検出結果として出力するとともに、前記撮像画像に基づいて自車両後方に存在する光源を検出し、前記光源に基づいて立体物を検出し、該検出結果を第２検出結果として出力し、前記第１検出結果および前記第２検出結果に基づいて、前記立体物が、自車両の走行車線に隣接する隣接車線に存在する隣接車両であるか否かを判断する立体物検出方法であって、
    所定時間内に検出された前記エッジ情報に含まれるエッジ線の量に基づいて、前記レンズが白濁している度合いをレンズ白濁度として算出し、前記レンズ白濁度が所定の判定値以上である場合には、前記第１検出結果および前記第２検出結果のうち、少なくとも前記第２検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断し、前記レンズ白濁度が前記判定値未満である場合には、前記第１検出結果および前記第２検出結果のうち、少なくとも前記第１検出結果に基づいて、前記立体物が前記隣接車両であるか否かを判断することを特徴とする立体物検出方法。

Images