JP6254084B2 - 画像処理装置 - Google Patents

Description

本発明は，画像処理装置に関する。

従来，車載用の撮像装置により車両周辺を撮影し，撮影画像から太陽や他車ヘッドライトなどの光源位置を推定する技術が知られている。例えば，特許文献１には，輝度変化推定手段によって，太陽またはヘッドライトの輝度変化を推定できる車両用画像処理装置が開示されている。

日本国特開２０１０−０８６２６６号公報

従来技術では，白濁したレンズに太陽光が入射した場合に，周囲車両の検出等の画像認識処理の精度が低下するという問題があった。

本発明の第１の態様によると，画像処理装置は，カメラが車両外を撮影して出力した撮影画像を取得する画像取得部と，少なくとも太陽の高度を含む太陽の位置を演算して，太陽の高度が所定高度以下であることを判定する太陽判定部と，カメラのレンズ表面が白濁していることを検出する白濁検出部と，撮影画像の第１の画像領域の画像情報に基づいて，車両とは異なる他車両を検出する車両検出部と，少なくとも第１の画像領域が白濁していることが白濁検出部により検出された場合に，太陽の高度が所定高度以下であると太陽判定部が判定したとき，車両検出部による他車両の検出を抑制する制御部と，を備える。
本発明の第２の態様によると，第１の態様の?画像処理装置において，車両検出部は，他車両の検出感度に関わる所定の閾値を有し，制御部は，レンズ表面のうち太陽の位置を中心とした画像範囲に対応する範囲が白濁しているとき，レンズ表面の当該範囲が白濁していないときよりも他車両の検出感度を閾値の変更により抑制することが好ましい。
本発明の第３の態様によると，第１の態様の画像処理装置において，太陽判定部は，日時と，車両が位置する緯度および経度と，車両の方向とに基づいて，太陽の位置を演算することが好ましい。
本発明の第４の態様によると，第１の態様の画像処理装置において，太陽判定部は，撮影画像に対して画像処理を行うことにより太陽の位置を演算することが好ましい。
本発明の第５の態様によると，第４の態様の画像処理装置において，カメラは，少なくとも車両外の路面を撮影し，太陽判定部は，路面反射による高輝度領域を撮影画像から抽出して，高輝度領域の重心の位置に基づいて太陽の位置を演算することが好ましい。
本発明の第６の態様によると，制御部は，第２の態様の画像処理装置において，太陽の位置を中心とした画像範囲の輝度勾配に基づいて，レンズ表面のうち当該画像範囲に対応する範囲が白濁していることを検出することが好ましい。
本発明の第７の態様によると，第１の態様の画像処理装置において，撮影画像には白濁検出領域が設定され，白濁検出部は，白濁検出領域に対してエッジ強度のヒストグラムを演算して，ヒストグラムを用いて演算されるエッジ強度の平均値に基づいて，カメラレンズが白濁している領域を検出する。
本発明の第８の態様によると，第７の態様の画像処理装置において，カメラは，少なくとも車両外の路面を撮影し，白濁検出領域は，路面に設けられた白線の消失点の近傍に複数設定され、白濁検出部は，白濁検出領域の各々に対してエッジ強度のヒストグラムを演算して，ヒストグラムの各々を用いて演算されるエッジ強度の平均値に基づいて，カメラレンズが白濁している領域を検出する。
本発明の第９の態様によると，第７の態様の画像処理装置において，カメラは，少なくとも車両外の路面を撮影し，白濁検出領域には，路面に設けられた白線の消失点の近傍であって撮影画像の中央よりも上側の位置に設定される第１の白濁検出領域と，第１の白濁検出領域よりも下方に広がるように消失点の近傍に設定される第２の白濁検出領域とが含まれ，白濁検出部は，昼間は第１の白濁検出領域を用いてカメラレンズが白濁している領域を検出し，夜間は第２の白濁検出領域を用いてカメラレンズが白濁している領域を検出する。
本発明の第１０の態様によると，第１から第９のいずれか一態様の画像処理装置において，車両検出部による他車両の検出を制御部が抑制したことを，所定の報知部に報知させる報知制御部をさらに備えることが好ましい。

本発明によれば，撮影画像に太陽光が入射した場合にも，画像認識処理の精度が低下しない。

本発明の第１の実施の形態による車載用車両認識装置の構成を示すブロック図である。 カメラの撮影領域と遮光領域を示す図である。 カメラの取り付け位置の例を示す図である。 本発明の第１の実施の形態による車載用車両認識装置に備わる制御部がＢＳＷを実現するために備える各機能部のブロック図である。 位置合わせ部の処理の概要を説明するための図であり。（ａ）は車両の移動状態を示す平面図，（ｂ）は位置合わせの概要を示す画像である。 車両の走行状態を示す平面図である。 立体物検出部による差分波形の生成の様子を示す概略図である。 立体物検出部により分割される小領域を示す図である。 立体物検出部により生成されるヒストグラムの一例を示す図である。 立体物検出部による重み付けを示す図である。 車両検出部に関するフローチャートである。 車両検出部に関するフローチャートである。 白濁検出部により設定される白濁検出領域の一例を示す図である。 白濁検出部に関するフローチャートである。 太陽判定部により演算される太陽の位置と，太陽判定部により設定される太陽範囲を示す図である。 太陽判定部に関するフローチャートである。 ＢＳＷ制御部が設定する第１閾値αの設定値に関するテーブルの一例である。 ＢＳＷ制御部による路面反射の有無判定の概要を示す図である。 ＢＳＷ制御部に関するフローチャートである。 報知制御部に関するフローチャートである。 本発明の第２の実施の形態による車載用車両認識装置の構成を示すブロック図である。 本発明の第２の実施の形態による車載用車両認識装置に備わる制御部がＢＳＷを実現するために備える各機能部のブロック図である。 自車両の走行状態を示す図であり，（ａ）は検出領域等の位置関係を示す平面図，（ｂ）は実空間における検出領域等の位置関係を示す図である。 輝度算出部の動作を説明するための図であり，（ａ）は鳥瞰視画像における注目線，参照線，注目点，および参照点の位置関係を示す図，（ｂ）は実空間における注目線，参照線，注目点，および参照点の位置関係を示す図である。 輝度算出部の詳細な動作を説明するための図であり，（ａ）は鳥瞰視画像における検出領域を示す図，（ｂ）は鳥瞰視画像における注目線，参照線，注目点，および参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり，（ａ）は検出領域に立体物（車両）が存在している場合の輝度分布を示す図，（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 第２車両検出部に関するフローチャートである。 第２車両検出部に関するフローチャートである。 第２太陽判定部に関するフローチャートである。 第２太陽判定部による太陽位置の演算の概要を示す図である。 第２ＢＳＷ制御部に関するフローチャートである。 第２ＢＳＷ制御部が設定する閾値θの設定値に関するテーブルの一例である。 白濁度合いと閾値のレベルとの関係を示す図である。

（第１の実施の形態）
図１は，本発明の第１の実施形態による車載用車両認識装置１００の構成を示すブロック図である。図１に示す車載用車両認識装置１００は，車両に搭載されて使用されるものであり，遮光板１ａが取り付けられたカメラ１と，制御部２と，警報出力部３と，動作状態報知部４と，外部装置制御部５と，記憶部６とを備える。

カメラ１は，車両の後方に向けて設置されており，車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ１には，例えばＣＣＤやＣＭＯＳなどの撮像素子が用いられる。カメラ１により取得された撮影画像は，カメラ１から制御部２へ出力される。

遮光板１ａは，カメラ１の撮影レンズに向けて進む光の一部を遮光するためにカメラ１に取り付けられている。図２は，カメラ１の撮影領域と遮光領域を示す図であり，カメラ１を横方向から見た様子を示している。図２に示すように，カメラ１の撮影領域のうち上側の一部分が遮光板１ａでマスクされることにより，遮光領域が形成されている。カメラ１は，この遮光領域以外の撮影領域において，車両後方の路面を含む画像を撮影する。ここで，カメラ１の撮影領域（画角）は，車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されており，そのままでは路面以外，例えば空や背景等からの不要な光もカメラ１に入射されてしまう。そこで，こうしたカメラ１への不要な入射光を遮るため，遮光板１ａにより遮光領域が設けられている。

図３は，カメラ１の取り付け位置の例を示す図である。自車両の後方部分において，車体２０にはナンバープレート２１が設置されている。このナンバープレート２１の直上の位置に，斜め下に向けてカメラ１が取り付けられており，その上に遮光板１ａが設置されている。なお，ここで示した取り付け位置はあくまで一例であるため，他の位置にカメラ１を取り付けてもよい。車両後方の路面を適切な範囲で撮影可能な限り，カメラ１の取り付け位置をどのように定めてもよい。

制御部２は，記憶部６に記憶されているプログラムを実行することにより，カメラ１からの撮影画像を用いて所定の画像処理を行い，その処理結果に応じた各種制御を行う。この制御部２が行う制御により，車載用車両認識装置１００において，例えば，ＬＤＷ（Lane Departure Warning），ＢＳＷ（Blind Spot Warning），ＭＯＤ（Moving Object Detection），ＰＥＤ（Pedestrian Detection），ＲＳＲ（Road Sign Recognition），ＩＭＤ（Image Diagnosis）と呼ばれる様々な機能が実現される。ＬＤＷは，撮影画像から路面の白線（車線境界線，車両外側線など）を検出することにより，自車両が走行中の車線から逸脱しそうなときに警報を出力する機能である。ＭＯＤは，撮影画像から移動物を検出することにより，後退時等に自車両の周囲における移動物の存在を運転者に知らせる機能である。ＰＥＤは，撮影画像から人物形状を検出することにより，自車進路上にいる歩行者の存在を運転者に知らせる機能である。ＲＳＲは，撮影画像から道路上の交通標識を認識し，例えば速度制限標識の速度を超えている場合には，運転者に警告を行う機能である。ＩＭＤは，カメラ１により撮影画像が正しく撮影されているかを診断する機能である。ＢＳＷは，撮影画像から道路上を走行している他の車両を検出することにより，車線変更時等に自車両と衝突する可能性がある車両の存在を運転者に警告する機能である。

警報出力部３は，警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。警報ランプは，例えば車両のフロントピラーの両側に設置されている。この警報出力部３の動作は，制御部２によって制御される。例えば，前述のＬＤＷにおいて自車両が走行中の車線から逸脱しそうと判断された場合や，ＢＳＷにおいて自車両と衝突する可能性のある車両が検出された場合に，制御部２の制御に応じて警報出力部３から警報が出力される。

動作状態報知部４は，車載用車両認識装置１００の動作状態を車両の運転者に報知するための部分である。例えば，所定の動作条件が満たされておらずに車載用車両認識装置１００が非動作状態にある場合，制御部２の制御により，動作状態報知部４として車両の運転席付近に設置されたランプを点灯させる。これにより，車載用車両認識装置１００が非動作状態であることを運転者に報知する。
外部装置制御部５は，制御部２からの制御に応じて，外部装置を制御する。

次に，車載用車両認識装置１００において制御部２が行うＢＳＷ制御について説明する。カメラ１の撮影領域内に太陽のような強い光源が存在する場合，撮影画像中の当該光源の位置近傍ではコントラストが低下する。さらに，カメラ１の撮影レンズに汚れが付着して白濁している場合，撮影画像全体のコントラストがさらに低下する。撮影画像全体のコントラストが低下した状態では，ＢＳＷにおける他車両等の検出精度が悪化する。制御部２は，撮影領域に太陽が存在するとき，カメラ１の撮影レンズのレンズ表面における白濁の位置や度合いに基づいてＢＳＷの動作を制御する。

図４は，ＢＳＷに関する制御部２の制御ブロック図である。図４に図示されるように，制御部２は，画像取得部３１とＢＳＷ部３２と白濁検出部３３と太陽判定部３４とＢＳＷ制御部３５とを有する。

（画像取得部３１）
画像取得部３１は，所定時間ごとにカメラ１から撮影画像の画像情報を取得する。画像取得部３１が取得した撮影画像の画像情報は，少なくともＢＳＷ部３２と白濁検出部３３とに出力される。図４では，画像取得部３１は，ＢＳＷ制御部３５にも撮影画像の画像情報を出力している。

（ＢＳＷ部３２）
ＢＳＷ部３２は，車両検出部４１と報知制御部４２とを有する。車両検出部４１は，視点変換部４１１と位置合わせ部４１２と立体物検出部４１３とを有する。

（視点変換部４１１）
視点変換部４１１は，画像取得部３１が取得した撮影画像の画像情報を鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは，上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は，例えば特開２００８−２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは，立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき，これを利用すれば平面物と立体物とを識別できるからである。

（位置合わせ部４１２）
位置合わせ部４１２は，視点変換部４１１の視点変換により得られた鳥瞰画像データが順次入力され，入力された異なる時刻の鳥瞰画像データの位置を合わせる。図５は，位置合わせ部４１２の処理の概要を説明するための図であり，図５（ａ）は自車両Ｖの移動状態を示す平面図，図５（ｂ）は位置合わせの概要を示す画像である。

図５（ａ）に示すように，現時刻の自車両ＶがＶ１に位置し，一時刻前の自車両ＶがＶ２に位置していたとする。また，自車両Ｖの後側方向に他車両ＶＸが位置して自車両Ｖと並走状態にあり，現時刻の他車両ＶＸがＶ３に位置し，一時刻前の他車両ＶＸがＶ４に位置していたとする。さらに，自車両Ｖは，一時刻で距離ｄ移動したものとする。なお，一時刻前とは，現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし，任意の時間だけ過去の時刻であってもよい。

このような状態において，現時刻における鳥瞰画像ＰＢ_ｔは図５（ｂ）に示すようになる。この鳥瞰画像ＰＢ_ｔでは，路面上に描かれる白線については矩形状となり，比較的正確に平面視された状態となるが，位置Ｖ３にある他車両ＶＸの位置については倒れ込みが発生する。また，一時刻前における鳥瞰画像ＰＢ_ｔ−１についても同様に，路面上に描かれる白線については矩形状となり，比較的正確に平面視された状態となるが，位置Ｖ４にある他車両ＶＸについては倒れ込みが発生する。立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は，鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し，路面上の平面画像は鉛直エッジを含まないので，視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部４１２は，上記のような鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際，位置合わせ部４１２は，一時刻前における鳥瞰画像ＰＢ_ｔ−１をオフセットさせ，現時刻における鳥瞰画像ＰＢ_ｔと位置を一致させる。図５（ｂ）の左側の画像と中央の画像は，移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は，図５（ａ）に示した自車両Ｖの実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり，車速センサからの信号と一時刻前から現時刻までの時間に基づいて決定される。

また，位置合わせ後において位置合わせ部４１２は，鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分をとり，差分画像ＰＤ_ｔのデータを生成する。ここで，差分画像ＰＤ_ｔの画素値は，鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものでもよいし，照度環境の変化に対応するために当該絶対値が所定の閾値ｐを超えたときに「１」とし，超えないときに「０」としてもよい。図５（ｂ）の右側の画像が，差分画像ＰＤ_ｔである。この閾値ｐは，予め設定することにしてもよい。

（立体物検出部４１３）
図４の立体物検出部４１３は，図５（ｂ）に示す差分画像ＰＤ_ｔのデータに基づいて立体物を検出する。立体物検出部４１３が検出する立体物の中には，自車両Ｖが車線変更する際に接触の可能性がある他車両が含まれる。立体物検出部４１３は，実空間上における立体物の移動距離についても算出する。立体物検出部４１３は，立体物の時間あたりの移動距離を，立体物の移動速度の算出に用いる。そして，立体物検出部４１３は，その立体物の移動速度を立体物が車両であるか否かの判断に用いる。

立体物検出部４１３は，まず差分波形を生成する。差分波形の生成にあたって立体物検出部４１３は，差分画像ＰＤ_ｔにおいて検出領域を設定する。図６は，検出領域の一例を示す図である。図６には，自車両Ｖの後方の左側及び右側に矩形状の検出領域Ａ１，Ａ２が図示されている。図６の検出領域Ａ１，Ａ２において，他車両は，自車両Ｖが走行する車線の隣接車線を走行する立体物として検出される。

図６では，検出領域Ａ１，Ａ２は，自車両Ｖが走行する車線に隣接する左右の車線に設けられている。立体物検出部４１３は，自車両Ｖに対する相対位置からこのような検出領域Ａ１，Ａ２を設定してもよいし，既存の白線認識技術等を利用して白線の位置を基準に設定してもよい。

また，立体物検出部４１３は，設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２として認識する。一般に接地線は立体物が地面に接触する線を意味するが，本実施形態では地面に接触する線でなく上記の如くに設定される。なお，この場合であっても，経験上，本実施形態に係る接地線と，本来の他車両ＶＸの位置から求められる接地線との差は大きくなり過ぎず，実用上は問題が無い。

図７は，立体物検出部４１３による差分波形の生成の様子を示す概略図である。図７に示すように，立体物検出部４１３は，位置合わせ部４１２で算出した差分画像ＰＤｔ（例えば，図５（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から，差分波形ＤＷｔを生成する。この際，立体物検出部４１３は，視点変換により立体物が倒れ込む方向に沿って，差分波形ＤＷｔを生成する。なお，図７に示す例では，便宜上検出領域Ａ１のみを用いて説明するが，検出領域Ａ２についても同様の手順で差分波形ＤＷｔを生成する。

立体物検出部４１３は，差分画像ＤＷｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして，立体物検出部４１３は，線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで，所定の差分を示す差分画素ＤＰは，差分画像ＤＷｔの画素値が鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものである場合は所定の閾値を超える画素であり，差分画像ＤＷｔの画素値が「０」「１」で表現されている場合は「１」を示す画素である。

立体物検出部４１３は，差分画素ＤＰの数をカウントした後，線Ｌａと接地線（例えば，接地線Ｌ１）との交点ＣＰを求める。そして，立体物検出部４１３は，交点ＣＰとカウント数とを対応付け，交点ＣＰの位置に基づいて横軸位置，すなわち図７右図の上下方向軸における位置を決定するとともに，カウント数から縦軸位置，すなわち図７右図の左右方向軸における位置を決定し，交点ＣＰにおけるカウント数としてプロットする。

以下同様に，立体物検出部４１３は，立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して，差分画素ＤＰの数をカウントし，各交点ＣＰの位置に基づいて横軸位置を決定し，カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部４１３は，上記を順次繰り返して度数分布化することで，図７右図に示すように差分波形ＤＷｔを生成する。

なお，図７左図に示すように，立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため，検出領域Ａ１が差分画素ＤＰで満たされているとすると，線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため，立体物検出部４１３は，差分画素ＤＰのカウント数から縦軸位置を決定する場合に，立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると，図７左図において線Ｌａ上の差分画素ＤＰは６個あり，線Ｌｂ上の差分画素ＤＰは５個である。このため，図７においてカウント数から縦軸位置を決定するにあたり，立体物検出部４１３は，カウント数を重複距離で除算するなどして正規化する。これにより，差分波形ＤＷ_ｔに示すように，立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

差分波形ＤＷ_ｔの生成後，立体物検出部４１３は一時刻前の差分波形ＤＷ_ｔ−１との対比により移動距離を算出する。すなわち，立体物検出部４１３は，差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から移動距離を算出する。

詳細に説明すると，まず立体物検出部４１３は，差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図８は，立体物検出部４１３によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは，例えば図８に示すように，互いに重複するようにして分割される。図８では，小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とが重複しており，小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とが重複している。

次いで，立体物検出部４１３は，小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量を算出する。オフセット量とは，差分波形の横軸方向（図８の上下方向）の移動量であって，一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）に基づいて算出される。具体的には，立体物検出部４１３は，小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に，次のような処理でオフセット量を算出する。まず，立体物検出部４１３は，小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に，一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させて，現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を探索する。次に，立体物検出部４１３は，小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に，その誤差が最小となる位置と，差分波形ＤＷ_ｔ−１の元の位置との横軸方向の移動量を算出し，その移動量をオフセット量とする。

次いで，立体物検出部４１３は，小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に算出したオフセット量をヒストグラム化して，そのヒストグラムから立体物の移動距離を算出する。図９は，オフセット量のヒストグラムの一例を示す図である。図９に示すように，オフセット量には多少のバラつきが生じるため，立体物検出部４１３は，バラつきを含んだオフセット量をヒストグラム化してそのヒストグラムから立体物の移動距離を算出する。

立体物検出部４１３は，オフセット量のヒストグラムの極大値に基づいて，立体物の移動距離を算出する。例えば，図９の例では，ヒストグラムの極大値は移動距離τ^＊である。立体物検出部４１３は，この移動距離τ^＊と自車両Ｖに備わる車速センサからの信号とに基づいて，立体物の絶対移動距離を算出する。

なお，ヒストグラム化にあたり立体物検出部４１３は，複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし，小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図１０は，立体物検出部４１３による重み付けを示す図である。

図１０に示すように，小領域ＤＷ_ｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。立体物検出部４１３は，このような小領域ＤＷ_ｍについて重みを小さくする。平坦な小領域ＤＷ_ｍについては，特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。一方，小領域ＤＷ_ｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。立体物検出部４１３は，このような小領域ＤＷ_ｍについて重みを大きくする。起伏に富む小領域ＤＷ_ｍ＋ｋについては，特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより，立体物の移動距離の算出精度を向上することができる。

（車両検出部４１）
図１１および図１２は，制御部２が実行する車両検出部４１の処理に関するフローチャートである。図１１のステップＳ１００では，画像取得部３１が取得した撮影画像の画像情報に基づいて，視点変換部４１１が鳥瞰画像データを生成する。ステップＳ１１０では，鳥瞰画像ＰＢ_ｔと，一時刻前の鳥瞰画像ＰＢ_ｔ−１とを，位置合わせ部４１２が位置合わせする。ステップＳ１２０では，立体物検出部４１３が差分画像ＰＤ_ｔを生成する。ステップＳ１３０では，立体物検出部４１３が差分画像ＰＤ_ｔのデータと，一時刻前の差分画像ＰＤ_ｔ−１のデータとから，差分波形ＤＷ_ｔを生成する。

ステップＳ１４０では，立体物検出部４１３が差分波形ＤＷ_ｔのピークが第１閾値α以上であるか否かを判定する。この第１閾値αは，後述するＢＳＷ制御部３５の制御により設定される。車両検出部４１の処理は，ステップＳ１４０が肯定判定されている場合は図１２のステップＳ１５０に進み，ステップＳ１４０が否定判定されている場合は図１２のステップＳ２３０に進む。

図１２のステップＳ１５０では，図７を用いて説明したように，立体物検出部４１３が差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割する。ステップＳ１６０では，図９を用いて説明したように，立体物検出部４１３が小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けを行う。ステップＳ１７０では，立体物検出部４１３が小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量を算出する。ステップＳ１８０では，立体物検出部４１３が小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量のヒストグラムを生成する。ステップＳ１９０では，立体物検出部４１３がステップＳ１８０で生成したヒストグラムに基づいて自車両Ｖに対する立体物の移動距離である相対移動距離を算出する。ステップＳ２００では，立体物検出部４１３がステップＳ１９０で算出された相対移動距離から立体物の絶対移動速度を算出する。立体物検出部４１３は，相対移動距離を時間微分して相対移動速度を算出すると共に，自車両の車速センサ等で検出された自車速を加算して，絶対移動速度を算出する。

ステップＳ２１０では，立体物の絶対移動速度がγｋｍ／ｈ以上，且つ，立体物の自車両Ｖに対する相対移動速度がδ１ｋｍ／ｈ以上δ２ｋｍ／ｈ以下であるか否かを，立体物検出部４１３が判定する。たとえば，立体物検出部４１３は，立体物の絶対移動速度が２０ｋｍ／ｈ以上，且つ，立体物の自車両Ｖに対する相対移動速度が−２０ｋｍ／ｈ以上＋４０ｋｍ／ｈ以下であるか否かを判定する。車両検出部４１の処理は，ステップＳ２１０が肯定判定されている場合はステップＳ２２０に進み，ステップＳ２１０が否定判定されている場合はステップＳ２３０に進む。

ステップＳ２２０では，立体物検出部４１３は，立体物が他車両ＶＸであると判断する。ステップＳ２３０では，立体物検出部４１３は，他車両が存在しないと判断する。そして，制御部２は，図１１および図１２に示す処理を終了する。

（白濁検出部３３）
図４の白濁検出部３３は，カメラ１の撮影レンズの白濁を検出する。白濁検出部３３は，カメラ１の撮影画像に対して白濁検出領域を設定して，その白濁検出領域ごとにエッジ強度のヒストグラムを生成する。そして，白濁検出部３３は，そのヒストグラムの平均値が所定値以下のとき，カメラ１の撮影レンズが白濁しているものとして判定する。

図１３は，白濁検出領域を例示した図である。図１３には，白濁検出領域５１，５２，５３が例示されている。白濁検出領域５１，５２，５３は，撮影画像５０中で白線５４と白線５５とが交わる消失点５６の近傍に設定されている。

白濁検出領域５２および５３は，互いに左右対称の形状を有し，左右対称な位置に設定されている。白濁検出領域５２および５３は，それぞれ立体物検出部４１３が設定する検出領域Ａ１およびＡ２に対応しており，検出領域Ａ１およびＡ２に対応するレンズ表面が白濁していることを検出することに用いられる。白濁検出領域５２および５３は，白濁検出領域５１を挟むような位置に設定されている。白濁検出領域５２および５３は，白濁検出領域５１よりも下方に広がっており，自車両Ｖの近傍のエッジを検出することができるため，レンズ表面が白濁していることを夜間に検出することに適している。

白濁検出領域５１は，左右対称の形状を有し，撮影画像のうち中央より上側であり遮光部５７より下側に設定されている。白濁検出領域５１は，白濁検出領域５２と重なる領域と，白濁検出領域５３と重なる領域とを有する。白濁検出領域５１は，立体物検出部４１３が設定する検出領域Ａ１に対応するレンズ表面または検出領域Ａ２に対応するレンズ表面が白濁していることを検出することに用いられる。白濁検出領域５１における画像は，自車両Ｖが走行しているときであっても比較的変化が少ないため，検出精度が安定している。なお，白濁検出領域５１は，自車両Ｖから遠方のエッジを検出することができるため，レンズ表面が白濁していることを昼間に検出することに適している。

このように白濁検出領域を設定することにより，白濁検出部３３は，少なくとも，立体物検出部４１３が設定する検出領域Ａ１およびＡ２に対応する撮影レンズのレンズ表面が白濁していることを検出することができる。

図１４は，白濁検出部３３の処理に関するフローチャートである。白濁検出部３３には，画像取得部３１が取得した撮影画像の画像情報が入力されている。たとえば，図１３の撮影画像５０の画像情報が入力されている。図１４のステップＳ３００では，制御部２は，周知のエッジ検出処理を用いて，その撮影画像に対するエッジ検出画像を生成する。

ステップＳ３０１では，制御部２は，ステップＳ３００で生成したエッジ検出画像のうち，白濁検出領域５１に対応する領域について，その領域に含まれるエッジのエッジ強度に関するヒストグラムＨ１を生成する。ステップＳ３０２では，制御部２は，ステップＳ３００で生成したエッジ検出画像のうち，白濁検出領域５２に対応する領域について，その領域に含まれるエッジのエッジ強度に関するヒストグラムＨ２を生成する。ステップＳ３０３では，制御部２は，ステップＳ３００で生成したエッジ検出画像のうち，白濁検出領域５３に対応する領域について，その領域に含まれるエッジのエッジ強度に関するヒストグラムＨ３を生成する。なお，ステップＳ３０１，ステップＳ３０２，ステップＳ３０３の順番は，任意の順番で実行してよい。

ステップＳ３０４では，制御部２は，ヒストグラムＨ１の平均値Ｅ１と，ヒストグラムＨ２の平均値Ｅ２と，ヒストグラムＨ３の平均値Ｅ３とを算出する。ステップＳ３０５では，制御部２は，平均値Ｅ１が所定の閾値ε１以上であり，且つ，平均値Ｅ２が所定の閾値ε２以上であり，且つ，平均値Ｅ３が所定の閾値ε３以上であるか否かを判定する。制御部２は，ステップＳ３０５が肯定判定された場合は図１１の処理をステップＳ３０７に進め，ステップＳ３０５が否定判定された場合は図１１の処理をステップＳ３０６に進める。なお，ステップＳ３０４で行う判定は，昼間に白濁検出を行う場合と夜間に白濁検出を行う場合とで異なるものとしてもよい。たとえば，昼間に白濁検出を行う場合は，制御部２が平均値Ｅ１が所定の閾値ε１以上であるか否かを判定することにすればよい。また，夜間に白濁検出を行う場合は，平均値Ｅ２が所定の閾値ε２以上であり，且つ，平均値Ｅ３が所定の閾値ε３以上であるか否かを制御部２が判定することにしてもよい。すなわち，昼間は白濁検出領域５１を用いて白濁検出を行い，夜間は白濁検出領域５２，５３を用いて白濁検出を行うことにしてもよい。

ステップＳ３０６では，制御部２は，カメラ１の撮影レンズが白濁していないと判断する。一方，ステップＳ３０７では，制御部２は，カメラ１の撮影レンズのレンズ表面のうち，少なくとも検出領域Ａ１またはＡ２に対応するレンズ表面が白濁していると判断する。

（太陽判定部３４）
図４の太陽判定部３４は，太陽の位置を演算して，カメラ１の撮影領域に太陽光が入射するか否かを判定する。太陽判定部３４が演算する太陽の位置は，少なくとも太陽の高度を含む。太陽判定部３４は，太陽の高度を，例えば日時情報と，自車両Ｖが存在する自車位置の緯度とに基づいて算出する。また，太陽判定部３４は，太陽の位置に関する情報として，さらに太陽の方位を算出する。太陽の方位は，例えば日時情報と，自車位置の緯度および経度と、自車両Ｖの方向とに基づいて算出することができる。

太陽判定部３４は，算出した太陽の高度および方位を中心とした所定の範囲を太陽範囲として設定する。図１５は，太陽範囲を図示した図である。図１５は，撮影画像５０の上に，太陽判定部３４が算出した太陽の高度および方位に対応する位置６０と，その位置６０に対応する太陽範囲６１の一例が例示されている。

太陽判定部３４は，太陽範囲の一部が撮影領域に重なるか否かを判定する。すなわち，太陽の高度が所定高度以下であり，且つ，太陽の方位が所定範囲内であるか否かを判定する。所定高度および所定範囲は，たとえば自車両Ｖの車体の方向（カメラ１の光軸方向）やカメラ１のアングルなどに基づいて設定される。なお，太陽判定部３４は，太陽の方位を算出しない場合は，太陽の高度が所定高度以下であるか否かを判定することにより，太陽範囲の一部が撮影領域に重なるか否かを判定する。

図１６は，太陽判定部３４の処理に関するフローチャートである。ステップＳ４００では，制御部２は，太陽の位置を算出する。ステップＳ４０１では，制御部２は，ステップＳ４００で算出された太陽の位置に基づいて，太陽範囲を設定する。

ステップＳ４０２では，制御部２は，太陽範囲の一部が撮影領域に重なるか否かを判定する。すなわち，太陽の高度が所定高度以下であり，且つ，太陽の方位が所定範囲内であるか否かを判定する。制御部２は，ステップＳ４０２が肯定判定された場合は図１６の処理をステップＳ４０３に進め，ステップＳ４０２が否定判定された場合は図１６の処理をステップＳ４０４に進める。

ステップＳ４０３では，太陽判定部３４は，カメラ１の撮影領域に太陽光が入射すると判断する。ステップＳ４０４では，太陽判定部３４は，カメラ１の撮影領域に太陽光が入射しないと判断する。ステップＳ４０３またはステップＳ４０４の処理が完了後，制御部２は，ステップＳ４００の処理に進む。

（ＢＳＷ制御部３５）
図４のＢＳＷ制御部３５は，白濁検出部３３の検出結果と，太陽判定部３４の判定結果と，画像取得部３１から入力された撮影画像とに基づいて，第１閾値αを設定することによりＢＳＷ部３２を制御する。図１７は，ＢＳＷ制御部３５が設定する第１閾値αに関する設定値テーブルの一例である。図１７の設定値テーブルは，ルックアップテーブルとして記憶部６に記憶しておいてもよい。その場合，ＢＳＷ制御部３５は，白濁検出部３３の検出結果と，太陽判定部３４の判定結果とに基づいて，記憶部６に記憶されたルックアップテーブルを参照して，第１閾値αを設定する。

図１７には，第１閾値αを設定するためのパラメータとして，路面反射の有無が存在する。路面反射の有無は，ＢＳＷ制御部３５が画像取得部３１から入力された撮影画像に基づいて判断する。

図１８は，路面反射の有無の判断を説明するための図である。図１８には，高輝度領域８１を有する撮影画像８０が図示されている。ＢＳＷ制御部３５は，高輝度領域の画素数が所定画素数以上であり，その高輝度領域の重心が図１９に破線で表される上限線８２と下限線８３との間にあるとき，その高輝度領域が路面反射であると判定する。

路面反射による太陽光が撮影画像中に現れる位置は，太陽高度が高くなるにつれて図１８下側の位置となる。そして，路面反射による太陽光は，太陽の高度が所定高度Ｑ１以上となると，カメラ１の撮影レンズに入射しなくなる。また，路面反射による太陽光は，太陽の高度が所定高度Ｑ２以下となると，輝度が低くなり撮影画像への影響が無視できる程度となる。上限線８２は実験等により導出されたその所定高度Ｑ２により設定され，下限線８３は事件などにより導出されたその所定高度Ｑ１により設定されている。以降，上限線８２と下限線８３とで挟まれた領域を反射日光領域と称する。

図１７では，第１閾値αは，レベル表記されている。レベル表記でない実際の第１閾値αの設定値は，レベルが大きくなればなるほど大きな値が設定され，レベル１０で最大となる。各レベルに相当する第１閾値αの設定値は，車載用車両認識装置１００の設計段階において予め決定されている。なお，図１７はあくまで一例であって，レベルの最大はレベル１０でなくてもよい。

ＢＳＷ制御部３５により，第１閾値αが最大レベル（たとえば，図１７のレベル１０）に対応する設定値に設定された場合，図１１のステップＳ１４０の判定は常に否定判定される。換言すると，第１閾値αが最大レベルに設定されている間，画像取得部３１から入力される撮像画像によらず，他車両は存在しないという検出結果を車両検出部４１が出力する。したがって，報知制御部４２は，第１閾値αが最大レベルに設定されている間，警報出力部３に自車両と衝突する可能性がある車両の存在を運転者に報知しない。ＢＳＷ制御部３５は，このように第１閾値αを最大レベルに設定することにより，ＢＳＷの機能を抑制する。

ＢＳＷ制御部３５は，図１７のＮｏ．７およびＮｏ．８の状況において，第１閾値αをレベル１０（最大レベル）に設定する。カメラ１の撮影領域に太陽光が入射する場合，カメラ１の撮影画像全体のコントラストが低下する。また，カメラ１の撮影レンズが白濁しているとき，カメラ１の撮影画像全体のコントラストがさらに低下する。これにより，ＢＳＷ部３２における他車両等の検出精度が悪化しているおそれがある。ＢＳＷ制御部３５は，このような状況におけるＢＳＷ部３２による報知を抑制することで，他車両の誤検出を抑制し，画像認識処理の精度を低下させない。

また，ＢＳＷ制御部３５は，Ｎｏ．３の状況において，Ｎｏ．１の状況よりも第１閾値αを低く設定する。また，ＢＳＷ制御部３５は，Ｎｏ．５の状況においても，Ｎｏ．１の状況よりも第１閾値αを低く設定する。さらに，ＢＳＷ制御部３５は，Ｎｏ．４の状況において，Ｎｏ．２の状況よりも第１閾値αを低く設定する。また，ＢＳＷ制御部３５は，Ｎｏ．６の状況においても，Ｎｏ．２の状況よりも第１閾値αを低く設定する。このようにカメラ１の撮影画像全体のコントラストが低下する要因が直射日光と撮影レンズの白濁のいずれか片方だけの場合，ＢＳＷ制御部３５は，第１閾値αを低く設定することで，他車両の検出感度を上げてコントラストの低下による差分波形のピークの低下に対応し，他車両の検出が高精度で行われるように設定する。

図１９は，ＢＳＷ制御部３５の処理に関するフローチャートである。ステップＳ５００では，制御部２は，太陽判定部３４による判定結果を取得する。すなわち，図１６のステップＳ４０３またはステップＳ４０４の判断に関する情報を取得する。

ステップＳ５０１では，制御部２は，白濁検出部３３による検出結果を取得する。すなわち，白濁検出部３３から図１４のステップＳ３０６またはステップＳ３０７の判断に関する情報を取得する。

ステップＳ５０２では，制御部２は，画像取得部３１から入力された撮影画像の中から高輝度（例えば，輝度が２５６階調中１９０以上）の画素を抽出する。ステップＳ５０３では，制御部２は，ステップＳ５０２で抽出した画素が連結した画素塊（画像領域）のうち所定画素数以上の画像領域を抽出する。

ステップＳ５０４では，制御部２は，ステップＳ５０３で抽出された画像領域の中に，重心が反射日光領域内にある画像領域が存在するか否かを判断する。制御部２は，ステップＳ５０２で抽出された画像領域の各々について重心を算出する，次に，それらの重心が反射日光領域の内側か否かを判定する。そして，ステップＳ５０２で抽出された画像領域の中に一つでも反射日光領域の内側に重心がある画像領域が存在するか否かを判断する。

ステップＳ５０５では，制御部２は，ステップＳ５００およびステップＳ５０１で取得した情報と，ステップＳ５０４の判断結果とが所定時間以上連続して同じか否かを判定する。制御部２は，ステップＳ５０５が肯定判定された場合は図１９の処理をステップＳ５０６に進め，ステップＳ５０５が否定判定された場合は図１９の処理をステップＳ５００に進める。

ステップＳ５０６では，制御部２は，図１７のテーブルに基づいて，ＢＳＷ部３２の第１閾値αを設定して，その後ステップＳ５００に図１９の処理を進める。

（報知制御部４２）
報知制御部４２は，車線変更時等に，図１２のステップＳ２２０において立体物が他車両ＶＸであると立体物検出部４１３が判断したとき，警報出力部３を制御して，自車両と衝突する可能性がある車両の存在を運転者に報知する。一方，報知制御部４２は，図１２のステップＳ２３０において他車両が存在しないと立体物検出部４１３が判断したとき，運転者に対してそのような報知を行わない。

図２０は，報知制御部４２に関するフローチャートである。ステップＳ１０００では，制御部２は，ＢＳＷが抑制されているか否かを判定する。たとえば，第１閾値αがレベル１０に設定されているか否かを判定する。制御部２は，ステップＳ１０００が肯定判定された場合ステップＳ１００１に処理を進め，ステップＳ１０００が否定判定された場合ステップＳ１００２に処理を進める。

ステップＳ１００１では，制御部２は，ＢＳＷが抑制されており警報ランプの点灯と
警報音の出力が抑制された状態であることを動作状態報知部４（例えば，自車両Ｖのメータ）を介して報知する。

ステップＳ１００２では，制御部２は，立体物検出部４１３により，他車両ＶＸが検出されているか否かを判定する。制御部２は，ステップＳ１００２が肯定判定された場合ステップＳ１００３に処理を進め，ステップＳ１００２が否定判定された場合ステップＳ１０００に処理を進める。

ステップＳ１００３では，制御部２は，警報出力部３のうち，立体物検出部４１３により他車両が検出された方向のフロントピラーに設置された警報ランプを点灯させる。

ステップＳ１００４では，制御部２は，自車両Ｖの方向指示器のうち，立体物検出部４１３により他車両ＶＸが検出された方向に存在する自車両Ｖの方向指示器が点滅しているか否かを判定する。方向指示器の点滅状態は，図１に図示されたＣＡＮ通信を用いて取得すればよい。制御部２は，ステップＳ１００４が肯定判定された場合ステップＳ１００５に処理を進め，ステップＳ１００４が否定判定された場合ステップＳ１０００に処理を進める。

ステップＳ１００５では，制御部２は，警報出力部３の警報ブザーから警報音を出力させる。

以上で説明した第１の実施の形態によれば，次の作用効果を奏する。
車載用車両認識装置１００の制御部２は，画像取得部３１と，太陽判定部３４と，白濁検出部３３と，車両検出部４１と，ＢＳＷ制御部３５とを備える。
画像取得部３１は，カメラ１が車両外を撮影して出力した撮影画像を取得する。
太陽判定部３４は，少なくとも太陽の高度を含む太陽の位置を演算して（図１６のステップＳ４００），その太陽の高度が所定高度以下であるか否かを少なくとも判定する（図１６のステップＳ４０２）。
白濁検出部３３は，カメラ１の撮影レンズのレンズ表面のうち，少なくとも出領域Ａ１およびＡ２に対応するレンズ表面が白濁していることを検出する（図１４のステップＳ３０７）。
車両検出部４１は，検出領域Ａ１およびＡ２に対応する撮影画像の画像領域から，他車両を検出する（図１２のステップＳ２２０）。
ＢＳＷ制御部３５は，白濁検出部３３により少なくとも検出領域Ａ１およびＡ２に対応するレンズ表面が白濁していることが検出された場合に，太陽の高度が所定高度以下であると太陽判定部３４が判定した場合には少なくとも，第１閾値αを最大レベルに調整することで車両検出部４１による他車両の検出を抑制する（図１９のステップＳ５０６，図１７のＮｏ．７およびＮｏ．８）。
このようにすることで，車載用車両認識装置１００では，撮影画像に太陽光が入射した場合にも，画像認識処理の精度が低下しない。

（第２の実施の形態）
本発明の第２の実施の形態について説明する。図２１は，本発明の第２の実施形態による車載用車両認識装置２００の構成を示すブロック図である。図２１に示す車載用車両認識装置２００は，第１の実施の形態による車載用車両認識装置１００と，制御部２が制御部７に変わっている点のみが異なる。図２１に示す車載用車両認識装置２００の構成において，車載用車両認識装置１００と同一の構成については，その説明を省略する。

制御部７は，制御部２と同様に，記憶部６に記憶されているプログラムを実行することにより，カメラ１からの撮影画像を用いて所定の画像処理を行い，その処理結果に応じた各種制御を行う。この制御部７が行う制御により，車載用車両認識装置２００において，例えば，ＬＤＷ，ＢＳＷ，ＭＯＤ，ＰＥＤ，ＲＳＲ，ＩＭＤと呼ばれる様々な機能が実現される。

図２２は，ＢＳＷに関する制御部７の制御ブロック図である。図２２に図示されるように，制御部７は，画像取得部３１と第２ＢＳＷ部６２と白濁検出部３３と第２太陽判定部６４と第２ＢＳＷ制御部６５とを有する。図４に示す制御ブロック図と同様の構成については，同一の符号を付してその説明を省略する。

第２ＢＳＷ部６２は，第２車両検出部７１と報知制御部４２とを有する。第２車両検出部７１は，視点変換部４１１と輝度差算出部７１２とエッジ線検出部７１３と第２立体物検出部７１４とを有する。

図２３（ａ）および（ｂ）は，第２ＢＳＷ部６２が立体物の検出を行う検出領域を図示した図である。図２３（ａ）は平面図，図２３（ｂ）は，自車両Ｖから後側方における実空間上の斜視図を示す。図２３（ａ）に示される検出領域Ａ３，Ａ４は，平面視（鳥瞰視された状態）において台形状とされ，これら検出領域Ａ３，Ａ４の位置，大きさ及び形状は，距離ｄ１〜ｄ４に基づいて決定される。これらの検出領域Ａ３およびＡ４は，検出領域Ａ１およびＡ２の代わりに第２立体物検出部７１４によって設定される。

距離ｄ１は，自車両Ｖから接地線Ｌ１，Ｌ２までの距離である。距離ｄ１は，自車両Ｖから白線Ｗまでの距離ｄ１１と，白線Ｗから他車両ＶＸが走行すると予測される位置までの距離ｄ１２とに基づいて決定される。たとえば，距離ｄ１は，距離ｄ１１と距離ｄ１２の和である。他車両ＶＸが走行する道路上の位置及び自車両Ｖが走行する道路上の位置は大凡決まっていることから，距離ｄ１１および距離ｄ１２は略固定的に決定され，距離ｄ１も略固定的に決定される。なお，制御部７は，公知の白線認識等の技術により自車両Ｖに対する白線Ｗの位置を認識し，認識した白線Ｗの位置に基づいて距離ｄ１１を決定することにしてもよい。

距離ｄ２は，自車両Ｖの後端部から車両進行方向の逆方向に伸びる距離である。この距離ｄ２は，検出領域Ａ３，Ａ４が少なくともカメラ１の画角ａ内に収まるように決定されている。特に図２３（ａ）では，距離ｄ２は，画角ａに区分される範囲に接するよう設定されている。

距離ｄ３は，検出領域Ａ３，Ａ４の車両進行方向における長さを示す距離である。この距離ｄ３は，検出対象となる立体物の大きさに基づいて決定される。たとえば，距離ｄ３は，他車両ＶＸを含む長さに設定される。

距離ｄ４は，図２３（ｂ）に示すように，実空間において他車両ＶＸ等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は，鳥瞰視画像においては図１３（ａ）に示すような長さとされる。なお，距離ｄ４は，鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち車両Ｖが走行する車線から２車線隣りの車線）を含まない長さとすることもできる。自車両Ｖの車線から２車線隣の車線を含んでしまうと，自車両Ｖが走行している車線である自車線の左右の隣接車線に他車両ＶＸが存在するのか，２車線隣りの車線に他車両ＶＸが存在するのかについて，区別が付かなくなってしまうためである。

以上のように，距離ｄ１〜距離ｄ４が決定され，これにより検出領域Ａ３，Ａ４の位置，大きさ及び形状が決定される。具体的に説明すると，距離ｄ１により，台形をなす検出領域Ａ３，Ａ４の上辺ｂ１の位置が決定される。距離ｄ２により，上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により，上辺ｂ１の終点位置Ｃ２が決定される。カメラ１から始点位置Ｃ１に向かって伸びる直線Ｌ３により，台形をなす検出領域Ａ３，Ａ４の側辺ｂ２が決定される。同様に，カメラ１から終点位置Ｃ２に向かって伸びる直線Ｌ４により，台形をなす検出領域Ａ３，Ａ４の側辺ｂ３が決定される。距離ｄ４により，台形をなす検出領域Ａ３，Ａ４の下辺ｂ４の位置が決定される。このように，各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ３，Ａ４とされる。この検出領域Ａ３，Ａ４は，図２３（ｂ）に示すように，自車両Ｖから後側方における実空間上では真四角（長方形）となる。

（輝度差算出部７１２）
輝度差算出部７１２は，鳥瞰視画像に含まれる立体物のエッジを検出するために，視点変換部４１１により視点変換された鳥瞰視画像データに対して，輝度差の算出を行う。輝度差算出部７１２は，実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに，当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部７１２は，実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と，鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部７１２は，視点変換された鳥瞰視画像に対して，実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と，第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部７１２は，第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を，第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下，この輝度差算出部７１２の動作について詳細に説明する。

図２４（ａ）および（ｂ）は，第１鉛直仮想線および第２鉛直仮想線の一例を示す図である。図２４（ａ）には，輝度差算出部７１２が設定した第１鉛直仮想線Ｌａ（以下，注目線Ｌａと称する）と，第２鉛直仮想線Ｌｒ（以下，参照線Ｌｒと称する）とが図示されている。注目線Ｌａおよび参照線Ｌｒは，実空間で鉛直方向に伸びる線分であって，検出領域Ａ３を通過する。参照線Ｌｒは，実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお，実空間で鉛直方向に伸びる線分に該当する線とは，鳥瞰視画像においてはカメラ１の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は，鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部７１２は，注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部７１２は，参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ，注目点Ｐａ，参照線Ｌｒ，参照点Ｐｒは，実空間上において図２４（ｂ）に示す関係となる。図２４（ｂ）から明らかなように，注目線Ｌａ及び参照線Ｌｒは，実空間上において鉛直方向に伸びた線であり，注目点Ｐａと参照点Ｐｒとは，実空間上において略同じ高さに設定される点である。なお，注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく，注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部７１２は，注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に，注目点Ｐａと参照点Ｐｒとの輝度差が大きいと，注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。このため，図２２に示したエッジ線検出部７１３は，注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図２５は，輝度差算出部７１２の詳細動作を示す図であり，図２５（ａ）は鳥瞰視された状態の鳥瞰視画像を示し，図２５（ｂ）は，図２５（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお図２５（ａ）および（ｂ）では，検出領域Ａ３のみを図示して説明するが，検出領域Ａ４についても同様の手順で輝度差を算出する。

カメラ１が撮像した撮像画像内に他車両ＶＸが映っていた場合に，図２５（ａ）に示すように，鳥瞰視画像内の検出領域Ａ３に他車両ＶＸが現れる。図２５（ｂ）に図２５（ａ）中の領域Ｂ１の拡大図を示すように，鳥瞰視画像上において，他車両ＶＸのタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において，輝度差算出部７１２は，先ず参照線Ｌｒを設定する。参照線Ｌｒは，注目線Ｌａから実空間上において所定の距離だけ離れた位置に，鉛直方向に沿って設定される。具体的には，本実施形態に係るカメラ１において，参照線Ｌｒは，注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより，参照線Ｌｒは，鳥瞰視画像上において，例えば他車両ＶＸのタイヤのゴムから１０ｃｍ相当だけ離れた他車両ＶＸのタイヤのホイール上に設定される。

次に，輝度差算出部７１２は，注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図２５（ｂ）においては，説明の便宜上，６個の注目点Ｐａ１〜Ｐａ６（以下，任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお，注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では，Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に，輝度差算出部７１２は，実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして，輝度差算出部７１２は，同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより，輝度差算出部７１２は，実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに，２個の画素の輝度差を算出する。輝度差算出部７１２は，例えば第１注目点Ｐａ１とは，第１参照点Ｐｒ１との間で輝度差を算出し，第２注目点Ｐａ２とは，第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより，輝度差算出部７１２は，注目線Ｌａ及び参照線Ｌｒに沿って，連続的に輝度差を求める。すなわち，輝度差算出部７１２は，第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部７１２は，検出領域Ａ３内において注目線Ｌａをずらしながら，上記の参照線Ｌｒの設定，注目点Ｐａ及び参照点Ｐｒの設定，輝度差の算出といった処理を繰り返し実行する。すなわち，輝度差算出部７１２は，注目線Ｌａ及び参照線Ｌｒのそれぞれを，実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部７１２は，例えば，前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し，この注目線Ｌａに対して参照線Ｌｒを設定して，順次輝度差を求めていくことになる。

（エッジ線検出部７１３）
図２２のエッジ線検出部７１３は，輝度差算出部７１２により算出された連続的な輝度差から，エッジ線を検出する。例えば，図２５（ｂ）に示す場合，第１注目点Ｐａ１と第１参照点Ｐｒ１とは，同じタイヤ部分に位置するために，輝度差は，小さい。一方，第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し，第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって，第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため，エッジ線検出部７１３は，輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には，エッジ線検出部７１３は，エッジ線を検出するにあたり，先ず下記の数式１に従って，ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から，ｉ番目の注目点Ｐａｉに属性付けを行う。
[数１]
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｔのとき
ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき
ｓ（ｘｉ，ｙｉ）＝０

上記数式１において，ｔは閾値を示し，Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し，Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記数式１によれば，注目点Ｐａｉの輝度値が，参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には，当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方，注目点Ｐａｉの輝度値が，参照点Ｐｒｉから閾値ｔを減じた輝度値よりも低い場合には，当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘−１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には，注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔは，予め設定された所定の値としてもよいし，第２ＢＳＷ制御部６５が設定することにしてもよい。

次にエッジ線検出部７１３は，下記数式２に基づいて，注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から，注目線Ｌａがエッジ線であるか否かを判定する。
[数２]
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く），
ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき，
ｃ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には，連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には，連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部７１３は，注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部７１３は，求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより，連続性ｃを正規化する。エッジ線検出部７１３は，正規化した値が閾値θを超えた場合に，注目線Ｌａをエッジ線と判断する。なお，閾値θは，予め実験等によって設定された値である。閾値θは第２ＢＳＷ制御部６５により設定される。

すなわち，エッジ線検出部７１３は，下記数式３に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして，エッジ線検出部７１３は，検出領域Ａ３上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
[数３]
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ

（第２立体物検出部７１４）
図２２の第２立体物検出部７１４は，エッジ線検出部７１３により検出されたエッジ線の量に基づいて立体物を検出する。上述したように，制御部７は，実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは，検出領域Ａ３，Ａ４に立体物が存在する可能性が高いということである。このため，第２立体物検出部７１４は，エッジ線検出部７１３により検出されたエッジ線の量に基づいて立体物を検出する。さらに，第２立体物検出部７１４は，立体物を検出するに先立って，エッジ線検出部７１３により検出されたエッジ線が正しいものであるか否かを判定する。第２立体物検出部７１４は，エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には，当該エッジ線が誤判定により検出されたものと判断する。一方，エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には，当該エッジ線が正しいものと判定する。なお，この閾値は，実験等により予め設定された値である。

図２６は，エッジ線の輝度分布を示す図であり，図２６（ａ）は検出領域Ａ３に立体物としての他車両ＶＸが存在した場合のエッジ線及び輝度分布を示し，図２６（ｂ）は検出領域Ａ３に立体物が存在しない場合のエッジ線及び輝度分布を示す。

図２６（ａ）に示すように，鳥瞰視画像において他車両ＶＸのタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合，注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは，カメラ１により撮像された画像が鳥瞰視画像に視点変換されたことにより，他車両ＶＸのタイヤが鳥瞰視画像内で引き延ばされたことによる。一方，図２６（ｂ）に示すように，鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合，注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは，エッジ線上に，白色文字における輝度が高い部分と，路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌａ上の輝度分布の相違に基づいて，第２立体物検出部７１４は，エッジ線が誤判定により検出されたものか否かを判定する。第２立体物検出部７１４は，エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には，当該エッジ線が誤判定により検出されたものであると判定する。そして，当該エッジ線は，立体物の検出には使用しない。これにより，路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい，立体物の検出精度が低下することを抑制する。

具体的には，第２立体物検出部７１４は，下記数式４，５の何れかにより，エッジ線の輝度変化を算出する。このエッジ線の輝度変化は，実空間上における鉛直方向の評価値に相当する。下記数式４は，注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と，隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記数式５は，注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と，隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
[数４]
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝２］
[数５]
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜

なお，数式５に限らず，下記数式６のように，閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して，当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
[数６]
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し，｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき，
ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき，
ｂ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合，当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には，注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は，注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして，第２立体物検出部７１４は，注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して，鉛直相当方向の評価値を求めて，エッジ線が正しいものかを判定する。

（第２車両検出部７１）
図２７および図２８は，制御部７が実行する第２車両検出部７１に関するフローチャートである。なお，図２７および図２８においては，便宜上，検出領域Ａ３を対象とする処理について説明するが，検出領域Ａ４についても同様の処理が実行される。

ステップＳ６００では，画像取得部３１が取得した撮影画像の画像情報に基づいて，視点変換部４１１が鳥瞰画像データを生成する。

ステップＳ６０１では，輝度差算出部７１２が検出領域Ａ３上に注目線Ｌａを設定する。このとき，輝度差算出部７１２は，実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。

ステップＳ６０２では，輝度差算出部７１２が検出領域Ａ３上に参照線Ｌｒを設定する。このとき，輝度差算出部７１２は，実空間上において鉛直方向に伸びる線分に該当し，且つ，注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。

ステップＳ６０３では，輝度差算出部７１２が注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に，輝度差算出部７１２は，エッジ線検出部７１３によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。

ステップＳ６０４では，輝度差算出部７１２が実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように，参照点Ｐｒを設定する。これにより，注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり，実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

ステップＳ６０５では，輝度差算出部７１２が実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。

ステップＳ６０６では，エッジ線検出部７１３が上記の数式１に従って，各注目点Ｐａの属性ｓを算出する。

ステップＳ６０７では，エッジ線検出部７１３が上記の数式２に従って，各注目点Ｐａの属性ｓの連続性ｃを算出する。

ステップＳ６０８では，エッジ線検出部７１３が上記数式３に従って，連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。エッジ線検出部７１３が正規化した値が閾値θよりも大きいと判断した場合（Ｓ６０８：ＹＥＳ），ステップＳ６０９の処理に進む。ステップＳ６０９では，エッジ線検出部７１３が当該注目線Ｌａをエッジ線として検出して，処理をステップＳ６１０に進める。エッジ線検出部７１３は，正規化した値が閾値θより大きくないと判断した場合（Ｓ６０８：ＮＯ），当該注目線Ｌａをエッジ線として検出せずに処理をステップＳ６１０に進める。この閾値θは第２ＢＳＷ制御部６５により設定することができる。

ステップＳ６１０において，第２車両検出部７１が検出領域Ａ３上に設定可能な注目線Ｌａの全てについて上記のステップＳ６０１〜ステップＳ６０９の処理を実行したか否かを判断する。第２車両検出部７１は，全ての注目線Ｌａについて上記処理をしていないと判断した場合（Ｓ６１０：ＮＯ），ステップＳ６０１に処理を進めて，新たに注目線Ｌａを設定して，ステップＳ６１０までの処理を繰り返す。一方，第２車両検出部７１は，全ての注目線Ｌａについて上記処理をしたと判断した場合（Ｓ６１０：ＹＥＳ），処理を図２８のステップＳ６１１に進める。

図２８のステップＳ６１１では，第２立体物検出部７１４が図２７のステップＳ６０９において検出された各エッジ線について，上記数式４，５，６の何れかの式に従って，当該エッジ線に沿った輝度変化を算出する。

ステップＳ６１２では，第２立体物検出部７１４は，ステップＳ６１１で算出したエッジ線のうち，輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち，輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し，エッジ線を立体物の検出には使用しない。これは，上述したように，検出領域Ａ３に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって，所定の閾値とは，予め実験等によって求められた，路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。

ステップＳ６１３では，第２立体物検出部７１４は，エッジ線の量が第２閾値β以上であるか否かを判断する。なお，この第２閾値βは，予め実験等によって求めておいて設定することにしてもよいし，第２ＢＳＷ制御部６５が設定することにしてもよい。例えば，第２ＢＳＷ制御部６５は，検出対象の立体物として四輪車を設定した場合，予め実験等によって検出領域Ａ３内において出現した四輪車のエッジ線の数に基づいて，当該第２閾値βを設定する。第２立体物検出部７１４は，エッジ線の量が第２閾値β以上であると判定した場合（Ｓ６１３：ＹＥＳ），ステップＳ６１４に処理を進める。一方，第２立体物検出部７１４は，エッジ線の量が第２閾値β以上ではないと判定した場合（Ｓ６１３：ＮＯ），検出領域Ａ３内に立体物が存在しないと判断して，図２８の処理を終了する。ステップＳ６１４では，第２立体物検出部７１４が検出領域Ａ３内に立体物が存在すると検出して，図２８の処理を終了する。検出された立体物は，自車両Ｖが走行する車線の隣の隣接車線を走行する他車両ＶＸであると判断してもよいし，検出した立体物の自車両Ｖに対する相対速度を考慮して隣接車線を走行する他車両ＶＸであるか否かを判断してもよい。

（第２太陽判定部６４）
図２２の第２太陽判定部６４には，画像取得部３１が取得した撮影画像の画像情報が入力される。第２太陽判定部６４は，撮影画像の中から路面反射した太陽光による高輝度領域を検出して，その検出範囲に基づいて太陽の位置を推定し，太陽光が撮影領域内に入射するか否かを判定する。

図２９は，第２太陽判定部６４に関するフローチャートである。ステップＳ７００では，制御部７は，画像取得部３１から入力された撮影画像の中から高輝度（例えば，輝度が２５６階調中１９０以上）の画素を抽出する。ステップＳ７０１では，制御部７は，ステップＳ７００で抽出した画素が連結した画素塊（画像領域）のうち所定画素数以上の画像領域を抽出する。

ステップＳ７０２では，制御部７は，ステップＳ７０１で抽出された画像領域の重心を算出する。ステップＳ７０３では，制御部７は，ステップＳ７０２で算出された重心のうち少なくとも一つが反射日光領域の範囲内に存在するか否かを判定する。制御部７は，ステップＳ７０３が肯定判定されたときは処理をステップＳ７０４に進め，ステップＳ７０３が否定判定されたときは処理をステップＳ７０５に進める。

ステップＳ７０４では，制御部７は，ステップＳ７０２で算出された重心が反射日光領域の範囲内であった高輝度領域の重心の位置に基づいて，太陽の位置を算出する。

図３０を用いて，太陽の位置の算出方法を説明する。図３０には，高輝度領域８１を含む撮影画像８０が図示されている。撮影画像８０には，反射日光領域を規定する上限線８２および下限線８３が破線で図示されている。図３０の高輝度領域８１は，その重心８４が反射日光領域の内側に存在する。制御部７は，その重心８４と撮影画像８０の下辺中央８５とを結んだ線分８６の方向に基づいて，太陽の方位を算出する。また，撮影画像８０の上下方向における重心８４の位置に基づいて，太陽の高度を算出する。

反射日光領域に重心８４があるとき，太陽の位置８７を中心にした太陽範囲８８は，少なくともその一部が撮影画像８０に重なる。すなわち，位置８７の太陽からの太陽光はカメラ１の撮影領域に入射する。なお，重心８４の撮影画像８０の上下方向における位置が撮影画像８０の上側にあるほど算出される太陽の高度は低くなる。

図２９のステップＳ７０５では，制御部７は，カメラ１の撮影領域に太陽光が入射すると判断する。ステップＳ７０６では，制御部７は，カメラ１の撮影領域に太陽光が入射しないと判断する。すなわち，太陽範囲が撮影画像に重なっていないと判断する。

（第２ＢＳＷ制御部６５）
図２２の第２ＢＳＷ制御部６５は，画像取得部３１から入力される撮像画像，白濁検出部３３の検出結果と，第２太陽判定部６４の判定結果とに基づいて，閾値θを設定することにより第２ＢＳＷ部６２を制御する。

図３１は，第２ＢＳＷ制御部６５のフローチャートである。ステップＳ８００では，制御部７は，第２太陽判定部６４による判定結果を取得する。すなわち，図２９のステップＳ７０５またはステップＳ７０６の判断に関する情報を取得する。ステップＳ８０１では，制御部７は，白濁検出部３３による検出結果を取得する。すなわち，白濁検出部３３から図１４のステップＳ３０６またはステップＳ３０７の判断に関する情報を取得する。

ステップＳ８０２では，制御部７は，ステップＳ８００およびステップＳ８０１で取得した情報が所定時間以上連続して同じか否かを判定する。制御部７は，ステップＳ８０２が肯定判定された場合は図３１の処理をステップＳ８０３に進め，ステップＳ８０２が否定判定された場合は図３１の処理をステップＳ８００に進める。

ステップＳ８０３では，制御部７は，図３２のテーブルに基づいて，第２ＢＳＷ部６２の閾値θを設定して，その後ステップＳ８００に図３１の処理を進める。

図３２は，第２ＢＳＷ制御部６５が設定する閾値θに関する設定値テーブルの一例である。図３２の設定値テーブルは，ルックアップテーブルとして記憶部６に記憶しておいてもよい。その場合，ＢＳＷ制御部３５は，白濁検出部３３の検出結果と，第２太陽判定部６４の判定結果とに基づいて，記憶部６に記憶されたルックアップテーブルを参照して，閾値θを設定する。

第２太陽判定部６４が路面反射による高輝度領域に基づいて太陽の位置を推定しているため，路面反射があることが前提となっている。そのため，図３２では路面反射のパラメータが省略されている。また，図３２では，閾値θは，レベル表記されている。レベル表記でない実際の閾値θの設定値は，レベルが大きくなればなるほど大きな値が設定され，レベル１０で最大となる。各レベルに相当する閾値θの設定値は，車載用車両認識装置２００の設計段階において予め決定されている。なお，図３２はあくまで一例であって，レベルの最大はレベル１０でなくてもよい。

第２ＢＳＷ制御部６５は，図３２のＮｏ．１２の状況において，閾値θをレベル１０（最大レベル）に設定する。カメラ１の撮影領域に太陽光が入射する場合，カメラ１の撮影画像全体のコントラストが低下する。また，カメラ１の撮影レンズが白濁しているとき，カメラ１の撮影画像全体のコントラストがさらに低下する。これにより，第２ＢＳＷ部６２における他車両等の検出精度が悪化しているおそれがある。第２ＢＳＷ制御部６５は，このような状況における第２ＢＳＷ部６２による報知を抑制することで，他車両の誤検出を抑制し，画像認識処理の精度を低下させない。

また，第２ＢＳＷ制御部６５は，Ｎｏ．１０の状況において，Ｎｏ．９の状況よりも閾値θを低く設定する。同様に，Ｎｏ．１１の状況においても，Ｎｏ．９の状況よりも閾値θを低く設定する。このようにカメラ１の撮影画像全体のコントラストが低下する要因が直射日光と撮影レンズの白濁のいずれか片方だけの場合，第２ＢＳＷ制御部６５は，閾値θを低く設定することで，他車両の検出感度を上げて，コントラストの低下による差分波形のピークの低下に対応し，他車両の検出が高精度で行われるように設定する。

（白濁検出部３３の補足）
第２立体物検出部７１４が設定する検出領域Ａ３およびＡ４は，第１の実施の形態における立体物検出部４１３が設定した検出領域Ａ１およびＡ２と実質的に同一な位置に設定される。したがって，白濁検出部３３が少なくとも検出領域Ａ１またはＡ２に対応するレンズ表面が白濁していることを検出することと，少なくとも検出領域Ａ３またはＡ４に対応するレンズ表面が白濁していることを検出することとは実質的に同じである。すなわち，白濁検出部３３は，少なくとも検出領域Ａ３またはＡ４に対応するレンズ表面が白濁していることを検出することを検出することができる。

（報知制御部４２の補足）
報知制御部４２は，第２の実施の形態においても図２０にフローチャートを示す処理を行う。第２の実施の形態における報知制御部４２は，図２０のステップＳ１０００の処理を行う場合，閾値θがレベル１０（最大値）に設定されているか否かを判定することにより，第２ＢＳＷ制御部６５によりＢＳＷが抑制されているかを判定する。

以上で説明した第２の実施の形態によれば，次の作用効果を奏する。
車載用車両認識装置２００の制御部７は，画像取得部３１と，第２太陽判定部６４と，白濁検出部３３と，第２車両検出部７１と，第２ＢＳＷ制御部６５とを備える。
画像取得部３１は，カメラ１が車両外を撮影して出力した撮影画像を取得する。
第２太陽判定部６４は，高輝度領域８１の重心の位置に基づいて，少なくとも太陽の高度を演算して（図２９のステップＳ７０４），高輝度領域８１の重心８４の位置が反射日光領域に存在するか否かを判定する。反射日光領域は上限線８２と下限線８３により規定され，重心８４が下限線８３よりも上にあるとき，太陽の高度が所定高度以下であることを表す。
白濁検出部３３は，カメラ１の撮影レンズのレンズ表面のうち，少なくとも検出領域Ａ３およびＡ４に対応するレンズ表面が白濁していることを検出する（白濁検出部３３の補足）。
第２車両検出部７１は，検出領域Ａ３およびＡ４に対応する撮影画像の画像領域から，他車両を検出する（図２８のステップＳ６１４）。
第２ＢＳＷ制御部６５は，白濁検出部３３により少なくとも検出領域Ａ３およびＡ４に対応するレンズ表面が白濁していることが検出された場合に，太陽の高度が所定高度以下であると第２太陽判定部６４が判定した場合には少なくとも，閾値θを最大レベルに調整することで第２車両検出部７１による他車両の検出を抑制する（図３１のステップＳ８０３，図３２のＮｏ．１２）。
このようにすることで，車載用車両認識装置２００では，撮影画像に太陽光が入射した場合にも，画像認識処理の精度が低下しない。

以上で説明した実施の形態は，以下のように変形して実行できる。
（変形例１）実施形態の組み合わせ
制御部２および７には，ＢＳＷ部３２と第２ＢＳＷ部６２の両方を備えることにしてもよい。その場合，例えば立体物検出部４１３と第２立体物検出部７１４の両方が他車両ＶＸを検出した場合に，他車両ＶＸが検出されたことにすればよい。また，そのとき，当該制御部には，ＢＳＷ制御部３５と第２ＢＳＷ制御部６５の両方を備えることにしてもよいし，ＢＳＷ制御部３５および第２ＢＳＷ制御部６５のいずれか片方を用いて第１閾値αと閾値θの両方を設定することにしてもよい。ＢＳＷ制御部３５が閾値θを設定する場合は，図１７の第１閾値αの設定レベルを閾値θの設定レベルと読み替えればよい。同様に，第２ＢＳＷ制御部６５が第１閾値αを設定する場合は，図３２の閾値θの設定レベルを第１閾値αの設定レベルに読み替えればよい。

制御部２は，ＢＳＷ部３２の代わりに第２ＢＳＷ部６２を備えることにしてもよい。その場合，制御部２は太陽判定部３４の代わりに第２太陽判定部６４を備え，ＢＳＷ制御部３５は第１閾値αの代わりに閾値θを設定する。ＢＳＷ制御部３５が閾値θを設定する場合は，図１７の第１閾値αの設定レベルを閾値θの設定レベルと読み替えればよい。

制御部７は，第２ＢＳＷ部６２の代わりにＢＳＷ部３２を備えることにしてもよい。その場合，制御部７は第２太陽判定部６４の代わりに太陽判定部３４を備え，第２ＢＳＷ制御部６５は閾値θの代わりに第１閾値αを設定する。第２ＢＳＷ制御部６５が第１閾値αを設定する場合は，図３２の閾値θの設定レベルを第１閾値αの設定レベルに読み替えればよい。

ＢＳＷ制御部３５および第２ＢＳＷ制御部６５は，第１閾値α，閾値θ以外の閾値を設定することにしてもよい。例えば，図２８のステップＳ６１３の第２閾値βを設定することにしてもよい。また，白濁検出部３３の閾値ε１，ε２，ε３を設定することにしてもよい。ＢＳＷ制御部３５が第１閾値α以外の閾値を設定する場合は，図１７の第１閾値αの設定レベルをその閾値の設定レベルと読み替えればよい。同様に，第２ＢＳＷ制御部６５が閾値θ以外の閾値を設定する場合は，図３２の閾値θの設定レベルをその閾値の設定レベルに読み替えればよい。

制御部２および７は，太陽判定部３４と第２太陽判定部６４の両方を備えることにしてもよい。
その他，第１の実施の形態の構成と，第２の実施の形態の構成とは発明の特徴が損なわれない限り任意に組み合わせて実行してもよい。

（変形例２）白濁度合いによる閾値変化
上記の実施の形態では，白濁検出部３３が白濁を検出したか否かに基づいて閾値を変化させたが，カメラ１の撮影レンズの白濁度合いを数値化して，その白濁度合いを表す数値に基づいて閾値を変化させることにしてもよい。例えば，ヒストグラムＨ１の平均値Ｅ１と，ヒストグラムＨ２の平均値Ｅ２と，ヒストグラムＨ３の平均値Ｅ３とに基づいて，白濁度合いを算出することにしてもよい。

図３３は，カメラ１の撮影領域に太陽光が入射していると太陽判定部３４が判断している場合における白濁度合いと閾値の関係を表す概略図である。図３３の縦軸は第１閾値αなどの閾値のレベルを示し，横軸は白濁度合いを示す。白濁度合いがＣ２のとき，カメラ１の撮影レンズは白濁していない。白濁度合いがＣ１以上のとき，図１７のＮｏ．８の状況となり，閾値はＢＳＷ制御部３５等により最大レベルに設定される。白濁度合いがＣ３以上Ｃ１以下のときは，白濁度合いがＣ２のときよりも白濁度合いがＣ１のときよりも閾値が低く設定されている。これにより，少なくとも検出領域Ａ１またはＡ２に対応するレンズ表面が白濁していると白濁検出部３３が判定するまでは，他車両ＶＸの検出精度の保持を試みることができる。

（変形例３）太陽範囲に関する白濁検出
ＢＳＷ制御部３５は，太陽範囲が白濁しているとき，閾値をより高レベルに設定することにしてもよい。同様に，第２ＢＳＷ制御部６５は，太陽範囲が白濁しているとき，閾値をより高レベルに設定することにしてもよい。太陽範囲が白濁しているか否かは，太陽範囲内の輝度勾配に基づいて判定すればよい。カメラ１の撮影レンズのレンズ表面のうち白濁している部分を通過する光は白濁の原因となる付着物により拡散するため，白濁箇所に対応する画素ごとの輝度の差は小さくなり，輝度勾配が小さくなる。ＢＳＷ制御部３５および第２ＢＳＷ制御部６５は，輝度勾配が所定値以下となったとき，太陽範囲が白濁していると判定すればよい。

以上で説明した実施の形態や変形例はあくまで例示に過ぎず，発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また，以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１２年第１６７６０２号（２０１２年７月２７日出願）

１ カメラ
２ 制御部
３ 警報出力部
４ 動作状態報知部
５ 外部装置制御部
６ 記憶部
７ 制御部
３１ 画像取得部
３２ ＢＳＷ部
３３ 白濁検出部
３４ 太陽判定部
３５ ＢＳＷ制御部
４１ 車両検出部
４２ 報知制御部
５１ 白濁検出領域
５２ 白濁検出領域
５３ 白濁検出領域
６１ 太陽範囲
６２ 第２ＢＳＷ部
６４ 第２太陽判定部
６５ 第２ＢＳＷ制御部
７１ 第２車両検出部
８１ 高輝度領域
８２ 上限線
８３ 下限線
８４ 重心
８８ 太陽範囲
１００ 車載用車両認識装置
２００ 車載用車両認識装置
４１１ 視点変換部
４１２ 位置合わせ部
４１３ 立体物検出部
７１２ 輝度差算出部
７１３ エッジ線検出部
７１４ 第２立体物検出部

Claims (10)

1. カメラが車両外を撮影して出力した撮影画像を取得する画像取得部と，
   少なくとも太陽の高度を含む太陽の位置を演算して，前記太陽の高度が所定高度以下であることを判定する太陽判定部と，
   前記カメラのレンズ表面が白濁していることを検出する白濁検出部と，
   前記撮影画像の第１の画像領域の画像情報に基づいて，前記車両とは異なる他車両を検出する車両検出部と，
   少なくとも前記第１の画像領域が白濁していることが前記白濁検出部により検出された場合に，前記太陽の高度が前記所定高度以下であると前記太陽判定部が判定したとき，前記車両検出部による前記他車両の検出を抑制する制御部と，
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において，
   前記車両検出部は，前記他車両の検出感度に関わる所定の閾値を有し，
   前記制御部は，前記レンズ表面のうち前記太陽の位置を中心とした画像範囲に対応する範囲が白濁しているとき，前記レンズ表面の当該範囲が白濁していないときよりも前記他車両の検出感度を前記閾値の変更により抑制する画像処理装置。
3. 請求項１に記載の画像処理装置において，
   前記太陽判定部は，日時と，前記車両が位置する緯度および経度と，前記車両の方向とに基づいて，前記太陽の位置を演算する画像処理装置。
4. 請求項１に記載の画像処理装置において，
   前記太陽判定部は，前記撮影画像に対して画像処理を行うことにより前記太陽の位置を演算する画像処理装置。
5. 請求項４に記載の画像処理装置において，
   前記カメラは，少なくとも前記車両外の路面を撮影し，
   前記太陽判定部は，路面反射による高輝度領域を前記撮影画像から抽出して，前記高輝度領域の重心の位置に基づいて前記太陽の位置を演算する画像処理装置。
6. 請求項２に記載の画像処理装置において，
   前記制御部は，前記太陽の位置を中心とした画像範囲の輝度勾配に基づいて，前記レンズ表面のうち当該画像範囲に対応する範囲が白濁していることを検出する画像処理装置。
7. 請求項１に記載の画像処理装置において，
   前記撮影画像には白濁検出領域が設定され，
   前記白濁検出部は，前記白濁検出領域に対してエッジ強度のヒストグラムを演算して，前記ヒストグラムを用いて演算される前記エッジ強度の平均値に基づいて，前記カメラレンズが白濁している領域を検出する画像処理装置。
8. 請求項７に記載の画像処理装置において，
   前記カメラは，少なくとも前記車両外の路面を撮影し，
   前記白濁検出領域は，前記路面に設けられた白線の消失点の近傍に複数設定され、
   前記白濁検出部は，前記白濁検出領域の各々に対してエッジ強度のヒストグラムを演算して，前記ヒストグラムの各々を用いて演算される前記エッジ強度の平均値に基づいて，前記カメラレンズが白濁している領域を検出する画像処理装置。
9. 請求項７に記載の画像処理装置において，
   前記カメラは，少なくとも前記車両外の路面を撮影し，
   前記白濁検出領域には，前記路面に設けられた白線の消失点の近傍であって前記撮影画像の中央よりも上側の位置に設定される第１の白濁検出領域と，前記第１の白濁検出領域よりも下方に広がるように前記消失点の近傍に設定される第２の白濁検出領域とが含まれ，
   前記白濁検出部は，昼間は前記第１の白濁検出領域を用いて前記カメラレンズが白濁している領域を検出し，夜間は前記第２の白濁検出領域を用いて前記カメラレンズが白濁している領域を検出する画像処理装置。
10. 請求項１から９のいずれか一項に記載の画像処理装置において，
    前記車両検出部による前記他車両の検出を前記制御部が抑制したことを，所定の報知部に報知させる報知制御部をさらに備える画像処理装置。

Images