JPWO2014017517A1 - 立体物検出装置及び立体物検出方法 - Google Patents

Abstract

車両後方を撮像するカメラ１０と、画像情報に基づいて左右側検出領域Ａ１・Ａ２に存在する立体物を検出する立体物検出部３３，３７と、検出された立体物の移動速度が予め設定された設定範囲に属する場合には、その立体物を他車両ＶＸであると判断する立体物判断部３４と、降雨又は降雨により路面に水膜が形成された場合を含む降雨状態を検出する降雨状態検出部４１と、降雨状態が検出された場合には、他車両ＶＸであるか否かを判断するための移動速度の設定範囲を狭く変更する制御命令を出力する制御部３９と、を備える。

Description

本発明は、立体物検出装置及び立体物検出方法に関するものである。
本出願は、２０１２年７月２７日に出願された日本国特許出願の特願２０１２―１６６４９６に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

車両周辺の監視と雨滴の検出を１台のカメラで行う観点から、車両に付着した雨滴を撮像するための近距離用の第１焦点距離と、車両周囲を撮像するための遠距離用の第２焦点距離とを取りうるレンズを備えたカメラが撮像した画像に基づいて車両の周辺を監視する車両用監視装置が知られている（特許文献１参照）。

特開２００５−２２５２５０号公報

従来の技術は、コスト低減の観点から、車両周辺の監視と雨滴の検出を１台のカメラで行うが、焦点距離を短くして雨滴を検出しているときには、車両周辺に存在する他車両の検出をすることができないため、他車両検出の精度が低下するという問題がある。

本発明が解決しようとする課題は、差分波形情報又はエッジ情報に基づいて自車両の走行車線の隣の隣接車線を走行する他車両を検出する際に、雨天時に自車両が跳ね上げた雨水のしぶきがレンズに付着する場合や、路面にできた水たまりに光が反射する場合であっても、立体物の検出を中断することなく環境に応じた制御を継続的に行うことにより、不検出の時間を発生させることなく、隣接車線走行する他車両を高い精度で検出する立体物検出装置を提供することである。

本発明は、降雨又は降雨により路面に水膜が形成された場合を含む降雨状態を検出した場合には、立体物が他車両であるか否かを判断する際に適用する移動速度の閾値である設定範囲を狭く変更することにより、上記課題を解決する。

本発明は、自車両が跳ね上げた雨水のしぶきがレンズに付着する、又は路面にできた水たまりに光が反射するといった状態が生じる雨天時において、立体物が他車両であるか否かを判断する際に適用する移動速度の閾値である設定範囲を狭く変更するので、レンズに付着した雨水や水たまりの反射の像を自車両の走行車線の隣の隣接車線を走行する他車両の像として誤検出することを防止することができる。この結果、自車両の走行車線の隣の隣接車線を走行する他車両を、高い精度で検出する立体物検出装置を提供することができる。

本発明の立体物検出装置を適用した一実施の形態に係る車両の概略構成図である。 図１の車両の走行状態を示す平面図（差分波形情報による立体物検出）である。 図１の計算機の詳細を示すブロック図である。 図３の位置合わせ部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 図３の立体物検出部による差分波形の生成の様子を示す概略図である。 図３の立体物検出部によって分割される小領域を示す図である。 図３の立体物検出部により得られるヒストグラムの一例を示す図である。 図３の立体物検出部による重み付けを示す図である。 図３のスミア検出部による処理及びそれによる差分波形の算出処理を示す図である。 図３の立体物検出部により得られるヒストグラムの他の例を示す図である。 図３の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート（その１）である。 図３の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート（その２）である。 図１の車両の走行状態を示す図（エッジ情報による立体物検出）であり、（ａ）は検出領域等の位置関係を示す平面図、（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 図３の輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図３の輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（車両）が存在している場合の輝度分布を示す図、（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図３の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート（その１）である。 図３の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート（その２）である。 エッジ検出動作を説明するための画像例を示す図である。 降雨時に撮像された画像情報の一例を示す図である。 降雨状態の検出結果に応じた立体物判断の制御手順を示す第１のフローチャートである。 「移動速度の閾値」の設定手法を説明するための図である。 降雨状態の検出結果に応じた立体物判断の制御手順を示す第２のフローチャートである。 「所定時間内の検出回数」の設定手法を説明するための図である。 降雨状態の検出結果に応じた立体物判断の制御手順を示す第３のフローチャートである。 降雨状態の検出結果に応じた立体物判断の制御手順を示す第４のフローチャートである。 検出領域を狭める処理を説明するための図である。 レンズに汚れが付着した場合の検出領域の状態の一例を示す図である。 検出領域に車両が存在する場合のエッジ情報の一例を説明するための図である。 レンズに汚れが付着した場合のエッジ情報の一例を説明するための図である。 レンズに汚れが付着しているか否かを判断する際の制御手順を示す第１のフローチャートである。 エッジの長さに基づいて、レンズに汚れが付着しているか否かを判断する手法を説明するための第１の図である。 エッジの長さに基づいて、レンズに汚れが付着しているか否かを判断する手法を説明するための第２の図である。 エッジの反転回数に基づいて、レンズに汚れが付着しているか否かを判断する手法を説明するための第１の図である。 エッジの反転回数に基づいて、レンズに汚れが付着しているか否かを判断する手法を説明するための第２の図である。 レンズに汚れが付着しているか否かを判断する際の制御手順を示す第２のフローチャートである。 「移動速度の閾値」の設定手法を説明するための図である。 「所定時間内の検出回数」の設定手法を説明するための図である。 レンズに固着物が存在する場合における、立体物判断の制御手順を示す第１のフローチャートである。

図１は、本発明の立体物検出装置１を適用した一実施の形態に係る車両の概略構成図であり、本例の立体物検出装置１は、自車両の運転者が運転中に注意を払うべき他車両、例えば、自車両Ｖが車線変更する際に接触の可能性がある他車両を障害物として検出する装置である。特に、本例の立体物検出装置１は自車両が走行する車線の隣の隣接車線（以下、単に隣接車線ともいう）を走行する他車両を検出する。また、本例の立体物検出装置１は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、立体物検出装置１を自車両Ｖに搭載し、自車両周囲において検出される立体物のうち、自車両Ｖが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の立体物検出装置１は、カメラ１０と、車速センサ２０と、計算機３０と、雨滴センサ５０と、ワイパー６０と、通信装置７１及びＧＰＳ装置７２を備えるナビゲーション装置７０とを備える。

カメラ１０は、図１に示すように自車両Ｖの後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように自車両Ｖに取り付けられている。カメラ１０は、この位置から自車両Ｖの周囲環境のうちの所定領域を撮像する。カメラ１０は、像を結像させるレンズ１１を備える。本実施形態において自車両Ｖの後方の立体物を検出するために設けられるカメラ１は一つであるが、他の用途のため、例えば車両周囲の画像を取得するための他のカメラを設けることもできる。車速センサ２０は、自車両Ｖの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機３０は、車両後方の立体物を検出するとともに、本例ではその立体物について移動距離及び移動速度を算出する。雨滴センサ５０と、ワイパー６０と、ナビゲーション装置７０は、降雨に関する情報を検出し、その検出結果を後述する降雨状態検出部４１へ送出する。

降雨状態検出部４１は、降雨の有無、降雨量又は降雨により路面に水膜が形成された場合を含む降雨状態を検出する。降雨状態検出部４１は、「降雨の有無」を、雨滴センサ５０により検出される自車両Ｖに付着する雨滴の有無又は雨滴の量、ワイパー６０の駆動情報、又はナビゲーション装置７０を介して取得した走行地点における天気情報などに基づいて検出する。降雨状態検出部４１は、雨滴センサ５０により検出される雨滴量、ワイパー６０の駆動速度や駆動周期などの駆動情報、ナビゲーション装置７０を介して取得した走行地点における降雨量などに基づいて、自車両Ｖの走行地点における降雨量を検出する。また、降雨状態検出部４１は、「降雨により路面に水膜が形成されたか否か」を、降雨の有無及び降雨量と、降雨開始からの時間に基づいて検出することができる。本検出は、降雨量が所定量以上であって、雨が止んでから所定時間内であれば、路面に水膜が形成されている可能性が高いという判断に基づく。たとえば、雨滴センサ５０により検出される雨滴の量が所定値以上であり、雨滴センサ５０が雨滴が存在しないと検出してから所定時間以内である場合、ワイパー６０が所定値以上の頻度(所定値未満の周期)で駆動され、ワイパー６０が駆動を停止してから所定時間以内である場合、ナビゲーション装置７０が走行地点の降雨終了を取得してから所定時間以内である場合に、降雨により路面に水膜が形成された降雨状態を検出することができる。これら雨滴センサ５０と、ワイパー６０と、ナビゲーション装置７０は、降雨状態検出部４１の一部を構成することができる。各装置については後に詳述する。

図２は、図１の自車両Ｖの走行状態を示す平面図である。同図に示すように、カメラ１０は、所定の画角ａで車両後方を撮像する。このとき、カメラ１０の画角ａは、自車両Ｖが走行する車線に加えて、その左右の車線についても撮像可能な画角に設定されている。撮像可能な領域には、自車両Ｖの後方であり、自車両Ｖの走行車線の左右隣の隣接車線上の検出対象領域Ａ１，Ａ２を含む。なお、本実施形態における車両後方には、車両の真後ろだけではなく、車両の後ろ側の側方をも含む。撮像される車両後方の領域は、カメラ１０の画角に応じて設定される。一例ではあるが、車長方向に沿う車両の真後ろをゼロ度とした場合に、真後ろ方向から左右０度〜９０度、好ましくは０度〜７０度等の領域を含むように設定できる。

図３は、図１の計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０、車速センサ２０、雨滴センサ５０、ワイパー６０、ナビゲーション装置７０についても図示する。車速センサ２０、雨滴センサ５０、ワイパー６０、ナビゲーション装置７０は、車両に搭載され、ＣＡＮ（Controller Area Network）などの車載通信ネットワークを介して計算機３０と情報の授受が可能である。

図３に示すように、計算機３０は、視点変換部３１と、位置合わせ部３２と、立体物検出部３３と、立体物判断部３４と、異物検出部３８と、降雨状態検出部４１と、制御部３９と、スミア検出部４０とを備える。本実施形態の計算部３０は、差分波形情報を利用した立体物の検出ブロックに関する構成である。本実施形態の計算部３０は、エッジ情報を利用した立体物の検出ブロックに関する構成とすることもできる。この場合は、図３に示す構成のうち、位置合わせ部３２と、立体物検出部３３から構成されるブロック構成Ａを、破線で囲んだ輝度差算出部３５と、エッジ線検出部３６と、立体物検出部３７から構成されるブロック構成Ｂと置き換えて構成することができる。もちろん、ブロック構成Ａ及びブロック構成Ｂの両方を備え、差分波形情報を利用した立体物の検出を行うとともに、エッジ情報を利用した立体物の検出も行うことができるようにすることもできる。ブロック構成Ａ及びブロック構成Ｂを備える場合には、例えば明るさなどの環境要因に応じてブロック構成Ａ又はブロック構成Ｂのいずれかを動作させることができる。以下、各構成について説明する。

《差分波形情報による立体物の検出》
本実施形態の立体物検出装置１は、車両後方を撮像する単眼のカメラ１により得られた画像情報に基づいて車両後方の右側検出領域又は左側検出領域に存在する立体物を検出する。

視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８−２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。なお、視点変換部３１による画像変換処理の結果は、後述するエッジ情報による立体物の検出においても利用される。

位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせる。図４は、位置合わせ部３２の処理の概要を説明するための図であり、（ａ）は自車両Ｖの移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。

図４（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置していたとする。また、自車両Ｖの後側方向に他車両ＶＸが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶＸがＶ３に位置し、一時刻前の他車両ＶＸがＶ４に位置していたとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。

このような状態において、現時刻における鳥瞰画像ＰＢｔは図４（ｂ）に示すようになる。この鳥瞰画像ＰＢｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ３にある他車両ＶＸの位置については倒れ込みが発生する。また、一時刻前における鳥瞰画像ＰＢｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ４にある他車両ＶＸについては倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部３２は、上記のような鳥瞰画像ＰＢｔ，ＰＢｔ−１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰画像ＰＢｔ−１をオフセットさせ、現時刻における鳥瞰画像ＰＢｔと位置を一致させる。図４（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図４（ａ）に示した自車両Ｖの実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

また、位置合わせ後において位置合わせ部３２は、鳥瞰画像ＰＢｔ，ＰＢｔ−１の差分をとり、差分画像ＰＤｔのデータを生成する。ここで、差分画像ＰＤｔの画素値は、鳥瞰画像ＰＢｔ，ＰＢｔ−１の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値ｐを超えたときに「１」とし、超えないときに「０」としてもよい。図４（ｂ）の右側の画像が、差分画像ＰＤｔである。この閾値ｐは、予め設定しておいてもよいし、後述する制御部３９が生成する制御命令に従い変更してもよい。

図３に戻り、立体物検出部３３は、図４（ｂ）に示す差分画像ＰＤｔのデータに基づいて立体物を検出する。この際、本例の立体物検出部３３は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部３３は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。そして、立体物の移動速度は、立体物が車両であるか否かの判断に用いることができる。

差分波形の生成にあたって本実施形態の立体物検出部３３は、差分画像ＰＤｔにおいて検出領域を設定する。本例の立体物検出装置１は、自車両Ｖの運転手が注意を払う他車両であり、特に、自車両Ｖが車線変更する際に接触の可能性がある自車両Ｖが走行する車線の隣の車線を走行する他車両を検出対象物として検出する。このため、画像情報に基づいて立体物を検出する本例では、カメラ１により得られた画像のうち、自車両Ｖの右側及び左側に二つの検出領域を設定する。具体的に、本実施形態では、図２に示すように自車両Ｖの後方の左側及び右側に矩形状の検出領域Ａ１，Ａ２を設定する。この検出領域Ａ１，Ａ２において検出された他車両は、自車両Ｖが走行する車線の隣の隣接車線を走行する障害物として検出される。なお、このような検出領域Ａ１，Ａ２は、自車両Ｖに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、移動距離検出装置１は、例えば既存の白線認識技術等を利用するとよい。

また、立体物検出部３３は、設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２（図２）として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両ＶＸの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。

図５は、図３に示す立体物検出部３３による差分波形の生成の様子を示す概略図である。図５に示すように、立体物検出部３３は、位置合わせ部３２で算出した差分画像ＰＤｔ（図４（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷｔを生成する。この際、立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷｔを生成する。

具体的に説明すると、立体物検出部３３は、差分画像ＤＷｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、所定の差分を示す差分画素ＤＰは、差分画像ＤＷｔの画素値が鳥瞰画像ＰＢｔ，ＰＢｔ−１の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像ＤＷｔの画素値が「０」「１」で表現されている場合は、「１」を示す画素である。

立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図５右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図５右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。

以下同様に、立体物検出部３３は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部３３は、上記を順次繰り返して度数分布化することで、図５右図に示すように差分波形ＤＷｔを生成する。

なお、図５左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷｔの値はほぼ同じとなっている。

差分波形ＤＷｔの生成後、立体物検出部３３は一時刻前の差分波形ＤＷｔ−１との対比により移動距離を算出する。すなわち、立体物検出部３３は、差分波形ＤＷｔ，ＤＷｔ−１の時間変化から移動距離を算出する。

詳細に説明すると、立体物検出部３３は、図６に示すように差分波形ＤＷｔを複数の小領域ＤＷｔ１〜ＤＷｔｎ（ｎは２以上の任意の整数）に分割する。図６は、立体物検出部３３によって分割される小領域ＤＷｔ１〜ＤＷｔｎを示す図である。小領域ＤＷｔ１〜ＤＷｔｎは、例えば図６に示すように、互いに重複するようにして分割される。例えば小領域ＤＷｔ１と小領域ＤＷｔ２とは重複し、小領域ＤＷｔ２と小領域ＤＷｔ３とは重複する。

次いで、立体物検出部３３は、小領域ＤＷｔ１〜ＤＷｔｎ毎にオフセット量（差分波形の横軸方向（図６の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷｔ−１と現時刻における差分波形ＤＷｔとの差（横軸方向の距離）から求められる。この際、立体物検出部３３は、小領域ＤＷｔ１〜ＤＷｔｎ毎に、一時刻前における差分波形ＤＷｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部３３は、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。

図７は、立体物検出部３３により得られるヒストグラムの一例を示す図である。図７に示すように、各小領域ＤＷｔ１〜ＤＷｔｎと一時刻前における差分波形ＤＷｔ−１との誤差が最小となる移動量であるオフセット量には、多少のばらつきが生じる。このため、立体物検出部３３は、ばらつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部３３は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図７に示す例において立体物検出部３３は、ヒストグラムの極大値を示すオフセット量を移動距離τ＊と算出する。なおこの移動距離τ＊は、自車両Ｖに対する他車両ＶＸの相対移動距離である。このため、立体物検出部３３は、絶対移動距離を算出する場合には、得られた移動距離τ＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。

なお、ヒストグラム化にあたり立体物検出部３３は、複数の小領域ＤＷｔ１〜ＤＷｔｎ毎に重み付けをし、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図８は、立体物検出部３３による重み付けを示す図である。

図８に示すように、小領域ＤＷｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。すなわち、小領域ＤＷｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部３３は、このような小領域ＤＷｍについて重みを小さくする。平坦な小領域ＤＷｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。

一方、小領域ＤＷｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部３３は、このような小領域ＤＷｍについて重みを大きくする。起伏に富む小領域ＤＷｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷｔを複数の小領域ＤＷｔ１〜ＤＷｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷｔ１〜ＤＷｔｎに分割しなくてもよい。この場合に、立体物検出部３３は、差分波形ＤＷｔと差分波形ＤＷｔ−１との誤差が最小となるときの差分波形ＤＷｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形ＤＷｔ−１と現時刻における差分波形ＤＷｔとのオフセット量を求める方法は上記内容に限定されない。

図３に戻り、計算機３０はスミア検出部４０を備える。スミア検出部４０は、カメラ１０による撮像によって得られた撮像画像のデータからスミアの発生領域を検出する。なお、スミアはＣＣＤイメージセンサ等に生じる白飛び現象であることから、こうしたスミアが生じないＣＭＯＳイメージセンサ等を用いたカメラ１０を採用する場合にはスミア検出部４０を省略してもよい。

図９は、スミア検出部４０による処理及びそれによる差分波形ＤＷｔの算出処理を説明するための画像図である。まずスミア検出部４０にスミアＳが存在する撮像画像Ｐのデータが入力されたとする。このとき、スミア検出部４０は、撮像画像ＰからスミアＳを検出する。スミアＳの検出方法は様々であるが、例えば一般的なＣＣＤ（Charge-Coupled Device）カメラの場合、光源から画像下方向にだけスミアＳが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアＳの発生領域と特定する。

また、スミア検出部４０は、スミアＳの発生箇所について画素値を「１」とし、それ以外の箇所を「０」とするスミア画像ＳＰのデータを生成する。生成後、スミア検出部４０はスミア画像ＳＰのデータを視点変換部３１に送信する。また、スミア画像ＳＰのデータを入力した視点変換部３１は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部３１はスミア鳥瞰画像ＳＢｔのデータを生成する。生成後、視点変換部３１はスミア鳥瞰画像ＳＢｔのデータを位置合わせ部３３に送信する。また、視点変換部３１は一時刻前のスミア鳥瞰画像ＳＢｔ−１のデータを位置合わせ部３３に送信する。

位置合わせ部３２は、スミア鳥瞰画像ＳＢｔ，ＳＢｔ−１の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像ＰＢｔ，ＰＢｔ−１の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部３２は、各スミア鳥瞰画像ＳＢｔ，ＳＢｔ−１のスミアＳの発生領域について論理和をとる。これにより、位置合わせ部３２は、マスク画像ＭＰのデータを生成する。生成後、位置合わせ部３２は、マスク画像ＭＰのデータを立体物検出部３３に送信する。

立体物検出部３３は、マスク画像ＭＰのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図９に示すような差分波形ＤＷｔが生成されていた場合に、立体物検出部３３は、スミアＳによるカウント数ＳＣをゼロとし、補正された差分波形ＤＷｔ’を生成することとなる。

なお、本実施形態において立体物検出部３３は、車両Ｖ（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。

図１０は、立体物検出部３３により得られるヒストグラムの他例を示す図である。カメラ１０の画角内に他車両ＶＸの他に静止物が存在する場合に、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。

なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に他車両ＶＸが複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の他車両ＶＸが存在することは極めて稀である。このため、立体物検出部３３は、移動距離の算出を中止する。

次に差分波形情報による立体物検出手順を説明する。図１１及び図１２は、本実施形態の立体物検出手順を示すフローチャートである。図１１に示すように、まず、計算機３０はカメラ１０による撮像画像Ｐのデータを入力し、スミア検出部４０によりスミア画像ＳＰを生成する（Ｓ１）。次いで、視点変換部３１は、カメラ１０からの撮像画像Ｐのデータから鳥瞰画像ＰＢｔのデータを生成すると共に、スミア画像ＳＰのデータからスミア鳥瞰画像ＳＢｔのデータを生成する（Ｓ２）。

そして、位置合わせ部３３は、鳥瞰画像ＰＢｔのデータと、一時刻前の鳥瞰画像ＰＢｔ−１のデータとを位置合わせすると共に、スミア鳥瞰画像ＳＢｔのデータと、一時刻前のスミア鳥瞰画像ＳＢｔ−１のデータとを位置合わせする（Ｓ３）。この位置合わせ後、位置合わせ部３３は、差分画像ＰＤｔのデータを生成すると共に、マスク画像ＭＰのデータを生成する（Ｓ４）。その後、立体物検出部３３は、差分画像ＰＤｔのデータと、一時刻前の差分画像ＰＤｔ−１のデータとから、差分波形ＤＷｔを生成する（Ｓ５）。差分波形ＤＷｔを生成後、立体物検出部３３は、差分波形ＤＷｔのうち、スミアＳの発生領域に該当するカウント数をゼロとし、スミアＳによる影響を抑制する（Ｓ６）。

その後、立体物検出部３３は、差分波形ＤＷｔのピークが第１閾値α以上であるか否かを判断する（Ｓ７）。この第１閾値αは、予め設定しておき、図３に示す制御部３９の制御命令に従い変更することもできるが、その詳細については後述する。ここで、差分波形ＤＷｔのピークが第１閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像Ｐ内には立体物が存在しないと考えられる。このため、差分波形ＤＷｔのピークが第１閾値α以上でないと判断した場合には（Ｓ７：ＮＯ）、立体物検出部３３は、立体物が存在せず、障害物としての他車両ＶＸが存在しないと判断する（図１２：Ｓ１６）。そして、図１１及び図１２に示す処理を終了する。

一方、差分波形ＤＷｔのピークが第１閾値α以上であると判断した場合には（Ｓ７：ＹＥＳ）、立体物検出部３３は、立体物が存在すると判断し、差分波形ＤＷｔを複数の小領域ＤＷｔ１〜ＤＷｔｎに分割する（Ｓ８）。次いで、立体物検出部３３は、小領域ＤＷｔ１〜ＤＷｔｎ毎に重み付けを行う（Ｓ９）。その後、立体物検出部３３は、小領域ＤＷｔ１〜ＤＷｔｎ毎のオフセット量を算出し（Ｓ１０）、重みを加味してヒストグラムを生成する（Ｓ１１）。

そして、立体物検出部３３は、ヒストグラムに基づいて自車両Ｖに対する立体物の移動距離である相対移動距離を算出する（Ｓ１２）。次に、立体物検出部３３は、相対移動距離から立体物の絶対移動速度を算出する（Ｓ１３）。このとき、立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ２０で検出された自車速を加算して、絶対移動速度を算出する。

その後、立体物検出部３３は、立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断する（Ｓ１４）。双方を満たす場合には（Ｓ１４：ＹＥＳ）、立体物検出部３３は、立体物が他車両ＶＸであると判断する（Ｓ１５）。そして、図１１及び図１２に示す処理を終了する。一方、いずれか一方でも満たさない場合には（Ｓ１４：ＮＯ）、立体物検出部３３は、他車両ＶＸが存在しないと判断する（Ｓ１６）。そして、図１１及び図１２に示す処理を終了する。

なお、本実施形態では自車両Ｖの後側方を検出領域Ａ１，Ａ２とし、自車両Ｖが走行中に注意を払うべきである自車両の走行車線の隣を走行する隣接車線を走行する他車両ＶＸを検出すること、特に、自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いている。自車両Ｖが車線変更した場合に、自車両の走行車線の隣の隣接車線を走行する他車両ＶＸと接触する可能性がある否かを判断するためである。このため、ステップＳ１４の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が１０ｋｍ／ｈ未満である場合、たとえ他車両ＶＸが存在したとしても、車線変更する際には自車両Ｖの遠く後方に位置するため問題となることが少ない。同様に、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、立体物が自車両Ｖの速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両Ｖの前方に移動しているため問題となることが少ない。このため、ステップＳ１４では車線変更の際に問題となる他車両ＶＸを判断しているともいえる。

また、ステップＳ１４において立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、以下の効果がある。例えば、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得る。よって、１０ｋｍ／ｈ以上であるかを判断することにより、静止物を他車両ＶＸであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Ｖに対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得る。よって、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。

さらに、ステップＳ１４の処理に代えて、絶対移動速度がマイナスでないことや、０ｋｍ／ｈでないことを判断してもよい。また、本実施形態では自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップＳ１５において他車両ＶＸが検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。

このように、本例の差分波形情報による立体物の検出手順によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像ＰＤｔのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形ＤＷｔを生成する。ここで、差分画像ＰＤｔのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷｔを生成することとなる。そして、高さ方向の情報を含む差分波形ＤＷｔの時間変化から立体物の移動距離を算出する。このため、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

また、差分波形ＤＷｔのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形ＤＷｔのうちスミアＳによって生じる波形部位を除去することとなり、スミアＳを立体物と誤認してしまう事態を防止することができる。

また、異なる時刻に生成された差分波形ＤＷｔの誤差が最小となるときの差分波形ＤＷｔのオフセット量から立体物の移動距離を算出する。このため、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。

また、異なる時刻に生成された差分波形ＤＷｔを複数の小領域ＤＷｔ１〜ＤＷｔｎに分割する。このように複数の小領域ＤＷｔ１〜ＤＷｔｎに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域ＤＷｔ１〜ＤＷｔｎ毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。

また、複数の小領域ＤＷｔ１〜ＤＷｔｎ毎に重み付けをし、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。

また、差分波形ＤＷｔの各小領域ＤＷｔ１〜ＤＷｔｎについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。

また、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にばらつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。

また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。

なお上記実施形態において、自車両Ｖの車速を車速センサ２０からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。

また、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像ＰＤｔを生成し、生成した差分画像ＰＤｔを倒れ込み方向（撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向）に沿って評価して差分波形ＤＷｔを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向（すなわち、倒れ込み方向を撮像画像上の方向に変換した方向）に沿って評価することによって差分波形ＤＷｔを生成してもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像ＰＤｔを生成し、差分画像ＰＤｔを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。

《エッジ情報による立体物の検出》
次に、図３に示す立体物の検出ブロックＡに代えて動作させることが可能である、立体物の検出ブロックＢについて説明する。立体物の検出ブロックＢは、輝度差算出部３５、エッジ線検出部３６及び立体物検出部３７で構成されるエッジ情報を利用して立体物を検出する。図１３は、図３のカメラ１０の撮像範囲等を示す図であり、図１３（ａ）は平面図、図１３（ｂ）は、自車両Ｖから後側方における実空間上の斜視図を示す。図１３（ａ）に示すように、カメラ１０は所定の画角ａとされ、この所定の画角ａに含まれる自車両Ｖから後側方を撮像する。カメラ１０の画角ａは、図２に示す場合と同様に、カメラ１０の撮像範囲に自車両Ｖが走行する車線に加えて、隣接する車線も含まれるように設定されている。

本例の検出領域Ａ１，Ａ２は、平面視（鳥瞰視された状態）において台形状とされ、これら検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ１〜ｄ４に基づいて決定される。なお、同図に示す例の検出領域Ａ１，Ａ２は台形状に限らず、図２に示すように鳥瞰視された状態で矩形など他の形状であってもよい。

ここで、距離ｄ１は、自車両Ｖから接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖが走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖの後側方において自車両Ｖの車線に隣接する左右の車線を走行する他車両ＶＸ等（２輪車等を含む)を検出することが目的である。このため、自車両Ｖから白線Ｗまでの距離ｄ１１及び白線Ｗから他車両ＶＸが走行すると予測される位置までの距離ｄ１２から、他車両ＶＸの接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。

また、距離ｄ１については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機３０は、白線認識等の技術により自車両Ｖに対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。以下の本実施形態においては、他車両ＶＸが走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖが走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。

距離ｄ２は、自車両Ｖの後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両ＶＸ等であるため、距離ｄ３は、他車両ＶＸを含む長さに設定される。

距離ｄ４は、図１３（ｂ）に示すように、実空間において他車両ＶＸ等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰視画像においては図１３（ａ）に示す長さとされる。なお、距離ｄ４は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの車線）を含まない長さとすることもできる。自車両Ｖの車線から２車線隣の車線を含んでしまうと、自車両Ｖが走行している車線である自車線の左右の隣接車線に他車両ＶＸが存在するのか、２車線隣りの車線に他車両ＶＸが存在するのかについて、区別が付かなくなってしまうためである。

以上のように、距離ｄ１〜距離ｄ４が決定され、これにより検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図１３（ｂ）に示すように、自車両Ｖから後側方における実空間上では真四角（長方形）となる。

図３に戻り、視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部３１は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開２００８−２１９０６３号公報に記載された技術によって実現することができる。

輝度差算出部３５は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３５は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３５は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３５の動作について詳細に説明する。

輝度差算出部３５は、図１４（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また輝度差算出部３５は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部３５は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３５は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図１４（ｂ）に示す関係となる。図１４（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部３５は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。このため、図３に示したエッジ線検出部３６は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図１５は、輝度差算出部３５の詳細動作を示す図であり、図１５（ａ）は鳥瞰視された状態の鳥瞰視画像を示し、図１５（ｂ）は、図１５（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお図１５についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。

カメラ１０が撮像した撮像画像内に他車両ＶＸが映っていた場合に、図１５（ａ）に示すように、鳥瞰視画像内の検出領域Ａ１に他車両ＶＸが現れる。図１５（ｂ）に図１５（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰視画像上において、他車両ＶＸのタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３５は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１において、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰視画像上において、例えば他車両ＶＸのタイヤのゴムから１０ｃｍ相当だけ離れた他車両ＶＸのタイヤのホイール上に設定される。

次に、輝度差算出部３５は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図１５（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に、輝度差算出部３５は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部３５は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３５は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３５は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３５は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部３５は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３５は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３５は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

図３に戻り、エッジ線検出部３６は、輝度差算出部３５により算出された連続的な輝度差から、エッジ線を検出する。例えば、図１５（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部３６は、輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には、エッジ線検出部３６は、エッジ線を検出するにあたり、先ず下記の数式１に従って、ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
[数１]
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｔのとき
ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき
ｓ（ｘｉ，ｙｉ）＝０

上記数式１において、ｔは閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記数式１によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉから閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘−１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔは、予め設定しておき、図３に示す制御部３９が発する制御命令に従い変更することもできるが、その詳細については後述する。

次にエッジ線検出部３６は、下記数式２に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
[数２]
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く）、
ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｃ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３６は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部３６は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。エッジ線検出部３６は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。閾値θは予め設定しておいてもよいし、後述する制御部３９の制御命令に従い変更してもよい。

すなわち、エッジ線検出部３６は、下記数式３に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして、エッジ線検出部３６は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
[数３]
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ

図３に戻り、立体物検出部３７は、エッジ線検出部３６により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置１は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、立体物検出部３７は、エッジ線検出部３６により検出されたエッジ線の量に基づいて立体物を検出する。さらに、立体物検出部３７は、立体物を検出するに先立って、エッジ線検出部３６により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部３７は、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。

図１６は、エッジ線の輝度分布を示す図であり、図１６（ａ）は検出領域Ａ１に立体物としての他車両ＶＸが存在した場合のエッジ線及び輝度分布を示し、図１６（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示す。

図１６（ａ）に示すように、鳥瞰視画像において他車両ＶＸのタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両ＶＸのタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図１６（ｂ）に示すように、鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌａ上の輝度分布の相違に基づいて、立体物検出部３７は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部３７は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。

具体的には、立体物検出部３７は、下記数式４，５の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式４は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記数式５は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
[数４]
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝２］
[数５]
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜

なお、数式５に限らず、下記数式６のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
[数６]
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき、
ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｂ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部３７は、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。

次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図１７及び図１８は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図１７及び図１８においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。

図１７に示すように、先ずステップＳ２１において、カメラ１０は、画角ａ及び取付位置によって特定された所定領域を撮像する。次に視点変換部３１は、ステップＳ２２において、ステップＳ２１にてカメラ１０により撮像された撮像画像データを入力し、視点変換を行って鳥瞰視画像データを生成する。

次に輝度差算出部３５は、ステップＳ２３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部３５は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。次に輝度差算出部３５は、ステップＳ２４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部３５は、実空間上において鉛直方向に伸びる線分に相当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。

次に輝度差算出部３５は、ステップＳ２５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部３５は、エッジ線検出部３６によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。また、輝度差算出部３５は、ステップＳ２６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

次に輝度差算出部３５は、ステップＳ２７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。次にエッジ線検出部３６は、上記の数式１に従って、各注目点Ｐａの属性ｓを算出する。次にエッジ線検出部３６は、ステップＳ２８において、上記の数式２に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。次にエッジ線検出部３６は、ステップＳ２９において、上記数式３に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合（Ｓ２９：ＹＥＳ）、エッジ線検出部３６は、ステップＳ３０において、当該注目線Ｌａをエッジ線として検出する。そして、処理はステップＳ３１に移行する。正規化した値が閾値θより大きくないと判断した場合（Ｓ２９：ＮＯ）、エッジ線検出部３６は、当該注目線Ｌａをエッジ線として検出せず、処理はステップＳ３１に移行する。この閾値θは予め設定しておくことができるが、制御部３９に制御命令に応じて変更することもできる。

ステップＳ３１において、計算機３０は、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ２３〜ステップＳ３０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（Ｓ３１：ＮＯ）、ステップＳ２３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ３１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（Ｓ３１：ＹＥＳ）、処理は図１８のステップＳ３２に移行する。

図１８のステップＳ３２において、立体物検出部３７は、図１７のステップＳ３０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部３７は、上記数式４，５，６の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部３７は、ステップＳ３３において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。

次に立体物検出部３７は、ステップＳ３４において、エッジ線の量が第２閾値β以上であるか否かを判断する。なお、この第２閾値βは、予め実験等によって求めておいて設定しておき、図３に示す制御部３９が発する制御命令に従い変更することもできるが、その詳細については後述する。例えば、検出対象の立体物として四輪車を設定した場合、当該第２閾値βは、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第２閾値β以上であると判定した場合（Ｓ３４：ＹＥＳ）、立体物検出部３７は、ステップＳ３５において、検出領域Ａ１内に立体物が存在すると検出する。一方、エッジ線の量が第２閾値β以上ではないと判定した場合（Ｓ３４：ＮＯ）、立体物検出部３７は、検出領域Ａ１内に立体物が存在しないと判断する。その後、図１７及び図１８に示す処理は終了する。検出された立体物は、自車両Ｖが走行する車線の隣の隣接車線を走行する他車両ＶＸであると判断してもよいし、検出した立体物の自車両Ｖに対する相対速度を考慮して隣接車線を走行する他車両ＶＸであるか否かを判断してもよい。この第２閾値βは予め設定しておくことができるが、制御部３９に制御命令に応じて変更することもできる。

以上のように、本実施形態のエッジ情報を利用した立体物の検出方法によれば、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定することができる。

具体的には、鳥瞰視画像における検出領域Ａ１，Ａ２に対して、実空間において鉛直方向に伸びる線分に該当する注目線Ｌａと、注目線Ｌａとは異なる参照線Ｌｒとを設定する。そして、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差を注目線Ｌａ及び参照線Ｌａに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Ｌａと参照線Ｌｒとの輝度差を求める。注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。これによって、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、本例の方法によれば、立体物の検出精度を向上させることができる。

また、本例では、鉛直仮想線付近の略同じ高さの２つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めるので、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。

更に、本例では、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図１９は、エッジ線検出部３６の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接した画像である。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。

これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部３６は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定するので、エッジ線検出部３６は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。

さらに、本例では、エッジ線検出部３６により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両ＶＸのタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。

《立体物の最終判断》
図３に戻り、本例の立体物検出装置１は、上述した２つの立体物検出部３３（又は立体物検出部３７）と、立体物判断部３４と、異物検出部３８と、降雨状態検出部４１と、制御部３９とを備える。立体物判断部３４は、立体物検出部３３（又は立体物検出部３７）の検出結果に基づいて、検出された立体物が最終的に検出領域Ａ１，Ａ２に他車両ＶＸであるか否かを判断する。また、本実施形態の立体物検出装置１の制御部３９は、降雨状態検出部４１の検出結果に基づいて、立体物検出部３３（又は立体物検出部３７）及び／又は立体物判断部３４の処理内容を制御する。

本実施形態の降雨状態検出部４１は、自車両Ｖの走行位置が降雨状態であるか否かを検出する。具体的に、降雨状態検出部４１は、雨滴センサ５０、ワイパー６０及び／又はナビゲーション装置７０から取得した情報に基づいて、自車両Ｖの走行位置が降雨状態（実際に降雨がある、降雨時の降雨量、又は降雨により路面に水膜が形成されているという情報を含む）であるか否か、具体的には、自車両Ｖのボディ外側、特にカメラ１０のレンズ１１に雨滴が付着したか若しくは雨滴が付着する可能性が高いか、又は付着する雨滴の量（降雨量）を検出する。

本実施形態における雨滴センサ５０は、雨滴が付着可能であり、ガラスなどの透光性を備える材質から構成されたステージと、このステージに赤外光を照射する発光部と、発光部から照射した光の反射光を受光する受光部とを備える。ステージの一方主面は自車両外部に露出されており、降雨時には雨滴が付着する。ステージの露出面に雨滴が付着していない場合には、発光部が照射した光はステージ(ガラス)の表面に全反射するため、受光部は照射光とほぼ同じ強さの反射光を受光する。他方、ステージの露出面に雨滴が付着している場合には、発光部が照射した光はステージ(ガラス)に付着した雨滴を介して外部に透過するため、受光部は照射光よりも減衰した強さの反射光を受光する。発光部が照射する照射光と受光部が受光する反射光とを比較することにより、ステージの露出面（一方主面）に雨滴が付着しているか否かを判断することができる。また、受光部が受光する反射光の強さから発光部が照射する照射光の強さを差し引いた値、つまり照射光の減衰量に基づいて、ステージの露出面（一方主面）に付着した雨滴の量を検出することができる。ステージの露出面に付着した雨滴量が多い場合には、照射光の多くが外部に透過するため減衰量が多くなる。他方、ステージの露出面に付着した雨滴量が少ない場合には、外部に透過する光の量は減少し、照射光の減衰量は少なくなる。これを利用して、雨滴センサ５０は、照射光の減衰量が多いほどステージに付着した雨滴量は多い（降雨量が多い）と判断し、照射光の減衰量が少ないほどステージに付着した雨滴量が少ない（降雨量が少ない）と判断することができる。雨滴の有無及び雨滴の量に関する情報は、後述する計算機３０の降雨状態検出部４１へ送出される。なお、雨滴センサ５０の構成はこれに限定されず、出願時に知られた他の雨滴センサ５０を適宜に利用することができる。降雨状態検出部４１は、雨滴センサ５０から取得した雨滴の検出情報に基づいて雨滴の有無、雨滴の量、降雨量を検出し、検出した結果を制御部３９へ送出する。

ワイパー６０は、自車両Ｖのフロントガラス、リアガラスに付着した雨滴を除去する装置である。手動、自動の設定にかかわらず、雨滴の付着量が多いほど、ワイパー６０の雨滴除去動作の頻度は高くなる。これを利用して、ワイパー６０の駆動頻度（駆動強度）が高いほど雨滴の量が多い（降雨量が多い）と判断し、ワイパー６０の駆動頻度（駆動強度）が低いほど雨滴の量が少ない（降雨量が少ない）と判断することができる。雨滴の有無及び雨滴の量に関する検出結果は、後述する計算機３０の降雨状態検出部４１へ送出される。なお、本実施形態のワイパー６０の具体的な構成は限定されず、出願時に知られたワイパー６０を適宜に利用することができる。降雨状態検出部４１は、ワイパー６０から取得した雨滴の検出情報に基づいて雨滴の有無、雨滴の量、降雨量を検出し、検出した結果を制御部３９へ送出する。

ナビゲーション装置７０は、外部との情報授受を行う通信装置７１を備え、出願時において知られる一般的なナビゲーション装置と同様に、経路探索のみならず、情報提供サーバから位置情報に対応づけられた降雨情報を含む天気情報を含む各種情報の提供装置として機能する。取得する降雨情報は、降雨の有無及び降雨量の多少を含む。ナビゲーション装置７０は、ＧＰＳ装置７２を用いて自車両Ｖの現在位置を検出し、現在位置における降雨情報を含む天気情報を取得する。これにより、降雨（雨滴付着）の有無、降雨量の多少について外部から情報を取得することができる。取得した降雨情報は、後述する計算機３０の降雨状態検出部４１へ送出される。降雨状態検出部４１は、ナビゲーション装置７０から取得した検出情報に基づいて、自車両Ｖの走行地点が降雨状態であるか否か（降雨中であるか否か、又は降雨後であって路面に水膜が形成されている状態であるか否か）及び降雨中であればその降雨量を検出し、検出した結果を制御部３９へ送出する。

本実施形態の立体物検出装置１は、カメラ１０により撮像された画像に基づいて立体物を検出し、検出された立体物が他車両ＶＸであるか否かを判断する。自車両Ｖ、特に、降雨状態であって、自車両Ｖに取り付けられたカメラ１０のレンズ１１に雨滴が付着した場合に取得される画像情報Ｋの一例を図２０に示す。図２０に示す画像情報は、雨滴などの異物が付着したレンズ１１を介して撮像されたものである。図２０の下側の映像はライセンスプレートＬＰの像であり、上側の薄墨の部分はカメラ１０のケースＣの像である。ライセンスプレートＬＰとケースＣの間の領域の画像が、自車両Ｖの移動とともに刻々変化する。図２０に示すように、ライセンスプレートＬＰとケースＣの間の領域の画像情報Ｋは、自車両Ｖが走行する道路の路面ＲＤの像と、この路面ＲＤの上に広がる後方の空ＳＫの像とを含む。また、図２０に示す画像情報Ｋには、レンズ１１に付着した雨滴などの異物の像ＣＬが映り込んでいる。さらに、降雨量が多い場合には、路面に水が溜まり、図２０に示す画像情報Ｋには、路面に溜まった水の水膜により形成される反射像Ｄが映り込んでいる。このように、降雨時においては、雨滴がレンズ１１に直接付着する、自車両が跳ね上げた雨水の水滴がレンズ１１に付着する、さらに跳ね上げた泥水に含まれる泥がレンズ１１に付着するといった現象が生じる。

図２０に示すように、降雨状態下において水滴などの異物が付着したレンズ１１を介して撮像された画像情報を用いて画像変換処理を行うと、水滴などの異物の像ＣＬを立体物の像と誤認識する、又は移動速度を誤検するといったことが起きることがあるために、像ＣＬを他車両ＶＸの像と誤認識するなどの誤った判断結果が導かれる場合がある。特に、降雨時においては、カメラ１０のレンズ１１に付着した水滴などの異物の存在により立体物の輪郭（エッジ成分、輪郭を形成する画素成分）の情報が不正確になるため、立体物の移動速度を正確に検出することが難しい。

本実施形態の立体物検出装置１は、降雨時における他車両ＶＸの判断精度を向上させるため、他車両ＶＸであるか否かを判断する際に適用される、予め設定された立体物の移動速度の設定範囲を調節する。上述したように、本実施形態の立体物判断部３４は、立体物検出部３３，３７により検出された立体物の移動速度が設定範囲に属する場合には、検出された立体物が他車両ＶＸであると判断する。具体的に、本実施形態の制御手段３９は、降雨状態検出部４１が降雨状態である旨を検出した場合には、立体物が他車両ＶＸであると判断されることを抑制するために、他車両ＶＸであるか否かを判断するための「移動速度の設定範囲」を狭く変更する。

これにより、降雨状態下において、レンズ１１に付着した雨滴の存在や路面に形成された水膜の反射により誤って算出されやすい立体物の相対速度に基づいて、他車両ＶＸでない立体物を他車両ＶＸであると誤判断することを防ぐことができる。この結果、レンズ１１に付着した異物を誤って他車両ＶＸと検出することや、レンズ１１に付着した水滴により歪んだ車両ではない立体物の像を誤って他車両ＶＸと検出することを抑制することができるので、他車両ＶＸを正確に検出することができる。

特に上述した移動速度の誤検出は、検出された立体物が後方に移動するときに生じやすい。つまり、検出された立体物の相対速度が負の値である場合に生じやすい。このため、本実施形態の制御部３９は、降雨状態検出部４１が降雨状態を検出した場合であって、立体物検出部３３，３７により算出された立体物の移動速度が負の値である場合には、「移動速度の設定範囲」を狭く変更し、検出された立体物が他車両ＶＸであると判断されることを抑制する。

これにより、降雨時において、相対速度が誤検出されやすい状況に限って、他車両ＶＸの検出処理を抑制するので、本来の他車両ＶＸの検出の動作精度を確保しつつ、誤検出を抑制することができる。また、立体物が後方に移動する状況は、自車両Ｖが他車両ＶＸを追い抜くときなどに生じる状況であり、自車両Ｖの運転者が状況を把握しやすい場面である。他車両ＶＸの検出抑制処理を立体物の移動速度が負の値である場合に限定して行うことにより、他車両ＶＸの検出動作を抑制することによる不都合の発生を抑制することができる。

また、上述した他車両ＶＸの検出抑制処理において、本実施形態の制御部３９は、降雨状態検出部４１が検出した降雨量（降雨状態に含まれる）が多くなるにつれて、「移動速度の設定範囲」をより狭く設定する。これにより、立体物が他車両ＶＸであると判断されることを抑制する。降雨量が多いほど立体物の移動速度の精度が低下する傾向があるので、降雨量が多いほど他車両ＶＸの検出が抑制されるように「移動速度の設定範囲」を狭く設定することにより、他車両ＶＸの検出精度を向上させることができる。

図２１Ａは、この制御手順を示すフローチャートである。図２１Ａに示すように、ステップＳ４１において、降雨状態検出部４１は、雨滴センサ５０の雨滴の検出結果、ワイパー６０の駆動情報、ナビゲーション装置７０の降雨情報に基づいて、自車両Ｖの走行位置が降雨状態であるか否かの検出処理を行う。ステップＳ４２において、降雨状態検出部４１により降雨状態であることがが検出された場合には、ステップＳ５１へ進む。

ステップＳ５１において、立体物検出部３３，３７により検出された立体物の移動速度が負の値であるか否かを判断し、負の値である場合にはステップＳ５２へ進む。ステップＳ５２において、制御部３９は、立体物が他車両であるか否かを判断する際の「移動速度の設定範囲」を、デフォルトの設定範囲よりも狭く変更する。このとき、制御部３９は、降雨状態検出部４１が検出した降雨量に応じて、再設定する「移動速度の設定範囲」を決定することができる。また、本実施形態の制御部３９は、降雨量が多いほど「移動速度の設定範囲」を狭くする。図２１Ｂに「降雨量」と「移動速度の設定範囲」の下限値との関係の一例を示す。図２１Ｂに示すように、「降雨量」が多いほど下限値が高くなり、「移動速度の設定範囲」は狭くなる。「移動速度の設定範囲」の上限値についても同様に、降雨量が多いほど低くすることができる。その後、ステップＳ４３へ進み、差分波形情報又はエッジ情報に基づく立体物検出処理を実行する。なお、ステップＳ４２において降雨状態が検出された場合には、ステップＳ５１をスキップしてステップＳ５２へ進むこともできる。

この立体物の検出処理は上述した立体物検出部３３による図１１、図１２の差分波形情報を用いた処理、又は立体物検出部３７による図１７、図１８のエッジ情報を用いた処理に従って行われる。そして、ステップＳ４４において、この立体物検出部３３，３７により検出領域Ａ１，Ａ２に立体物が検出され、立体物制御部３４により他車両ＶＸであると判断された場合にはステップＳ４５に進み、検出された立体物が他車両ＶＸであると判断する。他方、立体物検出部３３，３７により検出領域Ａ１，Ａ２に立体物が検出されない、立体物検出部３４により他車両ＶＸではないと判断された場合にはステップＳ４６に進み、検出領域Ａ１，Ａ２に他車両ＶＸは存在しないと判断する。また、ステップＳ４２にて降雨状態であることが検出され、自車両Ｖが追越し時である場合には、ステップＳ４７へ進んで立体物の検出処理を中止する、又はステップＳ４６に進んで検出領域Ａ１，Ａ２に他車両ＶＸは存在しないと判断してもよい。

本実施形態の立体物判断部３４は、移動速度が設定範囲に属する立体物が所定時間以内に所定回数以上検出された場合には、立体物が他車両であると判断する。移動速度が所定の設定範囲に属する立体物が所定時間内に数回しか検出されない場合には、何かしらの像を誤検出したと考えられる。この情報に基づいてその立体物を他車両ＶＸとして検出すると、検出精度が低下する可能性がある。このため、本実施形態の立体物判断部３４は、移動速度が所定範囲に属する立体物が、所定時間以内に所定回数以上検出された場合に限ってその立体物を他車両ＶＸとして判断する。

制御部３９は、このような立体物判断部３４の処理に関し、降雨状態検出部４１により降雨状態であることが検出された場合には、立体物を判断する際の閾値である「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」を高い値に変更する。これにより、立体物が他車両ＶＸであると判断されることを抑制する。

この制御部３９が行う処理の制御手順を図２１Ｃに示す。図２１Ｃに示す処理は、基本的に図２１Ａに示す処理と共通する。ステップＳ４１、４２において降雨状態であることが検出され、ステップＳ５１において移動速度が負の値である場合には、ステップＳ５３に進む。ステップＳ５３において、制御部３９は、立体物を判断する際の閾値である「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」を高い値に変更する。この場合において、制御部３９は、「降雨量」が多いほど、「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」を高い値に変更することができる。図２１Ｄに「降雨量」と「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」との関係の一例を示す。図２１Ｄに示すように、降雨量が多いほど所定回数が高くなる。ステップＳ４３〜ステップＳ４７の処理は図２１Ａに示す制御手順と共通する。

これにより、相対速度が誤検出されやすい降雨時においては、立体物が他車両ＶＸであるか否かを判断するための「所定範囲の移動速度」を狭めることに加えて、所定範囲内の移動速度の立体物が検出される頻度を判断するための「所定回数」を高い値に変更することにより、立体物が他車両ＶＸであるか否かの判断の精度を向上させることができる。もちろん、「移動速度の設定範囲」を狭める処理のみ、又は「所定回数」を高い値に変更する処理のみを独立して行うことができる。

また、制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、第１閾値αを立体物が検出され難いように高く変更する制御命令を生成し、立体物検出部３３に出力する。制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低くする制御命令を生成し、当該制御命令を立体物検出部３３に出力する。このように、第１閾値αを高くし、又は度数分布化された値を低く出力することにより、立体物が検出されることが抑制され、結果として他車両ＶＸの誤検出を防止することができる。

この場合において、本実施形態の制御部３９は、差分波形情報に係る度数分布化された値を低く出力する。これにより、立体物が検出されることが抑制され、結果として他車両ＶＸの誤検出を防止することができる。

本実施形態の制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、閾値θを立体物が検出され難いように高く変更する制御命令を生成し、立体物検出部３７に出力する。また、制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、検出したエッジ長さを含むエッジ情報の量を低く出力する。このように、閾値θを高くし、又は度数分布化された値を低く出力することにより、立体物が検出されることが抑制され、結果として他車両ＶＸの誤検出を防止することができる。

この場合において、本実施形態の制御部３９は、評価エッジ長さ、評価反転数に対応する画素を含む所定領域に対応する部分のエッジ情報に係るエッジ長さを低く出力する。これにより、立体物が検出されることが抑制され、結果として他車両ＶＸの誤検出を防止することができる。

なお、制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、差分波形情報から立体物を判断する際に用いる第１閾値αに加えて、差分波形情報を生成する際の画素値の差分に関する閾値ｐを高く変更してもよい。制御部３９は、エッジ情報を生成する際のエッジ長さを判定する閾値θに加えて、エッジ情報から立体物を判断する際に用いる第２閾値βを高く変更してもよい。ちなみに、第１閾値αは、図１１のステップＳ７において、差分波形ＤＷｔのピークを判断するためのである。閾値θは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値（エッジの長さ）を判断する閾値であり、第２閾値βは、図１８のステップ３４におけるエッジ線の量（本数）を評価する閾値である。このように、判断の閾値を高く変更することにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度が調整されるため、他車両ＶＸの誤検出を防止することができる。

本実施形態の制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部３３に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図１１のステップＳ５において生成される差分波形ＤＷｔの縦軸の値である。

また、本実施形態の制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、検出したエッジ情報を低く出力する制御命令を立体物検出部３７に出力する。検出したエッジ情報とは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値であるエッジ線の長さのほか、図１８のステップ３４におけるエッジ線の量である。制御部３９は、降雨状態検出部４１が降雨状態であることを検出した場合には、立体物が検出されにくいように、各注目点Ｐａの属性の連続性ｃの総和を正規化した値又はエッジ線の量を低く変更する。このように、出力値を低くすることにより、他車両ＶＸが検出されにくいように検出感度を調整できるため、他車両ＶＸの誤検出を防止することができる。

この制御部３９が行う処理の制御手順を図２２に示す。図２２に示す処理は、基本的に図２１Ａに示す処理と共通する。ステップＳ４１、４２において降雨状態であることが検出され、ステップＳ５１において移動速度が負の値である場合には、ステップＳ５４に進む。ステップＳ５４において、制御部３９は、立体物を判断する際の閾値である第１閾値α、閾値θ、第２閾値β、のいずれか一つ以上を高い値に変更するか又は各出力値を低く出力する。ステップＳ４３〜ステップＳ４７の処理は図２１Ａに示す制御手順と共通する。

これにより、降雨時における立体物の検出を抑制し、結果として他車両ＶＸの誤検出を防止することができる。

また、本実施形態の制御部３９は、降雨状態検出部４１により降雨状態であることが検出された場合には、検出領域Ａ１，Ａ２のうち車両後方側の一部領域において、立体物が他車両ＶＸであると判断されることを抑制する。この場合において、制御部３９は、検出領域Ａ１，Ａ２のうち車両後方側の一部領域に対応する画像（撮像画像又は鳥瞰視画像）の処理において、この画像から立体物を判断する際の閾値となる「移動速度の設定範囲」を狭くし、移動速度の設定範囲に属する立体物が所定時間以内に検出される回数の閾値である「所定回数」を高い値に変更する。

立体物検出部３３、３７により立体物が検出されること又は立体物判断部３７により立体物が他車両であると判断されることを抑制するために、制御部３９は各処理に用いられる各閾値を高く（検出がされ難くなるように）変更し、各閾値と比較される出力値を低く（検出がされ難くなるように）変更する。

立体物検出部３３、３７により立体物が検出されること又は立体物判断部３７により立体物が他車両であると判断されることを抑制するために、制御部３９は各処理に用いられる各閾値を初期値、標準値その他の設定値よりも高く（検出がされ難くなるように）変更し、又は各閾値と比較される出力値を低く（検出がされ難くなるように）変更する。なお、制御部３９が促進処理を行う場合には、促進処理は抑制処理と判断の制御となる。

具体的な処理の内容は、以下のとおりである。

差分波形情報を用いて立体物を検出する立体物検出部３３が、差分波形情報が所定の第１閾値α以上であるときに立体物を検出する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物が検出され難いように第１閾値αを高く変更する制御命令を生成し、この制御命令を立体物検出部３３に出力する。

同じく、立体物検出部３３が、差分波形情報が所定の第１閾値α以上であるときに立体物を検出する場合において、制御部３９は、降雨状態であることが検出された場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く変更して出力させる制御命令を生成し、この制御命令を立体物検出部３８に出力する。

また、差分波形情報を用いて立体物を検出する立体物検出部３３が閾値ｐ以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物が検出され難いように閾値ｐを高く変更する制御命令を生成し、この制御命令を立体物検出手部３８に出力する。

同じく、立体物検出部３３が閾値ｐ以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部３９は、降雨状態であることが検出された場合には、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において抽出される画素数を低く変更して出力する制御命令を生成し、この制御命令を立体物検出部３８に出力する。

エッジ情報を用いて立体物を検出する立体物検出部３７が所定閾値ｔ以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物が検出され難いように所定閾値ｔを高く変更する制御命令を生成し、この制御命令を立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する立体物検出部３７が所定閾値ｔ以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部３９は、降雨状態であることが検出された場合には、画素の輝度値を低く変更して出力する制御命令を生成し、この制御命令を立体物検出部３７に出力する。

エッジ情報を用いて立体物を検出する立体物検出部３７がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物が検出され難いように閾値θを高く変更する制御命令を生成し、この制御命令を立体物検出部３７に出力する。

同じく、エッジ情報を用いて立体物を検出する立体物検出部３７がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部３９は、降雨状態であることが検出された場合には、検出したエッジ情報のエッジ線の長さの値を低く変更して出力させる制御命令を生成し、この制御命令を立体物検出部３７に出力する。

エッジ情報を用いて立体物を検出する立体物検出部３７がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第２閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物が検出され難いように第２閾値βを高く変更する制御命令を生成し、この制御命令を立体物検出部３７に出力する。

エッジ情報を用いて立体物を検出する立体物検出部３７がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第２閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部３９は、降雨状態であることが検出された場合には、検出した所定長さ以上のエッジ線の本数を低く出力する制御命令を生成し、この制御命令を立体物検出部３７に出力する。

また、立体物判断部３４は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物が検出され難いように立体物を他車両であると判断する際の下限となる所定速度を高く変更する制御命令を生成し、この制御命令を立体物判断部３４に出力する。

同じく、立体物判断部３４は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物を他車両であると判断する際の下限となる所定速度と比較される立体物の移動速度を低く変更して出力する制御命令を生成し、当該制御命令を立体物判断部３４に出力する。

また、立体物判断部３４が、検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物を他車両であると判断する際の上限となる所定速度を低く変更する制御命令を生成し、この制御命令を立体物判断部３４に出力する。

同じく、立体物判断部３４検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部３９は、降雨状態であることが検出された場合には、立体物を他車両であると判断する際の上限となる所定速度と比較される立体物の移動速度を高く変更する制御命令を生成し、この制御命令を立体物判断部３４に出力する。

なお、ここで「移動速度」は、立体物の絶対速度、および自車両に対する立体物の相対速度を含む。立体物の絶対速度は立体物の相対速度から算出してもよいし、立体物の相対速度は立体物の絶対速度から算出してもよい。

ちなみに、第１閾値αは、図１１のステップＳ７において、差分波形ＤＷｔのピークを判断するための閾値である。閾値pは所定の画素値を有する画素を抽出するための閾値である。所定閾値tは所定の輝度差を有する画素又はエッジ成分を抽出するための閾値である。閾値θは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値（エッジの長さ）を判断する閾値であり、第２閾値βは、図１８のステップ３４におけるエッジ線の量（本数）を評価する閾値である。このように、判断の閾値を高く変更することにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度が調整されるため、他車両ＶＸの誤検出することを防止することができる。

本実施形態の制御部３９は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部３３に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図１１のステップＳ５において生成される差分波形ＤＷｔの縦軸の値である。また、本実施形態の制御部３９は、検出したエッジ情報を低く出力する制御命令を立体物検出部３７に出力する。検出したエッジ情報とは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値であるエッジ線の長さのほか、図１８のステップ３４におけるエッジ線の量である。制御部３９は、次回の処理においては立体物が検出されにくいように、各注目点Ｐａの属性の連続性ｃの総和を正規化した値又はエッジ線の量を低く変更する。このように、出力値を低くすることにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、隣の車線を走行する他車両ＶＸの誤検出を防止することができる。

また、制御部３９は、降雨状態検出部４１により降雨状態であることが検出された場合には、検出領域Ａ１，Ａ２のうち車両後方側の一部領域をマスクする。これにより、立体物が他車両ＶＸであると判断されることを抑制する。制御部３９は、車両後方側の検出領域Ａ１，Ａ２の一部分の位置情報（画像座標情報）を指定し、そのマスクした領域における立体物の検出処理又は立体物が他車両ＶＸであるか否かの判断を行わない制御指令、マスクした領域において立体物は非検出である又はマスクした領域における立体物は他車両ＶＸではない旨の結果を出力させる制御指令を生成して立体物検出部３３（又は立体物検出部３７）又は立体物判断部３４へ送出する。このマスクした領域において立体物は非検出である又はマスクした領域における立体物は他車両ＶＸではない旨の結果を出力させる制御指令は、マスク領域の画像データを指定する指令と、上述したように各閾値または各出力値を変更する指令を含む。

この制御部３９が行う処理の制御手順を図２３に示す。図２３に示す処理は、基本的に図２１Ａに示す処理と共通する。ステップＳ４１、４２において降雨状態であることが検出され、ステップＳ５１において移動速度が負の値である場合には、ステップＳ５４に進む。ステップＳ５５において、制御部３９は、車両後方の一部領域の画像を処理する際の閾値となる「移動速度の設定範囲」を狭くし、「所定回数」を高くし、又は「第１閾値α、閾値θ、又は第２閾値β」などの閾値の少なくとも一つ以上を高くする。このステップＳ５５において、制御部３９は、車両後方側の一部領域をマスクしてもよい。図２４に示すように、破線で示す検出領域Ａ１，Ａ２のうち、車両の進行方向（図中−ｙ方向）の反対側（図中＋ｙ方向）の領域Ａ１２，Ａ２２をマスクする。つまり、車両の後方方向（図中＋ｙ方向）に沿う長さＬ１の検出領域Ａ１１，Ａ１２を、長さＬ２に短くする。

降雨時において検出領域Ａ１，Ａ２のうち車両後方側の一部領域における立体物の移動速度の精度は低くなる傾向がある。本実施形態では、降雨時においては、車両後方側の一部領域に対応する画像から立体物及び／又は他車両ＶＸが検出されることを抑制することにより、他車両ＶＸの検出精度を維持することができる。

また、制御部３９は、異物検出部３８の検出結果に基づいて、上述した各閾値を調節し、他車両ＶＸの検出をさらに抑制する。上述した処理では、自車両Ｖに装備した雨滴センサ５０等が雨滴を検出した場合に、他車両ＶＸが誤検出をする可能性が高いと推測して、他車両ＶＸの検出を抑制する。本実施形態では、異物検出部３８が実際にレンズ１１に付着した異物を検出した場合には、上述した各閾値を調節し、他車両ＶＸの検出をさらに抑制する。

以下、異物検出部３８について説明する。
異物検出部３８は、差分波形情報又はエッジ情報に基づいて、各検出領域Ａ１，Ａ２の像を受像するカメラ１０のレンズ１１に異物が付着しているか否かを検出する。制御部３９は、異物検出部３８によりレンズに付着した異物が検出された場合には、検出された立体物が他車両ＶＸであると判断されることを、さらに抑制する。具体的に、制御部３９は、検出された異物に対応する像が検出領域Ａ１，Ａ２に存在する他車両ＶＸであると判断されることが抑制されるように計算機３０を構成する各部（制御部３９を含む）を制御する制御命令を出力する。制御部３９は、立体物検出部３３（又は立体物検出部３７）による立体物が存在するという検出結果、又は立体物判断部３４による立体物が最終的に他車両ＶＸであるという判断結果が出ることを抑制するために、検出や判断に用いられる閾値や出力値を調整する、又は検出領域Ａ１，Ａ２のマスク領域を拡大する。また、制御部３９は、立体物の検出処理又は立体物が他車両ＶＸであるか否かの判断を中止させる制御指令、立体物は非検出である又は立体物は他車両ＶＸではない旨の結果を出力させる制御指令を生成して立体物検出部３３（又は立体物検出部３７）又は立体物判断部３４へ送出する。

本実施形態の立体物検出部３３（又は立体物検出部３７）は、制御部３９の制御命令に従い、閾値又は出力値を調整し、厳しい基準の下で立体物の検出を行い、立体物は非検出である旨の検出結果を出力する処理を実行し、又は立体物検出処理自体を中止する。同様に、立体物判断部３８は、制御部３９の制御命令に従い、閾値又は出力値を調整し、厳しい基準の下で検出された立体物が他車両ＶＸであるか否かの判断を行い、立体物は他車両ＶＸではない旨の判断を出力し、又は立体物判断処理自体を中止する。

以下、異物検出部３８の検出処理について説明する。異物検出部３８はカメラ１０により撮像された自車両Ｖの後方を撮像する画像情報を取得する。先述した図２０は、取得した画像情報Ｋの一例でもある。図２０に示すような異物が付着したレンズ１１を介して撮像された画像情報を用いて画像変換処理を行うと、図２５に示すように異物の像ＣＬに応じた像ＣＬ２が検出領域Ａ１１内に現れる。このような鳥瞰視画像に基づいて上述した手法で差分波形情報又はエッジ情報を算出し、立体物検出処理を行うと像ＣＬ２を他車両ＶＸの像と誤認識する場合がある。

具体的に、図２６に示すように、レンズ１１に異物が付着していない場合に検出領域Ａ１に他車両ＶＸが存在する場合には鳥瞰視画像を視点変換した際に立体物が倒れ込む方向ＥＬ１〜ＥＬ４に沿って、他車両ＶＸの特徴、例えばタイヤとホイールとの境界に応じた差分波形情報（度数）が所定閾値以上の画素又は輝度差が所定値以上のエッジ量が各閾値ｓｂ以上の量で分布する。他方、図２７に示すように、レンズ１１に異物ＣＬが付着している場合を実験により評価すると、検出領域Ａ１に他車両ＶＸその他の立体物が何も存在しない場合であっても、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向ＥＬ１〜ＥＬ４に沿って、閾値ｓｂを超える差分波形情報の度数分布、輝度差が所定値以上のエッジ量が検出される傾向がある。このようなレンズ１１に付着した異物ＣＬに起因する像に対応する画素情報は、他車両ＶＸその他の立体物の誤検出を誘起する。

本実施形態の異物検出部３８は、立体物検出部３３により一又は複数の第１のタイミングで生成された差分波形情報から第１極大値を抽出するとともに、この第１極大値に基づく基準値を取得し、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成された差分波形情報から鳥瞰視画像上において第１極大値に位置又は時間が対応する第２極大値を抽出するとともに、この第２極大値に基づいて評価対象値を取得する。そして、異物検出部３８は、これら評価対象値と基準値との差分の経時的変化に基づいて、レンズに異物が付着しているか否かを検出する。

本実施形態の異物検出部３８は、第１のタイミングにおいて生成された差分波形情報に含まれる第１極大値抽出し、この第１極大値を特定するｘ値（位置または時間）とｙ値（カウント値）とを取得し、第１極大値（ｙ値）に基づいて基準値を得る。基準値は第１極大値（ｙ値）以下の値、第１極大値（ｙ値）の所定割合の値と、第１極大値（ｙ値）から所定値を減算した値とすることができる。また、第２タイミングにおいて生成された差分波形情報に含まれる極大値であって、第１極大値のX値（位置または時間）に対応する、またはX値の差が所定値以内の極大値を、第２極大値として抽出する。この第２極大値（ｙ値）に基づいて評価対象値を得る。評価対象値は第２極大値（ｙ値）以下の値、第２極大値（ｙ値）の所定割合の値、第２極大値（ｙ値）から所定値を減算した値とすることができる。この手法は、第１極大値から基準値を導出する手法と共通の手法を用いることができる。

異物検出部３８は、これら評価対象値と基準値との差分を経時的に取得し、各タイミングにおいて取得された差分を経時的な変化を算出する。本実施形態の異物検出部３８は、位置または時間が対応する評価対象値と基準値との経時的な変化量に基づいて、レンズに異物が付着しているか否かを検出する。異物検出部３８は、時間の経過に伴う経時的変化として、評価対象値と基準値とのずれ（ばらつき）の程度を求める。時間が経過しても評価対象値と基準値との変化量が小さければ、第１タイミングにおいて検出された対象物と第２タイミングにおいて検出された対象物とは同じ対象物である、つまり、レンズ１１に付着した対象物（異物）であると判断することができる。

異物検出部３８は、時間の経過に伴う評価対象値と基準値との変化を評価するために、評価対象値と基準値との差分の経時的変化の度合が所定の判断範囲以内であると判断された場合には、評価対象値に対応する画素を含む画像が前記レンズに付着した異物に起因する画像であると判断し、レンズ１１に異物が付着していることを検出する。具体的には、評価対象値と基準値との差分が所定値以内である状態が所定時間継続する場合には、レンズ１１に異物が付着していることを検出し、評価対象値と基準値との差分が所定値を超える、または両者の差分が所定値以内である状態が所定時間継続しない場合には、レンズ１１に異物が付着していないことを検出する。

本実施形態の異物検出部３８は、立体物検出部３３により一又は複数の第１のタイミングで生成された差分波形情報の特徴を抽出する。このため、立体物検出部３３は、生成された差分波形情報に少なくともバンドパスフィルタを用いた信号処理を行う。このバンドパスフィルタは、指定した周波数帯の信号の通過を遮断又は減衰させ、所望の周波数帯の信号の通過を許容する。バンドパスフィルタは、位置方向、例えば自車両Ｖの後方方向に沿うカメラ１０からの離隔方向（図２３の＋ｙ値）、時間方向、又は空間方向に沿って処理を行う。

本実施形態では、バンドパスフィルタとして、高周波成分を遮断又は減衰させるローパスフィルタ（ハイカットフィルタ）を用いる。差分波形情報にローパスフィルタを用いた信号処理を行うことにより、差分波形情報に平滑化・平均化・ぼかしを施すことができる。ローパスフィルタを用いた信号処理を行うと、ノイズと判断することができる小さい極大値を除去し、比較的大きな変化を示す極大値を顕在化させ、取得した画像情報の特徴を抽出することができる。これにより、レンズ１１に付着した異物の存在に起因する差分波形情報又はエッジ情報の極大値を顕在化させ、異物に対応する画像情報の特徴を抽出することができる。

また、異物検出部３８は、遮断又は減衰させる周波数が異なる２種以上のバンドパスフィルタを使用することができる。たとえば、異物検出部３８は、通過周波数が相対的に低い（例えば0.3Hz）ローパスフィルタと、通過周波数が相対的に高い（例えば1Hz）ローパスフィルタの二つを用いて信号処理を行い、位置、時間、空間などの横軸が同じ位置の値を比較して、低い方の値を選択する（セレクトロー処理）を行うことができる。このように、他車両ＶＸなどの立体物の特徴でもある極大値は抽出しつつ、ノイズや光環境により生じる高周波成分を遮断又は減衰させるので、光環境による誤検出を抑制しつつ、検出対象である他車両ＶＸが存在するにもかかわらず検出を抑制することを防止することができる。

本実施形態の異物検出部３８は、上述したバンドパスフィルタを用いる信号処理に加えて、変化率リミッタを用いた信号処理を実行する。変化率リミッタを用いた信号処理を行うことにより、さらに、差分波形情報を平滑化することができ、ノイズと判断することができる小さい極大値を除去し、比較的大きな変化を示す極大値に応じた画像情報の特徴を抽出することができる。これにより、レンズ１１に付着した異物の存在に起因する画像情報の特徴を抽出することができる。

バンドパスフィルタを用いた信号処理を行って得た「基準波形情報の極大値」に基づいて「基準値」を取得する。取得した「基準値」に基づいて異物を判断するための「所定の判断範囲」を定義する。例えば、「基準値」を中央値として、基準値に余裕値を加算した値と、基準値から余裕値を減算した値とに基づいて「所定の判断範囲」を定義する。

本実施形態の異物検出部３８は、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成された差分波形情報の極大値に基づいて「評価対象値」を取得し、鳥瞰視画像上の位置が共通する「評価対象値」と「基準値」との差分が「所定の判断範囲」内であると判断される回数をカウントアップする。このカウントアップは、予め定義した所定の評価時間内において行うことができる。異物検出部３８は、カウントアップされた回数が所定値以上となった場合に、そのカウントアップの結果を導いた評価対象値に対応する画素を含む画像がレンズ１１に付着した異物であると判断する。

上述した異物検出部３８の処理は、エッジ情報に基づいて行うことができる。異物検出部３８は、一又は複数の第１のタイミングで立体物検出部３７により生成されたエッジ線の情報を含むエッジ情報から第１極大値を抽出するとともに、この第１極大値に基づいて基準エッジ長さを取得する。エッジ線の情報には所定閾値以上の輝度差を示し、所定の連続性を有するエッジの長さの情報（画素の数を含む）をふくむ。また、異物検出部３８は、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成されたエッジ情報から鳥瞰視画像上において第１極大値に対応する第２極大値を抽出するとともに、この第２極大値に基づいて評価エッジ長さを取得する。そして、評価エッジ長さと基準エッジ長さとの差分の経時的変化に基づいて、レンズに異物が付着しているか否かを検出する。「経時的変化」の意義は、差分波形情報に基づく処理における「経時的変化」の意義に対応する。

具体的に、異物検出部３８は、第１のタイミングで生成されたエッジ線の情報を含むエッジ情報に少なくともバンドパスフィルタを用いた信号処理を行い、この信号処理後の「基準エッジ情報の極大値」に基づいて「基準エッジ長さ」を取得する。そして、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成されたエッジ情報の極大値に基づいて「評価エッジ長さ」を取得し、鳥瞰視画像上の位置が共通する評価エッジ長さと基準エッジ長さとの差分が「所定の判断範囲」内であると判断される回数に基づいて、評価エッジ長さに対応する画素を含む画像がレンズ１１に付着した異物であると判断する。この判断時間は、予め定義した所定の評価時間内において行うことができる。バンドパスフィルタとしてローパスフィルタを利用できる点及びその作用・効果、異物の検出状態に応じてバンドパスフィルタの遮断・減衰周波数帯を変更できる点及びその作用・効果は、上述の説明と共通するので、その説明を援用する。エッジ情報に基づく異物検出処理における「基準エッジ情報」は上述した「基準差分波形情報」に対応し、同「基準エッジ長さ」は上述の「基準値」に対応し、同「評価エッジ長さ」は上述の「評価対象値」に対応し、同「評価エッジ長さ」を評価するための「所定の判断範囲」は上述の基準波形情報を用いた処理における「評価対象値」を評価するための「所定の判断範囲」に対応する。重複した説明を避けるため、上記対応関係に基づいて、本明細書の説明を適宜に読み替えて援用する。

ところで、本来の検出対象である他車両ＶＸなどは本装置１とは独立に動くので、他車両ＶＸの特徴に応じた差分波形情報又はエッジ情報の極大値の値（大きさ）や位置（検出領域Ａ１，Ａ２における位置）は刻々に変化する。しかし、レンズ１１に付着した異物は本装置１とともに動くので、他車両ＶＸが検出領域Ａ１，Ａ２に存在する場合に比べて、異物の特徴に応じた差分波形情報・エッジ情報の極大値の値（大きさ）や位置（検出領域Ａ１，Ａ２における位置）の経時的な変化は小さい傾向がある。

このようなレンズ１１に付着した異物ＣＬの像の特徴を考慮すれば、第１のタイミングで生成された差分波形情報・エッジ情報の極大値と同じ位置（検出領域Ａ１，Ａ２における同じ位置）に、「基準値」／「基準エッジ長さ」との差が判断範囲以内に収まる「評価対象値」／「評価エッジ長さ」が所定回数以上検出された場合、又は所定の評価時間内において所定頻度以上検出された場合には、その第２のタイミングにおける差分波形情報・エッジ情報の極大値は移動する立体物の特徴に対応する極大値ではないと判断することができる。言い換えると、第２のタイミングにおける差分波形情報・エッジ情報の極大値は、立体物のように明確な輪郭(エッジ)を持つものではなく、本装置１とともに移動するレンズ１１に付着した異物であると判断することができる。したがって、上記、異物として検出された情報（差分波形情報、エッジ情報）は、自車両Ｖの隣接車線を走行する他車両ＶＸの像を示す情報（差分波形情報、エッジ情報）ではないと判断することができる。

本実施形態の立体物検出装置１は、レンズ１１を介して実際に撮像した画像情報から、そのレンズ１１に付着した異物特有の特徴を抽出し、抽出した特徴に基づいてそのレンズ１１に付着した異物の存在を判断するので、レンズ１１の状態を正確に判断することができる。この結果、レンズ１１上に付着した異物を誤って他車両ＶＸと検出することを抑制できるので、他車両ＶＸを正確に検出することができる。

さらに、本実施形態では、差分波形情報を用いてレンズ１１に付着した異物を検出する際に、差分画像上において所定の差分を示す画素数をカウントして度数分布化した値の極大値を用いるが、これに代えて、この極大値を構成する画素において、隣接する画素の画素値の差が所定値未満の複数の画素群を抽出するとともに、これら画素群の間の反転ポイントの数の極大値を異物の検出に用いることができる。隣接する画素の画素値が所定値未満の画素群は、検出対象の特徴点（差分・エッジ等）に応じた明（又は暗）の部分であり、これら画素群の間は明から暗（又は暗から明）に反転する暗（又は明）の部分である。画素値が所定値以上異なる画素群の反転数は検出対象の特徴点に応じるものであるから、同所定差分を示す画素数のカウント結果を用いる場合と同様の精度で、同様の処理を行うことができる。

具体的に、差分画像情報に基づいて異物を検出する場合において、立体物検出３３は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素のうち、隣接する画素の画素値の差が所定値未満の複数の画素群を抽出する。画素値が共通する複数の画素をグループ化すると、グループ化された画素群同士の間には所定値未満の画素が存在する。つまり、グループ化された一の画素群と他の画素群との間には画素値の低い画素が存在し、ここで明暗が反転する。各画素群の間を反転ポイントとし、この数をカウントして度数分布化することで「反転波形情報」を生成する。この「反転波形情報」は、本実施形態の異物検出処理における上述した「差分波形情報」に対応する。

本実施形態の異物検出部３８は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、この位置合わせされた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素のうち、隣接する画素の画素値の差が所定値未満の複数の画素群を抽出し、画素群の間の反転ポイントをカウントして度数分布化することで生成された反転波形情報を立体物検出部３３から取得する。この反転波形情報は立体物検出部３３から取得した情報に基づいて異物検出部３８が生成してもよい。

異物検出部３８は、一又は複数の第１のタイミングで生成された反転波形情報から第１極大値を抽出するとともに、この第１極大値に基づいて基準反転数を取得し、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成された反転波形情報から鳥瞰視画像上において第１極大値に対応する第２極大値を抽出する。そして、この第２極大値に基づいて評価反転数を取得し、この評価反転数と基準反転数との差分の経時的変化に基づいて、レンズ１１に異物が付着しているか否かを検出する。

異物検出部３８は、第１のタイミングにおいて生成された反転波形情報に含まれる第１極大値抽出し、この第１極大値を特定するｘ値（位置または時間）とｙ値（反転回数値）とを取得し、第１極大値（ｙ値）に基づいて基準値を得る。基準反転数は第１極大値（ｙ値）以下の値、第１極大値（ｙ値）の所定割合の値と、第１極大値（ｙ値）から所定値を減算した値とすることができる。また、第２タイミングにおいて生成された反転波形情報に含まれる極大値であって、第１極大値のX値（位置または時間）に対応する、またはX値の差が所定値以内の極大値を、第２極大値として抽出する。この第２極大値（ｙ値）に基づいて評価反転数を得る。評価反転数は第２極大値（ｙ値）以下の値、第２極大値（ｙ値）の所定割合の値、第２極大値（ｙ値）から所定値を減算した値とすることができる。この手法は、第１極大値から基準反転数を導出する手法と共通の手法を用いることができる。

異物検出部３８は、これら評価反転数と基準反転数との差分を経時的に取得し、各タイミングにおいて取得された差分を経時的な変化を算出する。本実施形態の異物検出部３８は、位置または時間が対応する評価反転数と基準反転吸うとの経時的な変化量に基づいて、レンズに異物が付着しているか否かを検出する。異物検出部３８は、時間の経過に伴う経時的変化として、評価反転数と基準反転数とのずれ（ばらつき）の程度を求める。時間が経過しても評価反転数と基準反転数との変化量が小さければ、第１タイミングにおいて検出された対象物と第２タイミングにおいて検出された対象物とは同じ対象物である、つまり、レンズ１１に付着した対象物（異物）であると判断することができる。

異物検出部３８は、時間の経過に伴う評価反転数と基準反転数との変化を評価するために、評価反転数と基準反転数との差分の経時的変化の度合が所定の判断範囲以内であると判断された場合には、評価反転数に対応する画素を含む画像が前記レンズに付着した異物に起因する画像であると判断し、レンズ１１に異物が付着していることを検出する。具体的には、評価反転数と基準反転数との差分が所定値以内である状態が所定時間継続する場合には、レンズ１１に異物が付着していることを検出し、評価反転数と基準反転数との差分が所定値を超える、または両者の差分が所定値以内である状態が所定時間継続しない場合には、レンズ１１に異物が付着していないことを検出する。

具体的に、異物検出部３８は、立体物検出部３３から取得した第１のタイミングにおける「反転波形情報」に少なくともバンドパスフィルタを用いた信号処理を行い、この信号処理後の「基準反転波形情報」の極大値に基づいて「基準反転数」を取得する。そして、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成された「反転波形情報の極大値」に基づいて「評価反転数」を取得する。そして、鳥瞰視画像上の位置が共通する「評価反転数」と「基準反転数」との差分が「所定の判断範囲」内であると判断される回数に基づいて、第２のタイミングおいて生成された「評価反転数」に対応する画素を含む画像がレンズ１１に付着した異物であると判断する。反転波形情報を用いてレンズ１１に付着した異物を検出する処理は、上述した差分波形情報を用いてレンズ１１に付着した異物を検出する処理と同様の作用・効果を奏し、同様の変形態様を適用することができる。本処理例における「反転波形情報」は上述した「差分波形情報」に対応し、同「基準反転数」は上述した「基準値」に対応し、同「評価反転数」は上述した「評価対象値」に、同「所定の判断範囲」は上述の基準波形情報を用いた処理における「所定の判断範囲」に対応する。重複した説明を避けるため、上記対応関係に基づいて、本明細書の説明を適宜に読み替えて援用する。

ちなみに、エッジ情報を用いても上述した処理と同様の処理を行うことができる。
この場合は、立体物検出部３３は、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って互いに隣接する画像領域の輝度差が所定値ｔ以上である画素であって連続性を有するエッジ成分にうち、隣接する画素の輝度差が所定値未満の複数の画素群を抽出する。画素値が共通する複数の画素をグループ化すると、グループ化された画素群同士の間には輝度差が所定値未満の画素が存在する。つまり、グループ化された一の画素群と他の画素群との間には輝度の低い画素が存在し、ここで明暗が反転する。各画素群の間を反転ポイントとし、この数をカウントして度数分布化することで「反転エッジ情報」を生成する。この「反転エッジ情報」は、本実施形態の異物検出処理における上述した「反転波形情報」に対応する。

そして、異物検出部３８は、立体物検出部３３により生成された第１のタイミングにおける「反転エッジ情報」に少なくともバンドパスフィルタを用いた信号処理を行い、この信号処理後の「基準反転エッジ情報」の極大値に基づいて「基準反転数」を取得する。そして、第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成された「反転エッジ情報の極大値」に基づいて「評価反転数」を取得し、鳥瞰視画像上の位置が共通する「評価反転数」と「基準反転数」との差分が「所定の判断範囲」内であると判断される判断回数に基づいて、第２のタイミングおいて生成された「評価反転数」に対応する画素を含む画像がレンズ１１に付着した異物に起因する画像であると判断する。反転エッジ情報を用いてレンズ１１に付着した異物を検出する処理は、上述した反転波形情報を用いてレンズ１１に付着した異物を検出する処理と同様の作用・効果を奏し、同様の変形態様を適用することができる。本処理例における「エッジ情報から得た「反転エッジ情報」は上述した「差分波形情報から得た「反転波形情報」に対応し、同じく「基準反転エッジ情報」における「基準反転数」は、上述した「基準反転波形情報」における「基準反転数」に対応し、同「反転エッジ情報」における「評価反転数」は上述した「反転波形情報」における「評価反転数」に対応し、同「反転エッジ情報」における「評価反転数」を評価するための「所定の判断範囲」「所定の判断範囲」に対応する。重複した説明を避けるため、上記対応関係に基づいて、本明細書の説明を適宜に読み替えて援用する。

また、異物検出部３８は、「評価対象値」が、他車両ＶＸを判断するために設定された閾値αの所定割合以上の値であると判断された回数に基づいて、第２のタイミングにおいて生成された差分波形情報の評価対象値に対応する画素を含む画像はレンズ１１に付着した異物であると判断する。「評価対象値」が判断範囲以内に含まれると判断できる場合であっても、極端に低い画素値に対応する物体が異物である可能性は低い。また、他車両ＶＸを判断するために設定された第１閾値αの所定割合以上の「評価対象値」が検出された場合には、異物が他車両ＶＸであると誤検出される可能性が生じる。このため、本実施形態では「評価対象値」が第１閾値αの所定割合以上の場合には、異物であるとの判断結果が出るように異物検出処理を促進する。これにより、異物が他車両ＶＸであると誤った判断をする確率を低減することができる。

同様に、異物検出部３８は、「評価エッジ長さ」が、他車両ＶＸを判断するために設定された閾値θの所定割合以上の値であると判断された回数に基づいて、第２のタイミングにおいて生成されたエッジ情報の評価エッジ長さに対応する画素を含む画像はレンズ１１に付着した異物であると判断する。「評価エッジ長さ」が判断範囲以内に含まれると判断できる場合であっても、極端に低い評価エッジ長さに対応する物体が異物である可能性は低い。また、他車両ＶＸを判断するために設定された閾値θの所定割合以上の「評価エッジ長さ」が検出された場合には、異物が他車両ＶＸであると誤検出される可能性が生じる。このため、本実施形態では「評価エッジ長さ」が閾値θの所定割合以上の場合には、異物であるとの判断結果が出るように異物検出処理を促進する。これにより、異物が他車両ＶＸであると誤った判断をする確率を低減することができる。

図２８は、エッジ情報を用いた場合の異物検出処理の制御手順を示すフローチャートである。

ステップＳ１４１において、異物検出部３８は、立体物検出部３７が生成した第１のタイミングにおける「エッジ情報」及び／又は「反転エッジ情報」を取得する。ステップＳ１４２において、異物検出部３８は「エッジ情報」・「反転エッジ情報」にローパスフィルタを用いた信号処理をして「基準エッジ情報」・「基準反転エッジ情報」を取得する。図２９Ａに、第１のタイミングにおける「エッジ情報」のモデルと、ローパスフィルタ処理がされた「基準エッジ情報」を示す。「エッジ情報」は、各立体物が倒れこむ方向（ビン）の検出位置（カメラ１０から離隔する方向に沿う検出領域Ｒ１，Ｒ２における位置）ごとの、各立体物の倒れこみ方向に沿うエッジ成分の量としてのエッジ長さである。同図に示す「エッジ情報」の極大値の検出位置と「基準エッジ情報」の極大値の検出位置は共通する。そして、ステップＳ４３において、異物検出部３８は「基準エッジ情報」の極大値を「基準エッジ長さ」として取得する。「基準エッジ長さ」は、極大値に所定係数を乗じたもの、極大値から所定値を減算したものであってもよい。

同ステップにおいて、異物検出部３８は、「基準エッジ長さ」を中央値とする「判断範囲」を定義する。「判断範囲」の一例を図２９Ｂに示す。同様に、異物検出部３８は「基準反転エッジ情報」の極大値を「基準反転数」として取得し、この「基準反転数」を中央値とする「判断範囲」を定義する。図３０Ａに、第１のタイミングにおける「反転エッジ情報」のモデルと、ローパスフィルタ処理がされた「基準反転エッジ情報」と、基準反転エッジ情報の極大値に対応する「基準反転数を」を示す。また、図３０Ｂに第２のタイミングにおける「反転エッジ情報」と「判断範囲」とを示す。

並行して、ステップＳ２５１において、異物検出部３８は第１のタイミングの後の第２のタイミングにおけるエッジ情報／反転エッジ情報を取得する。第２のタイミングは、第１のタイミングの後の一又は複数のタイミングである。第２のタイミングは、異物検出を行うために必要とする時間として設定された「評価時間」内に設定することができる。第２のタイミングにおけるエッジ情報／反転エッジ情報を、図３０Ｂに破線で示す。ステップＳ２５２において、異物検出部３８はエッジ情報に含まれるエッジ長さの極大値ａ，ｂを「評価エッジ長さ」として取得する。

ステップＳ１４４に進み、異物検出部３８は、第２のタイミングにおける「評価エッジ長さ」ａ，ｂが判断範囲以内であるか否かを判断する。図３０Ｂに示す例では、右側のピークに対応する「評価エッジ長さ」ａは、所定範囲外であるので、異物である可能性は低く、立体物や他車両ＶＸである可能性が高い。他方、左側のピークに対応する「評価エッジ長さ」ｂは、所定範囲以内であるので、異物である可能性が高いと判断できる。「評価エッジ長さ」ａ，ｂが判断範囲以内であれば、異物である可能性が高いとしてステップＳ１４５に進み、第１スコアＧをカウントアップ(加算)する。他方、判断範囲外であれば、異物である可能性が低いとしてステップＳ１４６に進み、第２スコアＤをカウントダウン（減算）する。

本実施形態において、第１スコアの絶対値は第２スコアの絶対値よりも高く設定する。このように、「評価エッジ長さ」が所定範囲以内であるときに大きい値を加算し、「評価エッジ長さ」が所定範囲外であるときに小さい値を減算することにより、「評価エッジ長さ」が所定範囲以内であると判断された事実に大きな重みづけを行う。本実施形態における他車両ＶＸの検出結果は、太陽、街灯、後続車両のヘッドライトなどの光の影響を受けやすい。検出結果に影響を与える輝度の高い光がレンズ１１に入射して「評価エッジ長さ」が「所定範囲」外であると判断された場合であっても、異物がレンズ１１に付着している可能性は否定できない。このため、「評価エッジ長さ」が「所定範囲」外であると判断されても、他車両ＶＸの検出結果に与える影響を抑制するため、減算する値を相対的に小さい値とする。この結果、レンズ１１に付着した異物の存在を正確に判断することができる。

第１スコアの絶対値Ｇと第２スコアの絶対値Ｄとの関係は特に限定されず、実験等により適宜に設定することができる。一例ではあるが、Ｇ（８〜１２）：Ｄ（１〜３）程度、例えば、Ｇ＝１０に対してＤ＝１と設定することができる。この第１スコアの絶対値Ｇと第２スコアの絶対値Ｄの関係は、時刻、走行場所、天候などの環境に応じて適宜に設定することができる。

続くステップＳ１４７において、ステップＳ１５１において取得した第２のタイミングにおける反転エッジ情報に基づく反転評価数は、判断範囲以内であるか否かを判断する。判断手法は、ステップＳ１４４と共通するので、説明を適宜に援用する。「評価反転数」ａ´，ｂ´が判断範囲以内であれば、異物である可能性が高いとしてステップＳ１４８に進み、第１スコアＧをカウントアップ(加算)する。他方、判断範囲外であれば、異物である可能性が低いとしてステップＳ１４９に進み、第２スコアＤをカウントダウン（減算）する。

続くステップＳ１４８において、異物検出部３８は、ステップＳ１５２において取得した「評価エッジ長さ」が、他車両ＶＸを判断するために設定された閾値θの所定割合以上の値であるか否かを判断し、「評価エッジ長さ」が閾値θの所定割合以上である場合にはステップＳ１５０に進み、第１スコアＧをカウントアップ(加算)する。他方、判断範囲外であれば、ステップＳ１５１に進み、第２スコアＤをカウントダウン（減算）する。

なお、ステップＳ１４５、ステップＳ１４８、ステップＳ１５０の第１スコアＧ、ステップＳ１４６、ステップＳ１４９、ステップＳ１５１の第２スコアＤは同じ値であってもよいし、異なる値であってもよい。本実施形態では、エッジ長さに関するステップＳ１４４の条件及び反転回数に関するステップＳ１４７の条件の２つの条件を満たすステップＳ１４８の第１スコアＧは、ステップＳ１４５の第１スコアＧよりも高く設定する。

ステップＳ１５２において異物検出部３８は、カウント値を集計する。ステップＳ１５３において、集計したカウント値が予め設定された所定値以上である場合にはステップＳ１５４へ進み、レンズ１１に異物が付着していると判断し、他方、集計したカウント値が予め設定された所定値未満である場合にはステップＳ１５５へ進み、レンズ１１に異物が付着していないと判断する。判断結果は、立体物判断部３４及び制御部３９へ送出される。

図３１は、差分波形情報を用いてレンズ１１に異物が付着しているか否かを判断する制御手順を示すフローチャートである。図３１の処理は図２８の処理と共通するので、図２８の制御手順についての説明を適宜に援用し、重複した説明を省略する。

本実施形態の制御部３９は、異物検出部３８により「レンズに付着した異物を検出した」という判断がされた場合には、撮像画像から検出される立体物が他車両ＶＸであると判断されることを抑制するために制御命令を生成する。本実施形態の制御部３９は、異物検出部３８によりレンズ１１に付着した異物が検出されたと判断された場合には、他車両ＶＸであるか否かを判断するための「移動速度の設定範囲」をさらに狭くし、立体物が他車両ＶＸであると判断されることをさらに抑制する。

制御部３９は、降雨が検出された場合には、レンズ１１に実際に異物が付着しているかどうにかかわらず、立体物が他車両ＶＸであることが検出され難いように「移動速度の設定範囲」を狭め、レンズ１１に異物が実際に付着していることが検出された場合には、「移動速度の設定範囲」をさらに狭めるので、状況に応じた適切な検出抑制を実行することができる。この結果、他車両ＶＸの検出精度を向上させることができる。

また、本実施形態の制御部３９は、異物検出部３８によりレンズ１１に付着した異物が検出されたと判断された場合には、立体物を判断する際の閾値である「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」を、さらに高い値に変更し、立体物が他車両ＶＸであると判断されることをさらに抑制する。

制御部３９は、降雨が検出された場合には、レンズ１１に実際に異物が付着しているかどうにかかわらず、立体物が他車両ＶＸであることが検出され難いように「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」を狭め、レンズ１１に異物が実際に付着していることが検出された場合には、「所定回数」をさらに高くするので、状況に応じた適切な検出抑制を実行することができる。この結果、他車両ＶＸの検出精度を向上させることができる。

加えて、本実施形態の制御部３９は、異物検出部３８によりレンズ１１に付着した異物が検出されたと判断された場合には、立体物の検出処理に用いられる各閾値を調節し、立体物が他車両ＶＸであると判断されることをさらに抑制する。各閾値は、差分波形情報から立体物を判断する際に用いる第１閾値α、エッジ情報を生成する際の閾値θ、エッジ情報から立体物を判断する際に用いる第２閾値βを含む。

制御部３９は、レンズ１１に異物が付着している場合には、レンズ１１に異物が付着していない場合に比べて、立体物が他車両ＶＸであると判断されることをさらに抑制するように閾値を調整する。具体的に、図３２Ａに示すように、「降雨量」が多くなるほど「移動速度の設定範囲」の下限値を高くなるように設定された関係を、閾値がさらに高くなるようにシフトする。同様に、図３２Ｂに示すように、「降雨量」が多くなるほど「移動速度が所定範囲に属する立体物が所定時間以内に検出される所定回数」が高くなるように設定された関係を、閾値がさらに高くなるようにシフトする。

以下、図３３のフローチャートに基づいて、本実施形態の立体物検出装置１の動作を説明する。図３３に示す制御手順は、図２１Ａに示す制御手順と基本的に共通する。ステップＳ４１，Ｓ４２において、降雨状態検出部４１が降雨状態であることを検出したら、ステップＳ５１に進み、移動速度が負の値であるか否かを判断する。そして、ステップＳ６１において、異物検出部３８は、立体物検出部３７により生成された左右の検出領域Ａ１，Ａ２の差分波形情報又は立体物検出部３７により生成された左右の検出領域Ａ１，Ａ２のエッジ情報に基づいて「レンズ１１に異物が付着しているか否か」を検出する。

異物検出手段３９により「レンズ１１に異物が付着している」と判断された場合には、ステップＳ６２に進む。ステップＳ６２において、制御部３９は、撮像画像から検出される立体物が他車両ＶＸであると判断されることを抑制するための、上述した制御命令を生成する。具体的に、制御部３９は、図２１ＡのステップＳ５２の「移動速度の設定範囲」をさらに狭くする、図２１ＣのステップＳ５３の「所定回数」をさらに高い値にする、図２２のステップＳ５４の各閾値を高く設定する又は出力値を低くする、図２３のステップＳ５５のマスク領域を拡大するための制御命令を生成する。その後ステップＳ４３以降の処理を行う。ステップＳ４３以降の処理は、図２１Ａ等の処理と共通するので、説明を援用し、説明を省略する。

以上のように構成され作用する本発明の本実施形態の立体物検出装置１は、以下の効果を奏する。
（１）本実施形態の立体物検出装置１によれば、降雨状態が検出された場合において、レンズ１１に付着した雨滴の存在や路面に形成された水膜の反射により誤って算出されやすい立体物の相対速度に基づいて、他車両ＶＸでない立体物を他車両ＶＸであると誤判断することを防ぐことができる。この結果、レンズ１１に付着した異物を誤って他車両ＶＸと検出することや、レンズ１１に付着した水滴により歪んだ、車両ではない立体物の像を誤って他車両ＶＸと検出することを抑制することができるので、他車両ＶＸを正確に検出することができる。また、本実施形態の立体物検出装置１は、立体物の相対速度で検出精度を担保するので、降雨を理由に検出処理を中断することがないので、不検出の時間を生じさせることがないため、検出精度を高く維持することができる。この作用及び効果は、差分画像情報を用いて他車両ＶＸを検出する場合であっても、エッジ情報を用いて他車両ＶＸを検出する場合であっても同様に奏する。

（２）本実施形態の立体物検出装置１によれば、降雨時において、相対速度が誤検出されやすい状況に限って、他車両ＶＸの検出処理を抑制するので、本来の他車両ＶＸの検出の動作精度を確保しつつ、誤検出を抑制することができる。また、立体物が後方に移動する状況は、自車両Ｖが他車両ＶＸを追い抜くときなどに生じる状況であり、自車両Ｖの運転者が状況を把握しやすい場面である。他車両ＶＸの検出抑制処理を立体物の移動速度が負の値である場合に限定して行うことにより、他車両ＶＸの検出動作を抑制することによる不都合の発生を抑制することができる。

（３）本実施形態の立体物検出装置１によれば、降雨状態検出部４１が検出した降雨量が多くなるにつれて、「移動速度の設定範囲」をより狭く設定し、立体物が他車両ＶＸであると判断されることを抑制する。降雨量が多いほど立体物の移動速度の精度が低下する傾向があるので、降雨量が多いほど他車両ＶＸの検出が抑制されるように「移動速度の設定範囲」を狭く設定することにより、他車両ＶＸの検出精度を向上させることができる。

（４）本実施形態の立体物検出装置１によれば、相対速度が誤検出されやすい降雨時においては、立体物が他車両ＶＸであるか否かを判断するための「所定範囲の移動速度」を狭めることに加えて、所定範囲内の移動速度の立体物が検出される頻度を判断するための「所定回数」を高い値に変更することにより、立体物が他車両ＶＸであるか否かの判断の精度を向上させることができる。

（５）本実施形態の立体物検出装置１によれば、降雨時において検出領域Ａ１，Ａ２のうち車両後方側の一部領域における立体物の移動速度の精度は低くなる傾向がある。本実施形態では、降雨時においては、車両後方側の一部領域に対応する画像から立体物及び／又は他車両ＶＸが検出されることを抑制することにより、他車両ＶＸの検出精度を維持することができる。

（６）本実施形態の立体物検出装置１によれば、降雨状態が検出された場合に、第１閾値αを高く変更することにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、降雨時においても他車両ＶＸ以外の物体の像を、隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（７）本実施形態の立体物検出装置１によれば、降雨状態であることが検出された場合に、差分波形情報を生成する際の出力値を低くすることにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、降雨時においても他車両ＶＸ以外の物体の像を、他車両ＶＸとして誤検出することを防止することができる。

（８）本実施形態の立体物検出装置１によれば、降雨状態であることが検出された場合に、エッジ情報を生成する際の判断の閾値を高く変更することにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、降雨時においても他車両ＶＸ以外の物体の像を、隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（９）本実施形態の立体物検出装置１によれば、降雨状態であることが検出された場合に、エッジ情報を生成する際の出力値を低くすることにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、降雨時においても他車両ＶＸ以外の物体の像を隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（１０）本実施形態の立体物検出装置１によれば、降雨が検出された場合には、レンズ１１に実際に異物が付着しているかどうにかかわらず、立体物が他車両ＶＸであることが検出され難いように「移動速度の設定範囲」又は「所定範囲の移動速度」を狭めることに加えて、レンズ１１に異物が実際に付着していることが検出された場合には、「移動速度の設定範囲」を狭め又は「所定回数」をさらに高くするので、状況に応じた適切な検出抑制を実行することができる。この結果、他車両ＶＸの検出精度を向上させることができる。

なお、本実施形態の立体物検出装置１は、差分波形情報に基づく処理により他車両ＶＸを検出する場合であっても、エッジ情報に基づく処理により他車両ＶＸを検出する場合であっても同様の作用及び効果を奏する。

上記カメラ１０は本発明に係る撮像手段に相当し、レンズ１１は本発明に係るレンズに相当し、上記視点変換部３１は本発明に係る画像変換手段に相当し、上記位置合わせ部３２及び立体物検出部３３は本発明に係る立体物検出手段に相当し、上記輝度差算出部３５，エッジ線検出部３６及び立体物検出部３７は本発明に係る立体物検出手段に相当し、上記立体物判断部３４は立体物判断手段に相当し、上記異物検出部３８は異物検出手段に相当し、降雨状態検出部４１は降雨状態検出手段に相当し、上記制御部３９は制御手段に相当する。

なお、本明細書では、差分波形情報に基づいて立体物を検出する際には、差分波形情報に基づいてレンズ１１に付着した異物を検出する例と、エッジ情報に基づいて立体物を検出する際には、エッジ情報に基づいてレンズ１１に付着した異物を検出する例を説明するが、差分波形情報に基づいて立体物を検出する際にエッジ情報に基づいてレンズ１１に付着した異物を検出してもよいし、エッジ情報に基づいて立体物を検出する際に差分波形情報に基づいてレンズ１１に付着した異物を検出してもよい。

１…立体物検出装置
１０…カメラ
２０…車速センサ
３０…計算機
３１…視点変換部
３２…位置合わせ部
３３，３７…立体物検出部
３４…立体物判断部
３５…輝度差算出部
３６…エッジ検出部
３８…異物検出部
３９…制御部
４０…スミア検出部
４１…降雨状態検出部
５０…雨滴センサ
６０…ワイパー
７０…ナビゲーション装置
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
ＤＷ_ｔ１〜ＤＷ_ｍ，ＤＷ_ｍ＋ｋ〜ＤＷ_ｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢ_ｔ…鳥瞰視画像
ＰＤ_ｔ…差分画像
ＭＰ…マスク画像
Ｓ…スミア
ＳＰ…スミア画像
ＳＢ_ｔ…スミア鳥瞰視画像
Ｖ…自車両
ＶＸ…他車両

Claims (16)

1. 車両後方を撮像する撮像手段と、
   前記撮像手段により得られた画像に基づいて、前記車両後方の立体物を検出し、立体物の移動速度を算出する立体物検出手段と、
   降雨又は降雨により路面に水膜が形成された場合を含む降雨状態を検出する降雨状態検出手段と、
   前記立体物検出手段により検出された立体物の移動速度が予め設定された設定範囲に属する場合には、前記立体物が他車両であると判断する立体物判断手段と、を有し、
   前記降雨状態検出手段が前記降雨状態を検出した場合には、前記移動速度の設定範囲を狭く変更する制御手段と、を備える立体物検出装置。
2. 前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段を、さらに備え、
   前記立体物検出手段は、前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するとともに、前記差分波形情報の波形の時間変化から立体物の移動速度を算出することを特徴とする請求項１に記載の立体物検出装置。
3. 前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段を、さらに備え、
   前記立体物検出手段は、前記画像変換手段により得られた鳥瞰視画像において、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って互いに隣接する画像領域の輝度差が所定閾値ｔ以上であり、連続性を有するエッジ成分に基づいて検出されたエッジ線の情報を含むエッジ情報を生成し、前記エッジ情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するとともに、前記エッジ情報の時間変化から立体物の移動速度を算出することを特徴とする請求項１に記載の立体物検出装置。
4. 前記制御手段は、前記降雨状態検出手段が前記降雨状態を検出した場合であって、前記立体物検出手段により算出された立体物の移動速度が負の値である場合には、前記移動速度の設定範囲を狭く変更し、前記立体物が前記他車両であると判断されることを抑制することを特徴とすることを特徴とする請求項１〜３の何れか一項に記載の立体物検出装置。
5. 前記降雨状態検出手段は、降雨量をさらに検出し、
   前記制御手段は、前記降雨状態検出手段により検出された降雨量が多くなるにつれて、前記移動速度の設定範囲を狭く設定し、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項１〜４の何れか一項に記載の立体物検出装置。
6. 立体物判断手段は、前記移動速度の設定範囲に属する立体物が所定時間以内に所定回数以上検出された場合には、前記立体物が他車両であると判断し、
   前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記立体物を判断する際の閾値である前記所定回数を高い値に変更し、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項１〜５の何れか一項に記載の立体物検出装置。
7. 前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記検出領域のうち前記車両後方側の一部領域において、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項２、３、請求項２に従属する請求項４〜６の何れか一項、又は請求項３に従属する請求項４〜６の何れか一項に記載の立体物検出装置。
8. 前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記検出領域のうち前記車両後方側の一部領域をマスクし、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項２、３、請求項２に従属する請求項４〜６の何れか一項、又は請求項３に従属する請求項４〜６の何れか一項に記載の立体物検出装置。
9. 前記撮像手段は、車両後方の映像を結像させるレンズを備え、
   前記立体物検出手段により一又は複数の第１のタイミングで生成された差分波形情報から第１極大値を抽出するとともに、当該抽出された第１極大値に基づいて基準値を取得し、前記第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成された差分波形情報から前記鳥瞰視画像上において前記第１極大値に対応する第２極大値を抽出するとともに、当該第２極大値に基づいて評価対象値を取得し、前記評価対象値と前記基準値との差分の経時的変化に基づいて、前記レンズに異物が付着しているか否かを検出する異物検出手段をさらに備え、
   前記制御手段は、前記異物検出手段が前記レンズに付着した異物を検出した場合には、前記移動速度の設定範囲をさらに狭くし、前記立体物が前記他車両であると判断されることをさらに抑制することを特徴とする請求項２又は請求項２に従属する請求項４〜８の何れか一項に記載の立体物検出装置。
10. 前記撮像手段は、車両後方の映像を結像させるレンズを備え、
    一又は複数の第１のタイミングで前記立体物検出手段により生成された前記エッジ線の情報を含むエッジ情報から第１極大値を抽出するとともに、当該第１極大値に基づいて基準エッジ長さを取得し、前記第１のタイミングよりも後の一又は複数の第２のタイミングで新たに生成されたエッジ情報から前記鳥瞰視画像上において前記第１極大値に対応する第２極大値を抽出するとともに、当該第２極大値に基づいて評価エッジ長さを取得し、前記評価エッジ長さと前記基準エッジ長さとの差分の経時的変化に基づいて、前記レンズに異物が付着しているか否かを検出する異物検出手段をさらに備え、
    前記制御手段は、前記異物検出手段が前記レンズに付着した異物を検出した場合には、前記移動速度の設定範囲をさらに狭くし、前記立体物が前記他車両であると判断されることをさらに抑制することを特徴とする請求項３又は請求項３に従属する請求項４〜８の何れか一項に記載の立体物検出装置。
11. 前記立体物検出手段は、前記差分波形情報と第１閾値αとに基づいて立体物を検出し、
    前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記第１閾値αを前記立体物が検出され難いように高く変更する制御命令を前記立体物検出手段に出力して、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項２又は請求項２に従属する請求項４〜９の何れか一項に記載の立体物検出装置。
12. 前記立体物検出手段は、前記差分波形情報と第１閾値αとに基づいて立体物を検出し、
    前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低くする制御命令を生成し、当該制御命令を前記立体物検出手段に出力して、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項２又は請求項２に従属する請求項４〜９の何れか一項に記載の立体物検出装置。
13. 前記立体物検出手段は、前記エッジ情報と第２閾値βとに基づいて立体物を検出し、
    前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記第２閾値βを前記立体物が検出され難いように高く変更する制御命令を前記立体物検出手段に出力して、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項３又は請求項３に従属する請求項４〜８，若しくは請求項１０の何れか一項に記載の立体物検出装置。
14. 前記立体物検出手段は、前記エッジ情報と第２閾値βとに基づいて立体物を検出し、
    前記制御手段は、前記降雨状態検出手段により前記降雨状態が検出された場合には、前記検出したエッジ情報の量を低く出力する制御命令を前記立体物検出手段に出力して、前記立体物が前記他車両であると判断されることを抑制することを特徴とする請求項３又は請求項３に従属する請求項４〜８，若しくは請求項１０の何れか一項に記載の立体物検出装置。
15. 車両に搭載され、車両後方の右側及び左側のそれぞれに設定された検出領域を含む領域を撮像する撮像手段により得られた画像を鳥瞰視画像に視点変換するステップと、
    前記得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するとともに、前記差分波形情報の波形の時間変化から立体物の移動速度を算出するステップと、
    前記検出された立体物の移動速度が予め設定された設定範囲に属する場合には、前記立体物が他車両であると判断するステップと、
    降雨又は降雨により路面に水膜が形成された場合を含む降雨状態を検出するステップと、
    前記降雨状態を検出した場合には、前記移動速度の設定範囲を狭く変更するステップと、を有する立体物検出方法。
16. 車両に搭載され、車両後方の右側及び左側のそれぞれに設定された検出領域を含む領域を撮像する撮像手段により得られた画像を鳥瞰視画像に視点変換するステップと、
    前記得られた鳥瞰視画像において、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って互いに隣接する画像領域の輝度差が所定閾値ｔ以上であり、連続性を有するエッジ成分に基づいて検出されたエッジ線の情報を含むエッジ情報を生成し、前記エッジ情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するとともに、前記エッジ情報の時間変化から立体物の移動速度を算出するステップと、
    前記検出された立体物の移動速度が予め設定された設定範囲に属する場合には、前記立体物が他車両であると判断するステップと、
    降雨又は降雨により路面に水膜が形成された場合を含む降雨状態を検出するステップと、
    前記降雨状態を検出した場合には、前記移動速度の設定範囲を狭く変更するステップと、を有する立体物検出方法。

Images