JP5867596B2 - 立体物検出装置及び立体物検出方法 - Google Patents

Description

本発明は、立体物検出装置及び立体物検出方法に関するものである。
本出願は、２０１２年４月１６日に出願された日本国特許出願の特願２０１２―０９２９１２に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

車両側方を撮像するカメラを備え、カメラにより撮像された画像と予め記憶されたパターンとをマッチングすることにより、路外の植え込み等の立体物を検出する検出装置が知られている（特許文献１参照）。

特開２００８−２２７６４６号公報

しかしながら、並木道において見られるような、形状が保たれる幹と形状が変化する葉を備える樹木の影の画像は、周期性と不規則性を備えるため、画像の特徴を画一的に把握することが難しく、種々の立体物の像を含む撮像画像から樹木の影の像を識別することは難しいという問題がある。

本発明が解決しようとする課題は、周期性と不規則性を備える樹木の影を、自車両の走行車線の隣の隣接車線を走行する他車両として誤検出することを防止して、隣接車線を走行する他車両を高い精度で検出することができる立体物検出装置を提供することである。

本発明は、撮像画像の差分波形情報又はエッジ情報に基づいて周期性を評価するための周期性評価値と不規則性を評価するための不規則性評価値とを算出し、算出された周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、検出された立体物が自車両の走行路に沿って存在する樹木の影であると判断することにより、上記課題を解決する。

本発明によれば、撮像画像から算出された差分波形情報又はエッジ情報から算出した周期性評価値が所定値域内であり、同じく差分波形情報又はエッジ情報から算出した不規則性評価値が所定の閾値以上である場合に周期性と不規則性を備える樹木の影が画像情報に含まれていることを識別することができるので、車両の走行路に沿って存在する樹木の影を自車両の走行車線の隣の隣接車線を走行する他車両として誤検出することを防止することができる。この結果、自車両の走行車線の隣の隣接車線を走行する他車両を、高い精度で検出する立体物検出装置を提供することができる。

本発明の立体物検出装置を適用した一実施の形態に係る車両の概略構成図である。 図１の車両の走行状態を示す平面図（差分波形情報による立体物検出）である。 図１の計算機の詳細を示すブロック図である。 図３の位置合わせ部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。 図３の立体物検出部による差分波形の生成の様子を示す概略図である。 図３の立体物検出部によって分割される小領域を示す図である。 図３の立体物検出部により得られるヒストグラムの一例を示す図である。 図３の立体物検出部による重み付けを示す図である。 図３のスミア検出部による処理及びそれによる差分波形の算出処理を示す図である。 図３の立体物検出部により得られるヒストグラムの他の例を示す図である。 図３の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート（その１）である。 図３の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート（その２）である。 図１の車両の走行状態を示す図（エッジ情報による立体物検出）であり、（ａ）は検出領域等の位置関係を示す平面図、（ｂ）は実空間における検出領域等の位置関係を示す斜視図である。 図３の輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図３の輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、（ａ）は検出領域に立体物（車両）が存在している場合の輝度分布を示す図、（ｂ）は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図３の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート（その１）である。 図３の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート（その２）である。 エッジ検出動作を説明するための画像例を示す図である。 木陰が映り込んだ検出領域と示す第１の図である。 木陰が映り込んだ検出領域と示す第２の図である。 木陰が映り込んだ検出領域と示す第３の図である。 各検出対象の周期性評価値と不規則性評価値との関係の一例を示す表である。 木陰の判定処理を含む制御手順を示す他の例のフローチャートである。 移動量候補の算出処理を説明するための図であり、図２５(a)は時刻tにおける差分画像ＰＤｔを示し、図２５(b)は持刻t-1における差分画像ＰＤt-1を示す。 位置合わせ部及び立体物検出部の処理を示すフローチャートである。 周期性評価部の処理を示すフローチャートである。 生成されたヒストグラムを示す図である。 周期性評価処理の動作手順を示す図である。 図２９に示すステップＳ２７を説明するための図であり、(a)は周期的静止物の手前側に他車両が進入した場合を示し、(b)は(a)の場面いおけるヒストグラムを示し、(c)は周期的静止物の奥側に他車両が進入した場合を示し、(d)は(c)の場面におけるヒストグラムを示す。 エッジ分布算出処理、カウント処理、周期的静止物候補検出処理、および周期的静止物判断処理を説明するための図である。 周期的静止物の判断処理の動作手順を示す第１のフローチャートである。 周期的静止物の判断処理の動作手順を示す第２のフローチャートである。 検出領域の鳥瞰視画像データ上におけるエッジ点を示す図である。 鳥瞰視画像データにおけるエッジ点を示す図であり、(a)は車両(タイヤ部分)のエッジ点を示し、(b)は草のエッジ点を示し、(C)は雪のエッジ点を示す。 不規則性評価処理を示すフローチャートである。

図１は、本発明の立体物検出装置１を適用した一実施の形態に係る車両の概略構成図であり、本例の立体物検出装置１は、自車両Ｖの運転者が運転中に注意を払うべき他車両、例えば、自車両Ｖが車線変更する際に接触の可能性がある他車両を障害物として検出する装置である。特に、本例の立体物検出装置１は自車両が走行する車線の隣の隣接車線（以下、単に隣接車線ともいう）を走行する他車両を検出する。また、本例の立体物検出装置１は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、立体物検出装置１を自車両Ｖに搭載し、自車両周囲において検出される立体物のうち、自車両Ｖが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の立体物検出装置１は、カメラ１０と、車速センサ２０と、計算機３０と、明るさセンサ５０と、現在位置検出装置６０とを備える。

カメラ１０は、図１に示すように自車両Ｖの後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように自車両Ｖに取り付けられている。カメラ１０は、この位置から自車両Ｖの周囲環境のうちの所定領域を撮像する。本実施形態において自車両Ｖの後方の立体物を検出するために設けられるカメラ１は一つであるが、他の用途のため、例えば車両周囲の画像を取得するための他のカメラを設けることもできる。車速センサ２０は、自車両Ｖの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機３０は、車両後方の立体物を検出するとともに、本例ではその立体物について移動距離及び移動速度を算出する。明るさセンサ５０は、自車両Ｖの周囲の明るさを検出する。明るさセンサ５０は、照度計により構成してもよいし、カメラ１０の画像情報から明るさ情報を取得可能な構成にしてもよい。また、直接、明るさを検出せずに、地点と日没時刻とを対応づけた暦情報を参照し、現在位置と時刻とに基づいて自車両Ｖの周囲の現在の明るさを検出することもできる。現在位置検出装置６０は、ＧＰＳを備える自車両Ｖのナビゲーション装置やＧＰＳが内蔵された携帯型のナビゲーション装置から位置情報を取得することもできる。

図２は、図１の自車両Ｖの走行状態を示す平面図である。同図に示すように、カメラ１０は、所定の画角ａで車両後方側を撮像する。このとき、カメラ１０の画角ａは、自車両Ｖが走行する車線に加えて、その左右の車線についても撮像可能な画角に設定されている。撮像可能な領域には、自車両Ｖの後方であり、自車両Ｖの走行車線の左右隣の隣接車線上の検出対象領域Ａ１，Ａ２を含む。

図３は、図１の計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０、車速センサ２０、明るさセンサ５０と、現在位置検出装置６０についても図示する。

図３に示すように、計算機３０は、視点変換部３１と、位置合わせ部３２と、立体物検出部３３と、検出領域設定部３４と、スミア検出部４０とを備える。本実施形態の計算部３０は、差分波形情報を利用した立体物の検出ブロックに関する構成である。本実施形態の計算部３０は、エッジ情報を利用した立体物の検出ブロックに関する構成とすることもできる。この場合は、図３に示す構成のうち、位置合わせ部３２と、立体物検出部３３から構成されるブロック構成Ａを、破線で囲んだ輝度差算出部３５と、エッジ線検出部３６と、立体物検出部３７から構成されるブロック構成Ｂと置き換えて構成することができる。もちろん、ブロック構成Ａ及びブロック構成Ｂの両方を備え、差分波形情報を利用した立体物の検出を行うとともに、エッジ情報を利用した立体物の検出も行うことができるようにすることができる。ブロック構成Ａ及びブロック構成Ｂを備える場合には、例えば明るさなどの環境要因に応じてブロック構成Ａ又はブロック構成Ｂのいずれかを動作させることができる。以下、各構成について説明する。

《差分波形情報による立体物の検出》
本実施形態の立体物検出装置１は、車両後方を撮像する単眼のカメラ１により得られた画像情報に基づいて車両後方の右側隣接車線の検出領域Ａ１又は左側隣接車線の検出領域Ａ２に存在する立体物を検出する。検出領域設定部３４は、撮像された画像情報内であって、自車両Ｖの後方の右側及び左側のそれぞれに検出領域Ａ１，Ａ２を設定する。この検出領域Ａ２，Ａ２の位置は特に限定されず、また、処理条件に応じて適宜に設定することができる。

次に、視点変換部について説明する。視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰視画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８−２１９０６３号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。なお、視点変換部３１による画像変換処理の結果は、後述するエッジ情報による立体物の検出においても利用される。

位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図４は、位置合わせ部３２の処理の概要を説明するための図であり、（ａ）は自車両Ｖの移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。

図４（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置していたとする。また、自車両Ｖの後側方向に他車両ＶＸが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶＸがＶ３に位置し、一時刻前の他車両ＶＸがＶ４に位置していたとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。

このような状態において、現時刻における鳥瞰視画像ＰＢ_ｔは図４（ｂ）に示すようになる。この鳥瞰視画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ３にある他車両ＶＸの位置については倒れ込みが発生する。また、一時刻前における鳥瞰視画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ４にある他車両ＶＸについては倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。

位置合わせ部３２は、上記のような鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰視画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰視画像ＰＢ_ｔと位置を一致させる。図４（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図４（ａ）に示した自車両Ｖの実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

また、位置合わせ後において位置合わせ部３２は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分をとり、差分画像ＰＤ_ｔのデータを生成する。ここで、差分画像ＰＤ_ｔの画素値は、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値ｐを超えたときに「１」とし、超えないときに「０」としてもよい。図４（ｂ）の右側の画像が、差分画像ＰＤ_ｔである。

図３に戻り、立体物検出部３３は、図４（ｂ）に示す差分画像ＰＤ_ｔのデータに基づいて立体物を検出する。この際、本例の立体物検出部３３は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部３３は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。そして、立体物の移動速度は、立体物が車両であるか否かの判断に用いることができる。

差分波形の生成にあたって本実施形態の立体物検出部３３は、差分画像ＰＤ_ｔにおいて検出領域を設定する。本例の立体物検出装置１は、自車両Ｖの運転手が注意を払う他車両であり、特に、自車両Ｖが車線変更する際に接触の可能性がある自車両Ｖが走行する車線の隣の車線を走行する他車両を検出対象物として検出する。このため、画像情報に基づいて立体物を検出する本例では、カメラ１により得られた画像のうち、自車両Ｖの右側及び左側に二つの検出領域を設定する。具体的に、本実施形態では、図２に示すように自車両Ｖの後方の左側及び右側に矩形状の検出領域Ａ１，Ａ２を設定する。この検出領域Ａ１，Ａ２において検出された他車両は、自車両Ｖが走行する車線の隣の隣接車線を走行する障害物として検出される。なお、このような検出領域Ａ１，Ａ２は、自車両Ｖに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、移動距離検出装置１は、例えば既存の白線認識技術等を利用するとよい。

また、立体物検出部３３は、設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２（図２）として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両ＶＸの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。

図５は、図３に示す立体物検出部３３による差分波形の生成の様子を示す概略図である。図５に示すように、立体物検出部３３は、位置合わせ部３２で算出した差分画像ＰＤ_ｔ（図４（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷ_ｔを生成する。

具体的に説明すると、立体物検出部３３は、差分画像ＤＷ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、所定の差分を示す差分画素ＤＰは、差分画像ＤＷ_ｔの画素値が鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像ＤＷ_ｔの画素値が「０」「１」で表現されている場合は、「１」を示す画素である。

立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図５右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図５右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。

以下同様に、立体物検出部３３は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部３３は、上記を順次繰り返して度数分布化することで、図５右図に示すように差分波形ＤＷ_ｔを生成する。

なお、図５左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

差分波形ＤＷ_ｔの生成後、立体物検出部３３は一時刻前の差分波形ＤＷ_ｔ−１との対比により移動距離を算出する。すなわち、立体物検出部３３は、差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から移動距離を算出する。

詳細に説明すると、立体物検出部３３は、図６に示すように差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図６は、立体物検出部３３によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、例えば図６に示すように、互いに重複するようにして分割される。例えば小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。

次いで、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向（図６の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。この際、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。

図７は、立体物検出部３３により得られるヒストグラムの一例を示す図である。図７に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前における差分波形ＤＷ_ｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部３３は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部３３は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図７に示す例において立体物検出部３３は、ヒストグラムの極大値を示すオフセット量を移動距離τ^＊と算出する。なおこの移動距離τ^＊は、自車両Ｖに対する他車両ＶＸの相対移動距離である。このため、立体物検出部３３は、絶対移動距離を算出する場合には、得られた移動距離τ^＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。

なお、ヒストグラム化にあたり立体物検出部３３は、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図８は、立体物検出部３３による重み付けを示す図である。

図８に示すように、小領域ＤＷ_ｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを小さくする。平坦な小領域ＤＷ_ｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。

一方、小領域ＤＷ_ｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを大きくする。起伏に富む小領域ＤＷ_ｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割したが、移動距離の算出精度がさほど要求されない場合は小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しなくてもよい。この場合に、立体物検出部３３は、差分波形ＤＷ_ｔと差分波形ＤＷ_ｔ−１との誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとのオフセット量を求める方法は上記内容に限定されない。

図３に戻り、計算機３０はスミア検出部４０を備える。スミア検出部４０は、カメラ１０による撮像によって得られた撮像画像のデータからスミアの発生領域を検出する。なお、スミアはＣＣＤイメージセンサ等に生じる白飛び現象であることから、こうしたスミアが生じないＣＭＯＳイメージセンサ等を用いたカメラ１０を採用する場合にはスミア検出部４０を省略してもよい。

図９は、スミア検出部４０による処理及びそれによる差分波形ＤＷ_ｔの算出処理を説明するための画像図である。まずスミア検出部４０にスミアＳが存在する撮像画像Ｐのデータが入力されたとする。このとき、スミア検出部４０は、撮像画像ＰからスミアＳを検出する。スミアＳの検出方法は様々であるが、例えば一般的なＣＣＤ（Charge-Coupled Device）カメラの場合、光源から画像下方向にだけスミアＳが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアＳの発生領域と特定する。

また、スミア検出部４０は、スミアＳの発生箇所について画素値を「１」とし、それ以外の箇所を「０」とするスミア画像ＳＰのデータを生成する。生成後、スミア検出部４０はスミア画像ＳＰのデータを視点変換部３１に送信する。また、スミア画像ＳＰのデータを入力した視点変換部３１は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部３１はスミア鳥瞰視画像ＳＢ_ｔのデータを生成する。生成後、視点変換部３１はスミア鳥瞰視画像ＳＢ_ｔのデータを位置合わせ部３３に送信する。また、視点変換部３１は一時刻前のスミア鳥瞰視画像ＳＢ_ｔ−１のデータを位置合わせ部３３に送信する。

位置合わせ部３２は、スミア鳥瞰視画像ＳＢ_ｔ，ＳＢ_ｔ−１の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰視画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部３２は、各スミア鳥瞰視画像ＳＢ_ｔ，ＳＢ_ｔ−１のスミアＳの発生領域について論理和をとる。これにより、位置合わせ部３２は、マスク画像ＭＰのデータを生成する。生成後、位置合わせ部３２は、マスク画像ＭＰのデータを立体物検出部３３に送信する。

立体物検出部３３は、マスク画像ＭＰのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図９に示すような差分波形ＤＷ_ｔが生成されていた場合に、立体物検出部３３は、スミアＳによるカウント数ＳＣをゼロとし、補正された差分波形ＤＷ_ｔ’を生成することとなる。

なお、本実施形態において立体物検出部３３は、車両Ｖ（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。

図１０は、立体物検出部３３により得られるヒストグラムの他例を示す図である。カメラ１０の画角内に他車両ＶＸの他に静止物が存在する場合に、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。

なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に他車両ＶＸが複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の他車両ＶＸが存在することは極めて稀である。このため、立体物検出部３３は、移動距離の算出を中止する。

次に差分波形情報による立体物検出手順を説明する。図１１及び図１２は、本実施形態の立体物検出手順を示すフローチャートである。図１１に示すように、先ずステップＳ０において、計算機３０は所定のルールに基づいて検出領域を設定する。この検出領域の設定手法については後に詳述する。そして、計算機３０は、カメラ１０による撮像画像Ｐのデータを入力し、スミア検出部４０によりスミア画像ＳＰを生成する（Ｓ１）。次いで、視点変換部３１は、カメラ１０からの撮像画像Ｐのデータから鳥瞰視画像ＰＢ_ｔのデータを生成すると共に、スミア画像ＳＰのデータからスミア鳥瞰視画像ＳＢ_ｔのデータを生成する（Ｓ２）。

そして、位置合わせ部３３は、鳥瞰視画像ＰＢ_ｔのデータと、一時刻前の鳥瞰視画像ＰＢ_ｔ−１のデータとを位置合わせすると共に、スミア鳥瞰視画像ＳＢ_ｔのデータと、一時刻前のスミア鳥瞰視画像ＳＢ_ｔ−１のデータとを位置合わせする（Ｓ３）。この位置合わせ後、位置合わせ部３３は、差分画像ＰＤ_ｔのデータを生成すると共に、マスク画像ＭＰのデータを生成する（Ｓ４）。その後、立体物検出部３３は、差分画像ＰＤ_ｔのデータと、一時刻前の差分画像ＰＤ_ｔ−１のデータとから、差分波形ＤＷ_ｔを生成する（Ｓ５）。差分波形ＤＷ_ｔを生成後、立体物検出部３３は、差分波形ＤＷ_ｔのうち、スミアＳの発生領域に該当するカウント数をゼロとし、スミアＳによる影響を抑制する（Ｓ６）。

その後、立体物検出部３３は、差分波形ＤＷ_ｔのピークが第１閾値α以上であるか否かを判断する（Ｓ７）。ここで、差分波形ＤＷ_ｔのピークが第１閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像Ｐ内には立体物が存在しないと考えられる。このため、差分波形ＤＷ_ｔのピークが第１閾値α以上でないと判断した場合には（Ｓ７：ＮＯ）、立体物検出部３３は、立体物が存在せず、障害物としての他車両が存在しないと判断する（図１２：Ｓ１６）。そして、図１１及び図１２に示す処理を終了する。

一方、差分波形ＤＷ_ｔのピークが第１閾値α以上であると判断した場合には（Ｓ７：ＹＥＳ）、立体物検出部３３は、立体物が存在すると判断し、差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割する（Ｓ８）。次いで、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けを行う（Ｓ９）。その後、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量を算出し（Ｓ１０）、重みを加味してヒストグラムを生成する（Ｓ１１）。

そして、立体物検出部３３は、ヒストグラムに基づいて自車両Ｖに対する立体物の移動距離である相対移動距離を算出する（Ｓ１２）。次に、立体物検出部３３は、相対移動距離から立体物の絶対移動速度を算出する（Ｓ１３）。このとき、立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ２０で検出された自車速を加算して、絶対移動速度を算出する。

その後、立体物検出部３３は、立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断する（Ｓ１４）。双方を満たす場合には（Ｓ１４：ＹＥＳ）、立体物検出部３３は、立体物が他車両ＶＸであると判断する（Ｓ１５）。そして、図１１及び図１２に示す処理を終了する。一方、いずれか一方でも満たさない場合には（Ｓ１４：ＮＯ）、立体物検出部３３は、他車両が存在しないと判断する（Ｓ１６）。そして、図１１及び図１２に示す処理を終了する。

なお、本実施形態では自車両Ｖの後側方を検出領域Ａ１，Ａ２とし、自車両Ｖが走行中に注意を払うべきである自車両の走行車線の隣を走行する隣接車線を走行する他車両ＶＸを検出すること、特に、自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いている。自車両Ｖが車線変更した場合に、自車両の走行車線の隣の隣接車線を走行する他車両ＶＸと接触する可能性がある否かを判断するためである。このため、ステップＳ１４の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が１０ｋｍ／ｈ未満である場合、たとえ他車両ＶＸが存在したとしても、車線変更する際には自車両Ｖの遠く後方に位置するため問題となることが少ない。同様に、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、立体物が自車両Ｖの速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両Ｖの前方に移動しているため問題となることが少ない。このため、ステップＳ１４では車線変更の際に問題となる他車両ＶＸを判断しているともいえる。

また、ステップＳ１４において立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、以下の効果がある。例えば、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得る。よって、１０ｋｍ／ｈ以上であるかを判断することにより、静止物を他車両ＶＸであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Ｖに対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得る。よって、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。

さらに、ステップＳ１４の処理に代えて、絶対移動速度がマイナスでないことや、０ｋｍ／ｈでないことを判断してもよい。また、本実施形態では自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップＳ１５において他車両ＶＸが検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。

このように、本例の差分波形情報による立体物の検出手順によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像ＰＤ_ｔのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成する。ここで、差分画像ＰＤ_ｔのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷ_ｔを生成することとなる。そして、高さ方向の情報を含む差分波形ＤＷ_ｔの時間変化から立体物の移動距離を算出する。このため、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

また、差分波形ＤＷ_ｔのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形ＤＷ_ｔのうちスミアＳによって生じる波形部位を除去することとなり、スミアＳを立体物と誤認してしまう事態を防止することができる。

また、異なる時刻に生成された差分波形ＤＷ_ｔの誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から立体物の移動距離を算出する。このため、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。

また、異なる時刻に生成された差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割する。このように複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。

また、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。

また、差分波形ＤＷ_ｔの各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。

また、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。

また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。

なお上記実施形態において、自車両Ｖの車速を車速センサ２０からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。

また、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像ＰＤ_ｔを生成し、生成した差分画像ＰＤ_ｔを倒れ込み方向（撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向）に沿って評価して差分波形ＤＷ_ｔを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向（すなわち、倒れ込み方向を撮像画像上の方向に変換した方向）に沿って評価することによって差分波形ＤＷ_ｔを生成してもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像ＰＤ_ｔを生成し、差分画像ＰＤ_ｔを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。

《エッジ情報による立体物の検出》
次に、図３に示すブロックＡに代えて動作させることが可能である、輝度差算出部３５、エッジ線検出部３６及び立体物検出部３７で構成されるエッジ情報を利用した立体物の検出ブロックＢについて説明する。図１３は、図３のカメラ１０の撮像範囲等を示す図であり、図１３（ａ）は平面図、図１３（ｂ）は、自車両Ｖから後側方における実空間上の斜視図を示す。図１３（ａ）に示すように、カメラ１０は所定の画角ａとされ、この所定の画角ａに含まれる自車両Ｖから後側方を撮像する。カメラ１０の画角ａは、図２に示す場合と同様に、カメラ１０の撮像範囲に自車両Ｖが走行する車線に加えて、隣接する車線も含まれるように設定されている。

本例の検出領域Ａ１，Ａ２は、平面視（鳥瞰視された状態）において台形状とされ、これら検出領域Ａ１，Ａ２の位置、大きさ及び形状は、距離ｄ_１〜ｄ_４に基づいて決定される。なお、同図に示す例の検出領域Ａ１，Ａ２は台形状に限らず、図２に示すように鳥瞰視された状態で矩形など他の形状であってもよい。なお、本実施形態における検出領域設定部３４も、先述した手法により検出領域Ａ１，Ａ２を設定することができる。

ここで、距離ｄ１は、自車両Ｖから接地線Ｌ１，Ｌ２までの距離である。接地線Ｌ１，Ｌ２は、自車両Ｖが走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖの後側方において自車両Ｖの車線に隣接する左右の車線を走行する他車両ＶＸ等（２輪車等を含む)を検出することが目的である。このため、自車両Ｖから白線Ｗまでの距離ｄ１１及び白線Ｗから他車両ＶＸが走行すると予測される位置までの距離ｄ１２から、他車両ＶＸの接地線Ｌ１，Ｌ２となる位置である距離ｄ１を略固定的に決定しておくことができる。

また、距離ｄ１については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機３０は、白線認識等の技術により自車両Ｖに対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ１１を決定する。これにより、距離ｄ１は、決定された距離ｄ１１を用いて可変的に設定される。以下の本実施形態においては、他車両ＶＸが走行する位置（白線Ｗからの距離ｄ１２）及び自車両Ｖが走行する位置（白線Ｗからの距離ｄ１１）は大凡決まっていることから、距離ｄ１は固定的に決定されているものとする。

距離ｄ２は、自車両Ｖの後端部から車両進行方向に伸びる距離である。この距離ｄ２は、検出領域Ａ１，Ａ２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に本実施形態において、距離ｄ２は、画角ａに区分される範囲に接するよう設定されている。距離ｄ３は、検出領域Ａ１，Ａ２の車両進行方向における長さを示す距離である。この距離ｄ３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両ＶＸ等であるため、距離ｄ３は、他車両ＶＸを含む長さに設定される。

距離ｄ４は、図１３（ｂ）に示すように、実空間において他車両ＶＸ等のタイヤを含むように設定された高さを示す距離である。距離ｄ４は、鳥瞰視画像においては図１３（ａ）に示す長さとされる。なお、距離ｄ４は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線（すなわち2車線隣りの車線）を含まない長さとすることもできる。自車両Ｖの車線から２車線隣の車線を含んでしまうと、自車両Ｖが走行している車線である自車線の左右の隣接車線に他車両ＶＸが存在するのか、２車線隣りの車線に他車両ＶＸが存在するのかについて、区別が付かなくなってしまうためである。

以上のように、距離ｄ１〜距離ｄ４が決定され、これにより検出領域Ａ１，Ａ２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ１により、台形をなす検出領域Ａ１，Ａ２の上辺ｂ１の位置が決定される。距離ｄ２により、上辺ｂ１の始点位置Ｃ１が決定される。距離ｄ３により、上辺ｂ１の終点位置Ｃ２が決定される。カメラ１０から始点位置Ｃ１に向かって伸びる直線Ｌ３により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ２が決定される。同様に、カメラ１０から終点位置Ｃ２に向かって伸びる直線Ｌ４により、台形をなす検出領域Ａ１，Ａ２の側辺ｂ３が決定される。距離ｄ４により、台形をなす検出領域Ａ１，Ａ２の下辺ｂ４の位置が決定される。このように、各辺ｂ１〜ｂ４により囲まれる領域が検出領域Ａ１，Ａ２とされる。この検出領域Ａ１，Ａ２は、図１３（ｂ）に示すように、自車両Ｖから後側方における実空間上では真四角（長方形）となる。

図３に戻り、視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部３１は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰視画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開２００８−２１９０６３号公報に記載された技術によって実現することができる。

輝度差算出部３５は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３５は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３５は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３５の動作について詳細に説明する。

輝度差算出部３５は、図１４（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また輝度差算出部３５は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部３５は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３５は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図１４（ｂ）に示す関係となる。図１４（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部３５は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。このため、図３に示したエッジ線検出部３６は、注目点Ｐａと参照点Ｐｒとの輝度差に基づいてエッジ線を検出する。

この点をより詳細に説明する。図１５は、輝度差算出部３５の詳細動作を示す図であり、図１５（ａ）は鳥瞰視された状態の鳥瞰視画像を示し、図１５（ｂ）は、図１５（ａ）に示した鳥瞰視画像の一部Ｂ１を拡大した図である。なお図１５についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。

カメラ１０が撮像した撮像画像内に他車両ＶＸが映っていた場合に、図１５（ａ）に示すように、鳥瞰視画像内の検出領域Ａ１に他車両ＶＸが現れる。図１５（ｂ）に図１５（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰視画像上において、他車両ＶＸのタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３５は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１において、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰視画像上において、例えば他車両ＶＸのタイヤのゴムから１０ｃｍ相当だけ離れた他車両ＶＸのタイヤのホイール上に設定される。

次に、輝度差算出部３５は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図１５（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に、輝度差算出部３５は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部３５は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３５は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３５は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３５は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３５は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部３５は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３５は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の存在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３５は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

図３に戻り、エッジ線検出部３６は、輝度差算出部３５により算出された連続的な輝度差から、エッジ線を検出する。例えば、図１５（ｂ）に示す場合、第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐａ２〜Ｐａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐｒ２〜Ｐｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との輝度差は大きくなる。このため、エッジ線検出部３６は、輝度差が大きい第２〜第６注目点Ｐａ２〜Ｐａ６と第２〜第６参照点Ｐｒ２〜Ｐｒ６との間にエッジ線が存在することを検出することができる。

具体的には、エッジ線検出部３６は、エッジ線を検出するにあたり、先ず下記の数式１に従って、ｉ番目の注目点Ｐａｉ（座標（ｘｉ，ｙｉ））とｉ番目の参照点Ｐｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐａｉに属性付けを行う。
[数１]
Ｉ（ｘｉ，ｙｉ）＞Ｉ（ｘｉ’，ｙｉ’）＋ｔのとき
ｓ（ｘｉ，ｙｉ）＝１
Ｉ（ｘｉ，ｙｉ）＜Ｉ（ｘｉ’，ｙｉ’）−ｔのとき
ｓ（ｘｉ，ｙｉ）＝−１
上記以外のとき
ｓ（ｘｉ，ｙｉ）＝０

上記数式１において、ｔは閾値を示し、Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐａｉの輝度値を示し、Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐｒｉの輝度値を示す。上記数式１によれば、注目点Ｐａｉの輝度値が、参照点Ｐｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘１’となる。一方、注目点Ｐａｉの輝度値が、参照点Ｐｒｉから閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘−１’となる。注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３６は、下記数式２に基づいて、注目線Ｌａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌａがエッジ線であるか否かを判定する。
[数２]
ｓ（ｘｉ，ｙｉ）＝ｓ（ｘｉ＋１，ｙｉ＋１）のとき（且つ０＝０を除く）、
ｃ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｃ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は‘１’となる。注目点Ｐａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は‘０’となる。

次にエッジ線検出部３６は、注目線Ｌａ上の全ての注目点Ｐａの連続性ｃについて総和を求める。エッジ線検出部３６は、求めた連続性ｃの総和を注目点Ｐａの数Ｎで割ることにより、連続性ｃを正規化する。エッジ線検出部３６は、正規化した値が閾値θを超えた場合に、注目線Ｌａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。

すなわち、エッジ線検出部３６は、下記数式３に基づいて注目線Ｌａがエッジ線であるか否かを判断する。そして、エッジ線検出部３６は、検出領域Ａ１上に描かれた注目線Ｌａの全てについてエッジ線であるか否かを判断する。
[数３]
Σｃ（ｘｉ，ｙｉ）／Ｎ＞θ

図３に戻り、立体物検出部３７は、エッジ線検出部３６により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置１は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ１，Ａ２に立体物が存在する可能性が高いということである。このため、立体物検出部３７は、エッジ線検出部３６により検出されたエッジ線の量に基づいて立体物を検出する。さらに、立体物検出部３７は、立体物を検出するに先立って、エッジ線検出部３６により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部３７は、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。

図１６は、エッジ線の輝度分布を示す図であり、図１６（ａ）は検出領域Ａ１に立体物としての他車両ＶＸが存在した場合のエッジ線及び輝度分布を示し、図１６（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示す。

図１６（ａ）に示すように、鳥瞰視画像において他車両ＶＸのタイヤゴム部分に設定された注目線Ｌａがエッジ線であると判断されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両ＶＸのタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図１６（ｂ）に示すように、鳥瞰視画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌａ上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌａ上の輝度分布の相違に基づいて、立体物検出部３７は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部３７は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。

具体的には、立体物検出部３７は、下記数式４，５の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式４は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記数式５は、注目線Ｌａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と、隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。
[数４]
鉛直相当方向の評価値＝Σ［｛Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｝^２］
[数５]
鉛直相当方向の評価値＝Σ｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜

なお、数式５に限らず、下記数式６のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐａについて総和してもよい。
[数６]
鉛直相当方向の評価値＝Σｂ（ｘｉ，ｙｉ）
但し、｜Ｉ（ｘｉ，ｙｉ）−Ｉ（ｘｉ＋１，ｙｉ＋１）｜＞ｔ２のとき、
ｂ（ｘｉ，ｙｉ）＝１
上記以外のとき、
ｂ（ｘｉ，ｙｉ）＝０

注目点Ｐａｉの輝度値と参照点Ｐｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐａ（ｘｉ，ｙｉ）の属性ｂ（ｘｉ，ｙｉ）は‘１’となる。それ以外の関係である場合には、注目点Ｐａｉの属性ｂ（ｘｉ，ｙｉ）は‘０’となる。この閾値ｔ２は、注目線Ｌａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部３７は、注目線Ｌａ上の全注目点Ｐａについての属性ｂを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。

次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図１７及び図１８は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図１７及び図１８においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様の処理が実行される。

図１７に示すように、まず、先ずステップＳ２０において、計算機３０は所定のルールに基づいて検出領域を設定する。この検出領域の設定手法については後に詳述する。そして、ステップＳ２１において、カメラ１０は、画角ａ及び取付位置によって特定された所定領域を撮像する。次に視点変換部３１は、ステップＳ２２において、ステップＳ２１にてカメラ１０により撮像された撮像画像データを入力し、視点変換を行って鳥瞰視画像データを生成する。

次に輝度差算出部３５は、ステップＳ２３において、検出領域Ａ１上に注目線Ｌａを設定する。このとき、輝度差算出部３５は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定する。次に輝度差算出部３５は、ステップＳ２４において、検出領域Ａ１上に参照線Ｌｒを設定する。このとき、輝度差算出部３５は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。

次に輝度差算出部３５は、ステップＳ２５において、注目線Ｌａ上に複数の注目点Ｐａを設定する。この際に、輝度差算出部３５は、エッジ線検出部３６によるエッジ検出時に問題とならない程度の数の注目点Ｐａを設定する。また、輝度差算出部３５は、ステップＳ２６において、実空間上において注目点Ｐａと参照点Ｐｒとが略同じ高さとなるように、参照点Ｐｒを設定する。これにより、注目点Ｐａと参照点Ｐｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

次に輝度差算出部３５は、ステップＳ２７において、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出する。次にエッジ線検出部３６は、上記の数式１に従って、各注目点Ｐａの属性ｓを算出する。次にエッジ線検出部３６は、ステップＳ２８において、上記の数式２に従って、各注目点Ｐａの属性ｓの連続性ｃを算出する。次にエッジ線検出部３６は、ステップＳ２９において、上記数式３に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合（Ｓ２９：ＹＥＳ）、エッジ線検出部３６は、ステップＳ３０において、当該注目線Ｌａをエッジ線として検出する。そして、処理はステップＳ３１に移行する。正規化した値が閾値θより大きくないと判断した場合（Ｓ２９：ＮＯ）、エッジ線検出部３６は、当該注目線Ｌａをエッジ線として検出せず、処理はステップＳ３１に移行する。

ステップＳ３１において、計算機３０は、検出領域Ａ１上に設定可能な注目線Ｌａの全てについて上記のステップＳ２３〜ステップＳ３０の処理を実行したか否かを判断する。全ての注目線Ｌａについて上記処理をしていないと判断した場合（Ｓ３１：ＮＯ）、ステップＳ２３に処理を戻して、新たに注目線Ｌａを設定して、ステップＳ３１までの処理を繰り返す。一方、全ての注目線Ｌａについて上記処理をしたと判断した場合（Ｓ３１：ＹＥＳ）、処理は図１８のステップＳ３２に移行する。

図１８のステップＳ３２において、立体物検出部３７は、図１７のステップＳ３０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部３７は、上記数式４，５，６の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部３７は、ステップＳ３３において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。

次に立体物検出部３７は、ステップＳ３４において、エッジ線の量が第２閾値β以上であるか否かを判断する。例えば、検出対象の立体物として四輪車を設定した場合、当該第２閾値βは、予め実験等によって検出領域Ａ１内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第２閾値β以上であると判定した場合（Ｓ３４：ＹＥＳ）、立体物検出部３７は、ステップＳ３５において、検出領域Ａ１内に立体物が存在すると検出する。一方、エッジ線の量が第２閾値β以上ではないと判定した場合（Ｓ３４：ＮＯ）、立体物検出部３７は、検出領域Ａ１内に立体物が存在しないと判断する。その後、図１７及び図１８に示す処理は終了する。検出された立体物は、自車両Ｖが走行する車線の隣の隣接車線を走行する他車両ＶＸであると判断してもよいし、検出した立体物の自車両Ｖに対する相対速度を考慮して隣接車線を走行する他車両ＶＸであるか否かを判断してもよい。

以上のように、本実施形態のエッジ情報を利用した立体物の検出方法によれば、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定することができる。

具体的には、鳥瞰視画像における検出領域Ａ１，Ａ２に対して、実空間において鉛直方向に伸びる線分に該当する注目線Ｌａと、注目線Ｌａとは異なる参照線Ｌｒとを設定する。そして、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差を注目線Ｌａ及び参照線Ｌａに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Ｌａと参照線Ｌｒとの輝度差を求める。注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。これによって、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、本例の方法によれば、立体物の検出精度を向上させることができる。

また、本例では、鉛直仮想線付近の略同じ高さの２つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めるので、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。

更に、本例では、注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとの輝度差に基づいて注目点Ｐａに属性付けを行い、注目線Ｌａに沿った属性の連続性ｃに基づいて当該注目線Ｌａがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図１９は、エッジ線検出部３６の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接した画像である。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。

これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部３６は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定するので、エッジ線検出部３６は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。

さらに、本例では、エッジ線検出部３６により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両ＶＸのタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。

さらに、本例では、エッジ線検出部３６により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両ＶＸのタイヤが引き伸ばされた場合に、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。立体物検出部３３，３７は、さらに乗員への報知や車両制御のため、検出結果を外部の車両コントローラへ送出することもできる。

《立体物の最終判断》
図３に戻り、本例の立体物検出装置１は、上述した２つの立体物検出部３３（又は立体物検出部３７）と、立体物判断部３４と、静止物判断部３８と、制御部３９とを備える。立体物判断部３４は、立体物検出部３３（又は立体物検出部３７）による検出結果に基づいて、検出された立体物が検出領域Ａ１，Ａ２に存在する他車両ＶＸであるか否かを最終的に判断する。立体物検出部３３（又は立体物検出部３７）は、静止物判断部３８の判断結果を反映させた立体物の検出を行う。静止物判断部３８は、立体物検出部３３（又は立体物検出部３７）により検出された立体物が自車両Ｖの走行路に沿って存在する樹木の影であるか否かを判断する。

本実施形態の静止物判断部３８は、樹木の影（以下、木陰ともいう）を検出する。自車両Ｖと太陽などの光源との間に樹木が存在すると、樹木の影が検出領域Ａ１，Ａ２に映り込む場合がある。樹木は、幹、太い枝、細い枝、長い枝、短い枝、葉など、複数の態様が異なる構成を有する。これらの各構成は、同じ環境下において異なる挙動を示す。例えば、同じ強さ（風速）の風に吹かれても、幹はほとんど動かず、その位置は不変であるが、太い枝や短い枝は多少搖動し、その位置も多少変動する。さらに、細い枝、長い枝、葉は大きく搖動し、その位置が大きく変化する。このように、樹木の形状の一部分は変化しないが他の一部分は変化し、これに応じて樹木の影も一部分の形状・位置は変化しないが他の部分の形状・位置が変化する。樹木の影の撮像画像を部分ごとに分析すると、幹の部分の影には周期的な特徴及び規則的な特徴が強く表れるが、葉の部分の影には周期的な特徴及び規則的な特徴は強く表れない。このため、樹木の影を一つの映像として分析すると、周期的な特徴においても、規則的な特徴においても際立った特徴を見出すことが難しい。つまり、樹木の影の特徴を、周期的な特徴に基づいて判断することは困難であり、また規則的な特徴に基づいて判断することも困難である。

以下、樹木の影の周期的な特徴（周期性）と規則的又は不規則的な特徴（不規則性）について、他の静止物と比較する。

図２０に示すように、走行路の路肩に一定間隔で設けられたガードレールなどの構造物(静止物)は、その形状が一定であり、その撮像画像から抽出される特徴は周期的に表れるので、上述した樹木の影よりも周期性が高い。また、ガードレールのような人工的な構造物は、全体が不動であり、経時的に同じ形状を保つため、その撮像画像から抽出される特徴にはバラつきがないので、上述した樹木の影よりも不規則性が低い（規則性が高い）。

図２１に示すように、草(静止物)は走行路の路肩に沿って生えており、その形状が不定であるため、その撮像画像から抽出される特徴は非周期的に表れるので、上述した樹木の影よりも周期性が低いといえる。また、草のような自然物は、全体が不定形であり、経時的に同じ形状を保つことは無いため、その撮像画像から抽出される特徴にバラつきが見られるので、上述した樹木の影よりも不規則性が高い（規則性が低い）といえる。これは、草は、樹木のように幹となるような剛性の高い部分が無く、風や雨などの外的環境に応じて形を変える傾向が高いからである。なお、路肩に積もった雪の画像情報も、草の画像情報と同じ特徴を示す傾向がある。

さらに、本実施形態の立体物検出装置１が最終的に検出する対象である他車両ＶＸは、図２２に示すように、自車両Ｖの走行車線の隣の隣接車線上を走行するが、他車両ＶＸが検出領域Ａ１，Ａ２に存在するタイミングは制御することができず、撮像画像から周期的に特徴が抽出できるとは限らないため、上述した自車両Ｖの走行路に沿って存在する樹木の影よりも周期性が低いといえる。他方、他車両ＶＸの基本的構造は共通し、経時的に同じ形状を保つため、その撮像画像から抽出される特徴にはバラつきがないので、上述した樹木の影よりも不規則性は低い（規則性が高い）といえる。
また、周期性評価地が低く、かつ不規則性も低い場合には、検出された立体物は他車両である可能性が高い。

図２３は、ガードレール等の構造物Ｑ２、木陰Ｑ１、草・雪Ｑ３、及び他車両ＶＸについての周期性評価値及び不規則性評価値の関係Ｈを示す図である。

図２３に示すように、周期性に関し、ガードレール等の構造物Ｑ２は路肩に規則的に配置されているため、所定の閾値（第２周期性評価閾値）以上の周期性評価値を示す傾向がある。また、各他車両ＶＸの走行間隔は制御不能であるため、周期性評価値は所定の閾値（第１周期性評価閾値）未満を示す傾向がある。また、同図に示すように、不規則性に関し、ガードレール等の構造物Ｑ２や他車両ＶＸは、その形状が一定であるため、低い不規則性評価値を示す傾向がある。

撮像画像に含まれる種々の立体物の中から静止物を識別する手法として、ガードレールなどの構造物Ｑ２などの周期性が高い点を利用する手法、草、雪Ｑ３などの自然物の不規則性が高い点を利用する手法が発明者らによっても提案されているものの、上述したように、樹木の影（木陰）Ｑ１は周期性が中程度であるとともに不規則性も中程度であるため、草、雪Ｑ３と識別することが難しいという問題がある。

ところで、本実施形態の立体物検出装置１は他車両ＶＸを検出することが目的であるから、ガードレールなどの構造物Ｑ２、草、雪Ｑ３と識別することなく、「他車両ＶＸ以外の静止物」として識別すればよいと考えることもできる。

しかしながら、自車両Ｖの走行に影響を与える「他車両ＶＸ」を高い精度で検出するためには、他車両ＶＸ以外の物体が移動体であるか静止物であるか、立体物であるか平面物であるか、さらには、他車両ＶＸ以外の物体が草・雪であるか木陰であるかによって、その検出対象の画像の特性に応じた画像処理、物体検出処理を設計することが必要である。たとえば、ガードレールＱ２の形状は予測可能であるので、ガードレールＱ２が映り込む画像領域を予測して画像処理にフィードバック処理をかけるといった処理や、草Ｑ３の高さには上限があると考えられるので、草Ｑ３であるという判断の確からしさを検証するといった物体の特性に応じた処理を行うことができる。このように、検出対象の検出精度を向上させるためには、検出対象から除外するべき物体（非検出対象物）を正確に識別することが求められている。

本実施形態の立体物検出装置１では、周期性と不規則性の二つの観点から他車両ＶＸ、ガードレールＱ２、草・雪Ｑ３、及び木陰Ｑ１のそれぞれの特性を分析し、周期性及び不規則性に基づいて撮像画像に含まれる種々の物体の像から木陰Ｑ１を正確に識別することができる。

静止物判断部３８は、差分波形情報に基づく樹木の影を判断する処理、又はエッジ情報に基づく樹木の影を判断する処理を行うことができる。

まず、差分波形情報に基づいて樹木の影を判断する処理について説明する。静止物判断部３８は、立体物検出部３３により生成された差分波形情報に基づいて、この差分波形情報の周期性を評価するための周期性評価値を算出するとともに、差分波形情報に基づいて、この差分波形情報の不規則性を評価するための不規則性評価値を算出する。

差分波形情報に基づく周期性評価値の算出手法は特に限定されず、差分波形情報から抽出された特徴が所定周期で繰り返される程度に基づいて判断することができる。たとえば、差分波形情報から抽出されるピークの数が所定値以上であり、ピーク間のばらつきが所定値未満であり、かつ自車両Ｖの車速分に応じた差分波形情報のピーク部分の面積差分（ピークに対する面積差分の比）が小さいほど周期性が高いと判断することができる。

また、差分波形情報に基づく不規則性評価値の算出手法は特に限定されず、差分波形情報から抽出された特徴のばらつき程度に基づいて判断することができる。たとえば、差分波形情報から抽出されるピークの数が所定値未満であり、ピーク間のばらつきが所定値以上であり、かつ自車両Ｖの車速分に応じた差分波形情報のピーク部分の面積差分（ピークに対する面積差分の比）が大きいほど不規則性が高いと判断することができる。なお、差分波形情報に基づいて周期性及び不規則性を算出する具体的な手法は後に詳述する。

次に、エッジ情報に基づいて樹木の影を判断する処理について説明する。静止物判断部３８は、立体物検出部３７により生成されたエッジ情報に基づいて、このエッジ情報の周期性を評価するための周期性評価値を算出するとともに、エッジ情報に基づいて、このエッジ情報の不規則性を評価するための不規則性評価値を算出する。

エッジ情報に基づく周期性評価値の算出手法は特に限定されず、エッジ情報から抽出された特徴が所定周期で繰り返される程度に基づいて判断することができる。たとえば、エッジ情報から抽出されるピークの数が所定値以上であり、ピーク間のばらつきが所定値未満であり、かつ自車両Ｖの車速分に応じたエッジ情報のピーク部分のエッジ量の差分が小さいほど周期性が高いと判断することができる。なお、エッジ情報に基づいて周期性を算出する具体的な手法は後に詳述する。

また、エッジ情報に基づく不規則性評価値の算出手法は特に限定されず、エッジ情報から抽出された特徴のばらつき程度に基づいて判断することができる。たとえば、エッジ情報から抽出されるピークの数が所定値未満であり、ピーク間のばらつきが所定値以上であり、かつ自車両Ｖの車速分に応じたエッジ情報のピーク部分のエッジ量差分が大きいほど不規則性が高いと判断することができる。
なお、エッジ情報に基づいて周期性及び不規則性を算出する具体的な手法は後に詳述する。

そして、静止物判断部３８は、算出された周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、立体物検出部３３により検出された立体物が自車両Ｖの走行路に沿って存在する樹木の影であると判断する。これにより、周期性及び不規則性が中程度である木陰Ｑ３の像を識別することができる。なお、第１周期性評価閾値は第２周期性評価閾値よりも小さい値である。

なお、以下に説明する第１周期性評価閾値と第２周期性評価閾値は、差分波形情報に基づいて周期性を判断する場合と、エッジ情報に基づいて周期性を判断する場合とで異なる値を設定することができ、不規則性評価閾値は、差分波形情報に基づいて周期性を判断する場合と、エッジ情報に基づいて周期性を判断する場合とで異なる値を設定することができる。

特に限定されないが、第２周期性評価閾値は、ガードレールなどの構造物Ｑ２について実験的に求められた周期性に基づいて設定することができる。周期性評価値が設定された第２周期性評価閾値以上である場合には、検出された立体物がガードレールなどの構造物Ｑ２であると判断することができる。ガードレールなどの構造物Ｑ２の周期性と木陰Ｑ３の周期性とは比較的明確に識別できるので、第２周期性評価閾値をガードレールなどの構造物Ｑ２の周期性に基づいて設定することにより、木陰Ｑ３及び草・雪Ｑ２をガードレールなどの構造物Ｑ２と正確に識別することができる。

また、第１周期性評価閾値は、実験的に求められる他車両ＶＸなどの移動体の周期性に基づいて設定することができる。つまり、周期性評価値が第１周期性評価閾値未満である場合には、検出された立体物が移動体、例えば他車両ＶＸであると判断することができる。他車両ＶＸの周期性と草・雪Ｑ２の周期性とはいずれも低いものの、識別可能な差を見出すことができるので、第１周期性評価閾値を他車両ＶＸの周期性に基づいて設定することにより、木陰Ｑ３及び草・雪Ｑ２を他車両ＶＸから正確に識別することができる。

同様に、不規則性評価閾値は、実験的に求められる草・雪Ｑ３の不規則性又は木陰Ｑ１の不規則性に基づいて設定することができる。つまり、周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、不規則性評価値が不規則性評価値閾値以上である場合には、立体物検出部３３により検出された立体物が自車両Ｖの走行路に沿って存在する草又は雪Ｑ３であると判断することができ、不規則性評価値が不規則性評価閾値未満である場合には、立体物検出部３３により検出された立体物が自車両Ｖの走行路に沿って存在する木陰Ｑ１であると判断することができる。草・雪Ｑ２と木陰Ｑ１はいずれも不規則性を備え、これらを識別することは容易ではないが、本実施形態のように、周期性評価値に基づいて木陰Ｑ１及び草・雪Ｑ２を絞り込んでから、不規則性評価値に基づいて、木陰Ｑ１又は草・雪Ｑ２を識別することにより、木陰Ｑ１を草・雪Ｑ２から正確に識別することができる。

さらに、本実施形態の静止物判断部３８は、明るさセンサ５０により検出された明るさが所定値未満である場合には、第１周期性評価閾値を高い値に変更する。本実施形態の静止物判断部３８は、明るさが所定値未満である、つまり暗い状況においては、草・雪Ｑ３及び木陰Ｑ１の周期性が検出し難くなるので、草・雪Ｑ３及び木陰Ｑ１を判断するための下限の閾値である第１周期性評価閾値を高い値に変更することができる。暗い状況においては、他車両ＶＸの周期性も検出し難くなるので、安全のためにも、立体物を他車両ＶＸであると判断し易くすることが好ましい。この結果、暗い状況においても、他車両ＶＸを検出し損ねることなく、草・雪Ｑ３及び木陰Ｑ１を正確に判断することができる。

加えて、本実施形態の静止物判断部３８は、各位置情報に当該位置が都市地域であるか郊外地域であるかの情報を対応づけた地図情報３８３を参照し、現在位置検出装置６０により検出された現在位置が都市地域である場合には、第１周期性評価閾値を低い値に変更する。各位置が都市地域であるか郊外地域であるかは、道路沿いの構造物の多さなどに応じて、予め定義することができる。

一般に、都市地域の道路沿いにはビル、広告塔、看板、その他の構造物が設けられている場合が多く、これらの構造物の影が検出領域Ａ１，Ａ２に映り込むことがある。これらの構造物は配置間隔が一定ではないため周期性が低く、これらの構造物の影が道路沿いの樹木や草の影に重なると、その周期性を低下させる傾向がある。つまり、広告塔、看板、その他の構造物が多く存在する都市地域では、道路の検出領域Ａ１，Ａ２に映り込む木陰Ｑ１又は草・雪Ｑ３の周期性が低くなる傾向がある。このため、本実施形態の静止物判断部３８は、現在位置が都市地域に属する場合には、草・雪Ｑ３及び木陰Ｑ１を判断するための下限の閾値である第１周期性評価閾値を低い値に変更することができる。この結果、都市部においても、草・雪Ｑ３及び木陰Ｑ１の周期性を正確に判断することができる。

本実施形態の静止物判断部３８は、静止物判断部３８は、周期性評価値が第１周期性評価閾値未満である場合に、検出された立体物を移動体であると判断する。同様に、静止物判断部３８は、周期性評価値が第１周期性評価閾値未満であり、かつ不規則性評価値が所定の不規則性評価閾値未満である場合には、検出された立体物が移動体であると判断する。特に、静止物判断部３８は、周期性評価値及び不規則性評価値のいずれもが低い場合には、移動体のうち、他車両である蓋然性が高いと判断する。

次に、立体物判断部３４について説明する。本実施形態の立体物判断部３４は、立体物検出部３３、３７において検出された立体物が検出領域Ａ１，Ａ２に存在する他車両ＶＸであるか否かを最終的に判断する。具体的に、立体物判断部３４は、立体物検出部３３、３７による立体物の検出結果が所定時間Ｔの間に渡って継続する場合には、立体物は検出領域Ａ１，Ａ２に存在する他車両ＶＸであると判断する。特に限定されないが、立体物判断部３４は、差分波形情報から抽出される差分波形のピークの数、ピーク値、移動速度などが所定値域であり、その状態が所定時間以上継続した場合には、立体物が検出領域Ａ１，Ａ２に存在する他車両ＶＸであるか否かを最終的に判断してもよいし、エッジ情報から抽出されるエッジの連続性、総和の正規化した値、エッジ線の量などが所定値域であり、その状態が所定時間以上に渡って継続した場合には、立体物が検出領域Ａ１，Ａ２に存在する他車両ＶＸであるか否かを最終的に判断してもよい。

本実施形態の立体物判断部３４は、立体物検出部３３，３７により検出された立体物が所定時間以上に渡って継続して検出される場合には、この立体物を右側検出領域又は左側検出領域に存在する他車両ＶＸであると判断する。

ちなみに、立体物判断部３４が、検出された立体物は検出領域Ａ１，Ａ２に存在する他車両ＶＸであると判断した場合には、乗員への報知などの処理が実行される。この立体物判断部３４は、制御部３８の制御命令に従い、検出された立体物が他車両ＶＸであると判断することを抑制することができる。

続いて、制御部３９について説明する。本実施形態の制御部３９は、前回の処理において、撮像画像に木陰Ｑ１の像が含まれており、検出領域Ａ１，Ａ２に樹木の影が映り込んでいることが静止物判断部３８により判断された場合には、次回の処理において立体物検出部３３，３７、立体物判断部３４、静止物判断部３８、又は自身である制御部３９の何れか一つ以上の各部において実行される制御命令を生成することができる。

本実施形態の制御命令は、検出される立体物が他車両ＶＸであると判断されることが抑制されるように各部の動作を制御するための命令である。検出領域Ａ１，Ａ２に樹木の影が映り込んでいる場合に、検出された立体物は樹木の影である可能性が高いため、それを誤って他車両ＶＸと判断することを防止するためである。本実施形態の計算機３０はコンピュータであるため、立体物検出処理、立体物判断処理、静止物判断処理に対する制御命令は各処理のプログラムに予め組み込んでもよいし、実行時に送出してもよい。本実施形態の制御命令は、差分波形情報に基づいて立体物を検出する際の感度を低下させる命令、エッジ情報に基づいて立体物を検出する際の感度を低下させる命令であってもよい。また、立体物が他車両ＶＸであると判断されることを抑制する場合には、制御命令は、検出された立体物を他車両として判断する処理を中止させたり、検出された立体物を他車両ではないと判断させたりする結果に対する命令であってもよい。

本実施形態の制御部３９は、静止物判断部３８により検出された立体物は樹木の影である可能性が高いと判断された場合には、立体物が検出され、この検出された立体物が他車両ＶＸであると判断されることを抑制する制御命令を立体物検出部３３，３７又は立体物判断部３４に送出する。これにより、立体物検出部３３，３７は立体物を検出し難くなる。また、立体物判断部３４は検出された立体物が検出領域Ａに存在する他車両ＶＸであると判断し難くなる。

また、制御部３９は、静止物判断部３８により検出された立体物は樹木の影である可能性が高いと判断された場合には、立体物の検出処理を中止する内容の制御命令を生成して立体物検出部３３，３７に出力してもよいし、立体物の判断処理を中止する内容の制御命令又は検出された立体物が他車両ではないと判断する内容の制御命令を生成し、立体物判断部３４に出力してもよい。これにより、上述と同様の作用効果を得ることができる。

以下、制御部３９が出力する具体的な各制御命令について説明する。
制御部３９は、前回の処理で、静止物判断部３８により検出された立体物は樹木の影である可能性が高いと判断された場合には、検出領域Ａ１，Ａ２に樹木の影が映り込んでおり、画像情報に基づく処理に誤りが発生する可能性が高いと判断する。このまま、通常と同じ手法で立体物を検出すると、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑの像に基づいて検出された立体物を誤って他車両ＶＸと判断する場合がある。このため、本実施形態の制御部３９は、次回の処理においては、木陰Ｑの像に基づいて検出された立体物が誤って他車両ＶＸと判断されることを抑制するために、差分波形情報を生成する際の画素値の差分に関する閾値を高く変更する。このように、検出領域Ａ１，Ａ２に木陰Ｑ１が映り込んでいる場合には、判断の閾値を高く変更することにより、立体物の検出又は他車両ＶＸであるとの判断が抑制されるので、木陰Ｑ１に起因する誤検出することを防止することができる。

まず、差分波形情報に基づいて立体物を検出する場合の制御命令について説明する。先述したように、立体物検出部３３は、差分波形情報と第１閾値αとに基づいて立体物を検出する。そして、本実施形態の制御部３９は、静止物判断部３８により検出された立体物は樹木の影である可能性が高いと判断された場合には、立体物が検出され難くなるように、第１閾値αを高くする制御命令を生成し、立体物検出部３３に出力する。第１閾値αとは、図１１のステップＳ７において、差分波形ＤＷ_ｔのピークを判断するための第１閾値αである(図５参照)。また、制御部３９は、差分波形情報における画素値の差分に関する閾値ｐを高く又は低くする制御命令を立体物検出部３３に出力することができる。

また、本実施形態の制御部３９は、静止物判断部３８により検出された立体物は樹木の影である可能性が高いと判断された場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部３３に出力することができる。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図１１のステップＳ５において生成される差分波形ＤＷ_ｔの縦軸の値である。制御部３９は、前回の処理で検出された立体物は樹木の影である可能性が高いと判断された場合には、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に基づいて他車両ＶＸを誤検出する可能性が高いと判断する。このため、次回の処理においては検出領域Ａ１，Ａ２において立体物又は他車両ＶＸが検出され難くなるように、差分波形ＤＷ_ｔの度数分布化された値を低く変更して出力する。このように、検出された立体物は樹木の影である可能性が高いと判断された場合に、出力値を低くすることにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸの検出感度が調整されるため、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に起因する他車両ＶＸの誤検出を防止することができる。

次に、エッジ情報に基づいて立体物を検出する場合の制御命令について説明する。先述した差分波形情報に基づく処理と同様に、制御部３９は、前回の処理で検出された立体物は樹木の影である可能性が高いと判断された場合には、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に基づいて他車両ＶＸを誤検出する可能性が高いと判断する。このため、本実施形態の制御部３９は、検出された立体物は樹木の影である可能性が高いと判断された場合には、エッジ情報を検出する際に用いられる輝度に関する所定閾値を高くする制御命令を立体物検出部３７に出力する。エッジ情報を検出する際に用いられる輝度に関する所定閾値とは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値を判断する閾値θ、又は図１８のステップ３４におけるエッジ線の量を評価する第２閾値βである。つまり、本実施形態の制御部３９は、検出された立体物は樹木の影である可能性が高いと判断された場合には、立体物が検出され難くなるように、エッジ線を検出する際に用いられる閾値θ又はエッジ線の量を評価する第２閾値βを高くする制御命令を生成し、立体物検出部３７へ出力する。このように、検出された立体物は樹木の影である可能性が高いと判断された場合に、判断の閾値を高く変更することにより、立体物の検出又は他車両ＶＸであるとの判断がされることを抑制するので、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に起因する誤検出することを防止することができる。

また、本実施形態の制御部３９は、静止物判断部３８により検出された立体物は樹木の影である可能性が高いと判断された場合には、検出したエッジ情報の量を低く又は高く出力する制御命令を立体物検出部３７に出力する。検出したエッジ情報の量とは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値、又は図１８のステップ３４におけるエッジ線の量である。制御部３９は、前回の処理で検出された立体物は樹木の影である可能性が高いと判断された場合には、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に基づいて他車両ＶＸを誤検出する可能性が高いと判断する。このため、次回の処理においては、立体物が検出され、その立体物が他車両ＶＸであると判断されることが抑制されるように、各注目点Ｐａの属性の連続性ｃの総和を正規化した値又はエッジ線の量を低く変更して出力する。

具体的に、検出された立体物は樹木の影である可能性が高い場合には、差分波形ＤＷ_ｔの度数分布化された値を低く変更して出力する。このように、検出された立体物は樹木の影である可能性が高い場合には、出力値を低くすることにより、立体物の検出又は他車両ＶＸであるとの判断が抑制されるように制御することができるので、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に起因する誤検出することを防止することができる。

本実施形態の制御部３９は、静止物判断部３８により検出された立体物が移動体であると判断された場合には、立体物判断部３４がその立体物を他車両であると最終的に判断するようにする。つまり、制御部３９は、静止物判断部３８の「立体物は移動体である」との判断を受けて、上述の「立体物を他車両と判断することを抑制する」処理と反対の作用を奏する処理を行う。具体的に、制御部３９は、差分波形情報を生成する際の画素値の差分に関する閾値を低く変更する、差分波形ＤＷ_ｔの度数分布化された値を高く変更して出力する、エッジ情報を検出する際に用いられる輝度に関する所定閾値を低くする、又は検出したエッジ情報の量を高く出力するなど、立体物が他車両であると判断されやすくなるように制御する。

特に、静止物判断部３８が、周期性評価値が第１周期性評価閾値未満であり、かつ不規則性評価値が所定の不規則性評価閾値未満であるとして、検出された立体物が移動体であると判断した場合には、制御部３９は、立体物判断部３４に立体物検出部３３，３７が検出した立体物が他車両であると判断させる。

以下、図２４に基づいて、本実施形態の立体物検出装置１の動作、特に、制御部３９及び制御命令を取得した立体物判断部３４、立体物検出部３３，３７の動作を説明する。図２４に示す処理は、前回の立体物検出処理の後に、前回処理の結果を利用して行われる今回の立体物検出処理である。

まず、図２４に示すステップＳ４１において、静止物判断部３８は、差分波形情報又はエッジ情報に基づいて周期性を判定する。具体的には周期性を判定するための周期性評価値を算出する。特に限定されないが、周期性評価値は、差分波形情報又はエッジ情報から抽出されるピークの数が所定値以上であり、ピーク間のばらつきが所定値未満であり、かつ自車両Ｖの車速分に応じた差分波形情報のピーク部分の面積差分（ピークに対する面積差分の比）又はエッジ情報のピーク部分のエッジ量の差分（ピークのエッジ量に対するエッジ差分の比）が小さいほど周期性が高いと判断することができる。周期性評価の具体的な手法については、後に詳述する。

続く、ステップＳ４２において、静止物判断部３８は、算出された周期性評価値が第２周期性評価閾値以上であるか否かを判断する。算出された周期性評価値は第２周期性評価閾値以上である場合にはステップＳ５２へ進み、検出された立体物はガードレール等の構造物Ｑ２であると判断する。算出された周期性評価値は第２周期性評価閾値未満である場合にはステップＳ４３に進む。

ステップＳ４３において、静止物判断部３８は、算出された周期性評価値が第１周期性評価閾値未満であるか否かを判断する。ここで第１周期性評価閾値は第２周期性評価閾値よりも低い値（周期性が低いと評価される値）である。算出された周期性評価値が第１周期性評価閾値未満である場合にはステップＳ５３へ進み、検出された立体物は他車両ＶＸである可能性が高いと判断する。算出された周期性評価値が第１周期性評価閾値以上、つまり、周期性評価値が第１周期性評価閾値以上であり、かつ第２周期性評価閾値未満である場合には、ステップＳ４４へ進む。ここまでの処理により、木陰Ｑ１及び草・雪Ｑ３を周期性に基づいて絞り込むことができる。

次に、ステップＳ４４において、静止物判断部３８は、差分波形情報又はエッジ情報に基づいて不規則性を判定する。特に限定されないが、不規則性評価値は、差分波形情報又はエッジ情報から抽出された特徴のばらつき程度に基づいて判断することができる。たとえば、差分波形情報又はエッジ情報から抽出されるピークの数が所定値未満であり、ピーク間のばらつきが所定値以上であり、かつ自車両Ｖの車速分に応じる差分波形情報のピーク部分の面積差分（ピークに対する面積差分の比）又はエッジ情報のピーク部分のエッジ量の差分（ピークのエッジ量に対するエッジ差分の比）が大きいほど不規則性が高いと判断することができる。不規則性評価の具体的な手法については、後に詳述する。

ステップＳ４５において、静止物判断部３８は、算出された不規則性評価値が不規則性評価閾値未満であるか否かを判断する。算出された不規則性性評価値が不規則性評価閾値以上である場合にはステップＳ５４へ進み、検出された立体物は草・雪Ｑ２であると判断する。算出された不規則性評価値が不規則性評価閾値未満、つまり、周期性評価値が第１周期性評価閾値以上、第２周期性評価閾値未満であり、不規則性評価値が不規則性評価閾値未満である場合には、ステップＳ４６へ進む。

ステップＳ４６において、静止物判断部３８は、検出された立体物が木陰Ｑ１であると判定する。続くステップＳ４７において、制御部３９は、静止物判断部３８により、前回の処理で検出された立体物が樹木の影(木陰Ｑ１)であると判断された場合には、検出領域Ａ１，Ａ２に映り込んだ木陰Ｑ１に基づいて他車両ＶＸを誤検出する可能性が高いと判断し、次回の処理において立体物が検出され、その立体物が他車両ＶＸであると判断されることが抑制されるように、立体物検出処理、立体物判断処理において用いられる閾値を高く設定するか、閾値と比較される出力値を低く出力する制御を行う。具体的には、立体物の検出が抑制されるように、差分波形情報を生成する際の画素値の差分に関する閾値ｐ、差分波形情報から立体物を判断する際に用いる第１閾値α、エッジ情報を生成する際の閾値θ、エッジ情報から立体物を判断する際に用いる第２閾値βの何れか一つ以上を高く変更する旨の制御命令を立体物検出部３３，３７へ送出する。なお、制御部３９は、閾値を上げる代わりに、閾値によって評価される出力値を低くする制御命令を生成し、立体物検出部３３、３７に出力してもよい。先述したように、第１閾値αは、図１１のステップＳ７において、差分波形ＤＷ_ｔのピークを判断するためのである。閾値θは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値を判断する閾値であり、第２閾値βは、図１８のステップ３４におけるエッジ線の量を評価する閾値である。

なお出力値を高くする場合には、制御部３９は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を高く出力する制御命令を立体物検出部３３に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図１１のステップＳ５において生成される差分波形ＤＷ_ｔの縦軸の値である。同様に、制御部３９は、検出したエッジ情報の量を高く出力する制御命令を立体物検出部３７に出力することができる。検出したエッジ情報の量とは、図１７のステップＳ２９における各注目点Ｐａの属性の連続性ｃの総和を正規化した値、又は図１８のステップ３４におけるエッジ線の量である。制御部３９は、前回の処理で光環境が急変すると判断された場合には、次回の処理においては立体物が検出されにくいように、各注目点Ｐａの属性の連続性ｃの総和を正規化した値又はエッジ線の量を高く変更する制御命令を立体物検出部３７に出力することができる。

各閾値又は各出力値を変化させたのち、ステップＳ４８に進み、差分波形情報又はエッジ情報に基づいて立体物を検出し、さらにステップＳ４９において、ステップＳ４８において検出された立体物が他車両ＶＸであるか否かを判断し、立体物が他車両ＶＸである場合には、ステップＳ５０において他車両が存在する旨の判断結果を出力し、立体物が他車両ＶＸでない場合には、ステップＳ５１において他車両は存在しない旨の判断結果を出力する。ステップＳ４８及びステップＳ４９における処理は、先に図１１及び１２において説明した差分波形情報に基づく他車両ＶＸの検出処理、同じく図１７及び図１８において説明したエッジ情報に基づく他車両ＶＸの検出処理と共通する。

他方、ステップＳ４９において、立体物が非検出である場合には、ステップＳ５５に進み、立体物の検出処理を中止してもよいし、ステップＳ５１に進み、検出された立体物は他車両ＶＸではなく、他車両ＶＸは存在しないと判断してもよい。

最後に、周期性の評価手法と、不規則性の評価手法について説明する。なお、撮像画像から抽出された特徴点の周期性の評価手法、及び撮像画像から抽出された特徴点の不規則性の評価手法については、出願時に知られた手法を適宜に適用することができる。例えば、出願人が先に出願した、PCT/JP2012/053834において開示した周期性物体の検出手法を利用した被写体の周期性の評価手法や、特願2011-198007において開示した被写体の不規則性の検出手法を利用した不規則性の評価手法を適宜に適用することができる。

なお、以下においては、周期性又は不規則性の評価手法について、静止部判断部３８を処理の主体として説明するが、静止物判断部３８は、位置合わせ部３２若しくは立体物検出部３３、又は輝度差算出部３５、エッジ線検出部３６若しくは立体物検出部３７に処理の一部を行わせて、その処理結果を取得し、最終的に周期性又は不規則性を判断することができる。

まず、差分波形情報に基づく周期性の評価手法の一例について説明する。本例において静止物判断部３８は、立体物検出部３３により検出された複数の立体物の移動量の候補を算出する。図２５(a)は時刻ｔにおける差分画像ＰＤｔを示し、図２５(b)は時刻ｔ−１における差分画像ＰＤｔ-1を示す。静止物判断部３８は、図２５(b)に示す差分画像ＰＤｔから、立体物の接地点(特徴点)を検出する。ここで、接地点とは、立体物と路面との接触点である。静止物判断部３８は検出された立体物のうち、自車両Ｖのカメラ１０に最も近い位置を接地点として検出する。

図２５に示すように、静止物判断部３８は、立体物Ｏ１について接地点Ｐ１を検出し、立体物Ｏ２について接地点Ｐ２を検出し、立体物Ｏ３について接地点Ｐ３を検出する。次いで、静止物判断部３８は、図２５(a)に示す時刻ｔにおける差分画像ＰＤｔに対して、幅Ｗの領域Ｔを設定する。この際、静止物判断部３８は時刻ｔ-1における差分画像ＰＤｔ-1の接地点Ｐ１〜Ｐ３に対応する箇所に領域Ｔを設定する。

次に、静止物判断部３８は、時刻ｔにおける差分画像ＰＤｔのデータから、立体物の接地点を検出する。この場合も検出された立体物のうち、自車両Ｖのカメラ10に最も近い位置を接地点として検出する。本例において、静止物判断部３８は、立体物Ｏ４について接地点Ｐ４を検出し、立体物Ｏ５について接地点Ｐ５を検出し、立体物Ｏ６について接地点Ｐ６を検出する。本実施形態の位置合わせ部３２、立体物検出部３３及び静止物判断部３８は鳥瞰視画像の所定領域の画像、データから複数の立体物の特徴点(接地点)を抽出する。

そして、静止物判断部３８は、接地点同士を対応付ける。すなわち、接地点Ｐ１に対して接地点Ｐ４を対応付けると共に、接地点Ｐ１に対して接地点Ｐ５を対応付け、且つ、接地点Ｐ１に対して接地点Ｐ６を対応付ける。同様に、接地点Ｐ２、Ｐ３に対しでも接地点Ｐ４〜Ｐ６を対応付ける。

静止物判断部３８は、対応付けられた接地点Ｐ１〜Ｐ６の距離(すなわち移動量候補)を算出する。そして、静止物判断部３８は、算出した距離を移動量候補とする。静止物判断部３８は、各立体物に対して複数の移動量候補を算出する。これにより、立体物の移動量を唯一に決定してしまい、同じような画像的特徴が周期的に出現する周期的静止物に対して誤った移動量を算出してしまう事態を抑制するようにしている。

なお、領域Ｔを設ける理由は、自車両Ｖのピッチングやョーイング等によって鳥瞰視画像ＰＢｔ，ＰＢｔ−１の位置合わせに誤差が生じても、接地点Ｐ１〜Ｐ６の対応付けを安定して行うためである。また、接地点Ｐ１〜Ｐ６の対応付けは、鳥瞰視画像Ｂｔ、ＰＢｔ−１の接地点周りの輝度分布のマッチング処理により決定される。

静止物判断部３８は、算出した移動量候補をカウントし、ヒストグラム(波形データ)を作成する。例えば、静止物判断部３８は、接地点Ｐ１と接地点Ｐ４とび距離、接地点Ｐ２と接地点Ｐ５との距離、及び、接地点Ｐ３と接地点Ｐ６との距離が同じであれば、カウント値を「３」とする。このように、静止物判断部３８は、移動量候補をカウントしてヒストグラムを作成し、検出領域内における各接地点の分布に対応した波形データを算出する。

静止物判断部３８は、カメラ１０0の撮像間隔と、車速センサ２０により検出された自車両Ｖの移動速度とに基づいて、周期的静止物の鳥瞰視上での移動範囲を算出する。静止物判断部３８は、自車両Ｖの速度に対して所定範囲（例えば±１０km/h）のマージンを持つ移動範囲を算出する。たとえば、カメラ１０の撮像間隔が３３ｍｓであり、１画素がカバーする車両進行方向の実距離が５ｃｍの場合、１制御周期で１画素移動する立体物の速度は約５．５ｋｍ・ｈとなる。車両運動により鳥瞰視画像ＰＢｔ，ＰＢｔ−１の精度が悪化することを考慮すると、この約５．５ｋｍ／ｈを許容するため、±１０ｋｍ・ｈのマージンが必要となる。

静止物判断部３８は、立体物検出部３３により検出された複数の立体物の周期を評価し、各立体物が周期的静止物であるか否かを判断する。静止物判断部３８は、作成したヒストグラムと、算出した移動範囲と、周期性評価値とに基づいて、立体物検出部３３により検出された複数の立体物が周期的静止物であるか判断する。この周期的静止物としては、図２３に示す周期性を備える他車両ＶＸ、草・雪Ｑ３、木陰Ｑ１、ガードレール等の構造物Ｑ２を含む。

次に、フローチャートを参照して周期性の評価方法、つまり周期的静止物検出方法を説明する。図２６は、位置合わせ部３２及び立体物検出部３３の処理を示すフローチャートである。位置合わせ部３２は、視点変換部３１により検出された異なる時刻の鳥瞰視画像ＰＢｔ，ＰＢｔ−１のデータを入力し、位置合わせを行う（Ｓ１）。次いで、立体物検出部３３は、位置合わせされた鳥瞰視画像ＰＢｔ，ＰＢｔ−１のデータの差分をとる（Ｓ２）。その後、立体物検出部３３は、所定値に基づいて二値化処理を実行して差分画像ＰＤｔのデータを生成する（Ｓ３）。

図２７は、周期性を評価し、周期的静止物候補の検出処理及び周期性の判定処理を示すフローチャートであり、図２８は生成されたヒストグラムの一例を示す図である。図２８に示すように、算出された移動量候補が同じものをカウントする。図２８に示す例では移動量ｍ１，ｍ２，ｍ３，ｍ４について複数検出されたため、これらのカウント値が高くなっている。

静止物判断部３８は、ヒストグラムから最大値Ｍ(ピーク値;ピーク情報)を検出する（Ｓ１１）。次いで、静止物判断部３８は、ステップＳ１２において検出した最大値Ｍに基づいて所定の閾値Ｔｈ１を設定する（Ｓ１２）。ここで、所定の閾値Ｔｈ１は、最大値Ｍの７０％に設定される。例えば、最大値Ｍのカウント値が「７」である場合、所定の閾値Ｔｈ１は「４．９」に設定される。カウント値の最大値Ｍから所定の閾値Ｔｈ１を求めるため、自車両Ｖと立体物の位置関係や日照条件などによりカウント値の大きさが変化してしまっても適切な閾値を設定することができる。なお、本実施形態では所定の閾値Ｔｈ１は最大値Ｍの７０％の値とするが、これに限られるものではない。

静止物判断部３８は、所定の閾値Ｔｈ１以上の極大値Ｍ１〜Ｍ３(ピーク値;ピーク情報)を検出する（Ｓ１３）。ここで、最大値Ｍが例えば「７」である場合に、静止物判断部３８は、「５」以上のカウント値を有する極大値Ｍ１〜Ｍ３を検出する。そして、静止物判断部３８は、各極大値Ｍ、Ｍ１〜Ｍ３(最大値Ｍを含む)に対応する移動量候補に対応付けられた立体物(例えば、ある２つの接地点間の距離が各極大値Ｍ、Ｍ１〜Ｍ３のいずれかに一致する場合の当該接地点を有する２つの立体物)は、周期的静止物候補であると判定する。

静止物判断部３８は、極大値Ｍ，Ｍ１〜Ｍ３(最大値Ｍを含む)の間隔(ピーク情報)を検出し、検出した間隔を投票する（Ｓ１４）。すなわち、図２８に示す例では間隔Ｄ１について投票数「２」となり、間隔Ｄ２について投票数「１」となる。

静止物判断部３８は、周期性を判定（評価）する（Ｓ１５）。このとき、静止物判断部３８は、ステップＳ１４における投票数が所定投票数以上であるか否かに基づいて周期性を評価する。なお、この投票数が周期性評価値の一態様であり、所定投票数が周期性評価閾値の一態様である。所定投票数は、上述したガードレール等の構造物Ｑ２を識別する観点から設定される第２周期性評価閾値としての所定投票数と、他車両ＶＸを識別する観点から設定される第１周期性評価閾値としての所定投票数とを含む。ここで、所定投票数は、鳥瞰視画像ＰＢｔから検出された立体物の検出数の半分とされる。よって、鳥敵画像ＰＢｔから検出された立体物の検出数が「４」である場合、所定投票数は「２」となる。なお、所定投票数は上記に限らず固定の値であっても構わない。

周期性があると判定された場合(Ｓ１５:ＹＥＳ)には、静止物判断部３８は、ステップＳ１２における所定の閾値Ｔｈ１を低下させる（Ｓ１６）。また、所定の閾値ＴＨ１を低下させる期間は大凡１秒程度であり、周期性ありと判定される毎に所定の閾値Ｔｈ１は再設定される。このように、カウント値の極大値Ｍ，Ｍ１〜Ｍ３の発生位置、すなわち間隔から周期性を判断し、周期性があると判断した場合に所定の閾値Ｔｈ１を低下させるため、一度周期性が判断された場合には周期的静止物が判断され易くすることができる。一方、一度周期性が判断されるまでは所定の閾値Ｔｈ１は低下させることがないので、位置合わせの誤差等に起因する立体物の誤検出を抑制することができる。

一方、周期性がないと判定された場合（Ｓ１５:NO）には、所定の閾値Ｔｈ１は低下させられることなく、処理はステップＳ１７に移行する。

静止物判断部３８は、移動量候補のカウント値の最大値Ｍに基づく所定の閾値Ｔｈ１以上の極大値Ｍ，Ｍ１〜Ｍ３の発生位置(間隔)の投票数(ピーク情報)から周期性を判断する。このため、比較的値が小さい極大値(例えば図２８の符号Ｍ４)を無視することができ、ノイズの影響を受け難く、一層精度良く周期性を判断することができる。

静止物判断部３８は、ステップＳ１７において、自車両Ｖのコントローラから取得した情報に基づいて、自車両Ｖに規定以上の横移動が検出されたか否かを判断する（Ｓ１７）。ちなみに、自車両Ｖのコントローラは、ターンシグナルがオンであり、且つ、車速センサにより検出された車速から決定される規定以上の舵角が検出されたときに、規定以上の横移動が検出されたと判断する。

静止物判断部３８は、規定以上の横移動が検出された場合（Ｓ１７:ＹＥＳ)、ステップＳ１６において低下させた閾値Ｔｈ１を初期化する（Ｓ１８）。これにより、車線変更後の環境に変化に応じて周期的静止物を検出することができる。一方、規定以上の横移動が検出されないと場合（Ｓ１７:Ｎｏ)、所定の閾値Ｔｈ１は初期化されることなく、終了する。

図２９は、周期的静止物の判断処理を示すフローチャートである。静止物判断部３８は、静止相当移動量を算出する（Ｓ２１)。すなわち、静止物判断部３８は、カメラ１０の撮像間隔と、車速センサ２０により検出された自車両Ｖの移動速度とに基づいて、周期的静止物の鳥瞰視上での移動範囲を算出する。この際、静止物判断部３８は、自車両Ｖの速度に対して所定範囲のマージンを持つ移動範囲を算出する。

静止物判断部３８は、ステップＳ２１において検出された移動量の範囲内に極大値Ｍ，Ｍ１、Ｍ３(ヒストグラムのピーク)が存在するか否かを判断する（Ｓ２２）。静止物判断部３８は、極大値Ｍ，Ｍ１〜Ｍ３のいずれかが移動量の範囲内に存在すると判断した場合に（Ｓ２２:ＹＥＳ)、周期的静止物が存在すると判断する（Ｓ２３）。周期的静止物は、同じ間隔で並んでいることが多く、特定のカウント値が大きくなる傾向にある。また、周期的静止物は静止しているため、移動量候補のカウント値は移動体の速度等を考慮した移動範囲内に収まるはずである。よって、ステップＳ２２において [ＹＥＳ]と判断された場合、複数の立体物が周期的静止物であるといえる。

ステップＳ２２において、静止物判断部３８は、上記移動量の範囲内に極大値Ｍ，Ｍ１〜Ｍ３のいずれも存在しないと判断した場合（Ｓ２２:Ｎｏ)は、ステップＳ２４において周期性の有無を判断する。周期性があると判定されなかった場合（Ｓ２４:Ｎｏ)には、立体物を移動物であると判断する（Ｓ２５）。他方、ステップＳ２４において周期性があると判断された場合（Ｓ２４:ＹＥＳ)には、所定の隣値Ｔｈ１以上の極大値から非周期的極大値を検出する（Ｓ２６）。非周期的極大値とは、例えば図２８に示す極大値Ｍ３が相当する。この極大値Ｍ３は、隣接する極大値との間隔が他の極大値Ｍ，Ｍ１，Ｍ２と異なっている。このため、静止物判断部３８は、この極大値Ｍ３を周期性の無い非周期的極大値と判定する。

そして、非周期的極大値を検出できなった場合（Ｓ２６：Ｎｏ）は、周期性があり非周期的極大値が存在しないことから、静止物判断部３８は、周期的静止物が存在すると判断する（Ｓ２３）。

一方、非周期的極大値を検出できた場合（Ｓ２６：ＹＥＳ）に、静止物判断部３８は、周期的極大値Ｍ，Ｍ１、Ｍ２が前回値よりも低下しているか否か判断する（Ｓ２７）。この処理において、静止物判断部３８は、今回処理における周期的極大値Ｍ，Ｍ１，Ｍ２の平均値を算出すると共に、前回処理における周期的極大値の平均値についても算出する。静止物判断部３８は、今回処理の平均値が前回処理の平均値よりも所定値以上低下しているか判断する。

周期的極大値Ｍ，Ｍ１，Ｍ２が前回値よりも低下していると判断した場合（Ｓ２７：ＹＥＳ）、静止物判断部３８は、自車両Ｖと周期的静止物との問に他車両等が進入したと判断し、移動物を検出する（Ｓ２５）。

一方、周期的極大値Ｍ，Ｍ１，Ｍ２が前回値よりも低下していないと判断した場合（Ｓ２７：Ｎｏ）、静止物判断部３８は、自車両Ｖからみて周期的静止物の奥側に他車両ＶＸ等が進入したと判断し、周期的静止物を検出する（Ｓ２３）。

図３０は、図２９に示すステップＳ２７の詳細を示す図であり、（ａ）は周期的静止物の手前側に他車両Ｖ０が進入した場合を示し、（ｂ）は（ａ）の場面におけるヒストグラムを示している。また、（ｃ）は周期的静止物の奥側に他車両Ｖ０が進入した場合を示し、（ｄ）は（ｃ）の場面におけるヒストグラムを示している。なお、図３０（ｂ）及び（ｄ）において破線は他車両進入前のヒストグラムを示し、実線は他車両進入後のヒストグラムを示している。

図３０（ａ）に示すように、周期的静止物の手前側に他車両Ｖ０が進入したとする。このとき、他車両Ｖ０により周期的静止物の撮像が遮られることから、図３０（ｂ）に示すように、周期的極大値のカウント値は小さくなる傾向にある。特に、周期的静止物の手前側に他車両Ｖ０が進入する場合は、自車両Ｖが車線変更可能な位置に他車両Ｖ０が存在する可能性がある。このため、このような場合、静止物判断部３８は、他車両Ｖ０(移動物)を検出する。

本実施形態に係る立体物検出装置１によれば、鳥瞰視画像の所定領域の画像、データから複数の立体物の接地点(特徴点)を抽出し、所定の検知領域内における接地点の分布に対応したヒストグラム(波形データ)を算出し、そのヒストグラムのピークの値、ピークの間隔の投票数等(ピーク情報)が所定の閾値以上であるか否かに基づいて、複数の立体物が周期的静止物候補であるか否かを判断する。上記ヒストグラムのピークの値、ピークの間隔の投票数等(ピーク情報)を周期性評価値の一態様として適用し、上記所定の閾値を周期性評価閾値の一態様として適用することができる。本手法によれば、周期的静止物の有する周期性(繰り返し性)を波形データのピーク情報としてより明確に抽出することができ、撮像画像に含まれる立体物の中から周期的静止物候補をより容易に抽出できる。これにより、より精度良く周期的静止物を抽出することが可能になる。

次に、エッジ情報に基づく周期性の評価手法の一例について説明する。本例において静止物判断部３８はエッジの分布を検出する。なお、静止物判断部３８は、エッジの分布の検出をエッジ検出部３６に行わせ、その結果を取得することができる。静止物判断部３８は、鳥瞰視画像に含まれる周期的静止物のエッジ(特徴点)を検出するために、視点変換部３１により視点変換された鳥瞰視画像データに対して輝度差の算出を行う。静止物判断部３８は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに当該各位置の近傍の２つの画素問の輝度差を算出する。具体的には、視点変換された鳥瞰視画像に対して実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。静止物判断部３８は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を第１鉛直仮想線に沿って連続的に求める。

静止物判断部３８は、図３１に示すように、実空間で接地線Ｌ１上の点から鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第１鉛直仮想線Ｋａｉ(以下、注目線Ｌａｉという)を複数設定する。注目線Ｌａｉの本数は特に限定されない。以下の説明では、ｎ本の注目線Ｌａｉ（ｉ＝１〜ｎ)が設定されたものとして説明する。

静止物判断部３８は、複数の注目線Ｌａｉに各々対応し、実空間で接地線Ｌ１上の点から鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒｉ(以下、参照線Ｌｒｉという)を複数設定する。各参照線Ｌｒｉは、実空間において対応する注目線Ｌａｉから所定距離(例えば、１０c m)だけ離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線は、鳥瞰視画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。

静止物判断部３８は、各注目線Ｌａｉ上に注目点Ｐａｊを複数設定する。図３１に示す例では注目点Ｐａ１〜Ｐａ８が設定されているが、注目点Ｐａｊの個数は特に限定されない。以下の説明では、ｋ個の注目点Ｐａｊ（ｊ＝１〜ｋ)が設定されたものとして説明する。

静止物判断部３８は、各参照線Ｌｒｉ上に、上記注目点Ｐａｊに各々対応する参照点Ｐｒｊを複数設定する。互いに対応する注目点Ｐａｊと参照点Ｐｒｊとは、実空間上において略同じ高さに設定される。なお、注目点Ｐａｊと参照点Ｐｒｊとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａｊと参照点Ｐｒｊとが同じ高さとみなせる程度の誤差は許容されることは勿論である。

静止物判断部３８は、互いに対応する注目点Ｐａｉと参照点Ｐｒｊとの聞の輝度差を、各注目線Ｌａｉに沿って連続的に求める。図３１に示す例では、第 １注目点Ｐａ１と第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２と第２参照点Ｐｒ２との問で輝度差を算出する。そして同様にして、第３〜第８注目点Ｐａ３〜Ｐａ８と第３〜第８参照点Ｐｒ３〜Ｐｒ８との輝度差を順次求める。

静止物判断部３８は、注目点Ｐａｉと参照点Ｐｒｊとの輝度差が所定値以上である場合に、注目点Ｐａｉと参照点Ｐｒｊとの間にエッジ要素が存在すると判定する。そして静止物判断部３８は、当該エッジ要素が同じ注目線Ｌａｉに沿って何個存在するかをカウントする。静止物判断部３８は、カウントしたエッジ要素の個数を、各注目線Ｌａｉの属性として記憶する。静止物判断部３８は、エッジ要素の検出およびカウントの処理をすべての注目線Ｌａｉに対して実行する。なお、注目線Ｌａｉのうち検出領域Ａ１と重複する部分の長さは、各注目線Ｌａｉの位置に応じて異なるものとなる。カウントしたエッジ要素の個数は、対応する注目線Ｌａｉの重複部分の長さで除算することで正規化してもよい。

図３１に示す例では、検出領域Ａ１に他車両Ｖ０が映っている。他車両Ｖ０のタイヤのゴム部分に注目線Ｌａｉが設定され、そこから１０cm相当だけ離れたタイヤのホイール上に参照線Ｌｒｉが設定されていると仮定する。このとき第１注目点Ｐａ１と第１参照点Ｐｒ１とは、同じタイヤ部分に位置するために、それらの聞の輝度差は小さい。一方、第２〜第８注目点Ｐａ２〜Ｐａ８はタイヤのゴム部分に位置し、第２〜第８参照点Ｐｒ２〜Ｐｒ８はタイヤのホイール部分に位置するために、それらの聞の輝度差は大きくなる。第２〜８注目点Ｐａ２〜Ｐａ８と第２〜第８参照点Ｐｒ２〜Ｐｒ８との輝度差が所定値以上であれば、静止物判断部３８は、第２〜第８注目点Ｐａ２〜Ｐａ８と第２〜第８参照点Ｐｒ２〜Ｐｒ８との間にエッジ要素が存在することを検出する。第２〜第８注目点Ｐａ２〜Ｐａ８は注目線Ｌａｉに沿って７個存在しているので、エッジ要素を７回検出し、エッジ要素のカウント値は「７」となる。

静止物判断部３８は、各注目線Ｌａｉに対して得られたエッジ要素のカウント値をグラフ化し、エッジ分布の波形(波形データ)を得る。具体的には、静止物判断部３８は、エッジ要素のカウント値を縦軸とし、実空間における注目線Ｌａｉの接地線Ｌ１上の位置を横軸とした平面上に、エッジ要素のカウント値をプロットする。注目線Ｌａ１〜Ｌａｎが実空間において接地線Ｌ１上に等間隔で設定されている場合には、各注目線Ｌａｉに対して得られたエッジ要素のカウント値を、注目線Ｌａｉ〜Ｌａｎの順に並べるだけで、エッジ分布の波形を得ることができる。図３１に示した例では、他車両Ｖ０のタイヤのゴム部分に設定された注目線Ｌａｉが鳥瞰視画像上において接地線Ｌ１と交差する位置において、エッジ要素のカウント値が「７」となっている。

このように静止物判断部３８は、実空間において鉛直方向に伸びる複数の鉛直仮想線ごとに、当該鉛直仮想線に沿って存在するエッジ要素の個数を積算する。積算したエッジ要素の個数に基づいてエッジ分布波形(波形データ)を得る。

静止物判断部３８は、エッジ分布波形のピークを検出する。ピークとは、エッジ分布波形上においてエッジ要素のカウント値が増加から減少に転じる点である。静止物判断部３８は、エッジ分布波形に対して、例えば、ローパスフィル夕、移動平均フィルタ等によるノイズ除去処理を施した上で、ピーク検出を行う。ここで、所定の閾値以上の値を有するピークのみをピークとして検出するようにしてもよい。所定の閾値は、例えば、エッジ分布波形の最大値の６０％の値に設定することができる。

静止物判断部３８は、検出したピークのうち等間隔に並んだピークの個数をカウントする。具体的には、検出した各ピーク間の距離を算出し、算出したピーク間距離が所定範囲内にあるピークを抽出し、その個数をカウントする。

静止物判断部３８は、カウントしたピークの個数(ピーク情報)が所定の閾値Ｔｈ２以上であるか否かに基づいて、カウントされた各ピークに対応する物が周期的静止物候補に該当するか否かを判定する。具体的には、静止物判断部３８は、カウントしたピークの個数が所定の閾値Ｔｈ２以上であるとき、カウントされた各ピークに対応する物が周期的静止物候補であると判定する。閾値Ｔｈ２は、例えば、パイロン、ガードレール脚部、電柱など、検出対象である周期的静止物の種類に応じて定まる値であり、実験等を通じて求めることができる。具体的には、閾値Ｔｈ２は、例えば、３以上１００以下の値に設定される。

静止物判断部３８は、周期的静止物候補が所定時間継続して検出されたとき、当該周期的静止物候補が周期的静止物であると判定する。具体的には、ピークの個数が所定の閾値Ｔｈ２以上である状態が所定時間継続して検出されたとき、検出した周期的静止物候補が周期的静止物である可能性が高いと判断する。そして、静止物判断部３８は、カウントされた各ピークに対応する物体が周期的静止物であると判定する。本例では、エッジ分布波形においてカウントされるピークの個数が周期性評価値の一態様であり、閾値Ｔｈ２が周期性評価閾値の一態様である。閾値Ｔｈ２は、上述したガードレール等の構造物Ｑ２を識別する観点から設定される第２周期性評価閾値としての閾値と、他車両ＶＸを識別する観点から設定される第１周期性評価閾値としての閾値とを含む。「所定時間」は、検出対象である周期的静止物の種類に応じて定まる値であり、実験等を通じて求めることができる。固定値としてもよいし、カメラ１０の撮像間隔や自車両Ｖの移動速度に応じて変動させてもよい。具体的に「所定時間」は、例えば、０．１〜５秒に設定される。

図３２、図３３は、周期的静止物の検出処理のフローチャートである。なお、図３２，３３においては、便宜上、検出領域Ａ１を対象とする処理について説明するが、検出領域Ａ２についても同様に処理を行うことができる。

図３２に示すように、ステップＳ３１において、得られた撮像画像データに基づいて視点変換処理を行い、鳥瞰視画像データを作成する。次に、ステップＳ３２において、検出領域Ａ１上にｎ本の注目線Ｌａｉを設定するとともに、ｎ本の注目線Ｌａｉに各々対応するｎ本の参照線Ｌｒｉを設定する（i=１〜ｎ)。静止物判断部３８は、実空間で接地線Ｌ１上の点から鉛直方向に伸びる注目線Ｌａｉを設定する。また、実空間で接地線Ｌ１上の点から鉛直方向に伸びる線分に該当し、且つ、実空間において対応する注目線Ｌａｉから所定距離だけ離間した参照線Ｌｒｉを設定する。

静止物判断部３８は、ステップＳ３３において、各注目線Ｌａｉ上にｋ個の注目点Ｐａｊを設定するとともに、各参照線Ｌｒｉ上に、注目点Ｐａｊに各々対応するｋ個の参照点Ｐｒｊを設定する（j=l〜ｋ)。互いに対応する注目点Ｐａｊと参照点Ｐｒｊとは、実空間上において路同じ高さとなるように設定する。

静止物判断部３８は、ステップＳ３４において、互いに対応する注目点Ｐａｊと参照点Ｐｒｊとの輝度差が所定値以上であるか否かを判定する。輝度差が所定値以上であると判定した場合は、判断対象となった注目点Ｐａｊと参照点Ｐｒｊとの間にエッジ要素が存在すると判断し、ステップＳ３５にて、第ｉ番目の注目線Ｌａｉのカウント値(bincount(i))に「１」を代入する。ステップS３４において、輝度差が所定値に満たないと判定した場合は、判断対象となった注目点Ｐａｊと参照点Ｐｒｊとの間にはエッジ要素が存在しないと判断し、ステップＳ３６へ処理を進める。

静止物判断部３８は、ステップＳ３６において、現在処理対象となっている注目線Ｌａｉ上のすべての注目点Ｐａｊについて、ステップＳ３４の処理を実行したか否かを判定する。すべての注目点Ｐａｊについて、ステップＳ３４の処理を実行していないと判定した場合は、ステップＳ３４に戻り、次の注目点Ｐａｊ＋１と参照点Ｐｒｊ＋１との輝度差を求め、当該輝度差が所定値以上であるか否かを判定する。このようにして、静止物判断部３８は、注目点Ｐａｊと参照点Ｐｒｊとの関の輝度差を、注目線Ｌａｉに沿って順次連続的に求めて、求めた輝度差が所定値以上となった場合に、エッジ要素が存在すると判断する。

静止物判断部３８は、ステップＳ３５にて、第１番目の注目線Ｌａｉのカウント値(bincount(i))に「１」を代入したあと、ステップＳ３７へ処理を進め、そこで、次の注目点Ｐａｊ＋１と参照点Ｐｒｊ＋１との輝度差を求め、当該輝度差が所定値以上であるか否かを判定する。輝度差が所定値以上であると判定した場合は、静止物判断部３８は、判断対象となった注目点Ｐａｊ＋１と参照点Ｐｒｊ＋１との間にエッジ要素が存在すると判断し、ステップＳ３８にて、第ｉ番目の注目線ｌａｉのカウント値 (bincount(i))をカウントアップする。

静止物判断部３８は、ステップＳ３７において、輝度差が所定値に満たないと判定した場合は、判断対象となった注目点Ｐａｊ＋１と参照点Ｐｒｊ＋１との間にはエッジ要素が存在しないと判断し、ステップＳ３８をとばして、ステップＳ３９に処理を進める。

静止物判断部３８は、ステップＳ３９において、現在処理対象となっている注目線Ｌａｉ上のすべての注目点Ｐａｊについて、ステップＳ３４またはステップＳ３７の処理を実行したか否かを判定する。すべての注目点Ｐａｊについて、上記の処理を実行していないと判定した場合は、ステップＳ３７に処理を戻し、次の注目点Ｐａｊ＋１と参照点Ｐｒｊ＋１との輝度差を求め、当該輝度差が所定値以上であるか否かを判定する。ステップＳ３９において、すべての注目点Ｐａｊについて上記の処理を実行したと判定した場合は、ステップＳ４１に進む。静止物判断部３８は、エッジ要素が同じ注目線Ｌａｉに沿って何個存在しているかをカウントし、カウントしたエッジ要素の偶数を、注目線Ｌａｉの属性 (bincount(i))として記憶する。

なお、ステップＳ３６において、すべての注目点ＰａｊにステップＳ３４の処理を実行したと判定した場合は、静止物判断部３８は現在処理対象となっている注目線Ｌａｉ上にはエッジ要素が存在しないと判断する。そして、静止物判断部３８はステップＳ４０にて、 bincount(i)に「０」を代入し、ステップＳ４１に処理を進める。ステップＳ４１において、ｎ本の注目線Ｌａｉすべてについて、上記の処理を実行した場合は、ステップＳ４２に処理を進め、上記の処理を実行していない場合には、ステップＳ３４以降の処理を行う。

静止物判断部３８は、ステップＳ４２において、ｎ本の注目線Ｌａｉの各々に対して得られたエッジ要素のカウント値 bincount(i)(i=1〜ｎ)をグラフ化し、エッジ分布波形を得る。具体的には、エッジ要素のカウント値を縦軸とし、実空間における注目線Ｌａｉの接地線Ｌ１上の位置を横軸とした平面上に、エッジ要素のカウント値bincount(i)(i=1〜ｎ)をプロットする。続くステップＳ４３では、エッジ 分布波形のピークを検出する。ステップＳ４４では、検出した各ピーク間の距離を算出する。ステップＳ４５では、算出したピーク間距離が所定範囲内にあるピークを抽出し、その個数をカウントする。静止物判断部３８は、エッジの検出処理をエッジ線検出部３６、立体物検出部３７にさせて、処理結果を取得してもよい。

ステップＳ４６において、静止物判断部３８は、ステップＳ４６において、カウントしたピークの個数が所定の閾値Ｔｈ２以上であるか否かを判定する。ピークの個数が所定の閾値Ｔｈ２以上であると判定した場合に、静止物判断部３８は、各ピークに対応する物が周期的静止物候補であると判定し、ステップＳ４７に処理を進める。

ステップＳ４７において、静止物判断部３８は、ピークの個数が所定の閾値Ｔｈ２以上である状態が所定回数以上連続して検出されたか否か判断する。ピークの個数が所定の閾値Ｔｈ2以上である状態が所定回数以上連続して検出されたと判断した場合は、静止物判断部３８は、カウントされた各ピークに対応する物が周期的静止物であると判断し、ステップＳ４８にて、フラグf_shukiに「１」を代入する。一方、ステップＳ４７において、ピークの個数が所定の閾値Ｔｈ２以上である状態が所定回数以上連続して検出されていないと判断した場合は、静止物判断部３８は、ステップＳ４８をとばして、フラグf_shukiの値を維持する。

ステップＳ４７において、ピークの個数が所定の閾値Ｔｈ２未満であると判定した場合はステップS４９に処理を進め、静止物判断部３８は、ステップＳ４９においてピークの個数が所定の閾値Ｔｈ２未満である状態が所定回数以上連続して検出されたか否か判断する。本例では、ピークの個数が所定の閾値Ｔｈ２未満である状態の検出回数を周期性評価値の一態様とし、所定回数を周期性評価閾値の一態様とすることもできる。所定回数は、上述したガードレール等の構造物Ｑ２を識別する観点から設定される第２周期性評価閾値としての回数と、他車両ＶＸを識別する観点から設定される第１周期性評価閾値としての閾値とを含ませることができる。先述した閾値Ｔｈ２及び所定回数の両方を周期性評価閾値として設定することもできる。ピークの個数が所定の閾値Ｔｈ２未満である状態が所定回数以上連続して検出されたと判断した場合は、静止物判断部３８は、カウントされた各ピークに対応する物は周期的静止物ではないと判断し、ステップＳ５０にて、フラグf_shukiに「０」を代入する。一方、ステップＳ４９において、ピークの個数が所定の閾値Ｔｈ２未満である状態が所定回数以上連続して検出されてなかった場合は、静止物判断部３８は、ステップＳ５０をとばして、フラグ f_shukiの値を維持する。

本実施形態に係る立体物検出装置１及び立体物検出方法によれば、鳥瞰視画像の所定領域の画像データから複数の立体物のエッジ(特徴点)を抽出し、所定領域内におけるエッジの分布に対応したエッジ分布波形(波形データ)を算出し、そのエッジ分布波形のピークの個数(ピーク情報)が所定の閾値以上であるか否かに基づいて、複数の立体物が周期的静止物候補であるか否かを判断する。このため、第1実施形態と同様に、周期的静止物の有する周期性(繰り返し性)を波形データのピーク情報としてより明確に抽出することができ、撮像画像に含まれる立体物の中から周期的静止物候補をより容易に抽出できる。これにより、より精度良く周期的静止物を抽出することが可能になる。

また、実空間において鉛直方向に伸びる複数の鉛直仮想線ごとに、鉛直仮想線に沿って存在するエッジ要素の個数を積算し、積算したエッジ要素の個数に基づいてエッジ分布波形を得ている。そして、エッジ分布波形のピークの個数が所定の閾値Ｔｈ２以上であるとき、複数の立体物が周期的静止物候補であると判定する。このため、検知した複数の立体物が静止物であるか移動物であるかを判定しなくても、鉛直方向に延びるエッジが高密度に並んでいる場合を確実に検知して、周期的静止物である可能性がより高い周期的静止物候補をより容易に検出することができる。

次に、エッジ情報に基づく不規則性の判断手法の一例を説明する。
静止物判断部３８は視点変換部3３１により視点変換された検出領域Ａ１，Ａ２の鳥瞰視画像データから、予め定められた人工的立体物の条件を満たさず不規則に並ぶ不規則エッジ点を検出するものである。ここで、予め定められた人工的立体物の条件とは、検出領域Ａ１，Ａ２の鳥瞰視画像データ上において、略直線的に所定密度以上でエッジ点が並んでいることである。なお不規則性の判断処理において、静止物判断部３８は、エッジ情報の処理を、エッジ線検出部３６、立体物検出部３７に実行させ、その処理結果を取得することができる。

図３４は、検出領域Ａ１の鳥瞰視画像データ上におけるエッジ点を示す図である。図３４に示すように、検出領域Ａ１の鳥瞰視画像データ上には複数のエッジ点Ｐが存在する。このうち、領域Ｒ１,Ｒ２内に位置するエッジ点Ｐについては、略直線的に所定密度以上で並んでおり、予め定められた人工的立体物の条件を満たしている。しかし、領域Ｒ１,Ｒ２外に位置するエッジ点Ｐについては、略直線的に所定密度以上で並んでおらず、予め定められた人工的立体物の条件を満たしていない。静止物判断部３８は、上記複数のエッジ点Ｐのうち領域Ｒ１,Ｒ２外に位置するエッジ点Ｐを、不規則エッジ点Ｐ１として検出する。

静止物判断部３８は、検出領域Ａ１，Ａ２の鳥瞰視画像データからエッジ点Ｐを検出する。このエッジ点検出処理は、例えぱ鳥瞰視画像データにラプラシアンフィルタをかけて２値化処理を行うことにより、エッジ点Ｐを検出する。

静止物判断部３８は、検出されたエッジ点Ｐのうち、予め定められた人工的立体物の条件を満たす規則的に並んだ規則的エッジ点Ｐ２を検出する。静止物判断部３８は、検出領域Ａ１，Ａ２の鳥瞰視画像データにおいて、カメラ１０から放射方向に所定密度以上でエッジ点Ｐが並んでいることを条件として、規則的エッジ点Ｐ２を検出する。一例を挙げると、静止物判断部３８は、カメラ１０から放射方向に伸びる直線を定義し、この直線から所定画素(例えば１０画素)以内に収まる領域を決定する。静止物判断部３８は、この領域内のエッジ点Ｐを略直線的に並ぶものと判断し、領域内のエッジ点Ｐが互いに所定距離(所定画素)以内に位置しているか否かを判断することで、所定密度以上で並んでいるか否かを判断する。

エッジ点Ｐと規則的エッジ点Ｐ２が検出されると、静止物判断部３８は、検出されたエッジ点Ｐの数から規則的エッジ点Ｐ２の数を減算した数を、不規則エッジ点Ｐ１の数として検出する。静止物判断部３８は、検出領域Ａ１，Ａ２内に草及び泥や士をまだらに含む雪の少なくとも一方が存在するか否かを判断するものである。判断にあたり、静止物判断部３８は、検出された不規則エッジ点Ｐ１の数を参照する。

図３５は、検出領域Ａ１の鳥瞰視画像データにおけるエッジ点Ｐを示す図であり、(a)は車両(タイヤ部分)のエッジ点Ｐを示し、(b)は草のエッジ点Ｐを示し、(C)は雪のエッジ点Ｐを示している。まず、車両(タイヤ)は人工物である。このため、エッジ点Ｐは規則的に並び易い傾向にある。よって、図３５（ａ）に示すように、車両については不規則エッジ点Ｐ１の数が少なくなり、規則的エッジ点Ｐ２が多くなる傾向にある。一方、草や雪は人工的立体物でないことから、図３５（ｂ）及び３５（ｃ）に示すように、略直線的に所定密度で並ぶエッジ点Ｐ (すなわち規則的エッジ点Ｐ２)が少なく、不規則エッジ点Ｐ１の数が多くなる。静止物判断部３８は、不規則エッジ点Ｐ１の数と所定の閾値とを比較することで、草や雪を判断することができる。ここで、不規則エッジ点Ｐ１の値は不規則性評価値の一態様であり、比較される所定の閾値は不規則性評価閾値の一態様である。所定の閾値は、上述した木陰Ｑ１と草・雪Ｑ３を識別する観点から設定される不規則性評価閾値としての閾値を少なくとも含む。

静止物判断部３８は、エッジ点Ｐの数又は規則的エッジ点Ｐ２の数に対する、不規則エッジ点Ｐ１の数の比率に基づいて、草や雪を検出することが望ましい。エッジ点Ｐの数は、画像撮像時における光環境の影響を受けて増減する場合がある。このため、静止物判断部３８は、単に不規則エッジ点Ｐ１の数と所定の閾値とを比較するよりも、上記比率と所定の閾値とを比較する方が光環境の影響を受け難く草や雪を正確に判断することができる。ここで、エッジ点Ｐの数又は規則的エッジ点Ｐ２の数に対する、不規則エッジ点Ｐ１の数の比率は不規則性評価値の一態様であり、比較される比率に関する所定の閾値は不規則性評価閾値の一態様である。所定の閾値は、上述した木陰Ｑ１と草・雪Ｑ３を識別する観点から設定される不規則性評価閾値としての閾値を少なくとも含む。

次に、本実施形態に係る不規則性の評価方法、具体定期には不規則性の高い草・雪検出方法について説明する。図３６は、本実施形態に係る雪・草壁検出方法を示すフローチャートである。図３６に示すように、まず静止物判断部３８は視点変換部３１の視点変換により得られた鳥瞰視画像データにラプラシアンフィルタを掛ける(Ｓ１)。これにより、エッジ点Ｐに相当する画素の画素値は大きくなり、その他の画素については画素値が小さくなる。

その後、静止物判断部３８は、ラプラシアンフィルタを掛けた画像に対して、 2値化処理を施し（Ｓ２）、エッジ点Ｐを明確にする。そして、静止物判断部３８は、エッジ点Ｐの数Ｎをカウントする（Ｓ３）。静止物判断部３８は、ステップＳ４，Ｓ５の処理において、カメラ１０から放射方向に、所定密度以上でエッジ点Ｐが並んでいることを人工的立体物の条件として規則的エッジ点Ｐ２を検出し、規則的エッジ点Ｐ２の数Ｍをカウントする。すなわち、静止物判断部３８は、まず鉛直エッジを検出し（Ｓ４）、鉛直エッジ周辺(例えば鉛直エッジから１０画素以内)のエッジ点Ｐの数Ｍをカウントする（Ｓ５）。

次に、静止物判断部３８は、ステップＳ３においてカウントし、算出したエッジ点Ｐの数ＮからステップＳ５において算出した規則的エッジ点Ｐ２の数Ｍを減じることで、不規則エッジ点Ｐ１の数Ｌを算出する（Ｓ６）。静止物判断部３８は、比率を算出する（Ｓ７）。このとき、静止物判断部３８は、エッジ点Ｐの数Ｎ又は規則的エッジ点Ｐ２の数Ｍに対する不規則エッジ点Ｐ１の数Ｌの比率を、Ｌ／Ｎ又はＬ／Ｍなる式から算出する。なお、この比率は、Ｌ／Ｎ又はＬ／Ｍを含んでいれば、他の数が加減算されてもよいし乗除算されてもよい。

次に、静止物判断部３８は、ステップＳ７にて算出された比率が所定の閾値以上であるか否かを判断する（Ｓ８）。比率が所定の閧値以上であると判断した場合（Ｓ８：ＹＥＳ)、不規則エッジ点Ｐ１の数が多いことから検出領域Ａ１,Ａ２内に草や雪が存在する可能性が高い。よって、静止物判断部３８は、検出領域Ａ１,Ａ２内に草又は雪が存在すると判断する（Ｓ９）。制御部３９は、立体物検出部３７、立体物判断部３４に対して立体物が検出され又は判断されることを抑制する旨の制御命令を送信する（Ｓ１０）。これにより、立体物検出部３７、立体物判断部３４は、検出領域Ａ１，Ａ２内に草又は雪に由来する像が存在すると認識し、草又は雪を他車両ＶＸとして誤検出しないようにすることができる。

静止物判断部３８は、一方、比率が所定の閾値値以上でないと判断した場合（Ｓ８：Ｎｏ）、検出領域Ａ１、Ａ２内に草又は雪の像が存在しないと判断する。

本実施形態に係る不規則性の判断に基づく草・雪の検出手法によれば、予め定められた人工的立体物の条件を満たさず不規則に並ぶ不規則エッジ点Ｐ１を検出すると共に、不規則エッジ点Ｐ１の数Ｌに基づいて草及び雪が存在するかを判断する。ここで、検出領域Ａ１、Ａ２内に車両などの人工物が入っている場合、人工物であるがゆえにエッジ点Ｐは規則的に並びやすい傾向にある。これに対して、草及び雪の場合、人工物でないためエッジ点Ｐは不規則に並び易くなる。よって、不規則エッジ点Ｐ１の数Ｌから、前者と後者とを区別づけることができる。従って、草や雪の判断精度を向上させることができる。

また、検出領域Ａ１、Ａ２内の画像データからエッジ点Ｐを検出すると共に、予め定められた人工的立体物の条件を満たす規則的に並んだ規則的エッジ点Ｐ２を検出し、前者から後者を減算する。このため、全体のエッジ点Ｐを把握したうえで規則的なエッジ点Ｐ２を減じることで、不規則に並ぶ不規則エッジ点Ｐ１を検出することができる。

また、エッジ点Ｐの数Ｎ又は規則的エッジ点Ｐ２の数Ｍと、不規則エッジ点Ｐ１の数Ｌとの比率に基づいて、検出領域Ａ１、Ａ２内に草及び雪の少なくとも一方が存在するかを判断する。このため、光環境の相違によりエッジ点Ｐが多く検出されたり少なく検出されたりするような場合であっても、エッジ点Ｐの数Ｎ又は規則的エッジ点Ｐ２の数Ｍと、不規則エッジ点Ｐ１の数Ｌとは、それぞれ同様に多く検出されたり少なく検出されたりすることとなる。よって、比率自体は光環境に影響され難いといえる。従って、光環境の変化によっても影響を受け難く草や雪を検出することができる。

また、検出領域Ａ１，Ａ２の画像データを鳥瞰視した状態で略直線的に所定密度以上でエッジ点が並んでいることを条件として、規則的エッジ点Ｐ１を抽出する。このため、人工物などのように直線成分が多いものについては、規則的エッジ点Ｐ１が検出され易くなり、草や雪については規則的エッジ点Ｐ１が検出され難くなる。よって、一層正確に草や雪を検出することができる。

また、検出領域Ａ１，Ａ２の画像データを鳥瞰視した状態で、カメラ１０から放射方向に、所定密度以上でエッジ点Ｐが並んでいることを条件として、規則的エッジ点Ｐ２を検出する。このため、実空間上において鉛直方向に伸びる成分を規則的エッジ点Ｐ２として検出することとなり、立体物である車両がもつ鉛直方向のエッジ点Ｐを捉えることができるため、車両と草や雪との相違を明確とすることができる。

上述したエッジの不規則性は、本発明の差分画像情報の特徴として把握することができる。つまり、差分画像情報を生成する際に、位置合わせされた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素の画素数をカウントして度数分布化するが、この差分画像上で所定の差分を示す画素を本不規則性処理におけるエッジとして扱い、この画素の度数分布に基づいて上記手法を適用して不規則性を判断することができる。

以上のとおり構成され、動作する本発明の本実施形態に係る立体物検出装置１によれば、以下の効果を奏する。
（１）本実施形態の立体物検出装置１によれば、撮像画像の差分波形情報又はエッジ情報に基づいて周期性を評価するための周期性評価値と不規則性を評価するための不規則性評価値とを算出し、周期性評価値が所定値域内であり、不規則性評価値が所定の閾値以上である場合に周期性と不規則性を備える樹木の影が画像情報に含まれていることを識別することができるので、車両の走行路に沿って存在する樹木の影を自車両の走行車線の隣の隣接車線を走行する他車両として誤検出することを防止することができる。この結果、自車両の走行車線の隣の隣接車線を走行する他車両ＶＸを、高い精度で検出する立体物検出装置を提供することができる。
差分波形情報に基づく処理であっても、エッジ情報に基づく処理であっても同様の作用及び効果を奏する。

（２）本実施形態の立体物検出装置１によれば、周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、不規則性評価値が不規則性評価値閾値以上である場合には、立体物検出部３３により検出された立体物が自車両Ｖの走行路に沿って存在する草又は雪Ｑ３であると判断することができる。草・雪Ｑ２と木陰Ｑ１はいずれも不規則性を備え、これらを識別することは容易ではないが、本実施形態のように、周期性評価値に基づいて木陰Ｑ１及び草・雪Ｑ２を絞り込んでから、不規則性評価値に基づいて、木陰Ｑ１又は草・雪Ｑ２を識別することにより、木陰Ｑ１を草・雪Ｑ２から正確に識別することができる。

（３）本実施形態の立体物検出装置１によれば、周期性評価値が設定された第２周期性評価閾値以上である場合には、検出された立体物がガードレールなどの構造物Ｑ２であると判断することができる。ガードレールなどの構造物Ｑ２の周期性と木陰Ｑ３の周期性とは比較的明確に識別できるので、第２周期性評価閾値をガードレールなどの構造物Ｑ２の周期性に基づいて設定することにより、木陰Ｑ３及び草・雪Ｑ２をガードレールなどの構造物Ｑ２と正確に識別することができる。この結果、木陰Ｑ１を正確に識別することができる。

（４）本実施形態の立体物検出装置１によれば、周期性評価値が第１周期性評価閾値未満である場合には、検出された立体物が移動体、例えば他車両ＶＸであると判断することができる。他車両ＶＸの周期性と草・雪Ｑ２の周期性とはいずれも低いものの、識別可能な差を見出すことができるので、第１周期性評価閾値を他車両ＶＸの周期性に基づいて設定することにより、木陰Ｑ３及び草・雪Ｑ２を他車両ＶＸから正確に識別することができる。この結果、木陰Ｑ１を正確に識別することができる。

（５）本実施形態の立体物検出装置１によれば、物体の周期性が検出し難い暗い状況においては、草・雪Ｑ３及び木陰Ｑ１を判断するための下限の閾値である第１周期性評価閾値を高い値に変更するので、立体物を他車両ＶＸであると判断し易くすることができる。この結果、暗い状況においても、他車両ＶＸを検出し損ねることなく、木陰Ｑ１を正確に判断することができる。暗い状況においては、他車両ＶＸの周期性も検出し難くなるので、立体物を他車両ＶＸであると判断し易くすることは、安全確保の観点からも好ましい。

（６）本実施形態の立体物検出装置１によれば、現在位置が都市地域に属する場合には、草・雪Ｑ３及び木陰Ｑ１を判断するための下限の閾値である第１周期性評価閾値を低い値に変更するので、広告塔、看板、その他の構造物が多く存在し、道路の検出領域Ａ１，Ａ２に映り込む木陰Ｑ１又は草・雪Ｑ３の周期性が低くなる傾向がある都市部においても、木陰Ｑ１の周期性を正確に判断することができる。

（７）前回の処理において検出された立体物が自車両Ｖの走行路に沿って存在する樹木の影であると判断された場合には、第１閾値αを高く変更することにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、木陰Ｑ１の像を隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（８）前回の処理において検出された立体物が自車両Ｖの走行路に沿って存在する樹木の影であると判断された場合には、差分波形情報を生成する際の出力値を低くすることにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、木陰Ｑ１の像を隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（９）前回の処理において検出された立体物が自車両Ｖの走行路に沿って存在する樹木の影であると判断された場合には、エッジ情報を生成する際の判断の閾値を高く変更することにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、木陰Ｑ１の像を隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（１０）前回の処理において検出された立体物が自車両Ｖの走行路に沿って存在する樹木の影であると判断された場合には、エッジ情報を生成する際の出力値を低くすることにより、自車両Ｖの走行車線の隣を走行する他車両ＶＸが検出されにくいように検出感度を調整できるため、木陰Ｑ１の像を隣の車線を走行する他車両ＶＸとして誤検出することを防止することができる。

（１１）なお、本実施形態に立体物の検出方法においても同様の作用及び同様の効果を得ることができる。差分波形情報に基づく処理であっても、エッジ情報に基づく処理であっても同様の作用及び効果を奏する。

上記カメラ１０は本発明に係る撮像手段に相当し、上記視点変換部３１は本発明に係る画像変換手段に相当し、上記位置合わせ部３２及び立体物検出部３３は本発明に係る立体物検出手段に相当し、上記輝度差算出部３５，エッジ線検出部３６及び立体物検出部３７は本発明に係る立体物検出手段に相当し、上記立体物判断部３４は立体物判断手段に相当し、上記静止物判断部３８は静止物判断手段に相当し、制御部３９は制御手段に相当し、上記車速センサ２０は車速センサに相当し、上記明るさセンサ５０は、明るさ検出手段に相当し、上記現在位置検出装置６０は、現在位置検出手段に相当する。

１…立体物検出装置
１０…カメラ
２０…車速センサ
３０…計算機
３１…視点変換部
３２…位置合わせ部
３３，３７…立体物検出部
３４…立体物判断部
３５…輝度差算出部
３６…エッジ検出部
３８…静止物判断部
４０…スミア検出部
５０…明るさセンサ
６０…現在位置センサ
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
ＤＷ_ｔ１〜ＤＷ_ｍ，ＤＷ_ｍ＋ｋ〜ＤＷ_ｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢ_ｔ…鳥瞰視画像
ＰＤ_ｔ…差分画像
ＭＰ…マスク画像
Ｓ…スミア
ＳＰ…スミア画像
ＳＢ_ｔ…スミア鳥瞰視画像
Ｖ…自車両
ＶＸ…他車両

Claims (13)

1. 車両に搭載され、車両後方を撮像する撮像手段と、
   前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
   前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて、前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出する立体物検出手段と、を備え、
   前記差分波形情報に基づいて、当該差分波形情報の周期性を評価するための周期性評価値を算出するとともに、前記差分波形情報に基づいて、当該差分波形情報の不規則性を評価するための不規則性評価値を算出し、前記算出された周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、前記算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、前記立体物検出手段により検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断する静止物判断手段と、
   前記立体物検出手段により検出された立体物が前記検出領域に存在する他車両であるか否かを判断する立体物判断手段と、
   前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記立体物判断手段により前記検出された立体物が他車両であると判断されることを抑制する制御手段と、を備えることを特徴とする立体物検出装置。
2. 車両に搭載され、車両後方を撮像する撮像手段と、
   前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
   前記画像変換手段により得られた鳥瞰視画像において、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、互いに隣接する画像領域の輝度差が所定閾値以上であるエッジ情報を検出し、当該エッジ情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出する立体物検出手段と、を備え、
   前記エッジ情報に基づいて、当該エッジ情報の周期性を評価するための周期性評価値を算出するとともに、前記エッジ情報に基づいて、当該エッジ情報の不規則性を評価するための不規則性評価値を算出し、前記算出された周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、前記算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、前記立体物検出手段により検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断する静止物判断手段と、
   前記立体物検出手段により検出された立体物が前記検出領域に存在する他車両であるか否かを判断する立体物判断手段と、
   前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記立体物判断手段により前記検出された立体物が他車両であると判断されることを抑制する制御手段と、を備えることを特徴とする立体物検出装置。
3. 前記静止物判断手段は、前記算出された周期性評価値が第１周期性評価閾値未満である場合には、前記立体物検出手段により検出された立体物が移動体であると判断することを特徴とする請求項１又は２に記載の立体物検出装置。
4. 前記車両周囲の明るさを検出する明るさ検出手段をさらに備え、
   前記静止物判断手段は、明るさ検出手段により検出された明るさが所定値未満である場合には、第１周期性評価閾値を高い値に変更することを特徴とする請求項１〜３の何れか一項に記載の立体物検出装置。
5. 前記車両の現在位置を検出する現在位置検出手段をさらに備え、
   前記静止物判断手段は、各位置情報に当該位置が都市地域であるか郊外地域であるかの情報を対応づけた地図情報を参照し、現在位置検出手段により検出された現在位置が都市地域に含まれる場合には、第１周期性評価閾値を低い値に変更することを特徴とする請求項１〜４の何れか一項に記載の立体物検出装置。
6. 前記制御手段は、前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記立体物の判断処理を中止する内容の制御命令又は前記検出された立体物が他車両ではないと判断する内容の制御命令を生成し、前記立体物判断手段に出力することを特徴とする請求項１〜５の何れか一項に記載の立体物検出装置。
7. 前記立体物検出手段は、前記差分波形情報と第１閾値αとに基づいて立体物を検出し、
   前記制御手段は、前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記第１閾値αを前記立体物が検出され難いように高く変更する制御命令を前記立体物検出手段に出力することを特徴とする請求項１に従属する請求項３〜６の何れか一項に記載の立体物検出装置。
8. 前記制御手段は、前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低くする制御命令を生成し、当該制御命令を前記立体物検出手段に出力することを特徴とする請求項７に記載の立体物検出装置。
9. 前記立体物検出手段は、前記エッジ情報と第２閾値βとに基づいて立体物を検出し、
   前記制御手段は、前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記第２閾値βを前記立体物が検出され難いように高く変更する制御命令を前記立体物検出手段に出力することを特徴とする請求項２に従属する請求項３〜６の何れか一項に記載の立体物検出装置。
10. 前記制御手段は、前記静止物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記検出したエッジ情報の量を低く出力する制御命令を前記立体物検出手段に出力することを特徴とする請求項９に記載の立体物検出装置。
11. 前記静止物判断手段は、前記算出された周期性評価値が第１周期性評価閾値未満であり、かつ前記算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、前記立体物検出手段により検出された立体物が移動体であると判断し、
    前記制御手段は、前記静止物判断手段により前記検出された立体物が移動体であると判断された場合には、前記立体物判断手段により前記検出された立体物が他車両であると判断させることを特徴とする請求項１〜１０の何れか一項に記載の立体物検出装置。
12. 車両に搭載されたカメラにより撮像された車両後方の画像情報を鳥瞰視画像に視点変換するステップと、
    前記支店変換された異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて、前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するステップと、
    前記検出された立体物が前記検出領域に存在する他車両であるか否かを判断するステップと、
    前記差分波形情報に基づいて、当該差分波形情報の周期性を評価するための周期性評価値を算出するとともに、前記差分波形情報に基づいて、当該差分波形情報の不規則性を評価するための不規則性評価値を算出し、前記算出された周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、前記算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、前記立体物検出手段により検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断するステップと、
    前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記検出された立体物が他車両であると判断されることを抑制するステップと、を備えることを特徴とする立体物検出方法。
13. 車両に搭載されたカメラにより撮像された車両後方の画像情報を鳥瞰視画像に視点変換するステップと、
    前記得られた鳥瞰視画像において、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、互いに隣接する画像領域の輝度差が所定閾値以上であるエッジ情報を検出し、当該エッジ情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するステップと、
    前記検出された立体物が前記検出領域に存在する他車両であるか否かを判断するステップと、
    前記エッジ情報に基づいて、当該エッジ情報の周期性を評価するための周期性評価値を算出するとともに、前記エッジ情報に基づいて、当該エッジ情報の不規則性を評価するための不規則性評価値を算出し、前記算出された周期性評価値が第１周期性評価閾値以上かつ第２周期性評価閾値未満であり、前記算出された不規則性評価値が所定の不規則性評価閾値未満である場合には、前記立体物検出手段により検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断するステップと、
    前記検出された立体物が前記自車両の走行路に沿って存在する樹木の影であると判断された場合には、前記検出された立体物が他車両であると判断されることを抑制するステップと、を有することを特徴とする立体物検出方法。

Images