JPWO2013018672A1 - 移動体検出装置及び移動体検出方法 - Google Patents

Abstract

移動体検出装置１は、自車両後方を撮像する撮像手段１０と、撮像画像を鳥瞰視画像に視点変換する画像変換手段３１と、異なる時刻の鳥瞰視画像の差分画像に基づいて差分波形情報を生成し、該差分波形情報に基づいて立体物を検出するとともに、差分波形情報に基づいて立体物の移動速度を算出する立体物検出手段３２，３３，３４と、立体物の移動速度に基づいて立体物が移動体であるか否かを検出する移動体検出手段３４と、自車両の旋回を検出する旋回検出部３５と、自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、前記差分波形情報に基づいて前記立体物を検出すること、または、前記立体物を移動体として検出することを抑制する制御手段３６とを備えている。

Description

本発明は、移動体検出装置及び移動体検出方法に関する。

従来、車両周囲を撮影するカメラを備え、カメラにより撮影された画像を鳥瞰画像に変換すると共に、異なる時刻の鳥瞰画像の差分をとり、この差分に基づいて車両周囲の立体物を検出する障害物検出装置が提案されている。この障害物検出装置は、鳥瞰画像内に他車両等の立体物が存在する場合に他車両等が差分となって表れることから、この特徴に基づいて他車両等の立体物を検出する（特許文献１参照）

特開２００８-２２７６４６号公報

しかし、特許文献１に記載の技術を用いて、立体物が移動体であるか静止物であるかを判断する技術に応用した場合、静止物を移動体であると誤判断してしまうことがあった。すなわち、特許文献１に記載の障害物検出装置において、自車両が旋回している場合、旋回により静止物が動くかのように表現されてしまい、静止物を誤って移動体と判断してしまう可能性があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、移動体の検出精度を向上させることが可能な移動体検出装置及び移動体検出方法を提供することにある。

本発明の移動体検出装置は、異なる時刻の鳥瞰視画像の差分画像上で所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて、所定領域内に存在する立体物を検出するとともに、差分波形情報の波形の時間変化から立体物の移動速度を算出する。そして、立体物の移動速度に基づいて、立体物が移動体であるか否かを検出する。さらに、移動体検出装置は、自車両の旋回を検出し、自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、差分波形情報に基づいて立体物を検出すること、または、立体物を移動体として検出することを抑制する。

本発明によれば、自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、移動体の検出感度を低下させる。そのため、自車両が旋回して静止物が画像上において動くかのように表現されてしまっても移動体の判断精度が低下しているため、静止物を移動体と誤判断しないようにすることができる。従って、移動体の検出精度を向上させることができる。

本実施形態に係る移動体検出装置の概略構成図であって、移動体検出装置が車両に搭載される場合の例を示している。 図１に示した車両の走行状態を示す上面図である。 図１に示した計算機の詳細を示すブロック図である。 図３に示した差分画像生成部の処理の概要を示す上面図であり、（ａ）は車両の移動状態を示し、（ｂ）は位置合わせの概要を示している。 図３に示した差分波形生成部による差分波形の生成の様子を示す概略図である。 図３に示した差分波形生成部により生成される差分波形の例を示した図であり、（ａ）は車両直進時に得られる差分波形の例を示し、（ｂ）〜（ｅ）は車両旋回時に得られる差分波形の例を示し、（ｃ）は移動体の検出感度を低下させた第１の例を示しており、（ｄ）は移動体の検出感度を低下させた第２の例を示しており、（ｅ）は移動体の検出感度を低下させた第３の例を示している。 本実施形態に係る移動体検出方法を示すフローチャートである。 第２実施形態に係る計算機の詳細を示すブロック図である。 第３実施形態に係る計算機の詳細を示すブロック図である。 第３実施形態に係る移動体検出装置の動作の概要を示す車両上面図であり、自車両がラウンドアバウトを走行する際の様子を示している。 図１０に示したラウンドアバウト走行時における旋回曲率を示すグラフである。 図１０に示したラウンドアバウト走行時における感度を示すグラフであって、（ａ）は比較例を示し、（ｂ）は第３実施形態に係る移動体検出装置の感度状態を示している。 第３実施形態に係る移動体検出方法を示すフローチャートである。 第４実施形態に係る計算機の詳細を示すブロック図である。 第４実施形態に係る輝度差算出部の動作を説明するための図であり、（ａ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、（ｂ）は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 第４実施形態に係る輝度差算出部の詳細な動作を説明するための図であり、（ａ）は鳥瞰視画像における検出領域を示す図、（ｂ）は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ波形生成部によるエッジ差分波形の生成方法を説明するための図である。 第４実施形態に係る移動体検出方法を示すフローチャートである。

以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本実施形態に係る移動体検出装置１の概略構成図であって、移動体検出装置１が車両Ｖに搭載される場合の例を示している。図１に示す移動体検出装置１は、自車両Ｖの周囲の撮像結果から自車両Ｖの運転者に対して各種情報を提供するものであって、カメラ（撮像手段）１０と、センサ２０と、計算機３０とを備えている。

図１に示すカメラ１０は、自車両Ｖの後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ１０は、その位置から検出領域を撮像するようになっている。センサ２０は、例えば自車両Ｖの走行速度を検出する車速センサや、ハンドル操作量を検出する操舵角センサからなっている。計算機３０は、カメラ１０により撮像された画像に基づいて、自車両Ｖの後側方に存在する移動体（例えば他車両、二輪車等）を検出するものである。

また、移動体検出装置１は、不図示の警報装置を備えており、計算機３０により検出された移動体が自車両Ｖに接触する可能性がある場合などに、自車両Ｖの運転者に警告するものである。

図２は、図１に示した車両の走行状態を示す上面図である。図２に示すようにカメラ１０は、自車両Ｖの後側方を撮像可能となっている。自車両Ｖが走行する走行車線に隣接する隣接車線には他車両等の移動体を検出するための検出領域（所定領域）Ａ１，Ａ２が設定されており、計算機３０は検出領域Ａ１，Ａ２内に移動体が存在するか否かを検出する。このような検出領域Ａ１，Ａ２は、自車両Ｖに対する相対位置から設定されている。また、検出領域Ａ１，Ａ２は、白線自動認識技術等を利用して隣接車線に設定されてもよい。

図３は、図１に示した計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０及びセンサ２０についても図示するものとする。なお、センサ２０は、図３から明らかなように、車速センサ２１と操舵角センサ２２とから構成されているが、これに限らず、他のセンサを更に備えていていもよい。

図３に示すように、計算機３０は、視点変換部３１と、差分画像生成部（差分画像生成手段）３２と、差分波形生成部（差分波形生成手段）３３と、移動体検出部（移動体検出手段）３４とを備えている。

視点変換部３１は、カメラ１０による撮像にて得られた検出領域Ａ１，Ａ２を含む撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８-２１９０６３号公報に記載さるようにして実行される。

差分画像生成部３２は、視点変換部３１の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図４は、図３に示した差分画像生成部３２の処理の概要を示す上面図であり、（ａ）は車両Ｖの移動状態を示し、（ｂ）は位置合わせの概要を示している。

図４（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置しているとする。また、自車両Ｖの後側方向に他車両Ｖが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶがＶ３に位置し、一時刻前の他車両ＶがＶ４に位置しているとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時問（例えば１制御周期）だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。

このような状態において、現時刻における鳥瞰画像ＰＢ_ｔは図４（ｂ）に示すようになる。この鳥瞰画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっている。しかし、他車両Ｖ３については倒れ込みが発生している。また、一時刻前における鳥瞰画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両Ｖ４については倒れ込みが発生している。

差分画像生成部３２は、上記のような鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、差分画像生成部３２は、一時刻前における鳥瞰画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰画像ＰＢ_ｔと位置を一致させる。オフセット量ｄ’は、図４（ａ）に示した移動距籬ｄに対応するだけの量となり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

なお、本実施形態において、差分画像生成部３２は、異なる時刻の鳥瞰画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰画像を得るが、この「位置合わせ」処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。たとえば、同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。

また、位置合わせ後において差分画像生成部３２は、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素毎に対応付けて差分をとり、上記差分の絶対値が所定値以上となった画素を差分画素として抽出する。そして、差分画素生成部３２は、これら差分画素から差分画像ＰＤ_ｔを生成する。

再度、図３を参照する。差分波形生成部３３は、差分画像生成部３２により生成された差分画像ＰＤ_ｔのデータに基づいて、差分波形を生成するものである。

図５は、図３に示した差分波形生成部３３による差分波形の生成の様子を示す概略図である。図５に示すように、差分波形生成部３３は、差分画像ＰＤ_ｔのうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、嵳分波形生成部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明する。

具体的に説明すると、まず差分波形生成部３３は、差分画像ＤＷ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、差分波形生成部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、差分画素ＤＰは、差分画像ＤＷ_ｔの画素値が鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものである場合、所定値を超える画素であり、差分画像ＤＷ_ｔの画素値が「０」「１」で表現されている場合、「１」を示す画素である。

差分波形生成部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと線Ｌ１との交点ＣＰを求める。そして、差分波形生成部３３は、交点ＣＰとカウント数とを対応付け、点ＣＰの位置に基づいて横軸位置（図５の紙面上下方向軸における位置）を決定し、カウント数から縦軸位置（図５の紙面左右方向軸における位置）を決定する。

以下同様に、差分波形生成部３３は、立体物が倒れ込む方向上の線を定義して、差分画素ＤＰの数をカウントし、交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定する。移動体検出部３３は、上記を順次繰り返して度数分布化することで差分波形ＤＷ_ｔを生成する。

なお、図５に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなってしまう。このため、差分波形生成部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、差分波形生成部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

移動体検出部３４は、図５に示したような差分波形ＤＷ_ｔのデータに基づいて移動体を検出するものである。この移動体検出部３４は、移動体検出にあたり、まず閾値処理を実行する。具体的に移動体検出部３４は、差分波形ＤＷ_ｔの平均値と所定の閾値とを比較して、平均値が所定の閾値以上であれば移動体である可能性があると判断する。一方、移動体検出部３４は、平均値が所定の閾値以上でなければ移動体である可能性がないと判断する。ここで、差分波形ＤＷ_ｔがノイズによるものである場合、平均値が所定の閾値以上となり難い。このため、移動体検出部３４は、まず閾値処理を行って移動体の可能性を判断している。なお、移動体検出部３４は、これに限らず、例えば差分波形ＤＷ_ｔのうち所定の閾値以上となる面積割合が所定割合以上である場合に移動体である可能性があると判断し、そうでない場合に移動体である可能性がないと判断してもよい。

また、移動体検出部３４は、差分波形ＤＷ_ｔが示す立体物が移動体である可能性があると判断すると、一時刻前の差分波形ＤＷ_ｔ−１と今回の差分波形ＤＷ_ｔとを対応付けることで立体物の推定速度を算出する。例えば、立体物が他車両Ｖである場合、他車両Ｖのタイヤ部分において差分画素ＤＰが得られやすいことから、差分波形ＤＷ_ｔは２つの極大値を有するものとなり易い。このため、一時刻前の差分波形ＤＷ_ｔ−１と今回の差分波形ＤＷ_ｔとの極大値間のズレを求めることにより、自車両Ｖに対する他車両Ｖの相対速度を求めることができる。これにより、移動体検出部３４は、立体物の推定速度を求める。そして、移動体検出部３４は、推定速度に基づいて、差分波形ＤＷ_ｔにより示される立体物が移動体であるか静止物であるかを判断する。

さらに、計算機３０は旋回検出部（旋回検出手段）３５と、感度設定部（感度設定手段）３６とを備えている。旋回検出部３５は、自車両Ｖの旋回を検出するものであって、操舵角センサ２２により検出された操舵角から自車両が旋回しているか検出するものである。感度設定部３６は、移動体検出部３４における移動体の検出感度を変化させるものである。尚、旋回検出部３５は、操舵角によらず、ナビゲーション等でカーブ走行していることを判断することで検出してもよい。

図６は、図３に示した差分波形生成部３３により生成される差分波形ＤＷ_ｔの例を示した図であり、（ａ）は車両直進時に得られる差分波形ＤＷ_ｔの例を示し、（ｂ）〜（ｅ）は車両旋回時に得られる差分波形ＤＷの例を示している。また、（ｃ）は移動体の検出感度を低下させた第１の例を示しており、（ｄ）は移動体の検出感度を低下させた第２の例を示しており、（ｅ）は移動体の検出感度を低下させた第３の例を示している。

まず、図６（ａ）に示すような差分波形ＤＷ_ｔが得られたとする。その際、移動体検出部３４は、上記したように閾値処理を実行する。図６（ａ）に示す例では、差分波形ＤＷ_ｔの平均値が閾値ＴＨ以上でない。そのため、移動体検出部３４は、差分波形ＤＷ_ｔが移動体によるものではなく、例えばノイズ（具体的には草や壁などのテクスチャが複雑な静止物）によるものであると判断する。

しかし、図６（ｂ）に示すように自車両Ｖが旋回しているとすると、差分波形ＤＷ_ｔが大きくなり易い。旋回により静止物が画像上において動いているかのように表現されてしまい、差分が得られ易くなってしまうからである。特に、図６（ｂ）に示す例では、差分波形ＤＷ_ｔの平均値が閾値ＴＨ以上となっている。このため、静止物を移動体であると誤認し易くなってしまう。

そこで、感度設定部３６は、旋回時に移動体の検出感度を低下させる。具体的に感度設定部３６は、図６（ｂ）に示すように所定の閾値ＴＨを高める（変更前の閾値をＴＨ’で示す）。それにより、差分波形ＤＷ_ｔの平均値が閾値ＴＨ以上とならず、移動体検出部３４は静止物を移動体であると誤認し難くすることができる。

また、感度設定部３６は、図６（ｃ）や図６（ｄ）に示すように、閾値ＴＨを高めることが望ましい。すなわち、感度設定部３６は、自車両Ｖの前方側に対応する閾値ＴＨよりも、自車両Ｖの後方側に対応する閾値ＴＨを高くする。本実施形態に係る移動体検出装置１は、自車両Ｖの後側方の移動体を検出するものであるため、旋回時においては撮像画像のうち自車両後方側の方が前方側よりも差分が大きくなりやすい。そこで、上記の如く、自車両Ｖの後方側に対応する閾値ＴＨを高くすることで、閾値ＴＨを適切に設定して一層移動体の検出精度を向上させることができるからである。

なお、この場合において移動体検出部３４は、図６（ｃ）に示すように直線的な閾値ＴＨを設定してもよいし、図６（ｄ）に示すように階段状に閾値ＴＨを設定してもよい。

さらに、感度設定部３６は、操舵角センサ２２により検出された操舵角を検出することで旋回を検出し、この操舵角が大きくなるほど、移動体検出部３４による移動体の検出感度を低下させる。急激な旋回ほど静止物が画像上において大きく動くように表現されてしまい、差分が一層得られ易くなってしまうからである。具体的には図６（ｅ）に示すように感度設定部３６は、操舵角が大きくなるほど、所定の閾値ＴＨを高める。すなわち、図６（ｅ）に示す例と図６（ｂ）に示す例とを比較すると、図６（ｅ）に示す閾値ＴＨの方が高くなっている。そのように、感度設定部３６は、操舵角が大きくなるほど所定の閾値ＴＨを高めることで、より一層適切な閾値を設定している。

ここで、感度設定部３６は、操舵角に加えて横Ｇ、アクセル開度、及びブレーキ操作を加味して感度を低下させるようにしてもよい。例えば、アクセル開度の変化やブレーキ操作により前後方向の動きが発生すると、差分波形ＤＷ_ｔが大きくなり易い傾向があるためである。また、横Ｇの変化についても同様に、差分波形ＤＷ_ｔが大きくなり易い傾向があるためである。

次に、本実施形態に係る移動体検出方法を説明する。図７は、本実施形態に係る移動体検出方法を示すフローチャートである。図７に示すように、まず、計算機３０は、車速センサ２０からの信号に基づいて車速を検出する（Ｓ１）。

次に、旋回検出部３６は、操舵角センサ２２からの信号に基づいて、自車両Ｖが旋回しているか否かを判断する（Ｓ２）。自車両Ｖが旋回していないと判断した場合（Ｓ２：ＮＯ）、処理はステップＳ８に移行する。

一方、自車両Ｖが旋回していると判断した場合（Ｓ２:ＹＥＳ）、感度設定部３６は、操舵角の大きさをもとに、閾値ＴＨの目標値を設定する（Ｓ３）。次に、移動体検出部３４は、現在移動体検出中であるか否かを判断する（Ｓ４）。

移動体検出中であると判断した場合（Ｓ４：ＹＥＳ）、感度設定部３６は、感度を変化させる際の変化量について、上限値となるリミット値を第１リミット値に設定する（Ｓ５）。そして、処理はステップＳ７に移行する。一方、移動体検出中でないと判断した場合（Ｓ４：ＮＯ）、領域設定部３３ｂは、リミット値を第２リミット値に設定する（Ｓ６）。そして、処理はステップＳ７に移行する。ここで、第１リミット値は、第２リミット値よりも小さくされている。このため、移動体検出中においては閾値ＴＨが急激に変化して検出中の移動体を検出できなくなってしまう事態を防止することができる。

次いで、感度設定部３６は閾値ＴＨを変化させる（Ｓ７）。すなわち、感度設定部３６は、ステップＳ５，Ｓ６において設定されたリミット値を超えない範囲で、ステップＳ３において求められた目標値に近づくように、閾値ＴＨを変化させる。

その後、差分画像生成部３２は差分を検出する（Ｓ８）。この際、差分画像生成部３２は、図４を参照して説明したように差分画像ＰＤ_ｔのデータを生成する。

次いで、差分波形生成部３３は、ステップＳ８において生成された差分画像ＰＤ_ｔに基づき、図５を参照して説明したようにして差分波形ＤＷ_ｔを生成する（Ｓ９）。そして、移動体検出部３４は、一時刻前の差分波形ＤＷ_ｔ−１と今回の差分波形ＤＷ_ｔとを対応付けることで、立体物の推定速度を算出する（Ｓ１０）。

その後、移動体検出部３４は、ステップＳ１０において算出された推定速度が検出対象であるか否かを判断する（Ｓ１１）。ここで、本実施形態において移動体検出装置１は、車線変更時に接触の可能性がある他車両や二輪車等を検出するものである。このため、移動体検出部３４は、ステップＳ１１において推定速度が他車両や二輪車等の速度として適切であるかを判断することとなる。

推定速度が他車両や二輪車等の速度として適切であると判断した場合（Ｓ１１：ＹＥＳ）、移動体検出部３４は、差分波形ＤＷ_ｔによって示される立体物が検出対象となる移動体（他車両や二輪車等）であると判断する（Ｓ１２）。そして、図７に示す処理は終了する。一方、推定速度が他車両や二輪車等の速度として適切でないと判断した場合（Ｓ１１:ＮＯ）、移動体検出部３３は、差分波形ＤＷ_ｔによって示される立体物が検出対象となる移動体でないと判断し、図７に示す処理は終了する。

このようにして、本実施形態に係る移動体検出装置１及び移動体検出方法によれば、自車両Ｖが旋回していると検出された場合に、自車両Ｖが旋回していない場合と比較して、移動体の検出感度を低下させる。このため、自車両Ｖが旋回して静止物が画像上において動くかのように表現されてしまっても移動体の判断精度が低下しているため、静止物を移動体と誤判断しないようにすることができる。従って、移動体の検出精度を向上させることができる。

また、自車両Ｖが旋回していると検出された場合に、自車両Ｖが旋回していない場合と比較して、所定の閾値ＴＨを高めることにより、移動体の検出感度を低下させる。このため、自車両Ｖが旋回して静止物が画像上において動くかのように表現され、静止物にも拘わらず差分波形が大きく表れてしまっても、閾値ＴＨが高められていることから、移動体であると判断され難くすることができる。

また、自車両前方側に対応する閾値ＴＨよりも、自車両後方側に対応する閾値ＴＨを高く設定するため、旋回のように自車両後方側の差分波形ＤＷ_ｔが前方側よりも大きく表現され易い状況において、適切に閾値ＴＨを設定することとなり、一層移動体の検出精度を向上させることができる。

また、操舵角が大きくなるほど移動体の検出感度を低下させるため、操舵角が大きくなり、静止物が画像上において一層動くかのように表現され易い状況においても、移動体の判断精度がより低下させられることとなり、静止物を一層移動体と誤判断しないようにすることができる。

また、移動体の検出中において、移動体の非検出中よりも感度の低下量を減少させるため、移動体の検出中において感度を大きく低下させてしまい、移動体の検出漏れを起こしてしまう頻度を低減するとこができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る移動体検出装置及び移動体検出方法は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。

図８は、第２実施形態に係る計算機３０の詳細を示すブロック図である。なお、図８においては、接続関係を明確とするためにカメラ１０及びセンサ２０についても図示するものとする。

図８に示すように、第２実施形態に係る計算機３０は、差分画像生成部３２を制御することで、移動体検出部３４による移動体の検出感度を低下させることとしている。上記したように、差分画像生成部３２は、異なる時刻の鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行して差分をとり、上記差分の絶対値が所定値以上となった画素を差分画素ＤＰとして抽出する。第２実施形態において感度設定部３６は、例えば上記所定値を大きくすることにより、差分画素ＤＰを抽出され難くし、閾値ＴＨを変更させることなく差分波形ＤＷ_ｔの大きさが小さくなるように制御する。具体的に説明すると、通常であれば差分画像生成部３２が輝度差「５」で差分画素ＤＰとして抽出するところ、ある旋回状態においては例えば輝度差「２０」で差分画素ＤＰとして抽出するように変更することとなる。これにより、結果として移動体検出部３４による移動体の検出精度が低下することとなる。尚、上記に限らず、差分波形生成部３３は、差分波形を生成した後に、単純に差分波形ＤＷ_ｔを高さ方向に圧縮するようにして、差分波形ＤＷ_ｔの大きさが小さくなるように制御してもよい。

次に、第２実施形態に係る移動体検出方法について説明する。第２実施形態に係る移動体検出方法は、第１実施形態と同様であるが、ステップＳ３において閾値ＴＨの目標値を設定するのでなく、差分画素ＤＰを抽出するための所定値の目標値を設定する。また、ステップＳ７において、閾値ＴＨを変化させるのでなく、所定値を変化させることとなる。
なお、他の処理については第１実施形態と同じである。

このようにして、第２実施形態に係る移動体検出装置２及び移動体検出方法によれば、第１実施形態と同様に、移動体の検出精度を向上させることができる。

さらに、第２実施形態によれば、自車両Ｖが旋回していると検出された場合に、自車両Ｖが旋回していない場合と比較して、差分画素ＤＰを検出するための所定値を大きくすることにより、移動体の検出感度を低下させる。このため、差分画素ＤＰ自体が検出され難くなり、差分波形ＤＷ_ｔが小さくなって表れることから、移動体と誤判断しないようにすることができる。

次に、本発明の第３実施形態を説明する。第３実施形態に係る移動体検出装置及び移動体検出方法は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。

図９は、第３実施形態に係る計算機３０の詳細を示すブロック図である。なお、図９においては、接続関係を明確とするためにカメラ１０及びセンサ２０についても図示するものとする。

図９に示すように、計算機３０は車線変更検出部（車線変更検出手段）３７を備えている。車線変更検出部３７は、自車両Ｖの車線変更を検出するものである。具体的に車線変更検出部３７は、運転者によるウインカー操作を検出することにより、自車両Ｖの車線変更を検出する。なお、車線変更の検出方法は、これに限らず、例えば、カメラ１０により撮像された画像データ上から自車両Ｖの横移動を判断して、車線変更を検出してもよいし、操舵角センサ２２からの信号や横Ｇセンサからの信号を組み合わせて車線変更を検出してもよい。

図１０は、第３実施形態に係る移動体検出装置３の動作の概要を示す車両上面図であり、自車両Ｖがラウンドアバウトを走行する際の様子を示している。図１０に示すように、自車両Ｖがラウンドアバウトへ進入する際、右回りのラウンドアバウトに合わせて運転者はハンドルをやや右方向へ操舵する。その後、自車両Ｖが図１０に示す位置Ｐに到達する。このとき、運転者がラウンドアバウトを抜けようとすると、運転者は左側のウインカーを点灯させると共に、ハンドルを左方向へ操舵する。そして、自車両Ｖはラウンドアバウトを抜けることとなる。

図１１は、図１０に示したラウンドアバウト走行時における旋回曲率を示すグラフである。図１０を参照して説明したように、まず、ラウンドアバウトの進入時において自車両Ｖの運転者はハンドルを右方向に操舵するため、時刻ｔ１〜ｔ２に掛けて右方向ヘの旋回曲率が高まっていく。そして、時刻ｔ２において旋回曲率は一定値を保つ。次いで、時刻ｔ３において運転者は、ラウンドアバウトを抜けるべく、左側のウインカーを点灯させ、ハンドルを左側に操舵する。これにより、時刻ｔ４において旋回曲率は一度零となり、時刻ｔ５まで左方向ヘの旋回曲率が上昇することとなる。そして、運転者はラウンドアバウトを抜けるにあわせて、ハンドルをもとに戻していくため、時刻ｔ６から旋回曲率は減少することとなる。

図１２は、図１０に示したラウンドアバウト走行時における感度を示すグラフであって、（ａ）は比較例を示し、（ｂ）は第３実施形態に係る移動体検出装置３の感度状態を示している。なお、図１２（ａ）においては、第１実施形態に係る移動体検出装置１の感度変更の様子を比較例として説明する。

上記の如く自車両Ｖがラウンドアバウトを走行した場合、図１２（ａ）に示すように、まず、時刻ｔ１において旋回が発生することから、感度が低下することとなる。また、旋回曲率は時刻ｔ２まで高まっているため、感度についても時刻ｔ１〜ｔ２に掛けて次第に低下していく。

そして、時刻ｔ２〜ｔ３において旋回曲率が一定に保たれるため、感度は低下したまま維持される。その後、運転者がラウンドアバウトを抜けるべく左側のウインカーを点灯させハンドルを左側に操舵すると、時刻ｔ４において旋回曲率は一度零となるため、時刻ｔ３〜ｔ４に掛けて感度は初期値に復帰するとことなる。次いで、時刻ｔ５まで左方向ヘの旋回曲率が上昇するため、感度は時刻ｔ４〜ｔ５に掛けて再び低下していく。そして、時刻ｔ５〜ｔ６まで旋回曲率が一定に保たれることから、感度も低下したまま維持され、その後旋回曲率の低下に合わせて感度が初期値に向けて上昇することとなる。

しかし、図１２（ａ）から明らかなように、時刻ｔ４において感度が通常時と同じとなってしまう。このため、零となる瞬間やその付近において静止物を移動体と誤って検出し易くなってしまう。特にラウンドアバウトには、中央に草等が配置されていることが多く、一時的にでも感度が通常時と同じとなってしまうと、移動体の検出精度の低下を招いてしまう。

そこで、第３実施形態に係る感度設定部３６は、操舵角が規定値以下となった場合に、車線変更検出部３７により、現在走行時における旋回方向と逆方向ヘの車線変更が検出されたとき、低下させた感度を低下させる前の感度に復帰させる復帰速度を低下させる。

すなわち、図１２（ｂ）に示すように、時刻ｔ３〜ｔ４に掛けて感度を初期値まで戻すのではなく、時刻ｔ３〜ｔ５に掛けてゆっくりと低下させる。これにより、感度が急激に低下してしまうことを防止し、移動体の検出精度が低下してしまう事態を防止することができる。

次に、第３実施形態に係る移動体検出方法を説明する。図１３は、第３実施形態に係る移動体検出方法を示すフローチャートである。なお、図１３に示すステップＳ２１〜Ｓ２６までの処理は、図７に示したステップＳ１〜Ｓ６までの処理を同様であるため、説明を省略する。

ステップＳ２７において感度設定部３６は、操舵角が規定値以下となった場合に、その旋回方向と逆方向ヘの車線変更が検出されたか否かを判断する（Ｓ２７）。旋回方向と逆方向ヘの車線変更が検出されたと判断した場合（Ｓ２７:ＹＥＳ）、図１０〜図１２を参照して説明したように、自車両Ｖがラウンドアバウトを走行中であると考えられる。よって、感度設定部３６は、ステップＳ２５，Ｓ２６にて設定したリミット値を低下させる。これにより、図１２（ｂ）に示したように、感度が急激に変更されることなく、低下させた感度を復帰させる復帰速度が低下することとなる。

そして、処理はステップＳ２９に移行する。ステップＳ２９〜Ｓ３４に示す処理は、図７に示したステップＳ７〜Ｓ１２に示す処理を同様であるため、説明を省略する。

このようにして、第３実施形態に係る移動体検出装置３及び移動体検出方法によれば、第１実施形態と同様に、移動体の検出精度を向上させることができ、静止物にも拘わらず差分波形が大きく表れてしまっても、閾値ＴＨが高められていることから、移動体であると判断され難くすることができる。また、一層移動体の検出精度を向上させることができ、静止物を一層移動体と誤判断しないようにすることができる。

また、第３実施形態によれば、操舵角が規定値以下となった場合に、その旋回方向と逆方向ヘの車線変更が検出されたとき、低下させた感度を低下する前の感度に復帰させる復帰速度を低下させる。このため、例えば旋回方向とは逆方向のウインカーを点灯させてラウンドアバウトを抜ける場合など、一時的に旋回状態が零となるが、その後旋回が発生するようなときには、零となる瞬間やその付近において静止物を移動体と判断されないように低下させた感度を即座に復帰させないこととすることができる。従って、ラウンドアバウトを抜ける場合などにおいても、移動体の検出精度を向上させることができる。

次に、本発明の第４実施形態を説明する。第４実施形態に係る移動体検出装置４及び移動体検出方法は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。

図１４は、第４実施形態に係る計算機３０の詳細を示すブロック図である。なお、図１４においては、接続関係を明確とするためにカメラ１０についても図示するものとする。

図１４に示すように、第４実施形態において、計算機３０は輝度差算出部３８と、エッジ波形生成部３９と、移動体検出部３４ａとを備えている。以下において、各構成について説明する。

輝度差算出部３８は、鳥瞰画像に含まれる立体物のエッジを検出するために、視点変換部３１により視点変換された鳥瞰画像データにおける画素領域間の輝度差を算出する。具体的には、輝度差算出部３８は、実空間における鉛直方向に伸びる鉛直仮想線に沿って複数の算出点を設定し、当該算出点近傍の２つの画素間の輝度差を算出する。なお、輝度差算出部３８は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出することができる。

ここでは、鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部３８は、視点変換された鳥瞰画像に対して、実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部３８は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部３８の動作について詳細に説明する。

輝度差算出部３８は、図１５（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、かつ、検出領域Ａ１を通過する第１鉛直仮想線Ｌａ（以下、注目線Ｌａという）を設定する。また、輝度差算出部３８は、注目線Ｌａと異なり、実空間で鉛直方向に伸びる線分に該当し、かつ、検出領域Ａ１を通過する第２鉛直仮想線Ｌｒ（以下、参照線Ｌｒという）を設定する。ここで参照線Ｌｒは、実空間における所定距離だけ注目線Ｌａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰画像においてはカメラ１０の位置Ｐｓから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。

輝度差算出部３８は、注目線Ｌａ上に注目点Ｐａ（第１鉛直仮想線上の点）を設定する。また輝度差算出部３８は、参照線Ｌｒ上に参照点Ｐｒ（第２鉛直板想線上の点）を設定する。これら注目線Ｌａ、注目点Ｐａ、参照線Ｌｒ、参照点Ｐｒは、実空間上において図１５（ｂ）に示す関係となる。図１５（ｂ）から明らかなように、注目線Ｌａ及び参照線Ｌｒは、実空間上において鉛直方向に伸びた線であり、注目点Ｐａと参照点Ｐｒとは、実空間上において略同じ高さに設定される点である。なお、注目点Ｐａと参照点Ｐｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐａと参照点Ｐｒとが同じ高さとみなせる程度の誤差は許容される。

輝度差算出部３８は、注目点Ｐａと参照点Ｐｒとの輝度差を求める。仮に、注目点Ｐａと参照点Ｐｒとの輝度差が大きいと、注目点Ｐａと参照点Ｐｒとの間にエッジが存在すると考えられる。特に、第４実施形態では、検出領域Ａ１，Ａ２に存在する立体物を検出するために、鳥瞰画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Ｌａと参照線Ｌｒとの輝度差が高い場合には、注目線Ｌａの設定箇所に立体物のエッジがある可能性が高い。

この点をより詳細に説明する。図１６は、輝度差算出部３８の詳細動作を示す図であり、図１６（ａ）は鳥瞰視された状態の鳥瞰画像を示し、図１６（ｂ）は、図１６（ａ）に示した鳥瞰画像の一部Ｂ１を拡大した図である。なお図１６についても検出領域Ａ１のみを図示して説明するが、検出領域Ａ２についても同様の手順で輝度差を算出する。

カメラ１０が撮像した撮像画像内に他車両Ｖが映っていた場合に、図１６（ａ）に示すように、鳥瞰画像内の検出領域Ａ１に他車両Ｖが現れる。図１６（ｂ）に図１６（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰画像上において、他車両Ｖのタイヤのゴム部分上に注目線Ｌａが設定されていたとする。この状態において、輝度差算出部３８は、先ず参照線Ｌｒを設定する。参照線Ｌｒは、注目線Ｌａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１ａにおいて、参照線Ｌｒは、注目線Ｌａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌｒは、鳥瞰画像上において、例えば他車両Ｖのタイヤのゴムから１０ｃｍ相当だけ離れた他車両Ｖのタイヤのホイール上に設定される。

次に、輝度差算出部３８は、注目線Ｌａ上に複数の注目点Ｐａ１〜ＰａＮを設定する。図１６（ｂ）においては、説明の便宜上、６つの注目点Ｐａ１〜Ｐａ６（以下、任意の点を示す場合には単に注目点Ｐａｉという）を設定している。なお、注目線Ｌａ上に設定する注目点Ｐａの数は任意でよい。以下の説明では、Ｎ個の注目点Ｐａが注目線Ｌａ上に設定されたものとして説明する。

次に、輝度差算出部３８は、実空間上において各注目点Ｐａ１〜ＰａＮと同じ高さとなるように各参照点Ｐｒ１〜ＰｒＮを設定する。そして、輝度差算出部３８は、同じ高さ同士の注目点Ｐａと参照点Ｐｒとの輝度差を算出する。これにより、輝度差算出部３８は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素の輝度差を算出する。輝度差算出部３８は、例えば第１注目点Ｐａ１とは、第１参照点Ｐｒ１との間で輝度差を算出し、第２注目点Ｐａ２とは、第２参照点Ｐｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部３８は、注目線Ｌａ及び参照線Ｌｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部３８は、第３〜第Ｎ注目点Ｐａ３〜ＰａＮと第３〜第Ｎ参照点Ｐｒ３〜ＰｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部３８は、検出領域Ａ１内において注目線Ｌａをずらしながら、上記の参照線Ｌｒの設定、注目点Ｐａ及び参照点Ｐｒの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部３８は、注目線Ｌａ及び参照線Ｌｒのそれぞれを、実空間上において接地線Ｌ１の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部３８は、例えば、前回処理において参照線Ｌｒとなっていた線を注目線Ｌａに設定し、この注目線Ｌａに対して参照線Ｌｒを設定して、順次輝度差を求めていくことになる。

このように、第２実施形態では、実空間上で略同じ高さとなる注目線Ｌａ上の注目点Ｐａと参照線Ｌｒ上の参照点Ｐｒとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。

図１４に示すエッジ波形生成部３９は、輝度差算出部３８により検出されたエッジに基づいて、一次元のエッジ波形ＥＷ_ｔを生成する。たとえば、エッジ波形生成部３９は、検出されたエッジの強度（輝度差）が所定のエッジ閾値ｔ以上である画素を検出し、第１実施形態における差分波形ＤＷ_ｔの生成方法と同様に、エッジの強度（輝度差）が所定のエッジ閾値ｔ以上である画素数を、視点変換により立体物が倒れ込む方向に沿ってカウントして度数分布化することで、一次元のエッジ波形ＥＤ_ｔを生成することができる。

さらに、エッジ波形生成部３９は、一時刻前のエッジ波形ＥＷ_ｔ−１を自車両Ｖ１の車速度に基づく移動量だけオフセットさせることで、一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの位置合わせを行い、位置合わせした一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの差分に基づいて、エッジ差分波形ＥＷ_ｔ’を生成する。ここで、図１７（Ａ）は、現在のエッジ波形ＥＷ_ｔの一例であり、図１７（Ｂ）は、オフセットさせた一時刻前のエッジ波形ＥＷ_ｔ−１の一例であり、この場合、自車両Ｖに対して立体物は距離ｄだけ移動したものと判断できる。この場合、エッジ波形生成部３９は、図１７（Ｃ）に示すように、位置合わせした一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの差分を縦軸に、検出領域の進行方向における検出位置を横軸にプロットすることで、エッジ差分波形ＥＷ_ｔ’を生成する。このように、エッジ波形生成部３９は、一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの差分に基づいて、エッジ差分波形ＥＷ_ｔ’を生成することで、移動体の可能性が高い立体物を検出することができる。

移動体検出部３４ａは、エッジ差分波形ＥＷ_ｔ’のデータに基づいて移動体を検出する。第１実施形態と同様に、移動体検出部３４ａは、まず、エッジ差分波形ＥＷ_ｔ’の平均値を算出し、算出したエッジ差分波形ＥＷ_ｔ’の平均値が感度設定部３６により設定された閾値ＴＨ以上であれば、移動体が存在する可能性があるものと判断し、一方、エッジ差分波形ＥＷ_ｔ’の平均値が所定の閾値ＴＨ以上でなければ移動体である可能性がないものと判断する。ここで、エッジ差分波形ＥＷ_ｔ’がノイズによるものである場合、エッジ差分波形ＥＷ_ｔ’の平均値は所定の閾値ＴＨ以上となり難いため、移動体検出部３４ａは、まず閾値処理を行って移動体の可能性を判断している。なお、移動体検出部３４ａは、これに限らず、例えば、エッジ差分波形ＥＷ_ｔ’のうち所定の閾値ＴＨ以上となる面積割合が所定割合以上である場合に移動体である可能性があると判断し、そうでない場合に移動体である可能性がないと判断してもよい。なお、感度設定部３６は、エッジ差分波形ＥＷ_ｔ’に基づいて立体物が移動体であるか否かを判断するための閾値として、差分波形ＤＷ_ｔに基づいて立体物が移動体であるか否かを判断するための閾値と異なる閾値を設定することができる。

また、移動体検出部３４ａは、上記閾値処理においてエッジ差分波形ＥＷ_ｔ’が示す立体物が移動体である可能性があると判断した場合、一時刻前のエッジ差分波形ＥＷ_ｔ−１’と今回のエッジ差分波形ＥＷ_ｔ’とを対応付けることで立体物の推定速度を算出する。たとえば、立体物が他車両Ｖである場合、他車両Ｖのタイヤ部分においてエッジが得られやすいことから、エッジ差分波形ＥＷ_ｔ’は２つの極大値を有するものとなり易い。このため、一時刻前のエッジ差分波形ＥＷ_ｔ−１’と今回のエッジ差分波形ＥＷ_ｔ’との極大値間のズレを求めることにより、自車両Ｖに対する他車両Ｖの相対速度を求めることができる。これにより、移動体検出部３４ａは、立体物の推定速度を求める。そして、移動体検出部３４ａは、推定速度に基づいて、エッジ差分波形ＥＷ_ｔ’により示される立体物が移動体であるか静止物であるかを判断する。

次に、第４実施形態に係る移動体検出方法を説明する。図１８は、第４実施形態に係る移動体検出方法を示すフローチャートである。なお、図１８に示すステップＳ４１〜Ｓ４７までの処理は、図７に示したステップＳ１〜Ｓ７までの処理と同様であるため、説明を省略する。

ステップＳ４８において、輝度差算出部３８は、図１５に示すように、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌａとして設定するとともに、注目線Ｌａと実空間上において所定距離離れた線を参照線Ｌｒとして設定する。そして、輝度差算出部３８は、注目線Ｌａ上に複数の注目点Ｐａを設定するとともに、該注目点Ｐａと略同じ高さとなるように参照点Ｐｒを設定する。そして、輝度差算出部３８は、実空間上において同じ高さとなる注目点Ｐａと参照点Ｐｒとの輝度差を算出することで、鳥瞰画像から被写体のエッジを検出する。

ステップＳ４９では、エッジ波形生成部３９により、ステップＳ４８で検出されたエッジに基づいて、一次元のエッジ差分波形ＥＤ_ｔ’の生成が行われる。具体的には、エッジ波形生成部３９は、エッジが検出された画素数を、視点変換により立体物が倒れ込む方向に沿ってカウントして度数分布化することで、一次元のエッジ波形ＥＤ_ｔを生成する。さらに、エッジ波形生成部３９は、一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの位置合わせを行い、位置合わせした一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの差分に基づいて、エッジ差分波形ＥＷ_ｔ’を生成する。

そして、ステップＳ５０では、移動体検出部３４ａにより、ステップＳ４９で生成されたエッジ差分波形ＥＷ_ｔ’の平均値が、ステップＳ４７で設定された閾値ＴＨ以上であるか否かの判断が行われる。エッジ差分波形ＥＷ_ｔ’の平均値が閾値ＴＨ以上である場合には、移動体が存在する可能性があると判断し、ステップＳ５１に進み、一方、エッジ差分波形ＥＷ_ｔ’の平均値が閾値ＴＨ未満である場合には、移動体が存在する可能性はないものと判断し、図１７に示す処理を終了する。

ステップＳ５１では、移動体検出部３４ａにより、一時刻前のエッジ差分波形ＥＷ_ｔ−１’と今回処理で生成されたエッジ差分波形ＥＷ_ｔ’との差分に基づいて、立体物の推定速度の算出が行われる。そして、ステップＳ５２，Ｓ５３では、第１実施形態のステップＳ１１，Ｓ１２と同様に、立体物の推定速度が、他車両や二輪車等の速度として適切であるか否かの判断が行われ（Ｓ５２）、立体物の推定速度が他車両や二輪車等の速度として適切である場合には（Ｓ５２：ＹＥＳ）、エッジ差分波形ＥＷ_ｔ’によって示される立体物が検出対象となる移動体（他車両や二輪車等）であると判断される（Ｓ５３）。

このように、第４実施形態に係る移動体検出装置４及び移動体検出方法によれば、鳥瞰画像からエッジを検出し、検出したエッジに基づいて立体物の推定速度を算出することで、自車両Ｖの光環境によっては、差分波形に基づいて立体物の推定速度を算出し難いような場面においても、エッジに基づいて立体物の推定速度を適切に算出することができる。また、第４実施形態によれば、静止物であるにもかかわらず、自車両Ｖが旋回しているために、エッジ差分波形ＥＷ_ｔ’が大きく表れる場合でも、自車両Ｖの旋回状態に応じて閾値ＴＨを変更することで、静止物を移動体であると誤検出してしまうことを有効に防止することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるもので
は無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、各実施形態を組み合
わせてもよい。

例えば、上記実施形態において、自車両Ｖの車速を速度センサ２１からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。

また、上記実施形態においては、撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像ＰＤ_ｔを生成し、生成した差分画像ＰＤ_ｔを倒れ込み方向（撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向）に沿って評価して差分波形ＤＷ_ｔを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、その画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向（すなわち、倒れ込み方向を撮像画像上の方向に変換した方向）に沿って評価するととによって差分波形ＤＷ_ｔを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像ＰＤ_ｔを生成し、差分画像ＰＤ_ｔを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも鳥瞰図を生成しなくとも良い。

また、上述した実施形態では、立体物の推定速度が他車両や二輪車等の速度として適切であると判断した場合に、立体物を移動体と判断する構成を例示したが、自車両Ｖが旋回している場合には、他車両や二輪車等と判断される速度の条件を変更する構成としてもよい。たとえば、立体物の絶対移動速度が１０ｋｍ／ｈ以上である場合に、立体物を移動体と判断している場合に、自車両Ｖが旋回している場合には、たとえば、立体物の絶対移動速度が２０ｋｍ／ｈ以上である場合に、立体物は移動体であると判断することができる。これにより、自車両Ｖが旋回している場合に、立体物を移動体として検出することを抑制することができ、静止物を移動体として誤検出してしまうことを有効に防止することができる。

さらに、上述した第２実施形態では、自車両Ｖが旋回している場合に、差分画素ＤＰを抽出するための閾値を高い値に変更する構成を例示しているが、この構成に限定されず、たとえば、自車両Ｖが旋回している場合に、各画素から出力される画素値を低くすることで、立体物を移動体として検出することを抑制する構成としてもよい。この場合も、自車両Ｖの旋回により、静止物を移動体として誤検出してしまうことを有効に防止することができる。

さらに、上述した第４実施形態では、自車両Ｖの旋回状態に応じて、立体物が移動体であるか否かを判断するための閾値ＴＨの値を変更する構成を例示したが、この構成に限定されず、たとえば、自車両Ｖの旋回状態に応じて、エッジを検出するためのエッジ閾値ｔを変更する構成としてもよい。たとえば、第４実施形態では、エッジの強度（輝度差）が所定のエッジ閾値ｔ以上である画素数を、視点変換により立体物が倒れ込む方向に沿ってカウントして度数分布化することで、一次元のエッジ波形ＥＤ_ｔを生成しており、自車両Ｖが旋回している場合には、このエッジ閾値ｔを高い値に変更することで、生成されるエッジ波形ＥＤ_ｔの値を小さくし、その結果、移動体の検出を抑制することができ、静止物を移動体として誤検出してしまうことを有効に防止することができる。また、自車両Ｖが旋回している場合に、各画素から出力する輝度値を小さくすることで、立体物を移動体として検出することを抑制する構成としてもよい。この場合も、静止物を移動体として誤検出してしまうことを有効に防止することができる。

加えて、上述した第４実施形態では、一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの位置合わせを行い、位置合わせした一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとの差分に基づいて、エッジ差分波形ＥＷ_ｔ’を生成し、一時刻前のエッジ差分波形ＥＷ_ｔ−１’と今回のエッジ差分波形ＥＷ_ｔ’とを対応付けることで立体物の推定速度を算出する構成を例示したが、この構成に限定されず、たとえば、一時刻前のエッジ波形ＥＷ_ｔ−１と現在のエッジ波形ＥＷ_ｔとを対応付けることで立体物の推定速度を算出する構成としてもよい。また、エッジ波形ＥＷ_ｔが所定の閾値ＴＨ以上であるか否かを判断し、エッジ波形ＥＷ_ｔが所定の閾値ＴＨ以上である場合に、移動体の可能性がある立体物が存在すると判断し、エッジ波形ＥＷ_ｔが所定の閾値ＴＨ未満である場合に、移動体の可能性がある立体物が存在しないと判断する構成としてもよい。

なお、上述した実施形態のカメラ１０は本発明の撮像手段に相当し、視点変換部３１は本発明の画像変換手段に相当し、差分画像生成部３２、差分波形生成部３３、および、移動体検出部３４，３４ａ、輝度差算出部３８、エッジ波形生成部３９は本発明の立体物検出手段に相当し、移動体検出部３４，３４ａは本発明の移動体検出手段に相当し、旋回検出部３５は本発明の旋回検出手段に相当し、感度設定部３６は本発明の制御手段に相当し、車線変更検出部３７は本発明の車線変更検出手段に相当する。

１〜３…移動距雛検出装置
１０…カメラ
２０…センサ
２１…車速センサ
２２…操舵角センサ
３０…計算機
３１…視点変換部
３２…差分画像生成部
３３…差分波形生成部
３４，３４ａ…移動体検出部
３５…旋回検出部
３６…感度設定部
３７…車線変更検出部
３８…輝度差算出部
３９…エッジ波形生成部
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
Ｌａ，ＬＢ…立体物が倒れこむ方向上の線
ＰＢ…鳥瞰画像
ＰＤ…差分画像
Ｖ…自車両、他車両

Claims (17)

1. 自車両周囲の移動体を検出する移動体検出装置であって、
   自車両に搭載され、自車両後側方を撮像する撮像手段と、
   前記撮像手段により得られた撮像画像を鳥瞰視画像に視点変換する画像変換手段と、
   前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて、所定領域内に存在する立体物を検出するとともに、前記差分波形情報の波形の時間変化から前記立体物の移動速度を算出する立体物検出手段と、
   前記立体物の移動速度に基づいて、前記立体物検出手段により検出された前記立体物が移動体であるか否かを検出する移動体検出手段と、
   自車両の旋回を検出する旋回検出手段と、
   前記旋回検出手段により自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、前記差分波形情報に基づいて前記立体物を検出すること、または、前記立体物を前記移動体として検出することを抑制する制御手段と、を備えることを特徴とする移動体検出装置。
2. 前記立体物検出手段は、前記差分波形情報の波形の大きさが所定の第１閾値以上である場合に、前記所定領域内に前記立体物が存在すると判断し、
   前記制御手段は、前記旋回検出手段により自車両が旋回していると検出された場合には、自車両が旋回していない場合と比較して、前記第１閾値を高い値に変更することで、前記立体物の検出を抑制することを特徴とする請求項１に記載の移動体検出装置。
3. 前記立体物検出手段は、前記差分画像上において所定の第２閾値以上の差分を示す画素数をカウントして度数分布化することで前記差分波形情報を生成し、
   前記制御手段は、前記旋回検出手段により自車両が旋回していると検出された場合には、自車両が旋回していない場合と比較して、前記第２閾値を高い値に変更することで、前記立体物の検出を抑制することを特徴とする請求項１または２に記載の移動体検出装置。
4. 前記制御手段は、前記旋回検出手段により自車両が旋回していると検出された場合には、自車両が旋回していない場合と比較して、前記立体物検出手段に前記差分画素をカウントして度数分布化した値を低く出力させることで、前記立体物の検出を抑制することを特徴とする請求項１〜３のいずれかに記載の移動体検出装置。
5. 自車両周囲の移動体を検出する移動体検出装置であって、
   自車両に搭載され、自車両後側方を撮像する撮像手段と、
   前記撮像手段により得られた撮像画像を鳥瞰視画像に視点変換する画像変換手段と、
   前記画像変換手段により得られた前記鳥瞰視画像からエッジ情報を検出し、該エッジ情報に基づいて所定領域内に存在する立体物を検出する立体物検出手段と、
   前記エッジ情報に基づいて前記立体物が移動体であるか否かを検出する移動体検出手段と、
   自車両の旋回を検出する旋回検出手段と、
   前記旋回検出手段により自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、前記エッジ情報に基づいて前記立体物を検出すること、または、前記立体物を移動体として検出することを抑制する制御手段と、を備えることを特徴とする移動体検出装置。
6. 請求項５に記載の移動体検出装置であって、
   前記立体物検出手段は、前記鳥瞰視画像から、所定の画素領域ごとに前記エッジ情報を検出し、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、所定値以上の前記エッジ情報を有する画素領域の数をカウントして度数分布化することでエッジ波形情報を生成し、
   前記移動体検出手段は、前記エッジ波形情報に基づいて、前記立体物が前記移動体であるか否かを検出することを特徴とする立体物検出装置。
7. 前記立体物検出手段は、異なる時刻に生成された前記エッジ波形情報の差分に基づいて、エッジ差分波形情報を生成し、
   前記移動体検出手段は、前記エッジ差分波形情報に基づいて、前記立体物が前記移動体であるか否かを検出することを特徴とする請求項６に記載の移動体検出装置。
8. 前記立体物検出手段は、前記エッジ差分波形情報の波形の大きさが所定の第１閾値以上である場合に、前記所定領域内に前記立体物が存在すると判断し、
   前記制御手段は、前記旋回検出手段により自車両が旋回していると検出された場合には、自車両が旋回していない場合と比較して、前記第１閾値を高い値に変更することで、前記立体物の検出を抑制することを特徴とする請求項７に記載の移動体検出装置。
9. 前記制御手段は、前記旋回検出手段により自車両が旋回していると検出された場合には、自車両が旋回していない場合と比較して、前記立体物検出手段に、前記エッジ波形の差分を低く出力させることで、前記立体物の検出を抑制することを特徴とする請求項７または８に記載の移動体検出装置。
10. 前記立体物検出手段は、前記鳥瞰視画像から、隣接する画素領域間の輝度差が所定の第２閾値以上であるエッジ成分を抽出し、該エッジ成分に基づいて前記エッジ情報を検出し、
    前記制御手段は、前記旋回検出手段により自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、前記第２閾値を高い値に変更することで、前記立体物の検出を抑制することを特徴とする請求項５〜９のいずれかに記載の移動体検出装置。
11. 前記制御手段は、自車両前方側に対応する前記第１閾値よりも、自車両後方側に対応する前記第１閾値を高く設定することを特徴とする請求項２または８に記載の移動体検出装置。
12. 前記制御手段は、自車両前方側に対応する前記第２閾値よりも、自車両後方側に対応する前記第２閾値を高く設定することを特徴とする請求項３または１０に記載の移動体検出装置。
13. 前記旋回検出手段は、操舵角を検出することで前記自車両の旋回を検出し、
    前記制御手段は、前記旋回検出手段により検出された前記操舵角が大きいほど、前記立体物の検出を抑制する際の抑制度合い、または、前記移動体の検出を抑制する際の抑制度合いを高くすることを特徴とする請求項１〜１２のいずれかに記載の移動体検出装置。
14. 自車両の車線変更を検出する車線変更検出手段をさらに備え、
    前記制御手段は、前記操舵角が規定値以下となった場合に、前記車線変更検出手段により、その旋回方向と逆方向ヘの車線変更が検出された場合には、前記立体物の検出の抑制を解除する速度、または、前記移動体の検出の抑制を解除する速度を遅くすることを特徴とする請求項１３に記載の移動体検出装置。
15. 前記感度設定手段は、移動体の検出中においては、移動体の非検出中よりも、前記立体物の検出を抑制する際の抑制度合い、または、前記移動体の検出を抑制する際の抑制度合いを低くすることを特徴とする請求項１〜１４のいずれかに記載の移動体検出装置。
16. 自車両周囲の移動体を検出する移動体検出方法であって、
    自車両から、自車両後側方を撮像する撮像工程と、
    前記撮像工程における撮像により得られた撮像画像を鳥瞰視画像に視点変換する画像変換工程と、
    異なる時刻の前記鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて、所定領域内に存在する立体物を検出するとともに、前記差分波形情報の波形の時間変化から前記立体物の移動速度を算出する立体物検出工程と、
    前記立体物の移動速度に基づいて、前記立体物が移動体であるか否かを検出する移動体検出工程と、
    自車両の旋回を検出する旋回検出工程と、
    前記旋回検出工程において自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、前記差分波形情報に基づいて前記立体物を検出すること、または、前記立体物を前記移動体として検出することを抑制する制御工程と、を備えることを特徴とする移動体検出方法。
17. 自車両周囲の移動体を検出する移動体検出方法であって、
    自車両から、自車両後側方を撮像する撮像工程と、
    前記撮像工程における撮像により得られた撮像画像を鳥瞰視画像に視点変換する画像変換工程と、
    前記鳥瞰視画像からエッジ情報を検出し、該エッジ情報に基づいて所定領域内に存在する立体物を検出する立体物検出工程と、
    前記エッジ情報に基づいて前記立体物が移動体であるか否かを検出する移動体検出工程と、
    自車両の旋回を検出する旋回検出工程と、
    前記旋回検出工程において自車両が旋回していると検出された場合に、自車両が旋回していない場合と比較して、前記エッジ情報に基づいて前記立体物を検出すること、または、前記立体物を前記移動体として検出することを抑制する感度設定工程と、を備えることを特徴とする移動体検出方法。

Images