JP5251927B2 - 移動距離検出装置及び移動距離検出方法 - Google Patents

Description

本発明は、移動距離検出装置及び移動距離検出方法に関する。

従来、車両周辺における立体物の検出、及び、立体物が静止しているか移動しているかを検出する車両周辺監視装置が提案されている。この車両周辺監視装置は、異なる時刻に撮像された２枚の画像を鳥瞰図に変換し、２枚の鳥瞰図の位置合わせを行う。そして、車両周辺監視装置は、位置合わせ後の２枚の画像について差分をとり、不一致部分を立体物として検出する。さらに、車両周辺監視装置は、不一致部分のうち自車両に最も近い点を立体物の接地点として検出し、接地点の位置変化から立体物が静止しているか移動しているかを検出する（特許文献１参照）。

特開２００８−２１９０６３号公報

ここで、撮像画像を鳥瞰画像に変換した場合、立体物については倒れ込みが生じることが知られている。このため、特許文献１に記載の立体物検出装置において、立体物の移動距離を検出しようとすると、その移動距離の検出精度が決して高いとはいえない。すなわち、特許文献１に記載の車両周辺監視装置では、接地点を検出しているため、移動距離を求める場合には接地点の移動量から移動距離を算出することとなる。しかし、移動前に接地点として検出された箇所と、移動後に接地点として検出された箇所とが立体物において同じ箇所でない場合には、算出された移動距離が正しいものではなくなってしまう。具体的に説明すると、移動前に接地点として検出された箇所が他車両のタイヤ下端であり、移動後に接地点として検出された箇所がバンパーであった場合など、車両の同じ箇所に基づいて移動距離を算出しておらず、算出された移動距離は正しいものとはいえない。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、移動距離の算出精度を向上させることが可能な移動距離検出装置及び移動距離検出方法を提供することにある。

本発明の移動距離検出装置は、車両に搭載され、所定領域を撮像する撮像手段と、撮像手段による撮像にて得られた異なる時刻の所定領域の画像を、鳥瞰視上で位置を合わせる位置合わせ手段と、位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、立体物を検出する立体物検出手段と、を備え、立体物検出手段は、所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントし、カウントした画素数を車両の進行方向に沿って度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出することを特徴とする。

本発明によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する。ここで、差分画像データ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。この
ため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形を生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形を生成することとなる。そして、高さ方向の情報を含む差分波形の時間変化から立体物の移動距離を算出する。このため、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

本実施形態に係る移動距離検出装置の概略構成図であって、移動距離検出装置が車両に搭載される場合の例を示している。 図１に示した車両の走行状態を示す上面図である。 図１に示した計算機の詳細を示すブロック図である。 図３に示した位置合わせ部の処理の概要を示す上面図であり、（ａ）は車両の移動状態を示し、（ｂ）は位置合わせの概要を示している。 図３に示した立体物検出部による差分波形の生成の様子を示す概略図である。 図３に示した立体物検出部によって分割される小領域を示す図である。 図３に示した立体物検出部により得られるヒストグラムの一例を示す図である。 図３に示した立体物検出部による重み付けを示す図である。 図３に示したスミア検出部による処理、及び、それによる差分波形の算出処理を示す図である。 図３に示した立体物検出部により得られるヒストグラムの他の例を示す図である。 本実施形態に係る移動距離検出方法を示すフローチャートであって、前半部分の処理を示している。 本実施形態に係る移動距離検出方法を示すフローチャートであって、後半部分の処理を示している。

以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本実施形態に係る移動距離検出装置１の概略構成図であって、移動距離検出装置１が車両Ｖに搭載される場合の例を示している。図１に示すように、移動距離検出装置１は、カメラ（撮像手段）１０と、車速センサ２０と、計算機３０とを備えている。

図１に示すカメラ１０は、車両Ｖの後方における高さｈの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ１０は、この位置から所定領域を撮像するようになっている。車速センサ２０は、車両Ｖの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から速度を算出する。計算機３０は、車両後方側の立体物について移動距離及び移動速度を算出するものである。

図２は、図１に示した車両Ｖの走行状態を示す上面図である。図２に示すように、カメラ１０は、所定の画角ａで車両後方側を撮像する。このとき、カメラ１０の画角内には自車両Ｖが走行する車線に加えて、その左右の車線についても撮像可能となっている。

図３は、図１に示した計算機３０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０及び車速センサ２０についても図示するもの
とする。

図３に示すように、計算機３０は、視点変換部（変換手段）３１と、位置合わせ部（位置合わせ手段）３２と、立体物検出部（立体物検出手段）３３とを備えている。

視点変換部３１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開２００８−２１９０６３号公報に記載さるようにして実行される。

位置合わせ部３２は、視点変換部３１の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図４は、図３に示した位置合わせ部３２の処理の概要を示す上面図であり、（ａ）は車両Ｖの移動状態を示し、（ｂ）は位置合わせの概要を示している。

図４（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置しているとする。また、自車両Ｖの後側方向に他車両Ｖが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶがＶ３に位置し、一時刻前の他車両ＶがＶ４に位置しているとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。

このような状態において、現時刻における鳥瞰画像ＰＢ_ｔは図４（ｂ）に示すようになる。この鳥瞰画像ＰＢ_ｔでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両Ｖ３については倒れ込みが発生している。また、一時刻前における鳥瞰画像ＰＢ_ｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両Ｖ４については倒れ込みが発生している。

位置合わせ部３２は、上記のような鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する。この際、位置合わせ部３２は、一時刻前における鳥瞰画像ＰＢ_ｔ−１をオフセットさせ、現時刻における鳥瞰画像ＰＢ_ｔと位置を一致させる。オフセット量ｄ’は、図４（ａ）に示した移動距離ｄに対応するだけの量となり、車速センサ２０からの信号と一時刻前から現時刻までの時間に基づいて決定される。

また、位置合わせ後において位置合わせ部３２は、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の差分ととり、差分画像ＰＤ_ｔのデータを生成する。ここで、差分画像ＰＤ_ｔの画素値は、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値を超えたときに「１」とし、超えないときに「０」としてもよい。

再度、図３を参照する。立体物検出部３３は、図４に示したような差分画像ＰＤ_ｔのデータに基づいて立体物を検出する。この際、立体物検出部３３は、実空間上における立体物の移動距離についても算出する。移動距離の算出にあたり立体物検出部３３は、まず差分波形を生成する。

差分波形の生成にあたって立体物検出部３３は、差分画像ＰＤ_ｔにおいて検出領域を設定する。具体的には図２に示すように、本実施形態における検出領域Ａ１，Ａ２は、自車両Ｖの後側方に矩形状に設定される。なお、本実施形態における移動距離検出装置１は、
自車両Ｖが車線変更する際に接触の可能性がある他車両について移動距離を算出する目的のものである。このため、検出領域Ａ１，Ａ２は、自車両Ｖの後側方に設定される。

このような検出領域Ａ１，Ａ２は、自車両Ｖに対する相対位置から設定されてもよいし、白線の位置を基準に設定されてもよい。白線の位置を基準に設定する場合、移動距離検出装置１は、例えば既存の白線認識技術等を利用するとよい。また、立体物検出部３３は、設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ１，Ｌ２として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なお、この場合であっても、経験上、本実施形態に係る接地線と、本来の他車両Ｖの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。

図５は、図３に示した立体物検出部３３による差分波形の生成の様子を示す概略図である。図５に示すように、立体物検出部３３は、差分画像ＰＤ_ｔのうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷ_ｔを生成する。この際、立体物検出部３３は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷ_ｔを生成する。なお、図５に示す例では、便宜上検出領域Ａ１のみを用いて説明する。

具体的に説明すると、まず立体物検出部３３は、差分画像ＤＷ_ｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部３３は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、所定の差分を示す差分画素ＤＰは、差分画像ＤＷ_ｔの画素値が鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の画素値の差を絶対値化したものである場合、所定の閾値を超える画素であり、差分画像ＤＷ_ｔの画素値が「０」「１」で表現されている場合、「１」を示す画素である。

立体物検出部３３は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部３３は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置（図５の紙面上下方向軸における位置）を決定し、カウント数から縦軸位置（図５の紙面左右方向軸における位置）を決定する。

以下同様に、立体物検出部３３は、立体物が倒れ込む方向上の線を定義して、差分画素ＤＰの数をカウントし、交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定する。立体物検出部３３は、上記を順次繰り返して度数分布化することで差分波形ＤＷ_ｔを生成する。

なお、図５に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなってしまう。このため、立体物検出部３３は、差分画素ＤＰのカウント数から縦軸位置を決定する場合、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図５において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図５においてカウント数から縦軸位置を決定するにあたり、立体物検出部３３は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷ_ｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷ_ｔの値はほぼ同じとなっている。

差分波形ＤＷ_ｔの生成後、立体物検出部３３は一時刻前の差分波形ＤＷ_ｔ−１との対比により移動距離を算出する。すなわち、立体物検出部３３は、差分波形ＤＷ_ｔ，ＤＷ_ｔ−１の時間変化から移動距離を算出する。

詳細に説明すると、立体物検出部３３は、差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ（ｎは２以上の任意の整数）に分割する。図６は、図３に示した立体物検出部３３によって分割される小領域ＤＷ_ｔ１〜ＤＷ_ｔｎを示す図である。小領域ＤＷ_ｔ１〜ＤＷ_ｔｎは、例えば図６に示すように、互いに重複するようにして分割される。例えば小領域ＤＷ_ｔ１と小領域ＤＷ_ｔ２とは重複し、小領域ＤＷ_ｔ２と小領域ＤＷ_ｔ３とは重複する。

次いで、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にオフセット量（差分波形の横軸方向の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとの差（横軸方向の距離）から求められる。この際、立体物検出部３３は、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に、一時刻前における差分波形ＤＷ_ｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷ_ｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷ_ｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。

図７は、図３に示した立体物検出部３３により得られるヒストグラムの一例を示す図である。図７に示すように、各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎと一時刻前における差分波形ＤＷ_ｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部３３は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部３３は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図７に示す例において立体物検出部３３は、移動距離をτ^＊と算出する。この移動距離τ^＊は、自車両Ｖに対する他車両Ｖの相対移動距離である。このため、立体物検出部３３は、絶対移動距離を算出する場合、得られた移動距離τ^＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。

なお、ヒストグラム化にあたり立体物検出部３３は、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化することが望ましい。図８は、図３に示した立体物検出部３３による重み付けを示す図である。

図８に示すように、小領域ＤＷ_ｍ（ｍは１以上ｎ−１以下の整数）は平坦となっている。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを小さくする。平坦な小領域ＤＷ_ｍについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。

一方、小領域ＤＷ_ｍ＋ｋ（ｋはｎ−ｍ以下の整数）は起伏に富んでいる。すなわち、小領域ＤＷ_ｍは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部３３は、このような小領域ＤＷ_ｍについて重みを大きくする。起伏に富む小領域ＤＷ_ｍ＋ｋについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。

なお、移動距離の算出精度を向上するために上記実施形態では差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しているが、高い移動距離の算出精度が要求されない場合はこれに限らず、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割しなくともよい。この場合、立体物検出部３３は、差分波形ＤＷ_ｔと差分波形ＤＷ_ｔ−１との誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から移動距離を算出することとなる。すなわち、一時刻前におけ
る差分波形ＤＷ_ｔ−１と現時刻における差分波形ＤＷ_ｔとのオフセット量を求める方法は上記内容に限定されない。

再度、図３を参照する。計算機３０はスミア検出部（スミア検出手段）３４をさらに備えている。スミア検出部３４は、カメラ１０による撮像によって得られた撮像画像のデータからスミアの発生領域を検出するものである。

図９は、図３に示したスミア検出部３４による処理、及び、それによる差分波形ＤＷ_ｔの算出処理を示す図である。まずスミア検出部３４にはスミアＳが存在する撮像画像Ｐのデータが入力されたとする。このとき、スミア検出部３４は、撮像画像ＰからスミアＳを検出する。

スミアＳの検出方法は様々であるが、例えば一般的なＣＣＤ（Charge-Coupled Device
）カメラの場合、光源から画像下方向にだけスミアＳが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアＳの発生領域と特定する。

また、スミア検出部３４は、スミアＳの発生箇所について画素値を「１」とし、それ以外の箇所を「０」とするスミア画像ＳＰのデータを生成する。生成後、スミア検出部３４はスミア画像ＳＰのデータを視点変換部３１に送信する。

また、スミア画像ＳＰのデータを入力した視点変換部３１は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部３１はスミア鳥瞰画像ＳＢ_ｔのデータを生成する。生成後、視点変換部３１はスミア鳥瞰画像ＳＢ_ｔのデータを位置合わせ部３３に送信する。また、視点変換部３１は一時刻前のスミア鳥瞰画像ＳＢ_ｔ−１のデータを位置合わせ部３３に送信する。

位置合わせ部３３は、スミア鳥瞰画像ＳＢ_ｔ，ＳＢ_ｔ−１の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像ＰＢ_ｔ，ＰＢ_ｔ−１の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部３３は、各スミア鳥瞰画像ＳＢ_ｔ，ＳＢ_ｔ−１のスミアＳの発生領域について論理和をとる。これにより、位置合わせ部３３は、マスク画像ＭＰのデータを生成する。生成後、位置合わせ部３３は、マスク画像ＭＰのデータを立体物検出部３３に送信する。

立体物検出部３３は、マスク画像ＭＰのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図９に示すような差分波形ＤＷ_ｔが生成されていた場合、立体物検出部３３は、スミアＳによるカウント数ＳＣをゼロとし、補正された差分波形ＤＷ_ｔ’を生成することとなる。

さらに、本実施形態において立体物検出部３３は、車両Ｖ（カメラ１０）の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部３３は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。

図１０は、図３に示した立体物検出部３３により得られるヒストグラムの他の例を示す図である。カメラ１０の画角内に他車両Ｖの他に静止物が存在する場合、得られるヒストグラムには２つの極大値τ１，τ２が現れる。この場合、２つの極大値τ１，τ２のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部３３は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。

なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ１０の画角内に他車両Ｖが複数台存在すると想定される。しかし、検出領域Ａ１，Ａ２内に複数の他車両Ｖが存在することは極めて稀である。このため、立体物検出部３３は、移動距離の算出を中止する。

次に、本実施形態に係る移動距離検出方法を説明する。図１１及び図１２は、本実施形態に係る移動距離検出方法を示すフローチャートである。図１１に示すように、まず、計算機３０は撮像画像Ｐのデータを入力し、スミア検出部３４によりスミア画像ＳＰを生成する（Ｓ１）。次いで、視点変換部３１は、カメラ１０からの撮像画像Ｐのデータから鳥瞰画像ＰＢ_ｔのデータを生成すると共に、スミア画像ＳＰのデータからスミア鳥瞰画像ＳＢ_ｔのデータを生成する（Ｓ２）。

そして、位置合わせ部３３は、鳥瞰画像ＰＢ_ｔのデータと、一時刻前の鳥瞰画像ＰＢ_ｔ−１のデータとを位置合わせすると共に、スミア鳥瞰画像ＳＢ_ｔのデータと、一時刻前のスミア鳥瞰画像ＳＢ_ｔ−１のデータとを位置合わせする（Ｓ３）。

位置合わせ後、位置合わせ部３３は、差分画像ＰＤ_ｔのデータを生成すると共に、マスク画像ＭＰのデータを生成する（Ｓ４）。その後、立体物検出部３３は、差分画像ＰＤ_ｔのデータと、一時刻前の差分画像ＰＤ_ｔ−１のデータとから、差分波形ＤＷ_ｔを生成する（Ｓ５）。生成後、立体物検出部３３は、差分波形ＤＷ_ｔのうち、スミアＳの発生領域に該当するカウント数をゼロとし、スミアＳによる影響を抑制する（Ｓ６）。

その後、立体物検出部３３は、差分波形ＤＷ_ｔのピークが所定値以上であるか否かを判断する（Ｓ７）。ここで、差分波形ＤＷ_ｔのピークが所定値以上でない場合、すなわち差分が殆どなく、撮像画像Ｐ内には立体物が存在しないと考えられる。このため、差分波形ＤＷ_ｔのピークが所定値以上でないと判断した場合（Ｓ７：ＮＯ）、立体物検出部３３は、立体物が存在せず他車両が存在しないと判断する（図１２：Ｓ１６）。そして、図１１及び図１２に示す処理は終了する。

一方、差分波形ＤＷ_ｔのピークが所定値以上であると判断した場合（Ｓ７：ＹＥＳ）、立体物検出部３３は、立体物が存在すると判断し、差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割する（Ｓ８）。次いで、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けを行う（Ｓ９）。その後、立体物検出部３３は、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎のオフセット量を算出し（Ｓ１０）、重みを加味してヒストグラムを生成する（Ｓ１１）。

そして、立体物検出部３３は、ヒストグラムに基づいて自車両Ｖに対する立体物の移動距離である相対移動距離を算出する（Ｓ１２）。次に、立体物検出部３３は、相対移動距離から立体物の絶対移動速度を算出する（Ｓ１３）。このとき、立体物検出部３３は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ２０で検出された自車速を加算して、絶対移動速度を算出する。

その後、立体物検出部３３は、立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるか否かを判断する（Ｓ１４）。双方を満たす場合（Ｓ１４：ＹＥＳ）、立体物検出部３３は、立体物が他車両Ｖであると判断する（Ｓ１５）。そして、図１１及び図１２に示す処理は終了する。一方、いずれか一方でも満たさない場合（Ｓ１４：ＮＯ）、立体物検出部３３は、他車両が存在しないと判断する（Ｓ１６）。そして、図１１及び図１２に示す処理は終了する。

なお、本実施形態では自車両Ｖの後側方を検出領域Ａ１，Ａ２とし、自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いている。このため、ステップＳ１４の処理が実行されている。例えば、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が１０ｋｍ／ｍ未満である場合、たとえ他車両Ｖが存在したとしても、車線変更する際には自車両Ｖの遠く後方に位置するため、問題とならない。同様に、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈを超える場合（すなわち、立体物が自車両Ｖの速度よりも６０ｋｍ／ｈより大きな速度で移動している場合）、車線変更する際には自車両Ｖの前方に移動しているため、問題とならない。このため、ステップＳ１４では車線変更の際に問題となる他車両Ｖを判断しているともいえる。

また、ステップＳ１４において立体物の絶対移動速度が１０ｋｍ／ｈ以上、且つ、立体物の自車両Ｖに対する相対移動速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、以下の効果がある。例えば、カメラ１０の取り付け誤差によっては、静止物の絶対移動速度を数ｋｍ／ｈであると検出してしまう場合があり得る。よって、１０ｋｍ／ｈ以上であるかを判断することにより、静止物を他車両Ｖであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Ｖに対する相対速度を＋６０ｋｍ／ｈを超える速度に検出してしまうことがあり得る。よって、相対速度が＋６０ｋｍ／ｈ以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。

さらに、ステップＳ１４の処理に代えて、絶対移動速度がマイナスでないことや、０ｋｍ／ｈでないことを判断してもよい。また、本実施形態では自車両Ｖが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップＳ１５において他車両Ｖが検出された場合、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行うようにしてもよい。

このようにして、本実施形態に係る移動距離検出装置１及び移動距離検出方法によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像ＰＤ_ｔのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成する。ここで、差分画像ＰＤ_ｔのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形ＤＷ_ｔを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形ＤＷ_ｔを生成することとなる。そして、高さ方向の情報を含む差分波形ＤＷ_ｔの時間変化から立体物の移動距離を算出する。このため、単に１点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。

また、差分波形ＤＷ_ｔのうちスミアＳの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形ＤＷ_ｔのうちスミアＳによって生じる波形部位を除去することとなり、スミアＳを立体物と誤認してしまう事態を防止することができる。

また、異なる時刻に生成された差分波形ＤＷ_ｔの誤差が最小となるときの差分波形ＤＷ_ｔのオフセット量から立体物の移動距離を算出する。このため、波形という１次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。

また、異なる時刻に生成された差分波形ＤＷ_ｔを複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分
割する。このように複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。

また、複数の小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に重み付けをし、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。

また、差分波形ＤＷ_ｔの各小領域ＤＷ_ｔ１〜ＤＷ_ｔｎについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。

また、小領域ＤＷ_ｔ１〜ＤＷ_ｔｎ毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。

また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。

また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、上記実施形態において、自車両Ｖの車速を速度センサ２０からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。

なお、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像ＰＤ_ｔを生成し、生成した差分画像ＰＤ_ｔを倒れ込み方向（撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向）に沿って評価して差分波形ＤＷ_ｔを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向（すなわち、倒れ込み方向を撮像画像上の方向に変換した方向）に沿って評価することによって差分波形ＤＷ_ｔを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像ＰＤ_ｔを生成し、差分画像ＰＤ_ｔを鳥瞰図に変換した際の立体物の倒れ込み方向
沿って評価できれば、必ずしも明に鳥瞰図を生成しなくとも良い。

１…移動距離検出装置
１０…カメラ（撮像手段）
２０…車速センサ
３０…計算機
３１…視点変換部（変換手段）
３２…位置合わせ部（位置合わせ手段）
３３…立体物検出部（立体物検出手段）
３４…スミア検出部（スミア検出手段）
ａ…画角
Ａ１，Ａ２…検出領域
ＣＰ…交点
ＤＰ…差分画素
ＤＷ_ｔ，ＤＷ_ｔ’…差分波形
ＤＷ_ｔ１〜ＤＷ_ｍ，ＤＷ_ｍ＋ｋ〜ＤＷ_ｔｎ…小領域
Ｌ１，Ｌ２…接地線
Ｌａ，Ｌｂ…立体物が倒れ込む方向上の線
Ｐ…撮像画像
ＰＢ_ｔ…鳥瞰画像
ＰＤ_ｔ…差分画像
ＭＰ…マスク画像
Ｓ…スミア
ＳＰ…スミア画像
ＳＢ_ｔ…スミア鳥瞰画像
Ｖ…自車両、他車両

Claims (11)

1. 車両に搭載され、所定領域を撮像する撮像手段と、
   前記撮像手段による撮像にて得られた異なる時刻の所定領域の画像を、鳥瞰視上で位置を合わせる位置合わせ手段と、
   前記位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、立体物を検出する立体物検出手段と、を備え、
   前記立体物検出手段は、前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントし、カウントした前記画素数を前記車両の進行方向に沿って度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出することを特徴とする移動距離検出装置。
2. 前記撮像手段による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換する変換手段を備え、
   前記位置合わせ手段は、前記変換手段により視点変換された異なる時刻の鳥瞰画像データの位置を合わせる位置合わせを行い、
   前記立体物検出手段は、前記位置合わせ手段により位置合わせされた異なる時刻の鳥瞰画像データの差分画像データに基づいて、立体物を検出し、前記変換手段による視点変換によって立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
   ことを特徴とする請求項１に記載の移動距離検出装置。
3. 前記撮像手段による撮像によって得られた画像からスミアの発生領域を検出するスミア検出手段をさらに備え、
   前記立体検出手段は、前記差分波形のうち前記スミア検出手段により検出されたスミアの発生領域に該当する箇所について、度数分布のカウント数をゼロとする
   ことを特徴とする請求項２に記載の移動距離検出装置。
4. 前記立体物検出手段は、異なる時刻に生成された差分波形の誤差が最小となるときの差分波形のオフセット量から立体物の移動距離を算出する
   ことを特徴とする請求項２又は請求項３のいずれかに記載の移動距離検出装置。
5. 前記立体物検出手段は、異なる時刻に生成された差分波形を複数の領域に分割し、領域毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、領域毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する
   ことを特徴とする請求項４に記載の移動距離検出装置。
6. 前記立体物検出手段は、前記複数の領域毎に重み付けをし、領域毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する
   ことを特徴とする請求項５に記載の移動距離検出装置。
7. 前記立体物検出手段は、前記差分波形の各領域について、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする
   ことを特徴とする請求項６に記載の移動距離検出装置。
8. 前記立体物検出手段は、領域毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する
   ことを特徴とする請求項５から請求項７のいずれか１項に記載の移動距離検出装置。
9. 前記立体物検出手段は、前記撮像手段の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求めると共に、領域毎に求めたオフセット量をカウントして得られたヒストグラムの極大値のうち、当該静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する
   ことを特徴とする請求項８に記載の移動距離検出装置。
10. 前記立体物検出手段は、当該静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する
    ことを特徴とする請求項９に記載の移動距離検出装置。
11. 車両に搭載され、所定領域を撮像する撮像手段による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換する変換工程と、
    前記変換工程において視点変換された異なる時刻の鳥瞰画像データの位置を合わせる位置合わせ工程と、
    前記位置合わせ工程において位置合わせされた鳥瞰画像データの差分画像データに基づいて、立体物を検出する立体物検出工程と、を有し、
    前記立体物検出工程では、前記視点変換により立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントし、カウントした前記画素数を前記車両の進行方向に沿って度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出することを特徴とする移動距離検出方法。

Images