以下、本発明の好適な実施形態を図面に基づいて説明する。図1は、本実施形態に係る並走体検出装置1の概略構成図であって、並走体検出装置1が車両Vに搭載される場合の例を示している。図1に示す並走体検出装置1は、自車両Vの隣接車線等を走行する他車両Vを検出するものであって、具体的には他車両Vと地面との境界となる接地線を検出することで他車両Vの位置を検出し、自車両Vが車線変更する際に障害となる場合には警報動作等を実施するものである。なお、以下の例では自車両Vと他車両Vとを例に説明するが、自車両Vに代えて二輪車や自転車など他の移動体に適用してもよいし、他車両Vに代えて二輪車や自転車など他の並走体を検出する場合に適用してもよい。
並走体検出装置1は、カメラ(撮像手段)10と、車速センサ20と、横速度センサ(横方向検出手段)30と、並走体有無検出装置(並走体有無検出手段)40と、計算機50とを備えている。なお、警報動作を実施する構成については図示を省略している。
図1に示すカメラ10は、自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ10は、この位置から検出領域を撮像するようになっている。車速センサ20は、自車両Vの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から速度を算出する。横速度センサ30は、例えば自車両Vの横方向への加速度を検出する加速度センサからの信号を時間積分して横方向の速度を算出する。また、横方向センサ30は、VDC(Vehicle Dynamics Control)のものと兼用されるようになっていてもよい。
並走体有無検出装置40は、自車両Vの隣接車線等を走行する他車両Vの有無を検出するものである。この並走体有無検出装置40は、例えば特許文献1に記載されているように差分画像に基づく手法で他車両Vの有無を検出する。計算機50は、車両後側方の他車両Vについて位置を検出するものである。
図2は、図1に示した自車両Vの走行状態を示す上面図である。図2に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角内には自車両Vが走行する車線に加えて、その左右に隣接する隣接車線についても含まれるようになっている。
図3は、図1に示した計算機50の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20、横速度センサ30及び並走体有無検出装置40についても図示するものとする。
図3に示すように、計算機50は、視点変換部51と、位置合わせ部(位置合わせ手段)52と、並走体接地線検出部(並走体接地線検出手段)53とを備えている。
視点変換部51は、カメラ10による撮像にて得られた検出領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特許文献1に記載されるようにして実行される。また、検出領域とは、図2に示す符号A1,A2に示される領域であり、本実施形態に係る並走体検出装置1は、検出領域A1,A2に対して各種処理を実行することによ
り検出領域A1,A2内の他車両Vの位置を検出する。
位置合わせ部52は、視点変換部51の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図4は、図3に示した位置合わせ部52の処理の概要を示す上面図であり、(a)は自車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置しているとする。また、自車両Vの後側方領域に他車両Vが位置して自車両Vと並走状態にあり、現時刻の他車両VがV3に位置し、一時刻前の他車両VがV4に位置しているとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。
このような状態において、現時刻における鳥瞰画像PBtは図4(b)に示すようになる。この鳥瞰画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V3については倒れ込みが発生している。また、一時刻前における鳥瞰画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V4については倒れ込みが発生している。
位置合わせ部52は、上記のような鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部52は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰画像PBtと位置を一致させる。オフセット量d’は、図4(a)に示した移動距離dに対応するだけの量となり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
また、位置合わせ後において位置合わせ部52は、鳥瞰画像PBt,PBt−1の差分をとり、差分画像PDtのデータを生成する。ここで、差分画像PDtの画素値は、鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値を超えたときに「1」とし、超えないときに「0」としてもよい。
再度、図3を参照する。並走体接地線検出部53は、設定部(設定手段)53a、差分波形生成部(差分波形生成手段)53b、及び接地線検出部(接地線検出手段)53cを備え、図4に示したような差分画像PDtのデータに基づいて他車両Vの接地線を検出する。この際、並走体接地線検出部53は、自車両Vの進行方向と略平行な線を複数設定すると共に、それぞれの略平行な線に基づいて差分波形を生成し、複数の差分波形の形状変化から他車両Vの接地線を検出する。以下、詳細に説明する。
図5は、図3に示した並走体接地線検出部53による処理の様子を示す概略図であり、(a)は設定部53aによる略平行な線の設定の様子を示している。まず、本実施形態における検出領域A1,A2は、自車両Vの後側方に矩形状に設定される。なお、本実施形態における並走体検出装置1は、自車両Vが車線変更する際に接触の可能性がある他車両Vの接地線を検出する目的のものである。このため、検出領域A1,A2は、自車両Vの後側方に設定される。なお、以下に示す例では、便宜上検出領域A1のみを用いて説明する。
このような検出領域A1,A2は、自車両Vに対する相対位置から設定されてもよいし、白線の位置を基準に設定されてもよい。白線の位置を基準に設定する場合、並走体検出
装置1は、例えば既存の白線認識技術等を利用するとよい。
設定部53aは、このようにして設定された検出領域A1,A2に対して、自車両Vの進行方向と略平行な複数の線L1〜L4をそれぞれ異なる位置に設定する。例えば図5に示す例において設定部53aは、4本の略平行な線L1〜L4を設定する。なお、以下の説明において4本の略平行な線L1〜L4を例に説明するが、これに限らず、平行な線は2本又は3本であってもよいし、5本以上であってもよい。
図6は、図3に示した差分波形生成部53bによる差分波形の生成の様子を示す概略図である。図6に示すように、差分波形生成部53bは、差分画像PDtのうち検出領域A1,A2に相当する部分から、差分波形DWtを生成する。この際、差分波形生成部53bは、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。
具体的に説明すると、まず差分波形生成部53bは、差分画像PDtのデータ上において並走体が倒れ込む方向上の線Laを定義する。そして、差分波形生成部53bは、略平行な線Lの自車両遠方側において、線La上の所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWtの画素値が鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものである場合、所定の閾値を超える画素であり、差分画像DWtの画素値が「0」「1」で表現されている場合、「1」を示す画素である。
差分波形生成部53bは、差分画素DPの数をカウントした後、線Laと略平行な線Lとの交点CPを求める。そして、差分波形生成部53bは、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置(図5の紙面上下方向軸における位置)を決定し、カウント数から縦軸位置(図5の紙面左右方向軸における位置)を決定する。
以下同様に、差分波形生成部53bは、並走体が倒れ込む方向上の線(すなわち線La,Lbと同様の線)を定義して、差分画素DPの数をカウントし、交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定する。差分波形生成部53bは、上記を順次繰り返して度数分布化することで差分波形DWtを生成する。
なお、図6に示すように、並走体が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなってしまう。このため、差分波形生成部53bは、差分画素DPのカウント数から縦軸位置を決定する場合、並走体が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、並走体接地線検出部53は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
差分波形生成部53bは、以上の差分波形DWtの生成処理を略平行な線L1〜L4毎に実行する。これにより、図5(b)に示すように複数の差分波形を得ることができる。図5(b)は、差分波形生成部53bにより生成された複数の差分波形を示している。図5(b)に示すように、差分波形生成部53bは複数の差分波形DWt1〜DWt4を生成する。ここで、差分波形DWt1は略平行な線L1に基づくものであり、差分波形DWt2は略平行な線L2に基づくものであり、差分波形DWt3は略平行な線L3に基づくものであり、差分波形DWt4は略平行な線L4に基づくものである。
ここで、複数の差分波形DWt1〜DWt4を参照すると、自車両Vに近い略平行な線L3に基づく差分波形DWt3の方が、自車両Vに遠い略平行な線L1,L2に基づく差分波形DWt1,DWt2よりも度数が増加する傾向にある。これは、他車両Vが立体物であるため、差分画像PDt上において他車両Vが必ず無限遠に伸びるためである。ところが、差分波形DWt3と差分波形DWt4とは度数が同じとなっている。これは、略平行な線L3,L4の双方が差分画像PDt上において他車両Vと重なっていないためである。すなわち、略平行な線L3と線L4との間に差分画素DPが入っていないためである。
接地線検出部53cは、上記のような複数の差分波形DWt1〜DWt4の形状変化から、他車両Vの接地線Ltを判断する。図5(b)に示す例の場合、接地線検出部53cは、略平行な線L3を接地線Ltと判断する。具体的には図7に示す面積の増加率から接地線Ltを判断する。
図7は、図5(b)に示した複数の差分波形DWt1〜DWt4の面積の増加率を示すグラフである。図7に示すように、接地線検出部53cは、算出された面積のうち最も遠い略平行な線から最も近い略平行な線へ向かって面積の増加率を参照する。ここで、差分波形DWt2の面積は差分波形DWt1の面積に対して一定の増加率を示し、差分波形DWt3の面積は差分波形DWt2の面積に対して一定の増加率を示している。これに対して、差分波形DWt4の面積と差分波形DWt3の面積とは同じとなっており、増加率は所定値以下となっている。これは、上記したように、略平行な線L3と線L4との間に差分画素DPが入っていないためである。すなわち、略平行な線L3と線L4との間には並走体が存在しないと推定できる。よって、接地線検出部53cは、略平行な線L3を他車両Vの接地線Ltと判断する。
また、接地線検出部53cは、ノイズを除去する機能を有している。図8は、図3に示した接地線検出部53cによるノイズの除去の様子を示す図であって、(a)は鳥瞰画像PBtを示し、(b)は差分画像PDtを示し、(c)は差分波形DWtを示している。
図8(a)に示すように、まず他車両V及び路面上の白線Wが鳥瞰画像PBt上に映っているとする。このような鳥瞰画像PBtに基づいて差分画像PDtを生成した場合、理想的には他車両Vについては差分画素DPが得られ、白線Wについては差分画素DPが得られない。しかし、図8(b)に示すように、路面上の白線Wについても差分画素DPが得られることがある。このような場合、図8(c)に示すように、略平行な線L1が接地線Ltとして相当であるが、白線Wの差分画素DPにより線L4が接地線Ltと判断されてしまうことがあり得る。すなわち、差分波形DWt4の面積が所定値を超える増加率を示してしまい、線L4が接地線Ltと判断されてしまうことがあり得る。
そこで、接地線検出部53cは、複数の差分波形DWt1〜DWt4のうち最も遠い略平行な線L1に基づく差分波形DWt1から最も近い略平行な線L4に基づく差分波形DWt4へ向かって順に形状変化を参照し、最初に検出されたピークP1,P2が検出された差分波形DWt1の位置及び周辺に他車両Vが存在すると判断する。一方、接地線検出部53cは、2番目以降に検出されたピークP3が差分波形DWt1の位置及び周辺に該当しない場合、当該2番目以降に検出されたピークP3を除外して他車両Vの接地線を検出する。
ここで、他車両Vは立体物であるため鳥瞰画像PBtでは必ず無限遠に伸びるため、最も遠い略平行な線L1に基づく差分波形DWt1から最も近い略平行な線L4に基づく差分波形DWt4へ向かって順に差分波形を参照した場合、最初にピーク(図8(c)の符
号P1,P2に相当)が現れる傾向にある。しかし、2番目以降の差分波形(例えば差分波形DWt4)から検出されたピークP3に関しては、例えば路面の白線W等が自車両挙動の影響やモデル化の誤差等により差分として検出されてしまったと推定できる。よって、2番目以降に検出されたピークP3が最初に検出されたピークP1,P2の差分波形DWt1の位置及び周辺に該当しない場合、当該2番目以降に検出されたピークP3を除外して他車両Vの接地線Ltを検出することで、一層接地線Ltの検出精度を向上させることができる。具体的に接地線検出部53cは、ピークP3を除去して図7に示したような面積の増加率から他車両Vの接地線Ltを判断することとなる。
なお、図8に示す例では、他車両Vと白線Wとの差分が倒れ込み方向に一致しない。しかし、図9では他車両Vと白線Wとの差分が倒れ込み方向に一致しているため、図8に示したようなピークP3の除去処理を実行できない。
図9は、他車両Vと白線Wとの差分が倒れ込み方向に一致する場合における接地線Ltの検出の様子を示す図であって、(a)は鳥瞰画像PBtを示し、(b)は差分画像PDtを示している。
図9(a)に示すように、まず他車両V及び路面上の白線Wが鳥瞰画像PBt上に映っているとする。このような鳥瞰画像PBtに基づいて差分画像PDtを生成した場合、他車両Vについて差分画素DPが得られると共に、白線Wについても差分画素DPが得られたとする。特に、図9(b)に示す例では、他車両Vの差分画素DPと白線Wの差分画素DPとが倒れ込み方向に一致している。よって、図10に示すような差分波形DWt1,DWt4が得られる。
図10は、図9に示した例における差分波形DWt3,DWt4の面積の増加率を示すグラフである。ここで、図10に示す例では、他車両Vの差分画素DPと白線Wの差分画素DPとが倒れ込み方向に一致しているため、ピークP4の位置が一致している。故に、図8に示すノイズ処理が実行できなくなる。しかし、本実施形態に係る並走体検出装置1では問題無く接地線Ltを検出することができる。
図10に示すように、略平行な線L4に基づく差分波形DWt4は、略平行な線L3に基づく差分波形DWt3に対して面積が増加している。しかし、増加分は白線Wの差分画素DPの数に相当するため、無限遠に伸びる立体物と比較してその数は少ない。よって、面積の増加率は低くなる。従って、接地線Ltを判断するための所定値を適切な値に設定しておけば、他車両Vの差分画素DPと白線Wの差分画素DPとが倒れ込み方向に一致している場合であっても、所定値を適切な値に設定しておけば問題無く接地線Ltを検出することができる。なお、所定値については実験等から適切に設定することができる。
さらに、接地線検出部53cは、接地線Ltを予め定めた位置とする2つの機能を有している。図11は、接地線Ltを予め定めた位置とする第1機能を示す図であって、(a)は差分画像PDtを示し、(b)は複数の差分波形DWt1〜DWt4を示している。
図11(a)に示すように、まず他車両Vが鳥瞰画像PBt上に映っておらず、路面上の白線Wのみが鳥瞰画像PBt上に映っているとする。このような鳥瞰画像PBtに基づいて差分画像PDtを生成し、白線Wについて差分画素DPが得られたとする。
この場合、算出された複数の差分波形DWt1〜DWt4のそれぞれの最大値の少なくとも1つが規定値以上とならない。すなわち、差分波形DWt1,DWt2はもとより白線Wの差分画素DPが得られる差分波形DWt3,DWt4であっても最大値は規定値以上とならない。このため、このような場合に接地線検出部53cは他車両Vが存在しない
と判断し、予め定めた接地線Ltを採用する。ここで、予め定めた接地線Ltとは、例えば検出領域A1の中央の線(すなわち線L2)である。このように中央の線という他車両Vが進入してきたときに他車両Vが通り易い箇所に接地線Ltとすることで、新たに検出領域A1に他車両Vが進入してきた場合に他車両Vの接地線Ltについての検出が不安定になってしまう事態を抑制することができる。
図12は、接地線Ltを予め定めた位置とする第2機能を示す図であって、(a)は実際の自車両Vと他車両Vとの位置関係を示し、(b)は差分画像PDtを示し、(c)は(b)の差分画像PDtより得られる複数の差分波形DWt1〜DWt4の面積の増加率を示すグラフである。
図12(a)に示すように、自車両Vと他車両Vとが横方向に近接関係にあり、他車両Vの左側が検出領域A1から外れている。このような場合、差分画像PDtは図12(b)に示すようになり、複数の差分波形DWt1〜DWt4の面積は図12(c)に示すように飽和しない状態となる。このため、図7及び図10に示すように、面積の増加率が所定値以下とならず、接地線Ltを検出できなくなってしまう。すなわち、算出された複数の差分波形DWt1〜DWt4の少なくとも1つの最大値が規定値以上であるにも拘わらず、接地線Ltを検出できなくなってしまう。
よって、接地線得検出部53cは、他車両Vが自車両V側に近寄り過ぎており、他車両Vの一部が差分波形DWt1〜DWt4に反映されておらず面積が飽和しないと判断する。そして、接地線検出部53cは、予め定めた接地線Ltを採用する。ここで、予め定めた接地線Ltとは、検出領域A1の最も自車両V寄りの略平行な線である。このように自車両V寄りの略平行な線を接地線Ltとすることで、接地線Ltの検出誤差を極力少なくすることができる。
また、差分波形生成部53bは、処理量を低減するように複数の差分波形DWt1〜DWt4を生成する。図13は、図3に示した差分波形生成部53bによる複数の差分波形DWt1〜DWt4の生成の様子を示す図である。図13に示すように、差分波形生成部53bは、設定部53aにより設定された複数の略平行な線L1〜L4のうち最も遠い略平行な線L1から最も近い略平行な線L4に向かって差分波形DWt1〜DWt4を順に生成する。
この際、差分波形生成部53bは、前回生成された差分波形DWtn−1(本実施形態においてnは2以上4以下の整数)に対して、前回差分波形DWtn−1を生成したときの略平行な線Ln−1と今回差分波形DWnを生成するときの略平行な線Lnとの間における差分画素DPを足し合わせることで、今回の差分波形DWtnを生成する。
具体的に説明すると、まず差分波形生成部53bは、倒れ込み方向の線Laに沿って、略平行な線L1の遠方側の差分画素DPをカウントする。このときの差分画素DPの数をW11とする。次いで、差分波形生成部53bは、倒れ込み方向の線Lb〜Lnに沿って順次差分画素DPをカウントし、差分画素DPの数W12〜W1nを得る。これにより、差分波形生成部53bは差分波形DWtn−1を生成する。
次に、差分波形生成部53bは、倒れ込み方向の線Laに沿って、略平行な線L1と略平行な線L2との間の差分画素DPをカウントする。このときの差分画素DPの数をΔWとすると、差分波形生成部53bは、略平行な線L2の遠方側の差分画素DPの数W21=W11+ΔWなる式により算出する。以降、差分波形生成部53bは、略平行な線L2の遠方側の差分画素DPの数を、略平行な線L1と略平行な線L2との間の差分画素DPをカウントし、足し合わせることで算出していく。そして、差分波形生成部53bは差分
波形DWt2を生成する。なお、差分波形DWt3,DWt4についても同様である。
以上より、差分波形生成部53bは、差分波形DWt1〜DWt4の生成に関する処理量を低減させることができる。
また、接地線検出部53cは、検出した接地線Ltをオフセットさせることにより検出精度を高める2つの機能を備えている。図14は、図3に示した接地線検出部53cにより接地線Ltをオフセットさせる様子を示す上面図である。
図14に示すように、例えば自車両Vが横方向に移動し、自車両Vの後側方それぞれに他車両Vが存在していたとする。このとき、自車両Vが近寄る側の他車両Vについては比較的正確に接地線Ltを検出することができる。すなわち、自車両Vの横移動したことにより、一時刻前の他車両Vの位置がVt−1となり、現時刻の他車両Vの位置がVtとなる。ここで、両者の差分を取り、差分波形DWtを生成すると、図14に示すようになり、接地線検出部53cは接地線Ltを検出することができる。このとき、差分波形DWtにも示されるように、一時刻前の接地線Lt−1を現時刻の接地線Ltと誤認することはない。
これに対して、自車両Vが離れる側の他車両Vについては一時刻前の接地線Lt−1を現時刻の接地線Ltと誤認してしまう。すなわち、自車両Vの横移動したことにより、一時刻前の他車両Vの位置がVt−1となり、現時刻の他車両Vの位置がVtとなる。ここで、両者の差分を取り、差分波形DWtを生成すると、図14に示すようになる。このため、差分波形DWtの増加率が所定値以下となるのは、一時刻前の接地線Lt−1の位置であり、接地線検出部53cは一時刻前の接地線Lt−1を現時刻の接地線Ltと誤認してしまう。
そこで、接地線検出部53cは、横速度センサ30により検出された横方向への移動方向とは逆方向の検出領域A1,A2に他車両Vが存在すると検出された場合に、当該検出領域A1,A2の差分画像データPDtから求められた接地線Lt−1を移動方向とは逆方向にオフセットさせて他車両の接地線Ltとして検出する。このときのオフセット量は、自車両Vの横移動量に相当するものであり、横速度センサ30からの信号と一時刻前から現時刻までの時間に基づいて決定される。
図15は、図3に示した接地線検出部53cにより接地線Ltをオフセットさせる様子を示す鳥瞰画像図である。まず、他車両Vが検出領域A1内に存在している状態から、図15に示すように他車両Vが検出領域A1を自車両Vの進行方向側に外れたとする。すなわち、自車両Vが他車両Vにより追い越されようとしているとする。
この場合、図15に示すように、検出領域A1からタイヤが外れて車体のみしか入らなくなることがあり、このような場合、接地線検出部53cは車体から接地線Ltを検出してしまう。そこで、自車両Vが他車両Vにより追い越されようとしている場合、接地線検出部53cは、検出した接地線Ltを所定量だけ自車両V側にオフセットさせる。この結果、接地線検出部53cは最終的に接地線Lt’を検出結果とすることとなり、より正確に接地線Lt’を求めることができる。
加えて、並走体有無検出装置40は、接地線Ltが検出された場合であっても、他車両Vが存在しないと判断することがある。まず、並走体有無検出装置40は過去に検出された接地線Ltを記憶している。図16は、過去の接地線Ltのばらつきを示す度数分布図である。
図16に示すように、過去の接地線Ltはばらつきが大きい。ここで、他車両Vは一般に左右に揺れながら走行しないことから、図16に示すように過去に検出して記憶した複数の接地線Ltのばらつきが所定より大きい場合、並走体有無検出装置40は他車両Vが存在しないと判断する。ここで、記憶された過去の接地線Ltのばらつきが所定より大きい場合とは、例えば検出領域A1,A2に生垣などの複雑なテクスチャを有する立体物が存在する場合が考えられる。このような立体物は他車両Vではなく接地線Ltを検出する必要がない。よって、他車両Vが存在しないと判断することで、誤検出を防止することができる。
また、接地線検出部53cは、検出した接地線Ltの位置を補正する機能を有している。図17は、図3に示した接地線検出部53cによる接地線Ltの位置の補正を示す上面図である。図17に示すように、例えば二時刻前の接地線の位置がLt−2であり、一時刻前の接地線の位置がLt−1であるとする。そして、接地線検出部53cが現時刻の接地線の位置をLtと検出したとする。この場合、他車両Vは一時刻前から現時刻に掛けて急激に横移動しており、実際の他車両Vの挙動からすると考え難い。
このような場合、接地線検出部53cは、過去に検出して記憶した複数の接地線Ltの履歴から他車両Vの横移動量を求め、横移動量から検出した接地線Ltの位置を補正する。具体的に図16に示す例において接地線検出部53cは、二時刻前の接地線の位置がLt−2と一時刻前の接地線の位置がLt−1とから他車両の横移動量Mを求める。そして、接地線検出部53cは、一時刻前の接地線の位置がLt−1と横移動量Mとから、接地線の位置をLt’に補正する。これにより、例えば他車両Vの日照条件の急激な変化やトンネルの出入口における明るさの変化やノイズなどにより、正しく接地線Ltを検出できない場合が生じたとしても、過去の履歴から補正することができ、より正確に接地線Ltを求めることができる。
なお、図17に示す例では、一時刻前の接地線の位置Lt−1に横移動量Mを加算して接地線の位置Lt’を求めているが、これに限らず、接地線Ltに位置Lt’を加味して、接地線Ltをやや位置Lt’寄りに補正してもよい。
次に、本実施形態に係る並走体検出方法を説明する。図18は、本実施形態に係る並走体検出方法を示すフローチャートであって、接地線Ltの検出処理を示している。図18に示すように、まず視点変換部51は、カメラ10から撮像画像データを読み込んで視点変換し、鳥瞰画像PBtのデータを生成する(S1)。次いで、位置合わせ部52は、ステップS1において生成された鳥瞰画像PBtのデータと、一時刻前の鳥瞰画像PBt−1のデータとを位置合わせする(S2)。
位置合わせ後、位置合わせ部52は、差分画像PDtのデータを生成する(S3)。そして、並走体接地線検出部53の設定部53aは、差分画像PDtのデータ(特に検出領域A1,A2)に対して自車両Vの進行方向と略平行な複数の線L1〜L4をそれぞれ異なる位置に設定する(S4)。このとき、設定部53aは図5(a)に示すようにして略平行な複数の線L1〜L4を設定する。
次に、差分波形生成部53bは、設定部53aにより設定された略平行な複数の線L1〜L4それぞれの自車両遠方側におけるデータに対し、検出領域A1,A2の画像を鳥瞰視に視点変換した際に他車両Vが倒れ込む方向に沿って、差分画素DPの数をカウントして度数分布化することで複数の差分波形DWt1〜DWt4を生成する(S5)。このとき、差分波形生成部53bは図5(b)及び図13に示すようにして複数の差分波形DWt1〜DWt4を生成する。
次に、接地線検出部53cは複数の差分波形DWt1〜DWt4からノイズを除去する(S6)。このとき、接地線検出部53cは、図8に示すようにしてノイズを除去する。すなわち、接地線検出部53cは、複数の差分波形DWt1〜DWt4のうち最も遠い略平行な線L1に基づく差分波形DWt1から最も近い略平行な線L4に基づく差分波形DWt4へ向かって順に形状変化を参照する。そして、接地線検出部53cは、最初に検出されたピークP1,P2が検出された差分波形DWt1の位置及び周辺に他車両Vが存在すると判断する。一方、接地線検出部53cは、2番目以降に検出されたピークP3が差分波形DWt1の位置及び周辺に該当しない場合、当該2番目以降に検出されたピークP3を除外する。
その後、接地線検出部53cは、複数の差分波形DWt1〜DWt4それぞれの面積を算出する(S7)。次いで、接地線検出部53cは、複数の差分波形DWt1〜DWt4それぞれの最大値の少なくとも1つが規定値以上であるか否かを判断する(S8)。
最大値の少なくとも1つが規定値以上でないと判断した場合(S8:NO)、接地線検出部53cは予め定めた接地線Ltを採用する(S9)。ここで、予め定めた接地線Ltとは、図11に示すように例えば検出領域A1,A2の中央の線である。その後、図18に示す処理は終了する。
一方、最大値の少なくとも1つが規定値以上であると判断した場合(S8:YES)、接地線検出部53cは、面積の増加率が所定値以下となる接地線Ltの候補を抽出する(S10)。
次いで、接地線検出部53cは、ステップS10において抽出された候補が1以上あるか否かを判断する(S11)。候補が1以上ないと判断した場合(S11:NO)、接地線検出部53cは予め定めた接地線Ltを採用する(S9)。ここで、予め定めた接地線Ltとは、図12に示すように例えば検出領域A1,A2の最も自車両V寄りの略平行な線である。その後、図18に示す処理は終了する。
一方、候補が1以上あると判断した場合(S11:YES)、接地線検出部53cは、面積の増加率が所定値以下となる略平行な線L1〜L4のうち、最も自車両V寄りの線L1〜L4を接地線Ltとして検出する(S12)。その後、図18に示す処理は終了する。
図19は、本実施形態に係る並走体検出方法を示すフローチャートであって、接地線Ltのオフセット及び補正処理を示している。図19に示すように、まず接地線検出部53cは、接地線Ltの検出し始めから所定時間経過しているか否かを判断する(S21)。
図20は、図19に示したステップS21の処理を説明するタイミングチャートである。図20に示すように、他車両Vの接地線が検出され自車両Vが車線変更したときに接触の可能性があると判断した場合、並走体検出装置1は警報動作を行う。しかし、接地線Ltの検出し始めの所定時間では接地線Ltの検出結果が不安定となってしまう。
再度、図19を参照する。接地線Ltの検出し始めの所定時間では接地線Ltの検出結果が不安定となってしまうことから、接地線Ltの検出し始めから所定時間経過していないと判断した場合(S21:NO)、処理はステップS22に移行する。そして、接地線検出部53cは、予め定めた接地線Ltを採用する(S22)。ここで、予め定めた接地線Ltとは、例えば検出領域A1,A2の中央の線である。その後、図19に示す処理は終了する。
一方、接地線Ltの検出し始めから所定時間経過したと判断した場合(S21:YES)、接地線検出部53cは、横速度センサ30からの信号に基づいて自車両Vの横移動量を算出し、算出した横移動量が予定値以上であるか否かを判断する(S23)。予定値以上であると判断した場合(S23:YES)、自車両Vの横移動量が大きく、検出された接地線Ltのズレも大きくなることから、接地線検出部53cはオフセット処理を実行する(S24)。このとき、接地線検出部53cは、図14に示しようにしてオフセット処理を実行する。そして、図19に示す処理は終了する。
算出した横移動量が予定値以上でないと判断した場合(S23:NO)、接地線検出部53cは、他車両Vの追い越しが発生しているか否かを判断する(S25)。他車両Vの追い越しが発生していると判断した場合(S25:YES)、車体のみが検出領域A1,A2に入っている場合、接地線Ltにズレが発生してしまうことから、接地線検出部53cはオフセット処理を実行する(S24)。このとき、接地線検出部53cは、図15に示しようにしてオフセット処理を実行する。そして、図19に示す処理は終了する。
他車両Vの追い越しが発生していないと判断した場合(S25:NO)、接地線検出部53cは、過去に検出して記憶した複数の接地線Ltの履歴から他車両Vの横移動量を求め、求めた横移動量が所定以上か否かを判断する(S26)。求めた横移動量が所定以上でないと判断した場合(S26:NO)、図19に示す処理は終了する。
一方、求めた横移動量が所定以上であると判断した場合(S26:YES)、接地線検出部53cは、図17に示したようにして接地線Ltを補正する(S27)。そして、図19に示す処理は終了する。
図21は、本実施形態に係る並走体検出方法を示すフローチャートであって、並走体有無検出装置40の処理を示している。図21に示すように、まず並走体有無検出装置40は、過去に検出して記憶した複数の接地線Ltのばらつきが所定以上か否かを判断する(S31)。
ばらつきが所定以上であると判断した場合(S31:YES)、例えば検出領域A1,A2に生垣などの複雑なテクスチャを有する立体物が存在すると考えられることから、並走体有無検出装置40は他車両Vが存在しないと判断する(S32)。その後、図21に示す処理は終了する。
一方、ばらつきが所定以上でないと判断した場合(S31:NO)、並走体検出装置1は他車両Vが存在すると判断し、並走体検出装置1は、接地線Ltから他車両Vの位置を判断し、警告等を実施する(S33)。その後、図21に示す処理は終了する。
このようにして、本実施形態に係る並走体検出装置1及び並走体検出方法によれば、差分画像PDtのデータのうち、設定された略平行な複数の線L1〜L4それぞれの自車両Vの遠方側におけるデータに対し、検出領域A1,A2の画像を鳥瞰視に視点変換した際に他車両Vが倒れ込む方向に沿って、差分画素DPをカウントして度数分布化することで複数の差分波形DWt1〜DWt4を生成する。ここで、差分画素DPとは、異なる時刻の画像において変化があった画素であり、言い換えれば他車両Vが存在した箇所であるといえる。このため、他車両Vが存在した箇所において、他車両Vが倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWt1〜DWt4を生成することとなる。特に、他車両Vが倒れ込む方向に沿って画素数をカウントすることから、他車両Vに対して高さ方向の情報から差分波形DWt1〜DWt4を生成することとなる。また、高さ方向の情報から差分波形DWt1〜DWt4を生成することから、検出領域A1,A2に他車両Vが位置する場合、理論的に自車両Vに近い略平行な線L3に基づく差分波
形DWt3は、自車両から遠い略平行な線L1に基づく差分波形DWt1に対して度数が増加する傾向にある。しかし、他車両Vと略平行L3,L4な線が重ならなくなると、この増加が理論上無くなる傾向にある。このため、複数の差分波形DWt1〜DWt4の形状変化を参照し、増加傾向が無くなる線L3,L4から接地線Ltを求めることができる。特に、単に1点の移動のみに着目するような場合と比較して、自車両Vと他車両Vとが挙動を示すものであっても、高さ方向の情報を含む差分波形DWt1〜DWt4から接地線Ltを検出するため、接地点を検出する場合よりも精度の向上が図れることとなる。従って、他車両Vの位置検出精度について向上を図ることができる。
また、複数の差分波形DWt1〜DWt4のうち最も遠い略平行な線L1に基づく差分波形DWt1から最も近い略平行な線L4に基づく差分波形DWt4へ向かって順に形状変化を参照し、最初に検出されたピークP1,P2が検出された差分波形DWt1の位置及び周辺に他車両Vが存在すると判断する。ここで、他車両Vは立体物であるため鳥瞰画像では必ず無限遠に伸びるため、最も遠い略平行な線L1に基づく差分波形DWt1から順に近い方へ差分波形DWtを参照した場合、最初にピークP1,P2が現れる傾向にある。しかし、2番目以降の差分波形DWt2〜DWt4から検出されたピークP3に関しては、例えば路面のペイント等が自車両挙動の影響やモデル化の誤差等により差分として検出されてしまったと推定できる。よって、2番目以降に検出されたピークP3が最初に検出されたピークP1,P2の差分波形DWt1の位置及び周辺に該当しない場合、当該2番目以降に検出されたピークP3を除外して他車両Vの接地線Ltを検出することで、一層接地線Ltの検出精度を向上させることができる。
また、複数の差分波形DWt1〜DWt4それぞれの面積を算出し、算出された面積のうち最も遠い略平行な線L1から最も近い略平行な線L4へ向かって面積の増加率を参照し、面積の増加率が所定値以下となった差分波形DWtが示す略平行な線Lを接地線Ltとして検出する。ここで、最も遠い略平行な線L1から最も近い略平行な線L4へ向かって面積の増加率を参照した場合、真の接地線Ltよりも自車両Vに近い略平行な線に基づく差分波形DWtの面積は飽和状態となる。このため、面積の変化率が所定値以下となった差分波形DWtが示す略平行な線Lを接地線Ltとして検出することで、接地線Ltを求めることができる。
また、算出された複数の差分波形DWt1〜DWt4のそれぞれの最大値の少なくとも1つが規定値以上とならない場合、予め定めた接地線Ltを採用する。このため、例えば検出領域A1,A2に他車両Vが存在せず最大値の少なくとも1つが規定値以上とならない場合に、予め定めた接地線(例えば差分画像PDtのデータの真ん中の線)Lt、すなわち次回検出時に他車両等が進入したときに接地線Ltとなり易い箇所を採用することができ、次回検出時に接地線Ltの検出が不安定となってしまう事態を抑制することができる。
また、算出された複数の差分波形DWt1〜DWt4の少なくとも1つの最大値が規定値以上である場合において接地線Ltを検出できないとき、予め定めた接地線Ltを採用する。ここで、最大値が規定値以上である場合において接地線Ltを検出できないときとは、例えば他車両等が自車両側に近寄り過ぎており他車両等の自車両側の一部が差分波形DWtに反映されておらず面積が飽和することなく増加しているときが考えられる。このため、このような場合に予め定めた接地線Lt、例えば差分画像PDtのデータの最も自車両寄りの箇所を接地線Ltとして採用することで、接地線Ltの検出誤差を極力少なくすることができる。
また、前回生成された差分波形DWtn−1に対して、前回差分波形DWtn−1を生成したときの略平行な線Ln−1と今回差分波形DWtnを生成するときの略平行な線L
nとの間における差分画素DPの数を足し合わせることで、今回の差分波形DWtnを生成する。このため、差分波形DWtを生成するにあたり、改めて今回の略平行な線Lnよりも自車両遠方側のデータ全てについてカウントすることなく、既にカウントされて得られた差分波形DWtn−1を利用することとなり、差分波形DWtnの生成に関する処理量を低減させることができる。
また、自車両Vの横方向への移動方向とは逆方向の検出領域A1,A2に他車両Vが存在すると検出された場合に、当該検出領域A1,A2の差分画像PDtのデータから求められた接地線Ltを移動方向とは逆方向にオフセットさせて他車両Vの接地線Ltとして検出する。ここで、自車両Vの横方向への移動方向とは逆方向の検出領域A1,A2に他車両Vが存在する場合とは、自車両Vが他車両Vから離れる方向に横移動する場合である。そして、このような場合には接地線Ltの位置を前回検出した接地線Lt−1の位置と誤認してしまう事態が発生する。よって、移動方向とは逆方向にオフセットさせて他車両Vの接地線Ltとして検出することで、より正確に接地線Ltを検出することができる。
また、過去に検出して記憶した複数の接地線Ltのばらつきが所定より大きい場合、他車両Vが存在しないと判断する。ここで、記憶された過去の接地線Ltのばらつきが所定より大きい場合とは、例えば検出領域A1,A2に生垣などの複雑なテクスチャを有する立体物が存在する場合が考えられる。このような立体物は他車両Vではなく接地線Ltを検出する必要がない。よって、他車両Vが存在しないと判断することで、誤検出を防止することができる。
また、接地線Ltを検出した場合、過去に検出して記憶した複数の接地線Ltの履歴から他車両Vの横移動量を求め、横移動量から検出した接地線Ltの位置を補正する。このため、例えば他車両Vの日照条件の急激な変化やトンネルの出入口における明るさの変化やノイズなどにより、正しく接地線Ltを検出できない場合が生じたとしても、過去の履歴から補正することができ、より正確に接地線Ltを求めることができる。
また、検出領域A1,A2内の他車両Vが検出領域A1,A2を自車両Vの進行方向側に外れる場合に、検出した接地線Ltを所定量だけ自車両側にオフセットさせる。ここで、検出領域A1,A2内の他車両Vが検出領域A1,A2を自車両Vの進行方向側に外れる場合とは、他車両Vが自車両Vを追い越す場合である。このような場合、検出領域A1,A2内に他車両Vが位置する場合にはタイヤの位置から接地線Ltを検出することができるが、自車両Vが追い越されつつあり検出領域A1,A2からタイヤが外れて車体のみしか入らない場合には車体から接地線Ltを検出してしまい、誤差が生じてしまう。そこで、検出した接地線Ltを所定量だけ自車両側にオフセットさせることでタイヤ分を考慮することができ、より正確に接地線Ltを求めることができる。
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
例えば、上記実施形態において、自車両Vの車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
なお、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWtを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像し
た画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWtを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向沿って評価できれば、必ずしも明に鳥瞰図を生成しなくとも良い。