JP4391652B2

JP4391652B2 - Leading vehicle detection system and method

Info

Publication number: JP4391652B2
Application number: JP2000009359A
Authority: JP
Inventors: 祐之宇佐美; 道昌井東
Original assignee: Tokai Rika Co Ltd; Toyota Motor Corp
Current assignee: Tokai Rika Co Ltd; Toyota Motor Corp
Priority date: 2000-01-18
Filing date: 2000-01-18
Publication date: 2009-12-24
Anticipated expiration: 2020-01-18
Also published as: JP2001202597A

Description

【０００１】
【発明の属する技術分野】
本発明は先行車検出システム、特に先行車の後部に設けられたマーカを検出する技術に関する。
【０００２】
【従来の技術】
従来より、先行車を検出して自車の走行を制御するシステムが開発されており、互いの車間距離を制御しつつ一群の車両が隊列を組んで走行するシステムなどに応用されている。
【０００３】
例えば、特開平１０−３８５６０号公報には、先行車の２個のリフレクタをステレオ視し、その視差から先行車との車間距離を検出する技術が記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、車両後部にリフレクタなどのマーカを配置する場合、種々の制約条件から車両後部のストップランプ近傍に配置する場合もあり得、あるいは車両の外観意匠の観点から積極的にマーカとストップランプを近傍に配置してコンビネーションランプとする場合もある。
【０００５】
このような場合、位置的に近接しているためストップランプが点灯すると本来のマーカと混同するおそれがあり、マーカに基づいて先行車との車間距離を検出する場合に誤差の原因となる問題があった。また、ストップランプが点灯しても、マーカとストップランプが輝度上において結合してしまい先行車のストップランプの点灯を迅速に検出することが困難となる問題もあった。
【０００６】
また、マーカをＣＣＤカメラで撮影する場合には、太陽光などの強い光源の影響でスミアが生じる場合があり、マーカ像がスミアに隠れて検出できないおそれもあった。
【０００７】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、複数のマーカ要素を確実に検出することにあり、特に、マーカをストップランプの近傍に配置した場合でもマーカを確実に検出する、言い換えればストップランプの点灯を確実に検出し、また、スミアが発生してもマーカを確実に検出できるシステム及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、先行車の後部に設けられたマーカを検出することにより先行車を検出するシステムにおいて、前記マーカは所定の位置関係で配置した少なくとも３個以上のマーカ要素から構成され、さらに、前方画像を取得する撮像手段と、前記位置関係及び前記マーカ要素の形状に基づいて前記前方画像から前記マーカ要素のうち複数のマーカ要素の像を検出する検出手段とを有し、前記マーカ要素の少なくとも一つは前記先行車のストップランプ近傍に配置され、前記検出手段は、前記前方画像から前記マーカ要素の候補として高輝度部位を抽出し、前記高輝度部位の縦横比とマーカ要素の既知の形状から得られる縦横比とを比較することにより前記マーカ要素の像と前記ストップランプの像を識別することを特徴とする。
【０００９】
また、本発明は、先行車の後部に設けられたマーカを検出することにより先行車を検出するシステムにおいて、前記マーカは所定の位置関係で配置した少なくとも３個以上のマーカ要素から構成され、さらに、前方画像を取得する撮像手段と、前記位置関係及び前記マーカ要素の形状に基づいて前記前方画像から前記マーカ要素のうち複数のマーカ要素の像を検出する検出手段とを有し、前記マーカ要素の少なくとも一つは前記先行車のストップランプ近傍に配置され、前記検出手段は、前記前方画像から前記マーカ要素の候補として高輝度部分を抽出し、前記高輝度部位の重心間の位置関係から前記マーカ要素の像と前記ストップランプの像を識別することを特徴とする。
【００１０】
また、本発明は、先行車の後部に設けられたマーカを検出することにより先行車を検出するシステムにおいて、前記マーカは所定の位置関係で配置した少なくとも３個以上のマーカ要素から構成され、さらに、前方画像を取得する撮像手段と、前記位置関係及び前記マーカ要素の形状に基づいて前記前方画像から前記マーカ要素のうち複数のマーカ要素の像を検出する検出手段とを有し、前記撮像手段は、ＣＣＤカメラであり、前記検出手段は、前記前方画像から全てのマーカ要素の像が検出できない場合に、検出できたマーカ要素の像から仮想のマーカ候補を作成し、作成した前記仮想のマーカ候補が画像範囲内であって、かつ、前記ＣＣＤカメラに生じたスミアの範囲内である場合に前記仮想のマーカ候補をマーカ要素の像として確定することを特徴とする。
【００１１】
また、本発明は、先行車の後部に設けられたマーカを検出することにより先行車を検出する方法であって、前方画像を取得するステップと、前記マーカを構成するマーカ要素の位置関係及び前記マーカ要素の形状に基づいて前記前方画像から前記マーカ要素のうち複数のマーカ要素の像を検出するステップとを有し、前記マーカ要素の少なくとも一つは前記先行車のストップランプ近傍に配置され、前記検出するステップでは、前記前方画像から前記マーカ要素の候補として高輝度部位を抽出し、前記高輝度部位の縦横比とマーカ要素の既知の形状から得られる縦横比とを比較することにより前記マーカ要素の像と前記ストップランプの像を識別することを特徴とする。
【００１２】
また、本発明は、先行車の後部に設けられたマーカを検出することにより先行車を検出する方法であって、前方画像を取得するステップと、前記マーカを構成するマーカ要素の位置関係及び前記マーカ要素の形状に基づいて前記前方画像から前記マーカ要素のうち複数のマーカ要素の像を検出するステップとを有し、前記マーカ要素の少なくとも一つは前記先行車のストップランプ近傍に配置され、前記検出するステップでは、前記前方画像から前記マーカ要素の候補として高輝度部分を抽出し、前記高輝度部位の重心間の位置関係から前記マーカ要素の像と前記ストップランプの像を識別することを特徴とする。
【００１３】
また、本発明は、先行車の後部に設けられたマーカを検出することにより先行車を検出する方法であって、前方画像を取得するステップと、前記マーカを構成するマーカ要素の位置関係及び前記マーカ要素の形状に基づいて前記前方画像から前記マーカ要素のうち複数のマーカ要素の像を検出するステップとを有し、前記前方画像は、ＣＣＤ画像であり、前記検出するステップでは、前記前方画像から全てのマーカ要素の像が検出できない場合に、検出できたマーカ要素の像から仮想のマーカ候補を作成し、作成した前記仮想のマーカ候補が画像範囲内であって、かつ、前記ＣＣＤカメラに生じたスミアの範囲内である場合に前記仮想のマーカ候補をマーカ要素の像として確定することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００１５】
図１には、本実施形態のシステム概念図が示されている。自車１００と先行車２００が存在し、先行車２００の後部にはマーカ２０が設けられている。自車１００には先行車検出センサ１０が搭載され、この先行車検出センサ１０で先行車２００のマーカ２０を検出することで先行車を認識するシステムである。また、マーカ２０は３個以上のマーカ要素（本実施形態では４個のマーカ要素）が所定の位置関係で配置されて構成されており、マーカ要素の位置関係及びマーカ要素の形状（図では矩形）は自車１００にとり既知である。マーカ要素は、発光体とすることが好適であり、例えば赤外ＬＥＤで構成することができる。
【００１６】
図２には、先行車検出センサ１０の構成ブロック図が示されている。先行車検出センサ１０は、ＣＣＤなどのカメラ１０ａ、及び認識処理ＥＣＵ１０ｂを有して構成されている。カメラ１０ａはマーカ２０を撮影するためのもので、得られた画像は認識処理ＥＣＵ１０ｂに供給される。なお、カメラ１０ａは例えば赤外カメラと可視光カメラの組み合わせとすることができ、マーカ要素が赤外ＬＥＤの場合にはこのような組み合わせで赤外光以外のノイズを除去することができる。
【００１７】
認識処理ＥＣＵ（電子制御装置）１０ｂは、カメラ１０ａからの画像内におけるマーカ２０の像を検出し、マーカ要素の位置関係から先行車２００との距離や相対的姿勢角を算出する。車間距離に関しては、先行車２００に設けられたマーカ要素の位置関係は既知であり、光学系の定数（焦点距離）も既知であるから、マーカ像における位置関係から初等幾何の原理により自車１００と先行車２００との距離は容易に算出することができる。相対的姿勢角に関しては、マーカ像における水平方向の距離と鉛直方向の距離の比率から算出することができる。すなわち、自車１００と先行車２００との間に相対的ヨー角が存在する場合、マーカ像の鉛直方向の距離はヨー角が０の場合と同一であるが水平方向の距離はヨー角に依存して変化（短縮）する。したがって、水平方向と鉛直方向の距離の比率に基づいてヨー角を算出することができる（水平方向のみでは車間距離の影響も受けるためヨー角を算出することはできない。鉛直方向の距離は水平方向と同様に車間距離の影響を受けるので、両者の比率からヨー角を算出することができる）。算出された車間距離や姿勢角は自車１００に搭載されたＥＣＵ（電子制御装置）１２に供給され、車速制御や操舵制御を実行して先行車２００に追従走行する。認識処理ＥＣＵ１０ｂにはイグニッションスイッチからの信号ＩＧが供給され、イグニッションがＯＮされたときに動作させることができる。
【００１８】
図３には、マーカ２０の詳細な構成図が示されている。マーカ２０は４個のマーカ要素２０ａ、２０ｂ、２０ｃ及び２０ｄから構成され、マーカ要素２０ａ及び２０ｂは水平線上に位置し、マーカ要素２０ｃ及び２０ｄも別の水平線上に位置する。マーカ要素２０ａと２０ｃ、マーカ要素２０ｂと２０ｄは同一鉛直線上にはなく、マーカ要素２０ａ〜２０ｄは等脚台形の４つの頂点上に位置している。また、下側の水平線上に位置する２つのマーカ要素２０ｃ及び２０ｄはそれぞれ先行車２００の左右のストップランプに近接しており、マーカ要素２０ｃは左側のストップランプ３０ａ及び３０ｂに挟まれるように近接し、マーカ要素２０ｄは右側のストップランプ３２ａ及び３２ｂに挟まれるように近接しており、ストップランプ３０ａ、マーカ要素２０ｃ及びストップランプ３０ｂは一体のコンビネーションランプを構成し、ストップランプ３２ａ、マーカ要素２０ｄ及びストップランプ３２ｂも一体のコンビネーションランプを構成している。
【００１９】
このような構成において、先行車２００が減速してストップランプ３０ａ〜３０ｄが点灯した場合、発光体であるマーカ要素２０ｃ、２０ｄとストップランプが輝度の上で結合し、マーカ要素２０ｃ及び２０ｄの位置を正確に検出することが困難となる。
【００２０】
そこで、認識処理ＥＣＵ１０ｂは、ストップランプが点灯した場合でも、予め既知のマーカ要素２０ａ〜２０ｄ間の位置関係及びマーカ要素２０ａ〜２０ｄの形状に基づいて、マーカ要素、具体的にはマーカ要素２０ｃ、２０ｄとストップランプを識別し、マーカ要素２０ｃ、２０ｄの位置あるいはストップランプの点灯を検出する。検出方法は以下の通りである。すなわち、予め４個のマーカ要素の位置関係は既知（等脚台形の４つの頂点）であるから、カメラ１０ａで得られた画像から輝度の高い４つの部位を検出することにより、マーカ要素の候補を抽出することができ、かつ、その中でマーカ要素２０ｃと２０ｄの候補を抽出することができる。次に、マーカ要素２０ｃあるいは２０ｄの候補として抽出された高輝度部位において、その縦横比を算出し、縦横比がマーカ要素の既知の形状から得られる縦横比と一致するか否かを判定する。
【００２１】
図４には、マーカ要素２０ｃ及び近接するストップランプ３０ａ、３０ｂの点灯状況が示されている。（ａ）はマーカ要素２０ｃのみが発光し、ストップランプ３０ａ、３０ｂが点灯していない場合であり、高輝度部位の縦横比はマーカ要素２０ｃの縦横比と一致する。一方、（ｂ）はストップランプ３０ａ、３０ｂが点灯した場合であり、ストップランプ３０ａ、３０ｂの分だけ高輝度部位の横幅が増大し、縦横比がマーカ要素２０ｃの縦横比と相違する。したがって、高輝度部位の縦横比がマーカ要素の形状から得られる縦横比と一致しない場合には、ストップランプ３０ａ、３０ｂが点灯したと判定することができる。具体的には、マーカ要素２０ｃの候補である高輝度部位の縦（高さ）が横（幅）の所定倍（例えば０．７５倍）以下である場合には、ストップランプが点灯してマーカ要素と結合していると判定することができる。また、この場合、高輝度部位の中心位置をマーカ要素２０ｃの重心位置とすることができる。
【００２２】
なお、ストップランプはバルブであり、周辺ほど輝度が低くなるので、ストップランプが点灯しても輝度上はマーカ要素２０ｃと結合せず、分離して高輝度部位として存在する場合もある。また、コンビネーションランプの構造上、ストップランプとマーカ要素が物理的にある程度離間して配置されている結果、近接して高輝度部位が複数（ストップランプ３０ａ、３０ｂ及びマーカ要素２０ｃの３個）存在する場合もある。このような場合には、高輝度部位の重心から所定倍の左右水平線上に別の高輝度部位の重心が存在するか否かを判定することにより、マーカ要素の両側に近接配置されているストップランプ３０ａ、３０ｂが点灯したことを検出できる。この場合、真ん中の高輝度部位の中心をマーカ要素２０ｃの重心位置とすることができる。
【００２３】
ストップランプが点灯してマーカ要素と輝度上結合している場合、あるいはマーカ要素と結合していない場合のいずれにおいても、同様の処理をマーカ要素２０ｄに対して行い、マーカ要素２０ｄの位置、及びストップランプ３０ｃ、３０ｄの点灯を検出することができる。そして、ストップランプ３０ａと３０ｂ、及びストップランプ３０ｃと３０ｄがともに点灯していると判定した場合、言い換えれば左右のストップランプの組が検出された場合に、先行車２００のストップランプが点灯したと最終的に判定する。これにより、ストップランプ点灯の誤検出を防ぐこともできる。
【００２４】
マーカ要素２０ｃ及び２０ｄの重心位置を検出した後は、認識処理ＥＣＵ１０ｂはマーカ要素２０ｃと２０ｄの重心間距離に基づいて先行車２００までの車間距離を算出し（マーカ要素２０ａと２０ｂ間の重心間距離でもよい）、車両ＥＣＵ１２に供給して自車の走行を制御する。また、ストップランプの点灯を検出した場合にも、車両ＥＣＵ１２に供給し、先行車２００の停止挙動を迅速に判断する。なお、車間距離の時間変化を算出することによっても先行車２００の停止挙動を検出することは可能であるが、異なる時間における車間距離データの差分を演算する必要があるので先行車両の停止判断に時間を要することになる。本実施形態のようにその瞬間の画像からストップランプの点灯を直接検出することで、停止判断を迅速に行い、自車の走行を制御できる利点がある。
【００２５】
図５には、本発明における認識処理ＥＣＵ１０ｂの他の処理に係るフローチャートが示されている。この処理においては、認識処理ＥＣＵ１０ｂは、カメラ１０ａのＣＣＤにスミアが発生していずれかのマーカ要素が検出できない場合でも、検出不可となったマーカ要素の位置を推定することで全てのマーカ要素２０ａ〜２０ｄを検出する。
【００２６】
図において、まず認識処理ＥＣＵ１０ｂはスミアの発生を検出する（Ｓ１０１）。スミアとは、例えば太陽などの極めて輝度の高い光源が存在する場合に、ＣＣＤに蓄積される電荷があふれる現象をいい、図６に示されるように鉛直方向に電荷を転送してもその鉛直方向成分はノイズとなって各画素の輝度値を検出できなくなる。図６において、符号３００がスミアの発生を示している。スミアの発生は、鉛直方向に連続している高輝度画素の数が所定値以上か否かで判定することができる。
【００２７】
スミアを検出した場合、スミアの周囲を検出対象から除外する（Ｓ１０２）。すなわち、検出したスミアの幅を算出し、その幅あるいはその幅の所定倍αの領域を処理対象から除外する。スミアの幅の所定倍αとするのは、スミアの幅の算出誤差を考慮したものである。検出範囲を特定した後、マーカ候補を推定する（Ｓ１０３）。この推定は、以下のように行われる。すなわち、入力した画像に対し、輝度の高い部分と低い部分に２値化し、水平方向に連続する輝度の高い画素の位置と連続する画素数を得る。そして、輝度の高い部位をラベリング処理し、そのラベルの重心、上下端、左右端の位置、ラベルに含まれる画素数を求める。なお、ラベルの数が多すぎる場合（５個以上）やラベルを構成する画素数が多すぎる場合にはエラーフラグをたてる。また、マーカ要素はいずれも矩形であるので、ラベルの形状が矩形でない場合にもエラーフラグをたてる。そして、検出されたラベルに対し、２つのラベルの重心を結んだ直線と水平軸との傾きが所定角度（例えば±１１度）以内となる組み合わせを抽出してマーカ候補の水平ラインペアとする。ここで、抽出すべきペアが存在しない場合には、検出対象なしとしてエラーフラグを設定する。
【００２８】
図３に示されたマーカ要素の配列では水平ラインペアは２組検出されるはずであるので、候補の組み合わせが存在しないか否か、つまり水平ラインペアが２組存在しないか否かを判定する（Ｓ１０４）。水平ラインペアが２組存在する場合には、候補の組み合わせが存在することになるので、４個のマーカ要素を特定する処理を行う（Ｓ１０８）。具体的には、２組の水平ラインペアの位置、長さの比から画像内のどの像がマーカ要素２０ａ〜２０ｄのそれぞれに相当するかを判定する。例えば、
【数１】
α×実測比＜下側水平ライン長／上側水平ライン長＜β×実測比
但し、α、βは所定数で例えばα＝０．６８、β＝１．１５
【数２】
γ×実測比＜ライン中間間隔／上側水平ライン長＜δ×実測比
但し、γ、δは所定数で例えばγ＝０．６８、δ＝１．３５
及び２本の水平ライン中心の鉛直線からの傾きが所定角度（例えば±７度）の全ての条件を満たす場合に、マーカ要素２０ａ〜２０ｄの像であると判定する。ここで、実測比とはマーカ要素間の実際の距離の比であり、既知の値である。４個のマーカ要素像を検出した後は、上述した実施形態と同様に先行車までの車間距離やヨー角を検出して自車の走行を制御する。
【００２９】
一方、検出できた水平ラインペアが１組のみであり、候補の組み合わせが存在しない場合には、いずれかのマーカ要素像がＳ１０２で除外した範囲内に存在する可能性があるため、検出できたマーカ要素像から仮想のマーカ候補を作成する（Ｓ１０５）。仮想のマーカ候補を作成するには、マーカ要素２０ａ〜２０ｄの既知の関係（図３ではマーカ要素２０ａ〜２０ｄは等脚台形の４つの頂点に位置する）を利用する。例えば、マーカ要素２０ａ、２０ｃ、２０ｄの候補が検出された場合、残りのマーカ要素２０ｂは、マーカ要素２０ｃとマーカ要素２０ｄを結ぶ水平ラインに平行でマーカ要素２０ａを通る直線上にあり、マーカ要素２０ａと２０ｂ間の実距離とマーカ要素２０ｃと２０ｄの実距離の比率に応じた位置にマーカ要素２０ｂの候補を作成することができる。
【００３０】
マーカ要素の候補を作成した後、仮想の候補が画面範囲外またはスミア範囲外か否かを判定する（Ｓ１０６）。仮想候補が画面範囲内であり、かつ、Ｓ１０２で除外したスミアの範囲内に位置する場合には、スミアに隠れて検出されなかった可能性が高いため仮想候補をマーカ要素の像として確定しＳ１０８の処理を行う。図７には、マーカ要素２０ｂの像がスミア３００で隠れてしまった場合の例が示されている。この場合、上述したようにマーカ要素２０ａ、２０ｃ、２０ｄの候補からマーカ要素２０ｂの位置を仮想し（図中点線が仮想位置）、この仮想位置がスミア３００の範囲内に存在する場合には、確かにマーカ要素２０ｂはスミアで隠れたと判定し、マーカ要素２０ｂの位置を特定することができる。
【００３１】
一方、仮想候補が画面範囲外である、あるいはスミア範囲外である場合には、４つのマーカ要素像の検出ができないとしてマーカ未検出フラグを設定する（Ｓ１０７）。なお、仮想候補がスミアの範囲外である場合には、検出された３つのマーカ候補も検出精度が低いことを意味するから（もし、３つのマーカ候補が正確に検出されている場合には、仮想候補はスミア範囲内に見出される）、これら３つのマーカ候補に基づいて先行車を検出することは適当ではない。
【００３２】
このように、本実施形態では、スミアの発生を検出し、本来検出されるべき複数のマーカ要素のいずれかが検出されない場合には、マーカ要素の既知の位置関係に基づいて未検出のマーカ要素の位置を推定し、この推定位置とスミアの発生位置とに基づいて未検出のマーカ要素を検出するので、スミアが発生しても確実に先行車を検出することができる。
【００３３】
なお、本実施形態では図３のマーカ要素の配置においスミアが発生した場合について説明したが、マーカ要素が図３以外の配置、具体的にはマーカ要素がストップランプ近傍に配置されていない場合においても、マーカ要素間の位置関係に基づいてスミア発生により隠されたマーカ要素を検出することが可能である。すなわち、任意のマーカ要素の配置において、スミアの発生によらずマーカ要素を検出することができる。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、複数のマーカ要素を確実に検出することができる。
【図面の簡単な説明】
【図１】実施形態のシステム概念図である。
【図２】図１における車両側の構成ブロック図である。
【図３】図１におけるマーカの配置説明図である。
【図４】マーカ要素及びストップランプの点灯説明図である。
【図５】実施形態の処理フローチャートである。
【図６】スミアの発生説明図である。
【図７】他の実施形態におけるスミア発生時の処理説明図である。
１０先行車検出センサ、２０マーカ、１００自車、２００先行車。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a preceding vehicle detection system, and more particularly to a technique for detecting a marker provided at a rear portion of a preceding vehicle.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a system that detects the preceding vehicle and controls the traveling of the own vehicle has been developed, and is applied to a system in which a group of vehicles travel in a row while controlling the distance between the vehicles.
[0003]
For example, Japanese Patent Application Laid-Open No. 10-38560 describes a technique for viewing two reflectors of a preceding vehicle in stereo and detecting the inter-vehicle distance from the preceding vehicle from the parallax thereof.
[0004]
[Problems to be solved by the invention]
However, when a marker such as a reflector is placed at the rear of the vehicle, it may be placed near the stop lamp at the rear of the vehicle due to various constraints, or the marker and the stop lamp are proactively placed from the viewpoint of the appearance design of the vehicle. In some cases, a combination lamp is provided.
[0005]
In such a case, if the stop lamp is lit because of the proximity in position, there is a risk of being confused with the original marker, and there is a problem that causes an error when detecting the inter-vehicle distance from the preceding vehicle based on the marker. there were. Further, even when the stop lamp is lit, there is a problem that the marker and the stop lamp are combined in terms of luminance, and it is difficult to quickly detect the lighting of the stop lamp of the preceding vehicle.
[0006]
Further, when a marker is photographed with a CCD camera, smear may occur due to the influence of a strong light source such as sunlight, and the marker image may be hidden behind the smear and cannot be detected.
[0007]
The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to reliably detect a plurality of marker elements, and in particular, even when a marker is arranged in the vicinity of a stop lamp, the marker is not provided. An object of the present invention is to provide a system and method that can reliably detect, in other words, reliably detect lighting of a stop lamp, and reliably detect a marker even if smear occurs.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a system for detecting a preceding vehicle by detecting a marker provided at the rear of a preceding vehicle, wherein the markers are at least three or more markers arranged in a predetermined positional relationship. Imaging means for acquiring a forward image, and detection means for detecting an image of a plurality of marker elements among the marker elements from the forward image based on the positional relationship and the shape of the marker element. Yes, and at least one of said marker element is disposed stop lamp near the preceding vehicle, the detecting device, the high brightness portion is extracted from the front image as a candidate of the marker element, the aspect of the high-luminance portion JP that identifies the image of the stop lamp and the image of the marker element by comparing the ratio and aspect ratio obtained from the known shape of the marker element To.
[0009]
Further, the present invention provides a system for detecting a preceding vehicle by detecting a marker provided at the rear portion of the preceding vehicle, wherein the marker is composed of at least three marker elements arranged in a predetermined positional relationship, Imaging means for acquiring a front image, and detection means for detecting an image of a plurality of marker elements among the marker elements from the front image based on the positional relationship and the shape of the marker element, and the marker element Is arranged in the vicinity of the stop lamp of the preceding vehicle, and the detection means extracts a high-luminance part as a candidate for the marker element from the front image, and the positional relationship between the centroids of the high-luminance part A marker element image and a stop lamp image are identified .
[0010]
Further, the present invention provides a system for detecting a preceding vehicle by detecting a marker provided at the rear portion of the preceding vehicle, wherein the marker is composed of at least three marker elements arranged in a predetermined positional relationship, Imaging means for acquiring a front image, and detection means for detecting an image of a plurality of marker elements among the marker elements from the front image based on the positional relationship and the shape of the marker elements, and the imaging means Is a CCD camera, and when the detection unit cannot detect all the marker element images from the front image, the detection unit generates a virtual marker candidate from the detected marker element image, and the generated virtual marker The virtual marker candidate is determined as an image of the marker element when the candidate is within the image range and within the range of the smear generated in the CCD camera. It is characterized in.
[0011]
Further, the present invention is a method for detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle, the step of acquiring a front image, the positional relationship between marker elements constituting the marker, and the Detecting an image of a plurality of marker elements among the marker elements from the front image based on a shape of a marker element, wherein at least one of the marker elements is disposed in the vicinity of a stop lamp of the preceding vehicle, In the detecting step, a high-luminance part is extracted as a candidate for the marker element from the front image, and the marker is compared by comparing an aspect ratio of the high-luminance part with an aspect ratio obtained from a known shape of the marker element. An image of an element is distinguished from an image of the stop lamp .
[0012]
Further, the present invention is a method for detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle, the step of acquiring a front image, the positional relationship between marker elements constituting the marker, and the Detecting an image of a plurality of marker elements among the marker elements from the front image based on a shape of a marker element, wherein at least one of the marker elements is disposed in the vicinity of a stop lamp of the preceding vehicle, In the detecting step, a high-luminance portion is extracted as a candidate for the marker element from the front image, and an image of the marker element and an image of the stop lamp are identified from a positional relationship between the centroids of the high-luminance portions. Features.
[0013]
Further, the present invention is a method for detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle, the step of acquiring a front image, the positional relationship between marker elements constituting the marker, and the Detecting an image of a plurality of marker elements among the marker elements from the front image based on a shape of a marker element, wherein the front image is a CCD image, and in the detecting step, the front image When all of the marker element images cannot be detected from the image, a virtual marker candidate is created from the detected marker element image, and the created virtual marker candidate is within the image range and is stored in the CCD camera. The virtual marker candidate is determined as an image of the marker element when it is within the range of the generated smear.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0015]
FIG. 1 shows a system conceptual diagram of the present embodiment. The own vehicle 100 and the preceding vehicle 200 exist, and the marker 20 is provided at the rear of the preceding vehicle 200. A preceding vehicle detection sensor 10 is mounted on the host vehicle 100, and the preceding vehicle is detected by detecting the marker 20 of the preceding vehicle 200 with the preceding vehicle detection sensor 10. Further, the marker 20 is configured by arranging three or more marker elements (four marker elements in the present embodiment) in a predetermined positional relationship, and the positional relationship of the marker elements and the shape of the marker elements (rectangular in the figure). ) Is known to the vehicle 100. The marker element is preferably a light emitter, and can be composed of, for example, an infrared LED.
[0016]
FIG. 2 shows a configuration block diagram of the preceding vehicle detection sensor 10. The preceding vehicle detection sensor 10 includes a camera 10a such as a CCD and a recognition processing ECU 10b. The camera 10a is for photographing the marker 20, and the obtained image is supplied to the recognition processing ECU 10b. The camera 10a can be a combination of, for example, an infrared camera and a visible light camera. When the marker element is an infrared LED, noise other than infrared light can be removed with such a combination.
[0017]
The recognition processing ECU (electronic control unit) 10b detects the image of the marker 20 in the image from the camera 10a, and calculates the distance from the preceding vehicle 200 and the relative attitude angle from the positional relationship of the marker elements. Regarding the inter-vehicle distance, the positional relationship of the marker elements provided in the preceding vehicle 200 is known, and the constant (focal length) of the optical system is also known. The distance between the vehicle and the preceding vehicle 200 can be easily calculated. The relative posture angle can be calculated from the ratio of the horizontal distance and the vertical distance in the marker image. That is, when a relative yaw angle exists between the own vehicle 100 and the preceding vehicle 200, the vertical distance of the marker image is the same as when the yaw angle is 0, but the horizontal distance depends on the yaw angle. Change (shorten). Therefore, the yaw angle can be calculated based on the ratio of the distance between the horizontal direction and the vertical direction (the yaw angle cannot be calculated because it is affected by the inter-vehicle distance only in the horizontal direction. The vertical distance is the horizontal direction. The yaw angle can be calculated from the ratio between the two because it is affected by the inter-vehicle distance in the same manner as in FIG. The calculated inter-vehicle distance and attitude angle are supplied to an ECU (electronic control unit) 12 mounted on the host vehicle 100, and perform vehicle speed control and steering control to follow the preceding vehicle 200. The recognition processing ECU 10b is supplied with a signal IG from the ignition switch and can be operated when the ignition is turned on.
[0018]
FIG. 3 shows a detailed configuration diagram of the marker 20. The marker 20 includes four marker elements 20a, 20b, 20c and 20d. The marker elements 20a and 20b are located on a horizontal line, and the marker elements 20c and 20d are located on another horizontal line. The marker elements 20a and 20c and the marker elements 20b and 20d are not on the same vertical line, and the marker elements 20a to 20d are located on the four vertices of the isosceles trapezoid. The two marker elements 20c and 20d located on the lower horizontal line are close to the left and right stop lamps of the preceding vehicle 200, respectively, and the marker element 20c is close to the left stop lamps 30a and 30b. The marker element 20d is close to the right stop lamps 32a and 32b, and the stop lamp 30a, the marker element 20c, and the stop lamp 30b constitute an integrated combination lamp, and the stop lamp 32a and the marker element 20d are combined. The stop lamp 32b also constitutes an integrated combination lamp.
[0019]
In such a configuration, when the preceding vehicle 200 decelerates and the stop lamps 30a to 30d are lit, the marker elements 20c and 20d, which are light emitters, and the stop lamp are combined in terms of luminance, and the positions of the marker elements 20c and 20d It is difficult to accurately detect.
[0020]
Therefore, even when the stop lamp is lit, the recognition process ECU 10b is based on the previously known positional relationship between the marker elements 20a to 20d and the shape of the marker elements 20a to 20d, specifically the marker element 20c, 20d and the stop lamp are identified, and the positions of the marker elements 20c and 20d or the lighting of the stop lamp are detected. The detection method is as follows. That is, since the positional relationship of the four marker elements is known in advance (four vertices of the isosceles trapezoid), the marker element candidates are detected by detecting four high-intensity parts from the image obtained by the camera 10a. Can be extracted, and the candidates for the marker elements 20c and 20d can be extracted therein. Next, the aspect ratio of the high-luminance portion extracted as a candidate for the marker element 20c or 20d is calculated, and it is determined whether or not the aspect ratio matches the aspect ratio obtained from the known shape of the marker element.
[0021]
FIG. 4 shows the lighting state of the marker element 20c and the adjacent stop lamps 30a and 30b. (A) is a case where only the marker element 20c emits light, and the stop lamps 30a and 30b are not lit, and the aspect ratio of the high-luminance portion matches the aspect ratio of the marker element 20c. On the other hand, (b) shows a case where the stop lamps 30a and 30b are turned on, and the width of the high-luminance portion increases by the amount of the stop lamps 30a and 30b, and the aspect ratio is different from the aspect ratio of the marker element 20c. Therefore, when the aspect ratio of the high luminance portion does not match the aspect ratio obtained from the shape of the marker element, it can be determined that the stop lamps 30a and 30b are turned on. Specifically, when the vertical (height) of the high-luminance portion that is a candidate for the marker element 20c is equal to or less than a predetermined multiple (for example, 0.75) of the horizontal (width), the stop lamp is turned on and the marker It can be determined that it is combined with the element. In this case, the center position of the high luminance part can be set as the center of gravity position of the marker element 20c.
[0022]
Note that the stop lamp is a bulb, and the brightness is lower toward the periphery. Therefore, even if the stop lamp is turned on, the brightness is not coupled with the marker element 20c and may be separated and exist as a high brightness portion. In addition, due to the structure of the combination lamp, the stop lamp and the marker element are physically spaced apart to some extent, and as a result, there are a plurality of high-luminance parts (three stop lamps 30a and 30b and the marker element 20c) close to each other. There is also a case. In such a case, by determining whether or not the center of gravity of another high-intensity part exists on the horizontal line that is a predetermined multiple from the center of gravity of the high-intensity part, the stop arranged close to both sides of the marker element is determined. It can be detected that the lamps 30a and 30b are turned on. In this case, the center of the middle high-luminance part can be set as the center of gravity of the marker element 20c.
[0023]
The same process is performed on the marker element 20d in the case where the stop lamp is lit and the marker element is coupled to the marker element in terms of luminance, or the marker element is coupled to the marker element 20d. The lighting of the stop lamps 30c and 30d can be detected. When it is determined that both the stop lamps 30a and 30b and the stop lamps 30c and 30d are lit, in other words, when a set of left and right stop lamps is detected, the stop lamp of the preceding vehicle 200 is lit. Judgment finally. This can also prevent erroneous detection of stop lamp lighting.
[0024]
After detecting the center of gravity positions of the marker elements 20c and 20d, the recognition process ECU 10b calculates the inter-vehicle distance to the preceding vehicle 200 based on the distance between the center of gravity of the marker elements 20c and 20d (the distance between the center of gravity between the marker elements 20a and 20b). Distance may be supplied) to the vehicle ECU 12 to control the traveling of the vehicle. Further, even when the stop lamp is detected to be turned on, it is supplied to the vehicle ECU 12 to quickly determine the stop behavior of the preceding vehicle 200. Although it is possible to detect the stop behavior of the preceding vehicle 200 by calculating the time change of the inter-vehicle distance, it is necessary to calculate the difference of the inter-vehicle distance data at different times, so it is necessary to determine the stop of the preceding vehicle. It will take time. By directly detecting the lighting of the stop lamp from the instantaneous image as in the present embodiment, there is an advantage that the stop determination can be quickly made and the traveling of the host vehicle can be controlled.
[0025]
FIG. 5 shows a flowchart relating to another process of the recognition process ECU 10b according to the present invention. In this process, the recognition process ECU 10b estimates all marker elements 20a by estimating the positions of the marker elements that cannot be detected even if smear occurs in the CCD of the camera 10a and any of the marker elements cannot be detected. ˜20d is detected.
[0026]
In the figure, the recognition process ECU 10b first detects the occurrence of smear (S101). Smear is a phenomenon in which the charge accumulated in the CCD overflows when there is a light source with extremely high brightness such as the sun. For example, even if the charge is transferred in the vertical direction as shown in FIG. The component becomes noise and the luminance value of each pixel cannot be detected. In FIG. 6, reference numeral 300 indicates the occurrence of smear. The occurrence of smear can be determined by determining whether the number of high-luminance pixels continuous in the vertical direction is equal to or greater than a predetermined value.
[0027]
When smear is detected, the periphery of the smear is excluded from the detection target (S102). That is, the width of the detected smear is calculated, and the area of the width or a predetermined multiple α of the width is excluded from the processing target. The predetermined α of the smear width is set in consideration of a smear width calculation error. After specifying the detection range, a marker candidate is estimated (S103). This estimation is performed as follows. That is, the input image is binarized into a high-luminance portion and a low-luminance portion to obtain the number of pixels that are continuous with the position of the high-luminance pixels that are continuous in the horizontal direction. Then, the high luminance part is labeled, and the center of gravity, the upper and lower ends, the positions of the left and right ends, and the number of pixels included in the label are obtained. An error flag is set when the number of labels is too large (5 or more) or when the number of pixels constituting the label is too large. Since the marker elements are all rectangular, an error flag is set even when the label shape is not rectangular. Then, for the detected label, a combination of a straight line connecting the centroids of the two labels and a horizontal axis within a predetermined angle (for example, ± 11 degrees) is extracted to obtain a marker candidate horizontal line pair. Here, when there is no pair to be extracted, an error flag is set as no detection target.
[0028]
Since two horizontal line pairs should be detected in the arrangement of the marker elements shown in FIG. 3, it is determined whether or not there are candidate combinations, that is, whether or not there are two horizontal line pairs. (S104). If there are two horizontal line pairs, there are candidate combinations, and therefore processing for specifying four marker elements is performed (S108). Specifically, it is determined which image in the image corresponds to each of the marker elements 20a to 20d from the ratio of the position and length of the two horizontal line pairs. For example,
[Expression 1]
α × actual ratio <lower horizontal line length / upper horizontal line length <β × actual ratio where α and β are predetermined numbers, for example, α = 0.68, β = 1.15
[Expression 2]
γ × actual ratio <intermediate line interval / upper horizontal line length <δ × actual ratio where γ and δ are predetermined numbers, for example, γ = 0.68, δ = 1.35
When the inclination from the vertical line center of the two horizontal lines satisfies all the conditions of a predetermined angle (for example, ± 7 degrees), the image is determined to be an image of the marker elements 20a to 20d. Here, the actual measurement ratio is a ratio of the actual distance between the marker elements, and is a known value. After detecting the four marker element images, the inter-vehicle distance and the yaw angle to the preceding vehicle are detected and the traveling of the host vehicle is controlled as in the above-described embodiment.
[0029]
On the other hand, if there is only one horizontal line pair that can be detected and there is no candidate combination, any marker element image may exist within the range excluded in S102. A virtual marker candidate is created from the marker element image (S105). In order to create a virtual marker candidate, a known relationship between the marker elements 20a to 20d (in FIG. 3, the marker elements 20a to 20d are located at four vertices of an isosceles trapezoid) is used. For example, when candidates for the marker elements 20a, 20c, and 20d are detected, the remaining marker elements 20b are on a straight line that passes through the marker elements 20a in parallel to the horizontal line that connects the marker elements 20c and 20d. A candidate for the marker element 20b can be created at a position corresponding to the ratio between the actual distance between 20a and 20b and the actual distance between the marker elements 20c and 20d.
[0030]
After creating a marker element candidate, it is determined whether the virtual candidate is out of the screen range or out of the smear range (S106). If the virtual candidate is within the screen range and is located within the smear range excluded in S102, the virtual candidate is likely to be hidden behind the smear and not detected, so the virtual candidate is determined as the marker element image and S108. Perform the process. FIG. 7 shows an example in which the image of the marker element 20 b is hidden by the smear 300. In this case, as described above, the position of the marker element 20b is hypothesized from the candidates for the marker elements 20a, 20c, and 20d (the dotted line in the figure is the virtual position), and when this virtual position exists within the range of the smear 300, Certainly, it is determined that the marker element 20b is hidden by smear, and the position of the marker element 20b can be specified.
[0031]
On the other hand, if the virtual candidate is out of the screen range or out of the smear range, the marker undetected flag is set as the four marker element images cannot be detected (S107). If the virtual candidate is outside the smear range, it means that the detected three marker candidates also have low detection accuracy (if the three marker candidates are accurately detected, Virtual candidates are found within the smear range), and it is not appropriate to detect the preceding vehicle based on these three marker candidates.
[0032]
As described above, in the present embodiment, when the occurrence of smear is detected and any one of the plurality of marker elements that should be detected is not detected, the undetected marker element based on the known positional relationship of the marker elements. Since the undetected marker element is detected based on the estimated position and the smear occurrence position, the preceding vehicle can be reliably detected even if smear occurs.
[0033]
In the present embodiment, the case where smear has occurred in the arrangement of the marker elements in FIG. 3 has been described. However, in the case where the marker elements are arranged other than in FIG. In addition, it is possible to detect marker elements hidden by smear generation based on the positional relationship between the marker elements. That is, in any arrangement of marker elements, the marker elements can be detected regardless of the occurrence of smear.
[0034]
【The invention's effect】
As described above, according to the present invention, a plurality of marker elements can be reliably detected.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram of a system according to an embodiment.
FIG. 2 is a configuration block diagram on the vehicle side in FIG. 1;
3 is an explanatory diagram of marker arrangement in FIG. 1; FIG.
FIG. 4 is a diagram illustrating lighting of a marker element and a stop lamp.
FIG. 5 is a process flowchart of the embodiment.
FIG. 6 is an explanatory diagram of occurrence of smear.
FIG. 7 is a process explanatory diagram when smear occurs in another embodiment.
10 preceding vehicle detection sensor, 20 marker, 100 own vehicle, 200 preceding vehicle.

Claims

In a system for detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle,
The marker is composed of at least three or more marker elements arranged in a predetermined positional relationship, and
An imaging means for acquiring a front image;
Detecting means for detecting images of a plurality of marker elements among the marker elements from the front image based on the positional relationship and the shape of the marker elements;
I have a,
At least one of the marker elements is disposed in the vicinity of a stop lamp of the preceding vehicle, and the detection means extracts a high luminance part as a candidate for the marker element from the front image, and the aspect ratio of the high luminance part and the marker A preceding vehicle detection system for identifying an image of the marker element and an image of the stop lamp by comparing an aspect ratio obtained from a known shape of the element .

In a system for detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle,
The marker is composed of at least three or more marker elements arranged in a predetermined positional relationship, and
An imaging means for acquiring a front image;
Detecting means for detecting images of a plurality of marker elements among the marker elements from the front image based on the positional relationship and the shape of the marker elements;
Have
At least one of the marker elements is disposed in the vicinity of a stop lamp of the preceding vehicle, and the detection means extracts a high-luminance part as a candidate for the marker element from the front image, and a position between the centers of gravity of the high-luminance parts. A preceding vehicle detection system , wherein an image of the marker element and an image of the stop lamp are identified from a relationship .

In a system for detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle,
The marker is composed of at least three or more marker elements arranged in a predetermined positional relationship, and
An imaging means for acquiring a front image;
Detecting means for detecting images of a plurality of marker elements among the marker elements from the front image based on the positional relationship and the shape of the marker elements;
Have
The imaging means is a CCD camera;
The detection means creates a virtual marker candidate from the detected marker element image when all the marker element images cannot be detected from the front image, and the created virtual marker candidate is within the image range. In addition, the preceding vehicle detection system is configured to determine the virtual marker candidate as an image of a marker element when it is within a range of smear generated in the CCD camera .

The system according to any one of claims 1 to 3,
A preceding vehicle detection system, wherein at least three of the marker elements are arranged on a non-straight line.

The system according to any one of claims 1 to 3,
The preceding vehicle detection system, wherein the marker element includes two pairs with different intervals.

A method of detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle,
Obtaining a forward image;
Detecting an image of a plurality of marker elements among the marker elements from the front image based on a positional relationship between marker elements constituting the marker and a shape of the marker elements;
Have
At least one of the marker elements is disposed in the vicinity of a stop lamp of the preceding vehicle, and in the detecting step, a high luminance part is extracted as a candidate for the marker element from the front image, and an aspect ratio of the high luminance part is determined. A preceding vehicle detection method characterized in that an image of the marker element and an image of the stop lamp are identified by comparing an aspect ratio obtained from a known shape of the marker element .

A method of detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle,
Obtaining a forward image;
Detecting an image of a plurality of marker elements among the marker elements from the front image based on a positional relationship between marker elements constituting the marker and a shape of the marker elements;
Have
At least one of the marker elements is arranged in the vicinity of a stop lamp of the preceding vehicle, and in the detecting step, a high-luminance part is extracted as a candidate for the marker element from the front image, and between the centroids of the high-luminance parts. A preceding vehicle detection method , wherein an image of the marker element and an image of the stop lamp are identified from a positional relationship .

A method of detecting a preceding vehicle by detecting a marker provided at the rear of the preceding vehicle,
  Obtaining a forward image;
  Detecting an image of a plurality of marker elements among the marker elements from the front image based on a positional relationship between marker elements constituting the marker and a shape of the marker elements;
  Have
  The front image is a CCD image;
  In the detecting step, when all the marker element images cannot be detected from the front image, a virtual marker candidate is created from the detected marker element image, and the created virtual marker candidate is within the image range. And the virtual marker candidate is determined as an image of the marker element when it is within the range of smear generated in the CCD camera.
A preceding vehicle detection method characterized by the above.