JP3872179B2

JP3872179B2 - Vehicle collision prevention device

Info

Publication number: JP3872179B2
Application number: JP19280397A
Authority: JP
Inventors: 圭二塙
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1997-07-17
Filing date: 1997-07-17
Publication date: 2007-01-24
Anticipated expiration: 2017-07-17
Also published as: JPH1139597A

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両の進行路上に存在する先行車両を検出して衝突判断を行う車両の衝突防止装置に関する。
【０００２】
【従来の技術】
最近では、自動車にＴＶカメラやレーザ・レーダ等を搭載して前方の車両や障害物を検知し、それらに衝突する危険度を判定してドライバに警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車両との車間距離を安全に保つよう自動的に走行速度を増減する等のＡＳＶ（Advanced Safety Vehicle；先進安全自動車）に係わる技術の開発が積極的に進められている。
【０００３】
先行車両と自車両との衝突可能性を判断して衝突警報を発する技術としては、従来、スキャン式レーザ・レーダ等によって先行車両との車間距離及び相対速度を計測し、車間距離が予め設定した警報距離を下回ったとき、衝突警報を発する技術が提案されている。
【０００４】
しかしながら、交通事故で比較的多いパターンとして、先行車の急ブレーキによる追突があり、このような状況に対しては、先行車両の減速度を検出することが重要となる。このため、先行車両との車間距離をレーザ・レーダによって計測し、車間距離の変化のパターンから先行車両の減速の開始を検出して警報を発する技術が提案されている。
【０００５】
また、先行車両を検出する技術として、特開平２−１９０９７８号公報には、自車両前方の先行車両を含む風景を、赤色光のみを通すフィルタを介してＴＶカメラで撮像し、この撮像画像から先行車両の赤いテールランプを検出する技術が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、自車両と先行車両との車間距離の計測値には、誤差やバラツキが含まれており、現実の複雑な交通状況においては、先行車両の減速度を精度高く検出することは困難である。このため、先行車両の減速度を誤検出し、減速度がそれほど大きくないにも拘わらず衝突警報が発せられる虞があった。
【０００７】
従って、先行車の減速状態を確実に検出するため、先行車両のテールランプの点滅状態からブレーキ操作を検出することも考えられるが、前述したテールランプを検出する先行技術では、先行車両が白色である場合、白色光の中に赤色光の成分も含まれているため、フィルタを通しても車両の映像が映ってしまい、赤いテールランプのみを検出することは困難であり、ブレーキ操作に伴うテールランプの点滅を検出することもできない。
【０００８】
本発明は上記事情に鑑みてなされたもので、自車両前方の撮像画像から先行車両のブレーキランプ点灯を検出して先行車両の減速状態を的確に検出し、先行車両と自車両との衝突可能性を正確に判断することのできる車両の衝突防止装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、自車両の走行方向に存在する白線を検出し、該白線から道路形状を求めるとともに、該白線の内側に掛かっている立体物を先行車両と認識して先行車両を３次元で検出し、この先行車両と自車両との衝突可能性を判断する車両の衝突防止装置において、自車両前方の撮像画像に、上記道路および先行車両の３次元情報による位置情報から設定した上記先行車両の検出枠に基づいて上記先行車両のテールランプ検出領域を設定し、このテールランプ検出領域の輝度変化あるいは面積変化によって上記先行車両のブレーキランプ点灯を検出する手段と、上記ブレーキランプ点灯の検出結果に応じて上記先行車両の減速状態を判断し、上記先行車両と自車両との衝突可能性を判断する手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、上記先行車両の減速状態を、上記ブレーキランプの点灯と上記先行車両の減速度の計測値とによって判断することを特徴とする。
【００１１】
請求項３記載の発明は、請求項１記載の発明において、上記先行車両の減速状態を、上記ブレーキランプの点灯の有無のみによって判断することを特徴とする。
【００１２】
請求項４記載の発明は、請求項１，２，３のいずれか一に記載の発明において、上記先行車両と自車両との現在の車間距離が、上記先行車両の減速状態に応じて変更される警報距離以下になったとき、衝突の可能性有りと判断して警報を発することを特徴とする。
【００１３】
請求項５記載の発明は、請求項１記載の発明において、自車両前方を撮像した一対の画像からステレオ画像処理によって上記先行車両の位置情報を取得するとともに、上記一対の画像の一方に上記テールランプ検出領域を設定することを特徴とする。
【００１５】
すなわち、本発明の車両の衝突防止装置では、道路および先行車両の３次元情報による位置情報から設定した先行車両の検出枠に基づいて自車両前方の撮像画像に先行車両のテールランプ検出領域を設定し、このテールランプ検出領域の輝度変化あるいは面積変化によって先行車両のブレーキランプ点灯を検出する。そして、このブレーキランプの点灯の検出結果に応じて先行車両の減速状態を判断し、先行車両と自車両との衝突可能性を判断する。この際、先行車両の減速状態は、ブレーキランプの点灯と先行車両の減速度の計測値とによって判断しても良く、ブレーキランプの点灯の有無のみによって判断しても良い。
【００１６】
また、先行車両と自車両との現在の車間距離が警報距離以下になったとき、衝突の可能性有りと判断して警報を発することが望ましく、この警報距離は、先行車両のブレーキランプの点灯と減速度の計測値とにより、あるいは、ブレーキランプの点灯の有無のみによって変更される。
【００１７】
また、先行車両のブレーキランプ点灯を検出する際には、自車両前方を撮像した一対の画像をステレオ画像処理して先行車両の位置情報を取得し、一対の画像の一方にテールランプ検出領域を設定しても良い。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図９は本発明の実施の第１形態に係わり、図１は衝突防止装置の全体構成図、図２は衝突防止装置の回路ブロック図、図３はブレーキランプ点灯検出及び衝突判断処理に係わる機能ブロック図、図４は車載のカメラで撮像した画像の例を示す説明図、図５は距離画像の例を示す説明図、図６は距離画像の区分を示す説明図、図７は道路・立体物の認識結果を示す説明図、図８は先行車の検出結果を示す説明図、図９はテールランプの検出結果を示す説明図である。
【００１９】
図１において、符号１は自動車等の車両であり、この車両１に、進行方向に存在する障害物や先行車両等を認識して衝突の危険性を判断し、衝突の危険性がある場合、衝突回避の警報を発して安全を確保する衝突防止装置２が搭載されている。
【００２０】
上記衝突防止装置２は、車外の対象物を異なる位置から撮像するためのステレオ光学系１０、このステレオ光学系１０で撮像した画像を処理して三次元の距離分布情報を算出するイメージプロセッサ２０、及び、このイメージプロセッサ２０からの距離情報を入力し、その距離情報から道路形状や複数の立体物の三次元位置を高速で検出し、その検出結果に基づいて先行車や障害物を特定して衝突警報の判断処理等を行うコントローラ３０等から構成されている。
【００２１】
また、上記コントローラ３０には、車速センサ４、舵角センサ５等の現在の車両の走行状態を検出するためのセンサが接続され、認識された物体が自車両１の障害物となる場合、ドライバの前方に設置されたディスプレイ９へ表示してドライバに対する警告を行う他、図示しないアクチュエータ類を制御する外部装置を接続することで車体の自動衝突回避制御等が可能となっている。
【００２２】
上記ステレオ光学系１０は、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組のＣＣＤカメラ１０ａ，１０ｂからなり、例えば、ＣＣＤカメラ１０ａを、上記イメージプロセッサ２０でステレオ画像処理する際の基準画像側のカメラ、ＣＣＤカメラ１０ｂを比較画像側のカメラとして、所定の間隔を持って配設されている。
【００２３】
上記イメージプロセッサ２０では、上記ＣＣＤカメラ１０ａ，１０ｂで撮像した１対の画像の相関を求め、同一物体に対する視差から三角測量の原理によって距離を算出し、画像全体に渡る３次元の距離分布を出力するとともに、上記コントローラ３０での後述する衝突判断処理において先行車両のブレーキランプ点灯を検出するため、基準画像側のＣＣＤカメラ１０ａの元画像をデジタル化して記憶する。
【００２４】
上記コントローラ３０では、上記イメージプロセッサ２０からの距離分布情報を読み込んで道路形状や複数の立体物（車両や障害物等）の３次元位置を高速で検出して先行車を特定し、上記車速センサ４や上記舵角センサ５等によって検出した自車両の走行状態に基づいて先行車との衝突や接触可能性を判断し、その結果を上記ディスプレイ９に表示してドライバに知らせる。
【００２５】
この際、上記コントローラ３０では、ＣＣＤカメラ１０ａで撮像した元画像に基づいて先行車のブレーキランプ点灯を検出するようにしており、この先行車のブレーキランプ点灯と先行車の減速度（負の加速度）とから急ブレーキ状態を検出し、衝突可能性を判断するようにしている。
【００２６】
上記イメージプロセッサ２０及び上記コントローラ３０は、詳細には、図２に示すハードウエア構成となっている。
【００２７】
上記イメージプロセッサ２０には、上記ＣＣＤカメラ１０ａ，１０ｂで撮像した１組のステレオ画像対に対して所定の小領域毎に同一の物体が写っている部分を探索し、対応する位置のずれ量を求めて物体までの距離を算出し、三次元の距離分布情報として出力する距離検出回路２０ａ、この距離検出回路２０ａから出力される距離分布情報を記憶する距離画像メモリ２０ｂ、基準画像側のＣＣＤカメラ１０ａで撮像したアナログ画像を、所定の輝度階調（例えば、２５６階調）のデジタル画像に変換するＡ／Ｄ変換器２１ａ、このＡ／Ｄ変換器２１ａで変換したデジタル画像を記憶する元画像メモリ２１ｂ等が備えられている。
【００２８】
上記距離検出回路２０ａから出力される距離分布情報は、画像のような形態をしており（距離画像）、左右２台のＣＣＤカメラ１１ａ，１１ｂで撮影した画像、例えば図４に模式的に示すような画像を、上記距離検出回路２０ａで処理すると、基準となるＣＣＤカメラ１０ａの画像から図５のような距離画像が生成される。
【００２９】
図５に示す距離画像の例では、画像サイズは横６００画素×縦２００画素であり、距離データを持っているのは黒点の部分で、これは図４の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。上記距離検出回路２０ａでは、この距離画像を１ブロックを４×４画素の小領域として横１５０×縦５０のブロックからなる画像として扱い、各ブロック毎に距離（画素ズレ数）の算出を行う。
【００３０】
一方、上記コントローラ３０は、道路形状等の検出処理を主とするマイクロプロセッサ３０ａと、検出した道路形状に基づいて個々の立体物を検出する処理を主とするマイクロプロセッサ３０ｂと、検出した立体物の位置情報に基づいて先行車や障害物を特定し、衝突や接触危険性を判断する処理を主とするマイクロプロセッサ３０ｃと、先行車のブレーキランプの点灯を検出する処理を主とするマイクロプロセッサ３０ｄとがシステムバス３１を介して並列に接続されたマルチマイクロプロセッサのシステム構成となっている。
【００３１】
そして、上記システムバス３１には、上記距離画像メモリ２０ｂ及び上記元画像メモリ２１ｂに接続されるインターフェース回路３２と、制御プログラムを格納するＲＯＭ３３と、計算処理途中の各種パラメータを記憶するＲＡＭ３４と、処理結果のパラメータを記憶する出力用メモリ３５と、上記ディスプレイ（ＤＩＳＰ）９を制御するためのディスプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）３６と、上記車速センサ４、上記舵角センサ５等からの信号を入力するＩ／Ｏインターフェース回路３７とが接続されている。
【００３２】
上記コントローラ３０では、画素を単位とする距離画像上の座標系を、図５に示すように、左下隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸として扱い、画素ズレ数をｄｐとする距離画像上の点（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路形状の認識や立体物の位置検出等の処理を行う。
【００３３】
すなわち、実空間の三次元の座標系を、自車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前方、原点をＣＣＤカメラ１０ａ，１０ｂの中央の真下の道路面とすると、Ｘ−Ｚ平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致することになり、以下の(1)〜(3)式により、距離画像上の点（ｉ，ｊ，ｄｐ）を、実空間上の点（ｘ，ｙ，ｚ）に座標変換することができる。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1)
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …(2)
ｚ＝ＫＳ／ｄｐ …(3)
但し、ＣＤ：カメラ取り付け間隔
ＰＷ：１画素当たりの視野角
ＣＨ：カメラ取付け高さ
ＩV，ＪV：車両１の真正面の無限遠点の画像上の座標（画素）
ＫＳ：距離係数（ＫＳ＝ＣＤ／ＰＷ）
尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、次のようになる。
ｉ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4)
ｊ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5)
ｄｐ＝ＫＳ／ｚ …(6)
【００３４】
次に、上記コントローラ３０における個々の処理について説明する。まず、上記マイクロプロセッサ３０ａによる道路検出処理では、距離画像メモリ２０ｂに記憶された距離画像からの３次元的な位置情報を利用して実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを実際の道路形状と合致するよう修正・変更して道路形状を認識する。
【００３５】
上記道路モデルは、認識対象範囲までの道路の自車線を、設定した距離によって複数個の区間に分け、各区間毎に左右の白線を３次元の直線式で近似して折れ線状に連結したものであり、実空間の座標系における水平方向の直線式のパラメータａ，ｂ、及び、垂直方向の直線式のパラメータｃ，ｄを求め、以下の(7)式に示す水平方向の直線式、及び、以下の(8)式に示す垂直方向の直線式を得る。
ｘ＝ａ・ｚ＋ｂ …(7)
ｙ＝ｃ・ｚ＋ｄ …(8)
【００３６】
実際には、上記(7),(8)式の直線式により、左右の白線をそれぞれ近似することになり、各区間毎に、進行方向左側の白線に対する直線式のパラメータａＬ，ｂＬ，ｃＬ，ｄＬを求めるとともに、進行方向右側の白線に対する直線式のパラメータａＲ，ｂＲ，ｃＲ，ｄＲを求め、ＲＡＭ３４にストアする。
【００３７】
また、上記マイクロプロセッサ３０ｂによる物体検出処理では、距離画像を、図６に示すように、格子状に所定間隔で区分し、各区分毎に、上記マイクロプロセッサ３０ａによって算出された道路形状の直線式(7),(8)から距離ｚに於ける道路表面の高さを求め、この道路表面の高さより上にある距離データを立体物データとして抽出する。そして、各区分毎に、抽出されたデータを用いてヒストグラムを作成し、このヒストグラムから各区分を代表する立体物の存在位置と、その距離を求める。
【００３８】
その後、各区分の立体物の検出距離を調べ、隣接する区分において立体物までの検出距離の差異が設定値以下の場合は同一の立体物と見なし、一方、設定値以上の場合は別々の立体物と見なす。そして、検出した立体物を包含する三次元ウィンドウを設定し、さらに、この設定した三次元ウインドウが二次元の画像上でどのように見えるかを計算して二次元ウィンドウを設定する。そして、この二次元ウインドウ内の各データを順次サーベイし、距離データを持っている画素について、前述の(1)〜(3)式を用いて三次元位置（ｘ，ｙ，ｚ）を計算した後、距離や高さの値が三次元ウインドウの範囲内にあるデータのみを抽出し、他は棄却する。
【００３９】
このようにして抽出したデータを、二次元の画像上に投影し、これらのデータの外形を線分で連結して立体物の輪郭像を求め、この輪郭像の左右端および上端の画像上での座標（ｉ，ｊ，ｄｐ）から、その立体物の検出距離（Ｚ座標）、左右端位置（Ｘ座標）、上端の位置（Ｙ座標）を算出し、さらに、左右端位置から立体物の横幅を求め、上端の位置から物体の高さを求め、ＲＡＭ３４にストアする。
【００４０】
尚、以上の距離画像を生成する処理、距離画像から道路形状を検出する処理、距離画像の区分毎の立体物の距離データから複数の立体物を検出する処理については、本出願人によって先に提出された特開平５−２６５５４７号公報に詳述されている。
【００４１】
一方、上記マイクロプロセッサ３０ｃによる衝突判断処理では、検出した道路形状と立体物の位置とを比較して先行車を特定し、この先行車と自車両との相対速度や先行車の減速度を算出する。同時に、上記マイクロプロセッサ３０ｄによって先行車のブレーキランプ点灯が検出されたか否かを調べ、この先行車のブレーキランプ点灯の検出結果と、先行車の相対速度や減速度の算出結果とから衝突の危険性を判断し、その結果を上記ディスプレイ９に表示してドライバに警告を発する等の処理を行う。
【００４２】
以下、上記マイクロプロセッサ３０ｃにおける衝突判断処理及び上記マイクロプロセッサ３０ｄによるブレーキランプ点灯検出処理について詳述する。
【００４３】
図３は、マイクロプロセッサ３０ｃによる衝突判断部４０、マイクロプロセッサ３０ｄによるブレーキランプ点灯検出部５０の機能構成を示すものであり、衝突判断部４０は、先行車検出部４１、急ブレーキ検出部４２、衝突危険度判定部４３から構成され、ブレーキランプ点灯検出部５０は、サーベイ範囲設定部５１、テールランプ検出部５２、ブレーキランプ点灯判断部５３から構成されている。尚、マイクロプロセッサ３０ａによる道路検出部６０、マイクロプロセッサ３０ｂによる立体物検出部７０の各機能については前述した通りであり、説明を省略する。
【００４４】
以上の機能構成による処理では、衝突判断部４０において、まず、先行車検出部４１で、検出された立体物の自車からの距離Ｚｉ、左端の位置ＸｉＬ、右端の位置ＸｉＲを用い、先行車を特定する。この先行車の特定に際しては、最初に、道路形状のデータから距離Ｚｉにおける左右の白線の位置ＸＬ，ＸＲ（Ｘ座標）を、以下の(9),(10)式で計算する。
左白線：ＸＬ＝ａＬ・Ｚｉ＋ｂＬ …(9)
右白線：ＸＲ＝ａＲ・Ｚｉ＋ｂＲ …(10)
【００４５】
次いで、上記(9),(10)式で算出した左右の白線の位置ＸＬ，ＸＲと、立体物の左右端の位置ＸｉＬ，ＸｉＲとを、それぞれ比較し、白線の内側に掛かっている立体物を先行車の候補として選別すると、選別した先行車の候補の中から、自車両との距離が最も近いものを先行車として特定する。この先行車の位置のデータは、ＲＡＭ３４にストアされ、ブレーキランプ点灯検出部５０に伝達される。
【００４６】
そして、先行車を特定すると、次に、急ブレーキ検出部４２で、上記先行車検出部４１で特定した先行車と自車両との間の車間距離の時間変化から、先行車の自車両に対する相対速度を算出し、この相対速度に自車両の走行速度を加算して先行車の走行速度を求める。
【００４７】
さらに、先行車の走行速度の時間変化から先行車の加減速度を算出し、先行車の減速度（絶対値）が判定値（例えば、５ｍ／ｓｅｃ²）以上で、且つ、ブレーキランプ点灯検出部５０によって先行車のブレーキランプ点灯が検出されている場合、先行車が急ブレーキを掛けた状態であると判断する。
【００４８】
ここで、ブレーキランプ点灯検出部５０における先行車のブレーキランプ点灯検出処理について説明する。
【００４９】
ブレーキランプ検出部５０では、まず、サーベイ範囲設定部５１で先行車のテールランプ点灯を検出するためのサーベイ範囲を、元画像メモリ２１ｂに記憶されているデジタル画像、すなわち、距離画像を生成する際に基準となる側のＣＣＤカメラ１０ａで撮像したアナログ画像に対し、各画素の明るさ（輝度）を例えば２５６階調にデジタル化した画像上に設定する。
【００５０】
先行車の検出枠は、図４の元画像上では図７のようになり、左右の枠線及び上下の枠線のデジタル画像上の位置（ｉ，ｊ座標）は、先行車の左右端のＸ，Ｚ座標から前述の(4)式によってｉ座標を算出することができ、下側の枠線を道路面上の位置（ｙ＝０）、上側の枠線を検出された先行車の高さとして、前述の(5)式によってｊ座標を算出することができる。
【００５１】
このような先行車の検出枠に対し、図８の破線で示すように、検出誤差を考慮して余裕を見込んだ少し広い範囲（例えば、＋０．３〜０．６ｍ程度）を、テールランプのサーベイ範囲として設定する。
【００５２】
次に、テールランプ検出部５２では、上記サーベイ範囲設定部５１で設定したサーベイ範囲内の画素の輝度平均値を計算し、平均値より高い輝度（例えば、平均値の１．５倍）を閾値として設定すると、サーベイ範囲内で閾値より明るい画素を抽出し、画像を２値化する。さらに、この２値化画像で明るさの連続する領域毎にラベルを付けるラベリング処理を行って隣接する画素を領域にまとめ、各領域の面積、重心点のｉ，ｊ座標、領域内の輝度の平均値等を計算して先行車のテールランプが点灯しているか否かを判断する。
【００５３】
すなわち、先行車のテールランプが点灯していない場合には、上記サーベイ範囲内に明るい領域が存在しないか、あるいは、先行車の特に明るい部分が不定形な領域として現れるのみであるが、テールランプが点灯している場合には、例えば、図９に示すように、テールランプの部分が大きな明るい領域として抽出される。従って、車両のテールランプの大きさ、形状、位置等を考慮し、以下の３つの条件を全て満足する場合、先行車のテールランプが点灯していると判断することができる。
【００５４】
条件１：明るい領域の面積が判定値（例えば、０．０２ｍ²程度の面積）より大きい。
【００５５】
条件２：サーベイ範囲の左側と右側との両方に同じ面積の領域が存在する。
【００５６】
条件３：上記左右２つの領域の画像上の高さ（ｊ座標）が等しい。
【００５７】
以上の処理により、先行車のテールランプ点灯の有無、テールランプの２つの領域の面積の合計値、輝度の平均値等のデータがＲＡＭ３４にストアされ、これらのデータから、ブレーキランプ点灯判断部５３で先行車のブレーキランプ点灯を判断する。
【００５８】
ここで、テールランプが点灯するのは、夜間等でスモールランプが点灯されている場合と、ブレーキを踏んでブレーキランプが点灯する場合である。この場合、スモールランプよりブレーキランプの方が明るく、カメラの特性に余裕がある場合には、スモールランプが点灯されている状態でブレーキランプが点灯すると、画像上では、テールランプ部分の輝度が高くなる。
【００５９】
しかしながら、スモールランプ点灯の時点でカメラの感度が飽和し、テールランプ部分の輝度が飽和値に達しているような状況では、ブレーキランプが点灯して更に明るくなると、画像上では、テールランプ部分の輝度が飽和したまま、明るい部分が周囲に滲んで面積が拡大する。
【００６０】
従って、ブレーキランプ点灯判断部５３では、上記テールランプ検出部５２による今回の検出結果と前回の検出結果と比較し、以下のように、ブレーキランプが点灯しているか否かを判断する。
【００６１】
（ａ）前回の検出結果がテールランプ非点灯の場合、今回の検出結果がテールランプ点灯であれば、ブレーキランプ点灯と判断する。
【００６２】
（ｂ）前回の検出結果がテールランプ点灯の場合、次の(i),(ii)のいずれかでブレーキランプ点灯と判断する。
【００６３】
(i)今回の検出結果、テールランプの領域の輝度が判定値（例えば、前回の輝度の１．２倍）以上に高くなった。
【００６４】
(ii)今回の検出結果、テールランプの領域の面積が判定値（例えば、前回の面積の１．２倍）以上に拡大した。
【００６５】
このブレーキランプ点灯の判断結果は、ＲＡＭ３４にストアされて上記急ブレーキ検出部４２に伝達され、前述した処理によって先行車の急ブレーキが検出される。次に、衝突危険度判定部４３では、先行車の急ブレーキの有無に応じて警報距離を設定し、現在の車間距離が、この警報距離以下のとき、衝突警報をディスプレイ９に表示する等してドライバに警告を発する。
【００６６】
先行車が急ブレーキを掛けていない場合の警報距離Ｄｗ1は、自車の走行速度Ｖｅ、先行車の走行速度Ｖｉから、例えば、以下の(11)式によって算出することができる。但し、以下の(11)式におけるｔ1，Ａ，Ｂは、予め設定した定数であり、例えば、ｔ1＝０．２５、Ａ＝０．１２、Ｂ＝０．５４程度の値である。
Ｄｗ1＝ｔ1・Ｖｅ＋Ａ・Ｖｅ・(Ｖｅ−Ｖｉ)＋Ｂ・（Ｖｅ−Ｖｉ) …(11)
【００６７】
一方、先行車が急ブレーキを掛けた状態であると判断された場合、上記(11)式による警報距離Ｄｗ1を、以下の（12)式に示すように、自車の走行速度Ｖｅに応じて延長した警報距離Ｄｗ2とする。
Ｄｗ2＝Ｄｗ1＋ｔ2・Ｖｅ …(12)
【００６８】
上記(12)における定数ｔ2は、例えば、０．５〜１．０程度の値であり、この延長によって衝突警報の発生タイミングが概ねｔ2秒だけ早くなり、ドライバに危険をより早く報知することができる。尚、この衝突危険度判定部４３を自動ブレーキ装置等に連動させ、衝突の危険度がより大きい場合、自車両を自動的に減速・停止させることが望ましい。
【００６９】
すなわち、従来では、車間距離の計測値に含まれるバラツキや誤差のため、先行車の減速度の計算値が大きくばらつき、衝突判断の際の判断基準が安全側に片寄りすぎて的確性に欠ける嫌いがあったが、本発明では、先行車のブレーキランプ点灯を検出しているため、より正確な衝突判断を行うことができ、信頼性を向上することができる。
【００７０】
さらに、先行車のブレーキランプ点灯に対して減速度があまり大きくない場合であっても、先行車のブレーキランプ点灯と減速度とを組み合わせるため、先行車の減速状態を的確に検出することができる。
【００７１】
図１０は本発明の実施の第２形態に係わり、ブレーキランプ点灯検出及び衝突判断処理に係わる機能ブロック図である。
【００７２】
本形態は、混雑した道路で車間距離が十分に取れないような状況に対し、先行車のブレーキ操作をいち早く検出するため、前述の第１形態における急ブレーキ検出部４２の処理内容を変更するものである。
【００７３】
すなわち、本形態の衝突判断部４０Ａは、図１０に示すように、第１形態の急ブレーキ検出部４２をブレーキ検出部４２Ａに変更し、このブレーキ検出部４２Ａにおいて、ブレーキランプ検出部５０で先行車のブレーキランプ点灯を検出したとき、先行車の減速度を計算することなく、直ちに、先行車が減速を開始したと判断する。
【００７４】
そして、第１形態と同様、衝突危険度判定部４３で、先行車の減速の有無に応じた警報距離を設定し、現在の車間距離が、この警報距離以下のとき、衝突警報をディスプレイ９に表示する等してドライバに警告を発する。
【００７５】
本形態では、先行車の減速度を計算することなく、ブレーキランプ点灯のみで先行車の減速を判断するため、直ちに先行車の減速開始を検出することができ、衝突警報の発生タイミングが早まり、特に、渋滞時等に有効である。
【００７６】
図１１は本発明の実施の第３形態に係わり、ブレーキランプ点灯検出及び衝突判断処理に係わる機能ブロック図である。
【００７７】
本形態は、前述の第１形態の衝突判断処理に第２形態の処理を組み込み、互いの長所を取り入れたものである。このため、本形態の衝突判断部４０Ｂは、図１１に示すように、第１形態に対し、急ブレーキ検出部４２、衝突危険度判定部４３を変更し、ブレーキ検出部４２Ｂ、衝突危険度判断部４３Ｂとする。
【００７８】
ブレーキ検出部４２Ｂでは、ブレーキランプ検出部５０で先行車のブレーキランプ点灯を検出した場合に先行車がブレーキ操作をしたと判断し、先行車の減速度を算出する。そして、先行車の減速度を判定値（例えば、５ｍ／ｓｅｃ²）と比較し、先行車の減速度が判定値より小さい場合には、先行車のブレーキ操作による警戒状態、先行車の減速度が判定値以上の場合、先行車が急ブレーキを掛けた状態と判断する。
【００７９】
衝突危険度判断部４３Ｂでは、先行車のブレーキランプが非点灯の場合、通常の警報距離Ｄｗ1を、第１形態と同様、前述の（11)式によって算出し、現在の車間距離が、この警報距離Ｄｗ1以下のとき、衝突警報をディスプレイ９に表示する等してドライバに警告を発する。
【００８０】
一方、先行車のブレーキランプ点灯が検出された場合には、ブレーキ操作による警戒状態と急ブレーキ状態とで警報距離を２つの段階に分けて設定する。すなわち、先行車のブレーキ操作による警戒状態では、以下の(13)式によって通常の警報距離Ｄｗ1を延長した警報距離Ｄｗ3とし、先行車の急ブレーキ状態では、以下の(14)式によって通常の警報距離Ｄｗ1を延長した警報距離Ｄｗ4とする。
Ｄｗ3＝Ｄｗ1＋ｔ3・Ｖｅ …(13)
Ｄｗ4＝Ｄｗ1＋ｔ4・Ｖｅ …(14)
【００８１】
上記(13),(14)式におけるｔ3,ｔ4は、定数であり、ｔ3＞ｔ4となるよう設定する。例えば、ｔ3＝０．５、ｔ4＝１．０とすると、自車両の走行速度Ｖｅが５０ｋｍ／ｈ（１４．９ｍ／ｓｅｃ）の場合には、通常の警報距離Ｄｗ1が先行車のブレーキランプ点灯で７．５ｍ延長され、さらに、急ブレーキ検出時には１４．９ｍ延長される。
【００８２】
すなわち、車間距離が警報距離に対してぎりぎりで余裕が無い状態での走行中には、先行車のブレーキランプ点灯のみで衝突警報が発せられ、ドライバの注意が喚起される。一方、車間距離に多少の余裕がある状態での走行中には、先行車の急ブレーキが検出された場合にのみ、衝突警報が発せられる。
【００８３】
本形態では、衝突距離が先行車のブレーキ操作による警戒状態と急ブレーキ状態との２つの段階に分けて延長されるため、実際の交通状況やドライバの運転感覚に適合した衝突警報を発することができる。
【００８９】
【発明の効果】
以上説明したように本発明によれば、道路および先行車両の３次元情報による位置情報から設定した先行車両の検出枠に基づいて自車両前方の撮像画像に先行車両のテールランプ検出領域を設定し、このテールランプ検出領域の輝度変化あるいは面積変化によって先行車両のブレーキランプ点灯を検出しているため、先行車両の減速状態を的確に検出することができ、先行車両と自車両との衝突可能性をより正確に判断することができ、信頼性を向上することができる。
【００９０】
また、先行車のブレーキランプ点灯と減速度とを考慮することにより、減速度の計測値に誤差があっても先行車の急ブレーキ状態等を確実に検出することができるばかりでなく、先行車のブレーキランプ点灯に対して減速度があまり大きくない場合であっても、先行車の減速状態を的確に検出することができる。
【００９１】
一方、渋滞時等には、先行車の減速度を計測することなくブレーキランプ点灯のみで先行車の減速を判断することで、迅速に先行車の減速開始を検出することができる。
【００９２】
さらに、先行車と自車両との現在の車間距離が警報距離以下になったときの衝突警報の発生に際し、先行車のブレーキランプの点灯と減速度の計測値とによって、あるいは、ブレーキランプの点灯の有無のみによって、警報距離を変更することで、実際の交通状況やドライバの運転感覚に適合した警報とすることができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、衝突防止装置の全体構成図
【図２】同上、衝突防止装置の回路ブロック図
【図３】同上、ブレーキランプ点灯検出及び衝突判断処理に係わる機能ブロック図
【図４】同上、車載のカメラで撮像した画像の例を示す説明図
【図５】同上、距離画像の例を示す説明図
【図６】同上、距離画像の区分を示す説明図
【図７】同上、道路・立体物の認識結果を示す説明図
【図８】同上、先行車の検出結果を示す説明図
【図９】同上、テールランプの検出結果を示す説明図
【図１０】本発明の実施の第２形態に係わり、ブレーキランプ点灯検出及び衝突判断処理に係わる機能ブロック図
【図１１】本発明の実施の第３形態に係わり、ブレーキランプ点灯検出及び衝突判断処理に係わる機能ブロック図
【符号の説明】
１ …自車両
２ …衝突防止装置
４０…衝突判断部
４１…先行車検出部
４２…急ブレーキ検出部
４３…衝突危険度判定部
５０…ブレーキランプ点灯検出部
５１…サーベイ範囲設定部
５２…テールランプ検出部
５３…ブレーキランプ点灯判断部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle collision prevention device that detects a preceding vehicle on a traveling path of a host vehicle and makes a collision determination.
[0002]
[Prior art]
These days, TV cameras and laser radars are installed in automobiles to detect vehicles and obstacles ahead, determine the risk of collision with them, issue warnings to drivers, and automatically activate brakes. Development of technologies related to ASV (Advanced Safety Vehicle) such as stopping and stopping, or automatically increasing or decreasing the traveling speed so as to keep the distance between the vehicle and the preceding vehicle safe is being actively promoted. .
[0003]
As a technique for determining the possibility of collision between the preceding vehicle and the host vehicle and issuing a collision warning, conventionally, the inter-vehicle distance and relative speed with the preceding vehicle are measured by a scanning laser radar or the like, and the inter-vehicle distance is preset. Techniques have been proposed for issuing a collision warning when the distance is below the warning distance.
[0004]
However, as a relatively frequent pattern in traffic accidents, there is a rear-end collision due to a sudden braking of a preceding vehicle. For such a situation, it is important to detect the deceleration of the preceding vehicle. For this reason, a technique has been proposed in which an inter-vehicle distance from a preceding vehicle is measured by a laser radar, an alarm is issued by detecting the start of deceleration of the preceding vehicle from a pattern of changes in the inter-vehicle distance.
[0005]
Further, as a technique for detecting a preceding vehicle, Japanese Patent Laid-Open No. 2-190978 discloses a landscape including a preceding vehicle ahead of the host vehicle with a TV camera through a filter that passes only red light. A technique for detecting a red tail lamp of a preceding vehicle is disclosed.
[0006]
[Problems to be solved by the invention]
However, the measurement value of the inter-vehicle distance between the host vehicle and the preceding vehicle includes errors and variations, and it is difficult to accurately detect the deceleration of the preceding vehicle in an actual complex traffic situation. . For this reason, the deceleration of the preceding vehicle is erroneously detected, and there is a possibility that a collision warning is issued even though the deceleration is not so large.
[0007]
Accordingly, in order to reliably detect the deceleration state of the preceding vehicle, it is conceivable to detect the brake operation from the blinking state of the tail lamp of the preceding vehicle. Because the red light component is also included in the white light, the image of the vehicle is reflected even through the filter, and it is difficult to detect only the red tail lamp, and the blinking of the tail lamp accompanying the brake operation is detected. I can't do that either.
[0008]
The present invention has been made in view of the above circumstances, and detects the brake lamp lighting of the preceding vehicle from the captured image in front of the own vehicle, accurately detects the deceleration state of the preceding vehicle, and can collide with the preceding vehicle and the own vehicle. It is an object of the present invention to provide a vehicle collision prevention device that can accurately determine the nature of the vehicle.
[0009]
[Means for Solving the Problems]
  The invention according to claim 1 detects a white line existing in the traveling direction of the host vehicle, obtains a road shape from the white line, and recognizes a three-dimensional object hanging inside the white line as a preceding vehicle. In a vehicle collision prevention apparatus that detects in three dimensions and determines the possibility of a collision between the preceding vehicle and the host vehicle, positional information based on the three-dimensional information of the road and the preceding vehicle is displayed in a captured image in front of the host vehicle.Detection frame for the preceding vehicle set fromThe tail lamp detection area of the preceding vehicle is set based on the above, and the brake lamp lighting of the preceding vehicle is detected based on the luminance change or area change of the tail lamp detection area, and the leading lamp is detected according to the detection result of the brake lamp lighting. Means for judging the deceleration state of the vehicle and judging the possibility of collision between the preceding vehicle and the host vehicle.
[0010]
According to a second aspect of the present invention, in the first aspect of the present invention, the deceleration state of the preceding vehicle is determined by the lighting of the brake lamp and the measured value of the deceleration of the preceding vehicle.
[0011]
According to a third aspect of the present invention, in the first aspect of the present invention, the deceleration state of the preceding vehicle is determined only by whether or not the brake lamp is lit.
[0012]
  The invention according to claim 4 is the invention according to any one of claims 1, 2, 3.vehicleThe current distance between the vehicle and the host vehiclevehicleWhen the alarm distance is less than or equal to the alarm distance changed according to the deceleration state, it is determined that there is a possibility of a collision and an alarm is issued.
[0013]
According to a fifth aspect of the present invention, in the first aspect of the invention, the position information of the preceding vehicle is acquired by stereo image processing from a pair of images obtained by imaging the front of the host vehicle, and the tail lamp is included in one of the pair of images. A detection area is set.
[0015]
  That is, in the vehicle collision prevention apparatus of the present invention, the position information based on the three-dimensional information of the road and the preceding vehicle.Detection frame for the preceding vehicle set fromBased on the above, the tail lamp detection area of the preceding vehicle is set in the captured image ahead of the host vehicle, and the lighting of the brake lamp of the preceding vehicle is detected based on the luminance change or area change of the tail lamp detection area. Then, the deceleration state of the preceding vehicle is determined according to the detection result of lighting of the brake lamp, and the possibility of collision between the preceding vehicle and the host vehicle is determined. At this time, the deceleration state of the preceding vehicle may be determined based on the lighting of the brake lamp and the measured value of the deceleration of the preceding vehicle, or may be determined only based on the presence / absence of lighting of the brake lamp.
[0016]
  Also precededvehicleWhen the current inter-vehicle distance between the vehicle and the host vehicle is less than or equal to the warning distance, it is desirable to issue a warning based on the judgment that there is a possibility of a collision.vehicleIt is changed depending on whether the brake lamp is lit and the measured value of deceleration, or only whether or not the brake lamp is lit.
[0017]
  Also precededvehicleWhen detecting the lighting of the brake lamp of the vehicle, a pair of images taken in front of the host vehicle are processed by stereo image processing tovehicleThe position information of the tail lamp detection area may be set in one of the pair of images.Yes.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. 1 to 9 relate to a first embodiment of the present invention, FIG. 1 is an overall configuration diagram of a collision prevention device, FIG. 2 is a circuit block diagram of the collision prevention device, and FIG. 3 is a brake lamp lighting detection and collision determination process. 4 is an explanatory diagram showing an example of an image captured by an in-vehicle camera, FIG. 5 is an explanatory diagram showing an example of a distance image, FIG. 6 is an explanatory diagram showing a division of the distance image, and FIG. FIG. 8 is an explanatory diagram showing the detection result of the preceding vehicle, and FIG. 9 is an explanatory diagram showing the detection result of the tail lamp.
[0019]
In FIG. 1, reference numeral 1 denotes a vehicle such as an automobile. When the vehicle 1 recognizes an obstacle or a preceding vehicle existing in the traveling direction to determine the risk of collision, and there is a risk of collision, A collision prevention device 2 that issues a collision avoidance alarm and ensures safety is mounted.
[0020]
The collision prevention apparatus 2 includes a stereo optical system 10 for imaging an object outside the vehicle from different positions, an image processor 20 that processes an image captured by the stereo optical system 10 and calculates three-dimensional distance distribution information, And, the distance information from the image processor 20 is input, the road shape and the three-dimensional position of a plurality of three-dimensional objects are detected at high speed from the distance information, and the preceding vehicle and the obstacle are specified based on the detection result. The controller 30 is configured to perform a collision warning determination process and the like.
[0021]
Further, the controller 30 is connected to sensors for detecting the current traveling state of the vehicle, such as the vehicle speed sensor 4 and the steering angle sensor 5, and when the recognized object becomes an obstacle of the host vehicle 1, the driver In addition to displaying a warning to the driver by displaying it on the display 9 installed in front of the vehicle, it is possible to perform automatic collision avoidance control of the vehicle body by connecting an external device that controls actuators (not shown).
[0022]
The stereo optical system 10 includes a pair of left and right CCD cameras 10a and 10b using a solid-state imaging device such as a charge coupled device (CCD). For example, when the CCD camera 10a is subjected to stereo image processing by the image processor 20 described above. The reference image side camera and the CCD camera 10b are used as the comparison image side cameras, and they are arranged with a predetermined interval.
[0023]
The image processor 20 obtains a correlation between a pair of images taken by the CCD cameras 10a and 10b, calculates a distance from the parallax with respect to the same object by the principle of triangulation, and outputs a three-dimensional distance distribution over the entire image. At the same time, the original image of the CCD camera 10a on the reference image side is digitized and stored in order to detect lighting of the brake lamp of the preceding vehicle in the collision determination process described later in the controller 30.
[0024]
The controller 30 reads the distance distribution information from the image processor 20 and detects the road shape and the three-dimensional position of a plurality of three-dimensional objects (vehicles, obstacles, etc.) at high speed to identify the preceding vehicle, and the vehicle speed sensor 4 and the possibility of collision with the preceding vehicle or contact possibility based on the traveling state of the host vehicle detected by the steering angle sensor 5 or the like, and the result is displayed on the display 9 to notify the driver.
[0025]
At this time, the controller 30 detects lighting of the brake lamp of the preceding vehicle on the basis of the original image captured by the CCD camera 10a. The lighting of the brake lamp of the preceding vehicle and deceleration (negative acceleration) of the preceding vehicle are detected. ) To detect the sudden braking condition and determine the possibility of collision.
[0026]
The image processor 20 and the controller 30 have the hardware configuration shown in FIG. 2 in detail.
[0027]
The image processor 20 searches a portion of the stereo image pair captured by the CCD cameras 10a and 10b for the same object in every predetermined small area, and calculates a corresponding position shift amount. The distance detection circuit 20a that calculates the distance to the object and outputs it as three-dimensional distance distribution information, the distance image memory 20b that stores the distance distribution information output from the distance detection circuit 20a, and the CCD camera on the reference image side A / D converter 21a that converts an analog image captured in 10a into a digital image having a predetermined luminance gradation (for example, 256 gradations), and an original image that stores the digital image converted by the A / D converter 21a A memory 21b and the like are provided.
[0028]
The distance distribution information output from the distance detection circuit 20a is in the form of an image (distance image), and is an image photographed by the two left and right CCD cameras 11a and 11b, for example, schematically shown in FIG. When such an image is processed by the distance detection circuit 20a, a distance image as shown in FIG. 5 is generated from the image of the reference CCD camera 10a.
[0029]
In the example of the distance image shown in FIG. 5, the image size is horizontal 600 pixels × vertical 200 pixels, and the distance data has a black dot portion. This is the horizontal direction of each pixel of the image of FIG. This is a portion where the change in brightness between pixels adjacent to each other is large. The distance detection circuit 20a treats this distance image as an image composed of blocks of horizontal 150 × vertical 50 with a small area of 4 × 4 pixels, and calculates the distance (number of pixel shifts) for each block.
[0030]
On the other hand, the controller 30 includes a microprocessor 30a mainly for detecting a road shape and the like, a microprocessor 30b mainly for detecting individual solid objects based on the detected road shape, and a detected three-dimensional object. A microprocessor 30c mainly for processing to identify a preceding vehicle and an obstacle based on the position information of the vehicle, and judge a collision or contact risk, and a microprocessor mainly for processing to detect lighting of a brake lamp of the preceding vehicle A system configuration of a multi-microprocessor in which 30d is connected in parallel via a system bus 31 is provided.
[0031]
The system bus 31 includes an interface circuit 32 connected to the distance image memory 20b and the original image memory 21b, a ROM 33 that stores a control program, a RAM 34 that stores various parameters during the calculation process, and a processing Signals from the output memory 35 for storing the parameters of the result, the display controller (DISP. CONT.) 36 for controlling the display (DISP) 9, the vehicle speed sensor 4, the steering angle sensor 5, etc. are input. To the I / O interface circuit 37 to be connected.
[0032]
The controller 30 treats the coordinate system on the distance image in units of pixels as shown in FIG. 5 with the lower left corner as the origin and the horizontal direction as the i coordinate axis and the vertical direction as the j coordinate axis, and the number of pixel shifts as dp. The point (i, j, dp) on the distance image to be converted is converted into a coordinate system in the real space, and processing such as road shape recognition and solid object position detection is performed.
[0033]
  That is, the three-dimensional coordinate system of the real space is a coordinate system fixed to the own vehicle (vehicle 1), the X axis is the right side of the traveling direction of the vehicle 1, the Y axis is above the vehicle 1, and the Z axis is the vehicle 1 If the front and the origin are the road surface directly below the center of the CCD cameras 10a and 10b, the XZ plane (Y = 0) coincides with the road surface when the road is flat, and the following (1) The point (i, j, dp) on the distance image can be coordinate-converted to the point (x, y, z) on the real space by the expressions (3) to (3).
  x = CD / 2 + z · PW · (i-IV) (1)
  y = CH +z・ PW ・ (j-JV) (2)
  z = KS / dp (3)
        CD: Camera mounting interval
              PW: Viewing angle per pixel
              CH: Camera mounting height
              IV, JV: Coordinates (pixels) on the image of the infinity point directly in front of the vehicle 1
              KS: Distance coefficient (KS = CD / PW)
  The equation for calculating the point (i, j, dp) on the image from the point (x, y, z) in the real space is obtained by modifying the above equations (1) to (3) as follows. .
  i = (x−CD / 2) / (z · PW) + IV (4)
  j = (y−CH) / (z · PW) + JV (5)
  dp = KS / z (6)
[0034]
Next, each process in the controller 30 will be described. First, in the road detection processing by the microprocessor 30a, only the white line on the actual road is separated and extracted using the three-dimensional position information from the distance image stored in the distance image memory 20b and incorporated. The road shape is recognized by modifying / changing the parameters of the road model to match the actual road shape.
[0035]
In the above road model, the lane of the road up to the recognition target range is divided into a plurality of sections according to the set distance, and the left and right white lines are approximated by a three-dimensional linear equation for each section and connected in a polygonal line shape. The horizontal linear parameters a and b in the real space coordinate system and the vertical linear parameters c and d are obtained, and the horizontal linear equation shown in the following equation (7): Then, the vertical linear equation shown in the following equation (8) is obtained.
x = a · z + b (7)
y = c · z + d (8)
[0036]
Actually, the left and right white lines are approximated by the above-described linear expressions (7) and (8), and for each section, the linear parameters aL, bL, cL, dL is obtained, and linear parameters aR, bR, cR, dR for the white line on the right side in the traveling direction are obtained and stored in the RAM 34.
[0037]
Further, in the object detection processing by the microprocessor 30b, the distance image is divided into a lattice shape at a predetermined interval as shown in FIG. 6, and the road shape linear formula calculated by the microprocessor 30a is obtained for each division. The height of the road surface at the distance z is obtained from (7) and (8), and the distance data above the height of the road surface is extracted as three-dimensional object data. Then, a histogram is created using the extracted data for each section, and the position and distance of the three-dimensional object representing each section are obtained from this histogram.
[0038]
After that, the detection distances of the three-dimensional objects in each section are examined. Consider it a thing. Then, a three-dimensional window including the detected three-dimensional object is set, and further, a two-dimensional window is set by calculating how the set three-dimensional window looks on a two-dimensional image. Then, each data in the two-dimensional window is sequentially surveyed, and the three-dimensional position (x, y, z) is calculated using the above-described equations (1) to (3) for the pixels having distance data. After that, only the data whose distance and height are within the range of the three-dimensional window are extracted, and others are rejected.
[0039]
The data extracted in this way is projected onto a two-dimensional image, the outlines of these data are connected by line segments, and a contour image of a three-dimensional object is obtained. The detected distance (Z coordinate), left and right end position (X coordinate), and upper end position (Y coordinate) of the three-dimensional object are calculated from the coordinates (i, j, dp) of the three-dimensional object. The lateral width is obtained, the height of the object is obtained from the position of the upper end, and stored in the RAM 34.
[0040]
In addition, the process for generating the above distance image, the process for detecting the road shape from the distance image, and the process for detecting a plurality of three-dimensional objects from the distance data of the three-dimensional object for each section of the distance image are previously performed by the applicant. This is described in detail in Japanese Patent Laid-Open No. 5-265547.
[0041]
On the other hand, in the collision determination processing by the microprocessor 30c, the preceding vehicle is identified by comparing the detected road shape and the position of the three-dimensional object, and the relative speed between the preceding vehicle and the own vehicle and the deceleration of the preceding vehicle are calculated. To do. At the same time, it is checked whether or not the brake lamp lighting of the preceding vehicle is detected by the microprocessor 30d, and the risk of collision is determined from the detection result of the brake lamp lighting of the preceding vehicle and the calculation result of the relative speed and deceleration of the preceding vehicle. Processing is performed, and the result is displayed on the display 9 to issue a warning to the driver.
[0042]
Hereinafter, the collision determination process in the microprocessor 30c and the brake lamp lighting detection process by the microprocessor 30d will be described in detail.
[0043]
FIG. 3 shows functional configurations of a collision determination unit 40 by the microprocessor 30c and a brake lamp lighting detection unit 50 by the microprocessor 30d. The collision determination unit 40 includes a preceding vehicle detection unit 41, a sudden brake detection unit 42, The brake lamp lighting detection unit 50 includes a collision risk degree determination unit 43, and includes a survey range setting unit 51, a tail lamp detection unit 52, and a brake lamp lighting determination unit 53. The functions of the road detection unit 60 by the microprocessor 30a and the three-dimensional object detection unit 70 by the microprocessor 30b are as described above, and the description thereof is omitted.
[0044]
In the processing by the above functional configuration, the preceding vehicle detection unit 40 first uses the distance Zi of the detected three-dimensional object from the own vehicle, the left end position XiL, and the right end position XiR by the preceding vehicle detection unit 41. Is identified. When specifying the preceding vehicle, first, the positions XL and XR (X coordinates) of the left and right white lines at the distance Zi are calculated from the road shape data by the following equations (9) and (10).
Left white line: XL = aL · Zi + bL (9)
Right white line: XR = aR · Zi + bR (10)
[0045]
Next, the positions XL and XR of the left and right white lines calculated by the above formulas (9) and (10) are compared with the positions XiL and XiR of the left and right ends of the three-dimensional object, respectively, and the three-dimensional object hanging inside the white line Is selected as a preceding vehicle candidate, the one having the closest distance to the host vehicle is identified as the preceding vehicle from the selected preceding vehicle candidates. The data of the position of the preceding vehicle is stored in the RAM 34 and transmitted to the brake lamp lighting detection unit 50.
[0046]
When the preceding vehicle is specified, the sudden brake detecting unit 42 then determines the relative of the preceding vehicle to the own vehicle from the time change in the inter-vehicle distance between the preceding vehicle specified by the preceding vehicle detecting unit 41 and the own vehicle. The speed is calculated, and the traveling speed of the host vehicle is obtained by adding the traveling speed of the host vehicle to the relative speed.
[0047]
Further, the acceleration / deceleration of the preceding vehicle is calculated from the time change of the traveling speed of the preceding vehicle, and the deceleration (absolute value) of the preceding vehicle is determined as a determination value (for example, 5 m / sec).²) When the brake lamp lighting detection unit 50 detects the lighting of the preceding vehicle, it is determined that the preceding vehicle is in a state of sudden braking.
[0048]
Here, the brake lamp lighting detection process of the preceding vehicle in the brake lamp lighting detection unit 50 will be described.
[0049]
In the brake lamp detection unit 50, first, when the survey range setting unit 51 detects a survey range for detecting the tail lamp lighting of the preceding vehicle, a digital image stored in the original image memory 21b, that is, a distance image is generated. For the analog image captured by the CCD camera 10a on the reference side, the brightness (luminance) of each pixel is set on an image digitized to, for example, 256 gradations.
[0050]
The detection frame of the preceding vehicle is as shown in FIG. 7 on the original image of FIG. 4, and the positions (i, j coordinates) of the left and right frame lines and the upper and lower frame lines on the digital image are the left and right ends of the preceding vehicle. The i-coordinate can be calculated from the X and Z coordinates by the above-described equation (4), the lower frame line is the position on the road surface (y = 0), and the height of the preceding vehicle where the upper frame line is detected. As a result, the j coordinate can be calculated by the above-described equation (5).
[0051]
As shown by the broken line in FIG. 8, a slightly wider range (for example, about +0.3 to 0.6 m) with allowance for detection error is used for such a preceding vehicle detection frame. Set as a range.
[0052]
Next, the tail lamp detection unit 52 calculates the average luminance value of the pixels in the survey range set by the survey range setting unit 51, and uses a luminance higher than the average value (for example, 1.5 times the average value) as a threshold value. When set, pixels brighter than the threshold within the survey range are extracted, and the image is binarized. Further, a labeling process for labeling each region where brightness continues in this binarized image is performed to collect adjacent pixels into regions, and the area of each region, the i and j coordinates of the barycentric point, the luminance in the region An average value or the like is calculated to determine whether the tail lamp of the preceding vehicle is lit.
[0053]
In other words, when the tail lamp of the preceding vehicle is not lit, there is no bright area in the survey range, or the bright part of the preceding car only appears as an irregular area, but the tail lamp is lit. In this case, for example, as shown in FIG. 9, the tail lamp portion is extracted as a large bright region. Accordingly, in consideration of the size, shape, position, etc. of the tail lamp of the vehicle, it can be determined that the tail lamp of the preceding vehicle is lit when all of the following three conditions are satisfied.
[0054]
Condition 1: The area of a bright region is a judgment value (for example, 0.02 m²Larger than the area).
[0055]
Condition 2: A region having the same area exists on both the left and right sides of the survey range.
[0056]
Condition 3: The heights (j coordinates) on the left and right two regions are equal.
[0057]
Through the above processing, data such as the presence / absence of lighting of the tail lamp of the preceding vehicle, the total value of the areas of the two areas of the tail lamp, and the average value of the luminance are stored in the RAM 34. Determine whether the brake light on the car is on.
[0058]
Here, the tail lamp is lit when the small lamp is lit at night or when the brake lamp is lit when the brake is depressed. In this case, if the brake lamp is brighter than the small lamp and there is a margin in the characteristics of the camera, if the brake lamp is lit while the small lamp is lit, the brightness of the tail lamp portion will be higher on the image .
[0059]
However, in the situation where the sensitivity of the camera is saturated when the small lamp is lit and the brightness of the tail lamp has reached the saturation value, the brightness of the tail lamp on the image will increase when the brake lamp lights up and becomes brighter. While saturated, bright areas ooze out and the area expands.
[0060]
Therefore, the brake lamp lighting determination unit 53 compares the current detection result by the tail lamp detection unit 52 with the previous detection result, and determines whether or not the brake lamp is lit as follows.
[0061]
(A) The previous detection result isTailWhen the lamp is not lit, if the current detection result is the tail lamp lit, it is determined that the brake lamp is lit.
[0062]
(B) The previous detection result is taillampIn the case of lighting, it is determined that the brake lamp is lit in either of the following (i) and (ii).
[0063]
(i) As a result of this detection, the brightness of the tail lamp area is higher than the judgment value (for example, 1.2 times the previous brightness).
[0064]
(ii) As a result of this detection, the area of the tail lamp area has been expanded to a determination value (for example, 1.2 times the previous area) or more.
[0065]
The determination result of lighting of the brake lamp is stored in the RAM 34 and transmitted to the sudden brake detector 42, and the sudden brake of the preceding vehicle is detected by the processing described above. Next, the collision risk determination unit 43 sets an alarm distance according to the presence or absence of sudden braking of the preceding vehicle, and displays a collision alarm on the display 9 when the current inter-vehicle distance is equal to or less than the alarm distance. Issue a warning to the driver.
[0066]
The warning distance Dw1 when the preceding vehicle is not suddenly braked can be calculated from the traveling speed Ve of the host vehicle and the traveling speed Vi of the preceding vehicle, for example, by the following equation (11). However, t1, A, and B in the following equation (11) are preset constants, for example, t1 = 0.25, A = 0.12, and B = 0.54.
Dw1 = t1.Ve + A.Ve. (Ve-Vi) + B. (Ve-Vi) (11)
[0067]
On the other hand, when it is determined that the preceding vehicle is suddenly braked, the warning distance Dw1 according to the above equation (11) is set according to the traveling speed Ve of the vehicle as shown in the following equation (12). The extended warning distance Dw2.
Dw2 = Dw1 + t2 · Ve (12)
[0068]
The constant t2 in the above (12) is, for example, a value of about 0.5 to 1.0, and by this extension, the timing of occurrence of the collision warning is approximately advanced by t2 seconds, and the driver can be notified of the danger earlier. it can. In addition, it is desirable that the collision risk determination unit 43 is linked to an automatic brake device or the like so that the host vehicle is automatically decelerated and stopped when the collision risk is higher.
[0069]
That is, in the past, due to variations and errors included in the measured value of the inter-vehicle distance, the calculated value of the deceleration of the preceding vehicle varies greatly, and the judgment criteria at the time of collision judgment are too shifted to the safe side and lack accuracy. Although there was dislike, in the present invention, since the brake lamp lighting of the preceding vehicle is detected, a more accurate collision determination can be performed and the reliability can be improved.
[0070]
Furthermore, even when the deceleration is not so large with respect to the brake lamp lighting of the preceding vehicle, the deceleration state of the preceding vehicle can be accurately detected because the brake lamp lighting and deceleration of the preceding vehicle are combined. .
[0071]
FIG. 10 is a functional block diagram related to brake lamp lighting detection and collision determination processing according to the second embodiment of the present invention.
[0072]
In this embodiment, the processing content of the sudden brake detection unit 42 in the first embodiment is changed in order to quickly detect the brake operation of the preceding vehicle in a situation where the inter-vehicle distance cannot be sufficiently obtained on a crowded road. It is.
[0073]
That is, as shown in FIG. 10, the collision determination unit 40A of the present embodiment changes the sudden brake detection unit 42 of the first embodiment to a brake detection unit 42A, and the brake lamp detection unit 50 uses the brake lamp detection unit 50A. When the vehicle brake lamp lighting is detected, it is immediately determined that the preceding vehicle has started to decelerate without calculating the deceleration of the preceding vehicle.
[0074]
As in the first embodiment, the collision risk determination unit 43 sets an alarm distance according to the presence or absence of deceleration of the preceding vehicle. When the current inter-vehicle distance is equal to or less than the alarm distance, a collision alarm is displayed on the display 9. A warning is issued to the driver by displaying it.
[0075]
In this embodiment, since the deceleration of the preceding vehicle is determined only by turning on the brake lamp without calculating the deceleration of the preceding vehicle, the deceleration start of the preceding vehicle can be detected immediately, and the timing of occurrence of the collision warning is advanced, This is particularly effective during traffic jams.
[0076]
FIG. 11 is a functional block diagram related to brake lamp lighting detection and collision determination processing according to the third embodiment of the present invention.
[0077]
In this embodiment, the process of the second embodiment is incorporated into the collision determination process of the first embodiment, and the advantages of each other are incorporated. For this reason, as shown in FIG. 11, the collision determination unit 40B of this embodiment changes the sudden brake detection unit 42 and the collision risk determination unit 43 with respect to the first mode, and the brake detection unit 42B and the collision risk determination This is part 43B.
[0078]
The brake detection unit 42B determines that the preceding vehicle has performed a brake operation when the brake lamp detection unit 50 detects the lighting of the preceding vehicle, and calculates the deceleration of the preceding vehicle. Then, the deceleration of the preceding vehicle is determined as a judgment value (for example, 5 m / sec.²), When the deceleration of the preceding vehicle is smaller than the judgment value, the warning state by the brake operation of the preceding vehicle, and when the deceleration of the preceding vehicle is greater than the judgment value, to decide.
[0079]
In the collision risk determination unit 43B, when the brake lamp of the preceding vehicle is not lit, the normal warning distance Dw1 is calculated by the above-described equation (11) as in the first embodiment, and the current inter-vehicle distance is calculated based on this warning distance. When the distance is less than Dw1, a warning is issued to the driver by displaying a collision warning on the display 9 or the like.
[0080]
On the other hand, when the brake lamp lighting of the preceding vehicle is detected, the alarm distance is set in two stages according to the warning state by the brake operation and the sudden brake state. That is, in the warning state due to the brake operation of the preceding vehicle, the normal warning distance Dw1 is extended by the following equation (13), and the normal alarm distance Dw3 is extended by the following equation (14) in the sudden braking state of the preceding vehicle. The alarm distance Dw4 is obtained by extending the distance Dw1.
Dw3 = Dw1 + t3 · Ve (13)
Dw4 = Dw1 + t4 · Ve (14)
[0081]
In the above equations (13) and (14), t3 and t4 are constants and are set so that t3> t4. For example, when t3 = 0.5 and t4 = 1.0, when the traveling speed Ve of the host vehicle is 50 km / h (14.9 m / sec), the normal warning distance Dw1 is lit on the brake lamp of the preceding vehicle. Is extended by 7.5 m, and further 14.9 m when a sudden braking is detected.
[0082]
That is, during traveling in a state where the inter-vehicle distance is barely marginal to the warning distance, a collision warning is issued only by lighting the brake lamp of the preceding vehicle, and the driver's attention is drawn. On the other hand, during traveling in a state where there is some margin in the inter-vehicle distance, a collision warning is issued only when a sudden brake of the preceding vehicle is detected.
[0083]
In this embodiment, the collision distance is extended in two stages, a warning state by a brake operation of the preceding vehicle and a sudden braking state, so that it is possible to issue a collision warning that matches the actual traffic situation and the driving feeling of the driver. it can.
[0089]
【The invention's effect】
  As described above, according to the present invention, the position information based on the three-dimensional information of the road and the preceding vehicle.Detection frame for the preceding vehicle set fromThe tail lamp detection area of the preceding vehicle is set in the captured image in front of the host vehicle, and the brake lamp lighting of the preceding vehicle is detected by the luminance change or area change of the tail lamp detection area. Therefore, it is possible to accurately detect the possibility of collision between the preceding vehicle and the host vehicle, and it is possible to improve the reliability.
[0090]
In addition, by taking into account the brake lamp lighting and deceleration of the preceding vehicle, not only can the sudden braking state of the preceding vehicle be detected reliably even if there is an error in the measured value of the deceleration, Even when the deceleration is not so large with respect to the lighting of the brake lamp, it is possible to accurately detect the deceleration state of the preceding vehicle.
[0091]
On the other hand, when there is a traffic jam, it is possible to quickly detect the start of deceleration of the preceding vehicle by determining deceleration of the preceding vehicle only by turning on the brake lamp without measuring the deceleration of the preceding vehicle.
[0092]
Furthermore, when a collision warning occurs when the current inter-vehicle distance between the preceding vehicle and the host vehicle is less than or equal to the warning distance, depending on whether the brake lamp of the preceding vehicle is lit and the measured value of deceleration, or the brake lamp is lit By changing the warning distance based only on the presence or absence of an alarm, it is possible to obtain an excellent effect that the warning can be adapted to the actual traffic situation and the driver's driving feeling.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a collision prevention apparatus according to a first embodiment of the present invention.
FIG. 2 is a circuit block diagram of the collision prevention apparatus.
FIG. 3 is a functional block diagram relating to brake lamp lighting detection and collision determination processing.
FIG. 4 is an explanatory diagram showing an example of an image captured by an in-vehicle camera.
FIG. 5 is an explanatory diagram showing an example of a distance image as above;
FIG. 6 is an explanatory view showing the range of the distance image as above.
FIG. 7 is an explanatory diagram showing the recognition result of a road / three-dimensional object
FIG. 8 is an explanatory diagram showing the detection result of the preceding vehicle
FIG. 9 is an explanatory diagram showing the result of detection of a tail lamp
FIG. 10 is a functional block diagram related to brake lamp lighting detection and collision determination processing according to the second embodiment of the present invention;
FIG. 11 is a functional block diagram related to brake lamp lighting detection and collision determination processing according to a third embodiment of the present invention.
[Explanation of symbols]
1 ... Own vehicle
2 ... Collision prevention device
40. Collision judgment unit
41 ... Leading vehicle detection unit
42 ... Sudden brake detector
43 ... Collision risk determination unit
50 ... Brake lamp lighting detector
51. Survey range setting section
52. Tail lamp detector
53 ... Brake lamp lighting judgment part

Claims

A white line existing in the traveling direction of the host vehicle is detected, a road shape is obtained from the white line, a solid object hanging inside the white line is recognized as a preceding vehicle, and the preceding vehicle is detected in three dimensions. In a vehicle collision prevention apparatus that determines the possibility of collision between the vehicle and the host vehicle,
A tail lamp detection area of the preceding vehicle is set based on a detection frame of the preceding vehicle set in the captured image ahead of the host vehicle based on the position information based on the three-dimensional information of the road and the preceding vehicle, and the luminance change of the tail lamp detection area Or means for detecting the brake lamp lighting of the preceding vehicle by area change,
A vehicle collision preventing apparatus comprising: means for determining a deceleration state of the preceding vehicle in accordance with a detection result of lighting of the brake lamp, and determining a collision possibility between the preceding vehicle and the own vehicle.

2. The vehicle collision preventing apparatus according to claim 1, wherein the deceleration state of the preceding vehicle is determined by lighting of the brake lamp and a measured value of the deceleration of the preceding vehicle.

2. The vehicle collision preventing apparatus according to claim 1, wherein the deceleration state of the preceding vehicle is determined only by whether or not the brake lamp is lit.

When the current inter-vehicle distance between the preceding vehicle and the host vehicle is less than or equal to an alarm distance that is changed according to the deceleration state of the preceding vehicle, it is determined that there is a possibility of a collision and an alarm is issued. The vehicle collision preventing device according to any one of claims 1, 2, and 3.

2. The vehicle according to claim 1, wherein the position information of the preceding vehicle is acquired by stereo image processing from a pair of images taken in front of the host vehicle, and the tail lamp detection area is set in one of the pair of images. Anti-collision device.