JP4265931B2

JP4265931B2 - Leading vehicle detection device

Info

Publication number: JP4265931B2
Application number: JP2003145235A
Authority: JP
Inventors: 孝慈梶
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2003-05-22
Filing date: 2003-05-22
Publication date: 2009-05-20
Anticipated expiration: 2023-05-22
Also published as: JP2004347471A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラからの画像情報とレーザやミリ波等のレーダ情報とを基に前方に存在する先行車両を認識する先行車両検出装置に関する。
【０００２】
【従来の技術】
従来より、車間距離検出装置として、レーザレーダや、ミリ波レーダを用いた車間距離自動維持運転システム（Adaptive Cruise Control）が実用化されている。しかし、レーザレーダやミリ波レーダ等のレーダ情報による車間検出装置は進行路推定方法が前方環境を視覚的に広く捉えようとするものではないため、先行車両の誤認識やロストが度々発生する。
【０００３】
これに対し、特開平８−３２９３９３号公報では、カメラを付加し、カメラで検出した先行車両の存在領域（水平方向のみ）にレーザレーダで検出した車両が重なっていれば、先行車両と判断する方式にて先行車両を確実に検出する方法を提案している。
【０００４】
【特許文献１】
特開平８−３２９３９３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の先行技術では、カメラからの出力とレーザレーダからの出力の横位置（水平方向位置）の比較しか行っておらず、また、カメラによる立体物検出も行っていないため、カメラによる検出結果が本当に立体物であり、先行車両なのかの判定が不確実である。例えば単眼カメラの場合、レンズ表面の先行車両の走行領域に相当する箇所にゴミが付着した場合、カメラは先行車両と誤認識する可能性がある。そして、横位置比較しか行っていないため、誤認識した方向に存在するレーザレーダの情報を先行車両として認識してしまう可能性がある。
【０００６】
また、レーザレーダの換わりにミリ波レーダを用いた場合、ミリ波レーダはオーバーパスにより先先行車（先行車両の前方に存在する先行車両）を検出してしまうことがある。その時、先行車両と先先行車の横位置は略重なっているため、従来技術による先行車両検出装置では先先行車を先行車両として検出してしまい、ＡＣＣの誤制御を生じてしまう虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、ステレオカメラからの画像情報とレーザやミリ波等のレーダ情報とを用いて、目標とする先行車両を正確に検出することが可能な先行車両検出装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため請求項１記載の本発明による先行車両検出装置は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識する画像先行車両認識手段と、車両前方のレーダ情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識するレーダ先行車両認識手段と、上記画像先行車両認識手段で認識した先行車両と上記レーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置が略等しく、且つ、これら先行車両までの上記自車両からの距離が略等しい場合、これら先行車両は同一の先行車両であると判断する先行車両判断手段とを備え、上記先行車両判断手段は、上記画像先行車両認識手段で認識した先行車両と上記レーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置が略等しく、且つ、これら先行車両までの上記自車両からの距離が略等しくなく、これら先行車両の速度が一致する場合、これらの先行車両は同一の先行車両であると判断することを特徴としている。
【００１１】
また、請求項２記載の本発明による先行車両検出装置は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識する画像先行車両認識手段と、車両前方のレーダ情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識するレーダ先行車両認識手段と、上記画像先行車両認識手段で認識した先行車両と上記レーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置は略等しく、且つ、これら先行車両までの上記自車両からの距離が略等しい場合、これら先行車両は同一の先行車両であると判断する先行車両判断手段とを備え、上記画像先行車両認識手段と上記レーダ先行車両認識手段はそれぞれ、予め決められたルールに従って、検出した上記立体物毎に異なる識別番号を設定するものであり、上記先行車両判断手段は、上記画像先行車両認識手段で認識した先行車両と上記レーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置は略等しく、且つ、これら先行車両までの上記自車両からの距離が略等しくなく、これら先行車両の識別番号が前回に同一の先行車両であると判断した先行車両の識別番号とそれぞれ一致する場合、これら先行車両は同一の先行車両であると判断することを特徴としている。
【００１２】
すなわち、上記請求項１記載の先行車両検出装置は、画像先行車両認識手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識し、レーダ先行車両認識手段で車両前方のレーダ情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識する。そして、先行車両判断手段は、画像先行車両認識手段で認識した先行車両とレーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置が略等しく、且つ、これら先行車両までの自車両からの距離が略等しい場合、これら先行車両は同一の先行車両であると判断し、画像先行車両認識手段で認識した先行車両とレーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置が略等しく、且つ、これら先行車両までの自車両からの距離が略等しくなく、これら先行車両の速度が一致する場合、これらの先行車両は同一の先行車両であると判断する。特に、路肩の停止車両の脇をすり抜ける際、追従している先行車両と停止車両の位置が近接している場合、先行車両を誤認識する場合があるが、このように先行車両の速度で比較することにより、誤認識を防止する。
【００１５】
また、上記請求項２記載の本発明による先行車両検出装置は、画像先行車両認識手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識し、レーダ先行車両認識手段で車両前方のレーダ情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識する。先行車両判断手段は、画像先行車両認識手段で認識した先行車両とレーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置は略等しく、且つ、これら先行車両までの上記自車両からの距離が略等しい場合、これら先行車両は同一の先行車両であると判断する。また、画像先行車両認識手段とレーダ先行車両認識手段はそれぞれ、予め決められたルールに従って、検出した立体物毎に異なる識別番号を設定するものであり、先行車両判断手段は、画像先行車両認識手段で認識した先行車両とレーダ先行車両認識手段で認識した先行車両とを比較して、これら先行車両が存在する水平方向位置は略等しく、且つ、これら先行車両までの自車両からの距離が略等しくなく、これら先行車両の識別番号が前回に同一の先行車両であると判断した先行車両の識別番号とそれぞれ一致する場合、これら先行車両は同一の先行車両であると判断する。たとえ、今回、先行車両の特定が困難な状況となっても、前回までの情報を利用して、特定できるようにする。
【００１６】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
図１乃至図６は本発明の実施の形態を示し、図１は先行車両検出装置を有する車間距離自動維持運転システムの概略構成図、図２は先行車両検出手順を示すフローチャート、図３はステレオカメラとレーザレーダの取り付け位置の違いと障害物検出の水平方向位置の違いの説明図、図４はステレオカメラとレーザレーダの取り付け位置の詳細説明図、図５は先行車両に対するステレオカメラで検出する領域とレーザレーダで検出する領域の説明図、図６はステレオカメラによる計測距離と理論誤差の説明図である。
【００１７】
図１において、符号１は自動車等の車両（自車両）で、この車両１には、ＡＣＣシステム２が搭載されている。このＡＣＣシステム２は、主として、走行制御ユニット３、ステレオカメラ４、レーザ投光ユニット５、先行車両検出装置６とで構成され、定速走行制御状態のときは運転者が設定した車速を保持した状態で走行し、追従走行制御状態のときは目標車速を先行車両の車速に設定し、先行車両に対して一定車間距離を保持した状態で走行する。
【００１８】
ステレオカメラ４は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラで構成され、これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、先行車両検出装置６に入力する。
【００１９】
また、レーザ投光ユニット５は、車両１のバンパー構造材の上部に配設され、レーザビームの投射・受光と左右方向への走査機能を有するレーザヘッドを備えて構成され、先行車両検出装置６と接続されている。そして、このレーザ投光ユニット５からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出されると共に、このレーザ投光ユニット５からのレーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【００２０】
また、自車両１には、車速を検出する車速センサ７が設けられており、この車速は走行制御ユニット３と先行車両検出装置６とに入力される。
【００２１】
先行車両検出装置６は、ステレオカメラ４からの画像、レーザ投光ユニット５による走査結果、及び、車速が入力され、ステレオカメラ４からの画像に基づく前方立体物との距離と先行車両、レーザ投光ユニット５による走査結果に基づく前方立体物との距離と先行車両とをそれぞれ独立して求め、これら先行車両を後述する先行車両検出手順を示すフローチャートに従って統合し、最終的に先行車両を判断し、走行制御ユニット３に出力する。
【００２２】
ここで、先行車両検出装置６における、ステレオカメラ４からの画像の処理は、例えば以下のように行われる。まず、ステレオカメラ４のＣＣＤカメラによって撮像した左右１組のステレオ画像対を処理して画像全体に渡る３次元の距離分布を算出し、その距離分布情報から、道路形状や複数の立体物の３次元位置を高速で検出する。そして、検出した道路形状と各立体物の位置を比較して、走行路上の自車両直前の先行車両を特定し、自車両と先行車両との車間距離を求め、また、車間距離の変化及び車速センサ７で検出した自車速に基づいて、先行車速を算出する。このようにステレオカメラ４と先行車両検出装置６は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識する画像先行車両認識手段としての機能を有している。尚、ステレオカメラ４からの画像を基に検出した各立体物には、予め決められたルール（例えば、自車両１の走行路上の近くの立体物から他の走行路上の立体物にいくに従って順に大きくなるようにナンバリングしていく）に基づいて識別番号（ＩＤ番号）が付与される。
【００２３】
また、先行車両検出装置６における、レーザレーダによる立体物及び先行車両の検出は、例えば、レーザ投光ユニット５によるレーザビームの投光受光の所要時間から各立体物までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置を計算してレーザ距離データとして保存する。そして、各立体物との車間距離の変化及び車速センサ７で検出した自車速に基づいて各立体物の中から、自車両１の前方に存在する先行車両を特定する。このようにレーザ投光ユニット５と先行車両検出装置６は、車両前方のレーダ情報を基に前方に存在する立体物と自車両との距離データを検出し先行車両を認識するレーダ先行車両認識手段としての機能を有している。尚、ステレオカメラ４からの画像を基に検出した各立体物と同様に、レーザ投光ユニット５で検出した各立体物には、予め決められたルール（例えば、自車両１の走行路上の近くの立体物から他の走行路上の立体物にいくに従って順に大きくなるようにナンバリングしていく）に基づいて識別番号（ＩＤ番号）が付与される。
【００２４】
走行制御ユニット３は、運転者の操作入力によって設定される走行速度を維持するよう定速走行制御を行なう定速走行制御の機能、及び自車両と先行車両の車間距離を一定に保持した状態で走行する追従走行制御の機能を実現するもので、ステアリングコラムの側部等に設けられた定速走行操作レバーに連結される複数のスイッチ類で構成された定速走行スイッチ８、先行車両検出装置６、車速センサ７等が接続されている。定速走行スイッチ８は、定速走行時の目標車速を設定する車速セットスイッチ、主に目標車速を下降側へ変更設定するコーストスイッチ、主に目標車速を上昇側へ変更設定するリジュームスイッチ等で構成されている。更に、この定速走行操作レバーの近傍には、走行制御のＯＮ／ＯＦＦを行うメインスイッチ（図示せず）が配設されている。
【００２５】
運転者が図示しないメインスイッチをＯＮし、定速走行操作レバーにより、希望する速度をセットすると、定速走行スイッチ８からの信号が走行制御ユニット３に入力され、車速センサ７で検出した車速が、運転者のセットした設定車速に収束するように、スロットルアクチュエータ９を駆動させてスロットル弁１０の開度をフィードバック制御し、自車両を自動的に定速状態で走行させる。
【００２６】
又、走行制御ユニット３は、定速走行制御を行っている際に、先行車両検出装置６にて先行車両を認識し、先行車両の速度が自車両の設定した目標速度以下の場合には、先行車両に対して一定の車間距離を保持した状態で走行する追従走行制御へ自動的に切換えられる。
【００２７】
車両の走行制御が追従走行制御へ移行すると、先行車両検出装置６で求めた自車両と先行車両との車間距離及び先行車速と、車速センサ７で検出した自車速とに基づき適切な車間距離の目標値を設定し、車間距離が目標値になるように、スロットルアクチュエータ９へ駆動信号を出力して、スロットル弁１０の開度をフィードバック制御し、先行車両に対して一定車間距離を保持した状態で追従走行させる。
【００２８】
次に、先行車両検出装置６における先行車両検出手順を、図２に示すフローチャートで説明する。図２に示すルーチンは所定時間（例えば５０msec）毎に起動され、先ず、ステップ（以下「Ｓ」と略称）１０１で、ステレオカメラ４、レーザ投光ユニット５等の各センサのチェックが行われ、これらセンサの何れかに異常がある場合には、そのままプログラムを終了する。
【００２９】
一方、Ｓ１０１で各センサが正常であることが確認されるとＳ１０２に進み、ステレオカメラ４からの画像を基に得られる様々な情報、すなわち、自車両１前方の先行車両に関するデータ（自車両と先行車両との車間距離、先行車速、前方の各立体物それぞれのＩＤ番号と先行車両のＩＤ番号等）を読み込む。
【００３０】
次いで、Ｓ１０３に進み、レーザレーダにより得られる様々な情報、すなわち、自車両１前方の先行車両に関するデータ（自車両と先行車両との車間距離、先行車速、前方の各立体物それぞれのＩＤ番号と先行車両のＩＤ番号等）を読み込む。
【００３１】
その後、Ｓ１０４に進み、ステレオカメラ４とレーザ投光ユニット５の取り付け位置の違いによる角度補正を行う。すなわち、図３に示すように、ステレオカメラ４とレーザ投光ユニット５で同一先行車両の同一部分を検出する時、これらの取り付け位置が異なっていると、この部分はステレオカメラ４では角度ａで検出されるが、レーザ投光ユニット５では角度ｂで検出されることになる。
【００３２】
従って、図４に示すように、レーザ投光ユニット５がステレオカメラ４の前方１９００mmの位置に左側に１７０mmづらして、共に正面を向くように配設されているものとすると、取り付け位置の違いにより生じる理論的な先行車両角度差は、以下の（１）式で算出される。レーザ投光ユニット５による先行車両距離をＬｂ、レーザ投光ユニット５による先行車両角度をθｂ、理論式より算出されるステレオカメラ４の先行車両角度をθａ、レーザ投光ユニット５とステレオカメラ４との車幅方向ずれ量をＸ（＝１７０mm）、レーザ投光ユニット５とステレオカメラ４との前後方向ずれ量をＹ（＝１９００mm）として、
θａ＝tan^−１（（Ｌ・sinθ−Ｘ）／Ｌ・cosθ） …（１）
ここで、
θ＝tan^−１（Ｌｂ・sinθ／（Ｌｂ・cosθｂ＋Ｙ））
Ｌ＝（Ｌｂ・cosθｂ＋Ｙ）／cosθ
である。
【００３３】
次いで、Ｓ１０５に進むと、ステレオカメラ４とレーザレーダとによる先行車両の水平方向位置が一致しているか否か判定される。
【００３４】
具体的には、図５に示すように、ステレオカメラ４からの画像で検出される先行車両の左エッジ角度情報はＳLの領域で抽出され、右エッジ角度情報はＳRの領域で抽出される。従って、ＳLからＳRの間のＬｓの間にレーザレーダで検出した先行車両の水平方向の角度情報が存在しているか否か判定される。
【００３５】
Ｓ１０５の判定の結果、ＳLからＳRの間のＬｓの間にレーザレーダで検出した先行車両の水平方向の角度情報が存在していない場合、すなわち、ステレオカメラ４とレーザレーダとによる先行車両の水平方向位置が一致していない場合は、Ｓ１１２に進み、ステレオカメラ４による先行車両とレーザレーダとによる先行車両は不一致と判定しプログラムを抜ける。
【００３６】
逆に、Ｓ１０５の判定の結果、ＳLからＳRの間のＬｓの間にレーザレーダで検出した先行車両の水平方向の角度情報が存在している場合、すなわち、ステレオカメラ４とレーザレーダとによる先行車両の水平方向位置が一致している場合は、Ｓ１０６に進む。
【００３７】
Ｓ１０６では、ステレオカメラ４の距離の理論的距離ばらつきの計算を行い、ステレオカメラ４からの画像を基に得られる自車両と先行車両との車間距離の値に予め反映させる。例えば、ステレオカメラ４の仕様により発生する理論的な距離誤差（距離Ｄにおける距離誤差）ΔＤは、以下の（２）式により算出される。焦点距離をＦ、ＣＣＤの水平長と垂直長を共にｄｘ、ステレオカメラ４のカメラ間隔をＬ、走査線数をＭ、物体の高さをＨ、認識物体として映る４×４画素ブロック数をＮとして、
ΔＤ＝（Ｄ・Ｄ・ｄｘ）／（（Ｆ・Ｌ−Ｄ・ｄｘ）・Ｎ^１／２）…（２）
ここで、
Ｎ＝（（Ｍ／４）・Ｆ・Ｈ・２）／（ｄｘ・Ｄ）
こうして、上述の（２）式を用いて求められる理論的な距離誤差ΔＤは、図６に示すように得られる。
【００３８】
Ｓ１０６で理論的距離ばらつきの計算を行い、ステレオカメラ４からの画像を基に得られる自車両と先行車両との車間距離の値に反映させた後は、Ｓ１０７に進み、ステレオカメラ４の距離の外環境変化によるばらつきの計算を行い、ステレオカメラ４からの画像を基に得られる自車両と先行車両との車間距離の値に予め反映させる。この外環境の変化によるばらつきは、例えば、急激な輝度変化等により発生する誤差であり、予め実験等により設定しておいた値である。
【００３９】
その後、Ｓ１０８に進み、ステレオカメラ４とレーザレーダとによる先行車両の存在する距離が一致するか否か判定する。
【００４０】
このＳ１０８での判定の結果、ステレオカメラ４とレーザレーダとによる先行車両の存在する距離が一致する場合はＳ１１１に進み、ステレオカメラ４とレーザレーダとによる先行車両は同一の車両であるとして先行車両の検出を終え、プログラムを抜ける。
【００４１】
逆に、ステレオカメラ４とレーザレーダとによる先行車両の存在する距離が不一致の場合は、Ｓ１０９に進み、ステレオカメラ４とレーザレーダとによる先行車両の速度が一致するか否か判定する。
【００４２】
このＳ１０９の判定の結果、ステレオカメラ４とレーザレーダとによる先行車両の速度が一致する場合はＳ１１１に進み、ステレオカメラ４とレーザレーダとによる先行車両は同一の車両であるとして先行車両の検出を終え、プログラムを抜ける。
【００４３】
逆に、ステレオカメラ４とレーザレーダとによる先行車両の速度が不一致の場合はＳ１１０に進み、ステレオカメラ４による先行車両のＩＤ番号とレーザレーダによる先行車両のＩＤ番号が前回設定したＩＤ番号と一致するか否か判定し、一致する場合はＳ１１１に進み、ステレオカメラ４とレーザレーダとによる先行車両は同一の車両であるとして先行車両の検出を終え、プログラムを抜ける。
【００４４】
逆に、ステレオカメラ４による先行車両のＩＤ番号とレーザレーダによる先行車両のＩＤ番号が前回設定した先行車両のＩＤ番号と不一致であればＳ１１２に進み、ステレオカメラ４による先行車両とレーザレーダとによる先行車両は不一致と判定しプログラムを抜ける。尚、この場合、前回設定した先行車両のＩＤ番号と一致する方の先行車両を今回の先行車両とする。
【００４５】
こうして、上述の先行車両検出手順からも明らかなように、先行車両検出装置６は先行車両判断手段としての機能を有している。
【００４６】
このように本実施の形態によれば、ステレオカメラ４で検出した先行車両とレーザレーダで検出した先行車両を、水平方向位置と距離とで比較し同一の先行車両の特定を行うため、目標とする先行車両を正確に検出することが可能となる。
【００４７】
また、本実施の形態では、ステレオカメラ４で認識した先行車両とレーザレーダで認識した先行車両とを比較する際、ステレオカメラ４で先行車両を認識する場合に発生する距離のばらつき（距離誤差及び外環境変化により発生する誤差）と、ステレオカメラ４とレーザ投光ユニット５との取り付け位置関係で発生する距離のばらつきとを反映して比較することで、より正確な比較が行えるようになっている。
【００４８】
更に、本実施の形態は、ステレオカメラ４で認識した先行車両とレーザレーダで認識した先行車両とを比較して、これら先行車両が存在する水平方向位置は略等しく、且つ、これら先行車両までの自車両からの距離が略等しくない場合は、これら先行車両の速度を比較して先行車速が一致する場合に、これらの先行車両は同一の先行車両であると判断する。このため、特に、路肩の停止車両の脇をすり抜ける際、追従している先行車両と停止車両の位置が近接している場合、先行車両を誤認識する場合があるが、このように先行車両の速度で比較することにより、誤認識が確実に防止される。
【００４９】
また、本実施の形態によれば、今回のＩＤ番号と前回のＩＤ番号とを比較して先行車両の一致を判断するので、たとえ、今回、先行車両の特定が困難な状況となっても、前回までのＩＤ番号の情報を利用して、正確に先行車両を特定できる。
【００５０】
尚、本実施の形態では、レーダ情報として、レーザレーダを用いた例で説明しているが、ミリ波レーダを用いた場合も略同様に実現できる。この場合、ミリ波レーダでは、オーバーパスによる先行車両の誤検出の問題があるが、ステレオカメラ４により認識した先行車両を基準として用いることにより、ミリ波レーダが間違った先行車両を認識していることを検出することが可能になる。
【００５１】
また、本実施の形態では、水平方向位置比較と距離比較、速度比較を行った後、条件に一致する対象物がまだ複数存在する場面において、選択した先行車情報をＡＣＣシステム２に用いる場合、どの対象物の情報を使用してもＡＣＣ制御には影響を及ぼさないことより、どの対象物を先行車両として選択しても構わないものとする。
【００５２】
更に、先行車両のＩＤ番号を出力情報として持っている場合で、ステレオカメラ４が外環境の急激な明るさの変化等で、一時的（１〜２秒程度）に先行車両を見失ってしまう場面では、それまでのステレオカメラ４とレーザレーダから判断された先行車情報のＩＤ情報を記憶させておき、ステレオカメラ４からの情報が得られなくなった時点で、レーザレーダの情報の中から、記憶させておいたＩＤ番号と同一のＩＤ番号の先行車両を選択させ、一時的（１〜２秒程度）に補間させても良い。
【００５３】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラからの画像情報とレーザやミリ波等のレーダ情報とを用いて、目標とする先行車両を正確に検出することが可能となる。
【図面の簡単な説明】
【図１】先行車両検出装置を有する車間距離自動維持運転システムの概略構成図
【図２】先行車両検出手順を示すフローチャート
【図３】ステレオカメラとレーザレーダの取り付け位置の違いと障害物検出の水平方向位置の違いの説明図
【図４】ステレオカメラとレーザレーダの取り付け位置の詳細説明図
【図５】先行車両に対するステレオカメラで検出する領域とレーザレーダで検出する領域の説明図
【図６】ステレオカメラによる計測距離と理論誤差の説明図
【符号の説明】
１自車両
２ＡＣＣシステム
３走行制御ユニット
４ステレオカメラ（画像先行車両認識手段）
５レーザ投光ユニット（レーダ先行車両認識手段）
６先行車両検出装置（画像先行車両認識手段、レーダ先行車両認識手段、先行車両判断手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a preceding vehicle detection apparatus for recognizing a preceding vehicle existing ahead based on image information from a stereo camera and radar information such as laser and millimeter wave.
[0002]
[Prior art]
Conventionally, as an inter-vehicle distance detecting device, an automatic inter-vehicle distance maintaining operation system (Adaptive Cruise Control) using a laser radar or a millimeter wave radar has been put into practical use. However, in the inter-vehicle distance detection device based on radar information such as laser radar and millimeter wave radar, the traveling path estimation method does not attempt to visually capture the front environment widely, and thus erroneous recognition and lost of the preceding vehicle frequently occur.
[0003]
On the other hand, in Japanese Patent Laid-Open No. 8-329393, a camera is added, and if the vehicle detected by the laser radar overlaps with the existing region (only in the horizontal direction) of the preceding vehicle detected by the camera, it is determined as the preceding vehicle. A method for reliably detecting a preceding vehicle using a method is proposed.
[0004]
[Patent Document 1]
JP-A-8-329393
[Problems to be solved by the invention]
However, in the above-described prior art, only the horizontal position (horizontal position) of the output from the camera and the output from the laser radar is compared, and the three-dimensional object is not detected by the camera. It is uncertain whether the result is truly a three-dimensional object or a preceding vehicle. For example, in the case of a monocular camera, if dust adheres to a position corresponding to the traveling region of the preceding vehicle on the lens surface, the camera may be erroneously recognized as the preceding vehicle. Since only the lateral position comparison is performed, there is a possibility that the information of the laser radar existing in the erroneously recognized direction is recognized as the preceding vehicle.
[0006]
Further, when a millimeter wave radar is used instead of the laser radar, the millimeter wave radar may detect a preceding vehicle (a preceding vehicle existing ahead of the preceding vehicle) by an overpass. At that time, since the lateral positions of the preceding vehicle and the preceding preceding vehicle are substantially overlapped, the preceding vehicle detection device according to the prior art may detect the preceding preceding vehicle as the preceding vehicle, which may cause erroneous control of ACC.
[0007]
The present invention has been made in view of the above circumstances, and a preceding vehicle detection capable of accurately detecting a target preceding vehicle using image information from a stereo camera and radar information such as a laser and a millimeter wave. The object is to provide a device.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a preceding vehicle detection device according to the present invention described in claim 1 is an image that recognizes a preceding vehicle by detecting distance data between a three-dimensional object existing ahead and the host vehicle based on image information ahead of the vehicle. Recognized by preceding vehicle recognition means, radar preceding vehicle recognition means for detecting distance data between a three-dimensional object existing ahead and the host vehicle based on radar information ahead of the vehicle and recognizing the preceding vehicle, and the image preceding vehicle recognition means The preceding vehicle recognized by the radar preceding vehicle recognizing means is compared, the horizontal position where these preceding vehicles exist is approximately equal, and the distance from the host vehicle to these preceding vehicles is approximately equal. If, a preceding vehicle judgment means judges that these preceding vehicle are the same preceding vehicle, the preceding vehicle judgment means, the preceding vehicle and the radar recognized by the image preceding vehicle recognizing means Compared with the preceding vehicle recognized by the traveling vehicle recognition means, the horizontal position where these preceding vehicles exist is substantially equal, and the distance from the host vehicle to the preceding vehicles is not substantially equal. When the speeds coincide, these preceding vehicles are judged to be the same preceding vehicle .
[0011]
According to a second aspect of the present invention, the preceding vehicle detection device according to the present invention detects the preceding vehicle by detecting distance data between a three-dimensional object existing ahead and the host vehicle based on image information ahead of the vehicle. When, recognizing radar preceding vehicle recognizing means the detected preceding vehicle distance data between the solid object and the vehicle present ahead on the basis of the radar information in front of the vehicle, the preceding vehicle recognized above Symbol image preceding vehicle recognizing means And the preceding vehicle recognized by the radar preceding vehicle recognition means, the horizontal position where these preceding vehicles exist is substantially equal, and the distance from the own vehicle to these preceding vehicles is substantially equal, in accordance with the prior vehicle prior a vehicle determining means, each of the image preceding vehicle recognizing means and the radar preceding vehicle recognizing means, a predetermined rule to determine that the same preceding vehicle, Is for setting a different identification number for each of the three-dimensional object that has issued, the preceding vehicle judgment means, compares the preceding vehicle recognized by the preceding vehicle and the radar preceding vehicle recognizing means recognized by the image preceding vehicle recognizing means The horizontal position where these preceding vehicles are present is substantially equal, the distance from the host vehicle to the preceding vehicles is not substantially equal, and the identification number of these preceding vehicles is the same preceding vehicle as the previous time. If the identification numbers of the determined preceding vehicles coincide with each other, these preceding vehicles are determined to be the same preceding vehicle.
[0012]
That is, the preceding vehicle detection device according to claim 1 recognizes the preceding vehicle by detecting the distance data between the three-dimensional object existing ahead and the host vehicle based on the image information ahead of the vehicle by the image preceding vehicle recognition means, The radar preceding vehicle recognition means detects distance data between a three-dimensional object existing ahead and the host vehicle based on radar information ahead of the vehicle and recognizes the preceding vehicle. The preceding vehicle determining means compares the preceding vehicle recognized by the image preceding vehicle recognizing means with the preceding vehicle recognized by the radar preceding vehicle recognizing means, the horizontal positions where these preceding vehicles exist are substantially equal, and When the distances from the host vehicle to these preceding vehicles are substantially equal , it is determined that these preceding vehicles are the same preceding vehicle, and the preceding vehicle recognized by the image preceding vehicle recognition means and the preceding vehicle recognized by the radar preceding vehicle recognition means If the horizontal position where these preceding vehicles exist is substantially equal, the distance from the own vehicle to these preceding vehicles is not substantially equal, and the speeds of these preceding vehicles match, these preceding vehicles Are determined to be the same preceding vehicle. In particular, when passing through the side of a stopped vehicle on the shoulder, the preceding vehicle may be misrecognized when the following vehicle and the stopped vehicle are close to each other. In this way, the speed of the preceding vehicle is compared. This prevents misrecognition.
[0015]
The preceding vehicle detection device according to the present invention described in claim 2 detects distance data between a three-dimensional object existing ahead and the host vehicle based on image information ahead of the vehicle by the image preceding vehicle recognition means and detects the preceding vehicle. Then, the radar preceding vehicle recognition means detects distance data between the three-dimensional object existing ahead and the host vehicle based on radar information ahead of the vehicle and recognizes the preceding vehicle . Previous row vehicle judgment means compares the preceding vehicle recognized by the preceding vehicle and the radar preceding vehicle recognizing means recognizes the image preceding vehicle recognizing means, the horizontal position is substantially equal to those preceding vehicle is present, and these If the distance from the host vehicle to the preceding vehicle is substantially equal, it is determined that these preceding vehicles are the same preceding vehicle . Each of the image preceding vehicle recognition means and the radar preceding vehicle recognition means sets a different identification number for each detected three-dimensional object according to a predetermined rule. The preceding vehicle recognized by the radar preceding vehicle recognition means is compared with the preceding vehicle recognized by the radar preceding vehicle recognition means, the horizontal position where these preceding vehicles exist is substantially equal, and the distance from the own vehicle to these preceding vehicles is substantially equal. If the identification numbers of these preceding vehicles coincide with the identification numbers of the preceding vehicles that were previously determined to be the same preceding vehicle, it is determined that these preceding vehicles are the same preceding vehicle. For example, even if it is difficult to specify the preceding vehicle this time, the information up to the previous time can be used for identification.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1 to 6 show an embodiment of the present invention, FIG. 1 is a schematic configuration diagram of an inter-vehicle distance automatic maintenance driving system having a preceding vehicle detection device, FIG. 2 is a flowchart showing a preceding vehicle detection procedure, and FIG. FIG. 4 is a detailed explanatory diagram of the difference between the camera and laser radar mounting positions and the obstacle detection horizontal position, FIG. 4 is a detailed explanatory diagram of the stereo camera and laser radar mounting positions, and FIG. 5 is detected by the stereo camera for the preceding vehicle. FIG. 6 is an explanatory diagram of the measurement distance and theoretical error by the stereo camera.
[0017]
In FIG. 1, reference numeral 1 denotes a vehicle (own vehicle) such as an automobile, and an ACC system 2 is mounted on the vehicle 1. This ACC system 2 is mainly composed of a travel control unit 3, a stereo camera 4, a laser projection unit 5, and a preceding vehicle detection device 6, and maintains the vehicle speed set by the driver in the constant speed travel control state. The vehicle travels in a state where the target vehicle speed is set to the vehicle speed of the preceding vehicle and the vehicle travels while maintaining a certain inter-vehicle distance with respect to the preceding vehicle.
[0018]
The stereo camera 4 is composed of a pair of (left and right) CCD cameras using a solid-state image pickup device such as a charge coupled device (CCD) as a stereo optical system. Are attached at regular intervals, and an object outside the vehicle is stereo-photographed from different viewpoints and input to the preceding vehicle detection device 6.
[0019]
The laser projection unit 5 is disposed on the bumper structure material of the vehicle 1 and includes a laser head having a laser beam projection / light reception function and a horizontal scanning function. Connected with. A laser beam is projected horizontally from the laser projection unit 5 to detect only a three-dimensional object at a position higher than the road surface, and the laser beam from the laser projection unit 5 is scanned in the horizontal direction. The operation of detecting the distance by projecting and receiving the laser beam at predetermined intervals within the predetermined scanning range is repeated, and the two-dimensional distribution of the three-dimensional object is measured.
[0020]
Further, the host vehicle 1 is provided with a vehicle speed sensor 7 for detecting the vehicle speed, and this vehicle speed is input to the travel control unit 3 and the preceding vehicle detection device 6.
[0021]
The preceding vehicle detection device 6 receives the image from the stereo camera 4, the scanning result by the laser projection unit 5, and the vehicle speed, and the distance from the front three-dimensional object based on the image from the stereo camera 4, the preceding vehicle, and the laser projection. The distance to the front three-dimensional object based on the scanning result by the light unit 5 and the preceding vehicle are obtained independently, and these preceding vehicles are integrated according to the flowchart showing the preceding vehicle detection procedure described later, and finally the preceding vehicle is determined. And output to the traveling control unit 3.
[0022]
Here, the process of the image from the stereo camera 4 in the preceding vehicle detection apparatus 6 is performed as follows, for example. First, a pair of left and right stereo images captured by the CCD camera of the stereo camera 4 is processed to calculate a three-dimensional distance distribution over the entire image. From the distance distribution information, the road shape and the three-dimensional objects 3 Dimensional position is detected at high speed. Then, the detected road shape and the position of each three-dimensional object are compared to identify the preceding vehicle immediately before the host vehicle on the travel path, the inter-vehicle distance between the host vehicle and the preceding vehicle is obtained, and the change in the inter-vehicle distance and the vehicle speed Based on the own vehicle speed detected by the sensor 7, the preceding vehicle speed is calculated. In this way, the stereo camera 4 and the preceding vehicle detection device 6 serve as image preceding vehicle recognition means for detecting the distance data between the three-dimensional object existing ahead and the host vehicle based on the image information ahead of the vehicle and recognizing the preceding vehicle. It has a function. Each three-dimensional object detected based on the image from the stereo camera 4 has a predetermined rule (for example, in order from a three-dimensional object on the traveling path of the host vehicle 1 to a three-dimensional object on another traveling path. An identification number (ID number) is assigned based on the numbering process.
[0023]
Further, the detection of the three-dimensional object and the preceding vehicle by the laser radar in the preceding vehicle detection device 6 is performed, for example, by calculating the distance to each three-dimensional object from the time required for projecting and receiving the laser beam by the laser projecting unit 5. The two-dimensional position of the object is calculated from the scanning direction of the laser beam and stored as laser distance data. Then, a preceding vehicle existing in front of the host vehicle 1 is identified from each three-dimensional object based on the change in the inter-vehicle distance from each three-dimensional object and the own vehicle speed detected by the vehicle speed sensor 7. As described above, the laser projection unit 5 and the preceding vehicle detection device 6 detect the preceding vehicle by detecting the distance data between the three-dimensional object existing ahead and the host vehicle based on the radar information ahead of the vehicle. As a function. In addition, like each solid object detected based on the image from the stereo camera 4, each solid object detected by the laser projection unit 5 has a predetermined rule (for example, near the traveling path of the host vehicle 1). The identification number (ID number) is assigned based on the number of the three-dimensional object from the three-dimensional object to the three-dimensional object on the other traveling path.
[0024]
The traveling control unit 3 maintains a constant speed traveling control function for performing constant speed traveling control so as to maintain the traveling speed set by the driver's operation input, and a state in which the distance between the host vehicle and the preceding vehicle is kept constant. A constant speed travel switch 8 that realizes a function of following travel control that travels, and is composed of a plurality of switches connected to a constant speed travel operation lever provided on the side of the steering column, etc., and a preceding vehicle detection device 6, a vehicle speed sensor 7 and the like are connected. The constant speed travel switch 8 is a vehicle speed set switch for setting the target vehicle speed during constant speed travel, a coast switch for mainly changing the target vehicle speed to the lower side, a resume switch for changing the target vehicle speed to the upper side, etc. It is configured. Further, a main switch (not shown) for turning on / off the travel control is disposed in the vicinity of the constant speed travel operation lever.
[0025]
When the driver turns on the main switch (not shown) and sets a desired speed by the constant speed traveling operation lever, a signal from the constant speed traveling switch 8 is input to the traveling control unit 3, and the vehicle speed detected by the vehicle speed sensor 7 is Then, the throttle actuator 9 is driven so as to converge to the set vehicle speed set by the driver, the opening degree of the throttle valve 10 is feedback-controlled, and the host vehicle is automatically driven at a constant speed.
[0026]
Further, the traveling control unit 3 recognizes the preceding vehicle by the preceding vehicle detection device 6 when performing the constant speed traveling control, and when the speed of the preceding vehicle is equal to or lower than the target speed set by the own vehicle, It is automatically switched to follow-up running control in which the vehicle runs while maintaining a certain inter-vehicle distance with respect to the preceding vehicle.
[0027]
When the vehicle travel control shifts to the follow-up travel control, an appropriate inter-vehicle distance is determined based on the inter-vehicle distance and the preceding vehicle speed determined by the preceding vehicle detection device 6 and the preceding vehicle, and the own vehicle speed detected by the vehicle speed sensor 7. A state in which a target value is set, a drive signal is output to the throttle actuator 9 so that the inter-vehicle distance becomes the target value, the opening degree of the throttle valve 10 is feedback-controlled, and a constant inter-vehicle distance is maintained with respect to the preceding vehicle Follow the vehicle with.
[0028]
Next, the preceding vehicle detection procedure in the preceding vehicle detection device 6 will be described with reference to the flowchart shown in FIG. The routine shown in FIG. 2 is started every predetermined time (for example, 50 msec). First, in step (hereinafter abbreviated as “S”) 101, each sensor such as the stereo camera 4 and the laser projection unit 5 is checked. If any of these sensors is abnormal, the program is terminated as it is.
[0029]
On the other hand, if each sensor is confirmed to be normal in S101, the process proceeds to S102, where various information obtained based on the image from the stereo camera 4, that is, data related to the preceding vehicle ahead of the own vehicle 1 (the own vehicle and The inter-vehicle distance with the preceding vehicle, the preceding vehicle speed, the ID number of each three-dimensional object ahead, the ID number of the preceding vehicle, etc.) are read.
[0030]
Next, in S103, various information obtained by the laser radar, that is, data related to the preceding vehicle ahead of the host vehicle 1 (the distance between the host vehicle and the preceding vehicle, the preceding vehicle speed, the ID number of each of the three-dimensional objects ahead, and Read the ID number of the preceding vehicle).
[0031]
Thereafter, the process proceeds to S104, and angle correction is performed based on a difference in the attachment position of the stereo camera 4 and the laser projection unit 5. That is, as shown in FIG. 3, when the same part of the same preceding vehicle is detected by the stereo camera 4 and the laser projection unit 5, if these attachment positions are different, the stereo camera 4 has an angle a. Although detected, the laser projection unit 5 detects at an angle b.
[0032]
Therefore, as shown in FIG. 4, if the laser projection unit 5 is disposed 170 mm to the left of the stereo camera 4 at a position 1900 mm in front of the stereo camera 4, and both are arranged to face the front, The theoretical leading vehicle angle difference that occurs is calculated by the following equation (1). The preceding vehicle distance by the laser projector unit 5 is Lb, the preceding vehicle angle by the laser projector unit 5 is θb, the preceding vehicle angle of the stereo camera 4 calculated from the theoretical formula is θa, and the laser projector unit 5 and the stereo camera 4 X (= 170 mm) as the amount of deviation in the vehicle width direction, and Y (= 1900 mm) as the amount of deviation in the front-rear direction between the laser projection unit 5 and the stereo camera 4.
θa = tan ⁻¹ ((L · sin θ−X) / L · cos θ) (1)
here,
θ = tan ⁻¹ (Lb · sin θ / (Lb · cos θb + Y))
L = (Lb · cos θb + Y) / cos θ
It is.
[0033]
Next, in S105, it is determined whether the horizontal position of the preceding vehicle by the stereo camera 4 and the laser radar is the same.
[0034]
Specifically, as shown in FIG. 5, the left edge angle information of the preceding vehicle detected in the image from the stereo camera 4 is extracted in the SL region, and the right edge angle information is extracted in the SR region. Therefore, it is determined whether or not the angle information in the horizontal direction of the preceding vehicle detected by the laser radar exists during Ls between SL and SR.
[0035]
If the result of the determination in S105 is that there is no angle information in the horizontal direction of the preceding vehicle detected by the laser radar during Ls between SL and SR, that is, the level of the preceding vehicle by the stereo camera 4 and the laser radar. If the direction positions do not match, the process proceeds to S112, where the preceding vehicle by the stereo camera 4 and the preceding vehicle by the laser radar are determined to be inconsistent and the program exits.
[0036]
On the contrary, as a result of the determination in S105, when the angle information in the horizontal direction of the preceding vehicle detected by the laser radar exists between Ls between SL and SR, that is, the preceding information by the stereo camera 4 and the laser radar. If the horizontal positions of the vehicles match, the process proceeds to S106.
[0037]
In S106, the theoretical distance variation of the distance of the stereo camera 4 is calculated and reflected in advance in the value of the inter-vehicle distance between the host vehicle and the preceding vehicle obtained based on the image from the stereo camera 4. For example, a theoretical distance error (distance error in the distance D) ΔD that occurs due to the specifications of the stereo camera 4 is calculated by the following equation (2). The focal length is F, the horizontal and vertical lengths of the CCD are both dx, the camera interval of the stereo camera 4 is L, the number of scanning lines is M, the height of the object is H, and the number of 4 × 4 pixel blocks displayed as a recognition object is N. As
ΔD = (D · D · dx) / ((F · L−D · dx) · N ^1/2 ) (2)
here,
N = ((M / 4) · F · H · 2) / (dx · D)
Thus, the theoretical distance error ΔD obtained using the above-described equation (2) is obtained as shown in FIG.
[0038]
After calculating the theoretical distance variation in S106 and reflecting it in the inter-vehicle distance value between the host vehicle and the preceding vehicle obtained based on the image from the stereo camera 4, the process proceeds to S107 and the distance of the stereo camera 4 is calculated. Variations due to changes in the external environment are calculated and reflected in advance on the value of the distance between the host vehicle and the preceding vehicle obtained based on the image from the stereo camera 4. The variation due to the change in the external environment is, for example, an error caused by a sudden change in luminance or the like, and is a value set in advance through experiments or the like.
[0039]
Thereafter, the process proceeds to S108, in which it is determined whether the distance at which the preceding vehicle exists between the stereo camera 4 and the laser radar matches.
[0040]
As a result of the determination in S108, when the distances of the preceding vehicles by the stereo camera 4 and the laser radar coincide with each other, the process proceeds to S111, and the preceding vehicle is assumed to be the same vehicle by the stereo camera 4 and the laser radar. Finishes detection and exits the program.
[0041]
On the other hand, if the distance of the preceding vehicle between the stereo camera 4 and the laser radar does not match, the process proceeds to S109 to determine whether or not the speed of the preceding vehicle between the stereo camera 4 and the laser radar matches.
[0042]
As a result of the determination in S109, if the speed of the preceding vehicle by the stereo camera 4 and the laser radar matches, the process proceeds to S111, and the preceding vehicle is detected by assuming that the preceding vehicle by the stereo camera 4 and the laser radar is the same vehicle. Finish and exit the program.
[0043]
Conversely, if the speed of the preceding vehicle by the stereo camera 4 and the laser radar does not match, the process proceeds to S110, where the ID number of the preceding vehicle by the stereo camera 4 and the ID number of the preceding vehicle by the laser radar match the previously set ID number. If they match, the process proceeds to S111, and the preceding vehicle detected by the stereo camera 4 and the laser radar is detected as the same vehicle, and the program exits.
[0044]
On the other hand, if the ID number of the preceding vehicle by the stereo camera 4 and the ID number of the preceding vehicle by the laser radar do not match the previously set ID number of the preceding vehicle, the process proceeds to S112, and the preceding vehicle by the stereo camera 4 and the laser radar The preceding vehicle is judged to be inconsistent and exits the program. In this case, the preceding vehicle that matches the ID number of the preceding vehicle set previously is set as the preceding vehicle.
[0045]
Thus, as is clear from the preceding vehicle detection procedure, the preceding vehicle detection device 6 has a function as a preceding vehicle determination means.
[0046]
As described above, according to the present embodiment, the preceding vehicle detected by the stereo camera 4 and the preceding vehicle detected by the laser radar are compared with the horizontal position and distance to identify the same preceding vehicle. It is possible to accurately detect the preceding vehicle.
[0047]
Further, in the present embodiment, when comparing the preceding vehicle recognized by the stereo camera 4 and the preceding vehicle recognized by the laser radar, a variation in distance (distance error and distance) that occurs when the stereo camera 4 recognizes the preceding vehicle. An error that occurs due to a change in the external environment) and a variation in the distance that occurs due to the mounting position relationship between the stereo camera 4 and the laser projection unit 5 are reflected to make a more accurate comparison. Yes.
[0048]
Furthermore, the present embodiment compares the preceding vehicle recognized by the stereo camera 4 with the preceding vehicle recognized by the laser radar, and the horizontal positions where these preceding vehicles exist are substantially equal, and up to these preceding vehicles. When the distances from the own vehicle are not substantially equal, the speeds of these preceding vehicles are compared, and when the preceding vehicle speeds match, it is determined that these preceding vehicles are the same preceding vehicle. For this reason, especially when passing through the side of a stopped vehicle on the shoulder, the preceding vehicle may be misrecognized when the following vehicle and the stopped vehicle are close to each other. By comparing by speed, erroneous recognition is reliably prevented.
[0049]
In addition, according to the present embodiment, the current ID number is compared with the previous ID number to determine whether the preceding vehicle matches, so even if it is difficult to specify the preceding vehicle this time, The preceding vehicle can be accurately identified using the information of the ID number up to the previous time.
[0050]
In the present embodiment, an example in which a laser radar is used as the radar information has been described. However, the same can be realized in the case of using a millimeter wave radar. In this case, the millimeter wave radar has a problem of erroneous detection of the preceding vehicle due to overpass, but by using the preceding vehicle recognized by the stereo camera 4 as a reference, the millimeter wave radar recognizes the wrong preceding vehicle. It becomes possible to detect this.
[0051]
Further, in the present embodiment, after performing horizontal position comparison, distance comparison, and speed comparison, when the selected preceding vehicle information is used in the ACC system 2 in a scene where there are still a plurality of objects that match the conditions, Since any object information does not affect the ACC control, any object may be selected as the preceding vehicle.
[0052]
Furthermore, when the ID number of the preceding vehicle is included as output information, the stereo camera 4 temporarily loses the preceding vehicle (about 1 to 2 seconds) due to a sudden change in brightness of the outside environment. Then, the ID information of the preceding vehicle information determined from the stereo camera 4 and the laser radar so far is stored, and when the information from the stereo camera 4 cannot be obtained, the information of the laser radar is stored. A preceding vehicle having the same ID number as the ID number that has been allowed to be selected may be temporarily interpolated (about 1 to 2 seconds).
[0053]
【The invention's effect】
As described above, according to the present invention, it is possible to accurately detect a target preceding vehicle using image information from a stereo camera and radar information such as laser and millimeter wave.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an inter-vehicle distance automatic maintenance operation system having a preceding vehicle detection device. FIG. 2 is a flowchart showing a preceding vehicle detection procedure. FIG. 3 is a diagram showing a difference between stereo camera and laser radar mounting positions and obstacle detection. FIG. 4 is a detailed explanatory diagram of the mounting position of the stereo camera and the laser radar. FIG. 5 is an explanatory diagram of the area detected by the stereo camera and the area detected by the laser radar with respect to the preceding vehicle. ] Explanation of distance measured by stereo camera and theoretical error 【Explanation of symbols】
DESCRIPTION OF SYMBOLS 1 Own vehicle 2 ACC system 3 Travel control unit 4 Stereo camera (image preceding vehicle recognition means)
5 Laser projection unit (radar preceding vehicle recognition means)
6 Leading vehicle detection device (image leading vehicle recognition means, radar preceding vehicle recognition means, leading vehicle determination means)

Claims

Image preceding vehicle recognition means for detecting distance data between a three-dimensional object existing ahead and the host vehicle based on image information ahead of the vehicle and recognizing the preceding vehicle;
Radar preceding vehicle recognition means for detecting distance data between a three-dimensional object existing ahead and the host vehicle based on radar information ahead of the vehicle and recognizing the preceding vehicle;
Comparing the preceding vehicle recognized by the image preceding vehicle recognizing means with the preceding vehicle recognized by the radar preceding vehicle recognizing means, the horizontal position where these preceding vehicles exist is substantially equal, and When the distance from the host vehicle is substantially equal, the preceding vehicle comprises a preceding vehicle determining means for determining that these preceding vehicles are the same preceding vehicle,
The preceding vehicle judging means compares the preceding vehicle recognized by the image preceding vehicle recognizing means with the preceding vehicle recognized by the radar preceding vehicle recognizing means, and the horizontal position where these preceding vehicles exist is substantially equal, and When the distance from the host vehicle to the preceding vehicle is not substantially equal and the speeds of the preceding vehicles coincide with each other, it is determined that the preceding vehicles are the same preceding vehicle. .

Image preceding vehicle recognition means for detecting distance data between a three-dimensional object existing ahead and the host vehicle based on image information ahead of the vehicle and recognizing the preceding vehicle;
Radar preceding vehicle recognition means for detecting distance data between a three-dimensional object existing ahead and the host vehicle based on radar information ahead of the vehicle and recognizing the preceding vehicle ;
By comparing the preceding vehicle recognized by the preceding vehicle and the radar preceding vehicle recognizing means recognizes above Symbol image preceding vehicle recognizing means, horizontal position in which these preceding vehicle is present substantially equal, and, until these preceding vehicle When the distance from the host vehicle is substantially equal, the preceding vehicle comprises a preceding vehicle determining means for determining that these preceding vehicles are the same preceding vehicle,
The image preceding vehicle recognizing means and the radar preceding vehicle recognizing means each set a different identification number for each detected three-dimensional object according to a predetermined rule.
The preceding vehicle judging means compares the preceding vehicle recognized by the image preceding vehicle recognizing means with the preceding vehicle recognized by the radar preceding vehicle recognizing means, and the horizontal position where these preceding vehicles exist is substantially equal, and , these prior without substantially equal distance from the vehicle until the vehicle, if the identification number of the preceding vehicle are matched respectively the identification number of the vehicle in front is determined that the same preceding vehicle to the preceding, these prior vehicles A preceding vehicle detection device, characterized in that it is determined that they are the same preceding vehicle.