JP4052291B2

JP4052291B2 - 車両用画像処理装置

Info

Publication number: JP4052291B2
Application number: JP2004229598A
Authority: JP
Inventors: 琢高浜; 健木村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-08-05
Filing date: 2004-08-05
Publication date: 2008-02-27
Anticipated expiration: 2024-08-05
Also published as: JP2006048435A

Description

本発明は、単眼カメラで撮像した画像を処理して先行車を検出する車両用画像処理装置に関する。

レーザーレーダーでは近距離における測距性能が不安定なため、近距離の先行車を検知するのに単眼カメラによる画像処理を併用することによって、頑強な先行車追跡を可能にした外界認識システムが知られている（例えば、特許文献１参照）。

また、本出願人は、車両前方の先行車をトラッキングする際に、先行車両の左右端（画像上の車両領域とそれ以外の背景などの領域との境界）に相当する２本のエッジ（エッジペア）を検出し、エッジペアを検出できた場合に限り、そのエッジペアの間の領域（物体領域）における画像情報を予め記憶し、将来のエッジペア不検出時に備える一方、エッジペアが検出できない場合には、最後に記憶した画像情報を用いてパターンマッチングなどの手法により先行車を検出するようにした車両用画像処理装置を提案している（例えば、特許文献２参照）。
この装置では、先行車両の左右端に相当する一次元（線、ライン）の領域を検出する第１の手法と、予め記憶した二次元（面、エリア）の画像情報を用いて先行車領域を追跡する第２の手法とを効率的に、効果的に組み合わせることによって、次のような効果を得ている。第１の手法では、一次元の画像領域に注目するので先行車領域と背景領域とがキッチリ区別でき、高精度な検出ができる。また、第２の手法では、二次元の画像領域に注目するので一次元の領域と比べて先行車両を大局的に追跡でき、頑強な検出が可能になる。したがって、先行車検知において、検知位置の高精度化と追跡の頑強化とが可能になり、画像処理がシンプルなため処理周期が短く、高い応答性が得られる。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００２−１１７３９２号公報、特願２００３−１８９６１６号

しかしながら、後者の車両用画像処理装置では、先行車両の左右端を検出することを基本にしているため、先行車と接近するような場面、特に、至近距離に存在する先行車両を自車が操舵回避により追い越すシーンでは、次のような問題がある。まず、至近距離では先行車両の左右端の片方、あるいは両方がカメラの撮影画面からはみ出るため、エッジペアの検出ができず、検知位置の精度が悪化する。次に、至近距離ではエッジペアの検出ができないので、予め記憶する画像情報を更新できず、追跡の頑強性が悪化する。

位置検出手段により検出した前方車両の位置に基づいて撮像手段の撮像画像上に画像処理領域を設定し、撮像画像の内の画像処理領域の画像を処理して前方車両を検出し、検出した前方車両の位置を算出する車両用画像処理装置において、前方車両の左右端に対応する一対の縦エッジを検出して前方車両を検出する第１の手法と、予め記憶した前方車両の基準パターンを用いてパターンマッチングにより前方車両を検出する第２の手法とを有し、位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ、第２の手法で前方車両を検出した場合には、第１の手法で検出した片方の縦エッジの位置と第２の手法で検出した前方車両の位置とに基づいて他方の縦エッジの自車左右方向の位置を求め、前方車両の左右端に対応する一対の縦エッジの間隔と位置検出手段により検出した前方車両の位置とに基づいて前方車両の自車前後方向の位置を算出する。

本発明によれば、前方車両の位置検出精度と追跡の頑強性（信頼性）を向上させることができる。

《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す。スキャンニング式レーザーレーダー１は車両前方にレーザー光を照射して物体からの反射光を受光し、前方車両を含む物体までの距離と方位、すなわち自車に対する前方物体の位置を検出する。レーダー処理装置２はレーザーレーダー１による検出結果に基づいて車両前方の車両を抽出し、自車両を原点とする車両前後方向と左右方向の二次元座標上における車両の位置と車両の大きさ（幅）とを算出する。プログレッシブスキャン式３ＣＣＤ単眼カメラ３は車両前方を高速に撮像する。画像処理装置４はカメラ３による撮像画像の内、レーダー処理装置２により算出した車両周辺を注目領域として画像処理を行い、自車のピッチング変動などによりレーダー検知車両をロストした場合にも、カメラ画像により車両を検知し続ける。

外界認識装置５は、レーダー処理装置２と画像処理装置４の車両検出結果と、車速検出装置６により検出された車速、操舵角検出装置７により検出された操舵角などに基づいて自車前方の車両を検出し、自車にとって障害物か否かを判断し、必要に応じて自動ブレーキ制御装置８を制御して負圧ブレーキブースター９を駆動し、車両の制動力を発生させる。

図２は第１の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第１の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では３３ｍsec）ごとにこの車両検出処理を実行する。

ステップ２０１においてスキャンニング式レーザーレーダー１により検知した自車に対する各車両の位置をＲ(Ｐx_z0［i］，Ｐy_z0［i］)として読み込む。ここで、添え字のｘは左右方向の車両位置であり、ｙは前後方向の車両位置である。また、ｉは各検知車両のＩＤ番号で０以上の整数であり、ｚ０は今回の値を、ｚ１は１サンプリング過去の値を、ｚｎはｎサンプリング過去の値を示す。ステップ２０２ではカメラ３から今回のサンプリングにおける撮像画像を取り込む。

ステップ２０３ではレーザーレーダー１により検知した各車両（各ＩＤ番号）の中から最も注目する車両を１台選択する（上記特許文献２の段落００１８〜００２５および図５参照）。すなわち、各車両について自車との接触可能性Ｒprob［ｉ］を算出し、すべてのＲprob［ｉ］の中で所定値以上高い車両の中から最も高い車両を一つだけ選択し、その車両のＩＤ番号をslctとする。すべての車両のＲprob［ｉ］が所定値以上とならない、つまり障害物が存在しない場合には、slct＝−１とする。なお、スキャンニング式レーザーレーダー１で検知した物体の大きさから、所定の大きさよりも小さい物体で、かつ停止物体であることが分かった場合には、その物体を最も注目する車両として選択しない。これにより、画像処理する前からレーダー側で背景を選別するため、背景などを画像で誤追跡することをより確実に防止できる。

ステップ２０４では画像処理による車両追跡を行っているか否かを示すフラグ（以下、画像追跡フラグという）ＩＰ_Ｔrackingより調べる。このフラグＩＰ_Ｔrackingは、画像処理によるトラッキングを行っている場合は“１”となり、そうでない場合には“０”となる。ここで、ＩＰ_Ｔracking＝０の場合はステップ２０５へ、そうでない場合はステップ２１１へ進む。ステップ２０５ではレーザーレーダー１により注目する車両は存在したか否かを確認し、slct＜０で注目に値する車両が存在しない場合はステップ２２４へ、slct＞０で注目に値する車両が存在する場合にはステップ２０６へ進む。

ステップ２０６において最も注目する車両の自車に対する位置Ｒ(Ｐx_z0［slct］、Ｐy_z0［slct］)に基づき画像処理領域を設定する。
disp_obj_ＹＡ＝y0＋（focusＶ・ＣＡＭ_h2／Ｐy_z0［slct］），
disp_obj_ＹＢ＝y0＋（focusＶ・ＣＡＭ_h／Ｐy_z0［slct］），
disp_obj_ＸＬ＝X0＋（focusＨ／Ｐy_z0［slct］・Ｐx_z0［slct］）
−（focusＨ・wide／Ｐy_z0［slct］），
disp_obj_ＸＲ＝x0＋（focusＨ／Ｐy_z0［slct］・Ｐx_z0［slct］）
＋（focusＨ・wide／Ｐy_z0［slct］）・・・（１）
ここで、disp_obj_＊＊とは、画像処理を行う矩形領域の端の座標値であって、disp_obj_ＹＡは矩形領域の上端、disp_obj_ＹＢは矩形領域の下端、disp_obj_ＸＬは矩形領域の左端、disp_obj_ＸＲは矩形領域の右端を表す。また、ｙ０，ｘ０はカメラ３の取り付け位置と向きで決まるパラメーターであり、ｙ０は消失点の縦座標［pix］を、ｘ０は消失点の横座標［pix］をそれぞれ表す。focusＶ、focusＨはカメラ３の画角と受光素子（不図示）の解像度で決まるパラメーターであり、focusＶは画素換算したカメラ３の鉛直方向の焦点距離［pix］、focusＨは画素換算したカメラ３の水平方向の焦点距離［pix］である。なお、受光面が正方格子である場合にはfocusＶ＝focusＨである。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）で、ＣＡＭ_h2はＣＡＭ_hから障害物候補として考慮すべき車両の高さobj_Ｈ（単位はメートル）を減算した値である。wideは次式により求めることができる。
wide＝focusＨ／Ｐy_z0・｛（Ｒw［slct］＋Ｒx_vari＋Ｒw_vari／２）・・・（２）
ここで、Ｒw［ｉ］はレーザーレーダー１で検知した車両群におけるＩＤ番号ｉの車両の幅であって、Ｒx_variはレーザーレーダー１の左右方向位置に関する検知精度（標準偏差［ｍ］であり、Ｒw_rariはレーザーレーダー１の幅に関する検知精度（標準偏差［ｍ］）である。

なお、この一実施の形態ではスキャンニング式レーザーレーダー１を用いたので検知物の幅を検出できるが、悪天候に強いミリ波レーダーや非常に安価なマルチビーム式のレーザーレーダーを用いた場合には検知物の幅を検出することができない。この場合には、レーザーレーダーの横方向位置の検知精度（標準偏差［ｍ］）と障害物として考慮すべき車両の最大幅との和で決まる幅［ｍ］の半分の値を画素換算した値［pix］を（２）式の代わりに用いればよい。

ステップ２０７では、（１）式で設定した画像処理領域において、隣接する画素間での濃淡変化を求める演算方法であって、画像上における道路と車両の境界のように濃淡変化が大きい部分だけを集めることができるＳobelフィルター演算などによりエッジ画像を求める。ステップ２０８ではエッジ画像から縦エッジのペアとその間の横エッジ、すなわち“Ｈ”型のエッジを探す。Ｈ型のエッジが存在する場合にはステップ２０９へ進み、存在しない場合にはステップ２１０へ進む。Ｈ型エッジが存在する場合は、ステップ２０９で縦エッジペア、すなわちＨ型エッジにおける左側の縦エッジと右側の縦エッジの間隔と、レーダー１による検知車両までの距離とに基づいて、次式により画像で検知する車両の幅Ｉw（単位はメートル）を算出する。その後、ステップ２１７へ進む。
Ｉw＝ＥdgeＷidth・Ｐy_z0［slct］／focusＨ・・・（３）
ここで、ＥdgeＷidthはＨ型エッジにおける縦エッジペアの画素間隔である。これにより、縦エッジペアとレーダー位置との対応付けが実施されるため、単眼カメラ３で距離を検出できるようになる。

ステップ２１０では画像追跡フラグＩＰ_Ｔracking＝０のままにしてステップ２２４へ進む。ステップ２１１では画像処理による車両追跡をエッジ検出により行っているのか、またはパターンマッチングにより行っているのかを示すフラグ（以下、画像処理フラグという）ＩＰ_Ｓtateを調べる。現在の画像追跡処理がエッジ検出処理により実施している場合（ＩＰ_Ｓtate＝１）ではステップ２１２へ進み、パターンマッチングにより実施している場合（ＩＰ_Ｓtate＝０）ではステップ２１３へ進む。ステップ２１２では前回のサンプリングにおける画像処理はエッジ検出により高精度に行われたため、今回のサンプリングにおける画像処理を行う領域は、次式により狭めに設定する。
disp_obj_ＹＡ＝y0＋（focusＶ・ＣＡＭ_h2／iＰy_z1），
disp_obj_ＹＢ＝y0＋（focusＶ・ＣＡＭ_h／iＰy_z1），
disp_obj_ＸＬ＝x0＋（focusＨ／iＰy_z1・iＰx_z1）−wide2，
disp_obj_ＸＲ＝x0＋（focusＨ／iＰy_z1・iＰx_z1）＋wide2 ・・・（４）
ここで、iＰy_z1、iＰx_z1は前回のサンプリングにおいて画像処理により検知した車両の前後方向位置［ｍ］と左右方向位置［ｍ］を表しており、wide2は次式により求まる画像処理領域における幅の半分［pix］である。
wide2＝ＥdgeＷidth_z1／２＋w_narrow ・・・（５）
また、ＥdgeＷidth_z1は前回のサンプリングにおいて画像処理により検知した車両幅の画素値（縦エッジペアの間隔）であって、w_narrowは１サンプリング間に変化する車両位置の最大値である。

ステップ２１３では前回のサンプリングにおける画像処理がパターンマッチングにより行われたため、今回のサンプリングにおける画像処理を行う領域は次式により広めに設定する。
disp_obj_ＹＡ＝y0＋（focusＶ・ＣＡＭ_h2／iＰy_z1），
disp_obj_ＹＢ＝y0＋（focusＶ・ＣＡＭ_h／iＰy_z1），
disp_obj_ＸＬ＝x0＋（focusＨ／iＰy_z1・iＰx_z1）−wide3，
disp_obj_ＸＲ＝x0＋（focusＨ／iＰy_z1・iＰx_z1）＋wide3 ・・・（６）
ここで、wide3は次式により求まる画像処理領域における幅の半分［pix］である。
wide3＝ＥdgeＷidth_z1／２＋w_narrow＋ｗ_ＰＭ_err ・・・（７）
なお、w_ＰＭ_errとは、パターンマッチングによる車両検知精度を考慮した位置誤差の想定値を画素換算した値である。

ステップ２１４では、ステップ２１２またはステップ２１３で設定した画像処理領域について、Ｓobelフィルター演算などによりエッジ画像を算出する。ステップ２１５ではエッジ画像から縦エッジペアの候補を集める。ここで、縦エッジのペアが存在した場合にはステップ２１６へ進み、縦エッジペアが存在しない場合にはステップ２１９へ進む。縦エッジペアが複数存在する場合には、ステップ２１６で画像上の最も下に位置する縦エッジペアを１組選択する。なお、縦エッジペアが１組だけしか存在しなかった場合はその１組を用いる。そして、次式により自車に対する検知車両の位置を算出する。
iＰy_z0＝（focusＶ・Ｉw）／ＥdgeＷidth，
iＰx_z0＝（（（ＳideＥdge_Ｒ＋ＳideＥdge_Ｌ）／２）−x0）・iＰy_z0／focusＨ，
iＰw_z0＝（ＥdgeＷidth／２）・iＰy_z0／focusＨ・・・（８）
ここで、ＳideＥdge_Ｒは縦エッジペアにおける右側の縦エッジの横方向位置であり、ＳideＥdge_Ｌは縦エッジペアにおける左側の縦エッジの横方向位置である。
ＥdgeＷidth＝ＳideＥdge_Ｒ−ＳideＥdge_Ｌ・・・（９）
の関係がある。

ステップ２１７では縦エッジペアの位置を中心とした画像上の所定面積の領域を基準パターンとして記憶する。具体的には、前車と接近状態である場合には、ステップ２１６で求めた縦エッジペアの座標と画像処理領域の高さ座標から車両の中心座標を求め、予め設定した最大面積値ＭaxＡreaと画像処理領域の高さ（disp_obj_ＹＢ−disp_obj_ＹＡ）に基づき算出する領域を車両の中央を含む部分的な領域に制限し、制限した領域の撮像画像を新しい基準パターンとして記憶する。一方、前車と接近状態でない場合には、領域制限することなしにステップ２１６で求めた縦エッジペアの座標と画像処理領域の高さ座標、すなわち車両の四隅（上下左右）の座標からなる領域を基準パターンとして記憶する。ここで、前車と接近状態の判断は、単に車間距離で判断するのではなく、ステップ２１６で求めた縦エッジペアの間隔ＥdgeＷidth（＝ＳideＥdge_Ｒ−ＳideＥdge_Ｌ）と、（１）式、（４）式および（６）式で設定した画像処理領域の高さ（disp_obj_ＹＢ−disp_obj_ＹＡ）との乗算から接近の度合いを判断する。このようにすると、単に車間距離で判断する場合に比べて、基準パターンの面積を一定にできるため、パターンマッチング処理速度の最大時間を一定にすることができる。また、幅の小さい車両に対しては、基準パターンの領域制限がなされる距離範囲がより自車と接近する領域に縮まるため、パターンマッチングでの追従が頑強になる。

ステップ２１８では画像追跡フラグＩＰ_Ｔrackingを“１”（追跡中）、画像処理フラグＩＰ_Ｓtateを“１”（エッジ検出）にセットしてステップ２２４へ進む。

一方、ステップ２１５で縦エッジペアが存在しないと判定された場合は、ステップ２１９で、最後に記憶した基準パターンを用いてステップ２１３の画像処理領域と同じかそれ以上の大きさの領域に対してパターンマッチングを行う。このときの大きさは、自車のヨーレートセンサーにより検出したヨーレートまたは自車の前後Ｇセンサーにより検出した加減速度が大きくなるにつれて画像処理領域を広げてもよい。ステップ２２０ではパターンマッチングが成功したか否かを確認し、成功した場合はステップ２２１へ進み、失敗した場合には２２３へ進む。ここで、パターンマッチングの成功とは、画像処理領域内の画像と基準テンプレートとの相関値が所定値以上高い場合に成功とする。

ステップ２２１では、ステップ２２０のパターンマッチングで相関値が最大となる領域の中心座標、縦ＴmplＭat_Ｒow、横ＴmplＭat_Ｃolumnを求めて、次式により自車に対する検知車両の位置を算出する。
iＰy_z0＝（focusＶ・ＣＡＭ_h）／（ＴmplＭat_Ｒow−y0），
iＰx_z0＝（ＴmplＭat_Ｃolumn−x0）・iＰy_z0／focusＨ・・・（１０）

ステップ２２２では画像追跡フラグＩＰ_Ｔrackingを“１”（追跡中）、画像処理フラグＩＰ_Ｓtateを“０”（パターンマッチング）にセットする。そして、次のような条件、すなわち前車との距離が至近距離である条件を満足しない場合は基準パターンを変更せずにステップ２２４へ進み、満足する場合には基準パターンを更新してステップ２２４へ進む。前車との車間距離が所定値より離れている場合、あるいは縦エッジの片側１本も求められない場合には、基準パターンを変更せずにステップ２２４へ進む。
一方、前車との車間距離が所定値以下で前車が至近距離にあり、左右どちらかの縦エッジが検出された場合には、検出した片側エッジが車両の左側か右側かを判断し、その座標を読み込む。検出できない方の片側エッジは、検出した片側エッジの座標と、前回のサンプリングで検出した車両の位置［ｍ］と幅［ｍ］とに基づいて推定する。検出した車両の左右のエッジの座標と、画像処理領域の高さ座標からなる車両領域の画像を基準パターンとして記憶する。このようにして片側エッジでも基準パターンの更新を許可する。ここで、検出した車両の左右エッジの座標から、画像上の車両の面積が所定値以上の場合にはステップ２１７と同様な処理を行う。

ステップ２２３では画像追跡フラグＩＰ_Ｔrackingを“０”（非追跡中）にしてステップ２２４へ進む。ステップ２２４では検知車両の位置などに関する過去値を更新して処理を終了する。

第１の実施の形態によれば、エッジ検出とパターンマッチングとの組み合わせを工夫することによって、画像処理により車両を高精度で頑強に追跡することが可能となり、高度な外界認識系を実現することができる。また、前方車両が撮像画面の一部からはみ出て、車両の左右エッジを検出できない場合でも、撮像画像の広い部分をパターンマッチングに用いる基準パターンとして更新せずに、撮像画像の中の車両の中央を含む狭い部分を基準パターンとして記憶する。車両の中央、すなわちナンバープレートを含むので、左右方向の追跡精度が高くなる。基準パターンの更新は、背景などを誤って基準パターンに含まないようにするために、車両左右端に相当する片側エッジを検出でき、かつパターンマッチングによる追跡が成功した場合にのみ、車両の左右端座標に基づき基準パターンの更新を行う。このため、至近距離で車両の左右端全体を検出できない場合でも、パターンマッチングで車両を追跡できるようになる。

なお、第１の実施の形態では画像検知車両の左右方向位置iＰx_z0の算出に（８）式、（１０）式のiＰy_z0を用いて算出したが、レーダー１とカメラ画像が同一車両を捕捉中であると判断できる場合には、このiＰy_z0の代わりにＰy_zo［slct］を用いて算出してもよい。この場合、前後位置精度が特に遠距離で悪化する画像からの算出値iＰy_z0を用いず、遠距離でも精度が悪化しにくいレーダー１の前後方向位置を使うため、画像での左右方向位置精度がかなり向上する。また、この一実施の形態ではレーダー１を使うことを前提にしたが、ステレオカメラによる三角測量法により画像から車両位置が直接得られる場合には、レーダーを使わなくてもよい。この場合、ステレオ画像処理としては、車両を発見してステレオ画像による車両までの距離を求める処理を追加する必要があるが、それ以外はこの第１の実施の形態の内容をそのまま適用することができる。

《発明の第２の実施の形態》
上述した第１の実施の形態では至近距離ではパターンマッチングにより車両追跡を行う例を示したが、至近距離でもエッジ検出による車両検知を行う第２の実施の形態を説明する。なお、この第２の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、図示と説明を省略する。

図３は第２の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第２の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では３３ｍsec）ごとにこの車両検出処理を実行する。ステップ３０１〜３２０における処理は図２に示すステップ２０１〜２２０の処理と同様であり、説明を省略する。

続くステップ３２１では次のように前車の位置を算出する。検知した片側エッジの座標と、パターンマッチングによる最大相関座標における左右方向（自車の車幅方向）座標に基づいて検知できなかった方の縦エッジ座標を求める。次に、左右縦エッジペアの間隔と、初回抽出（ステップ３０９）で求めた前車の幅Ｉw［ｍ］とに基づいて前車の前後方向（車間距離方向）の位置を求める。そして、前回の縦エッジの位置と今回の縦エッジの位置とを比較して所定値よりも変化が小さい場合には、今回の縦エッジペアの中心左右方向座標と車間距離とに基づいて前車の左右方向の位置を算出する。一方、前回の縦エッジの位置と今回の縦エッジの位置とを比較して所定値よりも変化が大きい場合には、パターンマッチングにより最大相関が得られた左右方向座標と車間距離とに基づいて前車の左右方向の位置を算出する。

なお、片側エッジも検出できない場合には、第１の実施の形態のステップ２２１の処理と同様に、相関が最大となる画像上の座標から前車位置を求める。また、レーダー検知位置、レーダーがロストした場合には前回の画像検知位置が至近距離と定義する位置よりも近距離でない場合には、第１の実施の形態のステップ２２１の処理と同様に、相関が最大となる画像上の座標から前車位置を求める。

ステップ３２２〜３２４の処理は図２に示すステップ２２２〜２２４の処理と同様であり、説明を省略する。

この第２の実施の形態によれば、第１の実施の形態の上記効果に加え、前車の前後方向位置は至近距離測距精度の低いレーダーに頼らず、また左右方向位置は状況に応じた最適な位置を算出できる。

《発明の第３の実施の形態》
上述した第２の実施の形態では至近距離精度の低いレーザーレーダーを用いて至近距離でもエッジ検出に基づく車両検知を行う例を示したが、さらに頑強な車両検知を行う第３の実施の形態を説明する。なお、この第３の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、図示と説明を省略する。

図４は第３の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第３の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では３３ｍsec）ごとにこの車両検出処理を実行する。ステップ４０１〜４２０における処理は図３に示すステップ３０１〜３２０の処理と同様であり、説明を省略する。

ステップ４２１では次のように前車の位置を算出する。検知した片側エッジの座標と、パターンマッチングにより最大相関が得られた左右方向座標に基づいて検知できなかった方の縦エッジ座標を求める。次に、左右縦エッジペアの間隔と、初回抽出（ステップ４０９）で求めた前車の幅Ｉw［ｍ］に基づいて車両の車間距離方向の位置を求める。そして、前回の縦エッジの位置と今回の縦エッジの位置とを比較して所定値よりも変化が小さい場合には、今回の縦エッジペアの中心左右方向座標と車間距離とに基づいて前車の左右方向の位置を算出する。一方、前回の縦エッジの位置と今回の縦エッジの位置とを比較して所定値よりも変化が大きい場合には、パターンマッチングにより最大相関が得られた左右方向座標と車間距離とに基づいて前車の左右方向の位置を算出する。

なお、片側エッジも検出できない場合には、第１の実施の形態のステップ２２１の処理と同様に、相関が最大となる画像上の座標から前車との車間距離iＰy_z0を求める。今回の車間距離iＰy_z0と前回の車間距離iＰy_z１とを比較し、所定値以上離れている場合は自車のピッチングが生じたと判断できるため、前車との車間距離iＰy_z0をその前回値iＰy_z1とレーダー１からの相対速度とに基づいて算出し直す。そして、算出した車間距離iＰy_z0を用いて前車の左右方向の位置を求める。一方、車間距離の今回値iＰy_z0と前回値iＰy_z1との差が所定値未満の場合は、今回値iＰy_z0を用いて前車との左右方向位置を求める。

また、レーダー１による検知位置、レーダー１がロストした場合には前回の画像による前車検知位置が至近距離と定義する位置よりも近距離でない場合には、第１の実施の形態のステップ２２１の処理と同様に、相関が最大となる画像上の座標から前車との車間距離iＰy_z0を求める。今回の車間距離iＰy_z0と前回の車間距離iＰy_z１とを比較し、所定値以上離れている場合は自車のピッチングが生じたと判断できるため、前車との車間距離iＰy_z0をその前回値iＰy_z1とレーダー１からの相対速度とに基づいて算出し直す。一方、車間距離の今回値iＰy_z0と前回値iＰy_z1との差が所定値未満の場合は今回値iＰy_z0を用いて前車との左右方向位置を求める。

ステップ４２２の処理は図３に示すステップ３２２の処理と同様であり、説明を省略する。ステップ４２３ではパターンマッチングで車両を検出できなくても次の条件を満たす場合には車両位置の算出と基準パターンの更新を行う。
ここで扱う車間距離は、前回の画像による前車検知位置を相対速度で補間した位置とする。縦エッジを片側１本も検出できない、あるいは前車との車間距離が所定値以上の場合には、画像追跡フラグＩＰ_Ｔrackingを“０”（非追跡中）、画像追跡処理フラグＩＰ_Ｓtateを“０”（パターンマッチング）とし、ステップ４２４へ進む。一方、縦エッジを片側１本検出できる場合には、検出した片側エッジの水平方向座標と、前回検出した前方車両の幅と（ステップ４０９）、車間距離とに基づいて検出できなかった方の縦エッジの左右方向座標を算出し、左右端エッジの左右方向座標と車間距離を用いて前方車両の左右方向の位置を算出する。そして、ステップ２１７と同様に基準パターン領域を更新した後、画像追跡フラグＩＰ_Ｔrackingを“１”（追跡中）、画像処理フラグＩＰ_Ｓtate＝０にセットしてステップ４２４へ進む。

ステップ４２４では車両との相対速度を算出する。ステップ４２５の処理は、図３のステップ３２４の処理と同様であり、説明を省略する。

《発明の第４の実施の形態》
上述した第２の実施の形態では至近距離精度の低いレーザーレーダーを用いて至近距離でもエッジ検出に基づく車両検知を行う例を示したが、近距離測距精度の高いレーダー、例えば２４ＧＨz電波レーダーや超音波レーダーなどを用いた第４の実施の形態を説明する。なお、この第４の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、図示と説明を省略する。

図５は第４の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第４の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では３３ｍsec）ごとにこの車両検出処理を実行する。ステップ５０１〜５２０における処理は図４に示すステップ４０１〜４２０の処理と同様であり、説明を省略する。

ステップ５２１では次のように車両の位置を算出する。検知した片側エッジの座標と、パターンマッチングによる最大相関座標における左右方向座標に基づいて、検知できなかった方の縦エッジ座標を求める。次に、左右縦エッジペアの間隔と、初回抽出（ステップ５０９）で求めた前車の幅Ｉw［ｍ］に基づいて車両の車間距離方向の位置を求める。そして、前回の縦エッジの位置と今回の縦エッジの位置とを比較して所定値よりも変化が小さい場合には、今回の縦エッジペアの中心左右方向座標と車間距離とに基づいて前車の左右方向の位置を算出する。一方、前回の縦エッジの位置と今回の縦エッジの位置とを比較して所定値よりも変化が大きい場合には、パターンマッチングによる最大相関座標における左右方向座標と車間距離とに基づいて前車の左右方向の位置を算出する。

なお、片側エッジも検出できない場合には、今回読み込んだレーダー検知結果からレーダー１がロストしているか否かを確認し、ロストしていない場合には画像における車間距離にレーダー検知結果の車間距離を設定し、パターンマッチングで最大相関が得られた左右方向座標とレーダーの車間距離とに基づいて前車の左右方向の位置を算出し、ステップ５２２へ進む。一方、レーダー１がロストしている場合は画像での車間距離をパターンマッチングで最大相関が得られた鉛直座標に基づいて算出し、この車間距離と前回の車間距離との差が所定値以上離れている場合は、画像における車間距離を前回の車間距離と前回の相対速度とに基づいて算出し直す。そして、これまでに算出した車間距離と、パターンマッチングで最大相関が得られた水平方向座標に基づいて前車の左右方向位置を算出し、ステップ５２２へ進む。

また、レーダー検知位置、レーダーがロストした場合には前回の画像検知位置が至近距離と定義する位置よりも近距離でない場合には、今回読み込んだレーダー検知結果からレーダー１がロストしているか否かを確認し、ロストしていない場合には画像における車間距離にレーダー検知結果の車間距離を設定し、画像での横位置をパターンマッチングで最大相関が得られた左右方向座標とレーダーの車間距離とに基づいて算出し、ステップ５２２へ進む。一方、レーダー１がロストしている場合は画像での車間距離をパターンマッチングで最大相関が得られた鉛直座標に基づいて算出し、この車間距離と前回の車間距離との差が所定値以上離れている場合は、画像における車間距離を前回の車間距離と前回の相対速度とに基づいて算出し直す。そして、これまでに算出した車間距離と、パターンマッチングで最大相関が得られた水平方向座標に基づいて画像での横位置を算出し、ステップ４２２へ進む。

ステップ５２２の処理は図４のステップ４２２の処理と同様であり、説明を省略する。ステップ５２３では、パターンマッチングで車両を検出できなくても下記の条件を満たす場合には、車両位置の算出と基準パターンの更新を行う。ここで扱う画像での車間距離とは、今回読み込んだレーダー検知位置情報における車間距離とする。縦エッジを片側１本も検出できない、あるいは前車との車間距離が所定値以上離れている場合には、画像追跡フラグＩＰ_Ｔrackingを“０”（非追跡中）とし、画像処理フラグＩＰ_Ｓtateを“０”（パターンマッチング）としてステップ５２４へ進む。一方、縦エッジを片側１本検出できた場合は、検出した片側エッジ座標と前回の車両の幅と車間距離に基づいて、検出できなかった方の縦エッジの左右方向座標を算出し、左右端エッジの左右方向座標と車間距離を用いて左右方向の位置を算出する。そして、図２のステップ２１７と同様に基準パターン領域を更新し、画像追跡フラグＩＰ_Ｔrackingを“１”（追跡中）とし、画像処理フラグＩＰ_Ｓtateを“０”（パターンマッチング）としてステップ５２４へ進む。

ステップ５２４では車両との相対速度を算出する。今回算出された画像での車間距離と、前回算出した画像での車間距離を相対速度で補間した距離とを比較し、所定値以上離れていない場合は車間距離の今回値、前回値および前々回値と相対速度の前回値および前々回値とを用いて画像での相対速度を算出し、ステップ５２５へ進む。一方、車間距離差が所定値以上離れている場合は相対速度を算出せず、そのままステップ５２５へ進むか、または相対速度の今回値から前々回値までをゼロクリアする。ステップ５２５の処理は図４のステップ４２４の処理と同様であり、説明を省略する。

このように一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置に基づいてカメラ３および画像処理装置４の撮像画像上に画像処理領域を設定し、撮像画像の内の画像処理領域の画像を処理して前方車両を検出し、検出した前方車両の位置を算出する車両用画像処理装置において、前方車両の左右端に対応する一対の縦エッジを検出して前方車両を検出する第１の手法と、予め記憶した前方車両の基準パターンを用いてパターンマッチングにより前方車両を検出する第２の手法とを有し、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあるときは、第１の手法と第２の手法とにより前方車両の位置を算出するようにしたので、前方車両の位置検出精度と追跡の頑強性（信頼性）を向上させることができる。

また、一実施の形態によれば、上記第１の手法により前方車両の左右端に対応する一対の縦エッジエッジが検出された場合にのみ、その一対の縦エッジの位置を中心としたカメラ３および画像処理装置４による撮像画像の所定面積の領域を基準パターンとして記憶するようにしたので、上記第２の手法で前方車両を誤って検出する頻度を少なくすることができる。

また、一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあるときは、前方車両の中央部分を含む所定面積よりも狭い領域の画像を基準パターンとして記憶するようにしたので、自車が前方車両に接近して前方車両がカメラ３の撮像画面からはみ出た場合でも、上記第２の手法により前方車両を頑強に追跡できる。また、撮像画像上の前方車両の面積が大きくなった場合でも、画像処理負荷を軽減できる。

一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、上記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ、上記第２の手法で前方車両を検出した場合には、上記第１の手法で検出した片方の縦エッジの位置と上記第２の手法で検出した前方車両の位置とに基づいて他方の縦エッジの自車左右方向の位置を求め、前方車両の左右端に対応する一対の縦エッジの間隔とレーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置とに基づいて前方車両の自車前後方向の位置を算出するようにしたので、自車のピッチング変動やバウンス、あるいは路面勾配による影響を受けずに、自車前後方向の前方車両位置を正確に検出することができる。また、画像処理により自車前後方向の前方車両位置を正確に検出できるので、２４ＧＨｚ電波レーダーや超音波レーダーなどの高性能なレーダーを用いる必要がない。

一実施の形態によれば、一対の縦エッジの中心左右方向位置とレーザーレーダー１およびレーダー処理装置２により検出した前方車両までの車間距離とに基づいて、前方車両の自車左右方向の位置を算出するようにしたので、自車のピッチング変動やバウンス、あるいは路面勾配による影響を受けずに、自車左右方向の前方車両位置を正確に検出できる。

一実施の形態によれば、上記第２の手法により検出された前方車両の自車左右方向の位置とレーザーレーダー１およびレーダー処理装置２により検出した前方車両までの車間距離とに基づいて、前方車両の自車左右方向の位置を算出するようにしたので、自車のピッチング変動やバウンス、あるいは路面勾配による影響を受けずに、自車左右方向の前方車両位置を正確に検出できる。

一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、上記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ、上記第２の手法で前方車両を検出できなかった場合には、検出した片方の縦エッジの自車左右方向の位置と、前回検出した前方車両の幅と、レーザーレーダー１およびレーダー処理装置２により検出した前方車両までの車間距離とに基づいて他方の縦エッジの自車左右方向の位置を求め、一対の縦エッジの自車左右方向の位置と車間距離とに基づいて前方車両の自車左右方向の位置を算出するようにしたので、上記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ、上記第２の手法で前方車両を検出できなかった場合でも、前方車両の自車左右方向の位置を正確に検出できる。

一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、上記第１の手法で前方車両の左右端に対応する一対の縦エッジがどちらも検出されず、かつ、上記第２の手法で前方車両を検出できた場合には、レーザーレーダー１およびレーダー処理装置２により検出した前方車両位置の時間変化により前方車両との相対速度を算出するとともに、この相対速度により上記第２の手法により検出した前方車両との車間距離を補正し、補正後の車間距離に基づいて前方車両の自車左右方向の位置を算出するようにしたので、上記第１の手法で前方車両の左右端に対応する一対の縦エッジがどちらも検出されなかった場合でも、前方車両の自車左右方向の位置を正確に検出できる。

一実施の形態によれば、近距離を高精度に測距可能なレーダーを有し、この高性能レーダーにより検出した前方車両の位置が自車から所定距離以下の接近状態にあって、上記第１の手法で前方車両の左右端に対応する一対の縦エッジがどちらも検出されず、かつ、上記第２の手法で前方車両を検出できた場合には、高性能レーダーにより検出した前方車両までの車間距離と上記第２の手法で検出した前方車両の自車左右方向の位置とに基づいて前方車両の位置を算出するようにしたので、高性能レーダーにより自車前後方向の前方車両位置が正確に検出され、画像処理により自車左右方向の前方車両位置が正確に検出されて、前方車両の位置を正確に検出できる。

一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、上記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されなくても、片方の縦エッジの位置を中心としたカメラ３および画像処理装置４による撮像画像の所定面積の領域を基準パターンとして記憶するようにしたので、至近距離に存在する前方車両が撮像画面からはみ出た場合でも、上記第２の手法により頑強に前方車両を追跡することができる。

一実施の形態によれば、レーザーレーダー１およびレーダー処理装置２により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、上記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ上記第２の手法で前方車両を検出できた場合には、上記第２の手法で検出した前方車両の位置に基づいて他方の縦エッジの位置を推定し、一対の縦エッジの位置を中心としたカメラ３および画像処理装置４による撮像画像の所定面積の領域を基準パターンとして記憶するようにしたので、至近距離に存在する前方車両が撮像画面からはみ出た場合でも、上記第２の手法により頑強に前方車両を追跡することができ、また、誤追跡する頻度を低減できる。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ３および画像処理装置４が撮像手段を、レーザーレーダー１およびレーダー処理装置２が位置検出手段を、外界認識装置５が領域設定手段および位置算出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

第１の実施の形態の構成を示す図である。第１の実施の形態の車両検出処理を示すフローチャートである。第２の実施の形態の車両検出処理を示すフローチャートである。第３の実施の形態の車両検出処理を示すフローチャートである。第４の実施の形態の車両検出処理を示すフローチャートである。

符号の説明

１レーザーレーダー
２レーダー処理装置
３カメラ
４画像処理装置
５外界認識装置
６車速検出装置
７操舵角検出装置
８自動ブレーキ制御装置
９負圧ブレーキブースター

Claims

自車前方を撮像する撮像手段と、
自車に対する前方車両の位置を検出する位置検出手段と、
前記位置検出手段により検出した前方車両の位置に基づいて、前記撮像手段の撮像画像上に画像処理領域を設定する領域設定手段と、
前記撮像手段による撮像画像の内の前記領域設定手段により設定した画像処理領域の画像を処理して前方車両を検出し、検出した前方車両の位置を算出する位置算出手段とを備えた車両用画像処理装置において、
前記位置算出手段は、前方車両の左右端に対応する一対の縦エッジを検出して前方車両を検出する第１の手法と、予め記憶した前方車両の基準パターンを用いてパターンマッチングにより前方車両を検出する第２の手法とを有し、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、前記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ、前記第２の手法で前方車両を検出した場合には、前記第１の手法で検出した片方の縦エッジの位置と前記第２の手法で検出した前方車両の位置とに基づいて他方の縦エッジの自車左右方向の位置を求め、前方車両の左右端に対応する一対の縦エッジの間隔と前記位置検出手段により検出した前方車両の位置とに基づいて前方車両の自車前後方向の位置を算出することを特徴とする車両用画像処理装置。
請求項１に記載の車両用画像処理装置において、
前記位置算出手段は、前記第１の手法により前方車両の左右端に対応する一対の縦エッジが検出された場合にのみ、その一対の縦エッジの位置を中心とした前記撮像手段による撮像画像の所定面積の領域を前記基準パターンとして記憶することを特徴とする車両用画像処理装置。
請求項２に記載の車両用画像処理装置において、
前記位置算出手段は、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあるときは、前方車両の中央部分を含む前記所定面積よりも狭い領域の画像を前記基準パターンとして記憶することを特徴とする車両用画像処理装置。
請求項１に記載の車両用画像処理装置において、
前記位置算出手段は、一対の縦エッジの中心左右方向位置と前記位置検出手段により検出した前方車両までの車間距離とに基づいて、前方車両の自車左右方向の位置を算出することを特徴とする車両用画像処理装置。
請求項１に記載の車両用画像処理装置において、
前記位置算出手段は、前記第２の手法により検出された前方車両の自車左右方向の位置と前記位置検出手段により検出した前方車両までの車間距離とに基づいて、前方車両の自車左右方向の位置を算出することを特徴とする車両用画像処理装置。
請求項１〜３のいずれかの項に記載の車両用画像処理装置において、
前記位置算出手段は、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、前記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ、前記第２の手法で前方車両を検出できなかった場合には、検出した片方の縦エッジの自車左右方向の位置と、前回検出した前方車両の幅と、前記位置検出手段により検出した前方車両までの車間距離とに基づいて他方の縦エッジの自車左右方向の位置を求め、一対の縦エッジの自車左右方向の位置と車間距離とに基づいて前方車両の自車左右方向の位置を算出することを特徴とする車両用画像処理装置。
請求項１〜３のいずれかの項に記載の車両用画像処理装置において、
前記位置算出手段は、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、前記第１の手法で前方車両の左右端に対応する一対の縦エッジがどちらも検出されず、かつ、前記第２の手法で前方車両を検出できた場合には、前記位置検出手段により検出した前方車両位置の時間変化により前方車両との相対速度を算出するとともに、この相対速度により前記第２の手法により検出した前方車両との車間距離を補正し、補正後の車間距離に基づいて前方車両の自車左右方向の位置を算出することを特徴とする車両用画像処理装置。
請求項１〜３のいずれかの項に記載の車両用画像処理装置において、
前記位置検出手段は近距離を高精度に測距可能なレーダーを有し、
前記位置算出手段は、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、前記第１の手法で前方車両の左右端に対応する一対の縦エッジがどちらも検出されず、かつ、前記第２の手法で前方車両を検出できた場合には、前記位置検出手段により検出した前方車両までの車間距離と前記第２の手法で検出した前方車両の自車左右方向の位置とに基づいて前方車両の位置を算出することを特徴とする車両用画像処理装置。
請求項１〜３のいずれかの項に記載の車両用画像処理装置において、
前記位置算出手段は、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、前記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されなくても、片方の縦エッジの位置を中心とした前記撮像手段による撮像画像の所定面積の領域を前記基準パターンとして記憶することを特徴とする車両用画像処理装置。
請求項１〜３のいずれかの項に記載の車両用画像処理装置において、
前記位置算出手段は、前記位置検出手段により検出した前方車両の位置が自車から所定距離以下の接近状態にあって、前記第１の手法で前方車両の左端または右端に対応する片方の縦エッジしか検出されず、かつ前記第２の手法で前方車両を検出できた場合には、前記第２の手法で検出した前方車両の位置に基づいて他方の縦エッジの位置を推定し、一対の縦エッジの位置を中心とした前記撮像手段による撮像画像の所定面積の領域を前記基準パターンとして記憶することを特徴とする車両用画像処理装置。