JP3562250B2 - 先行車両検出装置 - Google Patents
先行車両検出装置 Download PDFInfo
- Publication number
- JP3562250B2 JP3562250B2 JP21800297A JP21800297A JP3562250B2 JP 3562250 B2 JP3562250 B2 JP 3562250B2 JP 21800297 A JP21800297 A JP 21800297A JP 21800297 A JP21800297 A JP 21800297A JP 3562250 B2 JP3562250 B2 JP 3562250B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- preceding vehicle
- distance
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Controls For Constant Speed Travelling (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自車の前方を走行する先行車両を検出する先行車両検出装置に関する。
【０００２】
【従来の技術】
従来の先行車両検出装置としては、例えば、特開平７−１２５５６７号公報に記載されているものがあり、これは、レーザレーダの測定結果と自車の前方を撮影した撮影画像の画像処理によって、先行車両を認識するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例では、レーザレーダの測定結果が欠落した場合には、前回の測定データを使用する方法が記載されているのみで、レーザレーダの測定範囲外に先行車両が移動したために、レーザレーダの測定結果が欠落したときに、先行車両の位置を検出する方法は記載されていない。
【０００４】
また、特開平６−２６５３４９号公報に記載されている車両検出装置では、ステレオ方式で撮影した２枚の画像の相関関係から先行車両位置を検出するものであり、レーザレーダによる検出に加えてこの相関関係から先行車両を検出する方法を用いても、レーザレーダの測定範囲の領域には、車両以外のものも含まれるため、単に、レーザレーダ測定範囲の画像の相関関係からでは、レーザレーダの測定結果が欠落したときには、先行車両の位置を検出することはできない。
本発明は、このような従来の問題点に鑑み、レーザレーダの測定範囲から先行車両が移動したためレーザレーダの測定結果が欠落した場合でも、先行車両位置を検出することのできる先行車両検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
このため、本発明は、自車両から前方走路上の物体までの距離を測定する距離測定装置を有する先行車両検出装置において、距離測定装置の測定範囲を含む前方走路を撮像する画像入力装置と、距離測定装置の測定結果に基づいて、画像入力装置の入力画像上の測定点を算出し、その測定点を中心に所定の大きさの第１のテンプレート枠を設ける測定点算出部と、第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第１のテンプレート画像記憶手段と、距離測定装置の測定結果に基づいて先行車両位置を算出する第１の先行車両位置算出手段と、メモリに記憶されているテンプレート画像と、画像入力装置の入力画像の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる最大相関領域を求め、その最大相関領域の周囲に第２のテンプレート枠を設け、第２のテンプレート枠の中心に先行車両推定点を設定する相関算出部と、第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶する第２のテンプレート画像記憶手段と、上記の先行車両推定点に基づいて先行車両位置を算出する第２の先行車両位置算出手段と、距離測定装置が、所定距離内に存在する物体までの距離を測定しているか否かを判定し、所定距離内の測定値が存在したときは該測定結果に基づく第１の先行車両位置算出手段による検出処理を選択し、所定距離内の測定値が存在しないときは相関算出部が設定する先行車両推定点に基づく第２の先行車両位置算出手段による検出処理を選択する処理切替手段とを有するものとした。
【０００６】
また、自車両から前方走路上の物体までの距離を測定する距離測定装置を有する先行車両検出装置において、距離測定装置の測定範囲を含む前方走路を撮像する画像入力装置と、距離測定装置の測定結果に基づいて、画像入力装置の入力画像上の測定点を算出し、測定点を中心に所定の大きさの第１のテンプレート枠を設ける測定範囲算出部と、第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第１のテンプレート画像記憶手段と、距離測定装置の測定結果に基づいて先行車両位置を算出する第１の先行車両位置算出手段と、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に画像入力装置の入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる分割最大相関領域を求め、各分割最大相関領域の相対位置関係から先行車両推定点を設定し、その先行車両推定点を中心に所定の大きさの第２のテンプレート枠を設定する相関算出部と、第２のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第２のテンプレート画像記憶手段と、先行車両推定点に基づいて先行車両位置を算出する第２の先行車両位置算出手段と、距離測定装置が、所定距離内に存在する物体までの距離を測定しているか否かを判定し、所定距離内の測定値が存在したときは該測定結果に基づく第１の先行車両位置算出手段による検出処理を選択し、所定距離内の測定値が存在しないときは相関算出部が設定する先行車両推定点に基づく第２の先行車両位置算出手段による検出処理を選択する処理切替手段とを有することもできる。
【０００７】
さらに、上記の先行車両検出装置は、所定距離内の測定値が存在したときは、第１のテンプレート枠が、自車走行レーン内か否かを判定し、所定距離内の測定値が存在しないときには、第２のテンプレート枠が、自車走行レーン内か否かを判定するレーン内判定手段を有し、第１のテンプレート画像記憶手段は、第１のテンプレート枠が自車走行レーン内であれば、第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶し、また第２のテンプレート画像記憶手段は、第２のテンプレート枠が自車走行レーン内であれば、第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶することが好ましい。
【０００８】
【作用】
距離測定装置が、所定距離内に存在する物体までの距離を測定しているときには、測定結果に基づいて先行車両位置を求める。また、同時に、画像入力装置で撮影した入力画像上に測定点を設け、その測定点を中心に所定の大きさの第１のテンプレート枠を設け、その第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する。
【０００９】
距離を測定していないときには、メモリに記憶されているテンプレート画像と、入力画像上でテンプレート画像と同じ大きさの領域の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる画像領域の周囲に第２のテンプレート枠を設け、その第２のテンプレート枠で囲まれたテンプレート画像をメモリに記憶し、その中心点である先行車両推定点から先行車両位置を求める。
これにより、距離測定装置の検出範囲から先行車両が移動したために、先行車両までの距離を測定できない場合でも、入力画像上に先行車両が撮像されていれば、先行車両位置を求めることができる。
【００１０】
また、テンプレート画像と入力画像の相関値を算出する際に、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる最大相関分割画像領域を決定し、各最大相関分割画像領域の相対位置関係から先行車両推定点を決定して、その先行車両推定点から先行車両位置を求め、また先行車両推定点を中心として所定の大きさの第２のテンプレート枠を設定し、第２のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する。
これにより、距離を測定した点が、先行車両の端部であった場合でも、確実に入力画像上の先行車両推定点を求めることができるので先行車両検出精度を向上させることができる。
【００１１】
さらに、テンプレート枠が、自車走行レーン内か否かを判定し、自車走行レーン内であれば、そのテンプレート枠で囲まれたテンプレート画像をメモリに記憶することにより、自車走行レーンを走行中の先行車両のみのテンプレート画像をメモリに記憶することができるので自動速度制御装置等に本発明を応用する際の利便性が向上する。
【００１２】
【発明の実施の形態】
本発明の実施の形態を実施例により説明する。
図１は、レーザレーダで測定した前方物体までの距離と、画像入力装置により撮影した画像に基づいて先行車両を検出する本発明を、車両速度自動制御装置に応用した第１の実施例の構成を示すブロック図である。
画像入力装置１は、ＣＣＤカメラからなり、走路前方を撮影するのに適した車両上の所定の部位に取付けられている。
画像入力装置１は測定点算出部４、テンプレート画像記憶部５および相関算出部６に接続されている。
【００１３】
レーザレーダ２は、シングルビームのレーザ光を用いた距離測定装置であり、車両の走路前方を測定範囲とし、走路前方に存在する物体までの距離を測定する。
レーザレーダ２は、処理制御部３、測定点算出部４および車間距離算出部７に接続されている。
処理制御部３は、レーザレーダ２の測定値から先行車両位置を算出するか、画像入力装置１から入力された画像の相関処理から先行車両位置を算出するかを、レーザレーダ２の測定結果に基づいて選択し、その選択に従って、測定点算出部４、テンプレート画像記憶部５、相関算出部６および車間距離算出部７を制御する。
【００１４】
測定点算出部４は、画像入力装置１から入力された画像の中で、レーザレーダ２が距離を測定している点に対応する測定点を算出し、所定の大きさのテンプレート枠をその測定点を中心として設定する。
テンプレート画像記憶部５にはメモリ９が設けられ、入力画像上のテンプレート枠に囲まれた部分であるテンプレート画像をメモリ９に記憶する。
相関算出部６は、メモリ９に記憶されたテンプレート画像と、画像入力装置１により入力された画像の相関をとり、入力画像の中で、最も相関値の大きい、すなわちテンプレート画像と最も類似した画像領域にテンプレート枠を設定し、その中心点を先行車両推定点とする。
【００１５】
車間距離算出部７は、処理制御部３の選択により、レーザレーダ２の測定結果が車間距離算出に適切な結果であれば、レーザレーダ２の測定結果と取り付け角度から、先行車両までの車間距離を算出する。
また、レーザレーダ２の測定結果が適切なものでなければ、相関算出部６で算出した先行車両推定点までの車間距離を算出する。
車両速度制御部８では、車間距離算出部７で算出した車間距離に基づいて自車両の走行速度を自動制御する。
【００１６】
次に、動作を説明する。
まず、画像入力装置１は、走路前方の画像を撮影し、レーザレーダ２は走路前方に存在する物体までの距離を測定する。
レーザレーダ２の測定結果が入力されると、処理制御部３において、測定値が所定距離内の値であれば、先行車両までの距離を測定したと判断し、車間距離算出部７で、レーザレーダ２の測定値から車間距離を算出し、車両速度制御部８は、車間距離が所定値になるように自車両の走行速度を制御する。
【００１７】
このとき、車間距離の算出と同時に、レーザレーダ２から適切な測定結果を得られなかった時に備えて、テンプレート画像を記憶する処理を行う。
まず、測定点算出部４で、レーザレーダ２で測定した距離とレーザレーダの取り付け角度から、画像入力装置１で撮影した図２に示す入力画像２１の中で、レーザレーダ２が距離を測定している点に対応する測定点２２を算出し、所定の大きさのテンプレート枠２３を、その測定点２２を中心として設定する。
テンプレート画像記憶部５では、テンプレート枠２３に囲まれた部分であるテンプレート画像２４を、メモリ９に記憶する。
レーザレーダ２で、車間距離が測定される度に、新しい測定距離に対応する測定点を中心とするテンプレート画像に書き換えられ、常に最新の画像から切り取られたテンプレート画像がメモリ９には記憶される。
【００１８】
処理制御部３は、レーザレーダ２の測定値が得られなかったり、あるいは、測定値が所定距離を越えた値であった場合には、車間距離が測定できていないとみなし、相関算出部６を制御する。
相関算出部６では、画像入力装置１から入力された図３に示す入力画像２５の中から、テンプレート画像記憶部５のメモリ９に記憶されているテンプレート画像と最も類似した画像領域を相関処理により求め、その画像領域の周囲にテンプレート枠２６を設ける。テンプレート枠２６の中心点に先行車両推定点２７を設定する。
【００１９】
引き続きレーザレーダ２により車間距離を測定できない場合に備えて、テンプレート枠２６に囲まれたテンプレート画像２８をテンプレート画像記憶部５のメモリ９に記憶する。
相関算出部６で、先行車両推定点を求める度に、メモリ９に記憶されたテンプレート画像は、新しい先行車両推定点を中心とするテンプレート画像に書き換えられる。
車間距離算出部７は、処理制御部３の選択により、レーザレーダ２が車間距離を測定していないときには、相関算出部６で算出した先行車両推定点までの車間距離を算出し、車両速度制御部８は、自車両の走行速度を自動制御する。
【００２０】
つぎに、本実施例における動作の流れを、図４に示すフローチャートを用いて、より詳細に説明する。
ステップ１０１においてレーザレーダ２により走路前方の物体までの距離を測定する。
ステップ１０２で、画像入力装置１で走路前方の画像を撮影する。
ステップ１０３では、処理制御部３において、レーザレーダ２により、走路前方の物体までの距離が適切に測定されたか、否か判定する。所定距離内の測定値が得られたときは、ステップ１０４に進む。測定値が得られなかったときや、あるいは、測定値が所定距離を越えた場合には、ステップ１０８に進む。
【００２１】
まず、ステップ１０４では、測定点算出部４で、レーザレーダ２で測定した距離とレーザレーダ２の取り付け角度から、ＣＣＤカメラからなる画像入力装置１で撮影した画像の中で、レーザレーダ２が距離を測定している点に対応する測定点を算出する。
図５に示すように、レーザレーダ２での測定距離をＬ１（ｍ）とし、撮像面２９とレンズ３０からなるＣＣＤカメラの取り付け高さをＨ、撮像面２９までの距離が焦点距離ｆとなるように配置されたレンズ３０の光軸方向と水平線のなす上下方向の角度をθ１、距離Ｌ１（ｍ）の実空間での測定点とレンズ３０の中心点を結ぶ直線とレンズ３０の光軸のなす角度をｄθ１とすると、ｄθ１は、次式で表される。
ｄθ１＝θ１−ａｔａｎ（Ｈ／Ｌ１）
【００２２】
このとき、実空間での測定点に相当する画像上の測定点の、画像中央からのｙ座標の画素数ｄｙ１は、ＣＣＤカメラの撮像面２９のｙ方向の画素数をＩＹ、ｙ方向の画面サイズをＤＨとすると、次式であらわされる。
ｄｙ１＝ｆ×ｔａｎ（ｄθ１）×ＩＹ／ＤＨ
上式で得られたｙ座標位置から、レーザレーダ２で距離を測定している実空間での測定点に相当する入力画像上の測定点のｙ座標が算出される。
同様に、入力画像上の測定点のｘ座標を算出し、その点を測定点２２とする。
【００２３】
ステップ１０５では、ステップ１０４で算出した測定点２２を中心として、所定の大きさのテンプレート枠２３を設定する。
ステップ１０６では、テンプレート画像記憶部５において、テンプレート枠２３で囲まれたテンプレート画像２４をメモリ９に記憶する。
ステップ１０７では、車間距離算出部７で、レーザレーダ２で測定した距離とレーザレーダ２の取り付け角度から、先行車両までの車間距離を計算し、ステップ１１４へ進む。
【００２４】
ステップ１０３で、距離測定値が得られず、ステップ１０８に進むと、ステップ１０８では、処理制御部３において、テンプレート画像記憶部５のメモリ９にテンプレート画像が記憶されているか否かを判定し、記憶されていなければ、ステップ１０１に戻り、レーザレーダ２での測定と、画像入力装置１での撮影を繰り返す。
メモリ９にテンプレート画像が記憶されているときには、ステップ１０９へ進む。
【００２５】
ステップ１０９で、メモリ９に記憶されたテンプレート画像と画像入力装置１から入力された画像との相関値を算出する。テンプレート画像と、入力画像上のテンプレート画像と同じ大きさの領域の画素濃度の差の総和の逆数を相関値として算出する。この相関値が最も大きくなる入力画像の画像領域を最大相関領域とする。
ステップ１１０において、ステップ１０９で求めた最大相関領域を先行車両を撮影した画像領域であるとみなし、最大相関領域の周囲にテンプレート枠２６を設定する。
ステップ１１１では、テンプレート枠２６の中心点を、先行車両推定点２７として、ステップ１１２にすすむ。
ステップ１１２では、テンプレート画像記憶部５で、テンプレート枠で囲まれた画像領域であるテンプレート画像をメモリ９に記憶する。
【００２６】
ステップ１１３では、先行車両推定点から車間距離を算出する。
まず、図６に示すように、先行車両推定点の画像中央からのｙ座標の画素数をｄｙ２は、画像入力部５のＣＣＤカメラのレンズ３０の焦点距離をｆ、撮像面３０の画素数をＩＹ、画面サイズをＤＨとするとき、撮像面２９上の先行車両推定点とレンズ３０の中心点を結ぶ直線と光軸のなす角度ｄθ２は、次式で表される。
ｄθ２＝ａｔａｎ（ＤＨ／ＩＹ×ｄｙ２／ｆ）
【００２７】
このとき、先行車両推定点までの実空間での距離をＬ２（ｍ）とし、レンズ３０の光軸方向と水平線のなす上下方向の角度をθ１、ＣＣＤカメラの取り付け高さをＨとすると、距離Ｌ２は次式で表される。
Ｌ２＝Ｈ／ｔａｎ（θ１−ｄθ２）
上式で得られた距離Ｌ２を車間距離とみなす。
ステップ１１４では、車間距離が所定値以上になるように車両速度を制御し、再度ステップ１０１に戻り、レーザレーダ２による測定を繰り返す。
【００２８】
図４に示すフローチャートのステップ１０３は発明の処理切替手段を構成し、ステップ１０６は第１のテンプレート画像記憶手段を、ステップ１１２は第２のテンプレート画像記憶手段を構成する。
ステップ１０７は発明の第１の先行車両位置算出手段を構成し、ステップ１１３は第２の先行車両位置算出手段を構成する。
【００２９】
従って、レーザレーダ２が所定距離内に存在する物体までの距離を測定していないときには、テンプレート画像記憶部５のメモリ９に記憶されているテンプレート画像と、画像入力装置の入力画像上でテンプレート画像と同じ大きさの領域の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる最大相関領域の周囲にテンプレート枠を設け、そのテンプレート枠で囲まれたテンプレート画像をメモリ９に記憶し、かつ、その中心点である先行車両推定点から先行車両位置を求めることにより、レーザレーダ２の測定範囲から先行車両が移動したために、レーザレーダ２が先行車両までの距離を測定できない場合でも、画像入力装置５の入力画像上に先行車両が撮影されていれば、先行車両位置を求めることができる。
なお、相関処理を行う入力画像の範囲を、メモリに記憶されたテンプレート画像の位置から車両が移動可能な範囲に予め設定すれば、相関処理を高速化することができる。
【００３０】
つぎに、本発明の第２の実施例を説明する。
本実施例は、相関処理において、テンプレート画像を縦方向に長く複数枚に分割し、分割された画像毎に相関値を求め、各分割画像の分割最大相関領域を算出し、各分割最大相関領域の相対位置関係に基づいて、先行車両推定点を求める。
また、先行車両が自車レーン内を走行しているのか否かを判断するレーン内判定部を有する
【００３１】
図７は、車両速度自動制御装置に応用した第２の実施例の構成を示す図である。
処理制御部１０は、メモリ１１を有し、レーザレーダ２の測定値から先行車両位置を算出するか、画像入力装置１から入力された画像の相関処理から先行車両位置を算出するかを、レーザーレーダ２の測定結果に基づいて選択し、レーザレーダ２の測定値から先行車両位置を算出する場合には、メモリ１１のフラグＳに０を設定し、画像入力装置１から入力された画像の相関処理から先行車両位置を算出する場合には、メモリ１１のフラグＳに１を設定する。
また、処理制御部１０は、レーザレーダ２、測定点算出部４、テンプレート画像記憶部５、相関算出部１３、レーン内判定部１４および車間距離算出部７に接続されている。
レーン内判定部１４は、測定点算出部４または相関算出部１３により設定されたテンプレート枠の位置が、自車走行レーン内か否かを判定する。
レーン内判定部１４は、測定点算出部４、テンプレート画像記憶部５および相関算出部１３にも接続されている。
【００３２】
図８および図９に示すフローチャートを用いて、本実施例の動作を説明する。ステップ２０１においてレーザレーダ２により走路前方の物体までの距離を測定する。
ステップ２０２で、画像入力装置１で走路前方の画像を撮影する。
ステップ２０３では、処理制御部１０において、レーザレーダ２により、走路前方の物体までの距離が適切に測定されたか、否か判定する。所定距離内の測定値が得られたときは、ステップ２０４に進む。測定値が得られなかったときや、あるいは、測定値が所定距離を越えた場合には、ステップ２０７に進む。
ステップ２０４では、処理制御部１０でメモリ１１のフラグＳに０を設定する。
ステップ２０５では、図４に示すフローチャートのステップ１０４と同様に、測定点算出部４で、レーザレーダ２の測定値と取り付け角度から入力画像上の測定点を算出する。
ステップ２０６では、測定点を中心とした所定の大きさのテンプレート枠を設定し、ステップ２１４へ進む。
【００３３】
ステップ２０３で、距離測定値が得られず、ステップ２０７に進むと、ステップ２０７では、処理制御部１０において、テンプレート画像記憶部５のメモリ９にテンプレート画像が記憶されているか否かを判定し、記憶されていなければ、ステップ２０１に戻り、レーザレーダ２での距離測定と、画像入力装置１での撮影を繰り返す。
メモリ９にテンプレート画像が記憶されているときには、ステップ２０８へ進む。
ステップ２０８では、処理制御部１０でメモリ１１のフラグＳに１を設定する。
ステップ２０９で、相関算出部１３において、図１０の（ａ）に示すようなテンプレート画像３１を図１０の（ｂ）に示すような縦方向に長い４つのテンプレート分割画像３２ａ、３２ｂ、３２ｃ、３２ｄに分割する。
【００３４】
ステップ２１０で、テンプレート分割画像３２ａ〜３２ｄと画像入力装置１から入力された画像との相関値を算出する。テンプレート分割画像３２ａ〜３２ｄと、入力画像上のテンプレート分割画像と同じ大きさの領域の画素濃度の差の総和の逆数を相関値として算出する。
この相関値が最も大きくなる入力画像の画像領域を分割最大相関領域とする。
相関値の算出と分割最大相関領域の決定は、各テンプレート分割画像毎に行う。すなわち、図１０の（ｃ）に示すように４つの分割最大相関領域３３ａ〜３３ｄが定められる。
【００３５】
ステップ２１１では、テンプレート画像内で隣合っていたテンプレート分割画像に対応する分割最大相関領域間の入力画像上での距離を算出する。
算出した距離が所定値より短い場合には、一つの物体を撮影した画像の隣り合う画像領域であると判断し、算出した距離が所定値以上の場合には、異なる物体を撮影した画像であると判断する。
隣合うテンプレート分割画像３組全てに対応する分割最大相関領域間の距離を算出し、一つの物体を撮影したものか、異なる物体を撮影したものか判断する。
ステップ２１２において、同一の物体を撮影したと判断された分割最大相関領域の組の中で、最も多数枚の分割最大相関領域を含んだ組を、先行車両を撮影した画像領域であるとみなし、図１０の（ｃ）に示すように、その画像領域の中心を先行車両推定点３４とする。
ステップ２１３では、所定の大きさのテンプレート枠を、ステップ２１２で算出した先行車両推定点を中心として設定し、ステップ２１４にすすむ。
【００３６】
ステップ２１４では、レーン内判定部１４で、ステップ２０６またはステップ２１３で設定されたテンプレート枠が、自車走行レーン内であるか、否かを判定する。
まず、図１１に示すように、テンプレート枠３５の下端中央と入力画像の下端中央とを結ぶ直線領域３６を設定する。直線領域３６の高輝度領域を抽出し、所定の長さ以上で縦方向に連続して存在する高輝度領域が存在したときには、その高輝度領域は道路白線であるとみなし、テンプレート枠３５は、自車走行レーン上ではないと判定する。
テンプレート枠が自車走行レーン内であればステップ２１７に進み、自車走行レーン内でなければ、ステップ２１５へ進む。
【００３７】
ステップ２１５では、処理制御部１０のメモリ１１に設定されているフラグＳが１か０かを判定し、０であれば、ステップ２０７に戻る。すなわち、レーザレーダ２で前方の物体まで距離を測定できていても、自車走行レーンの外にある物体までの距離を測定している場合には、ステップ２０７に戻り、以降の相関処理を実行する。
フラグＳが１に設定されている場合、すなわち相関処理を実行して、テンプレート枠が設定されたが、そのテンプレート枠が自車走行レーン外であった場合には、ステップ２１６にすすみ、テンプレート枠を初期化して、ステップ２０１へ戻る。
【００３８】
ステップ２１７では、処理制御部１０のメモリ１１に設定されているフラグＳが１か０かを判定し、０であれば、ステップ２１８に進み、１であれば、ステップ２２０に進む。
ステップ２１８では、テンプレート画像記憶部５で、ステップ２０６で設定されたテンプレート枠で囲まれた画像領域であるテンプレート画像をメモリ９に記憶する。
ステップ２１９では、図４に示すフローチャートのステップ１０７と同様に、レーザレーダ２の測定距離と取り付け角度から先行車両までの車間距離を算出し、ステップ２２２へ進む。
ステップ２２０では、テンプレート画像記憶部５で、ステップ２１３で設定されたテンプレート枠で囲まれた画像領域であるテンプレート画像をメモリ９に記憶する。
ステップ２２１では、図４に示すフローチャートのステップ１１３と同様に、先行車両推定点から車間距離を算出する。
ステップ２２２では、車間距離が所定値以上になるように走行速度を自動制御し、再度ステップ２０１に戻り、レーザレーダ２による測定を繰り返す。
【００３９】
図８に示すフローチャートのステップ２０３と図９のステップ２１７は、発明の処理切替手段を構成し、図９のステップ２１４は、発明のレーン内判定手段を、ステップ２１８は、第１のテンプレート画像記憶手段を、ステップ２２０は第２のテンプレート画像記憶手段を構成する。また、ステップ２１９は発明の第１の先行車両位置算出手段を構成し、ステップ２２１は第２の先行車両位置算出手段を構成する。
【００４０】
以上のように、まず、テンプレート画像と入力画像の相関値を算出する際に、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる分割最大相関領域を決定する。
そして、各分割最大相関領域の相対位置関係から先行車両推定点を決定して、その先行車両推定点から先行車両位置を求め、また先行車両推定点を中心として所定の大きさのテンプレート枠を設定することにより、第１の実施例と同様の効果が得られるとともに、レーザレーダ２で測定した点が、先行車両の端部であった場合でも、確実に入力画像上の先行車両推定点を求めることができるので先行車両検出精度を向上させることができる。
【００４１】
さらに、テンプレート枠が、自車走行レーン内か否かを判定し、自車走行レーン内であれば、そのテンプレート枠で囲まれたテンプレート画像をメモリに記憶することにより、自車走行レーンを走行中の先行車両のみのテンプレート画像をメモリに記憶することができるので自動速度制御装置等に本発明を応用する際の利便性が向上する。
また、テンプレート枠が自車走行レーン内でないときには、テンプレート画像をメモリに記憶しないので、その分処理時間が短縮でき、レーザレーダ２による距離測定の間隔を短縮できる。
【００４２】
【発明の効果】
以上説明したように、本発明の先行車両検出装置によれば、距離測定装置が、所定距離内に存在する物体までの距離を測定しているときには、距離測定装置の測定結果に基づいて先行車両位置を求め、また、同時に、画像入力装置の入力画像上に測定点を設け、その測定点を中心に所定の大きさの第１のテンプレート枠を設け、その第１のテンプレート枠に囲まれたテンプレート画像をテンプレート画像記憶部のメモリに記憶する。
【００４３】
距離を測定していないときには、テンプレート画像記憶部のメモリに記憶されているテンプレート画像と、入力画像上でテンプレート画像と同じ大きさの領域の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる画像領域の周囲に第２のテンプレート枠を設け、第２のテンプレート枠で囲まれたテンプレート画像をメモリに記憶し、その中心点である先行車両推定点から先行車両位置を求める。
これにより、距離測定装置の測定範囲から先行車両が移動したために、先行車両までの距離を測定できない場合でも、画像入力装置の入力画像上に先行車両が撮像されていれば、先行車両位置を求めることができる。
【００４４】
また、テンプレート画像と入力画像の相関値を算出する際に、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる最大相関分割画像領域を決定し、各最大相関分割画像領域の相対位置関係から先行車両推定点を決定して、その先行車両推定点から先行車両位置を求め、また先行車両推定点を中心として所定の大きさの第２のテンプレート枠を設定し、第２のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する。
これにより、距離測定装置で距離を測定した点が、先行車両の端部であった場合でも、確実に入力画像上の先行車両推定点を求めることができるので先行車両検出精度を向上させることができる。
【００４５】
さらに、テンプレート枠が、自車走行レーン内か否かを判定し、自車走行レーン内であれば、そのテンプレート枠で囲まれたテンプレート画像をメモリに記憶することにより、自車走行レーンを走行中の先行車両のみのテンプレート画像をメモリに記憶することができるので自動速度制御装置等に本発明を応用する際の利便性が向上する。
また、テンプレート枠が自車走行レーン内でないときには、テンプレート画像をメモリに記憶しないので、その分処理時間が短縮でき、距離測定装置による測定間隔を短縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示す図である。
【図２】テンプレート枠およびテンプレート画像の説明図である。
【図３】テンプレート枠およびテンプレート画像の説明図である。
【図４】第１の実施例における動作の流れを示すフローチャートである。
【図５】測定点算出方法の説明図である。
【図６】先行車両推定点までの実空間での距離算出方法の説明図である。
【図７】本発明の第２の実施例の構成を示す図である。
【図８】第２の実施例における動作の流れを示すフローチャートである。
【図９】第２の実施例における動作の流れを示すフローチャートである。
【図１０】分割テンプレート画像の説明図である。
【図１１】自車走行レーン判定のための直線領域の説明図である。
【符号の説明】
１ 画像入力装置
２ レーザレーダ
３、１０ 処理制御部
４ 測定点算出部
５ テンプレート画像記憶部
６ 相関算出部
７ 車間距離算出部
８ 車両速度制御部
９、１１ メモリ
２１、２５ 入力画像
２２ 先行車両点
２３、２６、３５ テンプレート枠
２４、２８、３１ テンプレート画像
２７、３４ 先行車両推定点
２９ 撮像面
３０ レンズ
３２ａ、３２ｂ、３２ｃ、３２ｄ テンプレート分割画像
３３ａ、３３ｂ、３３ｃ、３３ｄ 分割最大相関領域
３６ 直線領域
【発明の属する技術分野】
本発明は、自車の前方を走行する先行車両を検出する先行車両検出装置に関する。
【０００２】
【従来の技術】
従来の先行車両検出装置としては、例えば、特開平７−１２５５６７号公報に記載されているものがあり、これは、レーザレーダの測定結果と自車の前方を撮影した撮影画像の画像処理によって、先行車両を認識するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例では、レーザレーダの測定結果が欠落した場合には、前回の測定データを使用する方法が記載されているのみで、レーザレーダの測定範囲外に先行車両が移動したために、レーザレーダの測定結果が欠落したときに、先行車両の位置を検出する方法は記載されていない。
【０００４】
また、特開平６−２６５３４９号公報に記載されている車両検出装置では、ステレオ方式で撮影した２枚の画像の相関関係から先行車両位置を検出するものであり、レーザレーダによる検出に加えてこの相関関係から先行車両を検出する方法を用いても、レーザレーダの測定範囲の領域には、車両以外のものも含まれるため、単に、レーザレーダ測定範囲の画像の相関関係からでは、レーザレーダの測定結果が欠落したときには、先行車両の位置を検出することはできない。
本発明は、このような従来の問題点に鑑み、レーザレーダの測定範囲から先行車両が移動したためレーザレーダの測定結果が欠落した場合でも、先行車両位置を検出することのできる先行車両検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
このため、本発明は、自車両から前方走路上の物体までの距離を測定する距離測定装置を有する先行車両検出装置において、距離測定装置の測定範囲を含む前方走路を撮像する画像入力装置と、距離測定装置の測定結果に基づいて、画像入力装置の入力画像上の測定点を算出し、その測定点を中心に所定の大きさの第１のテンプレート枠を設ける測定点算出部と、第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第１のテンプレート画像記憶手段と、距離測定装置の測定結果に基づいて先行車両位置を算出する第１の先行車両位置算出手段と、メモリに記憶されているテンプレート画像と、画像入力装置の入力画像の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる最大相関領域を求め、その最大相関領域の周囲に第２のテンプレート枠を設け、第２のテンプレート枠の中心に先行車両推定点を設定する相関算出部と、第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶する第２のテンプレート画像記憶手段と、上記の先行車両推定点に基づいて先行車両位置を算出する第２の先行車両位置算出手段と、距離測定装置が、所定距離内に存在する物体までの距離を測定しているか否かを判定し、所定距離内の測定値が存在したときは該測定結果に基づく第１の先行車両位置算出手段による検出処理を選択し、所定距離内の測定値が存在しないときは相関算出部が設定する先行車両推定点に基づく第２の先行車両位置算出手段による検出処理を選択する処理切替手段とを有するものとした。
【０００６】
また、自車両から前方走路上の物体までの距離を測定する距離測定装置を有する先行車両検出装置において、距離測定装置の測定範囲を含む前方走路を撮像する画像入力装置と、距離測定装置の測定結果に基づいて、画像入力装置の入力画像上の測定点を算出し、測定点を中心に所定の大きさの第１のテンプレート枠を設ける測定範囲算出部と、第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第１のテンプレート画像記憶手段と、距離測定装置の測定結果に基づいて先行車両位置を算出する第１の先行車両位置算出手段と、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に画像入力装置の入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる分割最大相関領域を求め、各分割最大相関領域の相対位置関係から先行車両推定点を設定し、その先行車両推定点を中心に所定の大きさの第２のテンプレート枠を設定する相関算出部と、第２のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第２のテンプレート画像記憶手段と、先行車両推定点に基づいて先行車両位置を算出する第２の先行車両位置算出手段と、距離測定装置が、所定距離内に存在する物体までの距離を測定しているか否かを判定し、所定距離内の測定値が存在したときは該測定結果に基づく第１の先行車両位置算出手段による検出処理を選択し、所定距離内の測定値が存在しないときは相関算出部が設定する先行車両推定点に基づく第２の先行車両位置算出手段による検出処理を選択する処理切替手段とを有することもできる。
【０００７】
さらに、上記の先行車両検出装置は、所定距離内の測定値が存在したときは、第１のテンプレート枠が、自車走行レーン内か否かを判定し、所定距離内の測定値が存在しないときには、第２のテンプレート枠が、自車走行レーン内か否かを判定するレーン内判定手段を有し、第１のテンプレート画像記憶手段は、第１のテンプレート枠が自車走行レーン内であれば、第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶し、また第２のテンプレート画像記憶手段は、第２のテンプレート枠が自車走行レーン内であれば、第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶することが好ましい。
【０００８】
【作用】
距離測定装置が、所定距離内に存在する物体までの距離を測定しているときには、測定結果に基づいて先行車両位置を求める。また、同時に、画像入力装置で撮影した入力画像上に測定点を設け、その測定点を中心に所定の大きさの第１のテンプレート枠を設け、その第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する。
【０００９】
距離を測定していないときには、メモリに記憶されているテンプレート画像と、入力画像上でテンプレート画像と同じ大きさの領域の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる画像領域の周囲に第２のテンプレート枠を設け、その第２のテンプレート枠で囲まれたテンプレート画像をメモリに記憶し、その中心点である先行車両推定点から先行車両位置を求める。
これにより、距離測定装置の検出範囲から先行車両が移動したために、先行車両までの距離を測定できない場合でも、入力画像上に先行車両が撮像されていれば、先行車両位置を求めることができる。
【００１０】
また、テンプレート画像と入力画像の相関値を算出する際に、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる最大相関分割画像領域を決定し、各最大相関分割画像領域の相対位置関係から先行車両推定点を決定して、その先行車両推定点から先行車両位置を求め、また先行車両推定点を中心として所定の大きさの第２のテンプレート枠を設定し、第２のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する。
これにより、距離を測定した点が、先行車両の端部であった場合でも、確実に入力画像上の先行車両推定点を求めることができるので先行車両検出精度を向上させることができる。
【００１１】
さらに、テンプレート枠が、自車走行レーン内か否かを判定し、自車走行レーン内であれば、そのテンプレート枠で囲まれたテンプレート画像をメモリに記憶することにより、自車走行レーンを走行中の先行車両のみのテンプレート画像をメモリに記憶することができるので自動速度制御装置等に本発明を応用する際の利便性が向上する。
【００１２】
【発明の実施の形態】
本発明の実施の形態を実施例により説明する。
図１は、レーザレーダで測定した前方物体までの距離と、画像入力装置により撮影した画像に基づいて先行車両を検出する本発明を、車両速度自動制御装置に応用した第１の実施例の構成を示すブロック図である。
画像入力装置１は、ＣＣＤカメラからなり、走路前方を撮影するのに適した車両上の所定の部位に取付けられている。
画像入力装置１は測定点算出部４、テンプレート画像記憶部５および相関算出部６に接続されている。
【００１３】
レーザレーダ２は、シングルビームのレーザ光を用いた距離測定装置であり、車両の走路前方を測定範囲とし、走路前方に存在する物体までの距離を測定する。
レーザレーダ２は、処理制御部３、測定点算出部４および車間距離算出部７に接続されている。
処理制御部３は、レーザレーダ２の測定値から先行車両位置を算出するか、画像入力装置１から入力された画像の相関処理から先行車両位置を算出するかを、レーザレーダ２の測定結果に基づいて選択し、その選択に従って、測定点算出部４、テンプレート画像記憶部５、相関算出部６および車間距離算出部７を制御する。
【００１４】
測定点算出部４は、画像入力装置１から入力された画像の中で、レーザレーダ２が距離を測定している点に対応する測定点を算出し、所定の大きさのテンプレート枠をその測定点を中心として設定する。
テンプレート画像記憶部５にはメモリ９が設けられ、入力画像上のテンプレート枠に囲まれた部分であるテンプレート画像をメモリ９に記憶する。
相関算出部６は、メモリ９に記憶されたテンプレート画像と、画像入力装置１により入力された画像の相関をとり、入力画像の中で、最も相関値の大きい、すなわちテンプレート画像と最も類似した画像領域にテンプレート枠を設定し、その中心点を先行車両推定点とする。
【００１５】
車間距離算出部７は、処理制御部３の選択により、レーザレーダ２の測定結果が車間距離算出に適切な結果であれば、レーザレーダ２の測定結果と取り付け角度から、先行車両までの車間距離を算出する。
また、レーザレーダ２の測定結果が適切なものでなければ、相関算出部６で算出した先行車両推定点までの車間距離を算出する。
車両速度制御部８では、車間距離算出部７で算出した車間距離に基づいて自車両の走行速度を自動制御する。
【００１６】
次に、動作を説明する。
まず、画像入力装置１は、走路前方の画像を撮影し、レーザレーダ２は走路前方に存在する物体までの距離を測定する。
レーザレーダ２の測定結果が入力されると、処理制御部３において、測定値が所定距離内の値であれば、先行車両までの距離を測定したと判断し、車間距離算出部７で、レーザレーダ２の測定値から車間距離を算出し、車両速度制御部８は、車間距離が所定値になるように自車両の走行速度を制御する。
【００１７】
このとき、車間距離の算出と同時に、レーザレーダ２から適切な測定結果を得られなかった時に備えて、テンプレート画像を記憶する処理を行う。
まず、測定点算出部４で、レーザレーダ２で測定した距離とレーザレーダの取り付け角度から、画像入力装置１で撮影した図２に示す入力画像２１の中で、レーザレーダ２が距離を測定している点に対応する測定点２２を算出し、所定の大きさのテンプレート枠２３を、その測定点２２を中心として設定する。
テンプレート画像記憶部５では、テンプレート枠２３に囲まれた部分であるテンプレート画像２４を、メモリ９に記憶する。
レーザレーダ２で、車間距離が測定される度に、新しい測定距離に対応する測定点を中心とするテンプレート画像に書き換えられ、常に最新の画像から切り取られたテンプレート画像がメモリ９には記憶される。
【００１８】
処理制御部３は、レーザレーダ２の測定値が得られなかったり、あるいは、測定値が所定距離を越えた値であった場合には、車間距離が測定できていないとみなし、相関算出部６を制御する。
相関算出部６では、画像入力装置１から入力された図３に示す入力画像２５の中から、テンプレート画像記憶部５のメモリ９に記憶されているテンプレート画像と最も類似した画像領域を相関処理により求め、その画像領域の周囲にテンプレート枠２６を設ける。テンプレート枠２６の中心点に先行車両推定点２７を設定する。
【００１９】
引き続きレーザレーダ２により車間距離を測定できない場合に備えて、テンプレート枠２６に囲まれたテンプレート画像２８をテンプレート画像記憶部５のメモリ９に記憶する。
相関算出部６で、先行車両推定点を求める度に、メモリ９に記憶されたテンプレート画像は、新しい先行車両推定点を中心とするテンプレート画像に書き換えられる。
車間距離算出部７は、処理制御部３の選択により、レーザレーダ２が車間距離を測定していないときには、相関算出部６で算出した先行車両推定点までの車間距離を算出し、車両速度制御部８は、自車両の走行速度を自動制御する。
【００２０】
つぎに、本実施例における動作の流れを、図４に示すフローチャートを用いて、より詳細に説明する。
ステップ１０１においてレーザレーダ２により走路前方の物体までの距離を測定する。
ステップ１０２で、画像入力装置１で走路前方の画像を撮影する。
ステップ１０３では、処理制御部３において、レーザレーダ２により、走路前方の物体までの距離が適切に測定されたか、否か判定する。所定距離内の測定値が得られたときは、ステップ１０４に進む。測定値が得られなかったときや、あるいは、測定値が所定距離を越えた場合には、ステップ１０８に進む。
【００２１】
まず、ステップ１０４では、測定点算出部４で、レーザレーダ２で測定した距離とレーザレーダ２の取り付け角度から、ＣＣＤカメラからなる画像入力装置１で撮影した画像の中で、レーザレーダ２が距離を測定している点に対応する測定点を算出する。
図５に示すように、レーザレーダ２での測定距離をＬ１（ｍ）とし、撮像面２９とレンズ３０からなるＣＣＤカメラの取り付け高さをＨ、撮像面２９までの距離が焦点距離ｆとなるように配置されたレンズ３０の光軸方向と水平線のなす上下方向の角度をθ１、距離Ｌ１（ｍ）の実空間での測定点とレンズ３０の中心点を結ぶ直線とレンズ３０の光軸のなす角度をｄθ１とすると、ｄθ１は、次式で表される。
ｄθ１＝θ１−ａｔａｎ（Ｈ／Ｌ１）
【００２２】
このとき、実空間での測定点に相当する画像上の測定点の、画像中央からのｙ座標の画素数ｄｙ１は、ＣＣＤカメラの撮像面２９のｙ方向の画素数をＩＹ、ｙ方向の画面サイズをＤＨとすると、次式であらわされる。
ｄｙ１＝ｆ×ｔａｎ（ｄθ１）×ＩＹ／ＤＨ
上式で得られたｙ座標位置から、レーザレーダ２で距離を測定している実空間での測定点に相当する入力画像上の測定点のｙ座標が算出される。
同様に、入力画像上の測定点のｘ座標を算出し、その点を測定点２２とする。
【００２３】
ステップ１０５では、ステップ１０４で算出した測定点２２を中心として、所定の大きさのテンプレート枠２３を設定する。
ステップ１０６では、テンプレート画像記憶部５において、テンプレート枠２３で囲まれたテンプレート画像２４をメモリ９に記憶する。
ステップ１０７では、車間距離算出部７で、レーザレーダ２で測定した距離とレーザレーダ２の取り付け角度から、先行車両までの車間距離を計算し、ステップ１１４へ進む。
【００２４】
ステップ１０３で、距離測定値が得られず、ステップ１０８に進むと、ステップ１０８では、処理制御部３において、テンプレート画像記憶部５のメモリ９にテンプレート画像が記憶されているか否かを判定し、記憶されていなければ、ステップ１０１に戻り、レーザレーダ２での測定と、画像入力装置１での撮影を繰り返す。
メモリ９にテンプレート画像が記憶されているときには、ステップ１０９へ進む。
【００２５】
ステップ１０９で、メモリ９に記憶されたテンプレート画像と画像入力装置１から入力された画像との相関値を算出する。テンプレート画像と、入力画像上のテンプレート画像と同じ大きさの領域の画素濃度の差の総和の逆数を相関値として算出する。この相関値が最も大きくなる入力画像の画像領域を最大相関領域とする。
ステップ１１０において、ステップ１０９で求めた最大相関領域を先行車両を撮影した画像領域であるとみなし、最大相関領域の周囲にテンプレート枠２６を設定する。
ステップ１１１では、テンプレート枠２６の中心点を、先行車両推定点２７として、ステップ１１２にすすむ。
ステップ１１２では、テンプレート画像記憶部５で、テンプレート枠で囲まれた画像領域であるテンプレート画像をメモリ９に記憶する。
【００２６】
ステップ１１３では、先行車両推定点から車間距離を算出する。
まず、図６に示すように、先行車両推定点の画像中央からのｙ座標の画素数をｄｙ２は、画像入力部５のＣＣＤカメラのレンズ３０の焦点距離をｆ、撮像面３０の画素数をＩＹ、画面サイズをＤＨとするとき、撮像面２９上の先行車両推定点とレンズ３０の中心点を結ぶ直線と光軸のなす角度ｄθ２は、次式で表される。
ｄθ２＝ａｔａｎ（ＤＨ／ＩＹ×ｄｙ２／ｆ）
【００２７】
このとき、先行車両推定点までの実空間での距離をＬ２（ｍ）とし、レンズ３０の光軸方向と水平線のなす上下方向の角度をθ１、ＣＣＤカメラの取り付け高さをＨとすると、距離Ｌ２は次式で表される。
Ｌ２＝Ｈ／ｔａｎ（θ１−ｄθ２）
上式で得られた距離Ｌ２を車間距離とみなす。
ステップ１１４では、車間距離が所定値以上になるように車両速度を制御し、再度ステップ１０１に戻り、レーザレーダ２による測定を繰り返す。
【００２８】
図４に示すフローチャートのステップ１０３は発明の処理切替手段を構成し、ステップ１０６は第１のテンプレート画像記憶手段を、ステップ１１２は第２のテンプレート画像記憶手段を構成する。
ステップ１０７は発明の第１の先行車両位置算出手段を構成し、ステップ１１３は第２の先行車両位置算出手段を構成する。
【００２９】
従って、レーザレーダ２が所定距離内に存在する物体までの距離を測定していないときには、テンプレート画像記憶部５のメモリ９に記憶されているテンプレート画像と、画像入力装置の入力画像上でテンプレート画像と同じ大きさの領域の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる最大相関領域の周囲にテンプレート枠を設け、そのテンプレート枠で囲まれたテンプレート画像をメモリ９に記憶し、かつ、その中心点である先行車両推定点から先行車両位置を求めることにより、レーザレーダ２の測定範囲から先行車両が移動したために、レーザレーダ２が先行車両までの距離を測定できない場合でも、画像入力装置５の入力画像上に先行車両が撮影されていれば、先行車両位置を求めることができる。
なお、相関処理を行う入力画像の範囲を、メモリに記憶されたテンプレート画像の位置から車両が移動可能な範囲に予め設定すれば、相関処理を高速化することができる。
【００３０】
つぎに、本発明の第２の実施例を説明する。
本実施例は、相関処理において、テンプレート画像を縦方向に長く複数枚に分割し、分割された画像毎に相関値を求め、各分割画像の分割最大相関領域を算出し、各分割最大相関領域の相対位置関係に基づいて、先行車両推定点を求める。
また、先行車両が自車レーン内を走行しているのか否かを判断するレーン内判定部を有する
【００３１】
図７は、車両速度自動制御装置に応用した第２の実施例の構成を示す図である。
処理制御部１０は、メモリ１１を有し、レーザレーダ２の測定値から先行車両位置を算出するか、画像入力装置１から入力された画像の相関処理から先行車両位置を算出するかを、レーザーレーダ２の測定結果に基づいて選択し、レーザレーダ２の測定値から先行車両位置を算出する場合には、メモリ１１のフラグＳに０を設定し、画像入力装置１から入力された画像の相関処理から先行車両位置を算出する場合には、メモリ１１のフラグＳに１を設定する。
また、処理制御部１０は、レーザレーダ２、測定点算出部４、テンプレート画像記憶部５、相関算出部１３、レーン内判定部１４および車間距離算出部７に接続されている。
レーン内判定部１４は、測定点算出部４または相関算出部１３により設定されたテンプレート枠の位置が、自車走行レーン内か否かを判定する。
レーン内判定部１４は、測定点算出部４、テンプレート画像記憶部５および相関算出部１３にも接続されている。
【００３２】
図８および図９に示すフローチャートを用いて、本実施例の動作を説明する。ステップ２０１においてレーザレーダ２により走路前方の物体までの距離を測定する。
ステップ２０２で、画像入力装置１で走路前方の画像を撮影する。
ステップ２０３では、処理制御部１０において、レーザレーダ２により、走路前方の物体までの距離が適切に測定されたか、否か判定する。所定距離内の測定値が得られたときは、ステップ２０４に進む。測定値が得られなかったときや、あるいは、測定値が所定距離を越えた場合には、ステップ２０７に進む。
ステップ２０４では、処理制御部１０でメモリ１１のフラグＳに０を設定する。
ステップ２０５では、図４に示すフローチャートのステップ１０４と同様に、測定点算出部４で、レーザレーダ２の測定値と取り付け角度から入力画像上の測定点を算出する。
ステップ２０６では、測定点を中心とした所定の大きさのテンプレート枠を設定し、ステップ２１４へ進む。
【００３３】
ステップ２０３で、距離測定値が得られず、ステップ２０７に進むと、ステップ２０７では、処理制御部１０において、テンプレート画像記憶部５のメモリ９にテンプレート画像が記憶されているか否かを判定し、記憶されていなければ、ステップ２０１に戻り、レーザレーダ２での距離測定と、画像入力装置１での撮影を繰り返す。
メモリ９にテンプレート画像が記憶されているときには、ステップ２０８へ進む。
ステップ２０８では、処理制御部１０でメモリ１１のフラグＳに１を設定する。
ステップ２０９で、相関算出部１３において、図１０の（ａ）に示すようなテンプレート画像３１を図１０の（ｂ）に示すような縦方向に長い４つのテンプレート分割画像３２ａ、３２ｂ、３２ｃ、３２ｄに分割する。
【００３４】
ステップ２１０で、テンプレート分割画像３２ａ〜３２ｄと画像入力装置１から入力された画像との相関値を算出する。テンプレート分割画像３２ａ〜３２ｄと、入力画像上のテンプレート分割画像と同じ大きさの領域の画素濃度の差の総和の逆数を相関値として算出する。
この相関値が最も大きくなる入力画像の画像領域を分割最大相関領域とする。
相関値の算出と分割最大相関領域の決定は、各テンプレート分割画像毎に行う。すなわち、図１０の（ｃ）に示すように４つの分割最大相関領域３３ａ〜３３ｄが定められる。
【００３５】
ステップ２１１では、テンプレート画像内で隣合っていたテンプレート分割画像に対応する分割最大相関領域間の入力画像上での距離を算出する。
算出した距離が所定値より短い場合には、一つの物体を撮影した画像の隣り合う画像領域であると判断し、算出した距離が所定値以上の場合には、異なる物体を撮影した画像であると判断する。
隣合うテンプレート分割画像３組全てに対応する分割最大相関領域間の距離を算出し、一つの物体を撮影したものか、異なる物体を撮影したものか判断する。
ステップ２１２において、同一の物体を撮影したと判断された分割最大相関領域の組の中で、最も多数枚の分割最大相関領域を含んだ組を、先行車両を撮影した画像領域であるとみなし、図１０の（ｃ）に示すように、その画像領域の中心を先行車両推定点３４とする。
ステップ２１３では、所定の大きさのテンプレート枠を、ステップ２１２で算出した先行車両推定点を中心として設定し、ステップ２１４にすすむ。
【００３６】
ステップ２１４では、レーン内判定部１４で、ステップ２０６またはステップ２１３で設定されたテンプレート枠が、自車走行レーン内であるか、否かを判定する。
まず、図１１に示すように、テンプレート枠３５の下端中央と入力画像の下端中央とを結ぶ直線領域３６を設定する。直線領域３６の高輝度領域を抽出し、所定の長さ以上で縦方向に連続して存在する高輝度領域が存在したときには、その高輝度領域は道路白線であるとみなし、テンプレート枠３５は、自車走行レーン上ではないと判定する。
テンプレート枠が自車走行レーン内であればステップ２１７に進み、自車走行レーン内でなければ、ステップ２１５へ進む。
【００３７】
ステップ２１５では、処理制御部１０のメモリ１１に設定されているフラグＳが１か０かを判定し、０であれば、ステップ２０７に戻る。すなわち、レーザレーダ２で前方の物体まで距離を測定できていても、自車走行レーンの外にある物体までの距離を測定している場合には、ステップ２０７に戻り、以降の相関処理を実行する。
フラグＳが１に設定されている場合、すなわち相関処理を実行して、テンプレート枠が設定されたが、そのテンプレート枠が自車走行レーン外であった場合には、ステップ２１６にすすみ、テンプレート枠を初期化して、ステップ２０１へ戻る。
【００３８】
ステップ２１７では、処理制御部１０のメモリ１１に設定されているフラグＳが１か０かを判定し、０であれば、ステップ２１８に進み、１であれば、ステップ２２０に進む。
ステップ２１８では、テンプレート画像記憶部５で、ステップ２０６で設定されたテンプレート枠で囲まれた画像領域であるテンプレート画像をメモリ９に記憶する。
ステップ２１９では、図４に示すフローチャートのステップ１０７と同様に、レーザレーダ２の測定距離と取り付け角度から先行車両までの車間距離を算出し、ステップ２２２へ進む。
ステップ２２０では、テンプレート画像記憶部５で、ステップ２１３で設定されたテンプレート枠で囲まれた画像領域であるテンプレート画像をメモリ９に記憶する。
ステップ２２１では、図４に示すフローチャートのステップ１１３と同様に、先行車両推定点から車間距離を算出する。
ステップ２２２では、車間距離が所定値以上になるように走行速度を自動制御し、再度ステップ２０１に戻り、レーザレーダ２による測定を繰り返す。
【００３９】
図８に示すフローチャートのステップ２０３と図９のステップ２１７は、発明の処理切替手段を構成し、図９のステップ２１４は、発明のレーン内判定手段を、ステップ２１８は、第１のテンプレート画像記憶手段を、ステップ２２０は第２のテンプレート画像記憶手段を構成する。また、ステップ２１９は発明の第１の先行車両位置算出手段を構成し、ステップ２２１は第２の先行車両位置算出手段を構成する。
【００４０】
以上のように、まず、テンプレート画像と入力画像の相関値を算出する際に、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる分割最大相関領域を決定する。
そして、各分割最大相関領域の相対位置関係から先行車両推定点を決定して、その先行車両推定点から先行車両位置を求め、また先行車両推定点を中心として所定の大きさのテンプレート枠を設定することにより、第１の実施例と同様の効果が得られるとともに、レーザレーダ２で測定した点が、先行車両の端部であった場合でも、確実に入力画像上の先行車両推定点を求めることができるので先行車両検出精度を向上させることができる。
【００４１】
さらに、テンプレート枠が、自車走行レーン内か否かを判定し、自車走行レーン内であれば、そのテンプレート枠で囲まれたテンプレート画像をメモリに記憶することにより、自車走行レーンを走行中の先行車両のみのテンプレート画像をメモリに記憶することができるので自動速度制御装置等に本発明を応用する際の利便性が向上する。
また、テンプレート枠が自車走行レーン内でないときには、テンプレート画像をメモリに記憶しないので、その分処理時間が短縮でき、レーザレーダ２による距離測定の間隔を短縮できる。
【００４２】
【発明の効果】
以上説明したように、本発明の先行車両検出装置によれば、距離測定装置が、所定距離内に存在する物体までの距離を測定しているときには、距離測定装置の測定結果に基づいて先行車両位置を求め、また、同時に、画像入力装置の入力画像上に測定点を設け、その測定点を中心に所定の大きさの第１のテンプレート枠を設け、その第１のテンプレート枠に囲まれたテンプレート画像をテンプレート画像記憶部のメモリに記憶する。
【００４３】
距離を測定していないときには、テンプレート画像記憶部のメモリに記憶されているテンプレート画像と、入力画像上でテンプレート画像と同じ大きさの領域の相関値を算出し、入力画像上で、テンプレート画像との相関値が最も大きくなる画像領域の周囲に第２のテンプレート枠を設け、第２のテンプレート枠で囲まれたテンプレート画像をメモリに記憶し、その中心点である先行車両推定点から先行車両位置を求める。
これにより、距離測定装置の測定範囲から先行車両が移動したために、先行車両までの距離を測定できない場合でも、画像入力装置の入力画像上に先行車両が撮像されていれば、先行車両位置を求めることができる。
【００４４】
また、テンプレート画像と入力画像の相関値を算出する際に、メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に入力画像との相関値を算出し、入力画像上で、各テンプレート分割画像との相関値が最も大きくなる最大相関分割画像領域を決定し、各最大相関分割画像領域の相対位置関係から先行車両推定点を決定して、その先行車両推定点から先行車両位置を求め、また先行車両推定点を中心として所定の大きさの第２のテンプレート枠を設定し、第２のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する。
これにより、距離測定装置で距離を測定した点が、先行車両の端部であった場合でも、確実に入力画像上の先行車両推定点を求めることができるので先行車両検出精度を向上させることができる。
【００４５】
さらに、テンプレート枠が、自車走行レーン内か否かを判定し、自車走行レーン内であれば、そのテンプレート枠で囲まれたテンプレート画像をメモリに記憶することにより、自車走行レーンを走行中の先行車両のみのテンプレート画像をメモリに記憶することができるので自動速度制御装置等に本発明を応用する際の利便性が向上する。
また、テンプレート枠が自車走行レーン内でないときには、テンプレート画像をメモリに記憶しないので、その分処理時間が短縮でき、距離測定装置による測定間隔を短縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示す図である。
【図２】テンプレート枠およびテンプレート画像の説明図である。
【図３】テンプレート枠およびテンプレート画像の説明図である。
【図４】第１の実施例における動作の流れを示すフローチャートである。
【図５】測定点算出方法の説明図である。
【図６】先行車両推定点までの実空間での距離算出方法の説明図である。
【図７】本発明の第２の実施例の構成を示す図である。
【図８】第２の実施例における動作の流れを示すフローチャートである。
【図９】第２の実施例における動作の流れを示すフローチャートである。
【図１０】分割テンプレート画像の説明図である。
【図１１】自車走行レーン判定のための直線領域の説明図である。
【符号の説明】
１ 画像入力装置
２ レーザレーダ
３、１０ 処理制御部
４ 測定点算出部
５ テンプレート画像記憶部
６ 相関算出部
７ 車間距離算出部
８ 車両速度制御部
９、１１ メモリ
２１、２５ 入力画像
２２ 先行車両点
２３、２６、３５ テンプレート枠
２４、２８、３１ テンプレート画像
２７、３４ 先行車両推定点
２９ 撮像面
３０ レンズ
３２ａ、３２ｂ、３２ｃ、３２ｄ テンプレート分割画像
３３ａ、３３ｂ、３３ｃ、３３ｄ 分割最大相関領域
３６ 直線領域
Claims (3)
- 自車両から前方走路上の物体までの距離を測定する距離測定装置を有する先行車両検出装置において、
前記距離測定装置の測定範囲を含む前方走路を撮像する画像入力装置と、
前記距離測定装置の測定結果に基づいて、画像入力装置の入力画像上の測定点を算出し、該測定点を中心に所定の大きさの第１のテンプレート枠を設ける測定点算出部と、
前記第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第１のテンプレート画像記憶手段と、
前記距離測定装置の測定結果に基づいて先行車両位置を算出する第１の先行車両位置算出手段と、
前記メモリに記憶されているテンプレート画像と、前記画像入力装置の入力画像の相関値を算出し、前記入力画像上で、テンプレート画像との相関値が最も大きくなる最大相関領域を求め、該最大相関領域の周囲に第２のテンプレート枠を設け、該第２のテンプレート枠の中心に先行車両推定点を設定する相関算出部と、
前記第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶する第２のテンプレート画像記憶手段と、
前記先行車両推定点に基づいて先行車両位置を算出する第２の先行車両位置算出手段と、
前記距離測定装置が、所定距離内に存在する物体までの距離を測定しているか否かを判定し、所定距離内の測定値が存在したときは該測定結果に基づく前記第１の先行車両位置算出手段による検出処理を選択し、所定距離内の測定値が存在しないときは前記相関算出部が設定する先行車両推定点に基づく前記第２の先行車両位置算出手段による検出処理を選択する処理切替手段とを有することを特徴とする先行車両検出装置。 - 自車両から前方走路上の物体までの距離を測定する距離測定装置を有する先行車両検出装置において、
前記距離測定装置の測定範囲を含む前方走路を撮像する画像入力装置と、
前記距離測定装置の測定結果に基づいて、画像入力装置の入力画像上の測定点を算出し、該測定点を中心に所定の大きさの第１のテンプレート枠を設ける測定範囲算出部と、
前記第１のテンプレート枠に囲まれたテンプレート画像をメモリに記憶する第１のテンプレート画像記憶手段と、
前記距離測定装置の測定結果に基づいて先行車両位置を算出する第１の先行車両位置算出手段と、
前記メモリに記憶されているテンプレート画像を複数枚のテンプレート分割画像に分割し、各テンプレート分割画像毎に前記画像入力装置の入力画像との相関値を算出し、前記入力画像上で、各テンプレート分割画像との相関値が最も大きくなる分割最大相関領域を求め、各分割最大相関領域の相対位置関係から先行車両推定点を設定し、該先行車両推定点を中心に所定の大きさの第２のテンプレート枠を設定する相関算出部と、
前記第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶する第２のテンプレート画像記憶手段と、
前記先行車両推定点に基づいて先行車両位置を算出する第２の先行車両位置算出手段と、
前記距離測定装置が、所定距離内に存在する物体までの距離を測定しているか否かを判定し、所定距離内の測定値が存在したときは該測定結果に基づく前記第１の先行車両位置算出手段による検出処理を選択し、所定距離内の測定値が存在しないときは前記相関算出部が設定する先行車両推定点に基づく前記第２の先行車両位置算出手段による検出処理を選択する処理切替手段とを有することを特徴とする先行車両検出装置。 - 所定距離内の測定値が存在したときは、前記第１のテンプレート枠が、自車走行レーン内か否かを判定し、所定距離内の測定値が存在しないときには、前記第２のテンプレート枠が、自車走行レーン内か否かを判定するレーン内判定手段を有し、
前記第１のテンプレート画像記憶手段は、前記第１のテンプレート枠が自車走行レーン内であれば、前記第１のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶し、
また前記第２のテンプレート画像記憶手段は、前記第２のテンプレート枠が自車走行レーン内であれば、前記第２のテンプレート枠に囲まれたテンプレート画像を前記メモリに記憶することを特徴とする請求項１または２記載の先行車両検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21800297A JP3562250B2 (ja) | 1997-07-29 | 1997-07-29 | 先行車両検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21800297A JP3562250B2 (ja) | 1997-07-29 | 1997-07-29 | 先行車両検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1144533A JPH1144533A (ja) | 1999-02-16 |
| JP3562250B2 true JP3562250B2 (ja) | 2004-09-08 |
Family
ID=16713094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21800297A Expired - Fee Related JP3562250B2 (ja) | 1997-07-29 | 1997-07-29 | 先行車両検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3562250B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3671825B2 (ja) | 2000-09-22 | 2005-07-13 | 日産自動車株式会社 | 車間距離推定装置 |
| JP3766909B2 (ja) | 2001-11-30 | 2006-04-19 | 株式会社日立製作所 | 走行環境認識方法および装置 |
| DE10305861A1 (de) * | 2003-02-13 | 2004-08-26 | Adam Opel Ag | Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges |
| JP3988657B2 (ja) * | 2003-02-27 | 2007-10-10 | 日産自動車株式会社 | 対象物検出装置 |
| KR101063670B1 (ko) | 2003-06-04 | 2011-09-07 | 엘지전자 주식회사 | 휴대용 단말기 결합형 카메라를 이용한 거리 측정 방법 |
| JP4433887B2 (ja) | 2003-07-01 | 2010-03-17 | 日産自動車株式会社 | 車両用外界認識装置 |
| JP4763250B2 (ja) | 2004-04-09 | 2011-08-31 | 株式会社デンソー | 物体検出装置 |
| DE102005055347A1 (de) * | 2005-11-21 | 2007-05-24 | Robert Bosch Gmbh | Fahrerassistenzsystem |
| JP5379543B2 (ja) * | 2009-04-09 | 2013-12-25 | 日立オートモティブシステムズ株式会社 | 自動車の外界認識装置 |
| JP5563025B2 (ja) | 2012-03-28 | 2014-07-30 | 本田技研工業株式会社 | 踏切遮断機推定装置及び車両 |
| KR101778558B1 (ko) * | 2015-08-28 | 2017-09-26 | 현대자동차주식회사 | 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 |
| JP6883767B2 (ja) * | 2017-02-28 | 2021-06-09 | パナソニックＩｐマネジメント株式会社 | 変位計測装置および変位計測方法 |
| JP7306275B2 (ja) * | 2020-01-09 | 2023-07-11 | いすゞ自動車株式会社 | 距離画像生成装置及び距離画像生成方法 |
| JP7243671B2 (ja) * | 2020-04-21 | 2023-03-22 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
-
1997
- 1997-07-29 JP JP21800297A patent/JP3562250B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1144533A (ja) | 1999-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6744380B2 (en) | Apparatus for monitoring area adjacent to vehicle | |
| JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3562250B2 (ja) | 先行車両検出装置 | |
| JP4893212B2 (ja) | 周辺監視装置 | |
| US11468691B2 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
| JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
| JPH08136237A (ja) | 走行路勾配算出装置および車速制御装置 | |
| JP3384278B2 (ja) | 距離計測装置 | |
| JP3807583B2 (ja) | 道路領域判定装置 | |
| JP2000011157A (ja) | 撮像装置 | |
| JP3991501B2 (ja) | ３次元入力装置 | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JPH0552562A (ja) | 先行車追尾用車間距離検出装置 | |
| JPH07244717A (ja) | 車両用走行環境認識装置 | |
| JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
| JP3605955B2 (ja) | 車輌判別装置 | |
| JP3501841B2 (ja) | 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法 | |
| JPH11205663A (ja) | 車両用撮像装置の露光量制御装置 | |
| JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
| JPH1141521A (ja) | 撮像装置および車間距離計測装置ならびに車間距離計測方法 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JP3122777B2 (ja) | 無人走行車の測距装置 | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
| JP2635232B2 (ja) | 車間距離検出装置 | |
| JPH11223516A (ja) | ３次元画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |