JP3775200B2 - 車間距離推定装置 - Google Patents

車間距離推定装置 Download PDF

Info

Publication number
JP3775200B2
JP3775200B2 JP2000306975A JP2000306975A JP3775200B2 JP 3775200 B2 JP3775200 B2 JP 3775200B2 JP 2000306975 A JP2000306975 A JP 2000306975A JP 2000306975 A JP2000306975 A JP 2000306975A JP 3775200 B2 JP3775200 B2 JP 3775200B2
Authority
JP
Japan
Prior art keywords
inter
vehicle distance
vehicle
image
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000306975A
Other languages
English (en)
Other versions
JP2002117392A (ja
Inventor
智 田家
洋介 小林
秀明 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000306975A priority Critical patent/JP3775200B2/ja
Publication of JP2002117392A publication Critical patent/JP2002117392A/ja
Application granted granted Critical
Publication of JP3775200B2 publication Critical patent/JP3775200B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Controls For Constant Speed Travelling (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、レーダ(測距手段)と単眼カメラ(車両前方画像の撮像手段)とを備え、カメラ画像を処理して得た先行車両の画像とレーダによる測距結果を基準として、1つのテンプレート(部分画像)の位置変化により先行車両との車間距離を推定する車間距離推定装置に関する。
【0002】
【従来の技術】
従来、カメラ画像を処理して得た先行車両の画像を用いて自車両と先行車両との車間距離を推定する装置としては、下記に列挙するようなものが知られている。
(1)特開平4−209100号公報
車両外形や車両のエッジを検出して車間距離を推定する。
(2)特開平10−143779号公報
テンプレートマッチングを利用して車間距離を推定する。
(3)特開平11−44533号公報
車間距離検出手段の結果に基づき、カメラレンズの屈曲率等から幾何学的(絶対的)に先行車両の位置を設定する。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の車間距離推定装置にあっては、下記に列挙する問題点があった。
【0004】
(1)車両外形や車両のエッジを検出するものでは、自車両と先行車両との車間距離が非常に短く先行車両に接近してしまうと、車両外形や車両のエッジが画像からはみ出して車両外形やエッジが検出できなくなる。特に、一部のトラックの場合には、エッジがなく、模様しか検出できなくなり、近距離の車間距離が推定できない。
【0005】
(2)テンプレートマッチング手法を利用したものでは、実画像と比較する原画像(基準画像)を順次(時々刻々)更新するため、太陽光や影といった光環境の影響を受けやすく、テンプレートが思わぬ位置へマッチングしてゆくという誤認識が起こり得る。
【0006】
(3)車間距離に基づいて求められた先行車両位置を中心にテンプレートを(何も考えずに一義的に)作るため、その位置がたまたま濃淡差のあまり得られない画像であった場合に、誤認識が起こり得る。
すなわち、カメラ取付角度ばらつきや自車両状態の変化により、設定した基準画像(先行車両位置)にずれが生じてしまい、先行車両以外のものを設定してしまう場合がある。さらに、先行車両の一部を設定できた場合でも、撮像画像の濃淡差を考慮せずに設定しているため、刻々と移動する先行車両位置の推定が困難である。
【0007】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、1つのテンプレート(部分画像)を用いた先行車両認識により、自車両と先行車両の車間距離が短い場合、先行車両との車間距離を確実に精度良く推定することができる車間距離推定装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の発明では、自車両と先行車両との車間距離を検出する車間距離検出手段と、
自車両の前方の画像を撮像する撮像手段と、
前記車間距離検出値が設定値未満の近距離の値を示すとき、前記撮像手段からの画像のうち、先行車両の部分画像を基準画像として記憶すると共に、当該基準画像の上下方向の位置を記憶する基準画像記憶手段と、
前記基準画像が記憶される時点で、前記車間距離検出手段により検出される車間距離検出値を基準車間距離として記憶する基準車間距離記憶手段と、
基準車間距離と基準画像の記憶が終了している場合、前記撮像手段により撮像された画像に対し、前記基準画像と同じパターンの画像を探索することで先行車両の画像を部分画像として切り出す部分画像探索手段と、
前記切り出された部分画像の上下方向の位置を記憶する部分画像上下位置記憶手段と、
基準画像と部分画像との上下位置の変化量と、前記基準車間距離とから、車間距離を推定する車間距離推定手段と、
を備えていることを特徴とする。
【0009】
請求項2記載の発明では、請求項1に記載の車間距離推定装置において、
前記基準車間距離記憶手段及び基準画像記憶手段は、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉しているとの判断時には、その時点で基準車間距離と基準画像の記憶を更新する手段であることを特徴とする。
【0010】
請求項3記載の発明では、請求項1に記載の車線追従走行制御装置において、前記基準車間距離記憶手段及び基準画像記憶手段は、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉していない状態から先行車両を捕捉した状態に変化した時には、その時点で基準車間距離と基準画像の記憶を更新する手段であることを特徴とする。
【0011】
請求項4記載の発明では、請求項2に記載の車間距離推定装置において、
前記基準車間距離記憶手段及び基準画像記憶手段は、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉しているとの判断時には、前記車間距離検出手段により検出された車間距離が、前記設定値よりも大きい第1設定値を超えるときは、その時点で基準車間距離と基準画像の記憶を更新しない手段であることを特徴とする。
【0012】
請求項5記載の発明では、請求項1ないし請求項4に記載の車間距離推定装置において、
前記車間距離推定手段は、少なくとも前記撮像手段を用いて推定された車間距離が第2設定値以上の遠距離を示すときは、前記撮像手段を用いた車間距離推定を中止する手段であることを特徴とする。
【0013】
請求項6記載の発明では、請求項1ないし請求項4に記載の車間距離推定装置において、
前記車間距離推定手段は、少なくともテンプレートマッチング手法におけるマッチング度が設定以下の類似度を示すときは、前記撮像手段を用いた車間距離推定を中止する手段であることを特徴とする。
【0014】
請求項7記載の発明では、請求項1ないし請求項4に記載の車間距離推定装置において、
自車の車速を検出する車速検出手段を有し、
前記車間距離推定手段は、少なくとも前記車速検出手段からの車速検出値が設定車速以上のときは、前記撮像手段を用いた車間距離推定を禁止する、または、推定された車間距離を有効としない手段であることを特徴とする。
【0015】
請求項8記載の発明では、請求項1ないし請求項4に記載の車間距離推定装置において、
自車の発進を検出する発進検出手段を有し、
前記車間距離推定手段は、少なくとも前記発進検出手段により自車が発進状態にあるとき以外は、前記撮像手段を用いた車間距離推定を禁止する、または、推定された車間距離を有効としない手段であることを特徴とする。
【0016】
上記目的を達成するため、請求項9記載の発明では、自車両と先行車両との車間距離を検出する車間距離検出手段と、
自車両の前方の画像を撮像する撮像手段と、
前記車間距離検出手段により先行車両が捕捉されている場合、撮像手段により撮像された画像のうち、濃淡差が所定以上の部分を基準画像として記憶する基準画像記憶手段と、
前記基準画像が記憶される時点で、前記車間距離検出手段により検出された車間距離検出値を基準車間距離として記憶する基準車間距離記憶手段と、
基準車間距離と基準画像の記憶が終了している場合、前記撮像手段により撮像された画像に対し、前記基準画像と同じパターンの画像を探索することで先行車両の画像を部分画像として切り出す部分画像探索手段と、
前記切り出された部分画像の上下方向の位置を記憶する部分画像上下位置記憶手段と、
基準画像と部分画像との上下位置の変化量と、前記基準車間距離とから、車間距離を推定する車間距離推定手段と、
を備えていることを特徴とする。
【0017】
請求項10記載の発明では、請求項9に記載の車間距離推定装置において、
基準画像探索範囲を設定する基準画像探索範囲設定手段を有し、
前記基準画像記憶手段は、前記基準画像探索範囲設定手段により設定された基準画像探索範囲内において基準画像を記憶する手段であることを特徴とする。
【0018】
請求項11記載の発明では、請求項10に記載の車間距離推定装置において、
前記基準画像探索範囲設定手段は、前記車間距離検出手段により検出された車間距離に応じて探索範囲幅を変化させる手段であることを特徴とする。
【0019】
請求項12記載の発明では、請求項10または請求項11に記載の車間距離推定装置において、
前記基準画像探索範囲設定手段は、前記車間距離検出手段により検出された車間距離に応じて探索範囲を上下方向にオフセット補正する手段であることを特徴とする。
【0020】
請求項13記載の発明では、請求項10ないし請求項12に記載の車間距離推定装置において、
前記基準画像探索範囲設定手段は、前記撮像手段の取り付け角度に応じて探索範囲を上下方向にオフセット補正する手段であることを特徴とする。
【0021】
請求項14記載の発明では、請求項10ないし請求項13に記載の車間距離推定装置において、
前記基準画像探索範囲設定手段は、自車両のピッチ角度に応じて探索範囲を上下方向にオフセット補正する手段であることを特徴とする。
【0022】
請求項15記載の発明では、請求項10ないし請求項14に記載の車間距離推定装置において、
前記基準画像探索範囲設定手段は、道路曲率、自車両の舵角、ヨーレートのうち少なくとも一つの要素に応じて探索範囲を左右方向にオフセット補正する手段であることを特徴とする。
【0023】
【発明の作用および効果】
請求項1記載の発明にあっては、車間距離検出手段において、自車両と先行車両との車間距離が検出され、撮像手段において、自車両の前方の画像が撮像され、基準画像記憶手段において、車間距離検出値が設定値未満の近距離の値を示すとき、撮像手段からの画像のうち、先行車両の部分画像が基準画像として記憶されると共に、当該基準画像の上下方向の位置が記憶され、基準車間距離記憶手段において、基準画像が記憶される時点で、車間距離検出手段により検出される車間距離検出値が基準車間距離として記憶される。
【0024】
そして、基準車間距離と基準画像の記憶が終了している場合、部分画像探索手段において、撮像手段により撮像された画像に対し、基準画像と同じパターンの画像を探索することで先行車両の画像が部分画像として切り出され、部分画像上下位置記憶手段において、切り出された部分画像の上下方向の位置が記憶され、車間距離推定手段において、基準画像と部分画像との上下位置の変化量と、基準車間距離とから、車間距離が推定される。
【0025】
すなわち、車間距離検出手段(レーダ)により検出された車間距離が小さい値を示す時(=近距離の時)、撮像手段(カメラ)により撮像された画像の一部が基準画像(=テンプレート)として記憶されると共に、その時の車間距離検出値が基準車間距離として記憶される。その後、刻々撮像された画像上で、基準画像との一致度合いが強い位置へと画像を平行移動させる、いわゆる、テンプレートマッチングを行う。そして、テンプレートマッチングにより切り出された部分画像の基準画像からの上下方向の移動量と、基準車間距離とから車間距離が推定される。
【0026】
このように、近距離での撮像された部分画像を基準画像とするテンプレートマッチング手法を利用するため、画像から車両像がはみ出したり、エッジがとれなくても、車両の部分的な模様等が検出できれば、車間距離の推定が可能になる。また、近距離に限ることで車両像が大きくなるため、最初に記憶した部分画像と常にマッチングを図る方式を採用することができる。そのため、太陽光の影響等で基準が少しずつ変わり、結果として思わぬ方向へマッチングが進んでゆく現象を少なくすることができる。
【0027】
このため、1つのテンプレート(近距離での撮像された部分画像)を用いた先行車両認識により、自車両と先行車両との車間距離が短い場合、先行車両との車間距離を確実に精度良く推定することができる。
【0028】
請求項2記載の発明にあっては、基準車間距離記憶手段及び基準画像記憶手段において、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉しているとの判断時には、その時点で基準車間距離と基準画像の記憶が更新される。すなわち、一旦、基準車間距離と基準画像の記憶が終了した後であっても、先行車両を捕捉していれば、先行車両の捕捉毎に、基準車間距離と基準画像が更新される。
【0029】
このため、車間距離検出手段により検出される基準車間距離との比較頻度が上がり、より車間距離推定の信頼性を増すことができるという効果がある。
【0030】
請求項3記載の発明にあっては、基準車間距離記憶手段及び基準画像記憶手段において、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉していない状態から先行車両を捕捉した状態に変化した時には、その時点で基準車間距離と基準画像の記憶が更新される。すなわち、一旦、基準車間距離と基準画像の記憶が終了した後であっても、先行車両を捕捉していない状態から捕捉状態になったとき、その時点で基準車間距離と基準画像の記憶が更新される。
【0031】
このため、万が一、撮像手段からの画像に基づき推定された車間距離が何らかの原因で真の値からからずれることがあっても、再度、先行車両を捕捉すれば、基準車間距離と基準画像の記憶が更新されるため、短い時間で、あるいは、少ない誤差で、真の車間距離に戻ることが可能になるという効果がある。
【0032】
請求項4記載の発明にあっては、基準車間距離記憶手段及び基準画像記憶手段において、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉しているとの判断時には、車間距離検出手段により検出された車間距離が、設定値よりも大きい第1設定値を超えるときは、その時点で基準車間距離と基準画像の記憶が更新されない。
【0033】
このため、何らかの原因で車間距離検出手段が遠方の距離を検出しても、撮像手段からの画像に基づき推定された車間距離の値を用いることが可能になり、車間距離推定の信頼性をより増すことができるという効果がある。
【0034】
請求項5記載の発明にあっては、車間距離推定手段において、少なくとも撮像手段を用いて推定された車間距離が第2設定値以上の遠距離を示すときは、撮像手段を用いた車間距離推定が中止される。
【0035】
このため、先行車両が遠方に移動して、画像として小さくなることによる車間距離推定精度の悪化を防止できるという効果がある。
【0036】
請求項6記載の発明にあっては、車間距離推定手段において、少なくともテンプレートマッチング手法におけるマッチング度が設定以下の類似度を示すときは、撮像手段を用いた車間距離推定が中止される。
【0037】
このため、マッチング不良による車間距離推定精度の悪化を防止できるという効果がある。
【0038】
請求項7記載の発明にあっては、車間距離推定手段において、少なくとも車速検出手段からの車速検出値が設定値以上のときは、撮像手段を用いた車間距離推定が禁止されるか、または、撮像手段を用いて推定された車間距離が有効とされない。すなわち、撮像手段を用いた車間距離推定は、低速走行時に限られる。
【0039】
このため、急激な車両状態変化や急激な車間距離変動が少ない状態で車間距離の推定が行われることになり、車間距離推定の信頼性をより増すことができるという効果がある。
【0040】
請求項8記載の発明にあっては、車間距離推定手段において、少なくとも発進検出手段により自車が発進状態にあるとき以外は、撮像手段を用いた車間距離推定が禁止されるか、または、撮像手段を用いて推定された車間距離が有効とされない。すなわち、撮像手段を用いた車間距離推定は、発進直後に限られる。
【0041】
このため、撮像手段を用いた車間距離推定の失敗の頻度を減少できるという効果がある。
【0042】
請求項9記載の発明にあっては、車間距離検出手段において、自車両と先行車両との車間距離が検出され、撮像手段において、自車両の前方の画像が撮像され、
基準画像記憶手段において、車間距離検出手段により先行車両が捕捉されている場合、撮像手段により撮像された画像のうち、濃淡差が所定以上の部分が基準画像として記憶され、基準車間距離記憶手段において、基準画像が記憶される時点で、車間距離検出手段により検出された車間距離検出値が基準車間距離として記憶される。
【0043】
そして、基準車間距離と基準画像の記憶が終了している場合、部分画像探索手段において、撮像手段により撮像された画像に対し、基準画像と同じパターンの画像を探索することで先行車両の画像が部分画像として切り出され、部分画像上下位置記憶手段において、切り出された部分画像の上下方向の位置が記憶され、車間距離推定手段において、基準画像と部分画像との上下位置の変化量と、基準車間距離とから、車間距離が推定される。
【0044】
すなわち、車間距離検出手段(レーダ)により先行車両が捕捉されている場合、撮像手段(カメラ)により撮像された画像のうち濃淡差が大きい画像の一部が基準画像(=テンプレート)として記憶されると共に、その時の車間距離検出値が基準車間距離として記憶される。その後、刻々撮像された画像上で、基準画像との一致度合いが強い位置へと画像を平行移動させる、いわゆる、テンプレートマッチングを行う。そして、テンプレートマッチングにより切り出された部分画像の基準画像からの上下方向の移動量と、基準車間距離とから車間距離が推定される。
【0045】
このように、濃淡差が大きい画像の一部を基準画像としていることで、先行車両との車間距離が短い場合でも、刻々撮像された先行車両の画像上で基準画像と一致する濃淡差の大きい部分画像を確実に切り出すことが可能である。
【0046】
このため、1つのテンプレート(濃淡差の大きい部分画像)を用いた先行車両認識により、自車両と先行車両との車間距離が短い場合、先行車両との車間距離を確実に精度良く推定することができる。
【0047】
請求項10記載の発明にあっては、基準画像記憶手段において、基準画像探索範囲設定手段により設定された基準画像探索範囲内において基準画像が記憶される。すなわち、基準画像の設定範囲を、基準画像探索範囲内に限定している。
【0048】
このため、先行車両以外のものを基準画像として設定してしまうことがなく、確実に先行車両の一部を基準画像として設定することができる。
【0049】
請求項11記載の発明にあっては、基準画像探索範囲設定手段において、車間距離検出手段により検出された車間距離に応じて探索範囲幅が変化させられる。
【0050】
このため、確実に先行車両で濃淡差が大きい場所を基準画像として設定することができる。
【0051】
請求項12記載の発明にあっては、基準画像探索範囲設定手段において、車間距離検出手段により検出された車間距離に応じて探索範囲が上下方向にオフセット補正される。
【0052】
このため、車間距離の違いによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0053】
請求項13記載の発明にあっては、基準画像探索範囲設定手段において、撮像手段の取り付け角度に応じて探索範囲が上下方向にオフセット補正される。
【0054】
このため、撮像手段の取付角度ばらつきによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0055】
請求項14記載の発明にあっては、基準画像探索範囲設定手段において、自車両のピッチ角度に応じて探索範囲が上下方向にオフセット補正される。
【0056】
このため、自車両のピッチングによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0057】
請求項15記載の発明にあっては、基準画像探索範囲設定手段において、道路曲率、自車両の舵角、ヨーレートのうち少なくとも一つの要素に応じて探索範囲が左右方向にオフセット補正される。
【0058】
このため、コーナリングによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0059】
【発明の実施の形態】
{実施の形態1}
請求項1ないし請求項8に対応する実施の形態1の車間距離推定装置を、図1に示す構成図と、図2〜図7に示す第1の実施例〜第5の実施例に基づいて説明する。
【0060】
図1は実施の形態1の車間距離推定装置を示す構成図であり、1はレーザレーダ(車間距離検出手段)、2はレーザレーダコントローラ、3はCCD単眼カメラ(撮像手段)、4は画像処理装置、5は車速検出装置、6は外界認識装置、7はブレーキ圧制御装置、8はブレーキアクチュエータである。
【0061】
前記レーザレーダコントローラ2は、レーザレーダ1でスキャニングした自車両前方の距離情報から自車両走行レーンの先行車両を決定し、車間距離を検出する。
【0062】
前記画像処理装置4は、CCD単眼カメラ3で撮像した画像情報から先行車両を認識する。
【0063】
前記外界認識装置6は、レーザレーダコントローラ2,画像処理装置4及び自車速を検出する車速検出装置5の信号を入力し、入力情報に基づいて先行車両との車間距離情報を取得し、ここで得られた車間距離情報を走行制御系であるブレーキ圧制御装置7へ出力する。
【0064】
前記ブレーキ圧制御装置7は、車間距離情報に基づいて自車両の目標ブレーキ圧を演算し、ブレーキアクチュエータ8へ出力する。
【0065】
前記ブレーキアクチュエータ8は、目標ブレーキ圧に追従するサーボ機能により制御されたブレーキ圧を各輪へ付与する。
【0066】
なお、この実施の形態1では、車間距離情報はブレーキ制御装置に用いられる場合を説明するが、ブレーキとアクセルを併用して自動的に車間を維持する装置や警報装置等に用いられても良い。
【0067】
(第1の実施例)
第1の実施例は、請求項1,5,6,7に対応するものである。
【0068】
図2は外界認識装置6内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0069】
ステップ100では、数値化された濃淡度合いを配列IX(y,x)に記憶する。なお、CCDカメラ3が撮像した結果は、画像処理装置4にて濃淡度合いが数値化される。
【0070】
ステップ110では、車速検出装置5から出力された車速値V、レーザレーダコントローラ2で処理されたレーザレーダ1の出力値である車間距離値DLを読み込む。
【0071】
ステップ120では、車速Vが設定車速値V0(例えば、20km/h)より大きい否かが判断され、大きいときはステップ130へ進み、基準距離を記憶しているかどうかを示す基準距離記憶終了フラグflagをクリアし、次のステップ135にてCCD単眼カメラ3による車間距離の算出値DCをゼロとする。
【0072】
一方、ステップ120にて、車速Vが設定車速値V0以下の場合には、ステップ140へ進み、ステップ140では、基準距離記憶終了フラグflag=1か否かの判断が行われ、flag=1であればステップ210へ進み、flag=0であればステップ150へ進む。
【0073】
ステップ150では、レーザレーダ1が先行車両との車間距離を計測しているか否か、すなわち、先行車両が捕捉されているかロスト状態かを判断し、ロスト状態であればステップ130以降に進む。
【0074】
ステップ150で先行車両を捕捉していればステップ160へ進み、先行車両との車間距離DLが設定値DL0(例えば、7m)より近いか否かを判断し、遠ければステップ130以降へ進んで、CCDカメラ3による測距ロジックが働かない。
【0075】
ステップ160で現在近距離にあると判断されると、ステップ170へ進み、そのときのレーザレーダ1の出力値DLを基準車間距離D0と記憶すると共に、ステップ180にて、基準となる部分画像を基準画像IX0(y0,x0)として記憶する。ステップ170は基準車間距離記憶手段に相当し、ステップ180は基準画像記憶手段に相当する。
【0076】
そして、ステップ190では、基準車間距離記憶フラグflagを1にセットし、ステップ200では、レーザレーダ1の出力結果であるDLをCCDカメラ3による車間距離DCとし、次のステップ280では、この車間距離DCをブレーキ圧制御装置7に出力する。
【0077】
次の制御周期である100ms後には、ステップ140にて基準車間距離が記憶されていることを示す基準車間距離記憶フラグflagが1にセットされていることで、ステップ210へ進む。
【0078】
ステップ210では、テンプレートマッチング手法により、基準画像IX0の周辺で最も類似度が強い位置へ移動する(部分画像探索手段)。
【0079】
ステップ220では、基準画像IX0と新たに取り込まれた画像との一致度合いを示す相関係数Rが設定値R0を超えているか否かが判断され、R≦R0であり一致度合いが小さい場合はステップ130,ステップ135へ進み、カメラ測距の信頼性が低いと判断してカメラ測距を無効にする。また、R>R0であり一致度合いが大きい場合はステップ230へ進む。
【0080】
ステップ230では、基準画像IX0の上下方向の基準位置y0からの移動量△yが算出される(部分画像上下位置記憶手段)。そして、ステップ240では、ステップ230で算出された移動量△yが距離△Dに変換される。
ここで、△Dと△yとの間には、下記のような幾何学的な関係がある。
△D={(A−B)×D0×△y}/{(C−y0)×B}
ただし、A,B,C:カメラと車両に関する定数
y0:基準画像の代表点の上下方向座標
ステップ250では、車間距離DCが、DC=D0+△Dの式により算出される(車間距離推定手段)。
【0081】
ステップ260では、算出された車間距離DCが所定値DL2(例えば、8m)よりも大きいか否かが判断され、大きいと判断されたときはステップ130,ステップ135へ進み、カメラ測距の信頼性が低いと判断してカメラ測距を無効にする。
【0082】
一方、ステップ260でDC≦DL2と判断されたときは、ステップ280へ進み、ステップ250で算出された結果をCCDカメラ3による車間距離DCとし、この車間距離DCをブレーキ圧制御装置7に出力する。
【0083】
次に、作用効果を説明する。
【0084】
[車間距離推定作用と効果]
走行時、図2のフローチャートで、ステップ100→ステップ110→ステップ120→ステップ140→ステップ150→ステップ160→ステップ170→ステップ180→ステップ190→ステップ200→ステップ280へと進む流れとなり、ステップ150で先行車両を捕捉し、ステップ160で先行車両との車間距離DLが設定値DL0より近い場合、CCDカメラ3による測距ロジックが働き、ステップ170で、レーザレーダ1の出力値DLを基準車間距離D0として記憶し、ステップ180で、基準となる部分画像を基準画像IX0(y0,x0)として記憶する。そして、ステップ190で、基準車間距離記憶フラグflagを1にセットし、ステップ200で、レーザレーダ1の出力結果であるDLをCCDカメラ3による車間距離DCとし、ステップ280で、この車間距離DCをブレーキ圧制御装置7に出力する。
【0085】
そして、次の制御周期である100ms後には、基準車間距離記憶フラグflagが1にセットされていることで、ステップ140からステップ210→ステップ220→ステップ230→ステップ240→ステップ250→ステップ260→ステップ280へと進む流れとなり、ステップ210で、テンプレートマッチング手法により、基準画像IX0の周辺で最も類似度が強い位置へ移動し、ステップ220にて基準画像IX0と新たに取り込まれた画像との一致度合いが高いと判断された場合には、ステップ230で、基準画像IX0の上下方向の基準位置y0からの移動量△yを算出し、ステップ240で、ステップ230で算出された移動量△yを距離△Dに変換し、ステップ250で、車間距離DCがDC=D0+△Dの式により算出され、ステップ280で、ステップ250で算出された結果をCCDカメラ3による車間距離DCとし、この車間距離DCをブレーキ圧制御装置7に出力する。
【0086】
すなわち、レーザレーダ1により検出された車間距離DLが小さい値を示す時(=近距離の時)、CCDカメラ3により撮像された画像の一部が基準画像IX0(=テンプレート)として記憶されると共に(ステップ180)、レーザレーダ1の出力値DLが基準車間距離D0として記憶される(ステップ170)。そして、基準画像IX0と基準車間距離D0とが記憶されると、刻々撮像された画像上で、基準画像IX0との一致度合いが強い位置へと画像を平行移動させる、いわゆる、テンプレートマッチングを行う(ステップ210)。そして、テンプレートマッチングにより切り出された部分画像の基準画像IX0からの上下方向の移動量△y(距離△Dに変換)と、基準車間距離D0とから車間距離DCが算出により推定される。
【0087】
このように、近距離で撮像された部分画像を基準画像IX0とするテンプレートマッチング手法を利用するため、画像から車両像がはみ出したり、エッジがとれなくても、車両の部分的な模様等が検出できれば、車間距離DCの算出による推定が可能になる。
ここで、テンプレートマッチングでは、例えば、自車両も先行車両も動いていなければ、最も類似度の強い切り出された部分画像は基準画像IX0と同じ位置にあり、また、先行車両が僅かに前方に移動したとすると、最も類似度の強い切り出された部分画像は基準画像IX0から僅かに上方に移動させた位置となる。
【0088】
また、従来技術では先行車両が前方に行くと、車両自体が小さな像となるために、基準画像の大きさも小さくする必要がある。これに対し、実施の形態1では、基準画像IX0を得るのは近距離に限ることで車両像が大きくなるため、最初にステップ150及びステップ160の条件を満足した時点で記憶した基準画像IX0と常にマッチングを図る方式を採用することができる。そのため、基準画像IX0を更新する必要が無く、計算処理を少なくすることができるという利点がある。
【0089】
以上説明したように、この第1の実施例にあっては、近距離での撮像された部分画像による1つのテンプレートを用いた先行車両認識により、自車両と先行車両との車間距離が短い場合、先行車両との車間距離DCを確実に精度良く推定することができる。
【0090】
[車間距離推定中止作用と効果]
まず、カメラ測距による車間距離DCの推定は、▲1▼カメラ測距による車間距離DCが遠距離を示すときと、▲2▼テンプレートマッチング手法におけるマッチング度が低いときに中止される。
【0091】
▲1▼カメラ測距による車間距離DCが遠距離を示すとき
図2のステップ250で車間距離DCが算出されると、次のステップ260では、算出された車間距離DCが第2設定値DL2(例えば、8m)よりも大きいか否かが判断され、大きいと判断されたときはステップ130,ステップ135へ進み、カメラ測距の信頼性が低いと判断に基づきカメラ測距が中止にされる。
【0092】
すなわち、基準車間距離D0が設定値DL0(例えば、7m)未満であるにもかかわらず、カメラ測距により推定された車間距離DCが第2設定値DL2(例えば、8m)を超えるような遠距離を示すときは、先行車両が遠方に移動して、画像として小さくなることにより車間距離推定精度が悪化する。
【0093】
そこで、車間距離DCが第2設定値DL2よりも大きいと判断されたときはカメラ測距を中止したため、先行車両が遠方に移動して、画像として小さくなることによる車間距離推定精度の悪化を防止できるという効果がある。
【0094】
▲2▼テンプレートマッチング手法におけるマッチング度が低いとき
図2のステップ210にて、テンプレートマッチング手法により、基準画像IX0の周辺で最も類似度が強い位置へ移動した後、ステップ220にて、基準画像IX0と新たに取り込まれた画像との一致度合いを示す相関係数Rが設定値R0以下であり、一致度合いが小さい場合はステップ130,ステップ135へ進み、カメラ測距の信頼性が低いと判断してカメラ測距が中止される。
【0095】
すなわち、基準画像IX0と新たに取り込まれた部分画像との一致度合いが低いということは、テンプレートマッチングにおいて、基準画像IX0とは異なる部分画像位置に移動している可能性がある。
【0096】
そこで、基準画像IX0と新たに取り込まれた部分画像との一致度が低い場合にはカメラ測距を中止したため、マッチング不良による車間距離推定精度の悪化を防止できるという効果がある。
【0097】
[車間距離推定禁止作用と効果]
図2のステップ120にて、車速Vが設定車速値V0(例えば、20km/h)より大きい否かが判断され、大きいときはステップ130へ進み、基準距離を記憶しているかどうかを示す基準距離記憶終了フラグflagがクリアされ、次のステップ135にてCCD単眼カメラ3による車間距離の算出値DCがゼロとされる。
【0098】
すなわち、高速走行時には、直進から旋回への移行による車体ロール等のように急激な車両状態変化があったり、また、先行車両との車間距離も急激に縮まったりする等、急激な車間距離変動があったりする。このように画像が大きく振れるような走行状況でカメラ測距による車間距離DCの推定を行っても、その推定結果は実車間距離と大きくかけ離れたものとなる可能性がある。
【0099】
これに対し、カメラ測距による車間距離DCの推定を、低速走行時に限るようにしているため、急激な車両状態変化や急激な車間距離変動が少ない状態で車間距離CDの推定が行われることになり、車間距離推定の信頼性をより増すことができるという効果がある。
【0100】
(第2の実施例)
第2の実施例は、請求項1,2,5,6,7に対応するものである。
【0101】
図3は外界認識装置6内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0102】
この第2の実施例が第1の実施例と異なるのは、ステップ140とステップ210の間にステップ205が付加された点である。他の動作は図2に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0103】
ステップ205では、レーザレーダ1による先行車両の捕捉状況が判断され、レーザレーダ1により先行車両が捕捉されていると、ステップ170へ進み、基準距離D0の記憶が更新され、ステップ180にて基準画像IX0の記憶が更新される。それ以外の場合は、ステップ210に進み、テンプレートマッチング処理を継続する。
【0104】
以上のように、第2の実施例にあっては、一旦、基準車間距離D0と基準画像IX0の記憶が終了した後であっても、先行車両を捕捉していれば、先行車両の捕捉毎に、基準車間距離D0と基準画像IX0を更新するようにしたため、レーザレーダ1により検出される基準車間距離D0(=DL)との比較頻度が上がり、より車間距離推定DCの信頼性を増すことができるという効果がある。
【0105】
(第3の実施例)
第3の実施例は、請求項1,3,5,6,7に対応するものである。
【0106】
図4は外界認識装置6内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0107】
第3の実施例が第1の実施例と異なるのは、ステップ140とステップ210の間にステップ202,204が付加された点である。他の動作は図2に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0108】
ステップ202とステップ204では、前回の制御ターム(100ms前)と今回の制御タームとでレーザレーダ1による先行車両の捕捉状況が判断される。すなわち、前回ロストで、かつ、今回捕捉という状況になると、ステップ170へ進み、基準距離D0の記憶が更新され、ステップ180にて基準画像IX0の記憶が更新される。
【0109】
すなわち、一旦、基準車間距離D0と基準画像IX0の記憶が終了した後であっても、先行車両を捕捉していない状態から捕捉状態になったとき、その時点で基準車間距離D0と基準画像IX0の記憶が更新される。それ以外の場合は、ステップ210に進み、テンプレートマッチング処理を継続する。
【0110】
以上のように、第3の実施例にあっては、万が一、CCDカメラ3からの画像に基づき推定された車間距離DCが何らかの原因で真の値からからずれることがあっても、再度、先行車両を捕捉すれば、基準車間距離D0と基準画像IX0の記憶が更新されるため、短い時間で、あるいは、少ない誤差で、真の車間距離DCに戻ることが可能になるという効果がある。
【0111】
(第4の実施例)
第4の実施例は、請求項1,4,5,6,7に対応するものである。
【0112】
図5は外界認識装置6内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0113】
第4の実施例が第1の実施例と異なるのは、ステップ140とステップ210の間にステップ206,208が付加された点である。他の動作は図2に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0114】
ステップ206では、レーザレーダ1による先行車両の捕捉状況が判断される。レーザレーダ1により先行車両がロスト状態では、ステップ210に進んでテンプレートマッチング処理を継続する。ステップ206でレーザレーダ1により先行車両が捕捉状態であると、ステップ208に進み、レーダ測距による車間距離DLが第1設定値DL1(例えば、10m)より大きいか否かが判断され、大きければステップ210へ戻って、テンプレートマッチング処理を継続する。一方、ステップ208において、レーダ測距による車間距離DLが設定値DL1以下であると判断されれば、ステップ170へ進み、基準距離D0の記憶が更新され、ステップ180にて基準画像IX0の記憶が更新される。
【0115】
以上のように、第4の実施例にあっては、何らかの原因でレーザレーダ1が遠方の距離を検出しても、カメラ測距により推定された車間距離DCを用いることが可能になり、より信頼性を増すことができるという効果が得られる。
【0116】
(第5の実施例)
第5の実施例は、請求項1,4,5,6,8に対応するものである。
【0117】
図6及び図7は外界認識装置6内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0118】
第5の実施例が第1の実施例と異なるのは、ステップ110とステップ140の間にステップ300,310,320,330及びステップ137が付加された点である。他の動作は図2に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0119】
ステップ300〜ステップ330では、車両が発進状態にあるか否かが判断される。すなわち、ステップ300では、車速Vがゼロ(=車両が停止している)かどうか、かつ、スロットル開度Thがゼロより大きい(=発進指令が出ているか)かどうかが判断される。車速がゼロ、かつ、スロットル開度Thがゼロより大きいとき、発進状態に入ったと判断して、ステップ320にて発進状態フラグflag_startをセット(flag_start=1)する。また、ステップ300にて、発進状態に入った瞬間でないと判断されたらステップ310へ進み、車速Vが別に定めた設定値V1(例えば、15km/h)より大きいか否かを判断する。車速Vが設定値V1を超えると、発進状態が終了したと判断して、ステップ330にて発進状態フラグflag_startをクリア(flag_start=0)する。
【0120】
次に、ステップ137では、発進状態フラグflag_startがセットされているか否かが判断され、発進状態にないと、ステップ130,135へ進みカメラ測距による車間距離推定のロジックが働かないようになっている。
【0121】
以上のように、第5の実施例にあっては、発進状態にあるときにのみカメラ測距による車間距離推定ロジックを働かせるようにしているため、CCDカメラ3を用いた車間距離推定の失敗の頻度を減少できるという効果がある。
【0122】
{実施の形態2}
請求項9ないし請求項15に対応する実施の形態2の車間距離推定装置を、図8に示す構成図と、図9〜図22に示す第1の実施例〜第8の実施例に基づいて説明する。
【0123】
図8は実施の形態2の車間距離推定装置を示す構成図であり、1はレーザレーダ(車間距離検出手段)、2はレーザレーダコントローラ、3はCCD単眼カメラ(撮像手段)、14は画像処理コントローラ、5は車速検出装置、16は車間距離制御コントローラ、8はブレーキアクチュエータである。
【0124】
図1に示す実施の形態1の車間距離推定装置と異なる点について説明すると、前記画像処理コントローラ14では、CCDカメラ3からのカメラ撮像画像とレーザレーダコントローラ2からのレーダ測距による車間距離を入力し、カメラ測距による車間距離推定ロジックに基づいて車間距離を算出し、これを車間距離制御コントローラ16に出力する。
【0125】
前記車間距離制御コントローラ16では、画像処理コントローラ14またはレーザレーダコントローラ2からの車間距離情報に基づくブレーキ制御指令がブレーキアクチュエータ8に出力される。
【0126】
なお、この実施の形態2では、車間距離情報はブレーキ制御装置に用いられる場合を説明するが、ブレーキとアクセルを併用して自動的に車間を維持する装置や警報装置等に用いられても良い。
【0127】
(第1の実施例)
第1の実施例は請求項9に対応するものである。
【0128】
図9は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0129】
ステップ501では、CCD単眼カメラ3からの撮像画像が読み込まれる。
【0130】
ステップ502では、レーザレーダ1の出力値から基準車間距離Dが計測される。このステップは、基準車間距離Dが計測できればよいので、勿論、ミリ波レーダや車車間通信等を用いても良い。
【0131】
ステップ503では、測距対象の先行車両として、基準画像が設定されているか否かが判断される。基準画像が設定されていない場合には、基準画像設定処理(ステップ504以降)へ進み、既に基準画像が設定されている場合には、車間距離算出処理(ステップ509以降)へ進む。
【0132】
ステップ504では、ステップ503で基準画像なしと判断された場合、レーザレーダ1が先行車両を捕捉しているか否かが判断される。先行車両を捕捉していればステップ505へ進み、先行車両を捕捉していなければこの制御タームを終了する。
【0133】
ステップ505では、ステップ504において先行車両ありと判断された場合、ステップ501で撮像された撮像画像内におけるテンプレートウィンドウサイズの濃淡差が算出される。すなわち、原画像(撮像画像全体)からテンプレートウィンドウサイズの画像を切り出し、切り出した画像の濃淡差を求める。なお、濃淡差の算出方法は、ある画素の濃淡値と、その周り画素との差をテンプレートウィンドウ内の全ての画素について求め、その和として算出する。
【0134】
ステップ506では、ステップ505で算出された濃淡差の和(これを濃淡差と呼んでいる)うち、最大値LSmax及びその撮像画像内での位置Yが算出される。
【0135】
ステップ507では、ステップ506において算出された濃淡差が最大位置の切り出し画像(テンプレート画像)が、測距対象の基準画像としてメモリに記憶される(基準画像記憶手段)。
【0136】
ステップ508では、ステップ502において基準画像記憶時に読み込まれたレーザレーダ1の出力値が基準車間距離Dとして設定されると共に(基準車間距離記憶手段)、ステップ507において設定された基準画像の位置Y(撮像画像における縦座標値)に基づいて、予めメモリに記憶された基準車間距離マップから車間距離算出用マップが作成される。ここで、基準車間距離マップは特性が何本あっても良いが、図10に示すように、最低限で画像の上方と下方にそれぞれ上限特性と下限特性が1本ずつ存在すれば、その間を補間可能である。但し、補間を行う関係上、1本では成立しない。
【0137】
ステップ509では、ステップ503において基準画像ありと判断された場合、基準画像に対する撮像画像の類似度を示す相関値が算出される。
【0138】
ステップ510では、ステップ509において算出された相関値のうち、最大値となる位置が新たな先行車両推定位置Yとして設定される。
【0139】
ステップ511では、ステップ510において設定された現在の先行車両推定位置Yから、ステップ508において作成された車間距離算出用マップに基づいて車間距離Dが算出される。
【0140】
次に、作用効果を説明する。
【0141】
走行時、図9のフローチャートで、ステップ501→ステップ502→ステップ503→ステップ504→ステップ505→ステップ506→ステップ507→ステップ508へと進む流れとなり、ステップ504で先行車両を捕捉し、ステップ506で濃淡差の最大値LSmax及びその撮像画像内での位置Yが算出された場合、CCDカメラ3による測距ロジックが働き、ステップ507で、濃淡差が最大のテンプレート画像が測距対象の基準画像として記憶され、ステップ508で、基準画像記憶時のレーザレーダ1の出力値が基準車間距離Dとして記憶されると共に、ステップ508において、図10に示すように、設定された基準車間距離Dと基準画像の位置Yに基づいて、予めメモリに記憶された基準車間距離マップ1と基準車間距離マップ2から車間距離算出用マップが作成される。。
【0142】
そして、次の制御周期である100ms後には、基準車間距離Dと基準画像が既に記憶されていることで、ステップ503からステップ509→ステップ510→ステップ511へと進む流れとなり、ステップ509及びステップ510で、テンプレートマッチング手法により、基準画像の周辺で最も類似度が強い位置が算出され、ステップ511において、図11に示すように、ステップ510において設定された現在の先行車両推定位置Yから、ステップ508において作成された車間距離算出用マップに基づいて車間距離Dが算出される。
【0143】
ここで、車間距離算出用マップを用いた車間距離Dの算出例を示したが、この算出例は、図11に示すように、基準画像の上下方向移動量△Yを算出し、この移動量△Yを距離△Dに変換し、車間距離DをD=D−△Dの式により算出する場合と同じ意味ということができる。
【0144】
すなわち、車間距離検出手段(レーダ)により先行車両が捕捉されている場合、撮像手段(カメラ)により撮像された画像のうち濃淡差が大きい画像の一部が基準画像(=テンプレート)として記憶されると共に、その時の車間距離検出値が基準車間距離Dとして記憶される。その後、刻々撮像された画像上で、基準画像との一致度合いが強い位置へと画像を平行移動させる、いわゆる、テンプレートマッチングを行う。そして、テンプレートマッチングにより切り出された部分画像の基準画像からの上下方向の移動量△Yと、基準車間距離Dとから車間距離Dが推定される。
【0145】
このように、濃淡差が大きい画像の一部を基準画像としていることで、先行車両との車間距離が短い場合でも、刻々撮像された先行車両の画像上で基準画像と一致する濃淡差の大きい部分画像を確実に切り出すことが可能である。
【0146】
以上説明してきたように、第1の実施例にあっては、1つのテンプレート(濃淡差の大きい部分画像)を用いた先行車両認識により、自車両と先行車両との車間距離が短い場合、先行車両との車間距離Dを確実に精度良く推定することができる。
【0147】
(第2の実施例)
第2の実施例は、請求項9に対応するものである。
【0148】
図12は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0149】
第2の実施例が第1の実施例と異なるのは、ステップ505とステップ506の間にステップ601が付加された点である。他の動作は図9に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0150】
ステップ601では、ステップ505において算出された濃淡差のうち最大値LSmaxが設定値LS以上であるか否かが判断される。そして、LSmax≧LSである場合にのみステップ506へ進み、基準画像設定処理が行われる。
【0151】
このため第2の実施例にあっては、濃淡差最大値LSmaxが設定値LS以上である場合にのみ基準画像として設定するものであるため、第1の実施例より先行車両との車間距離を確実に精度良く推定することができる。
【0152】
(第3の実施例)
第3の実施例は、請求項9,10に対応するものである。
【0153】
図13は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0154】
第3の実施例が第2の実施例と異なるのは、ステップ504とステップ505の間にステップ701が付加された点である。他の動作は図12に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0155】
ステップ701では、撮像画像内の上下方向と左右方向に基準画像探索範囲が設定される。
【0156】
ステップ505では、ステップ501において撮像された撮像画像範囲内において、ステップ701において設定された基準画像探索範囲内におけるテンプレートウィンドサイズの濃淡差が算出される。
【0157】
すなわち、第1の実施例及び第2の実施例では、撮像された画像の全範囲にわたって基準画像を探索するのに対し、この第3の実施例では、基準画像を探索する探索範囲が限られる。なお、探索範囲の限界は、上限については画像消失点近傍であり、下限については無し、左右限については自車線幅相当としている。
【0158】
このため第3の実施例にあっては、上記効果に加え、基準画像の設定範囲を、基準画像探索範囲内に限定しているため、先行車両以外のものを基準画像として設定してしまうことがなく、確実に先行車両の一部を基準画像として設定することができる。
【0159】
(第4の実施例)
第4の実施例は、請求項9,10,11に対応するものである。
【0160】
図14は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0161】
第4の実施例が第3の実施例と異なるのは、ステップ701とステップ505の間にステップ801が付加された点である。他の動作は図13に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0162】
ステップ801では、ステップ701において設定された基準画像探索範囲に対し、ステップ502において読み込まれたレーザレーダ車間距離Dに応じて探索範囲幅が変化させられる。
【0163】
ステップ505では、ステップ501において撮像された撮像画像範囲内において、ステップ701,801において設定された基準画像探索範囲内におけるテンプレートウィンドサイズの濃淡差が算出される。
【0164】
ちなみに、図15は図14のステップ801における基準画像探索範囲幅の補正を説明したものであり、上下方向探索範囲幅dYと左右方向探索範囲幅dXとの車間距離に応じた値を予めメモリに用意しておき、ステップ502により読み込まれたレーザレーダ車間距離Dに基づいて上下方向探索範囲幅dYと左右方向探索範囲幅dXが決定されることで、図15の枠で示す先行車両の基準画像探索範囲のように、レーザレーダ車間距離Dが大の場合もレーザレーダ車間距離Dが小の場合も、先行車両のほぼ同じ部位を探索範囲として設定することができる。
【0165】
このため第4の実施例にあっては、上記効果に加え、確実に先行車両で濃淡差が大きい場所(部位)を基準画像として設定することができる。
【0166】
(第5の実施例)
第5の実施例は、請求項9,10,11,12に対応するものである。
【0167】
図16は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0168】
第5の実施例が第4の実施例と異なるのは、ステップ801とステップ505の間にステップ901が付加された点である。他の動作は図14に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0169】
ステップ901では、ステップ701,801において設定された基準画像探索範囲に対し、ステップ502において読み込まれたレーザレーダ車間距離Dに応じて探索範囲位置の上下位置がオフセット補正される。
【0170】
ステップ505では、ステップ501において撮像された撮像画像範囲内において、ステップ701,801,901において設定された基準画像探索範囲内におけるテンプレートウィンドサイズの濃淡差が算出される。
【0171】
ちなみに、図17は図16のステップ901における基準画像探索範囲の上下位置補正を説明したものであり、上下方向基準位置からの上下方向探索範囲補正値Yと車間距離との関係を予めメモリに用意しておき、ステップ502により読み込まれたレーザレーダ車間距離Dに基づいて上下方向探索範囲補正値Yが決定され、上下方向探索範囲補正値Y分だけ基準画像探索範囲をオフセット補正することで、図17の枠で示す先行車両の基準画像探索範囲を、レーザレーダ車間距離Dが大の場合もレーザレーダ車間距離Dが小の場合もほぼ同じ範囲の設定とすることができる。
【0172】
このため第5の実施例にあっては、上記効果に加え、車間距離の違いによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0173】
(第6の実施例)
第6の実施例は、請求項9,10,11,12,13に対応するものである。
【0174】
図18は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0175】
第6の実施例が第5の実施例と異なるのは、ステップ502とステップ503の間にステップ1001が付加され、ステップ901とステップ505の間にステップ1002が付加された点である。他の動作は図16に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0176】
ステップ1001では、予めメモリに記憶されたカメラ取付角度YOFF1が読み込まれる。このカメラ取付角度YOFF1は、刻々と学習した値としても良い。
【0177】
ステップ1002では、ステップ701,801,901において設定された基準画像探索範囲に対し、ステップ1001において読み込まれたカメラ取付角度(画像消失点座標)YOFF1と予めメモリに記憶された基準取付角度(基準画像消失点座標)YOFF0との差に応じて探索位置の上下位置がオフセット補正される。
【0178】
ステップ505では、ステップ501において撮像された撮像画像範囲内において、ステップ701,801,901,1002において設定された基準画像探索範囲内におけるテンプレートウィンドサイズの濃淡差が算出される。
【0179】
ちなみに、図19は図18のステップ1002における基準画像探索範囲の上下位置補正を説明したものであり、上下方向基準位置からの上下方向探索範囲補正値Yが、カメラ取付角度(画像消失点座標)YOFF1と予めメモリに記憶された基準取付角度(基準画像消失点座標)YOFF0との差により決定され、上下方向探索範囲補正値Y分だけ基準画像探索範囲をオフセット補正することで、図19の枠で示す先行車両の基準画像探索範囲を、カメラが上向きの場合もカメラが下向きの場合もほぼ同じ範囲の設定とすることができる。
【0180】
このため第8の実施例にあっては、上記効果に加え、CCD単眼カメラ3の取付角度ばらつきによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0181】
(第7の実施例)
第7の実施例は、請求項9,10,11,12,13,14に対応するものである。
【0182】
図20は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0183】
第7の実施例が第6の実施例と異なるのは、ステップ1002とステップ505の間にステップ1101が付加された点である。他の動作は図18に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0184】
ステップ1101では、ステップ701,801,901及びステップ1002において設定された基準画像探索範囲に対し、自車両のピッチ角度に応じて探索位置の上下位置がオフセット補正される。
【0185】
ステップ505では、ステップ501において撮像された撮像画像範囲内において、ステップ701,801,901,1002及びステップ1101において設定された基準画像探索範囲内におけるテンプレートウィンドサイズの濃淡差が算出される。
【0186】
すなわち、自車両がピッチ運動をした場合、自車両のピッチ角度に応じて基準画像探索範囲が上下方向に振れることになる。
【0187】
これに対し、第7の実施例にあっては、上記効果に加え、自車両のピッチングによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【0188】
(第8の実施例)
第8の実施例は、請求項9,10,11,12,13,14,15に対応するものである。
【0189】
図21は画像処理コントローラ14内のマイコンが制御周期100(ms)毎に実施する演算処理を表すフローチャートである。
【0190】
第8の実施例が第7の実施例と異なるのは、ステップ1001とステップ503の間にステップ1201,1202が付加され、ステップ1101とステップ505との間にステップ1203が付加された点である。他の動作は図20に示した制御フローチャートと同様であるため、異なる点についてのみ説明する。
【0191】
ステップ1201では、自車速度が読み込まれる。
【0192】
ステップ1202では、舵角が読み込まれる。
【0193】
ステップ1203では、ステップ701,801,901,1002及びステップ1101において設定された基準画像探索範囲に対し、自車速度及び舵角から算出される道路曲率から基準車間距離D(m)先の横位置を算出し、探索位置の左右位置がオフセット補正される。ここで、道路曲率に代え、自車両の舵角やヨーレート等から横位置を算出するようにしても良い。
【0194】
ステップ505では、ステップ501において撮像された撮像画像範囲内において、ステップ701,801,901,1002,1101及びステップ1203において設定された基準画像探索範囲内におけるテンプレートウィンドサイズの濃淡差が算出される。
【0195】
ちなみに、図22は図21のステップ1203における基準画像探索範囲の左右位置補正を説明したものであり、直進走行時における左右方向基準位置からの左右方向探索範囲補正値Yが、道路曲率により算出される自車両から基準車間距離Dだけ先の横位置から決定され、左右方向探索範囲補正値Y分だけ基準画像探索範囲をオフセット補正することで、図22の枠で示す先行車両の基準画像探索範囲を、直進走行時とコーナリング時とでほぼ同じ範囲の設定とすることができる。
【0196】
このため第8の実施例にあっては、上記効果に加え、コーナリングによる撮像画像内の先行車両位置を補正でき、確実に先行車両の下端中央付近を基準画像として設定することができるので、先行車両のブレーキON/OFFによる濃淡パターン変化の影響を受けることもなく、刻々と移動する先行車両との車間距離推定を確実に行うことができる。
【図面の簡単な説明】
【図1】実施の形態1の車間距離推定装置を示す構成図である。
【図2】第1の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図3】第2の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図4】第3の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図5】第4の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図6】第5の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図7】第5の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートの一部である。
【図8】実施の形態2の車間距離推定装置を示す構成図である。
【図9】第1の実施例における画像処理コントローラ内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図10】第1の実施例で用いる基準車間距離マップ1,2と基準車間距離マップ1,2から補間により設定される車間距離算出用マップを示す図である。
【図11】第1の実施例で設定された車間距離算出用マップからの車間距離算出を表す図である。
【図12】第2の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図13】第3の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図14】第4の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図15】第4の実施例における基準画像探索範囲幅の補正の説明図である。
【図16】第5の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図17】第5の実施例における基準画像探索範囲の上下位置補正の説明図である。
【図18】第6の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図19】第6の実施例における基準画像探索範囲の上下位置補正の説明図である。
【図20】第7の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図21】第8の実施例における外界認識装置内のマイコンが実施する車間距離推定演算処理を表すフローチャートである。
【図22】第8の実施例における基準画像探索範囲の左右位置補正の説明図である。
【符号の説明】
1 レーザレーダ(車間距離検出手段)
2 レーザレーダコントローラ
3 CCD単眼カメラ(撮像手段)
4 画像処理装置
5 車速検出装置
6 外界認識装置
7 ブレーキ圧制御装置
8 ブレーキアクチュエータ
14 画像処理コントローラ
16 車間距離制御コントローラ

Claims (15)

  1. 自車両と先行車両との車間距離を検出する車間距離検出手段と、
    自車両の前方の画像を撮像する撮像手段と、
    前記車間距離検出値が設定値未満の近距離の値を示すとき、前記撮像手段からの画像のうち、先行車両の部分画像を基準画像として記憶すると共に、当該基準画像の上下方向の位置を記憶する基準画像記憶手段と、
    前記基準画像が記憶される時点で、前記車間距離検出手段により検出される車間距離検出値を基準車間距離として記憶する基準車間距離記憶手段と、
    基準車間距離と基準画像の記憶が終了している場合、前記撮像手段により撮像された画像に対し、前記基準画像と同じパターンの画像を探索することで先行車両の画像を部分画像として切り出す部分画像探索手段と、
    前記切り出された部分画像の上下方向の位置を記憶する部分画像上下位置記憶手段と、
    基準画像と部分画像との上下位置の変化量と、前記基準車間距離とから、車間距離を推定する車間距離推定手段と、
    を備えていることを特徴とする車間距離推定装置。
  2. 請求項1に記載の車間距離推定装置において、
    前記基準車間距離記憶手段及び基準画像記憶手段は、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉しているとの判断時には、その時点で基準車間距離と基準画像の記憶を更新する手段であることを特徴とする車間距離推定装置。
  3. 請求項1に記載の車線追従走行制御装置において、
    前記基準車間距離記憶手段及び基準画像記憶手段は、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉していない状態から先行車両を捕捉した状態に変化した時には、その時点で基準車間距離と基準画像の記憶を更新する手段であることを特徴とする車間距離推定装置。
  4. 請求項2に記載の車間距離推定装置において、
    前記基準車間距離記憶手段及び基準画像記憶手段は、基準車間距離と基準画像の記憶が終了している場合、先行車両を捕捉しているとの判断時には、前記車間距離検出手段により検出された車間距離が、前記設定値よりも大きい第1設定値を超えるときは、その時点での基準車間距離と基準画像の記憶を更新しない手段であることを特徴とする車間距離推定装置。
  5. 請求項1ないし請求項4に記載の車間距離推定装置において、
    前記車間距離推定手段は、少なくとも前記撮像手段を用いて推定された車間距離が第2設定値以上の遠距離を示すときは、前記撮像手段を用いた車間距離推定を中止する手段であることを特徴とする車間距離推定装置。
  6. 請求項1ないし請求項4に記載の車間距離推定装置において、
    前記車間距離推定手段は、少なくともテンプレートマッチング手法におけるマッチング度が設定以下の類似度を示すときは、前記撮像手段を用いた車間距離推定を中止する手段であることを特徴とする車間に距離推定装置。
  7. 請求項1ないし請求項4に記載の車間距離推定装置において、
    自車の車速を検出する車速検出手段を有し、
    前記車間距離推定手段は、少なくとも前記車速検出手段からの車速検出値が設定車速以上のときは、前記撮像手段を用いた車間距離推定を禁止する、または、推定された車間距離を有効としない手段であることを特徴とする車間距離推定装置。
  8. 請求項1ないし請求項4に記載の車間距離推定装置において、
    自車の発進を検出する発進検出手段を有し、
    前記車間距離推定手段は、少なくとも前記発進検出手段により自車が発進状態にあるとき以外は、前記撮像手段を用いた車間距離推定を禁止する、または、推定された車間距離を有効としない手段であることを特徴とする車間距離推定装置。
  9. 自車両と先行車両との車間距離を検出する車間距離検出手段と、
    自車両の前方の画像を撮像する撮像手段と、
    前記車間距離検出手段により先行車両が捕捉されている場合、撮像手段により撮像された画像のうち、濃淡差が所定以上の部分を基準画像として記憶する基準画像記憶手段と、
    前記基準画像が記憶される時点で、前記車間距離検出手段により検出された車間距離検出値を基準車間距離として記憶する基準車間距離記憶手段と、
    基準車間距離と基準画像の記憶が終了している場合、前記撮像手段により撮像された画像に対し、前記基準画像と同じパターンの画像を探索することで先行車両の画像を部分画像として切り出す部分画像探索手段と、
    前記切り出された部分画像の上下方向の位置を記憶する部分画像上下位置記憶手段と、
    基準画像と部分画像との上下位置の変化量と、前記基準車間距離とから、車間距離を推定する車間距離推定手段と、
    を備えていることを特徴とする車間距離推定装置。
  10. 請求項9に記載の車間距離推定装置において、
    基準画像探索範囲を設定する基準画像探索範囲設定手段を有し、
    前記基準画像記憶手段は、前記基準画像探索範囲設定手段により設定された基準画像探索範囲内において基準画像を記憶する手段であることを特徴とする車間距離推定装置。
  11. 請求項10に記載の車間距離推定装置において、
    前記基準画像探索範囲設定手段は、前記車間距離検出手段により検出された車間距離に応じて探索範囲幅を変化させる手段であることを特徴とする車間距離推定装置。
  12. 請求項10または請求項11に記載の車間距離推定装置において、
    前記基準画像探索範囲設定手段は、前記車間距離検出手段により検出された車間距離に応じて探索範囲を上下方向にオフセット補正する手段であることを特徴とする車間距離推定装置。
  13. 請求項10ないし請求項12に記載の車間距離推定装置において、
    前記基準画像探索範囲設定手段は、前記撮像手段の取り付け角度に応じて探索範囲を上下方向にオフセット補正する手段であることを特徴とする車間距離推定装置。
  14. 請求項10ないし請求項13に記載の車間距離推定装置において、
    前記基準画像探索範囲設定手段は、自車両のピッチ角度に応じて探索範囲を上下方向にオフセット補正する手段であることを特徴とする車間距離推定装置。
  15. 請求項10ないし請求項14に記載の車間距離推定装置において、
    前記基準画像探索範囲設定手段は、道路曲率、自車両の舵角、ヨーレートのうち少なくとも一つの要素に応じて探索範囲を左右方向にオフセット補正する手段であることを特徴とする車間距離推定装置。
JP2000306975A 2000-10-06 2000-10-06 車間距離推定装置 Expired - Fee Related JP3775200B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000306975A JP3775200B2 (ja) 2000-10-06 2000-10-06 車間距離推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000306975A JP3775200B2 (ja) 2000-10-06 2000-10-06 車間距離推定装置

Publications (2)

Publication Number Publication Date
JP2002117392A JP2002117392A (ja) 2002-04-19
JP3775200B2 true JP3775200B2 (ja) 2006-05-17

Family

ID=18787556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000306975A Expired - Fee Related JP3775200B2 (ja) 2000-10-06 2000-10-06 車間距離推定装置

Country Status (1)

Country Link
JP (1) JP3775200B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9821824B2 (en) 2013-01-29 2017-11-21 Mitsubishi Heavy Industries, Ltd. Vehicle and track transportation system
US20210001850A1 (en) * 2018-03-01 2021-01-07 Jaguar Land Rover Limited Vehicle control method and apparatus
US20210233198A1 (en) * 2020-01-29 2021-07-29 Uber Technologies, Inc. Micro-mobility vehicle status compliance determination

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069328A (ja) * 2002-08-01 2004-03-04 Nissan Motor Co Ltd 前方環境認識装置及び前方環境認識方法
JP4433887B2 (ja) 2003-07-01 2010-03-17 日産自動車株式会社 車両用外界認識装置
JP2005284410A (ja) 2004-03-26 2005-10-13 Omron Corp 車両認識装置及び車両認識方法
JP5104880B2 (ja) * 2005-05-12 2012-12-19 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4603421B2 (ja) 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
CN102549631B (zh) * 2009-09-30 2014-11-12 松下电器产业株式会社 车辆周围监视装置
JP5907700B2 (ja) * 2011-11-18 2016-04-26 クラリオン株式会社 画像処理装置、車両システム、及び、画像処理方法
JP6384082B2 (ja) * 2014-03-26 2018-09-05 富士通株式会社 移動物体検出装置、移動物体検出方法、及びプログラム
JP6134687B2 (ja) * 2014-05-23 2017-05-24 本田技研工業株式会社 物体認識装置
WO2019208257A1 (ja) * 2018-04-23 2019-10-31 日立オートモティブシステムズ株式会社 車載カメラ装置
WO2021235001A1 (ja) * 2020-05-22 2021-11-25 日立Astemo株式会社 画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9821824B2 (en) 2013-01-29 2017-11-21 Mitsubishi Heavy Industries, Ltd. Vehicle and track transportation system
US20210001850A1 (en) * 2018-03-01 2021-01-07 Jaguar Land Rover Limited Vehicle control method and apparatus
US11958485B2 (en) * 2018-03-01 2024-04-16 Jaguar Land Rover Limited Vehicle control method and apparatus
US20210233198A1 (en) * 2020-01-29 2021-07-29 Uber Technologies, Inc. Micro-mobility vehicle status compliance determination

Also Published As

Publication number Publication date
JP2002117392A (ja) 2002-04-19

Similar Documents

Publication Publication Date Title
EP2422320B1 (en) Object detection device
US10922561B2 (en) Object recognition device and vehicle travel control system
JP5276637B2 (ja) 車線推定装置
US6489887B2 (en) Lane-keep assisting system for vehicle
JP3775200B2 (ja) 車間距離推定装置
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
JP4433887B2 (ja) 車両用外界認識装置
JP4763250B2 (ja) 物体検出装置
JP3630100B2 (ja) 車線検出装置
US8730325B2 (en) Traveling lane detector
WO2016117602A1 (ja) 車両制御装置及び車両制御方法
WO2022096027A1 (zh) 一种库位跟踪方法及装置
WO2022080049A1 (ja) 物体認識装置
WO2019065970A1 (ja) 車両用外界認識装置
US10953885B2 (en) Road surface detecting apparatus
JP2018136739A (ja) キャリブレーション装置
JP6314655B2 (ja) 標示線検出装置、標示線検出方法
JP2007253699A (ja) 光軸ずれ検出装置
JP3925285B2 (ja) 走行路環境検出装置
JP4110922B2 (ja) 車両用外界認識装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
JP3951734B2 (ja) 車両用外界認識装置
WO2020121757A1 (ja) 画像処理装置
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050830

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees