JP3633469B2 - 車間距離設定装置 - Google Patents

車間距離設定装置 Download PDF

Info

Publication number
JP3633469B2
JP3633469B2 JP2000306937A JP2000306937A JP3633469B2 JP 3633469 B2 JP3633469 B2 JP 3633469B2 JP 2000306937 A JP2000306937 A JP 2000306937A JP 2000306937 A JP2000306937 A JP 2000306937A JP 3633469 B2 JP3633469 B2 JP 3633469B2
Authority
JP
Japan
Prior art keywords
inter
vehicle
vehicle distance
detected
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000306937A
Other languages
English (en)
Other versions
JP2002116255A (ja
Inventor
琢 高浜
真次 松本
健 木村
博充 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000306937A priority Critical patent/JP3633469B2/ja
Publication of JP2002116255A publication Critical patent/JP2002116255A/ja
Application granted granted Critical
Publication of JP3633469B2 publication Critical patent/JP3633469B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、例えばレーダとカメラとを備え、自動制動などのために前方車両との車間距離を設定する車間距離設定装置に関するものである。
【0002】
【従来の技術】
このような車間距離設定装置としては、例えば本出願人が先に提案した特開平11−44533号公報に記載されるものがある。この車間距離設定装置は、レーザレーダが前方車両までの車間距離を検出している間に、当該前方車両の一部をテンプレートとして記憶し、レーザレーダが前方車両までの車間距離を検出できなくなったら、CCDカメラで捉えた画像の中に、テンプレートに最も類似する画像領域を相関処理によって求め、その中心の位置までの距離を車間距離として推定するものである。
【0003】
【発明が解決しようとする課題】
しかしながら、前記特開平11−44533号公報に記載される車間距離設定装置では、レーザレーダが前方車両までの車間距離を検出できなくなってから、事後的に、CCDカメラで捉えた画像から前方車両までの車間距離を推定するものであるため、少なくとも画像の中に前方車両を検出するまでの間、車間距離を設定することができないという問題がある。
【0004】
本発明は、これらの諸問題を解決すべく開発されたものであり、レーダが前方車両までの車間距離を検出できなくなるまでの間にも、カメラで捉えた画像から車間距離を推定し続け、その画像における前方車両の情報とレーダで検出した車間距離との相関を取得しておくことによって、レーダが前方車両までの車間距離を検出できなくなるまでも、その後も、連続的に車間距離を得ることができる車間距離設定装置を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項1に係る車間距離設定装置は、自車両から前方車両までの車間距離を検出する車間距離検出手段と、自車両の前方の画像を撮像する撮像手段と、前記撮像手段の画像から、前方車両の外形を構成する基準エッジ画像を検出し、その基準エッジ画像に関する情報を設定するエッジ画像情報設定手段と、自車両のピッチ運動量を検出するピッチ運動量検出手段と、前記車間距離検出手段で検出された前方車両までの車間距離と前記エッジ画像情報設定手段で設定された基準エッジ画像情報との相関を取得する相関取得手段と、前記エッジ画像情報設定手段で設定された基準エッジ画像情報と前記相関取得手段で取得された相関とに基づいて自車両から前方車両までの車間距離を推定する車間距離推定手段と、前記ピッチ運動量検出手段で検出されたピッチ運動量に応じて、前記車間距離検出手段で検出された前方車両までの車間距離と前記車間距離推定手段で推定された前方車両までの車間距離とを選択し、自車両から前方車両までの車間距離を設定する車間距離設定手段とを備えたことを特徴とするものである。
【0006】
また、本発明のうち請求項2に係る車間距離設定装置は、前記請求項1の発明において、前記車間距離設定手段は、前記ピッチ運動量検出手段で検出されたピッチ運動量に応じて、前記車間距離検出手段で検出された前方車両までの車間距離と前記車間距離推定手段で推定された前方車両までの車間距離との配分比を設定し、その配分比を夫々の前方車両までの車間距離に乗じて、自車両から前方車両までの車間距離を算出設定することを特徴とするものである。
【0007】
また、本発明のうち請求項3に係る車間距離設定装置は、前記請求項1又は2の発明において、前記ピッチ運動量検出手段は、自車両のピッチ運動量を予測し、その予測されるピッチ運動量に応じて、前記車間距離検出手段で検出された前方車両までの車間距離と前記車間距離推定手段で推定された前方車両までの車間距離との配分比を設定することを特徴とするものである。
【0008】
また、本発明のうち請求項4に係る車間距離設定装置は、前記請求項1乃至3の発明において、前記車間距離推定手段は、前記ピッチ運動量検出手段で検出された自車両のピッチ運動量に応じて、前記基準エッジ画像情報を補正することを特徴とするものである。
また、本発明のうち請求項5に係る車間距離設定装置は、前記請求項1乃至4の発明において、前記車間距離設定手段は、前記車間距離検出手段で検出された前方車両までの車間距離が所定値以下であるときに、前記車間距離推定手段で推定された前方車両までの車間距離を優先して、前方車両までの車間距離を設定することを特徴とするものである。
【0009】
また、本発明のうち請求項6に係る車間距離設定装置は、前記請求項1乃至5の発明において、前記エッジ画像情報設定手段は、前記撮像手段の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形内部の画像上座標を前記基準エッジ画像情報として設定することを特徴とするものである。
【0010】
また、本発明のうち請求項7に係る車間距離設定装置は、前記請求項1乃至5の発明において、前記エッジ画像情報設定手段は、前記撮像手段の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形の大きさを前記基準エッジ画像情報として設定することを特徴とするものである。
【0011】
また、本発明のうち請求項8に係る車間距離設定装置は、前記請求項1乃至7の発明において、前記車間距離検出手段は、自車両と前方車両との相対的な横位置を検出する機能を備え、前記エッジ画像情報設定手段は、前記撮像手段の画像で検出した前方車両候補の画像上の座標と、前記車間距離検出手段で検出された前方車両の相対的な横位置とを比較し、当該前方車両候補が存在する方向と当該前方車両が存在する方向とが異なるとき、その前方車両候補を排除することを特徴とするものである。
【0012】
また、本発明のうち請求項9に係る車間距離設定装置は、前記請求項1乃至8の発明において、前記エッジ画像情報設定手段は、前記撮像手段の画像で検出した前方車両候補の画像上の座標の動きの速度と、前記車間距離検出手段で検出された前方車両の車間距離の時間微分値とを比較し、相対速度又は相対速度ベクトルの異なる前方車両候補を排除することを特徴とするものである。
【0013】
また、本発明のうち請求項10に係る車間距離設定装置は、前記請求項1乃至9の発明において、前記車間距離設定手段は、前記撮像手段の画像が明るすぎるときに、前記車間距離検出手段で検出された前方車両までの車間距離を優先して、前方車両までの車間距離を設定することを特徴とするものである。
【0014】
【発明の効果】
而して、本発明のうち請求項1に係る車間距離設定装置によれば、前方車両までの車間距離を検出すると共に、自車両前方の画像から、前方車両の外形を構成する基準エッジ画像を検出し、その基準エッジ画像に関する情報と検出された前方車両までの車間距離との相関を取得し、当該基準エッジ画像情報と取得された相関とに基づいて自車両から前方車両までの車間距離を推定し、検出された自車両のピッチ運動量に応じて、検出された前方車両までの車間距離と推定された前方車両までの車間距離とを選択し、自車両から前方車両までの車間距離を設定する構成としたため、急制動によってピッチ角が次第に大きくなり、やがて前方車両までの車間距離を検出できなくなるような場合にも、少なくとも車間距離を検出することができなくなる直前まで前方車両までの車間距離を正確に設定することができ、また車間距離を検出することができなくなった直後からは、前記取得された相関を用いて、その後も検出される自車両前方の画像の基準エッジ画像情報から、前方車両までの車間距離を推定することができる。
【0015】
また、本発明のうち請求項2に係る車間距離設定装置によれば、検出されたピッチ運動量に応じて、検出された前方車両までの車間距離と推定された前方車両までの車間距離との配分比を設定し、その配分比を夫々の前方車両までの車間距離に乗じて、自車両から前方車両までの車間距離を算出設定する構成としたため、前記請求項1の発明の効果に加えて、急制動によってピッチ角が次第に大きくなり、やがて前方車両までの車間距離を検出できなくなるような場合には、当該前方車両までの車間距離を検出できなくなるピッチ角で、前記推定された前方車両までの車間距離だけが優先されるように配分比を設定することで、当該前方車両までの車間距離を検出できなくなるまでも、その後も、連続的に車間距離を得ることができる。
【0016】
また、本発明のうち請求項3に係る車間距離設定装置によれば、自車両のピッチ運動量を予測し、その予測されるピッチ運動量に応じて、検出された前方車両までの車間距離と推定された前方車両までの車間距離との配分比を設定する構成としたため、急制動によってピッチ角が次第に大きくなり、やがて前方車両までの車間距離を検出できなくなることを予測し、そのような場合には、予め当該前方車両までの車間距離を検出できなくなるピッチ角で、前記推定された前方車両までの車間距離だけが優先されるように配分比を設定することで、当該前方車両までの車間距離を検出できなくなるまでも、その後も、より一層滑らかに連続的に車間距離を得ることができる。
【0017】
また、本発明のうち請求項4に係る車間距離設定装置によれば、検出された自車両のピッチ運動量に応じて、基準エッジ画像情報を補正する構成としたため、ピッチ角変化に応じて生じる自車両前方の画像の歪みによる基準エッジ画像情報を補正して、それと検出された前方車両までの車間距離との相関を正確なものとし、前方車両までの車間距離を検出できなくなったときの車間距離をより正確に推定することができる。
【0018】
また、本発明のうち請求項5に係る車間距離設定装置によれば、検出された前方車両までの車間距離が所定値以下であるときに、推定された前方車両までの車間距離を優先して、前方車両までの車間距離を設定する構成としたため、前方車両が近すぎて正確な検出車間距離が得られないときに、より正確な推定車間距離を用いて車間距離を設定することができる。
【0019】
また、本発明のうち請求項6に係る車間距離設定装置によれば、画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形内部の画像上座標を基準エッジ画像情報として設定する構成としたため、ノイズに強い前方車両検出が可能となり、より正確に前方車両の位置を検出することができる。
【0020】
また、本発明のうち請求項7に係る車間距離設定装置によれば、画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形の大きさを基準エッジ画像情報として設定する構成としたため、ノイズに強い前方車両検出が可能となり、より正確に前方車両の大きさを検出することができる。
【0021】
また、本発明のうち請求項8に係る車間距離設定装置によれば、画像で検出した前方車両候補の画像上の座標と、検出された前方車両の相対的な横位置とを比較し、当該前方車両候補が存在する方向と当該前方車両が存在する方向とが異なるとき、その前方車両候補を排除する構成としたため、複数の前方車両候補がある場合に、より注視すべき前方車両を特定し易くなる。
【0022】
また、本発明のうち請求項9に係る車間距離設定装置によれば、画像で検出した前方車両候補の画像上の座標の動きの速度と、検出された前方車両の車間距離の時間微分値とを比較し、相対速度又は相対速度ベクトルの異なる前方車両候補を排除する構成としたため、複数の前方車両候補がある場合に、より注視すべき前方車両を特定し易くなる。
【0023】
また、本発明のうち請求項10に係る車間距離設定装置によれば、画像が明るすぎるときに、検出された前方車両までの車間距離を優先して、前方車両までの車間距離を設定する構成としたため、西日などにより前方車両を正確に検出できない状況で、不要なハンチングなどを起こすことなく、より正確に前方車両までの車間距離を設定することができる。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本発明の車間距離設定装置を展開した自動制動装置付き車両のシステム構成図である。前輪1F及び後輪1Rへの制動力は、ホイールシリンダ3F、3Rへの制動流体圧(図ではブレーキ圧)を、ブレーキ圧制御装置2からの指令値に基づいてブレーキアクチュエータ3で創成することによって制御される。なお、後輪1Rには車輪速センサ4aが設けられており、その車輪速センサ4aで検出された車輪速を、車速検出装置4で車速として検出するように構成されている。
【0025】
一方、キャビンのフロントガラス寄りには、撮像手段としてのCCDカメラ5が設けられている。このCCDカメラ5は、上下方向に20°程度の画角を有する。従って、相当の急制動時に、車体がノーズダイブしても、前方車両を撮像し続けることが可能である。このCCDカメラ5で撮像された自車両前方の画像は、画像処理装置6に取り込まれ、ここで、前方車両の検出と、その前方車両の画像上の情報出力が行われる。なお、この画像処理装置6では、後述するピッチ角検出装置からの自車両のピッチ角に応じて、前方車両の画像上の情報補正を行うように構成されている。
【0026】
また、車両の前方には、車間距離検出手段としてのレーザレーダ7とレーザレーダコントローラ8が設けられている。レーザレーダ7は、限られたパワーでより遠方まで測距する必要があるため、上下方向の検出角度は3〜4°程度である。そして、このレーザレーダ7で検出した自車両前方の距離情報から、レーザレーダコントローラ8で前方車両の検出と、その前方車両までの測距、即ち車間距離の検出が行われる。なお、このレーザレーダコントローラ8では、自車両前方の距離の情報を二次元的に並べることにより、前方車両が自車両に対してどの程度横方向にずれているか、即ち前方車両の自車両に対する相対横位置を検出することも可能である。また、レーザレーダ7の特性から、前方車両があまりにも近いと、車間距離の検出精度が悪くなる。
【0027】
また、車両の前端部及び後端部には、夫々、レーザ距離計9F、9Rが取付けられており、夫々、路面までの距離を検出する。そして、これらレーザ距離計9F、9Rの路面までの距離をピッチ角検出装置10で読込み、自車両のピッチ角pを算出する。なお、この実施形態では、前記二つのレーザ距離計9F、9Rは、共に、車両が中庸状態にあるときに同じ高さになるように取付けられている。従って、二つのレーザ距離計9F、9Rで検出される路面までの距離は、そのまま、そのときのレーザ距離計9F、9Rの高さHf、Hrとなり、レーザ距離計9F、9R同士の距離がdであるとすると、ピッチ角p(rad.)は、下記1式で求められる。ちなみに、式から分かるように、本実施形態では、テールスカット方向のピッチ角pが正値、ノーズダイブ方向のピッチ角pが負値となる。
【0028】
p= tan−1((Hf−Hr)/d) ……… (1)
なお、このピッチ角検出装置10では、前記ブレーキアクチュエータ3で発生するブレーキ圧(制動流体圧)に基づいて、自車両で発生するピッチ角pを予測することも可能である。つまり、各車輪に作用する制動流体圧が得られると、各車輪への制動力が求められるので、車体慣性によって車体がどの程度前傾するのか、つまりピッチ角pを予測することができる。また、車両に加速度センサを設け、予め求めた加速度(制動時には減速度)とピッチ角との相関に基づいて、そのときの加減速度からピッチ角を予測するようにしてもよい。
【0029】
そして、車間距離設定装置11は、前記車速検出装置4で検出された車速、画像処理装置6で検出された前方車両情報、レーザレーダコントローラ8で検出された前方車両情報並びに車間距離、ピッチ角検出装置10で検出されたピッチ角pを読込み、最も適切な前方車両までの出力車間距離Distを算出設定し、それを前記ブレーキ圧制御装置2に向けて出力する。この出力車間距離Distを読込んだブレーキ圧制御装置2では、例えば自車両の前方に、それまでの前方車両と異なる車両が割り込み、車間距離Distが急変した場合などに、自車両が、その前方車両に衝突するのを回避すべく、目標減速度又は目標制動力を設定し、その目標減速度又は目標制動力が達成されるようにブレーキ圧を制御する。なお、このようなブレーキ圧制御については、例えば特開平7−144588号公報に記載されるものを適用することができる。
【0030】
次に、前記レーザレーダコントローラ8で行われる車間距離X(k) 検出のための演算処理について図2のフローチャートを用いて説明する。このレーザレーダコントローラ8は、例えばマイクロコンピュータなどの演算処理装置を備えており、その演算処理装置内で所定のサンプリング時間(この場合は100msec. )毎にタイマ割込処理される。なお、このフローチャートでは、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読み出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【0031】
この演算処理のステップS101では、同ステップ内で行われる個別の演算処理に従って、レーザレーダ7のスキャニングを行う。周知のように、現行のレーザレーダは、レーザ光の出射範囲、即ち測距範囲が小さく、そのため、自車両前方の或る程度の領域において前方車両を検出するためには、レーザレーダの出射方向を車両幅方向に移動させる必要がある。
【0032】
次に、ステップS102に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップS101で読込んだレーザレーダスキャニング情報から、前方車両を捕捉したか否かを判定し、前方車両を捕捉した場合にはステップS103に移行し、そうでない場合にはステップS104に移行する。前方車両捕捉の判定は、例えば或る範囲に亘って、その他の領域よりも距離が短く、しかもその距離が同等又はほぼ同等である場合、その範囲に前方車両があり、その前方車両までの距離が車間距離になる。
【0033】
前記ステップS103では、同ステップ内で行われる個別の演算処理に従って、前述のようにして検出された前方車両までの車間距離X(k) を出力してからメインプログラムに復帰する。なお、kは、その演算処理が行われたサンプリング時刻を示す。
また、前記ステップS104では、同ステップ内で行われる個別の演算処理に従って、前方車両がない、或いは前方車両を見失った、つまり前方車両が検出できない(図ではロスト)意味の値(例えば255m)を車間距離X(k) として出力してからメインプログラムに復帰する。
【0034】
次に、前記画像処理装置6で行われる演算処理について説明する。この画像処理装置6も、例えばマイクロコンピュータなどの演算処理装置を備えており、所定のアルゴリズムに従って、種々の演算処理を行う。
ここで、まず、画像処理に関する透視変換とピッチ角補正の原理について説明する。
【0035】
透視変換とは、下記2式に従って、画像(二次元)上の距離を空間(三次元)の距離に変換することを意味する。
X=−f・X/Z
Y=−f・Y/Z ……… (2)
但し、
f:レンズとCCD受光面までの距離(フォーカス距離)
、Y、Z:三次元空間での幅、高さ、奥行き(=車間距離)
X、Y:画面上の横(水平)方向座標、縦(垂直)方向座標
である。
【0036】
一方、例えば前述のように、それまでの前方車両と自車両との間に個別の車両が割り込み、それを新たな前方車両として検出し、車間距離が急変したような場合には、前記ブレーキ圧制御装置2によって制動が行われる。この制動によって、車体がノーズダイブすると、前記CCDカメラ5は下向きになるため、このCCDカメラ5で撮像された前方車両は、見かけ上、遠くに移動する。この移動を補正するためには、下記3式を用いる。
【0037】
=p・Z−H ……… (3)
但し、
:CCDカメラ高さ
である。
この3式と前記2式から、ピッチ角pが変化したときの車間距離Zは、下記4式で求められる。
【0038】
=f・H/(Y+f・p) ……… (4)
但し、本実施形態では、前記ピッチ角pで車間距離を直接補正するわけではなく、例えば前記4式をYについて変換し、そのY座標についてのみピッチ角補正を行う。
次に、前記画像処理装置6で行われる基準エッジ画像情報出力のための演算処理について図3のフローチャートを用いて説明する。この演算処理は、前記画像処理装置6の演算処理装置内で所定のサンプリング時間(この場合は50msec. )毎にタイマ割込処理される。なお、このフローチャートでは、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読み出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【0039】
この演算処理のステップS201では、同ステップ内で行われる個別の演算処理によって、自車両の前方の撮像を行う。撮像は、例えば演算処理装置内のディジタルフィールドなどに画素情報を記憶することで行う。
次にステップS202に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップS201で取り込んだ前方画像情報から、前方車両の検出を行う。この前方車両の検出は、取り込んだ前方画像情報の中に、二つの縦エッジ(稜線)と二つの横エッジとで囲まれる四角形、又はほぼ四角形な物体を検出し、その四角形内部の領域を前方車両として検出する。つまり、この四角形が基準エッジ画像に相当する。なお、エッジの検出は、色合いや明度、輝度等の相違から求めることができる。
【0040】
次にステップS205に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップS202で前方車両候補を検出できたか否かの判定を行い、前方車両候補を検出できた場合にはステップS206に移行し、そうでない場合にはステップS207に移行する。
前記ステップS206では、同ステップ内で行われる個別の演算処理に従って、前方車両候補、つまり基準エッジ画像情報を出力してからメインプログラムに復帰する。この場合には、前記前方車両として検出した四角形領域の下側横エッジの中心点のY(垂直)座標を基準エッジ画像情報(四角形内部画像上座標)y(j) として出力する。なお、jは、その演算処理が行われたサンプリング時刻を示す。例えば同じ画角の中で、前方車両が遠ざかれば遠ざかるほど、画像に写る前記前方車両の四角形領域からなる基準エッジ画像は、例えば小さく、且つ上に移動する。従って、この四角形領域下側横エッジの中心点のY座標は、前方車両との車間距離が大きくなればなるほど、より上方になる。これを利用して、本実施形態では、この基準エッジ画像情報と、前記レーザレーダで検出された車間距離との相関をとり、レーザレーダが前方車両をロストしたときには、自車両前方画像で検出できる基準エッジ画像情報から車間距離を推定するのである。
【0041】
一方、前記ステップS207では、同ステップ内で行われる個別の演算処理に従って、ロストを意味する消失点Y(垂直)座標を、基準エッジ画像情報(四角形内部画像上座標)y(j) として出力してからメインプログラムに復帰する。
次に、前記車間距離設定装置11で行われる車間距離Y(k) 推定のための演算処理について図4のフローチャートを用いて説明する。この車間距離設定装置11は、例えばマイクロコンピュータなどの演算処理装置を備えており、その演算処理装置内で所定のサンプリング時間(この場合は100msec. )毎にタイマ割込処理される。なお、このフローチャートでは、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読み出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【0042】
この演算処理のステップS301では、前記レーザレーダコントローラ8から出力される車間距離X(k) 、画像処理装置6から出力される基準エッジ画像情報y(j) を読込む。
次にステップS302に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップS301で読込んだ画像処理装置6からの基準エッジ画像情報y(j) から、CCDカメラ5で前方車両候補を検出できているか否かを判定し、CCDカメラ5で前方車両候補を検出できている場合にはステップS303に移行し、そうでない場合にはステップS304に移行する。
【0043】
前記ステップS303では、同ステップ内で行われる個別の演算処理に従って、前記ステップS301で読込んだレーザレーダコントローラ8からの車間距離X(k) から、レーザレーダ7で前方車両を捕捉できているか否かを判定し、レーザレーダ7で前方車両を捕捉できている場合にはステップS305に移行し、そうでない場合にはステップS306に移行する。
【0044】
前記ステップS305では、同ステップ内で行われる個別の演算処理に従って、前記検出された車間距離X(k) が急変していることをチェックする、即ち前記レーザレーダコントローラ8から出力された車間距離の今回値X(k) と前回値X(k−1) との差分値の絶対値|X(k) −X(k−1) |が、予め設定された正値の所定値α以上であるか否かを判定し、当該絶対値|X(k) −X(k−1) |が所定値α以上である場合にはステップS307に移行し、そうでない場合にはステップS308に移行する。
【0045】
前記ステップS308では、レーザレーダが前方車両を安定して捕捉していることを表すレーザレーダ測距状態カウンタ変数iをインクリメントしてからステップS309に移行する。なお、変数iは、初期値が“0”であり、所定値以上大きくならない(オーバフローしない)カウンタ変数である。
一方、前記ステップS307では、前記レーザレーダ測距状態カウンタ変数iをクリアすると共に、後述する相関関数係数a、b及び平滑化済み係数A1、A2、B1、B2の過去値を全て“0”にリセットしてから前記ステップS309に移行する。
【0046】
前記ステップS309では、この演算処理の半分のサンプリング周期で実行される前記図2の演算処理の次の出力、つまり画像処理装置6からの基準エッジ画像情報の次回値y(j+1) を読込んでからステップS310に移行する。従って、ここまでの演算処理の間に、画像処理装置8から基準エッジ画像情報の次回値y(j+1) が出力されていない場合には、それが出力されるまでウエイトする。
【0047】
前記ステップS310では、下記5式に従って、前記画像処理装置6からの基準エッジ画像情報y(j) とレーザレーダコントローラ8からの車間距離X(k) との相関を示す相関係数a、bを算出してからステップS311に移行する。即ち、ここでは、基準エッジ画像情報y(j) は、切片をbとし、傾きaで、車間距離X(k) とリニアな関係にあると考える。なお、具体的な算出方法としては、(y(j+1)+y(j))/2とX(k) とから最小二乗法を用いて算出する。
【0048】
y(j) =a・X(k) +b ……… (5)
前記ステップS311では、下記6式に従って、平滑化済み係数A1、B1を算出してからステップS312に移行する。これは、初期的な前記係数a、bの変動を抑制するためで、一種のディジタルフィルタである。
A1=γ・A2+β・a
B1=γ・B2+β・b ……… (6)
但し、
β=1−γ
であり、γは1〜0の間の値であり、前記レーザレーダ測距状態カウンタ変数iが大きいほど、小さな値に変更する特性を与えてもよい。また、A2はA1の過去値、B2はB1の過去値であり、そのサンプリング時刻A1、B1の算出後に、夫々、更新される。A1、A2、B1、B2の初期値は、全て0である。
【0049】
一方、前記ステップS306では、同ステップ内で行われる個別の演算処理に従って、前記相関関数の信頼性チェックとして、前記レーザレーダ測距状態カウンタ変数iが所定値δ以上であるか否かを判定し、当該カウンタ変数iが所定値δ以上である場合にはステップS313に移行し、そうでない場合には前記ステップS304に移行する。
【0050】
前記ステップS313では、前記ステップS309と同様に、画像処理装置6からの基準エッジ画像情報の次回値y(j+1) を読込んでから前記ステップS312に移行する。
前記ステップS312では、下記7式に従って、車間距離推定値Y(k) を算出してからメインプログラムに復帰する。
【0051】
Y(k) =((y(j) +y(j+1))/2−B1)/A1 ……… (7)
一方、前記ステップS304では、同ステップ内で行われる個別の演算処理に従って、推定精度が低く、車間距離推定を行えないこと(図ではロスト)を意味する値(例えば255m)を車間距離推定値Y(k) として出力してからメインプログラムに復帰する。
【0052】
次に、前記車間距離設定装置11で行われる最終的な出力車間距離Dist設定のための演算処理について図5のフローチャートを用いて説明する。この演算処理は、前記図4の演算処理よりも短い、所定のサンプリング時間(この場合は10msec. )毎にタイマ割込処理される。なお、このフローチャートでも、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読み出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【0053】
この演算処理では、まずステップS403で、同ステップ内で行われる個別の演算処理に従って、前記レーザレーダ7及びレーザレーダコントローラ8で前方車両を検出できない、或いは見失った、つまり前記車間距離X(k) がロストを意味する値であるか否かを判定し、レーダがロストしている場合にはステップ404に移行し、そうでない場合にはステップS405に移行する。
【0054】
前記ステップS404では、同ステップ内で行われる個別の演算処理に従って、前記推定された車間距離推定値Y(k) を出力車間距離Distに設定し、その出力信号を創成出力してからメインプログラムに復帰する。
前記ステップS405では、前記レーダレーダコントローラ8から出力された車間距離X(k) が、例えばCCDカメラ5で撮像した画像からは前方車両、即ち基準エッジ画像を検出することができない程度の遠距離を意味する所定値ε以上であるか否かを判定し、車間距離X(k) が所定値ε以上である場合にはステップS402に移行し、そうでない場合にはステップS407に移行する。
【0055】
前記ステップS402では、同ステップ内で行われる個別の演算処理に従って、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) からは正確な車間距離推定値Y(k) を算出することができないとして、前記レーザレーダコントローラ8から出力された車間距離X(k) を出力車間距離Distに設定し、その出力信号を創成出力してからメインプログラムに復帰する。
【0056】
一方、前記ステップ407では、前記ピッチ角検出装置10で検出されたピッチ角pを読込んでからステップS408に移行する。
前記ステップS408では、同ステップ内で行われる個別の演算処理に従って、後述する図6の制御マップから前記ピッチ角pに関する関数値f(p) を求め、下記8式に従って出力車間距離Distを算出し、その出力信号を創成出力してからメインプログラムに復帰する。
【0057】
Dist=(1−f(p))・X(k) +f(p) ・Y(k) ……… (8)
次に、前記図6の制御マップについて説明する。この制御マップでは、検出されたピッチ角pが負値の所定値(−p)以下の領域及び正値の所定値(+p)以上の領域では、関数値f(p) は“1”一定である。また、前記負値の所定値(−p)より大きい負値の所定値(−p)以上で且つ前記世知の所定値(+p)より小さい正値の所定値(+p)以下の領域では、関数値f(p) は“0”一定である。そして、前記負値の所定値(−p)から前記負値の所定値(−p)まででは、関数値f(p) は“1”から“0”までリニアに減少する。逆に、前記正値の所定値(+p)から前記正値の所定値(+p)まででは、関数値f(p) は“0”から“1”までリニアに増加する。
【0058】
次に、前記各演算処理による作用について説明する。
前記図2の演算処理では、そのときのレーザレーダ7で検出された自車両前方の距離情報から前方車両を捕捉し、捕捉可能なときにはステップS102からステップS103に移行して車間距離X(k) を出力する。
一方、前記図3の演算処理では、そのときのCCDカメラ5で撮像された自車両前方の画像情報から前方車両を検出し、前方車両候補を検出可能なときにはステップS205からステップS206に移行して、前方車両として検出された縦エッジ及び横エッジで構成される四角形又はほぼ四角形の基準エッジ画像の情報、この場合は下側横エッジの中心点のY座標を、基準エッジ画像情報y(j) として出力する。
【0059】
これに対し、図4の演算処理では、前記CCDカメラ5で前方車両候補を検出することができ、且つレーザレーダ7で前方車両を捕捉することができるときには、ステップS302からステップS303を経てステップS305に移行する。このステップS305では、前記レーザレーダコントローラ8から出力される車間距離X(k) が急変しているかいないかをチェックし、当該車間距離X(k) が急変していないときには、ステップS308で、安定したレーザレーダによる測距を繰り返し、前記基準エッジ画像情報y(j) と車間距離X(k) との相関が信頼性を増しているとして、レーザレーダ測距状態カウンタ変数iをインクリメントする。
【0060】
そして、次のステップS309で、基準エッジ画像情報の次回値y(j+1) を読込み、次のステップS310で、前記基準エッジ画像情報y(j) と車間距離X(k) との相関係数a、bを算出し、更に次のステップS311でそれを平滑化して平滑化済み係数A1、B1を求め、次のステップS312で当該平滑化済み係数A1、B1、前記基準エッジ画像情報の今回値y(j) と次回値y(j+1) を用いて車間距離推定値Y(k) を算出する。
【0061】
もし、レーザレーダ7及びレーザレーダコントローラ8が前方車両を捕捉できなくなったら、ステップS303からステップS306に移行し、ここで前記レーザレーダ測距状態カウンタ変数iが所定値δより大きく、前記相関係数a、bや、そこから求めた平滑化済み係数A1、B1が信頼に足るものである場合には、次のステップS313で基準エッジ画像情報の次回値y(j+1) を読込み、前記ステップS312で、それまでの平滑化済み係数A1、B1及び前記基準エッジ画像情報の今回値y(j) と次回値y(j+1) を用いて車間距離推定値Y(k) を算出する。つまり、例えば前述したように車間距離が急変し、前記ブレーキ圧制御装置2によって急制動が行われ、その結果、車体がノーズダイブし、検出角の小さいレーザレーダ7が前方車両を捕捉できなくなった場合には、それまでの基準エッジ画像情報y(j) と検出された車間距離X(k) との間の相関を用い、CCDカメラ5及び画像処理情報6によって、それまでも、それ以後も得られる基準エッジ情報y(j) を基に、車間距離推定値Y(k) を推定し続けることができるのである。但し、前記安定したレーザレーダ測距経過時間を示すカウンタ変数iが前記所定値δ未満である場合にはステップS304に移行し、ロストを意味する車間距離推定値Y(k) が出力される。
【0062】
このようにして車間距離推定値Y(k) を設定し、且つレーザレーダコントローラ8からロストを意味する車間距離X(k) が得られている状態では、図5の演算処理のステップ403でレーダがロストしているとして、ステップS404に移行して前記車間距離推定値Y(k) が出力車間距離Distに設定される。また、車間距離X(k) が大きすぎて所定値εよりも大きく、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) では正確な車間距離推定値Y(k) が求められない状況下ではステップS402に移行して、前記車間距離X(k) が出力車間距離Distに設定される。
【0063】
これ以外の状況では、図5の演算処理ではステップS407からステップS408に移行して、ピッチ角pに応じた出力車間距離Distが設定される。ここで、ピッチ角p(の絶対値)が十分に小さい、つまり前記負値の所定値(−p)以上で且つ正値の所定値(+p)以下の領域では、前記関数値f(p) は“0”になるので、出力車間距離Distは実質的にレーザレーダ7及びレーザレーダコントローラ8で検出された車間距離X(k) に設定される。逆に、ピッチ角p(の絶対値)が十分に大きい、つまり前記負値の所定値(−p)以下、又は正値の所定値(+p)以上の領域では、前記関数値f(p) は“1”になるので、出力車間距離Distは実質的にCCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) に基づく前記車間距離推定値Y(k) に設定される。そして、夫々の領域の間では、配分比となる前記関数値f(p) がリニアに変化し、ピッチ角p(の絶対値)が小さいほど、レーザレーダ7及びレーザレーダコントローラ8で検出された車間距離X(k) の配分比が大きくなり、ピッチ角p(の絶対値)が大きいほど、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) に基づく前記車間距離推定値Y(k) の配分比が大きくなる。
【0064】
前述したように、レーザレーダ7及びレーザレーダコントローラ8で検出された車間距離X(k) は、ピッチ角pが小さい領域では極めて正確であるが、ピッチ角pの増大に伴って正確性が低下する。そこで、ピッチ角pが大きくなるほど、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) に基づく前記車間距離推定値Y(k) の配分比を大きくして、出力車間距離Distの正確度を高める。また、このように出力車間距離Distに連続性を与えることによって、車間距離が急変し、それによって前記ブレーキ圧制御装置などの制動力が急変するのを回避することができる。
【0065】
このように本実施形態の車間距離設定装置によれば、急制動によってピッチ角が次第に大きくなり、やがてレーザレーダ7で車間距離X(k) を検出できなくなるような場合にも、少なくとも車間距離を検出することができなくなる直前まで出力車間距離Distを正確に設定することができ、また当該車間距離X(k) を検出することができなくなった直後からは、取得された相関(係数)を用いて、その後も検出可能な基準エッジ画像情報y(j) から車間距離推定値Y(k) を推定し、それを用いて出力車間距離Distを設定することができる。また、検出されたピッチ角pに応じて、車間距離X(k) と車間距離推定値Y(k) との配分比である関数値f(p) を変更設定できるので、前方車両までの車間距離X(k) を検出できなくなるピッチ角pで車間距離推定値Y(k) だけが優先されるように配分比を設定することにより、レーザレーダ7で車間距離X(k) を検出できなくなるまでも、その後も、連続的に出力車間距離Distを得ることができる。また、ピッチ角pを予測することができれば、より一層滑らかに連続的に出力車間距離Distを得ることができる。
【0066】
また、ピッチ角pに応じて基準エッジ画像情報y(j) を補正することにより、ピッチ角変化に応じて生じる自車両前方の画像の歪みによる前方車両情報、つまり基準エッジ画像情報y(j) を補正し、それと車間距離X(k) との相関を正確なものとすることができるので、当該車間距離X(k) を検出できなくなっても車間距離推定値Y(k) をより正確に推定することができる。
【0067】
また、自車両前方の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の下側横エッジの中心点、即ち四角形内部の画像上座標を基準エッジ画像情報y(j) として設定する構成としたため、ノイズに強い前方車両検出が可能となり、より正確に前方車両の位置を検出することができる。
【0068】
以上より、前記レーザレーダ7及びレーザレーダコントローラ8及び前記図2の演算処理が、本発明の車間距離検出手段を構成し、以下同様に、前記CCDカメラ5が撮像手段を構成し、前記画像処理装置6及び前記図3の演算処理がエッジ画像情報設定手段を構成し、前記レーザ距離計9F、9R及びピッチ角検出装置10がピッチ運動量検出手段を構成し、前記車間距離設定装置11及び前記図4の演算処理のステップS310、ステップS311が相関取得手段を構成し、前記車間距離設定装置11及び前記図4の演算処理のステップS312が車間距離推定手段を構成し、前記車間距離設定装置11及び前記図5の演算処理全体が車間距離設定手段を構成している。
【0069】
次に、本発明の制動制御装置の第2実施形態について説明する。この実施形態における車両の構成は、前記第1実施形態の図1と同様である。
本実施形態では、前記画像処理装置6で行われる基準エッジ画像情報出力のための演算処理が、前記第1実施形態の図3のものから図7のフローチャートに示すものに変更されている。また、前記車間距離設定装置11で行われる最終的な出力車間距離Dist設定のための演算処理が、前記第1実施形態の図5のものから図8のフローチャートに示すものに変更されている。その他の演算処理は、前記第1実施形態と同様に行われる。
【0070】
このうち、図7の演算処理は、前記図3のものに類似しているが、前記ステップS202とステップS205との間に新たなステップS203が付加されており、合わせて前記ステップS206がステップS206’に変更されている。また、これに合わせて、前記レーザレーダコントローラ8は、前方車両の自車両に対する相対的な横位置を出力するように構成されている。
【0071】
そして、前記ステップS203では、同ステップ内で行われる個別の演算処理に従って、前記レーザレーダコントローラ8から出力される前方車両の自車両に対する相対的な横位置(図ではレーダ横位置)と、前記ステップS202で検出した前方車両候補(具体的には基準エッジ画像)の画像上の水平座標とを比較し、レーザレーダコントローラ8から得た横位置に相当する前方車両の存在する方向と、画像上の水平座標から前方車両候補が存在する方向とを判定し、夫々の存在方向が自車両に対して異なるとき、その画像上の前方車両候補を、対象とする前方車両から排除する。つまり、画像上に複数の前方車両候補があるような場合、画像情報だけでは、どれを直近の前方車両候補、つまり車間距離を推定すべき対象車両と判定するのが困難な場合がある。一方、レーザレーダ7で捉えた前方車両は、ほぼ確実に直近の前方車両であることから、このレーザレーダ7及びレーザレーダコントローラ8から得た前方車両の横位置と、画像上の前方車両候補の水平座標とを比較し、夫々の前方車両の存在方向が異なるときには、画像上の前方車両候補を排除してしまい、真に車間距離を推定すべき前方車両を選出するのである。
【0072】
また、前記ステップS206’は、同ステップ内で行われる個別の演算処理に従って、前方車両候補、つまり基準エッジ画像情報を出力してからメインプログラムに復帰するのであるが、この場合には、前記前方車両として検出した四角形の大きさ、例えば四角形の高さ又は幅、つまり縦エッジの長さか、又は横エッジの長さを基準エッジ画像情報(四角形の大きさ)y(j) として出力する。なお、jは、その演算処理が行われたサンプリング時刻を示す。例えば同じ画角の中で、前方車両が遠ざかれば遠ざかるほど、画像に写る前記前方車両の四角形領域からなる基準エッジ画像は、例えば小さく、且つ上に移動する。従って、この四角形の高さ又は幅は、前方車両との車間距離が大きくなればなるほど、小さくなる。これを利用して、本実施形態では、この基準エッジ画像情報と、前記レーザレーダで検出された車間距離との相関をとり、レーザレーダが前方車両をロストしたときには、自車両前方画像で検出できる基準エッジ画像情報から車間距離を推定するのである。
【0073】
また、図8の演算処理は、前記図5のものに類似しているが、前記ステップS405とステップS407との間に新たなステップS406が付加されている。このステップS406では、前記車間距離X(k) が所定値φ以下であるか否かを判定し、当該車間距離X(k) が所定値φ以下である場合には前記ステップS404に移行し、そうでない場合には前記ステップS407に移行する。この所定値φは、前述したようにレーザレーダ7として正確に測距できない、短い距離に設定してある。そのため、レーザレーダコントローラ8から得た車間距離X(k) が所定値φ以下である場合にはステップS404に移行して、前記車間距離推定値Y(k) が出力車間距離Distに設定される。
【0074】
この実施形態では、前記第1実施形態と同様に、前記図2の演算処理に従って、レーザレーダ7で検出された自車両前方の距離情報から前方車両を捕捉し、捕捉可能なときには車間距離X(k) を出力する。
一方、前記図7の演算処理では、そのときのCCDカメラ5で撮像された自車両前方の画像情報から前方車両候補を検出し、その前方車両候補の画像上の水平座標とレーザレーダコントローラ8から読込んだ前方車両の横位置とを比較し、前述のようにして不要な前方車両候補を排除した後、前記ステップS205からステップS206に移行して、前方車両として検出された縦エッジ及び横エッジで構成される四角形又はほぼ四角形の基準エッジ画像の情報、この場合は四角形の高さ又は幅で表れる当該四角形の大きさを、基準エッジ画像情報y(j) として出力する。
【0075】
これに対し、図4の演算処理では、前記第1実施形態と同様に、前記CCDカメラ5で前方車両候補を検出することができ、且つレーザレーダ7で前方車両を捕捉することができるときには、ステップS302からステップS303を経てステップS305に移行し、車間距離X(k) が急変していないときには、ステップS308でレーザレーダ測距状態カウンタ変数iをインクリメントする。そして、次のステップS309で、前記基準エッジ画像の四角形の大きさからなる基準エッジ画像情報の次回値y(j+1) を読込み、次のステップS310で、前記基準エッジ画像情報y(j) と車間距離X(k) との相関係数a、bを算出し、更に次のステップS311でそれを平滑化して平滑化済み係数A1、B1を求め、次のステップS312で当該平滑化済み係数A1、B1、前記基準エッジ画像情報の今回値y(j) と次回値y(j+1) を用いて車間距離推定値Y(k) を算出する。
【0076】
もし、レーザレーダ7及びレーザレーダコントローラ8が前方車両を捕捉できなくなったら、前記第1実施形態と同様に、ステップS303からステップS306に移行し、ここで前記レーザレーダ測距状態カウンタ変数iが所定値δより大きい場合には、次のステップS313で基準エッジ画像情報の次回値y(j+1) を読込み、前記ステップS312で、それまでの平滑化済み係数A1、B1及び前記基準エッジ画像情報の今回値y(j) と次回値y(j+1) を用いて車間距離推定値Y(k) を算出する。つまり、前記第1実施形態と同様に、車間距離が急変し、前記ブレーキ圧制御装置2によって急制動が行われ、その結果、車体がノーズダイブし、検出角の小さいレーザレーダ7が前方車両を捕捉できなくなった場合には、それまでの基準エッジ画像情報y(j) と検出された車間距離X(k) との間の相関を用い、CCDカメラ5及び画像処理情報6によって、それまでも、それ以後も得られる基準エッジ画像情報y(j) を基に、車間距離推定値Y(k) を推定し続けることができるのである。
【0077】
このようにして車間距離推定値Y(k) を設定し、且つレーザレーダコントローラ8からロストを意味する車間距離X(k) が得られている状態では、図8の演算処理のステップ403でレーダがロストしているとして、ステップS404に移行して前記車間距離推定値Y(k) が出力車間距離Distに設定される。また、車間距離X(k) が大きすぎて所定値εよりも大きく、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) では正確な車間距離推定値Y(k) が求められない状況下ではステップS402に移行して、前記車間距離X(k) が出力車間距離Distに設定される。逆に、車間距離がX(k) が小さすぎて所定値φよりも小さく、レーザレーダ7及びレーザレーダコントローラ8からの車間距離X(k) が正確でないという状況下では、前記ステップS404に移行して前記車間距離推定値Y(k) が出力車間距離Distに設定される。
【0078】
また、これ以外の状況では、前記第1実施形態と同様に、図8の演算処理のステップS407からステップS408に移行して、ピッチ角pに応じた出力車間距離Distが設定される。そのため、ピッチ角pが小さい領域では正確なレーザレーダ7及びレーザレーダコントローラ8の車間距離X(k) を用い、ピッチ角pが大きくなるほど、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) に基づく前記車間距離推定値Y(k) の配分比を大きくして、出力車間距離Distの正確度を高める。また、このように出力車間距離Distに連続性を与えることによって、車間距離が急変し、それによって前記ブレーキ圧制御装置などの制動力が急変するのを回避することができる。
【0079】
このように本実施形態の車間距離設定装置によれば、急制動によってピッチ角が次第に大きくなり、やがてレーザレーダ7で車間距離X(k) を検出できなくなるような場合にも、少なくとも車間距離を検出することができなくなる直前まで出力車間距離Distを正確に設定することができ、また当該車間距離X(k) を検出することができなくなった直後からは、取得された相関(係数)を用いて、その後も検出可能な基準エッジ画像情報y(j) から車間距離推定値Y(k) を推定し、それを用いて出力車間距離Distを設定することができる。また、検出されたピッチ角pに応じて、車間距離X(k) と車間距離推定値Y(k) との配分比である関数値f(p) を変更設定できるので、前方車両までの車間距離X(k) を検出できなくなるピッチ角pで車間距離推定値Y(k) だけが優先されるように配分比を設定することにより、レーザレーダ7で車間距離X(k) を検出できなくなるまでも、その後も、連続的に出力車間距離Distを得ることができる。また、ピッチ角pを予測することができれば、より一層滑らかに連続的に出力車間距離Distを得ることができる。
【0080】
また、ピッチ角pに応じて基準エッジ画像情報y(j) を補正することにより、ピッチ角変化に応じて生じる自車両前方の画像の歪みによる前方車両情報、つまり基準エッジ画像情報y(j) を補正し、それと車間距離X(k) との相関を正確なものとすることができるので、当該車間距離X(k) を検出できなくなっても車間距離推定値Y(k) をより正確に推定することができる。
【0081】
また、自車両前方の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形の大きさを基準エッジ画像情報y(j) として設定する構成としたため、ノイズに強い前方車両検出が可能となり、より正確に前方車両の位置を検出することができる。
【0082】
また、レーザレーダ7及びレーザレーダコントローラ8で検出された車間距離X(k) が所定値φ以下であるときに、車間距離推定値Y(k) を優先して出力車間距離Distを設定することで、より正確な車間距離推定値Y(k) を用いて車間距離を設定することができる。
また、画像で検出した前方車両候補の画像上の水平方向座標と、検出された前方車両の相対的な横位置とを比較し、前方車両候補が存在する方向と該前方車両が存在する方向とが異なるとき、その前方車両候補を排除することにより、複数の前方車両候補がある場合に、より注視すべき前方車両を特定し易くなる。
【0083】
以上より、前記レーザレーダ7及びレーザレーダコントローラ8及び前記図2の演算処理が、本発明の車間距離検出手段を構成し、以下同様に、前記CCDカメラ5が撮像手段を構成し、前記画像処理装置6及び前記図7の演算処理がエッジ画像情報設定手段を構成し、前記レーザ距離計9F、9R及びピッチ角検出装置10がピッチ運動量検出手段を構成し、前記車間距離設定装置11及び前記図4の演算処理のステップS310、ステップS311が相関取得手段を構成し、前記車間距離設定装置11及び前記図4の演算処理のステップS312が車間距離推定手段を構成し、前記車間距離設定装置11及び前記図8の演算処理全体が車間距離設定手段を構成している。
【0084】
次に、本発明の制動制御装置の第3実施形態について説明する。この実施形態における車両の構成は、前記第1実施形態の図1に代えて、図9のようになっている。図9の車両構成は、図1のものに類似しているが、図1のレーザ距離計9F、9Rが除去され、代わりに車両重心点近傍に加速度センサ12が設けられ、その出力がピッチ角検出装置10に入力されている。そのため、本実施形態のピッチ角検出装置10では、前述したように、加速度センサ12の加減速度の大きさから、車体のピッチ角pを予測する。
【0085】
また、本実施形態では、前記画像処理装置6で行われる基準エッジ画像情報出力のための演算処理が、前記第2実施形態の図7のものから図10のフローチャートに示すものに変更されている。また、前記車間距離設定装置11で行われる最終的な出力車間距離Dist設定のための演算処理が、前記第2実施形態の図8のものから図11のフローチャートに示すものに変更されている。その他の演算処理は、前記第1実施形態と同様に行われる。
【0086】
このうち、図10の演算処理は、前記図7のものに類似しているが、前記ステップS203とステップS205との間に新たなステップS204が付加されており、合わせて前記ステップS206’がステップS206”に変更されている。また、前記レーザレーダコントローラ8は、前記第2実施形態と同様に、前方車両の自車両に対する相対的な横位置を出力するように構成されている。
【0087】
そして、前記ステップS204では、同ステップ内で行われる個別の演算処理に従って、前記レーザレーダコントローラ8の出力から得られる前方車両の速度ベクトルと、画像処理装置6の出力から得られる前方車両候補の速度ベクトルとを比較し、それらの速度ベクトルが異なる場合に、その前方車両候補を排除する。具体的には、前記レーザレーダコントローラ8から出力される前方車両の自車両に対する相対的な横位置(図ではレーダ横位置)の時間微分値と、車間距離の時間微分値とでレーザレーダコントローラ8側の速度ベクトルを構成する。一方、本実施形態では、後述するステップS206”で、前方車両候補の基準エッジ画像を構成する四角形の中央の点座標を基準エッジ画像情報y(j) とするので、この基準エッジ画像情報である四角形の中央の点座標の動きを横方向と奥行き方向とに分解して時間微分し、それらの組合わせて画像処理装置6側の速度ベクトルを構成する。そして、これら二つの速度ベクトルの成分が異なる場合には、その前方車両候補を削除する。これにより、画像上に複数の前方車両候補があるような場合の不要な前方車両候補を排除し、真に車間距離を推定すべき前方車両を選出することができる。
【0088】
また、前記ステップS206”は、同ステップ内で行われる個別の演算処理に従って、前方車両候補、つまり基準エッジ画像情報を出力してからメインプログラムに復帰するのであるが、前述したように、この場合には、前記前方車両として検出した四角形の中心点のX座標、Y座標を基準エッジ画像情報(四角形内部画像上座標)y(j) として出力する。なお、jは、その演算処理が行われたサンプリング時刻を示す。例えば同じ画角の中で、前方車両が遠ざかれば遠ざかるほど、画像に写る前記前方車両の四角形領域からなる基準エッジ画像は、例えば小さく、且つ上に移動する。従って、この四角形の中心点は、前方車両との車間距離が大きくなればなるほど、上に移動する。これを利用して、本実施形態では、この基準エッジ画像情報と、前記レーザレーダで検出された車間距離との相関をとり、レーザレーダが前方車両をロストしたときには、自車両前方画像で検出できる基準エッジ画像情報から車間距離を推定するのである。
【0089】
また、図11の演算処理は、前記図8のものに類似しているが、前記ステップS403の前に新たなステップS401が付加されている。このステップS401では、同ステップ内で行われる個別の演算処理に従って、前記CCDカメラ5及び画像処理装置6から取り込んだ画像の明るさが所定以上であるか否かを判定し、当該画像の明るさが所定以上である場合には前記ステップS402に移行し、そうでない場合には前記ステップS403に移行する。
【0090】
この実施形態では、前記第1実施形態と同様に、前記図2の演算処理に従って、レーザレーダ7で検出された自車両前方の距離情報から前方車両を捕捉し、捕捉可能なときには車間距離X(k) を出力する。
一方、前記図10の演算処理では、そのときのCCDカメラ5で撮像された自車両前方の画像情報から前方車両候補を検出し、その前方車両候補の画像上の動きの速度ベクトルとレーザレーダコントローラ8から読込んだ前方車両の動きの速度ベクトルとを比較し、前述のようにして不要な前方車両候補を排除した後、前記ステップS205からステップS206に移行して、前方車両として検出された縦エッジ及び横エッジで構成される四角形又はほぼ四角形の基準エッジ画像の情報、この場合は四角形の中心点座標を、基準エッジ画像情報y(j) として出力する。
【0091】
これに対し、図4の演算処理では、前記第1実施形態と同様に、前記CCDカメラ5で前方車両候補を検出することができ、且つレーザレーダ7で前方車両を捕捉することができるときには、ステップS302からステップS303を経てステップS305に移行し、車間距離X(k) が急変していないときには、ステップS308でレーザレーダ測距状態カウンタ変数iをインクリメントする。そして、次のステップS309で、前記基準エッジ画像の四角形の中心点座標からなる基準エッジ画像情報の次回値y(j+1) を読込み、次のステップS310で、前記基準エッジ画像情報y(j) と車間距離X(k) との相関係数a、bを算出し、更に次のステップS311でそれを平滑化して平滑化済み係数A1、B1を求め、次のステップS312で当該平滑化済み係数A1、B1、前記基準エッジ画像情報の今回値y(j) と次回値y(j+1) を用いて車間距離推定値Y(k) を算出する。
【0092】
もし、レーザレーダ7及びレーザレーダコントローラ8が前方車両を捕捉できなくなったら、前記第1実施形態と同様に、ステップS303からステップS306に移行し、ここで前記レーザレーダ測距状態カウンタ変数iが所定値δより大きい場合には、次のステップS313で基準エッジ画像情報の次回値y(j+1) を読込み、前記ステップS312で、それまでの平滑化済み係数A1、B1及び前記基準エッジ画像情報の今回値y(j) と次回値y(j+1) を用いて車間距離推定値Y(k) を算出する。つまり、前記第1実施形態と同様に、車間距離が急変し、前記ブレーキ圧制御装置2によって急制動が行われ、その結果、車体がノーズダイブし、検出角の小さいレーザレーダ7が前方車両を捕捉できなくなった場合には、それまでの基準エッジ画像情報y(j) と検出された車間距離X(k) との間の相関を用い、CCDカメラ5及び画像処理情報6によって、それまでも、それ以後も得られる基準エッジ画像情報y(j) を基に、車間距離推定値Y(k) を推定し続けることができるのである。
【0093】
このようにして車間距離推定値Y(k) を設定し、且つレーザレーダコントローラ8からロストを意味する車間距離X(k) が得られている状態では、図11の演算処理のステップ403でレーダがロストしているとして、ステップS404に移行して前記車間距離推定値Y(k) が出力車間距離Distに設定される。また、車間距離X(k) が大きすぎて所定値εよりも大きく、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) では正確な車間距離推定値Y(k) が求められない状況下ではステップS402に移行して、前記車間距離X(k) が出力車間距離Distに設定される。逆に、車間距離がX(k) が小さすぎて所定値φよりも小さく、レーザレーダ7及びレーザレーダコントローラ8からの車間距離X(k) が正確でないという状況下では、前記ステップS404に移行して前記車間距離推定値Y(k) が出力車間距離Distに設定される。また、例えば西日が強すぎるなど、取り込んだ画像が明るすぎ、画像処理装置6で基準エッジ画像情報y(j) を正確に検出できないような場合にも、ステップS401からステップS402に移行して、前記車間距離X(k) が出力車間距離Distに設定される。
【0094】
また、これ以外の状況では、前記第1実施形態と同様に、図11の演算処理のステップS407からステップS408に移行して、ピッチ角pに応じた出力車間距離Distが設定される。そのため、ピッチ角pが小さい領域では正確なレーザレーダ7及びレーザレーダコントローラ8の車間距離X(k) を用い、ピッチ角pが大きくなるほど、CCDカメラ5及び画像処理装置6からの基準エッジ画像情報y(j) に基づく前記車間距離推定値Y(k) の配分比を大きくして、出力車間距離Distの正確度を高める。また、このように出力車間距離Distに連続性を与えることによって、車間距離が急変し、それによって前記ブレーキ圧制御装置などの制動力が急変するのを回避することができる。
【0095】
このように本実施形態の車間距離設定装置によれば、急制動によってピッチ角が次第に大きくなり、やがてレーザレーダ7で車間距離X(k) を検出できなくなるような場合にも、少なくとも車間距離を検出することができなくなる直前まで出力車間距離Distを正確に設定することができ、また当該車間距離X(k) を検出することができなくなった直後からは、取得された相関(係数)を用いて、その後も検出可能な基準エッジ画像情報y(j) から車間距離推定値Y(k) を推定し、それを用いて出力車間距離Distを設定することができる。また、検出されたピッチ角pに応じて、車間距離X(k) と車間距離推定値Y(k) との配分比である関数値f(p) を変更設定できるので、前方車両までの車間距離X(k) を検出できなくなるピッチ角pで車間距離推定値Y(k) だけが優先されるように配分比を設定することにより、レーザレーダ7で車間距離X(k) を検出できなくなるまでも、その後も、連続的に出力車間距離Distを得ることができる。また、ピッチ角pを予測することにより、より一層滑らかに連続的に出力車間距離Distを得ることができる。
【0096】
また、ピッチ角pに応じて基準エッジ画像情報y(j) を補正することにより、ピッチ角変化に応じて生じる自車両前方の画像の歪みによる前方車両情報、つまり基準エッジ画像情報y(j) を補正し、それと車間距離X(k) との相関を正確なものとすることができるので、当該車間距離X(k) を検出できなくなっても車間距離推定値Y(k) をより正確に推定することができる。
【0097】
また、自車両前方の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形内部の画像上座標を基準エッジ画像情報y(j) として設定する構成としたため、ノイズに強い前方車両検出が可能となり、より正確に前方車両の位置を検出することができる。
【0098】
また、レーザレーダ7及びレーザレーダコントローラ8で検出された車間距離X(k) が所定値φ以下であるときに、車間距離推定値Y(k) を優先して出力車間距離Distを設定することで、より正確な車間距離推定値Y(k) を用いて車間距離を設定することができる。
また、画像で検出した前方車両候補の画像上の水平方向座標と、検出された前方車両の相対的な横位置とを比較し、前方車両候補が存在する方向と該前方車両が存在する方向とが異なるとき、その前方車両候補を排除することにより、複数の前方車両候補がある場合に、より注視すべき前方車両を特定し易くなる。
【0099】
また、画像で検出した前方車両候補の画像上座標の動きの速度ベクトルと、車間距離や横位置の時間微分値からなる速度ベクトルとを比較し、速度ベクトルの異なる前方車両候補を排除することにより、複数の前方車両候補がある場合に、より注視すべき前方車両を特定し易くなる。
また、取り込んだ画像が明るすぎるときに車間距離X(k) を優先して出力車間距離Distを設定することにより、西日などにより前方車両を正確に検出できない状況で、不要なハンチングなどを起こすことなく、より正確に前方車両までの車間距離を設定することができる。
【0100】
以上より、前記レーザレーダ7及びレーザレーダコントローラ8及び前記図2の演算処理が、本発明の車間距離検出手段を構成し、以下同様に、前記CCDカメラ5が撮像手段を構成し、前記画像処理装置6及び前記図10の演算処理がエッジ画像情報設定手段を構成し、前記加速度センサ12及びピッチ角検出装置10がピッチ運動量検出手段を構成し、前記車間距離設定装置11及び前記図4の演算処理のステップS310、ステップS311が相関取得手段を構成し、前記車間距離設定装置11及び前記図4の演算処理のステップS312が車間距離推定手段を構成し、前記車間距離設定装置11及び前記図11の演算処理全体が車間距離設定手段を構成している。
【0101】
なお、前記下記実施形態では、夫々の演算処理装置にマイクロコンピュータを用いたが、これに代えて各種の論理回路を用いることも可能である。
【図面の簡単な説明】
【図1】本発明の車間距離設定装置の一例を示す車両構成図である。
【図2】車間距離検出の演算処理の第1実施形態を示すフローチャートである。
【図3】基準エッジ画像情報設定の演算処理の一例を示すフローチャートである。
【図4】車間距離推定の演算処理の一例を示すフローチャートである。
【図5】出力車間距離設定の演算処理の第1実施形態を示すフローチャートである。
【図6】ピッチ角に対して配分比を設定する制御マップである。
【図7】車間距離検出の演算処理の第2実施形態を示すフローチャートである。
【図8】出力車間距離設定の演算処理の第2実施形態を示すフローチャートである。
【図9】本発明の車間距離設定装置の他の例を示す車両構成図である。
【図10】車間距離検出の演算処理の第3実施形態を示すフローチャートである。
【図11】出力車間距離設定の演算処理の第3実施形態を示すフローチャートである。
【符号の説明】
1F、1Rは車輪
2はブレーキ圧制御装置
3はブレーキアクチュエータ
4は車速検出装置
5はCCDカメラ
6は画像処理装置
7はレーザレーダ
8はレーザレーダコントローラ
9F、9Rはレーザ距離計
10はピッチ角検出装置
11は車間距離設定装置
12は加速度センサ

Claims (10)

  1. 自車両から前方車両までの車間距離を検出する車間距離検出手段と、自車両の前方の画像を撮像する撮像手段と、前記撮像手段の画像から、前方車両の外形を構成する基準エッジ画像を検出し、その基準エッジ画像に関する情報を設定するエッジ画像情報設定手段と、自車両のピッチ運動量を検出するピッチ運動量検出手段と、前記車間距離検出手段で検出された前方車両までの車間距離と前記エッジ画像情報設定手段で設定された基準エッジ画像情報との相関を取得する相関取得手段と、前記エッジ画像情報設定手段で設定された基準エッジ画像情報と前記相関取得手段で取得された相関とに基づいて自車両から前方車両までの車間距離を推定する車間距離推定手段と、前記ピッチ運動量検出手段で検出されたピッチ運動量に応じて、前記車間距離検出手段で検出された前方車両までの車間距離と前記車間距離推定手段で推定された前方車両までの車間距離とを選択し、自車両から前方車両までの車間距離を設定する車間距離設定手段とを備えたことを特徴とする車間距離設定装置。
  2. 前記車間距離設定手段は、前記ピッチ運動量検出手段で検出されたピッチ運動量に応じて、前記車間距離検出手段で検出された前方車両までの車間距離と前記車間距離推定手段で推定された前方車両までの車間距離との配分比を設定し、その配分比を夫々の前方車両までの車間距離に乗じて、自車両から前方車両までの車間距離を算出設定することを特徴とする請求項1に記載の車間距離設定装置。
  3. 前記ピッチ運動量検出手段は、自車両のピッチ運動量を予測し、その予測されるピッチ運動量に応じて、前記車間距離検出手段で検出された前方車両までの車間距離と前記車間距離推定手段で推定された前方車両までの車間距離との配分比を設定することを特徴とする請求項1又は2に記載の車間距離設定装置。
  4. 前記車間距離推定手段は、前記ピッチ運動量検出手段で検出された自車両のピッチ運動量に応じて、前記基準エッジ画像情報を補正することを特徴とする請求項1乃至3の何れかに記載の車間距離設定装置。
  5. 前記車間距離設定手段は、前記車間距離検出手段で検出された前方車両までの車間距離が所定値以下であるときに、前記車間距離推定手段で推定された前方車両までの車間距離を優先して、前方車両までの車間距離を設定することを特徴とする請求項1乃至4の何れかに記載の車間距離設定装置。
  6. 前記エッジ画像情報設定手段は、前記撮像手段の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形内部の画像上座標を前記基準エッジ画像情報として設定することを特徴とする請求項1乃至5の何れかに記載の車間距離設定装置。
  7. 前記エッジ画像情報設定手段は、前記撮像手段の画像に検出される縦エッジと横エッジとを有する四角形に近いものを前方車両候補として検出し、その前方車両候補の外形を構成する基準エッジ画像の四角形の大きさを前記基準エッジ画像情報として設定することを特徴とする請求項1乃至5の何れかに記載の車間距離設定装置。
  8. 前記車間距離検出手段は、自車両と前方車両との相対的な横位置を検出する機能を備え、前記エッジ画像情報設定手段は、前記撮像手段の画像で検出した前方車両候補の画像上の座標と、前記車間距離検出手段で検出された前方車両の相対的な横位置とを比較し、当該前方車両候補が存在する方向と当該前方車両が存在する方向とが異なるとき、その前方車両候補を排除することを特徴とする請求項1乃至7の何れかに記載の車間距離設定装置。
  9. 前記エッジ画像情報設定手段は、前記撮像手段の画像で検出した前方車両候補の画像上の座標の動きの速度と、前記車間距離検出手段で検出された前方車両の車間距離の時間微分値とを比較し、相対速度又は相対速度ベクトルの異なる前方車両候補を排除することを特徴とする請求項1乃至8の何れかに記載の車間距離設定装置。
  10. 前記車間距離設定手段は、前記撮像手段の画像が明るすぎるときに、前記車間距離検出手段で検出された前方車両までの車間距離を優先して、前方車両までの車間距離を設定することを特徴とする請求項1乃至9の何れかに記載の車間距離設定装置。
JP2000306937A 2000-10-06 2000-10-06 車間距離設定装置 Expired - Fee Related JP3633469B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000306937A JP3633469B2 (ja) 2000-10-06 2000-10-06 車間距離設定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000306937A JP3633469B2 (ja) 2000-10-06 2000-10-06 車間距離設定装置

Publications (2)

Publication Number Publication Date
JP2002116255A JP2002116255A (ja) 2002-04-19
JP3633469B2 true JP3633469B2 (ja) 2005-03-30

Family

ID=18787529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000306937A Expired - Fee Related JP3633469B2 (ja) 2000-10-06 2000-10-06 車間距離設定装置

Country Status (1)

Country Link
JP (1) JP3633469B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3718747B2 (ja) * 2001-04-27 2005-11-24 日産自動車株式会社 車両用走行制御装置
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP2003172780A (ja) * 2001-12-06 2003-06-20 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP2003315458A (ja) * 2002-04-23 2003-11-06 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP4556597B2 (ja) * 2004-09-29 2010-10-06 日産自動車株式会社 先行車両検出装置
JP2007155469A (ja) * 2005-12-05 2007-06-21 Alpine Electronics Inc 車間距離検出装置および車間距離検出方法
DE102008024929A1 (de) * 2008-05-23 2009-11-26 Wabco Gmbh Fahrerassistenzsystem
WO2014038076A1 (ja) * 2012-09-07 2014-03-13 トヨタ自動車株式会社 車間距離制御装置
KR102278387B1 (ko) * 2015-07-07 2021-07-16 주식회사 만도 거리 산출 장치, 거리 산출 방법, 운전 지원 장치 및 운전 지원 시스템
JP2017191025A (ja) * 2016-04-14 2017-10-19 トヨタ自動車株式会社 車載用監視装置
US10769793B2 (en) * 2018-04-17 2020-09-08 Baidu Usa Llc Method for pitch angle calibration based on 2D bounding box and its 3D distance for autonomous driving vehicles (ADVs)
CN111830519B (zh) * 2020-06-03 2023-07-07 江西江铃集团新能源汽车有限公司 多传感器融合的测距方法

Also Published As

Publication number Publication date
JP2002116255A (ja) 2002-04-19

Similar Documents

Publication Publication Date Title
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
US8340896B2 (en) Road shape recognition device
WO2017009923A1 (ja) 自己位置推定装置及び自己位置推定方法
EP3070430B1 (en) Moving body position estimation device and moving body position estimation method
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
JP6237875B2 (ja) 自己位置算出装置及び自己位置算出方法
JP3633469B2 (ja) 車間距離設定装置
JP5065449B2 (ja) 消失点推定装置およびプログラム
JP6237874B2 (ja) 自己位置算出装置及び自己位置算出方法
CN111507132B (zh) 一种定位方法、装置及设备
JP2017138660A (ja) 物体検出方法、物体検出装置、およびプログラム
JP2019191133A (ja) 位置推定装置
JP2020122754A (ja) 3次元位置推定装置及びプログラム
US11587286B2 (en) Method of adjusting grid spacing of height map for autonomous driving
JP6398218B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2013186718A (ja) 移動物体位置姿勢推定装置及び方法
JP7456857B2 (ja) 自己位置推定装置
JP2017112566A (ja) パラメータ特定装置
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
JP2007272461A (ja) 運動推定装置、方法及びプログラム
JP6936557B2 (ja) 探索処理装置、及びステレオカメラ装置
JP2021009487A (ja) 情報処理装置及び車載システム
JP2021060943A (ja) 占有マップの作成方法、及び、占有マップの作成装置
JP2003237509A (ja) 車両用外界認識装置
JP7371053B2 (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100107

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110107

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120107

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees