JP3848431B2 - 車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法 - Google Patents

車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法 Download PDF

Info

Publication number
JP3848431B2
JP3848431B2 JP11153897A JP11153897A JP3848431B2 JP 3848431 B2 JP3848431 B2 JP 3848431B2 JP 11153897 A JP11153897 A JP 11153897A JP 11153897 A JP11153897 A JP 11153897A JP 3848431 B2 JP3848431 B2 JP 3848431B2
Authority
JP
Japan
Prior art keywords
road
data
fixed object
vehicle
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11153897A
Other languages
English (en)
Other versions
JPH10300493A (ja
Inventor
明 飯星
基一郎 澤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP11153897A priority Critical patent/JP3848431B2/ja
Publication of JPH10300493A publication Critical patent/JPH10300493A/ja
Application granted granted Critical
Publication of JP3848431B2 publication Critical patent/JP3848431B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、レーダ装置によって道路周囲の環境を探知して車両の現在位置を推定する車両位置推定技術、ならびに、レーダ装置によって道路周囲の環境を探知して走行車線を維持させるようにした走行車線維持技術に関する。
【0002】
【従来の技術】
特開平8−30899号公報には、実際の道路状態と予め記憶している道路状態とを比較することによって、自車の走行状況を判断するようにした車両用走行状況判断装置が開示されている。
この車両用走行状況判断装置は、地図情報記憶媒体に各道路毎にその道路状態(例えば、道幅,車線数等)を示す情報を記憶しておき、また、自車の進行方向を撮像するビデオカメラ(または自車の進行方向を探知するレーダ装置)を備え、信号処理装置により自車の現在位置に応じた道路状態の情報を読み出す。
そして、ビデオカメラの撮像画像(またはレーダ装置の探知信号)から実際の道路状態を検出し、検出された実際の道路状態と予め記憶されている道路状態とを比較して、自車の走行状況を判断する。
【0003】
特開平8−287395号公報には、ナビゲーション制御部と自動走行制御部とを組み合せて、道路地図上に設定されている目標経路にしたがう走行誘導の指示に応じて、自車の進行方向の実際の道路状況をセンシングしながら自動走行の制御を行うに際して、現在位置の精度と走行制御の精度とを相関的に向上させて、自動走行の制御を高精度に行わせるようにした自動走行誘導装置が開示されている。
この自動走行誘導装置は、センシングされた自車の進行方向の道路状況から自車が走行している道路上における位置を判定して、対応する道路地図上の箇所に自車の現在位置がくるように現在位置の修正を行わせる。また、自車の現在位置に応じて地図情報記憶媒体から読み出した道路デ−タに基づいて、センシングされた道路状況を修正する。
【0004】
更に、自動的にハンドル舵角を制御して走行車線を維持するシステムとして、道路の区分線(白線)をビデオカメラにて検出して走行するシステムや、道路に埋設された磁気くぎ等のマーカを検出することにより走行車線の位置を確認して走行するシステムが提案されている。
【0005】
また、自車の走行距離と進行方向とを検出しながら2次元座標上の位置を累積的な演算処理によって求めて、または、GPSシステムによって自車の位置を観測しながら、道路地図上に自車の現在位置を更新的に表示して、車両走行の案内等を行なわせるようにしたナビゲーション装置も知られている。
【0006】
【発明が解決しようとする課題】
ビデオカメラによるシステムは、画像処理装置が複雑である。また、白線が消えているところや、逆光の場合では使えない。雨、雪の場合も、白線を検出することができない。
マーカによるシステムは、マーカが設置されている道路でしか使えない。
ナビゲーション装置によって検出した自車の現在位置は、数10メートル程度の誤差が含まれていることがある。
【0007】
本発明はこのような課題を解決するためなされたもので、天候や時間帯に拘わらず道路周囲の環境を探知して車両の現在位置を高精度に推定する車両位置推定技術、ならびに、レーダ装置によって道路周囲の環境を探知して走行車線を維持するようにした走行車線維持技術を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明では、自車の前方または周囲にビームを放射し、物標からの反射波を受信して物標を検出し、検出データに基づいて自車の現在位置を推定する車両位置推定装置において、道路地図上における自車の現在位置を求めるナビゲーション装置と、道路周囲に存在する固定物の位置または立体形状(以下「位置等」という)のデータを記憶する道路周囲環境記憶装置と、道路周囲に存在する固定物にビームを放射しその反射信号に基づいて該固定物の位置等のデータを検出するレーダ装置と、レーダ装置によって検出された固定物のデータと道路周囲環境記憶装置に記憶された固定物のデータとに基づいて、ナビゲーション装置で求めた自車の現在位置を修正する位置修正装置と、を備えたことを特徴とする。
【0009】
レーダ装置により、自車前方の障害物を正確に検出することができると共に、この正確さで道路周囲に存在する固定物を検出することができ、道路周囲の環境を探知することができる。
レーダ装置によって検出された固定物のデータと道路周囲環境記憶装置に記憶された固定物のデータとに基づいて、ナビゲーション装置で求めた自車の現在位置を修正することで、自車の現在位置の誤差を数10m程度から10cm程度〜数10cm程度の誤差にすることができ、精度を向上することができる。
また、白線が消えている道路やマーカが設置されてない道路でも、本発明を使用することができる。
更に、天候によらずに本発明を使用することができる。
【0010】
本発明の車両位置推定装置では、位置修正装置は、レーダ装置によって検出された固定物の位置等のデータを一定距離を走行する間または一定時間だけ記憶する記憶装置を備えてもよい。
【0011】
位置修正装置は固定物のデータを一定距離を走行する間または一定時間だけ記憶することで、位置修正装置の記憶装置の容量を小さくすることができる。
【0012】
本発明の車両位置推定装置では、道路周囲環境記憶装置は、道路周囲に存在する固定物のデータを点反射物のデータとして記憶しており、位置修正装置は、レーダ装置によって検出された固定物のデータからこれに対応する点反射物のデータを抽出し、抽出した点反射物のデータと道路周囲環境記憶装置に記憶されている点反射物のデータとに基づいて自車の現在位置を修正することとしてもよい。
【0013】
固定物の直線部分の傾きや長さ、固定物の立体角、固定物の大きさ等に基づいて修正する場合に比べ、点の位置に基づいて修正する場合の方が、修正に要する演算時間を短くすることができ、リアルタイム処理に適した構成とすることができる。
【0014】
本発明の車両位置推定装置では、道路周囲環境記憶装置は、道路周囲に存在する固定物の立体形状を記憶することとしてもよい。
【0015】
レーダ装置により道路周囲の固定物の形状も検出することができるので、これと道路周囲環境記憶装置に記憶された固定物の立体形状とを比較することで、自車の現在位置の精度を更に向上することができる。
【0016】
本発明の車両位置推定装置では、レーダ装置は、ビームの中心を斜め上方へ向けることとしてもよい。
【0017】
ビームの中心を斜め上方へ向けることで、ガードレールや他車が自車の側方に存在しても、その死角に入っていない、向こう側の固定物を検出することができる。
また、ビームの仰角を変化させて3次元スキャンを行うことで、道路周囲の固定物の形状や大きさや高さを検出することができる。
【0018】
本発明の車両位置推定装置では、位置修正装置は、レーダ装置によって検出した固定物のデータと道路周囲環境記憶装置に記憶された固定物のデータとが一致しない場合は、レーダ装置によって検出した固定物のデータを道路周囲環境記憶装置に書き込んで固定物のデータを更新するよう構成してもよい。
【0019】
道路周囲環境記憶装置において、変更前の固定物のデータが記憶された記憶箇所に、レーダ装置によって検出した最新の固定物のデータを書き込むことで、道路周囲環境記憶装置の固定物のデータを更新することができ、道路周囲の最新の環境を道路周囲環境記憶装置に記憶させることができる。
道路周囲環境記憶装置では、この書込みを予定して、道路周囲の固定物のデータ記憶箇所に新たな情報を追加記憶させるための空き領域を持たせておいてもよい。これにより、例えば、固定物の形状の変化や位置の変化があっても、そのデータ記憶箇所をはみ出ることなく、新たな情報を追加記憶させることができる。
【0020】
本発明の車両位置推定方法は、ナビゲーション装置によって自車の現在位置を求め、レーダ装置によって道路周囲の固定物の位置等のデータを検出し、レーダ装置によって検出された道路周囲の固定物のデータと検出道路周囲環境記憶装置に予め記憶された道路周囲の固定物のデータとに基づいて、ナビゲーション装置で求めた自車の現在位置を修正することを特徴とする。
【0021】
レーダ装置により、自車前方の障害物を正確に検出することができると共に、この正確さで道路周囲に存在する固定物を検出することができる。
レーダ装置によって検出された固定物のデータと道路周囲環境記憶装置に記憶された固定物のデータとに基づいて、ナビゲーション装置で求めた自車の現在位置を修正することで、自車の現在位置の誤差を数10m程度から10cm程度〜数10cm程度の誤差にすることができ、精度を向上することができる。
また、白線が消えている道路やマーカが設置されてない道路でも、本発明を使用することができる。
更に、天候によらずに本発明を使用することができる。
なお、この車両位置推定方法は、上記した本発明の車両位置推定装置により実現することができる。
【0022】
本発明は、自車の走行を自動制御して自車が走行する走行車線を維持させる走行車線維持装置において、道路地図上における自車の現在位置を求めるナビゲーション装置と、道路周囲に存在する固定物の位置等のデータを記憶する道路周囲環境記憶装置と、道路周囲に存在する固定物にビームを放射しその反射信号に基づいて該固定物の位置等のデータを検出するレーダ装置と、レーダ装置によって検出された固定物のデータと道路周囲環境記憶装置に記憶された固定物のデータとに基づいて、ナビゲーション装置で求めた自車の現在位置を修正する位置修正装置と、位置修正装置により修正された現在位置に基づいてハンドル舵角を制御して走行車線を維持させるステアリング制御装置と、を備えたことを特徴とする。
【0023】
上記した本発明の車両位置推定装置に対し、位置修正装置で求めた現在位置に基づいてハンドル(ステアリング)舵角を制御して走行車線を維持させるステアリング制御装置を追加することで、本発明の車両位置推定装置の作用効果を奏すると共に、走行車線を自動的に維持させることができる。
【0024】
例えば、国内の高速道路は法令により決められた構造となっており、極めて限定された環境となっている。一例として、反射板(リフレクタ)は最長で50mの間隔で設置されている。
そこで、高速道路を一度走行して反射板や照明灯等の固定物の位置を道路周囲環境記憶装置に記憶させることで、次回からは本発明の走行車線維持装置により、自車走行車線を自動的に維持させることができる。
【0025】
本発明では、自車の走行を自動制御して自車が走行する走行車線を維持させる走行車線維持方法において、ナビゲーション装置によって自車の現在位置を求め、レーダ装置によって道路周囲の固定物の位置等のデータを検出し、レーダ装置によって検出された道路周囲の固定物のデータと検出道路周囲環境記憶装置に予め記憶された道路周囲の固定物のデータとに基づいて、ナビゲーション装置で求めた自車の現在位置を修正し、修正した自車の現在位置に基づいてハンドル舵角を制御して走行車線を維持させることを特徴とする。
【0026】
上記した本発明の車両位置推定方法に対し、修正した自車の現在位置に基づいてハンドル舵角を制御して走行車線を維持させる工程を追加することで、本発明の車両位置推定方法の作用効果を奏すると共に、自車走行車線を自動的に維持させることができる。
なお、この走行車線維持方法は、上記した本発明の走行車線維持装置により実現することができる。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づいて説明する。
図1は、本発明に係る車両位置推定装置ならびに走行車線維持装置の簡易ブロック構成図である。
本発明に係る車両位置推定装置ならびに走行車線維持装置1は、ナビゲーション装置2と、位置修正装置3と、レーダ装置4と、道路周囲環境記憶装置5と、ステアリング制御装置6と、を備えてなる。
【0028】
ナビゲーション装置2は、道路地図上における自車の現在位置を求めるためのものである。
ナビゲーション装置2は、距離センサ7と、方位センサ8と、GPS受信機9と、ナビゲーション制御部10と、道路地図データベース11と、画像表示装置12と、を備える。
【0029】
GPS受信機9は、複数のGPS衛星からの電波を受信して車両の現在位置を演算し、演算によって求めた現在位置データをナビゲーション制御部10へ順次供給する。
【0030】
道路地図データベース11は、道路地図情報が記憶されたCD−ROM等の情報記録媒体とその再生装置とから構成している。
【0031】
ナビゲーション制御部10は、ジャイロや地磁気センサ等を用いて構成された方位センサ8からの方位信号と、車輪回転センサ等を用いて構成された距離センサ7から所定の走行距離毎に出力されるパルス信号等の距離信号とに基づいて、車両の位置を順次演算する推測航法装置(図示しない)を備え、GPS衛星からの電波が受信できない場合でも、車両の現在位置を推測できる構成としている。
【0032】
ナビゲーション制御部10は、推測航法装置から順次出力される車両位置データに基づいて走行軌跡を求めるとともに、求めた走行軌跡と道路地図データベース11から読み出した道路データとを比較し、交差点や屈曲点等の走行軌跡の特徴部分に着目して車両の現在位置を道路上に修正するマップマッチングを行う。ナビゲーション制御部10は、車両の現在位置を含む道路地図を画像表示装置12に表示させるとともに、道路地図上に車両の現在位置を表示させる。
【0033】
ナビゲーション制御部10は、車両の現在位置データを位置修正装置3へ供給するとともに、位置修正データまたは修正された自車現在位置が位置修正装置3から供給された場合は、供給されたデータに基づいて車両の現在位置を修正する。
ナビゲーション制御部10は、修正した車両の現在位置を画像表示装置12の画面上に表示するとともに、修正した車両の現在位置に基づいて推測航法を継続する。
【0034】
レーダ装置4は、車両の前方または周囲にビームを放射し、物標からの反射波を受信して物標の位置を検出し、検出された物標までの距離データと方位(角度)データとを出力する。
距離データと方位(角度)データは、位置修正装置3へ供給される。
レーダ装置4により、道路周囲に存在する固定物にビームを放射し、その反射信号に基づいて該固定物の位置等のデータを検出することができる。
レーダ装置4により、自車前方の障害物を正確に検出することができると共に、この正確さで道路周囲に存在する固定物を検出することができる。
【0035】
図2は、車両に搭載されたレーダ装置4の検知範囲例を示す説明図である。
スキャニング中心は路肩上方に向いている。
ビームは上下にある幅を持ち、左右にスキャンされる。その幅は3.0°程度である。
ビームの左右方向の幅は0.1°程度である。
これは、レーザーレーダの性能を示すが、実際はレーザーレーダに限定されず、物標までの距離dと角度θが検出できるものであればよい。
【0036】
なお、ビームの中心を斜め上方へ向けることで、ガードレールや他車が自車の側方に存在しても、その死角に入っていない、向こう側の固定物を検出することができる。
また、ビームの仰角や俯角を変化させて3次元スキャンを行うことで、道路周囲の固定物の形状や大きさや高さを検出することができる。
【0037】
図1に示すように、レーダ装置4で検出された道路周囲の固定物までの距離dと角度θは位置修正装置3へ供給される。
位置修正装置4(またはレーダデータマッチング装置と呼ぶ)は、ナビゲーション装置2から供給される自車の現在位置(Xv1,Yv1)と、上記レーダデータ(d,θ)と、道路周囲環境記憶装置5に記憶された固定物の位置等のデータ(Xp,Yp)と、に基づいて、自車の現在位置のより正確な値を求め、または当該値を求めるための位置修正データを求める。
そして、求められた正確な現在位置または位置修正データをナビゲーション装置2に供給する。
【0038】
道路周囲環境記憶装置5は、書換可能な大容量記録媒体を用いて構成される。例えば、CD−R(Compact Disc - Recordable )により構成してもよく、大容量のRAMにより構成してもよい。
道路周囲環境記憶装置5は、道路周囲に存在する複数の固定物とそれらの位置をそれぞれ対応付けて記憶している。
なお、位置修正装置3は、道路周囲環境記憶装置5にデータを書き込むことができる。
【0039】
ステアリング制御装置6は、位置修正装置3またはナビゲーション装置2から供給される正確な自車現在位置のデータと、ナビゲーション装置2から供給される目標経路(誘導経路)のデータと、速度センサ(不図示)から供給される自車速度のデータと、に基づいてハンドル舵角を制御し、自車走行車線を維持させる。なお、後述する角度Δφのデータを供給し、この角度Δφを加味してハンドル舵角を制御してもよい。
【0040】
図3は、ある瞬間に測定したレーダデータを例示する説明図である。
車両の進行方向を上下軸の上軸方向にとり、左右方向を各々左右軸方向にとり、検出距離dと検出角度θで反射物をプロットしたものである。
位置修正装置3は、走行に沿って移動する車両の現在位置(ナビゲーション装置2で求めた現在位置)に沿って、ナビゲーション装置2の位置座標上でプロットを重ねていく。
【0041】
図4に、車両の走行に沿って反射物の位置をプロットした例を示す。
位置修正装置3は、ナビゲーション装置2の位置座標上にプロットされたデータ群をグルーピングしていく。
グルーピングの方法は、プロットした位置間の距離を計算して、一定しきい値以内のプロットデータに同じグループIDを付けていくことでレーダデータ(検出データ)のグループを作っていくことである。例えば図4に示すように、グループIDが付加される。
そして、そのグループ内でプロット間距離が最大となるデータを検出し、その最大距離が所定範囲内に入っているグループを抽出する。
抽出されたグループを、点反射物により測定されたデータ群とする。例えば、図4ではIDn,IDn+2,IDn+3,IDn+5のグループを、点反射物により測定されたデータ群としてもよい。
【0042】
点反射物の例としては、ガードレールの上などに設置された反射板、路肩に設置された照明灯や路肩の電柱に設置された反射板、路面上のキャッツアイなどである。
一方、点反射物とみなせないものは、道路近傍の壁や塀、道路近傍のビルディング、連続した反射テープが道路脇の構造物にはられたものなどである。
なお、この例は、レーザーレーダで検出される物の例であり、レーダ装置4の種類が違えば検出される物も違ってくる。
【0043】
図5は、点反射物の位置の求め方の説明図である。
位置修正装置3は、点反射物のデータに基づいて正確な現在位置を求めるために以下の演算を行う。
図5に示すように、レーダ装置4によって検出された反射板等の反射物(固定物)Pが、高さhpの位置にあるとする。
車両はA地点からB地点へ移動し、A地点,B地点それぞれで反射物Pまでの検出距離d1,d2と検出角度θ1,θ2をレーダ装置4で検出したとする。
また、車両のA地点,B地点の2次元平面上の位置をナビゲーション装置2から求め、各々の位置をA(Xv1,Yv1),B(Xv2,Yv2)とし、各々の進行方位をφ1,φ2とする。
【0044】
ここで、地平面(レーダ装置4のアンテナを含む地平面)に反射物Pを正射影した場合における交点P’の座標を(Xp,Yp)とおくと、A地点では、以下の方程式(1)〜(4)が立てられる。
Xp−Xv1=d1’cosθ1’ …… (1)
Yp−Yv1=d1’sinθ1’ …… (2)
d1’=(d12 −hp21/2 …… (3)
θ1’=θ1+φ1 …… (4)
【0045】
B地点では、以下の方程式(5)〜(8)が立てられる。
Xp−Xv2=d2’cosθ2’ …… (5)
Yp−Yv2=d2’sinθ2’ …… (6)
d2’=(d22 −hp21/2 …… (7)
θ2’=θ2+φ2 …… (8)
ここで、連立方程式(1)〜(8)から、Xp,Yp,hpを求める。
X軸方向からの車両進行方向角度φ1,φ2は、方位センサ8から検出することができ、それらのデータはナビゲーション装置2から位置修正装置3に供給される。
このレーダでは、仰角は出力されない。
仰角α,βが出力されるレーダを用いると、A地点のみのデータでXp,Yp,hpが求まる。
【0046】
なお、上記のレーダデータ(d1,θ1)とレーダデータ(d2,θ2)は、グルーピングして点反射物Pとして抽出された同一グループ内のデータである。また、反射物Pを複数回検出した場合は、当該複数回だけ上記の計算を行い、算出された値の平均値から位置P’を求めてもよく、最小2乗法の手法を使って位置P’を求めてもよい。
【0047】
次に、いくつかの点反射物の位置と道路周囲環境記憶装置5に記憶されている固定物データとのマッチングを行う。
レーダ装置4で検出したn個の固定物の位置を(Xpi,Ypi,hpi)とする。道路周囲環境記憶装置5に記録されている固定物の位置を(Xmi,Ymi,hmi)とする。但し、iはn以下の自然数である。
マッチングは、まず第1にレーダ装置4で検出した固定物の位置から一定距離範囲内に在る道路地図上の固定物を選び出す(対応付け)。
この距離は、X−Y座標での水平距離と、高さ|hpi−hmi|の垂直距離と、センサの誤差と、を考慮したしきい値で範囲を決める。例えば、センサの誤差とはレーダ装置4の測距離誤差、検出角誤差、ナビゲーション装置2の位置誤差などが考えられる。
【0048】
次に、下記の数式にΔφ,Δx,Δyを代入して、相関値Eが最小となるΔφ,Δx,Δyを求める。
【0049】
【数1】
Figure 0003848431
【数2】
Figure 0003848431
【0050】
なお、対応付けが複数組存在する場合には、それぞれの対応付けに対して最小となる相関値Eを計算して、その中で一番最小となるEのΔφ,Δx,Δyを求め、これをマッチング結果とする。簡単のためΔφ=0として計算してもよい。Δx,Δyは、各々X軸,Y軸上の平行移動エラー値であり、位置修正値(位置修正データ)である。
Δφは、回転エラー値であり、角度修正値(角度修正データ)である。
【0051】
位置修正値3は、位置修正データとして位置修正装置3からナビゲーション装置2に供給される。
または、位置修正値Δx,Δyから求めた正確な現在位置Xv1,Yv1(もしくはXv2,Yv2)のデータが、位置修正装置3からナビゲーション装置2に供給される。
【0052】
本実施の形態では、求める値を位置修正値と角度修正値にしてあるが、これらの数値以外にも、方位センサのドリフト値等も同様に求めることができる。
なお、点反射物のデータに基づいて現在位置を修正する場合について説明したが、レーダ装置4で検出した直線の集合から線反射物のデータを抽出してこのデータに基づいて現在位置を修正してもよく、レーダ装置4で検出した固定物の形状のデータに基づいて現在位置を修正してもよい。
【0053】
図6は、前述した位置修正装置3の動作を示す簡易フローチャートである。
位置修正装置3は、一定距離を走行する間または一定時間レーダデータ(d,θ)をナビゲーション座標上に重ねて記録し(ステップS1)、データのグルーピングを行なって(ステップS2)、点反射物とみなせるグループのみを抽出し(ステップS3)、このグループのデータから点反射物の高さと位置を求めて点反射物のデータとする(ステップS4)。
そして、ステップS4で求めた点反射物のデータと道路周囲環境記憶装置5に記憶された点反射物のデータとに基づいて位置修正値Δx,Δy及び角度修正値Δφを算出し(ステップS5)、算出した結果(角度,位置修正値または修正した現在位置のデータ)をナビゲーション装置2へ供給する(ステップS6)。
【0054】
これにより、図1の車両位置推定装置ならびに走行車線維持装置は、ナビゲーション装置2によって自車の現在位置を求め、レーダ装置4によって道路周囲の固定物の位置等のデータを検出し、レーダ装置4によって検出された道路周囲の固定物のデータと検出道路周囲環境記憶装置5に予め記憶された道路周囲の固定物のデータとに基づいて、ナビゲーション装置4で求めた自車の現在位置を修正することができる。
また、図1の走行車線維持装置は、ナビゲーション装置2によって自車の現在位置を求め、レーダ装置4によって道路周囲の固定物の位置等のデータを検出し、レーダ装置4によって検出された道路周囲の固定物のデータと検出道路周囲環境記憶装置5に予め記憶された道路周囲の固定物のデータとに基づいて、ナビゲーション装置2で求めた自車の現在位置を修正し、修正した自車の現在位置に基づいてハンドル舵角を制御して走行車線を維持させることができる。
【0055】
本実施の形態では、レーダ装置4としてレーザーレーダを用いて道路周囲を探索し、道路周囲に存在する反射板や照明灯等を検出するとともに、検出された反射板等の位置と、道路周囲環境記憶装置5に記憶されている反射板や照明灯等の位置とを比較することによって、ナビゲーション装置2によって求められた大まかな現在位置からより正確な現在位置を求める例を示した。
本発明では、車両の上方の物標を検出するレーダ装置を用いて、道路上方の高架道路、高架鉄道、横断歩道橋、トンネル区間等を検出するとともに、高架道路、高架鉄道、横断歩道橋、トンネル区間の位置を道路周囲環境記憶装置に予め登録しておいて、車両が高架道路、高架鉄道、横断歩道橋、トンネル区間等を通過する毎に、車両の現在位置を修正するようにしてもよい。
【0056】
更に、比較の結果、道路周囲環境記憶装置5に登録(記憶)されている固定物がレーダ装置4によって検出されない場合は、道路周囲環境記憶装置5からその固定物の登録を抹消する構成としてもよい。
また、道路周囲環境記憶装置5には登録されていないが、新たな固定物の存在が検出された場合は、その新たな固定物を道路周囲環境記憶装置5に追加登録する構成としてもよい。
【0057】
即ち、位置修正装置3は、レーダ装置4によって検出した固定物のデータと道路周囲環境記憶装置5に記憶された固定物のデータとが一致しない場合は、レーダ装置4によって検出した固定物のデータを道路周囲環境記憶装置5に書き込んで固定物のデータを更新するよう構成してもよい。
【0058】
道路周囲環境記憶装置5において、変更される前の固定物のデータか記憶された記憶箇所に、レーダ装置4によって検出した最新の固定物のデータを書き込むことで、道路周囲環境記憶装置5の固定物のデータを更新することができ、道路周囲の最新の環境を道路周囲環境記憶装置5に記憶させることができる。
道路周囲環境記憶装置5では、この書込みを予定して、道路周囲の固定物のデータ記憶箇所に新たな情報を追加記憶させるための空き領域を持たせておいてもよい。これにより、例えば、固定物の形状の変化や位置の変化があっても、そのデータ記憶箇所をはみ出ることなく、新たな情報を追加記憶させることができる。
【0059】
本発明の車両位置推定装置では、位置修正装置3は、レーダ装置4によって検出された固定物の位置等のデータを一定距離を走行する間だけ記憶し、または一定時間だけ記憶する記憶装置を備えてもよく、これにより位置修正装置3の記憶装置の容量を小さくすることができる。
【0060】
【発明の効果】
以上説明したように本発明に係る車両位置推定装置ならびに車両位置推定方法は、レーダ装置によって検出された道路周囲の固定物の位置等のデータと道路周囲環境記憶装置に記憶された固定物の位置等のデータとのマッチングをとることでナビゲーション装置で求めた現在位置を修正するので、自車の現在位置をレーダ装置の物標検出精度で正確に求めることができる。
【0061】
本発明に係る走行車線維持装置ならびに走行車線維持方法は、車両の現在位置をレーダ装置の物体検出精度で正確に求め、求めた車両の現在位置に基づいてハンドルを操舵するので、走行車線を正確に維持させることができる。
【図面の簡単な説明】
【図1】本発明に係る車両位置推定装置ならびに走行車線維持装置の簡易ブロック構成図
【図2】車両に搭載されたレーダ装置の検知範囲例を示す説明図
【図3】ある瞬間に検出したレーダデータを例示する説明図
【図4】車両の走行に沿って反射物の位置をプロットした例を示す説明図
【図5】反射物の位置の求め方を説明する説明図
【図6】位置修正装置の動作を説明する簡易フローチャート
【符号の説明】
1…車両位置推定装置ならびに走行車線維持装置、2…ナビゲーション装置、3…位置修正装置、4…レーダ装置、5…道路周囲環境記憶装置、6…ステアリング制御装置、7…距離センサ、8…方位センサ、9…GPS受信機、10…ナビゲーション制御部、11…道路地図データベース、12…画像表示装置、20…車両、30…道路。

Claims (12)

  1. 自車の前方または周囲にビームを放射し、物標からの反射波を受信して前記物標を検出し、この検出データに基づいて前記自車の現在位置を推定する車両位置推定装置において、
    道路地図上における前記自車の現在位置を求めるナビゲーション装置と、
    道路周囲に存在する固定物の位置データを記憶する道路周囲環境記憶装置と、
    道路周囲に存在する前記固定物にビームを放射しその反射信号に基づいて前記固定物の位置データを検出するレーダ装置と、
    前記レーダ装置によって検出された前記固定物の位置データと前記道路周囲環境記憶装置に記憶された前記固定物の位置データとに基づいて、前記ナビゲーション装置で求めた前記自車の現在位置を修正する位置修正装置と、
    を備え、
    前記位置修正装置は、前記レーダ装置によって検出された前記固定物の位置データを一定距離を走行する間または一定時間だけ記憶する記憶装置を備えることを特徴とする車両位置推定装置。
  2. 自車の前方または周囲にビームを放射し、物標からの反射波を受信して前記物標を検出し、この検出データに基づいて前記自車の現在位置を推定する車両位置推定装置において、
    道路地図上における前記自車の現在位置を求めるナビゲーション装置と、
    道路周囲に存在する固定物の立体形状データを記憶する道路周囲環境記憶装置と、
    道路周囲に存在する前記固定物にビームを放射しその反射信号に基づいて前記固定物の立体形状データを検出するレーダ装置と、
    前記レーダ装置によって検出された前記固定物の立体形状データと前記道路周囲環境記憶装置に記憶された前記固定物の立体形状データとに基づいて、前記ナビゲーション装置で求めた前記自車の現在位置を修正する位置修正装置と、
    を備えてなることを特徴とする車両位置推定装置。
  3. 前記位置修正装置は、前記レーダ装置によって検出された前記固定物の立体形状データを一定距離を走行する間または一定時間だけ記憶する記憶装置を備えることを特徴とする請求項記載の車両位置推定装置。
  4. 前記道路周囲環境記憶装置は、道路周囲に存在する前記固定物のデータを点反射物のデータとして記憶しており、
    前記位置修正装置は、前記レーダ装置によって検出された前記固定物のデータからこれに対応する点反射物のデータを抽出し、抽出した点反射物のデータと前記道路周囲環境記憶装置に記憶されている前記点反射物のデータとに基づいて前記自車の現在位置を修正することを特徴とする請求項1〜のいずれか1項に記載の車両位置推定装置。
  5. 前記レーダ装置は、ビームの中心を斜め上方へ向けることを特徴とする請求項1〜のいずれか1項に記載の車両位置推定装置。
  6. 前記位置修正装置は、前記レーダ装置によって検出した前記固定物のデータと前記道路周囲環境記憶装置に記憶された前記固定物のデータとが一致しない場合は、前記レーダ装置によって検出した前記固定物のデータを前記道路周囲環境記憶装置に書き込んで前記固定物のデータを更新するよう構成したことを特徴とする請求項1〜のいずれか1項に記載の車両位置推定装置。
  7. 自車の現在位置を推定する車両位置推定方法において、
    ナビゲーション装置によって前記自車の現在位置を求め、
    レーダ装置によって道路周囲の固定物の位置データを検出し、
    前記レーダ装置によって検出された道路周囲の前記固定物の位置データと検出道路周囲環境記憶装置に予め記憶された道路周囲の前記固定物の位置データとに基づいて、前記ナビゲーション装置で求めた前記自車の現在位置を修正するとともに、
    前記レーダ装置によって検出された前記固定物の位置データを一定距離を走行する間または一定時間だけ記憶することを特徴とする車両位置推定方法。
  8. 自車の現在位置を推定する車両位置推定方法において、
    ナビゲーション装置によって前記自車の現在位置を求め、
    前記レーダ装置によって道路周囲の固定物の立体形状データを検出し、
    前記レーダ装置によって検出された道路周囲の前記固定物の立体形状データと検出道路周囲環境記憶装置に予め記憶された道路周囲の前記固定物の立体形状データとに基づいて、前記ナビゲーション装置で求めた前記自車の現在位置を修正することを特徴とする車両位置推定方法。
  9. 自車の走行を自動制御して自車が走行する走行車線を維持させる走行車線維持装置において、
    道路地図上における前記自車の現在位置を求めるナビゲーション装置と、
    道路周囲に存在する固定物の位置データを記憶する道路周囲環境記憶装置と、
    道路周囲に存在する前記固定物にビームを放射しその反射信号に基づいて前記固定物の位置データを検出するレーダ装置と、
    前記レーダ装置によって検出された前記固定物の位置データと前記道路周囲環境記憶装置に記憶された前記固定物の位置データとに基づいて、前記ナビゲーション装置で求めた前記自車の現在位置を修正する位置修正装置と、
    前記位置修正装置により修正された現在位置に基づいてハンドル舵角を制御して走行車線を維持させるステアリング制御装置と、を備え、
    前記位置修正装置は、前記レーダ装置によって検出された前記固定物の位置データを一定距離を走行する間または一定時間だけ記憶する記憶装置を備えたことを特徴とする走行車線維持装置。
  10. 自車の走行を自動制御して自車が走行する走行車線を維持させる走行車線維持装置において、
    道路地図上における前記自車の現在位置を求めるナビゲーション装置と、
    道路周囲に存在する固定物の立体形状データを記憶する道路周囲環境記憶装置と、
    道路周囲に存在する前記固定物にビームを放射しその反射信号に基づいて前記固定物の立体形状データを検出するレーダ装置と、
    前記レーダ装置によって検出された前記固定物の立体形状データと前記道路周囲環境記憶装置に記憶された前記固定物の立体形状データとに基づいて、前記ナビゲーション装置で求めた前記自車の現在位置を修正する位置修正装置と、
    前記位置修正装置により修正された現在位置に基づいてハンドル舵角を制御して走行車線を維持させるステアリング制御装置と、
    を備えたことを特徴とする走行車線維持装置。
  11. 自車の走行を自動制御して自車が走行する走行車線を維持させる走行車線維持方法において、
    ナビゲーション装置によって前記自車の現在位置を求め、
    レーダ装置によって道路周囲の固定物の位置データを検出し、
    前記レーダ装置によって検出された道路周囲の前記固定物の位置データと検出道路周囲環境記憶装置に予め記憶された道路周囲の前記固定物の位置データとに基づいて、ナビゲーション装置で求めた前記自車の現在位置を修正するとともに、
    前記レーダ装置によって検出された前記固定物の位置データを一定距離を走行する間または一定時間だけ記憶し、
    修正した前記自車の現在位置に基づいてハンドル舵角を制御して走行車線を維持させる
    ことを特徴とする走行車線維持方法。
  12. 自車の走行を自動制御して自車が走行する走行車線を維持させる走行車線維持方法において、
    ナビゲーション装置によって前記自車の現在位置を求め、
    レーダ装置によって道路周囲の固定物の立体形状データを検出し、
    前記レーダ装置によって検出された道路周囲の前記固定物の立体形状データと検出道路周囲環境記憶装置に予め記憶された道路周囲の前記固定物の立体形状データとに基づいて、ナビゲーション装置で求めた前記自車の現在位置を修正し、
    修正した前記自車の現在位置に基づいてハンドル舵角を制御して走行車線を維持させる
    ことを特徴とする走行車線維持方法。
JP11153897A 1997-04-28 1997-04-28 車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法 Expired - Fee Related JP3848431B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11153897A JP3848431B2 (ja) 1997-04-28 1997-04-28 車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11153897A JP3848431B2 (ja) 1997-04-28 1997-04-28 車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法

Publications (2)

Publication Number Publication Date
JPH10300493A JPH10300493A (ja) 1998-11-13
JP3848431B2 true JP3848431B2 (ja) 2006-11-22

Family

ID=14563908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11153897A Expired - Fee Related JP3848431B2 (ja) 1997-04-28 1997-04-28 車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法

Country Status (1)

Country Link
JP (1) JP3848431B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014134469A (ja) * 2013-01-10 2014-07-24 Toyota Motor Corp 運転制御装置および運転制御方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022987A (ja) * 1999-07-07 2001-01-26 Mitsubishi Heavy Ind Ltd 道路料金収受装置及び自動料金収受システム
JP2001166051A (ja) * 1999-12-10 2001-06-22 Fujitsu Ten Ltd 車両用レーダ装置の軸ずれ検出装置
JP3472815B2 (ja) * 2000-10-31 2003-12-02 国土交通省国土技術政策総合研究所長 横断歩行者検出方法
JP4271931B2 (ja) * 2002-12-06 2009-06-03 アルパイン株式会社 ナビゲーション装置及び電子地図更新方法
KR20040091788A (ko) * 2003-04-22 2004-11-02 현대자동차주식회사 고속도로 자율주행 시스템 및 그의 제어방법
JP2005173917A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 分岐路検出装置及び分岐路検出方法
US8280398B2 (en) 2004-03-03 2012-10-02 Nec Corporation Positioning system, positioning method, and program thereof
JP5055691B2 (ja) * 2004-10-22 2012-10-24 日産自動車株式会社 前方物体検出装置及び前方物体検出方法
JP4651485B2 (ja) * 2005-08-29 2011-03-16 アルパイン株式会社 車両周辺物体検知装置およびシステム
JP2007232690A (ja) * 2006-03-03 2007-09-13 Denso Corp 現在地検出装置、地図表示装置、および現在地検出方法
WO2007111130A1 (ja) * 2006-03-27 2007-10-04 Murata Manufacturing Co., Ltd. レーダ装置および移動体
GB2437137A (en) * 2006-04-03 2007-10-17 Autoliv Development Ab Drivers aid that sensors the surrounding of the vehicle, and with a positioning system compares the detected objects to predict the driving conditions
JP4984659B2 (ja) * 2006-06-05 2012-07-25 株式会社豊田中央研究所 自車両位置推定装置
JP5162849B2 (ja) * 2006-06-11 2013-03-13 株式会社豊田中央研究所 不動点位置記録装置
JP4600357B2 (ja) * 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
JP5388082B2 (ja) * 2006-09-07 2014-01-15 株式会社豊田中央研究所 静止物地図生成装置
JP2008128927A (ja) * 2006-11-24 2008-06-05 Xanavi Informatics Corp ナビゲーションシステム、ナビゲーション装置
US8554478B2 (en) 2007-02-23 2013-10-08 Honeywell International Inc. Correlation position determination
JP5688876B2 (ja) * 2008-12-25 2015-03-25 株式会社トプコン レーザスキャナ測定システムの較正方法
JP5054718B2 (ja) * 2009-03-03 2012-10-24 日立Geニュークリア・エナジー株式会社 水中移動体の位置検知装置及び位置検知方法
JP5645928B2 (ja) * 2009-06-19 2014-12-24 コーダ ワイヤレス ピーティーワイ リミテッドCohda Wireless Pty Ltd 無線通信システムにおける環境評価
EP2508999A4 (en) 2009-11-30 2014-03-05 Panasonic Corp PORTABLE COMMUNICATION DEVICE, COMMUNICATION PROCESS, INTEGRATED CIRCUIT AND PROGRAM
JP5460413B2 (ja) * 2010-03-26 2014-04-02 ダイハツ工業株式会社 自車位置認識装置
WO2012070250A1 (ja) * 2010-11-25 2012-05-31 パナソニック株式会社 通信機器
US9562778B2 (en) * 2011-06-03 2017-02-07 Robert Bosch Gmbh Combined radar and GPS localization system
DE102011086244A1 (de) * 2011-11-14 2013-05-16 Robert Bosch Gmbh Verfahren zum Betreiben eines Sensors
US9921069B2 (en) 2012-04-05 2018-03-20 Hitachi, Ltd. Map data creation device, autonomous movement system and autonomous movement control device
JP5404861B2 (ja) * 2012-07-17 2014-02-05 株式会社豊田中央研究所 静止物地図生成装置
JP2014025708A (ja) * 2012-07-24 2014-02-06 Ricoh Co Ltd 目標物検出装置及び目標物表示装置
US10203412B2 (en) 2013-09-20 2019-02-12 Caterpillar Inc. Positioning system
GB201407643D0 (en) * 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
EP3232159A4 (en) * 2014-12-08 2018-08-15 Hitachi Automotive Systems, Ltd. Host vehicle position estimation device
JP2016218015A (ja) * 2015-05-26 2016-12-22 株式会社デンソー 車載センサ補正装置、自己位置推定装置、プログラム
DE102015210015A1 (de) 2015-06-01 2016-12-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
JP2017072423A (ja) * 2015-10-05 2017-04-13 パイオニア株式会社 推定装置、制御方法、プログラム及び記憶媒体
JP6909726B2 (ja) * 2015-10-30 2021-07-28 株式会社小松製作所 作業機械の制御システム、作業機械、作業機械の管理システム、及び作業機械の管理方法
WO2016060282A1 (ja) * 2015-10-30 2016-04-21 株式会社小松製作所 作業機械の制御システム、作業機械、作業機械の管理システム、作業機械の制御方法及びプログラム
CN105849587B (zh) * 2015-10-30 2018-12-21 株式会社小松制作所 作业机械的控制系统、作业机械、其管理系统和控制方法
CN109074737B (zh) 2016-04-28 2021-04-02 住友电气工业株式会社 安全驾驶辅助系统、服务器、车辆、以及程序
US10510249B2 (en) 2016-04-28 2019-12-17 Sumitomo Electric Industries, Ltd. Safety driving assistant system, vehicle, and program
WO2017187884A1 (ja) 2016-04-28 2017-11-02 住友電気工業株式会社 推奨走行速度提供プログラム、走行支援システム、車両制御装置および自動走行車両
WO2018008627A1 (ja) * 2016-07-05 2018-01-11 国立研究開発法人宇宙航空研究開発機構 衛星測位システム及び衛星測位方法
JP6708328B2 (ja) * 2016-07-05 2020-06-10 国立研究開発法人宇宙航空研究開発機構 衛星測位システム及び衛星測位方法
JP6819441B2 (ja) * 2017-04-24 2021-01-27 日産自動車株式会社 物標位置推定方法及び物標位置推定装置
DE102017217065A1 (de) 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren und System zum Kartieren und Lokalisieren eines Fahrzeugs basierend auf Radarmessungen
JP6971900B2 (ja) * 2018-03-26 2021-11-24 三菱電機株式会社 車両位置推定装置および車両位置推定方法
US10935670B2 (en) * 2018-03-28 2021-03-02 Psionic, Llc Navigation system for GPS denied environments
CN111679302B (zh) * 2020-05-28 2023-10-03 阿波罗智联(北京)科技有限公司 车辆定位方法、装置、电子设备和计算机存储介质
JP2023066524A (ja) * 2021-10-29 2023-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2707245B2 (ja) * 1986-07-08 1998-01-28 ヤマハ発動機株式会社 自動走行する車両の操舵装置
JPS63301400A (ja) * 1987-06-01 1988-12-08 Toyota Motor Corp ナビゲ−シヨンシステム
JP3154355B2 (ja) * 1992-10-26 2001-04-09 株式会社小松製作所 移動体の相対距離計測装置および位置計測装置
JPH0719882A (ja) * 1993-06-30 1995-01-20 Mazda Motor Corp 車両の走行域認識装置及びそれを備えた自動車の安全装置
JPH08247775A (ja) * 1995-03-15 1996-09-27 Toshiba Corp 移動体の自己位置同定装置および自己位置同定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014134469A (ja) * 2013-01-10 2014-07-24 Toyota Motor Corp 運転制御装置および運転制御方法

Also Published As

Publication number Publication date
JPH10300493A (ja) 1998-11-13

Similar Documents

Publication Publication Date Title
JP3848431B2 (ja) 車両位置推定装置と車両位置推定方法、および、走行車線維持装置と走行車線維持方法
US11821750B2 (en) Map generation system, server, vehicle-side device, method, and non-transitory computer-readable storage medium for autonomously driving vehicle
US11410332B2 (en) Map system, method and non-transitory computer-readable storage medium for autonomously navigating vehicle
US11835361B2 (en) Vehicle-side device, method and non-transitory computer-readable storage medium for autonomously driving vehicle
US11920948B2 (en) Vehicle-side device, method, and non-transitory computer-readable storage medium for uploading map data
US11840254B2 (en) Vehicle control device, method and non-transitory computer-readable storage medium for automonously driving vehicle
US7463974B2 (en) Systems, methods, and programs for determining whether a vehicle is on-road or off-road
US11619496B2 (en) System and method of detecting change in object for updating high-definition map
US8694236B2 (en) Road environment recognition device and method of recognizing road environment
US11979792B2 (en) Method for uploading probe data
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
US8134480B2 (en) Image processing system and method
US7899589B2 (en) Control information storage apparatus and program for same
US6032098A (en) Automatic travel guiding device for vehicle
US7552008B2 (en) Populating geospatial database for onboard intelligent vehicle applications
US20070021912A1 (en) Current position information management systems, methods, and programs
JP4483305B2 (ja) 車両周辺監視装置
JP2005222538A (ja) 車道上のマークの認識方法
JP2022504728A (ja) ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体
JP2007303842A (ja) 車両位置推定装置及び地図情報作成装置
CN113538966B (zh) 车载传感器系统
JP2004265432A (ja) 走行環境認識装置
JP7328178B2 (ja) 車両制御装置、および、自車位置推定方法
JP7289761B2 (ja) 車両の自己位置推定装置、および、自己位置推定方法
JPH0755489A (ja) 経路走行判定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060825

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees