JP3795299B2 - 車両制御装置 - Google Patents
車両制御装置 Download PDFInfo
- Publication number
- JP3795299B2 JP3795299B2 JP2000107148A JP2000107148A JP3795299B2 JP 3795299 B2 JP3795299 B2 JP 3795299B2 JP 2000107148 A JP2000107148 A JP 2000107148A JP 2000107148 A JP2000107148 A JP 2000107148A JP 3795299 B2 JP3795299 B2 JP 3795299B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- road shape
- vehicle
- estimated
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
【発明の属する技術分野】
本発明は、車両位置の正確な推定により、運転者への警報または運転支援を行う車両制御装置に関する。
【0002】
【従来の技術】
車両誘導を目的として、従来から車速センサ,ヨーレートセンサ等から得られる自律航法に地図データを合わせ込む自車位置算出が広く行われており、近年は、衛星と位置基準局を使用するD−GPS(Differential-Global Positioning System)も一般的に使われ始めている。
また、自車進行方向を撮影するように設置されたカメラから得た画像情報を画像処理装置で処理し、得られた白線情報などから自動操舵を行う装置も広く知られており、更に、上記技術を融合した技術も報告されている。
【0003】
ところで、運転者への警報又は運転支援を行う車両制御装置では、自車位置の正確かつ安定したリアルタイム推定が必須の要件となる。例えば、車線逸脱警報発生装置の場合には、数10cm程度の精度が要求される。
しかしながら、自律航法は、センサの出力を積分することにより自車位置を算出するため、精度が低い安価なセンサで構成した場合には算出精度が悪く、運転支援用としては精度不十分となる。ただし、大きく値を変化させることがないため、その点では車両制御装置用として好適である。
【0004】
他方、D−GPSによる自車位置推定の精度は数m程度であり、運転支援用としては精度不十分である。また、値の変化が唐突に発生するため、運転支援用の車両制御装置として好適とは言い難い。
カメラを用いる白線検知による自車位置推定は、特に進行方向に対する横方向の精度は非常に良いが、雨や光線状況によっては白線検知が困難になることがあり、継続的に連続したデータが必要になる制御システム用としては、必ずしも好適であるとは言い難い。
【0005】
そこで、自車位置推定の技術を運転支援に適用するには、他のシステムとの組み合わせが必須となってくる。
例えば、特開平8−30899号公報には、実際の道路状況と予め記憶している道路状況とを比較することにより、自車の走行状況を判断するようにした車両用走行状況判断装置が開示されている。
【0006】
この装置は、地図情報記憶媒体に各道路毎にその道路状態(例えば幅員、車線数等)を記憶しておき、自車の進行方向を撮影するカメラと画像処理装置とで自車の現在の道路状況を読み出し、これらの比較から実際の自車走行状況および自車位置が誤っているか否かを判断する。
【0007】
特開平8−287395号公報には、ナビゲーション制御部と自動走行制御部とを組み合わせ、道路地図上に設定されている目標経路に従う走行誘導の指示に応じて自車の進行方向の実際の道路状況をセンシングしながら自動走行の制御を行うに際し、現在位置の精度と走行制御の精度とを相関的に向上させて、自動走行の制御を高精度に行わせるようにした自動走行誘導装置が開示されている。特開平9−304083号公報には、車両の走行状況データから算出した走行予定ラインと道路形状とを比較して車線逸脱を検知する技術が開示されている。
【0008】
【発明が解決しようとする課題】
しかしながら、画像情報と他のシステムとを組み合わせた特開平8−30899号公報の技術は、自車位置をおおよそ把握し、地図で示される自車位置が誤っているか否かを判断するには有効であるが、どの程度ずれているかや、そのずれが固定値なのか一時的なものなのかわからないため、運転者への警報又は運転支援を実施する車両制御装置に必要な精度を継続的に保つことができない。
【0009】
特開平8−287395号公報の技術は、自動走行を行うことが前提であり、自動運転による情報のフィードバックなしでの正確な自車位置推定は行えない。特開平9−304083号公報の技術は、画像等から得られた車両の走行レーンにおける横方向位置を加味し、走行予定ラインと道路形状とを比較した結果より警報を発生する装置であるが、2つの情報をどのように使い分けるのかが明確でなく、具体性を欠いている。
【0010】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、カメラ画像情報から現在の道路線形を推定し、確実に把握できる現在の車両状態と地図から得られる道路線形とを比較することにより、目標に対する正確な変位量を算出し、安定した運転者への警報又は運転支援を行うことのできる車両制御装置の提供にある。
【0011】
【課題を解決するための手段】
上記課題を解決するために、本発明は、以下の構成を採用した。請求項1の発明は、自車の走行状況又は衛星測位情報の少なくともいずれかから自車の位置を推定する自車位置推定手段(自車位置推定部1)と、道路の位置データを予め記憶する道路データ記憶手段(地図データメモリ7)と、該道路データ記憶手段の記憶データに基づき道路形状を推定する第1の道路形状推定手段(地図データ道路線形推定部6)と、自車進行方向の道路を撮影する撮像手段(カメラ101)と、該撮影手段の撮影した画像に基づき道路形状を推定する第2の道路形状推定手段(画像データ道路線形推定部8)と、前記第1および第2の道路形状推定手段の推定した道路形状の信頼性を判断する判断手段(図10のステップS21〜ステップS24)と、該判断手段の判断結果に基づき前記第1および第2の道路形状推定手段の推定した道路形状のいずれかを選択する道路形状選択手段(道路線形選択部110)とを備え、前記撮像手段は、道路の走行路区分線(図9中の右白線,左白線)を認識するものであり、前記判断手段は、自車進行方向における自車からの距離が異なる複数箇所における前記走行路区分線の認識状況に基づき前記第2の道路形状推定手段の推定した道路形状の信頼性を判断することを特徴としている。
【0012】
この構成によれば、地図データに基づく推定道路形状の信頼性と、画像データに基づく推定道路形状の信頼性との比較結果に応じて、より精度の高い方の推定道路形状を客観的に選択することが可能になる。また、画像データに基づく推定道路形状の信頼性判断に、路面に目立つように描かれた走行路区分線を用いるため、その判断が容易となる。さらに、1箇所の画像データだけから推定道路形状の信頼性を判断する場合よりも、より正確な判断が可能となる。
【0017】
請求項2の発明は、請求項1に記載の車両制御装置において、前記道路形状選択手段は、前記判断手段が前記第2の道路形状推定手段の推定した道路形状の信頼性を高と判定した時(図10のステップS21で「YES」と判定した時)は、前記第2の道路形状推定手段の推定した道路形状を選択し(図10のステップS26)、信頼性を低と判定した時(図10のステップS22で「YES」と判定した時)は、前記第1の道路形状推定手段の推定した道路形状を選択する(図10のステップS25)ことを特徴としている。
【0018】
この構成によれば、画像データが信頼できる場合には、実際の撮像画像を用いた高精度の道路形状推定が可能となり、また、画像データが信頼できない場合には、そのような信頼できないデータに頼ることなく、地図データを用いた必要十分な精度の道路形状推定が可能となる。
【0019】
請求項3の発明は、請求項1又は請求項2に記載の車両制御装置において、前記道路形状選択手段は、さらに前記第1および第2の道路形状推定手段の推定した道路形状を比較する道路形状比較手段を備え、前記判断手段が前記第2の道路形状推定手段の推定した道路形状の信頼性を中と判定した場合(図10のステップS21およびステップS22で「NO」と判定し、かつ、ステップS23で「YES」と判定した時)であって、前記道路形状比較手段の比較結果が一致した時(図10のステップS24で「YES」と判定された時)は、前記第2の道路形状推定手段の推定した道路形状を選択し(図10のステップS26)、一致しなかった時(図10のステップS24で「NO」と判定された時)は、前記第1の道路形状推定手段の推定した道路形状を選択する(図10のステップS25)ことを特徴としている。
【0020】
この構成によれば、画像データが信頼できると断定できない場合であっても、画像データによる推定道路形状が地図データによる推定道路形状と一致したときは、画像データによる推定道路形状の信頼性が高とみなすことにより、画像データによる高精度の道路形状推定が可能となる。
【0021】
請求項4の発明は、請求項1〜請求項3のいずれかに記載の車両制御装置において、前記自車の走行状況は、ヨーレートと車速であり、両出力に基づき自車の走行軌跡を推定するものであることを特徴としている。
【0022】
この構成によれば、出力変動の小さな自律航法を利用し得るようになるため、自車位置推定結果の安定化が可能となる。
【0023】
請求項5の発明は、請求項4記載の車両制御装置において、前記道路データ記憶手段は、前記走行路区分線の幅員データ(幅員W)を記憶するものであり、前記道路形状選択手段により前記第1の道路形状推定手段の推定した道路形状が選択された時(図13のステップS33)は、前記自車の走行状況から求めた走行軌跡と前記第1の道路形状推定手段の推定した道路形状および前記幅員データとに基づき走行路区分線からの逸脱状態を判定する逸脱状態判定手段(図13のステップS37)を備えることを特徴としている。
【0024】
この構成によれば、画像データが信頼できない又はその信頼性が低と判断された場合であっても、その代替え手段として、地図データによる推定道路形状と幅員データとを用いて、必要十分な精度の逸脱状態判定が可能となる。
【0025】
請求項6の発明は、請求項4記載の車両制御装置において、前記第2の道路形状推定手段は、前記撮像手段が撮像した走行路区分線から該走行路区分線間の中心線(車線中心線C)を推定し、該中心線の形状から道路形状を推定するものであり、自車の走行軌跡と前記中心線との差(横変位量D,角度変位量θ)に基づき走行路区分線からの逸脱状態を判定する逸脱状態判定手段(図13のステップS37)を備えることを特徴としている。
【0026】
この構成によれば、走行路区分線の中心線が幾何学的に道路形状と略一致することを利用して、自車の走行軌跡が道路形状に沿っていないことを容易に判定することが可能となる。
【0027】
請求項7の発明は、請求項5又は請求項6に記載の車両制御装置において、前記逸脱状態判定手段により自車が走行路区分線を逸脱するおそれがあると判定された時(図13のステップS37で「YES」と判定された時)、ドライバに報知する報知手段(ブザー131)を備えることを特徴としている。
【0028】
この構成によれば、自車が走行路区分線を逸脱する前に、運転者に逸脱のおそれを知らせることが可能となる。
【0029】
【発明の実施の形態】
以下、図面を参照し、本発明の一実施の形態について説明する。
図1は、本発明の一実施の形態による車両制御装置の基本構成を示すブロック図であり、符号1は、自車位置推定部(自車位置推定手段)を示している。
【0030】
自車位置推定部1は、図2及び図4に示すように、走行距離算出部11,車両方位算出部12,自律航法自車位置推定部13,座標変換部14,GPS自車位置推定部15,データ融合部16,及び,GPS融合ドリフトデータメモリ17とを備え、自律航法による自車位置の推定結果と、GPSによる自車位置の推定結果とを融合することにより、自車位置を推定する。
【0031】
自律航法による自車位置の推定は、図2に示すように、車速センサ2からの出力に基づき走行距離算出部11で算出した走行距離と、ヨーレートセンサ3からの出力に基づき車両方位算出部12で算出した車両方位とを用いて、自律航法自車位置推定部13にて相対自車座標系での車両の自律走行軌跡を推定し、この推定結果と、ドリフトデータメモリ5からのドリフトデータとを用いて、座標変換部14にて自車座標系からWGS座標系へと座標変換することにより、一定周期毎(例えば、10msec毎)に行われる。
【0032】
推定結果として得られる出力は、車両位置と方位(x_ins1,y_ins1,θ_ins1)であり、座標変換部14による自車座標系からWGS座標系への変換は、例えば図3に示すように、公知の座標変換手法により行われる。
x_ins1=x0−Xoffset+l*cos(θ−θoffset)
y_ins1=y0−Yoffset+l*sin(θ−θoffset)
θ_ins1=Σ(θ−θoffset)
θ=∫rdt
l=∫vdt
【0033】
記号の定義は、以下の通りである。
r:ヨーレート値(rad/sec)
θ:車両方位(rad)
v:車速(m/sec)
l:前回計算した時から現在までの走行距離(m)
x0,y0:前回計算した車両位置、又は走行開始時位置
Xoffset,Yoffset,θoffset:自車座標系からWGS84座標系への変換用データ(センサのドリフト量なども含む)
【0034】
GPSによる自車位置の推定は、図4に示すように、GPSアンテナ41を介してGPS情報受信装置42がGPS衛星から受信した衛星測位情報と、FMアンテナ43を介して基準局のDifference情報受信装置44がGPS衛星から受信した衛星測位情報とに基づき、GPS自車位置推定部15において行われる。
【0035】
そして、自車位置推定部1は、自律航法による自車位置の推定結果、すなわち、WGS84座標系に変換された自車位置の推定結果と、GPSによる自車位置の推定結果とを自律走行軌跡推定部16にて融合することにより、自律走行軌跡を推定する。
【0036】
具体的には、GPS自車位置推定部15からD−GPSデータ更新毎に得られた車両位置を連続的に記憶し、その変化分、すなわち、走行距離が所定値よりも長くなった時に、座標変換部14から得た車両位置によるベクトルと、GPS自車位置推定部15から得た車両位置によるベクトルとを比較することにより、初期オフセットと、時間経過に応じて発生する角度及び位置のドリフト量とを推定し、車両位置を補正する。
この補正は、D−GPS処理装置4による位置推定誤差(20m程度)の実質影響を無視することのできる距離(例えば、500m)を走行した時に行う。
【0037】
このように、自律航法データとD−GPSデータとを融合して推定された自車位置は、GPS融合ドリフトデータメモリ17に記録される他、図1に示すように、地図データ道路線形推定部(第1の道路形状推定手段)6及び画像データ道路線形推定部(第2の道路形状推定手段)8への入力情報として使用される。
【0038】
地図データ道路線形推定部6は、図5に示すように、対象抽出部61,道路線形推定部62,ドリフト量算出部63,及び,地図融合ドリフトデータメモリ64を備えている。
同図中、符号7は、所定範囲内の道路網の状態、すなわち、交差点等、道路網を構成する各要素およびこれらの所在位置を表す地図データを記憶した地図データメモリであり、CD−ROM等の大容量記憶装置によって構成されている。
【0039】
この地図データ道路線形推定部6は、対象抽出部61にて地図データメモリ7より取得した地図データの中から自車位置座標に一番近いノード座標を抽出し、抽出したノード座標を用いて道路線形推定部62にて道路線形を推定した後、地図データから得たベクトルと、GPS融合軌跡ベクトルとの比較からドリフト量算出部63にてドリフト量も算出する。
このドリフト量は、地図融合ドリフトデータメモリ64に記録される。
【0040】
推定結果として得られる出力は、推定道路線形ベクトル((Xn-1_map,Yn-1_map),(Xn_map,Yn_map))であり、この出力は、地図データ内のノード座標(X,Y)と自律航法・GPS融合自車位置座標(x_ins,y_ins)との距離を求め、相対距離が最も短くなる2点(Xn-1,Yn-1),(Xn,Yn)を抽出することにより得られる。
【0041】
すなわち、D=sqrt((Xn−x_ins)2+(Yn−y_ins)2)+sqrt((Xn-1−x_ins)2+(Yn-1−y_ins)2)により定義づけられる相対距離Dが最小となるような2点(Xn-1,Yn-1),(Xn,Yn)を抽出することにより得られる。
ノード抽出の際の検索対象は、前回位置を中心に前後所定数のノードとする。
【0042】
画像データ道路線形推定部8は、図6に示すように、目標点座標算出部81,車線中心線算出部82,道路線形推定部83,ドリフト量算出部84,及び,画像融合ドリフトデータメモリ85を備え、自車位置推定部1からの自車位置情報と、白線検知部102で検出された白線情報とが入力される。
白線検知部102は、自車進行方向の道路を撮影するカメラ(撮像手段)101からの画像データを画像処理して白線や黄線等の走行路区分線を検知するものである。
【0043】
画像データ道路線形推定部8は、自車位置推定部1からの自車位置情報と、白線検知部102からの白線情報とに基づき目標点座標算出部81にて前方における道路目標点Pの座標を算出し、算出した道路目標点Pの座標の累積から車線中心線算出部82にて車線中心線を推定した後、道路線形推定部83にて道路線形を求める。また、車線中心線ベクトルと自律航法・GPS融合軌跡ベクトルとの比較から、ドリフト量算出部84にてドリフト量も算出する。
【0044】
推定結果として得られる出力は、推定道路線形ベクトル((Xn-1_vis,Yn-1_vis),(Xn_vis,Yn_vis)であり、この出力は、前方道路目標点を蓄積して車線中心線データとした後、この車線中心線データ内のノード座標(X,Y)と、自車位置座標(x_ins,y_ins)との距離を求め、相対距離が最も短い2点(Xn-1,Yn-1),(Xn,Yn)を抽出することにより得られる。
【0045】
すなわち、D=sqrt((Xn−x_ins)2+(Yn−y_ins)2)+sqrt((Xn-1−x_ins)2+(Yn-1−y_ins)2)により定義づけられる相対距離Dが最小となるような2点(Xn-1,Yn-1),(Xn,Yn)を抽出することにより得られる。
ノード抽出の際の検索対象は、前回位置を中心に前後所定数のノードとする。
【0046】
次に、図7のフローチャートを用いて、白線検知信頼性の算出処理について説明する。
この処理は、画像データ道路線形推定部8による道路線形推定の処理と並列して行われるものであり、ステップS1及びステップS2の処理は、カメラ101と白線検知部102とにより行われ、ステップS3以降の処理は、白線検知信頼性算出部103にて行われる(図1参照)。
【0047】
以下、図7を参照しながら処理の流れを説明すると、まず、ステップS1でカメラ画像から白線位置を算出し、ステップS2で断続白線を仮想連続白線に変換する。
しかる後、ステップS3で白線検知の信頼性を表す変数resultに「0」をセットする。
【0048】
変数resultにセットされた値と、白線検知の信頼性との関係は、図8に示す通りであり、セットされた値が大きくなるに従い、白線検知の信頼性は上昇する。
次いで、ステップS4において、自車から自車進行方向に所定距離離れた箇所で左右ともに白線を検知したか否かを判断する。この所定距離は、図7及び図9には「Am」と記載しており、例えば50mに設定される。
【0049】
ステップS4の判断結果が「YES」の場合、すなわち、Am先の白線を左右ともに検知した場合には、ステップS5に進み、変数resultにセットされた値をインクリメントする。この処理の結果、白線検知の信頼性は上昇する。
これに対し、ステップS4での判断結果が「NO」の場合には、ステップS5をスキップする。この場合、白線検知の信頼性は変わらない。
【0050】
ステップS6では、ステップS4と同様に、自車から自車進行方向に所定距離離れた箇所で左右ともに白線を検知したか否かを判断する。
ここでの所定距離は、図7及び図9に「Bm」と記載している通り、ステップS4における所定距離とは異なる所定距離を意味しており、例えば20mに設定される。
【0051】
ステップS6での判断結果が「YES」の場合、すなわち、Bm先の白線を左右ともに検知した場合には、ステップS7に進み、検知した左右の白線位置から車両通過推定位置を算出し、ステップS8でデータを絶対座標系に変換した後、ステップS9でデータを走行経路データ列に加え、ステップS10で変数resultにセットされた値をインクリメントする。
この処理の結果、白線検知の信頼性は上昇する。
【0052】
これに対し、ステップS6での判断結果が「NO」の場合には、上述したステップS7〜ステップS10の各処理をスキップする。
この場合、白線検知の信頼性は変わらない。
【0053】
ステップS11では、ステップS4及びステップS6と同様に、自車から自車進行方向に所定距離離れた箇所で左右ともに白線を検知したか否かを判断する。
ここでの所定距離は、図7及び図9に「Cm」と記載している通り、ステップS4及びステップS6における所定距離とは異なる距離を意味しており、例えば10mに設定される。
【0054】
ステップS11での判断結果が「YES」の場合、すなわち、Cm先の白線を左右ともに検知した場合には、ステップS12に進み、変数resultにセットされた値をインクリメントする。この処理の結果、白線検知の信頼性は上昇する。
ステップS12の処理が終わると、図7のフローチャートに示した白線検知信頼性の算出処理は終了する。
【0055】
これに対し、ステップS11での判断結果が「NO」の場合には、ステップS12の処理をスキップする。この場合、白線検知の信頼性は変わらない。
ステップS12の処理をスキップすると、図7のフローチャートに示した白線検知信頼性の算出処理は終了する。
【0056】
次に、図10のフローチャートを用いて、道路線形の選択処理について説明する。
この処理は、地図データ道路線形推定部6からの推定道路線形情報と、画像データ道路線形推定部8からの推定道路線形情報と、白線検知信頼性算出部103からの白線検知信頼性情報とに基づき、道路線形選択部(道路形状選択手段)110にて行われる(図1参照)。
【0057】
以下、図10を参照しながら処理の流れを説明すると、まず、ステップS21において、変数resultにセットされた値が「3」であるか否かが判断され、その判断結果が「YES」の場合、すなわち、画像データが信頼できると判断された場合は、ステップS26に進み、画像から得た道路線形の採用が選択される。
ステップS26の処理が終わると、図10に示す道路線形の選択処理は終了する。
【0058】
これに対し、ステップS21の判断結果が「NO」の場合は、ステップS22に進み、変数resultにセットされた値が「0」であるか否かが判断され、その判断結果が「YES」の場合、すなわち、画像データの信頼性がないと判断された場合は、ステップS23及びステップS24の処理をスキップしてステップS25に進み、地図から得た道路線形を採用することが選択される。
【0059】
ステップS22での判断結果が「NO」の場合は、ステップS23で変数resultにセットされた値が「1」又は「2」であるか否かが判断され、その判断結果が「NO」の場合は、画像データが信頼できると判断してステップS26に進み、画像から得た道路線形の採用が選択される。ステップS26の処理が終わると、図10に示す道路線形の選択処理は終了する。
【0060】
これに対し、ステップS23の判断結果が「YES」の場合、すなわち、画像データの信頼性が判断できない場合には、ステップS24に進み、地図データ道路線形部6による推定道路線形と、画像データ道路線形部8による推定道路線形との比較により、これら推定道路線形が一致しているか否かを判断する。この判断は、道路形状比較手段により行われる。
【0061】
ステップS24の判断結果が「YES」の場合、すなわち、推定道路線形が相互に一致する場合は、画像データが信頼できると判断してステップS26に進み、画像から得た道路線形の採用が選択され、図10に示す道路線形の選択処理は終了する。
他方、ステップS24の判断結果が「NO」の場合、すなわち、推定道路線形が不一致の場合は、画像データが信頼できないと判断してステップS25に進み、地図から得た道路線形の採用が選択され、図10に示す道路線形の選択処理は終了する。
【0062】
道路線形の選択結果を表にまとめると、図11に示す通りとなる。
すなわち、画像及び地図による推定道路線形の一致・不一致を問わず、画像データが信頼できれば画像による推定道路線形の採用が選択され、画像データが信頼できなければ地図による推定道路線形の採用が選択される。
また、画像データが信頼できなくても、推定道路線形が一致すれば画像による推定道路線形の採用が選択され、推定道路線形が不一致であれば地図による推定道路線形の採用が選択される。
【0063】
なお、ステップS24の道路線形が一致するか否かの判断には、図12に示すように、地図データ道路線形推定部6からの出力である推定道路線形ベクトル((Xn-1_map,Yn-1_map),(Xn_map,Yn_map))と、画像データ道路線形推定部8からの出力である推定道路線形ベクトル((Xn-1_vis,Yn-1_vis),(Xn_vis,Yn_vis))が用いられ、両ベクトル間のなす角θが所定値以下の場合に、道路線形が一致したものと判断する。
【0064】
次に、図13のフローチャートを用いて、横変位量の算出処理について説明する。
この処理は、道路線形選択部110からの採用道路線形情報に基づき、横変位量算出部120にて行われる(図1参照)。
【0065】
以下、図13を参照しながら処理の流れを説明すると、まず、ステップS31において、道路線形選択部110からの採用道路線形情報に基づき、画像データから推定した道路線形を使用するか否かが判断され、その判断結果が「YES」の場合、すなわち、道路線形選択部110にて画像データに基づく道路線形の採用が選択されている場合には、ステップS32に進んで画像データから得た道路線形を採用し、ステップS34で前方の道路目標点での幅員を算出する。
【0066】
これに対し、ステップS31の判断結果が「 NO 」の場合、すなわち、道路線形選択部110にて地図データに基づく道路線形の採用が選択されている場合には、ステップS33に進んで地図から得た道路線形を採用し、ステップS35で地図データから道路の幅員情報を入手する。なお、地図データメモリ7には、道路の幅員情報が予め記録されている。
【0067】
ステップS36では、車線中心線Cと自車位置の重心Gとから横変位量Dを算出し、算出した横変位量Dと幅員Wの1/2との比較を行う。
ここでいう車線中心線C,自車位置の重心G,道路の幅員W,及び,横変位量Dは、図14の通りに設定した。
ステップ37では、ステップS36の比較結果を用いて、自車位置の重心Gが中心線Cから大きくズレているか否かが判断される。その際のしきい値は、例えば数10cmに設定される。
【0068】
ステップS37の判断結果が「YES」の場合、すなわち、横変位量が大きいと判断された場合には、ステップS38に進んで車線逸脱警報が発生される。
この車線逸脱警報は、図1に示すように、警報制御装置130を介してブザー131によりなされる。
ステップS38の処理が終わると、図13に示す横変位量の算出処理は終了する。
【0069】
これに対し、ステップS37の判断結果が「NO」の場合には、ステップS38の処理をスキップする。
ステップS38の処理をスキップすると、図13に示す横変位量の算出処理は終了する。
なお、運転者への報知は、音声に限らず、パネルへの表示等であってもよい。
【0070】
また、本実施の形態では、変位量算出部120にて角度変位量α(図15参照)の算出処理も行う。
この処理では、図13のステップS31〜ステップS33の後に、車線中心線ベクトルと自律航法・GPS融合軌跡ベクトルとのなす角を算出する処理が行われ、次に、両ベクトルのなす角を表す角度情報が、運転支援制御装置140を介してステアリング制御装置141に送られる。
【0071】
ステアリング制御装置141では、両ベクトル間のなす角が所定のしきい値(例えば、数度)よりも大きいか否かが判断される。
そして、所定のしきい値を越える場合には、ステアリング制御装置141は、例えば、角度変位を大きくするような方向へのステアリング操作を重くする等により、車線逸脱の未然予防を図る。
【0072】
次に、図16のブロック図および図17のフローチャートを用いて、ドリフト量算出部150で行われるドリフトデータの算出処理について説明する。
このドリフト量算出部150は、図16に示すように、GPS融合ドリフトデータメモリ17,地図融合ドリフトデータメモリ64,及び,画像融合ドリフトデータメモリ85からのドリフトデータに基づき、自車位置推定部1の座標変換部14で行われる自車座標系からGPS座標系への座標変換に必要なドリフトデータを算出し、算出したドリフトデータをドリフトデータメモリ5に記録する。
【0073】
以下、図17を参照しながら処理の流れを説明すると、まず、ステップS41でGPS融合ドリフトデータメモリ17からドリフトデータを取得し、取得したドリフトデータの平滑化を行う。
次に、ステップS42で変数resultにセットされた値が「2」又は「3」であるか否かが判断される。
【0074】
ステップS42の判断結果が「YES」の場合、すなわち、画像データが信頼できる又はその信頼性が比較的高い場合には、ステップS43に進み、画像から得たドリフトデータを採用することとして、画像融合ドリフトデータメモリ85からドリフトデータを取得する。
取得したドリフトデータは、ステップS44で平滑化される。
【0075】
次に、ステップS45において、ステップS44で平滑化された画像融合ドリフトデータと、ステップS41で平滑化されたGPS融合ドリフトデータとを加算する。
しかる後、ステップS49において、ステップS45で得られたドリフトデータを、座標変換部14による座標変換も必要な走行軌跡算出用ドリフトデータとして、ドリフトデータメモリ5に記録する。
ステップS49の処理が終わると、図17に示すドリフトデータの算出処理は終了する。
【0076】
他方、ステップS42の判断結果が「NO」の場合、すなわち、画像データが信頼できない又はその信頼性が比較的低い場合には、ステップS46に進み、地図から得たドリフトデータを採用することとして、地図融合ドリフトデータメモリ64からドリフトデータを取得する。
取得したドリフトデータは、ステップS47で平滑化される。
【0077】
次に、ステップS48において、ステップS47で平滑化された地図融合ドリフトデータと、ステップS41で平滑化されたGPS融合ドリフトデータとを加算する。
しかる後、ステップS49において、ステップS48で得られたドリフトデータを、自己位置推定部1の座標変換部14が座標変換を行う際の走行軌跡算出用ドリフトデータとして、ドリフトデータメモリ5に記録する。
ステップS49の処理が終わると、図17に示すドリフトデータの算出処理は終了する。
【0078】
【発明の効果】
以上説明したように、本発明によれば、以下の効果を得ることができる。
(1)請求項1の発明によれば、地図データに基づく推定道路形状の信頼性と、画像データに基づく推定道路形状の信頼性との比較結果に応じて、より高精度に推定された道路形状の選択を可能とし、これにより、目標に対する変位量を正確に算出し得るようにしたので、安定した運転者への警報または運転支援に好適な車両制御装置を提供することができ、また、画像データに基づく推定道路形状の信頼性判断に、路面に目立つように描かれた走行路区分線を用いるため、その判断が容易となり、目標に対する変位量をさらに正確に算出することができる。
そして、本発明によれば、自車進行方向における自車からの距離が異なる複数箇所における走行路区分線の認識状況に基づいて判断手段が第2の道路形状推定手段の推定した道路形状の信頼性を判断するため、1箇所の画像データだけから推定道路形状の信頼性を判断する場合よりも、より正確な判断が行えるようになる。
【0081】
(2)請求項2の発明によれば、画像データが信頼できる場合には、実際の撮像画像を用いて高精度の道路形状推定を行うことでき、また、画像データが信頼できない場合には、そのような信頼できないデータに頼ることなく、地図データを用いて必要十分な精度の道路形状推定を行うことができるので、目標に対する変位量算出精度が向上する。
【0082】
(3)請求項3の発明によれば、画像データが信頼できると断定できない場合であっても、画像データによる推定道路形状が地図データによる推定道路形状と一致したときは、画像データによる推定道路形状の信頼性が高いとみなせることを利用して、画像データによる高精度の道路形状推定を可能にしたので、目標に対する変位量の算出結果の正確性がさらに向上する。
【0083】
(4)請求項4の発明によれば、出力変動の小さな自律航法を利用して自車位置推定結果の安定化を可能にしたから、運転者への警報または運転支援時の制御がより安定する。
【0084】
(5)請求項5の発明によれば、画像データが信頼できない又はその信頼性が比較的低いと判断された場合であっても、その代替手段として、地図データによる推定道路形状と幅員データとを用いて、必要十分な精度で逸脱状態の判定を行うことができる。
【0085】
(6)請求項6の発明によれば、走行路区分線の中心線が幾何学的に道路形状と略一致することを利用することにより、自車の走行軌跡が道路形状に沿っていないことを容易に判定することができる。
【0086】
(7)請求項7の発明によれば、自車が走行路区分線を逸脱する前に、運転者に逸脱のおそれを知らせることを可能にしたから、運転者に危険回避のための機会を事前に与えることができる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態による車両制御装置の基本構成を示すブロック図である。
【図2】 自律航法による自車位置推定を行う際のデータ授受を示すブロック図である。
【図3】 自車座標系からWGS84座標系への座標変換を説明するための図である。
【図4】 D−GPSによる自車位置推定を行う際のデータ授受を示すブロック図である。
【図5】 地図データによる道路線形推定を行う際のデータ授受を示すブロック図である。
【図6】 画像データによる道路線形推定を行う際のデータ授受を示すブロック図である。
【図7】 白線検知信頼性の算出処理流れを示すフローチャートである。
【図8】 変数resultにセットされる値と白線検知状態との相関を示す表である。
【図9】 道路目標点を説明するための図である。
【図10】 道路線形の選択処理流れを示すフローチャートである。
【図11】 画像データの信頼性及び道路線形の一致度と、選択される道路線形との相関を示す表である。
【図12】 道路線形がいかなる場合に一致したと判定するかを説明するための図である。
【図13】 横変位量の算出処理流れを示すフローチャートである。
【図14】 車両が横変位した状態を示す図である。
【図15】 車両が角度変位した状態を示す図である。
【図16】 座標変換に必要なドリフトデータを算出する際のデータ授受を示すブロック図である。
【図17】 ドリフトデータの算出処理流れを示すフローチャートである。
【符号の説明】
1 自車位置推定部(自車位置推定手段)
7 地図データメモリ(道路データ記憶手段)
6 地図データ道路線形推定部(第1の道路形状推定手段)
8 画像データ道路線形推定部(第2の道路形状推定手段)
101カメラ(撮像手段)
110道路線形選択部(道路形状選択手段)
131 ブザー(報知手段)
W 幅員(幅員データ)
C 車両中心線(中心線)
D 横変位量(自車の走行軌跡と中心線との差)
θ 角度変位量(自車の走行軌跡と中心線との差)
Claims (7)
- 自車の走行状況又は衛星測位情報の少なくともいずれかから自車の位置を推定する自車位置推定手段と、
道路の位置データを予め記憶する道路データ記憶手段と、
該道路データ記憶手段の記憶データに基づき道路形状を推定する第1の道路形状推定手段と、
自車進行方向の道路を撮影する撮像手段と、
該撮影手段の撮影した画像に基づき道路形状を推定する第2の道路形状推定手段と、
前記第1および第2の道路形状推定手段の推定した道路形状の信頼性を判断する判断手段と、
該判断手段の判断結果に基づき前記第1および第2の道路形状推定手段の推定した道路形状のいずれかを選択する道路形状選択手段とを備え、
前記撮像手段は、道路の走行路区分線を認識するものであり、
前記判断手段は、自車進行方向における自車からの距離が異なる複数箇所における前記走行路区分線の認識状況に基づき前記第2の道路形状推定手段の推定した道路形状の信頼性を判断することを特徴とする車両制御装置。 - 前記道路形状選択手段は、前記判断手段が前記第2の道路形状推定手段の推定した道路形状の信頼性を高と判定した時は、前記第2の道路形状推定手段の推定した道路形状を選択し、信頼性を低と判定した時は、前記第1の道路形状推定手段の推定した道路形状を選択することを特徴とする請求項1に記載の車両制御装置。
- 前記道路形状選択手段は、さらに前記第1および第2の道路形状推定手段の推定した道路形状を比較する道路形状比較手段を備え、前記判断手段が前記第2の道路形状推定手段の推定した道路形状の信頼性を中と判定した場合であって、前記道路形状比較手段の比較結果が一致した時は、前記第2の道路形状推定手段の推定した道路形状を選択し、一致しなかった時は、前記第1の道路形状推定手段の推定した道路形状を選択することを特徴とする請求項1又は請求項2に記載の車両制御装置。
- 前記自車の走行状況は、ヨーレートと車速であり、両出力に基づき自車の走行軌跡を推定するものであることを特徴とする請求項1〜請求項3のいずれかに記載の車両制御装置。
- 前記道路データ記憶手段は、前記走行路区分線の幅員データを記憶するものであり、前記道路形状選択手段により前記第1の道路形状推定手段の推定した道路形状が選択された時は、前記自車の走行状況から求めた走行軌跡と前記第1の道路形状推定手段の推定した道路形状および前記幅員データとに基づき走行路区分線からの逸脱状態を判定する逸脱状態判定手段を備えることを特徴とする請求項4記載の車両制御装置。
- 前記第2の道路形状推定手段は、前記撮像手段が撮像した走行路区分線から該走行路区分線間の中心線を推定し、該中心線の形状から道路形状を推定するものであり、自車の走行軌跡と前記中心線との差に基づき走行路区分線からの逸脱状態を判定する逸脱状態判定手段を備えることを特徴とする請求項4記載の車両制御装置。
- 前記逸脱状態判定手段により自車が走行路区分線を逸脱するおそれがあると判定された時、ドライバに報知する報知手段を備えることを特徴とする請求項5又は請求項6に記載の車両制御装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000107148A JP3795299B2 (ja) | 2000-04-07 | 2000-04-07 | 車両制御装置 |
DE2001117237 DE10117237B4 (de) | 2000-04-07 | 2001-04-06 | Fahrzeugsteuervorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000107148A JP3795299B2 (ja) | 2000-04-07 | 2000-04-07 | 車両制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001291197A JP2001291197A (ja) | 2001-10-19 |
JP3795299B2 true JP3795299B2 (ja) | 2006-07-12 |
Family
ID=18620182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000107148A Expired - Fee Related JP3795299B2 (ja) | 2000-04-07 | 2000-04-07 | 車両制御装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP3795299B2 (ja) |
DE (1) | DE10117237B4 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3692910B2 (ja) * | 2000-06-27 | 2005-09-07 | 日産自動車株式会社 | 車線追従走行制御装置 |
DE10210546A1 (de) * | 2002-03-09 | 2003-09-18 | Bosch Gmbh Robert | Verfahren und System zur automatischen Fahrzeugführung |
EP1371534B1 (fr) * | 2002-06-13 | 2005-04-20 | Société de Technologie Michelin | Système de contrôle de la stabilité d'un véhicule utilisant un invariant caractérisant tout pneumatique |
DE10337631B4 (de) * | 2003-08-16 | 2017-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Steuerung von Fahrzeugsystemen |
DE10337634B4 (de) * | 2003-08-16 | 2017-10-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Steuerung von Fahrzeugsystemen |
DE102004030997B4 (de) | 2004-06-26 | 2022-01-27 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem für Hochgeschwindigkeitsfahrten |
DE102004037298A1 (de) * | 2004-07-31 | 2006-03-23 | Robert Bosch Gmbh | Verfahren zur Spurbreitenadaption bei einem Spurhaltesystem |
US7974778B2 (en) | 2004-09-17 | 2011-07-05 | Honda Motor Co., Ltd. | Vehicular control object determination system and vehicular travel locus estimation system |
JP4534754B2 (ja) * | 2004-12-21 | 2010-09-01 | 日産自動車株式会社 | 車線逸脱防止装置 |
JP2006226840A (ja) * | 2005-02-17 | 2006-08-31 | Denso It Laboratory Inc | ナビゲーション装置及びナビゲーション方法 |
JP4392389B2 (ja) * | 2005-06-27 | 2009-12-24 | 本田技研工業株式会社 | 車両及び車線認識装置 |
JP4046742B2 (ja) * | 2005-07-14 | 2008-02-13 | 三菱電機株式会社 | 道路形状推定装置 |
DE102005043496A1 (de) * | 2005-09-13 | 2007-03-15 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur Erhöhung der Sicherheit eines personengeführten Fahrzeugs |
JP2008309529A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム |
US8284995B2 (en) | 2008-07-16 | 2012-10-09 | Volkswagen Of America, Inc. | Method for updating a geographic database for an in-vehicle navigation system |
EP2333484B1 (en) * | 2008-09-25 | 2014-04-16 | Clarion Co., Ltd. | Lane determining device and navigation system |
DE102008042538A1 (de) * | 2008-10-01 | 2010-04-08 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Fahrspurverlaufs |
JP5206740B2 (ja) * | 2010-06-23 | 2013-06-12 | 株式会社デンソー | 道路形状検出装置 |
JP5672310B2 (ja) * | 2010-12-15 | 2015-02-18 | トヨタ自動車株式会社 | 走行支援装置、走行支援方法、及び車輌 |
JP5711721B2 (ja) * | 2012-12-03 | 2015-05-07 | 富士重工業株式会社 | 車両の運転支援制御装置 |
KR101582572B1 (ko) * | 2013-12-24 | 2016-01-11 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 이를 구비한 차량 |
JP6345138B2 (ja) * | 2015-03-12 | 2018-06-20 | 株式会社デンソーアイティーラボラトリ | 道路形状推定装置及び道路形状推定方法 |
SE541589C2 (en) * | 2015-08-03 | 2019-11-12 | Scania Cv Ab | Method and system for controlling driving of a vehicle along a road |
JP6535561B2 (ja) * | 2015-09-25 | 2019-06-26 | 株式会社Subaru | 車両の走行制御装置 |
JP6521468B2 (ja) * | 2017-06-15 | 2019-05-29 | 株式会社Subaru | 自動操舵制御装置 |
US10906536B2 (en) * | 2018-04-11 | 2021-02-02 | Aurora Innovation, Inc. | Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle |
JP2020158066A (ja) * | 2019-03-28 | 2020-10-01 | 株式会社アドヴィックス | 走行経路生成装置、及び車両制御装置 |
WO2021033312A1 (ja) * | 2019-08-22 | 2021-02-25 | 三菱電機株式会社 | 情報出力装置、自動運転装置、及び、情報出力方法 |
DE102020208391B4 (de) * | 2020-07-03 | 2024-08-14 | Continental Autonomous Mobility Germany GmbH | Verfahren zur teil- oder vollautonomen Führung eines Kraftfahrzeugs |
EP4134623A1 (en) * | 2021-08-11 | 2023-02-15 | Hitachi Astemo, Ltd. | Drive device, vehicle, and method for automated driving and/or assisted driving |
JP7241837B1 (ja) | 2021-09-29 | 2023-03-17 | 三菱電機株式会社 | 走行車線認識装置及び走行車線認識方法 |
CN114275039B (zh) * | 2021-12-27 | 2022-11-04 | 联创汽车电子有限公司 | 智能驾驶车辆横向控制方法和模块 |
DE102022112745A1 (de) | 2022-05-20 | 2023-11-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion |
JP7425133B1 (ja) | 2022-08-10 | 2024-01-30 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP7425132B1 (ja) | 2022-08-10 | 2024-01-30 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP7433382B1 (ja) | 2022-08-12 | 2024-02-19 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5208750A (en) * | 1987-06-17 | 1993-05-04 | Nissan Motor Co., Ltd. | Control system for unmanned automotive vehicle |
JP2660727B2 (ja) * | 1988-08-10 | 1997-10-08 | 本田技研工業株式会社 | 自動走行装置 |
EP0488828B1 (en) * | 1990-11-30 | 1996-08-14 | Honda Giken Kogyo Kabushiki Kaisha | Control device of an autonomously moving body and evaluation method for data thereof |
DE69219006T2 (de) * | 1991-05-21 | 1997-11-13 | Matsushita Electric Ind Co Ltd | Fahrzeugpositionsbestimmungsvorrichtung |
JP3564547B2 (ja) * | 1995-04-17 | 2004-09-15 | 本田技研工業株式会社 | 自動走行誘導装置 |
US5904725A (en) * | 1995-04-25 | 1999-05-18 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus |
JP3556766B2 (ja) * | 1996-05-28 | 2004-08-25 | 松下電器産業株式会社 | 道路白線検出装置 |
US5835028A (en) * | 1997-05-05 | 1998-11-10 | Bender; Lee | Lane marker position sensor and alarm |
-
2000
- 2000-04-07 JP JP2000107148A patent/JP3795299B2/ja not_active Expired - Fee Related
-
2001
- 2001-04-06 DE DE2001117237 patent/DE10117237B4/de not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001291197A (ja) | 2001-10-19 |
DE10117237A1 (de) | 2001-10-18 |
DE10117237B4 (de) | 2013-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3795299B2 (ja) | 車両制御装置 | |
KR102696094B1 (ko) | 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법 | |
KR101209062B1 (ko) | 영상인식 정보를 이용한 gps 보정 시스템 및 방법 | |
JP5747787B2 (ja) | 車線認識装置 | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
JP5966747B2 (ja) | 車両走行制御装置及びその方法 | |
US10710583B2 (en) | Vehicle control apparatus | |
RU2735567C1 (ru) | Способ хранения предысторий движения, способ для выработки модели пути движения, способ для оценки локальной позиции и устройство хранения предысторий движения | |
US20080273757A1 (en) | Image Recognizing Apparatus and Method, and Position Determining Apparatus, Vehicle Controlling Apparatus and Navigation Apparatus Using the Image Recognizing Apparatus or Method | |
KR20180106417A (ko) | 차량의 위치 인식 시스템 및 방법 | |
JP4591777B2 (ja) | 自位置認識システム | |
CN109477728A (zh) | 用于确定车辆相对于路面的车道的横向位置的方法、装置和带有指令的计算机可读存储介质 | |
WO2022147924A1 (zh) | 车辆定位方法和装置、存储介质及电子设备 | |
JP7037317B2 (ja) | 自車位置検出装置 | |
JP2007178271A (ja) | 自位置認識システム | |
KR101217594B1 (ko) | 영상 인식 정보를 이용한 경로 변경 판정 시스템 및 방법 | |
EP3693702A1 (en) | Method for localizing a vehicle | |
JPWO2018179616A1 (ja) | 車両位置推定装置 | |
JP2005257314A (ja) | 車両位置検出装置 | |
JP6943127B2 (ja) | 位置補正方法、車両制御方法及び位置補正装置 | |
JPH01207622A (ja) | 走行経路表示装置 | |
JP3745165B2 (ja) | ロケータ装置 | |
JP2019060814A (ja) | 自動運転の自車位置検出装置 | |
CN114690231A (zh) | 车辆定位方法 | |
KR102273355B1 (ko) | 차량 주행 정보의 보정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060412 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |