JP4370869B2 - 地図データ更新方法および地図データ更新装置 - Google Patents

地図データ更新方法および地図データ更新装置 Download PDF

Info

Publication number
JP4370869B2
JP4370869B2 JP2003333272A JP2003333272A JP4370869B2 JP 4370869 B2 JP4370869 B2 JP 4370869B2 JP 2003333272 A JP2003333272 A JP 2003333272A JP 2003333272 A JP2003333272 A JP 2003333272A JP 4370869 B2 JP4370869 B2 JP 4370869B2
Authority
JP
Japan
Prior art keywords
map data
road
vehicle
image information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003333272A
Other languages
English (en)
Other versions
JP2005098853A (ja
Inventor
寛久 小野目
勝司 山下
和則 香川
靖裕 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2003333272A priority Critical patent/JP4370869B2/ja
Publication of JP2005098853A publication Critical patent/JP2005098853A/ja
Application granted granted Critical
Publication of JP4370869B2 publication Critical patent/JP4370869B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明は、地図データ更新方法および地図データ更新装置に係り、特に、情報量の少ない既存の地図データを更に有用なものにするうえで好適な地図データ更新方法および地図データ更新装置に関する。
従来より、既存の地図データ、及び、その地図データに対する変更・修正・追加等に関する情報をディスクに記録し、既存の地図データと変更等の情報とを合成してディスプレイに表示するシステムが知られている(例えば、特許文献1参照)。このシステムにおいては、既存の地図データに対する変更等は、使用者自らが例えば目印になる建物を書き加えたり或いは道路工事等のために一時的な地図の修正を行う等、使用者による入力操作に基づいて行われる。
特開平6−215481号公報
しかしながら、上記従来のシステムにおいては、地図データの変更等を行うために使用者による入力操作が必要となるため、使用者の手間がかかると共に、操作負担が増大するという問題がある。
また、近年では、車両に搭載したカメラによる撮像画像から白線等の走行レーンや道路信号の状態を認識し、車両をその認識した走行レーンに沿って誘導し或いは道路信号に合わせて自動制動する等の車両走行制御を行うシステムが知られているが、かかるシステムにおいては、カメラによる撮像画像から走行レーン等を認識することが重要である。この点、既存の地図データには、道路の車線数や幅員,標高等の情報、並びに、交差点における道路信号や道路標識の三次元的な絶対位置の情報は含まれていないため、かかる地図データだけでは、撮像画像から走行レーン等を認識するのにその撮像画像の全エリアを画像処理することが必要となる。一方、地図データとして上記した道路の車線数等の情報や道路信号等の情報が存在すれば、自車位置との関係で撮像画像上における走行レーン等の表示位置をある程度特定することが可能となるので、その撮像画像の一部のエリアを画像処理するだけで撮像画像上での走行レーン等を確実に認識することが可能となる。従って、道路の車線数等の情報を地図データとして有していれば、カメラによる撮像画像から走行レーン等を認識するうえでの画像処理の負担が軽減され、処理時間の短縮や認識率の向上を図ることが可能となる。
しかしながら、上記従来のシステムにおいて、地図データに対する変更等は、道路や建物等の追加・抹消、道路工事等の表示、ルートの所要時間に対して行われるものであり、決して既存の道路における車線数や幅員等の詳細な固有情報に対するものではないので、上記の如きカメラによる撮像画像の画像処理への応用にとって有益な地図データを有しているとは言い難く、その使用目的はディスプレイへの表示等に限定されていた。
本発明は、上述の点に鑑みてなされたものであり、使用者の入力操作を伴うことなく既存の地図データからデータ精度を向上させることによりそのデータの有用性を確保した地図データ更新方法および地図データ更新装置を提供することを目的とする。
上記の目的は、電子制御ユニットに、画像認識手段により撮影される自車両周辺の画像情報を取得させる画像情報取得ステップと、
電子制御ユニットに、前記画像情報取得ステップにおいて取得される前記自車両周辺の画像情報を処理して認識される車両走行道路の固有情報を、既存の地図データに追加させることにより、地図データを更新させる地図データ更新ステップと、
電子制御ユニットに、地図データの更新後、該更新後の地図データに追加された車両走行道路の固有情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路を認識するうえで用いる画像処理領域を小さく絞り込ませる画像処理領域限定ステップと、
を備える地図データ更新方法により達成される。
また、上記の目的は、電子制御ユニットに、画像認識手段により撮影される自車両周辺の画像情報を取得させる画像情報取得ステップと、
電子制御ユニットに、前記画像情報取得ステップにおいて取得される前記自車両周辺の画像情報を処理して認識される車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報を既存の地図データに追加させることにより、地図データを更新させる地図データ更新ステップと、
電子制御ユニットに、地図データの更新後、該更新後の地図データに追加された車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路上の道路信号又は道路標識を認識するうえで用いる画像処理領域を小さく絞り込ませる画像処理領域限定ステップと、
を備える地図データ更新方法により達成される。
また、上記の目的は、画像認識手段により撮影される自車両周辺の画像情報を取得する画像情報取得手段と、
前記画像情報取得手段により取得される自車両周辺の画像情報を処理して認識される車両走行道路の固有情報を、既存の地図データに追加することにより、地図データを更新する地図データ更新手段と、
前記地図データ更新手段による地図データの更新後、該更新後の地図データに追加された車両走行道路の固有情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路を認識するうえで用いる画像処理領域を小さく絞り込む画像処理領域限定手段と、
を備える地図データ更新装置により達成される。
更に、上記の目的は、画像認識手段により撮影される自車両周辺の画像情報を取得する画像情報取得手段と、
前記画像情報取得手段により取得される前記自車両周辺の画像情報を処理して認識される車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報を既存の地図データに追加することにより、地図データを更新する地図データ更新手段と、
前記地図データ更新手段による地図データの更新後、該更新後の地図データに追加された車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路上の道路信号又は道路標識を認識するうえで用いる画像処理領域を小さく絞り込む画像処理領域限定手段と、
を備える地図データ更新装置により達成される。
本発明において、地図データは、画像認識手段により撮影される自車両周辺の画像情報に基づいて更新される。自車両周辺の画像情報が処理されれば、道路上の道路信号や道路標識の有無並びに自車位置に対する三次元的な位置を把握でき、これにより、車両の現在位置との関係で既存の地図データ上の道路位置に対する道路信号等の三次元的な絶対位置を算出することが可能となる。また、道路の車線数や幅員等の固有情報を把握できる。かかる構成においては、使用者の入力操作を伴うことなく既存の地図データのデータ精度が向上し、詳細な地図データが作成されるので、その有用性が確保されることとなる。
また、本発明においては、既存の地図データに道路信号や道路標識の三次元的な絶対位置が含まれていない場合にもその情報が地図データに追加されるので、使用者の入力操作を伴うことなく既存の地図データのデータ精度の向上によりその有用性を確保することが可能となる。
この場合には、上記した地図データ更新方法において、前記地図データ更新ステップは、電子制御ユニットに、前記画像情報取得ステップにおいて取得される自車両周辺の画像情報に基づいて車両走行道路の車線数又は幅員を推定させ、該車線数又は幅員の情報を既存の地図データに追加させることとすれば、また、上記した地図データ更新装置において、前記地図データ更新手段は、前記画像情報取得手段により取得される前記自車両周辺の画像情報に基づいて車両走行道路の車線数又は幅員を推定し、該車線数又は幅員の情報を既存の地図データに追加することとすれば、既存の地図データに道路の車線数や幅員の情報が含まれていない場合にもその情報が地図データに追加されるので、使用者の入力操作を伴うことなく既存の地図データのデータ精度の向上によりその有用性を確保することが可能となる。

発明によれば、画像認識手段による自車両周辺の画像情報に基づく地図データの更新によって、使用者の入力操作を伴うことなく既存の地図データのデータ精度を向上させることにより地図データの有用性を確保することができる。
図1は、本発明の一実施例であるシステムの構成図を示す。本実施例のシステムは、車両に搭載され或いはセンタから配信される地図データを基準として後述の各種情報を追加し更新する地図データ更新システムである。本実施例の地図データ更新システムは、車両の走行する道路上の各地点の緯度・経度の情報(以下、基準地図データと称す)を格納する地図データベース10を有している。地図データベース10は、車両に搭載されたナビゲーション装置、又は、車載ナビゲーション装置に地図情報を提供するセンタに設けられている。
本実施例の地図データ更新システムは、また、車両に搭載された地図データ更新装置12を有している。地図データ更新装置12は、マイクロコンピュータ等により構成される電子制御ユニット(以下、地図データECUと称す)14、及び、DVDやCD,ハードディスク等により構成される更新データ記憶部16を備えている。地図データECU14は、上記した地図データベース10に接続され、地図データベース10から基準地図データの供給を受ける。更新データ記憶部16は、上記した地図データベース10の基準地図データに対する更新データをその基準地図データに対応させて格納する。
地図データECU14には、GPS(Global Positioning System)衛星からの信号(GPSデータ)を受信するGPSレシーバ20、及び、車両のヨー,ロール,ピッチ等による進行方向に応じた信号(INS(Inertial Navigation Sensor)データ)を出力するジャイロセンサ22が接続されている。地図データECU14は、GPSレシーバ20に受信されたGPSデータに基づいて自車両の現在位置(具体的には、緯度,経度,高度)を測位し、ジャイロセンサ22の出力するINSデータに基づいて自車両の進行方向を検出し、そして、自車両の正確な現在位置を検出する。地図データECU14は、車室内に設けられた表示モニタのナビゲーションモード時において、検出した現在位置回りの道路地図や車両乗員により指定された地域の道路地図を基準地図データから読み出し、その道路地図を、指定された縮尺に合わせてその表示モニタに表示する。この際、表示モニタには、必要に応じて、その画像上の道路地図に重畳して車両の現在位置を表示する。
地図データECU14には、また、例えば車両前部バンパや車室内ルームミラーに配設されたカメラ24が接続されている。カメラ24は、配設部位から車両前方へ向けて水平下向きに所定角範囲で広がる領域を撮影する。カメラ24の撮影した車両前方周辺の画像情報は、地図データECU14に供給される。地図データECU14は、表示モニタのカメラ画像表示モード時において、カメラ24から供給された車両前方周辺の撮像画像を表示モニタに表示する。また、地図データECU14は、カメラ24から供給された車両前方周辺の撮像画像を画像処理し、その画像に映し出されている、走行道路上に描かれた走行レーンを区切る白線や黄線等の走行線、並びに、道路に設置或いは描写されている青信号→黄信号→赤信号と順に切り換わる道路信号及び「止まれ」や「一旦停止」,「右折レーン」,「制限速度」等の道路標識を認識する。そして、上記した走行線と車両との相対位置すなわち走行線で仕切られる走行レーン内での車両の走行位置、並びに、道路信号及び道路標識の状態を検出する。
地図データECU14には、更に、車両の走行を制御する走行制御装置30の備える電子制御ユニット(以下、走行制御ECUと称す)32が接続されている。走行制御ECU32には、地図データECU14の検出した走行線と車両との相対位置等のデータが供給される。走行制御ECU32には、車両の有する車輪を制動するブレーキアクチュエータ34、及び、車両を操舵させるステアアクチュエータ36が接続されている。
走行制御ECU32は、地図データECU14から供給された走行線と車両との相対位置に基づいて、走行レーンに対して車両が走行すべき誘導路の位置を計算し、その誘導路に沿って車両が走行するようにすなわち走行レーン内で所定の位置を保って車両が走行するようにステアアクチュエータ36に対して指令信号を供給する。ステアアクチュエータ36は、走行制御ECU32からの指令に従って車両を自動操舵させる。
また、走行制御ECU32は、地図データECU14から供給された道路信号や道路標識の状態に基づいて、道路信号が“黄信号”又は“赤信号”であるかを判別すると共に、道路標識が車両停止を要求する「止まれ」や「一旦停止」であるか、制限速度を表示するものであるか、或いは近隣に小学校が存在することを示すものであるか等を判別する。そして、道路信号や道路標識が所定の状態を示すものであると判別する場合には車両が道路上の停止線で停止するように或いは減速するように適当なタイミングでブレーキアクチュエータ34に対して指令信号を供給する。ブレーキアクチュエータ34は、走行制御ECU32からの指令に従って車両を自動制動させる。
尚、ステアアクチュエータ36による自動操舵及びブレーキアクチュエータ34による自動制動を行う際或いはその前に、撮像画像の認識結果に従って、車両運転者に対して車両の自動走行が行われる旨又は車両に重大な危険が生ずる可能性のある旨をスピーカにより音声案内することとしてもよい。
ところで、本実施例の如くカメラ24による撮像画像を処理して道路上の走行線や道路信号等を認識し、その認識結果に基づいて車両の走行を制御し或いは音声案内を行う構成においては、その走行制御等を適切に行うために、撮像画像からの画像処理認識を確実に行うことが重要である。この点、カメラ24による撮像画像のすべての領域を画像処理すれば、その画像から道路上の走行線等を確実に認識することはできるが、この場合には、その処理負荷が大きく、処理時間が長期間にわたってしまうと共に、誤認識が生じ易くなってしまう。一方、カメラ24による撮像画像のうち一部の領域のみを画像処理するだけで道路上の走行線等を確実に認識することができれば、その認識を実現するうえで画像処理負担の軽減が図られ、処理時間の短縮や認識率の向上が図られる。
ここで、車両の走行する道路の車線数や幅員,標高等の情報、並びに、交差点や道路脇に掲げられた道路信号や道路標識の三次元的な絶対位置(緯度,経度,高さ)の情報が地図データとして道路の位置情報(緯度・経度情報)と共に含まれていれば、車両の現在位置(自車位置)を正確に検出することにより、カメラ24による撮像画像上における走行線や道路信号等の表示位置をある程度正確に特定し絞ることが可能となり、その結果として道路上の走行線等を認識するうえで上記した効果を確実に得ることが可能となる。
そこで、本実施例のシステムにおいては、かかる機能を実現すべく、地図データとして用いるデータを、地図データベース10の有する道路上の各地点の緯度・経度に関する基準地図データだけでなく、道路の車線数や幅員,道路信号等の三次元位置等の情報を追加して、その地図データの更新を行うこととしている。以下、図2乃至図5を参照して、本実施例の特徴部について説明する。
図2は、本実施例において行われる自車両の走行軌跡の学習に基づいて道路の車線数を推定する手法を説明するための図を示す。また、図3は、本実施例において行われる自車両の走行軌跡の学習に基づいて道路の幅員を推定する手法を説明するための図を示す。上記の如く、地図データベース10の基準地図データには、道路上の各地点の緯度・経度の情報(図2及び図3の(A)及び(B)に黒丸及び白丸で示す)は含まれているが、道路の車線数の情報や走行レーンの幅員の情報は含まれていない。尚、図2及び図3においては、交差点の緯度・経度情報は白丸で、また、交差点以外の地点の緯度・経度情報は黒丸で、それぞれ示されている。
一方、本実施例においては、GPSレシーバ20に受信されるGPSデータ及びジャイロセンサ22の出力するINSデータに基づいて自車両の現在位置(自車位置)が検出される。かかる構成においては、検出される自車位置を時系列順に辿れば車両の走行軌跡を得ることができると共に、更に、同一の道路を同一方向へ向けて複数回にわたって車両が走行すれば同一走行道路に対して複数の走行軌跡を得ることができる(尚、図2(B)に走行軌跡を点線で示す)。このように複数の走行軌跡が得られた状況において、例えば複数の走行軌跡が道路幅方向において一箇所に集中する場合にはその道路は“片側一車線”であると判断でき、また、複数の走行軌跡が道路幅方向において走行レーンの幅員程度の距離だけ離れた2箇所に集中する場合にはその道路は“片側二車線”であると判断でき、更に、交差点の手前数十メートルから車両が右車線に進入する走行軌跡がある場合にはその道路には右折レーンが存在すると判断できる。
そこで、本実施例において、地図データECU14は、まず、GPSデータ等に基づいて検出した自車位置を用いて車両走行時における走行軌跡を演算し、演算した走行軌跡情報を走行道路ごとかつ進行方向ごとに地図データベース10における基準地図データに対応させて記憶する。そして、同一走行道路における複数の走行軌跡の位置的な傾向を判断する。具体的には、複数の走行軌跡の集中する部分が道路幅方向においてほぼ一箇所であるのか、一般的な走行レーンの幅員(具体的には3〜5メートル)程度の距離だけ離れた二箇所であるのか、或いは、三箇所以上であるのかを判別すると共に、交差点付近では右折レーン又は左折レーンが存在するか否かを判別する。その結果、例えば一箇所の集中が存在する場合にはその道路は片側一車線であると、一方、二箇所の集中が存在する場合にはその道路は片側二車線であると判定し、更に、右折レーンが存在する場合には交差点付近では例えば片側三車線であると判定する。そして、その推定した車線数の情報を当該走行道路の基準地図データに対する更新データとして更新データ記憶部16に格納・記憶する。
かかる処理が行われると、道路車線数の情報が地図データとして、地図データベース10に格納されている基準地図データ(道路の緯度・経度情報)に追加されることとなる。この場合、車線数情報は、車両がその道路を走行する頻度が多くなればなるほど正確なものに近づくこととなる。従って、既存の地図データが道路の緯度・経度情報による基本的なデータだけで構成されている場合には、人の入力操作を伴うことなく自動的に、その既存地図データよりも詳細な道路車線数の情報が地図データとして得られ、データ精度の向上が図られる。
また、上記の如く、本実施例においては、同一走行道路を同一方向へ向けて複数回にわたって車両が走行すれば、同一走行道路に対して複数の走行軌跡を得ることができる(尚、図3(B)に走行軌跡を点線で示す)。通常、車両は走行レーン内の中央を走行するので、複数の走行軌跡の集中する部分が道路幅方向において二箇所以上存在する場合には、それらの道路幅方向の距離はその道路の有する走行レーンの幅員であると判断できる。
そこで、本実施例において、地図データECU14は、まず、GPSデータ等に基づいて検出する自車位置を用いて車両走行時における走行軌跡を演算し、演算した走行軌跡情報を走行道路ごとかつ進行方向ごとに地図データベース10における基準地図データに対応させて記憶する。そして、同一走行道路における複数の走行軌跡の位置的な傾向を判断する。具体的には、複数の走行軌跡の集中する部分が二箇所以上存在する際にそれら集中する箇所の互いに隣り合う2つの走行軌跡間の道路幅方向の距離を計算し、その走行道路の走行レーンの幅員Lを推定する。かかる推定が行われると、以後、その推定した走行レーンの幅員の情報を当該走行道路の基準地図データに対する更新データとして更新データ記憶部16に格納・記憶する。
かかる処理が行われると、道路走行レーンの幅員の情報が地図データとして、地図データベース10に格納されている基準地図データに追加されることとなる。この場合、走行レーンの幅員情報は、車両がその道路を走行する頻度が多くなればなるほど正確なものに近づくこととなる。従って、既存の地図データが道路の緯度・経度情報による基本的なデータだけで構成されている場合には、人の入力操作を伴うことなく自動的に、その既存地図データよりも詳細な走行レーンの幅員の情報が地図データとして得られ、データ精度の向上が図られる。
尚、道路車線数の情報や走行レーンの幅員情報を得るうえで、上記の手法ではGPSデータやINSデータに基づく車両の走行軌跡を用いることとしているが、その手法に代えて或いはその手法と共に、以下の手法の如くカメラ24による画像データを用いることとしてもよい。
すなわち、図4は、本実施例において行われるカメラ24の撮像画像に基づいて道路の幅員を推定する手法を説明するための図を示す。本実施例においては、カメラ24により車両前方周辺が撮影される。かかる構成においては、そのカメラ24による撮像画像に道路上に描かれた走行レーンを区切る走行線が含まれる筈である。従って、カメラ24による撮像画像を画像処理して走行線の現れる表示位置を左右それぞれ検知すれば、それら左右の表示位置間の道路幅方向の距離と、カメラ座標と道路の絶対座標との関係とに基づいて、実道路上での走行レーンの幅員を推定することができる。
そこで、地図データECU14は、カメラ24の撮影した撮像画像を画像処理し、所定の白線検知アルゴリズムに従ってその画像に映し出されている走行道路上に描かれた走行線を認識する。そして、その撮像画像上での左右の走行線の表示位置間の道路幅方向距離と、予め定められているカメラ画像と道路の絶対座標との関係とに基づいて、実道路上での走行レーンの幅員Lを推定する。かかる推定が行われると、以後、その推定した走行レーンの幅員の情報を当該走行道路の基準地図データに対する更新データとして更新データ記憶部16に格納・記憶する。
この場合にも、車両の走行軌跡を用いて走行レーンの幅員情報を取得する構成と同様に、走行レーンの幅員情報が地図データとして基準地図データに追加されることとなる。従って、既存の地図データが道路の緯度・経度情報による基本的なデータだけで構成されている場合には、人の入力操作を伴うことなく自動的に、その既存地図データよりも詳細な走行レーンの幅員の情報が地図データとして得られ、データ精度の向上が図られることとなる。
尚、同様に、カメラ24の撮像画像に基づいて道路車線数を推定することも可能である。すなわち、道路上には特に交差点近傍において、走行レーンごとに並列に車両の進行できる方向を表す矢印による道路標識が描かれていることがあるので、道路標識をパターンマッチング等の手法によりカメラ24による撮像画像の画像処理により認識し、その道路標識の数を検知することとすれば、道路車線数を推定することができる。また、カメラ24による撮像画像上には走行線が原則としてその車線数に応じた分だけ表示されるので、カメラ24による撮像画像の画像処理によって走行線を認識し、その走行線の数を検知することとしても、道路車線数を推定することができる。
また、上記の如く、地図データベース10の基準地図データには、緯度・経度の情報は含まれているが、交差点での道路信号の有無を示す情報や道路信号及び道路標識の地上高さを含む三次元的な絶対位置の情報は含まれていない。これに対して、本実施例においては、カメラ24により車両前方周辺が撮影されるので、その撮像画像には道路上や道路脇に設置された道路信号や道路標識が含まれる筈である。従って、カメラ24による撮像画像を画像処理して道路信号及び道路標識の現れる表示位置を検知すれば、それらの表示位置と、カメラ座標と道路の絶対座標との関係と、GPSデータ及びINSデータに基づく自車位置とに基づいて、交差点での道路信号の有無や実道路上での道路信号及び道路標識の三次元的な絶対位置を推定することができる。
そこで、本実施例において、地図データECU14は、まず、カメラ24の撮影した撮像画像を画像処理し、道路に設置されている道路信号及び道路標識を認識する。そして、その認識結果に基づいて交差点での道路信号の有無を判定すると共に、撮像画像上で道路信号等を認識した場合は、その道路信号等の表示位置と、予め定められているカメラ画像と道路の絶対座標との関係と、その時点でのGPSデータ及びINSデータに基づく自車位置に基づいて、実道路上での道路信号等の三次元的な絶対位置を推定する。尚、道路信号や道路標識はその大きさが通常規格により一定に定められているので、それらの絶対位置を推定する際には撮像画像上における道路信号等の大きさを検知して車両と道路信号等との距離を考慮することとしてもよい。かかる判定及び推定が行われると、以後、交差点での道路信号の有無情報ならびに実道路上での道路信号及び道路標識の三次元的な絶対位置の情報を、当該走行道路の基準地図データに対する更新データとして更新データ記憶部16に格納・記憶する。
かかる処理が行われると、交差点での道路信号の有無情報並びに実道路上での道路信号及び道路標識の三次元的な絶対位置(緯度,経度,高さ)の情報が地図データとして基準地図データに追加されることとなる。従って、既存の地図データが道路の緯度・経度情報による基本的なデータだけで構成されている場合には、人の入力操作を伴うことなく自動的に、その既存地図データよりも詳細な交差点での道路信号の有無情報や道路信号及び道路標識の三次元的な絶対位置の情報が地図データとして得られ、データ精度の向上が図られる。
図5は、道路高度差の相違による撮像画像上におけるターゲット表示位置の相違を説明するための図を示す。ところで、車両の現在位置からカメラ24のターゲットである走行線や道路信号,道路標識等までの相対位置関係が全く同一であっても、自車位置からターゲットまでの高度差が異なる場合には、カメラ24による撮像画像上におけるそのターゲットの表示位置は異なる。具体的には、車両の現在位置からターゲットまでの道路が図5(A)に示す如く平坦路である状況ではそのターゲットが撮像画像の中央付近に映し出されても、車両の現在位置からまでの道路が図5(B)に示す如く下り路から上り路に至っている状況ではその道路信号が撮像画像の上部に映し出されることがある。
上記の如く、本実施例では、車両の走行制御に必要な走行線等のターゲットを認識する際の画像処理負担の軽減を図るために、カメラ24による撮像画像の全領域のうち画像処理を行う領域が一部に制限される。この点、道路信号等のターゲット位置の推定が正確に行われたとしても、その後、その道路の走行時に、その道路が常に平坦路であるとして、カメラ24による撮像画像の予め定められた一定領域をターゲットを認識するのに必要十分な画像処理領域として設定するものとすると、実際には自車位置とターゲット位置との高度差が存在するために撮像画像上でターゲットの表示位置が画像処理領域内に含まれない事態が生じ、ターゲットを認識することができない不都合が生じてしまう。
ここで、地図データベース10の基準地図データには、上記の如く緯度・経度情報は含まれているが、高度情報は含まれていない。一方、本実施例において、GPSレシーバ20を用いて受信されるGPSデータには、緯度情報及び経度情報と共に高度情報が含まれている。従って、車両走行中に検出される自車位置としての緯度・経度に対応してその高度を検出できる。そこで、本実施例において、地図データECU14は、まず、GPSデータ等に基づいて自車位置を検出し、そして、検出された高度情報を、同じく検出された緯度・経度情報に最も近い地図データベース10の基準地図データに対応させて地図データの更新データとして更新データ記憶部16に格納・記憶する。
かかる処理が行われると、道路の標高情報が地図データとして基準地図データに追加されることとなる。この場合には、標高情報が追加される基準地図データの緯度・経度情報が多くなればなるほど、走行道路の高度差を算出できる任意区間の数が多くなる。従って、既存の地図データが道路の緯度・経度情報による基本的なデータだけで構成されている場合に、人の入力操作を伴うことなく自動的に、その既存地図データよりも詳細な標高情報が地図データとして得られ、データ精度の向上が図られる。
このように、本実施例の地図データ更新システムによれば、地図データベース10に道路上の各地点の緯度・経度に関するデータしか含まれていない場合にも、GPSデータ及びINSデータに基づく自車位置並びにカメラ24による撮像画像に基づく表示位置を利用して、道路の車線数や標高,走行レーンの幅員,道路信号及び道路標識の三次元位置をそれぞれ推定し、それらの情報を地図データとして追加することができる。この場合には、地図データベース10が簡易な地図データのみにより構成されていても、詳細な地図データが構築されることとなる。そして、車両の走行する道路の地図データが上記の如く追加更新された以後は、車両がその道路を走行する際にその道路の詳細な固有情報を用いた制御を実現することが可能となる。
図6及び図7は、基準地図データよりも詳細な地図データによる有利な効果を説明するための図を示す。尚、図6及び図7にはそれぞれ、カメラ24による撮像画像が示されている。すなわち、本実施例においては、車両の自動走行制御を行ううえでカメラ24の撮像画像から走行線等のターゲットを認識することを要する。この点、地図データが上記の如く詳細なものとなれば、道路走行時における自車位置を正確に検出することで、その自車位置と道路の詳細な固有情報とからカメラ24の撮像画像に映る走行路や道路信号等の表示位置をある程度特定することが可能となる。
例えば、車両が一般的に走行レーンの中央を走行するものであるとすれば、地図データが緯度・経度に関するデータしか有していない初期走行時には、走行レーンの幅員や車両の道路幅方向の走行位置が様々に変化し得ることに対応して、カメラ24の撮像画像から走行線を認識するうえでの画像処理領域(認識枠;図6及び図7において破線で囲まれる枠)を図6(A)に示す如くある程度大きくすることが適切である。一方、地図データが緯度・経度情報以外に車線数や走行レーンの幅員等の更新データを有する2回目以降の走行時には、その道路の走行レーンの幅員等は特定されるので、車両の走行位置に従って撮像画像から走行線を認識するうえでの認識枠を図6(B)に示す如く小さく絞り込むこととしても、走行線を確実に認識することが可能となる。
また、道路信号や道路標識は地上数メートルの高さに設置されることが多いと共に、車載カメラ24の光軸は地上1メートル程度の高さから車両前方下方へ向けられるため、カメラ24による撮像画像上において道路信号等はその撮像画像の中央から上部にかけて映し出されるのが一般的である。従って、地図データが緯度・経度に関するデータしか有していない初期走行時においても、カメラ24の撮像画像から道路信号等を認識するうえで認識枠を図7(A)に示す如く画像上部に小さく絞ることは可能であるが、この場合においても、その道路信号等の道路幅方向の位置等は特定されないので、その絞りは小さく抑えられることとなる。一方、地図データが緯度・経度情報以外に道路信号の有無や三次元的な位置等の更新データを有する2回目以降の走行時には、その更新データにより道路信号の位置等は特定されるので、車両の走行位置に従って撮像画像から走行線を認識するうえでの認識枠を図7(B)に示す如く更に小さく絞り込むこととしても、道路信号等を確実に認識することが可能となる。
更に、2回目以降の走行時には、道路の標高が特定され、車両が走行すると予想される道路の高度変化を検知することが可能であるので、その高度変化に対応させて上記の如く小さく絞り込まれる認識枠の位置を微小変化させることができ、自車位置とターゲット位置との高度差の存在に起因する走行線や道路信号等の認識不能の事態を回避することが可能となる。
このため、本実施例の構成によれば、地図データが緯度・経度の情報と共に道路の車線数や幅員,標高,道路信号や道路標識の三次元位置等の情報を有することにより、カメラ24の撮像画像から道路上の走行線や道路信号等のターゲットを認識するのに必要十分な画像処理領域を小さく絞り込むことができるので、これにより、ターゲットを認識するうえで画像処理負担の軽減を図ることができ、処理時間の短縮やターゲット認識率の向上を図ることが可能となっている。この場合、走行線や道路信号等の認識は速やかに完了するので、その認識の遅れに起因するブレーキアクチュエータ34による介入制動の遅延やステアアクチュエータ36による介入操舵の遅延が生ずる可能性は低減され、車両が走行するうえでの安全性は向上することとなる。
この点、本実施例の地図データ更新システムにおいては、車両の走行制御に必要なカメラ画像処理の負担軽減を実現すべく、地図データベース10における基準地図データから車両乗員の入力操作を伴うことなく自動的にその地図データの精度向上が図られ、詳細な地図データが構築されるので、地図データベース10の既存地図データのみを有する場合に比べて地図データの有用性が確保されている。
尚、上記の実施例においては、地図データECU14が、GPSレシーバ20に受信されるGPSデータ及びジャイロセンサ22の出力するINSデータに基づいて自車両の現在位置を検出することにより特許請求の範囲に記載した「自車位置情報取得ステップ」及び「自車位置情報取得手段」が、カメラ24の撮影した撮像画像を取得することにより特許請求の範囲に記載した「画像情報取得ステップ」及び「画像情報取得手段」が、自車位置や撮像画像の表示位置から推定される道路の車線数や幅員,標高の情報並びに道路信号や道路標識の有無及び三次元的な位置の情報を更新データ記憶部16に格納・記憶して地図データとして追加することにより特許請求の範囲に記載した「地図データ更新ステップ」及び「地図データ更新手段」が、それぞれ実現されている。
また、上記の実施例においては、カメラ24が特許請求の範囲に記載した「画像認識手段」に、地図データベース10の有する基準地図データが特許請求の範囲に記載した「既存の地図データ」に、それぞれ相当している。
ところで、上記の実施例においては、道路の車線数及び走行レーンの幅員の情報を道路の緯度・経度情報に対応させて地図データの更新データとして更新データ記憶部16に格納・記憶することとしているが、更に走行レーンの絶対位置の情報を道路の緯度・経度情報に対応させて更新データとして更新データ記憶部16に格納することとしてもよい。
また、上記の実施例においては、車両に搭載された地図データ更新装置12において地図データの更新を行うこととしているが、本発明はこれに限定されるものではなく、1台以上の車両からその車両の走行軌跡データ及びカメラによる撮像画像データの供給を受け得るセンタ等において、道路ごとに車線数や幅員等を推定しそれらの情報を地図データとして追加することとしてもよい。
また、上記の実施例においては、自車位置の検出をGPSレシーバ20に受信されるGPSデータ及びジャイロセンサ20の出力するINSデータの双方に基づいて行うこととしているが、本発明はこれに限定されるものではなく、それら何れかのデータを用いることとすればよい。
本発明の一実施例であるシステムの構成図である。 本実施例において行われる自車両の走行軌跡の学習に基づいて道路の車線数を推定する手法を説明するための図である。 本実施例において行われる自車両の走行軌跡の学習に基づいて道路の幅員を推定する手法を説明するための図である。 本実施例において行われるカメラの撮像画像に基づいて道路の幅員を推定する手法を説明するための図である。 道路高度差の相違による撮像画像上におけるターゲット表示位置の相違を説明するための図である。 基準地図データよりも詳細な地図データによる有利な効果を説明するための図である。 基準地図データよりも詳細な地図データによる有利な効果を説明するための図である。
符号の説明
10 地図データベース
12 地図データ更新装置
14 電子制御ユニット(地図データECU)
16 更新データ記憶部
20 GPSレシーバ
22 ジャイロセンサ
24 カメラ

Claims (6)

  1. 電子制御ユニットに、画像認識手段により撮影される自車両周辺の画像情報を取得させる画像情報取得ステップと、
    電子制御ユニットに、前記画像情報取得ステップにおいて取得される前記自車両周辺の画像情報を処理して認識される車両走行道路の固有情報を、既存の地図データに追加させることにより、地図データを更新させる地図データ更新ステップと、
    電子制御ユニットに、地図データの更新後、該更新後の地図データに追加された車両走行道路の固有情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路を認識するうえで用いる画像処理領域を小さく絞り込ませる画像処理領域限定ステップと、
    を備えることを特徴とする地図データ更新方法。
  2. 前記地図データ更新ステップは、電子制御ユニットに、前記画像情報取得ステップにおいて取得される前記自車両周辺の画像情報に基づいて車両走行道路の車線数又は幅員を推定させ、該車線数又は幅員の情報を既存の地図データに追加させることを特徴とする請求項記載の地図データ更新方法。
  3. 電子制御ユニットに、画像認識手段により撮影される自車両周辺の画像情報を取得させる画像情報取得ステップと、
    電子制御ユニットに、前記画像情報取得ステップにおいて取得される前記自車両周辺の画像情報を処理して認識される車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報を既存の地図データに追加させることにより、地図データを更新させる地図データ更新ステップと、
    電子制御ユニットに、地図データの更新後、該更新後の地図データに追加された車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路上の道路信号又は道路標識を認識するうえで用いる画像処理領域を小さく絞り込ませる画像処理領域限定ステップと、
    を備えることを特徴とする地図データ更新方法。
  4. 画像認識手段により撮影される自車両周辺の画像情報を取得する画像情報取得手段と、
    前記画像情報取得手段により取得される自車両周辺の画像情報を処理して認識される車両走行道路の固有情報を、既存の地図データに追加することにより、地図データを更新する地図データ更新手段と、
    前記地図データ更新手段による地図データの更新後、該更新後の地図データに追加された車両走行道路の固有情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路を認識するうえで用いる画像処理領域を小さく絞り込む画像処理領域限定手段と、
    を備えることを特徴とする地図データ更新装置。
  5. 前記地図データ更新手段は、前記画像情報取得手段により取得される前記自車両周辺の画像情報に基づいて車両走行道路の車線数又は幅員を推定し、該車線数又は幅員の情報を既存の地図データに追加することを特徴とする請求項4記載の地図データ更新装置。
  6. 画像認識手段により撮影される自車両周辺の画像情報を取得する画像情報取得手段と、
    前記画像情報取得手段により取得される前記自車両周辺の画像情報を処理して認識される車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報を既存の地図データに追加することにより、地図データを更新する地図データ更新手段と、
    前記地図データ更新手段による地図データの更新後、該更新後の地図データに追加された車両走行道路上の道路信号又は道路標識の三次元的な絶対位置の情報に基づいて、該車両走行道路での走行時に前記自車両周辺の画像情報から車両走行道路上の道路信号又は道路標識を認識するうえで用いる画像処理領域を小さく絞り込む画像処理領域限定手段と、
    を備えることを特徴とする地図データ更新装置。
JP2003333272A 2003-09-25 2003-09-25 地図データ更新方法および地図データ更新装置 Expired - Lifetime JP4370869B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003333272A JP4370869B2 (ja) 2003-09-25 2003-09-25 地図データ更新方法および地図データ更新装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003333272A JP4370869B2 (ja) 2003-09-25 2003-09-25 地図データ更新方法および地図データ更新装置

Publications (2)

Publication Number Publication Date
JP2005098853A JP2005098853A (ja) 2005-04-14
JP4370869B2 true JP4370869B2 (ja) 2009-11-25

Family

ID=34461317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003333272A Expired - Lifetime JP4370869B2 (ja) 2003-09-25 2003-09-25 地図データ更新方法および地図データ更新装置

Country Status (1)

Country Link
JP (1) JP4370869B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139127A1 (en) * 2016-02-10 2017-08-17 Delphi Technologies, Inc. Automated vehicle map updates based on human verification
CN108777070A (zh) * 2018-06-14 2018-11-09 浙江希仁通信技术有限公司 基于车道网格和车辆采样的道路实时监测方法和系统

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
WO2006121087A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP4610425B2 (ja) * 2005-06-27 2011-01-12 アルパイン株式会社 地図情報更新方法及びナビゲーション装置
JP4654823B2 (ja) * 2005-08-03 2011-03-23 株式会社デンソー 道路地図データ更新システム及び道路検出システム
JP4760274B2 (ja) * 2005-09-30 2011-08-31 株式会社豊田中央研究所 地図更新装置
JP4645432B2 (ja) * 2005-12-13 2011-03-09 株式会社デンソー ナビゲーション装置
JP5157067B2 (ja) * 2006-01-06 2013-03-06 トヨタ自動車株式会社 自動走行用マップ作成装置、及び自動走行装置。
JP2007226111A (ja) * 2006-02-27 2007-09-06 Pioneer Electronic Corp 地図情報編集装置、地図情報調査装置、地図情報調査システム、地図情報調査方法、及び地図情報編集プログラム、並びに地図情報調査プログラム
JP4631750B2 (ja) 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP2007248235A (ja) * 2006-03-15 2007-09-27 Toyota Motor Corp カーナビゲーション装置及び地図情報
JP4776421B2 (ja) * 2006-04-04 2011-09-21 クラリオン株式会社 ナビゲーション装置
EP1906339B1 (en) 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
JP4725509B2 (ja) * 2006-12-27 2011-07-13 アイシン・エィ・ダブリュ株式会社 新規道路幅算出システム
EP2120009B1 (en) 2007-02-16 2016-09-07 Mitsubishi Electric Corporation Measuring device and measuring method
JP5489885B2 (ja) * 2010-06-30 2014-05-14 三菱重工業株式会社 車両位置算出システム及び車両位置算出方法並びにそのプログラム
JP5362691B2 (ja) 2010-11-30 2013-12-11 株式会社小松製作所 無人車両の走行システムにおける走行制御方法および無人車両の走行システム
CN105280001A (zh) * 2014-07-23 2016-01-27 中兴通讯股份有限公司 一种移动通信终端及交通监测设备探测方法
JP6658088B2 (ja) * 2015-03-23 2020-03-04 株式会社豊田中央研究所 情報処理装置、プログラム、及び地図データ更新システム
KR101661163B1 (ko) * 2015-05-27 2016-09-29 일마일 주식회사 영상 분석을 통한 운전자 안전 운전 보조와 지도 db의 실시간 갱신을 처리하기 위한 안전 운전 시스템
JP6451844B2 (ja) * 2015-06-26 2019-01-23 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
JP6080998B1 (ja) * 2016-03-18 2017-02-15 三菱電機株式会社 車両制御情報生成装置および車両制御情報生成方法
DE102016220308A1 (de) * 2016-10-18 2018-04-19 Continental Automotive Gmbh System und Verfahren zur Erzeugung von digitalen Straßenmodellen aus Luft- oder Satellitenbildern und von Fahrzeugen erfassten Daten
JP6946044B2 (ja) * 2017-04-27 2021-10-06 株式会社ゼンリン 走行支援装置及びプログラム
JP6916438B2 (ja) * 2017-04-28 2021-08-11 富士通株式会社 動線特定システム、サーバ装置、端末装置、動線特定方法、及び動線特定プログラム
DE102017209346A1 (de) * 2017-06-01 2019-01-10 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erstellung einer fahrspurgenauen Straßenkarte
CN108318043B (zh) * 2017-12-29 2020-07-31 百度在线网络技术(北京)有限公司 用于更新电子地图的方法、装置和计算机可读存储介质
EP3767604A4 (en) * 2018-03-15 2021-11-03 Pioneer Corporation TRACK INFORMATION GENERATION PROCESS
JP2019191653A (ja) * 2018-04-18 2019-10-31 アイシン・エィ・ダブリュ株式会社 地図情報更新システムおよび地図情報更新プログラム
US20210191423A1 (en) * 2018-08-08 2021-06-24 Nissan Motor Co., Ltd. Self-Location Estimation Method and Self-Location Estimation Device
JP7127436B2 (ja) * 2018-08-31 2022-08-30 株式会社デンソー 地図生成装置及び地図生成プログラム
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
CN111753815A (zh) * 2019-03-28 2020-10-09 杭州海康威视系统技术有限公司 一种交通数据处理方法、装置及设备
KR102623536B1 (ko) * 2021-11-30 2024-01-12 주식회사 웨이브에이아이 자율 주행 모빌리티 제어 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09178497A (ja) * 1995-12-26 1997-07-11 Aisin Aw Co Ltd 車両用ナビゲーション装置
JP2000230834A (ja) * 1999-02-10 2000-08-22 Daihatsu Motor Co Ltd 道路地図情報の更新装置及びその制御方法
JP2002243469A (ja) * 2001-02-19 2002-08-28 Alpine Electronics Inc ナビゲーション装置および地図データベース更新システム
JP3498310B2 (ja) * 2001-04-23 2004-02-16 株式会社日立製作所 道路地図作成システム
JP2004286641A (ja) * 2003-03-24 2004-10-14 Calsonic Kansei Corp 車両用地図処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139127A1 (en) * 2016-02-10 2017-08-17 Delphi Technologies, Inc. Automated vehicle map updates based on human verification
CN108777070A (zh) * 2018-06-14 2018-11-09 浙江希仁通信技术有限公司 基于车道网格和车辆采样的道路实时监测方法和系统

Also Published As

Publication number Publication date
JP2005098853A (ja) 2005-04-14

Similar Documents

Publication Publication Date Title
JP4370869B2 (ja) 地図データ更新方法および地図データ更新装置
EP3692337B1 (en) Map information provision system
JP4724043B2 (ja) 対象物認識装置
CN105984464B (zh) 车辆控制装置
JP6700382B2 (ja) 車線縁石補助による自律走行車の車線逸脱検出及び車線維持システム
JP4446204B2 (ja) 車両用ナビゲーション装置及び車両用ナビゲーションプログラム
US8977486B2 (en) Navigation system and displaying method thereof
WO2014115531A1 (ja) カーブ形状モデル化装置、カーブ形状モデル化方法及び車載用ナビゲーション装置
RU2742213C1 (ru) Способ управления информацией о полосах движения, способ управления движением и устройство управления информацией о полосах движения
WO2015129175A1 (ja) 自動運転装置
JP2011013039A (ja) 車線判定装置及びナビゲーションシステム
KR101704405B1 (ko) 차선 인식 시스템 및 방법
JP2020506388A (ja) デジタルマップを更新するための方法および装置
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
JP2009075933A (ja) 分岐路内位置演算装置、分岐路内位置演算方法、および、分岐路内位置演算プログラム
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
US20210180963A1 (en) Onboard device
KR20210037790A (ko) 자율 주행 장치 및 방법
CN112781600A (zh) 一种车辆导航方法、装置及存储介质
KR101281629B1 (ko) 센서를 이용한 운전 안내 시스템
JP2008197004A (ja) ナビゲーション装置及びナビゲーション方法
JP6790951B2 (ja) 地図情報学習方法及び地図情報学習装置
JP6996882B2 (ja) 自動運転支援システム、自動運転支援方法、及び自動運転用のデータの地図データ構造
KR20160049695A (ko) 차량의 맵매칭 방법 및 그 장치
US20210239485A1 (en) System and method for vehicle navigation using terrain text recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4370869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4