JP3160434B2 - 車載用ナビゲーション装置の走行案内画像表示方法 - Google Patents

車載用ナビゲーション装置の走行案内画像表示方法

Info

Publication number
JP3160434B2
JP3160434B2 JP21558493A JP21558493A JP3160434B2 JP 3160434 B2 JP3160434 B2 JP 3160434B2 JP 21558493 A JP21558493 A JP 21558493A JP 21558493 A JP21558493 A JP 21558493A JP 3160434 B2 JP3160434 B2 JP 3160434B2
Authority
JP
Japan
Prior art keywords
guidance
vehicle
intersection
route
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21558493A
Other languages
English (en)
Other versions
JPH0763572A (ja
Inventor
博 宍戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP21558493A priority Critical patent/JP3160434B2/ja
Publication of JPH0763572A publication Critical patent/JPH0763572A/ja
Application granted granted Critical
Publication of JP3160434B2 publication Critical patent/JP3160434B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は車載用ナビゲーション装
置の走行案内画像表示方法に係り、特に出発地から目的
地まで経路誘導を行う場合に好適な車載用ナビゲーショ
ン装置の走行案内画像表示方法に関する。
【0002】
【従来の技術】車両の走行案内を行い、運転者が所望の
目的地に容易に到達できるようにした車載用ナビゲーシ
ョン装置がある。この車載用ナビゲーション装置におい
ては、車両の位置を検出してCD−ROMから車両位置
周辺の地図データを読み出し、V−RAMに地図画像を
描画するとともに該地図画像上の所定箇所に車両位置マ
ークを重ねて描画し、V−RAMの画像を映像信号に変
換しながらディスプレイ装置に出力して画面に表示す
る。そして、車両の移動で現在位置が変化するのに従
い、画面の車両位置マークを移動したり、或いは車両位
置マークは画面中央に固定して地図をスクロールしたり
して、常に、車両位置周辺の地図情報が一目で判るよう
になっている。
【0003】CD−ROMに記憶された地図は、縮尺レ
ベルに応じて適当な大きさの経度幅、緯度幅の地域に区
切られており、道路は経度、緯度の座標で表現された頂
点(ノード)の集合で示される。2以上のノードを連結
した部分はリンクと呼ばれる。各地図に含まれる道路デ
ータは、図12に示す如く、道路リンクリストRDL
T、ノードリストNDLT、交差点データCRDTで構
成されており、このうち、道路リンクリストRDLT
は、当該道路リンクに関し、国道、高速道路、その他の
道路など道路の種別を表すデータ、リンク上の全ノード
数、リンクを構成する各ノードのノードリストNDLT
上の番号とノード間の道路の幅員を表すデータなどによ
り構成されている。第nノード番号の幅員データは、第
nノード番号に係るノードと第(n+1)ノード番号に
係るノードを結ぶ道路(リンク)の幅員を示す。又、交
差点データCRDTは地図上の各交差点毎に、該交差点
に連結するリンク上の交差点に最も近いノード(交差点
構成ノードという)のノードリストNDLT上の番号の
集合であり、ノードリストNDLTは地図上の全ノード
のリストであり、ノード毎に座標情報(経度、緯度)、
該ノードが交差点であるか否かの交差点識別フラグ、交
差点であれば交差点データを指し、交差点でなければ該
ノードが属する道路リンクを指すポインタ等で構成され
ている。
【0004】ところで、車載用ナビゲーション装置に
は、出発地から目的地まで最適な誘導経路に沿って経路
案内を行う経路誘導機能を持ったものがある。かかる経
路案内では、走行前に運転者が出発地と目的地を設定す
ると、CD−ROMの地図データを参照してダイクスト
ラ法、横型探索法等のシュミレーション計算を行い、例
えば出発地と目的地を最短距離で結ぶ最適な誘導経路を
求めて、該誘導経路を構成するノード列と、先頭の出発
地データ及び最後尾の目的地データと合わせた誘導経路
データを誘導経路メモリに記憶しておく。
【0005】そして、走行中、誘導経路メモリのノード
列の中から画面の地図表示エリアに入っている誘導経路
を探し、該誘導経路を他の道路と異なる色で太く表示す
るなどして、運転者がいずれの道路を走行すれば良いか
判るようにしている。
【0006】しかし、画面に表示された地図の縮尺が大
きかったり、道路が込み入っている場合、単に、誘導経
路が他の道路と異なる色で太く表示されているだけで
は、車両進行方向の前方に存在する交差点をどの方向へ
走行すれば良いか判らない場合があった。
【0007】このため、走行中、誘導経路上で車両の進
行方向前方にある交差点の内、例えば、左折、右折等、
走行方向の変化する一番手前の案内対象交差点を探索
し、車両現在位置−案内対象交差点間の距離と、該交差
点での進路を求め、交差点までの距離と進路を示す情報
を画面の地図画像の左上等に合成表示したり、或いは、
交差点までの距離と進路を示す情報を音声で提供したり
する提案がなされている。
【0008】
【発明が解決しようとする課題】しかしながら、表示や
音声出力で進路を変えるべき交差点までの距離が示され
ても、走行速度によって、案内対象交差点に到達するま
での時間が大きく変わるため、走行方向を変更すべき交
差点が車両よりどの程度先にあるか直観的に把握するこ
とが難しく、特に、該当場所付近に複数の交差点が接近
して存在しているとき、どの交差点で進路変更したら良
いか判断することができず、進路変更すべき交差点を間
違えてしまうことがあった。
【0009】以上から本発明の目的は、どの交差点で進
路を変更すべきか正しく認識できる車載用ナビゲーショ
ン装置の走行案内画像表示方法を提供することである。
【0010】
【課題を解決するための手段】上記課題は本発明におい
ては、車両前方の風景を捉えるビデオカメラと、画面に
風景画像を映し出す表示装置と、車両位置を検出する車
両位置検出手段と、車両の現在位置と誘導経路情報から
誘導経路上で車両進行方向前方に存在する所定の案内対
象交差点を探索する手段と、探索した案内対象交差点で
の進路を求める手段と、車両現在位置、案内対象交差点
の座標、ビデオカメラの設置高さと向き及び光学的条件
を用いて、画面の風景画像上での案内対象交差点の位置
を特定する手段と、風景画像上での案内対象交差点に相
当する箇所に、該案内対象交差点での進路方向を示す矢
印図形を道路の幅員に応じた幅で表示する手段とにより
達成される。
【0011】
【作用】本発明によれば、走行中、車両に設置したビデ
オカメラで前方の風景を捉えて映像表示装置の画面に風
景画像を映し出しすとともに、車両の現在位置を検出
し、車両の現在位置と誘導経路情報から誘導経路上で車
両進行方向前方に存在する所定の案内対象交差点を探索
し、探索した案内対象交差点での進路を求めるととも
に、車両現在位置、案内対象交差点の座標、ビデオカメ
ラの設置高さと向き及び光学的条件を用いて画面の風景
画像上での案内対象交差点の位置を特定し、風景画像上
での案内対象交差点に相当する箇所に、該案内対象交差
点での進路方向を示す矢印図形を道路の幅員に応じた幅
で表示する。これにより、前方の風景をそのまま映し出
した画像の中の交差点に重ねて進路情報が表示されるの
で、運転者は直観的に進路を変更すべき交差点と該交差
点での進路を把握でき、進路変更すべき交差点と該交差
点での進路を簡単、かつ、正確に認識することができ
る。すなわち、交差点が車両に接近するにつれて矢印図
形が交差点とともに拡大しながら接近するため風景図形
と違和感の無い矢印を見ることができる。また、運転者
にはあたかも矢印図形が交差点上に置かれているかのよ
うに見え、いつでも、画面を一目見るだけで、どの交差
点で進路を変更すべきかを直感的に把握することがで
き、案内対象交差点で正確に目的地に向けた進路変更を
行うことができる。
【0012】
【実施例】図1は本発明に係わる走行案内画像表示方法
を具現した車載用ナビゲーション装置の全体構成図であ
る。図において、1は地図データ記憶手段となるCD−
ROM、2は操作盤であり、地図検索,拡大/縮小用の
キー、左,右,上,下キーから成る十字カーソルキー、
経路誘導モード設定キー、出発地設定キー、目的地設定
キー、スタートキー、表示モードを地図モードと風景モ
ードに切り替えるモード切り替えキー等を備えている。
3は車両位置と車両方位を衛星航法または自立航法で検
出する車両位置検出装置、4は車両の前部所定高さに水
平方向に設置されて前方の風景を捉えるビデオカメラ、
5はディスプレイ装置であり、映像信号を入力して画面
に地図画像を、カーソルマーク、車両位置マーク、強調
誘導経路などとともに表示したり、ビデオカメラで捉え
た風景画像を進路を示す矢印とともに表示したりする。
【0013】10はマイコン構成のナビゲーションコン
トローラであり、出発地と目的地から最適な誘導経路を
ダイクストラ法、横型探索法等のシュミレーション計算
により決定したり、車両位置周辺の地図画像を、必要に
よりカーソルマーク、車両位置マーク、強調誘導経路な
どとともにディスプレイ装置5の画面に表示させたり
(地図モード時)、ビデオカメラ4で捉えた車両前方の
風景画像に進路情報を合成しながらディスプレイ装置5
の画面に表示させたりする(風景モード時)。
【0014】この内、11はCD−ROM1から読み出
した地図データを一時的に格納するバッファメモリ、1
2はカーソル位置計算部であり、操作盤2の十字カーソ
ルキー、地図検索,拡大/縮小用のキー等で地図の選択
操作やカーソル操作がなされたとき、画面上の地図の中
央に相当する経度と緯度を計算してカーソル位置として
出力する。13は地図画像描画部であり、操作盤2の地
図検索,拡大/縮小用等のキーで選択された所望の地図
データ(周辺の地図データを含めてもよい)をCD−R
OM1からバッファメモリ11に読み出すとともに後述
する第1V−RAMに地図画像を描画したり、カーソル
操作に応じてカーソル位置計算部12から入力されるカ
ーソル位置データが変化するのに従い、必要により新た
な地図データをCD−ROM1からバッファメモリ11
に読み出しながら常にカーソル位置が中央となるように
第1V−RAMの地図画像を書き換え、かつ、第1V−
RAMの中央にカーソルマークを描画する。また、地図
画像描画部13は走行中(スタートキーの押圧後)、車
両位置検出装置3から出力される車両位置データが変化
するのに従い、必要により新たな地図データをCD−R
OM1からバッファメモリ11に読み出しながら現在位
置が中央となるように第1V−RAMの地図画像を書き
換え、車両位置検出装置3から入力する車両方位データ
に基づき車両位置マークを第1V−RAMの中央に所定
方向に向けて描画する。更に、経路誘導モードにおい
て、後述する誘導経路メモリに記憶された誘導経路デー
タの中から、現在、第1V−RAMに描画されている地
図画像の範囲に入る誘導経路データを入力して、他の道
路とは異なる色で太く強調した誘導経路を描画する。第
1V−RAMはディスプレイ装置5の1画面分に相当す
る記憶領域を有している。
【0015】14は出発地・目的地設定部であり、走行
開始前に、操作盤2で経路誘導モードとされ、該操作盤
2のカーソル操作で画面中央のカーソルが出発地と一致
されたあと、出発地設定キーが押圧されると、その時点
でのカーソル位置計算部12の出力を出発地データとし
て設定し、操作盤2のカーソル操作で画面中央のカーソ
ルが目的地と一致されたあと、目的地設定キーが押圧さ
れると、その時点でのカーソル位置計算部12の出力を
目的地データとして設定する。
【0016】15は誘導経路探索部であり、経路誘導モ
ード下で、出発地と目的地の設定操作がなされると、出
発地・目的地設定部14から出発地データと目的地デー
タを入力し、CD−ROM1からバッファメモリ11に
出発地から目的地までの数々の地図データを読み出すと
ともに、読み出した地図データを参照して、ダイクスト
ラ法、横型探索法等のシュミレーション計算を行い、例
えば最短距離を指標として、出発地から目的地に至る最
適な誘導経路を求め、該誘導経路を構成するひと連なり
のノード列(各ノードは経度、緯度の座標と交差点か否
かを示す交差点識別フラグを含む)を出発地データ及び
目的地データとともに、誘導経路データとして後述する
誘導経路メモリに記憶させる。ノード列の各ノードは地
図データのノードリスト(図12のNDLT参照)の中
から抽出したものであり、誘導経路を構成するノードが
交差点ノードのときは、地図データの交差点データCR
DT,道路リンクリストRDLT,ノードリストNDL
Tを参照して、当該交差点を構成する全ての交差点構成
ノードを読み出し、また、各交差点構成ノード−交差点
間の道路(リンク)の幅員データも読み出し、ともに誘
導経路メモリに記憶させる。
【0017】16は誘導経路データを記憶する誘導経路
メモリであり、誘導経路探索部15で求められたノード
列が、出発地データと目的地データを除いて例えば16
3 −2個のノードから成るとき、図2の左側に示す如
く、第1記憶エリアのアドレスF000H に出発地デー
タが記憶され、アドレスF001H 〜FFFEH には、
アドレスF001H に誘導経路上で出発地に一番近いノ
ード、アドレスF002 H に誘導経路上で出発地に二番
目に近いノードという具合にして、ノード列が順に記憶
される。そして、最後尾のアドレスFFFFH に目的地
データが記憶される。なお、誘導経路メモリ16に格納
される出発地データと目的地データは、図3に示す如
く、出発地データが誘導経路の延長上で出発地Sに一番
近い擬似出発地ノードNs とされ、目的地データが誘導
経路の延長上で目的地Oに一番近い擬似目的地ノードN
O とされる。また、誘導経路データ中の各交差点ノード
(交差点識別フラグRが1となっているノード。ポイン
タTj で指定される)につき、図2の右側に示す如く、
誘導経路メモリ16の第2記憶エリアに、全ての交差点
構成ノードのデータNj1,Nj2,・・と、各交差点構成
ノード−交差点間の道路の幅員データRDj1,RDj2
・・が記憶される。
【0018】17は案内対象交差点探索部であり、車両
位置検出装置3で検出された車両位置と誘導経路メモリ
16に格納された誘導経路データより、誘導経路上で、
車両進行方向前方(車両位置より目的地寄り)に存在す
る交差点の内、右折、左折等、直進以外の走行方向の変
化する交差点で一番手前にあるものを案内対象交差点と
して特定する。具体的には、誘導経路上で車両進行方向
前方に存在する各交差点につき、手前側から順に、交差
点ノードをNa 、誘導経路を構成するノード列の中でノ
ードNa の1つ前のアドレスのノードを侵入ノード
b 、Na の1つ後のアドレスのノードを脱出ノードN
c として、図4に示す如く、交差点ノードN a を中心と
し、侵入ノードNb と交差点ノードNa を結ぶ直線を侵
入ノードNbとは反対側へ延長した直線を基準方向Aと
して、該基準方向Aから例えが30°の角度をなす範囲
に脱出ノードNc が存在するときは走行方向変化なしと
判定し、それ以外の範囲に脱出ノードNc が存在すると
きは走行方向変化有りと判定し、最初に走行方向変化有
りと判定された交差点を案内対象交差点とする。
【0019】18は距離計算部であり、車両位置−案内
対象交差点間の距離を計算する。なお、距離計算部18
は案内対象交差点が車両の前方にあるとき正で距離を計
算し、案内対象交差点が車両の後ろに来たとき負で距離
を計算する。19は進路案内画像描画部であり、車両位
置−案内対象交差点間の距離が一定距離以内となったと
き(本実施例では一例として250m以内)、車両位置
データ、車両方位データ、誘導経路データ、交差点構成
ノードデータ、道路の幅員データを用いて、現在位置を
原点とし、車両方位方向とこれに直交する方向を座標軸
とした平面上で、案内対象交差点の形状に沿うようにし
た当該交差点での進路を示す矢印の形状を計算する。そ
して、進路を示す矢印図形を、視線座標系で視点より一
定距離だけ下の平面内に置き、視点の直ぐ前の所定位置
に置かれた投影面のウインドウ内に中心投影した矢印図
形の像を計算し、該投影像を第2V−RAMに描画す
る。即ち、車両前方の実際の案内対象交差点に沿って置
かれた矢印図形をビデオカメラ4で捉えたのと同じ画像
を第2V−RAMに描画する。第2V−RAMはディス
プレイ装置5の1画面分に相当する記憶領域を有してい
る。
【0020】ここで、進路を示す矢印図形の中心投影像
の求め方を説明する。案内対象交差点ノードをPa 、該
交差点を構成する交差点構成ノードがPb 〜Pf の5つ
あるとして、この内、侵入ノードをPb 、脱出ノードを
c とすれば、まず、進入ノードPb 、案内対象交差点
ノードPa 、脱出ノードPc を順に結ぶ線分として進路
が求まる。そこで、図5に示す如く、所定の座標変換を
しながら、現在位置を原点とし、車両方位方向をz軸、
これに直交する方向をx軸としたX−Z平面上における
案内対象交差点、進入ノード、脱出ノードの位置P
a (xa ,za )、Pb (xb ,zb )、Pc (xc
c )を求める。なお、図5では簡単のため、車両方位
方向はPb とPa を結ぶ直線の方向と一致させてある。
次に、Pa からPb 方向へ一定距離Lだけ離れた点Q1
と、Pa からPc 方向へLだけ離れた点Q2 の位置を求
め、更に、進入ノードPb とPa 間の道路の幅員Wb
半分だけQ1 から、Pb とPa を結ぶ直線に対し垂直に
左方向に離れた点Q3 と、脱出ノードPc とPa 間の道
路の幅員Wc の半分だけQ2 から、PaとPc を結ぶ直
線に対し垂直に左方向に離れた点Q4 の位置を求める。
そして、Q3 から、Pb とPa を結ぶ直線に平行に引い
た直線と、Q4 から、Pa とPc を結ぶ直線に平行に引
いた直線の交点Q5 の位置を求めるとともに、線分Q2
−Q4 が底辺の一部となり、先端が線分Q2 −Q4 から
見てPa とは反対側に来るようにした所定の大きさの正
三角形の各頂点Q6 〜Q8 の位置を求める。このように
して求めたPa 、Q1 、Q3 、Q5 、Q4 、Q6
7 、Q8 、Q2 、Pa を順に結ぶことで案内対象交差
点での進路を示す矢印図形が求まる。
【0021】次に、図6に示す如くして、矢印図形を3
次元のx′、y′、z′視線座標系上に移す(z′軸の
正方向が視線方向であり、原点Oが視点位置である)。
即ち、各点Pa 、Q1 、Q3 、Q5 、Q4 、Q6
7 、Q8 、Q2 の2次元座標(x,z)に対し、 x′=x z′=z y′=−h とすることで3次元座標(x′,z′,y′)に変換す
る。これにより、進路を示す矢印図形を、視線座標系で
視点より一定距離だけ下の平面内に置くことができる。
そして、視線座標系上で矢印図形を形成する各点を、更
に、z′=kの位置に垂直に置かれた投影面に中心投影
したときのX′とY′を求めることで、投影像の計算を
行う。そして、投影面上でのビデオカメラ4の視野範囲
に相当する所定のウインドウWDの範囲内の投影像を、
第2V−RAMに描画する(矢印図形の内部は特定の
色、例えば赤色で塗り潰す)。この際、第2V−RAM
の全記憶領域がウインドウWDの全範囲に対応するよう
に投影像を描画する。X′とY′は、 X′=kx′/z′ Y′=−kh/z′ として計算により求めることができる。ここで、hはビ
デオカメラ4の設置高さである。また、ウインドウWD
はディスプレイ装置5の画面と縦横比が同じである。k
はビデオカメラ4の光学的条件(視野角、焦点距離等)
とウインドウWDの大きさで定められ、ビデオカメラ4
で前方の風景を捉えたのと、ウインドウWD内を視点か
ら覗いたのと同じ視野範囲になるようにする。
【0022】視線座標系で視点からウインドウ内を覗い
た視野がビデオカメラ4で実際の風景を捉える視野と等
価になることから、3次元座標(x′,z′,y′)上
でのPa をウインドウ内に投影した像Pa ´により、ビ
デオカメラ4で捉えた風景画像上での案内対象交差点に
相当する位置が特定される。なお、ビデオカメラ4が水
平方向以外の向きに設置されたときは、それに応じて投
影面を傾けて計算すれば良い。また、ウインドウWDの
広さは相対的に1画面分の広さに対応付けすれば良いの
で大きさは任意とでき、ウインドウを小さくしたときk
は小さくし、ウインドウを大きくしたときはkは大きく
する。
【0023】図1に戻って20は第1V−RAMであ
り、地図画像描画部13で描画された地図画像(カーソ
ル操作時はカーソルマークを含み、経路誘導モード下で
走行中は、車両位置マークと、他の道路と色違いの太い
強調誘導経路を含む)を格納する。21は第2V−RA
Mであり、進路案内画像描画部19で描画された矢印図
形画像を格納する。第1V−RAM20と第2V−RA
M21はそれぞれディスプレイ装置5の1画面分の記憶
領域を有する。22は第1V−RAM20に描画された
画像を走査しながら読み出すとともにアナログの映像信
号に変換する変換部、23はビデオカメラ4で捉えた風
景画像に第2V−RAM21に描画された画像を合成し
て出力する合成部であり、該合成部はアナログ映像信号
を出力する。24は地図モード時、変換部22側、風景
モード時合成部23側に切り替えられる切り替えスイッ
チであり、該スイッチの出力側がディスプレイ装置5と
接続されている。
【0024】図7〜図9はナビゲーションコントローラ
10の動作を示す流れ図、図10は出発地周辺の道路の
概要を示す説明図、図11はディスプレイ装置5の画面
表示例の説明図であり、以下、これらの図に従って説明
する。なお、予め、案内対象交差点探索済を示すフラグ
Aと、進路案内画像表示中を示すフラグBはともに0に
なっているものとする。また、表示モードは地図モード
になっており、スイッチ24が変換部22の側に切り替
えられているものとする。
【0025】まず、操作盤2の地図検索,拡大/縮小用
のキー等の操作で所望の縮尺で所望エリアの地図の選択
操作を行うと、地図画像描画部13はCD−ROM1か
ら所望の地図データをバッファメモリ11に読み出すと
ともに、第1V−RAM20に地図画像を描画する。第
1V−RAM20に描画された地図画像は変換部22に
よって読み出されるとともにアナログ映像信号に変換さ
れてディスプレイ装置5へ出力される。ディスプレイ装
置5は入力した映像信号に基づき画面に地図を表示する
(図7のステップ101、102)。続いて、操作盤2
で経路誘導モードの設定操作がなされるとナビゲーショ
ンコントローラ10は経路誘導モードに設定する(ステ
ップ103、104)。そして、操作盤2の十字カーソ
ルキーが操作されると、カーソル位置計算部12がカー
ソル位置(経度、緯度の座標)を計算し(ステップ10
5、106)、地図画像描画部13はカーソル位置の変
化に従い、CD−ROM1から所定の地図データをバッ
ファメモリ11に読み出しながら第1V−RAM20
に、中央が常にカーソル位置となるようにして地図画像
を描画するとともに、第1V−RAM20の中央にカー
ソルマークを描画する。この結果、画面の中央にカーソ
ルマークが表示された状態で画面の地図がカーソル操作
に従い移動する(ステップ107、108)。
【0026】画面のカーソルマークが目的地に来たとこ
ろで、カーソル操作を一旦止め、操作盤2の目的地設定
キーを押圧すると、出発地・目的地設定部14がその時
点でカーソル位置計算部12から出力されているカーソ
ル位置データを目的地データとして設定・登録する(ス
テップ109、110)。続いて、再度、カーソル操作
を行い画面の地図を移動させ、カーソルマークが出発地
に来たところで、カーソル操作を一旦止め、操作盤2の
出発地設定キーを押圧すると、出発地・目的地設定部1
4がその時点でカーソル位置計算部12から出力されて
いるカーソル位置データを出発地データとして設定・登
録する(ステップ111、112)。
【0027】このようにして、出発地データと目的地デ
ータの設定・登録が終了すると(ステップ113でYE
S)、誘導経路探索部15が出発地データと目的地デー
タに基づき、CD−ROM1より出発地から目的地に至
る地図データをバッファメモリ11に読み出しながらダ
イクストラ法、横型探索法等のシュミレーション計算に
より、例えば最短距離を指標にした最適な誘導経路を探
索し、該誘導経路を構成するひと連なりのノード列を先
頭の出発地データ(ここではノードNs 、図3参照)及
び最後尾の目的地データ(ここではノードNO 、図3参
照)とともに誘導経路メモリ16の第1記憶エリアにア
ドレス順に記憶させる(ステップ113、図8のステッ
プ201、202)。誘導経路を構成するノード(出発
地データと目的地データを除く)が163 −2個あると
き、誘導経路メモリ16の第1記憶エリアの内容は図2
の左側の如くなる。
【0028】なお、誘導経路探索部15は、誘導経路を
構成するノード列の中の交差点につき、誘導経路メモリ
16のノードデータ中の交差点識別フラグRを立て、か
つ、ポインタTj で示す第2記憶エリアの所定箇所に、
地図データの交差点データCRDT、道路リンクリスト
RDLT、ノードリストNDLTを参照して読み出した
交差点構成ノードNj1,Nj2,・・と、各交差点構成ノ
ード−交差点間の道路の幅員データRDj1,RDj2,・
・を格納する。第2記憶エリアの内容は図2の右側の如
くなる。
【0029】次いで、操作盤2でスタートキーを押圧す
ると、地図画像描画部13は車両位置検出装置3から現
在の車両位置データ(出発地)と車両方位データを入力
し、出発地周辺の地図データをCD−ROM1からバッ
ファメモリ11に読み出すとともに、中央が出発地とな
るように第1V−RAM20に地図画像を描画する(ス
テップ203、204)。そして、地図画像描画部13
は誘導経路メモリ16に記憶された誘導経路データの
内、画面の地図表示エリアに入っているノードを読み出
し、これらのデータに基づき他の道路とは異なる色で太
く第1V−RAM20上に経路案内用の強調誘導経路の
描画を行い(ステップ205)、第1V−RAM20の
中央に車両方位方向を向けた車両位置マークを描画する
(ステップ206)。この結果、画面には中央の出発地
に車両位置マークのある出発地周辺の地図が表示され、
また、画面には誘導経路が他の道路とは異なる色で太く
表示されるので、一目でどの道路に沿って走行すればよ
いか判ることになる(図11(1)参照)。
【0030】走行を開始すると、車両位置検出装置3は
逐次、車両位置と車両方位を検出し、車両位置データと
車両方位データを出力する。地図画像描画部13は車両
位置データと車両方位データを入力すると、CD−RO
M1から車両位置データを含む所定の地図データをバッ
ファメモリ11に読み出しながら第1V−RAM20上
に、中央が車両位置となるように地図画像を描画する
(ステップ207、208)。そして、誘導経路メモリ
16に記憶された誘導経路データの内、画面の地図表示
エリアに入っているノードを読み出し、これらのデータ
に基づき他の道路とは異なる色で太く第1V−RAM2
0上に強調誘導経路の描画を行い(ステップ209)、
第1V−RAM20の中央に車両方位の示す方向に車両
位置マークを描画する(ステップ210)。この結果、
画面の地図は車両の走行につれて、中央が常に車両位置
となるように移動していく。
【0031】一方、初め、案内対象交差点探索済を示す
フラグAが0となっているので(図9のステップ301
でYES)、車両位置データを入力した案内対象交差点
探索部17は、誘導経路メモリ16に格納された誘導経
路データを参照して、誘導経路上で車両位置から見て車
両進行前方で一番手前にある交差点ノードにつき、1つ
手前の侵入ノード、当該交差点ノード、1つ後の脱出ノ
ードの位置関係から、図4に示す如くして、走行方向の
変化する交差点か判定し、NOであれば、誘導経路上で
一つ先の交差点につき同様に走行方向が変化するか判定
するという処理を繰り返して、車両位置に一番近い位置
にある走行方向の変化する交差点を求め、案内対象交差
点とする(ステップ302)。ここでは、図10のCP
1 が最初の案内対象交差点になったものとする。そし
て、案内対象交差点を探索済であることを示すフラグA
を立てる(ステップ303)。
【0032】次いで、距離計算部18が誘導経路メモリ
16の誘導経路データを参照して、現在の車両位置と案
内対象交差点探索部17で求められた案内対象交差点間
の誘導経路に沿った距離Kを計算する(ステップ30
4)。なお、車両位置が案内対象交差点より先の位置に
来たときは、Kは負となる。続いて、進路案内画像表示
中を示すフラグBが0なので(ステップ305でYE
S)、進路案内画像描画部19が車両位置−案内対象交
差点間の距離が250(m)以内か判定し(ステップ3
06)、NOであれば進路案内画像の描画はせず、進路
案内画像表示中を示すフラグBは0のままとして図8の
ステップ207へ戻り、車両位置検出装置3から次の車
両位置データと車両方位データを入力して、車両位置の
変化に従う地図の移動、車両位置マークと強調誘導経路
の書き改めを行う(ステップ208〜210)。
【0033】そして、既に案内対象交差点を探索済なの
で(図9のステップ301でNO)、距離計算部18が
新たな車両位置と案内対象交差点間の誘導経路に沿った
距離Kを計算し(ステップ304)、続いて、まだ進路
案内画像を表示していないので(ステップ305でYE
S)、進路案内画像描画部19は距離Kが250(m)
以下か判定する(ステップ306)。ここで、YESと
なったときは、B=1としたのち(ステップ307)、
車両位置検出装置3から入力した車両位置データと車両
方位データ、誘導経路メモリ16に格納された誘導経路
データ、交差点構成ノード、道路の幅員データを参照し
て、今回の案内対象交差点CP1 につき、図5に示す方
法により、交差点での進路を示す矢印図形を計算する
(ステップ308)。
【0034】そして、図6に示す方法により、幅の有る
矢印図形を、x′、y′、z′視線座標系で視点より一
定距離hだけ下の平面に置いて視点前方kの位置にある
投影面に中心投影した像を計算する(ステップ30
9)。そして、投影面の一定範囲を切り出しながら投影
像を第2V−RAM21に描画し、合成部23に合成指
令を出力して、第2V−RAM21に描画された進路案
内画像をビデオカメラ4で捉えた風景画像に合成させな
がらアナログ映像信号として出力させる(ステップ31
0)。ここで、運転者が画面の表示モードを風景モード
に切り替えると、スイッチ24が合成部23の側に切り
替わるので、画面にはビデオカメラ4で捉えた風景画像
の中の案内対象交差点CP1 の上に丁度重ね合わせた矢
印図形が3次元的に映し出される(ステップ311、3
12、図11(2)参照)。
【0035】ステップ312の処理の後、ナビゲーショ
ンコントローラ10は図8のステップ207に戻り、車
両位置検出装置3から次の車両位置データと車両方位デ
ータを入力して、車両位置の変化に従う地図の移動、車
両位置マークと強調誘導経路の書き改めを行う(ステッ
プ208〜210)。そして、既に案内対象交差点を探
索済なので(図9のステップ301でYES)、距離計
算部18が新たな車両位置と案内対象交差点CP1 間の
誘導経路に沿った距離を計算し(ステップ304)、更
に、進路案内画像を表示中なので(ステップ305でN
O)、進路案内画像描画部19は、距離Kが負か判定し
(ステップ313)、NOであれば、車両位置検出装置
3から入力した車両位置データと車両方位データ、誘導
経路メモリ16に格納された誘導経路データ、交差点構
成ノード、道路の幅員データを参照して、今回の案内対
象交差点CP1 につき、図5に示す方法により、交差点
での進路を示す矢印図形を計算する(ステップ30
8)。
【0036】そして、図6に示す方法により、幅員の有
る矢印図形を、x′、y′、z′視線座標系で視点より
一定距離hだけ下の平面に置いて視点前方kの位置にあ
る投影面に中心投影した像を計算する(ステップ30
9)。そして、投影面の一定範囲を切り出しながら投影
像を第2V−RAM21に描画し、合成部23に合成指
令を出力して、第2V−RAM21に描画された進路案
内画像をビデオカメラ4で捉えた風景画像に合成させな
がらアナログ映像信号として出力させる(ステップ31
0)。この結果、画面の矢印図形は、恰も案内対象交差
点と一緒に少し近づいたように見えることになる。
【0037】以下同様にして、車両位置−案内対象交差
点CP1 間の距離が変化するのに従い、画面では、3次
元的に描画された矢印図形が、逐次、案内対象交差点と
一緒に近づくように変化していく。当初、車両位置が案
内対象交差点から離れている時は風景画像の中の案内対
象交差点は上側に小さく遠くにあるように見え(図11
(2)参照)、車両位置が案内対象交差点に近づくにつ
れて、風景画像の中の案内対象交差点は次第に下側に移
動するとともに大きくなって手前に近づいて来るように
見える(図11(3)参照)。よって、運転者には矢印
図形が恰も実際の案内対象交差点に沿って、該案内対象
交差点の上に置かれているかの如く見えるので、いつで
も、画面を一目見るだけで、どの交差点で進路を変更す
べきか直観的に把握することができ、案内対象交差点で
正確に目的地に向けた進路変更を行うことができる。
【0038】車両が案内対象交差点CP1 を誘導経路に
沿って曲がると、距離計算部18で計算された車両位置
−案内対象交差点(CP1 )間の距離Kが負となるの
で、進路案内画像描画部19は図9のステップ313で
YESと判断し、合成部23に合成停止指令を出力して
合成動作を一旦停止させ、ビデオカメラ4で捉えた風景
画像だけディスプレイ装置5へ出力させ、画面に風景画
像だけ表示させる(ステップ314)。そして、フラグ
AとBをクリアする(ステップ315)。
【0039】その後、図9のステップ301に来たと
き、案内対象交差点探索部17はYESと判断して、交
差点CP1 の次に車両が走行方向を変更すべき案内対象
交差点(ステップ302、図10のCP2 )を探索す
る。そして、距離計算部18が車両位置−案内対象交差
点間の距離Kを計算し(ステップ304)、250m以
内となったとき(ステップ306でYES)、進路案内
画像描画部19は、案内対象交差点CP2 での進路を示
す矢印形状を計算し(ステップ308)、3次元的に描
画した矢印図形を風景画像に合成表示させ(ステップ3
09、310)、車両位置が変化するに従い、順次、画
面の矢印図形が手前に近づいてくるように見えるよう矢
印図形画像を描画し直す(ステップ301、304〜3
10の繰り返し)。
【0040】そして、運転者が画面の案内に従い走行し
て2番目の案内対象交差点CP2 を通過すると、風景画
像中の矢印図形が一時的に消え、その後、3番目の案内
対象交差点の進路案内が表示される。従って、画面の矢
印に従い走行していくだけで、確実に目的地に到達する
ことができる。なお、表示モードを地図モードに戻した
い場合、操作盤2で地図モードへの切り替え操作を行え
ば、スイッチ24が変換部22の側に切り替わるので、
画面には車両位置周辺の地図が強調誘導経路と車両位置
マークとともに表示されるので、車両が現在どの辺りを
走行しているか確認することができる(図9のステップ
311、312)。
【0041】この実施例によれば、ビデオカメラ4で捉
えた車両前方の風景画像中の案内対象交差点の位置に矢
印図形を重ねて当該案内対象交差点での進路を表示する
ようにしたから、実際の風景と見比べることにより、一
目で直観的にどの交差点でどの方向に進路変更すべきか
把握することができる。また、道路の幅員の半分の幅を
持つ矢印図形が中心投影により3次元的に表示されるの
で、風景画像と違和感の無い矢印を見ることができる。
更に、表示モードを地図モードと風景モードに切り替え
可能としたから、運転者の好みのモードで経路誘導を受
けることができる。
【0042】なお、案内対象交差点での進路情報の表示
は、風景画像中の案内対象交差点に重ねた道路の幅員の
半分の幅を持つ矢印図形で行うほか、一定幅を持つ矢印
図形で行ったり、幅の無い矢印図形で行ったり、道幅と
同じ幅の矢印図形で行ったり、矢印図形から先端の三角
形を除いた折れ線図形で行ったり、或いは、「左折」、
「右折」など文字で行うようにしてもよい。また、案内
対象交差点は、走行方向が変化するか否かに関係なく、
誘導経路上で、車両進行方向前方に存在する一番手前の
交差点としてもよい。更に、強調誘導経路と車両位置マ
ークを含む地図画像の一部に、矢印図形等の進路情報を
含む風景画像を合成して画面に表示するようにしてもよ
い。また、ビデオカメラの設置箇所は車両の真ん中や運
転席の真上など、車両前方の風景を捉えられる箇所であ
ればいずれでも良く、ビデオカメラの向きも水平より少
し下向きにしてもよい(この場合、図6の投影面はビデ
オカメラの光軸に対し垂直となるように傾ければよ
い)。また、車両位置−案内対象交差点間の距離が25
0mより大きくても進路を示す図形等を風景画像に合成
するようにしてもよい。
【0043】
【発明の効果】以上本発明によれば、走行中、車両に設
置したビデオカメラで前方の風景を捉えて映像表示装置
の画面に風景画像を映し出しすとともに、車両の現在位
置を検出し、車両の現在位置と誘導経路情報から誘導経
路上で車両進行方向前方に存在する所定の案内対象交差
点を探索し、探索した案内対象交差点での進路を求める
とともに、車両現在位置、案内対象交差点の座標、ビデ
オカメラの設置高さと向き及び光学的条件を用いて画面
の風景画像上での案内対象交差点の位置を特定し、風景
画像上での案内対象交差点に相当する箇所に、該案内対
象交差点での進路方向を示す矢印図形を道路の幅員に応
じた幅で表示するように構成したから、前方の風景をそ
のまま映し出した画像の中の交差点に重ねて進路情報が
表示されるので、運転者は直観的に進路を変更すべき交
差点と該交差点での進路を把握でき、進路変更すべき交
差点と該交差点での進路を簡単、かつ、正確に認識する
ことができる。また、交差点が車両に接近するにつれて
矢印図形が交差点とともに拡大しながら接近するため、
風景図形と違和感の無い矢印を見ることができる。更
に、運転者にはあたかも矢印図形が交差点上に置かれて
いるかのように見え、いつでも、画面を一目見るだけ
で、どの交差点で進路を変更すべきかを把握することが
できる。
【図面の簡単な説明】
【図1】本発明に係る走行案内画像表示方法を具現した
車載用ナビゲーション装置の全体構成図である。
【図2】誘導経路メモリに格納されるデータの説明図で
ある。
【図3】誘導経路メモリに格納される出発地データと目
的地データの説明図である。
【図4】走行方向の変化する交差点の検出方法を示す説
明図である。
【図5】案内対象交差点での進路を示す矢印図形の計算
方法の説明図である。
【図6】矢印図形の3次元的な中心投影像の計算方法の
説明図である。
【図7】ナビゲーションコントローラの動作を示す第1
の流れ図である。
【図8】ナビゲーションコントローラの動作を示す第2
の流れ図である。
【図9】ナビゲーションコントローラの動作を示す第3
の流れ図である。
【図10】出発地周辺の道路の概要を示す説明図であ
る。
【図11】ディスプレイ装置の画面表示例を示す説明図
である。
【図12】地図データ中の道路データの構成を示す説明
図である。
【符号の説明】
1 CD−ROM 3 車両位置検出装置 4 ビデオカメラ 5 ディスプレイ装置 10 ナビゲーションコントローラ 15 誘導経路探索部 16 誘導経路メモリ 17 案内対象交差点探索部 18 距離計算部 19 進路案内画像描画部 21 第2V−RAM 23 合成部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01C 21/00 G08G 1/00 - 9/02 G09B 29/10

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 走行中、車両に設置したビデオカメラで
    前方の風景を捉えて表示装置の画面に風景画像を映し出
    しすとともに、車両の現在位置を検出し、 車両の現在位置と誘導経路情報から誘導経路上で車両進
    行方向前方に存在する所定の案内対象交差点を探索し、 探索した案内対象交差点での進路を求めるとともに、車
    両現在位置、案内対象交差点の座標、ビデオカメラの設
    置高さと向き及び光学的条件を用いて画面の風景画像上
    での案内対象交差点の位置を特定し、 風景画像上での案内対象交差点の箇所に、該案内対象交
    差点での進路方向を示す矢印図形を道路の幅員に応じた
    幅で表示するようにしたこと、 を特徴とする車載用ナビゲーション装置の走行案内画像
    表示方法。
JP21558493A 1993-08-31 1993-08-31 車載用ナビゲーション装置の走行案内画像表示方法 Expired - Fee Related JP3160434B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21558493A JP3160434B2 (ja) 1993-08-31 1993-08-31 車載用ナビゲーション装置の走行案内画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21558493A JP3160434B2 (ja) 1993-08-31 1993-08-31 車載用ナビゲーション装置の走行案内画像表示方法

Publications (2)

Publication Number Publication Date
JPH0763572A JPH0763572A (ja) 1995-03-10
JP3160434B2 true JP3160434B2 (ja) 2001-04-25

Family

ID=16674860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21558493A Expired - Fee Related JP3160434B2 (ja) 1993-08-31 1993-08-31 車載用ナビゲーション装置の走行案内画像表示方法

Country Status (1)

Country Link
JP (1) JP3160434B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839578B1 (ko) * 2006-12-08 2008-06-19 한국전자통신연구원 영상기반 경로안내를 제어하는 차량 항법 장치 및 그 방법
KR20160146384A (ko) * 2015-06-12 2016-12-21 주식회사 파인디지털 증강 현실 내비게이션 시스템 및 증강 현실 내비게이션 시스템의 경로 안내 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269234A (ja) * 1997-01-31 1997-10-14 Sanyo Electric Co Ltd ナビゲーション装置
JP3233017B2 (ja) * 1996-05-14 2001-11-26 トヨタ自動車株式会社 車両用経路案内装置
JP4133265B2 (ja) * 2002-11-28 2008-08-13 アルパイン株式会社 ナビゲーション装置
CN101052547B (zh) * 2004-10-29 2010-07-14 松下电器产业株式会社 娱乐系统
KR100696802B1 (ko) 2005-02-16 2007-03-19 엘지전자 주식회사 디지털 멀티미디어 브로드캐스팅 기반의 항법 유도 장치 및이를 이용한 교통 정보 제공방법
JP4892741B2 (ja) * 2005-03-30 2012-03-07 国立大学法人 熊本大学 ナビゲーション装置およびナビゲーション方法
JP4483798B2 (ja) * 2005-04-06 2010-06-16 株式会社デンソー 経路案内装置およびプログラム
JP2007187535A (ja) * 2006-01-13 2007-07-26 Kenwood Corp ナビゲーションシステム、ナビゲーション用画像データ、及びナビゲーション方法
WO2007119472A1 (ja) 2006-03-28 2007-10-25 Matsushita Electric Industrial Co., Ltd. ナビゲーション装置
CN101427101B (zh) 2006-04-28 2013-07-17 松下电器产业株式会社 导航装置及其方法
WO2007145190A1 (ja) 2006-06-12 2007-12-21 Panasonic Corporation ナビゲーション装置及びナビゲーション方法
KR100806635B1 (ko) * 2006-07-04 2008-02-25 주식회사 엘비에스플러스 네비게이션 시스템
JP4946368B2 (ja) * 2006-11-09 2012-06-06 日産自動車株式会社 ナビゲーション装置
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
JP2008309529A (ja) 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP4992634B2 (ja) * 2007-09-24 2012-08-08 株式会社デンソー 道路表示装置、および道路表示装置用のプログラム
KR101768101B1 (ko) 2009-10-30 2017-08-30 엘지전자 주식회사 정보 표시 장치 및 그 방법
JP5647905B2 (ja) * 2010-01-20 2015-01-07 株式会社Ihiエアロスペース 無人移動体の制御方法
JP5926645B2 (ja) * 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
JP5935636B2 (ja) 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP5998977B2 (ja) * 2013-02-15 2016-09-28 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP6098442B2 (ja) * 2013-08-30 2017-03-22 アイシン・エィ・ダブリュ株式会社 進路案内表示システム、方法およびプログラム
JP6674914B2 (ja) * 2017-01-19 2020-04-01 クラリオン株式会社 ナビゲーションシステム、ナビゲーションプログラム、車載装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839578B1 (ko) * 2006-12-08 2008-06-19 한국전자통신연구원 영상기반 경로안내를 제어하는 차량 항법 장치 및 그 방법
KR20160146384A (ko) * 2015-06-12 2016-12-21 주식회사 파인디지털 증강 현실 내비게이션 시스템 및 증강 현실 내비게이션 시스템의 경로 안내 방법
KR102222102B1 (ko) * 2015-06-12 2021-03-03 주식회사 파인디지털 증강 현실 내비게이션 시스템 및 증강 현실 내비게이션 시스템의 경로 안내 방법

Also Published As

Publication number Publication date
JPH0763572A (ja) 1995-03-10

Similar Documents

Publication Publication Date Title
JP3160434B2 (ja) 車載用ナビゲーション装置の走行案内画像表示方法
JP3501390B2 (ja) 車載用ナビゲーション装置
JP3295892B2 (ja) 交通情報提示装置
JP3447900B2 (ja) ナビゲーション装置
JP2002168634A (ja) 車載用ナビゲーション装置の立体地図表示方法
JP4105609B2 (ja) ナビゲーション用立体表示方法およびナビゲーション装置
JPH07262492A (ja) 車載用ナビゲーション装置
WO2007088915A1 (ja) 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体
JP3904942B2 (ja) 車載用ナビゲーション装置
JP3360425B2 (ja) 車両用ナビゲーション装置
JP4099401B2 (ja) ナビゲーション装置
JP2000180194A (ja) 経路探索システムの目的地候補表示方法
JP4293893B2 (ja) ナビゲーション装置およびランドマーク表示方法
JPH09292254A (ja) 走行位置表示装置
JP3399968B2 (ja) 車載ナビゲータの経路誘導方法
JP3007459B2 (ja) 車載ナビゲータの走行案内画像表示方法
JPH0546084A (ja) 車載ナビゲータの走行案内画像表示方法
JP3491370B2 (ja) 車両用経路誘導装置
KR20040022742A (ko) 차량 네비게이션 시스템의 도로정보 표시방법 및 그 장치
JP2903981B2 (ja) 車両用経路誘導装置
JP3165183B2 (ja) 車載ナビゲータの走行案内画像表示装置
JP7302389B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP4818943B2 (ja) ナビゲーション装置
JP3011991B2 (ja) 車載ナビゲータ
JPH11118502A (ja) 車載用ナビゲーション装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees