JP5231595B2 - ナビゲーション装置 - Google Patents

ナビゲーション装置 Download PDF

Info

Publication number
JP5231595B2
JP5231595B2 JP2011087394A JP2011087394A JP5231595B2 JP 5231595 B2 JP5231595 B2 JP 5231595B2 JP 2011087394 A JP2011087394 A JP 2011087394A JP 2011087394 A JP2011087394 A JP 2011087394A JP 5231595 B2 JP5231595 B2 JP 5231595B2
Authority
JP
Japan
Prior art keywords
image
landscape
current position
target
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011087394A
Other languages
English (en)
Other versions
JP2011154041A (ja
Inventor
博重 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011087394A priority Critical patent/JP5231595B2/ja
Publication of JP2011154041A publication Critical patent/JP2011154041A/ja
Application granted granted Critical
Publication of JP5231595B2 publication Critical patent/JP5231595B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、目的位置に向かって経路案内を行うナビゲーション装置に関する。
従来の車両用のナビゲーション装置は、現在位置、現在位置の周囲の地理、案内経路が記された地図をモニタに表示して、目的位置に向かって経路案内を行うものである。
このナビゲーション装置では、目的位置に近づくと、上述した現在位置等に加えて目的位置が記された地図がモニタに表示される。
そのため運転者は、このナビゲーション装置のモニタに目的位置が表示されることにより、目的位置が近づいたことを認識する。
すると、運転者は、地図に示された目的位置に対応する風景(例えば、ビル等の建物を目的地に選んだ場合は、これらの建物、公園などの場所を目的地に選んだ場合は、これらの場所等)を、運転者が現在見ている風景の中から探し出そうとする。
しかし、地図に記された目的位置に対応する風景が、運転者が現在見ている風景の中でどこに位置するのかが、運転者にはすぐには分からないことが多い。
そのため運転者は、地図に示され、かつ、運転者が現在見ている風景の中から把握できた目標物との位置関係で目的位置にある風景を把握することが多い。
例えば、運転者が、目的位置に立っているビルから3件隣のビルを、目標物として地図でも実際の風景の中でも把握できた場合、運転者はまず、目的位置に立っているビルが、目標物となるビルから何件隣にあるかを地図で把握する。
そして運転者は、運転者が現在見ている風景の中で、目標物となるビルからビルの数を数え、目的位置に立っているビルを把握する。
このように、従来の車両用のナビゲーション装置は、地図に示された目的位置に対応する風景が、運転者が現在見ている風景の中でどこに位置するかを運転者に把握させようとした場合、地図と風景とを照らし合わせる作業を運転者に行わせる必要があった。
しかし、地図と風景とを照らし合わせる作業は煩雑な作業である。そのため、この作業を運転中の運転者に行わせると、本来運転に向けるべき運転者の注意力を削ぐおそれがある。
そこで、例えば、特許文献1のナビゲーション装置は、目的位置に対応する風景を含む風景を予め撮影した画像を記憶しておき、経路案内をしているときに目的位置に近づいたら、その画像をモニタに表示することによって経路案内を行っている。
地図では目的位置に対応する風景の周辺の実態(建物の色合いや、形状等)を表すことは困難だが、風景を撮影した画像には、目的位置に対応する風景の周辺の実態も表されるので、このナビゲーション装置は、従来のナビゲーション装置に比べ、運転者にとって視覚的に分かりやすい経路案内を行うことができる。
特開2001−249024号公報
しかし、予め撮影した風景と運転者が現在見ている風景とでは、建物の立て替え、撮影時期(時分や季節)の違い、撮影ポイントの高さや位置、撮影方向の違いなどから、複数の相違点が生じることが多い。
この相違点が多いと、同じ風景を写しても、まったく異なる風景に見えることさえある。
そのため、運転者は、予め撮影した風景の画像を用いた経路案内を受けても、その予め撮影した風景が、運転者が現在見ている風景に合致するのか確認する作業が必要となる場合がある。
この作業は、地図と風景とを照らし合わせる作業とは異なる作業であるが、いわゆる間違い探しをするような作業であり、性質は異なっても、地図と風景とを照らし合わせる作業と同様に煩雑な作業であった。
ゆえに、予め撮影した風景を用いて経路案内を行うナビゲーション装置も、地図を用いて経路案内を行うナビゲーション装置と同様に、本来運転に向けるべき運転者の注意力を削ぐおそれがあった。
本発明は、上記点に鑑み、本来運転に向けるべき運転者の注意力を削ぐことなく経路案内を行うことを目的とする。
上記目的を達成するため、請求項1記載の発明では、予め設定された最終目的位置である建物の位置に向かって経路案内を行うナビゲーション装置において、そのナビゲーション装置はカーナビゲーションであって、カメラと、モニタとを有する。さらに車両の現在位置を特定し、その現在位置と現在位置の周囲の地理と案内経路とが示された地図状の案内画像をモニタに表示して経路案内を行う。そして、車両の進行方向と平行な方向となるようにカメラの撮影方向を特定し、車両の現在位置からその特定した撮影方向にカメラで撮影している撮影画像について、その現在位置と最終目的位置と撮影方向とに基づき、この撮影画像に写されている風景の中で、建物が写されている位置である目的風景位置を特定している。
また、少なくとも前記現在位置と前記最終目的位置に隣接する道路部分の位置とに基づき、撮影画像に写されている風景の中で、最終目的位置に対応する風景に隣接する道路部分が写されている位置である道路位置を特定している。
そして、この請求項1に記載の発明では、この特定した撮影画像中に存在する目的風景位置が最終目的位置である建物の位置であることを指し示す指示画像を特定した道路風景位置に写された道路部分の上方に設定して撮影画像上に合成する画像処理を行って、その処理後の撮影画像をモニタに表示している。
これにより、この請求項1に記載の発明では、最終目的位置に対応する風景が指示画像により撮影画像上で運転者に対し分かりやすく示されるので、運転者は、最終目的位置に対応する風景を、実際の風景の中からでも簡単に探し当てることができる。
このように請求項1に記載の発明では、運転者が現在見ている風景の中に最終目的位置が示された画像がモニタに表示されるので、指示画像が合成された撮影画像に写されている風景と運転者が現在見ている風景とを容易に比較でき、モニタに表示された撮影画像を見れば、運転者は、現在見ている風景の中にある最終目的位置に対応する風景を非常に簡単に見つけ出すことができ、よって運転者が現在見ている風景の中で最終目的位置に対応する建物がどこに位置するのかを運転者に瞬時に把握させることができる。
従って、この請求項1に記載の発明では、本来運転に向けるべき運転者の注意力を削ぐことなく経路案内を行うことができる。
また、この請求項1に記載の発明では、現在撮影している風景の画像をリアルタイムにモニタに表示して経路案内を行っているので、初めて行く場所でも経路案内を行うことができる。
さらに、この請求項1に記載の発明では、風景を撮影した画像を用いて経路案内を行っているので、運転者にとって視覚的に分かりやすい経路案内を行うことができる。
ところで、地図による経路案内を行う現在のナビゲーション装置は、最終目的位置近くまで到達した時点で経路案内を止めてしまうものが多い。
これは、最終目的位置近傍に到達したときには、細かい運転操作が必要となることが多く、そのようなときに、モニタに表示された地図と風景とを見比べさせる煩雑な作業を行わせると不都合があるという理由によるものである。
しかし、ナビゲーション装置が経路案内を終了した段階では、運転者が現在見ている風景の中のどこに最終目的位置に対応する風景があるのか具体的に認識していないこともあり、運転者は最終目的位置を通り越してしまうことがあった。
一方、例えば、最終目的位置から遠い位置を車両が走行している場合、運転者は、地名やインター名等で自分達がどこを通過したのかを地図で確認できる経路案内を受ければ、経路案内としては十分であると感じることが多い。
このように、地図による経路案内の方が、撮影画像による経路案内よりも好ましい場合もある。
そこで、請求項1に記載した発明では、現在位置と現在位置の周囲の地理と案内経路とが示された地図の画像をモニタに表示して経路案内を行うとともに、現在位置が最終目的位置に近づいたか否かを判定し、現在位置が最終目的位置に近づいたと判定された場合に、モニタに表示する画像を、地図による経路案内を行うための画像から、カメラで撮影している撮影画像による経路案内を行うための画像に切り換えている。
これにより、請求項1に記載の発明では、現在位置が最終目的位置から遠いときは地図による経路案内が行われ、現在位置が最終目的位置から近いときはカメラで撮影した撮影画像を用いた経路案内が行われるので、最終目的位置までの遠近に合わせて、最適な経路案内を行うことができる。
尚、この指示画像は、目的表示位置を指し示す画像であればどのようなものでもよく、例えば、矢印や、指差しを行っている手首の画像などでもよい。
次に、請求項2に記載の発明では、最終目的位置に対応する風景をカメラが現在位置から撮影可能か否かを判定し、撮影不能であると判定された場合、目的風景位置に写された建物の上方に指示画像を合成している。
これにより、この請求項2に記載の発明では、最終目的位置に対応する風景が現在位置から撮影不能である場合、指示画像が目的風景位置に写された建物の上方に合成されるので、運転者は、指示画像が合成される位置を見れば、最終目的位置に対応する風景が現在位置から撮影不能な場所、すなわち運転者からは見えない場所にあるか否かを直ちに把握することができる。
また、この請求項2に記載の発明では、最終目的位置に対応する風景が現在位置から撮影不能である場合であっても、指示画像が目的風景位置に写された建物の上方に合成されるので、運転者は、最終目的位置のあるおおよその方向を、認識することができる。
尚、最終目的位置にあるものをカメラが現在位置から撮影できない場合とは、例えば、最終目的位置と現在位置との間に高いビルがある場合などである。
次に、請求項に記載の発明では、現在位置が最終目的位置に近づくにつれて指示画像が大きくなるように、現在位置から最終目的位置までの距離に応じた指示画像の大きさを設定し、その設定された大きさの指示画像を撮影画像に対し合成している。
これにより、請求項に記載された発明では、最終目的位置に近づくほど指示画像が撮影画像中に大きく表示されるので、最終目的位置が近づいていることを距離感の悪い運転者にも確実に把握させることができる。
尚、最終目的位置に近づいたか否かは、請求項4に記載したように、現在位置と最終目的位置との距離が予め定められた一定距離内になったら最終目的位置に近づいたと判定してもよいし、請求項5に記載したように、現在位置から最終目的位置までを結ぶ道路が直線となったら、最終目的位置に近づいたと判定してもよい。
また、請求項に記載したように、当該ナビゲーション装置をカーナビゲーションとするとよい。
本実施形態のカーナビゲーション装置の内部構成を示すブロック図である。 本実施形態のカーナビゲーション装置で用いるカメラ、GPS受信機の設置位置と、目的位置、現在位置、視野角、撮影方向の各パラメータについて説明するための模式図である。 本実施形態のカーナビゲーション装置1で実行されるナビゲーション処理のフローチャートである。 本実施形態のカーナビゲーション装置1で実行されるナビゲーション処理のフローチャートである。 モニタ14に表示される画像の説明図である。 モニタ14に表示される画像の説明図である。 モニタ14に表示される画像の説明図である。 モニタ14に表示される画像の説明図である。
以下では、発明を実施するための最良の形態であるカーナビゲーション装置について説明する。
ここで、図1は、本実施形態のカーナビゲーション装置の内部構成を示すブロック図である。
[内部構成]
本実施形態のカーナビゲーション装置1は、図1に示すように、中央制御装置10と、カメラ12と、モニタ14と、GPS受信機16と、方位センサ18と、傾斜センサ20と、車速センサ22と、ジャイロセンサ24と、入力装置26と、記憶装置30とを備えている。
このうち、カメラ12とGPS受信機16、車速センサ22は、車両の所定位置に取り付けられ、それ以外のものは、カーナビゲーション装置1の本体に組み込まれている。そしてカーナビゲーション装置1の本体は、運転席と助手席との間に位置する、図示しないインパネに取り付けられる。
中央制御装置10は、CPU10a、ROM10b、RAM10cを備えたコンピュータ装置である。この中央制御装置10は、各装置12〜30と、バス99を介して通信可能に接続されている。
この中央制御装置10では、CPU10aが、各装置12〜30と通信し、必要なデータをRAM10cに一時記憶しながら、ROM10bに記憶されたプログラムを実行して、後述する各種処理を実行する。
カメラ12は、車両の進行方向前方に向けられ、車両の進行方向に対して撮影方向が平行となるようにサンバイザに固定される。このようにカメラ12が固定されると、撮影方向および撮影位置が、運転者の視線の方向および目の高さとほぼ一致するので、運転者が見ている風景とほぼ同じ風景が撮影される。
モニタ14は、カーナビゲーション装置1の本体に組み込まれているものである。カーナビゲーション装置1は、本体がインパネに取り付けられたとき、この画面が車内側を向くように取り付けられる。
GPS(Global Positioning System) 受信機16は、車両の所定箇所に取り付けられ、GPS衛星から発信された位置測位用の信号を受信する装置である。
中央制御装置10では、GPS受信機16で位置測位用の信号が受信されるたび、その信号に基づいて現在位置を算出する処理が実行され、その算出された現在位置の位置情報はRAM10c記憶される。
そして、RAM10cに記憶される現在位置の位置情報は、新しい現在位置が算出されるたびに更新される。
そのため、RAM10cには、常に最新の車両の現在位置情報が記憶されている。
尚、GPS受信機16と、上記の処理を実行する中央制御装置10とが、現在位置を特定する現在位置特定手段として機能する。
方位センサ18は、地磁気から方位を検出するセンサで、傾斜センサ20は、車両の上下方向の傾きを検出するセンサである。ジャイロセンサ24は、車体の向きを検出するセンサである。
中央制御装置10では、これらセンサ18、20、24により方位等が検出されるたび、その方位等を検出したことを示す信号に基づいて車両の向きを算出する処理が実行され、その算出された車両の向きを示す方位情報がRAM10cに記憶される。
そして、RAM10cに記憶される方位情報は、新しい車両の向きが算出されるたびに更新される。
そのため、RAM10cには、常に最新の車両の向きを示す方位情報が記憶された状態となる。
尚、方位情報は、本実施形態では、カメラ12が車両の前方を向いて固定されているので、カメラ12の撮影方向を示す方位情報でもある。従って、方位センサ18、傾斜センサ20、ジャイロセンサ24、及び、上記処理を実行する中央制御装置10は、カメラ12の撮影方向を特定する撮影方向特定手段として機能する。
車速センサ22は、車両のスピードを計測するセンサで、車両のスピードメータにスピードを表示するためのセンサとして使用されているものである。
入力装置26は、利用者がカーナビゲーション装置1を操作するためのヒューマンインターフェイス装置で、カーナビゲーション装置1の本体をインパネに取り付けたときに、利用者が車内側から操作可能な位置に取り付けられている。
記憶装置30は、カーナビゲーション装置1に内蔵されたHDD(ハードディスクドライブ)やICメモリその他の情報を記憶・消去可能な装置である。
この記憶装置30には、予めいくつかの情報が記憶されており、現在位置から目的位置までの案内経路を決定するための基礎となる基礎情報がデータベース部32に記憶されている。
また、この記憶装置30には、カメラに関する諸情報がカメラ情報記憶部34に、指示画像が指示画像記憶部36に記憶されている。
ここで基礎情報には、位置情報(緯度経度標高)、位置情報を検索するための検索情報、地図情報、及び、付帯情報等があり、データベース部32には、これらの情報が互いに関連付けられて記憶されている。
このうち、検索情報は、住所、地名、施設名、電話番号等の位置情報の検索に直接必要な情報である。また、地図情報は、例えば、道路、建物等の各種施設、県境や市境、山、川などの地理が図面上に表された図面化された情報である。さらに、付帯情報は、建物の高さ、道路の幅等の情報である。
カメラに関する諸情報とは、カメラ12の視野角や、解像度その他の情報である。
指示画像とは、矢印のグラフィック画像である。
[目的位置等について]
ここで、目的位置、現在位置、撮影方向、及び、視野角について簡単に説明する。尚、これらのパラメータは、3次元パラメータではあるが、以下では、説明を簡単にするために水平方向の2次元のパラメータを用いて説明する。
ここで、図2は、本実施形態のカーナビゲーション装置1で用いられるカメラ12、GPS受信機16の設置位置と、目的位置、現在位置、撮影方向、視野角について説明するための模式図である。
(目的位置)
目的位置は、建物や交差点などの経路案内用の位置である。
この目的位置は、建物や交差点等の場合は、その建物の中心位置の緯度経度標高としてもよいし、公園等の場合は、その入口の緯度経度標高としてもよい。その他、この目的位置は本実施形態の趣旨に沿えばどのような位置でもよい。
(現在位置)
現在位置は、厳密には、GPS受信機16が位置測位用の信号を受信した位置である。
そのため、図2に示すように、カメラ12を基点として撮影方向に対して目的位置がどの方向にあるかを算出するとき、この現在位置をカメラ12の現在位置とすると多少の誤差が生じる。
しかし、GPS受信機16とカメラ12との距離は、カメラ12と目的位置との距離に比べ非常に短い。
そこで、本実施形態では、カメラ12を基点として、目的位置が撮影方向に対してどの方向にあるかを算出するときでも、GPS受信機16で位置測位用の信号を受信した位置を、カメラ12の現在位置としている。
尚、GPS受信機16の設置位置とカメラ12の設置位置との誤差を記憶装置30等に記憶しておき、その誤差を考慮して、カメラ12の現在位置を算出してもよいことはもちろんである。
(撮影方向)
撮影方向とは、図2に示すように、車両の進行方向と平行な方向であって、車両の進行方向前方に向かう方向である。
(視野角)
カメラ12が風景を撮影するとき、円錐状の広がりを持った範囲が撮影されるが、視野角とは、この円錐の円錐角のことである。本実施形態では、この視野角をθで表している。
[ナビゲーション処理]
次に、上述したカーナビゲーション装置1で実行されるナビゲーション処理について説明する。
尚、以下の説明では、ある建物の位置を最終目的位置とする経路案内が行われ、現在位置から最終目的位置までの間の案内経路上にある交差点の位置が中間目的位置として設定される例を具体例として、説明する。
ここで図3及び図4は、本実施形態のカーナビゲーション装置1で実行されるナビゲーション処理のフローチャートである。
このナビゲーション処理(S1)は、経路案内の最終目的位置が設定され、入力装置26に対して経路案内開始の操作がなされると、開始される。
このうち最終目的位置の設定は、建物の名前や住所などの検索情報が入力装置26を用いて入力されると、その建物の位置情報がデータベース部32を用いて検索され、この位置情報が最終目的位置の位置情報としてRAM10cに記憶されることによって行われる。
この案内処理(S1)が開始されると、まず、S10の処理が実行される。
S10では、案内経路の決定や中間目的位置の設定、目的位置の設定が行われる。
このうち案内経路は、RAM10cに記憶された車両の現在位置の位置情報と、最終目的位置の位置情報と、データベース部32に記憶された基礎情報とから、周知の方法により決定される。そして、決定された案内経路の経路情報は、RAM10cに記憶される。
また、この案内経路が決定されると、その案内経路上にある交差点が中間目的位置として設定される。そして、この中間目的位置として抽出された交差点の位置情報が、データベース部32に記憶された基礎情報から抽出されて、その位置情報が中間目的位置の位置情報としてRAM10cに記憶される。
そして、S10では、これら案内経路と中間目的位置とがRAM10cに記憶されると、案内経路上で現在位置から最も近い(最終目的位置から最も遠い)交差点の位置である中間目的位置が、経路案内の最初の目的位置として設定され、その位置情報が、RAM10cに目的位置の位置情報として記憶される。
S12では、RAM10cに記憶された現在位置の位置情報及び案内経路の経路情報と、データベース部32に記憶された地図情報とから、現在位置と現在位置の周囲の地理と案内経路とが示された地図状の案内画像を所定時間毎に順次更新しながらモニタ14に表示して経路案内を行う地図案内処理が実行される。
S14では、RAM10cに記憶された現在位置及び目的位置の位置情報とから、現在位置が目的位置に近づいたか否かを判定する接近判定処理が実行される。
このS14では、具体的には、現在位置と目的位置との間の距離が予め定められた一定距離内(1.3km内)であれば、現在位置が目的位置に近づいたと判定される。
この判定(S14)で、車両が目的位置に近づいたと判定されたら(S14:YES)、S20の処理が実行される。
一方、この判定(S14)で、目的位置に近づいていないと判定されたら(S14:NO)、S16の処理が実行される。
S16では、経路案内を、地図状の案内画像を用いた経路案内から、後述する撮影画像を用いた経路案内に切り換える操作が入力装置26に対してなされたか否かを判定する処理が実行される。
このS16で、経路案内を切り換える指示がなされると判定されたら(S16:YES)、(1)で示すように、図4のS50以下の処理が実行される。
一方、このS16で、経路案内を切り換える指示がなされていないと判定されたら(S16:NO)、S12以下の処理が実行され、地図状の案内画像を用いた経路案内が引き続き実行される。
尚、図4のS50以下の処理については後述する。
S20では、カメラ12を起動して、車両前方の風景を撮影する処理が実行される。
S22では、カメラ12を用いて、現在位置から撮影方向に撮影している撮影画像について、この撮影画像に写されている風景の中で、目的位置に対応する風景が写されている位置である目的風景位置を特定する目的風景位置特定処理が実行される。
ここで、目的位置に対応する風景とは、目的位置が中間目的位置である場合、本実施形態では交差点、目的位置が最終目的位置である場合、本実施形態では、ある建物のことである。
すなわち、S22では、撮影画像に写されている風景の中で、目的位置として設定された中間目的位置に対応する交差点や、最終目的位置に対応するある建物が写されている位置が特定される。
この目的風景位置は、図2に示すように、現在位置と、目的位置と、撮影方向とから、現在位置と目的位置とを結ぶ直線と撮影方向とがなす角度αを幾何学的に計算することによって特定される。
撮影画像は、撮影方向の延長線上を中心とする撮影方向に垂直な面であるため、このS22で算出された角度αの延長線とこの面とが交差する点が目的風景位置となる。
S24では、目的風景位置αが、図2に示すように、カメラ12の撮影方向から見て視野角θの範囲内に入っているか否かが判定される。
S24の判定で、目的風景位置αがカメラ12の視野角θの範囲内に入っていないと判定されたら、S38の処理が実行される。このS38の処理は後述する。
一方、S24の判定で、目的風景位置αがカメラ12の視野角θの範囲内に入っていると判定されたら(S24:YES)、S25の処理が実行される。
S 25では、目的位置が最終目的位置であるか中間目的位置であるかを判定する。
この判定は、例えば、S10で抽出された交差点の位置情報がRAM10cに記憶されているか否かにより判定してもよい。
S25の判定で、目的位置が最終目的位置である場合は、S26を実行し、目的位置が中間目的位置である場合は、S34の処理が実行される。
S26では、撮影画像に写されている風景の中で、最終目的位置に対応する風景、すなわちある建物に隣接する道路が写されている位置である道路風景位置を特定する道路風景位置特定処理が実行される。
具体的には、このS26では、最終目的位置に対応する風景、すなわち本実施形態ではある建物であるが、この建物に隣接する道路の位置情報を検索する処理が実行される。
そして、道路風景位置は、図2に示すように、現在位置と、道路の位置と、撮影方向とから、現在位置と道路の位置とを結ぶ直線と撮影方向とがなす角度βを幾何学的に計算することによって特定される。
撮影画像は、撮影方向の延長線上を中心とする撮影方向に垂直な面であるため、このS26で算出された角度βの延長線とこの面とが交差する点が道路風景位置となる。そのため、本実施形態では、目的風景位置と同様、道路風景位置をこの角度βで特定している。
S28では、目的位置に対応する風景をカメラ12で撮影可能か否かを判定する撮影判定処理が実行される。
このS28の処理では、例えば、現在位置及び目的位置の位置情報と、データベース部32の基礎情報とから、現在位置と目的位置とを結ぶ直線の間にビル等があるか否かを検索し、その検索されたビルの高さが、現在位置から目的位置にあるものを隠してしまうか否かを判定している。
このS28の処理で、撮影可能であると判定されたら(S28:YES)、S30の処理を実行し、撮影不能であると判定されたら(S28:NO)、S34の処理を実行する。
S30では、道路風景位置の上方に矢印の指示画像を合成可能か否かを判定する処理が実行される。
具体的には、道路風景位置βが、カメラ12の撮影方向から見て視野角θの範囲内に入っているか否かが判定される。
S30の判定で、道路位置βがカメラ12の視野角θの範囲内に入っていないと判定されたら(S30:NO)、S34の処理を実行する。
一方、S30の判定で、道路位置βがカメラ12の視野角θの範囲内に入っていると判定されたら(S30:YES)、S32の処理を実行する。
S32では、指示画像である矢印の合成位置が道路風景位置の上方に設定される。
具体的には、図5に示すように、道路の上方に指示画像の矢印yが表示されるように設定され、次にS36が実行される。
S34では、指示画像である矢印の合成位置が目的風景位置の上方に設定される。
具体的には、S25で最終目的位置でないと判定された場合は、図6(a)に示すように、交差点の上方に矢印yが表示するように設定される。S28で目的風景位置が撮影不能であると判定された場合は、図6(b)に示すように、物陰に隠れている建物の上方に指示画像である矢印yが表示されるように設定される。さらに、S30で道路風景の上方に矢印yを合成不能と判定された場合は、図6(c)に示すように、建物の上方に指示画像である矢印yが表示されるように設定される。
S36では、現在位置が目的位置に近づくにつれて指示画像が大きくなるように、現在位置から目的位置までの距離に応じた指示画像の大きさを設定する形態設定処理が実行される。
本実施形態では、現在位置と目的位置とが100m以内に近づいたときが最も大きく、その大きさを1とすると、300m以内であると、0.8、700m以内であると、0.5、1.3km以内であると0.3、1.3km以上であると0.1と予め定められているので、この決まりに基づいて、指示画像の大きさが設定される。
具体的には、現在位置と目的位置が遠い場合は、図5(a)に示すように矢印yは小さく、現在位置と目的位置が近い場合は、図5(b)に示すように矢印yは大きく表示されるよう設定している。
S38では、S32〜S34の処理で設定された位置に、S36の処理で設定された大きさの矢印の指示画像が、目的風景位置が目的位置であることを示すように撮影画像に対して合成される処理が実行される。
そして、S38では、モニタ14に表示される画像が、地図状の案内画像から指示画像を合成処理した後の撮影画像を利用した案内画像に切り替えられ、以後、後述するS46で戻し操作あり(S46:YES)と判定されるまで、指示画像を合成処理した後の撮影画像を利用した案内画像がモニタ14に表示される。
S40では、S14で判定の対象とされた目的位置に到着したか否かを判定する。この判定は、現在位置が目的位置に一致したか否かにより判定される。
このS40において、目的位置に到着していないと判定されたら(S40:NO)、撮影画像による経路案内を継続するため、再びS20以下の処理が実行され、一方、目的位置に到着していると判定されたら(S40:YES)、S42の処理が実行される。
S42では、S40で判定した目的位置が、最終目的位置であるかを判定している。
このS42の判定で、最終目的位置であると判定されたら(S42:YES)、本処理(S1)を終了し、一方、最終目的位置でないと判定されたら(S42:NO)、S44の処理が実行される。
S44では、RAM10cに記憶されている目的位置の位置情報を、到着したばかりの目的位置(S40)の次に最終目的位置から遠い中間目的位置の位置情報に更新する処理が実行される。あるいは、中間目的位置がない場合は、RAM10cに記憶されている目的位置の位置情報は最終目的位置の位置情報に更新される。
S46では、経路案内を、撮影画像を用いた経路案内から、地図状の案内画像を用いた経路案内に切り換える操作が入力装置26に対してなされたか否かを判定する処理が実行される。
このS46で、経路案内を切り換える指示がなされていたら(S46:YES)、S12の処理を実行し、指示がなされていなかったら、(1)で示すように、図4のS50以下の処理が実行される。
次に、図4により、S16で切替操作あり(S16:YES)、あるいはS46で戻し操作なし(S46:NO)と判定された場合のナビゲーション処理について説明する。
S50では、S20と同様、カメラ12を起動して、車両前方の風景の撮影を開始する処理が実行される。
S52では、S22と同様、カメラ12を用いて、現在位置から撮影方向に撮影している撮影画像について、この撮影画像に写されている風景の中で、目的位置に対応する風景が写されている位置である目的風景位置を特定する目的風景位置特定処理が実行される。
尚、S50以下の処理が実行されるときは、目的位置が現在位置から見て遠方であるため、目的位置に対応する風景、すなわち建物や交差点が、山陰に隠れてしまっている場合や、カメラの解像度から、目的位置に対応する風景を写せないほど遠方にあることがあるが、このS52では、そのような場合でも目的風景位置が特定される。
S54では、S24と同様、目的風景位置αが、図2に示すように、カメラ12の撮影方向から見て視野角θの範囲内に入っているか否かが判定される。
S54の判定で、目的風景位置αがカメラ12の視野角θの範囲内に入っていないと判定されたら、S60の処理を実行する。
一方、S54の判定で、目的風景位置αがカメラ12の視野角θの範囲内に入っていると判定されたら(S54:YES)、S56の処理を実行する。
S56では、矢印の指示画像の合成位置を目的風景位置αの上方に設定する処理が実行される。
S60では、S54で目的風景位置αが視野角θの範囲内にあると判定された場合は、撮影画像に対しS56の処理を実行することによって設定された位置に矢印の指示画像が合成され、その指示画像が合成された撮影画像がモニタ14に表示される。
一方、S54で目的風景位置αが視野角θの範囲内にない場合は、カメラ12で撮影された画像がそのままモニタ14に表示される。
S62では、S14と同様、現在位置が目的位置に近づいたか否かを判定している。
このS62の判定で、目的位置に近づいたと判定されたら(S62:YES)、(2)で示すように、図3のS20の処理が実行される。
一方、この判定(S62)で、目的位置に近づいていないと判定されたら(S62:NO)、S50の処理が実行される。
このS50〜S62の処理を実行すると、図7に示すように、建物や交差点が遠方にあり、そしてそれらの建物等が山陰等に隠れた位置にあっても、撮影画像上に建物等の位置を示す撮影画像がモニタ14に表示される。
[実施形態に係るカーナビゲーション装置の特徴]
本実施形態では、現在位置から撮影方向にカメラ12で撮影している撮影画像について、この撮影画像に写されている風景の中で、目的位置に対応する風景が写されている位置である目的風景位置を特定している(S22)。
そして、本実施形態では、この目的風景位置が目的位置であることを示す画像処理を撮影画像に対して行って、その処理後の撮影画像をモニタ14に表示している(S38)。
これにより、本実施形態では、運転者が現在見ている風景の中に目的位置が示された画像がモニタ14に表示されるので、この画像により、運転者が現在見ている風景の中で目的位置に対応する風景(建物や交差点)がどこに位置するのかを運転者に瞬時に把握させることができる。
従って、本実施形態では、本来運転に向けるべき運転者の注意力を削ぐことなく経路案内を行うことができる。
また、本実施形態では、現在撮影している風景の画像をリアルタイムにモニタ14に表示して経路案内を行っているので、初めて行く場所でも経路案内を行うことができる。
さらに、本実施形態では、風景を撮影した画像を用いて経路案内を行っているので、運転者にとって視覚的に分かりやすい経路案内を行うことができる。
次に、本実施形態では、目的風景位置を指し示す指示画像を撮影画像に合成することによって、撮影画像上で目的位置に対応する風景がこの指示画像により指し示される(S38)。
これにより、本実施形態では、目的位置に対応する風景が指示画像により撮影画像上で運転者に対し分かりやすく示されるので、運転者は、目的位置に対応する風景を、実際の風景の中からでも簡単に探し当てることができる。
次に、本実施形態では、撮影画像に写されている風景の中で、目的位置に対応する風景に隣接する道路が写されている位置である道路位置を特定し(S26)、この道路位置の上方に指示画像を合成している(S32)。
これにより、この本実施形態では、建物等の他の風景がない空間である道路の上方に指示画像が合成されるので、撮影画像に写されている風景を損なうことなく、指示画像が撮影画像上に合成される。
従って、この本実施形態では、運転者が、この指示画像が合成された撮影画像に写されている風景と運転者が現在見ている風景とを容易に比較できるので、モニタ14に表示された撮影画像を見れば、運転者は、運転者が現在見ている風景の中にある目的位置に対応する風景を非常に簡単に見つけ出すことができる。
次に、本実施形態では、目的位置に対応する風景をカメラ12が現在位置から撮影可能か否かを判定し(S28)、撮影不能であると判定された場合、目的風景位置の上方に指示画像を合成している(S34)。
これにより、この本実施形態では、目的位置に対応する風景が現在位置から撮影不能である場合、指示画像が目的風景位置の上方に合成されるので、運転者は、指示画像が合成される位置を見れば、目的位置に対応する風景が現在位置から撮影不能な場所、すなわち運転者からは見えない場所にあるか否かを直ちに把握することができる。
また、この本実施形態では、目的位置に対応する風景が現在位置から撮影不能である場合であっても、指示画像が目的風景位置の上方に合成されるので、運転者は、目的位置のあるおおよその方向を、認識することができる。
次に、本実施形態では、現在位置が目的位置に近づくにつれて指示画像が大きくなるように、現在位置から目的位置までの距離に応じた指示画像の大きさを設定し(S36)、その設定された大きさの指示画像を撮影画像に対し合成している(S38)。
これにより、本実施形態では、目的位置に近づくほど指示画像が撮影画像中に大きく表示されるので、目的位置が近づいていることを距離感の悪い運転者にも確実に把握させることができる。
ところで、地図による経路案内を行う現在のナビゲーション装置は、最終目的位置近くまで到達した時点で経路案内を止めてしまうものが多い。
これは、最終目的位置近傍に到達したときには、細かい運転操作が必要となることが多く、そのようなときに、モニタ14に表示された地図と風景とを見比べさせる煩雑な作業を行わせるという不都合があるという理由によるものである。
しかし、ナビゲーション装置が経路案内を終了した段階では、運転者が現在見ている風景の中のどこに目的位置に対応する風景があるのか具体的に認識していないこともあり、運転者は目的位置を通り越してしまうことがあった。
一方、例えば、最終目的位置から遠い位置を車両が走行している場合、運転者は、地名やインター名等で自分達がどこを通過したのかを地図で確認できる経路案内を受ければ、経路案内としては十分であると感じることが多い。
このように、地図による経路案内の方が、撮影画像による経路案内よりも好ましい場合もある。
そこで、本実施形態では、現在位置と現在位置の周囲の地理と案内経路とが示された地図の画像をモニタ14に表示して経路案内を行う(S12)とともに、現在位置が目的位置に近づいたか否かを判定し(S14)、現在位置が目的位置に近づいたと判定された場合、モニタ14に表示する画像を、地図状の案内画像から、撮影画像に切り換えている(S38)。
これにより、本実施形態では、現在位置が目的位置から遠いときは地図による経路案内が行われ、現在位置が目的位置から近いときはカメラ12で撮影した撮影画像を用いた経路案内が行われるので、目的位置までの遠近に合わせて、最適な経路案内を行うことができる。
また、本実施形態では、目的位置が現在位置より遠いため、目的位置に対応する風景を撮影することができなくても、目的位置に対応する風景が視野角の範囲内にあれば、撮影画像中に、その目的位置を示す矢印が表示される。
そのため、本実施形態では、目的位置が遠方にあっても、目的位置への現在位置からの方向を、運転者は撮影画像を見ることで把握することができる。
[実施形態と発明特定事項との対応関係]
本実施形態のGPS受信機16と現在位置を算出する処理を実行している中央制御装置10は、本発明の現在位置特定手段に相当する。
本実施形態の方位センサ18、傾斜センサ20、ジャイロセンサ24と現在位置を算出する処理を実行している中央制御装置10は、本発明の撮影方向特定手段に相当する。
本実施形態の目的風景位置特定処理(S22)は、本発明の目的風景位置特定手段が実行する処理に相当する。
本実施形態の処理画像表示処理(S38)は、本発明の処理画像表示手段が実行する処理に相当する。
本実施形態の道路風景位置特定処理(S26)は、本発明の道路位置特定手段が実行する処理に相当する。
本実施形態の撮影判定処理(S28)は、本発明の撮影判定手段が実行する処理に相当する。
本実施形態の形態設定処理(S36)は、本発明の形態設定手段が実行する処理に相当する。
本実施形態の地図案内処理(S12)は、本発明の地図案内手段が実行する処理に相当する。
本実施形態の接近判定処理(S14)は、本発明の接近判定手段が実行する処理に相当する。
(その他の実施形態)
[カメラ12の位置]
上記実施形態では、カメラ12をサンバイザに設置したが、その他にも、インパネ上部やヘッドレスト端に設置してもよく、その実装位置は、ドライバーの視線位置に近い場所、すなわち、カメラ12を介してモニタ14に表示される風景がドライバーが見る風景と極力同じように見える位置であれば、どのような場所でもよい。
[指示画像]
上記実施形態では、目的風景位置を指し示す画像として矢印を用いたが、指差しをしている手首の画像の他、目的風景位置を指し示す態様のものであればどのようなものでもよい。
また、上記実施形態では、目的風景位置を指し示す画像として矢印を用いたが、目的風景位置部分の画像の輝度や明度を、他の部分の画像に比べて強くしたり、あるいは弱くしたりしてもよい。あるいは目的位置を囲う画像を表示してもよい。
さらに、目的位置に対応する風景が、例えば名古屋城である場合、矢印で指し示したものが名古屋城であることを文字で表示するなど、目的位置に対応する風景の名称を記載したバーチャル看板を表示するようにしてもよい。
[S14の処理]
上記実施形態のS14の処理では、現在位置と目的位置との距離が予め定められた一定距離内になったら目的位置に近づいたと判定しているが、他には、現在位置から目的位置までを結ぶ道路が直線となったら、目的位置に近づいたと判定してもよい。
このようにすると、例えば、図8に示すように、現在位置から目的位置までを結ぶ道路が直線でない場合は(α1の車両)、モニタ14には地図による案内画像α2が表示されるが、現在位置から目的位置までを結ぶ道路が直線である場合は(β1の車両)、モニタ14には撮影画像β2が表示され、経路案内が行われる。
[中間目的位置]
中間目的位置は、利用者が入力装置26を操作して指定してもよい。
また、中間目的位置は、交差点だけでなく、分岐路や、案内経路沿いにある名所旧跡や、案内経路の近くにある名所旧跡を眺める事が可能な位置など、どのようなものでもよい。
上記実施形態では、中間目的位置が近づいている場合には、図5(c)に示すように、単に交差点を矢印で指し示す例について説明したが、例えば、交差点が複数車線からなるものである場合は、経路案内上にある車線を指し示すようにしてもよい。
[最終目的位置]
最終目的位置は、建物ばかりでなく、公園や河川、山、その他、どのようなものでもよい。
[S26の処理]
道路風景位置は、例えば、目的位置に対応する風景、すなわち上記実施形態では建物に隣接する道路の位置情報をデータベース部32から検索し、その道路の位置情報から、その道路が現在位置から見て目的位置のどちら側にあるかで特定してもよい。
以上本発明の一実施形態ついて説明したが、本発明はこの実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。
1…カーナビゲーション装置、10…中央制御装置、12…カメラ、14…モニタ、16…GPS受信機、18…方位センサ、20…傾斜センサ、22…車速センサ、24…ジャイロセンサ、26…入力装置、30…記憶装置、32…データベース部、34…カメラ情報記憶部、36…指示画像記憶部

Claims (5)

  1. 予め設定された最終目的位置である建物の位置に向かって経路案内を行うナビゲーション装置において、
    当該ナビゲーション装置はカーナビゲーションであって、
    カメラと、
    モニタと、
    車両の現在位置を特定する現在位置特定手段と、
    前記現在位置特定手段によって特定した現在位置と当該現在位置の周囲の地理と案内経路とが示された地図状の案内画像を前記モニタに表示して前記経路案内を行う案内手段と、
    前記車両の進行方向と平行な方向となるように前記カメラの撮影方向を特定する撮影方向特定手段と、
    前記現在位置から前記撮影方向特定手段により特定した撮影方向に前記カメラで撮影している撮影画像について、前記現在位置と前記最終目的位置と前記撮影方向とに基づき、この撮影画像に写されている風景の中で、前記建物が写されている位置である目的風景位置を特定する目的風景位置特定手段と、
    少なくとも前記現在位置と前記最終目的位置に隣接する道路部分の位置とに基づき、前記撮影画像に写されている風景の中で、前記最終目的位置に対応する風景に隣接する道路部分が写されている位置である道路風景位置を特定する道路風景位置特定手段と、
    前記目的風景位置特定手段により特定した前記撮影画像中に存在する目的風景位置が前記最終目的位置である前記建物の位置であることを指し示す指示画像を前記道路風景位置特定手段により特定した道路風景位置に写された前記道路部分の上方に設定して前記撮影画像上に合成する画像処理を行って、その処理後の前記撮影画像を前記モニタに表示する処理画像表示手段と、
    前記現在位置が前記最終目的位置に近づいたか否かを判定する接近判定手段と、
    を備え、
    前記処理画像表示手段は、前記接近判定手段により、前記現在位置が前記最終目的位置に近づいたと判定された場合に、前記モニタに表示する画像を、前記案内手段による前記地図状の案内画像から、前記処理後の撮影画像に切り替えて表示することを特徴とするナビゲーション装置。
  2. 請求項1記載のナビゲーション装置において、
    前記最終目的位置に対応する風景を前記カメラが前記現在位置から撮影可能か否かを判定する撮影判定手段を備え、
    前記処理画像表示手段は、前記撮影判定手段で撮影不能であると判定された場合、前記画像処理として、前記目的風景位置に写された前記建物の上方に前記指示画像を合成する処理を実行することを特徴とするナビゲーション装置。
  3. 請求項1または2に記載のナビゲーション装置において、
    前記現在位置が前記最終目的位置に近づくにつれて前記指示画像が大きくなるように、前記現在位置から前記最終目的位置までの距離に応じた前記指示画像の大きさを設定する形態設定手段を備え、
    前記処理画像表示手段は、前記画像処理として、前記形態設定手段で設定された大きさの前記指示画像を前記撮影画像に対し合成する処理を実行することを特徴とするナビゲーション装置。
  4. 請求項1記載のナビゲーション装置において、
    前記接近判定手段は、前記現在位置と前記最終目的位置との距離が予め定められた一定距離内であれば、前記現在位置が前記最終目的位置に近づいたと判定することを特徴とするナビゲーション装置。
  5. 請求項1記載のナビゲーション装置において、
    前記接近判定手段は、前記現在位置から前記最終目的位置までを結ぶ道路が直線であるか否かを判定し、前記道路が直線であると判定された場合に、前記現在位置が前記最終目的位置に近づいたと判定することを特徴とするナビゲーション装置。
JP2011087394A 2006-03-30 2011-04-11 ナビゲーション装置 Expired - Fee Related JP5231595B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011087394A JP5231595B2 (ja) 2006-03-30 2011-04-11 ナビゲーション装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006095348 2006-03-30
JP2006095348 2006-03-30
JP2011087394A JP5231595B2 (ja) 2006-03-30 2011-04-11 ナビゲーション装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006201050A Division JP2007292713A (ja) 2006-03-30 2006-07-24 ナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2011154041A JP2011154041A (ja) 2011-08-11
JP5231595B2 true JP5231595B2 (ja) 2013-07-10

Family

ID=44540096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011087394A Expired - Fee Related JP5231595B2 (ja) 2006-03-30 2011-04-11 ナビゲーション装置

Country Status (1)

Country Link
JP (1) JP5231595B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6328366B2 (ja) * 2012-08-13 2018-05-23 アルパイン株式会社 ヘッドアップディスプレイの表示制御装置および表示制御方法
JP6236954B2 (ja) * 2013-07-23 2017-11-29 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
US10876853B2 (en) * 2018-07-06 2020-12-29 Honda Motor Co., Ltd. Information presentation device, information presentation method, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249024A (ja) * 2000-03-06 2001-09-14 Fujitsu Ten Ltd ナビゲーション装置
JP2003194567A (ja) * 2001-12-25 2003-07-09 Equos Research Co Ltd 情報端末装置およびプログラム
JP3899969B2 (ja) * 2002-03-20 2007-03-28 株式会社デンソー 車載用ナビゲーション装置
JP4433385B2 (ja) * 2004-02-25 2010-03-17 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 目的地案内装置および携帯端末装置
JP4470105B2 (ja) * 2004-05-20 2010-06-02 ノーリツ鋼機株式会社 ナビゲーションシステム及びプログラム

Also Published As

Publication number Publication date
JP2011154041A (ja) 2011-08-11

Similar Documents

Publication Publication Date Title
JP2007292713A (ja) ナビゲーション装置
JP5798392B2 (ja) 駐車支援装置
US20080195315A1 (en) Movable-Body Navigation Information Display Method and Movable-Body Navigation Information Display Unit
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2007080060A (ja) 対象物特定装置
MX2007015348A (es) Dispositivo de navegacion con informacion de camara.
JP2006242859A (ja) 車両用情報表示装置
JP2006162442A (ja) ナビゲーション装置及びナビゲーション方法
JP2008039596A (ja) 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体
JP2011152865A (ja) 車載撮像装置
JP5955662B2 (ja) 拡張現実システム
WO2015128959A1 (ja) ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム
JP2022176234A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP5231595B2 (ja) ナビゲーション装置
JP2014211431A (ja) ナビゲーション装置、及び、表示制御方法
JP4800252B2 (ja) 車載装置及び交通情報提示方法
JP2002213973A (ja) 画像取得装置、画像取得方法、画像取得のプログラム
WO2019155557A1 (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP2016139914A (ja) 表示装置、携帯端末及び制御方法
JP2004064409A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
KR100833603B1 (ko) 버드 뷰를 제공하는 차량용 네비게이션 장치 및 그 방법
JP5196426B2 (ja) ナビゲーション装置
JP2014074627A (ja) 車両用ナビゲーションシステム
JP2008002965A (ja) ナビゲーション装置およびその方法
JP7282199B2 (ja) 合流支援装置および合流支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120323

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120330

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5231595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees