JP4946368B2 - Navigation device - Google Patents

Navigation device Download PDF

Info

Publication number
JP4946368B2
JP4946368B2 JP2006304236A JP2006304236A JP4946368B2 JP 4946368 B2 JP4946368 B2 JP 4946368B2 JP 2006304236 A JP2006304236 A JP 2006304236A JP 2006304236 A JP2006304236 A JP 2006304236A JP 4946368 B2 JP4946368 B2 JP 4946368B2
Authority
JP
Japan
Prior art keywords
intersection
guidance
moving image
signboard
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006304236A
Other languages
Japanese (ja)
Other versions
JP2008122150A (en
Inventor
裕美 廣川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2006304236A priority Critical patent/JP4946368B2/en
Publication of JP2008122150A publication Critical patent/JP2008122150A/en
Application granted granted Critical
Publication of JP4946368B2 publication Critical patent/JP4946368B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両等に搭載されて目的地への走行経路を案内するナビゲーション装置に関する。   The present invention relates to a navigation device that is mounted on a vehicle or the like and guides a travel route to a destination.

車両等の走行経路を案内するナビゲーション装置は、ディスプレイに平面(2次元)地図を表示し、当該地図上の道路にそって目的地への走行経路を重ねて表示する。
このようなナビゲーション装置では、走行経路上の交差点などに近づくと、直進すべきか曲がるべきかなど当該交差点の通過要領をわかりやすく案内する目的で、地図表示面の一部または全部を誘導画面に切り換えるようにしている。
A navigation device that guides a travel route of a vehicle or the like displays a planar (two-dimensional) map on a display, and displays a travel route to a destination along a road on the map.
In such a navigation device, when approaching an intersection or the like on the travel route, a part or all of the map display surface is switched to a guidance screen for the purpose of providing an easy-to-understand guide for passing the intersection such as whether to go straight or turn. I am doing so.

この誘導画面では、複数の車線がある場合にこれらを拡大表示したうえ、左折用車線、直進用車線あるいは右折用車線の別を示すマーク表示が画面内の所定の上部領域に表示される。そして、目的地への経路を保持するためどの車線を選ぶべきかを、上記マーク表示や車線の色を変えることにより誘導する。
そして近時は、例えば特開2005−292064号公報に開示されているように、とくに誘導画面の表示を道路における実際の映像を模した3次元動画像とするものが提供されている。これは、運転者が視認する実際の前方道路情景に近づけることにより、誘導画面を違和感のないものにしようとの試みである。
特開2005−292064号公報
In this guidance screen, when there are a plurality of lanes, these are enlarged and displayed, and a mark display indicating whether the vehicle is a left turn lane, a straight lane, or a right turn lane is displayed in a predetermined upper area on the screen. Then, whether to choose which lane for retaining the route to the destination, induced by changing the color of the mark display or lane.
Recently, as disclosed in, for example, Japanese Patent Application Laid-Open No. 2005-292064, a display in which a guidance screen is displayed as a three-dimensional moving image simulating an actual video on a road has been provided. This is an attempt to make the guidance screen uncomfortable by bringing it closer to the actual front road scene visually recognized by the driver.
JP 2005-292064 A

しかしながら、誘導画面に3次元動画像を用いたものでも、車線別を示すマーク表示は誘導画面内の所定の上部領域に固定的態様で表示されているだけのため、違和感のないものにしようとの狙いにもかかわらず、例えば左折あるいは右折する交差点での曲がるポイントを把握することがいまだ困難である。車線の色を変えて誘導する場合も同様である。誘導画面に自車両位置が表示されていない場合にはこの把握の困難度がさらに大きくなる。   However, even if a three-dimensional moving image is used for the guidance screen, the mark display indicating the lane is only displayed in a fixed manner in a predetermined upper area in the guidance screen, so that it does not feel uncomfortable. Despite this aim, it is still difficult to grasp the turning points at intersections that turn left or right, for example. The same applies when guiding by changing the lane color. When the vehicle position is not displayed on the guidance screen, the degree of difficulty in grasping is further increased.

したがって、本発明は、上記の問題点に鑑み、3次元動画像を用いた誘導画面において交差点での進路方向を直感的に確実に認識させることができるようにしたナビゲーション装置を提供することを目的とする。   Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to provide a navigation device capable of intuitively and reliably recognizing a course direction at an intersection on a guidance screen using a three-dimensional moving image. And

このため、本発明のナビゲーション装置は、ディスプレイの地図上に走行経路を表示して目的地への経路案内を行い、交差点にかかる誘導区間において交差点の通過要領を案内する誘導画面を提示するナビゲーション装置において、前記誘導画面に誘導区間の3次元動画像を表示する動画像再生手段と、前記3次元動画像の交差点位置に、前記交差点に対して所定の高さおよび所定のサイズを有する進路方向案内用の案内看板が、進路方向を示す面が自車両側に向くような態様で前記交差点上に配置されているように、前記案内看板の画像を重畳する案内看板重畳手段と、を備え、前記動画像再生手段が、自車両が前記交差点に近づくにしたがって、前記交差点に配置された案内看板が自車両に接近してくるように次第に大きな像へ変化して表示するように構成したものとした。
For this reason, the navigation device of the present invention displays a travel route on a map on a display, performs route guidance to a destination, and presents a guidance screen that guides the passage of an intersection in a guidance section at the intersection. The moving image reproducing means for displaying the three-dimensional moving image of the guidance section on the guiding screen, and the direction guidance having a predetermined height and a predetermined size with respect to the intersection at the intersection position of the three-dimensional moving image signboards of use is such that the surface indicating the traveling direction are arranged on the intersections in a manner directed toward the vehicle, and a signboard superimposing means for superimposing an image of the signboard, the The moving image reproduction means gradually changes to a large image so that the guide sign placed at the intersection approaches the own vehicle as the own vehicle approaches the intersection. And as you configured to Shimesuru so.

本発明によれば、進路方向を示す案内看板が交差点に表示され、自車両の走行に伴い交差点の案内看板が近づいてくるので、当該交差点でどのように進路をとるべきかを誘導画面上で容易、確実に認識することができる。   According to the present invention, the signboard indicating the direction of the course is displayed at the intersection, and the signboard at the intersection approaches as the vehicle travels, so on the guidance screen how to take the course at the intersection. It can be easily and reliably recognized.

以下、本発明の実施の形態について詳細に説明する。
図1は実施の形態の構成を示すブロック図である。
ナビゲーション装置は、処理装置10に対して操作入力部21と、現在位置検出部22と、地図情報記憶部23と、動画像データ格納部24と、ディスプレイ25およびスピーカ26をそれぞれ接続して構成される。
現在位置検出部22は、GPS受信部やジャイロ、車速センサ等を用いて、自車両の現在位置を検出する。
Hereinafter, embodiments of the present invention will be described in detail.
FIG. 1 is a block diagram showing the configuration of the embodiment.
The navigation device is configured by connecting an operation input unit 21, a current position detection unit 22, a map information storage unit 23, a moving image data storage unit 24, a display 25 and a speaker 26 to the processing device 10. The
The current position detection unit 22 detects the current position of the host vehicle using a GPS reception unit, a gyro, a vehicle speed sensor, and the like.

地図情報記憶部23には、地図情報として、道路網および各道路の車線数、車線幅、交差点の地図データ、ならびに、道路に沿った陸橋など道路施設やその他の施設、建物に関するデータが格納されている。
交差点については、左折、右折、あるいは分岐する場合のそれぞれの進入経路と離脱経路の付随情報も含まれている。
なお、交差点は4差点の別称として用いられるが、とくに識別の必要がないときはY字路、分岐路、5以上の多差点等も「交差点」で代表させる。
The map information storage unit 23 stores, as map information, road network and the number of lanes of each road, lane width, map data of intersections, and data relating to road facilities such as overpasses along roads, other facilities, and buildings. ing.
For the intersection, the accompanying information of each approach route and departure route when turning left, turning right, or branching is also included.
The intersection is used as another name for the four difference points, but if there is no particular need for identification, a Y-junction, a branch road, five or more multi-difference points, etc. are represented by “intersection”.

動画像データ格納部24には、交差点やY字路等にかかる誘導区間の道路における実際の映像を模した3次元動画像のデータが格納されている。
処理装置10は、経路探索部12、経路案内部14、誘導タイミング制御部16、動画像再生部18を備えている。
経路探索部12は、現在位置検出部22で検出した自車両の現在位置と、操作入力部21から入力設定された目的地から、周辺の地図上で推奨すべき走行経路を探索する。
The moving image data storage unit 24 stores data of a three-dimensional moving image that imitates an actual image on a road in a guidance section such as an intersection or a Y-junction.
The processing device 10 includes a route search unit 12, a route guide unit 14, a guidance timing control unit 16, and a moving image reproduction unit 18.
The route search unit 12 searches for a recommended travel route on the surrounding map from the current position of the host vehicle detected by the current position detection unit 22 and the destination input and set from the operation input unit 21.

経路案内部14は、経路探索部12で探索された走行経路を地図に重ねて、ディスプレイ25に表示する。併せて、スピーカ26を介して音声によっても走行経路の案内を提示する。
誘導タイミング制御部16は、地図上の自車両の現在位置を監視し、交差点等誘導すべき地点にかかる誘導区間に入出するタイミングを決定する。
動画像再生部18は、誘導区間に入っている間、動画像データ格納部24から当該誘導区間のデータを読み出し、3次元動画像をディスプレイ25の誘導画面に再生する。
The route guide unit 14 superimposes the travel route searched by the route search unit 12 on the map and displays it on the display 25. In addition, the travel route guidance is also presented by voice through the speaker 26.
The guidance timing control unit 16 monitors the current position of the host vehicle on the map, and determines the timing for entering and exiting the guidance section for the point to be guided such as an intersection.
The moving image playback unit 18 reads the data of the guidance section from the moving image data storage unit 24 and enters the guidance section of the display 25 while it is in the guidance section.

つぎに、誘導画面の表示について説明する。
本実施の形態では、通常状態として、ディスプレイ25に目的地への走行経路を重ねた平面地図30が表示され、交差点等に近づいた誘導区間に入ると、図2に例示するように、平面地図の一部が誘導画面40に切り換えられる。
誘導区間は、地図情報記憶部23にデータとして記憶されている。
誘導区間は、4差点、Y字路、分岐路、5以上の多差点等(以下、とくに識別の必要がないときは「交差点」で代表させる。)の手前例えば300mぐらいから交差点へ向けて設定される。すなわち、誘導区間の開始点で誘導画面40が開始する。
Next, display of the guidance screen will be described.
In the present embodiment, as a normal state, a planar map 30 in which the travel route to the destination is superimposed is displayed on the display 25, and when entering a guidance section approaching an intersection or the like, as illustrated in FIG. Is switched to the guidance screen 40.
The guidance section is stored as data in the map information storage unit 23.
The guidance section is set from about 300m to the intersection, for example, before 4 difference points, Y-junction, branch roads, 5 or more multi-difference points, etc. (hereinafter referred to as “intersection” when there is no need for identification). Is done. That is, the guidance screen 40 starts at the start point of the guidance section.

誘導画面40に表示される3次元動画像Gには、前方の交差点44に配置された進路方向を示す案内看板Aが設定されている。また、3次元動画像G内における手前側には自車両から交差点までの距離感を把握させるために自車両位置を示す自車マークMも表示される。したがってこの3次元動画像Gは自車両の上方に視点をもった画像となっている。
動画像データ格納部24に格納された3次元動画像のデータは、車両の走行にしたがって移動する視点からの画像が滑らかに変化するよう、予め作成されている。
これにより、走行に伴って自車両が交差点へ近づくほどに、3次元動画像G内の案内看板Aは接近して交差点44とともに次第に大きな像へ変化する。案内看板Aは例えば高さ10m、幅10mのサイズをイメージしたものとしてある。
In the three-dimensional moving image G displayed on the guide screen 40, a guide sign A indicating a course direction arranged at a front intersection 44 is set. In addition, on the near side in the three-dimensional moving image G, a host vehicle mark M indicating the host vehicle position is also displayed in order to grasp the sense of distance from the host vehicle to the intersection. Therefore, this three-dimensional moving image G is an image having a viewpoint above the own vehicle.
The data of the three-dimensional moving image stored in the moving image data storage unit 24 is created in advance so that the image from the viewpoint that moves as the vehicle travels changes smoothly.
Thereby, the guide sign A in the three-dimensional moving image G approaches and gradually changes into a large image together with the intersection 44 as the host vehicle approaches the intersection as the vehicle travels. The guide signboard A is assumed to be an image of a size of, for example, a height of 10 m and a width of 10 m.

なお、従来と同様に画面上部の所定領域に固定サイズの車線別マーク42を表示してもよい。この場合の3次元動画像は、案内看板Aが上記所定領域を除く範囲に表示され、固定サイズの車線別マーク42等で隠されないように設定する。必要に応じて、上記所定領域を除く範囲を有効範囲Wと呼ぶ。
自車マークMは基本的に画面下部の中央部に表示されるが、3次元動画像Gに重ねて表示される他のメッセージなども自車マークMを隠さないように配置される。
Note that a fixed-size lane-specific mark 42 may be displayed in a predetermined area at the top of the screen as in the conventional case. The three-dimensional moving image in this case is set so that the guide sign A is displayed in a range excluding the predetermined area and is not hidden by the fixed-size lane-specific mark 42 or the like. The range excluding the predetermined area is referred to as an effective range W as necessary.
The own vehicle mark M is basically displayed in the center of the lower part of the screen, but other messages displayed on the three-dimensional moving image G are also arranged so as not to hide the own vehicle mark M.

図3は3次元動画像の視点Eの変化を示す。
自車両が誘導区間Qの開始点にあるとき、視点Eは案内看板Aと自車マークMの両方を誘導画面の有効範囲Wに相当する有効視野範囲αに含む高さHで、自車両位置(残距離)Xより後方にある。そして、案内看板Aと自車マークMの両方を有効視野範囲に含む条件を満たしながら、視点Eは自車両が交差点へ近づくにつれて高くなりつつ、道路に沿って移動して、交差点全体の形状を把握できるように設定される。交差点に達したときには交差点を高い位置から見下ろす姿勢になる。図中、θは俯瞰角度である。
この際、有効視野範囲に映ずる自車マークMが視覚的に後退するような感覚を与えないように視点を設定するのが好ましい。
FIG. 3 shows changes in the viewpoint E of the three-dimensional moving image.
When the host vehicle is at the start point of the guidance section Q, the viewpoint E is at a height H including both the guide sign A and the host vehicle mark M in the effective visual field range α corresponding to the effective range W of the guidance screen, and the position of the host vehicle. (Remaining distance) It is behind X. And while satisfying the condition that both the signboard A and the vehicle mark M are included in the effective visual field range, the viewpoint E moves along the road while becoming higher as the vehicle approaches the intersection, and the shape of the entire intersection is changed. It is set so that it can be understood. When the intersection is reached, the posture is such that the intersection is looked down from a high position. In the figure, θ is an overhead angle.
At this time, it is preferable to set the viewpoint so as not to give a feeling that the own vehicle mark M reflected in the effective visual field range visually retreats.

この視点制御のために、動画像再生部18は図4に示すような視点移動テーブルTを備えて、自車両の現在位置と連動させて、視点Eの位置と俯瞰角度を変化させながら3次元動画像Gを再生する。
図4に示す視点移動テーブルTでは、誘導区間Qにおける自車両の交差点中心までの残距離(現在位置)X(X0、X1、X2、・・・、0)に対して、視点Eの高さH(H0、H1、H2、・・・、Hn)、交差点中心から視点Eまでの距離Y(Y0、Y1、Y2、・・・、Yn)、俯瞰角度θ(θ0、θ1、θ2、・・・、θn)を規定している。ここで、後述する後方移動量Rを用いて、Y=X+Rの関係にある。
For this viewpoint control, the moving image reproducing unit 18 includes a viewpoint moving table T as shown in FIG. 4 and is three-dimensional while changing the position of the viewpoint E and the overhead angle in conjunction with the current position of the host vehicle. The moving image G is reproduced.
In the viewpoint movement table T shown in FIG. 4, the height of the viewpoint E with respect to the remaining distance (current position) X (X0, X1, X2,..., 0) to the intersection center of the host vehicle in the guidance section Q. H (H0, H1, H2,..., Hn), the distance Y from the intersection center to the viewpoint E (Y0, Y1, Y2,..., Yn), the overhead angle θ (θ0, θ1, θ2,...・, Θn) is specified. Here, there is a relationship of Y = X + R using a backward movement amount R described later.

図5は上記視点の具体的な設定例を示す。
交差点から300m手前を開始点aとして、当該開始点において視点Eは高さH0=10m、後方移動量R0=33m、俯瞰角度θ0=5°で、町並みの風景を見せるため低めのアングルからスタートする。
自車両が40mほど進んだb時点までの間は上記位置、姿勢(俯瞰角度)を保持する。これは、交差点までの距離が長いので案内看板Aと自車マークM間の距離にほとんど変化がないためである。
FIG. 5 shows a specific setting example of the viewpoint.
Starting from the intersection 300m before, the viewpoint E starts at a lower angle in order to show the townscape at a height H0 = 10m, a backward movement amount R0 = 33m, and an overhead angle θ0 = 5 °. .
The position and posture (overhead angle) are maintained until time point b when the host vehicle has traveled about 40 m. This is because there is almost no change in the distance between the guide sign A and the vehicle mark M because the distance to the intersection is long.

その後は、視点Eの高さ(H)を徐々に大きくしてゆく。違和感を招かないように徐々に高くしていく間、後方移動量(R)を固定していると自車両、すなわち自車マークMが有効視野範囲αから外れるので、高さ(H)の増大にしたがって後方移動量を増加させ、自車両から交差点までの残距離が200mのc時点での後方移動量をRi=63mとする。
残距離(X)が200mを切ると自車マークMが有効視野範囲αから外れることがなくなるので、後方移動量Rj=65〜70m弱を維持する。なお、有効視野範囲αは一定である。
Thereafter, the height (H) of the viewpoint E is gradually increased. While gradually increasing so as not to cause a sense of incongruity, if the rearward movement amount (R) is fixed, the own vehicle, that is, the own vehicle mark M deviates from the effective visual field range α, so that the height (H) increases. Accordingly, the backward movement amount at the time point c when the remaining distance from the own vehicle to the intersection is 200 m is set to Ri = 63 m.
If the remaining distance (X) is less than 200 m, the vehicle mark M will not deviate from the effective visual field range α, so the rearward movement amount Rj = 65 to 70 m is maintained. Note that the effective visual field range α is constant.

この間、高さ(H)は残距離約50mのe時点でHl=110mになるまで増大を続けて、その後自車両が交差点に達するまで同レベルを保持し、Hn=110mとなる。
後方移動量(R)も残距離が約60mのd時点になると若干その値を低減させてRk=50mとし、自車両が交差点に達した時点のRn=50mまで同レベルを保持する。
俯瞰角度(θ)は案内看板Aと自車マークMを有効視野範囲α内に含むように変化し、自車両が交差点に達したときにはθn=55°となっている。
During this time, the height (H) continues to increase until Hl = 110 m at time e of the remaining distance of about 50 m, and then maintains the same level until the host vehicle reaches the intersection, and becomes Hn = 110 m.
The backward movement amount (R) is also slightly reduced at the time point d when the remaining distance is about 60 m to Rk = 50 m, and the same level is maintained until Rn = 50 m when the host vehicle reaches the intersection.
The overhead angle (θ) changes so as to include the guide sign A and the vehicle mark M within the effective visual field range α, and θn = 55 ° when the vehicle reaches an intersection.

なお、視点Eは上述のとおり車両の上方に位置するので、例えば車線を跨る横断歩道橋がある道路では、視点Eの高さによっては横断歩道橋が視野を遮って、3次元動画像Gの画面全体が横断歩道橋に覆われ、道路や案内看板Aが隠されることになる。したがってこのような横断歩道橋などの高架設備がある誘導区間については、視点Eが当該高架設備を交差点側へ越えるまではその下側を通過できる高さに抑えた、通常とは異なる高架設備用視点移動テーブルが設定される。高架設備用視点移動テーブルは高架設備の高さに応じて複数設定される。   Since the viewpoint E is located above the vehicle as described above, for example, on a road with a pedestrian bridge across the lane, depending on the height of the viewpoint E, the pedestrian bridge may block the field of view and the entire screen of the three-dimensional moving image G Is covered with a pedestrian crossing, and the road and the signboard A are hidden. Therefore, for guidance sections with elevated facilities such as pedestrian crossing bridges, the viewpoint for elevated facilities that is different from the normal viewpoint, where the viewpoint E is low enough to pass under the elevated facility until it crosses the intersection, A move table is set. A plurality of elevated viewpoint moving tables are set according to the height of the elevated equipment.

一方、図6に示すように、誘導区間において道路がカーブしており、道路(走行経路S)際の建物46が交差点(44)を隠し、したがって誘導画面の3次元動画像Gにおいて案内看板Aも隠す場合には、案内看板Aを隠す建物(46)をその間透過表示、あるいは非表示とすることができる。   On the other hand, as shown in FIG. 6, the road is curved in the guidance section, and the building 46 on the road (traveling route S) hides the intersection (44), so the guide sign A in the three-dimensional moving image G on the guidance screen. In the case of also hiding, the building (46) that hides the signboard A can be transparently displayed or hidden during that time.

さらに、図7に示すように、大きなカーブの先に交差点(44)があって、自車両の現在の進行方向に向けて設定した平面視野方向δでは、視野範囲βに案内看板Aが入らないときには、平面視野方向を案内看板Aに向くδA側へ変更して、案内看板Aと自車マークMの両方が有効視野範囲に含まれるようにする。
この際、交差点44までの道路(走行経路S)全体が見えるように、視点Eの高さも調整した値に設定する。そしてこの状態でも、道路全体および案内看板Aを隠す建物47がある場合には、図6に示したと同様に、その建物47を透過表示、あるいは非表示とする。
Further, as shown in FIG. 7, there is an intersection (44) at the end of a large curve, and the guide sign A does not enter the visual field range β in the planar visual field direction δ set toward the current traveling direction of the host vehicle. In some cases, the plane view direction is changed to the δA side facing the guide sign A so that both the guide sign A and the vehicle mark M are included in the effective view range.
At this time, the height of the viewpoint E is also set to an adjusted value so that the entire road (traveling route S) up to the intersection 44 can be seen. Even in this state, if there is a building 47 that hides the entire road and the guide sign A, the building 47 is transparently displayed or hidden as shown in FIG.

誘導区間Qは各交差点について地図情報記憶部23に記憶されており、その道路形状や建物情報も地図情報として予めわかっているから、動画像再生部18は誘導区間の特性に応じて、上述のような視点移動テーブルTの切り替え、建物の透過表示や非表示、あるいは視点高さHや俯瞰角度θ、視野方向δの変更・調整を織り込み、3次元動画像Gを再生する。   The guidance section Q is stored in the map information storage unit 23 for each intersection, and the road shape and building information is known in advance as map information. The three-dimensional moving image G is reproduced in consideration of such switching of the viewpoint movement table T, transparent display or non-display of the building, or change / adjustment of the viewpoint height H, the overhead angle θ, and the viewing direction δ.

3次元動画像Gにおける道路には走行すべき走行経路Sが表示される。
そして、交差点44における案内看板Aの配置は図8に示すように設定されている。
すなわち、走行経路Sが交差点44で曲がらないで直進の場合には、交差点の中心PCに案内看板Aが配置される。
走行経路Sが交差点44で曲がる場合には、交差点に表示された走行経路S1またはS2の接線に対して交差点の中心PCから下ろした垂線が当該接線と交わる点P1やP2等に案内看板Aが配置される。
図9は、交差点に近づいた時点での、3次元動画像Gにおける案内看板Aが配置された交差点まわりの画像例である。
いずれの場合も、案内看板Aは手前に向けて表示される。
A travel route S to be traveled is displayed on the road in the three-dimensional moving image G.
And the arrangement of the signboard A at the intersection 44 is set as shown in FIG.
That is, when the travel route S does not turn at the intersection 44 and goes straight, the guide sign A is arranged at the center PC of the intersection.
When the travel route S bends at the intersection 44, the guide sign A is at the points P1, P2, etc. where the perpendicular drawn from the center PC of the intersection intersects the tangent of the travel route S1 or S2 displayed at the intersection. Be placed.
FIG. 9 is an example of an image around the intersection where the guide sign A in the three-dimensional moving image G is arranged when approaching the intersection.
In either case, the guide sign A is displayed facing forward.

誘導区間は、交差点内の走行経路を示す観点から、交差点を通過した位置までとするのが好ましいが、案内看板Aは自車両位置が当該案内看板の直前例えば手前10mに達した時点で表示を消すことにより、交差点内の走行経路の把握を容易とする。   The guidance section is preferably from the point of view of the travel route in the intersection to the position where it has passed through the intersection, but the guide sign A is displayed when the vehicle position reaches, for example, 10 m before the guide sign. By erasing, it is easy to grasp the travel route in the intersection.

図10は処理装置10における上記誘導画面40の制御の流れを示すフローチャートである。
操作入力部の操作で目的地を設定し、走行を開始すると、走行経路を重ねた周辺地図をディスプレイに表示して通常の経路案内が開始する。
経路案内の間、まずステップ100において自車両の現在位置を現在位置検出部から取得し、ステップ101で、誘導タイミング制御部は、地図情報記憶部の地図情報と自車両の現在位置に基づいて、現在位置が誘導対象の交差点にかかる誘導区間に入ったかどうかをチェックする。
誘導区間に入らない間はステップ100、101を繰り返し、誘導区間に入るとステップ102へ進む。
FIG. 10 is a flowchart showing a flow of control of the guidance screen 40 in the processing apparatus 10.
When the destination is set by the operation of the operation input unit and the traveling is started, the surrounding map on which the traveling route is superimposed is displayed on the display, and the normal route guidance is started.
During route guidance, first, in step 100, the current position of the host vehicle is acquired from the current position detection unit. In step 101, the guidance timing control unit is based on the map information in the map information storage unit and the current position of the host vehicle. Check whether the current position has entered the guidance section for the intersection to be guided.
While not entering the guidance section, steps 100 and 101 are repeated, and when entering the guidance section, the process proceeds to step 102.

ステップ102では、動画像再生部において、地図情報を参照して当該誘導区間に高架設備があるかどうかをチェックする。
高架設備がないときは、ステップ103へ進み、高さ制限のない通常の視点移動テーブルを選択する。高架設備があるときは、ステップ104へ進み、当該高架設備の高さ(すなわち、くぐり抜け可能な高さ)に応じた高架用視点移動テーブルを選択する。
In step 102, the moving image playback unit checks whether there is an elevated facility in the guidance section with reference to the map information.
If there is no elevated facility, the process proceeds to step 103, and a normal viewpoint movement table with no height restriction is selected. When there is an elevated facility, the process proceeds to step 104, and an elevated viewpoint moving table corresponding to the height of the elevated facility (that is, a height that can be passed through) is selected.

ステップ103またはステップ104で視点移動テーブルを選択した後は、ステップ105において、ディスプレイに誘導画面を開き、動画像データ格納部から当該誘導区間の3次元画像データを読み出しながら、上記選択した視点移動テーブルに基づいて3次元動画像の再生を開始する。   After the viewpoint movement table is selected in step 103 or step 104, the selected viewpoint movement table is opened in step 105 while opening the guidance screen on the display and reading out the 3D image data of the guidance section from the moving image data storage unit. Based on the above, playback of the three-dimensional moving image is started.

ステップ106では、誘導タイミング制御部が、自車両の現在位置が誘導区間を離脱したかどうか、例えば誘導対象の交差点から出たかどうかをチェックする。誘導区間を離脱するまでは、当該チェックを繰り返し、その間動画像再生部は3次元動画像の再生を継続する。
誘導区間離脱直前の最終段階では、前述のように、3次元動画像内の案内看板の表示が消される。
In step 106, the guidance timing control unit checks whether or not the current position of the host vehicle has left the guidance section, for example, whether or not the vehicle has exited from the intersection to be guided. The check is repeated until the guidance section leaves, during which the moving image reproduction unit continues to reproduce the three-dimensional moving image.
In the final stage immediately before leaving the guidance section, the display of the guide signboard in the three-dimensional moving image is erased as described above.

自車両が誘導区間を離脱すると、ステップ107へ進み、動画像再生部は3次元動画像の再生を停止して、誘導画面を閉じる。
このあとはステップ100へ戻り、つぎの誘導区間に備えることとなる。
なお、本実施の形態では、上記フローチャートにおけるステップ102〜105が発明の動画像再生手段を構成している。
When the host vehicle leaves the guidance section, the process proceeds to step 107, where the moving image reproduction unit stops reproduction of the three-dimensional moving image and closes the guidance screen.
Thereafter, the process returns to step 100 to prepare for the next guidance section.
In the present embodiment, steps 102 to 105 in the above flowchart constitute the moving image reproducing means of the invention.

実施の形態は以上のように構成され、ディスプレイの地図上に走行経路を表示して目的地への経路案内を行い、交差点にかかる誘導区間において交差点の通過要領を案内する誘導画面を提示するナビゲーション装置において、誘導画面には交差点に走行経路の進路方向を示す案内看板を配置した3次元動画像を表示して、自車両の進行に伴い画面内の案内看板が接近するようにしたナビゲーション装置としたので、当該交差点でどのように進路をとるべきかを誘導画面上で容易、確実に認識することができる。   The embodiment is configured as described above, and displays a travel route on a map on the display to provide route guidance to a destination, and presents a guidance screen that guides the passage of the intersection in the guidance section at the intersection. In the apparatus, a navigation device that displays a three-dimensional moving image in which a guide sign indicating a traveling direction of a travel route is arranged at an intersection on the guidance screen so that the guide sign in the screen approaches as the host vehicle advances Therefore, it is possible to easily and reliably recognize how to take a course at the intersection on the guidance screen.

とくに、3次元動画像の交差点にも走行経路が表示され、案内看板はその走行経路上に配置することにより、交差点で曲がる際にも走行経路を辿ることがとくに容易となる。   In particular, the travel route is displayed at the intersection of the three-dimensional moving image, and the guidance signboard is arranged on the travel route, so that it is particularly easy to follow the travel route even when turning at the intersection.

また、3次元動画像には、案内看板とともに、自車両位置を示す自車マークが常時表示されるので、交差点までの距離感が継続的に得られ、余裕をもって交差点に進入することができる。
そして、3次元動画像の視点は交差点へ近づくにつれて高くなるよう設定されているので、交差点では、交差点における走行経路の形状を精度高く把握することができる。
なお、道路を横切る高架設備がある誘導区間については、視点が当該高架設備を交差点側へ越えるまではその下側を通過できる高さに抑えてあるので、誘導画面上高架設備の画像によって案内看板が隠されてしまうことが防止される。
In addition, since the own vehicle mark indicating the position of the own vehicle is always displayed in the three-dimensional moving image together with the guidance signboard, a sense of distance to the intersection can be continuously obtained, and the intersection can be entered with a margin.
And since the viewpoint of a three-dimensional moving image is set so that it may become high as it approaches an intersection, the shape of the driving | running route in an intersection can be grasped | ascertained with high precision at an intersection.
In addition, for the guidance section where there is an elevated facility that crosses the road, the point of view is limited to a height that can pass below the elevated facility until it crosses the intersection. Is prevented from being hidden.

また、道路のカーブにより、案内看板が3次元動画像の視野範囲に入らない場合、3次元動画像の視野方向を案内看板側へ向けるとともに、3次元動画像の視点を交差点までの走行経路全体が見える高さに設定するので、常時案内看板を誘導画面上に見ることができる。
さらに、道路のカーブにより、3次元動画像における案内看板が建物に隠される場合も、当該建物を透過表示または非表示とすることにより、常時案内看板を誘導画面上に見ることができる。
Also, if the guide sign does not fall within the field of view of the 3D moving image due to the curve of the road, the viewing direction of the 3D moving image is directed toward the guide sign and the entire travel route from the 3D moving image to the intersection Since the height is set so that can be seen, the guidance signboard can be seen on the guidance screen at all times.
Furthermore, even when a guide signboard in a three-dimensional moving image is hidden in a building due to a road curve, the guide signboard can always be seen on the guidance screen by making the building transparent or non-displayable.

つぎに実施の形態の変形例について説明する。
走行経路が交差点で曲がる場合、実施の形態では交差点に表示された走行経路の接線に対して交差点の中心から下ろした垂線が当該接線と交わる点に案内看板を配置したが、これに対して、案内看板の配置を変更したものである。
すなわち、車線幅、右左折専用車線の有無、見通しの程度の違いなどにより、案内看板が交差点内の中央寄りでは曲がるタイミングの判断が遅くなる環境においては、案内看板はより手前にあるのが好ましい。
Next, a modification of the embodiment will be described.
When the travel route bends at the intersection, in the embodiment, the guide sign is arranged at the point where the perpendicular drawn from the center of the intersection with the tangent of the travel route displayed at the intersection intersects the tangent, The arrangement of the signboards has been changed.
That is, in an environment where the judgment of the timing of turning at the center of the intersection is delayed due to the lane width, the presence / absence of a right / left turn lane, the degree of visibility, etc., it is preferable that the guidance sign be closer to the front. .

そこで、変形例では、図11に示すように、交差点の中心PCから下ろした垂線が走行経路Sと交わる点Pから、走行経路Sにそって所定距離だけ手前にオフセットした点PAの位置に案内看板Aを配置するものとした。
このオフセット量Lとしては、案内看板Aが例えば交差点の停止線49附近となるように設定するのが望ましいが、このほかY字路、5差路など交差点の種別やどの接続道路へ曲がるのかに応じた曲がり開始位置や曲率など走行経路の特性に応じて、調整することができる。
Therefore, in the modified example, as shown in FIG. 11, guidance is made from the point P where the perpendicular line dropped from the intersection center PC intersects the travel route S to the position of the point PA offset by a predetermined distance along the travel route S. The signboard A was placed.
The offset amount L is preferably set so that the signboard A is, for example, near the intersection stop line 49, but in addition to the type of intersection such as a Y-junction, a five-way difference, and which connecting road to turn to It can be adjusted according to the characteristics of the travel route such as the corresponding start position and curvature.

この変形例によれば、交差点や走行経路の特性に応じて、より手前の位置に案内看板Aを見ることになり、その案内に従った進路変更等の準備が早い段階で始められる。   According to this modification, the guide sign A is viewed at a position closer to the front according to the characteristics of the intersection and the travel route, and preparations such as a course change according to the guide are started at an early stage.

なお、実施の形態では交差点を直進する場合にも、案内看板を表示するものとしたが、走行経路が交差点で曲がる場合だけ案内看板を表示するようにしてもよい。
3次元動画像内の案内看板のサイズは例示のものに限定されず、任意に設定できる。
また、誘導区間も例として交差点の手前300mぐらいからとしたが、道路形状や交差点の特性に応じて適宜に設定される。
In the embodiment, the guidance signboard is displayed even when going straight at the intersection. However, the guidance signboard may be displayed only when the travel route turns at the intersection.
The size of the guide signboard in the three-dimensional moving image is not limited to that illustrated, and can be arbitrarily set.
In addition, the guidance section is set to be about 300 m before the intersection as an example, but is appropriately set according to the road shape and the characteristics of the intersection.

実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of embodiment. 誘導画面を表示したディスプレイを示す図である。It is a figure which shows the display which displayed the guidance screen. 3次元動画像の視点の変化を示す説明図である。It is explanatory drawing which shows the change of the viewpoint of a three-dimensional moving image. 視点移動テーブル例を示す図である。It is a figure which shows an example of a viewpoint movement table. 視点の具体的な設定例を示す図である。It is a figure which shows the specific example of a viewpoint setting. 誘導区間で建物が交差点を隠す例を示す説明図である。It is explanatory drawing which shows the example which a building hides an intersection in a guidance area. カーブのため交差点が視野範囲に入らない例を示す説明図である。It is explanatory drawing which shows the example which an intersection does not enter into a visual field range because of a curve. 交差点における案内看板の配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the guidance signboard in an intersection. 交差点に近づいた時点での交差点まわりの画像例である。It is an example of an image around the intersection when approaching the intersection. 誘導画面の制御の流れを示すフローチャートである。It is a flowchart which shows the flow of control of a guidance screen. 変形例における案内看板の配置を示す図である。It is a figure which shows arrangement | positioning of the guidance signboard in a modification.

符号の説明Explanation of symbols

10 処理装置
12 経路探索部
14 経路案内部
16 誘導タイミング制御部
18 動画像再生部
21 操作入力部
22 現在位置検出部
23 地図情報記憶部
24 動画像データ格納部
25 ディスプレイ
26 スピーカ
30 平面地図
40 誘導画面
42 車線別マーク
44 交差点
46、47 建物
A 案内看板
E 視点
G 3次元動画像
M 自車マーク
PC 交差点の中心
Q 誘導区間
S、S1、S2 走行経路
W 有効範囲
DESCRIPTION OF SYMBOLS 10 Processing apparatus 12 Route search part 14 Route guidance part 16 Guidance timing control part 18 Moving image reproduction part 21 Operation input part 22 Current position detection part 23 Map information memory | storage part 24 Moving image data storage part 25 Display 26 Speaker 30 Plane map 40 Guidance Screen 42 Mark according to lane 44 Intersection 46, 47 Building A Information signboard E Viewpoint G 3D video M Car mark PC Center of intersection Q Guidance section S, S1, S2 Travel route W Effective range

Claims (7)

ディスプレイの地図上に走行経路を表示して目的地への経路案内を行い、交差点にかかる誘導区間において交差点の通過要領を案内する誘導画面を提示するナビゲーション装置において、
前記誘導画面に誘導区間の3次元動画像を表示する動画像再生手段と、
前記3次元動画像の交差点位置に、前記交差点に対して所定の高さおよび所定のサイズを有する進路方向案内用の案内看板が、進路方向を示す面が自車両側に向くような態様で前記交差点上に配置されているように、前記案内看板の画像を重畳する案内看板重畳手段と、を備え、
前記動画像再生手段は、自車両が前記交差点に近づくにしたがって、前記交差点に配置された案内看板が自車両に接近してくるように次第に大きな像へ変化して表示することを特徴とするナビゲーション装置。
In a navigation device that displays a driving route on a map on a display and performs route guidance to a destination, and presents a guidance screen that guides the passage of an intersection in a guidance section at an intersection,
Moving image reproduction means for displaying a three-dimensional moving image of the guidance section on the guidance screen ;
In a manner in which a signboard for guidance in a course direction having a predetermined height and a predetermined size with respect to the intersection is located at the intersection position of the three-dimensional moving image, the surface indicating the course direction faces the host vehicle side. A signboard superimposing means for superimposing an image of the signboard as disposed on the intersection ,
The moving image reproduction means displays the information by gradually changing to a larger image so that a guide sign placed at the intersection approaches the own vehicle as the own vehicle approaches the intersection. apparatus.
前記3次元動画像の交差点にも走行経路が表示され、前記案内看板は前記走行経路上に配置されていることを特徴とする請求項1に記載のナビゲーション装置。   The navigation apparatus according to claim 1, wherein a travel route is also displayed at an intersection of the three-dimensional moving images, and the guide signboard is arranged on the travel route. 前記3次元動画像には、前記案内看板とともに、自車両位置を示す自車マークが常時表示されることを特徴とする請求項1または2に記載のナビゲーション装置。   The navigation apparatus according to claim 1, wherein a vehicle mark indicating a vehicle position is always displayed on the three-dimensional moving image together with the guidance signboard. 3次元動画像の視点は、交差点へ近づくにつれて高くなるよう設定されるとともに、道路を横切る高架設備がある誘導区間については、視点が当該高架設備を交差点側へ越えるまではその下側を通過できる高さに抑えてあることを特徴とする請求項1から3のいずれか1に記載のナビゲーション装置。   The viewpoint of the 3D video is set so as to increase as it approaches the intersection, and for the guidance section where there is an elevated facility that crosses the road, it can pass below until the viewpoint crosses the elevated facility toward the intersection. The navigation device according to any one of claims 1 to 3, wherein the navigation device is suppressed to a height. 道路のカーブにより、前記案内看板が3次元動画像の視野範囲に入らない場合、3次元動画像の視野方向を前記案内看板側へ向けるとともに、3次元動画像の視点を交差点までの走行経路全体が見える高さに設定することを特徴とする請求項1から4のいずれか1に記載のナビゲーション装置。   If the guide sign does not fall within the field of view of the 3D moving image due to a curve of the road, the viewing direction of the 3D moving image is directed toward the guide sign and the entire travel route from the viewpoint of the 3D moving image to the intersection The navigation apparatus according to any one of claims 1 to 4, wherein the navigation apparatus is set to a height at which the object can be seen. 道路のカーブにより、3次元動画像における前記案内看板が建物に隠される場合、当該建物を透過表示または非表示とすることを特徴とする請求項1から5のいずれか1に記載のナビゲーション装置。   The navigation apparatus according to any one of claims 1 to 5, wherein when the guide signboard in the three-dimensional moving image is hidden in a building by a road curve, the building is transparently displayed or hidden. ディスプレイの地図上に走行経路を表示して目的地への経路案内を行い、交差点にかかる誘導区間において交差点の通過要領を案内する誘導画面を提示するナビゲーション装置において、
前記誘導画面には交差点位置に、前記交差点に対して所定の高さおよび所定のサイズを有する進路方向案内用の案内看板が、進路方向を示す面が自車両側に向くような態様で前記交差点上に配置されているように、前記案内看板の画像を重畳した3次元動画像を表示して、自車両が前記交差点に近づくにしたがって、前記交差点に配置された案内看板が自車両に接近してくるように次第に大きな像へ変化して表示することを特徴とするナビゲーション装置の誘導画面提示方法。
In a navigation device that displays a driving route on a map on a display and performs route guidance to a destination, and presents a guidance screen that guides the passage of an intersection in a guidance section at an intersection,
The guidance screen has a guide sign for a route direction having a predetermined height and a predetermined size with respect to the intersection at an intersection position in such a manner that the surface indicating the route direction faces the vehicle side. As shown above, the three-dimensional moving image on which the image of the guide signboard is superimposed is displayed, and as the own vehicle approaches the intersection, the guide signboard arranged at the intersection approaches the own vehicle. A method for presenting a guidance screen for a navigation device, wherein the display gradually changes to a larger image and is displayed .
JP2006304236A 2006-11-09 2006-11-09 Navigation device Expired - Fee Related JP4946368B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006304236A JP4946368B2 (en) 2006-11-09 2006-11-09 Navigation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006304236A JP4946368B2 (en) 2006-11-09 2006-11-09 Navigation device

Publications (2)

Publication Number Publication Date
JP2008122150A JP2008122150A (en) 2008-05-29
JP4946368B2 true JP4946368B2 (en) 2012-06-06

Family

ID=39507067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006304236A Expired - Fee Related JP4946368B2 (en) 2006-11-09 2006-11-09 Navigation device

Country Status (1)

Country Link
JP (1) JP4946368B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2459440T3 (en) * 2008-07-11 2014-05-09 Tomtom Global Content B.V. Apparatus and method for presenting a crossing view
JP5353780B2 (en) * 2010-03-16 2013-11-27 アイシン・エィ・ダブリュ株式会社 Display control apparatus, method and program
JP2012242292A (en) * 2011-05-20 2012-12-10 Alpine Electronics Inc Navigation device, control method, and program
JP6015227B2 (en) * 2012-08-10 2016-10-26 アイシン・エィ・ダブリュ株式会社 Intersection guidance system, method and program
JP6015228B2 (en) * 2012-08-10 2016-10-26 アイシン・エィ・ダブリュ株式会社 Intersection guidance system, method and program
JP5935636B2 (en) 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 Intersection guidance system, method and program
GB201318049D0 (en) * 2013-10-11 2013-11-27 Tomtom Int Bv Apparatus and methods of displaying navigation instructions
CN106931988A (en) * 2015-12-30 2017-07-07 易图通科技(北京)有限公司 Show the true three-dimensional navigation method and system of guideboard
CN113722937B (en) * 2021-10-29 2022-03-18 深圳市城市交通规划设计研究中心股份有限公司 Method for setting guide mark, computer and storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160434B2 (en) * 1993-08-31 2001-04-25 アルパイン株式会社 Driving guide image display method for car navigation system
JP3534180B2 (en) * 1995-03-27 2004-06-07 富士通テン株式会社 Route guidance device for vehicles
JP3447900B2 (en) * 1996-09-13 2003-09-16 アルパイン株式会社 Navigation device
JP3492887B2 (en) * 1997-07-29 2004-02-03 株式会社日立製作所 3D landscape map display method
EP1008834B1 (en) * 1998-06-12 2009-11-25 Mitsubishi Denki Kabushiki Kaisha Navigation device
JP3908419B2 (en) * 1999-09-14 2007-04-25 アルパイン株式会社 Navigation device
JP3812632B2 (en) * 2000-04-27 2006-08-23 アイシン・エィ・ダブリュ株式会社 Road map display device and recording medium
JP4711502B2 (en) * 2000-12-12 2011-06-29 富士通テン株式会社 Overhead map creation method and navigation system
JP3745235B2 (en) * 2001-03-02 2006-02-15 三菱電機株式会社 Route guidance device and route guidance method
JP3568159B2 (en) * 2001-03-15 2004-09-22 松下電器産業株式会社 Three-dimensional map object display device and method, and navigation device using the method
JP4070507B2 (en) * 2002-05-17 2008-04-02 アルパイン株式会社 Three-dimensional map display method and navigation device
JP3936885B2 (en) * 2002-05-17 2007-06-27 アルパイン株式会社 3D map display method and 3D map display device
JP2006214999A (en) * 2005-02-07 2006-08-17 Denso Corp Navigation system for vehicle

Also Published As

Publication number Publication date
JP2008122150A (en) 2008-05-29

Similar Documents

Publication Publication Date Title
JP4946368B2 (en) Navigation device
CN101297177B (en) Navigation system
JP4333704B2 (en) Navigation device
US6356840B2 (en) Navigation device with a three dimensional display
JP2006313144A (en) Route guide device and program
CN101097153A (en) Navigation apparatuses
JP3921095B2 (en) Navigation device
JP2006113047A (en) On-vehicle electronic device
JP2008014754A (en) Navigation apparatus
JP2009236843A (en) Navigation device, navigation method, and navigation program
KR100839578B1 (en) Vehicle Navigation Apparatus and Method of Controlling Image-based Route Guidance
JP2023012793A (en) Superimposed image display device
JP2000112343A (en) Three-dimensional display method for navigation, and navigation device
JP2007256048A (en) Navigation system
JP5304009B2 (en) Navigation device and guidance information presentation method
JP2006098225A (en) Navigation apparatus
JP4472423B2 (en) Navigation device
CN102288196B (en) Navigation unit
JP7476568B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
JP5383240B2 (en) Intersection voice guidance method and in-vehicle navigation device
KR20070067051A (en) Method for guiding optimum lane in navigation and system therefor
JPH0996540A (en) Path-guiding device for vehicle
JP7400356B2 (en) Superimposed image display device and computer program
JP2021076415A (en) Superimposed image display apparatus and computer program
JP2023064957A (en) Superimposed image display device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100209

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees