JP4900599B2 - Navigation device - Google Patents

Navigation device Download PDF

Info

Publication number
JP4900599B2
JP4900599B2 JP2007199410A JP2007199410A JP4900599B2 JP 4900599 B2 JP4900599 B2 JP 4900599B2 JP 2007199410 A JP2007199410 A JP 2007199410A JP 2007199410 A JP2007199410 A JP 2007199410A JP 4900599 B2 JP4900599 B2 JP 4900599B2
Authority
JP
Japan
Prior art keywords
intersection
image
navigation device
imaging
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007199410A
Other languages
Japanese (ja)
Other versions
JP2009036566A (en
Inventor
亮 渡邉
祐一 安部
一博 山根
知之 吉村
憲 酒井
智昭 前田
利至 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Tottori Sanyo Electric Co Ltd
Sanyo Electric Co Ltd
Sanyo Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007199410A priority Critical patent/JP4900599B2/en
Application filed by Tottori Sanyo Electric Co Ltd, Sanyo Electric Co Ltd, Sanyo Consumer Electronics Co Ltd filed Critical Tottori Sanyo Electric Co Ltd
Priority to CN200880020471A priority patent/CN101688777A/en
Priority to CN2011104448719A priority patent/CN102589564A/en
Priority to US12/596,722 priority patent/US8374779B2/en
Priority to KR1020117014390A priority patent/KR20110079782A/en
Priority to PCT/JP2008/063504 priority patent/WO2009017085A1/en
Priority to KR1020097023458A priority patent/KR101057245B1/en
Publication of JP2009036566A publication Critical patent/JP2009036566A/en
Application granted granted Critical
Publication of JP4900599B2 publication Critical patent/JP4900599B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、交差点において撮像された実写画像を表示するナビゲーション装置に関するものであり、特に、交差点を曲がった後の進行方向前方の実写画像を記憶して交差点を曲がる前に当該実写画像を表示するナビゲーション装置に関するものである。   The present invention relates to a navigation device that displays a photographed image taken at an intersection, and in particular, stores a photographed image ahead in the direction of travel after turning an intersection and displays the photographed image before turning an intersection. The present invention relates to a navigation device.

従来から、車両に標準装備のナビゲーション装置、携帯可能で任意の車両やオートバイまた歩行時にも使用可能なポータブルナビゲーション装置などが市販されている。また、ナビゲーション機能を搭載した携帯電話装置も市販されている。   Conventionally, navigation devices that are standard on vehicles, portable navigation devices that are portable and can be used on any vehicle, motorcycle, or walking are commercially available. Mobile phone devices equipped with a navigation function are also commercially available.

これらのナビゲーション装置は種々の方法で交差点において進行方向を案内している。一般的な方法は、現在位置から目的地までの経路を予め設定し、曲がるべき交差点に所定距離近づいたときに、例えば、交差点を拡大表示すると共に「約50m先の交差点を右折します。」と音声報知する。   These navigation devices guide the traveling direction at intersections in various ways. The general method is to set a route from the current position to the destination in advance, and when approaching a certain distance from the intersection to bend, for example, display an enlarged intersection and “turn right at the intersection about 50 m ahead.” Voice notification.

他の方法として、特許文献1(特開平9−14976号公報)には、キー操作に基づいて前方の交差点を撮像して交差点の座標と共に記憶し、次にその交差点が近づいたら撮像を表示することが開示されている。また、他の方法として、特許文献2(特開2006−221362号公報)には、キー操作でなく、方向指示器に基づいて前方の交差点を撮像して、次にその交差点が近づいたら撮像を表示することが開示されている。
特開平9−14976号公報 特開2006−221362号公報
As another method, Japanese Patent Application Laid-Open No. 9-14976 discloses an image of a front intersection based on a key operation and stores it along with the coordinates of the intersection, and then displays the image when the intersection approaches. It is disclosed. As another method, in Patent Document 2 (Japanese Patent Laid-Open No. 2006-221362), a front intersection is imaged based on a direction indicator instead of a key operation, and then the image is captured when the intersection approaches. Displaying is disclosed.
Japanese Patent Laid-Open No. 9-14976 JP 2006-221362 A

しかしながら、交差点近傍の見通しが悪いときは曲折する前に曲折後の光景を確認することができない。例えば、行きたい店の住所、電話番号がわからずに目的地の設定ができない。次の交差点の左右どちらかにその店があるが、どちらか忘れた、というときに右折か左折かして見なければわからなかった。また、昔、通ったことがあるが、この交差点は左右どちらか覚えていない。曲がって光景を見れば思い出すのだが、というときも右折か左折してみなければわからなかった。このために、曲折する前に曲折後の光景を知りたいという要望があった。   However, when the line of sight near the intersection is poor, it is not possible to confirm the sight after the turn before turning. For example, you cannot set the destination without knowing the address and telephone number of the store you want to go to. There is a store on either side of the next intersection, but when I forgot either, I had to turn right or left to see it. I've been there a long time ago, but I don't remember either this intersection. If you turn and look at the sight, you will remember it, but in that case you had to turn right or left to know. For this reason, there was a request to know the sight after the turn before turning.

本発明は上記の問題点に鑑みてなされたものであり、曲がる前に曲がった先の光景を表示するナビゲーション装置を提供することを目的とするものである。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a navigation device that displays a sight of a bent point before turning.

前記課題を解決するために、本願請求項1に係る発明は、地図を記憶する第1記憶手段と、表示手段と、前記地図を前記表示手段に表示させる制御手段と、撮像手段によって撮像された交差点を曲がった先の進行方向前方の実写画像と、該実写画像と前記交差点の位置関係情報を関連付けて記憶する第2記憶手段を備え、前記制御手段が、前記移動体が前記交差点に到達する前に、前記第2記憶手段に記憶された実写画像を、前記表示手段の表示領域のうち前記位置関係情報に対応した表示領域に表示させるナビゲーション装置において、前記ナビゲーション装置は、さらに移動体に設けられた方向指示器のON/OFFを検出する検出手段と、前記移動体の進行方向後方を撮像する撮像手段と、を備え、前記制御手段は、前記検出手段の検出結果に基づいて前記撮像手段に前記交差点に到達する前の進行方向後方の実写画像を撮像させ、前記撮像手段によって撮像された実写画像を前記第2記憶手段に記憶させ、前記交差点を曲がらずに直進した場合に、前記撮像手段によって撮像されて前記第2記憶手段に記憶された当該交差点に到達する前の進行方向後方の実写画像を消去することを特徴とする。   In order to solve the above-mentioned problem, the invention according to claim 1 of the present application is imaged by first storage means for storing a map, display means, control means for displaying the map on the display means, and imaging means. A real image ahead of the direction of travel ahead of the intersection and second storage means for storing the real image and the positional relationship information of the intersection in association with each other, and the control means reaches the intersection In the navigation device that displays the photographed image previously stored in the second storage unit in a display region corresponding to the positional relationship information in the display region of the display unit, the navigation device is further provided on the moving body. Detection means for detecting ON / OFF of the indicated direction indicator, and imaging means for imaging the rear of the moving body in the traveling direction, and the control means detects the detection means. Based on the result, the image pickup means is caused to pick up a real image in the rearward direction of travel before reaching the intersection, the real image taken by the image pickup means is stored in the second storage means, and the intersection is not bent. When the vehicle travels straight, the photographed image captured by the imaging unit and stored in the second storage unit is erased from the real photographed image behind the traveling direction before reaching the intersection.

また、本願請求項2に係る発明は、前記制御手段は、前記第2撮像手段による撮像を有効あるいは無効とするためのON/OFFモードの切替えを行い、ONモードのときに後方を撮像させることを特徴とする。   Further, in the invention according to claim 2 of the present application, the control means performs ON / OFF mode switching for enabling or disabling the imaging by the second imaging means, and causes the rear to be imaged in the ON mode. It is characterized by.

また、本願請求項3に係る発明は、前記制御手段は、前記交差点を曲がった場合に、前記第2記憶手段に記憶された実写画像の表示を当該交差点を曲がってから所定のポイントまで継続させることを特徴とする。   Further, in the invention according to claim 3 of the present application, when the control unit is bent at the intersection, the display of the photographed image stored in the second storage unit is continued to the predetermined point after bending the intersection. It is characterized by that.

また、本願請求項4に係る発明は、前記ナビゲーション装置は、再生キーを備え、前記制御手段は、前記再生キーが操作されると前記第2記憶手段に記憶された交差点の
実写画像を表示させることを特徴とする。
Further, in the invention according to claim 4 of the present application, the navigation device includes a reproduction key, and the control means displays a live-action image of the intersection stored in the second storage means when the reproduction key is operated. It is characterized by that.

また、本願請求項5に係る発明は、前記制御手段は、前記交差点を曲がった場合に、前記実写画像と関連付けて当該交差点を曲がった際の進行方向および当該交差点を曲がった際の進行方向とは正反対の方向を前記第2記憶手段に記憶させ、前記実写画像を表示するときに当該交差点を曲がった際の進行方向または進行方向とは正反対の方向を前記表示手段に表示させることを特徴とする。   Further, in the invention according to claim 5 of the present application, when the control unit is bent at the intersection, a traveling direction when the intersection is bent in association with the photographed image and a traveling direction when the intersection is bent. Stores the opposite direction in the second storage means and causes the display means to display the traveling direction when turning the intersection or the direction opposite to the traveling direction when displaying the photographed image. To do.

本願発明において、制御手段は、前記交差点を曲がらずに直進した場合に、撮像手段によって撮像されて第2記憶手段に記憶された当該交差点に到達する前の進行方向後方の実写画像を消去する。   In the present invention, when the control unit goes straight without turning at the intersection, the control unit erases the photographed image captured by the imaging unit and stored in the second storage unit at the rear in the traveling direction before reaching the intersection.

これにより、曲がらずに直進した交差点に対して、不要な写実画像の記憶を防止することができる。   As a result, it is possible to prevent unnecessary real images from being stored at intersections that go straight without turning.

また、制御手段は、前記第2撮像手段による撮像を有効あるいは無効とするためのON/OFFモードの切替えを行い、ONモードのときに後方を撮像させる。   Further, the control means performs switching of the ON / OFF mode for enabling or disabling the imaging by the second imaging means, and causes the rear to be imaged in the ON mode.

これにより、後方を撮像する交差点を使用者が指定することができ、不要な写実画像の撮像を防止することができる。   As a result, the user can specify an intersection for imaging the rear, and it is possible to prevent unnecessary real images from being captured.

また、制御手段は、前記交差点を曲がった場合に、前記第2記憶手段に記憶された実写画像の表示を当該交差点を曲がってから所定のポイントまで継続させる。   Further, when the control unit bends the intersection, the control unit continues to display the photographed image stored in the second storage unit up to a predetermined point after bending the intersection.

これにより、記憶された実写画像と現状の光景を比較することができる。   As a result, the stored actual image and the current scene can be compared.

また、再生キーを備え、前記制御手段は、前記再生キーが操作されると前記第2記憶手段に記憶された交差点の実写画像を表示させる。   In addition, a playback key is provided, and the control means displays a live-action image of the intersection stored in the second storage means when the playback key is operated.

これにより、使用者は第2記憶手段に記憶された交差点の実写画像が以前その交差点を曲がったときに目にした光景であることを知ることができる。特に、使用者が以前と同じ方向に曲がりたいとき、表示される実写画像が1つのみであるときは、表示されている実写画像が実際に見える方向に曲がればよい。   Thus, the user can know that the photographed image of the intersection stored in the second storage means is a sight seen when the intersection is bent before. In particular, when the user wants to turn in the same direction as before, when only one live-action image is displayed, it is only necessary to bend in the direction in which the displayed real-action image is actually visible.

また、制御手段は、前記交差点を曲がった場合に、前記実写画像と関連付けて当該交差点を曲がった際の進行方向および当該交差点を曲がった際の進行方向とは正反対の方向を前記第2の記憶手段に記憶させ、前記実写画像を表示するときに当該交差点を曲がった際の進行方向または進行方向とは正反対の方向を前記表示手段に表示させる。   In addition, when the intersection is bent, the control unit associates the second storage with a traveling direction when the intersection is bent in association with the photographed image and a direction opposite to the traveling direction when the intersection is bent. And the display means displays a traveling direction when the intersection is bent or a direction opposite to the traveling direction when the photographed image is displayed.

これにより、使用者は交差点を曲がる前に、交差点を曲がった後の進行方向前方の実写画像とともに当該実写画像が実際に見えるために当該交差点をどちらの方向に曲がるべきかを示す方向を確認することができる。   As a result, before turning the intersection, the user confirms the direction indicating the direction in which the intersection should be bent in order for the photographed image to be actually seen together with the photographed image ahead of the direction of travel after turning the intersection. be able to.

本発明の実施の形態を、ナビゲーション装置を例に、図面に基づき説明する。但し、以下に示す実施形態は、本発明の技術思想を具体化するためのナビゲーション装置を例示するものであって、本発明をこのナビゲーション装置に特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のものも等しく適応し得るものである。   An embodiment of the present invention will be described with reference to the drawings, taking a navigation device as an example. However, the embodiment shown below exemplifies a navigation device for embodying the technical idea of the present invention, and is not intended to identify the present invention as this navigation device, and claims Other embodiments within the scope are equally applicable.

図1は実施例1のナビゲーション装置1の要部の構成を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration of a main part of the navigation device 1 according to the first embodiment.

GPS(Global Positioning System)測位手段11は複数のGPS衛星からの位置情報の電波を受信して現在位置を演算し、演算した減算位置のデータを後述の制御回路10に出力する。方位センサ12は地磁気によって方位を検出し制御回路10に出力する。車速センサは回転や加速度により移動速度を検出して制御回路10に出力する。HDD記録再生手段14はHDD(ハードディスクドライブ)を有し、地図情報141や撮像(実写画像)142の記録・再生を行う。地図情報は道路や交差点などの地図データ他、ガソリンスタンドや名所旧跡などのデータも含んでいる。   GPS (Global Positioning System) positioning means 11 receives radio waves of position information from a plurality of GPS satellites, calculates the current position, and outputs the calculated subtraction position data to a control circuit 10 described later. The direction sensor 12 detects the direction by geomagnetism and outputs it to the control circuit 10. The vehicle speed sensor detects the moving speed based on rotation and acceleration and outputs it to the control circuit 10. The HDD recording / reproducing means 14 has an HDD (hard disk drive), and records / reproduces the map information 141 and the captured image (actual image) 142. The map information includes map data such as roads and intersections, as well as data such as gas stations and historic sites.

カメラ(前方)15は車両の前方を撮像して制御回路10に出力する。カメラ(後方)16は車両の後方を撮像して制御回路10に出力する。カメラ(前方)15及びカメラ(後方)16はいずれも光景を静止画(実写画像)で撮像するが、動画を撮像する機能も備えている。音声合成回路17は制御回路10が指定する文字の音声を生成して制御回路10に出力する。表示部18は現在位置を重畳した地図や撮像を表示する。   The camera (front) 15 images the front of the vehicle and outputs it to the control circuit 10. The camera (rear) 16 images the rear of the vehicle and outputs it to the control circuit 10. Each of the camera (front) 15 and the camera (rear) 16 captures a scene as a still image (actual image), but also has a function of capturing a moving image. The voice synthesizing circuit 17 generates voices of characters designated by the control circuit 10 and outputs them to the control circuit 10. The display unit 18 displays a map or an image with the current position superimposed.

スピーカ19は制御回路10の制御により音声合成回路17が生成した音声を出力する。操作部20は撮像モードのON/OFFを操作する撮像キー201他、ナビゲーションの操作を行う種々のキー(図示せず。)を備える。制御回路10はROM21に記憶されるプログラムより各部を制御する。RAM22は制御回路10の動作に必要な情報を記憶する。   The speaker 19 outputs the voice generated by the voice synthesis circuit 17 under the control of the control circuit 10. The operation unit 20 includes various keys (not shown) for performing navigation operations in addition to the imaging key 201 for operating ON / OFF of the imaging mode. The control circuit 10 controls each unit from a program stored in the ROM 21. The RAM 22 stores information necessary for the operation of the control circuit 10.

次に制御回路10の現在位置検出について説明する。車両のイグニッションスイッチ(図示せず。)のONにより、ナビゲーション装置が起動すると、制御回路10はHDD記録再生手段13に記憶された地図を呼び出して表示部18に表示させる。そして、GPS測位手段11より現在位置のデータを受信する。現在位置のデータを受信してから現在位置を表示するまでの時間は、最初は数秒かかるが、以降は1秒毎に現在位置を更新する。   Next, the current position detection of the control circuit 10 will be described. When the navigation device is activated by turning on an ignition switch (not shown) of the vehicle, the control circuit 10 calls a map stored in the HDD recording / reproducing means 13 and displays it on the display unit 18. Then, the current position data is received from the GPS positioning means 11. The time from receiving the current position data to displaying the current position initially takes several seconds, but thereafter, the current position is updated every second.

制御回路10は受信した現在位置を地図に重畳して表示させる。現在位置を地図に重畳するときは、GPS測位手段11から受信した現在位置がHDD記録再生手段14から読み出した地図の最も近い道路上になるように、現在位置を道路上に表示させる。これをマップマッチングという。   The control circuit 10 displays the received current position superimposed on the map. When the current position is superimposed on the map, the current position is displayed on the road so that the current position received from the GPS positioning means 11 is on the road closest to the map read from the HDD recording / reproducing means 14. This is called map matching.

現在位置は1秒毎の間欠受信をするので、現在位置を受信しない間は、方位センサ12と車速センサ13で現在位置を補間する。特に、車両が曲折する(交差点などを右方向や左方向などに曲がる)ときの位置移動は方位センサに基づくところが大きい。   Since the current position is intermittently received every second, the current position is interpolated by the direction sensor 12 and the vehicle speed sensor 13 while the current position is not received. In particular, the position movement when the vehicle bends (turns an intersection or the like to the right or left) is largely based on the direction sensor.

次に経路案内について説明する。
経路案内を行うにはまず、目的地が設定されなければならない。最も一般的な目的地の設定方法は、操作部20を介して地図を拡大、縮小、スクロールさせて、目的地となる地点にカーソルを合わせ、これを目的地として登録操作する。他の方法として、目的地の名称(例えば、富士山)がわかっている場合、あるいは目的地の種別(例えば、レストラン)がわかって場合はキーワードや種別の検索で目的地を設定することができる。また、住所や電話番号がわかっている場合はこれから目的地を設定することができる。
Next, route guidance will be described.
In order to provide route guidance, a destination must first be set. The most common destination setting method is to enlarge, reduce, or scroll the map via the operation unit 20, move the cursor to a destination point, and register this as a destination. As another method, when the name of the destination (for example, Mt. Fuji) is known, or when the type of the destination (for example, restaurant) is known, the destination can be set by searching for keywords or types. If the address or telephone number is known, the destination can be set.

目的地が設定されると、制御回路10は、所定の条件に基づいて現在位置から目的地までの最適な経路を求める。その条件は使用者が設定するものであり、最短距離や、最短時間や、有料道路を除くなど、種々の条件がある。   When the destination is set, the control circuit 10 obtains an optimum route from the current position to the destination based on a predetermined condition. The conditions are set by the user, and there are various conditions such as the shortest distance, the shortest time, and a toll road.

経路が設定されると、制御回路10は経路案内を開始する。例えば、制御回路10は、経路を区別できる色で表示し、目的地までに距離と到達予測時間を表示し、曲がるべき交差点に所定距離近付くと、音声合成回路17が生成した音声(例えば、「約50m先交差点を右に曲がります。」)をスピーカ19から出力させる。   When the route is set, the control circuit 10 starts route guidance. For example, the control circuit 10 displays the route in a color that can distinguish the route, displays the distance and the predicted arrival time to the destination, and approaches the predetermined distance to the intersection to be turned, and generates the voice (for example, “ Turn right at the intersection about 50 m ahead. ”) Is output from the speaker 19.

図2は実施例1の制御回路10の撮像・表示処理を示すフローチャートである。
制御回路10は制御回路10内部のレジスタに変数Aを記憶する。A=0のときは撮像モードをOFFとみなし、A=1のときは撮像モードをONとみなす。初期は変数Aを0(撮像モードOFF)にする(ステップS1)。制御回路10は撮像キー201が押下される度に(ステップS2のY)、変数Aを“1”、“0”切り替える(ステップS3〜S5)ことにより、撮像モードをON/OFF切り替える。
FIG. 2 is a flowchart illustrating the imaging / display processing of the control circuit 10 according to the first embodiment.
The control circuit 10 stores the variable A in a register inside the control circuit 10. When A = 0, the imaging mode is regarded as OFF, and when A = 1, the imaging mode is regarded as ON. Initially, the variable A is set to 0 (imaging mode OFF) (step S1). Each time the imaging key 201 is pressed (Y in step S2), the control circuit 10 switches the imaging mode ON / OFF by switching the variable A to “1” and “0” (steps S3 to S5).

制御回路10は経路案内のとき(ステップS6のYes)、経路の曲折となる交差点の10m手前になると(ステップS7のYes)、カメラ(後方)16によって後方の光景を静止画像(実写画像)で撮像し、撮像した画像をその交差点の位置情報と関連付けてHDD記録再生手段14に記憶する(ステップS8)。撮像された後方の光景は現在の走行方向とは逆向き走行のときに表示される。   When the route is route guidance (Yes in step S6), the control circuit 10 is 10m before the intersection that turns the route (Yes in step S7), and the camera (rear) 16 converts the rear scene into a still image (actual image). The captured image is stored in the HDD recording / reproducing means 14 in association with the position information of the intersection (step S8). The captured rear scene is displayed when traveling in the direction opposite to the current traveling direction.

画像の記憶は、図3に示す如く、交差点の位置情報と関連付けて、光景の画像情報、撮像日時、進入方向、退出方向を記憶する。進入方向と退出方向は表示するときの方向であるので、後方の撮像の場合は進入方向と退出方向が逆になる。例えば、南から東へ右折しようとするときに撮像された後方の光景であれば、進入方向は東で退出方向は南の左折となる。また、撮像を記憶しようとするときに、交差点の位置情報、進入方向と退出方向が同じであれば、撮像日時の古い画像は新しい画像に書き替えられる。   As shown in FIG. 3, the image is stored in association with the position information of the intersection, the image information of the scene, the imaging date and time, the approach direction, and the exit direction. Since the approach direction and the exit direction are directions for display, the approach direction and the exit direction are reversed in the case of rearward imaging. For example, if it is a rear view imaged when making a right turn from south to east, the approach direction is east and the exit direction is south turn left. Further, when storing the image pickup, if the position information of the intersection and the approach direction and the exit direction are the same, the old image with the image pickup date and time is rewritten to a new image.

制御回路10は経路案内のとき(ステップS6のYes)、経路の曲折となる交差点の曲折を終了すると(ステップS9のYes)、カメラ(前方)15によって前方の光景を静止画像で撮像し、撮像した画像をその交差点の位置情報と関連付けてHDD記録再生手段14に記憶する(ステップS10)。このときナビゲーション装置1は、方位センサ12の検出により交差点を曲折し撮像ポイントに到達したと判定する。撮像された前方の光景は再びその交差点を走行するときに表示される。画像の記憶は、図3に示す如く、交差点の位置情報と関連付けて、光景の画像情報、撮像日時、進入方向、退出方向を記憶する。   When the route guidance (Yes in step S6) is completed, the control circuit 10 completes the turning of the intersection that becomes the turning of the route (Yes in step S9). The recorded image is stored in the HDD recording / reproducing means 14 in association with the position information of the intersection (step S10). At this time, the navigation device 1 determines that the intersection has been bent by the detection of the direction sensor 12 and has reached the imaging point. The imaged front scene is displayed again when traveling at the intersection. As shown in FIG. 3, the image is stored in association with the position information of the intersection, the image information of the scene, the imaging date and time, the approach direction, and the exit direction.

また、撮像を記憶しようとするときに、交差点の位置情報、進入方向と退出方向が同じであれば、撮像日時の古い画像は新しい画像に書き替えられる。尚、GPS測位手段11による現在位置の検出を方位センサ12と車速センサ13で補間した現在位置に基づいて曲折の終了を判断するが、交差点に入っての進行方向の向きを方位センサ12で検出することにより、曲折の終了を判断してもよい。これにより、間欠受信のGPSよりも高い精度で曲折を検出することができる。   Further, when storing the image pickup, if the position information of the intersection and the approach direction and the exit direction are the same, the old image with the image pickup date and time is rewritten to a new image. Note that the end of the turn is determined based on the current position detected by the GPS positioning means 11 using the direction sensor 12 and the vehicle speed sensor 13, but the direction sensor 12 detects the direction of the traveling direction after entering the intersection. By doing so, the end of the turn may be determined. Thereby, it is possible to detect the bending with higher accuracy than the intermittent reception GPS.

制御回路10は、経路案内でなくても(ステップS6のNo)、変数Aが1であれば(ステップS11のYes)、走行中の次の交差点10m手前になると(ステップS12のYes)、後方を撮像し、撮像した画像を交差点の位置情報と関連付けてRAM22に一次的に記憶する(ステップS13)。そして、後方を撮像した交差点を曲折することなく直進すると(ステップS14のYes)、一次的に記憶した後方の画像を本格的にHDD記録再生手段14に記憶することなく消去する(ステップ15)。これにより、不要な記憶を阻止することができる。   Even if the control circuit 10 is not route guidance (No in Step S6), if the variable A is 1 (Yes in Step S11), when the next intersection 10m before traveling (Yes in Step S12), the rear And the captured image is temporarily stored in the RAM 22 in association with the position information of the intersection (step S13). Then, if the vehicle travels straight ahead without turning at the intersection imaged behind (Yes in step S14), the temporarily stored rear image is erased without being stored in the HDD recording / reproducing means 14 in earnest (step 15). Thereby, unnecessary memory can be prevented.

ステップS13で後方を撮像した交差点の曲折を終了すると(ステップS16のYes)、後方の撮像を本格的に交差点の位置情報と関連付けてHDD記録再生手段14に記憶する(ステップ17)。また、カメラ(前方)15によって前方の光景を静止画像で撮像し、撮像した画像をその交差点の位置情報と関連付けて記憶する(ステップS18)。そして、変数Aを0に戻して(ステップS19)撮像モードをOFFにし、使用者が再び撮像したい交差点を指定することができる準備をする。   When the bend of the intersection imaged at the rear in step S13 is completed (Yes in step S16), the rear image is fully associated with the position information of the intersection and stored in the HDD recording / reproducing means 14 (step 17). The camera (front) 15 captures a front scene as a still image, and stores the captured image in association with the position information of the intersection (step S18). Then, the variable A is returned to 0 (step S19), the imaging mode is turned off, and preparations are made so that the user can specify the intersection that the user wants to image again.

制御回路10は、HDD記録再生手段14に記憶された光景の撮像の交差点30m手前からその交差点に辿り着くまで表示させる(ステップS20〜S23)。   The control circuit 10 displays the scene stored in the HDD recording / reproducing means 14 until it reaches the intersection from 30m before the intersection for imaging the scene (steps S20 to S23).

図4は光景の表示例を示す。HDD記録再生手段14に光景の画像が記憶されている交差点の30m手前に現在位置がなっており、光景を表示する。   FIG. 4 shows a display example of a scene. The current position is 30 meters before the intersection where the scene image is stored in the HDD recording / reproducing means 14, and the scene is displayed.

その光景は左右2つあり、左上に左折したときの画像が文字「左折」を重畳して表示され、右上に右折したときの画像が文字「右折」を重畳して表示される。尚、例えば、左折の画像しか記録されていないときは、左折方向は以前走行したことがある方向であるということを知ることができる。この作用効果を得るには、曲折方向を示せばよく、例えば、左右の文字を表示しなくても、右折は画面の右方向に表示し、左折は画面の左方向に表示させてもよい。さらに、音声で左右のいずれかを報知してもよい。   There are two left and right scenes. An image when turning left is displayed with the character “left turn” superimposed on the upper left, and an image when turning right is displayed with the character “right turn” superimposed on the upper right. For example, when only a left turn image is recorded, it can be known that the left turn direction is the direction in which the vehicle has traveled before. In order to obtain this function and effect, it is only necessary to indicate the direction of bending. For example, a right turn may be displayed on the right side of the screen and a left turn may be displayed on the left side of the screen without displaying left and right characters. Furthermore, you may alert | report either left or right with an audio | voice.

尚、曲折方向を全く示していなくても、曲折前に曲折後の光景の一部を使用者が見ることができれば、使用者はどちらの方向に曲折すれば表示されている光景になるのかを判断することができる。   Even if the bending direction is not shown at all, if the user can see a part of the scene after the bending before the bending, the user can determine which direction the bending will be displayed. Judgment can be made.

このように、本発明は交差点を曲折する前は後方の光景を記憶し(ステップS8+ステップS21、ステップS17+ステップS21)、交差点を曲折した後は前方の光景を記憶する(ステップS10+ステップS21、ステップS18+ステップS21)。そして、この記憶した光景(交差点付近の実写画像)をその交差点を曲折する前に前記光景を表示させる。   As described above, the present invention stores the rear scene before turning the intersection (step S8 + step S21, step S17 + step S21), and stores the front scene after bending the intersection (step S10 + step S21, step S21). S18 + step S21). The stored scene (actual image near the intersection) is displayed before the intersection is bent.

これにより、使用者は曲折する前に、曲折後の光景を確認することができ、間違った方向に曲折することを回避することができる。また、信号待ちのときはその時間で光景を確認することができる。尚、交差点付近の実写画像はDVD−RAMなどを用いて使用者外が作成した画像を使用することができるが、実施例1の如く、カメラ(前方)15、カメラ(後方)16を備えることで、光景のデータベースを自装置で作成するので、使用者に適した光景(実写画像)を記憶することができる。   Thereby, the user can confirm the sight after bending before bending, and can avoid bending in the wrong direction. Also, when waiting for a signal, the scene can be confirmed at that time. The photographed image outside the user using a DVD-RAM or the like can be used as the photographed image near the intersection. However, the camera (front) 15 and the camera (rear) 16 are provided as in the first embodiment. Thus, since the scene database is created by the own apparatus, a scene (actual image) suitable for the user can be stored.

また、本発明は交差点を曲折する前に後方の光景を記憶し(ステップS8+ステップS21、ステップS17+ステップS21)、この記憶した光景をその交差点を曲折する前に前記光景を表示させる。このように、前方の光景でなく、後方の光景を撮像することにより、復路でその撮像を表示することができる。   Further, the present invention stores a scene behind the vehicle before turning the intersection (step S8 + step S21, step S17 + step S21), and displays the stored scene before bending the intersection. In this way, by capturing an image of a rear view instead of a front view, the image can be displayed on the return path.

前方でなく、後方を撮像するときは曲折する交差点を特定することができないので全ての交差点について撮像しなければならない。しかしながら、本発明は、撮像キー201による撮像のON/OFFモードを設け、ONモードのとき(ステップS11のYes)に後方を撮像させる。これにより、後方を撮像する交差点を使用者が指定することができ、不要な撮像を禁止することができる。   When imaging not the front but the rear, it is not possible to specify the intersection at which it bends, so all the intersections must be imaged. However, according to the present invention, an imaging ON / OFF mode using the imaging key 201 is provided, and the rear side is imaged in the ON mode (Yes in step S11). As a result, the user can designate an intersection for imaging the rear, and unnecessary imaging can be prohibited.

また、本発明は、ステップS6のYesで示す如く、経路案内での曲折交差点について前記後方の撮像を行う。これにより、経路案内で付加情報として曲折後の光景を使用者に提示するできことができる。   Further, according to the present invention, as shown by Yes in step S6, the rear imaging is performed at the turning intersection in the route guidance. As a result, it is possible to present the user with a scene after turning as additional information in route guidance.

図5は実施例2のブロック図を示す。実施例1の図1と同様な構成については同一番号を付し、説明を省略する。実施例2の図5は実施例1の図1に方向指示器検出手段30を追加し、また、操作部31に再生キー311を追加したものである。方向指示器検出手段30はウィンカーの左右の操作を検出して制御回路10に出力する。再生キー311は使用者が所望するときに次の交差点の曲折後の光景を表示させる操作を行うキーである。   FIG. 5 shows a block diagram of the second embodiment. Components similar to those in FIG. 1 of the first embodiment are denoted by the same reference numerals, and description thereof is omitted. FIG. 5 of the second embodiment is obtained by adding a direction indicator detecting means 30 to FIG. 1 of the first embodiment and adding a reproduction key 311 to the operation unit 31. The direction indicator detection means 30 detects the left / right operation of the winker and outputs it to the control circuit 10. A reproduction key 311 is a key for performing an operation of displaying a scene after bending at the next intersection when the user desires.

図6は実施例2の制御回路10の撮像・表示処理を示すフローチャートである。図6のステップS1〜S4は実施例1の図2と同一処理であり、説明を省略する。   FIG. 6 is a flowchart illustrating the imaging / display processing of the control circuit 10 according to the second embodiment. Steps S1 to S4 in FIG. 6 are the same processes as those in FIG.

制御回路10は、経路案内であるとき(ステップS31のYes)あるいは変数Aが1(撮像モードON)であるとき(ステップS32のYes)に、ウィンカーがOFFからONにされれば(ステップS33のYes)、カメラ(後方)16によって後方の光景を静止画像(実写画像)で撮像し、撮像した画像をその交差点の位置情報と関連付けてHDD記録再生手段14に記憶する(ステップS34)。このとき、左右のいずれに曲折するのかは、GPS測位手段11や方位センサ12でなくウィンカーに基づいて判定することもできる。   If the turn signal is switched from OFF to ON (Step S33), the control circuit 10 determines that the route guidance is in place (Yes in Step S31) or the variable A is 1 (imaging mode ON) (Yes in Step S32). Yes), the rear scene is captured by the camera (rear) 16 as a still image (actual image), and the captured image is stored in the HDD recording / reproducing means 14 in association with the position information of the intersection (step S34). At this time, it can be determined based on the winker instead of the GPS positioning means 11 and the azimuth sensor 12 as to which of the left and right bends.

制御回路10は、経路案内であるとき(ステップS31のYes)あるいは変数Aが1(撮像モードON)であるとき(ステップS32のYes)に、ウィンカーがONからOFFにされれば(ステップS35のYes)、カメラ(前方)16によって前方の光景を静止画像で撮像し、撮像した画像をその交差点の位置情報と関連付けてHDD記録再生手段14に記憶する(ステップS36)。このとき、左右のいずれに曲折するのかは、GPS測位手段11や方位センサ12でなくウィンカーに基づいて判定することもできる。そして、変数Aが1であったときは(ステップS37のYes)、変数Aを0に戻して(ステップS38)撮像モードをOFFにし、使用者が再び撮像したい交差点を指定することができる準備をする。   If the turn signal is switched from ON to OFF (step S35), the control circuit 10 performs route guidance (Yes in step S31) or variable A is 1 (imaging mode ON) (Yes in step S32). Yes), the front scene is captured as a still image by the camera (front) 16, and the captured image is stored in the HDD recording / reproducing means 14 in association with the position information of the intersection (step S36). At this time, it can be determined based on the winker instead of the GPS positioning means 11 and the azimuth sensor 12 as to which of the left and right bends. If the variable A is 1 (Yes in step S37), the variable A is returned to 0 (step S38), the imaging mode is turned off, and the user can prepare for the intersection that the user wants to image again. To do.

制御回路10は、HDD記録再生手段14に記憶された光景の撮像の交差点30m手前からその交差点の曲折後20mまで表示させる(ステップS39〜S42)。このとき、その光景が右折か左折かを表示する。また、再生キー311が操作されれば(ステップS43のYes)、操作されたときから曲折する交差点の曲折後20mまで表示させる(ステップS39〜S42)。このときも、その光景が右折か左折かを表示する。   The control circuit 10 displays from 30 m before the intersection of the scene imaging stored in the HDD recording / reproducing means 14 to 20 m after bending at the intersection (steps S39 to S42). At this time, whether the scene is a right turn or a left turn is displayed. If the playback key 311 is operated (Yes in step S43), the display is displayed up to 20 m after the turn of the intersection where the turn is made (steps S39 to S42). At this time, whether the scene is a right turn or a left turn is displayed.

このように本発明は、方向指示器のON/OFFを検出する方向指示器検出手段30を備え、方向指示器検出手段30に基づいて交差点の曲折前の後方撮像タイミングを検出する(ステップS33)。   As described above, the present invention includes the direction indicator detection means 30 for detecting ON / OFF of the direction indicator, and detects the rear imaging timing before the turn at the intersection based on the direction indicator detection means 30 (step S33). .

前方でなく、後方を撮像するときは曲折する交差点を特定することができないので全ての交差点について撮像しなければならない。しかしながら、本発明はこの構成により、不要な撮像を禁止することができる。   When imaging not the front but the rear, it is not possible to specify the intersection at which it bends, so all the intersections must be imaged. However, according to the present invention, unnecessary imaging can be prohibited by this configuration.

また本発明は、記憶された光景の表示を交差点曲折後所定のポイントまで継続させる。   In addition, the present invention continues the display of the stored scene to a predetermined point after turning at the intersection.

これにより、記憶された光景と現状の光景を比較することができる。   This makes it possible to compare the stored scene with the current scene.

また本発明は、再生キー311を備え、再生キー311が操作されると光景が記憶された交差点の光景を表示させる。   The present invention also includes a reproduction key 311. When the reproduction key 311 is operated, the scene of the intersection where the scene is stored is displayed.

これにより、使用者が希望する曲折前のタイミングに曲折後の光景を表示することができる。   Thereby, the scene after the bending can be displayed at the timing before the bending desired by the user.

尚、上述の実施例の撮像は静止画であったが、本発明は動画にも適用することができる。このときの後方の撮像を再生するときは、逆送りにすればよい。   In addition, although the imaging of the above-mentioned Example was a still image, this invention is applicable also to a moving image. In order to reproduce the rearward imaging at this time, reverse feeding may be performed.

また、携帯電話装置はカメラとナビゲーションを備えたものが市販されており、本発明はこの携帯電話にも適用することができる。   Further, mobile phone devices having a camera and a navigation are commercially available, and the present invention can be applied to this mobile phone.

本発明は、カメラを有する車載用、携帯用のナビゲーション装置、また、ナビゲーション機能とカメラ機能を備えた携帯電話装置に適用することができる。   The present invention can be applied to a vehicle-mounted or portable navigation device having a camera, and a mobile phone device having a navigation function and a camera function.

本発明の実施例1に係るナビゲーション装置の要部を示すブロック図である。It is a block diagram which shows the principal part of the navigation apparatus which concerns on Example 1 of this invention. 実施例1のナビゲーション装置の制御回路の動作を示すフローチャートである。3 is a flowchart illustrating an operation of a control circuit of the navigation device according to the first embodiment. 記憶される画像のメモリマップを示す図である。It is a figure which shows the memory map of the image memorize | stored. 光景の表示を示す図である。It is a figure which shows the display of a scene. 本発明の実施例2に係るナビゲーション装置の要部を示すブロック図である。It is a block diagram which shows the principal part of the navigation apparatus which concerns on Example 2 of this invention. 実施例2のナビゲーション装置の制御回路の動作を示すフローチャートである。7 is a flowchart illustrating an operation of a control circuit of the navigation device according to the second embodiment.

符号の説明Explanation of symbols

1・・・・ナビゲーション装置
10・・・制御回路
11・・・GPS測位手段
12・・・方位センサ
13・・・車速センサ
14・・・HDD記録再生手段
15・・・カメラ(前方)
16・・・カメラ(後方)
17・・・音声合成回路
18・・・表示部
19・・・スピーカ
201・・撮像キー
311・・再生キー
DESCRIPTION OF SYMBOLS 1 ... Navigation apparatus 10 ... Control circuit 11 ... GPS positioning means 12 ... Direction sensor 13 ... Vehicle speed sensor 14 ... HDD recording / reproducing means 15 ... Camera (front)
16 ... Camera (rear)
17 ... synthesizer 18 ... display unit 19 ... speaker 201 ... imaging key 311 ... play key

Claims (5)

地図を記憶する第1記憶手段と、表示手段と、前記地図を前記表示手段に表示させる制
御手段と、撮像手段によって撮像された交差点を曲がった先の進行方向前方の実写画像と、該実写画像と前記交差点の位置関係情報を関連付けて記憶する第2記憶手段を備え、前記制御手段、前記移動体が前記交差点に到達する前に、前記第2記憶手段に記憶された実写画像を、前記表示手段の表示領域のうち前記位置関係情報に対応した表示領域に表示させるナビゲーション装置において、
前記ナビゲーション装置は、さらに移動体に設けられた方向指示器のON/OFFを検出する検出手段と、前記移動体の進行方向後方を撮像する撮像手段と、を備え、
前記制御手段は、前記検出手段の検出結果に基づいて前記撮像手段に前記交差点に到達する前の進行方向後方の実写画像を撮像させ、前記撮像手段によって撮像された実写画像を前記第2記憶手段に記憶させ、前記交差点を曲がらずに直進した場合に、前記撮像手段によって撮像されて前記第2記憶手段に記憶された当該交差点に到達する前の進行方向後方の実写画像を消去することを特徴とするナビゲーション装置。
First storage means for storing a map, display means, control means for displaying the map on the display means, a live-action image ahead of the direction of travel ahead of the intersection imaged by the imaging means , and the real-image image a second storage means for storing in association with the positional relationship information of the intersection and the control means, before the moving body reaches the intersection, the photographed image stored in the second storage means, said In a navigation device for displaying in a display area corresponding to the positional relationship information in the display area of the display means ,
The navigation device further includes detection means for detecting ON / OFF of a direction indicator provided on the moving body, and imaging means for capturing an image behind the moving direction of the moving body,
The control means causes the image pickup means to pick up a real image behind the traveling direction before reaching the intersection based on the detection result of the detection means, and the real image captured by the image pickup means is stored in the second storage means. And when the vehicle travels straight without turning at the intersection, the photographed image captured by the imaging unit and stored in the second storage unit is erased from the actual photographed image behind the traveling direction before reaching the intersection. A navigation device.
前記制御手段は、前記撮像手段による撮像を有効あるいは無効とするためのON/
OFFモードの切替えを行い、ONモードのときに後方を撮像させることを特徴とする請
求項に記載のナビゲーション装置。
The control means is an ON / OFF for enabling or disabling imaging by the imaging means.
The navigation device according to claim 1 , wherein switching of the OFF mode is performed, and the rear side is imaged in the ON mode.
前記制御手段は、前記交差点を曲がった場合に、前記第2記憶手段に記憶された実写画
像の表示を当該交差点を曲がってから所定のポイントまで継続させることを特徴とする請
求項1または2の何れかに記載のナビゲーション装置。
Wherein when bent the intersection, the display of the second memory means the stored real image according to claim 1 or 2, characterized in that to continue from bent the intersection to a predetermined point The navigation device according to any one of the above.
前記ナビゲーション装置は、再生キーを備え、
前記制御手段は、前記再生キーが操作されると前記第2記憶手段に記憶された交差点の
実写画像を表示させることを特徴とする請求項1からの何れかに記載のナビゲーション
装置。
The navigation device includes a reproduction key,
The navigation device according to any one of claims 1 to 3 , wherein the control means displays a live-action image of an intersection stored in the second storage means when the reproduction key is operated.
前記制御手段は、前記交差点を曲がった場合に、前記実写画像と関連付けて当該交差点
を曲がった際の進行方向および当該交差点を曲がった際の進行方向とは正反対の方向を前
記第2記憶手段に記憶させ、前記実写画像を表示するときに当該交差点を曲がった際の進
行方向または進行方向とは正反対の方向を前記表示手段に表示させることを特徴とする請
求項1からの何れかに記載のナビゲーション装置。
When the intersection is bent at the intersection, the controller stores the second storage unit in a direction opposite to the advancing direction when the intersection is bent in association with the photographed image and the advancing direction when the intersection is bent. 5. The display unit according to any one of claims 1 to 4 , wherein the display means displays the direction of travel or the direction opposite to the direction of travel when the intersection is bent when the photographed image is displayed. Navigation device.
JP2007199410A 2007-07-31 2007-07-31 Navigation device Expired - Fee Related JP4900599B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007199410A JP4900599B2 (en) 2007-07-31 2007-07-31 Navigation device
CN2011104448719A CN102589564A (en) 2007-07-31 2008-07-28 Navigation device and image management method
US12/596,722 US8374779B2 (en) 2007-07-31 2008-07-28 Navigation device and image management method
KR1020117014390A KR20110079782A (en) 2007-07-31 2008-07-28 Navigation device and image management method
CN200880020471A CN101688777A (en) 2007-07-31 2008-07-28 Navigation device and image management method
PCT/JP2008/063504 WO2009017085A1 (en) 2007-07-31 2008-07-28 Navigation device and image management method
KR1020097023458A KR101057245B1 (en) 2007-07-31 2008-07-28 Navigation device and image management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007199410A JP4900599B2 (en) 2007-07-31 2007-07-31 Navigation device

Publications (2)

Publication Number Publication Date
JP2009036566A JP2009036566A (en) 2009-02-19
JP4900599B2 true JP4900599B2 (en) 2012-03-21

Family

ID=40438625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007199410A Expired - Fee Related JP4900599B2 (en) 2007-07-31 2007-07-31 Navigation device

Country Status (1)

Country Link
JP (1) JP4900599B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5708307B2 (en) * 2011-06-30 2015-04-30 アイシン・エィ・ダブリュ株式会社 Navigation system, navigation method, and navigation program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5960214A (en) * 1982-09-29 1984-04-06 Nippon Denso Co Ltd Road guiding device for vehicle
JPH04283789A (en) * 1991-03-13 1992-10-08 Toshiba Corp On-vehicle road guide device
JPH08171697A (en) * 1994-12-19 1996-07-02 Kyocera Corp Road guidance system
JP3308247B2 (en) * 1999-09-08 2002-07-29 本田技研工業株式会社 Electronic camera system and map information display device
JP2001184595A (en) * 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd Transmitting system, transmitter, receiver, display device and vehicle
JP2002296061A (en) * 2001-03-29 2002-10-09 Hitachi Software Eng Co Ltd Guidance information providing method and guidance information providing program
JP3950085B2 (en) * 2003-06-10 2007-07-25 株式会社つくばマルチメディア Map-guided omnidirectional video system
JP2008500561A (en) * 2004-06-03 2008-01-10 シャープ株式会社 MAP DATA CREATION DEVICE, MOBILE BODY HAVING THE SAME, AND MAP DATA CREATION METHOD

Also Published As

Publication number Publication date
JP2009036566A (en) 2009-02-19

Similar Documents

Publication Publication Date Title
KR101057245B1 (en) Navigation device and image management method
EP1898183B1 (en) Navigation apparatus and method
US20090125235A1 (en) Method of updating navigation map data
JP3814992B2 (en) Vehicle navigation device
JP2008140128A (en) Vehicle detector
US20100077359A1 (en) Map display device
JP5124194B2 (en) Navigation device
WO2020054114A1 (en) Video recording control device, video recording system, video recording method, and video recording control program
JP2006078357A (en) Navigation system and navigation method
JP2008134308A (en) Facility retrieving device
JP3008839B2 (en) Navigation device
JP5151243B2 (en) Information processing device
JP4900599B2 (en) Navigation device
JP4499586B2 (en) Image correction system and image correction method
JP2007218698A (en) Navigation system, navigation method, and navigation program
JP2006080579A (en) Information terminal
JP2006064671A (en) Information-providing device and portable information terminal
JP2006064654A (en) Navigation apparatus and method
JP2008249654A (en) Record reproducing device, method, program, and recording medium
JP2009014692A (en) Navigation device
JP2007078587A (en) System, method, and program for route retrieval and computer-readable record medium
JP5082519B2 (en) Car navigation system
JP2012216919A (en) Mobile object periphery imaging system, mobile object periphery imaging apparatus, mobile object periphery imaging method, and computer program
JP2001336945A (en) Navigation device
JP4483494B2 (en) Navigation album system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111220

R151 Written notification of patent or utility model registration

Ref document number: 4900599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees