JP5028045B2 - In-vehicle display device - Google Patents

In-vehicle display device Download PDF

Info

Publication number
JP5028045B2
JP5028045B2 JP2006209696A JP2006209696A JP5028045B2 JP 5028045 B2 JP5028045 B2 JP 5028045B2 JP 2006209696 A JP2006209696 A JP 2006209696A JP 2006209696 A JP2006209696 A JP 2006209696A JP 5028045 B2 JP5028045 B2 JP 5028045B2
Authority
JP
Japan
Prior art keywords
voice
dictionary
display
button
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006209696A
Other languages
Japanese (ja)
Other versions
JP2008037121A (en
Inventor
茂樹 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2006209696A priority Critical patent/JP5028045B2/en
Publication of JP2008037121A publication Critical patent/JP2008037121A/en
Application granted granted Critical
Publication of JP5028045B2 publication Critical patent/JP5028045B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音声認識機能を有する車載表示装置に関する。   The present invention relates to an in-vehicle display device having a voice recognition function.

車両の状態を検知し、検知された車両の状態に応じて、音声を出力するとともに、音声を認識するための認識語を限定し、入力された音声と限定された認識語とを比較し、両データの一致を見ることによって入力された音声を認識する車両用音声認識装置が知られている(特許文献1)。
特開平10−73448号公報
Detecting the state of the vehicle, outputting a sound according to the detected state of the vehicle, limiting the recognition word for recognizing the sound, comparing the input sound and the limited recognition word, A vehicle voice recognition device that recognizes an input voice by seeing a match between both data is known (Patent Document 1).
Japanese Patent Laid-Open No. 10-73448

特許文献1に記載されている車両用音声認識装置では、検知された車両の状態に応じて認識語が限定されるため、検知されている車両の状態に関する操作以外の操作が音声によってできないという問題点がある。   In the vehicle speech recognition device described in Patent Document 1, the recognition words are limited according to the detected state of the vehicle, so that operations other than the operation relating to the detected state of the vehicle cannot be performed by voice. There is a point.

(1)請求項1の発明の車載表示装置は、ユーザの発する音声を入力する音声入力手段と、前記音声入力手段によって入力された音声を辞書と照合して音声認識する音声認識手段と、アイコンやボタンを表示モニタに表示する表示制御手段と、表示制御手段によって表示されたアイコンまたはボタンが指定されると、指定されたボタンまたはアイコンに基づいて、音声を照合する辞書の範囲を限定する辞書範囲制御手段とを備え、音声入力手段は、発話スイッチが押圧されると音声を入力し、表示制御手段は、発話スイッチが押圧されるとアイコンまたはボタンを表示モニタに表示し、さらに、発話スイッチが押圧されるごとに、表示モニタに表示するアイコンまたはボタンを別のアイコンやボタンに切り替えることを特徴とする
(2)請求項2の発明の車載表示装置は、ユーザの発する音声を入力する音声入力手段と、音声入力手段によって入力された音声を辞書と照合して音声認識する音声認識手段と、アイコンやボタンを表示モニタに表示する表示制御手段と、表示制御手段によって表示されたアイコンまたはボタンが指定されると、指定されたボタンまたはアイコンに基づいて、音声を照合する辞書の範囲を限定する辞書範囲制御手段と、表示モニタに表示される目的地を入力する入力手段と、入力手段で入力された目的地に対応するマークを表示するマーク表示手段と、表示モニタ上のマークを指定して入力された音声をそのマークに対応する目的地に関連付けて記憶する関連音声記憶手段と、関連音声記憶手段によって目的地と関連付けて記憶されている音声が入力されると、その音声に関連する目的地を表示モニタに表示する目的地表示手段とを備え、辞書範囲制御手段は、マークが指定されると、音声を照合する辞書の範囲を目的地に関する言葉に限定することを特徴とする。
(3)請求項3の発明の車載表示装置は、ユーザの発する音声を入力する音声入力手段と、音声入力手段によって入力された音声を辞書と照合して音声認識する音声認識手段と、アイコンやボタンを表示モニタに表示する表示制御手段と、表示制御手段によって表示されたアイコンまたはボタンが指定されると、指定されたボタンまたはアイコンに基づいて、音声を照合する辞書の範囲を限定する辞書範囲制御手段と、表示モニタに表示される経由地を入力する入力手段と、入力手段で入力された経由地に対応するマークを表示するマーク表示手段と、表示モニタ上のマークを指定して入力された音声をそのマークに対応する経由地に関連付けて記憶する関連音声記憶手段と、関連音声記憶手段によって経由地と関連付けて記憶されている音声が入力されると、その音声に関連する経由地を表示モニタに表示する経由地表示手段とを備え、辞書範囲制御手段は、マークが指定されると、音声を照合する辞書の範囲を経由地に関する言葉に限定することを特徴とする
(1) The in-vehicle display device according to the first aspect of the present invention includes a voice input means for inputting a voice uttered by a user, a voice recognition means for recognizing a voice input by the voice input means against a dictionary, an icon A display control unit that displays a button or a button on a display monitor, and a dictionary that limits a range of a dictionary for collating sounds based on the specified button or icon when an icon or button displayed by the display control unit is specified Range control means , the voice input means inputs voice when the utterance switch is pressed, the display control means displays an icon or button on the display monitor when the utterance switch is pressed, and further, the voice switch Each time is pressed, the icon or button displayed on the display monitor is switched to another icon or button .
(2) The in-vehicle display device of the invention of claim 2 includes a voice input means for inputting a voice uttered by a user, a voice recognition means for recognizing a voice inputted by the voice input means against a dictionary, an icon, Display control means for displaying a button on a display monitor, and a dictionary range for limiting a range of dictionaries to be collated based on the specified button or icon when an icon or button displayed by the display control means is specified The control means, the input means for inputting the destination displayed on the display monitor, the mark display means for displaying a mark corresponding to the destination input by the input means, and the mark on the display monitor are designated and input. Related voice storage means for storing the voice in association with the destination corresponding to the mark, and the sound stored in relation to the destination by the related voice storage means When the mark is designated, the dictionary range control means displays the range of the dictionary for collating the voice when the mark is designated. It is characterized by being limited to words about .
(3) The in-vehicle display device of the invention of claim 3 includes a voice input means for inputting a voice uttered by a user, a voice recognition means for recognizing a voice inputted by the voice input means against a dictionary, an icon, Display control means for displaying a button on a display monitor, and a dictionary range for limiting a range of dictionaries to be collated based on the specified button or icon when an icon or button displayed by the display control means is specified The control means, the input means for inputting the waypoint displayed on the display monitor, the mark display means for displaying the mark corresponding to the waypoint input by the input means, and the mark on the display monitor are designated and inputted. Related voice storage means for storing the voice in association with the waypoint corresponding to the mark, and the sound stored in association with the waypoint by the related voice storage means When a mark is designated, the dictionary range control means displays the range of the dictionary for collating the voice when a mark is designated. It is characterized by being limited to words about .

本発明によれば、表示モニタに表示されたアイコンやボタンを指定することによって、音声を照合する辞書の範囲を、指定されたアイコンやボタンに定義された範囲に限定することができる。したがって、所望の操作に係るアイコンやボタンを指定することによって、検知されている車両の状態に関係なく、所望の操作を音声によって確実に実行することができる。   According to the present invention, by designating icons and buttons displayed on the display monitor, it is possible to limit the range of the dictionary for collating speech to the range defined for the designated icons and buttons. Therefore, by designating an icon or a button related to a desired operation, the desired operation can be surely executed by voice regardless of the detected vehicle state.

本発明の実施形態によるナビゲーション装置の構成を図1に示す。図1のナビゲーション装置1は、ユーザが発する音声をマイク19で入力し、入力した音声に基づいて諸機能を実行する。ナビゲーション装置1は、制御回路11、ROM12、RAM13、現在地検出装置14、画像メモリ15、表示モニタ16、スピーカ17、入力装置18、マイク19、音声認識部110、タッチパネル112およびディスクドライブ114を有している。   A configuration of a navigation apparatus according to an embodiment of the present invention is shown in FIG. The navigation apparatus 1 of FIG. 1 inputs the voice which a user utters with the microphone 19, and performs various functions based on the input voice. The navigation device 1 includes a control circuit 11, a ROM 12, a RAM 13, a current location detection device 14, an image memory 15, a display monitor 16, a speaker 17, an input device 18, a microphone 19, a voice recognition unit 110, a touch panel 112, and a disk drive 114. ing.

ナビゲーション装置1にはCDプレーヤ2などのオーディオ機器が接続され、入力装置18、タッチパネル112の操作、またはマイク19に入力する音声によってCDプレーヤ2を操作することができる。CDプレーヤ2が再生した音声はスピーカ17から出力される。   An audio device such as a CD player 2 is connected to the navigation device 1, and the CD player 2 can be operated by operating the input device 18, the touch panel 112, or voice input to the microphone 19. The sound reproduced by the CD player 2 is output from the speaker 17.

制御回路11は、マイクロプロセッサ及びその周辺回路からなり、RAM13を作業エリアとしてROM12に格納された制御プログラムを実行して各種の制御を行う。この制御回路11がDVD−ROM115に記憶された地図データに基づいて所定の経路探索処理を行うと、その処理結果が探索ルートとして表示モニタ16に表示される。   The control circuit 11 includes a microprocessor and its peripheral circuits, and performs various controls by executing a control program stored in the ROM 12 using the RAM 13 as a work area. When the control circuit 11 performs a predetermined route search process based on the map data stored in the DVD-ROM 115, the processing result is displayed on the display monitor 16 as a search route.

現在地検出装置14は車両の現在地を検出する装置であり、たとえば、車両の進行方向を検出する振動ジャイロ14a、車速を検出する車速センサ14b、GPS( Global Positioning System )衛星からのGPS信号を検出するGPSセンサ14cなどから成る。ナビゲーション装置1は、この現在地検出装置14により検出された車両の現在地に基づいて、地図の表示範囲や経路探索開始点などを決定するとともに、地図上にその現在地を表示する。   The current position detection device 14 is a device that detects the current position of the vehicle. For example, a vibration gyro 14a that detects the traveling direction of the vehicle, a vehicle speed sensor 14b that detects the vehicle speed, and a GPS signal from a GPS (Global Positioning System) satellite. It consists of a GPS sensor 14c and the like. The navigation device 1 determines a map display range, a route search start point, and the like based on the current location of the vehicle detected by the current location detection device 14, and displays the current location on the map.

画像メモリ15は、表示モニタ16に表示するための画像データを格納する。この画像データは地図描画用データや各種の図形データからなり、それらは、DVD−ROM115に記憶された地図データに基づいて適宜生成される。ナビゲーション装置1は、このようにして生成された画像データを用いることによって地図表示などを行うことができる。   The image memory 15 stores image data to be displayed on the display monitor 16. This image data includes map drawing data and various graphic data, which are appropriately generated based on the map data stored in the DVD-ROM 115. The navigation device 1 can perform map display and the like by using the image data generated in this way.

表示モニタ16は、地図データなどの各種情報に基づいて、自車位置付近の地図などの各種情報を画面表示としてユーザに提供する。スピーカ17は、ユーザの各種入力操作をガイトしたり、ユーザに対し経路誘導するためなどの音声を出力したりする。入力装置18は、ユーザが各種コマンドを設定するための入力スイッチを有し、リモコンなどによって実現される。ユーザは、表示モニタ16の表示画面の指示に従って入力装置18を手動で操作することにより、目的地を選択して目的地を設定する。   The display monitor 16 provides the user with various information such as a map near the vehicle position as a screen display based on various information such as map data. The speaker 17 guides the user's various input operations and outputs sound for guiding the route to the user. The input device 18 has an input switch for the user to set various commands, and is realized by a remote controller or the like. The user manually operates the input device 18 according to the instruction on the display screen of the display monitor 16 to select the destination and set the destination.

目的地がユーザにより設定されると、ナビゲーション装置1はGPSセンサ14cにより検出された現在地を出発地として目的地までの経路演算を所定のアルゴリズムに基づいて行う。以下、この経路演算を経路探索と呼ぶ。このようにして求められたルート(以下、推奨経路という)は、表示形式、たとえば表示色などを変えることによって、ほかの道路とは区別して画面表示される。これにより、ユーザは地図上の推奨経路を画面上で認識することができる。また、ナビゲーション装置1は、推奨経路に従って車両が走行できるように、ユーザに対して画面や音声などによる進行方向指示を行い、車両を経路誘導する。   When the destination is set by the user, the navigation apparatus 1 performs a route calculation from the current location detected by the GPS sensor 14c to the destination based on a predetermined algorithm. Hereinafter, this route calculation is referred to as route search. The route thus obtained (hereinafter referred to as a recommended route) is displayed on the screen in a manner different from other roads by changing the display format, for example, the display color. Thereby, the user can recognize the recommended route on the map on the screen. In addition, the navigation device 1 instructs the user in the direction of travel using a screen or voice so that the vehicle can travel according to the recommended route, thereby guiding the route of the vehicle.

マイク19は、ユーザが発する音声を入力する。マイク19にはPTT( Press to Talk )スイッチ19aが設けられており、PTTスイッチ19aが押下された状態で音声を発すると、マイク19に音声が入力される。音声認識部110は、マイク19で入力された音声の音声パターンを辞書111に格納されている音声パターンと照合して入力された音声を認識する。その認識結果は制御回路11へ出力される。   The microphone 19 inputs a voice uttered by the user. The microphone 19 is provided with a PTT (Press to Talk) switch 19a. When a sound is emitted in a state where the PTT switch 19a is pressed, the sound is input to the microphone 19. The voice recognition unit 110 recognizes the input voice by comparing the voice pattern of the voice input from the microphone 19 with the voice pattern stored in the dictionary 111. The recognition result is output to the control circuit 11.

辞書111は、図2に示すように複数の小辞書に分けられている。それぞれの小辞書には所定のカテゴリに含まれる言葉の音声パターンが格納されており、。音声認識に使用する辞書を小辞書単位で限定することができる。たとえば、目的地設定のときに使用する小辞書を点線21の範囲の小辞書群に限定したり、経由地設定のときに使用する小辞書を一点鎖線22の範囲の小辞書群に限定したりすることができる。   The dictionary 111 is divided into a plurality of small dictionaries as shown in FIG. Each sub-dictionary stores voice patterns of words included in a predetermined category. The dictionary used for speech recognition can be limited in units of small dictionaries. For example, the small dictionary used when setting the destination is limited to the small dictionary group within the range of the dotted line 21, or the small dictionary used when setting the waypoint is limited to the small dictionary group within the range of the alternate long and short dash line 22. can do.

タッチパネル112は表示モニタ16のモニタ画面上に設けられた透明パネルであり、表示モニタ16に表示した表示画面はタッチパネル112を通して表示される。また、表示モニタ16の表示画面を押圧するとタッチパネル112が押圧される。タッチパネル112は入力装置18と同様に入力機能を有する。表示モニタ16に表示された地図画面や各種ボタン、表示メニューなどを指で押圧して指定するとタッチパネル112が押圧され、タッチパネルコントロール部113によって押圧位置が算出される。そして、算出された押圧位置は制御回路11に入力され、目的地を設定したり、各種ボタンや表示メニューに対応する機能を実行させたりする。   The touch panel 112 is a transparent panel provided on the monitor screen of the display monitor 16, and the display screen displayed on the display monitor 16 is displayed through the touch panel 112. Further, when the display screen of the display monitor 16 is pressed, the touch panel 112 is pressed. The touch panel 112 has an input function like the input device 18. When a map screen, various buttons, display menus, or the like displayed on the display monitor 16 are pressed and specified with a finger, the touch panel 112 is pressed, and the pressed position is calculated by the touch panel control unit 113. Then, the calculated pressing position is input to the control circuit 11, and a destination is set, or functions corresponding to various buttons and display menus are executed.

ディスクドライブ114には、表示モニタ16に表示する地図データが記録されたDVD−ROM115が装填される。地図データは、地図表示用データ、経路探索用データなどを含み、表示用および経路探索用データには、道路のリンク情報およびノード情報が含まれている。地図表示用データは、広域から詳細まで複数の縮尺の地図データを有し、ユーザの要求にしたがって、表示地図の縮尺を変更することができる。ディスクドライブ114は、装填されたDVD−ROM115から、表示モニタ16へ地図を表示するための地図データを読み出す。なお、DVD−ROM115以外の他の記録メディア、たとえばCD−ROMやハードディスクなどより地図データを読み出してもよい。   The disk drive 114 is loaded with a DVD-ROM 115 in which map data to be displayed on the display monitor 16 is recorded. The map data includes map display data, route search data, and the like, and the display and route search data include road link information and node information. The map display data has map data of a plurality of scales from wide areas to details, and the scale of the display map can be changed according to a user request. The disk drive 114 reads map data for displaying a map on the display monitor 16 from the loaded DVD-ROM 115. The map data may be read from a recording medium other than the DVD-ROM 115, such as a CD-ROM or a hard disk.

図3を参照して、本発明の実施形態における音声認識によるナビゲーション装置1の操作について説明する。ここで、ユーザは所定の目的地まで経路探索を行い、経路誘導を受けていたが、音声によって目的地変更の操作をしようと思い、マイク19に設けられたPTTスイッチ19aを押下したものとする。   With reference to FIG. 3, operation of the navigation apparatus 1 by voice recognition in the embodiment of the present invention will be described. Here, it is assumed that the user has searched for a route to a predetermined destination and received route guidance, but wished to change the destination by voice and pressed the PTT switch 19a provided on the microphone 19. .

図3は、自車位置周辺の地図上に探索された推奨経路を表示した表示モニタ16の表示画面を示す図である。地図30上の自車位置には自車位置マーク31が表示される。表示画面の右上には、目的地ボタン32と経由地ボタン33とが表示される。通常、目的地ボタン32と経由地ボタン33とは表示モニタ16には表示されず、PTTスイッチ19aを押下すると表示される。   FIG. 3 is a diagram showing a display screen of the display monitor 16 displaying the recommended route searched on the map around the vehicle position. A vehicle position mark 31 is displayed at the vehicle position on the map 30. A destination button 32 and a waypoint button 33 are displayed on the upper right of the display screen. Normally, the destination button 32 and the waypoint button 33 are not displayed on the display monitor 16, but are displayed when the PTT switch 19a is pressed.

目的ボタン32を押圧している間、音声認識部110で音声認識するときに照合する辞書の範囲が、目的地を設定するときや変更するときに発せられる言葉など、目的地に関する言葉の音声パターンが格納された辞書の範囲21(図2参照)に限定される。   While the destination button 32 is being pressed, the speech pattern of words related to the destination, such as words uttered when the destination is set or changed when the range of the dictionary to be collated when the voice recognition unit 110 recognizes the voice Is limited to the dictionary range 21 (see FIG. 2).

一方、経由地ボタン33を押圧している間、音声認識部110で音声認識するときに照合する辞書の範囲が、経由地を設定するときや削除するときに発せられる言葉など、経由地に関する言葉の音声パターンが格納された辞書の範囲22(図2参照)に限定される。   On the other hand, while the waypoint button 33 is being pressed, the range of the dictionary that is collated when the voice recognition unit 110 recognizes the voice is a word about the waypoint, such as words that are issued when setting or deleting a waypoint. Is limited to the dictionary range 22 (see FIG. 2) in which the voice patterns are stored.

図3に示すように、CDプレーヤ2により楽曲を再生すると、CDプレーヤの再生に関する情報を表示したオーディオ情報表示画面34が表示モニタ16に表示される。オーディオ表示画面34を押圧している間、音声認識部110で音声認識するときに照合する辞書の範囲が、オーディオ操作に関する言葉の音声パターンが格納された辞書の範囲に限定される。   As shown in FIG. 3, when a music piece is played by the CD player 2, an audio information display screen 34 displaying information related to playback of the CD player is displayed on the display monitor 16. While the audio display screen 34 is being pressed, the range of the dictionary that is collated when the speech recognition unit 110 recognizes the speech is limited to the range of the dictionary that stores the speech pattern of words related to the audio operation.

目的地を変更する操作をする場合は、図3に示すように目的地ボタン33を押圧しながら、マイク19に対して「目的地変更」と音声を発する。このとき、音声認識するための辞書が目的地に関する言葉の音声パターンが格納された辞書の範囲に限定されるので、誤って他の言葉として認識される可能性が低くなり、入力された音声を確実に識別することができる。そして、目的地名をマイク19に対して発することによって変更する目的地が入力される。次に「探索」とマイク19に対して音声を発すると、新しい目的地までの推奨経路が演算され、新しい推奨経路35が表示される。   When performing an operation to change the destination, a voice “change destination” is issued to the microphone 19 while pressing the destination button 33 as shown in FIG. At this time, since the dictionary for voice recognition is limited to the range of the dictionary in which the voice pattern of the word related to the destination is stored, it is less likely that the word is mistakenly recognized as another word. Can be reliably identified. Then, the destination to be changed by inputting the destination name to the microphone 19 is input. Next, when “search” and the microphone 19 are uttered, a recommended route to a new destination is calculated and a new recommended route 35 is displayed.

次に、本実施形態のナビゲーション装置1の音声認識に使用される辞書の辞書範囲限定処理について、図4のフローチャートを参照して説明する。図4の処理は、地図が表示モニタ16に表示されるとスタートするプログラムにより、制御回路11において実行される。   Next, dictionary range limiting processing of a dictionary used for voice recognition of the navigation device 1 of the present embodiment will be described with reference to the flowchart of FIG. The processing of FIG. 4 is executed in the control circuit 11 by a program that starts when a map is displayed on the display monitor 16.

ステップS401では、マイク19に設けられているPTTスイッチ19aが押下されたかを判定する。押下された場合はステップS401が肯定判定され、ステップS402へ進む。押下されていない場合はステップS401を繰り返す。ステップS402では、表示モニタ16の表示画面に複数の辞書範囲限定ボタン(目的地ボタン32、経由地ボタン33など)を表示する。   In step S401, it is determined whether the PTT switch 19a provided in the microphone 19 has been pressed. If the button is pressed, an affirmative decision is made in step S401 and the process proceeds to step S402. If not, step S401 is repeated. In step S402, a plurality of dictionary range limiting buttons (the destination button 32, the waypoint button 33, etc.) are displayed on the display screen of the display monitor 16.

ステップS403では、タッチパネルコントロール部113によって算出されたタッチパネル112の押圧位置に基づいて、辞書範囲限定ボタン32および33のいずれかが押圧されているか判定する。押圧されている場合はステップS403が肯定判定され、ステップS404へ進む。押圧されていない場合はステップS403が否定判定され、ステップS401へ戻る。   In step S403, based on the pressed position of the touch panel 112 calculated by the touch panel control unit 113, it is determined whether any of the dictionary range limitation buttons 32 and 33 is pressed. If it is pressed, an affirmative determination is made in step S403 and the process proceeds to step S404. If not pressed, a negative determination is made in step S403, and the process returns to step S401.

ステップS404では、音声認識をするときに照合する辞書の範囲を、押圧された辞書範囲限定ボタン32または33に定義された小辞書の範囲に限定する。たとえば、目的地ボタン32の場合は、図2に示すように目的地ボタン32に定義された小辞書の範囲21に限定する。ステップS405では、ステップS403で押下げ判定された辞書範囲限定ボタン32または33が押圧されているか判定する。押圧されている場合はステップS405が肯定判定され、ステップS404へ戻る。押圧されていない場合はステップS405が否定判定され、ステップS401へリターンする。   In step S404, the range of the dictionary to be collated when performing speech recognition is limited to the range of the small dictionary defined in the pressed dictionary range limiting button 32 or 33. For example, the destination button 32 is limited to the small dictionary range 21 defined in the destination button 32 as shown in FIG. In step S405, it is determined whether the dictionary range limitation button 32 or 33 determined to be pressed in step S403 is pressed. If it is pressed, an affirmative determination is made in step S405, and the process returns to step S404. If not pressed, a negative determination is made in step S405, and the process returns to step S401.

以上の実施の形態によるナビゲーション装置1は次のような作用効果を奏する。
(1)表示モニタ16に表示された辞書範囲限定ボタン32または33を押圧することによって、音声を照合する辞書111の範囲を、辞書範囲限定ボタン32または33に定義された辞書の範囲21または22に限定することができる。したがって、所望の操作に係る辞書範囲限定ボタン32または33を押圧することによって、検知されている車両の状態に関係なく、所望の操作を音声によって確実に実行することができる。
The navigation device 1 according to the above embodiment has the following operational effects.
(1) By pressing the dictionary range limitation button 32 or 33 displayed on the display monitor 16, the range of the dictionary 111 to be collated is changed to the dictionary range 21 or 22 defined in the dictionary range limitation button 32 or 33. It can be limited to. Therefore, by pressing the dictionary range limiting button 32 or 33 related to the desired operation, the desired operation can be reliably performed by voice regardless of the detected vehicle state.

(2)PTTスイッチ19aなどの発話スイッチが押下されたときに辞書範囲限定ボタン32および33を表示する。したがって、音声によってナビゲーション装置1を操作しない場合は、辞書範囲限定ボタン32および33を表示せず、地図表示の邪魔にならない。 (2) The dictionary range limitation buttons 32 and 33 are displayed when a speech switch such as the PTT switch 19a is pressed. Therefore, when the navigation apparatus 1 is not operated by voice, the dictionary range limitation buttons 32 and 33 are not displayed, and the map display is not disturbed.

(3)オーディオ情報表示画面34を押圧すると、音声認識部110で音声認識するときに照合する辞書の範囲が、オーディオ操作に関する言葉の範囲に限定される。したがって、誤ってオーディオに関係のない動作が実行されるのを防止することができ、オーディオに関する操作を音声によって確実に実行することができる。 (3) When the audio information display screen 34 is pressed, the range of the dictionary to be collated when the speech recognition unit 110 recognizes the speech is limited to the range of words related to the audio operation. Therefore, it is possible to prevent an operation unrelated to the audio from being erroneously performed, and it is possible to reliably perform the operation related to the audio by the voice.

以上の実施の形態のナビゲーション装置1を次のように変形することができる。
(1)PTTスイッチ19aなどの発話スイッチを押下したときに辞書範囲限定ボタン32および33を表示したが、常に辞書範囲限定ボタン32および33を表示画面に表示するようにしてもよい。この場合、発話スイッチを押さなくても辞書範囲限定ボタンを押圧すると、マイク19に対して音声入力が可能となる。ひとつの操作で、音声入力を可能とし、辞書の範囲を限定することができるので、利便性が向上する。
The navigation apparatus 1 of the above embodiment can be modified as follows.
(1) Although the dictionary range limitation buttons 32 and 33 are displayed when the utterance switch such as the PTT switch 19a is pressed, the dictionary range limitation buttons 32 and 33 may always be displayed on the display screen. In this case, if the dictionary range limitation button is pressed without pressing the speech switch, voice input to the microphone 19 becomes possible. With one operation, voice input is possible and the range of the dictionary can be limited, improving convenience.

(2)辞書範囲限定ボタンは、目的地ボタン32や経由地ボタン33に限定されず、適宜設けることができる。たとえば、音声認識によって地図30の縮尺率を変更するボタンや、地図30をスクロールするボタン、地図30の向きを、北側や車両の進行方向を上にする向きに変更するボタンなどを辞書範囲限定ボタンとして設けてもよい。このようにすることによって、地図30の縮尺率を変更したり、地図30をスクロールしたりする操作などについても音声認識に使用する辞書を限定することによって確実に実行することができる。 (2) The dictionary range limitation button is not limited to the destination button 32 and the waypoint button 33, and can be provided as appropriate. For example, a button for changing the scale of the map 30 by voice recognition, a button for scrolling the map 30, a button for changing the direction of the map 30 to the north side or the direction in which the vehicle travels upward, etc. You may provide as. By doing so, operations such as changing the scale ratio of the map 30 or scrolling the map 30 can be reliably executed by limiting the dictionary used for voice recognition.

(3)発話スイッチが押圧されるたびごとに、表示画面に表示される辞書範囲限定ボタンが別の辞書範囲限定ボタンに切り替わるようにしてもよい。一度に表示する辞書範囲限定ボタンの数を少なくすることができ、表示モニタ16に表示された地図30が見やすくなる。たとえば、図5に示すように、表示モニタ16に表示する辞書範囲限定ボタン51をひとつにすることができる。また、辞書範囲限定ボタン51がひとつしか表示されていない場合は、表示されている辞書範囲限定ボタン51に基づいて音声認識に使用される辞書の範囲が限定されるようにしてもよい。 (3) Each time the utterance switch is pressed, the dictionary range limitation button displayed on the display screen may be switched to another dictionary range limitation button. The number of dictionary range limiting buttons displayed at a time can be reduced, and the map 30 displayed on the display monitor 16 is easy to see. For example, as shown in FIG. 5, the dictionary range limitation button 51 displayed on the display monitor 16 can be made one. When only one dictionary range limiting button 51 is displayed, the dictionary range used for speech recognition may be limited based on the displayed dictionary range limiting button 51.

(4)次のようにして、音声認識により目的地や経由地を登録し、音声認識により目的地や経由地を表示モニタ16に表示できるようにしてもよい。地図30をスクロールして、図6に示すように目的地や経由地を表示画面に表示する。そして、表示された目的地のマーク61を押圧して指定すると、マイク19の音声入力を可能とし、音声認識に使用する辞書を目的地に関する言葉の範囲に限定する。同様に表示された経由地を押圧すると、マイク19の音声入力を可能とし、音声認識に使用する辞書を経由地に関する言葉の範囲に限定する。そして、目的地のマーク61を指定しながら、「目的地表示」とマイク19に対して発すると、「目的地表示」という言葉と関連付けられて、押圧位置に対応した地図上の押圧地点がRAM13に記憶される。同様にして、経由地を押圧しながら、「経由地表示」とマイク19に対して発すると、「経由地表示」という言葉と関連付けられて、押圧位置に対応した地図上の押圧地点がRAM13に記憶される。 (4) The destination and waypoint may be registered by voice recognition as follows, and the destination and waypoint may be displayed on the display monitor 16 by voice recognition. The map 30 is scrolled to display the destination and waypoint on the display screen as shown in FIG. When the displayed destination mark 61 is pressed and designated, the microphone 19 can be used for voice input, and the dictionary used for voice recognition is limited to a range of words related to the destination. Similarly, when the displayed waypoint is pressed, voice input from the microphone 19 is enabled, and the dictionary used for voice recognition is limited to a range of words related to the waypoint. When the destination mark 61 is designated and the “destination display” is issued to the microphone 19, the pressing point on the map corresponding to the pressing position is associated with the word “destination display” in the RAM 13. Is remembered. Similarly, if the route point is displayed while pressing the route point to the microphone 19, the pressing point on the map corresponding to the pressed position is associated with the word “route point display” in the RAM 13. Remembered.

その後、経路誘導中などに目的地や経由地の地図を表示モニタ16に表示する場合、目的地ボタン32や経由地ボタン33を押圧して指定しながら、「目的地表示」や「経由地表示」という言葉をマイク19に対して発する。その結果、「目的地表示」や「経由地表示」という言葉に関連付けられた押圧地点が表示画面の中央に表示されるように地図30が表示され、目的地や経由地が表示モニタ16に表示される。   Thereafter, when a map of the destination or waypoint is displayed on the display monitor 16 during route guidance or the like, while pressing the destination button 32 or the waypoint button 33 and specifying the destination, To the microphone 19. As a result, the map 30 is displayed so that the pressing point associated with the words “destination display” and “route point display” is displayed in the center of the display screen, and the destination and waypoints are displayed on the display monitor 16. Is done.

通常、経路誘導中などに目的地や経由地の地図を表示モニタ16に表示するためには、地図30をスクロールする操作を行わなければならないが、そのような操作なしに音声認識で目的地や経由地の地図を表示することができ、利便性が向上する。   Normally, in order to display a map of a destination or waypoint on the display monitor 16 during route guidance, etc., an operation of scrolling the map 30 must be performed. A map of the waypoint can be displayed, and convenience is improved.

また、音声認識によって表示する代わりに、目的地61を押圧しながら、「目的地表示」とマイク19に対して発したり、「経由地表示」とマイク19に対して発したりすると、押圧位置に対応した地図上の押圧地点に関連付けられたアイコンが表示モニタ16に表示され、そのアイコンを押圧すると目的地や経由地の地図が表示モニタ16に表示されるようにしてもよい。   In addition, instead of displaying by voice recognition, if “destination display” is issued to the microphone 19 while “destination display” is issued to the microphone 19 while the destination 61 is pressed, the pressing position is set. An icon associated with the corresponding pressed point on the map may be displayed on the display monitor 16, and a map of the destination or waypoint may be displayed on the display monitor 16 when the icon is pressed.

(5)辞書範囲限定ボタンは、目的地ボタン32や経由地ボタン33などのボタンに限定されず、アイコンなどでもよい。 (5) The dictionary range limiting button is not limited to the button such as the destination button 32 and the waypoint button 33, but may be an icon or the like.

(6)マイク19に対して音声入力が可能となる発話操作スイッチであれば、PTTスイッチに限定されない。また、マイクに設けられる場合に限定されず、図7に示すように、発話スイッチ71を車両のステアリング72に設けてもよい。 (6) Any speech operation switch that allows voice input to the microphone 19 is not limited to a PTT switch. Moreover, it is not limited to the case where it is provided in the microphone, and as shown in FIG. 7, the speech switch 71 may be provided on the steering 72 of the vehicle.

(7)オーディオ情報表示画面34に表示されるオーディオ情報はCDプレーヤ2の再生に関するものに限定されない。たとえば、ラジオ放送の情報でもよい。あるいは、空調など車載の各種機器装置を制御する場合にも本発明は適用することができる。 (7) The audio information displayed on the audio information display screen 34 is not limited to information related to playback of the CD player 2. For example, radio broadcast information may be used. Alternatively, the present invention can also be applied when controlling various on-vehicle equipment such as air conditioners.

(8)車載表示装置であればナビゲーション装置に限定されない。 (8) If it is a vehicle-mounted display device, it is not limited to a navigation device.

(9)表示モニタに表示されたアイコンまたはボタンを各種入力デバイスで指定すると、指定されたボタンまたはアイコンに基づいて、音声認識のときに音声を照合する辞書の範囲を限定するようにしてもよい。すなわち、本発明は以上説明した実施の形態になんら限定されない。 (9) When the icons or buttons displayed on the display monitor are designated by various input devices, the range of the dictionary for collating the voice at the time of voice recognition may be limited based on the designated buttons or icons. . That is, the present invention is not limited to the embodiment described above.

特許請求の範囲の要素と実施の形態との対応関係を説明する。
本発明の音声入力手段はマイク19に対応し、音声認識手段は音声認識部110に対応する。表示制御手段、辞書範囲制御手段および探索手段は制御回路11に対応し、入力手段は制御回路11、タッチパネル112およびタッチパネルコントロール部113に対応する。マーク表示手段は制御回路11および表示モニタ16に対応し、関連音声記憶手段は制御回路11およびRAM13に対応する。目的地表示手段および経由地表示手段は制御回路11に対応する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係になんら限定されるものではない。
The correspondence between the elements of the claims and the embodiments will be described.
The voice input means of the present invention corresponds to the microphone 19, and the voice recognition means corresponds to the voice recognition unit 110. Display control means, dictionary range control means, and search means correspond to the control circuit 11, and input means correspond to the control circuit 11, the touch panel 112, and the touch panel control unit 113. The mark display means corresponds to the control circuit 11 and the display monitor 16, and the related voice storage means corresponds to the control circuit 11 and the RAM 13. The destination display means and the waypoint display means correspond to the control circuit 11. In addition, the above description is an example to the last, and when interpreting invention, it is not limited to the correspondence of the component of said embodiment and the component of this invention at all.

本発明の実施形態のナビゲーション装置の構成を示すブロック図である。It is a block diagram which shows the structure of the navigation apparatus of embodiment of this invention. 音声認識のときに照合する辞書を説明するための図である。It is a figure for demonstrating the dictionary collated at the time of voice recognition. PTTスイッチを押下すると表示される表示画面を説明するための図である。It is a figure for demonstrating the display screen displayed when a PTT switch is pressed down. 音声認識に使用される辞書の辞書範囲限定処理を説明するためのフローチャートである。It is a flowchart for demonstrating the dictionary range limitation process of the dictionary used for speech recognition. 発話スイッチが押圧されるたびごとに表示画面に表示される辞書範囲限定ボタンが別の辞書範囲限定ボタンに切り替わる辞書範囲限定ボタンを説明するための図である。It is a figure for demonstrating the dictionary range limitation button in which the dictionary range limitation button displayed on a display screen switches to another dictionary range limitation button whenever a speech switch is pressed. 音声認識によって目的地を表示画面に表示するための操作を説明するための図である。It is a figure for demonstrating operation for displaying the destination on a display screen by voice recognition. 車両のステアリングに設けられた発話スイッチを説明するための図である。It is a figure for demonstrating the speech switch provided in the steering of the vehicle.

符号の説明Explanation of symbols

1 ナビゲーション装置
2 CDプレーヤ
11 制御回路
13 RAM
16 表示モニタ
17 スピーカ
18 入力装置
19 マイク
19a PTTスイッチ
32,33,51 辞書範囲限定ボタン
71 発話スイッチ
72 ステアリング
110 音声認識部
111 辞書
112 タッチパネル
DESCRIPTION OF SYMBOLS 1 Navigation apparatus 2 CD player 11 Control circuit 13 RAM
16 Display monitor 17 Speaker 18 Input device 19 Microphone 19a PTT switch 32, 33, 51 Dictionary range limitation button 71 Speak switch 72 Steering 110 Voice recognition unit 111 Dictionary 112 Touch panel

Claims (7)

ユーザの発する音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を辞書と照合して音声認識する音声認識手段と、
アイコンやボタンを表示モニタに表示する表示制御手段と、
前記表示制御手段によって表示されたアイコンまたはボタンが指定されると、指定されたボタンまたはアイコンに基づいて、音声を照合する前記辞書の範囲を限定する辞書範囲制御手段とを備え
前記音声入力手段は、発話スイッチが押圧されると音声を入力し、
前記表示制御手段は、前記発話スイッチが押圧されると前記アイコンまたは前記ボタンを前記表示モニタに表示し、さらに、前記発話スイッチが押圧されるごとに、前記表示モニタに表示する前記アイコンまたは前記ボタンを別のアイコンやボタンに切り替えることを特徴とする車載表示装置。
A voice input means for inputting voice uttered by the user;
A voice recognition means for recognizing the voice inputted by the voice input means by collating with a dictionary;
Display control means for displaying icons and buttons on a display monitor;
When an icon or button displayed by the display control means is specified, a dictionary range control means for limiting a range of the dictionary for collating speech based on the specified button or icon ,
The voice input means inputs a voice when the speech switch is pressed,
The display control means displays the icon or the button on the display monitor when the speech switch is pressed, and further displays the icon or the button displayed on the display monitor each time the speech switch is pressed. A vehicle-mounted display device characterized by switching to another icon or button .
ユーザの発する音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を辞書と照合して音声認識する音声認識手段と、
アイコンやボタンを表示モニタに表示する表示制御手段と、
前記表示制御手段によって表示されたアイコンまたはボタンが指定されると、指定されたボタンまたはアイコンに基づいて、音声を照合する前記辞書の範囲を限定する辞書範囲制御手段と、
前記表示モニタに表示される目的地を入力する入力手段と、
前記入力手段で入力された目的地に対応するマークを表示するマーク表示手段と、
前記表示モニタ上の前記マークを指定して入力された音声をそのマークに対応する目的地に関連付けて記憶する関連音声記憶手段と、
前記関連音声記憶手段によって目的地と関連付けて記憶されている音声が入力されると、その音声に関連する目的地を前記表示モニタに表示する目的地表示手段とを備え、
前記辞書範囲制御手段は、前記マークが指定されると、音声を照合する前記辞書の範囲を目的地に関する言葉に限定することを特徴とする車載表示装置。
A voice input means for inputting voice uttered by the user;
A voice recognition means for recognizing the voice inputted by the voice input means by collating with a dictionary;
Display control means for displaying icons and buttons on a display monitor;
When an icon or button displayed by the display control means is specified, a dictionary range control means for limiting the range of the dictionary for collating sounds based on the specified button or icon;
Input means for inputting a destination displayed on the display monitor ;
Mark display means for displaying a mark corresponding to the destination inputted by the input means ;
Related voice storage means for storing the voice inputted by designating the mark on the display monitor in association with the destination corresponding to the mark;
A destination display means for displaying a destination related to the voice on the display monitor when the voice stored in association with the destination is input by the related voice storage means;
The dictionary range control means, when the mark is designated, limits the range of the dictionary for collating speech to words related to a destination.
ユーザの発する音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を辞書と照合して音声認識する音声認識手段と、
アイコンやボタンを表示モニタに表示する表示制御手段と、
前記表示制御手段によって表示されたアイコンまたはボタンが指定されると、指定されたボタンまたはアイコンに基づいて、音声を照合する前記辞書の範囲を限定する辞書範囲制御手段と、
前記表示モニタに表示される経由地を入力する入力手段と、
前記入力手段で入力された前記経由地に対応するマークを表示するマーク表示手段と、
前記表示モニタ上の前記マークを指定して入力された音声をそのマークに対応する経由地に関連付けて記憶する関連音声記憶手段と、
前記関連音声記憶手段によって経由地と関連付けて記憶されている音声が入力されると、その音声に関連する経由地を前記表示モニタに表示する経由地表示手段とを備え、
前記辞書範囲制御手段は、前記マークが指定されると、音声を照合する前記辞書の範囲を経由地に関する言葉に限定することを特徴とする車載表示装置。
A voice input means for inputting voice uttered by the user;
A voice recognition means for recognizing the voice inputted by the voice input means by collating with a dictionary;
Display control means for displaying icons and buttons on a display monitor;
When an icon or button displayed by the display control means is specified, a dictionary range control means for limiting the range of the dictionary for collating sounds based on the specified button or icon;
Input means for inputting a waypoint displayed on the display monitor ;
Mark display means for displaying a mark corresponding to the waypoint input by the input means ;
Related voice storage means for storing the voice inputted by designating the mark on the display monitor in association with the waypoint corresponding to the mark;
When the voice stored in association with the waypoint is input by the related voice storage means, the route point display means for displaying the waypoint related to the voice on the display monitor,
The dictionary range control means, when the mark is designated, limits the range of the dictionary for collating speech to words related to waypoints.
請求項2または3に記載の車載表示装置おいて、
前記音声入力手段は、発話スイッチが押圧されると音声を入力し、
前記表示制御手段は、前記発話スイッチが押圧されると前記アイコンやボタンを前記表示モニタに表示することを特徴とする車載表示装置。
In the in-vehicle display device according to claim 2 or 3,
The voice input means inputs a voice when the speech switch is pressed,
The display control unit displays the icon or button on the display monitor when the utterance switch is pressed .
請求項4に記載の車載表示装置において、前記表示制御手段は、前記発話スイッチが押圧されるごとに、前記表示モニタに表示するアイコンまたはボタンを別のアイコンやボタンに切り替えることを特徴とする車載表示装置。 5. The in-vehicle display device according to claim 4, wherein the display control unit switches an icon or button to be displayed on the display monitor to another icon or button each time the speech switch is pressed. Display device. 請求項1乃至5のいずれか1項に記載の車載表示装置において、
前記表示制御手段は、オーディオに関するアイコンやボタンを表示モニタに表示し、
前記辞書範囲制御手段は、前記オーディオに関するアイコンまたはボタンが指定されると、オーディオに関する言葉に、前記辞書の範囲を限定することを特徴とする車載表示装置。
In the vehicle-mounted display device according to any one of claims 1 to 5 ,
The display control means displays audio icons and buttons on a display monitor,
The dictionary range control means limits the range of the dictionary to words related to audio when an icon or button related to the audio is designated.
請求項1乃至5のいずれか1項に記載の車載表示装置において、
前記表示制御手段は、空調など車載の各種機器装置に関するアイコンやボタンを表示モニタに表示し、
前記辞書範囲制御手段は、前記空調など車載の各種機器装置に関するアイコンまたはボ
タンが指定されると、空調など車載の各種機器装置に関する言葉に、前記辞書の範囲を限定することを特徴とする車載表示装置。
In the vehicle-mounted display device according to any one of claims 1 to 5 ,
The display control means displays icons and buttons related to various on-vehicle equipment such as air conditioners on a display monitor,
The dictionary range control means limits the range of the dictionary to words related to various on-vehicle device devices such as air conditioning when an icon or button related to the various vehicle device devices such as air conditioning is specified. apparatus.
JP2006209696A 2006-08-01 2006-08-01 In-vehicle display device Expired - Fee Related JP5028045B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006209696A JP5028045B2 (en) 2006-08-01 2006-08-01 In-vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006209696A JP5028045B2 (en) 2006-08-01 2006-08-01 In-vehicle display device

Publications (2)

Publication Number Publication Date
JP2008037121A JP2008037121A (en) 2008-02-21
JP5028045B2 true JP5028045B2 (en) 2012-09-19

Family

ID=39172670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006209696A Expired - Fee Related JP5028045B2 (en) 2006-08-01 2006-08-01 In-vehicle display device

Country Status (1)

Country Link
JP (1) JP5028045B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5434731B2 (en) * 2010-03-24 2014-03-05 トヨタ自動車株式会社 Voice recognition system and automatic search system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3378106B2 (en) * 1994-12-27 2003-02-17 株式会社エクォス・リサーチ Navigation device
JP3675053B2 (en) * 1996-08-31 2005-07-27 株式会社エクォス・リサーチ Voice recognition device for vehicle
JP3731499B2 (en) * 2001-05-25 2006-01-05 三菱電機株式会社 Voice recognition control device and in-vehicle information processing device
JP2005031260A (en) * 2003-07-09 2005-02-03 Canon Inc Method and apparatus for information processing
JP4501067B2 (en) * 2004-09-30 2010-07-14 マツダ株式会社 Vehicle information display device
JP4471850B2 (en) * 2005-01-13 2010-06-02 アルパイン株式会社 Navigation device

Also Published As

Publication number Publication date
JP2008037121A (en) 2008-02-21

Similar Documents

Publication Publication Date Title
JP4933129B2 (en) Information terminal and simplified-detailed information display method
EP2945052B1 (en) Voice recognition device, voice recognition program, and voice recognition method
JP4736982B2 (en) Operation control device, program
JP2006284218A (en) Navigation device
JP5007064B2 (en) Navigation device
JP2009139544A (en) Input device
JP2008039731A (en) Navigation system and its method of displaying on screen
JP2007145106A (en) On-vehicle information terminal
JP2007205894A (en) Onboard navigation device and displaying method for retrieved facility
JP4664775B2 (en) Navigation device
JP4770374B2 (en) Voice recognition device
JP5028045B2 (en) In-vehicle display device
JP2008032629A (en) Navigation system
JP2008145170A (en) On-vehicle display apparatus
JP2010281572A (en) On-vehicle device and method for controlling the on-vehicle device
JP4813144B2 (en) Navigation device
JP2008243146A (en) Speech recognition processor and its control method
JP2008164809A (en) Voice recognition device
JP3705220B2 (en) Navigation device, image display method, and image display program
JP6987447B2 (en) Speech recognition device
JP4396180B2 (en) Navigation device
JP2008003371A (en) Speech recognizing device mounted inside vehicle and voice command registering method
JP4813111B2 (en) Route setting device, navigation device, and route setting method
JP2008224508A (en) Navigation apparatus
JP2008046758A (en) On-vehicle information terminal, and operation method and menu item retrieval method for information terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090731

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120203

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees