JP4498902B2 - Voice recognition device - Google Patents

Voice recognition device Download PDF

Info

Publication number
JP4498902B2
JP4498902B2 JP2004346788A JP2004346788A JP4498902B2 JP 4498902 B2 JP4498902 B2 JP 4498902B2 JP 2004346788 A JP2004346788 A JP 2004346788A JP 2004346788 A JP2004346788 A JP 2004346788A JP 4498902 B2 JP4498902 B2 JP 4498902B2
Authority
JP
Japan
Prior art keywords
voice
state
input means
voice command
manual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004346788A
Other languages
Japanese (ja)
Other versions
JP2006154476A (en
Inventor
悠希 住吉
玲子 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004346788A priority Critical patent/JP4498902B2/en
Publication of JP2006154476A publication Critical patent/JP2006154476A/en
Application granted granted Critical
Publication of JP4498902B2 publication Critical patent/JP4498902B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、例えばナビゲーションシステムを音声で操作するために使用される音声認識装置に関し、特にその操作性を向上させる技術に関する。   The present invention relates to a voice recognition device used for operating a navigation system with voice, for example, and more particularly to a technique for improving the operability.

従来、ユーザが発話した音声を認識して認識結果を出力する音声認識装置が知られている。このような音声認識装置として、例えば、特許文献1は、音声によるコマンド入力の利用促進を図るためのコマンド受付装置を開示している。このコマンド受付装置は、タッチパネルやリモコン等による手動操作と音声操作の両方を受け付けることができ、音声入力可能なコマンドがスイッチ装置等を介して手動入力された場合には、音声認識機能を用いてもそれらのコマンドを認識できるため、音声によるコマンド入力ができる旨を、例えば表示装置の表示画面上に適応画面とコマンドを表示してユーザに案内(教示)する。例えば、手動入力操作でメニュー画面を表示させた場合であれば、『音声入力で操作できます。“地図画面”で「メニュー画面」とお話し下さい。』と表示する。音声ガイドであれば、スピーカから同じ内容を発声して案内する。このような案内があれば、次回からは、相対的に操作が面倒であると考えられる手動入力等の入力方法に代えて音声入力による簡便なコマンド入力方法をユーザが採用することが期待される。   2. Description of the Related Art Conventionally, a voice recognition device that recognizes voice spoken by a user and outputs a recognition result is known. As such a speech recognition device, for example, Patent Document 1 discloses a command receiving device for promoting the use of voice command input. This command accepting device can accept both manual operation and voice operation using a touch panel, remote control, etc. When a command capable of voice input is manually input via a switch device or the like, a voice recognition function is used. Since these commands can also be recognized, for example, an adaptive screen and a command are displayed on the display screen of the display device to guide (teach) that the voice command input can be performed. For example, if the menu screen is displayed by manual input operation, “You can operate by voice input. Please say “Menu screen” on the “Map screen”. Is displayed. If it is a voice guide, the same content is uttered from the speaker for guidance. If there is such guidance, it is expected that the user will adopt a simple command input method by voice input instead of an input method such as manual input that is considered to be relatively troublesome from the next time. .

また、特許文献2は、キー入力操作または音声入力によって自動車等の現在位置を地図と共に通知装置に通知できる走行位置表示装置を開示している。この走行位置表示装置は、音声認識手段の変換結果をキー入力手段から入力されたキーイベントと関連付けて音声コマンドとして登録する音声コマンド登録手段を備えている。これにより、ユーザの指定した任意のキー操作列を1つの音声コマンドに登録することにより、認識できる音声を拡張することができる。   Patent Document 2 discloses a traveling position display device that can notify a notification device together with a map of the current position of a car or the like by a key input operation or voice input. The travel position display device includes voice command registration means for registering the conversion result of the voice recognition means as a voice command in association with the key event input from the key input means. Thus, the recognizable voice can be expanded by registering an arbitrary key operation sequence designated by the user in one voice command.

特開2003−114698号公報JP 2003-114698 A 特開2001−117586号公報JP 2001-117586 A

しかしながら、上述した従来の音声認識装置では、手動操作に対応する音声コマンドが存在するか否かのみを判断し、手動操作で入力したコマンドが音声によっても入力可能な場合には、音声コマンドをユーザに提示するので、目的を達成するまでに複数ステップの手動操作による入力が必要となる場合に、目的を達成するまでの途中段階の各ステップで音声コマンドが提示される。その結果、ユーザが目的を達成するまでの一連の音声操作方法を理解できないという問題がある。   However, in the conventional voice recognition apparatus described above, it is determined only whether or not there is a voice command corresponding to the manual operation, and if the command input by the manual operation can be input by voice, the voice command is input to the user. Therefore, when it is necessary to input by a plurality of steps of manual operation until the purpose is achieved, a voice command is presented at each step in the middle stage until the purpose is achieved. As a result, there is a problem that a series of voice operation methods until the user achieves the purpose cannot be understood.

また、従来の音声認識装置では、手動操作に対応する音声コマンドが存在するか否かのみを判断して、ユーザに音声コマンドを提示するため、音声対話機能を有することにより音声コマンドを覚える必要がない場合であっても音声コマンドが提示される。その結果、ユーザは不要な音声コマンドを覚えてしまうという問題がある。   Further, in the conventional voice recognition device, it is necessary to memorize a voice command by having a voice dialogue function in order to determine whether or not a voice command corresponding to a manual operation exists and present the voice command to the user. Even if not, a voice command is presented. As a result, there is a problem that the user remembers unnecessary voice commands.

さらに、従来の音声認識装置では、常に全ての音声認識辞書が有効状態に設定されるため、ユーザが覚えているか、または曖昧に覚えていて試しに発話した音声コマンドを誤認識するという問題、および発話した音声コマンドが本当に存在するか否か判断できないという問題がある。   Furthermore, in the conventional speech recognition device, since all speech recognition dictionaries are always set to the valid state, there is a problem that the user remembers or misrecognizes a speech command that is ambiguously remembered and tried, and There is a problem that it cannot be determined whether or not the spoken voice command really exists.

この発明は、上述した諸問題を解消するためになされたものであり、その課題は、機器の音声操作に好適な音声コマンドをユーザに提示できる操作性に優れた音声認識装置を提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a voice recognition device with excellent operability that can present a voice command suitable for voice operation of a device to a user. is there.

この発明に係る音声認識装置は、音声を入力する音声入力手段と、音声入力手段から入力された音声を音声コマンドとして認識する音声認識手段と、手動操作により入力を行う手動入力手段と、手動入力手段の手動操作により生じた状態が所期の目的が達成された目的達成状態であるかどうかを記憶した状態管理テーブルと、手動入力手段の手動操作により生じた状態と音声入力手段から入力される音声コマンドとの対応関係を記憶した音声コマンド対応表と、手動入力手段の手動操作により順次生じた状態を状態管理テーブルの内容と照合して目的達成状態になったことを判断した時に、手動入力手段の手動操作により生じた目的達成状態に対応する音声コマンドが音声コマンド対応表に存在すれば、該音声コマンドによって手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成する制御手段と、制御手段で生成されたメッセージを出力する出力手段とを備え、制御手段は、手動入力手段が手動操作されない時間を計測するタイマ部を備え、手動入力手段の手動操作により順次生じた状態を状態管理テーブルの内容と照合して目的達成状態になったことを判断する前に、タイマ手段によって手動入力手段が一定時間以上操作されなかったことが計測された時は、その時点までに手動入力手段の手動操作により生じた状態に対応する音声コマンドが音声コマンド対応表に存在すれば、該音声コマンドによって手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成するA voice recognition apparatus according to the present invention includes a voice input means for inputting voice, a voice recognition means for recognizing a voice input from the voice input means as a voice command, a manual input means for performing manual input, and a manual input A state management table storing whether or not a state generated by manual operation of the means is a state where the intended purpose has been achieved, and a state generated by manual operation of the manual input means and input from the voice input means Manual input when the voice command correspondence table storing the correspondence with the voice command and the state sequentially generated by manual operation of the manual input means are compared with the contents of the state management table to determine that the objective has been achieved. If a voice command corresponding to the goal achievement state caused by manual operation of the means is present in the voice command correspondence table, the manual input means is set by the voice command. And a control means for generating a message indicating that can realize a function corresponding to the manual operation, and output means for outputting the messages generated by the control means, the control means measures the time the manual input means is not manually operated A timer unit for checking the state sequentially generated by manual operation of the manual input means against the contents of the state management table and determining that the target achievement state has been reached. When it is measured that no operation has been performed, if there is a voice command corresponding to a state caused by manual operation of the manual input means up to that time, the voice command corresponding to the manual input means can be manually operated by the voice command. A message indicating that the function corresponding to the operation can be realized is generated .

この発明によれば、手動操作と音声コマンドによる音声操作との両方が可能であり、所期の目的を達成するために複数回の手動操作を行った場合に、手動入力手段の手動操作により順次生じた状態が目的達成状態になった時に、その目的達成状態に対応する音声コマンドが存在すれば、該音声コマンドによって手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成して出力する。従って、目的達成状態に至る途中段階では、手動操作に対応する音声コマンドが存在しても出力されないので、ユーザは目的達成のために最適な音声コマンドを理解することができ、目的達成までの一連の音声操作方法の理解が容易になる。その結果、機器の音声操作に好適な音声コマンドをユーザに提示できる操作性に優れた音声認識装置を提供できる。また、当該音声認識装置は、目的を達成するためにリモコンを操作している途中で、一定時間以上操作されなかった場合に、その状態を目的達成状態として、その状態に至るまでの手動操作に対応する音声コマンドをユーザに提示するように構成したので、任意の状態に対しても、ユーザは手動操作に対応する音声コマンドを知ることができる。

According to the present invention, both manual operation and voice operation by voice command are possible, and when manual operation is performed a plurality of times in order to achieve the intended purpose, the manual input means sequentially performs manual operation. When the generated state becomes the goal achievement state, if there is a voice command corresponding to the goal achievement state, a message indicating that the function corresponding to the manual operation of the manual input means can be realized by the voice command is generated. Output. Accordingly, in the middle of reaching the goal achievement state, even if there is a voice command corresponding to the manual operation, it is not output. Therefore, the user can understand the voice command optimum for achieving the goal, and the series of steps until the goal is achieved. It becomes easy to understand the voice operation method. As a result, it is possible to provide a voice recognition device with excellent operability that can present a voice command suitable for voice operation of the device to the user. In addition, when the voice recognition device is not operated for a certain period of time while operating the remote control to achieve the purpose, the state is regarded as the purpose achievement state, and manual operation until reaching the state is performed. Since the corresponding voice command is presented to the user, the user can know the voice command corresponding to the manual operation for any state.

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態1.
この発明の実施の形態1に係る音声認識装置は、手動入力の途中段階では音声コマンドを提示せず、目的達成状態に至ったときにユーザに音声コマンドを提示するようにしたものである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
The voice recognition apparatus according to the first embodiment of the present invention does not present a voice command in the middle of manual input, but presents a voice command to the user when a goal achievement state is reached.

図1は、この発明の実施の形態1に係る音声認識装置の構成を示すブロック図である。この音声認識装置は、音声認識処理装置1、リモートコントローラ(以下、「リモコン」と略する)2、マイクロフォン(以下、「マイク」と略する)3、モニタ4およびスピーカ5から構成されている。   FIG. 1 is a block diagram showing a configuration of a speech recognition apparatus according to Embodiment 1 of the present invention. The speech recognition apparatus includes a speech recognition processing device 1, a remote controller (hereinafter abbreviated as “remote control”) 2, a microphone (hereinafter abbreviated as “microphone”) 3, a monitor 4 and a speaker 5.

リモコン2は、音声認識装置を手動によって操作するために使用される。このリモコン2は、キー(図示は省略する)の操作に応じて該キーに対応するキーコードを生成し、例えば赤外線により音声認識処理装置1に送る。なお、手動操作に使用する機器としては、リモコン2の代わりに、タッチパネル、押釦スイッチといった他の入力手段を用いることもできる。マイク3は、音声認識装置を音声によって操作するために使用される。このマイク3は、ユーザによって発話された音声を電気信号に変換し、アナログの音声信号として音声認識処理装置1に送る。   The remote controller 2 is used for manually operating the voice recognition device. The remote controller 2 generates a key code corresponding to the key (not shown) in response to an operation of the key (not shown), and sends the key code to the voice recognition processing device 1 by, for example, infrared rays. As a device used for manual operation, other input means such as a touch panel and a push button switch can be used instead of the remote controller 2. The microphone 3 is used for operating the voice recognition apparatus by voice. The microphone 3 converts the voice uttered by the user into an electric signal and sends it to the voice recognition processing device 1 as an analog voice signal.

モニタ4は、音声認識処理装置1から送られてくるアナログの映像信号に応じて画像やテロップを、その画面に表示する。モニタ4は、例えば液晶ディスプレイ装置やCRT装置から構成することができる。スピーカ5は、音声認識処理装置1から送られてくるアナログの音声信号に応じて音声を出力する。   The monitor 4 displays an image or a telop on its screen in accordance with the analog video signal sent from the voice recognition processing device 1. The monitor 4 can be composed of, for example, a liquid crystal display device or a CRT device. The speaker 5 outputs a sound in accordance with an analog sound signal sent from the sound recognition processing device 1.

音声認識処理装置1は、キー入力手段6、音声入力手段7、制御手段8、操作履歴保存手段9、状態管理テーブル10、音声コマンド対応表11、音声ガイド生成手段12、画面テロップ生成手段13、音声出力手段14、画面出力手段15、音声認識手段16、音声認識辞書17および認識辞書管理手段18から構成されている。この発明の手動入力手段は、キー入力手段6に対応する。また、この発明の出力手段は、音声出力手段14および画面出力手段15に対応する。   The voice recognition processing device 1 includes a key input unit 6, a voice input unit 7, a control unit 8, an operation history storage unit 9, a state management table 10, a voice command correspondence table 11, a voice guide generation unit 12, a screen telop generation unit 13, The voice output unit 14, the screen output unit 15, the voice recognition unit 16, the voice recognition dictionary 17, and the recognition dictionary management unit 18 are configured. The manual input means of the present invention corresponds to the key input means 6. The output means of the present invention corresponds to the audio output means 14 and the screen output means 15.

キー入力手段6は、リモコン2から赤外線によって送られてくるキーコードを受信してデジタルの電気信号に変換する。このキー入力手段6でデジタルの電気信号に変換されたキーコードは制御手段8に送られる。音声入力手段7は、例えばA/D変換器から構成されており、人が発話することによってマイク3で生成されたアナログの音声信号を入力し、音声認識手段16で取り扱い可能なデジタルの音声データに変換する。この音声入力手段7における変換によって得られた音声データは、音声認識手段16に送られる。   The key input means 6 receives a key code sent from the remote controller 2 by infrared rays and converts it into a digital electric signal. The key code converted into a digital electric signal by the key input means 6 is sent to the control means 8. The voice input means 7 is composed of, for example, an A / D converter, inputs an analog voice signal generated by the microphone 3 when a person speaks, and digital voice data that can be handled by the voice recognition means 16. Convert to The voice data obtained by the conversion in the voice input means 7 is sent to the voice recognition means 16.

制御手段8は、キー入力手段6、操作履歴保存手段9、状態管理テーブル10、音声コマンド対応表11、音声ガイド生成手段12、画面テロップ生成手段13、音声認識手段16および認識辞書管理手段18との間でデータを送受することにより音声認識処理装置1の全体を制御する。この制御手段8の詳細は後述する。   The control unit 8 includes a key input unit 6, an operation history storage unit 9, a state management table 10, a voice command correspondence table 11, a voice guide generation unit 12, a screen telop generation unit 13, a voice recognition unit 16, and a recognition dictionary management unit 18. The entire voice recognition processing device 1 is controlled by transmitting and receiving data between the two. Details of the control means 8 will be described later.

操作履歴保存手段9は、ユーザの手動操作によってリモコン2から送られてくるキーの操作状態や、このキーの操作に応答して実行された処理によって変更された音声認識装置の状態の履歴を保存する。この操作履歴保存手段9は、制御手段8によってアクセスされる。   The operation history storage means 9 stores a history of key operation states sent from the remote controller 2 by manual operation of the user and a state history of the voice recognition device changed by processing executed in response to the key operations. To do. The operation history storage unit 9 is accessed by the control unit 8.

状態管理テーブル10は、上述したリモコン2のキーの操作状態や音声認識装置の状態を管理するために使用される。図2は、状態管理テーブル10に記憶される情報の例を示す。この状態管理テーブル10は、音声認識装置の様々な状態(手動入力/状態)と、その状態が目的達成状態であるか否かを表す情報を記憶している。ここで、目的達成状態は、所望の情報を得るための一連の操作手順を完了した状態、例えば、目的地を設定した状態、周辺施設を選択した状態、場所または施設を表示した状態などとすることができる。図2に示す例では、目的達成状態として、目的地の設定完了により「“目的地を設定しました”テロップ表示」された状態または電話番号検索の終了により「電話番号検索の[検索]キー押下」がなされた状態が規定されている。この状態管理テーブル10は、制御手段8によってアクセスされる。   The state management table 10 is used for managing the key operation state of the remote controller 2 and the state of the voice recognition device. FIG. 2 shows an example of information stored in the state management table 10. This state management table 10 stores various states (manual input / state) of the speech recognition apparatus and information indicating whether or not the state is an objective achievement state. Here, the purpose achievement state is a state in which a series of operation procedures for obtaining desired information is completed, for example, a state in which a destination is set, a state in which peripheral facilities are selected, a state in which a place or facility is displayed, and the like. be able to. In the example shown in FIG. 2, as the goal achievement status, “Destination set” telop is displayed when the destination setting is completed, or “Search phone key for searching phone number” is pressed when the phone number search ends. "Is defined. This state management table 10 is accessed by the control means 8.

音声コマンド対応表11は、上述したリモコン2のキーの操作状態や音声認識装置の状態に対応する音声コマンドの一覧を記憶している。図3は、音声コマンド対応表11に記憶される情報の例を示す。音声コマンド対応表11は、音声認識装置の様々な状態(手動入力/状態)と、その状態を実現させるための音声コマンドが存在する場合には、その状態に対応する音声コマンドを記憶している。この音声コマンド対応表は制御手段8によって参照される。   The voice command correspondence table 11 stores a list of voice commands corresponding to the key operation state of the remote controller 2 and the state of the voice recognition device. FIG. 3 shows an example of information stored in the voice command correspondence table 11. The voice command correspondence table 11 stores various states (manual input / state) of the voice recognition device and voice commands corresponding to the states when there are voice commands for realizing the states. . This voice command correspondence table is referred to by the control means 8.

音声ガイド生成手段12は、制御手段8からの指示に応じて、スピーカ5を介して音声でユーザに提示するための音声出力データを生成する。この音声ガイド生成手段12で生成された音声出力データは、音声出力手段14に送られる。画面テロップ生成手段13は、制御手段8からの指示に応じて、モニタ4を介してテロップでユーザに提示するための画面出力データを生成する。この画面テロップ生成手段13で生成された画面出力データは、画面出力手段15に送られる。   The voice guide generation unit 12 generates voice output data to be presented to the user by voice through the speaker 5 in response to an instruction from the control unit 8. The voice output data generated by the voice guide generation unit 12 is sent to the voice output unit 14. The screen telop generation unit 13 generates screen output data to be presented to the user as a telop via the monitor 4 in accordance with an instruction from the control unit 8. The screen output data generated by the screen telop generation means 13 is sent to the screen output means 15.

音声出力手段14は、例えばD/A変換器から構成されており、音声ガイド生成手段12から送られてくる音声出力データをアナログの音声信号に変換し、スピーカ5に送る。これにより、スピーカ5から音声出力データに応じたメッセージ、つまり音声ガイドが出力される。画面出力手段15は、例えばD/A変換器から構成されており、画面テロップ生成手段13から送られてくる画面出力データをアナログの映像信号に変換し、モニタ4に送る。これにより、モニタ4に画面出力データに応じたメッセージ、つまり画面テロップを含む画像が表示される。   The audio output means 14 is composed of, for example, a D / A converter, converts the audio output data sent from the audio guide generation means 12 into an analog audio signal, and sends it to the speaker 5. Thereby, a message corresponding to the voice output data, that is, a voice guide is output from the speaker 5. The screen output means 15 is composed of, for example, a D / A converter, converts the screen output data sent from the screen telop generation means 13 into an analog video signal, and sends it to the monitor 4. As a result, a message corresponding to the screen output data, that is, an image including a screen telop is displayed on the monitor 4.

音声認識手段16は、音声認識辞書17を参照して音声認識処理を行う。この音声認識手段16は、音声入力手段7から送られてくる音声データを分析し、この分析結果と音声認識辞書17から認識辞書管理手段18を介して取得した語彙とを比較するマッチング処理を行う。このマッチング処理によって得られた認識結果は、制御手段8に送られる。音声認識辞書17は、語彙の種別によって分類された複数の認識辞書、例えば住所に使用される語彙(県名、市町村名など)を含む「住所辞書」、施設名に使用される語彙(東京タワー等)を含む「施設名辞書」、電話番号に使用される語彙(数字)を含む「電話番号辞書」などから構成されている。各認識辞書は、固有の辞書番号を有する。   The speech recognition means 16 performs speech recognition processing with reference to the speech recognition dictionary 17. The voice recognition means 16 analyzes the voice data sent from the voice input means 7 and performs a matching process for comparing the analysis result with the vocabulary acquired from the voice recognition dictionary 17 via the recognition dictionary management means 18. . The recognition result obtained by this matching process is sent to the control means 8. The speech recognition dictionary 17 includes a plurality of recognition dictionaries classified according to vocabulary types, for example, an “address dictionary” including vocabularies (prefecture names, municipalities, etc.) used for addresses, and vocabularies used for facility names (Tokyo Tower). Etc.), a “telephone number dictionary” including vocabulary (numbers) used for telephone numbers, and the like. Each recognition dictionary has a unique dictionary number.

認識辞書管理手段18は、音声認識辞書17を構成する複数の認識辞書を、辞書管理テーブル19を用いて管理する。図4は、辞書管理テーブル19に記憶される情報の例を示す。この辞書管理テーブル19は、辞書情報として、「認識語彙情報」、「辞書番号」、「辞書状態」および「最終使用日時」を記憶している。認識語彙情報は、認識辞書に含まれる複数の語彙(音声コマンド)を含む。辞書番号は、各認識辞書に付される固有の番号である。辞書状態は、有効状態または無効状態のいずれかであり、有効状態であれば、その認識辞書に対応する音声コマンドを認識できるが、無効状態であれば認識不可能である。また、最終使用日時は、認識語彙(音声コマンド)を使用した年月日であり、当該認識辞書が参照される毎に更新される。   The recognition dictionary management means 18 manages a plurality of recognition dictionaries constituting the speech recognition dictionary 17 using a dictionary management table 19. FIG. 4 shows an example of information stored in the dictionary management table 19. The dictionary management table 19 stores “recognized vocabulary information”, “dictionary number”, “dictionary state”, and “last use date” as dictionary information. The recognition vocabulary information includes a plurality of vocabularies (voice commands) included in the recognition dictionary. The dictionary number is a unique number assigned to each recognition dictionary. The dictionary state is either a valid state or an invalid state. If the dictionary state is valid, the voice command corresponding to the recognition dictionary can be recognized, but if the dictionary state is invalid, it cannot be recognized. The last use date and time is the date when the recognized vocabulary (voice command) is used, and is updated each time the recognition dictionary is referenced.

この認識辞書管理手段18は、制御手段8から送られてくる辞書切替要求に応じて、辞書管理テーブル19の辞書状態を変更して、認識対象とする1つの認識辞書を選択する。また、認識辞書管理手段18は、音声認識が行われる際に、選択された認識辞書の内容を読み出して音声認識手段16に送る。   This recognition dictionary management means 18 changes the dictionary state of the dictionary management table 19 in response to a dictionary switching request sent from the control means 8, and selects one recognition dictionary to be recognized. The recognition dictionary management means 18 reads the contents of the selected recognition dictionary and sends them to the voice recognition means 16 when voice recognition is performed.

次に、制御手段8の詳細を説明する。制御手段8は、状態管理部81、状態確認部82、音声コマンド取得部83、タイマ部84、認識辞書状態変更部85、認識辞書無効化部86および現時刻取得部87から構成されている。   Next, details of the control means 8 will be described. The control unit 8 includes a state management unit 81, a state confirmation unit 82, a voice command acquisition unit 83, a timer unit 84, a recognition dictionary state change unit 85, a recognition dictionary invalidation unit 86, and a current time acquisition unit 87.

状態管理部81は、キー入力手段6からキーコードが送られてきた場合に、そのキーコードに対応するように音声認識装置の状態を変更し、変更後の状態を操作履歴保存手段9に保存する。状態確認部82は、操作履歴保存手段9から現状態を取得し、この現状態と状態管理テーブル10に記憶されている情報とを比較し、目的達成状態であるか否かを判断する。そして、目的達成状態であれば音声コマンド取得部83に対して現状態を送り、音声コマンドの取得を指示する。一方、目的達成状態でなければタイマ部84に対して現状態を送り、時間の計測を開始させる。   When a key code is sent from the key input unit 6, the state management unit 81 changes the state of the voice recognition device so as to correspond to the key code, and stores the changed state in the operation history storage unit 9. To do. The state confirmation unit 82 acquires the current state from the operation history storage unit 9 and compares the current state with information stored in the state management table 10 to determine whether or not the state has been achieved. Then, if the objective is achieved, the current state is sent to the voice command acquisition unit 83 to instruct acquisition of the voice command. On the other hand, if the objective is not achieved, the current state is sent to the timer unit 84 to start measuring time.

音声コマンド取得部83は、状態確認部82またはタイマ部84から現状態が送られてきた場合に、その現状態に対応する音声コマンドを、音声コマンド対応表11から取得する。そして、音声コマンド対応表11から取得した音声コマンドを音声ガイド生成手段12および画面テロップ生成手段13へ送る。また、音声コマンド取得部83は、音声コマンド対応表11から取得した音声コマンドを認識辞書状態変更部85に送る。   When the current state is sent from the state confirmation unit 82 or the timer unit 84, the voice command acquisition unit 83 acquires a voice command corresponding to the current state from the voice command correspondence table 11. Then, the voice command acquired from the voice command correspondence table 11 is sent to the voice guide generation unit 12 and the screen telop generation unit 13. Further, the voice command acquisition unit 83 sends the voice command acquired from the voice command correspondence table 11 to the recognition dictionary state change unit 85.

タイマ部84は、リモコン2からキー入力がない状態の継続時間を計測する。このタイマ部84は、タイマ作動中でもキー入力手段6を監視する。そして、タイマ作動中にキー入力があれば計測を停止する。一方、タイマ作動中にキー入力がなければ、状態確認部82から受け取った現状態を音声コマンド取得部83に送る。   The timer unit 84 measures the duration time when there is no key input from the remote controller 2. The timer unit 84 monitors the key input means 6 even when the timer is operating. If there is a key input during the timer operation, the measurement is stopped. On the other hand, if there is no key input during the timer operation, the current state received from the state confirmation unit 82 is sent to the voice command acquisition unit 83.

認識辞書状態変更部85は、音声コマンド取得部83から送られてくる音声コマンドを含む認識辞書を特定し、その特定された認識辞書に切り替えるように辞書切替要求を認識辞書管理手段18に送る。認識辞書無効化部86は、音声認識装置の起動後に、未使用辞書を無効状態に変更するための要求を、認識辞書管理手段18に送る。現時刻取得部87は、図示しない時計から現在の時刻(年月日)を取得し、認識辞書管理手段18に送る。   The recognition dictionary state change unit 85 specifies a recognition dictionary that includes the voice command sent from the voice command acquisition unit 83, and sends a dictionary switching request to the recognition dictionary management unit 18 so as to switch to the specified recognition dictionary. The recognition dictionary invalidation unit 86 sends a request for changing the unused dictionary to the invalid state after the speech recognition apparatus is activated, to the recognition dictionary management means 18. The current time acquisition unit 87 acquires the current time (year / month / day) from a clock (not shown) and sends it to the recognition dictionary management means 18.

次に、上記のように構成される、この発明の実施の形態1に係る音声認識装置の動作を説明する。なお、以下では、この音声認識装置がカーナビゲーションシステム(以下、「カーナビ」と略する)に適用された場合を例に挙げて説明する。   Next, the operation of the speech recognition apparatus according to Embodiment 1 of the present invention configured as described above will be described. In the following description, a case where the speech recognition apparatus is applied to a car navigation system (hereinafter abbreviated as “car navigation”) will be described as an example.

まず、カーナビの施設検索機能を用いて検索した○○公園を目的地として設定する場合の手動操作の手順を、図5を参照しながら説明する。この場合、図5に示すように、[メニュー]キー押下(ステップ1)→[目的地を設定する]を選択(ステップ2)→[名称から設定]を選択(ステップ3)→[○○公園]と入力(ステップ4)→[リスト]を選択(ステップ5)→名称を選択(ステップ6)→[実行]キー押下(ステップ7)、といった7回の手動入力が必要となる。   First, a manual operation procedure for setting a XX park searched using the facility search function of the car navigation system as a destination will be described with reference to FIG. In this case, as shown in FIG. 5, the [Menu] key is pressed (Step 1) → [Set destination] is selected (Step 2) → [Set from name] is selected (Step 3) → [XX Park ] (Step 4)-> select [list] (step 5)-> select name (step 6)-> press [execute] key (step 7).

上記手動操作の手順では、例えばステップ1の「[メニュー]キー押下」に対応する音声コマンド「メニュー画面」が存在し、「メニュー画面」と発話すれば“[メニュー]キー押下”と同じ動作を実現できるが、目的を達成する途中段階の操作であるため音声コマンドは提示されない。この発明の実施の形態1に係る音声認識装置では、上記のような手動操作に対しては、ステップ7の「[実行]キー押下」によって目的地の設定を終了後に、例えば『音声では、「○○公園」→「目的地に設定」と発話して操作できます』のようなメッセージがユーザに提示される。   In the above-described manual operation procedure, for example, there is a voice command “menu screen” corresponding to “press the [menu] key” in step 1, and if “menu screen” is spoken, the same operation as “pressing the [menu] key” is performed. Although it can be realized, since it is an operation in the middle of achieving the purpose, no voice command is presented. In the speech recognition apparatus according to the first embodiment of the present invention, for the above-described manual operation, for example, “For voice,“ A message such as “You can operate by speaking“ ○ Park ”→“ Set as destination ”” is presented to the user.

次に、上述した機能を実現するための音声認識装置の動作を、図6に示すフローチャートを参照しながら説明する。   Next, the operation of the speech recognition apparatus for realizing the above-described function will be described with reference to the flowchart shown in FIG.

電源投入により音声認識装置が起動されると、まず、キー入力があるかどうかが調べられる(ステップST1)。具体的には、制御手段8の状態管理部81は、キー入力手段6からキーコードが送られてきたかどうかを調べる。このステップST1でキー入力がないことが判断されると、このステップST1を一定の周期で繰り返し実行しながら待機状態に入る。そして、このステップST1の繰り返し実行による待機状態で、キー入力があることが判断されると、手動入カコマンドC1が取得される(ステップST2)。   When the voice recognition device is activated by turning on the power, it is first checked whether or not there is a key input (step ST1). Specifically, the state management unit 81 of the control unit 8 checks whether a key code is sent from the key input unit 6. If it is determined in step ST1 that there is no key input, a standby state is entered while step ST1 is repeatedly executed at a constant cycle. When it is determined that there is a key input in a standby state by repeatedly executing step ST1, a manual input command C1 is acquired (step ST2).

次いで、状態管理部81から現在の状態が取得され、初期状態Q1とされる(ステップST3)。次いで、ステップST3で取得された初期状態Q1が操作履歴保存手段9に保存され(ステップST4)、受け付けた手動入カコマンドに対する処理が行われる(ステップST5)。例えば、手動入カコマンドがメニューキーの押下を表している場合は、それに対する処理としてメニュー画面を表示させる処理が行われる。このように、コマンドに対する処理によって状態が変化するため、次いで、状態管理テーブル10から現在の状態が取得され、現状態Q2とされる(ステップST6)。そして、手動入カコマンドC1と現状態Q2とが操作履歴保存手段9に保存される(ステップST7)。   Next, the current state is acquired from the state management unit 81 and is set to the initial state Q1 (step ST3). Next, the initial state Q1 acquired in step ST3 is stored in the operation history storage means 9 (step ST4), and processing for the received manual input command is performed (step ST5). For example, when the manual input command indicates pressing of the menu key, a process for displaying a menu screen is performed as a process corresponding thereto. As described above, since the state is changed by processing for the command, the current state is acquired from the state management table 10 and is set to the current state Q2 (step ST6). Then, the manual input command C1 and the current state Q2 are stored in the operation history storing means 9 (step ST7).

次いで、現状態Q2が目的達成状態であるか否かが調べられる(ステップST8)。すなわち、状態確認部82は、操作履歴保存手段9から現状態Q2を取得し、状態管理テーブル10に記憶されている情報(図2参照)を参照して、現状態Q2が目的達成状態であるか否か(目的達成状態が○または×か)判断する。このステップST8で、目的達成状態でないことが判断されると、次の手動入力を待つために、シーケンスはステップST1に戻る。一方、ステップST8で、目的達成状態であることが判断されると、状態確認部82は、現状態Q2を音声コマンド取得部83に渡し、音声コマンドを提示させる必要があるか否かを判断するためにステップST9に進む。   Next, it is checked whether or not the current state Q2 is a goal achievement state (step ST8). That is, the state confirmation unit 82 acquires the current state Q2 from the operation history storage unit 9, and refers to the information (see FIG. 2) stored in the state management table 10, so that the current state Q2 is the goal achievement state. (Whether the goal achievement state is ○ or ×). If it is determined in step ST8 that the objective is not achieved, the sequence returns to step ST1 in order to wait for the next manual input. On the other hand, if it is determined in step ST8 that the objective is achieved, the state confirmation unit 82 passes the current state Q2 to the voice command acquisition unit 83 and determines whether or not it is necessary to present the voice command. Therefore, the process proceeds to step ST9.

ステップST9においては、手動入力に対応する音声コマンドがあるかどうかが調べられる。具体的には、操作履歴保存手段9に保存されている手動操作に対応する音声コマンドが存在するか否かが、手動操作とそれに対応する音声コマンドの一覧が記載されている音声コマンド対応表11(図3参照)を用いて判断される。このステップST9において、手動操作に対応する音声コマンドがないことが判断されると、シーケンスはステップST13へ進む。   In step ST9, it is checked whether there is a voice command corresponding to manual input. Specifically, whether or not there is a voice command corresponding to the manual operation stored in the operation history storage means 9 is a voice command correspondence table 11 in which a list of the manual operation and the corresponding voice command is described. (See FIG. 3). If it is determined in step ST9 that there is no voice command corresponding to the manual operation, the sequence proceeds to step ST13.

一方、ステップST9において、手動入力に対応する音声コマンドがあることが判断されると、その音声コマンドが音声コマンド対応表11から取得される(ステップST10)。すなわち、音声コマンド取得部83は、現状態Q2に対応する音声コマンドを音声コマンド対応表11から取得する。次いで、音声ガイド生成手段12で音声ガイドが生成され、画面テロップ生成手段13で画面テロップが生成される(ステップST11)。次いで、音声出力手段14で生成された音声ガイドと画面出力手段15で生成された画面テロップがスピーカ5およびモニタ4にそれぞれ送られ、ユーザに提示される(ステップST12)。その後、操作履歴が初期化される(ステップST13)。具体的には、初期状態Q1、現状態Q2、手動入カコマンドC1といった操作履歴が初期化される。   On the other hand, if it is determined in step ST9 that there is a voice command corresponding to manual input, the voice command is acquired from the voice command correspondence table 11 (step ST10). That is, the voice command acquisition unit 83 acquires a voice command corresponding to the current state Q2 from the voice command correspondence table 11. Next, a voice guide is generated by the voice guide generation means 12, and a screen telop is generated by the screen telop generation means 13 (step ST11). Next, the voice guide generated by the voice output unit 14 and the screen telop generated by the screen output unit 15 are respectively sent to the speaker 5 and the monitor 4 and presented to the user (step ST12). Thereafter, the operation history is initialized (step ST13). Specifically, the operation history such as the initial state Q1, the current state Q2, and the manual input command C1 is initialized.

以上説明したように、この発明の実施の形態1に係る音声認識装置によれば、手動操作と音声コマンドによる音声操作との両方が可能であり、所期の目的を達成するために複数回の手動操作を行った場合に、リモコン2の手動操作により順次生じた状態が状態管理テーブル10を参照することにより目的達成状態になったことが判断された時に、その目的達成状態に対応する音声コマンドが音声コマンド対応表11に存在すれば、その音声コマンドによってリモコン2の手動操作に対応する機能を実現できる旨を表すメッセージ(音声ガイドと画面テロップ)を生成して出力する。従って、目的達成状態に至る途中段階では、手動操作に対応する音声コマンドが存在しても出力されないので、ユーザは目的達成のために最適な音声コマンドを理解することができ、目的達成までの一連の音声操作方法の理解が容易になる。その結果、機器の音声操作に好適な音声コマンドをユーザに提示できる操作性に優れた音声認識装置を提供できる。   As described above, according to the voice recognition device according to the first embodiment of the present invention, both manual operation and voice operation using a voice command are possible, and a plurality of times are performed in order to achieve the intended purpose. When manual operation is performed, when it is determined that the states sequentially generated by manual operation of the remote controller 2 have reached the objective achievement state by referring to the state management table 10, the voice command corresponding to the objective achievement state Is present in the voice command correspondence table 11, a message (voice guide and screen telop) indicating that a function corresponding to manual operation of the remote controller 2 can be realized by the voice command is generated and output. Accordingly, in the middle of reaching the goal achievement state, even if there is a voice command corresponding to the manual operation, it is not output. Therefore, the user can understand the voice command optimum for achieving the goal, and the series of steps until the goal is achieved. It becomes easy to understand the voice operation method. As a result, it is possible to provide a voice recognition device with excellent operability that can present a voice command suitable for voice operation of the device to the user.

実施の形態2.
この発明の実施の形態2に係る音声認識装置は、目的を達成するためにリモコン2を操作している途中で、一定時間以上操作されなかった場合に、目的達成状態に至ったものとみなしてユーザにメッセージを提示するようにしたものである。
Embodiment 2. FIG.
The speech recognition apparatus according to the second embodiment of the present invention is regarded as having achieved the objective when it has not been operated for a certain period of time while operating the remote controller 2 to achieve the objective. A message is presented to the user.

この発明の実施の形態2に係る音声認識装置の構成は、上述した実施の形態1に係る音声認識装置の構成と同じである。   The configuration of the speech recognition apparatus according to Embodiment 2 of the present invention is the same as the configuration of the speech recognition apparatus according to Embodiment 1 described above.

次に、この発明の実施の形態2に係る音声認識装置の動作を、図7に示すフローチャートを参照しながら説明する。なお、実施の形態1に係る音声認識装置と同一の処理が行われるステップには、図6のフローチャートで使用した符号と同一の符号を付して説明を省略する。   Next, the operation of the speech recognition apparatus according to Embodiment 2 of the present invention will be described with reference to the flowchart shown in FIG. Note that steps in which the same processing as in the speech recognition apparatus according to Embodiment 1 is performed are denoted by the same reference numerals as those used in the flowchart of FIG.

ステップST8で、目的達成状態であることが判断されると、上述したように、音声コマンドを提示させる必要があるか否かを判断するためにステップST9に進む。一方、ステップST8で、目的達成状態でないことが判断されると、まず、タイマ部84が初期化される(ステップST14)。具体的には、タイマ部84のカウント値Tがゼロに設定される。次いで、タイマ部84におけるカウントが開始される(ステップST15)。すなわち、状態確認部82は、タイマ部84に現状態Q2を渡してカウントを開始させる。   If it is determined in step ST8 that the objective is achieved, the process proceeds to step ST9 to determine whether or not it is necessary to present a voice command as described above. On the other hand, if it is determined in step ST8 that the objective is not achieved, first, the timer unit 84 is initialized (step ST14). Specifically, the count value T of the timer unit 84 is set to zero. Next, the timer unit 84 starts counting (step ST15). That is, the state confirmation unit 82 passes the current state Q2 to the timer unit 84 and starts counting.

次いで、キー入力があるかどうかが調べられる(ステップST16)。このステップST16の処理は、ステップST1の処理と同じである。このステップST16において、キー入力があることが判断されると、目的を達成するための次の操作がなされたことが認識され、シーケンスはステップST2に戻る。一方、ステップST16において、キー入力がないことが判断されると、次いで、カウント値Tは5秒(sec)以上になったかどうかが調べられる(ステップST17)。ここで、カウント値Tが5秒以上になっていないことが判断されると、シーケンスはステップST16に戻り、上述した処理が繰り返される。そして、この繰り返し実行の途中で、ステップST17において、カウント値Tが5秒以上になったことが判断されると、現状態をユーザの目的達成状態と認識し、シーケンスはステップST9に進む。   Next, it is checked whether there is a key input (step ST16). The process in step ST16 is the same as the process in step ST1. If it is determined in step ST16 that there is a key input, it is recognized that the next operation for achieving the purpose has been performed, and the sequence returns to step ST2. On the other hand, if it is determined in step ST16 that there is no key input, it is then checked whether the count value T has reached 5 seconds (sec) or more (step ST17). Here, if it is determined that the count value T is not 5 seconds or more, the sequence returns to step ST16, and the above-described processing is repeated. In the course of this repeated execution, if it is determined in step ST17 that the count value T has reached 5 seconds or more, the current state is recognized as the user's goal achievement state, and the sequence proceeds to step ST9.

以上説明したように、この発明の実施の形態2に係る音声認識装置によれば、目的を達成するためにリモコン2を操作している途中で、一定時間以上操作されなかった場合に、その状態を目的達成状態として、その状態に至るまでの手動操作に対応する音声コマンドをユーザに提示するように構成したので、任意の状態に対しても、ユーザは手動操作に対応する音声コマンドを知ることができる。   As described above, according to the speech recognition apparatus according to the second embodiment of the present invention, when the remote controller 2 is operated for a certain time during the operation of the remote controller 2 to achieve the object, As a goal achievement state, the voice command corresponding to the manual operation up to that state is presented to the user, so that the user knows the voice command corresponding to the manual operation for any state. Can do.

実施の形態3.
この発明の実施の形態3に係る音声認識装置は、音声対話機能を有する場合は、必要な音声コマンドのみをユーザに提示するようにしたものである。
Embodiment 3 FIG.
When the voice recognition apparatus according to the third embodiment of the present invention has a voice dialogue function, only the necessary voice commands are presented to the user.

この発明の実施の形態3に係る音声認識装置の構成は、上述した実施の形態1に係る音声認識装置の構成と同じである。ただし、制御手段8は、音声対話機能を有するものとする。なお、音声対話機能を実現するための構成および動作は周知であるので、説明を省略する。   The configuration of the speech recognition apparatus according to Embodiment 3 of the present invention is the same as that of the speech recognition apparatus according to Embodiment 1 described above. However, the control means 8 shall have a voice interaction function. In addition, since the structure and operation | movement for implement | achieving a voice interaction function are known, description is abbreviate | omitted.

次に、この発明の実施の形態3に係る音声認識装置の動作を説明する。なお、以下では、この音声認識装置がカーナビに適用され、電話番号を検索する場合を例に挙げて説明する。この音声認識装置の動作は、図1のフローチャートを参照して説明した動作と同じである。   Next, the operation of the speech recognition apparatus according to Embodiment 3 of the present invention will be described. In the following description, a case where the voice recognition apparatus is applied to a car navigation system and a telephone number is searched will be described as an example. The operation of this speech recognition apparatus is the same as the operation described with reference to the flowchart of FIG.

手動操作で電話番号を検索する場合は、図8に示すように、[メニュー]キー押下(ステップ1)→[場所・施設を探す]を選択(ステップ2)→[電話番号から設定]を選択(ステップ3)→[電話番号]を入力(ステップ4)→[検索]キー押下(ステップ5)という手順で進められる。そして、ステップ5で[検索]キーが押下されると、電話番号検索の[検索]キー押下は、図2に示すように、目的達成状態を表しており、その電話番号検索の[検索]キー押下に対応する音声コマンドは、図3に示すように、「電話番号検索」であるので、例えば、『音声では、「電話番号検索」と発話して操作できます』のようなメッセージがユーザに提示される。   When searching for a phone number by manual operation, as shown in FIG. 8, press the [Menu] key (step 1) → select [Find a place / facility] (step 2) → select [Set from phone number] (Step 3) → [Phone number] is input (Step 4) → [Search] key is pressed (Step 5). Then, when the [Search] key is pressed in step 5, the pressing of the [Search] key in the telephone number search represents a goal achievement state as shown in FIG. As shown in FIG. 3, the voice command corresponding to the press is “telephone number search”. For example, a message such as “voice can be operated by speaking“ telephone number search ”” is displayed to the user. Presented.

従って、次回に音声操作で電話番号を検索する場合は、図9に示すように、「電話番号検索」と発話(ステップ1)→『電話番号をお話ください』というガイダンス(ステップ2)→電話番号発話(ステップ3)→『検索または修正とお話ください』というガイダンス(ステップ4)→「検索」と発話(ステップ5)という音声対話の手順で進めることができる。   Therefore, when searching for a telephone number by voice operation next time, as shown in FIG. 9, “telephone number search” and utterance (step 1) → “speak phone number” guidance (step 2) → phone number Speech (Step 3) → Guidance (Step 4) “Speak with search or correction” → Procedure of voice dialogue “Search” and speech (Step 5).

このように、手動操作のステップ5に[検索]キー押下に対応する音声コマンド「検索」が存在するので、「検索」と発話すれば“[検索]キー押下”と同じ動作を実現できるが、この音声認識装置では、音声ガイダンス『検索または修正とお話ください』に従って入力すればよいので、発話すべき語彙(「検索」)や発話のタイミングを知らなくても電話番号検索を開始させることができる。   As described above, since the voice command “search” corresponding to pressing of the [search] key exists in step 5 of the manual operation, the same operation as “pressing the [search] key” can be realized by speaking “search”. In this voice recognition device, it is only necessary to input according to the voice guidance “Speak or search,” so that phone number search can be started without knowing the vocabulary to be spoken (“search”) and the timing of the utterance. .

以上説明したように、この発明の実施の形態3に係る音声認識装置によれば、音声認識装置が音声認識機能を有する場合は、音声対話の開始に必要な音声コマンドのみがユーザに提示されるので、ユーザは不要な音声コマンドを覚える必要がない。   As described above, according to the voice recognition device according to the third embodiment of the present invention, when the voice recognition device has the voice recognition function, only the voice command necessary for starting the voice dialogue is presented to the user. Therefore, the user does not need to learn unnecessary voice commands.

実施の形態4.
この発明の実施の形態4に係る音声認識装置は、ユーザに提示した音声コマンドに対応する認識辞書のみを有効状態にするようにしたものである。
Embodiment 4 FIG.
In the speech recognition apparatus according to Embodiment 4 of the present invention, only the recognition dictionary corresponding to the speech command presented to the user is enabled.

この発明の実施の形態4に係る音声認識装置の構成は、上述した実施の形態1に係る音声認識装置の構成と同じである。   The configuration of the speech recognition apparatus according to Embodiment 4 of the present invention is the same as that of the speech recognition apparatus according to Embodiment 1 described above.

次に、この発明の実施の形態4に係る音声認識装置の動作を、図10に示すフローチャートを参照しながら説明する。なお、実施の形態1に係る音声認識装置と同一の処理が行われるステップには、図6のフローチャートで使用した符号と同一の符号を付して説明を省略する。なお、初期状態では、音声認識辞書17を構成する複数の認識辞書の全ては無効状態にされているものとする。   Next, the operation of the speech recognition apparatus according to Embodiment 4 of the present invention will be described with reference to the flowchart shown in FIG. Note that steps in which the same processing as in the speech recognition apparatus according to Embodiment 1 is performed are denoted by the same reference numerals as those used in the flowchart of FIG. In the initial state, it is assumed that all of the plurality of recognition dictionaries constituting the speech recognition dictionary 17 are in an invalid state.

ステップST12において、音声出力手段14で生成された音声ガイドと画面出力手段15で生成された画面テロップがスピーカ5およびモニタ4にそれぞれ送られ、ユーザに提示されると、次いで、提示した音声コマンドに対応する認識辞書が認識辞書管理手段18から検出される(ステップST18)。次いで、認識辞書の状態が取得される(ステップST19)。次いで、ステップST18で検出された認識辞書が無効状態であるか否かが調べられる(ステップST20)。このステップST20で、無効状態でない、つまり有効状態であると判断された場合は、シーケンスはステップST13へ進む。   In step ST12, the voice guide generated by the voice output unit 14 and the screen telop generated by the screen output unit 15 are respectively sent to the speaker 5 and the monitor 4 and presented to the user. A corresponding recognition dictionary is detected from the recognition dictionary management means 18 (step ST18). Next, the state of the recognition dictionary is acquired (step ST19). Next, it is checked whether or not the recognition dictionary detected in step ST18 is in an invalid state (step ST20). If it is determined in step ST20 that the state is not invalid, that is, the state is valid, the sequence proceeds to step ST13.

上記ステップST20において、無効状態であると判断された場合は、ユーザに提示した音声コマンドを利用できるようにするために、その音声コマンドに対応する認識辞書の状態が無効状態から有効状態に変更される(ステップST21)。そして、有効状態に変更した認識辞書の情報が初期化される(ステップST22)。具体的には、辞書管理テーブル19の最終使用日時が、認識辞書を有効状態にした日付、つまり現時刻取得部87で取得された時刻(年月日)に変更される。その後、シーケンスはステップST13に進む。   If it is determined in step ST20 that the voice command is invalid, the recognition dictionary status corresponding to the voice command is changed from the invalid status to the valid status so that the voice command presented to the user can be used. (Step ST21). Then, the information of the recognition dictionary changed to the valid state is initialized (step ST22). Specifically, the last use date and time of the dictionary management table 19 is changed to the date when the recognition dictionary is enabled, that is, the time (year / month / day) acquired by the current time acquisition unit 87. Thereafter, the sequence proceeds to step ST13.

以上説明したように、この発明の実施の形態4に係る音声認識装置によれば、初期状態では、音声コマンドを認識するための認識辞書を全て無効状態としておき、ユーザに提示した音声コマンドに対応する認識辞書のみを有効状態にし、その後に利用できるようにしたので、無効状態の認識辞書は利用できず、ユーザは認識率が高い状態で音声コマンドを利用することができる。また、利用可能な音声入カコマンドがユーザに対して明確になるため、ユーザが発話した音声コマンドが認識されなかった場合に、発話した音声コマンドが存在しないのか、または誤認識されたのか判断できないという状況の発生を回避することができる。   As described above, according to the voice recognition device according to the fourth embodiment of the present invention, in the initial state, all the recognition dictionaries for recognizing the voice command are set in the invalid state and correspond to the voice command presented to the user. Since only the recognition dictionary to be activated is enabled and can be used thereafter, the recognition dictionary in the invalid state cannot be used, and the user can use the voice command with a high recognition rate. In addition, since the voice input command that can be used becomes clear to the user, if the voice command spoken by the user is not recognized, it cannot be determined whether the voice command spoken does not exist or has been misrecognized. The occurrence of the situation can be avoided.

実施の形態5.
この発明の実施の形態5に係る音声認識装置は、実施の形態4に係る音声認識装置において、有効状態にした認識辞書が一定期間使用されなかった場合、無効状態にするようにしたものである。
Embodiment 5 FIG.
The speech recognition apparatus according to Embodiment 5 of the present invention is such that, in the speech recognition apparatus according to Embodiment 4, when the activated recognition dictionary is not used for a certain period of time, the speech recognition apparatus is disabled. .

この発明の実施の形態5に係る音声認識装置の構成は、上述した実施の形態1に係る音声認識装置の構成と同じである。   The configuration of the speech recognition apparatus according to Embodiment 5 of the present invention is the same as that of the speech recognition apparatus according to Embodiment 1 described above.

次に、この発明の実施の形態5に係る音声認識装置の動作を、図11に示すフローチャートを参照しながら説明する。なお、実施の形態4に係る音声認識装置と同一の処理が行われるステップには、図10のフローチャートで使用した符号と同一の符号を付して説明を省略する。   Next, the operation of the speech recognition apparatus according to Embodiment 5 of the present invention will be described with reference to the flowchart shown in FIG. Note that steps in which the same processing as that of the speech recognition apparatus according to the fourth embodiment is performed are denoted by the same reference numerals as those used in the flowchart of FIG.

電源投入により音声認識装置が起動されると、まず、長期間(例えば6月間)未使用の認識辞書が抽出される(ステップST23)。すなわち、認識辞書管理手段18の辞書管理テーブル19から各認識辞書の辞書情報を取得され、この辞書情報に含まれる最終使用日時を参照することにより長期間使用されていない認識辞書が抽出される。次いで、抽出された認識辞書の状態が有効状態から無効状態へ変更される(ステップST24)。すなわち、制御手段8の認識辞書無効化部86は、認識辞書管理手段18に対し、抽出された認識辞書を無効状態に変更すべき旨を指示する認識辞書状態変更要求を送る。これにより、有効状態にされた認識辞書が一定期間使用されなかった場合に無効状態にされて利用不可能にされる。その後、シーケンスはステップST1に進む。   When the speech recognition apparatus is activated by turning on the power, first, a recognition dictionary that is unused for a long period (for example, for six months) is extracted (step ST23). That is, the dictionary information of each recognition dictionary is acquired from the dictionary management table 19 of the recognition dictionary management means 18, and a recognition dictionary that has not been used for a long time is extracted by referring to the last use date and time included in this dictionary information. Next, the state of the extracted recognition dictionary is changed from the valid state to the invalid state (step ST24). That is, the recognition dictionary invalidation unit 86 of the control unit 8 sends a recognition dictionary state change request that instructs the recognition dictionary management unit 18 to change the extracted recognition dictionary to an invalid state. Thereby, when the recognition dictionary made into the valid state is not used for a certain period, it is made invalid and cannot be used. Thereafter, the sequence proceeds to step ST1.

以上説明したように、この発明の実施の形態5に係る音声認識装置によれば、有効状態にした認識辞書が一定期間使用されなかった場合は無効状態にされるので、ユーザが頻繁に利用する音声コマンドの認識率が高くなる。   As described above, according to the speech recognition apparatus according to the fifth embodiment of the present invention, the recognition dictionary that has been validated is invalidated when it is not used for a certain period of time. The recognition rate for voice commands increases.

この発明の実施の形態1に係る音声認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the speech recognition apparatus which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る音声認識装置で使用される状態管理テーブルの記憶内容を示す図である。It is a figure which shows the memory content of the state management table used with the speech recognition apparatus which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る音声認識装置で使用される音声コマンド対応表の記憶内容を示す図である。It is a figure which shows the memory content of the audio | voice command corresponding table used with the speech recognition apparatus which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る音声認識装置で使用される辞書管理テーブルの記憶内容を示す図である。It is a figure which shows the memory content of the dictionary management table used with the speech recognition apparatus which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る音声認識装置の手動操作の手順を説明するための図である。It is a figure for demonstrating the procedure of the manual operation of the speech recognition apparatus which concerns on Embodiment 1 of this invention. この発明の実施の形態1に係る音声認識装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the speech recognition apparatus which concerns on Embodiment 1 of this invention. この発明の実施の形態2に係る音声認識装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the speech recognition apparatus which concerns on Embodiment 2 of this invention. この発明の実施の形態3に係る音声認識装置の手動操作の手順を説明するための図である。It is a figure for demonstrating the procedure of the manual operation of the speech recognition apparatus which concerns on Embodiment 3 of this invention. この発明の実施の形態3に係る音声認識装置の音声操作の手順を説明するための図である。It is a figure for demonstrating the procedure of the voice operation of the speech recognition apparatus which concerns on Embodiment 3 of this invention. この発明の実施の形態4に係る音声認識装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the speech recognition apparatus which concerns on Embodiment 4 of this invention. この発明の実施の形態5に係る音声認識装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the speech recognition apparatus which concerns on Embodiment 5 of this invention.

符号の説明Explanation of symbols

1 音声認識処理装置、2 リモコン、3 マイク、4 モニタ、5 スピーカ、6 キー入力手段、7 音声入力手段、8 制御手段、9 操作履歴保存手段、10 状態管理テーブル、11 音声コマンド対応表、12 音声ガイド生成手段、13 画面テロップ生成手段、14 音声出力手段、15 画面出力手段、16 音声認識手段、17 音声認識辞書、18 認識辞書管理手段、19 辞書管理テーブル、81 状態管理部、82 状態確認部、83 音声コマンド取得部、84 タイマ部、85 認識辞書状態変更部、86 認識辞書無効化部、87 現時刻取得部。   DESCRIPTION OF SYMBOLS 1 Voice recognition processing apparatus, 2 Remote control, 3 Microphone, 4 Monitor, 5 Speaker, 6 Key input means, 7 Voice input means, 8 Control means, 9 Operation history storage means, 10 State management table, 11 Voice command correspondence table, 12 Voice guide generation means, 13 screen telop generation means, 14 voice output means, 15 screen output means, 16 voice recognition means, 17 voice recognition dictionary, 18 recognition dictionary management means, 19 dictionary management table, 81 status management section, 82 status check Part, 83 voice command acquisition part, 84 timer part, 85 recognition dictionary state change part, 86 recognition dictionary invalidation part, 87 current time acquisition part.

Claims (4)

音声を入力する音声入力手段と、
前記音声入力手段から入力された音声を音声コマンドとして認識する音声認識手段と、
手動操作により入力を行う手動入力手段と、
前記手動入力手段の手動操作により生じた状態が所期の目的が達成された目的達成状態であるかどうかを記憶した状態管理テーブルと、
前記手動入力手段の手動操作により生じた状態と前記音声入力手段から入力される音声コマンドとの対応関係を記憶した音声コマンド対応表と、
前記手動入力手段の手動操作により順次生じた状態を前記状態管理テーブルの内容と照合して目的達成状態になったことを判断した時に、前記手動入力手段の手動操作により生じた目的達成状態に対応する音声コマンドが前記音声コマンド対応表に存在すれば、該音声コマンドによって前記手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成する制御手段と、
前記制御手段で生成されたメッセージを出力する出力手段
とを備え、
前記制御手段は、
前記手動入力手段が手動操作されない時間を計測するタイマ部を備え、
前記手動入力手段の手動操作により順次生じた状態を状態管理テーブルの内容と照合して目的達成状態になったことを判断する前に、前記タイマ手段によって手動入力手段が一定時間以上操作されなかったことが計測された時は、その時点までに前記手動入力手段の手動操作により生じた状態に対応する音声コマンドが前記音声コマンド対応表に存在すれば、該音声コマンドによって前記手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成することを特徴とする音声認識装置。
Voice input means for inputting voice;
Voice recognition means for recognizing the voice input from the voice input means as a voice command;
Manual input means for inputting manually,
A state management table storing whether or not the state generated by manual operation of the manual input means is a state where the intended purpose has been achieved;
A voice command correspondence table storing a correspondence relationship between a state generated by manual operation of the manual input means and a voice command input from the voice input means;
Corresponds to the goal achievement state caused by manual operation of the manual input means when it is judged that the goal achievement state has been reached by comparing the state sequentially generated by manual operation of the manual input means with the contents of the state management table Control means for generating a message indicating that the function corresponding to the manual operation of the manual input means can be realized by the voice command if the voice command to be present exists in the voice command correspondence table;
Output means for outputting a message generated by the control means
And
The control means includes
A timer section for measuring a time during which the manual input means is not manually operated,
The manual input means has not been operated by the timer means for a certain period of time before determining that the objective achievement state has been reached by comparing the states sequentially generated by manual operation of the manual input means with the contents of the state management table. If the voice command corresponding to the state generated by the manual operation of the manual input means is present in the voice command correspondence table up to that time, the manual operation of the manual input means is performed according to the voice command. features and to Ruoto voice recognition system to generate a message indicating that can realize a function corresponding to the.
音声を入力する音声入力手段と、
前記音声入力手段から入力された音声を音声コマンドとして認識する音声認識手段と、
手動操作により入力を行う手動入力手段と、
前記手動入力手段の手動操作により生じた状態が所期の目的が達成された目的達成状態であるかどうかを記憶した状態管理テーブルと、
前記手動入力手段の手動操作により生じた状態と前記音声入力手段から入力される音声コマンドとの対応関係を記憶した音声コマンド対応表と、
前記手動入力手段の手動操作により順次生じた状態を前記状態管理テーブルの内容と照合して目的達成状態になったことを判断した時に、前記手動入力手段の手動操作により生じた目的達成状態に対応する音声コマンドが前記音声コマンド対応表に存在すれば、該音声コマンドによって前記手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成する制御手段と、
前記制御手段で生成されたメッセージを出力する出力手段
とを備え、
前記制御手段は、音声対話機能を有し、
前記手動入力手段の手動操作により順次生じた状態を前記状態管理テーブルの内容と照合して目的達成状態になったことを判断した時に、前記手動入力手段の手動操作に対応する機能を実現できる音声対話の開始に必要な音声コマンドのみを提示するメッセージを生成することを特徴とする音声認識装置。
Voice input means for inputting voice;
Voice recognition means for recognizing the voice input from the voice input means as a voice command;
Manual input means for inputting manually,
A state management table storing whether or not the state generated by manual operation of the manual input means is a state where the intended purpose has been achieved;
A voice command correspondence table storing a correspondence relationship between a state generated by manual operation of the manual input means and a voice command input from the voice input means;
Corresponds to the goal achievement state caused by manual operation of the manual input means when it is judged that the goal achievement state has been reached by comparing the state sequentially generated by manual operation of the manual input means with the contents of the state management table Control means for generating a message indicating that the function corresponding to the manual operation of the manual input means can be realized by the voice command if the voice command to be present exists in the voice command correspondence table;
Output means for outputting a message generated by the control means
And
The control means has a voice interaction function,
When it is determined that it is now the purpose achieving state sequentially resulting state by manual operation of said manual input means against the contents of the state management table, it is possible to realize a function corresponding to the manual operation of the pre-Symbol manual input means features and to Ruoto voice recognition system to generate a message to be presented only voice commands necessary to initiate the voice conversation.
音声を入力する音声入力手段と、
前記音声入力手段から入力された音声を音声コマンドとして認識する音声認識手段と、
手動操作により入力を行う手動入力手段と、
前記手動入力手段の手動操作により生じた状態が所期の目的が達成された目的達成状態であるかどうかを記憶した状態管理テーブルと、
前記手動入力手段の手動操作により生じた状態と前記音声入力手段から入力される音声コマンドとの対応関係を記憶した音声コマンド対応表と、
前記手動入力手段の手動操作により順次生じた状態を前記状態管理テーブルの内容と照合して目的達成状態になったことを判断した時に、前記手動入力手段の手動操作により生じた目的達成状態に対応する音声コマンドが前記音声コマンド対応表に存在すれば、該音声コマンドによって前記手動入力手段の手動操作に対応する機能を実現できる旨を表すメッセージを生成する制御手段と、
前記制御手段で生成されたメッセージを出力する出力手段
とを備え、
前記音声認識手段で音声を認識するために使用される複数の認識辞書と、
前記複数の認識辞書の各々を有効状態または無効状態に設定して管理する認識辞書管理手段とを備え、
前記制御手段は、初期状態で無効状態に設定されている前記複数の認識辞書のうち、生成したメッセージに含まれる音声コマンドに対応する認識辞書のみを有効状態に変更するように前記認識辞書管理手段に指示する認識辞書状態変更部を備えたことを特徴とする音声認識装置。
Voice input means for inputting voice;
Voice recognition means for recognizing the voice input from the voice input means as a voice command;
Manual input means for inputting manually,
A state management table storing whether or not the state generated by manual operation of the manual input means is a state where the intended purpose has been achieved;
A voice command correspondence table storing a correspondence relationship between a state generated by manual operation of the manual input means and a voice command input from the voice input means;
Corresponds to the goal achievement state caused by manual operation of the manual input means when it is judged that the goal achievement state has been reached by comparing the state sequentially generated by manual operation of the manual input means with the contents of the state management table Control means for generating a message indicating that the function corresponding to the manual operation of the manual input means can be realized by the voice command if the voice command to be present exists in the voice command correspondence table;
Output means for outputting a message generated by the control means
And
A plurality of recognition dictionaries used for recognizing speech by the speech recognition means,
A recognition dictionary managing means for managing each of the plurality of recognition dictionaries by setting them in a valid state or invalid state,
The control unit is configured to change only the recognition dictionary corresponding to the voice command included in the generated message to the valid state from the plurality of recognition dictionaries that are set to the invalid state in the initial state. features and to Ruoto voice recognition device further comprising a recognition dictionary state changing unit that instructs the.
制御手段は、有効状態に設定されている認識辞書が一定期間使用されなかった場合に該認識辞書を無効状態に変更するように前記認識辞書管理手段に指示する認識辞書無効化部を備えたことを特徴とする請求項記載の音声認識装置。 The control means includes a recognition dictionary invalidation unit that instructs the recognition dictionary management means to change the recognition dictionary to an invalid state when the recognition dictionary set to the valid state has not been used for a certain period of time. The speech recognition apparatus according to claim 3 .
JP2004346788A 2004-11-30 2004-11-30 Voice recognition device Expired - Fee Related JP4498902B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004346788A JP4498902B2 (en) 2004-11-30 2004-11-30 Voice recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004346788A JP4498902B2 (en) 2004-11-30 2004-11-30 Voice recognition device

Publications (2)

Publication Number Publication Date
JP2006154476A JP2006154476A (en) 2006-06-15
JP4498902B2 true JP4498902B2 (en) 2010-07-07

Family

ID=36632853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004346788A Expired - Fee Related JP4498902B2 (en) 2004-11-30 2004-11-30 Voice recognition device

Country Status (1)

Country Link
JP (1) JP4498902B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078851A (en) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd Voice input device and voice input method
JP5436142B2 (en) 2009-10-20 2014-03-05 キヤノン株式会社 Image processing apparatus, image processing system, and control method for image processing apparatus
US10140770B2 (en) 2016-03-24 2018-11-27 Toyota Jidosha Kabushiki Kaisha Three dimensional heads-up display unit including visual context for voice commands
KR102480728B1 (en) * 2017-11-10 2022-12-23 삼성전자주식회사 Electronic apparatus and control method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03280120A (en) * 1990-03-29 1991-12-11 Nec Home Electron Ltd Guidance system utilizing operation history
JPH0451299A (en) * 1990-06-20 1992-02-19 Hitachi Ltd Voice recognition controller
JPH08272572A (en) * 1995-03-30 1996-10-18 Mitsubishi Electric Corp Traveling object communication terminal
JP2000338992A (en) * 1999-05-26 2000-12-08 Fujitsu Ten Ltd Voice recognition device
JP2001216129A (en) * 2000-02-02 2001-08-10 Denso Corp Command input device
JP2001282284A (en) * 2000-03-31 2001-10-12 Denso Corp Voice recognition device
JP2002215186A (en) * 2001-01-12 2002-07-31 Auto Network Gijutsu Kenkyusho:Kk Speech recognition system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03280120A (en) * 1990-03-29 1991-12-11 Nec Home Electron Ltd Guidance system utilizing operation history
JPH0451299A (en) * 1990-06-20 1992-02-19 Hitachi Ltd Voice recognition controller
JPH08272572A (en) * 1995-03-30 1996-10-18 Mitsubishi Electric Corp Traveling object communication terminal
JP2000338992A (en) * 1999-05-26 2000-12-08 Fujitsu Ten Ltd Voice recognition device
JP2001216129A (en) * 2000-02-02 2001-08-10 Denso Corp Command input device
JP2001282284A (en) * 2000-03-31 2001-10-12 Denso Corp Voice recognition device
JP2002215186A (en) * 2001-01-12 2002-07-31 Auto Network Gijutsu Kenkyusho:Kk Speech recognition system

Also Published As

Publication number Publication date
JP2006154476A (en) 2006-06-15

Similar Documents

Publication Publication Date Title
US8818816B2 (en) Voice recognition device
JP3662780B2 (en) Dialogue system using natural language
TWI235358B (en) Interactive speech method and system thereof
WO2017090115A1 (en) Speech dialogue device and speech dialogue method
IE86422B1 (en) Method for voice activation of a software agent from standby mode
JP2012027487A (en) On-vehicle voice recognition device
US7027565B2 (en) Voice control system notifying execution result including uttered speech content
JP5606951B2 (en) Speech recognition system and search system using the same
JP4498902B2 (en) Voice recognition device
JP2006208486A (en) Voice inputting device
JP2009265307A (en) Speech recognition device and vehicle system using the same
JP4056711B2 (en) Voice recognition device
WO2016103465A1 (en) Speech recognition system
JP6832503B2 (en) Information presentation method, information presentation program and information presentation system
JP2006058390A (en) Speech recognition device
JP2007127896A (en) Voice recognition device and voice recognition method
JP4498906B2 (en) Voice recognition device
US20090055167A1 (en) Method for translation service using the cellular phone
CN110010122B (en) Voice control method for nursing bed
US7562006B2 (en) Dialog supporting device
JPH07319383A (en) Map display device
KR20060007148A (en) Method for initiating voice recognition
JP2006058641A (en) Speech recognition device
JP3588975B2 (en) Voice input device
JP4624825B2 (en) Voice dialogue apparatus and voice dialogue method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071012

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100414

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4498902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees