JP4624825B2 - Voice dialogue apparatus and voice dialogue method - Google Patents

Voice dialogue apparatus and voice dialogue method Download PDF

Info

Publication number
JP4624825B2
JP4624825B2 JP2005064223A JP2005064223A JP4624825B2 JP 4624825 B2 JP4624825 B2 JP 4624825B2 JP 2005064223 A JP2005064223 A JP 2005064223A JP 2005064223 A JP2005064223 A JP 2005064223A JP 4624825 B2 JP4624825 B2 JP 4624825B2
Authority
JP
Japan
Prior art keywords
topic
voice
presenting
current
transition process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005064223A
Other languages
Japanese (ja)
Other versions
JP2006251059A (en
Inventor
健 大野
実 冨樫
孝久 友田
信夫 畑岡
俊宏 鯨井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Nissan Motor Co Ltd filed Critical Clarion Co Ltd
Priority to JP2005064223A priority Critical patent/JP4624825B2/en
Publication of JP2006251059A publication Critical patent/JP2006251059A/en
Application granted granted Critical
Publication of JP4624825B2 publication Critical patent/JP4624825B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は音声対話装置および音声対話方法に係り、特に、情報機器に搭載されて種々の条件等をインタラクティブに段階的に設定していく際に、使用者の不安感を低減した音声対話装置および音声対話方法に関する。   The present invention relates to a voice dialogue apparatus and a voice dialogue method, and in particular, a voice dialogue apparatus which is mounted on an information device and reduces anxiety of a user when various conditions are interactively set in stages. The present invention relates to a voice interaction method.

従来の音声対話装置としては、例えば、特開平9−292896号公報に開示の「車両用ナビゲーション装置」がある。この従来例は、乗員からの音声入力を用いて車両の走行案内を行うものであるが、車室内のようにノイズが多い環境下であっても音声認識率を高めるために、過去の音声入力時の使用頻度を加味して音声入力された単語を特定するものである。
特開平9−292896号公報
As a conventional voice interactive device, for example, there is a “vehicle navigation device” disclosed in Japanese Patent Laid-Open No. 9-292896. In this conventional example, the vehicle driving guidance is performed using the voice input from the occupant, but in order to increase the voice recognition rate even in a noisy environment such as in the passenger compartment, the past voice input is performed. The word input by voice is specified in consideration of the frequency of use.
JP-A-9-292896

しかしながら、上述した特許文献1に開示された技術においては、対話の各時点において受理可能としている話題を画面にガイダンス提示して使用者の発話を促すものであるため、現在行っている対話の話題が対話全体から見てどの位置にあるのかが分かりにくいという問題があった。また、分かりにくいことから、使用者がこの先どこまで話せばいいのか不安になってしまい、対話を完了する前に使用をあきらめてしまうといった事態も発生し、このようなことを数度経験した使用者は音声対話機能自体を使わなくなってしまうという事情もあった。   However, in the technique disclosed in Patent Document 1 described above, since the topic that can be accepted at each time point of the dialogue is presented on the screen to prompt the user to speak, the topic of the conversation that is currently being performed There is a problem that it is difficult to understand where is seen from the whole dialogue. In addition, because it is difficult to understand, users may become anxious about how far they should speak, and they may give up before using the dialogue. There was also a situation where the voice dialogue function itself was not used.

本発明は、上記従来の事情に鑑みてなされたものであって、現在行っている対話の話題が対話全体から見てどの位置にあるのかを分かりやすく提示して使用者の不安感を低減した音声対話装置および音声対話方法を提供することを目的としている。   The present invention has been made in view of the above-described conventional circumstances, and has reduced the user's anxiety by presenting in an easy-to-understand manner the position of the topic of the current conversation as viewed from the entire conversation. An object of the present invention is to provide a voice interaction apparatus and a voice interaction method.

上記目的を解決するため、本発明は、話題情報を提示して使用者の発話を促す提示手段と、入力された使用者の音声を認識する音声認識手段と、を備え、複数の話題についての提示手段による提示および音声認識手段による音声認識を経て使用者との対話を完了する音声対話装置であって、提示手に、現在の話題情報を、現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示する提示制御手段を有し、提示制御手段は、現在の話題に到達するための話題の遷移が複数存在する場合に、現在の話題に至った実際の遷移過程に他の遷移過程も併せて提示することを特徴とする。
また、上記目的を解決するため、本発明は、話題情報を提示して使用者の発話を促す提示手段と、入力された使用者の音声を認識する音声認識手段と、を備え、複数の話題についての提示手段による提示および音声認識手段による音声認識を経て使用者との対話を完了する音声対話方法であって、提示手段に、現在の話題情報を、現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示する提示制御ステップを有し、提示制御ステップは、現在の話題に到達するための話題の遷移が複数存在する場合に、現在の話題に至った実際の遷移過程に他の遷移過程も併せて提示することを特徴とする。
In order to solve the above-described object, the present invention includes a presentation unit that presents topic information and prompts the user to speak, and a voice recognition unit that recognizes the input user's voice. met complete voice dialogue system to interact with the user through an audio recognition by presentation and speech recognition means by presenting means, the Hisage 示手 stage, the current topic information, information topics be around a topic of current as a topic transition process has Hisage Shimesuru presentation control means together with the connection relationship between the presentation control unit, when the transition of the topic to reach the present topic there are a plurality, in fact it led to the current topic Other transition processes are also presented in addition to the transition process .
In order to solve the above-described object, the present invention includes a presentation unit that presents topic information and prompts the user to speak, and a voice recognition unit that recognizes the input user's voice. A speech dialogue method for completing dialogue with a user through presentation by a presentation means and voice recognition by a voice recognition means, wherein the presentation means includes current topic information, topic information before and after the current topic, and The presentation control step presents as a topic transition process together with the connection relationship of the current, and the presentation control step is an actual transition process that has led to the current topic when there are multiple topic transitions to reach the current topic. In addition, other transition processes are also presented.

本発明に係る音声対話装置および音声対話方法では、提示制御手段(提示制御ステップ)により、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示するので、使用者は、現在行っている対話の話題が対話全体から見てどの位置にあるかが分かり、不安感を抱くことなく対話を完了することができる。   In the voice dialogue apparatus and the voice dialogue method according to the present invention, the presentation control means (presentation control step) presents the current topic information as a topic transition process together with connection relations with topic information before and after the current topic. Therefore, the user can know where the topic of the conversation that is currently being performed is seen from the whole conversation, and can complete the conversation without feeling uneasy.

以下、本発明の音声対話装置および音声対話方法の実施例について、〔実施例1〕、〔実施例2〕、〔実施例3〕、〔実施例4〕、〔実施例5〕の順に図面を参照して詳細に説明する。なお、実施例の説明では、一例として車両や携帯端末等に搭載されるナビゲーション装置に適用した構成を示すが、本発明は、情報機器に搭載されて種々の条件等をインタラクティブに段階的に設定していくものであれば、どのようなアプリケーションにも適用可能である。   Hereinafter, with respect to the embodiments of the voice dialogue apparatus and the voice dialogue method of the present invention, the drawings are in order of [Embodiment 1], [Embodiment 2], [Embodiment 3], [Embodiment 4], and [Embodiment 5]. Details will be described with reference to FIG. In the description of the embodiment, a configuration applied to a navigation device mounted on a vehicle, a portable terminal, or the like is shown as an example. However, the present invention is mounted on an information device and interactively sets various conditions and the like. It can be applied to any application as long as it does.

図1は本発明の実施例1に係る音声対話装置の構成図である。図1において、本実施例の音声対話装置は、信号処理ユニット1、マイク2、スピーカ3、入力装置4およびディスプレイ5を備えて構成されている。なお、本発明に関わる主要構成要素ではないために図示しないが、携帯端末であれば他に送受信手段の構成を備え、また車載用であれば、送受信手段または通信接続手段等を備えた構成であってもよい。   FIG. 1 is a configuration diagram of a voice interactive apparatus according to Embodiment 1 of the present invention. In FIG. 1, the voice interactive apparatus of the present embodiment includes a signal processing unit 1, a microphone 2, a speaker 3, an input device 4 and a display 5. Although not shown in the figure because it is not a main component related to the present invention, it is provided with a configuration of other transmission / reception means if it is a mobile terminal, and with a configuration provided with transmission / reception means or communication connection means if it is for in-vehicle use. There may be.

マイク2は使用者の発話を音声信号に変換して信号処理ユニット1に供給する。また、スピーカ3はシステムの発話として信号処理ユニット1から出力される音声信号を音声として出力する。また、入力装置4には発話スイッチ4aおよび訂正スイッチ4bを備えている。ここで、発話スイッチ4aは音声認識の開始指示を行うためのスイッチであり、訂正スイッチ4bは誤認識した場合に訂正を行うためのスイッチであって、該訂正スイッチ4bを一定期間押し続けることにより、音声操作を途中で終了することができる。さらに、ディスプレイ5は例えばLCD(液晶表示装置)等で実現され、ナビゲーションの行き先や探索条件設定時の待ち受け画面表示を行ったり、経路誘導等の画面を表示したりする。   The microphone 2 converts the user's speech into an audio signal and supplies it to the signal processing unit 1. Moreover, the speaker 3 outputs the audio | voice signal output from the signal processing unit 1 as an audio | voice as a system utterance. The input device 4 includes a speech switch 4a and a correction switch 4b. Here, the utterance switch 4a is a switch for instructing the start of voice recognition, and the correction switch 4b is a switch for performing correction when erroneously recognized. By pressing and holding the correction switch 4b for a certain period of time. Voice operation can be terminated halfway. Further, the display 5 is realized by, for example, an LCD (Liquid Crystal Display) or the like, and displays a standby screen when setting a navigation destination or a search condition, or displays a screen such as route guidance.

信号処理ユニット1は、A/Dコンバータ11、D/Aコンバータ12、出力アンプ13、信号処理装置14および外部記憶装置15を備え、信号処理装置14にCPU21およびメモリ22を備えた構成である。信号処理ユニット1は、入力装置4の発話スイッチ4aまたは訂正スイッチ4bの押下に応答して、またマイク2からの使用者の音声入力に応答して信号処理を行い、システム応答としてスピーカ3からシステム発話を出力させたり、ディスプレイ5上に応答画像を表示させたりする。   The signal processing unit 1 includes an A / D converter 11, a D / A converter 12, an output amplifier 13, a signal processing device 14 and an external storage device 15, and the signal processing device 14 includes a CPU 21 and a memory 22. The signal processing unit 1 performs signal processing in response to pressing of the utterance switch 4a or the correction switch 4b of the input device 4 or in response to a user's voice input from the microphone 2, and the system response from the speaker 3 as a system response. An utterance is output, or a response image is displayed on the display 5.

外部記憶装置15には、ナビゲーションに使用するデータや音声認識処理に使用する認識対象データ等が記憶され、また、メモリ22には処理プログラムや使用頻度の高い各種データ等が記憶されている。音声認識処理では、A/Dコンバータ11を介してディジタル信号に変換されたマイク2からの音声入力について、信号処理装置14は外部記憶装置15を参照しながら認識処理を行い、また、その音声入力に対するシステム応答としてのシステム発話を、信号処理装置14はD/Aコンバータ12を介してアナログ信号に変換して出力アンプ13で信号増幅した後に、スピーカ3から音声出力させる。   The external storage device 15 stores data used for navigation, recognition target data used for voice recognition processing, and the like, and the memory 22 stores processing programs and various frequently used data. In the speech recognition processing, the signal processing device 14 performs recognition processing with reference to the external storage device 15 for speech input from the microphone 2 converted into a digital signal via the A / D converter 11, and the speech input The signal processing device 14 converts the system utterance as a system response to the above to an analog signal via the D / A converter 12 and amplifies the signal by the output amplifier 13, and then outputs the sound from the speaker 3.

本実施例の音声対話装置は、話題情報を提示して使用者の発話を促す提示手段と、入力された使用者の音声を認識する音声認識手段とを備え、複数の話題についての提示手段による提示および音声認識手段による音声認識を経て使用者との対話を完了するものであるが、提示手段はディスプレイ5で実現され、音声認識手段はA/Dコンバータ11、信号処理装置14および外部記憶装置15で実現される。また、本発明の特徴であって、提示手段(ディスプレイ5)に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示する提示制御手段は、信号処理装置14で実現される。   The voice interaction apparatus according to the present embodiment includes a presentation unit that presents topic information and prompts the user to speak, and a voice recognition unit that recognizes the input user's voice, and includes a plurality of topic presentation units. The dialogue with the user is completed through the presentation and voice recognition by the voice recognition means. The presentation means is realized by the display 5, and the voice recognition means is the A / D converter 11, the signal processing device 14, and the external storage device. 15 is realized. Further, the present invention is characterized by the presenting control means for presenting the current topic information as a topic transition process together with connection information with topics information before and after the current topic on the presenting means (display 5). This is realized by the signal processing device 14.

次に、図2、図3および図4を参照して、本実施例の音声対話装置における音声対話方法を説明する。図2は音声対話方法を説明するフローチャート、図3は認識対象語のデータ構造の説明図、図4はディスプレイ5に表示される待ち受け画面の基本構成を例示する説明図である。   Next, with reference to FIG. 2, FIG. 3, and FIG. 4, a voice dialogue method in the voice dialogue apparatus of the present embodiment will be described. FIG. 2 is a flowchart for explaining the voice dialogue method, FIG. 3 is a diagram for explaining the data structure of the recognition target word, and FIG. 4 is a diagram for explaining the basic configuration of the standby screen displayed on the display 5.

なお、音声認識の方式には複数の方式が存在している。計算機へのコマンド入力のように、単語毎に区切って発話された音声を認識する方式のことを「単語音声認識」と呼び、これに対して単語毎に区切らず複数の単語をつなげて発話された音声を認識する方式のことを「連続単語認識」と呼ぶ。用途或いはインタフェース設計の考え方に応じてそれぞれの使い分けが行われ、また両者を同時に用いる実装がなされてもよく、形態としては様々であり、どのような形態が最も良い実装かということも一概には言えない。本実施例では、「単語音声認識」を用いた実装がなされているとして、以下説明する。   There are a plurality of methods for speech recognition. A method of recognizing speech uttered by separating words into words, such as command input to a computer, is called `` word speech recognition '', and on the other hand, it is uttered by connecting multiple words without dividing each word. The method of recognizing the voice is called “continuous word recognition”. Depending on the purpose of use or interface design, each of them may be used separately, and both may be implemented at the same time, and there are various forms. I can not say. In the present embodiment, the following description will be given on the assumption that implementation using “word speech recognition” is performed.

図2のフローチャートにおいて、まず、使用者が発話スイッチ4aを操作して発話の開始が指示される(ステップS101)と、信号処理装置14は発話開始指示を検出して処理を開始する。   In the flowchart of FIG. 2, first, when the user operates the speech switch 4a to instruct the start of speech (step S101), the signal processing device 14 detects the speech start instruction and starts processing.

次に、信号処理装置14は、音声認識処理のための待ち受け設定を行う(ステップS102)。信号処理装置14は、認識対象語を外部記憶装置15からメモリ22に読み込む。ここで、認識対象語は、車両用のナビゲーション装置および車両用の電子機器に関わるものであり、図3に示されるようなものである。同図に示すように、認識対象語のデータ構造は、3階層以上の階層構造を備えている。第1階層の話題は機能選択であって、「行き先」、「探索条件」、「施設表示」、「電話」および「ヘルプ」の5つの機能を選択可能である。第1階層のそれぞれの認識対象語について第2階層に複数個の認識対象語と話題の接続関係を持ち、第j階層の認識対象語はそれより1つ下位のj+1階層に複数の認識対象語と接続関係を持つ。全体として幾つの階層となるかは、選択する機能および該選択以降に発話する内容に応じて決定される。   Next, the signal processing device 14 performs standby setting for voice recognition processing (step S102). The signal processing device 14 reads the recognition target word from the external storage device 15 into the memory 22. Here, the recognition target word relates to a navigation device for vehicles and an electronic device for vehicles, and is as shown in FIG. As shown in the figure, the data structure of the recognition target word has a hierarchical structure of three or more levels. The topic of the first hierarchy is function selection, and five functions of “destination”, “search condition”, “facility display”, “telephone”, and “help” can be selected. Each recognition target word in the first hierarchy has a connection relationship between a plurality of recognition target words in the second hierarchy and a topic, and the recognition target word in the jth hierarchy is a plurality of recognition target words in the j + 1 hierarchy lower than the recognition target word. And have a connection relationship. The number of hierarchies as a whole is determined according to the function to be selected and the content to be uttered after the selection.

次に、信号処理装置14は、使用者が音声入力を容易に行えるようにディスプレイ5の表示内容を待ち受け画面に切替え変更する(ステップS103)。   Next, the signal processing device 14 switches and changes the display content of the display 5 to the standby screen so that the user can easily input voice (step S103).

図4は、ナビゲーションの行き先をインタラクティブに設定する際の途中(県名選択)段階での待ち受け画面を例示している。待ち受け画面の基本構成は領域A、領域Bおよび領域Cを備える構成である。   FIG. 4 exemplifies a standby screen in the middle (prefecture name selection) when interactively setting the navigation destination. The basic configuration of the standby screen is a configuration including an area A, an area B, and an area C.

領域Aは、現在どのような待ち受け設定となっているかを表示する領域であり、使用者はこの領域Aに表示されている内容を見ることで、どのような認識対象語を発話すればよいかを知ることができる。図4の例では、次に都道府県の名称を発声すればよいことが容易に理解できる。また領域Bは、使用者の発話により何が認識されたかを確認のために表示する領域である。図4の例では、使用者が1階層前(話題2)の行き先設定のジャンル選択において、使用者が「駅」という発話を行い、その音声認識結果が継続して表示されている。   Area A is an area for displaying what standby settings are currently set, and what kind of recognition target words should the user speak by looking at the contents displayed in area A? Can know. In the example of FIG. 4, it can be easily understood that the name of the prefecture should be uttered next. Area B is an area for displaying what is recognized by the user's utterance. In the example of FIG. 4, when the user selects a genre for destination setting one level before (topic 2), the user utters “station” and the speech recognition result is continuously displayed.

さらに領域Cは、現在の話題を前後する話題との接続関係と共に提示する領域であり、本発明の特徴的な表示構成である。図4の例では、現在、都道府県名を入力する階層にあるため、その階層(話題3)の県名選択C03が識別表示(表示色が他の話題C01,C02,C04およびC05とは異なる色で表示)されている。このように、現在の話題と前後する話題との接続関係と共に提示することにより、話題1で機能選択がなされ、話題2でジャンル選択がなされ、現在(話題3)の県名選択がなされた後は、話題4の県名選択、話題5の探索条件選択を経て終了するという一連の流れを容易に理解することができ、使用者はこの流れを想定しながら選択設定していく作業を行うことができる。   Furthermore, the area C is an area that is presented together with a connection relationship with topics that precede and follow the current topic, and is a characteristic display configuration of the present invention. In the example of FIG. 4, since it is currently in the hierarchy for inputting the prefecture name, the prefecture name selection C03 of that hierarchy (topic 3) is identified (display color is different from other topics C01, C02, C04 and C05). (Displayed in color). Thus, after presenting together with the connection relationship between the current topic and the topic before and after, function selection is performed on topic 1, genre selection is performed on topic 2, and the current (topic 3) prefecture name is selected. Can easily understand a series of flow of ending after selecting topic name of topic 4 and selecting search condition of topic 5, and the user should perform the work of selecting and setting this flow. Can do.

なお、識別表示のやり方は、表示色を変える方法以外にも、階調度(グレイスケール)を変える、或いは、文字の背景として模様を入れるなど種々の方法がある。また、話題1の機能選択から終了に至るまでの階層が領域Cに表示可能な階層数を超える場合には、例えば、現在の話題から終了までの階層を優先的に表示するようにしても良い。また、入力装置4の特定のスイッチや使用者の指先の押圧によって領域Cの表示を左右にスクロール可能な構成としても良い。   In addition to the method of changing the display color, there are various methods for the identification display such as changing the gradation (gray scale) or putting a pattern as the background of the character. Further, when the level from the function selection of topic 1 to the end exceeds the number of levels that can be displayed in area C, for example, the level from the current topic to the end may be preferentially displayed. . Moreover, it is good also as a structure which can scroll the display of the area | region C right and left by the specific switch of the input device 4, or a user's fingertip press.

次に、信号処理装置14は、プロンプト、即ち処理を開始した旨を使用者に知らせるために、外部記憶装置15に記憶してある告知音声信号をD/Aコンバータ12に出力し、アンプ13およびスピーカ3を介して告知音声を出力する。この告知音声を聞くと、使用者は認識対象に含まれる発話を行うので、信号処理装置14は、マイク2からの音声信号をA/Dコンバータ11でディジタル信号に変換したものを取り込む(ステップS104)。   Next, in order to notify the user that the processing has started, the signal processing device 14 outputs a notification sound signal stored in the external storage device 15 to the D / A converter 12, and the amplifier 13 and Announcement voice is output through the speaker 3. When the user hears the notification voice, the user utters the speech included in the recognition target, so the signal processing device 14 captures the voice signal from the microphone 2 converted into a digital signal by the A / D converter 11 (step S104). ).

信号処理装置14は、発話スイッチ4aの操作がなされるまでは、D/Aコンバータ12の出力(ディジタル音声信号)のパワーを演算しており、発話スイッチ4aの操作がなされた後に、前の平均パワーに比べてディジタル音声信号の瞬間パワーが所定の閾値よりも大きくなった区間を音声区間とみなして、発話区間の検出を行っている。このような音声の発話区間の検出は公知技術であり、例えば、特開昭63−226692号公報「パターン比較方式」に開示されている。   The signal processing device 14 calculates the power of the output (digital audio signal) of the D / A converter 12 until the utterance switch 4a is operated. After the utterance switch 4a is operated, the previous average is calculated. The section in which the instantaneous power of the digital voice signal is larger than a predetermined threshold value as compared with the power is regarded as the voice section, and the speech section is detected. Detection of such speech utterance sections is a known technique, and is disclosed in, for example, Japanese Patent Application Laid-Open No. 63-226692 “Pattern Comparison Method”.

次に、信号処理装置14は、メモリ22に記憶されている認識対象との一致度演算を開始する(ステップS105)。一致度は、検出した発話区間のディジタル音声信号と個々の認識対象がどの程度似ているかを示すものであり、スコアとして算出される。ここでは、スコアの値が大きいほど一致度が高いとして評価する。なお、この一致度演算を行う間も、並列処理により音声の取り込みは継続されている。   Next, the signal processing device 14 starts the degree of coincidence calculation with the recognition target stored in the memory 22 (step S105). The degree of coincidence indicates how similar each recognition target is to the digital speech signal in the detected utterance section, and is calculated as a score. Here, it is evaluated that the greater the score value, the higher the matching degree. It should be noted that while the coincidence calculation is performed, the voice capturing is continued by the parallel processing.

次に、信号処理装置14は、ディジタル音声信号の瞬間パワーが所定の閾値以下になったとき、使用者の発話が終了したと判断して、音声の取り込みを終了する(ステップS107)。この終了判断についても、例えば、特開昭63−226692号公報の「パターン比較方式」と同様である。   Next, when the instantaneous power of the digital audio signal becomes equal to or less than a predetermined threshold, the signal processing device 14 determines that the user's utterance has ended, and ends the audio capturing (step S107). This termination determination is also the same as the “pattern comparison method” disclosed in Japanese Patent Laid-Open No. 63-226692, for example.

次に、信号処理装置14は、一致度の演算(ステップS105)の終了を待ち、該一致度演算の結果、一致度の最も大きい認識対象を認識結果として出力する。図4の例では、最も一致度が大きかった認識対象語が「駅」であり、認識結果として「駅」が領域Bに表示されている。なお、認識結果の出力は、ディスプレイ5への表示だけでなく、スピーカ3による音声出力も行われ、音声合成処理機能を用いて認識結果の「駅」を音声信号に変換し、D/Aコンバータ12によりアナログ音声信号に変換された後、アンプ13による信号増幅を経て、スピーカ3から音声出力される。   Next, the signal processing device 14 waits for the completion of the coincidence calculation (step S105), and outputs the recognition target having the highest coincidence as a recognition result as a result of the coincidence calculation. In the example of FIG. 4, the recognition target word having the highest degree of coincidence is “station”, and “station” is displayed in the region B as the recognition result. The recognition result is output not only on the display 5 but also on the sound output from the speaker 3. The recognition result “station” is converted into a speech signal using the speech synthesis processing function, and the D / A converter. After being converted into an analog audio signal by the signal 12, the signal is amplified by the amplifier 13 and then output from the speaker 3.

なお、例えば使用者が「駅」と発話したのに対して、誤認識が発生して認識結果が「住所」となった場合には、使用者は、訂正スイッチ4bを操作して認識処理(ステップS102)以前の状態に戻ることができる。すなわち、ステップS107の認識結果の出力後、使用者による訂正スイッチ4bの押下があるかどうか所定時間の間待ち受け、訂正スイッチ4bの押下があった場合は、ステップS102に戻って再度ステップS102からステップS107までの処理を繰り返し、また、所定時間内に訂正スイッチ4bの押下がなかった場合には、認識結果を使用者が容認したとしてステップS109に進む(ステップS108)。   For example, when the user utters “station” but erroneous recognition occurs and the recognition result is “address”, the user operates the correction switch 4b to perform recognition processing ( Step S102) It is possible to return to the previous state. That is, after outputting the recognition result in step S107, the user waits for a predetermined time whether or not the correction switch 4b has been pressed. If the correction switch 4b has been pressed, the process returns to step S102 and again from step S102 to step S102. The processing up to S107 is repeated, and if the correction switch 4b has not been pressed within a predetermined time, the user accepts the recognition result and proceeds to step S109 (step S108).

次に、ステップS107で認識結果として出力された認識対象を受けて、その下位階層があるかどうかを判断する(ステップS109)。下位階層がある場合にはステップS102に戻り、下位階層に応じた待ち受け処理、即ち代表語彙の指示と認識対象の設定を行う。図4の例では、認識対象語「駅」に対して下位階層が存在し、「都道府県名」が下位階層の待ち受け語として設定され、領域Aに表示されることになる。   Next, the recognition target output as the recognition result in step S107 is received, and it is determined whether there is a lower hierarchy (step S109). If there is a lower hierarchy, the process returns to step S102, and standby processing according to the lower hierarchy, that is, a representative vocabulary instruction and a recognition target are set. In the example of FIG. 4, there is a lower hierarchy with respect to the recognition target word “station”, and “prefecture name” is set as a standby word of the lower hierarchy and displayed in the area A.

また、ステップS109において、認識結果として出力された認識対象語に下位階層がない場合には、ステップS110に進んで、該認識対象語に関連づけられた機能を実行する。図4の例では、発話により最終的に確定した場所へ行き先設定する機能および経路探索する機能が対応づけられており、これらの機能が実行されることになる。   In step S109, if the recognition target word output as the recognition result does not have a lower hierarchy, the process proceeds to step S110, and the function associated with the recognition target word is executed. In the example of FIG. 4, a function for setting a destination to a place finally determined by speech and a function for searching a route are associated with each other, and these functions are executed.

以上、図2のフローチャートに沿って処理手順を説明したが、本実施例の音声対話装置における音声対話方法では、使用者の発話によって階層を進む毎に、処理が再帰的に実行されている。次に、より具体的に、図5から図10までの説明図を参照して、使用者が「行き先」→「駅」→「神奈川県」→「横浜駅」→「有料道路優先」の発話をして階層を進んでいく場合のディスプレイ5の表示画面の推移を説明する。   As described above, the processing procedure has been described with reference to the flowchart of FIG. 2, but in the voice dialogue method in the voice dialogue apparatus of the present embodiment, the process is recursively executed every time the hierarchy is advanced by the user's utterance. Next, more specifically, referring to the explanatory diagrams from FIG. 5 to FIG. 10, the user utters “Destination” → “Station” → “Kanagawa” → “Yokohama Station” → “Toll road priority”. The transition of the display screen of the display 5 when proceeding through the hierarchy will be described.

図5は、使用者が発話スイッチ4aを押下した後に、最初にディスプレイ5に表示される待ち受け画面である。図5では、現在の階層が機能選択(話題1)を行うための画面であることが、領域C中の機能選択C01の識別表示により容易に分かる。また、今後経なくてはならない話題が複数個あることも容易に理解できる。   FIG. 5 is a standby screen that is first displayed on the display 5 after the user presses the speech switch 4a. In FIG. 5, it can be easily understood from the identification display of the function selection C01 in the area C that the current hierarchy is a screen for performing function selection (topic 1). It is also easy to understand that there are multiple topics that must be passed in the future.

次に、図6は、図5の画面の領域Aに表示された(話題1の)代表語彙から使用者が選択する時の待ち受け画面であり、これに対して使用者は「行き先」と発話している。また、この発話に基づく図2のステップS104からステップS107までの処理を経て、認識結果「行き先」が認識結果表示領域(領域B)に表示されている。   Next, FIG. 6 is a standby screen when the user selects from the representative vocabulary (of Topic 1) displayed in the area A of the screen of FIG. 5, and the user speaks “Destination” in response to this. is doing. Further, through the processing from step S104 to step S107 in FIG. 2 based on this utterance, the recognition result “destination” is displayed in the recognition result display area (area B).

次に、図7は、認識対象語「行き先」の次の階層(話題3)についての待ち受け画面である。領域Cの識別表示から、現在の階層は「ジャンル選択」の話題2を入力する階層であることが容易に理解できる。また、使用者の発話の認識結果「行き先」が領域Bに表示されている。そして、認識対象語「行き先」に対して下位階層が存在し、該階層の複数の代表語彙が領域Aに表示されている。つまり、図7の待ち受け画面に対して、次に使用者は、領域Aに表示された代表語彙からジャンル選択を行えばよいことが容易に理解できる。   Next, FIG. 7 is a standby screen for the next layer (topic 3) of the recognition target word “destination”. From the identification display of the area C, it can be easily understood that the current hierarchy is a hierarchy for inputting the topic 2 of “genre selection”. Further, the recognition result “destination” of the user's utterance is displayed in the area B. A lower hierarchy exists for the recognition target word “destination”, and a plurality of representative vocabularies of the hierarchy are displayed in the area A. That is, it can be easily understood that the user can then select a genre from the representative vocabulary displayed in the area A on the standby screen of FIG.

次に、図8は、図7の画面の領域Aに表示された代表語彙から使用者が「駅」を選択して「駅」と発話した後の待ち受け画面である。使用者による発話「駅」を受けて該認識結果が領域Bに表示され、さらに認識対象語「駅」に対して下位階層が存在し、代表語彙の「都道府県名」が待ち受け語として領域Aに表示されている。また、領域Cの表示から、現在の階層が「県名選択」の話題3を入力する階層であることが容易に理解できる。   Next, FIG. 8 is a standby screen after the user selects “station” from the representative vocabulary displayed in area A of the screen of FIG. 7 and speaks “station”. In response to the utterance “station” by the user, the recognition result is displayed in area B, and there is a lower hierarchy with respect to the recognition target word “station”, and the representative vocabulary “prefecture name” is the waiting word in area A. Is displayed. Further, from the display of the area C, it can be easily understood that the current hierarchy is a hierarchy for inputting the topic 3 of “prefecture name selection”.

次に、図9は、図8の画面の領域Aに表示された代表語彙「都道府県名」に対し、使用者が「神奈川県」と発話した場合の待ち受け画面である。使用者による発話「神奈川県」を受けて該認識結果が領域Bに表示され、さらに認識対象語「神奈川県」に対して下位階層が存在し、代表語彙の「駅名」が待ち受け語として領域Aに表示されている。また、領域Cの表示から、現在の階層が「駅名選択」の話題4を入力する階層であることが容易に理解できる。   Next, FIG. 9 is a standby screen when the user speaks “Kanagawa Prefecture” with respect to the representative vocabulary “prefecture name” displayed in the area A of the screen of FIG. In response to the user's utterance “Kanagawa”, the recognition result is displayed in the region B, and there is a lower hierarchy with respect to the recognition target word “Kanagawa”, and the representative vocabulary “station name” is the standby word in the region A. Is displayed. Further, from the display of the area C, it can be easily understood that the current hierarchy is a hierarchy for inputting the topic 4 of “station name selection”.

さらに、図10は、図9の画面の領域Aに表示された代表語彙「駅名」に対し、使用者が「横浜駅」と発話した場合の待ち受け画面である。使用者による発話「横浜駅」を受けて該認識結果が領域Bに付加表示され、さらに認識対象語「横浜駅」に対して下位階層が存在し、複数の代表語彙が待ち受け語として領域Aに表示されている。また、領域Cの表示から、現在の階層が「探索条件選択」の話題5を入力する階層であることが容易に理解できる。   Further, FIG. 10 is a standby screen when the user speaks “Yokohama Station” with respect to the representative vocabulary “station name” displayed in the area A of the screen of FIG. 9. In response to the user's utterance “Yokohama Station”, the recognition result is additionally displayed in the area B, and there is a lower hierarchy for the recognition target word “Yokohama Station”. It is displayed. Further, from the display of the area C, it can be easily understood that the current hierarchy is a hierarchy for inputting the topic 5 of “search condition selection”.

なお、以上説明した具体例では、「行き先」→「駅」→「神奈川県」→「横浜駅」→「有料道路優先」の発話をして、階層を順に進んでいったが、数階層先の階層の発話を受理できるようにすることも可能である。例えば、図5の待ち受け画面において、使用者が2階層先の「駅」を発話した場合には、図8の待ち受け画面に遷移することになる。   In the specific example described above, we spoke in the order of “Destination” → “Station” → “Kanagawa” → “Yokohama Station” → “Toll Road Priority” and proceeded through the hierarchy in order. It is also possible to accept utterances of different levels. For example, in the standby screen of FIG. 5, when the user utters “station” two levels ahead, the screen transitions to the standby screen of FIG.

以上説明したように、本実施例の音声対話装置および音声対話方法では、話題情報を提示して使用者の発話を促す提示手段(ディスプレイ5)と、入力された使用者の音声を認識する音声認識手段(11,14)と、を備え、複数の話題についての提示手段による提示および音声認識手段による音声認識を経て使用者との対話を完了する音声対話装置において、提示制御手段(14)(提示制御ステップ)により、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として(ディスプレイ5の画面上の領域Cに)提示する。これにより、使用者は、現在行っている対話の話題が対話全体から見てどの位置にあるかが分かり、不安感を抱くことなく対話を完了することができる。   As described above, in the voice interaction apparatus and the voice interaction method of the present embodiment, the presentation means (display 5) that presents topic information and prompts the user to speak, and the voice that recognizes the input user's voice. And a recognition means (11, 14), and a presentation control means (14) (14), which completes a dialogue with a user through presentation by a presentation means and voice recognition by a voice recognition means for a plurality of topics. In the presentation control step, the current topic information is presented as a topic transition process (in the area C on the screen of the display 5) together with the connection relationship with the topic information before and after the current topic. Thereby, the user can know where the topic of the conversation that is currently being performed is located from the whole conversation, and can complete the conversation without feeling uneasy.

また、(例えば、図4に示すディスプレイ5の画面上の領域Cにおいて、話題3の県名選択C03の表示色を他と変えて表示したように、)話題遷移過程の中で現在の話題情報を識別して提示するので、現在の話題(階層)が何で(どこで)あるのかを容易に理解することができる。   In addition, the current topic information in the topic transition process (for example, in the area C on the screen of the display 5 shown in FIG. 4, the display color of the prefecture name selection C03 of topic 3 is changed from the other display color). Therefore, it is possible to easily understand what (where) the current topic (hierarchy) is.

さらに、話題遷移過程が対話の完了までの話題の接続関係を含んでいるので、使用者は、現在の話題以降完了までの話題の遷移を認知することができ、完了までの対話の負担をイメージすることが容易になり、従来のように不安感を抱きつつ対話を行うようなことが無くなる。   Furthermore, since the topic transition process includes the connection relationship of topics until the completion of the conversation, the user can recognize the transition of the topics from the current topic to the completion, and imagine the burden of the conversation until the completion. This makes it easier to conduct conversations while feeling anxiety as in the past.

次に、本発明の実施例2に係る音声対話装置および音声対話方法について説明する。   Next, a voice dialogue apparatus and a voice dialogue method according to Embodiment 2 of the present invention will be described.

本実施例の音声対話装置の構成は、実施例1と同様に図1で示される構成である。本実施例においても、実施例1と同様に、信号処理装置14で実現される提示制御手段が、提示手段(ディスプレイ5)に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示するが、本実施例は、提示制御手段(14)において、話題毎に音声認識手段(11,14)による認識難易度を計算し、話題遷移過程に併せて提示する点に特徴がある。   The configuration of the voice interactive apparatus according to the present embodiment is the same as that illustrated in FIG. Also in the present embodiment, as in the first embodiment, the presentation control means realized by the signal processing device 14 sends the current topic information to the presentation means (display 5), and information on topics around the current topic. In this embodiment, the presentation control means (14) calculates the difficulty of recognition by the speech recognition means (11, 14) for each topic and combines it with the topic transition process. The point is to present.

ここで、認識難易度は、音声認識処理における音声認識の難しさを表し、該認識難易度が低いと、音声認識率を高めるために、明瞭に発話する、或いは、大きい声量で発話するなど、使用者に対して大きな負担が求められることになる。音声認識率の低さは、一般に認識対象語の階層に含まれる単語数に比例し、そのため、階層に含まれる単語数が所定値以上であるときは音声認識率が低いと判断することができる。また、音声認識率の低さは、低認識語を含むかどうかによっても判断できるが、このことは、技術文献「寺嶌;“音声認識における低認識語の予測技術”,技術報告(豊田中央研究所R&Dレビュー),Vol13,No2,2001年6月)」に詳しく述べられている。この技術文献によれば、低認識語を所定数以上含む場合に音声認識率が低いと判断できる。   Here, the recognition difficulty level represents the difficulty of voice recognition in the voice recognition processing, and when the recognition difficulty level is low, in order to increase the voice recognition rate, utter clearly or speak with a large volume of voice, etc. A large burden is demanded on the user. The low speech recognition rate is generally proportional to the number of words included in the hierarchy of recognition target words, and therefore it can be determined that the speech recognition rate is low when the number of words included in the layer is a predetermined value or more. . The low speech recognition rate can also be judged by whether or not low recognition words are included, but this is based on the technical literature “Terahiro;“ Prediction technology of low recognition words in speech recognition ”, Technical Report (Toyota Central Research). R & D Review), Vol 13, No. 2, June 2001) ”. According to this technical document, it can be determined that the speech recognition rate is low when a predetermined number or more of low recognition words are included.

次に、本実施例の音声対話装置における音声対話方法も、実施例1と同様に、図2のフローチャートに示される手順を踏む。但し、ステップS103の待ち受け画面表示における処理内容が異なり、以下詳しく説明する。   Next, the voice dialogue method in the voice dialogue apparatus according to the present embodiment also follows the procedure shown in the flowchart of FIG. However, the processing contents in the standby screen display in step S103 are different and will be described in detail below.

図11は、本実施例の待ち受け画面における領域Cの表示内容を例示する説明図である。待ち受け画面の領域Aおよび領域Bの表示については実施例1と同様である。つまり、実施例1の図4または図8において領域Cの表示内容が図11に示す内容に置き換わる。   FIG. 11 is an explanatory diagram illustrating the display contents of the area C on the standby screen according to the present embodiment. The display of the areas A and B on the standby screen is the same as in the first embodiment. That is, the display content of the area C in FIG. 4 or FIG. 8 of the first embodiment is replaced with the content shown in FIG.

図11において、話題3の県名選択C03が識別表示(表示色が他の話題C01,C02,C04およびC05とは異なる色で表示)されており、現在は、都道府県名を入力する階層にあることが容易に分かる。また接続関係の表示から、現在の県名選択をした後は、話題4の県名選択、話題5の探索条件選択を経て終了するという一連の流れを容易に理解することができる。   In FIG. 11, the prefecture name selection C03 of topic 3 is identified and displayed (display color is displayed in a color different from other topics C01, C02, C04, and C05), and is currently in a hierarchy for inputting the prefecture name. It is easy to see. In addition, from the display of the connection relation, after selecting the current prefecture name, it is possible to easily understand a series of flows that end after selecting the prefecture name of topic 4 and the search condition selection of topic 5.

さらに、図11では、次階層の駅名選択時の認識難易度が難しい(音声認識率が低い)ことが、他の話題よりも大きな枠C04bによる識別表示で示されており、次階層の駅名選択時には明瞭に発話する、或いは大きい声量で発話するなど、使用者の発話の負担が大きいことを認知できる。すなわち、話題遷移過程に認識難易度が併せて提示されていることにより、使用者はこの先どの程度の負担があるかを前もって認知することができる。   Further, in FIG. 11, the difficulty of recognition when selecting the station name of the next layer is difficult (the voice recognition rate is low), which is indicated by the identification display by the frame C04b larger than other topics. It can be recognized that the burden of the user's utterance is heavy, such as sometimes speaking clearly or speaking with a loud voice volume. That is, since the recognition difficulty level is presented together with the topic transition process, the user can recognize in advance how much the burden will be.

また、図12は、本実施例の待ち受け画面における領域Cの表示内容の他の例を示す説明図である。図11とは別の識別方法として、次階層の駅名選択時の認識難易度が難しい(音声認識率が低い)ことを、他の話題とは異なる色または模様によって識別することができる。図12は、他の話題とは異なる模様の背景C04cによる識別表示であり、これにより、使用者はこの先どの程度の負担があるかを前もって認知することができる。なお、認識難易度を色によって識別する場合には、例えば、認識難易度が難しく使用者負担が大きいときには赤色を使用し、認識難易度が易しく使用者負担が小さいときには青色を使用して識別する方法が考えられる。さらに、話題遷移過程に認識難易度を併せて提示する方法としては、その旨を言葉で表示する方法や、数値化してその値を表示する方法など種々の方法が考えられる。   FIG. 12 is an explanatory diagram showing another example of the display contents of the area C on the standby screen of the present embodiment. As an identification method different from FIG. 11, it is possible to identify that the difficulty level of recognition at the time of selecting a station name in the next hierarchy is low (the voice recognition rate is low) by a color or pattern different from other topics. FIG. 12 shows an identification display based on a background C04c having a pattern different from that of other topics. This allows the user to recognize in advance how much the burden will be in the future. When the recognition difficulty level is identified by color, for example, red is used when the recognition difficulty level is difficult and the user burden is large, and blue is used when the recognition difficulty level is easy and the user burden is small. A method is conceivable. Furthermore, as a method of presenting the recognition difficulty level together with the topic transition process, various methods such as a method of displaying the fact in words and a method of displaying the value by quantification can be considered.

以上説明したように、本実施例の音声対話装置および音声対話方法では、提示制御手段(14)において、話題毎に音声認識手段(11,14)による認識難易度を計算し、話題遷移過程に併せて提示するので、音声認識の難しさに由来する負担も併せてイメージすることが容易になり、音声対話における使用者の不安感をより低減させることができる。   As described above, in the voice dialogue apparatus and the voice dialogue method of the present embodiment, the presentation control means (14) calculates the recognition difficulty level by the voice recognition means (11, 14) for each topic, and enters the topic transition process. Since they are also presented, it is easy to imagine the burden derived from the difficulty of voice recognition, and the user's anxiety in voice conversation can be further reduced.

次に、本発明の実施例3に係る音声対話装置および音声対話方法について説明する。   Next, a voice dialogue apparatus and a voice dialogue method according to Embodiment 3 of the present invention will be described.

本実施例の音声対話装置の構成は、実施例1と同様に図1で示される構成である。本実施例においても、実施例1と同様に、信号処理装置14で実現される提示制御手段が、提示手段(ディスプレイ5)に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示するが、本実施例は、提示制御手段(14)において、現在の話題と該現在の話題と接続関係を持つ他の話題とについて、連続した単語の音声の認識が可能であるとき、話題遷移過程の中で現在の話題、他の話題およびそれらの接続関係を識別して提示する点に特徴がある。そのため、本実施例では、実施例1とは異なり、「単語音声認識」および「連続単語認識」の両者を同時に用いる実装がなされている。なお、ここでは、話題3の「県名選択」と話題4の「駅名選択」について、連続した単語音声の認識が可能であるとして説明を行う。   The configuration of the voice interactive apparatus according to the present embodiment is the same as that illustrated in FIG. Also in the present embodiment, as in the first embodiment, the presentation control means realized by the signal processing device 14 sends the current topic information to the presentation means (display 5), and information on topics around the current topic. In this embodiment, the presentation control means (14) uses a continuous word voice for the current topic and other topics that have a connection relationship with the current topic. In the topic transition process, the current topic, other topics, and their connection relations are identified and presented. For this reason, in this embodiment, unlike the first embodiment, both “word speech recognition” and “continuous word recognition” are implemented at the same time. Here, the topic 3 “prefecture name selection” and the topic 4 “station name selection” will be described on the assumption that continuous word speech can be recognized.

次に、本実施例の音声対話装置における音声対話方法も、実施例1と同様に、図2のフローチャートに示される手順を踏む。但し、ステップS103の待ち受け画面表示における処理内容が異なり、以下具体例を示して説明する。   Next, the voice dialogue method in the voice dialogue apparatus according to the present embodiment also follows the procedure shown in the flowchart of FIG. However, the processing content in the standby screen display in step S103 is different, and will be described below with a specific example.

図13は、本実施例の待ち受け画面における領域Cの表示内容を例示する説明図である。待ち受け画面の領域Aおよび領域Bの表示については実施例1と同様である。つまり、実施例1の図7において領域Cの表示内容が図13に示す内容に置き換わる。領域Cの話題2の識別表示から、現在の階層は「ジャンル選択」を入力する階層であることが容易に理解できる。また、接続関係の表示から、ジャンル選択(で「駅」を選択)した後は、話題3および話題4の県名および駅名選択、話題5の探索条件選択を経て終了するという一連の流れを容易に理解できる。   FIG. 13 is an explanatory diagram illustrating the display contents of the area C on the standby screen according to the present embodiment. The display of the areas A and B on the standby screen is the same as in the first embodiment. That is, the display content of the region C in FIG. 7 of the first embodiment is replaced with the content shown in FIG. From the identification display of topic 2 in area C, it can be easily understood that the current hierarchy is a hierarchy for inputting “genre selection”. In addition, from the connection relation display, after selecting a genre (by selecting “station”), a series of flows is easily completed after selecting the prefecture name and station name of Topic 3 and Topic 4 and selecting search conditions for Topic 5. Can understand.

特に、図13では、次階層の県名および駅名選択が太枠C34で強調表示してある。これにより、使用者は次に階層において、県名選択および駅名選択の両者を連結した発話が可能であることを認知でき、それにより、今後の発話負担がどの程度軽減されるかを容易に理解することができる。   In particular, in FIG. 13, the prefecture name and station name selection in the next hierarchy are highlighted with a thick frame C34. As a result, the user can recognize that utterances that connect both prefecture name selection and station name selection are possible in the next hierarchy, and easily understand how much the future utterance burden will be reduced. can do.

以上説明したように、本実施例の音声対話装置および音声対話方法では、提示制御手段(14)において、現在の話題と該現在の話題と接続関係を持つ他の話題とについて、連続した単語の音声の認識が可能であるとき、話題遷移過程の中で現在の話題、他の話題およびそれらの接続関係を識別して提示するので、連続音声の発話によりどの程度対話の負担が減少するかも併せてイメージすることが可能となり、音声対話における使用者の不安感をより低減させることができる。   As explained above, in the voice interaction apparatus and the voice interaction method of the present embodiment, the presentation control means (14) uses the continuous word of the current topic and other topics having a connection relationship with the current topic. When speech recognition is possible, the current topic, other topics, and their connection relations are identified and presented in the topic transition process. The user's anxiety in voice conversation can be further reduced.

次に、本発明の実施例4に係る音声対話装置および音声対話方法について説明する。   Next, a voice dialogue apparatus and a voice dialogue method according to Embodiment 4 of the present invention will be described.

本実施例の音声対話装置の構成は、実施例1と同様に図1で示される構成である。本実施例においても、実施例1と同様に、信号処理装置14で実現される提示制御手段が、提示手段(ディスプレイ5)に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示するが、本実施例は、提示制御手段(14)において、現在の話題に到達するための話題の遷移が複数存在する場合に、該現在の話題に至った実際の遷移過程に他の遷移過程も併せて提示する点に特徴がある。   The configuration of the voice interactive apparatus according to the present embodiment is the same as that illustrated in FIG. Also in the present embodiment, as in the first embodiment, the presentation control means realized by the signal processing device 14 sends the current topic information to the presentation means (display 5), and information on topics around the current topic. This example presents the current topic when there are a plurality of topic transitions to reach the current topic in the presentation control means (14). Another feature is that other transition processes are presented together with the actual transition process.

次に、本実施例の音声対話装置における音声対話方法も、実施例1と同様に、図2のフローチャートに示される手順を踏む。但し、ステップS103の待ち受け画面表示における処理内容が異なり、以下詳しく説明する。   Next, the voice dialogue method in the voice dialogue apparatus according to the present embodiment also follows the procedure shown in the flowchart of FIG. However, the processing contents in the standby screen display in step S103 are different and will be described in detail below.

図14は、本実施例の待ち受け画面における領域Cの表示内容を例示する説明図である。待ち受け画面の領域Aおよび領域Bの表示については実施例1と同様である。つまり、実施例1の図9において領域Cの表示内容が図14に示す内容に置き換わる。   FIG. 14 is an explanatory diagram illustrating the display contents of the area C on the standby screen according to the present embodiment. The display of the areas A and B on the standby screen is the same as in the first embodiment. That is, the display content of the area C in FIG. 9 of the first embodiment is replaced with the content shown in FIG.

図14において、話題4の駅名選択C04が識別表示されており、現在は、駅名を入力する階層にあることが容易に分かる。また接続関係の表示から、現在の駅名選択をした後は、話題5の探索条件選択を経て終了するという一連の流れを容易に理解することができる。但し、図14では実施例1とは異なり、話題2のジャンル選択と話題4の駅名選択の間の話題の接続関係として、県名選択C031と路線選択C032の2つの話題遷移過程が表示されており、話題3において県名選択または路線選択の何れかの選択が可能であったことを示している。   In FIG. 14, the station name selection C04 of Topic 4 is identified and displayed, and it can be easily understood that the station name is currently in a hierarchy for inputting the station name. In addition, from the display of the connection relationship, after selecting the current station name, it is possible to easily understand a series of flows that end after selecting the search condition of topic 5. However, in FIG. 14, unlike the first embodiment, two topic transition processes of prefecture name selection C031 and route selection C032 are displayed as topic connection relations between topic 2 genre selection and topic 4 station name selection. In Topic 3, it indicates that either prefecture name selection or route selection was possible.

つまり、前階層の話題3の階層においては、「県名選択」以外に「路線選択」の選択も可能で、使用者は、例えば、「神奈川県」という発話以外に、「京浜急行」という発話も可能であったことを意味している。なお、この話題3の階層の待ち受け画面では、領域Aに表示される代表語彙として「都道府県名」と「路線名」が表示されることになる。   In other words, in the topic level 3 of the previous level, it is possible to select “route selection” in addition to “prefecture name selection”. For example, in addition to the utterance “Kanagawa prefecture”, the user utters “Keihin Express”. Also means that it was possible. In the standby screen of the topic 3 hierarchy, “prefecture name” and “route name” are displayed as representative vocabulary displayed in the area A.

以上説明したように、本実施例の音声対話装置および音声対話方法では、提示制御手段(14)において、現在の話題に到達するための話題の遷移が複数存在する場合に、該現在の話題に至った実際の遷移過程に他の遷移過程も併せて提示するので、実際に遷移してきた話題遷移過程とは異なる他の話題遷移過程との比較が可能となり、現在行っている対話の話題が、対話全体から見てどの位置にあるかの理解がより容易になる。   As described above, in the voice interaction apparatus and the voice interaction method of the present embodiment, in the presentation control means (14), when there are a plurality of topic transitions for reaching the current topic, It also shows other transition processes in addition to the actual transition process that arrived, so it can be compared with other topic transition processes that are different from the topic transition process that has actually transitioned, It is easier to understand where it is from the whole dialogue.

次に、本発明の実施例5に係る音声対話装置および音声対話方法について説明する。   Next, a voice interaction apparatus and a voice interaction method according to Embodiment 5 of the present invention will be described.

本実施例の音声対話装置の構成は、実施例1と同様に図1で示される構成である。本実施例においても、実施例1と同様に、信号処理装置14で実現される提示制御手段が、提示手段(ディスプレイ5)に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示するが、本実施例は、記憶手段(メモリ22または外部記憶装置15)に過去に完了した対話の話題遷移過程を記憶しておき、提示制御手段(14)において、現在の話題に関する話題遷移過程に過去に完了した対話の話題遷移過程を併せて提示する点に特徴がある。   The configuration of the voice interactive apparatus according to the present embodiment is the same as that illustrated in FIG. Also in the present embodiment, as in the first embodiment, the presentation control means realized by the signal processing device 14 sends the current topic information to the presentation means (display 5), and information on topics around the current topic. In this embodiment, the topic transition process of conversations completed in the past is stored in the storage means (memory 22 or external storage device 15), and the presentation control means (14 ), The topic transition process of the conversation completed in the past is presented together with the topic transition process of the current topic.

次に、本実施例の音声対話装置における音声対話方法も、実施例1と同様に、図2のフローチャートに示される手順を踏む。但し、ステップS103の待ち受け画面表示における処理内容が異なり、以下詳しく説明する。   Next, the voice dialogue method in the voice dialogue apparatus according to the present embodiment also follows the procedure shown in the flowchart of FIG. However, the processing contents in the standby screen display in step S103 are different and will be described in detail below.

図15は、本実施例の待ち受け画面における領域Cの表示内容を例示する説明図である。待ち受け画面の領域Aおよび領域Bの表示については実施例1と同様である。つまり、実施例1の図8において領域Cの表示内容が図15に示す内容に置き換わる。   FIG. 15 is an explanatory diagram illustrating the display contents of the area C on the standby screen according to the present embodiment. The display of the areas A and B on the standby screen is the same as in the first embodiment. That is, the display content of the area C in FIG. 8 of the first embodiment is replaced with the content shown in FIG.

図15において、話題3の県名選択C03が識別表示されており、現在は、都道府県名を入力する階層にあることが容易に分かる。また接続関係の表示から、現在の県名選択をした後は、話題4の県名選択、話題5の探索条件選択を経て終了するという一連の流れを容易に理解することができる。但し、図15では実施例1とは異なり、話題2のジャンル選択から話題5の探索条件選択の間の話題の接続関係として、県名選択C06,市名選択C07,大字選択C08および番地選択C09の話題を遷移する他の話題遷移過程が表示されている。この他の話題遷移過程(C02→C06〜C09→C05)は、過去に使用者が行った他の入力話題の遷移過程であり、これを併せて表示することにより、使用者は今回の入力負担と過去に経験した入力の負担とを比較することができる。   In FIG. 15, the prefecture name selection C03 of Topic 3 is identified and displayed, and it can be easily understood that it is currently in the hierarchy for inputting the prefecture name. In addition, from the display of the connection relation, after selecting the current prefecture name, it is possible to easily understand a series of flows that end after selecting the prefecture name of topic 4 and the search condition selection of topic 5. However, in FIG. 15, unlike the first embodiment, the topic connection relationship between the genre selection of topic 2 and the search condition selection of topic 5 is the prefecture name selection C06, city name selection C07, capital letter selection C08, and address selection C09. Other topic transition processes for transitioning the topic are displayed. This other topic transition process (C02 → C06 to C09 → C05) is a transition process of other input topics performed by the user in the past, and by displaying this together, the user is responsible for the current input burden. And the input burden experienced in the past can be compared.

以上説明したように、本実施例の音声対話装置および音声対話方法では、提示制御手段(14)において、現在の話題に関する話題遷移過程に過去に完了した対話の話題遷移過程を併せて提示するので、成功経験のある対話の負担との比較により、現在行っている対話の負担をイメージすることが可能となり、音声対話における使用者の不安感をより低減させることができる。   As described above, in the voice dialogue apparatus and voice dialogue method of the present embodiment, the presentation control means (14) presents the topic transition process of the conversation completed in the past in addition to the topic transition process related to the current topic. By comparing with the burden of successful dialogue, it is possible to imagine the burden of the current dialogue and to further reduce the user's anxiety in the voice dialogue.

本発明の実施例に係る音声対話装置の構成図である。It is a block diagram of the voice interactive apparatus which concerns on the Example of this invention. 音声対話方法を説明するフローチャートである。It is a flowchart explaining a voice dialogue method. 認識対象語のデータ構造の説明図である。It is explanatory drawing of the data structure of a recognition target word. 実施例1において待ち受け画面の基本構成を例示する説明図である。FIG. 3 is an explanatory diagram illustrating a basic configuration of a standby screen in the first embodiment. 実施例1において発話スイッチ押下時の待ち受け画面を例示する説明図である。FIG. 6 is an explanatory diagram illustrating a standby screen when an utterance switch is pressed in the first embodiment. 実施例1において「行き先」と発話する時の待ち受け画面を例示する説明図である。6 is an explanatory diagram illustrating a standby screen when speaking “destination” in Embodiment 1. FIG. 実施例1において「行き先」と発話した後の待ち受け画面を例示する説明図である。6 is an explanatory diagram illustrating a standby screen after speaking “destination” in Embodiment 1. FIG. 実施例1において「駅」と発話した後の待ち受け画面を例示する説明図である。FIG. 6 is an explanatory diagram illustrating a standby screen after uttering “station” in the first embodiment; 実施例1において「神奈川県」と発話した後の待ち受け画面を例示する説明図である。6 is an explanatory diagram illustrating a standby screen after speaking “Kanagawa Prefecture” in Embodiment 1. FIG. 実施例1において「横浜駅」と発話した後の待ち受け画面を例示する説明図である。FIG. 4 is an explanatory diagram illustrating a standby screen after speaking “Yokohama Station” in the first embodiment. 実施例2の待ち受け画面における領域Cの表示内容を例示する説明図である。FIG. 10 is an explanatory diagram illustrating display contents of a region C on a standby screen according to a second embodiment. 実施例2の待ち受け画面における領域Cの表示内容を例示する説明図である。FIG. 10 is an explanatory diagram illustrating display contents of a region C on a standby screen according to a second embodiment. 実施例3の待ち受け画面における領域Cの表示内容を例示する説明図である。FIG. 10 is an explanatory diagram illustrating display contents of a region C on a standby screen according to a third embodiment. 実施例4の待ち受け画面における領域Cの表示内容を例示する説明図である。FIG. 10 is an explanatory diagram illustrating display contents of a region C on a standby screen according to a fourth embodiment. 実施例5の待ち受け画面における領域Cの表示内容を例示する説明図である。FIG. 10 is an explanatory diagram illustrating display contents of a region C on a standby screen according to a fifth embodiment.

符号の説明Explanation of symbols

1 信号処理ユニット
2 マイク
3 スピーカ
4 入力装置
5 ディスプレイ(提示手段)
11 A/Dコンバータ(音声認識手段)
12 D/Aコンバータ
13 出力アンプ
14 信号処理装置(音声認識手段または提示制御手段)
15 外部記憶装置
21 CPU
22 メモリ
1 signal processing unit 2 microphone 3 speaker 4 input device 5 display (presentation means)
11 A / D converter (voice recognition means)
12 D / A converter 13 Output amplifier 14 Signal processing device (voice recognition means or presentation control means)
15 External storage device 21 CPU
22 memory

Claims (11)

話題情報を提示して使用者の発話を促す提示手段と、入力された使用者の音声を認識する音声認識手段と、を備え、複数の話題についての前記提示手段による提示および前記音声認識手段による音声認識を経て使用者との対話を完了する音声対話装置であって、
前記提示手段に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示する提示制御手段を有し、
前記提示制御手段は、前記現在の話題に到達するための話題の遷移が複数存在する場合に、該現在の話題に至った実際の遷移過程に他の遷移過程も併せて提示することを特徴とする音声対話装置。
Presenting means for presenting topic information to prompt the user to speak, and speech recognition means for recognizing the input user's voice, and presenting a plurality of topics by the presenting means and by the speech recognition means A voice dialogue device that completes a dialogue with a user through voice recognition,
It said presentation means, have a current topic information, the presentation control means for presenting a topic transition processes with the connection relationship between the topic of information back and forth to the present topic,
The presenting control means, when there are a plurality of topic transitions to reach the current topic, presents other transition processes together with the actual transition process that has reached the current topic, A voice interaction device.
前記提示制御手段は、前記話題遷移過程の中で前記現在の話題情報を識別して提示することを特徴とする請求項1に記載の音声対話装置。   The spoken dialogue apparatus according to claim 1, wherein the presentation control unit identifies and presents the current topic information in the topic transition process. 前記提示制御手段は、話題毎に前記音声認識手段による認識難易度を計算し、前記話題遷移過程に併せて提示することを特徴とする請求項1または請求項2の何れかに記載の音声対話装置。   3. The voice dialogue according to claim 1, wherein the presentation control unit calculates a difficulty level of recognition by the voice recognition unit for each topic and presents it together with the topic transition process. 4. apparatus. 前記提示制御手段は、前記現在の話題と該現在の話題と接続関係を持つ他の話題とについて、連続した単語の音声の認識が可能であるとき、前記話題遷移過程の中で該現在の話題、該他の話題およびそれらの接続関係を識別して提示することを特徴とする請求項1〜請求項3の何れか1項に記載の音声対話装置。   The presentation control means can recognize the current topic in the topic transition process when the current topic and other topics having a connection relationship with the current topic are capable of recognizing continuous words. The spoken dialogue apparatus according to any one of claims 1 to 3, wherein the other topics and their connection relations are identified and presented. 過去に完了した対話の話題遷移過程を記憶する記憶手段を有し、
前記提示制御手段は、前記現在の話題に関する話題遷移過程に過去に完了した対話の話題遷移過程併せて提示することを特徴とする請求項1〜請求項4の何れか1項に記載の音声対話装置。
Having storage means for storing topic transition processes of dialogues completed in the past,
The presentation control means according to any one of claims 1 to 4, characterized in that presenting together topic transition process of dialogue completed in the past a topic transition process related to said current topic Spoken dialogue device.
前記話題遷移過程は、対話の完了までの話題の接続関係を含むことを特徴とする請求項1〜請求項5の何れか1項に記載の音声対話装置。 The voice conversation apparatus according to any one of claims 1 to 5, wherein the topic transition process includes a connection relationship of topics until the completion of the conversation. 話題情報を提示して使用者の発話を促す提示手段と、入力された使用者の音声を認識する音声認識手段と、を備え、複数の話題についての前記提示手段による提示および前記音声認識手段による音声認識を経て使用者との対話を完了する音声対話方法であって、
前記提示手段に、現在の話題情報を、該現在の話題に前後する話題の情報との接続関係と共に話題遷移過程として提示する提示制御ステップを有し、
前記提示制御ステップは、前記現在の話題に到達するための話題の遷移が複数存在する場合に、該現在の話題に至った実際の遷移過程に他の遷移過程も併せて提示することを特徴とする音声対話方法。
Presenting means for presenting topic information to prompt the user to speak, and speech recognition means for recognizing the input user's voice, and presenting a plurality of topics by the presenting means and by the speech recognition means A voice dialogue method for completing dialogue with a user through voice recognition,
The presenting means has a presentation control step for presenting current topic information as a topic transition process together with connection information with topic information before and after the current topic,
The presenting control step is characterized in that when there are a plurality of topic transitions for reaching the current topic, the actual transition process leading to the current topic is also presented together with other transition processes. It is Ruoto voice interactive method.
前記提示制御ステップは、前記話題遷移過程の中で前記現在の話題情報を識別して提示することを特徴とする請求項7に記載の音声対話方法。 8. The spoken dialogue method according to claim 7, wherein the presentation control step identifies and presents the current topic information in the topic transition process . 前記提示制御ステップは、話題毎に前記音声認識手段による認識難易度を計算し、前記話題遷移過程に併せて提示することを特徴とする請求項7または請求項8の何れかに記載の音声対話方法。 The presentation control step, the topic recognition difficulty by the speech recognition means calculates for each voice interaction according to claim 7 or claim 8, characterized in that presented in conjunction with the topic transition phase Method. 前記提示制御ステップは、前記現在の話題と該現在の話題と接続関係を持つ他の話題とについて、連続した単語の音声の認識が可能であるとき、前記話題遷移過程の中で現在の話題、他の話題およびそれらの接続関係を識別して提示することを特徴とする請求項7〜請求項9の何れか1項に記載の音声対話方法。 In the presentation control step, when the current topic and other topics having a connection relationship with the current topic are capable of recognizing continuous words, the current topic in the topic transition process, other topics and voice dialogue method according to any one of claims 7 to claim 9, characterized by presenting to identify their connectivity. 過去に完了した対話の話題遷移過程を記憶する記憶ステップを有し、
前記提示制御ステップは、前記現在の話題に関する話題遷移過程に過去に完了した対話の話題遷移過程を併せて提示することを特徴とする請求項〜請求項10の何れか1項に記載の音声対話方法。
Having a memory step for memorizing topic transition processes of dialogues completed in the past,
The voice according to any one of claims 7 to 10, wherein the presentation control step presents a topic transition process of a dialog completed in the past in addition to a topic transition process related to the current topic. How to interact.
JP2005064223A 2005-03-08 2005-03-08 Voice dialogue apparatus and voice dialogue method Expired - Fee Related JP4624825B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005064223A JP4624825B2 (en) 2005-03-08 2005-03-08 Voice dialogue apparatus and voice dialogue method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005064223A JP4624825B2 (en) 2005-03-08 2005-03-08 Voice dialogue apparatus and voice dialogue method

Publications (2)

Publication Number Publication Date
JP2006251059A JP2006251059A (en) 2006-09-21
JP4624825B2 true JP4624825B2 (en) 2011-02-02

Family

ID=37091683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005064223A Expired - Fee Related JP4624825B2 (en) 2005-03-08 2005-03-08 Voice dialogue apparatus and voice dialogue method

Country Status (1)

Country Link
JP (1) JP4624825B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6636303B2 (en) * 2015-10-29 2020-01-29 シャープ株式会社 Interactive device, interactive device, control method of interactive device, control program, and recording medium
JP2017187559A (en) * 2016-04-01 2017-10-12 アルパイン株式会社 Speech recognition device and computer program
JP6895037B2 (en) * 2016-11-06 2021-06-30 ナレルシステム株式会社 Speech recognition methods, computer programs and equipment

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695828A (en) * 1992-09-14 1994-04-08 Toshiba Corp Voice input system
JPH06130992A (en) * 1992-10-20 1994-05-13 Fujitsu Ltd Voice recognizing device
JPH07199989A (en) * 1993-12-29 1995-08-04 Canon Inc Speech recognition device
JP2000193479A (en) * 1998-12-25 2000-07-14 Aisin Aw Co Ltd Navigation apparatus and recording medium
JP2002168643A (en) * 2000-11-28 2002-06-14 Matsushita Electric Ind Co Ltd Method and apparatus for voice-recognition navigation retrieval
JP2002202882A (en) * 2000-12-28 2002-07-19 Fujitsu Ltd Voice interaction system and voice information method
JP2003169147A (en) * 2001-11-30 2003-06-13 Buzzhits Kk Client response system and method
JP2003205483A (en) * 2001-11-07 2003-07-22 Sony Corp Robot system and control method for robot device
JP2004094057A (en) * 2002-09-02 2004-03-25 Ricoh Co Ltd Equipment operating system, program, and recording medium, and image forming device
JP2004272355A (en) * 2003-03-05 2004-09-30 Seiko Epson Corp Information presentation method, information presentation system, and information presentation processing program
JP2004333870A (en) * 2003-05-08 2004-11-25 Nissan Motor Co Ltd Speech recognition device for traveling object
JP2006058641A (en) * 2004-08-20 2006-03-02 Nissan Motor Co Ltd Speech recognition device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695828A (en) * 1992-09-14 1994-04-08 Toshiba Corp Voice input system
JPH06130992A (en) * 1992-10-20 1994-05-13 Fujitsu Ltd Voice recognizing device
JPH07199989A (en) * 1993-12-29 1995-08-04 Canon Inc Speech recognition device
JP2000193479A (en) * 1998-12-25 2000-07-14 Aisin Aw Co Ltd Navigation apparatus and recording medium
JP2002168643A (en) * 2000-11-28 2002-06-14 Matsushita Electric Ind Co Ltd Method and apparatus for voice-recognition navigation retrieval
JP2002202882A (en) * 2000-12-28 2002-07-19 Fujitsu Ltd Voice interaction system and voice information method
JP2003205483A (en) * 2001-11-07 2003-07-22 Sony Corp Robot system and control method for robot device
JP2003169147A (en) * 2001-11-30 2003-06-13 Buzzhits Kk Client response system and method
JP2004094057A (en) * 2002-09-02 2004-03-25 Ricoh Co Ltd Equipment operating system, program, and recording medium, and image forming device
JP2004272355A (en) * 2003-03-05 2004-09-30 Seiko Epson Corp Information presentation method, information presentation system, and information presentation processing program
JP2004333870A (en) * 2003-05-08 2004-11-25 Nissan Motor Co Ltd Speech recognition device for traveling object
JP2006058641A (en) * 2004-08-20 2006-03-02 Nissan Motor Co Ltd Speech recognition device

Also Published As

Publication number Publication date
JP2006251059A (en) 2006-09-21

Similar Documents

Publication Publication Date Title
CN106796786B (en) Speech recognition system
US8831938B2 (en) Speech recognition adjustment based on manual interaction
JP5137853B2 (en) In-vehicle speech recognition device
US20050125233A1 (en) Vehicle mounted controller
JP2004126413A (en) On-board controller and program which makes computer perform operation explanation method for the same
JP4104313B2 (en) Voice recognition device, program, and navigation system
US8706492B2 (en) Voice recognition terminal
JP2009251388A (en) Native language utterance device
JP4624825B2 (en) Voice dialogue apparatus and voice dialogue method
JP2000322078A (en) On-vehicle voice recognition device
JP4483450B2 (en) Voice guidance device, voice guidance method and navigation device
JP6522009B2 (en) Speech recognition system
KR100567828B1 (en) Apparatus And Method for Enhanced Voice Recognition
JP4056711B2 (en) Voice recognition device
EP1316944B1 (en) Sound signal recognition system and method, and dialog control system and method using it
JP2006251061A (en) Voice dialog apparatus and voice dialog method
JP2004301875A (en) Speech recognition device
JP2000276187A (en) Method and device for voice recognition
JP2004184803A (en) Speech recognition device for vehicle
JP2003330488A (en) Voice recognition device
JP2005283797A (en) Device and method for speech recognition
KR102594683B1 (en) Electronic device for speech recognition and method thereof
JP2005309185A (en) Device and method for speech input
JP2003148987A (en) Navigation apparatus
JP2001075589A (en) Method and device for voice recognition

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20071219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20071219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees