JP6166889B2 - Dialog support apparatus, dialog system, dialog support method and program - Google Patents
Dialog support apparatus, dialog system, dialog support method and program Download PDFInfo
- Publication number
- JP6166889B2 JP6166889B2 JP2012251337A JP2012251337A JP6166889B2 JP 6166889 B2 JP6166889 B2 JP 6166889B2 JP 2012251337 A JP2012251337 A JP 2012251337A JP 2012251337 A JP2012251337 A JP 2012251337A JP 6166889 B2 JP6166889 B2 JP 6166889B2
- Authority
- JP
- Japan
- Prior art keywords
- intention
- user
- information
- search
- response information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、いわゆる音声エージェントサービスに関する。 The present invention relates to a so-called voice agent service.
ユーザが音声により質問等を入力することによって情報を検索し、検索結果を文字や画像によって出力する技術が知られている(例えば、特許文献1参照)。また、スマートフォン等の携帯端末においては、音声によって情報を検索したり、当該端末を操作したりするとともに、当該端末が音声によって応答することができる音声対話機能も実用化されている。このような音声対話機能により、ユーザは、あたかも人間に話しかけるように携帯端末を操作することが可能である。 A technique is known in which a user searches for information by inputting a question or the like by voice, and outputs a search result as characters or images (see, for example, Patent Document 1). Also, in mobile terminals such as smartphones, a voice interaction function is also put into practical use, in which information is searched by voice or the terminal is operated, and the terminal can respond by voice. With such a voice interaction function, the user can operate the portable terminal as if speaking to a human.
ところで、現実の人間との対話においては、情報の検索や携帯端末の操作のように一定の応答が期待される場合もあれば、そうでない場合もある。例えば、ユーザは、雑談のような何気ない会話においては、必ずしも一定の応答を期待しているわけではない。また、雑談に対して決まった応答しかなされなければ、その応答はまさに機械的なものとなり、人間味が感じられないともいえる。したがって、特許文献1に記載された技術のように、既存のデータベースから回答を検索しただけでは、情報の検索に対する適切な回答は得られたとしても、雑談などに対する適切な応答とはなり得ない。
そこで、本発明は、ユーザの意図に応じて応答の方法を変えられる技術を提供することを目的とする。
By the way, in a dialogue with a real person, there may be a case where a certain response is expected, such as a search for information or an operation of a portable terminal, and a case where it is not. For example, the user does not necessarily expect a constant response in a casual conversation such as chat. Moreover, if only a fixed response is made to the chat, the response will be exactly mechanical and it can be said that human feeling is not felt. Therefore, as in the technique described in
Therefore, an object of the present invention is to provide a technique capable of changing a response method according to a user's intention.
本発明は、ユーザが発話した音声に基づいて生成される入力情報を取得する取得部と、前記取得部により取得された入力情報に基づき、前記ユーザの発話の意図を解釈する解釈部と、前記解釈部により解釈された意図が情報の検索である場合に、当該意図に応じて実行された検索の検索結果に応じた応答情報を出力し、前記解釈部により解釈された意図が情報の検索でない場合に、当該意図に対応して用意された複数の応答情報のいずれかを選択的に出力する出力部とを備える対話支援装置を提供する。 The present invention provides an acquisition unit that acquires input information generated based on voice uttered by a user, an interpretation unit that interprets the intention of the user's utterance based on the input information acquired by the acquisition unit, When the intention interpreted by the interpreter is a search for information, response information corresponding to the search result of the search executed according to the intention is output, and the intention interpreted by the interpreter is not a search for information In some cases, a dialogue support device is provided that includes an output unit that selectively outputs any one of a plurality of response information prepared corresponding to the intention.
また、前記出力部は、前記解釈部により解釈された意図が情報の検索である場合とそうでない場合とで、参照する情報源を異ならせる構成であってもよい。
また、前記出力部は、所定の文字列が含まれているか否かによって、前記解釈部により解釈された意図が情報の検索であるか否かを判断する構成であってもよい。
また、前記出力部は、前記複数の応答情報のうち、前記ユーザにより選択されたキャラクタに応じた応答情報を出力する構成であってもよい。
また、前記出力部は、前記応答情報と、当該応答情報に付加される付加情報であって前記ユーザにより選択されたキャラクタに応じた付加情報とを出力する構成であってもよい。
また、前記出力部は、発話しているユーザ、当該ユーザの位置又は発話日時が所定の条件を満たす場合に、あらかじめ用意された複数の応答情報のいずれかを選択的に出力する構成であってもよい。
Further, the output unit may be configured such that the information source to be referred to is different depending on whether the intention interpreted by the interpretation unit is a search for information or not.
The output unit may be configured to determine whether the intention interpreted by the interpretation unit is a search for information depending on whether a predetermined character string is included.
The output unit may output response information corresponding to a character selected by the user among the plurality of response information.
The output unit may output the response information and additional information added to the response information and corresponding to the character selected by the user.
Further, the output unit is configured to selectively output any of a plurality of response information prepared in advance when the user who is speaking, the position of the user, or the date and time of speaking satisfies a predetermined condition. Also good.
また、本発明は、前記対話支援装置と、前記ユーザの音声を収音し、前記出力部により出力された応答情報に応じた応答を少なくとも音声により再生するユーザ端末とを備える対話システムを提供する。 The present invention also provides a dialog system comprising the dialog support device and a user terminal that collects the user's voice and reproduces at least the voice according to the response information output by the output unit. .
また、本発明は、ユーザが発話した音声に基づいて生成される入力情報を取得するステップと、前記取得された入力情報に基づき、前記ユーザの発話の意図を解釈するステップと、前記解釈された意図が情報の検索である場合に、当該意図に応じて実行された検索の検索結果に応じた応答情報を出力し、前記解釈された意図が情報の検索でない場合に、当該意図に対応して用意された複数の応答情報のいずれかを選択的に出力するステップとを有する対話支援方法を提供する。 The present invention also includes a step of acquiring input information generated based on speech uttered by a user, a step of interpreting the user's utterance intention based on the acquired input information, and the interpretation When the intention is a search of information, response information corresponding to the search result of the search executed according to the intention is output, and when the interpreted intention is not a search of information, And a step of selectively outputting any of the plurality of prepared response information.
また、本発明は、コンピュータに、ユーザが発話した音声に基づいて生成される入力情報を取得するステップと、前記取得された入力情報に基づき、前記ユーザの発話の意図を解釈するステップと、前記解釈された意図が情報の検索である場合に、当該意図に応じて実行された検索の検索結果に応じた応答情報を出力し、前記解釈された意図が情報の検索でない場合に、当該意図に対応して用意された複数の応答情報のいずれかを選択的に出力するステップとを実行させるためのプログラムを提供する。 According to another aspect of the present invention, a computer acquires input information generated based on speech uttered by a user, interprets the user's utterance intention based on the acquired input information, When the interpreted intention is a search of information, response information is output according to the search result of the search executed according to the intention, and when the interpreted intention is not a search of information, the intention is A program for executing a step of selectively outputting any of a plurality of response information prepared correspondingly is provided.
本発明によれば、ユーザの意図に応じて応答の方法を変えることが可能である。 According to the present invention, it is possible to change the response method according to the user's intention.
[実施例]
図1は、本発明の一実施例である対話システム10の全体構成を示すブロック図である。対話システム10は、いわゆる音声エージェントサービスを提供するためのシステムであり、ユーザ端末100、音声認識サーバ200A、意図解釈サーバ200B、雑談管理サーバ200C及び音声合成サーバ200Dを備え、これらをネットワーク300によって相互に接続した構成を有する。なお、ユーザ端末1000は、ここでは図示を省略しているが、このサービスを利用するユーザの数だけ実際には存在する。また、ネットワーク300は、移動通信網やインターネットを組み合わせた複合的なネットワークである。
[Example]
FIG. 1 is a block diagram showing the overall configuration of a
ここにおいて、音声エージェントサービスとは、ユーザ端末100におけるユーザの各種の操作を音声によって仲介するサービスをいう。このサービスによれば、ユーザは、情報を検索したりする場合に、ユーザ端末100に文字を手で入力したりすることなく、ユーザ端末100に自然文で話しかけるだけで所望の結果を得ることが可能である。
Here, the voice agent service refers to a service that mediates various user operations on the
また、本実施例の音声エージェントサービスは、キャラクタを介してサービスを提供する点に第1の特徴を有する。ここでいうキャラクタは、漫画の登場人物、著名人、動物などを模したものであり、例えば、3次元CG(Computer Graphics)などによってアニメーション表示される。このキャラクタは、コンテンツプロバイダによってさまざまなものが提供されており、各ユーザが所望のキャラクタを有償又は無償で選択して使用することが可能である。これらのキャラクタは、キャラクタ毎に音声(声色)や口調が異なっている。本実施例のサービスにおいては、ユーザが自分の好みのキャラクタを使用し、これに(あたかも現実の人間と対話するように)話しかけることによって、特定のキャラクタに愛着を抱き、本サービスの利用の促進が図られることが期待される。 In addition, the voice agent service of the present embodiment has a first feature in that a service is provided through a character. The character referred to here is a character imitating a cartoon character, a celebrity, an animal, or the like, and is animated by, for example, three-dimensional CG (Computer Graphics). Various characters are provided by content providers, and each user can select and use a desired character for a fee or free of charge. These characters have different voices (voice colors) and tone for each character. In the service of this embodiment, the user uses his / her favorite character and speaks to it (as if interacting with a real person), so that he / she is attached to a specific character and promotes the use of this service. Is expected to be achieved.
さらに、本実施例の音声エージェントサービスは、ユーザが情報の検索以外の対話を行える点に第2の特徴を有する。ここにおいて、情報の検索以外の対話とは、いわゆる雑談や世間話のようなものをいう。すなわち、ここでいう対話は、いわゆるウェブ検索のようにユーザが特定の結果を求めるものではなく、現実の人間とのコミュニケーションにおいて会話や暇つぶしとして行われるものなどである。 Furthermore, the voice agent service of the present embodiment has a second feature in that a user can perform a dialog other than information retrieval. Here, the dialogue other than information retrieval refers to something like so-called chat or social talk. In other words, the dialog here is not what the user asks for a specific result as in the so-called web search, but is what is performed as a conversation or killing time in communication with a real person.
ユーザ端末100は、ユーザが本サービスを利用するために用いる通信端末である。ユーザ端末100は、ここではスマートフォンであるとする。音声認識サーバ200Aは、ユーザが発話した音声に基づいて生成される音声データをテキストデータに変換するためのサーバ装置である。意図解釈サーバ200Bは、テキストデータに基づいてユーザの意図を解釈し、その意図に応じた応答情報をユーザ端末100に送信するサーバ装置である。雑談管理サーバ200Cは、キャラクタ毎の雑談データを管理するサーバ装置であり、雑談データを所定のタイミングで意図解釈サーバ200Bに送信する。音声合成サーバ200Dは、キャラクタ毎の音声データ(以下「合成音声データ」という。)を記憶するサーバ装置であり、これを必要に応じてユーザ端末100に送信する。合成音声データは、コンテンツプロバイダによって提供されるデータであり、後述するキャラクタIDと応答文章とに各々が対応付けられている。
The
図2は、ユーザ端末100のハードウェア構成を示すブロック図である。ユーザ端末100は、制御部110と、記憶部120と、通信部130と、表示部140と、音声入力部150と、音声出力部160とを少なくとも備える。また、ユーザ端末100は、テンキーなどのキーパッドやバイブレータを備えていてもよい。
FIG. 2 is a block diagram illustrating a hardware configuration of the
制御部110は、ユーザ端末100の各部の動作を制御する手段である。制御部110は、CPU(Central Processing Unit)などの演算処理装置やメモリを備え、所定のプログラムを実行することによって制御を行う。
記憶部120は、データを記憶する手段である。記憶部120は、フラッシュメモリなどの記録媒体を備え、制御部110が制御に用いるデータを記憶している。
The
The storage unit 120 is means for storing data. The storage unit 120 includes a recording medium such as a flash memory, and stores data used by the
通信部130は、ネットワーク300を介してデータを送受信する手段である。通信部300は、アンテナや、ネットワーク300の通信方式に対応したモデムなどを備え、データの変調・復調といったデータ通信に必要な処理を実行する。
表示部140は、画像を表示する手段である。表示部140は、液晶素子や有機EL(electroluminescence)素子により構成された表示パネル(すなわち表示領域)とこれを駆動する駆動回路とを備え、画像データに応じた画像を表示する。
The
The
音声入力部150は、音声を入力する手段である。音声入力部150は、マイクロホン又はこれを接続する入力端子を備え、音声データを制御部110に供給する。一方、音声出力部160は、音声を出力する手段である。音声出力部160は、スピーカ又はこれを接続する出力端子を備え、制御部110から供給された音声情報に応じた音声を出力する。なお、音声入力部150及び音声出力部160は、ヘッドセットなどを無線接続する構成であってもよい。
The
図3は、音声認識サーバ200A、意図解釈サーバ200B、雑談管理サーバ200C及び音声合成サーバ200Dのハードウェア構成を示すブロック図である。これらのサーバ装置は、記憶するデータや実行する処理に相違はあるものの、主要なハードウェア構成は共通している。そのため、ここでは、音声認識サーバ200A、意図解釈サーバ200B、雑談管理サーバ200C及び音声合成サーバ200Dを総称して「サーバ装置200」と表記し、これらのサーバ装置に共通する主要なハードウェア構成を説明する。
FIG. 3 is a block diagram showing the hardware configuration of the
サーバ装置200は、制御部210と、記憶部220と、通信部230とを備える。制御部210は、サーバ装置200の各部の動作を制御する手段である。制御部210は、演算処理装置やメモリを備え、所定のプログラムを実行することによって制御を行う。記憶部220は、データを記憶する手段であり、ハードディスクなどの記録媒体を備える。通信部130は、ネットワーク300を介してデータを送受信する手段である。
The server device 200 includes a
図4は、意図解釈サーバ200Bの機能的構成を示すブロック図である。意図解釈サーバ200Bの制御部210は、所定のプログラムを実行することにより、取得部211、解釈部212及び出力部213の各部に相当する機能を実現する。制御部210が実現するこれらの機能は、本発明に係る対話支援装置に相当する機能である。
FIG. 4 is a block diagram showing a functional configuration of the
取得部211は、入力情報を取得する手段である。ここにおいて、入力情報とは、ユーザが音声によって入力した情報の総称である。入力情報には、ユーザ端末100において生成される音声データと、これを変換して得られるテキストデータとが含まれる。本実施例において、取得部211は、音声認識サーバ200Aによって音声データからテキストデータに変換された状態で入力情報を取得する。
The
解釈部212は、取得部211により取得された入力情報に基づき、ユーザの発話の意図を解釈する手段である。解釈部212は、テキストデータに対して形態素解析などを実行して当該テキストデータに含まれる単語を特定し、さらにその構文などを解析することによってユーザによる発話の意図を解釈する。本実施例において、解釈部212は、ユーザの意図が「情報の検索」と「雑談」のいずれであるかを判断する。この判断は、雑談データを用いて行われる。
The
出力部213は、解釈部212による解釈結果に応じた応答情報を出力する手段である。出力部213は、解釈部212により解釈されたユーザの意図が情報の検索である場合と雑談である場合とに応じた応答情報を出力する。出力部213は、解釈部212により解釈されたユーザの意図が情報の検索である場合、外部のサーチエンジンやデータベースを用いて検索を実行して検索結果を受信し、この検索結果に応じた応答情報を出力する。一方、解釈部212により解釈されたユーザの意図が雑談である場合、出力部213は、記憶部220に記憶された複数の雑談データの中から適当なものを選択的に抽出し、これに応じた応答情報を出力する。すなわち、出力部213は、解釈部212により解釈されたユーザの意図に応じて、参照する情報源を異ならせている。
The
図5は、雑談データのデータ構造を例示する図である。本実施例の雑談データは、「登録文字列」、「時間」、「禁止用語フラグ」、「キャラクタID」、「応答文章」、「アクションID」などの項目を含んで構成される。コンテンツプロバイダは、これらの項目のうち、「禁止用語フラグ」、「キャラクタID」、「応答文章」及び「アクションID」を登録することができる。その他の項目は、本サービスのサービス事業者(例えば通信事業者)によってあらかじめ決められている。 FIG. 5 is a diagram illustrating a data structure of chat data. The chat data of this embodiment includes items such as “registered character string”, “time”, “prohibited term flag”, “character ID”, “response text”, and “action ID”. Among these items, the content provider can register “prohibited term flag”, “character ID”, “response text”, and “action ID”. Other items are determined in advance by a service provider (for example, a communication provider) of this service.
「登録文字列」は、ユーザの発話の意図が雑談であるか否かを判断するための文字列である。意図解釈サーバ200Bは、テキストデータに登録文字列が含まれている場合に、ユーザの発話の意図が雑談であると判断することができる。登録文字列は、例えば、「おはよう」、「こんにちは」などといった挨拶である。
The “registered character string” is a character string for determining whether or not the intention of the user's utterance is a chat. The
「時間」は、ユーザが発話した時間を示すデータである。この項目は、例えば、「朝」、「昼」、「夜」といった時間帯を記述することにより、ユーザが発話した時間帯に応じて雑談の応答を変えられるように設けられている。このようにすれば、例えば、ユーザが朝に「おはよう」と発話した場合と昼に「おはよう」と発話した場合とで、応答の具体的内容を異ならせることが可能である。 “Time” is data indicating the time when the user speaks. This item is provided so that the chat response can be changed according to the time zone spoken by the user by describing the time zone such as “morning”, “daytime”, and “night”, for example. In this way, for example, the specific content of the response can be made different when the user utters “good morning” in the morning and when utters “good morning” in the daytime.
「禁止用語フラグ」は、禁止用語を含むテキストデータに対する応答を一律に指定するためのデータである。この項目を用いる場合には、ユーザの発話の意図の判断とは別に、テキストデータに禁止用語が含まれるか否かが判断される。意図解釈サーバ200Bは、テキストデータに禁止用語が含まれる場合、禁止用語フラグが「1」である雑談データを抽出する。なお、ここにおいて、禁止用語とは、例えば、卑わいな表現や暴力的な表現であるが、コンテンツプロバイダ又はサービス事業者が任意に設定することが可能である。また、ユーザの年齢を識別することが可能であれば、禁止用語は年齢に応じて異なっていてもよい。
The “prohibited term flag” is data for uniformly designating responses to text data including prohibited terms. When this item is used, it is determined whether or not prohibited terms are included in the text data separately from the determination of the intention of the user's utterance. The
「キャラクタID」は、ユーザがユーザ端末100において使用しているキャラクタを識別するためのIDである。「応答文章」は、当該キャラクタによる応答を表すテキストデータである。また、「アクションID」は、当該キャラクタの応答時の動作(身体の動き、顔の表情など)を識別するためのIDである。各キャラクタには、それぞれのアクションIDに応じたアニメーション表示をするためのアニメーションデータがコンテンツプロバイダによってあらかじめ用意されている。
The “character ID” is an ID for identifying a character used by the user on the
雑談管理サーバ200Cは、コンテンツプロバイダからこのような雑談データの登録を受け付ける。雑談管理サーバ200Cは、所定のタイミング(1時間毎、1日1回など)で雑談データを意図解釈サーバ200Bに送信する。意図解釈サーバ200Bは、雑談管理サーバ200Cから新たな雑談データを受信すると、自装置に記憶された雑談データを更新する。
The
対話システム10の構成は、以上のとおりである。この構成のもと、ユーザ端末100は、待ち受け画面などにキャラクタを表示するとともに、音声によるユーザの入力を待機する。ユーザは、キャラクタが表示されたユーザ端末100に対して、当該キャラクタに話しかけるように発話し、音声を入力する。ユーザによって音声が入力されると、ユーザ端末100、音声認識サーバ200A及び意図解釈サーバ200Bは、協働して以下の処理を実行する。
The configuration of the
図6は、ユーザの音声入力に対する応答が得られるまでの動作を示すシーケンスチャートである。この動作は、ユーザがユーザ端末100に対して音声を入力することによって開始される。ユーザ端末100は、ユーザの音声を収音して音声データを生成し(ステップS1)、これを音声認識サーバ200Aに送信する(ステップS2)。音声認識サーバ200Aは、音声データを受信し、音声認識を実行することにより音声データをテキストデータ(文字コードで記述可能なデータ)に変換する(ステップS3)。音声認識サーバ200Aは、テキストデータをユーザ端末100に返送(送信)する(ステップS4)。
FIG. 6 is a sequence chart showing an operation until a response to the user's voice input is obtained. This operation is started when the user inputs voice to the
ユーザ端末100は、テキストデータを受信したら、これを意図解釈サーバ200Bに転送(送信)する(ステップS5)。このとき、ユーザ端末100は、表示部140に表示されているキャラクタ、すなわち、ユーザにより選択されたキャラクタのキャラクタIDをあわせて送信する。意図解釈サーバ200Bは、テキストデータを入力情報として受信し、ユーザが発話した音声の意図を解釈することにより、必要な応答情報を得る処理を実行する(ステップS6)。この処理のことを、以下においては「意図解釈処理」という。
When receiving the text data, the
意図解釈サーバ200Bは、意図解釈処理を実行することにより、応答情報を得ることができる。意図解釈サーバ200Bは、意図解釈処理により得られた応答情報をユーザ端末100に送信する(ステップS7)。なお、応答情報は、応答文章及びアクションIDを少なくとも含む。
The
ユーザ端末100は、応答情報を受信すると、応答情報に含まれる応答文章を音声合成サーバ200Dに送信する(ステップS8)。このとき、ユーザ端末100は、ステップS5において送信したキャラクタIDと同一のキャラクタIDをあわせて送信する。音声合成サーバ200Dは、受信したキャラクタIDと応答文章とに基づき、合成音声データを一意的に特定することができる。音声合成サーバ200Dは、特定した合成音声データをユーザ端末100に送信する(ステップS9)。そして、ユーザ端末100は、応答情報に応じた音声及び画像を再生することにより、ユーザの音声入力に対して応答する(ステップS10)。
When receiving the response information, the
図7は、ステップS6の意図解釈処理をより詳細に示すフローチャートである。意図解釈サーバ200B(の制御部210)は、まず、テキストデータを形態素解析などにより解析し、ユーザの発話の意図を解釈する(ステップS61)。なお、ステップS61の処理には、言語解析に関する周知技術を適宜用いればよい。また、意図解釈サーバ200Bは、この処理の一部又は全部を自装置で実行せず、言語解析用の専用の装置に実行させてもよい。要するに、意図解釈サーバ200Bは、テキストデータの解釈結果を取得できればそれでよく、その具体的な方法は問われない。
FIG. 7 is a flowchart showing in more detail the intention interpretation process in step S6. The
次に、意図解釈サーバ200Bは、テキストデータが示すユーザの意図が情報の検索であるか否かを判断する(ステップS62)。ここにおいて、意図解釈サーバ200Bは、自装置に記憶された雑談データを参照し、テキストデータに登録文字列が含まれているか否かを判断することにより、ユーザの意図が雑談であるか否かを判断することができる。また、意図解釈サーバ200Bは、登録文字列以外(構文など)も組み合わせて用いて雑談か否かを判断してもよい。例えば、意図解釈サーバ200Bは、「教えて」や「調べて」といった、要求や依頼を意味する所定の文字列がテキストデータに含まれていた場合に、ユーザの意図が情報の検索であると判断してもよい。つまり、テキストデータに登録文字列が含まれているか否かの判断は、ステップS62の処理の1つの具体例にすぎない。
Next, the
意図解釈サーバ200Bは、ステップS62の判断結果に応じてその後の処理を異ならせる。まず、テキストデータが示すユーザの意図が情報の検索である場合、意図解釈サーバ200Bは、テキストデータに含まれる文字列を用いて検索を実行し(ステップS63)、その検索結果を受信する(ステップS64)。このとき、意図解釈サーバ200Bは、いわゆるサーチエンジンのように不特定多数のウェブページの中から検索結果を求めてもよいし、特定の分野の情報に特化したデータベースを用いて検索結果を求めてもよい。例えば、ユーザが「東京のイタリアンレストランを教えて」という文言を発した場合であれば、意図解釈サーバ200Bは、「東京」及び「イタリアン」という検索語によってウェブ検索を実行してもよいし、場所として「東京」、ジャンルとして「イタリアン」といった検索条件を設定し、全国各地の飲食店の情報を提供するサービス事業者のデータベースにアクセスしてもよい。
The
一方、テキストデータが示すユーザの意図が情報の検索でなく、雑談である場合、意図解釈サーバ200Bは、雑談データを参照し、ユーザ端末100から送信されたテキストデータ及びキャラクタIDに応じた雑談データ(特に、「応答文章」及び「アクションID」)を抽出する(ステップS65)。
On the other hand, when the intention of the user indicated by the text data is not a search of information but a chat, the
これらの処理が終了したら、意図解釈サーバ200Bは、応答情報を生成する(ステップS66)。ステップS66において、意図解釈サーバ200Bは、雑談データや検索結果に基づき、ユーザ端末100において音声及び画像を再生するためのデータを応答情報として生成する。このとき、意図解釈サーバ200Bは、雑談データや検索結果に加工を施してもよい。
When these processes are completed, the
図8及び図9は、ユーザ端末100における出力結果を例示する図である。図8は、ユーザが「東京のイタリアンレストランを教えて」という文言を質問(要求)として発話した場合を示す。一方、図9は、ユーザが「元気ですか?」という文言を雑談として発話した場合を示す。意図解釈サーバ200Bは、ユーザの意図が情報の検索である場合、検索を実行した旨とそのときの検索条件(検索語)とを音声により通知するとともに、検索結果に相当する情報を表示する応答情報を生成する。一方、ユーザの意図が雑談である場合、意図解釈サーバ200Bは、「元気」という検索語によってウェブ検索を実行したりするのではなく、「元気」という登録文字列に対応する音声及び画像を再生するための応答情報を生成する。
8 and 9 are diagrams illustrating output results in the
このように、本実施例の対話システム10によれば、意図解釈サーバ200Bによって解釈された発話の意図に応じてその応答方法を変えることができるようになる。これにより、ユーザは、音声入力を情報の検索以外の用途にも利用することが可能になり、かつ、その応答を不自然にすることなく、あたかも現実の人間と対話をしているようにすることができる。
Thus, according to the
また、本実施例によれば、ユーザは、情報を検索するときには、自身が選択したキャラクタによらず一定の応答を得られるのに対して、雑談を行ったときにはキャラクタ毎に異なる応答を得ることができる。このようにすることで、キャラクタの選択に面白みを与え、ユーザの興味を喚起することが可能であり、ユーザが本サービスを利用する動機付けとなることが期待できる。また、キャラクタ毎に応答を異ならせることによって、ユーザは自身の好みのキャラクタを選択的に使用することが可能であり、特定のキャラクタに対する愛着が増すことも期待できる。 Also, according to the present embodiment, when searching for information, the user can obtain a constant response regardless of the character selected by the user, whereas when performing a chat, the user obtains a different response for each character. Can do. By doing so, it is possible to give interest to the selection of the character, evoke the user's interest, and it can be expected that the user will be motivated to use this service. Also, by making the response different for each character, the user can selectively use his / her favorite character, and it can be expected that attachment to a specific character will increase.
[変形例]
本発明は、上述した実施例の態様に限らず、他の態様でも実施することができる。以下に示すのは、本発明の他の態様の一例である。なお、これらの変形例は、必要に応じて、各々を適宜組み合わせることも可能である。
[Modification]
The present invention is not limited to the embodiment described above, but can be implemented in other embodiments. The following is an example of another embodiment of the present invention. Note that these modifications can be appropriately combined as necessary.
(1)本発明の応答は、応答情報と他の情報とによって構成されてもよい。ここにおいて、他の情報とは、応答情報に付加される情報であって、例えば、語尾変化などの語調(口調)に変化をもたらす文言を表す情報である。このような情報のことを、以下においては「付加情報」という。 (1) The response of the present invention may be composed of response information and other information. Here, the other information is information added to the response information, for example, information representing a word that changes the tone (speech tone) such as a ending change. Such information is hereinafter referred to as “additional information”.
図10は、応答情報(応答文章)と付加情報を例示する図である。ここにおいて、応答情報は、「元気」という名詞のみによって構成されている。また、付加情報は、この「元気」という名詞に続く語句を表しており、ここでは、「(元気)だよ。」、「(元気)ですよ。」、「(元気)です。ありがとう。」といった複数の付加情報があるものとする。このとき、付加情報は、キャラクタ毎に異なるものであるとする。なお、応答情報は、キャラクタ毎に異なってもよいし、そうでなくてもよい。 FIG. 10 is a diagram illustrating response information (response text) and additional information. Here, the response information is composed of only the noun “Genki”. In addition, the additional information expresses the phrase following the noun “Genki”. Here, “I'm fine”, “I ’m fine”, “I ’m fine. Thank you.” And a plurality of additional information. At this time, it is assumed that the additional information is different for each character. Note that the response information may or may not differ for each character.
このようにすれば、付加情報によって応答に変化を与えることが可能である。また、応答情報と付加情報の双方をキャラクタ毎に異ならせることで、例えば、応答の大意については応答情報によって変化を与えつつ、語調のような微妙なニュアンスについては付加情報によって変化を与える、といった利用の態様も考えられる。 In this way, the response can be changed by the additional information. Also, by making the response information and the additional information different for each character, for example, while changing the meaning of the response depending on the response information, subtle nuances such as tone are changed by the additional information. A mode of use is also conceivable.
(2)音声合成サーバ200Dは、ユーザが特定の用語を発したり、特定の問いかけを行ったりした場合に、合成音声データに代えて楽曲データをユーザ端末100に送信するようにしてもよい。例えば、ユーザが「歌って」と発した場合、音声合成サーバ200Dは、これに対応する応答として所定の楽曲の楽曲データを送信する。この楽曲データは、日時に応じて異なるようにされていてもよい。
(2) The speech synthesis server 200D may transmit music data to the
さらに、このように歌うことができるキャラクタを一部のキャラクタに限定してもよい。この場合、音声合成サーバ200Dは、歌うことができない(換言すれば、歌うように設定されていない)キャラクタについては、「歌って」というユーザの問いかけに対して適当な合成音声データ(例えば、「よくわかりません」、「歌えません」など)を送信してもよい。このようにすれば、各キャラクタの個性をより際立たせることが可能である。 Further, the characters that can be sung in this way may be limited to some characters. In this case, the speech synthesis server 200D cannot properly sing (in other words, for characters that are not set to sing), the synthesized speech data (for example, “ I do n’t know ”,“ I ca n’t sing ”, etc.). In this way, the individuality of each character can be made more prominent.
(3)意図解釈サーバ200Bは、所定の条件を満たす場合に、情報の検索を行わずに所定の応答情報を出力するようにしてもよい。例えば、意図解釈サーバ200Bは、発話しているユーザが特定のユーザ(例えばユーザ端末100の所有者)でない場合、ユーザ端末100の位置が所定の位置(例えばユーザが事前に設定した位置)でない場合、発話日時が所定の日時(例えば深夜)である場合などに、ユーザの意図を問わず、あらかじめ決められた応答情報を出力するようにしてもよい。この場合、意図解釈サーバ200Bは、ユーザの認識結果、ユーザ端末100の位置を示す位置情報、発話日時を示す時刻情報などを取得できるように構成される。このようにすれば、意図しない第三者によって情報の検索が行われるような想定外の事態を防いだりすることが可能である。
(3) The
なお、ユーザの判別には、周知の話者認識技術を利用したり、あらかじめユーザ(所有者)の音声を登録したりすればよい。また、ユーザ端末100の位置の特定には、GPS(Global Positioning System)による測位のような位置情報を取得可能な周知技術を用いればよい。また、所定の条件を満たした場合のキャラクタの応答は、例えば「よくわかりません」や「お答えできません」といったものであるが、キャラクタ毎に異なっていてもよい。
In addition, what is necessary is just to utilize a well-known speaker recognition technique or register a user's (owner's) voice | voice previously for a user's discrimination | determination. Further, the position of the
また、意図解釈サーバ200Bは、所定の条件を満たすか否かを判断を意図解釈処理の前後のいずれに実行してもよい。この判断を意図解釈処理の前に実行する場合、意図解釈サーバ200Bは、所定の条件を満たすと判断したら意図解釈処理をせずに省略してもよい。また、意図解釈処理を先に実行する場合、意図解釈サーバ200Bは、ユーザの意図が情報の検索であると判断した場合にのみこの判断を実行すればよい。
Further, the
さらに、本変形例は、上述した変形例2の場合のように、ユーザの問いかけに対して音声合成サーバ200Dが楽曲データを送信する場合にも適用可能である。例えば、意図解釈サーバ200Bは、ユーザ端末100の位置が所定の位置でない場合には、楽曲データに代えて「ここでは歌えません」と発声する合成音声データを送信させるようにしたり、発生日時が深夜である場合には、楽曲データに代えて「今は歌えません」と発声する合成音声データを送信させるようにしたりすることも可能である。
Furthermore, this modification can also be applied to the case where the speech synthesis server 200D transmits music data in response to a user's inquiry as in the case of the
(4)本発明は、ユーザからの入力とユーザに対する出力の双方が音声であることを要しない。つまり、本発明は、ユーザに対する出力(すなわち、入力に対する応答)については、画像の再生(表示)のみであって音声の再生を伴わない態様であってもよい。この場合、音声合成サーバ200Dに相当する構成は不要である。あるいは、ユーザに対する出力は、バイブレータを振動させるなどの触覚的なフィードバックを伴ってもよい。 (4) The present invention does not require that both the input from the user and the output to the user are audio. That is, the present invention may be in a mode in which the output to the user (that is, the response to the input) is only the reproduction (display) of the image and is not accompanied by the reproduction of the sound. In this case, a configuration corresponding to the speech synthesis server 200D is not necessary. Alternatively, the output to the user may be accompanied by tactile feedback such as vibrating the vibrator.
(5)本発明において、音声入力は、情報の検索と雑談以外の応答に用いられてもよい。例えば、本発明は、情報の検索と雑談に加え、ユーザ端末100の操作に音声入力を用いるものであってもよい。ここでいう操作とは、例えば、ユーザ端末100に備わっている特定の機能のオン/オフの切り替えや、特定のプログラムの実行などである。
(5) In the present invention, voice input may be used for responses other than information retrieval and chat. For example, the present invention may use voice input for operation of the
(6)本発明を実施するための具体的構成は、上述した実施例の形態に限定されない。例えば、音声認識は、音声認識サーバ200Aに代えてユーザ端末100や意図解釈サーバ200Bにおいて実行されてもよい。また、合成音声データは、音声合成サーバ200Dから送信されるのではなく、意図解釈サーバ200Bから(ステップS7において)送信されてもよい。さらに、本発明に係る対話支援装置の機能についても、その一部又は全部がユーザ端末100に備わっていてもよいし、複数のサーバ装置に分散的に備わっていてもよい。
(6) The specific configuration for carrying out the present invention is not limited to the embodiment described above. For example, voice recognition may be executed in the
(7)本発明のユーザ端末には、スマートフォン以外のさまざまな端末も該当し得る。例えば、本発明は、いわゆるタブレットPC(Personal Computer)、ゲーム機、音楽プレーヤなどにも適用可能である。また、本発明のユーザ端末は、無線通信端末に限定されるものでもなく、モデム等を介して有線接続されたデスクトップPCであってもよい。 (7) Various terminals other than a smartphone may also correspond to the user terminal of the present invention. For example, the present invention can be applied to a so-called tablet PC (Personal Computer), a game machine, a music player, and the like. In addition, the user terminal of the present invention is not limited to a wireless communication terminal, but may be a desktop PC connected by wire via a modem or the like.
また、本発明は、対話支援装置やこれを備えたサーバ装置(又はユーザ端末)としてだけではなく、1又は複数のサーバ装置とユーザ端末とを備えた対話システム、対話支援装置による対話支援方法、コンピュータを本発明の対話支援装置として機能させるためのプログラムなどとして特定されてもよい。また、本発明に係るプログラムは、光ディスクなどの記録媒体に記録した形態や、インターネットなどのネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする形態などでも提供することができる。 The present invention is not limited to a dialog support apparatus or a server apparatus (or user terminal) including the dialog support apparatus, but includes a dialog system including one or more server apparatuses and a user terminal, a dialog support method using the dialog support apparatus, It may be specified as a program for causing a computer to function as the dialogue support apparatus of the present invention. Further, the program according to the present invention can be provided in a form recorded on a recording medium such as an optical disk, or a form that is downloaded to a computer via a network such as the Internet and can be installed and used. .
10…対話システム、100…ユーザ端末、110…制御部、120…記憶部、130…通信部、140…表示部、150…音声入力部、160…音声出力部、200A…音声認識サーバ、200B…意図解釈サーバ、200C…雑談管理サーバ、200D…音声合成サーバ、210…制御部、211…取得部、212…解釈部、213…出力部、220…記憶部、230…通信部、300…ネットワーク
DESCRIPTION OF
Claims (8)
前記取得部により取得された入力情報に基づき、前記ユーザの発話の意図を解釈する解釈部と、
前記解釈部により解釈された意図が情報の検索である場合に、当該意図に応じて実行された検索の検索結果に応じた応答情報を出力し、前記解釈部により解釈された意図が情報の検索でない場合に、当該意図に対応して用意された複数の応答情報のいずれかを選択的に出力する出力部と
を備え、
前記出力部は、前記解釈部により解釈された意図がキャラクタによる歌唱の要求である場合に、前記ユーザの位置が所定の条件を満たすときには、楽曲データを出力する一方で、前記ユーザの位置が前記所定の条件を満たさないときには、歌唱を拒否するメッセージを示す応答情報を出力することを特徴とする対話支援装置。 An acquisition unit for acquiring input information generated based on voice spoken by the user;
An interpretation unit that interprets the intention of the user's utterance based on the input information acquired by the acquisition unit;
When the intention interpreted by the interpretation unit is a search for information, response information is output according to the search result of the search executed according to the intention, and the intention interpreted by the interpretation unit is a search for information. An output unit that selectively outputs any one of a plurality of response information prepared in accordance with the intention,
The output unit, when intended interpreted by the interpretation unit is a request of singing by characters, when position of the user satisfies a predetermined condition, while outputting music data, position of the user If the predetermined condition is not satisfied, response information indicating a message for rejecting singing is output.
前記解釈部により解釈された意図が情報の検索である場合とそうでない場合とで、参照する情報源を異ならせる
請求項1に記載の対話支援装置。 The output unit is
The dialogue support apparatus according to claim 1, wherein the information source to be referred to is different depending on whether the intention interpreted by the interpretation unit is a search for information or not.
所定の文字列が含まれているか否かによって、前記解釈部により解釈された意図が情報の検索であるか否かを判断する
請求項1又は2に記載の対話支援装置。 The output unit is
The dialogue support apparatus according to claim 1 or 2, wherein whether or not the intention interpreted by the interpretation unit is a search for information is determined based on whether or not a predetermined character string is included.
前記複数の応答情報のうち、前記ユーザにより選択されたキャラクタに応じた応答情報を出力する
請求項1ないし3のいずれか1項に記載の対話支援装置。 The output unit is
The dialogue support device according to any one of claims 1 to 3, wherein response information corresponding to a character selected by the user among the plurality of response information is output.
前記応答情報と、当該応答情報に付加される付加情報であって前記ユーザにより選択されたキャラクタに応じた付加情報とを出力する
請求項1ないし4のいずれか1項に記載の対話支援装置。 The output unit is
The dialogue support device according to any one of claims 1 to 4, wherein the response information and additional information added to the response information and corresponding to the character selected by the user are output.
前記ユーザの音声を収音し、前記出力部により出力された応答情報に応じた応答を少なくとも音声により再生するユーザ端末と
を備える対話システム。 The dialogue support apparatus according to any one of claims 1 to 5,
A dialogue system comprising: a user terminal that picks up the user's voice and reproduces at least the voice according to the response information output by the output unit.
前記取得された入力情報に基づき、前記ユーザの発話の意図を解釈するステップと、
前記解釈された意図が情報の検索である場合に、当該意図に応じて実行された検索の検索結果に応じた応答情報を出力し、前記解釈された意図が情報の検索でない場合に、当該意図に対応して用意された複数の応答情報のいずれかを選択的に出力するステップと
を有し、
前記複数の応答情報のいずれかを選択的に出力するステップでは、前記解釈された意図がキャラクタによる歌唱の要求である場合に、前記ユーザの位置が所定の条件を満たすときには、楽曲データを出力する一方で、前記ユーザの位置が前記所定の条件を満たさないときには、歌唱を拒否するメッセージを示す応答情報を出力することを特徴とする対話支援方法。 Obtaining input information generated based on voice spoken by the user;
Interpreting the user's intention to speak based on the acquired input information;
When the interpreted intention is a search for information, response information corresponding to the search result of the search executed according to the intention is output, and when the interpreted intention is not a search for information, the intention is Selectively outputting one of a plurality of response information prepared corresponding to
In the step of outputting one of the plurality of response information selectively, if the interpreted intended is a request of singing by characters, when position of the user satisfies a predetermined condition, it outputs the music data while, when the position of the user does not satisfy the predetermined condition, interactive support method and outputting the response information indicating the refuse singing message.
ユーザが発話した音声に基づいて生成される入力情報を取得するステップと、
前記取得された入力情報に基づき、前記ユーザの発話の意図を解釈するステップと、
前記解釈された意図が情報の検索である場合に、当該意図に応じて実行された検索の検索結果に応じた応答情報を出力し、前記解釈された意図が情報の検索でない場合に、当該意図に対応して用意された複数の応答情報のいずれかを選択的に出力するステップと
を実行させるためのプログラムであって、
前記複数の応答情報のいずれかを選択的に出力するステップでは、前記解釈された意図がキャラクタによる歌唱の要求である場合に、前記ユーザの位置が所定の条件を満たすときには、楽曲データを出力する一方で、前記ユーザの位置が前記所定の条件を満たさないときには、歌唱を拒否するメッセージを示す応答情報を出力することを特徴とするプログラム。 On the computer,
Obtaining input information generated based on voice spoken by the user;
Interpreting the user's intention to speak based on the acquired input information;
When the interpreted intention is a search for information, response information corresponding to the search result of the search executed according to the intention is output, and when the interpreted intention is not a search for information, the intention is A step of selectively outputting any one of a plurality of response information prepared in correspondence with
In the step of outputting one of the plurality of response information selectively, if the interpreted intended is a request of singing by characters, when position of the user satisfies a predetermined condition, it outputs the music data while, when the position of the user does not satisfy the predetermined condition, a program and outputting the response information indicating the refuse singing message.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012251337A JP6166889B2 (en) | 2012-11-15 | 2012-11-15 | Dialog support apparatus, dialog system, dialog support method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012251337A JP6166889B2 (en) | 2012-11-15 | 2012-11-15 | Dialog support apparatus, dialog system, dialog support method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014098844A JP2014098844A (en) | 2014-05-29 |
JP6166889B2 true JP6166889B2 (en) | 2017-07-19 |
Family
ID=50940885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012251337A Active JP6166889B2 (en) | 2012-11-15 | 2012-11-15 | Dialog support apparatus, dialog system, dialog support method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6166889B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6124844B2 (en) * | 2014-06-24 | 2017-05-10 | シャープ株式会社 | SERVER, METHOD USING DATABASE, PROGRAM, SYSTEM, TERMINAL, TERMINAL PROGRAM, AND VOICE DATA OUTPUT DEVICE |
JPWO2016104193A1 (en) * | 2014-12-26 | 2017-05-25 | シャープ株式会社 | Correspondence determining device, voice dialogue system, control method of correspondence determining device, and voice dialogue device |
WO2017191696A1 (en) | 2016-05-06 | 2017-11-09 | ソニー株式会社 | Information processing system and information processing method |
JP2018010409A (en) * | 2016-07-12 | 2018-01-18 | Supership株式会社 | Information processing device and program |
JP6224857B1 (en) * | 2017-03-10 | 2017-11-01 | ヤフー株式会社 | Classification device, classification method, and classification program |
JP6977323B2 (en) * | 2017-06-14 | 2021-12-08 | ヤマハ株式会社 | Singing voice output method, voice response system, and program |
WO2023090057A1 (en) * | 2021-11-17 | 2023-05-25 | ソニーグループ株式会社 | Information processing device, information processing method, and information processing program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3273620B2 (en) * | 1991-09-30 | 2002-04-08 | 株式会社東芝 | Voice interaction device |
JP3254994B2 (en) * | 1995-03-01 | 2002-02-12 | セイコーエプソン株式会社 | Speech recognition dialogue apparatus and speech recognition dialogue processing method |
JPH11119792A (en) * | 1997-10-20 | 1999-04-30 | Toyota Motor Corp | Equipment controller with voice recognizing function, and voice recognizing device |
JP2003108362A (en) * | 2001-07-23 | 2003-04-11 | Matsushita Electric Works Ltd | Communication supporting device and system thereof |
JP4629560B2 (en) * | 2004-12-01 | 2011-02-09 | 本田技研工業株式会社 | Interactive information system |
JP5045486B2 (en) * | 2008-02-19 | 2012-10-10 | トヨタ自動車株式会社 | Dialogue device and program |
-
2012
- 2012-11-15 JP JP2012251337A patent/JP6166889B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014098844A (en) | 2014-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6166889B2 (en) | Dialog support apparatus, dialog system, dialog support method and program | |
JP6588637B2 (en) | Learning personalized entity pronunciation | |
KR101788500B1 (en) | Systems and methods for name pronunciation | |
CN106537496B (en) | Terminal device, information providing system, information presenting method, and information providing method | |
CN106537497B (en) | Information management system and information management method | |
TW200847004A (en) | Speech-centric multimodal user interface design in mobile technology | |
JP2002366186A (en) | Method for synthesizing voice and its device for performing it | |
CN1675681A (en) | Client-server voice customization | |
AU2014331209A1 (en) | Method for dialogue between a machine, such as a humanoid robot, and a human interlocutor; computer program product; and humanoid robot for implementing such a method | |
KR20100129122A (en) | Animation system for reproducing text base data by animation | |
KR20190002067A (en) | Method and system for human-machine emotional communication | |
JP2011028130A (en) | Speech synthesis device | |
WO2023018908A1 (en) | Conversational artificial intelligence system in a virtual reality space | |
CN110310648A (en) | Control method, device, mobile terminal and the readable storage medium storing program for executing of mobile terminal | |
US11790913B2 (en) | Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal | |
JP7310907B2 (en) | DIALOGUE METHOD, DIALOGUE SYSTEM, DIALOGUE DEVICE, AND PROGRAM | |
JP2007286376A (en) | Voice guide system | |
KR20200085433A (en) | Voice synthesis system with detachable speaker and method using the same | |
WO2020110744A1 (en) | Information processing device, information processing method, and program | |
JP2020204683A (en) | Electronic publication audio-visual system, audio-visual electronic publication creation program, and program for user terminal | |
JP6124844B2 (en) | SERVER, METHOD USING DATABASE, PROGRAM, SYSTEM, TERMINAL, TERMINAL PROGRAM, AND VOICE DATA OUTPUT DEVICE | |
Griol et al. | A framework to develop adaptive multimodal dialog systems for android-based mobile devices | |
JP7218816B2 (en) | DIALOGUE METHOD, DIALOGUE SYSTEM, DIALOGUE DEVICE, AND PROGRAM | |
US20220301250A1 (en) | Avatar-based interaction service method and apparatus | |
JP2018054926A (en) | Voice interactive apparatus and voice interactive method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6166889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |