JP6199517B1 - Determination apparatus, determination method, and determination program - Google Patents
Determination apparatus, determination method, and determination program Download PDFInfo
- Publication number
- JP6199517B1 JP6199517B1 JP2017049089A JP2017049089A JP6199517B1 JP 6199517 B1 JP6199517 B1 JP 6199517B1 JP 2017049089 A JP2017049089 A JP 2017049089A JP 2017049089 A JP2017049089 A JP 2017049089A JP 6199517 B1 JP6199517 B1 JP 6199517B1
- Authority
- JP
- Japan
- Prior art keywords
- meaning
- estimation
- utterance
- user
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 78
- 230000004044 response Effects 0.000 claims abstract description 132
- 230000002787 reinforcement Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 description 52
- 238000012545 processing Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 12
- 230000010365 information processing Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】新たなドメインを迅速に生成する。【解決手段】本願に係る決定装置は、利用者から受付けた発話の意味を推定する推定モデルであって、対話を通じて学習が行われる推定モデルを用いて、前記発話の意味を推定する推定部と、前記推定部により推定された意味に基づいて、前記利用者に対する応答の内容を決定する決定部とを有することを特徴とする。【選択図】図1A new domain is quickly generated. A determination apparatus according to the present application is an estimation model that estimates the meaning of an utterance received from a user, and uses an estimation model that learns through dialogue, and an estimation unit that estimates the meaning of the utterance. And a determination unit that determines the content of the response to the user based on the meaning estimated by the estimation unit. [Selection] Figure 1
Description
本発明は、決定装置、決定方法および決定プログラムに関する。 The present invention relates to a determination device, a determination method, and a determination program.
従来、利用者の発話に対して応答を出力する技術が知られている。このような技術の一例として、対話データを学習することにより、対話モデルを生成する技術が知られている。また、発話や応答の内容に応じたドメインごとに対話モデルを生成する技術が知られている。 Conventionally, a technique for outputting a response to a user's utterance is known. As an example of such a technique, a technique for generating a dialogue model by learning dialogue data is known. In addition, a technique for generating a dialogue model for each domain corresponding to the content of an utterance or a response is known.
しかしながら、上述した従来技術では、新たなドメインを迅速に生成することができるとは言い難い。 However, it is difficult to say that the above-described conventional technology can quickly generate a new domain.
例えば、従来技術においては、利用者の発話を意味表現に変換する意味理解部と、意味表現から応答を生成する対話管理部により構成される対話モデルが生成され、利用者の発話の意図を正確に意味表現へと変換するために、教師あり学習で意味理解部の学習を行い、強化学習により対話管理部を学習するといった学習戦略が採用される。しかしながら、このような学習戦略では、意味理解部の学習に比較的多くの学習データが必要となるため、新たなドメインを追加する際に対話モデルを迅速に生成することができない。 For example, in the prior art, a dialogue model is created that includes a semantic understanding unit that converts a user's utterance into a semantic representation and a dialogue management unit that generates a response from the semantic representation. In order to convert it into a semantic expression, a learning strategy is adopted in which the semantic understanding unit is learned by supervised learning and the dialogue management unit is learned by reinforcement learning. However, in such a learning strategy, since a relatively large amount of learning data is required for learning by the semantic understanding unit, a dialogue model cannot be generated quickly when a new domain is added.
本願は、上記に鑑みてなされたものであって、新たなドメインを迅速に生成することを目的とする。 The present application has been made in view of the above, and an object thereof is to quickly generate a new domain.
本願に係る決定装置は、利用者から受付けた発話の意味を推定する推定モデルであって、対話を通じて学習が行われる推定モデルを用いて、前記発話の意味を推定する推定部と、前記推定部により推定された意味に基づいて、前記利用者に対する応答の内容を決定する決定部とを有することを特徴とする。 The determination apparatus according to the present application is an estimation model that estimates the meaning of an utterance received from a user, and uses an estimation model in which learning is performed through dialogue, and an estimation unit that estimates the meaning of the utterance; and the estimation unit And a deciding unit that decides the content of the response to the user based on the meaning estimated by.
実施形態の一態様によれば、新たなドメインを迅速に生成できる。 According to one aspect of the embodiment, a new domain can be generated quickly.
以下に、本願に係る決定装置、決定方法および決定プログラムを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る決定装置、決定方法および決定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。 Hereinafter, a mode for carrying out a determination device, a determination method, and a determination program according to the present application (hereinafter referred to as “embodiment”) will be described in detail with reference to the drawings. In addition, the determination apparatus, the determination method, and the determination program which concern on this application are not limited by this embodiment. In the following embodiments, the same parts are denoted by the same reference numerals, and redundant description is omitted.
〔1−1.情報提供装置の概要〕
まず、図1を用いて、決定装置の一例となる情報提供装置が実行する決定処理の一例について説明する。図1は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。なお、以下の説明では、情報提供装置10が実行する処理として、利用者Uの発話に対する応答の内容を決定する決定処理と、決定した内容の応答を出力する出力処理との一例について説明する。すなわち、情報提供装置10は、利用者Uとの対話を実現する対話システムである。
[1-1. Overview of information providing device)
First, an example of a determination process executed by an information providing apparatus as an example of a determination apparatus will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of processing executed by the information providing apparatus according to the embodiment. In the following description, an example of a determination process that determines the content of a response to the utterance of the user U and an output process that outputs a response with the determined content will be described as the processes executed by the
情報提供装置10は、インターネット等の所定のネットワークN(例えば、図2を参照。)を介して、利用者端末100、第1外部サーバ200および第2外部サーバ300と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置10は、ネットワークNを介して、任意の数の利用者端末100、第1外部サーバ200および第2外部サーバ300と通信可能であってよい。
The
利用者端末100は、対話システムで対話を行う利用者Uが使用する情報処理装置であり、PC(Personal Computer)、サーバ装置、スマートデバイスといった情報処理装置により実現される。例えば、利用者端末100は、利用者Uが発話した音声を取得すると、所定の外部サーバ(図示は、省略)に音声データを出力し、利用者Uの発話のテキストデータを取得する。そして、利用者端末100は、テキストデータを発話として情報提供装置10へと送信する。なお、利用者端末100は、利用者Uが入力した文字列を発話として情報提供装置10へと送信してもよい。
The
このような場合、情報提供装置10は、発話として受信したテキストデータを解析し、内容を推定する。そして、情報提供装置10は、推定した内容に応じて応答となるテキストを生成し、生成したテキストデータやテキストデータを音声として出力するための音声データを利用者端末100へと送信する。この結果、利用者端末100は、各種テキストの読み上げ技術や、受信した音声データを再生することで、利用者Uとの対話を実現する。
In such a case, the
第1外部サーバ200および第2外部サーバ300(以下、「各外部サーバ200、300」と記載する場合がある。)は、各種のサービスを提供する情報処理装置であり、例えば、サーバ装置やクラウドシステムにより実現される。例えば、第1外部サーバ200は、天気予報に関する情報を配信するサービスを提供しており、API(Application Programming Interface)を介して、情報提供装置10に各種天気予報に関する情報(例えば、所定の地域の天気や気温を示す情報)を配信する。また、第2外部サーバ300は、例えば、電子商取引に関するサービスを提供する。
The first
〔1−2.決定処理について〕
ここで、利用者Uとの対話を円滑にするため、予め生成された対話モデルを用いて利用者Uとの対話を実演する技術が知られている。このような技術の一例として、発話の内容が天気に関する内容であるか、時計に関する内容であるかというように、発話の内容が属するドメインを推定し、ドメインごとに生成された対話モデルを用いて、利用者Uの発話に対して自然な内容の応答を出力する技術が知られている。
[1-2. About the decision process)
Here, in order to facilitate the dialogue with the user U, a technique for demonstrating the dialogue with the user U using a dialogue model generated in advance is known. As an example of such technology, the domain to which the utterance content belongs is estimated, such as whether the content of the utterance is related to the weather or the content of the clock, and a dialogue model generated for each domain is used. A technique for outputting a response with a natural content to the utterance of the user U is known.
しかしながら、従来技術では、新たなドメインを迅速に追加することができない。例えば、従来技術として、利用者の発話の内容を推定し、推定した内容を示す意味表現を生成する言語理解処理を実行する推定モデルと、意味表現から利用者との会話の状態を特定する状態追跡処理および利用者の会話の状態に応じて、応答の内容を決定する応答決定処理を実行する対話管理モデルとにより構成される対話システムが知られている。そして、従来技術では、利用者との円滑な対話を実現するため、推定モデルを教師あり学習により学習し、対話管理モデルを強化学習により学習していた。
However, in the prior art, a new domain cannot be added quickly. For example, as a conventional technique, an estimation model that executes language understanding processing that estimates the content of a user's utterance and generates a semantic expression indicating the estimated content, and a state that specifies the state of conversation with the user from the
しかしながら、教師あり学習には、比較的多くのデータを必要とするため、新たなドメインを追加する際に、そのドメインと関連する多くの発話データが必要となる。このため、学習データの収集や学習に時間を要する結果、迅速に新たなドメインを追加することができない。 However, since supervised learning requires a relatively large amount of data, when adding a new domain, a large amount of utterance data related to that domain is required. For this reason, as a result of taking time for learning data collection and learning, a new domain cannot be quickly added.
そこで、情報提供装置10は、以下の決定処理を実行する。まず、情報提供装置10は、利用者Uから受付けた発話の意味を推定する推定モデルであって、対話を通じて学習が行われる推定モデルを用いて、発話の意味を推定する。そして、情報提供装置10は、推定された意味に基づいて、利用者Uに対する応答の内容を決定する。
Therefore, the
例えば、情報提供装置10は、発話に関連する分野ごと、すなわち、ドメインごとに異なる推定モデルを保持する。そして、情報提供装置10は、推定モデルを用いて利用者Uの発話の意味を推定する。その後、情報提供装置10は、発話に関連するドメインによらず、推定された意味に応じて、利用者Uに対する応答の内容を決定する。例えば、情報提供装置10は、利用者Uの発話の意味と、出力する応答の内容とをあらかじめ記憶し、推定された意味に対して予め対応付けられた内容を応答の内容として決定する。
For example, the
すなわち、情報提供装置10は、利用者Uとの対話を通して、発話の意味を推定する推定モデルをQ学習やバンディッドアルゴリズム等といった強化学習により学習する。このような強化学習を用いて推定モデルの学習を行った場合、ある程度の精度で発話の意味を推定する推定モデルを教師あり学習と比較して少ない学習データで構成することができるとともに、利用者Uとの対話を通じて推定精度を順次向上させることができる。そこで、情報提供装置10は、利用者Uの発話の意味を推定する処理については、発話内容が属するドメインごとに、強化学習を行う推定モデルにより実現する。
That is, the
一方、推定モデルの精度がある程度高い場合、応答内容はドメインに寄らず、所定のルールベースでも実現できると考えられる。そこで、情報提供装置10は、推定モデルにより発話の意味を推定した場合は、ドメインによらず共通の対話管理モデルを用いて、利用者Uに対する応答の内容を決定する。そして、情報提供装置10は、決定した内容の応答を出力することで、利用者Uとの対話を実現する。
On the other hand, when the accuracy of the estimation model is high to some extent, it is considered that the response content does not depend on the domain but can be realized even with a predetermined rule base. Therefore, when the meaning of the utterance is estimated by the estimation model, the
なお、以下の説明では、情報提供装置10は、利用者Uとの対話を通じた強化学習を用いて推定モデルの学習を行う処理について記載するが、実施形態は、これに限定されるものではない。情報提供装置10は、利用者Uとの対話を通じて行われる学習であれば、任意の学習手法を用いて、推定モデルの学習を行ってよい。
In the following description, the
〔1−3.決定処理の一例〕
ここで、図1を用いて、情報提供装置10が実行する処理の一例について説明する。まず、情報提供装置10は、利用者端末100から発話#1を受付ける(ステップS1)。このような場合、情報提供装置10は、ドメインごとに異なる推定モデルであって、発話の意味を強化学習する推定モデルを用いて、発話#1の意味を推定する(ステップS2)。すなわち、情報提供装置10は、発話#1から意味表現を生成する。
[1-3. Example of decision process)
Here, an example of processing executed by the
例えば、情報提供装置10は、発話#1の内容に応じて、発話の内容が属するドメインを判定するドメイン判定処理を実行する(ステップS3)。例えば、情報提供装置10は、発話#1に含まれる単語等に応じて、発話の内容が属するドメインを推定する。より具体的には、情報提供装置10は、発話に含まれるテキストに基づいて発話をいずれかのドメインに分類する分類モデルを用いて、発話の分類を実行する。なお、情報提供装置10は、対話システムにおいて発話の内容が属するドメインを判定する技術であれば、任意の周知技術を採用してよい。
For example, the
続いて、情報提供装置10は、判定したドメインの推定モデルを用いて、発話#1の意味を推定する言語理解処理を実行する(ステップS4)。例えば、情報提供装置10は、発話#1のドメインがドメイン#1であると判定した場合は、ドメイン#1に対応する推定モデル#1を用いて、発話#1の内容の意味#1を推定する。なお、情報提供装置10は、強化学習により学習が進むモデルであって、発話のテキストデータから発話の内容の意味を推定するように学習が行われるモデルであれば、任意の種別のモデルを推定モデルとして採用してよい。また、情報提供装置10は、ドメインごとに異なる種別のモデルを採用してもよい。このような推定モデルは、例えば、SVM(Support Vector Machine)やDNN(Deep Neural Network)等、任意の学習器又は分類器等のモデルにより実現される。
Subsequently, the
そして、情報提供装置10は、推定された意味に基づいて、利用者Uとの対話の状態を追跡する状態追跡処理を実行する(ステップS5)。そして、情報提供装置10は、各ドメイン共通で所定のルールに基づき応答内容を決定する応答決定処理を実行する(ステップS6)。
And the
ここで、対話システムにおいては、「地域Aの天気予報を教えて」や「B駅までの行き方を教えて」等といった処理の命令が含まれる場合がある。このように、利用者Uの発話#1の意味に、所定の情報を収集して提供する旨が含まれる場合、情報提供装置10は、応答を作成するための情報を、例えば、第1外部サーバ200等、所定のサーバに対して要求する(ステップS8)。この結果、情報提供装置10は、地域Aの天気予報や、B駅までの乗換案内等といった応答に含まれる各種の情報を取得し(ステップS9)、取得した情報を用いて、各種の応答を生成する(ステップS10)。そして、情報提供装置10は、生成した応答、すなわち、発話#1に対する応答#1を利用者端末100へと出力する(ステップS11)。
Here, the dialogue system may include processing instructions such as “tell me the weather forecast for area A” and “tell me how to get to station B”. As described above, when the meaning of the
ここで、情報提供装置10は、利用者端末100から、応答#1に続く発話#2を受付ける(ステップS12)。このような発話#2の内容は、利用者Uが応答#1の内容に満足しているか否か、発話#1の内容を誤って解釈していたか否か等、発話の内容の意味が適切に推定されたか否かの判断の指標となりうる。そこで、情報提供装置10は、発話#2の内容と、前回発話#1から推定した意味#1とに基づいて、前回の応答作成時に用いた推定モデル#1の強化学習を実行する(ステップS13)。すなわち、情報提供装置10は、推定モデルを用いて推定した意味と、その意味に応じて決定した内容の応答に対する利用者Uの反応とに基づいて、推定モデルの強化学習を行う。
Here, the
例えば、情報提供装置10は、発話#1を強化学習におけるコントローラの状態観測の結果とし、意味#1をコントローラの行動とし、発話#2に基づく報酬をコントローラに対して設定する。より具体的な例を挙げると、情報提供装置10は、発話#2が発話#1と同様の内容であったり、応答#1が誤っている旨の内容等が含まれる場合は、負の報酬を設定し、発話#2が発話#1とは異なる内容であったり、応答#1が正しい旨の内容等が含まれる場合は、正の報酬を設定する。そして、情報提供装置10は、推定モデル#1の強化学習を行うことで、発話から意味を推定する精度を向上させる。
For example, the
なお、情報提供装置10は、ステップS13の処理を、発話#2に対するステップS2の処理(すなわち、応答を生成する処理)と平行して実行してもよく、先駆けて実行してもよい。また、情報提供装置10は、利用者Uとの対話を保持し、所定の期間内(例えば、夜間等)に保持した対話を用いて推定モデルの学習を行ってもよい。
In addition, the
すなわち、情報提供装置10は、利用者Uの発話から意味を推定するフロントエンドの処理において、利用者Uとの対話を用いた強化学習を行うことで、試行錯誤的に利用者Uとの対話を実現する。このため、情報提供装置10は、ドメインの追加を行う場合等にも、ある程度の学習を行った推定モデルを準備すればよいので、迅速なドメインの追加を実現できる。また、情報提供装置10は、状態追跡処理や応答決定処理の内容を簡素化することができる。
In other words, the
〔1−4.スロットフィリングの採用〕
ここで、情報提供装置10は、応答決定処理をルールベースで実現する。この際、情報提供装置10は、所謂スロットフィリングの技術を用いて、利用者Uに対する応答を生成してもよい。より具体的には、情報提供装置10は、推定モデルを用いて推定された意味が所定の条件を満たしていない場合は、所定の条件を満たす意味の発話を利用者Uに対して求める内容を、応答の内容として決定してもよい。
[1-4. Adoption of slot filling)
Here, the
例えば、情報提供装置10は、乗換案内を実行するための条件として、出発地と到着地の情報が必要である旨をあらかじめ記憶する。このような場合、情報提供装置10は、推定した意味に出発地の情報と到着地の情報とが含まれるか否かを判定する。そして、情報提供装置10は、例えば、利用者Uの発話に出発地である「B駅」が含まれない場合や、推定モデルの精度により「B駅」を認識することができなかった場合、欠落した出発地の情報を得るため、「出発地はどこですか?」などといった応答を出力してもよい。
For example, the
なお、このようなスロットフィリングに関する処理の実行は、例えば、推定モデルが有する機能であってもよい。例えば、推定モデルは、ドメインに応じた各種の処理と、その処理を実行するための情報の項目とをあらかじめ対応付けて記憶する。例えば、推定モデルは、処理が「経路案内」である場合には、項目「出発地」および「到着地」を記憶する。そして、推定モデルは、利用者Uの発話から、各処理の項目に対応する情報を推定し、ある処理について推定した情報により全ての項目が満たされた場合は、その処理を実行する旨の情報を意味表現として出力してもよい。 The execution of the process related to slot filling may be a function of the estimation model, for example. For example, the estimation model stores various types of processing corresponding to the domain and information items for executing the processing in association with each other in advance. For example, if the process is “route guidance”, the estimation model stores the items “departure place” and “arrival place”. The estimation model estimates information corresponding to each processing item from the utterance of the user U, and information indicating that the processing is executed when all items are satisfied by the information estimated for a certain processing. May be output as a semantic expression.
また、推定モデルが推定する内容は、対話モデルにおいてどのような処理構成を採用するかにより、任意の構成が採用可能である。例えば、情報提供装置10は、推定モデルとして、発話に含まれる単語の中から応答を作成するために必要な単語を抽出することで、発話の意味を推定するモデルを採用してもよく、発話の内容から利用者Uが所望する処理の内容等を推定し、推定結果を出力するようなモデルを採用してもよい。すなわち、情報提供装置10は、対話システムにおいて、利用者Uの発話が明示的或いは暗示的に示す情報であって、発話に対する応答の内容を決定したり、応答として含まれる情報を取得するために必要な情報であれば、任意の情報を発話から推定するモデルを推定モデルとして採用してよい。
Further, the content estimated by the estimation model can adopt any configuration depending on what processing configuration is adopted in the dialogue model. For example, the
〔1−5.利用者の属性に応じた意味推定〕
また、情報提供装置10は、推定モデルとして、利用者Uの属性に応じて発話の意味を推定する推定モデルを用いて、発話の意味を推定してもよい。例えば、利用者Uの発話に含まれる意味は、利用者Uの属性に応じて変化するとも考えられる。そこで、情報提供装置10は、利用者Uのデモグラフィック属性、サイコグラフィック属性、各種のペルソナ、過去の会話履歴等を利用者Uの属性として取得し、推定モデルの強化学習の際に、強化学習におけるコントローラの状態観測の結果として、発話と利用者Uの属性とを採用する。そして、情報提供装置10は、例えば、発話#2から意味#2を推定する際に、属性モデルに発話#2と利用者Uの属性とを入力することで、利用者Uの属性に応じた意味の推定を実現してもよい。
[1-5. Semantic estimation according to user attributes)
Further, the
〔1−6.意味推定のバリエーション〕
また、情報提供装置10は、全ての推定モデルを用いて、発話の意味の推定およびドメインの選択を行ってもよい。例えば、情報提供装置10は、それぞれ異なる分野に対応する複数の推定モデルを用いて、発話の意味を推定する。そして、情報提供装置10は、複数の推定モデルによって推定された意味のうち、所定の数以上の推定モデルによって推定された意味に基づいて、応答の内容を決定する。
[1-6. Variation of semantic estimation)
Moreover, the
例えば、情報提供装置10は、推定モデル#1〜推定モデル#3のそれぞれを用いて、発話#1の意味を推定する。ここで、情報提供装置10は、推定モデル#1が発話#1の意味として「意味#1」および「意味#2」を推定し、推定モデル#2が発話#1の意味として「意味#2」および「意味#3」を推定し、推定モデル#3が発話#1の意味として「意味#1」および「意味#2」を推定したものとする。
For example, the
このような場合、「意味#2」については、全ての推定モデルが発話#1の意味であると推定しているため、「意味#1」や「意味#3」よりも発話#1の意味としてより確度が高いと考えられる。そこで、情報提供装置10は、各推定モデル#1〜#3が出力した意味のうち「意味#2」を用いて、利用者Uに対する応答#1の生成を行ってもよい。なお、情報提供装置10は、全ての推定モデルが出力した意味を採用する必要はなく、例えば、全推定モデルのうち、出力した推定モデルの数の割合が所定の閾値を超える意味を採用してもよい。また、情報提供装置10は、採用した意味を推定した推定モデルと対応するドメインを、発話のドメインとして採用してもよい。また、情報提供装置10は、最も確度が高い意味を推定した推定モデルを対応するドメインを、発話のドメインとして採用してもよい。
In such a case, the meaning of
〔1−7.利用者への問合せ〕
また、情報提供装置10は、意味の推定結果を適時利用者Uに開示することで、推定結果が正しいか否かの確認を行うことで、推定モデルの強化学習に必要なデータを対話的に取得してもよい。例えば、情報提供装置10は、所定のタイミングで、発話から推定した意味の内容と、利用者Uから受付けた発話の意味が推定モデルにより推定した意味で合っているか否かの問合せとを応答の内容としてもよい。より具体的な例を挙げると、情報提供装置10は、発話#1から推定した意味が「意味#1」である場合、「意味#1で合っていますか?」等といった応答を出力してもよい。
[1-7. Inquiries to users)
Further, the
また、情報提供装置10は、推定された意味の確度を利用することで、利用者に確認を行うか否かを判定してもよい。例えば、情報提供装置10は、推定した意味の確度が所定の閾値以下となる場合にのみ、意味の問い合わせを出力することで、対話におけるユーザエクスペリメントの低下を防いでもよい。例えば、情報提供装置10は、発話の意味を、その発話がその意味を有する確度と共に推定する推定モデルを用いて、発話#1の意味#1と確度#1とを推定する。そして、情報提供装置10は、推定された確度#1が所定の閾値以下となる場合は、意味#1を利用者Uに対して問い合わせる内容を応答の内容として決定してもよい。
Further, the
〔1−8.外部連携について〕
ここで、情報提供装置10は、発話に対応するドメインと関連する分野の外部サーバ等に適宜アクセスを行い、推定した意味に矛盾が含まれるか否かを判定してもよい。また、情報提供装置10は、推定した意味に矛盾が含まれるか否かの判定結果に基づいて、推定モデルの強化学習を実現してもよい。
[1-8. About external linkage)
Here, the
例えば、情報提供装置10は、推定モデル#1を用いて意味#1を推定した場合、所定のタイミングで、意味#1が適切であるか否かを判定するための情報を第2外部サーバ300から取得する(ステップS14)。例えば、情報提供装置10は、ドメイン#1が電子商取引に関連するドメインである場合は、電子商取引に関するサービスを提供する第2外部サーバ300にアクセスし、取引対象の種別や販売数等、電子商取引に関する情報を取得する。
For example, when the
そして、情報提供装置10は、取得した情報と、意味#1とを比較することで、意味#1に矛盾や乖離が含まれるか否かを判定する。例えば、情報提供装置10は、意味#1が「取引対象#1を500個購入」といった意味を有するが、第2外部サーバ300から取得した購入履歴において取引対象#1を購入する数が5個を上回ることが無い場合、推定した意味#1と現実の情報との間に矛盾や乖離が含まれると判定し、意味#1が誤りであると判定する。そして、情報提供装置10は、判定結果に基づいて、推定モデル#1の強化学習を行ってもよい(ステップS15)。
Then, the
なお、このような推定した意味と実際の情報との間の矛盾や乖離を判定する技術については、任意の技術が採用可能である。例えば、情報提供装置10は、意味#1と、各種外部サーバから取得する情報との間の乖離性を示す乖離度を算出し、算出した乖離度が所定の閾値を超える場合は、乖離や矛盾が生じたと判定してもよい。
Note that any technique can be adopted as the technique for determining the contradiction or deviation between the estimated meaning and the actual information. For example, the
〔2.情報提供装置の構成〕
以下、上記した情報提供装置10が有する機能構成の一例について説明する。図2は、実施形態に係る情報提供装置の構成例を示す図である。図2に示すように、情報提供装置10は、通信部20、記憶部30、および制御部40を有する。
[2. Configuration of information providing device]
Hereinafter, an example of the functional configuration of the
通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、利用者端末100との間で情報の送受信を行う。
The
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部30は、推定モデルデータベース31およびルールデータベース32を記憶する。
The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores an estimated
推定モデルデータベース31には、ドメインごとの推定モデルが登録される。例えば、図3は、実施形態に係る推定モデルデータベースに登録される情報の一例を示す図である。図3に示すように、推定モデルデータベース31には、「モデルID(Identifier)」、「ドメイン」、および「モデルデータ」といった項目を有する情報が登録される。
In the
ここで、「モデルID」とは、モデルの識別子である。また、「ドメイン」とは、対応付けられた「モデルID」が示すモデルがどのドメインの発話の意味を推定するモデルであるかを示す情報である。また、「モデルデータ」とは、対応付けられた「モデルID」が示すモデルを構成する各種パラメータ等のデータである。 Here, the “model ID” is a model identifier. “Domain” is information indicating which domain the model indicated by the associated “model ID” is a model for estimating the meaning of the utterance. The “model data” is data such as various parameters constituting the model indicated by the associated “model ID”.
例えば、図3に示す例では、推定モデルデータベース31には、モデルID「モデル#1」、ドメイン「ドメイン#1」、およびモデルデータ「モデルデータ#1」が対応付けて登録されている。このような情報は、モデルID「モデル#1」が示すモデルが、ドメイン「ドメイン#1」が示すドメインに属する発話の意味を推定するモデルであり、そのモデルの各種パラメータ等がモデルデータ「モデルデータ#1」である旨を示す。なお、図3に示す例では、「モデル#1」、「ドメイン#1」、「モデルデータ#1」等といった概念的な値を記載したが、実際には、推定モデルデータベース31には、モデルをやドメインを識別する文字列、モデルを構築するための各種パラメータ等のデータが登録されることとなる。
For example, in the example illustrated in FIG. 3, the model ID “
図2に戻り、説明を続ける。ルールデータベース32には、発話の意味に応じてどのような内容の応答を出力するかを定めるルールが登録される。例えば、図4は、実施形態に係るルールデータベースに登録される情報の一例を示す図である。図4に示すように、ルールデータベース32には、「ルールID」、「状態」、および「応答内容」といった項目を有する情報が登録される。
Returning to FIG. 2, the description will be continued. In the
ここで、「ルールID」とは、ルールの識別子である。また、「状態」とは、利用者Uとの対話の状態を示す情報である。また、「応答内容」とは、対応付けられた「条件」が示す条件が満たされた場合に、決定される応答の内容である。例えば、図4に示す例では、ルールID「ルール#1」、状態「状態#1」、および応答内容「応答内容#1」が対応付けて登録されている。このような情報は、ルールID「ルール#1」が示すルールが、状態「状態#1」が示す状態となった場合に応答内容「応答内容#1」を応答の内容として出力するルールである旨を示す。より具体的には、このようなルールは、利用者Uとの対話の状態(すなわち、ステート)が「状態#1」となった場合は、「応答内容#1」が示す内容の応答を生成して出力する旨を示す。
Here, the “rule ID” is an identifier of the rule. The “state” is information indicating the state of dialogue with the user U. The “response content” is the content of the response that is determined when the condition indicated by the associated “condition” is satisfied. For example, in the example illustrated in FIG. 4, the rule ID “
なお、「応答内容」は、応答として出力する音声のテキストデータのみならず、どのような外部サーバからどのような情報を収集し、収集した情報を用いてどのようなテキストデータを生成するかといった情報が含まれるものとする。例えば、「応答内容#1」とは、例えば、各種外部サーバから天気予報や乗換案内の情報を収集し、収集した情報を含む定型文の応答を生成する旨を示す。また、図4に示す例では、「ルール#1」、「状態#1」、「処理#1」等といった概念的な値を記載したが、実際には、ルールデータベース32には、ルールを識別する文字列、状態を識別する識別子、意味を示す意味表現や処理の具体的な内容を示す情報が登録されることとなる。
“Response contents” include not only audio text data output as a response, but also what information is collected from what external server and what text data is generated using the collected information. Information shall be included. For example, “
図2に戻り、説明を続ける。制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報提供装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部40は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。図2に示すように、制御部40は、分類部41、推定部42、決定部43、生成部44、判定部45、および学習部46を有する。
Returning to FIG. 2, the description will be continued. The
分類部41は、利用者Uの発話を対応するドメインに分類する。例えば、分類部41は、利用者端末100から、利用者Uが発声した音声を変換したテキストデータを受付ける。なお、例えば、分類部41は、利用者端末100から利用者Uが発声した音声データを受付け、受付けた音声データをテキストデータに変換してもよい。また、分類部41は、音声データをテキストデータへと変換する所定の外部サーバを介して、利用者端末100から利用者Uが発声した音声のテキストデータを受付けてもよい。
The
このような場合、分類部41は、利用者Uの発話の内容と対応するドメインを特定する。例えば、分類部41は、各種の文字解析技術や分類技術を用いて、利用者Uの発話の内容やどのような分野に属する内容であるかを判定し、判定結果を推定部42に通知する。なお、分類部41は、発話の分類処理を、SVM等の任意の分類モデルにより実現してよい。
In such a case, the
推定部42は、利用者Uから受付けた発話の意味を推定する推定モデルであって、強化学習により学習される推定モデルを用いて、発話の意味を推定する。例えば、推定部42は、利用者Uから受け付けた発話に関連する分野ごとに異なる推定モデルを用いて、発話の意味を推定する。 The estimation unit 42 is an estimation model that estimates the meaning of the utterance received from the user U, and estimates the meaning of the utterance using the estimation model learned by reinforcement learning. For example, the estimation unit 42 estimates the meaning of the utterance using different estimation models for each field related to the utterance received from the user U.
例えば、推定部42は、分類部41により発話に対応すると判定されたドメインの通知を受付けると、通知されたドメインと対応する推定モデルを推定モデルデータベース31から読み出す。すなわち、推定部42は、発話の意味を推定する推定モデルであって、強化学習により学習が行われる推定モデルを読み出す。そして、推定部42は、利用者Uの発話のテキストデータを推定モデルに入力することにより、発話の内容の意味を示す意味表現を生成する。そして、推定部42は、生成した意味表現を決定部43に出力する。
For example, when the estimation unit 42 receives a notification of a domain determined to correspond to an utterance by the
なお、推定部42は、推定モデルとして、利用者Uの属性に応じて発話の意味を推定する推定モデルを用いて、発話の意味を推定してもよい。例えば、推定部42は、発話元の利用者Uの各種属性を示す属性情報を、利用者端末100や所定の外部サーバ等から取得する。そして、推定部42は、発話のテキストデータと、属性情報とを推定モデルに入力することで、発話の意味を推定してもよい。
Note that the estimation unit 42 may estimate the meaning of the utterance using an estimation model that estimates the meaning of the utterance according to the attribute of the user U as the estimation model. For example, the estimation unit 42 acquires attribute information indicating various attributes of the utterance source user U from the
決定部43は、推定された意味に基づいて、利用者Uに対する応答の内容を決定する。例えば、決定部43は、利用者Uから受け付けた発話に関連する分野によらずに、推定された意味に応じて、利用者Uに対する応答の内容を決定する。より具体的には、決定部43は、推定部42がドメインに応じた推定モデルにより推定した発話の意味を示す意味表現を取得する。このような場合、決定部43は、推定された意味に基づいて、利用者Uとの対話の状態を判定する。 The determination part 43 determines the content of the response with respect to the user U based on the estimated meaning. For example, the determination unit 43 determines the content of the response to the user U according to the estimated meaning regardless of the field related to the utterance received from the user U. More specifically, the determination unit 43 acquires a semantic expression indicating the meaning of the utterance estimated by the estimation unit 42 using the estimation model corresponding to the domain. In such a case, the determination unit 43 determines the state of dialogue with the user U based on the estimated meaning.
例えば、決定部43は、利用者Uとの会話がどのような状態であるかを示すステートマシンを保持し、推定部42によって生成された意味表現が示す意味に基づいて、ステートマシンが示す状態を更新する。そして、決定部43は、更新後の状態と対応する応答内容を、ルールデータベース32から特定する。
For example, the determination unit 43 holds a state machine indicating what state the conversation with the user U is, and the state indicated by the state machine based on the meaning indicated by the semantic expression generated by the estimation unit 42 Update. Then, the determination unit 43 specifies the response content corresponding to the updated state from the
また、決定部43は、例えば、特定した応答内容が天気予報や乗換案内等といった外部サーバから取得する情報を含む場合、対応する外部サーバ(例えば、第1外部サーバ200等)から情報を取得する。より具体的には、決定部43は、発言の意味として推定部42により推定された出発地や到着地の情報を用いて、乗換案内の検索結果等を取得する。そして、決定部43は、取得した検索結果の内容を含む定型文等を生成し、生成した定型文を応答の内容とする。 For example, when the specified response content includes information acquired from an external server such as a weather forecast or transfer guidance, the determination unit 43 acquires information from a corresponding external server (for example, the first external server 200). . More specifically, the determination unit 43 uses the information on the departure place and the arrival place estimated by the estimation unit 42 as the meaning of a statement, and acquires a search result of transfer guidance and the like. And the determination part 43 produces | generates the fixed sentence etc. which contain the content of the acquired search result, and makes the produced | generated fixed sentence the content of a response.
このように、決定部43は、発言に対応するドメインによらず、推定された意味に対して予め対応付けられた内容を応答の内容とする。なお、決定部43は、例えば、推定された意味が所定の条件を満たしていない場合は、所定の条件を満たす意味の発話を利用者Uに対して求める内容を、応答の内容として決定してもよい。例えば、決定部43は、スロットフィリングの技術を用いて、検索に必要な各種の情報がそろっていない場合は、かかる情報の入力を利用者Uに対して求める内容を応答の内容として決定してもよい。このような処理は、例えば、ルールデータベース32に、情報検索に必要な一部の検索クエリのみが取得されている旨の状態に対し、応答内容として、必要な他の検索クエリの入力を要求する定型文とが対応付けて登録されることにより実現される。
As described above, the determination unit 43 sets the content previously associated with the estimated meaning as the content of the response, regardless of the domain corresponding to the statement. For example, when the estimated meaning does not satisfy the predetermined condition, the determination unit 43 determines the content for requesting the user U to speak with the meaning that satisfies the predetermined condition as the response content. Also good. For example, the determination unit 43 uses the slot filling technique to determine, as the response content, the content that requests the user U to input such information when various information necessary for the search is not available. Also good. In such a process, for example, the
また、決定部43は、推定された意味を利用者Uに対して問い合わせる内容を応答の内容として決定してもよい。例えば、決定部43は、利用者Uの発話から推定された意味表現では、ステートマシンが示す状態を更新させることができない場合は、利用者Uに対して意味表現が示す意味で合っているか否かを問い合わせる内容を応答の内容としてもよい。また、決定部43は、ルールデータベース32に登録されたルールによらず、所定のタイミングで、意味表現が示す意味で合っているか否かを問い合わせる内容を応答の内容としてもよい。
Moreover, the determination part 43 may determine the content which inquires the estimated meaning with respect to the user U as the content of a response. For example, if the semantic expression estimated from the utterance of the user U cannot update the state indicated by the state machine, the determination unit 43 matches the meaning indicated by the semantic expression for the user U. The content of the inquiry may be the content of the response. In addition, the determination unit 43 may use, as a response content, a content for inquiring whether or not the meaning expression represents a match at a predetermined timing regardless of the rule registered in the
なお、どのような状態において、どのような意味表現が取得された際に、どのような状態へとステートを更新するかについては、対話システムの構成に応じて任意の設定が可能であり、ステートマシンを用いた周知の対話システムの技術が適用可能である。 In what state, what kind of semantic expression is acquired, and what state is updated to what state can be arbitrarily set according to the configuration of the interactive system. A well-known dialogue system technique using a machine can be applied.
生成部44は、決定部43が決定した内容の応答を生成する。例えば、生成部44は、決定部43が決定した内容の定型文を読み上げるための音声データを生成し、生成した音声データを利用者端末100へと送信する。
The generation unit 44 generates a response having the content determined by the determination unit 43. For example, the generation unit 44 generates voice data for reading out the fixed phrase having the content determined by the determination unit 43, and transmits the generated voice data to the
判定部45は、推定された意味の内容が、適切であるか否かを判定する。例えば、判定部45は、ドメイン「電子商取引」について、推定部42が推定した発話から、「取引対象#A」、「500個」、「注文する」であった場合、第2外部サーバ300にアクセスし、取引対象#Aの購入履歴を参照する。そして、判定部45は、取引対象#Aが購入される際の平均的な購入数と、推定された購入数とを比較し、購入数に所定の数以上の乖離があった場合は、推定した意味に矛盾や乖離が含まれると判定する。
The determination unit 45 determines whether or not the content of the estimated meaning is appropriate. For example, for the domain “electronic commerce”, if the utterance estimated by the estimation unit 42 is “transaction target #A”, “500 pieces”, and “order”, the determination unit 45 sends the information to the second
なお、上述した処理以外にも、判定部45は、ドメインに対応する外部サーバが管理する情報と、推定された意味との比較結果に基づいて、推定された意味に矛盾や乖離が含まれるか否かを判定してもよい。また、判定部45は、上述した判定処理を決定部43が応答の内容を決定する前に実行してもよい。このような場合、決定部43は、応答の内容に矛盾や乖離が存在すると判定部45によって判定された場合は、応答の作成を行うための情報を収集する処理や、取引対象の注文などといった応答の作成に伴う各種の処理を実行せずに、利用者Uに対して再度の発話を求める文章等を応答内容として決定しても良い。 In addition to the processing described above, the determination unit 45 determines whether the estimated meaning includes inconsistencies or divergence based on the comparison result between the information managed by the external server corresponding to the domain and the estimated meaning. It may be determined whether or not. Moreover, the determination part 45 may perform the determination process mentioned above before the determination part 43 determines the content of a response. In such a case, when the determination unit 45 determines that there is a contradiction or divergence in the content of the response, the determination unit 43 collects information for creating a response, orders for transactions, etc. A sentence or the like for requesting the user U to speak again may be determined as the response content without executing various processes associated with the creation of the response.
学習部46は、推定モデルを用いて推定した意味と、その意味に応じて決定した内容の応答に対する利用者Uの反応とに基づいて、推定モデルの強化学習を行う。例えば、学習部46は、利用者Uの発話#1に対し、推定モデル#1を用いることで応答#1が出力された場合、利用者Uが応答#1に対して発生した発話#2を取得する。このような場合、学習部46は、発話#2の内容に基づいて、利用者Uが応答#1に満足しているか否かを判定する。例えば、学習部46は、発話#2から推定部42が推定した意味が、応答#1に対する同意や好意的な内容を示しているか否かを判定する。
The
そして、学習部46は、利用者Uが応答#1に満足していると判定した場合は、正の報酬を設定し、利用者Uが応答#1に満足していないと判定した場合は、負の報酬を設定する。そして、学習部46は、応答#1の生成に用いた推定モデル#1の強化学習を行う。この結果、学習部46は、利用者Uとの対話を介して、推定モデルの強化学習を実現できる。
When the
なお、学習部46は、判定部45による判定結果に基づいて、推定モデルの強化学習を実行してもよい。例えば、学習部46は、発話#1から推定モデル#1が推定した意味#1に矛盾や乖離が含まれると判定された場合は、負の報酬を設定し、推定モデル#1の強化学習を行ってもよい。
Note that the
ここで、図5は、実施形態に係る情報処理装置が実行する処理の概念を示す図である。例えば、情報提供装置10は、利用者Uの発話から、ドメインごとに異なる推定モデルを用いた言語理解処理#1〜#4を実行することで、意味表現を生成する。そして、情報提供装置10は、意味表現から利用者Uとの会話の状態を追跡する状態追跡処理を実行するとともに、状態に応じて応答内容を決定する応答決定処理を実行する。そして、情報提供装置10は、応答決定処理の結果、決定した内容の応答を利用者Uに出力する。
Here, FIG. 5 is a diagram illustrating a concept of processing executed by the information processing apparatus according to the embodiment. For example, the
このような処理の流れの下、情報提供装置10は、処理のフロントエンドとなる言語理解処理#1〜#4については、ドメインごとに強化学習を行うことで、発話から意味表現を生成する精度の向上を図る。そして、情報提供装置10は、状態追跡処理や応答決定処理といった対話管理処理については、ルールベースでドメイン共通の汎用的な処理を実行する。
Under such a process flow, the
このような情報提供装置10において、新たなドメインの追加を行う場合は、利用者Uとの会話を通じて強化学習が行われる言語理解処理を追加する。この結果、情報提供装置10は、教師あり学習等、比較的多くのデータを用いてモデルの学習を行わずともよいので、ドメインの追加を迅速かつ容易に実現することができる。
In such an
〔3.機能構成のバリエーションについて〕
なお、図2に示した推定部42は、それぞれ異なる分野に対応する複数の推定モデルを用いて、発話の意味を推定してもよい。例えば、推定部42は、推定モデルデータベース31に登録された全ての推定モデルを用いて、発話#1の意味を推定する。このような場合、決定部43は、複数の推定モデルによって推定された意味のうち、所定の数以外の推定モデルによって推定された意味に基づいて、応答の内容を決定してもよい。例えば、決定部43は、過半数の推定モデルによって共通して推定された内容の意味に基づき、応答の内容を決定してもよい。
[3. About functional configuration variations)
Note that the estimation unit 42 illustrated in FIG. 2 may estimate the meaning of an utterance using a plurality of estimation models corresponding to different fields. For example, the estimation unit 42 estimates the meaning of the
また、複数の推定モデルを用いて意味の推定を行う場合、情報提供装置10は、分類部41を有していなくともよい。また、例えば、分類部41は、発言#1が属する可能性が所定の閾値を超えるドメインが複数存在する場合は、それらのドメインを推定部42に通知する。このような場合、推定部42は、通知された複数のドメインと対応する複数の推定モデルを用いて、発言の内容を推定してもよい。また、学習部46は、意味の推定を行った複数の推定モデルのうち、応答の生成に用いられた意味を推定した推定モデルについて、利用者Uの反応に応じた強化学習を行ってもよい。
Further, when the meaning is estimated using a plurality of estimation models, the
また、情報提供装置10は、発話から意味と意味の確度とを推定する推定モデルを用いてもよい。このような場合、推定部42は、推定モデルが確度とともに推定した複数の意味のうち、確度が所定の閾値を超える意味のみを推定結果として採用してもよい。また、決定部43は、推定モデルによって推定された全ての意味について、確度が所定の閾値以下となる場合は、発話の内容が推定された各意味で合っているか否かを問い合わせる内容を、応答の内容として決定してもよい。
Further, the
〔4.情報提供装置が実行する処理の流れの一例〕
続いて、図6、図7を用いて、情報提供装置10が実行する処理の流れの一例を説明する。図6は、実施形態に係る情報提供装置が実行する決定処理の流れの一例を示すフローチャートである。また、図7は、実施形態に係る情報提供装置が実行する強化学習の流れの一例を示すフローチャートである。
[4. Example of flow of processing executed by information providing apparatus]
Next, an example of the flow of processing executed by the
まず、図6を用いて、決定処理の流れの一例を説明する。例えば、情報提供装置10は、利用者Uの発話を受付けると、発話が属するドメインを特定する(ステップS101)。続いて、情報提供装置10は、特定したドメインと対応する推定モデルであって、発話の意味を強化学習する推定モデルを選択する(ステップS102)。そして、情報提供装置10は、選択した推定モデルを用いて、発話の意味を推定する(ステップS103)。また、情報提供装置10は、推定した意味に基づいて、ドメイン共通の処理により、応答内容を決定する(ステップS104)。そして、情報提供装置10は、決定した応答を出力し(ステップS105)、処理を終了する。
First, an example of the flow of determination processing will be described with reference to FIG. For example, when receiving the user U's utterance, the
続いて、図7を用いて、強化学習の流れの一例を説明する。まず、情報提供装置10は、応答に対する利用者の発話を取得する(ステップS201)。続いて、情報提供装置10は、発話が応答に対して好意的であるか否かを判定する(ステップS202)。そして、情報提供装置10は、判定結果に基づく報酬を設定し、応答を出力した際に用いた推定モデルの強化学習を行い(ステップS203)、処理を終了する。
Next, an example of the flow of reinforcement learning will be described with reference to FIG. First, the
〔5.変形例〕
上記では、情報提供装置10による決定処理や強化学習の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置10が実行する提供処理や決定処理のバリエーションについて説明する。
[5. (Modification)
In the above, an example of determination processing and reinforcement learning by the
〔5−1.同音異義語、異音同義語の推定について〕
情報提供装置10は、発話から意味を適切に推定することができるのであれば、強化学習において任意の学習を行ってよい。例えば、情報提供装置10は、発話の中に異なる意味が複数存在する単語(すなわち、同音異義語が存在する単語)が含まれる場合は、推定した意味で合っているか否かを利用者Uに対して問い合わせる応答を出力し、かかる応答に対する利用者Uの発話が好意的な内容であるか否かに基づいて、推定モデルの強化学習を行ってもよい。また、情報提供装置10は、利用者Uに意味の問い合わせを行った際に、正しい意味を示す発話を受付けた場合は、かかる発話が示す意味を推定するように、推定モデルの強化学習を行ってもよい。
[5-1. (Estimation of homonyms and synonyms)
The
〔5−2.ドメイン判定処理について〕
また、情報提供装置10は、ドメイン判定処理に用いる分類モデルの強化学習を行ってもよい。すなわち、情報提供装置10は、利用者Uとの対話を通じて学習が行われる分類モデルを用いて、発話が属するドメインの分類を行ってもよい。また、情報提供装置10は、分類モデルと、発話が属するドメインの推定モデルとの強化学習を同時に行ってもよい。
[5-2. (About domain judgment processing)
Moreover, the
〔5−3.応答決定処理について〕
上述した処理では、情報提供装置10は、所定のルールに基づいて応答内容を決定する応答決定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、状態追跡処理および応答決定処理を実行するモデルを準備し、教師あり学習や利用者との対話を用いた強化学習を行うことで、対話管理を実現してもよい。
[5-3. About response decision processing)
In the process described above, the
〔5−4.装置構成〕
記憶部30に登録された各データベース31、32は、外部のストレージサーバに保持されていてもよい。また、情報提供装置10は、発話を分類する分類サーバ、ドメインごとに発話の意味を推定する1台または複数台の推定サーバ、推定結果に基づいて応答の内容を決定する決定サーバ、推定モデルの強化学習を行う学習サーバとが連携して動作することにより、実現されてもよい。このような場合、分類サーバには、図2に示す分類部41が配置され、推定サーバには、推定部42が配置され、決定サーバには、決定部43および生成部44が配置され、学習サーバには、判定部45および学習部46が配置されていてもよい。また、ドメインに対応する複数の推定サーバが存在する場合、各推定サーバには、対応するドメインの推定モデルが保持されるとともに、各推定モデルの強化学習を行う学習部が配置されていてもよい。
[5-4. Device configuration〕
The
〔5−5.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[5-5. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, and conversely, the processes described as being performed manually. All or a part of the above can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined within a range in which processing contents do not contradict each other.
〔5−6.プログラム〕
また、上述した実施形態に係る情報提供装置10は、例えば図8に示すような構成のコンピュータ1000によって実現される。図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
[5-6. program〕
Further, the
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
The arithmetic device 1030 operates based on a program stored in the primary storage device 1040 and the
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。 The output IF 1060 is an interface for transmitting information to be output to an output device 1010 that outputs various types of information such as a monitor and a printer. For example, USB (Universal Serial Bus), DVI (Digital Visual Interface), This is realized by a standard connector such as HDMI (registered trademark) (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, a keyboard, and a scanner, and is realized by, for example, a USB.
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。 The input device 1020 includes, for example, an optical recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), and a tape. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. The input device 1020 may be an external storage medium such as a USB memory.
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。 The network IF 1080 receives data from other devices via the network N and sends the data to the arithmetic device 1030, and transmits data generated by the arithmetic device 1030 to other devices via the network N.
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic device 1030 loads a program from the input device 1020 or the
例えば、コンピュータ1000が情報提供装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部40の機能を実現する。
For example, when the
〔6.効果〕
上述したように、情報提供装置10は、利用者Uから受付けた発話の意味を推定する推定モデルであって、対話を通じて学習が行われる推定モデルを用いて、発話の意味を推定する。そして、情報提供装置10は、推定された意味に基づいて、利用者Uに対する応答の内容を決定する。このように、情報提供装置10は、対話システムにおいて利用者Uとの対話により学習される推定モデルを用いて、利用者Uの発話の意味を推定するので、学習データの数を削減する結果、新たなドメインの追加を容易にすることができる。
[6. effect〕
As described above, the
また、情報提供装置10は、利用者Uから受け付けた発話に関連する分野ごとに異なる推定モデルを用いて、発話の意味を推定する。また、情報提供装置10は、利用者Uから受け付けた発話に関連する分野によらずに、推定された意味に応じて、利用者Uに対する応答の内容を決定する。このため、情報提供装置10は、新たなドメインの追加を行う際に、対話システムにおいて利用者Uとの対話により学習される推定モデルを追加することで、新たなドメインの追加を実現できるので、新たなドメインの追加を容易にすることができる。
In addition, the
また、情報提供装置10は、それぞれ異なる分野に対応する複数の推定モデルを用いて、発話の意味を推定し、複数の推定モデルによって推定された意味のうち、所定の数以上の推定モデルによって推定された意味に基づいて、応答の内容を決定する。このため、情報提供装置10は、発話の意味の推定精度を向上させることができる。
Further, the
また、情報提供装置10は、推定された意味に基づいて、利用者Uとの対話の状態を判定し、判定結果に基づいて、利用者Uに対する応答の内容を決定する。このため、情報提供装置10は、一問一答等といった応答ではなく、利用者Uとの対話の流れを考慮した応答を出力できる。
Moreover, the
また、情報提供装置10は、推定された意味に対して予め対応付けられた内容を応答の内容とする。このため、情報提供装置10は、各ドメイン共通のルールベースで、応答を生成することができるので、新たなドメインの追加を容易にすることができる。
Moreover, the
また、情報提供装置10は、推定された意味が所定の条件を満たしていない場合は、その所定の条件を満たす意味の発話を利用者Uに対して求める内容を、応答の内容として決定する。このため、情報提供装置10は、応答に必要な情報を効率良く取得することができる。
Further, when the estimated meaning does not satisfy the predetermined condition, the
また、情報提供装置10は、推定モデルとして、利用者Uの属性に応じて発話の意味を推定する推定モデルを用いて、発話の意味を推定する。このため、情報提供装置10は、利用者Uの属性を考慮して、発話の意味を推定することができる。
Moreover, the
また、情報提供装置10は、推定モデルを用いて推定した意味と、その意味に応じて決定した内容の応答に対する利用者Uの反応とに基づいて、推定モデルの学習を行う。このため、情報提供装置10は、利用者Uとの対話を介して、推定モデルの学習を実現できる。
Moreover, the
また、情報提供装置10は、推定された意味を利用者Uに対して問い合わせる内容を応答の内容として決定する。例えば、情報提供装置10が用いる推定モデルは、発話の意味を、その発話がその意味を有する確度と共に推定する。そして、情報提供装置10は、推定された確度が所定の閾値以下となる場合は、推定された意味を利用者Uに対して問い合わせる内容を応答の内容として決定する。このため、情報提供装置10は、推定モデルの学習に必要な情報を利用者から得ることができる。
Moreover, the
また、情報提供装置10は、推定された意味の内容が、適切であるか否かを判定する。そして、情報提供装置10は、判定結果に基づいて、推定モデルの学習を実行する。このため、情報提供装置10は、例えば、推定した意味に矛盾や乖離が含まれるか否かに応じて、推定モデルの学習を実現するので、発話の意味の推定精度を向上させることができる。
Moreover, the
例えば、情報提供装置10は、推定モデルとして、利用者Uとの対話を用いて強化学習が行われる推定モデルを用いて、発話の意味を推定する。このため、情報提供装置10は、新たなドメインの追加を容易にすることができる。
For example, the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to implement the present invention in other forms with improvements.
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。 Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the estimation unit can be read as estimation means or an estimation circuit.
10 情報提供装置
20 通信部
30 記憶部
31 推定モデルデータベース
32 ルールデータベース
40 制御部
41 分類部
42 推定部
43 決定部
44 生成部
45 判定部
46 学習部
100 利用者端末
200 第1外部サーバ
300 第2外部サーバ
DESCRIPTION OF
Claims (15)
前記推定部により推定された意味に基づいて、前記利用者に対する応答の内容を決定する決定部と
を有することを特徴とする決定装置。 An estimation model for estimating the meaning of an utterance received from a user, and using an estimation model in which learning is performed through dialogue, an estimation unit for estimating the meaning of the utterance;
And a determination unit that determines the content of a response to the user based on the meaning estimated by the estimation unit.
ことを特徴とする請求項1に記載の決定装置。 The determination device according to claim 1, wherein the estimation unit estimates the meaning of the utterance using an estimation model that differs for each field related to the utterance received from the user.
ことを特徴とする請求項2に記載の決定装置。 The said determination part determines the content of the response with respect to the said user according to the meaning estimated by the said estimation part irrespective of the field | area relevant to the speech received from the said user. 2. The determination device according to 2.
前記決定部は、複数の推定モデルによって推定された意味のうち、所定の数以上の推定モデルによって推定された意味に基づいて、前記応答の内容を決定する
ことを特徴とする請求項2または3に記載の決定装置。 The estimation unit estimates the meaning of the utterance using a plurality of estimation models corresponding to different fields,
The said determination part determines the content of the said response based on the meaning estimated by the estimation model more than a predetermined number among the meanings estimated by the several estimation model. Determining device according to.
ことを特徴とする請求項1〜4のうちいずれか1つに記載の決定装置。 The determining unit determines a state of dialogue with the user based on the meaning estimated by the estimating unit, and determines a content of a response to the user based on a determination result. The determination apparatus as described in any one of Claims 1-4.
ことを特徴とする請求項1〜5のうちいずれか1つに記載の決定装置。 The determination unit according to any one of claims 1 to 5, wherein the determination unit sets, as the content of the response, content previously associated with the meaning estimated by the estimation unit. .
ことを特徴とする請求項1〜6のうちいずれか1つに記載の決定装置。 When the meaning estimated by the estimation unit does not satisfy a predetermined condition, the determination unit determines, as the content of the response, a content for requesting the user to speak with a meaning that satisfies the predetermined condition The determination device according to any one of claims 1 to 6, wherein:
ことを特徴とする請求項1〜7のうちいずれか1つに記載の決定装置。 The estimation unit estimates the meaning of the utterance using an estimation model that estimates the meaning of the utterance according to the attribute of the user as the estimation model. The determination apparatus as described in any one.
を有することを特徴とする請求項1〜8のうちいずれか1つに記載の決定装置。 A learning unit that learns the estimation model based on the meaning estimated by the estimation unit using the estimation model and the user's response to the response of the content determined by the determination unit according to the meaning. The determination device according to claim 1, wherein the determination device has a determination device.
ことを特徴とする請求項9に記載の決定装置。 The determination device according to claim 9, wherein the determination unit further determines, as the response content, content for inquiring the user of the meaning estimated by the estimation unit.
前記決定部は、前記推定部により推定された確度が所定の閾値以下となる場合は、前記推定部により推定された意味を前記利用者に対して問い合わせる内容を前記応答の内容として決定する
ことを特徴とする請求項10に記載の決定装置。 The estimation unit estimates the meaning of the utterance together with the probability that the utterance has the meaning,
When the accuracy estimated by the estimation unit is equal to or less than a predetermined threshold, the determination unit determines, as the response content, content for inquiring the user about the meaning estimated by the estimation unit. The determination apparatus according to claim 10, wherein the determination apparatus is characterized in that:
を有し、
前記学習部は、前記判定部による判定結果に基づいて、前記推定モデルの学習を実行する
ことを特徴とする請求項9〜11のうちいずれか1つに記載の決定装置。 A determination unit that determines whether or not the meaning content estimated by the estimation unit is appropriate;
The determination device according to claim 9, wherein the learning unit performs learning of the estimation model based on a determination result by the determination unit.
ことを特徴とする請求項1〜12のうちいずれか1つに記載の決定装置。 The estimation unit estimates the meaning of the utterance using an estimation model in which reinforcement learning is performed using dialogue with the user as the estimation model. The determination apparatus as described in any one.
利用者から受付けた発話の意味を推定する推定モデルであって、対話を通じて学習が行われる推定モデルを用いて、前記発話の意味を推定する推定工程と、
前記推定工程により推定された意味に基づいて、前記利用者に対する応答の内容を決定する決定工程と
を含むことを特徴とする決定方法。 A decision method executed by a decision device,
An estimation model for estimating the meaning of an utterance received from a user, using an estimation model in which learning is performed through dialogue, and an estimation step for estimating the meaning of the utterance;
And a determination step of determining the content of a response to the user based on the meaning estimated by the estimation step.
前記推定手順により推定された意味に基づいて、前記利用者に対する応答の内容を決定する決定手順と
をコンピュータに実行させるための決定プログラム。 An estimation model for estimating the meaning of an utterance received from a user, using an estimation model in which learning is performed through dialogue, and an estimation procedure for estimating the meaning of the utterance;
A determination program for causing a computer to execute a determination procedure for determining the content of a response to the user based on the meaning estimated by the estimation procedure.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049089A JP6199517B1 (en) | 2017-03-14 | 2017-03-14 | Determination apparatus, determination method, and determination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049089A JP6199517B1 (en) | 2017-03-14 | 2017-03-14 | Determination apparatus, determination method, and determination program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6199517B1 true JP6199517B1 (en) | 2017-09-20 |
JP2018151578A JP2018151578A (en) | 2018-09-27 |
Family
ID=59895695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017049089A Active JP6199517B1 (en) | 2017-03-14 | 2017-03-14 | Determination apparatus, determination method, and determination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6199517B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111324727A (en) * | 2020-02-19 | 2020-06-23 | 百度在线网络技术(北京)有限公司 | User intention recognition method, device, equipment and readable storage medium |
WO2022089546A1 (en) * | 2020-10-28 | 2022-05-05 | 华为云计算技术有限公司 | Label generation method and apparatus, and related device |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7269585B2 (en) * | 2019-12-25 | 2023-05-09 | 学校法人日本大学 | Diet estimation device |
CN111209023B (en) * | 2020-01-08 | 2023-06-23 | 百度在线网络技术(北京)有限公司 | Skill service updating method and device, electronic equipment and readable storage medium |
US11915691B2 (en) | 2021-01-19 | 2024-02-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
KR20220105036A (en) * | 2021-01-19 | 2022-07-26 | 삼성전자주식회사 | Electronic apparatus and method for controlling thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339314A (en) * | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Automatic answering method, dialog analyzing method, answer sentence generating method and their device and medium with their program recorded thereon |
JP2015219583A (en) * | 2014-05-14 | 2015-12-07 | 日本電信電話株式会社 | Topic determination device, utterance device, method, and program |
-
2017
- 2017-03-14 JP JP2017049089A patent/JP6199517B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339314A (en) * | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Automatic answering method, dialog analyzing method, answer sentence generating method and their device and medium with their program recorded thereon |
JP2015219583A (en) * | 2014-05-14 | 2015-12-07 | 日本電信電話株式会社 | Topic determination device, utterance device, method, and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111324727A (en) * | 2020-02-19 | 2020-06-23 | 百度在线网络技术(北京)有限公司 | User intention recognition method, device, equipment and readable storage medium |
US11646016B2 (en) | 2020-02-19 | 2023-05-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for recognizing user intention, device, and readable storage medium |
WO2022089546A1 (en) * | 2020-10-28 | 2022-05-05 | 华为云计算技术有限公司 | Label generation method and apparatus, and related device |
Also Published As
Publication number | Publication date |
---|---|
JP2018151578A (en) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6199517B1 (en) | Determination apparatus, determination method, and determination program | |
WO2019101083A1 (en) | Voice data processing method, voice-based interactive device, and storage medium | |
US11868733B2 (en) | Creating a knowledge graph based on text-based knowledge corpora | |
JP6224857B1 (en) | Classification device, classification method, and classification program | |
JP2021534493A (en) | Techniques for building knowledge graphs within a limited knowledge domain | |
US11749274B2 (en) | Inference on date time constraint expressions | |
KR20180022762A (en) | Method, system and computer-readable recording medium for providing customer counseling service using real-time response message generation | |
US20120259801A1 (en) | Transfer of learning for query classification | |
KR20170137419A (en) | Method, system and computer-readable recording medium for providing customer counseling service using real-time response message generation | |
JP6370962B1 (en) | Generating device, generating method, and generating program | |
JP7488871B2 (en) | Dialogue recommendation method, device, electronic device, storage medium, and computer program | |
CN111340220A (en) | Method and apparatus for training a predictive model | |
JP6824795B2 (en) | Correction device, correction method and correction program | |
US20190164083A1 (en) | Categorical Data Transformation and Clustering for Machine Learning using Natural Language Processing | |
JP2024508502A (en) | Methods and devices for pushing information | |
US11868886B2 (en) | Time-preserving embeddings | |
JP2020135689A (en) | Model learning system, intention interpretation system, method for learning model, and model learning program | |
CN117575008A (en) | Training sample generation method, model training method, knowledge question-answering method and knowledge question-answering device | |
JP6983729B2 (en) | Extractor, evaluation device, extraction method and extraction program | |
JP2019215483A (en) | Leaning device, learning method, and learning program | |
CN114528843A (en) | Intent translation method and electronic equipment | |
CN114064854A (en) | Query text processing method, device, equipment and storage medium | |
JP7017478B2 (en) | Output device, output method and output program | |
JP2022126998A (en) | Answering device, answering method, and answering program | |
JP7044642B2 (en) | Evaluation device, evaluation method and evaluation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6199517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |