JP7160571B2 - Evaluation device, evaluation method and evaluation program - Google Patents
Evaluation device, evaluation method and evaluation program Download PDFInfo
- Publication number
- JP7160571B2 JP7160571B2 JP2018113956A JP2018113956A JP7160571B2 JP 7160571 B2 JP7160571 B2 JP 7160571B2 JP 2018113956 A JP2018113956 A JP 2018113956A JP 2018113956 A JP2018113956 A JP 2018113956A JP 7160571 B2 JP7160571 B2 JP 7160571B2
- Authority
- JP
- Japan
- Prior art keywords
- session
- utterance
- evaluation
- utterances
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 481
- 230000004044 response Effects 0.000 claims description 202
- 238000013210 evaluation model Methods 0.000 claims description 187
- 239000000284 extract Substances 0.000 claims description 181
- 238000000605 extraction Methods 0.000 claims description 123
- 230000002452 interceptive effect Effects 0.000 claims description 90
- 238000000034 method Methods 0.000 claims description 78
- 230000003252 repetitive effect Effects 0.000 claims description 46
- 230000000694 effects Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 390
- 230000002349 favourable effect Effects 0.000 description 255
- 238000010586 diagram Methods 0.000 description 64
- 230000002787 reinforcement Effects 0.000 description 51
- 230000007935 neutral effect Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 34
- 238000002474 experimental method Methods 0.000 description 31
- 238000013075 data extraction Methods 0.000 description 20
- 206010038583 Repetitive speech Diseases 0.000 description 10
- 230000003993 interaction Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012854 evaluation process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 230000004308 accommodation Effects 0.000 description 5
- 230000005611 electricity Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
特許法第30条第2項適用 予稿集 https://www2018.thewebconf.org/proceedings/ 投稿論文1 https://dl.acm.org/citation.cfm?id=3185992 TheWebConference2018 https://www2018.thewebconf.org/ 言語処理学会第24回年次大会(NLP2018) http://www.anlp.jp/nlp2018/ 投稿論文2Application of Article 30,
本発明は、評価装置、評価方法および評価プログラムに関する。 The present invention relates to an evaluation device, an evaluation method, and an evaluation program.
従来、利用者から音声若しくはテキストによるメッセージを受け付けると、受付けたメッセージに対応するメッセージを利用者に提供する対話システムが知られている。このような対話システムにおいて、利用者から受け付けたメッセージ(以下、「発話」と総称する。)に対し、発話に対応する多様な内容のメッセージ(以下、「応答」と総称する。)を利用者に対して提供する技術が適用されている。また、このような対話システムにおいて、発話と応答との流れに基づいて、対話を評価する技術が知られている。 2. Description of the Related Art Conventionally, a dialogue system is known that receives a voice or text message from a user and provides the user with a message corresponding to the received message. In such a dialogue system, a user sends messages (hereinafter collectively referred to as "responses") with various contents corresponding to messages received from users (hereinafter collectively referred to as "utterances"). The technology provided for is applied. Also, in such a dialogue system, a technique is known that evaluates the dialogue based on the flow of utterances and responses.
しかしながら、上述した従来技術では、対話の評価を適切に行っているとは言えない場合がある。 However, it may not be possible to say that the above-described conventional technology appropriately evaluates dialogue.
例えば、上述した従来技術では、各発話についての満足度を推定するため、対話の流れから対話の状態を推定し、推定した状態に応じた評価を行っているに過ぎない。このため、利用者が対話全体に対して満足しているか否かを必ずしも精度良く行うことができない場合がある。 For example, in the conventional technology described above, in order to estimate the degree of satisfaction for each utterance, the state of the dialogue is estimated from the flow of the dialogue, and the evaluation is performed according to the estimated state. Therefore, it may not always be possible to precisely determine whether the user is satisfied with the entire dialogue.
本願は、上記に鑑みてなされたものであって、対話に対する評価の精度を改善することを目的とする。 The present application has been made in view of the above, and an object thereof is to improve the accuracy of evaluation of dialogue.
本願に係る評価装置は、対話サービスにおける利用者の発話と当該発話に対する応答とを含むセッションを取得する取得部と、前記セッションに含まれる発話の文字列の繰り返しに基づいて、前記取得部により取得されたセッションを評価する評価部とを有することを特徴とする。 An evaluation device according to the present application includes an acquisition unit that acquires a session including a user's utterance and a response to the utterance in an interactive service, and the acquisition unit that acquires the and an evaluation unit for evaluating the session.
実施形態の一態様によれば、対話に対する評価の精度を改善できる。 According to one aspect of the embodiments, the accuracy of evaluation for interactions can be improved.
以下に、本願に係る評価装置、評価方法および評価プログラムを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る評価装置、評価方法および評価プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。 Embodiments (hereinafter referred to as "embodiments") for implementing the evaluation apparatus, evaluation method, and evaluation program according to the present application will be described in detail below with reference to the drawings. Note that the evaluation device, evaluation method, and evaluation program according to the present application are not limited to this embodiment. Further, in each of the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.
[実施形態]
〔1.情報提供装置の概要について〕
まず、図1を用いて、抽出装置、評価装置、および学習装置の一例である情報提供装置が実行する処理の一例について説明する。図1は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。
[Embodiment]
[1. Overview of the information providing device]
First, with reference to FIG. 1, an example of processing executed by an information providing device, which is an example of an extraction device, an evaluation device, and a learning device, will be described. FIG. 1 is a diagram illustrating an example of processing executed by an information providing device according to an embodiment.
図1では、情報提供装置10は、インターネット等の所定のネットワークN(例えば、図2参照)を介して、対話装置200と相互に通信可能である。なお、情報提供装置10は、利用者が利用する端末装置100と通信可能であってもよい。また、情報提供装置10は、端末装置100や対話装置200以外にも、各種の外部サーバと相互に通信可能であるものとする。
In FIG. 1, the
端末装置100は、スマートフォンやタブレット等のスマートデバイスであり、3G(3rd Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置100は、スマートデバイスのみならず、デスクトップPC(Personal Computer)やノートPC等の情報処理装置であってもよい。なお、端末装置100は、利用者が発生した音声(いわゆる「発話」)を取得すると、取得した発話音声を対話装置200へと送信し、対話装置200から送信される応答を取得すると、取得した応答を音声として出力する装置であれば、スマートスピーカ等、任意の装置が採用可能である。
The
対話装置200は、利用者との間の対話を実現する対話処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、対話装置200は、端末装置100から発話を受付けると、受付けた発話に応じた応答を生成し、生成した応答を音声で出力するためのデータを端末装置100へと送信する。
The
ここで、対話装置200が実現する対話処理の一例について説明する。なお、以下に示す対話処理は、あくまで一例であり、実施形態を限定するものではない。例えば、端末装置100は、利用者が発した音声を発話として取得する(ステップS1)。より具体的な例を挙げると、端末装置100は、ビームフォーミング等の各種音声抽出技術を用いて、発話の音声データを取得する。このような場合、端末装置100は、取得した音声データを所定の変換サーバ(図示は省略)へと送信する。このような場合、変換サーバは、音声データから発話のテキストデータを生成し、生成したテキストデータを端末装置100へと送信する。そして、端末装置100は、テキストデータを発話として対話装置200へと送信する(ステップS2)。
Here, an example of interactive processing realized by the
一方、対話装置200は、各種の意図解析技術を用いて、発話として受付けたテキストデータを解析し、発話が示す利用者の意図を推定する。そして、対話装置200は、推定した意図に応じた各種の処理を実行し、実行結果を示すテキストデータを生成する。すなわち、対話装置200は、応答を生成する(ステップS3)。そして、対話装置200は、応答として生成したテキストデータを端末装置100に送信する(ステップS4)。この結果、端末装置100は、テキストデータの読み上げを行ったり、テキストデータを画面上に表示することで、発話に対する応答を利用者に対して提供する(ステップS5)。
On the other hand, the
このような対話装置200が実現する対話処理においては、応答の内容に対して利用者が満足したか否かという評価が重要になる。例えば、ある応答に対して利用者が満足したか否かという情報は、対話装置200が実行する対話処理の精度を向上させるための情報として採用可能である。しかしながら、利用者に対して応答に満足したか否かを問い合わせた場合には、ユーザーエクスペリメンスを毀損する恐れがある。
In the interactive process realized by the
ここで、対話に対して利用者が満足しているか否かを適切に評価するため、利用者が満足したか否かを示すラベルが付与されたラベル付き対話のデータを準備し、各種モデルにラベル付き対話のデータが有する特徴を教師あり若しくは教師なし学習により学習させ、学習済モデルを用いて対話の評価を行うといった手法が考えられる。しかしながら、このようなモデルの学習には、ラベル付き対話のデータが比較的多く必要となるが、ラベル付き対話のデータを作成するのは、手間がかかるという問題がある。 Here, in order to appropriately evaluate whether or not the user is satisfied with the dialogue, we prepare labeled dialogue data with a label indicating whether the user is satisfied or not, and apply it to various models. A conceivable method is to learn the features of labeled dialogue data by supervised or unsupervised learning, and evaluate the dialogue using the trained model. However, learning such a model requires a relatively large amount of labeled dialogue data, but creating labeled dialogue data is time-consuming.
例えば、ラベル付き対話のデータを作成するには、クラウドソージング等の手作業により作成される場合がある。しかしながら、対話の中には、多くの発話と応答とを含む対話(すなわち、長い対話)も存在するため、手作業によりラベルを付与するのは、困難となる場合がある。このため、学習に用いるラベル付き対話のデータを自動的に獲得することができれば、学習を効率的に行うことができ、対話処理の精度を向上させることができると考えられる。 For example, creating data for labeled interactions may be created manually, such as by crowdsourcing. However, since some dialogues include many utterances and responses (that is, long dialogues), it may be difficult to assign labels manually. Therefore, if it is possible to automatically acquire labeled dialogue data used for learning, learning can be efficiently performed, and the accuracy of dialogue processing can be improved.
そこで、情報提供装置10は、対話処理における利用者の発話と応答とを利用して、対話処理に対して利用者が満足したか否かを自動的に評価するための評価処理を実行する。また、情報提供装置10は、評価処理を行う際に用いる発話を抽出する抽出処理を実行する。また、情報提供装置10は、対話を行うためのモデルを学習する学習装置を実行する。そして、情報提供装置10は、抽出装置、評価装置、および学習装置に基づいて、対話装置200による対話処理の精度を向上させる。
Therefore, the
〔1-1.情報提供装置が実行する処理の一例〕
以下、情報提供装置10が実行する処理の一例について説明する。まず、情報提供装置10は、対話装置200から対話処理における発話と応答との履歴である対話履歴を取得する(ステップS6)。そして、情報提供装置10は、対話履歴に基づいて、対話を評価する(ステップS7)。
[1-1. Example of processing executed by information providing device]
An example of processing executed by the
より具体的には、情報提供装置10は、利用者による発話、その発話に対する応答、およびその応答に対する利用者の発話といった一連の連続する複数の発話と複数の応答とを含む対話履歴をセッションとして抽出する。ここで、情報提供装置10は、任意の基準により定められた複数の発話および応答を1つのセッションとして採用してよい。
More specifically, the
例えば、情報提供装置10は、利用者からの発話が無い状態が所定の時間(例えば、30分)以上経過した場合は、それまでに利用者から受付けた発話および利用者に提供した応答を1つのセッションに含まれる発話および応答としてもよい。また、情報提供装置10は、利用者が対話処理を行うためのアプリケーションを起動させてから、アプリケーションをスリープ若しくは終了させるまでに取得された発話および応答を1つのセッションとしてもよい。すなわち、セッションとは、利用者による評価単位となりえる一連の対話であれば、任意の単位でまとめられた発話および応答を含むものであってよい。
For example, when there is no utterance from the user for a predetermined period of time (for example, 30 minutes), the
そして、情報提供装置10は、セッションにおける対話の評価を行う。より具体的には、情報提供装置10は、セッションにおける応答や発話に基づいて、セッションにおける対話に利用者が満足したか否かを推定する。例えば、情報提供装置10は、セッションに対する利用者の評価の指標となる複数の特徴のうち、それぞれ異なる種別の特徴に基づいてセッションを評価する複数のモデルの評価結果を用いて、セッションの評価を行う。
The
例えば、1つのセッションの中に含まれる発話に同一若しくは類似する内容の発話が含まれている場合、そのセッションにおける対話に対して利用者が満足していないと推定される。例えば、利用者が旅館での求職を意図して「旅館の仕事」と発話した際に、対話装置200が「旅館」という単語から宿泊施設の検索を利用者が意図していると誤判定し、「宿泊施設を案内します」といった応答を返してしまう場合がある。このような意図に反する応答が出力された場合、利用者が音声認識が上手くいかなかったと推定して再度「旅館の仕事」と発話し、対話装置200が再度「宿泊施設を案内します」といった応答を返してしまう場合がある。このように、1つのセッションにおいて類似する発話の繰り返しは、そのセッションに対して利用者があまり満足していない旨を示唆していると考えられる。
For example, when utterances included in one session include utterances of the same or similar content, it is presumed that the user is not satisfied with the dialogue in that session. For example, when the user intends to look for a job at an inn and utters "work at an inn", the
そこで、情報提供装置10は、同一または類似する発話の繰り返しに基づいてセッションを評価するモデルを生成する(ステップS7-1)。例えば、情報提供装置10は、セッションに含まれる発話や応答の文字列を入力した際に、そのセッションに含まれる発話の繰り返しに基づいて、セッションに対して利用者がどれくらい満足していないか、すなわち、利用者の不満足度を示すスコアである第1不満足度を出力する繰り返し評価モデルM1を生成する。例えば、このような繰り返し評価モデルは、同一発話(あるいは同一文字列)が含まれるセッション、若しくは、類似発話(あるいは類似文字列)が含まれるセッションが入力された場合は、同一発話(あるいは同一文字列)が含まれないセッション、若しくは、類似発話(あるいは類似文字列)が含まれないセッションが含まれないセッションが入力された場合よりもより高い値の第1不満足度を出力する。ここで、「類似発話」とは、「旅館の仕事」と「ホテルの仕事」等、意味が類似する発話である。なお、繰り返し評価モデルM1は、セッションが有する文字列そのものではなく、文字列から生成した画像が有する特徴に基づいて、セッションの評価を行うが、このような処理の詳細については、後述する。
Therefore, the
また、例えば、「違う」といった発話に対して「申し訳ありません」や「ごめんなさい」等といった謝罪を示す応答が提供される場合がある。このような謝罪を示す応答(以下、「謝罪応答」と総称する場合がある。)がセッションに含まれている場合、そのセッションに対して利用者があまり満足していないと推定される。そこで、情報提供装置10は、謝罪応答が含まれているか否かに基づいて、セッションを評価するモデルを生成する(ステップS7-2)。例えば、情報提供装置10は、より多くの謝罪応答が含まれているセッションに対して、より高い値の第2不満足度を出力し、より謝罪応答が含まれていないセッションに対して、より低い値の第2不満足度を出力する謝罪評価モデルM2を生成する。
Also, for example, an apology response such as "I'm sorry" or "I'm sorry" may be provided in response to an utterance such as "No". If a session includes such an apology response (hereinafter sometimes collectively referred to as an "apology response"), it is presumed that the user is not very satisfied with the session. Therefore, the
また、利用者の発話には、セッションに対する利用者の印象を示唆する発話が含まれるが、このような利用者の印象を示唆する発話は、セッションの評価の指標となる発話、すなわち、指標発話として採用することができる。例えば、利用者の「使えない」や「アンインストール」等といった発話は、応答に対する利用者の非好意的な評価を示す発話、すなわち、unfavorableなフィードバックであると考えられる。このような非好意的な評価を示す発話(以下、「非好意的指標発話」と記載する。)が多く含まれるセッションは、利用者の満足度が低いと推定される。また、利用者の「すごいね」や「よくできる」といった発話は、応答に対する利用者の好意的な評価を示す発話、すなわち、favorableなフィードバックであると考えられる。このような好意的な評価を示す発話(以下、「好意的指標発話」と記載する。)が多く含まれるセッションは、利用者の満足度が高いと推定される。 In addition, user utterances include utterances suggesting the user's impression of the session. can be adopted as For example, a user's utterance such as "cannot use" or "uninstall" is considered to be an utterance indicating the user's unfavorable evaluation of the response, that is, unfavorable feedback. It is presumed that a user's satisfaction level is low in a session that includes many utterances indicating such unfavorable evaluation (hereinafter referred to as "unfavorable indicator utterances"). In addition, the user's utterances such as "wonderful" and "well done" are considered to be utterances indicating the user's favorable evaluation of the response, that is, favorable feedback. A session that includes many utterances indicating such favorable evaluation (hereinafter referred to as "favorable index utterances") is presumed to have high user satisfaction.
すなわち、このような好意的指標発話や非好意的指標発話(以下、「指標発話」と総称する場合がある。)は、セッションに対する利用者の満足度の指標となりえる。そこで、情報提供装置10は、好意的指標発話や非好意的指標発話といった各種指標発話に基づいて、セッションを評価するモデルを生成する。
That is, such favorable indicator utterances and unfavorable indicator utterances (hereinafter sometimes collectively referred to as "index utterances") can serve as indicators of the user's degree of satisfaction with the session. Therefore, the
例えば、情報提供装置10は、非好意的指標発話に基づいてセッションを評価するモデルを生成する(ステップS7-3)。例えば、情報提供装置10は、セッションに含まれる発話に「使えない」や「アンインストール」等といったあらかじめ設定された非好意的指標発話がより多く含まれているセッションに対して、より高い値の第3不満足度を出力し、非好意的指標発話がより含まれていないセッションに対して、より低い値の第3不満足度を出力する非好意的指標発話評価モデルM3を生成する。
For example, the
また、情報提供装置10は、好意的指標発話に基づいてセッションを評価するモデルを生成する(ステップS7-4)。例えば、情報提供装置10は、セッションに含まれる発話に「すごいね」や「よくできている」等といったあらかじめ設定された好意的指標発話がより多く含まれているセッションに対して、より高い値の第1満足度を出力し、好意的指標発話がより含まれていないセッションに対して、より低い値の第1満足度を出力する好意的指標発話評価モデルM4を生成する。なお、上述した非好意的指標発話や好意的指標発話は、後述する処理により、セッションから適宜自動的に抽出された発話であってもよい。
The
なお、情報提供装置10は、任意の公知技術を用いて、各モデルの学習を行ってよい。例えば、情報提供装置10は、バックプロパゲーションや強化学習、GAN(Generative Adversarial Network)等の技術を用いて、各モデルの学習を行えばよい。
Note that the
そして、情報提供装置10は、各モデルが出力した各不満足度および満足度に基づいて、入力されたセッションを評価する(ステップS7-5)。例えば、情報提供装置10は、評価対象となるセッションを抽出し、抽出したセッションを繰り返し評価モデルM1、謝罪評価モデルM2、非好意的指標発話評価モデルM3、および好意的指標発話評価モデルM4のそれぞれに入力する。そして、情報提供装置10は、第1不満足度、第2不満足度、および第3不満足度の和から第1満足度を減算した値を不満足度スコアとして算出する。すなわち、情報提供装置10は、不満足度スコアとして、セッションに対して利用者が満足していない程高くなるスコアを算出する。なお、「不満足」とは、例えば、利用者がセッションにおける応答に対してイライラ(frustrated)している場合のみならず、利用者が呆れている場合等、セッションに対して非好意的な主観を有する任意の状態を含む概念である。
Then, the
また、情報提供装置10は、対話履歴から抽出される各セッションから不満足度スコアをそれぞれ算出する。そして、情報提供装置10は、各セッションのうち不満足度スコアが高い方から所定の数のセッションを抽出し、抽出したセッションを利用者の満足度が低いセッションである低満足セッションとする。また、情報提供装置10は、不満足度スコアが低い方から順に所定の数のセッションを抽出し、抽出したセッションを利用者の満足度が高いセッションである高満足セッションとする。なお、情報提供装置10は、不満足度スコアが所定の閾値を超えるセッションを低満足セッションとし、不満足度スコアが所定の閾値を下回るセッションを高満足セッションとしてもよい。このような処理を実行することで、情報提供装置10は、セッションに対して利用者が満足しているか否かを評価する処理を実現する。
Further, the
そして、情報提供装置10は、評価結果に基づいて、対話モデルを更新する(ステップS8)。例えば、情報提供装置10は、ある発話と、その発話に対する応答とが低満足セッションに含まれる場合、その発話に対してその応答を出力する確率を下げ、ある発話と、その発話に対する応答とが高満足セッションに含まれる場合、その発話に対してその応答を出力する確率を上げるように、応答を生成するための対話モデルを更新する。すなわち、情報提供装置10は、利用者がより満足するように、対話モデルの更新を行う。
Then, the
このように、情報提供装置10は、対話サービスにおける利用者の発話と応答とを含むセッションを取得し、セッションに対する利用者の評価の指標となる複数の特徴のうちそれぞれ異なる種別の特徴に基づいてセッションを評価する複数のモデルM1~M4の評価結果を用いて、セッションを評価する。この結果、情報提供装置10は、複数の観点から総合的にセッションを評価するので、評価の精度を向上させることができる。また、情報提供装置10は、クラウドソージング等といった人手によるセッションの評価を行わずとも、セッションの評価を自動で実現できるので、対話に対する評価を容易にすることができる。
In this way, the
〔1-2.情報提供装置が実行する処理について〕
なお、上述した例では、情報提供装置10が実行する処理の一例として、セッションに含まれる発話の繰り返しの有無、謝罪応答の有無、好意的指標発話や非好意的指標発話の有無に応じて、セッションの評価を行う処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。
[1-2. Regarding the processing executed by the information providing device]
In the above-described example, as an example of the processing executed by the
例えば、以下に説明するように、情報提供装置10は、様々な観点からセッションの評価を行ってよい。また、情報提供装置10は、このようなセッションの評価を行うため、セッションに含まれる発話から各種の指標発話を自動的に抽出してもよい。また、情報提供装置10は、このようなセッションの評価を行うため、利用者が対話サービスを利用する期間や頻度(以下、「エンゲージメント」と記載する場合がある。)を推定してもよい。また、情報提供装置10は、対話の履歴に基づいて、発話から応答を生成するための対話モデルの学習を行ってもよい。
For example, as described below, the
すなわち、情報提供装置10は、以下に説明する各種の処理を組み合わせることで、図1に示すセッションの評価を実現すればよい。なお、以下に説明する各種の処理は、任意の組み合わせで実施してよい。
In other words, the
〔1-3.利用者の主観について〕
上述した説明では、情報提供装置10は、応答に対する利用者の好意的な印象若しくは非好意的な印象を示す各種指標発話を用いて、セッションの評価を行った。ここで、「好意的な印象」や「非好意的な印象」とは、利用者の好きか嫌いかといった印象のみならず、応答が正しい若しくは正しくないといった印象等、応答に対する利用者の肯定的な各種の印象や否定的な各種の印象をも含む概念である。
[1-3. User's subjectivity]
In the above description, the
また、上述した説明では、情報提供装置10は、セッションに対して利用者が満足していたか否かを評価した。ここで、情報提供装置10は、満足したか否かという2値の評価のみならず、任意の態様の評価を行ってよい。例えば、情報提供装置10は、不満足度スコアの値そのものを評価結果としてもよい。また、情報提供装置10は、不満足度ではなく、利用者の満足度が高い程値が高くなり、満足度が低い程値が低くなるスコア、すなわち、満足度を算出するよう学習が行われたモデルM1~M3を利用してもよい。また、情報提供装置10は、不満足度スコアではなく、利用者が満足した度合を示す満足度スコアをセッションごとに算出してもよい。
Also, in the above description, the
なお、上述した説明では、情報提供装置10は、利用者がセッションに対して「満足」したか「不満足」であったかを評価した。ここで、「満足」や「不満足」という概念は、利用者がセッションに対してイライラしているか否か等、セッションに対する利用者の好意的な各種の印象もしくは非好意的な印象をも含む概念である。
In the above description, the
すなわち、上述した「好意的」や「満足」といった記載は、利用者による好意的な各種の印象を示すものであり、「非好意的」や「不満足」といった記載は、利用者による非好意的な各種の印象を示すものである。情報提供装置10は、応答に対する利用者の印象を示す各種指標発話に基づいて、セッションを評価するのであれば、利用者の印象の種別によらず、実施形態に記載した各種の処理により、任意の印象を軸とした評価を実現してよい。
In other words, the above descriptions such as "favorable" and "satisfactory" indicate various favorable impressions by users, and descriptions such as "unfavorable" and "unsatisfactory" indicate unfavorable It shows various impressions. If the session is evaluated based on various index utterances that indicate the user's impression of the response, the
〔1-4.指標発話に基づく評価について〕
上述した説明では、情報提供装置10は、好意的指標発話や非好意的指標発話といった各種指標発話に基づいて、セッションに利用者が満足しているか否かの評価を行った。ここで、各種の指標発話は、その指標発話が出現するまでの対話や応答等といった対象に対して利用者が好意的な印象を有しているか否かといった発話であり、セッションの評価の指標となりうる発話である。
[1-4. Evaluation based on index utterance]
In the above description, the
ここで、指標発話は、指標発話が示す利用者の印象の対象によらず、セッションの評価の指標となりえる発話であれば、任意の対象に対する利用者の印象を示す発話が採用可能である。例えば、情報提供装置10は、単一の応答に対する利用者の印象を示す発話(すなわち、フィードバックとなる発話)を指標発話としてもよく、一連の対話やセッション全体に対する利用者の印象を示す発話を指標発話として採用してもよい。すなわち、情報提供装置10は、応答に対する対話サービスに対する利用者の評価を示す発話を指標発話とするのであれば、対話サービスにおける任意の対象に対する利用者の印象を示す発話を指標発話として採用してもよい。
Here, the index utterance can be an utterance that indicates the user's impression of any target as long as the utterance can serve as an index for session evaluation, regardless of the target of the user's impression indicated by the index utterance. For example, the
〔2.情報提供装置の構成〕
以下、情報提供装置10が実行する各種の処理を実現する情報提供装置10が有する機能構成の一例について説明する。図2は、実施形態に係る情報提供装置の構成例を示す図である。図2に示すように、情報提供装置10は、通信部20、記憶部30、および制御部40を有する。
[2. Configuration of Information Providing Device]
An example of the functional configuration of the
〔2-1.通信部について〕
通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、端末装置100および対話装置200との間で情報の送受信を行う。
[2-1. About the communication part]
The
〔2-2.記憶部について〕
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部30は、セッションログデータベース31、セッション評価データベース32、指標発話データベース33、エンゲージメントデータベース34、およびモデルデータベース35を記憶する。
[2-2. About the memory part]
The storage unit 30 is implemented by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores a
以下、図3~図7を用いて、記憶部30が記憶する各データベース31~35の一例について説明する。セッションログデータベース31には、対話履歴がセッションごとに登録される。例えば、図3は、実施形態に係るセッションログデータベースに登録される情報の一例を示す図である。図3に示すように、セッションログデータベース31には、「セッションID(Identifier)」、「対話時刻」、「利用者ID」、および「対話内容」といった項目を有する情報が登録される。なお、図3に示す情報以外にも、対話処理における発話および応答に関する情報であれば、任意の情報がセッションログデータベース31に登録されていてよい。
An example of each of the
ここで、「セッションID」とは、セッションを識別するための情報である。また、「対話時刻」とは、「セッションID」が示すセッションに含まれる対話が行われた日時を示す情報であり、例えば、セッションに含まれる最初の発話が取得された日時を示す情報である。また、「利用者ID」とは、「セッションID」が示すセッションに含まれる発話を行った利用者を識別する識別子である。また、「対話内容」とは、「セッションID」が示すセッションに含まれる発話および応答の内容を時系列順に並べた情報である。 Here, "session ID" is information for identifying a session. Further, the “dialogue time” is information indicating the date and time when the dialogue included in the session indicated by the “session ID” took place, for example, information indicating the date and time when the first utterance included in the session was obtained. . A “user ID” is an identifier that identifies a user who has made an utterance included in the session indicated by the “session ID”. "Dialogue content" is information in which the content of utterances and responses included in the session indicated by the "session ID" is arranged in chronological order.
例えば、図3に示す例では、セッションID「セッション#1」、対話時刻「対話時刻#1」、利用者ID「利用者#1」、対話内容「Usr:旅館の仕事 sys:宿泊施設を案内します・・・(中略)・・・」といった情報が登録されている。このような情報は、セッションID「セッション#1」が示すセッションに含まれる対話が行われた日時が「対話時刻#1」であり、そのセッションにおいて発話した利用者が「利用者#1」が示す利用者である旨を示す。また、セッションID「セッション#1」が示すセッションには、利用者の発話「旅館の仕事」が含まれ、このような発話に対する応答が「宿泊施設を案内します」であった旨を示す。
For example, in the example shown in FIG. 3, the session ID "
なお、図3に示す例では、「セッション#1」、「対話時刻#1」、「利用者#1」といった概念的な値を記載したが、実際には、セッションを識別する文字列や数値、日時を示す数値、利用者を識別する文字列や数値等がセッションログデータベース31に登録されることとなる。
Note that in the example shown in FIG. 3, conceptual values such as "
セッション評価データベース32には、セッションに対する評価結果が登録される。例えば、図4は、実施形態に係るセッション評価データベースに登録される情報の一例を示す図である。図4に示すように、セッション評価データベース32には、「セッションID」、「セッション種別」、および「不満足度スコア」といった項目を有する情報が登録される。なお、セッション評価データベース32に登録される情報は、これに限定されるものではなく、セッションに対する評価に関する情報であれば、任意の情報が登録されていてよい。また、セッション評価データベース32は、例えば、セッションログデータベース31と統合されていてもよい。
Evaluation results for sessions are registered in the
ここで、「セッション種別」とは、対応付けられた「セッションID」が示すセッションにおける対話に対して利用者が満足したと推定されるか否かを示す情報であり、例えば、セッションに対して付与されるラベルである。例えば、「セッション種別」は、利用者が満足していない(例えば、不満足度スコアが高い)と推定される場合は、「低満足セッション」が、利用者が満足した(例えば、不満足度スコアが低い)と推定される場合は、「高満足セッション」が、そのどちらでもない(例えば、不満足度スコアが所定の範囲内に収まる場合)と推定される場合は、「中性セッション」が採用される。また、「不満足度スコア」とは、対応付けられた「セッションID」が示すセッションに対して付与された不満足度スコアの値である。 Here, the "session type" is information indicating whether it is estimated that the user is satisfied with the interaction in the session indicated by the associated "session ID". This is the label to be assigned. For example, if the "session type" is estimated that the user is not satisfied (for example, the dissatisfaction score is high), the "low-satisfaction session" indicates that the user was satisfied (for example, the dissatisfaction score is low), a “high satisfaction session” is adopted, and a “neutral session” is adopted if neither is estimated (e.g., if the dissatisfaction score falls within a predetermined range) be. The “dissatisfaction score” is the value of the dissatisfaction score given to the session indicated by the associated “session ID”.
例えば、図4に示す例では、セッション評価データベース32には、セッションID「セッション#1」、セッション種別「低満足セッション」、および不満足度スコア「150」が対応付けて登録されている。このような情報は、セッションID「セッション#1」が示すセッションのセッション種別が「低満足セッション」であり、不満足度スコアが「150」であった旨を示す。なお、セッションの評価が行われていない場合は、セッション種別が「未評価」となり、不満足度スコアが算出されていない場合は、不満足度スコアが「未評価」となる。
For example, in the example shown in FIG. 4, the
指標発話データベース33には、各種の指標発話が登録される。例えば、図5は、実施形態に係る指標発話データベースに登録される情報の一例を示す図である。図5に示すように、指標発話データベース33には、「指標発話」、「指標種別」、「指標スコア」および「登録元」といった項目を有する情報が登録される。なお、図5に示す情報以外にも、指標発話データベース33には、指標発話に関する各種の情報が登録されていてよい。
Various index utterances are registered in the
ここで、「指標発話」とは、非好意的指標発話や好意的指標発話等、その発話が含まれるセッションにおける対話に対して利用者が満足しているか否かの指標となる発話の文字列である。また、「指標種別」とは、対応付けられた指標発話が非好意的指標発話であるか好意的指標発話であるかを示す情報である。また、「指標スコア」とは、対応付けられた「指標発話」が含まれるセッションにおける対話に対して利用者が満足していない度合を示すスコアである。また、「登録元」とは、対応付けられた指標発話が予め設定された指標発話、すなわち、シードとなる指標発話であるか、セッションから抽出処理によって自動的に抽出された指標発話であるかを示す情報であり、セッションから抽出された指標発話である場合、抽出元となったセッションのセッションIDが登録される。 Here, the "index utterance" is a character string of utterances that serve as an indicator of whether or not the user is satisfied with the dialogue in the session that includes the utterance, such as a non-favorable index utterance or a favorable index utterance. is. Further, the "index type" is information indicating whether the associated index utterance is a non-favorable index utterance or a favorable index utterance. Also, the "index score" is a score that indicates the degree to which the user is dissatisfied with the dialogue in the session that includes the associated "index utterance". Also, the "registration source" means whether the associated index utterance is a preset index utterance, that is, whether it is a seed index utterance or an index utterance automatically extracted from the session by the extraction process. , and if the index utterance is extracted from a session, the session ID of the extraction source session is registered.
例えば、図5に示す例では、指標発話データベース33には、指標発話「よくできている」、指標種別「好意的」、指標スコア「-150」および登録元「事前登録」が対応付けて登録されている。このような情報は、「よくできている」という文字列が指標発話として登録されており、指標発話の種別が「好意的」、すなわち、好意的指標発話であり、指標スコアが「-150」である旨を示す。また、このような情報は、「よくできている」という好意的指標発話が、予め事前登録された指標発話、すなわち、シードとなる指標発話である旨を示す。
For example, in the example shown in FIG. 5, the index utterance “good”, the index type “favorable”, the index score “−150”, and the registration source “pre-registered” are registered in association with each other in the
エンゲージメントデータベース34には、利用者による対話サービスの利用態様を示す情報が登録される。より具体的には、エンゲージメントデータベース34には、利用期間や利用頻度といった情報、すなわち、利用者がどれくらい対話サービスを利用するかを示すエンゲージメント情報が登録される。例えば、図6は、実施形態に係るエンゲージメントデータベースに登録される情報の一例を示す図である。図6に示すように、エンゲージメントデータベース34には、「利用者ID」、「エンゲージメント履歴」、および「予測エンゲージメント」といった項目を有する情報が登録される。なお、図6に示す情報以外にも、エンゲージメントに関する情報であれば、任意の情報がエンゲージメントデータベース34に登録されていてよい。 In the engagement database 34, information indicating how the user uses the interactive service is registered. More specifically, in the engagement database 34, information such as usage period and usage frequency, that is, engagement information indicating how long the user uses the interactive service is registered. For example, FIG. 6 is a diagram showing an example of information registered in the engagement database according to the embodiment. As shown in FIG. 6, in the engagement database 34, information having items such as "user ID", "engagement history", and "predicted engagement" is registered. In addition to the information shown in FIG. 6, arbitrary information may be registered in the engagement database 34 as long as it is information related to engagement.
ここで、「エンゲージメント履歴」とは、対応付けられた「利用者ID」が示す利用者による対話サービスの利用期間の履歴である履歴期間、および、利用者による対話サービスの利用頻度の履歴である「履歴頻度」を示す情報である。また、「予測エンゲージメント」とは、対応付けられた「利用者ID」が示す利用者による将来の利用期間である「予測期間」、および利用者による将来の利用頻度である「予測頻度」を示す情報である。 Here, the "engagement history" is a history period, which is a history of the period of use of the interactive service by the user indicated by the associated "user ID", and a history of the frequency of use of the interactive service by the user. This is information indicating "history frequency". In addition, "predicted engagement" indicates the "predicted period" that is the future usage period by the user indicated by the associated "user ID", and the "predicted frequency" that is the future usage frequency by the user. Information.
また、「履歴期間」とは、例えば、過去の所定の期間において利用者が連続して対話サービスを利用した期間を示す情報であり、例えば、所定の期間(例えば、数日間)を空けずに利用者が対話サービスを利用した最長の期間を示す情報である。また、「履歴頻度」とは、履歴期間の間に利用者が対話サービスを利用した頻度を示す情報であり、例えば、履歴期間の間に利用者が対話サービスを利用した回数(例えば、セッションの数)を履歴期間で除算した値である。また、「予測期間」とは、将来の所定の期間において利用者が連続して対話サービスを利用すると推定される期間を示す情報である。また、「予測頻度」とは、将来の所定の期間において利用者が対話サービスを利用すると推定される頻度を示す情報である。 In addition, the "history period" is, for example, information indicating a period during which the user continuously used the interactive service during a predetermined period in the past. This is information indicating the longest period during which the user has used the interactive service. "History frequency" is information indicating how often the user has used the interactive service during the historical period. For example, the number of times the user has used the interactive service during the historical period number) divided by the historical period. Also, the "prediction period" is information indicating a period during which it is estimated that the user will continue to use the interactive service in a predetermined period in the future. Also, the "predicted frequency" is information indicating the estimated frequency that the user will use the interactive service in a predetermined period in the future.
例えば、図6に示す例では、利用者ID「利用者#1」、エンゲージメント履歴「履歴期間#1 履歴頻度#1」、予測エンゲージメント「予測期間#1 予測頻度#1」が対応付けて登録されている。このような情報は、利用者ID「利用者#1」が示す利用者のエンゲージメント履歴が「履歴期間#1」および「履歴頻度#1」であり、予測エンゲージメントが「予測期間#1」および「予測頻度#1」である旨を示す。
For example, in the example shown in FIG. 6, the user ID "
なお、図6に示す例では、「履歴期間#1」、「履歴頻度#1」、「予測期間#1」、「予測頻度#1」といった概念的な値を記載したが、実際には、各種の期間や頻度を示す数値が登録されることとなる。
Note that in the example shown in FIG. 6, conceptual values such as "
モデルデータベース35には、各種のモデルが登録される。例えば、図7は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。図7に示すように、モデルデータベース35には、「モデルID」、「モデル種別」、および「モデルデータ」といった項目を有する情報が登録される。なお、図7に示す情報以外にも、モデルデータベース35には、モデルに関する各種の情報が登録されていてよい。
Various models are registered in the
ここで、「モデルID」とは、モデルを識別する識別子である。また、「モデル種別」とは、モデルがどのようなモデルであるかを示す情報である。また、「モデルデータ」とは、モデルのデータである。なお、図7に示す例では、「モデルデータ#1」といった概念的な値を記載したが、実際には、モデルを構成する各種のパラメータ等の情報が登録される。
Here, "model ID" is an identifier for identifying a model. "Model type" is information indicating what kind of model the model is. "Model data" is model data. In the example shown in FIG. 7, a conceptual value such as "
例えば、図7に示す例では、モデルデータベース35には、セッションに繰り返しが含まれているか否かに基づいてセッションを評価する「繰り返し評価モデル」、セッションに謝罪応答が含まれているか否かに基づいてセッションを評価する「謝罪評価モデル」、セッションに非好意的指標発話が含まれているか否かに基づいてセッションを評価する「非好意的指標発話評価モデル」、およびセッションに好意的指標発話が含まれているか否かに基づいてセッションを評価する「好意的指標発話評価モデル」が登録されている。
For example, in the example shown in FIG. 7, the
また、モデルデータベース35には、利用者が満足したと推定される対話、利用者が満足していないと推定される対話、および、そのどちらでもない対話の特徴を学習した「3値評価モデル」が登録されている。また、モデルデータベース35には、対話サービスの利用態様が所定の条件を満たす利用者の発話を含むセッションの特徴を学習した「エンゲージメントセッション評価モデル」が登録されている。また、モデルデータベース35には、疑似的に生成されたセッションであって、同一又は類似の発話を含むセッションの特徴を学習した「反復発話評価モデル」が登録されている。
The
また、モデルデータベース35には、対話装置200が使用するモデルであって、発話に対する応答を生成するための「対話モデル」が登録されている。また、モデルデータベース35には、利用者を疑似的に再現するモデルであって、応答が入力された場合に、その応答に対する発話を出力する「利用者模型モデル」が登録されている。
In the
なお、モデルデータベース35には、各モデルのモデルデータとして、任意の形式のモデルの情報が登録される。例えば、各モデルは、SVM(Support Vector Machine)やDNN(Deep Neural Network)により実現されてもよい。ここで、DNNは、CNN(Convolutional Neural Network)やRNN(Recurrent Neural Network)であってもよい。また、RNNは、LSTM(Long short-term memory)等であってもよい。すなわち、各モデルは、任意の形式のモデルが採用可能である。また、各モデルは、例えば、CNNとRNNとを組み合わせたモデル等、複数のモデルを組み合わせることで実現されるモデルであってもよい。
In the
〔2-3.制御部について〕
図2に戻り、説明を続ける。制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報提供装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部40は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
[2-3. About the control part]
Returning to FIG. 2, the description is continued. The control unit 40 is a controller, and various programs stored in a storage device inside the
図2に示すように、制御部40は、セッション取得部41、利用態様特定部42、指標発話抽出処理部50、セッション評価処理部60、エンゲージメント予測処理部70、および強化学習処理部80を有する。
As shown in FIG. 2, the control unit 40 has a session acquisition unit 41, a usage mode identification unit 42, an indicator utterance
セッション取得部41は、セッションの取得を行う。例えば、セッション取得部41は、対話装置200から対話履歴を取得すると、取得した対話履歴をセッションごとに分割する。例えば、セッション取得部41は、処理対象となる利用者を選択し、選択した利用者の発話を含む発話履歴を抽出する。続いて、セッション取得部41は、抽出した発話履歴における各応答と発話との間の時間を特定する。そして、セッション取得部41は、ある応答から次の発話までの間の時間が所定の期間よりも長い場合は、その応答がセッションにおける最後の応答であると判定し、判定結果に基づいて、利用者との対話をセッションに分割する。そして、セッション取得部41は、各セッションにセッションIDと利用者の利用者IDとを付与して、セッションログデータベース31に登録する。
The session acquisition unit 41 acquires a session. For example, when acquiring the dialogue history from the
利用態様特定部42は、利用者の利用態様を特定する。例えば、利用態様特定部42は、処理対象となる利用者を選択し、所定の期間内(例えば、過去半年)における利用者の対話サービスの利用態様を特定する。より具体的には、利用態様特定部42は、所定の期間内における履歴期間と履歴頻度とを特定する。そして、利用態様特定部42は、特定した履歴期間と履歴頻度とをエンゲージメント履歴として、利用者の利用者IDと対応付けてエンゲージメントデータベース34に登録する。 The usage pattern identification unit 42 identifies the usage pattern of the user. For example, the usage pattern identification unit 42 selects a user to be processed, and identifies the user's usage pattern of the interactive service within a predetermined period (for example, the past six months). More specifically, the usage pattern identification unit 42 identifies a history period and a history frequency within a predetermined period. Then, the usage pattern identification unit 42 registers the identified history period and history frequency as an engagement history in the engagement database 34 in association with the user ID of the user.
〔2-4.抽出処理について〕
指標発話抽出処理部50は、セッションの評価に用いる指標発話をセッションから抽出する抽出処理を実行する。以下、図8~図11を用いて、指標発話抽出処理部50が実行する処理の概念、および、指標発話抽出処理部50が有する機能構成の一例を説明する。
[2-4. About extraction processing]
The index utterance
〔2-4-1.共起性に基づく抽出処理について〕
例えば、指標発話抽出処理部50は、指標発話との共起性に基づいて、新たな指標発話の抽出を行う。例えば、図8は、シードとなる指標発話から新たな指標発話を抽出する処理の概念を示す図である。例えば、あるセッションに好意的指標発話が含まれる場合、同一のセッションには好意的指標発話が含まれやすいと考えられる。また、あるセッションに非好意的指標発話が含まれる場合、同一のセッションには、非好意的指標発話が含まれやすいと推定される。すなわち、同一のセッション内においては、好意的指標発話同士が共起しやすく、非好意的指標発話同士が共起しやすいと考えられる。
[2-4-1. Extraction processing based on co-occurrence]
For example, the index utterance
そこで、指標発話抽出処理部50は、対話サービスにおける利用者の発話と発話に対する応答との履歴から、対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を特定し、特定した指標発話との共起性に基づいて、利用者の発話から新たな指標発話の抽出を行う。例えば、指標発話抽出処理部50は、予め登録されたシード非好意的指標発話やシード好意的指標発話との共起性に基づいて、各発話から新たな指標発話を抽出し、指標発話データベース33に登録する。
Therefore, the index utterance
例えば、「すごい」という文字列がシード好意的指標発話として指標発話データベース33に登録されている場合、指標発話抽出処理部50は、セッションログデータベース31から「すごい」という文字列が発話に含まれるセッションを全て抽出する。また、指標発話抽出処理部50は、抽出したセッションに含まれる発話ごとに、その発話が含まれるセッションの数を計数する。すなわち、指標発話抽出処理部50は、発話ごとに、シード好意的指標発話との共起回数を計数する。
For example, if the character string "wow" is registered in the
また、例えば、「馬鹿野郎」という文字列がシード非好意的指標発話として指標発話データベース33に登録されている場合、指標発話抽出処理部50は、セッションログデータベース31から「馬鹿野郎」という文字列が発話に含まれるセッションを全て抽出する。また、指標発話抽出処理部50は、抽出したセッションに含まれる発話ごとに、その発話が含まれるセッションの数を計数する。すなわち、指標発話抽出処理部50は、発話ごとに、シード非好意的指標発話との共起回数を計数する。
Further, for example, when the character string "fool" is registered in the
そして、指標発話抽出処理部50は、計数した共起回数の比を発話ごとに算出する。より具体的には、指標発話抽出処理部50は、シード非好意的指標発話との共起回数をシード好意的指標発話との共起回数で除算した値を発話ごとに算出する。そして、指標発話抽出処理部50は、比率が上位N個(Nは、任意の数)の発話を新たな非好意的指標発話として抽出し、比率が下位N個の発話を新たな好意的指標発話として抽出する。また、指標発話抽出処理部50は、抽出した非好意的指標発話や好意的指標発話を指標発話データベース33に登録する。
Then, the index utterance
ここで、指標発話抽出処理部50は、共起ネットワーク上の活性伝播に基づいて、シード指標発話から新たな指標発話を抽出してもよい。例えば、指標発話抽出処理部50は、シード指標発話と同一のセッションに含まれる発話の共起ネットワークを生成する。例えば、指標発話抽出処理部50は、各発話をノードとし、同一のセッションに含まれる発話同士をリンクで接続したネットワークを生成する。なお、共起ネットワークの生成については、任意の公知技術が採用可能である。
Here, the index utterance
続いて、指標発話抽出処理部50は、共起ネットワークからシード指標発話と対応するノードを特定し、各ノードごとに、シード指標発話と対応するノードとの間の距離(例えば、リンクを辿るホップ数)を算出する。そして、指標発話抽出処理部50は、シード非好意的指標発話と対応するノードとの距離が近く、シード好意的指標発話と対応するノードとの距離が遠いノードと対応する発話を新たな非好意的指標発話とする。また、指標発話抽出処理部50は、シード好意的指標発話と対応するノードとの距離が近く、シード非好意的指標発話と対応するノードとの距離が遠いノードと対応する発話を新たな好意的指標発話とする。
Subsequently, the index utterance
例えば、指標発話抽出処理部50は、シード好意的指標発話からの距離が所定の閾値未満となり、かつ、シード非好意的指標発話からの距離が所定の閾値以上となるノードを特定し、特定したノードと対応する発話を新たな好意的指標発話として抽出する。また、指標発話抽出処理部50は、シード好意的指標発話からの距離が所定の閾値以上となり、かつ、シード非好意的指標発話からの距離が所定の閾値未満となるノードを特定し、特定したノードと対応する発話を新たな非好意的指標発話として抽出する。そして、指標発話抽出処理部50は、抽出した各指標発話を指標発話データベース33に登録する。
For example, the index utterance
なお、指標発話抽出処理部50は、上述した抽出処理によって抽出した指標発話を新たなシード指標発話とし、新たなシード指標発話を用いて上述した抽出処理を実行することで、さらに新たな指標発話の抽出を行ってもよい。
Note that the index utterance
〔2-4-2.利用態様に基づく抽出処理について〕
また、例えば、指標発話抽出処理部50は、利用者の対話サービスにおける利用態様に基づいて、新たな指標発話の抽出を行う。例えば、図9は、対話サービスにおける利用態様に基づいて、新たな指標発話を抽出する処理の概念を示す図である。
[2-4-2. Extraction processing based on usage mode]
Also, for example, the index utterance
例えば、対話サービスを継続して利用する期間、すなわち、利用期間が長い利用者や、対話サービスの利用頻度が高い利用者は、対話サービスに満足していると推定される。このため、利用期間が長い利用者や利用頻度が高い利用者は、好意的(好意的)な発言、すなわち、好意的指標発話を多く発話すると推定される。一方、利用期間が短い利用者や利用頻度が短い利用者は、非好意的(非好意的)な発言、すなわち、非好意的指標発話を多く発話すると推定される。 For example, users who continue to use the interactive service, that is, users who use the interactive service for a long period of time, and users who frequently use the interactive service are presumed to be satisfied with the interactive service. Therefore, it is presumed that a user with a long period of use or a user with a high frequency of use utters many favorable (favorable) statements, that is, favorable indicator utterances. On the other hand, users with a short period of use and users with a short use frequency are presumed to utter many unfavorable (unfavorable) utterances, that is, unfavorable indicator utterances.
そこで、指標発話抽出処理部50は、対話サービスの利用態様が所定の条件を満たす利用者の発話を含むセッションを取得し、取得されたセッションにおける出現頻度に基づいて、対話サービスに対する利用者の評価の指標となる指標発話を抽出する。例えば、指標発話抽出処理部50は、エンゲージメントデータベース34を参照し、エンゲージメント履歴が所定の条件を満たす利用者を特定する。
Therefore, the index utterance
例えば、指標発話抽出処理部50は、履歴期間と履歴頻度とがそれぞれ所定の閾値を超える利用者を好意的利用者として特定し、履歴期間と履歴頻度とがそれぞれ所定の閾値未満となる利用者を非好意的利用者として特定する。また、指標発話抽出処理部50は、好意的利用者の発話を含むセッションと、非好意的利用者の発話を含むセッションとを特定し、特定したセッションに含まれる発話を抽出する。
For example, the index utterance
そして、指標発話抽出処理部50は、抽出した発話ごとに、好意的利用者のセッションにおける出現頻度と、非好意的利用者のセッションにおける出現頻度とをそれぞれ算出する。例えば、指標発話抽出処理部50は、発話が好意的利用者の発話を含むセッションに出現した回数を好意的利用者の発話を含むセッションの総数で除算した値を、好意的利用者のセッションにおける出現頻度として算出する。また、例えば、指標発話抽出処理部50は、発話が非好意的利用者の発話を含むセッションに出現した回数を非好意的利用者の発話を含むセッションの総数で除算した値を、非好意的利用者のセッションにおける出現頻度として算出する。
Then, the index utterance
また、指標発話抽出処理部50は、非好意的利用者のセッションにおける出現頻度を好意的利用者のセッションにおける出現頻度で除算した値、すなわち、出現頻度の比率を発話ごとに算出する。そして、指標発話抽出処理部50は、算出した比率が上位N個の発話を新たな非好意的指標発話とし、下位N個の発話を新たな好意的指標発話として抽出する。
The index utterance
〔2-4-3.評価結果に基づく抽出処理について〕
また、例えば、指標発話抽出処理部50は、セッションの評価結果に基づいて、新たな指標発話の抽出を行う。例えば、図10は、セッションの評価結果に基づいて、新たな指標発話を抽出する処理の概念を示す図である。
[2-4-3. Extraction processing based on evaluation results]
Also, for example, the index utterance
例えば、セッションには後述する評価処理によって評価結果が付与されている場合がある。また、セッションには、クラウドソージング等といった人手による評価結果が付与されている場合がある。このようなセッションに対する評価結果は、そのセッションに含まれる発話から指標発話を抽出する指標となりえる。 For example, a session may be given an evaluation result by an evaluation process, which will be described later. In addition, a session may be provided with a manual evaluation result such as crowdsourcing. An evaluation result for such a session can serve as an index for extracting index utterances from utterances included in the session.
例えば、利用者による満足度が高いセッション(すなわち、高満足セッション)には、好意的指標発話が多く含まれていると推定される。一方、利用者による満足度が低いセッション(すなわち、低満足セッション)には、非好意的指標発話が多く含まれていると推定される。 For example, it is estimated that a session with a high degree of user satisfaction (that is, a highly satisfying session) includes many favorable indicator utterances. On the other hand, it is presumed that many unfavorable index utterances are included in sessions with low user satisfaction (that is, low-satisfaction sessions).
そこで、指標発話抽出処理部50は、評価が所定の条件を満たすセッションに含まれる発話のうち出現頻度が所定の条件を満たす発話を、発話が含まれるセッションに対する利用者の評価が好意的であるか否か、すなわち、セッションに対して利用者が満足しているか否かの指標となる指標発話として抽出する。例えば、指標発話抽出処理部50は、高満足セッションおよび低満足セッションに含まれる発話をそれぞれ抽出し、抽出した発話ごとに、低満足セッションにおける出現頻度と高満足セッションにおける出現頻度とを算出する。
Therefore, the index utterance
そして、指標発話抽出処理部50は、低満足セッションにおける出現頻度を高満足セッションにおける出現頻度で除算した値を出現頻度の比率として算出する。そして、指標発話抽出処理部50は、算出した比率が上位N個の発話を新たな非好意的指標発話とし、下位N個の発話を新たな好意的指標発話として抽出する。
Then, the index utterance
〔2-4-4.指標発話抽出処理部の機能構成について〕
次に、図11を用いて、指標発話抽出処理部50が有する機能構成の一例について説明する。図11は、実施形態に係る指標発話抽出処理部の機能構成の一例を示す図である。図11に示すように、指標発話抽出処理部50は、指標発話特定部51、発話抽出部52、およびネットワーク生成部53を有する。
[2-4-4. Regarding the functional configuration of the index utterance extraction processing unit]
Next, an example of the functional configuration of the index utterance
指標発話特定部51は、対話サービスにおける利用者の発話と応答との履歴から、対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を特定する。例えば、指標発話特定部51は、指標発話データベース33を参照し、指標発話を識別する。なお、指標発話特定部51は、予め登録された指標発話を識別してもよく、セッションから抽出された指標発話を識別してもよい。
The index
そして、指標発話特定部51は、セッションログデータベース31を参照し、識別した指標発話を含むセッションを検索する。すなわち、指標発話特定部51は、セッションの履歴のうち、利用者の発話に好意的指標発話若しくは非好意的指標発話が含まれるセッションを特定する。そして、指標発話特定部51は、特定したセッション、すなわち、指標発話を含むセッションを発話抽出部52に通知する。
The index
なお、指標発話特定部51は、図8に示す共起ネットワークから指標発話を特定する場合、ネットワーク生成部53に対して、指標発話を含むセッションを通知する。そして、指標発話特定部51は、ネットワーク生成部53により生成された共起ネットワークに含まれる各ノードのうち、識別した指標発話と対応するノード、すなわち、指標発話データベース33に登録された好意的指標発話や非好意的指標発話と対応するノードを特定する。そして、指標発話特定部51は、共起ネットワークと、特定したノードとを発話抽出部52に通知する。
When identifying an index utterance from the co-occurrence network shown in FIG. 8, index
発話抽出部52は、各セッションから指標発話を抽出する。例えば、発話抽出部52は、図8に示すように、シードとなる指標発話との共起性に基づいて、セッションの履歴に含まれる発話から新たな指標発話を抽出する。 The utterance extraction unit 52 extracts index utterances from each session. For example, as shown in FIG. 8, the utterance extraction unit 52 extracts new index utterances from utterances included in the session history based on the co-occurrence with seed index utterances.
例えば、発話抽出部52は、指標発話特定部51により特定されたセッション、すなわち、指標発話が含まれるセッションをセッションログデータベース31から抽出する。そして、発話抽出部52は、発話ごとに、好意的指標発話との共起性を特定し、好意的指標発話との共起性が所定の閾値を超える発話を新たな好意的指標発話として抽出する。また、発話抽出部52は、発話ごとに、非好意的指標発話との共起性を特定し、特定した共起性が所定の閾値を超える発話を新たな非好意的指標発話として抽出する。
For example, the utterance extraction unit 52 extracts from the
例えば、発話抽出部52は、抽出したセッションに含まれる発話ごとに、好意的指標発話が含まれるセッションでの出現回数、および、非好意的指標発話が含まれるセッションでの出現回数を計数する。すなわち、発話抽出部52は、好意的指標発話が同一のセッション内に含まれる回数と、非好意的指標発話が同一のセッション内に含まれる回数とを発話ごとに計数する。そして、発話抽出部52は、計数した各回数の比が所定の条件を満たす発話を新たな指標発話として抽出する。例えば、発話抽出部52は、非好意的指標発話が含まれるセッションでの出現回数を好意的指標発話が含まれるセッションでの出現回数で除算した値を比率として算出し、比率が上位N個の発話を新たな非好意的指標発話とし、比率が下位N個の発話を新たな好意的指標発話とする。 For example, the utterance extraction unit 52 counts the number of appearances in sessions containing favorable indicator utterances and the number of appearances in sessions containing unfavorable indicator utterances for each utterance contained in the extracted session. That is, the utterance extraction unit 52 counts the number of times a favorable indicator utterance is included in the same session and the number of times a non-favorable indicator utterance is included in the same session for each utterance. Then, the utterance extraction unit 52 extracts an utterance that satisfies a predetermined condition for the ratio of the counted times as a new index utterance. For example, the utterance extraction unit 52 divides the number of appearances in sessions containing unfavorable indicator utterances by the number of appearances in sessions containing favorable indicator utterances, and calculates the value as a ratio. The utterance is treated as a new unfavorable indicator utterance, and the utterances with the lowest N ratios are treated as new favorable indicator utterances.
なお、発話抽出部52は、単純に、好意的指標発話が含まれるセッションでの出現回数が所定の閾値を超える発話を新たな好意的指標発話としてもよい。また、発話抽出部52は、非好意的指標発話が含まれるセッションでの出現回数が所定の閾値を超える発話を新たな非好意的指標発話としてもよい。 Note that the utterance extraction unit 52 may simply set an utterance whose number of appearances in a session including the favorable indicator utterance exceeds a predetermined threshold as a new favorable indicator utterance. Further, the utterance extracting unit 52 may set, as a new unfavorable indicator utterance, an utterance whose appearance count exceeds a predetermined threshold in a session including unfavorable indicator utterances.
また、発話抽出部52は、共起ネットワークと指標発話に対応するノードとの通知を受付けた場合、共起ネットワークに基づいて、指標発話との共起性が所定の条件を満たす発話を指標発話として抽出する。すなわち、発話抽出部52は、共起ネットワーク上における指標発話との距離が所定の条件を満たす発話を新たな指標発話として抽出する。 Further, when receiving notification of a co-occurrence network and a node corresponding to an index utterance, utterance extraction section 52 extracts an utterance whose co-occurrence with the index utterance satisfies a predetermined condition based on the co-occurrence network as the index utterance. Extract as That is, the utterance extracting unit 52 extracts, as a new index utterance, an utterance whose distance from the index utterance on the co-occurrence network satisfies a predetermined condition.
例えば、発話抽出部52は、共起ネットワーク上における好意的指標発話との距離が所定の閾値以下となる発話を新たな好意的指標発話として抽出してもよい。また、例えば、発話抽出部52は、共起ネットワーク上における非好意的指標発話との距離が所定の閾値以下となる発話を、非好意的指標発話として抽出してもよい。また、例えば、発話抽出部52は、好意的指標発話との距離が所定の閾値以下となり、かつ、非好意的指標発話との距離が所定の閾値以上となる発話を新たな好意的指標発話として抽出してもよい。また、例えば、発話抽出部52は、非好意的指標発話との距離が所定の閾値以下となり、かつ、好意的指標発話との距離が所定の閾値以上となる発話を新たな非好意的指標発話として抽出してもよい。 For example, the utterance extraction unit 52 may extract, as a new favorable indicator utterance, an utterance whose distance from the favorable indicator utterance on the co-occurrence network is equal to or less than a predetermined threshold. Further, for example, the utterance extraction unit 52 may extract, as the unfavorable indicator utterance, an utterance whose distance from the unfavorable indicator utterance on the co-occurrence network is equal to or less than a predetermined threshold. Further, for example, the utterance extraction unit 52 selects, as a new favorable indicator utterance, an utterance in which the distance from the favorable indicator utterance is equal to or less than a predetermined threshold and the distance from the unfavorable indicator utterance is equal to or greater than a predetermined threshold. may be extracted. Further, for example, the utterance extracting unit 52 selects an utterance whose distance from the unfavorable indicator utterance is equal to or less than a predetermined threshold and whose distance from the favorable indicator utterance is equal to or greater than a predetermined threshold as a new unfavorable indicator utterance. can be extracted as
例えば、発話抽出部52は、共起ネットワークに含まれるノードごとに、好意的指標発話と対応するノードとの距離、および、非好意的指標発話と対応するノードとの距離を特定する。そして、発話抽出部52は、非好意的指標発話と対応するノードとの距離が所定の閾値以下となり、かつ、好意的指標発話と対応するノードとの距離が所定の閾値を超えるノードと対応する発話を新たな非好意的指標発話とする。また、発話抽出部52は、好意的指標発話と対応するノードとの距離が所定の閾値以下となり、かつ、非好意的指標発話と対応するノードとの距離が所定の閾値を超えるノードと対応する発話を新たな好意的指標発話とする。 For example, the utterance extraction unit 52 identifies the distance between the favorable indicator utterance and the corresponding node and the distance between the unfavorable indicator utterance and the corresponding node for each node included in the co-occurrence network. Then, the utterance extracting unit 52 corresponds to a node in which the distance between the unfavorable index utterance and the corresponding node is equal to or less than a predetermined threshold and the distance between the favorable index utterance and the corresponding node exceeds the predetermined threshold. Let the utterance be a new unfavorable index utterance. Further, the utterance extracting unit 52 corresponds to a node in which the distance between the favorable indicator utterance and the corresponding node is equal to or less than a predetermined threshold and the distance between the unfavorable indicator utterance and the corresponding node exceeds the predetermined threshold. Let the utterance be a new favorable indicator utterance.
また、発話抽出部52は、図9に示す処理を実行する場合、対話サービスの利用態様が所定の条件を満たす利用者の発話と応答とを含むセッションを取得し、取得したセッションにおける出現頻度に基づいて、指標発話を抽出する。例えば、発話抽出部52は、エンゲージメントデータベース34を参照し、所定の期間内における利用者のエンゲージメント履歴を特定する。より具体的な例を挙げると、発話抽出部52は、処理日時と直近の数か月間における履歴期間と履歴頻度とを特定する。 When executing the process shown in FIG. 9, the utterance extraction unit 52 acquires a session including the user's utterance and response whose use mode of the interactive service satisfies a predetermined condition, and sets the appearance frequency in the acquired session to the session. Based on this, the index utterance is extracted. For example, the utterance extraction unit 52 refers to the engagement database 34 and identifies the user's engagement history within a predetermined period. To give a more specific example, the utterance extraction unit 52 identifies the processing date and time, the history period and the history frequency in the last several months.
そして、発話抽出部52は、履歴期間が所定の閾値よりも長く、かつ、履歴頻度が所定の閾値よりも高い利用者を好意的利用者として特定する。また、発話抽出部52は、履歴期間が所定の閾値よりも短く、かつ、履歴頻度が所定の閾値よりも低い利用者を非好意的利用者として特定する。なお、発話抽出部52は、予測エンゲージメントとして登録された予測期間および予測頻度が所定の閾値を超えるか否かに基づいて、好意的利用者や非好意的利用者を特定してもよい。 Then, the utterance extraction unit 52 identifies users whose history period is longer than a predetermined threshold and whose history frequency is higher than a predetermined threshold as favorable users. In addition, the utterance extraction unit 52 identifies users whose history period is shorter than a predetermined threshold and whose history frequency is lower than a predetermined threshold as unfavorable users. Note that the utterance extraction unit 52 may identify favorable users and unfavorable users based on whether the prediction period and prediction frequency registered as prediction engagement exceed a predetermined threshold.
そして、発話抽出部52は、非好意的利用者のセッションにおける出現頻度を好意的利用者のセッションにおける出現頻度で除算した値を、発話ごとに算出する。そして、発話抽出部52は、算出した値が上位N個の発話を新たな非好意的指標発話とし、算出した値が下位N個の発話を新たな好意的指標発話として抽出する。 Then, the utterance extraction unit 52 calculates, for each utterance, a value obtained by dividing the frequency of appearance in the session of the unfavorable user by the frequency of appearance in the session of the favorable user. Then, the utterance extracting unit 52 extracts utterances with the highest N calculated values as new unfavorable index utterances, and extracts utterances with the lowest N calculated values as new favorable index utterances.
すなわち、発話抽出部52は、利用態様が所定の条件を満たす利用者、すなわち、好意的利用者の発話を含むセッションにおける出現頻度が所定の閾値を超える発話を、新たな好意的指標発話として抽出する。また、発話抽出部52は、利用態様が所定の条件を満たさない利用者、すなわち、非好意的利用者の発話を含むセッションにおける出現頻度が所定の閾値を超える発話を、新たな非好意的指標発話として抽出する。 That is, the utterance extracting unit 52 extracts, as new favorable indicator utterances, utterances whose frequency of appearance in a session including utterances of users whose usage mode satisfies a predetermined condition, that is, utterances of favorable users, exceeds a predetermined threshold. do. In addition, the utterance extraction unit 52 extracts an utterance whose appearance frequency exceeds a predetermined threshold value in a session including an utterance of a user whose usage mode does not satisfy a predetermined condition, that is, an utterance of an unfavorable user, as a new unfavorable index. Extract as an utterance.
また、発話抽出部52は、図10に示す処理を実行する場合、評価が所定の条件を満たすセッションから出現頻度が所定の条件を満たす発話を指標発話として抽出する。例えば、発話抽出部52は、セッション評価データベース32を参照し、高満足セッションと低満足セッションとを特定する。また、発話抽出部52は、セッションログデータベース31を参照し、高満足セッションと低満足セッションとを抽出する。
When executing the process shown in FIG. 10, the utterance extraction unit 52 extracts, as index utterances, utterances whose appearance frequency satisfies a predetermined condition from sessions whose evaluation satisfies a predetermined condition. For example, the utterance extraction unit 52 refers to the
そして、発話抽出部52は、発話ごとに、低満足セッションにおける出現頻度と高満足セッションにおける出現頻度との割合を算出し、割合が所定の条件を満たす発話を新たな指標発話として抽出する。例えば、発話抽出部52は、低満足セッションにおける出現頻度を高満足セッションにおける出現頻度で除算した値を算出し、算出した値が上位N個の発話を新たな非好意的指標発話とし、算出した値が下位N個の発話を新たな好意的指標発話として抽出する。 Then, the utterance extraction unit 52 calculates the ratio of the appearance frequency in the low-satisfaction session and the appearance frequency in the high-satisfaction session for each utterance, and extracts utterances whose ratio satisfies a predetermined condition as new index utterances. For example, the utterance extraction unit 52 calculates the value obtained by dividing the appearance frequency in the low-satisfaction session by the appearance frequency in the high-satisfaction session, and the calculated value is the top N utterances as new unfavorable index utterances. Utterances with the lowest N values are extracted as new favorable indicator utterances.
なお、発話抽出部52は、上述した各種の処理により抽出した指標発話を、指標発話データベース33に登録する。このように、指標発話データベース33に登録された指標発話は、登録後の処理において、シードとなる指標発話やセッションを評価するための指標発話として利用される。
Note that the utterance extraction unit 52 registers index utterances extracted by the various processes described above in the
ネットワーク生成部53は、発話と応答との履歴から、共起性を有する発話若しくは応答を接続する共起ネットワークを生成する。例えば、ネットワーク生成部53は、セッションログデータベース31を参照し、セッションに含まれている各発話を特定する。そして、ネットワーク生成部53は、各発話と対応するノードを設定し、各発話の共起性に基づいて、各発話と対応するノード間を接続した共起ネットワークを生成する。そして、ネットワーク生成部53は、共起ネットワークを指標発話特定部51に提供する。
The network generator 53 generates a co-occurrence network that connects co-occurring utterances or responses from the history of utterances and responses. For example, the network generator 53 refers to the
〔2-5.評価処理について〕
図2に戻り、説明を続ける。セッション評価処理部60は、セッションを評価する評価処理を実行する。以下、図12~図21を用いてセッション評価処理部60が実行する評価の概念、および、セッション評価処理部60が有する機能構成の一例を説明する。
[2-5. Regarding the evaluation process]
Returning to FIG. 2, the description is continued. The session
〔2-5-1.指標発話に基づく評価処理について〕
例えば、セッション評価処理部60は、セッションに含まれる指標発話に基づいて、セッションの評価を行う。例えば、図12は、指標発話に基づいてセッションを評価する処理の概念を示す図である。例えば、あるセッションに好意的指標発話が多く含まれる場合、そのセッションに含まれる各応答に対する利用者の印象が良いと推定されるので、そのセッションに対する利用者の満足度は高いと推定される。また、あるセッションに非好意的指標発話が多い場合、そのセッションに含まれる各応答に対する利用者の印象が悪いと推定されるので、そのセッションに対する利用者の満足度は低いと推定される。
[2-5-1. Evaluation processing based on index utterance]
For example, the session
そこで、セッション評価処理部60は、セッションに含まれる非好意的指標発話の出現頻度や好意的指標発話の出現頻度に基づいて、セッションの評価を行う。例えば、セッション評価処理部60は、セッション評価データベース32を参照し、評価が行われていないセッションを評価対象として選択する。なお、セッション評価処理部60は、評価が行われたセッションを評価対象として選択してもよい。例えば、セッション評価処理部60は、評価が行われてから所定の期間が経過したセッションを評価対象として選択し直してもよい。
Therefore, the session
続いて、セッション評価処理部60は、評価対象のセッションをセッションログデータベース31から抽出し、指標発話データベース33を参照して、抽出したセッションに含まれる指標発話を特定する。そして、セッション評価処理部60は、非好意的指標発話の出現頻度の合計と、好意的指標発話の出現頻度の合計との比率を算出する。例えば、セッション評価処理部60は、処理対象となるセッションに含まれる発話のうち、非好意的指標発話として登録された発話を全て特定し、特定した発話の総数を非好意的指標発話の出現頻度の合計として特定する。また、セッション評価処理部60は、処理対象となるセッションに含まれる発話のうち、好意的指標発話として登録された発話を全て特定し、特定した発話の総数を好意的指標発話の出現頻度の合計として特定する。
Next, the session
そして、セッション評価処理部60は、非好意的指標発話の出現頻度の合計を、好意的指標発話の出現頻度の合計で除算した値を比率として算出する。また、セッション評価処理部60は、他のセッションに対しても同様に比率を算出し、算出した値が上位N個のセッションを低満足セッションとして抽出し、算出した値が下位N個のセッションを高満足セッションとして抽出する。
Then, the session
ここで、各指標発話が示唆する利用者の満足度には、差異があると考えられる。例えば、「すごいね」という発話を行った利用者は、「いいね」という発話を行った利用者よりも、対話サービスに満足しているとも考えられる。そこで、セッション評価処理部60は、指標発話が示唆する利用者の満足度の程度を考慮して、セッションの評価を行ってもよい。
Here, it is considered that there is a difference in the user's degree of satisfaction suggested by each index utterance. For example, it is conceivable that a user who uttered "wonderful" is more satisfied with the interactive service than a user who uttered "nice". Therefore, the session
例えば、指標発話データベース33には、対応する指標発話を発した利用者がどれくらい対話サービスに満足しているか、若しくは、満足していないかを示す指標スコアが付与されている(例えば、図5参照)。このような指標スコアは、例えば、クラウドソージングにより人手で提供されたものでも良く、例えば、セッションに付与される不満足度スコアと各指標発話との出現頻度との関係性から自動的に算出されたものであってもよい。例えば、情報提供装置10は、不満足度スコアがより高いセッションに多く含まれる非好意的指標発話ほどより高い値の指標スコアを算出してもよく、不満足度スコアがより低いセッションに多く含まれる好意的指標発話ほどより高い値の指標スコアを算出してもよい。
For example, the
このような指標スコアが付与されている場合、セッション評価処理部60は、以下の処理を実行する。まず、セッション評価処理部60は、評価対象のセッションをセッションログデータベース31から抽出し、指標発話データベース33を参照して、抽出したセッションに含まれる指標発話を特定する。
When such an index score is given, the session
そして、セッション評価処理部60は、処理対象となるセッションに含まれる非好意的指標発話の指標スコアの合計と、好意的指標発話の指標スコアの合計との比率を算出する。例えば、セッション評価処理部60は、処理対象となるセッションに含まれる非好意的指標発話の指標スコアの合計を、好意的指標発話の指標スコアの合計で除算した値を比率として算出する。なお、セッション評価処理部60は、各指標発話の指標スコアの絶対値の合計から、比率の算出を行ってもよい。また、セッション評価処理部60は、他のセッションに対しても同様に比率を算出し、算出した値が上位N個のセッションを低満足セッションとし、算出した値が下位N個のセッションを高満足セッションとする。その後、セッション評価処理部60は、評価結果をセッション評価データベース32に登録する。
Then, the session
〔2-5-2.指標発話に基づく評価処理について〕
また、例えば、セッション評価処理部60は、セッションに含まれる指標発話に基づいて、セッションを評価するモデルを用いて、セッションの評価を行う。例えば、図13は、指標発話に基づいてセッションを評価する処理の概念を示す図である。
[2-5-2. Evaluation processing based on index utterance]
Also, for example, the session
例えば、セッション評価処理部60は、セッションログデータベース31を参照し、高満足セッションと高満足セッション以外のセッションとを学習データとして抽出する。例えば、セッション評価処理部60は、図12に示す処理による評価結果に基づいて、高満足セッションであると評価されたセッションをセッションログデータベース31から抽出する。また、セッション評価処理部60は、高満足セッションであると評価されたセッション以外のセッションをセッションログデータベース31から抽出する。
For example, the session
そして、セッション評価処理部60は、抽出した学習データを用いて、好意的指標発話評価モデルM4の学習を行う。例えば、セッション評価処理部60は、高満足セッションに含まれる発話および応答の文字列を入力した際に、所定の閾値よりも高い値の第1満足度を出力し、高満足セッション以外のセッションに含まれる発話および応答の文字列を入力した際に、所定の閾値よりも低い値の第1満足度を出力するように、好意的指標発話評価モデルM4の学習を行う。なお、セッション評価処理部60は、高満足セッションに含まれる発話および応答の文字列を入力した際に、高満足セッションである旨の値を出力し、高満足セッション以外のセッションに含まれる発話および応答の文字列を入力した際に、高満足セッションではない旨の値を出力するように、好意的指標発話評価モデルM4の学習を行ってもよい。
Then, the session
なお、高満足セッションには、好意的指標発話が多く含まれていると推定される。このため、上述した学習を行った場合、好意的指標発話評価モデルM4は、評価対象となる対象セッションに好意的指標発話が多く含まれるほど、より高い値の第1満足度を出力し、評価対象となる対象セッションに好意的指標発話が含まれないほど、より低い値の第1満足度を出力することとなる。 In addition, it is presumed that many favorable indicator utterances are included in the highly satisfying session. Therefore, when the above-described learning is performed, the favorable indicator utterance evaluation model M4 outputs a higher value of the first satisfaction level as the target session to be evaluated contains more favorable indicator utterances, and evaluates The less favorable index utterances are included in the target session, the lower the value of the first satisfaction level is output.
また、セッション評価処理部60は、セッションログデータベース31を参照し、低満足セッションと低満足セッション以外のセッションとを学習データとして抽出する。そして、セッション評価処理部60は、抽出した学習データを用いて、非好意的指標発話評価モデルM3の学習を行う。例えば、セッション評価処理部60は、低満足セッションに含まれる発話および応答の文字列を入力した際に、所定の閾値よりも高い値の第3不満足度を出力し、低満足セッション以外のセッションに含まれる発話および応答の文字列を入力した際に、所定の閾値よりも低い値の第3不満足度を出力するように、非好意的指標発話評価モデルM3の学習を行う。なお、セッション評価処理部60は、低満足セッションに含まれる発話および応答の文字列を入力した際に、低満足セッションである旨の値を出力し、低満足セッション以外のセッションに含まれる発話および応答の文字列を入力した際に、低満足セッションではない旨の値を出力するように、非好意的指標発話評価モデルM3の学習を行ってもよい。
The session
なお、低満足セッションには、非好意的指標発話が多く含まれていると推定される。このため、上述した学習を行った場合、非好意的指標発話評価モデルM3は、評価対象となる対象セッションに非好意的指標発話が多く含まれるほど、より高い値の第3不満足度を出力し、評価対象となる対象セッションに非好意的指標発話が含まれないほど、より低い値の第3不満足度を出力することとなる。 In addition, it is presumed that many unfavorable index utterances are included in the low-satisfaction session. Therefore, when the above-described learning is performed, the unfavorable indicator utterance evaluation model M3 outputs a higher value of the third dissatisfaction level as the subject session to be evaluated contains more unfavorable indicator utterances. , the less unfavorable index utterances are included in the target session to be evaluated, the lower the value of the third dissatisfaction level is output.
そして、セッション評価処理部60は、非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4を用いて、セッションを評価する。例えば、セッション評価処理部60は、評価対象となる対象セッションの発話や応答の文字列を非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4に入力し、第3不満足度および第1満足度を取得する。そして、セッション評価処理部60は、第3不満足度や第1満足度に基づいて、セッションを評価する。
Then, the session
例えば、セッション評価処理部60は、第3不満足度が所定の閾値を超える場合は、対象セッションを低満足セッションと評価してもよい。また、セッション評価処理部60は、第1満足度が所定の閾値を超える場合は、対象セッションを高満足セッションと評価してもよい。また、セッション評価処理部60は、第3不満足度が所定の閾値を超え、かつ、第1満足度が所定の閾値未満となる場合は、対象セッションを低満足セッションと評価してもよい。また、セッション評価処理部60は、第3不満足度が所定の閾値未満となり、かつ、第1満足度が所定の閾値以上となる場合は、対象セッションを高満足セッションと評価してもよい。また、セッション評価処理部60は、図1に示した処理により、対象セッションを評価してもよい。
For example, the session
〔2-5-3.3値学習に基づく評価処理について〕
ここで、セッションに限らず各種の対話において、好意的指標発話に先駆けて行われた対話は、利用者の満足度が高く、非好意的指標発話に先駆けて行われた対話は、利用者の満足度が低いと推定される。また、指標発話が示す利用者の印象は、指標発話よりも後の対話ではなく、指標発話の直前の対話に対するものであると考えられる。
[2-5-3. Evaluation processing based on ternary learning]
Here, in various dialogues, not limited to sessions, the user's satisfaction is high in the dialogue that precedes the favorable indicator utterance, and the dialogue that precedes the unfavorable indicator utterance is high in the user's satisfaction. Satisfaction is estimated to be low. In addition, it is considered that the user's impression indicated by the index utterance is not for the dialogue after the index utterance, but for the dialogue immediately before the index utterance.
そこで、セッション評価処理部60は、指標発話と対応する一連の対話を抽出し、抽出した対話を用いて、入力された対話に対する利用者の評価を推定するモデルの学習を行ってもよい。例えば、セッション評価処理部60は、指標発話に先駆けてやり取りされた発話と応答とを抽出し、抽出した発話の特徴をモデルに学習させ、学習済のモデルを用いてセッションの評価を行ってもよい。また、セッション評価処理部60は、利用者による印象が好意的でも非好意的でもない(すなわち、満足もしていないが不満足でもない)中性的な対話の特徴を合わせてモデルに学習させてもよい。
Therefore, the session
例えば、図14は、3種類の対話の特徴を学習させた3値評価モデルを用いてセッションを評価する処理の一例を示す図である。例えば、セッション評価処理部60は、セッションログデータベース31を参照し、非好意的指標発話が含まれるセッションを特定する。続いて、セッション評価処理部60は、非好意的指標発話と、非好意的指標発話の直前に行われた所定の数の発話および応答とを非好意的対話例UDとしてセッションから抽出する。例えば、セッション評価処理部60は、「意味がわからない」という非好意的指標発話の直前に行われた2つの発話およびこれらの発話に対する応答とを抽出し、「意味がわからない」という非好意的指標発話とともに非好意的対話例UDとして抽出する。
For example, FIG. 14 is a diagram showing an example of processing for evaluating a session using a ternary evaluation model that has learned features of three types of dialogue. For example, the session
また、セッション評価処理部60は、セッションログデータベース31を参照し、好意的指標発話が含まれるセッションを特定する。続いて、セッション評価処理部60は、好意的指標発話と、好意的指標発話の直前に行われた所定の数の発話および応答とを好意的対話例FDとしてセッションから抽出する。例えば、セッション評価処理部60は、「賢いね」という好意的指標発話の直前に行われた2つの発話およびこれらの発話に対する応答とを抽出し、「賢いね」という好意的指標発話とともに好意的対話例FDとして抽出する。
In addition, the session
また、セッション評価処理部60は、指標発話ではない発話を中性発話として1つ選択し、選択した中性発話を含むセッションから、中性発話の直前に行われた所定の数の発話および応答とを中性対話例NDとしてセッションから抽出する。例えば、セッション評価処理部60は、「明日の天気」という中性発話の直前に行われた2つの発話およびこれらの発話に対する応答とを抽出し、「明日の天気」という中性発話とともに中性対話例NDとして抽出する。
In addition, the session
そして、セッション評価処理部60は、非好意的対話例UD、中性対話例ND、および好意的対話例FDが有する特徴を3値評価モデルM5に学習させる。例えば、セッション評価処理部60は、非好意的対話例UDに含まれる発話および応答の文字列を入力した場合は、入力された発話および応答が非好意的対話例である旨を示す値を出力し、中性対話例NDに含まれる発話および応答の文字列を入力した場合は、入力された発話および応答が中性対話例である旨を示す値を出力し、好意的対話例FDに含まれる発話および応答の文字列を入力した場合は、入力された発話および応答が好意的対話例である旨を示す値を出力するように、3値評価モデルM5の学習を行う。すなわち、セッション評価処理部60は、入力された対話を、利用者が満足しているか(好意的対話であるか)、満足していないか(非好意的対話であるか)、それ以外であるか(中性対話であるか)の3つに分類するモデルを学習する。
Then, the session
そして、セッション評価処理部60は、生成した3値評価モデルM5を用いて、対象セッションの評価を行う。例えば、セッション評価処理部60は、3値評価モデルM5に対象セッションに含まれる発話および応答の文字列を入力し、3値評価モデルM5の出力に基づいて、対象セッションに利用者が満足しているか(すなわち、高満足セッションであるか)、利用者が満足していないか(すなわち、低満足セッションであるか)、それ以外であるか(すなわち、中性セッションであるか)を評価する。
Then, the session
なお、セッション評価処理部60は、各対話例を抽出する際、指標発話や中性発話の直前に行われた任意の数の発話および応答を抽出してよい。このように、指標発話や中性発話の直前に行われた発話および応答が有する特徴をモデルに学習させることで、モデルによる対話に対する評価、ひいては、セッションに対する評価の精度を向上させることができる。
When extracting each dialogue example, the session
〔2-5-4.エンゲージメントに基づく評価処理について〕
図15は、エンゲージメントに基づいてセッションを評価する処理の一例を示す図である。例えば、対話に対する満足度が高い利用者は、利用期間や利用頻度が高くなり、対話に対する満足度が低い利用者は、利用期間や利用頻度が低くなると考えられる。このため、利用期間や利用頻度等のエンゲージメントが高い利用者の発話を含むセッションは、満足度が高く、エンゲージメントが低い利用者の発話を含むセッションは、満足度が低いと推定される。そこで、セッション評価処理部60は、セッションに含まれる発話を行った利用者のエンゲージメントに基づいて、そのセッションを評価する。
[2-5-4. Evaluation process based on engagement]
FIG. 15 is a diagram illustrating an example of processing for evaluating sessions based on engagement. For example, a user who is highly satisfied with the dialogue will have a high usage period and a high frequency of use, and a user with a low level of satisfaction with the dialogue will have a low usage period and low frequency of use. Therefore, it is estimated that a session including utterances of users with high engagement such as usage period and usage frequency has high satisfaction, and a session including utterances of users with low engagement has low satisfaction. Therefore, the session
例えば、セッション評価処理部60は、エンゲージメントデータベース34を参照し、所定期間内における履歴期間および履歴頻度が所定の閾値を超える利用者を特定する。続いて、セッション評価処理部60は、特定した利用者の発話を含むセッションをセッションログデータベース31から抽出し、抽出したセッションをエンゲージメントが高いユーザーのセッションとする。
For example, the session
一方、セッション評価処理部60は、エンゲージメントデータベース34を参照し、所定期間内における履歴期間および履歴頻度が所定の閾値未満となる利用者を特定する。続いて、セッション評価処理部60は、特定した利用者の発話を含むセッションをセッションログデータベース31から抽出し、抽出したセッションをエンゲージメントが低いユーザーのセッションとする。
On the other hand, the session
そして、セッション評価処理部60は、エンゲージメントが高いユーザーのセッションと、エンゲージメントが低いユーザーのセッションとが有する特徴をエンゲージメントセッション評価モデルM6に学習させる。例えば、セッション評価処理部60は、エンゲージメントが高いユーザーのセッションに含まれる発話および応答を入力した場合は、セッションに対する利用者の満足度が高い旨を示す値を出力し、エンゲージメントが低いユーザーのセッションに含まれる発話および応答を入力した場合は、セッションに対する利用者の満足度が低い旨を示す値を出力するように、エンゲージメントセッション評価モデルM6を学習する。
Then, the session
例えば、セッション評価処理部60は、エンゲージメントが高いユーザーのセッションに含まれる発話および応答を入力した場合は、所定の閾値よりも高い値の評価スコアを出力し、エンゲージメントが低いユーザーのセッションに含まれる発話および応答を入力した場合は、所定の閾値よりも低い値の評価スコアを出力するように、エンゲージメントセッション評価モデルM6を学習する。すなわち、セッション評価処理部60は、エンゲージメントに基づいて抽出された学習データを用いて、入力されたセッションを、利用者の満足度が高いセッション若しくは利用者の満足度が低いセッションに分類するエンゲージメントセッション評価モデルM6を学習する。
For example, the session
そして、セッション評価処理部60は、エンゲージメントセッション評価モデルM6を用いて、対象セッションを評価する。例えば、セッション評価処理部60は、対象セッションに含まれる発話および応答の文字列を入力した際に、エンゲージメントセッション評価モデルM6が出力した評価スコアに基づいて、対象セッションに対して利用者が満足しているか否かを評価する。
Then, the session
〔2-5-5.繰り返し発話に基づく評価処理について〕
また、図16は、繰り返し発話に基づいてセッションを評価する処理の概念を示す図である。例えば、同一又は類似の発話がセッション内で繰り返されている場合、そのセッションに対する利用者の満足度は低く、同一又は類似の発話がセッション内で繰り返されていない場合、そのセッションに対する利用者の満足度は高いと推定される。そこで、セッション評価処理部60は、セッションに含まれる繰り返し発話に基づいて、セッションを評価してもよい。
[2-5-5. Regarding Evaluation Processing Based on Repeated Speech]
Also, FIG. 16 is a diagram showing the concept of processing for evaluating a session based on repeated utterances. For example, if the same or similar utterances are repeated in the session, the user's satisfaction with the session is low, and if the same or similar utterances are not repeated in the session, the user's satisfaction with the session presumed to be high. Therefore, the session
例えば、セッション評価処理部60は、対象セッションに含まれる発話から、表記が類似するペアの数を表記類似ペア数として計数する。例えば、セッション評価処理部60は、Jaccard係数、Dice係数、Simpson係数等といった類似度が所定の閾値を超えるペアの数や、レーベンシュタイン距離等の各種編集距離に基づく類似度が所定の閾値を超えるペアの数を計数する。また、セッション評価処理部60は、word2vecやGloVe等を用いて、意味の類似度が所定の閾値を超えるペアの数を意味類似ペア数として算出してもよい。
For example, the session
そして、セッション評価処理部60は、対象セッションから抽出された表記類似ペア数や意味類似ペア数の値が所定の閾値を超える場合は、対象セッションを低満足セッションと評価し、対象セッションから抽出された表記類似ペア数や意味類似ペア数の値が所定の閾値を下回る場合は、対象セッションを高満足セッションと評価する。
Then, when the number of similar notational pairs or the number of similar semantic pairs extracted from the target session exceeds a predetermined threshold, the session
また、セッション評価処理部60は、繰り返し発話を含むセッションの特徴をモデルに学習させることで、対象セッションを評価する反復発話評価モデルM7の学習を行ってもよい。例えば、セッション評価処理部60は、繰り返し発話を含むセッション(例えば、各ペア数が所定の閾値を超えるセッション)を入力した際に、入力されたセッションが低満足セッションである旨を出力するように反復発話評価モデルM7を学習させてもよい。また、セッション評価処理部60は、このような反復発話評価モデルM7を用いて、対象セッションの評価を行ってもよい。
Also, the session
〔2-5-6.繰り返し発話の自動生成について〕
ここで、セッション評価処理部60は、繰り返し発話を含むセッションを自動生成し、生成したセッションの特徴を反復発話評価モデルM7に学習させてもよい。例えば、図17は、自動生成したデータの特徴を学習させたモデルを用いてセッションを評価する処理の概念を示す図である。例えば、セッション評価処理部60は、セッションログデータベース31を参照し、いずれかの発話をシード発話として抽出する。例えば、セッション評価処理部60は、「今日の天気は」といった発話をシード発話として抽出する。
[2-5-6. Automatic generation of repeated utterances]
Here, the session
続いて、セッション評価処理部60は、抽出したシード発話から、シード発話と類似する発話を複数生成する。例えば、セッション評価処理部60は、音声認識のミスやタイプミス等を模倣するため、「今日の天気は」といったシード発話の文字列に含まれる単語や文字をランダムに削除、若しくは音が類似する単語や文字列に置換した発話を複数生成する。より具体的な例を挙げると、セッション評価処理部60は、「今日の天気は」というシード発話の文字列から、「今日の電気は」、「業の電気は」、「今日を電気は」といった文字列を複製発話として生成する。
Subsequently, the session
また、セッション評価処理部60は、セッションログデータベース31からシード発話とは異なる発話を混在発話として1つ若しくは複数抽出する。例えば、セッション評価処理部60は、「牡羊座の運勢」といった発話を混在発話として抽出する。そして、セッション評価処理部60は、シード発話と、シード発話から生成した複数の複製発話と、混在発話とをランダムに並び替えて、疑似的な発話からなるセッションを反復セッションRSとして生成する。例えば、図17に示す例では、セッション評価処理部60は、シード発話である「今日の天気は」という文字列を利用者の発話「Usr:今日の天気は」として含み、複製発話である「今日の電気は」という文字列を利用者の発話「Usr:今日の電気は」として含み、混在発話である「牡羊座の運勢」という文字列を利用者の発話「Usr:牡羊座の運勢」として含み、シード発話である「今日の天気は」という文字列を利用者の発話「Usr:今日の天気は」として再度含み、複製発話である「業の天気は」という文字列および「今日を電気は」を利用者の発話「Usr:業の天気は」および「Usr:今日を電気は」として含む反復セッションRSを生成する。
Also, the session
すなわち、セッション評価処理部60は、疑似的に繰り返し発話を含むセッションを生成する。なお、セッション評価処理部60は、複数のシード発話を抽出し、各シード発話から複製発話を生成してもよい。
In other words, the session
また、セッション評価処理部60は、セッションログデータベース31を参照し、ランダムに複数の発話を抽出する。そして、セッション評価処理部60は、抽出した発話をランダムに並び替えたセッションを非反復セッションNRSとして生成する。そして、セッション評価処理部60は、反復セッションRSと、非反復セッションNRSとを学習データとして、反復発話評価モデルM7の学習を行う。例えば、セッション評価処理部60は、反復セッションRSが入力された場合に、利用者が満足していない旨を示すスコアを出力し、非反復セッションNRSが入力された場合に、利用者が満足している旨を示すスコアを出力するように、反復発話評価モデルM7の学習を行う。
The session
そして、セッション評価処理部60は、反復発話評価モデルM7を用いて、対象セッションを評価する。例えば、セッション評価処理部60は、対象セッションを入力した際に、反復発話評価モデルM7が出力するスコアの値に基づいて、対象セッションに対して利用者が満足しているか否かを評価する。
Then, the session
〔2-5-7.画像を用いた繰り返し発話の評価について〕
ここで、セッション評価処理部60は、画像を用いた繰り返し発話の評価を行ってもよい。例えば、図18は、画像を用いた繰り返し発話の評価の概念を示す図である。例えば、縦方向および横方向に同じ数の領域を設定した正方形の画像を設定し、あるセッションに含まれる発話の文字列の各文字を画像の縦方向および横方向に対応付け、縦方向および横方向に同じ文字が対応付けられた領域を塗りつぶした画像を生成した場合、かかる画像は、発話の文字列に含まれる同一文字の分布を示す分布画像となる。このような分布画像には、発話の文字列に繰り返しが含まれる場合、斜線を構成するように塗りつぶされた領域が含まれる。すなわち、あるセッションに類似する発話が含まれる場合、分布画像には斜線が現れることとなる。
[2-5-7. Evaluation of repetitive utterances using images]
Here, the session
近年、画像解析技術の進歩により、DNN等を用いたモデルによる類似画像の判定精度が向上している。このため、単純にセッションに含まれる発話の文字列の特徴を学習するよりも、分布画像が有する特徴を学習した方が、繰り返し発話を含むセッションの特徴を精度良く学習できると考えられる。 In recent years, due to advances in image analysis technology, the accuracy of determining similar images using a model using DNN or the like has improved. For this reason, rather than simply learning the features of the character strings of utterances included in the session, learning the features of the distribution image is considered to enable more accurate learning of the features of a session that includes repeated utterances.
そこで、セッション評価処理部60は、分布画像が有する特徴を繰り返し評価モデルM1に学習させ、繰り返し評価モデルM1を用いて、対象セッションの評価を行ってもよい。例えば、セッション評価処理部60は、図16に示すように、表記類似ペアや意味類似ペアの数が所定の閾値を超えるセッションを繰り返し発話を含むセッションとしてセッションログデータベース31から抽出する。なお、セッション評価処理部60は、図17に示す手法により生成した反復セッションRSを繰り返し発話を含むセッションとして取得してもよい。そして、セッション評価処理部60は、繰り返し発話を含むセッションの各発話から、分布画像を生成する。
Therefore, the session
一方、セッション評価処理部60は、図16に示すように、表記類似ペアや意味類似ペアの数が所定の閾値を下回るセッションを繰り返し発話を含まないセッションとしてセッションログデータベース31から抽出する。なお、セッション評価処理部60は、図17に示す手法により生成した非反復セッションNRSを繰り返し発話を含まないセッションとして取得してもよい。そして、セッション評価処理部60は、繰り返し発話を含まないセッションの各発話から、分布画像を生成する。
On the other hand, as shown in FIG. 16, the session
そして、セッション評価処理部60は、生成した分布画像が有する特徴を繰り返し評価モデルM1に学習させる。例えば、セッション評価処理部60は、繰り返し発話を含むセッションの各発話から生成した分布画像が入力された場合は、利用者が満足していない旨を示すスコアを出力し、繰り返し発話を含まないセッションの各発話から生成した分布画像が入力された場合は、利用者が満足している旨を示すスコアを出力するように、繰り返し評価モデルM1の学習を行う。
Then, the session
続いて、セッション評価処理部60は、対象セッションに含まれる各発話から、分布画像を生成し、生成した分布画像を繰り返し評価モデルM1に入力する。そして、セッション評価処理部60は、繰り返し評価モデルM1が出力スコアに基づいて、対象セッションに対して利用者が満足しているか否かを評価する。
Subsequently, the session
〔2-5-8.謝罪応答に基づいた評価について〕
また、図19は、謝罪応答に基づいてセッションを評価する処理の概念を示す図である。図19に示すように、謝罪応答が含まれるセッションに対する利用者の満足度は低く、謝罪応答が含まれないセッションに対する利用者の満足度は高いと推定される。そこで、セッション評価処理部60は、謝罪応答に基づいたセッションの評価を行ってもよい。
[2-5-8. About the evaluation based on the apology response]
Also, FIG. 19 is a diagram showing the concept of processing for evaluating a session based on an apology response. As shown in FIG. 19, it is estimated that the user's satisfaction level is low with respect to the session including the apology response, and the user's satisfaction level with the session without the apology response is high. Therefore, the session
例えば、セッション評価処理部60は、セッションログデータベース31を参照し、予め登録された所定の謝罪応答が含まれるセッションを抽出する。また、セッション評価処理部60は、所定の謝罪応答が含まれないセッションを抽出する。そして、セッション評価処理部60は、抽出したセッションが有する特徴を謝罪評価モデルM2に学習させる。例えば、セッション評価処理部60は、謝罪応答を含むセッションが入力された場合は、利用者が満足していない旨を示すスコアを出力し、謝罪応答を含まないセッションが入力された場合は、利用者が満足している旨を示すスコアを出力するように、謝罪評価モデルM2の学習を行う。
For example, the session
続いて、セッション評価処理部60は、対象セッションを謝罪評価モデルM2に入力する。そして、セッション評価処理部60は、謝罪評価モデルM2が出力スコアに基づいて、対象セッションに対して利用者が満足しているか否かを評価する。
Subsequently, the session
〔2-5-9.各評価基準の組み合わせについて〕
なお、セッション評価処理部60は、上述した各評価手法を組み合わせることで、対象セッションの評価を行ってもよい。例えば、図20は、複数の評価手法を組み合わせてセッションを評価する処理の概念を示す図である。図20に示すように、セッション評価処理部60は、繰り返し評価モデルM1、謝罪評価モデルM2、非好意的指標発話評価モデルM3、好意的指標発話評価モデルM4、3値評価モデルM5、エンゲージメントセッション評価モデルM6、および反復発話評価モデルM7を生成する。そして、セッション評価処理部60は、各モデルM1~M7のそれぞれに対象セッションや対象セッションから生成した分布画像を入力し、対象セッションを評価する。
[2-5-9. Regarding the combination of each evaluation criteria]
Note that the session
例えば、繰り返し評価モデルM1は、対象セッションの分布画像が繰り返しセッションの分布画像と類似する場合、すなわち、対象セッションに発話の繰り返しがあると、利用者の満足度が低い旨の評価を出力する。また、謝罪評価モデルM2は、対象セッションに謝罪発話が含まれると、利用者の満足度が低い旨の評価を出力する。また、非好意的指標発話評価モデルM3は、対象セッションに非好意的指標発話が含まれると、利用者の満足度が低い旨の評価を出力する。また、好意的指標発話評価モデルM4は、対象セッションに好意的指標発話が含まれると、利用者の満足度が高い旨の評価を出力する。 For example, when the distribution image of the target session is similar to the distribution image of the repeated session, that is, when the target session includes repeated utterances, the repeat evaluation model M1 outputs an evaluation indicating that the user's satisfaction level is low. Further, the apology evaluation model M2 outputs an evaluation indicating that the user's satisfaction level is low when the target session includes an apology utterance. Further, the unfavorable index utterance evaluation model M3 outputs an evaluation indicating that the user's satisfaction level is low when the target session includes an unfavorable index utterance. Also, the favorable indicator utterance evaluation model M4 outputs an evaluation indicating that the user's satisfaction level is high when a favorable indicator utterance is included in the target session.
また、3値評価モデルM5は、対象セッションに利用者が満足している対話と特徴が類似する対話が含まれると、利用者の満足度が高い旨の評価を出力する。また、エンゲージメントセッション評価モデルM6は、対象セッションの特徴が、エンゲージメントが高い利用者の発話を含むセッションと特徴が類似する場合、すなわち、満足度が高い利用者の発話を含むセッションと類似する場合は、利用者の満足度が高い旨の評価を出力する。また、反復発話評価モデルM7は、対象セッションに発話の繰り返しがあると、利用者の満足度が低い旨の評価を出力する。 In addition, the ternary evaluation model M5 outputs an evaluation indicating that the user's satisfaction level is high when the target session includes a dialogue whose features are similar to the dialogue that the user is satisfied with. In addition, the engagement session evaluation model M6, when the characteristics of the target session are similar to the session including the user's utterance with high engagement, that is, when the session including the user's utterance with high satisfaction is similar, , outputs an evaluation indicating that the user's satisfaction is high. Further, the repetitive utterance evaluation model M7 outputs an evaluation indicating that the user's satisfaction level is low when the target session includes repetitive utterances.
セッション評価処理部60は、これら各モデルM1~M7による評価結果の組み合わせに基づいて、対象セッションを評価する。例えば、セッション評価処理部60は、対象セッションに対する利用者の満足度が高いと判定したモデルの数と、利用者の満足度が低いと判定したモデルの数とを計数し、満足度が高いと判定したモデルの数が満足度が低いと判定したモデルの数よりも多い場合は、対象セッションに対する利用者の満足度が高いと判定してもよい。すなわち、セッション評価処理部60は、多数決により、対象セッションの評価を行ってもよい。
The session
また、セッション評価処理部60は、各モデルM1~M7のうち、一部のモデルの評価結果を用いて、対象セッションの評価を行ってもよい。また、例えば、セッション評価処理部60は、各モデルM1~M7が出力するスコアを統合してもよい。例えば、セッション評価処理部60は、モデルM1、M2、M3、M7のスコアの和から、モデルM4~M6のスコアを減算したスコアを算出し、算出したスコアの値に基づいて、対象セッションを評価してもよい。
Also, the session
また、セッション評価処理部60は、各モデルM1~M7を用いた評価結果をさらに学習してもよい。例えば、セッション評価処理部60は、利用者の満足度が高いと評価されたセッションと、利用者の満足度が低いと評価されたセッションとを学習データとして、モデルに学習させ、かかるモデルを用いて、対象セッションの評価を行ってもよい。また、指標発話抽出処理部50は、このようなセッション評価処理部60による評価結果に基づいて、指標発話の抽出を行ってもよい。例えば、指標発話抽出処理部50は、セッション評価処理部60によって満足度が高いと評価されたセッション、すなわち、高満足セッションから好意的指標発話を抽出し、セッション評価処理部60によって満足度が低いと評価されたセッション、すなわち、低満足セッションから非好意的指標発話を抽出してもよい。
Also, the session
〔2-5-10.ラベル付きデータの自動拡張について〕
ここで、セッション評価処理部60は、各モデルM1~M7の学習に用いるセッションのデータを自動拡張してもよい。例えば、図21は、ラベル付きセッションを自動拡張する処理の概念を示す図である。
[2-5-10. Regarding automatic expansion of labeled data]
Here, the session
例えば、セッション評価処理部60は、利用者の満足度が低いセッション、すなわち、低満足セッションに含まれる各発話をそれぞれ抽出し、セッションログデータベース31から、抽出した各発話と類似する他の発話を検索する。また、セッション評価処理部60は、低満足セッションに含まれる各応答をそれぞれ抽出し、セッションログデータベース31から、抽出した各応答と類似する他の応答を検索する。
For example, the session
そして、セッション評価処理部60は、検索した発話および応答とを組み合わせることで、新たなセッションを疑似的に生成し、生成した新たなセッションを低満足セッションとして、モデルM1~M7の学習時における学習データとして採用してもよい。
Then, the session
〔2-5-11.セッション評価処理部の機能構成について〕
次に、図22を用いて、セッション評価処理部60が有する機能構成の一例について説明する。図22は、実施形態に係るセッション評価処理部の機能構成の一例を示す図である。図22に示すように、セッション評価処理部60は、学習データ抽出部61、学習部62、画像生成部63、発話群生成部64、および評価部65を有する。
[2-5-11. Regarding the functional configuration of the session evaluation processing unit]
Next, an example of the functional configuration of the session
学習データ抽出部61は、学習データとなるセッションの抽出を行う。例えば、学習データ抽出部61は、図12に示すように、好意的指標発話の出現頻度や、好意的指標発話の指標スコアの合計が所定の条件を満たすセッションを、好意的指標発話評価モデルM4の学習データとなる高満足セッションとして抽出する。また、学習データ抽出部61は、高満足セッション以外のセッションを、好意的指標発話評価モデルM4の学習データとなる高満足セッション以外のセッションとして抽出する。 The learning data extraction unit 61 extracts a session that becomes learning data. For example, as shown in FIG. 12, the learning data extracting unit 61 considers a session in which the appearance frequency of favorable indicator utterances and the total index score of favorable indicator utterances meet predetermined conditions as a favorable indicator utterance evaluation model M4. extracted as a highly satisfying session that serves as learning data for In addition, the learning data extraction unit 61 extracts sessions other than highly satisfactory sessions as sessions other than highly satisfactory sessions that serve as learning data for the favorable index utterance evaluation model M4.
また、例えば、学習データ抽出部61は、図12に示すように、非好意的指標発話の出現頻度や、非好意的指標発話の指標スコアの合計が所定の条件を満たすセッションを、非好意的指標発話評価モデルM3の学習データとなる高満足セッションとして抽出する。また、学習データ抽出部61は、低満足セッション以外のセッションを、非好意的指標発話評価モデルM3の学習データとなる低満足セッション以外のセッションとして抽出する。 Further, for example, as shown in FIG. 12, the learning data extraction unit 61 selects, as unfavorable, a session in which the appearance frequency of unfavorable indicator utterances and the total index score of unfavorable indicator utterances satisfy predetermined conditions. It is extracted as a highly satisfying session that serves as learning data for the index utterance evaluation model M3. In addition, the learning data extraction unit 61 extracts sessions other than the low satisfaction sessions as sessions other than the low satisfaction sessions that serve as learning data for the unfavorable index utterance evaluation model M3.
なお、学習データ抽出部61は、セッション評価データベース32を参照し、高満足セッションおよび低満足セッションを特定し、特定した高満足セッションおよび低満足セッションを非好意的指標発話評価モデルM3および好意的指標発話評価モデルM4の学習データとして、セッションログデータベース31から抽出してもよい。
Note that the learning data extraction unit 61 refers to the
また、学習データ抽出部61は、図15に示すように、利用者のエンゲージメントに基づいて、エンゲージメントセッション評価モデルM6の学習データとなるセッションの抽出を行ってもよい。例えば、学習データ抽出部61は、エンゲージメントデータベース34を参照し、各利用者の利用態様、すなわち、履歴期間と履歴頻度とを特定する。そして、学習データ抽出部61は、特定された利用態様が所定の条件を満たす利用者を特定し、特定した利用者の発話を含むセッションをセッションログデータベース31から抽出する。 In addition, as shown in FIG. 15, the learning data extracting unit 61 may extract sessions that serve as learning data for the engagement session evaluation model M6 based on the user's engagement. For example, the learning data extraction unit 61 refers to the engagement database 34 and identifies the usage mode of each user, that is, the history period and history frequency. Then, the learning data extracting unit 61 identifies a user whose specified usage mode satisfies a predetermined condition, and extracts from the session log database 31 a session including an utterance of the identified user.
例えば、学習データ抽出部61は、履歴期間や履歴頻度が所定の閾値を超える利用者を特定し、特定した利用者の発話を含むセッションを、エンゲージメントが高いユーザーのセッションとして、セッションログデータベース31から抽出する。また、学習データ抽出部61は、履歴期間や履歴頻度が所定の閾値を下回る利用者を特定し、特定した利用者の発話を含むセッションを、エンゲージメントが低いユーザーのセッションとして、セッションログデータベース31から抽出する。そして、学習データ抽出部61は、抽出した各セッションを、エンゲージメントセッション評価モデルM6の学習データとしてもよい。
For example, the learning data extraction unit 61 identifies a user whose history period or history frequency exceeds a predetermined threshold, and extracts a session including the identified user's utterance from the
すなわち、学習データ抽出部61は、利用態様が前記所定の条件を満たす利用者の発話を含むセッションを、利用者の満足度が高いという第1属性を有する学習データとして抽出する。また、学習データ抽出部61は、利用態様が所定の条件を満たさない利用者の発話を含むセッションを、利用者の満足度が低いという第2属性を有する学習データとして抽出する。 That is, the learning data extracting unit 61 extracts sessions including user utterances whose utilization mode satisfies the predetermined condition as learning data having the first attribute of high user satisfaction. In addition, the learning data extraction unit 61 extracts a session including a user's utterance whose usage mode does not satisfy a predetermined condition, as learning data having a second attribute of low user satisfaction.
また、学習データ抽出部61は、図16に示すように、セッションログデータベース31から、表記類似ペアの数や意味類似ペアの数が多いセッションを低満足セッションとして抽出し、表記類似ペアの数や意味類似ペアの数が少ないセッションを高満足セッションとして抽出する。そして、学習データ抽出部61は、抽出したセッションを、繰り返し評価モデルM1や反復発話評価モデルM7の学習データの元となるセッションとしてもよい。
In addition, as shown in FIG. 16, the learning data extraction unit 61 extracts a session with a large number of similar orthographic pairs or a large number of similar semantic pairs from the
また、学習データ抽出部61は、図19に示すように、セッションログデータベース31から、謝罪応答が含まれるセッションと、謝罪応答が含まれないセッションとを、謝罪評価モデルM2の学習データとして抽出する。
Also, as shown in FIG. 19, the learning data extraction unit 61 extracts sessions including apology responses and sessions not including apology responses from the
なお、上述した処理に限らず、学習データ抽出部61は、各モデルM1~M7の学習に有用なセッションを学習データとして抽出してもよい。例えば、学習データ抽出部61は、セッション評価データベース32に登録されたセッションの評価結果に基づいて、高満足セッションや低満足セッションを各モデルM1~M7の学習データとして抽出してもよい。
Note that the learning data extracting unit 61 may extract, as learning data, sessions useful for learning of each of the models M1 to M7, without being limited to the processing described above. For example, the learning data extraction unit 61 may extract high satisfaction sessions and low satisfaction sessions as learning data for each of the models M1 to M7 based on the evaluation results of the sessions registered in the
学習部62は、各モデルM1~M7の学習を行う。例えば、学習部62は、図13に示すように、学習データ抽出部61によって抽出された学習データとして、非好意的指標発話評価モデルM3および好意的指標発話評価モデルM4の学習を行う。
The
例えば、学習部62は、図13に示すように、評価が所定の条件を満たすセッションが有する特徴を非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4に学習させる。例えば、学習部62は、学習データ抽出部61により抽出された高満足セッションと、高満足セッション以外のセッションを学習データとして好意的指標発話評価モデルM4の学習を行う。すなわち、学習部62は、入力された対象セッションを高満足セッションとそれ以外のセッションとに分類する好意的指標発話評価モデルM4を学習する。
For example, as shown in FIG. 13, the
また、学習部62は、学習データ抽出部61により抽出された低満足セッションと、低満足セッション以外のセッションを学習データとして非好意的指標発話評価モデルM3の学習を行う。すなわち、学習部62は、入力された対象セッションを低満足セッションとそれ以外のセッションとに分類する非好意的指標発話評価モデルM3を学習する。
Also, the
また、学習部62は、発話群生成部64により生成された対話例を学習データとして、図14に示すように、3値評価モデルM5の学習を行う。すなわち、学習部62は、指標発話と対応する一連の対話を学習データとして、3値評価モデルM5の学習を行う。例えば、発話群生成部64は、非好意的指標発話の直前に行われた所定の数の発話および応答を非好意的対話例UDとして抽出し、好意的指標発話の直前に行われた所定の数の発話および応答とを好意的対話例FDとして抽出し、中性発話の直前に行われた所定の数の発話および応答とを中性対話例NDとして抽出する。このような場合、学習部62は、非好意的対話例UD、好意的対話例FD、および中性対話例NDを学習データとして、対象セッションの評価を行う3値評価モデルM5の学習を行う。すなわち、学習部62は、対象セッションにおける対話に対する利用者の評価を推定するモデルの学習を行う。
The
例えば、学習部62は、非好意的対話例UDを、利用者による評価が非好意的である対話の学習データとする。また、学習部62は、好意的対話例FDを、利用者による評価が好意的である対話の学習データとする。また、学習部62は、中性対話例NDを、利用者による評価が中立的である対話の学習データとする。そして、学習部62は、学習データが有する特徴を3値評価モデルM5に学習させることで、利用者による評価が非好意的な対話、好意的な対話、あるいは中立的な対話へと入力された対話を分類するモデルを実現する。
For example, the
また、学習部62は、図15に示すように、学習データ抽出部61により抽出されたエンゲージメントが高いユーザーのセッションやエンゲージメントが低いユーザーのセッションを学習データとして、エンゲージメントセッション評価モデルM6の学習を行う。すなわち、学習部62は、入力された対象セッションを、エンゲージメントが高いユーザーによるセッションと類似するセッション(以下、「第1属性のセッション」と記載する。)、もしくは、エンゲージメントが低いユーザーによるセッションと類似するセッション(以下、「第2属性のセッション」と記載する。)に分類するエンゲージメントセッション評価モデルM6の学習を行う。
In addition, as shown in FIG. 15, the
ここで、エンゲージメントが高いユーザーによるセッションは、利用者による満足度が高いと推定され、エンゲージメントが低いユーザーによるセッションは、利用者による満足度が低いと推定される。このため、第1属性のセッションは、利用者による評価が好意的なセッション、すなわち、高満足セッションであり、第2属性のセッションは、利用者による評価が非好意的なセッション、すなわち、低満足セッションであると言える。このため、学習部62は、対象コンテンツに対する利用者の印象が好意的であるか非好意的であるかを判定するエンゲージメントセッション評価モデルM6を学習することができる。
Here, a session by a user with high engagement is estimated to have high user satisfaction, and a session by a user with low engagement is estimated to have low user satisfaction. For this reason, the session of the first attribute is a session in which the evaluation by the user is favorable, ie, a highly satisfied session, and the session of the second attribute is a session in which the evaluation by the user is unfavorable, ie, low satisfaction It can be said that it is a session. Therefore, the
また、学習部62は、図17や図18に示すように、繰り返し発話を含むセッションを学習データとして、反復発話評価モデルM7や繰り返し評価モデルM1の学習を行う。例えば、学習部62は、図17に示す手法により発話群生成部64がシード発話や混在発話から生成した反復セッションRSと、非反復セッションNRSとを取得すると、取得した反復セッションRSと、非反復セッションNRSとを学習データとして、反復発話評価モデルM7の学習を行う。すなわち、学習部62は、対象セッションを、繰り返し発話を含むセッション、または、繰り返し発話を含まないセッションに分類する反復発話評価モデルM7の学習を行う。
Further, as shown in FIGS. 17 and 18, the
ここで、繰り返し発話を含むセッションは、利用者の印象が非好意的であり、繰り返し発話を含まないセッションは、利用者の印象が好意的であると推定される。このため、学習部62は、対象コンテンツに対する利用者の印象が好意的であるか非好意的であるかを判定する反復発話評価モデルM7を学習することができる。
Here, it is estimated that a session including repeated utterances gives a negative impression to the user, and a session that does not include repeated utterances gives a favorable impression to the user. Therefore, the
また、学習部62は、画像生成部63が繰り返し発話を含むセッションから生成した分布画像、および画像生成部63が繰り返し発話を含まないセッションから生成した分布画像を学習データとして取得する。このような場合、学習部62は、これらの分布画像を学習データとして、繰り返し評価モデルM1の学習を行う。より具体的には、学習部62は、入力された画像を、繰り返し発話を含むセッションから生成した分布画像に類似する画像、もしくは、繰り返し発話を含まないセッションから生成した分布画像に類似する画像に分類する繰り返し評価モデルM1の学習を行う。
In addition, the
ここで、繰り返し発話を含むセッションの分布画像には、斜線が現れやすく、繰り返し発話を含まないセッションの分布画像には、斜線が表れにくい。さらに、繰り返し発話を含むセッションは、利用者の印象が非好意的であり、繰り返し発話を含まないセッションは、利用者の印象が好意的であると推定される。このため、学習部62は、対象セッションの発話文字列を縦横に対応付けた分布画像を分類することで、対象セッションに対する利用者の印象が好意的であるか非好意的であるかを判定する繰り返し評価モデルM1を学習することができる。
Here, oblique lines tend to appear in the distribution image of sessions that include repeated utterances, and oblique lines are less likely to appear in the distribution images of sessions that do not include repeated utterances. Furthermore, it is presumed that the user's impression is unfavorable in a session that includes repeated utterances, and that the user has a favorable impression in a session that does not include repeated utterances. Therefore, the
また、学習部62は、図19に示すように、学習データ抽出部61が抽出したセッションを学習データとして、謝罪評価モデルM2の学習を行う。例えば、学習部62は、入力された対象セッションを、謝罪応答が含まれるセッションと類似するセッション、若しくは、謝罪応答が含まれないセッションと類似するセッションに分類する謝罪評価モデルM2の学習を行う。
Also, as shown in FIG. 19, the
ここで、謝罪応答を含むセッションは、利用者の印象が非好意的であり、謝罪応答を含まないセッションは、利用者の印象が好意的であると推定される。このため、学習部62は、謝罪応答に基づいて、対象セッションに対する利用者の印象が好意的であるか非好意的であるかを判定する謝罪評価モデルM2を学習することができる。
Here, it is presumed that a session including an apology response gives a negative impression to the user, and a session that does not include an apology response gives a favorable impression to the user. Therefore, the
なお、学習部62は、図21に示すように、学習データとして取得した低満足セッションから、新たな低満足セッションを生成し、学習データに加えてもよい。例えば、学習部62は、学習データとして取得したセッションに含まれる各発話および各応答と類似する発話および応答をそれぞれセッションログデータベース31から抽出し、抽出した発話および応答を組み合わせることで、新たな学習データを生成してもよい。
In addition, as shown in FIG. 21, the
ここで、学習部62は、新たな学習データの生成に対し、生成元となった学習データと同じラベルを付与すればよい。例えば、学習部62は、好意的指標発話が多いセッション、エンゲージメントが高いユーザーのセッション、好意的対話例FD、非反復セッションNRS等、利用者の印象が好意的な対話例から、利用者の印象が好意的な対話例を新たに生成し、学習データとしてもよい。また、例えば、学習部62は、非好意的指標発話が多いセッション、エンゲージメントが低いユーザーのセッション、非好意的対話例ND、反復セッションRS等、利用者の印象が非好意的な対話例から、利用者の印象が非好意的な対話例を新たに生成し、学習データとしてもよい。
Here, the
画像生成部63は、分布画像の生成を行う。例えば、画像生成部63は、学習データ抽出部61によって抽出された繰り返し発話を含むセッションや、繰り返し発話を含まないセッションを取得する。また、画像生成部63は、発話群生成部64により、図17に示すように生成された反復セッションRSや非反復セッションNRSを取得する。なお、画像生成部63は、図21に示すように、取得したセッションから新たなセッションを生成してもよい。
The
そして、画像生成部63は、取得したセッションに含まれる発話の文字が相互に同一か否かを示す分布画像を生成する。すなわち、画像生成部63は、セッションにおける同一文字の分布を示す画像を生成する。例えば、画像生成部63は、セッションに含まれる発話の文字列を画像の縦方向の各領域と横方向の各領域とに対応付けた場合に、縦方向と横方向とに同一の文字が対応付けられた領域に対して所定の色彩を付した画像を生成する。
Then, the
発話群生成部64は、非好意的対話例UD、好意的対話例FDおよび中性対話例NDの抽出を行う。すなわち、発話群生成部64は、対話サービスにおける履歴から指標発話を特定し、特定した指標発話と対応する一連の対話を対話群として抽出する。例えば、発話群生成部64は、指標発話から所定の数だけ前の応答および発話を学習データとして抽出する。なお、指標発話よりも前の応答や発話から、いくつの応答や発話を対話例として抽出するかについては、任意の設定が可能である。
The utterance
例えば、発話群生成部64は、セッションログデータベース31を参照し、好意的指標発話を含むセッションを特定する。続いて、発話群生成部64は、好意的指標発話から所定の数だけ前の応答および発話を好意的対話例FDとして抽出する。同様に、発話群生成部64は、非好意的指標発話を含むセッションを特定し、非好意的指標発話から所定の数だけ前の応答および発話を非好意的対話例UDとして抽出する。また、発話群生成部64は、中性発話を含むセッションを特定し、中性発話から所定の数だけ前の応答および発話を中性対話例NDとして抽出する。
For example, the utterance
また、発話群生成部64は、反復セッションRS(すなわち、第1発話群)および非反復セッションNRS(すなわち、第2発話群)を生成する。例えば、発話群生成部64は、対話サービスにおける履歴からいずれかの発話を選択し、選択した発話と同一又は類似する発話を複数含む発話群を生成する。
The utterance
より具体的な例を挙げると、発話群生成部64は、シード発話をセッションログデータベース31から抽出し、シード発話と類似する複製発話を複数生成する。また、発話群生成部64は、セッションログデータベース31から混在発話を抽出する。そして、発話群生成部64は、シード発話と、複数の複製発話と、混在発話とをランダムに並び替えて、疑似的な発話からなるセッションを反復セッションRSとして生成する。また、発話群生成部64は、セッションログデータベース31を参照し、ランダムに複数の発話を抽出し、抽出した発話をランダムに並び替えたセッションを非反復セッションNRSとして生成する。
To give a more specific example, the utterance
なお、発話群生成部64は、非好意的対話例UD、好意的対話例FDもしくは中性対話例ND(以下、「対話例」と総称する)に含まれる発話および応答と類似する発話および応答を抽出し、抽出した発話および応答を組み合わせることで、新たな対話例を生成してもよい。例えば、発話群生成部64は、図21に示す手法により、非好意的対話例UDから新たな非好意的対話例UDを生成してもよく、好意的対話例FDから新たな好意的対話例FDを生成してもよく、中性対話例NDから新たな中性対話例NDを生成してもよい。また、発話群生成部64は、反復セッションRSから新たな反復セッションRSを生成してもよく、非反復セッションNRSから新たな非反復セッションNRSを生成してもよい。
Note that the utterance
評価部65は、セッションの評価を行う。例えば、評価部65は、セッションログデータベース31から評価対象となる対象セッションを選択する。そして、評価部65は、指標発話データベース33を参照し、指標発話抽出処理部50により抽出された指標発話やシードとなる指標発話の出現頻度に基づいて、対象セッションを評価する。
The evaluation unit 65 evaluates sessions. For example, the evaluation unit 65 selects a target session to be evaluated from the
例えば、評価部65は、非好意的指標発話や好意的指標発話が含まれているか否かに基づいて、対象セッションを評価する。例えば、評価部65は、図12に示すように、対象セッションについて、非好意的指標発話の出現頻度と好意的指標発話の出現頻度との比に基づいて、対象セッションが低満足セッションであるか高満足セッションであるかを評価する。また、評価部65は、非好意的指標発話の指標スコアの合計と、好意的指標発話の指標スコアの合計との比に基づいて、対象セッションが低満足セッションであるか高満足セッションであるかを評価してもよい。 For example, the evaluation unit 65 evaluates the target session based on whether or not the non-favorable indicator utterance or the favorable indicator utterance is included. For example, as shown in FIG. 12, the evaluation unit 65 determines whether the target session is a low-satisfaction session based on the ratio of the appearance frequency of unfavorable indicator utterances to the appearance frequency of favorable indicator utterances. Evaluate whether the session is highly satisfying. In addition, the evaluation unit 65 determines whether the target session is a low-satisfaction session or a high-satisfaction session based on the ratio of the total index score of the unfavorable index utterances and the total index score of the favorable index utterances. may be evaluated.
ここで、セッションの評価に用いられる指標発話には、指標発話抽出処理部50により抽出された指標発話、すなわち、シードとなる指標発話との共起性により抽出された指標発話が含まれる。このため、評価部65は、例えば、非好意的指標発話との共起性が所定の条件を満たす発話の出現頻度や、好意的指標発話との共起性が所定の条件を満たす発話の出現頻度に基づいて、対象セッションの評価を行うこととなる。
Here, the index utterances used for evaluating the session include index utterances extracted by the index utterance
また、セッションの評価に用いられる指標発話には、指標発話抽出処理部50により利用者のエンゲージメントに基づいて抽出された指標発話が含まれる。すなわち、指標発話には、利用態様が所定の条件を満たす利用者のセッションでの出現頻度や、利用態様が所定の条件を満たさない利用者のセッションでの出現頻度に基づいて抽出された指標発話が含まれる。このため、評価部65は、利用態様が所定の条件を満たす利用者の発話と、利用態様が所定の条件を満たさない利用者の発話とに基づいて、対象セッションを評価することとなる。
Also, the index utterances used for session evaluation include index utterances extracted by the index utterance
また、セッションの評価に用いられる指標発話には、低満足セッションにおける出現頻度と高満足セッションにおける出現頻度との比に基づいて抽出された指標発話が含まれる。このため、評価部65は、低満足セッションにおける出現頻度が所定の条件を満たす発話と、高満足セッションにおける出現頻度が所定の条件を満たす発話とに基づいて、対象セッションを評価することとなる。 In addition, index utterances used for session evaluation include index utterances extracted based on the ratio of the frequency of appearance in low-satisfaction sessions to the frequency of appearance in high-satisfaction sessions. Therefore, the evaluation unit 65 evaluates the target session based on an utterance whose appearance frequency satisfies a predetermined condition in a low-satisfaction session and an utterance whose appearance frequency satisfies a predetermined condition in a high-satisfaction session.
また、評価部65は、図13に示すように、高満足セッションが有する特徴を学習した好意的指標発話評価モデルM4を用いて、対象セッションを評価してもよい。また、評価部65は、低満足セッションが有する特徴を学習した非好意的指標発話評価モデルM3を用いて、対象セッションを評価してもよい。例えば、評価部65は、非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4をモデルデータベース35から読出し、非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4に対象セッションを入力する。そして、評価部65は、非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4が出力するスコアに基づいて、対象セッションの評価を行ってもよい。例えば、評価部65は、非好意的指標発話評価モデルM3により、非好意的指標発話が含まれるセッションに類似すると分類された場合は、対象セッションを低満足セッションと評価し、好意的指標発話評価モデルM4により、好意的指標発話が含まれるセッションに類似すると分類された場合は、対象セッションを高満足セッションと評価してもよい。
In addition, as shown in FIG. 13, the evaluation unit 65 may evaluate the target session using a favorable index utterance evaluation model M4 that has learned the characteristics of the highly satisfying session. Moreover, the evaluation unit 65 may evaluate the target session using the unfavorable index utterance evaluation model M3 that has learned the characteristics of the low-satisfaction session. For example, the evaluation unit 65 reads the unfavorable indicator utterance evaluation model M3 and the favorable indicator utterance evaluation model M4 from the
また、評価部65は、図14に示すように、非好意的対話例UD、中性対話例ND、および好意的対話例FDの特徴を学習した3値評価モデルM5を用いて、対象セッションの評価を行ってもよい。例えば、評価部65は、モデルデータベース35から読み出した3値評価モデルM5に対象セッションを入力し、3値評価モデルM5による分類結果に基づいて、対象セッションを評価してもよい。例えば、評価部65は、3値評価モデルM5により、対象セッションが非好意的対話例UDに類似すると分類された場合は、対象セッションを低満足セッションと評価し、好意的対話例FDに類似すると分類された場合は、対象セッションを高満足セッションと評価してもよい。
In addition, as shown in FIG. 14, the evaluation unit 65 uses a ternary evaluation model M5 that has learned the characteristics of the unfavorable dialogue example UD, the neutral dialogue example ND, and the favorable dialogue example FD to evaluate the target session. may be evaluated. For example, the evaluation unit 65 may input the target session into the ternary evaluation model M5 read from the
また、評価部65は、図15に示すように、利用態様が所定の条件を満たす利用者の発話を含むセッションとの類似性に基づいて、対象セッションを評価してもよい。例えば、評価部65は、エンゲージメントが高いユーザのセッションと、エンゲージメントが低いユーザーのセッションとの特徴を学習したエンゲージメントセッション評価モデルM6に対象セッションを入力し、エンゲージメントセッション評価モデルM6の分類結果に基づいて、対象セッションを評価してもよい。例えば、評価部65は、エンゲージメントセッション評価モデルM6により、対象セッションがエンゲージメントが高いユーザーのセッションに類似すると分類された場合は、対象セッションを高満足セッションと評価してもよい。 In addition, as shown in FIG. 15, the evaluation unit 65 may evaluate the target session based on the similarity with the session including the user's utterance whose usage mode satisfies a predetermined condition. For example, the evaluation unit 65 inputs the target session to the engagement session evaluation model M6 that has learned the characteristics of the session of the user with high engagement and the session of the user with low engagement, and based on the classification result of the engagement session evaluation model M6 , may rate the subject session. For example, if the engagement session evaluation model M6 classifies the target session as similar to the session of the user with high engagement, the evaluation unit 65 may evaluate the target session as a highly satisfying session.
また、評価部65は、図16~18に示すように、繰り返し発話に基づいて、対象セッションを評価してもよい。例えば、評価部65は、対象セッションに同一又は類似の文字列が繰り返し出現している場合は、対象セッションを低満足セッションと評価し、対象セッションに同一又は類似の文字列が繰り返し出現していない場合は、対象セッションを高満足セッションと評価してもよい。 The evaluation unit 65 may also evaluate the target session based on repeated utterances, as shown in FIGS. For example, when the same or similar character strings appear repeatedly in the target session, the evaluation unit 65 evaluates the target session as a low-satisfaction session, and the same or similar character strings do not appear repeatedly in the target session. If so, the target session may be rated as a highly satisfying session.
また、評価部65は、文字列の類似度や意味的な類似度が所定の閾値を超える発話の対の数に基づいて、対象セッションを評価してもよい。例えば、評価部65は、図16に示すように、対象セッションに含まれる表記類似ペア数や意味類似ペア数の数が所定の閾値を超える場合は、対象セッションを低満足セッションと評価し、表記類似ペア数や意味類似ペア数の数が所定の閾値を下回る場合は、対象セッションを高満足セッションと評価してもよい。 The evaluation unit 65 may also evaluate the target session based on the number of pairs of utterances in which the degree of similarity of character strings or the degree of semantic similarity exceeds a predetermined threshold. For example, as shown in FIG. 16, the evaluation unit 65 evaluates the target session as a low-satisfaction session when the number of similar pairs of expressions and the number of similar pairs of meanings included in the target session exceeds a predetermined threshold, When the number of similar pairs or the number of semantically similar pairs is below a predetermined threshold, the target session may be evaluated as a highly satisfying session.
また、評価部65は、図17に示すように、繰り返し発話を含むセッションの特徴を学習した反復発話評価モデルM7を用いて、対象セッションを評価してもよい。例えば、評価部65は、反復発話評価モデルM7に対象セッションを入力し、反復発話評価モデルM7が、対象セッションを反復セッションRSに類似するセッションに分類した場合は、対象セッションを低満足セッションと評価し、対象セッションを非反復セッションNRSに類似するセッションに分類した場合は、対象セッションを高満足セッションと評価してもよい。 In addition, as shown in FIG. 17, the evaluation unit 65 may evaluate the target session using a repetitive utterance evaluation model M7 that has learned the characteristics of sessions including repetitive utterances. For example, the evaluation unit 65 inputs the target session to the repetitive utterance evaluation model M7, and when the repetitive utterance evaluation model M7 classifies the target session into sessions similar to the repetitive session RS, evaluates the target session as a low-satisfaction session. However, if the session of interest is classified as a session similar to the non-repeating session NRS, then the session of interest may be evaluated as a highly satisfying session.
また、評価部65は、図18に示すように、繰り返し発話を含むセッションにおける発話から生成した分布画像の特徴を学習することで、繰り返し発話を含むセッションの特徴を学習した繰り返し評価モデルM1を用いて、対象セッションを評価してもよい。例えば、画像生成部63は、対象セッションに含まれる発話の分布画像を生成する。そして、画像生成部63は、分布画像に基づいて、対象セッションの評価を行う。
In addition, as shown in FIG. 18, the evaluation unit 65 uses a repeated evaluation model M1 that learns the characteristics of a session including repeated utterances by learning the characteristics of a distribution image generated from utterances in a session that includes repeated utterances. may be used to rate the target session. For example, the
例えば、評価部65は、対象画像を繰り返し評価モデルM1に入力し、繰り返し評価モデルM1が、対象セッションの分布画像を、繰り返し発話を含むセッションの分布画像と類似する画像に分類した場合は、対象セッションを低満足セッションと評価してもよい。また、例えば、評価部65は、対象画像を繰り返し評価モデルM1に入力し、繰り返し評価モデルM1が、対象セッションの分布画像を、繰り返し発話を含まないセッションの分布画像と類似する画像に分類した場合は、対象セッションを高満足セッションと評価してもよい。 For example, when the evaluation unit 65 inputs the target image to the repeated evaluation model M1, and the repeated evaluation model M1 classifies the distribution image of the target session into an image similar to the distribution image of the session including the repeated utterance, the target A session may be rated as a low satisfaction session. Further, for example, when the evaluation unit 65 inputs the target image to the repeated evaluation model M1, and the repeated evaluation model M1 classifies the distribution image of the target session into an image similar to the distribution image of the session that does not include repeated utterances. may rate the subject session as a highly satisfying session.
なお、評価部65は、公知の画像解析技術を用いて、対象セッションの分布画像に斜線が含まれているか否かを判定し、斜線が含まれていると判定した場合は、対象セッションを低満足セッションと評価してもよい。すなわち、評価部65は、繰り返し評価モデルM1を用いずに、対象セッションの分布画像から、対象セッションに繰り返し発話が含まれているか否かを判定し、判定結果に基づいて、対象セッションを評価してもよい。 Note that the evaluation unit 65 uses a known image analysis technique to determine whether or not a diagonal line is included in the distribution image of the target session. You may rate it as a satisfactory session. That is, the evaluation unit 65 determines whether or not the target session includes repeated utterances from the distribution image of the target session without using the repeat evaluation model M1, and evaluates the target session based on the determination result. may
また、評価部65は、謝罪応答が含まれているか否かに基づいて、対象セッションを評価してもよい。例えば、評価部65は、対象セッションに含まれる謝罪応答の数が所定の閾値を超える場合は、対象セッションを低満足セッションと評価してもよい。また、評価部65は、図19に示すように、謝罪評価モデルM2に対象セッションを入力し、謝罪評価モデルM2が対象セッションを謝罪応答が含まれるセッションに類似するセッションに分類した場合は、対象セッションを低満足セッションと評価してもよい。また、評価部65は、謝罪評価モデルM2が対象セッションを謝罪応答が含まれないセッションに類似するセッションに分類した場合は、対象セッションを高満足セッションと評価してもよい。 The evaluation unit 65 may also evaluate the target session based on whether or not an apology response is included. For example, the evaluation unit 65 may evaluate the target session as a low-satisfaction session when the number of apology responses included in the target session exceeds a predetermined threshold. Further, as shown in FIG. 19, the evaluation unit 65 inputs the target session to the apology evaluation model M2, and when the apology evaluation model M2 classifies the target session into a session similar to the session including the apology response, the target A session may be rated as a low satisfaction session. Further, when the apology evaluation model M2 classifies the target session into a session similar to a session that does not include an apology response, the evaluation unit 65 may evaluate the target session as a highly satisfying session.
また、評価部65は、複数のモデルを用いて、対象セッションの評価を行ってもよい。例えば、評価部65は、図20に示すように、セッションに対する利用者の評価の指標となる複数の特徴のうちそれぞれ異なる種別の特徴に基づいてセッションを評価する複数のモデルM1~M7の評価結果を用いて、対象セッションを評価してもよい。 Also, the evaluation unit 65 may evaluate the target session using a plurality of models. For example, as shown in FIG. 20, the evaluation unit 65 evaluates a plurality of models M1 to M7 for evaluating a session based on different types of features among a plurality of features that serve as indicators for user evaluation of a session. may be used to rate the subject session.
なお、このように、複数のモデルM1~M7の評価結果を用いてセッションを評価する場合、任意のモデルの組み合わせが採用可能である。例えば、評価部65は、図1に示すように、繰り返し評価モデルM1、謝罪評価モデルM2、非好意的指標発話評価モデルM3、および好意的指標発話評価モデルM4のそれぞれに対象セッション(および対象セッションの対象画像)を入力し、各モデルM1~M3が出力したスコアの和から、好意的指標発話評価モデルM4が出力したスコアの値を減算した値を算出する。そして、評価部65は、対象セッションのうち、算出した値が高い方から所定の数のセッションを低満足セッションと評価し、算出した値が低い方から所定の数のセッションを高満足セッションと評価してもよい。 Note that when a session is evaluated using evaluation results of a plurality of models M1 to M7 in this way, any combination of models can be adopted. For example, as shown in FIG. 1, the evaluation unit 65 assigns a target session (and a target session ) is input, and a value is calculated by subtracting the value of the score output by the favorable index utterance evaluation model M4 from the sum of the scores output by the respective models M1 to M3. Then, the evaluation unit 65 evaluates, among the target sessions, a predetermined number of sessions with the highest calculated value as low-satisfaction sessions, and evaluates a predetermined number of sessions with the lowest calculated value as highly-satisfactory sessions. You may
なお、各モデルM1~M3が出力したスコアの和から、好意的指標発話評価モデルM4が出力したスコアの値を減算した値を算出した場合、対象セッションに対して利用者が満足している場合は、負の値が算出され、対象セッションに対して利用者が満足していない場合は、正の値が算出されることとなる。そこで、評価部65は、算出した値が正の値であるか負の値であるかに応じて、対象セッションを評価してもよい。 If the value obtained by subtracting the value of the score output by the favorable index utterance evaluation model M4 from the sum of the scores output by each of the models M1 to M3 is calculated, the user is satisfied with the target session. is calculated as a negative value, and if the user is not satisfied with the target session, a positive value is calculated. Therefore, the evaluation unit 65 may evaluate the target session according to whether the calculated value is a positive value or a negative value.
また、評価部65は、例えば、セッションに含まれる発話に同一又は類似する発話が繰り返し含まれているか否かに基づいてセッションを評価する繰り返し評価モデルM1や反復発話評価モデルM7による評価結果を少なくとも用いてもよい。また、評価部65は、セッションに含まれる応答に謝罪を示す所定の応答が含まれているか否かに基づいてセッションを評価する謝罪評価モデルM2の評価結果を少なくとも用いてもよい。 In addition, the evaluation unit 65, for example, evaluates the session based on whether or not the same or similar utterances are repeatedly included in the utterances included in the session. may be used. Moreover, the evaluation unit 65 may use at least the evaluation result of the apology evaluation model M2 that evaluates the session based on whether or not the response included in the session includes a predetermined response indicating an apology.
また、評価部65は、セッションに含まれる発話に非好意的指標発話が含まれているか否かに基づいてセッションを評価する非好意的指標発話評価モデルM3の評価結果を少なくとも用いてもよい。また、評価部65は、セッションに含まれる発話に好意的指標発話が含まれているか否かに基づいてセッションを評価する好意的指標発話モデルM4の評価結果を少なくとも用いてもよい。 In addition, the evaluation unit 65 may use at least the evaluation result of the unfavorable index utterance evaluation model M3 that evaluates the session based on whether or not the utterances included in the session include the unfavorable index utterance. Moreover, the evaluation unit 65 may use at least the evaluation result of the favorable indicator utterance model M4 that evaluates the session based on whether or not the utterances included in the session include a favorable indicator utterance.
ここで、非好意的指標発話評価モデルM3や好意的指標発話評価モデルM4は、学習データとなるセッションを抽出する際に、指標発話をあらかじめ設定もしくは抽出しておく必要がある。しかしながら、このように指標発話の設定や抽出をあらかじめ行うのは、手間がかかる。そこで、評価部65は、繰り返し評価モデルM1と、謝罪評価モデルM2との評価結果のみに基づいて、対象コンテンツの評価を行ってもよい。例えば、評価部65は、繰り返し評価モデルM1のスコアと、謝罪評価モデルM2のスコアとの和を算出し、和の値が大きい方から順に所定の数の対象セッションを低満足セッションと評価し、和の値が小さい方から順に所定の数の対象セッションを高満足セッションと評価してもよい。 Here, for the unfavorable indicator utterance evaluation model M3 and the favorable indicator utterance evaluation model M4, it is necessary to set or extract an indicator utterance in advance when extracting a session that serves as learning data. However, it takes time and effort to set and extract index utterances in advance. Therefore, the evaluation unit 65 may evaluate the target content only based on the evaluation results of the repetition evaluation model M1 and the apology evaluation model M2. For example, the evaluation unit 65 calculates the sum of the score of the repeated evaluation model M1 and the score of the apology evaluation model M2, and evaluates a predetermined number of target sessions in descending order of the sum as low-satisfaction sessions, A predetermined number of target sessions may be evaluated as high-satisfaction sessions in ascending order of the sum value.
なお、複数のモデルM1~M7を用いて対象セッションを評価する場合、評価部65は、各モデルM1~M7の評価結果に所定の重みを設定してもよい。例えば、評価部65は、各モデルM1~M7出力するスコアの値に各モデルM1~M7ごとの所定の係数を積算し、係数を積算した各スコアの値を統合してもよい。なお、評価部65は、対象セッションの評価を行った場合は、評価結果をセッション評価データベース32に登録する。このような評価結果は、例えば、指標発話の抽出に利用されてもよく、他のセッションの評価に利用されてもよい。
When evaluating the target session using a plurality of models M1 to M7, the evaluation unit 65 may set predetermined weights to the evaluation results of each model M1 to M7. For example, the evaluation unit 65 may multiply the score values output from the models M1 to M7 by a predetermined coefficient for each of the models M1 to M7, and integrate the score values obtained by multiplying the coefficients. Note that the evaluation unit 65 registers the evaluation result in the
〔2-6.予測処理について〕
図2に戻り、説明を続ける。エンゲージメント予測処理部70は、将来の利用者の対話サービスの利用態様を予測する予測処理を実行する。以下、図23~図25を用いて、エンゲージメント予測処理部70が実行する処理の概念、および、エンゲージメント予測処理部70が有する機能構成の一例を説明する。
[2-6. About prediction processing]
Returning to FIG. 2, the description is continued. The engagement prediction processing unit 70 executes prediction processing for predicting how the user will use the interactive service in the future. An example of the concept of processing executed by the engagement prediction processing unit 70 and the functional configuration of the engagement prediction processing unit 70 will be described below with reference to FIGS. 23 to 25. FIG.
〔2-6-1.指標発話に基づく予測処理について〕
例えば、エンゲージメント予測処理部70は、将来の対話サービスの利用態様の予測対象となる利用者(以下、「対象利用者」と記載する。)のセッションに含まれる指標発話に基づいて、予測処理を実行する。例えば、図23は、指標発話に基づいて将来の利用態様を予測する処理の概念を示す図である。
[2-6-1. Prediction processing based on indicator utterance]
For example, the engagement prediction processing unit 70 performs prediction processing based on index utterances included in a session of a user (hereinafter referred to as a "target user") who is a target of predicting the manner of use of the interactive service in the future. Run. For example, FIG. 23 is a diagram showing the concept of processing for predicting future usage patterns based on indicator utterances.
図23に示すように、好意的指標発話が多い利用者は、対話サービスに対して好意的な印象を有すると考えられる。このように、対話サービスに対して好意的な印象を有する利用者は、自ずと対話サービスを利用する結果、利用期間や利用頻度等のエンゲージメントが高い利用者になると推定される。一方、非好意的指標発話が多い利用者は、対話サービスに対して非好意的な印象を有すると考えられる。このように、対話サービスに対して非好意的な印象を有する利用者は、対話サービスを利用しなくなり、エンゲージメントが低い利用者になると推定される。 As shown in FIG. 23, it is considered that a user who makes many favorable indicator utterances has a favorable impression of the interactive service. In this way, users who have a favorable impression of interactive services naturally use interactive services, and as a result, it is presumed that they will become users with high engagement in terms of usage period, frequency of use, and the like. On the other hand, users who make many unfavorable indicator utterances are considered to have an unfavorable impression of the interactive service. In this way, users who have an unfavorable impression of interactive services are presumed to stop using interactive services and become low-engagement users.
そこで、エンゲージメント予測処理部70は、利用者の発話を含むセッションにおける指標発話の出現頻度に基づいて、その利用者の将来のエンゲージメントを予測する。例えば、エンゲージメント予測処理部70は、対象利用者の発話を含むセッションであって、予測処理の実行時から所定の期間内(以下、「観測期間」と記載する。)に行われた対話を含むセッションを抽出する。 Therefore, the engagement prediction processing unit 70 predicts the user's future engagement based on the appearance frequency of the index utterance in the session including the user's utterance. For example, the engagement prediction processing unit 70 is a session that includes the target user's utterance, and includes a dialogue that took place within a predetermined period from the execution of the prediction process (hereinafter referred to as an "observation period"). Extract session.
続いて、エンゲージメント予測処理部70は、観測期間におけるセッションに含まれる好意的指標発話および非好意的指標発話を抽出し、観測期間における好意的指標発話の出現頻度の合計、および、観測期間における非好意的指標発話の出現頻度の合計を算出する。そして、エンゲージメント予測処理部70は、観測期間における好意的指標発話の出現頻度の合計を観測期間における非好意的指標発話の出現頻度の合計で除算したスコアを算出し、算出したスコアが高い程、将来におけるエンゲージメントが高い利用者であると判定する。 Subsequently, the engagement prediction processing unit 70 extracts the favorable indicator utterances and the unfavorable indicator utterances included in the session during the observation period, the total appearance frequency of the favorable indicator utterances during the observation period, and the non-favorable indicator utterances during the observation period. Calculate the total frequency of occurrence of favorable indicator utterances. Then, the engagement prediction processing unit 70 calculates a score by dividing the total appearance frequency of favorable indicator utterances in the observation period by the total appearance frequency of unfavorable indicator utterances in the observation period. It is determined that the user will be highly engaged in the future.
なお、エンゲージメント予測処理部70は、好意的指標発話や非好意的指標発話の指標スコアの値を考慮してもよい。例えば、エンゲージメント予測処理部70は、観測期間における好意的指標発話の指標スコアの合計、および、観測期間における非好意的指標発話の指標スコアの合計を算出する。そして、エンゲージメント予測処理部70は、観測期間における好意的指標発話の指標スコアの合計を観測期間における非好意的指標発話の指標スコアの合計で除算したスコアを算出し、算出したスコアが高い程、将来におけるエンゲージメントが高い利用者であると判定してもよい。そして、エンゲージメント予測処理部70は、予測結果をエンゲージメントデータベース34に登録する。 Note that the engagement prediction processing unit 70 may consider the index score values of favorable index utterances and unfavorable index utterances. For example, the engagement prediction processing unit 70 calculates the total index score of favorable index utterances during the observation period and the total index score of unfavorable index utterances during the observation period. Then, the engagement prediction processing unit 70 calculates a score by dividing the total index score of favorable index utterances in the observation period by the total index score of unfavorable index utterances in the observation period. It may be determined that the user is highly engaged in the future. The engagement prediction processing unit 70 then registers the prediction result in the engagement database 34 .
なお、このような処理によって予測された将来におけるエンゲージメントは、指標発話の抽出やセッションの評価に利用される。例えば、指標発話抽出処理部50は、図9に示す処理において、エンゲージメント予測処理部70によって予測された将来のエンゲージメントが高い利用者を好意的利用者とし、エンゲージメント予測処理部70によって予測された将来のエンゲージメントが低い利用者を非好意的利用者とすることで、各利用者の発話から指標発話の抽出を行ってもよい。また、例えば、セッション評価処理部60は、図15に示す処理おいて、エンゲージメント予測処理部70によって予測された将来のエンゲージメントが高い利用者のセッションや、他の利用者のセッションから、エンゲージメントセッション評価モデルM6を学習し、学習したエンゲージメントセッション評価モデルM6を用いて、対象セッションの評価を行ってもよい。
The future engagement predicted by such processing is used to extract index utterances and evaluate sessions. For example, in the process shown in FIG. 9, the index utterance
〔2-6-2.評価結果に基づく予測処理について〕
また、例えば、エンゲージメント予測処理部70は、セッションの評価結果に基づいて、予測処理を実行してもよい。例えば、図24は、評価結果に基づいて将来の利用態様を予測する処理の概念を示す図である。
[2-6-2. Prediction processing based on evaluation results]
Further, for example, the engagement prediction processing unit 70 may execute prediction processing based on the evaluation result of the session. For example, FIG. 24 is a diagram showing the concept of processing for predicting future usage patterns based on evaluation results.
例えば、図24に示すように、評価処理によって満足度が高いと評価されたセッション、すなわち、高満足セッションが多い利用者は、対話サービスに対して好意的な印象を有すると推定されるため、将来におけるエンゲージメントが高くなると考えられる。一方、評価処理によって満足度が低いと評価されたセッション、すなわち低満足セッションが多い利用者は、対話サービスに対して非好意的な印象を有すると推定されるため、将来におけるエンゲージメントが低くなると考えられる。 For example, as shown in FIG. 24, it is presumed that a session evaluated as having a high degree of satisfaction by the evaluation process, that is, a user with many highly satisfied sessions has a favorable impression of the interactive service. Engagement is expected to increase in the future. On the other hand, it is presumed that users with a high number of low-satisfaction sessions will have an unfavorable impression of the interactive service, and their future engagement will be low. be done.
そこで、エンゲージメント予測処理部70は、対象利用者の発話を含むセッションに対する評価結果に基づいて、その利用者の将来のエンゲージメントを予測する。例えば、エンゲージメント予測処理部70は、対象利用者の発話を含むセッションであって、観測期間に行われた対話を含むセッションを抽出する。続いて、エンゲージメント予測処理部70は、抽出したセッションに対する評価結果を取得する。例えば、エンゲージメント予測処理部70は、セッション評価データベース32を参照し、セッション評価処理部60による評価結果を取得する。
Therefore, the engagement prediction processing unit 70 predicts the future engagement of the user based on the evaluation result for the session including the target user's utterance. For example, the engagement prediction processing unit 70 extracts a session that includes an utterance of the target user and includes a dialogue that took place during the observation period. Subsequently, the engagement prediction processing unit 70 acquires evaluation results for the extracted sessions. For example, the engagement prediction processing unit 70 refers to the
そして、エンゲージメント予測処理部70は、評価結果に統計値に基づいて、予測期間における対象利用者のエンゲージメントを予測する。例えば、エンゲージメント予測処理部70は、抽出したセッションのうち高満足セッションの割合と低満足セッションとの割合とを算出する。そして、エンゲージメント予測処理部70は、高満足セッションの割合が高い程、対象利用者を将来におけるエンゲージメントが高い利用者であると判定してもよい。また、例えば、エンゲージメント予測処理部70は、抽出したセッションのうち高満足セッションの数が所定の閾値を超える場合は、対象利用者を将来におけるエンゲージメントが高い利用者であると判定してもよい。 Then, the engagement prediction processing unit 70 predicts the engagement of the target user in the prediction period based on the statistical value of the evaluation result. For example, the engagement prediction processing unit 70 calculates the ratio of high-satisfaction sessions and the ratio of low-satisfaction sessions among the extracted sessions. Then, the engagement prediction processing unit 70 may determine that the target user is a user with high future engagement as the rate of highly satisfied sessions is higher. Further, for example, when the number of highly satisfied sessions among the extracted sessions exceeds a predetermined threshold, the engagement prediction processing unit 70 may determine that the target user is a user with high future engagement.
また、例えば、エンゲージメント予測処理部70は、高満足セッションに正のスコアを、低満足セッションに負のスコアを割り当てるとともに、より新しいセッションにより大きな係数を設定する。そして、エンゲージメント予測処理部70は、各セッションのスコアと係数との積の値を合計したスコアが、所定の閾値を超えるか否かに基づいて、対象利用者の将来におけるエンゲージメントを推定してもよい。なお、エンゲージメント予測処理部70は、高満足セッションに負のスコアを、低満足セッションに正のスコアを割り当てるとともに、より新しいセッションにより大きな係数を設定し、各セッションのスコアと係数との積の値を合計したスコアが、所定の閾値以下となるか否かに基づいて、対象利用者の将来におけるエンゲージメントを推定してもよい。 Also, for example, the engagement prediction processing unit 70 assigns a positive score to a highly satisfying session and a negative score to a low satisfying session, and sets a larger coefficient to a newer session. Then, the engagement prediction processing unit 70 estimates the future engagement of the target user based on whether or not the total score of the product of the score of each session and the coefficient exceeds a predetermined threshold. good. In addition, the engagement prediction processing unit 70 assigns a negative score to a highly satisfied session and a positive score to a low satisfied session, and sets a larger coefficient for a newer session, and the value of the product of the score and the coefficient for each session The future engagement of the target user may be estimated based on whether or not the total score of is equal to or less than a predetermined threshold.
〔2-6-3.エンゲージメント予測処理部の機能構成について〕
次に、図25を用いて、エンゲージメント予測処理部70が有する機能構成の一例について説明する。図25は、実施形態に係るエンゲージメント予測処理部の機能構成の一例を示す図である。図25に示すように、エンゲージメント予測処理部70は、推定部71を有する。
[2-6-3. Regarding the functional configuration of the engagement prediction processing unit]
Next, an example of the functional configuration of the engagement prediction processing unit 70 will be described with reference to FIG. 25 . 25 is a diagram illustrating an example of a functional configuration of an engagement prediction processing unit according to the embodiment; FIG. As shown in FIG. 25 , the engagement prediction processing section 70 has an
推定部71は、対象利用者の発話を含むセッションに対する評価結果に基づいて、対象利用者による将来の対話サービスの利用態様を推定する。例えば、推定部71は、観測期間における好意的指標発話の指標スコアの合計、すなわち、利用者による評価がどれくらい好意的であるかを示す好意的スコアを算出する。また、推定部71は、観測期間における非好意的指標発話の指標スコアの合計、すなわち、利用者による評価がどれくらい非好意的であるかを示す非好意的スコアを算出する。そして、推定部71は、好意的好意的スコアおよび非好意的スコアの比に基づいて、対象利用者の将来のエンゲージメント、すなわち、利用態様の推定を行う。
The estimating
また、推定部71は、対象利用者の観測期間における各セッションが高満足セッションであるか、低満足セッションであるかを特定する。そして、推定部71は、高満足セッションおよび低満足セッションの数や割合等に基づいて、対象利用者の将来の利用態様の推定を行う。
In addition, the
〔2-7.各処理の関連性について〕
ここで、図26を用いて、指標発話抽出処理部50が実行する抽出処理、セッション評価処理部60が実行する評価処理、およびエンゲージメント予測処理部70が実行する予測処理の関連性について説明する。図26は、実施形態に係る情報提供装置が実行する処理の関連性の一例を示す図である。
[2-7. Regarding the relevance of each process]
Here, with reference to FIG. 26, the relationship between the extraction processing performed by the index utterance
まず、抽出処理と評価処理との関係性について説明する。例えば、評価が高いセッションには、好意的指標発話が含まれやすく、低評価セッションには、非好意的指標発話が含まれやすいと推定される。このため、セッションの評価結果は、指標発話の抽出処理に利用することができる。より具体的には、情報提供装置10は、上述した評価処理によりセッションの評価を進めることで、指標発話の抽出量や抽出精度を向上させることができる。一方、好意的指標発話が含まれるセッションは、評価が高いと推定され、非好意的指標発話が含まれるセッションは、評価が低いと推定される。このため、指標発話の抽出結果は、セッションの評価処理に利用することができる。より具体的には、情報提供装置10は、上述した抽出処理により指標発話を抽出することで、セッションの評価精度を向上させることができる。
First, the relationship between extraction processing and evaluation processing will be described. For example, it is estimated that a session with a high evaluation tends to include favorable indicator utterances, and a session with a low evaluation tends to include unfavorable indicator utterances. Therefore, the evaluation result of the session can be used for the index utterance extraction process. More specifically, the
続いて、抽出処理と予測処理との関係性について説明する。例えば、エンゲージメントが高い利用者は好意的指標発話を発話した頻度が高く、エンゲージメントが低い利用者は、非好意的指標発話を発話した頻度が低いと推定される。このため、エンゲージメントの予測結果は、指標発話の抽出処理に利用することができる。より具体的には、情報提供装置10は、エンゲージメントの予測を行うことで、指標発話の抽出量や抽出精度を向上させることができる。一方、好意的指標発話が多い利用者はエンゲージメントが高く、非好意的指標発話が多い利用者はエンゲージメントが低いと推定される。このため、指標発話の抽出結果は、エンゲージメントの予測処理に利用することができる。より具体的には、情報提供装置10は、指標発話の抽出を行うことで、エンゲージメントの予測精度を向上させることができる。
Next, the relationship between extraction processing and prediction processing will be described. For example, it is estimated that users with high engagement uttered favorable indicator utterances frequently, and users with low engagement uttered unfavorable indicator utterances less frequently. Therefore, the engagement prediction result can be used for index utterance extraction processing. More specifically, the
続いて、評価処理と予測処理との関係性について説明する。例えば、評価が高いセッションが多い利用者のエンゲージメントは高く、評価が低いセッションが多い利用者のエンゲージメントは低いと推定される。このため、セッションの評価結果は、エンゲージメントの予測処理に利用することができる。より具体的には、情報提供装置10は、セッションの評価を行うことで、エンゲージメントの予測精度を向上させることができる。一方、エンゲージメントが高い利用者は、セッションの評価が高く、エンゲージメントが低い利用者は、セッションの評価が低いと推定される。このため、エンゲージメントの予測結果は、セッションの評価処理に利用することができる。より具体的には、情報提供装置10は、エンゲージメントの予測を行うことで、セッションの評価精度を向上させることができる。
Next, the relationship between evaluation processing and prediction processing will be described. For example, it is estimated that a user with many sessions with high ratings has high engagement, and a user with many sessions with low ratings has low engagement. Therefore, session evaluation results can be used for engagement prediction processing. More specifically, the
このように、上述した各種の抽出処理、評価処理、および予測処理は、相互にブートストラップの関係性を有する。そこで、情報提供装置10は、各処理を順番に繰り返し実行することで、各処理の精度を漸進的に向上させることができる。例えば、情報提供装置10は、抽出処理と予測処理、抽出処理と評価処理、あるいは、評価処理と予測処理を交互に実行してもよい。また、情報提供装置10は、各処理を順番に繰り返し実行してもよい。
In this way, the various extraction processes, evaluation processes, and prediction processes described above have a bootstrap relationship with each other. Therefore, the
〔2-8.強化学習処理について〕
図2に戻り、説明を続ける。強化学習処理部80は、対話装置200が用いる対話モデルの強化学習を実行する。
[2-8. Reinforcement learning processing]
Returning to FIG. 2, the description is continued. The reinforcement learning processing unit 80 executes reinforcement learning of the dialogue model used by the
〔2-8-1.強化学習の一例について〕
例えば、図27は、対話モデルの強化学習を実行する処理の概念を示す図である。対話装置200は、対話モデルM10を用いて、利用者の発話に対する応答を生成する。ここで、対話サービスにおいては、応答に対し、利用者が全く新規な内容(それまでのセンテンスとは異なるセンテンス)の発話を行う場合もあれば、応答に対する評価を含む発話を行う場合もある。例えば、上述した好意的指標発話や非好意的指標発話は、直前に行われた応答に対する評価であると考えられる。すると、対話モデルM10を強化学習におけるエージェント、利用者を強化学習による環境と見做した場合、利用者が発話した各種の指標発話は、エージェントに対する報酬であると見做すことができる。
[2-8-1. An example of reinforcement learning]
For example, FIG. 27 is a diagram illustrating the concept of processing for executing reinforcement learning of a dialogue model. The
そこで、強化学習処理部80は、対話モデルM10に対する指標発話に基づく報酬を設定することで、対話モデルM10の強化学習を実現する。より具体的には、強化学習処理部80は、応答モデルM10に対する発話のうち、対話サービスに対する評価の指標となる指標発話を取得し、取得した指標発話に基づく報酬を設定することで、応答モデルM10の強化学習を行う。 Therefore, the reinforcement learning processing unit 80 implements reinforcement learning for the dialogue model M10 by setting rewards based on index utterances for the dialogue model M10. More specifically, the reinforcement learning processing unit 80 acquires index utterances serving as an evaluation index for the dialogue service from among the utterances to the response model M10, and sets a reward based on the obtained index utterances, thereby obtaining the response model. Reinforcement learning of M10 is performed.
例えば、強化学習処理部80は、セッションログデータベース31を参照し、セッションに含まれる好意的指標発話および非好意的指標発話を特定する。そして、強化学習処理部80は、好意的指標発話が特定された場合、特定された好意的指標発話の直前の応答に対する報酬として、正の報酬を設定し、対話モデルM10の学習を行う。また、強化学習処理部80は、非好意的指標発話が特定された場合、特定された非好意的指標発話の直前の応答に対する報酬として、負の報酬を設定し、対話モデルM10の学習を行う。
For example, the reinforcement learning processing unit 80 refers to the
また、強化学習処理部80は、利用者の発話を模倣する利用者模型モデルM20を生成し、利用者模型モデルM20と対話モデルM10とに仮想的な対話を行わせ、利用者模型モデルM20が出力した指標発話に応じた報酬を設定し、対話モデルM10の強化学習を行ってもよい。例えば、強化学習処理部80は、所定の対話規則や、セッションログデータベース31に登録されたセッションを学習データとして、利用者模型モデルM20を生成する。続いて、強化学習処理部80は、利用者模型モデルM20が生成した発話を対話モデルM10に入力し、対話モデルM10が出力した応答を利用者模型モデルM20に入力する。
Further, the reinforcement learning processing unit 80 generates a user model model M20 that imitates the user's utterance, causes the user model model M20 and the dialogue model M10 to have a virtual dialogue, and the user model model M20 Reinforcement learning of the dialogue model M10 may be performed by setting a reward according to the output index utterance. For example, the reinforcement learning processing unit 80 generates the user model model M20 using predetermined dialogue rules and sessions registered in the
また、強化学習処理部80は、対話モデルM10と利用者模型モデルM20との仮想的な対話を繰り返し実行させる。そして、強化学習処理部80は、利用者模型モデルM20が発話として指標発話を出力した場合は、指標発話に応じた報酬を設定し、設定した報酬に基づいて、対話モデルM10の強化学習を行う。 Further, the reinforcement learning processing unit 80 repeatedly executes a virtual dialogue between the dialogue model M10 and the user model model M20. Then, when the user model model M20 outputs an index utterance as an utterance, the reinforcement learning processing unit 80 sets a reward corresponding to the index utterance, and performs reinforcement learning of the dialogue model M10 based on the set reward. .
〔2-8-2.強化学習処理部が有する機能構成の一例〕
次に、図28を用いて、強化学習処理部80が有する機能構成の一例について説明する。図28は、実施形態に係る強化学習処理部の機能構成の一例を示す図である。図28に示すように、強化学習処理部80は、指標発話取得部81、報酬設定部82、および強化学習部83を有する。
[2-8-2. Example of functional configuration possessed by reinforcement learning processing unit]
Next, an example of the functional configuration of the reinforcement learning processing unit 80 will be described with reference to FIG. 28 . 28 is a diagram illustrating an example of a functional configuration of a reinforcement learning processing unit according to the embodiment; FIG. As shown in FIG. 28 , the reinforcement learning processing section 80 has an indicator utterance acquisition section 81 , a reward setting section 82 and a
指標発話取得部81は、対話モデルM10に対する発話のうち、対話サービスに対する評価の指標となる指標発話を取得する。より具体的には、指標発話取得部81は、利用者や利用者模型モデルM20が出力した発話から、好意的指標発話や非好意的指標発話を取得する。例えば、指標発話取得部81は、セッションログデータベース31を参照し、指標発話を取得する。また、指標発話取得部81は、利用者模型モデルM20が出力した発話のうち、指標発話を取得する。
The index utterance acquisition unit 81 acquires an index utterance that serves as an index for evaluating the dialogue service among the utterances for the dialogue model M10. More specifically, the index utterance acquisition unit 81 acquires favorable index utterances and unfavorable index utterances from the utterances output by the user and the user model model M20. For example, the index utterance acquisition unit 81 refers to the
報酬設定部82は、指標発話取得部18が取得した指標発話に応じた報酬を設定する。例えば、報酬設定部82は、取得された指標発話の指標スコアに応じた報酬を設定する。より具体的には、報酬設定部82は、取得された指標発話が好意的指標発話である場合は、正の報酬を設定し、取得された指標発話が非好意的指標発話である場合は、負の報酬を設定する。 The reward setting unit 82 sets a reward according to the index utterance acquired by the index utterance acquisition unit 18 . For example, the reward setting unit 82 sets a reward according to the index score of the acquired index utterance. More specifically, the reward setting unit 82 sets a positive reward when the obtained index utterance is a favorable index utterance, and sets a positive reward when the obtained index utterance is a non-favorable index utterance. Set negative rewards.
強化学習部83は、報酬設定部82が設定した報酬を用いて、対話モデルM10の強化学習を行う。例えば、強化学習部83は、指標発話取得部81がセッションからある指標発話を抽出した場合、その指標発話の直前の応答を特定し、特定した応答を対話モデルM10が出力した際の報酬が、その指標発話に基づく報酬であるものとして、対話モデルM10の強化学習を行う。
The
また、例えば、強化学習部83は、対話モデルM10が生成した応答に対して指標発話を出力する発話モデル、すなわち、利用者模型モデルM20が出力した指標発話に基づく報酬を用いて、対話モデルM10の強化学習を行う。例えば、強化学習部83は、セッションログデータベース31に登録された各セッションの内容や、対話規則を用いて、利用者模型モデルM20の学習を行う。このような利用者模型モデルM20は、例えば、対話モデルM10の学習と同様の学習手法が採用可能である。
Further, for example, the
続いて、強化学習部83は、利用者模型モデルM20と対話モデルM10とに仮想的な対話を実行させる。そして、強化学習部83は、利用者模型モデルM20が指標発話を出力した場合は、報酬設定部82が設定した報酬に基づいて、対話モデルM10の強化学習を実行する。
Subsequently, the
〔3.情報提供装置が実行する処理の流れの一例〕
続いて、図29~図37を用いて、情報提供装置10が実行する各処理の流れの一例を説明する。
[3. Example of flow of processing executed by information providing device]
Next, an example of the flow of each process executed by the
〔3-1.利用態様に基づく処理の流れの一例〕
まず、図29を用いて、情報提供装置10が利用態様に基づいて実行する処理の流れの一例を説明する。図29は、実施形態に係る情報提供装置が利用態様に基づいて実行する処理の流れの一例を示すフローチャートである。
[3-1. Example of flow of processing based on usage mode]
First, with reference to FIG. 29, an example of the flow of processing executed by the
まず、情報提供装置10は、各利用者の対話サービスの利用態様を特定する(ステップS101)。続いて、情報提供装置10は、特定結果が所定の条件を満たす利用者を特定する(ステップS102)。そして、情報提供装置10は、特定した利用者の発話を含むセッションを抽出する(ステップS103)。また、情報提供装置10は、このようにして抽出したセッションを学習データとして、エンゲージメントセッション評価モデルM6の学習を行い(ステップS104)、処理を終了する。
First, the
なお、情報提供装置10は、抽出したセッションの評価を行ってもよい(ステップS105)。例えば、情報提供装置10は、エンゲージメントが高い利用者のセッションを抽出した場合、それらのセッションを高満足セッションであると評価してもよい。また、情報提供装置10は、このようにして抽出したセッションから指標発話を抽出してもよい(ステップS106)。例えば、情報提供装置10は、エンゲージメントが高い利用者のセッションにおける出現頻度が所定の条件を満たす発話を好意的指標発話として抽出し、エンゲージメントが低い利用者のセッションにおける出現頻度が所定の条件を満たす発話を非好意的指標発話として抽出してもよい。
Note that the
〔3-2.指標発話を抽出する処理の流れの一例〕
次に、図30を用いて、情報提供装置10が指標発話を抽出する処理の流れの一例を説明する。図30は、実施形態に係る情報提供装置が指標発話を抽出する処理の流れの一例を示すフローチャートである。
[3-2. Example of flow of processing for extracting indicator utterance]
Next, with reference to FIG. 30, an example of the flow of processing in which the
まず、情報提供装置10は、利用態様が所定の条件を満たす利用者のセッションを取得し(ステップS201)、取得したセッションにおける出現頻度に基づいて、指標発話を抽出する(ステップS202)。そして、情報提供装置10は、指標発話との共起性に基づいて、新たな指標発話をさらに抽出し(ステップS203)、処理を終了する。
First, the
なお、情報提供装置10は、抽出した指標発話に基づいて、セッションの評価を行ってもよい(ステップS204)。例えば、情報提供装置10は、好意的指標発話を多く含むセッションを高満足セッションと評価し、非好意的指標発話を多く含むセッションを低満足セッションと評価してもよい。また、情報提供装置10は、指標発話の出現頻度に基づいて、利用者の利用態様を推定してもよい(ステップS205)。例えば、情報提供装置10は、好意的指標発話を多く発話する利用者を、エンゲージメントが高い利用者と推定し、非好意的指標発話を多く含む利用者を、エンゲージメントが低い利用者と推定してもよい。
Note that the
〔3-3.セッションを評価する処理の流れの一例〕
次に、図31を用いて、情報提供装置10がセッションを評価する処理の流れの一例を説明する。図31は、実施形態に係る情報提供装置がセッションを評価する処理の流れの一例を示すフローチャートである。
[3-3. An example of the flow of processing for evaluating a session]
Next, with reference to FIG. 31, an example of the flow of processing in which the
まず、情報提供装置10は、評価対象となるセッションを取得し(ステップS301)、取得したセッションにおける指標発話の出現頻度に基づいて、セッションを評価する(ステップS302)。例えば、情報提供装置10は、好意的指標発話を多く含むセッションを高満足セッションと評価し、非好意的指標発話を多く含むセッションを低満足セッションと評価する。そして、情報提供装置10は、評価結果に対応するラベルが付与された学習データとして、セッションの特徴を学習し(ステップS303)、処理を終了する。例えば、情報提供装置10は、高満足セッションや低満足セッションの特徴を、各モデルM3、M4に学習させる。
First, the
なお、情報提供装置10は、セッションの評価結果に基づいて、セッションから新たな指標発話の抽出を行ってもよい(ステップS304)。例えば、情報提供装置10は、高満足セッションでの出現頻度が高い発話を好意的指標発話として抽出し、低満足セッションでの出現頻度が高い発話を非好意的指標発話として抽出してもよい。また、情報提供装置10は、セッションの評価結果に基づいて、利用者の利用態様を推定してもよい(ステップS305)。例えば、情報提供装置10は、高満足セッションが多い利用者をエンゲージメントが高い利用者とし、低満足セッションが多い利用者をエンゲージメントが低い利用者と推定してもよい。
Note that the
〔3-4.画像に基づいてセッションを評価する処理の流れの一例〕
次に、図32を用いて、情報提供装置10が画像に基づいてセッションを評価する処理の流れの一例を説明する。図32は、実施形態に係る情報提供装置が画像に基づいてセッションを評価する処理の流れの一例を示すフローチャートである。
[3-4. An example of the flow of processing for evaluating a session based on images]
Next, with reference to FIG. 32, an example of the flow of processing in which the
まず、情報提供装置10は、評価対象となるセッションを取得し(ステップS401)、取得したセッションに含まれる発話の文字が相互に同一か否かを示す画像、すなわち、分布画像を生成する(ステップS402)。そして、情報提供装置10は、生成した分布画像に基づいて、セッションを評価する(ステップS403)。例えば、情報提供装置10は、分布画像に斜線が含まれている場合は、繰り返し評価モデルM1によって繰り返しが含まれると分類された場合は、対象セッションを低満足セッションと評価する。そして、情報提供装置10は、評価結果に対応するラベルが付与された学習データとして、セッションの特徴を学習し(ステップS404)、処理を終了する。
First, the
なお、情報提供装置10は、セッションの評価結果に基づいて、セッションから新たな指標発話の抽出を行ってもよい(ステップS405)。また、情報提供装置10は、セッションの評価結果に基づいて、利用者の利用態様を推定してもよい(ステップS406)。
Note that the
〔3-5.発話の繰り返しに基づいてセッションを評価する処理の流れの一例〕
次に、図33を用いて、情報提供装置10が発話の繰り返しに基づいてセッションを評価する処理の流れの一例を説明する。図33は、実施形態に係る情報提供装置が発話の繰り返しに基づいてセッションを評価する処理の流れの一例を示すフローチャートである。
[3-5. An example of the flow of processing for evaluating a session based on repetition of utterance]
Next, with reference to FIG. 33, an example of the flow of processing in which the
まず、情報提供装置10は、評価対象となるセッションを取得し(ステップS501)、取得したセッションに含まれる発話の文字列の繰り返しに基づいて、セッションを評価する(ステップS502)。例えば、情報提供装置10は、文字列が同一または類似する発話の数や、意味が同一又は類似する発話の数が所定の閾値を超える場合は、低満足セッションであると評価する。そして、情報提供装置10は、評価結果に対応するラベルが付与された学習データとして、セッションの特徴を学習し(ステップS503)、処理を終了する。
First, the
なお、情報提供装置10は、セッションの評価結果に基づいて、セッションから新たな指標発話の抽出を行ってもよい(ステップS504)。また、情報提供装置10は、セッションの評価結果に基づいて、利用者の利用態様を推定してもよい(ステップS505)。
Note that the
〔3-6.発話を報酬とした強化学習の処理の流れの一例〕
次に、図34を用いて、情報提供装置10が発話を報酬として実行する強化学習の流れの一例を説明する。図34は、実施形態に係る情報提供装置が発話を報酬として実行する強化学習の流れの一例を示すフローチャートである。
[3-6. Example of Reinforcement Learning Processing Flow Using Utterances as Rewards]
Next, an example of the flow of reinforcement learning in which the
まず、情報提供装置10は、対話モデルM10に対して発話を入力し(ステップS601)、対話モデルM10が出力した応答を利用者模型モデルM20に入力することで、応答に対する指標発話を取得する(ステップS602)。そして、情報提供装置10は、利用者模型モデルM20から取得した指標発話を報酬として、対話モデルM10の強化学習を実行し(ステップS603)、処理を終了する。
First, the
〔3-7.共起性に基づいて指標発話を抽出する処理の流れの一例〕
次に、図35を用いて、情報提供装置10が共起性に基づいて指標発話を抽出する処理の流れの一例を説明する。図35は、実施形態に係る情報提供装置が共起性に基づいて指標発話を抽出する処理の流れの一例を示すフローチャートである。
[3-7. An example of the flow of processing for extracting index utterances based on co-occurrence]
Next, with reference to FIG. 35, an example of the flow of processing in which the
まず、情報提供装置10は、セッションの履歴から指標発話を特定し(ステップS701)、発話ごとに、各セッションにおける指標発話との共起性を特定する(ステップS702)。そして、情報提供装置10は、特定した共起性に基づいて、新たな指標発話を抽出する(ステップS703)。例えば、情報提供装置10は、好意的指標発話との共起性が高い発話を新たな好意的指標発話として抽出し、非好意的指標発話との共起性が高い発話を新たな非好意的指標発話として抽出する。
First, the
なお、情報提供装置10は、このようにして新たに抽出した指標発話との共起性に基づいて、さらに新たな指標発話を抽出してもよい(ステップS704)。また、情報提供装置10は、このようにして新たに抽出した指標発話に基づいて、セッションを評価を行ってもよく(ステップS705)、指標発話の出現頻度に基づいて、利用者の利用態様を推定してもよい(ステップS706)。
Note that the
〔3-8.3値評価モデルを用いて、セッションを評価する処理の流れの一例〕
次に、図36を用いて、3値評価モデルM5を用いてセッションを評価する処理の流れの一例を説明する。図36は、実施形態に係る情報提供装置が3値評価モデルを用いてセッションを評価する処理の流れの一例を示すフローチャートである。
[3-8. An example of a process flow for evaluating a session using a ternary evaluation model]
Next, with reference to FIG. 36, an example of the flow of processing for evaluating sessions using the ternary evaluation model M5 will be described. FIG. 36 is a flowchart illustrating an example of the flow of processing in which the information providing device according to the embodiment evaluates a session using a ternary evaluation model;
まず、情報提供装置10は、セッションの履歴から好意的指標発話、非好意的指標発話および中性発話を特定し(ステップS801)、各指標発話から所定の数だけ前の発話および応答を学習データとして抽出する(ステップS802)。すなわち、情報提供装置10は、好意的対話例FD、中性対話例ND、および非好意的対話例UDを生成する。また、情報提供装置10は、抽出した学習データに含まれる指標発話に応じたラベルを付与し(ステップS803)、学習データを用いて、3値評価モデルM5の学習を行う(ステップS804)。その後、情報提供装置10は、3値評価モデルM5を用いて、セッションの評価を行い(ステップS805)、処理を終了する。
First, the
〔3-9.複数のモデルを用いて、セッションを評価する処理の流れの一例〕
次に、図37を用いて、複数のモデルM1~M7を用いてセッションを評価する処理の流れの一例を説明する。図37は、実施形態に係る情報提供装置が複数のモデルを用いてセッションを評価する処理の流れの一例を示すフローチャートである。
[3-9. An example of the process flow for evaluating a session using multiple models]
Next, with reference to FIG. 37, an example of the flow of processing for evaluating a session using a plurality of models M1-M7 will be described. 37 is a flowchart illustrating an example of the flow of processing in which the information providing device according to the embodiment evaluates sessions using a plurality of models; FIG.
例えば、情報提供装置10は、評価対象となるセッションを取得し(ステップS901)、それぞれ異なる特徴を学習した複数のモデルM1~M7にセッションを評価させる(ステップS902)。そして、情報提供装置10は、各モデルM1~M7の評価結果を統合し、セッションを評価して(ステップS903)、処理を終了する。
For example, the
〔4.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[4. others〕
Further, among the processes described in the above embodiments, all or part of the processes described as being automatically performed can be manually performed, and conversely, the processes described as being performed manually can be performed manually. can also be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Moreover, each of the embodiments described above can be appropriately combined within a range that does not contradict the processing contents.
〔5.プログラム〕
また、上述した実施形態に係る情報提供装置10は、例えば図38に示すような構成のコンピュータ1000によって実現される。図38は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
[5. program〕
Also, the
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
The
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
The output IF 1060 is an interface for transmitting information to be output to the
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
Note that the
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
Network IF 1080 receives data from other devices via network N and sends the data to
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
The
例えば、コンピュータ1000が情報提供装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部40の機能を実現する。また、例えば、コンピュータ1000が端末装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部40の機能を実現する。
For example, when the
〔6.実験結果について〕
次に、図39~図47を用いて、上述した情報提供装置10の実験結果の一例について説明する。
[6. About the experimental results]
Next, an example of experimental results of the
〔6-1.データについて〕
まず、情報提供装置10の実験に用いたセッションデータの一例について説明する。以下の実験においては、少なくとも2つ以上の発話や応答を含む4000個のセッションに対し、クラウドソージングによりラベルの付与を行った。具体的には、トレーニング用セッション(Training)を2000個、調整用セッション(Validation)を1000個、およびテスト用セッション(Test)を1000個準備した。また、7人の判定者に対して各セッションを提示し、利用者がイライラ(frustrated)していると判断される場合は、「Yes」、利用者がイライラしていないと判断される場合は、「No」のラベルを各セッションに付与させた。
[6-1. About data]
First, an example of session data used for experiments on the
例えば、図39は、セッションデータに対するラベル付の結果の一例を示す図である。例えば、図39に示す例では、少なくとも1人の判定者が「Yes」のラベルを付与したセッションをFL(Frustration Level)1、少なくとも2人の判定者が「Yes」のラベルを付与したセッションをFL2、少なくとも3人の判定者が「Yes」のラベルを付与したセッションをFL3、少なくとも4人の判定者が「Yes」のラベルを付与したセッションをFL4と記載した。また、図39では、トレーニング用セッション、調整用セッション、およびテスト用セッションのうち、FL1~FL4に分類されたセッションの数を記載した。 For example, FIG. 39 is a diagram showing an example of labeling results for session data. For example, in the example shown in FIG. 39, a session labeled "Yes" by at least one judge is FL (Frustration Level) 1, and a session labeled "Yes" by at least two judges is FL (Frustration Level) 1. FL2, a session labeled "Yes" by at least three judges was labeled FL3, and a session labeled "Yes" by at least four judges was labeled FL4. FIG. 39 also shows the number of sessions classified into FL1 to FL4 among training sessions, adjustment sessions, and test sessions.
〔6-2.第1実験について〕
続いて、上述したセッションデータを用いた第1実験の内容について説明する。第1実験においては、実験対象としてProp_Dで示す方式およびProp_Uで示す方式を設定し、比較対象となるベースラインとして、BL_S1、BL_S2、およびBL_SSで示す方式を設定した。
[6-2. About the first experiment]
Next, the content of the first experiment using the session data described above will be described. In the first experiment, the method indicated by Prop_D and the method indicated by Prop_U were set as experimental targets, and the methods indicated by BL_S1, BL_S2, and BL_SS were set as baselines to be compared.
ここで、Prop_Dは、図1に示すように、繰り返し評価モデルM1、謝罪評価モデルM2、非好意的指標発話評価モデルM3、および好意的指標発話評価モデルM4を用いた判定手法である。例えば、Prop_Dにおいては、テストセッションを各モデルM1~M4に入力して不満足度スコアを算出した。また、Prop_Dにおいては、算出した不満足度スコアの値が高い方から順に50万のセッションを低満足セッション(すなわち、ラベルが「Yes」)であると判定し、不満足度スコアの値が高い方から順に50万のセッションを高満足セッション(すなわち、ラベルが「No」)であると判定した。 Prop_D is, as shown in FIG. 1, a determination method using a repetition evaluation model M1, an apology evaluation model M2, an unfavorable index utterance evaluation model M3, and a favorable index utterance evaluation model M4. For example, in Prop_D, a test session was input into each model M1-M4 to calculate a dissatisfaction score. In Prop_D, the 500,000 sessions with the highest dissatisfaction score calculated are determined to be low-satisfaction sessions (that is, the label is "Yes"), and the dissatisfaction score Half a million sessions in turn were determined to be highly satisfying sessions (ie, labeled "No").
ここで、Prop_Dにおいては、繰り返し評価モデルM1の学習を行う際に、図17に示した手法を用いて、学習データを生成し、図18に示すように、生成した学習データの分布画像が有する特徴を繰り返し評価モデルM1に学習させた。また、Prop_Dにおいては、謝罪評価モデルM2の学習を行う際に、図19に示した手法を用いて、学習データを生成し、学習データが有する特徴を謝罪評価モデルM2に学習させた。また、Prop_Dにおいては、図13に示した手法を用いて、好意的指標発話評価モデルM3および非好意的指標発話評価モデルM4の学習を行った。また、Prop_Dにおいては、繰り返し評価モデルM1として画像分類を行うモデルを採用し、モデルM2~M4として、LSTMを用いて入力された情報の分類を行うモデルを採用した。 Here, in Prop_D, when learning the iterative evaluation model M1, learning data is generated using the method shown in FIG. 17, and as shown in FIG. The features were iteratively learned by the evaluation model M1. Also, in Prop_D, when learning the apology evaluation model M2, learning data was generated using the method shown in FIG. 19, and the apology evaluation model M2 was made to learn the features of the learning data. Also, in Prop_D, the favorable indicator utterance evaluation model M3 and the unfavorable indicator utterance evaluation model M4 were learned using the method shown in FIG. In Prop_D, a model for image classification is adopted as the iterative evaluation model M1, and a model for classifying input information using LSTM is adopted as the models M2 to M4.
また、Prop_Uは、図1に示す各モデルM1~M4のうち、繰り返し評価モデルM1および謝罪評価モデルM2のみを用いた判定手法である。このような判定手法は、モデルの学習に指標発話が必要ないため、予め人手でデータを作成する必要がなく、Unsupervisedな手法となる。例えば、Prop_Uでは、対象セッションを繰り返し評価モデルM1および謝罪評価モデルM2に入力し、各モデルM1、M2が出力した満足度の和を不満足度スコアとして算出した。また、Prop_Uでは、算出した不満足度スコアの値が高い方から順に50万のセッションを低満足セッション(すなわち、ラベルが「Yes」)であると判定し、不満足度スコアの値が高い方から順に50万のセッションを高満足セッション(すなわち、ラベルが「No」)であると判定した。 Prop_U is a judgment method that uses only the repeat evaluation model M1 and the apology evaluation model M2 among the models M1 to M4 shown in FIG. Such a determination method does not require index utterances for model learning, and thus does not require manual data creation in advance, making it an unsupervised method. For example, in Prop_U, the target session is repeatedly input to the evaluation model M1 and the apology evaluation model M2, and the sum of the degrees of satisfaction output by each model M1 and M2 is calculated as the dissatisfaction score. Also, in Prop_U, the 500,000 sessions with the highest dissatisfaction score calculated are determined to be low-satisfaction sessions (that is, the label is "Yes"), and the dissatisfaction score Half a million sessions were determined to be highly satisfied sessions (ie labeled "No").
また、BL_S1は、上述したトレーニング用セッションを用いて学習を行い、調整用セッションを用いて、調整を行ったモデルを用いた。また、BL_S1では、上述したProp_DやProp_Uと同様に、LSTMを用いて入力された情報の分類を行うモデルを採用した。 Also, BL_S1 used a model that was trained using the above-described training session and adjusted using the adjustment session. Also, in BL_S1, similarly to Prop_D and Prop_U described above, a model for classifying input information using LSTM is adopted.
また、BL_S2では、トレーニング用セッションを用いて学習を行い、調整用セッションを用いて調整を行ったSVMを用いた。また、BL_S2では、上述したBL_S1で利用したモデルのLSTM層の出力をSVMに入力し、SVMの出力を分類結果として採用した。 Also, in BL_S2, an SVM that was trained using a training session and adjusted using an adjustment session was used. Also, in BL_S2, the output of the LSTM layer of the model used in BL_S1 described above is input to the SVM, and the output of the SVM is adopted as the classification result.
また、BL_SSでは、トレーニング用セッションに加え、ラベルが付与されていない百万個のセッションを用いて学習が行われたトランスダクティブSVM(TSVM)を用いた。また、調整用セッションおよびテスト用セッションは、ラベルを無視することで、ラベルが付与されていないセッションとして学習に利用した。 In BL_SS, a transductive SVM (TSVM) was used, which was trained using one million unlabeled sessions in addition to training sessions. In addition, the adjustment session and the test session were used for learning as unlabeled sessions by ignoring labels.
ここで、第1実験においては、上述した各種の手法によりFL1~FL4に分類されたセッションの分類を行い、分類結果のアキュラシー(正確性)、プレシジョン(適合率)、リコール(再現率)、および適合率と再現率との調和平均であるF1値を算出した。図40は、第1実験の結果を示す図である。なお、図40に示す例では、Prop_Dとの有意差がある手法にアスタリスクを、Prop_Uとの有意差がある手法にシャープを付した。図40に示すように、F1値を比較対象とした場合、FL1、FL2、およびFL3に分類されたセッションデータの分類結果においては、Prop_Dによる分類結果の精度が最も良くなった。 Here, in the first experiment, the sessions classified into FL1 to FL4 are classified by the various methods described above, and the accuracy (accuracy), precision (relevance rate), recall (recall rate), and And the F1 value, which is the harmonic mean of precision and recall, was calculated. FIG. 40 shows the results of the first experiment. In addition, in the example shown in FIG. 40, asterisks are attached to methods having a significant difference from Prop_D, and sharp marks are attached to methods having a significant difference from Prop_U. As shown in FIG. 40, when the F1 value is used as a comparison target, among the classification results of the session data classified into FL1, FL2, and FL3, the accuracy of the classification result by Prop_D is the best.
〔6-3.第2実験について〕
続いて、上述した各モデルが精度にどれくらい寄与しているかを判断するため、以下の第2実験を行った。第2実験においては、Prop_Dにおいて繰り返し評価モデルM1を取り除いたw/o-Rep、Prop_Dにおいて謝罪評価モデルM2を取り除いたw/o-Apo、Prop_Dにおいて非好意的指標発話評価モデルM3を取り除いたw/o-Unf、Prop_Dにおいて好意的指標発話評価モデルM4を取り除いたw/o-Favという方式を設定した。
[6-3. Regarding the second experiment]
Subsequently, in order to determine how much each model described above contributes to accuracy, the following second experiment was conducted. In the second experiment, w/o-Rep from which the repeated evaluation model M1 was removed in Prop_D, w/o-Apo from which the apology evaluation model M2 was removed from Prop_D, and w from which the unfavorable index utterance evaluation model M3 was removed from Prop_D. In /o-Unf and Prop_D, a method called w/o-Fav was set by removing the favorable index utterance evaluation model M4.
また、第2実験においては、図1に示す4つのモデルM1~M4を利用しないw/o-RAUFという方式を設定した。w/o-RAUFでは、50万個の高満足セッションと50万個の低満足セッションとを学習データとし、入力されたセッションを高満足セッション(すなわち、ラベルが「No」のセッション)もしくは低満足セッション(すなわち、ラベルが「Yes」のセッション)に分類するモデルの学習を行い、学習したモデルを用いてセッションの分類を行った。 Also, in the second experiment, a system called w/o-RAUF that does not use the four models M1 to M4 shown in FIG. 1 was set. In w / o-RAUF, 500,000 high-satisfaction sessions and 500,000 low-satisfaction sessions are used as learning data, and the input sessions are high-satisfaction sessions (that is, sessions labeled “No”) or low-satisfaction A model for classifying sessions (that is, sessions with the label “Yes”) was trained, and sessions were classified using the trained model.
また、第2実験においては、w/o-CandRetという方式を設定した。w/o-CandRetでは、予め取得されたセッションの履歴に対し、上述した各モデルM1~M4を用いて不満足度スコアを算出し、算出したスコアが多い方から順に50万個のセッションをラベルが「Yes」のセッションとして抽出し、算出したスコアが低い方から順に50万個のセッションをラベルが「No」のセッションとして抽出した。そして、w/o-CandRetでは、生成した学習データを用いて、入力されたセッションを分類するモデルの学習を行い、学習したモデルを用いてセッションの分類を行った。 Also, in the second experiment, a method called w/o-CandRet was set. In w/o-CandRet, the dissatisfaction score is calculated using each of the models M1 to M4 described above for the history of sessions acquired in advance, and 500,000 sessions are labeled in descending order of the calculated score. Sessions were extracted as "Yes" sessions, and 500,000 sessions with lower calculated scores were extracted as sessions labeled "No". In w/o-CandRet, a model for classifying input sessions is learned using the generated learning data, and sessions are classified using the learned model.
そして、第2実験においても、上述した各種の手法によりFL1~FL4に分類されたセッションの分類を行い、分類結果のアキュラシー(正確性)、プレシジョン(適合率)、リコール(再現率)、およびF1値を算出した。図41は、第2実験の結果を示す図である。図41に示すように、F1値を比較対象とした場合、Prop_Dの精度が最も高く、また、各モデルM1~M4のいずれかを利用しない場合に、精度が低下してしまうことが分かった。この結果、いずれのモデルM1~M4も、セッションの分類精度の向上に寄与していることが分かった。 Then, in the second experiment, the sessions classified into FL1 to FL4 were classified by the various methods described above, and the accuracy (accuracy), precision (relevance rate), recall (recall rate), and The F1 value was calculated. FIG. 41 shows the results of the second experiment. As shown in FIG. 41, when the F1 value is used as a comparison target, the accuracy of Prop_D is the highest, and it was found that the accuracy decreases when one of the models M1 to M4 is not used. As a result, it was found that all of the models M1 to M4 contributed to the improvement of session classification accuracy.
〔6-4.第3実験について〕
続いて、上述したProp_Dにおいて、分類精度に対する学習データの量の寄与を判断するため、以下の第3実験を行った。なお、以下の説明では、使用した学習データの量を添え字のkで示すものとする。例えば、Prop_D_kは、k/2個の高満足セッションとk/2個の低満足セッションとを用いて各モデルM1~M4を学習し、学習した各モデルM1~M4を用いて、テストセッションの分類を行った旨を示す。また、第3実験においては、kの値を50万(500k)、100万(1M)、200万(2M)、300万(3M)、および400万(4M)と変更することで、学習データの量の各手法における精度への寄与を調べた。
[6-4. Regarding the third experiment]
Subsequently, in Prop_D described above, the following third experiment was conducted in order to determine the contribution of the amount of learning data to the classification accuracy. In the following description, the amount of learning data used is indicated by the suffix k. For example, Prop_D_k trains each model M1-M4 using k/2 high-satisfaction sessions and k/2 low-satisfaction sessions, and uses each trained model M1-M4 to classify test sessions. indicates that the Also, in the third experiment, the learning data The contribution of the amount of to the accuracy in each method was investigated.
図42は、第3実験におけるProp_Dの結果を示す図である。なお、図42では、kを1Mとした際との有意差を有する結果にアスタリスクを付与した。図42に示すように、Prop_Dにおいては、テストセッションの分類に係わらず、k=2Mとした場合に最も精度が高くなることがわかった。これは、学習データが200万よりも少ないと精度の向上の余地があり、学習データが200万を超えると過学習が生じてしまうためとも考えられる。 FIG. 42 is a diagram showing the results of Prop_D in the third experiment. In addition, in FIG. 42, asterisks are given to results having a significant difference from when k is 1M. As shown in FIG. 42, it was found that Prop_D has the highest accuracy when k=2M regardless of the test session classification. This is probably because there is room for improvement in accuracy when the number of learning data is less than 2 million, and over-learning occurs when the number of learning data exceeds 2 million.
〔6-5.第4実験について〕
ここで、上述したProp_Dでは、繰り返し発話や謝罪、および指標発話に基づく評価を行うモデルとして、ニューラルネットワークを利用していた。ここで、各認識にニューラルネットワークを利用することの効果を検査するため、以下の第4実験を行った。例えば、第4実験では、Prop_Dの手法において、ニューラルネットワークの代わりに、編集距離を用いて繰り返し発話に基づくセッションの評価を行い、繰り返し発話や指標発話に基づく評価を文字列マッチングにより行う手法をProp_Sとして実行した。
[6-5. Regarding the fourth experiment]
Here, Prop_D described above uses a neural network as a model for performing evaluation based on repeated utterances, apologies, and indicator utterances. Now, in order to examine the effect of using neural networks for each recognition, the following fourth experiment was conducted. For example, in the fourth experiment, in the method of Prop_D, instead of the neural network, the session based on repeated utterances is evaluated using edit distance, and the evaluation based on repeated utterances and index utterances is performed by string matching Prop_S. Executed as
図43は、第4実験におけるProp_Sの結果を示す図である。なお、図43では、FL2、FL3、FL4において、Prop_Dと有意差を有する結果が得られた。図40、図41に示すProp_Dの結果と図43に示すProp_Sの結果とを比較すると、Prop_Sにおいては、Prop_Dよりも適合率が高く、再現率およびF1値が低くなっている。すなわち、Prop_Sは、Prop_Dよりも精度が低くなっていると考えられる。このため、Prop_Dにおいて、セッションを評価する際にニューラルネットワークを利用することで、精度の向上を実現することができる。 FIG. 43 is a diagram showing the results of Prop_S in the fourth experiment. In addition, in FIG. 43, FL2, FL3, and FL4 showed a significant difference from Prop_D. Comparing the results of Prop_D shown in FIGS. 40 and 41 with the results of Prop_S shown in FIG. 43, Prop_S has a higher precision rate and a lower recall rate and F1 value than Prop_D. That is, Prop_S is considered to be less accurate than Prop_D. Therefore, in Prop_D, accuracy can be improved by using a neural network when evaluating a session.
〔6-6.第5実験について〕
次に、Prop_Dにおいて評価に用いられる各モデルの出力を融合させ、汎化能力(未学習データに対する予測能力)を向上させたモデルを用いて、セッションの評価を行う第5実験を行った。より具体的には、第5実験においては、アンサンブルの手法を用いて、Prop_Dの精度をさらに向上させた手法をProp_Eとして実験した。
[6-6. About the fifth experiment]
Next, the output of each model used for evaluation in Prop_D was fused, and a model with improved generalization ability (prediction ability for unlearned data) was used to conduct a fifth experiment to evaluate a session. More specifically, in the fifth experiment, the ensemble method was used to further improve the accuracy of Prop_D, which was used as Prop_E.
図44は、第5実験におけるProp_Eの結果を示す図である。なお、図44では、Prop_Eの結果と、Prop_D_2Mの結果とを並べて記載した。図44に示すように、Prop_Eの結果は、Prop_D_2Mの結果と比較して、F1値が高くなっている。このため、Prop_Eのように、アンサンブルの手法を用いることで、セッションを評価する精度をさらに向上させることができる。 FIG. 44 shows the results of Prop_E in the fifth experiment. In FIG. 44, the results of Prop_E and the results of Prop_D_2M are shown side by side. As shown in FIG. 44, the result of Prop_E has a higher F1 value than the result of Prop_D_2M. Therefore, by using the ensemble method like Prop_E, it is possible to further improve the accuracy of session evaluation.
〔7.実施形態の効果について〕
以下、上述した各処理を実行する情報提供装置10の効果の一例について説明する。
[7. About the effect of the embodiment]
An example of the effect of the
〔7-1.利用態様に基づく学習データの抽出について〕
上述したように、情報提供装置10は、利用者による対話サービスの利用態様を特定する。そして、情報提供装置10は、対話サービスにおける発話と応答とを含むセッションを評価するための学習データとして、特定された利用態様が所定の条件を満たす利用者の発話を含むセッションを対話サービスの履歴から抽出する。
[7-1. Regarding extraction of learning data based on usage mode]
As described above, the
このように、情報提供装置10は、各利用者のエンゲージメントに基づいて、セッションを評価するモデルを学習するための学習データを抽出する。このため、情報提供装置10は、例えば、セッションに対して利用者が満足しているか否かを判定するモデルを学習するための学習データを、人手を介さずに自動で抽出することができる。このような処理の結果、情報提供装置10は、多くの学習データを容易に準備することができるので、モデルの精度を向上させる結果、セッションの評価精度を改善することができる。
In this way, the
また、情報提供装置10は、利用態様として、利用者による対話サービスの利用期間を特定し、利用期間が所定の条件を満たす利用者の発話を含むセッションを学習データとして抽出する。また、情報提供装置10は、利用態様として、利用者による対話サービスの利用頻度を特定し、利用頻度が所定の条件を満たす利用者の発話を含むセッションを学習データとして抽出する。このため、情報提供装置10は、例えば、利用者の満足度が低いセッションを抽出することを目的として学習データを抽出する場合、エンゲージメントが高い利用者、すなわち、対話サービスに対する評価が高い利用者のセッションを不例として抽出し、エンゲージメントが低い利用者、すなわち、対話サービスに対する評価が低い利用者のセッションを正例として抽出するので、学習に適したデータを容易に準備することができる結果、セッションの評価精度を改善することができる。
In addition, the
また、情報提供装置10は、抽出されたセッションが有する特徴をモデルに学習させる。このため、情報提供装置10は、セッションの評価精度を改善することができる。
In addition, the
また、情報提供装置10は、利用態様が所定の条件を満たす利用者の発話を含むセッションを第1属性を有する学習データとして抽出するとともに、利用態様が所定の条件を満たさない利用者の発話を含むセッションを第2属性を有する学習データとして抽出する。そして、情報提供装置10は、抽出された学習データを用いて、入力されたセッションを第1属性を有するデータ若しくは第2属性を有するデータのいずれかに分類するモデルを学習する。
Further, the
例えば、情報提供装置10は、利用態様が所定の条件を満たす利用者の発話を含むセッションを、その利用者による評価が好意的な学習データとして抽出するとともに、利用態様が所定の条件を満たさない利用者の発話を含むセッションをその利用者による評価が非好意的な学習データとして抽出する。そして、情報提供装置10は、抽出された学習データを用いて、入力されたセッションに対する利用者の評価が好意的であるか非好意的であるかを判定するモデルを学習する。このため、情報提供装置10は、セッションの評価精度を改善することができる。
For example, the
また、情報提供装置10は、特定された利用態様に基づいて、利用者の発話を含むセッションを評価する。そして、情報提供装置10は、評価が所定の条件を満たすセッションを学習データとして抽出する。このため、情報提供装置10は、セッションの評価精度を改善することができる。
Further, the
また、情報提供装置10は、評価が所定の条件を満たすセッションに含まれる発話と類似する発話、若しくは、そのセッションに含まれる応答と類似する応答を対話サービスの履歴から抽出し、抽出した発話若しくは応答を用いた新たなセッションを評価が所定の条件を満たすセッションとして生成する。そして、情報提供装置10は、生成された新たなセッションが有する特徴をモデルに学習させる。このように、情報提供装置10は、利用態様が所定の条件を満たすセッションから、類似するセッションを学習データとして生成し、生成した学習データを用いてモデルの学習を行う。このため、情報提供装置10は、モデルの判定精度を向上させる結果、セッションの評価精度を改善することができる。
Further, the
また、情報提供装置10は、評価が所定の条件を満たすセッションを対話サービスの履歴から抽出し、抽出したセッションに含まれる発話のうち出現頻度が所定の条件を満たす発話を、その発話が含まれるセッションに対する利用者の評価が好意的であるか否かの指標となる指標発話として抽出する。例えば、情報提供装置10は、評価が所定の条件を満たすセッションにおける出現頻度と、評価が所定の条件を満たさないセッションにおける出現頻度との比が所定の条件を満たす発話を指標発話として抽出する。このため、情報提供装置10は、利用者の利用態様に基づいて、指標発話の抽出を行うことができる。なお、このような指標発話は、セッションの評価に利用することができる。このため、情報提供装置10は、指標発話に基づいたセッションの評価精度を改善することができる。
Further, the
また、情報提供装置10は、利用者の利用態様に加えて、謝罪を示す所定の応答がセッションに含まれているか否かに基づいて、そのセッションを評価する。また、情報提供装置10は、利用者の利用態様に加えて、セッションに対する利用者の評価が好意的であるか否かの指標となる指標発話が含まれているか否かに基づいて、そのセッションを評価する。このため、情報提供装置10は、セッションの評価精度をさらに改善することができる。
Further, the
また、情報提供装置10は、利用者による対話サービスの利用態様を特定し、特定された利用態様に基づいて、その利用者の発話を含むセッションを評価する。このため、情報提供装置10は、人手を介さずにセッションを適切に評価することができる。
In addition, the
〔7-2.利用態様に基づく指標発話の抽出について〕
また、情報提供装置10は、対話サービスの利用態様が所定の条件を満たす利用者の発話とその発話に対する応答とを含むセッションを取得する。そして、情報提供装置10は、取得されたセッションにおける出現頻度に基づいて、対話サービスに対する利用者の評価の指標となる指標発話を抽出する。このような指標発話は、セッションの評価に利用することができる。このため、情報提供装置10は、セッションの評価精度を改善することができる。
[7-2. Extraction of index utterances based on usage pattern]
In addition, the
また、情報提供装置10は、対話サービスの利用期間が所定の条件を満たす利用者の発話を含むセッションを取得する。また、情報提供装置10は、対話サービスの利用頻度が所定の条件を満たす利用者の発話を含むセッションを取得する。そして、情報提供装置10は、利用態様が所定の条件を満たす利用者の発話を含むセッションにおける出現頻度と、利用態様が所定の条件を満たさない利用者の発話を含むセッションにおける出現頻度との比が所定の条件を満たす発話を指標発話として抽出する。
In addition, the
また、情報提供装置10は、利用態様が所定の条件を満たす利用者の発話を含むセッションにおける出現頻度が所定の閾値を超える発話を、対話サービスを利用者が好意的に評価している旨を示す好意的指標発話として抽出する。また、情報提供装置10は、利用態様が所定の条件を満たさない利用者の発話を含むセッションにおける出現頻度が所定の閾値を超える発話を、対話サービスを利用者が非好意的に評価している旨を示す非好意的指標発話として抽出する。これらの処理の結果、情報提供装置10は、利用者の発話から指標発話を適切に抽出することができるので、セッションの評価精度を改善することができる。
In addition, the
また、情報提供装置10は、抽出された指標発話の出現頻度に基づいて、セッションを評価する。このため、情報提供装置10は、セッションの評価精度を改善することができる。
Further, the
また、情報提供装置10は、評価対象となるセッションについて、利用態様が所定の条件を満たす利用者の発話を含むセッションにおける出現頻度が所定の閾値を超える発話と、利用態様が所定の条件を満たさない利用者の発話を含むセッションにおける出現頻度が所定の閾値を超える発話と基づいて、評価対象となるセッションを評価する。このため、情報提供装置10は、適切にセッションを評価することができる。
In addition, the
また、情報提供装置10は、評価が所定の条件を満たすセッションが有する特徴をモデルに学習させる。このため、情報提供装置10は、セッションを評価するモデルを実現することができる。
In addition, the
また、情報提供装置10は、対話サービスにおける履歴から抽出された指標発話を特定し、特定した指標発話に対応する一連の対話を学習データとして抽出する。そして、情報提供装置10は、抽出された学習データの特徴をモデルに学習させる。例えば、情報提供装置10は、非好意的対話例UDや好意的対話例FDの特徴をモデルに学習させる。このため、情報提供装置10は、セッションを評価するモデルを実現することができる。
The
〔7-3.指標発話に基づくセッションの評価について〕
また、情報提供装置10は、対話サービスにおける利用者の発話と応答とを含むセッションを取得する。そして、情報提供装置10は、対話サービスに対する利用者の評価の指標となる指標発話に基づいて、取得されたセッションを評価する。このため、情報提供装置10は、セッションを自動的に精度良く学習することができる。
[7-3. Evaluation of sessions based on index utterances]
In addition, the
また、情報提供装置10は、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話と、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話とに基づいて、セッションを評価する。そして、例えば、情報提供装置10は、好意的指標発話の出現頻度と、非好意的指標発話の出現頻度との比に基づいて、セッションを評価する。また、例えば、情報提供装置10は、好意的指標発話が含まれるセッションにおいて対話サービスに対する利用者の評価がどれくらい好意的であるかを示す好意的スコアと、非好意的指標発話が含まれるセッションにおいて対話サービスに対する利用者の評価がどれくらい非好意的であるかを示す非好意的スコアとの比に基づいて、セッションを評価する。このため、情報提供装置10は、セッションを自動的に精度良く学習することができる。
In addition, the
また、情報提供装置10は、利用者による評価が好意的な高満足セッションであるか否かを評価する。そして、情報提供装置10は、高満足セッションが有する特徴をモデルに学習させる。また、情報提供装置10は、利用者による評価が非好意的な低満足セッションであるか否かを評価する。そして、情報提供装置10は、低満足セッションが有する特徴をモデルに学習させる。
Further, the
また、情報提供装置10は、対話サービスにおける履歴から指標発話を特定し、特定した指標発話から所定の数だけ前の応答および発話を学習データとして抽出する。そして、情報提供装置10は、抽出された学習データの特徴をモデルに学習させる。例えば、情報提供装置10は、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話から所定の数だけ前の応答および発話を好意的対話例として抽出し、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話から所定の数だけ前の応答および発話を非好意的対話例として抽出し、対話サービスに対する利用者の評価が好意的でも非好意的でもない旨を示す中性発話から所定の数だけ前の応答および発話を中性対話例として抽出する。そして、情報提供装置10は、抽出された好意的対話例と、非好意的対話例と、中性対話例とが有する特徴をモデルに学習させる。
Further, the
また、情報提供装置10は、指標発話と、謝罪を示す所定の応答がセッションに含まれているか否かに基づいて、そのセッションを評価する。上述した各種の処理の結果、情報提供装置10は、様々な観点からセッションを適切に評価するモデルを学習することができる。この結果、情報提供装置10は、セッションの評価精度を向上させることができる。
Further, the
また、情報提供装置10は、利用者の発話を含むセッションに対する評価結果に基づいて、その利用者による将来の対話サービスの利用態様を推定する。例えば、情報提供装置10は、評価として、利用者による評価がどれくらい好意的であるかを示す好意的スコア、若しくは、利用者による評価がどれくらい非好意的であるかを示す非好意的スコアを算出し、好意的スコアと非好意的スコアとの比に基づいて、利用者による将来の対話サービスの利用態様を推定する。このため、情報提供装置10は、利用者の利用態様を適切に推定することができる。
In addition, the
また、情報提供装置10は、評価が所定の条件を満たすセッションから出現頻度が所定の条件を満たす発話を指標発話として抽出する。例えば、情報提供装置10は、セッションに対する利用者による評価が好意的であるか非好意的であるかを評価し、利用者による評価が好意的であると評価されたセッションにおける出現頻度と、利用者による評価が非好意的であると評価されたセッションにおける出現頻度との比が所定の条件を満たす発話を指標発話として抽出する。このため、情報提供装置10は、新たな指標発話を適切に抽出することができる。
Further, the
〔7-4.分布画像に基づくセッションの評価について〕
また、情報提供装置10は、対話サービスにおける利用者の発話とその発話に対する応答とを含むセッションを取得する。また、情報提供装置10は、セッションに含まれる発話の文字が相互に同一か否かを示す画像を生成する。そして、情報提供装置10は、生成された画像に基づいて、取得されたセッションを評価する。
[7-4. Evaluation of sessions based on distribution images]
In addition, the
ここで、セッションに同一または類似の発話が繰り返し含まれる場合、上述した画像には、所定の模様が含まれることとなる。すると、画像に所定の模様が含まれると推定される場合には、セッションに同一または類似の発話が繰り返し含まれると推定することができる。このように、同一または類似の発話が繰り返し含まれるセッションは、利用者による評価が低いと推定される。このため、情報提供装置10は、生成された画像に基づいて、取得されたセッションを適切に評価することができる。
Here, when the same or similar utterances are repeatedly included in the session, the above-described image includes a predetermined pattern. Then, when it is estimated that the image contains a predetermined pattern, it can be estimated that the same or similar utterances are repeatedly contained in the session. In this way, it is estimated that sessions in which the same or similar utterances are repeatedly included are rated poorly by users. Therefore, the
また、情報提供装置10は、画像として、セッションにおける同一文字の分布を示す画像を生成する。例えば、情報提供装置10は、セッションに含まれる発話の文字列を画像の縦方向の各領域と横方向の各領域とに対応付けた場合に、縦方向と横方向とに同一の文字が対応付けられた領域に対して所定の色彩を付した画像を生成する。そして、情報提供装置10は、画像に基づいて、セッションに同一又は類似する文字列が繰り返し出現しているか否かを判定し、判定結果に基づいて、セッションを評価する。例えば、情報提供装置10は、セッションに同一又は類似する文字列が繰り返し出現している場合は、そのセッションに対して利用者による評価が非好意的である旨の評価を付与する。このため、情報提供装置10は、セッションを適切に評価することができる。
The
また、情報提供装置10は、同一又は類似する文字列が繰り返し出現するセッションから生成された画像が有する特徴をモデルに学習させる。そして、情報提供装置10は、学習が行われたモデルを用いて、画像からその画像の元となったセッションを評価する。ここで、文字を学習させたモデルよりも、画像を学習させたモデルの方が判定精度を向上させやすいことが知られている。このため、情報提供装置10は、セッションの評価精度を向上させることができる。
In addition, the
また、情報提供装置10は、対話サービスにおける履歴からいずれかの発話を選択し、選択した発話と同一又は類似する発話を複数含む発話群を生成する。そして、情報提供装置10は、生成された発話群から画像を生成し、生成した画像が有する特徴をモデルに学習させる。このため、情報提供装置10は、モデルの学習データを増大させる結果、モデルの精度を向上させることができる。
Further, the
〔7-5.繰り返し発話に基づくセッションの評価について〕
また、情報提供装置10は、対話サービスにおける利用者の発話とその発話に対する応答とを含むセッションを取得する。そして、情報提供装置10は、セッションに含まれる発話の文字列の繰り返しに基づいて、取得されたセッションを評価する。このため、情報提供装置10は、人手を介さずとも、セッションを精度良く評価することができる。
[7-5. Evaluation of sessions based on repeated utterance]
In addition, the
例えば、情報提供装置10は、セッションから文字列の類似度が所定の閾値を超える発話の対を抽出し、抽出した対の数に基づいて、セッションを評価する。また、情報提供装置10は、セッションから意味的な類似度が所定の閾値を超える発話の対を抽出し、抽出した対の数に基づいて、セッションを評価する。そして、情報提供装置10は、セッションから抽出した対の数が所定の閾値を超える場合は、セッションに対して利用者による評価が非好意的である旨の評価を付与する。このため、情報提供装置10は、セッションを適切に評価することができる。
For example, the
また、情報提供装置10は、同一又は類似する文字列が繰り返し出現するセッションが有する特徴を学習したモデルを用いて、セッションを評価する。例えば、情報提供装置10は、対話サービスにおける履歴からいずれかの発話を選択し、選択した発話と同一又は類似する発話を複数含む発話群を生成する。また、情報提供装置10は、生成した発話群が有する特徴をモデルに学習させる。そして、情報提供装置10は、学習が行われたモデルを用いて、セッションを評価する。
Also, the
また、情報提供装置10は、選択した発話と同一又は類似する発話を複数含む第1発話群を生成するとともに、対話サービスにおける履歴からそれぞれ異なる複数の発話を選択し、選択した発話からなる第2発話群とを生成し、第1発話群が有する特徴と第2発話群が有する特徴とをモデルに学習させる。また、情報提供装置10は、発話群が有する特徴をモデルに学習させることで、入力されたセッションに対して利用者による評価が非好意的であるか否かを判定するモデルの学習を行う。このため、情報提供装置10は、精度良くセッションの評価を行うことができる。
Further, the
また、情報提供装置10は、評価が所定の条件を満たすセッションから、出現頻度が所定の条件を満たす発話を、対話サービスに対する利用者の評価となる指標となる指標発話として抽出する。このため、情報提供装置10は、新たな指標発話を自動で抽出することができる。
In addition, the
〔7-6.発話を報酬とした強化学習について〕
また、情報提供装置10は、入力された発話に対する応答を生成することで対話サービスを実現する対話モデルに対する発話のうち、その対話サービスに対する評価の指標となる指標発話を取得し、取得された指標発話に基づく報酬を設定することで、対話モデルの強化学習を行う。このため、情報提供装置10は、人手を介さずとも、対話サービスを実現する対話モデルの学習を実現することができ、対話モデルの精度を向上させることができる。
[7-6. Reinforcement learning with utterance as a reward]
In addition, the
また、情報提供装置10は、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話、若しくは、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話を取得し、好意的指標発話が取得された場合は、対話モデルに対して正の報酬を設定し、非好意的指標発話が取得された場合は、対話モデルに対して負の報酬を設定する。このため、情報提供装置10は、適切に対話モデルの強化学習を実現することができる。
In addition, the
また、情報提供装置10は、対話モデルが生成した応答に対して指標発話を出力する発話モデルが出力した指標発話を取得する。例えば、情報提供装置10は、発話モデルとして、対話サービスにおける利用者と対話モデルとの対話の履歴が有する特徴を学習したモデルが出力した指標発話を取得する。このため、情報提供装置10は、例えば、セッションの履歴が無くとも、対話モデルの強化学習を実現することができる。
In addition, the
〔7-7.共起性に基づいた指標発話の抽出について〕
また、情報提供装置10は、対話サービスにおける利用者の発話とその発話に対する応答との履歴から、対話サービスに対する利用者の評価の指標となる発話であって、予め設定された指標発話を特定する。そして、情報提供装置10は、特定された指標発話との共起性に基づいて、履歴に含まれる発話から新たな指標発話を抽出する。上述したように、このような指標発話は、セッションの評価に用いることができる。この結果、情報提供装置10は、セッションの評価精度を向上させることができる。
[7-7. Extraction of indicator utterances based on co-occurrence]
In addition, the
また、情報提供装置10は、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話を特定し、好意的指標発話との共起性が所定の閾値を超える発話を新たな好意的指標発話として抽出する。また、情報提供装置10は、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話を特定し、非好意的指標発話との共起性が所定の閾値を超える発話を新たな非好意的指標発話として抽出する。
In addition, the
また、情報提供装置10は、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話が同一のセッション内に含まれる回数と、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話が同一のセッション内に含まれる回数とを利用者の発話ごとに計数し、計数した各回数の比が所定の条件を満たす発話を新たな指標発話として抽出する。
In addition, the
また、情報提供装置10は、発話と応答との履歴から、共起性を有する発話若しくは応答を接続する共起ネットワークを生成し、共起ネットワークから指標発話を特定し、共起ネットワーク上における指標発話との距離が所定の条件を満たす発話を新たな指標発話として抽出する。例えば、情報提供装置10は、共起ネットワークから対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話を特定し、共起ネットワーク上における好意的指標発話との距離が所定の閾値以下となる発話を新たな好意的指標発話として抽出する。また、情報提供装置10は、好意的指標発話との距離が所定の閾値以下となり、かつ、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話との共起ネットワーク上における距離が所定の閾値以上となる発話を、新たな好意的指標発話として抽出する。
Further, the
また、情報提供装置10は、共起ネットワークから対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話を特定し、共起ネットワーク上における非好意的指標発話との距離が所定の閾値以下となる発話を新たな非好意的指標発話として抽出する。例えば、情報提供装置10は、非好意的指標発話との距離が所定の閾値以下となり、かつ、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話との共起ネットワーク上における距離が所定の閾値以上となる発話を、新たな非好意的指標発話として抽出する。これらの処理の結果、情報提供装置10は、利用者の印象を示す指標発話を精度良く抽出することができる。
Further, the
また、情報提供装置10は、抽出された指標発話が含まれているか否かに基づいて、対話サービスにおける発話と応答とを含むセッションを評価する。このため、情報提供装置10は、セッションの評価精度を向上させることができる。
Further, the
〔7-8.対話例を用いたセッションの評価について〕
また、情報提供装置10は、対話サービスの履歴のうち、対話サービスに対する利用者の評価の指標となる指標発話に対応する一連の対話を抽出する。すなわち、情報提供装置10は、各種の対話例を抽出する。例えば、情報提供装置10は、指標発話から所定の数だけ前の発話および応答を対話例として抽出する。そして、情報提供装置10は、抽出された対話を用いて、入力された対話に対する利用者の評価を推定するモデルを学習する。
[7-8. Evaluation of sessions using dialogue examples]
In addition, the
このように、情報提供装置10は、セッションではなく、各種の対話例を抽出し、抽出した対話例の特徴をモデルに学習させる。このような対話例の抽出は、各種の指標発話があれば、セッションの抽出よりも容易に実現することができる。この結果、情報提供装置10は、容易にセッションの評価を実現することができる。
In this way, the
また、情報提供装置10は、対話サービスに対する利用者の評価が好意的である旨を示す好意的指標発話から所定の数だけ前の発話および応答を抽出し、抽出された発話および応答を、利用者による評価が好意的である対話の学習データとして、モデルの学習を行う。また、情報提供装置10は、対話サービスに対する利用者の評価が非好意的である旨を示す非好意的指標発話から所定の数だけ前の発話および応答を抽出し、抽出された発話および応答を、利用者による評価が非好意的である対話の学習データとして、モデルの学習を行う。また、情報提供装置10は、対話サービスに対する利用者の評価が中立的である旨を示す中立指標発話から所定の数だけ前の発話および応答を抽出し、抽出された発話および応答を、利用者による評価が中立的である対話の学習データとして、モデルの学習を行う。このため、情報提供装置10は、モデルによるセッションの評価精度を向上させることができる。
Further, the
また、情報提供装置10は、対話サービスにおける利用者の発話と応答とを含むセッションを取得する。そして、情報提供装置10は、学習が行われたモデルを用いて、取得されたセッションの評価を行う。このため、情報提供装置10は、セッションの評価を実現することができる。
In addition, the
また、情報提供装置10は、評価が所定の条件を満たすセッションから出現頻度が所定の条件を満たす発話を、指標発話として抽出する。例えば、情報提供装置10は、セッションに対する利用者による評価が好意的であるか非好意的であるかを評価し、利用者による評価が好意的であると評価されたセッションにおける出現頻度と、利用者による評価が非好意的であると評価されたセッションにおける出現頻度との比が所定の条件を満たす発話を指標発話として抽出する。このため、情報提供装置10は、新たな指標発話の抽出を自動的に行うことができる。
Further, the
〔7-9.複数のモデルを用いたセッションの評価について〕
また、情報提供装置10は、対話サービスにおける利用者の発話と応答とを含むセッションを取得する。そして、情報提供装置10は、セッションに対する利用者の評価の指標となる複数の特徴のうちそれぞれ異なる種別の特徴に基づいてセッションを評価する複数のモデルの評価結果を用いて、セッションを評価する。このため、情報提供装置10は、セッションの評価精度を向上させることができる。
[7-9. Evaluation of sessions using multiple models]
In addition, the
また、情報提供装置10は、セッションに含まれる発話に同一又は類似する発話が繰り返し含まれているか否かに基づいて、セッションを評価するモデルの評価結果を少なくとも用いる。また、情報提供装置10は、セッションに含まれる応答に謝罪を示す所定の応答が含まれているか否かに基づいて、セッションを評価するモデルの評価結果を少なくとも用いる。また、情報提供装置10は、セッションに含まれる発話に、対話サービスを利用者が非好意的に評価している旨を示す非好意的指標発話が含まれているか否かに基づいて、セッションを評価するモデルの評価結果を少なくとも用いる。また、情報提供装置10は、セッションに含まれる発話に、対話サービスを利用者が好意的に評価している旨を示す好意的指標発話が含まれているか否かに基づいて、セッションを評価するモデルの評価結果を少なくとも用いる。このため、情報提供装置10は、セッションの評価精度を向上させることができる。
Further, the
また、情報提供装置10は、セッションに含まれる発話に同一又は類似する発話が繰り返し含まれているか否かに基づいてセッションを評価するモデルが出力した評価値と、セッションに含まれる応答に謝罪を示す所定の応答が含まれているか否かに基づいてセッションを評価するモデルが出力した評価値との和の値に基づいて、セッションを評価する。このため、情報提供装置10は、人手を介さずともセッションを評価可能な複数のモデルを用いて、セッションを評価することができる。
In addition, the
また、情報提供装置10は、セッションに含まれる発話に同一又は類似する発話が繰り返し含まれているか否かに基づいてセッションを評価するモデルが出力した評価値と、セッションに含まれる応答に謝罪を示す所定の応答が含まれているか否かに基づいてセッションを評価するモデルが出力した評価値と、セッションに含まれる発話に対話サービスを利用者が非好意的に評価している旨を示す非好意的指標発話が含まれているか否かに基づいてセッションを評価するモデルが出力した評価値との和から、セッションに含まれる発話に対話サービスを利用者が好意的に評価している旨を示す好意的指標発話が含まれているか否かに基づいてセッションを評価するモデルが出力した評価値を減算した値に基づいて、セッションを評価する。例えば、情報提供装置10は、値が正の値であるか負の値であるかに応じて、セッションを評価する。このため、情報提供装置10は、精度良くセッションを評価することができる。
In addition, the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to carry out the invention in other forms with modifications.
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。 Also, the "section, module, unit" described above can be read as "means" or "circuit". For example, the extraction unit can be read as extraction means or an extraction circuit.
10 情報提供装置
20 通信部
30 記憶部
31 セッションログデータベース
32 セッション評価データベース
33 指標発話データベース
34 エンゲージメントデータベース
35 モデルデータベース
40 制御部
41 セッション取得部
42 利用態様特定部
50 指標発話抽出処理部
51 指標発話特定部
52 発話抽出部
53 ネットワーク生成部
60 セッション評価処理部
61 学習データ抽出部
62 学習部
63 画像生成部
64 発話群生成部
65 評価部
70 エンゲージメント予測処理部
71 推定部
80 強化学習処理部
81 指標発話取得部
82 報酬設定部
83 強化学習部
100 端末装置
200 対話装置
10
Claims (9)
前記セッションに含まれる発話の文字列の繰り返しに基づいて、前記取得部により取得されたセッションを評価する評価部と
前記対話サービスにおける履歴からいずれかの発話を選択し、選択した発話と同一又は類似する発話を複製発話として複数生成し、複製発話の発話群とする発話群生成部と、
前記発話群生成部が生成した前記発話群が有する、同一又は類似する文字列が繰り返し出現する発話の特徴を抽出し、該抽出した特徴を所定の発話評価モデルに学習させる学習部と
を有し、
前記評価部は、前記所定の発話評価モデルを用いて、前記取得部により取得されたセッションにおける繰り返しの態様に基づいて、当該セッションに係る対話について利用者が満足しているか否かを評価する
ことを特徴とする評価装置。 an acquisition unit that acquires a session including a user's utterance and a response to the utterance in the dialogue service;
an evaluation unit that evaluates the session acquired by the acquisition unit based on repetition of character strings of the utterances included in the session; an utterance group generating unit that generates a plurality of utterances as duplicated utterances and sets them as an utterance group of the duplicated utterances;
a learning unit that extracts features of utterances in which the same or similar character strings appear repeatedly in the utterance group generated by the utterance group generation unit, and causes a predetermined utterance evaluation model to learn the extracted features. ,
The evaluation unit uses the predetermined utterance evaluation model to evaluate whether the user is satisfied with the dialogue related to the session based on the repetition mode in the session acquired by the acquisition unit. An evaluation device characterized by:
ことを特徴とする請求項1に記載の評価装置。 The evaluation unit extracts utterance pairs whose character string similarity exceeds a predetermined threshold from the session, and evaluates the user's satisfaction with the dialogue related to the session based on the number of extracted pairs. The evaluation device according to claim 1, characterized in that:
ことを特徴とする請求項1または2に記載の評価装置。 The evaluation unit extracts utterance pairs whose semantic similarity exceeds a predetermined threshold from the session, and evaluates the user's satisfaction with the dialogue related to the session based on the number of extracted pairs. The evaluation device according to claim 1 or 2, characterized in that:
ことを特徴とする請求項2または3に記載の評価装置。 wherein, when the number of pairs extracted from the session exceeds a predetermined threshold, the evaluation unit gives an evaluation to the effect that the evaluation by the user is unfavorable to the session. 4. The evaluation device according to item 2 or 3.
前記学習部は、前記第1発話群が有する発話の特徴と、前記第2発話群が有する反復性と非反復性に係る発話の特徴とを抽出し、該抽出した特徴を所定の発話評価モデルに学習させ、前記取得部により取得されたセッションに係る対話について、前記所定の発話評価モデルを用いて、前記利用者が満足しているか否かに係る評価を推定するモデルの学習を行う
ことを特徴とする請求項1~4のうちいずれか1つに記載の評価装置。 The utterance group generation unit generates a first utterance group as a repeated session including a plurality of utterances that are the same or similar to the selected utterance, and selects and selects a plurality of different utterances from the history of the dialogue service. generating a second utterance group as a non-repetitive session consisting of utterances,
The learning unit extracts features of utterances of the first utterance group and features of repetitive and non-repetitive utterances of the second utterance group , and applies the extracted features to a predetermined utterance evaluation model. learning a model for estimating an evaluation as to whether or not the user is satisfied with the conversation related to the session obtained by the obtaining unit, using the predetermined utterance evaluation model. The evaluation device according to any one of claims 1 to 4, characterized by:
ことを特徴とする請求項1~5のうちいずれか1つに記載の評価装置。 The learning unit includes a seed utterance, a plurality of replicated utterances generated from the seed utterance, and a mixed utterance that is an utterance different from the seed utterance . A plurality of utterances are extracted, and the features related to repetitiveness and non-repetitiveness of an utterance group consisting of non-repetitive sessions in which the extracted utterances are randomly rearranged are applied to a predetermined utterance evaluation model, and the session by the user is applied. For the session acquired by the acquisition unit, learning related to estimation of evaluation is performed, and the predetermined utterance evaluation model is used to determine whether or not the same or similar utterance is repeated in the session. 6. The evaluation device according to any one of claims 1 to 5, characterized in that it learns a model for judging whether or not an evaluation by a person is unfavorable.
を有することを特徴とする請求項1~6のうちいずれか1つに記載の評価装置。 an utterance extraction unit that extracts utterances whose frequency of appearance satisfies a predetermined condition from sessions whose evaluation by the evaluation unit satisfies a predetermined condition, as index utterances that serve as indices for user evaluation of the dialogue service. The evaluation device according to any one of claims 1 to 6.
対話サービスにおける利用者の発話と当該発話に対する応答とを含むセッションを取得する取得工程と、
前記セッションに含まれる発話の文字列の繰り返しに基づいて、前記取得工程により取得されたセッションを評価する評価工程と
前記対話サービスにおける履歴からいずれかの発話を選択し、選択した発話と同一又は類似する発話を複製発話として複数生成し、複製発話の発話群とする発話群生成工程と、
前記発話群生成工程が生成した前記発話群が有する、同一又は類似する文字列が繰り返し出現する発話の特徴を抽出し、該抽出した特徴を所定の発話評価モデルに学習させる学習工程と
を含み、
前記評価工程は、前記所定の発話評価モデルを用いて、前記取得工程により取得されたセッションにおける繰り返しの態様に基づいて、当該セッションに係る対話について利用者が満足しているか否かを評価する
ことを特徴とする評価方法。 An evaluation method executed by an evaluation device,
an acquisition step of acquiring a session including a user's utterance and a response to the utterance in the interactive service;
an evaluation step of evaluating the session acquired by the acquisition step based on the repetition of a character string of utterances included in the session; an utterance group generation step of generating a plurality of utterances as replicated utterances to form an utterance group of the replicated utterances;
a learning step of extracting features of utterances in which the same or similar character strings appear repeatedly in the utterance group generated by the utterance group generation step, and allowing a predetermined utterance evaluation model to learn the extracted features ,
The evaluation step uses the predetermined utterance evaluation model to evaluate whether or not the user is satisfied with the dialogue related to the session based on the repetition mode in the session obtained by the obtaining step. An evaluation method characterized by
前記セッションに含まれる発話の文字列の繰り返しに基づいて、前記取得手順により取得されたセッションを評価する評価手順と
前記対話サービスにおける履歴からいずれかの発話を選択し、選択した発話と同一又は類似する発話を複製発話として複数生成し、複製発話の発話群とする発話群生成手順と、
前記発話群生成手順が生成した前記発話群が有する、同一又は類似する文字列が繰り返し出現する発話の特徴を抽出し、該抽出した特徴を所定の発話評価モデルに学習させる学習手順と
をコンピュータに実行させ、
前記評価手順は、前記所定の発話評価モデルを用いて、前記取得手順により取得されたセッションにおける繰り返しの態様に基づいて、当該セッションに係る対話について利用者が満足しているか否かを評価する
ことをコンピュータに実行させるための評価プログラム。 an acquisition procedure for acquiring a session including a user's utterance and a response to the utterance in the interactive service;
an evaluation procedure for evaluating the session acquired by the acquisition procedure based on repetition of a character string of utterances included in the session; an utterance group generation procedure for generating a plurality of utterances as duplicate utterances, and forming an utterance group of the duplicate utterances;
a learning procedure for extracting features of utterances in which the same or similar character strings appear repeatedly in the utterance group generated by the utterance group generation procedure, and allowing a predetermined utterance evaluation model to learn the extracted features; let it run ,
The evaluation procedure uses the predetermined utterance evaluation model to evaluate whether or not the user is satisfied with the dialogue related to the session based on the repetition mode in the session acquired by the acquisition procedure. An evaluation program that makes a computer do things.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018113956A JP7160571B2 (en) | 2018-06-14 | 2018-06-14 | Evaluation device, evaluation method and evaluation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018113956A JP7160571B2 (en) | 2018-06-14 | 2018-06-14 | Evaluation device, evaluation method and evaluation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019215830A JP2019215830A (en) | 2019-12-19 |
JP7160571B2 true JP7160571B2 (en) | 2022-10-25 |
Family
ID=68918019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018113956A Active JP7160571B2 (en) | 2018-06-14 | 2018-06-14 | Evaluation device, evaluation method and evaluation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7160571B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112685547A (en) * | 2020-12-29 | 2021-04-20 | 平安普惠企业管理有限公司 | Method and device for assessing dialect template, electronic equipment and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015004754A (en) | 2013-06-19 | 2015-01-08 | ヤフー株式会社 | Interaction device, interaction method and interaction program |
JP2016020963A (en) | 2014-07-14 | 2016-02-04 | シャープ株式会社 | Interaction evaluation device, interaction evaluation system, interaction evaluation method, and interaction evaluation program |
JP2017203808A (en) | 2016-05-09 | 2017-11-16 | 富士通株式会社 | Interaction processing program, interaction processing method, and information processing apparatus |
-
2018
- 2018-06-14 JP JP2018113956A patent/JP7160571B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015004754A (en) | 2013-06-19 | 2015-01-08 | ヤフー株式会社 | Interaction device, interaction method and interaction program |
JP2016020963A (en) | 2014-07-14 | 2016-02-04 | シャープ株式会社 | Interaction evaluation device, interaction evaluation system, interaction evaluation method, and interaction evaluation program |
JP2017203808A (en) | 2016-05-09 | 2017-11-16 | 富士通株式会社 | Interaction processing program, interaction processing method, and information processing apparatus |
Non-Patent Citations (1)
Title |
---|
杉山 弘晃,発話生成における誤りパターンの分析に基づく対話破綻検出,第78回 言語・音声理解と対話処理研究会資料 (SIG-SLUD-B505),日本,一般社団法人人工知能学会,2016年10月01日,pp.81-84 |
Also Published As
Publication number | Publication date |
---|---|
JP2019215830A (en) | 2019-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190019962A (en) | Architectures and processes for computer learning and understanding | |
US9536444B2 (en) | Evaluating expert opinions in a question and answer system | |
JP6224857B1 (en) | Classification device, classification method, and classification program | |
JP6751816B2 (en) | New training data set generation method and new training data set generation device | |
WO2022154897A1 (en) | Classifier assistance using domain-trained embedding | |
CN110321421B (en) | Expert recommendation method for website knowledge community system and computer storage medium | |
CN113392331A (en) | Text processing method and equipment | |
Khan et al. | Comparative analysis on Facebook post interaction using DNN, ELM and LSTM | |
JP6983729B2 (en) | Extractor, evaluation device, extraction method and extraction program | |
JP7013329B2 (en) | Learning equipment, learning methods and learning programs | |
CN109885668A (en) | A kind of expansible field interactive system status tracking method and apparatus | |
JP7160571B2 (en) | Evaluation device, evaluation method and evaluation program | |
US20230351257A1 (en) | Method and system for training virtual agents through fallback analysis | |
JP7013331B2 (en) | Extractor, extraction method and extraction program | |
JP7044642B2 (en) | Evaluation device, evaluation method and evaluation program | |
JP7057229B2 (en) | Evaluation device, evaluation method and evaluation program | |
JP7305312B2 (en) | Extraction device, extraction method and extraction program | |
CN113704471B (en) | Sentence classification method, sentence classification device, sentence classification equipment and sentence classification storage medium | |
JP7013332B2 (en) | Learning equipment, learning methods and learning programs | |
JP7042701B2 (en) | Evaluation device, evaluation method and evaluation program | |
Alahmed et al. | “How Does ChatGPT Work” Examining Functionality To The Creative AI CHATGPT on X's (Twitter) Platform | |
KR20230049486A (en) | Political tendency analysis device and service providing method using the same | |
CN110472140B (en) | Object word recommendation method and device and electronic equipment | |
JP7129163B2 (en) | Provision device, provision method and provision program | |
JP2020004054A (en) | Output device, output method, and output program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180919 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7160571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |