JP6220762B2 - Next utterance candidate scoring device, method, and program - Google Patents
Next utterance candidate scoring device, method, and program Download PDFInfo
- Publication number
- JP6220762B2 JP6220762B2 JP2014219533A JP2014219533A JP6220762B2 JP 6220762 B2 JP6220762 B2 JP 6220762B2 JP 2014219533 A JP2014219533 A JP 2014219533A JP 2014219533 A JP2014219533 A JP 2014219533A JP 6220762 B2 JP6220762 B2 JP 6220762B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- concept vector
- concept
- candidate
- string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ユーザとの間で対話を行う対話システムにおいて、ユーザとの間で、ある発話列がやり取りされた後、システムが生成した次発話候補集合の中で、システム側が発する次発話として相応しい次発話候補を決定するための次発話候補スコアリング装置、方法、及びプログラムに関する。 The present invention is suitable as a next utterance to be uttered by the system side in a next utterance candidate set generated by the system after a certain utterance sequence is exchanged with the user in an interactive system that performs a dialogue with the user. The present invention relates to a next utterance candidate scoring apparatus, method, and program for determining a next utterance candidate.
非タスク指向型対話システムでは、対話の内容は雑談であり、非特許文献1では、ウェブやツイッター(登録商標)などの文章をデータベース化しておき、ユーザ発話に類似するものを選択することでシステム発話を生成する。
In the non-task-oriented dialog system, the content of the dialog is chat, and in Non-Patent
これまでやり取りされてきた発話列における焦点(トピック)を求め、当該焦点について言及した文をデータベースから次発話候補として複数取り、この次発話候補のスコアを算出する手法がある。スコア算出後、最高スコアを出した次発話候補をシステムがユーザに返す。あるいは、ある閾値以上のスコアをもつ次発話候補、またはスコアが上位何位かまでの次発話候補から、ランダムに選択した次発話候補を、システムがユーザに返す。 There is a method of obtaining a focus (topic) in an utterance sequence exchanged so far, taking a plurality of sentences referring to the focus as a next utterance candidate from a database, and calculating a score of the next utterance candidate. After the score is calculated, the system returns the next utterance candidate with the highest score to the user. Alternatively, the system returns to the user the next utterance candidate randomly selected from the next utterance candidate having a score equal to or higher than a certain threshold or the next utterance candidate having the highest score.
このような手法として、直前のN(≧1)個の発話の列を文脈とし、各次発話候補に対し、文脈発話列の概念ベクトルと、該次発話候補の概念ベクトルとの近さを表すスコアを算出する概念ベースに基づく手法がある。 As such a method, a sequence of N (≧ 1) utterances immediately before is used as a context, and for each next utterance candidate, the closeness between the concept vector of the context utterance sequence and the concept vector of the next utterance candidate is expressed. There is a method based on a concept base for calculating a score.
上述した概念ベースに基づく手法では、文脈発話列と次発話候補の内容が近ければ高スコアとなるが、このため、内容は近いが次発話として相応しくない次発話候補が選択され、内容が少々遠いが次発話として相応しい次発話候補が選択されないことがあるという課題がある。例えば、文脈発話列が1質問文で、ある次発話候補が全く同じ質問文であれば、該次発話候補が選択されるが、該次発話候補は次発話として相応しいとは言えない。そして、当該質問文に回答しているような、より相応しい次発話候補が選択されない。 In the method based on the concept base described above, if the context utterance sequence and the content of the next utterance candidate are close to each other, the score is high. For this reason, the next utterance candidate that is close to the content but is not suitable as the next utterance is selected, and the content is a little far away. However, there is a problem that the next utterance candidate suitable as the next utterance may not be selected. For example, if the context utterance string is one question sentence and a certain next utterance candidate is the same question sentence, the next utterance candidate is selected, but it cannot be said that the next utterance candidate is suitable as the next utterance. Then, a more appropriate next utterance candidate that answers the question is not selected.
本発明の目的は、この課題を解決するため、次発話候補集合の中から、文脈発話列の次発話として相応しい次発話候補を選択することができる次発話候補スコアリング装置、方法、及びプログラムを提供することにある。 In order to solve this problem, an object of the present invention is to provide a next utterance candidate scoring apparatus, method, and program capable of selecting a next utterance candidate suitable as the next utterance in the context utterance sequence from the next utterance candidate set. It is to provide.
上記課題を解決するため、本発明に係る次発話候補スコアリング装置は、単語と該単語の意味を表す概念ベクトルとの対の集合である概念ベースと、文脈となる発話列Aと、次発話候補Bと、前記発話列Aの次発話として前記次発話候補Bが相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とし、各発話列評価データDに対し、前記概念ベースを参照し、前記発話列Aの概念ベクトルEを生成し、前記次発話候補Bの概念ベクトルFを生成し、前記概念ベクトルEと前記概念ベクトルFとを結合した概念ベクトルGと前記ラベルCとの組合せからなる変換後発話列評価データHを生成する発話列評価データ変換手段と、前記変換後発話列評価データHの集合から、前記概念ベクトルGと同次元の任意の概念ベクトルが、前記ラベルCの一つの値に分類されるスコアを算出するための分類モデルを生成する学習手段と、を含んで構成されている。
上記の次発話候補スコアリング装置は、文脈となる発話列Iと次発話候補集合とを入力とし、前記概念ベースを参照し、前記発話列Iの概念ベクトルJを生成し、前記次発話候補集合における各次発話候補Kに対し、前記次発話候補Kの概念ベクトルLを生成し、前記概念ベクトルJと前記概念ベクトルLを結合した概念ベクトルMを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルMが前記ラベルCの一つの値に分類されるスコアを算出する評価手段を更に含むようにすることができる。
In order to solve the above-described problem, the next utterance candidate scoring device according to the present invention includes a concept base that is a set of a pair of a word and a concept vector representing the meaning of the word, an utterance string A as a context, and a next utterance. A set of utterance string evaluation data D composed of a combination of the candidate B and a label C indicating whether the next utterance candidate B is appropriate as the next utterance of the utterance string A is input, and for each utterance string evaluation data D, Referencing the concept base, generating a concept vector E of the utterance string A, generating a concept vector F of the next utterance candidate B, and combining the concept vector E and the concept vector F with the concept vector G and An utterance string evaluation data converting means for generating the converted utterance string evaluation data H composed of a combination with the label C, and an arbitrary concept vector having the same dimension as the concept vector G from the set of the converted utterance string evaluation data H. Le, are configured to include a learning means for generating a classification model for calculating a score is classified into one of the values of the label C.
The next utterance candidate scoring apparatus receives the context utterance string I and the next utterance candidate set as input, generates a concept vector J of the utterance string I by referring to the concept base, and generates the next utterance candidate set. For each next utterance candidate K in FIG. 4, a concept vector L of the next utterance candidate K is generated, a concept vector M obtained by combining the concept vector J and the concept vector L is generated, and the classification model generated by the learning means , It is possible to further include an evaluation means for calculating a score for classifying the concept vector M into one value of the label C.
また、本発明に係る次発話候補スコアリング方法は、単語と該単語の意味を表す概念ベクトルとの対の集合である概念ベースと、発話列評価データ変換手段と、学習手段とを含む次発話候補スコアリング装置における次発話候補スコアリング方法であって、前記発話列評価データ変換手段が、文脈となる発話列Aと、次発話候補Bと、前記発話列Aの次発話として前記次発話候補Bが相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とし、各発話列評価データDに対し、前記概念ベースを参照し、前記発話列Aの概念ベクトルEを生成し、前記次発話候補Bの概念ベクトルFを生成し、前記概念ベクトルEと前記概念ベクトルFとを結合した概念ベクトルGと前記ラベルCとの組合せからなる変換後発話列評価データHを生成し、前記学習手段が、前記変換後発話列評価データHの集合から、前記概念ベクトルGと同次元の任意の概念ベクトルが、前記ラベルCの一つの値に分類されるスコアを算出するための分類モデルを生成する。
上記の次発話候補スコアリング方法は、評価手段が、文脈となる発話列Iと次発話候補集合とを入力とし、前記概念ベースを参照し、前記発話列Iの概念ベクトルJを生成し、前記次発話候補集合における各次発話候補Kに対し、前記次発話候補Kの概念ベクトルLを生成し、前記概念ベクトルJと前記概念ベクトルLを結合した概念ベクトルMを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルMが前記ラベルCの一つの値に分類されるスコアを算出することを更に含むようにすることができる。
Further, the next utterance candidate scoring method according to the present invention is a next utterance including a concept base that is a set of a pair of a word and a concept vector representing the meaning of the word, an utterance string evaluation data conversion unit, and a learning unit. The next utterance candidate scoring method in the candidate scoring device, wherein the utterance string evaluation data conversion means includes the utterance string A as a context, the next utterance candidate B, and the next utterance candidate as the next utterance of the utterance string A. A set of utterance string evaluation data D consisting of a combination with a label C indicating whether B is appropriate or not is used as an input, the concept base is referenced for each utterance string evaluation data D, and a concept vector E of the utterance string A is obtained. And generating a concept vector F of the next utterance candidate B, and evaluating a converted utterance string composed of a combination of the concept vector G and the label C obtained by combining the concept vector E and the concept vector F A score for classifying an arbitrary concept vector having the same dimension as the concept vector G into one value of the label C from the set of the converted utterance string evaluation data H. Generate a classification model for calculating.
In the next utterance candidate scoring method, the evaluation means receives the utterance sequence I as a context and the next utterance candidate set as input, generates a concept vector J of the utterance sequence I by referring to the concept base, For each next utterance candidate K in the next utterance candidate set, a concept vector L of the next utterance candidate K is generated, a concept vector M combining the concept vector J and the concept vector L is generated, and generated by the learning means By referring to the classified model, it is possible to further include calculating a score at which the concept vector M is classified into one value of the label C.
また、本発明のプログラムは、コンピュータを、上記の次発話候補スコアリング装置を構成する各手段として機能させるためのプログラムである。 Moreover, the program of this invention is a program for functioning a computer as each means which comprises said next utterance candidate scoring apparatus.
本発明では、次発話候補が文脈発話列の次発話として相応しいか否かを、分類問題として解く。請求項1は学習フェーズの処理を構成するものであり、請求項2は分類フェーズの処理を構成するものである。
In the present invention, whether the next utterance candidate is suitable as the next utterance in the context utterance string is solved as a classification problem.
本発明に係る次発話候補スコアリング装置、方法、及びプログラムによれば、文脈となる発話列Aと、次発話候補Bと、発話列Aの次発話として相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とし、各発話列評価データDに対し、発話列Aの概念ベクトルEを生成し、次発話候補Bの概念ベクトルFを生成し、概念ベクトルEと概念ベクトルFとを結合した概念ベクトルGとラベルCとの組合せからなる変換後発話列評価データHを生成し、変換後発話列評価データHの集合から、概念ベクトルGと同次元の任意の概念ベクトルが、ラベルCの一つの値に分類されるスコアを算出するための分類モデルを学習して、次発話として相応しい発話をシステムが返すことにより、システムとユーザとのインタラクションが円滑になるという効果を奏する。 According to the next utterance candidate scoring device, method, and program according to the present invention, the combination of the utterance sequence A as the context, the next utterance candidate B, and the label C indicating whether the utterance sequence A is suitable as the next utterance A set of utterance string evaluation data D consisting of the following is input, and for each utterance string evaluation data D, a concept vector E of the utterance string A is generated, a concept vector F of the next utterance candidate B is generated, and the concept vector E and the concept A post-conversion utterance string evaluation data H composed of a combination of a concept vector G combined with the vector F and a label C is generated, and an arbitrary concept vector having the same dimension as the concept vector G is generated from the set of post-conversion utterance string evaluation data H. Learns a classification model for calculating a score that is classified into one value of label C, and the system returns an utterance suitable for the next utterance. There is an effect that emissions will be smooth.
以下、図面とともに本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<次発話候補スコアリング装置の構成> <Configuration of next utterance candidate scoring device>
次に、本発明の実施の形態に係る次発話候補スコアリング装置の構成について説明する。図1は、本発明の請求項1の次発話候補スコアリング装置の構成例である。図1に示すように、本発明の実施の形態に係る次発話候補スコアリング装置100は、CPUと、RAMと、後述する処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この次発話候補スコアリング装置100は、機能的には図1に示すように入力手段10と、演算手段20とを備えている。
Next, the configuration of the next utterance candidate scoring device according to the embodiment of the present invention will be described. FIG. 1 is a configuration example of a next utterance candidate scoring device according to
入力手段10は、文脈となる発話列Aと、次発話候補Bと、発話列Aの次発話として次発話候補Bが相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とする。発話列評価データDの集合は、学習フェーズにおける学習データ群である。図2は、発話列評価データDの集合の例を示す図である。各行が、1発話列評価データDである。 The input means 10 is a set of utterance string evaluation data D comprising a combination of a utterance string A as a context, a next utterance candidate B, and a label C indicating whether the next utterance candidate B is appropriate as the next utterance of the utterance string A. As an input. A set of utterance string evaluation data D is a learning data group in the learning phase. FIG. 2 is a diagram showing an example of a set of utterance string evaluation data D. As shown in FIG. Each row is one utterance column evaluation data D.
文脈となる発話列Aは、システムとユーザとの間でやり取りされる発話の列である。発話列Aを構成する発話の数は任意であるが、ある一定の数N(例えば2)としてもよい。 The context utterance string A is a string of utterances exchanged between the system and the user. The number of utterances constituting the utterance string A is arbitrary, but may be a certain number N (for example, 2).
発話列Aの次発話として次発話候補Bが相応しい場合、ラベルCは値1をとり、相応しくない場合、ラベルCは値0をとる。発話列Aと次発話候補Bからなるデータは、ラベルCが1であれば正例データであり、ラベルCが0であれば負例データである。
When the next utterance candidate B is appropriate as the next utterance of the utterance string A, the label C takes the
正例データは、人と人との対話ログからN+1個の連続する発話の列をとり、発話列Aを最初のN個の発話の列とし、次発話候補BをN+1番目の発話とすることによっても構成できる。また、負例データは、人と人との対話ログからN+1個の連続する発話の列をとり、発話列Aを最初のN個の発話の列とし、次発話候補BをN+1番目の発話以外の、次発話として相応しくない任意の発話とすることによっても構成できる。 The positive example data is a sequence of N + 1 consecutive utterances from a person-to-person dialogue log, the utterance sequence A is the first N utterance sequence, and the next utterance candidate B is the N + 1th utterance. Can also be configured. The negative example data is a sequence of N + 1 consecutive utterances from the person-to-person dialogue log, the utterance string A is the first N utterance strings, and the next utterance candidate B is other than the N + 1th utterance. It can also be configured by making an arbitrary utterance not suitable as the next utterance.
演算手段20は、発話列評価データ変換手段21と、概念ベース22と、学習手段23と、分類モデル24と、を含んで構成されている。
The calculation means 20 includes an utterance string evaluation data conversion means 21, a
概念ベース22は、単語と該単語の意味を表す概念ベクトルとの対の集合を記憶している。概念ベース22には、名詞、動詞、形容詞等の内容語のみを登録するというようにしてもよい。図3は、概念ベース22の例である。概念ベース22は、例えば、非特許文献2の手法によって生成する(非特許文献2:別所克人, 内山俊郎, 内山匡, 片岡良治, 奥雅博,“単語・意味属性間共起に基づくコーパス概念ベースの生成方式,”情報処理学会論文誌, Dec. 2008, Vol.49, No.12, pp.3997-4006.)。
The
概念ベース22において単語は、該単語の終止形で登録されており、概念ベース22を検索する際は、単語の終止形で検索する。各単語の概念ベクトルは長さ1に正規化されたd次元ベクトルであり、意味的に近い単語の概念ベクトルは、近くに配置されている。
In the
本発明の処理では、与えられたテキストの概念ベクトルを、該テキストを単語分割して得られた各単語で概念ベース22を検索し、取得した概念ベクトルを加算し、その結果得られた概念ベクトルを長さ1に正規化することによって生成する。ここで、該テキスト中の単語の中の内容語のみを使用して、該テキストの概念ベクトルを生成してもよい。
In the processing of the present invention, a concept vector of a given text is searched for the
該テキストが複数の発話からなる発話列である場合、各発話ごとに概念ベクトルを求めると、ある発話で十分な内容語が無い等の場合に、該発話の概念ベクトルの品質が低いものとなる可能性がある。各発話に十分な内容語が無い場合でも、発話列全体では、内容語が十分揃うことがあり、そのような場合、発話列の概念ベクトルは品質が高いものとなる。 When the text is an utterance sequence composed of a plurality of utterances, when a concept vector is obtained for each utterance, the quality of the utterance concept vector is low when there are not enough content words in a certain utterance. there is a possibility. Even when there are not enough content words for each utterance, the content words may be sufficiently arranged in the entire utterance string. In such a case, the concept vector of the utterance string has high quality.
もっともあえて、発話列の各発話ごとに概念ベクトルを求め、取得した概念ベクトルの和を長さ1に正規化したものを、発話列の概念ベクトルとするというようにしてもよい。
Needless to say, a concept vector may be obtained for each utterance in the utterance sequence, and the sum of the acquired concept vectors normalized to
以下、発話列評価データ変換手段21の処理を述べる。
Hereinafter, processing of the speech string evaluation
各発話列評価データDに対し以下の処理を行う。 The following processing is performed on each utterance string evaluation data D.
概念ベース22を参照し、発話列Aの概念ベクトルEを生成し、次発話候補Bの概念ベクトルFを生成する。
Referring to the
d次元概念ベクトルEとd次元概念ベクトルFを結合した2d次元の概念ベクトルGとラベルCとの組合せからなる変換後発話列評価データHを生成する。変換後発話列評価データHは、2d次元の素性ベクトルと分類ラベルCからなる学習データであり、この2d次元素性ベクトルは、ラベルCが1であれば正例データであり、ラベルCが0であれば負例データである。変換後発話列評価データHは、文脈発話列の概念ベクトルと、次発話候補の概念ベクトルとが、その類似度に関わりなく、文脈発話列とその次発話として相応しい組合せか否かを表現している。 A post-conversion utterance string evaluation data H composed of a combination of a 2d dimensional concept vector G obtained by combining the d dimensional concept vector E and the d dimensional concept vector F and a label C is generated. The post-conversion utterance string evaluation data H is learning data composed of a 2d-dimensional feature vector and a classification label C. If the label C is 1, this 2d-order elemental vector is positive data, and the label C is 0. If so, it is negative example data. The post-conversion utterance string evaluation data H represents whether the concept vector of the context utterance string and the concept vector of the next utterance candidate are a suitable combination as the context utterance string and the next utterance regardless of the similarity. Yes.
各発話列評価データDに対し生成した変換後発話列評価データHの集合を、発話列評価データ変換手段21は出力する。図4は、変換後発話列評価データHの集合の例を示す図である。各行が、1変換後発話列評価データHである。 The utterance string evaluation data conversion means 21 outputs a set of converted utterance string evaluation data H generated for each utterance string evaluation data D. FIG. 4 is a diagram showing an example of a set of post-conversion utterance string evaluation data H. Each row is the post-conversion utterance string evaluation data H.
学習手段23は、変換後発話列評価データHの集合を学習データ群として、サポートベクタマシン(略称:SVM)等のアルゴリズムを用いて、任意の2d次元概念ベクトルが、ラベルCの値1に分類されるスコアを算出するための分類モデル24を生成する。
The learning means 23 classifies an arbitrary 2d-dimensional concept vector as a
任意の文脈発話列の概念ベクトルと、任意の次発話候補の概念ベクトルとの組に対し、その類似度に関わりなく、結合した概念ベクトルが、大勢として、正例データ群に近ければ高スコアとなり、負例データ群に近ければ低スコアとなるように、モデルが生成される。 Regardless of the similarity of a set of concept vectors of an arbitrary context utterance sequence and a concept vector of an optional next utterance candidate, the combined concept vectors are generally high scores if they are close to the positive example data group. The model is generated so that the score is low if it is close to the negative example data group.
図5は、発話列評価データ変換手段21及び学習手段23の処理フローの一例である。 FIG. 5 is an example of the processing flow of the utterance string evaluation data conversion means 21 and the learning means 23.
まず、ステップS1において、各発話列評価データDに対し、概念ベース22を参照し、発話列Aの概念ベクトルEを生成し、次発話候補Bの概念ベクトルFを生成し、d次元概念ベクトルEとd次元概念ベクトルFを結合した2d次元の概念ベクトルGとラベルCとの組合せからなる変換後発話列評価データHを生成する。
First, in step S1, the
そして、ステップS2において、上記ステップS1で生成された変換後発話列評価データHの集合に基づいて、任意の2d次元概念ベクトルが、ラベルCの値1に分類されるスコアを算出するための分類モデル24を生成する。
Then, in step S2, a classification for calculating a score by which an arbitrary 2d-dimensional concept vector is classified as a
図6は本発明の請求項2の次発話候補スコアリング装置の構成例である。なお、請求項1の次発話候補スコアリング装置の構成例と同様の構成となる部分については、同一符号を付して説明を省略する。
FIG. 6 is a configuration example of the next utterance candidate scoring device according to
図6に示すように、本発明の実施の形態に係る次発話候補スコアリング装置200は、CPUと、RAMと、後述する処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この次発話候補スコアリング装置200は、機能的には図6に示すように入力手段10と、演算手段220と、出力手段230とを備えている。
As shown in FIG. 6, the next utterance
入力手段10は、文脈となる発話列Aと、次発話候補Bと、発話列Aの次発話として次発話候補Bが相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とする。 The input means 10 is a set of utterance string evaluation data D comprising a combination of a utterance string A as a context, a next utterance candidate B, and a label C indicating whether the next utterance candidate B is appropriate as the next utterance of the utterance string A. As an input.
また、入力手段10は、入力された文脈となる発話列Iと、次発話候補集合とを受け付ける。 Moreover, the input means 10 receives the utterance string I that is the input context and the next utterance candidate set.
システムとユーザとの間でこれまでやり取りされてきた発話を時系列順に並べて、x1,x2,・・・,xmとする。N(≧1)を定め、当該発話列において、直前のN個の発話の列(x(m-N+1),x(m-N+2),・・・,xm)を、文脈となる発話列Iとして入力する。文脈となる発話列Iとして、直前までの全発話(x1,x2,・・・,xm)を入力してもよい。 The utterances exchanged so far between the system and the user are arranged in chronological order, and are set as x1, x2,..., Xm. N (≧ 1) is determined, and the sequence of the last N utterances (x (m−N + 1), x (m−N + 2),..., Xm) As an utterance string I. All utterances (x1, x2,..., Xm) up to immediately before may be input as the utterance string I as the context.
別途、これまでの発話列から抽出した焦点(トピック)について言及した文を、データベースから次発話候補として複数取るものとし、次発話候補集合として入力する。 Separately, a plurality of sentences referring to the focus (topic) extracted from the utterance sequence so far are taken as the next utterance candidates from the database, and are input as the next utterance candidate set.
演算手段220は、発話列評価データ変換手段21と、概念ベース22と、学習手段23と、分類モデル24と、評価手段221と、を含んで構成されている。
The calculation means 220 includes an utterance string evaluation data conversion means 21, a
図7は、評価手段221の処理フローの一例である。図7に沿って、評価手段221の処理内容を説明する。
FIG. 7 is an example of a processing flow of the
まず、ステップS3において、概念ベース22を参照し、発話列Iの概念ベクトルJを生成する。
First, in step S3, the
次に、次発話候補集合における各次発話候補Kに対し以下のステップS4〜ステップS6の処理を行う。 Next, the following steps S4 to S6 are performed on each next utterance candidate K in the next utterance candidate set.
ステップS4において、概念ベース22を参照し、次発話候補Kの概念ベクトルLを生成する。
In step S4, the
ステップS5において、d次元概念ベクトルJとd次元概念ベクトルLを結合した2d次元の概念ベクトルMを生成する。 In step S5, a 2d-dimensional concept vector M is generated by combining the d-dimensional concept vector J and the d-dimensional concept vector L.
ステップS6において、分類モデル24を参照することにより、2d次元概念ベクトルMが、ラベルCの値1に分類されるスコアを算出する。このスコアは、値1に分類される度合いが大きいほど、大きい値となる。
In step S <b> 6, by referring to the
概念ベクトルJと概念ベクトルLとの組に対し、その類似度に関わりなく、結合した概念ベクトルMが、大勢として、正例データ群に近ければ高スコアとなり、負例データ群に近ければ低スコアとなる。すなわち、文脈発話列Iと次発話候補Kの内容の近さに関わりなく、それぞれの内容の対応関係が、正例データにおける文脈発話列Aと次発話候補Bの対応関係に近ければ高スコアとなり、負例データにおける文脈発話列Aと次発話候補Bの対応関係に近ければ低スコアとなる。このため、文脈発話列Iとの内容の近さに関わりなく、文脈発話列Iの次発話として相応しい次発話候補が選択されるようになる。 For a set of concept vector J and concept vector L, regardless of their similarity, the combined concept vector M generally has a high score if it is close to the positive example data group, and a low score if it is close to the negative example data group. It becomes. That is, regardless of the closeness of the contents of the context utterance sequence I and the next utterance candidate K, a high score is obtained if the correspondence between the contents is close to the correspondence between the context utterance sequence A and the next utterance candidate B in the positive example data. If the correspondence between the context utterance string A and the next utterance candidate B in the negative example data is close, the score is low. Therefore, the next utterance candidate suitable as the next utterance of the context utterance string I is selected regardless of the closeness of the content with the context utterance string I.
図8は、評価手段221が出力した、概念ベクトルMとそれに対して算出したスコアとの組の集合を示す図である。
FIG. 8 is a diagram showing a set of sets of the concept vector M output from the
そして、ステップS7において、最高スコアを出した次発話候補を選択し、システムがユーザに返す。あるいは、ある閾値以上のスコアをもつ次発話候補、またはスコアが上位何位かまでの次発話候補から、ランダムに選択した次発話候補を、システムがユーザに返す。 In step S7, the next utterance candidate that gave the highest score is selected, and the system returns it to the user. Alternatively, the system returns to the user the next utterance candidate randomly selected from the next utterance candidate having a score equal to or higher than a certain threshold or the next utterance candidate having the highest score.
なお、発話列Iまたは次発話候補Kから概念ベクトルが生成されない場合は、概念ベクトルMが生成されないので、次発話候補Kのスコアは算出されない。スコアが算出されない次発話候補は、スコアが算出された次発話候補よりも順位は低いものとし、スコアが算出されない次発話候補同士はランダムに順序付けする。 If no concept vector is generated from the utterance string I or the next utterance candidate K, the concept vector M is not generated, and therefore the score of the next utterance candidate K is not calculated. The next utterance candidate whose score is not calculated is assumed to have a lower rank than the next utterance candidate whose score is calculated, and the next utterance candidate whose score is not calculated is randomly ordered.
これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、CPU等の手段で実施することが可能である。 It is possible to construct the processing described so far as a program, install the program from a communication line or a recording medium, and implement it by means such as a CPU.
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.
請求項1(学習フェーズ)と請求項2(分類フェーズ)の両方において、文脈発話列中の発話数を一定数Nとし、文脈発話列中の発話ごとに概念ベクトルを生成し、それらN個の概念ベクトルと、次発話候補から生成した概念ベクトルとを結合したd(N+1)次元概念ベクトルを、概念ベクトルGや概念ベクトルM相当のものとして処理を行うというような拡張も可能である。これは、請求項1、2において、文脈発話列の概念ベクトルE、Jを、文脈発話列中のN個の発話それぞれの概念ベクトルを結合したものと解釈したことに相当する。 In both claim 1 (learning phase) and claim 2 (classification phase), the number of utterances in the context utterance sequence is a fixed number N, and a concept vector is generated for each utterance in the context utterance sequence. It is possible to extend such that the d (N + 1) -dimensional concept vector obtained by combining the concept vector and the concept vector generated from the next utterance candidate is processed as a concept vector G or a concept vector M equivalent. This corresponds to interpretation of the concept vectors E and J of the context utterance sequence as a combination of the concept vectors of the N utterances in the context utterance sequence.
分類手法としてk近傍法を採用した場合は、学習手段23では特に何も行わずに、発話列評価データ変換手段21が出力した変換後発話列評価データHの集合を分類モデル24とする。評価手段221では、この分類モデル24から、概念ベクトルMに近い順にk個の概念ベクトルGを取り、そのような概念ベクトルGのラベルで、個数がより多い方の値を、概念ベクトルMのスコア及びラベルとする。
When the k-nearest neighbor method is adopted as the classification method, the
本発明は、システムとユーザとの円滑なインタラクションを実現する対話処理技術に適用可能である。 The present invention can be applied to a dialogue processing technique that realizes a smooth interaction between a system and a user.
10 入力手段
20、220 演算手段
21 発話列評価データ変換手段
22 概念ベース
23 学習手段
24 分類モデル
100、200 次発話候補スコアリング装置
221 評価手段
230 出力手段
DESCRIPTION OF
Claims (5)
文脈となる発話列Aと、次発話候補Bと、前記発話列Aの次発話として前記次発話候補Bが相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とし、各発話列評価データDに対し、前記概念ベースを参照し、前記発話列Aの概念ベクトルEを生成し、前記次発話候補Bの概念ベクトルFを生成し、前記概念ベクトルEと前記概念ベクトルFとを結合した概念ベクトルGと前記ラベルCとの組合せからなる変換後発話列評価データHを生成する発話列評価データ変換手段と、
前記変換後発話列評価データHの集合から、前記概念ベクトルGと同次元の任意の概念ベクトルが、前記ラベルCの一つの値に分類されるスコアを算出するための分類モデルを生成する学習手段と、
を含むことを特徴とする次発話候補スコアリング装置。 A concept base that is a set of pairs of a word and a concept vector representing the meaning of the word;
An input is a set of utterance string evaluation data D composed of a combination of a utterance string A as a context, a next utterance candidate B, and a label C indicating whether the next utterance candidate B is appropriate as the next utterance of the utterance string A. , Referring to the concept base for each utterance string evaluation data D, generating a concept vector E of the utterance string A, generating a concept vector F of the next utterance candidate B, and the concept vector E and the concept vector Utterance string evaluation data conversion means for generating post-conversion utterance string evaluation data H comprising a combination of the concept vector G combined with F and the label C;
Learning means for generating a classification model for calculating a score in which an arbitrary concept vector having the same dimension as the concept vector G is classified into one value of the label C from the set of the converted utterance string evaluation data H When,
The next utterance candidate scoring device, comprising:
前記次発話候補集合における各次発話候補Kに対し、前記次発話候補Kの概念ベクトルLを生成し、前記概念ベクトルJと前記概念ベクトルLを結合した概念ベクトルMを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルMが前記ラベルCの一つの値に分類されるスコアを算出する評価手段
を更に含むことを特徴とする請求項1記載の次発話候補スコアリング装置。 With the utterance string I as a context and the next utterance candidate set as inputs, refer to the concept base, and generate a concept vector J of the utterance string I,
For each next utterance candidate K in the next utterance candidate set, a concept vector L of the next utterance candidate K is generated, a concept vector M obtained by combining the concept vector J and the concept vector L is generated, and the learning means The next utterance candidate score according to claim 1, further comprising: an evaluation unit that calculates a score by which the concept vector M is classified into one value of the label C by referring to the generated classification model. Ring device.
前記発話列評価データ変換手段が、文脈となる発話列Aと、次発話候補Bと、前記発話列Aの次発話として前記次発話候補Bが相応しいか否かのラベルCとの組合せからなる発話列評価データDの集合を入力とし、各発話列評価データDに対し、前記概念ベースを参照し、前記発話列Aの概念ベクトルEを生成し、前記次発話候補Bの概念ベクトルFを生成し、前記概念ベクトルEと前記概念ベクトルFとを結合した概念ベクトルGと前記ラベルCとの組合せからなる変換後発話列評価データHを生成し、
前記学習手段が、前記変換後発話列評価データHの集合から、前記概念ベクトルGと同次元の任意の概念ベクトルが、前記ラベルCの一つの値に分類されるスコアを算出するための分類モデルを生成する
次発話候補スコアリング方法。 A next utterance candidate scoring method in a next utterance candidate scoring device including a concept base that is a set of a pair of a word and a concept vector representing the meaning of the word, an utterance string evaluation data conversion unit, and a learning unit ,
The utterance string evaluation data conversion means includes a combination of a utterance string A as a context, a next utterance candidate B, and a label C indicating whether the next utterance candidate B is appropriate as the next utterance of the utterance string A. A set of sequence evaluation data D is input, and for each utterance sequence evaluation data D, the concept base is referred to, a concept vector E of the utterance sequence A is generated, and a concept vector F of the next utterance candidate B is generated. Generating post-conversion speech string evaluation data H composed of a combination of a concept vector G obtained by combining the concept vector E and the concept vector F and the label C;
A classification model for the learning means to calculate a score in which an arbitrary concept vector having the same dimension as the concept vector G is classified into one value of the label C from the set of converted utterance string evaluation data H The next utterance candidate scoring method.
前記次発話候補集合における各次発話候補Kに対し、前記次発話候補Kの概念ベクトルLを生成し、前記概念ベクトルJと前記概念ベクトルLを結合した概念ベクトルMを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルMが前記ラベルCの一つの値に分類されるスコアを算出する
ことを更に含む請求項3記載の次発話候補スコアリング方法。 The evaluation means receives the utterance sequence I as a context and the next utterance candidate set as input, refers to the concept base, and generates a concept vector J of the utterance sequence I,
For each next utterance candidate K in the next utterance candidate set, a concept vector L of the next utterance candidate K is generated, a concept vector M obtained by combining the concept vector J and the concept vector L is generated, and the learning means The next utterance candidate scoring method according to claim 3, further comprising: calculating a score by which the concept vector M is classified into one value of the label C by referring to the generated classification model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014219533A JP6220762B2 (en) | 2014-10-28 | 2014-10-28 | Next utterance candidate scoring device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014219533A JP6220762B2 (en) | 2014-10-28 | 2014-10-28 | Next utterance candidate scoring device, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016085685A JP2016085685A (en) | 2016-05-19 |
JP6220762B2 true JP6220762B2 (en) | 2017-10-25 |
Family
ID=55973103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014219533A Active JP6220762B2 (en) | 2014-10-28 | 2014-10-28 | Next utterance candidate scoring device, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6220762B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11711469B2 (en) | 2021-05-10 | 2023-07-25 | International Business Machines Corporation | Contextualized speech to text conversion |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6224857B1 (en) * | 2017-03-10 | 2017-11-01 | ヤフー株式会社 | Classification device, classification method, and classification program |
US11663413B2 (en) | 2017-03-13 | 2023-05-30 | Nec Corporation | Dialog apparatus, dialog system, and computer-readable recording medium |
JP6804763B2 (en) * | 2017-03-16 | 2020-12-23 | 国立研究開発法人情報通信研究機構 | Dialogue system, dialogue device and computer program for it |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001306090A (en) * | 2000-04-25 | 2001-11-02 | Sharp Corp | Device and method for interaction, device and method for voice control, and computer-readable recording medium with program for making computer function as interaction device and voice control device recorded thereon |
JP4654776B2 (en) * | 2005-06-03 | 2011-03-23 | 富士ゼロックス株式会社 | Question answering system, data retrieval method, and computer program |
JP2009277099A (en) * | 2008-05-15 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | Similar document retrieval device, method and program, and computer readable recording medium |
JP5431532B2 (en) * | 2012-06-08 | 2014-03-05 | 日本電信電話株式会社 | Question answering apparatus, model learning apparatus, method, and program |
-
2014
- 2014-10-28 JP JP2014219533A patent/JP6220762B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11711469B2 (en) | 2021-05-10 | 2023-07-25 | International Business Machines Corporation | Contextualized speech to text conversion |
Also Published As
Publication number | Publication date |
---|---|
JP2016085685A (en) | 2016-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108984530B (en) | Detection method and detection system for network sensitive content | |
Koto et al. | Inset lexicon: Evaluation of a word list for Indonesian sentiment analysis in microblogs | |
CN106960001B (en) | A kind of entity link method and system of term | |
Taher et al. | N-gram based sentiment mining for bangla text using support vector machine | |
CN110909116B (en) | Entity set expansion method and system for social media | |
JP6220762B2 (en) | Next utterance candidate scoring device, method, and program | |
JP2014222402A (en) | Utterance candidate generation device, utterance candidate generation method, and utterance candidate generation program | |
JP4266222B2 (en) | WORD TRANSLATION DEVICE, ITS PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM | |
JP2016224483A (en) | Model learning device, method and program | |
CN112182159B (en) | Personalized search type dialogue method and system based on semantic representation | |
Byrkjeland et al. | Ternary Twitter sentiment classification with distant supervision and sentiment-specific word embeddings | |
JP6232358B2 (en) | Next utterance candidate ranking apparatus, method, and program | |
CN116562240A (en) | Text generation method, computer device and computer storage medium | |
Cerón-Guzmán | Classifier ensembles that push the state-of-the-art in sentiment analysis of spanish tweets | |
Sarma et al. | Word level language identification in Assamese-Bengali-Hindi-English code-mixed social media text | |
CN115577109A (en) | Text classification method and device, electronic equipment and storage medium | |
JP6564709B2 (en) | Sentence rewriting device, method, and program | |
JP6574469B2 (en) | Next utterance candidate ranking apparatus, method, and program | |
Castillo et al. | Using sentence semantic similarity based on WordNet in recognizing textual entailment | |
JP6368633B2 (en) | Term meaning learning device, term meaning judging device, method, and program | |
JP2018077677A (en) | Character string converting device, model learning device, method, and program | |
JP5824429B2 (en) | Spam account score calculation apparatus, spam account score calculation method, and program | |
JP2008165718A (en) | Intention determination device, intention determination method, and program | |
Xiong et al. | Fine-tuning Large Language Models for Multigenerator, Multidomain, and Multilingual Machine-Generated Text Detection | |
Ghanem et al. | Elevating the Precision of Summarization for Short Text in Social Media using Preprocessing Techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6220762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |