JP7428245B2 - Response sentence generator and program - Google Patents
Response sentence generator and program Download PDFInfo
- Publication number
- JP7428245B2 JP7428245B2 JP2022524741A JP2022524741A JP7428245B2 JP 7428245 B2 JP7428245 B2 JP 7428245B2 JP 2022524741 A JP2022524741 A JP 2022524741A JP 2022524741 A JP2022524741 A JP 2022524741A JP 7428245 B2 JP7428245 B2 JP 7428245B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- vector
- speaker
- response sentence
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 title claims description 102
- 239000013598 vector Substances 0.000 claims description 66
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 42
- 238000012545 processing Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 10
- 241000282693 Cercopithecidae Species 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 240000005856 Lyophyllum decastes Species 0.000 description 2
- 235000013194 Lyophyllum decastes Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
Description
この発明は、ユーザと対話を行う対話技術に関し、特に、個性を反映したシステム発話を生成する技術に関する。 The present invention relates to an interaction technique for interacting with a user, and particularly to a technique for generating system utterances that reflect individuality.
対話システムの発展に伴い、個性やキャラクターといった特徴(以下、まとめて「個性」と呼ぶ)を対話システムに付与する需要が高まっている(例えば、非特許文献1)。従来の多くの商用対話システムはルール方式を用いており、個性を反映した応答ルールを事前に用意しておくことで、個性のある対話システムを構築していた。近年の対話システムでは、ニューラルネットワークを用いて応答を生成する方式(以下、「文生成方式」と呼ぶ)が一般化しており、文生成方式でも個性を考慮する手法の実現が期待されている。 With the development of dialogue systems, there is an increasing demand for providing features such as individuality and character (hereinafter collectively referred to as "individuality") to dialogue systems (for example, Non-Patent Document 1). Many conventional commercial dialogue systems use a rule system, and by preparing response rules that reflect individuality in advance, a unique dialogue system can be constructed. In recent years, in dialogue systems, methods that use neural networks to generate responses (hereinafter referred to as ``sentence generation methods'') have become commonplace, and it is hoped that a method that takes individuality into account in sentence generation methods will also be realized.
文生成方式で個性を考慮する場合に、応答に使える個性の情報を入力文と共に入力する方法がある。例えば、個性を考慮しない場合に「食べ物は何が好きですか?」という入力文に対して「カレーライスが好きです」という応答文を生成する対話システムがあるとする。ここで、個性を考慮する場合には、「食べ物は何が好きですか?」という入力文と共に「食べ物だと唐揚げが好き。趣味はサーフィン。犬を飼っている。」といった個性の情報を入力すれば、「唐揚げが好きです」という応答文を生成することができる。この手法では、一般的な発話と応答の関係を学習した上で、同時に入力された個性の情報が応答に直接利用できる場合に、その個性の情報を反映した応答文を生成する。 When considering personality in the sentence generation method, there is a method of inputting personality information that can be used for responses together with the input sentence. For example, suppose there is a dialogue system that generates the response sentence ``I like curry and rice'' in response to the input sentence ``What kind of food do you like?'' without considering individuality. Here, when considering personality, input information such as ``I like fried chicken when it comes to food.My hobby is surfing.I have a dog.'' along with the input sentence ``What kind of food do you like?'' By inputting this information, a response sentence such as ``I like fried chicken'' can be generated. This method learns the relationship between general utterances and responses, and then generates response sentences that reflect personality information input at the same time if that information can be directly used in the response.
しかしながら、特定の個人特有の個性(例えば、織田信長や豊臣秀吉のような、個性がよく知られた人物の個性を対話システムに付与したい場合など)は、言語化が困難であったり、一般的な発話と応答の関係から外れた応答が必要になったりする場合がある。例えば、「来年はサル年ですね」という入力に対して、豊臣秀吉の個性を反映した応答をする場合、「ワシの年じゃな」や「誰がサルじゃ!!」といった応答文が生成されることが期待される。しかしながら、従来の手法では一般的な発話と応答の関係に対して個性の情報が反映できる場合でしか有効ではないため、「名前は豊臣秀吉。三英傑の一人。織田信長に仕え、天下統一も果たした。来年はサル年ですね」といった内容を入力としても、上記のような応答文を生成することはできない。 However, it is difficult to verbalize the unique personality of a particular individual (for example, when you want to give a dialogue system the personality of a person whose personality is well known, such as Oda Nobunaga or Toyotomi Hideyoshi), or it is difficult to express it in words. Sometimes a response that deviates from the relationship between the utterance and the response may become necessary. For example, when responding to the input ``Next year is the year of the monkey,'' a response that reflects Toyotomi Hideyoshi's personality will generate responses such as ``It's the year of the eagle!'' or ``Who's the monkey?!'' It is expected. However, conventional methods are only effective when individuality information can be reflected in the relationship between general utterances and responses. Even if you input something like, "Next year is the year of the monkey," it will not be possible to generate a response sentence like the one above.
この発明の目的は、上記のような技術的課題を鑑みて、個性の情報を入力することなく、個性を反映した応答文を生成することができる対話技術を提供することである。 SUMMARY OF THE INVENTION In view of the above-mentioned technical problems, an object of the present invention is to provide a dialogue technique that can generate response sentences that reflect individuality without inputting information about individuality.
上記の課題を解決するために、この発明の第一の態様の応答文生成装置は、入力文と話者を表す話者識別子とを入力する入力部と、入力文と話者識別子とを応答文生成モデルに入力することで応答文を求める応答文生成部と、を含み、応答文生成モデルは、話者識別子から話者埋め込みベクトルを求める話者モデルと、発話文から文ベクトルを生成するエンコーダと、発話文に対する注意の内容を表す注意ベクトルを用いて応答文を生成するデコーダと、デコーダの内部状態を表す内容ベクトルと文ベクトルと話者埋め込みベクトルとを用いて注意ベクトルを生成する注意機構と、を含む。 In order to solve the above problems, a response sentence generation device according to a first aspect of the present invention includes an input section for inputting an input sentence and a speaker identifier representing a speaker, and an input section for inputting an input sentence and a speaker identifier representing a speaker; a response sentence generation unit that generates a response sentence by inputting it to a sentence generation model; the response sentence generation model generates a speaker model that calculates a speaker embedding vector from a speaker identifier; and a sentence vector from an uttered sentence. An encoder, a decoder that generates a response sentence using an attention vector representing the content of attention to an uttered sentence, and an attention vector that generates an attention vector using a content vector representing the internal state of the decoder, a sentence vector, and a speaker embedding vector. including a mechanism.
この発明の第二の態様の応答文生成モデル学習装置は、発話文と所定の話者が発話文に応答する応答文と話者を表す話者識別子とからなる学習データを記憶する学習データ記憶部と、学習データを用いて、発話文と話者識別子を入力とし、当該発話文に応答する応答文を出力する応答文生成モデルを学習するモデル学習部と、を含み、応答文生成モデルは、話者識別子から話者埋め込みベクトルを求める話者モデルと、発話文から文ベクトルを生成するエンコーダと、発話文に対する注意の内容を表す注意ベクトルを用いて応答文を生成するデコーダと、デコーダの内部状態を表す内容ベクトルと文ベクトルと話者埋め込みベクトルとを用いて注意ベクトルを生成する注意機構と、を含む。 A response sentence generation model learning device according to a second aspect of the present invention has a learning data storage that stores learning data consisting of an uttered sentence, a response sentence in response to the uttered sentence by a predetermined speaker, and a speaker identifier representing the speaker. and a model learning unit that uses learning data to learn a response sentence generation model that receives an uttered sentence and a speaker identifier as input and outputs a response sentence in response to the uttered sentence. , a speaker model that calculates a speaker embedding vector from a speaker identifier, an encoder that generates a sentence vector from an uttered sentence, a decoder that generates a response sentence using the attention vector representing the content of attention for the uttered sentence, and a decoder. It includes an attention mechanism that generates an attention vector using a content vector representing an internal state, a sentence vector, and a speaker embedding vector.
この発明によれば、個性の情報を入力することなく、個性を反映した応答文を生成することができる。 According to this invention, a response sentence that reflects individuality can be generated without inputting individuality information.
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Embodiments of the present invention will be described in detail below. Note that in the drawings, components having the same functions are designated by the same numbers, and redundant explanation will be omitted.
文中で使用する記号「-」は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記載している。 The symbol " - " used in a sentence should originally be written directly above the character that immediately follows it, but due to text notation restrictions, it is written immediately before the character in question. In mathematical formulas, these symbols are written in their original positions, that is, directly above the letters.
[発明の概要]
この発明では、文生成方式を用いる対話システムにおいて、任意の話者を想定し、その話者の個性が反映した応答文を生成するように構成する。このとき、従来の文生成方式において個性を考慮するために必要とされていた個性の情報を不要とする。例えば、「来年はサル年ですね」という入力文から、豊臣秀吉の個性を反映した「誰がサルじゃ!!」という応答文を生成できるようにする。
[Summary of the invention]
In the present invention, a dialogue system using a sentence generation method is configured to assume an arbitrary speaker and generate a response sentence that reflects the speaker's personality. At this time, information on individuality, which is required to take individuality into consideration in conventional sentence generation methods, is no longer necessary. For example, from the input sentence ``Next year is the year of the monkey,'' it is possible to generate a response sentence ``Who is the monkey!!'' that reflects the personality of Toyotomi Hideyoshi.
そのために、個性ごとに異なる発話と応答の関係を学習するためのニューラルネットワークにおいて、入力と出力の対応関係を学習する注意機構に対して、話者ごとの個性の特徴を考慮するための枠組みを導入し、個性ごとに特徴的な入力と出力の対応関係を学習する。例えば、「この人物ならサルという単語に注目しそうだ」とか「サルという単語からこういう意味を読み取りそうだ」といった、話者ごとに異なる注意の傾向を、応答文生成において実現する。これにより、個性を考慮した応答文生成の性能(すなわち、生成された応答文の品質)が向上する。 To this end, in a neural network that learns the relationship between utterances and responses that differ for each personality, we developed a framework that takes into account the characteristics of each speaker's personality for the attention mechanism that learns the correspondence between input and output. The system learns the correspondence between input and output that is characteristic of each individuality. For example, when generating response sentences, attention trends that vary depending on the speaker can be realized, such as, ``This person is likely to pay attention to the word monkey,'' or ``This person is likely to derive this kind of meaning from the word monkey.'' This improves the performance of response sentence generation that takes individuality into consideration (that is, the quality of the generated response sentence).
[実施形態]
この発明の実施形態は、文生成方式を用いる対話システムにおいて、ユーザ発話に基づく入力文に対して応答文を生成する応答文生成装置および方法と、その応答文生成装置および方法において用いられる応答文生成モデルを学習する応答文生成モデル学習装置および方法とからなる。
[Embodiment]
Embodiments of the present invention provide a response sentence generation device and method for generating a response sentence to an input sentence based on user utterances in a dialogue system using a sentence generation method, and a response sentence generation device and method used in the response sentence generation device and method. The present invention comprises a response sentence generation model learning device and method for learning a generation model.
<応答文生成装置>
図1に示すように、実施形態の応答文生成装置1は、ユーザ発話の内容を表す入力文と、話者を一意に特定する話者識別子とを入力とし、入力文に対するシステム発話の内容を表す応答文を出力する。応答文生成装置1は、例えば、モデル記憶部10、入力部11、および応答文生成部12を備える。この応答文生成装置1が、図2に例示する各ステップの処理を行うことにより実施形態の応答文生成方法が実現される。
<Response sentence generation device>
As shown in FIG. 1, the response
応答文生成装置1は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。応答文生成装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。応答文生成装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。応答文生成装置1は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。応答文生成装置1が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
The response
モデル記憶部10には、学習済みの応答文生成モデルが記憶されている。図3に示すように、応答文生成モデル100は、入力文と話者識別子とを入力とし、応答文を出力する。応答文生成モデル100は、例えば、話者モデル101、エンコーダ102、デコーダ103、および注意機構104を含む。入力文は、例えば、対話システムに対してユーザが発話した質問の内容を表す発話文である。話者識別子は、個性を反映させたい人物を一意に特定する識別子である。応答文は、例えば、入力文として与えられた質問文に対する対話システムからの回答の内容を表す発話文である。
The
話者モデル101は、話者識別子を入力とし、その話者識別子を話者埋め込みベクトルに変換して出力する、学習済みのモデルである。話者モデル101は、例えば、参考文献1に記載されたSpeaker modelと呼ばれるモデルを用いることができる。
〔参考文献1〕Jiwei Li, Michel Galley, Chris Brockett, Georgios P Spithourakis, Jianfeng Gao, and Bill Dolan, "A persona-based neural conversation model," arXiv preprint, arXiv:1603.06155, 2016.
The
[Reference 1] Jiwei Li, Michel Galley, Chris Brockett, Georgios P Spithourakis, Jianfeng Gao, and Bill Dolan, "A persona-based neural conversation model," arXiv preprint, arXiv:1603.06155, 2016.
エンコーダ102は、発話文を入力とし、その発話文を文ベクトルに変換して出力する。デコーダ103は、注意機構104が出力する注意ベクトルを用いて応答文を生成して出力する。エンコーダ102およびデコーダ103は、従来の文生成方式で用いられるエンコーダおよびデコーダと同じものである。従来の文生成方式については、参考文献2を参照されたい。
〔参考文献2〕Vinyals, Oriol, and Quoc Le, "A neural conversational model," arXiv preprint, arXiv:1506.05869, 2015.
The
[Reference 2] Vinyals, Oriol, and Quoc Le, "A neural conversational model," arXiv preprint, arXiv:1506.05869, 2015.
注意機構104は、話者モデル101が出力する話者埋め込みベクトル、エンコーダ102が出力する文ベクトル、およびデコーダ103の内部状態を表す内容ベクトルを入力とし、注意ベクトルを生成して出力する。注意機構104は、まず、話者埋め込みベクトルと文ベクトルと内容ベクトルとを用いて、入力文のどの部分に注目するか(以下、「注意の傾向」と呼ぶ)を表すベクトルである注意重みを生成する。次に、注意機構104は、注意重みと話者埋め込みベクトルと文ベクトルとを用いて、入力文に対して注意の傾向に従って注意した内容(以下、「注意の内容」と呼ぶ)を表す注意ベクトルを生成する。
The
従来の文生成方式における注意機構との相違点は、注意重みの計算および注意ベクトルの計算において話者埋め込みベクトルを参照することである。これにより、個性に応じて、注意の傾向および注意の内容を変化させる。注意の傾向は、例えば、「豊臣秀吉はサルという単語に強く注目する」といった特徴である。注意の内容は、例えば、「豊臣秀吉はサルという単語をネガティブに捉える」といった特徴である。こうした特徴は、事前に人手で付与する必要はなく、注意の傾向および注意の内容が反映された学習データ、具体的には、話者と紐づけられた多数の文データを用意して学習データとすることで、注意ベクトルに反映される。 The difference from the attention mechanism in conventional sentence generation methods is that speaker embedding vectors are referenced in the calculation of attention weights and attention vectors. This changes the tendency and content of attention depending on individuality. The tendency of attention is, for example, a characteristic such as "Toyotomi Hideyoshi pays strong attention to the word monkey." The content of the warning is, for example, a characteristic such as "Toyotomi Hideyoshi views the word monkey in a negative way." These features do not need to be added manually in advance; rather, training data that reflects the tendency and content of attention, specifically, a large number of sentence data linked to speakers, can be prepared. This is reflected in the attention vector.
注意機構104は、具体的には、以下の数式を計算する。
Specifically, the
ここで、○は要素積を表す演算子である。tはデコーダがt番目の単語を出力していることを示す変数である。iはエンコーダに入力されたN単語からなる入力文のうちi番目の単語であることを示す変数である。ht (dec)はデコーダの内部状態を表すd次元の内容ベクトルである。なお、dは注意機構の計算部分のサイズ(次元数)である。H(enc)はエンコーダが生成したN×d次元の文ベクトルである。hi (enc)∈H(enc)は文ベクトルのi番目の単語に対応する要素である。suは話者モデルが生成したd次元の話者埋め込みベクトルである。f(・)およびg(・)は相異なる線形変換である。f(・)およびg(・)は、1次の線形変換でもよいし、任意のM次の線形変換でもよいし、sigmoid関数やsoftsign関数等を用いて出力が0~1や-1~1などの一定の閾値に収まるような関数を定義してもよいし、これらを組み合わせてもよい。aiは入力文のうちi番目の単語に対する注意重みである。 Here, ◯ is an operator representing the product of elements. t is a variable indicating that the decoder is outputting the tth word. i is a variable indicating that it is the i-th word in the input sentence consisting of N words input to the encoder. h t (dec) is a d-dimensional content vector representing the internal state of the decoder. Note that d is the size (number of dimensions) of the calculation part of the attention mechanism. H (enc) is an N×d dimensional sentence vector generated by the encoder. h i (enc) ∈H (enc) is an element corresponding to the i-th word of the sentence vector. s u is a d-dimensional speaker embedding vector generated by the speaker model. f(·) and g(·) are different linear transformations. f(・) and g(・) may be linear transformations of first order or any M order, or can be performed using sigmoid function, softsign function, etc. You may define a function that falls within a certain threshold such as , or you may combine these functions. a i is the attention weight for the i-th word in the input sentence.
すなわち、注意機構104は、以下のようにして、注意ベクトルを計算する。まず、注意重みaiを計算するために、話者埋め込みベクトルsuをM次の線形変換f(・)を用いて変換する。線形変換した話者埋め込みベクトルf(su)と、エンコードした文ベクトルH(enc)の各要素hi
(enc)との要素積を計算して、-hi,k
(enc)とする(数式の2行目に相当)。話者埋め込みベクトルsuによって変形した-hi,k
(enc)とデコーダの内容ベクトルht
(dec)を用いて、i番目の注意重みaiを計算する(数式の4行目に相当)。次に、注意ベクトルを計算するために、話者埋め込みベクトルsuをM次の線形変換g(・)を用いて変換する。線形変換した話者埋め込みベクトルg(su)と、エンコードした文ベクトルH(enc)の各要素hi
(enc)との要素積を計算して、-hi,v
(enc)とする(数式の3行目に相当)。これらのエンコードした文ベクトルの各要素と線形変換した話者埋め込みベクトルにより計算される-hi,k
(enc),-hi,v
(enc)の添字k, vはそれぞれkey, valueの頭文字をとったものであり、注意機構では慣例的に重みをkey、重みをかけるベクトルをvalueと呼ぶためこのような添え字をとる。最後に、すべてのiについて注意重みaiと-hi,v
(enc)の積を計算し、それらの総和を求める。この総和が最終的な出力となる注意ベクトルである(数式の1行目に相当)。
That is, the
図2を参照して、実施形態の応答文生成装置1が実行する応答文生成方法の処理手続きを説明する。
With reference to FIG. 2, the processing procedure of the response sentence generation method executed by the response
ステップS11において、入力部11へ、入力文と話者識別子とが入力される。入力部11は、入力文と話者識別子とを応答文生成部12へ出力する。
In step S11, an input sentence and a speaker identifier are input to the
ステップS12において、応答文生成部12は、入力部11から入力文と話者識別子とを受け取り、入力文と話者識別子とをモデル記憶部10に記憶された応答文生成モデルに入力することで、話者の個性が反映された応答文を得て出力する。応答文の出力では、応答文生成モデルの出力層から得られたベクトルに紐づく単語を出力することを繰り返すことで応答文となる単語列が得られる。応答文生成部12は、得られた応答文を応答文生成装置1の出力とする。
In step S12, the response
<応答文生成モデル学習装置>
図4に示すように、実施形態の応答文生成モデル学習装置2は、例えば、学習データ記憶部20、モデル学習部21、およびモデル記憶部10を備える。この応答文生成モデル学習装置2が、図5に例示する各ステップの処理を行うことにより実施形態の応答文生成モデル学習方法が実現される。
<Response sentence generation model learning device>
As shown in FIG. 4, the response sentence generation
応答文生成モデル学習装置2は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。応答文生成モデル学習装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。応答文生成モデル学習装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。応答文生成モデル学習装置2は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。応答文生成モデル学習装置2が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
The response sentence generation
図5を参照して、実施形態の応答文生成モデル学習装置2が実行する応答文生成モデル学習方法の処理手続きを説明する。
With reference to FIG. 5, the processing procedure of the response sentence generation model learning method executed by the response sentence generation
学習データ記憶部20には、学習データが記憶されている。学習データは、例えば質問文である発話文と、所定の話者がその発話文に応答する応答文と、その話者を表す話者識別子とからなる。学習データは、対話システム等で実際に行われた対話を収集したものでもよいし、特定の人物を想定して人手で作成したものでもよいし、それらが混在していてもよい。
The learning
ステップS20において、応答文生成モデル学習装置2は、学習データ記憶部20から学習データを読み出す。応答文生成モデル学習装置2は、読み出した学習データをモデル学習部21へ入力する。
In step S20, the response sentence generation
ステップS21において、モデル学習部21は、入力された学習データを用いて、応答文生成モデル100のニューラルネットワークの各パラメータを学習する。応答文生成モデルの学習方法は、参考文献2に開示されている、従来の入力と話者識別子を用いて出力を生成するモデルの学習方法と同様である。すなわち、モデルの出力文に対するsoftmax cross entropyを損失関数とし、損失を最小化するようにエンコーダ102、デコーダ103、および注意機構104のパラメータを学習する。注意機構104のパラメータの学習に際しては、パラメータf, gの更新を所定の回数、または、所定の条件を満たすまで繰り返す。同時に、話者識別子を話者埋め込みベクトルに変換する話者モデル101のパラメータを、従来のSpeaker modelと同様にして学習する。モデル学習部21は、学習済みの応答文生成モデル100のパラメータをモデル記憶部10へ記憶する。
In step S21, the
[実験結果]
上記実施形態の効果を測定するために、非特許文献1に開示されているなりきり質問応答のデータを用いて実験を行った。具体的には、3名分のなりきりデータ5万件の質問応答ペアを学習データとし、2千件を評価データとした。注意機構の次元数dは512とし、エンコーダおよびデコーダはTransformerを用いた。注意機構はTransformer内の自己注意およびソースターゲット注意を置き換える形で、本実施形態の注意機構を実装した。学習データでモデルを学習し、評価データの質問文を与えて回答を生成した。評価尺度は、BLEU-1, BLEU-4, PPLを用いた。すなわち、本実施形態で生成された回答文と評価データの質問に紐づいた正解回答文とをBLEU-1, BLEU-4を用いて比較した(値は大きい方が良い)。また、正解回答文に対するモデルの生成確率(PPL: Perplexity)を計算した(値は小さい方が良い)。
[Experimental result]
In order to measure the effects of the above embodiment, an experiment was conducted using the data of the impersonation question and answer disclosed in
表1に実験結果を示す。すべての評価指標において、本実施形態の手法が最も良い評価となったことがわかる。 Table 1 shows the experimental results. It can be seen that the method of this embodiment achieved the best evaluation in all evaluation indicators.
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 Although the embodiments of this invention have been described above, the specific configuration is not limited to these embodiments, and even if the design is changed as appropriate without departing from the spirit of this invention, Needless to say, it is included in this invention. The various processes described in the embodiments are not only executed in chronological order according to the order described, but also may be executed in parallel or individually depending on the processing capacity of the device that executes the processes or as necessary.
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図6に示すコンピュータの記憶部1020に読み込ませ、演算処理部1010、入力部1030、出力部1040などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
[Program, recording medium]
When the various processing functions of each device described in the above embodiments are realized by a computer, the processing contents of the functions that each device should have are described by a program. By loading this program into the
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、磁気記録装置、光ディスク等である。 A program describing the contents of this process can be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a non-transitory recording medium, such as a magnetic recording device, an optical disk, or the like.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 Further, this program is distributed by, for example, selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, this program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部1050に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部1050に格納されたプログラムを一時的な記憶装置である記憶部1020に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
A computer that executes such a program, for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer into the
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Further, in this embodiment, the present apparatus is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be realized by hardware.
Claims (2)
前記入力文と前記話者識別子とを応答文生成モデルに入力することで応答文を求める応答文生成部と、
を含み、
前記応答文生成モデルは、
話者識別子から話者埋め込みベクトルを求める話者モデルと、
発話文から文ベクトルを生成するエンコーダと、
前記発話文に対する注意の内容を表す注意ベクトルを用いて応答文を生成するデコーダと、
前記デコーダの内部状態を表す内容ベクトルと前記文ベクトルと前記話者埋め込みベクトルとを用いて前記注意ベクトルを生成する注意機構と、
を含み、
前記注意機構は、H(enc)を前記文ベクトルとし、Nを前記文ベクトルの要素数とし、hi (enc)を前記文ベクトルのi番目の単語に対応する要素とし、ht (dec)を前記応答文のt番目の要素を求めるときの前記内容ベクトルとし、suを前記話者埋め込みベクトルとし、fを第一の線形変換とし、gを第二の線形変換とし、次式を計算することで、前記注意ベクトルを生成する、
応答文生成装置。 an input section for inputting an input sentence and a speaker identifier representing a speaker;
a response sentence generation unit that obtains a response sentence by inputting the input sentence and the speaker identifier into a response sentence generation model;
including;
The response sentence generation model is
a speaker model that calculates a speaker embedding vector from a speaker identifier;
an encoder that generates a sentence vector from an uttered sentence;
a decoder that generates a response sentence using an attention vector representing the content of attention to the uttered sentence;
an attention mechanism that generates the attention vector using a content vector representing an internal state of the decoder, the sentence vector, and the speaker embedding vector;
including;
The attention mechanism is configured such that H (enc) is the sentence vector, N is the number of elements of the sentence vector, h i (enc) is the element corresponding to the i-th word of the sentence vector, and h t (dec) Let be the content vector when calculating the t-th element of the response sentence, let s u be the speaker embedding vector, f be the first linear transformation, g be the second linear transformation, and calculate the following equation. Generate the attention vector by
Response sentence generator.
A program for causing a computer to function as the response sentence generation device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024008193A JP2024028569A (en) | 2020-05-20 | 2024-01-23 | Response sentence generation device, response sentence generation model learning device, method therefor, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/019887 WO2021234838A1 (en) | 2020-05-20 | 2020-05-20 | Response-sentence generating device, response-sentence-generation model learning device, and method and program therefor |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024008193A Division JP2024028569A (en) | 2020-05-20 | 2024-01-23 | Response sentence generation device, response sentence generation model learning device, method therefor, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021234838A1 JPWO2021234838A1 (en) | 2021-11-25 |
JP7428245B2 true JP7428245B2 (en) | 2024-02-06 |
Family
ID=78708291
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022524741A Active JP7428245B2 (en) | 2020-05-20 | 2020-05-20 | Response sentence generator and program |
JP2024008193A Pending JP2024028569A (en) | 2020-05-20 | 2024-01-23 | Response sentence generation device, response sentence generation model learning device, method therefor, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024008193A Pending JP2024028569A (en) | 2020-05-20 | 2024-01-23 | Response sentence generation device, response sentence generation model learning device, method therefor, and program |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7428245B2 (en) |
WO (1) | WO2021234838A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190197121A1 (en) | 2017-12-22 | 2019-06-27 | Samsung Electronics Co., Ltd. | Method and apparatus with natural language generation |
WO2019198386A1 (en) | 2018-04-13 | 2019-10-17 | 国立研究開発法人情報通信研究機構 | Request rephrasing system, method for training of request rephrasing model and of request determination model, and conversation system |
WO2019212729A1 (en) | 2018-05-03 | 2019-11-07 | Microsoft Technology Licensing, Llc | Generating response based on user's profile and reasoning on contexts |
CN110874402A (en) | 2018-08-29 | 2020-03-10 | 北京三星通信技术研究有限公司 | Reply generation method, device and computer readable medium based on personalized information |
CN111078854A (en) | 2019-12-13 | 2020-04-28 | 北京金山数字娱乐科技有限公司 | Question-answer prediction model training method and device and question-answer prediction method and device |
-
2020
- 2020-05-20 JP JP2022524741A patent/JP7428245B2/en active Active
- 2020-05-20 WO PCT/JP2020/019887 patent/WO2021234838A1/en active Application Filing
-
2024
- 2024-01-23 JP JP2024008193A patent/JP2024028569A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190197121A1 (en) | 2017-12-22 | 2019-06-27 | Samsung Electronics Co., Ltd. | Method and apparatus with natural language generation |
WO2019198386A1 (en) | 2018-04-13 | 2019-10-17 | 国立研究開発法人情報通信研究機構 | Request rephrasing system, method for training of request rephrasing model and of request determination model, and conversation system |
WO2019212729A1 (en) | 2018-05-03 | 2019-11-07 | Microsoft Technology Licensing, Llc | Generating response based on user's profile and reasoning on contexts |
CN110874402A (en) | 2018-08-29 | 2020-03-10 | 北京三星通信技术研究有限公司 | Reply generation method, device and computer readable medium based on personalized information |
CN111078854A (en) | 2019-12-13 | 2020-04-28 | 北京金山数字娱乐科技有限公司 | Question-answer prediction model training method and device and question-answer prediction method and device |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021234838A1 (en) | 2021-11-25 |
JP2024028569A (en) | 2024-03-04 |
WO2021234838A1 (en) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7408574B2 (en) | Multitask learning as question answering | |
WO2020174826A1 (en) | Answer generating device, answer learning device, answer generating method, and answer generating program | |
US20180189274A1 (en) | Apparatus and method for generating natural language | |
JP2022500726A (en) | Global-local memory pointer network for task-oriented dialogue | |
CN109101537A (en) | More wheel dialogue data classification methods, device and electronic equipment based on deep learning | |
Sojasingarayar | Seq2seq ai chatbot with attention mechanism | |
JP7194270B2 (en) | Dialogue generation method and device, computer equipment and program | |
CN108959482A (en) | Single-wheel dialogue data classification method, device and electronic equipment based on deep learning | |
EP3602419A1 (en) | Neural network optimizer search | |
JP7315065B2 (en) | QUESTION GENERATION DEVICE, QUESTION GENERATION METHOD AND PROGRAM | |
US20200265327A1 (en) | Selecting answer spans from electronic documents using neural networks | |
JP6649536B1 (en) | Dialogue processing device, learning device, dialogue processing method, learning method and program | |
CN111930914A (en) | Question generation method and device, electronic equipment and computer-readable storage medium | |
EP4064110A1 (en) | Apparatus and method for training dialogue summary model | |
US11663413B2 (en) | Dialog apparatus, dialog system, and computer-readable recording medium | |
JP2020154076A (en) | Inference unit, learning method and learning program | |
CN113569017A (en) | Model processing method and device, electronic equipment and storage medium | |
JP6243072B1 (en) | Input / output system, input / output program, information processing device, chat system | |
JP6082657B2 (en) | Pose assignment model selection device, pose assignment device, method and program thereof | |
JP7428245B2 (en) | Response sentence generator and program | |
EP4035085A1 (en) | Training neural networks to generate structured embeddings | |
JP2020129061A (en) | Language model score calculation device, language model generation device, method thereof, program and recording medium | |
Xu et al. | Linear transformation on x‐vector for text‐independent speaker verification | |
WO2020054402A1 (en) | Neural network processing device, computer program, neural network manufacturing method, neural network data manufacturing method, neural network use device, and neural network downscaling method | |
JP2020129051A (en) | Paralanguage information estimation model learning device, paralanguage information estimation device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7428245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |