JP6220762B2 - 次発話候補スコアリング装置、方法、及びプログラム - Google Patents

Description

本発明は、ユーザとの間で対話を行う対話システムにおいて、ユーザとの間で、ある発話列がやり取りされた後、システムが生成した次発話候補集合の中で、システム側が発する次発話として相応しい次発話候補を決定するための次発話候補スコアリング装置、方法、及びプログラムに関する。

非タスク指向型対話システムでは、対話の内容は雑談であり、非特許文献１では、ウェブやツイッター（登録商標）などの文章をデータベース化しておき、ユーザ発話に類似するものを選択することでシステム発話を生成する。

これまでやり取りされてきた発話列における焦点（トピック）を求め、当該焦点について言及した文をデータベースから次発話候補として複数取り、この次発話候補のスコアを算出する手法がある。スコア算出後、最高スコアを出した次発話候補をシステムがユーザに返す。あるいは、ある閾値以上のスコアをもつ次発話候補、またはスコアが上位何位かまでの次発話候補から、ランダムに選択した次発話候補を、システムがユーザに返す。

このような手法として、直前のＮ(≧１)個の発話の列を文脈とし、各次発話候補に対し、文脈発話列の概念ベクトルと、該次発話候補の概念ベクトルとの近さを表すスコアを算出する概念ベースに基づく手法がある。

Bessho, F., Harada, T., and Kuniyoshi, Y."Dialog System Using Real-Time Crowdsourcing and Twitter Large-Scale Corpus."In Proc. SIGDIAL, pp. 227-231, 2012.

上述した概念ベースに基づく手法では、文脈発話列と次発話候補の内容が近ければ高スコアとなるが、このため、内容は近いが次発話として相応しくない次発話候補が選択され、内容が少々遠いが次発話として相応しい次発話候補が選択されないことがあるという課題がある。例えば、文脈発話列が１質問文で、ある次発話候補が全く同じ質問文であれば、該次発話候補が選択されるが、該次発話候補は次発話として相応しいとは言えない。そして、当該質問文に回答しているような、より相応しい次発話候補が選択されない。

本発明の目的は、この課題を解決するため、次発話候補集合の中から、文脈発話列の次発話として相応しい次発話候補を選択することができる次発話候補スコアリング装置、方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る次発話候補スコアリング装置は、単語と該単語の意味を表す概念ベクトルとの対の集合である概念ベースと、文脈となる発話列Ａと、次発話候補Ｂと、前記発話列Ａの次発話として前記次発話候補Ｂが相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とし、各発話列評価データＤに対し、前記概念ベースを参照し、前記発話列Ａの概念ベクトルＥを生成し、前記次発話候補Ｂの概念ベクトルＦを生成し、前記概念ベクトルＥと前記概念ベクトルＦとを結合した概念ベクトルＧと前記ラベルＣとの組合せからなる変換後発話列評価データＨを生成する発話列評価データ変換手段と、前記変換後発話列評価データＨの集合から、前記概念ベクトルＧと同次元の任意の概念ベクトルが、前記ラベルＣの一つの値に分類されるスコアを算出するための分類モデルを生成する学習手段と、を含んで構成されている。
上記の次発話候補スコアリング装置は、文脈となる発話列Ｉと次発話候補集合とを入力とし、前記概念ベースを参照し、前記発話列Ｉの概念ベクトルＪを生成し、前記次発話候補集合における各次発話候補Ｋに対し、前記次発話候補Ｋの概念ベクトルＬを生成し、前記概念ベクトルＪと前記概念ベクトルＬを結合した概念ベクトルＭを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルＭが前記ラベルＣの一つの値に分類されるスコアを算出する評価手段を更に含むようにすることができる。

また、本発明に係る次発話候補スコアリング方法は、単語と該単語の意味を表す概念ベクトルとの対の集合である概念ベースと、発話列評価データ変換手段と、学習手段とを含む次発話候補スコアリング装置における次発話候補スコアリング方法であって、前記発話列評価データ変換手段が、文脈となる発話列Ａと、次発話候補Ｂと、前記発話列Ａの次発話として前記次発話候補Ｂが相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とし、各発話列評価データＤに対し、前記概念ベースを参照し、前記発話列Ａの概念ベクトルＥを生成し、前記次発話候補Ｂの概念ベクトルＦを生成し、前記概念ベクトルＥと前記概念ベクトルＦとを結合した概念ベクトルＧと前記ラベルＣとの組合せからなる変換後発話列評価データＨを生成し、前記学習手段が、前記変換後発話列評価データＨの集合から、前記概念ベクトルＧと同次元の任意の概念ベクトルが、前記ラベルＣの一つの値に分類されるスコアを算出するための分類モデルを生成する。
上記の次発話候補スコアリング方法は、評価手段が、文脈となる発話列Ｉと次発話候補集合とを入力とし、前記概念ベースを参照し、前記発話列Ｉの概念ベクトルＪを生成し、前記次発話候補集合における各次発話候補Ｋに対し、前記次発話候補Ｋの概念ベクトルＬを生成し、前記概念ベクトルＪと前記概念ベクトルＬを結合した概念ベクトルＭを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルＭが前記ラベルＣの一つの値に分類されるスコアを算出することを更に含むようにすることができる。

また、本発明のプログラムは、コンピュータを、上記の次発話候補スコアリング装置を構成する各手段として機能させるためのプログラムである。

本発明では、次発話候補が文脈発話列の次発話として相応しいか否かを、分類問題として解く。請求項１は学習フェーズの処理を構成するものであり、請求項２は分類フェーズの処理を構成するものである。

本発明に係る次発話候補スコアリング装置、方法、及びプログラムによれば、文脈となる発話列Ａと、次発話候補Ｂと、発話列Ａの次発話として相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とし、各発話列評価データＤに対し、発話列Ａの概念ベクトルＥを生成し、次発話候補Ｂの概念ベクトルＦを生成し、概念ベクトルＥと概念ベクトルＦとを結合した概念ベクトルＧとラベルＣとの組合せからなる変換後発話列評価データＨを生成し、変換後発話列評価データＨの集合から、概念ベクトルＧと同次元の任意の概念ベクトルが、ラベルＣの一つの値に分類されるスコアを算出するための分類モデルを学習して、次発話として相応しい発話をシステムが返すことにより、システムとユーザとのインタラクションが円滑になるという効果を奏する。

本発明の実施の形態に係る次発話候補スコアリング装置の機能的構成を示すブロック図である。 発話列評価データＤの集合の例を示す図である。 概念ベースの例を示す図である。 変換後発話列評価データＨの集合の例を示す図である。 本発明の実施の形態に係る次発話候補スコアリング装置の発話列評価データ変換手段及び学習手段における処理ルーチンを示すフローチャート図である。 本発明の実施の形態に係る次発話候補スコアリング装置の機能的構成を示すブロック図である。 本発明の実施の形態に係る次発話候補スコアリング装置の評価手段における処理ルーチンを示すフローチャート図である。 概念ベクトルＭとそれに対して算出したスコアとの組の集合を示す図である。

以下、図面とともに本発明の実施の形態を説明する。

＜次発話候補スコアリング装置の構成＞

次に、本発明の実施の形態に係る次発話候補スコアリング装置の構成について説明する。図１は、本発明の請求項１の次発話候補スコアリング装置の構成例である。図１に示すように、本発明の実施の形態に係る次発話候補スコアリング装置１００は、ＣＰＵと、ＲＡＭと、後述する処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この次発話候補スコアリング装置１００は、機能的には図１に示すように入力手段１０と、演算手段２０とを備えている。

入力手段１０は、文脈となる発話列Ａと、次発話候補Ｂと、発話列Ａの次発話として次発話候補Ｂが相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とする。発話列評価データＤの集合は、学習フェーズにおける学習データ群である。図２は、発話列評価データＤの集合の例を示す図である。各行が、１発話列評価データＤである。

文脈となる発話列Ａは、システムとユーザとの間でやり取りされる発話の列である。発話列Ａを構成する発話の数は任意であるが、ある一定の数Ｎ（例えば２）としてもよい。

発話列Ａの次発話として次発話候補Ｂが相応しい場合、ラベルＣは値１をとり、相応しくない場合、ラベルＣは値０をとる。発話列Ａと次発話候補Ｂからなるデータは、ラベルＣが１であれば正例データであり、ラベルＣが０であれば負例データである。

正例データは、人と人との対話ログからＮ＋１個の連続する発話の列をとり、発話列Ａを最初のＮ個の発話の列とし、次発話候補ＢをＮ＋１番目の発話とすることによっても構成できる。また、負例データは、人と人との対話ログからＮ＋１個の連続する発話の列をとり、発話列Ａを最初のＮ個の発話の列とし、次発話候補ＢをＮ＋１番目の発話以外の、次発話として相応しくない任意の発話とすることによっても構成できる。

演算手段２０は、発話列評価データ変換手段２１と、概念ベース２２と、学習手段２３と、分類モデル２４と、を含んで構成されている。

概念ベース２２は、単語と該単語の意味を表す概念ベクトルとの対の集合を記憶している。概念ベース２２には、名詞、動詞、形容詞等の内容語のみを登録するというようにしてもよい。図３は、概念ベース２２の例である。概念ベース２２は、例えば、非特許文献2の手法によって生成する（非特許文献２：別所克人, 内山俊郎, 内山匡, 片岡良治, 奥雅博,“単語・意味属性間共起に基づくコーパス概念ベースの生成方式,”情報処理学会論文誌, Dec. 2008, Vol.49, No.12, pp.3997-4006.）。

概念ベース２２において単語は、該単語の終止形で登録されており、概念ベース２２を検索する際は、単語の終止形で検索する。各単語の概念ベクトルは長さ１に正規化されたｄ次元ベクトルであり、意味的に近い単語の概念ベクトルは、近くに配置されている。

本発明の処理では、与えられたテキストの概念ベクトルを、該テキストを単語分割して得られた各単語で概念ベース２２を検索し、取得した概念ベクトルを加算し、その結果得られた概念ベクトルを長さ１に正規化することによって生成する。ここで、該テキスト中の単語の中の内容語のみを使用して、該テキストの概念ベクトルを生成してもよい。

該テキストが複数の発話からなる発話列である場合、各発話ごとに概念ベクトルを求めると、ある発話で十分な内容語が無い等の場合に、該発話の概念ベクトルの品質が低いものとなる可能性がある。各発話に十分な内容語が無い場合でも、発話列全体では、内容語が十分揃うことがあり、そのような場合、発話列の概念ベクトルは品質が高いものとなる。

もっともあえて、発話列の各発話ごとに概念ベクトルを求め、取得した概念ベクトルの和を長さ１に正規化したものを、発話列の概念ベクトルとするというようにしてもよい。

以下、発話列評価データ変換手段２１の処理を述べる。

各発話列評価データＤに対し以下の処理を行う。

概念ベース２２を参照し、発話列Ａの概念ベクトルＥを生成し、次発話候補Ｂの概念ベクトルＦを生成する。

ｄ次元概念ベクトルＥとｄ次元概念ベクトルＦを結合した２ｄ次元の概念ベクトルＧとラベルＣとの組合せからなる変換後発話列評価データＨを生成する。変換後発話列評価データＨは、２ｄ次元の素性ベクトルと分類ラベルＣからなる学習データであり、この２ｄ次元素性ベクトルは、ラベルＣが１であれば正例データであり、ラベルＣが０であれば負例データである。変換後発話列評価データＨは、文脈発話列の概念ベクトルと、次発話候補の概念ベクトルとが、その類似度に関わりなく、文脈発話列とその次発話として相応しい組合せか否かを表現している。

各発話列評価データＤに対し生成した変換後発話列評価データＨの集合を、発話列評価データ変換手段２１は出力する。図４は、変換後発話列評価データＨの集合の例を示す図である。各行が、１変換後発話列評価データＨである。

学習手段２３は、変換後発話列評価データＨの集合を学習データ群として、サポートベクタマシン（略称：ＳＶＭ）等のアルゴリズムを用いて、任意の２ｄ次元概念ベクトルが、ラベルＣの値１に分類されるスコアを算出するための分類モデル２４を生成する。

任意の文脈発話列の概念ベクトルと、任意の次発話候補の概念ベクトルとの組に対し、その類似度に関わりなく、結合した概念ベクトルが、大勢として、正例データ群に近ければ高スコアとなり、負例データ群に近ければ低スコアとなるように、モデルが生成される。

図５は、発話列評価データ変換手段２１及び学習手段２３の処理フローの一例である。

まず、ステップＳ１において、各発話列評価データＤに対し、概念ベース２２を参照し、発話列Ａの概念ベクトルＥを生成し、次発話候補Ｂの概念ベクトルＦを生成し、ｄ次元概念ベクトルＥとｄ次元概念ベクトルＦを結合した２ｄ次元の概念ベクトルＧとラベルＣとの組合せからなる変換後発話列評価データＨを生成する。

そして、ステップＳ２において、上記ステップＳ１で生成された変換後発話列評価データＨの集合に基づいて、任意の２ｄ次元概念ベクトルが、ラベルＣの値１に分類されるスコアを算出するための分類モデル２４を生成する。

図６は本発明の請求項２の次発話候補スコアリング装置の構成例である。なお、請求項１の次発話候補スコアリング装置の構成例と同様の構成となる部分については、同一符号を付して説明を省略する。

図６に示すように、本発明の実施の形態に係る次発話候補スコアリング装置２００は、ＣＰＵと、ＲＡＭと、後述する処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この次発話候補スコアリング装置２００は、機能的には図６に示すように入力手段１０と、演算手段２２０と、出力手段２３０とを備えている。

入力手段１０は、文脈となる発話列Ａと、次発話候補Ｂと、発話列Ａの次発話として次発話候補Ｂが相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とする。

また、入力手段１０は、入力された文脈となる発話列Ｉと、次発話候補集合とを受け付ける。

システムとユーザとの間でこれまでやり取りされてきた発話を時系列順に並べて、x1,x2,・・・,xmとする。Ｎ(≧１)を定め、当該発話列において、直前のＮ個の発話の列（x(m-N+1),x(m-N+2),・・・,xm）を、文脈となる発話列Ｉとして入力する。文脈となる発話列Ｉとして、直前までの全発話（x1,x2,・・・,xm）を入力してもよい。

別途、これまでの発話列から抽出した焦点（トピック）について言及した文を、データベースから次発話候補として複数取るものとし、次発話候補集合として入力する。

演算手段２２０は、発話列評価データ変換手段２１と、概念ベース２２と、学習手段２３と、分類モデル２４と、評価手段２２１と、を含んで構成されている。

図７は、評価手段２２１の処理フローの一例である。図７に沿って、評価手段２２１の処理内容を説明する。

まず、ステップＳ３において、概念ベース２２を参照し、発話列Ｉの概念ベクトルＪを生成する。

次に、次発話候補集合における各次発話候補Ｋに対し以下のステップＳ４〜ステップＳ６の処理を行う。

ステップＳ４において、概念ベース２２を参照し、次発話候補Ｋの概念ベクトルＬを生成する。

ステップＳ５において、ｄ次元概念ベクトルＪとｄ次元概念ベクトルＬを結合した２ｄ次元の概念ベクトルＭを生成する。

ステップＳ６において、分類モデル２４を参照することにより、２ｄ次元概念ベクトルＭが、ラベルＣの値１に分類されるスコアを算出する。このスコアは、値１に分類される度合いが大きいほど、大きい値となる。

概念ベクトルＪと概念ベクトルＬとの組に対し、その類似度に関わりなく、結合した概念ベクトルＭが、大勢として、正例データ群に近ければ高スコアとなり、負例データ群に近ければ低スコアとなる。すなわち、文脈発話列Ｉと次発話候補Ｋの内容の近さに関わりなく、それぞれの内容の対応関係が、正例データにおける文脈発話列Ａと次発話候補Ｂの対応関係に近ければ高スコアとなり、負例データにおける文脈発話列Ａと次発話候補Ｂの対応関係に近ければ低スコアとなる。このため、文脈発話列Ｉとの内容の近さに関わりなく、文脈発話列Ｉの次発話として相応しい次発話候補が選択されるようになる。

図８は、評価手段２２１が出力した、概念ベクトルＭとそれに対して算出したスコアとの組の集合を示す図である。

そして、ステップＳ７において、最高スコアを出した次発話候補を選択し、システムがユーザに返す。あるいは、ある閾値以上のスコアをもつ次発話候補、またはスコアが上位何位かまでの次発話候補から、ランダムに選択した次発話候補を、システムがユーザに返す。

なお、発話列Ｉまたは次発話候補Ｋから概念ベクトルが生成されない場合は、概念ベクトルＭが生成されないので、次発話候補Ｋのスコアは算出されない。スコアが算出されない次発話候補は、スコアが算出された次発話候補よりも順位は低いものとし、スコアが算出されない次発話候補同士はランダムに順序付けする。

これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。

なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

請求項１（学習フェーズ）と請求項２（分類フェーズ）の両方において、文脈発話列中の発話数を一定数Ｎとし、文脈発話列中の発話ごとに概念ベクトルを生成し、それらＮ個の概念ベクトルと、次発話候補から生成した概念ベクトルとを結合したｄ（Ｎ＋１）次元概念ベクトルを、概念ベクトルＧや概念ベクトルＭ相当のものとして処理を行うというような拡張も可能である。これは、請求項１、２において、文脈発話列の概念ベクトルＥ、Ｊを、文脈発話列中のＮ個の発話それぞれの概念ベクトルを結合したものと解釈したことに相当する。

分類手法としてｋ近傍法を採用した場合は、学習手段２３では特に何も行わずに、発話列評価データ変換手段２１が出力した変換後発話列評価データＨの集合を分類モデル２４とする。評価手段２２１では、この分類モデル２４から、概念ベクトルＭに近い順にｋ個の概念ベクトルＧを取り、そのような概念ベクトルＧのラベルで、個数がより多い方の値を、概念ベクトルＭのスコア及びラベルとする。

本発明は、システムとユーザとの円滑なインタラクションを実現する対話処理技術に適用可能である。

１０ 入力手段
２０、２２０ 演算手段
２１ 発話列評価データ変換手段
２２ 概念ベース
２３ 学習手段
２４ 分類モデル
１００、２００ 次発話候補スコアリング装置
２２１ 評価手段
２３０ 出力手段

Claims (5)

1. 単語と該単語の意味を表す概念ベクトルとの対の集合である概念ベースと、
   文脈となる発話列Ａと、次発話候補Ｂと、前記発話列Ａの次発話として前記次発話候補Ｂが相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とし、各発話列評価データＤに対し、前記概念ベースを参照し、前記発話列Ａの概念ベクトルＥを生成し、前記次発話候補Ｂの概念ベクトルＦを生成し、前記概念ベクトルＥと前記概念ベクトルＦとを結合した概念ベクトルＧと前記ラベルＣとの組合せからなる変換後発話列評価データＨを生成する発話列評価データ変換手段と、
   前記変換後発話列評価データＨの集合から、前記概念ベクトルＧと同次元の任意の概念ベクトルが、前記ラベルＣの一つの値に分類されるスコアを算出するための分類モデルを生成する学習手段と、
   を含むことを特徴とする次発話候補スコアリング装置。
2. 文脈となる発話列Ｉと次発話候補集合とを入力とし、前記概念ベースを参照し、前記発話列Ｉの概念ベクトルＪを生成し、
   前記次発話候補集合における各次発話候補Ｋに対し、前記次発話候補Ｋの概念ベクトルＬを生成し、前記概念ベクトルＪと前記概念ベクトルＬを結合した概念ベクトルＭを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルＭが前記ラベルＣの一つの値に分類されるスコアを算出する評価手段
   を更に含むことを特徴とする請求項１記載の次発話候補スコアリング装置。
3. 単語と該単語の意味を表す概念ベクトルとの対の集合である概念ベースと、発話列評価データ変換手段と、学習手段とを含む次発話候補スコアリング装置における次発話候補スコアリング方法であって、
   前記発話列評価データ変換手段が、文脈となる発話列Ａと、次発話候補Ｂと、前記発話列Ａの次発話として前記次発話候補Ｂが相応しいか否かのラベルＣとの組合せからなる発話列評価データＤの集合を入力とし、各発話列評価データＤに対し、前記概念ベースを参照し、前記発話列Ａの概念ベクトルＥを生成し、前記次発話候補Ｂの概念ベクトルＦを生成し、前記概念ベクトルＥと前記概念ベクトルＦとを結合した概念ベクトルＧと前記ラベルＣとの組合せからなる変換後発話列評価データＨを生成し、
   前記学習手段が、前記変換後発話列評価データＨの集合から、前記概念ベクトルＧと同次元の任意の概念ベクトルが、前記ラベルＣの一つの値に分類されるスコアを算出するための分類モデルを生成する
   次発話候補スコアリング方法。
4. 評価手段が、文脈となる発話列Ｉと次発話候補集合とを入力とし、前記概念ベースを参照し、前記発話列Ｉの概念ベクトルＪを生成し、
   前記次発話候補集合における各次発話候補Ｋに対し、前記次発話候補Ｋの概念ベクトルＬを生成し、前記概念ベクトルＪと前記概念ベクトルＬを結合した概念ベクトルＭを生成し、前記学習手段で生成された分類モデルを参照することにより、前記概念ベクトルＭが前記ラベルＣの一つの値に分類されるスコアを算出する
   ことを更に含む請求項３記載の次発話候補スコアリング方法。
5. コンピュータを、請求項１又は請求項２記載の次発話候補スコアリング装置を構成する各手段として機能させるためのプログラム。

Images