JP6712754B2 - 談話機能推定装置及びそのためのコンピュータプログラム - Google Patents

Description

この発明はヒューマン・マシン対話システムに関し、特に、人間とロボットとの間の自然なインタラクションを可能にするために、発話のターン終了ポイントを検出する技術に関する。

音声認識タスクでは、ユーザの発話終了ポイントを適切に検出することが重要である。また、ヒューマン・マシン対話システムに対しては、発話終了とともに発話のターン終了ポイントを適切に検出することが要求される。一文一答形式の会話、又は単一音声コマンドと違い、自然なコミュニケーションである自由対話（談話）では、話者の１ターンに複数の発話文が含まれることが多々ある。したがって、自由対話音声における発話のターン終了ポイントの推定は困難である。

我々が他の人と会話するとき、その目的は話者の意図を理解し、適切に話者の発話に対して応答することである。発話により何が意図されているかを理解することは、発話内の全ての単語を理解することと同程度に重要であり、円滑な会話に多大な影響を与える。

発話ターン終了ポイントの正確な推定は発話文の切り分けに利用でき、また、発話内容の理解に役立つため、より自然なインタラクション制御に繋がる。さらに、日本語話者が発話する際の頭部動作と発話権交代の関連性が報告されている（非特許文献１）。以上から、発話終了タイミングの推定結果に合わせ、コミュニケーションロボットの動作を制御することで、ロボットの人間らしさを向上させることができる。

C. Liu, C. T. Ishi, H. Ishiguro, Proc. of HRI 2012, pp. 285-292, 2012. R. Hariharan, J. H akkinen, and K. Laurila, ICASSP 2001, vol. 1, pp. 249-252, May 2001. Q. Li, J. Zheng, Q. R. Zhou, and C. Lee, ICASSP 2001, vol. 1, pp. 233-236, May 2001. L. Huang and C. Yang, Proc. ICASSP 2000, vol. 3, pp. 1751-1754, 2000.

従来の研究では、発話のターン終了ポイントの検出には、無音区間（非特許文献２）、ゼロクロス及びエントロピー（非特許文献３、４）が用いられている。しかし、これらの手法による文末検出の精度は環境に左右されやすく、したがってターン終了ポイントの検出の精度も低いという問題がある。また、自然対話にはオーバーラップ及び同時発話も多く含まれているため、無音区間、ゼロクロス、又はエントロピーを用いる従来技術ではターン終了ポイントの正確な検出は困難である。

また、発話の終了は単に発話ターンを他者に譲渡することを意味しない。引き続きそれまでの話者が発話権を保持する場合もあるし、相手に対して質問又は応答を要求している場合もある。すなわち、発話は単に何かを述べるだけではなく、話者間の会話をある方向に進める機能を持つ。このような機能をここでは談話機能と呼ぶ。

ヒューマン・マシン対話システムでは、このような、発話の句末の談話機能を精度高く検出しないと、自然な対話ができないという問題がある。従来の技術では、そのような談話機能の判定を高精度で行うことは難しい。

それ故に本発明は、談話機能を高精度で判定する談話機能検出装置を提供することである。

本発明の第１の局面に係る談話機能推定装置は、発話のテキストデータを受け、当該テキストデータを形態素解析して発話における談話機能推定のための第１の素性ベクトルを生成する第１のベクトル生成手段と、発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の音声信号中から基本周波数成分を抽出し、基本周波数成分の変化を表す第２のベクトルを生成する第２のベクトル生成手段と、第１のベクトル及び第２のベクトルからなる素性ベクトルを入力として受け、句末における発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう、予め機械学習により学習済の分類手段とを含む。

好ましくは、第２のベクトル生成手段は、発話中に検出された句末の直前の所定区間を複数個の分割区間に分割する分割手段と、分割手段により分割された各分割区間の基本周波数を要素として第２のベクトルを生成するための手段を含む。

より好ましくは、第１のベクトル生成手段は、発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、形態素解析手段により出力された形態素列を時系列的に記憶するための形態素列記憶手段と、少なくとも、形態素列記憶手段に記憶された最新の所定個数の形態素の各々から得られる品詞情報を要素として、第１のベクトルを生成し分類器に出力するための手段とを含む。

さらに好ましくは、第１のベクトル生成手段は、発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、形態素列に出現する単語の集合（ＢＯＷ）を表すＢＯＷベクトルを生成するＢＯＷベクトル生成手段と、ＢＯＷベクトル生成手段の要素を、所定のデータセット中における各単語の出現頻度と、発話中における各単語の出現頻度とにより正規化し、正規化後ＢＯＷベクトルを出力するためのＢＯＷベクトル正規化手段と、ＢＯＷベクトル正規化手段の出力する正規化後ＢＯＷベクトルの次元を削減して第１のベクトルとして出力するための次元削減手段とを含む。

次元削減手段は、ＢＯＷベクトル正規化手段の出力する正規化後ＢＯＷベクトルの次元を、潜在的ディリクレ配分法（ＬＤＡ）により削減して第１のベクトルを生成するための手段を含んでもよい。

次元削減手段は、ＢＯＷベクトル正規化手段の出力する正規化後ＢＯＷベクトルを受けるように接続された、入力と出力とが等しくなるように予め学習済のボトルネックニューラルネットワークと、正規化後ＢＯＷベクトルが与えられたことに応答してボトルネックニューラルネットワークのボトルネック層の各ノードから出力される値を要素として第１のベクトルを生成するための手段とを含んでもよい。

好ましくは、分類手段は、素性ベクトルを入力として受け、句末における発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう学習済のサポートベクトルマシンを含む。

より好ましくは、分類手段は、発話の談話機能に対応する隠れ状態の遷移経路と、各状態における特徴ベクトルの各要素の出力確率とを表現する隠れマルコフモデルと、素性ベクトルを入力として受け、当該素性ベクトルを出力した状態の後に、状態の各々に隠れマルコフモデルの状態が遷移する確率を出力するように予め機械学習により学習済のディープニューラルネットワークと、素性ベクトル、隠れマルコフモデル、及びディープニューラルネットワークの出力に基づき、発話の不可視の状態の遷移経路として最尤の経路を推定する最尤推定手段と、最尤推定手段により推定された経路に基づいて発話の談話機能を推定するための手段とを含む。

さらに好ましくは、２のベクトル生成手段は、発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の音声信号中から基本周波数成分を抽出し対数基本周波数成分として記憶するための基本周波数抽出手段と、予め抽出した、発話の話者の音声の基本周波数の対数の平均値を記憶する基本周波数平均記憶手段と、基本周波数抽出手段により抽出された対数基本周波数成分から基本周波数平均記憶手段に記憶された平均値を減ずることにより対数基本周波数成分を正規化し、当該正規化された対数基本周波数成分を要素として第２のベクトルを生成するための手段とを含む。

好ましくは、談話機能推定装置は、発話における話者の音声の基本周波数の対数を所定時間ごとに算出するための基本周波数算出手段と、基本周波数算出手段により所定時間ごとに算出された基本周波数の対数の平均値を算出し、基本周波数平均記憶手段に格納するための手段とをさらに含む。

より好ましくは、談話機能推定装置は、発話の句末を検出して句末信号を出力するための句末検出手段をさらに含む。第１のベクトル生成手段及び第２のベクトル生成手段は、それぞれ、句末検出手段により検出された句末の直前のテキストデータ及び音声信号から第１のベクトル及び第２のベクトルを生成し出力する。

さらに好ましくは、句末検出手段は、発話に対する音声認識を行ってテキストデータを出力する音声認識装置と、音声認識装置の出力するテキストデータの、句末直前の音素情報から、句末として取り扱うべき句末区間を特定する句末特定手段を含む。第２のベクトル生成手段は、句末区間をそれぞれ所定長さの部分区間に区切って各部分区間の基本周波数の対数を抽出するための手段と、抽出するための手段により抽出された各部分区間の基本周波数の対数の間の関係に基づいて、固定長の第２のベクトルを生成するための手段とを含む。

本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの談話機能推定装置として機能させる。

本発明の第１の実施の形態に係る談話機能推定装置を含むヒューマン・マシン対話システムの構成を示す図である。 図１に示す談話機能推定装置の概略構成を示すブロック図である。 本発明の第２の実施の形態に係る談話機能推定装置の概略構成を示すブロック図である。 本発明の第３の実施の形態に係る談話機能推定装置の概略構成を示すブロック図である。 第３の実施の形態で使用されるボトルネットネットワークの概略構成を示す模式図である。 第３の実施の形態の分類器で使用されるディープニューラルネットワークの構成を示す模式図である。 第３の実施の形態の分類器による、談話機能の最尤系列の推定過程を説明するための模式図である。 本発明の第４の実施の形態に係る談話機能推定装置の概略構成を示すブロック図である。 本発明の実施の形態において、分類器としてＬＤＡを用いた場合の効果を説明するためのグラフである。 本発明の実施の形態において、分類器としてＤＮＮを用いた場合の効果を説明するためのグラフである。 本発明の各実施の形態に係る談話機能推定装置を実現するためのコンピュータシステムの外観図である。 図１１に外観を示すコンピュータシステムの内部構成を示すブロック図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。

［第１の実施の形態］
〈概略〉
図１を参照して、本発明の第１の実施の形態に係る談話機能推定装置４４は、操作者４０が発する音声４２から得られる言語情報だけではなく、その韻律情報も含めて談話機能を検出する。検出された談話機能により、ロボット４８の頭部動作４６を制御したり、ロボット４８の応答を制御したりすることで、操作者４０とロボット４８との間の自然な対話を実現する。

〈構成〉
図２を参照して、本実施の形態に係る談話機能推定装置４４は、発話者の音声４２を受けて音声認識し、音声認識結果のテキストデータを出力する音声認識装置７０、このテキストデータに対して形態素解析を行い、品詞情報などが付された形態素列を出力する形態素解析部７２、及び、形態素解析部７２が出力した形態素列の品詞情報の時系列を記憶し、それら品詞を要素とするベクトルを出力する時系列品詞情報記憶部７４を含む。

この実施の形態が扱う言語は日本語であり、品詞としては１１通りである。これらに「その他」を含めて、品詞情報としては１２種類を用いる。品詞を要素とするベクトルは、品詞の種類数（１２個）の要素を持つ固定長ベクトルであり、該当する品詞に対応する要素の値が１、それ以外の要素の値は０としたものである。

談話機能推定装置４４はさらに、音声４２からログスケールの基本周波数（Ｆ０）を１０ミリ秒ごとに抽出するためのＦ０抽出部７６、音声４２とは別にあらかじめ準備された、音声４２の話者の発話データのＦ０の平均値をあらかじめ記憶するためのＦ０平均記憶部７８、及び、Ｆ０抽出部７６が抽出したＦ０を、１０ミリ秒ごとに所定時間分（本実施の形態では１５０ミリ秒）だけ記憶し、句境界情報８４に応答して、Ｆ０平均記憶部７８に記憶された話者のＦ０の平均値を減ずることにより話者の音声４２のＦ０を正規化した値を要素とするベクトルを出力するための話者正規化部８０と、時系列品詞情報記憶部７４の出力するベクトルと話者正規化部８０の出力するベクトルとを連結したベクトルを素性ベクトルとして受け、談話機能５０を推定して出力するための分類器８２とを含む。句境界情報８４を生成するための句境界は本実施の形態及び後述する第２及び第３の実施の形態では既知であるものとする。なお、Ｆ０の情報を１５０ミリ秒分だけ用いることとしたのは、日本語の１モーラに相当するのが１５０ミリ秒程度であることに基づく。なお、この長さは適宜変更してもよい。

分類器８２は、本実施の形態ではＳＶＭであり、あらかじめ学習データを用いて、素性ベクトルに対して談話機能５０を推定するように機械学習を行っている。また、本実施の形態では、談話機能５０は、ｋ（ターンの保持）、ｇ（ターンの譲渡）、及びｏ（その他）を識別するようにあらかじめ学習済みである。

〈動作〉
話者の音声４２が入力されると、音声認識装置７０は音声４２に対する音声認識を行い、発話の内容に対応するテキストデータを出力する。形態素解析部７２はこの出力を受け、付属の形態素解析用辞書（図示せず）を参照して形態素解析を行い、品詞情報が付された形態素列を出力する。時系列品詞情報記憶部７４は、この形態素列のうち、品詞情報の時系列を所定個数だけ記憶する。

Ｆ０抽出部７６は、音声４２から１０ミリ秒ごとにＦ０を抽出し話者正規化部８０に与える。話者正規化部８０は、Ｆ０抽出部７６から与えられるＦ０からＦ０平均記憶部７８に記憶されているＦ０平均値を減算して正規化し、最新の１５０ミリ秒分を記憶しておき、句境界情報８４を受けたことに応答して、記憶されていた１５０ミリ秒分のＦ０の値を要素とするベクトルを生成し、分類器８２に与える。

分類器８２の入力には、時系列品詞情報記憶部７４からのベクトルと話者正規化部８０からのベクトルとが連結されたものが素性ベクトルとして与えられる。分類器８２は、この素性ベクトルに基づいて、音声４２により表される発話の句末の談話機能の推定値（k、g、ｏのいずれか）を推定し出力する。図１に示す頭部動作４６を、この談話機能に基づいて制御できる。

実験によれば、この実施の形態による談話機能推定装置４４では、談話機能の認識結果の精度として６９％という結果を得た。

［第２の実施の形態］
〈構成〉
図３に、本発明の第２の実施の形態に係る談話機能推定装置１００のブロック図を示す。この談話機能推定装置１００が第１の実施の形態に係る談話機能推定装置４４と異なるのは、時系列品詞情報記憶部７４に代えて、形態素解析部７２の出力する形態素列に基づいて、時系列の品詞情報ではなく、最新の形態素のｎグラムをバッグ・オブ・ワーズ（ＢＯＷベクトル）表現により表すベクトルを生成するためのベクトル生成部１１０を含む点と、ベクトル生成部１１０の出力するＢＯＷベクトルを正規化するためのベクトル正規化部１１１を含む点と、ベクトル正規化部１１１により正規化されたＢＯＷベクトルの次元をＬＤＡ（Latent Dirichlet Association）により削減する処理を行い、次元が削減されたベクトルを出力するためのベクトル次元削減処理部１１２を含む点と、図２の分類器８２に代えて、ベクトル次元削減処理部１１２からのベクトルと話者正規化部８０の出力するベクトルとを連結したものを素性ベクトルとして受け、音声４２の表す発話の談話機能をk、g、q（質問・応答要求）、bc（相槌）のいずれかに分類する、ＳＶＭからなる分類器１１４を含む点とである。分類器１１４は、あらかじめ上記した４つのタグによりラベル付けされた学習データと、当該学習データに対して話者正規化部８０の出力する正規化されたＦ０とにより学習を行っている。

ＢＯＷベクトルは、学習に用いたデータ全体に出現する単語の数だけの要素を持つ。各要素の値は、処理対象の発話データを音声認識した結果の最後のフレーズにおいて、各単語が出現した頻度である。したがってこのベクトルの大部分の要素は０である。

ベクトル正規化部１１１は、以下のようにしてこのＢＯＷベクトルを正規化する。この正規化では、いわゆるtf-idfを用いる。すなわち、あらかじめ学習に用いたデータ全体での各単語の出現頻度を算出しておく。そして、ＢＯＷベクトルの各要素を、その要素に対応する単語の、データ全体での出現頻度で除算した後、ベクトルの大きさが１となるように正規化する。

この正規化されたベクトルをベクトル次元削減処理部１１２でＬＤＡを用いて処理することによりベクトルの次元を削減する。ＬＤＡは、多数の離散的データのための確率的生成モデルである。このモデルは階層的ベイズモデルであって、各句が、あるトピックの集合の有限な混合物であると考える。したがって、各句はトピックの確率の集合として表現できる。一般的に、ＬＤＡが扱うトピックの範囲は１００〜３００程度である。このＬＤＡを用いることによって、ベクトルのサイズを語彙の数からトピックの数にまで削減できる。後述する実験では、トピックの数を５１２、１０２４、１５３６、及び２０４８に設定した。

〈動作〉
この第２の実施の形態に係る談話機能推定装置１００は以下のように動作する。音声認識装置７０、形態素解析部７２、Ｆ０抽出部７６、Ｆ０平均記憶部７８及び話者正規化部８０の動作は、第１の実施の形態と同じである。ベクトル生成部１１０は、形態素解析部７２の出力する形態素列に基づいて、最後の句のＢＯＷベクトルを生成し、ベクトル正規化部１１１に与える。ベクトル正規化部１１１は、前述した手順にしたがってＢＯＷベクトルを正規化し、ベクトル次元削減処理部１１２に与える。ベクトル次元削減処理部１１２は、このように正規化されたＢＯＷベクトルに対してＬＤＡ処理を行うことにより、次元が削減されたベクトルを生成する。

分類器１１４は、ベクトル次元削減処理部１１２の出力したベクトルと話者正規化部８０の出力したベクトルとを連結したものを素性ベクトルとして受け、あらかじめ学習していたパラメータにしたがって談話機能１０２を推定し出力する。

なお、この実施の形態では分類器１１４としてＳＶＭを用いている。しかし本発明はそうした実施の形態には限定されず、識別機能を備えた分類器であればどのようなものでも適用できる。例えば、ＳＶＭに代えてＤＮＮを用いることもできる。

［第３の実施の形態］
〈構成〉
図４に、第３の実施の形態に係る談話機能推定装置１３０の概略構成を示す。図４を参照して、この談話機能推定装置１３０が図３に示す談話機能推定装置１００と異なるのは、図２に示すベクトル次元削減処理部１１２に代えてボトルネックニューラルネットワーク１４０を含む点、及び、図２のＳＶＭを用いた分類器１１４に代えて、ディープニューラルネットワーク（ＤＮＮ）と隱れマルコフモデル（ＨＭＭ）を組み合わせた分類器１４２を含む点である。その他の点において、談話機能推定装置１３０は談話機能推定装置１００と同一である。ただし、この実施の形態では、音声のＦ０を用いる区間の長さは、１５０ミリ秒〜２００ミリ秒であって、事前の実験により適切な値を選択するものとする。

この実施の形態に係る分類器１４２は、sil（silence）、listening、k、g、i及びqの談話機能を判別する機能を持つ。

ボトルネックニューラルネットワーク１４０は、図２に示すベクトル次元削減処理部１１２と同様、ベクトルの次元を削減するためのものである。ボトルネックニューラルネットワーク１４０は、例えば図５に示すような構成を持つ。この例はあくまで例示である。

図５を参照して、ボトルネックニューラルネットワーク１４０は、入力ベクトル１５０を受ける入力層１５２、入力層１５２と同じ数のノードを持つ出力層１６０、及び、入力層１５２と出力層１６０との間に設けられた複数の隱れ層１５４、１５６及び１５８を含む。隠れ層１５４、１５６及び１５８のうち、隱れ層１５６のノード数は他の層と比較して少なくなっている。したがってこの隱れ層１５６はボトルネック層と呼ばれる。ボトルネックニューラルネットワーク１４０の学習は、入力層１５２に入力ベクトル１５０が与えられたときに、出力層１６０から出力される出力ベクトル１６２が入力ベクトル１５０と等しくなるように、多数の学習データを用いて行われる。学習した後のボトルネックニューラルネットワーク１４０によれば、入力層１５２に与えられたベクトルの要素数を一旦ボトルネック層１５６のノード数まで削減した後、再び入力ベクトルと同じベクトルを再現出来る。つまり、ボトルネック層１５６の出力は、少ない数で入力ベクトル１５０の内容を再現するに十分な情報を持っていると考えられる。そこで、ボトルネック層１５６の出力をボトルネック特徴量１６４として取り出すことにより、入力ベクトルの次元を削減できる。

図６に、図４の分類器１４２のうち、隱れマルコフモデルの状態遷移確率を定めるためのＤＮＮ１８０の構成の概略を示す。図６を参照して、ＤＮＮ１８０は、素性ベクトル１８２を受けるように接続された複数のノードを持つ入力層１９０と、silence、listening、k、g、i、及びqに対応して設けられ、素性ベクトル１８２が与えられたときに、その直後に隱れマルコフモデルが遷移する状態がこれらである確率を出力する６つのノードを持つ出力層１９４と、入力層１９０と出力層１９４との間に設けられた複数の隠れ層１９２とを含む。

図７の上段に、隠れマルコフモデルによる状態遷移とそのときの出力（素性）との関係を例示する。この例は、silenceから状態ｓ１及びｓ２を経てsilenceに状態が遷移することを示す。状態がsilenceのときには、出力からは素性silが得られる。同様に状態がｓ１のときには素性ｆ１が得られ、状態がｓ２のときには素性ｆ２が得られる。この素性ｆ１及びｆ２は、それぞれ状態ｓ１及びｓ２についてあらかじめ学習により得られた確率密度関数にしたがって出力されるベクトルである。

このＤＮＮ１８０の入力層１９０に素性ベクトル１８２が与えられると、ＤＮＮ１８０は、隱れマルコフモデルが次にどの様な確率でどの状態に遷移するか示す確率ベクトルを出力する。

図７の下段に示すように、分類器１４２は、状態２１０から状態２１２の間で遷移する確率が最も高い（最尤の）最尤系列２１８を尤度計算により選択する。図７に示す例では、状態２１０、２１４、２１６及び２１２の経路が他の経路よりも確率が高く、したがって最尤の経路として選択されている。この場合、状態２１２が句末を示すとすれば、状態２１６に対応する談話機能が句末の談話機能であると推定される。

〈動作〉
第３の実施の形態に係る談話機能推定装置１３０は以下のように動作する。音声認識装置７０、形態素解析部７２、ベクトル生成部１１０、ベクトル正規化部１１１、Ｆ０抽出部７６、Ｆ０平均記憶部７８、及び音声認識装置７０は第２の実施の形態と同様に動作する。ボトルネックニューラルネットワーク１４０は、ベクトル正規化部１１１の出力するベクトルを受けて、ボトルネック特徴量を出力する。話者正規化部８０は、直前の所定時間の音声の１０ミリ秒ごとのＦ０を正規化したもののうち、最新の所定個数を要素として持つベクトルを分類器１４２に与える。

分類器１４２は、ボトルネックニューラルネットワーク１４０からのベクトルと話者正規化部８０からのベクトルとを連結した素性ベクトルを受け取り、句境界の直前の談話機能の状態のシーケンスを推定し、最後の談話機能１３２を出力する。

［第４の実施の形態］
〈構成〉
図８に、本発明の第４の実施の形態に係る談話機能推定装置２５０の概略構成を示す。図８を参照して、談話機能推定装置２５０が第３の実施の形態に係る談話機能推定装置１３０と異なるのは、音声認識装置７０に代えて、音声認識を行ってテキストデータを出力するのに加えて、発話の句末を検出して句末区間を特定する信号を出力する機能を持つ音声認識装置２６０を含む点、話者正規化部８０に代えて、Ｆ０抽出部７６の出力するＦ０を、１０ミリ秒ごとに、Ｆ０平均記憶部７８に記憶されたＦ０平均値を減算して正規化して複数記憶し、音声認識装置２６０が出力する信号に応答して、その信号により表される期間に相当するＦ０の系列をベクトルとして出力する話者正規化部２６２と、話者正規化部２６２の出力するＦ０を用いて、句末の韻律を表す固定長のベクトルを出力する句末区間正規化部２６４を含む点、及び第３の実施の形態の分類器１４２に代えて、ボトルネックニューラルネットワーク１４０の出力するボトルネック特徴量からなるベクトルと、句末区間正規化部２６４が出力する、句末区間の韻律を示す固定長のベクトルとを連結したベクトルを素性ベクトルとして受け、素性ベクトルに対応する談話機能２５２を推定し出力する分類器２６６を含む点である。

話者正規化部２６２の出力するベクトルの要素数は、句末区間の長さが変動するのに伴って変動する。句末区間正規化部２６４は、この可変長のベクトルを固定長に正規化する。例えば句末区間正規化部２６４は、入力される可変長ベクトルにより表される音声の調子を、第１のカテゴリ（上昇調、下降調、平坦調、下降・上昇調等）と、第２のカテゴリ（短い、長い、とても長い）によりそれぞれ分類し、それらのカテゴリを表す情報の組み合わせを表す固定長のベクトルを出力する。または、句末区間正規化部２６４は、可変数のＦ０を一定数にダウンサンプリングすることで固定長のベクトルを出力するようにしてもよい。

句末区間正規化部２６４の出力するベクトルの次元が第３の実施の形態の場合と同じであれば、分類器２６６は分類器１４２と同じ構成でもよい。ただし、学習データを変更すべきことはいうまでもない。

〈動作〉
談話機能推定装置２５０の音声認識装置２６０は、音声４２を音声認識してテキストデータを出力するとともに、句末を検出して句末の区間を特定する信号を話者正規化部２６２に与える。形態素解析部７２、ベクトル生成部１１０、ベクトル正規化部１１１及びボトルネックニューラルネットワーク１４０は第３の実施の形態と同様に動作し、言語情報に基づいて得られた素性のベクトルを分類器２６６に与える。Ｆ０抽出部７６は、音声４２のＦ０を１０ミリ秒ごとに算出して話者正規化部２６２に与える。話者正規化部２６２はこの値からＦ０平均記憶部７８に記憶されていたＦ０の平均値を減算することにより正規化し、時系列として記憶する。音声認識装置２６０から句末の期間を特定する信号が与えられると、話者正規化部２６２は、その期間の正規化後のＦ０系列を句末区間正規化部２６４に与える。句末区間正規化部２６４は、このＦ０系列を上記した２種類のカテゴリにしたがって分類し、分類されたカテゴリを示すデータをベクトル形式で分類器２６６に与える。分類器２６６は、ボトルネックニューラルネットワーク１４０
からの言語情報に基づく素性のベクトルと、句末区間正規化部２６４からの、韻律情報に基づく素性のベクトルとを連結したものを素性ベクトルとして受け、学習パラメータにしたがって句末の談話機能を推定し談話機能２５２を出力する。

［実験結果］
上記した第２の実施の形態の談話機能推定装置１００の構成を用いて以下の様な実験を行った。韻律情報（Ｆ０）を用いず、言語情報のみによる談話機能を推定する予備実験を行ったところ、ベクトル次元削減処理部１１２にＬＤＡを用いた場合には、ＢＯＷ、ＰＯＳのユニグラム、バイグラム及びトライグラムのいずれを用いた場合よりも高い精度が得られた。そこで、言語情報のみを用いてベクトル次元削減処理部１１２としてＬＤＡを用いた結果と、言語情報に加えて韻律情報を加えてベクトル次元削減処理部１１２にＬＤＡを用いた場合の精度を比較した。結果を図９に示す。

図９を参照して、横軸はＬＤＡのトピック数、縦軸は予測精度である。グラフ３００は言語情報のみを用いた場合の予測精度を示し、グラフ３０２は言語情報に加えて韻律情報を加えた場合の予測精度を示す。このグラフから明らかなように、韻律情報を加えることにより、予測精度は大幅に高くなった。また、トピック数１００の場合とそれ以外の場合とで精度に明らかな相違があることから、トピック数を１００まで減少させると、情報の一部が失われる結果、精度が低くなることが分かる。

図１０に、ベクトル次元削減処理部１１２としてＬＤＡを用い、さらに図３の分類器１１４としてＳＶＭに代えてＤＮＮを用いた実験結果を示す。実験では、ＤＮＮの各隠れ層のノード数を５１２から２０４８まで５１２ずつ変化させ、その予測精度の変化を調べた。このグラフから分かるように、ＤＮＮを用いた場合には隠れ層のノード数を増加させると精度も向上する。また、隠れ層のノード数が５１２のときを除き、分類器１１４にＳＶＭを用いた場合よりも高い精度が得られることが分かる。

［実施の形態の効果］
以上のように本発明の実施の形態によると、言語情報だけではなく、句末の韻律情報を考慮して句末の談話機能を推定する。したがって、言語情報のみを用いる場合と比較してより高い精度で談話機能を推定できる。さらに、分類器としてＳＶＭ、ＤＮＮ、または隱れマルコフモデルとＤＮＮの組み合わせを用いることにより、学習結果を反映した安定した高精度で句末の談話機能を推定できる。したがって、この談話機能を用いてヒューマン・マシンインターフェイスを構築することにより、より自然なインタラクションを実現できる。

［コンピュータによる実現］
本発明の各実施の形態に係る談話機能推定装置は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１１はこのコンピュータシステム５３０の外観を示し、図１２はコンピュータシステム５３０の内部構成を示す。

図１１を参照して、このコンピュータシステム５３０は、メモリポート５５２及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ５５０を有するコンピュータ５４０と、キーボード５４６と、マウス５４８と、モニタ５４２とを含む。

図１２を参照して、コンピュータ５４０は、メモリポート５５２及びＤＶＤドライブ５５０に加えて、ＣＰＵ（中央処理装置）５５６と、ＣＰＵ５５６、メモリポート５５２及びＤＶＤドライブ５５０に接続されたバス５６６と、ブートプログラム等を記憶する読出専用メモリ（ＲＯＭ）５５８と、バス５６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）５６０と、ハードディスク５５４を含む。コンピュータシステム５３０はさらに、バス５６６に接続され、音声信号をデジタル化してコンピュータにおいて処理可能な形式に変換するためのサウンドボード５６８と、他端末との通信を可能とするネットワーク５６８への接続を提供するネットワークインターフェイスカード（ＮＩＣ）５７４を含む。サウンドボード５６８にはマイクロフォン５７０が接続される。

コンピュータシステム５３０を上記した各実施の形態に係る談話機能推定装置の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ５５０又はメモリポート５５２に装着されるＤＶＤ５６２又はリムーバブルメモリ５６４に記憶され、さらにハードディスク５５４に転送される。又は、プログラムはネットワーク５６８を通じてコンピュータ５４０に送信されハードディスク５５４に記憶されてもよい。プログラムは実行の際にＲＡＭ５６０にロードされる。ＤＶＤ５６２から、リムーバブルメモリ５６４から又はネットワーク５６８を介して、直接にＲＡＭ５６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ５４０を、上記各実施の形態に係る談話機能推定装置４４、１００、１３０、及び２５０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ５４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ５４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ５４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

４０ 操作者
４２ 音声
４４、１００、１３０、２５０ 談話機能推定装置
４６ 頭部動作
４８ ロボット
５０、１０２、１３２、２５２ 談話機能
７０、２６０ 音声認識装置
７２ 形態素解析部
７４ 時系列品詞情報記憶部
７６ Ｆ０抽出部
７８ Ｆ０平均記憶部
８０、２６２ 話者正規化部
８２、１１４、１４２、２６６ 分類器
８４ 句境界情報
１１０ ベクトル生成部
１１１ ベクトル正規化部
１１２ ベクトル次元削減処理部
１４０ ボトルネックニューラルネットワーク
１５０ 入力ベクトル
１５２ 入力層
１５４、１５８、１９２ 隠れ層
１５６ ボトルネック層
１６０、１９４ 出力層
１６２ 出力ベクトル
１６４ ボトルネック特徴量
１８０ ＤＮＮ
１８２ 素性ベクトル
１９０ 入力層
２１０、２１２、２１４、２１６ 談話機能の状態
２１８ 最尤系列
２６４ 句末区間正規化部

Claims (17)

1. 発話のテキストデータを受け、当該テキストデータを形態素解析して前記発話における談話機能推定のための第１のベクトルを生成する第１のベクトル生成手段と、
   前記発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の前記音声信号中から基本周波数成分を抽出し、基本周波数成分の変化を表す第２のベクトルを生成する第２のベクトル生成手段と、
   前記第１のベクトル及び前記第２のベクトルからなる素性ベクトルを入力として受け、前記句末における前記発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう、予め機械学習により学習済の分類手段とを含み、
   前記第１のベクトル生成手段は、
   発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、
   前記形態素列に出現する単語の集合（ＢＯＷ）を表すＢＯＷベクトルを生成するＢＯＷベクトル生成手段と、
   前記ＢＯＷベクトル生成手段の要素を、所定のデータセット中における各単語の出現頻度と、前記発話中における各単語の出現頻度とにより正規化し、正規化後ＢＯＷベクトルを出力するためのＢＯＷベクトル正規化手段と、
   前記ＢＯＷベクトル正規化手段の出力する前記正規化後ＢＯＷベクトルの次元を削減して前記第１のベクトルとして出力するための次元削減手段とを含む、談話機能推定装置。
2. 前記第２のベクトル生成手段は、
   発話中に検出された句末の直前の前記所定区間を複数個の分割区間に分割する分割手段と、
   前記分割手段により分割された各分割区間の基本周波数を要素として前記第２のベクトルを生成するための手段を含む、請求項１に記載の談話機能推定装置。
3. 前記次元削減手段は、前記ＢＯＷベクトル正規化手段の出力する前記正規化後ＢＯＷベクトルの次元を、潜在的ディリクレ配分法（ＬＤＡ）により削減して前記第１のベクトルを生成するための手段を含む、請求項１又は請求項２に記載の談話機能推定装置。
4. 前記次元削減手段は、
   前記ＢＯＷベクトル正規化手段の出力する前記正規化後ＢＯＷベクトルを受けるように接続された、入力と出力とが等しくなるように予め学習済のボトルネックニューラルネットワークと、
   前記正規化後ＢＯＷベクトルが与えられたことに応答して前記ボトルネックニューラルネットワークのボトルネック層の各ノードから出力される値を要素として前記第１のベクトルを生成するための手段とを含む、請求項１又は請求項２に記載の談話機能推定装置。
5. 前記分類手段は、前記素性ベクトルを入力として受け、前記句末における前記発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう学習済のサポートベクトルマシンを含む、請求項１〜請求項４の何れかに記載の談話機能推定装置。
6. 前記分類手段は、
   発話の談話機能に対応する隠れ状態の遷移経路と、各隠れ状態における前記素性ベクトルの各要素の出力確率とを表現する隠れマルコフモデルと、
   前記素性ベクトルを入力として受け、当該素性ベクトルを出力した隠れ状態の後に、前記隠れ状態の各々に前記隠れマルコフモデルの状態が遷移する確率を出力するように予め機械学習により学習済のディープニューラルネットワークと、
   前記素性ベクトル、前記隠れマルコフモデル、及び前記ディープニューラルネットワークの出力に基づき、発話の隠れ状態の遷移経路として最尤の経路を推定する最尤推定手段と、
   前記最尤推定手段により推定された経路に基づいて前記発話の談話機能を推定するための手段とを含む、請求項１〜請求項４のいずれかに記載の談話機能推定装置。
7. 発話のテキストデータを受け、当該テキストデータを形態素解析して前記発話における談話機能推定のための第１のベクトルを生成する第１のベクトル生成手段と、
   前記発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の前記音声信号中から基本周波数成分を抽出し、基本周波数成分の変化を表す第２のベクトルを生成する第２のベクトル生成手段と、
   前記第１のベクトル及び前記第２のベクトルからなる素性ベクトルを入力として受け、前記句末における前記発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう、予め機械学習により学習済の分類手段とを含み、
   前記分類手段は、
   発話の談話機能に対応する隠れ状態の遷移経路と、各隠れ状態における前記素性ベクトルの各要素の出力確率とを表現する隠れマルコフモデルと、
   前記素性ベクトルを入力として受け、当該素性ベクトルを出力した隠れ状態の後に、前記隠れ状態の各々に前記隠れマルコフモデルの状態が遷移する確率を出力するように予め機械学習により学習済のディープニューラルネットワークと、
   前記素性ベクトル、前記隠れマルコフモデル、及び前記ディープニューラルネットワークの出力に基づき、発話の隠れ状態の遷移経路として最尤の経路を推定する最尤推定手段と、
   前記最尤推定手段により推定された経路に基づいて前記発話の談話機能を推定するための手段とを含む、談話機能推定装置。
8. 前記第２のベクトル生成手段は、
   発話中に検出された句末の直前の前記所定区間を複数個の分割区間に分割する分割手段と、
   前記分割手段により分割された各分割区間の基本周波数を要素として前記第２のベクトルを生成するための手段を含む、請求項７に記載の談話機能推定装置。
9. 前記第１のベクトル生成手段は、
   発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、
   前記形態素解析手段により出力された前記形態素列を時系列的に記憶するための形態素列記憶手段と、
   少なくとも、前記形態素列記憶手段に記憶された最新の所定個数の形態素の各々から得られる品詞情報を要素として、前記第１のベクトルを生成し前記分類器に出力するための手段とを含む、請求項７又は請求項８に記載の談話機能推定装置。
10. 前記第１のベクトル生成手段は、
    発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、
    前記形態素列に出現する単語の集合（ＢＯＷ）を表すＢＯＷベクトルを生成するＢＯＷベクトル生成手段と、
    前記ＢＯＷベクトル生成手段の要素を、所定のデータセット中における各単語の出現頻度と、前記発話中における各単語の出現頻度とにより正規化し、正規化後ＢＯＷベクトルを出力するためのＢＯＷベクトル正規化手段と、
    前記ＢＯＷベクトル正規化手段の出力する前記正規化後ＢＯＷベクトルの次元を削減して前記第１のベクトルとして出力するための次元削減手段とを含む、請求項７又は請求項８に記載の談話機能推定装置。
11. 前記次元削減手段は、前記ＢＯＷベクトル正規化手段の出力する前記正規化後ＢＯＷベクトルの次元を、潜在的ディリクレ配分法（ＬＤＡ）により削減して前記第１のベクトルを生成するための手段を含む、請求項１０に記載の談話機能推定装置。
12. 前記次元削減手段は、
    前記ＢＯＷベクトル正規化手段の出力する前記正規化後ＢＯＷベクトルを受けるように接続された、入力と出力とが等しくなるように予め学習済のボトルネックニューラルネットワークと、
    前記正規化後ＢＯＷベクトルが与えられたことに応答して前記ボトルネックニューラルネットワークのボトルネック層の各ノードから出力される値を要素として前記第１のベクトルを生成するための手段とを含む、請求項１０に記載の談話機能推定装置。
13. 前記第２のベクトル生成手段は、
    前記発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の前記音声信号中から基本周波数成分を抽出し対数基本周波数成分として記憶するための基本周波数抽出手段と、
    予め抽出した、前記発話の話者の音声の基本周波数の対数の平均値を記憶する基本周波数平均記憶手段と、
    前記基本周波数抽出手段により抽出された前記対数基本周波数成分から前記基本周波数平均記憶手段に記憶された前記平均値を減ずることにより前記対数基本周波数成分を正規化し、当該正規化された前記対数基本周波数成分を要素として前記第２のベクトルを生成するための手段とを含む、請求項１〜請求項１２のいずれかに記載の談話機能推定装置。
14. 前記発話における前記話者の音声の基本周波数の対数を所定時間ごとに算出するための基本周波数算出手段と、
    前記基本周波数算出手段により所定時間ごとに算出された前記基本周波数の対数の平均値を算出し、前記基本周波数平均記憶手段に格納するための手段とをさらに含む、請求項１３に記載の談話機能推定装置。
15. 前記発話の句末を検出して句末信号を出力するための句末検出手段をさらに含み、
    前記第１のベクトル生成手段及び前記第２のベクトル生成手段は、それぞれ、前記句末検出手段により検出された句末の直前の前記テキストデータ及び前記音声信号から前記第１のベクトル及び前記第２のベクトルを生成し出力する、請求項１又は請求項７に記載の談話機能推定装置。
16. 前記句末検出手段は、前記発話に対する音声認識を行って前記テキストデータを出力する音声認識装置と、
    前記音声認識装置の出力する前記テキストデータの、前記句末直前の音素情報から、前記句末として取り扱うべき句末区間を特定する句末特定手段を含み、
    前記第２のベクトル生成手段は、
    前記句末区間をそれぞれ所定長さの部分区間に区切って各部分区間の基本周波数の対数を抽出するための手段と、
    前記抽出するための手段により抽出された各部分区間の基本周波数の対数の間の関係に基づいて、固定長の前記第２のベクトルを生成するための手段とを含む、請求項１５に記載の談話機能推定装置。
17. コンピュータを、請求項１〜請求項１６のいずれかに記載の談話機能推定装置として機能させる、コンピュータプログラム。