JP5591772B2 - 文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラム - Google Patents

Description

本発明は、文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラムに係り、特に、対話データについて、発話をクラスタリングする文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラムに関する。

特定の対話ドメイン（ここで、ドメインとは対話システムが扱う対話内容・分野・ジャンルを表す。たとえば、フライト予約や会議室予約）における対話システムを構築する場合、当該ドメインの対話データを収集し、研究者や開発者が、その対話ドメインの対話をモデル化する必要がある。たとえば、語彙のセットは何がよいかといったものや、どのような種類の発話を扱うべきかといったことを決める。

対話システム構築において特に重要とされるのは、後者の発話の種類（対話行為タイプ、発話行為タイプとも呼ばれる）を決めるフェーズであり、非特許文献１に示されるように多くの研究がある。

しかしながら、こういった研究では対話行為の種類を人間が事前に決定している。一般に、どのような発話がドメインに存在し、どのくらいの対話行為数が必要かを決定するには、専門家の詳細な分析が必要で、コストが高い。そこで、発話をクラスタリングし、どのような発話のまとまりがあるか、いくつくらいの対話行為数が必要かを、データから自動的に求める手法が知られている（非特許文献２）。

非特許文献２の手法は、中華料理店過程（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ、ＣＲＰ）と呼ばれる手法を用いて、発話のクラスタリングを行い、最適な対話行為数を推定している。本手法は、対話中の発話を独立のものと見なし、クラスタリングを実施し、同時に、クラスタ数（すなわち、対話行為数）を決定している。

なお、クラスタ数を事前に決定しない方法はＣＲＰ以外にもいくつかあり、たとえば Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎと呼ばれる手法や、Ｘ−Ｍｅａｎｓと呼ばれる手法が知られている（非特許文献３、非特許文献４）。また、クラスタ数を事前に決定する手法（たとえば、Ｋ−Ｍｅａｎｓ）を繰り返し用いて、最適なクラスタ数を発見することも可能である。たとえば、ある評価セットについて、クラスタ数を少しずつ増やして、最も高いクラスタリング精度が得られるクラスタ数を最適とする。ここで、精度はクラスタリング評価で一般的なｐｕｒｉｔｙやＦ値（Ｆ−ｍｅａｓｕｒｅ）などを用いればよい。

A. Stolcke, N. Coccaro, R. Bates, P. Taylor, C. V. Ess-Dykema,K. Ries, E. Shriberg, D. Jurafsky, R. Martin, and M. Meteer," Dialogue act modelingfor automatic tagging and recognition of conversational speech, "Computational Linguistics, vol. 26, no. 3, pp. 339-373, 2000. N. Crook, R. Granell, and S. Pulman," Unsupervised classification of dialogue acts using a Dirichlet process mixture model, " in Proc. SIGDIAL, 2009, pp. 341-348. Clustering by Passing Messages Between Data Points. Brendan J. Frey and Delbert Dueck, Science 315, 972--976, 2007. Dan Pelleg and Andrew Moore: X-means: Extending K-means with Efficient Estimation of the Number of Clusters. In Proc. ICML, 2000.

上記の非特許文献２に記載の手法では、クラスタリングに際して、対話中の発話を独立のものと見なしている。しかし、対話データは連続した発話からなるのが通例である。従来技術では、このような対話に重要な文脈情報を使っておらず、クラスタリングの精度や対話行為数の推定が十分でない。

たとえば、「はい」は、肯定と相槌の両方の可能性が有り、文脈からでないと肯定及び相槌のいずれであるかを判断できないが、従来技術では同じものとして扱ってしまう。

加えて、ドメイン中の発話がどの程度文脈に依存するのかを知ることは対話システムを構築する上で有用であるが、従来技術では発話を独立なものと見なしているため、そのような知見は得られない。

本発明は、上記の事情を鑑みてなされたもので、対話データについて、文脈に依存している度合いを推定することができる文脈依存性推定装置、方法、及びプログラムを提供することを第１の目的とする。また、対話データについて、文脈を考慮して発話を精度良くクラスタリングすることができる発話クラスタリング装置及び方法を提供することを第２の目的とする。

上記の目的を達成するために本発明に係る文脈依存性推定装置は、複数の発話の時系列である対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする第１クラスタリング手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする第２クラスタリング手段と、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する推定手段と、を含んで構成されている。

本発明に係る文脈依存性推定方法は、特徴量抽出手段、第１クラスタリング手段、第２クラスタリング手段、及び推定手段を含む文脈依存性推定装置における文脈依存性推定方法であって、前記文脈依存性推定装置は、前記特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出し、前記第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングし、前記第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングし、前記推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定することを特徴とする。

本発明によれば、特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出する。そして、第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする。第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする。

そして、推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する。

このように、発話の文脈情報を用いずに、発話をクラスタリングすると共に、発話の文脈情報を用いて発話をクラスタリングすることにより、対話データについて、文脈に依存している度合いを推定することができる。

本発明に係る前記第１クラスタリング手段は、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングし、前記第２クラスタリング手段は、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングするようにすることができる。

本発明に係る前記第２クラスタリング手段は、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記生成された各発話の前記付加特徴量に基づいて、前記複数の発話をクラスタリングするようにすることができる。

上記の対話データは、特定のドメインに関する対話データであり、前記推定手段は、以下の式に従って、前記特定のドメインにおける前記発話の文脈依存度を推定するようにすることができる。

ただし、クラスタ数Ｃ１は、前記第１クラスタリング手段によってクラスタリングされたクラスタ数であり、クラスタ数Ｃ２は、前記第２クラスタリング手段によってクラスタリングされたクラスタ数である。

上記の対話データは、異なる２つのドメインに関する対話データであり、前記第１クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、前記第２クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、前記推定手段は、各ドメインについて、前記発話の文脈依存度を推定すると共に、以下の式に従って、前記ドメインの文脈依存比を推定するようにすることができる。

本発明に係る前記推定手段は、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタＣの文脈依存度を推定するようにすることができる。

ただし、Ｃ’は、前記第２クラスタリング手段によってクラスタリングされたクラスタの集合であり、ｃは、Ｃ’の要素であるクラスタである。

また、上記のクラスタの文脈依存度を推定する推定手段は、前記第１クラスタリング手段によってクラスタリングされた各クラスタの文脈依存度を推定すると共に、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタの平均文脈依存度を推定するようにすることができる。

ただし、ｃ’’は、Ｃの要素であるクラスタである。

本発明に係る発話クラスタリング装置は、入力された複数の発話の時系列である自然言語の対話データを受け付ける入力手段と、前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、前記対話データから、各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された前記各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記複数の発話を、当該発話の直前の発話および直後の発話におけるクラスタ間の遷移確率に比例する確率に従ってクラスタリングする無限ＨＭＭクラスタリング手段と、を含んで構成されている。

本発明に係る発話クラスタリング方法は、入力手段、対話データ記憶手段、特徴量抽出手段、及び無限ＨＭＭクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、前記発話クラスタリング装置は、前記入力手段によって、入力された複数の発話の時系列である自然言語の対話データを受け付け、前記入力手段により受け付けた前記対話データを対話データ記憶手段に記憶し、特徴量抽出手段によって、前記対話データから、各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量を抽出し、前記無限ＨＭＭクラスタリング手段によって、前記特徴量抽出手段によって抽出された前記各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記複数の発話を、当該発話の直前の発話および直後の発話におけるクラスタ間の遷移確率に比例する確率に従ってクラスタリングする。

本発明に係る発話クラスタリング装置は、入力された複数の発話の時系列である対話データを受け付ける入力手段と、前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成する文脈情報付加手段と、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングするＣＲＰクラスタリング手段と、を含んで構成されている。

本発明に係る発話クラスタリング方法は、入力手段、対話データ記憶手段、特徴量抽出手段、文脈情報付加手段、及びＣＲＰクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、前記発話クラスタリング装置は、前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、前記入力手段により受け付けた前記対話データを前記対話データ記憶手段に記憶し、前記特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、前記文脈情報付加手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記ＣＲＰクラスタリング手段によって、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングする。

本発明に係るプログラムは、コンピュータを、上記の文脈依存性推定装置の各手段として機能させるためのプログラムである。

以上説明したように、本発明の文脈依存性装置、方法、及びプログラムによれば、発話の文脈情報を用いずに、発話をクラスタリングすると共に、発話の文脈情報を用いて発話をクラスタリングすることにより、対話データについて、文脈に依存している度合いを推定することができる、という効果が得られる。
また、本発明の発話クラスタリング装置及び方法によれば、対話データについて、文脈を考慮して発話を精度良くクラスタリングすることができる、という効果が得られる。

本発明の第１の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。 本発明の第１の実施の形態に係る文脈依存性推定装置における文脈依存性推定処理ルーチンの内容を示すフローチャートである。 対話データの一例を示す図である。 対話行為の例を示す図である。 対話データの一例を示す図である。 対話行為の例を示す図である。 本発明の第２の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。 本発明の第２の実施の形態に係る文脈依存性推定装置における対話データについて、文脈に依存している度合いを推定するフローチャートである。 本発明の第３の実施の形態に係る文脈依存性推定装置の構成を示す概略図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

〔第１の実施の形態〕
＜システム構成＞
本発明の第１の実施の形態に係る文脈依存性推定装置１００は、特定のドメインに関連する複数の発話の時系列である対話データが入力され、文脈依存性を推定して出力する。この文脈依存性推定装置１００は、ＣＰＵと、ＲＡＭと、後述する文脈依存度推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、文脈依存性推定装置１００は、入力部１０と、演算部２０と、出力部２８とを備えている。

入力部１０は、入力された対話データとして、特定のドメインに関連する複数の対話データを受け付ける。各対話データは複数の発話の時系列からなる。例えば、対話データは、対話システムと人間との対話データ、又は人間同士の対話データであり、データは自然言語のテキストや音声認識結果など、時系列的に順次処理できる自然言語のデータである。

演算部２０は、対話データ記憶部２１、発話クラスタリング部２２、及び文脈依存度算出部２３を備えている。なお、文脈依存度算出部２３が、推定手段の一例である。

対話データ記憶部２１は、入力部１０により受け付けた複数の対話データを記憶する。

発話クラスタリング部２２は、特徴量抽出部３０、ＣＲＰクラスタリング部３１、及び無限ＨＭＭクラスタリング部３２を備えている。なお、ＣＲＰクラスタリング部３１が、第１クラスタリング手段の一例であり、無限ＨＭＭクラスタリング部３２が、第２クラスタリング手段の一例である。

特徴量抽出部３０は、入力された対話データにおける各発話から特徴量を抽出する。例えば、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を抽出する。ｂａｇ−ｏｆ−ｗｏｒｄｓとは自然言語処理でよく用いられる特徴量であり、単語の頻度付き集合のことである。この集合を得るために、特徴量抽出部３０は、形態素解析を用い（本実施の形態ではＣｈａＳｅｎを使用）、各発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を求める。なお、低頻度語はクラスタリングに悪影響を及ぼす可能性があるため、各ドメインの全データについて、１０回以上出現している単語のみを特徴量としてもよい。また、上記集合の各単語として標準形の単語を用いる。特徴量として、内容語のみの頻度を用いたり、機能語のみの頻度を用いたりするようにしてもよい。

ＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いて、対話データの各発話をクラスタリングする。

ＣＲＰは、データから自動的にクラスタ数を決定する手法であり、下記の手続きでクラスタリングを行う。ＣＲＰにおいて、データ（すなわち、発話）は客と呼ばれ、クラスタはテーブルと呼ばれる。

まず、最初の客は最初のテーブルに配置される。そして、次の客(c_i) は、すでに客がついたテーブル(t_j)に座るか、新しいテーブル(t_new; new は新しいテーブルのインデックス) に、以下の（１）式で表される確率で座る。

ここで、‘ｎ（t_j）’はｔ_jについている客の数を返す関数であり、Ｎはこれまでにテーブルについた客の数である。また、αは、客が新しいテーブルにつく度合いを示すハイパーパラメタであり、αが大きければ大きいほどクラスタ数が多くなる。ヒューリスティクスとして、想定されるおおよそのクラスタ数の逆数がαに用いられる（たとえば、想定されるクラスタ数が１００なら０．０１）。Ｐ（ｃ_i|ｔ_j）はｃ_i がｔ_jから生成される確率である。この確率は以下の（２）式に従って計算する。

ここで、Ｗは特徴量の集合であり、count（*，ｗ）は客またはテーブルにおいて、特徴量ｗが何回生起したかを表す。βは確率０を防ぐためのハイパーパラメタであり、十分小さい数であればよい。たとえば、０.００００１などである。Ｐ（ｃ_i|ｔ_new）には一様分布を用いる。すべての客を順番に配置した後、ギブスサンプリングという手法で客を再配置していく。これは、客を一人そのテーブルから離し、上記処理によって別テーブル（新しいテーブルも含む）か、自分が元いたテーブルに再度配置させるものであり、この再配置を、すべての客について最適な配置が求まるまで何度も繰り返す。客の配置が変わらなくなるか、各データにつき１０００回といった十分な回数のサンプリングが行われたら、収束したとみなし、そのときの客のテーブルにおける配置を、クラスタリング結果とする。

このように、ＣＲＰクラスタリング部３１は、各発話の特徴量に基づいて、上記のようにＣＲＰの手法を用いて、発話（客）を複数のクラスタ（テーブル）にクラスタリングし、クラスタ数、及び各発話と該発話の属するクラスタの情報とを出力する。

無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、発話をクラスタリングする。

本実施の形態では、無限ＨＭＭと呼ばれる手法により、文脈情報を用いて発話のクラスタリングを行う。そして、その際にクラスタ数が自動的に決定されるようにする。

無限ＨＭＭの手法は、データからパラメタを推定するノンパラメトリックベイズの手法の一つであり、時系列的なデータを扱うＨＭＭを、無限の状態が扱えるようにしたものである。無限の状態が扱えるということの意味は、状態数が予め定まっていないということを指し、状態数はデータ依存で決定される。無限ＨＭＭの詳細は、非特許文献（Y. Teh, M. Jordan, M. Beal, and D. Blei, “ Sharing clusters among related groups: Hierarchical Dirichlet processes, ”in Proc. NIPS, 2004.）に記載されている。

本実施の形態では、この無限ＨＭＭを用いることで、文脈情報を用いた発話のクラスタリングを行い、同時に、対話行為数を推定する。無限ＨＭＭでは、発話のシーケンスをモデル化する。すなわち、各状態から発話が出力され、次の状態に遷移するモデルである。状態間の遷移（すなわち、発話集合間の遷移）を扱うため、文脈情報（特に、直前の発話の情報）を用いていると考えることができる。なお、ＨＭＭでは複数の状態が接続されているため、必ずしも直前の発話のみに依存してクラスタリングがされているわけではないことに注意する。

ここで、無限ＨＭＭを用いたクラスタリング手法について説明する。無限ＨＭＭはＣＲＰに似た処理によってクラスタリングを行うため、ここでも、データを客と呼び、クラスタをテーブルと呼んで、説明する。

無限ＨＭＭでは、客ｃ_iは、すでに客の着いているテーブルｔ_jか、新しいテーブル（ｔ_j=new）に、以下の（３）式で表される確率に従って座る。

ここで、ｔ_cはｃの着席しているテーブルを表す。無限ＨＭＭでは、客には順序があり、ｃ_iの前と後の客を、それぞれｃ_i−1とｃ_i+1とする。これは、対話データ中の発話に順序があることに該当する。

Ｐ（ｔ_j，ｔ_k）はテーブル間の遷移確率であり、以下の（４）式で求められる。

ここで、αは客が新しいテーブルに着く度合いを表すハイパーパラメタであり、Ｋはすでに客がいるテーブル数を表す。transitions(ｔ_j，ｔ_k）はｔ_jからｔ_kの遷移数であり、γは確率０を避けるためのハイパーパラメタである。十分小さい数であればよい。たとえば、０．００００１などである。客が新しいテーブルに着く確率は、以下の（５）式で表される。

ここで、Ｐ（ｃ_i|ｔ_new）には一様分布を用いる。

ＣＲＰの時と同様、ギブスサンプリングを用いて客の配置を最適化し、最終的に得られた客の配置をクラスタリングの結果とする。上記のように、客は、自分の前の客の着いているテーブルを見て自分の着くべきテーブルを決めており、無限ＨＭＭでは、文脈情報を用いてクラスタリングを行っている。

このように、無限ＨＭＭクラスタリング部３２は、各発話の特徴量に基づいて、上記のように無限ＨＭＭの手法を用いて、発話（客）を複数のクラスタ（テーブル）にクラスタリングし、クラスタ数、及び各発話と該発話の属するクラスタの情報とを出力する。

文脈依存度算出部２３は、以下に説明するように、文脈に依存している度合いを示す、発話の文脈依存度及びクラスタの文脈依存度を算出する。

ＣＲＰを用いたクラスタリング結果は文脈を見ない場合の結果であり、無限ＨＭＭを用いたクラスタリング結果は文脈を見た場合の結果である。よって、このクラスタ数（推定対話行為数）の違いを見ることで、ドメインにおいてどれほど発話が文脈に依存しているかを計算できる。具体的には、文脈依存度算出部２３は、以下の（６）式に従って、対話データのドメインに関する発話の文脈依存度を算出する。

また、ＣＲＰを用いたクラスタリングによるクラスタと無限ＨＭＭを用いたクラスタリングによるクラスタとを比較することで、どのような発話がより文脈に依存しているかを知ることができる。具体的には、ＣＲＰを用いたクラスタリングによる各クラスタの各データ（発話）が、無限ＨＭＭを用いたクラスタリングによる各クラスタにどのように割り振られたかを調べることで実現できる。ＣＲＰの１つのクラスタの各データが、無限ＨＭＭのクラスタのうち一つまたは少量のものにのみ割り振られているとすれば、そのクラスタの発話はそれほど文脈依存ではないと言える。しかし、ＣＲＰの１つのクラスタの各データが、無限ＨＭＭの多くのクラスタに割り振られているとすれば、それは文脈に大きく依存したクラスタであると言える。

そこで、文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を、以下の（７）式に従って算出する。

ここで、Ｃ’ は無限ＨＭＭクラスタリング部３２によるクラスタリング結果のクラスタの集合であり、ｃは、クラスタの集合Ｃ’の各要素（クラスタ）である。Ｐ（ｃ）は以下の（８）式に従って求められる。

上記（７）式は、情報理論におけるエントロピーの式と同様であり、ＣＲＰのクラスタ内のデータ（発話）が、無限ＨＭＭの多くのクラスタに散らばっている場合に大きな値を取る。これによって、各クラスタの文脈依存度を求めることができる。すなわち、この値が大きければ、そのクラスタに含まれる発話は文脈依存性が高いと考えられ、これらの発話を分析することで、文脈依存の発話に頑健な対話システムの構築につなげることが可能となる。

たとえば、ＣＲＰのあるクラスタに属する複数の発話が、無限ＨＭＭの多くのクラスタに対応していたとすると、そのクラスタにおける発話は、表面上については似ているが、文脈によって意味が異なる可能性が高い。

そのような発話のみを取り上げて集中的に分析することにより、文脈に応じてユーザ発話を高精度に理解できる対話システムの理解部につなげることができる。

また、全クラスタの文脈依存度の平均を取ることで、全体の文脈依存度も計算でき、分析に利用することができる。そこで、文脈依存度算出部２３は、以下の（９）式に従って、平均文脈依存度を算出する。

ここで、ｃ’’はＣＲＰクラスタリング部３１によるクラスタリング結果におけるクラスタ集合Ｃの各要素である。

出力部２８は、文脈依存度算出部２３によって算出された、発話の文脈依存度、クラスタの文脈依存度、及び平均文脈依存度を出力する。

＜文脈依存性推定装置の作用＞
次に、本実施の形態に係る文脈依存性推定装置１００の作用について説明する。まず、あるドメインに関する複数の発話の時系列が対話データとして文脈依存性推定装置１００に複数入力されると、文脈依存性推定装置１００によって、入力された複数の対話データが、対話データ記憶部２１へ格納される。そして、文脈依存性推定装置１００によって、図２に示す文脈依存性推定処理ルーチンが実行される。

まず、ステップＳ１０１において、複数の対話データの全ての発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。

次のステップＳ１０３では、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、無限ＨＭＭの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。

そして、ステップＳ１０４では、上記ステップＳ１０２のクラスタリング結果におけるクラスタ数と、上記ステップＳ１０３のクラスタリング結果におけるクラスタ数とに基づいて、上記（６）式に従って、当該ドメインに関する発話の文脈依存度を算出する。

ステップＳ１０５では、上記ステップＳ１０２のクラスタリング結果における各クラスタに属するデータ（発話）と、上記ステップＳ１０３のクラスタリング結果における各クラスタに属するデータ（発話）とに基づいて、上記（７）式に従って、ＣＲＰの手法を用いたクラスタリングによる各クラスタＣの文脈依存度を算出する。また、算出した各クラスタの文脈依存度に基づいて、上記（９）式に従って、ＣＲＰの手法を用いたクラスタリングによる各クラスタの平均文脈依存度を算出する。

そして、ステップＳ１０６において、上記ステップＳ１０４、１０５の算出結果を出力して、文脈依存度算出処理ルーチンを終了する。

＜実施例＞
以下に、実施例を示す。対話システムと人間との対話データと、人間同士の対話データをクラスタリングする例を用いて説明する。なお、ここで用いるデータは、チャットインタフェースを通して集められたデータであり、テキスト対話のデータである。

対話システムと人間との対話データは、対話システムと人間とが会話したデータであり、全部で１０００個の対話データである。対話の中で、システムと人間は動物の好き嫌いについて議論している。

このドメインをＡｎｉｍａｌ Ｄｉｓｃｕｓｓｉｏｎ（ＡＤ）ドメインと呼ぶこととする。対話例を図３に示す。上記図３では、Ｕがユーザ発話を表わしＳがシステム発話を表わしている。括弧内は本ドメインにおける対話行為タイプである。本ドメインでは、図４に示すような２９の対話行為が人手によって定義されている。

各対話行為の詳細については、非特許文献（東中竜一郎, 堂坂浩二, 磯崎秀樹, ”対話システムにおける共感と自己開示の効果”, 言語処理学会第15 回年次大会発表論文集, pp.446-449, 2009.）に詳細が記載されている。

また、人間同士の対話データは、聞き役対話を集めたものである。このドメインをＡｔｔｅｎｔｉｖｅ Ｌｉｓｔｅｎｉｎｇ（ＡＬ）ドメインと呼ぶこととする。聞き役対話とは、二者が聞き役と話し役に分かれて、一方が聞き役となって話し役の話を聞くという対話である。人間同士の対話データとして、このような対話データを、１２６０個収集した。対話例を図５に示す。上記図５では、Ｓは話し役を表わし、Ｌは聞き役を表わす。括弧内は本ドメインにおける対話行為タイプであり、図６に示すような３８の対話行為が人手によって定義されている。

各対話行為の詳細については、非特許文献（T. Meguro, R. Higashinaka, Y. Minami, and K. Dohsaka, “Controlling listening-oriented dialogue using partially observable Markov decision processes, ” in Proc. COLING, 2010, pp. 761-769.）に詳細が記載されている。

また、比較対象として、Ｋ−ｍｅａｎｓというクラスタリング手法を用いた。Ｋ−ｍｅａｎｓは、事前にクラスタ数が分かっている場合に用いられるクラスタリング手法の代表的なものであ。これは、まず、ランダムにクラスタを作成し、ＥＭアルゴリズムの枠組みによって、クラスタを局所最適な解が得られるまでアップデートしていく手法である。

ＡＤドメインとＡＬドメインのデータに対し、Ｋ−ｍｅａｎｓ、ＣＲＰ、及び無限ＨＭＭの各々の手法を用いてクラスタリングを行い、対話行為数を推定する実験を行った。ここで、Ｋ−ｍｅａｎｓは対話行為数を推定できない手法であるため、直接的な比較はできない。そこで、Ｋ−ｍｅａｎｓについては、人手で正解の対話行為数を与え、発話のクラスタリングを行った。対話行為数が予め分かっている状態で、クラスタリングを行うため、非常に強力なベースラインと見なせる。

ギブスサンプリングの計算コストが比較的高いため、実験に際しては、各ドメインからランダムに抽出した５０個の対話データずつを対象とした。ＡＤドメインの対話データは２８９４個の発話データであり、ＡＬドメインの対話データは、２４７０個の発話のデータであった。人手で付与した対話行為によれば、これらのサブセットの中には、それぞれ、２７種類の対話行為、３３種類の対話行為が含まれていた。

クラスタリングを行う前に、形態素解析を用い（本実験ではＣｈａＳｅｎを使用した）、各発話について、ｂａｇ−ｏｆ−ｗｏｒｄｓの特徴量を求めた。ただ、低頻度語はクラスタリングに悪影響を及ぼす可能性があるため、各ドメインの全データについて、１０回以上出現している単語のみを特徴量とし、単語は標準形を用いた。

クラスタリングの評価は、データに人手で付与された正解の対話行為ラベルと対照することで行った。

評価尺度としては、ｐｕｒｉｔｙとＦ−ｍｅａｓｕｒｅを用いた。どちらもクラスタリング評価の一般的な指標である。ｐｕｒｉｔｙは一つのクラスタにどの程度同じ対話行為の発話が入っているかを表し、Ｆ−ｍｅａｓｕｒｅは、データのペアに着目し、同じクラスタにあるべきペアがどの程度正しく同じクラスタに入っているかを定量化する。ｐｕｒｉｔｙは以下の（１０）式で計算される。

ここで、Ｃ＝｛ｃ₁,・・・,ｃ_K｝はクラスタの集合であり、Ｄ＝｛ｄ1,・・・,ｄN｝ は対話行為の集合であり、Ｎはデータ数（発話数）である。

Ｆ−ｍｅａｓｕｒｅは、以下の（１１）式に従って算出される。

ここで、ＴＰ、ＦＰ、ＦＮは、それぞれｔｒｕｅ ｐｏｓｉｔｉｖｅ、ｆａｌｓｅ ｐｏｓｉｔｉｖｅ、ｆａｌｓｅ ｎｅｇａｔｉｖｅを表す。ｔｒｕｅ ｐｏｓｉｔｉｖｅは、同じ対話行為である発話のペアが同じクラスタに入っている回数であり、ｆａｌｓｅ ｐｏｓｉｔｉｖｅは異なる対話行為である発話のペアが同じクラスタに入っている回数であり、ｆａｌｓｅ ｎｅｇａｔｉｖｅは同じ対話行為である発話のペアが異なったクラスタに入っている回数である。

Ｋ−ｍｅａｎｓがランダムな初期値に依存すること、ＣＲＰと無限ＨＭＭが確率的に動作することなどから、本実験ではそれぞれのクラスタリング手法で１００回クラスタリングを行い、その平均値を求めた。ＣＲＰと無限ＨＭＭについては、αには０．１を、βとγには０．０１を用いた。ギブスサンプリングのイタレーション数は１００とした。つまり、すべての客は１００回ずつ再配置された。

以下の表１にＡＤドメインの発話のクラスタリング結果を示す。

＊は、Ｋ−ｍｅａｎｓに対してｔ検定により１％の有意水準で差があることを示す。＋は、ＣＲＰに対してｔ検定により１％の有意水準で差があることを示す。
また、以下の表２に、ＡＬドメインの発話のクラスタリング結果を示す。

上記の結果から分かるように、無限ＨＭＭは、他の手法よりもクラスタリング性能が良い。すなわち、発話のクラスタリングに文脈情報を利用することが有用であることが分かった。

また、無限ＨＭＭのクラスタ数は、ＡＤドメインで約１４３個、ＡＬドメインで３８個となっており、これが、自動的に推定された対話行為数である。

ＣＲＰで推定された対話行為数の方が人手で与えた個数に近い。このことから、人間が対話行為を付与するという行為は、発話を独立のものと見なしてなされていると推測できる。しかしながら、本実験の結果によれば、人手による正解の対話行為数より、文脈を考慮した場合の対話行為数の方が多い。このことは、文脈を鑑みれば、人手による対話行為数が少なすぎる可能性を示唆していると考えられる。つまり、対話システムの設計者からすれば、文脈をより考慮した対話行為を加えるなど、対話行為の再設計の指針としてとらえることができ、その指針に沿って対話行為を設計し直すことで、より適切にユーザ発話を処理できる対話システムにつなげることが可能となると考えられる。

また、発話の文脈依存度を算出すると、ＡＤドメインに対する発話の文脈依存度は１４３．６２／３５．０３＝４．０９９である。そして、ＡＬドメインに対する文脈依存度は、 ３８．００／２９．２８＝１．２９８である。このことから、ＡＤドメインの発話の方が、ドメインにおける文脈依存性が高いと判断できる。また、各ドメインにおける文脈依存度を比較して、後述する文脈依存比を算出すると、ＡＤドメインはＡＬドメインの４．０９９／１．２９８＝３．１５８倍、ドメイン依存の対話行為が多いことが、客観的な数値として分かった。

以上説明したように、本実施の形態に係る文脈依存性推定装置によれば、発話の文脈情報を考慮しないＣＲＰの手法を用いて、対話データの発話をクラスタリングすると共に、発話の文脈情報を考慮した無限ＨＭＭの手法を用いた、対話データの発話をクラスタリングし、発話のクラスタリング結果を比較することにより、あるドメインの対話データについて、文脈依存度を推定することができる。

また、発話のクラスタリングにおいて発話の文脈情報を考慮することにより、発話のクラスタリングの性能が向上するため、どのような発話がドメインに存在するかが一目で分かるようになり、対話システム構築が容易になる。さらに、ドメイン中の発話の文脈依存度を数値として算出できるため、対話データのドメインの深い理解につながる。たとえば、文脈依存度が高い発話が多いドメインだということが分かれば、システムの理解部において文脈情報をより多く持つといった改善が可能となる。

〔第２の実施の形態〕
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、文脈情報を付加した発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングを行っている点が、第１の実施の形態と異なっている。

図７に示すように、第２の実施の形態に係る文脈依存性推定装置２００の発話クラスタリング部２２２は、特徴量抽出部３０、ＣＲＰクラスタリング部３１、文脈情報付加部２３１、及びＣＲＰクラスタリング部２３２を備えている。なお、ＣＲＰクラスタリング部３１が、第１クラスタリング手段の一例であり、ＣＲＰクラスタリング部２３２が、第２クラスタリング手段の一例である。

文脈情報付加部２３１は、特徴量抽出部３０によって抽出された各発話の特徴量に対して、文脈情報として、直前の発話の特徴量を付加して、付加特徴量を各々生成する。例えば、発話１、・・・、発話Ｎがあり、それぞれの特徴量を、特徴量１、・・・、特徴量Ｎとすると、各発話の特徴量に、前発話の特徴量を付加したもの、つまり、｛開始記号、 特徴量１｝、｛特徴量１、特徴量２｝、・・・、｛特徴量Ｎ−１、特徴量Ｎ｝を、各発話の付加特徴量として生成する。これによって、特徴量（ベクトル）の次元が２倍となる。

ＣＲＰクラスタリング部２３２は、文脈情報付加部２３１によって生成された各発話の付加特徴量に基づいて、ＣＲＰクラスタリング部３１と同様に、ＣＲＰを用いて、発話をクラスタリングする。

文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果におけるクラスタ数、及びＣＲＰクラスタリング部２３１によるクラスタリング結果におけるクラスタ数に基づいて、上記（６）式と同様の式に従って、文脈依存度を算出する。

また、文脈依存度算出部２３は、ＣＲＰクラスタリング部３１によるクラスタリング結果における各クラスタのデータ、及びＣＲＰクラスタリング部２３１によるクラスタリング結果における各クラスタのデータに基づいて、上記（７）式と同様の式に従って、ＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を算出する。また、文脈依存度算出部２３は、上記（９）式と同様の式に従って、ＣＲＰクラスタリング部３１によるクラスタリング結果のクラスタの平均文脈依存度を算出する

次に、第２の実施の形態における文脈依存性推定処理ルーチンについて、図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップＳ１０１において、複数の対話データの全ての発話について、特徴量を抽出する。そして、ステップＳ１０２において、上記ステップＳ１０１において抽出された各発話の特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。

次のステップＳ２０１では、上記ステップＳ１０１において抽出された各発話の特徴量に対して、それぞれ直前の発話の特徴量を付加して、付加特徴量を各発話について生成する。

そして、ステップＳ２０２において、上記ステップＳ２０１において生成された各発話の付加特徴量に基づいて、ＣＲＰの手法を用いたクラスタリングにより、各発話を複数のクラスタに分類する。

そして、ステップＳ１０４では、上記ステップＳ１０２のクラスタリング結果におけるクラスタ数と、上記ステップＳ２０２のクラスタリング結果におけるクラスタ数とに基づいて、上記（６）式と同様の式に従って、当該ドメインに関する発話の文脈依存度を算出する。

ステップＳ１０５では、上記ステップＳ１０２のクラスタリング結果における各クラスタに属するデータ（発話）と、上記ステップＳ２０２のクラスタリング結果における各クラスタに属するデータ（発話）とに基づいて、上記（７）式と同様の式に従って、上記ステップＳ１０２でのクラスタリングによる各クラスタＣの文脈依存度を算出する。また、算出した各クラスタの文脈依存度に基づいて、上記（９）式と同様の式に従って、上記ステップＳ１０２でのクラスタリングによる各クラスタの平均文脈依存度を算出する。

そして、ステップＳ１０６において、上記ステップＳ１０４、１０５の算出結果を出力して、文脈依存度算出処理ルーチンを終了する。

以上説明したように、本実施の形態に係る文脈依存性推定装置によれば、発話の文脈情報を考慮しないＣＲＰの手法を用いて、対話データの発話をクラスタリングすると共に、文脈情報として直前の発話の特徴量を付加した付加特徴量を用いて、対話データの発話をクラスタリングし、発話のクラスタリング結果を比較することにより、あるドメインの対話データについて、文脈依存度を推定することができる。

〔第３の実施の形態〕
次に、第３の実施の形態について説明する。

第３の実施の形態では、複数のドメインの各々に対する対話データについて、それぞれ発話のクラスタリングを行って、ドメインの文脈依存比を算出している点が、第１の実施の形態及び第２の実施の形態と異なっている。以下では、複数のドメインの各ドメインの文脈依存度を算出する方法として、第１の実施の形態と同様の方法を用いる場合を例に説明を行うが、各ドメインの文脈依存度を算出する方法として、第２の実施の形態と同様の方法を用いるようにしてもよい。

図９に示すように、第３の実施の形態に係る文脈依存性推定装置３００は、入力部１０Ａ、１０Ｂと、演算部２０と、出力部２８とを備えている。

入力部１０Ａは、入力された対話データとして、ドメインＡに関連する複数の対話データを受け付ける。入力部１０Ｂは、入力された対話データとして、ドメインＡとは異なるドメインＢに関連する複数の対話データを受け付ける。

演算部２０は、対話データ記憶部２１Ａ、２１Ｂ、発話クラスタリング部２２Ａ、２２Ｂ、文脈依存度算出部２３Ａ、２３Ｂ、文脈依存比算出部３２３を備えている。

対話データ記憶部２１Ａは、入力部１０Ａにより受け付けた複数の対話データを記憶する。対話データ記憶部２１Ｂは、入力部１０Ｂにより受け付けた複数の対話データを記憶する。

発話クラスタリング部２２ＡのＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出されたドメインＡの対話データの各発話の特徴量に基づいて、ＣＲＰの手法を用いて、ドメインＡについて、発話をクラスタリングする。発話クラスタリング部２２ＢのＣＲＰクラスタリング部３１は、特徴量抽出部３０によって抽出されたドメインＢの各発話の特徴量に基づいて、ＣＲＰの手法を用いて、ドメインＢについて、発話をクラスタリングする。

発話クラスタリング部２２Ａの無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出されたドメインＡの対話データの各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、ドメインＡについて、発話をクラスタリングする。発話クラスタリング部２２Ｂの無限ＨＭＭクラスタリング部３２は、特徴量抽出部３０によって抽出されたドメインＢの対話データの各発話の特徴量に基づいて、無限ＨＭＭの手法を用いて、ドメインＢについて、発話をクラスタリングする。

文脈依存度算出部２３Ａは、上記の（６）式に従って、ドメインＡに関する発話の文脈依存度を算出する。文脈依存度算出部２３Ｂは、上記の（６）式に従って、ドメインＢに関する発話の文脈依存度を算出する。

文脈依存比算出部３２３は、算出したドメインＡに関する発話の文脈依存度及びドメインＢに関する発話の文脈依存度に基づいて、以下の（１２）式に従って、ドメインＡとドメインＢの文脈依存比を算出する。

また、文脈依存度算出部２３Ａは、ドメインＡについて、発話クラスタリング部２２ＡのＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を、上記の（７）式に従って算出する。文脈依存度算出部２３Ｂは、ドメインＢについて、発話クラスタリング部２２ＢのＣＲＰクラスタリング部３１によるクラスタリング結果の各クラスタＣの文脈依存度を算出する。

文脈依存度算出部２３Ａは、ドメインＡについて、上記の（９）式に従って、平均文脈依存度を算出する。文脈依存度算出部２３Ｂは、ドメインＢについて、上記の（９）式に従って、平均文脈依存度を算出する。

なお、第３の実施の形態に係る文脈依存性推定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、各ドメインについて発話の文脈依存度を算出して比較することにより、ドメインの文脈依存比を算出することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、対話全体の文脈を考慮しないクラスタリング手法として、ＣＲＰの手法を用いた場合を例に説明したが、対話全体の文脈を考慮しないクラスタリング手法であればこれに限定するものではない。例えば、Ｋ−Ｍｅａｎｓ、Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ、Ｘ−Ｍｅａｎｓといった方法を用いて、発話のクラスタリングを行ってもよい。

なお、クラスタ数を自動的に決定し、文脈情報を用いて発話のクラスタリングを行う手法は、対話全体の文脈を考慮しない従来のクラスタリング手法に比べて、発話間の関係を考慮できるため、クラスタリングの精度が高いという利点がある。

第１の実施の形態に記載の入力部１０、対話データ記憶部２１、特徴量抽出部３０、および無限ＨＭＭクラスタリング部３２を取り出して、発話クラスタリング装置として機能させることができる。同様に、第２の実施の形態に記載の入力部１０、対話データ記憶部２１、特徴量抽出部３０、文脈情報付加部２３１、およびＣＲＰクラスタリング部２３２を取り出して、発話クラスタリング装置として機能させることができる。クラスタ数を自動的に決定し、文脈情報を用いて発話のクラスタリングを行うことで、高精度なクラスタリングが可能になるという利点がある。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０、１０Ａ、１０Ｂ 入力部
２０ 演算部
２１、２１Ａ、２１Ｂ 対話データ記憶部
２２、２２Ａ、２２Ｂ、２２２発話クラスタリング部
２３、２３Ａ、２３Ｂ 文脈依存度算出部
３０ 特徴量抽出部
３１、２３２ ＣＲＰクラスタリング部
３２ 無限ＨＭＭクラスタリング部
１００、２００、３００ 文脈依存性推定装置
２３１ 文脈情報付加部
３２３ 文脈依存比算出部

Claims (13)

1. 複数の発話の時系列である対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングする第１クラスタリング手段と、
   前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングする第２クラスタリング手段と、
   前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する推定手段と、
   を含む文脈依存性推定装置。
2. 前記第１クラスタリング手段は、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングし、
   前記第２クラスタリング手段は、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記対話データの発話間の遷移情報を用いて前記複数の発話をクラスタリングする請求項１記載の文脈依存性推定装置。
3. 前記第２クラスタリング手段は、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、前記生成された各発話の前記付加特徴量に基づいて、前記複数の発話をクラスタリングする請求項１記載の文脈依存性推定装置。
4. 前記対話データは、特定のドメインに関する対話データであり、
   前記推定手段は、以下の式に従って、前記特定のドメインにおける前記発話の文脈依存度を推定する請求項１〜請求項３の何れか１項記載の文脈依存性推定装置。
   
   
   ただし、クラスタ数Ｃ１は、前記第１クラスタリング手段によってクラスタリングされたクラスタ数であり、クラスタ数Ｃ２は、前記第２クラスタリング手段によってクラスタリングされたクラスタ数である。
5. 前記対話データは、異なる２つのドメインに関する対話データであり、
   前記第１クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、
   前記第２クラスタリング手段は、各ドメインについて、前記ドメインに関する対話データの複数の発話を各々クラスタリングし、
   前記推定手段は、各ドメインにつて、前記発話の文脈依存度を推定すると共に、以下の式に従って、前記ドメインの文脈依存比を推定する請求項４記載の文脈依存性推定装置。
   
   
6. 前記推定手段は、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタＣの文脈依存度を推定する請求項１〜請求項３の何れか１項記載の文脈依存性推定装置。
   
   
   ただし、Ｃ’は、前記第２クラスタリング手段によってクラスタリングされたクラスタの集合であり、ｃは、Ｃ’の要素であるクラスタである。
7. 前記推定手段は、前記第１クラスタリング手段によってクラスタリングされた各クラスタの文脈依存度を推定すると共に、以下の式に従って、前記第１クラスタリング手段によってクラスタリングされたクラスタの平均文脈依存度を推定する請求項６記載の文脈依存性推定装置。
   
   
   ただし、ｃ’’は、Ｃの要素であるクラスタである。
8. 特徴量抽出手段、第１クラスタリング手段、第２クラスタリング手段、及び推定手段を含む文脈依存性推定装置における文脈依存性推定方法であって、
   前記文脈依存性推定装置は、
   前記特徴量抽出手段によって、複数の発話の時系列である対話データから、各発話の特徴量を抽出し、
   前記第１クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記複数の発話をクラスタリングし、
   前記第２クラスタリング手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に基づいて、前記発話の文脈情報を用いて、前記複数の発話をクラスタリングし、
   前記推定手段によって、前記第１クラスタリング手段によるクラスタリング結果、及び前記第２クラスタリング手段によるクラスタリング結果に基づいて、文脈に依存している度合いを推定する
   ことを特徴とする文脈依存性推定方法。
9. 入力された複数の発話の時系列である自然言語の対話データを受け付ける入力手段と、
   前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、
   前記対話データから、各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段によって抽出された前記各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記複数の発話を、当該発話の直前の発話および直後の発話におけるクラスタ間の遷移確率に比例する確率に従ってクラスタリングする無限ＨＭＭクラスタリング手段と、
   を含む発話クラスタリング装置。
10. 入力された複数の発話の時系列である対話データを受け付ける入力手段と、
    前記入力手段により受け付けた前記対話データを記憶する対話データ記憶手段と、
    前記対話データから、各発話の特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成する文脈情報付加手段と、
    前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングするＣＲＰクラスタリング手段と、
    を含む発話クラスタリング装置。
11. 入力手段、対話データ記憶手段、特徴量抽出手段、及び無限ＨＭＭクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、
    前記発話クラスタリング装置は、
    前記入力手段によって、入力された複数の発話の時系列である自然言語の対話データを受け付け、
    前記入力手段により受け付けた前記対話データを対話データ記憶手段に記憶し、
    特徴量抽出手段によって、前記対話データから、各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量を抽出し、
    前記無限ＨＭＭクラスタリング手段によって、前記特徴量抽出手段によって抽出された前記各発話のｂａｇ−ｏｆ−ｗｏｒｄｓ特徴量に基づいて、無限ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に従って、前記複数の発話を、当該発話の直前の発話および直後の発話におけるクラスタ間の遷移確率に比例する確率に従ってクラスタリングする
    ことを特徴とする発話クラスタリング方法。
12. 入力手段、対話データ記憶手段、特徴量抽出手段、文脈情報付加手段、及びＣＲＰクラスタリング手段を含む発話クラスタリング装置における発話クラスタリング方法であって、
    前記発話クラスタリング装置は、
    前記入力手段によって、入力された複数の発話の時系列である対話データを受け付け、
    前記入力手段により受け付けた前記対話データを前記対話データ記憶手段に記憶し、
    前記特徴量抽出手段によって、前記対話データから、各発話の特徴量を抽出し、
    前記文脈情報付加手段によって、前記特徴量抽出手段によって抽出された各発話の特徴量に、前記発話の文脈情報として該発話の直前の発話の特徴量を付加した付加特徴量を各々生成し、
    前記ＣＲＰクラスタリング手段によって、前記文脈情報付加手段によって生成された各発話の付加特徴量に基づいて、ＣＲＰ（Ｃｈｉｎｅｓｅ Ｒｅｓｔａｕｒａｎｔ Ｐｒｏｃｅｓｓ）に従って、前記複数の発話をクラスタリングする
    ことを特徴とする発話クラスタリング方法。
13. コンピュータを、請求項１〜請求項７の何れか１項記載の文脈依存性推定装置の各手段として機能させるためのプログラム。