JP5343861B2 - テキスト分割装置とテキスト分割方法およびプログラム - Google Patents

Description

（関連出願についての記載）
本願は、先の日本特許出願２００７−３３６４００号（２００７年１２月２７日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
本発明は、テキスト分割技術に関し、特に、単語列や文字列などのテキストを意味的なまとまりの単位である話題へと分割するテキスト分割装置と方法およびプログラムに関する。

単語列や文字列などのテキストを意味的なまとまりの単位である話題へと分割するテキスト分割技術は、自然言語処理における重要な基礎技術の一つである。テキストを話題ごとに分割することにより、例えば、
・膨大な量のテキストの話題ごとへの分類、
・テキスト全体の構造の抽出、
・それぞれの話題について要約作成、
等を可能としている。

また、近時、映像コンテンツが大量に流通しつつあるなか、テキスト分割を映像に含まれる音声の書き起こしテキスト、或いは、音声認識結果テキストに適用することで、映像コンテンツの一覧性・検索性を向上することが可能となる。このように、テキスト分割技術の重要性はさらに増しつつある。

テキスト分割技術として、大きく２種類の技術を挙げることができる。まず、これら２種類の技術について、図面を参照して詳細に説明する。

第１の技術は、分割対象となる入力テキスト内における単語分布の変化点を話題の境界として検出するものである。これは、入力テキスト内で同じ話題に属する区間では、同じ単語分布が継続するであろうことを仮定した技術である。第１の技術の代表例として、非特許文献１に記載されているＨｅａｒｓｔ法が挙げられる（第１の関連技術）。

図１０は、Ｈｅａｒｓｔ法の動作を模式的に示した説明図である。図１０に示すように、Ｈｅａｒｓｔ法では、まず、入力テキストの各部分に対して一定幅の窓を設定し、各窓内の単語分布を求める。そして、隣接する窓間の単語分布を比較することで単語分布が大きく変化する点を検出し、これを話題境界とする。単語分布としては、窓内の単語の出現頻度を計数して求められるユニグラムがよく用いられる。あるいは、隣接する単語の２つ組み、３つ組み等の出現頻度を単語分布としても良い。単語分布が大きく変化する点を検出するには、例えば、隣接窓間の単語分布の類似度をコサイン類似度などによって求め、類似度の系列の極小点が閾値以下である点を検出すれば良い。図１０においては、類似度閾値としてｔｈ２を設定すれば、分割点Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７が得られる。類似度閾値としてｔｈ３を設定すれば、分割点Ｈ２、Ｈ６が得られる。

以上の説明から分かるように、Ｈｅａｒｓｔ法は、どのような入力テキストが与えられても何らかの分割結果を出力することが可能である。

しかしながら、Ｈｅａｒｓｔ法においては、
・窓幅、
・類似度閾値、
・類似度の平滑化回数、
等の分割結果を制御するための各種パラメータが存在する。そして、これら各種パラメータの値によって、入力テキストがどのような話題単位へと分割されるかが変化する。

テキスト分割の第２の技術は、あらかじめ様々な話題に関する知識を持ち、これを利用することで入力テキストを各話題へと分割する。第２の技術の例として、非特許文献２が挙げられる。

図１１は、非特許文献２に記載されている技術（第２の関連技術）の動作を模式的に示す説明図である。図１１に示すように、この非特許文献２に記載の技術では、あらかじめ、新聞記事などの話題ごとに分割されているテキストコーパスを用いて、「野球」や「為替」等のような様々な話題に関する統計モデル、すなわち話題モデルを学習して用意しておく。話題モデルとしては、例えば、各話題に出現する単語の出現頻度を学習したユニグラムモデルなどを用いれば良い。ここで、話題間の遷移の起こりやすさを適宜決めてやれば、入力テキストと最も良く整合する話題モデル系列を、話題の変化点の位置とともに求めることができる。すなわち、入力テキストを話題単位へと分割することができる。入力テキストと話題モデルとの対応付けは、仮に、入力単語列を入力音声波形に置き換え、話題モデルを音素モデルに置き換えてみれば分かるように、音声認識でよく用いられている技術と同様に、フレーム同期ビームサーチなどの計算法によって実現することができる。

これにより、入力テキストの中で、あらかじめ話題モデルを用意しておいた話題に関する区間については、用意した話題モデルを話題単位として分割することが可能となる。図１１においては、あらかじめ用意した「野球」、「為替」、「サッカー」、「総選挙」の各話題モデルが入力テキストの対応する区間とマッチすることで、入力テキストがそれぞれの話題へと分割され、分割点Ｍ１、Ｍ２、Ｍ３、Ｍ５、Ｍ６、Ｍ７が得られる。

さらに、第１の技術の特徴である入力テキスト内の単語分布の変化点検出と、第２の技術の特徴である話題に関する知識の利用とを組み合わせることで入力テキストを話題へと分割する技術が、特許文献１に記載されている。この特許文献１に記載の発明を第３の関連技術として詳細に説明する。

特許文献１に記載の発明においては、映像を話題ごとに分割することを目的として、映像中の字幕や音声から得られるテキストの時系列を話題ごとに分割する。このとき、分割結果として得たい各話題に関する知識として、あらかじめ各話題に関する何らかのテキスト情報が得られることが前提となっている。以下の説明では、この各話題に関するテキスト情報のことを「台本データ」と呼ぶ。

特許文献１に記載の発明の動作の概略を説明する。まず、映像から抽出したテキストの時系列を第１の技術によって分割し、次に、分割された各区間のテキストと台本データから得られる各話題に関するテキスト情報とが類似しているかどうかを検証し、台本データ中のいずれの話題とも類似していなかった区間は再び第１の技術によってより細かく分割することを繰り返す、というものである。

以下では、ニュース番組を個々のニュースへと分割する場合を例に、図面を参照して、特許文献１に記載の発明の動作の詳細を説明する。

図１２は、特許文献１の図２の構成を示す図である（ただし、図１２において、参照符号は特許文献１の図２とは異なる）。図１２を参照すると、映像データ記憶手段６０２には、分割対象となるニュース番組が記憶されている。また、台本データ記憶手段６０１には、分割結果として得たい話題の単位である個々のニュースに関するテキスト情報として、各ニュースのタイトルテキストが記憶されている。

まず、台本テキスト区間取得手段６０３が、台本データ記憶手段６０１を参照することで、各ニュースのタイトルテキストを取得する。

次に、映像テキスト区間生成手段６０４が、第１の技術、すなわち適当なパラメータを用いて単語分布の変化点を検出する手法によって、ニュース番組中の字幕や音声から得られるテキストの時系列を分割し、分割された各区間のテキストを映像テキスト区間として出力する。

そして、テキスト類似度計算手段６０５は、映像テキスト区間生成手段６０４によって分割された各映像テキスト区間のテキストと、台本テキスト区間取得手段６０３で得られた各ニュースのタイトルテキストとの類似度を計算する。

テキスト対応付け手段６０６は、各映像テキスト区間に対して、その区間のテキストと最もよく類似し、かつ、類似度があらかじめ設定された閾値より高いタイトルテキストを持つニュースを対応付ける。

さらに、再帰処理制御手段６０７は、テキスト対応付け手段６０６によってニュースが対応付けられなかった映像テキスト区間を対象に、映像テキスト区間生成手段６０４においてより細かい分割がなされるようにパラメータを変更した上で、映像テキスト区間生成手段６０４、テキスト類似度計算手段６０５、およびテキスト対応付け手段６０６による処理を繰り返し行わせる。

このとき、全ての映像テキスト区間にニュースが対応付けられるか、パラメータがあらかじめ設定された限界値に達した場合は、繰り返し処理を終了する。

最後に、映像テキスト区間統合手段６０８が、隣接する映像テキスト区間で対応するニュースが同一である場合に、これを一つの映像テキスト区間として統合し、最終的な分割結果として出力する。

Ｍａｒｔｉ Ａ． Ｈｅａｒｓｔ、 "ＭＵＬＴＩ−ＰＡＲＡＧＲＡＰＨ ＳＥＧＭＥＮＴＡＴＩＯＮ ＯＦ ＥＸＰＯＳＩＴＯＲＹ ＴＥＸＴ,"３２ｎｄ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、 ｐｐ．９−１６、１９９４． Ｊ．Ｐ．Ｙａｍｒｏｎ、 Ｉ．Ｃａｒｐ、 Ｌ．Ｇｉｌｌｉｃｋ、 Ｓ．Ｌｏｗｅ、 ａｎｄ Ｐ．ｖａｎ Ｍｕｌｂｒｅｇｔ,"Ａ ＨＩＤＤＥＮ ＭＡＲＫＯＶ ＭＯＤＥＬ ＡＰＰＲＯＡＣＨ ＴＯ ＴＥＸＴ ＳＥＧＭＥＮＴＡＴＩＯＮ ＡＮＤ ＥＶＥＮＴ ＴＲＡＣＫＩＮＧ、"ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ、 Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、 ｐｐ．３３３−３３６、 １９９８． 越仲孝文、奥村明俊、磯谷亮輔、"ＨＭＭの変分ベイズ学習によるテキストセグメンテーション及びその映像インデキシングへの応用、"電子情報通信学会論文誌、Ｖｏｌ．Ｊ８９−Ｄ、Ｎｏ．９、ｐｐ．２１１３−２１２２、２００６． 特開２００５−１６７４５２号公報（図２）

以上の非特許文献１乃至３、及び特許文献１の各開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

上述した第１、第２および第３の関連技術は、それぞれ次に挙げる問題点を有する。

第１の関連技術においては、入力テキストを所望の話題単位へと分割することが難しい、という問題がある。ここで、所望の話題単位とは、分割結果として得ようとしている話題単位のことである。例えば、ニュースに関するテキストを分割する場合の所望の話題単位としては、個々のニュース単位やニュースジャンル単位などが考えられる。

前述したように、第１の関連技術では、窓幅や類似度閾値等といった各種パラメータを変更することで、入力テキストがどのような話題単位へと分割されるかが変わってくる。そして、所望の話題単位を得るためには、どのようなパラメータ値を設定すれば良いかが明らかではない。これが、第１の関連技術において入力テキストを所望の話題単位へと分割することが難しい理由である。以下具体例に即して説明する。

例えば、図１０に示す例において、類似度閾値をｔｈ３に設定すると、分割点Ｈ２、Ｈ６が得られ、入力テキストは、「経済」、「スポーツ」、「政治」といったニュースジャンルを話題単位として分割される。

一方、図１０に示す例において、類似度閾値をｔｈ２に設定すると、分割点Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７が得られ、個々のニュースへと分割される。さらに、類似度閾値をｔｈ１に設定するとＨ８、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２も分割点となり、さらに細かな単位へと分割される。

このとき、例えば、所望の話題単位として、個々のニュースを単位に分割したいとしても、類似度閾値としてｔｈ２を適切に設定することは難しい。その結果、所望の話題単位とは異なる単位で分割されてしまうことになる。

言い換えると、第１の関連技術においては、入力テキストがどのような話題単位へと分割されるかが事前に分からない。これは実用上大きな問題である。

このことは、窓幅などの他のパラメータの設定についても同様である。また、仮に、ある入力テキストに対して所望の話題単位で分割できる適切なパラメータ値を設定できたとしても、同じパラメータ値で全く性質の異なる他のテキストを所望の話題単位へと分割できる保証はない。このため、様々な入力テキストを扱う場合には、上記問題は、より深刻となる。なお、入力テキストによってパラメータの最適値が異なることは、例えば、窓幅の適正値が話題の継続長に依存することを考えても明らかである。

第２の関連技術においては、話題モデルを用意することができなかった未知の話題が入力テキスト中に現れると、その区間を正しく分割することが不可能である、という問題がある。

例えば、図１１に示す例において、入力テキスト中の区間Ａ１−Ａ３および区間Ａ５−Ａ７は、対応する話題モデルとして、「為替」、「野球」、「サッカー」、「総選挙」に関する話題モデルが用意されているため、これらの話題を単位として分割できるが、区間Ａ３−Ａ５は対応する話題モデルが用意されていないため（図１１の「未知の話題区間」参照）、この区間は、正しく分割することができない。

そして、あらかじめあらゆる話題を想定して話題モデルを用意することは、現実には不可能である。このため、第２の関連技術において、様々な入力テキストを扱う場合には、実用上大きな問題となる。

次に、第３の関連技術においては、台本データとしてテキスト情報を用意することができなかった話題が入力テキスト中に現れると、その区間を正しく分割することができない、という問題がある。これは、第２の関連技術とほぼ同様の問題である。その理由は、第３の関連技術においては、台本データ中のいずれの話題とも対応付けられない区間は、再帰処理によってパラメータが限界値に達するまで細分化されてしまうためである。その結果、台本データ中のいずれの話題とも対応付けられない区間がどのように分割されるかは、あらかじめ設定されたパラメータの限界値によって決定されることになる。台本データ中のいずれの話題とも対応付けられない区間に対して、事前にパラメータの限界値を適切に設定することは不可能である。このため、適切な分割結果が得られない。

したがって、本発明の目的は、入力テキストを所望の話題単位へ適正に分割可能とする、テキスト分割装置、テキスト分割方法およびプログラムを提供することにある。

本願で開示される発明は、上記課題を解決するため、概略以下の構成とされる。

本発明の１つの側面によれば、テキストを複数の区間に分割する装置であって、
前記テキストに付与された分割結果を教師として、前記テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する際のパラメータを推定するパラメータ推定手段と、
前記パラメータ推定手段で推定された前記パラメータを用いて、前記テキスト内の単語分布の変化点の検出に基づいて、前記テキストを分割する変化点検出話題分割手段と、
を備えたテキスト分割装置が提供される。

本発明に係る装置においては、他の側面において、意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段と、
前記話題モデルを用いて前記テキストを話題に対応させて分割するモデルベース話題分割手段と、
前記モデルベース話題分割手段による前記テキストの分割結果を教師として、前記テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する際のパラメータを推定するパラメータ推定手段と、
前記パラメータ推定手段で推定された前記パラメータを用いて、前記テキスト内の単語分布の変化点の検出に基づいて、前記テキストを分割する変化点検出話題分割手段と、
を備えた構成としてもよい。

本発明に係る装置は、さらに他の側面において、前記モデルベース話題分割手段は、前記テキストの分割の確からしさを表す分割信頼度を、前記テキストを話題に対応させて分割した少なくとも１つの区間に対して出力し、前記パラメータ推定手段は、前記分割信頼度の相対的に高い区間において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段で用いる前記パラメータを推定する構成としてもよい。

本発明に係る装置において、前記パラメータ推定手段は、前記変化点検出話題分割手段の分割対象区間から所定の範囲内において、前記モデルベース話題分割手段による前記テキストの分割結果を教師として、前記変化点検出話題分割手段が前記分割対象区間を分割する際に用いるパラメータを推定する、構成としてもよい。

本発明に係る装置において、前記テキストを分割した複数の区間のうち、前記分割信頼度の相対的に高い区間においては、前記モデルベース話題分割手段による分割結果を出力し、
前記分割信頼度の相対的に低い区間においては、前記変化点検出話題分割手段による分割結果を出力する分割結果統合手段をさらに備えた構成としてもよい。

本発明に係る装置において、前記モデルベース話題分割手段は、前記話題モデル記憶手段に記憶される話題モデルのうちのいずれかが表す話題に関する前記テキスト中の区間に対して、前記分割信頼度を相対的に高く出力し、
前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する前記テキスト中の区間に対して、前記分割信頼度を相対的に低く出力する構成としてもよい。

本発明に係る装置において、前記モデルベース話題分割手段は、前記テキストにおいて、特定の話題を表さないガーベジモデルとマッチした区間を、前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する区間と判定し、前記区間について前記分割信頼度を相対的に低く出力する構成としてもよい。

本発明に係る装置において、前記話題モデルの尤度、又は、前記話題モデルの事後確率のエントロピーによって、前記テキストを話題に対応させて分割した少なくとも１つの区間に対する前記分割信頼度を計算するようにしてもよい。

本発明に係る装置において、前記分割対象区間が複数の区間から構成される場合、前記パラメータ推定手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記区間から所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記区間を分割する際に用いるパラメータを推定し、
前記変化点検出話題分割手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記パラメータ推定手段が前記区間に対して推定したパラメータを用いて、前記区間を分割するようにしてもよい。

本発明に係る装置において、前記分割信頼度の相対的に低い区間を、前記変化点検出話題分割手段による前記テキストの前記分割対象区間と定める分割対象区間決定手段をさらに備え、前記変化点検出話題分割手段は、前記分割対象区間決定手段が定めた前記分割対象区間を分割するようにしてもよい。

本発明に係る装置において、前記パラメータ推定手段は、前記モデルベース話題分割手段による分割結果を正解とみなしたときに、前記変化点検出話題分割手段による分割結果に関する分割正解精度が大となるように、前記パラメータを推定するようにしてもよい。

本発明によれば、テキストを複数の区間に分割する方法であって、
前記テキストに付与された分割結果を教師として、前記テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する際のパラメータを推定するパラメータ推定工程と、
前記パラメータ推定工程で推定された前記パラメータを用いて、前記テキスト内の単語分布の変化点の検出に基づいて、前記テキストを分割する変化点検出話題分割工程と、
を含むテキスト分割方法が提供される。

本発明に係る方法において、意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段を参照し、前記話題モデルを用いて前記テキストを話題に対応させて分割するモデルベース話題分割工程と、
前記モデルベース話題分割工程による前記テキストの分割結果を教師として、前記テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する際のパラメータを推定するパラメータ推定工程と、
前記パラメータ推定工程で推定された前記パラメータを用いて、前記テキスト内の単語分布の変化点の検出に基づいて、前記テキストを分割する変化点検出話題分割工程と、
を含むようにしてもよい。本発明の方法によれば、上記本発明に係る装置の上記さらに他の側面として説明した内容に対応する方法が提供される。

本発明に係るコンピュータプログラムよれば、テキストを複数の区間に分割するコンピュータに、
前記テキストに付与された分割結果を教師として、前記テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する際のパラメータを推定するパラメータ推定処理と、
前記パラメータ推定処理で推定された前記パラメータを用いて、前記テキスト内の単語分布の変化点の検出に基づいて、前記テキストを分割する変化点検出話題分割処理と、
を実行させるプログラムが提供される。

本発明に係るプログラムによれば、テキストを複数の区間に分割するコンピュータに、意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段を参照し、前記話題モデルを用いて前記テキストを話題に対応させて分割するモデルベース話題分割処理と、
前記モデルベース話題分割処理による前記テキストの分割結果を教師として、前記テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する際のパラメータを推定するパラメータ推定処理と、
前記パラメータ推定処理で推定された前記パラメータを用いて、前記テキスト内の単語分布の変化点の検出に基づいて、前記テキストを分割する変化点検出話題分割処理と、
を実行させるプログラムよりなる。本発明の方法によれば、上記本発明に係る装置のさらに他の側面として説明した内容に対応するプログラムが提供される。

本発明によれば、入力テキストを所望の話題単位へ適正に分割することが可能となる。その理由は、本発明においては、入力テキストを所望の話題単位へと分割するためのパラメータを推定し、任意の入力テキストに対して分割結果を出力可能としたためである。

本発明の第１の実施例の構成を示す図である。 本発明の第２の実施例の構成を示す図である。 本発明の第１の実施例の動作を説明するための流れ図である。 本発明の第２の実施例の動作を説明するための流れ図である。 本発明の第１の実施例の動作の一例を示す説明図である。 本発明の第１の実施例におけるパラメータ推定手段の動作の一例を示す説明図である。 本発明の第１の実施例におけるパラメータ推定手段の動作の一例を示す説明図である。 本発明の第２の実施例の動作の一例を示す説明図である。 本発明の第３の実施例の構成を示す図である。 第１の関連技術の動作の一例を示す説明図である。 第２の関連技術の動作の一例を示す説明図である。 第３の関連技術の構成を示す図である。

符号の説明

１０１ 話題モデル記憶手段
１０２ モデルベース話題分割手段
１０３ パラメータ推定手段
１０４ 変化点検出話題分割手段
１０５ 分割結果統合手段
２０１ 話題モデル記憶手段
２０２ モデルベース話題分割手段
２０３ パラメータ推定手段
２０４ 変化点検出話題分割手段
２０５ 分割結果統合手段
２０６ 分割対象区間決定手段
５１０ データ処理装置
５２０ 記憶装置
５２１ 話題モデル記憶手段
５３０ テキスト分割用プログラム
６０１ 台本データ記憶手段
６０２ 映像データ記憶手段
６０３ 台本テキスト区間取得手段
６０４ 映像テキスト区間生成手段
６０５ テキスト類似度計算手段
６０６ テキスト対応付け手段
６０７ 再帰処理制御手段
６０８ 映像テキスト区間統合手段

本発明の実施の形態について図面を参照して以下に説明する。本発明に係るテキスト分割装置においては、意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段（図１の１０１）と、話題モデルを用いてテキストを話題に対応させて分割するモデルベース話題分割手段（図１の１０２）と、モデルベース話題分割手段によるテキストの分割結果を教師として、テキスト内の単語分布の変化点の検出に基づいてテキストを分割する際の制御パラメータを推定するパラメータ推定手段（図１の１０３）と、パラメータ推定手段が推定したパラメータを用いて、テキスト内の単語分布の変化点の検出に基づいて前記テキストを分割する変化点検出話題分割手段（図１の１０４）を備えている。

パラメータ推定手段（図１の１０３）は、モデルベース話題分割手段（図１の１０２）による入力テキストの分割結果を教師として、変化点検出話題分割手段（図１の１０４）で用いられるパラメータを推定する。

変化点検出話題分割手段（図１の１０４）は、パラメータ推定手段（図１の１０３）で推定されたパラメータを用いて、入力テキストを分割する。

次に、本発明の第１の実施例について、図面を参照して詳細に説明する。図１は、本発明の第１の実施例の構成を示す図である。

図１を参照すると、本発明の第１の実施例は、入力されたテキストを複数の区間に分割する装置であって、話題モデル記憶手段１０１と、モデルベース話題分割手段１０２と、パラメータ推定手段１０３と、変化点検出話題分割手段１０４と、分割結果統合手段１０５と、を備えている。

これらの手段は、それぞれ概略次のように動作する。

モデルベース話題分割手段１０２は、話題モデル記憶手段１０１が記憶する話題モデルを用いて、入力テキストを話題ごとへと分割する。

次に、パラメータ推定手段１０３は、モデルベース話題分割手段１０２による分割結果を教師として、変化点検出話題分割手段１０４の動作を制御するパラメータを推定する。

変化点検出話題分割手段１０４は、パラメータ推定手段１０３が推定したパラメータを用いて、テキスト内の単語分布の変化点を検出することで、入力テキストを分割する。

最後に、分割結果統合手段１０５は、モデルベース話題分割手段１０２による分割結果と、変化点検出話題分割手段１０４による分割結果とを統合して、入力テキストの最終的な分割結果を出力する。

図３は、本発明の第１の実施例の動作を説明する流れ図である。次に、図１、図３を参照して、本実施例の全体の動作について詳細に説明する。

分割対象となる入力テキストとしては、任意の文字や単語の並び、或いは、コンピュータを操作した際のコマンドの時系列などが用いられる。特に制限されないが、本実施例においては、複数の単語から構成される単語列を入力テキストとする。日本語のように、単語単位に分かち書きされていない言語のテキストを入力とする場合は、入力テキストに対して、例えば公知の形態素解析法等を適用することで、入力テキストを複数の単語へと事前に分割したものを入力テキストとしてもよい。また、入力テキストの単語列から、話題とは直接関係のない助詞や助動詞などを事前に取り除いたものを、入力テキストとしても良い。

本実施例においては、あらかじめ、入力テキストを分割する際の所望の話題単位に対応した話題モデルを用意し、話題モデル記憶手段１０１に記憶しておく。例えば、ニュースに関するテキストを分割する際に、ニュースのジャンルを所望の話題単位として分割したい場合には、「スポーツ」や「政治」といったニュースジャンルごとの話題モデルを用意する。また、個々のニュースを所望の話題単位として分割したい場合には、「為替」、「野球」、「総選挙」といった個々のニュースごとの話題モデルを用意する。これらの話題モデルとしては、例えば、それぞれの話題に出現する単語や単語の２つ組みの出現確率を表したユニグラムやバイグラムなどのモデルを用いればよい。このような話題モデルは、あらかじめ話題ごとに分類された大量のテキストデータ、例えば、新聞記事データなどを用いて学習することができる。なお、あらゆる話題に関する話題モデルをあらかじめ用意して話題モデル記憶手段１０１に記憶しておくことは現実的には不可能である。

以下では、話題モデル記憶手段１０１が記憶する話題モデルのいずれかが表す話題を「既知の話題」、話題モデル記憶手段１０１が記憶する話題モデルのいずれもが表さない、すなわち、話題モデルが用意されていない話題を「未知の話題」と呼ぶことにする。

入力テキストを分割する際には、まず、モデルベース話題分割手段１０２が、話題モデル記憶手段１０１に記憶された話題モデルを用いて入力テキストを分割する（図３のステップＳ３０１）。特に制限されないが、モデルベース話題分割手段１０２による分割は、前述した第２の関連技術を用いて、入力テキストと最も良く整合する話題モデル系列を、話題の変化点の位置とともに求めることで実現してもよい。

具体的には、例えば、各話題モデルが各状態に配置されたＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ（ＨＭＭ）を用いたフレーム同期ビームサーチなどの方法により、入力テキストと整合する話題モデル系列を求めることができる。このとき、話題間の遷移確率を定める必要がある。話題間の遷移確率の設定は、話題モデルの学習に用いたテキストデータ中の各話題の並びを元に学習しても良いし、或いは、あらゆる話題間の遷移確率を等しいものとしても良い。

モデルベース話題分割手段１０２によって、入力テキスト中の既知の話題区間は、所望の話題単位へと分割される。一方、入力テキスト中の未知の話題区間は、用意されているいずれの話題モデルとも整合しないため、未知の話題区間を正しく分割することはできず、どのような分割結果が得られるかは分からない。

本実施例において、モデルベース話題分割手段１０２は、入力テキストを話題ごとに分割するだけでなく、入力テキストのどの区間が未知の話題区間であるかを判定するように動作させても良い。この場合、モデルベース話題分割手段１０２において、未知の話題区間の判定は、特定の話題を表さない話題モデルであるガーベジモデルを用意しておき、入力テキストを分割する際に、話題モデル記憶手段１０１に記憶された話題モデルに加え、予め用意されたガーベジモデルも用いることで実現できる。すなわち、未知の話題区間では他の話題モデルよりもガーベジモデルの方がより良く整合することから、ガーベジモデルが整合した区間が未知の話題区間であり、それ以外の他の話題モデルが整合した区間が既知の話題区間であると判定できる。

ここで、ガーベジモデルとしては、例えば、
・あらゆる単語の出現確率が等しいモデルや、
・様々な話題を含んだ大量のテキストデータ全体における単語の出現確率を表したモデル、
などを用いれば良い。

次に、パラメータ推定手段１０３が、モデルベース話題分割手段１０２による分割結果を教師として、変化点検出話題分割手段１０４がテキストの分割に際して用いるパラメータを推定する（図３のステップＳ３０２）。パラメータの推定は、様々なパラメータを用いて変化点検出話題分割手段１０４によって入力テキストを複数の区間に分割し、変化点検出話題分割手段１０４がモデルベース話題分割手段１０２による分割結果を最も良く再現するような分割結果を出力する際のパラメータを求めれば良い。このようにすることで、パラメータ推定手段１０３は、変化点検出話題分割手段１０４が入力テキスト中のどのような区間についても所望する結果に近い話題単位へと分割するようなパラメータ値を推定することができる。

変化点検出話題分割手段１０４は、パラメータ推定手段１０３によって推定されたパラメータを用いて、入力テキスト内の単語分布の変化点を検出することで、入力テキストを分割する（図３のステップＳ３０３）。本実施例において、変化点検出話題分割手段１０４は、パラメータ推定手段１０３からのパラメータを用いて入力テキストの単語分布の変化点を検出してる点が、前記第１の関連技術と相違しているが、変化点の検出の動作自体は、前記１の関連技術と同様の動作とされる。変化点検出話題分割手段１０４は、入力テキストのあらゆる区間を分割することが可能であるが、第１の関連技術について説明したとおり、適切な分割結果を出力するためには、パラメータを適正に定める必要がある。

本実施例においては、
・パラメータ推定手段１０３は、変化点検出話題分割手段１０４が入力テキスト中のどのような区間でも所望に近い話題単位へと分割するようなパラメータ値を推定し、
・変化点検出話題分割手段１０４は、パラメータ推定手段１０３で推定されたパラメータを用いて分割する、
ため、入力テキスト中のどのような区間でも所望に近い話題単位へと分割することができる。

最後に、分割結果統合手段１０５は、モデルベース話題分割手段１０２による分割結果と、変化点検出話題分割手段１０４による分割結果とを統合して（図３のステップＳ３０４）、例えば２つの分割結果を統合した結果を入力テキストの最終的な分割結果として出力する（図３のステップＳ３０５）。

２つの分割結果を統合して出力する方法としては、例えば、モデルベース話題分割手段１０２によって、
・未知の話題区間と判定された区間は、変化点検出話題分割手段１０４による分割結果を出力し、
・既知の話題区間と判定された区間は、モデルベース話題分割手段１０２による分割結果を出力すれば良い。

このようにすることで、既知の話題区間は、モデルベース話題分割手段１０２によって確実に所望の話題単位で分割し、かつ、未知の話題区間も、変化点検出話題分割手段１０４によって所望に近い話題単位で分割することができる。

なお、分割結果統合手段１０５は、モデルベース話題分割手段１０２による分割結果と、変化点検出話題分割手段１０４による分割結果とを統合するかわりに、入力テキストの全ての区間において、変化点検出話題分割手段１０４による分割結果をそのまま出力しても良い。

次に、図１、および、図５から図７の説明図を参照して、本実施例の動作を具体例に基づいて説明する。

以下では、図５の（ａ）に示した話題を含むニュースに関するテキストを分割する場合を例に説明する。ここで、所望の話題単位は、個々のニュースであるものとする。図５において、横軸は一次元に展開したテキストを表している。

すなわち、最終的な分割結果としては、図５の（ｂ）に「正解話題分割」として示した分割点Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７を得たいものとする。

図１の話題モデル記憶手段１０１には、所望の話題単位である個々のニュースに関する話題モデルとして、「為替」、「野球」、「サッカー」、「総選挙」の話題モデルが記憶されているものとする（図５の（ｄ）参照）。

また、特に制限されないが、本実施例において、変化点検出話題分割手段１０４は、例えば非特許文献１に記載されているＨｅａｒｓｔ法によって、入力テキストを分割するものとする。Ｈｅａｒｓｔ法は、入力テキストの各部分に対して一定幅の窓を設定し、隣接窓間の単語分布の類似度の極小点が閾値以下である点で入力テキストを分割する。Ｈｅａｒｓｔ法のパラメータには、
・窓幅、
・類似度の閾値、
・類似度の平滑化回数、
などが存在する。この場合、パラメータ推定手段１０３で推定するパラメータは、窓幅や類似度の閾値等となる。なお、以下では、変化点検出話題分割手段１０４は、一例としてＨｅａｒｓｔ法によって入力テキストを分割するものとして説明を行うが、本発明において、変化点検出話題分割手段１０４の実現手法がＨｅａｒｓｔ法に限定されるものではないことは勿論である。

まず、図１のモデルベース話題分割手段１０２が話題モデルを用いて入力テキストを分割することで、図５の（ｃ）に「モデルベース話題分割結果」として示したように、分割点Ｍ１、Ｍ２、Ｍ３、Ｍ５、Ｍ６、Ｍ７が得られる。

図５の（ｃ）のモデルベース話題分割結果において、区間Ｍ１−Ｍ３、区間Ｍ５−Ｍ７は、既知の話題区間であるため、所望の話題単位である個々のニュースを単位として分割することができる。一方、区間Ｍ３−Ｍ５は、「スケート」と「ゴルフ」の２つのニュースから構成されているが、これらの話題に関する話題モデルが用意されていないため、区間Ｍ３−Ｍ５にはガーベジモデルが整合し、未知の話題区間と判定されている。

次に、図１のパラメータ推定手段１０３が、モデルベース話題分割手段１０２による分割結果を教師として、変化点検出話題分割手段１０４で変化点検出による分割に用いるパラメータを推定する。ここでは、変化点検出話題分割手段１０４はＨｅａｒｓｔ法により入力テキストを分割することから、パラメータ推定手段１０３は、Ｈｅａｒｓｔ法のパラメータを推定する。

パラメータ推定手段１０３によるパラメータ推定の方法を、Ｈｅａｒｓｔ法のパラメータの一つである類似度閾値を推定する場合を例に説明する。

パラメータ推定手段１０３は、まず、値が異なる様々な類似度閾値を用いて、入力テキストをＨｅａｒｓｔ法によって分割する。

図５の（ｆ）に、入力テキストに対してＨｅａｒｓｔ法を適用した際の「隣接窓間の単語分布の類似度」の系列を示す。これより、例えば、変化点検出話題分割手段１０４が類似度閾値としてｔｈ１を用いて分割した場合、分割点Ｈ１、Ｈ８、Ｈ２、Ｈ９、Ｈ３、Ｈ１０、Ｈ４、Ｈ５、Ｈ１１、Ｈ６、Ｈ１２、Ｈ７が得られる。

変化点検出話題分割手段１０４が類似度閾値としてｔｈ２（＜ｔｈ１）を用いた場合、分割点Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７が得られる。

変化点検出話題分割手段１０４が類似度閾値としてｔｈ３（＜ｔｈ２）を用いた場合、分割点Ｈ２、Ｈ６が得られる。

このとき、パラメータ推定手段１０３は、モデルベース話題分割手段１０２による分割点（Ｍ１、Ｍ２、Ｍ３、Ｍ５、Ｍ６、Ｍ７）と、変化点検出話題分割手段１０４で各類似度閾値を用いたときのＨｅａｒｓｔ法による分割点とを比較し、モデルベース話題分割による分割結果を、最も良く再現するような分割結果が得られる類似度閾値を求める。

そのためには、例えば、モデルベース話題分割手段１０２による分割結果を正解としたときに、Ｈｅａｒｓｔ法による分割結果の分割正解精度が最大になるような類似度閾値を求めればよい。

図６および図７は、この手順の一例を示す説明図である。図６には、教師となるモデルベース話題分割手段１０２による分割結果と、類似度閾値としてｔｈ１、ｔｈ２、ｔｈ３を用いた場合の変化点検出話題分割手段１０４によるＨｅａｒｓｔ法の分割結果（図６の（ｄ）変化点検出話題分割結果）が示されている。ここで、モデルベース話題分割による分割点を正解としたときに、Ｈｅａｒｓｔ法による分割点のうち正しく分割できたとみなせる分割点には○印が付与されている（図６の（ｄ）において、分割点番号が○で囲まれている）。

例えば、類似度閾値としてｔｈ１を用いたときのＨｅａｒｓｔ法による分割点のうち、○印が付与されているＨ１、Ｈ２、Ｈ３、Ｈ５、Ｈ６、Ｈ７が正しく分割できたとみなせることを示している。

なお、本実施例において、パラメータ推定手段１０３は、変化点検出話題分割手段１０４で行われたＨｅａｒｓｔ法による分割点と、モデルベース話題分割手段１０２で行われたモデルベース話題分割による分割点とが完全に一致せずに、例えば数単語程度、両者の分割点がずれている場合でも、正しく分割できたとみなしても良い。

ここで、パラメータ推定手段１０３において、モデルベース話題分割の結果を正解としたときのＨｅａｒｓｔ法による分割結果の分割正解精度を、Ｒｅｃａｌｌ、Ｐｒｅｃｉｓｉｏｎ、Ｆ値などで評価することができる。

Ｒｅｃａｌｌは、分割すべき点のうち正しく分割できた点の割合である。
Ｐｒｅｃｉｓｉｏｎは、分割した点のうち正しく分割できた点の割合である。
Ｆ値は、ＲｅｃａｌｌとＰｒｅｃｉｓｉｏｎの調和平均である。

図６の（ｄ）の変化点検出話題分割結果において、例えば、類似度閾値がｔｈ１の場合、分割すべき点６箇所（Ｍ１、Ｍ２、Ｍ３、Ｍ５、Ｍ６、Ｍ７）のうち６箇所（Ｈ１、Ｈ２、Ｈ３、Ｈ５、Ｈ６、Ｈ７）が正しく分割できているので、
Ｒｅｃａｌｌは、６／６＝１．０である。
また分割した点１２箇所（Ｈ１〜Ｈ１２）のうち６箇所（Ｈ１、Ｈ２、Ｈ３、Ｈ５、Ｈ６、Ｈ７）が正しく分割できているので、
Ｐｒｅｃｉｓｉｏｎは、６／１２＝０．５であり、従ってＦ値は０．６７となる。

図７（ａ）の表に、類似度閾値としてｔｈ１、ｔｈ２、ｔｈ３を用いた場合の分割正解精度を計算した結果の一覧を示す。

ここで、分割正解精度をＦ値で評価するものとすれば、分割正解精度が最大になるのは類似度閾値としてｔｈ２を用いた場合である。このため、パラメータ推定手段１０３は、類似度閾値として、ｔｈ２を推定する。

なお、パラメータ推定手段１０３は、モデルベース話題分割手段１０２によって既知の話題区間と判定された区間の結果のみを参照して、モデルベース話題分割手段１０２による分割結果と様々なパラメータを用いたときのＨｅａｒｓｔ法による分割結果とを比較し、変化点検出話題分割手段１０４のパラメータを推定しても良い。

未知の話題区間は、モデルベース話題分割手段１０２によって正しく分割できない区間であることから、未知の話題区間の結果を除外することで、所望の話題単位へと分割するためのパラメータをより適切に推定することができるようになる。

例えば、図６において、既知の話題区間と判定された区間Ｍ１−Ｍ３および区間Ｍ５−Ｍ７の結果のみを用いて、前記と同様に、それぞれの類似度閾値における分割正解精度を計算すると、図７（ｂ）となり、類似度閾値がｔｈ２のときＦ値は１．０となる（分割信頼度高い）。

また、ここでは、パラメータ推定手段１０３が推定するパラメータの例として、類似度閾値を例に説明したが、窓幅や類似度の平滑化回数などの他のパラメータについても、同様にして、推定することができる。

本実施例において、パラメータ推定手段１０３におけるパラメータ推定の方法は、変化点検出話題分割手段１０４でＨｅａｒｓｔ法を用いた場合のパラメータ推定に限定されるものでないことは勿論である。変化点検出話題分割手段１０４がＨｅａｒｓｔ法以外の手法によって入力テキストを分割する場合でも、パラメータ推定手段１０３は、前記と同様の方法によって、変化点検出話題分割手段１０４のパラメータを推定することができる。例えば、入力テキスト内の単語分布の変化点を検出することで入力テキストを分割する他の手法として、非特許文献３に記載のテキスト分割法が挙げられる。

非特許文献３に記載のテキスト分割法は、入力テキストを学習データとみなして状態が話題に対応したＨＭＭを学習することで入力テキストを分割する手法であり、分割結果を変化させるパラメータとして、ＨＭＭの事前分布の超パラメータが存在する。

本実施例において、変化点検出話題分割手段１０４として、非特許文献３に記載のテキスト分割法を採用した場合でも、パラメータ推定手段１０３は、前記と同様の方法によって、ＨＭＭの事前分布の超パラメータを推定することができる。

本実施例においては、前述したように、変化点検出話題分割手段１０４は、パラメータ推定手段１０３によって推定されたパラメータを用いて、入力テキストを分割する。これによって、変化点検出話題分割手段１０４は、入力テキスト中のどのような区間でも、所望に近い話題単位へと分割することができる。

この点について、再び図５を参照して説明する。

まず、図５の例において、パラメータ推定手段１０３によって推定された類似度閾値ｔｈ２を用いると、変化点検出話題分割手段１０４では、Ｈｅａｒｓｔ法によって、入力テキスト中の既知の話題区間を所望に近い話題単位へと分割することができる。

図５を参照すると、既知の話題区間（区間Ａ１−Ａ３、区間Ａ５−Ａ７）では、変化点検出話題分割手段１０４において類似度閾値ｔｈ２を用いたＨｅａｒｓｔ法によって、所望の話題単位である個々のニュースへと分割する分割点Ｈ１、Ｈ２、Ｈ３、Ｈ５、Ｈ６、Ｈ７が得られている。すなわち「為替」、「野球」、「サッカー」、「総選挙」のニュースへと分割可能であることが分かる。

これは、既知の話題区間を所望の話題単位へと分割することができるモデルベース話題分割手段１０２による分割結果を最も良く再現するように、類似度閾値ｔｈ２を求めたことから当然である。

さらに、変化点検出話題分割手段１０４において類似度閾値ｔｈ２を用いると、Ｈｅａｒｓｔ法によって、入力テキスト中の未知の話題区間も所望の話題単位、すなわち個々のニュース単位へと分割することができる。なぜならば、あるテキストを所望の話題単位へと分割するためのパラメータ値は、そのテキスト内ではほぼ一定であると期待できるためである。実際、図５を参照すると、変化点検出話題分割手段１０４において、類似度閾値としてｔｈ２を用いれば、入力テキスト中の未知の話題区間（区間Ａ３−Ａ５）では、Ｈｅａｒｓｔ法によって分割点Ｈ４が得られ、個々のニュース、すなわち「スケート」と「ゴルフ」のニュースへと分割可能であることが分かる。

以上より、変化点検出話題分割手段１０４において、類似度閾値としてｔｈ２を用いれば、Ｈｅａｒｓｔ法によって、入力テキスト全体を、概ね個々のニュース単位へと分割できることが分かる。なお、類似度閾値としてｔｈ３を用いると、Ｈｅａｒｓｔ法によってこの入力テキスト全体を概ねニュースジャンル単位へと分割できる。分割点Ｈ２、Ｈ６により、入力テキストは、経済、スポーツ、政治に分割される。

最後に、分割結果統合手段１０５は、モデルベース話題分割手段１０２による分割結果と、変化点検出話題分割手段１０４による分割結果とを統合して、入力テキストの最終的な分割結果を出力する。具体的には、例えば、モデルベース話題分割手段１０２によって、
・未知の話題区間と判定された区間Ｍ３−Ｍ５は、変化点検出話題分割手段１０４による分割結果であるＨ４を出力し、
・既知の話題区間と判定された区間Ｍ１−Ｍ３および区間Ｍ５−Ｍ７は、モデルベース話題分割手段１０２による分割結果であるＭ１、Ｍ２、Ｍ３、Ｍ５、Ｍ６、Ｍ７を出力すれば、入力テキストのあらゆる区間を所望の話題単位に分割できる。

或いは、入力テキストの全ての区間において、変化点検出話題分割手段１０４による分割結果であるＨ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７を出力しても良い。

なお、モデルベース話題分割手段１０２は、入力テキストの各区間に対して、分割の確からしさを表す分割信頼度を出力しても良い。ここで、分割信頼度が高い区間は、モデルベース話題分割手段１０２による分割結果が正しい可能性が高いことを意味し、逆に、分割信頼度が低い区間は、モデルベース話題分割手段１０２による分割結果が誤っている可能性が高いことを意味するものとする。

本実施例において、例えば、入力テキストの各区間と最も良く整合した話題モデルの尤度（ｌｉｋｅｌｉｈｏｏｄ）をその区間の分割信頼度とすることが出来る。一般に、入力テキストと整合した話題モデルの尤度が高いほど、その区間の分割結果が正しい可能性が高まるためである。データXが与えられたときのパラメータθの尤度L(θ)は条件確率Ｐ［Ｘ｜θ］で与えられる。

或いは、入力テキストの各区間に対して各話題モデルの事後確率（ａ ｐｏｓｔｅｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ）を計算し、それら事後確率のエントロピーが小さいほど分割信頼度が高くなるようにしても良い。例えば、事後確率のエントロピーの逆数を分割信頼度とすることが出来る。話題モデルの事後確率をＰｉとした場合、事後確率のエントロピーＨは、−Σｉ Ｐｉ・ｌｏｇ（Ｐｉ）で与えられる。事後確率のエントロピーが小さい場合、特定の話題モデルの事後確率が高い、すなわち特定の話題モデルのみが入力テキストと良く整合したことを意味するので、その区間の分割結果が正しい可能性が高い。
なお、各話題モデルの事後確率は、各話題モデルの尤度を用いれば容易に計算できる。周知のごとく、データＸが与えられたときのパラメータθｉの事後確率Ｐ［θｉ｜Ｘ］＝Ｐ［Ｘ｜θｉ］・Ｐ［θｉ]／｛Σｉ Ｐ［Ｘ｜θｉ］・Ｐ［θｉ]｝で与えられる。ここで、Ｐ[θｉ］は各話題の事前確率であり、事前に学習データから求めておいても良いし、或いは、話題によらず一定であるとしても良い。

或いは、特定の話題を表さない話題モデルであるガーベジモデルが整合した未知の話題区間に対しては分割信頼度が低くなるようにしても良い。ガーベジモデルが整合した区間はいずれの話題モデルとも整合しなかったことを意味するので、当然ながら、その区間は正しく分割されていないためである。

このようにして、モデルベース話題分割手段１０２が分割信頼度を出力する場合、パラメータ推定手段１０３は、分割信頼度が一定値以上の区間の結果のみを参照して、モデルベース話題分割手段１０２による分割結果と様々なパラメータを用いたときのＨｅａｒｓｔ法による分割結果とを比較し、変化点検出話題分割手段１０４のパラメータを推定しても良い。

このように、モデルベース話題分割手段１０２によって正しく分割できている可能性が高い区間の結果を用いてパラメータを推定することで、所望の話題単位へと分割するためのパラメータをより適切に推定することができるようになる。

また、モデルベース話題分割手段１０２が分割信頼度を出力する場合、分割結果統合手段１０５は、
・分割信頼度が一定値以下の区間は変化点検出話題分割手段１０４による分割結果を出力し、
・分割信頼度が一定値以上の区間はモデルベース話題分割手段１０２による分割結果を出力しても良い。

このように、モデルベース話題分割手段１０２による分割結果が誤っている可能性が高い区間（分割信頼度が一定値以下の区間）は、変化点検出話題分割手段１０４の結果を出力することで、入力テキスト全体をより正確に話題分割することが可能となる。

なお、本実施例では、パラメータ推定手段１０３は、モデルベース話題分割手段１０２による分割結果を教師として、変化点検出話題分割手段１０４のパラメータを推定しているが、本発明はかかる構成に制限されるものでないことは勿論である。一例として、本実施例において、パラメータ推定手段１０３は、モデルベース話題分割手段１０２による分割結果以外の分割結果を教師として、変化点検出話題分割手段１０４のパラメータを推定しても良い。

例えば、モデルベース話題分割手段１０２の代わりに、人手によって入力テキストを所望の話題単位に分割し、パラメータ推定手段１０３は人手による分割結果を教師とすることもできる。このようにすることで、人手によって入力テキストの一部分を所望の話題単位へと分割することで、入力テキストの他の部分も所望の話題単位へと分割することが可能となる。

次に、本実施例の作用効果について説明する。

本実施例では、パラメータ推定手段１０３が、モデルベース話題分割手段１０２による分割結果を教師とすることで、変化点検出話題分割手段１０４が入力テキスト中のどのような区間でも所望の話題単位へと分割するようなパラメータを推定することができる。このため、どのような入力テキストが与えられても、テキストを所望の話題単位へと分割することができる。

次に、本発明の第２の実施例について、図面を参照して詳細に説明する。図２は、本発明の第２の実施例の構成を示す図である。本実施例においては、前記第１の実施例に対して、分割対象区間を決定する手段が追加されている。

図２を参照すると、本発明の第２の実施例は、入力されたテキストを複数の区間に分割する装置であって、話題モデル記憶手段２０１と、モデルベース話題分割手段２０２と、パラメータ推定手段２０３と、変化点検出話題分割手段２０４と、分割結果統合手段２０５と、分割対象区間決定手段２０６とを備えている。図４は、本発明の第２の実施例の動作を説明する流れ図である。図８は、本発明の第２の実施例を説明するための説明図である。

次に、図２、図４、図８を参照して、本実施例の全体の動作について詳細に説明する。ただし、話題モデル記憶手段２０１、モデルベース話題分割手段２０２はそれぞれ、本発明の第１の実施例における話題モデル記憶手段１０１、モデルベース話題分割手段１０２、と同様の動作を行うため、詳しい説明は適宜省略する。

まず、モデルベース話題分割手段２０２が、話題モデル記憶手段２０１に記憶された話題モデルを用いて入力テキストを分割する（図４のステップＳ４０１）。このとき、モデルベース話題分割手段２０２は、入力テキストの各区間に対して、分割の確からしさを表す分割信頼度を出力する。

分割信頼度は、本発明の第１の実施例において説明したように、話題モデルの尤度や事後確率のエントロピー、或いはガーベジモデルと整合したか否か、などに基づいて計算すれば良い。

図８に示した例では、モデルベース話題分割手段２０２によって、入力テキストは分割点Ｍ１、Ｍ２、Ｍ３、Ｍ５、Ｍ６、Ｍ７、Ｍ８、Ｍ９、Ｍ１０、Ｍ１１で分割され、さらに、区間Ｍ３−Ｍ５および区間Ｍ８−Ｍ９は分割信頼度が低いものと判定されている。

次に、分割対象区間決定手段２０６が、分割信頼度が一定値以下の区間を、変化点検出話題分割手段２０４の分割対象区間として定める（図４のステップＳ４０２）。

分割信頼度が低い区間は、モデルベース話題分割手段２０２による分割結果が誤っている可能性が高いことから、変化点検出話題分割手段２０４によって分割した方が、望ましい分割結果が得られるものと想定される。

図８に示した例では、区間Ｍ３−Ｍ５および区間Ｍ８−Ｍ９が、変化点検出話題分割手段２０４で分割すべき区間として定められる。

パラメータ推定手段２０３は、本発明の第１の実施例におけるパラメータ推定手段１０３と同様に、変化点検出話題分割手段２０４のパラメータを推定する（図４のステップＳ４０３）。このとき、分割対象区間決定手段２０６により定められた分割対象区間から所定の範囲内におけるモデルベース話題分割手段２０２による分割結果のみを教師とする点が、本発明の第１の実施例におけるパラメータ推定手段１０３とは異なる。

図８に示した例では、変化点検出話題分割手段２０４が区間Ｍ３−Ｍ５を分割する際に用いるパラメータは、分割対象区間Ｍ３−Ｍ５から所定の範囲内である区間Ｔ１−Ｔ２におけるモデルベース話題分割の結果（Ｍ２、Ｍ３、Ｍ５、Ｍ６）のみを教師として推定される。

また、変化点検出話題分割手段２０４が区間Ｍ８−Ｍ９を分割する際に用いるパラメータは、分割対象区間Ｍ８−Ｍ９から所定の範囲内である区間Ｔ３−Ｔ４におけるモデルベース話題分割の結果（Ｍ７、Ｍ８、Ｍ９、Ｍ１０）のみを教師として推定される。

入力テキスト中での位置が近いほど、入力テキストを所望の話題単位へと分割するためのパラメータ値も似ていると考えられるため、分割対象区間から所定の範囲内のモデルベース話題分割の結果のみを教師とすることで、その分割対象区間を所望の話題単位へと分割するためのより適切なパラメータを推定することができる。

ここで、上述した所定の範囲、すなわち、教師として用いるモデルベース話題分割結果の範囲を定める最も簡単な方法は、分割対象区間を前後に一定値だけ広げた区間を所定の範囲とする方法である。

このような単純な方法でも、分割対象区間の周辺のモデルベース話題分割結果のみを教師としているため、入力テキスト全体を教師として用いるよりは、分割対象区間を所望の話題単位へと分割するのにより適したパラメータを得ることができる。

或いは、他の方法として、パラメータを推定しながら教師とする範囲を少しずつ広げていき、推定されるパラメータ値の急激な変化を検出し、変化する直前の範囲を所定の範囲としても良い。すなわち、推定されるパラメータ値が急激に変化した場合、その範囲の前後で入力テキストの性質が大きく変化していると考えられるため、このように所定の範囲を定めることで適切なパラメータ値を推定することができる。

変化点検出話題分割手段２０４は、パラメータ推定手段２０３によって推定されたパラメータを用いて、入力テキスト中の分割対象区間決定手段２０６により定められた分割対象区間を分割する（図４のステップＳ４０４）。

図８に示した例では、変化点検出話題分割手段２０４は、分割対象区間Ｍ３−Ｍ５およびＭ８−Ｍ９を分割する。このとき、
・分割対象区間Ｍ３−Ｍ５を分割する際には、区間Ｔ１−Ｔ２におけるモデルベース話題分割の結果を教師として推定されたパラメータ値を用い、
・分割対象区間Ｍ８−Ｍ９を分割する際には、区間Ｔ３−Ｔ４におけるモデルベース話題分割の結果を教師として推定されたパラメータ値を用いる。

本実施例においては、このように、パラメータ推定手段２０３によって、分割対象区間ごとに適切に推定されたパラメータ値を用いることで、入力テキストをより所望に近い話題単位へと分割することができる。

分割結果統合手段２０５は、モデルベース話題分割手段２０２による分割結果と、変化点検出話題分割手段２０４による分割結果とを統合して（図４のステップＳ４０５）、２つの手段２０２、２０４による分割結果を統合したものを入力テキストの最終的な分割結果として出力する（図４のステップＳ４０６）。具体的には、分割結果統合手段２０５は、
・変化点検出話題分割手段２０４が分割対象とした区間では、変化点検出話題分割手段２０４による分割結果を出力し、
・変化点検出話題分割手段２０４が分割対象としなかった区間では、モデルベース話題分割手段２０２による分割結果を出力する。

次に、本実施例の作用効果について説明する。

本実施例では、変化点検出話題分割手段２０４のパラメータを、分割対象区間から、所定の範囲内におけるモデルベース話題分割の結果のみを教師として推定するため、分割対象区間の周辺のテキストの性質にあわせたパラメータ値を推定することが可能となる。その結果、分割対象区間を所望の話題単位へと分割する精度を向上することができる。

さらに、本実施例では、変化点検出話題分割手段２０４のそれぞれの分割対象区間ごとに、それぞれの区間から所定の範囲内におけるモデルベース話題分割の結果を教師としてパラメータを推定している。このため、入力テキスト内において所望の話題単位を得るための最適なパラメータ値が変化している場合でも、変化点検出話題分割手段２０４によって精度良く入力テキストを所望の話題単位へと分割できる。

次に、本発明の第３の実施例について、図面を参照して詳細に説明する。

本発明の第３の実施例は、第１または第２の実施例をプログラムにより構成した場合に、そのプログラムにより動作するコンピュータとして実現される。

図９を参照すると、本発明の第３の実施例は、ＭＰＵ等を含んで構成されるデータ処理装置５１０と、磁気ディスクや半導体メモリ等で構成される記憶装置５２０と、テキスト分割用プログラム５３０とから構成される。記憶装置５２０は、話題モデル記憶手段５２１などとして使用される。テキスト分割用プログラム５３０は、データ処理装置５１０に読み込まれ、データ処理装置５１０の動作を制御することにより、データ処理装置５１０上に、前記第１又は第２に実施例の機能を実現する。すなわち、データ処理装置５１０は、テキスト分割用プログラム５３０の制御により、図１のモデルベース話題分割手段１０２、パラメータ推定手段１０３、変化点検出話題分割手段１０４、分割結果統合手段１０５、あるいは、図２のモデルベース話題分割手段２０２、パラメータ推定手段２０３、変化点検出話題分割手段２０４、分割結果統合手段２０５、分割対象区間決定手段２０６の処理を実行する。

本発明は、テキスト・音声・映像などのメディアデータを話題ごとに整理された状態で閲覧する情報閲覧システムや、情報閲覧システムをコンピュータに実現するためのプログラムといった用途に適用できる。また、大量のメディアデータの中から特定の話題に関するメディアデータを検索する情報検索システムといった用途にも適用可能である。

本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (30)

1. テキストを複数の区間に分割する装置であって、
   意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段と、
   前記話題モデルを用いて前記テキストを話題に対応させて分割するモデルベース話題分割手段と、
   前記テキストの各部分に対して、予め定められた幅の窓を設定し、隣接窓間の単語分布の類似度の極小点が予め定められた閾値以下である点で、前記テキストを分割する変化点検出話題分割手段と、
   前記変化点検出話題分割手段で値の異なるパラメータを用いたときの分割点と、前記モデルベース話題分割手段による分割点とを比較し、前記変化点検出話題分割手段による分割結果が前記モデルベース話題分割手段による分割結果をより良く再現するような前記パラメータを求めるパラメータ推定手段と、
   を備え、
   前記パラメータ推定手段で推定され、前記変化点検出話題分割手段で前記テキストの分割に用いられる前記パラメータは、前記窓の幅、前記類似度の閾値、前記類似度を平滑化する回数のうちのうちの少なくとも一つを含む、ことを特徴とするテキスト分割装置。
2. 前記モデルベース話題分割手段は、前記テキストの分割の確からしさを表す分割信頼度を、前記テキストを話題に対応させて分割した少なくとも１つの区間に対して出力し、
   前記パラメータ推定手段は、前記分割信頼度の相対的に高い区間において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段で用いる前記パラメータを推定する、ことを特徴とする請求項１に記載のテキスト分割装置。
3. 前記パラメータ推定手段は、前記変化点検出話題分割手段による前記テキストの分割信頼度が所定値以下の区間である分割対象区間に隣接し分割信頼度が前記所定値を超える分割点を含む所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記分割対象区間を分割する際に用いるパラメータを推定する、ことを特徴とする請求項２に記載のテキスト分割装置。
4. 前記テキストを分割した複数の区間のうち、前記分割信頼度の相対的に高い区間においては、前記モデルベース話題分割手段による分割結果を出力し、
   前記分割信頼度の相対的に低い区間においては、前記変化点検出話題分割手段による分割結果を出力する分割結果統合手段をさらに備えたことを特徴とする請求項２又は３に記載のテキスト分割装置。
5. 前記モデルベース話題分割手段は、前記話題モデル記憶手段に記憶される話題モデルのうちのいずれかが表す話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に高く出力し、
   前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に低く出力する、ことを特徴とする請求項２に記載のテキスト分割装置。
6. 前記モデルベース話題分割手段は、前記テキストにおいて、特定の話題を表さないガーベジモデルとマッチした区間を、前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する区間と判定し、前記区間について前記分割信頼度を相対的に低く出力する、ことを特徴とする請求項５に記載のテキスト分割装置。
7. 前記モデルベース話題分割手段は、前記話題モデルの尤度、又は、前記話題モデルの事後確率のエントロピーによって、前記テキストを話題に対応させて分割した少なくとも１つの区間に対する前記分割信頼度を計算する、ことを特徴とする請求項２に記載のテキスト分割装置。
8. 前記分割対象区間が複数の区間から構成される場合、前記パラメータ推定手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記区間から所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記区間を分割する際に用いるパラメータを推定し、
   前記変化点検出話題分割手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記パラメータ推定手段が前記区間に対して推定したパラメータを用いて、前記区間を分割する、ことを特徴とする請求項３に記載のテキスト分割装置。
9. 前記分割信頼度の相対的に低い区間を、前記変化点検出話題分割手段による前記テキストの前記分割対象区間と定める分割対象区間決定手段をさらに備え、
   前記変化点検出話題分割手段は、前記分割対象区間決定手段が定めた前記分割対象区間を分割する、ことを特徴とする請求項３に記載のテキスト分割装置。
10. 意味的なまとまりを表す話題モデルを記憶する話題モデル記憶部と、モデルベース話題分割手段と、変化点検出話題分割手段と、パラメータ推定手段を備えた装置により、テキストを複数の区間に分割する方法であって、
    前記モデルベース話題分割手段は、前記話題モデル記憶部を参照し、前記話題モデルを用いて前記テキストを話題に対応させて分割し、
    前記変化点検出話題分割手段は、前記テキストの各部分に対して、予め定められた幅の窓を設定し、隣接窓間の単語分布の類似度の極小点が予め定められた閾値以下である点で、前記テキストを分割し、
    前記パラメータ推定手段は、前記変化点検出話題分割手段で値の異なるパラメータを用いたときの分割点と、前記モデルベース話題分割手段による分割点とを比較し、前記変化点検出話題分割手段による分割結果が前記モデルベース話題分割手段による分割結果をより良く再現するような前記パラメータを求め、
    前記パラメータ推定手段で推定され、前記変化点検出話題分割手段で前記テキストの分割に用いられる前記パラメータは、前記窓の幅、前記類似度の閾値、前記類似度を平滑化する回数のうちのうちの少なくとも一つを含む、ことを特徴とするテキスト分割方法。
11. 前記モデルベース話題分割手段は、前記テキストの分割の確からしさを表す分割信頼度を、前記テキストを話題に対応させて分割した少なくとも１つの区間に対して出力し、
    前記パラメータ推定手段は、前記分割信頼度の相対的に高い区間において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段で用いる前記パラメータを推定する、ことを特徴とする請求項１０に記載のテキスト分割方法。
12. 前記パラメータ推定手段は、前記変化点検出話題分割手段による前記テキストの分割信頼度が所定値以下の区間である分割対象区間に隣接し分割信頼度が前記所定値を超える分割点を含む所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記分割対象区間を分割する際に用いるパラメータを推定する、ことを特徴とする請求項１１に記載のテキスト分割方法。
13. 前記装置に含まれる分割結果統合手段が、前記テキストを分割した複数の区間のうち、前記分割信頼度の相対的に高い区間においては、前記モデルベース話題分割手段による分割結果を出力し、
    前記分割信頼度の相対的に低い区間においては、前記変化点検出話題分割手段による分割結果を出力する、ことを特徴とする請求項１１又は１２に記載のテキスト分割方法。
14. 前記モデルベース話題分割手段は、前記話題モデル記憶部に記憶される話題モデルのうちのいずれかが表す話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に高く出力し、
    前記話題モデル記憶部に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に低く出力する、ことを特徴とする請求項１１に記載のテキスト分割方法。
15. 前記モデルベース話題分割手段は、前記テキストにおいて、特定の話題を表さないガーベジモデルとマッチした区間を、前記話題モデル記憶部に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する区間と判定し、前記区間について前記分割信頼度を相対的に低く出力する、ことを特徴とする請求項１４に記載のテキスト分割方法。
16. 前記モデルベース話題分割手段は、前記話題モデルの尤度、又は、前記話題モデルの事後確率のエントロピーによって、前記テキストを話題に対応させて分割した少なくとも１つの区間に対する前記分割信頼度を計算する、ことを特徴とする請求項１１に記載のテキスト分割方法。
17. 前記分割対象区間が複数の区間から構成される場合、前記パラメータ推定手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記区間から所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記区間を分割する際に用いるパラメータを推定し、
    前記変化点検出話題分割手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記パラメータ推定手段が前記区間に対して推定したパラメータを用いて、前記区間を分割する、ことを特徴とする請求項１２に記載のテキスト分割方法。
18. 前記装置に含まれる分割対象区間決定手段が、前記分割信頼度の相対的に低い区間を、前記変化点検出話題分割手段による前記テキストの前記分割対象区間と定める工程をさらに含み、
    前記変化点検出話題分割手段は、前記分割対象区間決定手段が定めた前記分割対象区間を分割する、ことを特徴とする請求項１２に記載のテキスト分割方法。
19. テキストを複数の区間に分割する処理をコンピュータに実行させるプログラムであって、
    意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段を参照し、前記話題モデルを用いて前記テキストを話題に対応させて分割するするモデルベース話題分割処理と、
    前記テキストの各部分に対して、予め定められた幅の窓を設定し、隣接窓間の単語分布の類似度の極小点が予め定められた閾値以下である点で、前記テキストを分割する変化点検出話題分割処理と、
    前記変化点検出話題分割処理で値の異なるパラメータを用いたときの分割点と、前記モデルベース話題分割処理による分割点とを比較し、前記変化点検出話題分割処理による分割結果が前記モデルベース話題分割処理による分割結果をより良く再現するような前記パラメータを推定するパラメータ推定処理と、
    を含み、
    前記パラメータ推定処理で推定され、前記変化点検出話題分割処理で前記テキストの分割に用いられる前記パラメータは、前記窓の幅、前記類似度の閾値、前記類似度を平滑化する回数のうちのうちの少なくとも一つを含む、プログラム。
20. 前記モデルベース話題分割手段は、前記テキストの分割の確からしさを表す分割信頼度を、前記テキストを話題に対応させて分割した少なくとも１つの区間に対して出力し、
    前記パラメータ推定手段は、前記分割信頼度の相対的に高い区間において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段で用いる前記パラメータを推定する、ことを特徴とする請求項１９に記載のプログラム。
21. 前記パラメータ推定手段は、前記変化点検出話題分割手段による前記テキストの分割信頼度が所定値以下の区間である分割対象区間に隣接し分割信頼度が前記所定値を超える分割点を含む所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記分割対象区間を分割する際に用いるパラメータを推定する、ことを特徴とする請求項２０に記載のプログラム。
22. 前記テキストを分割した複数の区間のうち、前記分割信頼度の相対的に高い区間においては、前記モデルベース話題分割手段による分割結果を出力し、
    前記分割信頼度の相対的に低い区間においては、前記変化点検出話題分割手段による分割結果を出力する分割結果統合処理を、さらに前記コンピュータに実行させる請求項２０又は２１に記載のプログラム。
23. 前記モデルベース話題分割手段は、前記話題モデル記憶手段に記憶される話題モデルのうちのいずれかが表す話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に高く出力し、
    前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に低く出力する、ことを特徴とする請求項２０に記載のプログラム。
24. 前記モデルベース話題分割手段は、前記テキストにおいて、特定の話題を表さないガーベジモデルとマッチした区間を、前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する区間と判定し、前記区間について前記分割信頼度を相対的に低く出力する、ことを特徴とする請求項２３に記載のプログラム。
25. 前記モデルベース話題分割手段は、前記話題モデルの尤度、又は、前記話題モデルの事後確率のエントロピーによって、前記テキストを話題に対応させて分割した少なくとも１つの区間に対する前記分割信頼度を計算する、ことを特徴とする請求項２０に記載のプログラム。
26. 前記分割対象区間が複数の区間から構成される場合、前記パラメータ推定手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記区間から所定の範囲内において、前記モデルベース話題分割手段による前記分割結果を教師として、前記変化点検出話題分割手段が前記区間を分割する際に用いるパラメータを推定し、
    前記変化点検出話題分割手段は、前記分割対象区間の複数の区間のそれぞれの区間に対して、前記パラメータ推定手段が前記区間に対して推定したパラメータを用いて、前記区間を分割する、ことを特徴とする請求項２１に記載のプログラム。
27. 前記分割信頼度の相対的に低い区間を、前記変化点検出話題分割手段による前記テキストの前記分割対象区間と定める分割対象区間決定手段をさらに含み、
    前記変化点検出話題分割手段は、前記分割対象区間決定手段が定めた前記分割対象区間を分割する、ことを特徴とする請求項２１に記載のプログラム。
28. 意味的なまとまりを表す話題モデルを記憶する話題モデル記憶手段と、
    テキストを入力し前記話題モデルの話題に対応させて分割するモデルベース話題分割手段と、
    前記テキストを入力し、前記テキストの各部分に対して、予め定められた幅の窓を設定し、隣接窓間の単語分布の類似度の極小点が予め定められた閾値以下である点で、前記テキストを分割し、前記窓の幅、前記類似度の閾値、前記類似度の平滑化回数のうちの少なくとも一つをパラメータとして用いる変化点検出話題分割手段と、
    前記モデルベース話題分割手段で分割された前記テキストの分割結果を教師として、前記変化点検出話題分割手段での前記テキストを分割した区間が、前記モデルベース話題分割手段での話題モデルによる分割区間とより良く一致するように、前記変化点検出話題分割手段で用いる、前記窓の幅、前記類似度の閾値、前記類似度の平滑化回数の少なくとも一つを含む前記パラメータの推定を行うパラメータ推定手段と、
    分割の確からしさを表す分割信頼度が相対的に高い区間においては、前記モデルベース話題分割手段による分割結果を出力し、前記分割信頼度が相対的に低い区間においては、前記変化点検出話題分割手段による分割結果を出力する分割結果統合手段と、
    を備えたことを特徴とするテキスト分割システム。
29. 前記モデルベース話題分割手段は、前記話題モデル記憶手段に記憶される話題モデルのうちのいずれかが表す話題に関する前記テキスト中の区間に対しては、分割信頼度を相対的に高く出力し、
    前記話題モデル記憶手段に記憶される話題モデルが表すいずれの話題にも対応しない話題に関する前記テキスト中の区間に対しては、前記分割信頼度を相対的に低く出力し、
    前記分割信頼度の相対的に低い区間を、前記変化点検出話題分割手段による分割対象区間と定める分割対象区間決定手段をさらに備え、
    前記変化点検出話題分割手段は、前記分割対象区間決定手段が定めた前記分割対象区間を分割する、ことを特徴とする請求項２８に記載のテキスト分割システム。
30. 入力テキストを話題モデルを用いて話題に対応させて複数の区間に分割するモデルベース話題分割部と、
    前記テキストの各部分に対して、予め定められた幅の窓を設定し、隣接窓間の単語分布の類似度の極小点が予め定められた閾値以下である点で、前記テキストを分割し、前記窓の幅、前記類似度の閾値、前記類似度の平滑化回数のうちの少なくとも一つをパラメータとして用いる変化点検出話題分割部と、
    前記変化点検出話題分割部で値の異なる前記パラメータを用いたときの分割点と、前記モデルベース話題分割処理による分割点とを比較し、前記変化点検出話題分割部による分割結果が前記モデルベース話題分割部による分割結果をより良く再現するような、前記パラメータを推定するパラメータ推定部と、
    分割の確からしさを表す分割信頼度が相対的に高い区間においては、前記モデルベース話題分割部による分割結果を出力し、前記分割信頼度が相対的に低い区間においては、前記変化点検出話題分割部による分割結果を出力する分割結果統合部を含む、ことを特徴とするテキスト分割装置。

Images