JP7293767B2 - テキストセグメンテーション装置、テキストセグメンテーション方法、テキストセグメンテーションプログラム、及びテキストセグメンテーションシステム - Google Patents

Description

本発明は、テキストセグメンテーション装置、テキストセグメンテーション方法、テキストセグメンテーションプログラム、及びテキストセグメンテーションシステムに関する。

今日において、例えば議会の会議録等のテキストデータを、複数のセグメントに分割するテキストセグメンテーション装置が知られている。このようなテキストセグメンテーション装置は、テキストデータを各話題等に応じたセグメントに分割する。これにより、テキストの読解を容易とすることができる。また、テキストデータをセグメントに分割処理することで、テキストの要約の作成、論旨の構造化作業、及び、所望の話題の検索等を行い易くすることができる。また、テキストデータのセグメント分割処理は、書き言葉及び話し言葉のいずれにも需要がある。なお、話し言葉の場合は、音声を認識処理又は書き起こし処理することでテキストデータを形成し、このテキストデータに対してセグメント分割処理を施すようになる。

さらに、例えば議会での発言を引用したニュース又はウェブログ（Weblog＝ブログ）記事から元の発言を特定してその引用の正確性を判断する場合、テキストデータをセグメントに分割処理することで、議会の会議録からその引用に対応するセグメントを容易に検索可能とすることができる。また、インタビューの取材メモ（MEMORANDUM＝備忘録）をセグメント分割処理することで、話の流れを容易に整理可能とすることができる。

このように、セグメント分割処理の応用範囲は広い。例えば、使われている語彙から話題のかたまり又は変化を検出して各セグメントに分割処理するセグメント分割処理手法が知られている。また、「次に」等の、話題を切り替える手がかり表現を検出して各セグメントに分割処理するセグメント分割処理手法が知られている。

例えば、特許文献１（特開２００４－１４５７９０号公報）には、比較的短い文書を高精度にセグメント化可能な文書のセグメント化方法が開示されている。この文書のセグメント化方法の場合、集合内の文毎に、各文と複数の文書を含むコーパス内の各文書との間の関連度を算出する。また、集合内の隣接する二つの文の関連度に基づいて、互いの結束度を算出する。そして、この結束度が予め定められた閾値以上である連続した範囲の文を一つのセグメントとして抽出する。

しかし、従来は、話題に対応する語彙に基づいてセグメント分割処理が行われていた。このため、「話者の交代又は明示的な節の切り替わりに基づくセグメント分割処理」、「話題に対応する語彙の切り替わりに基づくセグメント分割処理」、及び、「セグメントの境界にある手がかり表現に基づくセグメント分割処理」を、それぞれ区別して実行することが困難となっていた。このため、ユーザが理解し難いテキストの構造にセグメント分割処理が行われる問題があった。

本発明は、上述の課題に鑑みてなされたものであり、ユーザが理解し易いテキストの構造にセグメント分割処理を行うことが可能なテキストセグメンテーション装置、テキストセグメンテーション方法、テキストセグメンテーションプログラム、及びテキストセグメンテーションシステムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、セグメントに分割されて入力されるテキスト情報を取得する取得部と、取得部により取得されたテキスト情報を、より細かいセグメントに分割処理する分割処理部とを有し、分割処理部は、セグメント境界の特徴を学習して学習モデルを作成する境界特徴学習部と、学習モデルの学習結果に基づいてセグメント境界の場所を推定する境界推定部と、セグメント境界の特徴の学習及びセグメント境界の場所の推定を繰り返し行うように境界特徴学習部及び境界推定部を制御する反復制御部と、反復制御部による制御結果に基づく学習モデルを記憶部に記憶させる記憶制御部と、を有し、記憶部に記憶された学習モデルを用いてテキスト情報を前記より細かいセグメントに分割処理する。

本発明によれば、ユーザが理解し易いテキストの構造にセグメント分割処理を行うことができるという効果を奏する。

図１は、実施の形態のテキストセグメンテーションシステムのシステム構成図である。 図２は、実施の形態のテキストセグメンテーションシステムを構成するハードウェアの共通するハードウェア構成を示す図である。 図３は、実施の形態のテキストセグメンテーションシステムに設けられているテキストセグメンテーションサーバ装置の機能ブロック図である。 図４は、テキストセグメンテーションサーバ装置の学習動作の流れを示すシーケンス図である。 図５は、学習モデルに基づくセグメント境界決定動作の流れを示すシーケンス図である。 図６は、セグメント分割処理結果の第１の表示例を示す図である。 図７は、セグメント分割処理結果の第２の表示例を示す図である。 図８は、セグメント分割処理結果の第３の表示例を示す図である。 図９は、セグメント分割処理結果の第４の表示例を示す図である。

以下、添付図面を参照して、実施の形態のテキストセグメンテーションシステムの説明をする。

（概要）
まず、実施の形態のテキストセグメンテーションシステムの概要を説明する。理解容易な議会の会議録のセグメント分割処理を例としてすると、質問又はや答弁は、いくつかの話題に分かれており、一つの話題の先頭には、「まず、」「次に、」といった「手がかり表現」が現れることが多い。同様に、話題の末尾には、質問であれば「見解を伺います。」答弁であれば「してまいります。」といった手がかり表現がある。これらの手がかり表現は話者によって異なることもあるため、すべてのパターンを網羅しておくことが難しい。そこで、手がかり表現の特徴を機械学習技術によって学習する。

明らかにセグメント境界となる箇所がわかっている場合がある。議会の会議録であれば、話者の切り替わるところを明らかにセグメント境界となる箇所とすることができる。または、最初にいくつかの手がかり表現がわかっているとしてもよい。このパターンに合致する場所を探し、それを最初にセグメント境界とする。

このように暫定的に得られたセグメント境界の前の行はセグメント末尾の行であり、その次の行はセグメント先頭の行となる。このため、その特徴をそれぞれ機械学習技術によって学習する。このようにして学習された学習モデルによってセグメント先頭又はセグメント末尾と判定される箇所を、さらに検索する。セグメント先頭の直前及びセグメント末尾の直後は、セグメント境界と考えられる。そこで、再びその前の行と次の行の特徴を学習する。

また、最初に採用した暫定的なセグメント境界と、その後の学習によって判定されたセグメント境界を区別して表示する。これにより、ユーザに対して、性質の異なるセグメント境界の存在を認識させることができる。

また、手間をかけてセグメント分割処理されたテキストデータ（教師データ）を用意することなく、手がかり表現に基づくセグメント分割処理を行うことができる。

また、「話者の交代又は明示的な節の切り替わりに基づくセグメント分割処理」、「話題に対応する語彙の切り替わりに基づくセグメント分割処理」、及び、「セグメントの境界にある手がかり表現に基づくセグメント分割処理」の３種類のセグメント分割処理を区別して行うことができる。そして、このような３種類（あるいはそのうちの２種類）のセグメンテーションを区別して提示することにより、テキストデータへの理解をより深めることができる。さらに、セグメント境界の確からしさを数値として得ることもできる。この確からしさに応じて提示方法を変えてもよい。

［実施の形態］
（システム構成）
図１は、実施の形態のテキストセグメンテーションシステムのシステム構成を示す図である。この図１に示すテキストセグメンテーションシステムは、クライアント端末１及びサーバ群２を、例えばインターネット等の公共網又はＬＡＮ（Local Area Network）等のプライベート網を介して相互に接続して構成されている。

サーバ群２は、アプリケーションサーバ装置４、テキスト保存サーバ装置５及びテキストセグメンテーションサーバ装置６を有している。アプリケーションサーバ装置４は、ユーザからのセグメント分割処理要求を受け付ける。また、アプリケーションサーバ装置４は、ユーザから要求されたテキストデータをテキスト保存サーバ装置５から取得し、テキストセグメンテーションサーバ装置６に送信して、セグメント分割処理要求を行う。

また、アプリケーションサーバ装置４の表示生成部７は、テキストセグメンテーションサーバ装置６によりセグメント分割処理されたテキストデータを、ネットワーク３を介してクライアント端末１に送信する。クライアント端末１のＷｅｂブラウザ８は、セグメント分割処理されたテキストデータを、モニタ装置等に表示する。

なお、この例では、サーバ群２は、各サーバ装置４～６を有することとしたが、一つのサーバ装置に各サーバ装置４～６の各処理を実行させてもよい。

（クライアント端末及び各サーバ装置のハードウェア構成）
図２は、クライアント端末１、サーバ群２のアプリケーションサーバ装置４、テキスト保存サーバ装置５及びテキストセグメンテーションサーバ装置６のハードウェア構成を示す図である。これらは、一般的なパーソナルコンピュータ装置の構成を有しており、図２に示すように、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（ハードディスクドライブ）１４、操作インタフェース部（操作Ｉ／Ｆ）１５、及び、通信部１６を有している。操作Ｉ／Ｆ１５には、マウス装置１７及びキーボード装置１８等の入力装置が接続されている。なお、各サーバ装置の場合、これらのハードウェアのうち、操作インタフェース部（操作Ｉ／Ｆ）１５は省略可能である。

クライアント端末１の場合、ＨＤＤ１４には、Ｗｅｂブラウザ８のＷｅｂブラウジングプログラム、及び、クライアント端末用のテキストセグメンテーションプログラムが記憶されている。セグメント分割処理を希望するテキストデータの指定処理は、クライアント端末用のテキストセグメンテーションプログラム及びアプリケーションサーバ装置４用のテキストセグメンテーションプログラムに基づいて行われる。クライアント端末用のテキストセグメンテーションプログラムは、セグメント分割処理を希望するテキストデータの指定処理を行うためのユーザインタフェースの部分を受け持っている。クライアント端末１のＣＰＵ１１は、このテキストセグメンテーションプログラムに基づいて、セグメント分割処理を希望するテキストデータを指定処理し、また、セグメント分割処理されたテキストデータを、Ｗｅｂブラウザ８を介してモニタ装置等に表示制御する。

アプリケーションサーバ装置４の場合、ＨＤＤ１４には、アプリケーションサーバ装置４用のテキストセグメンテーションプログラムが記憶されている。アプリケーションサーバ装置４のＣＰＵ１１は、このテキストセグメンテーションプログラムを実行することで表示生成部７として機能し、セグメント分割処理されたテキストデータをクライアント端末１に送信する。

テキスト保存サーバ装置５の場合、ＨＤＤ１４には、テキスト保存サーバ装置５用のテキストセグメンテーションプログラム、及び、セグメント分割処理前及びセグメント分割処理後のテキストデータが記憶されている。テキスト保存サーバ装置５のＣＰＵ１１は、ＨＤＤ１４に対するテキストデータの書き込み制御及び読み出し制御を行う。

テキストセグメンテーションサーバ装置６の場合、ＨＤＤ１４には、このサーバ装置６用のテキストセグメンテーションプログラムが記憶されている。サーバ装置６のＣＰＵ１１は、このテキストセグメンテーションプログラムを実行することで、図３に示す各機能を実現する。

（テキストセグメンテーションサーバ装置の機能）
すなわち、サーバ装置６のＣＰＵ１１は、テキストセグメンテーションプログラムを実行することで、図３に示すように、学習機能インタフェース部２１、反復制御部２２、セグメンテーション機能インタフェース部２３、境界特徴学習部２４、境界推定部２５、及び、境界特徴記憶制御部２６の各機能を実現する。

この図３からわかるように、テキストセグメンテーションサーバ装置６は、学習機能インタフェース部２１と、セグメンテーション機能インタフェース部２３との、２つのアプリケーションインタフェース部を提供している。

学習機能インタフェース部２１は、この学習機能を装置外に提供する部分であり、装置外との入出力を仲介する。セグメンテーション機能インタフェース部２３は、セグメンテーション機能を装置外に提供する部分であり、装置外との入出力を仲介する。

反復制御部２２は、学習機能による学習及び推定を繰り返し制御することで、次第に正確な推定を可能とする。境界特徴学習部２４は、セグメント境界の特徴を学習して学習モデルを形成する。境界特徴記憶制御部２６は、この学習モデルをＨＤＤ１４等の記憶部に記憶制御及び読み出し制御する。境界推定部２５は、境界特徴記憶制御部２６を介して記憶部から読み出される学習モデルに基づいて、セグメント境界の推定動作を行う。

（学習モデルの形成動作）
図４は、学習モデルの形成動作の流れを示すシーケンス図である。この図４のシーケンス図のステップＳ１において、例えば以下の表１に例示するテキストデータが供給されると、学習機能インタフェース部２１は、反復制御部２２を呼び出す。

この表１のテキストデータは、議会の会議録から抜粋単純化して作成したテキストデータの一例である。発言者はデータに含まれていなくてもよいが、この例ではこの６文が福祉保健局長の一連の発言の全体であると仮定している。発言者の区切りをセグメントの区切りとみなし、各セグメントの先頭にはＢ（Begin）、末尾にはＥ（End）、その中間にはＭ（Middle）のラベルが付加されている。

なお、この例にはないが、実際には単一の行がセグメントとなることもあり、そのような行にはラベルＷを付加する。また、セグメントに含まれない行には、ラベルＯを付加する。このようなラベルの付加形態は、この他、例えばセグメント先頭にＢ、その他のセグメントに含まれる行にはＩ、セグメントに含まれない行にはＯのラベルを付加する付加形態としてもよい。

次に、図４のシーケンス図において、反復制御部２２は、境界特徴学習部２４と境界推定部２５を、ステップＳ２及びステップＳ７に示すように繰り返し呼び出す。この反復は、境界推定部２５の推定結果として返信されるセグメント列の変化が十分小さくなるか、又は、予め定められた所定の回数分、繰り返し実行される。

具体的には、境界特徴学習部２４は、まず、セグメント先頭の特徴を学習するためのものと、セグメント末尾の特徴を学習するためのものとの、２つの訓練データを形成する（ステップＳ３）。

具体的には、境界特徴学習部２４は、セグメント先頭の方では、入力されたテキストデータでＢラベルが付加されている行に「１」のラベルを付加し、それ以外のランダムに選択した行に「０」のラベルを付加し、これらを合わせて訓練データを形成する。表１の例の場合、Ｂラベルが付加されている行が１つのみであるが、実際のテキストデータは、これより大きなテキストデータとなるため、多数の行にＢラベルが付加されている。

同様に、境界特徴学習部２４は、セグメント末尾の方では、入力されたテキストデータでＥラベルが付加されている行に「１」のラベルを付加し、それ以外のランダムに選択した行に「０」のラベルを付加し、これらを合わせて訓練データを形成する。

次に、境界特徴学習部２４は、セグメント先頭及びセグメント末尾に対して、機械学習の技術によって２値分類の学習モデルを作成する（ステップＳ４、ステップＳ５）。具体的には、境界特徴学習部２４は、上述の訓練データに含まれる文に対してどの単語がいくつ含まれるかを示すベクトルを作成し、必要であれば次元圧縮を施した後、例えば「Support Vector Machine」又は「Logistic Regression」等のアルゴリズムを用いて学習モデルを作成する。境界特徴学習部２４は、このように作成した学習モデルを反復制御部２２に送信する（ステップＳ６）。

次に、反復制御部２２は、この学習モデルを指定して境界推定部２５を呼び出す（ステップＳ７）。境界推定部２５では、入力セグメント列に含まれる全ての発言文に対してセグメント先頭及びセグメント末尾それぞれのモデルを適用し、セグメント先頭と推定される行及びセグメント末尾と推定される行を特定する（ステップＳ８、ステップＳ９）。

このとき、「Logistic Regression」等のモデルでは、セグメント先頭又はセグメント末尾と推定される蓋然性を数値として得ることができる。このため、この数値が所定の閾値以上のときにセグメント先頭やセグメント末尾と判定するかを変更可能とすることで（閾値を変更可能とすることで）、最終的に得られるセグメントの粒度を調整可能とすることができる。

次に、セグメント先頭と推定された文の直前とセグメント末尾と推定された文の直後がセグメント境界であるとみなしてセグメント境界を決定する（ステップＳ１０）。最後に、学習機能インタフェース２１が、反復制御部２２から返された学習モデルを（ステップＳ１１、ステップＳ１２）、境界特徴記憶制御部２６を介してＨＤＤ１４等の記憶部に書き込み、学習モデルの形成動作が終了する（ステップＳ１３）。

（学習モデルに基づく出力データの出力動作）
図５は、このように形成した学習モデルに基づいて、入力データに対してセグメント分割処理を施した出力データを形成する各部の動作を示すシーケンス図である。この図５において、例えば表１に例示したような入力データのセグメント列がセグメンテーション機能インタフェース部２３に供給されると、セグメンテーション機能インタフェース部２３は、境界特徴記憶制御部２６を介して、ＨＤＤ１４等の記憶部から上述の学習モデルを読み出す（ステップＳ２１、ステップＳ２２）。

次に、セグメンテーション機能インタフェース部２３は、読み出された学習モデルを境界推定部２５に供給する（ステップＳ２３）。上述のように、境界推定部２５は、入力セグメント列に含まれる全ての発言文に対してセグメント先頭及びセグメント末尾それぞれのモデルを適用し、セグメント先頭と推定される行及びセグメント末尾と推定される行を特定する（ステップＳ２４、ステップＳ２５）。

次に、セグメント先頭と推定された文の直前とセグメント末尾と推定された文の直後がセグメント境界であるとみなしてセグメント境界を決定する（ステップＳ２６）。そして、境界推定部２５は、決定した境界でセグメント分割処理した出力データ（出力セグメント列）を出力する（ステップＳ２７）。

一般に、モデルの学習には大規模なデータが必要となるが、大きなデータを学習機能で学習してモデルを作成しておけば、小規模なデータのみが与えられた場合にもそのモデルを使って、セグメンテーション機能での処理を可能とすることができる。

学習機能の中でもモデルと合わせてセグメント列も得られるので、大きなデータを１度処理するだけであれば、セグメンテーション機能を分離する必要はなく、学習機能から出力セグメント列を返すようにしてもよい。

以下の表２に、出力データ（出力セグメント列）の一例を示す。

この表２に示すように、出力データは入力データと同じ形をしているが、この例では前半３文と後半３文がそれぞれセグメントとなっている。つまり、表１に示した入力データの場合は、全体が「Ｂ、Ｍ、Ｅ」の１つのセグメントであったが、この表２の例は、前半３文の「Ｂ、Ｍ、Ｅ」と、後半３文の「Ｂ、Ｍ、Ｅ」との２つのセグメントに分割されている。

この表２の例は、学習するほどの大きさではないが、同じようなデータが多数存在する場合は、入力データにおいて発言者境界にある最後の文から「まいります。」で終わる表現がセグメント末尾に典型的な表現として学習されることが考えられる。この結果、３文目も末尾に「まいります。」を含むため、セグメント末尾と推定されることが期待される。そうすると、４文目はセグメント先頭となるので、その文から「次に、」で始まる文がセグメント先頭に典型的な表現として学習される。実施の形態のテキストセグメンテーションシステムは、このような学習を繰り返すことで、次第にセグメント先頭及びセグメント末尾の特徴を学習しながら、セグメント分割処理を行う。

（出力データの第１の表示例）
次に、この実施の形態のテキストセグメンテーションシステムは、入力セグメント列を、さらに細かくセグメント分割処理して出力セグメント列を形成する。入力セグメント列が、発言者境界を表す等のように、入力におけるセグメンテーションと出力におけるセグメンテーションは別の観点からのセグメンテーションとなることが多い。このため、実施の形態のテキストセグメンテーションシステムは、この２つのセグメンテーションを区別して表示する。

すなわち、上述のようにセグメント分割処理された出力データは、テキストセグメンテーションサーバ装置６からアプリケーションサーバ装置４に供給され、アプリケーションサーバ装置４の表示生成部７により、クライアント端末１に送信され、Ｗｅｂブラウザ８を介してモニタ装置等に表示される。この際、表示生成部７は、図６に示すように入力データのセグメント境界に、例えば記号「＊＊＊」を付加し、出力データのセグメント境界に、例えば記号「―――」を付加して、クライアント端末１に送信する。

これにより、図６に示すように入力データのセグメント境界に記号「＊＊＊」が付加され、出力データのセグメント境界に記号「―――」が付加された文章情報がモニタ装置に表示される。ユーザは、この各記号により、入力におけるセグメンテーションと出力におけるセグメンテーションとを区別して認識することができる。

（出力データの第２の表示例）
次に、図７は、セグメント分割処理した出力データの第２の表示例を示している。この場合、アプリケーションサーバ装置４の表示生成部７は、テキストセグメンテーションサーバ装置６から出力データが供給されると、セグメント境界に相当する入力データに対しては、例えば「３．１」、「４．１」等のように、それぞれ異なる上位桁のナンバリング処理を施す。また、表示生成部７は、同じ入力データにおけるセグメント境界に対しては、例えば「３．１」、「３．２」等のように、それぞれ異なる下位桁のナンバリング処理を施す。このようなナンバリング処理により、入力におけるセグメンテーション（上位桁）と出力におけるセグメンテーション（下位桁）とを区別して認識させることができる。

（出力データの第３の表示例）
次に、図８は、セグメント分割処理した出力データを、ユーザの操作（指定）に応じてインタラクティブに表示可能とした第３の表示例を示している。この場合、アプリケーションサーバ装置４の表示生成部７は、複数の入力セグメントのうち、最初の入力セグメントの先頭から十数文字程度を、大項目としてクライアント端末１に表示する。図８の例の場合、「まず、災害医療体制についてでございますが、・・・」との文章が、大項目として表示される文章となっている。

表示生成部７は、このような大項目の文章と共に、中項目への展開を指定するためのアイコンを表示する。図８の例の場合、右向きの三角形のアイコンが、下位の項目への展開を指定するためのアイコンである。表示生成部７は、このアイコンが操作されると、各入力セグメントの先頭から十数文字程度を、中項目としてクライアント端末１に表示する。図８の例の場合、「まず、災害医療体制についてでございますが、・・・」との文章と、「次に、在宅療養の推進についてでございますが、・・・」との文章が、中項目として表示される文章となっている。なお、この中項目の２つの文章は、入力セグメントのセグメント境界に相当する文章である。

次に、さらにアイコンが操作されると、表示生成部７は、操作により指定された中項目の全文章を小項目としてクライアント端末１に表示する。このように、ユーザの操作に応じて、大項目→中項目→小項目の順に各セグメントを展開して表示することで、上述と同様に、入力におけるセグメンテーションと出力におけるセグメンテーションとを区別して認識させることができる。

（出力データの第４の表示例）
次に、図９は、表示生成部７が、入力セグメントの前に発言者名を表示し、出力セグメントに対してはその境界に水平線を引くと共に、特徴的な表現に下線を引いて表示した例である。

この図９の例は、入力セグメントの前に、「福祉保健局長」との発言者名を表示し、各入力セグメントの境界に水平線を付加すると共に、例えば各入力セグメントの、「まず」、「次に」及び「まいります。」等の特徴的な表現の箇所にアンダーラインを付加した例である。これにより、上述と同様に、入力におけるセグメンテーションと出力におけるセグメンテーションとを区別して認識させることができる。

（実施の形態の効果）
以上の説明から明らかなように、実施の形態のテキストセグメンテーションシステムは、テキストセグメンテーションサーバ装置６が、学習機能とセグメンテーション機能を備える。セグメンテーション機能は、セグメントの列を入力とし、これとは異なるセグメントの列を出力する。各セグメントはいくつかの文からなるテキストであり、入力したセグメントをすべて結合したものと、出力されたセグメントをすべて結合したものは同じテキストとなる。一般には、出力されるセグメントは入力より細かくセグメント分割したものとなる。

学習機能はセグメンテーション機能を実行する前に実行しておく必要があるもので、セグメンテーション機能の場合と同様のセグメントの列を入力とするが、出力はなく、装置内部の状態を、セグメンテーション機能を実行できる状態にする。

学習機能は次の特徴を持つ。まず、入力セグメント列のうち各セグメントの最初の文及び最後の文の特徴を機械学習技術によって学習する。次いで、入力に含まれるすべての文から、最初の文および最後の文それぞれの特徴に合致する文をすべて求める。そのうえで、最初の文の特徴に合致する文の直前と、最後の文の特徴に合致する文の直後で分割することにより、入力全体を新しいセグメント列に分割する。さらに、この結果を初めの入力セグメント列と同様に処理する。

これにより、再び新しいセグメント列への分割を得ることができる。このような１回以上の処理の繰り返しによって最終的なセグメント列への分割を行うことができるが、このときの各セグメントの最初の文および最後の文の特徴を装置内部の状態として保存しておく。

セグメンテーション機能においては、入力に含まれるすべての文から、保存されている最初の文および最後の文それぞれの特徴に合致する文をすべて求める。そのうえで、最初の文の特徴に合致する文の直前と、最後の文の特徴に合致する文の直後で分割することにより、入力全体を新しいセグメント列に分割する。このとき、入力においてセグメント分割されている場所では、出力においても必ず分割されるようにしてもよい。

このような実施の形態のテキストセグメンテーションシステムは、「話者の交代又は明示的な節の切り替わりに基づくセグメント分割処理」、「話題に対応する語彙の切り替わりに基づくセグメント分割処理」、及び、「セグメントの境界にある手がかり表現に基づくセグメント分割処理」を、それぞれ区別して実行することができる。このため、ユーザが理解し易いテキストの構造にセグメント分割処理が行うことができる。

また、セグメンテーション結果を人間に理解できるように表示するにあたって、テキストセグメンテーションサーバ装置６の入力と出力のように、より粗いセグメンテーションと、より細かいセグメンテーションがある場合、これを区別して、以下のいずれかのように表示する。

粗いセグメントの境界と細かいセグメントの境界に異なる記号あるいは線を挿入してすべての文を表示する。

セグメントに「１．１」，「１．２」，「２．１」等のような番号を付加して全ての文を表示する。上位の数字は粗いセグメントの区別を表し、下位の数字は細かいセグメントの区別を表す。

折りたたみ可能なリストとして表示する。畳んだ状態では粗いセグメントそれぞれの初めの部分だけがリストして表示されている。１段階開くと、細かいセグメントそれぞれの初めの部分のリストを見ることができる。２段階開くと、細かいセグメントのすべての文が表示される。

実際の例では、例えば粗いセグメントは話者の切り替えを表し、細かいセグメントは手がかり表現による区切りになっている。この場合、粗いセグメントには話者をつけて表示し、細かいセグメントは手がかり表現に目印をつけて表示する。

このような表示形態により、入力におけるセグメンテーションと出力におけるセグメンテーションとを区別してユーザに認識させることができる。

最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。

例えば、上述の実施の形態の説明では、学習機能とセグメンテーション機能に分割して説明したが、学習機能の最終段階で得られるセグメント分割をそのまま出力することにして、学習機能とセグメンテーション機能を分けない構成も可能である。

さらに、上述の実施の形態の構成等に、その他の装置又はデバイスとの組み合わせ等、上述の構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。そして、このような実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ クライアント端末
２ サーバ群
３ ネットワーク
４ アプリケーションサーバ装置
５ テキスト保存サーバ装置
６ テキストセグメンテーションサーバ装置
７ 表示生成部
８ Ｗｅｂブラウザ
２１ 学習機能インタフェース部
２２ 反復制御部
２３ セグメンテーション機能インタフェース部
２４ 境界特徴学習部
２５ 境界推定部
２６ 境界特徴記憶制御部

特開２００４－１４５７９０号公報

Claims (6)

1. セグメントに分割されて入力されるテキスト情報を取得する取得部と、
   前記取得部により取得されたテキスト情報を、より細かいセグメントに分割処理する分割処理部と
   を有し、
   前記分割処理部は、
   セグメント境界の特徴を学習して学習モデルを作成する境界特徴学習部と、
   前記学習モデルの学習結果に基づいてセグメント境界の場所を推定する境界推定部と、
   セグメント境界の特徴の学習及びセグメント境界の場所の推定を繰り返し行うように前記境界特徴学習部及び前記境界推定部を制御する反復制御部と、
   前記反復制御部による制御結果に基づく前記学習モデルを記憶部に記憶させる記憶制御部と、を有し、
   前記記憶部に記憶された前記学習モデルを用いて前記テキスト情報を前記より細かいセグメントに分割処理するテキストセグメンテーション装置。
2. 前記分割処理部は、前記セグメントを分割する粒度を調節するパラメータ設定部を有すること
   を特徴とする請求項１に記載のテキストセグメンテーション装置。
3. 前記分割処理部は、入力時に既に分割されている前記テキスト情報のセグメントと、分割処理したセグメントとを識別可能な表示形態として、前記分割処理したセグメントを出力すること
   を特徴とする請求項１または請求項２に記載のテキストセグメンテーション装置。
4. 取得部が、セグメントに分割されて入力されるテキスト情報を取得する取得ステップと、
   分割処理部が、前記取得部により取得されたテキスト情報を、より細かいセグメントに分割処理する分割処理ステップと
   を有し、
   前記分割処理ステップは、
   境界特徴学習部が、セグメント境界の特徴を学習して学習モデルを作成する境界特徴学習ステップと、
   境界推定部が、前記学習モデルの学習結果に基づいてセグメント境界の場所を推定する境界推定ステップと、
   セグメント境界の特徴の学習及びセグメント境界の場所の推定を繰り返し行うように前記境界特徴学習部及び前記境界推定部を制御する反復制御ステップと、
   前記反復制御ステップによる制御結果に基づく前記学習モデルを記憶部に記憶させる記憶制御ステップと、
   前記記憶部に記憶された前記学習モデルを用いて前記テキスト情報を前記より細かいセグメントに分割処理するステップと、を有するテキストセグメンテーション方法。
5. コンピュータを
   セグメントに分割されて入力されるテキスト情報を取得する取得部と、
   前記取得部により取得されたテキスト情報を、より細かいセグメントに分割処理する分割処理部として機能させ、
   前記分割処理部は、
   セグメント境界の特徴を学習して学習モデルを作成する境界特徴学習部と、
   前記学習モデルの学習結果に基づいてセグメント境界の場所を推定する境界推定部と、
   セグメント境界の特徴の学習及びセグメント境界の場所の推定を繰り返し行うように前記境界特徴学習部及び前記境界推定部を制御する反復制御部と、
   前記反復制御部による制御結果に基づく前記学習モデルを記憶部に記憶させる記憶制御部と、を有し、
   前記記憶部に記憶された前記学習モデルを用いて前記テキスト情報を前記より細かいセグメントに分割処理することを特徴とするテキストセグメンテーションプログラム。
6. ネットワークを介して相互に接続されたクライアント端末とサーバ装置とを有し、
   前記サーバ装置が、
   セグメントに分割されて入力されるテキスト情報を取得部で取得し、
   前記取得部により取得されたテキスト情報を、分割処理部で、より細かいセグメントに分割処理し、前記ネットワークを介して前記クライアント端末に送信して表示し、
   前記分割処理部は、
   セグメント境界の特徴を学習して学習モデルを作成する境界特徴学習部と、
   前記学習モデルの学習結果に基づいてセグメント境界の場所を推定する境界推定部と、
   セグメント境界の特徴の学習及びセグメント境界の場所の推定を繰り返し行うように前記境界特徴学習部及び前記境界推定部を制御する反復制御部と、
   前記反復制御部による制御結果に基づく前記学習モデルを記憶部に記憶させる記憶制御部と、を有し、
   前記記憶部に記憶された前記学習モデルを用いて前記テキスト情報を前記より細かいセグメントに分割処理することを特徴とするテキストセグメンテーションシステム。

Images