JP3691773B2

JP3691773B2 - 文章解析方法とその方法を利用可能な文章解析装置

Info

Publication number: JP3691773B2
Application number: JP2001249535A
Authority: JP
Inventors: 広樹谷岡
Original assignee: 株式会社ジャストシステム
Priority date: 2001-08-20
Filing date: 2001-08-20
Publication date: 2005-09-07
Anticipated expiration: 2021-08-20
Also published as: JP2003058538A

Description

【０００１】
【発明の属する技術分野】
この発明は、文章解析方法および装置に関する。この発明は特に、対話における話題同定技術に関する。
【０００２】
【従来の技術】
一般社会において高度情報化が進展し、パーソナルコンピュータ（以下、「ＰＣ」という。）などの電子端末に向かって文章を入力することは多くの人々にとって生活の一部となっている。かつてはビジネス書類や学術論文などをワードプロセッサで作成する場合の文章入力が主な利用形態であったが、今日ではインターネットの普及によってあらゆる人々のコミュニケーションに電子メールなどのツールが欠かせない。最近では携帯電話にも電子メール機能が標準的に搭載されている。これにより、人間が入力する文章をコンピュータが処理する機会は益々増加することが予測される。
【０００３】
【発明が解決しようとする課題】
ここで、コンピュータが文章を処理するに当たり、その文章を単なるテキストデータとしてではなく意味のある文字列として扱うために必要な技術の研究が数多くなされている。その一つに文章の話題を同定する技術の研究がある。こうした技術によって文章内容や文章作成者の意図をコンピュータがより正確に理解できるようになれば、コンピュータの知的エージェント化も飛躍的に高まると思われる。
【０００４】
しかしながら、従来の話題同定におけるアプローチには、対象となる文章の構文解析や意味解析そのものに頼ることが多い。この場合、一定の精度を保つためには考えられるあらゆる文章パターンや対話パターンをデータベース化しておく必要があり、複雑にならざるを得ない。例えば、特開昭６３−１０６０４２号公報においては、代名詞や前置詞がもつ意味に着目して話題の切れ目を探す技術を開示しているが、この場合あらゆる代名詞や前置詞に基づいた文章パターンを条件に登録しておく必要があり、その検索処理に関しても効率的とは言い難い。文章処理機能が携帯電話などＰＣ以外の簡易な機器でも多くとりいれられている現実からすれば、汎用的でしかも処理効率の高い文章解析技術の確立に対する期待は大きい。
【０００５】
本発明者は以上の認識に基づき本発明をなしたもので、その目的は、効率よく文章のテーマを特定する技術の提供にある。
【０００６】
【課題を解決するための手段】
本発明のある態様は、文章解析方法に関する。この方法は、時間の経過とともに次々に入力される文章を取得し、入力があるごとに新たに取得した文章のブロックを注目ブロックとして設定し、注目ブロックを分解して少なくとも一つ以上の語句を抽出し、抽出された語句と過去に抽出された語句との間における時間的要素を含む変化に基づいて注目ブロックとして設定された文章のテーマを特定する。
【０００７】
「時間の経過とともに次々に入力される文章」は、例えばＰＣのユーザが文書作成時に入力し続ける文章、複数のユーザがネットワークを介して相互に対話形式で送信し合う文章、音声認識の結果として生成される文章など、解析対象として現在本装置に入力され続けている文字列を示す。「新たに取得した文章のブロック」は、例えば一連の文章に含まれるひとつひとつの段落をブロックの単位としたり、いわゆるチャットなどの対話において一度に送信される発話内容をブロックの単位とするなど、一つ以上の語句が有意なひとかたまりを形成する文字列である。
【０００８】
「時間的要素を含む変化」は、話題の変化が単なる人間の思考の変化だけに左右されるのではなく、時間の経過にも左右されることに着目したものである。例えば、完全に話題が変わってしまう場合を除けば、人間は少し前の会話内容を記憶に留めながら会話を進めており、その記憶は時間の経過とともに薄れていくと言える。逆に言えば、しばらく遡った過去の会話内容まである程度記憶に留めながら会話を進めるのであって、必ずしも直前の会話内容だけを記憶に留めているのではない。この点を話題同定のアルゴリズムに取り入れることによって、人間の意識へより近づいた技術を実現できる。
【０００９】
「文章のテーマ」は、例えば会話における発言ごとの話題、論文における段落ごとの論題、文書ファイルにおける一文ごとの主題など、その文章のブロックが入力された時点における文章の作成者の意識を想定したその文章の要点を示す。
【００１０】
本発明の別の態様は、文章解析装置である。本装置は、文章の入力を受け付ける文章受付部と、入力があるごとに新たに入力された文章のブロックを注目ブロックとして設定する対象設定部と、注目ブロックを分解して少なくとも一つ以上の語句を抽出する文字列解析部と、抽出された語句に基づいて文章のテーマを特定するテーマ特定部と、を有し、テーマ特定部は、注目ブロックとして設定された文章のテーマを、過去に入力された文章のテーマとの間における時間的要素を含む変化に基づいて特定する。
【００１１】
ここでいう「過去に入力された」は、主に「前回入力された」を意味するが、その「前回入力された文章のテーマ」には「さらに前回入力された文章のテーマ」が反映されている場合があり、それを含めた意味で「過去」と表現している。
【００１２】
本発明のさらに別の態様は、コンピュータプログラムである。このプログラムは、時間の経過とともに次々に入力される文章を取得する処理と、入力があるごとに新たに取得した文章のブロックを注目ブロックとして設定する処理と、注目ブロックを分解して少なくとも一つ以上の語句を抽出する処理と、抽出された語句と過去に抽出された語句との間における時間的要素を含む変化に基づいて注目ブロックとして設定された文章のテーマを特定する処理と、をコンピュータに実行させる。
【００１３】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【００１４】
【発明の実施の形態】
本実施形態においては、入力された文章のブロックを分解して複数の語句を抽出し、これらを用いてその文章のテーマとなる語句の集合を決定する。複数の語句のそれぞれには重み付けとして重要度が付与され、その重要度を時間経過に応じて下げていく。この重要度は、会話中の人間の意識においてその語句がもつ印象の大きさにも相当し、時間経過とともに意識または記憶が薄れていくのに合わせられている。このような語句と重要度の集合を、文章が入力されるたびに更新することによって、最新の「テーマ」を効率よくリアルタイムに決定しながら対話の処理を進めることができる。
【００１５】
図１は、本実施形態における文章処理システムの構成を示す機能ブロック図である。文章処理システム１０は、入出力ユニット１２と文章解析ユニット１４を有する。入出力ユニット１２は、ユーザとの間で文章の入出力を処理し、またはインターネットを介して文章の入出力を処理する。文章解析ユニット１４は、入出力ユニット１２によって入力された文章を解析して結果を入出力ユニット１２に出力する。文章処理システム１０は、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウエア的にはデータ処理機能のあるプログラムなどによって実現されるが、本図ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できる。この文章処理システム１０は、ＰＣ、携帯電話、ＰＤＡなどの他、テキスト処理機能を有するあらゆる電子機器や家庭電化製品としても実現できる。
【００１６】
入出力ユニット１２は、通信部２０、表示部２２、対話処理部２４、言語入力処理部３０、および応用処理部４０を有する。言語入力処理部３０は、ユーザからキーボード入力または音声認識入力によって文章の入力を受け付け、その文章をテキストデータの形で対話処理部２４に送る。通信部２０は、インターネット経由で他のユーザから文章を受け付ける。対話処理部２４は、複数のユーザ間でやりとりされる文章を対話形式で表示部２２に表示させるとともに、本装置のユーザが入力した文章を通信部２０を介して他のユーザに送信する。応用処理部４０に関しては後述する。
【００１７】
文章解析ユニット１４は、文章受付部２６、対象設定部２８、尤度判定部３２、文字列解析部３４、およびテーマ特定部４２を有する。文章受付部２６は、対話処理部２４から文章の入力を受け付ける。この文章は、対話の形式で対話処理部２４に入力されるテキストデータである。対象設定部２８は、入力があるごとに新たに入力された文章のブロックを注目ブロックとして設定する。
【００１８】
文字列解析部３４は、語句抽出部３６および重要度設定部３８を含む。語句抽出部３６は、注目ブロックを分解して少なくとも一つ以上の語句を抽出する。語句の抽出は、一般的な形態素解析方法によりなされてもよい。例えば、「昨日は晴れてましたよね。」という文章から「昨日」「晴れ」の語句を抽出するが如くである。
【００１９】
重要度設定部３８は、抽出された語句のそれぞれに対してその文章における語句の重要度を対応付ける。この重要度は、各語句に対する重み付けとして作用する。例えば、「昨日」「晴れ」の語句にそれぞれ重要度として「５」を付与する。この重要度は、言語的尤度および認識尤度のうち少なくともいずれかに基づいて設定されてもよい。言語的尤度は、例えば語句抽出部３６による形態素解析における各語句の言語的な確からしさであり、係り受けや語句間の共起などによって判断してもよい。言語的尤度は、言語入力処理部３０による音声認識時のテキスト変換やかな漢字変換におけるその変換結果の言語的な確からしさであってもよい。認識尤度は、例えば言語入力処理部３０による音声認識におけるその認識の確からしさを示し、音声の音量や雑音が影響する場合もある。言語的尤度および認識尤度を尤度判定部３２が判定してもよい。
【００２０】
テーマ特定部４２は、文字列解析部３４によって抽出された語句に基づいて文章のテーマを特定するブロックであり、類似度決定部４４、重要度更新部４６、テーマ決定部４８、およびテーマ保持部５０を含む。このテーマは、一つ以上の語句とその重要度の集合がテーマに反映されることを前提とした上で、過去に入力された文章のテーマとの間における時間的要素を含む変化に基づいて特定される。テーマに反映させる各語句は、対話における文章ごとの話題同定に寄与する。例えば、｛昨日（５）、晴れ（５）｝のような語句とその重要度の集合が「昨日は晴れてましたよね。」の文章のテーマとして位置づけられる。
【００２１】
テーマ保持部５０には、新たに特定された最新のテーマが格納され、次に文章が入力されたときに新たなテーマを特定する際には「前回のテーマ」として参照される。このテーマ保持部５０は、最新のテーマだけを記憶するメモリとして構成されてもよいし、過去のテーマを累積的に保持するデータベースとして構成されてもよい。そのデータベースに各テーマがそれぞれひとつのレコードとして記録されてもよい。
【００２２】
類似度決定部４４は、注目ブロックにおける語句の集合と前回のテーマに含まれる語句の集合との間で類似度を判断する。この類似度は、語句の集合間における概念的な近さであり、例えば対話においては話題の変化の大きさに相当する。従って、類似度が大きければ話題が継続していると判断でき、類似度が小さければ話題が大きく変わったと判断できる。
【００２３】
類似度としては、２つの集合間における積集合の数を用いてもよい。この場合、２つの集合ＡとＢの類似度は、｜Ａ∩Ｂ｜／｜Ａ∪Ｂ｜＝｜Ａ∩Ｂ｜／｛｜Ａ｜＋｜Ｂ｜−｜Ａ∩Ｂ｜｝の式で求められる。また、類似度としてレーベンシュタイン距離を用いてもよい。この場合、２つの集合ＡとＢの類似度は、ｍａｘ｛｜Ａ｜，｜Ｂ｜｝−｜Ａ∩Ｂ｜の式で求められる。類似度として２つの集合の平均ベクトル間の距離を用いてもよい。このベクトルは、ｎ個の語句を要素とする集合に対してｎ次元の空間ベクトルで表現してもよい。
【００２４】
類似度が所定の基準値を下回った場合、重要度更新部４６が注目ブロックにおける語句の集合で前回のテーマに含まれる語句を置き換えることによってテーマの更新をなす。すなわち、文章のテーマが大きく変わった場合には語句の集合が全て入れ替わる。
【００２５】
類似度が所定の基準値以上である場合、重要度更新部４６は、注目ブロックにおける語句とその重要度の集合を用いて前回のテーマに含まれる語句とその重要度の集合を更新することにより最新のテーマを特定する。具体的には、注目ブロックにおける語句と前回のテーマに含まれる語句を併合するとともに、共通の語句が含まれる場合はその重要度として高い方を用いる。例えば、注目ブロックにおける語句とその重要度が｛昨日（５）、晴れ（５）｝であり、過去における語句と重要度が｛今日（３）、晴れ（３）｝である場合、これらを併合した更新後の集合は｛昨日（５）、晴れ（５）、今日（３）｝となる。
【００２６】
重要度更新部４６は、語句と重要度の更新時に、更新までの時間経過に応じて語句の重要度を減衰させる。例えば、新たに特定されたテーマが｛昨日（５）、晴れ（５）｝の場合、次回のテーマ特定時には｛昨日（３）、晴れ（３）｝のように重要度が下がり、この集合が上記の「前回のテーマに含まれる語句とその重要度の集合」として扱われる。この重要度が所定の最低値を下回った場合にはその語句は集合から除外される。例えば、｛昨日（３）、晴れ（１）｝となった場合に、条件として「重要度１以下は除外」と定めていた場合には「晴れ（１）」が除外される。すなわち、現実の対話においては、話者の意識には「晴れ」の印象がほぼ消えていると判断される。なお、減衰の度合いは任意である。
【００２７】
テーマ決定部４８は、重要度更新部４６によって更新された語句と重要度の集合を、注目ブロックとして設定された文章に対するテーマに決定し、これをテーマ保持部５０に記録する。
【００２８】
応用処理部４０は、新たに特定されたテーマを言語入力処理部３０によるかな漢字変換における変換候補の優先順位に反映させる。応用処理部４０は、新たに特定されたテーマを言語入力処理部３０による音声認識処理における認識候補の優先順位に反映させる。
【００２９】
以上の構成による動作を以下説明する。
図２は、本実施形態における文章処理システム１０の動作を示すフローチャートである。まず、新たな文章を入力し（Ｓ１０）、その文章を注目ブロックとして設定する（Ｓ１２）。注目ブロックから語句を抽出し（Ｓ１４）、それぞれの重要度を設定する（Ｓ１６）。注目ブロックにおける語句の集合と、前回のテーマにおける語句の集合との間で類似度を決定する（Ｓ１８）。類似度が所定の基準値を下回った場合（Ｓ２０Ｎ）、集合の語句を全て入れ替える（Ｓ２６）。類似度が所定の基準値以上の場合（Ｓ２０Ｙ）、前回のテーマにおける語句の重要度を減衰させた上で（Ｓ２２）、各集合の語句を併合することにより更新する（Ｓ２４）。
【００３０】
更新された語句と重要度の集合を注目ブロックとして設定された文章に対するテーマに決定し、これを記録する（Ｓ２８）。新しいテーマを対話処理などに利用する（Ｓ３０）。こうした対話を終了するまで、Ｓ１０〜Ｓ３０の処理を繰り返す（Ｓ３２Ｎ）。
【００３１】
図３は、対話における注目ブロック、語句、重要度、および類似度の対応関係を示す。図においては、「Ａさん」と「Ｂさん」の対話形式で表現する。文字６０は、「Ａさん」の発言として入力された文章であり、入力された時点での注目ブロックとして設定される。文字６４は、テーマとして特定された集合の要素となる語句であり、数字６６はその重要度である。数字６２は、一つ前の発言におけるテーマとの間で決定される類似度である。
【００３２】
発言（２）の注目ブロックからは「こんにちは」の語句が抽出され、発言（１）のテーマとの間で語句が共通するため、併合後も、テーマとなる集合の要素は「こんにちは」のみである。その重要度は、発言（１）から発言（２）へ推移したときに本来は「５」から「３」に減衰するところ、発言（２）にも同じ語句が含まれていたことから「５」のままになる。
【００３３】
発言（３）のテーマには「こんにちは」の語句が含まれているが、重要度は減衰して「３」になっている。この「こんにちは」の語句の重要度は、発言（４）ではさらに「１」まで下がり、発言（５）では除外されている。なお、発言（５）はＡＢ双方が沈黙している間にも語句の重要度が下がることを示すために図示しているが、実際のＰＣ画面などでは表示することを要しない。
【００３４】
発言（６）では、発言（５）との間で類似度が「０」と判断されたため、テーマにおける語句が全て入れ替わっている。同様に、発言（１４）においても発言（１３）との間で類似度が所定値を下回ったとして語句が全て入れ替わっている。このようなテーマの転換に基づき、各テーマの上位概念として上位テーマを判定してもよい。図に示す通り、線７０で囲まれた対話の上位テーマを「挨拶」に、線７２で囲まれた対話の上位テーマを「天気」に、線７４で囲まれた対話の上位テーマを「テレビ」にそれぞれ決定し、こうした上位テーマをかな漢字変換や音声認識処理に応用してもよい。
【００３５】
図４は、語句と重要度の更新過程を示す。テーブル８０は、前回のテーマにおける語句と重要度の対応を示す。テーブル８２は、前回のテーマにおける各語句の重要度を減衰させた後の語句と重要度の対応を示す。例えば、「雨」の重要度は「５」から「３」へと減衰している。テーブル８４は、注目ブロックにおける語句と重要度の対応を示す。テーブル８６は、前回のテーマにおける語句および重要度の集合と、注目ブロックにおける語句および重要度の集合を併合した後の語句と重要度の対応を示す。各語句は重要度の高い順に並び替えられている。「天気」「予報」「雨」は双方の集合に共通する語句であり、重要度にはより高い値が採用されている。例えば、「天気」と「予報」は注目ブロックにおける語句の方が重要度が大きいためそれぞれ「５」「４」で更新され、「雨」は前回のテーマにおける語句の方が重要度が大きいため「３」のまま更新されない。「暗い」「確率」の重要度は「１」であり、所定の最低値を下回ったとして除外される。この除外がなされた後の語句と重要度の集合が最新のテーマとして決定され、テーブル８８に示される。除外のための最低値や、最新のテーマとして決定すべき語句の数は、それぞれ任意である。
【００３６】
図５は、かな漢字変換にテーマを反映させた結果を示す。例えば（ａ）においては、直前に入力した文章のテーマが「今日、晴れ、天気」などの語句で構成されるときに、このテーマから推測し、図示する入力例を「雨」に変換する処理をしてもよい。例えば（ｂ）においては、直前に入力した文章のテーマが「今日、ガム、菓子」などの語句で構成されるときに、このテーマから推測し、図示する入力例を「飴」に変換する処理をしてもよい。同様の変換を音声認識に反映させてもよい。
【００３７】
（第２実施形態）
図６は、対話システムの画面を示す。本実施形態においては、対話システムがユーザから発言を受け取って、これに対する返答を自動生成して表示する。このとき、対話システムによる返答の生成においてユーザの発言のテーマが反映される。このシステムにおいては、直前の話題に沿った対話を高速かつ円滑に処理できる。
【００３８】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００３９】
語句抽出部３６は、注目ブロックから語句を抽出する際に、同義語や統制語を一定の語句に統一してもよい。また、語句を語幹の形に変換してもよいし、その語句の上位概念をさらに抽出して追加してもよい。
【００４０】
テーマ決定部４８は、重要度更新部４６によって更新された語句の集合に対し、それらの語句の上位概念を追加してもよい。
【発明の効果】
本発明によれば、比較的効率よく文章のテーマを特定できる。
【図面の簡単な説明】
【図１】本実施形態における文章処理システムの構成を示す機能ブロック図である。
【図２】本実施形態における文章処理システムの動作を示すフローチャートである
【図３】対話における注目ブロック、語句、重要度、および類似度の対応関係を示す図である。
【図４】語句と重要度の更新過程を示す図である。
【図５】かな漢字変換にテーマを反映させた結果を示す図である。
【図６】対話システムの画面を示す図である。
【符号の説明】
２６文章受付部、２８対象設定部、３４文字列解析部、４０応用処理部、４２テーマ特定部。

Claims

文章を受け付ける文章受付部と、
前記入力があるごとに新たに入力された文章のブロックを注目ブロックとして設定する対象設定部と、
前記注目ブロックを分解して少なくとも一つ以上の語句を抽出し、前記抽出された語句のそれぞれに対してその文章における前記語句の重要度を対応付ける文字列解析部と、
前記抽出された語句と重要度の集合を前記文章のテーマとなる語句の集合に設定するとともに、前記テーマに設定する語句と重要度の集合を更新するときに、その更新までの時間経過に応じてその重要度を減衰させるテーマ特定部と、
を有することを特徴とする文章解析装置。
前記テーマ特定部は、前記テーマに設定する語句と重要度の集合を更新するときに、前記重要度が所定の最低値を下回った場合にはその語句と重要度を前記集合から除外することを特徴とする請求項１に記載の文章解析装置。
前記テーマ特定部は、前記注目ブロックにおける語句の集合と過去における語句の集合との類似度を判断し、前記類似度が所定の基準値を下回った場合は、これらの集合を置き換えることによって前記テーマに設定する語句と重要度の集合を更新することを特徴とする請求項１または２に記載の文章解析装置。
前記特定されたテーマをかな漢字変換における変換候補の優先順位に反映させる応用処理部をさらに有することを特徴とする請求項１から３のいずれかに記載の文章解析装置。
前記特定されたテーマを音声認識処理における認識候補の優先順位に反映させる応用処理部をさらに有することを特徴とする請求項１から４のいずれかに記載の文章解析装置。