JP4942727B2

JP4942727B2 - テキスト要約装置、その方法およびプログラム

Info

Publication number: JP4942727B2
Application number: JP2008301058A
Authority: JP
Inventors: 隆明長谷川; 仁西川; 賢治今村; 玄一郎菊井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-11-26
Filing date: 2008-11-26
Publication date: 2012-05-30
Anticipated expiration: 2028-11-26
Also published as: JP2010128677A

Description

本発明は、ユーザが検索することにより得られたテキスト（文書）等について、その内容を当該ユーザの関心に沿って要約する技術に関する。

要約の利用目的を考えた場合、要約方法は大きく２つに分けることができる。１つはどんな目的やどんなユーザにも使える汎用的な要約（ｇｅｎｅｒｉｃな要約）を作成する方法であるのに対し、もう１つはユーザの特定の興味・関心に適応する要約（ｑｕｅｒｙ−ｂｉａｓｅｄな要約）を作成する方法である。ｑｕｅｒｙ−ｂｉａｓｅｄな要約方法としては、重要文抽出の際にスタイルの情報や単語の汎用的な重要度等に基づく要約に加えてユーザからのクエリに重みを加える方法（非特許文献１参照）や、ユーザからのクエリによって検索された文書の集合をクラスタリングする際に情報利得比という、あるクラスタをさらにクラスタリングするときに貢献する度合いの高い用語に重みを加える方法が提案されている（非特許文献２参照）。
Anastasios Tombros et al., "Advantage of Query Biased Summaries in Information Retrieval", Research and Development in Information Retrieval, 1998, pp.2-10 森辰則、「検索結果表示向け文書要約における情報利得比に基づく語の重要度計算」、自然言語処理、Ｖｏｌ．９、Ｎｏ．４、２００２、ｐｐ．３−３２

しかしながら、前述した従来の方法は主に新聞記事を対象としており、近年、爆発的に増加しているブログなどのＣＧＭ（ＣｏｎｓｕｍｅｒＧｅｎｅｒａｔｅｄＭｅｄｉａ）に適用する場合にはいくつか課題が存在する。

即ち、ＣＧＭでは様々なユーザが情報を発信しており、汎用的な目的のためのｇｅｎｅｒｉｃな要約方法で想定している新聞記事のような統一的なスタイルは存在しない。このため、統一的なスタイルのときに有効である文の位置などの情報を利用して重要文を抽出することは難しかった。

また、例えば検索エンジンにおいて検索された文書がユーザの関心に関連するかどうかを判断するための要約方法では、出力できる制限文字数が少なくなることから、既にユーザには既知であるクエリに含まれる検索語に高い重みを付けることは、ユーザにとって未知の情報を出力できなくなる可能性が高くなるという問題があった。また、検索エンジンにより検索される文書では、ユーザによる検索語を含む文が複数存在することが考えられるため、限られた制限文字数の制約の中では、ユーザからの検索語を含む文の中でどの文を選択するかは重要な課題となっていた。

また、情報利得比を得るためのクラスタリングは文書数が増えれば処理負荷が大きくなり、高速なレスポンスが期待される検索エンジンとの親和性が比較的低いという問題があった。さらにまた、ＣＧＭでは１つの文書に複数のトピックを含む可能性が大きいため、うまくクラスタリングできず、望ましい用語が獲得できない場合も存在すると考えられる。

本発明の目的は、ＣＧＭ文書等に対し、ユーザより入力された検索語に適合するｑｕｅｒｙ−ｂｉａｓｅｄな要約を生成することにある。

前記目的を達成するため、本発明では、コーパスにおける任意の単語の文書頻度および２個以上の任意の単語の共起頻度を格納する単語頻度テーブルと、ユーザより入力された検索語を受け付ける検索語入力部と、複数の文で構成される入力文書を受け付ける文書入力部と、前記単語頻度テーブルから、前記検索語に対応する文書頻度、前記入力文書に含まれる単語に対応する文書頻度、並びに前記検索語および入力文書に含まれる単語に対応する共起頻度を取得し、これらに基づいて前記検索語と入力文書に含まれる単語との関連度を計算する関連度計算部と、前記入力文書を構成する全ての文に対し、前記関連度計算部で計算される当該文に含まれる各単語と前記検索語との関連度に基づいて文重要度を計算する重要文選択部と、前述した各部を制御し、予め指定された制限文字数または要約率の範囲内で前記入力文書を構成する文を前記文重要度の高い順に選択し、前記入力文書での出現順に出力する制御部とを備え、さらに前記関連度計算部は、前記検索語が複数であり、前記複数の検索語の文書頻度が所定の閾値よりも小さい場合、または前記複数の検索語と前記入力文書に含まれる単語との共起頻度が所定の閾値よりも小さい場合には、前記複数の検索語の各検索語ごとに、当該検索語と前記入力文書に含まれる単語との関連度を求め、前記各検索語ごとに求めた関連度の平均値を、前記複数の検索語と前記入力文書に含まれる単語との関連度とする機能を有することを特徴とする。

本発明によれば、入力文書からユーザの検索要求である検索語に関連する単語を含む文を抽出するので、ユーザの検索要求に適合した要約を生成する効果を有する。特にユーザからの検索要求で検索された入力文書、即ち検索語を含む文が複数存在する入力文書を対象とする場合に、汎用的な重要度と検索語に対する重要度の付加を用いた従来の重要文抽出方法よりも、ユーザからの検索語に関連する単語を含む文を選択するという方法により、よりユーザの検索要求に適合した要約を生成することが可能である。さらに、検索語自体が存在しない文でも検索語に関連のある単語を多く含む文を選択することも可能である。また、スタイルの情報を用いないため、多様なスタイルの文書に対しても有効である。

次に、本発明の実施の形態について図面を参照して説明する。

図１は本発明のテキスト要約装置の実施の形態の一例を示すもので、本実施の形態のテキスト要約装置は、単語頻度テーブル１と、検索語入力部２と、文書入力部３と、関連度計算部４と、重要文選択部５と、制御部６とからなる。

単語頻度テーブル１は、所定のコーパス（文書の集合）における任意の単語の文書頻度および２個以上の任意の単語の共起頻度を格納している。ここで、所定のコーパスにおける任意の単語の文書頻度とは、所定のコーパスに対して当該任意の単語をキーワードとする検索を行い、その結果、得られる文書の数（所定のコーパス内の文書のうち当該任意の単語が出現する文書の数）を意味し、また、所定のコーパスにおける２個以上の任意の単語の共起頻度とは、所定のコーパスに対して当該２個以上の任意の単語をキーワードとする検索（ＡＮＤ検索）を行い、その結果、得られる文書の数（所定のコーパス内の文書のうち当該２個以上の任意の単語が同時に出現する文書の数）を意味している。

なお、インターネット上の検索エンジンを利用して任意の単語あるいは２個以上の任意の単語をキーワードとして検索し、ヒットした文書数を前述した文書頻度あるいは共起頻度とすることもできる（この場合の「所定のコーパス」とは検索エンジンを介してアクセス可能なインターネット上の全ての文書ということになる。）。

図２は単語頻度テーブル１の一例を示すもので、ここでは１〜ｎ個の任意の単語（キーワード）に対応する文書頻度（共起頻度）を格納している。例えば、後述する検索語が「土用丑の日」（文字間のスペースは単語の区切を表す。）である場合、キーワード１が「土用」、キーワード２が「丑の日」である文書頻度「９４４」が得られる。また、後述する入力文書内に出現した単語が「鰻」である場合、キーワード１が「鰻」である文書頻度「４１７０」が得られる。また、検索語「土用丑の日」と単語「鰻」との共起頻度は、キーワード１が「土用」、キーワード２が「丑の日」、キーワード３が「鰻」である文書頻度「２６０」が得られる。これらにより、単語「鰻」と検索語「土用丑の日」との関連度を後述するように求めることができる。

検索語入力部２は、ユーザより、図示しないキーボード等から直接入力され又は記憶媒体から読み出されて入力され又は通信媒体を介して他の装置等から入力された検索語を受け付ける。

文書入力部３は、図示しない記憶手段から読み出されて入力され又は通信媒体を介して他の装置等から入力された、要約の対象となる入力文書を受け付ける。ここで、入力文書は複数の文で構成され、各文は形態素解析済みであるとする。形態素解析前の入力文書の一例を図３に、また、図３の入力文書（形態素解析後）中の一文を図４に示す。

関連度計算部４は、単語頻度テーブル１から、検索語入力部２で受け付けた検索語に対応する文書頻度、文書入力部３で受け付けた入力文書に含まれる（詳細には入力文書を構成する文に含まれる）単語に対応する文書頻度、並びに前記検索語および入力文書に含まれる単語に対応する共起頻度を取得し、これらに基づいて前記検索語と入力文書に含まれる単語（あるいは単語列）との関連度を計算する。

関連度の一例として相互情報量（ＰＭＩ）を挙げる。なお、入力文書に含まれる単語のうち、文書頻度を取得する単語は名詞に限定するなど、品詞による制限を設けても良い。また、取得した文書頻度の低い単語は関連度計算の対象から除外しても良い。

検索語ｑと入力文書に含まれる単語ｗとの相互情報量（ＰＭＩ）の計算式は下記の通りである。

但し、Ｃ（ｑ）は検索語ｑの文書頻度、Ｃ（ｗ）は入力文書に含まれる単語ｗの文書頻度、Ｃ（ｑ，ｗ）は検索語ｑおよび入力文書に含まれる単語ｗの共起頻度、Ｎはコーパスに格納されている文書数とする。なお、検索語が複数の用語からなる場合、当該複数の用語の文書頻度や複数の用語と文を構成する単語との共起頻度が小さいこともある。これらが事前に設けた文書頻度や共起頻度の閾値を下回る場合には、例えば、複数の用語について各々の用語の文書頻度と、各々の用語と文を構成する単語との共起頻度を取得することで、各々の用語と文を構成する単語との関連度を計算し、これらの関連度の平均値を、複数の用語と文を構成する単語の関連度としても良い。

また、関連度計算部４では、入力文書に含まれる単語について検索語に依存しない一般的な重要度も考慮するために、当該単語の入力文書内での出現頻度（ＴＦ）や、所定のコーパス内の文書のうち当該単語が出現する文書の数の逆数（ＩＤＦ）を計算し、相互情報量（ＰＭＩ）との積を求めても良い。また、検索語と入力文書に含まれる単語との関連度として、対数尤度比などの単語共起に基づく他の尺度を用いることもできる。

重要文選択部５は、文書入力部３で受け付けた入力文書を構成する全ての文について、関連度計算部４により計算される当該文に含まれる各単語と前記検索語との関連度に基づいて文重要度を計算し、当該文重要度の高い文を選択する。ここで、文の重要度としては、文に含まれる各単語と検索語との関連度の総和を用いても良いし、関連度の平均を用いても良いし、関連度の最大値を用いても良いし、または関連度の対数や平方根による平均などを用いても良い。

図３に示した５つの文からなる入力文書の場合を例に挙げて重要文選択部５の動作について説明する。

この入力文書（形態素解析後）を入力とし、関連度計算の対象を名詞の類に限定すると、図５に示すような名詞のＩＤＦとＰＭＩ（相互情報量）が得られる。入力文書中の５つの文のうち重要な２つの文を選択する場合において、文の重要度を各単語のＩＤＦの総和とした時の選択結果を図６に、また、文の重要度を各単語のＰＭＩの総和とした時の選択結果を図７に示す。ＩＤＦを用いた場合は、「長野」や「岡谷」といった地名が高いＩＤＦ値を持っているため、５番目の文が最も重要として出力される。一方、ＰＭＩを用いた場合は、相対的に「夏」「栄養」「習慣」のＰＭＩ値が高く、「人口」や「寒」のＰＭＩ値が低いので、２番目の文が重要な２文に含まれる。このため、ＰＭＩを用いる要約の方が、検索語により関連の深い単語を含む要約となる。

また、重要文選択部５では、ＭＭＲ（ＭａｘｉｍａｌＭａｒｇｉｎａｌＲｅｌｅｖａｎｃｅ）という公知の技術を用いて、文重要度が高くかつ文同士の類似度が小さいほど高くなるスコアを求め、重要な文の中から既に選択した文との内容の重複を避けて、新規性の高い文を選択することもできる。

ＭＭＲは次式により計算することができる。

ここで、Ｑは検索語、Ｒは入力文書に含まれる全ての文、ＳはＲのサブセットで既に重要文として選択されているもの、Ｒ＼ＳはＲのサブセットでまだ重要文として選択されていないもの、Ｓｉｍ₁（Ｐ_i，Ｑ）は検索語Ｑと文Ｐ_iとの適合度を算出する関数、Ｓｉｍ₂（Ｐ_i，Ｐ_j）はＳに含まれる文Ｐ_jと抽出侯補の文Ｐ_iとの類似度である。

ここでは、Ｓｉｍ₁（Ｐ_i，Ｑ）の代わりに文の重要度を採用し、既に選択した文との類似度の尺度にコサイン類似度を採用してＭＭＲのスコアを計算する。但し、両者のダイナミックレンジを揃えるために、各文の重要度は最も大きな重要度を有する文の値で正規化する。正規化する場合、各文の重要度の対数をとってから、対数の最大値で正規化しても良い。以下、具体的な例を示す。

例えば、図３の入力文書において２番目の文が始めに選択されたと仮定すると、１番目の文の正規化された重要度が１、コサイン類似度が０に対して、５番目の文の正規化された重要度が０．７１７、コサイン類似度は０．６５９となる。λを０．５とすると、ＭＭＲのスコアは、それぞれ０．５と０．０２９となり、ＭＭＲのスコアにより大きな差が開く。また、入力文書にタイトルが存在する場合、タイトルを既に選択した文とみなすことでＭＭＲの値を計算することによりタイトルとの冗長性を避けることができる。

制御部６は、前述した各部を制御し、予め指定された制限文字数または要約率の範囲内で前記入力文書を構成する文を前記文重要度またはスコアの高い順に選択し、出現順に並べ替えて出力する。

図８に前述した文重要度および文同士の類似度に基づくスコアを求める場合の重要文選択部５および制御部６における処理の流れを示す。

重要文選択部５は、入力文書中に処理すべき文が存在すれば（ｓ１）、当該文を選択し、その文に含まれる各単語と検索語との関連度を計算し（ｓ２）、該計算した関連度に基づいて文重要度を計算する（ｓ３）。そして、既に選択済みの文の全てについて（ｓ４）、前記選択した１文との類似度を計算する（ｓ５）。さらに、各文の類似度を計算した結果、類似度が最大となる文の類似度を記憶し（ｓ６）、各文の重要度と当該記憶した類似度とに基づくスコアを計算する（ｓ７）。以上を処理する文がなくなるまで繰り返す（ｓ１）。

そして、制御部６は、ＭＭＲに基づくスコアの高い順に入力文書を構成する文を選択していき（ｓ８）、制限文字数または要約率を越えるときに文の選択を中止し（ｓ９）、選択した文を出現順に並べ替えて出力する（ｓ１０）。

このように、検索語に関連する単語に基づく文の重要度と既に選択した文との類似度を考慮しながら文を選択することにより、ユーザの検索要求に適合し、冗長性の少ない要約を生成することができる。

なお、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、図１の構成図に示された機能を実現するプログラムあるいは図８のフローチャートに示された手順を備えるプログラムをインストールすることによっても実現可能である。

本発明のテキスト要約装置の実施の形態の一例を示す構成図単語頻度テーブルの一例を示す説明図形態素解析前の入力文書の一例を示す説明図図３の入力文書（形態素解析後）中の一文を示す説明図図３の入力文書中の名詞のＩＤＦとＰＭＩを示す説明図ＩＤＦによる重要文の選択結果の一例を示す説明図ＰＭＩによる重要文の選択結果の一例を示す説明図重要文選択部および制御部における処理の流れ図

符号の説明

１：単語頻度テーブル、２：検索語入力部、３：文書入力部、４：関連度計算部、５：重要文選択部、６：制御部。

Claims

コーパスにおける任意の単語の文書頻度および２個以上の任意の単語の共起頻度を格納する単語頻度テーブルと、
ユーザより入力された検索語を受け付ける検索語入力部と、
複数の文で構成される入力文書を受け付ける文書入力部と、
前記単語頻度テーブルから、前記検索語に対応する文書頻度、前記入力文書に含まれる単語に対応する文書頻度、並びに前記検索語および入力文書に含まれる単語に対応する共起頻度を取得し、これらに基づいて前記検索語と入力文書に含まれる単語との関連度を計算する関連度計算部と、
前記入力文書を構成する全ての文に対し、前記関連度計算部で計算される当該文に含まれる各単語と前記検索語との関連度に基づいて文重要度を計算する重要文選択部と、
前述した各部を制御し、予め指定された制限文字数または要約率の範囲内で前記入力文書を構成する文を前記文重要度の高い順に選択し、前記入力文書での出現順に出力する制御部とを備え、
さらに前記関連度計算部は、
前記検索語が複数であり、前記複数の検索語の文書頻度が所定の閾値よりも小さい場合、または前記複数の検索語と前記入力文書に含まれる単語との共起頻度が所定の閾値よりも小さい場合には、
前記複数の検索語の各検索語ごとに、当該検索語と前記入力文書に含まれる単語との関連度を求め、
前記各検索語ごとに求めた関連度の平均値を、前記複数の検索語と前記入力文書に含まれる単語との関連度とする機能を有する
ことを特徴とするテキスト要約装置。
前記入力文書に含まれる全ての文に対し、前記関連度計算部で計算される当該文に含まれる各単語と前記検索語との関連度に基づいて文重要度を計算するとともに、文同士の類似度を計算し、当該文重要度が高くかつ文同士の類似度が小さいほど高くなるスコアを求める重要文選択部と、
前述した各部を制御し、予め指定された制限文字数または要約率の範囲内で前記入力文書を構成する文を前記スコアの高い順に選択し、前記入力文書での出現順に出力する制御部とを備えた
ことを特徴とする請求項１に記載のテキスト要約装置。
検索語入力部が、ユーザより入力された検索語を受け付けるステップと、
文書入力部が、複数の文で構成される入力文書を受け付けるステップと、
関連度計算部が、コーパスにおける任意の単語の文書頻度および２個以上の任意の単語の共起頻度を格納する単語頻度テーブルから、前記検索語に対応する文書頻度、前記入力文書に含まれる単語に対応する文書頻度、並びに前記検索語および入力文書に含まれる単語に対応する共起頻度を取得し、これらに基づいて前記検索語と入力文書に含まれる単語との関連度を計算するステップと、
重要文選択部が、前記入力文書を構成する全ての文に対し、前記関連度計算ステップで計算される当該文に含まれる各単語と前記検索語との関連度に基づいて文重要度を計算するステップと、
制御部が、予め指定された制限文字数または要約率の範囲内で前記入力文書を構成する文を前記文重要度の高い順に選択し、前記入力文書での出現順に出力するステップとを含み、
さらに前記関連度計算ステップは、
前記検索語が複数であり、前記複数の検索語の文書頻度が所定の閾値よりも小さい場合、または前記複数の検索語と前記入力文書に含まれる単語との共起頻度が所定の閾値よりも小さい場合には、
前記複数の検索語の各検索語ごとに、当該検索語と前記入力文書に含まれる単語との関連度を求め、
前記各検索語ごとに求めた関連度の平均値を、前記複数の検索語と前記入力文書に含まれる単語との関連度とする工程を有する
ことを特徴とするテキスト要約方法。
重要文選択部が、前記入力文書に含まれる全ての文に対し、前記関連度計算ステップで計算される当該文に含まれる各単語と前記検索語との関連度に基づいて文重要度を計算するとともに、文同士の類似度を計算し、当該文重要度が高くかつ文同士の類似度が小さいほど高くなるスコアを求めるステップと、
制御部が、予め指定された制限文字数または要約率の範囲内で前記入力文書を構成する文を前記スコアの高い順に選択し、前記入力文書での出現順に出力するステップとを含む
ことを特徴とする請求項３に記載のテキスト要約方法。
コンピュータを、請求項１または２に記載のテキスト要約装置の各手段として機能させるためのプログラム。