JP5201727B2 - 文書要約装置、文書要約方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、文書の発行者と閲覧者との語彙力や読解力の差異に応じて、文書を要約するためにデータ量を削減する度合いを決定する技術に関する。

文書要約を行う場合、規定の要約率、またはユーザが指定した要約率に応じて、要約が行われる。上記要約率は、要約前のデータの大きさに対して、要約後のデータの大きさが占める割合であり、要約の度合いを示す数値である。

第１の既存技術では、ユーザが直接的に要約率を指定することによって、文書の要約を行っている（たとえば、特許文献１参照）。

第２の既存技術では、ユーザから、要約率または要約時間を入力させている。上記要約時間は、映像や音声等のコンテンツの要約において、ユーザが取得したい要約映像（または音声）の長さである。指定した時間の長さに収まるような要約結果を出力する技術である（たとえば、特許文献２参照）。

一方、第３の既存技術では、人間の発話を記録した音声コンテンツを要約する場合、規定の要約率や閲覧者が指定する要約率等に基づかない要約技術である（たとえば、特許文献３参照）。予め、平静状態における発話と、強調状態における発話とを区別して与え、状態毎の発話の特徴量を算出して学習させる。続いて、要約しようとする音声データのある区間が、要約結果として残すべき強調状態であるか、削除してもよい平静状態であるかを、学習結果に基づいて自動的に判別し、要約結果を生成する。第１、第２の既存技術が、要約率または要約結果長の指定に基づく要約であるのに対し、本既存技術は、残す必要があると判断した区間を、全て出力するという絶対的な判断基準に基づく要約方法である。
特開２００２−２５９３７１号公報 特許第３９７７６６４号公報 特許第３８０３３１１号公報

上記第１および第２の既存技術は、所望の要約結果を得るためには、閲覧者が、要約率または要約結果のサイズを直接的に指定する必要がある。したがって、最適な要約結果を得るためには、必要に応じて試行を繰り返す必要があり、大きな手間が発生するという問題がある。特に、一度に多くの対象（文書や音声コンテンツ等）を要約しようとする場合、上記試行を繰り返す手間が煩雑になり、閲覧者への負担を強いるという問題がある。

一方、上記第３の既存技術は、絶対的な判断基準によって要約を生成するので、要約結果として残す必要があると判断した区間の数が非常に多いか、逆に非常に少なければ、サイズの大きな、または小さな要約結果しか得られない可能性があり、内容を把握するのに適した要約率の要約結果が得られない場合があるという問題がある。また、一度に多くの対象（文書や音声コンテンツ等）の要約を行う場合にも、絶対的な判断基準で一律に要約を行うので、対象毎、または要約結果を利用する閲覧者毎に適した要約結果を得るためには、多大の労力を要するという問題がある。

本発明は、要約対象と、要約結果を利用する閲覧者との関係を考慮し、要約対象毎に適切な要約の度合いを決定し、要約対象に応じた適切な要約結果を得ることができる文書要約装置を提供することを目的とする。

本発明は、文書ＩＤと文書とを記録している文書データベースから、文書を取得し、この取得した文書中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得された文書の難易度を決定する文書難易度決定手段と、閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースから、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する閲覧者レベル決定手段と、上記文書の難易度と上記閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率を決定する削減率決定手段とを有する文書要約装置である。

本発明によれば、要約対象と、要約結果を利用する閲覧者との関係を考慮し、要約対象毎に適切な要約の度合いを決定するので、要約対象に応じた適切な要約結果を得ることができるという効果を奏する。

発明を実施するための最良の形態は、以下の実施例である。

図１は、本発明の実施例１である文書要約装置１００の構成を示す図である。

文書要約装置１００は、ニュース記事の要約を作成する実施例であり、閲覧者レベルと、所定の文書の難易度との差に応じて、上記所定の文書を要約する場合における文書削減率を決定する実施例である。

文書要約装置１００は、文書データベースＤＢ１と、専門用語辞書ＤＢ２と、文書難易度決定手段１０と、閲覧履歴データベースＤＢ３と、閲覧者レベル決定手段２０と、閲覧者レベル記録手段Ｍ１と、削減率決定手段３０と、削減率記録手段Ｍ２と、文書要約手段４０と、要約結果記録手段Ｍ３とを有する。

図２は、実施例１における文書データベースＤＢ１に格納されているデータ例を示す図である。

文書データベースＤＢ１は、図２に示すように、文書について一意に付与されている文書ＩＤと、ニュース記事等の文書と、後述の文書の難易度とを記録している。

文書難易度決定手段１０が決定した文書難易度を、文書データベースＤＢ１が格納するので、文書データベースＤＢ１における文書難易度の初期状態は、空欄である。

図３は、実施例１における専門用語辞書ＤＢ２に格納されているデータ例を示す図である。

専門用語辞書ＤＢ２は、文書データベースＤＢ１に蓄積されている文書群が属する分野における専門用語と、その専門用語の難易度とを格納している。専門用語辞書ＤＢ２は、図３に示すように、文書データベースＤＢ１に蓄積されている文書群が属する分野における専門用語と、その専門用語の難易度の値とを格納している。

閲覧履歴データベースＤＢ３は、閲覧者による過去の閲覧履歴を記録している。

文書難易度決定手段１０は、文書データベースＤＢ１から、文書を取得し、門用語辞書ＤＢ２に記録されている専門用語を、上記取得した文書中で発見する度に、上記発見した専門用語の難易度を加算集計する。また、文書難易度決定手段１０は、文書中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得された文書の難易度を決定する。

閲覧者レベル決定手段２０は、閲覧履歴データベースＤＢ３から、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する。

削減率決定手段３０は、上記文書の難易度と上記閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率を決定する。

文書要約手段４０は、上記発行者ＩＤと上記削減率とを取得し、上記発行者ＩＤに対応している文書を、文書データベースＤＢ１から取得し、上記削減率が大きいほど短い要約結果を得るような文書要約処理を、上記文書に行う。

なお、文書データベースＤＢ１は、上記文書難易度決定手段１０が決定した文書難易度を、上記文書ＩＤと対応付けて記録する。

閲覧者レベル記録手段Ｍ１は、閲覧者レベル決定手段２０が決定した閲覧者レベルを記録する。

削減率記録手段Ｍ２は、削減率決定手段３０が決定した削減率を、上記文書ＩＤと対応付けて記録する。

要約結果記録手段Ｍ３は、文書要約手段４０が要約した結果を記録する。

次に、文書難易度決定手段１０が行う処理について説明する。

図４は、文書難易度決定手段１０が行う処理を示すフローチャートである。

Ｓ１で、１文書に出現する専門用語の難易度和を算出する。Ｓ２で、難易度和を、文書中の単語総数で割り、Ｓ１の処理とＳ２の処理とを、全文書について実行したかどうかを判断する。Ｓ３で全文書について処理が終了したと判断すると、Ｓ４で、難易度が０〜１の範囲に収まるように正規化する。Ｓ５で、各文書の難易度を、文書データベースＤＢ１に記録する。

文書難易度決定手段１０は、文書データベースＤＢ１から、まず、第１の文書を取得し、専門用語辞書ＤＢ２に記録されている専門用語を、上記第１の文書で発見する度に、上記発見した専門用語の難易度を加算集計することによって、文書難易度を決定する手段である。

文書ＩＤ１００１の文書の先頭には、「価格変動リスク」という専門用語が出現し、その難易度は、図３に示すように、５であるので、この値を、文書データベースＤＢ１に保持する。続いて「ヘッジ」という専門用語が出現し、その難易度が、図３に示すように、４であるので、保持している値に、難易度４を加えた結果である９を、新たな値として保持する。

文書ＩＤ１００１には、「価格変動リスク」が２回出現し（難易度５×２）、「ヘッジ」（難易度４）、「国債先物」（難易度６）が、各１回出現し、この結果、難易度の総和が２０である。続いて、この総和を、文書ＩＤ１００１の文書に含まれている全ての単語の総数で割り、文書長による正規化を行う。文書ＩＤ１００１の文書には、専門用語の他にも、「を」、「抑える」、「ため」、「の」等の単語が出現し、これら全てを数えた結果が、５０語であれば、難易度の総和である２０を、単語総数５０で割った値である０．４を保持する。この０．４を、文書難易度の暫定値という。

第２の文書である文書ＩＤ１００２の文書、第３の文書である文書ＩＤ１００３の文書についても、上記と同様に、難易度の総計を算出した後に、それぞれを、文書中の単語総数で割る。この結果、文書ＩＤ１００２の文書については、０．１５という文書難易度の暫定値を得、文書ＩＤ１００３の文書については、０．１９という文書難易度の暫定値が得られたとする。

最後に、保持している各文書の値が、０〜１の範囲に収まるように、正規化する。ここまでの結果で、第１の文書については、文書難易度の暫定値０．４を得、第２の文書については、文書難易度の暫定値０．１５を得、第３の文書については、文書難易度の暫定値０．１９を得ている。これらのうちの最小値である０．１５を、０にするために、それぞれの値から０．１５を引き、それぞれ、０．２５、０、０．０４とする。このうちの最大値である０．２５を１にするために、各値をそれぞれ４倍し、１、０、０．１６を得る。

このようにして得られた値を、各文書の難易度とする。すなわち、文書ＩＤ１００１の文書の難易度は１であり、文書ＩＤ１００２の文書の難易度は、０であり、文書ＩＤ１００３の文書の難易度は、０．１６である。それぞれの難易度を、図２に示す文書データベースＤＢ１の対応する欄に格納する。

閲覧履歴データベースＤＢ３は、閲覧者の過去の文書閲覧履歴を記録しているデータベースである。

閲覧履歴データベースＤＢ３は、閲覧した各文書が格納されているデータベースを識別するデータベース識別子を記録している。複数の文書データベースが存在している場合、閲覧した文書がどのデータベースに格納されていたかを知るために、文書に対し、その文書を記録しているデータベース名（またはテーブル名、保存ファイル名など）を記録しておく。これが、上記データベース識別子である。

上記データベース識別子に基づいて、閲覧者レベル決定手段２０が、文書データベースＤＢ１に記録されている文書が占める割合を、算出する。つまり、閲覧者レベル決定手段２０は、閲覧履歴データベースＤＢ３に記録されている閲覧者の過去の文書閲覧履歴を取得し、文書データベースＤＢ１に記録されている文書を閲覧した割合を算出する手段である。たとえば、所定の閲覧者が過去に読んだ文書の数が、１００文書であることが、閲覧履歴データベースＤＢ３に記録され、これらのうちの２０文書が、文書データベースＤＢ１に記録されている文書であれば、その割合である０．２が、閲覧者レベルである。

すなわち、所定の閲覧者における閲覧者レベルは、上記所定の閲覧者が過去に読んだ文書の数に対する所定の分野の文書データベースに記録されている文書数の割合である。

また、文書難易度を決定する場合、文書難易度決定手段１０が算出した難易度が高い文書を読んだ回数が多い閲覧者ほど、閲覧者レベルが高くなるように決定してもよい。また、閲覧履歴データベースＤＢ３に、経済、スポーツ、文学等、各文書が属するジャンル情報（ジャンル名、ジャンルコード等、ジャンルを特定する情報）を併せて記録し、専門用語辞書ＤＢ２に、たとえば経済分野の専門用語を登録した場合、経済というジャンル情報を持つ文書の閲覧割合を、閲覧者レベルであるとしてもよい。

続いて、削減率決定手段３０が行う処理について説明する。

削減率決定手段３０は、閲覧者レベル決定手段２０に記録されている閲覧者レベルを、文書データベースＤＢ１に記録されている文書の難易度と比較し、それらの差を、削減率として決定する手段である。

上記閲覧者レベルが、０．２であり、文書ＩＤ１００１の文書の難易度が、１である場合、これらの差０．８を、文書ＩＤ１００１の文書を要約する場合における削減率とする。つまり、閲覧者レベルと、所定の文書の難易度との差が、上記所定の文書を要約する場合における削減率である。

削減率記録手段Ｍ２は、得られた削減率０．８を、文書ＩＤ１００１の文書と対応付けて、記録する。

これと同様に、文書ＩＤ１００２の文書の削減率は、０．２であり、文書ＩＤ１００３の文書の削減率は、０．０４であり、これらの削減率が削減率記録手段Ｍ２に記録される。削減率が０であれば、文書を要約しないことを意味し、削減率が仮に０．４であれば、文書のデータ量を４０％削減するように要約する。

文書要約手段４０は、削減率記録手段Ｍ２から、文書ＩＤと削減率とを取得し、対応する文書を、文書データベースＤＢ１から取得し、削減率を満たすように要約する手段である。文書要約は、従来から様々な技術が確立され、必要に応じて技術を選択すればよい。

また、削減率の大小に応じて、要約の方式を切り替えるようにしてもよい。たとえば、削減率が０．８以上であれば、複数の固有名詞の羅列による要約生成方法を作成し、削減率が０．８を下回れば、文書形式での要約文生成方法を採用するようにしてもよい。このようにすれば、削減率が高い場合、助詞等を省いたより端的な要約結果を得ることができ、要約結果の認識効率を高めることができる。

文書要約手段４０は、要約した結果を、要約結果記録手段Ｍ３に記録する。

図５は、実施例１において、要約結果記録手段Ｍ３が記録しているデータ例を示す図である。

全ての文書について要約を終了すれば、要約結果記録手段Ｍ３に、図５に示すように、各文書の要約結果が記録される。便宜上、図５中には、各要約に対応する文書ＩＤ１００１〜１００３が記録されているが、要約結果記録手段Ｍ３に文書ＩＤを記録する必要はない。

最も削減率が高く設定されている文書ＩＤ１００１（削減率０．８）は、頻度が高い専門用語「価格変動リスク」のみを要約結果とすることによって、具体性は低いながらも、文書の内容を端的に説明している要約結果が出力されている。

逆に、削減率が低い文書ＩＤ１００２（削減率０．２）や文書ＩＤ１００３（削減率０．４）では、専門用語や固有名詞等、重要なキーワードを中心的に残し、要約前の文書の持つ意味の多くを維持した要約文が出力されている。

つまり、文書要約装置１００は、文書ＩＤと文書とを記録している文書データベースＤＢ１から、文書を取得し、この取得した文書中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得された文書の難易度を決定する文書難易度決定手段１０と、閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースＤＢ３から、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する閲覧者レベル決定手段２０と、上記文書の難易度と上記閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率を決定する削減率決定手段３０とを有する文書要約装置の例である。

この場合、上記発行者ＩＤと上記削減率とを取得し、上記発行者ＩＤに対応している文書を文書データベースＤＢ１から取得し、上記削減率が大きいほど短い要約結果を得るような文書要約処理を、上記文書に行う文書要約手段４０を有する。

また、上記文書難易度決定手段１０が決定した文書難易度を、上記文書ＩＤと対応付けて記録する文書データベースＤＢ１と、上記閲覧者レベル決定手段が決定した閲覧者レベルを記録する閲覧者レベル記録手段Ｍ１と、上記削減率決定手段が決定した削減率を、上記文書ＩＤと対応付けて記録する削減率記録手段Ｍ２と、上記文書要約手段４０が要約した結果を記録する要約結果記録手段Ｍ３とを有する。

図６は、本発明の実施例２である文書要約装置２００を示すブロック図である。

文書要約装置２００は、発行者レベルと、閲覧者レベルとの差に応じて、上記発行者が発行した文書を要約する場合における文書削減率を決定する実施例である。

文書要約装置２００は、文書要約装置１００において、文書難易度決定手段１０の代わりに、発行者レベル決定手段５０が設けられ、発行者レベル記録手段Ｍ４が追加され、削減率決定手段３０の代わりに、削減率決定手段３１が設けられている。

つまり、文書要約装置２００は、文書データベースＤＢ１と、専門用語辞書ＤＢ２と、発行者レベル決定手段５０と、発行者レベル記録手段Ｍ４と、閲覧履歴データベースＤＢ３と、閲覧者レベル決定手段２０と、閲覧者レベル記録手段Ｍ１と、削減率決定手段３１と、削減率記録手段Ｍ２と、文書要約手段４０と、要約結果記録手段Ｍ３とを有する。

図７は、実施例２において、文書データベースＤＢ１に記録されているデータ例を示す図である。

文書データベースＤＢ１は、図７に示すように、文書に一意に付与された文書ＩＤと、ニュース記事（文書）を発行した新聞社に一意に付与された発行者ＩＤと、ニュース記事とを記録する。

専門用語辞書ＤＢ２は、実施例１と同様に、図３に示すように、専門用語と難易度とを記録する。

発行者レベル決定手段５０は、文書ＩＤと文書の発行者ＩＤと文書とが記録されている文書データベースＤＢ１から、発行者ＩＤが同一である文書を全て取得し、この取得した文書群中に出現する専門用語の頻度（出現数）と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして決定する。

閲覧者レベル決定手段２０は、閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースＤＢ３から、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する。

削減率決定手段３１は、上記発行者レベル決定手段が決定した発行者レベルと、上記閲覧者レベル決定手段が決定した閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、上記発行者に対する上記閲覧者の削減率を決定する。

発行者レベル記録手段Ｍ４は、発行者レベル決定手段５０が決定した上記発行者レベルを、上記発行者ＩＤと対応付けて記録する。

削減率記録手段Ｍ２は、上記削減率決定手段が決定した削減率を、上記発行者ＩＤと対応付けて記録する。

図８は、発行者レベル決定手段５０が行う処理の流れを示すフローチャートである。

Ｓ１１で、ある発行者が発行した全文書を文書データベースＤＢ１から取得する。Ｓ１２で、文書群中に出現する専門用語の難易度和を算出する。Ｓ１３で、難易度和を文書群中の単語総数で割り、Ｓ１４で、全文書を処理する。Ｓ１５で、発行者レベルが０〜１の範囲に収まるように正規化し、Ｓ１６で、各発行者の発行者レベルを、発行者レベル記録手段Ｍ４に記録する。

発行者レベル決定手段５０は、文書データベースＤＢ１から、発行者ＩＤがＡである第１の発行者が発行した文書（文書ＩＤ１００１、１００５の文書）を取得する。取得した文書群中で、専門用語辞書ＤＢ２に記録されている専門用語が見つかる度に、その難易度を加算集計する。文書ＩＤ１００１の文書には、「価格変動リスク」が２回出現し、「ヘッジ」、「国内先物」が各１回出現し、それぞれの難易度は、５、１であるので、これを加算し、難易度の総計が２６になる。

これを、文書ＩＤ１００５の文書に含まれている単語の総数で割り、総文書長による正規化を行う。文書ＩＤ１００１、１００５の文書中の単語総数の和が８０語であれば、２６を８０で割った値、０．３２５（暫定値）を保持する。

第２の発行者Ｂ、第３の発行者Ｃについても、上記と同様の処理を行い、発行者毎の値を算出し、保持する。第２の発行者Ｂについては、０．１８、第３の発行者Ｃについては、０．１２５という値（暫定値）が得られたとする。

全ての発行者について処理を終えると、算出した値が、０から１の範囲に収まるように正規化する。Ａ、Ｂ、Ｃの各発行者について、それぞれ０．３２５、０．１８、０．１２５という値が得られているので、まず、このうちの最小値０．１２５が０になるように、各値から０．１２５を引き、０．２、０．０５５、０とする。続いて、このうちで、最小値０．１２５が０になるように、各値から０．１２５を引き、０．２、０．０５５、０とする。続いて、このうちで、最大値である０．２が１になるように、各値を、５倍し、１、０．２７５、０を得る。

このようにして得られた各値を、発行者レベルとし、発行者ＩＤと発行者レベルとを対応付けて、発行者レベル記録手段Ｍ４に格納する。この結果、発行者レベル記録手段Ｍ４には、発行者Ａの発行者レベルが１であり、発行者Ｂの発行者レベルが０．２７５であり、発行者Ｃの発行者レベルが０であることが記録される。

閲覧者レベル決定手段２０が行う処理は、実施例１における閲覧者レベル決定手段２０が行う処理と同一である。

続いて、削減率決定手段３１が行う処理について説明する。

削減率決定手段３１は、閲覧者レベル決定手段２０に記録されている閲覧者レベルを、発行者レベル記録手段Ｍ４に記録された各発行者の発行者レベルと比較し、それらの差を算出する。その結果得られた差を、「発行者に対する閲覧者の削減率」として決定する。

ある閲覧者レベルが０．２であれば、発行者Ａの発行者レベル１との差０．８が、発行者Ａに対するある閲覧者の削減率である。発行者Ｂの発行者レベル０．２７５との差０．０７５が、発行者Ｂに対するある閲覧者の削減率である。発行者Ｃの発行者レベル０との差０．２が、発行者Ｃに対するある閲覧者の削減率である。

得られたそれぞれの削減率を、各発行者の発行者ＩＤと対応付けて、削減率記録手段Ｍ２に記録する。削減率記録手段Ｍ２には、発行者Ａに対するある閲覧者レベル（０．２）の削減率０．８が記録され、発行者Ｂに対するある閲覧者レベル（０．２）の削減率０．０７５が記録され、発行者Ｃに対するある閲覧者レベル（０．２）の削減率０．２が記録される。

文書要約手段４０は、削減率記録手段Ｍ２から、発行者ＩＤと削減率との組み合わせを取得し、さらに、同じ発行者ＩＤを持つ文書を、文書データベースＤＢ１から全て取得し、削減率に基づいて、各文書を要約し、この要約結果を要約結果記録手段Ｍ３に出力する。

図９は、実施例２において、要約結果記録手段Ｍ３が記録しているデータ例を示す図である。

文書要約手段４０が要約処理を実行した結果、要約結果記録手段Ｍ３には、図９に示すように、各文書が、発行者毎に定められている削減率に応じて要約された結果が格納される。便宜上、図７中には、各要約結果に対応する文書ＩＤ２００１〜２００５を記載してある。

閲覧者にとって非常に高い難易度の文書を発行する発行者による発行文書は、短く要約される。このために、要約結果から具体的な文書の内容まで把握することが困難である代わりに、概要を端的に知ることができる。

逆に、閲覧者にとって理解が非常にたやすい文書（難易度が非常に低い文書）を発行する発行者による発行文書も短く要約される。閲覧者レベルよりも、低い文書であるので、端的に概要を知るだけでも、十分に内容を類推することができる。必要に応じて、要約前の文書を参照できるようにすればよい。

一方、閲覧者にとって適度な難易度の文書を発行する発行者による発行文書については、最も長い要約結果が出力されるので、要約結果から、より具体的な概要を知ることができる。

つまり、文書要約装置２００は、文書ＩＤと文書の発行者ＩＤと文書とが記録されている文書データベースＤＢ１から、発行者ＩＤが同一である文書を全て取得し、この取得した文書群中に出現する専門用語の頻度（出現数）と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして決定する発行者レベル決定手段５０と、閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースＤＢ３から、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する閲覧者レベル決定手段２０と、上記発行者レベル決定手段が決定した発行者レベルと、上記閲覧者レベル決定手段が決定した閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、上記発行者に対する上記閲覧者の削減率を決定する削減率決定手段３１とを有する文書要約装置の例である。

この場合、上記発行者ＩＤと上記削減率とを取得し、上記発行者ＩＤに対応している文書を取得し、上記削減率が大きいほど短い要約結果を得るような文書要約処理を、上記文書に行う文書要約手段４０を有する。

また、上記発行者レベル決定手段５０が決定した上記発行者レベルを、上記発行者ＩＤと対応付けて記録する発行者レベル記録手段Ｍ４と、上記閲覧者レベル決定手段が決定した閲覧者レベルを記録する閲覧者レベル記録手段Ｍ１と、上記削減率決定手段が決定した削減率を、上記発行者ＩＤと対応付けて記録する削減率記録手段Ｍ２と、上記文書要約手段４０が要約した結果を記録する要約結果記録手段Ｍ３とを有する。

図１０は、本発明の実施例３である文書要約装置３００を示す図である。

文書要約装置３００は、複数のユーザが書き込む掲示板形式のウェブサイトに書き込まれた文書を対象に、要約を実行する例である。

文書要約装置３００は、文書データベースＤＢ１と、専門用語辞書ＤＢ２と、発行者レベル決定手段５０と、発行者レベル記録手段Ｍ４と、削減率決定手段３２と、削減率記録手段Ｍ２と、文書要約手段４０と、要約結果記録手段Ｍ３とを有する。

図１１は、実施例３における文書データベースＤＢ１に記録されているデータの例を示す図である。

文書データベースＤＢ１には、図１１に示すように、文書について一意に付与されている文書ＩＤと、文書を書き込んだユーザを一意に特定する発行者ＩＤと、文書とを記録する。

図１２は、実施例３における専門用語辞書ＤＢ２のデータ例を示す図である。

専門用語辞書ＤＢ２には、図１２に示すように、図１１に示す文書が属する分野における専門用語とその難易度とを記録している。

発行者レベル決定手段５０は、文書データベースＤＢ１から、発行者ＩＤが同一である文書を全て取得し、この取得された文書から、専門用語辞書ＤＢ２に記録されている専門用語が見つかる度に、その難易度を加算する。そして、発行者レベル決定手段５０は、上記取得した文書群中に出現する専門用語の頻度（出現数）と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして決定する。

つまり、発行者レベル決定手段５０は、難易度の加算結果を、取得した文書群内の単語総数で割って、正規化する。全発行者について、同様の処理を行った後に、全発行者の発行者レベルが、０から１の範囲に収まるように正規化する。この結果得られた発行者レベルを、発行者ＩＤと対にし、発行者レベル記録手段Ｍ４に記録する。

削減率決定手段３２は、上記決定された発行者レベルと、この決定された発行者レベルに対応する各発行者ＩＤとを取得し、上記発行者のうちの１人である第１の発行者のレベルである第１の発行者レベルと、上記第１の発行者以外の発行者である第２の発行者のレベルである第２の発行者レベルとを比較し、この比較結果の差が大きいほど、文書の要約の削減率を大きくするように、上記第１の発行者に対する上記第２の発行者の削減率を決定する。

文書要約手段４０は、上記発行者ＩＤと上記削減率とを取得し、上記発行者ＩＤに対応している文書を文書データベースＤＢ１から取得し、上記削減率が大きいほど短い要約結果を得るような文書要約処理を、上記文書に行う。

発行者レベル記録手段Ｍ４は、発行者レベル決定手段５０が決定した上記発行者レベルを、上記発行者ＩＤと対応付けて記録する。

削減率記録手段Ｍ２は、削減率決定手段３２が決定した削減率を、上記第１の発行者ＩＤと、上記第２の発行者ＩＤとに対応付けて記録する。

要約結果記録手段Ｍ３は、文書要約手段４０が要約した結果を記録する。

次に、削減率決定手段３２が行う処理の流れについて説明する。

図１３は、削減率決定手段３２が行う処理を示すフローチャートである。

Ｓ２１で、閲覧者が過去に投稿済であるかどうかを判断し、投稿済であれば、Ｓ２２で、閲覧者（第１の発行者）レベルである第１の発行者レベルと、他の発行者（第２の発行者）のレベルである第２の発行者レベルとの差に応じて、削減率を決定する。Ｓ２１で閲覧者が過去に投稿していないと判断されれば、Ｓ２３で、全ての発行者ＩＤに対する削減率を０にする。そして、Ｓ２４で、発行者ＩＤと削減率との組み合わせを、削減率記録手段Ｍ２に記録する。

つまり、最初に、閲覧者（第１の発行者）が、以前に文書を投稿した発行者であるかどうかを調べるために、閲覧者に付与されている発行者ＩＤを、発行者レベル記録手段Ｍ４に問い合わせ、上記発行者ＩＤが存在するかどうかを調べる。

発行者レベル記録手段Ｍ４中に、該当する発行者ＩＤが存在しなければ、または、新規の閲覧者であって、発行者ＩＤが未だ割り当てられていなければ、発行者レベル記録手段Ｍ４に記録されている全ての発行者ＩＤについて、削減率として０を設定し、各発行者ＩＤと削減率との組み合わせを、削減率記録手段Ｍ２に出力する。

一方、発行者レベル記録手段Ｍ４中に、該当する発行者ＩＤが存在すれば、閲覧者自身の発行者レベル（第１の発行者レベル）と、他の発行者の発行者レベル（第２の発行者レベル）との差を、それぞれ計算し、各発行者の発行者ＩＤと対応付けて、削減率記録手段Ｍ２に記録する。

図１４は、閲覧者が、図１１に示す文書ＩＤ３００３のように、インド旅行の初心者が訪れないような地域の情報を書き込んだ発行者ＩＤ「ｕ３」を持つ発行者でもある場合、削減率決定手段３２が削減率記録手段Ｍ２に記録したデータ例を示す図である。

閲覧者（発行者ＩＤ「ｕ３」）自身を除いた、他の発行者ＩＤについて、それぞれ削減率が記録されている。

文書ＩＤ３００３の文書には、旅行初心者が訪れることがほぼない「○×○×」という町の名前や「○○○市場」等、図１２に示す専門用語辞書ＤＢ２において高い難易度を与えられている専門用語が複数含まれているので、閲覧者ＩＤ「ｕ３」の発信者レベルは、高い数値である。一方、日本からインドへの旅行において、一般的に用いられる「××航空」という航空会社名や、インド旅行初心者でも知っている「タージマハル」という観光地のように、低い難易度を持つ専門用語しか含まない文書ＩＤ３００１の文書や、文書ＩＤ３００４の文書を発行した発行者ＩＤ「ｕ１」の発行者については、低い発行者レベルが与えられるので、閲覧者（発行者ＩＤ「ｕ３」の発行者）の発行者レベルと、上記低い発行者レベルとの差が大きく、発行者ＩＤ「ｕ１」に対応する削減率は大きな値である。

また、文書ＩＤ３００５の文書の「インドは暑い。」のように、専門用語が極めて少ない文書についても、その発行者ＩＤ「ｕ４」の発行者レベルは、非常に低く、発行者ＩＤ「ｕ４」に対応する削減率は、大きな値になる。この他にも、極端に情報量が少ない文書や、議論の主旨とは無関係な内容しか含まないいたずら目的の文書等を発行する発行者については、極端に小さな発行者レベルを与えることによって、削減率を大きな値にする。
または、発行者レベルの値によらず、削減率を極めて高い値に設定するようにしてもよい。

航空券の種別を表す「Ｙ２」のように、旅行初心者が用いることが少ない専門用語を含む文書ＩＤ３００２の文書を発行した発行者ＩＤ「ｕ２」の発行者や、一般的に広く知られてはいない食品「チャパティー」や、発行者ＩＤ「ｕ３」の発行者と同様に、旅行初心者があまり訪れない町の名前「○×○×」等を含む文書ＩＤ３００６の文書を発行した発行者ＩＤ「ｕ５」の発行者については、いずれも高い閲覧者レベルが設定される。したがって、閲覧者ｕ３との発行者レベルの差は小さくなり、発行者ＩＤ「ｕ２」、「ｕ５」の発行者に対する削減率は、小さな値になる。

図１５は、実施例３において、要約結果記録手段Ｍ３に格納されている要約結果の例を示す図である。

便宜上、図１５中には、各要約結果に対応する文書ＩＤ３００１、３００２、３００４〜３００６の文書を記載してある。

高い削減率を与えられた発行者ＩＤ「ｕ１」、「ｕ４」の発行者が発行した文書ＩＤ３００１や３００４の文書について、それぞれ「××航空」、「タージマハル」のように、該当分野における専門用語自体が要約結果として、短い形式で出力され、該当分野における深い知識を有する発行者ＩＤ「ｕ３」の発行者にとっては、これらの要約結果を見るだけで、おおよその内容を類推することができる。また、該当分野における深い知識を持ち、高い発信者レベルが付与されていることを、発行者ＩＤ「ｕ３」の発行者自身が自覚している場合、要約結果が短いこと自体からも、自分自身よりも低い発信者レベルの発信者による投稿であることを把握することができ、おおよその内容を類推する場合に役立つ。必要に応じて、要約前の文書を参照できるようにすればよい。

また、極端に情報量が少ない文書ＩＤ３００５の文書を書き込んだことによって、削減率１を与えられた発信者ｕ４については、文書ＩＤ３００５の文書の要約結果として、図１５に示すよう、「−」が出力され、文書全体が削除されたことを示す。これによって、無意味な文書を読み飛ばすことができる。

つまり、文書要約装置３００は、文書ＩＤと文書の発行者ＩＤと文書とが記録されている文書データベースＤＢ１から、発行者ＩＤが同一である文書を全て取得し、この取得した文書群中に出現する専門用語の頻度（出現数）と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして決定する発行者レベル決定手段５０と、上記決定された発行者レベルと、この決定された発行者レベルに対応する各発行者ＩＤとを取得し、上記発行者のうちの１人である第１の発行者のレベルである第１の発行者レベルと、上記第１の発行者以外の発行者である第２の発行者のレベルである第２の発行者レベルとを比較し、この比較結果の差が大きいほど、文書の要約の削減率を大きくするように、上記第１の発行者に対する上記第２の発行者の削減率を決定する削減率決定手段３２とを有する文書要約装置の例である。

また、上記発行者ＩＤと上記削減率とを取得し、上記発行者ＩＤに対応している文書を文書データベースＤＢ１から取得し、上記削減率が大きいほど短い要約結果を得るような文書要約処理を、上記文書に行う文書要約手段４０を有する。

さらに、上記発行者レベル決定手段５０が決定した上記発行者レベルを、上記発行者ＩＤと対応付けて記録する発行者レベル記録手段Ｍ４と、削減率決定手段３２が決定した削減率を、上記第１の発行者ＩＤと、上記第２の発行者ＩＤとに対応付けて記録する削減率記録手段Ｍ２と、上記文書要約手段４０が要約した結果を記録する要約結果記録手段Ｍ３とを有する。

上記実施例によれば、要約対象の情報の難易度と、その情報を取得しようとする閲覧者の理解力とが考慮され、閲覧者の理解力に照らして、容易に理解できる平易な文書や、閲覧者にとって難易度が高く理解が困難な文書については、要約の度合いが高まり、サイズの小さな端的な要約結果を得ることができる。これによって、閲覧者にとって、閲覧するに足りないレベルの文書や、詳細に閲覧しても理解に時間を要する難解な文書について、その概要のみを大まかに理解した上で、簡潔に読み飛ばすことができる。

一方、閲覧者の理解力に照らして、適度な難易度を持つ文書については、要約の度合いが低く設定され、より具体的な高い要約結果が得られる。これによって、要約前の情報量に近い内容を読み取ることができる。

したがって、複数の文書を一度に要約し、閲覧者に提示する場合に、文書毎の難易度に応じた適切な度合いで要約を生成するので、全体として、複数文書の概要を効率的に把握することができる。

上記各実施例において、上記各手段を工程に置き換えれば、これらを方法の発明として把握することができる。

また、上記各実施例である文書要約装置を構成する各手段をコンピュータに実行させるプログラムを想定することができる。つまり、請求項１〜請求項６のいずれか１項記載の文書要約装置を構成する上記手段をコンピュータに実行させるプログラムを想定することができる。さらに、これらのプログラムを記録したコンピュータ読取可能な記録媒体を想定することができる。なお、上記記録媒体として、たとえば、ＣＤ、ＤＶＤ、光ディスク、光磁気ディスク、ＨＤ、半導体メモリが考えられる。

本発明の実施例１である文書要約装置１００の構成を示す図である。 実施例１における文書データベースＤＢ１に格納されているデータ例を示す図である。 実施例１における専門用語辞書ＤＢ２に格納されているデータ例を示す図である。 文書難易度決定手段１０が行う処理を示すフローチャートである。 実施例１において、要約結果記録手段Ｍ３が記録しているデータ例を示す図である。 本発明の実施例２である文書要約装置２００を示すブロック図である。 実施例２において、文書データベースＤＢ１に記録されているデータ例を示す図である。 発行者レベル決定手段５０が行う処理の流れを示すフローチャートである。 実施例２において、要約結果記録手段Ｍ３が記録しているデータ例を示す図である。 本発明の実施例３である文書要約装置３００を示す図である。 図１１は、実施例３における文書データベースＤＢ１に記録されているデータの例を示す図である。 実施例３における専門用語辞書ＤＢ２のデータ例を示す図である。 削減率決定手段３２が行う処理を示すフローチャートである。 閲覧者が、図１１に示す文書ＩＤ３００３のように、インド旅行の初心者が訪れないような地域の情報を書き込んだ発行者ＩＤ「ｕ３」を持つ発行者でもある場合、削減率決定手段３２が削減率記録手段Ｍ２に記録したデータ例を示す図である。 実施例３において、要約結果記録手段Ｍ３に格納されている要約結果の例を示す図である。

符号の説明

１００…文書要約装置、
ＤＢ１…文書データベース、
ＤＢ２…専門用語辞書、
ＤＢ３…閲覧履歴データベース、
１０…文書難易度決定手段、
２０…閲覧者レベル決定手段、
Ｍ１…閲覧者レベル記録手段、
３０…削減率決定手段、
Ｍ２…削減率記録手段、
４０…文書要約手段、
Ｍ３…要約結果記録手段、
２００…文書要約装置、
５０…発行者レベル決定手段、
Ｍ４…発行者レベル記録手段、
３１…削減率決定手段、
３００…文書要約装置、
３２…削減率決定手段。

Claims (8)

1. 文書ＩＤと文書とを記録している文書データベースから、文書を取得し、この取得した文書中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得された文書の難易度を決定する文書難易度決定手段と；
   閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースから、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する閲覧者レベル決定手段と；
   上記文書の難易度と上記閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率を決定する削減率決定手段と；
   を有することを特徴とする文書要約装置。
2. 文書ＩＤと文書とが記録されている文書データベースから、発行者ＩＤが同一である文書を取得し、この取得した文書群中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして決定する発行者レベル決定手段と；
   閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースから、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する閲覧者レベル決定手段と；
   上記発行者レベル決定手段が決定した発行者レベルと、上記閲覧者レベル決定手段が決定した閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率を決定する削減率決定手段と；
   を有することを特徴とする文書要約装置。
3. 文書ＩＤと文書とが記録されている文書データベースから、発行者ＩＤが同一である文書を取得し、この取得した文書群中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして決定する発行者レベル決定手段と；
   閲覧者が過去に文書を発行している場合に、当該閲覧者の発行者レベルを第１の発行者レベルとし、当該第１の発行者レベルと上記閲覧者以外の発行者である第２の発行者のレベルである第２の発行者レベルとを比較し、この比較結果の差が大きいほど、文書の要約の削減率を大きくするように、削減率を決定する削減率決定手段と；
   を有することを特徴とする文書要約装置。
4. 文書ＩＤと文書とを記録している文書データベースから、文書を取得し、この取得した文書中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得された文書の難易度を、文書難易度決定手段が決定する文書難易度決定工程と；
   閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースから、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを決定する閲覧者レベル決定工程と；
   上記文書の難易度と上記閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率決定手段が削減率を決定する削減率決定工程と；
   を有することを特徴とする文書要約方法。
5. 文書ＩＤと文書とが記録されている文書データベースから、発行者ＩＤが同一である文書を取得し、この取得した文書群中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして、発行者レベル決定手段が決定する発行者レベル決定工程と；
   閲覧者による過去の閲覧履歴を記録している閲覧履歴データベースから、閲覧者による過去の文書閲覧回数を取得し、上記文書閲覧回数に応じた閲覧者レベルを、閲覧者レベル決定手段が決定する閲覧者レベル決定工程と；
   上記発行者レベル決定工程で決定された発行者レベルと、上記閲覧者レベル決定工程で決定された閲覧者レベルとの差が大きいほど、文書の要約の削減率を大きくするように、削減率決定手段が削減率を決定する削減率決定工程と；
   を有することを特徴とする文書要約方法。
6. 文書ＩＤと文書とが記録されている文書データベースから、発行者ＩＤが同一である文書を取得し、この取得した文書群中に出現する専門用語の頻度と、上記専門用語の難易度とに基づいて、上記取得した文書群の難易度を決定し、この決定された難易度を、上記発行者ＩＤに対応する発行者のレベルである発行者レベルとして、発行者レベル決定手段が決定する発行者レベル決定工程と；
   閲覧者が過去に文書を発行している場合に、当該閲覧者の発行者レベルを第１の発行者レベルとし、当該第１の発行者レベルと上記閲覧者以外の発行者である第２の発行者のレベルである第２の発行者レベルとを比較し、この比較結果の差が大きいほど、文書の要約の削減率を大きくするように、削減率決定手段が削減率を決定する削減率決定工程と；
   を有することを特徴とする文書要約方法。
7. 請求項１〜請求項３のいずれか１項記載の文書要約装置を構成する上記手段としてコンピュータを機能させるためのプログラム
8. 請求項７記載のプログラムを記録したコンピュータ読取可能な記録媒体。

Images