JPH08297677A

JPH08297677A - 主題の要約を生成する自動的な方法

Info

Publication number: JPH08297677A
Application number: JP8084297A
Authority: JP
Inventors: Francine R Chen; フランシーヌ・アール・チェン
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1995-04-14
Filing date: 1996-04-05
Publication date: 1996-11-12
Also published as: US5689716A; EP0737927A2; DE69617515D1; EP0737927B1; EP0737927A3; DE69617515T2

Abstract

(57)【要約】【課題】機械で読み取り可能なドキュメントの主題の
要約を自動的に生成する方法を提供する。【解決手段】第１の複数の文と第２の複数の用語を含
んだドキュメントを機械で読み取り、プロセッサはプロ
セッサに結合されたメモリ内に電子的な形態で格納され
た命令を実行することにより、次のステップを実施す
る。ａ）主題の用語として、前記第２の複数の用語から
第１の数の用語を選択し、ｂ）各々の文の中の主題の用
語の発生に基づいて前記第１の複数の文の各々の文にス
コアを付け、ｃ）主題の文として、各々の文のスコアに
基づいて前記第１の複数の文から第２の数の文を選択す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動的なテキスト
処理の方法に関する。特に本発明は、ドキュメントの主
題の要約を生成する自動的な方法に関する。

【０００２】

【従来の技術】ドキュメント要約及び概要は、ドキュメ
ントを検討するのに必要な時間を減少させることによっ
て有効な機能を果たす。要約及び概要は、ドキュメント
作成の後に手動或いは自動的に生成することができる。
手動の要約及び概要は、高品質であるが人間の労働が必
要であるので高価になるおそれがある。別法として、要
約及び概要は、自動的に生成することができる。自動的
な要約及び概要は、安価に作成することができるが、高
品質を一貫して得ることは困難である。

【０００３】

【発明が解決しようとする課題】自動的な要約を生成す
るためのシステムは、二つの計算機的な技法、すなわ
ち、自然言語処理、或いは、量的な内容分析の一つに頼
っている。自然言語処理は、計算機的な処理を集中的に
行う。これに加えて、ドキュメント内容が限定されてい
ないときには、自然言語処理を使って意味的に正しい要
約及び概要を作成することは困難である。

【０００４】量的な内容分析は、テキストの統計上の特
性に頼って要約を作成する。ジェラルド・サルトン(Ger
ald Salton)は、「自動テキスト処理(Automatic Text P
rocessing)」(1989)において、ドキュメントを要約する
ための量的な内容分析の使用について議論している。サ
ルトン要約器(Salton summarizer)は、最初に、ドキュ
メント集成の中のテキスト語を分離する。次に、サルト
ン要約器は、タイトル、図、キャプション、脚注におい
て使用された語を、タイトル語としてフラグを立てる。
その後、ドキュメント集成の中の残りのテキスト語の発
生頻度が決定される。次いで、発生頻度とテキスト語の
位置は、語の重みを生成するために使われる。サルトン
要約器は、語の重みを使用して、ドキュメント集成の中
の各々のドキュメントの各々の文にスコアを付ける。こ
れらの文スコアは順番に使用されて、ドキュメント集成
の中の各々のドキュメント毎に、所定の長さの要約を作
成する。語の重みは、各々の個別のドキュメントの中よ
りは、ドキュメント集成の全体での発生に基づいて決定
されるので、個別のドキュメントのテーマを正確には反
映していない恐れがある。

【０００５】

【課題を解決するための手段】機械で読み取り可能なド
キュメントの主題の要約を自動的に生成する技法が説明
される。この技法は、ドキュメント内の主題の用語の識
別で始まる。次に、ドキュメントの各々の文に、その文
に含まれる主題の用語の数に基づいて、スコアが付けら
れる。その後、最もスコアが高い文が、主題の文として
選択される。

【０００６】

【発明の実施の形態】図１は、自動的にドキュメントの
主題の要約を生成するためのコンピュータシステムを示
す。

【０００７】図２は、図１のコンピュータシステムを使
用するドキュメントの主題の要約を生成する方法のフロ
ーチャートである。

【０００８】図１は、本方法が実施されたコンピュータ
システム１０を、ブロック図形式で示す。本方法は、コ
ンピュータシステム１０の動作を変え、機械が読み取り
可能な形態で表されたどのようなドキュメントの主題の
要約も生成することを可能にする。簡単に説明されたよ
うに、コンピュータシステム１０は、ドキュメント内で
主題の用語を識別し、次いで、文内に含まれる主題の用
語の数に基づいてドキュメントの各々の文にスコアを付
けることにより、主題の要約を生成する。その後、コン
ピュータシステム１０は、最も高いスコアが付けられた
文を、主題の文として選択し、そしてそれらの文をコン
ピュータシステム１０のユーザに提示する。

【０００９】本方法のより詳細な議論の前に、コンピュ
ータシステム１０について検討する。コンピュータシス
テム１０は、コンピュータユーザへ情報を視覚的に表示
するためのモニタ１２を含む。コンピュータシステム１
０は、プリンタ１３によってもコンピュータユーザに情
報を出力する。コンピュータシステム１０は、コンピュ
ータユーザに、データを入力するための幾つもの方法を
提供する。キーボード１４は、コンピュータユーザがタ
イピングによってコンピュータシステム１０にデータを
入力することを可能にする。マウス１６を移動すること
によって、コンピュータユーザは、モニタ１２に表示さ
れたポインタを移動することが可能になる。また、コン
ピュータユーザは、スタイラス或いはペンで電子タブレ
ット１８に書くことによっても、コンピュータシステム
１０に情報を入力することができる。別法として、コン
ピュータユーザは、フロッピーディスクドライブ２２に
ディスクをさしこむことによって、フロッピーディスク
のような磁気媒体に格納されたデータを入力することが
できる。光学的文字認識ユニット（ＯＣＲユニット）２
４により、コンピュータユーザがハードコピードキュメ
ントをコンピュータシステムに入力することが可能にな
り、次いで、ＯＣＲユニット２４は、符号化された電子
的表現、典型的には情報交換用米国標準コード（ＡＳＣ
ＩＩ）に変換される。

【００１０】コンピュータユーザの命令を実行するため
に、プロセッサ１１は、コンピュータシステム１０の動
作を制御すると共に調整する。メモリに電子的に、すな
わち、メモリ２８或いはディスクドライブ２２内のフロ
ッピーディスクのいずれかに、格納された命令を実行す
ることによって、プロセッサ１１は、各々のユーザコマ
ンドに応じた適切な挙動を決定し且つ行う。典型的に
は、プロセッサ１１に対する動作命令は、固体メモリ２
８に格納され、命令への頻繁で迅速なアクセスが可能と
なる。使うことができる半導体メモリ装置には、読み出
し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（Ｒ
ＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡ
Ｍ）、プログラム可能な読み出し専用メモリ（ＰＲＯ
Ｍ）、消去可能なプログラム可能な読み出し専用メモリ
（ＥＰＲＯＭ）、フラッシュメモリのような電気的に消
去可能なプログラム可能な読み出し専用メモリ（ＥＥＰ
ＲＯＭ）が含まれる。

【００１１】図２は、機械が読み取り可能な主題の要約
を生成するために、プロセッサ１１によって実行された
命令４０をフローチャート形式で示す。命令４０は、固
体メモリ２８内に、或いは、フロッピーディスクドライ
ブ２２内に置かれたフロッピーディスクに格納すること
ができる。命令４０は、ＬＩＳＰとＣ＋＋を含むどのよ
うなコンピュータ言語でも実現することができる。

【００１２】命令４０の実行を開始するためには、ドキ
ュメントを電子的な形態で選択して入力することが必要
である。もし所望であるならば、命令４０の実行開始前
に、コンピュータユーザは、「Ｓ」で示された主題の要
約の長さを、デフォルトの長さから変えてもよい。主題
の要約のデフォルトの長さは、任意の数の文に設定する
ことができる。ドキュメントの拾い読みを意図している
実施態様においては、主題の要約のデフォルトの長さ
は、五つの文に設定される。

【００１３】プロセッサ１１は、ステップ４２に分岐す
ることによって、要約すべきドキュメントの選択に応答
する。ステップ４２の期間では、プロセッサ１１は、選
択された語及び文をトークン化する。すなわち、プロセ
ッサ１１は、選択されたドキュメントの、機械が読み取
り可能な表現を分析し、文の境界及び各文の中の語を識
別する。自然言語テキストのトークン化は周知であり、
したがって、ここでは詳細には説明されない。これに加
えて、トークン化の期間中は、プロセッサ１１は、ドキ
ュメントの各々の文に文Ｉ．Ｄ．を割り当てる。一つの
実施態様においては、各々の文は、ドキュメントの開始
に関してその位置を表している数によって識別される。
文を識別する他の方法が、本方法に影響を与えることな
く使用できる。選択されたドキュメントのトークン化の
後で、プロセッサ１１はステップ４２からステップ４４
へ分岐する。

【００１４】プロセッサ１１は、ステップ４４の間に、
ドキュメントの各々の語トークンを調べ、その語を用語
リストに既に含まれている用語を比較する。語トークン
がリストにまだ含まれていない場合には、次いで、プロ
セッサ１１は、その語を用語リストに加えて、その語が
発生した文の文Ｉ．Ｄ．を注記する。他方、語が用語リ
ストに既にある場合には、プロセッサ１１は、その用語
についてのエントリ或いはリストへ、その語についての
文Ｉ．Ｄ．を単純に加える。言い換えれば、ステップ４
４の期間中、プロセッサ１１は、その言葉の発生毎の位
置とドキュメントの語を関連させるデータ構造を生成す
る。このように、たとえば、「背教(apostasy)、７、
９、１２」の用語リストエントリは、用語「背教」が、
ドキュメントの文７と９と１２で発生するということを
示す。

【００１５】好ましくは、用語リストを生み出している
間、プロセッサ１１は、ストップ語を取り除く。ここで
使用されたように、「ストップ語(stop word)」は、主
題の意味を伝達せず、また、自然語テキストにおいて非
常に頻繁に発生する語である。ほとんどの代名詞、前置
詞、決定詞、及び、動詞「である(to be)」は、ストッ
プ語として分類される。このように、例えば、「そして
(and)、一つの(a)、その(the)、〜の上の(on)、〜によ
って(by)、〜について(about)、彼(he)、彼女(she)」の
ような語は、ストップ語である。ドキュメント内のスト
ップ語は、ストップ語のリストとドキュメントについて
の語トークンを比較することによって識別される。用語
リストからストップ語を削除することは必要でないが、
削除すれば、ドキュメントの主題の要約を生成するのに
必要な全体の処理時間が減少する。

【００１６】プロセッサ１１は、用語リストを完成した
後でステップ４４からステップ４６へ分岐する。ステッ
プ４６の間に、プロセッサ１１は用語リストを分析し
て、ドキュメント中で各用語の発生回数を決定する。こ
れは、単純に、その言葉に関係している文Ｉ．Ｄ．の数
を数えることによって行なわれる。それが行なわれて、
プロセッサ１１は、ステップ５０に分岐する。

【００１７】実行の開始より後で、ステップ５０の実行
の前に、ステップ４８の間に、プロセッサ１１は、主題
の文を選ぶ際に使用されるべき主題の用語の数を決定す
る。「Ｋ」で示されたその数は、主題の要約の長さに基
づいて、すなわち、Ｓに基づいて、決定される。一般
に、ＫはＳ未満で１より大きくあるべきである。ＫをＳ
より小さくすることにより、選択された主題の文の間の
幾分かの共通性を確実にする。好ましくは、Ｋは下式に
従って決定される。

【００１８】

【数１】ここで、ｃ₁ はその値が１未満の定数、Ｓは主題の要
約の中の文の数、Ｋは主題の用語の数である。

【００１９】一つの実施態様においては、ｃ₁の値が、
０．７と等しくされる。

【００２０】Ｋの値とステップ４６の間に生成された用
語カウントが与えられ、プロセッサ１１は、Ｋ個の主題
の用語を選択する処理を始める。ステップ５０の間、プ
ロセッサ１１は、それらのカウント、すなわち、ドキュ
メントの中の各々の用語の総発生回数に従って用語リス
トの用語をソートする。二つの用語が同じカウントを有
する場合には、最大文字数を含む用語の方が選択され
る。ソートされた用語リストが生成され、そのリストが
メモリに格納されると、プロセッサ１１は、ステップ５
０からステップ５２に分岐する。ステップ５２の間に、
プロセッサは、ソートされた用語リストから最も高いカ
ウントを有するＫ個の用語を選択する。それが行なわれ
て、プロセッサ１１は、ステップ５４に進む。

【００２１】ステップ５４の間に、プロセッサ１１は、
ドキュメントの中のＫ個の主題の用語の総発生回数を計
算する。「Ｎ」で示されるその数は、Ｋ個の主題の用語
のカウントを合計することによって計算される。プロセ
ッサ１１は、ステップ５４からステップ５６に分岐す
る。

【００２２】主題の用語が選択され、それらのカウント
が決定されると、プロセッサ１１は、ドキュメントの文
の主題の内容を評価することを始める準備ができる。ス
テップ５６、５８、６０、６２の間に、プロセッサ１１
は、Ｋ個の主題の用語の少なくとも一つを含むそれらの
文だけを考慮する。プロセッサ１１は、ソートされた用
語リストのＫ個の最も高いスコアが付けられた用語を調
べることによってそれを行う。ｔ_sで示された用語を選
択した後に、ステップ５６の間に、プロセッサ１１は、
ステップ５８の間にｔ_sに関係している各々の文Ｉ．
Ｄ．を調べる。ｔ_sに関係している各々の文Ｉ．Ｄ．に
ついて、プロセッサ１１は、文のスコアを増加する。好
ましくは、各々の文毎のスコアが、下式で表されるｓだ
け増加される。

【００２３】ｓ＝ｃｏｕｎｔｔ_s 〔ｃ₂＋ｆｒｅｑｔ_s〕；ここで、ｃｏｕｎｔｔ_sは、文の中のｔ_sの発生回数、
ｃ₂は、ゼロでない正の値を有する定数、ｆｒｅｑｔ_s
は、選択された用語ｔ_sの頻度である。ｆｒｅｑｔ
_sは、下式で表される。ｆｒｅｑｔ_s＝ｃｏｕｎｔｔ_s／Ｎ；ここで、Ｎは、ドキュメント内の主題の用語の総発生回
数を表す。好ましくは、ｃ₂は１の値に設定される。

【００２４】文スコアは、ステップ５８の間に文スコア
リストを生成することによって跡を追うことができる。
プロセッサ１１が文Ｉ．Ｄ．を選択する毎に、文スコア
リストが調べられ、その文Ｉ．Ｄ．を含んでいるかどう
かを見る。含んでいない場合には、その文Ｉ．Ｄ．が文
スコアリストに追加され、そのスコアが適切に増加され
る。他方、文スコアリストが既に特定の文Ｉ．Ｄ．を含
んでいる場合には、次いで、その文と既に関係があるス
コアが、先に述べたような方法で増加される。

【００２５】選択された用語ｔ_sに関係する全てのスコ
アを増加した後に、プロセッサ１１は、ステップ５８か
らステップ６０へ分岐する。ステップ６０の間、プロセ
ッサ１１は、全ての主題の用語が評価されたかどうか決
定する。そうでない場合には、プロセッサ１１はステッ
プ５６へ戻って、選択された用語として他の主題の用語
を選択する。プロセッサ１１は、すべての主題の用語が
調べられるまで、先に説明したように、ステップ５６、
５８、６０を通って分岐する。その事象が発生すると
き、プロセッサ１１は、ステップ６０からステップ６２
に分岐する。

【００２６】ステップ６２の間、プロセッサ１１は、主
題の要約として、最も高いスコアを有するＳ個の文を選
択する。プロセッサ１１は、スコアによって文スコアリ
ストをソートすることによってこれを行なう。主題の文
が選択されると、プロセッサ１１は、主題の要約をユー
ザにモニタ１２或いはプリンタ１３を介して提示するこ
とができ、また、主題の要約を後で使用するためにメモ
リやフロッピディスクに格納することもできる。主題の
要約の文は、好ましくは、ドキュメント内の発生順に提
示される。文は、パラグラフ形式で提示することができ
るが、文は論理的にパラグラフを形成しないかもしれな
いので、各々の文について個別に提示することが好まし
い。主題の要約の生成が完了すると、プロセッサ１１
は、ステップ６２からステップ６４に分岐する。

【００２７】このように、ドキュメントのための主題の
要約を自動的に生成する方法が説明された。この方法
は、量的な内容分析に頼って主題の用語を識別し、これ
は次に主題の文を識別するために使用される。付録Ａと
付録Ｂは、主題の要約を自動的に生成するこの方法を使
って生成された要約を含む。

【００２８】付録Ａ：シュワルナゼの辞任演説の要約私がこのような演説のテキストを作成し、私がそれを書
記局に渡し、そして代理人がそれを知ることができる−
−国の指導者によって、大統領によって、そして外務省
によって行われたきた現在の政策の範囲は何か、また、
国の発展、我々の民主化と国の再生、経済発展等のため
に、どのようにして現在の状況が形作られてきたかであ
る。

【００２９】昨日、何人かの同志による演説があった。
−−彼らは退役軍人である。−−彼らは、大統領と国の
指導者がペルシャ湾へ軍隊を送ること禁止することを採
択する宣言の必要性に疑義を呈した。そして、これらの
昨日の同志の演説は、忍耐の杯を満たし、そして溢れさ
せた。

【００３０】国内及び海外の双方で、１０回程、私はこ
の対立に対するソビエト連邦の態度を講演し、説明しな
ければならなかった。

【００３１】その場合には、新しい政治的な思想の原則
を主張する分野において、我々の全てによって、国全体
によって、及び、我々の人民の全てによって、近年行わ
れた全てのことに衝突しなければならなかった。

【００３２】第２に、私がくり返して説明し、そして、
ミハイル・セルゲイビッチが最高議会における彼の演説
でこれを話したように、ソビエト指導者は何も計画を持
っていない。−−少なくとも私は知らない。多分誰かが
何らかの計画を持っているかもしれないが、あるグルー
プ−−但し公の機関、国防省−−外務大臣がペルシャ湾
付近で軍隊を上陸させる計画を立てることが非難され
た。

【００３３】第３の問題は、私がそこで言ったことであ
り、そして、私が確認し公に述べたことであるが、ソビ
エトの人民の利益が侵略される場合には、ただ一人の人
民が被害を受ける場合であっても、どこで起きた場合で
あっても、どの国においてであっても、イラクにおいて
だけではなく、他のどの国においても、−−無論、ソビ
エト政府においても、ソビエト側の意思は、その市民の
利益を擁護する。

【００３４】それでもやはり、私は、これは偶発的な事
象ではないと主張する。失礼、私はいまソビエト最高会
議の議会を召還するところである。同志ルカノフのイニ
シアティブで、文字通り会議の前に、ドイツ民主共和国
との条約に関する協議事項に重大な問題が含められた。

【００３５】私は、私の国で起こっていること、そし
て、我々の人民を待つ裁判に甘んじることはできない。

【００３６】付録Ｂ：ジョン・シーリイ・ブラウン(Joh
n Seely Brown)による「会社を再発明する研究(Researc
h that Reinvents Corporation)」の要約会社が技術の急速な変化にペースを合わせ、そして、不
安定なビジネス環境に対処しようとするとき、研究部門
は、単に新製品を発明すること以上のことを行わなけれ
ばならない。

【００３７】次の十年間で、ＰＡＲＣの研究員は、パー
ソナルコンピュータの革命的であるだけの基本的な発明
のいくつかに対して責任があり、他の会社がゼロックス
より速くこれらの発明を商業化するのを見ていた。

【００３８】これらの問題に対する一つの人気がある解
答は、研究部門の焦点を革新的なブレークスルーから離
れて、段階的な発明の方向に移動させることであり、基
本的な研究から離れて応用研究の方向に移動させること
である。

【００３９】パイオニア的な研究を行うことを我々が強
調することが、我々に技術、発明、そして実際研究自身
が何を意味するのかを再定義させた。

【００４０】そのような活動は、情報技術「遍在する計
算(ubiquitous computing)」、すなわち、広範囲な毎日
の目的における情報技術の組み込みおける次の偉大なブ
レークスルーを成功裏に開発するために、会社にとって
不可欠である。

【００４１】会社組織の研究が、その製品だけでなく会
社の営業に集中することを始めるとき、他の原則は急速
に明確になる。発明は、研究部門の特権的な活動ではな
い。ＰＡＲＣにおいて、我々は、ゼロックスのビジネス
の最前線の従業員による局地的な発明のこの処理を検討
し、技術を発展させて、全体として会社のための収穫を
得るための技術を開発する。

【００４２】結果：ゼロックスのコア製品への重要な貢
献だけでなく、我々の会社を遙に越えて実施される発明
への独特なアプローチ。

【図面の簡単な説明】

【図１】自動的にドキュメントの主題の要約を生成す
るためのコンピュータシステムを示す。

【図２】図１のコンピュータシステムを使用するドキ
ュメントの主題の要約を生成する方法のフローチャート
である。

【符号の説明】

１０コンピュータシステム、１１プロセッサ、１２
モニタ、１３プリンタ、１４キーボード、１６
マウス、１８タブレット、２２ディスクドライブ、
２４ＯＣＲユニット、２８固体メモリ

Claims

【特許請求の範囲】

【請求項１】機械が読み取り可能な形態でプロセッサに
対して提示されたドキュメントの主題の要約を生成する
プロセッサにより実施される方法であって、ドキュメン
トは第１の複数の文と第２の複数の用語を含んでおり、
前記プロセッサはプロセッサに結合されたメモリ内に電
子的な形態で格納された命令を実行することにより前記
方法を実施するものであり、ａ）主題の用語として、前記第２の複数の用語から第１
の数の用語を選択するステップと、ｂ）各々の文の中の主題の用語の発生に基づいて前記第
１の複数の文の各々の文にスコアを付けるステップと、ｃ）主題の文として、各々の文のスコアに基づいて前記
第１の複数の文から第２の数の文を選択するステップと
を含むプロセッサにより実施される方法。
【請求項２】前記ドキュメントの中で主題の文が発生す
る順に主題の文をプロセッサのユーザに提示するステッ
プを更に含む請求項１に記載のプロセッサにより実施さ
れる方法。
【請求項３】前記ステップｂ）が、文章の中で主題の用
語が発生する度に、ドキュメントの中での主題の用語の
発生頻度に関連した量だけ、各文のスコアを増加するス
テップを含む請求項１に記載のプロセッサにより実施さ
れる方法。