JP3879321B2 - 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体 - Google Patents

文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3879321B2
JP3879321B2 JP22763899A JP22763899A JP3879321B2 JP 3879321 B2 JP3879321 B2 JP 3879321B2 JP 22763899 A JP22763899 A JP 22763899A JP 22763899 A JP22763899 A JP 22763899A JP 3879321 B2 JP3879321 B2 JP 3879321B2
Authority
JP
Japan
Prior art keywords
analysis
score
sentence
graph
analysis graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22763899A
Other languages
English (en)
Other versions
JP2000235584A (ja
Inventor
良寛 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP22763899A priority Critical patent/JP3879321B2/ja
Priority to US09/454,863 priority patent/US6493663B1/en
Publication of JP2000235584A publication Critical patent/JP2000235584A/ja
Application granted granted Critical
Publication of JP3879321B2 publication Critical patent/JP3879321B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は文書の概要を把握させるための要約を作成する文書要約装置、文書要約方法及び要約作成プログラムを記録した記録媒体に関し、特に複数文書に対してその集合全体の概要を把握させる要約を作成するための文書要約装置、文書要約方法及び要約作成プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
従来より要約作成技術が研究されており、実用になるものが開発されている。これらの従来の技術は単一文書に対する要約を作成するものがほとんどである。ところが、複数の文書の概要を把握するための要約が必要な場合がある。しかも、単一文書向けに開発された方法をそのまま複数文書に対して適用しても、適切な要約は作成されない。
【0003】
従来の要約技術でよく採用されている方法として、重要文ピックアップまたは抄録という方法がある。これらの方法では、まず、文書中の各文に対して、単語の出現頻度、文書中や段落中での位置、固有名詞の使用などよりスコアを付与する。文数、または全体の長さが予め設定したおいた値に達するまで、スコアの高いものから文をピックアップし、それらを並べて要約とするものである。この方法を複数文書に適用した場合、選ばれた文は文書群の中の1つの文書中にあったものであり、文書集合を代表するものとはいえず、全体の要約としてふさわしくない。
【0004】
そこで、複数文書に対する要約技術が必要とされる。複数文書で用いられる要約技術としては以下のようなものがあげられる。
(1)キーワード列挙
文書群で頻出する単語をキーワードとして、一定数を列挙する。このような例としては、Cutting, et al. "Scatter/ Gather: A Cluster-based Approach to Browsing Large Document Collections" SIGIR-92 (1992)に記載の分類技術を用いてなされた発明がある。その発明は、特開平5−225256号公報や米国特許USP5,442,778にも開示されている。キーワード列挙では、文書群を分類し、分類されたクラスターにそのクラスターで現れる頻出単語を列挙する。
【0005】
(2)抽出された意味から文を生成するもの
抽出された意味から文を生成するものとして、SUMMONS(SUMMarizing Online NewS articles)がある。これは、McKeown and Radev, "Generating Summaries of Multiple News Articles" SIGIR-95 (1995)に開示されている。この技術は、予め用意したテンプレートのスロットを複数文書から抽出した情報で埋めるものである。そしてテンプレートに埋められた情報を意味構造とし、その意味構造からあるパターンにあった文を要約として生成するものである。
【0006】
(3)続報記事の合成
船坂、山本、増山:「冗長度削減による関連新聞記事の要約」自然言語処理114-7(996) に記載された技術では、続報を伝える複数記事から冗長部分を削除して合成することで、複数文書の要約を作成している。一般に続報記事は、背景としてこれまでの経過を伝える部分が存在する。そこで、背景に関する記事がある場合には、この背景説明部分は冗長となる。このため、この部分を削除して記事を合成することで、冗長部分を削除した要約を生成する。
【0007】
(4)複数文の合成
同じ内容の文書(同じ事件を伝える複数新聞社の新聞記事)から同じ意味を共有する文を特定し合成する。
【0008】
特開平10−134066号公報に開示された文章集約装置では、まず、指定した文章(文字ニュースを対象としている)に似た文章(他の新聞社の文字ニュース)を集める。次に、文章を文に分割し、似通った文同士をグループ化する。ここで、似た文とは、一致する単語の数が閾値以上のもので、例えば「台風5号、九州上陸」、「大型の台風5号が九州上陸」、…などである。
【0009】
これらのグループそれぞれから、グループの代表文を作成する。この代表文作成方法としては、1つを選択したり、文節の共通集合を生成したり、或いは合併集合を生成するなどの方法が考えられる。例えば、共通集合をとると「台風5号九州上陸」、合併集合をとると「大型の台風5号が、九州上陸」となる。
【0010】
柴田他「複数文書の融合」自然言語処理研究会120-12(1997)に示された方法も同様に、同じ事件を伝える複数新聞社の新聞記事から、同じ意味を共有する文を特定し、その合成をとる。合成方法として、AND型(要素の共通集合)、OR型(合併集合)などがある。
【0011】
【発明が解決しようとする課題】
しかし、従来の技術では、それぞれ以下のような問題点があった。
(1)キーワード列挙の場合には、単語それぞれが独立して現れ、単語間の関係が示されない。このため読者は、キーワードの並びや、その他雑多な知識から、その文書群で言われていることを推測するしかない。すなわち、推測するためにその分野に関する知識、その文書群で記述されている事象に関する知識を必要とする。
【0012】
(2)抽出された意味から文を生成する場合には、対象となる文書が強く限定される。例えば、テロリストが起こした事件に対する記事(「誰が、どこで、いつ、どのような攻撃を起こして、人間の犠牲者、及び破壊された建造物は…」)のような限定的な文しか対象にしていない。すなわち、事件のタイプごとにこのような意味テンプレートを予め作成しておく必要がある。そのため、同じ事件に対する記事のみを対象とすることができる。従って、検索結果やクラスタリングの結果として集まってきた文書群に対して適用することはできない。
【0013】
(3)続報記事の合成では、同じ事件の初報と続報だけが要約の対象になっている。従って、検索結果やクラスタリングの結果として集まってきた文書群に対して適用することはできない。
【0014】
(4)複数文の合成では、同じ事件を伝えるものにしか適用できない。従って、検索結果やクラスタリングの結果として集まってきた文書群に対して適用することはできない。
【0015】
本発明はこのような点に鑑みてなされたものであり、比較的多様な内容の文書群に対して適用しても分かり易い要約を生成することができる文書要約装置を提供することを目的とする。
【0016】
また、本発明の他の目的は、比較的多様な内容の文書群に対し適用可能であり、かつ分かり易い要約を生成するための文書要約方法を提供することである。
また、本発明の別の目的は、比較的多様な内容の文書群に関する分かり易い要約を生成する処理をコンピュータに行わせることができる要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することである。
【0017】
【課題を解決するための手段】
本発明では上記課題を解決するために、文書集合の要約を作成する文書要約装置において、処理対象として指定された文書に含まれる文の構文を解析し、単語間の関係を記述した解析グラフを生成する文解析手段と、前記文解析手段が生成した解析グラフに対し、重要度に応じたスコアを付与する解析グラフスコア付与手段と、前記解析グラフスコア付与手段でスコア付けされた解析グラフを蓄積するとともに、同じ概念を示す解析グラフ同士を統合し、統合された解析グラフに対して付与されたスコアを統合内容に応じて増加させる解析グラフスコア累積手段と、処理対象として指定された全ての文書から解析グラフが生成され、前記解析グラフスコア累積手段に蓄積されたら、前記解析グラフスコア累積手段に蓄積された解析グラフ群からスコアの高いものを選択し、選択した解析グラフから要約文を合成する文合成手段と、を有することを特徴とする文書要約装置が提供される。
【0018】
このような文書要約装置によれば、複数の文書を処理対象として指定すると、文解析手段により、各文書に含まれる文の構文が解析され、単語間の関係を記述した解析グラフが生成される。すると、解析グラフスコア付与手段により、生成された解析グラフに対して、重要度に応じたスコアが付与される。スコア付けされた解析グラフは解析グラフスコア累積手段に蓄積される。その際、同じ概念を示す解析グラフ同士は、解析グラフスコア累積手段によって統合され、統合された解析グラフに対して付与されたスコアは、統合内容に応じて加算される。
【0019】
また、上記課題を解決するために、文書集合の要約を作成する文書要約方法において、文解析手段が、処理対象として指定された文書に含まれる文の構文を解析し、単語間の関係を記述した解析グラフを生成し、解析グラフスコア付与手段が、生成された解析グラフに対し、重要度に応じたスコアを付与し、解析グラフスコア累積手段が、スコア付けされた解析グラフを蓄積するとともに、同じ概念を示す解析グラフ同士を統合し、統合された解析グラフに対して付与されたスコアを統合内容に応じて増加させ、文合成手段が、処理対象として指定された全ての文書から解析グラフが生成され、蓄積されたら、蓄積された解析グラフ群のスコアの高い解析グラフから要約文を合成する、ことを特徴とする文書要約方法が提供される。
【0020】
このような文書要約方法によれば、処理対象として複数の文書を指定すると、それらの文書に含まれる文から解析グラフが生成され、その解析グラフの重要度の高いものによって要約文が合成される。
【0021】
また、上記課題を解決するために、コンピュータに文書集合の要約を作成させるための要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体において、処理対象として指定された文書に含まれる文の構文を解析し、単語間の関係を記述した解析グラフを生成する文解析手段、前記文解析手段が生成した解析グラフに対し、重要度に応じたスコアを付与する解析グラフスコア付与手段、前記解析グラフスコア付与手段でスコア付けされた解析グラフを蓄積するとともに、同じ概念を示す解析グラフ同士を統合し、統合された解析グラフに対して付与されたスコアを統合内容に応じて増加させる解析グラフスコア累積手段、処理対象として指定された全ての文書から解析グラフが生成され、前記解析グラフスコア累積手段に蓄積されたら、前記解析グラフスコア累積手段に蓄積された解析グラフ群からスコアの高いものを選択し、選択した解析グラフから要約文を合成する文合成手段、としてコンピュータを機能させること特徴とする要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【0022】
このような記録媒体に記録された要約作成プログラムをコンピュータに実行させれば、上記本発明に係る文書要約装置に必要な機能がコンピュータ上に構築される。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の原理構成図である。本発明の文書要約装置は、文書集合の要約を作成するものである。ここで、処理対象の文書1としては、例えば一定期間内の新聞の経済記事をクラスタリングし、1つのクラスターを構成する各文書を処理対象とする。
【0024】
文解析手段2は、処理対象として指定された文書1に含まれる文の構文を解析し、単語間の関係を記述した解析グラフである解析木3を生成する。解析木スコア付与手段4は、文解析手段2が生成した解析木3に対し、重要度に応じたスコアを付与する。例えば、解析木を構成する要素が多いほど詳しい内容であると考え、要素数に応じたスコアを付与する。解析木スコア累積手段5は、解析木スコア付与手段4でスコア付けされた解析木を蓄積するとともに、同じ概念を示す解析木同士を統合し、統合された解析木に対して付与されたスコアを統合内容に応じて増加させる。スコアの増加方法としては、例えば、統合した各解析木のスコアの合計を統合後のスコアとする。文合成手段6は、処理対象として指定された全ての文書1から解析木が生成され、解析木スコア累積手段5に蓄積されたら、解析木スコア累積手段5に蓄積された解析木群からスコアの高いものを選択し、選択した解析木から要約文7を合成する。
【0025】
このような文書要約装置に対して、処理対象とすべき文書1を指定する情報を入力すると、文解析手段2によって指定した文書1に含まれる文の構文が解析され、単語間の関係を記述した解析木3が生成される。文解析手段2によって生成された解析木3は、解析木スコア付与手段4によって、重要度に応じたスコア付けがなされる。スコア付けされた解析木は、解析木スコア累積手段5に格納される。その際、同じ概念の解析木同士は統合され、統合された解析木に対して付与されたスコアが統合内容に応じて増加される。処理対象として指定された全ての文書1から解析木が生成され、解析木スコア累積手段5に蓄積されたら、文合成手段6によって、解析木スコア累積手段5に蓄積された解析木群からスコアの高いものが選択される。そして、選択した解析木から要約文7が合成される。
【0026】
このような要約文7は、複数の文書の中で共通に流れる概念から短い句を合成し、列挙したものになる。従って、1年間の新聞記事の要約文を作成すれば、1年間で多く話題に上った事件のリストなどを取得することができる。すなわち、処理対象とする文書の制約が少ない。しかも、文章として生成されるため、キーワードの列挙等に比べ、非常に理解し易い内容となっている。
【0027】
ところで、解析木を生成する際に、1つの文から生成された解析木のサブグラフであるサブツリーを生成することで、概念の同一性を様々な角度で検証できる。以下、そのような例を、第1の実施の形態として説明する。
【0028】
図2は、第1の実施の形態の構成図である。第1の実施の形態の文書要約装置は、入力文書保持手段11、文解析手段12、解析木展開手段13、解析木スコア付与手段14、解析木スコア累積手段15、及び文合成手段16で構成される。
【0029】
入力文書保持手段11は、この文書要約装置に与えられる文書群11aを保持する。この文書群11aは、内容的には一定のテーマで集められたものが望ましい。例えば、ある検索式を与えて検索した結果、または、より大きな文書集合を分類(クラスタリング)して得られた結果などである。
【0030】
文解析手段12は、要約作成指令を受けると、入力文書保持手段11の文書群の各文に対して構文解析を行う。構文解析手法は一般に知られている方法が存在する。この結果は一般的に木構造で表現されるが、ここでは、自立語の係り受け関係を表現したものを採用する。生成した解析木12aは、解析木展開手段13と解析木スコア付与手段14とに渡される。
【0031】
解析木展開手段13は、文解析手段12で生成された解析木12aを展開し、解析木12aに内在する文を、個別の解析木13aとして生成する。ここで、ある解析木を展開することによって生成される解析木を特にサブツリーと呼ぶ。サブツリーとして生成された解析木13aの集合は、解析木スコア付与手段14に渡される。なお、サブツリーは、文として意味をなす最小単位まで生成される。解析木の最小単位とは、ノード2個とそれらを結ぶアークで構成されたものである。
【0032】
解析木スコア付与手段14は、得られた解析木にスコアを与える。ここでは、解析木の構成要素(ノード)数をスコアとする。スコアの算出方法としては、これ以外にも様々な方法が考えられる。例えば、関係の種類により重み付けを変えて合計する方法、単語の重要度スコアを加味する方法などである。関係の種類による重み付けを行う場合には、必須格「4」、その他の連用修飾関係「3」、連体修飾関係「2」、名詞連続「1」などというように、文の骨格を重視し、枝葉を軽くする。
【0033】
解析木スコア累積手段15は、解析木スコア付与手段14によってスコア付けされた解析木を蓄積する。この際、同じ解析木が現れるたびにその解析木を統合し、統合された解析木のそれぞれのスコアを合算する。
【0034】
文合成手段16は、解析木スコア累積手段に蓄積された解析木群からスコアの高いものを選択し、解析木から文を組み立てる。そして、選択した全ての解析木から組み立てた文を合成して、要約文16aとする。
【0035】
このような構成の文書要約装置において要約を作成するには、まず、合成の対象とすべき文書群11aを入力文書保持手段11に格納しておく。そして、ユーザが文書要約装置に対して、要約作成指令を入力する。すると、文解析手段12が、入力文書保持手段11に格納されている文書を順次取り出し、取り出した文書中の文に対して構文解析を行い、解析木12aを生成する。次に、解析木展開手段13により、文解析手段12が生成した解析木12aからサブツリーが生成される。そして、文解析手段12で生成された解析木12aと解析木展開手段13でサブツリーとして生成された解析木13aとが、解析木スコア付与手段14に渡される。そのらの解析木は、解析木スコア付与手段14によって、スコアが与えられる。スコア付けされた解析木は、解析木スコア累積手段15に蓄積される。蓄積される際に、同じ解析木がすでに格納されていたら、それらの解析木は統合され、スコアが累積される。これにより複数の文書で現れる共通の解析木に対しては高いスコアが与えられる。さらに、文合成手段16によって、高いスコアを持つ解析木が選択され、選択された解析木から文が合成される。合成された文は、要約文16aとして出力される。
【0036】
図3は、文合成処理の手順を示す図である。この処理は、全て文合成手段16によって行われる。
[S1]解析木スコア累積手段15に蓄積された解析木を、スコアの高いに順にソートする。
[S2]最上位の解析木を抽出する。
[S3]抽出した解析木が、すでに文を組み立て済みの解析木のサブツリーか否かを判断する。すでに文を組み立てた解析木のサブツリーであれば、ステップS2に進む。そうでなければステップS4に進む。
[S4]抽出した解析木から文を組み立てる。
[S5]終了条件を満たしているか否かを判断する。終了条件は、文を組み立てた解析木の数や、組み立てられた文の総文字数などによって、予め設定されている。終了条件を満たしていればステップS6に進み、そうでなければステップS2進む。
[S6]生成した文を並べ、要約文として出力する。
【0037】
このようにして、入力文書保持手段11に保持された文書群11aに対する要約文16aが生成される。
次に、第1の実施の形態の文書要約装置による要約作成例を、具体的に説明する。以下の例では、「通信機会社であるフーバー社に関するある年の新聞記事を集めたもの」を文書集合にすることを想定して説明する。
【0038】
まず、フーバー社に関する新聞記事を入力文書保持手段11に格納する。そして、要約作成指令を入力する。すると、文解析手段12でフーバー社に関する記事が解析され、解析木が生成される。
【0039】
図4は、解析木の例を示す図である。これは「通信機大手のフーバー社は、50gの携帯電話を発売し、巻き返しを図る計画である。」という文章を解析することによって得られる解析木である。この例では、自立語をノード21〜27とし、その間の関係をアーク31〜34として表現している。関係としては表層格を採用し、ラベルには格助詞そのものを記載している。なお、複数の文が等位接続された重文に対しては、その構成要素の単文ごとに解析している。
【0040】
このような構造木は、表形式で表現できる。
図5は、表形式で表された解析木を示す図である。表形式の解析木41では、各自立語41aに対応づけて、要素番号41b、関係名41c、及び係り先要素番号41dが登録されている。なお、この例では簡略化のため、各自立語ごとに、単語、関係、係り先を記載しているが、これ以外の情報(品詞、活用、意味記述へのポインタなど)を載せてもよい。なお、関係名「φ」とは、係り先の単語に対して直接つながることを意味している。
【0041】
図5のような解析木が生成されると、解析木展開手段13によって、解析木が展開されサブツリーが生成される。そして、サブツリーも表形式の解析木で表される。
【0042】
図6は、サブツリーを含めた解析木群を示す図である。この解析木群40は簡略化のため、係り先は省略し、単語と関係名をあわせた表現で記載した。図中、「φ」と表記されている領域は、対応する要素が存在しないことを示す。1番目に示されているのは、展開元の解析木41である。2番目以降に示されているのが、展開元の解析木41を展開することで生成される解析木42a〜42j、すなわちサブツリーである。このような解析木群40は、解析木スコア付与手段14に渡される。解析木スコア付与手段14は、渡された解析木群40内の各解析木41,42a〜42jに対してスコア付けを行う。
【0043】
図7は、スコア付けされた解析木群を示す図である。この例では、ツリーの構成要素数をスコアとするため、1番目の解析木41のスコアが最も高く、値は「7」である。以下、構成要素数が減るごとに、スコアも減少する。
【0044】
スコア付けされた解析木は、解析木スコア累積手段15に蓄積される。このような処理が、入力文書保持手段11内に格納された全ての文書に対して行われ、順次、解析木スコア累積手段15に格納される。その際、解析木スコア累積手段15は、格納すべき解析木と同じ構造の解析木がすでに格納されているか否かを判断する。同じ解析木が格納されていれば、それらを統合し、すでに格納されている解析木のスコアに、格納すべき解析木のスコアを加算する。
【0045】
図8は、解析木スコア累積手段に蓄積された解析木を示す図である。解析木スコア累積手段15では、表形式で表された解析木群43の各解析木43a〜43iに対して、「スコア」、「構成要素数」、及び「出現数」の各項目の情報を付加している。「スコア」は、その解析木に関して累積されたスコアである。「構成要素数」は、その解析木の構成要素(自立語)の数である。「出現数」は、同じ解析木が何個出現したのかを示している。
【0046】
ここでは、解析木スコア累積手段15で累積されるスコアの値は、
(解析木のスコア)×(その解析木の出現数)
で計算できる。
【0047】
入力文書保持手段11に格納されている全ての文書から解析木とそのサブツリーが生成され、解析木スコア累積手段15に格納されると、文合成手段16が、解析木スコア累積手段15に蓄積された解析木をそのスコアでソートする。
【0048】
図9は、ソート結果を示す図である。図8に示した解析木群43内の解析木43a〜43iが、スコア順に並べられている。文合成手段16は、ソートされた解析木の中から、最上位の関係をピックアップする。そして、ピックアップした解析木から文を組み立てる。
【0049】
図10は、解析木から要約文を生成する様子を示す図である。これは、図9の1番目の解析木43bから要約文51を生成する場合の例である。ここでは解析木43bの表に記載された順序で単語をピックアップし、関係名を助詞になおして(この場合は関係名が助詞に対応する)、その単語に付加していく。これらを結合して要約文51とする。
【0050】
ここで、最初の解析木43bから、
「フーバー社は携帯電話を発売」
が得られる。なお、この際に動詞を終止形に変形してもよい。終止形に変形すると、
「フーバー社は携帯電話を発売する」
となる。
【0051】
文合成手段16は、次に上位にあるものを選択し、文を生成することを繰り返す。文合成手段16において、選択した解析木がすでに選択して生成した解析木のサブツリーになっている場合はスキップする。一方、選択した解析木のサブツリーが、選択して生成した解析木の中にある場合はスキップしない。図9では、3番目の解析木43cは1番目の解析木43bのサブツリーであり前者の条件にマッチするので、生成しない。
【0052】
そこで、2番目の解析木42eから、
「フーバー社はサイモン市歴史美術館を支援」
という文が生成され、3番目の解析木43cをスキップし、4番目の解析木43gから、
「フーバー社は衛星携帯電話を研究」
という文が生成される。さらに、5番目の解析木43hは、4番目の解析木43gのサブツリーであるためスキップする。
【0053】
6番目の解析木43aは、最初の解析木43bがそのサブツリーになる。これはスキップ条件における後者の条件に一致し、スキップせずに要約文を生成する。従って、
「フーバー社は50gの携帯電話を発売」
という文が生成される。
【0054】
繰り返しの終了条件は、文が一定数選択されたか否か、または合成された文の文長の合計が一定長を越えたか否かなどの条件を与える。ここでは、前者を選択して、3個までをピックアップするものとする。
【0055】
図11は、要約文の例を示す図である。この例では、サイモン社のこの年の活動の要約文60として、「フーバー社は携帯電話を発売、フーバー社はサイモン市歴史美術館を支援、フーバー社は衛星携帯電話を研究」が得られている。要約文60は、ユーザが使用している装置の画面に表示される。その結果、ユーザは、複数の文書の要約を参照することができる。
【0056】
ここで、終了条件を緩和し、文が4つ選択されるまで要約文の生成を行うと、さらに「フーバー社は50gの携帯電話を発売」が加わる。
ところで、上記の説明では、文解析手段12によって解析木が生成された直後に解析木を展開し、サブツリー群を生成しているが、このようなサブツリーの生成は、解析木スコア付与手段14によってスコア付けされた後に行ってもよい、その場合、解析木展開手段13は、解析木スコア付与手段14でスコア付けされた解析木を受け取り、サブツリーを生成する。生成したサブツリーは、解析木スコア付与手段14に渡す。解析木スコア付与手段14は受け取ったサブツリーにスコア付けを行う。
【0057】
また、語尾の変化は解析木の中に入れていないが、解析木の中に含めて変化ごとに個別に集計してもよい。例えば、「発売する」、「発売した」、「発売している」などを分けて集計する。
【0058】
次に、第2の実施の形態について説明する。第2の実施の形態は、単語重要度スコアを利用するものである。ここでは、単に単語に対してスコア付けをするだけでなく、要約文として抽出された解析木に含まれる単語の重要度スコアを下げ、要約文が生成されるたびに解析木の再スコアリングを行うものとする。
【0059】
図12は、第2の実施の形態の構成図である。第2の実施の形態の文書要約装置は、入力文書保持手段71、文解析手段72、解析木展開手段73、解析木スコア付与手段74、解析木スコア累積手段75、文合成手段76、及び単語スコア付与手段77で構成される。ここで、入力文書保持手段71、文解析手段72、解析木展開手段73、及び解析木スコア累積手段75については、図2で示した第1の実施の形態の同名の構成要素と同じ機能を有しているため、説明を省略する。すなわち、文書群71aから解析木72aやそのサブツリーである解析木群73aを生成するまでの処理は、第1の実施の形態と同様である。
【0060】
単語スコア付与手段77は、入力文書保持手段71に保持された文書群71aの各文書に含まれる単語の重要度スコアを計算する。スコアの計算方法としてはtf*IDF(tf:term frequency,IDF:inverse document frequency)積などを用いる。
【0061】
解析木スコア付与手段74は、単語スコア付与手段77が計算した各単語の重要度スコアを用いて、解析木のスコアを計算する。解析木スコア付与手段74のスコアの算出方法は、単純に解析木に現れる単語のスコアの合計とすることもできるが、ここでは、関係の種類により重み付けを変えて合計する方法を応用する。それぞれの単語のスコアに関係の種類により重み付けて、累計する。重み付けは、必須格「4」、その他の連用修飾関係「3」、連体修飾関係「2」、名詞連続「1」、さらに最終の受け側を「4」とする。ここで必須格とは、動詞に必須となる品詞である。
【0062】
従って、解析木のスコアを計算する際には、各単語に対して、(単語の重要度スコア)×(関係の種類による重み)を計算する。そして、算出された値の合計が解析木のスコアとなる。スコア付けされた解析木は、第1の実施の形態と同様に解析木スコア累積手段75に格納される。
【0063】
また、解析木スコア付与手段74は、文合成手段76からの再スコアリング要求に応じて、解析木スコア累積手段75に蓄積された解析木の再スコアリングを行う。ここでは、使用単語リスト76aに保持された単語について一定割合で重要度スコアを落とす。そして、新たな単語重要度スコアを用いて、解析木スコア累積手段75に蓄積された解析木のスコアを計算する。
【0064】
文合成手段76は、全ての入力文書に対する解析木生成及びスコア付けがなされたら、文合成処理を行う。文合成処置では、まず、解析木スコア累積手段75に蓄積された解析木をそのスコアでソートする。次に、ソートされた解析木群中の最上位の解析木をピックアップし、この解析木を解析木スコア累積手段75から取り除く。また、用いられた単語を使用単語リスト76aに保持する。その後、文合成手段76は、終了条件を判断し、終了しない場合は、解析木スコア付与手段74に対して再スコアリング要求を出力する。再スコアリングが終了したら、解析木スコア累積手段75内の解析木のソートを行い、上位にあるものを選択することを繰り返す。
【0065】
このような文書要約装置によれば、入力文書保持手段71に格納された文書が文解析手段72で解析され、解析木72aが生成される。解析木72aからは、解析木展開手段73によりさらにサブツリーである解析木群73aも生成され、それらをまとめた解析木群が解析木スコア付与手段74に送られる。同時に、単語スコア付与手段77により、入力文書保持手段71に格納されている文書で使用されている単語の重要度スコアが計算される。各単語の重要度スコアは、解析木スコア付与手段74に送られる。解析木スコア付与手段74は、単語の重要度スコアを用い、文解析手段72と解析木展開手段73とから送られた解析木のスコアを計算する。そして、スコア付けされた解析木を解析木スコア累積手段75に渡す。解析木スコア累積手段75は、受け取った解析木を蓄積するとともに、同じ解析木を統合し、スコアを累積させる。
【0066】
入力文書保持手段71内の全ての文書から生成された解析木が解析木スコア累積手段75に格納されたら、文合成手段76によって、スコアの高い順に解析木がソートされる。そして、最も上位の解析木がピックアップされ、その解析木から文が組み立てられるとともに、解析木に含まれる単語が、使用単語リスト76aに格納される。ピックアップされた解析木は、解析木スコア累積手段75内から削除される。ここで、文合成手段76に予め設定されている終了条件を満たしていなければ、文合成手段76から解析木スコア付与手段74に対して、再スコアリング要求が送られる。この際、新たに使用単語リスト76aに追加された単語の情報が、解析木スコア付与手段74に渡される。解析木スコア付与手段74は、再スコアリング要求を受け取ると、新たに使用単語リスト76aに追加された単語の重要度スコアの値を下げる。例えば、1/5倍する。そして、各単語の更新後の重要度スコアを用いて、解析木スコア累積手段75に格納されている解析木のスコアを計算し、そのスコアを解析木スコア累積手段75内の対応する解析木に付与する。
【0067】
以後、同様の処理が、文合成手段76おいて終了条件が満たされるまで続けられる。終了条件が満たされたら、その時点で生成されている文によって要約文76bが生成され、出力される。
【0068】
このように、単語の重要度や、関係の種類を考慮して解析木のスコアを計算することで、複数の文書内の重要な文が高いスコアを得ることができる。その結果、より的確な要約文が生成できる。しかも、重要な文をピックアップするたびに解析木の再スコアリングを行うことで、似通った内容の文がピックアップされることを防止できる。すなわち、再スコアリングを適切に用いれば、関係をピックアップする際に既出要約の構文木のサブツリーであるか否かを比較する必要はなくなる。
【0069】
次に、第3の実施の形態について説明する。第3の実施の形態は、シソーラスを用いて解析木を変換させるものである。
図13は、第3の実施の形態の構成図である。第3の実施の形態の文書要約装置は、入力文書保持手段81、文解析手段82、解析木展開手段83、解析木スコア付与手段84、解析木スコア累積手段85、文合成手段86、単語スコア付与手段87、シソーラス88、及び解析木変換手段89で構成される。ここで、入力文書保持手段81、文解析手段82、解析木展開手段83、解析木スコア累積手段85、文合成手段86、及び単語スコア付与手段87については、図12で示した第2の実施の形態の同名の構成要素と同じ機能を有しているため、説明を省略する。
【0070】
シソーラス88は、単語間の意味の包含関係を階層的に記載したものであり、入力された単語を変換する。ここでは類義語変換と、上位概念への変換のみを行い、下位語への変換は行わない。具体的には、ある語が入力されると、その単語の上位概念語と、どれだけ上位に変換したかを数字で表したもの(変換レベル)との対のリストを返す。類義語の場合には、変換レベルを1とする。ここでは、上位変換の程度を制限することができるものとする。以下の例では、3段階までの変換を行うこととする。
【0071】
例えば、「フーバー社」、「発売」、「電話」、「美術館」の各単語がシソーラスに入力されると、それぞれ以下のような結果が帰ってくる。
フーバー社:(Hoobar:1、通信機メーカー:1、メーカー:2、会社:3)
発売:(販売:1、売り出し:1、売買:1、商売:1、取引:2)
電話:(通信機:1、電気器具:2、機械:3)
美術館:(絵画:1、芸術:1、文化:2)
解析木変換手段89は、文解析手段82が生成した解析木と解析木展開手段83がサブツリーとして生成した解析木とを受け取り、その解析木を構成する単語を順次シソーラス88に入力する。そして、対象となる解析木の単語を、シソーラス88から返された単語に置き換える。さらに、その単語の変換度数を付加して、解析木スコア付与手段84に渡す。
【0072】
解析木スコア付与手段84は、文解析手段82から直接受け取った解析木に関しては、解析木を構成する単語の重要度スコアの合計を解析木のスコアとする。また、解析木変換手段89から受け取った解析木に関しては、変換された度合いに応じて元の木よりも低いスコアを与える。ここでは各要素の変換レベルに応じて、単語重量度スコアSwに逓減率R(0<R<1)をかけてスコアを落とす。変換レベルをLとすると、スコアは、
Sw×R×L
で表される。ここで逓減率Rを「0.5」とすると、「フーバー社」の重要度スコアSwに対して、
Hoobar:0.5
通信機メーカー:0.5
メーカー:0.25
会社:0.125
をそれぞれ乗算することとなる。
【0073】
これを用いて計算を行うと、個別の解析木ではスコアが低くても、上位概念にしたときに多くの解析木からのスコアが解析木スコア累積手段により集積されて、全体のスコアが高くなり、要約にあがってくる場合がある。その例を以下に示す。なお、本実施の形態の効果を分かり易くするために、以下の説明では、単語重要度スコアは考慮しない(全ての単語の重要度レベルを「1」とする)ものとする。
【0074】
図14は、シソーラスによって変換された解析木のスコア付けの例を示す図である。まず、「フーバー社はサイモン市歴史美術館を支援」という解析木91では、「美術館」に対するシソーラスの出力が、
美術館:(絵画:1、芸術:1、文化:2)
となり、それぞれの構成要素のスコアは、
絵画:0.5、芸術:0.5、文化:0.25
となる。そのため、シソーラス展開した解析木のスコア単価は、
「フーバー社は絵画を支援」:1+0.5+1=2.5
「フーバー社は芸術を支援」:1+0.5+1=2.5
「フーバー社は文化を支援」:1+0.25+1=2.25
となる。ここで、「フーバー社は文化を支援」の解析木92に注目すると、出現数「8」をかけたトータルスコアは18となる。
【0075】
同様に、「フーバー社は民族音楽コンサートを支援」という解析木93では、「民族音楽コンサート」が「文化」に変換され、そのスコアが0.25となる。その結果、「フーバー社は文化を支援」という解析木94が生成され、そのスコア単価は1+0.25+1=2.25となる。これに、出現数「4」を乗算すると、スコア「9」が得られる。
【0076】
また、「フーバー社は市民文化祭を後援」という解析木95では、「市民文化祭」が「文化」に変換され、そのスコアが0.5となり、「支援」が「後援」に変換され、そのスコアが0.5となる。その結果、「フーバー社は文化を支援」という解析木96が生成され、そのスコア単価は1+0.5+0.5=2となる。これに、出現数「5」を乗算すると、スコア「10」が得られる。
【0077】
さらに、「フーバー社はアジア文化を支援」という解析木からはそのサブツリーである「フーバー社は文化を支援」という解析木97が得られており、このスコア単価はそのままで、スコア「6」が累計に加算される。
【0078】
その結果、「フーバー社は文化を支援」の統合後のスコアは「43」となり、「フーバー社はサイモン市歴史美術館を支援」のスコア「40」よりも高くなる。ここで他のサブツリーのスコアは省略するが、このスコア「43」が上位に残るとすると「フーバー社は文化を支援」という要約が得られる。
【0079】
すなわち、図8に示した解析木の4番目の「フーバー社は民族音楽コンサートを支援」の解析木43dと、9番目の「フーバー社は市民文化祭を後援」の解析木43iとは、それぞれ単独では要約にあがってこないが、シソーラス88を用いて解析木変換を行うことによって、これら解析木の上位概念を示す文が要約に含まれることとなる。
【0080】
一方、逓減率を調整し、ここで設定した値よりも小さくすれば、より意味の特定度の高いもの(具体性の高いもの)を残すことができる。例えば逓減率を0.3とした場合を考える。その場合、図14に示した各解析木のスコアは、以下のようになる。
【0081】
「フーバー社はサイモン市歴史美術館を支援」から変換された「フーバー社は文化を支援」という解析木92は、スコア単価が「1+0.09+1=2.09」となり、累計されたスコアは「2.09×8=16.72」となる。
【0082】
「フーバー社は民族音楽コンサートを支援」から変換された「フーバー社は文化を支援」という解析木94は、スコア単価が「1+0.09+1=2.09」となり、累計されたスコアは「2.09×4=8.36」となる。
【0083】
「フーバー社は市民文化祭を後援」から変換された「フーバー社は文化を支援」という解析木96は、スコア単価が「1+0.3+0.3=1.6」となり、累計されたスコアは「1.6×5=8.0」となる。
【0084】
「フーバー社はアジア文化を支援」のサブツリーである「フーバー社はアジア文化を支援」という解析木97のスコアは、変わらず「3×2=6」である。
すると、「フーバー社はアジア文化を支援」のスコア合計が39.08となり、「フーバー社はサイモン市歴史美術館を支援」のスコア「40」より低くなる。その結果「フーバー社は文化を支援」よりも具体的な内容が記載された「フーバー社はサイモン市歴史美術館を支援」が先に要約として選択されることになる。
【0085】
なお、第3の実施の形態において、単語を上位概念に置換した場合には、その単語のスコアを低下させることで解析木のスコアを逓減しているが、解析木のスコアを直接逓減させるようにしてもよい。例えば、1つの単語が上位概念に変換されるたびに、解析木に対するスコアを1/2にする。
【0086】
次に、第4の実施の形態について説明する。第4の実施の形態は、解析木を累積する際に、完全に同一の解析木でなくても、意味的に同じ解析木であれば統合するものである。
【0087】
図15は、第4の実施の形態の構成図である。第4の実施の形態の文書要約装置は、入力文書保持手段101、文解析手段102、解析木展開手段103、解析木スコア付与手段104、解析木スコア累積手段105、文合成手段106、及び関係対応表保持手段110で構成される。ここで、入力文書保持手段101、文解析手段102、解析木展開手段103、解析木スコア付与手段104、及び文合成手段106については、図2で示した第1の実施の形態の同名の構成要素と同じ機能を有しているため、説明を省略する。すなわち、文書群101aから解析木102aやそのサブツリーである解析木群103aを生成し、解析木へスコアを付与するまでの処理は、第1の実施の形態と同様である。また、解析木スコア累積手段105に格納されている解析木から要約文106aを合成する処理も同様である。
【0088】
関係対応表保持手段110は、一定の規則に従って単語間の関係名(「は」、「が」等)を置き換えても概念的に同じ意味を示すような関係の置き換え規則を、関係対応表として保持している。
【0089】
解析木スコア累積手段105は、蓄えた解析木に関して、関係対応表に基づいて関係の変換を行うことで、同じ解析木となる解析木の組を検出する。そして、一方の解析木のスコアを、変換の内容に応じて逓減し他方の解析木のスコアに加算する。具体的には、自立語を示すノードが同じで、関係を示すアークのみが異なる解析木同士に対して、関係対応表を用いてアーク同士の類似性を判断する。類似である場合には、相互に関係の変換を行い、類似相手の解析木へ統合する。その際の、元のスコアより逓減させた値を、統合相手のスコアに加算する。
【0090】
このような関係対応表を利用した関係の変換処理を、具体例を用いて説明する。
図16は、関係対応表の例を示す図である。関係対応表111は、「見出し」と「変換候補」の並びとで示される。「見出し」は変換対象となる関係名が設定される。「変換候補」はここでは「関係名」と「逓減率」の組で示されている。例えば、関係「が」は関係「は」に変換可能で、変換したときにスコアに0.5倍することが示されている。ここでは、それぞれの変換候補に逓減率を記載したが、逓減率を一定にして関係名の並びだけを記録する方法を採ってもよい。
【0091】
図17は、関係変換例を示す図である。現在、解析木スコア累積手段105には、
「フーバー社−は サイモン市 歴史 美術館−を 支援」
「フーバー社−が サイモン市 歴史 美術館−を 支援」
という2つの解析木121,122が、それぞれ5エントリ(出現数「5」)と3エントリ(出現数「3」)ずつ含まれているものとする。また、ここでは説明を簡単にするために、構成要素数をその解析木のスコア単価とする。従って、上記2つの解析木のスコア単価はともに「5」である。
【0092】
この状態で、解析木スコア累積手段105が図16に示した関係対応表111を参照すると、「は」は「が」に変換可能であること、そのときのスコア逓減率は0.6であることがわかる。そこで、解析木スコア累積手段105は、以下のような解析を行う。
【0093】
最初の解析木121を、
「フーバー社−が サイモン市 歴史 美術館−を 支援」
という解析木123に変換するときに、「フーバー社」の重要度スコア(単語スコアを導入していない場合では1)を0.6倍すると、変換された結果に対する解析木123のスコア単価は4.6となる。そして、エントリ数が5であるので、合計スコアは23となる。
【0094】
一方、「は」は、「を」にも変換可能であるが、「支援」にはすでに「を」関係があるので、「を」へは展開しない。すなわち、変換を行う際には助詞連続を考慮し、不自然な文体にならないことを確認したうえで変換を行う。
【0095】
同様に、「フーバー社−が・・・」の解析木122を「フーバー社−は・・・」の解析木124に変換すると、変換された結果に対するスコア単価は4.4、合計スコアは4.4×3=13.2となる。
【0096】
これらをもともとの変換前のスコアと合計すると、
「フーバー社−は サイモン市 歴史 美術館−を 支援」
の解析木125のスコアが、「25+13.2=38.2」となり、
「フーバー社−が サイモン市 歴史 美術館−を 支援」
の解析木126のスコアが、「15+23=38」となる。
【0097】
そこで、解析木スコア累積手段105は、この2つの関係のうち前者の解析木125を採用し、統合する。また、同じ概念の文が複数抽出されないようにするため、採用されなかった後者の解析木126は、解析木スコア累積手段105内から削除する。
【0098】
このように、関係対応表を用いた関係の変換によって別の解析木と同一になる場合には、それらの解析木を統合することで、解析木の構造上別のものであっても、同じ意味内容を示す解析木を統合し、スコアを累積させることができる。
【0099】
なお、ここでは、可能な関係は全部展開した後にマージするような記述をしたが、それぞれの構成要素ごとに、関係の種類を列挙し、最も数の多いものをまとめてもよい。
【0100】
または、その関係ごとにスコアを最も高くするものを選んでもよい。すなわち、「変換先の解析木の出現数+逓減率×変換元の解析木の出現数」を相互に計算し、スコアの高い方を採用する。例えば、「フーバー社」につく関係として、
「は」を残す場合:5+0.4×3=6.2
「が」を残す場合:3+0.6×5=6
となり、「は」を残す方が合計スコアが高くなるので、「は」の方に統合する。
【0101】
ところで、第4の実施の形態では、1つの関係対応表を用いた解析木の変換について説明したが、複数の関係対応表を用意し、それらを使い分けることもできる。例えば、動詞によって、または場合によって異なる関係表を使う。
【0102】
図18は、動詞別の関係対応表の例を示す図である。動詞別の関係対応表112では、受け側の動詞によって変換規則を変えている。この意味するところは、1行目:一般な変換規則を定義しており、「に」は「に対して」と、「へ」へ変換可能で、それぞれの逓減率は0.5、0.3である。
2行目:受け側の動詞が「行く」の場合は、「へ」にのみ変換可能で、逓減率は0.8である。
3行目:受け側の動詞が「やる」の場合には、「に対して」のみ変換可能で、逓減率は0.6である。
4行目:受け側の動詞が「与える」の場合には、「に対して」と、「へ」へ変換可能であり、それぞれの逓減率は0.6、0.5である。
【0103】
このような関係対応表112を参照して、解析木スコア累積手段105が関係の変換を行う場合、関係対応表112から変換前の関係を選択した後、受け側の動詞のマッチングをとる。受け側の動詞と一致する動詞があれば、その行の変換候補リストを用いる。そうでなければ、一般に(「−」で示される)の変換規則を示した行を用いる。
【0104】
また、言語構造別に変換規則を変えることもできる。
図19は、言語現象ごとの関係対応表を示す図である。この関係対応表113は、変換対象の言語構造に対応して、変換規則と逓減率が定義されている。この意味するところは、
1行目:受動態を能動態に変化させる場合、「AがBにCされる」となっていたら、「BがAをCする」に変換し、A,Bそれぞれのスコアに逓減率0.7をかける。
2行目:受動態を能動態に変化させる場合、「AがBからCされる」となっていたら、「BがAをCする」に変換し、A,Bそれぞれのスコアに逓減率0.7をかける。
3行目:使役を平叙文に変化させる場合、「BにCさせる」を「BがCする」に変換し、Bに対する逓減率は0.5である。
4行目:自動詞を他動詞に変化させる場合、「BがCする」を「BをCする」に変換し、Bに対する逓減率は0.5である。
5行目:他動詞を自動詞に変化させる場合、「BをCする」を「BがCする」に変換し、Bに対する逓減率は0.5である。
【0105】
なお、このような関係対応表113を用いるには、生成した各解析木に対して受動、使役などの属性が付与されている必要がある。属性は、文解析手段102が構造解析を行う際に付与するか、もしくは解析木スコア累積手段105が関係の変換を行う際に付与する。
【0106】
解析木スコア累積手段105が関係変換を行うときは、解析木に付与された属性を参照し、受動態ならば1行目から2行目までのルールを起動する。その際、関係の並びのマッチングを行い、「が」と「に」があれば、1行目の規則が適用され、それぞれの関係を「を」、「が」に変え、受動態の属性を能動態に変える。同時に、逓減率をそれぞれの係り側にかける。関係の並びが「が」と「から」ならば、2行目の規則を適用する。
【0107】
また、5行目の規則を適用する場合を考える。ここで、解析結果の動詞には自動詞、他動詞の区別が付けられているのもとする。自動詞と他動詞との対応は関係解析で用いる辞書に記載されており、解析結果の動詞には属性として記載されているものとする。例えば、「シンタックスエラーを起こす」という文を解析すると、「起こす」の属性には、
タイプ:他動詞
自動詞:起きる
が記述されている。これに対して、5行目の規則を適用すると、
(1)「シンタックスエラー−を−起こす」という関係「を」を「が」に変える。
(2)「シンタックスエラー」のスコアに逓減率0.5をかける。
(3)「起こす」を「起きる」に置き換える。
という操作を行うことになる。その結果、「シンタックスエラー−が−起きる」という文を表す解析木が生成される。
【0108】
このように、様々な関係対応表を用いることで、同じ内容の文であれば、その表現方法が異なる場合であっても、それらの解析木を統合することができる。
次に、第5の実施の形態について説明する。第1の実施の形態から第4の実施の形態では日本語で書かれた文書を対象としていたが、本形態では英語で書かれた文書を対象とし、その要約を作成する。なお、以下の説明では英語文書を対象にすることによる相違点を中心に説明し、上記の形態で述べた日本語文書を対象とする場合と共通する内容については説明を省略する。
【0109】
本形態において英語で書かれた文書の要約を作成する場合、まず、上記の形態で述べた場合と同様に文書の構文解析を行う。本形態では、1982年にBresnanらによって提案されたLFG(Lexical Functional Grammar)に基づいて文書の構造解析を行う。図20は、このLFGに基づいて構文解析された文書を示した図である。LFGに基づいて構文解析された文書の解析結果は素性構造と呼ばれ、属性とその値の対のリストをして表現される。図20では“[”と“]”で囲まれた部分が1つの素性構造を示している。また、その素性構造中、左の列には文書を構成する各素性の属性が配列され、それらの属性からスペースを空けた右の列には、その左に位置する属性に対応する値が配置される。ここで、各属性に対する値は文字列であってもよいし、属性及びその値によって構成されるさらに別の素性構造であってもよい。値が有する単語の後に配置される括弧内の上矢印“↑”は、その単語がこの上矢印と同じ括弧内に配置される素性に対応する値を引数とすることを示している。また、各属性に対応する値が共通する場合、これらの共通する値が配置される位置に[1]等の共通する符号を記し、それらの位置のいずれか1つのみに、そこに配置される値の詳細を示すこととする。なお図20では、説明の簡略化のため、時制(TENSE)、数(NUM)等の一部の属性を省略して記載してある。
【0110】
図20の(a)に示した“AAA constructed a factory”という文書をLFGに基づいて構文解析した場合、その解析結果は図20の(a)に示した素性構造131のように表現される。素性構造131は、その素性構造131中、左の列に配列される“PRED”、“SUBJ”、“OBJ”で示される3つの属性、及びスペースを空けたそれらの右側に配置されるそれらの値‘construct(↑ SUBJ) (↑ OBJ)’、[PRED‘AAA’]、[PRED‘factory’]により構成される。ここで、素性構造131の属性“SUBJ”対応する値[PRED‘AAA’]は、“PRED”を属性、‘AAA’をその値とするさらに別の素性構造131aをとる。同様に、素性構造131の属性“OBJ”に対応する値[PRED‘factory’]も“PRED”を属性、‘factory’をその値とするさらに別の素性構造131bをとる。
【0111】
また、素性構造131の素性“PRED”に対応する値‘construct(↑ SUBJ) (↑ OBJ)’は、単語である“construct”と2つの括弧(↑ SUBJ)及び(↑ OBJ)により構成されており、“construct”が括弧内に配置された“SUBJ”及び“OBJ”にそれぞれ対応する値を引数とすることを示している。ここで、“SUBJ”に対応する値は素性構造131aである[PRED‘AAA’]であり、さらに素性構造131aの値は‘AAA’であるため、‘AAA’が“construct”の引数となる。同様に、“OBJ”に対応する値は素性構造131bである[PRED‘factory’]であり、さらに素性構造131bの値は‘factory’であるため、‘factory’も“construct”の引数ということになる。
【0112】
また、図20の(b)に示した“the factory constructed by AAA”という文書の素性構造132の属性“HEAD”に対応する値である[PRED‘factory’]は、“PRED”を属性とし、‘factory’をその値とするさらに別の素性構造132aをとる。同様に、素性構造132の属性“MOD”に対応する値も別の素性構造132bをとり、素性構造132bは、それを構成する属性“OBJ”、及びそれに対応する値 [1]を有している。ここで、素性構造132baが配置される位置と素性構造132aが配置される位置に共通する符号[1]が記されることにより、素性構造132baは、素性構造132aそのものであることを示している。
【0113】
素性構造132bの属性“PRED”に対応する値は‘build(↑ BY OBJ) (↑ OBJ)’であり、これは、“build”が属性“BY”に対応する値である別の素性構造132bbが有する属性“OBJ”の値、及び素性構造132bの属性である“OBJ”の値を引数とすることを示している。ここで、素性構造132bbが有する属性“OBJ”の値はさらに別の素性構造[PRED‘AAA’]であり、[PRED‘AAA’]の値は‘AAA’であるため、‘AAA’が“build”の引数ということになる。また、素性構造132bの属性である“OBJ”の値は素性構造132baであり、素性構造132baの値は‘factory’であるため、‘factory’も“build”の引数ということになる。
【0114】
なお、本形態の構文解析では解析結果をさらに解釈して初めて構造がわかる形式を用いたが、1987年にPollard & Sagらによって提案されたHPSGのように、解析された時点で文書の意味を示す“PRED”部分が明確に示される形式を用いてもよい。
【0115】
図21は、図20の(b)に示した素性構造132をグラフで表した解析グラフ142である。
解析グラフ142は、各属性を示すアーク142k、142l、142m、142n、142o、142p、142q、142r、142s、及び各属性に対応する値を示すノード142a、142b、142c、142d、142e、142f、142h、142i、142jにより構成されている。本形態では、このように構造解析された解析グラフ142の中でアークにPRED素性を持つノード集め、それをもとに標準化を行いサブグラフを作成する。図21の場合、網掛けで示したノード142b、142e、142iが、アークにPRED素性を持つノードに該当する。
【0116】
標準化を行う際、まずアークにPRED素性を持つノードの取り出しを行う。図21の場合、網掛けで示したノード142b、142e、142f、142iを取り出すこととなる。ここで、取り出したノード142b、142e、142f、142iの内容を示すと、ノード142b:PRED‘factory’、ノード142e:PRED‘construct(↑ BY OBJ)(↑ OBJ)’、ノード142f:PRED‘factory’、ノード142i:PRED‘AAA’のようになる。
【0117】
次に、このように取り出したノードを用い標準化を行う。標準化は、引数を有するノードとそのノードに引数を与えるノードとを統一した形式で表現することにより行う。図21の場合、引数を有するノードとはノード142eを指し、引数を与えるノードとはノード142b、142f、142iを指すことになる。標準化の際、引数を与えるノードは、その由来に拘らず結果的に同じ引数を与えるならば同じものと判断され、統一表現される。図21の場合、ノード142b、142fの内容は共にPRED‘factory’であり、共にノード142eの内容であるPRED‘construct(↑ BY OBJ)(↑ OBJ)’に引数を与える。ここで、引数を与えるノードの統一表現を行うため、素性arg1、arg2、・・・を導入し、素性表現の置き換えを行う。図21の場合、素性“BY OBJ”を素性“arg2”に、素性“OBJ”を素性“arg1”に置き換える。
【0118】
このように、図21に示した解析グラフ142からアークにPRED素性を持つノードの取り出し、素性表現の置き換えを行い、同じ引数を与えるノードを統一表現することにより、図22に示す標準形150が得られる。そして、同様な手順で各文書を順次標準形に変換し、変換された各標準形をサブグラフとして蓄積する。この際、第1の実施の形態から第4の実施の形態において解析木スコア累積手段により解析木にスコアを累積した場合と同様に、同じサブグラフ同士を集めスコアの累積を行っていく。このサブグラフの累積は、全く同じサブグラフのみを集めることとしてもよいし、サブグラフを生成するごとにこれまで得られたサブグラフとユニフィケーション(Shieber、1986)を行い、これまで得られたサブグラフと素性構造が異なった場合に新たにサブグラフを登録していくこととしてもよい。また、第3の実施の形態のようにシソーラスを用いて変換したサブグラフを集めることとしてもよい。この場合、例えば‘make’を‘construct’及び‘build’の上位概念として定義しておけば、PREDの値に‘construct’或いは‘build’を持つものを、PREDの値に‘make’をもつサブグラフの集合として集めることができる。
【0119】
このようにサブグラフのスコア累積を行った後、第1の実施の形態から第4の実施の形態の場合と同様にスコアが最も高いサブグラフを順次取り出し、取り出したサブグラフを合成することにより要約文の生成を行う。ただし、本形態では英語で書かれた文書の要約文を生成することとなるため、日本語で書かれた文書の要約文の生成を行う第1の実施の形態から第4の実施の形態とは別のサブグラフ合成方法が必要となる。
【0120】
以下に、本形態におけるサブグラフ合成方法について説明する。
取り出されたサブグラフの合成を行う際、まず、生成される要約文の形式の指定を行う。この形式には、文形式(V)、名詞句形式(NP)、動名詞形式(V−ing)等があり、本形態における文書要約装置の使用者が任意に選択することができる。
【0121】
要約文の形式が決まると、次に要約文の生成パターンの決定を行う。本形態における文書要約装置の文合成手段は、さまざまな素性構造、形式、生成パターンが記録され、PRED素性によりインデックスされたパターン辞書を有しており、取り出されたサブグラフの素性構造及び選択された形式をもとにパターン辞書を検索し、生成パターンの決定を行う。パターン辞書の検索を行う場合、まず、取り出されたサブグラフのPRED素性を取り出し、取り出したPRED素性によりパターン辞書のインデックスを参照し、取り出したPRED素性に一致するインデックスに対応するパターン辞書エントリ集合を得る。
【0122】
パターン辞書エントリ集合が抽出されると、次に、抽出された各パターン辞書エントリにおける素性構造と、取り出されたサブグラフの素性構造とのユニフィケーションを行い、取り出されたサブグラフと素性構造が一致するパターン辞書エントリを抽出する。次に、素性構造が一致した各パターン辞書エントリの形式と選択された形式を比較し、取り出されたサブグラフと素性構造も形式も同じパターン辞書エントリを抽出する。
【0123】
このように抽出されたパターン辞書エントリの生成パターンを取り出し、その生成パターンにおける引数を有する部分である“要素”に、取り出されたサブグラフの素性arg1、arg2、・・・の値を入力する。ここで、素性arg1、arg2、・・・の値を入力した生成パターンが文字列を含む場合、その文字列をそのまま部分文字列とし、一方、値を入力した生成パターンがさらに別の素性構造を含む場合、その素性構造に対し、ここまで述べたパターン辞書との照合を再帰的に適用し、最終的に部分文字列を得る。そして、このように得られた部分文字列を結合することにより要約文の生成を行う。
【0124】
次に、上記に示したサブグラフ合成方法を具体例を用いて説明する。ここでの説明では、図22に示した標準形150が最もスコアが高いサブグラフとして取り出され、生成される要約文の形式としてNPが選択されたものとする。
【0125】
図23は本具体例におけるパターン辞書インデックス160を示した概念図である。
パターン辞書インデックス160は、‘constrain’、‘construct’、‘consult’等の様々なPRED素性160a、160b、160cをインデックスとして有している。ここで、取り出されたサブグラフである標準形150のPRED素性は‘construct’であるため、このPRED素性に一致するパターン辞書インデックス160のPRED素性160bが選択されることとなる。PRED素性160bが選択されると、インデックスであるPRED素性160bに対応する素性構造、形式、生成パターンの集合であるパターン辞書エントリが、パターン辞書の中から抽出される。
【0126】
図24はこのように抽出されたパターン辞書エントリ161を示した図である。ここで、図24の(a)はパターン辞書エントリ161全体を、図24の(b)は図24の(a)における素性構造162aを、図24の(c)は図24の(a)における素性構造162bをそれぞれ示している。
【0127】
ここで、パターン辞書エントリ161の各素性構造と、取り出されたサブグラフである標準形150の素性構造とのユニフィケーションの結果、素性構造162a、162bが標準形150の素性構造と一致したとする。図24の(a)に示すように、パターン辞書エントリ161において、素性構造162a、162bに対応する形式は“S”及び“NP”の2種類存在する。本具体例では形式として“NP”が選択されているため、取り出されたサブグラフである標準形150と素性構造も形式も一致するパターン辞書エントリの生成パターンは、‘(POSSESS arg1)construction of (NP arg2)’で示される生成パターン164cとなる。
【0128】
次に、この生成パターン164cに標準形150の“arg1”及び“arg2”の値を入力する。“arg1”の値は別の素性構造[PRED‘AAA’]を有しており、これを要素である“(POSSESS arg1)”に入力し、“POSSESS”を形式として、これまで述べたアルゴリズムを再帰的に適用する。この結果、文字列“AAA's”を得たものとする。また、“arg2”の値も別の素性構造[PRED‘factory’]を有しており、これを要素である“(NP arg2)”に入力し、これまで述べたアルゴリズムを再帰的に適用することにより、文字列“a factory”を得たとする。
【0129】
そして、このように得られた文字列“AAA's”、“a factory”、及び生成パターン164cが有する文字列“construction of”を結合し“AAA's construction of a factory”を得る。
【0130】
次に、上記に示したサブグラフ合成方法を図25及び図26に示したフローチャートを用いて説明する。
[S10] スコアが最も高いサブグラフの素性構造である入力素性構造をF、指定した形式をSとする。
[S11] FからPRED素性を取り出す。
[S12] パターン辞書からFとPRED素性が一致するものを選択し、それをS1とする。
[S13] S1の各素性構造とFとをユニフィケーションさせ、成功したものをS2とする。
[S14] S2のうち、その形式がSに一致するものの生成パターンPを得る。
[S15] 最終的に要約文が生成される文字列sに空文字列を代入し、文字列sの初期化を行う。
[S16] Pが引数を有する“要素”を含んでいないか否かを判断する。“要素”を含んでいない場合、ステップS17に進む。“要素”を含んでいる場合、ステップS18に進む。
[S17] Pの文字列を結合した文字列sを出力する。
[S18] Pの要素pを1つ取り出し、引数を入力する。
[S19] 引数を入力されたpがさらに別の素性構造を持つか否か判断する。別の素性構造を持つ場合、ステップS20に進む。別の素性構造を持たない場合、ステップS24に進む。
[S20] 別の素性構造を有するpを得る
[S21] 指定された形式を得る。
[S22] ステップS10からステップS24に示すアルゴリズムを再帰的に適用する。
[S23] ステップS22で得られた結果をsに結合する。
[S24] sにpを結合する。
【0131】
このように、本形態では、英語で書かれた文書を構文解析し、その結果をもとに解析グラフを生成し、そこからサブグラフを抽出し、抽出したサブグラフにスコアを付与し、累積されたスコアが最も大きいサブグラフを取り出し、取り出したサブグラフをパターン辞書と照合させることにより要約文を生成することとしたため、英語で書かれた文書であっても、第1の実施の形態から第4の実施の形態の場合と同様な効果を得ることができる。
【0132】
なお、本形態では、パターン辞書を“素性構造”、“形式”及び“生成パターン”の3つの要素から構成することとしたが、“形式”を“素性構造”の一部とすることにより、パターン辞書を“素性構造”及び“生成パターン”の2つの要素から構成することとしてもよい。
【0133】
また、パターン辞書の“生成パターン”をなくし、素性構造中に表層をもつ構成としてもよい。この構成では、ユニフィケーションに成功した場合、素性構造中に表層句が与えられることとなる。
【0134】
さらに、本形態では、各PREDに対して生成パターンを1対1で用意することとしたが、英語の単語は規則的に変化することが多いため、単語の一般変化パターンを用意し、それを単語の基本形により表現された生成パターンに適用する構成としてもよい。この場合、例えば、図24に示した生成パターン164bのような単語の基本形である‘construct’を有する生成パターンが用意され、‘construct’の進行形である‘constructing’を含む生成パターンは‘*-ing’と示されており、生成パターン164bが有する‘construct’を‘*-ing’を用いて語形変化させる構成となる。
【0135】
また、上記の処理機能は、コンピュータによって実現することができる。その場合、文要約装置が有すべき機能の処理内容は、コンピュータで読み取り可能な記録媒体に記録されたプログラムに記述されており、このプログラムをコンピュータで実行することにより、上記処理がコンピュータで実現される。コンピュータで読み取り可能な記録媒体としては、磁気記録装置や半導体メモリ等がある。市場へ流通させる場合には、CD−ROM(Compact Disk Read Only Memory)やフロッピーディスク等の可搬型記録媒体にプログラムを格納して流通させたり、ネットワークを介して接続されたコンピュータの記憶装置に格納しておき、ネットワークを通じて他のコンピュータに転送することもできる。コンピュータで実行する際には、コンピュータ内のハードディスク装置等にプログラムを格納しておき、メインメモリにロードして実行する。
【0136】
【発明の効果】
以上説明したように本発明の文書要約装置では、処理対象となる文書の文から解析グラフを生成し、解析グラフにスコアを付与するとともに、同じ解析グラフのスコアを累積させ、スコアの高い解析グラフから要約文を生成するようにしたため、処理対象とする文書へ厳しい制約を設けなくても、文書群に関する理解し易い要約を生成することができる。
【0137】
また、本発明の文書要約方法では、文書に含まれる文から解析グラフを生成し、その解析グラフの重要度の高いものによって要約文を合成するようにしたため、処理対象とする文書へ厳しい制約を設けなくても、文書群に関する理解し易い要約を生成することができる。
【0138】
また、本発明の要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体では、記録された要約作成プログラムをコンピュータに実行させることにより、文書に含まれる文から解析グラフを生成し、その解析グラフの重要度の高いものによって要約文を合成するような処理をコンピュータに行わせることが可能となる。
【図面の簡単な説明】
【図1】 本発明の原理構成図である。
【図2】 第1の実施の形態の構成図である。
【図3】 文合成処理の手順を示す図である。
【図4】 解析木の例を示す図である。
【図5】 表形式で表された解析木を示す図である。
【図6】 サブツリーを含めた解析木群を示す図である。
【図7】 スコア付けされた解析木群を示す図である。
【図8】 解析木スコア累積手段に蓄積された解析木を示す図である。
【図9】 ソート結果を示す図である。
【図10】 解析木から要約文を生成する様子を示す図である。
【図11】 要約文の例を示す図である。
【図12】 第2の実施の形態の構成図である。
【図13】 第3の実施の形態の構成図である。
【図14】 シソーラスによって変換された解析木のスコア付けの例を示す図である。
【図15】 第4の実施の形態の構成図である。
【図16】 関係対応表の例を示す図である。
【図17】 関係変換例を示す図である。
【図18】 動詞別の関係対応表の例を示す図である。
【図19】 言語現象ごとの関係対応表を示す図である。
【図20】 LFGに基づいて構文解析された文書を示す図である。
【図21】 図20の(b)に示した素性構造をグラフで表した解析グラフである。
【図22】 素性構造の標準形を示す図である。
【図23】 パターン辞書インデックスを示す図である。
【図24】 パターン辞書エントリを示す図である。
【図25】 サブグラフ合成方法を示したフローチャートである。
【図26】 サブグラフ合成方法を示したフローチャートである。
【符号の説明】
1 文書
2 文解析手段
3 解析木
4 解析木スコア付与手段
5 解析木スコア累積手段
6 文合成手段
7 要約文

Claims (8)

  1. 文書集合の要約を作成する文書要約装置において、
    処理対象として指定された文書に含まれる文の構文を解析し、単語間の関係を記述した解析グラフを生成する文解析手段と、
    前記文解析手段が生成した解析グラフに対し、重要度に応じたスコアを付与する解析グラフスコア付与手段と、
    前記解析グラフスコア付与手段でスコア付けされた解析グラフを蓄積するとともに、同じ概念を示す解析グラフ同士を統合し、統合された解析グラフに対して付与されたスコアを統合内容に応じて増加させる解析グラフスコア累積手段と、処理対象として指定された全ての文書から解析グラフが生成され、前記解析グラフスコア累積手段に蓄積されたら、前記解析グラフスコア累積手段に蓄積された解析グラフ群からスコアの高いものを選択し、選択した解析グラフから要約文を合成する文合成手段と、
    を有することを特徴とする文書要約装置。
  2. 前記文解析手段が生成した解析グラフを展開することで得られるサブグラフを生成する解析グラフ展開手段をさらに有し、
    前記解析グラフスコア付与手段は、前記解析グラフ展開手段が生成したサブグラフも個別の解析グラフと見なし、重要度に応じたスコアを付与することを特徴とする請求項1記載の文書要約装置。
  3. 処理対象として指定された文書に含まれる各々の単語の重要度スコアを計算する単語スコア付与手段をさらに有し、
    前記解析グラフスコア付与手段は、解析グラフの構成要素である単語に対して前記重要度スコア付与手段で計算された重要度スコアを用いて、解析グラフのスコアを計算することを特徴とする請求項1記載の文書要約装置。
  4. 単語間の意味の包含関係を管理するシソーラスと、
    前記シソーラスを用いて、前記文解析手段の生成した解析グラフに対して、構成要素である単語を、意味的な関係の近い他の概念の単語に置き換えた解析グラフに変換する解析グラフ変換手段とをさらに有し、
    前記解析グラフスコア付与手段は、前記解析グラフ変換手段によって得られた解析グラフに対しては、変換された度合いに応じて元の解析グラフよりも低いスコアを与えることを特徴とする請求項1記載の文書要約装置。
  5. 文としての意味を変えずに単語間の関係を変えるための変換規則が定義された関係対応表を保持する関係対応表保持手段をさらに有し、
    前記解析グラフスコア累積手段は、前記関係対応表保持手段に保持された関係対応表に従って解析グラフを変換した場合に同じ解析グラフとなる解析グラフの組を検出し、一方の解析グラフのスコアを変換内容に応じて逓減し、他方の解析グラフのスコアに加算することを特徴とする請求項1記載の文書要約装置。
  6. 前記文合成手段は、前記解析グラフ及び形式に対応付けられた前記要約文の合成パターンを有し、前記解析グラフ及び前記形式が与えられることにより、前記要約文の合成パターンを決定することを特徴とする請求項1記載の文書要約装置。
  7. 文書集合の要約を作成する文書要約方法において、
    文解析手段が、処理対象として指定された文書に含まれる文の構文を解析し、単語間の関係を記述した解析グラフを生成し、
    解析グラフスコア付与手段が、生成された解析グラフに対し、重要度に応じたスコアを付与し、
    解析グラフスコア累積手段が、スコア付けされた解析グラフを蓄積するとともに、同じ概念を示す解析グラフ同士を統合し、統合された解析グラフに対して付与されたスコアを統合内容に応じて増加させ、
    文合成手段が、処理対象として指定された全ての文書から解析グラフが生成され、蓄積されたら、蓄積された解析グラフ群のスコアの高い解析グラフから要約文を合成する、
    ことを特徴とする文書要約方法。
  8. コンピュータに文書集合の要約を作成させるための要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体において、
    処理対象として指定された文書に含まれる文の構文を解析し、単語間の関係を記述した解析グラフを生成する文解析手段、
    前記文解析手段が生成した解析グラフに対し、重要度に応じたスコアを付与する解析グラフスコア付与手段、
    前記解析グラフスコア付与手段でスコア付けされた解析グラフを蓄積するとともに、同じ概念を示す解析グラフ同士を統合し、統合された解析グラフに対して付与されたスコアを統合内容に応じて増加させる解析グラフスコア累積手段、
    処理対象として指定された全ての文書から解析グラフが生成され、前記解析グラフスコア累積手段に蓄積されたら、前記解析グラフスコア累積手段に蓄積された解析グラフ群からスコアの高いものを選択し、選択した解析グラフから要約文を合成する文合成手段、
    としてコンピュータを機能させること特徴とする要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP22763899A 1998-12-17 1999-08-11 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体 Expired - Fee Related JP3879321B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP22763899A JP3879321B2 (ja) 1998-12-17 1999-08-11 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体
US09/454,863 US6493663B1 (en) 1998-12-17 1999-12-07 Document summarizing apparatus, document summarizing method and recording medium carrying a document summarizing program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-358596 1998-12-17
JP35859698 1998-12-17
JP22763899A JP3879321B2 (ja) 1998-12-17 1999-08-11 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2000235584A JP2000235584A (ja) 2000-08-29
JP3879321B2 true JP3879321B2 (ja) 2007-02-14

Family

ID=26527795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22763899A Expired - Fee Related JP3879321B2 (ja) 1998-12-17 1999-08-11 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6493663B1 (ja)
JP (1) JP3879321B2 (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5836771A (en) * 1996-12-02 1998-11-17 Ho; Chi Fai Learning method and system based on questioning
US6498921B1 (en) * 1999-09-01 2002-12-24 Chi Fai Ho Method and system to answer a natural-language question
US7152031B1 (en) * 2000-02-25 2006-12-19 Novell, Inc. Construction, manipulation, and comparison of a multi-dimensional semantic space
US7197451B1 (en) 1998-07-02 2007-03-27 Novell, Inc. Method and mechanism for the creation, maintenance, and comparison of semantic abstracts
US7509572B1 (en) * 1999-07-16 2009-03-24 Oracle International Corporation Automatic generation of document summaries through use of structured text
US6742001B2 (en) * 2000-06-29 2004-05-25 Infoglide Corporation System and method for sharing data between hierarchical databases
US7653530B2 (en) 2000-07-13 2010-01-26 Novell, Inc. Method and mechanism for the creation, maintenance, and comparison of semantic abstracts
US7286977B1 (en) * 2000-09-05 2007-10-23 Novell, Inc. Intentional-stance characterization of a general content stream or repository
US7672952B2 (en) 2000-07-13 2010-03-02 Novell, Inc. System and method of semantic correlation of rich content
US7389225B1 (en) 2000-10-18 2008-06-17 Novell, Inc. Method and mechanism for superpositioning state vectors in a semantic abstract
US7177922B1 (en) 2000-09-05 2007-02-13 Novell, Inc. Policy enforcement using the semantic characterization of traffic
US7398196B1 (en) * 2000-09-07 2008-07-08 Intel Corporation Method and apparatus for summarizing multiple documents using a subsumption model
US7017114B2 (en) * 2000-09-20 2006-03-21 International Business Machines Corporation Automatic correlation method for generating summaries for text documents
US7069207B2 (en) * 2001-01-26 2006-06-27 Microsoft Corporation Linguistically intelligent text compression
US7571177B2 (en) * 2001-02-08 2009-08-04 2028, Inc. Methods and systems for automated semantic knowledge leveraging graph theoretic analysis and the inherent structure of communication
JP3916124B2 (ja) * 2001-02-15 2007-05-16 インターナショナル・ビジネス・マシーンズ・コーポレーション デジタル文書閲覧システム、ブラウザ、デジタル文書表示方法、プログラム及び記憶媒体
US6757678B2 (en) * 2001-04-12 2004-06-29 International Business Machines Corporation Generalized method and system of merging and pruning of data trees
US7526424B2 (en) * 2002-03-20 2009-04-28 Microsoft Corporation Sentence realization model for a natural language generation system
GB2390704A (en) * 2002-07-09 2004-01-14 Canon Kk Automatic summary generation and display
JP2004139427A (ja) 2002-10-18 2004-05-13 Fuji Xerox Co Ltd コミュニケーション支援システム及びコミュニケーション支援システム、並びにコンピュータ・プログラム
US20040230415A1 (en) * 2003-05-12 2004-11-18 Stefan Riezler Systems and methods for grammatical text condensation
JP3920812B2 (ja) * 2003-05-27 2007-05-30 株式会社東芝 コミュニケーション支援装置、支援方法、及び支援プログラム
CN1614585A (zh) * 2003-11-07 2005-05-11 摩托罗拉公司 文本概括
CA2549769A1 (en) * 2003-12-15 2005-06-30 Laboratory For Language Technology Incorporated System, method, and program for identifying the corresponding translation
US8677496B2 (en) * 2004-07-15 2014-03-18 AlgoSec Systems Ltd. Method and apparatus for automatic risk assessment of a firewall configuration
US20060015934A1 (en) * 2004-07-15 2006-01-19 Algorithmic Security Inc Method and apparatus for automatic risk assessment of a firewall configuration
JP4160548B2 (ja) * 2004-09-29 2008-10-01 株式会社東芝 文書要約作成システム、方法、及びプログラム
JP4938298B2 (ja) * 2004-11-30 2012-05-23 パロ・アルト・リサーチ・センター・インコーポレーテッド テキストの要約に含める文の候補を出力する方法およびプログラム
JP4618083B2 (ja) * 2005-09-29 2011-01-26 沖電気工業株式会社 文書処理装置および文書処理方法
US7765212B2 (en) * 2005-12-29 2010-07-27 Microsoft Corporation Automatic organization of documents through email clustering
US9275129B2 (en) 2006-01-23 2016-03-01 Symantec Corporation Methods and systems to efficiently find similar and near-duplicate emails and files
US7657603B1 (en) 2006-01-23 2010-02-02 Clearwell Systems, Inc. Methods and systems of electronic message derivation
US9600568B2 (en) 2006-01-23 2017-03-21 Veritas Technologies Llc Methods and systems for automatic evaluation of electronic discovery review and productions
US7899871B1 (en) * 2006-01-23 2011-03-01 Clearwell Systems, Inc. Methods and systems for e-mail topic classification
US8392409B1 (en) 2006-01-23 2013-03-05 Symantec Corporation Methods, systems, and user interface for E-mail analysis and review
JP4635891B2 (ja) * 2006-02-08 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2007127695A2 (en) * 2006-04-25 2007-11-08 Elmo Weber Frank Prefernce based automatic media summarization
JP4826331B2 (ja) * 2006-05-09 2011-11-30 富士ゼロックス株式会社 文書利用追跡システム
US8818803B2 (en) * 2008-10-27 2014-08-26 Frank Elmo Weber Character-based automated text summarization
JP5423993B2 (ja) * 2008-12-26 2014-02-19 日本電気株式会社 テキスト処理装置、テキスト処理方法、及びプログラム
US8386475B2 (en) 2008-12-30 2013-02-26 Novell, Inc. Attribution analysis and correlation
US8296297B2 (en) 2008-12-30 2012-10-23 Novell, Inc. Content analysis and correlation
US8301622B2 (en) 2008-12-30 2012-10-30 Novell, Inc. Identity analysis and correlation
US20100250479A1 (en) * 2009-03-31 2010-09-30 Novell, Inc. Intellectual property discovery and mapping systems and methods
JP5273735B2 (ja) * 2009-10-13 2013-08-28 日本電信電話株式会社 テキスト要約方法、その装置およびプログラム
US8543381B2 (en) * 2010-01-25 2013-09-24 Holovisions LLC Morphing text by splicing end-compatible segments
JP5445339B2 (ja) * 2010-06-08 2014-03-19 ソニー株式会社 コンテンツ推薦装置およびコンテンツ推薦方法
US8719257B2 (en) 2011-02-16 2014-05-06 Symantec Corporation Methods and systems for automatically generating semantic/concept searches
JP5242722B2 (ja) * 2011-03-01 2013-07-24 株式会社東芝 代表文抽出装置およびプログラム
US20130060760A1 (en) * 2011-09-02 2013-03-07 Microsoft Corporation Determining comprehensive subsets of reviews
JP5367869B2 (ja) * 2012-04-27 2013-12-11 楽天株式会社 集計装置、集計プログラム、集計プログラムを記録したコンピュータ読み取り可能な記録媒体、及び集計方法
US9558458B2 (en) * 2012-12-20 2017-01-31 The Procter & Gamble Company Method for allocating spatial resources
US9727641B2 (en) * 2013-04-25 2017-08-08 Entit Software Llc Generating a summary based on readability
WO2016053314A1 (en) * 2014-09-30 2016-04-07 Hewlett-Packard Development Company, L.P. Specialized language identification
US10169353B1 (en) * 2014-10-30 2019-01-01 United Services Automobile Association (Usaa) Grouping documents based on document concepts
US9613133B2 (en) * 2014-11-07 2017-04-04 International Business Machines Corporation Context based passage retrieval and scoring in a question answering system
RU2610241C2 (ru) * 2015-03-19 2017-02-08 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Способ и система синтеза текста на основе извлеченной информации в виде rdf-графа с использованием шаблонов
US9767193B2 (en) * 2015-03-27 2017-09-19 Fujitsu Limited Generation apparatus and method
US20160343071A1 (en) * 2015-05-19 2016-11-24 Prattle Analytics, LLC Systems and methods for generating communication data analytics
US10140344B2 (en) 2016-01-13 2018-11-27 Microsoft Technology Licensing, Llc Extract metadata from datasets to mine data for insights
US11250332B2 (en) * 2016-05-11 2022-02-15 International Business Machines Corporation Automated distractor generation by performing disambiguation operations
US10860797B2 (en) * 2018-06-13 2020-12-08 Cisco Technology, Inc. Generating summaries and insights from meeting recordings
JP2022050011A (ja) * 2020-09-17 2022-03-30 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477451A (en) * 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US5442778A (en) 1991-11-12 1995-08-15 Xerox Corporation Scatter-gather: a cluster-based method and apparatus for browsing large document collections
EP0602296A1 (en) * 1992-12-17 1994-06-22 International Business Machines Corporation Adaptive method for generating field dependant models for intelligent systems
ES2101613B1 (es) * 1993-02-02 1998-03-01 Uribe Echebarria Diaz De Mendi Metodo de traduccion automatica interlingual asistida por ordenador.
US5510981A (en) * 1993-10-28 1996-04-23 International Business Machines Corporation Language translation apparatus and method using context-based translation models
US5659765A (en) * 1994-03-15 1997-08-19 Toppan Printing Co., Ltd. Machine translation system
JPH09128396A (ja) * 1995-11-06 1997-05-16 Hitachi Ltd 対訳辞書作成方法
US6161083A (en) * 1996-05-02 2000-12-12 Sony Corporation Example-based translation method and system which calculates word similarity degrees, a priori probability, and transformation probability to determine the best example for translation
JPH10134066A (ja) 1996-10-29 1998-05-22 Matsushita Electric Ind Co Ltd 文章集約装置

Also Published As

Publication number Publication date
JP2000235584A (ja) 2000-08-29
US6493663B1 (en) 2002-12-10

Similar Documents

Publication Publication Date Title
JP3879321B2 (ja) 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体
US6823325B1 (en) Methods and apparatus for storing and retrieving knowledge
Hall et al. Single malt or blended? A study in multilingual parser optimization
Zubrinic et al. The automatic creation of concept maps from documents written using morphologically rich languages
KR101646754B1 (ko) 모바일 시멘틱 검색 장치 및 그 방법
JP5038939B2 (ja) 情報検索システム、方法及びプログラム
US20030101182A1 (en) Method and system for smart search engine and other applications
JP4521343B2 (ja) 文書処理装置及び文書処理方法
JPWO2009063925A1 (ja) 文書管理・検索システムおよび文書の管理・検索方法
KR20070089449A (ko) 문서 분류방법 및 그 문서 분류방법을 컴퓨터에서 실행시키기 위한 프로그램을 포함하는 컴퓨터로 읽을 수있는 기록매체.
JP2001134575A (ja) 頻出パターン検出方法およびシステム
US7398196B1 (en) Method and apparatus for summarizing multiple documents using a subsumption model
JP3353829B2 (ja) 膨大な文書データからの知識抽出方法、その装置及び媒体
JP2007047974A (ja) 情報抽出装置および情報抽出方法
JP2012128858A (ja) クエリシステム及びコンピュータプログラム
JP2000276487A (ja) 事例蓄積・検索装置、並びに事例蓄積方法および事例検索方法、並びに事例蓄積プログラムを記録したコンピュータで読取可能な記録媒体および事例検索プログラムを記録したコンピュータで読取可能な記録媒体
JPH1196177A (ja) 用語辞書生成方法および用語辞書生成プログラムを記録した記録媒体
KR101476225B1 (ko) 자연어 및 수식 색인화 방법과 그를 위한 장치 및 컴퓨터로 읽을 수 있는 기록매체
KR20030027349A (ko) 관계형 데이터베이스를 이용한 문서 저장/복구 장치 및 그방법
JP3743204B2 (ja) データ分析支援方法および装置
Ravinuthala et al. A keyword extraction approach for single document extractive summarization based on topic centrality
KR100479346B1 (ko) 문서분류기법을 이용한 정답문서집합 자동 구축 방법
JP2001084252A (ja) 類似文書検索システム及び方法並びに類似文書検索プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11259524A (ja) 情報検索システム、情報検索システムにおける情報処理方法および記録媒体
Degeratu et al. An Automatic Method for Constructing Domain-Specific Ontology Resources.

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061030

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees