JP4341077B2

JP4341077B2 - 文書処理装置、文書処理方法、および、文書処理プログラム

Info

Publication number: JP4341077B2
Application number: JP2007259326A
Authority: JP
Inventors: 享赤峯
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-10-03
Filing date: 2007-10-03
Publication date: 2009-10-07
Anticipated expiration: 2024-09-27
Also published as: JP2008059600A

Description

本発明は、文書処理装置、文書処理方法、および、文書処理プログラムに関し、特に、係り受け解析などを用いて、コンピュータに蓄積されている電子化テキストを構造化することで、頻出パターンの構造を抽出する文書処理装置、文書処理方法、および、文書処理プログラムに関する。

従来、この種の文書処理装置では、木構造の部分構造の出現頻度を元に頻出パターンを
求め、高頻度で出現する部分構造をテキストマイニング結果として出力していた。従来の
文書処理装置の一例が、特許文献１に記載されている。

この特許文献１に記載された文書処理装置は、文書集合から頻出するパターンを知識と
して抽出する装置である。図１１に示すように、この従来の文書処理装置は、言語特徴分
析装置、言語解析装置、パターン抽出装置、頻出パターン表示装置から構成されている。

このような構成を有する従来の文書処理装置はつぎのように動作する。まず言語分析装
置によって基本辞書と文書データから分野依存辞書を作成し、言語解析装置によって基本
辞書と分野依存辞書と文書データから構文木などの構造を作成し、パターン抽出装置がこ
の構造を用いて頻出パターンを抽出してこの頻出パターンに合致する表現書データ中の表
現書を頻出パターン適合表現書記憶部に記憶させ、頻出パターン表示装置が頻出パターン
を出力する。これにより、「出る」−「絵」、「要求する」−「フロッピー（登録商標）
ディスク」などの頻出するパターンを抽出し、頻出パターンにマッチする文書を検索する
ことができる。

このように、言語解析を行い木構造上で頻出パターンを抽出することで、文書集合から
高精度に知識を抽出する文書処理装置は存在する。

また、文書処理の要素技術である係り受け解析の既存技術としては、非特許文献１記載
の技術がある。

特開２００１−８４２５０号公報工藤拓，松本裕治，「チャンキングの段階適用による係り受け解析」，情報処理学会論文誌，２００２年６月，第４３巻，第６号，ｐ．１８３４-１８４２

上述した特許文献１の第１の課題は、抽出した頻出パターンの意味を人間が容易に理解
することが困難ということである。

その理由は、マイニング結果として出力されるのは、例えば「出る」−「絵」のような
単語間の構造、もしくは、その構造が含まれる文全体であり、頻出パターンの部分構造の
みを人間が理解容易な自然言語表現として生成することが考慮されていないためである。

第２の課題は、抽出した複数の頻出パターンを比較することが困難ということである。

その理由は、抽出した複数の頻出パターンを、統一のとれた表現として出力することが
考慮さていないためである。そのため、例えば、「高速な機種Ａ」のように名詞句の表現
と、「機種Ｂは遅い」のような文の表現が混在して出力される可能性がある。

第３の課題は、ユーザが抽出パターンの表現形態を指定できないことである。

その理由は、抽出対象のパターンの表現形態を選択することができないためである。そ
のため、ユーザの「文を優先して出力する」、「２０文字以下の表現を優先して出力する
」という要求にマッチしたパターンの表現形態の文を生成することができない。

本発明の目的は、上記いずれかの課題を解決する文書処理装置、文書処理方法、および
、文書処理プログラムを提供することである。

本発明の第１の文書処理装置は、テキストデータベースに格納されたテキスト中の文を
解析して解析結果の木構造を作成する言語解析手段と、前記言語解析手段により作成され
た木構造の集合から頻出して現れる部分構造を抽出する頻出パターン抽出手段と、前記頻
出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最も
スコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現
を生成する典型表現生成手段と、を備えることを特徴とする。

本発明の第２の文書処理装置は、テキストデータベースに格納されたテキスト中の文を
解析して解析結果の木構造を作成する言語解析手段と、前記言語解析手段により作成され
た木構造の集合から頻出して出現する部分構造を抽出する頻出パターン抽出手段と、前記
頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最
もスコアの高い自然言語表現、もしくは、スコア順にランキングされた自然言語表現を生
成する典型表現生成手段と、前記典型表現生成手段により生成された自然言語表現を他の
頻出する部分構造の自然言語表現と同様の表現形態に統一する表現統一手段と、を備える
ことを特徴とする。

本発明の第３の文書処理装置は、テキストデータベースに格納されたテキスト中の文を
解析して解析結果の木構造を作成する言語解析手段と、前記言語解析手段により作成され
た木構造の集合から頻出して出現する部分集合を抽出する頻出パターン抽出手段と、前記
頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最
もスコアの高い自然言語表現、もしくは、スコア順にランキングされた自然言語表現を生
成する典型表現生成手段と、前記典型表現生成手段により生成された自然言語表現を外部
から指定された表現で統一する表現統一手段と、を備えることを特徴とする。

本発明の第４の文書処理装置は、前記第１、第２、または、第３の文書処理装置であっ
て、文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行う
前記典型表現生成手段を備えることを特徴とする。

本発明の第１の文書処理方法は、テキスト中の文に対して、言語解析を行うことで木構
造を作成し、木構造の集合を解析し頻出して現れる木構造の部分構造を作成し、頻出パタ
ーンである文の部分構造に対応する表現をスコア付けし、部分構造が表す最も典型的な自
然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成すること
を特徴とする。

本発明の第２の文書処理方法は、テキスト中の文に対して、言語解析を行うことで木構
造を作成し、木構造の集合を解析し頻出して現れる木構造の部分構造を作成し、頻出パタ
ーンである文の部分構造に対応する表現をスコア付けし、スコア順にランキングされた複
数の自然言語表現を生成し、複数の自然言語表現の中から、名詞句、または文を含む特定
の表現形態のものを選択して出力することを特徴とする。

本発明の第３の文書処理方法は、前記第１、または第２の文書処理方法であって、文の
生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行うことを特
徴とする。

本発明の第１の文書処理プログラムは、文書処理の対象となる文の集合を記憶する記憶
部内の前記文を言語解析して、文の木構造を作成する処理と、木構造の集合を解析し頻出
して現れる木構造の部分構造を作成する処理と、頻出パターンである文の部分構造に対応
する表現をスコア付けし、部分構造が表す最も典型的な自然言語表現、もしくは、スコア
順にランキングされた複数の自然言語表現を生成する処理と、をコンピュータに実行させ
ることを特徴とする。

本発明の第２の文書処理プログラムは、文書処理の対象となる文の集合を記憶する記憶
部の前記文を言語解析して、文の木構造を作成する処理と、木構造の集合を解析し頻出し
て現れる木構造の部分構造を作成する処理と、頻出パターンである文の部分構造に対応す
る表現をスコア付けし、部スコア順にランキングされた複数の自然言語表現を生成する処
理と、複数の自然言語表現の中から、名詞句、または文を含む特定の表現形態のものを選
択して出力する処理と、をコンピュータに実行させることを特徴とする。

本発明の第３の文書処理プログラムは、前記第１、または、第２の文書処理プログラム
であって、文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付け
を行う処理をコンピュータに実行させることを特徴とする。

本発明の効果は、類似した意味を持つ頻出パターンの構造から、対応する典型的な自然
言語表現を生成できることである。

その理由は、頻出パターンの構造に対する複数の自然言語表現をスコア付けして最も典
型的な表現を生成するからである。

次に、本発明を実施するための第１の最良の形態について図面を参照して詳細に説明す
る。

図１は、本発明を実施するための第１の最良の形態の構成を示すブロック図である。

図１を参照すると、本発明を実施するための第１の最良の形態は、情報を記憶する記憶
装置１００（メモリ、ハードディスク等）と、プログラム制御により動作するデータ処理
装置２００（コンピュータ等）と、ディスプレイ装置等の出力装置３００とを含む。

記憶装置１００は、データベースであるテキストＤＢ１１を含む。

テキストＤＢ１１は、マイニング対象となるテキストの集合を記憶している。

データ処理装置２００は、言語解析手段２１と頻出パターン抽出手段２２と典型表現生
成手段２３とを備える。データ処理装置２００は、プロセッサ（図示せず）と内部記憶装
置（メモリ等、図示せず）とを含む構成が可能である。言語解析手段２１、頻出パターン
抽出手段２２、および、典型表現生成手段２３は、アプリケーションプログラムとして実
現可能である。このアプリケーションプログラムは、内部記憶装置に格納され実行される
。

これらの手段はそれぞれ概略つぎのように動作する。

言語解析手段２１は、テキストＤＢ１１から文の集合を読み取り、各文に対して、形態
素解析や係り受け解析を行い、木構造を作成し内部記憶装置に格納する。

頻出パターン抽出手段２２は、言語解析手段２１で作成された木構造を内部記憶装置か
ら読み出し、木構造から頻出して現れる部分構造を抽出し内部記憶装置に格納する。

典型表現生成手段２３は、頻出パターン抽出手段２２で作成された部分構造を内部記憶
装置から読み出し、部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然
言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成し、出力装
置３００に出力する。ここで、自然言語表現とは、文全体、もしくは、文の部分である。

以降、内部記憶装置への格納、内部記憶装置からの読み出しについては、当然のことと
して記述を省略する。

次に、本発明を実施するための第１の最良の形態の動作について図面を参照して詳細に
説明する。

図２は、本発明を実施するための第１の最良の形態の動作を示すフローチャートである
。

図２を参照すると、まず、言語解析手段２１が、テキストＤＢ１１からテキスト集合（
テキストの集合）を読み込む。言語解析手段２１は、テキスト集合の各文に対して、形態
素解析や係り受け解析を行い、解析結果として木構造を作成する（図２のステップＳ１１
）。次に、頻出パターン抽出手段２２は、木構造を解析し頻出して現れる木構造の部分構
造を作成する（図２のステップＳ１２）。次に、典型表現生成手段２３は、頻出パターン
である文の部分構造に対応する形態素列をスコア付けし、部分構造が表す最も典型的な自
然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成する（図
２のステップＳ１３）。なお、形態素列のスコアとしては、文の生起確率など（生起確率
以外でもかまわない）を用いることができる。

本発明を実施するための第１の最良の効果は、類似した意味を持つ頻出パターンの構造
から、対応する典型的な自然言語表現を生成できることである。

その理由は、頻出パターンの構造に対する複数の自然言語表現をスコア付けして最も典
型的な表現を生成するためである。

次に、本発明を実施するための第２の最良の形態について図面を参照して詳細に説明す
る。

図３は、本発明を実施するための第２の最良の形態の構成を示すブロック図である。

図３を参照すると、第２の最良の形態においては、データ処理装置４００が、図１に示
された第１の最良の形態におけるデータ処理装置２００に置き換わる。データ処理装置４
００は、データ処理装置２００に表現統一手段２４が追加されている。言語解析手段２１
、頻出パターン抽出手段２２、および、典型表現生成手段２３は、第１の最良の形態のも
のと同一である。

第２の最良の形態において、表現統一手段２４は概略つぎのように動作する。

表現統一手段２４は、典型表現生成手段２３の出力のランキングされた複数の自然言語
表現の中から、名詞句や文といった特定の表現形態のものを選択して出力する。

次に、本発明を実施するための第２の最良の形態の動作について図面を参照して詳細に
説明する。

図４は、本発明を実施するための第２の最良の形態の動作を示すフローチャートである
。

図４を参照すると、まず、言語解析手段２１が、テキストＤＢ１１からテキスト集合を
読み込む。言語解析手段２１は、テキスト集合の各文に対して、形態素解析や係り受け解
析を行い、解析結果として木構造を作成する（図４のステップＳ２１）。

次に、頻出パターン抽出手段２２は、木構造を解析し頻出して現れる木構造の部分構造
を作成する（図４のステップＳ２２）。次に、典型表現生成手段２３は、頻出パターンで
ある文の部分構造に対応する形態素列をスコア付けし、スコア順にランキングされた複数
の自然言語表現を生成する（図４のステップＳ２３）。次に、表現統一手段２４は、典型
表現生成手段２３の出力のランキングされた複数の自然言語表現の中から、名詞句や文と
いった特定の表現形態のものを選択して出力する（図４のステップＳ２４）。

本発明を実施するための第２の最良の形態の効果は、他の表現と比較容易な自然言語表
現を生成できることである。

その理由は、生成する自然言語表現を他の頻出パターンに対する自然言語表現と比較す
ることで、同様の表現形態に統一した表現を選択するためである。

次に、本発明を実施するための第１の最良の形態の実施例について図面を参照して詳細
に説明する。

図５は、テキストＤＢ１１のテキスト情報の一例を示す説明図である。

図５を参照すると、テキストＤＢ１１は、文ＩＤと文とのペアの集合であり、例えば、
文ＩＤが１の文が「機種Ａは画面が大きい。」という文であり、文ＩＤが２の文が「大き
な画面の機種Ａ」という文であることを示す。

言語解析手段２１は、まず、全ての文に対して形態素解析を行い、文を形態素に分割し
て、品詞などの補助情報を作成する。形態素解析結果には、各形態素に、形態素ＩＤ、表
層、原形、品詞の情報が付加される。ここで、表層は文中に出現した文字列そのものであ
り、原形は動詞の活用などの語形変化を元の形で表現したものである。

図６は、形態素解析結果の一例を示す説明図である。

図６（Ａ）を参照すると、文ＩＤが１の文の形態素解析結果であり、例えば、形態素Ｉ
Ｄが１−１の形態素の、表層が「機種Ａ」、原形が「機種Ａ」、品詞が「名詞」であるこ
とを示している。

次に、言語解析手段２１は、形態素解析結果を係り受け解析し、木構造を作成する。

図７は、係り受け解析結果の一例を示す説明図である。

図７を参照すると、係り受け解析結果は、文中の自立語を構造の節点で表し、係り受け
関係を係り元の節点から係り先の節点への有向枝で表し、助詞などの付属語を有向枝の節
点の属性値で表している。なお、図７では便宜的に、各節点に付与される自立語と付属語
の形態素情報として、形態素ＩＤと原形のみを示しているが、実際には、表層や品詞とい
った他の形態素情報も同様に付与されている。

ここで行われる形態素解析と係り受け解析は、機械翻訳で行われるような既存の技術で
実現することができる。例えば、非特許文献１がある。

頻出パターン抽出手段２２は、意味的に類似したパターンを同一のものとして木構造の
頻出パターンを抽出する。

例えば、係り受け解析結果の木構造に対して以下の（１）−（３）の処理を行い、処理
後の木構造に対して頻出パターンを求めることで、意味的に類似したパターンを同一のも
のとした木構造の頻出パターンを抽出することができる。
（１）係り受けの向きや係り受けの順序を無視した無向無順序木を作成する。
（２）同義の表現を同じ意味の代表表現に統一する。
（３）付属語情報を削除する。

図８は、係り受けの向きや付属語情報を削除することで、図７の木構造より抽出した頻
出パターンの構造を示す説明図である。

図８を参照すると、文ＩＤ１、文ＩＤ２、文ＩＤ３、文ＩＤ４の４文に共通して出現し
ているパターン（大きい、画面、機種Ａ）の構造が示される。

典型表現生成手段２３は、頻出パターン抽出手段２２が作成した頻出パターンの部分構
造、及び、言語解析手段２１が作成した形態素解析結果から自然言語表現を生成する。

典型表現生成手段２３の動作を、図８に示す構造を例にとって説明する。この例では、
図８の構造に対応する最も生起確率の高い自然言語表現を生成する。

典型表現生成手段２３は、まず、図８の構造に対応する部分の形態素列の形態素情報を
取得する。

図９は、図８の構造に対応する形態素情報を示す説明図である。

図９では、形態素情報の代表として、形態素ＩＤと表層のみを示しているが、図６に含
まれる原形、品詞といった他の形態素情報も取得している。

次に、各文の生起確率を（式１）で求める。

Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）・・・（式１）。

ここで、Πは、ｉ＝１からｉ＝ｎまでの総積を示す。

また、ｗ＿ｉはｉ番目の形態素を、ｗ＿ｉ＋１はｉ＋１番目の形態素を、ｎは形態素の
数を表す。また、Ｐ（ｗ＿ｉ）はｉ番目の形態素の出現確率であり、Ｐ（ｗ＿ｉ＋１｜ｗ
＿ｉ）はｉ番目の形態素が出現した場合に、ｉ＋１番目の形態素が出現する条件付確率で
ある。

例えば、図９の表層を全体集合として形態素の出現確率と条件付確率を求め、（式１）
で文ＩＤ１の生起確率を計算すると、以下になる。

Ｐ(ｗ＿１）は、形態素「機種Ａ」（１−１）が全形態素（１−１〜４−７）中に出現
する確率である。Ｐ（ｗ＿２｜ｗ＿１）は、形態素「は」（１−２）が、「機種Ａ」の表
れる文（文ＩＤ１〜４）中に表れる確率である。Ｐ（ｗ＿３|ｗ＿２)は、形態素「画面」
（１−３）が、「は」の表れる文（文ＩＤ１、文ＩＤ４）中に表れる確率である。Ｐ（ｗ
＿４|ｗ＿３）は、形態素「が」（１−４）が、「画面」の表れる文（文ＩＤ１〜４）中
に表れる確率である。Ｐ（ｗ＿５｜ｗ＿４）は、形態素「大きい」（１−５）が、「が」
の表れる文（文ＩＤ１、文ＩＤ３、文ＩＤ４）中に表れる確率である。

文ＩＤ１の生起確率は、Ｐ(ｗ＿１）＊Ｐ（ｗ＿２｜ｗ＿１）＊Ｐ（ｗ＿３|ｗ＿２)＊
Ｐ（ｗ＿４|ｗ＿３）＊Ｐ（ｗ＿５｜ｗ＿４）＝Ｐ（機種Ａ）＊Ｐ（は｜機種Ａ）＊Ｐ（
画面|は）＊Ｐ（が｜画面）＊Ｐ（大きい｜が）＝（４／１９）＊（２／４）＊（２／２
）＊（３／４）＊（３／３）＝０．０７８９となる。

ここでは、部分構造と対応する表層をテキストの全体集合として生起確率を求めたが、
テキストＤＢ１１中の全ての文をテキストの全体集合にして生起確率を求めることもでき
る。また、新聞記事のような大量のテキストを全体集合にして生起確率を求めることもで
きる。さらに、生起確率を求めるテキストの全体集合を電子メールにすることで、電子メ
ールで用いられる会話的な表現を優先することもできる。

典型表現生成手段２３は、文ＩＤ１、文ＩＤ２、文ＩＤ３、文ＩＤ４の生起確率を計算
し、その中で最も生起確率の高い文ＩＤ１、および、文ＩＤ４の自然言語表現である「機
種Ａは画面が大きい」を典型表現として、出力する。

もしくは、典型表現生成手段２３は、文ＩＤ１、文ＩＤ２、文ＩＤ３、文ＩＤ４の表現
を生起確率の順に並び換え、「機種Ａは画面が大きい」、「機種Ａの画面が大きい」、「
大きな画面の機種Ａ」の順にランキングして出力する。

ここでは、典型表現を求める基準として、表現の生起確率でランク付けを行ったが、表
現の長さでランク付けを行うこともできる。この場合、最も表現が短いものを優先してラ
ンク付けすることで、文ＩＤ２の「大きな画面の機種Ａ」を典型表現として出力する。

次に、本発明を実施するための第２の最良の形態の実施例について図面を参照して詳細
に説明する。

言語解析手段２１、頻出パターン抽出手段２２、典型表現生成手段２３は、前記第１の
最良の形態の実施例と同様に動作する。

図１０は、典型表現生成手段２３が、複数の頻出パターンの部分構造から、それぞれの
部分構造に対応する自然言語表現をランキングして出力した結果を示す説明図である。

図１０を参照すると、出現頻度が１０の部分構造から、スコアの高い順に、「高速な機
種Ａ」、「機種Ａは速い」、「速い機種Ａ」が順に出力されている。また、図１０では、
出現頻度が４の部分構造から、スコアの高い順に、「機種Ａは画面が大きい」、「機種Ａ
の画面が大きい」、「大きな画面の機種Ａ」が順に出力されている。

表現統一手段２４は、まず、出現頻度が１０で最もスコアが高い「高速な機種Ａ」を出
力する。出力された「高速な機種Ａ」は、「機種Ａ」という名詞で表現が終了する名詞句
であるため、表現形態を統一するために、他の表現も名詞句にして出力する。つまり、次
に、出現頻度が４の表現を選択する際に、スコアが最も高い「機種Ａは画面が大きい」で
なくて、表現形態が同様の名詞句である「大きな画面の機種Ａ」を選択して、出力する。
以上により、表現統一手段２４の出力は、「高速な機種Ａ」、「画面が大きい機種Ａ」と
いう同じ表現形態の名詞句で出力できる。

ここでは、最も出現頻度が高く、スコアが高い表現に合わせて表現を統一したが、予め
表現形態を名詞句や文に指定して、それに従って出力することも可能である。例えば、表
現形態として文が指定されていれば、動詞や形容詞などの用言で終了する表現が選択され
、表現統一手段２４の出力は、「機種Ａは速い」、「機種Ａの画面が大きい」などの文に
なる。

したがって、本発明は、ユーザが指定した表現形態の表現を生成できる効果もある。

その理由は、生成した複数の自然言語表現をユーザが指定した自然言語表現と比較する
ことで、ユーザが指定した表現形態の表現を生成結果として選択できるからである。

本発明は、コンピュータ上に蓄積される顧客からのメール、アンケート結果、掲示板の
情報などの電子化テキストを元に、特徴分析、キー表現の抽出、要約を行う文書処理装置
や、文書処理装置をコンピュータに実現するためのプログラムといった用途に適用できる
。

本発明を実施するための第１の最良の形態の構成を示すブロック図。本発明を実施するための第１の最良の形態の動作を示すフローチャート。本発明を実施するための第２の最良の形態の構成を示すブロック図。本発明を実施するための第２の最良の形態の動作を示すフローチャート。テキストＤＢの例を示す説明図。言語解析手段の形態素解析結果を示す説明図。言語解析手段の係り受け解析結果を示す説明図。頻出パターン抽出手段が抽出する部分構造を示す説明図。典型表現生成手段の生成対象の形態素列を示す説明図。表現統一手段の統一対象の自然言語表現を示す説明図。従来の技術の構成を示すブロック図。

符号の説明

１００記憶装置
２００データ処理装置
３００出力装置
４００データ処理装置
１１テキストＤＢ
２１言語解析手段
２２頻出パターン抽出手段
２３典型表現生成手段
２４表現統一手段

Claims

テキストデータベースに格納されたテキスト中の各文を解析して解析結果の木構造を作成する言語解析手段と、
前記言語解析手段により作成された木構造の集合から頻出して出現する部分構造を抽出する頻出パターン抽出手段と、
前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列を、当該形態素列がどの程度に典型表現らしいかを表すスコアによってスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を自然言語の文の形で生成する典型表現生成手段と、
前記典型表現生成手段により生成された自然言語表現を特定の表現形態に統一する表現統一手段と、を備え、
前記典型表現らしいかを表すスコアは、前記形態素列の生起確率に応じて決定されることを特徴とする文書処理装置。
前記表現統一手段は、前記典型表現生成手段により生成された自然言語表現を他の頻出する部分構造の自然言語表現と同様の表現形態に統一することを特徴とする請求項１に記載の文書処理装置。
前記表現統一手段は、前記典型表現生成手段により生成された自然言語表現を外部から指定された表現で統一することを特徴とする請求項１に記載の文書処理装置。
前記典型表現生成手段は、前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をｗ＿１、ｗ＿２…ｗ＿ｎとし、またｗ＿ｉの生起確率をＰ（ｗ＿ｉ）、ｗ＿ｉに続いてｗ＿ｉ＋１が生起する条件付確率をＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）とした場合、形態素列の生起確率Ｐ（ｗ＿１）＊Π｛ｉ＝１〜ｎ｝Ｐ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行うことを特徴とする請求項１に記載の文書処理装置。
テキストに対応する自然言語表現を生成する文書処理方法であって、
言語解析手段が、テキストデータベースに格納されたテキスト中の各文を解析して解析結果の木構造を作成する言語解析ステップと、
頻出パターン抽出手段が、前記言語解析ステップにおいて作成された木構造の集合から頻出して現れる部分構造を抽出する頻出パターン抽出ステップと、
典型表現生成手段が、前記頻出パターン抽出ステップにおいて抽出された部分構造に対応する形態素列を、当該形態素列がどの程度に典型表現らしいかを表すスコアによってスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を自然言語の文の形で生成する典型表現生成ステップと、
表現統一手段が、前記典型表現生成ステップにおいて生成された自然言語表現を特定の表現形態に統一する表現統一ステップと、を含み、
前記典型表現らしいかを表すスコアは、前記形態素列の生起確率に応じて決定されることを特徴とする文書処理方法。
前記表現統一ステップにおいて、前記典型表現生成ステップにおいて生成された自然言語表現を他の頻出する部分構造の自然言語表現と同様の表現形態に統一することを特徴とする請求項５に記載文書処理方法。
前記表現統一ステップにおいて、前記典型表現生成ステップにおいて生成された自然言語表現を外部から指定された表現で統一することを特徴とする請求項５に記載文書処理方法。
前記典型表現生成ステップにおいて、前記頻出パターン抽出ステップにおいて抽出された部分構造に対応する形態素列をｗ＿１、ｗ＿２…ｗ＿ｎとし、またｗ＿ｉの生起確率をＰ（ｗ＿ｉ）、ｗ＿ｉに続いてｗ＿ｉ＋１が生起する条件付確率をＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）とした場合、形態素列の生起確率Ｐ（ｗ＿１）＊Π｛ｉ＝１〜ｎ｝Ｐ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行うことを特徴とする請求項５に記載の文書処理方法。
コンピュータにテキストに対応する自然言語表現を生成する文書処理を実行させる文書処理プログラムであって、
言語解析手段が、テキストデータベースに格納されたテキスト中の各文を解析して解析結果の木構造を作成する言語解析処理と、
頻出パターン抽出手段が、前記言語解析処理において作成された木構造の集合から頻出して現れる部分構造を抽出する頻出パターン抽出処理と、
典型表現生成手段が、前記頻出パターン抽出処理において抽出された部分構造に対応する形態素列を、当該形態素列がどの程度に典型表現らしいかを表すスコアによってスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を自然言語の文の形で生成する典型表現生成処理と、
表現統一手段が、前記典型表現生成処理において生成された自然言語表現を特定の表現形態に統一する表現統一処理と、を実行させ、
前記典型表現らしいかを表すスコアは、前記形態素列の生起確率に応じて決定されることを特徴とする文書処理プログラム。
前記表現統一処理において、前記典型表現生成処理において生成された自然言語表現を他の頻出する部分構造の自然言語表現と同様の表現形態に統一することを特徴とする請求項９に記載の文書処理プログラム。
前記表現統一処理において、前記典型表現生成処理において生成された自然言語表現を外部から指定された表現で統一することを特徴とする請求項９に記載の文書処理プログラム。
前記典型表現生成処理において、前記頻出パターン抽出処理において抽出された部分構造に対応する形態素列をｗ＿１、ｗ＿２…ｗ＿ｎとし、またｗ＿ｉの生起確率をＰ（ｗ＿ｉ）ｗ＿ｉに続いてｗ＿ｉ＋１が生起する条件付確率をＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）とした場合、形態素列の生起確率Ｐ（ｗ＿１）＊Π｛ｉ＝１〜ｎ｝Ｐ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行うことを特徴とする請求項９に記載の文書処理プログラム。