JPH1145288A - 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 - Google Patents
文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法Info
- Publication number
- JPH1145288A JPH1145288A JP9218229A JP21822997A JPH1145288A JP H1145288 A JPH1145288 A JP H1145288A JP 9218229 A JP9218229 A JP 9218229A JP 21822997 A JP21822997 A JP 21822997A JP H1145288 A JPH1145288 A JP H1145288A
- Authority
- JP
- Japan
- Prior art keywords
- document
- documents
- similar
- similarity
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】
【課題】 複数の文書がドキュメント単位でどれだけ似
ているかを判定して、その類似度の高い文書を纏め、各
文書群毎に要約を作成して読み易い要約を作成できる文
書処理装置および文書作成方法を提供すること。 【解決手段】 要約しようとする複数の文書毎の文書ベ
クトルを求め、各文書間で文書ベクトルの差をとる。こ
れらの連続する2つの文書間のコサインバリュー(cosi
ne value)が高いか低いかでトピックの同一性を判断す
る。同じトッピクに属する(即ち類似度が高い場合)と
された文書は、執筆の時間順に纏められでサマリー抽出
アルゴリズムにかける。これを各トピックに属するとさ
れた文書毎に繰り返し、各部分サマリーを結合して全体
サマリーを生成する。
ているかを判定して、その類似度の高い文書を纏め、各
文書群毎に要約を作成して読み易い要約を作成できる文
書処理装置および文書作成方法を提供すること。 【解決手段】 要約しようとする複数の文書毎の文書ベ
クトルを求め、各文書間で文書ベクトルの差をとる。こ
れらの連続する2つの文書間のコサインバリュー(cosi
ne value)が高いか低いかでトピックの同一性を判断す
る。同じトッピクに属する(即ち類似度が高い場合)と
された文書は、執筆の時間順に纏められでサマリー抽出
アルゴリズムにかける。これを各トピックに属するとさ
れた文書毎に繰り返し、各部分サマリーを結合して全体
サマリーを生成する。
Description
【0001】
【発明の属する技術分野】この発明は、文書処理装置、
文書処理方法および文書処理プログラムが記録された記
憶媒体に係り、詳細には、複数の文書から適切な要約を
作成する技術に関する。
文書処理方法および文書処理プログラムが記録された記
憶媒体に係り、詳細には、複数の文書から適切な要約を
作成する技術に関する。
【0002】
【従来の技術】従来、書籍、論文、報告書等の各種の文
書に対し、要約(抄録を含む)の自動作成処理や、他文
書等との関連づけ処理等の各種処理をコンピュータを用
いて行うことが行われている。文書の自動要約について
は、例えば、「全文情報からの意味的情報の抽出と加
工」(情報処理学会第38回全国大会予稿集、第222
頁;1989年)で提案されている。この方法では、ま
ず文書中の重要語を字種や動詞等の情報から抽出し、さ
らに重要語の出現頻度から最重要語を決定する。次に、
重要語と最重要語が出現するか否かから重要文を決定す
ることで、自動的に要約を作成することが可能になる。
また、文章の段落の性質を反映させることで、より正確
に要約を作成する特開平3−191475号公報に記載
された方法等も提案されている。一方、他のデータとの
関連づけとしては、インターネットにおけるハイパーリ
ンクや、フレームシステム等による知識処理(エキスパ
ートシステム等)における関連づけ等が行われている。
書に対し、要約(抄録を含む)の自動作成処理や、他文
書等との関連づけ処理等の各種処理をコンピュータを用
いて行うことが行われている。文書の自動要約について
は、例えば、「全文情報からの意味的情報の抽出と加
工」(情報処理学会第38回全国大会予稿集、第222
頁;1989年)で提案されている。この方法では、ま
ず文書中の重要語を字種や動詞等の情報から抽出し、さ
らに重要語の出現頻度から最重要語を決定する。次に、
重要語と最重要語が出現するか否かから重要文を決定す
ることで、自動的に要約を作成することが可能になる。
また、文章の段落の性質を反映させることで、より正確
に要約を作成する特開平3−191475号公報に記載
された方法等も提案されている。一方、他のデータとの
関連づけとしては、インターネットにおけるハイパーリ
ンクや、フレームシステム等による知識処理(エキスパ
ートシステム等)における関連づけ等が行われている。
【0003】
【発明が解決しようとする課題】ところで、従来の文書
処理装置では、単数の文書を対象として、要約するもの
であった。そこで、複数の文書について要約を作成する
場合、個々の文書を要約してこれを繋ぎ合わせることが
必要であった。しかし、この方法によると、複数の各文
書が同一のトピックのみで構成されている場合は、比較
的適切な要約を作成することが可能であるが、各文書の
が異なる複数のトピックを含むときは、必ずしも適切な
要約を作成することができなかった。すなわち、各文書
の内容の類否を考慮せず、互いに異なる主張や事実の記
載をもつ複数文書の要約を互いにつなぎ合わせることで
要約を作成していたため、可読性の低い要約を生成して
いた。
処理装置では、単数の文書を対象として、要約するもの
であった。そこで、複数の文書について要約を作成する
場合、個々の文書を要約してこれを繋ぎ合わせることが
必要であった。しかし、この方法によると、複数の各文
書が同一のトピックのみで構成されている場合は、比較
的適切な要約を作成することが可能であるが、各文書の
が異なる複数のトピックを含むときは、必ずしも適切な
要約を作成することができなかった。すなわち、各文書
の内容の類否を考慮せず、互いに異なる主張や事実の記
載をもつ複数文書の要約を互いにつなぎ合わせることで
要約を作成していたため、可読性の低い要約を生成して
いた。
【0004】そこで、本発明は、このような従来の課題
を解決するために成されたもので、複数の文書が、ドキ
ュメント単位でどれだけ似ているかを判定して、その類
似度の高い文書を纏め、各文書群毎に要約を作成する文
書処理装置および文書作成方法を提供することを第1の
目的とする。また、本発明は、複数の文書が、ドキュメ
ント単位でどれだけ似ているかを判定して、その類似度
の高い文書を纏め、各文書群毎に要約を作成しすること
ができるコンピュータ読取り可能な文書処理プログラム
を記録した記憶媒体を提供することを第2の目的とす
る。
を解決するために成されたもので、複数の文書が、ドキ
ュメント単位でどれだけ似ているかを判定して、その類
似度の高い文書を纏め、各文書群毎に要約を作成する文
書処理装置および文書作成方法を提供することを第1の
目的とする。また、本発明は、複数の文書が、ドキュメ
ント単位でどれだけ似ているかを判定して、その類似度
の高い文書を纏め、各文書群毎に要約を作成しすること
ができるコンピュータ読取り可能な文書処理プログラム
を記録した記憶媒体を提供することを第2の目的とす
る。
【0005】
【課題を解決するための手段】請求項1記載の発明で
は、所定形式の文書を複数個取得する文書取得手段(1
01、図10)と、前記文書取得手段により取得された
各文書間の類似度を算出する類似度算出手段(102)
と、前記類似度算出手段で算出された各文書間の類似度
から内容の類似した文書を纏めた類似文書群を作成する
類似文書群作成手段(103)と、この類似文書群作成
手段により作成された類似文書群毎に文書の要約を自動
的に作成する要約作成手段(104)と文書処理装置に
備えさせて前記第1の目的を達成する。
は、所定形式の文書を複数個取得する文書取得手段(1
01、図10)と、前記文書取得手段により取得された
各文書間の類似度を算出する類似度算出手段(102)
と、前記類似度算出手段で算出された各文書間の類似度
から内容の類似した文書を纏めた類似文書群を作成する
類似文書群作成手段(103)と、この類似文書群作成
手段により作成された類似文書群毎に文書の要約を自動
的に作成する要約作成手段(104)と文書処理装置に
備えさせて前記第1の目的を達成する。
【0006】請求項2に記載した発明では、請求項1に
記載した文書処理装置において、前記要約手段で作成し
た各要約を統合して複数文書の要約を作成する要約統合
手段(105、図11)を備えたことにより前記第1の
目的を達成する。
記載した文書処理装置において、前記要約手段で作成し
た各要約を統合して複数文書の要約を作成する要約統合
手段(105、図11)を備えたことにより前記第1の
目的を達成する。
【0007】請求項3に記載した発明では、請求項1ま
たは請求項2に記載した文書処理装置において、前記文
書取得手段で取得された複数個の各文書を特徴づける文
書ベクトルを決定する文書ベクトル決定手段を備え、前
記類似度算出手段は前記文書ベクトル決定手段で決定さ
れた各文書の文書ベクトルにより各文書間の類似度を算
出することにより前記第1の目的を達成する。
たは請求項2に記載した文書処理装置において、前記文
書取得手段で取得された複数個の各文書を特徴づける文
書ベクトルを決定する文書ベクトル決定手段を備え、前
記類似度算出手段は前記文書ベクトル決定手段で決定さ
れた各文書の文書ベクトルにより各文書間の類似度を算
出することにより前記第1の目的を達成する。
【0008】請求項4に記載した発明では、請求項1、
請求項2または請求項3記載の文書処理装置において、
前記類似文書群作成手段で作成した類似文書群内の文書
を執筆時間順に配列し、この類似文書群を前記要約作成
手段で文書の要約を作成することにより前記第1の目的
を達成する。
請求項2または請求項3記載の文書処理装置において、
前記類似文書群作成手段で作成した類似文書群内の文書
を執筆時間順に配列し、この類似文書群を前記要約作成
手段で文書の要約を作成することにより前記第1の目的
を達成する。
【0009】請求項5に記載した発明では、請求項1、
請求項2、請求項3または請求項4記載の文書処理装置
において、前記類似文書群作成手段で内容の類似した文
書を纏めた類似文書群を作成する際、類似文書群の数の
目安となる値を利用者が入力できる数値入力手段を備え
たことにより前記第1の目的を達成する。
請求項2、請求項3または請求項4記載の文書処理装置
において、前記類似文書群作成手段で内容の類似した文
書を纏めた類似文書群を作成する際、類似文書群の数の
目安となる値を利用者が入力できる数値入力手段を備え
たことにより前記第1の目的を達成する。
【0010】請求項6に記載した発明では、所定形式の
文書を複数個取得する文書取得機能と、前記文書取得機
能により取得された各文書間の類似度を算出する類似度
算出機能と、前記類似度算出機能で算出された各文書間
の類似度から内容の類似した文書を纏めた類似文書群を
作成する類似文書群作成機能と、この類似文書群作成機
能により作成された類似文書群毎に文書の要約を自動的
に作成する要約作成機能と、をコンピュータに実現させ
るためのコンピュータ読取り可能な文書処理プログラム
が記憶された記憶媒体により前記第2の目的を達成す
る。
文書を複数個取得する文書取得機能と、前記文書取得機
能により取得された各文書間の類似度を算出する類似度
算出機能と、前記類似度算出機能で算出された各文書間
の類似度から内容の類似した文書を纏めた類似文書群を
作成する類似文書群作成機能と、この類似文書群作成機
能により作成された類似文書群毎に文書の要約を自動的
に作成する要約作成機能と、をコンピュータに実現させ
るためのコンピュータ読取り可能な文書処理プログラム
が記憶された記憶媒体により前記第2の目的を達成す
る。
【0011】請求項7に記載した発明では、請求項6記
載の記憶媒体において、前記要約機能で作成した各要約
を統合して複数文書の要約を作成する要約統合機能を備
えたことを特徴とする。
載の記憶媒体において、前記要約機能で作成した各要約
を統合して複数文書の要約を作成する要約統合機能を備
えたことを特徴とする。
【0012】請求項8に記載した発明では、請求項6ま
たは請求項7記載の記憶媒体において、前記文書取得機
能で取得された複数個の各文書を特徴づける文書ベクト
ルを決定する文書ベクトル決定機能を備え、前記類似度
算出機能は前記文書ベクトル決定機能で決定された各文
書の文書ベクトルにより各文書間の類似度を算出する。
たは請求項7記載の記憶媒体において、前記文書取得機
能で取得された複数個の各文書を特徴づける文書ベクト
ルを決定する文書ベクトル決定機能を備え、前記類似度
算出機能は前記文書ベクトル決定機能で決定された各文
書の文書ベクトルにより各文書間の類似度を算出する。
【0013】請求項9に記載した発明では、請求項6、
請求項7または請求項8記載の記憶媒体において、前記
類似文書群作成手段で作成した類似文書群内の文書を執
筆時間順に配列し、この類似文書群を前記要約作成機能
で文書の要約を作成する。
請求項7または請求項8記載の記憶媒体において、前記
類似文書群作成手段で作成した類似文書群内の文書を執
筆時間順に配列し、この類似文書群を前記要約作成機能
で文書の要約を作成する。
【0014】請求項10に記載した発明では、請求項
6、請求項7、請求項8または請求項9記載の記憶媒体
において、前記類似文書群作成機能で内容の類似した文
書を纏めた類似文書群を作成する際、文書類似群の数の
目安となる値を利用者が入力できる数値入力機能を備え
る。
6、請求項7、請求項8または請求項9記載の記憶媒体
において、前記類似文書群作成機能で内容の類似した文
書を纏めた類似文書群を作成する際、文書類似群の数の
目安となる値を利用者が入力できる数値入力機能を備え
る。
【0015】請求項11に記載した発明では、所定形式
の文書を複数個取得し、取得された各文書間の類似度を
算出し、算出された各文書間の類似度から内容の類似し
た文書を纏めた類似文書群を作成し、作成された類似文
書群毎に文書の要約を自動的に作成することをにより前
記第1の目的を達成する。
の文書を複数個取得し、取得された各文書間の類似度を
算出し、算出された各文書間の類似度から内容の類似し
た文書を纏めた類似文書群を作成し、作成された類似文
書群毎に文書の要約を自動的に作成することをにより前
記第1の目的を達成する。
【0016】請求項12に記載した発明では、請求項1
1記載の発明において、作成した各要約を統合して複数
文書の要約を作成することにより前記第1の目的を達成
する。
1記載の発明において、作成した各要約を統合して複数
文書の要約を作成することにより前記第1の目的を達成
する。
【0017】請求項12に記載した発明では、請求項1
1または請求項12記載の発明において、取得された複
数個の各文書を特徴づける文書ベクトルを決定し、決定
された前記文書ベクトルにより各文書間の類似度を算出
することにより前記第1の目的を達成する。
1または請求項12記載の発明において、取得された複
数個の各文書を特徴づける文書ベクトルを決定し、決定
された前記文書ベクトルにより各文書間の類似度を算出
することにより前記第1の目的を達成する。
【0018】
【発明の実施の形態】以下、本発明の文書処理装置、文
書処理方法および文書処理プログラムを記録した記憶媒
体の好適な実施の形態を、図1ないし図11を参照して
詳細に説明する。 (1)実施の形態の概要 本実施の形態では、複数の文書毎の文書ベクトルを求
め、各文書間で文書ベクトルの差をとる。これらの連続
する2つの文書間のコサインバリュー(cosine value)
が高いか低いかでトピックの同一性を判断する。同じト
ッピクに属する(即ち類似度が高い場合)とされた文書
は、執筆の時間順に纏められでサマリー抽出アルゴリズ
ムにかける。これを各トピックに属するとされた文書毎
に繰り返し、各部分サマリーを結合して全体サマリーを
生成する。
書処理方法および文書処理プログラムを記録した記憶媒
体の好適な実施の形態を、図1ないし図11を参照して
詳細に説明する。 (1)実施の形態の概要 本実施の形態では、複数の文書毎の文書ベクトルを求
め、各文書間で文書ベクトルの差をとる。これらの連続
する2つの文書間のコサインバリュー(cosine value)
が高いか低いかでトピックの同一性を判断する。同じト
ッピクに属する(即ち類似度が高い場合)とされた文書
は、執筆の時間順に纏められでサマリー抽出アルゴリズ
ムにかける。これを各トピックに属するとされた文書毎
に繰り返し、各部分サマリーを結合して全体サマリーを
生成する。
【0019】(2)実施の形態の詳細 図1は、文書処理装置の構成を表したブロック図であ
る。本実施の形態の文書処理装置は、パーソナルコンピ
ュータやワードプロセッサ等を含むコンピュータシステ
ムとして構成し、また、LAN(ローカル・エリア・ネ
ットワーク)のサーバーやインターネットを含むコンピ
ュータ(パソコン)通信のホストとして構成することが
可能である。文書処理装置は、図1に示すように装置全
体を制御するための制御部11を備えている。この制御
部11には、データバス等のバスライン21を介して、
入力装置としてのキーボード12やマウス13、表示装
置14、印刷装置15、記憶装置16、記憶媒体駆動装
置17、通信制御装置18、入出力I/F19および、
文字認識装置20が接続されている。制御部11は、C
PU111、ROM112、RAM113を備えてい
る。ROM112は、CPU111が各種制御や演算を
行うための各種プログラムやデータが予め格納されたリ
ードオンリーメモリである。
る。本実施の形態の文書処理装置は、パーソナルコンピ
ュータやワードプロセッサ等を含むコンピュータシステ
ムとして構成し、また、LAN(ローカル・エリア・ネ
ットワーク)のサーバーやインターネットを含むコンピ
ュータ(パソコン)通信のホストとして構成することが
可能である。文書処理装置は、図1に示すように装置全
体を制御するための制御部11を備えている。この制御
部11には、データバス等のバスライン21を介して、
入力装置としてのキーボード12やマウス13、表示装
置14、印刷装置15、記憶装置16、記憶媒体駆動装
置17、通信制御装置18、入出力I/F19および、
文字認識装置20が接続されている。制御部11は、C
PU111、ROM112、RAM113を備えてい
る。ROM112は、CPU111が各種制御や演算を
行うための各種プログラムやデータが予め格納されたリ
ードオンリーメモリである。
【0020】RAM113は、CPU111にワーキン
グメモリとして使用されるランダム・アクセス・メモリ
である。このRAM113には、本実施の形態による要
約処理を行うためのエリアとして、要約対象文書格納エ
リア1131、要約パラメータ格納エリア1132、類
似群情報格納エリア1133、文書ベクトル格納エリア
1134、要約格納エリア1135、その他の各種エリ
アが確保されるようになっている。要約パラメータ格納
エリア1132には、操作者からの入力等により取得さ
れた要約パラメータの値または後述のデータ格納部の1
63から読み込んだ要約パラメータのデフォルト値が格
納される。操作者が入力する要約パラメータとしては、
例えば、全文書に対する要約の比率(1%〜99%)、
数量優先のある/なし、長単文のある/なし、です/で
あるの選択をする/しない、等の値が格納される。類似
群情報格納エリア1133には、各文書間の類似度(−
1から+1で表示される)の情報が格納される。文書ベ
クトル格納エリア1134には、要約対象文書に対する
文書ベクトルと、後述する各類似文書群に対する文書ベ
クトルとが格納される。要約格納エリア1135には、
本実施の形態により発見された各トピックを含む各文書
群に対する要約と、要約対象文書全体に対する要約とが
格納される。
グメモリとして使用されるランダム・アクセス・メモリ
である。このRAM113には、本実施の形態による要
約処理を行うためのエリアとして、要約対象文書格納エ
リア1131、要約パラメータ格納エリア1132、類
似群情報格納エリア1133、文書ベクトル格納エリア
1134、要約格納エリア1135、その他の各種エリ
アが確保されるようになっている。要約パラメータ格納
エリア1132には、操作者からの入力等により取得さ
れた要約パラメータの値または後述のデータ格納部の1
63から読み込んだ要約パラメータのデフォルト値が格
納される。操作者が入力する要約パラメータとしては、
例えば、全文書に対する要約の比率(1%〜99%)、
数量優先のある/なし、長単文のある/なし、です/で
あるの選択をする/しない、等の値が格納される。類似
群情報格納エリア1133には、各文書間の類似度(−
1から+1で表示される)の情報が格納される。文書ベ
クトル格納エリア1134には、要約対象文書に対する
文書ベクトルと、後述する各類似文書群に対する文書ベ
クトルとが格納される。要約格納エリア1135には、
本実施の形態により発見された各トピックを含む各文書
群に対する要約と、要約対象文書全体に対する要約とが
格納される。
【0021】キーボード12は、かな文字を入力するた
めのかなキーやテンキー、各種機能を実行するための機
能キー、カーソルキー、等の各種キーが配置されてい
る。マウス13は、ポインティングデバイスであり、表
示装置14に表示されたキーやアイコン等を左クリック
することで対応する機能の指定を行う入力装置である。
表示装置14は、例えばCRTや液晶ディスプレイ等が
使用される。この表示装置には、要約対象文書の内容
や、本実施の形態により自動生成された要約の内容等が
表示されるようになっている。印刷装置15は、表示装
置14に表示された文章や、記憶装置16の文書格納部
164に格納された文書等の印刷を行うためのものであ
る。この印刷装置としては、レーザプリンタ、ドットプ
リンタ、インクジェットプリンタ、ページプリンタ、感
熱式プリンタ、熱転写式プリンタ、等の各種印刷装置が
使用される。
めのかなキーやテンキー、各種機能を実行するための機
能キー、カーソルキー、等の各種キーが配置されてい
る。マウス13は、ポインティングデバイスであり、表
示装置14に表示されたキーやアイコン等を左クリック
することで対応する機能の指定を行う入力装置である。
表示装置14は、例えばCRTや液晶ディスプレイ等が
使用される。この表示装置には、要約対象文書の内容
や、本実施の形態により自動生成された要約の内容等が
表示されるようになっている。印刷装置15は、表示装
置14に表示された文章や、記憶装置16の文書格納部
164に格納された文書等の印刷を行うためのものであ
る。この印刷装置としては、レーザプリンタ、ドットプ
リンタ、インクジェットプリンタ、ページプリンタ、感
熱式プリンタ、熱転写式プリンタ、等の各種印刷装置が
使用される。
【0022】記憶装置16は、読み書き可能な記憶媒体
と、その記憶媒体に対してプログラムやデータ等の各種
情報を読み書きするための駆動装置で構成されている。
この記憶装置16に使用される記憶媒体としては、主と
してハードディスクが使用されるが、後述の記憶媒体駆
動装置17で使用される各種記憶媒体のうちの読み書き
可能な記憶媒体を使用するようにしてもよい。記憶装置
16は、仮名漢字変換辞書161、プログラム格納部1
62、データ格納部163、文書データベース164、
要約データベース165、文書ベクトルデータベース1
66、図示しないその他の格納部(例えば、この記憶装
置16内に格納されているプログラムやデータ等をバッ
クアップするための格納部)等を有している。プログラ
ム格納部162には、本実施の形態における自動要約処
理プログラム、文書ベクトル作成処理プログラム、要約
作成処理プログラム等の各種プログラムの他、仮名漢字
変換辞書161を使用して入力された仮名文字列を漢字
混り文に変換する仮名漢字変換プログラム等の各種プロ
グラムが格納されている。データ格納部163には、要
約パラメータのデフォルト値等の各種データが格納され
ている。要約パラメータのデフォルト値としては、例え
ば、全文書に対する要約の比率=「25%」や、日付時
刻、価格情報、物理量(サイズ、重量、温度等)等の数
量重視=「しない」や、URL(Uniform Resource Loc
ator) 重視=「しない」や、です/ます/であるの選択
=「しない」、等の値が格納されている。
と、その記憶媒体に対してプログラムやデータ等の各種
情報を読み書きするための駆動装置で構成されている。
この記憶装置16に使用される記憶媒体としては、主と
してハードディスクが使用されるが、後述の記憶媒体駆
動装置17で使用される各種記憶媒体のうちの読み書き
可能な記憶媒体を使用するようにしてもよい。記憶装置
16は、仮名漢字変換辞書161、プログラム格納部1
62、データ格納部163、文書データベース164、
要約データベース165、文書ベクトルデータベース1
66、図示しないその他の格納部(例えば、この記憶装
置16内に格納されているプログラムやデータ等をバッ
クアップするための格納部)等を有している。プログラ
ム格納部162には、本実施の形態における自動要約処
理プログラム、文書ベクトル作成処理プログラム、要約
作成処理プログラム等の各種プログラムの他、仮名漢字
変換辞書161を使用して入力された仮名文字列を漢字
混り文に変換する仮名漢字変換プログラム等の各種プロ
グラムが格納されている。データ格納部163には、要
約パラメータのデフォルト値等の各種データが格納され
ている。要約パラメータのデフォルト値としては、例え
ば、全文書に対する要約の比率=「25%」や、日付時
刻、価格情報、物理量(サイズ、重量、温度等)等の数
量重視=「しない」や、URL(Uniform Resource Loc
ator) 重視=「しない」や、です/ます/であるの選択
=「しない」、等の値が格納されている。
【0023】文書データベース164には、仮名漢字変
換プログラムにより作成された文書や、他の装置で作成
されて記憶媒体駆動装置17や通信制御装置18から読
み込まれた文書が格納される。この文書データベース1
64に格納される各文書の形式は特に限定されるもので
はなく、テキスト形式の文書、HTML(Hyper TextMa
rkup Language)形式の文書、JIS形式の文書等の各
種形式の文書の格納が可能である。文書データベース1
64には、これらの形式の文書データが格納される。要
約データベース165、及び文書ベクトルデータベース
166には、文書データベース164に格納されている
各文書に対応する要約や文書ベクトルが格納されるよう
になっている。
換プログラムにより作成された文書や、他の装置で作成
されて記憶媒体駆動装置17や通信制御装置18から読
み込まれた文書が格納される。この文書データベース1
64に格納される各文書の形式は特に限定されるもので
はなく、テキスト形式の文書、HTML(Hyper TextMa
rkup Language)形式の文書、JIS形式の文書等の各
種形式の文書の格納が可能である。文書データベース1
64には、これらの形式の文書データが格納される。要
約データベース165、及び文書ベクトルデータベース
166には、文書データベース164に格納されている
各文書に対応する要約や文書ベクトルが格納されるよう
になっている。
【0024】図2は、文書ベクトルデータベース166
の内容を概念的に表したものである。この図2に示され
るように、文書中から自動抽出されたキーワードxに対
して求められた要素値f(x)が文書ベクトルの要素と
して格納されている。この文書ベクトルは各文書(A、
B、C…)毎に格納され、文書データベース164に格
納されている各文書と対応づけられている。各文書ベク
トルの次元は採用するキーワードx(重要語句)の数で
あるが、2文書間の類似度を両文書ベクトルから求める
場合には、両文書のキーワードの和集合の数が両文書ベ
クトルの次元となる。この場合、一方の文書ベクトルに
のみ含まれるキーワードに対する他方の文書ベクトルの
要素値は、”0”に定義される。
の内容を概念的に表したものである。この図2に示され
るように、文書中から自動抽出されたキーワードxに対
して求められた要素値f(x)が文書ベクトルの要素と
して格納されている。この文書ベクトルは各文書(A、
B、C…)毎に格納され、文書データベース164に格
納されている各文書と対応づけられている。各文書ベク
トルの次元は採用するキーワードx(重要語句)の数で
あるが、2文書間の類似度を両文書ベクトルから求める
場合には、両文書のキーワードの和集合の数が両文書ベ
クトルの次元となる。この場合、一方の文書ベクトルに
のみ含まれるキーワードに対する他方の文書ベクトルの
要素値は、”0”に定義される。
【0025】例えば、図2おいて、文書Bのキーワード
は「重要、重要語、重要度、…」、文書Cのキーワード
は「重要、…、政治、…」であり、両文書の文書ベクト
ルは次の通りである。 文書Bの文書ベクトル=( 1,18,19,…) 文書Cの文書ベクトル=(18,…,21,…) これに対して文書Bと文書Cとの類似度を算出する場合
には、両文書のキーワードを「重要、重要語、重要度、
…、政治、…」とし、両文書の文書ベクトルはつぎの通
り定義される。 文書Aの文書ベクトル=( 1,18,19,…,
0,…)、 文書Cの文書ベクトル=(18, 0, 0,…,2
1,…)
は「重要、重要語、重要度、…」、文書Cのキーワード
は「重要、…、政治、…」であり、両文書の文書ベクト
ルは次の通りである。 文書Bの文書ベクトル=( 1,18,19,…) 文書Cの文書ベクトル=(18,…,21,…) これに対して文書Bと文書Cとの類似度を算出する場合
には、両文書のキーワードを「重要、重要語、重要度、
…、政治、…」とし、両文書の文書ベクトルはつぎの通
り定義される。 文書Aの文書ベクトル=( 1,18,19,…,
0,…)、 文書Cの文書ベクトル=(18, 0, 0,…,2
1,…)
【0026】記憶媒体駆動装置17は、CPU111が
外部の記憶媒体からコンピュータプログラムや文書を含
むデータ等を読み込むための駆動装置である。記憶媒体
に記録されているコンピュータプログラムには、本実施
の形態の文書処理装置により実行される各種処理のため
のプログラム、および、そこで使用される辞書、データ
等も含まれる。ここで、記憶媒体とは、コンピュータプ
ログラムやデータ等が記録される記憶媒体をいい、具体
的には、フロッピーディスク、ハードディスク、磁気テ
ープ等の磁気記憶媒体、メモリチップやICカード等の
半導体記憶媒体、CD−ROMやMO、PD(相変化書
換型光ディスク)等の光学的に情報が読み取られる記憶
媒体、紙カードや紙テープ等の用紙(および、用紙に相
当する機能を持った媒体)を用いた記憶媒体、その他各
種方法でコンピュータプログラム等が記録される記憶媒
体が含まれる。本実施の形態の文書処理装置において使
用される記憶媒体としては、主として、CD−ROMや
フロッピーディスクが使用される。記憶媒体駆動装置1
7は、これらの各種記憶媒体からコンピュータプログラ
ムを読み込む他に、フロッピーディスクのような書き込
み可能な記憶媒体に対してRAM113や記憶装置16
に格納されているデータ等を書き込むことが可能であ
る。
外部の記憶媒体からコンピュータプログラムや文書を含
むデータ等を読み込むための駆動装置である。記憶媒体
に記録されているコンピュータプログラムには、本実施
の形態の文書処理装置により実行される各種処理のため
のプログラム、および、そこで使用される辞書、データ
等も含まれる。ここで、記憶媒体とは、コンピュータプ
ログラムやデータ等が記録される記憶媒体をいい、具体
的には、フロッピーディスク、ハードディスク、磁気テ
ープ等の磁気記憶媒体、メモリチップやICカード等の
半導体記憶媒体、CD−ROMやMO、PD(相変化書
換型光ディスク)等の光学的に情報が読み取られる記憶
媒体、紙カードや紙テープ等の用紙(および、用紙に相
当する機能を持った媒体)を用いた記憶媒体、その他各
種方法でコンピュータプログラム等が記録される記憶媒
体が含まれる。本実施の形態の文書処理装置において使
用される記憶媒体としては、主として、CD−ROMや
フロッピーディスクが使用される。記憶媒体駆動装置1
7は、これらの各種記憶媒体からコンピュータプログラ
ムを読み込む他に、フロッピーディスクのような書き込
み可能な記憶媒体に対してRAM113や記憶装置16
に格納されているデータ等を書き込むことが可能であ
る。
【0027】本実施の形態の文書処理装置では、制御部
11のCPU111が、記憶媒体駆動装置17にセット
された外部の記憶媒体からコンピュータプログラムを読
み込んで、記憶装置16の各部に格納(インストール)
する。そして、本実施の形態による自動要約処理等の各
種処理を実行する場合、記憶装置16から該当プログラ
ムをRAM113に読み込み、実行するようになってい
る。但し、記憶装置16からではなく、記憶媒体駆動装
置17により外部の記憶媒体から直接RAM113に読
み込んで実行することも可能である。また、文書処理装
置によっては、本実施の形態の自動要約処理プログラム
等を予めROM112に記録しておき、これをCPU1
11が実行するようにしてもよい。
11のCPU111が、記憶媒体駆動装置17にセット
された外部の記憶媒体からコンピュータプログラムを読
み込んで、記憶装置16の各部に格納(インストール)
する。そして、本実施の形態による自動要約処理等の各
種処理を実行する場合、記憶装置16から該当プログラ
ムをRAM113に読み込み、実行するようになってい
る。但し、記憶装置16からではなく、記憶媒体駆動装
置17により外部の記憶媒体から直接RAM113に読
み込んで実行することも可能である。また、文書処理装
置によっては、本実施の形態の自動要約処理プログラム
等を予めROM112に記録しておき、これをCPU1
11が実行するようにしてもよい。
【0028】通信制御装置18は、他のパーソナルコン
ピュータやワードプロセッサ等との間でテキスト形式や
HTML形式等の各種形式の文書やビットマップデータ
等の各種データの送受信を行うことができるようになっ
ている。入出力I/F19は、音声や音楽等の出力を行
うスピーカ等の各種機器を接続するためのインターフェ
ースである。文字認識装置20は、用紙等に記載された
文字をテキスト形式やHTML等の各種形式で認識する
装置であり、イメイージスキャナや文字認識プログラム
等で構成されている。
ピュータやワードプロセッサ等との間でテキスト形式や
HTML形式等の各種形式の文書やビットマップデータ
等の各種データの送受信を行うことができるようになっ
ている。入出力I/F19は、音声や音楽等の出力を行
うスピーカ等の各種機器を接続するためのインターフェ
ースである。文字認識装置20は、用紙等に記載された
文字をテキスト形式やHTML等の各種形式で認識する
装置であり、イメイージスキャナや文字認識プログラム
等で構成されている。
【0029】本実施の形態では、キーボード12の入力
操作により作成した文書(RAM113の所定格納エリ
アに格納)の他、外部で作成して所定の記憶媒体に格納
した文書で記憶媒体駆動装置17から読み込んだ文書、
予め文書データベースに格納されている文書、通信制御
装置18からダウンロードした文書、及び文字認識装置
20で文字認識した文書、等の各種文書を対象文書とし
て取得する(文字取得手段)ことが可能である。
操作により作成した文書(RAM113の所定格納エリ
アに格納)の他、外部で作成して所定の記憶媒体に格納
した文書で記憶媒体駆動装置17から読み込んだ文書、
予め文書データベースに格納されている文書、通信制御
装置18からダウンロードした文書、及び文字認識装置
20で文字認識した文書、等の各種文書を対象文書とし
て取得する(文字取得手段)ことが可能である。
【0030】以上のように構成された本実施の形態の文
書処理装置による、複数文書から要約を作成する自動要
約処理の動作について図3から図9を用いて説明する。
図3は複数文書の自動要約処理のメイン動作を表したも
のであり、図4(B)、図7中に示した文書ベクトル
は、概念的に理解しやすくするために2次元で表示した
ものであるが、実際にはN次元ベクトルである。CPU
111は、要約を作成する対象となっている要約対象文
書A(図4(A))を取得し、RAM113の要約対象
文書格納エリア1131に格納する(ステップ10)。
要約対象文書Aは、ユーザの指示に従ってRAM113
(自装置内で作成された文書である場合)、記憶装置1
6の文書データベース164(要約が未だ作成されてい
ない文書である場合)、記憶媒体駆動装置17(自装置
または他装置で作成済みの文書の場合)、通信制御装置
18(パソコン通信、インターネット等の通信による場
合)から取得する。
書処理装置による、複数文書から要約を作成する自動要
約処理の動作について図3から図9を用いて説明する。
図3は複数文書の自動要約処理のメイン動作を表したも
のであり、図4(B)、図7中に示した文書ベクトル
は、概念的に理解しやすくするために2次元で表示した
ものであるが、実際にはN次元ベクトルである。CPU
111は、要約を作成する対象となっている要約対象文
書A(図4(A))を取得し、RAM113の要約対象
文書格納エリア1131に格納する(ステップ10)。
要約対象文書Aは、ユーザの指示に従ってRAM113
(自装置内で作成された文書である場合)、記憶装置1
6の文書データベース164(要約が未だ作成されてい
ない文書である場合)、記憶媒体駆動装置17(自装置
または他装置で作成済みの文書の場合)、通信制御装置
18(パソコン通信、インターネット等の通信による場
合)から取得する。
【0031】次にCPU111は、ユーザによってキー
ボード12等から要約パラメータが入力された場合には
入力値を取得し、ユーザによる入力がない場合にはデー
タ格納部163に格納された要約パラメータのデフォル
ト値を取得し、要約パラメータ格納エリア1132に格
納する(ステップ11)。
ボード12等から要約パラメータが入力された場合には
入力値を取得し、ユーザによる入力がない場合にはデー
タ格納部163に格納された要約パラメータのデフォル
ト値を取得し、要約パラメータ格納エリア1132に格
納する(ステップ11)。
【0032】次にCPU111は、要約対象文書格納エ
リア1131に格納した要約対象文書Aに対する文書ベ
クトルV(図4(B))を求める(ステップ12)。こ
の作業を各要約対象文書(B〜G)に繰り返して行う。
図5は、各要約対象文書A〜Gに対する文書ベクトルを
求めたところを示す表である。図8は、文書ベクトル作
成処理の動作を表したフローチャートである。CPU1
11は、形態素解析を行うことで要約対象文書から自立
語を抽出する(ステップ131)と共に、名詞句、複合
名詞句等を含めた候補語(句)を要約対象文書Aから抽
出しRAM113の所定作業領域に格納する(ステップ
132)。そして抽出した候補語(句)の要約対象文書
での出現頻度、評価関数から、各候補語(句)重要度f
(x)を決定する(ステップ133)。ここで、評価関
数としては、例えば、所定の重要語が予め指定されてい
る場合にはその重要語に対する重み付け、単語、名詞
句、複合名詞句等の候補語(句)の種類による重み付け
等が使用される。さらにCPU111は、決定した重要
度f(x)の値から要約対象文書のキーワードa,b,
…を決定する(ステップ134)。そして、各キーワー
ドの重要度f(x)を要素として、文書ベクトルV=
(f(a),f(b),…)をRAM113の文書ベク
トル格納エリア1134に格納する(ステップ13
5)。この文書ベクトルVを求める処理を複数の各文書
A、B、C、D……と全ての要約対象文書について行
う。
リア1131に格納した要約対象文書Aに対する文書ベ
クトルV(図4(B))を求める(ステップ12)。こ
の作業を各要約対象文書(B〜G)に繰り返して行う。
図5は、各要約対象文書A〜Gに対する文書ベクトルを
求めたところを示す表である。図8は、文書ベクトル作
成処理の動作を表したフローチャートである。CPU1
11は、形態素解析を行うことで要約対象文書から自立
語を抽出する(ステップ131)と共に、名詞句、複合
名詞句等を含めた候補語(句)を要約対象文書Aから抽
出しRAM113の所定作業領域に格納する(ステップ
132)。そして抽出した候補語(句)の要約対象文書
での出現頻度、評価関数から、各候補語(句)重要度f
(x)を決定する(ステップ133)。ここで、評価関
数としては、例えば、所定の重要語が予め指定されてい
る場合にはその重要語に対する重み付け、単語、名詞
句、複合名詞句等の候補語(句)の種類による重み付け
等が使用される。さらにCPU111は、決定した重要
度f(x)の値から要約対象文書のキーワードa,b,
…を決定する(ステップ134)。そして、各キーワー
ドの重要度f(x)を要素として、文書ベクトルV=
(f(a),f(b),…)をRAM113の文書ベク
トル格納エリア1134に格納する(ステップ13
5)。この文書ベクトルVを求める処理を複数の各文書
A、B、C、D……と全ての要約対象文書について行
う。
【0033】要約対象の全ての文書に対して文書ベクト
ルVが求まるとCPU111は、各文書間の類似度sを
求める(ステップ13)。各文書間の類似度sを、両者
の文書ベクトルbnと文書ベクトルbn+1間の角度に
依存するコサインにより求める。すなわち、両文書ベク
トルbnとbn+1間の角度をqとし、両文書ベクトル
の内積をbn・bn+1とし、両文書ベクトルの大きさ
をそれぞれ|bn|、|bn+1|とした場合、両文書
ベクトルの類似度sは次の数式1により求まる。
ルVが求まるとCPU111は、各文書間の類似度sを
求める(ステップ13)。各文書間の類似度sを、両者
の文書ベクトルbnと文書ベクトルbn+1間の角度に
依存するコサインにより求める。すなわち、両文書ベク
トルbnとbn+1間の角度をqとし、両文書ベクトル
の内積をbn・bn+1とし、両文書ベクトルの大きさ
をそれぞれ|bn|、|bn+1|とした場合、両文書
ベクトルの類似度sは次の数式1により求まる。
【0034】
【数1】類似度s=COS(q)=(bn・bn+1)
/(|bn|×|bn+1|)
/(|bn|×|bn+1|)
【0035】この類似度sの値は−1≦s≦1までの値
をとり、1に近いほど2つの文書ベクトルが互いに平行
に近く、2つの文書同士は似ていると考えることができ
る。
をとり、1に近いほど2つの文書ベクトルが互いに平行
に近く、2つの文書同士は似ていると考えることができ
る。
【0036】次に、CPU111は、算出した類似度s
から互いに類似している文書を幾つかの群に纏める(ス
テップ14)。図6は、AからGの7文書の類似度sの
値を表にして示した図である。仮に類似度0.6以上の
文書を類似しているものとすると、図7に示すように、
A、B、C、Dの4文書は、全て類似度が0.6以上な
ので、1群の類似文書(X)となる。また、文書E、F
も類似度sが0.9なので1群の類似文書(Y)とな
る。文書Gは、類似している文書が存在しないので、
(Z)として独自に要約を作成する。この実施の形態で
は、この類似群の作成を類似度が0.6以上としたが他
の値、例えば、0.7、0.8でもよく、これをユーザ
に側で設定できるようにしてもよい。
から互いに類似している文書を幾つかの群に纏める(ス
テップ14)。図6は、AからGの7文書の類似度sの
値を表にして示した図である。仮に類似度0.6以上の
文書を類似しているものとすると、図7に示すように、
A、B、C、Dの4文書は、全て類似度が0.6以上な
ので、1群の類似文書(X)となる。また、文書E、F
も類似度sが0.9なので1群の類似文書(Y)とな
る。文書Gは、類似している文書が存在しないので、
(Z)として独自に要約を作成する。この実施の形態で
は、この類似群の作成を類似度が0.6以上としたが他
の値、例えば、0.7、0.8でもよく、これをユーザ
に側で設定できるようにしてもよい。
【0037】図9は、要約作成処理の動作を表したフロ
ーチャートである。CPU111は、まず形態素解析を
行うことで各文書群に含まれる自立語を抽出する(ステ
ップ221)と共に、名詞句、複合名詞句等を含めた候
補語(句)を要約対象文書Aから抽出しRAM113の
所定作業領域に格納する(ステップ222)。そして、
RAM16の要約パラメータ格納エリア1132に格納
した要約パラメータや、抽出した候補語(句)の各文書
群中での出現頻度、評価関数等から、各候補語(句)重
要度f(y)を決定する(ステップ223)。ここで、
評価関数としては、例えば、所定の重要語が予め指定さ
れている場合にはその重要語に対する重み付け、単語、
名詞句、複合名詞句等の候補語(句)の種類による重み
付け等が使用される。
ーチャートである。CPU111は、まず形態素解析を
行うことで各文書群に含まれる自立語を抽出する(ステ
ップ221)と共に、名詞句、複合名詞句等を含めた候
補語(句)を要約対象文書Aから抽出しRAM113の
所定作業領域に格納する(ステップ222)。そして、
RAM16の要約パラメータ格納エリア1132に格納
した要約パラメータや、抽出した候補語(句)の各文書
群中での出現頻度、評価関数等から、各候補語(句)重
要度f(y)を決定する(ステップ223)。ここで、
評価関数としては、例えば、所定の重要語が予め指定さ
れている場合にはその重要語に対する重み付け、単語、
名詞句、複合名詞句等の候補語(句)の種類による重み
付け等が使用される。
【0038】さらにCPU111は、決定した重要度f
(y)や要約パラメータ格納エリアリレーに格納された
要約パラメータ等から、各文書群含まれる各センテンス
に対する重要度F(z)を決定する(ステップ22
4)。そして、決定したセンテンスの重要度F(z)の
重要度が高いセンテンスの上位から要約パラメータの要
約比率(例えば、文書群の全センテンス数の内の上位2
5%)以内に入るセンテンスをリストアップする(ステ
ップ225)。そしてCPU111は、リストアップし
たセンテンスを文書群の中での出現順に並べることで当
該文書群についての要約とし、これをRAM113の要
約格納エリアに格納して(ステップ226)、図3の自
動要約処理ルーチンにリターンする。
(y)や要約パラメータ格納エリアリレーに格納された
要約パラメータ等から、各文書群含まれる各センテンス
に対する重要度F(z)を決定する(ステップ22
4)。そして、決定したセンテンスの重要度F(z)の
重要度が高いセンテンスの上位から要約パラメータの要
約比率(例えば、文書群の全センテンス数の内の上位2
5%)以内に入るセンテンスをリストアップする(ステ
ップ225)。そしてCPU111は、リストアップし
たセンテンスを文書群の中での出現順に並べることで当
該文書群についての要約とし、これをRAM113の要
約格納エリアに格納して(ステップ226)、図3の自
動要約処理ルーチンにリターンする。
【0039】各文書群に対する要約の作成が終了すると
CPU111は、図7に示すように、要約格納エリア1
135に格納した全ての要約を統合することで要約対象
文書についての要約とし、要約格納エリア1135の所
定エリアに格納して(ステップ16)、本実施の形態に
よる自動要約処理を終了する。この最終要約をまとめる
際の結合順序としては、執筆時間順、ユーザー階層順、
トピック名詞句自信の重要度順等を挙げることができ
る。また、ユーザーの顧客が書いたもの、社内の有力者
が引用したものを優先して配列することもできる。例え
ば、執筆時間順に要約を生成すると、過去15年間の経
済状態に関する年次報告をその傾向別に配列することが
できる。従って、3〜4年単位で好況時、不況時、その
回復時といった形で要約を一覧することができる。この
結合の際、各トピックとされた複合名詞句を要約中のサ
ブセクションのタイトルとして明示するとより利用し易
い要約となる。この実施の形態では、新たに、複数の文
書にまたがる要約を自動生成できるので、2次情報(サ
ーベイ・レポート)生成を装置で自動的に行うことがで
きる。また、各トピック毎に要約を作成するので、多忙
なユーザーも簡単に短時間で内容の把握を行うことがで
きる。さらに、文書データベース・プロファイル生成の
素材となるテキスト・データを生成できる。
CPU111は、図7に示すように、要約格納エリア1
135に格納した全ての要約を統合することで要約対象
文書についての要約とし、要約格納エリア1135の所
定エリアに格納して(ステップ16)、本実施の形態に
よる自動要約処理を終了する。この最終要約をまとめる
際の結合順序としては、執筆時間順、ユーザー階層順、
トピック名詞句自信の重要度順等を挙げることができ
る。また、ユーザーの顧客が書いたもの、社内の有力者
が引用したものを優先して配列することもできる。例え
ば、執筆時間順に要約を生成すると、過去15年間の経
済状態に関する年次報告をその傾向別に配列することが
できる。従って、3〜4年単位で好況時、不況時、その
回復時といった形で要約を一覧することができる。この
結合の際、各トピックとされた複合名詞句を要約中のサ
ブセクションのタイトルとして明示するとより利用し易
い要約となる。この実施の形態では、新たに、複数の文
書にまたがる要約を自動生成できるので、2次情報(サ
ーベイ・レポート)生成を装置で自動的に行うことがで
きる。また、各トピック毎に要約を作成するので、多忙
なユーザーも簡単に短時間で内容の把握を行うことがで
きる。さらに、文書データベース・プロファイル生成の
素材となるテキスト・データを生成できる。
【0040】以上の自動要約処理が終了すると、CPU
111はユーザの指示によりRAM113に格納した各
データの保存処理を行う。すなわち、要約対象文書格納
エリア1131から要約対象文書を読み出して、記憶装
置16の文書データベース164に格納する。また作成
した要約を要約格納エリア1135から読み出し、文書
データベース164に格納した要約対象文書との関連性
を付けて記憶装置16の要約データベース165に格納
する。さらに、文書ベクトル作成処理(図3のステップ
12、図8)で求めた文書ベクトルVを文書ベクトル格
納エリア1135から読み出し、文書データベース16
4に格納した要約対象文書との関連性を付けて記憶装置
16の文書ベクトルデータベース166に格納する。
111はユーザの指示によりRAM113に格納した各
データの保存処理を行う。すなわち、要約対象文書格納
エリア1131から要約対象文書を読み出して、記憶装
置16の文書データベース164に格納する。また作成
した要約を要約格納エリア1135から読み出し、文書
データベース164に格納した要約対象文書との関連性
を付けて記憶装置16の要約データベース165に格納
する。さらに、文書ベクトル作成処理(図3のステップ
12、図8)で求めた文書ベクトルVを文書ベクトル格
納エリア1135から読み出し、文書データベース16
4に格納した要約対象文書との関連性を付けて記憶装置
16の文書ベクトルデータベース166に格納する。
【0041】以上、本実施の形態の構成および自動要約
処理について説明したが、本発明では、これらの各形態
に限定されるものではなく、請求項に記載された発明の
範囲内で種々の変形をすることが可能である。例えば実
施の形態では、形態素解析及び候補語(句)の抽出につ
いて、文書ベクトル作成処理(図8のステップ131と
ステップ132)と、要約作成処理(図9のステップ2
21とステップ222)とにおいて独立して同様な処理
を行うこととしたが、本発明では、文書ベクトル作成処
理で抽出した候補語(句)をRAM16の所定エリアに
格納しておき、要約作成処理で利用するようにしてもよ
い。
処理について説明したが、本発明では、これらの各形態
に限定されるものではなく、請求項に記載された発明の
範囲内で種々の変形をすることが可能である。例えば実
施の形態では、形態素解析及び候補語(句)の抽出につ
いて、文書ベクトル作成処理(図8のステップ131と
ステップ132)と、要約作成処理(図9のステップ2
21とステップ222)とにおいて独立して同様な処理
を行うこととしたが、本発明では、文書ベクトル作成処
理で抽出した候補語(句)をRAM16の所定エリアに
格納しておき、要約作成処理で利用するようにしてもよ
い。
【0042】また説明した実施の形態では、自動要約処
理が終了した後の保存処理において、要約対象文書、要
約、文書ベクトルVのみを記憶装置16の各データベー
ス164、165、166に格納し保存するようにした
が、本発明では更に、文書ベクトル作成処理(図8)の
ステップ132で要約対象文書から抽出し、RAM11
3の所定作業領域に格納した候補語(句)を要約対象文
書と関連つけて、文書データベース164、又は専用の
候補語(句)データベースに格納するようにしてもよ
い。また要約パラメータ格納エリア1132から要約パ
ラメータを読み出して、当該要約に関連付けて、要約デ
ータベース166、または専用の要約パラメータデータ
ベースに格納するようにしてもよい。
理が終了した後の保存処理において、要約対象文書、要
約、文書ベクトルVのみを記憶装置16の各データベー
ス164、165、166に格納し保存するようにした
が、本発明では更に、文書ベクトル作成処理(図8)の
ステップ132で要約対象文書から抽出し、RAM11
3の所定作業領域に格納した候補語(句)を要約対象文
書と関連つけて、文書データベース164、又は専用の
候補語(句)データベースに格納するようにしてもよ
い。また要約パラメータ格納エリア1132から要約パ
ラメータを読み出して、当該要約に関連付けて、要約デ
ータベース166、または専用の要約パラメータデータ
ベースに格納するようにしてもよい。
【0043】さらに、説明した実施の形態では、文書ベ
クトル作成処理(図3、ステップ12、図8)及び要約
作成処理(ステップ15、図9)の両処理において、形
態素解析(ステップ131、221)と候補語(句)の
抽出(ステップ132、222)を行った。しかし、同
一センテンスに対する処理であるため、抽出した候補語
(句)は同一である。そこで、本発明では、文書ベクト
ル作成処理で抽出した候補語(句)をRAM113の所
定エリアに格納しておき、要約処理において格納した候
補語(句)を使用することでステップ221とステップ
222を省略するようにしてもよい。この候補語(句)
についても、要約対象文書に対する候補語(句)として
文書データベース164、又は専用の候補語(句)デー
タベースに格納するようにしてもよい。
クトル作成処理(図3、ステップ12、図8)及び要約
作成処理(ステップ15、図9)の両処理において、形
態素解析(ステップ131、221)と候補語(句)の
抽出(ステップ132、222)を行った。しかし、同
一センテンスに対する処理であるため、抽出した候補語
(句)は同一である。そこで、本発明では、文書ベクト
ル作成処理で抽出した候補語(句)をRAM113の所
定エリアに格納しておき、要約処理において格納した候
補語(句)を使用することでステップ221とステップ
222を省略するようにしてもよい。この候補語(句)
についても、要約対象文書に対する候補語(句)として
文書データベース164、又は専用の候補語(句)デー
タベースに格納するようにしてもよい。
【0044】説明した実施の形態では文書ベクトルを作
成する方法として図8のフローチャートに従った方法を
1例にして説明したが、本発明でこの方法に限られるも
のではなく、要約対象文書中Aからキーワードを抽出す
る方法や、抽出キーワードに対する重要度(=文書ベク
トルの要素値)の決定方法等については、公知の各種方
法により置き換えることが可能である。また、各類似文
書群に対する要約の作成処理についても同様に図9のフ
ローチャートに示した方法に限られるものではなく、公
知の各種要約方法、抄録作成方法等を使用することが可
能である。更に、2つの文書ベクトルの類似度の算出方
法については、数式1により類似度を算出することとし
たが、この数式に限定されるものではなく、ベクトル相
互間の類似関係を表すことが可能であれば他の数式によ
り類似度を算出することも可能である。
成する方法として図8のフローチャートに従った方法を
1例にして説明したが、本発明でこの方法に限られるも
のではなく、要約対象文書中Aからキーワードを抽出す
る方法や、抽出キーワードに対する重要度(=文書ベク
トルの要素値)の決定方法等については、公知の各種方
法により置き換えることが可能である。また、各類似文
書群に対する要約の作成処理についても同様に図9のフ
ローチャートに示した方法に限られるものではなく、公
知の各種要約方法、抄録作成方法等を使用することが可
能である。更に、2つの文書ベクトルの類似度の算出方
法については、数式1により類似度を算出することとし
たが、この数式に限定されるものではなく、ベクトル相
互間の類似関係を表すことが可能であれば他の数式によ
り類似度を算出することも可能である。
【0045】説明した実施の形態では、日本語で作成さ
れた文書に限られるものでなく、あらゆる言語で作成さ
れた文書を対象とすることが可能である。その場合、対
象となる文書が作成された言語用の形態素解析アルゴリ
ズム等を使用するといった、本発明の構成には影響のな
い部分を変更するだけでよい。なお、以上の実施の形態
において説明した、各装置、各部、各動作、各処理等に
対しては、それらを含む上位概念としての各手段(〜手
段)により、実施の形態を構成することが可能である。
例えば、「決定した重要度f(x)の値から要約対象文
書Aのキーワードa,b,…を決定する(ステップ13
4)」との記載に対して「キーワード決定手段」を構成
し、「決定したセンテンスの重要度F(z)の重要度が
高いセンテンスの上位から要約パラメータの要約比率
(例えば、サブ文書群の全センテンス数の内の上位25
%)以内に入るセンテンスをリストアップする(ステッ
プ225)」との記載に対して「センテンスリストアッ
プ手段」を構成するようにしてもよい。同様に、その他
各種動作に対して「〜(動作)手段」等の上位概念で実
施の形態を構成するようにしてもよい。
れた文書に限られるものでなく、あらゆる言語で作成さ
れた文書を対象とすることが可能である。その場合、対
象となる文書が作成された言語用の形態素解析アルゴリ
ズム等を使用するといった、本発明の構成には影響のな
い部分を変更するだけでよい。なお、以上の実施の形態
において説明した、各装置、各部、各動作、各処理等に
対しては、それらを含む上位概念としての各手段(〜手
段)により、実施の形態を構成することが可能である。
例えば、「決定した重要度f(x)の値から要約対象文
書Aのキーワードa,b,…を決定する(ステップ13
4)」との記載に対して「キーワード決定手段」を構成
し、「決定したセンテンスの重要度F(z)の重要度が
高いセンテンスの上位から要約パラメータの要約比率
(例えば、サブ文書群の全センテンス数の内の上位25
%)以内に入るセンテンスをリストアップする(ステッ
プ225)」との記載に対して「センテンスリストアッ
プ手段」を構成するようにしてもよい。同様に、その他
各種動作に対して「〜(動作)手段」等の上位概念で実
施の形態を構成するようにしてもよい。
【0046】
【発明の効果】本発明によれば、複数の所定形式の文書
を獲得し、獲得した各文書間の類似度を算出し、幾つか
の類似群に分類し、類似群毎の要約を作成することで、
複数の文書の要約を利用し易い形で得ることができる。
また、類似群毎の要約を都合よく統合するこで、複数の
文書の要約を利用し易い形で得ることができる。
を獲得し、獲得した各文書間の類似度を算出し、幾つか
の類似群に分類し、類似群毎の要約を作成することで、
複数の文書の要約を利用し易い形で得ることができる。
また、類似群毎の要約を都合よく統合するこで、複数の
文書の要約を利用し易い形で得ることができる。
【図1】本発明の1実施の形態における文書処理装置の
構成を表したブロック図である。
構成を表したブロック図である。
【図2】同上、実施の形態における文書ベクトルデータ
ベースの内容を概念的に表した説明図である。
ベースの内容を概念的に表した説明図である。
【図3】同上、実施の形態における自動要約処理のメイ
ン動作を表したフローチャートである。
ン動作を表したフローチャートである。
【図4】同上、実施の形態における図3に示した自動要
約処理において、文書ベクトルを求めるところを表した
説明図である。
約処理において、文書ベクトルを求めるところを表した
説明図である。
【図5】同上、実施の形態における図3に示した自動要
約処理において、各文書毎に文書ベクトルを求めたとこ
ろ示した説明図である。
約処理において、各文書毎に文書ベクトルを求めたとこ
ろ示した説明図である。
【図6】同上、実施の形態における図3に示した自動要
約処理において、各文書間の類似度を表した表である。
約処理において、各文書間の類似度を表した表である。
【図7】同上、実施の形態における図3に示した自動要
約処理において、類似文書毎に要約書を作成し、それを
統合したところ示す図である。
約処理において、類似文書毎に要約書を作成し、それを
統合したところ示す図である。
【図8】同上、実施の形態における文書ベクトル作成処
理の動作を表したフローチャートである。
理の動作を表したフローチャートである。
【図9】同上、実施の形態における要約作成処理の動作
を表したフローチャートである。
を表したフローチャートである。
【図10】請求項1のクレーム対応図である。
【図11】請求項2のクレーム対応図である。
11 制御部 112 ROM 113 RAM 1131 要約対象文書格納エリア 1132 要約パラメータ格納エリア 1133 類似群情報格納エリア 1134 文書ベクトル格納エリア 1135 要約格納エリア 12 キーボード 13 マウス 14 表示装置 15 印刷装置 16 記憶装置 161 仮名漢字変換辞書 162 プログラム格納部 163 データ格納部 164 文書データベース 165 要約データベース 166 文書ベクトルデータベース 17 記憶媒体駆動装置 18 通信制御装置 19 入出力I/F 20 文字認識装置
Claims (13)
- 【請求項1】 所定形式の文書を複数個取得する文書取
得手段と、 前記文書取得手段により取得された各文書間の類似度を
算出する類似度算出手段と、 前記類似度算出手段で算出された各文書間の類似度から
内容の類似した文書を纏めた類似文書群を作成する類似
文書群作成手段と、 この類似文書群作成手段により作成された類似文書群毎
に文書の要約を自動的に作成する要約作成手段と、 を備えたことを特徴とする文書処理装置。 - 【請求項2】 前記要約手段で作成した各要約を統合し
て複数文書の要約を作成する要約統合手段を備えたこと
を特徴とする請求項1記載の文書作成装置。 - 【請求項3】 前記文書取得手段で取得された複数個の
各文書を特徴づける文書ベクトルを決定する文書ベクト
ル決定手段を備え、 前記類似度算出手段は前記文書ベクトル決定手段で決定
された各文書の文書ベクトルにより各文書間の類似度を
算出することを特徴とする請求項1また請求項2記載の
文書処理装置。 - 【請求項4】 前記類似文書群作成手段で作成した類似
文書群内の文書を執筆時間順に配列し、この類似文書群
を前記要約作成手段で文書の要約を作成することを特徴
とする請求項1、請求項2または請求項3記載の文書処
理装置。 - 【請求項5】 前記類似文書群作成手段で内容の類似し
た文書を纏めた類似文書群を作成する際、類似文書群の
数の目安となる値を利用者が入力できる数値入力手段を
備えたことを特徴とする請求項1、請求項2、請求項3
または請求項4記載の文書処理装置。 - 【請求項6】 所定形式の文書を複数個取得する文書取
得機能と、 前記文書取得機能により取得された各文書間の類似度を
算出する類似度算出機能と、 前記類似度算出機能で算出された各文書間の類似度から
内容の類似した文書を纏めた類似文書群を作成する類似
文書群作成機能と、 この類似文書群作成機能により作成された類似文書群毎
に文書の要約を自動的に作成する要約作成機能と、 をコンピュータに実現させるためのコンピュータ読取り
可能な文書処理プログラムが記憶された記憶媒体。 - 【請求項7】 前記要約機能で作成した各要約を統合し
て複数文書の要約を作成する要約統合機能を備えたこと
を特徴とする請求項6に記載の文書処理プログラムが記
憶された記憶媒体。 - 【請求項8】 前記文書取得機能で取得された複数個の
各文書を特徴づける文書ベクトルを決定する文書ベクト
ル決定機能を備え、 前記類似度算出機能は前記文書ベクトル決定機能で決定
された各文書の文書ベクトルにより各文書間の類似度を
算出することを特徴とする請求項6または請求項7記載
の文書処理プログラムが記憶された記憶媒体。 - 【請求項9】 前記類似文書群作成手段で作成した類似
文書群内の文書を執筆時間順に配列し、この類似文書群
を前記要約作成機能で文書の要約を作成することを特徴
とする請求項6、請求項7または請求項8記載の文書処
理プログラムが記憶された記憶媒体。 - 【請求項10】 前記類似文書群作成機能で内容の類似
した文書を纏めた類似文書群を作成する際、文書類似群
の数の目安となる値を利用者が入力できる数値入力機能
を備えたことを特徴とする請求項6、請求項7、請求項
8または請求項9記載の文書処理プログラムが記憶され
た記憶媒体。 - 【請求項11】 所定形式の文書を複数個取得し、 取得された各文書間の類似度を算出し、 算出された各文書間の類似度から内容の類似した文書を
纏めた類似文書群を作成し、 作成された類似文書群毎に文書の要約を自動的に作成す
ることを特徴とする文書処理方法。 - 【請求項12】 作成した各要約を統合して複数文書の
要約を作成することを特徴とする請求項11に記載の文
書処理方法。 - 【請求項13】 取得された複数個の各文書を特徴づけ
る文書ベクトルを決定し、 決定された前記文書ベクトルにより各文書間の類似度を
算出することを特徴とする請求項11または請求項12
に記載の文書処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9218229A JPH1145288A (ja) | 1997-07-29 | 1997-07-29 | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9218229A JPH1145288A (ja) | 1997-07-29 | 1997-07-29 | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1145288A true JPH1145288A (ja) | 1999-02-16 |
Family
ID=16716641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9218229A Pending JPH1145288A (ja) | 1997-07-29 | 1997-07-29 | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1145288A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011008599A (ja) * | 2009-06-26 | 2011-01-13 | Fujitsu Ltd | 集合知データベースシステムにおける項目情報処理装置 |
KR101033611B1 (ko) * | 2010-07-09 | 2011-05-11 | 한국과학기술정보연구원 | 참고 문헌 적합성 판정 시스템 및 방법 |
WO2012124213A1 (ja) * | 2011-03-15 | 2012-09-20 | 日本電気株式会社 | 要約作成装置、要約作成方法、およびコンピュータ読み取り可能な記録媒体 |
JP2015232855A (ja) * | 2014-06-11 | 2015-12-24 | 日本電信電話株式会社 | イベント同一性判定方法、イベント同一性判定装置、イベント同一性判定プログラム |
-
1997
- 1997-07-29 JP JP9218229A patent/JPH1145288A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011008599A (ja) * | 2009-06-26 | 2011-01-13 | Fujitsu Ltd | 集合知データベースシステムにおける項目情報処理装置 |
KR101033611B1 (ko) * | 2010-07-09 | 2011-05-11 | 한국과학기술정보연구원 | 참고 문헌 적합성 판정 시스템 및 방법 |
WO2012005414A1 (ko) * | 2010-07-09 | 2012-01-12 | 한국과학기술정보연구원 | 참고 문헌 적합성 판정 시스템 및 방법 |
WO2012124213A1 (ja) * | 2011-03-15 | 2012-09-20 | 日本電気株式会社 | 要約作成装置、要約作成方法、およびコンピュータ読み取り可能な記録媒体 |
JP5942981B2 (ja) * | 2011-03-15 | 2016-06-29 | 日本電気株式会社 | 要約作成装置、要約作成方法、およびプログラム |
JP2015232855A (ja) * | 2014-06-11 | 2015-12-24 | 日本電信電話株式会社 | イベント同一性判定方法、イベント同一性判定装置、イベント同一性判定プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8266077B2 (en) | Method of analyzing documents | |
US20090070328A1 (en) | Method and system for automatically generating regular expressions for relaxed matching of text patterns | |
CN100511233C (zh) | 特定元素、字符串向量生成及相似性计算的装置、方法 | |
JP4347226B2 (ja) | 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法 | |
WO1998016890A1 (en) | Management and analysis of document information text | |
JP4067603B2 (ja) | 文書分類装置、文書分類プログラムが記憶された記憶媒体、及び文書分類方法 | |
JP4021525B2 (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JPH1153394A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JP4030624B2 (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 | |
JP4025391B2 (ja) | 文書処理装置、文書処理プログラムが記憶されたコンピュータ読取り可能な記憶媒体、及び文書処理方法 | |
JP2023007268A (ja) | 特許用文章生成装置、特許用文章生成方法、および特許用文章生成プログラム | |
JP2000194725A (ja) | 類似グル―プ抽出装置、及び類似グル―プ抽出プログラムが記憶された記憶媒体 | |
JPH1145288A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 | |
JP2001216311A (ja) | イベント分析装置、及びイベント分析プログラムが格納されたプログラム装置 | |
JP4047417B2 (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 | |
Zosa et al. | Evaluating the robustness of embedding-based topic models to OCR noise | |
JPH1145286A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JP4044644B2 (ja) | 電子掲示板システム、電子掲示板プログラムが記憶された記憶媒体、及び電子掲示板の活性化方法 | |
JP2000194724A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JPH1153398A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JPH11259524A (ja) | 情報検索システム、情報検索システムにおける情報処理方法および記録媒体 | |
JPH10307837A (ja) | 検索装置並びに検索プログラムを記録した記録媒体 | |
JPH1145281A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JPH1153362A (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体および文書処理方法 | |
JP2000353163A (ja) | データベース処理装置、及びデータベース処理のためのプログラムが記憶された記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070822 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070925 |