JPH09198409A

JPH09198409A - 酷似文書抽出方法

Info

Publication number: JPH09198409A
Application number: JP8026185A
Authority: JP
Inventors: Hisao Mase; 久雄間瀬; Hiroyuki Kinukawa; 博之絹川; Hiroshi Tsuji; 洋辻
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-01-19
Filing date: 1996-01-19
Publication date: 1997-07-31

Abstract

(57)【要約】【課題】ある文書に酷似した文書を精度良く抽出し、
また少ないノイズで抽出することにある。【解決手段】新規文書１を文書入力処理２し、辞書１
１，１２を用いて特定品詞の単語抽出、不要語除去、単
語出現順序の認定等の単語出現パターン抽出処理３を
し、単語情報テーブル１３を生成し、ＤＢ内の全文書に
ついて処理３を施して得られているＤＢ情報テーブル１
４と照合し、文書単位毎に、共通して出現する単語と該
各単語の出現順序が同じである単語の列を抽出し、前記
共通して出現する単語の数に重みを付した値と、前記単
語の列を構成する単語の数を変数とする単調増加関数の
値を加算して文章単位毎に酷似度を計算し、あるしきい
値以上の酷似度を持つ文章単位がある長さ以上続く場合
に酷似文書と認定する酷似文書決定処理４をし、結果の
表示５をし、登録判定６をする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ある特定の電子化
文書の内容に酷似した文書を、ある電子化文書集合の中
から自動抽出する酷似文書抽出方法に関する。

【０００２】

【従来の技術】社会の情報化や、情報ネットワークなど
の整備により、大量の電子化文書が氾濫するようになっ
た。その結果、大量の電子化文書集合の中から、必要な
文書のみを抽出する類似文書検索機能が不可欠となっ
た。これは、ある文書の「分野」や「意味内容」に「類
似，関連」している文書を抽出するものである。その実
現方法としては、例えば、情報処理学会第４７回全国大
会講演論文集（３）３−１６１で公知であるように、そ
の文書を特徴付けるキーワードを自動抽出し、そのキー
ワードを多く含む文書を類似文書として抽出する方法な
どがある。一方、文書の電子化が進み、電子出版などが
普及すると、文書の違法コピーや、文書内容の一部を改
変して営利目的使用するなどの犯罪行為が増加すると予
想される。従って、この種の犯罪を防止するための対策
が必要である。しかし、大量の文書集合の中から違法文
書を見つける作業は、膨大な作業コストを要するため、
その作業を支援する計算機システムが必要である。上述
の類似文書検索が、主として文章の「主題」が類似して
いる文書を見つけるための機能であるのに対して、違法
文書の抽出は、文章全体の主題が類似しているか否かは
どうでもよく、その中で使用されている部分（主題とは
全く関係ない部分であることもある）が、別の文書から
違法に引用されているか否かを判別する機能が必要であ
る。従って、文章の局所的な部分をも解析する必要があ
る。このように、文章の主題の類似する文書を検索する
類似文書検索機能と、ある文書に酷似した文書を抽出す
る酷似文書抽出機能は、その目的，実現方法，効果が全
く異なるものである。

【０００３】二つの文書が全く同じ文章であるならば、
両文書の字面を順に追跡していくことにより、同一文書
であることが容易に判別できる。しかし、実際には、一
方の文書の一部だけを引用したり、引用した部分に修正
を加えて使用したりすることが多いと考える。文書が電
子化されているので、文字列の変換などを容易に行うこ
とができることもこの一因である。このような違法文書
を抽出する方法の一つとして、例えば、Ｔｈｅｐｒｏ
ｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｃｏｎｄＡｎ
ｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｎｔｈｅＴｈ
ｅｏｒｙａｎｄＰｒａｃｔｉｃｅｏｆＤｉｇｉ
ｔａｌＬｉｂｒａｒｉｅｓ（１９９５，タイトル：Ｓ
ＣＡＭ：ＡＣｏｐｙＤｅｔｅｃｔｉｏｎＭｅｃｈ
ａｎｉｓｍｆｏｒＤｉｇｉｔａｌＤｏｃｕｍｅｎ
ｔｓ）に記載されている方法は、文書を単語単位に解析
し、その出現頻度の大小を考慮した類似度計算を行い、
酷似文書か否かを判定している。

【０００４】

【発明が解決しようとする課題】ある文書が他の文書と
酷似しているか否かを判定する場合、段落や文を単位と
して照合する方法は、複写された文書を抽出するには有
効であるが、文章の一部を改変された場合には、対処で
きない。また、単語を単位として照合する方法の場合、
その文書にどんな単語がどのくらい出現するかという情
報だけでは、解析結果にノイズが多く含まれるため、不
十分である。本発明の目的は、ある文書に酷似した文書
を精度良く抽出することにある。本発明の他の目的は、
ある文書に酷似した文書を少ないノイズで抽出すること
にある。本発明のさらに他の目的は、オリジナル文書の
自立語をある程度修正したような文書でも、酷似した文
書として認定できるようにすることにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、電子化文書集合と、前記電子化文書集合
を格納する文書格納手段と、文書を入力するための文書
入力手段と、ユーザが操作指示情報を入力するための操
作指示入力手段と、ユーザに報知するための出力手段と
を備えた文書抽出装置における文書抽出方法であり、前
記電子化文書集合内の電子化文書の各々に出現する語句
およびその出現順序に関するデータを格納する文書集合
情報テーブルを備え、予め語句の情報を格納した辞書を
参照して前記文書入力手段を介して入力された新規文書
に出現する語句を解析し、前記出現する語句のうち、ユ
ーザによって前記操作指示入力手段を介して予め指定さ
れた種類の語句に属する語句および該各語句の出現順序
を抽出し、単語情報テーブルを生成し、前記単語情報テ
ーブルと前記文書集合情報テーブルとを照合して、前記
新規文書を構成する文章構成単位と、前記電子化文書集
合内の電子化文書の各々を構成する文章構成単位とにお
いて、共通して出現する語句と該各語句の連続した出現
順序が同じである語句の列を抽出し、前記共通して出現
する語句の数に重みを付した値と、前記語句の列を構成
する語句の数を変数とする単調増加関数の値に基づき前
記文章構成単位毎に酷似度を計算し、ユーザによって前
記操作指示入力手段を介して予め指定されたしきい値以
上の酷似度を有する文章構成単位を持つ前記電子化文書
集合内の文書を抽出し、前記抽出結果を前記出力手段を
介してユーザに報知するようにしている。また、電子化
文書集合と、前記電子化文書集合を格納する文書格納手
段と、文書を入力するための文書入力手段と、ユーザが
操作指示情報を入力するための操作指示入力手段と、ユ
ーザに報知するための出力手段とを備えた文書抽出装置
における文書抽出方法であり、前記電子化文書集合内の
電子化文書の各々に出現する語句およびその出現順序に
関するデータを格納する文書集合情報テーブルを備え、
予め語句の情報を格納した辞書を参照して前記文書入力
手段を介して入力された新規文書に出現する語句を解析
し、前記出現する語句のうち、ユーザによって前記操作
指示入力手段を介して予め指定された種類の語句に属す
る語句および／または該各語句の出現順序を抽出し、単
語情報テーブルを生成し、前記単語情報テーブルと前記
文書集合情報テーブルとを照合して、前記新規文書を構
成する文章構成単位と、前記電子化文書集合内の電子化
文書の各々を構成する文章構成単位とにおいて、共通し
て出現する語句および／または該各語句の連続した出現
順序が同じである語句の列を抽出し、該抽出結果に基づ
き前記文章構成単位毎に酷似度を計算し、前記新規文書
に対して、ユーザによって前記操作指示入力手段を介し
て予め指定されたしきい値以上の酷似度を持つ文章構成
単位が、ユーザによって前記操作指示入力手段を介して
予め指定されたしきい値以上の「長さ」だけ連続して出
現する前記電子化文書集合内の文書を抽出し、前記抽出
結果を前記出力手段を介してユーザに報知するようにし
ている。また、電子化文書集合と、前記電子化文書集合
を格納する文書格納手段と、文書を入力するための文書
入力手段と、ユーザが操作指示情報を入力するための操
作指示入力手段と、ユーザに報知するための出力手段と
を備えた文書抽出装置における文書抽出方法であり、前
記電子化文書集合内の電子化文書の各々に出現する語句
およびその出現順序に関するデータを格納する文書集合
情報テーブルを備え、予め語句の情報を格納した辞書を
参照して前記文書入力手段を介して入力された新規文書
に出現する語句を解析し、前記出現する語句のうち、ユ
ーザによって前記操作指示入力手段を介して予め指定さ
れた種類の語句に属する語句および該各語句の出現順序
を抽出し、単語情報テーブルを生成し、前記単語情報テ
ーブルと前記文書集合情報テーブルとを照合して、前記
新規文書を構成する文章構成単位と、前記電子化文書集
合内の電子化文書の各々を構成する文章構成単位とにお
いて、共通して出現する語句と該各語句の連続した出現
順序が同じである語句の列を抽出し、前記共通して出現
する語句の数に重みを付した値と、前記語句の列を構成
する語句の数を変数とする単調増加関数の値に基づき前
記文章構成単位毎に酷似度を計算し、前記新規文書に対
して、ユーザによって前記操作指示入力手段を介して予
め指定されたしきい値以上の酷似度を持つ文章構成単位
が、ユーザによって前記操作指示入力手段を介して予め
指定されたしきい値以上の「長さ」だけ連続して出現す
る前記電子化文書集合内の文書を抽出し、前記抽出結果
を前記出力手段を介してユーザに報知するようにしてい
る。

【０００６】

【発明の実施の形態】本発明の実施形態の一例につい
て、以下、図を用いて詳細に説明する。本実施例は、新
規文書をある文書データベース（ＤＢ）に登録する際
に、当該新規文書の中に違法に引用された部分があるか
否かを検出するシステムに関するものである。本発明
は、このシステムのほか、例えば、著者が自分の書いた
文書が違法に引用されていないかをチェックするため
に、既存の文書ＤＢの各々にアクセスしてチェックする
ためのシステムなどにも有効であるが、これらのシステ
ムは、いずれも以下で説明する方法によって実現可能で
ある。また、本実施例では、日本語の文書を対象として
いるが、日本語以外の言語からなる文書についても適用
可能である。

【０００７】図１は、本実施例の概要を示す図である。
文書入力処理２は、新規文書１を入力手段を介して計算
機内部に取り込む。入力の方法としては、光学文字認識
装置（ＯＣＲ）を用いて印刷文書や手書き文書から文字
コードを認識する方法や、フロッピー，ＣＤ−ＲＯＭな
どの記録媒体を介する方法，ＬＡＮ，ＷＡＮなどのネッ
トワークを介して入力する方法などがあるが、どれを用
いても構わない。単語出現パターン抽出処理３では、計
算機内部に取り込まれた新規文書１から、自然言語処理
によって特定の品詞を持つ単語を抽出する（単語分割処
理）。単語分割処理では、単語の見出しおよび品詞，活
用情報などを予め格納した単語辞書１１を参照する。そ
して、抽出された単語の中で、除外して考えるべき単語
（不要語）を除去する。不要語は、不要語辞書１２に予
め定義し格納しておく。さらに、ある特定の文章単位毎
に、どんな単語がどんな順序で出現するかを認定し、単
語情報テーブル１３に格納する。ここで、文章単位と
は、文章を構成する形式的あるいは意味的まとまり
（章，節，形式段落，文，文を構成する句や節など）を
さす。酷似文書決定処理４では、単語情報テーブル１３
に格納された新規文書１に関する単語データを用いて、
文書集合を格納した文書ＤＢ１５に既に格納済みの各々
の文書と、新規文書１との酷似度を算出する。文書ＤＢ
１５に格納されている文書の各々に出現する単語の情報
は、その文書を文書ＤＢ１５に登録する際に、ＤＢ情報
テーブル（文書集合情報テーブル）１４に格納され、蓄
積されている。従って、ここでは、単語情報テーブル１
３に格納された新規文書１に関する単語情報と、単語情
報テーブル１３を作成する方法と同様な方法で作成され
たＤＢ情報テーブル１４に格納された、文書ＤＢ１５の
個々の文書に関する単語情報とを、後述する方法で照合
させることにより酷似度を文章単位毎に計算する。な
お、ＤＢ情報テーブル１４には、単語情報テーブル１３
の種々のバリエーション（ユーザが指定できる）に対応
できるような冗長な情報を持たせることが好ましい。そ
して、文書ＤＢ１５に格納されている各々の文書につい
て、予め指定されたあるしきい値以上の酷似度を持つ文
章単位が、予め指定されたある長さ以上連続する場合、
文書ＤＢ１５に格納されているその文書を、新規文書１
に酷似した文書と認定する。

【０００８】結果表示処理５では、酷似文書と認定され
た文書のＩＤおよびその酷似度を、新規文書１と並べて
ユーザに表示する。ユーザは、必要に応じて文書内容を
表示させ、チェックすることができる。文書内容を表示
する際には、酷似度の高かった文章単位を、新規文書１
と並べてユーザに表示し、判断を促す。ユーザによって
著作権に抵触しないと判断された文書は、文書ＤＢ登録
処理７において、文書ＤＢ１５に文書内容を登録・格納
する。この際に、単語情報テーブル１３に格納されてい
る新規文書１に関する単語情報をＤＢ情報テーブル１４
に格納する。一方、著作権に抵触すると判断された場
合、文書ＤＢへ登録されず、文書破棄処理８において破
棄される。

【０００９】図２は、本実施例のハードウェアの構成を
示す図である。図２では、文書サーバ２５と、０以上の
クライアント９０からなり、両者は、ネットワークで接
続されている。文書サーバ２５は、文書ＤＢ１５を格納
し、新規文書の単語出現パターンを抽出し、酷似文書か
否かを判別する。クライアント９０では、文書サーバ２
５に対して酷似文書の抽出を指示したり、結果を表示さ
せたりする。ネットワーク２０は、ローカルなもの（Ｌ
ＡＮ）でも良いし、グローバルなもの（ＷＡＮ）でも良
い。また、クライアント９０の機能を文書サーバ２５に
持たせ、文書サーバ２５がクライアント９０を兼ねる型
にすることも可能である。文書サーバ２５は、キーボー
ド３０，マウス４０などの入力装置と、データの出力の
ためのディスプレイ５０，データおよび処理部を格納し
た記憶装置７０，記憶装置７０から必要に応じてデータ
および処理部をロードして処理を実行する処理装置６０
からなる。記憶装置７０は、一時的なデータを格納する
ワークエリア７１や、文書入力処理部格納エリア７２、
単語出現パターン抽出処理部格納エリア７３、酷似文書
決定処理部格納エリア７４、結果表示処理部格納エリア
７５、文書ＤＢ登録処理部格納エリア７６、文書破棄処
理部格納エリア７７、単語辞書格納エリア７８、不要語
辞書格納エリア７９、文書情報テーブル格納エリア８
０、ＤＢ情報テーブル格納エリア８１、文書ＤＢ格納エ
リア８２、ネットワーク制御部格納エリア８３からな
る。記憶装置７０は、内部記憶装置および外部記憶装置
を含めたものとして示している。

【００１０】以下では、図１に記述した処理手順につい
て、具体的な文章を用いて詳細に説明する。図３は、新
規文書１の一例を示す図であり、以下、この文書を新規
文書として用いることとする。文書１００１は、電子コ
ード化されている必要があるので、イメージデータの場
合、ＯＣＲなどによって文字コードに変換する必要があ
る。図４は、文書ＤＢ１５に登録済みの文書の例であ
る。文章１は、図３の新規文書１を引用したものである
が、「てにをは」などの付属語の表現方法が修正されて
いる。また、文章２も図３の新規文書１を引用したもの
であるが、使用している名詞・動詞を変えている。どち
らの文章も、図３の新規文書１に酷似しているため、酷
似文書として抽出されるべき文書である。

【００１１】図５は、単語辞書１１の構成の一例を示す
図である。単語辞書１１は、見出し文字列１０１，品詞
情報１０２，活用情報（活用種１０３，活用行１０４）
からなる。単語出現パターン抽出処理３では、この単語
辞書１１を参照して文章を単語に分割し、分割された単
語に適切な品詞を割り当てる。文章を単語に分割して品
詞を割り当てる技術は、自然言語処理の基本的な技術で
あり、例えば、情報処理学会第４４回全国大会講演論文
集３−１８１記載のものをはじめ、公知であるため、こ
こではこれ以上深く言及しない。

【００１２】図６は、単語出現パターン抽出処理３にお
ける単語分割処理結果の一例を示す図であり、図３の新
規文書１の冒頭部分を単語分割した結果である。単語分
割処理により、図６の単語見出し３００１とその品詞３
００２，単語見出しの中で活用しても形が変化しない部
分（語幹３００３）をワークエリア７１に格納、保持す
る。

【００１３】図７は、不要語辞書１２の一例を示す図で
ある。不要語辞書は、酷似文書を抽出する際に、あまり
に一般的で出現頻度が高く、後述する酷似度計算におい
て、ノイズの一因となりやすい単語を予め取り除いてお
くためのものである。不要語辞書１２は、不要語の見出
し３１０１の集合であり、単語出現パターン抽出処理３
における不要語除去処理において、これらの単語は除去
される。不要語辞書１２に不要語を定義するのは、ユー
ザまたはシステム管理者であるが、必ずしも不要語を定
義する必要はない。この場合、不要語除去処理は無視さ
れる。

【００１４】図８は、単語情報テーブル１３の構成の一
例を示す図であり、図３の新規文書１を入力とした場合
に、前述の単語出現パターン抽出処理３により出力され
るデータである。単語情報テーブル１３は、各文章構成
単位（以下、文章単位）（本実施例では、句点「。」を
境とする文を文章単位とするが、句読点を境にしたり、
形式段落を単位としたり、ある文字数毎あるいはある単
語数毎に区切ったりしてもよい）の記述順序を表す文章
単位番号３２０１，各文章単位内における単語の出現順
序を表す単語出現番号３２０２，単語文字列を格納する
単語見出し３２０３，単語見出しに対応する品詞３２０
４，各文章単位の文字列長を格納する文章単位長３２０
５からなる。本実施例では、酷似度計算の対象とする種
類の語句を、前述の単語出現パターン抽出処理３におい
て、名詞，サ変名詞（〜する），形容詞，動詞，形容動
詞，副詞，接続詞などの自立語（助詞，助動詞以外の単
語）に限定するようにしている。どの品詞を持つ単語を
酷似度計算の対象となる語句とするかは、ユーザが予め
指定できる。また、動詞や形容詞のように活用する単語
については、図８に示すように、その活用語尾を含めて
単語見出し３２０３に格納しているが、活用語尾を削除
して語幹のみを単語見出し３２０３とする方法でも良
い。

【００１５】図９、図１０は、ＤＢ情報テーブル１４の
構成の一例を示す図であり、図９は、図４の文章１に対
応し、図１０は、図４の文章２に対応する。ＤＢ情報テ
ーブル１４は、文書ＤＢ１５に格納された文書をユニー
クに識別するためのＤＢ文書ＩＤ３３０１（３４０
１），文章単位番号３３０２（３４０２），単語出現番
号３３０３（３４０３），単語見出し３３０４（３４０
４），品詞３３０５（３４０５），文章単位長３３０６
（３４０６）からなる。単語情報テーブル１３と同様、
単語見出しとして語幹を採用しても良い。

【００１６】図１１は、文章単位間の酷似度の計算方法
を示す図である。アルファベット１文字が１つの単語に
相当しており、図面に向かって左に位置するものほど、
出現順序が早いとする。図１１では、ａ，ｂ，ｃ，ｄ，
ｅ，ｆ，ｇの７つの自立語からなる新規文書中の文章単
位（文）と、ｋ，ａ，ｂ，ｃ，ｆ，ｇ，ｈ，ｉ，ｅ，ｊ
の１０の自立語からなる文書ＤＢ中の文書を構成する任
意の文章単位（文）との間の酷似度を計算する例であ
る。出現する単語を文頭（左側）から比較して、両方の
文章単位に共通して現れる単語を抽出する。二つ以上の
単語が共通して連続的に出現する場合、それらをひとま
とめにして抽出する。この場合、単語同士の相対的な出
現順序に基づいて抽出する。図１１の場合、両方の文章
単位に、単語ａ，ｂ，ｃがこの順序で連続して出現して
いる。また、単語ｆ，ｇについても同様である。さら
に、単語ｅは、両方の文章単位に出現している。これら
の単語群を抽出する方法（アルゴリズム）としては、例
えば、図８の単語情報テーブル１３の単語見出しと、図
９あるいは図１０のＤＢ情報テーブル１４の単語見出し
とを各文章単位の先頭から文字照合をして、もし一致す
るならば一致しなくなるまで次の単語を照合し、一致し
ないならば、一方の単語をスライドすることにより、す
べての単語同士を照合するという方法がある。これは、
二つのテーブルの照合処理で、容易に実現可能であるの
で、これ以上言及しない。

【００１７】両方の文章単位に共通して現れる単語群を
抽出した後、次の式により、当該文章単位間の酷似度を
計算する。酷似度＝（共通して出現する単語の種類数）×Ｗ＋
(((Ｎ個の単語が共通して連続的に現れる回数）×(Ｎの
階乗))の総和）（ただし、Ｎ＞＝２）ここで、Ｗは、重み係数（本実施例ではＷ＝１）であ
り、これをチューニングすることにより、上式右辺の第
１項と第２項の相対的ウエイトを変えられる。また、
（Ｎの階乗）＝（Ｎ×（Ｎ−１）×・・・×１）であ
る。図１１の場合、３個の単語が共通して連続的に現れ
たのが１回（単語ａ，ｂ，ｃ）であり、２個の単語が共
通して連続的に現れたのが１回（単語ｆ，ｇ）であり、
さらに、共通して出現する単語の種類数が６種類（ａ，
ｂ，ｃ，ｆ，ｇ，ｅ）であるので、酷似度は、６＋（３の階乗）＋（２の階乗）＝６＋３×２×１＋２
×１＝１４となる。

【００１８】上記の計算方法によれば、同一順序で出現
する単語の数が多いほど、互いに酷似しているとみなさ
れる。また、同一順序でなくても、共通する単語の種類
数が多いほど、互いに酷似しているとみなされる。上記
の計算方法は、一つの例にすぎず、単語の出現順序を考
慮した酷似度を計算する方法は沢山ある。例えば、上式
においてはＮの階乗を用いているが、他の単調増加関数
を用いてもよい。また、上式において計算される酷似度
を出現する単語数で割って補正する方法も考えられる。
上式に基づく酷似度計算を新規文書の中のすべての文章
単位と文書ＤＢ１５の中のすべての文章を構成するすべ
ての文章単位との間について計算する。文書ＤＢ１５に
格納されている文書数が多い場合は、ＤＢ情報テーブル
１４に格納されている単語出現情報から、出現する単語
（例えば、単語‘予防’）とその単語を含む文章との対
応関係を表すインデクス（例えば、‘予防’を含めば
“１”、含まなければ“０”とする）を用意し、第１段
階として、新規文書のある文章単位を構成する単語をあ
る種類以上含む文書を抽出し、第２段階として、抽出さ
れた文書についてのみ酷似度を計算する方法が処理速度
向上の点で有効である。効率の良い単語マッチングアル
ゴリズムとしては、バイナリサーチ方式など有名な公知
例が多数あるので、ここではこれ以上深く言及しない。

【００１９】図１２は、酷似度計算結果の一例を示す図
であり、図８の単語情報テーブル１３を構成する文章単
位と、図９のＤＢ情報テーブル１４（文章１）を構成す
る文章単位との間の酷似度を計算した結果の例である。
新規文書の文章単位番号１と、文書ＤＢの中の文章（文
章１）の文章単位番号１との間の酷似度を計算すると、
共通する単語の種類数は５であり、これら５つの単語は
共通して連続的に出現するので、酷似度は、５×１＋５
×４×３×２×１＝１２５であり、両者の間の酷似性は
極めて高いと言える。同様に、図１２から、文章単位番
号２同士，３同士，４同士，５同士の酷似度は、他と比
べてはるかに高くなっている。

【００２０】図１３は、酷似度計算結果の他の例を示す
図であり、図８の単語情報テーブル１３を構成する文章
単位と、図１０のＤＢ情報テーブル１４（文章２）を構
成する文章単位との間の酷似度を計算した結果の例であ
る。この例の場合、あまり酷似度が高くない。これは、
文章２は、図３の新規文書で使用している自立語を他の
単語に修正したもの（複写→コピー，防止→予防など）
であり、自立語があまりマッチしないためである。しか
し、内容は酷似しているので、酷似度は高くなければな
らない。文章２のようなタイプの文書の抽出方法につい
ては、本実施例の変形例において後述する。

【００２１】図１２あるいは図１３において、酷似度が
ある一定のしきい値以上の文章単位を含む文書をユーザ
に出力することも可能であるが、大量のノイズが発生す
る可能性が高い。そこで、本実施例では、酷似度がある
一定のしきい値以上の文章単位が、予め設定された長さ
以上連続する文書のみをユーザに出力することにより、
ノイズを低くしている。「長さ」は、文字列の長さ（以
下ではこれを採用）でも良いし、文章単位の数、単語の
数などに着目して指定するのも良い。これらのしきい値
は、ユーザが入力手段を介して自由に設定することがで
きる。一度実行した結果、あまりにも多くの文書が出力
された場合には、しきい値を高くすることによりその数
を少なくでき、逆に一つも出力されなかった場合には、
しきい値を低く設定することにより、ある程度の数の文
書を抽出できる。なお、本実施例では、新規文書および
文書ＤＢ中の文書の両方において、文章単位が連続して
酷似していないといけないとしているが、どちらか一方
の文書を構成する文章単位と酷似する（酷似度がしきい
値を超える）文章単位が他方の文書のどこかに存在すれ
ば良いとする方法でも良い。

【００２２】酷似度から酷似文書であるか否かを判別す
る方法を、図１２の酷似度計算結果を例に説明する。仮
に酷似しているか否かを判定する酷似度のしきい値を１
０に設定する。新規文書の文章単位について、１０以上
の酷似度を持つ最初の文章単位は、文章単位番号１であ
り、文書ＤＢの文章１の文章単位番号１との間の酷似度
であることが分かる。また、新規文書の文章単位番号１
の文章単位長３２０５は、図８より、２５文字であるこ
とも分かる。そこで、次の文章単位同士（文章単位番号
２同士）を比較してみると、その間の酷似度は２８で、
しきい値１０を超えており、これらも互いに酷似してい
ると言える。すなわち、二つの連続した文章単位（文章
単位番号１，２）からなる部分が酷似していることが分
かる。ここで、新規文書の文章単位番号２の文章単位長
３２０５は、図８より２８文字であるので、文章単位番
号１の文字列と合わせて５３文字分の部分が互いに酷似
していることが分かる。以下、同様にして考えると、図
１２の場合、文章１のすべての部分（文章単位番号１〜
５）が文章２と酷似していることが分かる。

【００２３】図１３の類似度計算結果で考えると、酷似
度が１０以上である文章単位は文章単位番号５のみであ
り、その文章単位長は６４文字である。ここで、仮に、
酷似度が１０以上である文章単位が１００文字以上続く
場合に酷似文書であると判定するように設定した場合、
図１２では、酷似する部分の文字列の合計が１７５文字
であり、しきい値１００文字を超えているので、文章１
を図３の新規文書に酷似した文書としてユーザに出力す
る。しかし、図１３では、酷似する部分の文字列の合計
が６４文字であり、１００文字を超えないので、酷似文
書とみなされない。しきい値が５０文字以上と設定され
た場合には、酷似文書として出力される。

【００２４】図１４は、酷似文書判定結果の一例を示す
図である。これらの情報は、図１５で示すように、結果
をユーザに出力するためのデータで、ワークエリア７１
に一時的に保持する。酷似判定３７０３は、酷似した部
分を含んでいるかを示すフラグであり、酷似部分の長さ
３７０４は、しきい値を超える酷似度を持つ文章単位が
どのくらいの長さであったかを記憶する。「対応する新
規文書の文章単位番号３７０５」および「対応するＤＢ
文章の文章単位番号３７０６」には、各文書において酷
似していると判定された部分の文章単位番号の範囲を格
納する。

【００２５】図１５は、処理結果の表示の一例を示す図
である。ディスプレイ３８０１には、ユーザからの操作
指示を受け付けるメニュー（３８０２〜３８０８）と、
しきい値を設定するための入力エリア３８０９，処理の
結果、酷似文書として抽出された文書の書誌情報および
酷似度を表示する検索結果表示用ウインドウ３８１０，
新規文書の内容を表示するウインドウ３８１１，ユーザ
によって指定された酷似文書の内容を表示するウインド
ウ３８１２が表示される。実行を指定した時点で、設定
されているしきい値をワークエリア７１に格納し、それ
を参照して酷似文書を判別する。また、新規文書の文章
および文書ＤＢ１５中の酷似文章の内容を表示する際、
図１４の情報３７０５および３７０６と、単語情報テー
ブル１３およびＤＢ情報テーブル１４の文章単位長の情
報を参照することにより、互いに酷似している文章単位
がそれぞれどこからどこまでであるかを認定できるの
で、その部分を並べて表示することができる。また、酷
似度の大小に応じて文章単位の表示態様を変えて文章内
容をひょうじする様にしてもよい。また、文章をスキッ
プ読みできるように構成し、スキップ読みを選択する度
に予め指定した値以上の酷似度を持つ次の文章単位まで
スキップして文章内容を表示するする様にしてもよい。
このように、本実施例によれば、単語が出現するか否か
だけでなく、その出現順序をも考慮しているので、酷似
文書の抽出精度が高い。また、使用する単語として、自
立語のみを用いているので、「てにをは」など付属語の
違いによらない、良好な抽出結果を得ることができる。

【００２６】次に、上記実施例の変形例、拡張例につい
て述べる。（１）同義語、類義語情報を利用して単語を正規化す
る。例えば、「複写」と「コピー」は、表記は異なる
が、ほぼ同じ意味であるので、酷似度計算をする前に、
どちらか一方に表記を統一することにより、単語照合精
度を向上させることができる。これを実現するには、予
め同義語辞書を設けて同義語関係にある単語の対を登録
し、図６に示す単語分割結果に対して、同義語辞書を参
照して単語を正規化する処理を施す（例えば、「コピ
ー」をすべて「複写」に変換する）ことにより、実現で
きる。

【００２７】（２）ある一定以下の頻度でしか出現しな
い単語のみに着目する。ある文書が他の文書の内容を引
用したか否かを判定する場合、何回も出現する単語より
も、あまり出現しない単語の出現傾向を解析することが
有効である。その中には、他の文書ではあまり使われな
い特殊な単語が含まれていることが多く、これを手がか
りに酷似文書を判別することができる。図１６は、図３
の新規文書に出現する単語の出現頻度である（図７の不
要語除去済み）。出現頻度は、単語分割結果から同一の
単語をカウントすることにより取得できる。ここで、図
１６は、単語の語幹に基づいて出現頻度をカウントして
いることに注意されたい。語幹に基づいて出現頻度をカ
ウントする方が、正確に出現頻度を認定できるからであ
る。図１６で、「情報」「違法」などは、出現頻度が高
いので、除去する。ここで、頻度２以上の単語を除去す
るとユーザが設定した場合（この値はユーザが設定可能
である）に、生成される単語情報テーブル１３が、図１
８である。同様に、図１７は、図４の文章２に出現する
単語の出現頻度であり、図１７から出現頻度２以上の単
語を削除して生成されるＤＢ情報テーブル１４が、図１
９である。図２０は、図１８の単語情報テーブル１３
（新規文書）の文章単位と、図１９のＤＢ情報テーブル
１４（文章２）の文章単位との間の酷似度を示す図であ
る。図１３に比べると、実際に酷似していない文章単位
間の酷似度の値が小さくなり、ノイズが減少しているこ
とがわかる。また、高頻度の単語が除去されて単語の数
が全体的に少なくなったために、酷似度が全体的に小さ
くなっているが、前述の酷似度計算式の重みＷを増やし
たり、酷似しているか否かを判定するしきい値を低く設
定することにより解決する。なお、別の方法として、高
頻度の単語を削除してしまうのではなく、低頻度の単語
に比べて、それの占めるウエイトを小さくする方法があ
る。

【００２８】（３）付属語の出現傾向に着目する。上記
実施例では、酷似度計算に使用する単語として、自立語
を採用したが、ここでは、付属語に着目する。図２１
は、図３の新規文書から付属語のみを抽出した単語情報
テーブル１３である。単語が自立語でなく、付属語にな
った以外は、図８と変わりないので、これまでに述べた
方法で実現可能である。図２１の単語情報テーブル１３
を作成する際、連続して出現する付属語については、一
つの付属語としてまとめあげる。以下、上述の方法と同
様に、酷似度を計算することにより、酷似する付属語を
持つ文書を抽出することができる。ただし、「てにを
は」を表す付属語は、酷似しているしていないにかかわ
らず高頻度で出現するので、図２１の単語情報テーブル
１３では、これらの付属語は不要語辞書１２に登録して
除去している。

【００２９】（４）誤字や脱字に着目する。ある文書に
おいて、例えば、「コピーする」と記述すべきところ
を、タイプミスにより、「コビ−する」とか「コピす
る」などと誤って記述したとする。この部分を含む文章
を違法に引用した場合、修正しない限り、間違った表現
がそのまま使われる。単語出現パターン抽出処理３にお
ける単語分割処理では、単語辞書１１に登録されていな
い単語が出現する場合、品詞の代わりに未登録語を表す
フラグを付けることができるという技術が公知となって
いる。従って「コビ−」や「コピ」が単語辞書１１に登
録されていないとすると、これらの単語は、未登録語で
あると認定される。そこで、これらの未登録語に着目し
て抽出し、他の文書の未登録語と比較することにより、
容易に酷似文書を抽出することができる。あるいは、上
述の方法と併用することにより、精度良く抽出すること
が可能である。

【００３０】（５）上述の方法を組み合わせて酷似度を
計算する。上述のように、自立語の出現およびその出現
順序，付属語の出現およびその順序，誤字・脱字の出現
などにより、ある文書に酷似した文書を抽出できるが、
これらの方法のうちの複数を用いることも可能である。
それぞれについて独立に酷似度を計算し、その合計ある
いは最大値をもってその酷似度とする方法などが考えら
れる。また、上述のどの方法を採用するかを動的に変更
することが可能である。使用する単語の品詞の変更や、
文章単位の変更，しきい値の変更などを動的に可能とす
ることにより、ユーザの要求に応じた抽出結果を出力す
ることができる。ただし、この場合、動的に変更された
設定に対処するためには、文書ＤＢ１５中の文書に関す
る単語情報を必要十分に格納しておかなければならな
い。図９や図１０では、文を文章単位として、自立語に
関する単語情報のみが格納されているが、ここでは、文
書に出現するすべての単語に関する情報を保持する必要
がある。これは、単語出現パターン抽出処理３で単語を
抽出する際に、すべての単語に関する情報を保持してお
き、文書ＤＢ登録処理７で、新規文書を文書ＤＢ１５に
登録する際に、すべての単語に関する情報を格納するこ
とにより容易に実現可能である。また、文章単位の変更
に対処できるように、ある単語が出現する場所に関する
情報を含めてＤＢ情報テーブル１４に格納しておく。図
２２は、設定の動的な変更に対処できるＤＢ情報テーブ
ル１４の構成の例を示す図である。このテーブルから、
品詞情報や文章構成情報を参照して必要な情報を選択す
ることにより、さまざまな設定による酷似文書抽出が可
能となる。

【００３１】

【発明の効果】本発明によれば、自立語（付属語でない
語）である単語が文書中に単に出現するか否かだけでな
く、ある文章単位中の自立語の出現順序を考慮すること
によって、その文章単位が他のある文書の文章単位と酷
似しているか否かを判別し、さらに、酷似していると判
別された文章単位がどのくらいの長さにわたって続いて
いるかに基づいて、ある文書が他のある文書と酷似して
いるかを認定するという２段階の判別方法を採ることが
できるので、ある文書に酷似した文書を精度良く抽出す
ることができる。また、本発明によれば、出現頻度の低
い単語に着目して、その出現傾向（出現するか否か，出
現する場合、その出現順序）に基づいて酷似文書を認定
することができるので、ある文書に酷似した文書を少な
いノイズで抽出できる。また、本発明によれば、付属語
の出現傾向に基づいて酷似文書を認定することができる
ので、オリジナル文書の自立語をある程度修正したよう
な文書でも、酷似した文書として認定することができ
る。さらに、本発明によれば、誤字・脱字を利用して酷
似文書を認定できるので、ある文書に酷似した文書を精
度良く抽出することができる。また、酷似しているか否
かを判別する際に用いる単語の品詞や、酷似度のしきい
値などの値をユーザが動的に自由に設定できるので、そ
れぞれの文書に応じた適切な量の酷似文書を抽出ができ
る。

【図面の簡単な説明】

【図１】本実施例の概要を示す図である。

【図２】本実施例のハードウェアの構成を示す図であ
る。

【図３】本実施例の新規文書の一例を示す図である。

【図４】本実施例の文書ＤＢに登録済の文書例を示す図
である。

【図５】本実施例の単語辞書の構成の一例を示す図であ
る。

【図６】本実施例の単語分割処理結果の一例を示す図で
ある。

【図７】本実施例の不要語辞書の一例を示す図である。

【図８】本実施例の単語情報テーブルの一例を示す図で
ある。

【図９】本実施例のＤＢ情報テーブルの一例を示す図で
ある。

【図１０】本実施例のＤＢ情報テーブルの他の一例を示
す図である。

【図１１】本実施例の文章単位間の酷似度計算方法を説
明するための図である。

【図１２】本実施例の酷似度計算結果の一例を示す図で
ある。

【図１３】本実施例の酷似度計算結果の他の一例を示す
図である。

【図１４】本実施例の酷似文書判定結果の一例を示す図
である。

【図１５】本実施例の結果表示の一例を示す図である。

【図１６】本実施例における単語の出現頻度の一例を示
す図である。

【図１７】本実施例における単語の出現頻度の他の一例
を示す図である。

【図１８】本実施例の単語情報テーブルの他の一例を示
す図である。

【図１９】本実施例のＤＢ情報テーブルの他の一例を示
す図である。

【図２０】本実施例の酷似度計算結果の他の一例を示す
図である。

【図２１】本実施例の単語情報テーブルの他の一例を示
す図である。

【図２２】本実施例のＤＢ情報テーブルの他の一例を示
す図である。

【符号の説明】

１新規文書２文書入力処理３単語出現パターン抽出処理４酷似文書決定処理５結果表示処理７文書ＤＢ登録処理８文書破棄処理１１単語辞書１２不要語辞書１３単語情報テーブル１４ＤＢ情報テーブル１５文書ＤＢ２０ネットワーク２５文書サーバ３０キーボード４０マウス５０ディスプレイ６０処理装置７０記憶装置７１ワークエリア７２文書入力処理部格納エリア７３単語出現パターン抽出処理部格納エリア７４酷似文書決定処理部格納エリア７５結果表示処理部格納エリア７６文書ＤＢ登録処理部格納エリア７７文書破棄処理部格納エリア７８単語辞書格納エリア７９不要語辞書格納エリア８０文書情報テーブル格納エリア８１ＤＢ情報テーブル格納エリア８２文書ＤＢ格納エリア８３ネットワーク制御部格納エリア９０クライアント

Claims

【特許請求の範囲】

【請求項１】電子化文書集合と、前記電子化文書集合
を格納する文書格納手段と、文書を入力するための文書
入力手段と、ユーザが操作指示情報を入力するための操
作指示入力手段と、ユーザに報知するための出力手段と
を備えた文書抽出装置における文書抽出方法であって、前記電子化文書集合内の電子化文書の各々に出現する語
句およびその出現順序に関するデータを格納する文書集
合情報テーブルを備え、予め語句の情報を格納した辞書を参照して前記文書入力
手段を介して入力された新規文書に出現する語句を解析
し、前記出現する語句のうち、ユーザによって前記操作指示
入力手段を介して予め指定された種類の語句に属する語
句および該各語句の出現順序を抽出し、単語情報テーブ
ルを生成し、前記単語情報テーブルと前記文書集合情報テーブルとを
照合して、前記新規文書を構成する文章構成単位と、前
記電子化文書集合内の電子化文書の各々を構成する文章
構成単位とにおいて、共通して出現する語句と該各語句
の連続した出現順序が同じである語句の列を抽出し、前
記共通して出現する語句の数に重みを付した値と、前記
語句の列を構成する語句の数を変数とする単調増加関数
の値に基づき前記文章構成単位毎に酷似度を計算し、ユーザによって前記操作指示入力手段を介して予め指定
されたしきい値以上の酷似度を有する文章構成単位を持
つ前記電子化文書集合内の文書を抽出し、前記抽出結果を前記出力手段を介してユーザに報知する
ことを特徴とする酷似文書抽出方法。
【請求項２】電子化文書集合と、前記電子化文書集合
を格納する文書格納手段と、文書を入力するための文書
入力手段と、ユーザが操作指示情報を入力するための操
作指示入力手段と、ユーザに報知するための出力手段と
を備えた文書抽出装置における文書抽出方法であって、前記電子化文書集合内の電子化文書の各々に出現する語
句およびその出現順序に関するデータを格納する文書集
合情報テーブルを備え、予め語句の情報を格納した辞書を参照して前記文書入力
手段を介して入力された新規文書に出現する語句を解析
し、前記出現する語句のうち、ユーザによって前記操作指示
入力手段を介して予め指定された種類の語句に属する語
句および／または該各語句の連続した出現順序を抽出
し、単語情報テーブルを生成し、前記単語情報テーブルと前記文書集合情報テーブルとを
照合して、前記新規文書を構成する文章構成単位と、前
記電子化文書集合内の電子化文書の各々を構成する文章
構成単位とにおいて、共通して出現する語句および／ま
たは該各語句の連続した出現順序が同じである語句の列
を抽出し、該抽出結果に基づき前記文章構成単位毎に酷
似度を計算し、前記新規文書に対して、ユーザによって前記操作指示入
力手段を介して予め指定されたしきい値以上の酷似度を
持つ文章構成単位が、ユーザによって前記操作指示入力
手段を介して予め指定されたしきい値以上の「長さ」だ
け連続して出現する前記電子化文書集合内の文書を抽出
し、前記抽出結果を前記出力手段を介してユーザに報知する
ことを特徴とする酷似文書抽出方法。
【請求項３】電子化文書集合と、前記電子化文書集合
を格納する文書格納手段と、文書を入力するための文書
入力手段と、ユーザが操作指示情報を入力するための操
作指示入力手段と、ユーザに報知するための出力手段と
を備えた文書抽出装置における文書抽出方法であって、前記電子化文書集合内の電子化文書の各々に出現する語
句およびその出現順序に関するデータを格納する文書集
合情報テーブルを備え、予め語句の情報を格納した辞書を参照して前記文書入力
手段を介して入力された新規文書に出現する語句を解析
し、前記出現する語句のうち、ユーザによって前記操作指示
入力手段を介して予め指定された種類の語句に属する語
句および該各語句の出現順序を抽出し、単語情報テーブ
ルを生成し、前記単語情報テーブルと前記文書集合情報テーブルとを
照合して、前記新規文書を構成する文章構成単位と、前
記電子化文書集合内の電子化文書の各々を構成する文章
構成単位とにおいて、共通して出現する語句と該各語句
の連続した出現順序が同じである語句の列を抽出し、前
記共通して出現する語句の数に重みを付した値と、前記
語句の列を構成する語句の数を変数とする単調増加関数
の値に基づき前記文章構成単位毎に酷似度を計算し、前記新規文書に対して、ユーザによって前記操作指示入
力手段を介して予め指定されたしきい値以上の酷似度を
持つ文章構成単位が、ユーザによって前記操作指示入力
手段を介して予め指定されたしきい値以上の「長さ」だ
け連続して出現する前記電子化文書集合内の文書を抽出
し、前記抽出結果を前記出力手段を介してユーザに報知する
ことを特徴とする酷似文書抽出方法。
【請求項４】請求項１または請求項２または請求項３
記載の酷似文書抽出方法において、ユーザが前記操作指示入力手段を介して指定する前記文
章構成単位として、文書全体，章，節，形式段落，文を
含んでいることを特徴とする酷似文書抽出方法。
【請求項５】請求項１または請求項２または請求項３
記載の酷似文書抽出方法において、前記ユーザが操作指示入力手段を介して指定する「長
さ」の対象として、前記文章構成単位の数，文字数，語
句数，文数，段落数を含み、ユーザが前記操作指示入力
手段を介してこれらを選択できることを特徴とする酷似
文書抽出方法。
【請求項６】請求項１または請求項２または請求項３
記載の酷似文書抽出方法において、前記ユーザが操作指示入力手段を介して指定する種類の
語句として、自立語か付属語の少なくとも一方を指定で
きることを特徴とする酷似文書抽出方法。
【請求項７】請求項１または請求項２または請求項３
記載の酷似文書抽出方法において、前記ユーザが操作指示入力手段を介して指定する種類の
語句として、特定の品詞を持つ語句を指定できることを
特徴とする酷似文書抽出方法。
【請求項８】請求項１または請求項２または請求項３
記載の酷似文書抽出方法において、前記ユーザが操作指示入力手段を介して指定する種類の
語句として、前記辞書に定義されていない語句を指定で
きることを特徴とする酷似文書抽出方法。
【請求項９】請求項１または請求項２または請求項３
記載の酷似文書抽出方法において、前記出現語句の解析において、ユーザが前記操作指示入
力手段を介して予め指定した語句については前記解析結
果から除去することを特徴とする酷似文書抽出方法。
【請求項１０】請求項１または請求項２または請求項
３記載の酷似文書抽出方法において、前記出現語句の解析において、同一の意味を持つ語句の
対を格納した同義語辞書を備え、前記同義語辞書を参照
して前記出現語句の解析によって抽出した語句の表記を
統一することを特徴とする酷似文書抽出方法。
【請求項１１】請求項１または請求項３記載の酷似文
書抽出方法において、前記文章構成単位毎の酷似度の計算を前記共通して出現
する語句の数に重みを付した値と、前記語句の列を構成
する語句の数を変数とする単調増加関数の値の和とする
ことを特徴とする酷似文書抽出方法。
【請求項１２】請求項１または請求項２または請求項
３記載の酷似文書抽出方法において、前記出現語句の解析において、ユーザが前記操作指示入
力手段を介して予め指定した範囲外の出現頻度を持つ語
句について前記解析結果から除去することを特徴とする
酷似文書抽出方法。
【請求項１３】請求項１または請求項２または請求項
３記載の酷似文書抽出方法において、前記抽出結果の出力において、抽出された前記電子化文
書集合内の電子化文書について、ユーザが前記操作指示
入力手段を介して予め指定したしきい値以上の酷似度を
持つ文章構成単位の数の多い順にソートして表示するこ
とを特徴とする酷似文書抽出方法。
【請求項１４】請求項１または請求項２または請求項
３記載の酷似文書抽出方法において、前記抽出結果の出力において、ユーザが前記操作指示入
力手段を介して予め指定した値以上の酷似度を持つ前記
文章構成単位について、その酷似度の大小に応じて前記
文章構成単位の表示態様を変えて文書内容を表示するこ
とを特徴とする酷似文書抽出方法。
【請求項１５】請求項１４記載の酷似文書抽出方法に
おいて、前記文書内容の表示において、ユーザが前記操作指示入
力手段を介して予め指定した値以上の酷似度を持つ前記
文章構成単位について、対応する新規文書の文章構成単
位と電子化文書集合内の電子化文書の文章構成単位とを
並べて表示することを特徴とする酷似文書抽出方法。
【請求項１６】請求項１４記載の酷似文書抽出方法に
おいて、前記文書内容の表示において、文書をスキップ読みする
手段を備え、ユーザが前記操作指示入力手段を介して前
記スキップ読みを選択する度に、ユーザが前記操作指示
入力手段を介して予め指定した値以上の酷似度を持つ次
の文章構成単位までスキップして文書内容を表示するこ
とを特徴とする文書抽出方法。