JPH09297766A

JPH09297766A - 類似文書検索装置

Info

Publication number: JPH09297766A
Application number: JP8110870A
Authority: JP
Inventors: Hiroyuki Nakajima; 浩之中島; Tsuyoshi Kitani; 強木谷
Original assignee: N T T DATA TSUSHIN KK; NTT Data Communications Systems Corp
Current assignee: N T T DATA TSUSHIN KK; NTT Data Corp
Priority date: 1996-05-01
Filing date: 1996-05-01
Publication date: 1997-11-18

Abstract

(57)【要約】【課題】複数の参照用文書から入力文書に類似する類
似文書候補を高い確度で特定し得る類似文書検索装置を
提供する。【解決手段】形態素解析部１０により認識された入力
文書中のキーワードの個数を計数するキーワードカウン
ト部１１、文書に含まれるキーワードを意味分類毎に仕
訳するキーワード意味分類決定部１２、意味分類に応じ
た重要度と各意味分類に属するキーワードの個数に依存
する評価値を付与する意味分類評価値決定部１４、及び
評価値に基づいて各参照用文書毎に類似度を付与する文
書類似度決定部１６とを含んで類似文書検索装置を構成
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば種々の情報
検索システムや文書作成支援システム等に使用される文
書検索技術に係り、特に複数の参照用文書から入力文書
に含まれる語句に関連する文書候補を検索する類似文書
検索装置に関する。

【０００２】

【従来の技術】類似文書検索装置は、予め蓄積されてい
る複数の参照用文書から入力文書の文章内容により合致
する、即ち類似する文書候補を検索する装置である。従
来より、この種の類似文書検索装置では、入力文書の所
定領域を形態素解析して文字、数字、記号、語、語句
（以下、この明細書では語句と称して説明する）を認識
するとともに、該入力文書に含まれる文章を特定の意味
表現を有するいくつかのキーワードに分解した上で、例
えば検索目的に応じた重要度のキーワードを含む度合い
が高い少なくとも一つの文書候補を複数の参照用文書か
ら選び出している。

【０００３】具体例を図７から図９を参照して説明す
る。図７は、従来のこの種の類似文書検索装置の構成例
を示す図である。この類似文書検索装置は、形態素解析
部７１、キーワードカウント部７２、キーワード評価値
決定部７４、文書類似度決定部７６、及びキーワード重
要度辞書７３のほか、キーワードカウント辞書７５など
の辞書類を含んで構成される。

【０００４】いま、この類似文書検索装置に、図９
（ト）に例示する文章「類似した文書を検索する装置を
開発・・・・」が記述されている入力文書が入力された
とする。形態素解析部７１は、この文章の所定領域を形
態素解析してキーワードを認識するとともに各キーワー
ドにその品詞情報「類似（サ変名詞）」，「文書（名
詞）」・・・付する。図９（チ）は形態素解析部７１の
出力例を示すものである。

【０００５】キーワードカウント部７２は、形態素解析
部７１の出力から上記文章に含まれる各々のキーワード
の個数をカウントするとともに、キーワード別にその個
数を出力する。図９（リ）は、キーワードカウント部７
２の出力例を示すものである。キーワード評価値決定部
７４は、キーワードカウント部７２からの出力（キーワ
ードの個数）と、図８（ａ）に例示されるように予めキ
ーワード毎に定められた重要度「類似：１００」，「検
索：５０」・・・が記録されているキーワード重要度辞
書７３とを参照しながら各キーワードに対する評価値を
計算するとともに、この評価値を出力する。

【０００６】評価値は、各キーワードに対して与えられ
た重要度と入力文書に含まれるキーワードの個数の積で
得られる数、あるいは、重要度と個数の対数の積で得ら
れる数とする方法が考えられている。この方法は、ＴＦ
／ＩＤＦ法と呼ばれているもので、Mc-Graw-Hill Publi
shing Company から出版されているGerard Salton等に
よる著書“Introduction to Modern Information Retri
eval”の記載が参考になる。図９（ヌ）は、前者の手法
を用いたキーワード評価値決定部７４の出力例を示すも
のである。

【０００７】文書類似度決定部７６は、キーワード評価
値決定部７４からの出力と、図８（ｂ）に例示されるよ
うにどのキーワードがどの参照用文書に何個含まれてい
るかが記録されたキーワードカウント辞書７５とを参照
して、各参照用文書のそれぞれに対して類似度を付与す
る。また、類似度の高い順に類似文書候補とする。この
文書類似度決定部７６における参照用文書の類似度は、
キーワードの重要度と各参照用文書中のキーワードの個
数から上記ＴＦ／ＩＤＦ法などによって決定される。実
際には、検索処理時間の短縮のために相対的に評価値の
高いキーワードを適当に取り出して類似度の計算に使用
する。図９（ル）は、この文書類似度決定部７６の出力
例であり、各参照用文書に対応する文書識別コード、例
えば文書番号を類似度の高い順に類似文書候補とした場
合の例が示されている。

【０００８】

【発明が解決しようとする課題】上述の類似文書検索装
置では、予め固定的に与えられたキーワード重要度辞書
７３を参照しているため、複数の意味が派生するキーワ
ードに対して入力文書中における本来の意味を考慮され
ることなく不当な重要度が与えられる可能性が高い。そ
のため、不当な重要度に基づいて評価値及び類似度の決
定を行った場合に、確度の高い類似検索ができないとい
った問題があった。

【０００９】このことを簡単な例を挙げて説明する。上
述の類似文書検索装置のキーワード重要度辞書７３にお
いて、例えばキーワードＡの重要度が”１０”、キーワ
ードＢの重要度が”１００”、キーワードＣの重要度
が”１０”で与えられており、キーワードＣは、それぞ
れ意味内容の異なるキーワードＡ及びキーワードＢの共
通の短縮表現で使われるものとする。この場合に、入力
文書に含まれるキーワードＢがキーワードＣに置き換え
られていると、キーワード重要度辞書７３を使用する際
に、その文書は、キーワードＢ”１００”に関してはそ
れと同義のキーワードＣの重要度”１０”をもって評価
されて、不当に低いものとなる。そのため、キーワード
文書類似度決定部７６における類似度の決定精度が悪く
なる。

【００１０】逆に、キーワード重要度辞書７３において
キーワードＡが重要度”１０”であるのに対し、キーワ
ードＣがキーワードＢと同様の重要度”１００”が与え
られている場合、キーワードＡがその短縮表現であるキ
ーワードＣに置き換えられている入力文書を扱うと、そ
の入力文書中のキーワードＡ”１０”に関してはそれと
同義のキーワードＣの重要度”１００”をもって評価さ
れて、不当に高いものとなる。この場合も、文書類似度
決定部７６における類似度の決定精度が悪くなる。

【００１１】本発明の課題は、入力文書に含まれる各キ
ーワードに正当な重みを付与して文書間の類似度を正し
く決定する類似文書検索装置を提供することにある。

【００１２】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、入力文書の所定領域を形態素解析して該
入力文書に記述された語句を自動認識する文字認識手段
と、複数の参照用文書から前記認識された語句に関連す
る少なくとも一つの類似文書候補を特定する類似文書特
定手段とを備えた類似文書検索装置を提供する。この類
似文書検索装置において、類似文書特定手段は、文字認
識手段で認識された語句群をそれぞれ相異なる値に重み
付けられた複数のグループ、例えば語句の利用目的に応
じた重み係数が付された意味グループに分類仕訳する第
１手段、個々のグループに分類された語句の数に応じて
各グループの重み評価値を演算する第２手段、及び複数
の参照用文書に含まれるグループの各々に前記演算手段
より算出された重み評価値を付与して各参照用文書を差
別化する第３手段を含んで構成することを特徴としてい
る。

【００１３】本発明の類似文書検索装置における好まし
い態様として、前記第１手段ないし第３手段を以下のよ
うに構成する。第１手段を、例えば単一グループに属す
る語句名と当該グループ名、及び複数グループに属する
可能性のある語句名と各グループ名がそれぞれ対応付け
られた第１辞書と、前記文字認識手段で認識された語句
が属するグループを前記第１辞書を照合して決定するグ
ループ決定部とを備えて構成し、該グループ決定部は、
複数グループに属する可能性のある語句については対応
関係にある各単一グループに属している語句数に応じて
いずれか一のグループを決定するようにする。第２手段
を、個々のグループに属する語句数の増加に伴い当該グ
ループについての重み評価値を高くするように構成す
る。第３手段を、複数の参照用文書の各々の文書識別コ
ードと各参照用文書に含まれるグループ別の語句数とを
対応付けて蓄積した第２辞書と、第２辞書に蓄積されて
いる各グループにそれぞれ前記算出された重み評価値を
付与して文書識別コード毎の総合評価値を導出するとと
もに、この総合評価値の相対的大小に応じて参照用文書
の前記入力文書への類似度を決定する類似度決定部と、
を備えて構成する。

【００１４】

【発明の実施の形態】以下、複数の参照用文書から入力
文書に含まれる文章の意味表現に類似するものを索出す
る類似文書検索装置を例に挙げて本発明の実施形態を説
明する。図１は、本発明の一実施形態に係る類似文書検
索装置の構成図であり、語句としてキーワード、グルー
プとしてキーワードの意味を表す意味分類を用い、さら
に第１辞書として、類義語を各キーワードがそれぞれ属
する意味分類と対応付けて蓄積したシソーラス辞書を用
いる場合の例を示すものである。

【００１５】図１に示されるように、本実施形態の類似
文書検索装置は、形態素解析部１０、キーワードカウン
ト部１１、キーワード意味分類決定部１２、意味分類評
価値決定部１４、文書類似度決定部１６のほか、キーワ
ード意味分類決定部１２が参照するシソーラス辞書１３
と、意味分類評価値決定部１４が参照する意味分類重要
度辞書１５と、文書類似度決定部１６が参照する意味分
類カウント辞書１７とを含んで構成される。辞書１３〜
１５を除く各部１０，１１，１２，１４，１６は、例え
ばプログラムされたコンピュータ内に実現される機能モ
ジュールである。この場合、辞書１３〜１５及び各機能
モジュールを各々独立した装置構成体ないしシステム構
成体として存在させてもよく、あるいはコンピュータに
諸機能を付与し得るようにするため、コンピュータが読
み取り可能な態様で共通の情報記憶媒体に固定させるよ
うにしてもよい。要は、コンピュータが稼働したとき
に、上記各機能モジュールが該コンピュータ内に形成さ
れればよい。本実施形態では、従来例との相違を明確に
するため、便宜上、各々独立した装置構成体として各機
能モジュールが存在するものとして説明する。

【００１６】この類似文書検索装置の動作例を図２ない
し図６を参照して説明する。いま、図３（イ）に例示す
る文章「マッキントッシュをマックと呼ぶことが流行し
ている。・・・」が記述されている文書が入力されたと
する。ここにマッキントッシュはアップル社のコンピュ
ータの商標であり、「マック」はその愛称である。形態
素解析部１０は、この入力文書の所定領域を形態素解析
して文章中の語句を認識するとともに、文章からキーワ
ード単位「マッキントッシュ」，「マック」・・・を抽
出してそれぞれ品詞情報を付する。図３（ロ）は形態素
解析部１０の出力例を示すものである。

【００１７】キーワードカウント部１１は、形態素解析
部１０の出力に基づいて入力文書中の各キーワードの個
数をカウントする。図３（ハ）は、キーワードカウント
部１２の出力例であり、ここでは、入力文書中に「マッ
ク」が２個、「マッキントッシュ」が１０個・・・が含
まれていたことが示されている。キーワード意味分類決
定部１２は、シソーラス辞書１３を参照して、キーワー
ドカウント部１１の出力結果を分類仕訳し、キーワード
個数を意味分類毎に出力する。

【００１８】シソーラス辞書１３の内容例を図２（ａ）
に示す。図示の例では、キーワード「マッキントッシ
ュ」が意味分類「１」、キーワード「マクドナルド（マ
クドナルド社の商標：以下同じ）」が意味分類「２」、
キーワード「マック」が意味表現「１，２」、キーワー
ド「流行」が意味分類「３」に属している。なお、「マ
ック」の意味分類「１，２」は、「マック」のキーワー
ドが「マッキントッシュ」と「マクドナルド」の双方に
属する可能性があることを意味している。上記シソーラ
ス辞書１３を参照した場合の意味分類の特定と各意味分
類毎のキーワード個数のカウント処理の概要を示したも
のが図４である。

【００１９】図４を参照すると、まず、「マッキントッ
シュ」や「マクドナルド」のように一つの意味分類のみ
に属するキーワードについて、その意味分類毎にキーワ
ード個数を加算する。次に、「マック」のように複数の
意味分類に属しているキーワードについては、最も合計
個数の多い意味分類に属する一のキーワードを決定する
ことで、それが属する意味分類を一つに絞る。例えば図
４の例では、キーワード「マッキントッシュ」が１０個
であるのに対し、キーワード「マクドナルド」は０個で
ある。従って、「マック」のキーワードは、「マッキン
トッシュ」の意味分類「１」に属すると決定し、その個
数”２”を意味分類「１」に加算する。その結果、キー
ワード意味分類決定部１２では、意味分類「１」に属す
るキーワードが１２個、意味分類「３」に属するキーワ
ードが５個のように決定する。このキーワード意味分類
決定部１２の出力例を図３（二）に示す。なお、キーワ
ード意味分類決定部１２において、全てのキーワードを
処理する代わりに、個数の多いキーワードを選択的に処
理することも可能である。

【００２０】意味分類評価値決定部１４は、意味分類重
要度辞書１５を参照して、上記キーワード意味分類決定
部１２から出力された意味分類毎のキーワード個数を用
いて各意味分類についての評価値を決定する。図２
（ｂ）は意味分類重要度辞書１５の内容例であり、各意
味分類に予め語句の利用目的に応じた重み付け、例えば
従来装置と同様の重要度が付与されている様子が示され
ている。図示の例では、意味分類「１」に重要度”１
０”、意味分類「２」に重要度”４”、意味分類「３」
に重要度”２”・・・が付与されている。

【００２１】この意味分類評価値決定部１４における評
価値の決定手順は図５に示すとおりであり、キーワード
意味分類決定部１２から出力された意味分類毎のキーワ
ード個数と、意味分類重要度辞書１５において与えられ
た当該意味分類の重要度との積で与えられる。なお、こ
れ以外にも、意味分類の重要度とその意味分類に属する
キーワードの個数の対数をとったものとの積をその意味
分類の評価値とする方法もある。図３（ホ）は意味分類
評価値決定部１４の出力例であり、意味分類「１」の評
価値が”１２０”、意味分類「３」の評価値が”１０”
となる様子が示されている。

【００２２】文書類似度決定部１６では、意味分類カウ
ント辞書１７を参照し、意味分類評価値決定部１４の出
力結果に基づいて入力文書に類似する度合い、即ち類似
度の高い文書候補を特定する。意味分類カウント辞書１
７は、蓄積中の各文書においてどの意味分類に何個のキ
ーワードが含まれているかを個々の文書に対応した文書
番号と共に記憶したものである。図２（ｃ）はその内容
例を示すものであり、図示の例では、意味分類「１」に
ついては文書番号「１２」に４個、文書番号「２４」に
５個・・・対応付けられており、意味分類「２」につい
ては文書番号「８」に６個・・・が対応付けられてい
る。

【００２３】参照用文書における類似度の尺度として
は、例えば、入力文書中に登場する意味分類の評価値
と、その意味分類に属するキーワードが文書中で使われ
ている回数の対数をとったものとの積を全ての意味分類
について足し合わせたものなどが用いられる。図３
（ヘ）は、このような尺度を用いた場合の文書類似度決
定部１６の出力例であり、入力文書に対する類似度の高
い順に、文書番号「２４」，「１２」，「１００２」，
「６４」・・・に対応する参照用文書が候補になる様子
が示されている。なお、文書間の類似度の決定に際して
は、全ての意味分類でなく、評価値の大きい意味分類の
みを選んで処理することも可能である。

【００２４】次に、上記意味分類カウント辞書１７への
意味分類の登録ないし削除手順について説明する。上述
の入力文書は、それを次の参照用文書として利用するこ
とができる。図６は、上述の入力文書についての処理結
果を意味分類カウント辞書１７へ登録する例を示すもの
である。

【００２５】図６に示されるように、入力文書を形態素
解析部１０、キーワードカウント部１１、及びキーワー
ド意味分類決定部１２の順に処理することは上述の実施
形態の場合と同様である。即ち入力文書に含まれる意味
分類「１」，「３」・・・と各意味分類に属するキーワ
ードの個数とを抽出し、これを新たな文書識別コードで
ある文書番号「１００」と共に意味分類カウント辞書１
７に登録する。登録内容を削除する場合は、文書番号
「１００」を削除するとともに、各意味分類の数値を減
算する。

【００２６】このように、本実施形態の類似文書検索装
置では、シソーラス辞書１３を用いて類義のキーワード
についての重要度を正しく決定しているので、確度の高
い類似文書検索を行うことができ、従来の問題点が解消
される。

【００２７】

【発明の効果】上述の説明から明らかなように、本発明
によれば、入力文書に正当な重みが付与されるので、文
書間の類似度が語句正しく決定され、参照用文書からの
類似文書候補の決定精度が高まる、という特有の効果が
ある。

【図面の簡単な説明】

【図１】本発明の一実施形態による類似文書検索装置の
ブロック構成図。

【図２】（ａ）はシソーラス辞書の内容例、（ｂ）は意
味分類重要度辞書の内容例、（ｃ）は意味分類カウント
辞書の内容例を示す説明図。

【図３】（イ）は本実施形態による入力文書中の文章
例、（ロ）は形態素解析部の出力例、（ハ）はキーワー
ドカウント部の出力例、（ニ）はキーワード意味分類決
定部の出力例、（ホ）は意味分類評価値決定部の出力
例、（ヘ）は文書類似度決定部の出力例を示す説明図。

【図４】本実施形態によるキーワード意味分類決定部の
処理概要の説明図。

【図５】本実施形態による意味分類評価値決定部の評価
値決定過程の説明図。

【図６】本実施形態による意味分類カウント辞書への登
録処理の説明図。

【図７】従来の類似文書検索装置のブロック構成図。

【図８】（ａ）は従来装置によるキーワード重要度辞書
の内容例、（ｂ）はキーワードカウント辞書の内容例を
示す説明図。

【図９】（ト）は従来装置における入力文書中の文章
例、（チ）は形態素解析部の出力例、（リ）はキーワー
ドカウント部の出力例、（ヌ）はキーワード評価値決定
部の出力例、（ル）は文書類似度決定部の出力例を示す
説明図。

【符号の説明】

１０，７１形態素解析部１１，７２キーワードカウント部１２キーワード意味分類決定部１３シソーラス辞書１４意味分類評価値決定部１５意味分類重要度辞書１６，７６文書類似度決定部１７意味分類カウント辞書７３キーワード重要度辞書７４キーワード評価値決定部７５キーワードカウント辞書

Claims

【特許請求の範囲】

【請求項１】入力文書の所定領域を形態素解析して該
入力文書に記述された語句を自動認識する文字認識手段
と、複数の参照用文書から前記認識された語句に関連する少
なくとも一つの類似文書候補を特定する類似文書特定手
段とを備え、前記類似文書特定手段は、前記文字認識手段で認識され
た語句群をそれぞれ相異なる値に重み付けられた複数の
グループに分類仕訳する第１手段、個々のグループに分
類された語句の数に応じて各グループの重み評価値を演
算する第２手段、及び前記複数の参照用文書に含まれる
グループの各々に前記演算手段より算出された重み評価
値を付与して各参照用文書を差別化する第３手段を含ん
で構成されていることを特徴とする類似文書検索装置。
【請求項２】前記第１手段は、単一グループに属する
語句名と当該グループ名、及び複数グループに属する可
能性のある語句名と各グループ名がそれぞれ対応付けら
れた第１辞書と、前記文字認識手段で認識された語句が
属するグループを前記第１辞書を照合して決定するグル
ープ決定部とを有し、該グループ決定部は、複数グルー
プに属する可能性のある語句については対応関係にある
各単一グループに属している語句数に応じていずれか一
のグループを決定することを特徴とする請求項１記載の
類似文書検索装置。
【請求項３】前記第２手段は、個々のグループに属す
る語句数の増加に伴い当該グループについての重み評価
値を高くするように構成されていることを特徴とする請
求項１または２記載の類似文書検索装置。
【請求項４】前記第３手段は、複数の参照用文書の各
々の文書識別コードと各参照用文書に含まれるグループ
別の語句数とを対応付けて蓄積した第２辞書と、第２辞書に蓄積されている各グループにそれぞれ前記算
出された重み評価値を付与して文書識別コード毎の総合
評価値を導出するとともに、この総合評価値の相対的大
小に応じて参照用文書の前記入力文書への類似度を決定
する類似度決定部と、を有することを特徴とする請求項
１ないし３のいずれかの項記載の類似文書検索装置。
【請求項５】前記グループは、語句の利用目的に応じ
た重み係数が付与された意味グループであることを特徴
とする請求項１ないし４のいずれかの項記載の類似文書
検索装置。