JP3881638B2 - 文書検索装置、文書検索方法および文書検索プログラム - Google Patents

Description

この発明は、文書データベース中から所望の内容をもつ文書を検出するための文書検索装置、文書検索方法および文書検索プログラムに関する。

複数の検索対象文書から所望の文書を抽出する技術として、検索キーとして与えられる文書と類似した文書を検索する手法が存在する。この類似文書検索を実行する類似文書検索装置は、検索キーである文書から抽出された単語と、検索対象文書から抽出された単語とを比較して、その検索キー文書と検索対象文書との類似度を算出し、類似度の高いものを類似文書として複数の検索対象文書中より抽出するのが一般的である。

また、この類似度の算出方法には、検索キー文書と検索対象文書とから抽出された単語の抽出数や抽出場所等を元にベクトル空間法を用いて算出する方法等がある（例えば非特許文献１参照）。

ところで、検索処理においては、検索に不適切または不要な単語、検索に用いるとノイズとなる可能性があるため使用することを抑えたい単語がある。これらをまとめて不要語という。そして、この検索処理に対してノイズとなる単語である不要語の判別および抑制処理は、辞書や情報ファイルに登録された不要語の情報を用いるか、検索実行時にユーザが入力インタフェースを介して指定するなどの方式がとられている(例えば特許文献１参照)。

このように、検索処理では、不要語を検索キーから除外して検索したいわけだが、特許文献１の方式では、不要語の判別処理は、事前に情報として登録しておくか、ユーザがインタフェースから指定するしかない。不要語の情報を事前に登録し、またはユーザが指定するにしても、不要語の判断は、検索対象の分野に対して広い知識と経験が必要で、難易度の高いものである。また、不要語の判断を行う者の、主観が入りやすく、他者には使い難い不要語の情報となってしまうことも有り得る。

このようなことから、ユーザが不要とすべき単語を１つ１つ登録しなくとも、不要語とすべき単語をリストアップする機能を備えた類似文書検索装置も開発されている（例えば特許文献２参照）。
特開２０００−１８１９２５号公報 特開平１１−２５９５１５号公報 全文検索システム協議会発行「『全文検索システムとは何か？』２００２年版」(第１２頁「・概念検索」)。

さらに、検索処理においては、シソーラスなどを用いる場合がある。検索装置に使用されるシソーラスは、その検索装置向けに作成されることもあるが、実用レベルのシソーラス構築には多大な労力がかかるため、汎用のシソーラスを使用することも多い。この汎用のシソーラスを組み込んで使用する場合、検索には不必要なデータがシソーラス中に存在することがある。そして、このような単語は、検索効率を落とす要因となりうるため、これら不要語の判別処理を容易かつ人手を煩わせずに実現したい。しかしながら、前述の特許文献２の類似文書検索装置における不要語のリストアップ手法では、シソーラスの利用が考慮されておらず、その適用は不可能である。

この発明はこのような事情を考慮してなされたものであり、シソーラスを検索処理に用いた場合における不要語の判別を適切に実行することを可能とした文書検索装置、文書検索方法および文書検索プログラムを提供することを目的とする。

前述した目的を達成するために、この発明は、与えられた文書の内容と類似する内容をもつ文書を文書データベース中から検出する文書検索装置において、前記文書データベース中の各文書からその内容を表す検索対象単語を抽出する検索対象単語抽出手段と、前記与えられた文書から検索キーとなる検索キー単語を抽出する検索キー単語抽出手段と、前記検索キー単語抽出手段により抽出された検索キー単語および前記検索対象単語抽出手段により抽出された検索対象単語をシソーラス情報により同義語グループにまとめ上げてその同義語グループを代表する単語に置き換える同義語統制手段と、前記同義語統制手段により同義語統制が施された後の各検索キー単語が前記文書データベース中のいくつの文書に存在するかの総計を取る出現文書数算出手段と、前記出現文書数算出手段により求められた出現文書数に基づき、前記同義語統制手段により同義語統制が施された後の各検索キー単語それぞれについて不要語で有るか否かを判断し、不要語であると判断した検索キー単語を検索キーから除外する不要語判別手段と、前記同義語統制手段により同義語統制が施され、かつ、前記不要語判別手段により不要語が除外された後の各検索キー単語と、前記同義語統制手段により同義語統制が施された後の各検索対象単語とを用いて、前記与えられた文書と前記文書データベース中の各文書との類似度を算出する類似度算出手段とを具備することを特徴とする。

この発明の文書検索装置においては、文書データベースに登録された文献内の各単語の文書データベースに対する出現頻度をシソーラス情報により同義語グループにまとめ上げたうえで算出し、その出現頻度と例えばユーザから指定された閾値とを比較して、閾値を上回る出現頻度を持つ単語を不要語として扱う。この閾値は、例えば文献数やデータベースの登録文献数に対する割合などである。

これにより、不要語の判断がシソーラス情報を活用しつつ文書検索装置側で行われ、容易に不要語の特定を行えることとなり、また、人手を介さないため、客観的な不要語判断が実現される。

また、登録文書数の異なる複数のデータベースが検索対象であった場合、各々のデータベースに不要語の閾値をそれぞれ設定する必要があり、登録文書数が増減すれば、その都度、そのデータベースの閾値を設定し直さなければならないが、文書数に対する割合を閾値として指定可能とすることにより、データベース毎または登録文書数の増減に伴って閾値を指定し直すことを不要とすることができる。

以上のように、この発明によれば、シソーラスを検索処理に用いた場合における不要語の判別を適切に実行することを可能とした文書検索装置、文書検索方法および文書検索プログラムを提供できる。

以下、図面を参照しながら、この発明の実施形態を説明する。

（第１実施形態）
まず、この発明の第１実施形態について説明する。

図１は、この発明の第１実施形態に係る文書検索装置のブロック構成図である。図１に示すように、この文書検索装置は、ＣＰＵおよびメモリから構成される制御装置１、キーボードなどの入力装置２、類似検索結果などを表示する表示装置３、検索データなどを格納する外部記憶装置４、単語の情報が格納される形態素解析辞書５およびシソーラスの情報が格納されるシソーラス辞書６から構成される。

図２は、制御装置１の詳細構成例を示した図である。制御装置１は、制御部とメモリ部とからなっている。制御部は、各種制御や処理を実行する部分であり、メイン処理部２００、初期化部２０１、入力部２０２、出力部２０３、検索対象文書読み出し部２０４、検索対象文書単語抽出部２０５、検索キー文書入力部２０６、検索キー単語抽出部２０７、出現文書数算出部２０８、不要語条件指定部２０９、不要語判別部２１０、類似度算出部２１１、ソート部２１２、検索結果出力部２１３および同義語統制部２１４等から構成される。

一方、メモリ部は、検索対象文書格納バッファ部２５０、検索対象単語情報格納バッファ部２５１、検索キー文書格納バッファ部２５２、検索キー単語格納バッファ部２５３、出現文書数格納バッファ部２５４、不要語条件格納バッファ部２５５、不要語格納バッファ部２５６、類似度格納バッファ部２５７、ソート結果格納バッファ部２５８、検索結果出力バッファ部２５９等から構成される。

メイン処理部２００は、制御部全体の動作を司るものであり、その他の各制御部は、すべてこのメイン処理部２００の制御下で動作する。初期化部２０１は、各バッファ部の初期化を行う。入力部２０２は、ユーザが入力装置２を操作することにより行う検索キー文書の設定等の各種設定を受け付ける。出力部２０３は、入力部２０２によって行った検索キー文書等の各種設定の内容を表示装置３に出力する。

検索対象文書読み出し部２０４は、外部記憶装置４に格納されている文書に関する情報を文書データベース化するために、対象の文書を外部記憶装置４から読み込み、そのテキスト文書情報を検索対象文書格納バッファ部２５０に格納する。検索対象文書単語抽出部２０５は、検索対象文書格納バッファ部２５０に格納されているテキスト文書情報の単語切りを行った後、その文書または項目の内容を表す上でキーとなる単語を抽出し、抽出された単語種を検索対象単語情報格納バッファ部２５１に格納する。この単語切りは、いわゆる形態素解析を用いて行う。なお、形態素解析により取得される情報には、各単語の見出し、品詞情報(例えば「名詞」や「サ変名詞」など)、代表語などが含まれる。また、これらの単語情報は形態素解析辞書５に格納されている。

検索キー文書入力部２０６は、入力装置２から入力された検索キー文書のテキスト情報を検索キー文書格納バッファ部２５２に格納する。検索キー単語抽出部２０７は、検索キー文書格納バッファ部２５２に格納されているテキスト文書情報の単語切りを行う。そして、その文書の内容を表す上でキーとなる単語を抽出し、抽出された単語情報を検索キー単語格納バッファ部２５３に格納する。この単語切りも、前述と同様に、形態素解析を用いて行い、この形態素解析により取得される情報には、各単語の見出し、品詞情報(例えば「名詞」や「サ変名詞」など)、代表語などが含まれる。また、これらの単語情報は形態素解析辞書5に格納されている。

同義語統制部２１４は、検索キー単語格納バッファ部２５３または検索対象単語情報格納バッファ部２５１に格納されている単語を、シソーラス辞書６の同義語情報により、代表的な単語（同義語グループ）へとまとめ上げを行う。出現文書数算出部２０８は、検索キー単語格納バッファ部２５３に格納されている単語または同義語グループが、検索対象単語情報格納バッファ部２５１のいくつの文書に出現するか(出現頻度)を求めて出現文書数格納バッファ部２５４に格納する。

不要語条件指定部２０９は、入力装置２から入力された不要語の判断に用いる閾値を不要語条件格納バッファ部２５５に格納する。不要語判別部２１０は、出現文書数格納バッファ部２５４に格納された単語の出現文書数と、不要語条件格納バッファ部２５５に格納された閾値とを比較して不要語の判断を行い、不要語と判断した単語を不要語格納バッファ部２５６に格納する。

類似度算出部２１１は、検索キー単語格納バッファ部２５３、検索対象単語情報格納バッファ部２５１および不要語格納バッファ部２５６から、検索キー文書と検索対象文書との類似度を算出し、その類似度値を類似度格納バッファ部２５７に格納する。ソート部２１２は、類似度格納バッファ部２５７に格納された類似度を元に降順にソートを行い、ソートを行った結果の文書情報（例えば、文書ＩＤ）をソート結果格納バッファ部２５８に格納する。そして、検索結果出力部２１３は、ソート結果格納バッファ部２５８に格納されている類似度によりソート済みの検索対象文書の情報（例えば文書ＩＤや類似度)を表示装置３に出力する。

次に、図３のフローチャートを参照しながら、この第１実施形態の文書検索装置の動作手順について説明する。

この第１実施形態の文書検索装置では、まず、初期化部２０１が起動し、メモリ部のクリアなどを行う（ステップＡ１）。続いて、不要語条件指定部２０９が起動し、不要語を判断するための閾値を入力装置２より入力する(ステップＡ２)。この入力された不要語条件は、不要語条件格納バッファ部２５５に格納される。図４は、単語の出現頻度が１，０００以上であった場合に不要語とする条件を設定した場合の例である。

次に、検索対象文書読み出し部２０４が起動し、外部記憶装置４より検索対象文書を読み出して検索対象文書格納バッファ部２５０へ格納する（ステップＡ３）。続いて、検索キー文書入力部２０６が起動し、入力装置２より類似文書検索のキーとなる文書を読み込み、検索キー文書格納バッファ部２５２へ格納する（ステップＡ４）。

さらに、検索キー単語抽出部２０７が起動し、検索キー文書格納バッファ部２５２へ格納された文書より文章を切り出す。ここで切り出された文章は、形態素解析などにより単語毎に分割され、抽出された単語情報が検索キー単語格納バッファ部２５３へと格納される（ステップＡ５）。例えば図５のような検索キー文書の場合、検索キー文書の形態素解析結果およびこの形態素解析結果より抽出されて検索キー単語格納バッファ部２５３に格納される検索キー単語は図６のようになる。図６中、（Ａ）は、形態素解析結果、（Ｂ）は、検索キー単語格納バッファ部２５３の格納例である。

次に、同義語統制部２１４が起動し、シソーラス辞書６に登録された同義語情報を用いて、検索キー単語格納バッファ部２５３に格納された各単語の当該単語を代表する単語への置き換えを試みる（ステップＡ６）。例えばシソーラス辞書６の同義語情報が図７に示すようなものであった場合、「素材」「原料」「材料」は、一つの「素材」という単語にまとめ上げられ、「素材」グループを構成する。そして、このような同義語情報をもつシソーラス辞書６を用いて、図６に示した内容の検索キー単語格納バッファ部２５３に対して同義語による統制が行われると、図８のような変換がなされることになる。なお、シソーラス辞書６に同義語情報の無い単語は、その置き換えが発生しない。

次に、出現文書数算出部２０８が起動し、検索キー単語または同義語グループが、検索対象文書格納バッファ部２５０に登録された文書のうち、いくつの文献に出現するか出現頻度を求める(ステップＡ７)。このステップＡ７は、検索キー単語格納バッファ部２５３に格納されている単語数分繰り返し実行される。図６に示した内容の検索キー単語格納バッファ部２５３に格納の同義語グループの出現頻度を求めた結果、出現文書数格納バッファ部２５４の内容は図９のようになる。

次に、不要語判別部２１０が起動し、出現文書数格納バッファ部２５４に格納された出現頻度と、不要語条件格納バッファ部２５５に格納された不要語の閾値とを比較する（ステップＡ８)。そして、比較した結果、出現頻度が閾値を上回っていた場合（ステップＡ８のＹＥＳ)、その単語を不要語とみなして不要語格納バッファ部２５６に格納する(ステップＡ９）。このステップＡ８〜ステップＡ９は、検索キー単語格納バッファ部２５３に格納されている同義語グループ数分繰り返し実行される。図１０は、検索キー単語格納バッファ部２５３に格納されている単語に対してステップＡ８〜ステップＡ９の不要語判断処理を行った結果を格納した不要語格納バッファ部２５６を示す図である。

次に、検索対象文書単語抽出部２０５が起動し、検索対象文書格納バッファ部２５０へ格納された文書より形態素解析などによって切り出された単語情報を検索対象単語情報格納バッファ部２５１へと格納する(ステップＡ１０。例えば図１１に示すような検索対象文書Ａ〜Ｄがあった場合、検索対象単語情報格納バッファ部２５１には、それぞれ図１２のように単語が格納されることになる。

続いて、同義語統制部２１４が起動し、シソーラス辞書６に登録された同義語情報を用いて、検索対象単語情報格納バッファ部２５１に格納された各単語の当該単語を代表する単語への置き換えを試みる（ステップＡ１１）。前述の図７に示した同義語情報をもつシソーラス辞書６の場合、図１２に示した内容の検索キー単語格納バッファ部２５３に対して同義語による統制が行われると、それぞれ図１３のように変換される。また、シソーラス辞書６に同義語情報の無い単語は、置き換えは発生しない。

続いて、類似度算出部２１１が起動し、検索キー単語格納バッファ部２５３に格納されている単語の中から不要語格納バッファ部２５６に格納された単語を除外する（ステップＡ１２）。そして、不要語を除外した検索キー単語と、検索対象単語情報格納バッファ部２５１に格納された検索対象単語とを比較して、共通して出現する単語の数により類似度を算出し、その類似度値を類似度格納バッファ部２５７に格納する（ステップ１３）。以上のステップＡ１０〜ステップＡ１３は、検索対象文書格納バッファ部２５０に格納されている検索対象文書の件数分繰り返し実行される。なお、類似度算出方式としては、ここに挙げた共通単語数から算出する以外に、ベクトル空間法などを用いてもよい。

図１４は、この第１実施形態の文書検索装置による類似度の算出式の一例を示す図である。また、従来の方式による類似度算出例を図１５に示す。

図５のような検索キー文書の場合、図１１の検索対象文書Ａ〜Ｄのうち、Ｄの類似度を高くしたい。「肉」という食材の「調理器具」であるためである。しかしながら、図１５に示した従来の例では、「素材」や「装置」のような出現数の多い単語による共通単語により、検索対象文書Ａや検索対象文書Ｂの類似度が高くなってしまっている。

これに対して、この第１実施形態の文書検索装置では、図１４に示したように、シソーラス辞書６を活用して、出現数の多い単語による一致を無くすことにより、より意味の近い文書を類似度の上位に持ってくることが可能である。

また、図１６は、ステップＡ１０〜ステップＡ１３を行った結果を格納した類似度格納バッファ部２５７の内容を示す図である。そして、全ての検索対象文書との類似度が算出されたら、ソート部２１２が起動し、ステップＡ１３で取得された類似度格納バッファ部２５７の内容を類似度上位から下位へと降順にソートを行う。ソートを行った結果は、ソート結果格納バッファ部２５８へ格納される（ステップＡ１４）。図１７は、この場合のソート結果格納バッファ部２５８の内容を示す図である。

続いて、検索結果出力部２１３が起動され、ソート結果格納バッファ部２５８に格納されたソート結果順に、類似度格納バッファ部２５７に格納された類似度や検索対象文書の文書情報（例えば文書ＩＤ）を表示装置３に出力する（ステップＡ１５）。図１８は、その出力結果である。

このように、この第１実施形態の文書検索装置は、シソーラス辞書６を活用し、検索キー文書の単語から文書データベース中に多く出現する単語を不要語として抑制することにより、ノイズとなる文書との類似度を抑えることができる。また、不要語の判断基準を単語毎の出現文書数という統計的な値にすることにより、主観を排した不要語の判断が可能となる。

（第２実施形態）
次に、この発明の第２実施形態について説明する。

図１９は、この発明の第２実施形態に係る文書検索装置のブロック構成図である。図１９に示すように、この第２実施形態の文書検索装置では、複数のデータベースを検索対象とする。

また、図２０は、この第２実施形態の文書検索装置における制御装置１の詳細構成例を示した図である。
この第２実施形態の文書検索装置における制御装置１の詳細構成と、前述した第１実施形態の文書検索装置における制御装置１の詳細構成との違いは、この第２実施形態の文書検索装置における制御装置１では、制御部に登録文書数算出部２１５、メモリ部に登録文書数格納バッファ部２６０がそれぞれ新設された点にある。

さらに、図２１は、この第２実施形態の文書検索装置の動作手順を示すフローチャートである。図２１中、ステップＢ１〜ステップＢ１５は、図３のステップＡ１〜ステップＡ１５にそれぞれ対応する。そして、その違いは、ステップＢ１６〜ステップＢ１７が、ステップＢ３とステップＢ３４との間に介在する点にある。以下、この相違点を軸に、この第２実施形態の文書検索装置の動作原理を説明する。

この第２実施形態において、不要語条件指定部２０９は、不要語を判断するための閾値を図２２に示すような条件として入力装置２より入力する（ステップＢ２）。この入力された不要語条件は、不要語条件格納バッファ部２５５に格納される。この図２２に示した例では、単語の出現頻度がデータベース登録件数の１０％以上であった場合に不要語とする条件が設定されている。

この不要語条件が設定された後、検索対象文書読み出し部２０４による検索対象文書の読み出しが行われると（ステップＢ３）、登録文書数算出部２１５が起動し、各々のデータベースに登録された検索対象文書の件数を算出する（ステップＢ１６）。図２３は、各データベースの登録文書件数を算出した結果を保持した登録文書数格納バッファ部２６０の例である。そして、この検索対象文書件数の算出を終えると、不要語判別部２１０が起動し、不要語条件格納バッファ部２５５に格納された条件と登録文書数格納バッファ部２６０に登録された文書件数とを掛け合わせることにより、データベース毎の不要語の閾値を算出する（ステップＢ１７）。

つまり、この第２実施形態の文書検索装置は、複数のデータベースに対して検索を行う場合の便宜を図ったものであり、第１の実施形態の文書検索装置は、例えば図２４に示すように、各データベースに対する閾値を指定しなければならないのに対し、この第２実施形態の文書検索装置では、図２２に示したように、１つの閾値の指定で十分であり、各々のデータベースに指示を出す必要を無くすことができる。

（第３実施形態）
次に、この発明の第３実施形態について説明する。

この第３実施形態に係る文書検索装置のブロック構成図は、前述した第１実施形態と同様であるため、ここでは、その説明は省略する。また、図２５は、この第３実施形態の文書検索装置における制御装置１の詳細構成例を示した図である。

この第３実施形態の文書検索装置における制御装置１の詳細構成と、前述した第１実施形態の文書検索装置における制御装置１の詳細構成との違いは、この第３実施形態の文書検索装置における制御装置１では、メモリ部に単語別出現文書数格納バッファ部２６１が新設された点にある。

さらに、図２６は、この第３実施形態の文書検索装置の動作手順を示すフローチャートである。図２６中、ステップＣ１〜ステップＣ１５は、図３のステップＡ１〜ステップＡ１５にそれぞれ対応する。そして、その違いは、ステップＣ７およびステップＣ８〜ステップＣ９が、各々の同義語グループを一纏めに取り扱うのではなく、その同義語グループに含まれる検索キー単語ごとに取り扱う点にある。以下、この相違点を軸に、この第３実施形態の文書検索装置の動作原理を説明する。

この第３実施形態において、出現文書数算出部２０８は、検索キー単語または同義語グループが、検索対象文書格納バッファ部２５０に登録された文書のうち、いくつの文献に出現するか出現頻度を求めるが(ステップＣ７)、同義語グループが出現頻度の算出対象であった場合、出現文書数算出部２０８は、その同義語グループに属する同義語の各々の出現頻度を求める。これにより、図６に示した内容の検索キー単語格納バッファ部２５３から検索キー単語および同義語グループに属する単語の出現頻度が求められ、単語別出現文書数格納バッファ部２６１の内容は、図２７のようになる。

一方、不要語判別部２１０も、出現文書数格納バッファ部２５４に格納された出現頻度と、不要語条件格納バッファ部２５５に格納された不要語の閾値とを比較し、出現頻度が閾値を上回っていた場合、その単語を不要語とみなして不要語格納バッファ部２５６に格納するが（ステップＣ８〜ステップＣ９）、同義語グループが複数の同義語により構成されている場合、不要語判別部２１０は、各々の同義語について、不要語であるか否かを判断する。図２８は、検索キー単語格納バッファ部２５３に格納されている単語に対してステップＣ８〜からステップＣ９の不要語判断処理を行った結果を格納した不要語格納バッファ部２５６の内容を示す図である。

つまり、この第３実施形態の文書検索装置は、汎用のシソーラス辞書を文書検索に用いる場合の便宜を図ったものである。汎用のシソーラス辞書の同義語情報は、すべての分野における文書の検索に必ずしも向いている訳ではなく、同義語グループにノイズとなる単語が含まれる場合が多い。そこで、その同義語グループに含まれる単語のうち、その分野の文書において出現頻度の高い単語を不要語とすることにより、この第３実施形態の文書検索装置は、汎用のシソーラス辞書の同義語情報を、各分野における文書検索に適合させることを可能とする。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

この発明の第１実施形態に係る文書検索装置のブロック構成図 同第１実施形態の文書検索装置制御装置の詳細構成例を示した図 同第１実施形態の文書検索装置の動作手順を示すフローチャート 同第１実施形態の文書検索の条件入力例を示す図 同第１実施形態の検索キー文書の例を示す図 同第１実施形態の検索キー文書からの単語抽出の例を示す図 同第１実施形態のシソーラス辞書の登録情報の例を示す図 同第１実施形態の検索キー単語格納バッファ部のデータ構造例を示す図 同第１実施形態の出現文書数格納バッファ部のデータ構造例を示す図 同第１実施形態の不要語格納バッファ部のデータ構造例を示す図 同第１実施形態の検索対象文書の例を示す図 同第１実施形態の検索対象から抽出した際の検索対象単語情報格納バッファ部のデータ構造例を示す図 同第１実施形態の同義語統制を行った際の検索対象単語情報格納バッファ部のデータ構造例を示す図 同第１実施形態による類似度算出例を示す図 従来方式による類似度算出例を示す図 同第１実施形態の検索キー文書と検索対象文書との類似度を収めた類似度格納バッファ部のデータ構造例を示す図 同第１実施形態の類似度算出結果をソートした際のソート結果格納バッファ部のデータ構造例を示す図 同第１実施形態の類似文書検索結果の例を示す図 第２実施形態に係る文書検索装置のブロック構成図 同第２実施形態の文書検索装置制御装置の詳細構成例を示した図 同第２実施形態の文書検索装置の動作手順を示すフローチャート 同第２実施形態の文書検索の条件入力例を示す図 同第２実施形態の登録文書数格納バッファ部のデータ構造例を示す図 同第1実施形態の文書検索装置において複数データベースを検索対象とした場合の文書検索の条件入力例を示す図 同第３実施形態の文書検索装置制御装置の詳細構成例を示した図 同第３実施形態の文書検索装置の動作手順を示すフローチャート 同第３実施形態の単語別出現文書数格納バッファ部のデータ構造例を示す図 同第３実施形態の不要語格納バッファ部のデータ構造例を示す図

符号の説明

１…制御装置、２…入力装置、３…表示装置、４…外部記憶装置、５…形態素解析辞書、６…シソーラス辞書、２００…メイン処理部、２０１…初期化部、２０２…入力部、２０３…出力部、２０５…検索対象文書単語抽出部、２０６…検索キー文書入力部、２０７…検索キー単語抽出部、２０８…出現文書数算出部、２０９…不要語条件指定部、２１０…不要語判別部、２１１…類似度算出部、２１２…ソート部、２１３…検索結果出力部、２１４…同義語統制部、２１５…登録文書数算出部、２５０…検索対象文書格納バッファ部、２５１…検索対象単語情報格納バッファ部、２５２…検索キー文書格納バッファ部、２５３…検索キー単語格納バッファ部、２５４…出現文書数格納バッファ部、２５５…不要語条件格納バッファ部、２５６…不要語格納バッファ部、２５７…類似度格納バッファ部、２５８…ソート結果格納バッファ部、２５９…検索結果出力バッファ部、２６０…登録文書数格納バッファ部、２６１…単語別出現文書数格納バッファ部。

Claims (7)

1. 与えられた文書の内容と類似する内容をもつ文書を文書データベース中から検出する文書検索装置において、
   前記文書データベース中の各文書からその内容を表す検索対象単語を抽出する検索対象単語抽出手段と、
   前記与えられた文書から検索キーとなる検索キー単語を抽出する検索キー単語抽出手段と、
   前記検索キー単語抽出手段により抽出された検索キー単語および前記検索対象単語抽出手段により抽出された検索対象単語をシソーラス情報により同義語グループにまとめ上げてその同義語グループを代表する単語に置き換える同義語統制手段と、
   前記同義語統制手段により同義語統制が施された後の各検索キー単語が前記文書データベース中のいくつの文書に存在するかの総計を取る出現文書数算出手段と、
   前記出現文書数算出手段により求められた出現文書数に基づき、前記同義語統制手段により同義語統制が施された後の各検索キー単語それぞれについて不要語で有るか否かを判断し、不要語であると判断した検索キー単語を検索キーから除外する不要語判別手段と、
   前記同義語統制手段により同義語統制が施され、かつ、前記不要語判別手段により不要語が除外された後の各検索キー単語と、前記同義語統制手段により同義語統制が施された後の各検索対象単語とを用いて、前記与えられた文書と前記文書データベース中の各文書との類似度を算出する類似度算出手段と
   を具備することを特徴とする文書検索装置。
2. 不要語と判断する出現文書数を設定する不要語条件指定手段をさらに具備し、
   前記不要語判別手段は、前記出現文書数算出手段により求められた出現文書数が前記不要語条件指定手段により指定された出現文書数以上であった場合に、その検索キー単語を不要語であると判断することを特徴とする請求項１記載の文書検索装置。
3. 前記類似度算出手段により求められた類似度に基づき、検索対象文書をソートするソート手段と、
   前記ソート手段により得られた検索対象文書のソート結果を表示する類似文書検索結果表示手段と
   をさらに具備することを特徴とする請求項１または２記載の文書検索装置。
4. 前記文書データベースに登録された文書の数を算出する登録文書数算出手段をさらに具備し、
   前記不要語条件指定手段は、文書データベースに登録された全文書数に対する出現文書数の割合を不要語の条件として入力し、各文書データベースにおいて不要語と判断する出現文書数を各々算出することを特徴とする請求項２記載の文書検索装置。
5. 前記出現文書数算出手段は、前記検索キー単語のまとめ上げにより得られた同義語グループを構成する各単語それぞれについて出現文書数を算出し、
   前記不要語判別手段は、前記同義語グループを構成する各単語それぞれについて不要語か否かを判断することを特徴とする請求項１、２、３または４記載の文書検索装置。
6. 与えられた文書の内容と類似する内容をもつ文書を文書データベース中から検出する文書検索方法であって、
   前記文書データベース中の各文書からその内容を表す検索対象単語を抽出する検索対象単語抽出ステップと、
   前記与えられた文書から検索キーとなる検索キー単語を抽出する検索キー単語抽出ステップと、
   前記検索キー単語抽出ステップにより抽出された検索キー単語および前記検索対象単語抽出ステップにより抽出された検索対象単語をシソーラス情報により同義語グループにまとめ上げてその同義語グループを代表する単語に置き換える同義語統制ステップと、
   前記同義語統制ステップにより同義語統制が施された後の各検索キー単語が前記文書データベース中のいくつの文書に存在するかの総計を取る出現文書数算出ステップと、
   前記出現文書数算出ステップにより求められた出現文書数に基づき、前記同義語統制ステップにより同義語統制が施された後の各検索キー単語それぞれについて不要語で有るか否かを判断し、不要語であると判断した検索キー単語を検索キーから除外する不要語判別ステップと、
   前記同義語統制ステップにより同義語統制が施され、かつ、前記不要語判別ステップにより不要語が除外された後の各検索キー単語と、前記同義語統制ステップにより同義語統制が施された後の各検索対象単語とを用いて、前記与えられた前記検索キー文書と前記文書データベース中の各文書との類似度を算出する類似度算出ステップと
   を具備することを特徴とする文書検索方法。
7. 与えられた文書の内容と類似する内容をもつ文書を文書データベース中から検出させるためのコンピュータを、
   前記文書データベース中の各文書からその内容を表す検索対象単語を抽出する検索対象単語抽出手段、
   前記与えられた文書から検索キーとなる検索キー単語を抽出する検索キー単語抽出手段、
   前記検索キー単語抽出手段により抽出された検索キー単語および前記検索対象単語抽出手段により抽出された検索対象単語をシソーラス情報により同義語グループにまとめ上げてその同義語グループを代表する単語に置き換える同義語統制手段、
   前記同義語統制手段により同義語統制が施された後の各検索キー単語が前記文書データベース中のいくつの文書に存在するかの総計を取る出現文書数算出手段、
   前記出現文書数算出手段により求められた出現文書数に基づき、前記同義語統制手段により同義語統制が施された後の各検索キー単語それぞれについて不要語で有るか否かを判断し、不要語であると判断した検索キー単語を検索キーから除外する不要語判別手段、
   前記同義語統制手段により同義語統制が施され、かつ、前記不要語判別手段により不要語が除外された後の各検索キー単語と、前記同義語統制手段により同義語統制が施された後の各検索対象単語とを用いて、前記与えられた文書と前記文書データベース中の各文書との類似度を算出する類似度算出手段
   として機能させるための文書検索プログラム。

Images