JP4349875B2

JP4349875B2 - 文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラム

Info

Publication number: JP4349875B2
Application number: JP2003329206A
Authority: JP
Inventors: 淳之後藤; 秀夫伊東
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-09-19
Filing date: 2003-09-19
Publication date: 2009-10-21
Anticipated expiration: 2023-09-19
Also published as: US20050065919A1; CN100504857C; CN1627294A; JP2005092825A

Description

本発明は、検索対象の文書データから関連文書データのみを抽出する文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラムに関する。

文書検索における課題は、いかに効率よく目的とする文書を探し当てるかにある。この課題を解決するために、従来の文書検索では、キーワードを論理演算子と組み合わせて文書検索を行い、ここで得られた検索結果に対し新たなキーワードと論理演算子とを組み合わせて検索結果の絞込みを行っていた。しかし、検索のために妥当なキーワードを指定したり、キーワードと論理演算子とを組み合わせて指定するには、検索する分野の専門知識が必要であったり、キーワードを見つけ出すための時間が必要になる等の問題があった。さらに、検索結果の内容を一つ一つ吟味するまでは、得られた検索結果が適切な検索条件のもとに検索されたかどうか判断がつかない等の問題があった。

そこで、かかる問題点を解決するため、以下のような技術が提案されている。例えば、各情報に割り振られた複数のキーワード（学習データ）と符号辞書を使用して、入力情報をスコア計算のためのベクトルに変換する。スコア計算は、キーワード符号に対する肯定メトリック、否定メトリックを取り出して行う。計算されたスコアと判定パラメータを使用して、情報の必要性と信頼性を学習（計算）する。そして、学習した必要性と信頼性の数値で、未知データを評価し、必要性の大きい順に並べ替えて検索者に提示する（特許文献１を参照。）。

また、ベクトル生成手段により情報に割り振られた複数のキーワードをベクトルに変換し、検索者の興味を反映したメトリックを生成し、さらにそれを分割し、それぞれのメトリックを用いて検索者の興味を前記ベクトルと前記分割されたメトリックを用いて計算されるスコアの大きい順に情報を掲示する技術が提案されている（特許文献２を参照。）。

特許第３２４４００５号公報特開２０００−１３７７３１号公報

しかしながら、特許文献１，２に記載の技術では、フィルタリングの結果、検索者に掲示される文書には必要のない文書データも含まれてしまい、未知データのうち検索者が真に欲するデータがどれで、どのデータが不要であるかを明確に分離することができないという問題があった。

本発明は、上述した従来技術による問題点を解消するため、初期の検索結果から学習データを作成し、さらにこの学習データから再検索のための分類用パラメータを生成し、この分類用パラメータを使用して、未知データを検索者にとって必要なデータと不要なデータに分類し、必要なデータのみをフィルタリングして検索者に提示する文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、この発明にかかる文書フィルタリング装置は、文書情報を入力し、また検索結果情報を出力する情報入出力部と、該情報入出力部から入力された文書情報から検索対象となる検索語を抽出する検索語抽出部と、該検索語抽出部により抽出された検索語を含む文書をデータベースから検索し、該検索結果を、前記情報入出力部に出力する検索部と、検索者から入力された情報に基づいて、前記検索結果に含まれる文書のうち、前記検索者の意図に適合しているとして指定された文書を適合文書とし、検索者の意図に適合していないとして指定された文書を非適合文書とした情報を含む学習データを生成する学習データ作成部と、前記学習データに基づいて、前記適合もしくは非適合とされた文書に含まれる単語に対して、該文書が適合文書の場合には正の値を用いて重み付けをし、該文書が非適合文書の場合には負の値を用いて重み付けをし、該重み付けに基づいて、前記文書に含まれる各単語のパラメータおよび関連文書か否かを判定するしきい値を含む分類用パラメータを生成する分類用パラメータ生成部と、前記分類用パラメータに対応する各単語を検索語として、該検索語を含む文書を前記データベースから再検索する再検索部と、前記再検索結果に含まれる文書に対して、該文書に含まれる単語に対応する前記分類用パラメータに基づいてスコアを付与し、該スコアと前記分類用パラメータに含まれるしきい値とに基づいて、前記再検索結果に含まれる文書を関連文書と非関連文書のいずれかに分類する分類部と、を備えることを特徴とする。

この発明によれば、初期の検索結果から学習データを作成し、さらにこの学習データから再検索のための分類用パラメータを生成し、この分類用パラメータを使用して、未知データを検索者にとって必要なデータと不要なデータに分類し、必要なデータのみをフィルタリングして検索者に提示することができる。この結果、検索者の意図に合致した文書検索を短時間で効率的に行うことができる。また、関連文書検索結果をフィルタリングすることで、検索結果の下位に埋もれている適合文書を上位に移動させることができる。

また、前記学習データ作成部は、前記検索部による検索結果のすべてまたはその一部のデータを用いて前記学習データを作成することを特徴とする。

この発明によれば、一部の検索データを用いて前記学習データを作成することができるので、前記分類用パラメータを生成するまでの時間を短縮することができる。なお、すべての検索データを用いてより検索精度を高めるための分類用パラメータを生成することも可能である。

また、前記分類用パラメータ生成部は、線形ＳＶＭ、Ｆｉｓｈｅｒ判別式、ＢａｙｅｓのＢｉｎａｒｙＩｎｄｅｐｅｎｄｅｎｃｅＭｏｄｅｌのアルゴリズムのいずれかを用いて前記分類用パラメータを生成することを特徴とする。

また、前記情報入出力部は、前記分類部による検索結果である関連文書一覧を表示部に表示させることを特徴とする。

また、この発明の文書フィルタリング方法は、文書フィルタリング装置によって文書フィルタリングを行う文書フィルタリング方法において、文書情報を入力し、また検索結果情報を出力する情報入出力部が行う情報入出力工程と、該情報入出力部から入力された文書情報から検索対象となる検索語を検索後抽出部により抽出する検索語抽出工程と、該検索語抽出工程により抽出された検索語を含む文書をデータベースから検索し、該検索結果を、前記情報入出力部に出力する検索部が行う検索工程と、検索者から入力された情報に基づいて、前記検索結果に含まれる文書のうち、前記検索者の意図に適合しているとして指定された文書を適合文書とし、検索者の意図に適合していないとして指定された文書を非適合文書とした情報を含む学習データを学習データ生成部が生成する学習データ作成工程と、前記学習データに基づいて、前記適合もしくは非適合とされた文書に含まれる単語に対して、該文書が適合文書の場合には正の値を用いて重み付けをし、該文書が非適合文書の場合には負の値を用いて重み付けをし、該重み付けに基づいて、前記文書に含まれる各単語のパラメータおよび関連文書か否かを判定するしきい値を含む分類用パラメータを分類用パラメータ生成部が生成する分類用パラメータ生成工程と、前記分類用パラメータに対応する各単語を検索語として、該検索語を含む文書を前記データベースから再検索部が再検索する再検索工程と、前記再検索結果に含まれる文書に対して、該文書に含まれる単語に対応する前記分類用パラメータに基づいてスコアを付与し、該スコアと前記分類用パラメータに含まれるしきい値とに基づいて、前記再検索結果に含まれる文書を関連文書と非関連文書のいずれかに分類部が分類する分類工程と、を含むことを特徴とする。

また、前記学習データ作成工程は、前記検索部による検索結果のすべてまたはその一部のデータを用いて前記学習データを作成することを特徴とする。

また、前記分類用パラメータ生成工程は、線形ＳＶＭ、Ｆｉｓｈｅｒ判別式、ＢａｙｅｓのＢｉｎａｒｙＩｎｄｅｐｅｎｄｅｎｃｅＭｏｄｅｌのアルゴリズムのいずれかを用いて前記分類用パラメータを生成することを特徴とする。

また、前記情報入出力工程は、前記分類部による検索結果である関連文書一覧を表示部に表示させることを特徴とする。

また、この発明の文書フィルタリングプログラムは、上記のいずれか一つに記載の文書フィルタリング方法をコンピュータに実行させることを特徴とする。

本発明にかかる文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラムによれば、初期の検索結果から学習データを作成し、さらにこの学習データから再検索のための分類用パラメータを生成し、この分類用パラメータを使用して、未知データを検索者にとって必要なデータと不要なデータに分類し、必要なデータのみをフィルタリングして検索者に提示することができる。この結果、検索者の意図に合致した文書検索を短時間で効率的に行うことができるという効果を奏する。

以下に添付図面を参照して、本発明にかかる文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラムの好適な実施の形態を詳細に説明する。

（実施の形態）
図１は、本発明にかかる文書フィルタリング装置の概略構成を示すブロック図である。本発明の文書フィルタリング装置１００は、情報入出力部１０１、検索語抽出部１０２、文書ランキング検索部１０３、学習データ作成部１０４、分類用パラメータ生成部１０５、および分類部１０６を含み構成される。

情報入出力部１０１は、検索者が入力した検索文を検索語抽出部１０２へ送る。検索語抽出部１０２は、検索者が入力した検索文から検索語を抽出しこれを文書ランキング検索部１０３へ送る。文書ランキング検索部１０３は、検索語抽出部１０２が抽出した検索語を含む文書を文書フィルタリング装置１００と接続されているデータベース１１０からランキング検索する。ランキング検索とは、過去に最も多く検索対象となった単語を含む文書から順に検索することである。文書ランキング検索部１０３は、ランキング検索の結果を情報入出力部１０１へ送る。そして、情報入出力部１０１は、表示部（不図示）に文書ランキング検索部１０３から送られた検索結果を表示する。検索者は、前記表示部に表示された検索結果の内容を吟味し、表示された文書に対し情報入出力部１０１から適合文書または非適合文書を指定する。学習データ作成部１０４は、情報入出力部１０１から入力された情報に基づき、検索者の検索意図と合致した文書を適合文書、検索者の検索意図と合致していない文書を非適合文書として学習データを作成する。分類用パラメータ生成部１０５は、学習データ作成部１０４で作成された学習データに基づき、分類用パラメータを生成する（詳細は後述する）。文書ランキング検索部１０３は、分類用パラメータ生成部１０５で生成された分類用パラメータに対応する単語を検索語として、当該検索語を含む文書をデータベース１１０から再検索する。分類部１０６は、文書ランキング検索部１０３による再検索結果に対して後述するフィルタリング（検索結果を関連文書と非関連文書に分ける）を行い、関連文書のみを取り出して、これを検索結果として情報入出力部１０１へ送る。情報入出力部１０１は、分類部１０６から送られた検索結果を表示部に表示する。

以下、本発明の文書フィルタリング装置を用いた文書フィルタリング方法について詳細に説明する。図２−１，図２−２は、この文書フィルタリング方法の実行手順を示すフローチャートである。まず、検索者が文書フィルタリング装置１００の情報入出力部１０１から検索文を入力する（ステップＳ２０１）。具体的には、情報入出力部１０１から入力された検索文は、情報入出力部１０１の表示部上で図３に示す如く画像３００の検索語入力フィールド３０１に表示される。そして、画像３００の検索実行フィールド３０２をクリックすることで当該検索文の検索が開始される。

次に、検索語抽出部１０２は、情報入出力部１０１から入力された検索文から検索語を抽出する（ステップＳ２０２）。文書ランキング検索部１０３は、検索語抽出部１０２が抽出した検索語を含む文書をデータベース１１０からランキング検索する（ステップＳ２０３）。この工程での検索結果は情報入出力部１０１へ送られる。なお、ランキング検索とは、過去に最も多く検索対象となった単語を含む文書から順に検索することである。情報入出力部１０１は文書ランキング検索部１０３から送られたランキング検索の結果を、表示部に表示する（ステップＳ２０４）。

検索者は、前記表示部に表示された検索結果の内容を吟味し、表示された文書に対し情報入出力部１０１から適合文書または非適合文書を指定する。具体的には、図４に示すように、前記表示部に検索結果一覧として表示された画像４００の各情報に対し、例えば適合文書には○印、非適合文書には×印を付与する等して、当該データに対する適合・非適合文書情報を分別して入力し、フィルタリングフィールド４０１をクリックする。そして、学習データ作成部１０４は、情報入出力部１０１から入力された情報（適合・非適合文書を分別した情報）に基づき、検索者の検索意図と合致した文書を適合文書、検索者の検索意図と合致していない文書を非適合文書とした学習データを作成する（ステップＳ２０５）。ここでは、検索したすべての適合・非適合文書を学習データとして用いてもよいし、その一部を学習データとして用いてもよい。ただ、できるだけ多くのデータに基づいた方が精度が向上する。分類用パラメータ生成部１０５は、学習データ作成部１０４で作成された学習データに基づき、分類用パラメータを自動的に生成する（ステップＳ２０６）。

ここで、分類用パラメータの生成方法について説明する。分類用パラメータの生成には、線形ＳＶＭ，Fisher判別式，BayesのBinary Independence Model等のアルゴリズムを使用する。以下、具体的に説明する。

分類用のパラメータには、例えば、次のベクトル式中のｗ，ｂを使用する。
ｆ（ｘ）＝ｓｇｎ（ｗ・ｘ＋ｂ）・・・（１）
ｘは学習データの特徴量ベクトル、ｗ・ｘはベクトルｗとベクトルｘの内積である。ｗとｂが学習により決定されるパラメータとなる。ｓｇｎ（ｘ）は、引数ｘ（スカラー値）の値が正なら＋１の値をとり、０以下なら−１の値をとる。

また、ベクトルｗは、
ｗ＝ΣＶ（ｗｉ）×ｗｉ（ｉ＝１〜ｎ：ｎは検索語の数）
と表される。そして、学習により、Ｖ（ｗｉ），ｗｉ，ｂの値が決定される。具体的には、正の学習データｘに対してはｆ（ｘ）の値が＋１（適合文書）、負の学習データｘに対してはｆ（ｘ）の値が−１（非適合文書）になるように、Ｖ（ｗｉ），ｗｉ，ｂの値が決定される。Ｖ（ｗｉ）は単語ｗｉの重み（単語の特徴量）、ｂはしきい値である。ｗｉは各単語に対応している。

文書ランキング検索部１０３は、分類用パラメータ生成部１０５で生成された分類用パラメータに対応する単語を検索語として、この検索語を含む文書をデータベース１１０から再検索する（ステップＳ２０７）。この工程では、分類用のパラメータに対応するｎ個の各単語を使用して再検索を行う。この再検索の結果、各文書ｄｉには、次のような文書スコアが付与される。例えば、
ｆ（ｘ）＝ｓｇｎ（ｗ・ｘ＋ｂ）
の分類パラメータｗを使用した場合は、
ｓｃｏｒｅ（ｄｉ）＝ｗ・ｘｉ・・・（２）
なる文書スコアが付与される。ｘｉは文書ｄｉの特徴量ベクトルである。

次に、分類部１０６は、文書ランキング検索部１０３による再検索結果に対してフィルタリングを行う。具体的には、以下のような処理を行う。まず、ステップＳ２０７の再検索の結果、得られた文書群から文書を取り出し、これをｄｉとする（ステップＳ２０８）。なお、ｄｉには分類用パラメータを使用したスコア（ｓｃｏｒｅ（ｄｉ））が付与されている。次に、ｓｃｏｒｅ（ｄｉ）がステップＳ２０６で求められたしきい値（ｂ）を超えたか否かを判断する（ステップＳ２０９）。ｓｃｏｒｅ（ｄｉ）がステップＳ２０６で求められたしきい値（ｂ）を超えている（例えば、ｆ（ｘ）＝ｓｇｎ（ｗ・ｘ＋ｂ）の分類パラメータｂを使用した場合は、ｓｃｏｒｅ（ｄｉ）＋ｂ＞０となった場合）場合（ステップＳ２０９：Ｙｅｓ）は、ｄｉを検索結果（関連文書）とし（ステップＳ２１０）、ステップＳ２１１へ進む。ｓｃｏｒｅ（ｄｉ）がステップＳ２０６で求められたしきい値（ｂ）を超えていない場合（ステップＳ２０９：Ｎｏ）は、そのままステップＳ２１１へ進む。続いて、再検索の結果、得られた文書群中のすべての文書の処理が終了したか否かを判断する（ステップＳ２１１）。すべての文書の処理が終了した場合（ステップＳ２１１：Ｙｅｓ）は、ステップＳ２１２へ進む。すべての文書の処理を終了していない場合（ステップＳ２１１：Ｎｏ）は、再度ステップＳ２０８へ戻り、処理を続行する。

ステップＳ２１１においてすべての文書の処理が終了した場合は（ステップＳ２１１：Ｙｅｓ）、分類部１０６は、ステップＳ２１０における検索結果を情報入出力部１０１へ送る。そして、情報入出力部１０１は分類部１０６から送られた検索結果（関連文書一覧）を表示部に表示する（ステップＳ２１２）。このとき、前記表示部には、例えば図５に示すような画像５００が表示される。なお、この工程で前記再検索の結果を文書スコア順にソートしてもよい。

以下、本発明の文書フィルタリング方法による検索の一例を示す。例えば、検索質問文「ＡＡＡのＣＣＣ」を情報入出力部１０１から入力する。この質問文に対して文書ランキング検索を行った結果、ランキング上位に文書群
１．ＡＡＡのＣＣＣ
２．ＢＢＢのＣＣＣ
３．ＡＡＡのＤＤＤ
４．ＡＡＡのＥＥＥ
が検索結果として得られたとする。そこで、検索者は、各文書に対して適合（○）、非適合（×）を次のように指定する。
○「ＡＡＡのＣＣＣ」
×「ＢＢＢのＣＣＣ」
×「ＡＡＡのＤＤＤ」
○「ＡＡＡのＥＥＥ」
そして、これを元に分類用パラメータを自動生成したところ、
「重みつき単語集合ｗ＝ＡＡＡ：０．５，ＢＢＢ：−０．６，ＣＣＣ：０．３，ＤＤＤ：−０．２，ＥＥＥ：０．１，しきい値ｂ＝−０．４」
となったとする。

そこで、ＡＡＡ，ＢＢＢ，ＣＣＣ，ＤＤＤ，ＥＥＥを検索語として再検索を行い、検索された文書に対して前述のようなスコアを算出する。その結果、次のようなスコアつき文書ｄ１，ｄ２，ｄ３が得られたとする。

ＢＢＢ，ＣＣＣを含む文書ｄ１のスコアｓｃｏｒｅ（ｄ１）は、−０．６＋０．３＝−０．３であり、
ｓｃｏｒｅ（ｄ１）＋ｂ＝−０．３−０．４＝−０．７＜０
なので検索結果として出力しない。

ＡＡＡ，ＤＤＤを含む文書ｄ２のスコアｓｃｏｒｅ（ｄ２）は、０．５−０．２＝０．３であり、
ｓｃｏｒｅ（ｄ２）＋ｂ＝０．３−０．４＝−０．１＜０
なので検索結果として出力しない。

ＡＡＡ，ＥＥＥを含む文書ｄ３のスコアｓｃｏｒｅ（ｄ３）は、０．５＋０．１＝０．６であり、
ｓｃｏｒｅ（ｄ３）＋ｂ＝０．６−０．４＝０．２＞０
なので検索結果として出力する。

以上説明したように、文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラムによれば、初期の検索結果を学習データとして構成し、その学習データから再検索のための分類用パラメータを自動生成し、この分類用パラメータを使用して、未知データを検索者にとって必要なデータと不要なデータに分類し、必要なデータのみをフィルタリングして検索者に提示することができる。この結果、検索者の意図に合致した文書検索を短時間で効率的に行うことができる。

なお、本実施の形態で説明した文書フィルタリング方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク，フレキシブルディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

以上のように、本発明にかかる文書フィルタリング装置、文書フィルタリング方法、および文書フィルタリングプログラムは、文書検索に有用であり、特に、膨大なデータからの文書検索に適している。

本発明にかかる文書フィルタリング装置の概略構成を示すブロック図である。本発明の文書フィルタリング方法の実行手順を示すフローチャートである。本発明の文書フィルタリング方法の実行手順を示すフローチャートである。検索者が入力した検索文の表示例を示す図である。ランキング検索結果の表示例を示す図である。再検索結果の表示例を示す図である。

符号の説明

１００文書フィルタリング装置
１０１情報入出力部
１０２検索語抽出部
１０３文書ランキング検索部
１０４学習データ作成部
１０５分類用パラメータ生成部
１０６分類部
１１０データベース
３００，４００，５００画像
３０１検索語入力フィールド
３０２検索実行フィールド
４０１フィルタリングフィールド

Claims

文書情報を入力し、また検索結果情報を出力する情報入出力部と、
該情報入出力部から入力された文書情報から検索対象となる検索語を抽出する検索語抽出部と、
該検索語抽出部により抽出された検索語を含む文書をデータベースから検索し、該検索結果を、前記情報入出力部に出力する検索部と、
検索者から入力された情報に基づいて、前記検索結果に含まれる文書のうち、前記検索者の意図に適合しているとして指定された文書を適合文書とし、検索者の意図に適合していないとして指定された文書を非適合文書とした情報を含む学習データを生成する学習データ作成部と、
前記学習データに基づいて、前記適合もしくは非適合とされた文書に含まれる単語に対して、該文書が適合文書の場合には正の値を用いて重み付けをし、該文書が非適合文書の場合には負の値を用いて重み付けをし、該重み付けに基づいて、前記文書に含まれる各単語のパラメータおよび関連文書か否かを判定するしきい値を含む分類用パラメータを生成する分類用パラメータ生成部と、
前記分類用パラメータに対応する各単語を検索語として、該検索語を含む文書を前記データベースから再検索する再検索部と、
前記再検索結果に含まれる文書に対して、該文書に含まれる単語に対応する前記分類用パラメータに基づいてスコアを付与し、該スコアと前記分類用パラメータに含まれるしきい値とに基づいて、前記再検索結果に含まれる文書を関連文書と非関連文書のいずれかに分類する分類部と、
を備えることを特徴とする文書フィルタリング装置。
前記学習データ作成部は、前記検索部による検索結果のすべてまたはその一部のデータを用いて前記学習データを作成することを特徴とする請求項１に記載の文書フィルタリング装置。
前記分類用パラメータ生成部は、線形ＳＶＭ、Ｆｉｓｈｅｒ判別式、ＢａｙｅｓのＢｉｎａｒｙＩｎｄｅｐｅｎｄｅｎｃｅＭｏｄｅｌのアルゴリズムのいずれかを用いて前記分類用パラメータを生成することを特徴とする請求項１または２に記載の文書フィルタリング装置。
前記情報入出力部は、前記分類部による検索結果である関連文書一覧を表示部に表示させることを特徴とする請求項１〜３のいずれか一つに記載の文書フィルタリング装置。
文書フィルタリング装置によって文書フィルタリングを行う文書フィルタリング方法において、
文書情報を入力し、また検索結果情報を出力する情報入出力部が行う情報入出力工程と、
該情報入出力部から入力された文書情報から検索対象となる検索語を検索後抽出部により抽出する検索語抽出工程と、
該検索語抽出工程により抽出された検索語を含む文書をデータベースから検索し、該検索結果を、前記情報入出力部に出力する検索部が行う検索工程と、
検索者から入力された情報に基づいて、前記検索結果に含まれる文書のうち、前記検索者の意図に適合しているとして指定された文書を適合文書とし、検索者の意図に適合していないとして指定された文書を非適合文書とした情報を含む学習データを学習データ生成部が生成する学習データ作成工程と、
前記学習データに基づいて、前記適合もしくは非適合とされた文書に含まれる単語に対して、該文書が適合文書の場合には正の値を用いて重み付けをし、該文書が非適合文書の場合には負の値を用いて重み付けをし、該重み付けに基づいて、前記文書に含まれる各単語のパラメータおよび関連文書か否かを判定するしきい値を含む分類用パラメータを分類用パラメータ生成部が生成する分類用パラメータ生成工程と、
前記分類用パラメータに対応する各単語を検索語として、該検索語を含む文書を前記データベースから再検索部が再検索する再検索工程と、
前記再検索結果に含まれる文書に対して、該文書に含まれる単語に対応する前記分類用パラメータに基づいてスコアを付与し、該スコアと前記分類用パラメータに含まれるしきい値とに基づいて、前記再検索結果に含まれる文書を関連文書と非関連文書のいずれかに分類部が分類する分類工程と、
を含むことを特徴とする文書フィルタリング方法。
前記学習データ作成工程は、前記検索部による検索結果のすべてまたはその一部のデータを用いて前記学習データを作成することを特徴とする請求項５に記載の文書フィルタリング方法。
前記分類用パラメータ生成工程は、線形ＳＶＭ、Ｆｉｓｈｅｒ判別式、ＢａｙｅｓのＢｉｎａｒｙＩｎｄｅｐｅｎｄｅｎｃｅＭｏｄｅｌのアルゴリズムのいずれかを用いて前記分類用パラメータを生成することを特徴とする請求項５または６に記載の文書フィルタリング方法。
前記情報入出力工程は、前記分類部による検索結果である関連文書一覧を表示部に表示させることを特徴とする請求項５〜７のいずれか一つに記載の文書フィルタリング方法。
請求項５〜８のいずれか一つに記載の文書フィルタリング方法をコンピュータに実行させることを特徴とする文書フィルタリングプログラム。