JP3383961B2 - 情報検索手法評価方法及びその装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の情報検索手法が
存在したときに、最適な情報検索手法を自動的に選択す
るための、情報検索手法評価方法及びその装置に関する
ものであり、特に、新聞記事等の時事情報のデータベー
スに代表される、検索条件と検索すべきデータとの関係
が、ユーザにより変化する場合が多いデータベースの検
索手法の評価方法及びその装置に関するものである。

【０００２】

【従来の技術】従来、情報検索手法の評価においては、
次の(1) 式で表される再現率と(2) 式で表される適合率
と呼ばれる、２つの指標を組み合わせて判断してきた。
（例えばGerand Salton (Ed.). The SMART Retrieval S
ystem - Experiments in Automatic Document Processi
ng, Englewood Cliffs, NJ, Printice-Hall, 1971、B.M
asand, G.Linoff, D.Waltz. Classifying News Stories
using Memory Based Reasoning. Proceedings, 15th I
nt'l SIGIR 1992, pp.59-56,1992等多数）

【数１】

【０００３】

【発明が解決しようとする課題】しかし、再現率と適合
率による指標は分子の値は同じであり、分母の値のみの
違いが指標に影響する。分母の値は、再現率では人間の
判断による検索すべきデータの個数であり、適合率の場
合では検索手法の判断による検索すべきとしたデータの
個数である。人間の判断を変えないで再現率を上げよう
として検索手法の条件を弛めると、多くの結果が検索さ
れてしまうため適合率が低下し、逆に適合率を上げよう
とすると、検索手法の条件を厳しくすることになるた
め、再現率、適合率には、トレードオフの関係がある。
このため各種の検索手法の善し悪しを評価する際に、適
合率の高い手法をとるべきか、再現率の高い手法をとる
べきかの判断により、どの手法が適しているのかが判断
できなかった。

【０００４】特に適合率は、分母に「検索手法による
値」をとっているために、例えば同じ３０％という値を
とったとしても、人間が判断して９個の正解があるとき
に、検索した結果として３０個のデータを得て、人間が
検索すべきと考える９個全てを含む場合と、１０個のデ
ータしか検索せずに３個の正解データを含む場合で、ど
ちらの場合が良い検索手法なのかは、判断できない。

【０００５】また再現率においても、時事情報のように
検索する人によって、同じ検索対象データから検索を行
ったとしても、得たい検索結果の内容が異なる場合に
は、再現率の分母が変化してしまい、再現率の値が変化
してしまう問題点があった。

【０００６】この問題点は、検索効率の評価法を図２の
ように表現した場合に、人間が検索すべきだとしたデー
タが情報検索手法によって検索すべきだとなる場合しか
注目しておらず、人間の判断の揺れと、検索すべきでな
いデータを検索しないということが、評価手法に入って
いなかったことに起因する。

【０００７】本発明の目的は上記の問題点に鑑み、最適
な情報検索手法を確実に判断できる情報検索手法評価方
法及びその装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明は上記の目的を達
成するために請求項１では、予め与えられた検索対象デ
ータに合致する被検索データをデータベース中から獲得
する手段を有するコンピュータ装置を備えた情報検索シ
ステム上で利用される情報検索手法の検索効率の評価方
法であって、前記コンピュータ装置は、一人以上の人間
によって判定されたデータベース中のデータが検索対象
のデータに合致するか否かを示す外部評価値を入力する
外部評価値入力ステップと、前記入力された外部評価値
に基づいて、前記検索対象データに対して前記被検索デ
ータが、合致すると判定した人間数と、合致しないと判
定した人間数とを集計し、該集計した人間数を前記検索
対象データに対応させて外部評価値バッファに格納する
外部評価値集計ステップと、前記合致すると判定した人
間数と前記合致しないと判定した人間数の合計を全体の
人間数とし、前記検索対象データについて、前記合致す
ると判定した人間数の前記全体の人間数に対する割合が
所定値以上であれば、その被検索データは検索すべきで
あると判定し、前記所定値以下であれば、その被検索デ
ータは検索す べきでないと判定し、該判定結果を外部評
価値バッファに格納する関係判断ステップと、評価対象
の情報検索手法によって判定されたデータベース中のデ
ータが検索対象のデータに合致するか否かを示す情報検
索手法検索結果表を外部から受け取り、外部評価値バッ
ファに格納する情報検索手法検索結果表入力ステップ
と、前記検索対象データ毎に、前記情報検索手法検索結
果表による判定結果と、前記関係判断ステップによる判
定結果とを比較し、これらが一致したときに予め設定さ
れている定数値をデータ評価値とし、一致しないときに
前記外部評価値集計ステップにおいて求められた人間数
を、予め設定されている所定の式に代入して得られた値
をデータ評価値とするデータ値発生ステップと、前記デ
ータ値発生ステップにより得られたデータ評価値の平均
値を求めて検索手法の評価値とし、検索手法の番号とと
もに該検索手法の評価値を評価値バッファに格納する評
価値算出ステップと、前記外部評価値集計ステップによ
り得られた前記合致すると判定した人間数と前記合致し
ないと判定した人間数とから、前記検索対象データ毎の
情報量を計算すると共に該情報量の平均値を求めて検索
手法の現評価値とし、検索手法の番号とともに該検索手
法の現評価値を評価値バッファに格納する現評価値算出
ステップと、前記外部評価値集計ステップにより得られ
た前記合致すると判定した人間数と前記合致しないと判
定した人間数に対して、これらの総数を変更しないで両
者の人間数が拮抗する方向にこれら両者の人間数を修正
するノイズ発生ステップと、前記ノイズ発生ステップで
修正された人間数から、前記検索対象データ毎の情報量
を計算すると共に該情報量の平均値を求めて検索手法の
仮想評価値とし、検索手法の番号とともに該検索手法の
仮想評価値を前記評価値バッファに格納する仮想評価値
算出ステップと、各情報検索手法について、前記評価値
と、前記現評価値と、前記仮想評価値とから前記評価値
の下限値および上限値を求めてバッファに格納する上下
限値算出ステップと、一つ以上の情報検索手法に対して
計算された検索手法の前記評価値と、前記下限値と、前
記上限値とに基づいて、各情報検索手法の優劣を判定す
る判定ステップとから、前記情報検索手法の検索効率を
評価する情報検索手法評価方法を提案する。

【０００９】また、請求項２では、請求項１記載の情報
検索手法評価方法において、前記デ ータ値発生ステップ
において、前記外部評価値集計ステップにより得られ
た、検索対象データに合致するに該当する人数と、合致
しないに該当する人数とを比較し、これらが同数であっ
た場合には、予め定められた値をデータ評価値とする情
報検索手法評価方法を提案する。

【００１０】また、請求項３では、予め与えられた検索
対象データに合致する被検索データをデータベース中か
ら獲得する情報検索システム上で利用される情報検索手
法の検索効率を評価する情報検索手法評価装置であっ
て、一人以上の人間によって判定されたデータベース中
のデータが検索対象のデータに合致するか否かを示す外
部評価値を外部から入力する外部評価値入力手段と、前
記入力した外部評価値に基づいて、前記検索対象データ
に対して前記被検索データが、合致すると判定した人間
数と、合致しないと判定した人間数とを集計し、該集計
した人間数を前記検索対象データに対応させて外部評価
値バッファに格納する外部評価値集計手段と、前記合致
すると判定した人間数と合致しないと判定した人間の合
計を全体の人間数とし、前記検索対象データについて、
前記合致すると判定した人間数の前記全体の人間数に対
する割合が所定値以上であれば、その被検索データは検
索すべきであると判定し、前記所定値以下であれば、そ
の被検索データは検索すべきでないと判定し、該判定結
果を外部評価値バッファに格納する関係判断手段と、評
価対象の情報検索手法によって判定されたデータベース
中のデータが検索対象のデータに合致するか否かを示す
情報検索手法検索結果表を外部から受け取り、外部評価
値バッファに格納する情報検索手法検索結果表入力手段
と、前記検索対象データ毎に、前記情報検索手法検索結
果表による判定結果と、前記関係判断手段によって得ら
れた判定結果とを比較し、これらが一致したときに予め
設定されている定数値をデータ評価値とし、一致しない
ときに前記外部評価値集計手段によって求められた人間
数を、予め設定されている所定の式に代入して得られた
値をデータ評価値とするデータ値発生手段と、前記デー
タ値発生手段により得られたデータ評価値の平均値を求
めて検索手法の評価値とし、検索手法の番号とともに該
検索手法の評価値を評価値バッファに格納する評価値算
出手段と、前記外部評価値集計ステップにより得られた
前記合致すると判定した人間数と前記合致し ないと判定
した人間数とから、前記検索対象データ毎の情報量を計
算すると共に該情報量の平均値を求めて検索手法の現評
価値とし、検索手法の番号とともに該検索手法の現評価
値として前記評価値バッファに格納する現評価値算出手
段と、前記外部評価値集計手段により得られた前記合致
すると判定した人間数と前記合致しないと判定した人間
数に対して、これらの総数を変更しないで両者の人間数
が拮抗する方向にこれら両者の人間数を修正するノイズ
発生手段と、前記ノイズ発生手段によって修正された人
間数から、前記検索対象データ毎の情報量を計算すると
共に該情報量の平均値を求めて検索手法の仮想評価値と
し、検索手法の番号とともに該検索手法の仮想評価値を
前記評価値バッファに格納する仮想評価値算出手段と、
各情報検索手法について、前記評価値と、前記現評価値
と、前記仮想評価値とから前記評価値の下限値および上
限値を求めてバッファに格納する上下値算出手段と、一
つ以上の情報検索手法に対して計算された検索手法の前
記評価値と、前記下限値と、前記上限値とに基づいて、
各情報検索手法の優劣を判定する判定手段とを備えたを
提案する。

【００１１】また、請求項４では、請求項３記載の情報
検索手法評価装置において、前記データ値発生手段は、
前記外部評価値集計手段により得られた、検索対象デー
タに合致するに該当する人数と、合致しないに該当する
人数とを比較し、これらが同数であった場合には、予め
定められた値をデータ評価値とする手段を有する情報検
索手法評価装置を提案する。

【００１２】

【作用】本発明の請求項１に記載の情報検索手法評価方
法によれば、一人以上の人間によって判定されたデータ
ベース中のデータが検索対象のデータに合致するか否か
を示す外部評価値が外部からコンピュータ装置に入力さ
れる。また、前記コンピュータ装置によって、前記入力
された外部評価値に基づいて、検索対象の各データにつ
いて、合致すると判定した人間数と、合致しないと判定
した人間数とが集計され、該集計された人間数が各検索
対象データに対応させて外部評価値バッファに格納され
る。さらに、前記コンピュータ装置によって、前記合致
すると判定 した人間数と合致しないと判定した人間の合
計が全体の人間数とされ、前記各データについて、合致
すると判定した人間数の全体の人間数に対する割合が所
定値以上であれば、その被検索データは検索すべきであ
ると判定され、前記所定値以下であれば、その被検索デ
ータは検査すべきでないと判定され、該判定結果が外部
評価値バッファに格納される。

【００１３】また、情報検索手法によって判定されたデ
ータベース中のデータが検索対象のデータに合致するか
否かを示す情報検索手法検索結果表が、外部から前記コ
ンピュータ装置に入力されて外部評価値バッファに格納
される。さらに、前記コンピュータ装置によって、前記
各検索対象データについて、前記情報検索手法検索結果
表による判定結果と、関係判断ステップによる判定結果
とが比較され、これらが一致したときに予め設定されて
いる定数値がデータ評価値とされ、一致しないときに前
記外部評価値集計ステップにおいて求められた人間数
を、予め設定されている所定の式に代入して得られた値
がデータ評価値とされ、これにより得られたデータ評価
値の平均値が求められて検索手法の評価値とされ、検索
手法の番号とともに該検索手法の評価値を評価値バッフ
ァに格納される。

【００１４】さらに、前記コンピュータ装置によって、
前記外部評価値集計ステップにより得られた合致すると
判定した人間数と合致しないと判定した人間数とから、
各検索対象データの情報量が計算され、該情報量の平均
値が求められて検索手法の現評価値とされ、検索手法の
番号とともに該検索手法の現評価値として評価値バッフ
ァに格納されると共に、前記外部評価値集計ステップに
より得られた合致すると判定した人間数と合致しないと
判定した人間数に対して、これらの総数を変更しないで
両者の人間数が拮抗する方向に両者の人間数が修正さ
れ、該修正された人間数から、各検索対象データの情報
量が計算され、該情報量の平均値が求められて検索手法
の仮想評価値とされて、検索手法の番号とともに該検索
手法の仮想評価値が評価値バッファに格納される。

【００１５】さらに、前記コンピュータ装置により、評
価対象となる各情報検索手法につい て、前記評価値と、
前記現評価値と、前記仮想評価値とから前記評価値の下
限値および上限値が求められてバッファに格納され、一
つ以上の情報検索手法に対して計算された検索手法の評
価値と、前記下限値と前記上限値とに、基づいて、各情
報検索手法の優劣が判定されて、前記情報検索手法の検
索効率が評価される。

【００１６】また、請求項２に記載の情報検索手法評価
方法によれば、前記検索対象データの評価値の計算にお
いて、外部評価値で検索対象データに合致するに該当す
る人数と、合致しないに該当する人数とが比較され、こ
れらが同数であった場合には、予め定められた値がデー
タ評価値とされて、各検索手法の検索効率が計算され
る。

【００１７】また、請求項３に記載の情報検索手法評価
装置によれば、一人以上の人間によって判定されたデー
タベース中のデータが検索対象のデータに合致するか否
かを示す外部評価値が、外部評価値入力手段によって外
部から情報検索手法評価装置内に入力される。また、前
記外部評価値集計手段によって、前記入力された外部評
価値に基づいて、検索対象の各データについて、合致す
ると判定した人間数と、合致しないと判定した人間数と
が集計され、該集計された人間数が各データに対応させ
て外部評価値バッファに格納される。さらに、関係判断
手段によって、前記合致すると判定した人間数と合致し
ないと判定した人間の合計が全体の人間数とされ、前記
検索対象データについて、合致すると判定した人間数の
全体の人間数に対する割合が所定値以上であれば、その
被検索データは検索すべきであると判定され、前記所定
値以下であれば、その被検索データは検査すべきでない
と判定され、該判定結果が外部評価値バッファに格納さ
れる。

【００１８】また、情報検索手法によって判定されたデ
ータベース中のデータが検索対象のデータに合致するか
否かを示す情報検索手法検索結果表が、情報検索手法検
索結果表入力手段によって外部から情報検索手法評価装
置内に入力されて外部評価値バッファに格納される。さ
らに、データ値発生手段によって、前記検索対象データ
毎に、前記情報検索手法検索結果表による判定結果と、
関係判断ステップによ る判定結果とが比較され、これら
が一致したときに予め設定されている定数値がデータ評
価値とされ、一致しないときに前記外部評価値集計ステ
ップにおいて求められた人間数を、予め設定されている
所定の式に代入して得られた値がデータ評価値とされ
る。さらに、評価値算出手段によって、前記得られたデ
ータ評価値の平均値が求められて検索手法の評価値とさ
れ、検索手法の番号とともに該検索手法の評価値を評価
値バッファに格納される。

【００１９】また、現評価値算出手段によって、前記外
部評価値集計手段により得られた合致すると判定した人
間数と合致しないと判定した人間数とから、各検索対象
データの情報量が計算され、該情報量の平均値が求めら
れて検索手法の現評価値とされ、検索手法の番号ととも
に該検索手法の現評価値として評価値バッファに格納さ
れる。さらに、ノイズ発生手段により、前記外部評価値
集計手段によって得られた合致すると判定した人間数と
合致しないと判定した人間数に対して、これらの総数を
変更しないで両者の人間数が拮抗する方向に両者の人間
数が修正され、該修正された人間数から、仮想評価値算
出手段により、各検索対象データの情報量が計算される
と共に該情報量の平均値が求められて検索手法の仮想評
価値とされて、検索手法の番号とともに該検索手法の仮
想評価値が評価値バッファに格納される。

【００２０】さらに、上下値算出手段により、各情報検
索手法について、前記評価値と、前記現評価値と、前記
仮想評価値とから評価値の下限値および上限値が求めら
れてバッファに格納され、一つ以上の情報検索手法に対
して計算された検索手法の評価値と、前記下限値と前記
上限値とに基づいて、判定手段によって、各情報検索手
法の優劣が判定されて、前記情報検索手法の検索効率が
評価される。

【００２１】また、請求項４に記載の情報検索手法評価
方法によれば、前記データ値発生手段による前記検索対
象データの評価値の計算において、外部評価値で検索対
象データに合致するに該当する人数と、合致しないに該
当する人数とが比較され、これらが同数であった場合に
は、予め定められた値がデータ評価値とされて、各検 索
手法の検索効率が計算される。

【００２２】

【実施例】以下、図面に基づいて本発明の一実施例を説
明する。図１は本発明の第１の実施例における情報検索
手法評価装置を示す構成図であり、該装置はＣＰＵを主
体としたコンピュータ及びプログラムから構成されてい
る。図において、１は外部評価値・検索手法一致判定モ
ジュール、２は外部評価値集計モジュール、３は関係判
断モジュール、４は定数値発生モジュール、５はペナル
ティ計算モジュール、６は平均ペナルティ計算モジュー
ル、７は評価値バッファ、８はソートモジュールであ
る。尚、ここでは各モジュールは、プログラム（ソフト
ウェア）の処理単位として構成されているが、ハードウ
ェアによる構成も可能である。

【００２３】外部評価値・検索手法一致判定モジュール
１は、検索手法による検索すべきか否かの判断と人間に
よって与えられた判断とを比較する。

【００２４】外部評価値集計モジュール２は、少なくと
も一人以上によって行われた人間の判断の結果を入力し
て、検索すべきとした人の数、検索すべきでないとした
人の数を計測する。

【００２５】関係判断モジュール３は、検索すべきとし
た人の数と、検索すべきでないとした人の数の割合か
ら、検索すべきデータか否かを決定する。

【００２６】定数値発生モジュール４は、外部評価値・
検索手法一致判定モジュール１における判定により、検
索手法による判断と人間の判断とが一致している場合
に、予め定められた例数値を発生させる。

【００２７】ペナルティ計算モジュール５は、検索手法
による判断と人間の判断とが一致していない場合に、人
間による検索すべきか否かの人数の割合から、検索手法
が判断を誤ったことに対するペナルティ値を決定する。

【００２８】平均ペナルティ計算モジュール６は、一つ
の検索手法に対する全ての検索条件と検索対象データの
組み合わせに対して計算されたペナルティ値の平均をと
る。

【００２９】評価値バッファ７は、計算された平均値を
評価値として検索手法と共に格納する。

【００３０】ソートモジュール８は、評価値バッファ７
中の検索手法を評価値の小さい順に並べ直す。

【００３１】前述の構成よりなる本実施例によれば、検
索手法の能力を測定する際には、予め装置外部から、各
種検索手法によるデータベースの検索結果である情報検
索手法検索結果表と、同じデータに対して人間が検索す
べきか否かの判断を行った結果である外部評価値表が入
力される。

【００３２】これらの入力データの内、情報検索手法検
索結果表は、図３に示すように、検索手法の手法の番号
と、各検索条件とデータベース中の各データとの組を表
す識別子と、該検索手法が各識別子で表される組を検索
すべきとしたか、否かを表す判断フラグから構成され
る。

【００３３】また、外部評価値表は、図４に示すよう
に、各検索条件とデータベース中の各データとの組を表
す識別子と、各識別子で表現される検索条件とデータの
組に対して、各人が検索すべきとしたか否かを示す判断
フラグから構成されている。

【００３４】第１の実施例における処理の過程として
は、図５に示すように、まずステップ１１として人間が
判断した結果である外部評価値表のデータは、外部評価
値集計モジュール４において検索すべきとした人数と検
索すべきではないとした人数がそれぞれ数えられる。次
に、ステップ１２として関係判断モジュール３におい
て、検索すべきとした人の人数と、検索すべきでないと
した人の人数の割合から、検索すべきデータであるか、
検索すべきデータではないかを判断し、判断の結果の値
を検索すべきとした人の人数と検索すべきでないとした
人の数と共に、外部評価値・検索手法一致判定モジュー
ル１に送られ、外部評価値・検索手法一致判定モジュー
ル１に備わる外部評価値バッファ（図６に示す）に格納
される。

【００３５】前述したステップ１２における検索すべき
データか否かの判断の方法として、検索すべきとした人
の人数と、検索すべきでないとした人の人数とを比較し
て、多数の側であるとする事で実現できる。例えば図４
のＡＡａ００９の場合、検索すべきであるとした人数は
５人であり、検索すべきでないとした人数は２人である
ことから、検索すべきデータであると判定する。

【００３６】ステップ１２における検索すべきデータの
他の判定方法としては、例えばＡＡａ００２の様に検索
すべきとした人の数が４人であり、検査すべきでないと
した人の数が３人であるように、人間による判断が割れ
てしまう場合は無意味な情報を多く提供する可能性があ
るので、このようなデータは検索すべきでないとする
と、例えば予め７０％といったしきい値を定め、次の
(3) 式を満たす場合に、

【数２】 検索すべきデータであると判定することで実現できる。

【００３７】次に一つ一つの検索条件とデータベースの
中の一つ一つのデータに対して与えられている情報検索
手法検索結果表のデータが、ステップ１３として外部評
価値・検索手法一致判定モジュール１に送られ、モジュ
ール内の評価値保存バッファに順次格納される。評価値
保存バッファには、図６に示すように情報検索手法検索
結果表から入力されたデータと、関係判断モジュール３
から送られてきたデータが、対になって格納される。２
つ以上の検索手法が評価される場合には、順次情報検索
手法検索結果表からの入力データが置き換わり処理され
る。次に、ステップ１４として外部評価値・検索手法一
致判定モジュール１において、各検索条件・データ識別
子に対する検索手法の結果と、関係判断モジュール３の
結果が比較され、２つの値が等しい場合にはステップ１
５として定数値発生モジュール４に信号を送り、例えば
０という値を生成して、平均ペナルティ計算モジュール
６に送る。ステップ１４における比較の結果、検索手法
と関係判断モジュールによる判定の値とが異なっている
ときには、評価値保存バッファ中の検索すべきとした人
数の値と検索すべきでないとした人数の値を、ペナルテ
ィ計算モジュール５に送る。ステップ１６としてペナル
ティ計算モジュール５において、予め定められた式によ
り、情報検索手法と関係判断モジュール３の値が異なっ
ている場合の、ペナルティを計算する。

【００３８】ステップ１６における、ペナルティの計算
の一実現法としては、予め定められた定数値を発生する
ことで実現できる。例えば図６に示すように情報検索手
法検索結果法の値と関係判断モジュールからの値が異な
っているＡＡａ００１の様な場合、ステップ１６によ
り、例えば定数値として１を発生させ平均ペナルティ計
算モジュール６へこの値を送る。

【００３９】定数値発生モジュール４と、ペナルティ計
算モジュール５によって得られた検索手法と人間の判断
の一致度を示す値は、ステップ１７として平均値の計算
を行い、検索手法全体の人間と検索手法の判断の一致度
を数値化した評価値を生成する。次にステップ１８とし
て、評価値が、検索手法に付けられている番号と共に評
価値バッファ７に格納される。

【００４０】与えられた全ての検索手法に対し、ステッ
プ１３〜ステップ１８間での処理が行われ、ステップ１
８−１において与えられた全ての検索手法に対しての処
理が終わったことを判定すると、評価値バッファ７には
検索手法の番号と評価値が格納され、ステップ１９とし
てソートモジュール８において評価値の小さい順に並べ
変える。ステップ１９における並べ変えは、挿入法、ヒ
プソート、クイックソート等の既存の技術で容易に実現
できる。また、ステップ２０としてソートモジュール８
で評価値の小さい順に並んだ検索手法の番号を出力する
ことで、人間の判断に近い検索手法から順に選択するこ
とができる。

【００４１】ステップ１６におけるペナルティ計算の他
の一実現法としては、図６におけるＡＡａ１００とＡＡ
ｂ００１を比較すると、ＡＡａ１００はほとんどの人が
検索すべきでないとしているにも拘らず、検索手法によ
る結果が異なる判断をしているのに対し、ＡＡｂ００１
では検索すべきとした人の数と検索すべきでないとした
人の数がきわめて拮抗しているので、検索手法による判
断が検索すべきか否かのどちらであっても人間と異なっ
た判断をしていると言えないため、人数比に応じてペナ
ルティの値を変化させ、人間の意見と全く異なった場合
には大きなペナルティを与え、人間の判断が曖昧な場合
には小さなペナルティを与えることで、より詳細に人間
の判断に近い検索手法から順に分類することもできる。
これを実現するために、例えばペナルティ計算モジュー
ル５を図７に示すような構成とする。

【００４２】図７に示すペナルティ計算モジュール５
は、入力された検索すべきとした人数と検索すべきでな
いとした人数とを一時的に格納する作業バッファ２１
と、作業バッファ２１中の２つのデータの値を比較する
比較モジュール２２と、比較した結果、小さい方の値を
分子、大きい方の値を分母として除算を行う除算モジュ
ール２３と、除された値を１から引いた値をペナルティ
値とするペナルティ値発生モジュール２４とから構成さ
れる。

【００４３】このペナルティ計算モジュール５おける処
理の過程としては、図８に示すように、ステップ２５と
して入力された検索すべきとした人数と検索すべきでな
いとした人数とを作業バッファ２１に格納し、次にステ
ップ２６として作業バッファ２１中の２つのデータの値
を比較モジュール２２において比較し、比較した結果小
さい方の値を除算モジュール２３の分子バッファ２３ｂ
に、大きいほうの値を分母バッファ２３ａに格納し、ス
テップ２７として分子バッファ２３ｂと分母バッファ２
３ａの値の除算を行い、最後にステップ２８として、ペ
ナルティ値発生モジュール２４において除された値を１
から引いた値をペナルティ値とする事で達成できる。

【００４４】この実現法によれば、図６におけるＡＡａ
１００の様に人間の判断がほぼ一致しているのにも拘ら
ず、検索手法の判断が異なる場合には１−１÷６＝０．
８３となり、ＡＡｂ００１の様に人間の判断が割れてい
る場合には、１−３÷４＝０．２５と小さなペナルティ
の値になる。この結果、人間の判断が割れている場合に
多く人間の判断となる手法のペナルティ値は小さく、人
間の判断が一致しているにも拘らず異なる判断を示す手
法は平均のペナルティ値が大きくなるので、両者を明確
に分離することができる。

【００４５】本発明におけるペナルティの考え方は、図
６におけるＡＡａ１００の様に、ほとんどの人が検索す
べきでないとしているにも拘らず、検索手法による結果
が異なる判断をしていれば、検索手法が人間の判断に一
致しないという情報の重要度は高く、ＡＡｂ００１の様
に検索すべきとした人の数と検索すべきでないとした人
の数が極めて拮抗しているのであれば、検索すべきか否
かは一概に決定できないので、人間の判断と一致しない
という情報の重要性は小さいとみることができるという
ことに基づいている。

【００４６】この考え方は、情報のエントロピーの概念
に類似する部分があるので、ステップ１６の処理は、エ
ントロピーの式を応用した手法によって、実現すること
も可能である。エントロピーの式を応用する場合の一実
施例は、図９に示すような構成によって実現できる。図
９に示すペナルティ計算モジュール５の一例は、入力さ
れた検索すべきとした人数と検索すべきでないとした人
数とを一時的に格納する作業バッファ３１と、作業バッ
ファ３１中の２つのデータの値から判断を行った総人数
を計算する解答人数計算モジュール３２と、検索すべき
とした人数と検索すべきでないとした人数と解答人数計
算モジュール３２から得られた解答人数からエントロピ
ー値を計算するエントロピー計算モジュール３３と、１
からエントロピー値を引いた値をペナルティ値とするペ
ナルティ値発生モジュール３４から構成される。

【００４７】前述の構成よりなるペナルティ計算モジュ
ール５における処理の過程としては、図１０に示すよう
に、ステップ３５として入力された検索すべきとした人
数と検索すべきでないとした人数とを作業バッファ３１
に格納し、次にステップ３６として作業バッファ３１中
の２つのデータの値を解答人数計算モジュール３２にお
いて足し合わせて解答した人数を計算し、次にエントロ
ピー計算モジュール３３においてステップ３７として以
下に示す(4) 式によりエントロピーの計算が行われる。

【００４８】

【数３】 ここで求めたエントロピーＥを、ステップ３８としてペ
ナルティ値発生モジュール３４において（１−Ｅ）を計
算してペナルティ値とする事でペナルティの計算を達成
することができる。この実現法によれば、図６における
ＡＡａ１００の様に人間の判断がほぼ一致しているのに
も拘らず、検索手法の判断が異なる場合には、１−０．
９９＝０．０１と小さなペナルティの値になる。この結
果、人間の判断が割れている場合に多く人間の判断と異
なる手法のペナルティ値は小さく、人間の判断が一致し
ているのにも拘らず異なる判断を示す手法は平均のペナ
ルティ値が大きくなるので、両者を明確に分解すること
ができる。

【００４９】次に、本発明の第２の実施例を説明する。
図１１は、第２の実施例における情報検索手法評価装置
の構成図であり、該装置はＣＰＵを主体としたコンピュ
ータ及びプログラムから構成されている。

【００５０】第２の実施例では図１１に示すように、図
１に示す第１の実施例とほぼ同様の構成をなしている。
本実施例においては、外部から、各種検索手法によるデ
ータベースの検索結果である情報検索手法検索結果表
と、同じデータに対して人間が検索すべきか否かの判断
を行った結果である外部評価値表を入力する。

【００５１】入力されたデータから検索手法の能力を測
定するために、第２の実施例の情報検索手法評価装置
は、検索手法による検索すべきか否かの判断と人間によ
って与えられた判断とを比較する外部評価値・検索手法
一致判定モジュール１と、少なくとも一人以上によって
行われた人間の判断の結果を入力して、検索すべきとし
た人の数と、検索すべきでないとした人の数を計測する
外部評価値集計モジュール２と、検索すべきとした人の
数と、検索すべきでないとした人の数の割合から、検索
すべきデータか否かを決定する関係判断モジュール３
と、外部評価値・検索手法一致判定モジュール１におけ
る判定により、検索手法による判断と人間の判断とが一
致している場合に、予め定められた定数値を発生させる
定数値発生モジュール４と、検索手法による判断と人間
の判断とが一致していない場合に、人間による検索すべ
きか否かの人数の割合から、検索手法が判断を誤ったこ
とに対するペナルティ値を決定するペナルティ計算モジ
ュール５と、一つの検索手法に対する全ての検索条件と
検索対象データの組み合わせに対して計算されたペナル
ティ値の平均をとる平均ペナルティ計算モジュール６
と、人間による検索すべきか否かの人数の割合から、人
間の判断の情報量を計算する現評価値計算モジュール４
１と、人間の判断が多少変化していた場合の人間の判断
の情報量を計算する仮想評価値計算モジュール４２と、
計算された平均ペナルティ値と現評価値と仮想評価値を
検索手法と組にして格納する中間バッファ４３と、中間
バッファ４３中の検索手法を評価値と、現評価値と、仮
想評価値とから順序付けする手法順位計算モジュール４
４の１０個のモジュールから構成される。ここでも、第
１の実施例と同様に、各モジュールは、プログラム（ソ
フトウェア）の処理単位として構成されているが、ハー
ドウェアによる構成も可能である。

【００５２】入力データである情報検索手法検索結果表
と外部評価値表は、それぞれ前述した第１の実施例と同
様であるので省略する。ただし、第１の実施例において
は外部評価値表は、評価する全ての検索手法に対して一
つしか存在しなかったが、本第２の実施例においては検
索手法ごとに評価を行った人間の数が異なる外部評価値
表を用いることもできる。

【００５３】第２の実施例における処理の過程として
は、図１２に示すように、まずステップ５１として人間
が判断した結果である外部評価値表のデータは、外部評
価値集計モジュール２において、検索すべきとした人数
と検索すべきではないとした人数がそれぞれ数えられ、
関係判断モジュール３と現評価値計算モジュール４１
と、仮想評価値モジュール４２に送られる。

【００５４】次にステップ５２として関係判断モジュー
ル３において、検索すべきとした人の人数と、検索すべ
きでないとした人の人数の割合から、検索すべきデータ
であるか、検索すべきデータではないかを判断し、判断
の結果の値を検索すべきとした人の数と検索すべきでな
いとした人の数の和と共に、外部評価値・検索手法一致
判定モジュール１に送られ、図６に示す外部評価値バッ
ファに格納される。

【００５５】また、ステップ５２における検索すべきデ
ータか否かの判断の方法としては、第１の実施例と同様
の方法がとれるので、その説明を省略する。

【００５６】次に一つ一つの検索条件とデータベース中
の一つ一つのデータに対して与えられている条件検索手
法検索結果表のデータが、ステップ５３として外部評価
値・検索手法一致判定モジュール１に送られ、モジュー
ル内の評価値保存バッファに順次格納される。評価値保
存バッファは、図４に示すように情報検索手法検索結果
表から入力されたデータと、関係判断モジュール３から
送られてきたデータが、対になって格納される。２つ以
上の検索手法が評価される場合には、順次検索手法検索
結果表と外部評価値表からの入力データが置き換わり処
理される。次にステップ５４として外部評価値・検索手
法一致判定モジュールにおいて、各検索条件・データ識
別子に対する検索手法の結果と、関係判断モジュール３
の結果が比較され、２つの値が等しい場合にはステップ
５５として定数値発生モジュール４に信号を送り、例え
ば０という値を生成し、平均ペナルティ計算モジュール
６に送る。

【００５７】ステップ５４における比較の結果、検索手
法と関係判断モジュール３による判定の値が異なってい
るときには、評価値保存バッファ中の検索すべきとした
人数の値と検索すべきでないとした人数の値を、ペナル
ティ計算モジュール５に送る。ステップ５６としてペナ
ルティ計算モジュール５において、予め定められた式に
より、情報検索手法と関係判断モジュール３の値が異な
っている場合の、ペナルティを計算する。

【００５８】ステップ５６における、ペナルティの計算
の一実現法としては、例えば第１の実施例におけるエン
トロピーを用いた手法を利用することができるので、こ
こでは説明を省略する。

【００５９】定数値発生モジュール４とペナルティ計算
モジュール５によって得られた検索手法と人間の判断の
一致度を示す値は、ステップ５７として平均値の計算を
行い、検索手法全体に対する人間と検索手法の判断の一
致度を数値化した評価値を生成する。

【００６０】現評価値計算バッファ４１においてはステ
ップ５８として、検索すべきとした人間の数と、検索す
べきでないとした人間の数から、情報量の計算を行う。
情報量の計算は、例えば第１の実施例におけるエントロ
ピーの計算と同様の手法で達成でき、容易に類推できる
ので説明を省略する。

【００６１】仮想評価値計算バッファ４２においてはス
テップ５９として、検索すべきとした人間の数と、検索
すべきではないとした人間の数の多数の側から予め定め
られた人数、例えば一人を減じ、小数の側に減じた人数
を加えることで、人間の判断の結果にノイズを与えるこ
とができる。

【００６２】次に、ステップ６０としてノイズを与えら
れた場合に対しての情報量の計算を行い、仮想評価値と
する。仮想評価値の計算は、第１の実施例におけるエン
トロピーの計算と同様であるので、ここでの説明は省略
する。現評価値計算モジュール４１、及び仮想評価値計
算モジュール４２における処理は図１１からも明らかな
ように、全ての場合について行われる。

【００６３】次にステップ６１として、評価値と現評価
値と仮想評価値が、検索手法に付けられている番号と共
に中間バッファ４３に格納される。

【００６４】与えられた全ての検索手法に対し、ステッ
プ５１〜ステップ６１間での処理が行われる。また、ス
テップ６１−１において与えられた全ての検索手法に対
しての処理が終わったことが判定されると、中間バッフ
ァ４３には検索手法の番号と評価値が格納され、ステッ
プ６２として手法順位計算モジュール４４において評価
値と現評価値、及び仮想評価値から、人間の判断に類似
する順に検索手法の順序を決定する。さらに、ステップ
６３として、評価値の小さい順に検索手法番号を出力す
る。

【００６５】手法順位計算モジュール４４は、例えば図
１３に示す構成によって実現される。手法順位計算モジ
ュール４４は、中間バッファ４３から送られてきた、評
価値、現評価値、及び仮想評価値の３つの値から信頼区
間を計算する信頼区間計算モジュール７１と、評価値と
計算された下限値及び上限値のそれぞれに対して検索手
法の順位付けを行う順位付けモジュール７２と、順位付
けモジュール７２で付けられた個々の検索手法に対す
る、下限、上限、評価値のそれぞれの順位から予め定め
られた式に従って、一つの順位値を生成する総合順位値
計算モジュール７３と、計算された各検索手法の順位値
を小さい順に並べて出力するソートモジュール７４の４
つのモジュールから構成される。

【００６６】手法順位計算モジュール４４における処理
の過程としては、図１４に示すように中間バッファ４３
から評価値と現評価値、及び仮想評価値を入力された信
頼区間計算モジュール７１において、ステップ８１とし
て例えば下限値、上限値を以下の(5)(6)式を用いて計算
する。

【００６７】

【数４】 計算された上限値、下限値と評価値は、ステップ８２と
して順位付きモジュール７２内のバッファに格納され
る。ステップ８１，８２を全ての検索手法の下限値及び
上限値の計算が終了するまで繰り返す。この後、ステッ
プ８０において全ての検索手法について上限値及び下限
値の計算が終了したか否かが判定され、計算が終了した
ら、ステップ８３として順位付きモジュール７２内の整
列・順位決定部７２ａにおいて、各種法に対する下限
値、上限値、及び評価値のそれぞれに対し小さい順に番
号を割り当てる。この処理は、一般的なソーティングア
ルゴリズムにより容易に実現できる為、詳細な説明は省
略する。

【００６８】次にステップ８４として、総合順位値計算
モジュール７３において、下限順位、評価順位、上限順
位の値から総合順位を計算する。総合順位の計算方法
は、例えば図１３の総合順位値計算モジュール７３内の
バッファの図に示すように、各順位の総和によって求め
ることができる。

【００６９】下限順位、上限順位のそれぞれの値は、下
限順位は楽観的に見たときの検索効率を表し、上限値は
悲観的に見たときの検索効率を表している。そこで総合
順位値の他の一計算方法としては、検索手法に対して悲
観的な見方をし、上限値の大きな手法を排除しようとす
るならば、例えば下限順位、上限順位、評価順位の総和
をとる際に、上限順位の値をもう二度加える。すると、
図１３の場合では、手法Ａは１３、手法Ｂは８、手法Ｃ
は９、手法Ｄは２０となり、手法Ｂの方が、順位値が小
さくなる。

【００７０】次にステップ８５として、ソートモジュー
ル７４において総合順位値の小さい順に手法番号が出力
される。ソートモジュール７４における総合順位値の整
列処理は、一般的なソーティングアルゴリズムにより容
易に達成可能であるので、詳細な説明は省略する。

【００７１】次に、本発明の第３の実施例を説明する。
第３の実施例は前述した第１及び第２の実施例の双方に
同一の構成を加えることで、実現可能であるので、ここ
では第１の実施例を利用して説明を行う。

【００７２】第３の実施例における構成図は、図１５に
示すように表すことができる。図１５に示す構成におい
ては、同数チェックモジュール９と同数時定数発生モジ
ュール１０が、第１の実施例の構成に付け加わってい
る。

【００７３】第３の実施例における処理の過程は、図１
６に示すように、図５のステップ１１とステップ１２の
間にステップ９１として、同数チェックモジュール９に
おいて、検索すべきとした人の人数と検索すべきではな
いとした人の数を比較し、同数であるか否かを判定す
る。次に人数が同数の場合には、ステップ９２として、
同数チェックモジュール９から判定不可能として、関係
判断モジュール３の結果の代わりに例えば−１と、検索
すべきとした人数、検索すべきではないとした人数と共
に、外部評価値・検索手法一致判定モジュール１に送ら
れる。

【００７４】検索すべきか否かの判定を行った結果の人
数が同数でない場合には、ステップ１２が実行される。
ステップ１２，１３の処理は、第１の実施例と同様であ
るので、その説明は省略する。

【００７５】次に、図５に示すステップ１４の代わりに
ステップ９３として、外部評価値・検索手法一致判定モ
ジュール１において、各検索条件・データ識別子に対す
る検索手法の結果と、関係判断モジュール３の結果が比
較され、２つの値が等しい場合、若しくは、判定不可能
の例えば−１がバッファ中の関係判断モジュール３によ
る判定フラグに与えられていた場合には、ステップ１５
として同数時定数発生モジュール１０に信号を送り、例
えば０という値を生成して、平均ペナルティ計算モジュ
ール６に送る。ステップ１５以降の処理は、第１の実施
例と同様であるのでその説明を省略する。

【００７６】第２の実施例の手法に対して同様の機能を
付加する場合についても、同様に図１１における外部評
価値集計モジュール２と、関係判断モジュール３の間に
同数チェックモジュール９を加えることで達成できる。
加えた場合の処理は、第１の実施例の構成に同数チェッ
クモジュール９を加えた場合と同様であり、容易に類推
できるのでその説明を省略する。

【００７７】第３の実施例における、外部評価値・検索
手法一致判定モジュール１におけるバッファ中のデータ
の一例は、図１７に示すとおりである。

【００７８】次に、本発明の能力を実験によって求めた
結果を以下に示す。 ・実験条件： 実験に用いた検索対象データの数：１２個（検索対象
は、無作為に選ばれた新聞記事に付けられているキーワ
ードと、新聞記事本文を構成する名詞、固有名詞、サ変
名詞の集合の組からなる）実際に用いた被検索データの
サンプルの数：各条件に対して５０個（無作為抽出） 比較した検索手法： ４個 １．ＡＮＤ検索：検索対象中の全てのキーワードを持
つ、被検索データを獲得する。

【００７９】２．ＯＲ検索：検索対象中のいずれか一つ
以上のキーワードを持つ、被検索データを獲得する。

【００８０】３．最良検索：検索対象中のいずれか一つ
以上のキーワードを組み合わせて、評価用に適合率、再
現率が共に高くなるように人為的に行った検索 ４．単語検索：検索対象中の本文を構成する名詞、固有
名詞、サ変名詞の集合の、単語の一致度の高いデータを
獲得する。

【００８１】被験者の数：９人 延べ一評価値数： １２×５０ ＝ ６００ ・評価における計算法： 第１乃至第３の実施例における、エントロピーの概念を
応用した手法を用いた。この実験例では、被験者の数が
奇数で且つ、人間による判断は同一なので、第２及び第
３の実施例は、第１の実施例と同じとなる。なぜなら
ば、第２の実施例の上限値と下限値の幅は、どの手法に
対しても同じであり、また第３の実施例における検索す
べきか否かの人間の判断が同数になることはない。

【００８２】・結果： 実験を行った結果を以下に示す。従来から用いられてい
る、再現率、適合率と、本発明における評価値の関係は
次の表の通りとなった。

【００８３】

【表１】 表からも明らかなように、再現率と適合率ではＯＲ検索
がよいのか、最良検索がよいのか、単語検索がよいのか
は判定できない。しかし、ＯＲ検索の場合には、大量の
人間による判断では検索すべきでないデータが含まれて
いた。本発明の手法では、ＯＲ検索と、最良検索や、単
語検索との間で明確に差が存在し、さらに人為的に高い
検索効率を発生するような検索を行った最良検索がもっ
とも良いことを示している。この結果、本発明の手法で
は、良い検索手法から順に、最良検索、単語検索、ＡＮ
Ｄ検索、ＯＲ検索と自動的に検索手法の善し悪しを判断
することができた。

【００８４】

【発明の効果】以上説明したように本発明の請求項１記
載の情報検索手法評価方法によれば、検索条件を入力し
てデータベース中から検索条件に合致するデータを獲得
するデータベース検索手法において、少なくとも一人以
上の人間が行った検索条件とデータベース中の各デー
タ、もしくはデータベースから抽出されたサンプルデー
タに対して、検索条件に合致するか否かの判断のデータ
と、各検索手法によって得られた検索結果のデータとを
入力することで、少なくとも一つ以上の検索手法の検索
効率の善し悪しを自動的に判定することができる。

【００８５】さらに、人間の判断の結果は、多数の人間
によって判断を行った場合と、１、２人の小数の人によ
って判断を行った場合では、統計的に見ると値の信頼性
に差が生じるが、人間による評価における被験者の人
が、検索手法によって異なっていたとしても、検索手法
の優劣を判定することができる。

【００８６】また、請求項２によれば、上記の効果に加
えて、判断を行う人数が偶数個であり、検索すべきとす
る人数と検索すべきでないとする人数が同数となって
も、一つの検索対象データと一つの検索対象データのと
の間で、検索すべきとした人数と、検索すべきでないと
した人数を比較し、同数であったならば予め定められた
値を発生することで、任意の人数による評価を行った場
合でも検索手法の優劣を判定することができる。

【００８７】また、請求項３記載の情報検索手法評価装
置によれば、検索条件を入力してデータベース中から検
索条件に合致するデータを獲得するデータベース検索手
法において、少なくとも一人以上の人間が行った検索条
件とデータベース中の各データ、もしくはデータベース
から抽出されたサンプルデータに対して、検索条件に合
致するか否かの判断のデータと、各検索手法によって得
られた検索結果のデータとを入力することで、少なくと
も一つ以上の検索手法の検索効率の善し悪しを自動的に
判定することができる。

【００８８】さらに、人間の判断の結果は、多数の人間
によって判断を行った場合と、１、２人の小数の人によ
って判断を行った場合では、統計的に見ると値の信頼性
に差が生じるが、人間による評価における被験者の人
が、検索手法によって異なっていたとしても、検索手法
の優劣を判定することができる。

【００８９】また、請求項４によれば、上記の効果に加
えて、判断を行う人数が偶数個であり、検索すべきとす
る人数と検索すべきでないとする人数が同数となって
も、比較手段により、一つの検索対象データと一つの検
索対象データのとの間で、検索すべきとした人数と、検
索すべきでないとした人数が比較され、同数であったな
らば定数発生手段により予め定められた値を発生するこ
とで、任意の人数による評価を行った場合でも検索手法
の優劣を判定することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における情報検索手法評
価装置のシステム構成図

【図２】検索効率の評価法を示す概念図

【図３】第１の実施例における情報検索手法検索結果表
のデータ構造とデータ例を示す図

【図４】第１の実施例における外部評価値表のデータ構
造とデータ例を示す図

【図５】第１の実施例における情報検索手法評価方法の
処理過程を示すフローチャート

【図６】第１の実施例における外部評価値バッファのデ
ータ構造とデータ例を示す図

【図７】第１の実施例におけるペナルティ計算モジュー
ルのシステム構成図

【図８】第１の実施例におけるペナルティ計算モジュー
ルの処理の流れを示すフローチャート

【図９】ペナルティ計算モジュールの他の例を示すシス
テム構成図

【図１０】他の例のペナルティ計算モジュールにおける
処理流れを示すフローチャート

【図１１】第２の実施例における情報検索手法評価装置
のシステム構成図

【図１２】第２の実施例における情報検索手法評価方法
の処理の流れを示すフローチャート

【図１３】第２の実施例における手法順位計算モジュー
ルのシステム構成図

【図１４】第２の実施例における手法順位計算モジュー
ルの処理過程を示すフローチャート

【図１５】第３の実施例における情報検索手法評価装置
のシステム構成図

【図１６】第３の実際例における情報検索手法評価方法
の処理の過程を示すフローチャート

【図１７】第３の実施例における外部評価値バッファの
データ構造とデータ例を示す図

【符号の説明】

１…外部評価値・検索手法一致判定モジュール、２…外
部評価値集計モジュール、３…関係判断モジュール、４
…定数値発生モジュール、５…ペナルティ計算モジュー
ル、６…平均ペナルティ計算モジュール、７…評価値バ
ッファ、８…ソートモジュール、９…同数チェックモジ
ュール、２１…作業バッファ、２２…比較モジュール、
２３…除算モジュール、２４…ペナルティ値発生モジュ
ール、３１…作業バッファ、３２…解答人数計算モジュ
ール、３３…エントロピー計算モジュール、３４…ペナ
ルティ値発生モジュール、４１…現評価値計算モジュー
ル、４２…仮想評価値計算モジュール、４３…中間バッ
ファ、４４…手法順位計算モジュール、７１…信頼区間
計算モジュール、７２…順位付けモジュール、７３…総
合順位値計算モジュール、７４…ソートモジュール

フロントページの続き (56)参考文献 小澤秀明，中川透，概念情報検索方式 の提案，情報処理学会第47回（平成５年 後期）全国大会講演論文集（４），1993 年 ５月27日，ｐｐ．75−76 小澤英明，中川透，人間の行動表現に 着目した時事情報の検索手法とその評価 法，電子情報通信学会技術研究報告（Ｄ Ｅ94−３），電子情報通信学会，1994年 ５月13日，Ｖｏｌ．94，Ｎｏ．33，ｐ ｐ．17−24 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 予め与えられた検索対象データに合致す
   る被検索データをデータベース中から獲得する手段を有
   するコンピュータ装置を備えた情報検索システム上で利
   用される情報検索手法の検索効率の評価方法であって、前記コンピュータ装置は、 一人以上の人間によって判定されたデータベース中のデ
   ータが検索対象のデータに合致するか否かを示す外部評
   価値を入力する外部評価値入力ステップと、前記入力された外部評価値に基づいて、前記検索対象デ
   ータに対して前記被検索データが、合致すると判定した
   人間数と、合致しないと判定した人間数とを集計し、該
   集計した人間数を前記検索対象データに対応させて外部
   評価値バッファに格納する外部評価値集計ステップと、 前記合致すると判定した人間数と前記合致しないと判定
   した人間数の合計を全体の人間数とし、前記検索対象デ
   ータについて、前記合致すると判定した人間数の前記全
   体の人間数に対する割合が所定値以上であれば、その被
   検索データは検索すべきであると判定し、前記所定値以
   下であれば、その被検索データは検索すべきでないと判
   定し、該判定結果を外部評価値バッファに格納する関係
   判断ステップと、 評価対象の 情報検索手法によって判定されたデータベー
   ス中のデータが検索対象のデータに合致するか否かを示
   す情報検索手法検索結果表を外部から受け取り、外部評
   価値バッファに格納する情報検索手法検索結果表入力ス
   テップと、 前記検索対象データ毎に、前記情報検索手法検索結果表
   による判定結果と、前記関係判断ステップによる判定結
   果とを比較し、これらが一致したときに予め設定されて
   いる定数値をデータ評価値とし、一致しないときに前記
   外部評価値集計ステップにおいて求められた人間数を、
   予め設定されている所定の式に代入して得られた値をデ
   ータ評価値とするデータ値発生ステップと、 前記データ値発生ステップにより得られたデータ評価値
   の平均値を求めて検索手法の評価値とし、検索手法の番
   号とともに該検索手法の評価値を評価値バッフ ァに格納
   する評価値算出ステップと、 前記外部評価値集計ステップにより得られた前記合致す
   ると判定した人間数と前記合致しないと判定した人間数
   とから、前記検索対象データ毎の情報量を計算すると共
   に該情報量の平均値を求めて検索手法の現評価値とし、
   検索手法の番号とともに該検索手法の現評価値を評価値
   バッファに格納する現評価値算出ステップと、 前記外部評価値集計ステップにより得られた前記合致す
   ると判定した人間数と前記合致しないと判定した人間数
   に対して、これらの総数を変更しないで両者の人間数が
   拮抗する方向にこれら両者の人間数を修正するノイズ発
   生ステップと、 前記ノイズ発生ステップで修正された人間数から、前記
   検索対象データ毎の情報量を計算すると共に該情報量の
   平均値を求めて検索手法の仮想評価値とし、検索手法の
   番号とともに該検索手法の仮想評価値を前記評価値バッ
   ファに格納する仮想評価値算出ステップと、 各情報検索手法について、前記評価値と、前記現評価値
   と、前記仮想評価値とから前記評価値の下限値および上
   限値を求めてバッファに格納する上下限値算出ステップ
   と、 一つ以上の情報検索手法に対して計算された検索手法の
   前記評価値と、前記下限値と、前記上限値とに基づい
   て、各情報検索手法の優劣を判定する判定ステップとか
   ら、前記情報検索手法の検索効率を評価する ことを特徴
   とする情報検索手法評価方法。
2. 【請求項２】 前記データ値発生ステップにおいて、 前記外部評価値集計ステップにより得られた、検索対象
   データに合致するに該当する人数と、合致しないに該当
   する人数とを比較し、これらが同数であった場合には、
   予め定められた値を前記データ評価値とする ことを特徴
   とする請求項１記載の情報検索手法評価方法。
3. 【請求項３】 予め与えられた検索対象データに合致す
   る被検索データをデータベース中から獲得する情報検索
   システム上で利用される情報検索手法の検索効率を評価
   する情報検索手法評価装置であって、 一人以上の人間によって判定されたデータベース中のデ
   ータが検索対象のデー タに合致するか否かを示す外部評
   価値を外部から入力する外部評価値入力手段と、 前記入力した外部評価値に基づいて、前記検索対象デー
   タに対して前記被検索データが、合致すると判定した人
   間数と、合致しないと判定した人間数とを集計し、該集
   計した人間数を前記検索対象データに対応させて外部評
   価値バッファに格納する外部評価値集計手段と、 前記合致すると判定した人間数と合致しないと判定した
   人間の合計を全体の人間数とし、前記検索対象データに
   ついて、前記合致すると判定した人間数の前記全体の人
   間数に対する割合が所定値以上であれば、その被検索デ
   ータは検索すべきであると判定し、前記所定値以下であ
   れば、その被検索データは検索すべきでないと判定し、
   該判定結果を外部評価値バッファに格納する関係判断手
   段と、 評価対象の情報検索手法によって判定されたデータベー
   ス中のデータが検索対象のデータに合致するか否かを示
   す情報検索手法検索結果表を外部から受け取り、外部評
   価値バッファに格納する情報検索手法検索結果表入力手
   段と、 前記検索対象データ毎に、前記情報検索手法検索結果表
   による判定結果と、前記関係判断手段によって得られた
   判定結果とを比較し、これらが一致したときに予め設定
   されている定数値をデータ評価値とし、一致しないとき
   に前記外部評価値集計手段によって求められた人間数
   を、予め設定されている所定の式に代入して得られた値
   をデータ評価値とするデータ値発生手段と、 前記データ値発生手段により得られたデータ評価値の平
   均値を求めて検索手法の評価値とし、検索手法の番号と
   ともに該検索手法の評価値を評価値バッファに格納する
   評価値算出手段と、 前記外部評価値集計ステップにより得られた前記合致す
   ると判定した人間数と前記合致しないと判定した人間数
   とから、前記検索対象データ毎の情報量を計算すると共
   に該情報量の平均値を求めて検索手法の現評価値とし、
   検索手法の番号とともに該検索手法の現評価値として前
   記評価値バッファに格納する現評価値算出手段と、 前記外部評価値集計手段により得られた前記合致すると
   判定した人間数と前記合致しないと判定した人間数に対
   して、これらの総数を変更しないで両者の人間 数が拮抗
   する方向にこれら両者の人間数を修正するノイズ発生手
   段と、 前記ノイズ発生手段によって修正された人間数から、前
   記検索対象データ毎の情報量を計算すると共に該情報量
   の平均値を求めて検索手法の仮想評価値とし、検索手法
   の番号とともに該検索手法の仮想評価値を前記評価値バ
   ッファに格納する仮想評価値算出手段と、 各情報検索手法について、前記評価値と、前記現評価値
   と、前記仮想評価値とから前記評価値の下限値および上
   限値を求めてバッファに格納する上下値算出手段と、 一つ以上の情報検索手法に対して計算された検索手法の
   前記評価値と、前記下限値と、前記上限値とに基づい
   て、各情報検索手法の優劣を判定する判定手段とを備え
   た ことを特徴とする情報検索手法評価装置。
4. 【請求項４】 前記データ値発生手段は、前記外部評価
   値集計手段により得られた、検索対象データに合致する
   に該当する人数と、合致しないに該当する人数とを比較
   し、これらが同数であった場合には、予め定められた値
   をデータ評価値とする手段を有する ことを特徴とする請
   求項３記載の情報検索手法評価装置。