JPH05502533A - 情報検索のための適応階層化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 、のための　口 本出願は一般にはコンピュータをベースにした情報検索装置に関するものであり 、特に、フルテキストデータベースから情報を検索する装置に関する。詳述する と、本出願は、レコードが、照会項目に対するレコードの関連性あるいは再現性 （ｒｅｌｅｖａｎｃｅ）にしたがって階層化されるフルテキストデータベースの ための新規な適応性のあるレコード階層化方式に関するものである。本発明の装 置は多重レベル（ＭＬ）のレコード関連性重み付けあるいは順序付はモデルに基 づく。

従来技術においては、フルテキスト形情報検索における潜在的なヒツトから関連 情報を選択するのを助けるために多くの類似性の尺度が提案されている。関連性 を定量化するという目的で種々の項目重み付は方式もまた設計されている。関連 性フィードバックを使用して探索プロセスにおける照会を洗練化するかまたは自 動的に発生する努力も行なわれている。ところが、関連性の概念はユーザの解釈 を受けやすくそれゆえ性質上あいまいであるから、一つの固定した類似性の尺度 すなわち重み付は方式がいつか完全になるということはあり得ないことは明瞭で ある。

関連性フィードバックプロセスを介してユーザーの予想に適合し得る融通性のあ る重み付は方式を有することが所望されている。ニス・シー・チャン（Ｓ、−Ｃ ，Ｃｈａｎｇ）およびダブル・シー・チェノ（Ｗ、−仁Ｃｈｅｎ）による、１９ ８７年１０月発行のＰｒｏｃ、　ＡＳＩＳ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇ　１ ９８７第３０頁〜３５頁所収の”　Ａｎｄ−１ｅｓｓ　Ｒｅｔｒｉｅｖａｌ：　 ＴｏｗａｒｄＰｅｒｆｅｃｔ　Ｒａｎｋｉｎｇ”という記事で提案されている多 重レベルレコード関連性重み付はモデルは、重み付けおよび階層化プロセスを動 的に指定および制御するための自然的な基礎を提供することを狙った唯一の従来 モデルである。かかる多重モデルは、多重レベルでレコード−項目重み付は基準 をモデル化することによりこれらの利益を可能にする。それゆえ、複雑でモして 相矛盾しさえする重み付は基準が種々のレベルを分類整理可能である。各レベル は簡単な基準だけを包摂するので、多重レベルモデルの下で重み付は規則につい て記述しそしてユーザがこれを理解するのが簡単である。それゆえユーザがこれ らの基準の変更を通じて直接的な指示を得ることが可能、である。

プール演算子が情報検索にとって十分な程度には融通性のないことが知られてい る。ジー・サルトン（Ｇ、　５ａｌｔｏｎ）、イー・エイ・フォックス（Ｅ、　 Ａ、　Ｆａｘ）およびエイチ・つ（Ｈ，Ｗｕ　ｌによる　１９８３年１２月発行 のＣＡＣＭ　、　２６（９１２）　、第１０２２頁〜１０３６頁所収の　”　Ｅ ｘｔｅｎｄｅｄ　ＢｏｏｌｅａｎＲｅｔｒｉｅｖａｌ”およびエイ・ブックスタ イン（Ａ。

Ｂｏｏｋｓｔｅｉｎ）による　１９８０年７月発行のＪｏｕｒｎａｌ　ＡＳＴＳ 、第２４０頁〜２４７頁所収の　”　Ａｎ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｗｅｉｇ ｈｔｅｄＢｏｏｌｅａｎ　Ｒｅｔｒｉｅｖａｌ　”において、かかるプール演算 子を「柔軟」にする努力が払われている。しかし、彼らは依然として演算子を保 持し、そして上述のモデルはかかるプール演算子を置換するよう設計されている 。いずれの２つの照会項目でも、以下の関係がプール演算子および近接性演算子 間で保持されることは知られている事実である。

ＡＤＪ−１ＡＩ’ｉＤ　→ＯＲ すなわち、近接性は両方の項目の存在を意味しており、両方の項目の存在はこれ らのうち少な（とも一つは存在することを意味する。多重レベルモデルは、プー ル演算子および近接性演算子間のこの自然な関係を捕捉できる（それにより演算 子の使用を除去する）ことが示された。これを行なうために、近接性をモデル化 するためにフレーズ（句）の出現およびワード（語）の出現を定量化する均一な 方法が確立された。

引用した上記刊行物においては、実験的な情報検索システムＦＡＩＲＳ（１９８ ８年３月発行のＰｒｏｃ、　ＲＩＡＯ８８、第１７２頁〜１８２頁所収の”　Ｔ ｏｗａｒｄｓ　ａ　Ｆｒ１ｅｎｄｌｙ　ＡｄａｐｔａｂｌｅＩｎｆｏｒｍａｔｉ ｏｎ　Ｒｅｔｒｉｅｖａｌ　Ｓｙｓｔｅｍ　（使用しやすい適応情報検索システ ム）”参照）内のテキストエディタを使用してプロログ（Ｐｒｏｌｏｇ）コード を修正する方式が、探索中に重み付は式を変更できることを示す証拠として呈示 された。ところが、テキストエディタをプロログコードへ適用することは、いず れのユーザによっても習熟せられるようなタスクではない。本出願では我々は、 多重レベルモデルで項目重み付けが行なわれる仕方をいずれのユーザでも容易に 制御できるＦＡＩＲ３におけるスプレッドシート重み付は制御方式を開示するａ ＦＡＩＲ３は主としてプロログで記述されている。プロログがその規則を動的に 書き直すという能力が使用されかかる特徴を実施する。

本発明は、フルテキスト情報検索システムのために、適応性のある多重レベルレ コードの階層化を行ない、それにより被検索レコードが、照会項目に対するそれ らの関連性に関して定量的に階層化されそし、てユーザが関連性因子を指定し各 レベルでかかる関連性因子の相対的な重み付けを行なうための方法に関する。第 １のステップでは、ユーザはフルテキストデータベースを探索するための一組の 照会項目（−項目は一ワード以上包摂可能である）を選択する。第２のステップ で、ユーザは複数の関連性因子を選択しそしてこれらを複数のレベルで順序付け そしてそれぞれの関連性因子ごとにユーザが所定の探索レベルについてユーザの 照会項目に対するいずれのレコードの関連値に影響を与える当該照会項目の性質 の属性について値を割り当てる。ユーザは順次照会項目を包摂するレコードにつ いてフルテキストデータベースの探索をリクエストする。

次のステップでは、各照会項目ごとに、システムは、レコードにおける当該項目 の出現数の関数としてそして一ワード以上包摂する項目については当該項目のワ ードの出現間の距離の関数として、当該項目を包摂する被検索レコードごとに第 １の関連性重み付けを計算する。引き続くステップでは、システムは、各照会項 目ごとにそして各関連性因子ごとの前記各属性ごとに、前記第１の重み付は値お よび前記関連性因子の関数として被検索レコードごとに第２の関連性重み付は値 を計算する。後続のステップでは、システムは、各被検索レコードごとに、当該 レコードに出現する前記照会項目の全てについて、前記第２の重み付は値の全て の関数として第３の関連性重みを計算する。そして、最後のステップでは、シス テムは、各レベルの第３の関連性重みの定量化値にしたがってすべての被検索レ コードを階層化する。先行レベルでの重み付けによって決定される階層順序は、 後続レベルでの重み付けによって決定される順序に対して優先権を有する。すな わち、レコードは最初にレベル１での重み付けによって階層化される。もし２つ のレコードがレベル１で等しい重み付けを有することが見出されれば、レベル２ の重みがこれらレコードを区別するのに使用される（以下同様）。

本発明の別の様相において、ユーザは種々の値を関連性因子の属性に割り当て種 々のレベルでの階層化を得ることができる。

区」ＬＬ」Ｌ男 第１図は、本発明の一実施例が実施されるハードウエアおよびオペレーティング ソフトウェア装置を図示するブロック図である。

第２図は、本発明の実施例で使用されるフルテキストデータベース入力を付与（ ｉｎｄｅｘｉｎｇ）するための情報処理のフローチャート図である。

第３図は、第２図のフルテキストデータベースからの情報検索を行なうための照 会プロセスの情報処理フローチャート図である。

第４図は、所定のレベルでのレコード重みの決定を図示する本発明の適応階層化 装置の一実施例のフローチャート図である。

第１図は、引用した上記刊行物において部分的に開示されており頭辞語ＦＡＩＲ ３によって指示される実験的情報検索装置のためのハードウェアシステムおよび オペレーティングシステム環境のブロック図である。　ＦＡＩＲＳは、それぞれ がそれ自身のオペレーティングシステムを使用するところの複数のコンビエータ システムに対して作動する。全てのシステムの主要特徴は参照番号１２によって 示されている大容量のデータ記憶装置である。

第２図は、ＦＡＩＲＳを使用する大型システムにおいて、フルテキストデータベ ース入力を行ないそしてデータベースを指標付けるあるいは索引付けるための情 報処理動作の流れを図示するフローチャート図である。オリジナルテキストファ イル２１が現状のまま記憶製雪１２へ読み込まれ、ユーザが随意にレコードマー カを指定すると、それぞれのファイルに名前が付けられそしてそのファイル名へ の拡張子として、　ＴＸＴを有する。ユーザはさらにユーザファイルについてシ ステム２２へ説明し、拡張子として、　ＳＲＣを有するユーザファイルのリスト 、拡張子として、ＣＦＧを有するユーザファイルの構成、拡張子として、　ＮＥ Ｗを有する追加の新規ファイルを提供する。ユーザは指標付けられないワードか らなる否定辞書２３（、ＮＥＧ）をも提供する。入力２１．２２および２３はＦ ＡＩＲＳプログラムの下で、適応情報読取り／構文解析系２４により処理される 。かがるプロセスの一部としての指標作成器２５が検索にとって必要なインデッ クスファイルを２６を発生する。インデックスファイルの主要構成要素が、テキ ストファイル２１におけるワードの全出現場所に対するインデックスである倒置 ファイル、　ＩＮＶ２７である。残余のインデックスファイル（２８ａ、２８ｂ 、２８ｃ、２８ｄ）は、それぞれのワードを有するレコードの場所（、ＲＥＣ） 、ワードの出現場所（、ＬＯＣ）、各レコードのアドレス（、ＡＤＲ）およびユ ーティリティファイル（、ＣＮＴ）を含む。

第３図はシステムへ入力されたファイルから照会を通じて情報を検索する情報処 理のフローチャート図である。ユーザの照会３１を綴り変化３３および同義語定 義３４について検査することによりかがるユーザの照会３１は改善される（３２ ）。ユーザが照会を確認した後、インデックスファイル２６は照会項目を包摂す るレコードを探索するのに使用される（３５）。探索において見出されたレコー ドは階層化規則３７にしたがって階層化が行なわれる（３６）、オリジナルファ イル２１はユーザフィードバックを行なうために表示される（３８）。

この時点で、ユーザは関連性情報をフィードバック（３９ａ）Ｌ、て探索を洗線 化できるし、また被検索テキストレコード３９を受け取り（３９ｂ）そしてこれ らを別途の使用のために他の媒体へ転送でき′る。

本発明はかかる情報の流れにおける上述のファイルの階層化およびユーザ関連性 フィードバックに直接間わるものである。

以下、我々は、先に引用された我々の初期の刊行物において提案された多重レベ ル重み付はモデルおよび近接性モデルの簡単な全体像を与えそして順次どのよう にしてこれがテキストエディタに代わる我々のスプレッドシート方式において具 体化されるかを説明する。ベクトルをベースにした類似性の尺度は、ベクトル類 似測定値が対応するベクトルによって表現されるレコードまたは照会の関連関係 をある程度定量化するであろうということを期待して、レコード関連性をモデル 化するのに使用されることが多い。かかるベクトルベースの類似性尺度を設計ま たは洗線化するのに２つの種別の試みがあった。第１の種別は、内積あるいはコ サイン尺度などの所定のベクトル類似式を使用することである。第２の種別は、 ワード頻度計数などのある種の項目出現の性質を表す種々の重み付は関数を使用 することである。

多重レベルモデルはある意味において第２の種別の試みのうちの一つとして描像 可能である。しかし、多重レベルモデルは伝統的な重み付はモデルおよび関連モ デルとは異なる。なぜならそれはとりわけ照会とレコードとの間の関連性をモデ ル化するように設計されているからである。それは２つのレコード間の関連性を 測るようになってはいない。そのようなわけで、多重レベルモデルは同一のベク トルが関連性が低いとして測られるのをわざと許容しているが、これはベクトル ベースの類似性尺度の伝統的な精神とは異なるようにみえる。

ベクトル空間の観点から、ある誘電（寸法がｎの可能なワード）を有するレコー ドＲと照会Ｑとの間の関連性を評価するための多重レベル関連性重み付はモデル は、ｆ　（ＷＱ、　・　ＷＲ，＋１≦ｎ≦ｎ＋ｍ）　（、）として表現可能であ る（ここで、Ｑ′はＱのスーパーセットである）、Ｑ′はモデルによってＱから 発生されるｍ個の余分の「ダミーワード」　（以下で説明する）を包摂可能であ る。２つの重み付は関数ＷＯ，Ｗアは非常に異なる。照会−項目重み付は形関数 Ｗｏはたとえユーザが照会項目について明示の重みを指定可能であるとしても常 にバイナリである。レコード−項目重み付は関数Ｗｏはレコード項目をベクトル へ対応付ける。多重レベルモデルの主な強勢点は多重レベルを有しそれゆえ複雑 かつ相矛盾しさえするユーザの関連性解釈を（種々のしベルで）指定できるＷ３ に置かれる。

もし我々が式（１）で関数ｆの代わりに全てのｉにわたる加法を用いれば、式（ １）は、スカラーとベクトルとの乗法である演算子「＊」を除いて、ちょうど内 積のようにみえる。実際、これがまさに我々のスプレッドシート方式で行なわれ ていることである。

多重レベルモデルにおいては、ＴＥＲＭｌ、ＴＥＲＭ２、・・・、ＴＥＲＭｉと いう簡単な照会形式が想定されている。照会におけるコンマは項目（ｔｅｒｌｌ りの境界を区別するのに使用されている。ＴＥＲＭｉは単一ワード（簡単な項目 ）でもよいしフレーズ（複雑な項目）でもよい。近接性は多重レベルモデルへの 準備で最初にモデル化される。

゛　のモデル 以下のＳ個のワードからなる複雑な照会項目を考える。

Ｌｌ、、ｌ’ｌｄ２・・・Ｗｄ。

我々は、連続ワード間の近接関係を表示するのに、以下の５−１９のダミーワー ドを発生する。

ｗｄ、２．Ｗｄ２ｉ、”’、Ｗｄ＋−＋＋−すなわち、Ｗｄ＋ｉはワードＷｄ、 とワードＷｄ、との近接性を表わす。これらのダミーワードはワードベアのレコ ードに８ける出現間の距離の効果を説明するために発生される。

ダミーワードの各出現が以下のように定義される。

Ｗｄ、およびＷｄ、がある照会の複雑な項目Ｗｄ、、Ｗｄ２．・・・Ｗｄ。

における近接ワードのベアであると仮定する。我々は別途に、ワードベア（Ｗｄ 、およびｗｄＪ）はできるだけ最小限の距離ｄでもってレコード中に生ずると仮 定するが、かかる最小限の距離はレコードをワードからなる線形ストリングとし て眺めることにより計算されそれゆえ距離ｄは１＋（その間のワード数）である 。そのとき、かかるＷｄ、　Ｗｄ、の各出現は、項目Ｗｄ、　、　Ｗｄｚ　、・ ・・、Ｗｄ、の全出現に対して 寄与するであろう（ここで、ｋは我々の実施において現在は１にセットされてい る）。数２８−１は、実際のワード数Ｓとダミーワード数ｓ−１の和である。我 々は、ワードの実際の出現とそれらの近接存在とが項目の出現に等しく寄与しそ して近接因子はそれらの距離に応じて調整されることを仮定している。それゆえ もし２つのワードＷｄ、　、　Ｗｄ、がレコードで互いに近接していれば（すな わち距離ｄが１に等しい）、そのとき我々は、ダミーフードＷｄ、１の全出現数 に近い完全な１（１，／１）出現を計数するであろう。しかし、もしベアがより 大きな距離で出現するならば、出現の有意性は漸次減縮される。

それゆえ、多重レベルモデルの定義においては、名称「項目」が使用される場合 、それはワードまたはダミーフードを意味する。フレーズはフレーズ中のワード そして対応するダミーワードに関して定義される。

たとえば、我々はフレーズＡＢ　（ｓ＝２）を有しそして 一−−ＡＢ−Ｂ−−Ａ−−Ｂ−−− からなるレコードを有すると仮定する（ここでダッシュは無関係なワードの出現 を権ポする）。ダミーフードＷｄ□は、それぞれ距離が１および３のＡＢおよび Ａ−−Ｂという２つの出現によって表わされる。このレコードにおけるＷｄＡ、 の全出現数は、 として計算されるであろう。

同時に、実際のワードＡおよびＢの５つの出現がある。それゆえ、項目ＡＢの全 出現は として計算される。

こうして、ワードＡおよびＢが近接せられるかあるいはおよそ５ワ一ド以内であ るかを指定することのジレンマが解〆肖される。ユーザがしなければならないこ とは、フレーズ中のワードを指定することであり、レコードにおけるワード間の 出現が接近すればおそら（レコードは大きな重みを獲得する。

レベルモデル 所定の照会について、レコードｒにおける所定の項目ｔの関連性重みＷｔｒは、 順序付けられたｎ個組（ベクトル）によって以下のように表わされる。

Ｗｔｒ：　（Ｆ、　、Ｆ２　、・・・、Ｆｎ　）七Ｙ　七ｒ　ｔｒ ここで、Ｆｌ　は実数値関数である。関連性因子Ｆ＋七Ｙ はユーザにより決定されるそれらの相対的な重要性によって順序付けられる。す なわち、関連性決定の観点から、Ｆ、　はＦ２　よりも重要であり、Ｆｉｔいは Ｆ　＊、。

皆　伊 よりも重要である（以下同様）。被検索レコードについての階層はｎ個の座標の 値にしたがって関連性ベクトルを順序付けることにより決定される。

各因子Ｆ、ごとに、レコードｒにおける項目ｔにつ＋ｒ いて、その値に影響を与え得るいくつかの（およそｋ）の属性Ａがある。これら の属性関数は照会項目を実数へ対応付け、レコードに出現する項目のい（つかの 性質をとして表現できる（ここで”＋ｒ　はレコードｒにおける項目ｔＱｊ番目 の属性である）。

照会−項目重み付は関数は常にバイナリであるから、照会Ｑに対するレコードｒ の関連性を評価するためのレベルｉでのレコード−項目重み付は関数Ｗ＋、は、 Ｗ、＝ｆ（Ｆ、ｔＥ　Ｑ′ｎＱＵ　（Ｑから発生されるダミー七−七− ワード） である。モデルの背後に隠れている直感的洞察は、被検索レコードの関連性が、 それぞれが種々の優先順位１こあるいくつかの因子にしたがってユーザにより判 定されることである。各レベルで、因子は、−組の属性を使用して重み付けられ る。たとえば、ＯＲよりもＡＮＤの方が高いという優先順位は、すべての探索ワ ードが存在するか否かという基準だけが考察されるところのレベルとして表現し つる。このことは以下で明らかとなろう。

レベル　み」モデルに　づく 、スプレッドシート 多重レベルモデルは本質的にテキストベース中のレコードにおける探索ワードの 各出現がレコードの（照会に対する）関連性評価にとって有意味であるというこ とを告げている。関連性の有意性の大きさは多重レベル重み付はモデルにしたが って定義付けられる。関連性評価におけるレコードの有意性に対する各ワード出 現の寄与は種々のレベルでのかかる出現のいくつかの属性によって定量化される 。これらの指針に基づいて我々は我々の重み付は式の構築を開始する。

それは関連性評価のための相対的な順序付けを確立するのに十分であることに注 意されたい。すなわち、我々はレコードＡがレコードＢよりも関連性があるとい うことだけでどの程度かを知る必要はない。これは、階層化式を構築する方法を 大幅に簡単にする。それゆえ、我々は、レコードｒについて各レベルｉで関連性 重み付は因子貨１．を計算するための式を構築する際に、主演算子として乗法お よび加法を選択した。これらは正数の順序を保存する最も簡単な数学演算子であ る。すなわち、ａ、ｂ、ｃ、ｄ　（＞Ｏ）について、 ａ≧ｂ、ｃ；ｉ：ｄ　−ａ’ｂ≧Ｃｄ≧が成り立つ（ここで、　は乗法または加 法のいずれかである）。

我々は、同じ項目ｔについて、それがレコード中に出現するたびに全ての属性Ａ 、を接続するために乗法を選択している０項目の属性を表わす数は種々の事項を 意味し得るけれども、乗法はすべての重み付は情報を保存し、一方、加法は小さ な数を弁別する。同時に、乗法で【ま、逆数が否定的なあるいは負の効果を表す のに容易に使用できる。

もちろん、上述の議論は、すべての属性は等しく発生されることを仮定している 。他の属性に優るいくつかの属性に対する可能なユーザの偏向を補償するために 、我々は、レベルｉでの各属性Ａ４のための一定係数の選択肢を提供する。それ ゆえ、レベルｉでのそしてレコードｒにおける項目ｔについての関連性重み付は 因子Ｆ、がここに以下の式として具体化される。

七ｒ ここで、 Ｆｌ／は、同様の一組の属性を持つ同様のプロセスを七Ｙ 通じて得られ、かくして比較可能であるから、加法を使用することは合理的であ る。それゆえ、我々は多重レベルモデルにおける関数ｆのかわりに加法を選択す る。５多重レベルモデルによれば、照会−項目重み付は関数はノ＼イナリである から、照会Ｑに対するレコードｒの関連１生を評価するためのレベルｉでの重み 付は関数Ｗ、い（ま以下の式で表される。

（ここでＱ′＝ＱＵ（Ｑから発生されるダミーワード）である） 上述した関連式を実施するスプレッドシート形適応可能方式を以下で説明する。

み・し　およびそれらの５ 現在、我々はユーザが、重み付はプロセスおよび階層化プロセスでレコードにお ける探索項目の出現ごとＩこ５つだけの属性の影響を統制するのを許容している 。これら５つの属性は理解するのが容易で且つ直観的に分力）る。５つの属性は 以下の通りである。

１　重要性：ユーザによる項目指定の相対的な重み２、通俗性二項口を有するテ キストベースにおけるレコードの数 ３、頻度性ニレコードにおける項目の出現数４、レコード識別子ニレコードの識 別番号５、ワード場所ニレコード内のワード出現の平均的な位置 レコード項目を定量化するため、５つの属性のなかでも特に通俗性および頻度性 が重み付は関数としてもつとも頻繁に使用される。重要性もまた頻繁に使用され るが、レコード項目ではな（照会項目についての限定要素としてより頻繁に使用 される。属性のレコード識別子およびワード場所は項目重み付は因子としてはほ とんど使用されなかったが、これらはときどき関連性の判定に影響を与える。レ コード識別番号は通常レコードがテキストベースに装入されるところの年代順を 指示し、ユーザの優先順位に影響を与え得る。さらに、ワード場所もまたユーザ にとって何かを意味し得る。たとえば、文書類の集合物を探索するときに、最初 に出現するワードは表題またはアブストラクトで使用されているワードであるこ とが多く、最後のワードは参照文献で現れることが多い、ユーザはこれらの状況 のうちの一つがユーザ４ことつてより重要なものであることを見出すであろう。

５つの属性は非常に異なるが、これらは多重レベルモデルとよ（なじむ。各属性 ごとに、「肯定的」、「否定的」または「中性的」という潜在的な３つの影響の うちの一つが指定される。「肯定的」とは、この属性の値がレコードの関連性に 正の影響を有することを意味している。この属性はそれゆえこのレコードについ ての関連性評価に対して掛は合わされる。「否定的」とは、この属性がレコード の関連性に否定的な影響を有することを意味している。この場合、属性値の逆数 がレコードの関連性評価に掛は合わされる。「中性的」とは、このレコードの関 連性評価に対して、この属性の影響が何らないことを意味する。この選択肢を選 択した結果として、レコードの関連性評価には常に定数１が掛は合わされる。潜 在的な各影響（「中性的」を除く）ごとに、係数が指定され属性を別途に定量化 する。たとえば、係数が３の肯定的な影響は、属性値が関連性評価における乗数 （ｍｕｌｔｉｐｌｉｅｒ）となる前に３倍されることを意味する。これは他の属 性に優る所定の属性を強調するのに使用可能である。もちろん、係数の考えは、 冨法や加法などの他の種別の計算を包摂するよう拡張可能である。しかし、我々 は、乗法がこの目的のために十分であろうと考える。重み付は規則のためのＦＡ ＩＲ５における現行の省略値（デフォルト）は以下の通りである（すべての係数 は括弧で示されているように１にセットされている）。

レコードに　される　る　ワードについてのレベルにおけるレコードの　に・す るその属性の５各影響あるいは係数は個別に変更可能である。レベルは閉息に付 加または削除可能である。土台となる数式発生器が規則を順次対応する実行可能 なプロログコードへ変換する。　ＦＡＩＲ５はまた、ユーザが現行の規則が適当 であるかどうかを判定するために、拡張性関連性フィードバック（プレビュー） 機構（ニス・シー・エイ・チョウ（Ｓ、　Ｃ，ａｎｄ　Ａ、　Ｃｈａｔ）による １９８８年３月発行のＰｒｏｃ。

ＲＩＡＯ８８、第１７２頁〜１８８頁所収の”　Ｔｏｗａｒｄｓ　ａＦｒｉｅｎ ｄｌｙ　Ａｄａｐｔａｂｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　ＲｅｔｒｉｅｖａｌＳ ｙｓｔｅｍ”を参照されたい）を提供する。

数式発生プロセスは、近接性の取扱いのため多重レベルモデルにより発生される 「ダミーワード」を除き簡単明快である。本質的にはそれはレコードにおけるフ レーズの出現頻度を計数する方法である。かかるダミーワードの各「出現」はそ のフレーズ出現頻度の部分を表すＯと１との間のある値を担い得る。数式発生器 は、属性の頻度性が中性ヘセントされているとき、レコードにおけるダミーワー ドの全出現中の最大値を選択しくこれはダミーワードについてたとえどのように 多くの出現があろうとも１だけが計数されそれゆえ我々は最大のものを拾うこと を意味する）、それ以外は、ダミーワードの全出現の平均値が使用される。

上述のデフォルト設定で示されているように、レコードは探索ワードの「範囲」 、すなわちレコードがどの（らいの数の明確に区別される探索ワードを有してい るか、にしたがって階層化される（レベル１）。これはＡＮＤのケースを取り扱 う。すなわち、探索ワードを全て有するレコードが最も上位に階層化される。も しかかるレコードが何ら存在しなければ、最も広範な範囲を持つレコードが自然 に選択される。ｋ個の探索項目が賦与されているとすれば、検索されるレコード は自動的に以下の態様で階層化される。

（すべての項目を有する）、 （いずれかに−１個の項目）、 （いずれかに−２個の項目）、・・・ （いずれか１つの項目） これはもうすでに「いずれかＮ」の演算子よりも優れており、受は入れることの できる応答を得るためにユーザがプール演算子を入れ習える必要性がまったくな い。

第２レベル〜第４レベルでのデフォルト設定では、探索ワードの重要性およびレ コードにおけるその出現頻度は関連性評価に対して肯定的な影響を持つがワード の通俗性は否定的な影響を有すべきであることを述べている。それらの対応する 影響は列挙される順番で考えられる。

第５レベルのデフォルト設定は、他の全てが等しいとき、レコードをそれらの識 別番号にしたがって逆の順番に階層化することを述べている。レコード識別番号 がテキストベースに入れられるところの年代順を指示するとき、第３レベルの規 則は最も最後のレコードを最も上位に階層化するのと等価である。

我々のデフォルト設定における第６のレベルは、他の全てが等しいとき、レコー ドが探索ワードを先頭に、すなわちドキュメントまたはレコードの最初に、有す れば、このレコードに最も大きな重みを与えることを指示している。

この基本設定の変更が明瞭な方法で容易に行なえる。

たとえば、我々は幾人かのユーザがレベル６をレベル２まで移動し、探索ワード の出現の重要性を強調するのを見出した。

第４図は、ユーザの統制下にある任意のレベルでのレコードの重み決定のフロー チャート図である。

最初、レベルｉでのレコードＲについての重み付は因子ＷはＷ＊’＝Ｏ（４０） である。

引き続き、項目使用者は各照会項目について近接性因子を措定する必要がないこ とを知る。なぜなら、レベルｉでの項目Ｔの重みＷはＷ　Ｔ　’　＝　Ｔ　、ｌ とＴ、ｌ　（これは参照番号４１でレコードＲにおける項目下のワードの最近接 出現の距離によって決定される）に等しいからである。

こうして、Ｔｌｌは上述したように０と１との間の値を取る。

引き続き、ユーザはそれぞれの階層化属性をその係数を調整することにより定量 化できる（９照番号４２）。

各階層化属性ｋについて、ユーザは、照会Ｑに対するレコードＲの関連性に対す るその潜在的な影響が否定的（４３）であるか、肯定的（４４）であるかまたは 中性的（４５）であるかを指定する。これは、係数因子１／Ａｔｔｒｓい　１ま たはＡｔｔｒＳｋを選択する。引き続き、システムは項目の当初の重みにこの因 子を掛は合わせ、項目について新規な重みＷ　’ｒ　’　＝　Ｗ　？　”１’乗 算因子を得る（４６）。順次、レベルｉでのレコードＲの重みＷ（ｗ＊’）はそ の以前の重みにレベルｉでの項目Ｔの重みを加えて、 ＷＲ’＝Ｗ１１’＋ＷＴ’　（４８） となる。

全てのレベル１で、すべての項目について、このプロセスを繰り返すことにより 、レコードの重みが決定される（４９）、プロセスが全てのレコードについて完 了したとき、照会に対するデータベースにおける各レコードの関連性が確立され る。

この出願では、我々は、フルテキスト形情報検索における階層化プロセスを与え そしてこれを制卸する新規な方法を開示した。ユーザは重み付は方式について知 らされておりそして完全な統制状態にある。このバージョンのＦＡＩＲ５は形式 的評価のため権定人内のユーザに分配されている。この方式の初期評価は非常に 好ましいものであった。ユーザには情報検索における探索および階層化プロセス を統制する前例のない能力が与えられている。

いくつかの属性がレコード関連重み付けに対してかなり自然でかつ明瞭な意味を 持ちｉ尋るが、レコード識別子やワード場所などの他のいくつかの属性の関連性 に対する影響に対して一般的なコンセンサスあるいは合意事項は何ら存在しない ことは明らかである。それらの有用性はユーザがそのときに考えていることに依 存して主観的なものである。かかる属性の存在は、いずれの状況についても完全 な固定した階層化計画などの考えがないことを明瞭に証明している。ここに開示 した′ような適応性のある階層化方式こそ、ユーザがユーザに固有の探索を口論 む可能性を開（のである。

多重レベル重み付はモデルのこの現行の実施はシステムにより提供される固定し た数の属性によって依然として制限されている。ユーザに多重レベル重み付は規 則で使用されるユーザ自身の属性定義を許すことは階層化プロセスを統制する際 のユーザの能力を非常に高める。

ＦｉＧ、２ ＦＩＧ、　３ ＦＩＧ、４ 要　約　書 被検索レコードの当該レコードに生ずる照会項目に対する関連性ないし再現性を 定量化するフルテキスト情報検索のための適応性レコード階層化方法である。本 方法は、階層化プロセスの各レベルでレコード重み付けに影響を与えるユーザ入 力を可能にする多重レベル重み付は技術を使用する。本方法は、データベースの レコードに生ずる項目の性質の重み付けられた属性を使用しそして複雑な項目の 近接ワード間の距離を補償する。本方法は大きなフルテキストデータベースで実 施されそして結果的に生ずる階層化は、ユーザの照会に対する被検索レコードの 関連性の階層化において相当に高いレベルの精度を実現する。

国際調査報告

Claims (8)

【特許請求の範囲】
1. １．フルテキスト形情報検索システムのために適応性のある多重レベルレコード 階層化を行ない、被検索レコードが照会項目に対するそれらの関連性に関して定 量的に階層化されるための方法において、 照会項目ｔからなるセットＱを選択し、照会のフルテキスト形探索を形成する段 階にして、項目ｔは１ワード以上を包摂可能である前記段階と、 複数の関連性因子を選択および順序付け、前記照会項目を複数レベルで変更する 段階と、 各レベルについて照会項目ｔに対するいずれのレコードｒの開運値にも影響を与 える当該照会項目ｔの性質の属性について、各関連性因子Ｆごとに、値を指定す る段階と、 フルテキストデータベースを探索し、当該照会項目ｔを包摂するレコードを検索 する段階と、各照会項目ｔについてはレコードｒにおけるその出現の関数として 、そして１ワード以上有する項目についてはレコードｒにおける当該項目ｔのワ ードの最近接出現間の距離の関数として、各検索レコードｒごとに第１の関連性 重みを計算する段階と、 各照会項目ｔについてそして前記の各属性について、前記関連性因子に影響を考 える当該属性および前記第１の関連性重み値の関数として、各被検索レコードｒ ごとに第２の関連性重み値を計算する段階と、各被検案レコードｒについて、前 記レコードｒに出現する全ての照会項目ｔについての全ての第２の関連性重み値 の関数として第３の関連性重みを計算する段階と、レコードｒの重みとして前記 第３の関連性重みを使用して各レベルでその階層を決定する段階と、前記照会Ｑ における全ての照会項目について各レベルで前記第３の関連性重みの定置値にし たがって全ての被検索レコードを階層化する段階とを具備する方法。
2. ２．各関連性因子Ｆについて、各レベルについて照会頂目ｔに対するいずれのレ コードｒの関連性値にも影響を与える前記照会項目ｔの性質のうち少なくとも一 つの属性について少なくとも一つの異なる値を各関連性因子Ｆについて再度指定 し、 フルテキストデータベースを探索し、当該照会項目ｔを包含するレコードを検索 する段階と、各レベルについて、前記第１および第２および第３の関連性重みを 順番に再度計算する段階と、各レベルで前記再計算された第３の関連性重みの定 量値にしたがって全ての被検索レコードを階層化する段階にして、後続のレベル が前のレベルよりも優先性を与える当該段階とを具備する請求項１の方法。
3. ３．第１の関連性重みを計算する段階は、もしｔが単一ワードであれば、ｔの各 出現を１として計数し、 ｔがｓ個のワード（ｓ＞１）を包摂する場合は、項目ｔにおけるワードの連続ペ アの近接出現を計数することにより、ｔの各出現にｔにおける各ワードの各出現 を加えたものを計数する段階にして、当該ペアにおけるワードの出現間の距離ｄ は、以下の式 １／２ｓ−１・１／ｄｘ（ｋ≧１） により１＋当該出現間のワード数である前記段階と、項目ｔ内のｓ個のワードの 計数と近接計数とを加える段階と、 その和に１／（２ｓ−１）を掛け合わせる段階とを具備する請求項１の方法。
4. ４．第２の関連性重みを計算する段階は、レベルｉでレコードｒについて項目ｔ の関連性に影響する各照会項目ｔのための一組の属性Ａを選択する段階と、 各属性ａについて係数を選択し他の属性に関係してその値を乗算する段階と、 レコードｒにおける各項目ｔの各属性ａについて、当該属性が肯定的、中性的ま たは否定的かどうかを指示する値を指定する段階と、 レコードｒにおける各項目ｔの前記第１の計算された関連性重みにｔの前記属性 の各々の前記関連性影響因子を掛け合わせ、前記第２の計算された関連性重みを 生ずる段階とを具備する請求項１の方法。
5. ５．前記第３の関連性みを計算する段階は、レコードｒに出現する各照会項目ｔ の各属性について個々の第２の計算された関連性重みを加算し、各レベルについ てレコードｒの重み付けられた関連性を得る段階とを具備する請求項１の方法。
6. ６．レコード項目を定量化するために関連性重み関数に応じて選択される前記一 組の属性は、ユーザにより指定される項目ｔの相対的重みである重要性と、 項目ｔを有するテキストベースのレコードの数である通俗性と、 レコードｒにおける項目ｔの出現数である頻度性と、レコードｒの識別番号であ るレコード識別子と、レコードｒにおける項目ｔのワードの出現の平均的な位置 であるワード場所と、 ユーザにより選択される他の任意の属性とを含む請求項３の方法。
7. ７．レコードｒにおける項目ｔの出現の属性の影響に対して値を割り当てる段階 は、 もし属性Ａｊｔｒがレベルｉで肯定的な影響を有すれば値Ａｊｔｒを指定し、 もし属性Ａｊｔｒがレベルｉで否定的な影響を有すれば値１／Ａｊｔｒを指定し 、 それ以外であれば、値１を指定することを具備する請求項４の方法。
8. ８．照会Ｑに対するレコードｒの関連性は、▲数式、化学式、表等があります▼ （ここでＱ′＝ＱＵ｛Ｑから発光されるダミーワード｝である）である請求項１ の方法。