JPH02235176A - 概念検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、複数の分類からなるキーワード集（シソーラ
ス）を用いてキーワード付けがされた文書データベース
から利用者の指定する検索条件のキーワードと各文書の
概念的な距離を計算することにより検索を行なう概念検
索装置に関する。

［従来の技術］ 近年、新聞・雑誌・単行本・論文誌などの文書情報の増
大によってＪＯＩＳ，ＮＥＥＤＳ−ＩＲ，ＤＩＡＬＯＧ
等の大規模データベースの利用者か急激に増加している
。これらのデータベースはその情報の種類によって，人
物情報、辞書、百科辞典、住所録等を含む１次情報デー
タベース（ファクトデータベース）と，新聞、雑誌、単
行本、論文誌等を含む２次情報データベース（テキスト
データベース）に大別される．ファクトデータベースで
は、検索キーが与えられると結果が一意的に決定される
．しかし，テキストデータベースでは、利用者の要求概
念に対して検索結果が常に最適であるとは限らない。こ
こでは検索条件におけるキーワード選択の適切さ、およ
び各文書とキーワードを対応させるキーワード付けの適
切さが検索結果の品質を左右する。

一般にテキストデータベースでは、キーワードの多数の
分類を持つシソーラスと呼ばれるキーワード集の中から
キーワードを選択して検索を行なう統制キーワード方式
と，これと異なり自由なキーワード付けを許す自由キー
ワード方式と呼ばれるキーワード管理方式とがある。

［発明が解決しようとする課題］ 上記のテキストデータベースでは検索条件としてキーワ
ードとＡＮＤ．　ＯＲ．　ＮＯＴからなるプール論理式
を使用し，結果として検索条件を満たす文書集合を検索
する。このような検索方式には以下のような欠点があっ
た。

シソーラスに精通していない一般利用者にとつて最適な
プール論理式を作成するのは困難であり，専任サーチャ
ーでさえ再現率・適合率は７０％前後である。また、適
質・適量検索が困難である，これはプール論理式による
検索結果が、「ある」　「ない」の２値で与えられるこ
とによる。さらに、指定するキーワードに優先度や重み
（重要度）の情報を付加できない。

これらの問題点を解決する手段として“適合情報利用に
よるオンライン高性能自動文献探索法一情報管理ｖｏ１
、２７．Ｎｏ．８，Ｎｏｖ．　１９８４．に記載された
方法がある。

この方法では、あらかじめ選出された適合文献に含まれ
るキーワード全てをリストアップし、この中からユーザ
が選んだｌＯ語前後の検索語候補の重み値を適合文献と
検索対象データベース中の使用頻度から算出し，前記適
合文献の内で最低となる得点をしきい値と定め、これ以
上を与えるプール論理式を作成し検索を実行する方式を
提案している． しかし，この方式は．あらかじめ適合文献を選出してお
く必要があり，また検索結果の再現率・適合率がこの適
合文献に大きく依存する等の問題がある。

本発明は上記のような問題点を解決するため、体系的に
語翁分類されたシソーラスや，多数の標準文書を統計的
処理することによって作成された語量分類等を概念空間
と考え、文書ごとの概念的特徴を定量的に扱うことによ
って文書検索を行なう概念検索装置を提供することを目
的とする。

［課題を解決するための手段］ 本発明は上記目的を達成するために、概念検索装置は，
利用者が選択した検索用キーワード群と文書データベー
ス内の各文書の内のキーワード群と、あらかじめ所定の
キーワード分類に基づいて分類されたキーワード集すな
わちシソーラスとを使用する。各キーワードの出現確率
がキーワード分類に対して独立であると仮定したとき，
特定のキーワードが特定の分類に出現する確率をキーワ
ードの理論経験確率と定義する．この理論経験確率を求
める理論経験確率算出手段と、理論経験確率を用いて，
文書が各キーワード分類に属する度合いを表わす帰属度
を所定の計算式を用いてキーワード分類ごとに計算し、
キーワード分類の帰属度を要素とするベクトルによって
検索用キーワードと文書データベース内の各文書の概念
を代表させ、両者間のベクトルの距離により文書の概念
検索を行なう文書検索手段とを有する．［作　用］ 本発明によれば、利用者が選択した検索用キーワード群
と文書データベース内の各文書の内のキーワード群と、
あらかじめ所定のキーワード分類に基づいて分類された
キーワード集（シソーラス）とを使用して、各キーワー
ドの出現確率がキーワード分類に対して独立であると仮
定したとき、特定のキーワードが特定の分類に出現する
確率をキーワードの理論経験確率と定義し、理論経験確
率算出手段がキーワードの理論経験確率を求め、文書検
索手段が理論経験確率を用いて，文書が各キーワード分
類に属する度合いを示す帰属度を所定の計算式を用いて
キーワード分類ごとに計算し、キーワード分類数の帰属
度を要素とするベクトルによって検索用キーワードと文
書データベース内の各文書の概念を代表させ，両者間の
ベクトルの距離により文書の概念検索を行なうことがで
きる． ［実施例１ 次に本発明の概念検索装置の実施例を詳細に説明する． 保有するキーワードをＮ個の分類に分類したシソーラス
はＮ次元の空間を形成する。語曾や文書がＮ個の分類に
帰属する度合を，空間におけるＮ個のベクトルの集合で
表わす６この集合を文書の概念を表わす概念表示ベクト
ルとする．検索の際は、検索式をこのベクトルで表わし
，文書ファイル内の各文書のベクトルとベクトル距離で
文書をソートすれば、文書の概念検索を行なうことがで
きる。

キーワード集（シソーラス）は第２図に示すようにキー
ワードとその分類で構成されている。シソーラスはキー
ワードを要素事象とする有限標本空間と，分類を要素事
象とする有限標本空間との直積標本空間である。ここで
、キーワードの種類の数をＭ、キーワード分類集の分類
の数をＮとするとこの直積標本空間はＭ＊Ｎ個の事象を
持つ．いまキーワードの標本空間と分類の標本空間が独
立であると仮定したときのＭ＊Ｎ事象の経験確率を理論
経験確率と呼び、個々のキーワードの経験確率と個々の
分類の経験確率とを用いて以下のように求めることがで
きる． 分類ｋとキーワードｊのそれぞれの経験確率ＰＣ（ｋ）
．ＰＫｆｊｌ　は、分類ｋに含まれるキーワードの出現
度数をＮＧ（ｋｌ　．キーワードｊの出現度数をＮＫ（
ｊ）、キーワードの延べ出現度数をＳとするとＮＣ　（
ｋｌ ＰＣ（ｋｌ　＝　　　　　　　　　　　　・・・（ｌ）
Ｓ Ｎκｌｊ） ＰＫ（ｊ）　　＝　　　　　　　　　　　　　　　　　
　・−・（２１Ｓ で表わされる． 分類ｋにおいてキーワードｊが出現する理論経験確率Ｐ
。（ｋ．ｊｌｉ５よび理論出現頻度Ｎ。ｆｋ．ｊ）は次
式で表わされる。

Ｐ　　（ｋ．ｊｌ　＝　ＰＣ（ｋ）　　＊　ＰＫｆｊ）
　　　　　・・・（３）Ｎ　　ｆｋ，　Ｊ）　＝　Ｐ　
ｏ　（ｋ．　Ｊｌ　＊　Ｓ＝ＰＣｌｋｌ　　＊Ｐκｆｊ
ｌ＊ｓ　　・−１４）キーワードの集合である分類を１
つの次元と考えれば、Ｎ個の分頚で構成されるシソーラ
スは、Ｎ次元のユークリッド空間Ｒ０として定義できる
６このユークリッド空間Ｒ０上の点（位置）はＮ要素か
らなるベクトルで指し示され、語僧や文書に対してもこ
の空間上の位置関係を定義することができる．ここでは
、このようなユークリッド空間を概念特徴量空間と呼ぶ
．概念特徴量空間では、語曾や文書がＮ個の各分類に対
してどれだけ帰属しているかを示すＮ個の数値（帰属度
と呼ぶ）からなるＮ次元ベクトルＣＦ６：Ｒ０によって
、それらの語蕾や文書の概念的位置が定められる． キーワード集の分類数をＮ、文書ｉが分類ｋへ帰属する
度合いをＲ％ｉｌ　とすると、文書ｉの概念特徴量ベク
トル（：Ｆ（ｉｌは次式のように表現できる． ＣＦ（ｉ）　＝　［Ｒ　（ｉ１、Ｒ２（ｉ１、・・・Ｒ
ｋｆｉ）・＝　−　ＲＮ　（ｉｌ　］・・・（５） ここで，文書ｉの分類ｋへの帰属度Ｒ％ｉ）の計算方式
の例としては以下のようないくつかの方式が考えられる
．文書ｉに含まれるキーワードの種類の数をｑ　、文書
ｉ中のキーワードｊの出現度ｒ 数をＮＫＩ　（Ｊ）とすると 方式１：文書ｉにおける分類ｋのキーワードの出現頻度
の総和をキーワードの延べ出 現頻度数で正規化したもの． 方式２：文書ｉにおける分類ｋのキーワードの出現頻度
と理論出現頻度との差にカイ 自乗値を掛けたもの． Ｒ（ｉ）＝｛ＮＫＩ（ｊ）一Ｎｏ｛ｋ．ｊ｝｝＊ｘｋ２
ｋ ＝｛ＮＫｌ（ｊｌ　−ｐｏ（ｋ．ｊ）　＊ｑｒｌ　＊ｘ
ｋ２ｘ，２：分ｇｋにおけるキーワード出現頻度のカイ
自乗値 カイ自乗値とは、体系的に語量分類されたシソーラスを
用いて，キーワード等が各分類に出現する偏りを求める
カイ自乗検定と呼ばれる統計的手法において使用される
．これは語盆をあらかじめ設定した分類へ自動的に分類
する方式である．カイ自乗検定ではまずキーワードの出
現頻度の分類による偏りを示す指標としてカイ自乗値を
求める．カイ自乗値は、各キーワードの出現頻度値と各
分類ごとの総キーワード数が独立事象であると仮定した
場合のキーワードの出現頻度値を理論度数とし、実測値
との差を求め正規化したものである． 第１図に、本発明によるキーワード分類による概念検索
装置の実施例を示す．本概念検索装置３０では，登録文
書とシソーラスとを用いて、キーワードの標本空間と分
類の標本空間が独立であると仮定したときのＭ＊Ｎ事象
の経験確率（理論経験確率）を求める． 理論経験確率計算部ｌＯおよび文書検索部３０は、互い
に接続されるとともに、理論経験確率計算部ｌＯはシソ
ーラスファイル２０および文書データベースファイル２
２に，文書検索部１２は文書データベースファイル２２
および表示部２に、それぞれ接続されている．理論経験
確率計算部ＩＯは、シソーラス２０と標本文書から全て
のキーワードの各分類における理論経験確率を計算し、
各文書ごとの概念特徴ベクトルを求める。ここで、標準
文書とは、複数の分類に属するキーワードが一様に出現
するような文書であるが，文書データベース２２に登録
されている文書の中から無作為にかつ十分大量の文書を
選択して使用すれば良い． 文書検索部ｌ２は、利用者が指定したキーワード群の特
徴ベクトルを求め、理論経験確率計算部１０で求められ
た各文書ごとの特徴ベクトルとの距離を計算し，距離の
値をキーとして文書を昇順にソートし表示部２に表示す
る． 本装置３０は，理論経験確率と、概念特徴ベクトル量を
求め、利用者が入力する検索式により登録文書の検索を
行なう。理論経験確率計算部１０は第３図に示すフロー
によって理論経験確率を求める。

ます、登録文書ｌとして標準文書を読み込み、キーワー
ドを抽出し（１００）　．抽出したキーワードをシソー
ラスファイル２０に登録する（１０２１　　　ファイル
２０の分類ｋに属するキーワードの出現度数をカウント
し（１）式のＮＣ（ｋｌに代入する（１０４）　　シソ
ーラスファイル２０に属するキーワードｊの出現度数を
カウントして（２）式のＮＫｆｊｌ　に代入する（１０
６１　　キーワードｊの延べ出現度数を（１１．　＋２
１式のＳに代入し、経験確率ＰＣ　ｆｋ＋　．　ＰＫ　
（ｊ）を求めるｆ１０８）　．理論経験確率Ｐｇｌｋ．
ｊｌ＝ＰＣｆｋ）　＊ＰＫ（ｊｌを計算する． 理論経験確率計算部ＩＯはさらに，第４図に示すフロー
によって概念特徴量ベクトルを求める．まず，文書ｉを
入力し（１２０）　．キーワードｊを抽出し（１２２１
　．文書ｉ中のキーワードｊの出現度数ＮＫＩ　ｆｊｔ
を計算するｆ１２４１　．次に文書ｉの分類ｋにおける
帰属度ＲＫ（１１を（６）または（７）式で計算し（１
２６）　．文書ｉの概念特微量ベクトルＣＦｌｉ）を１
５）式を用いて求める１１２８） 文書検索部ｌ２は、第５図に示すフローにより利用者が
入力した検索条件式（キーワード）から実際に検索を行
なう．まず次の検索条件式（８）が入力される（１３０
） ＱＵＥＲＹ　＝　［（ＫＥＹ１、Ｗｌ）　（ＫＥＹ２．
ｉｌ２１　−・・・・・ｆＫＥＹｐ．Ｗｐｌ　・−・　
　　１　　・・・（８）この検索条件式ＱＵＥＲＹは、
利用者が選択したｌまたは複数のキーワード（ＫＥ　Ｙ
ｐ）とその重み［Ｗｐ）のペアで与えられる．この式を
人力する際、利用者は選択したキーワードに優先順位や
重み（重要度）を付けることが可能である６ 次にこの検索式ＱＵＥＲＹのＫＥＹｐとＮｐから分類ｋ
に帰属する帰属度Ｒｈ（ｑｌを次の（９）式で求めるＴ
ｌ３２＋ Ｒｋ”’　　”ＩＦＥＹ，ＨｐｅＬ９ｋ・・・（９） 次に、ＱＵＥＲＹの概念特徴量ベクトルＣＦ（ｑ）を次
の（１０）式で求める（１３４）　． ＣＦｉｑ）　＝　［Ｒ　ｌｑ），Ｒ　ｌｑ），・・・．
　Ｒｋ（ｑ）・＝　．　ＲＮｆｑ）　］・−１１０１ 検索条件式ＱＵＥＲＹおよび各文書の概念特徴量ベクト
ルＣＦ　（ｑ）が求められると、それらの間の概念距離
を計算できる（１３６１　．計算方法の一例としてユー
クリッド距離を用いると概念距雌Ｄ　（ｉ，ｑｌは、次
式で求められる． このＤ　（ｉ．ｑ）を全ての文書について求める．概念
距離をキーとして昇順にソートし，検索結果として距離
の小さい文書順に表示する（１３８）　．以上によって
利用者は、自分の要求概念に近い順に検索結果を得るこ
とができる． ［発明の効果］ 以上説明したように、本発明によれば，検索条件の持つ
要求概念に近いキーワード群を有する文書が、その概念
距離の近い順に得られるため，適質検索が可能である．
さらに、利用者が選択したキーワードに優先度や重み（
重要度）の情報を付加することにより，より的確な検索
条件式を構築できる。これにより検索性能（再現率・適
合率）を向上させることができる．

【図面の簡単な説明】

第１図は本発明の概念検索装置の一実施例を示す機能ブ
ロック図， 第２図はシソーラスの構成列の説明図、第３図は理論経
験確率を求める動作を示すフロー図、 第４図は文書の概念特徴ベクトルを求める動作を示すフ
ロー図、 第５図は検索条件式による検索動作を示すフロー図であ
る． 口　の．−Ｖ旺 １−・・登録文書 ２−・表示部 ｌＯ・・・理論経験確率計算部 １　２−・・文書検索部 ２０・・・シソーラスファイル ２２・・・文書データベースファイル ３０・・・文書検索部

Claims (1)

1. 【特許請求の範囲】 １、利用者が選択した検索用キーワード群と文書データ
   ベース内の各文書の内のキーワード群と、あらかじめ所
   定のキーワード分類に基づいて分類されたシソーラスと
   を使用し、 各キーワードの出現確率が前記キーワード分類に対して
   独立であると仮定した場合に、特定のキーワードが特定
   の分類に出現する確率としての理論経験確率を求める理
   論経験確率算出手段と、 前記理論経験確率算出手段により算出された前記理論経
   験確率を用いて、文書が各キーワード分類に属する度合
   いを表わす帰属度を所定の計算式を用いてキーワード分
   類ごとに計算し、キーワード分類の帰属度を要素とする
   ベクトルによって前記検索用キーワードと文書データベ
   ース内の各文書の概念を代表させ、両者間のベクトルの
   距離により文書の概念検索を行なう文書検索手段とを有
   することを特徴とする概念検索装置。 ２、利用者が検索用キーワード群と、各キーワードの優
   先順位および重み値のいずれかを指示し、あらかじめ所
   定のキーワード分類に基づいて分類されたシソーラスを
   用い、各キーワードの出現確率が前記キーワード分類に
   対して独立であると仮定した場合に、特定のキーワード
   が特定の分類に出現する確率としての理論経験確率を求
   める理論経験確率算出手段と、 前記理論経験確率算出手段により算出された前記理論経
   験確率および各キーワードの優先順位および重み値のい
   ずれかとを用いて、検索用キーワード群および文書デー
   タベース内の各文書が各キーワード分類に属する度合い
   を表わす帰属度を所定の計算式を用いてキーワード分類
   ごとに計算し、キーワード分類数の帰属度を要素とする
   ベクトルによって前記検索用キーワード群と文書データ
   ベース内の各文書の概念を代表させ、両者間のベクトル
   の距離により文書の概念検索を行なう文書検索手段とを
   有することを特徴とする概念検索装置。