JPH1125108A

JPH1125108A - 関連キーワード自動抽出装置、文書検索装置及びこれらを用いた文書検索システム

Info

Publication number: JPH1125108A
Application number: JP9176822A
Authority: JP
Inventors: Mitsuhiro Sato; 藤光弘佐; Naohiko Noguchi; 口直彦野; Yuji Sugano; 野祐司菅; Masako Nomoto; 本昌子野; Mitsuaki Inaba; 葉光昭稲; Takao Fukushige; 重貴雄福
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-07-02
Filing date: 1997-07-02
Publication date: 1999-01-29
Anticipated expiration: 2017-07-02
Also published as: DE69833238T2; EP0889419A3; CN1206158A; KR100304335B1; EP0889419A2; KR19990013736A; EP0889419B1; DE69833238D1; CN1198225C; US6212517B1; JP3607462B2

Abstract

(57)【要約】【課題】実際の検索対象文書の特性に即し、かつその
キーワードによる検索を実行した場合少なくとも１件以
上の検索結果が得られるような関連キーワードを自動抽
出すること。【解決手段】関連キーワード自動抽出装置として、各
文書の属性情報や入力検索式などに基づいて文書の部分
集合を特定する文書集合選定部１９と、各単語の対象文
書１１全体における統計情報１４および文書毎に出現す
る単語とその統計情報１５を管理する単語統計情報管理
部１７と、単語統計情報１４、１５を基に、或る文書の
部分集合に出現する各単語の重要度を算出して重要度の
順に整列する単語ランキング部１８とを設け、単語統計
情報管理部により、文書全体、および特定された文書部
分集合における各単語の統計情報を高速に求める。これ
により、或る文書集合に出現する単語を、その重要度に
基づいてランキングし、その一部を関連キーワードとし
て提示することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、特定の文書集合から、
その文書集合を特徴づける語句をキーワードとして抽出
するための関連キーワード自動抽出装置、および前記関
連キーワード自動抽出装置を利用した文書検索装置に関
する。

【０００２】

【従来の技術】文書検索装置において、ユーザが必要と
する文書を得るためには、適切な検索語を利用した検索
式を入力する必要があるが、ユーザ自身が適切な検索語
を想起し難い、という問題がある。そこで従来、ユーザ
が入力した検索語に対して、関連語辞書などを利用して
検索語に関連する語を提示することにより、ユーザの再
検索を助ける手法などが取られてきた。しかしながら、
こうした手法はあらかじめ静的にさだめられた関連語辞
書の性質に依存するため、検索対象となる文書の特性に
即した関連語が得られない。また、得られた単語で検索
した結果少なくとも１件以上の文書が得られることが保
証されない、という欠点があった。

【０００３】

【発明が解決しようとする課題】本発明は前記の課題を
解決するもので、特定された文書集合における各単語の
出現頻度・分布などの統計情報と、検索対象文書全体に
おける単語の統計情報とを考慮して単語の重要度を算出
し、これにもとづいて単語をその重要度によってランキ
ングし、ランクの一部である単語群を抽出することによ
り、実際の検索対象文書の特性に即し、かつ品質の高い
関連キーワード群を高速かつ動的に抽出できる、関連キ
ーワード自動抽出装置を提供することを目的とする。

【０００４】また、前記関連キーワード自動抽出装置か
ら得られた関連キーワード群を利用して検索を実行した
場合、少なくとも１件以上の検索結果が得られることを
保証する文書検索装置及びこれらを用いた文書検索シス
テムを提供することを目的とするものである。

【０００５】

【課題を解決するための手段】本発明は、上記目的を達
成するため、関連キーワード自動抽出装置として、各文
書に付与された属性情報やユーザが入力した検索式など
に基づいて文書の部分集合を特定する文書集合選定部
と、各単語の対象文書全体における統計情報や各文書ご
とに出現する単語とその統計情報を管理する単語統計情
報管理部と、各単語の全文書または各文書内統計情報を
基に、特定された文書の部分集合に出現する各単語の重
要度を算出して重要度の順に整列する単語ランキング部
とを設け、単語統計情報管理部により、文書全体、およ
び特定された文書部分集合における各単語の統計情報を
高速に求めることが可能であり、特定された文書集合に
出現する各単語を、その重要度の順に高速にランキング
し、その一部を関連キーワードとして提示することがで
きる。

【０００６】さらに、前記構成に加えて、単語の属性情
報や文書内の出現位置を管理する手段などを設けること
により、単語の重みを変化させ、あるいはランキング後
の単語群から特定の条件を満たす単語を削除すること
で、抽出される単語群の関連語としての精度を向上させ
ることができ、また、抽出された単語群を、語の属性や
統計的性質により分類することで、よりわかりやすい関
連キーワード提示を行なうことができる。

【０００７】また本発明は、上記目的を達成するため、
関連キーワード自動抽出装置と連携した文書検索装置を
含む文書検索システムを構成し、抽出された関連キーワ
ードを入力として再利用することにより、抽出された関
連キーワードが対象文書の特性に合ったものであり、か
つ検索対象が同一の文書群であるならば、そのキーワー
ドによって検索結果が少なくとも１件以上得られること
が保障されるため、効率的かつ容易に再検索を行なうこ
とができる。

【０００８】

【発明の実施の形態】本発明の請求項１に記載の発明
は、辞書を用いて対象文書集合の各文書に出現する単語
または単語の組の出現頻度や分布などの統計情報があら
かじめ抽出されている文書集合に対して、各文書に付与
された属性情報やユーザが入力した検索式などに基づい
て文書の部分集合を特定する文書集合選定部と、各単語
の対象文書全体における統計情報、および各文書ごとの
当該文書に出現する単語とその統計情報を管理する単語
統計情報管理部と、各単語の全文書および各文書ごとの
統計情報を基に、特定された部分集合に出現する各単語
の重要度を算出して重要度の順に整列する単語ランキン
グ部とを備えたものであり、整列された単語群のうちの
特定部分のみについて、単語もしくは単語とその重要度
の組を抽出し、これを再利用可能な形で高速提示すると
いう作用を有する。

【０００９】本発明の請求項２に記載の発明は、請求項
１に記載の関連キーワード自動抽出装置において、特定
された部分集合Ａに対して、これに含まれる部分集合Ｂ
が文書集合選定部により特定された場合に、部分集合Ａ
に含まれる文書群に出現する単語の統計情報と、部分集
合Ｂに含まれる文書群に出現する単語の統計情報との差
分を、部分集合Ｂにおける各単語の重要度に加味するこ
とで、部分集合Ｂに出現する各単語の重要度を算出して
単語ランキングに反映するようにしたものである。

【００１０】本発明の請求項３に記載の発明は、請求項
１または２に記載の関連キーワード自動抽出装置におい
て、文書集合選定部に各文書の重みを付与する機能を設
け、特定された文書集合の各文書に含まれる単語の重要
度に当該文書の重みを加味することにより当該単語の重
要度を算出して単語ランキングに反映するようにしたも
のである。

【００１１】本発明の請求項４に記載の発明は、請求項
１乃至３のいずれかに記載の関連キーワード自動抽出装
置において、対象文書集合全体において出現度合いが高
頻度または低頻度である単語をあらかじめ定められた閾
値を考慮して関連キーワード抽出の対象から除外するこ
とにより、再利用の際に有効性の高い単語のみが選別で
きるようにしたものである。

【００１２】本発明の請求項５に記載の発明は、請求項
４に記載の関連キーワード自動抽出装置において、単語
の長さなどその単語の特徴量に応じて除外のための閾値
を変化させることにより再利用の際に有効性の高い単語
のみが選別できるようにしたものである。

【００１３】本発明の請求項６に記載の発明は、請求項
１乃至５のいずれかに記載の関連キーワード自動抽出装
置において、単語の出現位置や出現する文脈の情報を管
理する出現情報管理部を有し、単語の重要度にその単語
の出現情報の種類に応じてあらかじめ定められた重みを
加味することにより当該単語の重要度を算出して単語ラ
ンキングに反映するようにしたものである。

【００１４】本発明の請求項７に記載の発明は、請求項
１乃至６のいずれかに記載の関連キーワード自動抽出装
置において、単語の品詞など、各単語の属性情報を管理
する言語属性管理部を有し、当該単語の属性に応じてあ
らかじめ定められた重みを加味することにより当該単語
の重要度を算出して単語ランキングに反映するようにし
たものである。

【００１５】本発明の請求項８に記載の発明は、請求項
１乃至７のいずれかに記載の関連キーワード自動抽出装
置において、抽出された単語同士、またはあらかじめ指
定された単語群と抽出された単語との間の文字列として
の包含関係を、定められた条件により判定する文字列包
含関係判定部を有し、当該単語同士に文字列としての包
含関係があると判定された場合に、指定された条件に従
って、長単位の文字列のみ、もしくは短単位の文字列の
み、もしくは重要度の高い方の文字列のみ、もしくは短
単位の文字列および長単位の文字列と短単位の文字列と
の差分の双方、のいずれかを選択することにより、再利
用の際に有効性の高い単語のみが選別できるようにした
ものである。

【００１６】本発明の請求項９に記載の発明は、請求項
１乃至８のいずれかに記載の関連キーワード自動抽出装
置において、単語の品詞など、各単語の属性情報を管理
する言語属性管理部を有し、当該単語の属性や、指定さ
れた部分集合または文書全体における出現頻度、分布等
を考慮することにより、抽出された単語を分類して提示
できるようにしたものである。

【００１７】本発明の請求項１０に記載の発明は、請求
項９に記載の関連キーワード自動抽出装置において、分
類された単語群のそれぞれについて、その集合を代表す
る単語を付与する代表語付与部を設け、分類された単語
群を代表する代表語群のみ、もしくは代表語と全ての単
語を提示できるようにしたものである。

【００１８】本発明の請求項１１に記載の発明は、文書
検索装置として、辞書を用いて対象文書集合の各文書に
出現する単語または単語の組の出現頻度や分布などの統
計情報があらかじめ抽出されている文書集合に対して、
文書検索に必要な条件式を入力する検索条件入力部と、
入力された検索条件にしたがって対象文書集合から文書
の検索を行なう文書検索部と、文書検索部において検索
された文書について、入力された検索式と文書との間の
適合度を計算する文書ランキング部とを備えたものであ
り、文書ランキング部におけるランキング結果を関連キ
ーワード自動抽出装置へ送付し、また関連キーワード自
動抽出装置からフィードバックされた関連キーワードを
検索条件入力部へ入力するという作用を有する。

【００１９】本発明の請求項１２に記載の発明は、文書
検索装置として、文書検索に必要な条件式を入力する検
索条件入力部と、入力された検索条件にしたがって対象
文書集合から文書の検索を行なう文書検索部とを備えた
ものであり、前記検索条件入力部は、ユーザが検索条件
を入力するのに加えて関連キーワード自動抽出装置から
送られてきた関連キーワードを検索条件として入力する
という作用を有する。

【００２０】本発明の請求項１３に記載の発明は、文書
検索システムとして、辞書を用いて対象文書集合の各文
書に出現する単語または単語の組の出現頻度や分布など
の統計情報があらかじめ抽出されている文書集合に対し
て、文書検索に必要な条件式を入力する検索条件入力部
と、入力された検索条件にしたがって対象文書集合から
文書の検索を行なう文書検索部と、文書検索部において
検索された文書について、入力された検索式と文書との
間の適合度を計算する文書ランキング部とを有して成る
文書検索装置と、前記文書検索装置に接続された関連キ
ーワード自動抽出装置とを備えたものであり、前記文書
検索装置の文書ランキング部から出力されたランキング
結果を関連キーワード自動抽出装置へ送付し、また関連
キーワード自動抽出装置から文書検索装置の検索条件入
力部へ関連キーワードをフィードバックしてキーワード
検索を行なうという作用を有する。

【００２１】本発明の請求項１４に記載の発明は、請求
項１３記載の文書検索システムにおいて、文書検索装置
と関連キーワード自動抽出装置との間には文書集合選定
部が設けられ、文書検索装置の文書ランキング部から出
力されたランキング結果は文書集合選定部に送付されて
文書の特定が行なわれ、前記関連キーワード自動抽出装
置４８には、文書集合選定部４７が特定した文書の部分
集合が入力されるようにしたものである。

【００２２】本発明の請求項１５に記載の発明は、請求
項１３または１４記載の文書検索システムにおいて、関
連キーワード自動抽出装置には、請求項１乃至１０のい
ずれかに記載の関連キーワード自動抽出装置が用いられ
るようにしたものである。

【００２３】本発明の請求項１６に記載の発明は、文書
検索に必要な条件式を入力する検索条件入力部と、入力
された検索条件にしたがって対象文書集合から文書の検
索を行なう文書検索部とを有して成る文書検索装置と、
前記文書検索装置に接続された関連キーワード自動抽出
装置とを備えたものであり、前記文書検索装置の検索条
件入力部は、ユーザが検索条件を入力するのに加えて関
連キーワード自動抽出装置から送られてきた関連キーワ
ードを検索条件として入力してキーワード検索を行なう
という作用を有する。

【００２４】本発明の請求項１７に記載の発明は、請求
項１６記載の文書検索システムにおいて、関連キーワー
ド自動抽出装置には、請求項１乃至１０のいずれかに記
載の関連キーワード自動抽出装置が用いられるようにし
たものである。

【００２５】以下に、本発明の具体的な実施の形態につ
いて、添付の図面を参照して説明する。

【００２６】（実施の形態１）最初に、本発明の第１の
実施の形態について説明する。図１は本発明の第１の実
施の形態に係る関連キーワード自動抽出装置の構成を示
したブロック図である。まず、対象となる文書集合１１
に対し、辞書１２を利用して、前処理として動作する統
計情報抽出部１３により、文書集合全体における単語の
頻度・分布などの単語統計情報１４、および各文書ごと
の当該文書に含まれる単語の統計情報である文書内単語
統計情報１５を抽出しておく。図２（ａ）は単語統計情
報の構造を示すテーブル構成図であり、図２（ｂ）は文
書内単語統計情報の構造を示すテーブル構成図である。
単語統計情報１４は、統計情報抽出部１３によって抽出
された単語の統計情報を例えば図２（ａ）に示すような
テーブルとして格納する。このテーブルを利用すること
により、例えば単語「インターネット」の全文書中での
総出現頻度や出現文書数を高速に求めることができる。
また、文書内単語統計情報１５は各文書ごとの単語の統
計情報を例えば図２（ｂ）に示すようなテーブルとして
格納する。これにより、例えば文書番号００１０には単
語「インターネット」が５回、単語「ＷＷＷ」が２回出
現する、といった各文書ごとの統計情報を高速に求める
ことができる。

【００２７】関連キーワード自動抽出装置１６は、文書
全体の単語統計情報１４および文書内単語統計情報１５
を管理する単語統計情報管理部１７と、単語の重要度を
算出する単語ランキング部１８と、対象文書の部分集合
を特定する文書集合選定部１９と、文書集合選定部１９
への選定条件を入力する手段である条件入力部２０とか
ら構成される。

【００２８】かかる構成を有する関連キーワード自動抽
出装置１６の動作について以下説明する。最初に、条件
入力部２０に対して入力された条件により、文書集合選
定部１９が文書集合を特定する。文書集合は、次の３種
類の手段のいずれかまたはその組み合わせにより特定さ
れる。（１）文書の属性により文書集合を特定する。この場
合、文書集合選定部１９は文書の所属するジャンルな
ど、文書にあらかじめ付与された属性値により文書を選
択する手段を有し、条件入力部２０により指定された属
性値に合致する文書群を部分集合として採用する。（２）検索式により文書集合を特定する。この場合、文
書集合選定部１９は条件入力部２０で入力された検索式
に適合する文書を特定する文書検索手段を有し、これを
利用して検索の結果得られる文書群を部分集合として採
用する。なおその際、文書検索手段に検索式との適合度
を判定して文書を適合度の順にランキングする機能があ
るならば、検索結果のうちの特定部分、例えば上位１０
文書を部分集合として採用しても良い。（３）ユーザにより指定された文書集合。この場合、文
書集合選定部１９は条件入力部２０においてユーザが直
接指定した（複数の）文書を部分集合として採用する。

【００２９】文書集合選定部１９は、以上により選定さ
れた文書集合を各文書を一意に決定する識別子の集合、
例えば文書番号のリストとして単語統計情報管理部１７
に渡す。単語統計情報管理部１７は、特定された文書集
合に対して、文書ごとに文書番号から文書内単語統計情
報１４を調べ、当該文書に出現する単語とそれぞれの文
書内の出現頻度を得る。次に得られた単語すべてについ
て単語統計情報１５を調べ、当該単語の全文書における
頻度や分布情報を得る。

【００３０】ここで得られた各種統計情報は単語ランキ
ング部１８に渡され、各単語の重要度が算出される。あ
る単語Ｗの重要度Ｓ（Ｗ）は、例えば次のようにして算
出することができる。

【数１】ただしＣ：定数ｎ：特定された文書集合に含まれる文書数ＴＦｊ（Ｗ）：文書Ｄj における単語Ｗの出現頻度ＦＮ（Ｗ）：特定された文書集合中で単語Ｗを含む文
書数である。

【００３１】またＩＤＦ（Ｗ）は、単語Ｗのｉｄｆ値と
呼ばれる指標であり、例えば以下の式により計算され
る。ＩＤＦ（Ｗ）＝１−ｌｏｇ（ＤＦ（Ｗ）／Ｎ）ただし、ＤＦ（Ｗ）：文書全体において単語Ｗが出現する文書数Ｎ：全文書数である。

【００３２】ＩＤＦ（Ｗ）は、単語Ｗがより多くの文書
に出現する（すなわちより一般的な語である）場合にそ
の値が小さくなる。これにより、対象文書全体において
比較的よく出現する語の重要度を低く抑えることができ
る。さらにＦＮ（Ｗ）を考慮することで、特定された文
書集合に多く現れる単語の重要度を高くでき、結果その
特定文書集合に特徴的な語に高い重要度を与えることが
できる。なお、上記算出法において、ＴＦ（Ｗ）をその
単語が含まれる文書の文書サイズ（文字数や含まれる単
語の異なり数など）や単語の総出現頻度などで正規化し
てもよい。

【００３３】単語ランキング部１８は、特定された部分
集合中の全文書に含まれる全単語について重要度計算を
行い、その後全単語を重要度の順に整列する。最後に、
整列された単語群から特定部分、例えば上位１０単語を
採用し、単語、もしくは単語とその重要度の組として提
示する。なお、抽出の際に重要度だけでなく、重要度算
出に利用した各種統計情報などを同時に提示してもよ
い。また、抽出された関連キーワードとその重要度の組
を、例えばユーザの履歴として蓄積していくこともでき
る。このようにすることにより、ユーザの興味の範囲や
嗜好などをキーワードとその重みのベクトルとして表現
することが可能となり、このベクトルを他の操作、例え
ば文書集合の検索に利用するなど、広い応用が可能であ
る。

【００３４】以上の計算式を利用すると、例えば図３に
示す例のようにして関連キーワード自動抽出を行うこと
ができる。この図３は関連キーワード自動抽出動作の処
理手順の流れを示す図である。図３において、文書番号
リスト３１が入力された単語統計情報管理部１７は、該
当する文書番号（例えば００１０、０３４１等）に出現
する単語およびその頻度を文書ごとに出力し、文書内単
語統計情報３３，３４，３５を得る。同時に、ここで求
められたすべての単語に対して、全文書中での統計情報
３２を得る。次にこれらの統計情報３２、３３、３４、
３５が単語ランキング部１８に渡される。単語ランキン
グ部１８では、各種統計情報３２〜３５を基に、例えば
前記の式を利用して各単語の重要度を計算する。図３の
場合だと、以下のようになる（ただし、Ｃを１、Ｎを１
００００とする）。ＩＤＦ（アプレット）＝１−ｌｏｇ（８６／１００００）＝５．７５６Ｓ（アプレット）＝２＊５．７５６＋６＊５．７５６）＊２＝９２．０９６ＩＤＦ（インターネット）＝１−ｌｏｇ（１１２９／１００００）＝３．１８１Ｓ（インターネット）＝（３＊３．１８１＋１＊３．１８１＋２＊３．１８１）＊３＝５７．２５８ＩＤＦ（ＣＧＩ）＝１−ｌｏｇ（７９／１００００）＝５．８４０Ｓ（ＣＧＩ）＝（４＊５．７５６）＊１＝２３．０２４ＩＤＦ（ＷＷＷ）＝１−ｌｏｇ（６１５／１００００）＝３．７８９Ｓ（ＷＷＷ）＝（５＊３．７８９）＊１＝１８．９４５ＩＤＦ（ＪＡＶＡ）＝１−ｌｏｇ（１６１／１００００）＝５．１２９６Ｓ（ＪＡＶＡ）＝（６＊５．１２９＋３＊５．１２９＋３＊５．１２９）＊３＝１８４．６４４ＩＤＦ（ＳＵＮ）＝１−ｌｏｇ（３５／１００００）＝６．６５５Ｓ（ＳＵＮ）＝（６＊６．６５５）＊１＝３９．９３０ＩＤＦ（スクリプト）＝１−ｌｏｇ（８１３／１００００）＝３．５１０Ｓ（スクリプト）＝（５＊３．５１０）＊１＝１７．５５０

【００３５】単語ランキング部１８では以上のように求
められた重要度により単語を整列し、整列後の単語リス
ト３７を得る。ここで、ランキングされた単語の上位３
語を抽出するという指定になっているとすれば、単語リ
スト３７における上位３語である「ＪＡＶＡ」「アプレ
ット」「インターネット」が関連キーワードとして抽出
される。

【００３６】以上では辞書に登録された一単語を抽出の
対象としてきたが、一般に単語だけでなく、単語の組で
もよい。単語の組とは、名詞の連続により構成される複
合語や、助詞「の」で結ばれる名詞の組、助詞「を」
「が」で結ばれる名詞と動詞の組などを指す。これらの
統計情報が単語と同様に事前に抽出できているのであれ
ば、上記で示した手法がそのまま適用でき、単語の組を
関連キーワードとして抽出することができる。

【００３７】なお、関連キーワード入力装置１６は、文
書集合選定部１９および条件入力部２０を別構成として
もよい。特に文書集合選定部１９が検索式による文書検
索手段を有する場合には、後出の図７に示すような別構
成とすることで、文書検索装置による文書番号を入力と
して受け、出力される関連キーワードを文書検索装置の
検索式入力部に反映させることができる。

【００３８】このように、本実施の形態によれば、対象
となる文書のうちの一部である文書の部分集合が特定さ
れた際、当該部分集合に含まれる各文書に出現する各単
語それぞれについて重要度を計算して重要度の順に整列
し、整列された単語群のうちの一部を抽出して関連キー
ワードとすることで、動的かつ高速に対象となる文書の
特性に即した関連キーワードを求めることができるとい
う効果を持つ。

【００３９】また、上記のようにして得られた関連キー
ワードは、同一文書を対象とする文書検索装置への入力
として利用することができ、その場合、対象文書の特性
にあった的確なキーワードを再利用できるだけでなく、
当該関連キーワードは必ず対象文書に含まれることが保
証されるため、これを利用して検索した場合に必ず検索
結果が得られるという効果も持つ。

【００４０】また、得られた関連キーワードを同一の対
象文書集合または別の対象文書集合を対象とする文書検
索装置への入力として利用することができ、その場合に
は、関連キーワード抽出の対象となった文書集合におい
て特徴的であるキーワードをもとに、同一または別の文
書集合を検索することができ、特に別の文書集合を検索
対象とする文書検索装置の場合に、当該キーワードを異
なった特性を持つ文書集合に対しても適用することがで
きるという効果をもつ。

【００４１】また、抽出されたキーワードをユーザに提
示して選択させるという構成とすることで、ユーザが再
検索を実行する際、キーボードから再度検索条件を入力
する代わりに、関連キーワードを、例えばマウスのクリ
ックなど単純な操作で選択することが可能となり、再検
索における操作を軽減して検索の効率を高めると同時
に、検索の操作に不慣れなユーザでも簡単に利用できる
という効果を持つ。

【００４２】また、抽出された関連キーワードにその重
要度も付加して提示することにより、例えば検索条件と
の適合度を計算して文書をランキングするような文書検
索装置において、検索条件中の各単語に対して重みを付
与することができる文書検索装置であれば、抽出された
キーワードとその重要度をそのまま入力とすることで、
より高精度の検索結果を得ることができるという効果を
持つ。

【００４３】また、抽出された関連キーワードとその重
要度の組を、例えばユーザの履歴として蓄積していくこ
とにより、ユーザの興味の範囲や嗜好などをキーワード
とその重みのベクトルとして表現することが可能とな
り、このベクトルを他の文書集合の検索に利用するな
ど、広い応用が可能であるという効果も持つ。

【００４４】（実施の形態２）次に、本発明の第２の実
施の形態について実施の形態１に示したブロック図と同
じ図１を利用して説明する。この第２の実施の形態で
は、文書集合選定部１９が２種類の文書集合Ａおよび文
書集合Ｂを特定する。ここで、文書集合Ｂは文書集合Ａ
の部分集合となっている。例えば、ある検索式で検索を
行った結果得られる文書集合Ａと、そのうちで関連する
文書群としてユーザが指定した文書集合Ｂとが特定され
る場合や、文書の属性により特定された文書集合Ａと、
その中でさらに検索式により絞り込まれた文書集合Ｂと
が特定される場合などである。

【００４５】この場合、例えば以下の式により算出され
る単語の分布指標を当該単語の重要度に乗算するなどの
手法により、単語の重要度を算出する。ＤＩ（Ａ，Ｂ，Ｗ）＝｛（ＮＡ／ＤＡ（Ｗ））＊（Ｄ
Ｂ（Ｗ）／ＮＢ）｝ただし、ＤＡ（Ｗ）：部分集合Ａにおける単語Ｗの出現する文書
数ＤＢ（Ｗ）：部分集合Ｂにおける単語Ｗの出現する文書
数ＮＡ：部分集合Ａの総文書数ＮＢ：部分集合Ｂの総文書数

【００４６】これは、部分集合Ｂにおいて高い頻度で出
現し、かつ部分集合Ａにおける出現頻度が低いものほど
高い値となる。上式において高い値となる語は部分集合
Ａにおいて部分集合Ｂの弁別性に大きく寄与するもので
あり、部分集合Ｂをより特徴づけるキーワードであると
いえる。例えば、図３に示す例において、文書番号リス
ト３１が部分集合Ｂであるとし、これを含む部分集合Ａ
（総文書数１００とする）も同時に指定されている場合
で、部分集合Ａ中の各単語の出現文書数が以下の通りで
あるとする。ＤＡ（アプレット）＝１０ＤＡ（インターネット）＝２８ＤＡ（ＣＧＩ）＝９ＤＡ（ＷＷＷ）＝１４ＤＡ（ＪＡＶＡ）＝２０ＤＡ（ＳＵＮ）＝５ＤＡ（スクリプト）＝１０

【００４７】この場合各単語の重要度Ｓ２（Ｗ）は、実
施の形態１で説明した各単語の重要度Ｓ（Ｗ）に各単語
の重みＤＩ（Ａ，Ｂ，Ｗ）を乗算した値となり、以下の
ように計算される。Ｓ２（アプレット）＝９２．０９６＊｛（１００／１０）＊（２／３）｝＝６１３．９７３Ｓ２（インターネット）＝５７．２５８＊｛（１００／２８）＊（３／３）｝＝２０４．４９３Ｓ２（ＣＧＩ）＝２３．０２４＊｛（１００／９）＊（１／３）｝＝８５．２７４Ｓ２（ＷＷＷ）＝１８．９４５＊｛（１００／１４）＊（１／３）｝＝４５．１０７Ｓ２（ＪＡＶＡ）＝１８４．６４４＊｛（１００／２０）＊（３／３）｝＝９２３．２２０Ｓ２（ＳＵＮ）＝３９．９３０＊｛（１００／５）＊（１／３）｝＝２６６．２００Ｓ２（スクリプト）＝１７．５５０＊｛（１００／１０）＊（１／３）｝＝５８．５００となり、重要度の順に整列するとＳ２（ＪＡＶＡ）＝９２３．２２０Ｓ２（アプレット）＝６１３．９７３Ｓ２（ＳＵＮ）＝２６６．２００Ｓ２（インターネット）＝２０４．４９３Ｓ２（ＣＧＩ）＝８５．２７４Ｓ２（スクリプト）＝５８．５００Ｓ２（ＷＷＷ）＝４５．１０７の順となる。したがって、上位３語を関連キーワードと
して抽出するのであれば、「ＪＡＶＡ」「アプレット」
「ＳＵＮ」が関連キーワードとなる。

【００４８】上記の計算式は一例であり、部分集合Ｂに
おいて高い頻度で出現し、かつ部分集合Ａにおける出現
頻度が低いものほど高い値となるような他の計算式を利
用してもよい。

【００４９】このように、本実施の形態によれば、特定
された２種類の部分集合間における頻度分布の差異を考
慮することにより、より高精度な関連キーワードを得る
ことができるという効果を持つ。

【００５０】（実施の形態３）次に、本発明の第３の実
施の形態について実施の形態１に示したブロック図と同
じ図１を利用して説明する。この第３の実施の形態で
は、文書集合選定部１９に各文書の重みを付与する機能
を設ける。例えば、ユーザが文書を指定する場合に、各
文書に対して関連度を指標として５段階の評価値を与え
る場合や、検索式による検索の結果得られる文書が検索
式との適合度によりランキングされている場合に１位に
１０点、２位に９点、といった重みを与える場合などで
ある。単語ランキング部は各文書に付与された重みを、
当該文書に含まれる単語に対して、例えば乗算するなど
して加味し重要度算出を行う。なお、各文書に与える重
みは負の値であってもよい。例えば、ユーザが文書を特
定する際、関連する文書には２点、まったく関連しない
文書には−１点を与える、という重み付与も許す。これ
により、関連する文書にも関連しない文書にも含まれる
（かつあまり一般的でない）語の重要度を低くすること
ができる。

【００５１】このように、本実施の形態によれば、特定
した文書集合に含まれる各文書に対して重みを与えるこ
とにより、より重要な文書に含まれる単語ほど高い重要
度となるような計算式とすることで、文書それぞれの重
要度を勘案した高精度な関連キーワードが得られるとい
う効果を持つ。

【００５２】（実施の形態４）次に、本発明の第４の実
施の形態について説明する。図４は本発明の第４の実施
の形態に係る関連キーワード自動抽出装置のブロック図
である。この第４の実施の形態では、第１の実施の形態
の構成に加えて閾値設定部２２を有して成り、この閾値
設定部は単語統計情報管理部１７との間でデータの送受
ができるようになっている。また、この実施の形態にお
いては、単語統計情報管理部１７には閾値による単語除
外機能が付与されている。かかる構成において、単語統
計情報管理部１７は各単語の統計情報を出力する際、あ
らかじめ定められた閾値設定２２を参照し、極端に高頻
度または低頻度の単語はその場で候補から除外して単語
ランキング部１８に当該単語の情報を出力しない構成と
することができる。例えば、閾値１を「全文書の５０％
以上に出現する単語」と設定し、閾値２を「１文書にし
か出現しない単語」と設定することで、これらの単語が
重要度算出に与える悪影響を事前に防ぐことができ、か
つ処理の高速化を図ることができる。

【００５３】なおその際、単語の長さなど当該単語の特
徴量に応じて、閾値を何種類かに設定してもよい。例え
ば、日本語の場合で「二文字以上の語は全体の５０％以
上、一文字の語は全体の３０％以上」といった閾値設定
を行うことで、各語の特性にあわせて除外する単語の範
囲を設定する。

【００５４】このように、本実施の形態によれば、対象
文書集合全体において出現度合いが高頻度または低頻度
である単語をあらかじめ定められた閾値を考慮して除外
することにより、キーワード抽出処理を高速化でき、か
つ再利用の際に有効性の高い単語のみが選別できるとい
う効果を持つ。

【００５５】（実施の形態５）次に、本発明の第５の実
施の形態について説明する。図５は本発明の第５の実施
の形態に係る関連キーワード自動抽出装置の構成を示す
ブロック図である。この第５の実施の形態に係る関連キ
ーワード自動抽出装置は、第１の実施の形態において説
明したような、文書全体の単語統計情報１４および文書
内単語統計情報１５を管理する単語統計情報管理部１
７、単語ランキング部１８、対象文書の部分集合を特定
する文書集合選定部１９、および文書集合選定部１９へ
の選定条件入力手段である条件入力部２０を有する基本
構成に加えて、単語ランキング部１８と連動して単語の
属性などの各種情報を利用することにより、抽出される
関連キーワード群の質を向上させることを目的とするも
のである。図５において、符号２５は出現情報管理部、
２６は単語属性情報管理部、２７は文字列包含関係判定
部であり、これらの機能部は関連キーワード自動抽出装
置２９に含まれて単語ランキング部と連動する。また２
８は代表語付与部であり、この代表語付与部２８は単語
ランキング部１８からデータを受けて関連キーワードを
出力する。また、関連キーワード自動抽出装置２９に対
して、外部機能部として、対象文書集合１１からのデー
タを基に単語が出現する位置の情報を抽出する単語出現
位置情報抽出部２３が設けられ、この単語出現位置情報
抽出部２３からは出現位置情報２４が出力される。この
出現情報は出現情報管理部２５へ送付される。

【００５６】かかる構成を有する本発明の第５の実施の
形態について、その動作を説明する。この実施の形態の
動作においては、まず対象となる文書集合１１に対し、
辞書１２を利用して、前処理として動作する統計情報抽
出部１３により、対象文書集合１１全体における単語の
出現頻度・分布などの単語統計情報１４、および各文書
ごとの当該文書に含まれる単語の統計情報である文書内
単語統計情報１５を抽出しておく。同時に、必要があれ
ば単語位置情報抽出部２３により、単語の出現位置情報
２４も抽出しておく。図６は単語出現位置情報抽出部２
３によって抽出された出現位置情報２４のデータ構造の
一例を表すテーブル構成図である。出現位置情報は例え
ば図６に示すようなテーブルとして格納される。各文書
ごとにその文書に出現する単語と出現位置（例えば文書
の先頭からのバイトオフセット）、出現区分などが格納
される。

【００５７】そして関連キーワード自動抽出動作に際し
ては、各単語に対して出現情報管理部２５に問い合わせ
を行い、当該単語の出現位置や出現文脈などの情報を
得、これを重要度算出に加味する。例えば、検索対象と
する文書すべてが、タイトル（または見出し）、サブタ
イトル、本文、といった要素から構成されている文書で
ある場合、当該単語がこれら要素のうちいずれに含まれ
ているかによって、タイトルに含まれる場合には３点サブタイトルに含まれる場合には２点本文に含まれる場合には１点といったような「重み」を各単語の重要度に乗算する、
といった手法で重要度を算出する。

【００５８】あるいは、出現位置の情報を利用してもよ
い。例えば部分集合が検索式により特定される場合で、
この検索式に含まれる単語が参照可能である場合、検索
式に含まれる単語と、現在重要度計算の対象となってい
る単語との間の文字数が、２文字以内なら３点１０文字以内なら２点１０文字以上なら１点といったような「重み」を当該単語の重要度に乗算す
る、といった手法で重要度を算出することも可能であ
る。

【００５９】また、本実施の形態の別の態様として、各
単語に対して、単語属性情報管理部２６に問い合わせを
行い、当該単語の品詞や分類など、その単語の属性を
得、これを重要度算出に加味する。例えば、当該単語の
品詞に着目し、固有名詞ならば５点普通名詞ならば４点形容詞、形容動詞ならば２点動詞、副詞ならば１点その他自立語でないもの（助詞、助動詞など）ならば０
点といったような「重み」を各単語の重要度に乗算する、
といった手法で重要度を算出することも可能である。

【００６０】また、本実施の形態の別の態様として、あ
る２つの単語間の文字列としての包含関係を判定する文
字列包含関係判定部２７を用いて、抽出された単語同
士、もしくはあらかじめ指定された単語群のうちの一単
語と抽出された単語との間に包含関係があるか否かを判
定し、包含関係があると判定された場合に、抽出する単
語を制限する。ここであらかじめ指定された単語群と
は、例えば部分集合の特定に検索式を利用した場合の検
索式に含まれる単語などである。包含関係の判定におい
ては、あらかじめ定められた設定により、以下の判定基
準のいずれか一つ（または一つ以上）を満たす場合を包
含関係と認定することができる。（１）単語Ａと単語Ｂとが前方において一致しかつ単語
Ａが単語Ｂより短い場合、（２）単語Ａと単語Ｂとが後
方において一致しかつ単語Ａが単語Ｂより短い場合、
（３）単語Ａが単語Ｂの部分でありかつ前方、後方とも
に一致しない場合、（４）単語Ａと単語Ｂとの関係が
（１）〜（３）のいずれかを満たし、かつ単語Ｂの構成
要素と完全に一致する場合、

【００６１】例えば、（１）の基準では「東京都」に対
する「東京」が部分語と判定される。以下、同様にし
て、（２）の基準では「新発売」に対する「発売」が、
（３）の基準では「大感謝祭」に対する「感謝」が、そ
れぞれ部分語と判定される。（４）の基準は、英語にお
ける部分語判定の際に重要であり、この基準に従えば "
artificial intelligence" に対して "art" や "tel
l" は部分語とはならないが、"artificail" や "intel
ligence" は部分語と判定される。

【００６２】上記基準により、部分語関係にあると判定
された２つの語について、そのどちらを関連キーワード
として採用するかについても、以下のいずれかの基準
（あらかじめ設定されているものとする）に従う。（１）長単位の単語を採用する（２）短単位の単語を採用する（３）重要度の高い単語を採用する（４）短単位の単語および長単位の単語と短単位の単
語との差分を採用する

【００６３】例えば、単語「東京都」が重要度１０で、
単語「東京」が重要度７でそれぞれ抽出され、かつ両者
に部分語関係が成立した場合、（１）の基準に従うと文
字列として長い「東京都」が採用され、（２）の基準に
従うと文字列として短い「東京」が採用され、（３）の
基準に従うとより重要度の高い「東京都」が採用される
ことになる。（４）の基準は、例えば単語 "artificial
intelligence" と "artificial" との間に部分語関係
が成立した場合に、"artificial" および "intelligen
ce" を関連キーワードとして採用するものであり、主に
英語文書において効果的である。

【００６４】あらかじめ指定された単語群との間に部分
語関係が成立する単語の場合、（３）以外の手法が利用
できる。その場合、「短単位（もしくは長単位）であれ
ば関連キーワードとして採用しない」といった処理とな
る。抽出された単語同士に部分語関係が成立する場合に
は、いずれの手法も利用可能である。

【００６５】また、本実施の形態の別の態様として、抽
出された関連キーワード群を、各語の属性や統計情報を
利用して分類して提示する。語の属性として品詞を利用
すると、例えば固有名詞とそれ以外に分類して提示する
ことができる。あるいは、語の属性としてシソーラス辞
書を利用し、各語をシソーラスにおける分類に対応する
形で分類して提示することも可能である。また、統計情
報を利用した分類とは、例えば特定された文書集合にお
ける各語の出現文書数により分類する手法などがあげら
れる。その場合、例えば「出現文書数が文書集合の８割
以上であるか否か」といった基準で分類することで、そ
の語が再検索に利用される際の絞り込みの効果を事前に
確認することができる。なお、分類にあたり語の属性と
してシソーラス辞書を利用する場合、分類された単語群
に対して、シソーラスの上位ノードに相当する語を代表
語として与え、単語群をその語で代表させることも可能
である。同様に、単語の統計情報１４を利用する場合に
は、分類された単語群において、例えば最も出現頻度の
高い語を代表語として採用してもよい。

【００６６】このように、本実施の形態によれば、単語
が出現した位置の情報を利用することで、文書の構造や
単語間の距離の情報を考慮した関連キーワードの抽出が
行なえ、高精度な関連キーワード抽出が可能となるとい
う効果を持つ。

【００６７】また、単語の品詞など、各単語の属性情報
を考慮することにより、各属性の特徴に応じた関連キー
ワードの抽出が行なえ、高精度な関連キーワード抽出が
可能となるという効果を持つ。

【００６８】また、単語間の文字列としての包含関係を
考慮することにより、同じような意味や用途である単語
を排除して関連キーワードの抽出が行なえ、関連キーワ
ード全体としての冗長性を抑えることができるという効
果を持つ。

【００６９】また、抽出された関連キーワードを分類
し、必要があれば各分類に対応する代表語を設定するこ
とで、抽出されたキーワードの一覧性や傾向、再利用の
際の有効性などをあらかじめ確認して関連キーワードの
抽出が行なえ、関連キーワードとしての使いやすさを向
上することができるという効果を持つ。

【００７０】（実施の形態６）次に、本発明の第６の実
施の形態について説明する。図７は本発明の第６の実施
の形態に係る文書検索装置の構成およびこれと関連キー
ワード自動抽出装置とを組み合わせて実現した文書検索
システムの構成を示すブロック図である。この文書検索
装置４１は、前記第１，第２，第３、第４または第５の
実施の形態に係る関連キーワード自動抽出装置と連携し
て動作するものである。

【００７１】本実施形態における文書検索装置４１は、
文書検索に必要な条件式を入力する検索条件入力部４４
と、入力された検索条件にしたがって文書の検索を行な
う文書検索部４５と、文書検索部４５において検索され
た文書について入力された検索式と文書との間の適合度
を計算する文書ランキング部４６とを有して成る。この
文書検索装置４１は、連携して動作する関連キーワード
自動抽出装置４８と同一の対象文書集合１１を検索対象
とするものであり、単語統計情報抽出に利用するのと同
一の辞書１２を利用して、あらかじめ索引生成部４２に
より作成された文書検索用の索引４３を利用して検索を
行う。また、本実施形態における関連キーワード自動抽
出装置４８は、文書集合選定部４７を別構成としたもの
であり、関連キーワード自動抽出装置４８には、文書集
合選定部４７が特定した文書の部分集合の各要素に対応
する文書の識別子の集合（一意である文書番号のリスト
など）が入力される。

【００７２】以上の構成を備えた本実施の形態につい
て、その動作を説明する。最初に検索条件入力部４４に
入力された検索条件をもとに、文書検索部４５が検索用
索引４３を参照して検索条件に適合する文書を特定す
る。ここで得られた文書集合をそのまま検索結果文書５
０としてもよいが、さらに文書ランキング部４６におい
て、入力された検索式と文書との間の適合度を計算して
適合度の高い順に文書を整列したものを検索結果とす
る、といった構成にしてもよい。こうして得られた検索
結果の文書集合５０は、ユーザに検索結果として返すの
と同時に、文書集合選定部４７に渡される。文書選定部
４７では、文書ランキング部４６から渡された文書集合
のすべてまたは一部を関連キーワード自動抽出装置４８
への入力として採用する。文書が適合度の順にランキン
グされているのであれば、検索結果の文書集合のうち例
えば上位１０文書を選定する、という構成にしてもよ
い。また、あらかじめ文書ごとに付与された属性情報が
利用できるのであれば、これを利用して特定の属性値を
持つ文書のみを選定する、という構成としてもよい。

【００７３】文書集合選定部４７により特定された文書
の部分集合は関連キーワード自動抽出装置４８に送ら
れ、前記第１，第２，第３，第４または第５の実施の形
態に示したような手順で関連キーワード群４９を抽出す
る。こうして得られた関連キーワード群４９は検索条件
入力部４４に戻され、ユーザに提示される。ユーザは提
示された関連キーワード群から必要なものを選択して新
たな検索条件とし、再度検索を実行させることができ
る。これにより、本実施の形態によれば、関連キーワー
ド自動抽出装置によって上記のようにして得られた関連
キーワードは、同一文書を対象とする文書検索装置への
入力として利用することができ、その場合、対象文書の
特性にあった的確なキーワードを再利用できるだけでな
く、当該関連キーワードは必ず対象文書に含まれること
が保証されるため、これを利用して検索した場合に必ず
検索結果が得られるという効果も持つ。

【００７４】（実施の形態７）次に、本発明の第７の実
施の形態について説明する。図８は本発明の第７の実施
の形態に係る文書検索装置の構成およびこれと関連キー
ワード自動抽出装置とを組み合わせて実現した文書検索
システムの構成を示すブロック図である。この文書検索
装置５１は、第６の実施の形態に係る文書検索装置４１
と同様、前記第１，第２，第３、第４または第５の実施
の形態に係る関連キーワード自動抽出装置と連携して動
作するものである。

【００７５】本実施形態における文書検索装置５１は、
文書検索に必要な条件式を入力する検索条件入力部５４
と、入力された検索条件にしたがって文書の検索を行な
う文書検索部５５とを有して成る。本実施形態における
文書検索装置５１は、連携して動作する関連キーワード
自動抽出装置５２とは異なる対象文書集合５６を検索対
象とするものであり、文書検索部５５が対象文書集合５
６に接続される構成となっている。なお、その検索手法
についての詳細は問わない。

【００７６】以上の構成を備えた本実施形態における動
作について、以下説明する。最初に指定された条件にし
たがって関連キーワード自動抽出装置５２が動作し、関
連キーワード群５３を出力する。文書検索装置５１にお
ける検索条件入力部５４は、関連キーワード群５３を入
力としてユーザに提示し、ユーザは提示された関連キー
ワードのうち必要なもののみを選択して、検索対象とな
る対象文書集合５６に対する検索を実行し、検索結果文
書５７を得ることができる。

【００７７】このように、本実施の形態によれば、関連
キーワード自動抽出装置５２によって得られた関連キー
ワードを同一の対象文書集合または別の対象文書集合を
対象とする文書検索装置５１への入力として利用するこ
とができ、その場合には、関連キーワード抽出の対象と
なった文書集合において特徴的であるキーワードをもと
に、同一または別の文書集合を検索することができ、特
に別の文書集合を検索対象とする文書検索装置の場合
に、当該キーワードを異なった特性を持つ文書集合に対
しても適用することができるという効果をもつ。

【００７８】

【発明の効果】以上説明したように、本発明によれば、
関連キーワード自動抽出装置を、文書の部分集合を特定
する文書集合選定部と、対象文書全体または個々の文書
ごとに出現する単語とその統計情報を管理する単語統計
情報管理部と、文書の部分集合に出現する各単語の重要
度を算出して重要度の順に整列する単語ランキング部と
とにより構成したため、文書全体、および特定された文
書部分集合における各単語の統計情報を高速に求めるこ
とが可能であり、特定された文書集合に出現する各単語
を、その重要度に基づいて高速にランキングし、その一
部を関連キーワードとして提示することができる。

【００７９】また、前記構成に加えて、単語の属性情報
や文書内の出現位置を管理する手段などを設けることに
より、単語の重みを変化させ、あるいはランキング後の
単語群から特定の条件を満たす単語を削除することで、
抽出される単語群の関連語としての精度を向上させるこ
とができる。また、抽出された単語群を、語の属性や統
計的性質により分類することで、よりわかりやすい関連
キーワード提示を行なうことができる。

【００８０】さらに、関連キーワード自動抽出装置と連
携した文書検索装置を含む文書検索システムを構成し、
抽出された関連キーワードを入力として再利用すること
により、抽出された関連キーワードが対象文書の特性に
合ったものであり、かつ検索対象が同一の文書群である
ならば、そのキーワードによって検索結果が少なくとも
１件以上得られることが保障されるため、効率的かつ容
易に再検索を行なうことができる等の効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１乃至第３の実施の形態に係る関連
キーワード自動抽出装置の構成を示すブロック図

【図２】（ａ）前記実施の形態における単語統計情報
の構造を示すテーブル構成図（ｂ）前記実施の形態における文書内単語統計情報の
構造を示すテーブル構成図

【図３】前記実施の形態における関連キーワード自動抽
出動作の処理手順の流れを示す図

【図４】本発明の第４の実施の形態に係る関連キーワー
ド自動抽出装置の構成を示すブロック図

【図５】本発明の第５の実施の形態に係る関連キーワー
ド自動抽出装置の構成を示すブロック図

【図６】前記実施の形態における単語出現位置情報抽出
部によって抽出された出現位置情報のデータ構造の一例
を表すテーブル構成図

【図７】本発明の第６の実施の形態に係る文書検索装置
の構成構成およびこれと関連キーワード自動抽出装置と
を組み合わせて実現した文書検索システムの構成を示す
ブロック図

【図８】本発明の第７の実施の形態に係る文書検索装置
の構成およびこれと関連キーワード自動抽出装置とを組
み合わせて実現した文書検索システムの構成を示すブロ
ック図

【符号の説明】

１１、５６対象文書集合１２辞書１３統計情報抽出部１４単語統計情報１５文書内単語統計情報１６、２９、４８、５２関連キーワード自動抽出装置１７単語統計情報管理部１８単語ランキング部１９文書集合選定部２０条件入力部２１、４９、５３関連キーワード群２２閾値設定２３単語出現位置情報抽出部２４出現位置情報２５出現情報管理部２６単語属性情報管理部２７文字列包含関係判定部２８代表語付与部４１、５１文書検索装置４２索引生成部４３検索用索引４４、５４検索条件入力部４５、５５文書検索部４６文書ランキング部４７文書集合選定部５０、５７検索結果文書

───────────────────────────────────────────────────── フロントページの続き (72)発明者野本昌子大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者稲葉光昭大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者福重貴雄大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】辞書を用いて対象文書集合の各文書に出
現する単語または単語の組の出現頻度や分布などの統計
情報があらかじめ抽出されている文書集合に対して、各文書に付与された属性情報やユーザが入力した検索式
などに基づいて文書の部分集合を特定する文書集合選定
部と、各単語の対象文書全体における統計情報、および
各文書ごとの当該文書に出現する単語とその統計情報を
管理する単語統計情報管理部と、各単語の全文書および
各文書ごとの統計情報を基に、特定された部分集合に出
現する各単語の重要度を算出して重要度の順に整列する
単語ランキング部とを有し、整列された単語群のうちの
特定部分のみについて、単語もしくは単語とその重要度
の組を抽出し、これを再利用可能な形で提示するように
したことを特徴とする関連キーワード自動抽出装置。
【請求項２】前記構成において、特定された部分集合
Ａに対して、これに含まれる部分集合Ｂが文書集合選定
部により特定された場合に、部分集合Ａに含まれる文書
群に出現する単語の統計情報と、部分集合Ｂに含まれる
文書群に出現する単語の統計情報との差分を、部分集合
Ｂにおける各単語の重要度に加味することで、部分集合
Ｂに出現する各単語の重要度を算出して単語ランキング
に反映することを特徴とする請求項１に記載の関連キー
ワード自動抽出装置。
【請求項３】文書集合選定部に各文書の重みを付与す
る機能を設け、特定された文書集合の各文書に含まれる
単語の重要度に当該文書の重みを加味することにより当
該単語の重要度を算出して単語ランキングに反映するこ
とを特徴とする請求項１または２に記載の関連キーワー
ド自動抽出装置。
【請求項４】対象文書集合全体において出現度合いが
高頻度または低頻度である単語をあらかじめ定められた
閾値を考慮して除外することにより、再利用の際に有効
性の高い単語のみが選別できることを特徴とする請求項
１乃至３のいずれかに記載の関連キーワード自動抽出装
置。
【請求項５】単語の長さなどその単語の特徴量に応じ
て除外のための閾値を変化させることにより再利用の際
に有効性の高い単語のみが選別できることを特徴とする
請求項４に記載の関連キーワード自動抽出装置。
【請求項６】単語の出現位置や出現する文脈の情報を
管理する出現情報管理部を有し、単語の重要度にその単
語の出現情報の種類に応じてあらかじめ定められた重み
を加味することにより当該単語の重要度を算出して単語
ランキングに反映することを特徴とする請求項１乃至５
のいずれかに記載の関連キーワード自動抽出装置。
【請求項７】単語の品詞など、各単語の属性情報を管
理する言語属性管理部を有し、当該単語の属性に応じて
あらかじめ定められた重みを加味することにより当該単
語の重要度を算出して単語ランキングに反映することを
特徴とする請求項１乃至６のいずれかに記載の関連キー
ワード自動抽出装置。
【請求項８】抽出された単語同士、またはあらかじめ
指定された単語群と抽出された単語との間の文字列とし
ての包含関係を、定められた条件により判定する文字列
包含関係判定部を有し、当該単語同士に文字列としての
包含関係があると判定された場合に、指定された条件に
従って、長単位の文字列のみ、もしくは短単位の文字列
のみ、もしくは重要度の高い方の文字列のみ、もしくは
短単位の文字列および長単位の文字列と短単位の文字列
との差分の双方、のいずれかを選択することにより、再
利用の際に有効性の高い単語のみが選別できることを特
徴とする請求項１乃至７のいずれかに記載の関連キーワ
ード自動抽出装置。
【請求項９】単語の品詞など、各単語の属性情報を管
理する言語属性管理部を有し、当該単語の属性や、指定
された部分集合または文書全体における出現頻度、分布
等を考慮することにより、抽出された単語を分類して提
示できることを特徴とする請求項１乃至８のいずれかに
記載の関連キーワード自動抽出装置。
【請求項１０】分類された単語群のそれぞれについ
て、その集合を代表する単語を付与する代表語付与部を
設け、分類された単語群を代表する代表語群のみ、もし
くは代表語と全ての単語を提示できることを特徴とする
請求項９に記載の関連キーワード自動抽出装置。
【請求項１１】辞書を用いて対象文書集合の各文書に
出現する単語または単語の組の出現頻度や分布などの統
計情報があらかじめ抽出されている文書集合に対して、文書検索に必要な条件式を入力する検索条件入力部と、
入力された検索条件にしたがって対象文書集合から文書
の検索を行なう文書検索部と、文書検索部４５において
検索された文書について、入力された検索式と文書との
間の適合度を計算する文書ランキング部４６とを有して
成り、文書ランキング部におけるランキング結果を関連
キーワード自動抽出装置へ送付し、また関連キーワード
自動抽出装置からフィードバックされた関連キーワード
を検索条件入力部へ入力することが可能な文書検索装
置。
【請求項１２】文書検索に必要な条件式を入力する検
索条件入力部と、入力された検索条件にしたがって対象
文書集合から文書の検索を行なう文書検索部とを有して
成り、前記検索条件入力部は、ユーザが検索条件を入力
するのに加えて関連キーワード自動抽出装置から送られ
てきた関連キーワードを検索条件として入力することが
可能な文書検索装置。
【請求項１３】辞書を用いて対象文書集合の各文書に
出現する単語または単語の組の出現頻度や分布などの統
計情報があらかじめ抽出されている文書集合に対して、
文書検索に必要な条件式を入力する検索条件入力部と、
入力された検索条件にしたがって対象文書集合から文書
の検索を行なう文書検索部と、文書検索部４５において
検索された文書について、入力された検索式と文書との
間の適合度を計算する文書ランキング部４６とを有して
成る文書検索装置と、前記文書検索装置に接続された関連キーワード自動抽出
装置とから構成され、前記文書検索装置の文書ランキング部から出力されたラ
ンキング結果を関連キーワード自動抽出装置へ送付し、
また関連キーワード自動抽出装置から文書検索装置の検
索条件入力部へ関連キーワードをフィードバックしてキ
ーワード検索を行なうようにしたことを特徴とする文書
検索システム。
【請求項１４】文書検索装置と関連キーワード自動抽
出装置との間には文書集合選定部が設けられ、文書検索
装置の文書ランキング部から出力されたランキング結果
は文書集合選定部に送付されて文書の特定が行なわれ、
前記関連キーワード自動抽出装置４８には、文書集合選
定部４７が特定した文書の部分集合が入力されることを
特徴とする請求項１３記載の文書検索システム。
【請求項１５】関連キーワード自動抽出装置には、請
求項１乃至１０のいずれかに記載の関連キーワード自動
抽出装置が用いられることを特徴とする請求項１３また
は１４記載の文書検索システム。
【請求項１６】文書検索に必要な条件式を入力する検
索条件入力部と、入力された検索条件にしたがって対象
文書集合から文書の検索を行なう文書検索部とを有して
成る文書検索装置と、前記文書検索装置に接続された関連キーワード自動抽出
装置とから構成され、前記文書検索装置の検索条件入力部は、ユーザが検索条
件を入力するのに加えて関連キーワード自動抽出装置か
ら送られてきた関連キーワードを検索条件として入力し
てキーワード検索を行なうようにしたことを特徴とする
文書検索システム。
【請求項１７】関連キーワード自動抽出装置には、請
求項１乃至１０のいずれかに記載の関連キーワード自動
抽出装置が用いられることを特徴とする請求項１６記載
の文書検索システム。