JPH05266087A

JPH05266087A - 全文検索装置

Info

Publication number: JPH05266087A
Application number: JP4064733A
Authority: JP
Inventors: Ikuo Karashi; 育雄芥子; Hiroyuki Kanza; 浩幸勘座; Naotoshi Maruyama; 直利丸山; Takao Inui; 隆夫乾
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1992-03-23
Filing date: 1992-03-23
Publication date: 1993-10-15

Abstract

(57)【要約】【目的】全文検索装置の、検索精度のコントロールを
容易にする。【構成】検索要求入力手段１によって検索単語列を入
力し、オートマトン蓄積手段４、データ制御手段５によ
って、テキストを段落単位に、さらにパラグラフ単位に
分割する。各パラグラフにつき、検索単語列が何割含ま
れるかをアイテム評価手段７によって評価し、１段落に
含まれるすべてのパラグラフの評価値をレコード評価手
段９によって合計することにより、表示手段１０が所定
の基準値とその評価値とを比較してその抽出単位を抽出
するか否かを決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自然文または単語列で
表現されたテキスト全文を検索対象とし、テキスト中
の、所望の主題と関連する部分を抽出するための全文検
索装置（フルテキストデータベース）に関する。

【０００２】

【従来の技術】この種の技術の基礎的文献として下の２
つの文献が知られている。

【０００３】（１）Aho, A. V., Corasick, M. J. : Ef
ficient String Matching : An Aidto Bibliographic S
earch, Comm. ACM, VOL.18, NO.6 (1975), pp.333-340 （２）Arikawa, S., Shinohara, T. : A Run-Time Effi
cient Realization ofAho-Corasick Pattern Matching
Machines, New Ganeration Computing, Vol.2, No.2, p
p.171-186 (1984) 上述の２つの文献のうち、文献（１）は、オートマトン
によるこの種の全文検索の基本アイディアを開示したも
のであり、文献（２）は、文献（１）に示される基本ア
イディアを効率的に実現するための方法を開示してい
る。

【０００４】このような技術に基づく従来の全文検索装
置として、以下のようなものが知られている。

【０００５】（ａ）検索者が、検索したい主題に関連
する複数のキーワードと、それら複数のキーワードの間
に定める論理演算とを入力し、これらキーワードとその
論理演算とによって規定される条件を満足するテキスト
を抽出することによって、所望の主題に関連するテキス
トを検索する装置。

【０００６】（ｂ）検索者が、キーワードを入力し、
入力されたキーワードの出現頻度が高いテキストを、所
望の主題と関連するテキストとして検索する装置。

【０００７】検索のための条件を入力する方法として、
自然文を採用する全文検索装置もある。この種の全文検
索装置においては、入力された自然文からキーワードを
抽出し、さらに、上述した（ａ）、（ｂ）のいずれかの
方式に従って所望の主題に関連するテキストを検索して
いる。

【０００８】

【発明が解決しようとする課題】従来の全文検索装置の
うち、前者の全文検索装置では、入力されたキーワード
の論理演算式を満足しないテキストは検索されない。そ
のためたとえば、複数のキーワードを論理演算“ＡＮ
Ｄ”で結んで検索すれば検索漏れが多くなり、“ＯＲ”
のみで結んで検索すると、主題とはあまり関連のないテ
キストが多くなってしまう。すなわち、この方式に従え
ば、検索漏れを少なくし、かつ検索精度を上げるために
は、検索者が入力すべき論理演算式を設定することが難
しく、検索者の負担となっているという問題がある。

【０００９】後者の全文検索装置では、検索者がキーワ
ード間の論理演算式を考える必要はない。しかし、検索
者が入力したキーワードの出現頻度によってテキストを
検索するために、キーワードの出現頻度によって、抽出
されたテキストに主題との関連付けについてのランクを
つけることは可能であるが、指定されたキーワードに偏
りがあったり、検索された文章中にキーワードの分布の
偏りがあったりした場合には、精度の高い検索結果を提
示することはできず、仮にランク付けした場合にもその
ランクが、検索されたテキストの、主題との関連の度合
いを正確に表わしているものとは言えないという問題点
があった。

【００１０】それゆえにこの発明の目的は、検索のため
に、煩雑な検索論理式を考える必要なく、かつ検索精度
を容易にコントロールすることができる全文検索装置を
提供することである。

【００１１】

【課題を解決するための手段】この発明に係る全文検索
装置は、自然文または単語列で表現される電子化テキス
ト全文を検索し、所望の主題と関連する部分を抽出する
ためのものであって、主題に関連する所望の１または複
数種類の検索単語列を入力するための検索単語列入力手
段と、テキストを、所定の基準に従って抽出単位に分割
するとともに、各抽出単位をさらに所定の基準に従って
評価単位に分割するためのテキスト分割手段と、各評価
単位に検索単語列が何種類含まれるかに従って異なる重
み付けで、各評価単位を評価するための第１の評価手段
と、各抽出単位に含まれる評価単位の評価の合計によっ
て各抽出単位の主題該当性を評価するための第２の評価
手段と、第２の評価手段の出力に応答して、主題該当性
が所定の基準を上回る抽出単位を抽出するための抽出手
段とを含む。

【００１２】

【作用】本発明に係る全文検索装置においては、検索対
象となるテキストがまず抽出単位に分割され、各抽出単
位はさらに評価単位に分割される。そして、各評価単位
に、検索単語列が何種類含まれるかに従って異なる重み
付けで、第１の評価手段によって各評価単位が評価され
る。抽出単位の評価は、その抽出単位に含まれる評価単
位の評価の合計に基づき、第２の評価手段によって行な
われ、その結果に従って主題該当性が所定の基準を上回
る抽出単位のみが抽出される。したがって、検索単語列
を含む評価単位が多いほど抽出単位の評価値も増加する
とともに、それだけではなく、１つの評価単位中に含ま
れる検索単語列の種類が多くなればなるほどその評価単
位の評価が高く、したがってその評価単位を含む抽出単
位の評価も高くなる。したがって、抽出単位を抽出する
ための評価が、検索単語の出現頻度のみではなく、その
出現密度によっても測られることになる。

【００１３】

【実施例】以下、図を参照して本発明に係る全文検索装
置の一実施例を詳細に説明する。なお、以下の説明にお
いて「レコード」は抽出単位を、「アイテム」は評価単
位をそれぞれ示し、たとえばレコードが段落に、アイテ
ムがパラグラフにそれぞれ対応する。

【００１４】図１を参照して、本発明に係る全文検索装
置は、検索要求入力手段１と、有限状態オートマトン生
成手段２と、データ制御手段５と、アイテム評価手段７
と、レコード評価手段９と、表示手段１０と、データ蓄
積手段３と、オートマトン蓄積手段４と、キーワードバ
ッファ６と、アイテムバッファ８とを含む。各ブロック
２、７、９、１０、３、４、６、８は、データ制御手段
５によって制御されるバス１１によって互いに接続され
ている。

【００１５】検索要求入力手段１は、レコードデリミ
タ、アイテムデリミタ、検索のための条件を指定する質
問および各レコードの評価の結果そのレコードを抽出す
るか否かを決定する際の基準となる基準得点とを、利用
者によって入力させる。入力される質問としては、複数
の単語列でも自然文でもどちらでもよい。自然文が質問
として入力される場合には、形態素解析技術を適用し
て、複数の自立語からなる単語列を抽出することによっ
て、単語列が入力された場合と同様の扱いをする。

【００１６】レコードデリミタとは、レコード（本実施
例の場合には段落）を分離するための記号である。段落
を抽出単位とする場合には、デリミタは「連続する改行
マーク」となるので、利用者はこの場合「ＣＲ（改行）
ＣＲ（改行）」と入力することになる。アイテムデリミ
タとは、アイテム（本実施例の場合にはパラグラフ）を
分離する記号であって、アイテムデリミタは「ＣＲ（改
行）」と入力する。

【００１７】有限状態オートマトン生成手段２は、検索
要求入力手段１を用いて利用者が入力したレコードデリ
ミタ、アイテムデリミタ、質問中の単語列をそれぞれ検
出するためのオートマトンを生成する。生成されたオー
トマトンはオートマトン蓄積手段４に格納される。効率
的なオートマトン生成手段については、前述した文献
（ｂ）などに記載がある。なお、ここで生成されるオー
トマトンについては図３を参照して後述する。

【００１８】データ蓄積手段３は、検索対象となってい
る文章を蓄積する。キーワードバッファ６は、オートマ
トン蓄積手段４に蓄積されているオートマトンの検出対
象となる各単語列につき、文章中の各単語列の出現数を
計数するためのカウンタである。キーワードバッファ６
は、検索処理前にすべて０に初期化されている。

【００１９】アイテムバッファ８は、検索対象となって
いる文章中の１パラグラフにおいて計数されたキーワー
ドバッファ６の内容を、後述する評価手法に従って評価
した得点を格納するためのものである。アイテムバッフ
ァ８の内容は、１レコードの評価終了後、次のレコード
の評価開始前に０に初期化される。

【００２０】データ制御手段５は、データ蓄積手段３に
格納されている文章を、そのデータがなくなるまで順番
にオートマトン蓄積手段４に流す。データ制御手段５は
さらに、オートマトン蓄積手段４によって所定の単語列
（キーワード）が検出された場合、キーワードバッファ
６内の対応するカウンタを計上する。

【００２１】アイテム評価手段７は、オートマトン蓄積
手段４によってアイテムデリミタまたはレコードデリミ
タが検出されることによって制御をデータ制御手段５か
ら受取り、以下のように動作する。まずアイテム評価手
段７は、キーワードバッファ６内の各カウンタに基づ
き、後述する手法に従って処理中のアイテムの得点を評
価し、アイテムバッファ８に格納する。アイテム評価手
段７は、続いてキーワードバッファ６内の各カウンタを
０に初期化する。検出されたデリミタがアイテムデリミ
タの場合には、アイテム評価手段７はデータ制御手段５
に再び制御を戻す。デリミタがレコードデリミタの場合
には、アイテム評価手段７は制御をレコード評価手段９
に渡す。

【００２２】レコードデリミタが検出された場合、レコ
ード評価手段９は、アイテムバッファ８に格納されてい
る各アイテムの得点を合計することにより、処理対象の
レコードの評価得点を算出する。レコード評価手段９
は、評価結果と共に制御を表示手段１０に渡す。

【００２３】表示手段１０は、レコード評価手段９から
与えられた処理対象のレコードの得点が、検索要求入力
手段１によって利用者が予め入力した基準得点よりも高
い場合には、処理対象のレコードの内容を表示し、制御
をデータ制御手段５に戻す。この場合処理対象のレコー
ドが長く、その全体を一度に表示できない場合には、表
示手段１０は最も得点が高いパラグラフの先頭から数行
だけ、そのパラグラフが格納されているファイル名と共
に表示する。利用者はこの表示を見ることにより、抽出
されたパラグラフの、主題と最も関連すると思われる部
分を確認することができるとともに、このパラグラフの
所在を知ることができる。レコードの得点が予め入力さ
れた基準得点よりも低い場合には、表示手段１０はこの
レコードの抽出をせず、直ちにデータ制御手段５に対し
て制御を戻す。

【００２４】データ制御手段５は、以上のような処理を
繰返しながらデータ蓄積手段３に格納されている文章の
終わりに達するまでこれら各ブロックの動作を制御す
る。

【００２５】アイテム評価手段７によるパラグラフの評
価は、たとえば以下のように行なわれる。１つのパラグ
ラフにつき、キーワードとして指定された１または複数
種類の単語列のうち、何割の単語列がそのパラグラフに
含まれるかによって異なる重み付けで、各アイテムに得
点を与える。段落の評価は、その段落を構成する各パラ
グラフに与えられた得点の和によって求める。入力され
たキーワードとしての単語列の数が予め知られているわ
けであるから、単語列の何割を含むかを計算するために
は、何種類の単語列が検出されたかを評価するだけでよ
い。そして、キーワードとして指定された単語列の何割
がパラグラフ中に含まれるかによって各パラグラフに与
えられる得点を変えることにより、キーワードの出現頻
度だけでなく、その密度についての評価も加えて、段落
の抽出を行なうことができる。

【００２６】各パラグラフの得点付けの方法として、以
下の表１に示されるような得点付け方法がある。

【００２７】

【表１】表１のような得点付け手法によれば、以下のような得点
付けが行なわれる。たとえば、利用者がキーワードとし
て「シャープワープロ文章検索新発売」という
５つの単語列を入力した場合を考える。１つのアイテム
に上述の５つの単語すべてが含まれる場合には、出現率
としては１００％となるから、そのアイテムに与えられ
る得点は１０点となる。一方、５つのパラグラフにキー
ワードが１つずつしか含まれていない場合には、５つの
キーワードのうちの１つしか発見されないわけであるか
ら各パラグラフにおけるキーワードの出現率は２０％と
なり、各パラグラフに与えられる得点は１点ずつとな
る。そのため、５つのパラグラフを合計しても５点にし
かならない。

【００２８】したがって、仮に１０点が与えられたアイ
テム以外に１段落中に得点０のパラグラフが４つ含まれ
ている場合であっても、その段落の得点の方が、各パラ
グラフに一語ずつ含む段落よりも得点が高くなる。段落
単位でみた場合にはキーワードの出現頻度は同じである
から、上述のような得点付け手法を行なうことにより、
段落中のキーワードの出現頻度が高いほど、かつ各単語
の、段落中の出現の密度が高いほど、その段落の得点は
高くなる。上述の「密度」とは、段落中の一部（たとえ
ば１パラグラフ）に含まれる異なるキーワードの数を指
すものとする。

【００２９】すなわち、上述のような本発明による全文
検索装置を用いることによって、抽出単位（レコード）
と、評価単位（アイテム）とが指定でき、検索要求とし
て利用者が入力した、キーワードとしての複数の異なる
単語列の、抽出単位中における出現頻度のみならずその
密度をも考慮して各レコードの得点付けを行なうことが
できる。そして得点付けの結果、予め利用者が指定した
得点よりも高い得点を持つレコードのみが出力されるた
めに、所望の文章中の、利用者が調査しようとする主題
に関連した情報を容易に検索できる。

【００３０】なお、上述の説明ではレコードデリミタと
アイテムデリミタとを共に利用者によって入力するよう
にしたが、本発明はこれには限定されず、これらデリミ
タについて、予めデフォルト（暗黙）値として与えられ
たデリミタを利用することもできる。また基準得点とし
ても利用者が入力するようにしたが、この得点もデフォ
ルト値として与えることも可能である。ただし、検索の
精度を容易に制御するためには、この基準得点は容易に
変更できることが必要である。

【００３１】図２は、本発明に係る全文検索装置の処理
フロー図である。具体例と共に各ステップについて説明
する。

【００３２】ステップＳ０１では、レコードデリミタを
利用者に入力させる。前述のように段落を抽出単位とす
る場合には、レコードデリミタとして「ＣＲ（改行）Ｃ
Ｒ（改行）」と入力する。

【００３３】ステップＳ０２では、アイテムデリミタを
入力させる。レコードが段落である場合には、アイテム
はパラグラフとなり、そのデリミタは前述のように「Ｃ
Ｒ（改行）」である。なお、このステップＳ０１、Ｓ０
２の処理は、デリミタをデフォルト値として予め提供す
るならば省略することもできる。

【００３４】続いてステップＳ０３では、利用者に質問
文を入力させる。この質問文としてはたとえば「文章構
成文体統一書院シャープワープロ」のように、
キーワードとしての各単語列を互いにスペースで区切っ
て入力させる。なお、この質問文の入力では、前述のよ
うに自然文を入力させ、形態素解析技術を用いて自立語
を抽出し、それら自立語をキーワードとしての単語列と
することもできる。

【００３５】続いてステップＳ０４では、段落抽出の際
の、各段落の基準得点を利用者によって入力させる。こ
こで、望ましくは、システムは、Ｓ０１で入力されたレ
コードデリミタと、ステップＳ０３で入力されたキーワ
ードの単語数とから、基準得点（ＲＫ１）として最適な
得点と思われる値をデフォルト値として表示する。たと
えばレコードが段落で、ステップＳ０３で入力された質
問文の単語数が５個である場合には、デフォルト値は２
０点とする。利用者は、検索精度を上げたければ、表示
されたデフォルト値よりも高い基準得点を、検索漏れを
防いで抽出段落を多くしようと思えば低い得点を入力す
る。検索を何度か繰返すことにより、利用者は最適な基
準得点の設定を学習することができ、利用者の目的に合
った検索ができるようになることが期待される。

【００３６】ステップＳ０５では、ステップＳ０１〜Ｓ
０３で入力された各デリミタ、キーワードとしての単語
列を認識するためのオートマトンが生成される。オート
マトンの一部を図３に示す。

【００３７】図３を参照して、実線で表わされたアーク
はｇｏｔｏ関数を表わし、破線で表わされたアークはｆ
ａｉｌｕｒｅ関数を示す。図３中、○印はそれぞれ状態
１〜１２を表わし、下線が付された文字列は、各状態に
おける出力を表わす。さらに、「¬｛ … ｝」は、
｛｝内に記載された文字以外のすべての文字を表わ
す。

【００３８】また図３に示されるオートマトンにおいて
は、デリミタ、単語列の認識は以下のようにして行なわ
れる。まず状態１において、入力される文字列のうちの
１文字が検査され、その文字が「文」「書」「ＣＲ」…
である場合にはそれぞれ状態２、状態９、状態１１等に
遷移する。各状態では、後続する１文字についての検査
を行ない、各実線のアークに示される文字と一致した場
合にはそのアークに従って次の状態に遷移する。その状
態から出るすべてのアークに割当てられた文字との一致
が見出せない場合には破線のアークに従って状態遷移を
行なう。なお、図３においては状態６、１２以外のすべ
ての状態からは、状態１への破線のアークが想定されて
いるが、図３においてはその図示を省略している。この
破線のアークに従った遷移では、次の文字を読まず、単
に状態のみを変える。そして、各下線が引かれた文字列
が付された状態にまで遷移したときにその文字列がオー
トマトンの出力として出力される。

【００３９】再び図２を参照して、ステップＳ０６で
は、ステップＳ０５で生成されたオートマトンに対し
て、検索対象となる文章を順に与える。

【００４０】ステップＳ０７では、オートマトンの出力
がキーワードの単語列であるかどうかについての判断を
行なう。キーワードのヒットがあった場合には制御はス
テップＳ０８に進み、キーワードバッファ中の、検出さ
れたキーワードに対応するカウンタを１加算し、ステッ
プＳ０９に進む。キーワードでない場合には処理は直接
ステップＳ０９に進む。

【００４１】ステップＳ０９では、オートマトンの出力
がアイテムデリミタ（ＩＤ）であるかどうかについての
判断を行なう。アイテムデリミタである場合には処理は
ステップＳ１０に進み、これまでに行なわれた処理によ
り、キーワードバッファ中のカウンタがいかなる状態で
あるかを調べ、その状態に従って処理対象のアイテム
（パラグラフ）の評価を行なう。この評価は、表１を参
照して既に説明した得点付け手法によって行なう。得ら
れたアイテム（パラグラフ）の得点は、図１に示される
アイテムバッファ８に格納される。たとえば現在の設例
では、質問文中の単語数が５個である。表１に従えば、
５個ともパラグラフ中に含まれる場合にはそのパラグラ
フの得点は１０点、４個のみが含まれる場合であれば７
点、３個のみが含まれる場合であれば５点、２個のみ含
まれる場合には３点、１個のみであれば１点、１つも含
まれなければ０点となる。

【００４２】続いてステップＳ１１では、オートマトン
の出力がレコードデリミタ（ＲＤ）であるか否かについ
ての判断を行なう。出力がレコードデリミタである場合
には処理はステップＳ１２に進み、処理対象となってい
るレコード（段落）の得点（ＲＫ２）を、アイテムバッ
ファ中の各アイテムの得点を合計することにより算出す
る。

【００４３】ステップＳ１２の後処理はステップＳ１３
に進む。ステップＳ１３では、ステップＳ１２で算出さ
れたそのレコードの得点（ＲＫ２）と、ステップＳ０４
で入力された基準得点（ＲＫ１）との比較を行なう。Ｒ
Ｋ２がＲＫ１よりも大きいか等しい場合には処理はステ
ップＳ１４に進むが、それ以外の場合には処理は直接ス
テップＳ１５に進む。

【００４４】ステップＳ１４では、処理対象の段落に与
えられた得点が、基準得点以上であることから、このレ
コードを抽出することとし、図１に示される表示手段１
０によって表示する。ステップＳ１４の後処理はステッ
プＳ１５に進む。

【００４５】ステップＳ１５では、データ蓄積手段３
（図１参照）に文章がまだ残っているかどうかについて
の判断を行なう。文章がまだ残っている場合には処理は
ステップＳ０６に戻ってステップＳ０６以下の処理を繰
返し行なう。一方文章が残っていない場合にはステップ
Ｓ１５からステップＳ１６に処理が進み、処理を終了す
る。

【００４６】なお、上述の実施例では、１パラグラフに
何種類のキーワードが含まれるかによって異なる重み付
けで評価を行なったが、さらに、各キーワードの出現数
によって重み付けを変化させても良い。

【００４７】

【発明の効果】以上のようにこの発明によれば、キーワ
ードとしての単語列の出現頻度のみならず出現密度によ
っても、各抽出単位の、検索の主題との関連性を評価す
ることができる。そして、その評価値と所定の基準値と
を比較することにより抽出単位を抽出するか否かが決定
される。そのために、所定の基準値を高くすれば検索精
度を上げることができ、基準値を下げれば検索漏れを少
なくすることができる。検索精度のコントロールにおい
て、従来のように煩雑な検索論理式を考える必要がな
く、検索精度を容易にコントロールすることができる全
文検索装置を提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る全文検索装置のブロッ
ク図である。

【図２】本発明の一実施例に係る全文検索装置の処理フ
ロー図である。

【図３】オートマトンの一例を示す状態遷移図である。

【符号の説明】

１検索要求入力手段２有限状態オートマトン生成手段３データ蓄積手段４オートマトン蓄積手段５データ制御手段６キーワードバッファ７アイテム評価手段８アイテムバッファ９レコード評価手段１０表示手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者乾隆夫大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】自然文または単語列で表現された電子化
テキスト全文を検索し、所望の主題と関連する部分を抽
出するための全文検索装置であって、主題に関連する所望の１または複数種類の検索単語列を
入力するための検索単語列入力手段と、テキストを、所定の基準に従って抽出単位に分割すると
ともに、各前記抽出単位をさらに所定の基準に従って評
価単位に分割するためのテキスト分割手段と、各前記評価単位に前記検索単語列が何種類含まれるかに
従って異なる重み付けで、各前記評価単位を評価するた
めの第１の評価手段と、各前記抽出単位に含まれる評価単位の評価の合計によっ
て、各前記抽出単位の主題該当性を評価するための第２
の評価手段と、前記第２の評価手段の出力に応答して、主題該当性が所
定の基準を上回る抽出単位を抽出するための抽出手段と
を含む、全文検索装置。