JP3497243B2 - 文書検索方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、英語のように文字種の
少ない表音文字によって構成され、かつスペースによっ
て単語が識別できる文書のデータベースから、所望の文
書を探索する文書検索システムに係わり、特に文書の全
文を対象として、指定した文字列の存在を探索するフル
テキストサーチにおける文書検索方法及び装置に関す
る。

【０００２】

【従来の技術】従来、インデクス情報を用いない文書検
索システムとして、登録時に文書を文字コード化したテ
キストとして直接計算機に登録し、検索時にテキストデ
ータベース内の全てのテキストの内容を読んで、指定さ
れた検索文字列（以下、検索タームと呼ぶ）を含む文書
を探し出すフルテキストサーチが提案されている。この
フルテキストサーチは、テキストデータベースを構成す
る全文書についてテキストファイル全体を先頭から１文
字ずつ走査して、指定された検索タームが存在するか否
かを調べることが特徴である。こうすることにより、検
索タームを含む文書の識別子等を記述したインデクスフ
ァイルがなくとも、テキストデータベースのテキスト本
体を手掛かりにして検索することが可能となる。しか
し、このフルテキストサーチ方式は、テキストファイル
全体を先頭から全て走査するために検索処理に時間が掛
かり、大規模なデータベースに適用できないという問題
があった。

【０００３】この処理時間の問題に対して、「特開平３
−１７４６５２号」に示されているように、専用のハー
ドウェアを使用することによってテキストデータの読出
しと検索タームの探索処理の高速化を図るとともに、テ
キストをサーチする前にテキストデータを予め情報圧縮
しておいた補助ファイルをサーチし、テキスト本体をサ
ーチする文書件数を絞り込むことによって等価的に高速
なフルテキストサーチを実現する情報検索装置を提案し
た。以下、本公知例の特徴である階層プリサーチについ
て説明する。階層プリサーチとは、テキストを検索する
前に予め情報圧縮しておいた２つの補助ファイル、すな
わち「文字成分表」と「凝縮テキスト」を階層的にサー
チして検索タームに関連のない文書を検索対象からふる
い落とし、テキストをサーチする文書件数を減らすこと
によって、等価的に検索速度を加速する方式である。ま
ず文字成分表のサーチで文字単位の絞り込みを行い、次
にこの文字成分表サーチで絞り込まれた文書に対し凝縮
テキストのサーチで単語単位の絞り込みを行う方式であ
る。しかし、この文字成分表サーチでは、登録テキスト
の１文字単位の情報しか文字成分表に持たないため、検
索タームに用いた文字をすべて含む文書を検索候補とす
ることになる。例えば“日の出”が検索タームの場合、
テキスト中に“日”、“の”および“出”の３文字が文
書のどこかに存在すれば文字成分表サーチでヒットして
しまう。すなわち、実際には検索ターム“日の出”を含
まないのに含んでいるとみなされる文書（以下、ノイズ
という）がサーチ結果として多数出力されるという問題
がある。このような場合は凝縮テキストサーチの対象と
なる文書件数を削減することができないため、凝縮テキ
ストサーチに時間が掛かり、十分な検索レスポンスが得
られないことになる。

【０００４】この問題を解決する方法として「特開平５
−１７４０６４号」で、文字成分を複数の文字の組み合
わせとすることによって、単一文字より高い絞り込み率
を得る連接文字成分表方式を提案した。すなわち、登録
時に文書内に予め定められた２文字以上の文字数の文字
列が存在するか、しないかという情報を補助ファイルに
登録しておき、検索する際、凝縮テキストをサーチする
前に検索タームを定められた文字数の文字列に分割し、
そのすべての文字列が含まれる文書をこの補助ファイル
を参照して抽出することにより、サーチする必要のない
文書をふるい落す方式である。この方式では、テキスト
ファイル以外に補助ファイルとして複数文字連接による
文字成分表と凝縮テキストを用いることにより、入力さ
れた検索タームに関連しない文書を部分文字列レベルで
高精度にふるい落すことができる。例えば、図２に示す
ようテキストデータベース（文書１，文書２，・・・，
文書Ｎ）を検索する場合、“イラン”という検索ターム
では矢印で示したエントリが検索エントリとなるが、単
一文字成分表の場合は“ライオン”や“オンライン”な
どを含む文書、すなわち文書１も文書２も“イ”，
“ラ”および“ン”が含まれるため、“イラン”という
文字列がないにもかかわらず文字成分表で検索されてし
まい、ノイズとなってしまう。これに対し、連接文字成
分表の場合は“イラ”と“ラン”の両方が含まれる文書
は文書Ｎだけに特定され、単一文字成分表の場合のよう
なノイズが混入しない。このように連接文字成分表を用
いることにより、文書１と文書２のように検索タームを
構成する文字が無関係に含まれている文書を検索対象か
ら削除し、単一文字成分表よりも余分な凝縮テキストサ
ーチを省くことができる。その結果、等価的に高速なフ
ルテキストサーチが実現できることになり、大規模なテ
キストデータベースでも実用的な検索レスポンスでフル
テキストサーチを実行することが可能となる。

【０００５】この連接文字成分では、例えば２文字の連
接文字成分表の場合、全文字種の二乗の文字の組み合わ
せすべてについて、その文字成分を記録する必要があ
る。本公知例では、連接文字成分のテキスト内の出現頻
度を基に複数の連接文字成分の有無を１つの情報（これ
を格納する領域をエントリと呼ぶ）に持たせるようにす
る方法（ハッシングと呼ぶ）を用いることで、文字成分
表の容量を削減し、かつ絞り込み率の低下も抑えるよう
に工夫をしている。

【０００６】

【発明が解決しようとする課題】以上説明した従来例に
おける文字成分表サーチは、表意文字である日本語の場
合には文字種も多く二文字連接にするだけでも効果が現
れる。しかし、英語などのように文字種が少なく文字の
並びで意味を持つ表音文字の場合は、同じような連接文
字列を含む単語が多いため、十分な絞り込みができない
という問題がある。このような場合はプリサーチによっ
て凝縮テキストサーチの対象となる文書件数を削減する
ことができないため、十分な検索レスポンスが得られな
いことになる。

【０００７】このように英語などの表音文字によって構
成される文書を文字成分表サーチで検索する場合に生じ
る問題を具体的に言うと次のようになる。 （１）英語などの表音文字は日本語のような表意文字と
比べると極端に文字種が少なく、子音と母音の組み合わ
せの規則性に意味を持たせた言語であるため、同じ連接
文字を持つ単語が多く、文字成分表サーチでノイズがの
りやすい。例えば“ａｉｎ”のような三文字連接の場合
でも、“ｍｏｕｎｔａｉｎ”，“ｐａｉｎｔｉｎｇ”，
“Ｓｐａｉｎ”などの単語を含むすべての文書がヒット
する。このため文字成分表の絞り込み率が低下してしま
う。 （２）従来例では、文頭から文末までのすべての連接文
字成分の存在を情報として持つ。すなわち、英語では
“Ｔｈｅｒｅ＿ｉｓ＿ａ＿ｇｉｒｌ＿・・・”（“＿”
はスペースを表す）というように単語をスペースで区切
った形式で文章が構成されているため、従来例では３文
字の文字成分表の場合には“ｅ＿ｉ”，“ｓ＿ａ”およ
び“ａ＿ｇ”というような２つの単語にかかる連接の情
報も持つことになる。これらの文字成分は検索ターム中
には用いられない文字成分であるため検索には不必要で
あるにもかかわらず、重要な文字成分と同じエントリに
ハッシングされ検索ノイズを発生するという悪影響を及
ぼす。例えば、“ａｉｎ”と“ａ＿ｇ”が同じエントリ
にハッシングされると、“ａｉｎ”を含む単語の他に
“ａ＿ｇｉｒｌ”“ａ＿ｇｒａｐｅ”等を含むすべての
文書がノイズとして文字成分表サーチでヒットしてしま
う。 （３）検索タームを部分的に含むような単語（以下、中
間一致の単語と呼ぶ）が存在する文書の場合、実際には
検索タームが存在しないにもかかわらず、文字成分表サ
ーチでヒットしてしまう。例えば、検索タームとして
“ｍｉｓｔ”が指定された場合、“ｃｈｅｍｉｓｔｒ
ｙ”などのように“ｍｉｓｔ”から切り出された連接文
字成分、すなわち“ｍｉｓ”と“ｉｓｔ”をすべて含む
ような単語が存在する文書は、実際には“ｍｉｓｔ”が
含まれないにもかかわらず文字成分表サーチでヒットし
てしまう。

【０００８】本発明目的は、英語などの表音文字によっ
て構成される文書を検索する場合に、 （１）文字種が少ない表音文字で構成される文書を検索
する場合の文字成分表の絞り込み率を向上する。 （２）検索タームには通常含まれない２つの単語にかか
る連接文字成分がテキストデータベース登録時に文書か
ら切り出され、重要な文字成分と同じエントリにハッシ
ングされることによって生じるノイズを防止する。 （３）中間一致の単語が存在する文書が検索されてしま
うことを防止する。ことにある。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、文書情報を文字コードデータとして蓄積
したテキストデータベースを対象として、対象テキスト
データから予め定められた形式で部分文字列をすべて抽
出し、該部分文字列に対応するエントリに該部分文字列
の存在を連接文字成分表として登録する連接文字成分表
作成ステップと、検索時に、検索タームから予め定めら
れた形式で検索用部分文字列を抽出し、該検索用部分文
字列に対応する前記連接文字成分表のエントリを参照し
て検索タームを構成する各検索用部分文字列と一致する
部分文字列がすべて存在する文書を求める連接文字成分
表サーチステップを有し、前記連接文字成分表作成ステ
ップで作成された連接文字成分表を、テキストを検索す
る前に予め前記連接文字成分表サーチステップでサーチ
して検索タームに関連のない文書を検索対象からふるい
落とすプリサーチ式文書検索方法において、連接文字成
分表作成時には、テキストデータからの部分文字列の抽
出処理として、該テキストデータから予め定められたｍ
文字（ｍは１以上の整数）おきに、予め定められたｎ文
字（ｎは２以上の整数）の文字列をすべて抽出するステ
ップを設け、検索時には、検索タームからの検索用部分
文字列の抽出処理として、該検索タームから予め定めら
れたｍ文字（ｍは１以上の整数）おきに、予め定められ
たｎ文字（ｎは２以上の整数）の検索用文字列を抽出す
るステップを設けるようにしている。また、連接文字成
分表作成時には、テキストデータからの部分文字列の抽
出処理として、該テキストデータから所定の文字コード
を区切りとして単語を切り出すステップと、切り出され
たすべての単語から予め定められたｎ文字（ｎは２以上
の整数）の一続きの部分文字列をすべて抽出するステッ
プを設け、検索時には、検索タームからの検索用部分文
字列の抽出処理として、該検索タームから予め定められ
たｎ文字（ｎは２以上の整数）の一続きの検索用部分文
字列を抽出するステップを設けるようにしている。ま
た、連接文字成分表作成時には、テキストデータからの
部分文字列の抽出処理として、該テキストデータから所
定の文字コードを区切りとして単語を切り出すステップ
と、切り出されたすべての単語の前後に特殊文字を付加
するステップと、特殊文字を付加したすべての単語から
予め定められたｎ文字（ｎは２以上の整数）の一続きの
部分文字列をすべて抽出するステップを設け、検索時に
は、検索タームからの検索用部分文字列の抽出処理とし
て、該検索タームの前後に特殊文字を付加するステップ
と、特殊文字を付加した検索タームから予め定められた
ｎ文字（ｎは２以上の整数）の一続きの検索用部分文字
列を抽出するステップを設けるようにしている。また、
連接文字成分表作成時には、テキストデータからの部分
文字列の抽出処理として、該テキストデータから所定の
文字コードを区切りとして単語を切り出すステップと、
切り出されたすべての単語の前後に特殊文字を付加する
ステップと、特殊文字を付加したすべての単語から予め
定められたｍ文字（ｍは１以上の整数）おきに、予め定
められたｎ文字（ｎは２以上の整数）の文字列をすべて
抽出するステップを設け、検索時には、検索タームから
の検索用部分文字列の抽出処理として、該検索タームの
前後に特殊文字を付加するステップと、特殊文字を付加
した検索タームから予め定められたｍ文字（ｍは１以上
の整数）おきに、予め定められたｎ文字（ｎは２以上の
整数）の検索用文字列を抽出するステップを設けるよう
にしている。さらに、文書情報を文字コードデータとし
て蓄積したテキストデータベースを対象として、対象テ
キストデータから予め定められた形式で部分文字列をす
べて抽出し、該部分文字列に対応するエントリに該部分
文字列の存在を連接文字成分表として登録する連接文字
成分表作成手段と、検索時に、検索タームから予め定め
られた形式で検索用部分文字列を抽出し、抽出した該検
索用部分文字列に対応する前記連接文字成分表のエント
リを参照して検索タームを構成する各検索用部分文字列
と一致する部分文字列がすべて存在する文書を求める連
接文字成分表サーチ手段を有し、前記連接文字成分表作
成手段で作成された連接文字成分表を、テキストを検索
する前に予め前記連接文字成分表サーチ手段でサーチし
て検索タームに関連のない文書を検索対象からふるい落
とすプリサーチ式文書検索装置において、前記連接文字
成分表作成手段を、該テキストデータから予め定められ
たｍ文字（ｍは１以上の整数）おきに、予め定められた
ｎ文字（ｎは２以上の整数）の文字列をすべて抽出する
手段と、抽出した該文字列に対応するエントリに該文字
列の存在を連接文字成分表として記憶する手段を備える
スキップ式連接文字成分表作成手段とし、前記連接文字
成分表サーチ手段を、該検索タームから予め定められた
ｍ文字（ｍは１以上の整数）おきに、予め定められたｎ
文字（ｎは２以上の整数）の検索用文字列を抽出する手
段と、該検索用文字列に対応する前記連接文字成分表の
エントリを参照して検索タームを構成する各検索用文字
列と一致する文字列がすべて存在する文書を求める手段
を備えるスキップ式連接文字成分表サーチ手段としてい
る。また、前記連接文字成分表作成手段を、該テキスト
データから所定の文字コードを区切りとして単語を切り
出し、切り出されたすべての単語から予め定められたｎ
文字（ｎは２以上の整数）の一続きの部分文字列をすべ
て抽出する手段と、抽出した該部分文字列に対応するエ
ントリに該部分文字列の存在を連接文字成分表として記
憶する手段を備える単語切り出し式連接文字成分表作成
手段とし、前記連接文字成分表サーチ手段を、該検索タ
ームから予め定められたｎ文字（ｎは２以上の整数）の
一続きの検索用部分文字列を抽出する手段と、該検索用
部分文字列に対応する前記連接文字成分表のエントリを
参照して検索タームを構成する各検索用部分文字列と一
致する部分文字列がすべて存在する文書を求める手段を
備える単語切り出し式連接文字成分表サーチ手段として
いる。また、連接文字成分表作成手段を、該テキストデ
ータから所定の文字コードを区切りとして単語を切り出
し、切り出されたすべての単語の前後に特殊文字を付加
し、特殊文字を付加したすべての単語から予め定められ
たｎ文字（ｎは２以上の整数）の一続きの部分文字列を
すべて抽出する手段と、抽出した該部分文字列に対応す
るエントリに該部分文字列の存在を連接文字成分表とし
て記憶する手段を備える特殊文字付加式連接文字成分表
作成手段とし、前記連接文字成分表サーチ手段を、該検
索タームの前後に特殊文字を付加し、特殊文字を付加し
た検索タームから予め定められたｎ文字（ｎは２以上の
整数）の一続きの検索用部分文字列を抽出する手段と、
該検索用部分文字列に対応する前記連接文字成分表のエ
ントリを参照して検索タームを構成する各検索用部分文
字列と一致する部分文字列がすべて存在する文書を求め
る手段を備える特殊文字付加式連接文字成分表サーチ手
段としている。また、前記連接文字成分表作成手段を、
該テキストデータから所定の文字コードを区切りとして
単語を切り出し、切り出されたすべての単語の前後に特
殊文字を付加し、特殊文字を付加したすべての単語から
予め定められたｍ文字（ｍは１以上の整数）おきに、予
め定められたｎ文字（ｎは２以上の整数）の文字列をす
べて抽出する手段と、該文字列に対応するエントリに該
文字列の存在を連接文字成分表として記憶する手段を備
える複合式連接文字成分表作成手段とし、前記連接文字
成分表サーチ手段を、該検索タームの前後に特殊文字を
付加し、特殊文字を付加した検索タームから予め定めら
れたｍ文字（ｍは１以上の整数）おきに、予め定められ
たｎ文字（ｎは２以上の整数）の検索用文字列を抽出す
る手段と、該検索用文字列に対応する前記連接文字成分
表のエントリを参照して検索タームを構成する各検索用
文字列と一致する文字列がすべて存在する文書を求める
手段を備える複合式連接文字成分表サーチ手段としてい
る。

【００１０】

【作用】連接文字成分表へ登録する文字成分として、テ
キストデータからｍ文字おきに文字列を切り出し、検索
時にも検索タームからｍ文字おきに文字列を切り出すこ
とにより、英語などの同じような部分文字列を含む言語
でも単語固有の文字成分をとることができるため、連接
文字成分表サーチにおける絞り込み率を向上させること
ができる。例えば“ｍｏｕｎｔａｉｎ”，“ｐａｉｎｔ
ｉｎｇ”，“Ｓｐａｉｎ”などの単語は“ａｉｎ”のよ
うな三文字連接成分を含んでいるため、三文字連接の連
接文字成分表では絞り込みにくい。しかし、例えば１文
字おきに文字列をとることにより、“ｎａｎ”，“ａｎ
ｉ”，“Ｓａｎ”というように、その単語固有の文字成
分をとることができ、連接文字成分表サーチにおける絞
り込み率を向上させることができる。また、テキストデ
ータの連接文字成分表への登録時に、テキストから単語
を切り出し、その中の文字列から連接成分を抽出するこ
とにより、２つの単語にかかる連接が削除でき、ハッシ
ングした場合のノイズを減らすことができる。例えば、
“ａ＿ｇ”（“＿”はスペースを示す）というような検
索ターム中には用いられない２つの単語にかかる連接が
“ａｉｎ”と同じエントリにハッシングされると、“ａ
ｉｎ”を含む単語の他に“ａ＿ｇｉｒｌ”，“ａ＿ｇｒ
ａｐｅ”等を含むすべての文書が連接文字成分表サーチ
でヒットしてしまう。しかし、“Ｔｈｅｒｅ＿ｉｓ＿ａ
＿ｇｉｒｌ・・・”という文書をスペースを区切りとし
て単語を切り出すと“Ｔｈｅｒｅ”，“ｉｓ”，“ａ”
および“ｇｉｒｌ”・・・となり、これらから三文字連
接を抽出すると“Ｔｈｅ”，“ｈｅｒ”，“ｅｒｅ”，
“ｇｉｒ”および“ｉｒｌ”となる（“ｉｓ”と“ａ”
は３文字以下のため三文字連接を抽出しない）ため、
“ａ＿ｇ”を連接成分として抽出しないようになるの
で、“ａｉｎ”を含む検索タームの場合でもこのような
ノイズを減らすことができる。また、テキストデータの
連接文字成分表への登録時および検索時に単語の前後に
特殊文字を付加し、それを含めて連接成分をとることに
より、特殊文字で単語の区切りを判別できることになる
ため、検索タームをその文字列内部に部分文字列として
含む無関係な単語が中間一致によってヒットすることを
避けることができる。例えば、検索タームとして“ｍｉ
ｓｔ”が指定された場合、特殊文字（例えば“＾”）を
前後に付加することにより、“＾ｍｉ”，“ｍｉｓ”，
“ｉｓｔ”および“ｓｔ＾”を用いて連接文字成分表サ
ーチを行うことになる。このとき、“ｃｈｅｍｉｓｔｒ
ｙ”は“＾ｃｈ”，“ｃｈｅ”，“ｈｅｍ”，“ｅｍ
ｉ”，“ｍｉｓ”，“ｉｓｔ”，“ｓｔｒ”，“ｔｒ
ｙ”および“ｒｙ＾”として連接文字成分表へ登録され
ている。これには“ｍｉｓ”と“ｉｓｔ”は含まれてい
るが、“＾ｍｉ”と“ｓｔ＾”は含まれていないため、
“ｃｈｅｍｉｓｔｒｙ”がヒットすることはない。ま
た、上記の、ｍ文字おきの文字列の切り出し、テキスト
からの単語の切り出し、単語の前後への特殊文字の付加
を組み合わせることにより、さらに絞り込み率を向上さ
せることができる。この結果、英語などの表音文字によ
って構成される文書を検索する場合に、与えられた検索
タームから十分な絞り込みを行うことのできる連接文字
成分表を作成することができるため、効果的な階層プリ
サーチが可能となり、等価的に高速なフルテキストサー
チが実現できることになる。

【００１１】

【実施例】以下、本発明の第一の実施例について図１を
用いて説明する。本実施例では、ｍ文字おきにｎ文字の
単語を抽出するスキップ式連接文字成分表（以下におい
ては、単に連接文字成分表と記載する）について、ｍ＝
１，ｎ＝３の場合を例にして説明する（以後の実施例に
おいても同様に、ｍ＝１，ｎ＝３の場合を例に説明す
る）。本発明を適用した文書検索システムは、ディスプ
レイ１００、キーボード１０１、中央演算装置ＣＰＵ１
０２、テキスト１０３、凝縮テキスト１０４および連接
文字成分表１０５を格納した記録媒体の１つである磁気
ディスク１１０、フロッピディスクドライバ（ＦＤＤ）
１０６、主メモり２００から構成される。１０７はフロ
ッピディスク、１０８はバスである。主メモリ２００に
は、文書登録制御プログラム２０１、テキスト登録プロ
グラム２０２、凝縮テキスト作成登録プログラム２０
３、連接文字成分表作成登録プログラム２０４、検索制
御プログラム２０８、検索条件式解析プログラム２０
９、連接文字成分表サーチプログラム２１０、凝縮テキ
ストサーチプログラム２１３、テキストサーチプログラ
ム２１４およびハッシュテーブル２１５が格納されると
ともにワークエリア２１６が確保されている。連接文字
成分表作成登録プログラム２０４には一文字おき文字列
抽出プログラム２０５、連接文字成分表登録プログラム
２０６およびハッシュテーブル作成プログラム２０７が
含まれ、連接文字成分表サーチプログラム２１０には一
文字おき文字列抽出プログラム２１１とビットアンドプ
ログラム２１２が含まれる。これらのプログラムはユー
ザのキーボード１０１の指示に応じてＣＰＵ１０２で実
行される。

【００１２】以下、本発明の対象となる階層プリサーチ
における登録処理と検索処理について説明する。文書の
登録の際は図３に示すように、キーボード１０１から入
力されたコマンドにより、文書登録制御プログラム２０
１が起動される。この文書登録制御プログラム２０１
は、必ず最初にテキスト登録プログラム２０２を起動し
て、フロッピディスクドライバ１０６に挿入されたフロ
ッピディスク１０７から文書をワークエリア２１６に読
み込み、これをテキスト１０３として磁気ディスク１１
０へ格納する。テキストデータはフロッピディスクを用
いて入力することに限らず、通信回線（図１には示して
いない）等を用いて他の装置から入力するような構成を
とってもかまわない。次に文書登録制御プログラム２０
１は、凝縮テキスト作成登録プログラム２０３を起動し
て、テキスト１０３をスペースや記号などを区切りとし
て単語レベルで部分文字列へ分割し、分割した部分文字
列間で相互に文字列の包含関係を調べ、他の部分文字列
に含まれる文字列を排除し、残った部分文字列の集合に
より凝縮テキストを作成し、これを凝縮テキスト１０４
として磁気ディスク１１０へ格納する。最後に文書登録
制御プログラム２０１は連接文字成分表作成登録プログ
ラム２０４を起動する。

【００１３】連接文字成分表作成登録プログラム２０４
では、図４に示すように、まず一文字おき文字列抽出プ
ログラム２０５が起動され、磁気ディスク１１０に格納
されたテキスト１０３がワークエリア２１６に読み込ま
れる。そして、このテキスト１０３から１文字おきに３
文字の文字列をすべて抽出する。次に連接文字成分表登
録プログラム２０６が起動され、一文字おき文字列抽出
プログラム２０５によってテキスト１０３から抽出され
た文字列を、ワークエリア２１６内の連接文字成分表に
ハッシュテーブル２１５に従って登録し、これを連接文
字成分表１０５として磁気ディスク１１０へ格納する。
連接文字成分表１０５を新規に登録するときには、連接
文字成分表登録プログラム２０６でハッシュテーブル作
成プログラム２０７を起動し、連接文字成分表の該当エ
ントリを参照するために用いるハッシュテーブル２１５
を作成するとともに、連接文字成分表１０５の全エント
リを初期化（‘０’クリア）しておく。ハッシュテーブ
ル作成プログラム２０７により作成するハッシュテーブ
ル２１５は、連接文字成分により連接文字成分表１０５
のエントリを参照する際に用いられるが、このハッシュ
テーブル２１５については単純なハッシュ関数でも、あ
るいは「特開平５−１７４０６４号」で用いられている
連接文字成分の頻度を利用したハッシュ方式を用いても
よい。検索の際には、キーボード１０１から入力された
検索条件式が、ＣＰＵ１０２に送られる。すると、ＣＰ
Ｕ１０２は、まず検索制御プログラム２０８を起動す
る。そして、本制御プログラムの下で検索条件式解析プ
ログラム２０９、連接文字成分表サーチプログラム２１
０、凝縮テキストサーチプログラム２１３およびテキス
トサーチプログラム２１４が順次起動される。

【００１４】以下、図５のＰＡＤ（Ｐｒｏｂｌｅｍ Ａ
ｎａｌｙｓｉｓ Ｄｉａｇｒａｍ）図を用いて、２１
０、２１３および２１４による階層検索処理の詳細につ
いて説明する。まず、連接文字成分表サーチでは、連接
文字成分表サーチプログラム２１０が起動される。本プ
ログラムの実行により、まず一文字おき文字列抽出プロ
グラム２１１が起動され、入力された検索条件式中の検
索タームから１文字おきに３文字の文字列を抽出し、ハ
ッシュテーブル２１５を用いて、抽出されたすべての文
字列に対応する連接文字成分表のエントリに格納されて
いるビットリストをワークエリア２１６に読み込む。次
に、ビットアンドプログラム２１２が起動され、ワーク
エリア２１６に読み込まれたすべてのビットリスト間で
各ビット毎にＡＮＤ演算を行う。このＡＮＤ演算の結果
‘１’となったビットに対応する文書番号を連接文字成
分表サーチの結果として出力する。この連接文字成分表
サーチの結果件数が０件であれば、ここで０件という検
索結果を出力して検索処理を終了する。もし、連接文字
成分表サーチの結果件数が０件でなければ、次に凝縮テ
キストサーチを行う。

【００１５】ここでは、凝縮テキストサーチプログラム
２１３が起動され、上述の連接文字成分表サーチプログ
ラム２１０によって出力された文書番号に対応する凝縮
テキスト１０４がワークエリア２１６に読み込まれる。
そして、読み込まれた凝縮テキスト１０４を本凝縮テキ
ストサーチプログラム２１３で探索し、検索タームが含
まれる凝縮テキストの文書番号を出力する。この凝縮テ
キストサーチの結果件数が０件であれば、ここで０件と
いう結果件数を出力して検索処理を終了する。また、与
えられた検索条件式の中に単一の検索タームか、あるい
は複数の検索ターム間の論理的な関係が指定されている
だけで、テキスト中での位置関係までは指定されていな
い場合には、ここで検索を終了し凝縮テキストサーチプ
ログラム２１３によって出力された文書番号を検索結果
として出力する。それ以外の場合、すなわち与えられた
検索条件式の中に複数の検索ターム間の本文中での位置
関係が指定されている場合には、テキストサーチプログ
ラム２１４を起動し、テキストサーチを行う。

【００１６】単一の検索タームが指定されたり、あるい
は単にＡＮＤやＯＲ条件が指定されただけの場合に凝縮
テキストサーチで検索を終了できるのは、凝縮テキスト
１０４がテキスト１０３を単語レベルで分割し、重複削
除を行った圧縮テキストであるため、凝縮テキストだけ
で単語の存在を判別することができるためである。例え
ば、「“ｉｎｆｏｒｍａｔｉｏｎ”［ＡＮＤ］“ｓｙｓ
ｔｅｍｓ”」のように記述される「“ｉｎｆｏｒｍａｔ
ｉｏｎ”と“ｓｙｓｔｅｍｓ”の両方が現れる文書を探
せ」という意味を持つＡＮＤ条件や、「“ｉｎｆｏｒｍ
ａｔｉｏｎ”［ＯＲ］“ｓｙｓｔｅｍｓ”」のように記
述される「“ｉｎｆｏｒｍａｔｉｏｎ”か“ｓｙｓｔｅ
ｍｓ”のどちらかが現れる文書を探せ」という意味を持
つＯＲ条件などは、複数の検索ターム間の論理的な関係
が指定されているだけで、テキスト中での位置関係まで
は指定されていない。そのため、それらの存在だけが分
かればよいので凝縮テキストサーチだけで判定すること
が可能である。これに対し、「“ｉｎｆｏｒｍａｔｉｏ
ｎ”［Ｓ］“ｓｙｓｔｅｍｓ”」のように記述される
「“ｉｎｆｏｒｍａｔｉｏｎ”と“ｓｙｓｔｅｍｓ”が
同一の文（センテンス）に共起（同時に出現）する文書
を探せ」という意味を持つ文脈条件や、「“ｉｎｆｏｒ
ｍａｔｉｏｎ”［２Ｗ］“ｓｙｓｔｅｍｓ”」のように
記述される「“ｉｎｆｏｒｍａｔｉｏｎ”と“ｓｙｓｔ
ｅｍｓ”が２語以内に近接して現れる文書を探せ」とい
う意味を持つ近傍条件、あるいは「“ｉｎｆｏｒｍａｔ
ｉｏｎ”［Ａ］“ｓｙｓｔｅｍｓ”」のように記述され
る「“ｉｎｆｏｒｍａｔｉｏｎ”と“ｓｙｓｔｅｍｓ”
が隣接して現れる文書を探せ」という意味を持つ隣接条
件などは、複数の検索ターム間のテキスト中での位置関
係が指定されているため、凝縮テキストサーチだけでは
判定ができず、テキストサーチまで行わなければならな
い。上述した文脈条件、近傍条件あるいは隣接条件が指
定され、かつ凝縮テキストサーチの結果件数が０件でな
い場合には、テキストサーチプログラム２１４が起動さ
れ、凝縮テキストサーチプログラム２１３で出力された
文書番号に対応するテキスト１０３をワークエリア２１
６に読み込む。そして、テキストサーチプログラム２１
４はこのテキスト１０３を探索し、与えられた検索ター
ムを含み、かつ検索ターム間の位置関係に関する条件を
満たすものを抽出し、抽出されたテキストに対応する文
書番号を検索結果として出力する。以上が本発明のフル
テキストサーチ方法を適用した第一の実施例のフルテキ
ストサーチシステムの概略である。

【００１７】本実施例における連接文字成分表の登録手
順は図４に示すとおりである。以下、この登録手順を詳
細に説明する。

【００１８】まず、連接文字成分表の登録処理の詳細に
ついて説明する。ここでは、前述したように文書登録制
御プログラム２０１によって起動された連接文字成分表
作成登録プログラム２０４により、一文字おき文字列抽
出プログラム２０５が起動される。本プログラムの実行
により、磁気ディスク１１０に格納されたテキスト１０
３が文書毎にワークエリア２１６に読み込まれ、このテ
キスト１０３から１文字おきに３文字の文字列が抽出さ
れる。この文字列の抽出については、例えば“Ｍｕｌｔ
ｉｍｅｄｉａ”というテキストの場合は図６に示すよう
に、“Ｍｌｉ”，“ｕｔｍ”，“ｌｉｅ”，“ｔｍ
ｄ”，“ｉｅｉ”および“ｍｄａ”がテキストから抽出
される。次に、連接文字成分表登録プログラム２０６が
起動される。ここでは、ハッシュテーブル２１５を用い
て、一文字おき文字列抽出プログラム２０５によってテ
キスト１０３から抽出された連接文字成分に対応するエ
ントリに‘１’を設定し、連接文字成分の存在を印す。
図７の文書１の例では、“Ｍｌｉ”があるので‘１’
を、ハッシュテーブル２１５を用いて参照した該当エン
トリの文書１に対応するビット位置に設定する。“ｓｓ
ｅ”も同様に‘１’が設定される。以下、同様にしてテ
キスト１０３に存在する連接成分のすべてについて、連
接文字成分表１０５の該当エントリに‘１’を設定す
る。最終的には、図７に示すようにテキスト１０３中の
各文書について‘１’と‘０’の列（ビットリスト、例
えば、“ｎｓｓ”の「１０１・・・０」の列が１つのビ
ットリストである）ができあがる。このようにして、連
接文字成分表作成登録プログラム２０４により文書の登
録時に連接文字成分表１０５が自動的に作成され、階層
プリサーチの準備ができあがる。

【００１９】次に、連接文字成分表の検索手順につい
て、図８を用いて詳細に説明する。まず、一文字おき文
字列抽出プログラム２１１が起動される。ここでは、検
索条件式中の検索タームから１文字おきに３文字の文字
列を抽出する。ただし、本実施例では３文字の１文字お
きの連接文字成分表を用いているので、５文字未満の検
索タームの場合は連接文字が得られないことになる。こ
の場合、本実施例では、連接文字成分表サーチの結果を
全件ヒットとし、すべての文書に対して凝縮テキストサ
ーチを行うことにする。すなわち、全文書の番号を出力
して、連接文字成分表サーチプログラム２１０が終了す
る。５文字以上の検索タームが与えられた場合には、一
文字おき文字列抽出プログラム２１１によって抽出され
た文字列に対応するビットリストを、ビットアンドプロ
グラム２１２が連接文字成分表１０５からハッシュテー
ブル２１５を介してワークエリア２１６に読み込み、読
み込んだビットリスト間でビット毎にＡＮＤ演算を行
う。そして、このＡＮＤ結果が‘１’となったビットに
対応する文書番号を算出し、これを連接文字成分表サー
チ結果として出力する。例えば、図９に示すように“Ｍ
ｕｌｔｉｍｅｄｉａ”という文字列が検索タームとして
与えられた場合、“Ｍｌｉ”，“ｕｔｍ”，“ｌｉ
ｅ”，“ｔｍｄ”，“ｉｅｉ”および“ｍｄａ”に対応
する連接文字成分表１０５のビットリストがハッシュテ
ーブル２１５を介して読み出され、これらすべてのビッ
トリストのビットがすべて‘１’である文書が連接文字
成分表サーチの検索結果として得られる。すなわち、読
み出したすべてのビットリストの間でビット毎にＡＮＤ
演算を施し、ビットアンド演算結果９００を得る。この
ビットアンド演算結果のビットリスト中で、‘１’とな
っているビット位置に対応する文書番号が連接文字成分
表サーチの検索結果としてのヒット文書を表わすことに
なる。これにより、“Ｍｌｉ”，“ｕｔｍ”，“ｌｉ
ｅ”，“ｔｍｄ”，“ｉｅｉ”および“ｍｄａ”のすべ
てを含む文書が抽出されることになる。図９の例では、
文書１と文書Ｎがヒット文書ということになる。

【００２０】このように、本実施例における連接文字成
分表作成登録処理では、文書の登録時に、文書中から１
文字おきに３文字の文字列を取り出し、この連接文字の
存在情報を予め連接文字成分表に登録することにより、
単語固有の連接文字成分をとることができ、検索時の連
接文字成分表サーチにおける絞り込み率を向上させるこ
とができる。その結果、階層プリサーチにおける凝縮テ
キストの探索量が削減できることになるため、等価的に
全体の検索速度が向上することになる。したがって、よ
り大量のフルテキストサーチが実時間で可能となる。本
実施例では、連接文字成分表を３文字の１文字おきの文
字列、すなわち、ｍ＝１、ｎ＝３で作成する場合につい
て説明したが、何文字おきに文字列を抽出しても、また
文字列長が２文字および４文字以上の場合についても同
様な処理が可能である。これは、上記の説明から明らか
であろう。また、本実施例では、５文字未満の検索ター
ムの場合、連接文字成分表サーチの結果を全件ヒットと
して出力するようにしているが、別途２文字の１文字お
きの連接文字成分表を作成し、この連接文字成分表を用
いて５文字未満の検索タームの連接文字成分表サーチを
行うようにすることもできる。

【００２１】次に、本発明の第二の実施例について説明
する。本実施例は連接文字成分の抽出時にテキストから
単語を切り出し、切り出された単語から連接文字成分を
抽出して単語切り出し式連接文字成分表（以下において
は、単に連接文字成分表と記載する）を作成することに
よって、２つの単語にかかる連接文字成分を抽出しない
ようにして、ハッシングの際のノイズを減らす方法であ
る。本実施例は第一の実施例（図１）と基本的に同様の
構成をとるが、その中の連接文字成分表作成登録プログ
ラム２０４と連接文字成分表サーチプログラム２１０の
部分が、それぞれ図１０と図１１に示すような構成とな
る。すなわち、連接文字成分表作成登録プログラム２０
４は単語切り出しプログラム１０００、連接文字列抽出
プログラム１００１、連接文字成分表登録プログラム２
０６およびハッシュテーブル作成プログラム２０７で構
成され、連接文字成分表サーチプログラム２１０は連接
文字列抽出プログラム１１００およびビットアンドプロ
グラム２１２で構成される。

【００２２】連接文字成分表作成登録プログラム２０４
では、図１２に示すように、まず単語切り出しプログラ
ム１０００が起動され、磁気ディスク１１０に格納され
たテキスト１０３がワークエリア２１６に読み込まれ
る。そして、このテキスト１０３からスペースを区切り
として単語が切り出される。次に連接文字列抽出プログ
ラム１００１が起動され、単語切り出しプログラム１０
００によって切り出されたすべての単語から３文字の一
続きの文字列をすべて抽出する。次に連接文字成分表登
録プログラム２０６が起動され、連接文字列抽出プログ
ラム１００１によって単語から抽出された連接文字列
を、ワークエリア２１６内の連接文字成分表にハッシュ
テーブル２１５に従って登録し、これを連接文字成分表
１０５として磁気ディスク１１０へ格納する。連接文字
成分表サーチプログラム２１０では、図１３に示すよう
に、まず連接文字列抽出プログラム１１００が起動さ
れ、入力された検索条件式中の検索タームから３文字の
一続きの文字列すべてを抽出する。次に、ビットアンド
プログラム２１２が起動され、連接文字列抽出プログラ
ム１１００によって抽出されたすべての文字列に対応す
る連接文字成分表１０５のエントリに格納されているビ
ットリストを、ハッシュテーブル２１５を介してワーク
エリア２１６に読み込み、読み込まれたすべてのビット
リスト間で各ビット毎にＡＮＤ演算を行う。このＡＮＤ
演算の結果‘１’となったビットに対応する文書番号を
連接文字成分表サーチの結果として出力する。

【００２３】次に、上記連接文字成分表作成登録プログ
ラム２０４の処理内容について、図１４を用いて詳細に
説明する。連接文字成分表作成登録プログラム２０４で
は、まず単語切り出しプログラム１０００が起動され、
磁気ディスク１１０に格納されたテキスト１０３が文書
毎にワークエリア２１６に読み込まれる。このテキスト
１０３はスペースを区切りとして単語に分割される。次
に連接文字列抽出プログラム１００１が起動され、単語
切り出しプログラム１０００によって切り出された単語
から３文字の一続きの文字列をすべて抽出する。この文
字列の抽出については、例えば、図１５に示す文書１の
“Ｍｕｌｔｉｍｅｄｉａ ｉｎｆｏｒｍａｔｉｏｎ ｓ
ｙｓｔｅｍｓｍｕｓｔ・・・ＳＥ（Ｓｙｓｔｅｍｓ Ｅ
ｎｇｉｎｅｅｒｉｎｇ）・・・”というテキストは単語
切り出しプログラム１０００によって、“Ｍｕｌｔｉｍ
ｅｄｉａ”，“ｉｎｆｏｒｍａｔｉｏｎ”，“ｓｙｓｔ
ｅｍｓ”，“ｍｕｓｔ”，・・・，“ＳＥ”，“Ｓｙｓ
ｔｅｍｓ”，“Ｅｎｇｉｎｅｅｒｉｎｇ”，・・・に分
割される。次に、連接文字列抽出プログラム１００１に
よって、切り出された単語から“Ｍｕｌ”，“ｕｌ
ｔ”，“ｌｔｉ”，・・・，“ｔｉｏ”，“ｉｏｎ”，
“ｓｙｓ”，“ｙｓｔ”，・・・，“ＳＥ‖”，“Ｓｙ
ｓ”，・・・が抽出される。このとき、“ＳＥ”のよう
な３文字未満の単語に関しては、３文字の文字列が抽出
できないので、単語の後ろに特殊文字（例えば、ここで
は‘‖’とする）を付加して、３文字にしてから文字列
を抽出する。最後に、連接文字成分表登録プログラム２
０６が起動される。ここでは、ハッシュテーブル２１５
を介して、連接文字列抽出プログラム１００１によって
テキスト１０３中の単語から抽出された連接文字成分に
対応するエントリに‘１’を設定し、連接文字成分の存
在を印す。図１５の文書１の例では、“Ｍｕｌ”がある
ので‘１’を、ハッシュテーブル２１５を用いて参照し
た該当エントリの文書１に対応するビット位置に設定す
る。“ｕｌｔ”も同様に‘１’が設定される。以下、同
様にしてテキスト１０３中の単語に存在する連接文字成
分のすべてについて、連接文字成分表１０５の該当エン
トリに‘１’を設定する。最終的には、図１５に示すよ
うにテキスト１０３中の各文書について‘１’と‘０’
の列（ビットリスト）ができあがる。

【００２４】次に、連接文字成分表サーチプログラム２
１０の処理内容について、図１６を用いて詳細に説明す
る。まず、連接文字列抽出プログラム１１００が起動さ
れる。ここでは、検索条件式中の検索タームから３文字
の一続きの文字列を抽出する。本実施例では３文字の連
接文字成分表を用いているため、３文字未満の検索ター
ムの場合は連接文字が得られないことになる。この場
合、本実施例では、検索タームの後ろに特殊文字‘‖’
を付加することにより、検索タームを３文字にして文字
列を抽出する。次に、連接文字列抽出プログラム１１０
０によって抽出された文字列に対応するビットリスト
を、ビットアンドプログラム２１２が連接文字成分表１
０５からハッシュテーブル２１５を介してワークエリア
２１６に読み込み、読み込んだビットリスト間でビット
毎にＡＮＤ演算を行う。そして、このＡＮＤ結果が
‘１’となったビットに対応する文書番号を算出し、こ
れを連接文字成分表サーチ結果として出力する。例え
ば、図１７に示すように“Ｍｕｌｔｉｍｅｄｉａ”とい
う文字列が検索タームとして与えられた場合、“Ｍｕ
ｌ”，“ｕｌｔ”，“ｌｔｉ”，“ｔｉｍ”，“ｉｍ
ｅ”，“ｍｅｄ”，“ｅｄｉ”および“ｄｉａ”に対応
する連接文字成分表１０５のビットリストがハッシュテ
ーブル２１５を介して読み出され、これらすべてのビッ
トリストのビットがすべて‘１’である文書が連接文字
成分表サーチの検索結果として得られる。すなわち、読
み出したすべてのビットリストの間でビット毎にＡＮＤ
演算を施し、ビットアンド演算結果９００を得る。この
ビットアンド演算結果９００のビットリスト中で、
‘１’となっているビット位置に対応する文書番号が連
接文字成分表サーチの検索結果としてのヒット文書を表
わすことになる。これにより、“Ｍｕｌ”，“ｕｌ
ｔ”，“ｌｔｉ”，“ｔｉｍ”，“ｉｍｅ”，“ｍｅ
ｄ”，“ｅｄｉ”および“ｄｉａ”のすべてを含む文書
が抽出されることになる。図１７の例では、文書１と文
書Ｎがヒット文書ということになる。

【００２５】このように、本実施例における連接文字成
分表の作成登録処理では、文書の登録時に、テキストか
ら単語を切り出してから、その中の文字列から３文字の
一続きの文字列を抽出し、この連接文字の存在情報を予
め連接文字成分表に登録することにより、２つの単語に
かかる連接文字成分が削除できるため、ハッシングした
場合のノイズを減らすことができる。その結果、検索時
の連接文字成分表サーチにおける絞り込み率を向上させ
ることができ、階層プリサーチにおける凝縮テキストの
探索量が削減できることになるため、等価的に全体の検
索速度が向上することになる。したがって、より大量の
フルテキストサーチが実時間で可能となる。本実施例で
は、連接文字成分表を３文字の一続きの文字列、すなわ
ち、ｎ＝３で作成する場合について説明したが、文字列
長が２文字および４文字以上の場合についても同様な処
理が可能であることは、上記の説明から明らかであろ
う。

【００２６】次に、本発明の第三の実施例について説明
する。本実施例は連接文字成分表の登録時および検索時
に単語の前後に特殊文字（例えば、ここでは‘＾’とす
る）を付加し、それを含めて連接成分を抽出して特殊文
字付加式連接文字成分表（以下においては、単に連接文
字成分表と記載する）を作成する。これにより、特殊文
字で単語の区切りを判別できるようにし、検索タームを
その文字列内部に部分文字列として含む無関係な単語が
中間一致によってヒットすることを避け、ノイズを減ら
す方法である。本実施例は第一の実施例（図１）と基本
的に同様の構成をとるが、その中の連接文字成分表作成
登録プログラム２０４と連接文字成分表サーチプログラ
ム２１０の部分が、それぞれ図１８と図１９に示すよう
な構成となる。すなわち、連接文字成分表作成登録プロ
グラム２０４は単語切り出しプログラム１０００、特殊
文字付加プログラム１８００、連接文字列抽出プログラ
ム１００１、連接文字成分表登録プログラム２０６およ
びハッシュテーブル作成プログラム２０７で構成され、
連接文字成分表サーチプログラム２１０は特殊文字付加
プログラム１９００、連接文字列抽出プログラム１１０
０およびビットアンドプログラム２１２で構成される。

【００２７】連接文字成分表作成登録プログラム２０４
では、図２０に示すように、まず単語切り出しプログラ
ム１０００が起動され、磁気ディスク１１０に格納され
たテキスト１０３がワークエリア２１６に読み込まれ
る。そして、このテキスト１０３からスペースを区切り
として単語が切り出される。次に特殊文字付加プログラ
ム１８００が起動され、単語切り出しプログラム１００
０によって切り出された単語の前後に特殊文字‘＾’が
付加される。次に、連接文字列抽出プログラム１００１
が起動され、特殊文字付加プログラム１８００によって
特殊文字を付加されたすべての単語から３文字の一続き
の文字列をすべて抽出する。最後に、連接文字成分表登
録プログラム２０６が起動され、連接文字列抽出プログ
ラム１００１によって単語から抽出された連接文字列
を、ワークエリア２１６内の連接文字成分表にハッシュ
テーブル２１５に従って登録し、これを連接文字成分表
１０５として磁気ディスク１１０へ格納する。連接文字
成分表サーチプログラム２１０では、図２１に示すよう
に、まず特殊文字付加プログラム１９００が起動され、
検索条件式中の検索タームの前後に特殊文字‘＾’が付
加される。次に、連接文字列抽出プログラム１１００が
起動され、特殊文字付加プログラム１９００によって特
殊文字‘＾’が付加された検索タームから３文字の一続
きの文字列すべてを抽出する。次に、ビットアンドプロ
グラム２１２が起動され、連接文字列抽出プログラム１
１００によって抽出されたすべての文字列に対応する連
接文字成分表１０５のエントリに格納されているビット
リストを、ハッシュテーブル２１５を介してワークエリ
ア２１６に読み込み、読み込まれたすべてのビットリス
ト間で各ビット毎にＡＮＤ演算を行う。このＡＮＤ演算
の結果‘１’となったビットに対応する文書番号を連接
文字成分表サーチの結果として出力する。

【００２８】以下、上述した連接文字成分表作成登録プ
ログラム２０４の処理内容を詳細に説明する。連接文字
成分表作成登録プログラム２０４では、まずテキスト１
０３からスペースを区切りとして単語が切り出され、各
単語の前後に特殊文字‘＾’が付加される。その後、特
殊文字‘＾’が付加された単語から３文字の一続きの文
字列が抽出される。この文字列の抽出については、例え
ば、図２２に示す文書１の“Ｍｕｌｔｉｍｅｄｉａ ｉ
ｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍｓｍｕｓｔ・・
・”というテキストは単語切り出しプログラム１０００
によって、“Ｍｕｌｔｉｍｅｄｉａ”，“ｉｎｆｏｒｍ
ａｔｉｏｎ”，“ｓｙｓｔｅｍｓ”，“ｍｕｓｔ”，・
・・に分割される。次に、特殊文字付加プログラム１８
００によって、切り出された各単語の前後に特殊文字
‘＾’が付加され、“＾Ｍｕｌｔｉｍｅｄｉａ＾”，
“＾ｉｎｆｏｒｍａｔｉｏｎ＾”，“＾ｓｙｓｔｅｍｓ
＾”，“＾ｍｕｓｔ＾”，・・・となる。次に、連接文
字列抽出プログラム１００１によって、特殊文字‘＾’
を付加した単語から“＾Ｍｕ”，“Ｍｕｌ”，“ｕｌ
ｔ”，・・・，“ａｔｉ”，“ｔｉｏ”，“ｉｏｎ”，
“ｏｎ＾”，“＾ｓｙ”，“ｓｙｓ”，・・・が抽出さ
れる。最後に、連接文字成分表登録プログラム２０６が
起動される。ここでは、ハッシュテーブル２１５を介し
て、連接文字列抽出プログラム１００１によって、特殊
文字‘＾’を付加した単語から抽出された連接文字成分
に対応するエントリに‘１’を設定し、連接文字成分の
存在を印す。図２２の文書１の例では、“＾Ｍｕ”があ
るので‘１’を、ハッシュテーブル２１５を用いて参照
した該当エントリの文書１に対応するビット位置に設定
する。“Ｍｕｌ”も同様に‘１’が設定される。以下、
同様にして特殊文字‘＾’を付加した単語中の連接文字
成分のすべてについて、連接文字成分表１０５の該当エ
ントリに‘１’を設定する。最終的には、図２２に示す
ようにテキスト１０３中の各文書について‘１’と
‘０’の列（ビットリスト）ができあがる。

【００２９】次に、連接文字成分表サーチプログラム２
１０の処理内容を詳細に説明する。連接文字成分表サー
チプログラム２１０では、まず検索条件式中の検索ター
ムの前後に特殊文字‘＾’が付加され、その検索ターム
から３文字の一続きの文字列が抽出される。その後、抽
出された各文字列に対応するビットリスト間でビット毎
にＡＮＤ演算を行い、‘１’となったビットに対応する
文書番号を連接文字成分表サーチ結果として出力する。
例えば、図２３に示すように“Ｍｕｌｔｉｍｅｄｉａ”
という文字列が検索タームとして与えられた場合、特殊
文字を付加することにより“＾Ｍｕｌｔｉｍｅｄｉａ
＾”となり、この検索タームから“＾Ｍｕ”，“Ｍｕ
ｌ”，“ｕｌｔ”，“ｌｔｉ”，“ｔｉｍ”，“ｉｍ
ｅ”，“ｍｅｄ”，“ｅｄｉ”，“ｄｉａ”および“ｉ
ａ＾”に対応する連接文字成分表１０５のビットリスト
がハッシュテーブル２１５を介して読み出され、これら
すべてのビットリストのビットがすべて‘１’である文
書が連接文字成分表サーチの検索結果として得られる。
すなわち、読み出したすべてのビットリストの間でビッ
ト毎にＡＮＤ演算を施し、ビットアンド演算結果９００
を得る。このビットアンド演算結果のビットリスト中
で、‘１’となっているビット位置に対応する文書番号
が連接文字成分表サーチの検索結果としてのヒット文書
を表わすことになる。これにより、“＾Ｍｕ”，“Ｍｕ
ｌ”，“ｕｌｔ”，“ｌｔｉ”，“ｔｉｍ”，“ｉｍ
ｅ”，“ｍｅｄ”，“ｅｄｉ”，“ｄｉａ”および“ｉ
ａ＾”のすべてを含む文書が抽出されることになる。図
２３の例では、文書１と文書Ｎがヒット文書ということ
になる。

【００３０】このように、本実施例における連接文字成
分表の作成登録処理では、文書の登録時に、テキストか
ら単語を切り出し、切り出された単語の前後に特殊文字
を付加してから、その中の文字列から３文字の一続きの
文字列を取り出し、この連接文字の存在情報を予め連接
文字成分表に登録するとともに、連接文字成分表の検索
時に、検索タームの前後に特殊文字を付加してから検索
を行うことにより、特殊文字で単語の前後を判別できる
ため、検索タームを部分文字列としてその文字列内部に
含む無関係な単語が中間一致によってヒットすることを
避けることができ、ノイズを減らすことができる。その
結果、検索時の連接文字成分表サーチにおける絞り込み
率を向上させることができ、階層プリサーチにおける凝
縮テキストの探索量が削減できることになるため、等価
的に全体の検索速度が向上することになる。したがっ
て、より大量のフルテキストサーチが実時間で可能とな
る。本実施例では、連接文字成分表を３文字の一続きの
文字列、すなわち、ｎ＝３で作成する場合について説明
したが、文字列長が２文字および４文字以上の場合につ
いても同様な処理が可能であることは、上記の説明から
明らかであろう。ただし、４文字以上の連接文字成分表
の場合、特殊文字を単語の前後に付加しても連接成分が
抽出できない短い単語には、第二の実施例のように
‘‖’のような特殊文字を付加することによって、連接
成分が抽出できる長さにすることによって、同様の処理
が可能なことは明らかであろう。

【００３１】最後に、本発明の第四の実施例について説
明する。本実施例は第一の実施例、第二の実施例および
第三の実施例を組み合わせて複合式連接文字成分表（以
下においては、単に連接文字成分表と記載する）を作成
する。これにより、それぞれの効果が重畳され、最良の
絞り込み率が得られる方法である。本実施例は第一の実
施例（図１）と基本的に同様の構成をとるが、その中の
連接文字成分表作成登録プログラム２０４と連接文字成
分表サーチプログラム２１０の部分が、それぞれ図２４
と図２５に示すような構成となる。すなわち、連接文字
成分表作成登録プログラム２０４は単語切り出しプログ
ラム１０００、特殊文字付加プログラム１８００、一文
字おき文字列抽出プログラム２０５、連接文字成分表登
録プログラム２０６およびハッシュテーブル作成プログ
ラム２０７で構成され、連接文字成分表サーチプログラ
ム２１０は特殊文字付加プログラム１９００、一文字お
き文字列抽出プログラム２１１およびビットアンドプロ
グラム２１２で構成される。各プログラムの動作はそれ
ぞれ第一の実施例、第二の実施例および第三の実施例で
述べたとおりである。

【００３２】以下、連接文字成分表作成登録プログラム
２０４の処理内容について、図２６を用いて詳細に説明
する。連接文字成分表作成登録プログラム２０４では、
まず単語切り出しプログラム１０００により、テキスト
１０３がスペースを区切りとして単語に分割され、特殊
文字付加プログラム１８００により、単語の前後に特殊
文字‘＾’が付加される。その後、一文字おき文字列抽
出プログラム２０５により、特殊文字‘＾’が付加され
た単語から一文字おきに３文字の文字列がすべて抽出さ
れる。この文字列の抽出については、例えば、図２７に
示す文書１の“Ｍｕｌｔｉｍｅｄｉａ ｉｎｆｏｒｍａ
ｔｉｏｎ ｓｙｓｔｅｍｓｍｕｓｔ・・・ＳＥ（Ｓｙｓ
ｔｅｍｓ Ｅｎｇｉｎｅｅｒｉｎｇ）・・・”というテ
キストは単語切り出しプログラム１０００によって、
“Ｍｕｌｔｉｍｅｄｉａ”，“ｉｎｆｏｒｍａｔｉｏ
ｎ”，“ｓｙｓｔｅｍｓ”，“ｍｕｓｔ”，・・・，
“ＳＥ”，“Ｓｙｓｔｅｍｓ”，“Ｅｎｇｉｎｅｅｒｉ
ｎｇ”，・・・に分割され、特殊文字付加プログラム１
８００によって、“＾Ｍｕｌｔｉｍｅｄｉａ＾”，“＾
ｉｎｆｏｒｍａｔｉｏｎ＾”，“＾ｓｙｓｔｅｍｓ
＾”，“＾ｍｕｓｔ＾”，・・・，“＾ＳＥ＾”，“＾
Ｓｙｓｔｅｍｓ＾”，“＾Ｅｎｇｉｎｅｅｒｉｎｇ
＾”，・・・のように特殊文字‘＾’が付加される。次
に、一文字おき文字列抽出プログラム２０５によって、
特殊文字を付加した単語から“＾ｕｔ”，“Ｍｌｉ”，
“ｕｔｍ”，・・・，“ａｉｎ”，“ｔｏ＾”，“＾ｙ
ｔ”，“ｓｓｅ”，・・・，“＾Ｅ‖”，“＾ｙｔ”，
“Ｓｓｅ，・・・が抽出される。このとき、“ＳＥ”の
ような３文字未満の単語に関しては、単語の前後に特殊
文字‘＾’を付加しても“＾ＳＥ＾”と４文字となり、
一文字おきに３文字の文字列を抽出することができない
ので、単語の後ろに特殊文字（例えば、ここでは‘‖’
とする）を付加して、“＾ＳＥ＾‖”と５文字にしてか
ら文字列を抽出する。最後に、連接文字成分表登録プロ
グラム２０６によって、単語から抽出された連接文字成
分に対応するエントリに‘１’を設定し、連接文字成分
の存在を印す。図２７の文書１の例では、“＾ｕｔ”が
あるので‘１’を、ハッシュテーブル２１５を介して参
照した該当エントリの文書１に対応するビット位置に設
定する。“Ｍｌｉ”も同様に‘１’が設定される。以
下、同様にして単語中の連接文字成分のすべてについ
て、連接文字成分表１０５の該当エントリに‘１’を設
定する。最終的には、図２７に示すようにテキスト１０
３中の各文書について‘１’と‘０’の列（ビットリス
ト）ができあがる。

【００３３】次に、連接文字成分表サーチプログラム２
１０の処理内容について、図２８を用いて詳細に説明す
る。連接文字成分表サーチプログラム２１０では、まず
特殊文字付加プログラム１９００により、検索条件式中
の検索タームの前後に特殊文字‘＾’が付加され、一文
字おき文字列抽出プログラム２１１により、この検索タ
ームから一文字おきに３文字の文字列が抽出される。た
だし、本実施例では３文字の連接文字成分表を用いてい
るため、３文字未満の検索タームの場合は連接文字が得
られないことになる。この場合、本実施例では、特殊文
字‘＾’を付加した検索タームの後ろに特殊文字‘‖’
を付加することにより、連接文字が抽出できるようにす
る。最後に、ビットアンドプログラム２１２により、抽
出された連接文字列に対応するビットリスト間でビット
毎にＡＮＤ演算を行い、‘１’となったビットに対応す
る文書番号を算出し、これを連接文字成分表サーチ結果
として出力する。例えば、図２９に示すように“Ｍｕｌ
ｔｉｍｅｄｉａ”という文字列が検索タームとして与え
られた場合、特殊文字‘＾’を付加することにより、
“＾Ｍｕｌｔｉｍｅｄｉａ＾”となり、“＾ｕｔ”，
“Ｍｌｉ”，“ｕｔｍ”，“ｌｉｅ”，“ｔｍｄ”，
“ｉｅｉ”，“ｍｄａ”および“ｅｉ＾”に対応する連
接文字成分表１０５のビットリストがハッシュテーブル
２１５を介して読み出され、これらすべてのビットリス
トのビットがすべて‘１’である文書、すなわち、読み
出したすべてのビットリストの間でビット毎にＡＮＤ演
算を施し、演算結果のビットリスト中で、‘１’となっ
ているビット位置に対応する文書番号が連接文字成分表
サーチの検索結果としてのヒット文書を表わすことにな
る。これにより、“＾ｕｔ”，“Ｍｌｉ”，“ｕｔ
ｍ”，“ｌｉｅ”，“ｔｍｄ”，“ｉｅｉ”，“ｍｄ
ａ”および“ｅｉ＾”のすべてを含む文書が抽出される
ことになる。図２９の例では、文書１と文書Ｎがヒット
文書ということになる。

【００３４】このように、本実施例における連接文字成
分表の作成登録処理および検索処理では、第一の実施
例、第二の実施例および第三の実施例を組み合わせるこ
とにより、それぞれの効果が重畳され、最良の絞り込み
率が得られることになる。すなわち、単語固有の連接文
字成分を取ることにより絞り込み率を上げ、２つの単語
にかかる連接文字成分を除外することによりハッシング
によるノイズを削減し、単語の先頭と末尾を識別するこ
とにより中間一致によるノイズを避けることができる。
その結果、検索時の連接文字成分表サーチにおける絞り
込み率を向上させることができ、階層プリサーチにおけ
る凝縮テキストの探索量が削減できることになるため、
等価的に全体の検索速度が向上することになる。したが
って、より大量のフルテキストサーチが実時間で可能と
なる。本実施例では、連接文字成分表を３文字の一文字
おきの文字列、すなわち、ｍ＝１、ｎ＝３で作成する場
合について説明したが、何文字おきに文字列を抽出して
も、また文字列長が２文字および４文字以上の場合につ
いても同様な処理が可能である。これは、上記の説明か
ら明らかであろう。

【００３５】

【発明の効果】本発明によれば、階層プリサーチにおい
て、英語などの表音文字によって構成される文書を検索
する場合に、連接文字成分表サーチの絞り込み率を上げ
ることにより、無用の凝縮テキストサーチを大幅に省く
ことができるため、等価的に高速なフルテキストサーチ
が実現できることになり、大規模な文書データベースで
も実用的な応答速度でフルテキストサーチすることが可
能となる。

【図面の簡単な説明】

【図１】本発明の第一の実施例の構成を示す図である。

【図２】従来例を説明する図である。

【図３】文書の登録手順を示すＰＡＤ図である。

【図４】第一の実施例の連接文字成分表作成登録プログ
ラムの処理手順を示すＰＡＤ図である。

【図５】階層検索の制御手順を示すＰＡＤ図である。

【図６】第一の実施例での連接の取り方を示す図であ
る。

【図７】第一の実施例の連接文字成分表の作成を説明す
る図である。

【図８】第一の実施例における連接文字成分表の検索手
順を示すＰＡＤ図である。

【図９】第一の実施例における連接文字成分表サーチを
説明する図である。

【図１０】第二の実施例の連接文字成分表作成登録プロ
グラムの構成を示す図である。

【図１１】第二の実施例の連接文字成分表サーチプログ
ラムの構成を示す図である。

【図１２】第二の実施例の連接文字成分表作成登録プロ
グラムの処理手順を示すＰＡＤ図である。

【図１３】第二の実施例の連接文字成分表サーチプログ
ラムの処理手順を示すＰＡＤ図である。

【図１４】第二の実施例の連接文字成分表の登録手順を
示すＰＡＤ図である。

【図１５】第二の実施例における連接文字成分表の作成
を説明する図である。

【図１６】第二の実施例における連接文字成分表の検索
手順を示すＰＡＤ図である。

【図１７】第二の実施例における連接文字成分表サーチ
を説明する図である。

【図１８】第三の実施例の連接文字成分表作成登録プロ
グラムの構成を示す図である。

【図１９】第三の実施例の連接文字成分表サーチプログ
ラムの構成を示す図である。

【図２０】第三の実施例の連接文字成分表作成登録プロ
グラムの処理手順を示すＰＡＤ図である。

【図２１】第三の実施例の連接文字成分表サーチプログ
ラムの処理手順を示すＰＡＤ図である。

【図２２】第三の実施例における連接文字成分表の作成
を説明する図である。

【図２３】第三の実施例における連接文字成分表サーチ
を説明する図である。

【図２４】第四の実施例の連接文字成分表作成登録プロ
グラムの構成を示す図である。

【図２５】第四の実施例の連接文字成分表サーチプログ
ラムの構成を示す図である。

【図２６】第四の実施例の連接文字成分表の登録手順を
示すＰＡＤ図である。

【図２７】第四の実施例における連接文字成分表の作成
を説明する図である。

【図２８】第四の実施例における連接文字成分表の検索
手順を示すＰＡＤ図である。

【図２９】第四の実施例における連接文字成分表サーチ
を説明する図である。

フロントページの続き (72)発明者 川口 久光 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (72)発明者 多田 勝己 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (72)発明者 加藤 寛次 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所 システム開発研究 所内 (72)発明者 浅川 悟志 神奈川県横浜市戸塚区戸塚町5030番地 株式会社日立製作所 ソフトウェア開発 本部内 (56)参考文献 特開 平５−174064（ＪＰ，Ａ) 特開 平５−81321（ＪＰ，Ａ) 特開 平４−274557（ＪＰ，Ａ) Ｎ．Ｔａｖａｋｏｌｉ ， Ａ． Ｒ ａｙ，Ａ ｎｅｗ ｓｉｇｎａｔｕｒｅ ａｐｐｒｏａｃｈ ｆｏｒ ｒｅｔｒ ｉｅｖａｌ ｏｆ ｄｏｃｕｍｅｎｔｓ ｆｒｏｍ ｆｒｅｅ−ｔｅｘｔ ｄａ ｔａｂａｓｅｓ，Ｉｎｆｏｒｍａｔｉｏ ｎ Ｐｒｏｃｅｓｓｉｎｇ ＆ Ｍａｎ ａｇｅｍｅｎｔ，英国，Ｐｅｒｇａｍｏ ｎ Ｐｒｅｓｓ ｐｌｃ，1992年，Ｖｏ ｌ．28，Ｎｏ．２，ｐ．153−163 岩崎雅二郎 外，文字成分表により文 字列検索の実現と評価，情報処理学会研 究報告（93−ＤＢＳ−92），1993年 ３ 月22日，第93巻，第29号，第１〜10頁 川上靖司 外，フルテキストサーチシ ステム Ｂｉｂｌｉｏｔｈｅｃａ／ＴＳ の開発（２），情報処理学会第45回（平 成４年後期）全国大会講演論文集 （３），1992年10月14日，第241−242頁 菊池忠一，日本語文書用高速全文検索 の一手法，電子情報通信学会論文誌（Ｄ −Ｉ），1992年 ９月25日，第Ｊ75−Ｄ −Ｉ巻，第836〜846頁 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 登録時は、格納された文書から所定の部
   分文字列を抽出し、該部分文字列の文書における存在の
   有無を存在情報として保持し、検索時は、指定された検
   索語から所定の部分文字列を抽出し、前記存在情報を参
   照して該部分文字列がすべて存在する文書を検索し、 前記格納された文書および前記検索語から抽出する所定
   の部分文字列は、ｍ文字（ｍは１以上の整数）おきに抽
   出したｎ文字（ｎは２以上の整数）の文字列であること
   を特徴とする文書検索方法。
2. 【請求項２】 格納された文書から所定の部分文字列を
   抽出し、該部分文字列の文書における存在の有無を存在
   情報として保持する存在情報作成ステップと、指定され
   た検索語から所定の部分文字列を抽出し、前記存在情報
   を参照して該部分文字列がすべて存在する文書を求める
   存在情報検索ステップとを有し、 前記存在情報作成ステップは、前記対象文書集合からの
   部分文字列の抽出処理として、該対象文書集合からｍ文
   字（ｍは１以上の整数）おきにｎ文字（ｎは２以上の整
   数）の文字列を抽出するステップを有し、前記存在情報
   検索ステップは、前記検索語からの部分文字列の抽出処
   理として、該検索語からｍ文字（ｍは１以上の整数）お
   きにｎ文字（ｎは２以上の整数）の文字列を抽出するス
   テップを有することを特徴とする文書検索方法。
3. 【請求項３】 格納された文書から所定の部分文字列を
   抽出し、該部分文字列の文書における存在の有無を存在
   情報として保持する存在情報作成ステップと、指定され
   た検索語から所定の部分文字列を抽出し、前記存在情報
   を参照して該部分文字列がすべて存在する文書を求める
   存在情報検索ステップとを有し、 前記存在情報作成ステップは、前記対象文書集合からの
   部分文字列の抽出処理として該対象文書集合から単語を
   取得する単語取得ステップと、該単語取得ステップで取
   得した単語から所定の部分文字列を抽出する文字列抽出
   ステップを有し、該文字列抽出ステップは、前記単語取得ステップで取得
   した単語の前後に所定の特殊文字を付加する登録用特殊
   文字付加ステップと、該登録用特殊文字付加ステップで
   特殊文字を付加した単語から所定の部分文字列を抽出す
   る登録用文字列抽出ステップを有し、 前記存在情報検索ステップは、前記検索語から部分文字
   列の抽出処理として、該検索語の前後に特殊文字を付加
   する検索用特殊文字付加ステップと、該検索用特殊文字
   付加ステップで特殊文字を付加した検索語から所定の部
   分文字列を抽出する検索用文字列抽出ステップを有し、 前記登録用文字列抽出ステップは、前記登録用特殊文字
   付加ステップで特殊文字を付加した単語からの部分文字
   列の抽出処理として、該単語からｍ文字（ｍは１以上の
   整数）おきにｎ文字（ｎは２以上の整数）の文字列を抽
   出するステップを有し、 前記検索用文字列抽出ステップは、前記検索用特殊文字
   付加ステップで特殊文字を付加した検索語からの部分文
   字列の抽出処理として、該検索語からｍ文字（ｍは１以
   上の整数）おきにｎ文字（ｎは２以上の整数）の文字列
   を抽出するステップを有することを特徴とする文書検索
   方法。
4. 【請求項４】 登録時には、格納された文書から所定の
   部分文字列を抽出し、該部分文字列の文書における存在
   の有無を存在情報として記憶する記憶手段と、検索時に
   は、指定された検索語から所定の部分文字列を抽出し、
   前記存在情報テーブルを参照して該部分文字列がすべて
   存在する文書を求めることにより、前記検索語が含まれ
   る可能性が高い文書を検索する検索手段とを備え、 前記格納された文書および前記検索語から抽出する所定
   の部分文字列は、ｍ文字（ｍは１以上の整数）おきに抽
   出したｎ文字（ｎは２以上の整数）の文字列であること
   を特徴とする文書検索方法。
5. 【請求項５】 格納された文書から所定の部分文字列を
   抽出し、該部分文字列の文書における存在の有無を存在
   情報として保持する存在情報作成手段と、指定された検
   索語から所定の部分文字列を抽出し、前記存在情報を参
   照して該部分文字列がすべて存在する文書を求める存在
   情報検索手段とを備え、 前記存在情報作成手段は、さらに、前記対象文書集合か
   らの部分文字列の抽出処理として、該対象文書集合から
   ｍ文字（ｍは１以上の整数）おきにｎ文字（ｎは２以上
   の整数）の文字列を抽出する手段を備え、前記存在情報
   検索手段は、さらに、前記検索語からの部分文字列の抽
   出処理として、該検索語からｍ文字（ｍは１以上の整
   数）おきにｎ文字（ｎは２以上の整数）の文字列を抽出
   する手段を備えたことを特徴とする文書検索方法。