JP3303881B2 - 文書検索方法および装置 - Google Patents

文書検索方法および装置

Info

Publication number
JP3303881B2
JP3303881B2 JP2001064336A JP2001064336A JP3303881B2 JP 3303881 B2 JP3303881 B2 JP 3303881B2 JP 2001064336 A JP2001064336 A JP 2001064336A JP 2001064336 A JP2001064336 A JP 2001064336A JP 3303881 B2 JP3303881 B2 JP 3303881B2
Authority
JP
Japan
Prior art keywords
search
document
character
text
component table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001064336A
Other languages
English (en)
Other versions
JP2001344282A (ja
Inventor
敦 畠山
浩道 藤澤
寛次 加藤
川口  久光
直材 嶺岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001064336A priority Critical patent/JP3303881B2/ja
Publication of JP2001344282A publication Critical patent/JP2001344282A/ja
Application granted granted Critical
Publication of JP3303881B2 publication Critical patent/JP3303881B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は,文書データベース
を文字列を指定して文書の全文を対象として探索する検
索技術に係わり,特に補助的なファイルを用いて高速な
検索処理を実現するための検索技術に関する。
【0002】
【従来の技術】従来の文書検索システムでは,登録する
文書の内容を表す単語(キーワードと呼ぶ)をインデク
スとする方式がとられている。しかし,この方式ではイ
ンデクサーとよばれるキーワード付けの専門家が文書を
逐一読み,内容を理解した上で適切なキーワードを振る
必要があった。この登録時の手間の掛かる作業を回避す
るために,「特開昭63−198124」のような本文
中に出現する単語を全てキーワードとしてインデクスフ
ァイルに登録する方法も提案されている。しかし,上記
の方法ではインデクスファイルの作成時に,意味を持つ
最小の単位の単語を決定するのが難しく,単語辞書ある
いは,文法規則の不備のために,文章の解析に失敗し
て,重要な単語がキーワードとして抽出されないという
問題がある。この問題を解決するために検索時に文書を
文字コード化したテキストとして直接計算機に登録し,
検索時にはテキストデータベース内の全ての文書の内容
を読んで,与えられたキーワード(従来システムにおけ
る統制キーワードと区別するために,以後検索タームと
呼ぶ)を含む文書を探し出だすフルテキストサーチが提
案されている。
【0003】このフルテキストサーチ方式は,「情報処
理学会研究報告 vol.89,no.66 情報学基
礎14−7 テキストデータベース管理システムSIG
MAとその応用(1989.7.27)」の第2節冒頭
で述べられているように,テキストファイル全体を先頭
から一文字ずつ走査することが大きな特徴である。こう
することにより,キーワードに対応する文書識別子等を
記述したインデクスファイルがなくとも,テキストデー
タベースのテキスト本体を手掛かりに検索することが可
能となる。すなわち,与えられた検索タームでテキスト
データ全体を文字列探索し,検索タームが記述されてい
る文書を検索結果として出力することができる。
【0004】
【発明が解決しようとする課題】従来のフルテキストサ
ーチ方式は,テキストファイル全体を先頭から一文字ず
つ走査するために処理時間が掛かり,大規模なデータベ
ースに適用すると時間が掛かるという課題があった。同
文献第2節中にみられるように,汎用の大型計算機を持
ってしても,2MB/s程度の検索処理速度しか実現で
きない。この速度でも,数メガバイト程度のデータベー
スであれば,検索時間は実用域内に入る。しかし,オフ
ィス等の実用規模のデータベースには数百メガバイトの
容量が必要とされ,この場合には十分な検索レスポンス
が得られないことになる。
【0005】本発明の目的は,高速な文書検索方法およ
び装置を提供することにある。
【0006】
【課題を解決するための手段】上記課題を改善するため
に,以下の処理ステップから構成される文書検索方法を
用い,該方法を実施する装置を構成する。 (1)本文自体を格納するステップ (2)格納した本文を単語レベルで部分文字列へ分解
し,分解した部分文字列間で相互に文字列の包含関係を
調べ,他の部分文字列に含まれる文字列を排除した部分
文字列の集合からなる凝縮本文を作成するステップ (3)本文中で用いられている文字を重複なく集めた文
字成分表を作成するステップ (4)与えられた検索タームを文字レベルで分解し,検
索タームを構成する全ての文字を含む文書を抽出する文
字成分表サーチのステップ (5)文字成分表で抽出された文書に対応する凝縮本文
を参照し,与えられた検索タームを含む文書を抽出する
凝縮本文サーチのステップ (6)与えられた検索条件式が複数の検索ターム間の本
文中での位置関係を指定している場合には,凝縮本文で
抽出された文書に対応する本文データを参照し,与えら
れた検索タームを含み,なおかつ検索ターム間に付与さ
れた位置関係等の検索条件を満たすものを抽出する本文
サーチのステップ
【作用】このように,文字成分表サーチ,凝縮本文サー
チと階層的に絞り込みを行い最後に本文サーチを行う階
層型プリサーチ手段を設けることによって,文字成分表
サーチ,凝縮本文サーチで与えられた条件式を満たさな
い文書をテキスト本文を参照する以前に切り捨てて,検
索対象のテキスト本文を探索する量を少なくすることが
できる。すなわち,検索処理時間に占める割合が高い本
文検索処理時間を減らすことによって,全体の検索処理
時間を短縮することが可能となる。例えば,「本文中に
“画像”と“処理”とが同一の文(センテンス)内にあ
る文書を探せ」という二つの検索タームの本文中での位
置的な関係まで指定した条件式が与えられた場合,直接
本文を参照する従来の方法では検索処理速度を2MB/
sと仮定して,500MBのフルテキストを全て探索す
るのに250秒,すなわち約4分掛かる。しかし,階層
型プリサーチでは,典型的な場合で,文字成分表でデー
タベース全件の10%に,凝縮本文でさらにその10%
に絞り込めたとすると,凝縮本文の容量が本文の30%
の場合,文字成分表の容量はデータベース全体からみる
と無視できるほど小さいので,検索すべき凝縮本文の容
量は15MBで,本文データの探索量は全データベース
量の1%,すなわち5MBとなるため,2MB/sの検
索速度でも,10秒で検索処理を終了できることにな
る。このように,「階層型プリサーチ方式」では,「文字
成分表」と「凝縮本文」という2段階のプリサーチを事前
に行い,それぞれ「文字レベル」と「単語レベル」のふるい
に掛け,最も時間を要する本文サーチの対象となる文書
数をあらかじめ最小に絞り込んでおくことによって,探
索文書容量を削減することができるため,等価的に非常
に高速なフルテキストサーチが実現できることになる。
また,条件式が単一の検索タームあるいは複数の検索タ
ームでのAND,OR,NOT条件の場合には,凝縮本
文サーチでの結果をそのまま最終検索結果とすることが
できる。なぜなら,凝縮本文中に存在している単語は,
必ず本文中にも存在するためもう一度本文を検索する必
要がないためである。このように,「単語レベル」での検
索では処理時間のかかる本文サーチをまったく省略する
ことができるため,より一層全体の検索処理時間を短縮
することが可能となる。以上の処理ステップから構成さ
れるフルテキストサーチ方法によれば,直接本文を探索
する量を予め少なくすることができるため,高速なフル
テキストサーチが可能となる。
【0007】
【発明の実施の形態】以下,本発明の第一の実施例につ
いて図1を用いて説明する。本装置は,ディスプレイ1
00,キーボード101,中央制御装置CPU102,
文字成分表105,凝縮本文104,及び本文103格
納用ファイル110,フロッピディスクドライバ10
6,主メモリ200から構成される。
【0008】主メモリ200には,本文登録プログラム
201,凝縮本文作成登録プログラム202,文字成分
表作成登録プログラム203,文字成分表サーチプログ
ラム204,凝縮本文サーチプログラム205,本文サ
ーチプログラム206,階層型プリサーチ制御プログラ
ム207が格納されるとともに,データエリア208が
確保されている。これらのプログラムはCPU102で
実行される。文書の登録の際は,キーボード101から
入力されるコマンドにより,CPU102がフロッピデ
ィスクドライバ106に挿入されるフロッピディスクか
ら文書データを読込み,本文登録プログラム201を実
行して読み込んだ文書データを本文103としてファイ
ル110へ格納する。次にCPU102は,凝縮本文作
成登録プログラム202を実行して,本文103を単語
レベルで部分文字列へ分割し,分割した部分文字列間で
相互に文字列の包含関係を調べ,他の部分文字列に含ま
れる文字列を排除した部分文字列の集合からなる凝縮本
文を作成し,これを凝縮本文104としてファイル11
0へ格納する。最後にCPU102は,文字成分表作成
登録プログラム203を実行して,本文103中で用い
られている文字を重複なく集めた文字成分表を作成し,
これを文字成分表105としてファイル110へ格納す
る。検索の際には,キーボード101から入力された検
索条件式が,CPU102に送られる。CPU102で
は,まず階層検索制御プログラム207を実行し,その
制御に基づいて文字成分表サーチプログラム204,凝
縮本文サーチプログラム205,本文サーチプログラム
206を順次実行する。すなわち,文字成分表サーチで
は,入力された検索条件式中の検索タームを文字レベル
で分解し,検索タームを構成する全ての文字を含む文書
を抽出する。そして,文字成分表で抽出された文書に対
応する凝縮本文を参照し,与えられた検索タームを含む
文書を抽出する。もし,与えられた検索条件式中に単一
の検索タームか,もしくは複数の検索ターム間の論理的
な関係が指定されているのみで,本文中での位置関係ま
では指定されていない場合には,ここで検索を終了し,
凝縮本文サーチの結果を検索結果として出力する。それ
以外の場合,すなわち与えられた検索条件式中に複数の
検索ターム間の本文中での位置関係が指定されている場
合には,凝縮本文サーチで抽出された文書に対応する本
文データを参照し,与えられた検索タームを含み,なお
かつ検索ターム間に付与された位置関係等の検索条件を
満たすものを抽出し,検索結果として出力する。以上が
本発明の第一の実施例のフルテキストサーチ装置の概略
である。
【0009】以下,本発明の特徴である文字成分表サー
チ,凝縮本文サーチ,及び本文サーチと絞り込みを行う
階層型プリサーチ方式の,登録及び検索方法について概
略を説明する。まず「凝縮本文」と「文字成分表」の作
成は,文書の登録時に自動的に行う。この処理内容を,
図2に示す。本図で,登録すべき文書が入力されると,
まずそのまま「本文」として格納する。
【0010】次に,この「本文」から「凝縮本文」を作
成する。「凝縮本文」は,「本文」の中から文字種(漢
字、ひらがな、カタカナ、英字等)ごとに文字列を分割
し,繰り返し現れる言葉の重複を排除して作成される。
本文が「あいまい検索のための検索技術・・・・・」と
いう文書1の場合には,「検索」が重複語として切り捨
てられ,「あいまい」と「検索技術」及び「のための」
が「凝縮本文」として残ることになる。また,「本文」
から「文字成分表」を作成する。ここでは,「本文」に
現われる文字を1ビットの情報で表す。文書1の例で
は,「あ」と「い」があるのでそれぞれ‘1’を,また
「う」はないので‘0’を設定する。「検」と「索」も
同様にそれぞれ‘1’を設定する。以下同様にして,文
字成分表の該当文字部分に,「本文」にその文字がある
場合には‘1’を,存在しない場合には‘0’を設定す
る。このようにして,文書の登録時に「凝縮本文」と
「文字成分表」を自動的に作成し,階層型プリサーチの
準備をしておく。検索時には,図3に示すように,登録
の逆の順序でこれらの補助ファイルを参照する。まず第
1に,文字成分表サーチでは,文字成分表を参照し,検
索ターム中の全ての文字に対応する文字成分表の該当文
字部分に‘1’が設定されているものを選びだす。第2
に,凝縮本文サーチでは,文字成分表で選びだされた文
書の凝縮本文を参照し,条件式に与えられた検索ターム
を含む文書を選びだす。最後に本文サーチでは,検索タ
ームの本文での出現位置が条件式と適合するものを選び
だす。本図の例では, 検索[4C]理解すなわち,
「“検索”と“理解”が本文中で4文字以内に近接して
現れるものを探せ」という条件式で検索した例を示して
いる。結果として文書4の“検索”と“理解”が本文中
で4文字離れている文書が抽出される。
【0011】以下,本実施例で用いる文字種分割・重複
語排除型凝縮本文及び文字コード依存型文字成分表の作
成方法と,これらを用いた階層型プリサーチの制御方法
について具体的に説明する。まず最初に本実施例で用い
る文字種分割・重複語排除型凝縮本文の作成方法につい
て説明する。図4に示すように,まず本文テキストから
文字種により文字列を分割する。この時の文字種とは,
漢字,ひらがな,カタカナ,英字,数字,記号その他で
ある。これらの単一文字種の連なりからなる文字列毎に
本文の文字列を分割する。次に,分割した文字列のそれ
ぞれについて,同一文書内にある他の部分文字列にその
部分文字列がそっくり含まれてしまう場合,その文字列
を重複文字列として凝縮本文の対象から排除する。例え
ば,“検索”という部分文字列は,同一文書内にある他
の“知的検索技術”という部分文字列に完全に含まれる
ので,この“検索”は凝縮本文には登録しない。しか
し,凝縮本文サーチでは,たとえ“検索”という文字列
は凝縮本文に登録されていなくとも,“知的検索技術”
の部分文字列としてヒットすることになる。
【0012】このように,部分文字列の重複登録を排除
して,得られた部分文字列には,図5に示すように文書
毎に文字列の間にセパレータを挿入する。本図では,セ
パレータとして記号‘,’を用いている。図2,図3で
はこのセパレータは記号‘|’で表されているが,この
セパレータは特に文字として表す必要はなく,文字に割
り当てられていない特殊なコードを使用することもでき
る。
【0013】次に本実施例で用いる文字コード依存型文
字成分表の作成方法について説明する。図6に示すよう
に,文字コード依存型文字成分表は,文字コードによっ
て存在を示すビット情報として,1を立てるビット位置
を決定する文字成分表である。本図ではシフトJISコ
ードを例に説明している。同図で(XXXX)Hは文字
コードを16進表示したものである。例えば“検索”と
いう文字列が文書1の本文中に存在することを示すの
に,文書1のビットリストの(8C9F)H,(8DF
5)H番目に1を設定する。ビットリスト中のこの文字
に対応するビット位置を文字成分表のエントリ番号と呼
ぶことにする。例えば‘検’のエントリ番号は(8C9
F)H,または10進表示すれば35999となる。以
上の文字成分表と凝縮本文を用いた階層型プリサーチの
制御及びサーチ動作について説明する。まず検索条件式
中の検索タームをそれぞれ一文字単位に分解し,文字成
分表サーチを行う。ここでは与えられた検索タームを構
成する文字コードに対応するビットリスト中のエントリ
番号の位置がすべて1となるビットリストを持つ文書を
求めることとなる。例えば,“検索”という文字列が検
索タームとして与えられた場合,‘検’,‘索’に対応
するビットリストの(8C9F)H,(8DF5)H番
目のビットがすべて1である文書1,2,3,
4,...を文字成分表サーチの検索結果とする。
【0014】すなわち,図7に示すように‘検’を示す
(8C9F)Hのエントリ番号のビットリスト701
と,‘索’を示す(8DF5)Hのエントリ番号のビッ
トリスト702との間でビット毎にAND演算を施し,
ビットAND演算結果703を得る。このビットAND
演算結果703のビットリスト中で,1となっているビ
ット位置に対応する文書番号が文字成分表サーチの検索
結果としてのヒット文書を表すことになる。すなわち,
‘検’と‘索’を全て含む文書が抽出されることにな
る。また,“湖”のように検索タームがただ1個の文字
から構成される場合は,ここで文字成分表サーチの結果
を出力して検索を終了することができる。次に文字成分
表サーチで抽出された文書の凝縮本文に対してサーチを
行う。ここでは図5のように文書毎に登録された凝縮本
文の内容をスキャンして,与えられた検索タームを単語
として含む文書を抽出する。つまり,‘検’と‘索’の
2文字が“検索”と連続して現れる文書を抽出する。す
なわち,‘検’と‘索’が含まれていても,“検出”と
“探索”というように,別の単語として現われるような
ものはここで切り捨ててしまう。このためには,文字成
分表サーチで絞り込まれた文書毎の凝縮本文について本
文テキストデータと同じように,一文字ずつスキャンし
ながら探索する。この時,文字成分表サーチで得られた
結果の文書番号に対応する凝縮本文しかスキャンしな
い。例えば,文字成分表サーチの結果が文書番号1,
2,3,4,...であれば,凝縮本文サーチでは,文
書番号1,2,3,4,...の凝縮本文をスキャンす
る。そして,実際に凝縮本文中に検索タームが存在する
文書を凝縮本文サーチの検索結果として出力する。この
ように,「階層型プリサーチ方式」では,「文字成分
表」と「凝縮本文」という2段階のプリサーチを事前に
行い,それぞれ「文字レベル」と「単語レベル」のふる
いに掛け,最も時間を要する本文サーチの対象となる文
書数をあらかじめ最小に絞り込んでおくことによって,
探索文書容量を削減することができるため,等価的に非
常に高速なフルテキストサーチが実現できることにな
る。すなわち,文字成分表サーチでは,文字成分表が文
字の存在を1ビットの情報で表しているため,サーチす
るデータ容量を極めて小さくすることができ,その結果
検索時間も短時間に納めることが可能となる。さらに,
キーワードを構成する文字毎のビットリストの論理積を
取ることによって,キーワードに関連のない文書を大幅
に切り捨て,以降の対象文書を格段に絞り込むことが可
能となる。また,凝縮本文サーチでは,本文を直接スキ
ャンするよりもデータ量が少ない分,検索処理時間が短
縮できることになる。
【0015】次に,本発明の第二の実施例を説明する。
本実施例は,複数の検索タームが指定された場合でも,
効率的に階層型プリサーチを行うことのできるフルテキ
ストサーチ方法を提供するものである。例えば,「“検
索”AND“理解”」という条件式が与えられたときに
は,まず,第1ステップとして文字成分表をサーチす
る。ここでは与えられた検索ターム毎にそのすべての文
字を含む文書を探し,その後検索ターム間で与えられた
条件を満たすような文書を出力する。「“検索”AND
“理解”」という条件式の場合には,“検索”の2文字
を含み,かつ“理解”の2文字を含む文書を探す。すな
わち,「(‘検’AND‘索’)AND(‘理’AND
‘解’)」従って,「‘検’AND‘索’AND‘理’
AND‘解’」つまり,上記の4文字を同時に含む文書
を検索する。次に,この文字成分表サーチの結果絞り込
まれた文書の凝縮本文をサーチする。ここでは,指定さ
れたキーワードが単語として現われる文書だけを抽出す
る。すなわち,“検索”と“理解”を両方同時に含む文
書を検索する。この例の場合のように,検索ターム間の
関係が“AND”,“OR”等の論理条件だけで,その
他にキーワード間の位置関係を規定する条件が指定され
ていない場合には,ここで検索を終了し,凝縮本文サー
チの結果を最終検索結果として出力する。もし,位置条
件が指定されている場合には,凝縮本文サーチで抽出さ
れた文書の本文をサーチし,指定条件に合致するものを
抽出し,これを最終検索条件として出力する。以上が本
実施例における検索動作の説明である。このように,文
字成分表サーチ,凝縮本文サーチで検索ターム間の論理
積を取ることにより,複数個の検索タームが指定された
場合でも,効率的に階層型プリサーチを行い,高速なフ
ルテキストサーチを実現することができる。
【0016】これより第三の実施例として,さらに一般
的に階層型プリサーチの検索制御について詳細に説明す
る。図8にこのときの階層型プリサーチの制御の手順を
PAD図にて説明する。ここでは「“計算機”と“知的
インタフェース”のどちらかを含む文書を探せ」すなわ
ち「“計算機”OR“知的インタフェース”」という検
索式を例にあげて説明する。まず,最初にステップ80
00で文字成分表サーチを行う。ここでは与えられた検
索ターム毎にそのすべての文字を含む文書を探し,その
後検索ターム間に与えられた複合条件を満たすような文
書を出力する。この例では,図9に示すように“計算
機”を構成する3個の文字のそれぞれについて文字成分
表の該当するエントリ番号間のビットAND演算を行
い,次に同様に“知的インタフェース”を構成する9個
の文字のそれぞれについて文字成分表の該当するエント
リ番号間のビットAND演算を行い,最後に先に作成し
た“計算機”に対するのときのビットAND演算結果と
そのビット列のOR演算を行う。すなわち,
「(‘計’AND‘算’AND‘機’) OR
(‘知’AND‘的’AND‘イ’AND ‘ン’A
ND‘タ’AND‘フ’AND ‘ェ’AND‘ー’
AND‘ス’)」という検索式を実行することになる。
これにより,“計算機”を構成する3個の文字をすべて
含む文書,もしくは“知的インタフェース”を構成する
9個の文字をすべて含む文書が抽出される。以上の文字
成分表サーチの結果件数が0件であれば,第8図に示す
ようにここで0件という検索結果を出力して検索を終了
する。また,‘湖’のように検索タームがただ1個の文
字から構成される場合も,ここで文字成分表サーチの結
果を出力して検索を終了する。もし,検索タームが複数
の文字で構成されていて,かつ文字成分表サーチの結果
件数が0件でなければ,次に凝縮本文サーチを行う。凝
縮本文に登録されている内容は,文字種ごとに分割され
た文字列である。例えば,“知的インタフェース”のよ
うに,途中で文字種が異なれば凝縮本文では部分文字列
へ分解され,「知的,インタフェース」のように分割点
にセパレータが入る。したがって,“知的インタフェー
ス”のように異なる文字種から構成される検索タームの
場合,このままでは凝縮本文をサーチしても該当する文
字列が存在しないことになる。そこで,凝縮本文サーチ
に入る前に検索タームをチェックし,異なる文字種で構
成される検索タームはこれを文字種毎に分割する。この
ように文字種で分割するという処理を施した検索ターム
を元々の検索タームと区別して,分割検索タームと呼
ぶ。そして凝縮本文サーチは,例えば“計算機”,“知
的”,“インタフェース”のように分割検索タームで検
索する。ただし,分割検索タームに関しては,分割元を
同じくするターム間でAND条件で検索を行う。例え
ば,「“計算機”OR“知的インタフェース”」という
条件式の場合,凝縮本文サーチでは「“計算機”OR
(“知的”AND“インタフェース”)」すなわち,
「“知的”と“インタフェース”が同一文書内に存在す
るか,または“計算機”が存在する文書を探せ」という
条件式として検索を行うことになる。凝縮本文サーチの
結果が0件であれば,ここで0件という検索結果を出力
して検索を終了する。 また近傍条件,または文脈条件
の指定の有る場合,あるいは“知的インタフェース”の
ような分割される検索タームがある場合,つまり検索タ
ームと分割検索タームが異なる場合に限り本文サーチを
行う。そうでない場合,ここで階層型プリサーチを終了
し凝縮本文の結果を検索結果として出力する。ここで,
文脈条件とは例えば,「“計算機”[S]“知的インタ
フェース”」のように示される条件式でこれは,「“計
算機”と“知的インタフェース”が同一の文(センテン
ス)内にあるものを探せ」という意味を表す。あるいは
近傍条件とは,例えば,「“計算機” [10C]
“知的インタフェース”」のように記述されるもので,
これは,「“計算機”と“知的インタフェース”が10
文字以内に近接して現れる文書を探せ」という意味を表
す。すなわち,文脈条件,近傍条件とも文書中に出現す
る検索タームの位置関係を指定する検索条件のことであ
る。このような本文中に現れる検索タームの位置関係を
指定した検索条件が与えられた場合,もしくは凝縮本文
中ではセパレータで区切られた途中で文字種の変わる検
索タームが与えられた場合には,凝縮本文サーチの結果
に対応する本文データを参照し,与えられた条件通りに
本文中に検索タームが出現するものを検索結果として出
力し,検索を終了することになる。このように,検索タ
ームが異なる文字種で構成されている場合,或いは検索
ターム間の本文中での出現位置に関する条件指定がある
場合についても,効率的に階層型プリサーチを行い,高
速なフルテキストサーチを実現することができる。
【0017】次に,本発明の第四の実施例について説明
する。本実施例は,第一の実施例における文字成分表の
容量を削減し,コンパクトにしたものである。第一の実
施例で用いた文字コード依存型文字成分表は,処理が簡
単であるが,文字成分表の1文書あたりのビットリスト
が長いため文字成分表が大きくなるという問題がある。
また,該当する文字コードが存在しないのにエントリ番
号を割当てているためむだな部分が多いという問題があ
る。例えばシフトJISの場合,(0000)Hから
(8140)Hの間,及び(A000)Hから(E04
0)Hの間,つまり0番目から33087番目までと4
0960番目から57408番目までのエントリ番号に
は該当する文字コードがない。それにもかかわらず,文
字コードによってエントリ番号を決定するためにこの部
分も全て表のエントリとして持っている必要がある。こ
のビットリスト中のむだな部分を排除するために一旦文
字コードを変換し,ビット位置を0番目からすきまなく
使用できるように文字成分表を作成する。この文字コー
ド変換型文字成分表を用いた実施例の詳細について以下
説明する。
【0018】文字コード変換型文字成分表を作成するた
めの文字コードへの変換式の例として次式をあげる。ま
た,対応するPAD図を図10に示す。 if
SJIS < (A000)H then
SCODE = SJIS − (8040)H
else SCODE = SJ
IS − (C040)H SCODE = SC
ODE − (SCODE/256)×64
・・・・・・・ (4−1)
式(但し、通常文字コードの小さい値の部分は制御コー
ドとして用いることが多いために、本式では(814
0)Hとはせずに(8040)Hとして多少の余裕を持
たせている。また、(SCODE/256)の演算結果
の小数点以下は切り捨て、切り捨てた結果と64との乗
算を行う。)式中でSJISがもとのシフトJISコー
ドを示し,SCODEは変換後の文字コードを示す。K
EISコードや他のコード体系についてもシフトJIS
コードとの対応がとれているので同様の式でSCODE
への変換が可能である。(4−1)式は,文字コード表
に表すと図11のような変換を意味している。すなわ
ち,(0000)Hから(FFFF)Hまでの間に(8
140)H〜(9FFC)H 及び (E040)H〜
(FEFC)H と分散して配置されている文字コード
を,(0000)H からすきまなく配置するように文
字コードを変換することになる。この(4−1)式を用
いてコード変換することにより,図12に示すようにビ
ットリストの長さを非常に短くすることができ,文字成
分表の全体の容量を小さくすることができる。
【0019】階層型プリサーチの制御は,第一の実施例
と同じである。すなわち,図8の制御手順をそのまま使
用し,第1に検索ターム中の文字を使い文字成分表サー
チを行い,第2に検索タームを用いて凝縮本文サーチを
行う。文脈条件の指定がなければここで検索結果を出力
し,検索を終了する。文脈条件の指定があれば第3に本
文サーチを行いその結果を出力する。但し,文字成分表
サーチのときには入力された検索タームは全て(4−
1)式に基づいて文字コード変換を施して用いることに
なる。以上,文字コード変換型文字成分表を用いた第四
の実施例について説明した。本実施例によれば,文字コ
ードをコード変換し,ビット位置を0番目からすきまな
く並べた文字成分表を作成することにより,文字成分表
の文字の割り振られていないエントリを無くすことがで
き,文字成分表の容量を非常に小さくすることができ
る。
【0020】次に,本発明の第五の実施例について説明
する。本実施例は,第四の実施例における文字成分表の
容量をハッシング手法を用いてさらに削減したものであ
る。第四の実施例の文字成分表の容量をさらに小さくす
るために,本実施例ではビットリスト中の一つのエント
リ番号に複数の文字を割り当てる。すなわち,ハッシュ
関数を用いて検索ターム中の文字とビットリスト中のビ
ット位置を対応付ける方法をとる。このハッシュ関数と
して例えば次の式を用いることができる。 h(SCO
DE) = mod(SCODE,N) ・
・・・・・ (5−1)式式中でSCODEは(4−
1)式によってシフトJISから変換した文字コードで
ある。modは第1引き数を第2引き数で割った余りを
出力する関数である。Nは任意の整数値である。Nとし
て,例えば512を用いると,‘あ’はエントリ番号4
80,‘ま’はエントリ番号193となる。
【0021】このようにして作成した文字成分表の例を
図13に示す。この場合は,Nを512と設定したが,
1文書を登録するのに512ビットしか必要としないこ
とが分かる。検索時には,与えられた検索タームの各文
字について登録時と同じように,(5−1)式のハッシ
ュ関数を用いてエントリ番号を求め,これに対応する文
字成分表のビット位置を参照する。例えば,“あいま
い”という文字列の場合図13のようにエントリ番号4
80,482,193の位置のビットがすべて1の文書
を文字成分表サーチの検索結果とする。こうして文字成
分表サーチで求められた文書について,次にその凝縮本
文をサーチする。
【0022】以下,凝縮本文サーチ及び本文サーチの制
御手順について,図14を用いて説明する。第一の実施
例では,文字成分表サーチの後検索タームが一文字から
なる場合には,文字成分表サーチの結果を検索結果とし
て出力して階層型プリサーチを終了していた。しかし,
この本実施例で用いた文字成分表の文字成分表サーチで
は,検索ノイズの生じる可能性があるために,凝縮本文
サーチまで階層型プリサーチを継続する必要がある。例
えば,ひらがなの‘は’(シフトJISコード(82C
D)H)は,(5−1)式でエントリ番号13である
が,漢字の‘艦’(シフトJISコード(8ACD)
H)も同じエントリ番号13となる。このことは,検索
タームとして“艦”が与えられた場合,“は”を含む文
書もすべて文字成分表サーチの結果として検索されてく
ることになる。したがってさらに,凝縮本文をスキャン
して実際に漢字の“艦”を含む文書を抽出し,これを検
索結果として出力することになる。以上,第五の実施例
について説明した。本実施例ではハッシュ関数を使っ
て,文字成分表の1エントリに複数個の文字を割り当て
ることにより,文字成分表の容量を格段に小さくできる
という効果が得られる。
【0023】次に第六の実施例について説明する。第五
の実施例のように単純にハッシングした場合,ひらがな
のように文書中に出現しやすい文字と,JIS第2水準
の漢字のようにめったに出現しない文字とが同じエント
リ番号となる可能性がでてくる。例えば,ひらがなの
‘は’と,漢字の‘艦’は同じエントリ番号13とな
り,検索タームとして“艦”が与えられた場合‘は’を
含む文書はすべて文字成分表サーチの結果としてヒット
することになる。ひらがなの‘は’は日本語の文書では
非常に使用頻度の高い文字のためほぼ全件の文書が文字
成分表サーチでヒットする。このように文字成分表サー
チでの絞り込みの率が低下すると,凝縮本文もスキャン
する文書量が増えるために全体の検索処理時間が増大す
ることになる。
【0024】このような絞り込み率の低下を防ぐために
は,ハッシュ関数を文字の使用頻度を考慮して定める必
要がある。本実施例で用いる文字成分表を文字種別ハッ
シング型文字成分表と呼ぶ。文字種別ハッシング型文字
成分表を作成するには,例えば図15に示すように,各
文字種毎に文字成分表のエントリ領域を割り当て,その
領域内で文字コードにより折り返すようなハッシュ関数
を作る。このようなハッシュ関数を実現するには,文字
コードによって文字種を判定した後,mod関数で折り
返してもよいし,文字コードとエントリ番号との対応表
により実現することもできる。このハッシュ関数の一例
を図16にPAD図で示す。本実施例では,ひらがな,
カタカナ,英字のエントリ数をそれぞれ20とし,記号
のエントリ数を10,数字のエントリ数を10,JIS
第1水準のエントリ数を370,JIS第2水準のエン
トリ数を61としている。まず,入力された検索ターム
に対して,文字コードにより文字種を判定し,それぞれ
の文字種ごとに文字成分表の割り当てられたエントリの
部分をmod関数を用いて折り返す。
【0025】すなわち,SCODEが(01DF)Hか
ら(0231)Hの範囲にあれば,ひらがな文字列であ
るので,そのSCODEを20でmodをとってこれを
エントリ番号とする。SCODEが(0240)Hから
(0296)Hの範囲にあれば,カタカナ文字列である
ので,そのSCODEを20でmodをとって,これに
カタカナのハッシング領域の先頭である20を足した値
をエントリ番号とする。SCODEが(01A0)Hか
ら(01DA)Hの範囲にあれば,英字文字列であるの
で,そのSCODEを20でmodをとって,これに英
字のハッシング領域の先頭である40を足した値をエン
トリ番号とする。SCODEが(018F)Hから(0
198)Hの範囲にあれば,数字文字列であるので,そ
のSCODEを10でmodをとって,これに数字のハ
ッシング領域の先頭である70を足した値をエントリ番
号とする。SCODEが(065F)Hから(123
2)Hの範囲にあれば,JIS第1水準の漢字文字列で
あるので,そのSCODEを370でmodをとって,
これにJIS第1水準の漢字文字列のハッシング領域の
先頭である80を足した値をエントリ番号とする。SC
ODEが(125F)Hから(1FDE)Hの範囲にあ
れば,JIS第2水準の漢字文字列であるので,そのS
CODEを61でmodをとって,これにJIS第2水
準の漢字文字列のハッシング領域の先頭である450を
足した値をエントリ番号とする。以上のSCODE以外
の場合には,記号その他の文字種による文字列とみな
し,そのSCODEを10でmodをとって,これに記
号のハッシング領域の先頭である60を足した値をエン
トリ番号とする。
【0026】この文字種別ハッシング型文字成分表を用
いた階層型プリサーチの制御手順は,第五の実施例と同
じである。すなわち,第1に検索ターム中の文字を用い
て文字成分表サーチを行い,第2に検索タームを用いて
凝縮本文サーチを行う。文脈条件等が指定されていない
場合には,ここで検索を終了するが,そうでない場合に
は,第3に本文サーチを行い結果を出力する。以上説明
したように,本実施例によれば,使用頻度を考慮して文
字種ごとに文字成分表のエントリ番号を対応させた文字
種別ハッシング型文字成分表を用いることにより,文字
成分表サーチでのノイズを少なくできるため,凝縮本文
における文書のスキャン量が減り,その分高速なフルテ
キストサーチが可能となる。
【0027】次に第七の実施例として,さらに文字成分
表サーチにおける絞り込みの率を向上させ,凝縮本文の
スキャン量を減らすことのできる頻度情報ハッシング型
文字成分表を用いた階層型プリサーチの制御方法を説明
する。頻度情報ハッシング型文字成分表を作成するに
は,データベースに登録してある文書の文字の使用頻度
を調べ,頻度情報によりハッシュ関数を決定する。頻度
の大きい文字については,同一エントリにできるだけ他
の文字が入らないようにし,頻度の少ない文字について
同一エントリに複数個の文字が入るようにハッシュ関数
を調整する。こうすることにより,平均的に安定した絞
り込み率が文字成分表サーチで得られることになる。具
体的には,図17に示すように(4−1)式で得られる
SCODEをもとに一度データベース中で該当する文字
を使用している文書数を調べ頻度順に並べ替える。次
に,頻度の大きいものから文字成分表のエントリ数分N
tだけとる。そしてNt以内の頻度数分布のうち最も上
位の頻度を持つエントリだけを残して,その他のエント
リに順次Nt以上のエントリ番号を割り付けていく。こ
のNt以上のエントリ番号の割付けには(Nt+1)番
目のエントリをNtのエントリとし,(Nt+2)番目
を(Nt−1)番目のエントリとするように,Ntより
順次頻度の大きいエントリを割り付けていく。割り付け
ていく過程では,常に最上位の頻度を持つエントリの上
には,他のエントリを割り付けないようにする。割り付
けたエントリは,図18に示すようにテーブルの形で,
記憶しておきこのテーブルを参照してハッシュ関数を構
成する。すなわち,SCODEが(095F)Hの文字
‘検’は,エントリ番号231であることが分かる。
【0028】階層型プリサーチの制御手順は,第五の実
施例と同じである。すなわち,図14の制御手順をその
まま使用し,第1に検索ターム中の文字を用いて文字成
分表サーチを行い,第2に検索タームを用いて凝縮本文
サーチを行う。文脈条件等が指定されていない場合に
は,ここで検索を終了するが,そうでない場合には,第
3に本文サーチを行い結果を出力する。このように,本
実施例によれば,データベース中で実際に用いられる文
字の頻度分布をもとに文字成分表を作成することによっ
て,文字成分表サーチで常に安定して高い絞り込み率が
得られるため,検索タームに依存せず安定して短時間の
検索処理時間を得ることができる。
【0029】以上,文字成分表の異なる実施例について
五つの実施例を説明した。これより凝縮本文の異なる実
施例についての説明をする。第一の実施例で用いた凝縮
本文は作成の処理が簡単であるが,図4でも分かるよう
に“のための”というような本来検索に使われないよう
な文字列まで凝縮本文に残ることになる。このことは凝
縮本文の圧縮率低下を招く。つまり,検索時にスキャン
する凝縮本文の量が増えるため,検索処理時間が増加し
てしまう。このような,凝縮本文の圧縮率を低下させる
主な要因は,“のための”というような付属語の連なっ
たそれ自体では意味を持たない文字列を凝縮本文に登録
してしまうところにある。
【0030】そこで,第八の実施例として,この検索に
不要な付属語の連なりを除去した凝縮本文を用いる階層
型プリサーチを説明する。この凝縮本文を文字種分割・
重複排除・付属語除去型凝縮本文と呼ぶ。この凝縮本文
の作成方法は図19に示すように,本文のテキスト文字
列から文字種分割して部分文字列に分け,それから重複
語を排除した後,付属語の除去を行う。文字種分割と重
複排除は第一の実施例と変わらない。付属語除去は,重
複排除の済んだひらがな文字列に対して行う。この付属
語除去のための解析は,図20に示すように基本単語辞
書と単語間の接続規則を基に行う。基本単語辞書には,
図21のようにひらがなのみから構成される動詞,指示
代名詞,形容詞,形容動詞,副詞,接続詞,助詞,助動
詞,またこれらの品詞の活用語尾が品詞情報とともに登
録されている。本図の例では,動詞として<ある>,<
なる>,<もつ>等がそれらの活用語尾とともに登録さ
れている。接続規則には基本単語辞書に登録された各語
が他のどの語と接続し得るかを登録する。例えば図22
に示すように,<動詞−もつ連体形>に<名詞−こと>
が接続し,さらに<名詞−こと>には<助詞−が>が接
続し得ることが登録されている。このような基本単語辞
書及び接続規則を用いてひらがなの部分文字列が付属語
から構成されているか否かを判定し,凝縮本文へその文
字列を登録するか否かを決定する。例えば,“のため
の”という部分文字列は<助詞−の><名詞−ため><
助詞−の>というように接続した文字列と解析できるた
め,付属語のみから構成された文字列と判定し排除す
る。一方,“あいまい”という文字列は,付属語と解析
ができないため排除せずにそのまま凝縮本文へ登録す
る。
【0031】このように,付属語を解析してひらがな文
字列を排除し,検索に使われることのない無用の情報を
削除することによって,凝縮本文の圧縮率を高めること
が可能となる。また解析に用いる基本単語辞書と接続規
則は,時代とともに登録語数が増えていく従来のキーワ
ード辞書とは基本的に異り,普遍的なもので一度作成し
てしまえば更新していく必要がないという利点がある。
付属語として解析できるものだけを排除するために,辞
書に存在しないひらがなから構成される新語が現れても
必ず凝縮本文に残るということになる。
【0032】次に,文字種分割・重複排除・付属語除去
型凝縮本文を用いた階層型プリサーチ方式の制御につい
て説明する。文字種分割・重複排除・付属語除去型凝縮
本文では,ひらがな文字列を付属語解析して凝縮本文に
登録しない場合がある。そのため,特定のひらがな文字
列で検索しようとした場合,凝縮本文サーチで検索もれ
となる場合がある。例えば“めまい”という文字列は,
動詞の未然形活用語尾“め”と助動詞“まい”の終止形
が接続したものと解析できる。具体例としては,“認め
まい”があげられる。ところが“めまい”は,名詞とし
て使われている場合でも,付属語除去処理の結果凝縮本
文からは削除されてしまう。したがってこのような場
合,“めまい”で凝縮本文を検索すると検索もれが生じ
る可能性がでてくる。そのため,検索タームが凝縮本文
中にもともとない言葉なのか,あるいは凝縮本文作成過
程で除去された可能性のある言葉なのかをチェックして
から検索する必要が生じる。検索タームが凝縮本文に登
録されるべき語か否かというチェックは,凝縮本文を作
成したときに用いた付属語除去のアルゴリズムをそのま
ま適用する。この例では,“めまい”という検索ターム
が与えられたときは,これが付属語の連なりと判定する
ことができる。
【0033】以上の検索制御の手順を図23で説明す
る。まず文字成分表サーチを行う。結果件数が0件であ
れば,0件を検索結果として出力して検索処理を終了す
る。第一の実施例でも述べたが,ハッシュ関数を用いな
い方式では検索タームが一文字の場合にかぎり,文字成
分表のサーチ結果を最終検索結果として出力できる。す
なわち,第一及び第四の実施例で説明した文字成分表を
用いる場合には,検索タームが一文字であるか否かを調
べ,一文字であれば文字成分表サーチの結果を検索結果
として出力し,処理を終了する。第五,第六,第七の実
施例で述べたハッシュ関数による文字成分表を用いる場
合には,この検索タームが一文字か否かというチェック
は行わず,常に次の凝縮本文サーチを行う。この後,第
一の実施例と同様に,分割検索タームを生成する。
【0034】次に,分割検索タームのそれぞれについて
付属語解析を行う。分割検索タームのうち一つでも付属
語と判定された場合,その分割検索タームは凝縮本文か
ら削除されている可能性があるので,凝縮本文サーチを
行わず,文字成分表サーチの結果に基づいて本文を直接
サーチする。一方,付属語解析の結果,分割検索ターム
が全て付属語でないと判定されたならば,第一の実施例
と同様に凝縮本文サーチを行う。近傍条件あるいは,文
脈条件の指定がない場合,あるいは分割検索タームがも
との検索タームと同じ場合には,この凝縮本文サーチの
結果を最終検索結果として出力し,検索を終了する。も
し,近傍条件ないし文脈条件が指定されている場合,あ
るいは分割検索タームと元の検索タームが異なる場合に
は,次に本文サーチを実行し,その結果を最終的な検索
結果出力とする。このように,本実施例によれば,ひら
がな文字列を解析し,不要な付属語の連なりを凝縮本文
から除去した文字種分割・重複排除・付属語除去型凝縮
本文を用いることにより,凝縮本文の圧縮率を向上さ
せ,検索処理時間を短縮することができる。
【0035】次に,第九の実施例として,ひらがな文字
列を全て排除した,文字種分割・重複排除・ひらがな文
字列除去型凝縮本文を用いる階層型プリサーチを説明す
る。第八の実施例で説明した凝縮本文は,確かに圧縮率
が上がるものの付属語解析の際に誤った解析をする可能
性がある。例えば第八の実施例でも用いた“めまい”と
いう文字列の例の外にも,付属語解析だけでは本質的に
どれが付属語か正しく判定できない場合がまれにある。
例えば,“動作してこの応用で...”という文書の中
の“してこの”という部分文字列は,,“〜して,この
〜”という意味で用いられているのか,“〜し,てこの
〜”のように機械のてこを意味しているのかが判定する
のが難しい。後者の意味で用いられている場合には,
“てこ”という検索タームを指定した際に,“てこ”は
付属語と判定されないため,凝縮本文をサーチしにいく
ことになる。一方,凝縮本文作成では,“してこの”が
付属語と解析され凝縮本文から削除されているため凝縮
本文サーチで検索もれとなってしまう。この付属語解析
の不完全さを補正するために,ひらがな文字列か否かと
いう単純な判定方法で階層型プリサーチを実現するの
が,本第九の実施例である。この凝縮本文の作成方法
を,図24に示す。本方法では文字種分割の後,ひらが
なを除去して重複登録排除を行う。
【0036】この文字種分割・重複排除・ひらがな文字
列除去型凝縮本文を用いた階層型プリサーチの制御手順
について図25を用いて説明する。まず第八の実施例と
同様に文字成分表サーチを行う。この後,分割検索ター
ムを生成する。次に,分割検索タームのそれぞれについ
てひらがな文字列か否かチェックを行う。分割検索ター
ムのうち一つでもひらがな文字列がある場合,凝縮本文
サーチを行わず,文字成分表サーチの結果に基づいて本
文を直接サーチする。一方,分割検索ターム中にひらが
な文字列がない場合,第一の実施例と同様に凝縮本文サ
ーチを行い,近傍,文脈条件の指定がある場合,あるい
は分割検索タームが元の検索タームと異なる場合には,
本文サーチまで検索処理を続行する。このように,本実
施例によれば,ひらがな文字列を全て排除した凝縮本文
を用いることによって,ひらがな文字列についても検索
もれのない正確なフルテキストサーチが実現できる。
【0037】次に,本発明の第十の実施例について,説
明する。上記第九の実施例では,ひらがなの検索ターム
が与えられた場合,本文を直接参照する必要がある。し
たがって検索時間がより多く掛かることになる。そこ
で,ひらがなの検索タームが与えられた場合でも高速に
フルテキストサーチできる方法として,第十の実施例の
説明をする。本実施例では,第九の実施例で用いた凝縮
本文の外に第九の実施例では除去したひらがな文字列を
登録した凝縮本文を別に作成する。図26に示すよう
に,文字種分割,重複登録排除の後,残った部分文字列
がひらがな文字列か否かを判定し,ひらがな文字列以外
を凝縮本文Aとして登録し,ひらがな文字列を凝縮本文
Bとして登録する。こうすれば,ひらがなだけの検索タ
ームが与えられた際,凝縮本文Bを探索することができ
るようになるため,検索時間を短縮することが可能とな
る。実際の階層型プリサーチの検索制御の手順を図27
に示す。まず第八の実施例と同様に文字成分表サーチを
行う。もし,検索結果が0件なら,ここで検索を終了す
る。この後,分割検索タームを生成する。次に,分割検
索タームをひらがな文字列のタームとそれ以外の文字列
からなるタームに分類する。その後,ひらがな以外の文
字列からなる分割検索タームがある場合には,凝縮Aを
サーチする。次にひらがなの分割検索タームがある場合
には,凝縮Bをサーチする。その後は,第一の実施例と
同様に,近傍,文脈条件の指定がある場合,あるいは分
割検索タームがもとの検索タームと異なる場合には,本
文サーチまで検索処理を続行する。このように,ひらが
なのみの凝縮本文と,ひらがな以外の凝縮本文と分けて
格納することにより,どんな文字種の検索タームが入力
されても,凝縮本文を有効に活用でき,常に高速なフル
テキストサーチが実現できる。
【0038】次に,第十一の実施例について説明する。
本実施例は,凝縮本文の圧縮率を上げるために,文字種
毎に独立した凝縮本文を用いる方法に基づいたものであ
る。本実施例で用いる凝縮本文を文字種分割・重複排除
・文字種別登録型凝縮本文と呼ぶ。この文字種分割・重
複排除・文字種別登録型凝縮本文を作成するには,図2
8に示すように,文字種分割,重複登録排除を行った
後,残った部分文字列の文字種を判定してひらがな凝縮
本文H,カタカナ凝縮本文I,漢字凝縮本文J,英字凝
縮本文K,数字凝縮本文L,記号その他の文字種凝縮本
文Mに分類して登録する。こうすることにより,例えば
漢字の検索タームで検索する場合には,漢字文字種の凝
縮本文Jのみをサーチすればよいことになるため,検索
時間をさらに短縮することができる。具体的な階層型プ
リサーチの制御手順を図29を用いて説明する。まず,
第八の実施例と同様に文字成分表サーチを行う。検索結
果件数が0件なら,ここで検索を終了する。この後,分
割検索タームを生成する。次に,分割検索タームを文字
種毎に分類する。その後,ひらがなの分割検索タームが
ある場合には凝縮Hを,カタカナの分割検索タームがあ
る場合には凝縮Iを,というように分解検索タームの文
字種にしたがってサーチする凝縮本文を選択する。その
後は,第一の実施例と同様に,近傍,文脈条件の指定が
ある場合,あるいは分割検索タームがもとの検索ターム
と異なる場合には,本文サーチまで検索処理を続行す
る。このように,文字種ごとに凝縮本文ファイルを分離
し個々の凝縮本文の容量を小さくすることにより,漢字
のみ,カタカナのみ,あるいはひらがなのみ,といった
単一文字種の検索タームでのフルテキストサーチが高速
に行えるという効果が得られる。
【0039】次に第十二の実施例について,図30およ
び図31を用いて説明する。本実施例は,特願平02−
193015で提案した文書検索装置を用い,本発明を
実現したものである。本装置の主な構成は,キーボート
3001,検索式解析プログラム3002,ビットサー
チプロセッサ3007a,ストリングサーチエンジン3
006,複合条件判定用マイクロプロセッサ3045
a,検索結果格納メモリ3046,ディスプレイ302
0,半導体メモリ装置3010a,RAMディスク装置
3010b,集合型磁気ディスク3010c,及び検索
実行制御プログラム3008よりなる。半導体メモリ装
置3010aには文字成分表が,RAMディスク装置3
010bには凝縮本文,集合型磁気ディスク装置301
0cには本文がそれぞれ格納されている。但し,文字成
分表及び凝縮本文は,集合型磁気ディスク3010cに
格納されていて,本装置の運用開始時点でそれぞれ半導
体メモリ装置3010a及びRAMディスク装置301
0bへローディングされる。
【0040】階層プリサーチ制御の手順は,いままで実
施例で説明してきたものと変わらない。いままでの実施
例との相違点は,文字成分表を半導体メモリ,凝縮本文
をRAMディスク,本文を集合型磁気ディスクに格納し
たところと,文字成分表サーチ専用のマイクロプロセッ
サ,凝縮本文サーチ及び本文サーチ専用のストリングサ
ーチエンジンを用いていることである。検索処理の手順
を以下に説明する。
【0041】キーボード3001から入力した検索条件
式はサーチマシン制御用マイクロプロセッサMPU03
050上の検索式解析プログラム3002により解析さ
れる。すなわち、検索式解析プログラム3002では検
索条件式を構成するキーワード部分とそれらの包含条件
及び配置条件を記述した複号条件記述部に分離する。包
含条件は論理条件として記述され、配置条件は近傍条件
や文脈条件として記述されたものである。分離抽出後、
キーワード部分は同じくMPU03050上の同義語展
開プログラム3003に渡され、複号条件記述部は複号
条件解析プログラム3041に渡される。同義語展開プ
ログラム3003では、ここに内蔵された同義語辞書を
参照して、入力されたキーワードの同義語が求められ
る。そして、ここで同義語展開されたキーワード群は異
表記展開プログラム3004へ渡される。本図の例の場
合、“計算機”から、“電算機”、“コンピュータ”、
“COMPUTER”などが生成される。異表記展開プ
ログラム3004では、ここに入力されてきたキーワー
ド群に対して異表記展開処理が施される。本図の例の場
合、“コンピュータ”から“コンピューター”が、“C
OMPUTER”から“Computer”などが生成
される。こうして同義語及び異表記展開されたキーワー
ド群は、次にオートマトン生成用マイクロプロセッサM
PU13005a上のオートマトン生成用プログラム3
005に送られる。オートマトン生成用プログラム30
05では、異表記展開プログラム3004から送られて
きたキーワード群に対して、これらを一括照合するオー
トマトンを生成し、状態遷移テーブルと照合すべきキー
ワードの識別コード情報として、サーチエンジン300
6に設定する。サーチエンジン3006は有限オートマ
トン方式に基づく高速多重文字照合回路である。また、
異表記展開プログラム3004で異表記展開されたキー
ワード群は、該当キーワードと共に、ビットサーチ用マ
イクロプロセッサMPU33007a上のビットサーチ
プログラム3007へ渡される。
【0042】一方,近傍条件,文脈条件や,AND,O
R等の論理条件は検索式解析プログラム3002から,
複合条件解析プログラム3041,近傍条件解析プログ
ラム3042,文脈条件解析プログラム3043,論理
条件解析プログラム3044を経て複合条件判定プログ
ラム3045へと送られる。必要な検索情報がビットサ
ーチプログラム3007,ストリングサーチエンジン3
006,複合条件判定プログラム3045へ送られた
後,検索制御実行プログラム3008は,まずビットサ
ーチプログラム3007に起動を掛ける。ビットサーチ
プログラム3007は,半導体メモリ装置3010aに
格納してある文字成分表を読み出し,文字成分表サーチ
を行う。文字成分表サーチの結果は,検索結果格納メモ
リ3046へ格納する。
【0043】文字成分表サーチが終った後,検索実行制
御プログラム3008は,検索結果格納メモリ3046
を参照し,検索結果が0件であれば,0件を検索結果と
して出力し検索処理を中断する。検索結果が0件でなけ
れば,ストリングサーチエンジン3006へ起動をかけ
ると同時に検索結果格納メモリ3046に格納されてい
る文字成分表サーチの結果でヒットした文書の凝縮本文
をRAMディスク装置2910bから読み出し,ストリ
ングサーチエンジン3006へ送り,凝縮本文サーチを
実行させる。この結果件数が0件であるか否かの条件判
定は検索実行制御プログラム3008で行う。ストリン
グサーチエンジン3006では,RAMディスク装置3
010bより読み出された,凝縮本文を分割検索ターム
でサーチする。照合結果は複合条件判定プログラム30
45に順次送られる。複合条件判定プログラム3045
では,検索ターム間に付与された論理条件を判定し,条
件に適合する文書の文書番号を検索結果格納メモリ30
46へ順次格納する。
【0044】凝縮本文サーチが終了した後,検索実行制
御プログラム3008は,もう一度検索結果格納メモリ
3046を参照し,結果件数が0件であれば,0件を検
索結果として出力し,検索を終了する。0件でない場合
で,近傍,文脈条件が設定されているか,もしくは分割
検索タームが検索タームと異なっている場合にかぎり検
索結果格納メモリから,検索結果文書番号を読み取り,
これに対応する本文を集合型磁気ディスク装置3010
cから読み出し,ストリングサーチエンジン3006へ
送り,今度は本文サーチを実行させる。近傍,文脈条件
が設定されてなく,かつ分割検索タームが検索タームと
等しい場合には,検索結果格納メモリに格納されている
検索結果件数を出力し,検索を終了する。
【0045】ストリングサーチエンジン3006では,
集合型磁気ディスク装置3010cから読み出された本
文をスキャンして本文サーチを行う。結果は複合条件判
定プログラム3045に順次送られる。複合条件判定プ
ログラム3045では,検索ターム間に付与された論理
条件のほか近傍,文脈条件を判定し,条件に適合する文
書の文書番号を順次検索結果格納メモリ3046へ格納
する。本文サーチまで実行した場合は,本文サーチの終
了後,検索実行制御プログラム3008は,検索結果格
納メモリ3046を参照し検索結果件数を出力して検索
を終了する。このように,容量の大きな本文データを磁
気ディスクに,容量の小さな文字成分表や凝縮本文を,
半導体メモリやRAMディスクに格納することにより,
大規模なデータベースに対しても高速なフルテキストサ
ーチを実現することが可能となる。
【0046】次に凝縮本文を磁気ディスクに格納した第
十三の実施例について説明する。凝縮本文を磁気ディス
クに格納する場合,階層型プリサーチの制御の手順を最
適化することによって,同一の構成を用いた通常の階層
型プリサーチを実行するよりも高速に処理することがで
きる。以下,この制御の手順について説明する。磁気デ
ィスクは通常,機械的に動く磁気ヘッドを持っている。
このため,ディスク上の情報を飛び飛びに読み出す(ス
キップアクセスと呼ぶ)よりも,まとまった情報を一括
して読み出す(シーケンシャルアクセスと呼ぶ)方が速
いという特徴がある。いま,スキップアクセスの読み出
し速度をVskip MB/s,シーケンシャルアクセ
スの読み出し速度をVseq MB/sとすると,デー
タベース全件の文書数をNa件,文字成分表サーチの結
果件数をNc件とし,文書の容量が均一であるとした場
合, Nc > (Vskip/Vseq)・Na
……(12−1)式のとき,シーケンシャルアクセスに
より凝縮本文を全件サーチした方が,文字成分表サーチ
の結果に基づいてスキップアクセスするよりも処理時間
が短くなる。したがって,図32に示すように文字成分
表サーチの後,階層プリサーチ制御プログラムにおいて
結果件数を判定し,(12−1)式を満たすヒット件数
に達した場合には,文字成分表サーチの結果を無視し
て,凝縮本文をデータベース全件分サーチする。以上の
方法を用いると,磁気ディスクに凝縮本文を格納するた
めに,大容量のRAMディスクを使用しなくともすみ,
比較的高速なフルテキストサーチを低価格の文書検索装
置で実現できることになる。
【0047】次に凝縮本文を磁気ディスクに格納した第
十四の実施例について説明する。近傍,文脈条件が指定
されている場合には,文字成分表サーチ結果が非常に少
ない場合,凝縮本文サーチを行わずに,文字成分表サー
チ結果をもとに本文を直接サーチするほうが検索時間が
短くなる。今,凝縮本文のサーチ速度を Vsr MB/
s,本文のサーチ速度を VtxMB/s とし,文字成
分表の結果件数を Nc,凝縮本文の結果件数を Ns
r,凝縮本文の1件当たりのデータ容量を Qsr,本
文の1件当たりのデータ容量を Qtx とすると, NcQsr/Vsr+NsrQtx/Vtx > NcQtx/Vtx …………(13−1)式 のとき,凝縮本文サーチをせずに,本文サーチを直接行
ったほうが検索時間が短くなる。Nsr は凝縮本文を
実際にサーチするまでわからないが,あらかじめ定数を
設定して凝縮本文サーチを行うか否か決定することにな
る。たとえば,データベース全体の文書数を Na とし
て Nsr=αNa (0<α<1) …………(13−2)式として, (13−1)式を変形すると, Nc < αNa(Qtx/Vtx)/(Qtx/Vtx−Qsr/Vsr) …………(13−3)式 のとき,本文サーチを直接行うことにする。αをしきい
値として検索前にあらかじめ値を設定しておき,文字成
分表サーチの後(13−3)式により凝縮本文サーチを
行うか否か決定する。この制御を行うことにより,近
傍,文脈条件の指定の下で高速なフルテキストサーチを
実現することができる。以上,第十二の実施例の廉価版
のシステム構成でフルテキストサーチを実現する第十
三,第十四の実施例について説明した。
【0048】このほかにも,凝縮本文をまったく使用せ
ず凝縮本文サーチのステップを省いて,文字成分表サー
チから直接本文サーチを実行する制御方法によっても階
層型プリサーチを実現することができる。この方法によ
れば,本文をスキャンする量が増えるため検索時間は多
少掛かるが,高価なRAMディスクを使用しなくとも済
み,また凝縮本文を格納する磁気ディスク容量が不要と
なるため,さらに低価格の文書検索装置を実現できるこ
とになる。また,文字成分表を使用せずに直接RAMデ
ィスクあるいは磁気ディスク上の凝縮本文を全件サーチ
し,近傍,文脈条件などの検索ターム間の位置関係の検
索条件指定があるときにのみ本文サーチする制御方法に
よっても階層型プリサーチを実現することができる。こ
の方法によれば,凝縮本文の探索量が増えるため検索時
間は多少掛かるが,文字成分表を格納する半導体メモリ
が不要となるため,その分低価格の文書検索装置を実現
できることになる。
【0049】あるいは,今までの実施例で用いていたビ
ットリスト形式の文字成分表を図33に示すように,文
書中に現れる文字を書き列ねた形式,すなわち1文字を
1ビットとして表すのではなく,そのまま文字コード自
体として格納した文字成分表を使用することもできる。
あるいはこの時に,第五の実施例,第六の実施例,及び
第七の実施例で説明したハッシュ関数を用いて一つの文
字エントリに複数個の文字を対応させ文字成分表の容量
を削減することもできる。このように文字コードを格納
した文字成分表を用いた文字成分表サーチは,凝縮本文
や本文サーチと同様に,一文字ずつファイルからデータ
を読み出し該当する文字が存在するか否か判定すること
で実現できる。このように,本文中で用いられている文
字のみを集めた文字成分表を用いることにより,データ
構造を簡素化でき,かつビット演算をせずに凝縮本文,
本文サーチと同じスキャン型のサーチを用いることがで
きるため,検索処理方法が簡素化できるという効果が得
られる。
【0050】さらに,文字成分表も磁気ディスクに格納
した構成でも,階層型プリサーチを実現することができ
る。この磁気ディスクに文字成分表を格納した場合に
は,文字成分表サーチにおいて検索ターム中で用いられ
ている文字のビットリストを磁気ディスクから順次読み
出しながらビット演算処理を行っていく。もしくは,上
記の文字コードをそのまま文字成分表とした場合には,
文字成分表を順次読み出しながら該当する文字を全て含
む文書を選びだす。この文字成分表を磁気ディスクに格
納する方法によれば,半導体メモリを使わずに済むため
に,さらに低価格の文書検索装置を実現することが可能
となる。
【0051】
【発明の効果】本発明によれば,文字成分表及び凝縮本
文を用いて,階層的に文字レベル及び単語レベルで入力
された検索タームに関連しない文書をふるい落すことに
より,無用の本文サーチを省くことができるため,高速
な文書検索フルテキストサーチの実現技術となり,大規
模な文書データベースでも実用的な応答速度で文書検索
を行うことが可能となる。
【図面の簡単な説明】
【図1】本発明の第一の実施例の構成を示す図である。
【図2】本発明の特徴となる階層型プリサーチのための
登録処理を示す図である。
【図3】本発明の特徴となる階層型プリサーチの検索処
理を示す図である。
【図4】凝縮本文を作成する一例を示した図である。
【図5】凝縮本文の格納形態を示す図である。
【図6】文字成分表の概要を示す図である。
【図7】文字成分表サーチの概要を示す図である。
【図8】階層型プリサーチの処理手順を示す図である。
【図9】第三の実施例における文字成分表サーチの処理
を示す図である。
【図10】第四の実施例で用いる文字成分表のコード変
換の処理を示すPAD図である。
【図11】第四の実施例で用いる文字成分表のコード変
換の概要を示す図である。
【図12】第四の実施例で用いる文字成分表の概要を示
す図である。
【図13】第五の実施例で用いる文字成分表の概要を示
す図である。
【図14】第五の実施例で用いる階層型プリサーチの処
理手順を示す図である。
【図15】第六の実施例で用いる文字成分表の概要を示
す図である。
【図16】第六の実施例で用いる階層型プリサーチの処
理手順を示す図である。
【図17】第七の実施例で用いる文字成分表の作成方法
の概要を示す図である。
【図18】第七の実施例で用いる文字成分表のためのハ
ッシュ関数で用いる文字コード−エントリ番号の対応表
の概要を示す図である。
【図19】第八の実施例で用いる凝縮本文の作成する方
法を示す図である。
【図20】第八の実施例で用いる凝縮本文のためのひら
がな文字列の処理方法を示す図である。
【図21】第八の実施例で用いる付属語解析のための基
本単語辞書を示す図である。
【図22】第八の実施例で用いる付属語解析のための接
続規則を示す図である。
【図23】第八の実施例で用いる階層型プリサーチの処
理手順を示す図である。
【図24】第九の実施例で用いる凝縮本文の作成する方
法を示す図である。
【図25】第九の実施例で用いる階層型プリサーチの処
理手順を示す図である。
【図26】第十の実施例で用いる凝縮本文の作成する方
法を示す図である。
【図27】第十の実施例で用いる階層型プリサーチの処
理手順を示す図である。
【図28】第十一の実施例で用いる凝縮本文の作成する
方法を示す図である。
【図29】第十一の実施例で用いる階層型プリサーチの
処理手順を示す図である。
【図30】第十二の実施例の構成の部分を示す図であ
る。
【図31】第十二の実施例の構成の残りの部分を示す図
である。
【図32】第十二の実施例で用いる階層型プリサーチの
処理手順を示す図である。
【図33】文字として格納した文字成分表の概要を示す
図である。
【符号の説明】
103:本文 104:凝縮本文 105:文字成分表 201:本文登録プログラム 202:凝縮本文作成登録プログラム 203:文字成分表作成登録プログラム 204:文字成分表作成検索プログラム 205:凝縮本文作成作成プログラム 206:本文サーチプログラム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川口 久光 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所 中央研究所内 (72)発明者 嶺岸 直材 神奈川県川崎市幸区鹿島田890番地の12 株式会社日立製作所 情報システム工 場内 (56)参考文献 特許2986865(JP,B2) 加藤寛次 他,全文検索用テキストサ ーチマシンの開発,電子情報通信学会技 術研究報告(DE89−36〜47),日本, 社団法人電子情報通信学会,1989年12月 14日,Vol.89,No.335,p.17 −24 (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 JICSTファイル(JOIS)

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】文書情報を文字コードデータとして蓄積し
    た文書データベースを対象として、検索者が指定したキ
    ーワードを含む文書を検索する文書検索装置において、
    該文書データベースに文書を登録する際、該登録文書の
    本文文字列をひらがな、漢字、及び英数字等の文字種ご
    とに分割し、分割した各部分文字列の間で相互に文字列
    の包含関係を調べ、他の文字列に含まれる文字列を排除
    した部分文字列の集合からなる凝縮本文を作成する手段
    と、該凝縮本文中に現れる文字を重複なく登録した文字
    成分表を作成する手段と、登録対象文書の本文のほかに
    凝縮本文と文字成分表を合わせて文書データベースへ格
    納する手段と、検索時に検索者が指定したキーワードを
    構成する全ての種類の文字を含む文書を、文字成分表を
    参照して抽出する文字成分表サーチ手段と、該文字成分
    表サーチで抽出された文書の件数を検査する手段と、該
    検査の結果件数が所定数以上の件数に達した場合は、凝
    縮本文を全件読み出して、検索者が指定したキーワード
    を構成する部分文字列を含む凝縮本文に対応する文書を
    抽出し、前記検査の結果件数が所定数以下の場合は、前
    記文字成分表サーチで抽出された文書の凝縮本文を参照
    して、検索者が指定したキーワードを構成する部分文字
    列を含む凝縮本文に対応する文書を抽出する凝縮本文サ
    ーチ手段と、抽出された文書の本文を参照して、キーワ
    ード間に付与された位置関係等の検索条件を満たすもの
    を抽出する本文サーチ手段とを備えたことを特徴とする
    文書検索装置。
  2. 【請求項2】文書情報を文字コードデータとして蓄積し
    た文書データベースを対象として、検索者が指定したキ
    ーワードを含む文書を検索する文書検索装置において、
    該文書データベースに文書を登録する際、該登録文書の
    本文文字列をひらがな、漢字、及び英数字等の文字種ご
    とに分割し、分割した各部分文字列の間で相互に文字列
    の包含関係を調べ、他の文字列に含まれる文字列を排除
    した部分文字列の集合からなる凝縮本文を作成する手段
    と、該凝縮本文中に現れる文字を重複なく登録した文字
    成分表を作成する手段と、登録対象文書の本文のほかに
    凝縮本文と文字成分表を合わせて文書データベースへ格
    納する手段と、検索時に検索者が指定したキーワードを
    構成する全ての種類の文字を含む文書を、文字成分表を
    参照して抽出する文字成分表サーチ手段と、該文字成分
    表サーチで抽出された文書の件数を検査する手段と、該
    検査の結果件数が一定数以上の件数に達した場合は、凝
    縮本文を全件読み出して、検索者が指定したキーワード
    を構成する部分文字列を含む凝縮本文に対応する文書を
    抽出する凝縮本文サーチ手段と、該凝縮本文サーチ手段
    により抽出された文書の本文を参照して、キーワード間
    に付与された位置関係等の検索条件を満たす文書を抽出
    し、前記の文字成分表サーチの結果件数が一定数以下の
    場合に該文字成分表サーチで抽出された文書に対する本
    文を参照して、指定キーワードを含むとともにキーワー
    ド間に付与された位置関係等の検索条件を満たす文書を
    抽出する本文サーチ手段とを備えたことを特徴とする文
    書検索装置。
  3. 【請求項3】文書情報を文字コードデータとして蓄積し
    た文書データベースを対象として、検索者が指定したキ
    ーワードを含む文書を検索する文書検索方法において、
    該文書データベースに文書を登録する際、該登録文書の
    本文文字列をひらがな、漢字、及び英数字等の文字種ご
    とに分割し、分割した各部分文字列の間で相互に文字列
    の包含関係を調べ、他の文字列に含まれる文字列を排除
    した部分文字列の集合からなる凝縮本文を作成するステ
    ップと、該凝縮本文中に現れる文字を重複なく登録した
    文字成分表を作成するステップと、登録対象文書の本文
    のほかに凝縮本文と文字成分表を合わせて文書データベ
    ースへ格納するステップと、検索時に検索者が指定した
    キーワードを構成する全ての種類の文字を含む文書を、
    文字成分表を参照して抽出する文字成分表サーチステッ
    プと、該文字成分表サーチで抽出された文書の件数を検
    査するステップと、該検査の結果件数が所定数以上の件
    数に達した場合は、凝縮本文を全件読み出して、検索者
    が指定したキーワードを構成する部分文字列を含む凝縮
    本文に対応する文書を抽出し、前記検査の結果件数が所
    定数以下の場合は、前記文字成分表サーチで抽出された
    文書の凝縮本文を参照して、検索者が指定したキーワー
    ドを構成する部分文字列を含む凝縮本文に対応する文書
    を抽出する凝縮本文サーチステップと、抽出された文書
    の本文を参照して、キーワード間に付与された位置関係
    等の検索条件を満たすものを抽出する本文サーチステッ
    プとを有することを特徴とする文書検索方法。
  4. 【請求項4】文書情報を文字コードデータとして蓄積し
    た文書データベースを対象として、検索者が指定したキ
    ーワードを含む文書を検索する文書検索方法において、
    該文書データベースに文書を登録する際、該登録文書の
    本文文字列をひらがな、漢字、及び英数字等の文字種ご
    とに分割し、分割した各部分文字列の間で相互に文字列
    の包含関係を調べ、他の文字列に含まれる文字列を排除
    した部分文字列の集合からなる凝縮本文を作成するステ
    ップと、該凝縮本文中に現れる文字を重複なく登録した
    文字成分表を作成するステップと、登録対象文書の本文
    のほかに凝縮本文と文字成分表を合わせて文書データベ
    ースへ格納するステップと、検索時に検索者が指定した
    キーワードを構成する全ての種類の文字を含む文書を、
    文字成分表を参照して抽出する文字成分表サーチステッ
    プと、該文字成分表サーチで抽出された文書の件数を検
    査するステップと、該検査の結果件数が一定数以上の件
    数に達した場合は、凝縮本文を全件読み出して、検索者
    が指定したキーワードを構成する部分文字列を含む凝縮
    本文に対応する文書を抽出する凝縮本文サーチステップ
    と、該凝縮本文サーチステップにより抽出された文書の
    本文を参照して、キーワード間に付与された位置関係等
    の検索条件を満たす文書を抽出し、前記の文字成分表サ
    ーチの結果件数が一定数以下の場合に該文字成分表サー
    チで抽出された文書に対する本文を参照して、指定キー
    ワードを含むとともにキーワード間に付与された位置関
    係等の検索条件を満たす文書を抽出する本文サーチステ
    ップとを有することを特徴とする文書検索方法。
JP2001064336A 2001-03-08 2001-03-08 文書検索方法および装置 Expired - Fee Related JP3303881B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001064336A JP3303881B2 (ja) 2001-03-08 2001-03-08 文書検索方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001064336A JP3303881B2 (ja) 2001-03-08 2001-03-08 文書検索方法および装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP05831191A Division JP3220865B2 (ja) 1989-06-14 1991-02-28 フルテキストサーチ方法

Publications (2)

Publication Number Publication Date
JP2001344282A JP2001344282A (ja) 2001-12-14
JP3303881B2 true JP3303881B2 (ja) 2002-07-22

Family

ID=18923165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001064336A Expired - Fee Related JP3303881B2 (ja) 2001-03-08 2001-03-08 文書検索方法および装置

Country Status (1)

Country Link
JP (1) JP3303881B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228016A (ja) * 2004-02-13 2005-08-25 Hitachi Ltd 文字表示方法
WO2005124599A2 (en) 2004-06-12 2005-12-29 Getty Images, Inc. Content search in complex language, such as japanese
JP5238105B2 (ja) * 2005-12-09 2013-07-17 富士通株式会社 プログラム、及びデータ抽出方法
US9251172B2 (en) 2007-06-01 2016-02-02 Getty Images (Us), Inc. Method and system for searching for digital assets
JP5155351B2 (ja) * 2010-03-23 2013-03-06 ヤフー株式会社 地図データ処理装置及び方法
JP5090490B2 (ja) * 2010-03-23 2012-12-05 ヤフー株式会社 代表表記抽出装置、方法及びプログラム
EP2706466A4 (en) * 2011-05-02 2015-06-17 Fujitsu Ltd EXTRACTION PROCESS, INFORMATION PROCESSING, EXTRACTION PROGRAM, INFORMATION PROCESSING, EXTRACTION DEVICE AND INFORMATION PROCESSING DEVICE
JP5800720B2 (ja) * 2012-01-24 2015-10-28 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP5633589B2 (ja) * 2013-02-25 2014-12-03 富士通株式会社 プログラム、データ抽出装置、及び方法
JP6551131B2 (ja) * 2015-10-09 2019-07-31 富士通株式会社 インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤寛次 他,全文検索用テキストサーチマシンの開発,電子情報通信学会技術研究報告(DE89−36〜47),日本,社団法人電子情報通信学会,1989年12月14日,Vol.89,No.335,p.17−24

Also Published As

Publication number Publication date
JP2001344282A (ja) 2001-12-14

Similar Documents

Publication Publication Date Title
US5469354A (en) Document data processing method and apparatus for document retrieval
US5590317A (en) Document information compression and retrieval system and document information registration and retrieval method
US6473754B1 (en) Method and system for extracting characteristic string, method and system for searching for relevant document using the same, storage medium for storing characteristic string extraction program, and storage medium for storing relevant document searching program
JP3636941B2 (ja) 情報検索方法と情報検索装置
KR101157693B1 (ko) 토큰스페이스 저장소와 함께 사용하기 위한 멀티-스테이지질의 처리 시스템 및 방법
US6697801B1 (en) Methods of hierarchically parsing and indexing text
JP2742115B2 (ja) 類似文書検索装置
JP3220865B2 (ja) フルテキストサーチ方法
JP3263963B2 (ja) 文書検索方法及び装置
US20080228748A1 (en) Language independent stemming
JP2005251206A (ja) 単語分割で使用される新単語収集方法およびシステム
JPH02271468A (ja) データ処理方法
JPH08249354A (ja) 単語索引および単語索引作成装置および文書検索装置
JP3303881B2 (ja) 文書検索方法および装置
JPH09288676A (ja) 全文インデックス作成装置および全文データベース検索装置
US7684975B2 (en) Morphological analyzer, natural language processor, morphological analysis method and program
US8682900B2 (en) System, method and computer program product for documents retrieval
US7246107B2 (en) System and method for creating a data file for use in searching a database
JP3376996B2 (ja) フルテキストサーチ方法
JP4682627B2 (ja) 文書検索装置および方法
JPH06348757A (ja) 文書検索装置および方法
JPH11143902A (ja) n−gramを用いた類似文書検索方法
JP2007133682A (ja) 全文検索システム、及び、その全文検索方法
EP0501416B1 (en) Method and apparatus for registering text document data and for document retrieval
JP3253657B2 (ja) 文書検索方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080510

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090510

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees