JPH01259418A - 文字列検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、文字列検索装置に係り、特に、指定された文
字列を特定の文字列から高速に検索する処理に好適な文
字列検索装置に関する。

〔従来の技術〕

オフィス・オートメイション（ＯＡ）化に伴って、文書
情報のデータベース化が急速に進んでおり、そのデータ
ベースの規模も大規模化する方向にある。このような状
況の中で、文書情報の処理の高速化は重要な課題となっ
ている。中でも、文書情報処理の中で最も基本的かつ高
負荷な処理の一つである文字列検索処理について、その
高速化が強く求められている。

文字列検索処理というのは、テキストと呼ばれる与えら
れた特定の文字列の中からパターンと呼ばれる指定され
た文字列を検索する処理である。

この検索方法の一つとして、状態遷移テーブルを用いた
有限オー１〜マトン法が著名である。これは例えば、「
ハードウェア・システムズ・フォア・テキスト・インフ
オメイション・リトリーバル」、エイシーエム　ニスア
イジ−アイアール　カンファレンス第３〜９頁、１９８
３年（Ｈｏｌｌａａｒ。

１、、＾、：ｆｌａｒｄｗａｒｅ　Ｓｙｓｔｅｍｓ　ｆ
ｏｒ　Ｔｅｘｔ　ＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅ
ｖａ　ｌ　、＾ＣＭ　５ＩＧＩＲＣｏｎｆ、、ｐｐ、３
　９（１９８３））において論じられている。この方法
は、ｎ文字のテキストを検索するのに、ちょうどｎ文字
入力する必要がある方法である。

一方、状態遷移テーブルの他にスキップテーブルを用い
て、検索の高速化を図った方法が提案されている。これ
をスキップ法と呼ぶことにする。

このスキップ法については、「高速ストリング・サーチ
・アルゴリズムの提案」　（大曽根他、情報処理学会第
３４回全国大会講演論文集・ｐｐ。

４６３−４６４　（１９８７））や「複数パターンに対
する高速ストリング・サーチ・アルゴリズムの提案」　
（大曽根他、情報処理学会第３５回全国大会講演論文集
、ｐｐ、’４’ｔ−５ｏ　　（１９８７））において論
じられている。この方法は、ｎ文字のテキストを検索す
るのに、テキスト上をスキップしながら入力することに
より、ｎ文字よりも少ない入力で検索が可能となる方法
で、有限オートマトン法より高速化が図れるという利点
をもっている。この方法は、検索パターン長がＱ文字の
時は、最良の場合ｎ　／　Ｑ文字の入力だけで検索を済
ませることができる方法である。

〔発明が解決しようとする課題〕

しかし、上記スキップ法は、例えば、多数のパターンを
検索する場合などで、ｎ文字のテキストの検索に対し、
ｎ文字以上の文字入力を必要とする場合（最悪時にはｎ
ＱＱ文字が存在し５この場合には、ｎ文字の入力しか必
要としない有限オートマトン法よりサーチ速度が劣化す
るという問題があった。また、サーチ速度は劣化しなく
とも、スキップ法のほうがスキップテーブルの作成時間
等のオーバヘッドがかかり、テキスト長が短かい場合に
は、有限オートマトン法より検索時間が長くかかつてし
まうという問題があった。

すなわち、必ずしもいつもスキップ法のほうが性能が良
いわけではなく、テキストやパターンなどの検索の特徴
によっては、有限オートマトン法のほうが性能が良い場
合も存在する。

本発明の目的は、検索の特徴に対応して、常に良い性能
のでる検索方法によって文字列検索がなされる装置およ
び方法を与えることである。

〔課題を解決するための手段〕

上記目的は、スキップ法と有限オートマトン法を実行す
るハードウェアを共通化し、状態遷移テーブルとスキッ
プテーブルの内容を変えるだけで、それぞれの方法が同
一のハードウェアで実行できるようにする文字列検索の
手段と、パターン長やパターン数、テキスト長などの検
索特徴情報により、どちらの方法を使うべきかを判断す
る手段を設けることにより、達成される。

〔作用〕

どちらの方法を使うべきかを判断する手段は、テキスト
やパターンを形成するアルファベットの数やパターン数
、パターン長、テキスト長などの検索特徴情報に基づい
て、スキップ法と有限オートマトン法のそれぞれにおけ
るテーブル作成時間等のオーバヘッド時間とサーチ時間
とを予想し、その結果に基づいて、検索時間を予測し、
有限オートマトン法とスキップ法のどちらを用いた方が
高速化が図れるかを判断し、文字列検索を実行する文字
列検索部に指示を出す０文字列検索部では。

その指示に従い、スキップ法と有限オートマトン法を使
いわける。ここで文字列検索部は、状態遷移テーブルと
スキップテーブルの内容を変えるだけで、スキップ法で
も有限オートマトン法でも実現できるようにしておく。

すると、検索の特徴に応じ高速な検索方法が選ばれるの
で、検索環境に柔軟で高速な文字列検索が実現できる。

しかも、同一のハードウェアで両方式が実現できるので
、経済性にも優れている。

〔実施例〕

以下、本発明の一実施例を説明する。

第２図に、本発明の全体構成を示す。検索すべきテキス
トはＲＡＭＩに格納されている。それを文字列検索装置
２に入力し、その中の文字列検索部２１において文字列
検索の主要な部分が処理される。そして、その検索結果
が出力される。ここで、文字列検索装置２は２文字列検
索専用装置であっても良いし、ＣＰ　Ｕのような汎用プ
ロセッサでも良い。汎用プロセッサの場合は、ソフトウ
ェアによって文字列検索を実現する。ここでは、文字列
検索専用装置を用いる場合を例にとって説明する。

第１図に、本発明の文字列検索装置２の構成を示す２文
字列検索装置２は、文字列検索部２１とテーブル作成部
２２と検索方法判断部２３によって構成される。

テキストの検索を始める前に、パターン数、パターン長
、テキスト長、アルファベット数などの検索の特徴情報
が検索方法判断部２３に入力される。検索方法判断部２
３では、これらの情報より、テーブル作成時間等のオー
バヘッド時間とテキストを検索する時間であるサーチ時
間とを予想する。

そして、その結果により、スキップ法を用いるか有限オ
ートマトン法を用いるか判断し、テーブル作成部２２に
伝える。

テーブル作成部２２は、スキップ法テーブル作成部２２
１と有限オートマトン法テーブル作成部２２２とから構
成されており、検索方法判断部２３の判断結果に応じて
、それらを使いわける。

そして、テーブル作成部２２で作成された状態遷移テー
ブルとスキップテーブルが文字列検索部２１の２１１と
２１２に転送される。

これらの準備が終了した後に１文字列検索部２１がテキ
ストの検索を始める。この時、文字列検索部２１は、ス
キップ法も有限オートマトン法もテーブルの内容が異な
るだけで同一のハードウェアで実現できるようにしてお
く。この文字列検索部２１のハードウェア構成を第３図
に示す。以下、第３図を用いて、文字列検索部２１の動
作原理について説明する。

最初に、テキストアドレスレジスタ２１６に初期入力文
字アドレスを、状態レジスタ２１４に初期状態を設定す
る。時刻ｔで、テキストアドレスレジスタ２１６の内容
に従ってテキストを格納しているＲＡＭにアクセスし、
を個目の入力文字を入力文字レジスタ１１を経てテーブ
ルアドレスレジスタ２］３の下位に取込む。一方、状態
もレジスタ２１４からテーブルアドレスレジスタ２１３
の上位に取込む、 次に、テーブルアドレスレジスタ２１３の内容に従って
、状態遷移テーブル２１２とスキップテーブル２１１に
アクセスし、次状態をレジスタ２１４に、スキップ幅を
スキップ幅レジスタ２１５に取込む。そして、次状態が
ヒツト状態がどうかをヒツト状態検出回路２１７によっ
て調べる。−方１次入力文字アドレスは、スキップ幅と
入力文字アドレスを加算することにより求め、それをテ
キストアドレスレジスタ２１６に格納する。そのアドレ
スがテキストの最後尾のアドレスより大きいか否かを検
索終了検出回路２１８によって調べる。ここで時刻をカ
ウントアツプする。この動作を繰返すことにより、文字
列検索を進めていく。

このようにハードウェアを構成しておくと、スキップテ
ーブルの内容が２以上になっているときには、テキスト
上をスキップしながら文字を入力でき、スキップ法を実
現できるし、内容が全て１−の場合はテキスト上を１文
字ずつ連続に文字を入力することになるので有限オート
マトン法を実現することができる。以上が文字列検索部
２１の動作原理である。

次に、例を用いて、本発明の詳細な説明する。

第１の例として、アルファベットがＡ、Ｂ、Ｃの３種、
検索パターン数が１、検索パターンがｒｃＡＢＪの場合
を考える。この場合、これらの情報から、検索方法判断
部２３は、例えば、アルファベット数に比して検索パタ
ーン数が少ないということから、検索方法としてスキッ
プ法を選択し、その旨をテーブル作成部２２に伝える。

ここで、処理方法の選択方法はいろいろ考えられる。例
えば、キーワード数、キーワード長、アルファベットの
数、テキスト長から予想テーブル作成時間と予想検索時
間とを求める式あるいは表をあらかじめ作成しておき、
その和の少ない方の検索方法を選ぶ方法がある。また、
もう少し大雑把に、キーワード数とキーワード長だけか
らどちらの方法を選ぶか前もって決めておいても良い。

そこで、テーブル作成部２２は、スキップ法における状
態遷移テーブルとスキップテーブルを作成し、それぞれ
、２１２と２１１にセットする。

また、初期状態「０」と初期入力文字アドレス「３」を
、それぞれ、レジスタ２１４と２１６にセットする。

スキップ法におけるパターンｒＣＡＢＪを検索するため
の状態の定義と状態遷移テーブルとスキップテーブルを
第４図と第５図および第６図に示す。テキストがｒＡＢ
ＣＡＢＣＪの場合（第８図参照）の動作を第７図に示す
。この場合、時刻４で検索を終了することができる。

一方、これを有限オートマトン法を用いて実行させると
、状態の定義と状態遷移テーブルとスキップテーブルは
それぞれ、第９図と第１０図および第１１図のようにな
り、テキストがｒＡＢＣＡＢＣＪの場合（第１３図参照
）の動作は第１２図のようになる。この場合、時刻６で
検索を終了することになるので、スキップ法よりサーチ
速度が劣化していることがわかる。

第２の例として、アルファベットがＡ、Ｂ、Ｃの３種、
検索パターン数が２．検索パターンがｒＡＢＣＪとｒｃ
ＡＢＪの場合を考える。この場合、アルファベット数に
比して検索パターン数が比較的多いことから、検索方法
判定部２３は検索方法として有限オートマトン法を選択
し、その旨をテーブル作成部２２に伝える。ここで、前
述したように具体的な処理方法選択方式はいろいろ考え
られる。その例も前述した通りである。

テーブル作成部２２では、有限オーｌ−マトン法におけ
る状態遷移テーブルとスキップテーブルを作成し、それ
ぞれ、２１２と２１１にセットする。

さらに、初期状態ｒＯＪと初期入力文字アドレス「１」
を、それぞれ、レジスタ２１４と２１６にセットし検索
を開始する。この場合の状態の定義と状態遷移テーブル
とスキップテーブルは第１４図と第１５図および第１６
図のようになる。テキストがｒＡＢｃＡＢｃＪの場合（
第１８図参照）の動作例を第１７図に示す。この場合、
時刻６で検索を終了することができる。

一方、これをスキップ法を用いて実行した場合は、時刻
９まで検索を終了することができず、有限オートマトン
法より効率が悪いことがわかる。

上記のテキスト（第２３図参照）でスキップ法を用いた
場合の状態の定義と状態遷移テーブルとスキップテーブ
ルと動作図を第１９図と第２０図と第２１図および第２
２図にそれぞれ示す。

このように、本発明を用いると、同一の文字列検索処理
専用のハードウェアでスキップ法と有限オートマトン法
を実現できるので、これらの方法を使い分けることによ
り、いろいろな検索環境において高速な文字列検索を実
現することができる。

本実施例では、第１の実施例と第２の実施例を処理する
のに、スキップ法だけを用いる場合は、それぞれ、４時
刻と９時刻を要し、有限オートマトン法だけを用いる場
合には、共に６時刻を要するのに対し、本発明を用いる
と、それぞれ、４時刻と６時刻で処理を終了することが
できる。

〔発明の効果〕

スキップ法は、パターン数が少なく、パターン長が長い
場合に、スキップ幅が長くなり、性能が良いという特徴
をもっている。テキスト長をｎ文字、パターン長をＱ文
字とすると、最良の場合、テキストからｎ　／　Ｑ文字
だけ文字を入力するだけで検索を終了することができる
。しかし、パターン数が多く、パターン長が短かい場合
には、スキップ幅が短くなり、性能があまり発揮されな
いという面も有している。極端の場合には、ｎ文字のテ
キストを検索するのに、ｎ１２文字の入力を必要とする
場合も存在する。一方、有限オートマトン法は、ｎ文字
のテキストを検索するのに常にｎ文字入力するだけで検
索を終了することができる方法である。

本発明によれば、最良の場合にはｎ／Ｑ文字の入力で、
最悪の場合にもｎ文字の入力で検索できるので、スキッ
プ法と比べると最悪の場合で２倍、有限オートマトン法
と比べると最良の場合でＱ倍の高速化を図ることができ
る。

また、本発明では、スキップ法も有限オートマトン法も
同一のハードウェアで実現できるので、別個のハードウ
ェアを用意しておく方法より経済性にも優れているとい
う効果がある。

本実施例では、文字列検索部を専用ハードウェアで実現
した場合を説明したが、汎用プロセッサ等によって同じ
論理をソフトウェアで実現した場合にも本発明は有効で
ある。

【図面の簡単な説明】

第１図は本発明の一実施例の文字列検索装置の構成を示
すブロック図、第２図は文字列検索装置の概略構成を示
すブロック図、第３図は本発明の実施例における文字列
検索装置の要部ブロック図、第４図、第９図、第１４図
、第１９図は状態定鵡の説明図、第５図、第１０図、第
１５図、第２０図は状態遷移テーブル図、第６図、第１
１図、第１６図、第２１図はスキップテーブル図、第７
図。 第１２図、第１７図、第２２図は処理の動作説明図、第
８図、第１３図、第１８図、第２３図は入力文字列のア
ドレスとテキストデータの例示図である。 １・・・テキストを格納するＲＡＭ、２・・・文字列検
索装置、２１・・・文字列検索部、２２・・・テーブル
作成部、２３・・・検索方法判断部、２１１・・・スキ
ップテｙｌ、ｔｒ５ａ 鴇　２　圀 ブナｔ！ 慧４呪　　　鳩５０　　　　第６　二 部　７　囚 ８３　圀 ’ｇｑｒｆ３　　　　￥Ｊｔｏｒｎ　　　　　ｙ４ｕＢ
第　／２　　Ｅｌ 平　／３　呂 漬へ　１４　［コ　　　　　）九　ツタ　Ｃ］　　　　
　　　　竿　７６　戸］笛　／７　囚 ｖＪ／８　　囚 ？ｌ　　／’？　　ａ　　　　　　＄　　２０　　［Ｅ
ｌ　　　　　　　　　￥１　２）　　Ｏ喀　２２囚 ′ｖｙ２３　　記

Claims (1)

1. 【特許請求の範囲】 １、テーブルを参照しながら文字列検索を実行する装置
   において、テーブルの内容を変えるだけで、同一の処理
   手順で複数の処理方法が実行できることを特徴とする文
   字列検索装置。 ２、検索すべきテキストやパターン情報を含む検索の特
   徴情報に基づいて、上記複数の処理方法のいずれかの処
   理方法を選ぶ手段を設けたことを特徴とする請求項第１
   項記載の文字列検索装置。 ３、上記処理方法の選択において、テキストやパターン
   の数、長さ、アルファベットの数を少なくとも１つ含む
   情報から、テーブル作成時間を含むオーバヘッド時間と
   サーチ時間を予想し、処理方法を選ぶことを特徴とする
   請求項第２項記載の文字列検索装置。