JPH09223160A

JPH09223160A - 文書検索方法

Info

Publication number: JPH09223160A
Application number: JP8055482A
Authority: JP
Inventors: Hisamitsu Kawaguchi; 川口　　久光; Natsuko Mizutani; 奈津子水谷; Atsushi Hatakeyama; 敦畠山; Katsumi Tada; 勝己多田; Kanji Kato; 寛次加藤; Satoshi Asakawa; 悟志浅川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-02-19
Filing date: 1996-02-19
Publication date: 1997-08-26

Abstract

(57)【要約】【課題】文字成分表を用いた文書検索方法において、
検索ノイズを削減することにある。【解決手段】文字成分表を用いた文書検索方法におい
て、文書の登録の際に、登録文書から抽出した文字列が
既登録文書にはないが、既登録文書の文字成分表では全
てヒットする文字列と、既登録文書から抽出した文字列
が登録文書にはないが、登録文書の文字成分表では全て
ヒットする文字列をノイズ文字成分表に登録し、検索時
に、質問語（例、ガード）に対応するノイズ文字成分表
が作成されている場合には、該質問語により文字成分表
検索した結果得られた文書から、該質問語（ガード）に
対応するノイズ文字成分表に登録されている文書を除く
ことにより、検索ノイズとして検索される文書を文字成
分表検索結果から削除する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザの指定する
質問語から所望の文書を検索する文書検索方法に関わ
り、データベース、文書ファイリングシステムおよびＤ
ＴＰ（ＤｅｓｋＴｏｐＰｕｂｌｉｓｈｉｎｇ）システ
ムなどに適用されるものである。

【０００２】

【従来の技術】先に、文書の登録の際にキーワード付け
を行う必要のないフルテキストサーチ方式を「特開平０
３−１７４６５２」で提案した。この方式は、文書を単
語単位に圧縮した凝縮本文と、文書中の使用文字を一文
字単位で登録した文字成分表を用いて、検索語に関連し
ない文書をふるい落とすことでサーチ速度を等価的に高
めることにより、フルテキストサーチを実用レベルで高
速に行うことを目的としたものである。また、この文字
成分表を改良し更に高速なフルテキストサーチを実現す
る連接文字成分表方式を「特開平０５−１７４０６４」
で提案した。この公知例で用いられれている連接文字成
分表は、登録文書の中に含まれる所定の長さの連続文字
を重複なく全て取り出し、これらを含む文書の識別子情
報をビット列で記述したものである。

【０００３】公知例の文字成分表を用いた文書検索方法
について具体的に説明する。まず、文字成分表の作成方
法について図２を用いて説明する。本例では、何も登録
されてない初期状態の文字成分表に、文書１：“ガード
する”および文書２：“ツアーガイド”を登録すること
を想定している。また、文字成分表のビット列の長さは
文書検索システムに登録する最大文書数分確保され、初
期設定として、これらのビット列には全て“０”がセッ
トされる。文書１の登録時には、所定の長さの連接文字
（以後、文字成分表作成文字列と呼ぶ）が抽出される。
本例では文字成分表作成文字列の長さを１文字に想定し
ているため、文字単位に抽出される。したがって、文書１：“ガードする”の場合には、文字成分表作成文
字列として“ガ”、“ー”、“ド”、“す”および
“る”が抽出される。本文字成分表では、文書の識別子
情報をビット列で記述しているため、図２に示すように
文書１に対応する第１ビット目のビットを用いる。文書
１から抽出された文字成分表作成文字列“ガ”、
“ー”、“ド”、“す”および“る”に対応するビット
列の第１ビット目のみに“１”をセットする。文書２：“ツアーガイド”の登録時には、同様に文書２
から文字成分表作成文字列の抽出が行われ、“ツ”、
“ア”、“ー”、“ガ”、“イ”および“ド”が抽出さ
れる。したがって、これらに対応するビット列の２番目
文字を表わす第２ビット目のみに“１”をセットする。
このような処理を登録する文書に対して適用することに
より文字成分表が作成される。

【０００４】次に文字成分表を用いた文書の検索方法に
ついて図３を用いて説明する。本例では、ユーザが指定
した質問語（以下、検索タームと呼ぶ）として、“ガイ
ド”を、文字成分表としては図２のものを想定してい
る。まず、検索ターム“ガイド”から、登録時と同様に
文字成分表作成文字列の抽出が行われ、本例では
“ガ”、“イ”および“ド”が抽出される。次に、これ
らの抽出された文字成分表作成文字列“ガ”、“イ”お
よび“ド”に対応する文字成分表のビット列を読み出
し、ビット列間のＡＮＤ演算を行う。この結果得られた
ビット列が検索結果となる。本例では、文書２に対応す
る第２ビット目のビットに“１”がセットされているた
め、文書２が検索されたことを表わしている。このよう
に、検索タームから抽出された文字成分表作成文字列に
対応する文字成分表のビット列を参照することにより文
書検索を実現している。

【０００５】

【発明が解決しようとする課題】しかしながら、文書成
分表を用いた文書検索方法では、文字成分表の参照時に
検索タームに含まれる文字成分表作成文字列が全て文書
中に存在するかどうかを調べているだけで、文字成分表
作成文字列の検索ターム中における順序関係および接続
関係まで調べていないため検索タームと一致する文字列
が存在しない文書まで検索してしまうという問題が生じ
る。このように、検索タームが存在しないのに検索され
る文書をノイズと呼ぶ。

【０００６】このようなノイズが検索される具体例につ
いて図４を用いて説明する。本例では、検索タームとし
て“ガード”を、文字成分表としては図２のものを想定
している。まず、検索タームとして“ガード”から、文
字成分表作成文字列の抽出が行われ、“ガ”、“ー”お
よび“ド”が抽出される。次にこれらの抽出された、文
字成分表作成文字列“ガ”、“ー”および“ド”に対応
する文字成分表のビット列が読み出され、ビット列間の
ＡＮＤ演算が行われる。本例では、文書１に対応する第
１ビット目と文書２に対応する第２ビット目の両方のビ
ットに“１”がセットされているため、文書１と文書２
の両方が検索されたことを表わしている。しかしなが
ら、文書２：“ツアーガイド”には、“ガ”、“ー”お
よび“ド”は存在するが“ガード”は存在しない。した
がって、文書２は検索ノイズとして検索されている。こ
のように、文字成分表を用いた文書検索方法には、検索
ノイズが発生するという問題がある。

【０００７】本発明の課題は、文字成分表を用いた文書
検索方法において、検索ノイズを削減することにある。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、データベースへの文書の登録に際し、１
文字以上からなる連接文字を該文書から抽出し、これに
基づいて、連接文字が出現した文書の識別子情報を格納
した文字成分表を作成し、検索時には質問語に含まれる
連接文字に対応する文字成分表を参照することにより、
該連接文字を含む文書の検索を行う文書検索方法におい
て、文書の登録の際に、登録対象文書から抽出した文字
列によりノイズとして検索される登録済み文書がある
か、および登録済み文書から抽出した文字列によりノイ
ズとして登録対象文書が検索されるかを調べ、ノイズが
発生する場合には発生する文書をノイズ文字成分表に登
録し、検索時に、質問語に対応するノイズ文字成分表が
作成されている場合には、該質問語により文字成分表検
索した結果検索された文書から該質問語に対応するノイ
ズ文字成分表に登録されている文書を除くことにより、
ノイズとして検索される文書を削除するようにしてい
る。

【０００９】

【発明の実施の形態】本発明の原理を以下に説明する。
文書登録時には、登録対象文書を１件ずつ読み込みノイ
ズ文字成分表と文字成分表の作成を行う。まず、登録対
象文書を本検索システムに登録することにより検索ノイ
ズが発生するかどうかを調査する。この調査は、登録文
書および登録済み文書から抽出した１〜ｎ文字までの全
ての文字列を対象として行う。

【００１０】まず、登録文書から抽出した文字列(以
後、登録対象文書内ノイズ判定文字列と呼ぶ)によりノ
イズが発生するかを調べる場合について説明する。登録
対象文書から登録対象文書内ノイズ判定文字列を抽出
し、既に文字成分表に登録した登録済み文書の中で、そ
の登録対象文書内ノイズ判定文字列と一致する文字列が
存在せずに、その登録対象文書内ノイズ判定文字列に含
まれる文字を文字成分表作成文字列に全て含む登録済み
文書が存在するかどうか調べる。すなわちノイズとして
検索される登録済み文書があるかを調べる。ノイズとし
て検索される登録済み文書がある場合には、登録対象文
書内ノイズ判定文字列をノイズ検出文字列とし、これに
対応するノイズ文字成分表にその登録済み文書を登録す
る。

【００１１】次に登録済み文書から抽出した文字列(以
後、登録済み文書内ノイズ判定文字列と呼ぶ)により検
索ノイズが発生するかを調べる場合について説明する。
登録済み文書から登録済み文書内ノイズ判定文字列を抽
出し、登録対象文書の中で、その登録済み文書内ノイズ
判定文字列と一致する文字列が存在せずに、その登録済
み文書内ノイズ判定文字列に含まれる文字を文字成分表
作成文字列に全て含む登録対象文書が存在するかどうか
を調べる。その登録済み文書内ノイズ判定文字列に含ま
れる文字成分表作成文字列が全て存在する場合には、そ
の登録済み文書内ノイズ判定文字列をノイズ検出文字列
とし、これに対応するノイズ文字成分表に登録対象文書
を登録する。その後、登録対象文書から文字成分表作成
文字列を抽出し、文字成分表を作成する。

【００１２】文書の検索時には、検索タームから文字成
分表作成文字列を抽出し、これらに対応する文字成分表
のビット列を読み出し、ビット列間のＡＮＤ演算を行
う。さらに、検索タームと一致するノイズ検出文字列が
ノイズ文字成分表に登録されている場合には、このビッ
ト列間のＡＮＤ演算結果と検索タームに対応するノイズ
文字成分表のビット列とＡＮＤ−ＮＯＴ演算を行う。こ
のように、文書登録時に検索タームに指定される可能性
のあるノイズ判定文字列に対しノイズで検索される文書
を登録したノイズ文字成分表を作成し、検索時には検索
タームと一致するノイズ判定文字列が存在する場合には
ノイズ文字成分表を参照し、文字成分表検索結果とＡＮ
Ｄ−ＮＯＴ演算を行うことによりノイズとして検索され
る文書を削減することができる。

【００１３】以上説明した原理について、さらに具体例
を用いて詳細に説明にする。まず、文字成分表およびノ
イズ文字成分表の作成方法について説明する。文字成分
表およびノイズ文字成分表は、文書を全く登録していな
い初期状態から作成するものとする。登録文書として
は、文書１：“ガードする”、文書２：“ツアーガイド”、文書３：“ハンガーをサイドボードに付ける” を想定し、文字成分表作成文字列の文字数としては１文
字を、登録対象文書内ノイズ判定文字列と登録済み文書
内ノイズ判定文字列の長さとしては２〜３文字を想定す
る。下限値が２文字なのは、文字成分表作成文字列の長
さとして１文字を想定しているため、１文字では検索ノ
イズが発生しないからである。

【００１４】ノイズ文字成分表作成処理では、文書１：
“ガードする”を読み込むと、文書１から登録対象文書
内ノイズ判定文字列の抽出を行い、登録対象文書内ノイ
ズ判定文字列について検索した場合にノイズが発生する
かを調べる。本例では、登録対象文書内ノイズ判定文字
列として、“ガ”、“ード”、“ードす”、“する”、
“ガード”、“ードす”および“ドする”が得られる。
しかし、この時点では、文字成分表は初期登録の状態の
ため、ノイズの検出処理を行わない。ここで抽出した登
録対象文書内ノイズ判定文字列は、登録済み文書におけ
るノイズ判定文字列(以後、登録済み文書内ノイズ判定
文字列と呼ぶ)として、ワークエリアに格納する。その
後、文字成分表を作成するために文書１から文字成分表
作成文字列の抽出を行う。その結果、“ガ”、“ー”、
“ド”、“す”および“る”を抽出し、これらに対応す
る文字成分表のビット列に文書１を登録する。

【００１５】次に、文書２：“ツアーガイド”を読み込
み、文書２から登録対象文書内ノイズ判定文字列を抽出
し、本例では、“ツア”、“アー”、“ーガ”、“ガ
イ”、“イド”、“ツアー”、“アーガ”、“ーガ
イ”、“ガイド”が得られる。これらの登録対象文書内
ノイズ判定文字列についてノイズが発生するかを調べ
る。これらのノイズ判定文字列において、登録済み文書
である文書１中に現れないものがあるかを調べる。その
結果、“ツア”、“アー”、“ーガ”、“ガイ”、“イ
ド”、“ツアー”、“アーガ”、“ーガイ”、“ガイ
ド”がこれ条件に該当する。さらに登録対象文書内ノイ
ズ判定文字列に含まれる文字が登録済み文書である文書
１に全て現れるものが存在するかを調べる。すなわち、
例えば、文書１の文字成分表に全て現れるものが存在す
るかを調べる。その結果、“ーガ”がこの条件に該当す
る。したがって、“ーガ”をノイズ検出文字列として、
これに対応するノイズ文字成分表のビット列に文書１を
登録する。このノイズ文字成分表はノイズ文字成分表と
同様にノイズ検出文字列に対応するビット列で構成して
おり、新たなノイズ検出文字列が出現した場合には、新
たにノイズ文字成分表のビット列を作成し、文字成分表
と同様にビット列の初期設定として全ビットに“０”
（ゼロ）を格納する。本例では、ノイズ検出文字列“ー
ガ”に対応するノイズ文字成分表のビット列が存在しな
いため、対応するビット列を新設し、そのビット列の第
１ビット目に“１”をセットする。

【００１６】その後、登録済み文書である文書１から抽
出した登録済み文書内ノイズ判定文字列“ガー”、“ー
ド”、“ドす”、“する”“ガード”、“ードす”、お
よび“ドする”について検索ノイズが発生するかを調べ
る。まず、これらの文書内ノイズ判定文字列において、
登録対象文書である文書２中に現れないものがあるかを
調べる。その結果、全ての登録済み文書内ノイズ判定文
字列“ガー”、“ード”、“ドす”、“する”“ガー
ド”、“ードす”、および“ドする”が該当する。さら
に、これらの登録済み文書内ノイズ判定文字列に含まれ
る文字が登録対象文書である文書２に現れるものが存在
するかを調べる。本例では、“ガー”、“ード”と“ガ
ード”がこれに該当する。これは、“ガー”、“ード”
と“ガード”が検索タームとして指定されると文書２が
ノイズとして検索されることを示している。したがっ
て、“ガー”、“ード”および“ガード”に対応するノ
イズ文字成分表のビット列を作成し、そこに文書２を登
録する。ここで抽出した登録対象文書内ノイズ判定文字
列は、登録済み文書におけるノイズ判定文字列として、
ワークエリアに重複しないように追加格納する。その
後、文字成分表を作成するために文書２から文字成分表
作成文字列として“ツ”、“ア”、“ー”、“ガ”、
“イ”、“ド”を抽出し、これらに対応する文字成分表
のビット列に文書２を登録する。

【００１７】次に、文書３：“ハンガーをサイドボード
に付ける”を読み込むと、登録対象文書内ノイズ判定文
字列の抽出を行い、登録対象文書内ノイズ判定文字列と
して“ハン”、“ンガ”、“ガー”、…を抽出する。こ
れらの登録対象文書内ノイズ判定文字列について、ノイ
ズの調査を行う。その結果、“ガー”および“ード”が
文書２においてノイズを発生する。その後、ワークエリ
アに格納した登録済み文書である文書１および文書２か
ら抽出した登録対象文書内ノイズ判定文字列“ガー”、
“ード”、“ドす”、“する”、“ガード”、“ード
す”、“ドする”、“ツア”、“アー”、…について、
登録対象文書である文書３においてノイズが発生するか
を調べる。

【００１８】その結果、“ーガ”、“ガイ”、“ーガ
イ”、“ガード”および“ガイド”が該当する。したが
って、“ーガ”、“ガイ”、“ーガイ”、“ガード”お
よび“ガイド”に対応するノイズ文字成分表に文書３を
登録する。さらに、登録対象文書内ノイズ判定文字列
“ハン”、“ンガ”、“ガー”、…を登録済み文書内ノ
イズ判定文字列として、ワークエリアに追加格納する。

【００１９】その後、登録文書から文字成分表作成文字
列として“ハ”、“ン”、“ガ”、“ー”、“を”、…
を抽出し、これらに対応する文字成分表に文書３の登録
を行う。この処理の結果得られた文字成分表を図５に、
ノイズ文字成分表を図６に示す。

【００２０】次に、これらの文字成分表およびノイズ文
字成分表を用いた検索処理について説明する。図７はそ
の処理経過を示す。検索タームには、“ガード”を想定
する。まず、検索タームから文字成分表作成文字列
“ガ”、“ー”および“ド”を抽出する。次に、これら
に対応する文字成分表のビット列を読み込み、ビット列
間のＡＮＤ演算を行う。本例では“ガ”、“ー”および
“ド”のいずれのビット列も全ビットが１であるため、
ＡＮＤ演算の結果も全ビットが１となる。すなわち、文
書１〜文書３の全てのビットが検索されていることを示
している。ここまでは、従来の文字成分表検索である
が、本発明では、更に、検索ターム“ガード”がノイズ
文字成分表に登録されているかを調べ、登録されている
場合には、検索タームに対応する文字成分表のビット列
とＡＮＤ−ＮＯＴ演算を行う。本例の図６のノイズ文字
成分表には“ガード”が登録されているため、文字成分
表検索結果から検索ターム“ガード”に対応する文字成
分表のビット列に登録されている文書を除く処理を行
う。この処理を実現するため、文字成分表検索結果から
そのノイズ文字成分表のビット列とＡＮＤ−ＮＯＴ演算
を行う。その結果、第１ビット目のみが１、すなわち文
書１のみが検索されており、文書２および文書３はノイ
ズとして落とされている。このように文字成分表検索結
果から検索タームに対応するノイズ文字成分表のビット
列に登録されている文書を除くことによりノイズを削除
することができる。

【００２１】以上説明したように、登録文書に含まれる
ノイズとなる文字列に対して作成したノイズ文字成分表
を用いることによりノイズとなる文書を検索結果から除
くことが可能となり、ノイズの少ない文字成分表を用い
た文書検索方法を実現することができる。

【００２２】以下、本発明の実施例を説明する。本発明
が適用された文書検索システムの構成について図１を用
いて説明する。本システムは、ディスプレイ１０１、キ
ーボード１０２、ＣＰＵ１０３、メモリ１０４、磁気デ
ィスク１０５およびフロッピーディスクドライブ（ＦＤ
Ｄ）１０６から構成される。ディスプレイ１０１、キー
ボード１０２、メモリ１０４、磁気ディスク１０５およ
びＦＤＤ１０６は、ＣＰＵ１０３よりバスを介してアク
セスされる。磁気ディスク１０５には、文字成分表ファ
イル８０００およびノイズ文字成分表ファイル９０００
が格納される。メモリ１０４には、システム制御プログ
ラム５０００、検索インタフェースプログラム６００
０、登録制御プログラム２０００、検索制御プログラム
３０００、ノイズ文字成分表登録プログラム２１００、
文字成分表検索プログラム３１００およびノイズ文字成
分表検索プログラム３２００がロードされ、ワークエリ
ア４０００が確保される。本文書検索システムの文書デ
ータベースに登録される文書は、フロッピーディスク１
０７に格納され、ＦＤＤ１０６を介してＣＰＵ１０３よ
りアクセスされる。本システムでは、電源投入時ＣＰＵ
１０３によりシステム制御プログラム５０００が起動さ
れ、システム制御プログラム５０００の制御のもとに登
録制御プログラム２０００および検索制御プログラム３
０００が起動される。

【００２３】まず、このような構成の本システムにおけ
る文書の登録処理の概略について説明する。ユーザがキ
ーボード１０２から入力した指示に従って、システム制
御プログラム５０００が登録制御プログラム２０００を
起動する。登録制御プログラム２０００では、本検索シ
ステムに文書が未登録な場合に、本システムの初期設定
として、文字成分表ファイル８０００に格納されている
文字成分表のビット列の全ビットをリセットするととも
に文書番号として０（ゼロ）を初期設定する。さらに、
フロッピーディスクに格納された登録文書がワークエリ
ア４０００に取り込まれ、文書番号を割り付ける。この
文書番号は、登録された順番に付けられる文書のシリア
ル番号である。

【００２４】その後、登録制御プログラム２０００で
は、ノイズ文字成分表登録プログラム２１００を起動
し、登録文書に対するノイズ文字成分表の作成を行う。
ノイズ文字成分表登録プログラム２１００では、登録文
書から抽出した登録文書内ノイズ判定文字列を用いて登
録済みの文書を検索した場合、または登録済み文書内か
ら抽出した登録済み文書内ノイズ判定文字列を用いて登
録文書を検索しようとした場合に、ノイズを発生するか
否かの判定を行う。これらの判定においてノイズが発生
する場合には、ノイズが発生する登録文書内ノイズ判定
文字列ないしは登録済み文書内ノイズ判定文字列をノイ
ズ検出文字列とし、ノイズとして検索される文書をノイ
ズ検出文字列に対応するノイズ文字成分表に登録する。

【００２５】その後、登録制御プログラム２０００で
は、文字成分表登録プログラム２１００を起動し、登録
文書に対して、文字成分表作成文字列を抽出し、これら
に対応する文字成分表に登録文書を登録する。このよう
な文字成分表を登録する技術は、「特開平０３−１７４
６５２」（単一文字に対応した文字成分表方式）および
「特開平０５−１７４０６４」（連接文字に対応した文
字成分表方式）に記載されている。本実施例ではこれら
の文字成分表作成技術をそのまま利用する。その後、登
録制御プログラム２０００では、フロッピーディスクに
他の登録文書が格納されている場合には、ノイズ文字成
分表登録プログラム２１００を起動し、次の登録文書の
ノイズ文字成分表登録処理を行う。登録制御プログラム
２０００は、以上の一連の登録処理をフロッピーディス
クに格納されている全ての文書について実施する。

【００２６】次に、本システムにおける文書の検索動作
の概略について説明する。ユーザがキーボード１０２か
ら入力した指示に従い、システム制御プログラム５００
０は検索制御プログラム３０００と検索インタフェース
プログラム６０００を起動する。その後、ユーザがキー
ボード１０２から入力した検索タームは、検索インタフ
ェースプログラム６０００に入力され、検索制御プログ
ラム３０００に送られる。検索制御プログラム３０００
では、文字成分表検索プログラム３１００を起動すると
ともに本プログラムへ前記質問語を送る。

【００２７】文字成分表検索プログラム３１００では、
受け取った検索タームから所定の長さの文字列を抽出
し、これらの文字列に対応する文字成分表のビット列を
参照することにより文字成分表の検索を行い、その検索
結果を検索制御プログラム３０００へ送る。このような
文字成分表を検索する技術は、「特開平０３−１７４６
５２」（単一文字に対応した文字成分表方式）および
「特開平０５−１７４０６４」（連続文字に対応した文
字成分表方式）に記載されており、本実施例ではこれら
の文字成分表検索技術をそのまま利用する。

【００２８】その後、検索制御プログラム３０００で
は、ノイズ文字成分表検索プログラム３２００を起動す
るとともに前記質問語と前記検索結果を送る。ノイズ文
字成分表検索プログラム３２００では、前記質問語に対
応するノイズ文字成分表が存在するかを調べ、存在する
場合には前記検索結果からノイズ文字成分表に登録され
ている文書を除き、これを新たな検索結果として検索制
御プログラム３０００へ送る。存在しない場合は送られ
てきた検索結果をそのまま検索制御プログラム３０００
へ送る。本検索結果は、ビット列から文書番号列へ変換
し、検索インタフェースプログラム６０００へと送ら
れ、検索結果文書番号としてディスプレイ１０１に表示
される。

【００２９】次に、ノイズ文字成分表登録プログラム２
１００の構成とノイズ文字成分登録処理について図８を
用いて説明する。ノイズ文字成分表登録プログラム２１
００は、登録文書内ノイズ判定文字列抽出ステップ２１
１０、登録文書内ノイズ判定文字列数繰り返しステップ
２１２０、登録済み文書内出現判定ステップ２１３０、
登録済み文書内部分文字列出現判定ステップ２１４０、
登録文書内ノイズ判定文字列対応ノイズ文字成分表登録
ステップ２１５０、登録済み文書内ノイズ判定文字列数
繰り返しステップ２１６０、登録文書内出現判定ステッ
プ２１７０、登録文書内部分文字列出現判定ステップ２
１８０、登録済み文書内ノイズ判定文字列対応ノイズ文
字成分表登録ステップ２１９０、および登録済み文書内
ノイズ判定文字列登録ステップ２１９５から構成され
る。

【００３０】ノイズ文字成分表登録プログラム２１００
における各ステップの動作について、以下説明する。ま
ず、ノイズ判定文字列抽出ステップ２１１０では、ワー
クエリア４０００に格納された文書から全ての文字列を
抽出し、登録文書内ノイズ判定文字列としてワークエリ
ア４０００に格納する。次に、登録文書内ノイズ判定文
字列数繰り返しステップ２１２０では、ワークエリア４
０００に格納されている登録文書内ノイズ判定文字列に
ついて、ステップ２１３０〜ステップ２１５０の処理を
繰り返す。

【００３１】本ステップの繰り返し処理について次に説
明する。登録済み文書内出現判定ステップ２１３０で
は、処理対象の登録文書内ノイズ判定文字列と同じ文字
列が登録済み文書中に出現するか判定し、出現しない場
合は登録済み文書内部分文字列出現判定ステップ２１４
０を実行する。登録済み文書内部分文字列出現判定ステ
ップ２１４０では、処理対象の登録文書内ノイズ判定文
字列に含まれる文字成分表作成文字列を抽出し、登録文
書内ノイズ判定文字列と同じ文字列が出現していない登
録済み文書中に、これらの抽出された文字成分表作成文
字列が全て出現するかを判定する。その結果、抽出され
た文字成分表作成文字列が全て出現する登録済み文書が
存在する場合には、登録文書内ノイズ判定文字列対応ノ
イズ文字成分表登録ステップ２１５０を実行する。登録
文書内ノイズ判定文字列対応ノイズ文字成分表登録ステ
ップ２１５０では、処理対象の登録文書内ノイズ判定文
字列に対応するノイズ文字成分表に該当登録済み文書を
登録する。以上の一連の処理が、登録文書内ノイズ判定
文字列数繰り返しステップ２１２０により、全ての登録
文書内ノイズ判定文字列について実施される。

【００３２】その後、登録済み文書内ノイズ判定文字列
数繰り返しステップ２１６０では、ワークエリア４００
０に格納されている登録済み文書内ノイズ判定文字列に
ついて、ステップ２１７０〜ステップ２１９０の処理を
繰り返す。本ステップの繰り返し処理について次に説明
する。登録文書内出現判定ステップ２１７０では、処理
対象の登録済み文書内ノイズ判定文字列と同じ文字列が
登録文書中に出現するか判定し、出現しない場合は登録
文書内部分文字列出現判定ステップ２１８０を実行す
る。登録文書内部分文字列出現判定ステップ２１８０で
は、処理対象の登録済み文書内ノイズ判定文字列に含ま
れる文字成分表作成文字列を抽出し、これらの抽出され
た文字成分表作成文字列が登録文書中に全て出現するか
を判定する。その結果、抽出された文字成分表作成文字
列が全て出現する場合には、登録済み文書内ノイズ判定
文字列対応ノイズ文字成分表登録ステップ２１９０を実
行する。登録済み文書内ノイズ判定文字列対応ノイズ文
字成分表登録ステップ２１９０では、処理対象の登録済
み文書内ノイズ判定文字列に対応するノイズ文字成分表
に該当登録文書を登録する。以上の一連の処理が、登録
文書内ノイズ判定文字列数繰り返しステップ２１６０に
より、全ての登録済み文書内ノイズ判定文字列について
実施される。

【００３３】その後、登録済み文書内ノイズ判定文字列
登録ステップ２１９５では、登録文書内ノイズ判定文字
列を登録済み文書内ノイズ判定文字列として、ワークエ
リア４０００に追加格納する。以上の処理を行うことに
より、ノイズの発生する文字列を調査し、それに対応す
るノイズ文字成分表を作成することができる。

【００３４】さらに、ノイズ文字成分表検索プログラム
３２００の構成とノイズ文字成分表検索処理について図
９を用いて説明する。ノイズ文字成分表検索プログラム
３２００は、文字成分表検索結果取得ステップ３２１
０、ノイズ発生文字列判定ステップ３２２０、ノイズ文
字成分表読み出しステップ３２３０、ノイズ文書削除手
段３２４０、および文字成分表検索結果格納ステップ３
２５０から構成される。

【００３５】ノイズ文字成分表検索プログラム３２００
における各ステップの動作について、以下説明する。ま
ず、文字成分表検索結果取得ステップ３２１０では、文
字成分表検索プログラム３１００で作成された文字成分
表検索結果と検索タームをワークエリア４０００から読
み出す。次に、ノイズ発生文字列判定ステップ３２２０
では、検索タームと一致するノイズ文字発生文字列が存
在するかを判定する。一致する場合には、ノイズ文字成
分表読み出しステップ３２３０およびノイズ文書削除手
段３２４０を実行する。ノイズ文字成分表読み出しステ
ップ３２３０では、検索タームと一致したノイズ文字列
に対応するノイズ文字成分表のビット列をノイズ文字成
分表ファイル９０００から読み出す。ノイズ文書削除ス
テップ３２４０では、文字成分表検索結果から、読み出
されたノイズ文字成分表に登録されている文書を除くた
めに、文字成分表検索結果とそのノイズ文字成分表のビ
ット列とでＡＮＤ−ＮＯＴ演算を行う。そして、この演
算結果を新たな文字成分表検索結果とする。その後、文
字成分表検索結果格納ステップ３２５０では、文字成分
表検索結果をワークファイル４０００に格納する。この
文字成分表検索結果は、検索制御プログラムにから、検
索結果として送出される。

【００３６】以上の処理を行うことにより、文字成分表
検索結果から検索タームに対応するノイズ文字成分表の
ビット列に登録されている文書を除くことによりノイズ
を削減することができる。

【００３７】次に、ノイズ文字成分表登録処理につい
て、具体例を用いて動作を詳細に説明する。まず、ノイ
ズ文字成分表登録処理について、図８を用いて詳細に説
明する。文字成分表およびノイズ文字成分表は、文書を
全く登録しない初期状態から作成するものとする。ま
た、登録済み文書内ノイズ判定文字列は初期状態のた
め、登録されていないものとする。さらに、登録文書と
しては、文書１：“ガードする”および文書２：“ツア
ーガイド”、を想定し、文字成分表作成文字列の文字数
としては１文字、登録対象文書内ノイズ判定文字列と登
録済み文書内ノイズ判定文字列の長さとしては２〜３文
字を想定する。下限値が２文字なのは、文字成分表作成
文字列の長さとして１文字を想定しているため、１文字
では検索ノイズが発生しないからである。

【００３８】まず、登録文書内ノイズ判定文字列抽出ス
テップ２１１０では、文書１：“ガードする”を読み込
むと、文書１から登録対象文書内ノイズ判定文字列の抽
出を行い、本例では、登録対象文書内ノイズ判定文字列
として、“ガー”，“ード”，“ドす”，“する”，
“ガード”，“ードす”および“ドする”が得られる。
これらをワークエリア４０００に格納する。

【００３９】その後、登録文書内ノイズ判定文字列数繰
り返しステップ２１２０では、登録済み文書内出現判定
ステップ２１３０、登録済み文書内部分文字列出現判定
ステップ２１４０および登録文書内ノイズ判定文字列対
応ノイズ文字成分表登録ステップ２１５０を実行し、ワ
ークエリア４０００に格納された登録対象文字内ノイズ
判定文字列が検索タームの一部として指定され、検索を
行った場合にノイズが発生するか否かを調べる。しか
し、この時点では、文字成分表は初期登録の状態のため
ノイズの検出処理を行わない。

【００４０】次に、登録済み文書内ノイズ判定文字列数
繰り返しステップ２１６０では、登録文書内出現判定ス
テップ２１７０、登録文書内部分文字列出現判定ステッ
プ２１８０および登録済み文書内ノイズ判定文字列対応
ノイズ文字成分表登録ステップ２１９０を実行し、ワー
クエリア４０００に格納されている登録済み文書内ノイ
ズ判定文字列が検索タームの一部として指定され、検索
を行った場合にノイズが発生するか否かを調べる。しか
し、この時点では、登録済み文書内ノイズ判定文字列が
ワークエリア４０００に格納されていないため、ノイズ
の検出処理を行わない。

【００４１】この後に、登録済み文書内ノイズ判定文字
列登録判定ステップ２１９５を実行する。本ステップで
は、ワークエリア４０００に格納されている登録文書内
ノイズ判定文字列“ガー”，“ード”，“ドす”，“す
る”，“ガード”，“ードす”および“ドする”を登録
済み文書内ノイズ判定文字列としてワークエリア４００
０に格納する。その後、文字成分表作成プログラム２２
００において、文字成分表を作成するために文書１から
文字成分表作成文字列が抽出され、本例ではその結果
“ガ”，“ー”，“ド”，“す”，“る”が抽出され、
これらに対応する文字成分表のビット列に文書１が登録
される。以上が初期状態における文書１の登録処理であ
る。

【００４２】次に、２番目の文書である文書２：“ツア
ーガイド”の登録処理について説明する。まず、登録文
書内ノイズ判定文字列抽出ステップ２１１０では、文書
２を読み込み、登録対象文書内ノイズ判定文字列を抽出
する。本例では、“ツア”，“アー”，“ーガ”，“ガ
イ”，“イド”，“ツアー”“アーガ”“ーガイ”およ
び“ガイド”が得られ、これらを登録対象文書内ノイズ
判定文字列としてワークエリア４０００に格納する。

【００４３】登録文書内ノイズ判定文字列数繰り返しス
テップ２１２０では、ワークエリア４０００に格納した
上記登録対象文書内ノイズ判定文字列について、登録済
み文書内出現判定ステップ２１３０、登録済み文書内部
分文字列出現判定ステップ２１４０、および登録文書内
ノイズ判定文字列対応ノイズ文字成分表登録ステップ２
１５０を実行し、ワークエリア４０００に格納された登
録対象文書内ノイズ判定文字列が検索タームの一部とし
て指定され、検索を行った場合にノイズ発生するか否か
を調べる。その結果、ワークエリア４０００に格納した
登録対象文書内ノイズ判定文字列は、登録済み文書内出
現判定ステップ２１３０において、登録済み文書内部分
文字列と全て一致しなかったため、全ての登録対象文書
内ノイズ判定文字列は、登録済み文書内部分文字列出現
判定ステップ２１４０の対象となる。

【００４４】次に、登録済み文書内部分文字列出現判定
ステップ２１４０では、登録対象文書内ノイズ判定文字
列“ツア”，“アー”，“ーガ”，“ガイ”，“イ
ド”，“ツアー”“アーガ”“ーガイ”および“ガイ
ド”について、構成要素の文字が登録済み文書に全て現
われるものが存在するかを調べる。すなわち、この時点
では文書１に全て現われるものが存在するかを調べる。
これは、登録対象文書内ノイズ判定文字列を文字成分表
で検索することにより調べることができる。つまり、登
録対象文書内ノイズ判定文字列を文字成分表で検索し、
ヒットした場合には、そのヒットした文書に構成要素の
文字が全て存在することになる。本例では、登録対象文
書内ノイズ判定文字列“ーガ”がこの条件に該当する。

【００４５】したがって、登録対象文書内ノイズ判定文
字列“ーガ”について、登録文書内ノイズ判定文字列対
応ノイズ文字成分表登録ステップ２１５０を実行し、
“ーガ”に対応するノイズ文字成分表に文書１を登録す
る。本例では、ノイズ検出文字列“ーガ”に対応するノ
イズ文字成分表のビット列が存在しないため、対応する
ビット列を新設し、文書１を示すビット列の第１ビット
目に“１”をセットする。このようにすることにより、
“ーガ”に対応するノイズ文字成分表に文書１を登録す
る。

【００４６】次に、登録済み文書内ノイズ判定文字列数
繰り返しステップ２１６０では、登録文書内出現判定ス
テップ２１７０、登録文書内部分文字列出現判定ステッ
プ２１８０および登録済み文書内ノイズ判定文字列対応
ノイズ文字成分表登録ステップ２１９０を実行し、ワー
クエリア４０００に格納されている登録済み文書内ノイ
ズ判定文字列が検索タームの一部として指定され、検索
を行った場合にノイズが発生するか否かを調べる。

【００４７】まず、登録文書内出現判定ステップ２１７
０では、ワークエリア４０００に格納されている登録済
み文書内ノイズ判定文字列“ガー”，“ード”，“ド
す”，“する”，“ガード”，“ードす”および“ドす
る”について、ワークエリア４０００に格納されている
登録対象文書内ノイズ判定文字列“ツア”，“アー”，
“ーガ”，“ガイ”，“イド”，“ツアー”“アーガ”
“ーガイ”および“ガイド”と一致しているものがある
かを各々調べる。その結果、全ての登録対象文書内ノイ
ズ判定文字列が該当しないため、全ての登録済み文書内
ノイズ判定文字列が次の登録文書内部分文字列出現判定
ステップ２１８０の処理対象となる。本ステップでは、
登録済み文書内ノイズ判定文字列において、その構成文
字が全て現われる登録対象文書内ノイズ判定文字列が存
在するか否かを判定する。本例では、登録済み文書内ノ
イズ判定文字列“ガー”，“ード”と“ガード”が該当
する。したがって、これらについて、登録済み文書内ノ
イズ判定文字列対応ノイズ文字成分表登録ステップ２１
９０を実行し、“ガー”，“ード”および“ガード”に
対応するノイズ文字成分表のビット列を作成し、そこに
文書２を登録する。

【００４８】その後、登録済み文書内ノイズ判定文字列
登録ステップ２１９５を実行する。本ステップでは、ワ
ークエリア４０００に格納されている登録対象文書内ノ
イズ判定文字列“ツア”，“アー”，“ーガ”，“ガ
イ”，“イド”，“ツアー”“アーガ”“ーガイ”およ
び“ガイド”を登録済み文書内ノイズ判定文字列として
ワークエリア４０００に格納する。このように、ノイズ
文字成分表プログラム２１００を動作することにより、
ノイズ文字成分表を作成することができる。さらに、登
録文書が大量になると登録済み文書内ノイズ判定文字列
が増加する。このような場合に、コンパクトに格納する
方法として、「情報処理Ｖｏｌ．３４Ｎｏ．２ト
ライとその応用９３．２」で開示されているトライと
いう手法がある。

【００４９】以上説明したように、登録文書に含まれる
ノイズとなる文字列に対して作成したノイズ文字成分表
を用いることによりノイズとなる文書を検索結果から除
くことが可能となり、ノイズの少ない文字成分表を用い
た文字検索方法を実現することができる。

【００５０】

【発明の効果】登録文書に含まれるノイズとなる文字列
に対して作成したノイズ文字成分表を用いることにより
ノイズとなる文書を検索結果から除くことができ、ノイ
ズの少ない文字成分表を用いた文書検索方法を実現する
ことが可能となる。

【図面の簡単な説明】

【図１】本発明が適用された文書検索システムの構成を
示す図である。

【図２】文字成分表作成処理の具体例を示す図である。

【図３】文字成分表を用いた文字成分表検索の例を示す
図である。

【図４】文字成分表を用いた文字成分表検索においてノ
イズが発生する例を示す図である。

【図５】文書１〜文書３を登録した場合の文字成分表の
構成例を示す図である。

【図６】文書１〜文書３を登録した場合のノイズ文字成
分表の構成例を示す図である。

【図７】ノイズ文字成分表を用いた文字成分表検索の例
を示す図である。

【図８】ノイズ文字成分表作成プログラム２１００の処
理手順を示す図である。

【図９】ノイズ文字成分表検索プログラム３２００の処
理手順を示す図である。

【符号の説明】

１０１ディスプレイ１０２キーボード１０３ＣＰＵ１０４メモリ１０５磁気ディスク１０６ＦＤＤ１０７フロッピーディスク２０００登録制御プログラム２１００ノイズ文字成分表登録プログラム２２００文字成分表登録プログラム３０００検索制御プログラム３１００文字成分表検索プログラム３２００ノイズ文字成分表検索プログラム４０００ワークエリア５０００システム制御プログラム６０００検索インタフェースプログラム８０００文字成分表ファイル９０００ノイズ文字成分表ファイル

───────────────────────────────────────────────────── フロントページの続き (72)発明者多田勝己神奈川県川崎市幸区鹿島田890番地の12 株式会社日立製作所情報・通信開発本部内 (72)発明者加藤寛次神奈川県川崎市幸区鹿島田890番地の12 株式会社日立製作所情報・通信開発本部内 (72)発明者浅川悟志神奈川県横浜市戸塚区戸塚町5030番地株式会社日立製作所ソフトウェア開発本部内

Claims

【特許請求の範囲】

【請求項１】データベースへの文書の登録に際し、１
文字以上からなる連接文字を該文書から抽出し、これに
基づいて、連接文字が出現した文書の識別子情報を格納
した文字成分表を作成し、検索時には質問語に含まれる
連接文字に対応する文字成分表を参照することにより、
該連接文字を含む文書の検索を行う文書検索方法におい
て、文書の登録の際に、登録対象文書から抽出した文字列に
よりノイズとして検索される登録済み文書があるか、お
よび登録済み文書から抽出した文字列によりノイズとし
て登録対象文書が検索されるかを調べ、ノイズが発生す
る場合には発生する文書をノイズ文字成分表に登録する
ノイズ文字成分表登録ステップと、検索時に、質問語に対応するノイズ文字成分表が作成さ
れている場合には、該質問語により文字成分表検索した
結果検索された文書から該質問語に対応するノイズ文字
成分表に登録されている文書を除くステップにより、ノイズとして検索される文書を削除することを特徴とす
る文書検索方法。
【請求項２】請求項１記載の文書検索方法において、前記ノイズ文字成分表登録ステップは、登録対象文書の中に存在する文字列と同じ文字列が登録
済み文書中に存在せずに、該文字列を構成する部分文字
列が全て登録済み文書中に存在する場合には、該文字列
が該登録済み文書においてノイズが発生するものと判定
し、該文字列と該登録済み文書をノイズ文字成分表に登
録し、登録済み文書の中に存在する文字列と同じ文字列が登録
対象文書中に存在せずに、該文字列を構成する部分文字
列が全て登録対象文書中に存在する場合には、該文字列
が該登録対象文書においてノイズが発生するものと判定
し、該文字列と該登録対象文書をノイズ文字成分表に登
録することを特徴とする文書検索方法。
【請求項３】請求項１記載の文書検索方法において、前記ノイズ文字成分表登録ステップは、登録対象文書の中に存在する文字列の中で文字成分表に
登録する文字列の長さ以上の文字列について、これと同
じ文字列が登録済み文書中に存在せずに、該文字列を構
成する部分文字列が全て登録済み文書中に存在する場合
には、該文字列が該登録済み文書においてノイズが発生
するものと判定し、該文字列と該登録済み文書をノイズ
文字成分表に登録し、登録済み文書の中に存在する文字列の中で文字成分表に
登録する文字列の長さ以上の文字列について、これと同
じ文字列が登録対象文書中に存在せずに、該文字列を構
成する部分文字列が全て登録対象文書中に存在する場合
には、該文字列が該登録対象文書においてノイズが発生
するものと判定し、該文字列と該登録対象文書をノイズ
文字成分表に登録することを特徴とする文書検索方法。
【請求項４】請求項１記載の文書検索方法において、前記ノイズ文字成分表登録ステップは、登録対象文書の中に存在する文字列の中で文字成分表に
登録する文字列の長さ以上でかつ所定の長さ以下の文字
列について、これと同じ文字列が登録済み文書中に存在
せずに、該文字列を構成する部分文字列が全て登録済み
文書中に存在する場合には、該文字列が該登録済み文書
においてノイズが発生するものと判定し、該文字列と該
登録済み文書をノイズ文字成分表に登録し、登録済み文書の中に存在する文字列の中で文字成分表に
登録する文字列の長さ以上でかつ所定の長さ以下の文字
列について、これと同じ文字列が登録対象文書中に存在
せずに、該文字列を構成する部分文字列が全て登録対象
文書中に存在する場合には、該文字列が該登録対象文書
においてノイズが発生するものと判定し、該文字列と該
登録対象文書をノイズ文字成分表に登録することを特徴
とする文書検索方法。
【請求項５】請求項１記載の文書検索方法において、前記ノイズ文字成分表登録ステップは、登録対象文書の中に存在する文字列と同じ文字列が登録
済み文書中に存在しない場合には、該文字列を文字成分
表で検索し、検索された場合には、該文字列が該検索文
書においてノイズが発生するものと判定し、該文字列と
該検索文書をノイズ文字成分表に登録し、登録済み文書の中に存在する文字列と同じ文字列が登録
対象文書中に存在せずに、該文字列を文字成分表で検索
し、検索された場合には、該文字列が該検索文書におい
てノイズが発生するものと判定し、該文字列と該検索文
書をノイズ文字成分表に登録することを特徴とする文書
検索方法。