JPH10269231A - 日英混在文書における文書検索方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明の目的は、日本語と英語が混在した文書
や、日本語文書と英語文書が混在した文書データベース
において、英単語における検索ノイズをなくすことがで
きるとともに高速な文書検索方法を実現することにあ
る。 【解決手段】インデクス登録プログラム２１００によ
り、フロッピーディスク１０７に格納された登録文書か
ら、所定の部分文字列とその位置情報を抽出して、イン
デクスファイル８０００として記憶し、インデクス検索
プログラム３１００によりキーボード１０２で入力され
た検索語に含まれる部分文字列に対応する部分文字列を
抽出し、対応するインデクスを参照することにより所望
の文書を検索するものであって、文字列の英語部分の部
分文字列の抽出時には英単語を部分文字列として抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザの指定する
質問語から所望の文書を検索する文書検索方法に係わ
り、データベース、文書ファイリングシステムおよびＤ
ＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎｇ）シス
テムなどに適用されるものである。

【０００２】

【従来の技術】従来より、文書を登録時に文字コード化
したテキストとして直接計算機に入力してデータベース
化し、検索時に指定された検索文字列（以下、検索ター
ムと呼ぶ）が含まれる文書を探し出すフルテキストサー
チ方法が「特開昭６４―３５６２７号公報」に開示され
ている。この従来例では、文書の登録時にデータベース
に登録する文書のテキストから文字連鎖と呼ばれる特定
数の文字が連続する文字列と、その文字連鎖のテキスト
における出現位置を示す情報をインデクスとして磁気デ
ィスク装置に格納しておく。検索時には、検索ターム中
に存在する文字連鎖を抽出し、これらに対応するインデ
クス中の文字連鎖の位置情報を比較し、抽出した文字連
鎖の検索ターム中の位置関係とインデクス中の文字連鎖
の位置情報の関係が等しいかを判定（以下、隣接判定と
呼ぶ）することによって、指定された検索タームが出現
する文書を探し出す方式が提案されている。

【０００３】この従来例について、図２を用いて具体的
にその内容を説明する。この従来例では、特定文字数を
３に想定している。まず、文書の登録時にデータベース
に登録するテキスト２０１がインデクス作成部２０２に
読み込まれ、文字連鎖インデクス２００が作成される。
この文字連鎖２００には、テキスト２０１に出現する全
ての３文字の文字連鎖とその文字連鎖のテキスト２０１
における出現位置を示すポインタが格納される。

【０００４】例えば、本図に示すテキスト２０１では、
“ａｂｃ”という文字連鎖はｐｔ１、ｐｔ２、・・・で
示される位置に現れるので、文字連鎖インデクス２００
には、文字連鎖“ａｂｃ”とこれに対応した形でポイン
タｐｔ１、ｐｔ２、・・・が格納される。検索時には、
まず、検索タームが文字連鎖抽出部２０３に入力され、
検索ターム中に存在する全ての３文字の文字連鎖と、こ
れに対応する文字連鎖位置が生成される。次に、生成さ
れた文字連鎖とこれに対応する文字連鎖位置がインデク
ス検索部２０４に入力される。インデクス検索部２０４
では、検索タームから抽出された文字連鎖に対応するイ
ンデクスが文字連鎖インデクス２００から読み込まれ、
これらのインデクスの間でポインタによって示される文
字位置が隣接しているものが抽出され検索結果として出
力される。例えば、検索タームとして“ａｂｃｄ”が入
力された場合には、まず、文字連鎖抽出部２０３におい
て＜文字連鎖“ａｂｃ”、文字連鎖位置“０”＞と＜文
字連鎖“ｂｃｄ”、文字連鎖位置“１”＞が抽出され
る。ここで、文字連鎖位置“０”は検索タームの先頭、
文字連鎖位置“１”はその次の文字位置を示している。
次に、インデクス検索部２０４において、文字連鎖イン
デクス２００から文字連鎖“ａｂｃ”および“ｂｃｄ”
に対応するインデクスが読み込まれる。これらのインデ
クスにおける位置ポインタが文字連鎖位置“０”と文字
連鎖位置“１”のように連続するもの、すなわち隣接す
るものが抽出され検索結果として出力される。

【０００５】本図では文字連鎖“ａｂｃ”のポインタｐ
ｔ１と文字連鎖“ｂｃｄ”のポインタｐｔ３が示す位置
が隣接するため、文字連鎖“ａｂｃｄ”が文字列として
存在することが分かり、テキスト中に検索ターム“ａｂ
ｃｄ”が出現することが示される。

【０００６】次に、日本語の文書を登録した場合につい
て説明する。本例では、前記従来例と同様に特定文字数
を３に想定している。

【０００７】まず、文書の登録時にデータベースに登録
するテキスト２０１がインデクス作成部２０２に読み込
まれ、文字連鎖インデクス２００が作成される。この文
字連鎖２００には、テキスト２０１に出現する全ての３
文字の文字連鎖とその文字連鎖のテキスト２０１におけ
る出現位置を示すポインタが格納される。例えば、テキ
スト２０１として“９６年度ＮＡＳＤ加入名簿”という
文字連鎖を想定するとｐｔ１、ｐｔ２、ｐｔ３、・・・
で示される位置に現れるので、文字連鎖インデクス２０
０には、文字連鎖“９６年”、“６年度”、“年度
Ｎ”、・・・、“ＮＡＳ”、“ＡＳＤ”、・・・、“入
名簿”とこれに対応した形でポインタｐｔ１、ｐｔ２、
ｐｔ３、・・・が格納される。

【０００８】検索時には、まず検索タームが文字連鎖抽
出部２０３に入力され、検索ターム中に存在する全ての
３文字の文字連鎖と、これに対応する文字連鎖位置が生
成される。次に、生成された文字連鎖とこれに対応する
文字連鎖位置がインデクス検索部２０４に入力される。
インデクス検索部２０４では、検索タームから抽出され
た文字連鎖に対応するインデクスが文字連鎖インデクス
２００から読み込まれ、これらのインデクスの間でポイ
ンタによって示される文字位置が隣接しているものが抽
出され検索結果として出力される。例えば、検索ターム
として“ＮＡＳＤ”が入力された場合には、まず、文字
連鎖抽出部２０３において＜文字連鎖“ＮＡＳ”、文字
連鎖位置“０”＞と＜文字連鎖“ＡＳＤ”、文字連鎖位
置“１”＞が抽出される。次に、インデクス検索部２０
４において、文字連鎖インデクス２００から文字連鎖
“ＮＡＳ”および“ＡＳＤ”に対応するインデクスが読
み込まれる。これらのインデクスにおける位置ポインタ
が文字連鎖位置“０”と文字連鎖位置“１”のように連
続するもの、すなわち隣接するものが抽出され検索結果
として出力される。本図では文字連鎖“ＮＡＳ”のポイ
ンタｐｔ５と文字連鎖“ＡＳＤ”のポインタｐｔ６が示
す位置が隣接するため、文字連鎖“ＮＡＳＤ”が文字列
として存在することが分かり、テキスト中に検索ターム
“ＮＡＳＤ”が出現することが示される。

【０００９】このように、検索タームから抽出した文字
連鎖の検索ターム中における位置関係とインデクス中の
文字連鎖の位置情報を隣接判定することにより、指定さ
れた検索タームが出現する文書を探し出している。

【００１０】

【発明が解決しようとする課題】しかしながら、この従
来例では、検索ターム“ＮＡＳＤ”が指定された場合、
単語として一致しているかという判断を行っていないた
め、登録文書中に“ＮＡＳＤＡ”や“ＮＡＳＤＡＱ”が
存在し、インデクスに登録されている場合には、“ＮＡ
ＳＤＡ”や“ＮＡＳＤＡＱ”の部分文字列が検索されて
しまい、検索ノイズが発生してしまうという問題が生じ
る。

【００１１】本発明の目的は、日本語と英語が混在した
文書が登録された文書データーベースにおいて、検索タ
ームとして英単語が指定された場合に、検索タームが英
単語の部分文字列としてヒットすることなく英単語とし
てヒットさせることにより、検索ノイズの発生を抑止す
ることにある。

【００１２】

【課題を解決するための手段】文書情報を文字コードデ
ータからなるテキストとして蓄積したテキストデータベ
ースを対象として、文書の登録時には上記テキストから
所定の部分文字列を抽出するとともにインデクスとして
記憶し、検索時には、指定された検索語から所定の部分
文字列を抽出するとともに該部分文字列に対応するイン
デクスを読み出すことにより所望の文書を検索する文書
検索方法において、上記テキスト中の文字の文字種を判
別し、英数字である場合には英数字が連続しているテキ
スト部分を単語抽出ステップに送出する文字種判別ステ
ップと、上記該当テキスト部分から区切り文字を検出す
ることにより単語を抽出する単語抽出ステップと、上記
抽出した単語をインデクスとして記憶する単語インデク
ス登録ステップから文書検索方法を構成する。

【００１３】

【発明の実施の形態】以下、本発明の実施例を説明す
る。

【００１４】まず、本発明が適用された文書検索システ
ムの構成について図１を用いて説明する。本システム
は、ディスプレイ１０１、キーボード１０２、ＣＰＵ１
０３、メモリ１０４、磁気ディスク１０５およびフロッ
ピーディスクドライブ（ＦＤＤ）１０６から構成され
る。

【００１５】ディスプレイ１０１、キーボード１０２、
メモリ１０４、磁気ディスク１０５およびＦＤＤ１０６
は、ＣＰＵ１０３よりバスを介してアクセスされる。磁
気ディスク１０５には、インデックスファイル８０００
が格納される。

【００１６】メモリ１０４には、システム制御プログラ
ム５０００、検索インタフェースプログラム６０００、
登録制御プログラム２０００、検索制御プログラム３０
００、キーワード割り付けプログラム２１００、インデ
ックス作成登録プログラム２２００およびインデックス
検索プログラム３１００がロードされ、ワークエリア４
０００が確保される。

【００１７】本文書検索システムの文書データベースに
登録される文書は、フロッピーディスク１０７に格納さ
れ、ＦＤＤ１０６を介してＣＰＵ１０３によりアクセス
される。本システムでは、電源投入時ＣＰＵ１０３によ
りシステム制御プログラム５０００が起動され、システ
ム制御プログラム５０００の制御のもとに登録制御プロ
グラム２０００および検索制御プログラム３０００が起
動される。

【００１８】このような構成の本システムにおける文書
の登録処理の概略について説明する。

【００１９】ユーザがキーボード１０２から入力した指
示に従って、システム制御プログラム５０００が登録制
御プログラム２０００を起動する。

【００２０】登録制御プログラム２０００では、最初、
文書を登録する前に、ユーザがキーボード１０２から入
力した指示に従い、インデクス登録プログラム２１００
を起動し、インデックスファイル８０００の初期設定を
行う。

【００２１】インデックス作成登録プログラム２１００
では、ユーザがキーボード１０２から入力した指示に従
い、フロッピーディスク１０７に格納された登録対象の
文書を、ＦＤＤ１０６を介してメモリ１０４のワークエ
リア４０００に読み込む。

【００２２】この登録文書に文書番号を割付け、検索に
必要な所定の長さの部分文字列とその位置情報を抽出す
る。抽出した部分文字列に対応するインデックスファイ
ル８０００の中のインデクスに文書番号と部分文字列の
位置情報を登録する。

【００２３】次に、本システムにおける文書の検索動作
の概略について説明する。ユーザがキーボード１０２か
ら入力した指示に従い、システム制御プログラム５００
０は検索制御プログラム３０００と検索インタフェース
プログラム６０００を起動する。

【００２４】その後、ユーザがキーボード１０２から入
力した検索タームを含む質問語は、検索インタフェース
プログラム６０００に入力され、検索制御プログラム３
０００に送られる。

【００２５】検索制御プログラム３０００では、インデ
ックス検索プログラム３１００を起動するとともに本プ
ログラムへ前記質問語を送る。

【００２６】インデックス検索プログラム３１００で
は、受け取った質問語に含まれる検索タームに対応する
インデックスから文書番号を読み出し、検索結果として
検索制御プログラム３０００へ送出する。

【００２７】本検索結果は、検索インタフェースプログ
ラム６０００へと送られ、検索結果文書番号としてディ
スプレイ１０１に表示される。

【００２８】次に、インデクス登録プログラム２１００
の構成とインデクス登録処理について図３を用いて説明
する。

【００２９】インデクス登録プログラム２１００は、部
分文字列抽出ステップ２１１０、英単語抽出ステップ２
１２０、部分文字列削除ステップ２１３０およびインデ
クス追加ステップ２１３０から構成される。

【００３０】まず、部分文字列抽出ステップ２１１０で
は、ワークエリア４０００に格納された登録文書に、文
書毎にユニークな文書番号を割り付けるとともに、その
文書から所定の長さの部分文字列を全て抽出し、その位
置情報とともにワークエリア４０００に格納する。この
位置情報とは、文書中における部分文字列が存在した文
字位置を示す。

【００３１】次に、英単語抽出ステップ２１２０では、
ワークエリア４０００に格納されている登録文書から英
数字が連続している英数字文字列を抽出し、区切り文字
を検出することにより、英数字文字列から単語を抽出す
る。このような英数字文字列から単語を抽出する技術
は、一般に知られており、その技術をそのまま用いる。
さらに、部分文字列削除ステップ２１３０では、抽出さ
れた単語に含まれるワークエリア４０００に格納された
部分文字列を削除し、抽出した単語とその文書中におけ
る位置情報を新たな抽出部分文字列として、ワークエリ
ア４０００に格納する。

【００３２】その後、インデクス追加ステップ２１４０
では、ワークエリア４０００に格納された抽出部分文字
列に対応するインデクスファイル８０００におけるイン
デクスに、登録文書の文書番号とその抽出部分文字列に
対応する位置情報を追加登録する。

【００３３】以上が、インデクス登録プログラム２１０
０の文書登録処理である。

【００３４】次にインデクス検索プログラム３１００の
構成とインデクス検索処理について、図４を用いて説明
する。

【００３５】インデクス検索プログラム３１００は、検
索ターム取得ステップ３１１０、部分文字列抽出ステッ
プ３１２０、英数字文字列判定ステップ３１３０、単語
抽出ステップ３１４０、部分文字列削除ステップ３１５
０、部分文字列マージステップ３１６０およびインデク
ス参照ステップ３１７０から構成される。

【００３６】まず、検索ターム取得ステップ３１１０で
は、検索制御プログラム３０００から送られた質問語を
ワークエリア４０００を経由して取得し、その中に含ま
れる検索タームを抽出する。

【００３７】次に、部分文字列抽出ステップ３１２０で
は、検索タームから所定の長さの部分文字列を全て抽出
し、検索ターム中における位置情報とともにワークエリ
ア４０００に格納する。

【００３８】さらに、英数字文字列判定ステップ３１３
０では、検索ターム中に英数字文字列が存在するかを検
索ターム中に英数字が連続している部分があるか否かで
判定し、存在する場合のみ、単語抽出ステップ３１４
０、部分文字列削除ステップ３１５０、部分文字列マー
ジステップ３１６０を実行する。

【００３９】単語抽出ステップ３１４０では、抽出した
英数字文字列より区切り文字を検出することにより単語
を抽出し、検索ターム中における位置情報とともにワー
クエリア４０００に格納する。次に、部分文字列削除ス
テップ３１５０では、すでに抽出した部分文字列の中で
単語に含まれてしまうものを削除する。これは、単語に
含まれている部分文字列を削除しないと、単語を意識し
た検索が実現できないからである。さらに、部分文字列
マージステップ３１６０では、抽出した単語およびその
位置情報をすでに抽出した部分文字列およびその位置情
報とマージする。このようにすることにより、単語を特
別に処理する必要がなく、部分文字列の一つとして検索
に用いることができる。

【００４０】その後、インデクス参照ステップ３１７０
では、ワークエリア４０００に格納した部分文字列とそ
の位置情報を用いて、インデクスファイル８０００に格
納されている部分文字列に対応するインデクスを読み出
し、検索ターム中における部分文字列の位置関係と同じ
ものを探索する。そして、インデクスに格納されている
位置情報が、検索ターム中の全ての部分文字列が検索タ
ーム中の位置関係と同じ位置情報を持つ場合、この位置
情報に対応する文書番号を検索結果として取得する。こ
のように探索することにより検索タームを含む文書を検
索することができる。このインデクス参照ステップ３１
７０には、部分文字列を用いて検索を行う従来例をその
まま使用することができる。

【００４１】本実施例について、具体例を用いて詳細に
説明する。ここでは、部分文字列の長さとして３文字を
想定する。

【００４２】登録文書中に“ＮＡＳＤＡ”や“ＮＡＳＤ
ＡＱ”が存在している場合、登録時には、単語抽出ステ
ップ２１２０において、単語として“ＮＡＳＤＡ”と
“ＮＡＳＤＡＱ”を抽出し、その部分文字列がワークフ
ァイル４０００に格納されている場合には、“ＮＡＳＤ
Ａ”や“ＮＡＳＤＡＱ”の部分文字列“ＮＡＳ”、“Ａ
ＳＤ”、…は部分文字列削除ステップ２１３０において
削除されてしまう。したがって、インデクスは“ＮＡＳ
ＤＡ”や“ＮＡＳＤＡＱ”に対応するもののみがインデ
クス追加ステップ２１４０において作成されることにな
る。すなわち、単語のインデクスを作成することにな
る。

【００４３】さらに、検索時には、検索タームとして
“ＮＡＳＤ”が指定されたとすると英数字文字列判定ス
テップ３１３０は、検索タームに英数字が含まれている
と判断するため、単語抽出ステップ３１４０が実行さ
れ、検索タームから単語“ＮＡＳＤ”を抽出する。次に
部分文字列削除ステップ３１５０が実行され、“ＮＡＳ
Ｄ”の部分文字列である“ＮＡＳ”や“ＡＳＤ”を格納
されているワークファイル４０００から削除する。次に
部分文字列マージステップ３１６０が実行され単語“Ｎ
ＡＳＤ”は部分文字列“ＮＡＳＤ”としてワークファイ
ル４０００に格納される。その後、インデクス参照ステ
ップ３１７０が実行され“ＮＡＳＤ”に対応するインデ
クスを参照する。この場合、“ＮＡＳＤＡ”や“ＮＡＳ
ＤＡＱ”に含まれる部分文字列として“ＮＡＳＤ”のイ
ンデクスは作成されておらず、単語“ＮＡＳＤ”のみの
インデクスしか作成されていないので、検索ノイズを含
まずに検索することが実現できている。

【００４４】本例では、日本語と英語が混在している文
書について説明してきたが、英語以外のフランス語やド
イツ語などのようにアルファベットを用い、単語を抽出
できる言語であれば、同様に本発明を適用することが可
能である。

【００４５】また、日本文字とアルファベットに限定さ
れるのではなく、異なる種類の言語の文字が混在する文
書にも適用可能である。

【００４６】以上により、日本語と英語が混在した文書
が登録された文書データーベースにおいて、検索ターム
として英単語が指定された場合に、検索タームが英単語
の部分文字列としてヒットすることなく英単語としてヒ
ットさせることにより、検索ノイズの発生を抑止するこ
とが可能となる。

【００４７】

【発明の効果】日本語と英語が混在した文書が登録され
た文書データーベースにおいて、インデクスに所定の長
さの部分文字列とともに英単語を登録することにより、
英単語における検索ノイズをなくすことができる文書検
索方法を実現することが可能となる。

【図面の簡単な説明】

【図１】本発明が適用された文書検索システムの構成を
示す図である。

【図２】従来例のインデクスの例を示す図である。

【図３】本発明を用いたインデクス作成処理を示すPAD
図である。

【図４】本発明を用いたインデクス検索処理を示すPAD
図である。

【符号の説明】

１０１…ディスプレイ、１０２…キーボード、 １０３
…ＣＰＵ、１０４…メモリ、 １０５…磁気ディス
ク、１０６…ＦＤＤ、１０７…フロッピーディスク、
２０００…登録制御プログラム、２１００…
インデクス登録プログラム、 ３０００…検索制御プ
ログラム、３１００…インデクス検索プログラム、
４０００…ワークエリア、５０００…システム制御プロ
グラム、６０００…検索インタフェースプログラム、８
０００…インデクスファイル。

Claims (4)

【特許請求の範囲】
1. 【請求項１】文書情報を文字コードデータからなるテキ
   ストとして蓄積したテキストデータベースを対象とし
   て、文書の登録時には上記テキストから所定の部分文字
   列を抽出するとともにインデクスとして記憶し、検索時
   には、指定された検索語から所定の部分文字列を抽出す
   るとともに該部分文字列に対応するインデクスを読み出
   すことにより所望の文書を検索する文書検索方法におい
   て、 上記テキスト中の文字の文字種を判別し、英数字である
   場合には英数字が連続しているテキスト部分を単語抽出
   ステップに送出する文字種判別ステップと、 上記該当テキスト部分から区切り文字を検出することに
   より単語を抽出する単語抽出ステップと、上記抽出した
   単語をインデクスとして記憶する単語インデクス登録ス
   テップとを有することを特徴とする文書検索方法。
2. 【請求項２】請求項第１項の文書検索方法において、単
   語と該単語のテキスト中の文字位置情報を抽出する単語
   抽出ステップと、上記抽出した単語と該単語のテキスト
   中の文字位置情報をインデクスとして記憶する単語イン
   デクス登録ステップを有することを特徴とする文書検索
   方法。
3. 【請求項３】請求項第１項の文書検索方法において、 上記検索時には、検索語から部分文字列を抽出する場
   合、該検索語に含まれる部分文字列の中から長い順に抽
   出することを特徴とする文書検索方法。
4. 【請求項４】請求項第１項の文書検索方法において、 上記検索時には、検索語から部分文字列を抽出する場
   合、該検索語中の文字の文字種を判別し、英数字である
   場合には英数字が連続している部分文字列から単語を抽
   出することを特徴とする文書検索方法。