JPH02253474A - テキストベース検索方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、自然言語の文章データを文字コード列として
蓄積したデータベース（以下、テキストベースと記す）
に対して、種々の類似表現の言葉（自然言語）を検索キ
ーとして解析することにより、自然言語による問い合わ
せ文から高精度な検索を可能にしたテキストベース検索
方法に関する。

〔従来の技術〕

従来、この種の技術としては１例えば、杉山健司他のｒ
自然言語理解に基づく情報検索システムＩＲＩＳＪ情報
処理学会自然言語処理研究会資料Ｎ　Ｌ−５８−８（１
９８６，１１，２２）に記載されているように、データ
としての各テキストに対してその内容に適したキーワー
ド（そのテキストの内容に合致する分野名または言葉）
を付与することにより、各テキストの内容ないし特徴を
表現し、検索時には利用者が求めるテキストの内容に関
連したキーワードの論理的結合関係（つまり、ＡＮＤま
たはＯＲ等）を指定して、その検索条件を満足するテキ
ストを抽出する方法を用いている。上記文献に記載され
ているように、自然言語による質問文を受は付けるイン
タフェースを有する場合にも、質問文を解析することに
より、ユーザの検索要求を対応するキーワードに展開し
、それらのキーワードの間の論理的結合関係を決めて検
索を行っている。すなわち、自然言語によるインタフェ
ースを有するか否かにかかわらず、テキストベースの検
索はいずれもキーワード検索によっていた。

また、検索の精度を向上させるために、例えば。

絹用博之他の「日本語文構造解析による自動インデクシ
ング方式１情報処理学会論文誌Ｖｏ１．２１゜Ｎｏ、３
（１９８０，５）に記載されているような方式も提案さ
れている。これによれば、各キーワードに意味的役割（
テキスト中での主体、容体等）を付与する方法を用いて
いる。しかし、検索時の手掛りとして、キーワードを用
いることに関しては、前述の文献とそれほどの変わりは
ない。

また、本発明者等が本願より先に提案した発明（平成元
年３月７日付は出願の　ｒテキスト検索方式ｊの明細書
および図面参照）では、キーワード検索を用いずに、日
本語による質問文を解析し、テキストベース中の全ての
文章の中から検索要求の内容に合致するものを抽出する
方法を用いている。すなわち、テキストベース中の全て
の文章を対象として、検索要求に合致するか否かをチエ
ツクすることにより、質問文の語およびその類義語とそ
の結合関係（格関係）と同じように１語または類義語の
うちの一つおよびその結合関係を持つものを抽出してい
る。

〔発明が解決しようとする課騨〕

このように、テキスト中に含まれているキーワードを手
掛りにして検索を行う方法では、検索の精度が高くなら
ないという問題があった。検索の精度は、ユーザの求め
るテキストがどれだけ正しく検索できたか、という点で
あり、これは通常、再現率（ユーザの検索要求に関連す
るテキストの全体の中で、検索された関連テキストの占
める割合）と適合率（検索されたテキストの全体の中で
検索された関連テキストの占める割合）とで評価される
。

ところで、テキストの内容にふされしいキーワードを付
与するということは、そのテキストの主題、要旨等を表
現する言葉、あるいは関連する主要な分野を表わす言葉
をそのテキストを代表する言葉として付与することであ
る。しかし、ユーザが検索要求時に思い浮かべるような
言い方を全てキーワードとして付与することは、検索時
に不要なテキストを多数出力する結果となり、高い検索
精度を確保しながら種々の表現に対応することは難かし
い、また、補足的な記述中の情報を検索したい場合でも
、補足的な部分にキーワードを付与することは一般的に
は無いので、キーワード検索により検索することは不可
能である。

一方、キーワードによらない方法では、大量のテキスト
を直接走査する必要があり、この場合には膨大な処理を
必要とする。従って、対象となるテキストの量が増大す
ると、計算機の処理にも多くの時間を要し、応答速度に
対する利用者の満足度や経済性等にも問題が生じる。

本発明の目的は、このような従来の課題を解決し、キー
ワード検索による低い検索精度を改善することができ、
かつ補足的に記述されている事柄も全て漏れなく検索す
ることが可能な高精度のテキストベース検索方法を提供
することにある。

〔課題を解決するための手段〕

上記目的を達成するため、本発明のテキストベース検索
方法は、見出し単語と該単語の品詞情報文法情報を記憶
した単語辞書と、自然言語で書かれた文書を蓄積したテ
キストベースと、自然言語を用いて文章を入力する入力
部と、入力された文章を単語に分割（形態素解析）し、
分割した単語の品詞情報１文法情報から入力された文章
の文法的構造の解析（構文解析）を行う文解析部と、該
文解析部の解析結果に基づいて上記テキストベースを検
索する処理部とを有するテキストベース検索システムに
おいて、見出しの単語と同義ないし類義の意味を有する
単語を記憶した類義語辞書と、文字および該文字を含む
上記テキストベース中の記事を組にした情報を持つ文字
索引とを備え、入力文中から検索時に対象となる単語を
選別し、検索の標本となるべき構造を生成するステップ
と、該構造生成ステップで作成した検索構造中の単語を
類義な意味の単語に展開し、検索構造を補強する類義語
展開ステップと、該類義語展開ステップで作成した検索
構造中の類義語に展開された単語群と上記文字索引とか
ら検索対象をテキストベース中の全記事から選定する検
索対象選定ステップと、上記類義語展開ステップで作成
した検索構造を標本として、上記検索対象選定ステップ
で選出した記事群を走査して、標本の検索構造と一致す
るものを含むテキストを検索結果として出力するテキス
ト検索ステップとを有することに特徴がある。

〔作　　用〕

本発明においては、テキストベース検索のための検索要
求（例えば、日本語の自然言語による質問文）を解析し
て、テキストベース中の全ての文章中から、検索要求の
内容に合致するものを抽出する。すなわち、本発明では
、キーワードにより検索するのではなく１種々の類似表
現の言葉（自然言語）を検索のキーとして理解（解析）
し、より高速な検索を可能にする。その場合、テキスト
からの意味の抽出は目的とせずに、検索要求としての質
問文の内容に合致するテキストとして、質問文の語（お
よびそれの類似語）とその結合関係（格関係）とともに
、語（または類似語のうちの１つ）およびその結合関係
を有するものを抽出することによって処理の高速化を図
り、実用的な応答速度を得ることができる。さらに、文
字とその文字を含む記事に関する情報を持つ文字索引を
用いて、検索対象となるテキストを４定することにより
、より高速な応答を実現している。

〔実施例〕

以下１本発明の実施例を、図面により詳細に説明する。

第１図は１本発明の一実施例を示すテキストベース検索
システムの機能ブロック図である。

第１図において、１は検索のための質問文を自然言語の
文章により入力する入力部、２は文章の文法的構造を決
定する文解析部であってその実体はサブルーチンプログ
ラム、３は単語辞書であってメモリファイルに格納さ九
ている。４は単語相互間の関係から、検索に用いる構造
を生成するための構造生成部であって、これもサブルー
チンプログラム、５は検索構造中の単語について、辞書
を参照してその単語と類似の意味を表わす単語を選択す
る類義語展開部、６は類義な意味を表わす単語が格納さ
れる類義語辞書であって、メモリフフィルに格納される
。７は検索対象選定部であって、検索の対象を選択する
サブルーチンプログラム、８は文字索引、９はテキスト
検索部であって、サブルーチンプログラム、１０はテキ
ストベースであって、検索対象となる文章の集まりが格
納されているメモリファイルである。システムのハード
ウェアは、計算機等の情報処理装置と各辞書を格納する
外部記憶装置と質問文を入力するためのキーボードやス
キャナ等の入力装置から構成されている。

入力部ｌは、テキストを検索するための検索要求（質問
）を自然言語の文章により入力するものであって、キー
操作入力あるいは音声認識、文字パターン認識等の文字
符号化処理を介して自然言語の文章が装置に取り込まれ
る１文解析部２は、入力部Ｉを介して入力された文章を
解析して、文章の文法的構造を決定する０文法的構造に
は、文章を構成する各単語の識別と分解を行う形態素解
析と、それらの単語の結び付き方から文の構造を決定す
る構文解析とがある０文解析部２で行われる構文解析は
、その文章中の各用言に対応した格構造を抽出する。な
お、構文解析は１例えば、Ｆｉ１１ｉ＋ｏｒａ等によっ
て行われ、轡文法に対応する格構造（格フレーム）を用
意してその文章の内容を抽出するもので、処理の概要に
ついては１例えば、長尾真著「言語工学１昭晃堂、昭和
５８年初版１版に記載されている。

単語辞書３には、文解析部２における形態素解析および
構文解析に用いる情報が記憶されている。

第２図は、第１図の単語辞書の内容を示す図である。

単語辞書３は、第２図に示すように、その内容として、
単語の見出しとその単語の品詞と構文解析に必要な文法
情報とが格納されている。第２図の例では１文法情報は
付属語について、その付属語が接続できる語の種類（格
助詞の場合には「体言１と示してあり、ｒ；１の右側に
その付属語が接続する語の格情報を示している。ただし
、ここでは表層的な格情報で示しである。

次に、構造生成部４は、文解析部２の結果を受けて検索
に用いる単語を取り出し、それらの単語相互間の関係か
ら、検索に用いるための標準となるべき構造（以下、検
索構造）を生成する。この場合、同一内容を表わす複数
の自然言語表現が考えられるときには、その代表となる
べき表現の構造に変換を行う。

次に、類義語展開部５は、構造生成部４で生成された検
索構造中の単語について、その単語と類似な意味を持つ
単語を選択し、検索構造を補強する。類義語辞書６には
、類義な意味を表わす単語が格納されており、類義語展
開部５でこれらが参照される。

第３図は、第１図の類義語辞書の内容を示す図であ浸。

第３図に示すように、類義語辞書６の内容は、単語見出
しと、その単語と類義な意味を持つ単語の集りとからな
る。

検索対象選定部７は、類義語展開部５で補調された検索
構造を受けて、テキストベース中の全記事の中から検索
の対象となる記事候補を選定する。

文字索引８には１文字とその文字を含む記事の組が記憶
されており、検索対象選定部７で参照される。

第４図は、第１図における文字索引の例を示す図である
。

文字索引８は、第４図に示すように、テキストベース中
に出現した各文字と、その文字が記載されている記事の
識別番号の集りとからなる。この文字索引８は、事前に
テキストベース１０を処理することにより作成される。

次のテキスト検索部９は、類義語展開部５までで生成さ
れた検索構造を標本として、検索対象選定部７が選択し
た各記事候補についてテキストベース１０を走査して、
標本である検索構造に合致したものを検索結果として出
力する。この際に。

文解析部２と同じように、単語辞書３を用いて形態素解
析と構文解析を行う。

テキストベース１０は、検索対象となるべき文章の集り
であって、計算機が直接扱えるような状態になっており
、例えば磁気ディスクまたは磁気テープ等の中に格納さ
れている。

第５図は、第１図のテキストベース検索システムの動作
フローチャートである。

例えば、入力部１が入力文ｒテキストを検索する１を後
の処理に送った場合について（ステップ１０１）、説明
する。

文解析部２は、入力文に対して形態素解析および構文解
析を行い（ステップ１ｏ２）、入力文を（テキスト／名
詞）（を／格助詞）（検索する／動詞）に分解し、さら
に入力文の動作は（検索）であり、（検索）の対象は（
テキスト）であることを決定する０次の構造生成部４で
は、これより検索対象となる単語とそれら単語間の関係
を示す検索構造を生成する（ステップ１０３）、すなわ
ち、ＬＩＳＰ言語型の表現で示すならば、（検索（対象
テキスト））のようになる、この処理には、同一内容を
表わす複数の表現、例えば能動態と受動態による表現等
がある場合に、その代表となるべき構造へ変換を行う処
理も含まれる。つまり、「テキストを検索するｊ　「テ
キストが検索される」の両文章からはともに（検索（対
象　テキスト））の構造が生成される。

類義語展開部５は、類義語辞書６を参照することにより
、検索構造に含まれる単語を類義語に展開する。類義語
辞書６の中に、ｒ検索」の類義語として「探す」、「テ
キストｊの類義語として「文書」　ｒ文章」があった場
合、前述の検索構造は、（（検索　探す）（対象（テキ
スト　文書　文章）））のように補強される（ステップ
１０４）、　　検索対象選定部７は、文字索引８を用い
て、テキストベース中の全記事の中から検索対象となり
得る記事を選択する（ステップ１０５）、すなわち。

「検索１という単語がなければ検索結果とならないとい
う場合には、ｒ検」という文字を含む記事であり、かつ
「索１という文字を含む記事のみ（積集合）が検索候補
となる。上述の条件において、「検索」の代替として？
探すｊという単語があれば検索結果となり得るという場
合には、「検索」という単語の必須性の要請から選定さ
れた検索候補とｒ探す」という単語の必須性の要請から
選定された検索候補のいずれかにある候補（和集合）が
検索候補となる。

このような検索構造に従って、記事集合に対する集合演
算を行うことにより、検索候補の選定が可能となる。こ
れは、文字とそれを含む記事を記憶している文字索引８
を用いることにより高速に処理される。テキスト検索部
９は、検索対象選定部７で選択された記事群についてテ
キストベース１０の中を走査して、単語が類似語展開部
５から引き渡された検索構造と同じ関係で出現したもの
を一致した文書として出力する（ステップ１０６）。

従って、前述の例においては、ｆ文書を探す」「文章が
検索される」は一致したものと判定するが、Ｉｒテキス
トで検索するｊは非一致と判定する。

何故ならば、Ｉｒテキストでｊはテキストが検索の対象
ではなく５手段であって、入力した文章の意味が文法的
に異なるためである。

このように本実施例においては、（イ）自然言語の文書
からなるテキストベースを検索の対象とする。（ロ）自
然言語で検索するテキストを指定する。

（ハ）入力された検索を指定する自然言語文（入力文）
中の各単語の関係をテキストの検索時に利用する。（ニ
）入力文中で使用された単語をその単語と類義な意味を
表わす単語に展開したもので検索を行う、（ホ）検索の
対象をテキストベースの全記事から高速に選択する機構
を備えている。

〔発明の効果〕

以上説明したように１本発明によれば、テキストベース
に対する事前の処理が不要であり、それによる情報の欠
落等を回避することができ、かつ誰でも利用し易く、意
味的に近いものを検索でき、しかも入力文で使用した単
語と検索結果が緩衝され、多様な入力文に対して柔軟に
対応でき、また検索時間の短縮が可能である。

【図面の簡単な説明】

第１図は本発明の一実施例を示すテキストベース検索シ
ステムの機能ブロック図、第２図は第１図における単語
辞書の内容を示す図、第３図は第１図における類義語辞
書の内容を示す図、第４図は第１図における文字索引の
内容を示す図、第５図は第１図のシステムの動作フロー
チャートである。 １：入力部、２：文解析部、３：単語辞書、４：構造生
成部、５：類義語展開部、６：類義語辞書。 ７：検索対象選定部、８：文字索引、９：テキスト検索
部、１０：テキストベース。 第 図 第 図 第 図

Claims (1)

【特許請求の範囲】
1. （１）見出し単語と該単語の品詞情報、文法情報を記憶
   した単語辞書と、自然言語で書かれた文書を蓄積したテ
   キストベースと、自然言語を用いて文章を入力する入力
   部と、入力された文章を単語に分割（形態素解析）し、
   分割した単語の品詞情報、文法情報から入力された文章
   の文法的構造の解析（構文解析）を行う文解析部と、該
   文解析部の解析結果に基づいて上記テキストベースを検
   索する処理部とを有するテキストベース検索システムに
   おいて、見出しの単語と同義ないし類義の意味を有する
   単語を記憶した類義語辞書と、文字および該文字を含む
   上記テキストベース中の記事を組にした情報を持つ文字
   索引とを備え、入力文中から検索時に対象となる単語を
   選別し、検索の標本となるべき構造を生成するステップ
   と、該構造生成ステップで作成した検索構造中の単語を
   類義な意味の単語に展開し、検索構造を補強する類義語
   展開ステップと、該類義語展開ステップで作成した検索
   構造中の類義語に展開された単語群と上記文字索引とか
   ら検索対象をテキストベース中の全記事から選定する検
   索対象選定ステップと、上記類義語展開ステップで作成
   した検索構造を標本として、上記検索対象選定ステップ
   で選出した記事群を走査して、標本の検索構造と一致す
   るものを含むテキストを検索結果として出力するテキス
   ト検索ステップとを有することを特徴とするテキストベ
   ース検索方法。