JP4486324B2 - 類似単語検索装置、この方法、このプログラム、および情報検索システム - Google Patents
類似単語検索装置、この方法、このプログラム、および情報検索システム Download PDFInfo
- Publication number
- JP4486324B2 JP4486324B2 JP2003174812A JP2003174812A JP4486324B2 JP 4486324 B2 JP4486324 B2 JP 4486324B2 JP 2003174812 A JP2003174812 A JP 2003174812A JP 2003174812 A JP2003174812 A JP 2003174812A JP 4486324 B2 JP4486324 B2 JP 4486324B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- search
- information
- similar
- search request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、検索を要求する検索要求単語を取得し、検索対象となる検索対象単語集合から検索要求単語に類似した類似単語を検索する類似単語検索装置、この方法、このプログラム、および情報検索システムに関する。
【０００２】
【背景技術】
近年では、英和辞書、和英辞書や百科事典等の言語情報、および、新聞、雑誌、文献、論文、公的文書、私的文書等のテキスト情報が電子化され、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Video(またはVersatile)Disk-Read Only Memory）等の記録媒体に格納されている。そして、このような電子媒体に格納された膨大な言語情報、またはテキスト情報から検索者が要求するものを検索する技術が要求されている。
従来、このような検索装置としては、電子媒体に格納された言語情報またはテキスト情報を読み込み、形態素解析等を実施して言語情報またはテキスト情報に出現する単語を索引語とする転置索引ファイルを作成する。また、検索者が入力するキーワードや検索式等の検索条件を取得し、この取得した検索条件に対して作成した転置索引ファイルを探索する。そして、検索条件に一致する索引語に対応する言語情報またはテキスト情報を検索者に対して提示する。
【０００３】
しかしながら、このような検索装置では、検索者が入力するキーワードを含む言語情報やテキスト情報を検索することができるが、キーワードに類似した言語情報やテキスト情報を検索することができない。このため、表記ゆれや誤記による検索漏れが生じてしまう。
そして、このような問題を解決する技術として、編集距離を利用して類似関係を有する情報を検索する技術が知られている（例えば、特許文献１参照）。ここで、編集距離とは、文字単位の削除、挿入、置換を編集操作として２つの文字列を同じ文字列にするためにかかる編集操作数を距離として計算した値である。
この特許文献１に記載の技術は、用例機械翻訳装置として構成されているものであり、この用例機械翻訳装置は、原言語による文が入力されると、この入力文と所定の編集距離にある類似性の高い事例のうち、所定の類似関係にある少なくとも３つの文を特定する。そして、この用例機械翻訳装置は、特定した少なくとも３つの文の対訳を参照して、入力文を目的言語文に変換する。
【０００４】
【特許文献１】
特開平１０−４９５３２号公報
【０００５】
【発明が解決しようとする課題】
ところで、特許文献１に記載の編集距離を利用した類似性を有する情報を検索する技術を検索装置に適用した場合には、検索を要求する検索要求単語に対して検索対象となる全ての検索対象単語に編集操作を施して編集距離を計算する必要があり、検索装置にかかる負荷が増大し、検索の高速化を図れない、という問題がある。
【０００６】
本発明の目的は、検索を要求する検索要求単語に類似する類似単語を効率的に検索し、検索の高速化を図れる類似単語検索装置、この方法、このプログラム、および情報検索システムを提供することにある。
【０００７】
【課題を解決するための手段】
本発明の類似単語検索装置は、検索対象となる検索対象単語集合から検索を要求する検索要求単語に類似した類似単語を編集距離に基づいて検索する類似単語検索装置であって、前記検索対象単語集合を取得する検索対象単語集合取得手段と、前記取得された検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、前記検索対象単語集合内において前記部分文字列が出現する検索対象単語数によって重み付けし、前記検索対象単語集合に含まれる検索対象単語と前記重みとを前記部分文字列で索引付けして索引情報を作成する索引情報作成手段と、前記検索要求単語を取得する検索要求単語取得手段と、前記取得された検索要求単語から前記検索要求単語の特徴となる複数の部分文字列を抽出し、この部分文字列の前記検索要求単語内での出現数によって重み付けした部分文字列を含む検索要求単語情報を作成する検索要求単語情報作成手段と、前記索引情報に含まれる前記部分文字列の重みと、前記検索要求単語情報に含まれる前記部分文字列の重みに基づいて、前記検索要求単語に対する前記検索対象単語の類似度に関する類似度情報を算出する類似度情報算出手段と、前記算出された類似度情報に基づいて、類似単語候補として前記検索要求単語に類似する複数の類似単語を検索する類似単語検索手段と、前記類似単語検索手段にて検索された類似単語候補、および前記検索要求単語の間の編集距離に関する距離情報を算出する距離情報算出手段と、を備え、前記類似単語検索手段は、前記算出された距離情報に基づいて、前記類似単語候補から前記検索要求単語に類似する類似単語を再検索することを特徴とする。
【０００８】
部分文字列としては、例えば、単語を文字種の変わり目を越えないように複数の文字列に分割して抽出したもの、単語を１字ずつずらした文字の並びである複数の文字列に分割して抽出したもの等を採用できる。例えば、検索対象単語から１字ずつずらした文字の並びである複数の部分文字列を抽出する場合、この部分文字列に基づいて、検索要求単語に対して類似性を有する類似単語を検索する際に、検索漏れを減少させることができ、適切な類似単語を検索できる。
ここで、部分文字列の文字数は、特に限定されない。例えば、検索対象単語または検索要求単語を１字ずつずらした３文字の部分文字列、２文字の部分文字列、または１文字の部分文字列としてもよい。また、これら３文字の部分文字列、２文字の部分文字列、および１文字の部分文字列を全て抽出する構成としてもよい。
また、このような部分文字列を用いるので、検索対象単語を形態素解析等の分析をする必要がなく、簡単な処理で容易に検索対象単語特徴情報を抽出できる。
【０００９】
本発明では、検索対象単語集合取得手段は、例えば、外部の記憶装置から検索対象単語集合を取得する。そして、索引情報作成手段は、検索対象単語集合取得手段にて取得された検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、検索対象単語集合内においてこの部分文字列が出現する検索対象単語数を重みとする部分文字列を索引単位とし、各検索対象単語を索引語とする索引情報を作成する。また、検索要求単語取得手段は、例えば、ユーザ等により入力されたキーワード等の検索要求単語を取得する。そして、検索要求単語情報作成手段は、検索要求単語取得手段にて取得された検索要求単語から該検索要求単語の特徴となる複数の部分文字列を抽出し、この抽出した複数のこの部分文字列の前記検索要求単語内での出現数を重みとした部分文字列を含む検索要求単語情報を作成する。上記索引情報および上記検索要求単語情報が作成された後、類似度情報算出手段は、索引情報に含まれる部分文字列の重みと、検索要求単語情報に含まれる部分文字列の重みに基づいて、検索要求単語に対する検索対象単語の類似度に関する類似度情報を算出する。そして、類似単語検索手段は、算出された類似度情報に基づいて、検索要求単語に類似する類似単語を検索する。このことにより、検索要求単語に対して全ての検索対象単語に編集操作を施す煩雑な処理を実施することなく、容易に検索要求単語に対して類似性を有する類似単語を検索できる。したがって、類似単語検索装置において、検索要求単語と検索対象単語との類似関係を調べる計算にかかる負荷を低減でき、類似単語の検索の効率化および高速化を図れる。
また、各部分文字列に対して重み付けを実施することで、各部分文字列の重み情報としての重要度を設定でき、この重み情報に基づいて、検索要求単語に対する検索対象単語の類似度情報を適切に算出できる。したがって、この類似度情報に基づいて、検索要求単語に類似する類似単語を検索すれば、ユーザが必要としない類似単語を検索することなく、適切な類似単語を容易に検索できる。
【００１０】
また、距離としては、例えば、編集距離またはリーベンシュタイン距離を採用できる。本発明では、距離情報算出手段は、類似単語検索手段にて検索された類似単語候補としての複数の類似単語と、検索要求単語との間の距離に関する距離情報を算出する。そして、類似単語検索手段は、距離情報算出手段にて算出された距離情報に基づいて、従前に検索した類似単語候補のうち、検索要求単語に類似する類似単語を再検索する。すなわち、類似度情報に基づく類似単語の検索では、計算量が少なく、大まかに類似性を有する複数の類似単語を検索する。そして、距離情報に基づく類似単語の検索では、大まかに検索された類似単語から、厳密に類似性を有する類似単語を検索する。このことにより、大まかに検索された類似単語から、計算量の多い距離情報に基づく類似単語の検索を実施することで、処理の負担を増大させることなく、効率的に適切な類似単語を検索できる。
本発明の類似単語検索装置では、前記類似度情報算出手段は、前記類似度情報を算出する際、前記検索対象単語集合に含まれる前記検索対象単語の総数に対して、前記検索要求単語情報に含まれる部分文字列と前記索引情報に含まれる部分文字列とが同一となる前記検索対象単語の数が多いほど重み付けを低くし、かつ、前記所定の文字列の前記検索対象単語内での出現数が多いほど重み付けを高くし、かつ、前記所定の文字列の前記検索要求単語内での出現数が多いほど重み付けを高くする重み度を算出し、この重み度に基づいて前記類似度情報を算出することが好ましい。
【００１３】
本発明の類似単語検索装置では、前記距離情報算出手段は、動的計画法を用いて前記距離情報を算出することが好ましい。
また、本発明の類似単語検索装置では、前前記距離情報は、前記検索要求単語と前記検索対象単語の各文字列の異なり度合いを、１文字毎の置換、削除および挿入の編集操作を繰り返すことによって両文字列を同一にするために必要な最小の操作回数であることが好ましい。
【００１５】
本発明の類似単語検索方法は、検索対象となる検索対象単語集合から検索を要求する検索要求単語に類似した類似単語を編集距離に基づいて検索する類似単語検索方法であって、前記検索対象単語集合を取得する検索対象単語集合取得工程と、前記取得した検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、前記検索対象単語集合内において前記部分文字列が出現する検索対象単語数を重みとし、前記検索対象単語集合に含まれる検索対象単語と前記重みとを前記部分文字列で索引付けして索引情報を作成する索引情報作成工程と、前記検索要求単語を取得する検索要求単語取得工程と、前記取得した検索要求単語から前記検索要求単語の特徴となる複数の部分文字列を抽出し、この部分文字列の前記検索要求単語内での出現数を重みとした部分文字列を含む検索要求単語情報を作成する検索要求単語情報作成工程と、前記作成した索引情報に含まれる前記部分文字列の重みと、前記作成した検索要求単語情報に含まれる前記部分文字列の重みに基づいて、前記検索要求単語に対する前記検索対象単語の類似度に関する類似度情報を算出する類似度情報算出工程と、前記算出した類似度情報に基づいて、類似単語候補として前記検索要求単語に類似する複数の類似単語を検索する類似単語検索工程と、前記類似単語検索工程にて検索した類似単語候補、および前記検索要求単語の間の編集距離に関する距離情報を算出する距離情報算出工程と、前記算出した距離情報に基づいて、前記類似単語検索工程にて検索した類似単語候補から前記検索要求単語に類似する類似単語を再検索する類似単語再検索工程と、を備えていることを特徴とする。
本発明では、類似単語検索方法は、検索対象単語集合取得工程と、索引情報作成工程と、検索要求単語取得工程と、検索要求単語情報作成工程と、類似度情報算出工程と、類似単語検索工程とを備えている。このことにより、上述した類似単語検索装置と同様の作用・効果を享受できる。
また、距離情報算出工程は、類似単語検索工程にて検索した類似単語と、検索要求単語との間の距離に関する距離情報を算出する。そして、類似単語再検索工程は、算出した距離情報に基づいて、類似単語検索工程にて検索した類似単語のうち、検索要求単語に類似する類似単語を再検索する。このことにより、上述した類似単語検索装置と同様の作用・効果を享受できる。
【００１８】
本発明の類似単語検索方法では、前記類似度情報算出手段は、前記類似度情報を算出する際、前記検索対象単語集合に含まれる前記検索対象単語の総数に対して、前記検索要求単語情報に含まれる部分文字列と前記索引情報に含まれる部分文字列とが同一となる前記検索対象単語の数が多いほど重み付けを低くし、かつ、前記所定の文字列の前記検索対象単語内での出現数が多いほど重み付けを高くし、かつ、前記所定の文字列の前記検索要求単語内での出現数が多いほど重み付けを高くする重み度を算出し、この重み度に基づいて前記類似度情報を算出することが好ましい。
【００２０】
本発明の類似単語検索プログラムは、上述した類似単語検索方法を演算手段に実行させることを特徴とする。
本発明では、例えば汎用のコンピュータなどを演算手段として利用しインストールする。このことにより、上述した類似単語検索方法を演算手段に実行させることができ、本発明の利用促進を大幅に図れる。
【００２２】
なお、上述した演算手段は、例えば１台のパーソナルコンピュータとしたり、複数のコンピュータをネットワーク状に組み合わせた構成や、マイクロコンピュータ等のＩＣやＣＰＵ等である素子、複数の電気部品が搭載された回路基板等も含む意味として定義される。
【００２３】
本発明の情報検索システムは、検索を要求する検索要求単語を取得し、記憶装置に記憶された検索対象情報から前記検索要求単語に対応する検索対象情報を検索する情報検索システムであって、前記記憶装置に記憶された検索対象情報を読み込み、読み込んだ検索対象情報を複数の検索対象単語に分割して検索対象単語集合を生成する情報分割装置と、前記生成された検索対象単語集合から前記検索要求単語に類似した類似単語を検索する、上述した類似単語検索装置と、前記検索された類似単語に基づいて、前記類似単語に対応する検索対象情報を検索する情報検索装置とを備えていることを特徴とする。
本発明では、情報検索システムは、情報分割装置と、上述した類似単語検索装置と、情報検索装置とを備えているので、例えば、ユーザ等により入力されたキーワード等の検索要求単語に誤記等があったとしても、検索要求単語に類似する類似単語を検索し、この検索した類似単語に対応する検索対象情報を検索することで、検索要求単語に対応する検索対象情報を検索漏れなく検索できる。
【００２４】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
【００２５】
〔情報検索システムの構成〕
図１は、本発明に係る情報検索システムの概略構成を示すブロック図である。図１において、１は情報検索システムで、この情報検索システム１は、電子化された文書等のテキスト情報から所定のキーワードに対応するテキスト情報を検索するシステムである。この情報検索システム１は、記憶装置２と、情報分割装置としての文献索引装置３と、本発明に係る類似単語検索装置を含む情報検索装置４とを備える。
【００２６】
記憶装置２は、英和辞書、和英辞書、百科事典、新聞、雑誌、文献、論文、公的文書、または私的文書等の複数のテキスト情報を記憶したＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体で構成され、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ等を介して、複数のテキスト情報を外部に出力可能に構成されている。なお、記憶装置２としては、上述した構成に限らず、ハードディスク等の他の記録媒体に複数のテキスト情報を記憶した構成としてもよい。
【００２７】
文献索引装置３は、記憶装置２に記憶された複数のテキスト情報を入力し、例えば以下に示す方法により主転置索引ファイルを作成する。
すなわち、この文献索引装置３は、入力した各テキスト情報を予め定めた複数の文からなる文単位に区切る。また、この文献索引装置３は、これら各文単位を形態素解析、構文解析等の解析処理を実施して、各文単位からさらに小さい索引語を抽出する。そして、この文献索引装置３は、これら索引語と複数のテキスト情報との関係を規定して、索引単位を索引語とし、索引先をテキスト情報とする主転置索引ファイルを作成する。また、文献索引装置３は、索引語をリストアップした検索対象単語集合としての主索引語リストを作成する。
【００２８】
情報検索装置４は、ＣＰＵ（Central Processing Unit）およびハードディスクを備えたコンピュータで構成され、種々のプログラムを実行する。具体的に、この情報検索装置４は、文献索引装置３にて作成された主転置索引ファイルを利用して、利用者が検索を要求するキーワードに対応するテキスト情報を検索し、検索したテキスト情報を利用者に対して報知する。この情報検索装置４は、図１に示すように、入力操作部４１と、表示部４２と、制御部４３とを備える。
【００２９】
入力操作部４１は、例えば、キーボードおよびマウス等で入力操作される図示しない各種操作ボタンを有している。この操作ボタン等の入力操作を実施することにより、入力操作部４１から適宜所定の操作信号が制御部４３に出力され、制御部４３を適宜動作させる。例えば、操作ボタン等を利用して、検索を要求する検索要求単語としてのキーワードを含む検索条件を入力することで、制御部４３によるテキスト情報の検索が実施される。また、操作ボタン等を利用して、表示部４２に表示される情報に対して、制御部４３の動作内容の設定等が実施される。
なお、この入力操作部４１としては、操作ボタンの入力操作に限らず、例えば、タッチパネルによる入力操作や、音声による入力操作等により、各種条件を設定入力する構成としてもできる。
【００３０】
表示部４２は、制御部４３に制御され、所定の情報を表示する。例えば、制御部４３にて検索されたキーワードに類似する類似単語としての類似キーワード、または、制御部４３にて検索された類似キーワードに対応するテキスト情報を適宜表示させる。この表示部４２は、例えば、液晶や有機ＥＬ（electroluminescence）、ＰＤＰ（Plasma Display Panel）、ＣＲＴ(Cathode-Ray Tube)等が用いられる。
【００３１】
制御部４３は、ＣＰＵを制御するＯＳ（Operating System）上に展開されるプログラムとして構成され、操作部４１からの操作信号の入力に応じて、所定のプログラムを実行し、キーワードに類似する類似キーワード検索、および類似キーワードに対応するテキスト情報検索を実施する。この制御部４３は、図１に示すように、類似単語検索装置としての類似単語検索部４３１と、情報検索部４３２と、メモリ４３３とを備える。
【００３２】
類似単語検索部４３１は、検索対象となる主索引語リストから検索を要求するキーワードに類似した類似キーワードを検索する。この類似単語検索部４３１は、図１に示すように、検索対象単語集合取得手段４３１Ａと、索引情報作成手段４３１Ｂと、検索要求単語取得手段４３１Ｃと、検索要求単語情報作成手段４３１Ｄと、類似度情報算出手段４３１Ｅと、距離情報算出手段４３１Ｆと、類似単語検索手段４３１Ｇとを備える。
【００３３】
検索対象単語集合取得手段４３１Ａは、文献索引装置３にて作成された主索引語リストから索引語を順次入力する。
索引情報作成手段４３１Ｂは、検索対象単語集合取得手段４３１Ａにて順次入力された索引語から各索引語を１字ずつずらした文字の並びである検索対象単語特徴情報としての複数の部分文字列を抽出し、この抽出した部分文字列を索引単位とするとともに、索引先を索引語とする類似キーワード検索用のサブ転置索引ファイルを作成する。
また、索引情報作成手段４３１Ｂは、抽出した各部分文字列に出現頻度に応じた重み付けを実施してサブ索引語リストを作成する。
そして、索引情報作成手段４３１Ｂは、これら作成したサブ転置索引ファイルおよびサブ索引語リストをメモリ４３３に格納する。
なお、本発明に係る索引情報は、上述したサブ転置索引ファイルおよびサブ索引語リストに相当する。
【００３４】
検索要求単語取得手段４３１Ｃは、入力操作部４１から出力される操作信号を入力し、この操作信号から利用者が検索を要求するキーワードを取得する。
検索要求単語情報作成手段４３１Ｄは、索引情報作成手段４３１Ｂと略同様に、検索要求単語取得手段４３１Ｃにて取得したキーワードから１字ずつずらした文字の並びである検索要求単語特徴情報としての複数の部分文字列を抽出する。
また、検索要求単語情報作成手段４３１Ｄは、抽出した各部分文字列に出現頻度に応じた重み付けを実施して検索要求単語情報としてのキーワードデータを作成する。
そして、検索要求単語情報作成手段４３１Ｄは、作成したキーワードデータをメモリ４３３に格納する。
【００３５】
類似度情報算出手段４３１Ｅは、メモリ４３３に格納されたサブ索引語リスト、およびキーワードデータを読み込み、サブ索引語リストおよびキーワードデータに含まれる各部分文字列に付与された重みに基づいて、サブ索引語リストに含まれる各部分文字列のうち、キーワードデータに含まれる各部分文字列に一致する部分文字列の重み情報としての重み度を計算する。
また、類似度情報算出手段４３１Ｅは、メモリ４３３に格納されたサブ転置索引ファイルおよびサブ索引語リストに基づいて、索引語に含まれる各部分文字列の重み度を加算することで、キーワードに対する各索引語の類似度に関する類似度情報としてのスコアを計算する。類似度情報算出手段４３１Ｅは、重み度およびスコアを計算する際、適宜メモリ４３３に計算値を格納する。
【００３６】
距離情報算出手段４３１Ｆは、後述する類似単語検索手段４３１Ｇにて検索された類似キーワード候補と、キーワードとの間における距離情報としての編集距離またはリーベンシュタイン距離を算出する。
【００３７】
類似単語検索手段４３１Ｇは、類似度情報算出手段４３１Ｅにて算出した各索引語のスコアに基づいて、スコアの高い、すなわちキーワードに対して類似性の高い複数の索引語を類似キーワード候補として抽出する。
また、類似単語検索手段４３１Ｇは、距離情報算出手段４３１Ｆにて算出された編集距離またはリーベンシュタイン距離に基づいて、抽出した類似キーワード候補のうち、編集距離またはリーベンシュタイン距離の小さい、すなわち、キーワードに対して類似性の高い索引語を再検索し、再検索した索引語を類似キーワードとして抽出する。
【００３８】
すなわち、類似単語検索手段４３１Ｇは、初めの検索において、キーワードに対して類似性を有する類似キーワード候補を大まかに検索した後、類似キーワード候補から、キーワードに対して極めて類似性の高い類似キーワードを再検索している。
そして、類似単語検索手段４３１Ｇは、再検索を実施した後、検索した類似キーワードを情報検索部４３２に出力する。
なお、類似単語検索手段４３１Ｇにて再検索を実施した後、検索結果として検索した類似キーワードを表示部４２に表示して利用者に認識させる構成としてもよい。
【００３９】
情報検索部４３２は、類似単語検索手段４３１Ｇにて検索された類似キーワードを入力し、文献索引装置３にて作成された主転置索引ファイルおよび主索引語リストを利用して、類似キーワードに一致する索引語を検索し、検索した索引語に対応するテキスト情報を表示部４２に表示させる。
【００４０】
メモリ４３３は、類似キーワードを検索するための類似単語検索プログラム、およびテキスト情報を検索するための所定のプログラムを格納するとともに、上述したサブ転置索引ファイル、索引リスト、キーワードデータ、重み度およびスコアの計算値を格納する。このメモリ４３３としては、例えば、ハードディスク等で構成できる。
【００４１】
〔情報検索方法〕
図２および図３は、情報検索システム１における情報検索方法を示すフローチャートである。以下に、情報検索システム１における情報検索方法を図１ないし図３を参照して説明する。
【００４２】
先ず、図１および図２を参照して、記憶装置２に記憶されたテキスト情報の処理動作を説明する。
文献索引装置３は、記憶装置２に記憶された複数のテキスト情報を入力し、主転置索引ファイルおよび主索引語リストを作成する（ステップＳ１）。
ステップＳ１の後、情報検索装置４における検索対象単語集合取得手段４３１Ａは、文献索引装置３にて作成された主索引語リストから索引語を順次入力する（ステップＳ２：検索対象単語集合取得工程）。
具体的に、このステップＳ２において、検索対象単語集合取得手段４３１Ａにて入力する主索引語リストの一部を以下の表１に示す。
【００４３】
【表１】
【００４４】
索引情報作成手段４３１Ｂは、ステップＳ２において、検索対象単語集合取得手段４３１Ａが入力した索引語から索引情報を作成する（ステップＳ３：索引情報作成工程）。
具体的に、索引情報作成手段４３１Ｂは、ステップＳ２において入力した索引語から各索引語を１字ずつずらした文字の並びである複数の部分文字列に分割する（ステップＳ３１）。このステップＳ３１では、以下の表２に示すように、３文字、２文字、１文字の部分文字列に分割される。
【００４５】
【表２】
【００４６】
ステップＳ３１の後、索引情報作成手段４３１Ｂは、分割した各部分文字列を索引単位とし、索引先を索引語とするサブ転置索引ファイルを作成する（ステップＳ３２）。なお、このようなサブ転置索引ファイルとしては、例えば、公知のB-TreeやTrieのデータ構造を採用できる。
【００４７】
また、索引情報作成手段４３１Ｂは、分割した各部分文字列に出現頻度に応じた重み付けを実施してサブ索引語リストを作成する（ステップＳ３３）。
具体的に、サブ索引語リストは、例えば、部分文字列、部分文字列に付与された重み（出現する索引語数、索引語内出現数）、および索引語ＩＤ等で構成される。このうち、索引語ＩＤは、部分文字列に対する索引語を規定するためのＩＤナンバである。
ステップＳ３２およびＳ３３において、作成したサブ転置索引ファイルおよびサブ索引語リストをメモリ４３３に格納する（ステップＳ３４）。
【００４８】
次に、図１および図３を参照して、検索を要求するキーワードに対応するテキスト情報を検索する検索動作を説明する。
利用者が入力操作部４１を操作することで、検索を要求するキーワードを入力し、入力操作部４１から出力されるキーワードに基づく操作信号を検索要求単語取得手段４３１Ｃが取得する（ステップＳ４：検索要求単語取得工程）。
【００４９】
検索要求単語情報作成手段４３１Ｄは、ステップＳ４において、検索要求単語取得手段４３１Ｃが入力したキーワードからキーワードデータを作成する（ステップＳ５：検索要求単語情報作成工程）。
具体的に、検索要求単語情報作成手段４３１Ｄは、ステップＳ３１と同様に、ステップＳ４において入力したキーワードから１字ずつずらした文字の並びである複数の部分文字列に分割する（ステップＳ５１）。なお、このステップＳ５１では、検索要求単語情報作成手段４３１Ｄは、ステップＳ３１と同様に、３文字、２文字、１文字の文字数の部分文字列に分割する。
【００５０】
ステップＳ５１の後、検索要求単語情報作成手段４３１Ｄは、分割した各部分文字列に出現頻度に応じた重み付けを実施してキーワードデータを作成する（ステップＳ５２）。
具体的に、キーワードデータは、例えば、部分文字列、部分文字列の重み（この部分文字列におけるキーワード内出現数）等で構成される。
ステップＳ５２において、作成したキーワードデータをメモリ４３３に格納する（ステップＳ５３）。
【００５１】
なお、上述したテキスト情報の処理動作Ｓ１〜Ｓ３の処理は、検索要求単語取得工程Ｓ４の前に予め実施しておく構成としてもよいし、検索要求単語取得工程Ｓ４におけるキーワードの入力をトリガとして、実施する構成としてもよい。
【００５２】
そして、類似度情報算出手段４３１Ｅは、メモリ４３３に格納された情報のうち、ステップＳ３３およびステップＳ５３にて格納されたサブ転置索引ファイル、サブ索引語リスト、およびキーワードデータを読み込み、入力したキーワードに対する各索引語の類似度に関するスコアを計算する（ステップＳ６：類似度情報算出工程）。
具体的に、先ず、類似度情報算出手段４３１Ｅは、サブ索引語リストおよびキーワードデータに基づいて、サブ索引語リストに含まれる各部分文字列のうち、キーワードデータに含まれる各部分文字列に一致する部分文字列の重み度を計算する（ステップＳ６１）。
ここで、キーワードデータに含まれる各部分文字列をq1,....qnとし、サブ索引語リストに含まれる各部分文字列をd1,....dmとすると、重み度Ｗ（qi,dj,q,d）は、qi=djについて、以下の数１により計算される。そして、計算した重み度Ｗ（qi,dj,q,d）をメモリ４３３に適宜格納する。
【００５３】
【数１】
【００５４】
また、類似度情報算出手段４３１Ｅは、ステップＳ６１にて計算した重み度に基づいて、各索引語のスコアを計算する（ステップＳ６２）。ここで、スコアＳ（q,d）は、以下の数２により計算される。
【００５５】
【数２】
【００５６】
数２に示すように、各索引語のスコアＳは、各索引語の各部分文字列の重み度Ｗを加算することで得られるが、このような計算を高速にかつ、多数の索引語に対して実施するために、以下のような加算方法を実施する。
【００５７】
すなわち、ステップＳ６１およびＳ６２において、サブ転置索引ファイルに含まれる索引語In(In1,....InN)のうち、所定の索引語In1を特定する。そして、所定の索引語In1を構成する部分文字列d1,....dlのうち、キーワードデータに含まれる部分文字列q1と一致する部分文字列d1,....dlの重み度Ｗ(q1,In1)を計算し、メモリ４３３における索引語毎のスコアＳの記憶領域Ｓ（In1）番地に加算する。また、キーワードデータに含まれる部分文字列q2〜qnに対しても、上述した処理を繰り返し実施し、記憶領域Ｓ(In1)番地に加算する。
さらに、サブ転置索引ファイルに含まれる索引語のうち、他の索引語In2〜InNにおいても、重み度Ｗ(qi,Ini)を順次計算し、メモリ４３３における索引語毎のスコアＳの記憶領域Ｓ(In2)番地〜Ｓ(InN)番地に加算する。
そして、このような加算方法により、すべての索引語のスコアＳが得られる。
【００５８】
ステップＳ６の後、類似単語検索手段４３１Ｇは、メモリ４３３に記憶されたスコアＳを読み込み、読み込んだスコアＳのうち、スコアＳの高い数十件の索引語を抽出する。すなわち、類似単語検索手段４３１Ｇは、スコアＳの値に基づいて、キーワードに対して類似性の高い数十件の索引語を類似キーワード候補として抽出する（ステップＳ７：類似単語検索工程）。
【００５９】
距離情報算出手段４３１Ｆは、ステップＳ７において抽出された各類似キーワード候補と、キーワードとの間における編集距離を算出する（ステップＳ８：距離情報算出工程）。なお、編集距離とは、２つの文字列の異なり度合いを、１文字毎の操作（置換・削除・挿入）を繰り返すことによって、両文字列を同一にするために必要な最小操作数である。
【００６０】
具体的に、距離情報算出手段４３１Ｆは、キーワードと類似キーワード候補との編集距離を、以下に示す動的計画法を用いて算出する。なお、以下では、x1,....xnの文字の集合であるキーワードをＸとし、y1,....ynの文字の集合である類似キーワード候補をＹとする。また、Ｘ[i]=xi,Ｙ[j]=yjである。
【００６１】
先ず、距離情報算出手段４３１Ｆは、キーワードＸの文字数、およびステップＳ７において抽出された類似キーワード候補Ｙの文字数を特定し、それぞれ、ｎ,ｍとして設定する（ステップＳ８１）。
ステップＳ８１の後、距離情報算出手段４３１Ｆは、キーワードＸと類似キーワード候補Ｙとの編集距離Dist(X,Y)を計算するために、x1,....xiと、y1,....yjとの距離を距離行列Ｄ[i,j]と定義する（ステップＳ８２）。
【００６２】
ステップＳ８２の後、距離情報算出手段４３１Ｆは、距離行列Ｄ[i,j]において、以下の数３に示すように、iおよび／またはjが０の場合に関しての距離を設定する（ステップＳ８３）。
【００６３】
【数３】
【００６４】
数３の解釈は、以下の通りである。
先ず、編集距離の計算として、挿入および削除の操作数を１とし、置換の操作数を、同一文字には０、異なる文字には１としている。
距離行列Ｄ[0,0]は、空文字列と空文字列との距離であり、編集距離の計算として、Ｄ[0,0]＝０と設定できる。
また、距離行列Ｄ[i,0]は、x1,....xiと、y1の前の空文字列とを一致させる操作を示し、この操作では、x1,....xiを削除する操作であるので、編集距離の計算として、Ｄ[i,0]＝iと設定できる。
さらに、距離行列Ｄ[0,j]は、x1の前の空文字列とy1,....yjとを一致させる操作を示し、この操作では、y1,....yjをx1の前に挿入する操作であり、編集距離の計算として、Ｄ[0,j]＝jと設定できる。
【００６５】
ステップＳ８３の後、距離情報算出手段４３１Ｆは、以下の数４および数５により、iが１からnまで、およびjが１からmまでの距離行列Ｄ[i,j]を計算する（ステップＳ８４）。
【００６６】
【数４】
【００６７】
【数５】
【００６８】
数４の解釈は、以下の通りである。
距離行列Ｄ[i,j]を計算する際に、x1,....xi-1と、y1,....yjとの距離行列Ｄ[i-1,j]の計算、x1,....xiと、y1,....yj-1との距離行列Ｄ[i,j-1]の計算、およびx1,....xi-1と、y1,....yj-1との距離行列Ｄ[i-1,j-1]の計算が済んでいるとする。この先、距離計算を続けていくとして、xiとyjについて可能な操作は、以下のような３つの操作のみである。
【００６９】
すなわち、１つ目の可能な操作として、x1,....xi-1と、y1,....yjとの距離行列Ｄ[i-1,j]の計算から、x1,....xiと、y1,....yjとの距離行列Ｄ[i,j]の計算を続ける場合には、xiを削除する操作となる。したがって、１つ目の距離行列Ｄ[i,j]の計算として、Ｄ[i-1,j]＋１が挙げられる。
また、２つ目の可能な操作として、x1,....xiと、y1,....yj-1との距離行列Ｄ[i,j-1]の計算から、x1,....xiと、y1,....yjとの距離行列Ｄ[i,j]の計算を続ける場合には、yjをxiの後に挿入する操作となる。したがって、２つ目の距離行列Ｄ[i,j]の計算として、Ｄ[i,j-1]＋１が挙げられる。
【００７０】
さらに、３つ目の可能な操作として、x1,....xi-1と、y1,....yj-1との距離行列Ｄ[i-1,j-1]の計算から、x1,....xiと、y1,....yjとの距離行列Ｄ[i,j]の計算を続ける場合には、xiとyjとを置換する操作となる。したがって、３つ目の距離行列Ｄ[i,j]の計算として、Ｄ[i-1,j-1]＋costが挙げられる。ここで、costは、xiとyjとを置換する操作数を示し、数５に示すように、Ｘ[i]とＹ[j]とが同一か否か、すなわち、xiとyjとが同一か否かに応じて設定される。
そして、距離行列Ｄ[i,j]を求めるために、これら３つの可能な操作の中で、計算値が最小となる操作を選択する。
【００７１】
距離情報算出手段４３１Ｆは、ステップＳ８４において、計算した距離行列Ｄ[i,j]のうち、距離行列Ｄ[n,m]をキーワードＸと類似キーワード候補Ｙとの編集距離Dist(X,Y)として算出する（ステップＳ８５）。
そして、上述したステップＳ８１ないしＳ８５の処理を、ステップＳ７において抽出された全ての類似キーワード候補に対して実施し、キーワードに対する全ての類似キーワード候補の編集距離Distを算出する（ステップＳ８６）。この算出した各編集距離Distをメモリ４３３に記憶させる。
【００７２】
ステップＳ８の後、類似単語検索手段４３１Ｇは、メモリ４３３に記憶された編集距離Distを読み込み、ステップＳ７において抽出された全ての類似キーワード候補のうち、編集距離Distの小さい類似キーワード候補を再検索し、この類似キーワード候補を類似キーワードとして抽出する（ステップＳ９：類似単語再検索工程）。
【００７３】
情報検索部４３２は、ステップＳ９において抽出された類似キーワードを入力し、ステップＳ１において文献索引装置３にて作成された主転置索引ファイルおよび主索引語リストを利用して、類似キーワードに一致する索引語を検索し、検索した索引語に対応するテキスト情報を表示部４２に表示させる（ステップＳ１０）。
以上の処理により、ユーザは、入力されたキーワードに対応するテキスト情報を表示部４２から認識する。
【００７４】
〔実施形態の効果〕
上述した実施の形態によれば、以下の効果がある。
（１）情報検索装置４の類似単語検索部４３１は、索引情報作成手段４３１Ｂが索引語から抽出した複数の部分文字列、および、検索要求単語情報作成手段４３１Ｄがキーワードから抽出した複数の部分文字列に基づいて、キーワードに対して類似性を有する類似キーワード候補を検索する。このことにより、キーワードに対して全ての索引語に編集操作を施して編集距離を算出し、この算出した編集距離に基づいて類似キーワード候補を検索する構成に比較して、キーワードと索引語との類似関係を調べる計算の負荷を低減でき、類似キーワード候補の検索の高速化を図れる。
【００７５】
（２）索引情報作成手段４３１Ｂおよび検索要求単語情報作成手段４３１Ｄは、部分文字列を抽出する際、索引語およびキーワードから１字ずつずらした文字の並びである複数の部分文字列を抽出するので、これら部分文字列に基づいてキーワードに対して類似性を有する類似キーワード候補を検索する際に、検索漏れを減少させることができ、適切な類似キーワード候補を検索できる。
（３）キーワードおよび索引語の特徴となる情報を、キーワードおよび索引語を構成する複数の部分文字列としているので、キーワードおよび索引語を形態素解析等の分析を実施する必要がなく、簡単な処理で容易にキーワードおよび索引語の特徴となる情報を抽出できる。
【００７６】
（４）索引情報作成手段４３１Ｂは、索引語を構成する各部分文字列に対して、出現頻度に応じた重み付けを実施して、部分文字列が出現する索引語数および部分文字列が索引語内に出現する数等の重みを含むサブ索引語リストを作成する。また、検索要求単語情報作成手段４３１Ｄは、キーワードを構成する各部分文字列に対して、出現頻度に応じた重み付けを実施して、部分文字列がキーワード内に出現する数等の重みを含むキーワードデータを作成する。このため、類似度情報算出手段４３１Ｅは、キーワードデータおよびサブ索引語リストに含まれる重みに基づいて、サブ索引語リストに含まれる各部分文字列のうち、キーワードデータに含まれる各部分文字列に一致する部分文字列の重み度Ｗを計算できる。また、類似度情報算出手段４３１Ｅは、索引語に含まれる各部分文字列の重み度Ｗを加算することで、キーワードに対する索引語のスコアＳを適切に計算できる。したがって、このスコアＳに基づいて、キーワードに対する類似キーワード候補を検索することで、ユーザが必要としない類似キーワード候補を検索することなく、適切な類似キーワード候補を容易に検索できる。
【００７７】
（５）類似度情報算出手段４３１Ｅは、スコアＳを計算する際に、メモリ４３３内に索引語毎のスコアＳの記憶領域を区画し、所定の索引語を構成する各部分文字列の重み度Ｗを順次計算して、所定の索引語に対応する記憶領域に順次加算していくので、スコアＳの計算を迅速に実施できる。したがって、類似キーワード候補の検索の高速化を図れる。
【００７８】
（６）類似単語検索部４３１は、距離情報算出手段４３１Ｆを備え、この距離情報算出手段４３１Ｆは、類似単語検索手段４３１Ｇにて検索された類似キーワード候補と、キーワードとの間の編集距離Distを算出する。そして、類似単語検索手段４３１Ｇは、算出された編集距離Distに基づいて、従前に検索した類似キーワード候補のうち、キーワードに類似する類似キーワードを再検索する。すなわち、類似単語検索部４３１は、スコアＳに基づく類似キーワード候補の検索において、計算量が少なく、キーワードに対して類似性を有する索引語を大まかに検索する。そして、類似単語検索部４３１は、編集距離Distに基づく類似キーワードの再検索において、大まかに検索された索引語の集合である類似キーワード候補から、厳密に類似性を有する索引語を類似キーワードとして検索する。このことにより、大まかに検索された索引語から、計算量の多い編集距離Distに基づく索引語の再検索を実施することで、処理の負担を増大させることなく、効率的に適切な類似キーワードを検索できる。
【００７９】
（７）距離情報算出手段４３１Ｆは、キーワードと、類似キーワード候補との間の編集距離Distを計算する際に、動的計画法を用いて実施しているので、編集距離Distの計算を迅速に実施できる。したがって、類似キーワードの検索の高速化を図れる。
（８）情報検索システム１は、記憶装置２と、文献索引装置３と、類似検索装置としての類似単語検索部４３１を含む情報検索装置４とを備えているので、ユーザにより入力されたキーワードに誤記等があったとしても、キーワードに類似する類似キーワードを検索し、この検索した類似キーワードに対応するテキスト情報を検索することで、キーワードに対応するテキスト情報を検索漏れなく検索できる。
【００８０】
〔実施形態の変形〕
以上、本発明について好適な実施形態を挙げて説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の改良並びに設計の変更が可能である。
【００８１】
前記実施形態では、検索対象単語特徴情報は索引語を構成する各部分文字列の集合であり、検索要求単語特徴情報はキーワードを構成する各部分文字列の集合である構成を説明したが、これに限らない。検索対象単語特徴情報および検索要求単語特徴情報は、索引語およびキーワードの特徴を表していればよく、例えば、索引語およびキーワードの文字数、索引語およびキーワードの品詞に関する情報、索引語およびキーワードの言語に関する情報、索引語およびキーワードにひらがな、カタカナ、英字、数字、漢字等が含まれるか否かに関する情報、各単語を構成する複数の部分バイト列、各単語を構成する複数の特徴文字列等を検索対象単語特徴情報および検索要求単語特徴情報として採用してもよい。
なお、部分バイト列としては、例えば、１つの文字単位が記憶領域上に要する領域長を考慮しないで、記憶領域上の固定長単位で分割して抽出したもの等を採用できる。
【００８２】
また、特徴文字列としては、以下のように抽出された文字列を採用できる。
例えば、索引語またはキーワードが「アセトアルデイド」という単語であるとする。また、予め辞書等の記憶手段に複数の文字列を記憶させておく。例えば、記憶手段に記憶された文字列のうち、索引語またはキーワードを構成する部分文字列に相当する文字列が「アセト、アルデ、セト」である場合には、これら「アセト、アルデ、セト」を特徴文字列として抽出する。また、索引語またはキーワードを構成する文字列のうち、上記特徴文字列として抽出された文字列以外の文字列である「イド、イ、ド」も特徴文字列として抽出する。すなわち、「アセトアルデイド」の特徴文字列としては、「アセト、アルデ、セト、イド、イ、ド」が抽出される。
【００８３】
前記実施形態では、類似単語検索部４３１は、距離情報算出手段４３１Ｆを備える構成であったが、これに限らず、距離情報算出手段４３１Ｆを省略する構成としてもよい。すなわち、類似単語検索手段４３１Ｇは、類似度情報算出手段４３１Ｅにて算出したスコアＳに基づいて、キーワードに対して類似性を有する類似キーワードを検索する。このような構成では、類似キーワードの検索のさらなる高速化を図れる。
【００８４】
前記実施形態では、索引語およびキーワードを構成する部分文字列は、３文字の部分文字列、２文字の部分文字列、および１文字の部分文字列で構成されていたが、これに限らず、３文字の部分文字列のみ、２文字の部分文字列のみ、または、１文字の部分文字列のみで構成してもよい。また、部分文字列の文字数は、３文字、２文字、１文字に限定されず、４文字以上であっても構わない。
また、部分文字列は、索引語およびキーワードを１字ずつずらした文字の並びである複数の文字列に分割して抽出されたものであるが、これに限らず、単語を文字種の変わり目を越えないように複数の文字列に分割して抽出されたものとしてもよい。
【００８５】
前記実施形態において、重み度Ｗの計算方法、およびスコアＳの計算方法は、実施形態で説明した方法である数１および数２に限らず、その他の計算式にて計算する方法を採用してもよい。
【００８６】
前記実施形態では、類似単語検索装置としての類似単語検索部４３１は、情報検索装置４に含まれる構成を説明したが、これに限らず、別体として構成してもよい。また、文献等のテキスト情報は、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に記録された構成を説明したが、これに限らない。例えば、このテキスト情報が外部のサーバ等の記憶装置２に保存され、記憶装置２と文献索引装置３とがネットワークで接続される構成を採用してもよい。また、外部のサーバ等に、記憶装置２、文献索引装置３、および、類似単語検索部４３１および情報検索部４３２の情報検索機能を持たせ、ネットワークにより外部のサーバ等に情報検索を実施するように構成してもよい。
【００８７】
前記実施形態における制御部４３内の各手段等は、各種論理素子等のハードウェアで構成されたものや、ＣＰＵ、メモリ等を備えたコンピュータを情報検索装置４内に設け、このコンピュータに所定のプログラムやデータを組み込んで、類似キーワードおよびテキスト情報等の検索動作を制御するように構成したものでもよい。
ここで、前記プログラムやデータは、情報検索装置４内に組み込まれたＲＡＭやＲＯＭ等のメモリに予め記憶しておけばよい。また、例えば、情報検索装置４内のメモリに所定の制御プログラムやデータをインターネット等の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の記録媒体を介してインストールしてもよい。そして、このインストールされたプログラムでＣＰＵ等を動作させて、類似キーワードおよびテキスト情報等の検索における動作制御を実現させればよい。
【００８８】
なお、情報検索装置４内に所定のプログラムをインストールするには、情報検索装置４にメモリカードやＣＤ−ＲＯＭ等の記憶媒体を読み取る機器を外付けで情報検索装置４に接続してもよい。さらには、ＬＡＮケーブル、電話線等を情報検索装置４に接続して通信によってプログラムを供給しインストールしてもいし、無線によってプログラムを供給してインストールしてもよい。
このような記録媒体やインターネット等の通信手段で提供される本発明の制御プログラムを情報検索装置４に組み込めば、類似キーワードおよびテキスト情報の検索制御を正確に実施することができる。
【００８９】
【発明の効果】
上述のように本発明によれば、検索を要求する検索要求単語に類似する類似単語を効率的に検索し、検索の高速化を図れる。
【図面の簡単な説明】
【図１】本実施形態における情報検索システムの概略構成を示すブロック図である。
【図２】前記実施形態における情報検索システム１の情報検索方法を示すフローチャートである。
【図３】前記実施形態における情報検索システム１の情報検索方法を示すフローチャートである。
【符号の説明】
１ 情報検索システム
２ 記憶装置
３ 情報分割装置としての文献索引装置
４ 情報検索装置
４３１ 類似単語検索装置としての類似単語検索部
４３１Ａ 検索対象単語集合取得手段
４３１Ｂ 索引情報作成手段
４３１Ｃ 検索要求単語取得手段
４３１Ｄ 検索要求単語情報作成手段
４３１Ｅ 類似度情報算出手段
４３１Ｆ 距離情報算出手段
４３１Ｇ 類似単語検索手段
Dist 距離情報としての編集距離
Ｓ 類似度情報としてのスコア
Ｗ 重み情報としての重み度
Ｓ２ 検索対象単語集合取得工程
Ｓ３ 索引情報作成工程
Ｓ４ 検索要求単語取得工程
Ｓ５ 検索要求単語情報作成工程
Ｓ６ 類似度情報算出工程
Ｓ７ 類似単語検索工程
Ｓ８ 距離情報算出工程
Ｓ９ 類似単語再検索工程
【発明の属する技術分野】
本発明は、検索を要求する検索要求単語を取得し、検索対象となる検索対象単語集合から検索要求単語に類似した類似単語を検索する類似単語検索装置、この方法、このプログラム、および情報検索システムに関する。
【０００２】
【背景技術】
近年では、英和辞書、和英辞書や百科事典等の言語情報、および、新聞、雑誌、文献、論文、公的文書、私的文書等のテキスト情報が電子化され、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Video(またはVersatile)Disk-Read Only Memory）等の記録媒体に格納されている。そして、このような電子媒体に格納された膨大な言語情報、またはテキスト情報から検索者が要求するものを検索する技術が要求されている。
従来、このような検索装置としては、電子媒体に格納された言語情報またはテキスト情報を読み込み、形態素解析等を実施して言語情報またはテキスト情報に出現する単語を索引語とする転置索引ファイルを作成する。また、検索者が入力するキーワードや検索式等の検索条件を取得し、この取得した検索条件に対して作成した転置索引ファイルを探索する。そして、検索条件に一致する索引語に対応する言語情報またはテキスト情報を検索者に対して提示する。
【０００３】
しかしながら、このような検索装置では、検索者が入力するキーワードを含む言語情報やテキスト情報を検索することができるが、キーワードに類似した言語情報やテキスト情報を検索することができない。このため、表記ゆれや誤記による検索漏れが生じてしまう。
そして、このような問題を解決する技術として、編集距離を利用して類似関係を有する情報を検索する技術が知られている（例えば、特許文献１参照）。ここで、編集距離とは、文字単位の削除、挿入、置換を編集操作として２つの文字列を同じ文字列にするためにかかる編集操作数を距離として計算した値である。
この特許文献１に記載の技術は、用例機械翻訳装置として構成されているものであり、この用例機械翻訳装置は、原言語による文が入力されると、この入力文と所定の編集距離にある類似性の高い事例のうち、所定の類似関係にある少なくとも３つの文を特定する。そして、この用例機械翻訳装置は、特定した少なくとも３つの文の対訳を参照して、入力文を目的言語文に変換する。
【０００４】
【特許文献１】
特開平１０−４９５３２号公報
【０００５】
【発明が解決しようとする課題】
ところで、特許文献１に記載の編集距離を利用した類似性を有する情報を検索する技術を検索装置に適用した場合には、検索を要求する検索要求単語に対して検索対象となる全ての検索対象単語に編集操作を施して編集距離を計算する必要があり、検索装置にかかる負荷が増大し、検索の高速化を図れない、という問題がある。
【０００６】
本発明の目的は、検索を要求する検索要求単語に類似する類似単語を効率的に検索し、検索の高速化を図れる類似単語検索装置、この方法、このプログラム、および情報検索システムを提供することにある。
【０００７】
【課題を解決するための手段】
本発明の類似単語検索装置は、検索対象となる検索対象単語集合から検索を要求する検索要求単語に類似した類似単語を編集距離に基づいて検索する類似単語検索装置であって、前記検索対象単語集合を取得する検索対象単語集合取得手段と、前記取得された検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、前記検索対象単語集合内において前記部分文字列が出現する検索対象単語数によって重み付けし、前記検索対象単語集合に含まれる検索対象単語と前記重みとを前記部分文字列で索引付けして索引情報を作成する索引情報作成手段と、前記検索要求単語を取得する検索要求単語取得手段と、前記取得された検索要求単語から前記検索要求単語の特徴となる複数の部分文字列を抽出し、この部分文字列の前記検索要求単語内での出現数によって重み付けした部分文字列を含む検索要求単語情報を作成する検索要求単語情報作成手段と、前記索引情報に含まれる前記部分文字列の重みと、前記検索要求単語情報に含まれる前記部分文字列の重みに基づいて、前記検索要求単語に対する前記検索対象単語の類似度に関する類似度情報を算出する類似度情報算出手段と、前記算出された類似度情報に基づいて、類似単語候補として前記検索要求単語に類似する複数の類似単語を検索する類似単語検索手段と、前記類似単語検索手段にて検索された類似単語候補、および前記検索要求単語の間の編集距離に関する距離情報を算出する距離情報算出手段と、を備え、前記類似単語検索手段は、前記算出された距離情報に基づいて、前記類似単語候補から前記検索要求単語に類似する類似単語を再検索することを特徴とする。
【０００８】
部分文字列としては、例えば、単語を文字種の変わり目を越えないように複数の文字列に分割して抽出したもの、単語を１字ずつずらした文字の並びである複数の文字列に分割して抽出したもの等を採用できる。例えば、検索対象単語から１字ずつずらした文字の並びである複数の部分文字列を抽出する場合、この部分文字列に基づいて、検索要求単語に対して類似性を有する類似単語を検索する際に、検索漏れを減少させることができ、適切な類似単語を検索できる。
ここで、部分文字列の文字数は、特に限定されない。例えば、検索対象単語または検索要求単語を１字ずつずらした３文字の部分文字列、２文字の部分文字列、または１文字の部分文字列としてもよい。また、これら３文字の部分文字列、２文字の部分文字列、および１文字の部分文字列を全て抽出する構成としてもよい。
また、このような部分文字列を用いるので、検索対象単語を形態素解析等の分析をする必要がなく、簡単な処理で容易に検索対象単語特徴情報を抽出できる。
【０００９】
本発明では、検索対象単語集合取得手段は、例えば、外部の記憶装置から検索対象単語集合を取得する。そして、索引情報作成手段は、検索対象単語集合取得手段にて取得された検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、検索対象単語集合内においてこの部分文字列が出現する検索対象単語数を重みとする部分文字列を索引単位とし、各検索対象単語を索引語とする索引情報を作成する。また、検索要求単語取得手段は、例えば、ユーザ等により入力されたキーワード等の検索要求単語を取得する。そして、検索要求単語情報作成手段は、検索要求単語取得手段にて取得された検索要求単語から該検索要求単語の特徴となる複数の部分文字列を抽出し、この抽出した複数のこの部分文字列の前記検索要求単語内での出現数を重みとした部分文字列を含む検索要求単語情報を作成する。上記索引情報および上記検索要求単語情報が作成された後、類似度情報算出手段は、索引情報に含まれる部分文字列の重みと、検索要求単語情報に含まれる部分文字列の重みに基づいて、検索要求単語に対する検索対象単語の類似度に関する類似度情報を算出する。そして、類似単語検索手段は、算出された類似度情報に基づいて、検索要求単語に類似する類似単語を検索する。このことにより、検索要求単語に対して全ての検索対象単語に編集操作を施す煩雑な処理を実施することなく、容易に検索要求単語に対して類似性を有する類似単語を検索できる。したがって、類似単語検索装置において、検索要求単語と検索対象単語との類似関係を調べる計算にかかる負荷を低減でき、類似単語の検索の効率化および高速化を図れる。
また、各部分文字列に対して重み付けを実施することで、各部分文字列の重み情報としての重要度を設定でき、この重み情報に基づいて、検索要求単語に対する検索対象単語の類似度情報を適切に算出できる。したがって、この類似度情報に基づいて、検索要求単語に類似する類似単語を検索すれば、ユーザが必要としない類似単語を検索することなく、適切な類似単語を容易に検索できる。
【００１０】
また、距離としては、例えば、編集距離またはリーベンシュタイン距離を採用できる。本発明では、距離情報算出手段は、類似単語検索手段にて検索された類似単語候補としての複数の類似単語と、検索要求単語との間の距離に関する距離情報を算出する。そして、類似単語検索手段は、距離情報算出手段にて算出された距離情報に基づいて、従前に検索した類似単語候補のうち、検索要求単語に類似する類似単語を再検索する。すなわち、類似度情報に基づく類似単語の検索では、計算量が少なく、大まかに類似性を有する複数の類似単語を検索する。そして、距離情報に基づく類似単語の検索では、大まかに検索された類似単語から、厳密に類似性を有する類似単語を検索する。このことにより、大まかに検索された類似単語から、計算量の多い距離情報に基づく類似単語の検索を実施することで、処理の負担を増大させることなく、効率的に適切な類似単語を検索できる。
本発明の類似単語検索装置では、前記類似度情報算出手段は、前記類似度情報を算出する際、前記検索対象単語集合に含まれる前記検索対象単語の総数に対して、前記検索要求単語情報に含まれる部分文字列と前記索引情報に含まれる部分文字列とが同一となる前記検索対象単語の数が多いほど重み付けを低くし、かつ、前記所定の文字列の前記検索対象単語内での出現数が多いほど重み付けを高くし、かつ、前記所定の文字列の前記検索要求単語内での出現数が多いほど重み付けを高くする重み度を算出し、この重み度に基づいて前記類似度情報を算出することが好ましい。
【００１３】
本発明の類似単語検索装置では、前記距離情報算出手段は、動的計画法を用いて前記距離情報を算出することが好ましい。
また、本発明の類似単語検索装置では、前前記距離情報は、前記検索要求単語と前記検索対象単語の各文字列の異なり度合いを、１文字毎の置換、削除および挿入の編集操作を繰り返すことによって両文字列を同一にするために必要な最小の操作回数であることが好ましい。
【００１５】
本発明の類似単語検索方法は、検索対象となる検索対象単語集合から検索を要求する検索要求単語に類似した類似単語を編集距離に基づいて検索する類似単語検索方法であって、前記検索対象単語集合を取得する検索対象単語集合取得工程と、前記取得した検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、前記検索対象単語集合内において前記部分文字列が出現する検索対象単語数を重みとし、前記検索対象単語集合に含まれる検索対象単語と前記重みとを前記部分文字列で索引付けして索引情報を作成する索引情報作成工程と、前記検索要求単語を取得する検索要求単語取得工程と、前記取得した検索要求単語から前記検索要求単語の特徴となる複数の部分文字列を抽出し、この部分文字列の前記検索要求単語内での出現数を重みとした部分文字列を含む検索要求単語情報を作成する検索要求単語情報作成工程と、前記作成した索引情報に含まれる前記部分文字列の重みと、前記作成した検索要求単語情報に含まれる前記部分文字列の重みに基づいて、前記検索要求単語に対する前記検索対象単語の類似度に関する類似度情報を算出する類似度情報算出工程と、前記算出した類似度情報に基づいて、類似単語候補として前記検索要求単語に類似する複数の類似単語を検索する類似単語検索工程と、前記類似単語検索工程にて検索した類似単語候補、および前記検索要求単語の間の編集距離に関する距離情報を算出する距離情報算出工程と、前記算出した距離情報に基づいて、前記類似単語検索工程にて検索した類似単語候補から前記検索要求単語に類似する類似単語を再検索する類似単語再検索工程と、を備えていることを特徴とする。
本発明では、類似単語検索方法は、検索対象単語集合取得工程と、索引情報作成工程と、検索要求単語取得工程と、検索要求単語情報作成工程と、類似度情報算出工程と、類似単語検索工程とを備えている。このことにより、上述した類似単語検索装置と同様の作用・効果を享受できる。
また、距離情報算出工程は、類似単語検索工程にて検索した類似単語と、検索要求単語との間の距離に関する距離情報を算出する。そして、類似単語再検索工程は、算出した距離情報に基づいて、類似単語検索工程にて検索した類似単語のうち、検索要求単語に類似する類似単語を再検索する。このことにより、上述した類似単語検索装置と同様の作用・効果を享受できる。
【００１８】
本発明の類似単語検索方法では、前記類似度情報算出手段は、前記類似度情報を算出する際、前記検索対象単語集合に含まれる前記検索対象単語の総数に対して、前記検索要求単語情報に含まれる部分文字列と前記索引情報に含まれる部分文字列とが同一となる前記検索対象単語の数が多いほど重み付けを低くし、かつ、前記所定の文字列の前記検索対象単語内での出現数が多いほど重み付けを高くし、かつ、前記所定の文字列の前記検索要求単語内での出現数が多いほど重み付けを高くする重み度を算出し、この重み度に基づいて前記類似度情報を算出することが好ましい。
【００２０】
本発明の類似単語検索プログラムは、上述した類似単語検索方法を演算手段に実行させることを特徴とする。
本発明では、例えば汎用のコンピュータなどを演算手段として利用しインストールする。このことにより、上述した類似単語検索方法を演算手段に実行させることができ、本発明の利用促進を大幅に図れる。
【００２２】
なお、上述した演算手段は、例えば１台のパーソナルコンピュータとしたり、複数のコンピュータをネットワーク状に組み合わせた構成や、マイクロコンピュータ等のＩＣやＣＰＵ等である素子、複数の電気部品が搭載された回路基板等も含む意味として定義される。
【００２３】
本発明の情報検索システムは、検索を要求する検索要求単語を取得し、記憶装置に記憶された検索対象情報から前記検索要求単語に対応する検索対象情報を検索する情報検索システムであって、前記記憶装置に記憶された検索対象情報を読み込み、読み込んだ検索対象情報を複数の検索対象単語に分割して検索対象単語集合を生成する情報分割装置と、前記生成された検索対象単語集合から前記検索要求単語に類似した類似単語を検索する、上述した類似単語検索装置と、前記検索された類似単語に基づいて、前記類似単語に対応する検索対象情報を検索する情報検索装置とを備えていることを特徴とする。
本発明では、情報検索システムは、情報分割装置と、上述した類似単語検索装置と、情報検索装置とを備えているので、例えば、ユーザ等により入力されたキーワード等の検索要求単語に誤記等があったとしても、検索要求単語に類似する類似単語を検索し、この検索した類似単語に対応する検索対象情報を検索することで、検索要求単語に対応する検索対象情報を検索漏れなく検索できる。
【００２４】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
【００２５】
〔情報検索システムの構成〕
図１は、本発明に係る情報検索システムの概略構成を示すブロック図である。図１において、１は情報検索システムで、この情報検索システム１は、電子化された文書等のテキスト情報から所定のキーワードに対応するテキスト情報を検索するシステムである。この情報検索システム１は、記憶装置２と、情報分割装置としての文献索引装置３と、本発明に係る類似単語検索装置を含む情報検索装置４とを備える。
【００２６】
記憶装置２は、英和辞書、和英辞書、百科事典、新聞、雑誌、文献、論文、公的文書、または私的文書等の複数のテキスト情報を記憶したＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体で構成され、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ等を介して、複数のテキスト情報を外部に出力可能に構成されている。なお、記憶装置２としては、上述した構成に限らず、ハードディスク等の他の記録媒体に複数のテキスト情報を記憶した構成としてもよい。
【００２７】
文献索引装置３は、記憶装置２に記憶された複数のテキスト情報を入力し、例えば以下に示す方法により主転置索引ファイルを作成する。
すなわち、この文献索引装置３は、入力した各テキスト情報を予め定めた複数の文からなる文単位に区切る。また、この文献索引装置３は、これら各文単位を形態素解析、構文解析等の解析処理を実施して、各文単位からさらに小さい索引語を抽出する。そして、この文献索引装置３は、これら索引語と複数のテキスト情報との関係を規定して、索引単位を索引語とし、索引先をテキスト情報とする主転置索引ファイルを作成する。また、文献索引装置３は、索引語をリストアップした検索対象単語集合としての主索引語リストを作成する。
【００２８】
情報検索装置４は、ＣＰＵ（Central Processing Unit）およびハードディスクを備えたコンピュータで構成され、種々のプログラムを実行する。具体的に、この情報検索装置４は、文献索引装置３にて作成された主転置索引ファイルを利用して、利用者が検索を要求するキーワードに対応するテキスト情報を検索し、検索したテキスト情報を利用者に対して報知する。この情報検索装置４は、図１に示すように、入力操作部４１と、表示部４２と、制御部４３とを備える。
【００２９】
入力操作部４１は、例えば、キーボードおよびマウス等で入力操作される図示しない各種操作ボタンを有している。この操作ボタン等の入力操作を実施することにより、入力操作部４１から適宜所定の操作信号が制御部４３に出力され、制御部４３を適宜動作させる。例えば、操作ボタン等を利用して、検索を要求する検索要求単語としてのキーワードを含む検索条件を入力することで、制御部４３によるテキスト情報の検索が実施される。また、操作ボタン等を利用して、表示部４２に表示される情報に対して、制御部４３の動作内容の設定等が実施される。
なお、この入力操作部４１としては、操作ボタンの入力操作に限らず、例えば、タッチパネルによる入力操作や、音声による入力操作等により、各種条件を設定入力する構成としてもできる。
【００３０】
表示部４２は、制御部４３に制御され、所定の情報を表示する。例えば、制御部４３にて検索されたキーワードに類似する類似単語としての類似キーワード、または、制御部４３にて検索された類似キーワードに対応するテキスト情報を適宜表示させる。この表示部４２は、例えば、液晶や有機ＥＬ（electroluminescence）、ＰＤＰ（Plasma Display Panel）、ＣＲＴ(Cathode-Ray Tube)等が用いられる。
【００３１】
制御部４３は、ＣＰＵを制御するＯＳ（Operating System）上に展開されるプログラムとして構成され、操作部４１からの操作信号の入力に応じて、所定のプログラムを実行し、キーワードに類似する類似キーワード検索、および類似キーワードに対応するテキスト情報検索を実施する。この制御部４３は、図１に示すように、類似単語検索装置としての類似単語検索部４３１と、情報検索部４３２と、メモリ４３３とを備える。
【００３２】
類似単語検索部４３１は、検索対象となる主索引語リストから検索を要求するキーワードに類似した類似キーワードを検索する。この類似単語検索部４３１は、図１に示すように、検索対象単語集合取得手段４３１Ａと、索引情報作成手段４３１Ｂと、検索要求単語取得手段４３１Ｃと、検索要求単語情報作成手段４３１Ｄと、類似度情報算出手段４３１Ｅと、距離情報算出手段４３１Ｆと、類似単語検索手段４３１Ｇとを備える。
【００３３】
検索対象単語集合取得手段４３１Ａは、文献索引装置３にて作成された主索引語リストから索引語を順次入力する。
索引情報作成手段４３１Ｂは、検索対象単語集合取得手段４３１Ａにて順次入力された索引語から各索引語を１字ずつずらした文字の並びである検索対象単語特徴情報としての複数の部分文字列を抽出し、この抽出した部分文字列を索引単位とするとともに、索引先を索引語とする類似キーワード検索用のサブ転置索引ファイルを作成する。
また、索引情報作成手段４３１Ｂは、抽出した各部分文字列に出現頻度に応じた重み付けを実施してサブ索引語リストを作成する。
そして、索引情報作成手段４３１Ｂは、これら作成したサブ転置索引ファイルおよびサブ索引語リストをメモリ４３３に格納する。
なお、本発明に係る索引情報は、上述したサブ転置索引ファイルおよびサブ索引語リストに相当する。
【００３４】
検索要求単語取得手段４３１Ｃは、入力操作部４１から出力される操作信号を入力し、この操作信号から利用者が検索を要求するキーワードを取得する。
検索要求単語情報作成手段４３１Ｄは、索引情報作成手段４３１Ｂと略同様に、検索要求単語取得手段４３１Ｃにて取得したキーワードから１字ずつずらした文字の並びである検索要求単語特徴情報としての複数の部分文字列を抽出する。
また、検索要求単語情報作成手段４３１Ｄは、抽出した各部分文字列に出現頻度に応じた重み付けを実施して検索要求単語情報としてのキーワードデータを作成する。
そして、検索要求単語情報作成手段４３１Ｄは、作成したキーワードデータをメモリ４３３に格納する。
【００３５】
類似度情報算出手段４３１Ｅは、メモリ４３３に格納されたサブ索引語リスト、およびキーワードデータを読み込み、サブ索引語リストおよびキーワードデータに含まれる各部分文字列に付与された重みに基づいて、サブ索引語リストに含まれる各部分文字列のうち、キーワードデータに含まれる各部分文字列に一致する部分文字列の重み情報としての重み度を計算する。
また、類似度情報算出手段４３１Ｅは、メモリ４３３に格納されたサブ転置索引ファイルおよびサブ索引語リストに基づいて、索引語に含まれる各部分文字列の重み度を加算することで、キーワードに対する各索引語の類似度に関する類似度情報としてのスコアを計算する。類似度情報算出手段４３１Ｅは、重み度およびスコアを計算する際、適宜メモリ４３３に計算値を格納する。
【００３６】
距離情報算出手段４３１Ｆは、後述する類似単語検索手段４３１Ｇにて検索された類似キーワード候補と、キーワードとの間における距離情報としての編集距離またはリーベンシュタイン距離を算出する。
【００３７】
類似単語検索手段４３１Ｇは、類似度情報算出手段４３１Ｅにて算出した各索引語のスコアに基づいて、スコアの高い、すなわちキーワードに対して類似性の高い複数の索引語を類似キーワード候補として抽出する。
また、類似単語検索手段４３１Ｇは、距離情報算出手段４３１Ｆにて算出された編集距離またはリーベンシュタイン距離に基づいて、抽出した類似キーワード候補のうち、編集距離またはリーベンシュタイン距離の小さい、すなわち、キーワードに対して類似性の高い索引語を再検索し、再検索した索引語を類似キーワードとして抽出する。
【００３８】
すなわち、類似単語検索手段４３１Ｇは、初めの検索において、キーワードに対して類似性を有する類似キーワード候補を大まかに検索した後、類似キーワード候補から、キーワードに対して極めて類似性の高い類似キーワードを再検索している。
そして、類似単語検索手段４３１Ｇは、再検索を実施した後、検索した類似キーワードを情報検索部４３２に出力する。
なお、類似単語検索手段４３１Ｇにて再検索を実施した後、検索結果として検索した類似キーワードを表示部４２に表示して利用者に認識させる構成としてもよい。
【００３９】
情報検索部４３２は、類似単語検索手段４３１Ｇにて検索された類似キーワードを入力し、文献索引装置３にて作成された主転置索引ファイルおよび主索引語リストを利用して、類似キーワードに一致する索引語を検索し、検索した索引語に対応するテキスト情報を表示部４２に表示させる。
【００４０】
メモリ４３３は、類似キーワードを検索するための類似単語検索プログラム、およびテキスト情報を検索するための所定のプログラムを格納するとともに、上述したサブ転置索引ファイル、索引リスト、キーワードデータ、重み度およびスコアの計算値を格納する。このメモリ４３３としては、例えば、ハードディスク等で構成できる。
【００４１】
〔情報検索方法〕
図２および図３は、情報検索システム１における情報検索方法を示すフローチャートである。以下に、情報検索システム１における情報検索方法を図１ないし図３を参照して説明する。
【００４２】
先ず、図１および図２を参照して、記憶装置２に記憶されたテキスト情報の処理動作を説明する。
文献索引装置３は、記憶装置２に記憶された複数のテキスト情報を入力し、主転置索引ファイルおよび主索引語リストを作成する（ステップＳ１）。
ステップＳ１の後、情報検索装置４における検索対象単語集合取得手段４３１Ａは、文献索引装置３にて作成された主索引語リストから索引語を順次入力する（ステップＳ２：検索対象単語集合取得工程）。
具体的に、このステップＳ２において、検索対象単語集合取得手段４３１Ａにて入力する主索引語リストの一部を以下の表１に示す。
【００４３】
【表１】
索引情報作成手段４３１Ｂは、ステップＳ２において、検索対象単語集合取得手段４３１Ａが入力した索引語から索引情報を作成する（ステップＳ３：索引情報作成工程）。
具体的に、索引情報作成手段４３１Ｂは、ステップＳ２において入力した索引語から各索引語を１字ずつずらした文字の並びである複数の部分文字列に分割する（ステップＳ３１）。このステップＳ３１では、以下の表２に示すように、３文字、２文字、１文字の部分文字列に分割される。
【００４５】
【表２】
ステップＳ３１の後、索引情報作成手段４３１Ｂは、分割した各部分文字列を索引単位とし、索引先を索引語とするサブ転置索引ファイルを作成する（ステップＳ３２）。なお、このようなサブ転置索引ファイルとしては、例えば、公知のB-TreeやTrieのデータ構造を採用できる。
【００４７】
また、索引情報作成手段４３１Ｂは、分割した各部分文字列に出現頻度に応じた重み付けを実施してサブ索引語リストを作成する（ステップＳ３３）。
具体的に、サブ索引語リストは、例えば、部分文字列、部分文字列に付与された重み（出現する索引語数、索引語内出現数）、および索引語ＩＤ等で構成される。このうち、索引語ＩＤは、部分文字列に対する索引語を規定するためのＩＤナンバである。
ステップＳ３２およびＳ３３において、作成したサブ転置索引ファイルおよびサブ索引語リストをメモリ４３３に格納する（ステップＳ３４）。
【００４８】
次に、図１および図３を参照して、検索を要求するキーワードに対応するテキスト情報を検索する検索動作を説明する。
利用者が入力操作部４１を操作することで、検索を要求するキーワードを入力し、入力操作部４１から出力されるキーワードに基づく操作信号を検索要求単語取得手段４３１Ｃが取得する（ステップＳ４：検索要求単語取得工程）。
【００４９】
検索要求単語情報作成手段４３１Ｄは、ステップＳ４において、検索要求単語取得手段４３１Ｃが入力したキーワードからキーワードデータを作成する（ステップＳ５：検索要求単語情報作成工程）。
具体的に、検索要求単語情報作成手段４３１Ｄは、ステップＳ３１と同様に、ステップＳ４において入力したキーワードから１字ずつずらした文字の並びである複数の部分文字列に分割する（ステップＳ５１）。なお、このステップＳ５１では、検索要求単語情報作成手段４３１Ｄは、ステップＳ３１と同様に、３文字、２文字、１文字の文字数の部分文字列に分割する。
【００５０】
ステップＳ５１の後、検索要求単語情報作成手段４３１Ｄは、分割した各部分文字列に出現頻度に応じた重み付けを実施してキーワードデータを作成する（ステップＳ５２）。
具体的に、キーワードデータは、例えば、部分文字列、部分文字列の重み（この部分文字列におけるキーワード内出現数）等で構成される。
ステップＳ５２において、作成したキーワードデータをメモリ４３３に格納する（ステップＳ５３）。
【００５１】
なお、上述したテキスト情報の処理動作Ｓ１〜Ｓ３の処理は、検索要求単語取得工程Ｓ４の前に予め実施しておく構成としてもよいし、検索要求単語取得工程Ｓ４におけるキーワードの入力をトリガとして、実施する構成としてもよい。
【００５２】
そして、類似度情報算出手段４３１Ｅは、メモリ４３３に格納された情報のうち、ステップＳ３３およびステップＳ５３にて格納されたサブ転置索引ファイル、サブ索引語リスト、およびキーワードデータを読み込み、入力したキーワードに対する各索引語の類似度に関するスコアを計算する（ステップＳ６：類似度情報算出工程）。
具体的に、先ず、類似度情報算出手段４３１Ｅは、サブ索引語リストおよびキーワードデータに基づいて、サブ索引語リストに含まれる各部分文字列のうち、キーワードデータに含まれる各部分文字列に一致する部分文字列の重み度を計算する（ステップＳ６１）。
ここで、キーワードデータに含まれる各部分文字列をq1,....qnとし、サブ索引語リストに含まれる各部分文字列をd1,....dmとすると、重み度Ｗ（qi,dj,q,d）は、qi=djについて、以下の数１により計算される。そして、計算した重み度Ｗ（qi,dj,q,d）をメモリ４３３に適宜格納する。
【００５３】
【数１】
また、類似度情報算出手段４３１Ｅは、ステップＳ６１にて計算した重み度に基づいて、各索引語のスコアを計算する（ステップＳ６２）。ここで、スコアＳ（q,d）は、以下の数２により計算される。
【００５５】
【数２】
数２に示すように、各索引語のスコアＳは、各索引語の各部分文字列の重み度Ｗを加算することで得られるが、このような計算を高速にかつ、多数の索引語に対して実施するために、以下のような加算方法を実施する。
【００５７】
すなわち、ステップＳ６１およびＳ６２において、サブ転置索引ファイルに含まれる索引語In(In1,....InN)のうち、所定の索引語In1を特定する。そして、所定の索引語In1を構成する部分文字列d1,....dlのうち、キーワードデータに含まれる部分文字列q1と一致する部分文字列d1,....dlの重み度Ｗ(q1,In1)を計算し、メモリ４３３における索引語毎のスコアＳの記憶領域Ｓ（In1）番地に加算する。また、キーワードデータに含まれる部分文字列q2〜qnに対しても、上述した処理を繰り返し実施し、記憶領域Ｓ(In1)番地に加算する。
さらに、サブ転置索引ファイルに含まれる索引語のうち、他の索引語In2〜InNにおいても、重み度Ｗ(qi,Ini)を順次計算し、メモリ４３３における索引語毎のスコアＳの記憶領域Ｓ(In2)番地〜Ｓ(InN)番地に加算する。
そして、このような加算方法により、すべての索引語のスコアＳが得られる。
【００５８】
ステップＳ６の後、類似単語検索手段４３１Ｇは、メモリ４３３に記憶されたスコアＳを読み込み、読み込んだスコアＳのうち、スコアＳの高い数十件の索引語を抽出する。すなわち、類似単語検索手段４３１Ｇは、スコアＳの値に基づいて、キーワードに対して類似性の高い数十件の索引語を類似キーワード候補として抽出する（ステップＳ７：類似単語検索工程）。
【００５９】
距離情報算出手段４３１Ｆは、ステップＳ７において抽出された各類似キーワード候補と、キーワードとの間における編集距離を算出する（ステップＳ８：距離情報算出工程）。なお、編集距離とは、２つの文字列の異なり度合いを、１文字毎の操作（置換・削除・挿入）を繰り返すことによって、両文字列を同一にするために必要な最小操作数である。
【００６０】
具体的に、距離情報算出手段４３１Ｆは、キーワードと類似キーワード候補との編集距離を、以下に示す動的計画法を用いて算出する。なお、以下では、x1,....xnの文字の集合であるキーワードをＸとし、y1,....ynの文字の集合である類似キーワード候補をＹとする。また、Ｘ[i]=xi,Ｙ[j]=yjである。
【００６１】
先ず、距離情報算出手段４３１Ｆは、キーワードＸの文字数、およびステップＳ７において抽出された類似キーワード候補Ｙの文字数を特定し、それぞれ、ｎ,ｍとして設定する（ステップＳ８１）。
ステップＳ８１の後、距離情報算出手段４３１Ｆは、キーワードＸと類似キーワード候補Ｙとの編集距離Dist(X,Y)を計算するために、x1,....xiと、y1,....yjとの距離を距離行列Ｄ[i,j]と定義する（ステップＳ８２）。
【００６２】
ステップＳ８２の後、距離情報算出手段４３１Ｆは、距離行列Ｄ[i,j]において、以下の数３に示すように、iおよび／またはjが０の場合に関しての距離を設定する（ステップＳ８３）。
【００６３】
【数３】
数３の解釈は、以下の通りである。
先ず、編集距離の計算として、挿入および削除の操作数を１とし、置換の操作数を、同一文字には０、異なる文字には１としている。
距離行列Ｄ[0,0]は、空文字列と空文字列との距離であり、編集距離の計算として、Ｄ[0,0]＝０と設定できる。
また、距離行列Ｄ[i,0]は、x1,....xiと、y1の前の空文字列とを一致させる操作を示し、この操作では、x1,....xiを削除する操作であるので、編集距離の計算として、Ｄ[i,0]＝iと設定できる。
さらに、距離行列Ｄ[0,j]は、x1の前の空文字列とy1,....yjとを一致させる操作を示し、この操作では、y1,....yjをx1の前に挿入する操作であり、編集距離の計算として、Ｄ[0,j]＝jと設定できる。
【００６５】
ステップＳ８３の後、距離情報算出手段４３１Ｆは、以下の数４および数５により、iが１からnまで、およびjが１からmまでの距離行列Ｄ[i,j]を計算する（ステップＳ８４）。
【００６６】
【数４】
【数５】
数４の解釈は、以下の通りである。
距離行列Ｄ[i,j]を計算する際に、x1,....xi-1と、y1,....yjとの距離行列Ｄ[i-1,j]の計算、x1,....xiと、y1,....yj-1との距離行列Ｄ[i,j-1]の計算、およびx1,....xi-1と、y1,....yj-1との距離行列Ｄ[i-1,j-1]の計算が済んでいるとする。この先、距離計算を続けていくとして、xiとyjについて可能な操作は、以下のような３つの操作のみである。
【００６９】
すなわち、１つ目の可能な操作として、x1,....xi-1と、y1,....yjとの距離行列Ｄ[i-1,j]の計算から、x1,....xiと、y1,....yjとの距離行列Ｄ[i,j]の計算を続ける場合には、xiを削除する操作となる。したがって、１つ目の距離行列Ｄ[i,j]の計算として、Ｄ[i-1,j]＋１が挙げられる。
また、２つ目の可能な操作として、x1,....xiと、y1,....yj-1との距離行列Ｄ[i,j-1]の計算から、x1,....xiと、y1,....yjとの距離行列Ｄ[i,j]の計算を続ける場合には、yjをxiの後に挿入する操作となる。したがって、２つ目の距離行列Ｄ[i,j]の計算として、Ｄ[i,j-1]＋１が挙げられる。
【００７０】
さらに、３つ目の可能な操作として、x1,....xi-1と、y1,....yj-1との距離行列Ｄ[i-1,j-1]の計算から、x1,....xiと、y1,....yjとの距離行列Ｄ[i,j]の計算を続ける場合には、xiとyjとを置換する操作となる。したがって、３つ目の距離行列Ｄ[i,j]の計算として、Ｄ[i-1,j-1]＋costが挙げられる。ここで、costは、xiとyjとを置換する操作数を示し、数５に示すように、Ｘ[i]とＹ[j]とが同一か否か、すなわち、xiとyjとが同一か否かに応じて設定される。
そして、距離行列Ｄ[i,j]を求めるために、これら３つの可能な操作の中で、計算値が最小となる操作を選択する。
【００７１】
距離情報算出手段４３１Ｆは、ステップＳ８４において、計算した距離行列Ｄ[i,j]のうち、距離行列Ｄ[n,m]をキーワードＸと類似キーワード候補Ｙとの編集距離Dist(X,Y)として算出する（ステップＳ８５）。
そして、上述したステップＳ８１ないしＳ８５の処理を、ステップＳ７において抽出された全ての類似キーワード候補に対して実施し、キーワードに対する全ての類似キーワード候補の編集距離Distを算出する（ステップＳ８６）。この算出した各編集距離Distをメモリ４３３に記憶させる。
【００７２】
ステップＳ８の後、類似単語検索手段４３１Ｇは、メモリ４３３に記憶された編集距離Distを読み込み、ステップＳ７において抽出された全ての類似キーワード候補のうち、編集距離Distの小さい類似キーワード候補を再検索し、この類似キーワード候補を類似キーワードとして抽出する（ステップＳ９：類似単語再検索工程）。
【００７３】
情報検索部４３２は、ステップＳ９において抽出された類似キーワードを入力し、ステップＳ１において文献索引装置３にて作成された主転置索引ファイルおよび主索引語リストを利用して、類似キーワードに一致する索引語を検索し、検索した索引語に対応するテキスト情報を表示部４２に表示させる（ステップＳ１０）。
以上の処理により、ユーザは、入力されたキーワードに対応するテキスト情報を表示部４２から認識する。
【００７４】
〔実施形態の効果〕
上述した実施の形態によれば、以下の効果がある。
（１）情報検索装置４の類似単語検索部４３１は、索引情報作成手段４３１Ｂが索引語から抽出した複数の部分文字列、および、検索要求単語情報作成手段４３１Ｄがキーワードから抽出した複数の部分文字列に基づいて、キーワードに対して類似性を有する類似キーワード候補を検索する。このことにより、キーワードに対して全ての索引語に編集操作を施して編集距離を算出し、この算出した編集距離に基づいて類似キーワード候補を検索する構成に比較して、キーワードと索引語との類似関係を調べる計算の負荷を低減でき、類似キーワード候補の検索の高速化を図れる。
【００７５】
（２）索引情報作成手段４３１Ｂおよび検索要求単語情報作成手段４３１Ｄは、部分文字列を抽出する際、索引語およびキーワードから１字ずつずらした文字の並びである複数の部分文字列を抽出するので、これら部分文字列に基づいてキーワードに対して類似性を有する類似キーワード候補を検索する際に、検索漏れを減少させることができ、適切な類似キーワード候補を検索できる。
（３）キーワードおよび索引語の特徴となる情報を、キーワードおよび索引語を構成する複数の部分文字列としているので、キーワードおよび索引語を形態素解析等の分析を実施する必要がなく、簡単な処理で容易にキーワードおよび索引語の特徴となる情報を抽出できる。
【００７６】
（４）索引情報作成手段４３１Ｂは、索引語を構成する各部分文字列に対して、出現頻度に応じた重み付けを実施して、部分文字列が出現する索引語数および部分文字列が索引語内に出現する数等の重みを含むサブ索引語リストを作成する。また、検索要求単語情報作成手段４３１Ｄは、キーワードを構成する各部分文字列に対して、出現頻度に応じた重み付けを実施して、部分文字列がキーワード内に出現する数等の重みを含むキーワードデータを作成する。このため、類似度情報算出手段４３１Ｅは、キーワードデータおよびサブ索引語リストに含まれる重みに基づいて、サブ索引語リストに含まれる各部分文字列のうち、キーワードデータに含まれる各部分文字列に一致する部分文字列の重み度Ｗを計算できる。また、類似度情報算出手段４３１Ｅは、索引語に含まれる各部分文字列の重み度Ｗを加算することで、キーワードに対する索引語のスコアＳを適切に計算できる。したがって、このスコアＳに基づいて、キーワードに対する類似キーワード候補を検索することで、ユーザが必要としない類似キーワード候補を検索することなく、適切な類似キーワード候補を容易に検索できる。
【００７７】
（５）類似度情報算出手段４３１Ｅは、スコアＳを計算する際に、メモリ４３３内に索引語毎のスコアＳの記憶領域を区画し、所定の索引語を構成する各部分文字列の重み度Ｗを順次計算して、所定の索引語に対応する記憶領域に順次加算していくので、スコアＳの計算を迅速に実施できる。したがって、類似キーワード候補の検索の高速化を図れる。
【００７８】
（６）類似単語検索部４３１は、距離情報算出手段４３１Ｆを備え、この距離情報算出手段４３１Ｆは、類似単語検索手段４３１Ｇにて検索された類似キーワード候補と、キーワードとの間の編集距離Distを算出する。そして、類似単語検索手段４３１Ｇは、算出された編集距離Distに基づいて、従前に検索した類似キーワード候補のうち、キーワードに類似する類似キーワードを再検索する。すなわち、類似単語検索部４３１は、スコアＳに基づく類似キーワード候補の検索において、計算量が少なく、キーワードに対して類似性を有する索引語を大まかに検索する。そして、類似単語検索部４３１は、編集距離Distに基づく類似キーワードの再検索において、大まかに検索された索引語の集合である類似キーワード候補から、厳密に類似性を有する索引語を類似キーワードとして検索する。このことにより、大まかに検索された索引語から、計算量の多い編集距離Distに基づく索引語の再検索を実施することで、処理の負担を増大させることなく、効率的に適切な類似キーワードを検索できる。
【００７９】
（７）距離情報算出手段４３１Ｆは、キーワードと、類似キーワード候補との間の編集距離Distを計算する際に、動的計画法を用いて実施しているので、編集距離Distの計算を迅速に実施できる。したがって、類似キーワードの検索の高速化を図れる。
（８）情報検索システム１は、記憶装置２と、文献索引装置３と、類似検索装置としての類似単語検索部４３１を含む情報検索装置４とを備えているので、ユーザにより入力されたキーワードに誤記等があったとしても、キーワードに類似する類似キーワードを検索し、この検索した類似キーワードに対応するテキスト情報を検索することで、キーワードに対応するテキスト情報を検索漏れなく検索できる。
【００８０】
〔実施形態の変形〕
以上、本発明について好適な実施形態を挙げて説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の改良並びに設計の変更が可能である。
【００８１】
前記実施形態では、検索対象単語特徴情報は索引語を構成する各部分文字列の集合であり、検索要求単語特徴情報はキーワードを構成する各部分文字列の集合である構成を説明したが、これに限らない。検索対象単語特徴情報および検索要求単語特徴情報は、索引語およびキーワードの特徴を表していればよく、例えば、索引語およびキーワードの文字数、索引語およびキーワードの品詞に関する情報、索引語およびキーワードの言語に関する情報、索引語およびキーワードにひらがな、カタカナ、英字、数字、漢字等が含まれるか否かに関する情報、各単語を構成する複数の部分バイト列、各単語を構成する複数の特徴文字列等を検索対象単語特徴情報および検索要求単語特徴情報として採用してもよい。
なお、部分バイト列としては、例えば、１つの文字単位が記憶領域上に要する領域長を考慮しないで、記憶領域上の固定長単位で分割して抽出したもの等を採用できる。
【００８２】
また、特徴文字列としては、以下のように抽出された文字列を採用できる。
例えば、索引語またはキーワードが「アセトアルデイド」という単語であるとする。また、予め辞書等の記憶手段に複数の文字列を記憶させておく。例えば、記憶手段に記憶された文字列のうち、索引語またはキーワードを構成する部分文字列に相当する文字列が「アセト、アルデ、セト」である場合には、これら「アセト、アルデ、セト」を特徴文字列として抽出する。また、索引語またはキーワードを構成する文字列のうち、上記特徴文字列として抽出された文字列以外の文字列である「イド、イ、ド」も特徴文字列として抽出する。すなわち、「アセトアルデイド」の特徴文字列としては、「アセト、アルデ、セト、イド、イ、ド」が抽出される。
【００８３】
前記実施形態では、類似単語検索部４３１は、距離情報算出手段４３１Ｆを備える構成であったが、これに限らず、距離情報算出手段４３１Ｆを省略する構成としてもよい。すなわち、類似単語検索手段４３１Ｇは、類似度情報算出手段４３１Ｅにて算出したスコアＳに基づいて、キーワードに対して類似性を有する類似キーワードを検索する。このような構成では、類似キーワードの検索のさらなる高速化を図れる。
【００８４】
前記実施形態では、索引語およびキーワードを構成する部分文字列は、３文字の部分文字列、２文字の部分文字列、および１文字の部分文字列で構成されていたが、これに限らず、３文字の部分文字列のみ、２文字の部分文字列のみ、または、１文字の部分文字列のみで構成してもよい。また、部分文字列の文字数は、３文字、２文字、１文字に限定されず、４文字以上であっても構わない。
また、部分文字列は、索引語およびキーワードを１字ずつずらした文字の並びである複数の文字列に分割して抽出されたものであるが、これに限らず、単語を文字種の変わり目を越えないように複数の文字列に分割して抽出されたものとしてもよい。
【００８５】
前記実施形態において、重み度Ｗの計算方法、およびスコアＳの計算方法は、実施形態で説明した方法である数１および数２に限らず、その他の計算式にて計算する方法を採用してもよい。
【００８６】
前記実施形態では、類似単語検索装置としての類似単語検索部４３１は、情報検索装置４に含まれる構成を説明したが、これに限らず、別体として構成してもよい。また、文献等のテキスト情報は、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に記録された構成を説明したが、これに限らない。例えば、このテキスト情報が外部のサーバ等の記憶装置２に保存され、記憶装置２と文献索引装置３とがネットワークで接続される構成を採用してもよい。また、外部のサーバ等に、記憶装置２、文献索引装置３、および、類似単語検索部４３１および情報検索部４３２の情報検索機能を持たせ、ネットワークにより外部のサーバ等に情報検索を実施するように構成してもよい。
【００８７】
前記実施形態における制御部４３内の各手段等は、各種論理素子等のハードウェアで構成されたものや、ＣＰＵ、メモリ等を備えたコンピュータを情報検索装置４内に設け、このコンピュータに所定のプログラムやデータを組み込んで、類似キーワードおよびテキスト情報等の検索動作を制御するように構成したものでもよい。
ここで、前記プログラムやデータは、情報検索装置４内に組み込まれたＲＡＭやＲＯＭ等のメモリに予め記憶しておけばよい。また、例えば、情報検索装置４内のメモリに所定の制御プログラムやデータをインターネット等の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の記録媒体を介してインストールしてもよい。そして、このインストールされたプログラムでＣＰＵ等を動作させて、類似キーワードおよびテキスト情報等の検索における動作制御を実現させればよい。
【００８８】
なお、情報検索装置４内に所定のプログラムをインストールするには、情報検索装置４にメモリカードやＣＤ−ＲＯＭ等の記憶媒体を読み取る機器を外付けで情報検索装置４に接続してもよい。さらには、ＬＡＮケーブル、電話線等を情報検索装置４に接続して通信によってプログラムを供給しインストールしてもいし、無線によってプログラムを供給してインストールしてもよい。
このような記録媒体やインターネット等の通信手段で提供される本発明の制御プログラムを情報検索装置４に組み込めば、類似キーワードおよびテキスト情報の検索制御を正確に実施することができる。
【００８９】
【発明の効果】
上述のように本発明によれば、検索を要求する検索要求単語に類似する類似単語を効率的に検索し、検索の高速化を図れる。
【図面の簡単な説明】
【図１】本実施形態における情報検索システムの概略構成を示すブロック図である。
【図２】前記実施形態における情報検索システム１の情報検索方法を示すフローチャートである。
【図３】前記実施形態における情報検索システム１の情報検索方法を示すフローチャートである。
【符号の説明】
１ 情報検索システム
２ 記憶装置
３ 情報分割装置としての文献索引装置
４ 情報検索装置
４３１ 類似単語検索装置としての類似単語検索部
４３１Ａ 検索対象単語集合取得手段
４３１Ｂ 索引情報作成手段
４３１Ｃ 検索要求単語取得手段
４３１Ｄ 検索要求単語情報作成手段
４３１Ｅ 類似度情報算出手段
４３１Ｆ 距離情報算出手段
４３１Ｇ 類似単語検索手段
Dist 距離情報としての編集距離
Ｓ 類似度情報としてのスコア
Ｗ 重み情報としての重み度
Ｓ２ 検索対象単語集合取得工程
Ｓ３ 索引情報作成工程
Ｓ４ 検索要求単語取得工程
Ｓ５ 検索要求単語情報作成工程
Ｓ６ 類似度情報算出工程
Ｓ７ 類似単語検索工程
Ｓ８ 距離情報算出工程
Ｓ９ 類似単語再検索工程
Claims (8)
- 検索対象となる検索対象単語集合から検索を要求する検索要求単語に類似した類似単語を編集距離に基づいて検索する類似単語検索装置であって、
前記検索対象単語集合を取得する検索対象単語集合取得手段と、
前記取得された検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、前記検索対象単語集合内において前記部分文字列が出現する検索対象単語数によって重み付けし、前記検索対象単語集合に含まれる検索対象単語と前記重みとを前記部分文字列で索引付けして索引情報を作成する索引情報作成手段と、
前記検索要求単語を取得する検索要求単語取得手段と、
前記取得された検索要求単語から前記検索要求単語の特徴となる複数の部分文字列を抽出し、この部分文字列の前記検索要求単語内での出現数によって重み付けした部分文字列を含む検索要求単語情報を作成する検索要求単語情報作成手段と、
前記索引情報に含まれる前記部分文字列の重みと、前記検索要求単語情報に含まれる前記部分文字列の重みに基づいて、前記検索要求単語に対する前記検索対象単語の類似度に関する類似度情報を算出する類似度情報算出手段と、
前記算出された類似度情報に基づいて、類似単語候補として前記検索要求単語に類似する複数の類似単語を検索する類似単語検索手段と、
前記類似単語検索手段にて検索された類似単語候補、および前記検索要求単語の間の編集距離に関する距離情報を算出する距離情報算出手段と、を備え、
前記類似単語検索手段は、前記算出された距離情報に基づいて、前記類似単語候補から前記検索要求単語に類似する類似単語を再検索することを特徴とする類似単語検索装置。 - 請求項１に記載の類似単語検索装置において、
前記類似度情報算出手段は、前記類似度情報を算出する際、前記検索対象単語集合に含まれる前記検索対象単語の総数に対して、前記検索要求単語情報に含まれる部分文字列と前記索引情報に含まれる部分文字列とが同一となる前記検索対象単語の数が多いほど重み付けを低くし、かつ、前記所定の文字列の前記検索対象単語内での出現数が多いほど重み付けを高くし、かつ、前記所定の文字列の前記検索要求単語内での出現数が多いほど重み付けを高くする重み度を算出し、この重み度に基づいて前記類似度情報を算出することを特徴とする類似単語検索装置。 - 請求項１または請求項２に記載の類似単語検索装置において、
前記距離情報算出手段は、動的計画法を用いて前記距離情報を算出することを特徴とする類似単語検索装置。 - 請求項１ないし請求項３のいずれかに記載の類似単語検索装置において、
前記距離情報は、前記検索要求単語と前記検索対象単語の各文字列の異なり度合いを、１文字毎の置換、削除および挿入の編集操作を繰り返すことによって両文字列を同一にするために必要な最小の操作回数であることを特徴とする類似単語検索装置。 - 検索対象となる検索対象単語集合から検索を要求する検索要求単語に類似した類似単語を編集距離に基づいて検索する類似単語検索方法であって、
前記検索対象単語集合を取得する検索対象単語集合取得工程と、
前記取得した検索対象単語集合から各検索対象単語の特徴となる複数の部分文字列を抽出し、前記検索対象単語集合内において前記部分文字列が出現する検索対象単語数を重みとし、前記検索対象単語集合に含まれる検索対象単語と前記重みとを前記部分文字列で索引付けして索引情報を作成する索引情報作成工程と、
前記検索要求単語を取得する検索要求単語取得工程と、
前記取得した検索要求単語から前記検索要求単語の特徴となる複数の部分文字列を抽出し、この部分文字列の前記検索要求単語内での出現数を重みとした部分文字列を含む検索要求単語情報を作成する検索要求単語情報作成工程と、
前記作成した索引情報に含まれる前記部分文字列の重みと、前記作成した検索要求単語情報に含まれる前記部分文字列の重みに基づいて、前記検索要求単語に対する前記検索対象単語の類似度に関する類似度情報を算出する類似度情報算出工程と、
前記算出した類似度情報に基づいて、類似単語候補として前記検索要求単語に類似する複数の類似単語を検索する類似単語検索工程と、
前記類似単語検索工程にて検索した類似単語候補、および前記検索要求単語の間の編集距離に関する距離情報を算出する距離情報算出工程と、
前記算出した距離情報に基づいて、前記類似単語検索工程にて検索した類似単語候補から前記検索要求単語に類似する類似単語を再検索する類似単語再検索工程と、を備えていることを特徴とする類似単語検索方法。 - 請求項５に記載の類似単語検索方法において、
前記類似度情報算出工程は、前記類似度情報を算出する際、前記検索対象単語集合に含まれる前記検索対象単語の総数に対して、前記検索要求単語情報に含まれる部分文字列と前記索引情報に含まれる部分文字列とが同一となる前記検索対象単語の数が多いほど重み付けを低くし、かつ、前記所定の文字列の前記検索対象単語内での出現数が多いほど重み付けを高くし、かつ、前記所定の文字列の前記検索要求単語内での出現数が多いほど重み付けを高くする重み度を算出し、この重み度に基づいて前記類似度情報を算出することを特徴とする類似単語検索方法。 - 請求項５または請求項６に記載の類似単語検索方法を演算手段に実行させることを特徴とする類似単語検索プログラム。
- 検索を要求する検索要求単語を取得し、記憶装置に記憶された検索対象情報から前記検索要求単語に対応する検索対象情報を検索する情報検索システムであって、
前記記憶装置に記憶された検索対象情報を読み込み、読み込んだ検索対象情報を複数の検索対象単語に分割して検索対象単語集合を生成する情報分割装置と、
前記生成された検索対象単語集合から前記検索要求単語に類似した類似単語を検索する、請求項１ないし請求項４のいずれかに記載の類似単語検索装置と、
前記検索された類似単語に基づいて、前記類似単語に対応する検索対象情報を検索する情報検索装置と、を備えていることを特徴とする情報検索システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174812A JP4486324B2 (ja) | 2003-06-19 | 2003-06-19 | 類似単語検索装置、この方法、このプログラム、および情報検索システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174812A JP4486324B2 (ja) | 2003-06-19 | 2003-06-19 | 類似単語検索装置、この方法、このプログラム、および情報検索システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005011078A JP2005011078A (ja) | 2005-01-13 |
| JP2005011078A5 JP2005011078A5 (ja) | 2007-06-07 |
| JP4486324B2 true JP4486324B2 (ja) | 2010-06-23 |
Family
ID=34098182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003174812A Expired - Lifetime JP4486324B2 (ja) | 2003-06-19 | 2003-06-19 | 類似単語検索装置、この方法、このプログラム、および情報検索システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4486324B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007132564A1 (ja) * | 2006-05-13 | 2007-11-22 | Justsystems Corporation | データ処理装置及び方法 |
| JP5544602B2 (ja) * | 2010-11-15 | 2014-07-09 | 株式会社日立製作所 | 単語意味関係抽出装置及び単語意味関係抽出方法 |
| WO2014136173A1 (ja) * | 2013-03-04 | 2014-09-12 | 三菱電機株式会社 | 検索装置 |
| JP5846340B2 (ja) * | 2013-09-20 | 2016-01-20 | 三菱電機株式会社 | 文字列検索装置 |
| JP6143638B2 (ja) * | 2013-10-17 | 2017-06-07 | 株式会社日立ソリューションズ東日本 | データ処理装置およびデータ処理方法 |
| CN106156103B (zh) * | 2015-04-02 | 2019-11-26 | 广州爱九游信息技术有限公司 | 一种搜索处理方法及装置 |
| KR102301467B1 (ko) * | 2019-11-22 | 2021-09-10 | 숙명여자대학교산학협력단 | 데이터의 의미론적 유사 여부를 분석하기 위하여 기계학습을 이용한 전자 장치 및 그 제어 방법 |
| US11960541B2 (en) | 2019-12-19 | 2024-04-16 | Nippon Telegraph And Telephone Corporation | Name data matching apparatus, and name data matching method and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11505052A (ja) * | 1995-06-07 | 1999-05-11 | ユナイテッド パーセル サービス オブ アメリカ，インコーポレイテッド | 語彙辞書の検索範囲を削減するシステム及び方法 |
| JP2001052029A (ja) * | 1999-08-17 | 2001-02-23 | Ricoh Co Ltd | 文書検索システム |
| JP2002259385A (ja) * | 2001-02-28 | 2002-09-13 | Ricoh Co Ltd | 文書検索装置、文書検索方法、文書検索プログラム、記録媒体 |
| JP2002297660A (ja) * | 2001-01-24 | 2002-10-11 | Sumitomo Electric Ind Ltd | 文字列類似度算出方法、装置、プログラム及び記録媒体 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3260428B2 (ja) * | 1992-07-30 | 2002-02-25 | 松下電器産業株式会社 | 情報検索処理装置 |
| JPH0962685A (ja) * | 1995-08-30 | 1997-03-07 | Oki Electric Ind Co Ltd | 単語間表記類似度の計算方法 |
-
2003
- 2003-06-19 JP JP2003174812A patent/JP4486324B2/ja not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11505052A (ja) * | 1995-06-07 | 1999-05-11 | ユナイテッド パーセル サービス オブ アメリカ，インコーポレイテッド | 語彙辞書の検索範囲を削減するシステム及び方法 |
| JP2001052029A (ja) * | 1999-08-17 | 2001-02-23 | Ricoh Co Ltd | 文書検索システム |
| JP2002297660A (ja) * | 2001-01-24 | 2002-10-11 | Sumitomo Electric Ind Ltd | 文字列類似度算出方法、装置、プログラム及び記録媒体 |
| JP2002259385A (ja) * | 2001-02-28 | 2002-09-13 | Ricoh Co Ltd | 文書検索装置、文書検索方法、文書検索プログラム、記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005011078A (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7752032B2 (en) | Apparatus and method for translating Japanese into Chinese using a thesaurus and similarity measurements, and computer program therefor | |
| US8812300B2 (en) | Identifying related names | |
| US9110980B2 (en) | Searching and matching of data | |
| US20060031207A1 (en) | Content search in complex language, such as Japanese | |
| JP2001043236A (ja) | 類似語抽出方法、文書検索方法及びこれらに用いる装置 | |
| JP2009266244A (ja) | 簡潔言語学データを生成かつ使用するシステムおよび方法 | |
| US20100153396A1 (en) | Name indexing for name matching systems | |
| JP2007257644A (ja) | 訳語候補文字列予測に基づく訳語取得のためのプログラム、方法および装置 | |
| CN115794995A (zh) | 目标答案获取方法及相关装置、电子设备和存储介质 | |
| WO2020037794A1 (zh) | 一种英文地名的索引建立方法及其查询方法和装置 | |
| JP4486324B2 (ja) | 類似単語検索装置、この方法、このプログラム、および情報検索システム | |
| US11842152B2 (en) | Sentence structure vectorization device, sentence structure vectorization method, and storage medium storing sentence structure vectorization program | |
| JP2005038395A (ja) | データベース検索装置 | |
| JPH0454261B2 (ja) | ||
| KR101694179B1 (ko) | 모음 제거 기반 인덱스 생성 방법 및 장치 | |
| JP4953440B2 (ja) | 形態素解析装置、形態素解析方法、形態素解析プログラム及びコンピュータプログラムを格納した記録媒体 | |
| JP2001101184A (ja) | 構造化文書生成方法及び装置及び構造化文書生成プログラムを格納した記憶媒体 | |
| EP1605371A1 (en) | Content search in complex language, such as japanese | |
| JP2010009237A (ja) | 多言語間類似文書検索装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体 | |
| JP2008059169A (ja) | 中国語例文検索装置および中国語例文検索処理プログラム | |
| JP4307287B2 (ja) | メタデータ抽出装置 | |
| JPH0969109A (ja) | 文書検索方法及び文書検索装置 | |
| Saudagar et al. | Concatenation technique for extracted Arabic characters for efficient content-based indexing and searching | |
| JP2000339342A (ja) | 文書検索方法および文書検索装置 | |
| JP4145776B2 (ja) | 質問応答装置および質問応答方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060613 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070411 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070411 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070411 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100323 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100326 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4486324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |