JP4289891B2 - 情報検索装置、情報検索方法およびプログラム - Google Patents

情報検索装置、情報検索方法およびプログラム Download PDF

Info

Publication number
JP4289891B2
JP4289891B2 JP2003010032A JP2003010032A JP4289891B2 JP 4289891 B2 JP4289891 B2 JP 4289891B2 JP 2003010032 A JP2003010032 A JP 2003010032A JP 2003010032 A JP2003010032 A JP 2003010032A JP 4289891 B2 JP4289891 B2 JP 4289891B2
Authority
JP
Japan
Prior art keywords
search
word
unnecessary
search request
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003010032A
Other languages
English (en)
Other versions
JP2004220513A5 (ja
JP2004220513A (ja
Inventor
雄二 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003010032A priority Critical patent/JP4289891B2/ja
Publication of JP2004220513A publication Critical patent/JP2004220513A/ja
Publication of JP2004220513A5 publication Critical patent/JP2004220513A5/ja
Application granted granted Critical
Publication of JP4289891B2 publication Critical patent/JP4289891B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数種類の情報を管理し、その管理されている情報から所望の情報を検索する情報検索装置、情報検索方法およびプログラムに関するものである。
【0002】
【従来の技術】
従来、情報、例えば、文書あるいは文字によるコンテンツの内容記述を付帯させた画像情報などを検索する情報検索装置として、所望の情報を表す語あるいは文を入力して、入力された語あるいは文と一致する語あるいは文を保持する、蓄積された情報を得る、全文検索と呼ばれる手法を適用した情報検索装置は知られている。
【0003】
また、単に入力した語あるいは文と一致する語あるいは文を保持する情報のみならず、入力した語あるいは文と相似な概念と判断される語あるいは文を保持する情報を得る情報検索装置も知られている。
【0004】
このような情報検索装置では、どの情報にも頻出するために、情報の識別に寄与しない普遍的な語を検索対象から除外することで、検索効率を向上させるようにしており、このため、検索不要語と呼ばれる、検索対象から除外すべき語を装置内に保持している。
【0005】
【発明が解決しようとしている課題】
しかし、上記従来の情報検索装置では、不要語は常に検索対象から除外されることになり、操作者の操作目的によっては検索されるべき語が不要語として定義されていたために検索されないという問題があった。
【0006】
このような問題に対して、検索時に不要語を使わないようにする、すなわち、すべての検索語を検索対象とするようにした情報検索装置もあるが、操作者の操作目的に適わない、意図しない頻出語が大量に検索されてしまうという問題があった。
【0007】
例えば、英語の代名詞“it”は、それ自体には固有の意味を持つことが少なく、蓄積情報の如何を問わず頻出するため、検索要求文中に出現する“it”は不要語として検索対象から除外するようにしたいとする。しかしながら、日本語文書には通常、英語の代名詞としての“it”が出現することはまれであり、むしろ“it”を不要語とすることで、「IT革命」の「IT」が検索されないという問題を生じてしまう。
【0008】
また、検索要求文の内容に類似する概念をもつ文書を検索する概念検索においては、多義性があって、どの語義であるかが判定できない場合や、普遍的に出現するがゆえに文書概念の識別に寄与しない語を不要語とするが、検索語の出現する文書を真(出現する)か偽(出現しない)の2値で判定する論理検索では、概念検索で不要語と定義された語であっても検索対象とすべき場合があるというように、検索方式によって不要語とすべき語が異なるという問題があった。
【0009】
本発明は、これらの点に着目してなされたものであり、指定した検索要求に従って、適切な情報検索を行うことができる情報検索装置、情報検索方法およびプログラムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載の情報検索装置は、検索要求文から除外する不要語リストを検索方式と言語の組み合わせ毎に保持する保持手段と、前記検索要求文である文字列と少なくとも1つの検索方式とを入力する入力手段と、前記検索要求文の記述語を識別する識別手段と、前記保持手段を参照し前記入力された検索方式および前記識別された言語に応じ、前記入力された検索要求文の前記不要語リストに含まれる不要語を前記検索要求文である文字列から選択する選択手段と、前記検索要求文を単語に分割する分割手段と、前記分割された単語と、前記識別された言語種別が一致するか否かを判断する判断手段と、前記検索要求文から前記選択手段によって選択された不要語を除外して検索を実行する検索手段とを備え、前記検索手段は、前記判断手段によって言語種別が一致した場合は前記選択手段で選択された不要語は用いず、一致しない場合は前記選択手段で選択された不要語を用いて検索することを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【0012】
図1は、本発明の一実施の形態に係る情報検索装置の概略構成を示すブロック図である。
【0013】
同図において、マイクロプロセッサ(CPU)11は、情報検索のための演算や論理判断等を行ない、アドレスバスAB、コントロールバスCBおよびデータバスDBを介して、それらのバスAB,CB,DBに接続された各構成要素12〜19を制御する。
【0014】
アドレスバスABは、CPU11の制御の対象とする各構成要素12〜19を指示するアドレス信号を転送する。コントロールバスCBは、CPU11の制御の対象とする各構成要素12〜19のコントロール信号を転送して印加する。データバスDBは、各構成要素11〜19相互間のデータ転送を行なう。
【0015】
ROM12は、読出し専用の固定メモリ(リードオンリメモリ)であり、CPU11が実行する処理プログラム等の制御プログラムコードを記憶する。
【0016】
RAM13は、1ワード16ビットで構成される、書込み可能なランダムアクセスメモリであり、各構成要素からの各種データの一時記憶に用いられる。また、RAM13上には、図2において後述する、検索語保持部202、不要語選択指定保持部204、検索概念ベクトル保持部212および検索結果保持部214が形成される。
【0017】
DISK14は、外部メモリであり、図2において後述する、不要語207、概念辞書211、蓄積文書概念ベクトル保持部216、蓄積文書218および単語インデックス219を格納する。また、図2において後述する、検索要求入力処理部201、不要語選択指定処理部203、検索方式指定処理部205、適用不要語判別処理部206、検索対象分野検知処理部208、検索語選別処理部209、検索概念ベクトル作成処理部210、概念検索処理部213、論理検索処理部215および概念ベクトル作成処理部217の各処理部を実行するプログラムコードも格納する。
【0018】
なお、これらのデータおよびプログラムを格納する記憶媒体としては、ROM、フロッピー(登録商標)ディスク、CD−ROM、DVD−ROM、メモリカード、光磁気ディスクなどを用いることができる。
【0019】
KB15は、キーボードであり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、検索を指示する検索キーおよび、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。
【0020】
VRAM16は、表示用ビデオメモリであり、表示すべきデータのパターンを蓄える。
【0021】
CRTC17は、CRTコントローラであり、VRAM16に蓄えられた内容をCRT18に表示する役割を担う。
【0022】
CRT18は、陰極線管であり、CRT18におけるドット構成の表示パターンおよびカーソルの表示は、CRTC17で制御される。なお、CRTに代えて、液晶パネル等の表示装置を採用するようにしてもよい。
【0023】
NIC19は、ネットワークコントローラであり、Ethernet(登録商標)などのネットワークに接続する役割を担う。
【0024】
以上のように構成された情報検索装置は、KB15からの各種の入力およびNIC19から供給されるネットワーク経由の各種入力に応じて作動し、KB15またはNIC19からの入力があると、まず、インタラプト信号がCPU11に送信される。これに応じて、CPU11は、DISK14内に記憶してある各種の制御信号を読出し、それらの制御信号に従って、各種の制御を開始する。
【0025】
図2は、本実施の形態の情報検索装置の機能構成を示すブロック図である。
【0026】
同図において、検索要求入力処理部201は、所望の検索対象に関する要求事項(検索文あるいは検索語)を入力する。
【0027】
検索語保持部202は、検索要求入力処理部201によって入力された検索語を記憶する。
【0028】
不要語選択指定処理部203は、検索不要語をユーザが指定するためのものであり、不要語選択指定保持部204は、不要語選択指定処理部203によって指定された不要語のユーザによる選択結果を、例えば図11で後述する構成によって記憶する。
【0029】
検索方式指定処理部205は、文書検索方式を選択する。
【0030】
適用不要語判別処理部206は、複数の不要語から適用すべき不要語を判別選択する。
【0031】
不要語保持部207は、目的に応じて定義づけられた複数の不要語を記憶する。
【0032】
検索対象分野検知処理部208は、検索対象としている分野を検知判定する。
【0033】
検索語選別処理部209は、適用不要語判別処理部206において選択された不要語に基づいて、検索語保持部202に記憶された検索語より検索対象となる語を選別する。
【0034】
検索概念ベクトル作成処理部210は、検索語選別処理部209で選別された検索語に基づいて概念辞書211を参照することにより、検索概念ベクトルを作成する。
【0035】
概念辞書211は、見出しとなる単語の意味特徴を記述して格納したものである。
【0036】
検索概念ベクトル保持部212は、検索概念ベクトル作成処理部210により作成された検索概念ベクトルを記憶する。
【0037】
概念検索処理部213は、概念検索を行う。
【0038】
論理検索処理部215は、論理検索を行う。
【0039】
検索結果保持部214は、概念検索処理部213および論理検索処理部215による処理結果を記憶する。
【0040】
概念ベクトル作成処理部217は、登録文書220に対して概念ベクトルを作成する。
【0041】
蓄積文書概念ベクトル保持部216は、概念ベクトル作成処理部217で作成された概念ベクトルを登録文書220と対応付けて記憶する。
【0042】
単語インデックス219は、概念ベクトル作成処理部217で作成される、登録文書220に出現する単語の索引を記憶する。
【0043】
蓄積文書218は、登録文書220を記憶する。
【0044】
図3は、検索要求入力処理部201において、検索要求文あるいは検索要求語を指示する場合の操作パネルの表示例を示す図である。
【0045】
同図において、表示ウィンドウ301は、検索要求入力操作を行うためのものである。
【0046】
領域302は、検索要求となる文あるいは語を入力する検索文入力領域である。
【0047】
文303は、入力中の検索要求文を示しており、図示例では、「モバイル機器の市場動向」と入力されている。
【0048】
カーソル304は、検索文入力領域302における入力位置を示すものである。
【0049】
ボタン305および306は、検索方式を指定するラジオボタンであり、いずれか一方を選択する。図示例では、「概念検索」が選択されている状態となっている。
【0050】
領域307は、検索したい文書の対象分野を指定する分野指定入力領域であり、プルダウン表示される分野の一覧から1つを選択する。特に分野を指定しない場合は、デフォルトとして「指定なし」が選択されるものとする。
【0051】
ボタン308は、検索処理の実行を指定する検索実行ボタンであり、検索実行ボタン308を押下することで、検索文入力領域302に入力した検索要求文について、ラジオボタン305あるいは306で指定した検索方式に基づく検索処理が実行される。
【0052】
ボタン309は、検索処理の終了あるいは中止を指定するキャンセルボタンであり、キャンセルボタン309を押下すると、ただちに検索処理を終了し、表示ウインドウ301を閉じて終了する。
【0053】
領域310は、検索ボタン308の押下によって検索処理を行った結果を表示する検索結果表示領域であり、図示例では、検索処理がなされていない状態であるので、何も表示されていない。
【0054】
図4は、検索要求入力処理部201において、概念検索あるいは論理検索を行うための検索要求文あるいは検索要求語が操作者により指示され、検索処理が実行された場合の検索結果の表示例を示す図である。
【0055】
同図において、領域401は、図3の領域310と同様、検索結果の表示領域である。
【0056】
領域402は、検索結果の順位を示すランク表示領域である。検索結果は、検索要求に類似している順にランク付けされ、ランク順に表示される。図示例では、ランク25位から30位までの検索結果が表示されている。
【0057】
領域403は、検索された文書の表題を表示する領域であり、領域404は、文書のファイル名を表示する領域である。
【0058】
領域405は、検索された文書の大意が掴める程度の内容を表示する領域である。文書内容表示領域405には、あらかじめ文書の書誌的属性として与えられた要約文、あるいは文書から自動的に要約した要約文、あるいは文書の一部を大意として抽出した大意文などを表示することができる。
【0059】
バー406は、検索結果表示領域401に表示しきれない場合に、表示領域401内において検索結果を部分表示しながら、表示されていない他の部分を表示するとともに、表示位置を指定するために、同種のウィンドウ表示装置において用いられているエレベータバーである。
【0060】
図4に示されている表示状態は、検索文303として入力された「モバイル機器の市場動向」に対して、概念検索を行った検索結果を表示している。
【0061】
図5は、概念辞書211の構成を示す図である。概念辞書211は、単語の概念を、普遍的な意味素の重みを要素とする多次元ベクトルで表したものである。
【0062】
同図において、領域501は、概念辞書211の見出しとなる単語を格納する。
【0063】
領域502は、見出し語501に対する256次元で表される意味素ベクトルの各要素を表す添え字を格納する。
【0064】
領域503は、意味素ベクトルの各要素の重みを格納し、重みは0から1の間の実数をとり、意味素ベクトルの大きさが1となるよう正規化して格納する。
【0065】
概念辞書211を構成する多次元ベクトルの要素となる普遍的な意味素は、1つのまとまった意味概念を表すラベルで、例えば、「これ、それ、あれ、どっち」などの語が内包している「指示の概念」、「クラス、グレード、級、ランク、順位、劣等、優劣、優等」などの語が内包している「等級の概念」、「変化、変身、革新、勃興」などの語が内包している「変化の概念」、「協力、挨拶、団結、握手、友好、国交、交友」などの語が内包している「交わりの概念」、「動物、哺乳類、ペンギン、犬、人間、金魚」などの語が内包している「生物の概念」といった特定の語に依らない各々独立した普遍的な意味素を用いる。図5においては、256種の意味素を用い、256次元の概念表現ベクトルを構成する。
【0066】
図6は、単語インデックス219の構成を示す図である。単語インデックス219は、登録文書中に出現するすべての単語について、文書中の出現頻度を格納するテーブルである。
【0067】
同図において、テーブルの第1列情報601は、登録文書を一意に同定する文書IDである。テーブルの第2列情報から第n列情報602は、図7で示される各々の単語を表す添え字である。テーブルの末尾行603は、各々の単語の出現数の総和を格納する。図6において、文書IDが“00146”である文書は、添え字“1256”の示す単語「市場」が12回文書中に出現していることを示している。
【0068】
図7は、単語インデックス219において、単語と、単語インデックステーブルの添え字との対応関係を格納した対応テーブルの構成を示す図である。
【0069】
同図において、対応テーブルは、単語701と対応付けられた一意の単語インデックス702とを対応をとって格納する。例えば、単語「市場」の単語インデックスは“1256”であることが示される。
【0070】
次に、不要語207の構成について、図8〜図10を用いて説明する。なお、不要語207は、複数の不要語を記憶する。
【0071】
図8は、日本語を検索対象とした論理検索実行時に参照されるべき不要語を例示したものである。同図において、行頭にシャープ記号(#)がある行はコメント行であり、不要語定義データは2行目以降のデータであり、文字コード順に配列されている。
【0072】
図9は、英語を検索対象とした論理検索実行時に参照されるべき不要語を例示したものである。
【0073】
同図において、図8と同様に、行頭のシャープ記号はコメント行を意味しており、英語の不要語が文字コード順に配列されている。
【0074】
図10は、英語を検索対象とした概念検索実行時に参照されるべき不要語を例示したものである。この不要語も、図8および図9の不要語とその構成は同一で、文字コード順に概念検索参照用の不要語を例示している。
【0075】
次に、不要語選択指定保持部204の構成について、図11を用いて説明する。
【0076】
不要語選択指定保持部204は、不要語207に記憶される複数の不要語から検索実行時に使用すべき不要語を操作者が直接指定するよう構成され、図11において、先頭にシャープ記号を持つ行はコメント行であり、データは読み飛ばされる。[Stop Word Selection]セクションに定義されるONとなっている不要語ラベルの[Stop Word List]セクションで対応付けられたファイルパスを持つ不要語ファイルが使用される。図11の例では、[Stop Word Selection]セクションにおいてONが指定されているSTOP1およびSTOP2のラベルを持つ不要語が指定されており、[Stop Word List]セクションにおいて、それぞれC:\JBOOL.dat,C:\EBOOL.datのファイルパスで指定される不要語が検索処理において使用される。
【0077】
次に、本実施形態で実行される文書検索処理について、図12を用いて説明する。
【0078】
図12は、本実施の形態の情報検索装置が実行する文書検索処理の手順を示すフローチャートである。
【0079】
同図において、ステップS1では、前記検索要求入力処理部201の動作を行う処理モジュールによって、検索要求入力処理を行う。検索要求入力処理は、前記検索要求文入力領域302に入力された検索要求文303を前記検索語保持部202に記憶し、前記検索対象分野指定307にて選択された検索対象分野を前記検索対象分野検知処理部208内の不図示のバッファメモリに記憶する。また、前記ラジオボタン305または306で指定された検索方式を前記検索方式指定処理部205内の不図示のバッファメモリに記憶する。
【0080】
ステップS2では、検索方式、不要語選択指定、検索対象分野および検索対象言語などの条件に基づいて、検索実行時において選択すべき不要語を決定する。なお、この不要語選択処理の詳細については、図13を用いて後述する。
【0081】
ステップS3では、検索方式を判別する。ステップS1の検索要求入力処理において、検索方式指定処理部205内のバッファメモリに記憶された検索方式を参照し、概念検索が指定されていたならばステップS4へ、論理検索が指定されていたならばステップS5へ、それぞれ分岐する。
【0082】
ステップS4では、検索要求入力処理ステップS1で入力された検索要求に従って、文書内容の表す概念が類似の文書を検索する概念検索処理を行う。なお、この概念検索処理の詳細については、図14を用いて後述する。
【0083】
ステップS5では、検索要求入力処理ステップS1で入力された検索要求に従って、検索要求文に出現する単語が出現する文書を前記単語インデックス219を参照して検索する論理検索処理を行う。なお、この論理検索処理の詳細については、図15を用いて後述する。
【0084】
ステップS6では、ステップS4またはステップS5において検索された検索結果を、前記検索結果保持部214より取り出して表示する。なお、この処理は同種の情報検索装置において広く行われている公知の処理である。
【0085】
図13は、ステップS2の不要語選択処理の詳細な手順を示すフローチャートである。
【0086】
同図において、ステップS11では、検索要求言語の言語種別による不要語選択を行う。検索語保持部202に記憶された検索要求文の記述言語を識別し、その言語に対応した不要語を選択する。例えば、検索要求文が英語で記述されていたならば英語用の不要語を選択し、日本語で記述されていたならば日本語用の不要語を選択する。検索要求文の記述言語識別は、図示しないが、あらかじめ言語を指定しておく方法、検索要求文から求めた単語の辞書照合率が最も高い辞書の言語種別を選択する方法、検索要求文を構成する文字コードの分布から言語を推定する方法などを選択することができる。
【0087】
次に、ステップS12では、検索方式による不要語選択を行う。前記図12のステップS1において検索方式指定処理部205内のバッファメモリに記憶された検索方式を参照し、概念検索が指定された場合は概念検索用の不要語を選択し、論理検索が指定された場合は論理検索用の不要語を選択する。
【0088】
次に、ステップS13では、検索対象分野による不要語選択を行う。前記ステップS1において検索対象分野検知処理部208内のバッファメモリに記憶された検索対象分野を参照し、指定された検索対象分野と合致する不要語を選択する。検索対象分野が指定されていない場合または合致する分野に対応する不要語が存在しない場合は、そのまま次のステップへ進む。
【0089】
次に、ステップS14では、不要語選択指定による不要語の選択を行う。前記不要語選択指定保持部204に記憶された不要語選択指定情報を参照し、使用すべき不要語が指定されている場合は、ステップS11からステップS13までの不要語選択の結果を問わず、不要語選択指定保持部204に示される不要語を選択する。
【0090】
図14は、前記図12のステップS4の概念検索処理の詳細な手順を示すフローチャートである。
【0091】
同図において、ステップS21では、検索語保持部202に格納されている検索文を取り出し、単語に分割する。検索文の単語への分割は形態素解析処理として公知の手法を適用する。
【0092】
次に、ステップS22では、前記図12のステップS2で選択された不要語を参照し、ステップS21で抽出された単語が不要語に含まれているか否かを検索する。不要語でなければ、ただちにステップS24へ分岐し、不要語であった場合はステップS23へ進む。
【0093】
ステップS23では、ステップS22で合致した不要語の言語種別とステップS21で抽出された検索語の言語種別が一致しているかどうかを判定する。この判定は、異種の言語が混在していた場合に適切な不要語の適用を行うためのものであり、例えば、検索要求文「It is IT革命」から抽出された先頭の単語「It」は英語の単語であり、英語用の不要語として「It」が定義されている場合は不要語として、この検索語を排除すべきであるが、同じ文字列を持つ「IT革命」の「IT」は日本語の単語の一部であり、言語情報が不一致であることから、検索語として採用してよいことになる。なお、大文字と小文字は正規化されて同一視されるものとする。
【0094】
ステップS24では、概念辞書211の見出し語501と一致するものがあるか検索する。検索語に一致する概念辞書122の見出し語501が存在する場合、対応する概念ベクトルデータを概念辞書211より取り出す。
【0095】
ステップS25では、取得した概念ベクトルデータの構成要素の成分値を加算して、検索概念ベクトルを作成する。なお、検索概念ベクトルはあらかじめ、ベクトルのすべての次元要素を“0”に初期化しておく。
【0096】
ステップS26では、検索語保持部202のすべての検索語を処理したかどうかを判定し、すべての検索語の処理を終えたならば、検索概念ベクトルデータを各要素の二乗和が“1”になるよう正規化を行った後、検索概念ベクトル保持部212に格納し、ステップS27へ分岐する。未処理の検索語があればステップS21へ戻る。
【0097】
ステップS27では、蓄積文書概念ベクトルを蓄積文書概念ベクトル保持部216より取得し、蓄積文書概念ベクトルと、検索概念ベクトル保持部212に格納された検索要求概念ベクトルとの概念類似度を算出する。概念類似度の算出は、両ベクトルデータの余弦測度によって求めることができる。算出した概念類似度は、蓄積文書の文書IDと対応付けて不図示のバッファメモリに一時記憶する。
【0098】
すべての蓄積文書について、ステップS27の処理を終えた後、ステップS28へ進み、ステップS27で一時記憶された概念類似度の降順に検索結果をソートして、検索結果保持部214に格納して、本概念検索処理を終了する。
【0099】
図15は、前記図12のステップS5の論理検索処理の詳細な手順を示すフローチャートである。
【0100】
同図において、ステップS31では、検索語保持部202に格納されている検索文を取り出し、単語に分割する。検索文の単語への分割は、形態素解析処理として公知の手法を適用する。
【0101】
次に、ステップS32では、前記図12のステップS2で選択された不要語を参照し、ステップS31で抽出された単語が不要語に含まれているか否かを検索する。不要語でなければ、ただちにステップS34へ分岐し、不要語であった場合はステップS33へ進む。
【0102】
ステップS33では、ステップS32で合致した不要語の言語種別とステップS31で抽出された検索語の言語種別が一致しているかどうかを判定する。この判定は、異種の言語が混在していた場合に適切な不要語の適用を行うためのものであり、例えば、検索要求文「It is IT革命」から抽出された先頭の単語「It」は英語の単語であり、英語用の不要語として「It」が定義されている場合は不要語として、この検索語を排除すべきであるが、同じ文字列を持つ「IT革命」の「IT」は日本語の単語の一部であり、言語情報が不一致であることから、検索語として採用してよいことになる。なお、大文字と小文字は正規化されて同一視されるものとする。
【0103】
ステップS34では、単語インデックス219との照合を行い、ステップS31で抽出された検索語を含む文書があるか否かを検索する。単語インデックス219との照合の結果、検索された文書の文書IDおよび単語出現頻度の情報を不図示のバッファに一時記憶する。
【0104】
ステップS35では、検索語保持部202のすべての検索語を処理したかどうか判定し、すべての検索語の処理を終えたならば、ステップS36へ分岐する。未処理の検索語があればステップS31へ戻る。
【0105】
すべての蓄積文書について処理を終えた後、ステップS36で、ステップS34で一時記憶された単語頻度の降順に検索結果をソートして、検索結果保持部214に格納して、本論理検索処理を終了する。
【0106】
次に、本実施形態で実行される文書登録処理について、図16を用いて説明する。
【0107】
図16は、本実施の形態の情報検索装置が実行する文書登録処理の手順を示すフローチャートである。
【0108】
同図において、ステップS41では、登録文書220より単語を抽出する。単語の抽出は、形態素解析処理として一般に用いられる手法を適用する。
【0109】
次に、ステップS42では、単語インデックス219への登録を行う。単語インデックステーブルの単語701に一致する単語であれば、該当する単語IDを取得し、単語IDをインデックスとする列情報に対象登録文書における出現頻度を格納する。該当する単語が単語インデックステーブルの単語701と一致しなければ、単語インデックステーブルに該単語を追加し、新規に一意な単語IDを割り振り、割り振られた単語IDを新規単語インデックスとして、列情報を加え、登録済みの蓄積文書に対しては頻度として“0”を格納し、対象登録文書に対しては出現頻度を格納する。
【0110】
次に、ステップS43では、該単語と一致する見出し語501があるか概念辞書211を検索し、一致する見出し語が存在すれば、対応する概念ベクトルデータを取り出す。
【0111】
ステップS44では、ステップS43にて取り出した概念ベクトルデータに頻度に応じた重みを乗じて、文書概念ベクトルデータに加算する。
【0112】
ステップS45では、登録文書のすべての単語について処理を終えたかどうか判定し、未処理の単語があればステップS42へ戻り、すべての単語について処理を終えていればステップS46へ分岐する。
【0113】
ステップS46では、文書概念ベクトルデータをベクトル要素の二乗和が“1”となるように正規化して、蓄積文書概念ベクトル保持部216へ登録して、本文書登録処理を終了する。
【0114】
なお、本実施の形態では、検索対象として文書情報を用いて説明したが、文書情報以外の内容記述メタデータが付随した画像情報、動画情報および番組内容記述情報などのマルチメディア情報についても、内容記述された文章情報に対して情報特徴量抽出を行い、情報特徴量の類似測度を求めることによって、本発明を適用することができる。
【0115】
また、本実施の形態では、概念検索のための概念ベクトルとして、概念辞書211に単語の属性概念ベクトルを記憶し、その合成ベクトルにより構成することとしたが、通常広く行われている単語の頻度情報あるいは単語頻度と逆文書頻度などから演算される重みを要素とする単語ベクトルによって概念検索のための概念ベクトルを構成することも可能である。
【0116】
さらに、本実施の形態では、検索要求文に出現する語が不要語であるか否かを決定し、不要語であった場合は検索語から除外するように構成したが、図16において詳述した単語インデックスおよび文書概念ベクトル作成の処理において、ステップS41で抽出された単語が選択された不要語であるか否かを図14におけるステップS22およびステップS23と同様の処理を行い、不要語でないと判定された場合のみステップS42へ進み、不要語である場合は、単語インデックスおよび文書概念ベクトル作成のステップを経ることなく、ステップS41へ戻るように構成することで、単語インデックス219および蓄積文書概念ベクトル保持部216のサイズを小さくすることができるという利点を持たせることもできる。
【0117】
また、本実施の形態では、検索対象となる蓄積文書220、蓄積文書概念ベクトル保持部216、単語インデックス219および概念辞書211は、単一の装置を構成するDISK14に配置するものとして説明したが、これらの構成要件を異なる装置に分散配置し、NIC19を介してネットワーク上で処理を行うようにすることも可能である。
【0118】
なお、本発明は複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、ひとつの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0119】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0120】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0121】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【0122】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0123】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0134】
【発明の効果】
以上説明したように、本発明によれば、複数種類の不要語を保持し、指定した検索要求に従って不要語を選択するようにしたので、操作性に優れ、検索精度の高い情報検索を行うことができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係る情報検索装置の概略構成を示すブロック図である。
【図2】図1の情報検索装置の機能構成を示すブロック図である。
【図3】図2の検索要求入力処理部において、検索要求文と検索手法を入力する場合の操作パネルの表示例を示す図である。
【図4】図2の検索要求入力処理部において、検索要求文および検索手法に対応する検索結果の表示例を示す図である。
【図5】図2の概念辞書の構成を示す図である。
【図6】図2の単語インデックスの構成を示す図である。
【図7】図6の単語インデックスにおける単語IDと単語の対応関係を示す図である。
【図8】日本語論理検索における検索不要語を示す図である。
【図9】英語論理検索における検索不要語を示す図である。
【図10】英語概念検索における検索不要語を示す図である。
【図11】検索不要語選択指定の定義を示す図である。
【図12】図1の情報検索装置が実行する文書検索処理の手順を示すフローチャートである。
【図13】図12の不要語選択処理の詳細な手順を示すフローチャートである。
【図14】図12の概念検索処理の詳細な手順を示すフローチャートである。
【図15】図12の論理検索処理の詳細な手順を示すフローチャートである。
【図16】図1の情報検索装置が実行する文書検索のためのインデックス情報作成処理の手順を示すフローチャートである。
【符号の説明】
11 CPU
12 ROM
13 RAM
14 DISK
15 KB
16 VRAM
17 CRTC
18 CRT
19 NIC
201 検索要求入力処理部
202 検索語保持部
203 不要語選択指定処理部
204 不要語選択指定保持部
205 検索方式指定処理部
206 適用不要語判別処理部
207 不要語
208 検索対象分野検知処理部
209 検索語選別処理部
210 検索概念ベクトル作成処理部
211 概念辞書
212 検索概念ベクトル保持部
213 概念検索処理部
214 検索結果保持部
215 論理検索処理部
216 蓄積文書概念ベクトル保持部
217 概念ベクトル作成処理部
218 蓄積文書
219 単語インデックス
220 登録文書

Claims (7)

  1. 検索要求文から除外する不要語リストを検索方式と言語の組み合わせ毎に保持する保持手段と、
    前記検索要求文である文字列と少なくとも1つの検索方式とを入力する入力手段と、
    前記検索要求文の記述語を識別する識別手段と、
    前記保持手段を参照し前記入力された検索方式および前記識別された言語に応じ、前記入力された検索要求文の前記不要語リストに含まれる不要語を前記検索要求文である文字列から選択する選択手段と
    前記検索要求文を単語に分割する分割手段と、
    前記分割された単語と、前記識別された言語種別が一致するか否かを判断する判断手段と、
    前記検索要求文から前記選択手段によって選択された不要語を除外して検索を実行する検索手段と
    を備え
    前記検索手段は、前記判断手段によって言語種別が一致した場合は前記選択手段で選択された不要語は用いず、一致しない場合は前記選択手段で選択された不要語を用いて検索することを特徴とする情報検索装置。
  2. 前記検索方式は、前記入力手段によって入力された文字列が含まれる情報を検索する論理検索方式を含むことを特徴とする請求項1記載の情報検索装置。
  3. 前記検索方式は、前記入力手段によって入力された文字列の概念特徴を表す類似性評価尺度に基づいて、類似の前記概念特徴に対応する文字列が含まれる情報を検索する概念検索方式を含むことを特徴とする請求項1記載の情報検索装置。
  4. 前記不要語は普遍的に出現する語であることを特徴とする請求項3記載の情報検索装置。
  5. 前記選択手段によって選択された不要語から使用すべき不要語を選択する不要語選択指示手段を更に備えることを特徴とする請求項1記載の情報検索装置。
  6. 検索要求文から除外する不要語リストを検索方式と言語の組み合わせ毎に保持手段に保持する保持工程と、
    前記検索要求文である文字列と少なくとも1つの検索方式とを入力する入力工程と、
    前記検索要求文の記述語を識別する識別工程と、
    前記保持手段を参照し前記入力された検索方式および前記識別された言語に応じ、前記入力された検索要求文の前記不要語リストに含まれる不要語を前記検索要求文である文字列から選択する選択工程と
    前記検索要求文を単語に分割する分割工程と、
    前記分割された単語と、前記識別された言語種別が一致するか否かを判断する判断工程と、
    前記検索要求文から前記選択工程によって選択された不要語を除外して検索を実行する検索工程と
    を備え
    前記検索工程では、前記判断工程によって言語種別が一致した場合は前記選択工程で選択された不要語は用いず、一致しない場合は前記選択工程で選択された不要語を用いて検索することを特徴とする情報検索方法。
  7. 検索要求文から除外する不要語リストを検索方式と言語の組み合わせ毎に保持手段に保持する保持ステップと、
    前記検索要求文である文字列と少なくとも1つの検索方式とを入力する入力ステップと、
    前記検索要求文の記述語を識別する識別ステップと、
    前記保持手段を参照し前記入力された検索方式および前記識別された言語に応じ、前記入力された検索要求文の前記不要語リストに含まれる不要語を前記検索要求文である文字列から選択する選択ステップと
    前記検索要求文を単語に分割する分割ステップと、
    前記分割された単語と、前記識別された言語種別が一致するか否かを判断する判断ステップと、
    前記検索要求文から前記選択ステップによって選択された不要語を除外して検索を実行する検索ステップと
    をコンピュータに実行させるためのプログラムであって、
    前記検索ステップでは、前記判断ステップによって言語種別が一致した場合は前記選択ステップで選択された不要語は用いず、一致しない場合は前記選択ステップで選択された不要語を用いて検索することを特徴とするプログラム。
JP2003010032A 2003-01-17 2003-01-17 情報検索装置、情報検索方法およびプログラム Expired - Fee Related JP4289891B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003010032A JP4289891B2 (ja) 2003-01-17 2003-01-17 情報検索装置、情報検索方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003010032A JP4289891B2 (ja) 2003-01-17 2003-01-17 情報検索装置、情報検索方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2004220513A JP2004220513A (ja) 2004-08-05
JP2004220513A5 JP2004220513A5 (ja) 2006-01-19
JP4289891B2 true JP4289891B2 (ja) 2009-07-01

Family

ID=32899351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003010032A Expired - Fee Related JP4289891B2 (ja) 2003-01-17 2003-01-17 情報検索装置、情報検索方法およびプログラム

Country Status (1)

Country Link
JP (1) JP4289891B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256862B2 (en) * 2018-10-23 2022-02-22 International Business Machines Corporation Cognitive collation configuration for enhancing multilingual data governance and management

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006331245A (ja) * 2005-05-30 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法およびプログラム
JP5415550B2 (ja) 2009-10-05 2014-02-12 株式会社東芝 類似コンテンツ検索装置及びプログラム
US20220284189A1 (en) * 2019-08-07 2022-09-08 Nippon Telegraph And Telephone Corporation Similarity score evaluation apparatus, similarity score evaluation method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256862B2 (en) * 2018-10-23 2022-02-22 International Business Machines Corporation Cognitive collation configuration for enhancing multilingual data governance and management

Also Published As

Publication number Publication date
JP2004220513A (ja) 2004-08-05

Similar Documents

Publication Publication Date Title
JPH0877155A (ja) 情報処理装置及び情報処理方法
JP2004334334A (ja) 文書検索装置、文書検索方法及び記憶媒体
KR20140012883A (ko) 입력 지원 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 입력 지원 방법 및 입력 지원 장치
JP2011513810A (ja) 用語識別方法および装置
JP2022069790A (ja) 情報処理装置、情報処理方法、プログラム
JP2937520B2 (ja) 文書検索装置
JPH11224258A (ja) 画像検索装置及びその方法、コンピュータ可読メモリ
JPH1153394A (ja) 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法
JP4289891B2 (ja) 情報検索装置、情報検索方法およびプログラム
JPH1145289A (ja) 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法
JPH10289240A (ja) 画像処理装置及びその制御方法
JP2009059140A (ja) 電子辞書、電子辞書の検索方法及び電子辞書の検索プログラム
US7240278B2 (en) Information display control apparatus and recording medium having recorded information display control program
JP2002251412A (ja) 文書検索装置および方法ならびに記憶媒体
JP2006227914A (ja) 情報検索装置、情報検索方法、プログラム、記憶媒体
JPH08287088A (ja) 情報検索方法及びその装置
JP2002312401A (ja) 電子ファイリング装置及びその制御方法、記憶媒体並びにプログラム
JPS6378228A (ja) 情報検索装置
JP2002175329A (ja) 情報検索装置及び情報検索方法及びコンピュータ読み取り可能な記憶媒体
JP2939841B2 (ja) データベース検索装置
JP2002230020A (ja) 情報検索装置、情報検索方法、及び記憶媒体
JP3498635B2 (ja) 情報検索方法及びその装置並びにコンピュータ可読記録媒体
JP2002123550A (ja) 情報検索装置、方法、及び記憶媒体
JP2002108914A (ja) 情報検索装置及び情報検索方法及びコンピュータ読み取り可能な記憶媒体
JP2003091556A (ja) 情報検索方法、情報検索装置、記憶媒体及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051115

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060420

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees