JP3019286B2 - 文書検索装置 - Google Patents
文書検索装置Info
- Publication number
- JP3019286B2 JP3019286B2 JP5263472A JP26347293A JP3019286B2 JP 3019286 B2 JP3019286 B2 JP 3019286B2 JP 5263472 A JP5263472 A JP 5263472A JP 26347293 A JP26347293 A JP 26347293A JP 3019286 B2 JP3019286 B2 JP 3019286B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- input
- input sentence
- feature vector
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】この発明は電子辞書、データベー
ス等の検索機能に利用されるものである。
ス等の検索機能に利用されるものである。
【０００２】
【従来の技術】一般的に特徴ベクトルによる文書検索手
段は、単語辞書内の各単語、及び文章の各レコードを数
百の特徴単語でベクトルとして特徴付けしておき、下の
様なステップで文章検索を行なうものである。
段は、単語辞書内の各単語、及び文章の各レコードを数
百の特徴単語でベクトルとして特徴付けしておき、下の
様なステップで文章検索を行なうものである。
【０００３】ステップＳ２１では、入力された入力文か
ら単語辞書を用いて、単語抽出を行い、ステップＳ２２
に進む。
ら単語辞書を用いて、単語抽出を行い、ステップＳ２２
に進む。
【０００４】ステップＳ２２では、抽出された各単語の
特徴ベクトルの和を入力文の特徴ベクトルとして生成
し、ステップＳ２３に進む。
特徴ベクトルの和を入力文の特徴ベクトルとして生成
し、ステップＳ２３に進む。
【０００５】ステップＳ２３では、入力文の特徴ベクト
ルと文章の各レコードの特徴ベクトルとの距離を求め、
ステップＳ２４に進む。
ルと文章の各レコードの特徴ベクトルとの距離を求め、
ステップＳ２４に進む。
【０００６】ステップＳ２４では、その距離が近いレコ
ードの文章が入力文と関連が深い文章であると判断す
る。
ードの文章が入力文と関連が深い文章であると判断す
る。
【０００７】ここで、実際にはベクトル間の距離の計算
を簡単にするため、文章の各レコードの特徴ベクトルは
ある一定の長さで正規化されており、ベクトル間の距離
を計算する代りに、ベクトル同士の内積を計算するのが
一般的である。
を簡単にするため、文章の各レコードの特徴ベクトルは
ある一定の長さで正規化されており、ベクトル間の距離
を計算する代りに、ベクトル同士の内積を計算するのが
一般的である。
【０００８】一例として、数百の特徴単語で特徴空間を
構成し、全単語、文書、質問文のベクトルから距離が近
い順に文書をランク付けて検索する方法が、「大規模文
書データベースからの連想検索」として、（社）電子情
報通信学会発行の信学技報ＡＩ９２−９９（１９９３-
０１）に発表されている。
構成し、全単語、文書、質問文のベクトルから距離が近
い順に文書をランク付けて検索する方法が、「大規模文
書データベースからの連想検索」として、（社）電子情
報通信学会発行の信学技報ＡＩ９２−９９（１９９３-
０１）に発表されている。
【０００９】なお、特徴ベクトル間の距離とは、特徴ベ
クトルをユークリッド空間内の点として捉えた時の２点
間の距離のことで、以下の式で与えられる。
クトルをユークリッド空間内の点として捉えた時の２点
間の距離のことで、以下の式で与えられる。
【００１０】特徴ベクトルX=(x1,x2,...xn)と Y=(y1,y
2,....yn)の距離ｄは、 ｄ＝√（Σi=1 n（ｘi−ｙi）2） また、ベクトルX=(x1,x2,...x n )の長さｌは、 ｌ＝√（Σi=1 nｘi） で与えられる。
2,....yn)の距離ｄは、 ｄ＝√（Σi=1 n（ｘi−ｙi）2） また、ベクトルX=(x1,x2,...x n )の長さｌは、 ｌ＝√（Σi=1 nｘi） で与えられる。
【００１１】また、ベクトルX=(x1,x2,...x n )を長さｌ
で正規化するとは、Xの方向を変えずに長さをｌにする
ことで以下の式で与えられる。
で正規化するとは、Xの方向を変えずに長さをｌにする
ことで以下の式で与えられる。
【００１２】X=(x1,x2,...x n )を長さｌに正規化して得
られたベクトルをY=(y1,y2,....yn)とすると ｙi＝ｙi＊ｌ／√（Σi=1 nｘi 2） 従って、一定の長さに正規化するとは、全てのベクトル
を同じ長さにすることである。
られたベクトルをY=(y1,y2,....yn)とすると ｙi＝ｙi＊ｌ／√（Σi=1 nｘi 2） 従って、一定の長さに正規化するとは、全てのベクトル
を同じ長さにすることである。
【００１３】ベクトルX=(x1,x2,...x n )とY=(y1,y2,....
yn)の内積ｐは、 ｐ＝Σi=1 nｘi＊ｙi で表される。
yn)の内積ｐは、 ｐ＝Σi=1 nｘi＊ｙi で表される。
【００１４】
【発明が解決しようとする課題】従来の技術では、入力
文の特徴ベクトルと文章の各レコードの特徴ベクトルと
の距離を求めるために、数百次元のベクトル同士の内積
の計算を文書のレコードの数だけ実行しなければなら
ず、それが文書検索の際の負担となり、処理速度の向上
を妨げていた。
文の特徴ベクトルと文章の各レコードの特徴ベクトルと
の距離を求めるために、数百次元のベクトル同士の内積
の計算を文書のレコードの数だけ実行しなければなら
ず、それが文書検索の際の負担となり、処理速度の向上
を妨げていた。
【００１５】本発明は、上述の内積の計算の負担を大幅
に軽減し、文書検索の処理速度の向上を可能とするもの
である。
に軽減し、文書検索の処理速度の向上を可能とするもの
である。
【００１６】
【課題を解決するための手段】上記した目的は、入力文
を入力する入力手段と、前記入力手段により入力された
入力文について前記単語辞書を検索し前記入力文の特徴
ベクトルを生成するベクトル生成手段と、前記ベクトル
生成手段により生成された入力文の特徴ベクトルの各要
素を、該特徴ベクトルの最大値で割った値が所定値以上
のときには１、所定値未満のときには０に変換してか
ら、特徴ベクトルを概観するための概略ベクトル情報を
生成する概略ベクトル情報生成手段と、前記ベクトル生
成手段により生成された前記入力文の特徴ベクトルと前
記文書ファイル各々のレコードの特徴ベクトル間の距離
に基づくとともに前記入力文および前記文書ファイル双
方の概略ベクトル情報を使用して検索を行う検索手段
と、前記検索手段より出力される検索結果を出力する出
力手段と、前記入力手段、ベクトル生成手段、検索手
段、概略ベクトル情報生成手段及び検索手段より出力さ
れる情報を必要に応じて記憶する記憶手段とを具備する
文書検索装置によって達成される。
を入力する入力手段と、前記入力手段により入力された
入力文について前記単語辞書を検索し前記入力文の特徴
ベクトルを生成するベクトル生成手段と、前記ベクトル
生成手段により生成された入力文の特徴ベクトルの各要
素を、該特徴ベクトルの最大値で割った値が所定値以上
のときには１、所定値未満のときには０に変換してか
ら、特徴ベクトルを概観するための概略ベクトル情報を
生成する概略ベクトル情報生成手段と、前記ベクトル生
成手段により生成された前記入力文の特徴ベクトルと前
記文書ファイル各々のレコードの特徴ベクトル間の距離
に基づくとともに前記入力文および前記文書ファイル双
方の概略ベクトル情報を使用して検索を行う検索手段
と、前記検索手段より出力される検索結果を出力する出
力手段と、前記入力手段、ベクトル生成手段、検索手
段、概略ベクトル情報生成手段及び検索手段より出力さ
れる情報を必要に応じて記憶する記憶手段とを具備する
文書検索装置によって達成される。
【００１７】
【作用】入力手段によって入力された入力文について、
ベクトル生成手段は、単語辞書を検索し前記入力文の特
徴ベクトルを生成し、特徴ベクトルの付加された入力文
を概略ベクトル情報生成手段に出力する。概略ベクトル
情報生成手段では、入力文の特徴ベクトルの各要素を、
特徴ベクトルの最大値で割った値が所定値以上のときに
は１、所定値未満のときには０に変換してから、特徴ベ
クトルを概観するための概略ベクトル情報を生成し、特
徴ベクトル及び概略ベクトル情報の付加された入力文を
検索手段へ出力する。検索手段は、入力文の特徴ベクト
ルと文書ファイル各々のレコードの特徴ベクトル間の距
離に基づき検索を行うとともに前記入力文および前記文
書ファイル双方の概略ベクトル情報を使用して検索を行
う。その結果は出力手段により、出力される。なお、記
憶手段は、前記入力手段、ベクトル生成手段、検索手
段、概略ベクトル情報生成手段、検索手段より出力され
る情報を必要に応じて記憶している。
ベクトル生成手段は、単語辞書を検索し前記入力文の特
徴ベクトルを生成し、特徴ベクトルの付加された入力文
を概略ベクトル情報生成手段に出力する。概略ベクトル
情報生成手段では、入力文の特徴ベクトルの各要素を、
特徴ベクトルの最大値で割った値が所定値以上のときに
は１、所定値未満のときには０に変換してから、特徴ベ
クトルを概観するための概略ベクトル情報を生成し、特
徴ベクトル及び概略ベクトル情報の付加された入力文を
検索手段へ出力する。検索手段は、入力文の特徴ベクト
ルと文書ファイル各々のレコードの特徴ベクトル間の距
離に基づき検索を行うとともに前記入力文および前記文
書ファイル双方の概略ベクトル情報を使用して検索を行
う。その結果は出力手段により、出力される。なお、記
憶手段は、前記入力手段、ベクトル生成手段、検索手
段、概略ベクトル情報生成手段、検索手段より出力され
る情報を必要に応じて記憶している。
【００１８】
【実施例】以下に、図面を用いて本発明による文書検索
装置の実施例を詳細に説明する。
装置の実施例を詳細に説明する。
【００１９】図１は、第１の実施例の構成図を示し、入
力文を入力する手段であるキーボード等の入力手段１
と、検索処理を実行するための制御部９と、出力するた
めのディスプレイ等の出力手段８とで構成される。
力文を入力する手段であるキーボード等の入力手段１
と、検索処理を実行するための制御部９と、出力するた
めのディスプレイ等の出力手段８とで構成される。
【００２０】制御部９は、各単語についてその特徴ベク
トルを保持する単語辞書２と、入力文について前記単語
辞書２を用いて単語抽出を行ない入力文の特徴ベクトル
を生成するベクトル生成手段３と、前記ベクトル生成手
段３より得られた入力文の特徴ベクトルから入力文の概
略ベクトル情報を生成する概略ベクトル情報生成手段４
と、文章がレコード単位に分割されており各レコードに
はその文章の正規化された特徴ベクトルおよび概略ベク
トル情報が保持されている検索対象である文書ファイル
５と、前記ベクトル生成手段３により生成された入力文
の特徴ベクトルと概略ベクトル情報生成手段４より生成
された概略ベクトル情報と文書ファイル５の各レコード
の特徴ベクトル及び概略ベクトル情報とを用いて効率的
に前記文書ファイル５から文章を検索する検索手段７
と、前記入力手段１・ベクトル生成手段３・概略ベクト
ル情報生成手段４・検索手段７からの情報を必要に応じ
て記憶しておくためのメモリ６とで構成される。
トルを保持する単語辞書２と、入力文について前記単語
辞書２を用いて単語抽出を行ない入力文の特徴ベクトル
を生成するベクトル生成手段３と、前記ベクトル生成手
段３より得られた入力文の特徴ベクトルから入力文の概
略ベクトル情報を生成する概略ベクトル情報生成手段４
と、文章がレコード単位に分割されており各レコードに
はその文章の正規化された特徴ベクトルおよび概略ベク
トル情報が保持されている検索対象である文書ファイル
５と、前記ベクトル生成手段３により生成された入力文
の特徴ベクトルと概略ベクトル情報生成手段４より生成
された概略ベクトル情報と文書ファイル５の各レコード
の特徴ベクトル及び概略ベクトル情報とを用いて効率的
に前記文書ファイル５から文章を検索する検索手段７
と、前記入力手段１・ベクトル生成手段３・概略ベクト
ル情報生成手段４・検索手段７からの情報を必要に応じ
て記憶しておくためのメモリ６とで構成される。
【００２１】ここで、単語辞書２と文書ファイル５の構
成の一例をそれぞれ図２、図３に示す。
成の一例をそれぞれ図２、図３に示す。
【００２２】図２に示す様に、単語辞書２は、「愛」に
は(0,1,0,...1,1)が、「相合い傘」には(1,2,1,...0,1)
というように、単語各々に特徴ベクトルが割り当てら
れ、格納されている。
は(0,1,0,...1,1)が、「相合い傘」には(1,2,1,...0,1)
というように、単語各々に特徴ベクトルが割り当てら
れ、格納されている。
【００２３】また、図３に示す様に、文書ファイル５に
は、実際の文章であるレコード１に対応した特徴ベクト
ルと概略ベクトル情報が、またレコード２に対応した特
徴ベクトルと概略ベクトル情報と言うようにそれぞれの
レコードに対応した特徴ベクトルと概略ベクトル情報と
が格納されている。
は、実際の文章であるレコード１に対応した特徴ベクト
ルと概略ベクトル情報が、またレコード２に対応した特
徴ベクトルと概略ベクトル情報と言うようにそれぞれの
レコードに対応した特徴ベクトルと概略ベクトル情報と
が格納されている。
【００２４】図４は、本実施例全体の動作を示すフロー
チャートである。
チャートである。
【００２５】ステップＳ１では、入力文が入力手段１に
よって入力され、ステップＳ２に進む。
よって入力され、ステップＳ２に進む。
【００２６】ステップＳ２では、ステップＳ１で入力さ
れた入力文から単語辞書２を参照しながらベクトル生成
手段３によって入力文の特徴ベクトルが生成され、ステ
ップＳ３に進む。
れた入力文から単語辞書２を参照しながらベクトル生成
手段３によって入力文の特徴ベクトルが生成され、ステ
ップＳ３に進む。
【００２７】ステップＳ３では、入力文の特徴ベクトル
から概略ベクトル情報生成手段４によって概略ベクトル
情報を生成し、ステップＳ４に進む。
から概略ベクトル情報生成手段４によって概略ベクトル
情報を生成し、ステップＳ４に進む。
【００２８】ステップＳ４では、入力文の特徴ベクト
ル、概略ベクトル情報を元に文書ファイル５から検索手
段７を用いて関連する文章を検索し、ステップＳ５に進
む。
ル、概略ベクトル情報を元に文書ファイル５から検索手
段７を用いて関連する文章を検索し、ステップＳ５に進
む。
【００２９】ステップＳ５では、ステップＳ４にて検索
された文章が出力手段８により出力される。
された文章が出力手段８により出力される。
【００３０】尚、上記過程で一時記憶を必要とするもの
は、記憶手段６を使用出来るよう構成されている。
は、記憶手段６を使用出来るよう構成されている。
【００３１】ステップＳ１、ステップＳ５についてはす
でに実現されているものであり、ステップＳ２は、従来
の文書検索装置で提案されているものをそのまま使用す
るものとし、以下に本実施例の特徴であるステップＳ
３、ステップＳ４について具体例を用いて詳細に説明す
る。
でに実現されているものであり、ステップＳ２は、従来
の文書検索装置で提案されているものをそのまま使用す
るものとし、以下に本実施例の特徴であるステップＳ
３、ステップＳ４について具体例を用いて詳細に説明す
る。
【００３２】本実施例では、入力文の特徴ベクトルおよ
び文書の各レコードの特徴ベクトルは１２８次元すなわ
ち１２８個の特徴単語で特徴付けられ、文書の各レコー
ドの特徴ベクトルは長さ１０で正規化されており、ベク
トルの各要素は０以上の整数値で表されている。
び文書の各レコードの特徴ベクトルは１２８次元すなわ
ち１２８個の特徴単語で特徴付けられ、文書の各レコー
ドの特徴ベクトルは長さ１０で正規化されており、ベク
トルの各要素は０以上の整数値で表されている。
【００３３】まず、本実施例で導入された概略ベクトル
情報について、図５を用いて説明する。
情報について、図５を用いて説明する。
【００３４】（Ｆ１）は特徴ベクトルで、各ａi （０≦
ｉ≦１２７）は０以上の整数値である。
ｉ≦１２７）は０以上の整数値である。
【００３５】（Ｆ２）は（Ｆ１）の各要素を０または１
で表したものであり、各ｂi はａiをａ0 ，ａ1 …，ａ
127 の中の最大値で割った値がα以上の時には１、α未
満の時には０である。本実施例ではα＝０．６に設定し
ている。
で表したものであり、各ｂi はａiをａ0 ，ａ1 …，ａ
127 の中の最大値で割った値がα以上の時には１、α未
満の時には０である。本実施例ではα＝０．６に設定し
ている。
【００３６】（Ｆ３）は概略ベクトル情報で、各ｃi は
それぞれ（Ｆ２）のベクトルの８個の要素にｃ0 はｂ0
からｂ7 まで、ｃ1 はｂ8 からｂ15までというように対
応し、８個の要素の中に１つでも１があればｃの値は
１、なければｃの値は０となる。
それぞれ（Ｆ２）のベクトルの８個の要素にｃ0 はｂ0
からｂ7 まで、ｃ1 はｂ8 からｂ15までというように対
応し、８個の要素の中に１つでも１があればｃの値は
１、なければｃの値は０となる。
【００３７】（Ｆ１）から（Ｆ３）を得る手段は、計算
機を用いて簡単に実現できるものであり、概略ベクトル
生成手段４は容易に構成可能なものである。
機を用いて簡単に実現できるものであり、概略ベクトル
生成手段４は容易に構成可能なものである。
【００３８】以下、図６を用いてステップＳ４の具体例
について説明する。
について説明する。
【００３９】図６に示すフローチャートは、主に検索手
段７にて行われる入力文の特徴ベクトルと文書レコード
の特徴ベクトルとの内積の大きさが上位２０に入るもの
を出力するためのフローチャートである。
段７にて行われる入力文の特徴ベクトルと文書レコード
の特徴ベクトルとの内積の大きさが上位２０に入るもの
を出力するためのフローチャートである。
【００４０】まず、ステップＳ１１では、入力文の特徴
ベクトルを変数ｑｖに代入し、ステップＳ１２に進む。
ベクトルを変数ｑｖに代入し、ステップＳ１２に進む。
【００４１】ステップＳ１２では、入力文の概略ベクト
ル情報を変数ｑｖｇに代入し、ステップＳ１３に進む。
ル情報を変数ｑｖｇに代入し、ステップＳ１３に進む。
【００４２】ステップＳ１３では、第一番目の文書レコ
ードを指すように変数ｉを初期化し、ステップＳ１４に
進む。
ードを指すように変数ｉを初期化し、ステップＳ１４に
進む。
【００４３】ステップＳ１４では、変数ｒｖｇに文書レ
コードｉの概略ベクトル情報を代入し、ステップＳ１５
に進む。
コードｉの概略ベクトル情報を代入し、ステップＳ１５
に進む。
【００４４】ステップＳ１５では、ｑｖｇとｒｖｇの内
積を計算し０の時はステップＳ１９へ、また、０でない
場合は、ステップＳ１６へ進む。
積を計算し０の時はステップＳ１９へ、また、０でない
場合は、ステップＳ１６へ進む。
【００４５】ステップＳ１６では、変数ｒｖに文書レコ
ードｉの特徴ベクトルを代入し、ステップＳ１７へ進
む。
ードｉの特徴ベクトルを代入し、ステップＳ１７へ進
む。
【００４６】ステップＳ１７では、ｑｖとｒｖの内積を
求めｆに代入し、ステップＳ１８へ進む。
求めｆに代入し、ステップＳ１８へ進む。
【００４７】ステップＳ１８では、（ｆ，ｉ）の組を記
憶手段内にあるバッファにストアし、ステップＳ１９へ
進む。
憶手段内にあるバッファにストアし、ステップＳ１９へ
進む。
【００４８】ステップＳ１９では、次のレコードを指す
ようｉに１を加え、ステップＳ２０へ進む。
ようｉに１を加え、ステップＳ２０へ進む。
【００４９】ステップＳ２０では、レコードの終りかど
うかの判断を行ない終りの場合にはステップＳ２１へ進
み、そうでない場合は、ステップＳ１４へ戻る。
うかの判断を行ない終りの場合にはステップＳ２１へ進
み、そうでない場合は、ステップＳ１４へ戻る。
【００５０】ステップＳ２１では、バッファ内の（ｆ，
ｉ）の組からｆの大きいもの上位２０を取り出す。
ｉ）の組からｆの大きいもの上位２０を取り出す。
【００５１】ステップＳ２１での上位２０を取り出す方
法については、従来様々なアルゴリズムが提案されてお
り、実現は容易である。
法については、従来様々なアルゴリズムが提案されてお
り、実現は容易である。
【００５２】上述の方法で、従来までの単純に内積を計
算する方法に比べ検索の精度がほとんど変わらずに処理
速度が向上される理由を以下に説明する。
算する方法に比べ検索の精度がほとんど変わらずに処理
速度が向上される理由を以下に説明する。
【００５３】まず、各レコードの特徴ベクトルは１２８
次元のデータで、長さが１０に正規化されており、実際
には１２８個の要素のほとんどが０である。
次元のデータで、長さが１０に正規化されており、実際
には１２８個の要素のほとんどが０である。
【００５４】また、実際に内積の値に本質的な影響を持
つ特徴ベクトルの要素は、その最大要素に近い値を持つ
要素のみであるため、図３の（Ｆ１）を（Ｆ２）に構成
し直してもかまわない。
つ特徴ベクトルの要素は、その最大要素に近い値を持つ
要素のみであるため、図３の（Ｆ１）を（Ｆ２）に構成
し直してもかまわない。
【００５５】（Ｆ２）においてもまだ０が多いため、８
個ずつ要素をまとめて（Ｆ３）を構成することにより冗
長な０をまとめることが出来る。
個ずつ要素をまとめて（Ｆ３）を構成することにより冗
長な０をまとめることが出来る。
【００５６】入力文の概略ベクトル情報と各レコードの
概略ベクトル情報との内積はほとんどのものは０とな
り、本実施例ではそれらの実際の特徴ベクトル同士の内
積演算を省略することにより処理速度の向上を計ってい
る。
概略ベクトル情報との内積はほとんどのものは０とな
り、本実施例ではそれらの実際の特徴ベクトル同士の内
積演算を省略することにより処理速度の向上を計ってい
る。
【００５７】実際概略ベクトル情報同志の内積が０のも
のは、上記理由により実際の特徴ベクトル同士の内積の
値は小さいのでその内積の計算を省略しても検索の精度
が落ちることはほとんどない。
のは、上記理由により実際の特徴ベクトル同士の内積の
値は小さいのでその内積の計算を省略しても検索の精度
が落ちることはほとんどない。
【００５８】更に概略ベクトル情報は１６個の０または
１の要素で表されているため、１６ビットのデータとし
て表現できるものであるため、概略ベクトル情報同志の
内積が０になるかどうかの判断は実際の計算機上では１
６ビットのデータ同士の「ａｎｄ」演算で実現できる。
従って、それによりさらに処理速度の向上が計れる。
１の要素で表されているため、１６ビットのデータとし
て表現できるものであるため、概略ベクトル情報同志の
内積が０になるかどうかの判断は実際の計算機上では１
６ビットのデータ同士の「ａｎｄ」演算で実現できる。
従って、それによりさらに処理速度の向上が計れる。
【００５９】本実施例では１２８次元の０以上の整数値
を持つ特徴ベクトルを長さ１０に正規化し、また概略ベ
クトル情報を１６次元データとした時の例を挙げたが本
発明による効果はその場合だけに限定されるものではな
い。
を持つ特徴ベクトルを長さ１０に正規化し、また概略ベ
クトル情報を１６次元データとした時の例を挙げたが本
発明による効果はその場合だけに限定されるものではな
い。
【００６０】上述の説明から明らかなように、従来の概
略ベクトル情報を持たず特徴ベクトルのみを持つ文書を
概略ベクトル情報を持つ文書に置き換えることは、概略
ベクトル生成手段４を文書の各レコードの特徴ベクトル
を元に概略ベクトルを生成するよう構成し直すことで達
っせられる。
略ベクトル情報を持たず特徴ベクトルのみを持つ文書を
概略ベクトル情報を持つ文書に置き換えることは、概略
ベクトル生成手段４を文書の各レコードの特徴ベクトル
を元に概略ベクトルを生成するよう構成し直すことで達
っせられる。
【００６１】
【発明の効果】上記した様に、本発明では特徴ベクトル
同士の内積を計算する際にその値が小さいもの、言い替
えれば、入力文との関連性が小さいものを概略ベクトル
情報から見つけ出し、そのものについては、その実際の
内積の計算を省略しようというものであり、それにより
文書検索の処理速度の大幅な高速化を可能とするもので
ある。
同士の内積を計算する際にその値が小さいもの、言い替
えれば、入力文との関連性が小さいものを概略ベクトル
情報から見つけ出し、そのものについては、その実際の
内積の計算を省略しようというものであり、それにより
文書検索の処理速度の大幅な高速化を可能とするもので
ある。
【図１】本発明による文書検索装置の一実施例の構成図
である。
である。
【図２】本実施例において用いられる単語辞書の一例を
示す。
示す。
【図３】本実施例において用いられる文書ファイルの一
例を示す。
例を示す。
【図４】本実施例全体のフローチャートである。
【図５】本実施例において用いられる概略ベクトル情報
を説明するために用いる図である。
を説明するために用いる図である。
【図６】本実施例の文書検索部分の動作を説明するため
のフローチャートである。
のフローチャートである。
１ 入力手段 ２ 単語辞書 ３ ベクトル生成手段 ４ 概略ベクトル情報生成手段 ５ 検索対象となる文書 ６ 記憶手段 ７ 検索手段 ８ 出力手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−159222（ＪＰ，Ａ) 特開 平５−225248（ＪＰ，Ａ) 特開 平２−247778（ＪＰ，Ａ) 大規模文書データベースからの連想検 索，信学技報ＡＩ92−99，1993 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 17/30 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (1)
- 【請求項１】 各々の単語に対して特徴ベクトルを保持
する単語辞書と複数のレコードに分割され各々のレコー
ドに対し特徴ベクトルを保持する文書ファイルとを備え
ており単語または文章からなる入力文を扱う文書検索装
置であって、 入力文を入力する入力手段と、 前記入力手段により入力された入力文について前記単語
辞書を検索し前記入力文の特徴ベクトルを生成するベク
トル生成手段と、 前記ベクトル生成手段により生成された入力文の特徴ベ
クトルの各要素を、該特徴ベクトルの最大値で割った値
が所定値以上のときには１、所定値未満のときには０に
変換してから、特徴ベクトルを概観するための概略ベク
トル情報を生成する概略ベクトル情報生成手段と、 前記ベクトル生成手段により生成された前記入力文の特
徴ベクトルと前記文書ファイル各々のレコードの特徴ベ
クトル間の距離に基づき検索を行うとともに前記入力文
および前記文書ファイル双方の概略ベクトル情報を使用
して検索を行う検索手段と、 前記検索手段より出力される検索結果を出力する出力手
段と、 前記入力手段、ベクトル生成手段、検索手段、概略ベク
トル情報生成手段及び検索手段より出力される情報を必
要に応じて記憶する記憶手段とを具備することを特徴と
する文書検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5263472A JP3019286B2 (ja) | 1993-10-21 | 1993-10-21 | 文書検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5263472A JP3019286B2 (ja) | 1993-10-21 | 1993-10-21 | 文書検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07121549A JPH07121549A (ja) | 1995-05-12 |
| JP3019286B2 true JP3019286B2 (ja) | 2000-03-13 |
Family
ID=17389991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5263472A Expired - Fee Related JP3019286B2 (ja) | 1993-10-21 | 1993-10-21 | 文書検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3019286B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100685023B1 (ko) * | 2001-11-13 | 2007-02-20 | 주식회사 포스코 | 유사성 판단을 위한 예제기반 검색 방법 및 검색 시스템 |
| JP5164876B2 (ja) * | 2009-02-12 | 2013-03-21 | 日本電信電話株式会社 | 代表語抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
| JP7013957B2 (ja) * | 2018-03-12 | 2022-02-01 | 富士通株式会社 | 生成プログラム、生成方法、情報処理装置および情報処理システム |
-
1993
- 1993-10-21 JP JP5263472A patent/JP3019286B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 大規模文書データベースからの連想検索，信学技報ＡＩ９２−９９，１９９３ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07121549A (ja) | 1995-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5450580A (en) | Data base retrieval system utilizing stored vicinity feature valves | |
| JP3195752B2 (ja) | 検索装置 | |
| JP2742115B2 (ja) | 類似文書検索装置 | |
| JP2741575B2 (ja) | 文字認識文字補完方法及びコンピュータ・システム | |
| CN111324750B (zh) | 一种大规模文本相似度计算及文本查重方法 | |
| JPH06309362A (ja) | 情報検索方法 | |
| KR100240243B1 (ko) | 데이터 검색장치 | |
| JP3024045B2 (ja) | 自然言語に基づくデータ検索装置 | |
| KR100495593B1 (ko) | 파일 처리 방법, 데이터 처리 장치, 및 기억 매체 | |
| JP3258063B2 (ja) | データベース検索システム及び方法 | |
| JP2005149014A (ja) | 文書関連語彙獲得方法及び装置及びプログラム | |
| JP3019286B2 (ja) | 文書検索装置 | |
| JP3123836B2 (ja) | テキスト型データベース装置 | |
| US6338060B1 (en) | Data processing apparatus and method for outputting data on the basis of similarity | |
| CN114003685B (zh) | 分词位置索引构建方法及其装置、文档检索方法及其装置 | |
| JP3418876B2 (ja) | データ・ベース検索装置および方法 | |
| JP2817103B2 (ja) | データ検索装置及びデータ検索方法 | |
| JP3162907B2 (ja) | 文書データ検索装置 | |
| JP2010009237A (ja) | 多言語間類似文書検索装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体 | |
| EP1076305A1 (en) | A phonetic method of retrieving and presenting electronic information from large information sources, an apparatus for performing the method, a computer-readable medium, and a computer program element | |
| JP3288063B2 (ja) | 可変長データの格納および参照システム | |
| JP4217410B2 (ja) | 情報検索装置及びその制御方法、並びにプログラム | |
| JP2993539B2 (ja) | データベース検索システムおよびその方法 | |
| JP2018180866A (ja) | 判別方法、判別プログラム及び判別装置 | |
| JP3006526B2 (ja) | 類似文書検索方法および類似文書検索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |