JP3686802B2 - Database search method, apparatus, and recording medium recording database search program - Google Patents

Database search method, apparatus, and recording medium recording database search program Download PDF

Info

Publication number
JP3686802B2
JP3686802B2 JP31690499A JP31690499A JP3686802B2 JP 3686802 B2 JP3686802 B2 JP 3686802B2 JP 31690499 A JP31690499 A JP 31690499A JP 31690499 A JP31690499 A JP 31690499A JP 3686802 B2 JP3686802 B2 JP 3686802B2
Authority
JP
Japan
Prior art keywords
search
feature
user
feature quantity
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31690499A
Other languages
Japanese (ja)
Other versions
JP2001134599A (en
Inventor
純司 寺本
精一 紺谷
雅司 山室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP31690499A priority Critical patent/JP3686802B2/en
Publication of JP2001134599A publication Critical patent/JP2001134599A/en
Application granted granted Critical
Publication of JP3686802B2 publication Critical patent/JP3686802B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、ータベース検索方法および装置に関する。
【0002】
【従来の技術】
従来のデータベース検索方法には、利用者が自分で検索キーや検索パラメータを調整して検索文を作成し、データベースにアクセスする方法がある。図1は、従来のデータベース検索方法の流れを説明するためのフロー図である。以下の記述において、データベースに格納されているデータ(文書・画像・音楽等)を「オブジェクト」と称する。
【0003】
従来のデータベースでは、オブジェクトOがn個の特徴量O={o1,o2,…on}を持つとき、利用者は、検索キーとしてn種類の特徴量の組を指定するベクトルK={k1,k2,…kn}を指定し、検索パラメータとして以下のものを指定する。
1)利用者が必要とする要求解答数q
要求解答数の指定によって、類似度の高いものが上位何件まで必要かが指定される。
2)特徴量ごとの重みW={w1,w2,…wn
特徴量ごとの重みの指定によって、どの特徴量をどれだけ重視するかが指定される。
3)特徴量ごとの類似度評価関数F={f1,f2,…fn
類似度評価関数Fとしては、例えば、マンハッタン距離関数やユークリッド距離関数が用いられる。
【0004】
図1において、利用者は検索パラメータを指定して検索文を作成する(ステップS1)。データベース検索部は、データベース中の各オブジェクトに対する検索キーKの類似度を求め、類似度の高い順に上位q件を求める(ステップS2)。類似度の高いq個のオブジェクトを類似オブジェクトとして利用者に提示する(ステップS3)。利用者は欲しいオブジェクトがあるか、どうかを判断し(ステップS4)、無ければ、利用者が検索キーや検索パラメータを調整して検索文を作成するステップS1の処理に戻る。ステップS1からステップS4までの処理は、利用者が欲しいオブジェクトが表示されるまで、繰り返される。
【0005】
ステップS2において、データベースに格納されているオブジェクトOと検索キーKとの類似度dは下記の式(1)から計算される。
【0006】
【数2】

Figure 0003686802
【0007】
ここで、fi(ki、oi)は、特徴量kiと特徴量oiとの間の類似度評価関数である。
以下の記述において上記の従来のデータベース検索方法を第1の従来技術と記す。
【0008】
第1の従来技術に対し、利用者が行う検索キーや検索パラメータの調整を簡易にする画像検索方式が、特開平6−96134号公報に記載されている。以下、この公報に記載されている画像検索方式を第2の従来技術と記す。
【0009】
第2の従来技術においても、検索キーは対象(画像を特徴付ける幾つかの部分画像)の属性値を表すように定義されている。すなわち、複数の属性値で特徴づけられる対象は、それぞれの属性の有無を意味する1または0のベクトル形式で表現され、検索キーも同様に1または0の属性値のベクトル形式で表現される。
【0010】
第2の従来技術においては、初期検索パラメータで検索した1次検索結果と、利用者が「類似である」「非類似である」という取捨選択条件を入力することによって、適切な検索キーや検索パラメータの調節をする。図2は、このようなデータベース検索方法の流れを説明するためのフロー図である。
【0011】
図2のフロー図によると、利用者は、先ず目的画像の属性値ベクトルを構成する属性のうち、所望の属性と同一の属性をもつ検索キー(実施例では1つの特徴量が1で、他の特徴量が0である検索キー)を検索条件としてデータベースに蓄積されている総ての画像について、各画像の属性値ベクトルと検索条件との相違度を計算し、相違度の小さい画像から順にデータベースを1次検索する(ステップS1)。検索システムは、1次検索結果を表示する(ステップS2)。利用者は、検索システムに取捨選択条件を入力して、表示画像から類似画像と非類似画像とを選択する(ステップS3)。検索システムは、次に、選択された類似画像と非類似画像から属性値ベクトルを抽出し、類似画像の相違度と非類似画像の類似度を計算し、それらの和として定義される表示距離を計算し、表示距離が小さい順にデータベースを2次検索するための新規検索文を生成する(ステップS4)。検索システムは、2次検索を実行し(ステップS5)、その検索結果を表示する(ステップS6)。利用者は、2次検索結果から目的画像があるか、否かを判断する(ステップS7)。目的画像がない場合には、検索システムは、現在の表示オブジェクトを表示対象画像からはずし、目的画像が検索されるまで、または、表示対象画像がなくなるまで、ステップS3からステップS7までの処理を繰り返す。
【0012】
【発明が解決しようとする課題】
上述した従来のデータベース検索方法において検索キーや検索パラメータをシステムが自動で生成するという利点は、例えば、2つの画像の共通の特徴(2つの画像のAND)を検索キーとして検索する場合においては、以下のような弊害をもたらす場合が考えられる。
【0013】
図3は、従来のデータベース検索方法の問題点を説明するためのブロック図で、図4は、図3の検索部の内容の一例を示す図である。
図3の例示オブジェクト格納部31は、初期検索のために検索システムが用意した例示オブジェクトA、B、C、D、Eが格納されているメモリである。検索部32は検索プログラムを実行する情報処理部である。表示部33は、検索結果を表示する表示制御装置および表示装置である。検索部32の構成およびその動作の内容を利用者は見ることができないので、この部分は利用者にとってブラックボックスである。
【0014】
図3の検索システムにおいて、利用者はAとBを要求オブジェクトとして(Aの特徴とBの特徴とのANDを特徴とするオブジェクトを要求オブジェクトとして)指定し、検索キー等を自動生成させ検索を行い、その結果として、システムは上位5件として、C,E,D,A,Bの順でオブジェクトを出力した場合を想定する。しかし、利用者にとっては、最高順位のCよりも、要求オブジェクトA,Bや、要求オブジェクトに近いEまたはDのほうが必要なオブジェクトである場合がある。
【0015】
このような矛盾が生じる理由を明らかにするために、図4に、システムが自動で処理をしている検索部32(ブラックボックス部分)の内容の一例を示す。図4の検索部32Aは、検索されたオブジェクトA、B、C、D、Eの2つの特徴量を2次元的に表現したものである。
【0016】
図において、利用者がAとBを要求オブジェクトとして指定したとすると、生成される検索キーは×印で示されるものになる。類似度は検索キーとの距離が短いほど高いので、この場合の類似度計算結果は、上記のように、C,E,D,A,Bの順で類似度が高いということになる。
【0017】
これは、利用者が当初システムに与えた要求オブジェクトまたは検索パラメータが適切なものでなかったことに起因する。すなわち、図4のxy空間における、要求オブジェクトAと要求オブジェクトBの位置は、x方向にもy方向にも隔たっている。このことは、要求オブジェクトAと要求オブジェクトBとは、特徴量x、yに関する限り共通の特徴を持っていないことを意味する。このように、共通の特徴を持っていない要求オブジェクトAの特徴と要求オブジェクトBの特徴とのANDを特徴とするオブジェクトを検索するために、要求オブジェクトAの特徴量ベクトルと要求オブジェクトBの特徴量ベクトルとの平均κを検索キーとしても、その検索キーκは要求オブジェクトAにも要求オブジェクトBにも類似しない特徴を持つことになる。したがって、検索キーκとの距離が近いオブジェクトを検索しても、その検索によって得られるオブジェクトは、要求オブジェクトAの特徴をも要求オブジェクトBの特徴をも具備しないオブジェクトになる。図3,図4に示されている検索において、要求オブジェクトA、Bの何れにも類似していないオブジェクトCが、オブジェクトE、Dより高い順位で検索されたのはこの理由による。
【0018】
従来のデータベース検索方法は前掲の問題をもっているが、検索部32はブラックボックスで、ブラックボックス内での自動生成プロセスを利用者が知ることができない以上、利用者が上記の問題を回避するデータベース検索方法を実施することは困難である。
【0019】
本発明の目的は、上記の問題を解決して、利用者が要求するオブジェクトを簡易にかつ迅速に得ることができるように、適切な検索パラメータを検索システムに生成させることができるデータベース検索方法およびその装置を提供することにある。
【0020】
【課題を解決するための手段】
上記の目的を達成するために、データベース検索方法は、
初期検索パラメータに基づいて生成された検索文を用いて、検索対象のオブジェクトを蓄積しているデータベースのオブジェクトを1次検索する第1のステップと、
前記1次検索の検索結果を初期検索パラメータに応じた表示形式で表示する第2のステップと、
利用者が第2のステップで表示された1次検索結果を見て要求オブジェクトの特徴量に類似したオブジェクトが検索されるように変更した取捨選択条件から第2のパラメータを計算し、または利用者が表示形式が変更された1次検索結果を見て要求オブジェクトの特徴量に類似したオブジェクトが検索されるように第2のパラメータを修正する第3のステップと、
1次検索結果の表示形式を前記第2の検索パラメータに応じて変更して表示する第4のステップと、
利用者が表示を見て、前記第2の検索パラメータが所望のオブジェクトを得るために適正でないと判断した場合、第3のステップに戻り、適正であると判断した場合、適正であると判断した前記第2の検索パラメータを用いて検索文を新規に作成する第5のステップと、
新規に作成された検索文を用いて2次検索を実行する第6のステップと、
を有し、
第4のステップでは、検索結果の表示面の1つの座標軸を各オブジェクトの1つの特徴量に対応させ、前記1つの特徴量の値を前記1つの座標軸上の座標に対応付け、前記オブジェクトを特徴付ける異なる特徴量を、前記表示面の異なる座標軸に対応させて、オブジェクトのp個の特徴量を、表示面のp個の座標軸によって定義されるベクトル空間の座標に対応させて前記p個の特徴量に関する当該オブジェクトの特徴を表示上に表現し、さらに、前記1つの特徴量の値と、前記1つの座標軸上の座標との対応を、設定された当該特徴量に対する、前記1つの特徴量の類似度が、前記1つの座標上の座標に対応するように定義し、表示表面上に定義された前記ベクトル空間を特徴量空間と呼称するとき、1次検索によって検索されたオブジェクトがn個の特徴量によって特徴付けられる場合において、当該オブジェクトをp次元(p<n)特徴量空間に表示するときには、前記n個の特徴量のうち利用者が取捨選択条件として指定した複数の要求オブジェクトを特徴づける各特徴量の値のばらつきが小さい順のp個の特徴量である、最も重なp個の特徴量によって構成されるp次元特徴空間を前記表示面に表示し、1次検索によって検索されたオブジェクトの、前記最も重要なp個の特徴量を、前記p次元特徴量空間における当該オブジェクトの座標として表示し、
第3のステップでは、利用者が表示面に表示されているオブジェクトの配置を見て現在の検索パラメータに基づいて設定される検索キーの当該特徴量空間における位置が、利用者が要求オブジェクトとして指定するオブジェクトの位置に対して表示面上の所望の距離範囲内になく当該検索パラメータが所望のオブジェクトを得るために適正でないと判断した場合、論理演算を含む新たな取捨選択条件に、取捨選択条件を変更する。
【0021】
このデータベース検索方法においては、表示面の1つの座標軸を各オブジェクトの1つの特徴量に対応させ、前記1つの特徴量の値を、前記1つの座標軸軸上の座標に対応付け、オブジェクトを特徴付ける異なる特徴量を、表示面の異なる座標軸に対応させて、オブジェクトのp個の特徴量を、表示面のp個の座標軸によって定義されるベクトル空間の座標に対応させて当該p個の特徴量に関する当該オブジェクトの特徴を表示面上に表現し、さらに、前記1つの特徴量の値と、前記1つの座標軸上の座標との対応を、設定された当該特徴量に対する、前記1つの特徴量の類似度が、前記1つの座標軸上の座標に対応するように定義する。
【0023】
前掲の各特徴量の値のばらつきは、複数の要求オブジェクトについて各特徴量の値の標準偏差によって評価することができる。
【0024】
検索パラメータが適切であるか、否かは、検索パラメータに基づいて生成された検索キーが要求オブジェクトと類似しているか、否かによって判定することができる。そのために、オブジェクトを特徴付ける特徴量数をnとし、特徴量ごとの類似度評価関数Fを{f1,f2,…fn}とし、特徴量ごとの重みW={w1,w2,…wn}を標準偏差に比例して定めたとき、利用者が設定した検索キーKと各オブジェクトOとの類似度dは次式によって評価される。
【0025】
【数3】
Figure 0003686802
【0026】
ここで、ki、oi(1≦i≦n)は、検索キーKとオブジェクトOとのi番目の特徴量である。また、fi(ki、oi)は、特徴量kiと特徴量oiとの間の類似度評価関数である。
【0027】
本発明のデータベース検索装置は、初期検索条件入力手段と取捨選択条件入力手段と検索文作成手段とデータベース検索手段と検索結果表示手段とを有する。
初期検索条件入力手段は、利用者が初期検索条件を設定して入力するためのものである。
取捨選択条件入力手段は、検索されたオブジェクトに関して利用者がオブジェクトの取捨選択条件を入力するためのものである。
検索文作成手段は、1次検索時には、前記初期検索条件を入力して初期検索パラメータに基づく検索文を生成し、1次検索されたオブジェクトの特徴量を入力して特徴量毎の標準偏差を求め、それぞれの特徴量に該標準偏差の小さい順に大きな重みを与え、2次検索時には、利用者が表示された1次検索結果を見て要求オブジェクトの特徴量に類似したオブジェクトが検索されるように変更した取捨選択条件を前記取捨選択条件入力手段より入力し、変更された取捨選択条件から仮説検索パラメータを計算し、利用者が、該仮検索パラメータが、要求オブジェクトの特徴を有するオブジェクトを検索するのに適正であると判定したときには該仮説検索パラメータを正式な検索パラメータとして該検索パラメータに基づく検索文を生成する。
データベース検索手段は、生成されに検索文を用いてデータベースのオブジェクトを検索し、検索されたオブジェクトのオブジェクト情報を出力する。
検索結果表示手段は、1次検索の結果を初期パラメータに応じた表示形式で利用者に対して表示し、仮説検索パラメータに応じて1次検索結果変更して利用者に対して表示し、1次検索結果によって検索されたオブジェクトと、前記検索文作成手段から入力した仮説検索パラメータに基づいて設定された検索キーとの間の特徴量毎の類似度を評価するために、当該オブジェクトのベクトル形式で記述されている特徴量と検索キーのベクトル形式で記述されている特徴量との予め定義されている演算によってスカラー量の類似度評価関数を計算し、その計算結果と前記それぞれの特徴量の重みから当該オブジェクトと検索キーとの間の特徴量の類似度を計算して、その類似度を当該オブジェクトの当該特徴量の1次元表示とし、重みが大きい所定数の特徴量各々を表示面上の座標軸に対応させて、前記特徴量毎の類似度を、表示面上の当該特徴量に対応する座標軸上の座標として表示する。
【0030】
検索結果表示手段は、データベース手段で検索されたオブジェクト情報を蓄積するキャッシュメモリを有する。このキャッシュメモリによって、利用者が試行錯誤しながら検索条件を指定していくのに必要なリアルタイム性を確保することができる。
【0031】
【作用】
本発明は、初期検索によって検索されたオブジェクトを用いて、利用者自身が難解な検索パラメータを設定する必要がなく、人間にとって直感的に理解しやすい「オブジェクトの取捨選択」によって、適正な2次検索用の検索パラメータを生成することを意図している。ここで、「人間にとって直感的に理解しやすい」というのは、「表示面に表示された」という意味である。
【0032】
そのために、先ず、初期検索によって検索されたオブジェクトの特徴を表示面上に表示する。しかし、表示面は2次元空間であるので、その表示面に容易に表示できる特徴量数は2である。または、立体的に表現しても、表現できる特徴量数は高々3である。(以下、表示面に表示される特徴量数をp個と記す。)したがって、pより多くの数の特徴量で特徴付けられるオブジェクトの特徴を表示面上に表示するときには、当該オブジェクトを特徴付ける特徴量のうち、重要な特徴量を選択してその選択された特徴量について各オブジェクトの特徴を表示面に表示する。
【0033】
この場合、どの特徴量が重要であるかは、次のようにして判定する。
初期検索(1次検索)によって検索されたオブジェクトのうち、利用者が要求するオブジェクトに類似しているオブジェクトを、要求オブジェクトとして複数選択する。そうして、その複数の要求オブジェクトについて、特徴量毎に、特徴量値のばらつき、(または標準偏差)を計算する。そうして、そのばらつきの小さい順に大きな重要度(重み)を与える。
【0034】
このようにして、重みが最も大きいp個の特徴量を、表示面上のp個の座標軸に対応させてp次元特徴量空間を構成し、初期検索で検索されたオブジェクトのp個の特徴量を表示面上に表示することができる。
【0035】
通常、特徴量の内容(特徴量値)は、ベクトルで記述され、このベクトルは特徴量ベクトルと呼ばれている。しかし、本発明においては、1つの特徴量を、表示面上の1つの座標軸に対応させるので(すなわち、それぞれの特徴量値を1つの座標軸上の座標として表示するので)、それぞれの特徴量を多次元ベクトルの形式ではなく、1次元ベクトル、すなわち、スカラーの形式で表現する必要がある。本発明においては、特徴量ベクトルを、座標原点に対応する特徴量基準(第1の実施形態)、または、検索パラメータに基づいて設定された検索キー(第2の実施形態)に対する類似度に対応させている。したがって、特徴量空間における2点間の距離が小さい程、その2点によって表示されているオブジェクトの重要な特徴は類似している。このようにして、初期検索によって検索されたオブジェクトの重要な特徴を、直観的に表示面上に表示することができる。
【0036】
利用者は、表示面を見ながら種々の取捨選択条件を入力して検索パラメータを変更し、それぞれの検索パラメータに基づいて表示面に自動生成される検索キーと、利用者が表示面上で指定した要求オブジェクトとの距離(類似度)が所定範囲内にあるか、否かによって、現在の検索パラメータの適、不適を判断する。そうして、検索キーと、利用者が表示面上で指定した要求オブジェクトとの距離が所定範囲内になったとき、そのときの検索パラメータは適切な検索パラメータとして、2次検索文の作成に使用される。
【0037】
【発明の実施の形態】
本発明の実施の形態を図面を参照して説明する。
【0038】
図5は、本発明のデータベース検索装置の一実施例のブロック図である。図6は、本発明の動作を説明するフローチャートである。図7は、初期検索パラメータに基づく表示例を示す図である。図8は仮説検索パラメータに基づく表示例を示す図である。図9は、2次検索結果の一例を示す図である。
【0039】
本発明のデータベース検索装置は、オブジェクト検索装置1、初期検索条件設定装置2、表示装置3、取捨選択条件設定装置4を備えている。オブジェクト検索装置1は、利用者が指定した検索キー、またはシステムがその立ち上げ時に参考として提示した初期検索キーに対してデータベースに蓄積されているオブジェクトを検索する。オブジェクト検索装置1はまた、利用者が入力した取捨選択条件に従って2次検索のために適切な検索パラメータを模索し、利用者が適切であると判断した検索パラメータに基づいて2次検索をする。初期検索条件設定装置2は、利用者が指定した検索キーまたは検索システムが参考として提示した初期検索キーを設定する。表示装置3は、オブジェクト検索装置1が検索した検索結果を表示する。
【0040】
取捨選択条件設定装置4は、検索の結果得られたオブジェクトに対する利用者の取捨選択条件を入力する。この取捨選択条件として、複数の取捨選択条件相互間のAND・OR等の論理演算条件をも使用することができる。また、ディスプレイ上に表示された検索結果オブジェクトに対して、ポインティングデバイス(カーソルキー、マウス等)を用いて指示し、または入力することができる。例えば、ディスプレイ上に表示されたオブジェクトに対して、利用者の要求しているオブジェクトに「類似である」「非類似である」という、人間にとって直感的に理解しやすい取捨選択条件をオブジェクト検索装置1に入力することができる。また、各々の取捨選択条件の間にANDまたはOR条件を指定することができる。その結果、より柔軟な検索条件指定が可能である。
【0041】
オブジェクト検索装置1は、初期検索条件入力部5、取捨選択条件入力部6、検索文作成部7、データベース検索部8、データベース9、検索結果表示部10、キャッシュメモリ11を備えている。
【0042】
初期検索条件入力部5は、初期検索条件設定装置2から出力される初期検索条件を入力して、該条件を検索文作成部4へ入力するためのインタフェースとして機能する。
【0043】
取捨選択条件入力部6は、取捨選択条件設定装置4から出力される取捨選択条件を入力して、該条件を検索文作成部4へ入力するためのインタフェースとして機能する。
【0044】
検索文作成部7は、初期検索時には、利用者が指定した検索キーやシステムが参考として提示した初期検索キーに対し、平均的な初期検索パラメータを適用して(初期時には、特徴量ごとの重みを平均的な値に設定する)1次検索文を生成し、初期検索後には、入力された取捨選択条件から、検索パラメータおよび検索文を自動生成する。後述の本実施例の動作に関連して詳述するように、本発明の検索文作成部7は、人間にとってわかりやすい取捨選択条件から、要求オブジェクトに類似したオブジェクトを検索するための仮説検索パラメータおよび2次検索のための正式の検索パラメータや検索文を自動で生成する。検索文作成部7は、また、初期検索時にデータベースに格納されている全てのオブジェクトの特徴量の標準偏差の平均を求める(第2の実施形態参照)。
【0045】
データベース検索部8は、検索文作成部7で生成された検索文に基づき、データベースにアクセスしてオブジェクトを検索する。データベース9は検索対象のオブジェクトを蓄積している。
【0046】
検索結果表示部10は、データベース検索部8で検索されたオブジェクト情報をキャッシュメモリ11に蓄え、検索文作成部7で生成された仮説検索パラメータに基づいてそのオブジェクト情報を表示装置3上で利用者に表示する。このとき、検索パラメータを表示装置上で最適に表現できる特徴量を、例えば2〜3種選び、2〜3次元表示で表示装置3に表示する。
【0047】
1次検索の結果、選択されたオブジェクトの特徴量を平面的な表示面上でオブジェクトの配置(オブジェクトの位置またはオブジェクト相互の相対位置)として表示するとき、その表示面が表示している特徴量空間は、検索パラメータが指定している検索条件を最適に表示するように選択されていなければ、利用者は、表示面上のオブジェクトの配置を見てそれぞれのオブジェクトがどの程度検索条件を満たしているかを直観することができない。
【0048】
例えば、オブジェクトが色、形、大きさ、価格という特徴量で特徴付けられていて利用者は、形と大きさとを重視して検索をすることを意図している場合を考える。この場合において、1次検索の結果を表示装置に表示するとき、もし、色と価格を表示面のxy座標軸にとって各オブジェクトの特徴量を表示面上に表示するならば、表示面上のオブジェクトの配置は、色と価格という属性から評価したオブジェクトの類似性を表しているのみで、利用者が検索パラメータによって要求している形と大きさについての類似性を表示していないことになる。
【0049】
それとは対照的に、もし、形と大きさとを表示面の座標軸にとって各オブジェクトの特徴量を表示面上に表示するならば、表示面上のオブジェクトの配置は、形と大きさという属性から評価したオブジェクトの類似性を表しているので、利用者が検索パラメータによって要求している形と大きさについての類似性を表示している。
このように、表示面は2次元空間であるから、表示面上で表示できる独立な特徴量の数は2つ、せいぜい3つである。したがって、オブジェクトが4以上の特徴量によって特徴付けられているときには、利用者が検索パラメータによって要求している検索条件のうち、最も重要な検索条件を表す特徴量空間を表示面上に表示することが、最適な2次検索用検索パラメータを求めるために必要である。
【0050】
このように、特徴量が複数ある場合には、各特徴量を1次元の数値(1つの座標軸上の座標で表される量)に変換し、検索パラメータを最適に表現するように、表示する特徴量を選択することが必要である。(第1、第2の実施例の動作参照)。また、Kohonen T., ”The Self−Organizing Map”,Proc.IEEE,1990,Vol.78,No.9,pp.1464−1480に示されている自己組織化マップを用いて次元縮退したものを表示することができる。
【0051】
検索結果表示部10は、次のように動作する。まず、データベース検索部5で検索されたオブジェクト情報をキャッシュメモリ9(後述)に蓄えると共に、検索文作成部4が作成した仮説検索パラメータをリアルタイムに受け取る。この仮説検索パラメータは、取捨選択条件入力部9を介して入力された取捨選択条件に基づいて作成されたものである。検索結果表示部10は、次に、その仮説検索パラメータによって2次検索をした場合には2次検索の傾向がどうなるのか、AND条件とOR条件のどちらを指定するのが適当なのか等を利用者が判定することができるように、2次検索用の新規検索文作成のために必要な情報を、表示装置3上で、適切に利用者に提示することができる。
【0052】
キャッシュメモリ11は、1次検索のオブジェクト情報を保持する。検索結果表示部1は、上記の検索パラメータ情報を提示するとき、キャッシュメモリ9に蓄えられている1次検索のオブジェクト情報を用いる。それによって、利用者が試行錯誤しながら検索条件を指定していくために必要なリアルタイム性を確保することができる。
【0053】
本発明の第1の実施例として、3つの特徴量x,y,zによって特徴付けられるオブジェクトを格納したデータベースにアクセスする場合について本発明を説明する。
ここで、3つの特徴量x,y,zとは、例えば、あるオブジェクトを特徴付ける色、形状、寸法等の3つの属性である。通常、それぞれの特徴量は、その複数の独立な内容(特徴量値)をベクトル形式で表して、特徴量ベクトルとして表示される。例えば、特徴量色は、(赤の数値、緑の数値、青の数値)のように、そのオブジェクトの色が含んでいる赤、緑、青成分を評価し、数値化してベクトル形式で表される。形状は、例えば、(対称性、対称性によって特定されない辺の比、対称性によって特定されない角度)のようにベクトル形式で表される。寸法は、例えば、(特定の辺の長さ、方向、重さ)のようにベクトル形式で表される。
【0054】
しかし、本発明において、1次検索されたオブジェクトの特徴量を表示面という2次元空間に表示するために、表示面の1つの座標軸を各オブジェクトの1つの特徴量に対応させる。そのために、各特徴量を1次元の数値で表現する。そうして、各特徴量の数値を、対応する座標軸軸上の座標に対応付ける。
【0055】
この、各特徴量のベクトル表示をスカラー(1次元数値)表示に変換する方法は、第2の実施形態に詳細に記載されているので、本実施例においては、各特徴量を1次元数値で表している場合について説明する。
【0056】
第1の実施形態は、図5のデータベース検索装置を用いて次のように実施される。
利用者が初期検索条件設定装置2を介して指定した検索キー、または、システムが参考として提示した初期検索キーに対し、検索文作成部7は平均的な初期検索パラメータを適用して1次検索文を生成し、データベース検索部8において1次検索を行う(図6のステップS1)。
【0057】
検索結果表示部10は、1次検索で得られたオブジェクトのうち、ある5つのオブジェクトA(9,9,4),B(1,3,8),C(8,6,5),D(2,8,4),E(3,4,7)について着目する。ここで、各オブジェクトの括弧の中の数値は、当該オブジェクトの各特徴量値をスカラー(または、1次元数値)で評価した数値である。
【0058】
得られた1次検索結果は、検索結果表示部10によって、表示装置3上に、初期検索パラメータに基づいた表示がなされる(ステップS2)。本実施形態の初期検索パラメータでは、特徴量ベクトルはxとyが重視されるようになっており、利用者に対する表示は図7のようになる。
【0059】
次に、利用者は、表示された1次検索結果に対し、要求オブジェクトと「類似である」「非類似である」等の取捨選択条件をマウスを用いて取捨選択条件入力部6に入力する。また、利用者は、複数の取捨選択条件の間にANDやOR条件を指定する(ステップS3)。本実施形態では、利用者は「類似である」オブジェクトとしてAとBを選択し、「どちらにも似ているオブジェクトが欲しい」という意味で両者のAND条件を入力する。
【0060】
この入力情報は取捨選択条件入力部6を経由して検索文作成部7に渡され、検索文作成部7は、利用者がオブジェクトのどの特徴量を一番重視しているかを判断するための計算をし、前記入力情報に応じた検索パラメータを生成して仮説検索パラメータとして検索結果表示部10に渡す(ステップS4)。
【0061】
図7の表示によってオブジェクトA,Bの各特徴量値を比較すると、オブジェクトA,Bの特徴量xの値のばらつきは9−1=8である。オブジェクトA,Bの特徴量yの値ばらつきは9−3=6であり、特徴量zの値ばらつきは|4−8|=4である。すなわち、ばらつき(分散)の少ない順にz,y,xであることがわかる。このことは、次のことを意味している。
【0062】
利用者が、要求オブジェクトの特徴として、オブジェクトA,Bに共通の特徴を指定しているとき、通常は、すべての特徴量においてオブジェクトA,Bに類似しているオブジェクトを要求しているのではない。例えば、オブジェクトがx=色、y=形、z=大きさで特徴付けられている場合において利用者がオブジェクトA,BのANDを要求しているとき、利用者は、例えば、形と大きさがオブジェクトA,Bに類似していることを要求しているけれど、色はどうでもよいという場合がある。このような場合において、利用者が1次検索の結果、表示装置上に表示されたオブジェクトのうち、オブジェクトA,Bを選択したということは、利用者の目から見て、オブジェクトAおよびオブジェクトBの形と大きさが要求オブジェクトに類似しているということである。したがって、オブジェクトAの形の特徴量値とオブジェクトBの形の特徴量値はほぼ同じ値をもち、その結果、形の特徴量値のばらつきが少ない筈である。また、オブジェクトAの大きさの特徴量値とオブジェクトBの大きさの特徴量値はほぼ同じ値をもち、その結果、大きさの特徴量値のばらつきが少ない筈である。
【0063】
このことを逆に言えば、複数のオブジェクトの各特徴量のばらつきを計算したとき、特徴量値のばらつきの少ない特徴量について(例えば、形について)は、それら複数のオブジェクトは類似していることになる。このように、複数のオブジェクトの特徴量のばらつきは、当該特徴量に関する、当該複数オブジェクトの類似性を測る尺度になり得る。
【0064】
このことを、利用者が要求オブジェクトとして選択したオブジェクトA、Bに適用すると、利用者は、特徴量yおよびzに関してオブジェクトAおよびBに類似しているオブジェクトを要求しており、特徴量xは利用者にとって重要な特徴量ではないことになる。
【0065】
このように、オブジェクトA,Bの特徴量の値のばらつきがz,y,xの順に大きくなることは、利用者が指定したオブジェクトA、Bの類似性の評価には、特徴量xの類似性よりも特徴量yおよびz類似性のほうが重要であることを示しているといえる。そこで、仮説検索パラメータは初期検索パラメータよりもy,z重視のものが生成される(ステップS4)。
【0066】
仮説検索パラメータに基づき、検索結果表示部10において1次検索結果の表示が変更される(ステップS5)。本実施形態の仮説検索パラメータでは、特徴量ベクトルはyとzが重視されるようになっており、利用者に対する表示は図8の上段のようになる。
【0067】
この表示により、利用者は仮説検索パラメータの良し悪しを判断する(ステップS6)ことができ、取捨選択条件やAND・OR条件を修正して再入力することができる(ステップS3)。
【0068】
仮説検索パラメータの良し悪しの判断は、次のように行われる。現段階においては、AND検索を指示しているので、検索キーはAとBの平均を取ったものになり、Kで表示される。この状態で検索を行うと、検索文は図8の中段のようになり、類似度はKに近い順になるので、検索結果は図8の下段のようになる。特徴量ベクトル値のばらつきが比較的少なかったy,zを用いても、表示面上においてAとBの隔たりが大きく、このまま検索してもCの類似度が一番高いという結果になってしまうことがわかる。
【0069】
ここで利用者は、AND検索ではなく、OR検索に切り替えることによって、CよりもD,Eの類似度を高くするような検索をした方がよいということを理解することができる。再入力を繰り返した結果、最終的に得られた仮説検索パラメータを正式検索パラメータとし、検索文作成部7において2次検索文を生成し(ステップS7)、データベース検索部8で2次検索を行う(ステップS8)。
【0070】
得られた2次検索結果は、検索結果表示部において、正式検索パラメータに基づいた表示がされる(ステップS9)。OR検索に切り替えた結果、利用者に対する表示は図9の上段のようになる。(図中、斜め上方に延びる点線は、オブジェクトAの位置とオブジェクトBの位置の垂直2等分線で、OR検索の類似領域を表す。)検索文は図9の中段のようになり、類似度はAまたはBに近い順になるので、検索結果は図9の下段のようになる。
【0071】
これにより、利用者は要求したものにより近いオブジェクトを容易に得ることができる。利用者は、表示面上に表示されたオブジェクトの中に欲しいオブジェクトがあるか、否かを判断する(ステップS10)。表示面上に表示されたオブジェクトの中に欲しいオブジェクトがない場合には、ステップS3からステップS10までの処理を繰り返す。欲しいオブジェクトがあった場合には、データベース検索処理を終了する。
【0072】
次に本発明のデータベース検索方法の第2の実施形態について説明する。
上記の第1の実施形態は、各特徴量がスカラーで記述されている場合のデータベース検索方法であるが、本実施形態のデータベース検索方法は各特徴量がベクトルで記述されている場合のデータベース検索方法である。本実施形態の方法も図5のデータベース検索装置を用い、図6に示されている処理フローに従って実行される。
【0073】
データベースには、3つの特徴量
【0074】
【数4】
Figure 0003686802
【0075】
をもつオブジェクトOが格納されていて、データベース検索装置はこのデータベースにアクセスする。
【0076】
今、1次検索結果として、表示装置3上に以下の7つのオブジェクト
【0077】
【数5】
Figure 0003686802
【0078】
が得られた。このうち、利用者は、目視によってA,B,Cを「類似である」と選択し、A、B、CのすべてをAND条件で指定した取捨選択条件を取捨選択条件設定装置4に入力する。
【0079】
この入力情報から、検索文作成部7は、検索パラメータとして検索キー特徴量ベクトルの組K={kx,ky,kz}と特徴量ごとの重みW={wx,wy,wz}を作成する。
【0080】
まず、検索キー特徴量ベクトルの組K={kx,ky,kz}は、本実施形態では、オブジェクトA,B,Cの各特徴量ベクトルを平均することで作成する。
【0081】
【数6】
Figure 0003686802
【0082】
が得られる。
【0083】
次に、特徴量ごとの重みW={wx,wy,wz}は、オブジェクトA,B,Cの特徴量ベクトルのばらつき具合いと、データベースに格納されている全てのオブジェクトの特徴量ベクトルのばらつき具合いを比較し、ばらつきが少ない特徴量が重要視されていると判断することによって作成する。ばらつき具合いは、標準偏差を用いて比較することができる。
【0084】
例えば、特徴量j=x,y,zにおけるn個のオブジェクトの特徴量毎の標準偏差の平均は、
【0085】
【数7】
Figure 0003686802
【0086】
で求めることができる。(式(5)の根号中のΣは、オブジェクトO(すなわち、オブジェクトA、B、C)についての和である。)この式(5)を用いて、オブジェクトA,B,Cの標準偏差の平均と、データベースに格納されている全てのオブジェクトの標準偏差の平均を求め、その比が一番小さいものが、特徴量ベクトルのばらつき度合いが小さいものとすることができる。これらの標準偏差の計算は、検索文作成部7において実行される。いま、特徴量x,y,zの順でばらつき度合いが小さかった場合には、wxに大きな値を与え、wzに小さい値を与える。
【0087】
このように生成された検索パラメータが、仮説検索パラメータとして検索結果表示部10に渡される。検索結果表示部10が表示装置3にオブジェクトを表示するとき、2次元的な表示面上で特徴量毎の座標軸を用いてオブジェクトの特性を表示するため、各特徴量ベクトルを何らかの関数を用いて1次元の数値(1つの座標軸上の座標として表現することができる数値)に統合する(スカラーで表現する)必要がある。この数値を各特徴量の類似度と呼ぶ。
【0088】
オブジェクトOの各特徴量と検索キーKの特徴量との類似度dx,dy,dzをマンハッタン距離関数
【0089】
【数8】
Figure 0003686802
【0090】
で求めると、上記の例では、
【0091】
【数9】
Figure 0003686802
【0092】
という結果が得られる。式(6)、式(7)の計算は、検索結果表示部10が実行する。
式(7)のAdxという形式の記号は、オブジェクトAの特徴量xと検索キーKの特徴量xとの間の類似度を表す。なお、議論を簡単にするために、式(7)の類似度の計算には、式(5)によって各特徴量に与えられるべき重みは、すべて1として計算されている。
【0093】
検索パラメータにおいて、特徴量ベクトルのばらつき度合いが小さかった、すなわち重みWの値が大きかったのが特徴量xとyだったとすると、利用者に対する表示は図10のようになる。図10は、検索キーKと各オブジェクトとの間のマンハッタン距離を示す図である。
【0094】
本実施形態においては、1次検索によって表示面に表示されたオブジェクトから、利用者が要求オブジェクトとして選択したオブジェクトの特徴を有する検索キーを検索パラメータに従って定義する。次に、当該選択したオブジェクトの特徴量毎の特徴量値のばらつきを標準偏差によって判定し、標準偏差値の小さな特徴量に大きな重みを与える。
【0095】
次に、式(1)にしたがって各オブジェクトの特徴量と検索キーとの間の類似度dを特徴量毎に計算する。それによって、通常はベクトルの形式で記述される各特徴量が1次元数値で記述される。その結果、m個の特徴量(例えば、画像の場合には色、形状、大きさ・・・等)によって特徴付けられているオブジェクトの特徴は、m個の類似度d1、d2、d3・・・dmによって記述される。
【0096】
いま、1次検索によって検索されたオブジェクトの重要な特徴を表示するために表示面上に定義される特徴量空間の次元数をp(本実施形態ではp=2)とするとき、標準偏差値の小さな順に上位p個の特徴量によってその特徴量空間を構成する。そして、その表示面上に(その特徴量空間上に)、1次検索されたオブジェクトの特徴を表示する。その表示においては、利用者が選択した要求オブジェクトの最も重要なp個の特徴について、1次検索された全てのオブジェクトの当該p個の特徴量の類似度が表示面上の座標として表示される。
【0097】
図10の実施例では、利用者が重視している(標準偏差が小さい)特徴量はxとyであり、それぞれのオブジェクトの特徴量xと検索キーKの特徴量xとの類似度dx、特徴量yと検索キーの特徴量yとの間の類似度類似度dyの組(dx,dy)を座標として、各オブジェクトの重要な特徴量が表示されている。図10においては、オブジェクトA、B、Cが相互に近い位置にあって、検索キー(座標原点)に近くにある。したがって、このときの検索パラメータは、比較的適切であったと判断される。しかし、この検索パラメータを2次検索に使用できるか、否かは、オブジェクトA、B、Cと検索キーとの間の距離(類似度)が予め定められている範囲内にあるか、否かによって定められる。もし、オブジェクトA、B、Cと検索キーとの間の距離(類似度)が予め定められている範囲内にない場合には、利用者は更に取捨選択条件を更新して、新たな検索条件にしたがって、表示面上にオブジェクトと検索キーを表示する。このような処理を、オブジェクトA、B、Cと検索キーとの間の類似度が予め定められている範囲内になるまで繰り返す。
【0098】
このようにして、利用者自身が難解な検索パラメータを設定する必要がなく、利用者にとって直感的に理解しやすい「オブジェクトの取捨選択」による検索指示でシステムに適切な検索パラメータを与えることができる。
【0099】
また、利用者が取捨選択条件を入力する際に、どのオブジェクトが「類似」であり、どのオブジェクトが「非類似」であるかを明確化することによって、利用者の試行錯誤の回数を少なくするすることができる。
【0100】
最後に、本発明のデータベース検索装置は、図示されていない情報処理装置の制御によって動作する。その情報処理装置は、図示されていない記録媒体に記録されている制御プログラムに従ってデータベース検索装置を制御する。
【0101】
その制御プログラムには、初期検索パラメータで生成された検索文を用いてデータベースを1次検索し、1次検索によって得られた1次検索結果を利用者に対して表示し、利用者が表示された1次検索結果に対して取捨選択条件を入力し、入力された取捨選択条件に基づいて第2の検索パラメータを計算し、当該第2の検索パラメータに基づいて作成された検索文を用いて2次検索を実行するデータベース検索処理を実行するための手順が記述されている。
このプログラムは、データベース検索装置に、
第2の検索パラメータに応じて1次検索結果の表示形式を変更して利用者に表示させ、利用者が、表示形式が変更された1次検索結果を見て第2の検索パラメータが所望のオブジェクトを得るために適正であるか、否かを判断して前記取捨選択条件を修正して再入力すると、入力された取捨選択条件に基づいて第3の検索パラメータを計算させ、前記第3の検索パラメータに応じて1次検索結果の表示形式を変更して利用者に表示させ、利用者が、表示形式が変更された1次検索結果を見て第3の検索パラメータが所望のオブジェクトを得るために適正であるか、否かを判断して前記取捨選択条件を修正して入力すると、入力された取捨選択条件に基づいて第4の検索パラメータを計算させ、これを繰り返して最終的に利用者が所望のオブジェクトを得るために適正であると判断した検索パラメータを用いて検索文を作成させ、その検索文によってデータベースを2次検索させる手順が記載されている。
【0102】
【発明の効果】
上述のように、本発明のデータベース検索方法およびその装置においては、1次検索によって検索されたオブジェクトの特徴を、利用者が重要と考える特徴量を座標軸として表示面に表示し、表示面上の距離によって利用者が視覚的に当該重要な特徴量に関するオブジェクト間の類似性、およびオブジェクトと検索キーとの間の類似性を目視して検索パラメータの適、不適を判断することにより、次の効果を有する。
1)利用者自身が難解な検索パラメータを設定する必要がなく、人間にとって直感的に理解しやすい「オブジェクトの取捨選択」による検索指示で適切な検索パラメータをシステムに与えることができる。
2)利用者が取捨選択条件を入力をする際、どのオブジェクトが「類似」オブジェクトであるか、どのオブジェクトが「非類似」オブジェクトであるかを明確化するすることができ、それによって利用者の試行錯誤の回数を少なくすることができる。
【0103】
本発明のデータベース検索装置には、オブジェクト表示にキャッシュメモリを用いることによって、利用者が取捨選択条件を入力する試行錯誤の段階で、計算コストのかかるデータベースへの問い合わせを少なくし、処理を高速化することができるという効果を有する。
【図面の簡単な説明】
【図1】従来の「利用者が自分で検索文を生成するデータベース検索方法」の流れを説明するための図である。
【図2】従来の「利用者が取捨選択条件を入力することによってシステムが検索文を生成するデータベース検索方法」の流れを説明するための図である。
【図3】従来の「利用者が取捨選択条件を入力することによってシステムが検索文を生成するデータベース検索方法」の問題点を指摘するための図である。
【図4】図3におけるブラックボックス部分でどのような処理が行われているかを示し、従来手法の問題点の原因を説明するための図である。
【図5】本発明の実施形態を説明するための図である。
【図6】本発明の動作を説明するフローチャートである。
【図7】本発明の初期検索パラメータによる1次検索結果の表示例を説明する図である。
【図8】本発明の仮説検索パラメータによる1次検索結果の表示例を説明する図である。
【図9】本発明の正式検索パラメータによる2次検索結果の表示例を説明する図である。
【図10】検索キーKと各オブジェクトとの間のマンハッタン距離を示す図である。
【符号の説明】
1 オブジェクト検索装置
2 初期検索条件設定装置
3 表示装置
4 取捨選択条件設定装置
5 初期検索条件入力部
6 取捨選択条件入力部
7 検索文作成部
8 データベース検索部
9 データベース
10 検索結果表示部
11 キャッシュメモリ
31 例示オブジェクト格納部
32、32A 検索部
33 表示部[0001]
BACKGROUND OF THE INVENTION
The present invention De Database inspection Search Relates to law and equipment.
[0002]
[Prior art]
As a conventional database search method, there is a method in which a user adjusts a search key and a search parameter by himself and creates a search sentence and accesses the database. FIG. 1 is a flowchart for explaining the flow of a conventional database search method. In the following description, data (documents, images, music, etc.) stored in a database is referred to as an “object”.
[0003]
In a conventional database, there are n feature quantities O = {o 1 , o 2 ,… O n }, The user can specify a vector K = {k 1 , k 2 , ... k n } And specify the following as search parameters.
1) Number of required answers q required by users
By specifying the number of requested answers, it is specified how many items with high similarity are required.
2) Weight W = {w for each feature quantity 1 , w 2 , ... w n }
By specifying the weight for each feature amount, it is specified how much the feature amount is to be emphasized.
3) Similarity evaluation function F = {f for each feature quantity 1 , f 2 , ... f n }
As the similarity evaluation function F, for example, a Manhattan distance function or a Euclidean distance function is used.
[0004]
In FIG. 1, a user designates a search parameter and creates a search sentence (step S1). The database search unit calculates the similarity of the search key K for each object in the database, and determines the top q items in descending order of similarity (step S2). Q objects having a high degree of similarity are presented to the user as similar objects (step S3). The user determines whether there is an object he wants (step S4). If not, the user returns to the process of step S1 in which the user adjusts the search key and the search parameter to create a search sentence. The processing from step S1 to step S4 is repeated until the object desired by the user is displayed.
[0005]
In step S2, the similarity d between the object O and the search key K stored in the database is calculated from the following equation (1).
[0006]
[Expression 2]
Figure 0003686802
[0007]
Where f i (K i , O i ) Is the feature value k i And feature amount o i It is a similarity evaluation function between.
In the following description, the above conventional database search method is referred to as a first conventional technique.
[0008]
Japanese Patent Laid-Open No. 6-96134 discloses an image search method that simplifies adjustment of a search key and search parameters performed by a user compared to the first prior art. Hereinafter, the image search method described in this publication is referred to as a second prior art.
[0009]
Also in the second prior art, the search key is defined to represent the attribute value of the object (several partial images characterizing the image). That is, an object characterized by a plurality of attribute values is expressed in a vector format of 1 or 0 meaning the presence or absence of each attribute, and a search key is similarly expressed in a vector format of attribute values of 1 or 0.
[0010]
In the second prior art, an appropriate search key or search can be performed by inputting a primary search result searched with initial search parameters and selection conditions such as “similar” or “dissimilar” by the user. Adjust the parameters. FIG. 2 is a flowchart for explaining the flow of such a database search method.
[0011]
According to the flowchart of FIG. 2, the user first searches for a search key having the same attribute as the desired attribute among the attributes constituting the attribute value vector of the target image (in the embodiment, one feature amount is 1, The difference between the attribute value vector of each image and the search condition is calculated for all the images stored in the database using the search key whose feature amount is 0) as the search condition, and the images with the smallest difference are calculated in order. The database is first searched (step S1). The search system displays the primary search result (step S2). The user inputs a selection condition into the search system and selects a similar image and a dissimilar image from the display images (step S3). The search system then extracts attribute value vectors from the selected similar and dissimilar images, calculates the dissimilarity of similar images and the dissimilarity of similar images, and calculates the display distance defined as the sum of them. A new search sentence is generated for performing a secondary search in the database in order from the smallest display distance calculated (step S4). The search system performs a secondary search (step S5) and displays the search result (step S6). The user determines whether there is a target image from the secondary search result (step S7). If there is no target image, the search system removes the current display object from the display target image, and repeats the processing from step S3 to step S7 until the target image is searched or until there are no display target images. .
[0012]
[Problems to be solved by the invention]
The advantage that the system automatically generates a search key and a search parameter in the conventional database search method described above is, for example, in the case of searching using a common feature of two images (AND of two images) as a search key. The following adverse effects can be considered.
[0013]
FIG. 3 is a block diagram for explaining a problem of the conventional database search method, and FIG. 4 is a diagram showing an example of the contents of the search unit of FIG.
The example object storage unit 31 in FIG. 3 is a memory that stores example objects A, B, C, D, and E prepared by the search system for the initial search. The search unit 32 is an information processing unit that executes a search program. The display unit 33 is a display control device and a display device that display search results. Since the user cannot see the configuration of the search unit 32 and the contents of its operation, this part is a black box for the user.
[0014]
In the search system of FIG. 3, the user designates A and B as request objects (an object having an AND of the features of A and B as a request object), and automatically generates a search key or the like to perform a search. As a result, it is assumed that the system outputs objects in the order of C, E, D, A, and B as the top five cases. However, for the user, there are cases where the required objects A and B and E or D closer to the requested object are necessary objects than C, which is the highest rank.
[0015]
In order to clarify the reason why such a contradiction occurs, FIG. 4 shows an example of the contents of the search unit 32 (black box portion) that is automatically processed by the system. The search unit 32A in FIG. 4 represents the two feature quantities of the searched objects A, B, C, D, and E two-dimensionally.
[0016]
In the figure, if the user designates A and B as request objects, the generated search key is indicated by a cross. Since the similarity is higher as the distance from the search key is shorter, the similarity calculation result in this case is higher in the order of C, E, D, A, and B as described above.
[0017]
This is because the request object or search parameter originally given to the system by the user was not appropriate. That is, the positions of the request object A and the request object B in the xy space of FIG. 4 are separated in both the x direction and the y direction. This means that the request object A and the request object B do not have a common feature as far as the feature quantities x and y are concerned. As described above, in order to search for an object having an AND of the characteristics of the request object A and the characteristics of the request object B that do not have a common characteristic, the feature quantity vector of the request object A and the feature quantity of the request object B Even if the average κ with the vector is used as a search key, the search key κ has characteristics similar to neither the request object A nor the request object B. Therefore, even if an object that is close to the search key κ is searched, the object obtained by the search is an object that has neither the characteristics of the request object A nor the characteristics of the request object B. This is the reason why the object C, which is not similar to any of the request objects A and B, is searched in a higher order than the objects E and D in the search shown in FIGS.
[0018]
The conventional database search method has the above-mentioned problem, but the search unit 32 is a black box, and the user can not know the automatic generation process in the black box, so that the user can avoid the above problem. It is difficult to carry out the method.
[0019]
An object of the present invention is to provide a database search method capable of causing a search system to generate appropriate search parameters so that the object requested by the user can be obtained easily and quickly by solving the above-mentioned problems. It is to provide such a device.
[0020]
[Means for Solving the Problems]
In order to achieve the above object, the database search method is:
A first step of performing a primary search for an object in a database storing objects to be searched using a search sentence generated based on an initial search parameter;
A second step of displaying the search result of the primary search in a display format according to an initial search parameter;
The user calculates the second parameter from the selection condition changed so that the object similar to the feature quantity of the requested object is searched by looking at the primary search result displayed in the second step, or the user A third step of correcting the second parameter so that an object similar to the feature quantity of the requested object is searched by looking at the primary search result whose display format has been changed;
A fourth step of changing and displaying a display format of the primary search result according to the second search parameter;
When the user looks at the display and determines that the second search parameter is not appropriate for obtaining the desired object, the process returns to the third step, and when it is determined that it is appropriate, it is determined that it is appropriate. A fifth step of newly creating a search sentence using the second search parameter;
A sixth step of performing a secondary search using a newly created search statement;
Have
In the fourth step, one coordinate axis of the display surface of the search result is associated with one feature amount of each object, the value of the one feature amount is associated with the coordinate on the one coordinate axis, and the object is characterized. Different feature quantities are made to correspond to different coordinate axes of the display surface, and p feature quantities of the object are made to correspond to the coordinates of the vector space defined by the p coordinate axes of the display face, and the p feature quantities are made. The feature of the object is expressed on the display, and the correspondence between the value of the one feature amount and the coordinates on the one coordinate axis is similar to the one feature amount for the set feature amount. Degree is the one coordinate axis When the vector space defined so as to correspond to the upper coordinates and defined on the display surface is called a feature amount space, the object retrieved by the primary search is characterized by n feature amounts. , The object is p-dimensional (p <n) When displaying in the feature amount space, p features in order of decreasing variation in the value of each feature amount that characterizes a plurality of requested objects specified by the user as selection criteria among the n feature amounts. Amount, most heavy Essential A p-dimensional feature space constituted by p feature quantities is displayed on the display surface, and the most important p feature quantities of an object retrieved by a primary search are displayed in the p-dimensional feature quantity space. Displayed as the coordinates of the object,
In the third step, the user designates the position in the feature amount space of the search key set based on the current search parameter by looking at the arrangement of the object displayed on the display surface as the request object. If it is determined that the search parameter is not appropriate for obtaining the desired object that is not within the desired distance range on the display surface with respect to the position of the object to be selected, the selection condition is added to the new selection condition including the logical operation. To change.
[0021]
In this database search method, one coordinate axis on the display surface is made to correspond to one feature quantity of each object, and the value of the one feature quantity is associated with the coordinates on the one coordinate axis axis to characterize the object. The feature quantity is associated with different coordinate axes of the display surface, and the p feature quantities of the object are associated with the coordinates of the vector space defined by the p coordinate axes of the display surface, The feature of the object is expressed on the display surface, and the value of the one feature amount and the one locus Head axis The degree of similarity of the one feature amount with respect to the set feature amount is defined as the one coordinate position corresponding to the upper coordinate. Head axis Define to correspond to the coordinates above.
[0023]
The variation in the value of each feature value described above can be evaluated by the standard deviation of the value of each feature value for a plurality of request objects.
[0024]
Whether or not the search parameter is appropriate can be determined based on whether or not the search key generated based on the search parameter is similar to the request object. For this purpose, the number of feature quantities characterizing the object is n, and the similarity evaluation function F for each feature quantity is represented by {f 1 , f 2 , ... f n } And weight W = {w for each feature quantity 1 , w 2 , ... w n } Is determined in proportion to the standard deviation, the similarity d between the search key K set by the user and each object O is evaluated by the following equation.
[0025]
[Equation 3]
Figure 0003686802
[0026]
Where k i , O i (1 ≦ i ≦ n) is the i-th feature amount of the search key K and the object O. F i (K i , O i ) Is the feature value k i And feature amount o i It is a similarity evaluation function between.
[0027]
The database search apparatus of the present invention includes initial search condition input means, sorting selection condition input means, search sentence creation means, database search means, and search result display means.
The initial search condition input means is for the user to set and input an initial search condition.
The selection selection condition input means is used by the user to input an object selection condition for the searched object.
The search sentence creation means inputs the initial search condition and generates a search sentence based on the initial search parameters at the time of the primary search, inputs the feature quantity of the object searched for the primary search, and calculates the standard deviation for each feature quantity. In the secondary search, an object similar to the feature quantity of the requested object is searched by looking at the displayed primary search result and giving a large weight to each feature quantity in ascending order of the standard deviation. The selection condition changed to is input from the selection condition input means, hypothesis search parameters are calculated from the changed selection condition, and the user Theory When it is determined that the search parameter is appropriate for searching for an object having the characteristics of the requested object, a search sentence based on the search parameter is generated using the hypothetical search parameter as a formal search parameter.
The database search means searches the database object using the generated search sentence and outputs the object information of the searched object.
The search result display means displays the result of the primary search to the user in a display format according to the initial parameter, and the primary search result according to the hypothesis search parameter. The Similarity for each feature amount between the object that is changed and displayed to the user, and is retrieved by the primary retrieval result, and the retrieval key set based on the hypothesis retrieval parameter input from the retrieval sentence creation means In order to evaluate the degree, the similarity evaluation function of the scalar quantity is calculated by the predefined calculation of the feature quantity described in the vector format of the object and the feature quantity described in the search key vector format. Then, the similarity of the feature quantity between the object and the search key is calculated from the calculation result and the weight of each feature quantity, the similarity degree is set as a one-dimensional display of the feature quantity of the object, and the weight A certain number of features with large of Each is associated with a coordinate axis on the display surface, and the similarity for each feature amount is displayed as coordinates on the coordinate axis corresponding to the feature amount on the display surface.
[0030]
The search result display means has a cache memory for storing object information searched by the database means. With this cache memory, it is possible to ensure the real-time property necessary for the user to specify the search condition through trial and error.
[0031]
[Action]
The present invention does not require the user to set difficult search parameters by using the object searched by the initial search, and makes an appropriate secondary search by “object selection” that is easy to understand intuitively for humans. It is intended to generate search parameters for search. Here, “easy to understand intuitively for human beings” means “displayed on the display surface”.
[0032]
For this purpose, first, the characteristics of the object searched by the initial search are displayed on the display surface. However, since the display surface is a two-dimensional space, the number of feature quantities that can be easily displayed on the display surface is two. Alternatively, even if it is expressed in three dimensions, the number of feature quantities that can be expressed is at most three. (Hereinafter, the number of feature quantities displayed on the display surface is referred to as p.) Therefore, when displaying the features of an object characterized by a feature quantity larger than p on the display surface, the features that characterize the object are displayed. Among the quantities, an important feature quantity is selected, and the feature of each object is displayed on the display surface for the selected feature quantity.
[0033]
In this case, which feature is important is determined as follows.
Among objects searched by the initial search (primary search), a plurality of objects similar to the object requested by the user are selected as request objects. Then, for each of the plurality of request objects, the feature value variation (or standard deviation) is calculated for each feature value. Thus, a large importance (weight) is given in ascending order of variation.
[0034]
In this way, the p feature quantities having the largest weight are associated with the p coordinate axes on the display surface to form a p-dimensional feature quantity space, and the p feature quantities of the object retrieved in the initial search are formed. Can be displayed on the display surface.
[0035]
Usually, the content of a feature quantity (feature quantity value) is described as a vector, and this vector is called a feature quantity vector. However, in the present invention, since one feature amount corresponds to one coordinate axis on the display surface (that is, each feature amount value is displayed as coordinates on one coordinate axis), each feature amount is displayed. It is necessary to express not a multi-dimensional vector format but a one-dimensional vector, that is, a scalar format. In the present invention, the feature quantity vector corresponds to the feature quantity standard corresponding to the coordinate origin (first embodiment) or the similarity to the search key (second embodiment) set based on the search parameter. I am letting. Accordingly, the smaller the distance between two points in the feature amount space, the more similar the important features of the object displayed by the two points. In this way, important features of the object searched by the initial search can be intuitively displayed on the display surface.
[0036]
The user changes the search parameters by entering various selection conditions while looking at the display surface, and the search key automatically generated on the display surface based on each search parameter and the user specifies on the display surface Whether the current search parameter is appropriate or not is determined depending on whether the distance (similarity) to the requested object is within a predetermined range. Then, when the distance between the search key and the requested object specified on the display surface by the user is within a predetermined range, the search parameter at that time is used as an appropriate search parameter to create a secondary search sentence. used.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0038]
FIG. 5 is a block diagram of an embodiment of the database search apparatus of the present invention. FIG. 6 is a flowchart for explaining the operation of the present invention. FIG. 7 is a diagram illustrating a display example based on the initial search parameters. FIG. 8 is a diagram showing a display example based on the hypothesis search parameter. FIG. 9 is a diagram illustrating an example of the secondary search result.
[0039]
The database search apparatus according to the present invention includes an object search apparatus 1, an initial search condition setting apparatus 2, a display apparatus 3, and a selection condition setting apparatus 4. The object search device 1 searches for an object stored in the database with respect to a search key designated by the user or an initial search key presented as a reference when the system is started up. The object search apparatus 1 also searches for an appropriate search parameter for the secondary search according to the selection condition input by the user, and performs a secondary search based on the search parameter determined to be appropriate by the user. The initial search condition setting device 2 sets the search key designated by the user or the initial search key presented by the search system as a reference. The display device 3 displays the search result searched by the object search device 1.
[0040]
The selection selection condition setting device 4 inputs a user selection condition for the object obtained as a result of the search. As the selection condition, a logical operation condition such as AND / OR between the plurality of selection conditions can also be used. Further, it is possible to instruct or input a search result object displayed on the display using a pointing device (cursor key, mouse, etc.). For example, an object search device that makes it easy for a human to intuitively understand selection conditions such as “similar” or “dissimilar” to an object requested by the user with respect to the object displayed on the display 1 can be entered. In addition, an AND or OR condition can be specified between each selection condition. As a result, more flexible search condition specification is possible.
[0041]
The object search device 1 includes an initial search condition input unit 5, a selection condition input unit 6, a search sentence creation unit 7, a database search unit 8, a database 9, a search result display unit 10, and a cache memory 11.
[0042]
The initial search condition input unit 5 functions as an interface for inputting the initial search condition output from the initial search condition setting device 2 and inputting the condition to the search sentence creation unit 4.
[0043]
The selection selection condition input unit 6 functions as an interface for inputting the selection selection condition output from the selection selection condition setting device 4 and inputting the condition to the search statement creation unit 4.
[0044]
The search sentence creation unit 7 applies an average initial search parameter to the search key designated by the user and the initial search key presented by the system as a reference during the initial search (at the initial stage, the weight for each feature value). Is set to an average value), a primary search sentence is generated, and after the initial search, a search parameter and a search sentence are automatically generated from the input selection conditions. As will be described in detail in connection with the operation of this embodiment described later, the search statement creation unit 7 of the present invention includes a hypothesis search parameter for searching for an object similar to a request object from selection conditions that are easy for humans to understand. Formal search parameters and search sentences for secondary search are automatically generated. The search sentence creation unit 7 also obtains the average of the standard deviations of the feature amounts of all objects stored in the database at the time of the initial search (see the second embodiment).
[0045]
The database search unit 8 searches the object by accessing the database based on the search sentence generated by the search sentence creation unit 7. The database 9 stores search target objects.
[0046]
The search result display unit 10 stores the object information searched by the database search unit 8 in the cache memory 11 and displays the object information on the display device 3 based on the hypothesis search parameter generated by the search sentence creation unit 7. To display. At this time, for example, 2 to 3 feature quantities that can optimally express the search parameters on the display device are selected and displayed on the display device 3 in a 2 to 3 dimension display.
[0047]
As a result of the primary search, when the feature value of the selected object is displayed as an object arrangement (object position or relative position between objects) on a flat display surface, the feature value displayed on the display surface If the space is not selected to optimally display the search conditions specified by the search parameters, the user can see how much each object satisfies the search conditions by looking at the arrangement of objects on the display surface. I can't intuition.
[0048]
For example, if an object is characterized by features such as color, shape, size and price , Consider a case where the user intends to search with an emphasis on shape and size. In this case, when the result of the primary search is displayed on the display device, if the feature quantity of each object is displayed on the display surface with the color and price as the xy coordinate axes of the display surface, The arrangement only represents the similarity of the object evaluated from the attributes of color and price, and does not display the similarity regarding the shape and size requested by the user using the search parameters.
[0049]
In contrast, if the feature quantity of each object is displayed on the display surface with the shape and size as the coordinate axes of the display surface, the arrangement of objects on the display surface is evaluated from the attributes of shape and size. Therefore, the similarity of the shape and size requested by the user by the search parameter is displayed.
As described above, since the display surface is a two-dimensional space, the number of independent feature amounts that can be displayed on the display surface is two, and at most three. Therefore, when the object is characterized by four or more feature quantities, the feature quantity space representing the most important search condition among the search conditions requested by the user by the search parameter is displayed on the display surface. However, it is necessary to obtain the optimal search parameter for secondary search.
[0050]
As described above, when there are a plurality of feature amounts, each feature amount is converted into a one-dimensional numerical value (amount represented by coordinates on one coordinate axis) and displayed so as to optimally express the search parameter. It is necessary to select a feature amount. (Refer to the operation of the first and second embodiments). Also, Kohonen T. "The Self-Organizing Map", Proc. IEEE, 1990, Vol. 78, no. 9, pp. A self-organizing map shown in 1464-1480 can be used to display a dimensionally reduced one.
[0051]
The search result display unit 10 operates as follows. First, object information searched by the database search unit 5 is stored in a cache memory 9 (described later), and hypothesis search parameters created by the search statement creation unit 4 are received in real time. This hypothesis search parameter is created based on the selection condition input via the selection condition input unit 9. Next, the search result display unit 10 uses what happens to the secondary search tendency when a secondary search is performed based on the hypothesis search parameter, and whether it is appropriate to specify an AND condition or an OR condition. Information necessary for creating a new search sentence for the secondary search can be appropriately presented to the user on the display device 3 so that the user can make a determination.
[0052]
The cache memory 11 holds primary search object information. The search result display unit 1 uses the object information of the primary search stored in the cache memory 9 when presenting the search parameter information. Thereby, it is possible to ensure the real-time property necessary for the user to specify the search condition through trial and error.
[0053]
As a first embodiment of the present invention, the present invention will be described for a case where a database storing objects characterized by three feature quantities x, y, z is accessed.
Here, the three feature amounts x, y, and z are, for example, three attributes such as a color, a shape, and a dimension that characterize a certain object. Normally, each feature quantity is displayed as a feature quantity vector by representing a plurality of independent contents (feature quantity values) in a vector format. For example, the feature color is expressed in vector format by evaluating the red, green, and blue components contained in the object color, such as (red numerical value, green numerical value, blue numerical value). The The shape is expressed in a vector format, for example, (symmetry, ratio of sides not specified by symmetry, angle not specified by symmetry). The dimension is expressed in a vector format, for example, (length, direction, weight of a specific side).
[0054]
However, in the present invention, in order to display the feature quantity of the first searched object in a two-dimensional space called a display surface, one coordinate axis on the display surface is made to correspond to one feature value of each object. For this purpose, each feature amount is expressed by a one-dimensional numerical value. Then, the numerical value of each feature amount is associated with the coordinate on the corresponding coordinate axis.
[0055]
Since this method for converting the vector display of each feature value into a scalar (one-dimensional numerical value) display is described in detail in the second embodiment, each feature value is expressed by a one-dimensional numerical value in this embodiment. The case where it represents is demonstrated.
[0056]
The first embodiment is implemented as follows using the database search device of FIG.
For the search key designated by the user via the initial search condition setting device 2 or the initial search key presented by the system as a reference, the search statement creation unit 7 applies an average initial search parameter to perform a primary search. A sentence is generated and a primary search is performed in the database search unit 8 (step S1 in FIG. 6).
[0057]
The search result display unit 10 includes five objects A (9, 9, 4), B (1, 3, 8), C (8, 6, 5), D among objects obtained by the primary search. Attention is paid to (2, 8, 4) and E (3,4, 7). Here, the numerical value in parentheses of each object is a numerical value obtained by evaluating each feature value of the object with a scalar (or a one-dimensional numerical value).
[0058]
The obtained primary search result is displayed on the display device 3 by the search result display unit 10 based on the initial search parameters (step S2). In the initial search parameters of this embodiment, the feature vector is such that x and y are emphasized, and the display to the user is as shown in FIG.
[0059]
Next, the user inputs a selection condition such as “similar” or “dissimilar” to the request object to the selection condition input unit 6 using the mouse for the displayed primary search result. . In addition, the user designates an AND or OR condition among a plurality of selection conditions (step S3). In this embodiment, the user selects A and B as “similar” objects, and inputs the AND condition of both in the sense of “I want an object that is similar to both”.
[0060]
This input information is passed to the search statement creation unit 7 via the sorting selection condition input unit 6, and the search statement creation unit 7 determines which feature quantity of the object is most important by the user. The calculation is performed, search parameters corresponding to the input information are generated, and passed to the search result display unit 10 as hypothesis search parameters (step S4).
[0061]
When the feature amount values of the objects A and B are compared with the display of FIG. 7, the variation of the feature amount x of the objects A and B is 9-1 = 8. The value variation of the feature amount y of the objects A and B is 9-3 = 6, and the value variation of the feature amount z is | 4-8 | = 4. That is, it is understood that z, y, and x are in ascending order of variation (dispersion). This means the following.
[0062]
When the user designates a feature common to the objects A and B as the feature of the request object, the user usually requests an object similar to the objects A and B in all feature quantities. Absent. For example, if an object is characterized by x = color, y = shape, z = size, and the user is requesting AND of objects A and B, the user will be, for example, shape and size May be similar to objects A and B, but the color may be ignored. In such a case, the fact that the user has selected the objects A and B among the objects displayed on the display device as a result of the primary search means that the objects A and B are viewed from the user's eyes. Is similar in shape and size to the requested object. Therefore, the feature value value of the shape of the object A and the feature value value of the shape of the object B have almost the same value, and as a result, the variation of the feature value of the shape should be small. Further, the feature amount value of the size of the object A and the feature amount value of the size of the object B have almost the same value, and as a result, the variation of the feature amount value of the size should be small.
[0063]
In other words, when the variation of each feature value of a plurality of objects is calculated, for a feature value with a small variation in feature value (for example, shape), the plurality of objects are similar. become. As described above, the variation in the feature amounts of the plurality of objects can be a measure for measuring the similarity of the plurality of objects with respect to the feature amounts.
[0064]
When this is applied to the objects A and B selected by the user as request objects, the user requests an object similar to the objects A and B with respect to the feature amounts y and z, and the feature amount x is This is not an important feature amount for the user.
[0065]
As described above, the variation in the feature values of the objects A and B increases in the order of z, y, and x. The similarity of the feature value x is used to evaluate the similarity between the objects A and B specified by the user. It can be said that the features y and z similarities are more important than the characteristics. Therefore, hypothesis search parameters are generated that place more importance on y and z than the initial search parameters (step S4).
[0066]
Based on the hypothesis search parameter, the display of the primary search result is changed in the search result display unit 10 (step S5). In the hypothesis search parameter of the present embodiment, y and z are regarded as important for the feature vector, and the display to the user is as shown in the upper part of FIG.
[0067]
By this display, the user can judge whether the hypothesis search parameter is good or bad (step S6), and can correct the selection condition and the AND / OR condition and input again (step S3).
[0068]
Whether the hypothesis search parameter is good or bad is determined as follows. At this stage, since an AND search is instructed, the search key is an average of A and B and is displayed as K. When a search is performed in this state, the search sentence is as shown in the middle part of FIG. 8, and the similarity is in the order close to K. Therefore, the search result is as shown in the lower part of FIG. Even if y and z having relatively small variation in feature vector values are used, the distance between A and B is large on the display surface, and even if the search is performed as it is, the result is that the similarity of C is the highest. I understand that.
[0069]
Here, the user can understand that it is better to perform a search that increases the similarity between D and E than C by switching to OR search instead of AND search. As a result of repeated re-inputs, the hypothetical search parameter finally obtained is used as a formal search parameter, a secondary search sentence is generated in the search sentence creation unit 7 (step S7), and a secondary search is performed in the database search unit 8. (Step S8).
[0070]
The obtained secondary search result is displayed on the search result display unit based on the formal search parameters (step S9). As a result of switching to the OR search, the display to the user is as shown in the upper part of FIG. (In the figure, the dotted line extending diagonally upward is a perpendicular bisector of the position of object A and the position of object B and represents a similar area of OR search.) The search sentence is similar to the middle part of FIG. Since the degrees are in order from A or B, the search result is as shown in the lower part of FIG.
[0071]
Thereby, the user can easily obtain an object closer to the requested one. The user determines whether there is a desired object among the objects displayed on the display surface (step S10). If there is no desired object among the objects displayed on the display surface, the processing from step S3 to step S10 is repeated. If there is a desired object, the database search process is terminated.
[0072]
Next, a second embodiment of the database search method of the present invention will be described.
The first embodiment described above is a database search method when each feature amount is described by a scalar. However, the database search method according to the present embodiment is a database search when each feature amount is described by a vector. Is the method. The method of this embodiment is also executed according to the processing flow shown in FIG. 6 using the database search apparatus of FIG.
[0073]
The database contains three features
[0074]
[Expression 4]
Figure 0003686802
[0075]
Is stored, and the database retrieval apparatus accesses this database.
[0076]
Now, as a primary search result, the following seven objects are displayed on the display device 3.
[0077]
[Equation 5]
Figure 0003686802
[0078]
was gotten. Among these, the user visually selects A, B, and C as “similar”, and inputs the selection condition that specifies all of A, B, and C by the AND condition to the selection condition setting device 4. .
[0079]
From this input information, the search statement creation unit 7 sets a search key feature vector set K = {k as a search parameter. x , k y , k z } And the weight for each feature value W = {w x , w y , w z }.
[0080]
First, a set of search key feature vectors K = {k x , k y , k z } Is created by averaging the feature vectors of the objects A, B, and C in this embodiment.
[0081]
[Formula 6]
Figure 0003686802
[0082]
Is obtained.
[0083]
Next, weight W = {w for each feature amount x , w y , w z } Compares the degree of variation in the feature vectors of the objects A, B, and C with the degree of variation in the feature vectors of all objects stored in the database, and features with little variation are regarded as important. Create by judging. The degree of variation can be compared using the standard deviation.
[0084]
For example, the average of the standard deviation for each feature quantity of n objects in the feature quantity j = x, y, z is
[0085]
[Expression 7]
Figure 0003686802
[0086]
Can be obtained. (Σ in the root sign of equation (5) is the sum for object O (ie, objects A, B, C).) Using this equation (5), the standard deviation of objects A, B, C And the average of the standard deviations of all the objects stored in the database, and the one with the smallest ratio can be regarded as having a small variation in the feature vector. The calculation of these standard deviations is executed in the search sentence creation unit 7. If the degree of variation is small in the order of feature quantities x, y, and z, x Gives a large value to w z Gives a small value.
[0087]
The search parameters generated in this way are passed to the search result display unit 10 as hypothesis search parameters. When the search result display unit 10 displays an object on the display device 3, the characteristic of the object is displayed on the two-dimensional display surface using the coordinate axis for each feature amount. It is necessary to integrate (expressed as a scalar) into a one-dimensional numerical value (a numerical value that can be expressed as coordinates on one coordinate axis). This numerical value is called the similarity of each feature quantity.
[0088]
Similarity d between each feature quantity of the object O and the feature quantity of the search key K x , D y , D z The Manhattan distance function
[0089]
[Equation 8]
Figure 0003686802
[0090]
In the above example,
[0091]
[Equation 9]
Figure 0003686802
[0092]
The result is obtained. The search result display unit 10 executes the calculations of Expression (6) and Expression (7).
Ad in equation (7) x The symbol of the form represents the similarity between the feature quantity x of the object A and the feature quantity x of the search key K. In order to simplify the discussion, the weights to be given to the respective feature quantities according to the equation (5) are calculated as 1 in the calculation of the similarity in the equation (7).
[0093]
In the search parameter, if the degree of variation of the feature quantity vector is small, that is, if the weights W are large in the feature quantities x and y, the display for the user is as shown in FIG. FIG. 10 is a diagram illustrating the Manhattan distance between the search key K and each object.
[0094]
In the present embodiment, a search key having the characteristics of an object selected as a request object by the user from the objects displayed on the display surface by the primary search is defined according to the search parameter. Next, the variation of the feature value for each feature value of the selected object is determined based on the standard deviation, and a large weight is given to the feature value having a small standard deviation value.
[0095]
Next, the similarity d between the feature quantity of each object and the search key is calculated for each feature quantity according to the equation (1). Thereby, each feature amount normally described in the form of a vector is described as a one-dimensional numerical value. As a result, the feature of an object that is characterized by m feature quantities (for example, in the case of an image, color, shape, size,...) Is m similarity d. 1 , D 2 , D Three ... d m Described by.
[0096]
Now, when the dimension number of the feature amount space defined on the display surface for displaying the important features of the object searched by the primary search is p (p = 2 in this embodiment), the standard deviation value The feature amount space is configured by the top p feature amounts in ascending order of. Then, on the display surface (in the feature amount space), the feature of the object that has been primarily searched is displayed. In the display, for the most important p features of the requested object selected by the user, the similarity of the p feature values of all the objects that have been first searched is displayed as coordinates on the display surface. .
[0097]
In the embodiment of FIG. 10, the feature values emphasized by the user (small standard deviation) are x and y, and the similarity d between the feature value x of each object and the feature value x of the search key K. x , Feature amount y and search key K The degree of similarity between the feature quantity y and d y Pair (d x , D y ) As coordinates, important feature quantities of each object are displayed. In FIG. 10, the objects A, B, and C are close to each other and close to the search key (coordinate origin). Therefore, it is determined that the search parameters at this time are relatively appropriate. However, whether or not this search parameter can be used for the secondary search is whether or not the distance (similarity) between the objects A, B and C and the search key is within a predetermined range. Determined by. If the distance (similarity) between the objects A, B, and C and the search key is not within a predetermined range, the user further updates the selection condition and sets a new search condition. To display the object and the search key on the display surface. Such a process is repeated until the similarity between the objects A, B, and C and the search key falls within a predetermined range.
[0098]
In this way, it is not necessary for the user to set difficult search parameters, and appropriate search parameters can be given to the system by a search instruction based on “object selection” that is easy for the user to understand intuitively. .
[0099]
In addition, when a user enters a selection condition, by clarifying which objects are “similar” and which are “dissimilar”, the number of trial and error times for the user is reduced. can do.
[0100]
Finally, the database search apparatus of the present invention operates under the control of an information processing apparatus not shown. The information processing apparatus controls the database search apparatus according to a control program recorded on a recording medium (not shown).
[0101]
In the control program, the database is subjected to a primary search using the search sentence generated with the initial search parameters, the primary search result obtained by the primary search is displayed to the user, and the user is displayed. A selection condition is input to the primary search result, a second search parameter is calculated based on the input selection condition, and a search sentence created based on the second search parameter is used. A procedure for executing a database search process for executing a secondary search is described.
This program is stored in the database search device.
The display format of the primary search result is changed according to the second search parameter and displayed to the user. The user looks at the primary search result whose display format has been changed and the second search parameter is desired. When it is determined whether or not it is appropriate to obtain an object and the selection condition is corrected and re-inputted, a third search parameter is calculated based on the input selection condition, and the third search parameter is calculated. The display format of the primary search result is changed according to the search parameter and displayed to the user. The user sees the primary search result whose display format has been changed, and the third search parameter obtains the desired object. If it is determined whether it is appropriate or not and the selection condition is corrected and input, the fourth search parameter is calculated based on the input selection condition, and this is repeated and finally used. The desired object To create a search text using the search parameters judged to be appropriate in order to obtain the extract, which contains instructions to search the secondary database by the search statement.
[0102]
【The invention's effect】
As described above, in the database search method and apparatus of the present invention, the feature of the object searched by the primary search is displayed on the display surface with the feature quantity that the user considers important as the coordinate axis. The following effects can be obtained when the user visually determines the similarity between objects related to the important feature quantity and the similarity between the object and the search key by judging the appropriateness and inappropriateness of the search parameters. Have
1) It is not necessary for the user himself to set difficult search parameters, and appropriate search parameters can be given to the system by a search instruction based on “object selection” that is easy to understand intuitively for humans.
2) When a user inputs a selection condition, it is possible to clarify which objects are “similar” objects and which are “dissimilar” objects. The number of trial and error can be reduced.
[0103]
The database search apparatus according to the present invention uses a cache memory for object display, thereby reducing the number of inquiries to the database that requires calculation cost at the stage of trial and error when the user inputs selection conditions, and speeds up the processing. It has the effect that it can be done.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a flow of a conventional “database search method in which a user generates a search sentence by himself / herself”;
FIG. 2 is a diagram for explaining a flow of a conventional “database search method in which a system generates a search sentence when a user inputs a selection condition”;
FIG. 3 is a diagram for pointing out a problem of a conventional “database search method in which a system generates a search sentence when a user inputs a selection condition”;
4 is a diagram illustrating what processing is performed in a black box portion in FIG. 3, and is a diagram for explaining a cause of a problem of a conventional method.
FIG. 5 is a diagram for explaining an embodiment of the present invention.
FIG. 6 is a flowchart for explaining the operation of the present invention.
FIG. 7 is a diagram for explaining a display example of a primary search result by an initial search parameter according to the present invention.
FIG. 8 is a diagram illustrating a display example of a primary search result based on a hypothesis search parameter according to the present invention.
FIG. 9 is a diagram illustrating a display example of a secondary search result based on a formal search parameter according to the present invention.
FIG. 10 is a diagram illustrating a Manhattan distance between a search key K and each object.
[Explanation of symbols]
1 Object search device
2 Initial search condition setting device
3 Display device
4. Selection condition setting device
5 Initial search condition input part
6 Selection condition input part
7 Search sentence creation part
8 Database search part
9 Database
10 Search result display area
11 Cache memory
31 Example object storage
32, 32A search part
33 Display

Claims (6)

初期検索パラメータに基づいて生成された検索文を用いて、検索対象のオブジェクトを蓄積しているデータベースのオブジェクトを1次検索する第1のステップと、
前記1次検索の検索結果を前記初期検索パラメータに応じた表示形式で表示する第2のステップと、
利用者が第2のステップで表示された1次検索結果を見て要求オブジェクトの特徴量に類似したオブジェクトが検索されるように変更した取捨選択条件から第2の検索パラメータを計算し、または表示形式が変更された1次検索結果を見て要求オブジェクトの特徴量に類似したオブジェクトが検索されるように変更した取捨選択条件から第2の検索パラメータを修正する第3のステップと、
1次検索結果の表示形式を前記第2の検索パラメータに応じて変更して表示する第4のステップと、
利用者が表示を見て、前記第2の検索パラメータが所望のオブジェクトを得るために適正でないと判断した場合、第3のステップに戻り、適正であると判断した場合、適正であると判断した前記第2の検索パラメータを用いて検索文を新規に作成する第5のステップと、
新規に作成された検索文を用いて2次検索を実行する第6のステップと、
を有し、
前記第4のステップでは、検索結果の表示面の1つの座標軸を各オブジェクトの1つの特徴量に対応させ、前記1つの特徴量の値を前記1つの座標軸上の座標に対応付け、前記オブジェクトを特徴付ける異なる特徴量を前記表示面の異なる座標軸に対応させて、オブジェクトのp個の特徴量を、表示面のp個の座標軸によって定義されるベクトル空間の座標に対応させて前記p個の特徴量に関する当該オブジェクトの特徴を表面上に表現し、さらに、前記1つの特徴量の値と前記1つの座標軸上の座標との対応を、設定された当該特徴量に対する、前記1つの特徴量の類似度が、前記1つの座標軸上の座標に対応するように定義し、表示表面上に定義された前記ベクトル空間を特徴量空間と呼称するとき、1次検索によって検索されたオブジェクトがn個の特徴量によって特徴付けられる場合において、該オブジェクトをp次元(p<n)特徴量空間に表示するときには、前記n個の特徴量のうち利用者が取捨選択条件として指定した複数の要求オブジェクトを特徴づける各特徴量の値のばらつきが小さい順のp個の特徴量である、最も重なp個の特徴量によって構成されるp次元特徴空間を前記表示面に表示し、1次検索によって検索されたオブジェクトの、前記最も重要なp個の特徴量を、前記p次元特徴量空間における当該オブジェクトの座標として表示し、
前記第3のステップでは、利用者が表示面に表示されているオブジェクトの配置を見て現在の検索パラメータに基づいて設定される検索キーの当該特徴量空間における位置が、利用者が要求オブジェクトとして指定するオブジェクトの位置に対して表示面上の所望の距離範囲内になく当該検索パラメータが所望のオブジェクトを得るために適正でないと判断した場合、論理演算を含む新たな取捨選択条件に、取捨選択条件を変更する
データベース検索方法。
A first step of performing a primary search for an object in a database storing objects to be searched using a search sentence generated based on an initial search parameter;
A second step of displaying the search result of the primary search in a display format corresponding to the initial search parameter;
The user calculates or displays the second search parameter from the selection condition changed so that the object similar to the feature quantity of the requested object is searched by looking at the primary search result displayed in the second step. A third step of correcting the second search parameter from the changed selection condition so that an object similar to the feature quantity of the requested object is searched by looking at the primary search result whose format has been changed;
A fourth step of changing and displaying a display format of the primary search result according to the second search parameter;
When the user looks at the display and determines that the second search parameter is not appropriate for obtaining the desired object, the process returns to the third step, and when it is determined that it is appropriate, it is determined that it is appropriate. A fifth step of newly creating a search sentence using the second search parameter;
A sixth step of performing a secondary search using a newly created search statement;
Have
In the fourth step, one coordinate axis on the display surface of the search result is associated with one feature amount of each object, the value of the one feature amount is associated with the coordinate on the one coordinate axis, and the object is different feature amounts in correspondence with different coordinate axes of the display surface, the p number of feature quantities of the object, the p number of feature amounts in correspondence with the coordinates of the vector space defined by p pieces of coordinate axes of the display surface characterized The feature of the object is expressed on the surface, and the correspondence between the value of the one feature quantity and the coordinates on the one coordinate axis is set to the similarity of the one feature quantity to the set feature quantity. Obuji but the one defined to correspond to the coordinates on the seat Shimegijiku, when called feature space the vector space defined on the display surface, which has been searched by the primary search When transfected is characterized by n feature amounts, when displaying those the object to p-dimensional (p <n) feature space, the user of the n feature amount is designated as sift condition is a p number of feature quantity order fluctuation is small in the characteristic amounts of the values characterizing the plurality of request object, displaying a p-dimensional feature space defined on the display surface by the most important p number of feature quantity Displaying the most important p feature quantities of the object searched by the primary search as coordinates of the object in the p-dimensional feature quantity space;
In the third step, the position in the feature amount space of the search key set based on the current search parameter when the user looks at the arrangement of the object displayed on the display surface is determined as the requested object by the user. When it is determined that the search parameter is not appropriate for obtaining the desired object that is not within the desired distance range on the display surface with respect to the position of the specified object, selection is performed according to a new selection condition including a logical operation. Database search method to change the condition.
前記各特徴量の値のばらつきは、前記複数の要求オブジェクトについて各特徴量の値の標準偏差と、データベースに格納されたオブジェクト全体についての各特徴量の値の標準偏差の比をもって評価する、請求項1に記載の方法。  The variation in the value of each feature value is evaluated by a ratio of a standard deviation of each feature value value for the plurality of request objects and a standard deviation of each feature value value for the entire object stored in the database. Item 2. The method according to Item 1. オブジェクトを特徴ける特徴量数をnとし、特徴量ごとの類似度評価関数Fを[f1,f2,・・・fn]とし、特徴量ごとの重みW=[w1,w2・・・wn]を前記標準偏差に比例して定めたとき、検索パラメータに基づいて設定された検索キーKと各オブジェクトOとの類似度をdとし、検索キーKとオブジェクトOとのi番目の特徴量をそれぞれki、oi(1≦i≦n)とし、特徴量kiと特徴量oiとの間の類似度評価関数をf1(ki、oi)とするとき、類似度をdを次式
Figure 0003686802
で評価する、請求項2に記載の方法。
Object Keru with said feature amount number and n the, [f1, f2, ··· fn ] a similarity evaluation function F of each feature quantity and the weight W = per feature quantity [w1, w2 ··· wn] Is set in proportion to the standard deviation, the similarity between the search key K set based on the search parameter and each object O is d, and the i-th feature quantity between the search key K and the object O is respectively If ki, oi (1≤i≤n) and the similarity evaluation function between the feature quantity ki and feature quantity oi is f1 (ki, oi), the similarity is expressed as follows.
Figure 0003686802
The method according to claim 2, wherein
検索対象のオブジェクトを蓄積しているデータベースのオブジェクトを検索するデータベース検索装置であって、
利用者が初期検索条件を設定して入力するための初期検索条件入力手段と、
検索されたオブジェクトに関して利用者がオブジェクトの取捨選択条件を入力するための取捨選択条件入力手段と、
1次検索時には、前記初期検索条件を入力して初期検索パラメータに基づく検索文を生成し、1次検索されたオブジェクトの特徴量を入力して特徴量毎の標準偏差を求め、それぞれの特徴量に前記標準偏差の小さい順に大きな重みを与え、2次検索時には、利用者が表示された1次検索結果を見て要求オブジェクトの特徴量に類似したオブジェクトが検索されるように変更した取捨選択条件を前記取捨選択条件入力手段より入力し、変更された取捨選択条件から仮説検索パラメータを計算し、利用者が、前記検索パラメータが、要求オブジェクトの特徴を有するオブジェクトを検索するのに適正であると判定したときには前記仮説検索パラメータを正式な検索パラメータとして該検索パラメータに基づく検索文を生成する検索文生成手段と、
前記生成された検索文を用いて前記データベースのオブジェクトを検索し、検索されたオブジェクトのオブジェクト情報を出力するデータベース検索手段と、
1次検索の結果を前記初期パラメータに応じた表示形式で利用者に対して表示し、前記仮説検索パラメータに応じて1次検索結果変更して利用者に対して表示し、1次検索結果によって検索されたオブジェクトと、前記検索文作成手段から入力された仮説検索パラメータに基づいて設定された検索キーとの間の特徴量毎の類似度を評価するために、当該オブジェクトのベクトル形式で記述されている特徴量と検索キーのベクトル形式で記述されている特徴量との予め定義されている演算によってスカラー量の類似度評価関数を計算し、その計算結果と前記それぞれの特徴量の重みから当該オブジェクトと検索キーとの間の特徴量の類似度を計算して、その類似度を当該オブジェクトの当該特徴量の1次元表示とし、重みが大きい所定数の特徴量各々を表示面上の座標軸に対応させて、前記特徴量毎の類似度を、表示面上の当該特徴量に対応する座標軸上の座標として表示する検索結果表示手段と
を有するデータベース検索装置。
A database search device that searches for objects in a database that stores objects to be searched,
An initial search condition input means for a user to set and input an initial search condition;
A selection condition input means for the user to input an object selection condition for the searched object;
At the time of the primary search, a search sentence based on the initial search parameters is generated by inputting the initial search condition, the feature amount of the primary searched object is input, the standard deviation for each feature amount is obtained, and each feature amount is obtained. the standard deviation less gives greater weight to the order of, at the time of secondary search, selection criteria the user object similar to the feature amount of the requested object to look at the primary search results displayed is changed to be searched the input from the selection condition input means, calculating temporary Setsuken search parameters from the modified selection conditions, user, the hypothesis search parameter, to retrieve an object having the features of request object when it is determined that the proper generates retrieval statement based on the search parameters the hypothesis search parameters as a formal search parameters search sentence generation means ,
Database search means for searching for an object in the database using the generated search statement and outputting object information of the searched object;
The primary search result is displayed to the user in a display format corresponding to the initial parameter, the primary search result is changed and displayed to the user according to the hypothesis search parameter, and the primary search result is displayed. In order to evaluate the similarity for each feature quantity between the object searched by the search key set based on the hypothesis search parameter input from the search sentence creation means, the object is described in the vector format A similarity evaluation function of the scalar quantity is calculated by a predefined calculation of the feature quantity described and the feature quantity described in the search key vector format, and the calculation result and the weight of each feature quantity are calculated. The similarity of the feature quantity between the object and the search key is calculated, and the similarity is used as a one-dimensional display of the feature quantity of the object, and a predetermined number of features with high weights are obtained. In correspondence to each of the amount of coordinate axes on the display surface, a database retrieval system and a retrieval result displaying means for a similarity of each of the feature quantity is displayed as coordinates on the coordinate axis corresponding to the feature amount on the display surface .
検索結果表示手段は、データベース検索手段で検索されたオブジェクト情報を蓄積するキャッシュメモリを有する、請求項4に記載の装置。  5. The apparatus according to claim 4, wherein the search result display means has a cache memory for storing object information searched by the database search means. 請求項1から請求項3のいずれかに記載のデータベース検索方法をコンピュータに実行させるためのデータベース検索プログラムを記録した記録媒体。  A recording medium recording a database search program for causing a computer to execute the database search method according to any one of claims 1 to 3.
JP31690499A 1999-11-08 1999-11-08 Database search method, apparatus, and recording medium recording database search program Expired - Fee Related JP3686802B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31690499A JP3686802B2 (en) 1999-11-08 1999-11-08 Database search method, apparatus, and recording medium recording database search program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31690499A JP3686802B2 (en) 1999-11-08 1999-11-08 Database search method, apparatus, and recording medium recording database search program

Publications (2)

Publication Number Publication Date
JP2001134599A JP2001134599A (en) 2001-05-18
JP3686802B2 true JP3686802B2 (en) 2005-08-24

Family

ID=18082217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31690499A Expired - Fee Related JP3686802B2 (en) 1999-11-08 1999-11-08 Database search method, apparatus, and recording medium recording database search program

Country Status (1)

Country Link
JP (1) JP3686802B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636734B2 (en) * 2001-06-04 2011-02-23 Kddi株式会社 INFORMATION SEARCH SYSTEM, INFORMATION SEARCH METHOD, INFORMATION SEARCH PROGRAM, RECORDING MEDIUM RECORDING INFORMATION SEARCH PROGRAM, OUTPUT INFORMATION SELECTION DEVICE, OUTPUT INFORMATION SELECTION METHOD, OUTPUT INFORMATION SELECTION PROGRAM, AND RECORDING MEDIUM RECORDING OUTPUT INFORMATION SELECTION PROGRAM
JP2002373177A (en) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd Method and device for retrieving similar object
US7010515B2 (en) 2001-07-12 2006-03-07 Matsushita Electric Industrial Co., Ltd. Text comparison apparatus
JP3719666B2 (en) * 2001-07-12 2005-11-24 松下電器産業株式会社 Document verification device
EP2141657A4 (en) 2007-04-18 2015-04-08 Univ Tokyo Feature value selection method, feature value selection device, image classification method, image classification device, computer program, and recording medium
JP5436871B2 (en) * 2009-01-16 2014-03-05 Kddi株式会社 Music visualization device, music visualization method, and music visualization program
JP2012064200A (en) 2010-08-16 2012-03-29 Canon Inc Display controller, control method of display controller, program and recording medium
CN109710793B (en) * 2018-12-25 2021-08-17 科大讯飞股份有限公司 Hash parameter determination method, device, equipment and storage medium
CN112269796B (en) * 2020-10-23 2023-12-22 北京浪潮数据技术有限公司 Data retrieval method and related device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3356519B2 (en) * 1993-03-12 2002-12-16 株式会社東芝 Document information retrieval device
JP3609225B2 (en) * 1996-11-25 2005-01-12 日本電信電話株式会社 Similar object retrieval device
JP3586549B2 (en) * 1997-12-08 2004-11-10 株式会社日立製作所 Image search method and apparatus

Also Published As

Publication number Publication date
JP2001134599A (en) 2001-05-18

Similar Documents

Publication Publication Date Title
JP5229744B2 (en) Image classification device and image classification program
US7065521B2 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
JP3671008B2 (en) Customer self-service subsystem for context cluster discovery and verification
US7171617B2 (en) System and method for fitness evaluation for optimization in document assembly
US7194461B2 (en) Document and information retrieval method and apparatus
EP0666534A2 (en) Interactive rule based system
US20050036712A1 (en) Image retrieving apparatus and image retrieving program
JP3686802B2 (en) Database search method, apparatus, and recording medium recording database search program
US7246312B2 (en) System and method for fitness evaluation for optimization in document assembly
Stober et al. Musicgalaxy: A multi-focus zoomable interface for multi-facet exploration of music collections
US7542948B2 (en) Genetic design method and apparatus
JPH11120180A (en) Data retrieval device and storage medium recording data retrieval program
US7369972B2 (en) System, method, and program product for re-parameterizing three dimensional models represented as Catmull-Clark subdivision surfaces
JP3638310B2 (en) Case reasoning support device
JP2004005303A (en) Image search system, image searching method, and image search program
US7602976B2 (en) Compressible earth mover&#39;s distance
CN110210572B (en) Image classification method, device, storage medium and equipment
JP2003157285A (en) Information retrieving device
Ghosh et al. VisExPreS: A visual interactive toolkit for user-driven evaluations of embeddings
JP2000048041A (en) Data retrieval system and device to be used for the system
US7739260B1 (en) Database search system using interpolated data with defined resolution
JPH10111869A (en) Device and method for information classification
JPH08263522A (en) Image retrieving method
JP2003076717A (en) System and method for information retrieval, information retrieval program and recording medium
JPH04184678A (en) Information retriever

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050606

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090610

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090610

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100610

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100610

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110610

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120610

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130610

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees