JP3615439B2 - 類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 - Google Patents
類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 Download PDFInfo
- Publication number
- JP3615439B2 JP3615439B2 JP31632799A JP31632799A JP3615439B2 JP 3615439 B2 JP3615439 B2 JP 3615439B2 JP 31632799 A JP31632799 A JP 31632799A JP 31632799 A JP31632799 A JP 31632799A JP 3615439 B2 JP3615439 B2 JP 3615439B2
- Authority
- JP
- Japan
- Prior art keywords
- tree structure
- node
- index
- stored
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は,類似特徴量の検索方法および装置に係り,特に,画像,映像,モーション,音楽,音声などのマルチメディアデータに対する類似検索システムの実現やテキストの類似検索システム,または,インターネット上の画像のように,大量で,その量が日々増加するような対象に対し,高速な類似検索を実現するための類似特徴量の検索方法および装置に関する。
【0002】
【従来の技術】
画像,映像,音楽などのマルチメディアデータに対する類似検索とは,検索対象としてデータベース中に蓄えられた画像や音楽から抽出された1次元以上の多次元特徴量と,検索キーとして与えられた画像や音楽から抽出された多次元特徴量との間で,距離計算等を行うことにより類似度を求め,最も類似度の高い順に上位k件(kは1以上の整数)を求めるような検索を指す。
【0003】
ここで,特徴量としては,色,模様,構造,形状などの画像等,マルチメディア情報の内容特徴や,地図座標や,テキスト内のキーワード重み等がある。
【0004】
最も単純な類似検索では,検索キーから得られる特徴量とデータベース内の全特徴量との類似計算が検索実行時に行われる。この検索の高速化のために,特願平10−203583号および特願平11−229459号で示される事前類似計算結果等を用いる手法がある。
【0005】
この手法は,非常に高速な検索手法であるが,データベースに存在することが保証されていない特徴量を検索キーとして類似検索を行う場合には,最近傍検索装置によってデータベース内の特徴量に最も類似度の高い特徴量を求める必要がある。この最近傍検索装置として,領域等分割型木構造索引を用いる方法がある。
【0006】
領域等分割型木構造索引とは,領域の体積を軸毎にnk (nのk乗,nは次元毎の等分割数,kは特徴量点の次元数)分割を行う方法であり,特に領域の体積を2k 乗分割する領域2k 等分割型木構造索引(多次元4分割型木構造索引)がよく用いられる。
【0007】
また,この領域2k 等分割型木構造索引のうち,2次元の特徴量点に対して軸毎に2分割する索引を4分木(Quad Tree)索引,3次元の特徴量に対して軸毎に2分割する索引を8分木(Oct Tree)索引と呼ぶ。また,これらの領域等分割型木構造索引を総称して,Quad Tree索引と呼ぶこともある。
【0008】
図12は,領域に含まれる点の数を1までとした場合の,2次元の特徴量に対する領域等分割型木構造索引の構築の例を示している。
【0009】
図12(A)において,点1が挿入された後,点2を挿入したとき,領域内に点が2つ存在するので,X軸,Y軸ともに2等分され,4つの領域に分割される。分割後の領域bには,2つの点(点1および点2)が存在するので,領域bをX軸,Y軸ともに2等分し,さらに4つの領域に分割する。ここで各領域に含まれる点の数が1となったので,さらなる分割は不要である。
【0010】
次に,点3から点6まで挿入を行うが,挿入位置の領域の点の数は1なので,分割は不要である。次に,点7を挿入すると,領域cの点の数が2となったので,領域cをX軸,Y軸ともに2分割し,4つの領域に分ける。その結果,点の数が2以上の領域がなくなったので,さらなる分割は不要である。
【0011】
図12(B)は,挿入終了後の状態を木構造にしたものである。根ノードaは平面全体に対応している。また,ノードbは領域bに,ノードcは領域cに,各々対応している。また,葉ノードに書かれている数字は(A)中の同番号の点に対応しており,数字が記入されていないノードは領域内に点が存在しないことを意味している。
【0012】
ここで,木構造上の節をノードと呼び,下位の階層に節もしくは点があるようなノードを中間ノード,下位の階層に点のみしかないノードを葉ノード,下位の階層にノードも点も存在しないノードを空ノードと呼ぶ。また,木構造の最上位のノードを根ノードと呼ぶ。
【0013】
図13は,2次元の特徴量に対する領域等分割型木構造索引を用いて,最近傍点を検索する例を示している。
【0014】
図13(A)および(B)に点Aを挿入する場合には,点Aの座標が,領域a内の4つの領域のどの領域に含まれるかの判定を行う。図13(A)の場合は,領域cがその領域にあたる。次に,領域c内でどの領域に含まれるかの判定を行う。図13(A)の場合は,点6が存在する領域dがこれにあたり,領域dは図13(B)より,葉ノードであることがわかっているので,領域dに含まれる点6を最近傍点として返却する。
【0015】
また,点Bの最近傍点を求める検索の場合には,領域cを求める過程は,点Aの場合と同様であるが,領域c内でどの領域に含まれるかの判定を行うと,領域eがその領域にあたる。領域eは図13(B)より,空のノードであることがわかっているので,最近傍点が存在しない旨の返却を行う。
【0016】
【発明が解決しようとする課題】
従来の領域等分割型木構造索引による最近傍検索は,以下のような問題がある。
【0017】
(1)検索結果が存在しないという問題
検索キーとして与えられたベクトルが含まれる領域を探索する際に,木構造索引中の各階層において,含まれる領域の判定を行うが,含まれると判定された領域が空ノードの場合,最近傍点が存在しないと判定されてしまい,最近傍点の返却ができない。この場合,最近傍点を探し出すためには,例えば上位のノードの配下にある空ノードではない全ての葉ノードについて網羅的に最近傍点であるかどうかを判定するための距離計算が必要になるため,検索性能が著しく悪化することになる。
【0018】
(2)検索性能の問題
索引を構築する対象のベクトルの数が非常に多くなった場合,木構造が非常に深くなり,検索速度が悪化する。また,索引を構築する対象のベクトル群のデータが非常に偏っている場合,つまり,データの分布として特定の点の近傍に非常に多数の点が存在する場合,木構造索引は,各ノードに含まれる点の最大数が決まっているため,多段にわたって分割を繰り返す。このとき,ノード内の点の数は最大数以下にする必要があるため,木構造が非常に深くなり検索速度が悪化する。
【0019】
(3)構築速度の問題
点の数が非常に多くなった場合,木構造も深くなるので,木構造の構築に非常に多大な時間がかかる。
【0020】
(4)検索精度の問題
検索時に点を挿入する過程と同様に検索する方式は,隣接する領域との距離計算を行っていないため,検索キーが挿入されるべき葉ノードの領域内の点と最近傍点である保証がない。すなわち,挿入されるべき葉ノードの領域に隣接する他の領域に最近傍点が存在する可能性があるため,検索精度が良くない場合がある。
【0021】
本発明は上記問題点の解決を図り,類似特徴量の検索に適した効率のよい検索を実現するための手段を提供することを目的とする。
【0022】
【課題を解決するための手段】
本発明は,上記課題を解決するために,以下の手段を有する。
【0023】
(1)検索結果を必ず返却する仕組み
予め,多次元空間におけるベクトルとして表現される特徴量(特徴量ベクトル)を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を有し,領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却するような類似特徴量の検索方法において,
木構造索引の構築時に,
木構造の各階層において,下位の階層にノードが存在しない全ての空ノードのそれぞれに対して,同一階層内のノードで下位の階層にノードが存在する他のノード群の中で,距離的に最も近いノードの下位ノードを参照するように,空ノードからリンクを張り,
木構造索引の検索時に,
検索キーが空ノードに対応する領域のベクトルであっても,リンクを辿ることで最下位階層の葉ノードを求め,その葉ノード内で最も距離的に近い特徴量ベクトルを,最近傍点として返却する。
【0024】
このことにより,検索キーとして与えられたベクトルが含まれる領域を探索する際に,木構造索引中の各階層において,含まれる領域の判定を行うが,含まれると判定された領域が空ノードの場合でも,リンク先のノードを辿ることで最近傍点の返却が可能になる。
【0025】
また,空ノードからリンクを張るノードを求める方法としては,空ノードの領域の中心点に相当するベクトルと,下位の階層にノードが存在するノードの領域の中心点に相当するベクトルとの間で,距離計算を行い,最も距離的に近いノードをリンク先とするような方法や,空ノードの領域の中心点に相当するベクトルと,下位の階層にノードが存在するノード配下に含まれるベクトル群の重心との間で,距離計算を行い,最も距離的に近いノードをリンク先とするような方法をとる。
【0026】
また,構築後で空ノードからのリンクも全て張られている状態の木構造索引にデータ(ベクトル)を追加する際には,木構造の根からベクトルを追加する最下位階層の葉ノードまで辿る際に通過する全ての中間ノードにおいて,空ノードからのリンクが張られているノードが最も距離的に近いノードでなくなってしまった場合に,距離の再計算を行い,最も距離的に近いノードを求め,リンクを張り直す。このことより,データを追加後の木構造索引を利用した検索において,リンクが正しいノードに対して張り直されているので,正しい類似特徴量の検索が可能になる。
【0027】
(2)検索性能の向上
木構造索引の構築時に,木構造上の途中のノードを複数抽出し,ショートカット(近道)として登録し,
検索時に,検索キーベクトルが,ショートカットとして登録されているリンクに対応する多次元空間内の領域の範囲に含まれるベクトルであるかどうかの判定を行い,領域内のベクトルの場合,ショートカットとして登録してあるノードを基点として,木構造を辿ることで最近傍点を求め,領域外のベクトルの場合,木構造の根から辿ることで最近傍点を求め,最近傍点を返却する。
【0028】
このことにより,検索キーとして与えられたベクトルが,ショートカットとして登録されているノードに含まれる場合に,木構造の途中のノードを基点とする検索が可能となり,木構造が非常に深いときなどには,木構造の根を基点とする検索よりも非常に高速に検索することが可能になる。
【0029】
ショートカットとして登録するノードを抽出する方法としては,以下の(a) 〜(d) の方法またはこれらのいくつかを組み合わせた方法を用いて,データ分布に従い,より高速化が図れるようにショートカットの登録を行う。なお,n1 〜n4 は,索引構築時に与えられた設定値または予めシステム内で定められた設定値である。
(a) 木構造の階層が根からn1 段以下の全てのノード,またはn1 段以下の特定の部分木内の全てのノードをショートカットとして抽出する。
(b) 木構造の階層が根からn2 段おきの階層中の全てのノードをショートカットして抽出する。
(c) 木構造の階層の深い順にn3 %のノードをショートカットして抽出する。
(d) 木構造の中のノードの中で充填率(空ノードでないノード数)の高い順にn4 %のノードをショートカットして抽出する。
【0030】
また,空ノードからのリンク先を,上記ショートカット先にすることで,木構造の部分木配下の探索をさらに高速化することが可能になる。
【0031】
(3)木構造索引の構築の高速化
木構造索引にベクトルを大量に追加する場合には,個々のベクトルを木構造に追加する度にリンクのメンテナンスを行わず,全てのベクトルを追加し終わった後,一括して空ノードからのリンクを張る。このことにより,データを1件追加する度にリンクのメンテナンスを行う必要がないので,木構造索引の構築が高速になる。
【0032】
また,予め,木構造索引を構築する特徴量ベクトルの集合を分割しておき,分割された特徴量ベクトルの集合それぞれにおいて木構造索引を構築し,分割構築された木構造索引を統合し,一つの木構造索引とする。このことにより,複数の計算機において,分割された特徴量ベクトルに対する木構造索引を同時に構築し統合することで,索引構築の並列性を高め,構築の高速化が図れる。
【0033】
また,並列に木構造索引を構築する際に,リンクの生成は一切行わず,統合した結果の木構造索引においてのみリンクの生成を一括して行うことで,さらに構築の高速化が図れる。
【0034】
(4)検索精度の向上
木構造索引の構築時に,葉ノードに,その葉ノードと隣接する他の葉ノードを記憶しておき,
木構造索引の検索時に,葉ノードと,その葉ノードの隣接葉ノードの中から,最も近い特徴量を求め,それを最近傍点として返却する。
【0035】
このことにより,木構造を辿る際に,領域間の距離計算をすることなく,近傍特徴量を求めることができるので,検索が高速でかつ検索精度が高い。
【0036】
【発明の実施の形態】
図1に,本発明に係る類似特徴量検索装置の構成例を示す。図1において,1はCPUおよびメモリなどからなる類似特徴量検索装置,2はユーザが検索を行うためのディスプレイやキーボードなどを備えた検索指示装置,3は検索を高速化するための索引を構築する索引構築部,4は検索指示装置2または他のプログラムからの検索要求に対して索引を検索する索引検索部,5は検索対象となる特徴量のデータが格納されたデータベース(DB),6はデータベース5中の特徴量を高速に検索するための索引を格納する索引格納装置,7は木構造索引のノードを途中から検索できるようにするためのショートカット・リストを格納するショートカット・リスト格納装置を表す。
【0037】
索引構築部3の木構造索引構築部31は,データベース5内の特徴量を用いて木構造索引を構築する。この木構造索引の構築では,葉ノードに,その葉ノードと隣接する他の葉ノードを記憶しておく。ここで,木構造の構築を高速化するために,例えば,予め木構造索引を構築する特徴量ベクトルの集合を分割しておき,分割された特徴量ベクトルの集合のそれぞれについて,複数のプロセッサを用いて木構造索引を別々に構築し,その後,分割構築された木構造索引を統合して一つの木構造索引とするようにしてもよい。
【0038】
次に,空ノードリンク生成部32は,木構造索引構築部31により生成された木構造索引の各中間ノードを参照し,空ノードに対するリンクを生成する。この結果を索引格納装置6に格納する。
【0039】
さらに検索の高速化を可能にするために,ショートカット生成部33を起動すると,まず,ショートカット抽出部331が動作し,索引格納装置6に格納された木構造索引に対して,ショートカットとなり得るノードの候補(ノードのリスト)を抽出する。ショートカット登録部332は,ショートカット抽出部331により抽出されたノードをショートカットして,ノードIDやノードの領域の座標値や索引内の該当ノードへのポインタなどの情報を持つショートカット・リストを生成し,ショートカット・リスト格納装置7に格納する。
【0040】
検索時に,検索要求入力部41に検索要求が入力されると,まず,検索キーがショートカット利用判定部42に通知される。ショートカット利用判定部42は,ショートカット・リスト格納装置7に格納されたショートカット・リストを参照し,検索キーがショートカットの利用が可能なものであるかどうかの判定を行う。
【0041】
ショートカットの利用が可能であれば,ショートカット・リスト内に登録されている該当ノードへのポインタを用いて,そのノードを先頭に索引の探索を開始することを索引検索部43に指示する。ショートカットの利用が可能でない場合,索引の最上位のノード(根ノード)から探索を開始することを索引検索部43に指示する。
【0042】
索引検索部43は,索引格納装置6に格納された木構造索引について,指示されたノードから探索を開始し,検索キーとして与えられた特徴量との距離が最も近い類似特徴量を求める。このとき,検索キーが空ノードに対応する領域のベクトルであっても,空ノードリンク生成部32によって生成されたリンクを辿ることで最下位階層の葉ノードを求め,その葉ノード内で最も距離的に近い特徴量ベクトルを,最近傍点とする。検索結果出力部44は,索引検索部43により求めた最近傍点の類似特徴量をもとに,事前類似検索結果等を用いて検索結果を得る。
【0043】
本発明の具体的な実施の形態をさらに詳しく説明する。
【0044】
〔第1の実施の形態〕
図2および図3に基づき,索引構築時に空ノードに対するリンクを生成する方法およびリンク付きの索引を利用した検索方法を説明する。
【0045】
まず,索引にベクトルの追加を行う(S1)。追加を行う方法は従来技術と同様で,検索キーベクトルの座標が木構造中の各階層において,どの領域に含まれるかの判定を行い,含まれる領域のノード(階層)へと移動し,同様の判定を繰り返す。含まれる領域が葉ノードでかつ葉ノードにベクトルを追加できる場合,つまり,ノード内の点の数が最大数以下の場合には,葉ノードにベクトルを追加する。追加できない場合には,その領域を分割し,葉ノードに含まれていたベクトルおよび新たに追加しようとしているベクトルをその分割した領域に対して追加する処理を再帰的に行う。
【0046】
次に,空ノードヘのリンクを生成する際には,木構造内の全ての階層において以下の操作を繰り返す(S2)。
【0047】
まず,一つの階層において,下位の階層にノードが存在するような領域のノードを全て抽出する(S3)。そして,その階層における全ての空ノードに対して,以下の処理を繰り返す(S4)。抽出された空ノードでないノードの集合と各空ノードとの間で距離計算を行い,最も距離的に近いノードを,その空ノードのリンク先として,リンクを生成する(S5)。
【0048】
以上のリンク付き索引を利用して検索を行う場合には,以下の処理を行う。ただし,説明を簡単にするため,ここではショートカットはないものとする。まず,木構造の根ノードを基点として処理を開始し,現在着目しているノードは葉ノードかどうかを判定する(S11)。葉ノードでない場合,検索キーが現在着目しているノード配下のどの領域に含まれるかの判定を行い,その領域を特定する(S12)。次に,その領域は空ノードかどうかを判定し(S13),空ノードであれば,その空ノードからリンクされるノードに移動し(S14),ステップS11以下の処理を繰り返す。空ノードでなければ,配下のノードに移動し(S15),同様にステップS11以下の処理を繰り返す。
【0049】
ステップS11で,着目しているノードが葉ノードであると判定された場合,検索キーと葉ノード内のベクトルとの間で距離計算を行い,距離的に最も近いベクトルを最近傍ベクトルとして検索要求元へ返却する(S16)。
【0050】
次に,図4を用いて,距離的に最も近いノードを求める方法を説明する。この方法は,図2のステップS5で用いられる。図4(A)は,2次元ベクトル空間を軸毎に4分割する領域等分割型木構造索引の例で,領域の中心点を用いて,距離的に最も近いノードを求める方法を説明する図である。また,図4(B)は,2次元ベクトル空間を軸毎に2分割する領域等分割型木構造索引の例で,領域内の点の重心を用いて,距離的に最も近いノードを求める方法を説明する図である。
【0051】
図4(A)において,領域A,B,C,Dが下位の階層にノードが存在する領域で,空き領域Zのリンク先を求めるものとする。まず,領域A,B,C,Dの各領域の中心点は,a,b,c,dとなる。空き領域Zの中心点はzとなる。中心点zと距離的に最も近いノードを求めるために,中心点zと各空でない領域の中心点との距離計算を行う。
【0052】
距離za={ (1.75− 0.25)2 +(0.25− 0.25)2 }1/2 = 1.50
距離zb={ (1.75− 0.25)2 +(0.75− 0.25)2 }1/2 = 1.58
距離zc={ (1.75− 0.25)2 +(1.25− 0.25)2 }1/2 = 1.80
距離zd={ (1.75− 0.25)2 +(1.75− 0.25)2 }1/2 = 2.12
その結果,中心点aとの距離が最も近いため,空ノードZのリンク先はノードAとなる。
【0053】
図4(B)において,領域A,Cが下位の階層にノード(この例の場合は葉ノード)が存在する領域で,空き領域Zのリンク先を求めるものとする。まず,領域A,C内の重心を求め,それぞれa’,c’とする。空き領域Zの中心点はzとなる。中心点zと距離的に最も近いノードを求めるために,中心点zと各重心との距離計算を行う。
【0054】
距離za’={ (1.475 −0.5)2 +(0.5−0.475)2 }1/2 = 0.975
距離zc’={ (1.425 −0.5)2 +(1.325−0.5)2 }1/2 = 1.239
その結果,重心a’との距離が最も近いため,空きノードZのリンク先はノードAとなる。
【0055】
また,中心と重心を組み合わせる方式でもかまわない。この場合,例えば空きでない領域の下位の階層のうち,さらにその配下の階層が空きでないノード群の中心を点と考え重心を求め,その重心と空きノードの中心との間の距離計算を行うようにしてもよい。
【0056】
図5は,2次元ベクトル空間を軸毎に4分割する領域等分割型木構造索引において,空ノードからのリンクの例を示す図である。
【0057】
例えば,分割された領域に対して,図5(A)に示すように0から15までの数字を割り振り,配列で管理する場合の例について説明する。領域1,7,9は空ノードを表し,距離計算の結果,それぞれ領域0,3,13が最も距離的に近い領域で,その各々の領域に対してリンクが張ってある。この例におけるリンクの表現方法は,図5(B)の配列における「空ノード判定フラグ」で表現してある。フラグが負の場合には,下位の階層にノードが存在することを表し,正の場合には,同一階層中の最も距離的に近い領域の番号(配列ID)となっており,すなわちリンクを表現している。空ノードの場合には,下位階層が存在しないので,配列中の下位階層へのポインタの部分には何も入っていない。
【0058】
図5(B)では,配列IDでリンクを表現しているが,リンクを同一階層中最も距離的に近い領域が指す下位階層へのポインタそのものを,空ノードの下位階層へのポインタとしてコピーすることでリンクを表現してもかまわない。
【0059】
〔第2の実施の形態〕
図6を用いて,ショートカットを生成する方法およびショートカットを用いた検索方法を説明する。
【0060】
まず,従来方法と同様に特徴量ベクトルをもとに木構造索引を構築する(S21)。次に,木構造上の途中のノードを複数抽出し(S22),ショートカット(近道)として登録する(S23)。
【0061】
一方,木構造索引の検索時には,検索キーベクトルが,ショートカットとして登録されているリンクに対応する多次元空間内の領域の範囲に含まれるベクトルであるかどうかの判定を行う(S31)。領域内のベクトルと判定された場合には,ショートカットとして登録してあるノードを基点として検索を開始し(S32),木構造を辿ることで最近傍点を求め,返却する(S34)。領域外のベクトルと判定された場合には,木構造の根のノードを基点として検索を開始し(S33),木構造を辿ることで最近傍点を求め,返却する(S34)。
【0062】
図7を用いて,ショートカットの表現方法の例を説明する。図7(A)は,2次元ベクトル空間を軸毎に4分割する領域等分割型木構造索引において,網掛けした領域3,4,14がショートカット対象のノードの例を示している。
【0063】
ショートカットは,図7(B)のような配列として表現される。各領域を表すのは配列IDで,各領域毎にそれぞれの領域の範囲を示す各次元毎の座標情報を持つ。また,検索キーベクトルがその領域の範囲に含まれるとき,検索を開始する基点となるノードへのポインタ情報を持つ。例えば,ptr1は,領域番号3に対応するノードへのポインタであり,ptr2は,領域番号4に対応するノードへのポインタである。
【0064】
領域内のベクトルかどうかの判定は,検索キーベクトルの各次元毎に,検索キーベクトルの座標が,各軸の範囲に入っているかどうかを判定し,全て範囲内の場合,領域内のベクトルと判定され,その領域をショートカットとして採用し,そのノードを基点として検索を開始する。一つの軸でも領域外と判定された場合には,そのショートカットは利用できない。
【0065】
図8を用いて,ショートカットとして抽出するノード選択する方法を説明する。図8(A)に示すように各領域内に特徴量点が分布していたとすると,図8(B)に示すような木構造索引が構築されていることになる。
(a) 図8の例において,木構造の階層が根から2段以下の全てのノードをショートカットとして抽出する場合には,ノードb,c,d,e,fがショートカット対象となる。
(b) 図8の例において,木構造の階層が根から3段以下の部分木を全てショートカット対象とする場合には,ノードc,d,fがショートカット対象となる。
(c) 図8の例において,木構造の階層が根から2段おきの階層を全てショートカットとする場合には,ノードb,d,eがショートカット対象となる。
(d) 図8の例において,木構造の階層が根から深い順に上位20%以内をショートカットとする場合には,ノードの順番は,d,{c,f},{b,e}となるので,ノードdがショートカット対象となる。
(e) 図8の例において,木構造のノード中の充填率の高い順に上位20%以内をショートカットする場合には,ノードの順番は,d,{b,e},{c,f}となるので,ノードdがショートカット対象となる。
【0066】
例えば,上記(a) のケースで,ノードb,c,d,e,fがショートカット対象になった場合,下位のノードdの領域は,それより上位のノードcの領域の範囲に含まれ,その領域はさらに上位のノードbの領域の範囲に含まれる。そこで,図7(B)に示すようなショートカットのための配列(テーブル)では,下位のノードに対応する領域が,それより上位のノードに対応する領域よりも先に現れるようにし,ショートカットのための領域の検索は先頭から順番に行う。これにより,狭い範囲の領域へのショートカットを優先させて高速に検索することが可能になる。または,図7(B)に示すようなショートカットのための配列(テーブル)を,各階層毎にまとめて別々に作り,低い階層のものから順番にショートカットのための領域の検索を行うようにしてもよい。
【0067】
〔第3の実施の形態〕
図9および図10を用いて,木構造を並列に構築し,木構造を統合する方法を説明する。
【0068】
点1から点19までの全特徴量を点1から点9の集合と点10から点19の2つの集合に分割する。そして,それぞれの集合に対して,木構造を構築する。次に,構築された木構造において,木の根ノードから同一の階層のノード同士の統合を行う。その際に,統合するノード同士が同一の種類のノードの場合(中間ノードと中間ノードもしくは葉ノードと葉ノード)の場合には,その同一のノードを統合後の木構造に作り,それぞれの木構造からノード内の情報のコピーを行う。例えば,領域eにおいては,両方の木構造において中間ノードなので個々の下位ノード情報のコピーを行い,統合後の中間ノードeを生成する。
【0069】
一方,統合するノード同士が同一種類のノードでない場合には,葉ノードであるほうの情報を別領域に保存し,中間ノードの情報を,統合後の中間ノードとし,そのノードに対して,葉ノードの情報の挿入を行う。例えば,領域bにおいては,点1は葉ノードなので,別領域に保存し,中間ノードbを統合後の中間ノードとし,その中間ノードに対して点1の挿入を行う。
【0070】
上記操作を全てのノードについて行う。ただし,統合を行う木構造の各ノードに挿入可能な点の数の最大値は,統合前の木構造それぞれの各ノードに挿入可能な点の数の最大値の総和以上でなければならない。
【0071】
〔第4の実施の形態〕
図11を用いて,隣接ノードを求める方法および隣接ノードを使った検索方法の説明を行う。
【0072】
図11における領域cの隣接ノードを求める操作は,領域cに含まれる各々の点(点1,3,4)における近傍点の上位k件を,例えば特願平10−203583号および特願平11−229459号で示される事前類似計算結果を用いて求め,どの事前類似計算結果にも含まれる点で領域cに含まれる点以外を選び出す。この結果選び出された点の集合を検索キーとして,木構造を探索し,各点が含まれる領域を隣接ノードとする。このように求められた隣接ノードを全て隣接ノードヘのリンクとして持たせてもよいし,その一部だけを隣接ノードヘのリンクとしてもかまわない。図11の場合には,領域cに含まれる点の事前類似計算結果のうち,共通に現れる点で領域cに含まれないのは,点2になるので,点2の含まれる領域dを隣接ノードとしてリンクを付与する。
【0073】
検索時には,検索キーとして点Aが与えられた場合,領域cまで辿り着いたとき,領域c内と隣接領域内の全ての点(点2)との間で距離計算を行い,最も近い点(点2)を最近傍点として返却する。
【0074】
ここで用いている事前類似計算結果の求め方は,以下のとおりである。予め検索対象となるデータベース内の全ての特徴量をキーとし,データベース内における類似計算を行い,他の特徴量との類似度を計算する。そして,類似度の高い順にk件分のID情報を,類似度順付きで,必要によってはその類似度の値とともに,事前類似計算結果格納装置に格納する。これを利用することによって,検索キー特徴量としてデータベース内の特徴量が与えられた場合,その検索キー特徴量に対する事前類似検索結果を検索結果として返却することができ,検索時における類似度の計算を省略することが可能になる。
【0075】
【発明の効果】
以上説明したように,本発明によれば,非常に高速でかつ精度の高い類似検索が可能になる。また,類似検索システムを高速に構築することが可能になる。
【図面の簡単な説明】
【図1】本発明の構成例を示す図である。
【図2】索引構築時に空ノードに対するリンクを生成する方法を説明するための図である。
【図3】リンク付きの索引を利用した検索方法を説明するための図である。
【図4】距離的に最も近いノード求める方法を説明するための図である。
【図5】空ノードに対するリンクの例を説明するための図である。
【図6】ショートカットを生成する方法およびショートカットを用いた検索方法を説明するための図である。
【図7】ショートカットの表現方法の例を説明するための図である。
【図8】ショートカットとして抽出するノードを選択する方法を説明するための図である。
【図9】木構造を並列に構築し,木構造を統合する方法を説明するための図である。
【図10】木構造を並列に構築し,木構造を統合する方法を説明するための図である。
【図11】隣接ノードを求める方法および隣接ノードを使った検索方法の説明するための図である。
【図12】従来の領域等分割型木構造索引の構築例を示す図である。
【図13】従来の領域等分割型木構造索引の検索例を示す図である。
【符号の説明】
1 類似特徴量検索装置
2 検索指示装置
3 索引構築部
4 索引検索部
5 データベース
6 索引格納装置
7 ショートカット・リスト格納装置
31 木構造索引構築部
32 空ノードリンク生成部
33 ショートカット生成部
41 検索要求入力部
42 ショートカット利用判定部
43 索引検索部
44 検索結果出力部
331 ショートカット抽出部
332 ショートカット登録部
Claims (13)
- 木構造索引の構築手段と木構造索引の検索手段とを備える類似特徴量の検索装置により,予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索方法において,
前記木構造索引の構築手段が,前記索引格納装置に格納される領域等分割型木構造索引における木構造の各階層において,下位の階層にノードが存在しない全ての空ノードそれぞれに対して,同一階層内のノードで下位の階層にノードが存在する他のノード群の中で,当該空ノードに距離的に最も近いノードの下位ノードをリンク先とするリンク情報を,前記索引格納装置に格納される領域等分割型木構造索引における空ノードに格納する処理過程と,
前記木構造索引の検索手段が,検索キーが前記索引格納装置に格納される領域等分割型木構造索引における空ノードに対応する領域のベクトルであっても,前記リンクを辿ることで最下位階層の葉ノードを求め,その葉ノード内で最も距離的に近い特徴量ベクトルを,最近傍点として返却する処理過程とを有する
ことを特徴とする類似特徴量の検索方法。 - 請求項1記載の類似特徴量の検索方法において,
前記木構造索引の構築手段が,空ノードからリンクを張るノードを求める際に,空ノードの領域の中心点に相当するベクトルと,下位の階層にノードが存在するノードの領域の中心点に相当するベクトルとの間,または空ノードの領域の中心点に相当するベクトルと,下位の階層にノードが存在するノード配下に含まれるベクトル群の重心との間で,距離計算を行い,
最も距離的に近いノードをリンク先として決定する処理過程を有する
ことを特徴とする類似特徴量の検索方法。 - 請求項1または請求項2記載の類似特徴量の検索方法において,
前記木構造索引の構築手段が,木構造索引にベクトルを追加する際に,木構造の根からベクトルを追加する最下位階層の葉ノードまで辿るときに通過する全ての中間ノードにおいて,空ノードからのリンクが張られているノードが最も距離的に近いノードでなくなってしまった場合に,距離の再計算を行い,
最も距離的に近いノードを求めリンクを張り直す処理過程を有する
ことを特徴とする類似特徴量の検索方法。 - 請求項1または請求項2記載の類似特徴量の検索方法において,
前記木構造索引の構築手段が,木構造索引に複数のベクトルをまとめて追加する場合に,個々のベクトルを木構造に追加する度にリンクのメンテナンスを行わず,全てのベクトルを追加し終わった後,一括して空ノードからのリンクを張る処理過程を有する
ことを特徴とする類似特徴量の検索方法。 - 木構造索引の構築手段と木構造索引の検索手段とを備える類似特徴量の検索装置により,予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索方法において,
前記木構造索引の構築手段が,前記索引格納装置に格納される領域等分割型木構造索引における木構造上の途中のノードを複数抽出し,それらの各ノードに対応する多次元空間内の領域の範囲を示す情報をショートカットとしてショートカット情報格納装置に登録する処理過程と,
前記木構造索引の検索手段が,検索キーベクトルが,前記ショートカット情報格納装置にショートカットとして登録されているノードに対応する多次元空間内の領域の範囲に含まれるベクトルであるかどうかの判定を行い,領域内のベクトルの場合,ショートカットとして登録してあるノードを基点として,木構造を辿ることにより最近傍点を求め,領域外のベクトルの場合,木構造の根から辿ることにより最近傍点を求める処理過程とを有する
ことを特徴とする類似特徴量の検索方法。 - 請求項5記載の類似特徴量の検索方法において,
前記木構造索引の構築手段が,ショートカットとして登録するノードを抽出する際に,木構造の階層が根からn段以下の全てのノードをショートカットとして抽出する方法,n段以下の特定の部分木内の全てのノードをショートカットとして抽出する方法,木構造の階層が根からn段おきの階層中の全てのノードをショートカットして抽出する方法,木構造の階層の深い順にn%のノードをショートカットして抽出する方法,もしくは木構造の中のノードの中で充填率の高い順にn%のノードをショートカットして抽出する方法,またはこれらの方法のうちのいくつかを組み合わせた方法を用いる
ことを特徴とする類似特徴量の検索方法。 - 木構造索引の構築手段と木構造索引の検索手段とを備える類似特徴量の検索装置により,予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索方法において,
前記木構造索引の構築手段が,前記索引格納装置に格納される領域等分割型木構造索引における木構造の各階層において,下位の階層にノードが存在しない全ての空ノードそれぞれに対して,同一階層内のノードで下位の階層にノードが存在する他のノード群の中で,当該空ノードに距離的に最も近いノードの下位ノードをリンク先とするリンク情報を,前記索引格納装置に格納される領域等分割型木構造索引における空ノードに格納するとともに,前記索引格納装置に格納される領域等分割型木構造索引における木構造上の途中のノードを複数抽出し,それらの各ノードに対応する多次元空間内の領域の範囲を示す情報をショートカットとしてショートカット情報格納装置に登録し,かつ,前記空ノードからのリンクを,そのノードより下位の部分木内のショートカットとして登録されているノードとする処理過程と,
前記木構造索引の検索手段が,検索キーベクトルが,前記ショートカット情報格納装置にショートカットとして登録されているノードに対応する多次元空間内の領域の範囲に含まれるベクトルであるかどうかの判定を行い,領域内のベクトルの場合,ショートカットとして登録してあるノードを基点として,木構造を辿ることにより最近傍点を求め,領域外のベクトルの場合,木構造の根から辿ることにより最近傍点を求め,検索キーが空ノードに対応する領域のベクトルであっても,前記リンクを辿ることで最下位階層の葉ノード内で最も距離的に近い特徴量ベクトルを,最近傍点として返却する処理過程とを有する
ことを特徴とする類似特徴量の検索方法。 - 木構造索引の構築手段と木構造索引の検索手段とを備える類似特徴量の検索装置により,予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索方法において,
前記木構造索引の構築手段が,予め,分割された木構造索引を構築する特徴量ベクトルの集合のそれぞれについて領域等分割型木構造索引の情報を生成することにより木構造索引を構築し,索引格納装置に格納する処理過程と,
前記木構造索引の構築手段が,前記分割構築された木構造索引を統合し,一つの木構造索引として索引格納装置に格納する処理過程と,
前記木構造索引の検索手段が,前記統合され一つの木構造索引として索引格納装置に格納された領域等分割型木構造索引の情報を用いて,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する処理過程とを有する
ことを特徴とする類似特徴量の検索方法。 - 木構造索引の構築手段と木構造索引の検索手段とを備える類似特徴量の検索装置により,予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索方法において,
前記木構造索引の構築手段が,前記索引格納装置に格納される領域等分割型木構造索引における葉ノードに,その葉ノードと隣接する他の葉ノードの情報を格納する処理過程と,
前記木構造索引の検索手段が,前記索引格納装置に格納される領域等分割型木構造索引における葉ノードと,その葉ノードの隣接葉ノードの中から,最も近い特徴量を求め,それを最近傍点として返却する処理過程とを有する
ことを特徴とする類似特徴量の検索方法。 - 予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索装置において,
前記索引格納装置に格納される領域等分割型木構造索引における木構造の各階層において,下位の階層にノードが存在しない全ての空ノードそれぞれに対して,同一階層内のノードで下位の階層にノードが存在する他のノード群の中で,当該空ノードに距離的に最も近いノードの下位ノードをリンク先とするリンク情報を,前記索引格納装置に格納される領域等分割型木構造索引における空ノードに格納する木構造索引の構築手段と,
検索キーが前記索引格納装置に格納される領域等分割型木構造索引における空ノードに対応する領域のベクトルであっても,前記リンクを辿ることで最下位階層の葉ノードを求め,その葉ノード内で最も距離的に近い特徴量ベクトルを,最近傍点として返却する木構造索引の検索手段とを備える
ことを特徴とする類似特徴量の検索装置。 - 予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索装置において,
前記索引格納装置に格納される領域等分割型木構造索引における木構造上の途中のノードを複数抽出し,それらの各ノードに対応する多次元空間内の領域の範囲を示す情報をショートカットとしてショートカット情報格納装置に登録する木構造索引の構築手段と,
検索キーベクトルが,前記ショートカット情報格納装置にショートカットとして登録されているノードに対応する多次元空間内の領域の範囲に含まれるベクトルであるかどうかの判定を行い,領域内のベクトルの場合,ショートカットとして登録してあるノードを基点として,木構造を辿ることにより最近傍点を求め,領域外のベクトルの場合,木構造の根から辿ることにより最近傍点を求める木構造索引の検索手段とを備える
ことを特徴とする類似特徴量の検索装置。 - 予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索装置をコンピュータによって構成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって,
前記コンピュータを,
前記索引格納装置に格納される領域等分割型木構造索引における木構造の各階層において,下位の階層にノードが存在しない全ての空ノードそれぞれに対して,同一階層内のノードで下位の階層にノードが存在する他のノード群の中で,当該空ノードに距離的に最も近いノードの下位ノードをリンク先とするリンク情報を,前記索引格納装置に格納される領域等分割型木構造索引における空ノードに格納する木構造索引の構築手段と,
検索キーが前記索引格納装置に格納される領域等分割型木構造索引における空ノードに対応する領域のベクトルであっても,前記リンクを辿ることで最下位階層の葉ノードを求め,その葉ノード内で最も距離的に近い特徴量ベクトルを,最近傍点として返却する木構造索引の検索手段として
機能させるためのプログラムを記録した
ことを特徴とする類似特徴量の検索プログラム記録媒体。 - 予め,多次元空間におけるベクトルとして表現される特徴量を蓄え,特徴量の多次元空間を,各領域内の特徴量点の数の最大が所定値のd以下になるように,全ての次元において領域を次元毎に等分割する領域等分割型木構造索引を記憶する索引格納装置を有し,前記索引格納装置に格納される領域等分割型木構造索引を利用して,検索キーとして与えられた特徴量との距離が最も近い特徴量を返却する類似特徴量の検索装置をコンピュータによって構成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって,
前記コンピュータを,
前記索引格納装置に格納される領域等分割型木構造索引における木構造上の途中のノードを複数抽出し,それらの各ノードに対応する多次元空間内の領域の範囲を示す情報をショートカットとしてショートカット情報格納装置に登録する木構造索引の構築手段と,
検索キーベクトルが,前記ショートカット情報格納装置にショートカットとして登録されているノードに対応する多次元空間内の領域の範囲に含まれるベクトルであるかどうかの判定を行い,領域内のベクトルの場合,ショートカットとして登録してあるノードを基点として,木構造を辿ることにより最近傍点を求め,領域外のベクトルの場合,木構造の根から辿ることにより最近傍点を求める木構造索引の検索手段として
機能させるためのプログラムを記録した
ことを特徴とする類似特徴量の検索プログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31632799A JP3615439B2 (ja) | 1999-11-08 | 1999-11-08 | 類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31632799A JP3615439B2 (ja) | 1999-11-08 | 1999-11-08 | 類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001134594A JP2001134594A (ja) | 2001-05-18 |
JP3615439B2 true JP3615439B2 (ja) | 2005-02-02 |
Family
ID=18075906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31632799A Expired - Fee Related JP3615439B2 (ja) | 1999-11-08 | 1999-11-08 | 類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3615439B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007206986A (ja) * | 2006-02-01 | 2007-08-16 | Nomura Research Institute Ltd | スケジューラプログラム、格子型コンピュータシステム、タスク割り当て装置 |
JP5626011B2 (ja) * | 2011-02-25 | 2014-11-19 | 富士通株式会社 | プログラム及び画像処理装置 |
JP5537644B1 (ja) * | 2012-12-27 | 2014-07-02 | ヤフー株式会社 | 語彙探索装置、語彙探索方法、及び、語彙探索プログラム |
CN111190893B (zh) * | 2018-11-15 | 2023-05-16 | 华为技术有限公司 | 建立特征索引的方法和装置 |
CN111881767B (zh) * | 2020-07-03 | 2023-11-03 | 深圳力维智联技术有限公司 | 高维特征的处理方法、装置、设备及计算机可读存储介质 |
-
1999
- 1999-11-08 JP JP31632799A patent/JP3615439B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001134594A (ja) | 2001-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8171029B2 (en) | Automatic generation of ontologies using word affinities | |
JP3849279B2 (ja) | インデクス作成方法および検索方法 | |
US8417708B2 (en) | Average case analysis for efficient spatial data structures | |
CN111460311A (zh) | 基于字典树的搜索处理方法、装置、设备和存储介质 | |
JP5208001B2 (ja) | ベクトルデータ検索装置 | |
JP6183376B2 (ja) | インデックス生成装置及び方法並びに検索装置及び検索方法 | |
JP5621773B2 (ja) | 分類階層再作成システム、分類階層再作成方法及び分類階層再作成プログラム | |
CN108292310A (zh) | 用于数字实体相关的技术 | |
US20090199099A1 (en) | Video browser for navigating linear video on small display devices using a similarity-based navigation hierarchy of temporally ordered video keyframes with short navigation paths | |
CN108027816B (zh) | 数据管理系统、数据管理方法及记录介质 | |
WO2022061995A1 (zh) | 基于希尔伯特曲线的r树索引合并更新方法、装置及介质 | |
Rodríguez-Arauz et al. | Design of a multimedia data management system that uses horizontal fragmentation to optimize content-based queries | |
JP3615439B2 (ja) | 類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 | |
CN108304384B (zh) | 拆词方法及设备 | |
JP6418658B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Bramer | Clustering | |
JP4440246B2 (ja) | 空間インデックス方法 | |
JP3938815B2 (ja) | ノード作成方法、画像検索方法及び記録媒体 | |
JP2012043437A (ja) | 画像処理方法及び画像処理装置 | |
JP2000035965A (ja) | 類似特徴量の検索方法及び装置及び類似特徴量の検索プログラムを格納した記憶媒体 | |
JP2001134593A (ja) | 近傍データ検索方法及び装置及び近傍データ検索プログラムを格納した記憶媒体 | |
Venkat et al. | A Succinct, Dynamic Data Structure for Proximity Queries on Point Sets. | |
US20240289400A1 (en) | Frequent pattern mining method based on spatial index | |
JP2020187644A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP2020135530A (ja) | データ管理装置、データ検索方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041029 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |