JP5637939B2 - 少ないコードブックの情報量によって高次元の特徴ベクトルを検索する検索装置及びプログラム - Google Patents
少ないコードブックの情報量によって高次元の特徴ベクトルを検索する検索装置及びプログラム Download PDFInfo
- Publication number
- JP5637939B2 JP5637939B2 JP2011142458A JP2011142458A JP5637939B2 JP 5637939 B2 JP5637939 B2 JP 5637939B2 JP 2011142458 A JP2011142458 A JP 2011142458A JP 2011142458 A JP2011142458 A JP 2011142458A JP 5637939 B2 JP5637939 B2 JP 5637939B2
- Authority
- JP
- Japan
- Prior art keywords
- residual
- vector
- codebook
- function
- subvector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y02P90/14—
-
- Y02P90/28—
-
- Y02P90/285—
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
残差コードブック及び残差コードブック識別子テーブルT[n][t]を生成するものであり、
粗量子化における代表識別値n(=1〜N)に割り当てられた学習ベクトルfと、それに対応する代表ベクトルf n との間の残差ベクトルf r (=f−f n )を導出することによってN個の残差クラスタを作成する第1の機能と、
残差ベクトルf r をT個の残差部分ベクトルに分割し、t番目の残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)を生成する第2の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、残差コードブック識別子テーブルT[n][t]に、いずれかのラベル値m(m=1,2,..,M)を割り当てる第3の機能と、
ラベル値mそれぞれについて、当該ラベル値mが割り当てられた全ての残差部分ベクトル集合Rn,tを用いて、当該m番目の残差コードブックを生成する第4の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際の量子化誤差が最も小さくなるm'番目の残差コードブックを用いて残差コードブック識別子テーブルT[n][t]を更新する第5の機能と
を有し、第4及び第5の機能を繰り返し実行する
残差コードブック生成手段を有することを特徴とする。
コードブックを生成するコードブック生成手段を更に有し、
コードブック生成手段は、
学習ベクトルの集合を、N個のクラスタにクラスタリングする第1の機能と、
クラスタ毎に、代表ベクトルを導出する第2の機能と、
各代表ベクトルに、一意の代表識別値n(=1〜N)を割り当てたコードブックを生成する第3の機能とを実行することも好ましい。
登録ベクトルfを量子化するために、代表識別値n(=1〜N)と代表ベクトルfnとを対応付けたコードブックを記憶するコードブック記憶手段と、
登録ベクトルfを、コードブックを用いて、代表識別値nに量子化するベクトル量子化手段と、
登録ベクトルfから代表ベクトルfnを引いた残差ベクトルfrを導出する残差ベクトル導出手段と、
残差ベクトルをT個の残差部分ベクトルfr 1, fr 2, ..., fr Tに分割する残差ベクトル分割手段と、
各残差部分ベクトルfr tを更に量子化するために、残差識別値l(=1〜L)と残差部分代表ベクトルflとを対応付けた残差コードブックをM個記憶すると共に、代表識別値nに対応付けられた登録ベクトルfの残差部分ベクトルfrtが、M個の残差コードブックのどれで量子化すべきかを示す残差コードブック識別子テーブルT[n][t]を記憶する残差コードブック記憶手段と、
残差部分ベクトルfr tを、T[n][t]番目の残差コードブックで量子化する残差部分ベクトル量子化手段と、
登録ベクトルfの代表識別値n毎に、複数の残差部分ベクトルfr tの残差識別値lt(1≦t≦T)の集合と、登録ベクトルfに関する付加情報とを、各登録ベクトルfの登録情報として登録した転置インデックスを生成する転置インデックス生成手段と、
転置インデックスを、登録ベクトルの集合として記憶する転置インデックス記憶手段と
を有することも好ましい。
残差コードブック生成手段における第3の機能について、残差コードブック識別子テーブルT[n][t]に、ランダムに、いずれかのラベル値m(m=1,2,..,M)を割り当てることも好ましい。
残差コードブック生成手段における第3の機能について、
残差部分ベクトル集合Rn,tの中から、ランダムにいずれか1つの残差部分ベクトル集合Rn,tを選択する第31の機能と、
選択された当該残差部分ベクトル集合Rn,t内の残差部分ベクトルをクラスタリングし、1つの残差コードブックを生成する第32の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、既に作成された全ての残差コードブックそれぞれで量子化した際に、量子化誤差の総和が最小となる残差コードブック及び量子化誤差Dn,tを求める第33の機能と、
全ての残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)の中からDn,tに比例する確率で1つの残差部分ベクトル集合を選択し、その残差部分ベクトル集合内の残差部分ベクトルをクラスタリングすることで、1つの残差コードブックを生成する第34の機能と、
M個の残差コードブックが生成されるまで、第33及び第34の機能を繰り返す第35の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際に、量子化誤差が最小となる当該残差コードブックのラベル値mを、当該残差部分ベクトル集合Rn,tに割り当てる第36の機能と
を有することも好ましい。
転置インデックス記憶手段を用いて、クエリベクトルに類似したベクトルを検索するために、
ベクトル量子化手段は、クエリベクトルfを、コードブックを用いて、代表識別値nに量子化し、
残差ベクトル導出手段は、クエリベクトルfから代表ベクトルfnを引いたクエリ残差ベクトルfrを導出し、
残差ベクトル分割手段は、クエリ残差ベクトルをT個のクエリ残差部分ベクトルに分割する
と共に、
クエリ残差部分ベクトルfr tと、残差コードブック識別子テーブルT[n][t]により指定される残差コードブックの各残差代表ベクトルft,l(1≦l≦L)とのLp距離を算出し参照テーブルD[t][l]に保持する残差ベクトル距離算出手段と、
登録ベクトルの登録情報である残差識別値lt(1≦t≦T)を基に、テーブルD[t][l]を参照することで、クエリベクトルと登録ベクトルのLp距離の推定値を、参照テーブルの重み付き和d(=Σt=1 Twt・D[t][lt])として算出する登録ベクトル距離算出手段と、
距離の重み付き和dが、所定閾値以下となる登録ベクトルを、又は、距離の重み付き和dが小さいものから順に所定個数となる登録ベクトルを、検索結果として出力する検索判定手段と
を有することも好ましい。
登録ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルであり、
登録ベクトルの付加情報は、画像識別子(IDentifier)、局所特徴領域のスケール、局所特徴領域の角度のいずれか1つを含むことも好ましい。
残差コードブック及び残差コードブック識別子テーブルT[n][t]を生成するものであり、
粗量子化における代表識別値n(=1〜N)に割り当てられた学習ベクトルfと、それに対応する代表ベクトルf n との間の残差ベクトルf r (=f−f n )を導出することによってN個の残差クラスタを作成する第1の機能と、
残差ベクトルf r をT個の残差部分ベクトルに分割し、t番目の残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)を生成する第2の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、残差コードブック識別子テーブルT[n][t]に、いずれかのラベル値m(m=1,2,..,M)を割り当てる第3の機能と、
ラベル値mそれぞれについて、当該ラベル値mが割り当てられた全ての残差部分ベクトル集合Rn,tを用いて、当該m番目の残差コードブックを生成する第4の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際の量子化誤差が最も小さくなるm'番目の残差コードブックを用いて残差コードブック識別子テーブルT[n][t]を更新する第5の機能と
を有し、第4及び第5の機能を繰り返し実行する
残差コードブック生成手段としてコンピュータを機能させることを特徴とする。
コードブックを生成するコードブック生成手段を更に有し、
コードブック生成手段は、
学習ベクトルの集合を、N個のクラスタにクラスタリングする第1の機能と、
クラスタ毎に、代表ベクトルを導出する第2の機能と、
各代表ベクトルに、一意の代表識別値n(=1〜N)を割り当てたコードブックを生成する第3の機能とを実行する
ようにコンピュータを機能させることも好ましい。
登録ベクトルfを量子化するために、代表識別値n(=1〜N)と代表ベクトルfnとを対応付けたコードブックを記憶するコードブック記憶手段と、
登録ベクトルfを、コードブックを用いて、代表識別値nに量子化するベクトル量子化手段と、
登録ベクトルfから代表ベクトルfnを引いた残差ベクトルfrを導出する残差ベクトル導出手段と、
残差ベクトルをT個の残差部分ベクトルfr 1, fr 2, ..., fr Tに分割する残差ベクトル分割手段と、
各残差部分ベクトルfr tを更に量子化するために、残差識別値l(=1〜L)と残差部分代表ベクトルflとを対応付けた残差コードブックをM個記憶すると共に、代表識別値nに対応付けられた登録ベクトルfの残差部分ベクトルfrtが、M個の残差コードブックのどれで量子化すべきかを示す残差コードブック識別子テーブルT[n][t]を記憶する残差コードブック記憶手段と、
残差部分ベクトルfr tを、T[n][t]番目の残差コードブックで量子化する残差部分ベクトル量子化手段と、
登録ベクトルfの代表識別値n毎に、複数の残差部分ベクトルfr tの残差識別値lt(1≦t≦T)の集合と、登録ベクトルfに関する付加情報とを、各登録ベクトルfの登録情報として登録した転置インデックスを生成する転置インデックス生成手段と、
転置インデックスを、登録ベクトルの集合として記憶する転置インデックス記憶手段と
してコンピュータを更に機能させることも好ましい。
残差コードブック生成手段における第3の機能について、残差コードブック識別子テーブルT[n][t]に、ランダムに、いずれかのラベル値m(m=1,2,..,M)を割り当てるようにコンピュータを機能させることも好ましい。
残差コードブック生成手段における第3の機能について、
残差部分ベクトル集合Rn,tの中から、ランダムにいずれか1つの残差部分ベクトル集合Rn,tを選択する第31の機能と、
選択された当該残差部分ベクトル集合Rn,t内の残差部分ベクトルをクラスタリングし、1つの残差コードブックを生成する第32の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、既に作成された全ての残差コードブックそれぞれで量子化した際に、量子化誤差の総和が最小となる残差コードブック及び量子化誤差Dn,tを求める第33の機能と、
全ての残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)の中からDn,tに比例する確率で1つの残差部分ベクトル集合を選択し、その残差部分ベクトル集合内の残差部分ベクトルをクラスタリングすることで、1つの残差コードブックを生成する第34の機能と、
M個の残差コードブックが生成されるまで、第33及び第34の機能を繰り返す第35の機能と、
残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際に、量子化誤差が最小となる当該残差コードブックのラベル値mを、当該残差部分ベクトル集合Rn,tに割り当てる第36の機能と
してコンピュータを更に機能させることも好ましい。
転置インデックス記憶手段を用いて、クエリベクトルに類似したベクトルを検索するために、
ベクトル量子化手段は、クエリベクトルfを、コードブックを用いて、代表識別値nに量子化し、
残差ベクトル導出手段は、クエリベクトルfから代表ベクトルfnを引いたクエリ残差ベクトルfrを導出し、
残差ベクトル分割手段は、クエリ残差ベクトルをT個のクエリ残差部分ベクトルに分割する
と共に、
クエリ残差部分ベクトルfr tと、残差コードブック識別子テーブルT[n][t]により指定される残差コードブックの各残差代表ベクトルft,l(1≦l≦L)とのLp距離を算出し参照テーブルD[t][l]に保持する残差ベクトル距離算出手段と、
登録ベクトルの登録情報である残差識別値lt(1≦t≦T)を基に、テーブルD[t][l]を参照することで、クエリベクトルと登録ベクトルのLp距離の推定値を、参照テーブルの重み付き和d(=Σt=1 Twt・D[t][lt])として算出する登録ベクトル距離算出手段と、
距離の重み付き和dが、所定閾値以下となる登録ベクトルを、又は、距離の重み付き和dが小さいものから順に所定個数となる登録ベクトルを、検索結果として出力する検索判定手段と
してコンピュータを更に機能させることも好ましい。
登録ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルであり、
登録ベクトルの付加情報は、画像識別子(IDentifier)、局所特徴領域のスケール、局所特徴領域の角度のいずれか1つを含むようにコンピュータを機能させることも好ましい。
図2は、登録部における処理内容の説明図である。以下では、図2を参照しつつ、図1の登録部11の各機能が説明される。また、図3は、クラスタFに含まれるベクトルを代表ベクトルfnに対応付けた説明図である。
代表識別値n: 代表ベクトルfn
1: f1=(f11,f12,・・・,f1D)
2: f2=(f21,f22,・・・,f2D)
3: f3=(f31,f32,・・・,f3D)
・・・
N: fN=(fN1,fN2,・・・,fND)
登録ベクトルf: f=(f1,f2,・・・,fD)
そして、ベクトル量子化部111は、登録ベクトルfを、コードブック記憶部101に記憶されたコードブックを用いて、代表識別値n(=1〜N、n:整数値)に量子化する(図2のベクトル量子化部111参照)。
n=q(f)=argminn||f−fn||2
(登録ベクトルfの量子化関数q(f)は、||f−fn||2が最小となるnを導出
する)
q:RD->N(量子化を意味する)
fn:代表ベクトル
fr=f−fn(=q(f)):残差ベクトル
fr 1=(fr 1,1 ,fr 1,2 ,・・・,fr 1,D')
fr 2=(fr 2,D'+1 ,fr 2,D'+2 ,・・・,fr 2,D'+D')
・・・・・
fr T=(fr T,(T-1)・D'+1,fr T,(T-1)・D'+2,・・・,fr T,(T-1)・D'+D')
<< M << N×Tの関係にすることが重要となる。
lt=qr T[n][t](fr t)
検索部12は、登録部11と同様に、ベクトル量子化部111と、残差ベクトル導出部112と、残差ベクトル分割部113とを有し、更に、残差ベクトル距離算出部124と、登録ベクトル距離算出部125と、検索判定部126とを有する。
XI=(xi1, xi2, ・・・, xiD)T i=1,2,3,・・・,n
このとき、多次元空間上の2点XIとXKとのLp距離は、次元数D及びパラメータpを用いて、以下のように表す。
Lp(I,K)=(Σj=1 D|xij−xkj|p)1/p
図5は、本発明における学習部を含む検索装置の機能構成図である。
F
-> F1,F2,・・・,FN
例えばk-means又はk-means++のようなクラスタリングアルゴリズムが用いられる。
(S62)クラスタ毎に、代表ベクトルfnを導出する。
f1,f2,・・・,fN
(S63)各代表ベクトルに、一意の代表識別値n(=1〜N)を割り当てたコードブックを生成する。が得られる。
残差ベクトル集合:Fr n={f−fn|f∈Fn}
[第1のラベル値割当方法]
残差コードブック識別子テーブルT[n][t]に、ランダムに、いずれかのラベル値mを割り当てる。
[第2のラベル値割当方法]
残差コードブック識別子テーブルT[n][t]に、残差コードブックによって導出したラベル値mを割り当てる。この方法については、図10及び図11を用いて後述する。
R1,1:m=2
R1,2:m=7
R1,3:m=1
・・・
図10は、本発明における第2のラベル値割当方法の処理ステップを表すフローチャートである。
図11は、第2のラベル値割当方法の処理内容の説明図である。
残差部分ベクトル集合毎:Dn,t/ΣDn,t
即ち、確率Dn,t/ΣDn,tで、残差部分ベクトル集合Rn,tが選択される。
101 コードブック記憶部
102 残差コードブック記憶部
103 転置インデックス記憶部
11 登録部
111 ベクトル量子化部
112 残差ベクトル導出部
113 残差ベクトル分割部
114 残差部分ベクトル量子化部
115 転置インデックス生成部
12 検索部
124 残差ベクトル距離算出部
125 登録ベクトル距離算出部
126 検索判定部
Claims (14)
- 粗量子化及び直積量子化を用いて符号化された高次元の登録ベクトルの集合からクエリベクトルに類似したベクトルを検索する検索装置であって、
残差コードブック及び残差コードブック識別子テーブルT[n][t]を生成するものであり、
粗量子化における代表識別値n(=1〜N)に割り当てられた学習ベクトルfと、それに対応する代表ベクトルf n との間の残差ベクトルf r (=f−f n )を導出することによってN個の残差クラスタを作成する第1の機能と、
前記残差ベクトルf r をT個の残差部分ベクトルに分割し、t番目の残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)を生成する第2の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、前記残差コードブック識別子テーブルT[n][t]に、いずれかのラベル値m(m=1,2,..,M)を割り当てる第3の機能と、
前記ラベル値mそれぞれについて、当該ラベル値mが割り当てられた全ての残差部分ベクトル集合Rn,tを用いて、当該m番目の残差コードブックを生成する第4の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際の量子化誤差が最も小さくなるm'番目の残差コードブックを用いて残差コードブック識別子テーブルT[n][t]を更新する第5の機能と
を有し、第4及び第5の機能を繰り返し実行する
残差コードブック生成手段を有することを特徴とする検索装置。 - コードブックを生成するコードブック生成手段を更に有し、
前記コードブック生成手段は、
前記学習ベクトルの集合を、N個のクラスタにクラスタリングする第1の機能と、
前記クラスタ毎に、代表ベクトルを導出する第2の機能と、
各代表ベクトルに、一意の代表識別値n(=1〜N)を割り当てたコードブックを生成する第3の機能とを実行する
ことを特徴とする請求項1に記載の検索装置。 - 前記登録ベクトルfを量子化するために、代表識別値n(=1〜N)と代表ベクトルfnとを対応付けたコードブックを記憶するコードブック記憶手段と、
前記登録ベクトルfを、前記コードブックを用いて、代表識別値nに量子化するベクトル量子化手段と、
前記登録ベクトルfから代表ベクトルfnを引いた残差ベクトルfrを導出する残差ベクトル導出手段と、
前記残差ベクトルをT個の残差部分ベクトルfr 1, fr 2, ..., fr Tに分割する残差ベクトル分割手段と、
各残差部分ベクトルfr tを更に量子化するために、残差識別値l(=1〜L)と残差部分代表ベクトルflとを対応付けた残差コードブックをM個記憶すると共に、前記代表識別値nに対応付けられた登録ベクトルfの残差部分ベクトルfrtが、前記M個の残差コードブックのどれで量子化すべきかを示す残差コードブック識別子テーブルT[n][t]を記憶する残差コードブック記憶手段と、
前記残差部分ベクトルfr tを、T[n][t]番目の前記残差コードブックで量子化する残差部分ベクトル量子化手段と、
前記登録ベクトルfの代表識別値n毎に、複数の残差部分ベクトルfr tの残差識別値lt(1≦t≦T)の集合と、登録ベクトルfに関する付加情報とを、各登録ベクトルfの登録情報として登録した転置インデックスを生成する転置インデックス生成手段と、
前記転置インデックスを、登録ベクトルの集合として記憶する転置インデックス記憶手段と
を有することを特徴とする請求項2に記載の検索装置。 - 前記残差コードブック生成手段における第3の機能について、前記残差コードブック識別子テーブルT[n][t]に、ランダムに、いずれかのラベル値m(m=1,2,..,M)を割り当てることを特徴とする請求項2又は3に記載の検索装置。
- 前記残差コードブック生成手段における第3の機能について、
前記残差部分ベクトル集合Rn,tの中から、ランダムにいずれか1つの残差部分ベクトル集合Rn,tを選択する第31の機能と、
選択された当該残差部分ベクトル集合Rn,t内の残差部分ベクトルをクラスタリングし、1つの残差コードブックを生成する第32の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、既に作成された全ての残差コードブックそれぞれで量子化した際に、量子化誤差の総和が最小となる残差コードブック及び量子化誤差Dn,tを求める第33の機能と、
全ての残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)の中から前記Dn,tに比例する確率で1つの残差部分ベクトル集合を選択し、その残差部分ベクトル集合内の残差部分ベクトルをクラスタリングすることで、1つの残差コードブックを生成する第34の機能と、
M個の残差コードブックが生成されるまで、第33及び第34の機能を繰り返す第35の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際に、量子化誤差が最小となる当該残差コードブックのラベル値mを、当該残差部分ベクトル集合Rn,tに割り当てる第36の機能と
を有することを特徴とする請求項2又は3に記載の検索装置。 - 前記転置インデックス記憶手段を用いて、クエリベクトルに類似したベクトルを検索するために、
前記ベクトル量子化手段は、前記クエリベクトルfを、前記コードブックを用いて、代表識別値nに量子化し、
前記残差ベクトル導出手段は、前記クエリベクトルfから代表ベクトルfnを引いたクエリ残差ベクトルfrを導出し、
前記残差ベクトル分割手段は、前記クエリ残差ベクトルをT個のクエリ残差部分ベクトルに分割する
と共に、
前記クエリ残差部分ベクトルfr tと、前記残差コードブック識別子テーブルT[n][t]により指定される残差コードブックの各残差代表ベクトルft,l(1≦l≦L)とのLp距離を算出し参照テーブルD[t][l]に保持する残差ベクトル距離算出手段と、
前記登録ベクトルの登録情報である残差識別値lt(1≦t≦T)を基に、前記テーブルD[t][l]を参照することで、クエリベクトルと登録ベクトルのLp距離の推定値を、参照テーブルの重み付き和d(=Σt=1 Twt・D[t][lt])として算出する登録ベクトル距離算出手段と、
前記距離の重み付き和dが、所定閾値以下となる登録ベクトルを、又は、距離の重み付き和dが小さいものから順に所定個数となる登録ベクトルを、検索結果として出力する検索判定手段と
を有することを特徴とする請求項1から5のいずれか1項に記載の検索装置。 - 前記登録ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルであり、
前記登録ベクトルの付加情報は、画像識別子(IDentifier)、局所特徴領域のスケール、局所特徴領域の角度のいずれか1つを含むことを特徴とする請求項1から6のいずれか1項に記載の検索装置。 - 粗量子化及び直積量子化を用いて符号化された高次元の登録ベクトルの集合からクエリベクトルに類似したベクトルを検索する装置に搭載されたコンピュータを機能させるプログラムであって、
残差コードブック及び残差コードブック識別子テーブルT[n][t]を生成するものであり、
粗量子化における代表識別値n(=1〜N)に割り当てられた学習ベクトルfと、それに対応する代表ベクトルf n との間の残差ベクトルf r (=f−f n )を導出することによってN個の残差クラスタを作成する第1の機能と、
前記残差ベクトルf r をT個の残差部分ベクトルに分割し、t番目の残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)を生成する第2の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、前記残差コードブック識別子テーブルT[n][t]に、いずれかのラベル値m(m=1,2,..,M)を割り当てる第3の機能と、
前記ラベル値mそれぞれについて、当該ラベル値mが割り当てられた全ての残差部分ベクトル集合Rn,tを用いて、当該m番目の残差コードブックを生成する第4の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際の量子化誤差が最も小さくなるm'番目の残差コードブックを用いて残差コードブック識別子テーブルT[n][t]を更新する第5の機能と
を有し、第4及び第5の機能を繰り返し実行する
残差コードブック生成手段としてコンピュータを機能させることを特徴とする検索プログラム。 - コードブックを生成するコードブック生成手段を更に有し、
前記コードブック生成手段は、
前記学習ベクトルの集合を、N個のクラスタにクラスタリングする第1の機能と、
前記クラスタ毎に、代表ベクトルを導出する第2の機能と、
各代表ベクトルに、一意の代表識別値n(=1〜N)を割り当てたコードブックを生成する第3の機能とを実行する
ようにコンピュータを機能させることを特徴とする請求項8に記載の検索プログラム。 - 前記登録ベクトルfを量子化するために、代表識別値n(=1〜N)と代表ベクトルfnとを対応付けたコードブックを記憶するコードブック記憶手段と、
前記登録ベクトルfを、前記コードブックを用いて、代表識別値nに量子化するベクトル量子化手段と、
前記登録ベクトルfから代表ベクトルfnを引いた残差ベクトルfrを導出する残差ベクトル導出手段と、
前記残差ベクトルをT個の残差部分ベクトルfr 1, fr 2, ..., fr Tに分割する残差ベクトル分割手段と、
各残差部分ベクトルfr tを更に量子化するために、残差識別値l(=1〜L)と残差部分代表ベクトルflとを対応付けた残差コードブックをM個記憶すると共に、前記代表識別値nに対応付けられた登録ベクトルfの残差部分ベクトルfrtが、前記M個の残差コードブックのどれで量子化すべきかを示す残差コードブック識別子テーブルT[n][t]を記憶する残差コードブック記憶手段と、
前記残差部分ベクトルfr tを、T[n][t]番目の前記残差コードブックで量子化する残差部分ベクトル量子化手段と、
前記登録ベクトルfの代表識別値n毎に、複数の残差部分ベクトルfr tの残差識別値lt(1≦t≦T)の集合と、登録ベクトルfに関する付加情報とを、各登録ベクトルfの登録情報として登録した転置インデックスを生成する転置インデックス生成手段と、
前記転置インデックスを、登録ベクトルの集合として記憶する転置インデックス記憶手段と
してコンピュータを更に機能させることを特徴とする請求項9に記載の検索プログラム。 - 前記残差コードブック生成手段における第3の機能について、前記残差コードブック識別子テーブルT[n][t]に、ランダムに、いずれかのラベル値m(m=1,2,..,M)を割り当てるようにコンピュータを機能させることを特徴とする請求項9又は10に記載の検索プログラム。
- 前記残差コードブック生成手段における第3の機能について、
前記残差部分ベクトル集合Rn,tの中から、ランダムにいずれか1つの残差部分ベクトル集合Rn,tを選択する第31の機能と、
選択された当該残差部分ベクトル集合Rn,t内の残差部分ベクトルをクラスタリングし、1つの残差コードブックを生成する第32の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、既に作成された全ての残差コードブックそれぞれで量子化した際に、量子化誤差の総和が最小となる残差コードブック及び量子化誤差Dn,tを求める第33の機能と、
全ての残差部分ベクトル集合Rn,t(1≦n≦N,1≦t≦T)の中から前記Dn,tに比例する確率で1つの残差部分ベクトル集合を選択し、その残差部分ベクトル集合内の残差部分ベクトルをクラスタリングすることで、1つの残差コードブックを生成する第34の機能と、
M個の残差コードブックが生成されるまで、第33及び第34の機能を繰り返す第35の機能と、
前記残差部分ベクトル集合Rn,tそれぞれについて、M個の残差コードブックそれぞれで量子化した際に、量子化誤差が最小となる当該残差コードブックのラベル値mを、当該残差部分ベクトル集合Rn,tに割り当てる第36の機能と
してコンピュータを更に機能させることを特徴とする請求項9又は10に記載の検索プログラム。 - 前記転置インデックス記憶手段を用いて、クエリベクトルに類似したベクトルを検索するために、
前記ベクトル量子化手段は、前記クエリベクトルfを、前記コードブックを用いて、代表識別値nに量子化し、
前記残差ベクトル導出手段は、前記クエリベクトルfから代表ベクトルfnを引いたクエリ残差ベクトルfrを導出し、
前記残差ベクトル分割手段は、前記クエリ残差ベクトルをT個のクエリ残差部分ベクトルに分割する
と共に、
前記クエリ残差部分ベクトルfr tと、前記残差コードブック識別子テーブルT[n][t]により指定される残差コードブックの各残差代表ベクトルft,l(1≦l≦L)とのLp距離を算出し参照テーブルD[t][l]に保持する残差ベクトル距離算出手段と、
前記登録ベクトルの登録情報である残差識別値lt(1≦t≦T)を基に、前記テーブルD[t][l]を参照することで、クエリベクトルと登録ベクトルのLp距離の推定値を、参照テーブルの重み付き和d(=Σt=1 Twt・D[t][lt])として算出する登録ベクトル距離算出手段と、
前記距離の重み付き和dが、所定閾値以下となる登録ベクトルを、又は、距離の重み付き和dが小さいものから順に所定個数となる登録ベクトルを、検索結果として出力する検索判定手段と
してコンピュータを更に機能させることを特徴とする請求項8から12のいずれか1項に記載の検索プログラム。 - 前記登録ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルであり、
前記登録ベクトルの付加情報は、画像識別子(IDentifier)、局所特徴領域のスケール、局所特徴領域の角度のいずれか1つを含むようにコンピュータを機能させることを特徴とする請求項8から13のいずれか1項に記載の検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011142458A JP5637939B2 (ja) | 2011-06-28 | 2011-06-28 | 少ないコードブックの情報量によって高次元の特徴ベクトルを検索する検索装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011142458A JP5637939B2 (ja) | 2011-06-28 | 2011-06-28 | 少ないコードブックの情報量によって高次元の特徴ベクトルを検索する検索装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013011920A JP2013011920A (ja) | 2013-01-17 |
JP5637939B2 true JP5637939B2 (ja) | 2014-12-10 |
Family
ID=47685774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011142458A Active JP5637939B2 (ja) | 2011-06-28 | 2011-06-28 | 少ないコードブックの情報量によって高次元の特徴ベクトルを検索する検索装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5637939B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018182093A1 (ko) * | 2017-03-30 | 2018-10-04 | 오드컨셉 주식회사 | 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법 |
US10853400B2 (en) | 2018-02-15 | 2020-12-01 | Kabushiki Kaisha Toshiba | Data processing device, data processing method, and computer program product |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6042778B2 (ja) * | 2013-07-16 | 2016-12-14 | Kddi株式会社 | 画像に基づくバイナリ局所特徴ベクトルを用いた検索装置、システム、プログラム及び方法 |
CN110309294B (zh) * | 2018-03-01 | 2022-03-15 | 阿里巴巴(中国)有限公司 | 内容集合的标签确定方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11010A (en) * | 1854-06-06 | William w | ||
JPH0359700A (ja) * | 1989-07-28 | 1991-03-14 | Toshiba Corp | 予測残差信号のベクトル量子化方式 |
JP2736157B2 (ja) * | 1990-07-17 | 1998-04-02 | シャープ株式会社 | 符号化装置 |
JPH09154138A (ja) * | 1995-05-31 | 1997-06-10 | Toshiba Corp | 動画像符号化/復号化装置 |
EP1207464A2 (en) * | 2000-11-15 | 2002-05-22 | Samsung Electronics Co. Ltd. | Database indexing using a tree structure |
JP5193518B2 (ja) * | 2007-07-13 | 2013-05-08 | 株式会社東芝 | パターン探索装置及びその方法 |
-
2011
- 2011-06-28 JP JP2011142458A patent/JP5637939B2/ja active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018182093A1 (ko) * | 2017-03-30 | 2018-10-04 | 오드컨셉 주식회사 | 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법 |
KR20180110959A (ko) * | 2017-03-30 | 2018-10-11 | 오드컨셉 주식회사 | 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법 |
KR101958939B1 (ko) * | 2017-03-30 | 2019-03-15 | 오드컨셉 주식회사 | 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법 |
JP2020515986A (ja) * | 2017-03-30 | 2020-05-28 | オ−ディーディー コンセプツ インク. | ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索(nns)方法 |
JP7006966B2 (ja) | 2017-03-30 | 2022-01-24 | オ-ディーディー コンセプツ インク. | ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索(nns)方法 |
US11436228B2 (en) * | 2017-03-30 | 2022-09-06 | Odd Concepts Inc. | Method for encoding based on mixture of vector quantization and nearest neighbor search using thereof |
US10853400B2 (en) | 2018-02-15 | 2020-12-01 | Kabushiki Kaisha Toshiba | Data processing device, data processing method, and computer program product |
Also Published As
Publication number | Publication date |
---|---|
JP2013011920A (ja) | 2013-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106886599B (zh) | 图像检索方法以及装置 | |
JP5436346B2 (ja) | 高次元の特徴ベクトルの集合から類似した特徴ベクトルを検索する検索装置及びプログラム | |
CN109918532B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN107085607B (zh) | 一种图像特征点匹配方法 | |
CN111400180B (zh) | 一种基于特征集划分和集成学习的软件缺陷预测方法 | |
Jegou et al. | Product quantization for nearest neighbor search | |
US7945576B2 (en) | Location recognition using informative feature vocabulary trees | |
CN102693266B (zh) | 搜索数据库的方法、生成索引结构的导航设备和方法 | |
CN109697451B (zh) | 相似图像聚类方法及装置、存储介质、电子设备 | |
CN109271486B (zh) | 一种相似性保留跨模态哈希检索方法 | |
US11106708B2 (en) | Layered locality sensitive hashing (LSH) partition indexing for big data applications | |
CN113918753B (zh) | 基于人工智能的图像检索方法及相关设备 | |
JP5637939B2 (ja) | 少ないコードブックの情報量によって高次元の特徴ベクトルを検索する検索装置及びプログラム | |
JP7006966B2 (ja) | ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索(nns)方法 | |
US9940100B2 (en) | Shortlist computation for searching high-dimensional spaces | |
CN111597371A (zh) | 外观专利的多模态图像检索方法及系统 | |
EP3115908A1 (en) | Method and apparatus for multimedia content indexing and retrieval based on product quantization | |
CN113495965A (zh) | 一种多媒体内容检索方法、装置、设备及存储介质 | |
Chen et al. | Robustiq: A robust ann search method for billion-scale similarity search on gpus | |
CN116010669A (zh) | 向量库重训练的触发方法、装置、检索服务器及存储介质 | |
Jain et al. | Approximate search with quantized sparse representations | |
Coviello et al. | Growing a bag of systems tree for fast and accurate classification | |
Feng et al. | A novel ECOC algorithm with centroid distance based soft coding scheme | |
JP2018055618A (ja) | 確率モデルに基づく階層的なコードブックを用いて量子化するプログラム、装置及び方法 | |
CN113536020B (zh) | 数据查询的方法、存储介质和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5637939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |