JP6601965B2 - 探索木を用いて量子化するプログラム、装置及び方法 - Google Patents
探索木を用いて量子化するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP6601965B2 JP6601965B2 JP2016164371A JP2016164371A JP6601965B2 JP 6601965 B2 JP6601965 B2 JP 6601965B2 JP 2016164371 A JP2016164371 A JP 2016164371A JP 2016164371 A JP2016164371 A JP 2016164371A JP 6601965 B2 JP6601965 B2 JP 6601965B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- distribution
- mixed
- search tree
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、入力データに対して、量子化対象データを特定する技術に関する。特に、リファレンスコンテンツ（検索対象のコンテンツ）の集合から、クエリコンテンツ（検索キーとなるコンテンツ）に類似したリファレンスコンテンツを検索する技術に適用することができる。
近年、局所特徴点に基づいた画像認識や検索技術が注目されている（例えば特許文献１参照）。物体認識に用いる特徴ベクトルの抽出アルゴリズムとしては、回転やスケールの変化にロバストな、例えばＳＩＦＴ(Scale-Invariant Feature Transform)（例えば非特許文献１参照）やＳＵＲＦ(Speeded Up Robust Features)が用いられる。例えば、ＳＩＦＴの場合、１枚の画像からは１２８次元の特徴ベクトルの集合が抽出される。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦの場合、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合が抽出される。ＳＩＦＴは、処理コストが高く且つリアルタイムマッチングが困難であるのに対し、ＳＵＲＦは、積分画像を利用することによって処理を高速化している。
また、スマートフォンやタブレットのようなモバイル端末が普及する中で、コンテンツ検索処理に対して、更なる省メモリ化及び高速マッチング化が要求されてきている。特に、拡張現実感（ＡＲ(Augmented Reality)）の用途における画像認識の技術分野によれば、リアルタイムに処理するべく、ＳＩＦＴやＳＵＲＦよりも更に高速にコンテンツを検索することが要求される。そのために、バイナリ特徴ベクトル抽出アルゴリズムであるＯＲＢ（例えば非特許文献２参照）やＦＲＥＡＫ（例えば非特許文献３参照）が注目されている。これは、ＳＩＦＴやＳＵＲＦよりも特徴ベクトルを高速に抽出でき、更に抽出される特徴ベクトルもコンパクトにすることができる。
局所特徴点に基づいた画像認識では、特徴点同士のマッチングの処理コストが高いため、ＢｏＶＷ(Bag-of-Visual Words)と称されるフレームワークが広く利用されている（例えば非特許文献１、４参照）。ＢｏＶＷでは、予め大量の訓練ベクトルの集合から、ＶＷ(Visual Words)と称される代表的なベクトルの集合を、k-means等のクラスタリングアルゴリズムを用いて生成する。そして、各特徴ベクトルは、最も類似するＶＷに量子化される。同じＶＷに量子化された特徴ベクトルはマッチしたと判断され、異なるＶＷに量子化された特徴ベクトルはマッチしないと判断される。これによって、データベース中の特徴ベクトルの数に基づかないマッチングが可能となる。
また、訓練ベクトルを混合ベルヌーイ分布でモデル化し、フィッシャーベクトルを導出することによって、コンテンツを１つの特徴ベクトルで表現して検索する技術もある（例えば特許文献２参照）。この技術によれば、フィッシャーベクトルによって画像間の類似度を算出することはできるが、特徴点のマッチング結果を取得することはできない。
図１は、量子化処理を表す説明図である。
図１によれば、クエリコンテンツ及びリファレンスコンテンツから導出されたバイナリ特徴ベクトルと、訓練コンテンツから導出されたコードブック（量子化対象データ、代表ベクトル）とのマッチングを表している。コードブックは、訓練コンテンツから予め作成されたものであり、量子化対象データとして複数のＶＷ（代表ベクトル）の集合からなる。ＶＷもバイナリ特徴ベクトルで表現されている。クエリコンテンツのバイナリ特徴ベクトルと、リファレンスコンテンツのバイナリ特徴ベクトルとはそれぞれ、コードブックの中で、ハミング距離が最も近いＶＷに紐付けられる。そして、同一のＶＷに紐付けられたバイナリ特徴ベクトル同士は、マッチングしたと認識される。
J. Sivic et al., "Video Google: A Text Retrieval Approach to Object Matching in Videos," in Proc. ICCV, 2003.
E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "ORB: An efficient alternative to SIFT or SURF," in Proc. ICCV, 2011.
A. Alahi, R. Ortiz, and P. Vandergheynst, "FREAK: Fast Retina Keypoint," in Proc. CVPR, 2012.
D. Galvez-Lopez and J. D. Tardos, "Real-time loop detection with bags of binary words," in Proc. of IROS, 2011, pp. 51?58.
J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman, "Object retrieval with large vocabularies and fast spatial matching," in Proc. of CVPR, 2007, pp. 1-8.
非特許文献４に記載の技術によれば、ＢｏＶＷのコードブックの生成について、従来の非バイナリ特徴と同様に、k-meansアルゴリズムを用いている。このk-meansアルゴリズムは、特徴ベクトル分布として暗に混合ガウス分布を仮定している。
しかしながら、バイナリ特徴ベクトルは、０／１の値しか取らない。バイナリ特徴ベクトルの分布を考慮せずに生成されたコードブックは、量子化誤差が大きく、最終的に特徴点同士のマッチング精度が低下するという問題がある。
しかしながら、バイナリ特徴ベクトルは、０／１の値しか取らない。バイナリ特徴ベクトルの分布を考慮せずに生成されたコードブックは、量子化誤差が大きく、最終的に特徴点同士のマッチング精度が低下するという問題がある。
また、特許文献２に記載の技術によれば、訓練コンテンツのバイナリ特徴ベクトルをモデル化しているが、コンテンツを１つの特徴ベクトルで表現している。そのために、局所特徴点間のマッチングの結果を得られないという問題がある。
高精度な検索結果を得るためには、クエリコンテンツとリファレンスコンテンツとの間の幾何的な整合性は、一般的に、局所特徴点間のマッチングの結果を用いて検証されている（例えば非特許文献５参照）。しかしながら、特許文献２に記載の技術によれば、このような幾何的な整合性を検証することはできない。
高精度な検索結果を得るためには、クエリコンテンツとリファレンスコンテンツとの間の幾何的な整合性は、一般的に、局所特徴点間のマッチングの結果を用いて検証されている（例えば非特許文献５参照）。しかしながら、特許文献２に記載の技術によれば、このような幾何的な整合性を検証することはできない。
ここで、本願の発明者らは、モデル化された複数の量子化対象データ（例えばコードブック内のＢｏＶＷ）を選定した上で、入力データに対して、できる限り最適な量子化対象データを特定することができないか？と考えた。特に、入力データと量子化対象データとの間の類似度が高いものを単にマッチングさせることなく、量子化対象データである混合分布に応じて、できる限り最適な量子化対象データにマッチングさせることができないか？と考えた。
そこで、本発明は、量子化対象データである混合分布に応じて、入力データに対して最適な量子化対象データをマッチングさせることができるプログラム、装置及び方法を提供することを目的とする。
本発明によれば、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定するようにコンピュータを機能させるプログラムにおいて、
ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶手段と、
入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する量子化手段と
してコンピュータを機能させることを特徴とする。
ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶手段と、
入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する量子化手段と
してコンピュータを機能させることを特徴とする。
本発明のプログラムにおける他の実施形態によれば、
混合分布Ｐ(x)は、ノードiの混合比ｗiに基づくＰ(x)＝Σi=1 NｗiＰi(x)であり、
事後確率γi(x)は、γi(x)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))である
ようにコンピュータを機能させることも好ましい。
混合分布Ｐ(x)は、ノードiの混合比ｗiに基づくＰ(x)＝Σi=1 NｗiＰi(x)であり、
事後確率γi(x)は、γi(x)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))である
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
量子化手段は、探索木を深さ優先で探索するものであって、
現に未探索ノードiにおける尤度Ｐi(x)を、優先度付きキューに記憶し、
優先度付きキューに記憶された尤度Ｐi(x)が最も高い未探索ノードから順に、再帰的に探索する
ようにコンピュータを機能させることも好ましい。
量子化手段は、探索木を深さ優先で探索するものであって、
現に未探索ノードiにおける尤度Ｐi(x)を、優先度付きキューに記憶し、
優先度付きキューに記憶された尤度Ｐi(x)が最も高い未探索ノードから順に、再帰的に探索する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
探索木は、ルートノードに対し、ランダムに選択されたK個（K≧1）の混合要素Ｐ1〜ＰKを子ノードとして接続し、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに更に紐付けることを再帰的に繰り返すことによって、探索木を作成する探索木作成手段と
して更にコンピュータを機能させることも好ましい。
探索木は、ルートノードに対し、ランダムに選択されたK個（K≧1）の混合要素Ｐ1〜ＰKを子ノードとして接続し、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに更に紐付けることを再帰的に繰り返すことによって、探索木を作成する探索木作成手段と
して更にコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
探索木作成手段は、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに紐付ける際に、ＰiとＰj∈Ｐ1,・・・,ＰKの間の非類似度尺度として、ＫＬ(Kullback Leibler)ダイバージェンス又はＪＳ(Jensen Shannon)ダイバージェンスを用いる
ようにコンピュータを機能させることも好ましい。
探索木作成手段は、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに紐付ける際に、ＰiとＰj∈Ｐ1,・・・,ＰKの間の非類似度尺度として、ＫＬ(Kullback Leibler)ダイバージェンス又はＪＳ(Jensen Shannon)ダイバージェンスを用いる
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
混合分布Ｐ(x)は、混合ベルヌーイ分布、混合ガウス分布、混合多項分布、混合ディリクレ分布、又は、混合ラプラス分布である
ようにコンピュータを機能させることも好ましい。
混合分布Ｐ(x)は、混合ベルヌーイ分布、混合ガウス分布、混合多項分布、混合ディリクレ分布、又は、混合ラプラス分布である
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
入力された訓練コンテンツ、リファレンスコンテンツ及びクエリコンテンツそれぞれについて、バイナリ特徴ベクトルの集合を抽出するバイナリ特徴ベクトル抽出手段と、
訓練コンテンツのバイナリ特徴ベクトルの集合について、混合分布Ｐ(x)に関する混合比ｗiを含むモデルパラメータλを算出するモデル推定手段と、
モデルパラメータλを記憶するモデルパラメータ記憶手段と
してコンピュータを機能させ、
量子化手段は、リファレンスコンテンツ又はクエリコンテンツのバイナリ特徴ベクトルについて、モデルパラメータλを用いてノードiを特定し、
リファレンスコンテンツの各バイナリ特徴ベクトルについて、量子化手段で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストにバイナリ特徴ベクトルの情報を記憶する転置インデックス記憶手段と、
クエリコンテンツの各バイナリ特徴ベクトルについて、量子化手段で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストを探索し、リストに記憶されているバイナリ特徴ベクトルに対応したリファレンスコンテンツに対しスコアを累積し、累積されたスコアを類似度としてリファレンスコンテンツを検索する検索手段と
して更にコンピュータを機能させ、クエリコンテンツに類似したリファレンスコンテンツを検索することも好ましい。
入力された訓練コンテンツ、リファレンスコンテンツ及びクエリコンテンツそれぞれについて、バイナリ特徴ベクトルの集合を抽出するバイナリ特徴ベクトル抽出手段と、
訓練コンテンツのバイナリ特徴ベクトルの集合について、混合分布Ｐ(x)に関する混合比ｗiを含むモデルパラメータλを算出するモデル推定手段と、
モデルパラメータλを記憶するモデルパラメータ記憶手段と
してコンピュータを機能させ、
量子化手段は、リファレンスコンテンツ又はクエリコンテンツのバイナリ特徴ベクトルについて、モデルパラメータλを用いてノードiを特定し、
リファレンスコンテンツの各バイナリ特徴ベクトルについて、量子化手段で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストにバイナリ特徴ベクトルの情報を記憶する転置インデックス記憶手段と、
クエリコンテンツの各バイナリ特徴ベクトルについて、量子化手段で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストを探索し、リストに記憶されているバイナリ特徴ベクトルに対応したリファレンスコンテンツに対しスコアを累積し、累積されたスコアを類似度としてリファレンスコンテンツを検索する検索手段と
して更にコンピュータを機能させ、クエリコンテンツに類似したリファレンスコンテンツを検索することも好ましい。
本発明のプログラムにおける他の実施形態によれば、
混合分布Ｐ(x)が、混合ベルヌーイ分布である場合、
モデルパラメータλは、ノードiの混合ベルヌーイ分布に関する混合比ｗiと、ノードiの混合ベルヌーイ分布のd（1≦d≦D）番目のパラメータμidとであり、
量子化手段は、混合比ｗiとパラメータμidとを用いて、各ノードiに対応する混合分布Ｐiを特定する
ようにコンピュータを機能させることも好ましい。
混合分布Ｐ(x)が、混合ベルヌーイ分布である場合、
モデルパラメータλは、ノードiの混合ベルヌーイ分布に関する混合比ｗiと、ノードiの混合ベルヌーイ分布のd（1≦d≦D）番目のパラメータμidとであり、
量子化手段は、混合比ｗiとパラメータμidとを用いて、各ノードiに対応する混合分布Ｐiを特定する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
モデル推定手段は、訓練コンテンツのバイナリ特徴ベクトルの集合ｘ1〜ｘTから、
Ｅ(Expectation)ステップについて、バイナリ特徴ベクトルｘi毎に潜在変数iの事後確率γt(i)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))を推定し、
Ｍ(Maximization)ステップについて、事後確率γt(i)を用いて、混合比ｗi及びパラメータμiを更新し、
これらＥステップ及びＭステップを、収束するまで又は一定回数繰り返すことによって、混合比ｗi及びパラメータμidのパラメータ群λを算出する
λ=（ｗ1、・・・、ｗN及びμ11、・・・、μND）
ようにコンピュータを機能させることも好ましい。
モデル推定手段は、訓練コンテンツのバイナリ特徴ベクトルの集合ｘ1〜ｘTから、
Ｅ(Expectation)ステップについて、バイナリ特徴ベクトルｘi毎に潜在変数iの事後確率γt(i)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))を推定し、
Ｍ(Maximization)ステップについて、事後確率γt(i)を用いて、混合比ｗi及びパラメータμiを更新し、
これらＥステップ及びＭステップを、収束するまで又は一定回数繰り返すことによって、混合比ｗi及びパラメータμidのパラメータ群λを算出する
λ=（ｗ1、・・・、ｗN及びμ11、・・・、μND）
ようにコンピュータを機能させることも好ましい。
本発明によれば、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定する量子化装置において、
ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶手段と、
入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する量子化手段と
を有することを特徴とする。
ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶手段と、
入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する量子化手段と
を有することを特徴とする。
本発明によれば、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定する装置の量子化方法において、
装置は、ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶部を有し、
装置は、入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する
ことを特徴とする。
装置は、ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶部を有し、
装置は、入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する
ことを特徴とする。
本発明のプログラム、装置及び方法によれば、量子化対象データである混合分布に応じて、入力データに対して最適な量子化対象データをマッチングさせることができる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
本発明の本質的な部分は、入力データに対する「量子化機能」にある。量子化機能とは、入力データxに対して、複数の量子化対象データの中から１つ以上の量子化対象データを特定するものである。ここで、本発明によれば、コードブックの量子化対象データは、混合分布の混合要素Ｐiが紐付けられた探索木として記憶されている。探索木は、訓練コンテンツのバイナリ特徴ベクトルの分布をモデル化した混合分布（例えば混合ベルヌーイ分布）に基づいて、コードブックの量子化対象データ（例えばＶＷ）を木構造に構成したものである。この木構造を用いて量子化することで、入力データを全ての量子化対象データと比較する必要がなくなるため、高速に量子化することができる。
本発明の量子化機能によれば、入力データxについて、探索木のルートノードから順に、各量子化対象データ（ノード）iの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数の量子化対象データiを特定する。入力データxを、特定された量子化対象データiに紐付けることができる。
図２は、本発明におけるコンテンツの検索装置の機能構成図である。
図２によれば、検索装置１は、バイナリ特徴ベクトル抽出部１１と、モデル推定部１２と、モデルパラメータ記憶部１３と、探索木作成部１４と、探索木記憶部１５と、量子化部１６と、転置インデックス記憶部１７と、検索部１８とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の量子化方法としても理解できる。
図２によれば、検索装置１には、訓練コンテンツ、リファレンスコンテンツ及びクエリコンテンツが入力される。ここで、コンテンツは、例えば画像であってもよい。その場合、検索装置１は、多数の訓練画像からモデルパラメータ及び探索木を作成し、クエリ画像に類似するリファレンス画像を検索することができる。
図２によれば、前述した機能構成部は、各フェーズに応じて機能する。フェーズとしては、３つのフェーズがある。
＜訓練フェーズ＞
バイナリ特徴ベクトル抽出部１１、モデル推定部１２、
モデルパラメータ記憶部１３、探索木作成部１４、探索木記憶部１５
＜インデックス構築フェーズ＞
バイナリ特徴ベクトル抽出部１１、量子化部１６、転置インデックス記憶部１７
＜検索フェーズ＞
バイナリ特徴ベクトル抽出部１１、量子化部１６、検索部１８
＜訓練フェーズ＞
バイナリ特徴ベクトル抽出部１１、モデル推定部１２、
モデルパラメータ記憶部１３、探索木作成部１４、探索木記憶部１５
＜インデックス構築フェーズ＞
バイナリ特徴ベクトル抽出部１１、量子化部１６、転置インデックス記憶部１７
＜検索フェーズ＞
バイナリ特徴ベクトル抽出部１１、量子化部１６、検索部１８
＜訓練フェーズ＞
訓練フェーズによれば、検索装置１は、多数の訓練コンテンツを入力し、訓練コンテンツ毎にバイナリ特徴ベクトルの集合を抽出する。そして、バイナリ特徴ベクトルの集合を用いて混合分布のモデルパラメータを推定すると共に、モデルパラメータを用いて量子化処理の際に参照される探索木を生成する。
訓練フェーズによれば、検索装置１は、多数の訓練コンテンツを入力し、訓練コンテンツ毎にバイナリ特徴ベクトルの集合を抽出する。そして、バイナリ特徴ベクトルの集合を用いて混合分布のモデルパラメータを推定すると共に、モデルパラメータを用いて量子化処理の際に参照される探索木を生成する。
＜インデックス構築フェーズ＞
インデックス構築フェーズによれば、検索装置１は、多数のリファレンスコンテンツ（検索対象のコンテンツ）を入力し、リファレンスコンテンツ毎にバイナリ特徴ベクトルの集合を抽出する。そして、バイナリ特徴ベクトル毎に、モデルパラメータ及び探索木を用いて量子化処理を実行する。その結果、特定された量子化対象データは、検索用の転置インデックスとして記憶される。
インデックス構築フェーズによれば、検索装置１は、多数のリファレンスコンテンツ（検索対象のコンテンツ）を入力し、リファレンスコンテンツ毎にバイナリ特徴ベクトルの集合を抽出する。そして、バイナリ特徴ベクトル毎に、モデルパラメータ及び探索木を用いて量子化処理を実行する。その結果、特定された量子化対象データは、検索用の転置インデックスとして記憶される。
＜検索フェーズ＞
検索フェーズによれば、検索装置１は、クエリコンテンツ（検索キーのコンテンツ）を入力し、クエリコンテンツからバイナリ特徴ベクトルの集合を抽出する。次に、バイナリ特徴ベクトル毎に、モデルパラメータ及び探索木を用いて量子化処理を実行する。その結果、特定された量子化対象データから、転置インデックスを参照して、最も類似するリファレンスコンテンツを検索する。
尚、本発明の本質的な機能構成は、「検索フェーズ」にあって、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定することにある。
検索フェーズによれば、検索装置１は、クエリコンテンツ（検索キーのコンテンツ）を入力し、クエリコンテンツからバイナリ特徴ベクトルの集合を抽出する。次に、バイナリ特徴ベクトル毎に、モデルパラメータ及び探索木を用いて量子化処理を実行する。その結果、特定された量子化対象データから、転置インデックスを参照して、最も類似するリファレンスコンテンツを検索する。
尚、本発明の本質的な機能構成は、「検索フェーズ」にあって、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定することにある。
以下では、検索装置１の機能構成部毎に、詳述する。
［バイナリ特徴ベクトル抽出部１１］＜訓練・インデックス構築・検索フェーズ＞
バイナリ特徴ベクトル抽出部１１は、入力された訓練コンテンツ、リファレンスコンテンツ及びクエリコンテンツそれぞれについて、バイナリ特徴ベクトルの集合を抽出する。
訓練フェーズの場合、抽出されたバイナリ特徴ベクトルの集合は、モデル推定部１２へ出力される。
インデックス構築フェーズ及び検索フェーズの場合、抽出されたバイナリ特徴ベクトルの集合は、量子化部１６へ出力される。
バイナリ特徴ベクトル抽出部１１は、入力された訓練コンテンツ、リファレンスコンテンツ及びクエリコンテンツそれぞれについて、バイナリ特徴ベクトルの集合を抽出する。
訓練フェーズの場合、抽出されたバイナリ特徴ベクトルの集合は、モデル推定部１２へ出力される。
インデックス構築フェーズ及び検索フェーズの場合、抽出されたバイナリ特徴ベクトルの集合は、量子化部１６へ出力される。
バイナリ特徴ベクトル抽出部１１は、任意のバイナリ特徴ベクトル抽出アルゴリズムによってバイナリ局所特徴の集合を抽出する。本発明によれば、バイナリ特徴ベクトルの抽出アルゴリズムとして、ＯＲＢ(Oriented FAST and Rotated BRIEF)を用いることが好ましい。ＯＲＢの場合、１つのコンテンツから２５６ビットのバイナリ特徴ベクトルの集合が抽出される。
ＯＲＢは、高速にマッチングを実行するべく、ＢＲＩＥＦ(Binary Robust Independent Elementary Features)に回転不変性を導入し、バイナリコードによる特徴記述をしたものである。ＯＲＢによれば、ＳＩＦＴやＳＵＲＦと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。
勿論、ＯＲＢに限られず、ＦＲＥＡＫ(Fast Retina Keypoint)、ＢＲＩＳＫ、ＡＫＡＺＥと称される任意のバイナリ特徴ベクトルを用いることもできる。
ＯＲＢは、高速にマッチングを実行するべく、ＢＲＩＥＦ(Binary Robust Independent Elementary Features)に回転不変性を導入し、バイナリコードによる特徴記述をしたものである。ＯＲＢによれば、ＳＩＦＴやＳＵＲＦと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。
勿論、ＯＲＢに限られず、ＦＲＥＡＫ(Fast Retina Keypoint)、ＢＲＩＳＫ、ＡＫＡＺＥと称される任意のバイナリ特徴ベクトルを用いることもできる。
＜ＯＲＢについて＞
ＯＲＢは、「特徴点検出処理」と「特徴ベクトル記述処理」との２つのステップから構成される。
ＯＲＢは、「特徴点検出処理」と「特徴ベクトル記述処理」との２つのステップから構成される。
（特徴点検出処理）
ＯＲＢにおける特徴点検出処理によれば、高速にキーポイントを検出するためにＦＡＳＴ(Features from Accelerated Segment Test)を用いる。また、ＦＡＳＴでは、スケール変化に対してロバストではないため、画像を複数のサイズに変換し、それぞれのサイズの画像から特徴点を抽出する。
ＯＲＢにおける特徴点検出処理によれば、高速にキーポイントを検出するためにＦＡＳＴ(Features from Accelerated Segment Test)を用いる。また、ＦＡＳＴでは、スケール変化に対してロバストではないため、画像を複数のサイズに変換し、それぞれのサイズの画像から特徴点を抽出する。
また、既存のＦＡＳＴには、回転不変性を得るためのキーポイントのオリエンテーション算出のアルゴリズムがない。そのために、ＯＲＢでは、回転不変性を得るべくOriented FASTを採用している。オリエンテーションを基準として特徴記述をすることによって、入力画像が回転していても、同一なキーポイントは同一な特徴量となって検出することができる。そのために、キーポイントの中心とパッチの輝度の重心の方向ベクトルを用いる。
（特徴ベクトル記述処理）
次に、ＯＲＢにおける特徴ベクトル記述処理によれば、検出された特徴点毎に、ＢＲＩＥＦ特徴ベクトル記述子によってバイナリ特徴ベクトルが抽出される。これらは、特徴点周辺の２箇所のピクセルの輝度の大小関係から求められる。
次に、ＯＲＢにおける特徴ベクトル記述処理によれば、検出された特徴点毎に、ＢＲＩＥＦ特徴ベクトル記述子によってバイナリ特徴ベクトルが抽出される。これらは、特徴点周辺の２箇所のピクセルの輝度の大小関係から求められる。
ＢＲＩＥＦは、バイナリコードによってキーポイントの特徴量記述を実行することができる。ＳＩＦＴやＳＵＲＦによれば、特徴量記述に高次元の実数を用いていた。しかしながら、高次元の実数を用いた場合、メモリ容量の増加と類似度計算の増加と問題となる。そこで、ＯＲＢに基づくＢＲＩＥＦを用いることによって、バイナリコードによって特徴記述することで省メモリ化し、類似度計算にハミング距離を用いることで処理コストの抑制を実現する。
ＢＲＩＥＦによれば、パッチ内においてランダムに選択された２点の輝度差の符号からバイナリコードを生成する。選択するピクセルは、キーポイント位置を中心としたガウス分布に従ってランダムに選択する。ここで、ＯＲＢは、更に高精度にマッチングをさせるために、学習を用いてピクセルを選択している。選択するピクセル位置は、ペアのビット分散が大きく且つＮ組のペアの相関が低い場合に、特徴記述能力が高いバイナリコードとして、特徴記述に使用する。Ｎ組のペアは、Greedyアルゴリズムを用いて絞り込む。
［モデル推定部１２］＜訓練フェーズ＞
モデル推定部１２は、訓練コンテンツのバイナリ特徴ベクトルの集合について、混合分布Ｐ(x)に関する混合比ｗiを含むモデルパラメータλを算出する。
混合分布Ｐ(x)は、混合ベルヌーイ分布であることが好ましいが、混合ガウス分布、混合多項分布、混合ディリクレ分布、又は、混合ラプラス分布であってもよい。
モデル推定部１２は、訓練コンテンツのバイナリ特徴ベクトルの集合について、混合分布Ｐ(x)に関する混合比ｗiを含むモデルパラメータλを算出する。
混合分布Ｐ(x)は、混合ベルヌーイ分布であることが好ましいが、混合ガウス分布、混合多項分布、混合ディリクレ分布、又は、混合ラプラス分布であってもよい。
以下では、混合分布Ｐ(x)は、混合（多変量）ベルヌーイ分布であるとして説明する。
混合分布Ｐ(x)が、混合ベルヌーイ分布である場合、モデルパラメータλは、ノードi（i番目）の混合ベルヌーイ分布に関する混合比ｗiと、ノードiの混合ベルヌーイ分布のd（1≦d≦D）番目のパラメータμidとなる。モデル推定部１２は、これらモデルパラメータλを算出する。
λ（w1、・・・、wN及びμ11、・・・、μND）
λ（w1、・・・、wN及びμ11、・・・、μND）
＜混合ベルヌーイ分布に基づくパラメータwi及びμidの算出＞
本発明によれば、バイナリ特徴ベクトルの集合を「混合ベルヌーイ分布」でモデル化したモデルパラメータλを推定する。ベルヌーイ分布とは、確率pで1を、確率q＝1-pで0をとる離散確率分布をいう。Xをベルヌーイ分布に従う確率変数とすれば、確率変数Xの平均はp、分散はpq＝p(1-p)となる。「混合ベルヌーイ分布」は、バイナリ特徴ベクトルxtが生成される確率p(xt|λ)を表現する。
N：混合数
本発明によれば、バイナリ特徴ベクトルの集合を「混合ベルヌーイ分布」でモデル化したモデルパラメータλを推定する。ベルヌーイ分布とは、確率pで1を、確率q＝1-pで0をとる離散確率分布をいう。Xをベルヌーイ分布に従う確率変数とすれば、確率変数Xの平均はp、分散はpq＝p(1-p)となる。「混合ベルヌーイ分布」は、バイナリ特徴ベクトルxtが生成される確率p(xt|λ)を表現する。
混合分布であるため、p1からpNまでの異なる混合ベルヌーイ分布が、それぞれ混合比wiで選択され、xtが生成される。i番目の混合ベルヌーイ分布から、バイナリ特徴ベクトルxtが生成される確率は、以下の式で表現される。
μid：i番目の混合ベルヌーイ分布のd番目のパラメータ
xt,d：バイナリ特徴ベクトルxtのd番目のビット
D：バイナリ特徴ベクトルのビット長
pi（xt|λ）：バイナリ特徴ベクトルxtがi番目の混合ベルヌーイ分布から生成
された際に、d番目のビットが1となる確率
μid：i番目の混合ベルヌーイ分布のd番目のパラメータ
xt,d：バイナリ特徴ベクトルxtのd番目のビット
D：バイナリ特徴ベクトルのビット長
pi（xt|λ）：バイナリ特徴ベクトルxtがi番目の混合ベルヌーイ分布から生成
された際に、d番目のビットが1となる確率
これらのパラメータは、具体的には、訓練コンテンツのバイナリ特徴ベクトルの集合x1〜xTから、ＥＭ(Expectation-Maximization)アルゴリズムの繰り返し処理によって推定する。ＥＭアルゴリズムとは、統計学について、確率モデルのパラメータを最尤法に基づいて推定方法であって、観測不可能な潜在変数に確率モデルが依存する場合に用いられるものである。
Ｅ(Expectation、事後確率)ステップでは、バイナリ特徴ベクトルxi毎に、潜在変数ztiの分布に基づいて、モデルの尤度の事後確率γt(i)を推定する。
γt(i)：t番目の訓練ベクトルがi番目の混合ベルヌーイ分布から生成された
事後確率
事後確率
Ｍ(Maximization、最大化)ステップでは、Ｅステップで算出された尤度の事後確率γt(i)を最大化するべく、混合比ｗi及びパラメータμiを更新する。Ｍステップで算出されたパラメータは、次のＥステップにおける潜在変数の分布を決定するために用いられる。
これらＥステップ及びＭステップを、収束するまで繰り返すことによって、対数尤度を最大化する混合比ｗi及びパラメータμiのパラメータ群λを算出する
λ（w1、・・・、wN及びμ11、・・・、μND）
λ（w1、・・・、wN及びμ11、・・・、μND）
［モデルパラメータ記憶部１３］＜訓練フェーズ＞
モデルパラメータ記憶部１３は、混合分布Ｐ(x)のモデルパラメータλを記憶する。モデルパラメータ記憶部１３は、量子化部１６から参照される。
モデルパラメータ記憶部１３は、混合分布Ｐ(x)のモデルパラメータλを記憶する。モデルパラメータ記憶部１３は、量子化部１６から参照される。
［探索木作成部１４］＜訓練フェーズ＞
探索木作成部１４は、ルートノードから順に、複数のノード（量子化対象データ、ＶＷの代表ベクトル）が木構造に紐付けられた探索木を作成する。
探索木作成部１４は、ルートノードから順に、複数のノード（量子化対象データ、ＶＷの代表ベクトル）が木構造に紐付けられた探索木を作成する。
図３は、本発明の量子化部によって参照される探索木の構成図である。
本発明の探索木は、ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられたものである。ノード番号は、混合要素Ｐiのi番目を表す。
探索木作成部１４には、モデル推定部１２によって推定された混合ベルヌーイ分布の集合Bが入力される。Bの要素Biは、パラメータｗi及びμi1〜μiDから構成される。また、木を作成するためのパラメータとして、以下のように設定される。
全ノード数B
葉ノード最大数SL
枝数K
全ノード数B
葉ノード最大数SL
枝数K
探索木作成部１４は、ルートノードに対し、ランダムに選択されたK個（K≧1）の混合要素Ｐ1〜ＰKを子ノードとして接続し、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに更に紐付けることを再帰的に繰り返すことによって、探索木を作成する。
探索木の作成ステップは、例えば以下のようなアルゴリズムで表される。
if Bの要素数≦SL then
Bを保持する葉ノードを作成
else
BからランダムにK個の要素を選択し、Ｐ1,〜,ＰKとする
Bの残りの要素を、最も近いＰiに割り当て、クラスタＣ1,〜,ＣKを作成
for each クラスタＣi do
Ｐiを用いて中間ノードを作成し、Ｃiについて再帰的に実行
end for
end if
if Bの要素数≦SL then
Bを保持する葉ノードを作成
else
BからランダムにK個の要素を選択し、Ｐ1,〜,ＰKとする
Bの残りの要素を、最も近いＰiに割り当て、クラスタＣ1,〜,ＣKを作成
for each クラスタＣi do
Ｐiを用いて中間ノードを作成し、Ｃiについて再帰的に実行
end for
end if
図４は、本発明の探索木の作成ステップを表す第１の説明図である。
図５は、本発明の探索木の作成ステップを表す第２の説明図である。
図５は、本発明の探索木の作成ステップを表す第２の説明図である。
図３〜図５の探索木は、全ノード数B＝12、葉ノード最大数SL＝4、枝数K＝2として表したものである。
（Ｓ１）図４（ａ）によれば、全ノード数Bは、12＞SLであるために、ルートノードは葉ノードとはならず、子ノードを持つ。
（Ｓ２）図４（ｂ）によれば、子ノードは、全ノードBの中から、ランダムにk＝2個が選択される。ここでは、i＝3番目とi＝7番目のノードが選択され、Ｐ1、Ｐ2のノードが作成される。
（Ｓ３）図４（ｃ）によれば、次に、Bの残り10個のノードを、混合要素Ｐ1又はＰ2のいずれか近い方に割り当てる。この割当によって、Ｃ1及びＣ2の新たな集合が作成される。この集合に対し、再帰的にアルゴリズムを適用する。
（Ｓ４）図５（ａ）によれば、Ｃ1のノード数は7＞SLであるために、Ｃ1は葉ノードとはならない。この集合Ｃ1対して、再帰的にアルゴリズムを適用する。一方で、Ｃ2のノード数は3≦SLであるために、Ｃ2は葉ノードとなる。
（Ｓ５）図５（ｂ）によれば、最終的に、葉ノード数≦SLとなる探索木が作成される。
（Ｓ１）図４（ａ）によれば、全ノード数Bは、12＞SLであるために、ルートノードは葉ノードとはならず、子ノードを持つ。
（Ｓ２）図４（ｂ）によれば、子ノードは、全ノードBの中から、ランダムにk＝2個が選択される。ここでは、i＝3番目とi＝7番目のノードが選択され、Ｐ1、Ｐ2のノードが作成される。
（Ｓ３）図４（ｃ）によれば、次に、Bの残り10個のノードを、混合要素Ｐ1又はＰ2のいずれか近い方に割り当てる。この割当によって、Ｃ1及びＣ2の新たな集合が作成される。この集合に対し、再帰的にアルゴリズムを適用する。
（Ｓ４）図５（ａ）によれば、Ｃ1のノード数は7＞SLであるために、Ｃ1は葉ノードとはならない。この集合Ｃ1対して、再帰的にアルゴリズムを適用する。一方で、Ｃ2のノード数は3≦SLであるために、Ｃ2は葉ノードとなる。
（Ｓ５）図５（ｂ）によれば、最終的に、葉ノード数≦SLとなる探索木が作成される。
また、探索木作成部１４は、Bの要素をＰiに割り当てる際に、混合ベルヌーイ分布間の類似度を計算する必要がある。探索木作成部１４は、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに紐付ける際に、ＰiとＰj∈Ｐ1,・・・,ＰKの間の非類似度尺度として、ＫＬ(Kullback Leibler)ダイバージェンス又はＪＳ(Jensen Shannon)ダイバージェンスを用いることも好ましい。
ＫＬダイバージェンスとは、相対エントロピーとも称され、分布と分布と間の差の大きさを導出するものである。
ＪＳダイバージェンスとは、ＫＬダイバージェンスに対象性を持たせたものである。
ＫＬダイバージェンスとは、相対エントロピーとも称され、分布と分布と間の差の大きさを導出するものである。
ＪＳダイバージェンスとは、ＫＬダイバージェンスに対象性を持たせたものである。
混合ベルヌーイ分布ｐiのｐjに対するＫＬダイバージェンスは、以下のように定義される。
［探索木記憶部１５］＜訓練フェーズ＞
探索木記憶部１５は、ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶する。探索木記憶部１５は、量子化部１６から参照される。
探索木記憶部１５は、ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶する。探索木記憶部１５は、量子化部１６から参照される。
［量子化部１６］＜インデックス構築・検索フェーズ＞
量子化部１６は、リファレンスコンテンツ又はクエリコンテンツのバイナリ特徴ベクトルについて、モデルパラメータλと探索木とを参照して、量子化対象となるノードiを特定する。
本発明の本質的機能は、検索フェーズにおける量子化部１６であって、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定したものである。
量子化部１６は、リファレンスコンテンツ又はクエリコンテンツのバイナリ特徴ベクトルについて、モデルパラメータλと探索木とを参照して、量子化対象となるノードiを特定する。
本発明の本質的機能は、検索フェーズにおける量子化部１６であって、入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定したものである。
量子化部１６は、入力データxについて、探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する。
混合分布Ｐ(x)は、ノードiの混合比ｗiに基づくＰ(x)＝Σi=1 NｗiＰi(x)である。
事後確率γi(x)は、γi(x)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))である。
尚、混合ベルヌーイ分布の場合、モデルパラメータλ（混合比ｗi、パラメータμid）を用いて、各ノードiに対応する混合分布Ｐiを特定する。
混合分布Ｐ(x)は、ノードiの混合比ｗiに基づくＰ(x)＝Σi=1 NｗiＰi(x)である。
事後確率γi(x)は、γi(x)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))である。
尚、混合ベルヌーイ分布の場合、モデルパラメータλ（混合比ｗi、パラメータμid）を用いて、各ノードiに対応する混合分布Ｐiを特定する。
量子化部１６は、探索木を深さ優先で探索するものである。ここで、現に未探索ノードiにおける尤度Ｐi(x)を、優先度付きキューに記憶する。そして、優先度付きキューに記憶された尤度Ｐi(x)が最も高い未探索ノードから順に、再帰的に探索する。
入力データxがi番目の混合ベルヌーイ分布から生成された事後確率Ｐi(x)は、以下のように定義される。
従来技術によれば、事後確率が高くなる混合ベルヌーイ分布の混合要素を算出するために、全ての混合要素に対する事後分布を算出する必要があった。これに対し、本発明によれば、探索木を用いて必要以上に探索処理を実行せず、量子化処理に高いリアルタイム性を実現することができる。
ここで、ｐi(x)は、以下のように定義される。
これによって、事後確率γi(x)が所定閾値以上又は上位所定件数のノード（混合分布の識別子）iを特定することができる。
。
。
図６は、探索木における第１の探索ステップを表す第１の説明図である。
最初に、入力データxについて、ルートノードに接続されたノードi=3及びi=7について、i=3の混合要素の尤度Ｐ3(x)と、i=7の混合要素の尤度Ｐ7(x)とを比較する。
Ｐ3(x)＝0.050、Ｐ7(x)＝0.042
ここでは、尤度が大きい方のノードi=3を辿る。このとき、優先度付きキュー(priority queue)に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=7のＰ7(x)＝0.042］
検索結果の優先度付きキュー
->［i=3のＰ3(x)＝0.050］［i=7のＰ7(x)＝0.042］
最初に、入力データxについて、ルートノードに接続されたノードi=3及びi=7について、i=3の混合要素の尤度Ｐ3(x)と、i=7の混合要素の尤度Ｐ7(x)とを比較する。
Ｐ3(x)＝0.050、Ｐ7(x)＝0.042
ここでは、尤度が大きい方のノードi=3を辿る。このとき、優先度付きキュー(priority queue)に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=7のＰ7(x)＝0.042］
検索結果の優先度付きキュー
->［i=3のＰ3(x)＝0.050］［i=7のＰ7(x)＝0.042］
「未探索ノードの優先度付きキュー」には、辿らなかったノード（尤度が最も大きい方のノード以外のノード）の尤度を記録する。深さ探索によって葉ノードまで到達した場合、未探索ノードの優先度付きキューに記録された、最も尤度が大きいノードから順に、再帰的に深さ探索を実行する。
「検索結果の優先度付きキュー」には、辿った全てのノードについて大きい順に尤度を記録する。
「検索結果の優先度付きキュー」には、辿った全てのノードについて大きい順に尤度を記録する。
図７は、探索木における第２の探索ステップを表す第２の説明図である。
次に、入力データxについて、ノードi=3に接続されたノードi=5及びi=11について、i=5の混合要素の尤度Ｐ5(x)と、i=11の混合要素の尤度Ｐ11(x)とを比較する。
Ｐ5(x)＝0.037、Ｐ7(x)＝0.061
ここでは、尤度が大きい方のノードi=7を辿る。このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=11のＰ11(x)＝0.061］［i=3のＰ3(x)＝0.050］
［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
次に、入力データxについて、ノードi=3に接続されたノードi=5及びi=11について、i=5の混合要素の尤度Ｐ5(x)と、i=11の混合要素の尤度Ｐ11(x)とを比較する。
Ｐ5(x)＝0.037、Ｐ7(x)＝0.061
ここでは、尤度が大きい方のノードi=7を辿る。このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=11のＰ11(x)＝0.061］［i=3のＰ3(x)＝0.050］
［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
図８は、探索木における第３の探索ステップを表す第３の説明図である。
次に、入力データxについて、ノードi=11に接続されたノードi=9及びi=10について、i=9の混合要素の尤度Ｐ9(x)と、i=10の混合要素の尤度Ｐ10(x)とを比較する。
Ｐ9(x)＝0.070、Ｐ10(x)＝0.051
ここでは、尤度が大きい方のノードi=9を辿る。このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=9のＰ9(x)＝0.070］［i=11のＰ11(x)＝0.061］
［i=10のＰ10(x)＝0.051］［i=3のＰ3(x)＝0.050］
［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
次に、入力データxについて、ノードi=11に接続されたノードi=9及びi=10について、i=9の混合要素の尤度Ｐ9(x)と、i=10の混合要素の尤度Ｐ10(x)とを比較する。
Ｐ9(x)＝0.070、Ｐ10(x)＝0.051
ここでは、尤度が大きい方のノードi=9を辿る。このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=9のＰ9(x)＝0.070］［i=11のＰ11(x)＝0.061］
［i=10のＰ10(x)＝0.051］［i=3のＰ3(x)＝0.050］
［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
図９は、探索木における第４の探索ステップを表す第４の説明図である。
深さ探索によってノードi=9及びi=10の末端まで探索が終了している。この場合、未探索ノードの優先度付きキューの中で、最も尤度が高いノードについて再帰的に深さ探索を実行する。
次に、入力データxについて、ノードi=7の混合要素の尤度Ｐ7(x)を探索する。このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=9のＰ9(x)＝0.070］［i=11のＰ11(x)＝0.061］
［i=10のＰ10(x)＝0.051］［i=3のＰ3(x)＝0.050］
［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
深さ探索によってノードi=9及びi=10の末端まで探索が終了している。この場合、未探索ノードの優先度付きキューの中で、最も尤度が高いノードについて再帰的に深さ探索を実行する。
次に、入力データxについて、ノードi=7の混合要素の尤度Ｐ7(x)を探索する。このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=9のＰ9(x)＝0.070］［i=11のＰ11(x)＝0.061］
［i=10のＰ10(x)＝0.051］［i=3のＰ3(x)＝0.050］
［i=7の尤度Ｐ7(x)＝0.042］［i=5の尤度Ｐ5(x)＝0.037］
図１０は、探索木における第５の探索ステップを表す第５の説明図である。
次に、入力データxについて、ノードi=7に接続されたノードi=2、i=6及びi=8について、i=2の混合要素の尤度Ｐ2(x)と、i=6の混合要素の尤度Ｐ6(x)と、i=8の混合要素の尤度Ｐ8(x)とを比較する。
Ｐ2(x)＝0.085、Ｐ6(x)＝0.048、Ｐ8(x)＝0.028
このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=2のＰ2(x)＝0.085］［i=9のＰ9(x)＝0.070］［i=11のＰ11(x)＝0.061］
［i=10のＰ10(x)＝0.051］［i=3のＰ3(x)＝0.050］［i=6のＰ6(x)＝0.048］
［i=7の尤度Ｐ7(x)＝0.042］［i=5のＰ5(x)＝0.037］
［i=8のＰ8(x)＝0.028］
次に、入力データxについて、ノードi=7に接続されたノードi=2、i=6及びi=8について、i=2の混合要素の尤度Ｐ2(x)と、i=6の混合要素の尤度Ｐ6(x)と、i=8の混合要素の尤度Ｐ8(x)とを比較する。
Ｐ2(x)＝0.085、Ｐ6(x)＝0.048、Ｐ8(x)＝0.028
このとき、優先度付きキューに、尤度の大きい順に、以下のように記録される。
未探索ノードの優先度付きキュー
->［i=5の尤度Ｐ5(x)＝0.037］
検索結果の優先度付きキュー
->［i=2のＰ2(x)＝0.085］［i=9のＰ9(x)＝0.070］［i=11のＰ11(x)＝0.061］
［i=10のＰ10(x)＝0.051］［i=3のＰ3(x)＝0.050］［i=6のＰ6(x)＝0.048］
［i=7の尤度Ｐ7(x)＝0.042］［i=5のＰ5(x)＝0.037］
［i=8のＰ8(x)＝0.028］
「検索結果の優先度付きキュー」に所定数の尤度が記録された際に（所定数のノードが探索された際に）、探索を終了する。そして、「検索結果の優先度付きキュー」に記録された尤度Ｐi(x)に基づいて事後確率ｐi(x)＝ｗiＰi(x)を算出し、事後確率が高い１つ以上のノードi（量子化対象データ）を量子化の結果として出力する。
［転置インデックス記憶部１７］＜インデックス構築フェーズ＞
転置インデックス記憶部１７は、リファレンスコンテンツの各バイナリ特徴ベクトルについて、量子化部１６で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストにバイナリ特徴ベクトルの情報を記憶したものである。
転置インデックス記憶部１７は、リファレンスコンテンツの各バイナリ特徴ベクトルについて、量子化部１６で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストにバイナリ特徴ベクトルの情報を記憶したものである。
図１１は、本発明の検索部によって参照される転置インデックスの処理を表す説明図である。
転置インデックスは、混合分布の識別子i毎のリストを保持している。各リストには、その識別子iに量子化されたバイナリ特徴ベクトルに関する情報が保存されている。保存する情報としては、コンテンツＩＤ（識別子）があるが、それ以外に、バイナリ特徴の座標、バイナリ特徴のスケール、バイナリ特徴の角度、バイナリ特徴ベクトル等を保存してもよい。量子化について、複数の混合ベルヌーイ分布の識別子が利用可能である場合には、その全てのリストにバイナリ特徴に関する情報を登録する。
［検索部１８］＜検索フェーズ＞
検索部１８は、クエリコンテンツの各バイナリ特徴ベクトルについて、量子化部１６で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストを探索する。そして、リストに記憶されているバイナリ特徴ベクトルに対応したリファレンスコンテンツに対しスコアを累積し、累積されたスコアを類似度としてリファレンスコンテンツを検索する。具体的には、リファレンスコンテンツ（ＩＤ）毎にスコアを投票するものであってもよい。
検索部１８は、クエリコンテンツの各バイナリ特徴ベクトルについて、量子化部１６で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストを探索する。そして、リストに記憶されているバイナリ特徴ベクトルに対応したリファレンスコンテンツに対しスコアを累積し、累積されたスコアを類似度としてリファレンスコンテンツを検索する。具体的には、リファレンスコンテンツ（ＩＤ）毎にスコアを投票するものであってもよい。
この場合、クエリコンテンツのバイナリ特徴ベクトルとリファレンスコンテンツのバイナリ特徴との距離を算出し、その距離に応じてスコアを算出することができる。例えば、クエリコンテンツのバイナリ特徴ベクトルとリファレンスコンテンツのバイナリ特徴との二乗距離をdとすると、スコアとしてexp(-d/a)を利用することができる。aは、調整可能なパラメータを意味する。また、ＩＤＦ(Inverse Document Frequency)に基づいて、各量子化された識別子の出現頻度に応じて、スコアを修正してもよい。
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、量子化対象データである混合分布に応じて、入力データに対して最適な量子化対象データをマッチングさせることができる。
本発明によれば、訓練コンテンツのバイナリ特徴ベクトルを混合分布でモデル化した量子化対象データを含むコードブックを作成し、その量子化対象データを探索木に構成することによって、クエリコンテンツとリファレンスコンテンツとの間のマッチングを、高速且つ高精度に実行することができる。これは、バイナリ特徴ベクトルのビット間の非独立性を考慮したものとなる。特に、本発明によれば、従来技術におけるＢｏＶＷの枠組みの中で、類似度の算出と特徴点のマッチングとを実行することができる。
また、コンテンツが画像である場合、画像間の幾何検証について、正解画像ペアに対するスコアを維持しつつ、不正解画像ペアに対するスコアを抑制することができる。これは、物体を高精度に認識することに役立つ。
また、コンテンツが画像である場合、画像間の幾何検証について、正解画像ペアに対するスコアを維持しつつ、不正解画像ペアに対するスコアを抑制することができる。これは、物体を高精度に認識することに役立つ。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 検索装置
１１ バイナリ特徴ベクトル抽出部
１２ モデル推定部
１３ モデルパラメータ記憶部
１４ 探索木作成部
１５ 探索木記憶部
１６ 量子化部
１７ 転置インデックス記憶部
１８ 検索部
１１ バイナリ特徴ベクトル抽出部
１２ モデル推定部
１３ モデルパラメータ記憶部
１４ 探索木作成部
１５ 探索木記憶部
１６ 量子化部
１７ 転置インデックス記憶部
１８ 検索部
Claims (11)
- 入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定するようにコンピュータを機能させるプログラムにおいて、
ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶手段と、
入力データxについて、前記探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する量子化手段と
してコンピュータを機能させることを特徴とするプログラム。 - 前記混合分布Ｐ(x)は、ノードiの混合比ｗiに基づくＰ(x)＝Σi=1 NｗiＰi(x)であり、
前記事後確率γi(x)は、γi(x)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))である
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。 - 前記量子化手段は、前記探索木を深さ優先で探索するものであって、
現に未探索ノードiにおける尤度Ｐi(x)を、優先度付きキューに記憶し、
前記優先度付きキューに記憶された前記尤度Ｐi(x)が最も高い未探索ノードから順に、再帰的に探索する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。 - 前記探索木は、ルートノードに対し、ランダムに選択されたK個（K≧1）の混合要素Ｐ1〜ＰKを子ノードとして接続し、選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに更に紐付けることを再帰的に繰り返すことによって、前記探索木を作成する探索木作成手段と
して更にコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載のプログラム。 - 前記探索木作成手段は、前記選択されなかった混合要素Ｐiを、Ｐ1〜ＰKに対応したノードに紐付ける際に、ＰiとＰj∈Ｐ1,・・・,ＰKの間の非類似度尺度として、ＫＬ(Kullback Leibler)ダイバージェンス又はＪＳ(Jensen Shannon)ダイバージェンスを用いる
ようにコンピュータを機能させることを特徴とする請求項４の記載のプログラム。 - 前記混合分布Ｐ(x)は、混合ベルヌーイ分布、混合ガウス分布、混合多項分布、混合ディリクレ分布、又は、混合ラプラス分布である
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。 - 入力された訓練コンテンツ、リファレンスコンテンツ及びクエリコンテンツそれぞれについて、バイナリ特徴ベクトルの集合を抽出するバイナリ特徴ベクトル抽出手段と、
訓練コンテンツのバイナリ特徴ベクトルの集合について、混合分布Ｐ(x)に関する混合比ｗiを含むモデルパラメータλを算出するモデル推定手段と、
前記モデルパラメータλを記憶するモデルパラメータ記憶手段と
してコンピュータを機能させ、
前記量子化手段は、リファレンスコンテンツ又はクエリコンテンツのバイナリ特徴ベクトルについて、前記モデルパラメータλを用いてノードiを特定し、
前記リファレンスコンテンツの各バイナリ特徴ベクトルについて、前記量子化手段で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストに前記バイナリ特徴ベクトルの情報を記憶する転置インデックス記憶手段と、
クエリコンテンツの各バイナリ特徴ベクトルについて、前記量子化手段で特定された１つ以上のノードの識別子iに対応する転置インデックスのリストを探索し、リストに記憶されているバイナリ特徴ベクトルに対応したリファレンスコンテンツに対しスコアを累積し、累積されたスコアを類似度としてリファレンスコンテンツを検索する検索手段と
して更にコンピュータを機能させ、クエリコンテンツに類似したリファレンスコンテンツを検索する
ことを特徴とする請求項１から６のいずれか１項に記載のプログラム。 - 前記混合分布Ｐ(x)が、混合ベルヌーイ分布である場合、
前記モデルパラメータλは、ノードiの混合ベルヌーイ分布に関する混合比ｗiと、ノードiの混合ベルヌーイ分布のd（1≦d≦D）番目のパラメータμidとであり、
前記量子化手段は、混合比ｗiとパラメータμidとを用いて、各ノードiに対応する混合分布Ｐiを特定する
ようにコンピュータを機能させることを特徴とする請求項７に記載のプログラム。 - 前記モデル推定手段は、訓練コンテンツのバイナリ特徴ベクトルの集合ｘ1〜ｘTから、
Ｅ(Expectation)ステップについて、バイナリ特徴ベクトルｘi毎に潜在変数iの事後確率γt(i)＝ｗiＰi(x)/(Σi=1 NｗiＰi(x))を推定し、
Ｍ(Maximization)ステップについて、前記事後確率γt(i)を用いて、混合比ｗi及びパラメータμiを更新し、
これらＥステップ及びＭステップを、収束するまで又は一定回数繰り返すことによって、混合比ｗi及びパラメータμidのパラメータ群λを算出する
λ=（ｗ1、・・・、ｗN及びμ11、・・・、μND）
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。 - 入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定する量子化装置において、
ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶手段と、
前記入力データxについて、前記探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する量子化手段と
を有することを特徴とする量子化装置。 - 入力データxに対して、量子化対象となる複数のノードi（＝1〜N）の中から１つ以上のノードiを特定する装置の量子化方法において、
前記装置は、ルートノードから順に、各ノードiに混合分布の混合要素Ｐiが紐付けられた探索木を記憶した探索木記憶部を有し、
前記装置は、前記入力データxについて、前記探索木のルートノードから順に、各ノードiの混合分布Ｐ(x)に基づく尤度Ｐi(x)が大きい方のノード側を探索し、尤度Ｐi(x)に基づく事後確率γi(x)が所定閾値以上又は上位所定件数のノードiを特定する
ことを特徴とする装置の量子化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016164371A JP6601965B2 (ja) | 2016-08-25 | 2016-08-25 | 探索木を用いて量子化するプログラム、装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016164371A JP6601965B2 (ja) | 2016-08-25 | 2016-08-25 | 探索木を用いて量子化するプログラム、装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018032232A JP2018032232A (ja) | 2018-03-01 |
| JP6601965B2 true JP6601965B2 (ja) | 2019-11-06 |
Family
ID=61303396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016164371A Active JP6601965B2 (ja) | 2016-08-25 | 2016-08-25 | 探索木を用いて量子化するプログラム、装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6601965B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889504B (zh) * | 2019-12-05 | 2022-10-21 | 北京理工大学 | 一种基于能量分布评估的多目标小行星交会序列搜索方法 |
| WO2021214935A1 (ja) * | 2020-04-23 | 2021-10-28 | 日本電信電話株式会社 | 学習装置、検索装置、学習方法、検索方法及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4597714B2 (ja) * | 2005-03-01 | 2010-12-15 | Ｋｄｄｉ株式会社 | 情報検索装置および方法ならびにコンピュータプログラム |
| JP5577371B2 (ja) * | 2012-03-29 | 2014-08-20 | 楽天株式会社 | 画像検索装置、画像検索方法およびプログラム |
-
2016
- 2016-08-25 JP JP2016164371A patent/JP6601965B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018032232A (ja) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Melekhov et al. | Siamese network features for image matching | |
| JP6041439B2 (ja) | 画像に基づくバイナリ特徴ベクトルを用いた画像検索装置、システム、プログラム及び方法 | |
| CN110188223B (zh) | 图像处理方法、装置及计算机设备 | |
| Chen et al. | Blessing of dimensionality: High-dimensional feature and its efficient compression for face verification | |
| McCann et al. | Local naive bayes nearest neighbor for image classification | |
| CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
| CN108491794B (zh) | 面部识别的方法和装置 | |
| CN113254687B (zh) | 图像检索、图像量化模型训练方法、装置和存储介质 | |
| Taşdemir et al. | Approximate spectral clustering with utilized similarity information using geodesic based hybrid distance measures | |
| Bergamo et al. | Leveraging structure from motion to learn discriminative codebooks for scalable landmark classification | |
| Bergamo et al. | Classemes and other classifier-based features for efficient object categorization | |
| US9135525B2 (en) | Character recognition apparatus, character recognition method, and computer-readable medium | |
| CN108629345A (zh) | 高维图像特征匹配方法和装置 | |
| JP5794036B2 (ja) | 画像検索装置、画像検索方法、およびプログラム | |
| JP6004015B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
| Altintakan et al. | Towards effective image classification using class-specific codebooks and distinctive local features | |
| Zhang et al. | Large-scale aerial image categorization using a multitask topological codebook | |
| Zhang et al. | Dataset-driven unsupervised object discovery for region-based instance image retrieval | |
| Wang et al. | Few-shot hash learning for image retrieval | |
| Iwana et al. | Efficient temporal pattern recognition by means of dissimilarity space embedding with discriminative prototypes | |
| JP2015022383A (ja) | 画像に基づくバイナリ局所特徴ベクトルを用いた検索装置、システム、プログラム及び方法 | |
| CN110390356A (zh) | 视觉词典生成方法及装置、存储介质 | |
| Bhattacharjee et al. | Query adaptive multiview object instance search and localization using sketches | |
| JP6601965B2 (ja) | 探索木を用いて量子化するプログラム、装置及び方法 | |
| CN108805280B (zh) | 一种图像检索的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6601965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |