JP6017277B2 - 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 - Google Patents

特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 Download PDF

Info

Publication number
JP6017277B2
JP6017277B2 JP2012255899A JP2012255899A JP6017277B2 JP 6017277 B2 JP6017277 B2 JP 6017277B2 JP 2012255899 A JP2012255899 A JP 2012255899A JP 2012255899 A JP2012255899 A JP 2012255899A JP 6017277 B2 JP6017277 B2 JP 6017277B2
Authority
JP
Japan
Prior art keywords
content
query
feature vector
feature vectors
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012255899A
Other languages
English (en)
Other versions
JP2014102772A (ja
Inventor
祐介 内田
祐介 内田
茂之 酒澤
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2012255899A priority Critical patent/JP6017277B2/ja
Publication of JP2014102772A publication Critical patent/JP2014102772A/ja
Application granted granted Critical
Publication of JP6017277B2 publication Critical patent/JP6017277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、特徴ベクトルの集合で表されるコンテンツ間の類似度を算出する技術に関する。また、コンテンツ間の類似度を算出することによって、特徴ベクトルの集合で表されるリファレンスコンテンツ（検索対象のコンテンツ）の集合から、同じく特徴ベクトルの集合で表されるクエリコンテンツ（検索キーとなるコンテンツ）に類似したリファレンスコンテンツを高精度に検索する技術に関する。特に、高次元の特徴ベクトルの集合で表されるマルチメディアコンテンツ（例えば画像）の検索に適する。
近年、オンライン／オフラインに限られず、ストレージの大容量化に伴って、大量のコンテンツを蓄積することが可能となっている。また、携帯電話機やスマートフォンに代表される情報端末機器の普及によって、ユーザ自ら取得した写真データのようなデジタルコンテンツも、データベースに大量かつ容易に蓄積することができる。オフラインデータベースとして、ＨＤＤ(Hard Disk Drive)、ＤＶＤ(Digital Versatile Disk)、Blu-ray disc等の記憶装置がある。また、オンラインデータベースとしては、Flickr（登録商標）やMySpace（登録商標）のようなソーシャルネットワークサービスがある。これら記憶装置及びサービスによれば、データベースに蓄積された個人の大量且つ多様なマルチメディアコンテンツを検索するする技術が重要となる。
マルチメディアコンテンツを検索するために、これらコンテンツから多数の特徴ベクトルを抽出し、この特徴ベクトルの集合同士の間の類似度が高いコンテンツを検索結果として出力する技術がある。この技術によれば、マルチメディアコンテンツの特徴ベクトルを量子化し、量子化された特徴ベクトルの頻度からヒストグラムを作成する。そのヒストグラム同士の間のＬ１ノルム又はＬ２ノルムの距離によって類似度（距離）を算出する。ノルムとは、２つの点の間の距離を表す。Ｌ１ノルムとは、２つの点の各次元の値の絶対値の和を意味し、Ｌ２ノルムとは、２つの点の各次元の値を二乗した和を意味する。
また、画像コンテンツから大量の局所特徴ベクトルを抽出し、それらをベクトル量子化し、同一の代表ベクトルにベクトル量子化された局所特徴ベクトルの数で類似度を算出する技術もある（例えば非特許文献１参照）。
更に、画像から複数の局所不変特徴量を抽出し、特徴ベクトルの頻度のヒストグラム化し、そのヒストグラムの重なり率によって画像とカテゴリとの間の類似度を算出する技術もある（例えば特許文献１参照）。この技術によれば、ヒストグラムに基づいて被写体のパターン認識に不要となる特徴（例えば背景の特徴）を除くことができる。これによって、画像中から物体と物体以外とを予め分離することなく、当該物体の特徴を抽出することができる。
従来、局所特徴量を用いた類似画像検索の枠組みは、「Bag-of-Visual Words」（又はBag-of-Features、Bag-of-Keypoints）と称される（例えば非特許文献１参照）。この技術によれば、Bag-of-Wordsモデル及び転置インデックスを用いた文章の検索方法を、類似画像の検索に適用したものである。Bag-of-Wordsは、文章を１つの単語の頻度により定義される特徴ベクトルで表現し、文章集合に基づいて予め導出されたＩＤＦ(Inverse Document Frequency)を単語の重みとして文章間の類似度を導出する枠組みである。これに対し、Bag-of-Visual Wordsは、画像の局所特徴量を量子化し、量子化後の局所特徴量を単語と見立て、同様に頻度により定義される１つの特徴ベクトルとして表現し、ＩＤＦを用いた重み付けを利用して同一の類推方法を適用することができる。
これら従来技術に対して、クエリ特徴ベクトルに対して類似度の高い順に並べられたリファレンス特徴ベクトルのリストについて、更なる正確度を高めたい場合もある。また、クエリ画像とリファレンス画像とに、同一の物体が含まれているか否かを、類似度に基づいて閾値で判定したい場合もある。これらの場合に対して、最初の検索結果で得られた上位Ｎ件のリファレンス特徴ベクトルについて、更に正確なスコアを計算するリランキング技術がある（例えば特許文献７参照）。
図１は、従来技術におけるクエリコンテンツと対象リファレンスコンテンツとの間の類似度を算出する画像対応図である。
図１によれば、クエリ特徴ベクトルから見て、最も近い対象リファレンス特徴ベクトルまでの距離ｄ１と、２番目に近い対象リファレンス特徴ベクトルまでの距離ｄ２との比（ｄ１／ｄ２）に基づいて、再度、マッチング処理を実行する。その距離の比が所定閾値以下となるまで、そのマッチング処理を繰り返す。最終的に、その距離の比が所定閾値以下となった際、類似度を＋１としてスコアを算出する。
特開２０１０−２８２５８１号公報 特開２００９−０２０７６９号公報
J. Sivic et al., "Video Google: A Text Retrieval Approach toObject Matching in Videos," in Proc. ICCV, 2003. H. Jegou, M. Douze, and C. Schmid, "Improving bag-offeaturesfor large scale image search," in IJCV, vol.87, no.3, pp.316-336, 2010. Y. Uchida, M. Agrawal, and S. Sakazawa, "Accurate Content-BasedVideo Copy Detection with Efficient Feature Indexing," in Proc. of ICMR,2011. D. G. Lowe, "Distinctive Image Features from Scale-InvariantKeypoints," International Journal of Computer Vision, vol. 60, no. 2, pp.91-110, 2004. H. Jegou, M. Douze, and C. Schmid, "Product quantization fornearest neighbor search," in IEEE Trans. on PAMI, vol. 33, no. 1, pp117-128, 2011. O. Boiman, E. Shechtman, and M. Irani, "In defense ofnearest-neighbor based image classification," in Proc. of CVPR, 2008. J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman,"Object Retrieval with Large Vocabularies and Fast Spatial Matching,"in Proc of CVPR, 2007. O. Chum and J. Matas, "Matching with PROSAC - ProgressiveSample Consensus," in Proc. of CVPR, 2005.
しかしながら、既存のBag-of-Visual Wordsの技術によれば、特徴ベクトルに基づいてコンテンツ間の類似度のスコアを算出する際に、文章検索におけるＩＤＦを用いている。ＩＤＦとは、テキストマイニングの用途について、文章中に出現した特定の単語がどのくらい特徴的であるかを識別するための指標を表す。ＩＤＦの場合、例えば固有名詞のような、「各文章は、当該文章内に含まれる少数の単語によって検索される」という前提で設計されている。言い換えれば、「各文章は、当該文章内に含まれない単語によっては検索されない」という前提である。ＩＤＦは、具体的には、当該文章の中で特定の単語が出現した回数と、コーパス全体の中でその文章を含む文章数の自然対数とから、そのコーパス中におけるその単語の特徴度として算出される。
一方、画像検索の場合、局所不変特徴領域から、高次元の特徴ベクトルを抽出する必要がある。例えば、物体認識に用いる特徴ベクトルを抽出するために代表的なＳＩＦＴ(Scale-Invariant Feature Transform)によれば、特徴領域を複数のブロックに分割し、各ブロックから輝度勾配の方向を重み付きヒストグラムとして抽出する。
ここで、クエリコンテンツには、リファレンスコンテンツに描写される対象物とは無関係な特徴ベクトルが多く含まれる場合がある。具体的には、対象物をカメラで撮影した画像を、クエリコンテンツとした場合である。リファレンスコンテンツには、例えば背景が白で、検索対象物のみが写っているのに対し、クエリコンテンツには、当該対象物だけでなく、その背景に様々な物が写り込む。即ち、クエリコンテンツの背景には、当該対象物とは無関係の様々特徴ベクトルが検出される。これが、検索精度を低下させる原因となっている。
また、リランキング技術を用いて上位Ｎ件について正確な類似度を算出しようとしても、リファレンス画像中に、ほぼ同一の特徴部分が複数存在する場合、距離の比（ｄ１／ｄ２）が１となる。即ち、正しい対応点（特徴ベクトル）であっても、マッチングしたと判定されない場合があり、マッチングの精度が、リファレンス画像の内容に依存してしまうという問題がある。また、リファレンス画像の中のリファレンス特徴ベクトルの数の影響を、正規化できないという問題もある。
そこで、本発明によれば、クエリ特徴ベクトルから見て、複数のリファレンス特徴ベクトルとの間の距離の分布に基づいて、クエリコンテンツと対象リファレンスコンテンツとの間の類似度を正確に算出することができるプログラム、装置及び方法を提供することを目的とする。
本発明によれば、特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツＲとの間の類似度を算出するべく、装置に搭載されたコンピュータを機能させる類似度算出プログラムであって、
多数のリファレンスコンテンツＲjから抽出された各特徴ベクトルを記憶したリファレンス特徴ベクトル蓄積手段と、
クエリコンテンツの各クエリ特徴ベクトルについて、リファレンス特徴ベクトル蓄積手段からリファレンス特徴ベクトルの集合を取得し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索するリファレンス特徴ベクトル検索手段と、
クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する対象リファレンス特徴ベクトル検索手段と、
クエリコンテンツの各クエリ特徴ベクトルについて、最も類似する対象リファレンス特徴ベクトルとの間の距離が、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離における上位から何位に相当するかの順位に基づいてスコアを算出するスコア算出手段と、
クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする類似度算出手段と
してコンピュータを機能させることを特徴とする。
本発明の類似度算出プログラムにおける他の実施形態によれば、
スコア算出手段は、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離に対する、最も類似する対象リファレンス特徴ベクトルとの間の距離の順位が、
上位Ｎ件以内にある場合、スコア１とし、
上位Ｎ件以内にない場合、スコア０とする
ようにコンピュータを機能させることも好ましい。
本発明の類似度算出プログラムにおける他の実施形態によれば、
スコア算出手段は、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離に対する、最も類似する対象リファレンス特徴ベクトルとの間の距離の順位が、Ｋ位に相当する場合、スコアを以下の式によって算出する
ｓi＝log｛λ/(1-λ)・|Ｒall|／(Ｋ・|Ｒ|)＋１}
λ：調整可能パラメータ
|Ｒ|：対象リファレンスコンテンツの中の特徴ベクトルの数
|Ｒall|：リファレンス特徴ベクトル蓄積手段に蓄積された
リファレンス特徴ベクトルの数
ようにコンピュータを機能させることも好ましい。
本発明の類似度算出プログラムにおける他の実施形態によれば、
類似度算出手段は、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似した対象リファレンス特徴ベクトルとの対応関係を求め、その対応関係の集合からクエリコンテンツと対象リファレンスコンテンツとの間のHomography行列を算出し、そのHomogprahy行列を満たす対応関係を持つクエリコンテンツの特徴ベクトルについてのスコアのみを合計するようにコンピュータを機能させることも好ましい。
本発明の類似度算出プログラムにおける他の実施形態によれば、
類似度算出手段は、Homography行列を、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルとの対応関係のうち、スコアが大きい対応関係から順に用いて算出するようにコンピュータを機能させることも好ましい。
本発明によれば、前述した類似度算出プログラムを用いて、リファレンスコンテンツの集合から、クエリコンテンツに類似したリファレンスコンテンツを検索するように、装置に搭載されたコンピュータを機能させる検索プログラムであって、
リファレンス特徴ベクトル蓄積手段は、複数のリファレンスコンテンツＲjから抽出された各リファレンス特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶しており、
リファレンス特徴ベクトル蓄積手段を用いて、クエリコンテンツの各クエリ特徴ベクトルｑiについて、類似したリファレンス特徴ベクトルをＭ（＞１）個探索する類似ベクトル探索手段と、
混合パラメータλを用いて、クエリコンテンツの各クエリ特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する投票手段と
を有し、
類似度算出プログラムが、投票手段によって出力された各リファレンスコンテンツツＲjについて、クエリコンテンツの各クエリ特徴ベクトルとの間の類似度を算出することによって再度順位を並び替える
ようにコンピュータを機能させることを特徴とする。
本発明の検索プログラムにおける他の実施形態によれば、
投票手段は、クエリコンテンツの特徴ベクトルｑiに対するリファレンスコンテンツjのスコアｓjを、以下の式によって算出する
ｓj＝log｛λ/(1-λ)・|Ｒall|／(ａ・|Ｒj|)＋１}
ａ： リファレンスコンテンツｊの特徴ベクトルが上位Ｍ件の中で
初めて出現する番号
|Ｒall|： 全リファレンスコンテンツにおける全特徴ベクトルの数
|Ｒj|： 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ： 混合パラメータ
ようにコンピュータを機能させることも好ましい。
本発明の検索プログラムにおける他の実施形態によれば、
クエリコンテンツ及びリファレンスコンテンツは、画像であって、
リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも１つのインスタンス（対象物、オブジェクト）が写っている
ことも好ましい。
本発明によれば、特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツＲとの間の類似度を算出する類似度算出装置であって、
多数のリファレンスコンテンツＲjから抽出された各特徴ベクトルを記憶したリファレンス特徴ベクトル蓄積手段と、
クエリコンテンツの各クエリ特徴ベクトルについて、リファレンス特徴ベクトル蓄積手段からリファレンス特徴ベクトルの集合を取得し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索するリファレンス特徴ベクトル検索手段と、
クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する対象リファレンス特徴ベクトル検索手段と、
クエリコンテンツの各クエリ特徴ベクトルについて、最も類似する対象リファレンス特徴ベクトルとの間の距離が、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離における上位から何位に相当するかの順位に基づいてスコアを算出するスコア算出手段と、
クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする類似度算出手段と
を有することを特徴とする。
本発明によれば、前述の類似度算出装置の全ての機能を含み、リファレンスコンテンツの集合から、クエリコンテンツに類似したリファレンスコンテンツを検索する検索装置であって、
リファレンス特徴ベクトル蓄積手段は、複数のリファレンスコンテンツＲjから抽出された各リファレンス特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶しており、
リファレンス特徴ベクトル蓄積手段を用いて、クエリコンテンツの各クエリ特徴ベクトルｑiについて、類似したリファレンス特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、クエリコンテンツの各クエリ特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する投票手段と
を有し、
類似度算出プログラムが、投票手段によって出力された各リファレンスコンテンツツＲjについて、クエリコンテンツの各クエリ特徴ベクトルとの間の類似度を算出することによって再度順位を並び替える
ことを特徴とする。
本発明によれば、特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツＲとの間の類似度を算出する装置における類似度算出方法であって、
多数のリファレンスコンテンツＲjから抽出された各特徴ベクトルを記憶したリファレンス特徴ベクトル蓄積部を有し、
クエリコンテンツの各クエリ特徴ベクトルについて、リファレンス特徴ベクトル蓄積部からリファレンス特徴ベクトルの集合を取得し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索する第１のステップと、
クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する第２のステップと、
クエリコンテンツの各クエリ特徴ベクトルについて、最も類似する対象リファレンス特徴ベクトルとの間の距離が、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離における上位から何位に相当するかの順位に基づいてスコアを算出する第３のステップと、
クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする第４のステップと
を有することを特徴とする。
本発明によれば、前述の類似度算出方法の全てのステップを含み、リファレンスコンテンツの集合から、クエリコンテンツに類似したリファレンスコンテンツを検索する装置における検索方法であって、
リファレンス特徴ベクトル蓄積部は、複数のリファレンスコンテンツＲjから抽出された各リファレンス特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶しており、
第１のステップの前段として、
リファレンス特徴ベクトル蓄積手段を用いて、クエリコンテンツの各クエリ特徴ベクトルｑiについて、類似したリファレンス特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する第０１のステップと、
混合パラメータλを用いて、クエリコンテンツの各クエリ特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する第０２のステップと
を更に有し、
第１から第４のステップを実行することによって、第０２のステップによって出力された各リファレンスコンテンツツＲjについて、クエリコンテンツの各クエリ特徴ベクトルとの間の類似度を算出し、再度順位を並び替える
ことを特徴とする。
本発明のプログラム、装置及び方法によれば、クエリ特徴ベクトルから見て、複数のリファレンス特徴ベクトルとの間の距離の分布に基づいて、クエリコンテンツと対象リファレンスコンテンツとの間の類似度を正確に算出することができる。
従来技術におけるクエリコンテンツと対象リファレンスコンテンツとの間の類似度を算出する画像対応図である。 本発明における類似度算出装置の機能構成図である。 本発明におけるスコアの算出を表す第１の画像対応図である。 本発明におけるスコアの算出を表す第２の画像対応図である。 本発明におけるスコアの算出を表す第３の画像対応図である。 クエリコンテンツのスコアとして加算される、クエリ特徴ベクトルと対象リファレンス特徴ベクトルとの間のマッチングを表す画像対応図である。 Homography行列に基づくinlier及びoutlierを表す画像対応図である。 本発明における検索装置の機能構成図である。 複数のリファレンスコンテンツの複数の特徴ベクトルから投票する説明図である。
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。特に、以下のように２つの実施の形態に区分して説明する。
＜クエリコンテンツと対象リファレンスコンテンツとの間の類似度の算出＞
＜クエリコンテンツに類似するリファレンスコンテンツの検索＞
＜クエリコンテンツと対象リファレンスコンテンツとの間の類似度の算出＞
本発明は、基本的に、特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツとの間の類似度を算出するプログラム、装置及び方法に関する。
図２は、本発明における類似度算出装置の機能構成図である。
図２によれば、類似度算出装置１は、クエリコンテンツと、対象リファレンスコンテンツとを入力し、２つのコンテンツ間の類似度を算出する。クエリコンテンツ及びリファレンスコンテンツは、例えば画像である。この場合、リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも１つのインスタンス（対象物、オブジェクト）が写っている。
類似度算出装置１は、リファレンス特徴ベクトル蓄積部１０と、特徴ベクトル集合抽出部１１と、リファレンス特徴ベクトル検索部１２と、対象リファレンス特徴ベクトル検索部１３と、スコア算出部１４と、類似度算出部１５とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能の処理順序は、類似度算出方法としても理解できる。
［リファレンス特徴ベクトル蓄積部１０］
リファレンス特徴ベクトル蓄積部１０は、多数のリファレンスコンテンツから抽出された各特徴ベクトルを記憶する。
［特徴ベクトル集合抽出部１１］
特徴ベクトル集合抽出部１１は、１つのマルチメディアコンテンツから、特徴ベクトルの集合を抽出する。例えばマルチメディアコンテンツが画像である場合、その特徴ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルである。
特徴ベクトル集合抽出部１１は、具体的には、クエリコンテンツからクエリ特徴ベクトルの集合Ｑ（＝{ｑi}）を抽出し、それらクエリ特徴ベクトルの集合Ｑは、リファレンス特徴ベクトル検索部１２及び対象リファレンス特徴ベクトル検索部１３へ出力される。
また、特徴ベクトル集合抽出部１１は、対象リファレンスコンテンツから対象リファレンス特徴ベクトルの集合Ｒ（＝{Ｒj}）を抽出し、それらリファレンス特徴ベクトルの集合Ｒは、対象リファレンス特徴ベクトル検索部１３へ出力される。尚、クエリコンテンツのクエリ特徴ベクトルと、対象リファレンスコンテンツの対象リファレンス特徴ベクトルとは、同じ次元数である。
物体認識に用いる特徴ベクトルの抽出アルゴリズムとしては、例えばＳＩＦＴやＳＵＲＦ(Speeded Up Robust Features)が用いられる。例えば、ＳＩＦＴの場合、１枚の画像からは１２８次元の特徴ベクトルの集合が抽出される（例えば非特許文献４参照）。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦの場合、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合が抽出される。
［リファレンス特徴ベクトル検索部１２］
リファレンス特徴ベクトル検索部１２は、クエリコンテンツの各クエリ特徴ベクトルについて、リファレンス特徴ベクトル蓄積部１０を参照し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索する。検索されたＮ件のリファレンス特徴ベクトルは、スコア算出部１４へ出力される。
図３は、本発明におけるスコアの算出を表す第１の画像対応図である。
図３によれば、クエリ特徴ベクトルｑiに類似する上位Ｎ＝８件のリファレンス特徴ベクトルが、破線の円によって囲まれている。即ち、破線の円によって囲まれた上位Ｎ＝８件のリファレンス特徴ベクトルが検索される。
［対象リファレンス特徴ベクトル検索部１３］
対象リファレンス特徴ベクトル検索部１３は、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する。図３によれば、クエリ特徴ベクトルｑiに最も類似する対象リファレンス特徴ベクトルｒjが、×によって表されている。検索された最も類似する対象リファレンス特徴ベクトルは、スコア算出部１４へ出力される。
［スコア算出部１４］
スコア算出部１４は、クエリコンテンツの各クエリ特徴ベクトルｑiについて、最も類似する対象リファレンス特徴ベクトルｒjとの間の距離ｄが、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離ｄ1〜ｄNにおける上位から何位（＝Ｋ）に相当するかの順位に基づいてスコアｓiを算出する。
スコア算出部１４は、最も簡単な第１の方法として、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離に対する、最も類似する対象リファレンス特徴ベクトルとの間の距離ｄの順位が、上位Ｎ件以内にあるか否かによって、スコアｓiを付与する。例えば以下のようなものである。
上位Ｎ件以内にある場合（ｄ1≦ｄ≦ｄN）->スコアｓi＝１
上位Ｎ件以内にない場合（ｄN＜ｄ） ->スコアｓi＝０
スコア算出部１４は、他の第２の方法として、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離に対する、最も類似する対象リファレンス特徴ベクトルとの間の距離の順位が、Ｋ位に相当する場合、スコアを以下の式によって算出するものであってもよい。
ｓi＝log｛λ/(1-λ)・|Ｒall|／(Ｋ・|Ｒ|)＋１}
λ：調整可能パラメータ
|Ｒ|：対象リファレンスコンテンツの中の特徴ベクトルの数
|Ｒall|：リファレンス特徴ベクトル蓄積部に蓄積された
リファレンス特徴ベクトルの数
但し、ｄN＜ｄである場合、スコアｓi＝０とする。
図３によれば、クエリ特徴ベクトルｑiについて、最も類似する対象リファレンス特徴ベクトルｒjとの間の距離ｄが、上位Ｎ＝８件の各リファレンス特徴ベクトルとの間の距離ｄ1〜ｄ8における最上位（Ｋ＝１）に相当している。クエリ特徴ベクトルと各リファレンス特徴ベクトルとの間の距離は、ｄ＜ｄ1のような関係となる。この順位に基づいて、以下の式によって、スコアが算出される。
第１の方法：ｓi＝１
第２の方法：ｓi＝log｛λ/(1-λ)・|Ｒall|／(１・|Ｒ|)＋１}
図４は、本発明におけるスコアの算出を表す第２の画像対応図である。
図４によれば、クエリ特徴ベクトルｑiについて、最も類似する対象リファレンス特徴ベクトルｒjとの間の距離ｄが、上位Ｎ＝８件の各リファレンス特徴ベクトルとの間の距離ｄ1〜ｄ8における上から４位（Ｋ＝４）に相当している。クエリ特徴ベクトルと各リファレンス特徴ベクトルとの間の距離は、ｄ3＜ｄ＜ｄ4のような関係となる。この順位に基づいて、以下の式によって、スコアが算出される。
第１の方法：ｓi＝１
第２の方法：ｓi＝log｛λ/(1-λ)・|Ｒall|／(４・|Ｒ|)＋１}
図５は、本発明におけるスコアの算出を表す第３の画像対応図である。
図５によれば、クエリ特徴ベクトルｑiについて、最も類似する対象リファレンス特徴ベクトルｒjとの間の距離ｄが、上位Ｎ＝８件の各リファレンス特徴ベクトルとの間の距離ｄ1〜ｄ8における上から９位以降に相当している。クエリ特徴ベクトルと各リファレンス特徴ベクトルとの間の距離は、ｄ8＜ｄのような関係となる。このように、上位Ｎ＝８件以内にない場合（ｄN＜ｄ）、スコアｓiは、以下のようになる。
第１の方法：ｓi＝０
第２の方法：ｓi＝０
［類似度算出部１５］
類似度算出部１５は、クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする。
図６は、クエリコンテンツのスコアとして加算される、クエリ特徴ベクトルと対象リファレンス特徴ベクトルとの間のマッチングを表す画像対応図である。
ここで、他の実施形態として、単に全てのクエリ特徴ベクトルのスコアの合計を、類似度とすることなく、特定のスコアのみを加算することも好ましい。具体的には、クエリコンテンツとリファレンスコンテンツとの間でHomography行列を算出し、その行列を満たすマッチングのみを、スコアに加算する。
最初に、類似度算出部１５は、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似した対象リファレンス特徴ベクトルとの対応関係を求める。これは、スコア算出部１４におけるクエリ特徴ベクトルと対象リファレンス特徴ベクトルとのマッチング結果から得られる。
次に、類似度算出部１５は、その対応関係の集合からクエリコンテンツと対象リファレンスコンテンツとの間のHomography行列を算出する。クエリコンテンツと対象リファレンスコンテンツとは、類似度が高いほど、特徴ベクトル同士は、射影幾何学的に線形となる。従って、平面射影変換行列であるHomography行列Ｈによって、座標を置き換えることができる。Homography行列Ｈは、以下のように表される。
Figure 0006017277
Homography行列Ｈの未知パラメータ数は、８個（h0〜h7）であり、一組の対応点は２個の式を与える。従って、４組以上の対応点があれば、最小二乗法によってこの行列を計算することができる。即ち、マッチング結果の中で、ランダムに４組を選択し、その４組からHomography行列を算出する。
類似度算出部１５は、そのHomography行列を用いて、クエリコンテンツの各点を射影した際に、以下のように判定する。
（１）マッチング結果となるリファレンス特徴ベクトルに対して所定閾値以下の近くに射影されれば、inlierと判定する。
（２）逆に、所定閾値よりも遠くに射影されれば、outlierと判定する。
この処理を複数回実行した後、inlierの数が最も多かったHomography行列のみを採用する。
図７は、Homography行列に基づくinlier及びoutlierを表す画像対応図である。outlierは、破線で表されている。
尚、従来技術として、Homographyを算出する際に、一度に全てのマッチングを利用するのではなく、信頼度の高いマッチングを優先的に利用する技術が提案されている（例えば非参考文献８参照）。この技術によれば、信頼度として、クエリ特徴ベクトルとリファレンス特徴ベクトル間の距離を利用している。しかしながら、特徴ベクトルの密度が均一ではないために、単純な距離は信頼度の指標としては適切ではない。これに対し、本発明によれば、スコアｓiを信頼度として利用し、ｓiの高いマッチングから優先的に利用してHomography行列を算出することによって高精度化を実現する。
最後に、類似度算出部１５は、そのHomogprahy行列を満たす対応関係を持つクエリコンテンツの特徴ベクトルについてのスコアのみを合計する。
また、類似度算出部１５が、outlierのマッチングをスコアに加算しないようにすることによって、精度の高いマッチングを得ることができる。図６からも明らかなとおり、Homography行列と整合性のとれる（＝inlierとなる）マッチング結果に対応するスコアのみを、合計する。
通常、従来技術によれば、inlierとなるマッチング数をスコアとするのに対し、本発明では、更に、inlierとなるマッチングそれぞれにもスコアｓiを導入することによって、信頼性の高いスコアを算出することができる。即ち、本発明によれば、それらのマッチングのスコアｓiの合計を利用する。
また、他の実施形態として、類似度算出部１５は、Homography行列を、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルとの対応関係のうち、スコアが大きい対応関係から順に用いて算出するものであってもよい。
＜クエリコンテンツに類似するリファレンスコンテンツの検索＞
本発明は、前述した類似度算出機能を用いて、大量のリファレンスコンテンツの中から、クエリコンテンツに類似するリファレンスコンテンツを検索するプログラム、装置及び方法を実現することもできる。
図８は、本発明における検索装置の機能構成図である。
検索装置２は、多数のリファレンスコンテンツを予め入力し、リファレンス特徴ベクトル蓄積部１０に、リファレンスコンテンツに関する情報を記憶する。また、検索装置２は、検索の際に、検索キーとなるクエリコンテンツを入力し、リファレンス特徴ベクトル蓄積部１０を用いて、クエリコンテンツに最も類似するリファレンスコンテンツを検索する。
図８によれば、検索装置２は、図２の類似度算出装置の全ての機能を含んでおり、類似ベクトル探索部２１と、投票部２２とを更に有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能の処理順序は、検索方法としても理解できる。
［特徴ベクトル集合抽出部１１］
特徴ベクトル集合抽出部１１は、リファレンスコンテンツ毎に特徴ベクトルの集合を抽出し、それら特徴ベクトルの集合をリファレンス特徴ベクトル蓄積部１０へ出力する。また、特徴ベクトル集合抽出部１１は、クエリコンテンツから特徴ベクトルの集合Ｑ（＝{ｑi}）を抽出し、それら特徴ベクトルの集合を類似ベクトル探索部２１へ出力する。尚、リファレンスコンテンツの特徴ベクトルと、クエリコンテンツの特徴ベクトルとは、同じ次元数である。
［リファレンス特徴ベクトル蓄積部１０］
リファレンス特徴ベクトル蓄積部１０は、複数のリファレンスコンテンツＲjから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶する。
尚、以下の実施形態によれば、複数のリファレンスコンテンツjから特徴ベクトルの集合Ｒjを抽出した場合について詳述している。一方で、例えば非特許文献６のように、特徴ベクトルの集合Ｒjを、特定のカテゴリに基づく特徴ベクトルの集合とすることによって、クエリコンテンツを、カテゴリに分類することもできる。この場合、後述するように、クエリコンテンツに対して、各カテゴリに対するスコアを算出し、最もスコアの高い上位複数件のカテゴリに分類するか、スコアが一定以上のカテゴリのタグを付加することができる。
［類似ベクトル探索部２１］
類似ベクトル探索部２１は、リファレンス特徴ベクトル蓄積部１０を用いて、クエリコンテンツの各特徴ベクトルｑiについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの上位Ａ（≧１）件を探索する。クエリコンテンツの特徴ベクトルｑiと、リファレンスコンテンツの特徴ベクトルとの間の距離が短いほど、類似度が高いことを意味する。具体的には、最近傍探索(Approximate Nearest Neighbor)アルゴリズムの１つである直積量子化を用いた方法（例えば非特許文献５参照）やHamming Embeddingを用いた方法（例えば非特許文献２参照）、ＬＳＨ(Locality-Sensitive Hashing)を用いることも好ましい。探索された１つ以上の特徴ベクトルの集合Ｄに基づくリファレンスコンテンツＩＤは、投票部２２へ出力される。
［投票部２２］
投票部２２は、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する。投票部２２は、従来技術によればＩＤＦによって投票していたのに対し、本発明によれば、以下に詳述する算出式によって投票される。
本発明によれば、クエリコンテンツを生成したであろう可能性の最も高いリファレンスコンテンツj’を導出する。以下の式は、事後確率を意味し、クエリコンテンツが、j番目のリファレンスコンテンツから生成されたであろう確率ｐを表す。
j’＝argmaxjｐ(Ｒj|Ｑ)
Ｑ：クエリコンテンツの特徴ベクトルの集合
Ｒj：j番目のリファレンスコンテンツの特徴ベクトルの集合
ｐ(Ｒj|Ｑ)：クエリコンテンツの特徴ベクトルの集合Ｑから、
リファレンスコンテンツの特徴ベクトルの集合Ｒjが生成される事後確率
argmaxj：右項の事後確率を最大とするjを導出することを意味する
前述の事後確率の式は、一般的に、ベイズの定理を用いて以下の式が成立する。これは、事前確率に尤度確率を乗算することによって、事後確率を算出するものである。
j’＝argmaxjｐ(Ｒj|Ｑ)＝argmaxj ｐ(Ｑ|Ｒj)ｐ(Ｒj)
ｐ(Ｑ|Ｒj)：リファレンスコンテンツの特徴ベクトルの集合Ｒjから、
クエリコンテンツの特徴ベクトルの集合Ｑが生成される尤度確率
ｐ(Ｒj) ：リファレンスコンテンツの特徴ベクトルの集合Ｒjが検索される
事前確率
（ｐ(Ｒj)が高いほど、検索される確率が高いことを意味する）
尚、ここで、検索されるリファレンスコンテンツには偏りがなく、ｐ(Ｒj)は、いずれのjであっても一定であると仮定する。そうすると、ｐ(Ｒj)を削除することができ、単に以下のように表される。
j’＝argmaxjｐ(Ｑ|Ｒj)
ここで、クエリコンテンツの特徴ベクトルの集合Ｑは、独立に生成されたものであると仮定する。「独立に生成」とは、ある特徴が出た場合、次に必ず特定の特徴が出るような影響が無い、即ち、以前の結果に影響しないことを意味する。この場合、クエリコンテンツの特徴ベクトルの集合Ｑの各特徴ベクトルｑ1,ｑ2,ｑ3,・・・,ｑnの個々に基づく確率の積となる。この場合、以下の式によって表される。
j’＝argmaxjΠi=1 n ｐ(ｑi|Ｒj)
更に、確率の積Πは、一般に、logの和Σによって表すことができる。単調増加関数であるために、確率の大小関係は維持されるためである。この場合、以下の式によって表される。
j’＝argmaxjΠi=1 n ｐ(ｑi|Ｒj)＝argmaxjΣi=1 n logｐ(ｑi|Ｒj)
ここで、各クエリ特徴ベクトルが、リファレンスコンテンツの特徴ベクトル集合から生成された確率と、リファレンスコンテンツとは無関係な背景モデルから生成された確率の線形結合としてモデル化を行う。
j’＝argmaxjΣi=1 n logｐ(ｑi|Ｒj)
＝argmaxjΣi=1 n log(λｐ(ｑi|Ｒj)＋(1-λ)・ｐ(ｑi))
＝argmaxjΣi=1 n (log(λｐ(ｑi|Ｒj)＋(1-λ)・ｐ(ｑi))−log(1-λ)・ｐ(ｑi))
＝argmaxjΣi=1 n log{λ/(1-λ)・ｐ(ｑi|Ｒj)/ｐ(ｑi)＋１}
i：クエリコンテンツの特徴ベクトルのＩＤ
λ：線形結合の混合パラメータ
ｐ(ｑi)：リファレンスコンテンツとは無関係な背景モデルから生成された確率
（クエリコンテンツにおける対象物と無関係な背景画像に基づく）
λｐ(ｑi|Ｒj)＋(1-λ)・ｐ(ｑi)：
λにおけるｐ(ｑi|Ｒj)の確率と、(1-λ)におけるｐ(ｑi)の確率との和は、
全体の確率を意味する
−log(1-λ)・ｐ(ｑi)：
変形のため全体的なペナルティを引いても、順番は変わらない。
後述する式の変形のためのもの。
λ/(1-λ)・ｐ(ｑi|Ｒj)/ｐ(ｑi)＋１：
"logａ−logｂ＝logａ/ｂ"に基づいて、式を変形したもの
本発明によれば、混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比を用いる。
ここで、以下の式のように置く。
ｓij＝log{λ/(1-λ)・ｐ(ｑi|Ｒj)/ｐ(ｑi)＋１}
i：クエリコンテンツの特徴ベクトルのＩＤ
j：リファンレンスコンテンツのＩＤ
ｑi：クエリコンテンツの特徴ベクトル
Ｒj：リファンレンスコンテンツ
ｓijとは、クエリコンテンツ特徴ベクトルｑiが観測された際に、ｑiそれぞれが、リファンレンスコンテンツjが得られるスコアを意味する。即ち、ｑiが観測された時点で、それぞれが、リファレンスコンテンツjから生成された尤もらしさを意味する。
そして、クエリコンテンツの特徴ベクトルi及びリファンレンスコンテンツjの全てについて、「ｓij」を算出する。そして、スコアΣi=1 n ｓijが最大となるリファレンスコンテンツＲjを検索結果として選択する。
しかしながら、ｓijは、各iについて全てのjについて算出しなければならないために、大規模データベースを対象とした場合、その計算量が膨大なものとなる。
そこで、本発明によれば、近似法を適用し、クエリコンテンツの特徴ベクトルｑiについて、リファレンスコンテンツの特徴ベクトル集合の中から、ｑiに類似した特徴ベクトルの上位Ａ（≧１）件を抽出する。そして、以下のようにｓijの算出を近似する。上位Ａ件に対応する特徴ベクトルが含まれるリファレンスコンテンツＲjのみについて「ｓij」を算出する
それ以外のＲjについては、ｐ(ｑi|Ｒj)＝０とする
このとき、ｓij＝log(1)＝０となるために、上位Ａ件に対応する特徴ベクトルが含まれないリファレンスコンテンツのスコアは増減しない。
そして、上記の上位Ａ件の特徴ベクトルを利用して、ｐ(ｑi|Ｒj)及びｐ(ｑi)が、ｋ近傍密度推定法によって算出される。
ｐ(ｑi|Ｒj)＝１／(|Ｒj|・Ｖa)
ｐ(ｑi)＝ａ／(|Ｒall|・Ｖa)
Ｒall：リファレンスコンテンツ全ての特徴ベクトル集合
ａ：リファレンスコンテンツｊの特徴ベクトルが上位Ａ件の中で
初めて出現する番号
Ｖa：ｑiとａ番目の特徴ベクトルとの距離を半径とする超球（３次元以上）
の体積（尚、２次元であれば面積、１次元であれば長さを表す）
ここで、ｐ(ｑi)は、|Ｒall|個（ｋ近傍密度推定法におけるＮ）のうち、ａ個（ｋ近傍密度推定法におけるk）が落ちる確率を、体積Ｖaで割ったものであることを表す。
ここで、Ｖaを算出する場合、多大な計算量が必要となる。そこで、本発明によれば、ｓijの式に代入することによって、Ｖaの項を削除し、以下の式によって算出する。
ｓij＝log{λ/(1-λ)・（|Ｒall|／ａ・|Ｒj｜)＋１}
即ち、本発明の投票部２２は、上位からＡ番目までの特徴ベクトルについて、クエリコンテンツの特徴ベクトルｑiに対するリファレンスコンテンツjのスコアｓjは、以下の式によって算出される。
ｓj＝log｛λ/(1-λ)・（|Ｒall|／ａ・|Ｒj|)＋１)}
ａ：リファレンスコンテンツｊの特徴ベクトルが上位Ａ件の中で
初めて出現する番号
|Ｒall|： 全リファレンスコンテンツにおける全特徴ベクトルの数
|Ｒj|： 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ： 混合パラメータ
［類似ベクトル探索部２１及び投票部２２における具体的な処理内容］
以下では、本発明における類似ベクトル探索部２１及び投票部２２における具体的な処理内容について詳述する。
検索の際、クエリコンテンツから特徴ベクトルの集合Ｑが抽出され、各特徴ベクトルｑi毎に、類似したリファレンスコンテンツの特徴ベクトルの上位Ａ件が検索される。そして、対応するリファレンスコンテンツＩＤに投票する。クエリコンテンツの全ての特徴ベクトルｑiについて投票した後、スコアの上位のリファレンスコンテンツＩＤを検索結果とする。
図９は、複数のリファレンスコンテンツの複数の特徴ベクトルから投票する説明図である。
図９によれば、クエリコンテンツの各特徴ベクトルから、直積量子化を用いた方法やHamming Embeddingを用いた方法（例えば非特許文献２参照）、ＬＳＨ等のアルゴリズムを用いて、リファレンスコンテンツの上位Ａ近傍特徴ベクトルが探索されたものである。
（第１の特徴ベクトル、ａ＝１番目）
リファレンスコンテンツＩＤ＝１：
score1＝score1＋log｛λ/(1-λ)・(|Ｒall|／１|Ｒ1|)＋１｝
（第２の特徴ベクトル、ａ＝２番目）
リファレンスコンテンツＩＤ＝４：
score4＝score4＋log｛λ/(1-λ)・(|Ｒall|／２|Ｒ1|)＋１｝
（第３の特徴ベクトル、ａ＝３番目）
リファレンスコンテンツＩＤ＝１：
×score1＝score1＋log｛λ/(1-λ)・(|Ｒall|／３|Ｒ1|)＋１｝
★リファレンスコンテンツＩＤ＝１について、最初に出現した特徴ベクトルではない
ために、スコアに採用しない。
（第４の特徴ベクトル、ａ＝４番目）
リファレンスコンテンツＩＤ＝５：
score5＝score5＋log｛λ/(1-λ)・(|Ｒall|／４|Ｒ1|)＋１｝
（第５の特徴ベクトル、ａ＝５番目）
リファレンスコンテンツＩＤ＝４：
score4＝score4＋log｛λ/(1-λ)・(|Ｒall|／５|Ｒ1|)＋１｝
★リファレンスコンテンツＩＤ＝４について、最初に出現した特徴ベクトルではない
ために、スコアに採用しない。
（第６の特徴ベクトル、ａ＝６番目）
リファレンスコンテンツＩＤ＝１：
score1＝score1＋log｛λ/(1-λ)・(|Ｒall|／６|Ｒ1|)＋１｝
★リファレンスコンテンツＩＤ＝１について、最初に出現した特徴ベクトルではない
ために、スコアに採用しない。
（第７の特徴ベクトル、ａ＝７番目）
リファレンスコンテンツＩＤ＝６：
score6＝score6＋log｛λ/(1-λ)・(|Ｒall|／７|Ｒ1|)＋１｝
（第８の特徴ベクトル、ａ＝８番目）
リファレンスコンテンツＩＤ＝６：
score6＝score6＋log｛λ/(1-λ)・(|Ｒall|／８|Ｒ1|)＋１｝
★リファレンスコンテンツＩＤ＝６について、最初に出現した特徴ベクトルではない
ために、スコアに採用しない。
図８によれば、投票部２２によって算出された投票結果となるリファレンスＩＤのリストは、本発明の類似度算出プログラムへ入力される。そして、類似度算出プログラムは、クエリコンテンツと各リファレンスコンテンツとの間の類似度を算出し、最も類似度が高いリファレンスコンテンツを検索結果として出力することができる。
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、クエリ特徴ベクトルから見て、複数のリファレンス特徴ベクトルとの間の距離の分布に基づいて、クエリコンテンツと対象リファレンスコンテンツとの間の類似度を正確に算出することができる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 類似度算出装置
１０ リファレンス特徴ベクトル蓄積部
１１ 特徴ベクトル集合抽出部
１２ リファレンス特徴ベクトル検索部
１３ 対象リファレンス特徴ベクトル検索部
１４ スコア算出部
１５ 類似度算出部
２ 検索装置
２１ 類似ベクトル探索部
２２ 投票部

Claims (12)

  1. 特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツＲとの間の類似度を算出するべく、装置に搭載されたコンピュータを機能させる類似度算出プログラムであって、
    多数のリファレンスコンテンツＲjから抽出された各特徴ベクトルを記憶したリファレンス特徴ベクトル蓄積手段と、
    クエリコンテンツの各クエリ特徴ベクトルについて、前記リファレンス特徴ベクトル蓄積手段からリファレンス特徴ベクトルの集合を取得し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索するリファレンス特徴ベクトル検索手段と、
    クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する対象リファレンス特徴ベクトル検索手段と、
    クエリコンテンツの各クエリ特徴ベクトルについて、最も類似する対象リファレンス特徴ベクトルとの間の距離が、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離における上位から何位に相当するかの順位に基づいてスコアを算出するスコア算出手段と、
    クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする類似度算出手段と
    してコンピュータを機能させることを特徴とする類似度算出プログラム。
  2. 前記スコア算出手段は、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離に対する、最も類似する対象リファレンス特徴ベクトルとの間の距離の前記順位が、
    上位Ｎ件以内にある場合、スコア１とし、
    上位Ｎ件以内にない場合、スコア０とする
    ようにコンピュータを機能させることを特徴とする請求項１に記載の類似度算出プログラム。
  3. 前記スコア算出手段は、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離に対する、最も類似する対象リファレンス特徴ベクトルとの間の距離の前記順位が、Ｋ位に相当する場合、スコアを以下の式によって算出する
    ｓi＝log｛λ/(1-λ)・|Ｒall|／(Ｋ・|Ｒ|)＋１}
    λ：調整可能パラメータ
    |Ｒ|：対象リファレンスコンテンツの中の特徴ベクトルの数
    |Ｒall|：前記リファレンス特徴ベクトル蓄積手段に蓄積された
    リファレンス特徴ベクトルの数
    ようにコンピュータを機能させることを特徴とする請求項１に記載の類似度算出プログラム。
  4. 前記類似度算出手段は、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似した対象リファレンス特徴ベクトルとの対応関係を求め、その対応関係の集合からクエリコンテンツと対象リファレンスコンテンツとの間のHomography行列を算出し、そのHomogprahy行列を満たす対応関係を持つクエリコンテンツの特徴ベクトルについてのスコアのみを合計するようにコンピュータを機能させることを特徴とする請求項３に記載の類似度算出プログラム。
  5. 前記類似度算出手段は、前記Homography行列を、クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルとの対応関係のうち、前記スコアが大きい対応関係から順に用いて算出するようにコンピュータを機能させることを特徴とする請求項４に記載の類似度算出プログラム。
  6. 請求項１から５のいずれか１項に記載の類似度算出プログラムを用いて、リファレンスコンテンツの集合から、クエリコンテンツに類似したリファレンスコンテンツを検索するように、装置に搭載されたコンピュータを機能させる検索プログラムであって、
    前記リファレンス特徴ベクトル蓄積手段は、複数のリファレンスコンテンツＲjから抽出された各リファレンス特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶しており、
    前記リファレンス特徴ベクトル蓄積手段を用いて、クエリコンテンツの各クエリ特徴ベクトルｑiについて、類似したリファレンス特徴ベクトルをＭ（＞１）個探索する類似ベクトル探索手段と、
    混合パラメータλを用いて、クエリコンテンツの各クエリ特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する投票手段と
    を有し、
    前記類似度算出プログラムが、前記投票手段によって出力された各リファレンスコンテンツツＲjについて、前記クエリコンテンツの各クエリ特徴ベクトルとの間の類似度を算出することによって再度順位を並び替える
    ようにコンピュータを機能させることを特徴とする検索プログラム。
  7. 前記投票手段は、クエリコンテンツの特徴ベクトルｑiに対するリファレンスコンテンツjのスコアｓjを、以下の式によって算出する
    ｓj＝log｛λ/(1-λ)・|Ｒall|／(ａ・|Ｒj|)＋１}
    ａ： リファレンスコンテンツｊの特徴ベクトルが上位Ｍ件の中で
    初めて出現する番号
    |Ｒall|： 全リファレンスコンテンツにおける全特徴ベクトルの数
    |Ｒj|： 当該リファレンスコンテンツjにおける全特徴ベクトルの数
    λ、1-λ： 混合パラメータ
    ようにコンピュータを機能させることを特徴とする請求項６に記載の検索プログラム。
  8. クエリコンテンツ及びリファレンスコンテンツは、画像であって、
    リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも１つのインスタンス（対象物、オブジェクト）が写っている
    ことを特徴とする請求項１から５のいずれか１項に記載の類似度算出プログラム。
  9. 特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツＲとの間の類似度を算出する類似度算出装置であって、
    多数のリファレンスコンテンツＲjから抽出された各特徴ベクトルを記憶したリファレンス特徴ベクトル蓄積手段と、
    クエリコンテンツの各クエリ特徴ベクトルについて、前記リファレンス特徴ベクトル蓄積手段からリファレンス特徴ベクトルの集合を取得し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索するリファレンス特徴ベクトル検索手段と、
    クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する対象リファレンス特徴ベクトル検索手段と、
    クエリコンテンツの各クエリ特徴ベクトルについて、最も類似する対象リファレンス特徴ベクトルとの間の距離が、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離における上位から何位に相当するかの順位に基づいてスコアを算出するスコア算出手段と、
    クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする類似度算出手段と
    を有することを特徴とする類似度算出装置。
  10. 請求項９に記載の類似度算出装置の全ての機能を含み、リファレンスコンテンツの集合から、前記クエリコンテンツに類似したリファレンスコンテンツを検索する検索装置であって、
    前記リファレンス特徴ベクトル蓄積手段は、複数のリファレンスコンテンツＲjから抽出された各リファレンス特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶しており、
    前記リファレンス特徴ベクトル蓄積手段を用いて、クエリコンテンツの各クエリ特徴ベクトルｑiについて、類似したリファレンス特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する類似ベクトル探索手段と、
    混合パラメータλを用いて、クエリコンテンツの各クエリ特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する投票手段と
    を有し、
    前記類似度算出プログラムが、前記投票手段によって出力された各リファレンスコンテンツツＲjについて、前記クエリコンテンツの各クエリ特徴ベクトルとの間の類似度を算出することによって再度順位を並び替える
    ことを特徴とする検索装置。
  11. 特徴ベクトルの集合で表されるクエリコンテンツと対象リファレンスコンテンツＲとの間の類似度を算出する装置における類似度算出方法であって、
    多数のリファレンスコンテンツＲjから抽出された各特徴ベクトルを記憶したリファレンス特徴ベクトル蓄積部を有し、
    クエリコンテンツの各クエリ特徴ベクトルについて、前記リファレンス特徴ベクトル蓄積部からリファレンス特徴ベクトルの集合を取得し、最も類似するものから順に上位Ｎ（＞１）件のリファレンス特徴ベクトルを検索する第１のステップと、
    クエリコンテンツの各クエリ特徴ベクトルについて、対象リファレンスコンテンツにおける最も類似する対象リファレンス特徴ベクトルを検索する第２のステップと、
    クエリコンテンツの各クエリ特徴ベクトルについて、最も類似する対象リファレンス特徴ベクトルとの間の距離が、上位Ｎ件の各リファレンス特徴ベクトルとの間の距離における上位から何位に相当するかの順位に基づいてスコアを算出する第３のステップと、
    クエリコンテンツにおける全てのクエリ特徴ベクトルのスコアの合計を、類似度とする第４のステップと
    を有することを特徴とする類似度算出方法。
  12. 請求項１１に記載の類似度算出方法の全てのステップを含み、リファレンスコンテンツの集合から、前記クエリコンテンツに類似したリファレンスコンテンツを検索する装置における検索方法であって、
    前記リファレンス特徴ベクトル蓄積部は、複数のリファレンスコンテンツＲjから抽出された各リファレンス特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶しており、
    第１のステップの前段として、
    前記リファレンス特徴ベクトル蓄積手段を用いて、クエリコンテンツの各クエリ特徴ベクトルｑiについて、類似したリファレンス特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する第０１のステップと、
    混合パラメータλを用いて、前記クエリコンテンツの各クエリ特徴ベクトルｑiが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツＲj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲjを、検索結果として出力する第０２のステップと
    を更に有し、
    第１から第４のステップを実行することによって、第０２のステップによって出力された各リファレンスコンテンツツＲjについて、前記クエリコンテンツの各クエリ特徴ベクトルとの間の類似度を算出し、再度順位を並び替える
    ことを特徴とする検索方法。
JP2012255899A 2012-11-22 2012-11-22 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 Active JP6017277B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012255899A JP6017277B2 (ja) 2012-11-22 2012-11-22 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012255899A JP6017277B2 (ja) 2012-11-22 2012-11-22 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法

Publications (2)

Publication Number Publication Date
JP2014102772A JP2014102772A (ja) 2014-06-05
JP6017277B2 true JP6017277B2 (ja) 2016-10-26

Family

ID=51025207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012255899A Active JP6017277B2 (ja) 2012-11-22 2012-11-22 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法

Country Status (1)

Country Link
JP (1) JP6017277B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210312237A1 (en) * 2020-04-02 2021-10-07 Microsoft Technology Licensing, Llc Click intention machine learned models

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750658B (zh) * 2019-09-18 2022-12-09 平安科技（深圳）有限公司 一种媒体资源的推荐方法、服务器及计算机可读存储介质
CN110942061A (zh) * 2019-10-24 2020-03-31 泰康保险集团股份有限公司 文字识别方法、装置、设备和计算机可读介质
CN113407751B (zh) * 2021-05-21 2022-07-15 深圳市广电信义科技有限公司 一种图像检索结果重排序方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192555A (ja) * 2002-12-13 2004-07-08 Fuji Xerox Co Ltd 情報管理方法、情報管理装置及び情報管理プログラム
JP5249088B2 (ja) * 2009-03-03 2013-07-31 Ｋｄｄｉ株式会社 画像検索システム
JP5385105B2 (ja) * 2009-11-25 2014-01-08 Ｋｄｄｉ株式会社 画像検索方法およびシステム
JP5121917B2 (ja) * 2010-12-21 2013-01-16 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210312237A1 (en) * 2020-04-02 2021-10-07 Microsoft Technology Licensing, Llc Click intention machine learned models
US11797619B2 (en) * 2020-04-02 2023-10-24 Microsoft Technology Licensing, Llc Click intention machine learned models

Also Published As

Publication number Publication date
JP2014102772A (ja) 2014-06-05

Similar Documents

Publication Publication Date Title
Zheng et al. SIFT meets CNN: A decade survey of instance retrieval
US10394878B2 (en) Associating still images and videos
Jégou et al. On the burstiness of visual elements
Tolias et al. Visual query expansion with or without geometry: refining local descriptors by feature aggregation
Zheng et al. Coupled binary embedding for large-scale image retrieval
Zheng et al. $\mathcal {L} _p $-Norm IDF for Scalable Image Retrieval
WO2013129580A1 (ja) 近似最近傍探索装置、近似最近傍探索方法およびそのプログラム
CN103473327A (zh) 图像检索方法与系统
Moran et al. Sparse kernel learning for image annotation
Yasmin et al. Content based image retrieval by shape, color and relevance feedback
Meng et al. Interactive visual object search through mutual information maximization
Dharani et al. Content based image retrieval system using feature classification with modified KNN algorithm
JP2011128773A (ja) 画像検索装置、画像検索方法及びプログラム
Cao et al. Learning to match images in large-scale collections
Vieux et al. Content based image retrieval using bag-of-regions
Wang et al. Beauty product image retrieval based on multi-feature fusion and feature aggregation
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
Pedronette et al. Unsupervised distance learning by reciprocal kNN distance for image retrieval
JP5833499B2 (ja) 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム
Sun et al. Search by detection: Object-level feature for image retrieval
Aly et al. Towards automated large scale discovery of image families
Imran et al. Event recognition from photo collections via pagerank
JP5959446B2 (ja) コンテンツをバイナリ特徴ベクトルの集合で表現することによって高速に検索する検索装置、プログラム及び方法
Aly et al. Scaling object recognition: Benchmark of current state of the art techniques
Chou et al. Multimodal video-to-near-scene annotation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160928

R150 Certificate of patent or registration of utility model

Ref document number: 6017277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150