JP6399651B2 - 登録装置及び検索装置並びに方法及びプログラム - Google Patents

Description

本発明は、参照画像と質問画像との見え方の違いを考慮して量子化誤りを緩和し、高精度に参照画像と質問画像との類似度の算出等を可能とする登録装置及び検索装置並びに方法及びプログラムに関する。

非特許文献１〜３に開示されている様に、画像から抽出される局所特徴を用いて物体認識を行う方法がある。これらの方法では、物体をカメラ等の撮影手段で撮影等した画像（以下、質問画像）から特徴点を抽出し、予め登録されたデータベース(以下、DBとする)内の物体毎の特徴点と比較することによって、物体を特定する。

一般に物体認識においては、高速化やメモリ使用量削減等のため、特徴点の持つ特徴ベクトルはVisual Word(ビジュアルワード；以下、VWとする)と呼ばれる代表ベクトルに量子化される。その際には、一般的に特徴点の持つ特徴ベクトルの最近傍となるVWに量子化される。

しかし、撮影された画像から抽出される特徴ベクトルは、登録時との撮影視点の差異や、質問画像における撮影の際のぼけ、ぶれ等の様々な要因によって変化しうる。そのため、DBに登録された物体の同一位置から抽出された特徴ベクトルであっても、異なるVWに量子化されてしまうことがある。これを量子化誤りと呼ぶ。

当該量子化誤りという問題に対する対策を、前述の非特許文献１〜３は以下のようにそれぞれ提案している。

非特許文献１では、DBに特徴点のk近傍となる複数のVWを割り当てる、ソフト割り当て(Soft Assignment)と呼ばれる手法によって、量子化誤りの影響を緩和している。

非特許文献２では、非特許文献１とは逆に、質問画像から抽出された特徴点にk近傍となる複数のVWを割り当てることによって、同様に量子化誤りの影響を緩和している。

また、非特許文献３では特徴点の持つ方向やスケールを利用することによって、量子化誤りを起こした特徴点をフィルタリングし、認識精度を向上させている。

Philbin, James, et al. "Lost in quantization: Improving particular object retrieval in large scale image databases." Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008. Jegou, Herve, Matthijs Douze, and Cordelia Schmid. "Improving bag-of-features for large scale image search." International Journal of Computer Vision 87.3 (2010): 316-336. Jegou, Herve, Matthijs Douze, and Cordelia Schmid. "Hamming embedding and weak geometric consistency for large scale image search." Computer Vision-ECCV 2008. Springer Berlin Heidelberg, 2008. 304-317.

しかしながら、上述した従来技術では、特徴空間におけるk近傍VWを特徴ベクトルに近い順に選んでいるだけであり、参照画像と質問画像の変化に対する考慮がなされていない。すなわち、当該単に近いということを判断基準として選ばれたk近傍VWは、参照画像内の物体が実際の質問画像内に現れる際の見え方に対応しているとは限らない。このため、従来技術においては、量子化誤りが依然として発生する余地が残っている。

本発明は、上記従来技術の課題に鑑み、参照画像と質問画像の変化を考慮したうえで、量子化誤りを緩和することで、高精度に参照画像と質問画像との類似度算出等を可能とする、参照画像についての登録装置及び質問画像についての検索装置並びに方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は登録装置であって、参照画像より特徴点を検出する第一特徴点検出部と、前記参照画像において前記検出された特徴点の局所特徴量を求める第一局所特徴量記述部と、前記参照画像の前記特徴点の周囲領域に撮影の際の所定の外乱を変換として施すことで一連の学習画像を生成するパッチ画像生成部と、前記一連の学習画像において前記検出された特徴点の局所特徴量を特徴ベクトルとして求める第三局所特徴量記述部と、前記検出された特徴点ごとに、前記求まった一連の特徴ベクトルをそれぞれ代表ベクトルへと量子化したうえで集計し、頻度が高いと判定される代表ベクトルを当該特徴点の量子化された特徴ベクトルとして定める統計的量子化部と、前記参照画像における前記検出された特徴点と当該特徴点において前記定められた量子化された特徴ベクトルと、を、当該参照画像のレファレンス量として記録するデータベースと、を備えることを特徴とする。

また、本発明は質問画像に類似する画像を、前記登録装置におけるデータベースに記録された一連の参照画像の中から検索する検索装置であって、前記質問画像より特徴点を検出する第二特徴点検出部と、前記質問画像において前記検出された特徴点の局所特徴量を特徴ベクトルとして求める第二局所特徴量記述部と、前記特徴ベクトルを代表ベクトルへと量子化する量子化部と、前記質問画像における特徴点と、前記データベースにおける各参照画像の特徴点と、の間で、対応する代表ベクトルが同一であると判定されるもの同士をマッチングするマッチング部と、を備え、前記マッチングした結果に基づいて前記データベースにおける参照画像のうち前記質問画像に類似する画像がどれであるかを決定することを特徴とする。

また、本発明は方法であって、参照画像より特徴点を検出する第一特徴点検出段階と、前記参照画像において前記検出された特徴点の局所特徴量を求める第一局所特徴量記述段階と、前記参照画像の前記特徴点の周囲領域に撮影の際の所定の外乱を変換として施すことで一連の学習画像を生成するパッチ画像生成段階と、前記一連の学習画像において前記検出された特徴点の局所特徴量を特徴ベクトルとして求める第三局所特徴量記述段階と、前記検出された特徴点ごとに、前記求まった一連の特徴ベクトルをそれぞれ代表ベクトルへと量子化したうえで集計し、頻度が高いと判定される代表ベクトルを当該特徴点の量子化された特徴ベクトルとして定める統計的量子化段階と、前記参照画像における前記検出された特徴点と当該特徴点において前記定められた量子化された特徴ベクトルと、を、当該参照画像のレファレンス量としてデータベースに記録する段階と、を備えることを特徴とする。

さらに、本発明はプログラムであってコンピュータを前記登録装置として機能させることを特徴とする。

本発明の登録装置、方法またはプログラムによれば、参照画像において、実際の比較等の対象となる質問画像における変化を模す形で一連の学習画像を生成しておき、当該学習画像から参照画像のレファレンス量としての特徴ベクトルを定めるので、質問画像と比較等する際の量子化誤りを緩和する形での特徴ベクトルを定めることができる。

本発明の検索装置によれば、量子化誤りを緩和して高精度に、質問画像に類似する参照画像を決定することができる。

一実施形態に係る画像処理システムの機能ブロック図である。 一実施形態に係る画像処理システムの動作のフローチャートである。 登録装置による事前処理の内容の概要を説明するための図である。 検索装置による検索処理の内容の概要を説明するための図である。

図１は、一実施形態に係る画像処理システム30の機能ブロック図である。画像処理システム30は、登録装置10及び検索装置20を備える。登録装置10は、第一特徴点検出部11、第一局所特徴量記述部12、パッチ画像生成部13、第三局所特徴量記述部14、統計的量子化部15及びデータベース16を備える。検索装置20は、第二特徴点検出部21、第二局所特徴量記述部22、量子化部25、マッチング部26及び弱幾何検証部27を備える。

図２は、一実施形態に係る画像処理システム30の動作のフローチャートである。ステップS1では、事前処理として、登録装置10が参照画像を複数読み込み、それぞれの参照画像につき、その各特徴点における量子化された特徴ベクトルを求めてデータベース16へと登録することで、各参照画像が次のステップS2において検索装置20より検索される際のレファレンスとする。ステップS2では、検索処理として、検索装置20が入力された質問画像に類似する画像をデータベース16内の参照画像より検索する。

図３は、図２のステップS1における登録装置10による事前処理の概要を[1]〜[3]として順次説明するための図である。以下、図３を参照しながら、登録装置10の各部の概要を説明する。

まず、[1]に示すように、ある1枚の参照画像が入力されると、画像から局所特徴を抽出する。このため、参照画像より第一特徴点検出部11が特徴点を検出したうえで、当該特徴点周辺の局所領域を対象として第一局所特徴量記述部12が局所特徴を記述する。[1]の例では、特徴点P1,P2,P3においてそれぞれ局所特徴F1,F2,F3が記述されている。

次いで、[2]に示すように、パッチ画像生成部13は、ある1つの特徴点に注目し、その特徴点の座標が中心となるように参照画像を切り抜いたパッチ画像を生成する。[2]の例では、注目する特徴点として、[1]の特徴点P2を中心としたパッチ画像R1が示されている。

パッチ画像生成部13はさらに、予め、仮想空間における1つ以上の視点から撮影されたように射影変換する射影変換行列を算出しておき、それらの射影変換行列を用いて生成したパッチ画像を射影変換する。この際、射影変換した後に画像処理によって画像をぼけさせてもよい。

[2]の例では、[2-2]に仮想空間XYZにおいて原点Oを見る1つ以上の視点の模式的な例が示さている。また、[2-1]に示すように、当該複数視点でそれぞれ撮影されたような状態として生成された、パッチ画像R1を射影変換した一連のパッチ画像（学習画像）が、テーブルT1にパッチ画像R11,R12,R13, …として列挙されている。

当該射影変換により加工されたパッチ画像（学習画像）の中心点を特徴点の座標とし、第三局所特徴量記述部14が再度、局所特徴の抽出を行う。（なお、「1回目」の局所特徴の抽出は第一局所特徴量記述部12によってなされている。）[3]の例では、[2]の射影変換されたパッチ画像R11,R12,R13のそれぞれの中心点を特徴点P11,P12,P13として、局所特徴F11,F12,F13が抽出されている。

最後に、統計的量子化部15は、得られた特徴ベクトル（すなわち局所特徴）のk近傍となるVWを算出し、そのIDを割り当てられたVW-IDとして蓄積する。さらに、蓄積されたVW-IDの情報を元に、射影変換等された各パッチ画像の各特徴点が各VW-IDへ割り当てられる確率（すなわち割合）を算出し、その上位n個を注目する特徴点に割り当て、データベース16に登録する。

[3]の例では、注目している特徴点P2において射影変換された一連のパッチ画像R11,R12,R13,…を介して得られた一連の特徴ベクトル（局所特徴）F11,F12,F13,…につきそれぞれ、[3-1]に示すようにk近傍のVWが算出されている。例えば特徴ベクトルF11のk近傍はVW3,VW45,…と、特徴ベクトルF12のk近傍はVW10,VW3,…と、特徴ベクトルF13のk近傍はVW8,VW10,…と、それぞれ算出され、VW-IDが特定されている。

さらに、[3-2]に示すように、当該一連の算出されたVW-IDを蓄積、すなわち、いずれのIDが一連の特徴ベクトルから合計で何回算出されたかということを集計することにより、上位n個のVWを当該注目している特徴点P2に割り当てる。[3-2]では、注目している特徴点P2に対して、VW10が最大確率50%であって1位であり、VW3が確率20%であって2位であり、VW45が確率15%であって3位であるので、上位n個としてVW10,VW3,VW45,…が割り当てられる。

こうして、データベース16には、特徴点P2の量子化された特徴ベクトルとして、(VW10, VW3, VW45,…)が登録されることとなる。

以上、図３の例ではある1つの特徴点P2についての処理を説明したが、参照画像から抽出された全ての特徴点P1,P2,P3,…に対して同様の処理を行うことで、当該参照画像の全ての特徴点について離散化された特徴ベクトルがデータベース16に登録される。また、複数の参照画像に関してもそれぞれ同様の処理を行うことで、参照画像の各々につき、全ての特徴点の離散化された特徴ベクトルが、当該参照画像のレファレンス量としてデータベース16に登録される。以上で、図２のステップS1の事前処理が終了する。

ここで、本発明においては特に、パッチ画像生成部13によって生成される一連のパッチ画像を介して、参照画像と撮影等して得られる質問画像との見え方の違いの候補を列挙したうえで、統計的量子化部15により、当該見え方の違いを反映した特徴点に割り当てられる可能性が高いものとしてn個のVWを求め、当該特徴点に割り当てる。すなわち、本発明の登録装置10によれば、参照画像と質問画像との変化を考慮した特徴点の量子化が可能となり、登録装置10のデータベース16を参照して質問画像の検索を行う検索装置20では、量子化誤りを低減することが可能となる。

図４は、図２のステップS2における検索装置20による検索処理の概要を[1]〜[4]として順次説明するための図である。以下、図４を参照しながら、検索装置20の各部の概要を説明する。

まず、[1]に示すように、ある質問画像が入力されると、第二特徴点検出部21及び第二局所特徴量記述部22が、当該質問画像から特徴点を検出したうえでその周辺の局所特徴を抽出する。[1]の例では、検出された特徴点P21,P22,P23,…よりそれぞれ局所特徴量F21,F22,F23,…が抽出されている。

次いで、[2]に示すように、量子化部25が、全ての特徴点に対して、特徴ベクトル（局所特徴量）のk近傍となるVWへ量子化する。[2]の例では、特徴点P21（の局所特徴量F21）はVW9,…と量子化され、特徴点P22（の局所特徴量F22）はVW17,…と量子化され、特徴点P23（の局所特徴量F23）はVW9,…と量子化されている。

さらに、[3]に示すように、マッチング部26が、質問画像より得られたVWごとに、データベース16内の参照画像における各VWとマッチングを行うことで、質問画像のVWに対して一致していると判定される参照画像のVWを特定すると共に、当該マッチングしていると判定された両VWが持っている方向θまたはスケールsの差を算出する。

[3]の例では、図中、VWの詳細は不図示であるが例えば量子化する際のk近傍のk=4として、質問画像の特徴点P21における量子化されたVW=(VW9, VW15, V17, VW20)とマッチングするものが、参照画像1の一連の特徴点のうち特徴点P1における量子化されたVW=(VW9, VW15, VW17, VW19)として特定されると共に、前者VWにおける方向θ=50°及びスケールs=1と、後者VWにおける方向θ=30°及びスケールs=1と、の差がΔθ=20°及びΔs=0として算出される。

最後に、[4]に示すように、弱幾何検証部27が、マッチングされたVWが属する参照画像IDにおける、予め用意された方向差及び／又はスケール差の範囲に対して投票を行う。質問画像の全てのVWに対して上記の投票処理を行った後、各参照画像IDにおいて最大の投票数を得た方向差及び／又はスケール差の範囲に投票された値を当該参照画像の質問画像に対する類似度スコアとして、データベース16内の一連の参照画像の類似度ランキングを検索結果として出力する。

[4]の例では、質問画像と参照画像1との類似度スコアを算出するに際して、方向差のみで投票を行った場合のマッチング数のヒストグラムが模式的に示されている。ヒストグラムはB1〜B6等のように所定のビンに区切ることで、図示するように最大マッチング数となるビンB4を決定し、当該ビンB4内の合計のマッチング数を類似度スコアとすることができる。

以上、図３及び図４を参照して、それぞれ登録装置10及び検索装置20の各部の概要を説明した。以下、当該各部の詳細をそれぞれ説明する。

第一特徴点検出部11及び第二特徴点検出部21の処理内容は互いに共通であり、図１に示すような流れにおいてそれぞれの処理を行う。すなわち、当該各部11及び21ではそれぞれ、参照画像及び質問画像の入力を受けて、当該入力画像から特徴点検出器を用いて特徴点を検出し、それぞれ第一局所特徴量記述部12及び第二局所特徴量記述部22へと出力する。ここで、特徴点検出器には、一般的に知られているSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)、ORB(oriented BRIEF)、FREAK (Fast Retina Keypoint)等といったアルゴリズムを利用することができる。

第一局所特徴量記述部12及び第二局所特徴量記述部22の処理内容は互いに共通であり、図１に示すような流れにおいてそれぞれの処理を行う。すなわち、当該各部12及び22ではそれぞれ、参照画像及び質問画像と、参照画像につき第一特徴点検出部11で、また質問画像につき第二特徴点検出部21で検出された特徴点の座標と、の入力を受けて、特徴量抽出器を用いて特徴点位置における当該それぞれの画像の局所的な特徴を局所特徴量と呼ばれるベクトル形式で抽出し、それぞれパッチ画像生成部13及び量子化部25へと出力する。

ここで、特徴量抽出器は、前述の特徴点抽出器と同様に、一般的に知られているSIFTやSURF、ORB、FREAK等といったアルゴリズムを利用することができる。これらの局所特徴は座標p=(x,y)、方向θ、スケールs、及び特徴ベクトルfにより特徴付けられる。また、特徴量抽出器をコンピュータによって実行されるプログラムにおいて実現する場合、通常、一枚の画像から検出された特徴群は、プログラム上では配列に格納され、その配列の添え字を特徴点IDとして識別することができる。

また、第三局所特徴量記述部14の処理内容も上記各部12及び22と共通であり、パッチ画像生成部13にて生成された一連のパッチ画像（学習画像）の各々につき、その特徴点位置における局所特徴量を抽出し、統計的量子化部15へと出力する。なお、パッチ画像における特徴点の位置は、第一特徴点検出部11で特徴点を検出した際の参照画像においてその位置座標を紐付けておけばよい。

量子化部25は、第二局所特徴量記述部22で記述された特徴ベクトルfの入力を受け、予め用意された代表ベクトルの内、特徴ベクトルfとの距離が最も近くなるもののIDを出力する。ここで、出力される特徴ベクトルのIDは特徴ベクトルfとの距離が最も近いもののみであってもよいし、距離の近い上位k件（kは所定数）であってもよい。

なお、量子化部25において特徴ベクトルfを上記のように量子化するための予め用意された代表ベクトルについては、次のように用意しておけばよい。すなわち、多数のサンプル画像に対して第二特徴点検出部21及び第二局所特徴量記述部22の処理を加えて多数の特徴ベクトルを算出し、当該多数の特徴ベクトルを周知のk-means法等によってクラスタリングして得られる一連のクラスタ中心を代表ベクトルとすればよい。

パッチ画像生成部13は、参照画像と第一特徴点検出部11で検出された特徴点の座標との入力を受けて、その座標を中心として参照画像から切り抜いた、1辺Lの長さを持つパッチ画像を生成する。ここで、長さLは、第三局所特徴量記述部14で適用する局所特徴抽出アルゴリズムが特徴量を記述するために最低限必要とする長さである各特徴点のスケールs以上の値を取るものとする。なお、当該最低限の長さとしてのスケールsの情報は、第一局所特徴量記述部12において既に求まっている局所特徴量を参照して得ることができる。

パッチ画像生成部13はさらに、このパッチ画像を1つ以上の様々な距離や様々な方向から観察されたように、仮想的なスクリーンに透視投影された学習画像を生成する。具体的には、パッチ画像の周囲に仮想的な視点を滞りなく配置し、視野角等の透視投影パラメータを任意に設定した射影変換行列を予め算出しておき、その射影変換行列を用いてパッチ画像を射影変換する。仮想的な視点の配置には、例えばパッチ画像を原点に置き、空間的に均等に配置されるとされるジオデシックドーム（Geodesic Dome）の各頂点を用いても良いし、3次元格子状構造の各頂点を用いても良い。

別の一実施形態として、射影変換に代えてパッチ画像生成部13はガウシアンフィルタ等のぼけフィルタを用いて、パッチ画像をぼかして学習画像を生成してもよい。この際、ガウシアンフィルタ等の一連のパラメータを任意に設定して予め用意しておき、複数の学習画像を生成することができる。例えば、水平方向のぼかしパラメータσ_xと垂直方向のぼかしパラメータσ_yとの一連のペア(σ_xi,σ_yi)(i=1, 2, …)を用意しておいて、当該パラメータのペアでそれぞれ指定された互いに異なるぼけ方をした学習画像を生成することができる。

パッチ画像生成部13ではまた、射影変換及びぼけ変換の両方を用いて学習画像を生成してもよいし、以上の組み合わせ（射影変換及び／又はぼけ変換）で学習画像を生成してもよい。すなわち一般には、生成される学習画像の各々は、射影変換又はぼけ変換のいずれかが施されている場合と、射影変換及び／ぼけ変換の両方が施されている場合と、がある。

以上の説明では、パッチ画像生成部13は、(A)参照画像においてパッチ画像の領域を定め、次いで、(B)パッチ画像に射影変換及び／又はぼけ変換を施す、という(A)→(B)の順の処理で学習画像を生成するものとしたが、当該順序を逆として(B)→(A)の順の処理で学習画像を生成するようにしてもよい。すなわち、(B)参照画像に射影変換及び／又はぼけ変換を施し、次いで、(A)当該変換された参照画像において特徴点の周辺領域を切り抜くことによって、学習画像を生成するようにしてもよい。(A)→(B)の順の場合、射影パラメータ毎に初めにパッチ画像として切り抜くべき範囲が変動するため、射影パラメータ毎に当該範囲を計算する必要があるが、(B)→(A)の順の場合、当該計算を省略することができる。

なお、パッチ画像生成部13でパッチ画像より生成する学習画像は、撮影等されて得られる質問画像における参照画像からの変化を模すものであるので、当該変化がどのような性質のものであるかが事前にわかっていれば、当該変化に対応する形で学習画像を生成することが好ましい。例えば、質問画像が歩きながら撮影されるものであることがわかっていれば、その際のぼけを反映して学習画像を生成し、質問画像が何らかの物体を一定の角度範囲内で撮影して得られるものであることがわかっていれば、当該角度範囲内に対応する射影変換を施して学習画像を生成することが好ましい。

統計的量子化部15は、パッチ画像生成部13でパッチ画像に一連の所定変化を加えて生成された学習画像集合について、第三局所特徴量記述部14で記述された特徴ベクトルfの集合の入力を受け、予め用意された代表ベクトルの内、特徴ベクトルfとの距離が最も近くなるもののIDを出力する。なお、予め用意される代表ベクトルは、量子化部25におけるものと同様である。

ここで、出力される特徴ベクトルのIDは特徴ベクトルfとの距離が最も近いもののみであってもよいし、距離の近い上位k件（kは所定数）であってもよい。その後、代表ベクトルのID毎に割り当てられた回数を数え、入力された特徴ベクトルの数で除算することによって、代表ベクトルのID毎の割り当て確率を算出する。割り当て確率の高い順に代表ベクトルのIDを並び替え、その上位n個（nは所定数）を量子化結果として出力する。

データベース16では、上記のように統計的量子化部15が出力する各参照画像における一連の特徴点につきそれぞれ上位n個として量子化された代表ベクトルを記録し、マッチング部26から参照される際の参照画像のレファレンス量とする。

マッチング部26では、データベース16に記録された参照画像の特徴点及び検索装置20に入力された質問画像の特徴点の内、量子化部（統計的量子化部15及び量子化部25）で同一の代表ベクトルに量子化されたもの同士をマッチングする。具体的には、参照画像および質問画像の特徴点の中から、同一の代表ベクトルに量子化されていると判定できる特徴点を選択して対応付ける。

対応付けの基準としては、周知の種々の基準を利用することができ、量子化された代表ベクトルが完全一致あるいは最大数一致するものを選んでもよいし、局所特徴量抽出部（第一局所特徴量記述部12及び第二局所特徴量記述部22）で抽出された特徴ベクトルfの距離が最も近いものを選んでもよいし、他の情報を基準としてもよいし、全てを対応付けてもよい。なお、特徴ベクトルfの距離を基準として選ぶ場合、特徴ベクトルfはデータベース16に記録しておく。また、特徴点の対応付けは1対1でもよいし、1対NやN対1、N対Nであってもよい。

弱幾何検証部27では、非特許文献３で提案された公知の技術である弱幾何検証（Weak geometrical consistency）を用いる。初めに、マッチング部26で対応付けられた特徴点の対応組の集合を入力として、参照画像毎に対応組の持つ方向θの差及び／又はスケールsの差を算出し、その値に対して対応組の数を投票する。その後、予め定められた角度差及び／又はスケール差の範囲内の投票スコアを算出し、最も投票スコアが大きくなる範囲内に投票した対応組を選出する。すなわち、投票で得られるヒストグラムを所定間隔のビン毎に集計して、最大投票数となっているビン内に存在する対応組を選出する。なお、角度差又はスケール差のいずれかで投票する場合は1次元ヒストグラムが得られ、角度差及びスケール差の両方で投票する場合は2次元ヒストグラムが得られる。

弱幾何検証部27ではさらに、選出された対応組のみを用いて参照画像と質問画像の類似度スコアを算出する。類似度スコアは選出された対応組の数であっても良いし、対応組の特徴ベクトル間の距離や、統計的量子化部15で算出した代表ベクトルの割り当て確率に応じた重み付け処理を行っても良い。全ての参照画像に対して上記の処理を行った後、類似度スコアの大きい順に参照画像のIDを並べ替えた類似度ランキングを作成し、検索結果として出力する。

上記類似度スコア算出の一例における、統計的量子化部15で算出した代表ベクトルの割り当て確率に応じた重み付け処理は例えば次の通りである。参照画像のある特徴点の代表ベクトルが上位３個で量子化された(VW1, VW2 , VW3)であり、それぞれの重みが(0.6, 0.3, 0.1)とする。この場合、対応する質問画像のある特徴点の代表ベクトルがk=1近傍で量子化された(VW1)であれば、当該特徴点からの投票は1票ではなく0.6票とカウントすることができる。また、対応する質問画像のある特徴点の代表ベクトルがk=2近傍で量子化された(VW1, VW2)であれば、当該特徴点からの投票は1票ではなく0.5*0.6+0.5*0.3=0.45票とカウントすることができる。

なお、弱幾何検証部27を省略して、マッチング部26での特徴点の対応組の結果に基づいて類似度ランキングに相当するものを検索結果として出力するようにしてもよい。この場合、マッチング部26では例えば、特徴点同士の対応付けに際して、最も近いと判定される代表ベクトル等同士の距離が所定基準で大きいと判定される場合には、質問画像の特徴点に対応する特徴点が参照画像内に存在しない（対応付け不可能）であると判定することで、各参照画像において対応付け可能であった総数を類似度スコアとして求めるようにしてもよい。

以上のように、本発明によれば、従来技術と比べて特徴点の量子化誤りが緩和される。すなわち、参照画像の特徴点と質問画像の特徴点を量子化した際に割り当てられるVWを予測することによって、量子化誤りの影響を緩和することができる。これにより、特徴点に基づく画像検索の精度を向上させることができる。

具体的には、登録画像から特徴点を抽出した後に、その特徴点の周囲を切り出したパッチ画像を作成し、そのパッチ画像を様々な条件で変化させた後に再度特徴点を抽出する。当該様々な条件で変化させることはすなわち、質問画像における撮影の際の所定の外乱を変換として施すことに相当する。さらに、抽出された特徴点を量子化し、その結果となるVWを集計し、VW毎に割り当てられた確率を算出する。最終的にパッチ画像の特徴点が割り当てられる確率の高いn個のVWを、参照画像の特徴点に割り当てることによって、参照画像と質問画像の変化を考慮した特徴点の量子化を実現する。

以下、本発明における補足的事項を説明する。

検索装置20は次のような別の一実施形態に係る構成とすることも可能である。すなわち、量子化部25に代えて、登録装置10に備わるパッチ画像生成部13、第三局所特徴量記述部14及び統計的量子化部15に相当する構成を検索装置20が備えるようにする構成も可能である。当該構成の場合、登録装置10では逆に、各部13,14,15を備える代わりに検索装置20における量子化部25に相当する構成を備えるようにしてもよい。

ただし、事前に参照画像からの見え方の変化を適切に考慮したデータベース16を構築しておくという観点からは、以上説明した図１の構成が好ましい。（検索装置20が各部13,14,15を備える構成の場合、既に見え方が変化している質問画像からさらに見え方が変化して、現実にはありえないような画像もマッチング部26でのマッチング対象となり、計算リソースの無駄が生ずることも考えられる。）

本発明は、コンピュータを登録装置10、検索装置20又は画像処理システム30として機能させるそれぞれのプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが登録装置10、検索装置20又は画像処理システム30の各部の機能に対応する命令を実行することとなる。

30…画像処理システム、10…登録装置、20…検索装置、11…第一特徴点検出部、12…第一局所特徴量記述部、13…パッチ画像生成部、14…第三局所特徴量記述部、15…統計的量子化部、16…データベース、21…第二特徴点検出部、22…第二局所特徴量記述部、25…量子化部、26…マッチング部、27…弱幾何検証部

Claims (11)

1. 参照画像より特徴点を検出する第一特徴点検出部と、
   前記参照画像において前記検出された特徴点の局所特徴量を求める第一局所特徴量記述部と、
   前記参照画像の前記特徴点の周囲領域に撮影の際の所定の外乱を変換として施すことで一連の学習画像を生成するパッチ画像生成部と、
   前記一連の学習画像において前記検出された特徴点の局所特徴量を特徴ベクトルとして求める第三局所特徴量記述部と、
   前記検出された特徴点ごとに、前記求まった一連の特徴ベクトルをそれぞれ代表ベクトルへと量子化したうえで集計し、頻度が高いと判定される代表ベクトルを当該特徴点の量子化された特徴ベクトルとして定める統計的量子化部と、
   前記参照画像における前記検出された特徴点と当該特徴点において前記定められた量子化された特徴ベクトルと、を、当該参照画像のレファレンス量として記録するデータベースと、を備えることを特徴とする登録装置。
2. 前記パッチ画像生成部は、前記参照画像の前記特徴点の周囲領域をパッチ画像として定め、当該パッチ画像に一連の射影変換及び／又はぼけ変換を施すことで、または、前記参照画像に一連の射影変換及び／又はぼけ変換を施し、当該変換された参照画像における前記特徴点の周辺領域を切り出すことで、一連の学習画像を生成することを特徴とする請求項１に記載の登録装置。
3. 前記パッチ画像生成部は、前記参照画像の周囲の一連の空間位置にそれぞれ仮想的な視点を配置し、当該参照画像を当該視点から撮影した画像を得るようにすることで、前記一連の射影変換を施すことを特徴とする請求項２に記載の登録装置。
4. 前記パッチ画像生成部は、一連のぼけパラメータでぼかすことにより、前記一連のぼけ変換を施すことを特徴とする請求項２に記載の登録装置。
5. 前記パッチ画像生成部は、前記第三局所特徴量記述部において局所特徴量を求めるのに必要となる所定サイズ以上の領域を、前記パッチ画像として定めることを特徴とする請求項２ないし４のいずれかに記載の登録装置。
6. 前記統計的量子化部は、前記頻度が高いと判定される上位の所定数の代表ベクトルを前記特徴点の量子化された特徴ベクトルとして定めることを特徴とする請求項１ないし５のいずれかに記載の登録装置。
7. 質問画像に類似する画像を、請求項１ないし６のいずれかに記載の登録装置におけるデータベースに記録された一連の参照画像の中から検索する検索装置であって、
   前記質問画像より特徴点を検出する第二特徴点検出部と、
   前記質問画像において前記検出された特徴点の局所特徴量を特徴ベクトルとして求める第二局所特徴量記述部と、
   前記特徴ベクトルを代表ベクトルへと量子化する量子化部と、
   前記質問画像における特徴点と、前記データベースにおける各参照画像の特徴点と、の間で、対応する代表ベクトルが同一であると判定されるもの同士をマッチングするマッチング部と、を備え、
   前記マッチングした結果に基づいて前記データベースにおける参照画像のうち前記質問画像に類似する画像がどれであるかを決定することを特徴とする検索装置。
8. 前記マッチングされた両特徴点の対応組集合の中で、当該両特徴点における局所特徴量に対応する方向の差及び／又はスケールの差を投票し、当該投票して得られる方向の差及び／又はスケールの差のヒストグラムを所定のビンで区切り、最大投票数となるビンに属する特徴点の対応組集合に基づいて前記質問画像と前記データベースにおける各参照画像との類似度を算出する弱幾何検証部をさらに備えることを特徴とする請求項７に記載の検索装置。
9. 前記弱幾何検証部は、前記最大投票数に基づいて、または、前記最大投票数となるビンに属する特徴点の対応組集合内の対応組のカウント総数を、各対応組における参照画像の特徴点に関して対応する代表ベクトルを前記登録装置の統計的量子化部において前記集計した際の頻度を重みとして付与したうえでカウントしたものに基づいて、前記類似度を算出することを特徴とする請求項８に記載の検索装置。
10. 参照画像より特徴点を検出する第一特徴点検出段階と、
    前記参照画像において前記検出された特徴点の局所特徴量を求める第一局所特徴量記述段階と、
    前記参照画像の前記特徴点の周囲領域に撮影の際の所定の外乱を変換として施すことで一連の学習画像を生成するパッチ画像生成段階と、
    前記一連の学習画像において前記検出された特徴点の局所特徴量を特徴ベクトルとして求める第三局所特徴量記述段階と、
    前記検出された特徴点ごとに、前記求まった一連の特徴ベクトルをそれぞれ代表ベクトルへと量子化したうえで集計し、頻度が高いと判定される代表ベクトルを当該特徴点の量子化された特徴ベクトルとして定める統計的量子化段階と、
    前記参照画像における前記検出された特徴点と当該特徴点において前記定められた量子化された特徴ベクトルと、を、当該参照画像のレファレンス量としてデータベースに記録する段階と、を備えることを特徴とする方法。
11. コンピュータを請求項１ないし６のいずれかに記載の登録装置として機能させることを特徴とするプログラム。