JP6035173B2 - 画像検索システム及び画像検索方法 - Google Patents

Description

本発明は、大量の参照画像の中からクエリ画像に対応する対応画像を検索する画像検索システム及び画像検索方法等に関するものである。

複数の画像の間で対応点を抽出する際に、局所画像特徴量が用いられる。例えば、１つの被写体を異なる２つの視点から撮影して得た２枚の画像を用いれば、撮影した機材の焦点距離などの内部パラメータと呼ばれる装置固有の情報が与えられたときに、三角測量の原理で撮影場所から被写体までの距離を測定したり、被写体の大きさを推定したりできる。

このとき、被写体上のある点は、２つの画像上にそれぞれ投影され、２つの画像間で共通して観測される。このような２つの画像間で共通して観測される点（対応点）を検出するために、局所画像特徴量が用いられる。即ち、局所画像特徴量が一致する点が対応点であると判断する。

この局所画像特徴量を応用して、画像検索を実現できることが知られている。この画像検索技術では、複数の画像をデータベースに保存しておくとともに、それらすべての画像について、特徴点を抽出して、抽出した特徴点の局所画像特徴量を計算し、これらもデータベースに保存しておく。クエリ画像が入力されると、クエリ画像から特徴点を抽出し、それらの局所画像特徴量を算出する。そして、データベースに保存された複数の画像の各々について、クエリ画像に含まれる特徴点の局所画像特徴量と一致する局所画像特徴量を有する特徴点を対応点としてカウントし、その対応点の数が最も多い画像が、クエリ画像に最も近似した画像であると判断される。

さらに、この局所画像特徴量を用いた画像検索技術では、特徴点の位置情報も利用される。上述のように、局所画像特徴量を用いた画像検索技術では、データベース中の画像の中で、クエリ画像の特徴点と対応する特徴点を多く多く持つ画像をクエリ画像に近い画像と判断するが、このように局所画像特徴量の比較のみで対応点であると判断すると、実際には対応しないが偶然に局所画像特徴量が一致する点同士が対応点であると誤って判断されることになる。

このようなノイズによる誤判断を防ぐため、クエリ画像のある特徴点の局所画像特徴量とデータベース中の画像のある特徴点の局所画像特徴量とが一致するか否かのみではなく、クエリ画像の当該特徴点の位置とデータベース中の画像の当該特徴点の位置との幾何的射影関係を求めて、クエリ画像の当該特徴点がデータベース中の画像の当該特徴点に正しく射影されているかを判定し、その判定結果も合わせて、それらの特徴点が対応点であるかを判断する手法がある。

具体的には、被写体が紙面などの二次元平面であると仮定できる場合、次のようにして、局所画像特徴量が一致する特徴点同士について、それらの位置も一致しているか否かを判断する。まず、クエリ画像とデータベース中の画像との間で、局所画像特徴量が一致する特徴点の組をすべて検出する。そして、それらの複数の特徴点の組について、ＲＡＮＳＡＣ法を使用して、クエリ画像の特徴点の位置をその特徴点と組になったデータベース中の画像の特徴点の位置に射影するホモグラフィ行列を計算する。

さらに、そのホモグラフィ行列によって、再度、データベース中の画像の特徴点と局所画像特徴量が一致すると判断されたクエリ画像の特徴点の位置を射影する。そして、その結果得られた位置が、クエリ画像の特徴点と局所画像特徴量が一致すると判断されたデータベース中の画像の特徴点の位置とどれだけずれているかを計算し（位置のマッチング）、その計算結果（マッチングスコア）に基づいて、最終的にそれらの特徴点が対応点であるか否かを判断する。

ところで、１つの画像から数百点の特徴点を抽出し、それぞれの点ごとの局所画像特徴量を算出し、さらに、他の画像の局所画像特徴量と比較すると、その演算に用いられるデータ量は膨大になり、巨大なメモリや高速なＣＰＵ、さらに巨大な保存用ストレージが必要となる。局所画像特徴量として一般に知られているＳＩＦＴ特徴量の場合には、各特徴点の情報を表す特徴点データとして、局所画像特徴量の他に、スケール情報、位置情報、主軸情報等の付随情報が含まれる。これらをすべての特徴点について足し合わせると例えば、１枚の画像に８００点の特徴点が含まれるとすると、１枚あたり約４２２Ｋバイトのデータ量になる。このため、例えば１万枚の画像を検索対象に使用すると、扱うデータの量は（４２２Ｋバイト×１０，０００）約４．２Ｇバイトにもなる。

このような課題に対して、各特徴点の局所画像特徴量を圧縮することで、対応点の抽出を高速化する技術として、ＯＲＢ、ｂｒｉｓｋ、ＣＡＲＤ等の技術が提案されており、本願発明者らもそのような技術に関して特許出願をしている（特許文献１）。これらの技術は、各特徴点の局所画像特徴量を実数ベクトルではなく、二値のベクトルで表現することによって、局所画像特徴量の圧縮を実現している。また、従来とは異なる計算手法を採用することで、局所画像特徴量の高速な算出を実現している。

なお、本発明に関連する先行技術として、以下の先行技術文献がある。

特開２０１２−１６００４７号公報

David G. Lowe, "Object recognition from local scale-invariant features," International Conference on Computer Vision, Corfu, Greece (September 1999), pp. 1150-1157

本発明は、局所画像特徴量を用いた画像検索技術において、画像検索に用いるデータの量を抑えることを目的とする。

本願発明者らは、局所画像特徴量を圧縮した場合には、位置情報、主軸情報等の付随情報のデータ量の割合が相対的に大きくなり、特徴点情報の更なるデータ量の削減、演算の高速化にとって、付随情報のデータ量の影響が大きくなることに着目し、局所画像特徴量を圧縮した場合には、付随情報のデータ量を削減することが、特徴点情報の更なるデータ量の削減、演算の高速化にとって有利であることを見出した。

即ち、特徴点データには、その点の局所画像特徴量のほかに、スケール情報、位置情報、主軸情報等の付随情報が含まれるが、局所画像特徴量に対する圧縮が行われていない場合には、この付随情報のデータ量が特徴点データの全体のデータ量に占める割合も小さく、付随情報のデータ量が問題となることはなかった。具体的には、例えば、スケール情報、位置情報、及び主軸情報のデータ量は、一般的な実数型で表現すると、それぞれ４バイト、８バイト（位置は二次元であるので４バイト×２）、４バイトであり、付随情報の合計のデータ量は１６バイトであり、一方、局所画像特徴量は、それが１２８次元の実数であるとすると、そのデータ量は（１２８×４＝）５１２バイトであり、よって、付随情報のデータ量が全体のデータ量に占める割合は（１６／（５１２＋１６）＝）約３％でしかなかった。

一方、圧縮された局所画像特徴量を含む特徴点データにおいては、局所画像特徴量のデータ量が削減されているため、全体のデータ量に対して、スケール情報、位置情報、主軸情報等の付随情報のデータ量の占める割合が相対的に大きくなる。具体的には、局所画像特徴量を１２８ビット（＝１６バイト）に圧縮した場合、全体のデータ量に対して付随情報のデータ量が占める割合は、（１６／（１６＋１６）＝）５０％にもなる。

画像検索では、主軸及びスケールの情報は使われないため、これらを削除することができる。しかし、それらを削除できたとしても、位置情報は必要であり、特徴点データの中での位置情報のデータ量（８バイト）は、特徴点データの全体のデータ量に対して、（８／（１６＋８）＝）約３３％となる。したがって、特徴点データに占める局所画像特徴量以外の情報を削減することが有利である。

このために、本発明の画像検索システムは、クエリ画像処理装置と検索サーバ装置とからなる画像検索システムであって、前記クエリ画像処理装置は、クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信部とを備え、前記検索サーバ装置は、前記特徴点データを受信する検索サーバ装置側通信部と、受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索部とを備えた構成を有している。

この構成によれば、クエリ画像処理装置において、局所画像特徴量が抽出された特徴点の位置情報が粗量子化されるので、特徴点データの全体のデータ量に占める位置情報のデータ量の割合を小さくできる。特に、局所画像特徴量がバイナリ変換等によって圧縮されている場合には、粗量子化による位置情報のデータ量の削減の効果は大きくなる。

上記の画像検索システムにおいて、前記画像検索部は、粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換部をさらに備えていてよい。この構成によれば、クエリ画像に対応する対応画像の検索を行う画像検索部において、クエリ画像の特徴点の位置情報が復元される。

上記の画像検索システムにおいて、前記特徴点位置粗量子化部は、前記粗量子化を行う際の粗量子化レベルを変更可能であってよい。この構成によれば、データ量削減の必要性や可能性に応じて位置情報のデータ量を変更できる。

上記の画像検索システムにおいて、前記特徴点位置粗量子化部は、前記クエリ画像処理装置側通信部の通信状態に応じて前記粗量子化レベルを変更してよい。この構成によれば、通信状態がよくない場合に粗量子化レベルを変更して、より位置情報のデータ量を少なくする等の制御が可能になる。

上記の画像検索システムにおいて、前記特徴点位置粗量子化部は、前記クエリ画像処理装置の処理状態に応じて前記粗量子化レベルを変更してよい。この構成によれば、クエリ画像処理装置の処理能力に余裕がない状態である場合に粗量子化レベルを変更して、より位置情報のデータ量を少なくする等の制御が可能になる。

上記の画像検索システムにおいて、前記特徴点位置粗量子化部は、前記クエリ画像の画像サイズに応じて前記粗量子化レベルを変更してよい。この構成によれば、画像サイズが小さいほど位置情報のデータ量を少なくする等の制御が可能になる。

上記の画像検索システムにおいて、前記特徴点位置粗量子化部は、前記特徴点の位置情報を２バイトのデータ量になるように粗量子化してよい。この構成によれば、実数である位置情報が８バイト程度で表現される通常の場合と比較して十分にデータ量を削減できる。

上記の画像検索システムにおいて、前記検索サーバ装置は、前記複数の参照画像中の複数の特徴点の局所画像特徴量及び位置情報を関連付けて保存する画像保存部をさらに備えていてよく、前記画像検索部は、前記クエリ画像の前記局所画像特徴量と前記参照画像の前記特徴点の局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部と、前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部とを備えていてよく、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を前記対応画像としてよい。

この構成によれば、単に特徴点の局所画像特徴量を比較するのではなく、位置も対応している特徴点を対応点としてカウントして対応画像を検索できるので、特徴点の位置情報を有効に用いて対応画像検索の精度を向上できる。

本発明の別の態様の画像検索システムは、クエリ画像処理装置と検索サーバ装置とからなる画像検索システムであって、前記クエリ画像処理装置は、クエリ画像中の複数の特徴点の局所画像特徴量及び位置情報を含む特徴点データを送信するクエリ画像処理装置側通信部を備え、前記検索サーバ装置は、前記特徴点データを受信する検索サーバ装置側通信部と、複数の参照画像中の複数の特徴点の局所画像特徴量及び粗量子化された位置情報を関連付けて保存する画像保存部と、前記クエリ画像の前記局所画像特徴量と前記参照画像の特徴点の前記局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部と、前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部とを備え、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を、前記クエリ画像に対応する対応画像であると判定する構成を有している。

この構成によれば、特徴点の局所画像特徴量及び位置情報を含む特徴点データ用いて、大量の参照画像の中からクエリ画像に対応する対応画像を検索する場合に、当該参照画像の特徴点データを保存するためのストレージの容量を抑えることができ、あるいは、限られた容量のストレージにより多くの参照画像の特徴点データを保存できる。

上記の画像検索システムにおいて、前記検索サーバ装置は、前記参照画像の粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換部をさらに備えていてよい。この構成により、大量の参照画像の中からクエリ画像に対応する対応画像を検索する際に、参照画像の特徴点の位置情報が復元される。

上記の画像検索システムにおいて、前記クエリ画像処理装置は、撮影によって前記クエリ画像を生成する撮像部をさらに備えた携帯情報端末であってよい。この構成によれば、クエリ画像処理装置のユーザは、撮影によってクエリ画像を生成できる。

上記の画像検索システムにおいて、前記検索サーバ装置側通信部は、前記対応画像及び／又は前記対応画像に関連付けられた関連情報を送信してよく、前記クエリ画像処理装置側通信部は、前記対応画像及び／又は前記関連情報を受信してよい。この構成によれば、クエリ画像処理装置において、クエリ画像に対応する対応画像や関連情報を取得できる。

本発明の別の態様は、クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける前記クエリ画像処理装置であって、このクエリ画像処理装置は、クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを、前記検索サーバ装置に送信するクエリ画像処理装置側通信部とを備えた構成を有している。

この構成によっても、局所画像特徴量が抽出された特徴点の位置情報が粗量子化されるので、特徴点データの全体のデータ量に占める位置情報のデータ量の割合を小さくできる。

本発明の別の態様は、クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける前記検索サーバ装置であって、この検索サーバ装置は、前記クエリ画像処理装置から、クエリ画像中の複数の特徴点の局所画像特徴量及び位置情報を含む特徴点データを受信する通信部、と、複数の参照画像中の複数の特徴点の局所画像特徴量及び粗量子化された位置情報を関連付けて保存する画像保存部と、前記クエリ画像の前記局所画像特徴量と前記参照画像の特徴点の前記局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部と、前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部とを備え、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を、前記クエリ画像に対応する対応画像であると判定する構成を有している。

この構成によっても、特徴点の局所画像特徴量及び位置情報を含む特徴点データ用いて、大量の参照画像の中からクエリ画像に対応する対応画像を検索する場合に、当該参照画像の特徴点データを保存するためのストレージの容量を抑えることができ、あるいは、限られた容量のストレージにより多くの参照画像の特徴点データを保存できる。

本発明の別の態様は、クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける画像検索方法であって、この画像検索方法は、前記クエリ画像処理装置にて実行される、クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出ステップと、前記特徴点の位置情報を粗量子化する特徴点位置粗量子化ステップと、前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信ステップと、前記検索サーバ装置にて実行される、前記特徴点データを受信する検索サーバ装置側通信ステップと、受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索ステップとを含む。

この構成によっても、局所画像特徴量が抽出された特徴点の位置情報が粗量子化されるので、特徴点データの全体のデータ量に占める位置情報のデータ量の割合を小さくできる。

本発明の別の態様は、クエリ画像処理プログラムであって、このクエリ画像処理プログラムは、コンピュータを、クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部、前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部、及び前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを、検索サーバ装置に送信する通信部、として機能させる。

この構成によっても、局所画像特徴量が抽出された特徴点の位置情報が粗量子化されるので、特徴点データの全体のデータ量に占める位置情報のデータ量の割合を小さくできる。

本発明の別の態様は、検索サーバプログラムであって、この検索サーバプログラムは、複数の参照画像中の複数の特徴点の局所画像特徴量及び粗量子化された位置情報を関連付けて保存する画像保存部を含むコンピュータを、クエリ画像処理装置から、クエリ画像中の複数の特徴点の局所画像特徴量及び位置情報を含む特徴点データを受信する通信部、前記クエリ画像の前記局所画像特徴量と前記参照画像の特徴点の前記局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部、及び前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部として機能させ、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を、前記クエリ画像に対応する対応画像であると判定する。

この構成によっても、特徴点の局所画像特徴量及び位置情報を含む特徴点データ用いて、大量の参照画像の中からクエリ画像に対応する対応画像を検索する場合に、当該参照画像の特徴点データを保存するためのストレージの容量を抑えることができ、あるいは、限られた容量のストレージにより多くの参照画像の特徴点データを保存できる。

本発明によれば、局所画像特徴量が抽出された特徴点の位置情報が粗量子化されるので、位置情報のデータ量の割合を小さくでき、それによって画像検索に用いるデータの量を抑えることができる。

本発明の実施の形態における画像検索システムの構成を示すブロック図 本発明の実施の形態における特徴点データ生成部の構成を示すブロック図 本発明の実施の形態における比較マッチングの例を示す図 本発明の実施の形態における変換行列の算出のフロー図

以下、本発明の実施の形態の画像検索システムについて、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施の形態の画像検索システムの構成を示す図である。画像検索システム１００は、クエリ画像処理装置１０と、検索サーバ装置２０とがネットワークＮＷを介して通信可能に接続されている。ネットワークＮＷの一部は無線であってよい。クエリ画像処理装置１０は携帯情報端末であってよく、アプリケーションが実行されることで図１に示す構成が実現されてもよい。

クエリ画像処理装置１０は、検索したい画像を撮影して、それをクエリ画像として検索サーバ装置２０に送信するとともに、検索サーバ装置２０から当該クエリ画像に関連する関連情報を取得する装置である。検索サーバ装置２０は、クエリ画像処理装置１０からクエリ画像を受信すると、そのクエリ画像に含まれる被写体に対応する被写体を含む画像を検索して、検索された画像及び／又は検索された画像に関連付けられた関連情報を当該クエリ画像に関する情報としてクエリ画像処理装置１０に返信する装置である。

画像検索システム１００は、検索サーバ装置２０に保存する画像及びそれに付随させる関連情報の如何によって様々な応用が可能である。本実施の形態では、画像検索システム１００がポスター検索をするためシステムとして応用されている例を説明する。即ち、検索サーバ装置２０には、検索対象画像として複数のポスターの画像が保存されており、かつ、各ポスターの画像には当該ポスターに関連する関連情報が付随している。ユーザは、クエリ画像処理装置１０にてポスターの画像を撮影して、そのデータを検索サーバ装置２０に送ると、検索サーバ装置２０では、当該撮影されたポスターの画像に対応する画像が検索され、検索された画像及びそれに付随する関連情報がクエリ画像処理装置１０に返信される。

なお、画像検索システム１００の応用例はこれに限られない。例えば、検索サーバ装置２０に大量の書籍の表表紙の画像を保存しておき、各保存画像に関連情報として各書籍のユーザレビュー、購入のための情報、関連する他の書籍等の情報を付随しておくことで、画像検索システム１００を書籍検索システムとして応用できる。また、検索サーバ装置２０に観光地に特有の建造物等の画像と、関連情報としてその建造物の解説を保存しておくことで、画像検索システム１００を観光地案内システムとして応用できる。さらに、検索サーバ装置２０に野鳥の画像と、関連情報としてその野鳥の解説を記載したウェブページのＵＲＬを保存しておくことで、画像検索システム１００を野鳥検索システムとして応用できる。

クエリ画像処理装置１０は、撮像部１１と、特徴点データ生成部１２と、通信部１３と、通信状態測定部１４と、粗量子化レベル決定部１５とを備えている。撮像部１１は、光学系、撮像素子、信号処理回路等からなる一般的なカメラユニットである。撮像部１１は光学系を通して、被写体を撮影し、信号処理回路から特徴点データ生成部１２に画像信号（以下単に「画像」という。）を出力する。

図２は、特徴点データ生成部１２の構成を示すブロック図である。特徴点データ生成部１２は、特徴点検出部３１と、局所画像特徴量抽出部３２と、バイナリ変換部３３と、特徴点位置粗量子化部３４と、データ合成部３５とを備えている。撮像部１１（図１参照）にて撮影によって生成された画像は特徴点検出部３１に入力される。

特徴点検出部３１は、入力画像から特徴点を検出する。特徴点検出部３１は、画像からエッジを抽出してエッジ画像を生成し、そのエッジ画像から特徴点を検出する。特徴点を検出するアルゴリズムとして、既存の任意のものを採用できる。また、特徴点検出部３１は、入力画像のサイズも検出する。特徴点検出部３１は、検出したすべての特徴点について、特徴点を識別する情報、画像サイズ、及び画像内での特徴点の位置の情報を含む特徴点情報を局所画像特徴量抽出部３２及び特徴点位置粗量子化部３４に出力する。なお、特徴点の位置の情報は、特徴点のＸ座標及びＹ座標であり、Ｘ座標及びＹ座標の値は入力画像の１画素を１単位とする。特徴点は２つの直線の交点のような決定の仕方をするので、そのＸ座標及びＹ座標は、それぞれ一般的には整数とはならず、単精度実数（３２ビット）になる。なお、位置情報のＸ座標及びＹ座標は、倍精度実数（６４ビット）のデータあるいはそれ以上の精度の実数型で得られてもよい。

局所画像特徴量抽出部３２は、特徴点検出部３１にて検出された各特徴点の局所画像特徴量を抽出する。局所画像特徴量を抽出する方法としては、既知の技術を用いることが可能であり、例えば、局所画像特徴量を１２８次元のベクトルとして算出する方法として、ＳＩＦＴ特徴量を利用する方法（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110. 参照）などを用いることができる。局所画像特徴量抽出部３２において、局所画像特徴量は、単精度実数のベクトルとして求められる。局所画像特徴量抽出部３２は、各特徴点について、その識別情報とともに、抽出された局所画像特徴量をバイナリ変換部３３に出力する。

バイナリ変換部３３は、検出されたすべての特徴点について、それらの局所画像特徴量をバイナリコードに変換する。局所画像特徴量抽出部３２にて抽出された局所画像特徴量は１２８次元のベクトルｖ∈Ｒ¹²⁸であるので、バイナリ変換部３３は、この局所画像特徴量を下式（１）でバイナリコードに変換する。

但し、式（１）において、ｄは、変換後のバイナリコードのサイズ（即ちビット数）であり、ｓｇｎ関数は、下式（２）で与えられる。

また、ベクトルｗ_kは、１２８次元における半径１の超球上の点から、一様分布に従ってランダムサンプリングをして得られるベクトルである。ｗ_k（ｋ＝１，……ｄ）は、１２８行ｄ列の行列として表現できる。本実施の形態では、バイナリコードのビット長を１２８ビットとし、即ちｄ＝１２８とする。バイナリ変換部３３は、各特徴点について、その識別情報とともに、バイナリコードに変換された局所画像特徴量をデータ合成部３５に出力する。

特徴点位置粗量子化部３４は、特徴点検出部３１にて検出された各特徴点の位置情報を粗量子化する。粗量子化のレベル（粒度）は、粗量子化レベル決定部１５（図１参照）によって指定される。粗量子化レベルの決定方法については、後述する。上述のように、特徴点の位置座標は、単精度実数で与えられている。特徴点位置粗量子化部３４は、その特徴点のＸ座標及びＹ座標の値を入力画像の幅及び高さでそれぞれ除算した実数値を指定された粗量子化レベルで粗量子化する。

例えば、入力画像の画像サイズが、３２０×２４０であり、ある特徴点の位置座標が（２１．５６８９８７・・・， ３７．９０８３２５・・・）であり、かつ、粗量子化レベルが２５６（８ビット）であるとすると、Ｘ座標の２１．５６８９８７・・・は、２１．５６８９８７・・・×（２５６／３２０）＝１７．２５・・・となり、Ｙ座標の３７．９０８３２５・・・は、３７．９０８３２５・・・×（２５６／２４０）＝４０．４３・・・となるので、粗量子化された特徴点の位置座標は（１７， ４０）となる。粗量子化された特徴点の位置情報のデータ量は、Ｘ座標、Ｙ座標がそれぞれ８ビット（１バイト）であるので、全体として１６ビット（２バイト）となる。なお、粗量子化レベルを調整することで、特徴点位置粗量子化部３４は、Ｘ座標、Ｙ座標がそれぞれ１６ビット（２バイト）となるように特徴点の位置情報を粗量子化してもよい。

特徴点位置粗量子化部３４は、各特徴点について、特徴点の識別情報と、入力画像の画像サイズと、粗量子化レベルと、粗量子化された特徴点の位置座標とをデータ合成部３５に出力する。データ合成部３５は、識別情報が同一である特徴点について、バイナリ変換部３３にて生成された局所画像特徴量に対して、特徴点位置粗量子化部３４で得られた入力画像の画像サイズと、粗量子化レベルと、粗量子化された特徴点の位置座標とを付随情報として付随させて、特徴点データを生成する。このようにしてデータ合成部３５にて生成された特徴点データは、通信部１３（図１参照）に出力される。

図１に戻って、画像検索システム１００の説明を続ける。通信部１３は、ネットワークＮＷを介して特徴点データ生成部１２で生成されたクエリ画像の複数の特徴点データを検索サーバ装置２０に送信する。

なお、以上の撮像部１１、特徴点データ生成部１２、及び通信部１３による一連の処理は、撮像部１１でレリーズ操作が行われたタイミングで、それによって生成された１つの画像について行ってもよいし、過去に撮像部１１にて生成された画像が図示しないストレージに保存されており、ユーザが保存された画像を選択して指示することで、特徴点データ生成部１２及び通信部１３による上述の処理がなされてもよい。また、撮像部１１で連続的にプレビュー動画が生成され、そのプレビュー動画の各フレーム画像について、特徴点データ生成部１２及び通信部１３による上述の処理が順次なされてもよい。

通信状態測定部１４は、通信部１３による通信状態を測定する。ここで、通信状態は、クエリ画像処理装置１０が無線端末である場合には、受信電界強度であってよい。また、通信状態は、通信速度又は回線速度であってもよい。

粗量子化レベル決定部１５は、通信状態測定部１４にて測定された通信状態に応じて粗量子化レベルを決定する。具体的には、粗量子化レベル決定部１５は、通信状態が悪いほど粗量子化レベルを小さくし、通信状態が良いほど粗量子化レベルを大きくする。粗量子化レベルは、特徴点の位置情報（Ｘ座標及びＹ座標）を何段階で表現するかを示す情報である。粗量子化レベル決定部１５は、決定した粗量子化レベルを特徴点データ生成部１２の特徴点位置粗量子化部３４に出力する。

次に、検索サーバ装置２０について説明する。検索サーバ装置２０は、参照画像のデータベースを構築するための構成として、参照画像取得部２１、特徴点データ生成部２２、及び画像データベース２３を備えている。参照画像取得部２１は、画像データベース２３に保存すべき画像を取得する。参照画像取得部２１は、通信部２４を介して外部から参照画像を取得してよく、あるいは他の方法によって参照画像を取得してよい。

特徴点データ生成部２２は、参照画像取得部２１にて取得された画像を入力して、各画像に含まれる複数の特徴点について特徴点データを生成する。その構成は図２を用いて説明したクエリ画像処理装置１０の特徴点データ生成部１２の構成と同じである。但し、特徴点位置粗量子化部３４で採用する粗量子化レベルは固定であってよく、ユーザによって指定されてよく、又は他の何らかの手段によって指定されてもよい。特徴点データ生成部２２にて生成された特徴点データは、画像データベース２３に保存される。

画像データベース２３には、各参照画像について、その画像データ、特徴点データ、及び関連情報のデータが関連付けられて記憶されている。なお、画像データ及び関連情報データは、別の保存手段に保存され、識別情報等によって画像データベース２３に保存された特徴点データと紐付けられていてもよい。

ここで、関連情報とは、画像検索の結果の一つとしてクエリ画像処理装置１０に返信される情報である。本実施の形態の画像検索システム１００は、上述のようにポスター画像を検索するものであり、関連情報としては、そのポスターによる告知の詳細内容ないし、そのような詳細内容を掲示したウェブサイトへのアクセス方法（ＵＲＬ等）が含まれる。即ち、クエリ画像処理装置１０のユーザは、例えば、街中であるポスターを見かけたときに、そのポスターを撮影して検索サーバ装置２０に詳細内容をリクエストすると、検索サーバ装置２０は、その撮影画像に対応する参照画像を検索して、検出された参照画像に関連付けられた関連情報をユーザに返信する。これによって、ユーザは、撮影したポスターの詳細内容を知ることができる。

検索サーバ装置２０は、さらに画像検索を行うための構成として、通信部２４、比較マッチング部２５、位置情報変換部２６、変換行列算出部２７、及び射影判定部２８を備えている。比較マッチング部２５、位置情報変換部２６、変換行列算出部２７、及び射影判定部２８からなる構成は、画像検索部に相当する。通信部２４は、クエリ画像処理装置１０から送信されてきた特徴点データを受信する。

比較マッチング部２５は、通信部２４にて受信した特徴点データと、保存されているすべての参照画像のすべての特徴点データとを比較して、その一致度を示すマッチングスコアを算出する。クエリ画像及び参照画像の局所画像特徴量はいずれも同じビット数にバイナリコード化されているので、それらのハミング距離を計算することで高速に一致度を計算できる。比較マッチング部２５は、バイナリコードの一致度の評価にハミング距離を採用する。

比較マッチング部２５は、特徴点の位置に関わらず、一致度が最も高い特徴点の組、換言すれば局所画像特徴量の差が最も小さい特徴点の組を対応点としてカウントする。こうすることで、クエリ画像のすべての特徴点がいずれかの参照画像のいずれかの特徴点と対応すると判断され、即ちクエリ画像のすべての特徴点がいずれかの参照画像に投票されることになる。

図３は、比較マッチング部２５における比較マッチングの例を示す図である。図３の例では、クエリ画像Ｃから１１個の特徴点が検出されてその局所画像特徴量が抽出され、参照画像Ｒ１〜Ｒ４において、それぞれ図３に示す特徴点が検出されてその局所画像特徴量が抽出されている。なお、実際には１つの画像からは数百の特徴点が検出されるが、図３では説明の簡略化のために一部の特徴点のみを示している。

図３において、一致度が最も高い特徴点（以下単に「対応点」という。）の組を線で連結して示している。図３の例では、対応点は、参照画像Ｒ１〜Ｒ３から、それぞれ５点、２点、４点検出され、参照画像Ｒ４からは対応点は検出されていない。比較マッチング部２５は、対応点の数が所定の数以上の画像を対応画像候補として検出する。図３の例では、比較マッチング部２５は、対応点の数が３以上である参照画像を対応画像候補として検出する。その結果、参照画像Ｒ１及びＲ３が対応画像候補として検出される。

これらの対応画像候補の対応点について、後段の処理で、位置情報も対応しており、真の対応点であるか否かの判定がされ、位置情報も対応していると判定された対応点の数が最も多い参照画像を、クエリ画像の対応画像であると決定する。以下、位置情報が対応しているか否かの判定をする構成を説明する。

位置情報変換部２６は、比較マッチング部２５から取得したクエリ画像及び対応画像候補の特徴点の位置情報を変換する。位置情報変換部２６は、特徴点位置粗量子化部３４にて行った位置情報の粗量子化と逆の処理を行うことで位置情報を変換する。このとき、位置情報変換部２６は、画像に付随している情報のうち、画像サイズ及び粗量子化レベルの情報を用いて、粗量子化された特徴点の位置情報を変換する。

上述の例では、粗量子化された特徴点の位置座標は（１７， ４０）であり、画像サイズが３２０×２４０であり、粗量子化レベルは２５６である。この例では、変換後の位置のＸ座標は（１７×（３２０／２５６）＝）２２．２５００であり、Ｙ座標は（４０×（２４０／２５６）＝）３７．５０００であり、変換後の位置座標は（２２．２５００，３７．５０００）となる。なお、もとの座標は（２１．５６８９８７・・・， ３７．９０８３２５・・・）であるので、粗量子化及びその後の復元による若干の誤差は生じるが、位置の一致を判定する際の許容誤差をこの誤差より十分に大きくとれば問題はない。

このようにしてクエリ画像及び対応画像候補のすべての対応点の位置情報が変換されると、変換行列算出部２７は、対応画像候補ごとに、対応点を射影するための変換行列を算出する。具体的には、変換行列算出部２７は、ＲＡＮＳＡＣ法を用いて、変換行列としてホモグラフィ行列を算出する。具体的には以下のとおりである。

図４は、変換行列算出部２７における変換行列の算出のフロー図である。変換行列算出部２７は、対応画像候補ごとに、図４のフロー図の処理を行い、対応画像候補ごとに変換行列を求める。いま、クエリ画像とある対応画像候補との間に対応点がｎ組あるとし、クエリ画像の対応点をａ_i（ｘ_i，ｙ_i）、対応画像候補の対応点をＡ_i（Ｘ_i，Ｙ_i）とする（ｉ＝１〜ｎ）。このとき、被写体が２次元平面であると仮定すると、以下の（３）を満たす変換行列Ｈが存在する。

（３）を展開すると、以下の（４）が得られる。

（４）においてｗを消去すると以下の（５）の連立方程式が得られる。

１組の対応点の組について、上記の（５）の２つの連立方程式が得られることから、４組の対応点の組があれば８つの連立方程式が得られ、これを解くことで変換行列Ｈに含まれる８つの要素（ｈ₁₁、ｈ₁₂、ｈ₁₃、ｈ₂₁、ｈ₂₂、ｈ₂₃、ｈ₃₁、ｈ₃₂）を求めることができる。

そこで、変換行列算出部２７は、クエリ画像と対応画像候補との間のｎ組の対応点から任意の４組の対応点を選択して、上記のとおりに変換行列Ｈを求める（ステップＳ４１）。次に、変換行列算出部２７は、この変換行列Ｈを用いて、ｎ組のすべての対応点の組について、射影誤差を求める（ステップＳ４２）。具体的には、以下の（６）によって、各対応点の組の射影誤差ｅ_iを算出する。

次に、変換行列算出部２７は、各対応点について、各射影誤差ｅ_iが所定の閾値（許容誤差）より小さいインライア（ｉｎｌｉｅｒ）か、各射影誤差ｅ_iが所定の閾値以上であってアウトライア（ｏｕｔｌｉｅｒ、外れ値）であるかを判定し、インライアの総数をカウントし、インライアの総数が増加したか否かを判断する（ステップＳ４３）。インライアの総数が増加したときは（ステップＳ４３でＹＥＳ）、そのときの変換行列Ｈで、変換行列Ｈを更新する（ステップＳ４４）。インライアの総数が増加していないときは（ステップＳ４３でＮＯ）、変換行列Ｈは更新しない。

次に、ステップＳ４１〜４４の処理が規定回数に達しているかを判断し（ステップＳ４５）、達していなければ（ステップＳ４５にてＮＯ）、ステップＳ４１〜Ｓ４３を繰り返す。規定回数に達した場合には（ステップＳ４５にてＹＥＳ）、そのときの変換行列Ｈを、クエリ画像を当該対応画像候補に変換するための変換行列と決定して出力する（ステップＳ４６）。

射影判定部２８は、変換行列算出部２７にて各対応画像候補について決定された変換行列Ｈでもって対応画像候補のすべての対応点を射影して、クエリ画像の対応点との間の射影誤差を求める。各対応点について、射影誤差が所定の閾値（許容誤差）より小さい（インライア）か、射影誤差が所定の閾値以上である（アウトライア）であるかを判定し、インライアの総数を最終的な対応点の数とする。インライアの対応点の組は、即ち幾何的整合性を満足する対応点の組である。射影判定部２８は、このような処理をすべての対応画像候補について行って、最終的な対応点が最も多い対応画像候補を、クエリ画像中の被写体と同じ被写体を含む対応画像であると判定する。

射影判定部２８は、対応画像であると判定した参照画像に関連付けられた関連情報を画像データベース２３から読み出して、通信部２４に出力する。通信部２４は、クエリ画像処理装置１０に関連情報を送信する。これによって、クエリ画像処理装置１０のユーザは、自らが撮影した被写体に関する関連情報を検索サーバ装置２０から取得できる。

以上説明したとおり、本実施の形態では、クエリ画像のデータを送信してクエリ画像に関する関連情報を受信するクエリ画像処理装置１０、及びクエリ画像を受信してその対応画像を検索し、対応画像に関連付けられた関連情報をクエリ画像処理装置１０に返信する検索サーバ装置２０において、局所画像特徴量を抽出した特徴点の位置情報の粗量子化してデータ量を削減する構成を採用している。

クエリ画像処理装置１０にて特徴点の位置情報のデータ量を削減することで、通信遅延を軽減ないし防止し、通信に係るコストを削減できるという利点がある。例えば、画像１枚あたり平均５００点の特徴点が検出されるとし、その回線速度が１Ｍｂｐｓであるとすると、画像１枚のすべての特徴点データを送信するのに要する時間は、データを圧縮しないとすると、（５００×（１２８×４＋４＋８＋４）／１２５０００＝）約２秒となり、局所画像特徴量のみをバイナリコードに変換して圧縮した場合は約０．０８秒となり、さらに特徴点の位置情報を粗量子化して圧縮した場合は約０．０２秒となる。

また、検索サーバ装置２０にて特徴点の位置情報のデータ量を削減することで、大量の参照画像を保存しておくための保存ストレージの容量を小さくでき、あるいは、限られた容量の保存ストレージにより多くの参照画像を保存できるという利点がある。例えば、１０００枚の参照画像について、それぞれ５００点の特徴点が検出され、画像１枚あたり平均５００点の特徴点が検出されると、１０００枚の参照画像の特徴点データの保存に必要な容量は、（１０００×５００×（１２８×４＋４＋８＋４）＝）２６４Ｍバイトとなり、局所画像特徴量のみをバイナリコードに変換して圧縮した場合は、（１０００×５００×（４＋４＋８＋４）＝）１０Ｍバイトとなり、さらに特徴点の位置情報を粗量子化して圧縮した場合は（１０００×５００×（４＋２）＝）３Ｍバイトとなる。

以上のように、クエリ画像処理装置１０及び検索サーバ装置２０のそれぞれにおいて、局所画像特徴量を抽出した特徴点の位置情報の粗量子化してデータ量を削減する構成を採用したことによる効果が得られるので、クエリ画像処理装置１０及び検索サーバ装置２０のいずれか一方のみが局所画像特徴量を抽出した特徴点の位置情報の粗量子化してデータ量を削減する構成を採用してもよい。また、本願発明者らの実験によって、少なくとも上記のように位置情報を粗量子化下場合にも、対応画像の検索結果に影響が出ないことが確認された。

なお、検索サーバ装置２０は、最終的な対応点が最も多い参照画像を対応画像と判定するだけでなく、最終的な対応点の数が２番目、３番目、・・・に多い参照画像についても、最終的な対応点が最も多い参照画像とともに、又はクエリ画像処理装置１０からのリクエストに応じて、関連情報を画像データベース２３から読み出してクエリ画像処理装置１０に送信してよい。

また、上記の実施の形態では、比較マッチング部２５において対応点が所定の数以上ある参照画像のみを対応画像候補として、位置情報のマッチングを行って、最終的な対応点を求めたが、対応点を少なくとも１つ含むすべての参照画像を対応画像候補としてもよい。

また、上記の実施の形態では、比較マッチング部２５は、局所画像特徴量の差が最も小さい特徴点の組を対応点としてカウントしたが、比較マッチングの方法はこれに限られない。例えば、比較マッチング部２５は、クエリ画像Ｃのすべての特徴点の局所画像特徴量と、参照画像Ｒ１〜Ｒ４に含まれるすべての特徴点の局所画像特徴量とを比較し、その一致度が所定の閾値を上回る特徴点の組、即ち局所画像特徴量の差が所定の誤差範囲内にある特徴点の組を検出してもよい。なお、この場合には、クエリ画像の各特徴点は、複数の参照画像に投票されることがあり、また、いずれの参照画像にも投票されないこともある。

また、上記の実施の形態において、粗量子化レベル決定部１５は、画像サイズに応じて粗量子化レベルを決定してもよい。この場合に、粗量子化レベルが画像サイズと同じであってもよい。即ち、特徴点位置粗量子部３４は、特徴点検出部３１にて実数で得られた特徴点位置のＸ座標及びＹ座標を切り下げ、四捨五入、又は切り上げによって整数にすることで特徴点位置を粗量子化してよい。例えば、上記の実施の形態で説明したように特徴点の位置座標が（２１．５６８９８７・・・， ３７．９０８３２５・・・）である場合には、特徴点位置粗量子化部３４は、これを四捨五入して、粗量子化された特徴点の位置座標（２２，３８）としてもよい。

また、粗量子化レベル決定部１５は、クエリ画像処理装置１０における処理状態、具体的にはメモリの利用可能容量、及び／又は計算速度（演算処理装置の利用率）を検出して、その検出値に基づいて決定されてもよい。

また、上記の実施の形態では、変換行列Ｈは、参照画像の特徴点を射影する行列であり、参照画像の特徴点を変換行列Ｈで射影して、クエリ画像の対応する特徴点との射影誤差を評価したが、逆に、クエリ画像の特徴点を参照画像の特徴点に射影する行列を変換行列として、クエリ画像の特徴点を変換行列で射影して、参照画像の対応する特徴点との射影誤差を評価してもよい。

本発明は、局所画像特徴量が抽出された特徴点の位置情報が粗量子化されるので、位置情報のデータ量の割合を小さくでき、それによって画像検索に用いるデータの量を抑えることができるという効果を有し、大量の参照画像の中からクエリ画像に対応する対応画像を検索する検索システム及び画像検索方法等として有用である。

１００ 画像検索システム
１０ クエリ画像処理装置
１１ 撮像部
１２ 特徴点データ生成部
１３ 通信部
１４ 通信状態測定部
１５ 粗量子化レベル決定部
２０ 検索サーバ装置
２１ 参照画像取得部
２２ 特徴点データ生成部
２３ 画像データベース
２４ 通信部
２５ 比較マッチング部
２６ 位置情報変換部
２７ 変換行列算出部
２８ 射影判定部
３１ 特徴点検出部
３２ 局所画像特徴量抽出部
３３ バイナリ変換部
３４ 特徴点位置粗量子化部
３５ データ合成部

Claims (19)

1. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムであって、
   前記クエリ画像処理装置は、
   クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、
   前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、
   前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信部と、
   を備え、
   前記検索サーバ装置は、
   前記特徴点データを受信する検索サーバ装置側通信部と、
   受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索部と、
   を備え、
   前記画像検索部は、粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換部をさらに備えたことを特徴とする画像検索システム。
2. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムであって、
   前記クエリ画像処理装置は、
   クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、
   前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、
   前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信部と、
   を備え、
   前記検索サーバ装置は、
   前記特徴点データを受信する検索サーバ装置側通信部と、
   受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索部と、
   を備え、
   前記特徴点位置粗量子化部は、前記粗量子化を行う際の粗量子化レベルを変更可能であることを特徴とする画像検索システム。
3. 前記特徴点位置粗量子化部は、前記クエリ画像処理装置側通信部の通信状態に応じて前記粗量子化レベルを変更することを特徴とする請求項２に記載の画像検索システム。
4. 前記特徴点位置粗量子化部は、前記クエリ画像処理装置の処理状態に応じて前記粗量子化レベルを変更することを特徴とする請求項２に記載の画像検索システム。
5. 前記特徴点位置粗量子化部は、前記クエリ画像の画像サイズに応じて前記粗量子化レベルを変更することを特徴とする請求項２に記載の画像検索システム。
6. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムであって、
   前記クエリ画像処理装置は、
   クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、
   前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、
   前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信部と、
   を備え、
   前記検索サーバ装置は、
   前記特徴点データを受信する検索サーバ装置側通信部と、
   受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索部と、
   を備え、
   前記特徴点位置粗量子化部は、前記特徴点の位置情報を２バイトのデータ量になるように粗量子化することを特徴とする画像検索システム。
7. 前記検索サーバ装置は、前記複数の参照画像中の複数の特徴点の局所画像特徴量及び位置情報を関連付けて保存する画像保存部をさらに備え、
   前記画像検索部は、
   前記クエリ画像の前記局所画像特徴量と前記参照画像の前記特徴点の局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部と、
   前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部と、
   を備え、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を前記対応画像とすることを特徴とする請求項１ないし６のいずれか一項に記載の画像検索システム。
8. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムであって、
   前記クエリ画像処理装置は、クエリ画像中の複数の特徴点の局所画像特徴量及び位置情報を含む特徴点データを送信するクエリ画像処理装置側通信部を備え、
   前記検索サーバ装置は、
   前記特徴点データを受信する検索サーバ装置側通信部と、
   複数の参照画像中の複数の特徴点の局所画像特徴量及び粗量子化された位置情報を関連付けて保存する画像保存部と、
   前記クエリ画像の前記局所画像特徴量と前記参照画像の特徴点の前記局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部と、
   前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部と、
   前記参照画像の粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換部と、
   を備え、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を、前記クエリ画像に対応する対応画像であると判定する
   ことを特徴とする画像検索システム。
9. 前記クエリ画像処理装置は、撮影によって前記クエリ画像を生成する撮像部をさらに備えた携帯情報端末であることを特徴とする請求項１ないし８のいずれか一項に記載の画像検索システム。
10. 前記検索サーバ装置側通信部は、前記対応画像及び／又は前記対応画像に関連付けられた関連情報を送信し、
    前記クエリ画像処理装置側通信部は、前記対応画像及び／又は前記関連情報を受信することを特徴とする請求項１ないし９のいずれか一項に記載の画像検索システム。
11. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける前記クエリ画像処理装置であって、
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを、前記検索サーバ装置に送信するクエリ画像処理装置側通信部と、
    を備え、
    前記特徴点位置粗量子化部は、前記粗量子化を行う際の粗量子化レベルを変更可能であることを特徴とするクエリ画像処理装置。
12. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける前記クエリ画像処理装置であって、
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部と、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部と、
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを、前記検索サーバ装置に送信するクエリ画像処理装置側通信部と、
    を備え、
    前記特徴点位置粗量子化部は、前記特徴点の位置情報を２バイトのデータ量になるように粗量子化することを特徴とするクエリ画像処理装置。
13. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける前記検索サーバ装置であって、
    前記クエリ画像処理装置から、クエリ画像中の複数の特徴点の局所画像特徴量及び位置情報を含む特徴点データを受信する通信部、と、
    複数の参照画像中の複数の特徴点の局所画像特徴量及び粗量子化された位置情報を関連付けて保存する画像保存部と、
    前記クエリ画像の前記局所画像特徴量と前記参照画像の特徴点の前記局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部と、
    前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部と、
    前記参照画像の粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換部と、
    を備え、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を、前記クエリ画像に対応する対応画像であると判定することを特徴とする検索サーバ装置。
14. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける画像検索方法であって、
    前記クエリ画像処理装置にて実行される
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出ステップと、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化ステップと、
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信ステップと、
    前記検索サーバ装置にて実行される
    前記特徴点データを受信する検索サーバ装置側通信ステップと、
    受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索ステップと、
    を含み、
    前記画像検索ステップは、粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換ステップを含むことを特徴とする画像検索方法。
15. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける画像検索方法であって、
    前記クエリ画像処理装置にて実行される
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出ステップと、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化ステップと、
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信ステップと、
    前記検索サーバ装置にて実行される
    前記特徴点データを受信する検索サーバ装置側通信ステップと、
    受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索ステップと、
    を含み、
    前記特徴点位置粗量子化部は、前記粗量子化を行う際の粗量子化レベルを変更可能であることを特徴とする画像検索方法。
16. クエリ画像処理装置と検索サーバ装置とからなる画像検索システムにおける画像検索方法であって、
    前記クエリ画像処理装置にて実行される
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出ステップと、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化ステップと、
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを送信するクエリ画像処理装置側通信ステップと、
    前記検索サーバ装置にて実行される
    前記特徴点データを受信する検索サーバ装置側通信ステップと、
    受信した前記特徴点データに含まれる前記局所画像特徴量及び前記位置情報を用いて、複数の参照画像から、前記クエリ画像に対応する対応画像を検索する画像検索ステップと、
    を含み、
    前記特徴点位置粗量子化ステップは、前記特徴点の位置情報を２バイトのデータ量になるように粗量子化することを特徴とする画像検索方法。
17. コンピュータを、
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部、及び
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを、検索サーバ装置に送信する通信部、
    として機能させ、
    前記特徴点位置粗量子化部は、前記粗量子化を行う際の粗量子化レベルを変更可能であるクエリ画像処理プログラム。
18. コンピュータを、
    クエリ画像中の複数の特徴点の局所画像特徴量を抽出する局所画像特徴量抽出部、
    前記特徴点の位置情報を粗量子化する特徴点位置粗量子化部、及び
    前記局所画像特徴量と粗量子化された前記位置情報とを含む特徴点データを、検索サーバ装置に送信する通信部、
    として機能させ、
    前記特徴点位置粗量子化部は、前記特徴点の位置情報を２バイトのデータ量になるように粗量子化するクエリ画像処理プログラム。
19. 複数の参照画像中の複数の特徴点の局所画像特徴量及び粗量子化された位置情報を関連付けて保存する画像保存部を含むコンピュータを、
    クエリ画像処理装置から、クエリ画像中の複数の特徴点の局所画像特徴量及び位置情報を含む特徴点データを受信する通信部、
    前記クエリ画像の前記局所画像特徴量と前記参照画像の特徴点の前記局所画像特徴量とを比較することにより、互いに対応する特徴点の組を求める比較マッチング部、
    前記クエリ画像の前記位置情報及び前記参照画像の前記位置情報のいずれか一方を他方に射影することにより、互いに対応する特徴点の組を求める射影判定部、及び
    前記参照画像の粗量子化された前記位置情報を元の画像サイズの位置情報に変換する位置情報変換部、
    として機能させ、前記比較マッチング部にて対応すると判断され、かつ、前記射影判定部にて対応すると判断された特徴点を最も多く含む前記参照画像を、前記クエリ画像に対応する対応画像であると判定することを特徴とする検索サーバプログラム。

Images