JP6482505B2 - 検証装置、方法、及びプログラム - Google Patents

Description

本発明は、検証装置、方法、及びプログラムに係り、特に、２枚の画像の各々に規定された部分領域間の対応の適否を検証する検証装置、方法、及びプログラムに関する。

近年、画像認識技術の進展が目覚ましい。これまでは、顔・指紋認証やファクトリーオートメーション等、認識する対象や環境が限定されている利用領域が中心的であった。最近では、スマートフォン等の小型な撮像デバイスの普及に伴い、一般利用者が自由な場所や環境で、任意の対象を撮影したような自由撮影画像の認識に対する産業上の要請も増えてきている。実世界とウェブ世界の商品を相互につなぐO2Oサービスや、実環境に存在する様々なランドマークを認識して情報を提供する情報案内／ナビゲーションサービスなどへの期待は特に高い。

このような新たな用途に供される画像認識技術にはいくつかの形態がありうるが、代表的なものの一つが物体検索に基づく画像認識である。その典型的な手続きを、非特許文献１に記載の技術に従って概説する。まず、各々の画像の輝度値を解析することで、特徴的な部分領域を多数抽出し、各部分領域の特徴を実数値や整数値からなる特徴量ベクトルとして表現する（一般に局所特徴量などと呼ばれる）。次に、互いに異なる二つの画像に含まれる部分領域について特徴量ベクトル同士のユークリッド距離を測ることで、異なる画像間の部分領域同士の対応を取り、多数の対応が存在する画像ペアほど同一の物体が写っていると見做す。

物体検索に基づく画像認識では、事前に認識したい物体を撮影した画像（参照画像）のデータベースを構築する。物体検索によって、データベース内の参照画像のうち、撮影したクエリ画像と同一の物体が写っているものを検索することにより、クエリ画像中に存在する物体を特定することができるのである。

物体検索の最大の特徴の一つは、一枚の画像を一つ以上の部分領域（およびそれを記述する特徴量ベクトル）の集合として表現することである。一言で同一の物体が写った画像といっても、どの画像にも同じ位置や姿勢（部分領域の角度）、大きさで写っているわけではなく、画像によってさまざまな写り方で撮影されているのが普通である。まして、一般利用者が自由撮影したような画像においては、事前に物体の写り方を知ることは多くの場合ほぼ不可能である。然るに、画像を記述する特徴量ベクトルは、位置・姿勢・大きさに依らない不変性を持つことが望ましい。

画像一枚全体を一つのベクトルで表現するような大域的な特徴量では、望ましい不変性を得ることは難しい。例えば各ピクセルの色（RGB値）をベクトルに並べたものは、位置・姿勢・大きさいずれに対しても不変ではない。一方、一部の情報を抽象化したもの、例えば、色ヒストグラム等は、位置や姿勢に対する不変性は持ちうるが、大きさに対しては不変的ではない。また、物体の一部が欠けていたりする場合に対しても脆弱であるなど、精度が容易に低下しやすい。

一方、物体検索では、部分領域の集合によって画像を表現するが、この場合、各部分領域は画像中のどこに存在したとしても、部分領域としては同一となるから、位置に対して不変性を持っている。また、部分領域を記述する特徴量ベクトルとして、姿勢や大きさに対して不変性を持つものが発明されている。例えば非特許文献１に記載のScale Invariant Feature Transform (SIFT)が代表例である。

以上の通り、物体検索の典型的な手続きによれば、画像を一つ以上の部分領域の集合によって表現することで、位置・姿勢・大きさによらず、頑健に同一の物体を含む画像を検索することができるのである。

しかしながら、上記物体検索の手続きにも重大な問題がある。部分領域同士の対応は、異なる２枚の画像それぞれから抽出された部分領域の特徴量ベクトル間の距離に基づいて判定するが、現実的には、たとえ異なる物体同士であっても非常に近しい特徴量ベクトルが得られてしまうような場合が多い。この結果として、本来対応すべきではないような部分領域間での誤対応が発生し、異なる物体が検索されてしまうことがあるのである。

このような問題を鑑み、異なる物体が検索されてしまうことを防止することを目的として、部分領域同士の対応の適否を検証する検証技術が発明されてきている。

非特許文献１には、一般化ハフ変換に基づく検証方法が開示されている。同一の物体から得られた部分領域であれば、物体上の対応する部分領域間の位置・姿勢・大きさの変化は、撮影視点に依存して一貫性を持つという仮定に基づいて検証を実行する方法である。まず、異なる２枚の画像間で、特徴量ベクトル同士の実数値距離を計算して部分領域間の対応候補を得たのち、対応候補となった部分領域間の位置・姿勢・大きさの「ずれ」を求める。これらのずれは４次元の実数値、すなわち、部分領域の位置（画像上のx, y座標）、角度、および、部分領域の大きさ（スケール）の４つの量のずれとして求められる。この４次元のずれに基づいて、４次元ヒストグラムを構成したとすると、同一の物体から得られた対応する部分領域の集合は、部分領域の位置・姿勢・大きさについて一貫性を持ってずれているはずであるから、これらはヒストグラムのごく少数のビンに集中して分布することが想定される。したがって、頻度の高いビンに分布している対応候補のみを真に有効な対応であると見做し、それら以外を有効な対応ではないとして削除する。

特許文献１には、非特許文献１を改良した技術が開示されている。対応候補である部分領域の位置・姿勢・大きさのずれに基づいて対応の適否を判定することは同様であるが、特徴量ベクトルとしてアフィン不変局所特徴量を用いることによって、姿勢として３次元回転角度を考えている。結果として、非特許文献１の技術よりもさらに精細な検証を可能にしている。

非特許文献２には、異なるアプローチに基づく検証方法が開示されている。やはり、異なる画像間で部分領域同士の対応候補を得るまでは先の先行技術と同様であるが、この方法では、複数の対応候補を集合として見たときの部分領域の位置のずれが、特定の線形変換に拘束されているような対応候補のみを有効な対応であるとみなすことにより、有効ではない対応候補を削除する。

特開２０１５−９５１５６号公報

D.G.Lowe,"Distinctive Image Features from Scale-Invariant Keypoints ", International Journal of Computer Vision, pp.91-110, 2004 J. Philbin, O. Chum, M. Isard, Josef Sivic and Andrew Zisserman. Object retrieval with large vocabularies and fast spatial matching 1470-1477, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2007.

大局的にみれば、既存の発明は、まず特徴量ベクトル同士の高次元な実数値／整数値距離の計算に基づいて対応候補を得たのち、部分領域の位置のずれを精緻に解析することによって、対応候補の適否を検証している。このような方式による検証は、高精度ではあるものの、膨大な時間・空間計算量がかかるという問題があった。

すなわち、対応候補を得るには、ある画像に含まれる全ての特徴量ベクトルと、別の画像に含まれるそれらとの全ての高次元な実数値／整数値の距離を求める必要あるが、これには非常に多くの計算が必要となり、それだけ処理時間を要してしまう。また、参照画像データベースに存在する全ての画像について、各々から抽出された全ての実数値／整数値の高次元な実数値／整数値の特徴量ベクトルを記憶しておく必要があるため、HDD容量／メモリ量も膨大なものとなってしまう。

さらに、部分領域の位置（あるいは姿勢・大きさ）についても、これらは通常実数値で表現されるため、これらの精緻なずれを求める場合にもそれぞれ多数の実数値演算が必要となるし、また記憶にも相当の容量が必要となってしまう。

以上のように、現在に至るまで、高精度でありながら、時間・空間計算量的に効率的に対応の適否を検証できる検証技術は発明されていなかった。

本発明は、上記問題点を解決するために成されたものであり、実数値／整数値の特徴量ベクトルを低容量な符号に圧縮することにより、高精度かつ高効率に画像間の照合を可能にする検証装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る検証装置は、第一の画像に規定された一つ以上の部分領域の各々に関連づけられた、当該部分領域の少なくとも大きさを含む幾何情報及び特徴量ベクトルと、第二の画像に規定された一つ以上の部分領域の各々に関連づけられた前記幾何情報及び前記特徴量ベクトルとが入力された時に、前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応を求める検証装置であって、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求める特徴量符号化部と、前記第一の画像について求めたある前記特徴量符号と、前記第二の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルとの距離を求め、当該距離に基づいて、前記特徴量符号に対応する前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応候補を求める対応候補計算部と、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とする判定部と、を含んで構成されている。

また、第２の発明に係る検証装置において、前記幾何情報を一つ以上の離散値に量子化し、幾何情報符号を求める幾何情報符号化部を更に含み、前記判定部は、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とするようにしてもよい。

また、第３の発明に係る検証装置において、前記特徴量符号化部が、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルの各要素についてその正負に基づいて二値量子化することで求めた二値ベクトルを特徴量符号として求めるようにしてもよい。

また、第４の発明に係る検証装置において、前記判定部は、前記対応候補毎の前記幾何的関係に基づくヒストグラムを求め、前記ヒストグラムの頻度が高いビンに対応する前記対応候補が適当であると判定するようにしてもよい。

第５の発明に係る検証方法は、第一の画像に規定された一つ以上の部分領域の各々に関連づけられた、当該部分領域の少なくとも大きさを含む幾何情報及び特徴量ベクトルと、第二の画像に規定された一つ以上の部分領域の各々に関連づけられた前記幾何情報及び前記特徴量ベクトルとが入力された時に、前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応を求める検証装置における検証方法であって、特徴量符号化部が、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求めるステップと、対応候補計算部が、前記第一の画像について求めたある前記特徴量符号と、前記第二の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルとの距離を求め、当該距離に基づいて、前記特徴量符号に対応する前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応候補を求めるステップと、判定部が、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とするステップと、を含んで実行することを特徴とする。

また、第６の発明に係る検証装置において、幾何情報符号化部が、前記幾何情報を一つ以上の離散値に量子化し、幾何情報符号を求めるステップを更に含み、前記判定部が判定するステップは、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とするようにしてもよい。

また、第７の発明に係る検証装置において、前記特徴量符号化部が符号化するステップが、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルの各要素についてその正負に基づいて二値量子化することで求めた二値ベクトルを特徴量符号として求めるようにしてもよい。

第８の発明に係るプログラムは、コンピュータを、第１〜第４の発明に係る検証装置の各部として機能させるためのプログラムである。

本発明の検証装置、方法、及びプログラムによれば、第一の画像に規定された各々の部分領域に関連づけられた特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求め、求めたある特徴量符号と、第二の画像に規定された各々の部分領域に関連づけられた特徴量ベクトルとの距離を求め、当該距離に基づいて、特徴量符号に対応する第一の画像に規定された部分領域と、第二の画像に規定された部分領域との対応候補を求め、対応候補である第一の画像に規定された部分領域に関連づけられた幾何情報と、第二の画像に規定された部分領域に関連づけられた幾何情報との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とすることにより、高精度かつ高効率に画像間の照合を可能にする、という効果が得られる。

本発明の第１の実施の形態に係る検証装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る検証装置における検証処理ルーチンを示すフローチャートである。 二枚の画像の部分領域の幾何情報の幾何的関係を示す図。 二枚の画像の部分領域の幾何情報の幾何的関係を対比したテーブルを示す図。 本発明の第２の実施の形態に係る検証装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る検証装置における検証処理ルーチンを示すフローチャートである。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本実施の形態に係る検証装置は、参照画像に規定された一つ以上の部分領域の各々に関連づけられた、当該部分領域の少なくとも大きさを含む幾何情報及び特徴量ベクトルと、クエリ画像に規定された一つ以上の部分領域の各々に関連づけられた幾何情報及び特徴量ベクトルとが入力された時に、参照画像に規定された部分領域と、クエリ画像に規定された部分領域との対応を求める検証装置である。なお、第１の画像が参照画像に対応し、第２の画像がクエリ画像に対応する。

本発明の実施の形態では、２枚の画像のそれぞれから得られた部分領域間の対応候補を求める際に、特徴量ベクトルを量子化することによって、高次元の実数値／整数値距離を計算することなく、対応を検証することができるようになる。また、幾何情報を量子化することにより、より高効率な検証が可能となる。また、参照画像については、元の高次元な実数値／整数値特徴量ベクトルではなく、量子化した低容量な特徴量ベクトルのみを記憶しておけば検証を実行できるので、容量を低減することができる。加えて、本発明の実施の形態において用いる部分領域の幾何情報は、少なくとも部分領域の大きさのみを保持していればよいのであり、位置・姿勢・大きさなどの多次元の幾何情報を統合的かつ精緻に分析する必要は必ずしもない。結果的に、時間・空間双方の観点で、高効率に幾何検証を実行することが可能になる。

さらに、特徴量ベクトルの各要素が正負いずれであるかに基づいて量子化した場合、結果的に生成される符号であるところの二値ベクトルは、特徴量ベクトルの距離を測る上で重要な元の特徴量ベクトルの情報を精度よく保存することができる。また、時間・空間計算効率に影響の少ないクエリ画像については元の特徴量ベクトルをそのまま利用することで、量子化する情報を最小限に抑えている。結果として、精度を落とさず、高精度な検証が可能である。

＜本発明の第１の実施の形態に係る検証装置＞

以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。

＜＜第１の実施の形態の全体構成＞＞

図１は、本発明の第１の実施形態における検証装置１の構成の一例を示すブロック図である。図１に示す検証装置１は、特徴量符号化部１１と、対応候補計算部１２と、判定部１３とを備える。

検証装置１は、データベース２と通信手段を介して接続されて相互に情報通信し、任意の画像の情報をデータベース２に登録したり、読み出したりすることができる構成を採る。

ここでいう画像の情報には、少なくとも各画像の部分領域の幾何情報および特徴量ベクトルを含むものとし、これらは相互に関連づけられているものとする。画像の部分領域は、画像の一部領域であればどのように定められても構わない。好ましくは非特許文献１に記載のSIFTなど、公知の部分領域抽出方法によって規定する。

また、部分領域の幾何情報としては、部分領域の位置・姿勢・大きさなどの情報を含むものとするが、本発明の第１の実施形態の一例にあたっては少なくとも大きさが含まれていればよく、好ましくはさらに姿勢、位置も含んでいるものとする。部分領域の大きさについてはどのように定められていても構わないが、例えば部分領域を円形と見做した時の半径や、方形であると見做した時の長辺などに基づいて規定すればよい。大きさに限らず、姿勢や位置などについても、例えば非特許文献１に記載の方法等、適する公知の方法を選択して求めたものを利用することができる。

データベース２は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成できる。各画像それぞれを一意に識別可能な識別子（例えば、通し番号によるIDやユニークな画像ファイル名等）を与えるものとし、さらに、当該画像に規定された部分領域、並びに、特徴量ベクトル、あるいは特徴量符号ファイルを記述したファイルも、当該画像の識別子と関連づけて記憶しているものとする。あるいは、同様にRDBMS(Relational Database Management System）などで実装・構成されていても構わない。その他、メタデータとして、例えば画像の内容を表現するもの（画像のタイトル、概要文、又はキーワード等）、画像のフォーマットに関するもの（画像のデータ量、サムネイル等のサイズ）などを含んでいても構わないが、本発明の実施においては必須ではない。

データベース２は、検証装置１の内部にあっても外部にあっても構わず、通信手段は任意の公知ものを用いることができるが、本実施の形態においては、外部にあるものとして、通信手段は、インターネット、TCP/IP等のネットワーク（図示省略）により通信するよう接続されているものとする。

また、検証装置１が備える各部及びデータベース２は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは検証装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。

なお、画像の情報自体は必ずしもデータベース２に格納されている必要はなく、たとえば適宜外部から直接入力されるような構成をとっても構わない。このような構成は、例えば物体検索のために本発明の実施の形態を利用するような場合、参照画像については事前に参照画像情報について必要な処理を実施の上データベース２に格納し、クエリ画像については適宜問い合わせのタイミングで外部からクエリ画像情報の入力を受け付けて処理するような用途に向く。具体例を挙げると、図１に記載の検証装置構成の一例においては、データベース２に予め一枚以上の参照画像に関する画像の情報である参照画像情報３が格納されており、これらは上記説明した通り検証装置１と相互に読み出し／登録可能な形態で接続されている。このほか、問い合わせとして入力されるクエリ画像情報４を外部から受け付けられるような構成を取っている。

以降、本発明の第１の実施形態の一例においては、２枚の画像の対応を検証する場合、特に物体検索における用途を見据えて、参照画像情報３として記憶されている参照画像のうちの１枚と、クエリ画像情報４として入力されたクエリ画像のうちの１枚との対応を検証する場合を例に説明していく。複数組の画像の対応を検証するような場合には、以降説明する処理を検証したい組の数分だけ繰り返せばよい。

＜＜第１の実施の形態の処理部＞＞

本実施の形態における検証装置１の各処理部について説明する。

特徴量符号化部１１は、参照画像に規定された各々の部分領域に関連づけられた特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求める。ここでは、データベース２から、参照画像情報３を受け取った下で、参照画像情報３の各部分領域に関連づけられた特徴量ベクトルを一つ以上の離散値に量子化した特徴量符号を求める。

求めた特徴量符号は、必要に応じて参照画像情報３と対応づける形でデータベース２に格納する場合もあるし、対応候補計算部１２に出力する場合もある。本発明の第１の実施形態の一例においては、参照画像側に対してのみ本処理を適用することを考え、この場合について説明する。クエリ画像側に本処理を適用せず、参照画像側に対してのみ本処理を適用する効果として、次のことが挙げられる。

（１）通常、必ず記憶される参照画像の場合とは異なり、必ずしもクエリ画像を記憶する必要はないため、クエリ画像を低容量に符号化したとしても時間・空間的な計算量への影響はほとんどない。
（２）符号化を行うことで、元の特徴量ベクトルの情報を幾分か落としてしまうことになるため、必要以上の符号化を避けることで精度を保持することができる。

もちろん、クエリ画像側にも同様の処理を適用することもできるし、クエリ画像側のみに対して本処理を適用することもできることはいうまでもない。

対応候補計算部１２は、特徴量符号化部１１で参照画像について求めたある特徴量符号と、外部から受け取ったクエリ画像情報４におけるクエリ画像に規定された各々の部分領域に関連づけられた特徴量ベクトルとの距離を求め、当該距離に基づいて、特徴量符号に対応する参照画像に規定された部分領域と、クエリ画像に規定された部分領域との対応候補を求める。クエリ画像情報４には、クエリ画像、並びに当該クエリ画像の部分領域及び特徴量ベクトルの集合の情報を含んでいる。なお、参照画像の全ての部分領域に対して、必ずしも対応候補となるクエリ画像の部分領域が求められる必要はない。

判定部１３は、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報と、クエリ画像に規定された部分領域に関連づけられた幾何情報との組の各々について、当該組の幾何的関係を求め、求められた幾何的関係に基づいて、当該組の対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とすると判定して判定結果５を出力する。ここで、判定部１３は、対応候補毎の幾何的関係に基づくヒストグラムを求め、ヒストグラムの頻度が高いビンに対応する対応候補が適当であると判定する。

＜＜処理概要＞＞

次に、本実施の形態における検証装置１の処理について説明する。図２は、処理の流れを示すフローチャートである。

まず、ステップＳ３０１では、特徴量符号化部１１が、参照画像に規定された各々の部分領域に関連づけられた特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求める。求めた特徴量符号は、データベース２に格納する場合もあるし、対応候補計算部１２に伝達する場合もある。また、当該処理は、クエリ画像を受け付ける前に事前に実施しておいても構わない。

続いて、ステップＳ３０２では、対応候補計算部１２が、クエリ画像情報４にある部分領域および特徴量ベクトルの集合を入力として受け付けると、クエリ画像情報４に規定された各々の部分領域に関連づけられた特徴量ベクトルと、参照画像の各部分領域の特徴量符号との距離を求め、この距離に基づいて、当該特徴量符号に対応する参照画像に規定された部分領域と、クエリ画像に規定された部分領域との対応候補として求め、判定部１３に伝達する。

続いて、ステップＳ３０３では、判定部１３が、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報と、クエリ画像に規定された部分領域に関連づけられた幾何情報との組の各々について、当該組の幾何的関係を求め、求められた幾何的関係に基づいて、当該組の対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とすると判定して判定結果５を出力する。ここで、判定部１３は、対応候補毎の幾何的関係に基づくヒストグラムを求め、ヒストグラムの頻度が高いビンに対応する対応候補が適当であると判定する。

＜＜第１の実施の形態の各処理の処理詳細＞＞

以降、各処理の詳細処理について、本実施形態における一例を説明する。

［特徴量符号化処理］

まず、特徴量符号化部１１における、参照画像のある部分領域の特徴量ベクトルを量子化して特徴量符号を求める処理について説明する。

高次元の特徴量ベクトルを一つ以上の離散値に量子化する問題は、ベクトル量子化の問題として捉えることができ、任意のベクトル量子化法を適用することができる。例えば、ベクトル量子化の代表的な方法の一つであるＫ平均法（Ｋは自然数）に基づく量子化方法が存在する。

Ｋ平均法（あるいは、これに限らず実用に供される数多くの量子化法）は、事前に量子化器を学習しておく必要がある。例えばＫ平均法の場合は、予め一定数の特徴量ベクトルの集合を学習データとしてＫ平均法を適用し、Ｋ個のクラスタ中心を求めておく。実際にある特徴量ベクトルを量子化する際には、その特徴量ベクトルに最もクラスタ中心を求め、そのクラスタのクラスタ中心（ベクトル）を特徴量符号として用いればよい。

符号化には好ましくは、二値量子化を用いる。二値量子化では、元の実数値または整数値の特徴量ベクトルを、二値ベクトルへと量子化する。二値ベクトルとは、ベクトルの各要素が二値のみを取るようなベクトルである。要素の値は特に問わないが、例えば｛０，１｝、｛１,−１｝などとすることができるであろう。好ましくは、のちの距離計算を簡便にするため、｛１,−１｝とするのがよく、以降これを前提に説明する。仮に二値ベクトルの次元がＢ（Ｂは自然数）であるとすると、あり得る二値ベクトルの場合の数は２Ｂ通りであるから、すなわち２Ｂ個の離散値に量子化していることに相当する。

実数値／整数値特徴量ベクトルを二値ベクトルへと量子化する処理の一例について説明する。便宜上、元の実数値／整数値特徴量ベクトルをｘ、二値ベクトルをｂと表すことにすると、例えば以下（１）式により二値ベクトルを得ることができる。

・・・（１）

ここで、ｓｉｇｎは要素ごとの特徴量符号を取る関数であり、より厳密には、特徴量ベクトルｘの要素のうち、０以上を取る要素には１、０未満の要素には−１を返す関数であるとする。上記（１）式を用いることで、元の特徴量ベクトルがどのようなものであっても、それと同一次元の二値ベクトルを得ることができる。

一方、物体検索に用いられる特徴量の中には、元来非負値の実数値／整数値によって構成されるものも多く、その場合、上記（１）式による二値ベクトルは常に全要素が１となってしまうという問題がある。この問題を避けるため、好ましくはバイアス成分μを導入する。

・・・（２）

μはｘと同一次元を持つベクトルである。その要素の値は自由に定めてよいが、好ましくは特徴量ベクトル群の平均値、中央値、平均ベクトル、中央値ベクトルなどを用いるとよい。

さらに、上記（１）式、及び（２）式のように単に要素の符号を取るだけでは情報の欠損が大きく、対応候補を求める際の距離計算の精度が大きく劣化するという問題がある。可能な限り情報を損なわないような二値量子化を実行するため、好ましくは以下（３）式による二値量子化を用いる。

・・・（３）

ただし、Ａはｘの次元数と同じサイズの行列であり、Ａ’はＡの転置を表す。この行列Ａは任意の公知の行列構成法で構成することができるが、主成分分析により求めた場合、特徴ベクトル群の情報量を最適に保存するような行列を求めることができるため好適である。また、主成分分析は次元削減法としての側面も持っていることから、二値ベクトルの次元を落としてより軽量な特徴量符号を得ることもできる点で利点がある。

これらの方法により求めた二値ベクトルは、元の特徴量ベクトルがなす角度成分をよく保存する。対応候補は特徴量ベクトル間の距離に基づいて計算されるが、距離を求める上で角度成分の影響は大きいことが知られている。したがって、角度成分をよく保存することによって、距離計算の精度を劣化させることなく情報を圧縮することが可能になるという利点がある。

［対応候補計算処理］

次に、対応候補計算部１２における、異なる２枚の画像間に規定された部分領域同士の対応候補を求める処理について説明する。本発明の第１の実施形態の一例においては、クエリ画像とそれぞれの参照画像の間で、対応する部分領域を決定するために用いる処理である。

クエリ画像から抽出されたある部分領域をＱ_ｉ、参照画像から抽出されたある部分領域をＲ_ｊと表すものとする。以下では、部分領域Ｑ_ｉとＲ_ｊを例にとり、これらが対応候補であるか否かを判断する処理を説明する。

各部分領域はその部分領域を表現する特徴量ベクトル、あるいは、これを量子化した特徴量符号が関連づけられている。部分領域Ｑ_ｉを記述する特徴量符号をq、Ｒ_ｊを記述する特徴量符号をｒと表すとする。このとき、部分領域同士の距離ｄｉｓｔ（Ｑ_ｉ，Ｒ_ｊ）を次式により求める。

・・・（４）

ここで、本発明の第１の実施形態の一例によれば、ｒは特徴量符号であり、特にこれが｛１, −１｝の二値ベクトルで表現されている場合、上記（４）式は以下のように変換できる。

・・・（５）

さらに、ｑ_ｍ、ｒ_ｍはそれぞれベクトルｑおよびｒのm番目の要素である。ここで、ｒ_ｍは｛１,−１｝のいずれかの値しかとらないから、結局のところ上記（５）式はｑの要素の加減算のみで評価可能であり、距離計算を大きく効率化することができる。

実際には、この距離は全ての部分領域の組み合わせに対して計算する。

続いて、求めた部分領域間の距離に基づいて、各部分領域の組が対応候補であるか否かを判定する。参照画像の部分領域Ｒ_ｊに着目したとき、これに最も近いクエリ画像の部分領域がＱ_ｉ、その次に近い部分領域がＱ_ｋであったとする。このとき、下記（６）式の条件を満たすとき、Ｒ_ｊとＱ_ｉが対応候補であると判定する。

・・・（６）

ここで、Ｔは事前に決めておくパラメータであり、０＜Ｔ≦１の任意の値を取ってよい。例えばＴ＝０．８などとすればよい。

以上の計算を全てのクエリ画像に対する参照画像の各々における、全ての部分領域の組に対して実施することで、対応候補となる部分領域を求めることが可能である。

なお、このように求めた対応候補は重複を許す。つまり、ある参照画像の部分領域Ｒ_ｊに対して、クエリ画像の複数の部分領域が対応候補となってしまう可能性がある。通常、物体が同一であるにも関わらず、物体のある一部分領域に対して、複数の部分領域が対応することはあまりない。そこで、対応候補の重複を許さないよう、後処理を導入しても構わない。例えば、一度上記方法によって全ての対応を求めた後、複数の候補領域と対応しているクエリ画像側の候補領域を列挙する。続いて、そのクエリ画像側の部分領域と対応している参照画像の部分領域のうち、最も距離の近いものだけを有効な対応候補であると判断し、それ以外の組については対応候補を棄却する。以上のような処理を導入することにより、全ての部分領域は必ず一対一対応するように制約することができる。

［判定処理］

続いて、判定部１３における、部分領域の幾何情報に基づいて、求めた部分領域の対応候補の対応の適否を判定する処理について説明する。ここでは、対応候補計算部１２で求めた対応候補のうち、有効な対応ではない（つまり、物体から抽出された部分領域同士の対応ではない）と考えられる組を削除する。

仮に、クエリ画像と参照画像が同一の物体を含んでいるとする。物体が剛体であるならば、クエリ画像中の物体と参照画像中の物体は異なる視点から撮影されているにすぎず、現実的な仮定の下、この視点変動は部分領域の見え方に一貫性を与える。言い換えれば、仮に対応候補となっている部分領域同士が、正しく同一物体上に存在する部分領域の組である場合には、クエリ側の部分領域の幾何情報と、対応候補となっている参照画像側の領域の幾何情報の幾何的関係（ずれ方）には一貫性があることになる。したがって、このずれ方に一貫性がある対応候補の組のみを有効な対応であると見做し、そうでない組を棄却すればよい。

図３、図４を用いてわかりやすく説明する。図３に、同一の物体を含む２枚の画像Ａおよび画像Ｂを示す。それぞれ、破線で囲った３種類の模様５１Ａ、５１Ｂ、５２Ａ、５２Ｂ、５３Ａ、５３Ｂが部分領域として規定されており、また互いに同一の番号により表される部分領域の組（例えば５１Ａと５１Ｂ）が、対応候補として判定されているとする。目的は、同一の物体上に存在する部分領域の組（この場合は５１Ａと５１Ｂおよび５２Ａと５２Ｂ）だけを有効な対応と判定することである。

図３を見ればわかるように、同一の物体上にある５１Ａと５１Ｂおよび５２Ａと５２Ｂは、カメラの撮影視点のみに依存して同じようにその位置・姿勢・大きさが変化していることがわかる。位置を画像上での部分領域の存在するｘ座標、ｙ座標、姿勢を角度で定量化し、具体的にその幾何的関係を求めた結果を図６に示す。５１Ａと５１Ｂおよび５２Ａと５２Ｂは、ずれ量が近い値になるため、このずれ量についてヒストグラムを構成した場合、５１Ａと５１Ｂおよび５２Ａと５２Ｂの対応候補はヒストグラム上の同じビンに集中して分布する。したがって、結果として頻度が高いヒストグラムのビンにある部分領域の対応候補のみを有効な対応であると判定すれば、有効な対応ではない組を削除することができる。

図４の例では、幾何情報として位置・姿勢・大きさを用いたが、先に述べた通り、本発明の実施の形態においては、幾何情報としては少なくとも大きさが規定されていればよい。この場合、ヒストグラムが１次元に簡易化されるため、効率的な処理が可能となる。

また、このようなヒストグラムに基づく判定に限らず、その他公知の幾何的関係性の検証法を用いても構わない。例えば、同一物体上の部分領域の幾何的関係は、適当な条件の下で線形変換に拘束されることが知られている。このような線形変換と、これに従う幾何的関係を持つ対応候補の組を求める手法として参考文献１に記載のRANSACアルゴリズムや参考文献２に記載のLO-RANSACアルゴリズムなど、公知の有効な方法が存在するため、これらを用いても構わない。

［参考文献１］M. A. Fischler and R. C. Bolles,“Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Comm. ACM, vol. 24, no. 6, pp. 381-395, 1981.

［参考文献２］O. Chum, J. Matas, and S. Obdrzalek,“Enhancing RANSAC by generalized model optimization,” Proceedings of Asian Conference on Computer Vision, pp. 812-817, 2004.

以上の手続きにより、クエリ画像と参照画像に同一の物体を含むか否かを判定することができる。

以上説明したように、本発明の第１の実施の形態に係る検証装置によれば、参照画像に規定された各々の部分領域に関連づけられた特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求め、求めたある特徴量符号と、クエリ画像に規定された各々の部分領域に関連づけられた特徴量ベクトルとの距離を求め、当該距離に基づいて、特徴量符号に対応する参照画像に規定された部分領域と、クエリ画像に規定された部分領域との対応候補を求め、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報と、クエリ画像に規定された部分領域に関連づけられた幾何情報との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とすることにより、高精度かつ高効率に画像間の照合を可能にする。

＜本発明の第２の実施の形態に係る検証装置＞

以下、図面を参照して本発明の第２の実施の形態を詳細に説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。

第２の実施の形態では、部分領域の幾何情報を符号化する点が第１の実施の形態と異なっている。

＜＜第２の実施の形態の全体構成＞＞

図５は、本発明の第２の実施形態における検証装置１０１の構成の一例を示すブロック図である。図１に示す検証装置１０１は、特徴量符号化部１１と、対応候補計算部１２と、幾何情報符号化部１４と、判定部１３とを備える。

＜＜第２の実施の形態の処理部＞＞

幾何情報符号化部１４は、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報と、クエリ画像に規定された部分領域に関連づけられた幾何情報のそれぞれについて、一つ以上の離散値に量子化し、幾何情報符号を求める。なお、参照画像又はクエリ画像のいずれか一方のみについて幾何情報符号を求めるようにしてもよい。

判定部１３は、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報から求めた幾何情報符号と、クエリ画像に規定された部分領域に関連づけられた幾何情報から求めた幾何情報符号との組の各々について、当該組の幾何的関係を求め、求められた幾何的関係に基づいて、当該組の対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とすると判定して判定結果５を出力する。

＜＜処理概要＞＞

次に、本実施の形態における検証装置１０１の処理について説明する。図６は、処理の流れを示すフローチャートである。

ステップＳ３０３Ｂでは、幾何情報符号化部１４が、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報と、クエリ画像に規定された部分領域に関連づけられた幾何情報のそれぞれについて、一つ以上の離散値に量子化し、幾何情報符号を求める。

ステップＳ３０４Ｂでは、判定部１３が、対応候補となっている参照画像側の部分領域の幾何情報符号と、クエリ画像側の部分領域の幾何情報符号との組の各々について、その幾何的関係を求め、これに基づいてこの対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とする判定して判定結果５を出力する。

なお、第２の実施の形態の他の構成及び作用については第１の実施の形態と同様であるため説明を省略する。

＜＜第２の実施の形態の各処理の処理詳細＞＞

幾何情報符号化部１４における、幾何情報の符号化処理について説明する。なお、第１の実施の形態で説明した判定処理では、幾何情報はいずれも実数値であるという前提で判定処理を行ったが、幾何情報は符号化されていても構わない。

幾何情報の符号化も、特徴量ベクトルの符号化と同様、量子化に基づいて実行することができる。例えば大きさを例にとって説明すると、大きさの範囲をいくつかの区分に分割しておき、ある部分領域の大きさがどの区分に属するかに基づいて符号化する。より具体的には、仮に大きさを０以上２未満、２以上４未満、４以上６未満、６以上の４区分に分割するとし、値の小さい区分から順に「１」、「２」、「３」、「４」と幾何情報符号を定めておく。このとき、仮にある部分領域の大きさが２．５であったとすると、当該部分領域の大きさは２の区分に属するので、大きさの幾何情報符号は２となる。

以上のように符号化することにより幾何的関係の演算も単純化できる。例えばある対応候補である部分領域の組について、一方の大きさの幾何情報符号が２、もう一方の大きさの幾何情報符号が３であるとすると、そのずれは３−２＝１として簡単に評価することができる。

ここでは大きさの場合を例に説明したが、もちろんその他の種類の幾何情報（位置・姿勢等）を用いる場合についても同様に処理可能であることは言うまでもない。

このように、部分領域の幾何情報を低容量な符号に圧縮することにより、より高効率な検証を可能にする。

以上説明したように、本発明の第２の実施の形態に係る検証装置によれば、参照画像に規定された各々の部分領域に関連づけられた特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求め、求めたある特徴量符号と、クエリ画像に規定された各々の部分領域に関連づけられた特徴量ベクトルとの距離を求め、当該距離に基づいて、特徴量符号に対応する参照画像に規定された部分領域と、クエリ画像に規定された部分領域との対応候補を求め、幾何情報を一つ以上の離散値に量子化し、幾何情報符号を求め、対応候補である参照画像に規定された部分領域に関連づけられた幾何情報から求めた幾何情報符号と、クエリ画像に規定された部分領域に関連づけられた幾何情報から求めた幾何情報符号との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とすることにより、高精度かつ高効率に画像間の照合を可能にする。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１、１０１ 検証装置
２ データベース
３ 参照画像情報
４ クエリ画像情報
５ 判定結果
１１ 特徴量符号化部
１２ 対応候補計算部
１３ 判定部
１４ 幾何情報符号化部

Claims (8)

1. 第一の画像に規定された一つ以上の部分領域の各々に関連づけられた、当該部分領域の少なくとも大きさを含む幾何情報及び特徴量ベクトルと、第二の画像に規定された一つ以上の部分領域の各々に関連づけられた前記幾何情報及び前記特徴量ベクトルとが入力された時に、前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応を求める検証装置であって、
   前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求める特徴量符号化部と、
   前記第一の画像について求めたある前記特徴量符号と、前記第二の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルとの距離を求め、当該距離に基づいて、前記特徴量符号に対応する前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応候補を求める対応候補計算部と、
   前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とする判定部と、
   を含む検証装置。
2. 前記幾何情報を一つ以上の離散値に量子化し、幾何情報符号を求める幾何情報符号化部を更に含み、
   前記判定部は、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とする請求項１に記載の検証装置。
3. 前記特徴量符号化部が、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルの各要素についてその正負に基づいて二値量子化することで求めた二値ベクトルを特徴量符号として求める請求項１又は２記載の検証装置。
4. 前記判定部は、前記対応候補毎の前記幾何的関係に基づくヒストグラムを求め、前記ヒストグラムの頻度が高いビンに対応する前記対応候補が適当であると判定する請求項１〜請求項３の何れか１項に記載の検証装置。
5. 第一の画像に規定された一つ以上の部分領域の各々に関連づけられた、当該部分領域の少なくとも大きさを含む幾何情報及び特徴量ベクトルと、第二の画像に規定された一つ以上の部分領域の各々に関連づけられた前記幾何情報及び前記特徴量ベクトルとが入力された時に、前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応を求める検証装置における検証方法であって、
   特徴量符号化部が、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルを、一つ以上の離散値に量子化した特徴量符号を求めるステップと、
   対応候補計算部が、前記第一の画像について求めたある前記特徴量符号と、前記第二の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルとの距離を求め、当該距離に基づいて、前記特徴量符号に対応する前記第一の画像に規定された前記部分領域と、前記第二の画像に規定された前記部分領域との対応候補を求めるステップと、
   判定部が、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とするステップと、
   を含む検証方法。
6. 幾何情報符号化部が、前記幾何情報を一つ以上の離散値に量子化し、幾何情報符号を求めるステップを更に含み、
   前記判定部が判定するステップは、前記対応候補である前記第一の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号と、前記第二の画像に規定された前記部分領域に関連づけられた前記幾何情報から求めた前記幾何情報符号との幾何的関係に基づいて、当該対応候補が適当であるか否かを判定し、適当である場合にはこれを対応とする請求項５に記載の検証方法。
7. 前記特徴量符号化部が符号化するステップが、前記第一の画像に規定された各々の前記部分領域に関連づけられた前記特徴量ベクトルの各要素についてその正負に基づいて二値量子化することで求めた二値ベクトルを特徴量符号として求める請求項５又は請求項６に記載の検証方法。
8. コンピュータを、請求項１〜請求項４のいずれか１項に記載の検証装置の各部として機能させるためのプログラム。