JP6832268B2 - 検証装置、方法、及びプログラム - Google Patents

Description

本発明は、検証装置、検証方法、及び検証プログラムに関し、特に、画像間の部分領域の対応の適否を検証する検証装置、検証方法、及び検証プログラムに関する。

デジタルカメラ、スマートホン等の携帯撮影デバイスの普及により、一個人が撮影するデジタル写真の枚数が急速に増大した。それに伴い、画像を利用したコミュニケーションが発達し、ＷＷＷ（World Wide Web）上には大量の画像が蓄積されている。例えば、あるソーシャルメディアサイトでは、毎月２５億の画像がアップロードされているとの報告がある。

ユーザは、このような豊富な画像を見て楽しむことができる一方で、画像中の未知の物体に興味を持っても、その情報を取得することが困難であるという問題が存在する。例えば、画像中のある商品に興味を持っても、ユーザがその商品名、外見等の知識を持っていない場合には、その商品に関する情報を取得することは困難である。これを解決するためには、画像がいったい何を写しているのかといった情報を画像から検索する画像認識技術が必要となる。

従来、画像から物体を検索する画像認識技術について、種々の技術が発明及び開示されている。その一例を、非特許文献１に記載の技術に従って説明する。まず、画像から特徴的な部分領域を多数検出し、各部分領域の特徴を実数値や整数値からなる特徴量ベクトルとして表現する。この特徴量ベクトルは、一般には、「局所特徴量」と呼ばれる。次に、互いに異なる二つの画像に含まれる部分領域について特徴量ベクトル同士のユークリッド距離を計算し、ユークリッド距離が所定距離より近い部分領域同士を対応する部分領域として特定する。そして、画像内において、対応する部分領域の個数が多いほど、二つの画像に同一の物体が写っていると見做す。こうして二つの画像に写っていると見做された同一の物体の名称を認識結果として出力する。

より具体的には、既知の物体を含む複数の画像（以下、「参照画像」と呼ぶ）により予め参照画像データベースを構築し、この参照画像データベースの各参照画像から、新たに入力された画像（以下、「クエリ画像」と呼ぶ）と同一の物体が写っているものを検索することにより、クエリ画像中に存在する物体を特定する。

しかしながら、上記の画像から物体を検索する手法には重大な問題がある。部分領域同士の対応は、異なる２枚の画像それぞれから抽出された部分領域の特徴量ベクトル間の距離に基づいて判定するが、現実的には、たとえ異なる物体同士であっても非常に近しい特徴量ベクトルが得られてしまう場合もある。この場合、本来対応すべきではない部分領域間での誤対応が発生し、その結果、本来画像に写っている物体とは異なる物体が画像から検索されてしまう場合がある。

このような問題に鑑み、異なる物体が検索されてしまうことを防止することを目的として、部分領域同士の対応の適否を検証する検証技術が発明されてきている。

非特許文献１には、一般化ハフ変換に基づく検証方法が開示されている。非特許文献１の技術は、同一の物体から得られた部分領域であれば、物体上の対応する部分領域間の位置・姿勢・大きさの変化は、撮影視点に依存して一貫性を持つという仮定に基づいて検証を実行する方法である。具体的には、まず、異なる２枚の画像間で、特徴量ベクトル同士の実数値距離を計算して部分領域間の対応候補を得たのち、対応候補となった部分領域間の位置・姿勢・大きさの「ずれ」を求める。これらのずれは４次元の実数値、すなわち、部分領域の位置（画像上のｘ，ｙ座標）、角度、及び部分領域の大きさ（スケール）の４つの量のずれとして求められる。この４次元のずれに基づいて、４次元ヒストグラムを構成したとすると、同一の物体から得られた対応する部分領域の集合は、部分領域の位置・姿勢・大きさについて一貫性を持ってずれているはずであるから、これらはヒストグラムのごく少数のビンに集中して分布することが想定される。したがって、頻度の高いビンに分布している対応候補のみを真に有効な対応であると見做し、それら以外を有効な対応ではないとして削除する。

また、特許文献１には、非特許文献１を改良した技術が開示されている。具体的には、対応候補である部分領域の位置・姿勢・大きさのずれに基づいて対応の適否を判定することは非特許文献１と同様であるが、特許文献１の技術では、特徴量ベクトルとしてアフィン不変局所特徴量を用いることによって、姿勢として３次元回転角度を考えている。結果として、特許文献１の技術では、非特許文献１の技術よりもさらに精細な検証を可能にしている。

特開２０１５−９５１５６号公報

David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, pp.91-110, 2004

上記の非特許文献１及び特許文献１に記載の技術は、同一の物体から得られた対応する部分領域の集合は、部分領域の位置・姿勢・大きさについて一貫性を持ってずれているはずであると仮定し、そのような対応候補のみを有効な対応と見做している。

しかしながら、同一の物体が複数写る画像を検索対象とした場合、部分領域の集合のずれが必ずしも一貫するとは限らない。例えば、参照画像に物体が一つ、クエリ画像に物体が様々な大きさで複数写っているようなケースでは、同一の物体から得られた対応する部分領域の大きさのずれは一貫せず、様々な値を持つことが想定される。この場合、非特許文献１及び特許文献１に記載の技術では、正しい対応がヒストグラムの少数のビンに集中せず、多くのビンに分散することになる。ヒストグラムの分散が大きい程、誤った対応候補が有効と判断され易くなり、結果として、部分領域間の対応候補の正確な検証が困難となる。

また、ヒストグラムを作成するための値として、部分領域の大きさに限らず、姿勢など他の幾何情報を用いたとしても、複数の同一物体の写り方次第で、幾何情報のずれが一貫したり、しなかったりする。

さらに、特許文献１に記載の技術のように、より多くの幾何情報を考慮することで精細な検証を行うとすると、ヒストグラムの算出に要する処理時間が大きく増加し、また記憶にも相当の容量が必要となってしまう。

以上のように、現在に至るまで、同一の物体が複数写る画像に対して高精度かつ高効率に、画像間の部分領域の対応の適否を検証できる検証技術は発明されていなかった。

本発明は、上記問題点を解決するために成されたものであり、同一の物体が複数写る画像であっても、画像間の部分領域の対応の適否を高精度かつ高効率に検証することができる検証装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の検証装置は、画像に含まれる１つ以上の部分領域の各々に関連付けられた、前記部分領域の位置及び大きさを含む幾何情報と、前記部分領域から抽出される特徴量とに基づいて、第一の画像に含まれる部分領域と、第二の画像に含まれる部分領域との対応の適否を検証する検証装置であって、部分領域間の特徴量の類似度に基づいて、前記第一の画像に含まれる部分領域の各々と、前記第一の画像に含まれる部分領域の各々に対応する前記第二の画像に含まれる部分領域との組の候補を算出する対応候補算出部と、前記対応候補算出部で算出された前記組の候補の各々の部分領域間で、少なくとも大きさを含む幾何情報を比較した値の分布を表す第一のヒストグラムを求める第一検証部と、前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置の分布を表し、かつ前記第一検証部により求められた前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の前記幾何情報を比較した値に基づいてビンの幅が決定された第二のヒストグラムを求め、前記組の候補の各々が含まれるビンの頻度に基づいて、前記組の候補が示す前記第一の画像に含まれる部分領域と、前記第二の画像に含まれる部分領域との対応の適否を検証する第二検証部と、を含んで構成される。

また、上記目的を達成するために、本発明の検証方法は、画像に含まれる１つ以上の部分領域の各々に関連付けられた、前記部分領域の位置及び大きさを含む幾何情報と、前記部分領域から抽出される特徴量とに基づいて、第一の画像に含まれる部分領域と、第二の画像に含まれる部分領域との対応の適否を検証する検証方法であって、対応候補算出部が、部分領域間の特徴量の類似度に基づいて、前記第一の画像に含まれる部分領域の各々と、前記第一の画像に含まれる部分領域の各々に対応する前記第二の画像に含まれる部分領域との組の候補を算出し、第一検証部が、前記対応候補算出部で算出された前記組の候補の各々の部分領域間で、少なくとも大きさを含む幾何情報を比較した値の分布を表す第一のヒストグラムを求め、第二検証部が、前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置の分布を表し、かつ前記第一検証部により求められた前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の前記幾何情報を比較した値に基づいてビンの幅が決定された第二のヒストグラムを求め、前記組の候補の各々が含まれるビンの頻度に基づいて、前記組の候補が示す前記第一の画像に含まれる部分領域と、前記第二の画像に含まれる部分領域との対応の適否を検証する方法である。

本発明の検証装置及び検証方法によれば、対応候補算出部が、部分領域間の特徴量の類似度に基づいて、第一の画像に含まれる部分領域の各々と、第一の画像に含まれる部分領域の各々に対応する第二の画像に含まれる部分領域との組の候補を算出し、第一検証部が、対応候補算出部で算出された組の候補の各々の部分領域間で、少なくとも大きさを含む幾何情報を比較した値の分布を表す第一のヒストグラムを求め、第二検証部が、対応候補算出部で算出された組の候補の各々における第一の画像に含まれる部分領域の位置の分布を表し、かつ第一検証部により求められた第一のヒストグラムにおいて頻度の高いビンに含まれる組の候補の幾何情報を比較した値に基づいてビンの幅が決定された第二のヒストグラムを求め、組の候補の各々が含まれるビンの頻度に基づいて、組の候補が示す第一の画像に含まれる部分領域と、第二の画像に含まれる部分領域との対応の適否を検証する。

これにより、同一の物体が複数写る画像であっても、画像間の部分領域の対応の適否を高精度かつ高効率に検証することができる。

また、本発明の検証装置及び検証方法において、前記第二検証部は、前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の各々の部分領域間の大きさの比率の統計値と、前記第二の画像に含まれる物体の大きさとを用いて算出される、前記第一の画像に含まれる物体の大きさに基づいて、前記第二のヒストグラムのビンの幅を決定する。これにより、およそ第一の画像中の物体の大きさに従ってビンの幅を決定することができ、第一の画像の物体上に存在する可能性が高い組の候補と、それ以外の組の候補とを切り分けることができる。

また、本発明の検証装置及び検証方法において、前記第二検証部は、前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置に応じて各ビンに前記組の候補の各々を投票して前記第二のヒストグラムを求める際に、前記組の候補が該当するビン、及び該ビンに隣接するビンに投票することができる。これにより、画像中の物体の位置に対する頑健性を高めた第二のヒストグラムを求めることができる。

また、本発明の検証プログラムは、コンピュータを、上記の検証装置の各部として機能させるためのプログラムである。

本発明の検証装置、方法、及びプログラムによれば、部分領域間で、少なくとも大きさを含む幾何情報を比較した値の分布を表す第一のヒストグラムにおいて頻度の高いビンに含まれる組の候補における第一の画像の部分領域の位置の分布を表し、かつ組の候補の部分領域間の幾何情報を比較した値に基づいてビンの幅が決定された第二のヒストグラムにおける、組の候補の各々が含まれるビンの頻度に基づいて、組の候補毎に対応の適否を検証することで、同一の物体が複数写る画像であっても、画像間の部分領域の対応の適否を高精度かつ高効率に検証することができる。

本実施の形態に係る検証装置の機能ブロック図である。 クエリ画像に同じ大きさの同一物体が複数写る場合の対応候補の一例を示す図である。 対応候補毎に、大きさのずれ（比率）を算出した一例を示す図である。 第一のヒストグラムの一例を示す図である。 クエリ画像に異なる大きさの同一物体が複数写る場合の対応候補の一例を示す図である。 対応候補毎に、大きさのずれ（比率）を算出した一例を示す図である。 第一のヒストグラムの一例を示す図である。 参照画像上の物体の大きさを説明するための図である。 第二のヒストグラムに用いられる対応候補の一例を示す図である。 第二のヒストグラムに用いられる対応候補のクエリ画像に含まれる部分領域の位置の一例を示す図である。 第二のヒストグラムの一例を示す図である。 本実施の形態における検証処理ルーチンの一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、本発明の実施の形態に係る検証装置１０には、クエリ画像情報２２が入力される。また、検証装置１０からは、クエリ画像情報２２と参照画像情報２４とで部分領域間の対応を検証した検証結果２６が出力される。

クエリ画像情報２２とは、クエリ画像の画像情報であり、参照画像情報２４とは、参照画像の画像情報である。本実施の形態における画像情報とは、該当の画像に含まれる１つ以上の部分領域の各々に、少なくとも部分領域の幾何情報、及び部分領域から抽出される特徴量ベクトルを含む情報が関連付けられた情報である。画像の部分領域は、画像の一部領域であればどのように定められていてもよく、任意の公知の方法によって規定されていればよい。本実施の形態では、一例として、非特許文献１に記載のＳＩＦＴによって部分領域、及び特徴量ベクトルを規定するものとする。

部分領域の幾何情報としては、部分領域の位置（画像上のｘ，ｙ座標）、姿勢、大きさなどの情報を含むものとするが、本実施の形態においては、少なくとも位置及び大きさが含まれていればよい。部分領域の大きさについてはどのように定められていてもよいが、例えば、部分領域を円形と見做した場合の半径や、方形であると見做した場合の長辺などに基づいて規定すればよい。説明のため、以降では、部分領域の大きさを半径とする。部分領域の位置や姿勢についても、例えば非特許文献１に記載の方法等、適する公知の方法を選択して求めたものを利用することができる。

検証装置１０は、参照画像データベース（ＤＢ）２０と通信手段を介して相互に情報通信し、参照画像ＤＢ２０に記憶されている参照画像情報２４を読み出すことができる。参照画像ＤＢ２０は、検証装置１０の内部にあっても外部にあってもよく、通信手段は任意の公知ものを用いることができる。本実施の形態においては、参照画像ＤＢ２０は検証装置１０の外部にあるものとして、通信手段は、インターネット、ＴＣＰ／ＩＰ等のネットワーク（図示省略）により通信するよう接続されているものとする。

参照画像ＤＢ２０は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成することができる。参照画像ＤＢ２０には、上述した、参照画像に含まれる部分領域の各々の幾何情報及び特徴量ベクトルを含む参照画像情報２４の各々に、各参照画像情報２４を一意に識別可能な識別子（例えば、通し番号によるＩＤやユニークな参照画像のファイル名等）が関連付けて記憶されているものとする。

また、参照画像ＤＢ２０は、ＲＤＢＭＳ（Relational Database Management System）などで実装及び構成されてもよい。また、参照画像情報２４は、必須な情報ではないが、メタデータとして、例えば画像の内容を表現する情報（例えば、画像のタイトル、概要文、又はキーワード等）や、画像のフォーマットに関する情報（画像のデータ量、サムネイル等のサイズ）などを含んでいてもよい。

なお、参照画像情報２４は、必ずしも参照画像ＤＢ２０に記憶されている必要はなく、例えば、適宜外部から検証装置１０へ直接入力されるような構成をとってもよい。このような構成は、例えば、物体検索のために本実施の形態を利用する場合、参照画像については、事前に参照画像情報２４について必要な処理を実施の上、参照画像ＤＢ２０に参照画像情報２４を記憶し、クエリ画像については適宜問い合わせのタイミングで、外部からクエリ画像情報２２の入力を受け付けて処理するような用途に向く。

具体例を挙げると、図１に示す検証装置１０の構成の一例においては、参照画像ＤＢ２０に予め一枚以上の参照画像に関する参照画像情報２４が格納されており、これらは上記説明した通り検証装置１０と相互に読み出し及び登録可能な形態で接続されている。また、検証装置１０の構成の一例においては、問い合わせとして入力されるクエリ画像情報２２を外部から受け付けられるような構成を取っている。

検証装置１０が備える各部（詳細は後述）、及び参照画像ＤＢ２０は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成され、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは検証装置１０が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。

また、図１に示すように、検証装置１０は、機能的には、対応候補算出部１２と、第一検証部１４と、第二検証部１６とを含んで構成される。

対応候補算出部１２は、外部から入力されたクエリ画像情報２２を受け取ると共に、参照画像ＤＢ２０から１つの参照画像情報２４を読み込む。対応候補算出部１２は、クエリ画像情報２２が示すクエリ画像に含まれる部分領域の各々の特徴量ベクトルと、参照画像情報２４が示す参照画像に含まれる部分領域の各々の特徴量ベクトルとの類似度に基づいて、部分領域の対応候補を算出する。部分領域の対応候補とは、クエリ画像に含まれる部分領域の各々と、そのクエリ画像に含まれる部分領域の各々に対応する、参照画像に含まれる部分領域との組の候補である。

対応候補算出部１２は、部分領域間の特徴量ベクトルの類似度として、クエリ画像の部分領域の特徴量ベクトルと、参照画像の部分領域の特徴量ベクトルとの距離を算出する。距離は、例えば、ユークリッド距離など、任意の公知のものを用いることができる。また、特徴量ベクトルが二値である場合には、ハミング距離などを用いることもできる。対応候補算出部１２は、クエリ画像の部分領域の各々と、参照画像の部分領域の各々との全ての組み合わせについて、特徴量ベクトル間の距離を算出する。

対応候補算出部１２は、算出した部分領域の特徴量ベクトル間の距離に基づいて、各部分領域の組が対応候補であるか否かを判定する。例えば、対応候補算出部１２は、クエリ画像のある部分領域Ｑｉに着目したとき、この部分領域Ｑｉの特徴量ベクトルに最も近い参照画像の部分領域Ｒｊの特徴量ベクトルとの距離ｄｉｓｔ（Ｑｉ，Ｒｊ）と、二番目に近い参照画像の部分領域Ｒｋとの距離ｄｉｓｔ（Ｑｉ，Ｒｋ）が下記（１）式の条件を満たすとき、ＱｉとＲｊとが対応候補であると判定する。

ｄｉｓｔ（Ｑｉ，Ｒｊ）＜Ｔｄｉｓｔ（Ｑｉ，Ｒｋ） ・・・（１）

Ｔは０＜Ｔ≦１の任意の値、例えば、０．８などとすることができる。

対応候補算出部１２は、以上の計算を全ての部分領域の組に対して実施することで、クエリ画像の各々の部分領域と対応する参照画像の部分領域の候補、すなわち、対応候補を算出することが可能である。なお、対応候補の各々において、参照画像の部分領域の重複を許す。つまり、ある参照画像の部分領域Ｒｊに対して、クエリ画像の複数の部分領域が対応候補になる可能性がある。

対応候補算出部１２は、算出した対応候補を第一検証部１４に出力する。

第一検証部１４は、対応候補算出部１２で算出された対応候補の各々の部分領域間で、幾何情報を比較した値の分布を表す第一のヒストグラムを算出する。ここで用いる幾何情報としては、少なくとも大きさを含んでいればよいが、姿勢などの情報を含んでいてもよい。第一のヒストグラムの算出は、非特許文献１に記載の方法など、任意の公知の方法を用いることができるが、本実施の形態の一例においては、幾何情報として大きさのみを用いる場合について説明する。

図２に、同一の物体を含むクエリ画像２２Ａ及び参照画像２４Ａに関して、クエリ画像２２Ａには同一の物体が２つ、参照画像２４Ａには１つ含まれている例を示す。クエリ画像２２Ａに含まれる２つの物体は、ほぼ同じ大きさであるとする。対応候補算出部１２により、図２に示すように、６つの部分領域の組が対応候補として算出されているとする。なお、図２では、対応候補である部分領域の組を破線で接続し、各対応候補の識別番号を破線上に併記して表している。以下の図５及び図９においても同様である。また、以下では、識別番号ｉの対応候補を「対応候補ｉ」と表記する。

また、図３に、図２に示す対応候補毎に、幾何情報を比較した値を算出した例を示す。ここでは、幾何情報を比較した値として、部分領域の大きさのずれ（比率）を算出している。また、図４に、図３に示すように算出された大きさのずれ（比率）に応じたビンに、対応候補を投票した第一のヒストグラムの一例を示す。

図３に示すように、同一の物体上にある部分領域は、その大きさの幾何的関係（ずれ方）が近い値になる。例えば、対応候補１〜４の各々の大きさのずれ（比率）は近い値になっており、第一のヒストグラムにおいて、対応候補１〜４は同じビンに集中して分布する（図３及び図４中のＰ参照）。この第一のヒストグラムから、頻度の高いビンに投票された対応候補を適切と判定することで、対応候補５や対応候補６のような、幾何情報のずれが一貫しない対応候補を適切ではないと判定することが可能である（図３及び図４中のＱ及びＲ参照）。

また、図５は、クエリ画像２２Ｂに大きさの異なる同一物体が含まれる場合の対応候補の例であり、図６は、図５に示す対応候補毎に、大きさのずれ（比率）を算出した例であり、図７は、図６に示すように算出された大きさのずれ（比率）に応じたビンに、対応候補を投票した第一のヒストグラムの一例である。クエリ画像２２Ｂ中と参照画像２４Ａとで、同一物体上の部分領域の幾何情報のずれはそれぞれ一貫するため、対応候補１と対応候補２、及び対応候補３と対応候補４の大きさのずれ（比率）は、それぞれ近い値となり、対応候補１と対応候補２、及び対応候補３と対応候補４は、それぞれ第一のヒストグラムにおいて、同じビンに投票される（図６及び図７中のＳ及びＴ参照）。

しかし、例えば対応候補１と対応候補４など、部分領域の大きさのずれ（比率）は分散し、その結果、本来対応すべきではない対応候補５と対応候補３及び４とは、大きさのずれ（比率）は近い値となってしまう（図６中のＵ参照）。このように、画像中に異なる幾何情報を持つ同一の物体が数多く含まれるほど、部分領域の幾何情報のずれは一貫しなくなり、本来対応すべきではない対応候補も適切であると判定されてしまう。

なお、幾何情報のずれは、必ずしも各幾何情報の比率とする必要はなく、例えば、差分を幾何情報のずれとしてもよい。また、第一のヒストグラムのビンの幅は、幾何情報のずれの取り得る範囲に応じて事前に決めておけばよい。また、対応候補算出部１２により算出された対応候補の各々のずれの最大値から最小値までの範囲をＤ等分（Ｄは、例えば１０）するように決定してもよい。

第一検証部１４は、算出した第一のヒストグラムを第二検証部１６に出力する。

第二検証部１６は、対応候補算出部１２で算出された対応候補の各々におけるクエリ画像に含まれる部分領域の位置の分布を表し、かつ第一検証部１４により算出された第一のヒストグラムにおいて頻度の高いビンに含まれる対応候補が示すクエリ画像の部分領域の幾何情報と参照画像の部分領域の幾何情報とを比較した値に基づいてビンの幅が決定された第二のヒストグラムを算出する。そして、第二検証部１６は、第二のヒストグラムにおいて、対応候補の各々が含まれるビンの頻度に基づいて、対応候補が示すクエリ画像に含まれる部分領域と、参照画像に含まれる部分領域との対応の適否を検証する。

具体的には、第二検証部１６は、第一のヒストグラムの頻度が高いビンに投票された対応候補の大きさのずれ（比率）から、画像間での物体の大きさの比率を求め、求めた比率に基づいて、第二のヒストグラムのビンの幅を決定する。

より具体的には、第二検証部１６は、例えば、Ｎ票以上集めたビンを頻度が高いビンとして選択する。Ｎは事前に決めておくパラメータであり、任意の自然数を取ればよく、例えば２や４などとすることができる。また、全投票数（対応候補算出部１２で算出された対応候補の数）のＮ％以上の票を集めたビンを頻度が高いビンとして選択してもよい。

次に、第二検証部１６は、例えば、選択したビンに投票された各対応候補の大きさのずれ（比率）の平均値等を、画像間での物体の大きさの比率として求める。図５〜図７の例では、対応候補３、対応候補４、及び対応候補５が投票された０．７〜０．９のビンが頻度の高いビンとして選択され、画像間での物体の大きさの比率は、（３８／４５＋２７／３０＋２６／３０）／３＝０．８７０４となる。なお、画像間での物体の大きさの比率は、必ずしも、各対応候補の大きさのずれ（比率）の平均値とする必要はなく、例えば、中央値などの他の統計値を用いてもよい。

次に、第二検証部１６は、少なくとも、クエリ画像の部分領域の位置（画像上のｘ，ｙ座標）について構成される第二のヒストグラムを算出する。より具体的には、第二検証部１６は、例えば、第二のヒストグラムのビンの幅を、参照画像中の物体の大きさ（ｘ，ｙ）に、上記で求めた画像間での物体の大きさの比率を掛けた数値として求める。参照画像中の物体の大きさは、例えば、図８に示すように、事前に参照画像２４Ａ中の物体の領域を矩形などで指定しておき、その矩形の大きさなどとすればよい。また、例えば、参照画像に規定された部分領域のｘ，ｙ座標の各々の最大値と最小値との差分を物体の大きさとしてもよい。さらに、例えば、参照画像に物体が十分大きく写っている場合など、参照画像の大きさそのものを参照画像中の物体の大きさとすることもできる。

そして、第二検証部１６は、上記のように幅を決定した各ビンに、第一のヒストグラムから選択した頻度が高いビンに投票されている対応候補のクエリ画像の部分領域の位置に応じて対応候補を投票することにより、第二のヒストグラムを算出する。

さらに、第二検証部１６は、画像中の物体の位置に対する頑健性を高めるため、各対応候補が該当するビンに加えて、隣接するビンにも投票を行ってもよい。この場合、ビンの幅に、さらに０＜Ｘ≦１となる任意の実数Ｘを掛けることで幅を小さくすることが好ましい。また、この場合、該当するビンへの投票と、隣接するビンへの投票との票数に差を設けてもよい。これは、例えば、該当するビンへの投票時には４票を、隣接するビンへの投票時には１票を投票することで実現できる。

上記のようにビンの幅を決定することで、およそクエリ画像中の物体の大きさに従ってビンの幅を決定することができ、クエリ画像の物体上に存在する可能性が高い対応候補と、それ以外の対応候補とを切り分けることができる。したがって、第二のヒストグラムにおいて、頻度が高いビンに投票された対応候補は適切であると判定することができる。頻度が高いビンは、上記の第一のヒストグラムの場合と同様に、例えば、Ｍ票以上集めたビンを選択する、投票数のＭ％以上の票を集めたビンを選択する、などの方法によって求めればよい。Ｍは事前に決めておくパラメータであり、任意の自然数を取ればよく、例えば２や４などとすればよい。

図９は、図５に示す対応候補のうち、第一のヒストグラムの頻度が高いビン（０．７〜０．９のビン）に投票された対応候補のみを表記した例であり、図１０は、図９に示す対応候補におけるクエリ画像の各部分領域の位置（ｘ，ｙ座標）である。図８に示すように、参照画像２４Ａ中の物体の大きさがｘ，ｙそれぞれ１５０、１１５であり、算出された画像間での物体の大きさの比率が０．８７０４であるとする。また、上述したように、隣接するビンへの投票も行うこととし、Ｘを０．５とする。この場合、第二のヒストグラムのｘ座標及びｙ座標のビンの幅は、およそ６５、５０となる。この場合の第二のヒストグラムを、図１１に示す。図１１に示すように、同一物体上の対応候補である対応候補３及び対応候補４が同じビン（図１１中に太線で示すビン）に集中している。

第二検証部１６は、対応候補毎に、その対応候補が投票された第二のヒストグラムのビンの頻度に基づいて、頻度が高い場合には対応候補が適切、頻度が低い場合には対応候補は適切ではないとする検証結果２６を作成し、作成した検証結果を出力する。

次に、本実施の形態に係る検証装置１０の作用について、図１２に示す検証処理ルーチンを示すフローチャートを参照して説明する。

まず、ステップＳ１０で、対応候補算出部１２が、外部から入力されたクエリ画像情報２２を受け取ると共に、参照画像ＤＢ２０から１つの参照画像情報２４を読み込む。そして、対応候補算出部１２が、クエリ画像情報２２が示すクエリ画像に含まれる部分領域の各々の特徴量ベクトルと、参照画像情報２４が示す参照画像に含まれる部分領域の各々の特徴量ベクトルとの類似度に基づいて、部分領域の対応候補を算出する。そして、対応候補算出部１２は、算出した対応候補を第一検証部１４に出力する。

次に、ステップＳ１２で、第一検証部１４が、対応候補算出部１２で算出された対応候補の各々の部分領域間の大きさのずれ（比率）の分布を表す第一のヒストグラムを算出する。そして、第一検証部１４は、算出した第一のヒストグラムを第二検証部１６に出力する。

次に、ステップＳ１４で、第二検証部１６は、第一のヒストグラムの頻度が高いビンに投票された対応候補の大きさのずれ（比率）から、画像間での物体の大きさの比率を求め、求めた比率に基づいて、第二のヒストグラムのビンの幅を決定する。そして、第二検証部１６は、上記のように幅を決定した各ビンに、第一のヒストグラムにおいて頻度が高いビンに投票されている対応候補のクエリ画像の部分領域の位置に応じて対応候補を投票することにより、第二のヒストグラムを算出する。

次に、ステップＳ１６で、第二検証部１６が、対応候補毎に、その対応候補が投票された第二のヒストグラムのビンの頻度に基づいて、対応の適否を検証する。

次に、ステップＳ１８で、第二検証部１６が、頻度が高いビンに投票されている対応候補については適切、頻度が低いビンに投票されている対応候補については、適切ではないとする検証結果２６を作成し、作成した検証結果を出力する。そして、検証処理ルーチンは終了する。

なお、本実施の形態の一例においては、２枚の画像間における部分領域の対応を検証する場合、特に物体検索における用途を見据えて、参照画像情報２４として記憶されている参照画像のうちの１枚と、クエリ画像情報２２として入力されたクエリ画像のうちの１枚との対応を検証する場合について説明したが、複数組の画像の対応を検証するような場合には、上記の検証処理ルーチンを検証したい組の数分だけ繰り返せばよい。

以上説明したように、本実施の形態に係る検証装置によれば、部分領域間の幾何情報のずれに基づく第一のヒストグラムにおける頻度の高いビンに投票された対応候補を選択し、その対応候補の位置に基づく第二のヒストグラムの頻度に基づいて、各対応候補の適否検証することにより、同一の物体が複数写る画像であっても、画像間の部分領域の対応の適否を高精度かつ高効率に検証することができる。

上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

例えば、第一検証部１４で、部分領域の大きさ以外の幾何情報も用いる場合には、用いる幾何情報の種類分の次元数の第一のヒストグラムを算出すればよい。

１０ 検証装置
１２ 対応候補算出部
１４ 第一検証部
１６ 第二検証部
２０ 参照画像データベース
２２ クエリ画像情報
２２Ａ、２２Ｂ クエリ画像
２４ 参照画像情報
２４Ａ 参照画像
２６ 検証結果

Claims (7)

1. 画像に含まれる１つ以上の部分領域の各々に関連付けられた、前記部分領域の位置及び大きさを含む幾何情報と、前記部分領域から抽出される特徴量とに基づいて、第一の画像に含まれる部分領域と、第二の画像に含まれる部分領域との対応の適否を検証する検証装置であって、
   部分領域間の特徴量の類似度に基づいて、前記第一の画像に含まれる部分領域の各々と、前記第一の画像に含まれる部分領域の各々に対応する前記第二の画像に含まれる部分領域との組の候補を算出する対応候補算出部と、
   前記対応候補算出部で算出された前記組の候補の各々の部分領域間で、少なくとも大きさを含む幾何情報を比較した値の分布を表す第一のヒストグラムを求める第一検証部と、
   前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置の分布を表し、かつ前記第一検証部により求められた前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の前記幾何情報を比較した値に基づいてビンの幅が決定された第二のヒストグラムを求め、前記組の候補の各々が含まれるビンの頻度に基づいて、前記組の候補が示す前記第一の画像に含まれる部分領域と、前記第二の画像に含まれる部分領域との対応の適否を検証する第二検証部と、
   を含む検証装置。
2. 前記第二検証部は、前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の各々の部分領域間の大きさの比率の統計値と、前記第二の画像に含まれる物体の大きさとを用いて算出される、前記第一の画像に含まれる物体の大きさに基づいて、前記第二のヒストグラムのビンの幅を決定する請求項１に記載の検証装置。
3. 前記第二検証部は、前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置に応じて各ビンに前記組の候補の各々を投票して前記第二のヒストグラムを求める際に、前記組の候補が該当するビン、及び該ビンに隣接するビンに投票する請求項１又は請求項２に記載の検証装置。
4. 画像に含まれる１つ以上の部分領域の各々に関連付けられた、前記部分領域の位置及び大きさを含む幾何情報と、前記部分領域から抽出される特徴量とに基づいて、第一の画像に含まれる部分領域と、第二の画像に含まれる部分領域との対応の適否を検証する検証方法であって、
   対応候補算出部が、部分領域間の特徴量の類似度に基づいて、前記第一の画像に含まれる部分領域の各々と、前記第一の画像に含まれる部分領域の各々に対応する前記第二の画像に含まれる部分領域との組の候補を算出し、
   第一検証部が、前記対応候補算出部で算出された前記組の候補の各々の部分領域間で、少なくとも大きさを含む幾何情報を比較した値の分布を表す第一のヒストグラムを求め、
   第二検証部が、前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置の分布を表し、かつ前記第一検証部により求められた前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の前記幾何情報を比較した値に基づいてビンの幅が決定された第二のヒストグラムを求め、前記組の候補の各々が含まれるビンの頻度に基づいて、前記組の候補が示す前記第一の画像に含まれる部分領域と、前記第二の画像に含まれる部分領域との対応の適否を検証する
   検証方法。
5. 前記第二検証部が、前記第一のヒストグラムにおいて頻度の高いビンに含まれる前記組の候補の各々の部分領域間の大きさの比率の統計値と、前記第二の画像に含まれる物体の大きさとを用いて算出される、前記第一の画像に含まれる物体の大きさに基づいて、前記第二のヒストグラムのビンの幅を決定する請求項４に記載の検証方法。
6. 前記第二検証部が、前記対応候補算出部で算出された前記組の候補の各々における前記第一の画像に含まれる部分領域の位置に応じて各ビンに前記組の候補の各々を投票して前記第二のヒストグラムを求める際に、前記組の候補が該当するビン、及び該ビンに隣接するビンに投票する請求項４又は請求項５に記載の検証方法。
7. コンピュータを、請求項１〜請求項３のいずれか１項に記載の検証装置の各部として機能させるための検証プログラム。