JP6946959B2 - 同一性判定装置、局所特徴抽出装置、方法、及びプログラム - Google Patents

Description

本発明は、同一性判定装置、局所特徴抽出装置、方法、及びプログラムに係り、特に、２つの画像間に同一の被写体が写り込んでいるか否かを判定する同一性判定装置、局所特徴抽出装置、方法、及びプログラムに関する。

２つの画像からなる画像ペアが与えられたときに、その画像ペアに共通した被写体が写り込んでいるか否かを検証する同一性判定技術には、画像ベースの認証や検索、認識等の幅広い用途があり、様々な産業に応用されている。昨今社会問題となっている、インターネット上で個人同士が物品の売買を可能とする所謂フリマアプリにおける不適切な出品(例えば、現金、金券等)の検出もその一例である。画像ペアの一方をサービス提供者が用意する(不適切な物品を写した)画像とし、他方を出品したいユーザがアップロードする画像として、この画像ペアから同一性が判定できれば、不適切な出品を自動的にかつ低コストで検出可能になると期待される。

画像ペアの同一性判定は、「画像間で推定された幾何変換パラメータが、画像間で類似した領域ペアの幾何関係を説明できる度合」を評価することで実現されることが多い。例えば、特許文献１には、各画像から抽出した局所特徴点(例えば、ＳＩＦＴ等)の暫定対応付け結果及び局所特徴点の属性情報から、画像ペアを関係付ける幾何変換パラメータ(例えば、アフィン行列やホモグラフィ行列等)をロバスト推定し、得られた幾何変換パラメータに従う対応(インライヤ)の数に基づくスコアを用いて同一性を判定する方法が記載されている。

上記特許文献１に記載の方法で推定される幾何変換パラメータは一つのみである。インライヤを除外した残りの対応付けに、当該方法を繰り返し適用すれば、画像間を関係付ける幾何変換パラメータが複数存在する場合(例えば、画像ペアに共通する被写体が一つの画像の中に複数含まれている場合)にも対応できる。一方でこのような再帰的な方法は、後段のインライヤ推定処理の精度が、それまでの結果に強く影響を受けてしまう依存性の問題がある。

これに対して、非特許文献１には、予め決められた数の幾何変換パラメータを推定する処理を、合計インライヤの数が増加するように繰り返すことで、上記の依存性による影響を低減させる方法が開示されている。

特開２０１５−９５１５６号公報

M. Zuliani et al., The MultiRANSAC Algorithm and Its Application to Detect Planar Homographies, in Proc. ICIP, 2005.

上述のように、公知の技術による同一性判定は、画像ペアの関係が一つ以上の幾何変換モデルで説明できる場合には精度よく動作することが期待できるが、被写体が幾何変換モデルを逸脱してしまうような変形をしている場合にはこの限りではない。幾何変換モデルで説明できない変形とは、例えば、３次元的な折り曲げや、紙面の劣化に伴い生じる立体的な皺等が挙げられる。被写体にこのような変形が加えられていると、同一の被写体が写り込む画像ペアから抽出されるインライヤの数が大きく減少し、最悪の場合、全く抽出できず、インライヤの数に基づくスコアリングの性能が低下してしまうという問題がある。

本発明は、上記の事情に鑑みてなされたもので、幾何変換モデルでは説明できない変形であっても、同一性を頑健に判定することができる同一性判定装置、局所特徴抽出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る同一性判定装置は、クエリ画像に予め定められた前処理を施す前処理部と、前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出する局所特徴抽出部と、対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出する共通パターン抽出部と、前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出する同一性スコア算出部と、を備え、前記共通パターン抽出部が、前記対象画像の特徴点の局所特徴と前記クエリ画像の特徴点の局所特徴との間で局所特徴が類似した特徴点同士を特徴点ペアとして暫定的に対応付ける暫定対応付け部と、前記暫定対応付け部により対応付けられた特徴点ペアをノードとし、ノード間の特徴点ペアの幾何的な類似性に基づいて、ノード間をエッジにより接続することでグラフを構築するグラフ構築部と、前記グラフ構築部で構築されたグラフの中から、特徴点ペアが幾何的に類似するノード集合をクラスタとして抽出し、クラスタとして抽出したノード集合が表す特徴点ペアの集合を前記共通パターンとするクラスタ抽出部と、を含む。

また、第２の発明に係る同一性判定装置は、第１の発明において、前記記憶部に、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されており、前記共通パターン抽出部が、同一の被写体を表す前記複数の対象画像の各々に対し、前記対象画像と前記クエリ画像との間の共通パターンを抽出し、前記同一性スコア算出部が、前記共通パターン抽出部により抽出された同一の被写体を表す前記複数の対象画像の各々に対して抽出された前記各々の共通パターンをマージすることで同一性を示すスコアを算出する。
また、第３の発明に係る同一性判定装置は、クエリ画像に予め定められた前処理を施す前処理部と、前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出する局所特徴抽出部と、対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出する共通パターン抽出部と、前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出する同一性スコア算出部と、を備え、前記記憶部に、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されており、前記共通パターン抽出部が、同一の被写体を表す前記複数の対象画像の各々に対し、前記対象画像と前記クエリ画像との間の共通パターンを抽出し、前記同一性スコア算出部が、前記共通パターン抽出部により抽出された同一の被写体を表す前記複数の対象画像の各々に対して抽出された前記各々の共通パターンをマージすることで同一性を示すスコアを算出する。

また、第４の発明に係る同一性判定装置は、第１〜第３のいずれか１の発明において、前記局所特徴が、特徴点が抽出される画像中の位置、特徴点の属性、及び、特徴点の位置及び属性により定義されるパッチの特徴記述により構成されている。

一方、上記目的を達成するために、第５の発明に係る局所特徴抽出装置は、複数の対象画像の各々に予め定められた前処理を施す前処理部と、前記前処理部で前処理が施された各対象画像から特徴点の局所特徴を抽出する局所特徴抽出部と、前記局所特徴抽出部により特徴点の局所特徴が抽出された各対象画像のうち、第１対象画像に対応する特徴点の局所特徴と、前記第１対象画像とは異なる被写体を撮影した第２対象画像に対応する特徴点の局所特徴とを入力として、前記第１対象画像と前記第２対象画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを抽出する共通パターン抽出部と、前記共通パターン抽出部により抽出された共通パターンを構成する特徴点を、前記第１対象画像及び前記第２対象画像の各々から選択的に削除する局所特徴選択部と、前記局所特徴選択部により前記第１対象画像及び前記第２対象画像の各々についての前記共通パターンを構成する特徴点が削除された残りの特徴点の局所特徴を前記第１対象画像及び前記第２対象画像の各々に対応付けて記憶する記憶部と、を備えている。

一方、上記目的を達成するために、第６の発明に係る同一性判定方法は、前処理部が、クエリ画像に予め定められた前処理を施すステップと、局所特徴抽出部が、前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出するステップと、共通パターン抽出部が、対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出するステップと、同一性スコア算出部が、前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出するステップと、を含み、前記共通パターン抽出部が共通パターンを各々抽出するステップが、暫定対応付け部が、前記対象画像の特徴点の局所特徴と前記クエリ画像の特徴点の局所特徴との間で局所特徴が類似した特徴点同士を特徴点ペアとして暫定的に対応付けるステップと、グラフ構築部が、前記暫定対応付け部により対応付けられた特徴点ペアをノードとし、ノード間の特徴点ペアの幾何的な類似性に基づいて、ノード間をエッジにより接続することでグラフを構築するステップと、クラスタ抽出部が、前記グラフ構築部で構築されたグラフの中から、特徴点ペアが幾何的に類似するノード集合をクラスタとして抽出し、クラスタとして抽出したノード集合が表す特徴点ペアの集合を前記共通パターンとするステップと、を含む。
また、第７の発明に係る同一性判定方法は、前処理部が、クエリ画像に予め定められた前処理を施すステップと、局所特徴抽出部が、前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出するステップと、共通パターン抽出部が、対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出するステップと、同一性スコア算出部が、前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出するステップと、を含み、前記記憶部に、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されており、前記共通パターン抽出部が共通パターンを各々抽出するステップが、同一の被写体を表す前記複数の対象画像の各々に対し、前記対象画像と前記クエリ画像との間の共通パターンを抽出し、前記同一性スコア算出部が同一性を示すスコアを算出するステップが、前記共通パターン抽出部により抽出された同一の被写体を表す前記複数の対象画像の各々に対して抽出された前記各々の共通パターンをマージすることで同一性を示すスコアを算出する。

更に、上記目的を達成するために、第８の発明に係るプログラムは、コンピュータを、第１〜第４のいずれか１の発明に係る同一性判定装置が備える各部として機能させる。

以上説明したように、本発明に係る同一性判定装置、局所特徴抽出装置、方法、及びプログラムによれば、幾何変換モデルでは説明できない変形であっても、同一性を頑健に判定することができる。

第１の実施形態に係る同一性判定システムの構成の一例を示すブロック図である。 実施形態に係る対象画像とクエリ画像との間における共通パターンの一例を示す図である。 実施形態に係る共通パターン抽出部の構成の一例を示すブロック図である。 実施形態に係る特徴点ペアの幾何的な類似度を算出する方法の一例を説明するための図である。 実施形態に係るグラフからクラスタを抽出する方法の一例を説明するための図である。 実施形態に係るグラフからクラスタを抽出する方法の一例を説明するための図である。 実施形態に係るクラスタリング処理のアルゴリズムの一例を示すフローチャートである。 実施形態に係る共通パターンをマージする場合の対象画像及びクエリ画像の一例を示す図である。 第１の実施形態に係る同一性判定プログラムによる処理の流れの一例を示すフローチャートである。 第２の実施形態に係る同一性判定システムの構成の一例を示すブロック図である。 実施形態に係る共通パターンを構成する特徴点を削除する場合の２つの対象画像の一例を示す図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

［第１の実施形態］
本実施形態では、２つの画像を画像ペアとし、画像ペアの各画像から抽出される特徴点の局所特徴から、各画像で共通する共通パターンを抽出し、抽出した共通パターンに基づいて、画像ペアの同一性を示すスコアを算出する。共通パターンの抽出は、画像ペアにおいて局所特徴が類似した特徴点ペアをノードとし、ノード間の特徴点ペアの幾何的な類似性に基づいて、ノード間をエッジで接続したグラフのクラスタリングにより実現される。

図１は、第１の実施形態に係る同一性判定システム９０の構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る同一性判定システム９０は、同一性判定装置１０と、局所特徴抽出装置２０Ａと、対象画像データベース４０（以下、対象画像ＤＢ４０）と、を備えている。

対象画像ＤＢ４０は、被写体が写り込んだ対象画像からなる対象画像群を格納したデータベースである。

同一性判定装置１０は、前処理部１２、局所特徴抽出部１４、共通パターン抽出部１６、及び同一性スコア算出部１８を備えている。

局所特徴抽出装置２０Ａは、前処理部２２、局所特徴抽出部２４、及び記憶部２６を備えている。前処理部２２は、前処理部１２と同様の機能を有し、局所特徴抽出部２４は、局所特徴抽出部１４と同様の機能を有している。

なお、本実施形態では、同一性判定装置１０と局所特徴抽出装置２０Ａとを別体で構成した場合について示しているが、同一性判定装置１０と局所特徴抽出装置２０Ａとを一体で構成してもよい。この場合、前処理部２２は前処理部１２により実現され、局所特徴抽出部２４は局所特徴抽出部１４により実現される。このため、同一性判定装置１０は、上記各部に加えて、更に、記憶部２６を備えた構成とされる。

本実施形態では、オフラインの処理で、対象画像ＤＢ４０に格納されている各対象画像から特徴点の局所特徴を抽出し、抽出した特徴点の局所特徴と各対象画像とを対応付けて、記憶部２６に格納する。その後、オンラインの処理で、入力されるクエリ画像について、記憶部２６に格納されている各対象画像に写る被写体との同一性を示すスコアを算出する。同一の被写体が写り込んでいるか否かの判定は、例えば、上記同一性を示すスコアを閾値で二値化することによって判定すればよい。

まず、本実施形態に係る局所特徴抽出装置２０Ａが備える各部について具体的に説明する。

本実施形態に係る局所特徴抽出装置２０Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る局所特徴抽出プログラムが記憶されている。なお、局所特徴抽出プログラムは、ＨＤＤに記憶されていてもよい。

上記の局所特徴抽出プログラムは、例えば、局所特徴抽出装置２０Ａに予めインストールされていてもよい。この局所特徴抽出プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、局所特徴抽出装置２０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。

ＣＰＵは、ＲＯＭに記憶されている局所特徴抽出プログラムを読み込んで実行することにより、上記の前処理部２２及び局所特徴抽出部２４として機能する。

本実施形態に係る前処理部２２は、複数の対象画像の各々に予め定められた前処理を施す。具体的に、前処理部２２では、対象画像ＤＢ４０に格納されている各対象画像を所定のサイズに拡大又は縮小する。拡大又は縮小のサイズの設定方法には任意の方法が用いられる。また、例えば、画像ノイズを軽減するための平滑化処理や、画像全体の明るさを調整するための補正処理(γ補正等)を行ってもよい。

本実施形態に係る局所特徴抽出部２４は、前処理部２２で前処理が施された各対象画像から特徴点の局所特徴を抽出する。ここで、局所特徴とは、特徴点が抽出される画像中の位置（ｘ，ｙ）、特徴点の属性(スケールＳ量とオリエンテーションθ)、及び、特徴点の位置と属性から定義されるパッチの特徴記述

により構成されるものとする。特徴点は、一つの対象画像から任意の数が抽出される。特徴点を抽出する方法には任意の方法が用いられる。例えば、以下に示す参考文献１に開示されている、ＤｏＧ、Ｈａｒｒｉｓ-Ｌａｐｌａｃｅ、Ｈｅｓｓｉａｎ-Ａｆｆｉｎｅ、及びＨｅｓｓｉａｎ-Ｈｅｓｓｉａｎ等が用いられる。これらの特徴点抽出方法は、複数同時に用いてもよい。この場合、異なる方法からほぼ同一の特徴点が抽出されることがあるため、特徴点位置や属性情報に基づいて冗長な特徴点は除外することが望ましい。また、特徴記述を得る方法も任意であり、例えば、ＳＩＦＴやＳＵＲＦ、以下に示す参考文献２に開示されている、Ｓｐｒｅａｄ-Ｏｕｔ Ｄｅｓｃｒｉｐｔｏｒを用いたり、あるいは、パッチを構成する全ピクセルをベクトル化して用いたりすることが可能である。得られた特徴記述には、例えば、Ｌ２正規化等の正規化処理を施してもよい。

参考文献１．K. Mikolajczyk et al., A Comparison of Affine Region Detectors, in IJCV, 2005.
参考文献２．X. Zhang et al., Learning Spread-out Local Feature Descriptors, in Proc. ICCV, 2017.

上記のようにして抽出された各対象画像の特徴点の局所特徴は、各対象画像に対応付けられて記憶部２６に格納される。

次に、本実施形態に係る同一性判定装置１０が備える各部について具体的に説明する。

本実施形態に係る同一性判定装置１０は、局所特徴抽出装置２０Ａと同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びＨＤＤ等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る同一性判定プログラムが記憶されている。なお、同一性判定プログラムは、ＨＤＤに記憶されていてもよい。

上記の同一性判定プログラムは、例えば、同一性判定装置１０に予めインストールされていてもよい。この同一性判定プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、同一性判定装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ、光磁気ディスク、ＤＶＤ-ＲＯＭ、フラッシュメモリ、メモリカード等が挙げられる。

ＣＰＵは、ＲＯＭに記憶されている同一性判定プログラムを読み込んで実行することにより、上記の前処理部１２、局所特徴抽出部１４、共通パターン抽出部１６、及び同一性スコア算出部１８として機能する。

本実施形態に係る前処理部１２は、クエリ画像に予め定められた前処理を施す。つまり、前処理部１２は、上述の前処理部２２で施す前処理と同様の前処理を、クエリ画像に適用する。各前処理に関連するパラメータの設定は任意であり、対象画像とは独立に設定してもよい。なお、本実施形態に係るクエリ画像は、対象画像に移る被写体を３次元的に折り曲げたときの被写体が写っている状態について示しているが、被写体はこれに限定されるものではない。例えば、対象画像に移る被写体に立体的な皺を付けたときの被写体を、クエリ画像の被写体としてもよい。

本実施形態に係る局所特徴抽出部１４は、前処理部１２で前処理が施されたクエリ画像から特徴点の局所特徴を抽出する。つまり、局所特徴抽出部１４は、上述の局所特徴抽出部２４で行う抽出処理と同様の抽出処理を、クエリ画像に適用する。

本実施形態に係る共通パターン抽出部１６は、記憶部２６から取得される対象画像に対応する特徴点の局所特徴と、局所特徴抽出部１４で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、対象画像とクエリ画像との間における共通パターンを各々抽出する。ここでいう共通パターンとは、局所特徴が類似する特徴点ペアの集合であり、かつ、幾何的に類似する特徴点ペアの集合からなるパターンである。

図２は、本実施形態に係る対象画像とクエリ画像との間における共通パターンの一例を示す図である。

図２に示す対象画像には、特徴点の部分集合からなるパターンＰ１〜Ｐ６の６つのパターンが抽出されている。一方、図２に示すクエリ画像には、特徴点の部分集合からなるパターンＰｑ１〜Ｐｑ６の６つのパターンが抽出されている。

図２に示す例では、対象画像のパターンＰ１とクエリ画像のパターンＰｑ１とは、局所特徴が類似し、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンとして各々抽出される。同様に、対象画像のパターンＰ２〜Ｐ６の各々とクエリ画像のパターンＰｑ２〜Ｐｑ６の各々とについても共通パターンとして抽出される。

図３は、本実施形態に係る共通パターン抽出部１６の構成の一例を示すブロック図である。
図３に示すように、本実施形態に係る共通パターン抽出部１６は、暫定対応付け部１６Ａ、グラフ構築部１６Ｂ、及びクラスタ抽出部１６Ｃを備えている。

本実施形態に係る暫定対応付け部１６Ａは、対象画像の特徴点の局所特徴とクエリ画像の特徴点の局所特徴との間で局所特徴が類似した特徴点同士を特徴点ペアとして暫定的に対応付ける。特徴点同士を対応付ける方法には任意の方法が用いられる。例えば、一方の画像中のある特徴点に対して、最も類似した他方の画像中の特徴点の類似度が、２番目に類似した他方の画像中の特徴点の類似度よりも十分に高い場合のみ暫定対応とするＲａｔｉｏ Ｔｅｓｔや、互いに最も類似している特徴点ペアである場合のみ暫定対応とするＣｒｏｓｓ Ｃｈｅｃｋ、あるいは、特徴点ペアの類似度又は距離が所定の条件(閾値)を満たす場合のみを暫定対応とする方法等が用いられる。

ここで、局所特徴抽出部２４と合わせて具体例について説明する。例えば、まず、局所特徴抽出部２４でＤｏＧを用いて各対象画像から特徴点を抽出し，各特徴点についてＳＩＦＴにより特徴量を記述、得られた各記述子をＬ２正規化した後に画像間で記述子のＬ２ノルムを総当りで評価し、その距離に基づいて、Ｒａｔｉｏ Ｔｅｓｔ(閾値は例えば０．９とする)をパスした特徴点のみを対応候補とする。ここで得られた暫定的な特徴点ペアは、次に示すグラフ構築部１６Ｂで構築されるグラフのノードに対応する。

本実施形態に係るグラフ構築部１６Ｂは、暫定対応付け部１６Ａにより対応付けられた特徴点ペアをノードとし、ノード間の特徴点ペアの幾何的な類似性に基づいて、ノード間をエッジにより接続することでグラフを構築する。ここで、特徴点ペアの幾何的な類似度は、特徴点ペアを構成する特徴点の位置と属性情報（例えば特徴点のスケールやオリエンテーション）を使用し、特徴点ペアが共通パターンを構成すると仮定した場合に成り立つ幾何的な一貫性の評価を通じて算出するものとする。

上記の特徴点ペアの幾何的な類似度を算出する方法には任意の方法が用いられるが、図４を参照して、類似度算出方法の一例について説明する。

図４は、本実施形態に係る特徴点ペアの幾何的な類似度を算出する方法の一例を説明するための図である。

図４に示すように、画像１と画像２との間の特徴点ペア（以下、暫定対応ペアともいう。）をＣ_ｎ、Ｃ_ｍとし、類似度をｗ（ｎ，ｍ）で表した場合、類似度ｗ（ｎ，ｍ）は、例えば、以下に示す式（１）によって算出される。なお、ｌ_ｉｉ’は、特徴点ｉと特徴点ｉ’との距離を示し、ｌ_ｊｊ’は、特徴点ｊと特徴点ｊ’との距離を示す。

（１）

但し、Ｃ_ｎ＝｛ｉ，ｊ｝、Ｃ_ｍ＝｛ｉ’，ｊ’｝：暫定対応ペア、θ_ｉ：特徴点ｉのオリエンテーション、θ_ｊ：特徴点ｊのオリエンテーション、θ_ｉ’：特徴点ｉ’のオリエンテーション、θ_ｊ’：特徴点ｊ’のオリエンテーション、Ｓ_ｉ：特徴点ｉのスケール、Ｓ_ｊ：特徴点ｊのスケール、Ｓ_ｉ’：特徴点ｉ’のスケール、Ｓ_ｊ’：特徴点ｊ’のスケール、ｌ_ｉｊ：特徴点ｉと特徴点ｊとの距離、ｌ_ｉ’ｊ’：特徴点ｉ’と特徴点ｊ’との距離、

：基準線に対しベクトルｊｉがなす角度、

：基準線に対しベクトルｊ’ｉ’がなす角度、

：基準線に対しベクトルｉｊがなす角度、

：基準線に対しベクトルｉ’ｊ’がなす角度、とする。

上記式（１）では、暫定対応ペアが共通パターンに含まれていた場合、暫定対応ペアを構成する特徴点のうち、同一画像に属する特徴点の距離（ｌ_ｉｉ’、ｌ_ｊｊ’）及び向き

を基準とする。そして、基準に対する特徴点のスケール比が共通パターン間で近い値になるということ、及び、基準に対する特徴点のオリエンテーションの相対的な向きが近い値になるということから、所定のパラメータσ_ｓ，σ_θ，σ_Ｉ，σ_Ｉ’に基づいて、上記を満たす暫定対応ペアにのみエッジを張る処理となっている。上記に加え、共通パターンは、画像中の局所的な領域に含まれる特徴点で構成されることに着目し、暫定対応ペアを構成する特徴点のうち同一画像に属する特徴点の距離（ｌ_ｉｉ’、ｌ_ｊｊ’）が閾値以下である場合にのみ、上記式（１）を計算する処理を加えてもよい。このようにグラフ構築部１６Ｂによれば、暫定対応ペアをノードとし、幾何的に類似した暫定対応ペア間がエッジで接続されたグラフが構築される。

本実施形態に係るクラスタ抽出部１６Ｃは、グラフ構築部１６Ｂで構築されたグラフの中から、暫定対応ペアが幾何的に類似するノード集合をクラスタとして抽出し、クラスタとして抽出したノード集合が表す暫定対応ペアの集合を共通パターンとする。つまり、グラフ構築部１６Ｂにより構築されたグラフにおいて、同一の共通パターンを構成する暫定対応ペアの集合は、互いに類似していると考えられる。クラスタ抽出部１６Ｃでは、互いに類似した暫定対応ペアの集合をクラスタとして抽出する。

図５及び図６は、本実施形態に係るグラフからクラスタを抽出する方法の一例を説明するための図である。

図５に示すように、画像１と画像２との間の暫定対応ペアをノードとするグラフの中から、例えば、以下に示す式（２）を満たすクラスタＳを抽出する。

（２）

この場合、例えば、図５の右図に示したグラフからクラスタ(点線で囲われたノード集合)が抽出された結果、図６の左図に示すような、各画像中の特徴点の集合（特徴点ａ１、ｂ１、ｃ１の集合、特徴点ａ２、ｂ２、ｃ２の集合）が共通パターンとして各々抽出される。抽出されるクラスタの数は任意である。ここで、抽出されるクラスタは、クラスタに含まれる全ての暫定対応ペアについて、暫定対応ペアが共通の特徴点から構成されていないクラスタである。

上記を満たすクラスタを抽出する方法には任意の方法が用いられる。例えば、上記式（２）を満たすクラスタを、図７を参照して説明するクラスタリング処理のアルゴリズムによって抽出することができる。

図７は、本実施形態に係るクラスタリング処理のアルゴリズムの一例を示すフローチャートである。

まず、図７のステップ１００では、クラスタ抽出部１６Ｃが、グラフ中の任意のノードを、その次数に応じて１つサンプリングする。

ステップ１０２では、クラスタ抽出部１６Ｃが、上記ステップ１００でサンプリングしたノードを開始ノードとして、ページランクアルゴリズム等を用いて周辺ノードをランキングする。例えば、以下に示す参考文献３で開示されている近似ページランクアルゴリズムを用いることで、グラフのサイズに依存しない計算コストで周辺ノードをランキングする。

参考文献３．R. Andersen et al., Local Graph Partitioning using PageRank Vectors, in Proc. FOCS, 2006.

ステップ１０４では、クラスタ抽出部１６Ｃが、上記ステップ１０２で得られたランキング順に、ノードをクラスタＳに挿入する。ノードがクラスタＳに挿入されるたびに、δＳ／ｖｏｌ（Ｓ）を計算して記憶しておく。このとき、新たに挿入対象となっているノード（＝暫定対応ペア）を構成する特徴点が、既に選択されたノード（＝暫定対応ペア）を構成する特徴点として使用されていた場合はそのノードはクラスタＳに含めない。

ステップ１０６では、クラスタ抽出部１６Ｃが、上記ステップ１０４で得られたδＳ／ｖｏｌ（Ｓ）が最小となるときまでにクラスタＳに挿入されていたノード集合を、ステップ１００でサンプリングされた開始ノードに対応するクラスタＳとして記憶する。

ステップ１０８では、クラスタ抽出部１６Ｃが、上記ステップ１０６で得られたクラスタＳを構成するノードをグラフから削除する。

ステップ１１０では、クラスタ抽出部１６Ｃが、グラフにノードが含まれているか否かを判定する。グラフにノードが含まれていると判定した場合（肯定判定の場合）、ステップ１００に戻り処理を繰り返す。また、グラフにノードが含まれていないと判定した場合（否定判定の場合）、本アルゴリズムによる一連のクラスタリング処理を終了する。

ここで、上記式（２）の上部で定義されている指標は、ｃｏｎｄｕｃｔａｎｃｅと呼ばれる指標である。当該指標は、クラスタ内部のノード間が密に接続されており、またクラスタが外部と疎に接続されているほど、すなわち、クラスタらしいほどスコアが小さくなる指標である。上記グラフ中において、共通パターンを構成する暫定対応集合のサイズは十分小さいと考えられるため、このようなクラスタを抽出する方法として、図５〜図７を参照して説明した方法は好適である。

なお、上記クラスタリング処理に加え、得られたクラスタを任意の手法でクレンジングしてもよい。例えば、図７を参照して説明した方法で抽出されたクラスタのうち、クラスタを構成するノード数が少ないものは、偶発的に類似したものである可能性が少なくない。このため、得られたクラスタのうちノード数が閾値以下であるものは棄却するといった処理を加えてもよい。

本実施形態に係る同一性スコア算出部１８は、共通パターン抽出部１６で抽出された共通パターンの各々に基づいて、対象画像とクエリ画像との同一性を示すスコアを算出する。つまり、同一性スコア算出部１８では、共通パターン抽出部１６で得られた共通パターンの各々に基づいて、対象画像とクエリ画像とに同一の被写体が写り込んでいる度合を示すスコアを算出する。スコアを算出する方法には任意の方法が用いられる。第１の方法として、例えば、共通パターンの各々を構成する暫定対応ペアの数の合計をスコアとすることができる。また、第２の方法として、共通パターンの各々を構成する暫定対応ペアの数の合計を、全ての暫定対応ペアの数で正規化してスコアとして用いてもよい。あるいは、共通パターンを構成する暫定対応ペアの特徴点を全て含む凸包の面積を、共通パターンの各々について合計した値をスコアとして用いてもよい。

一方、記憶部２６には、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されている場合がある。この場合、共通パターン抽出部１６は、同一の被写体を表す複数の対象画像の各々に対し、対象画像とクエリ画像との間の共通パターンを抽出する。そして、同一性スコア算出部１８は、共通パターン抽出部１６により抽出された同一の被写体を表す複数の対象画像の各々に対して抽出された各々の共通パターンをマージすることで同一性を示すスコアを算出する。

図８は、本実施形態に係る共通パターンをマージする場合の対象画像及びクエリ画像の一例を示す図である。

図８に示すように、対象画像１及び対象画像２とでは、同一の被写体で表と裏の関係になっている。この場合、対象画像１とクエリ画像との間で、パターンＰ１１とパターンＰｑ１１が共通パターンとして抽出される。同様に、対象画像２とクエリ画像との間で、パターンＰ１２とパターンＰｑ１２、及び、パターンＰ１３とパターンＰｑ１３が各々共通パターンとして抽出される。そして、これら抽出された共通パターンをクエリ画像にマージすることで同一性を示すスコアを算出してもよい。

次に、図９を参照して、第１の実施形態に係る同一性判定装置１０の作用を説明する。なお、図９は、第１の実施形態に係る同一性判定プログラムによる処理の流れの一例を示すフローチャートである。

まず、図９のステップ１２０では、前処理部１２が、クエリ画像に予め定められた前処理を施す。

ステップ１２２では、局所特徴抽出部１４が、上記ステップ１２０で前処理が施されたクエリ画像から特徴点の局所特徴を抽出する。

ステップ１２４では、共通パターン抽出部１６が、記憶部２６から対象画像を取得する。

ステップ１２６では、共通パターン抽出部１６が、上記ステップ１２４で取得された対象画像に対応する特徴点の局所特徴と、上記ステップ１２２で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、対象画像とクエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出する。

ステップ１２８では、同一性スコア算出部１８が、上記ステップ１２６で抽出された共通パターンの各々に基づいて、対象画像とクエリ画像との同一性を示すスコアを算出する。

ステップ１３０では、同一性スコア算出部１８が、記憶部２６に記憶されている全ての対象画像についてスコアを算出したか否かを判定する。全ての対象画像についてスコアを算出していないと判定した場合（否定判定の場合）、ステップ１２４に戻り処理を繰り返す。また、全ての対象画像についてスコアを算出したと判定した場合（肯定判定の場合）、算出したスコアに基づいて同一性を判定した結果を出力し、本同一性判定プログラムによる一連の処理を終了する。

このように本実施形態によれば、特徴点ペアの幾何的な類似性が個々の特徴点ペアについて独立して評価される。このため、被写体に幾何変換モデルでは説明できないような変形が生じていても、当該被写体の同一性を頑健に判定することができる。

［第２の実施形態］
上記第１の実施形態では、異なる被写体が写る２つの対象画像の中に共通パターンが含まれる場合、共通パターンを持つクエリ画像は、異なる被写体が写る２つの対象画像の各々との間で同一性を示すスコアが高くなってしまい、同一性の誤判定が発生する可能性がある。これに対して、本実施形態では、オフライン処理において、異なる被写体が写る２つの対象画像間で共通パターンを事前に抽出し、抽出した共通パターンを構成する特徴点を当該２つの対象画像の各々から削除し、残った特徴点の局所特徴のみを当該２つの対象画像の各々に対応付けて記憶しておく。これにより、同一性を示すスコアが不適切に高くなることを抑制する。

図１０は、第２の実施形態に係る同一性判定システム９２の構成の一例を示すブロック図である。
図１０に示すように、本実施形態に係る同一性判定システム９２は、同一性判定装置１０と、局所特徴抽出装置２０Ｂと、対象画像ＤＢ４０と、を備えている。なお、上記第１の実施形態に係る同一性判定システム９０と同一の構成要素には同一の符号を付し、繰り返しの説明は省略する。

本実施形態に係る局所特徴抽出装置２０Ｂは、前処理部２２、局所特徴抽出部２４、記憶部２６に加え、更に、共通パターン抽出部２８及び局所特徴選択部３０を備えている。

なお、本実施形態においても、同一性判定装置１０と局所特徴抽出装置２０Ｂとを別体で構成した場合について示しているが、同一性判定装置１０と局所特徴抽出装置２０Ｂとを一体で構成してもよい。この場合、前処理部２２は前処理部１２により実現され、局所特徴抽出部２４は局所特徴抽出部１４により実現され、共通パターン抽出部２８は共通パターン抽出部１６により実現される。このため、同一性判定装置１０は、上記各部に加えて、更に、記憶部２６及び局所特徴選択部３０を備えた構成とされる。

本実施形態に係る共通パターン抽出部２８は、局所特徴抽出部２４により特徴点の局所特徴が抽出された各対象画像のうち、第１対象画像に対応する特徴点の局所特徴と、第１対象画像とは異なる被写体を撮影した第２対象画像に対応する特徴点の局所特徴とを入力として、第１対象画像と第２対象画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを抽出する。なお、共通パターンの抽出に関するパラメータは、対象画像とクエリ画像との間の共通パターンを抽出する場合に用いるパラメータとは独立に設定してもよい。

本実施形態に係る局所特徴選択部３０は、共通パターン抽出部２８により抽出された共通パターンを構成する特徴点を、第１対象画像及び第２対象画像の各々から選択的に削除する。そして、記憶部２６は、局所特徴選択部３０により第１対象画像及び第２対象画像の各々についての共通パターンを構成する特徴点が削除された残りの特徴点の局所特徴を第１対象画像及び第２対象画像の各々に対応付けて記憶する。つまり、局所特徴選択部３０は、共通パターン抽出部２８で得られた共通パターンに基づいて、対象画像ＤＢ４０に格納されている各対象画像の中で、異なる被写体が写る２つの対象画像で共通パターンを持つものについては、その共通パターンを構成する特徴点を、当該２つの対象画像の各々から削除し、残った特徴点の局所特徴を当該２つの対象画像の各々に対応付けて記憶部２６に記憶する。

図１１は、本実施形態に係る共通パターンを構成する特徴点を削除する場合の２つの対象画像の一例を示す図である。

図１１の左図に示すように、第１対象画像５１に写る被写体は、第２対象画像に写る被写体とは異なっている。図１１の下図に示すように、第１対象画像５１及び第２対象画像の各々から共通パターンが抽出される。そして、図１１の右図に示すように、第１対象画像５１及び第２対象画像の各々から抽出された共通パターンを構成する特徴点が、第１対象画像５１及び第２対象画像５２の各々から選択的に削除される。

このように本実施形態によれば、異なる被写体が写る２つの対象画像の各々からの共通パターンの抽出が抑制される。これにより、同一性を示すスコアが不適切に高くなることが抑制され、同一性の誤判定の発生を抑制することができる。

以上、実施形態として同一性判定装置及び局所特徴抽出装置を例示して説明した。実施形態は、コンピュータを、同一性判定装置が備える各部あるいは局所特徴抽出装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した同一性判定装置及び局所特徴抽出装置の各々の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０ 同一性判定装置
１２、２２ 前処理部
１４、２４ 局所特徴抽出部
１６、２８ 共通パターン抽出部
１８ 同一性スコア算出部
２０Ａ、２０Ｂ局所特徴抽出装置
２６ 記憶部
３０ 局所特徴選択部
４０ 対象画像ＤＢ
５１ 第１対象画像
５２ 第２対象画像
９０、９２ 同一性判定システム

Claims (8)

1. クエリ画像に予め定められた前処理を施す前処理部と、
   前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出する局所特徴抽出部と、
   対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出する共通パターン抽出部と、
   前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出する同一性スコア算出部と、
   を備え、
   前記共通パターン抽出部は、
   前記対象画像の特徴点の局所特徴と前記クエリ画像の特徴点の局所特徴との間で局所特徴が類似した特徴点同士を特徴点ペアとして暫定的に対応付ける暫定対応付け部と、
   前記暫定対応付け部により対応付けられた特徴点ペアをノードとし、ノード間の特徴点ペアの幾何的な類似性に基づいて、ノード間をエッジにより接続することでグラフを構築するグラフ構築部と、
   前記グラフ構築部で構築されたグラフの中から、特徴点ペアが幾何的に類似するノード集合をクラスタとして抽出し、クラスタとして抽出したノード集合が表す特徴点ペアの集合を前記共通パターンとするクラスタ抽出部と、
   を含む
   同一性判定装置。
2. 前記記憶部に、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されており、
   前記共通パターン抽出部は、同一の被写体を表す前記複数の対象画像の各々に対し、前記対象画像と前記クエリ画像との間の共通パターンを抽出し、
   前記同一性スコア算出部は、前記共通パターン抽出部により抽出された同一の被写体を表す前記複数の対象画像の各々に対して抽出された前記各々の共通パターンをマージすることで同一性を示すスコアを算出する請求項１に記載の同一性判定装置。
3. クエリ画像に予め定められた前処理を施す前処理部と、
   前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出する局所特徴抽出部と、
   対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出する共通パターン抽出部と、
   前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出する同一性スコア算出部と、
   を備え、
   前記記憶部に、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されており、
   前記共通パターン抽出部は、同一の被写体を表す前記複数の対象画像の各々に対し、前記対象画像と前記クエリ画像との間の共通パターンを抽出し、
   前記同一性スコア算出部は、前記共通パターン抽出部により抽出された同一の被写体を表す前記複数の対象画像の各々に対して抽出された前記各々の共通パターンをマージすることで同一性を示すスコアを算出する
   同一性判定装置。
4. 前記局所特徴は、特徴点が抽出される画像中の位置、特徴点の属性、及び、特徴点の位置及び属性により定義されるパッチの特徴記述により構成されている請求項１〜３のいずれか１項に記載の同一性判定装置。
5. 複数の対象画像の各々に予め定められた前処理を施す前処理部と、
   前記前処理部で前処理が施された各対象画像から特徴点の局所特徴を抽出する局所特徴抽出部と、
   前記局所特徴抽出部により特徴点の局所特徴が抽出された各対象画像のうち、第１対象画像に対応する特徴点の局所特徴と、前記第１対象画像とは異なる被写体を撮影した第２対象画像に対応する特徴点の局所特徴とを入力として、前記第１対象画像と前記第２対象画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを抽出する共通パターン抽出部と、
   前記共通パターン抽出部により抽出された共通パターンを構成する特徴点を、前記第１対象画像及び前記第２対象画像の各々から選択的に削除する局所特徴選択部と、
   前記局所特徴選択部により前記第１対象画像及び前記第２対象画像の各々についての前記共通パターンを構成する特徴点が削除された残りの特徴点の局所特徴を前記第１対象画像及び前記第２対象画像の各々に対応付けて記憶する記憶部と、
   を備えた局所特徴抽出装置。
6. 前処理部が、クエリ画像に予め定められた前処理を施すステップと、
   局所特徴抽出部が、前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出するステップと、
   共通パターン抽出部が、対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出するステップと、
   同一性スコア算出部が、前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出するステップと、
   を含み、
   前記共通パターン抽出部が共通パターンを各々抽出するステップは、
   暫定対応付け部が、前記対象画像の特徴点の局所特徴と前記クエリ画像の特徴点の局所特徴との間で局所特徴が類似した特徴点同士を特徴点ペアとして暫定的に対応付けるステップと、
   グラフ構築部が、前記暫定対応付け部により対応付けられた特徴点ペアをノードとし、ノード間の特徴点ペアの幾何的な類似性に基づいて、ノード間をエッジにより接続することでグラフを構築するステップと、
   クラスタ抽出部が、前記グラフ構築部で構築されたグラフの中から、特徴点ペアが幾何的に類似するノード集合をクラスタとして抽出し、クラスタとして抽出したノード集合が表す特徴点ペアの集合を前記共通パターンとするステップと、
   を含む
   同一性判定方法。
7. 前処理部が、クエリ画像に予め定められた前処理を施すステップと、
   局所特徴抽出部が、前記前処理部で前処理が施されたクエリ画像から特徴点の局所特徴を抽出するステップと、
   共通パターン抽出部が、対象画像に特徴点の局所特徴を対応付けて記憶した記憶部から取得される対象画像に対応する特徴点の局所特徴と、前記局所特徴抽出部で抽出されたクエリ画像に対応する特徴点の局所特徴とを入力として、前記対象画像と前記クエリ画像との間における、局所特徴が類似する特徴点ペアの集合であって、かつ、幾何的に類似する特徴点ペアの集合からなる共通パターンを各々抽出するステップと、
   同一性スコア算出部が、前記共通パターン抽出部で抽出された共通パターンの各々に基づいて、前記対象画像と前記クエリ画像との同一性を示すスコアを算出するステップと、
   を含み、
   前記記憶部に、同一の被写体の異なる部分を撮影した複数の対象画像が記憶されており、
   前記共通パターン抽出部が共通パターンを各々抽出するステップは、同一の被写体を表す前記複数の対象画像の各々に対し、前記対象画像と前記クエリ画像との間の共通パターンを抽出し、
   前記同一性スコア算出部が同一性を示すスコアを算出するステップは、前記共通パターン抽出部により抽出された同一の被写体を表す前記複数の対象画像の各々に対して抽出された前記各々の共通パターンをマージすることで同一性を示すスコアを算出する
   同一性判定方法。
8. コンピュータを、請求項１〜４のいずれか１項に記載の同一性判定装置が備える各部として機能させるためのプログラム。

Images