JPWO2011083665A1 - 類似度算出装置、類似度算出方法、及びプログラム - Google Patents

Abstract

第１の画像内に設定された第１の局所領域と、第２の画像内で第１の局所領域と最も類似する第２の局所領域との間の変位ベクトルを推定する変位ベクトル推定部１０１と、第１の画像を第２の画像に幾何変換する幾何変換パラメータを推定する幾何変換パラメータ推定部１０２と、幾何変換パラメータに基づいて、変位ベクトルを補正する変位ベクトル補正部１０３と、変位ベクトル補正部１０３において補正した変位ベクトルを２次元空間に投票し、投票画像を作成する投票部１０４と、投票画像上のピークを検出するピーク検出部１０５と、ピークの大きさに応じて第１の画像と第２の画像の類似度を算出する類似度算出部１０６とを備える。

Description

本発明は、類似度算出装置、類似度算出方法、及びプログラムに関する。

従来、画像などのパターンを照合する技術として、画像のテンプレートマッチング技術が知られている。この技術は、テンプレート画像をブロック領域に分割し、各ブロック単位にテンプレートマッチングを行い、各ブロックについて探索対象画像内で最大マッチング率が得られる変位量を求める。この変位量に対応した投票空間の座標にマッチング率等を投票し、投票空間におけるピークを検出することでテンプレートマッチングを行う。

しかし、テンプレート画像に対して探索対象画像が相対的に回転するなどの幾何変換が生じた場合には、幾何変換に伴い最大マッチング率が得られる変位量が変動する。特に回転変動では、幾何変換に伴う変位量が位置によって異なるために、投票空間における投票位置が変動し、投票空間におけるピークが急峻でなくなりなまることになる。このため、マッチングの精度の劣化が生じる。

このような、幾何変換に伴う変位量の変化を考慮した画像照合方法の例が、特許文献１に開示されている。
特許文献１には、入力画像およびモデル画像からそれぞれ複数の特徴的な局所領域を切り出す処理と、選択した局所領域の画像情報を特徴空間上の点集合に投影する処理と、一方の画像の局所領域ごとに、特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して局所領域同士を対応づける処理と、対応付けられた一方の画像の局所領域と他方の画像の局所領域の配置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ推定処理と、推定した幾何変換パラメタを用いて一方の画像の局所領域の画像情報か画像全体の画像情報のいずれかに対して幾何変換を施し、対応付けられた局所領域両者の整合性を評価して照合する処理を備えた画像照合処理方法が開示されている。

特開２００１−９２９６３号公報

しかし、特許文献１に記載された画像照合処理方法では、幾何変換パラメタを用いて一方の画像の局所領域または全体の画像情報のいずれかに対して幾何変換を施し、対応付けられた局所領域両者の整合性を評価しているため、画像情報に幾何変換を施す演算と、変換後の画像に対して、再度局所領域同士の対応づけや、類似度を算出する演算が必要であり、演算量が大幅に増加する。

そこで、本発明の目的は、回転等の幾何変換が生じても、照合精度の劣化を抑制することが可能で、かつ演算量を低減することが可能な類似度算出装置を提供することにある。

本発明に係る類似度算出装置は、第１の画像内に設定された第１の局所領域と、第２の画像内で前記第１の局所領域と最も類似する第２の局所領域との間の変位ベクトルを推定する変位ベクトル推定部と、複数の前記変位ベクトルに基づいて、前記第１の画像を前記第２の画像に幾何変換する幾何変換パラメータを推定する幾何変換パラメータ推定部と、前記幾何変換パラメータに基づいて、前記変位ベクトルから前記幾何変換による変位を減算し、前記変位ベクトルを補正する変位ベクトル補正部と、前記変位ベクトル補正部において補正した前記変位ベクトルを、各々の変位ベクトルの要素により規定される２次元空間に投票する投票部と、前記投票された２次元空間上のピークを検出するピーク検出部と、前記ピークの大きさに応じて前記第１の画像と前記第２の画像の類似度を算出する類似度算出部と、を備えている。

本発明によれば、照合する画像に相対的に回転等の幾何変換が生じても、推定した幾何変換パラメータを用いて、変位ベクトルを補正してから投票を行い、画像同士の類似度を算出するようにしたので、照合精度の劣化を抑制することが可能で、かつ演算量を低減することができる。

本発明の実施形態によるパターン照合装置の構成を示すブロック図である。 本発明の実施形態によるパターン照合装置の動作を示すフローチャートである。 図３（Ａ）〜（Ｃ）は、画像の各参照点において推定される変位ベクトルの例を模式的に表した図である。 図４（Ａ）〜（Ｃ）は、図３（Ａ）〜（Ｃ）で示すそれぞれの変位ベクトルを投票空間に投票処理したときに得られる投票値を模式的に表した図である。 本発明の適用による、投票空間で検出されるピークの変動を説明する図である。

次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。
図１は、本発明の実施形態によるパターン照合装置（類似度算出装置）１００の構成を示すブロック図である。
図に示すように、パターン照合装置１００は、変位ベクトル推定部１０１、幾何変換パラメータ推定部１０２、変位ベクトル補正部１０３、投票部１０４、ピーク検出部１０５、類似度算出部１０６を備えている。

変位ベクトル推定部１０１、幾何変換パラメータ推定部１０２、変位ベクトル補正部１０３、投票部１０４、ピーク検出部１０５、類似度算出部１０６は、プログラムに従ってコンピュータのプロセッサが行う動作のモジュールを表しており、これらは一体としてパターン照合装置１００のプロセッサの機能を構成する。

変位ベクトル推定部１０１は、第１の画像内に設定された第１の局所領域と、第２の画像内で前記第１の局所領域と最も類似する第２の局所領域との間の（変位量である）変位ベクトルを推定する。
幾何変換パラメータ推定部１０２は、第１の画像を第２の画像に幾何変換する幾何変換パラメータを推定する。
変位ベクトル補正部１０３は、幾何変換パラメータに基づいて、変位ベクトルを補正する。
投票部１０４は、変位ベクトル補正部１０３において補正した変位ベクトルを２次元空間に投票し、投票画像を作成する。
ピーク検出部１０５は、投票画像上のピークを検出する。
類似度算出部１０６は、ピークの大きさに応じて第１の画像と第２の画像の類似度を算出する。

次に、パターン照合装置１００の動作について説明する。
図２は、本発明の実施形態によるパターン照合装置１００の動作の例を示すフローチャートである。ここでは顔画像の照合を例にとり説明する。

まず、パターン照合装置１００に、画像照合の対象となる２つの画像が入力される（ステップＳ２０１）。画像の入力はスキャナー等を介して行うことができる。なお、以下では、画像照合の対象となる２つの画像の一方の画像（第１の画像）をｆ（ｘ，ｙ）、他方の画像（第２の画像）をｇ（ｘ，ｙ）と表記し、それぞれの画像サイズを２５６×２５６画素とする。

第１の画像ｆ（ｘ，ｙ）及び第２の画像ｇ（ｘ，ｙ）は、予め目の位置の検出などを行って両画像を対応付けることにより、大きさや向きがおおよそ正規化されている。このような正規化処理には従来技術を用いることができる。ただし、検出される目の位置などには通常検出誤差があり、２つの画像の間には回転などの幾何変動が発生している場合がある。

次に、変位ベクトル推定部１０１が、入力された第１の画像ｆ（ｘ，ｙ）内に設定された複数の参照点（ｓ，ｔ）を含む複数の局所領域について、ブロックマッチング法などを用いて最も類似する第２の画像ｇ（ｘ，ｙ）の局所領域を求め、両画像の類似する局所領域間の変位量である変位ベクトルｖ（ｓ，ｔ）を算出する（ステップＳ２０２）。

具体的には、まず画像ｆ（ｘ，ｙ）の参照点（ｓ，ｔ）を中心とした局所領域と画像ｇ（ｘ，ｙ）の参照点（ｓ＋ｐ，ｔ＋ｑ）を中心とした局所領域の相関値Ｒ（ｓ，ｔ，ｐ，ｑ）を式（１）により算出する。各々の局所領域の大きさは、ｘ方向が２Ｎ_ｕ＋１、ｙ方向が２Ｎ_ｖ＋１とし、例えばＮ_ｕ＝Ｎ_ｖ＝８画素に設定する。また、参照点（ｓ，ｔ）は、例えば８×８画素おきに設定し、第１の画像内に３２×３２の参照点を設定する。

次に、相関値Ｒが最大となる変位量（ｐ_ｍａｘ，ｑ_ｍａｘ）を参照点（ｓ，ｔ）に対する変位ベクトルｖ（ｓ，ｔ）として式（２）により求める。
ここで、ｍａｘ^−１Ｒは、Ｒが最大値となるｐ、ｑを表す。

なお、参照点（ｓ，ｔ）において最大となる相関値をＲ_ｍａｘ（ｓ，ｔ）とする。

次に、幾何変換パラメータ推定部１０２が、ステップＳ２０２で得られた変位ベクトルｖ（ｓ，ｔ）を用いて、画像ｆ（ｘ，ｙ）と画像ｇ（ｘ，ｙ）の間の幾何変換パラメータを推定する（ステップＳ２０３）。画像ｆ（ｘ，ｙ）と画像ｇ（ｘ，ｙ）の間にアフィン変換の拘束下の幾何変換があるとすると、画像ｆ（ｘ，ｙ）の参照点（ｓ，ｔ）と画像ｇ（ｘ，ｙ）の参照点（ｓ’，ｔ’）の関係は式（３）で表される。

ここで、Ａ，ｂはアフィン変換のパラメータである。次に、変位ベクトル推定部１０１によって求められた各参照点（ｓ，ｔ）の変位ベクトルｖ（ｓ，ｔ）を用いて、例えば最小二乗法によってＡ，ｂを推定する。具体的には、式（４）で表されるＪを最小化するＡ，ｂを求める。

なお、ここでは幾何変換パラメータＡ，ｂの推定に、６自由度を持つアフィン変換を用いたが、この他にも、並進と回転の３つのパラメータや並進と回転・拡大縮小の４つのパラメータを推定するようにしても構わない。

次に、変位ベクトル補正部１０３が、ステップＳ２０３で得られた幾何変換パラメータＡ，ｂを用いて、変位ベクトルｖ（ｓ，ｔ）を式（５）により補正し、補正後の変位ベクトルｖ’（ｓ，ｔ）を算出する（ステップＳ２０４）。

次に、投票部１０４が、ステップＳ２０４で得られた補正後の変位ベクトルｖ’（ｓ，ｔ）を用いて、ｖ’（ｓ，ｔ）に対応する２次元の投票空間Ｈに投票する（ステップＳ２０５）。

投票空間Ｈは、ｖ’（ｓ，ｔ）＝（ｐ’，ｑ’）とすると、投票空間Ｈは配列（［ｐ’］，［ｑ’］）で表される。ここで［ｘ］はｘを離散化した値である。投票部１０４は、式（６）、（７）に示すように、投票空間Ｈに、１あるいは変位ベクトルを算出する際に得られた最大相関値Ｒ_ｍａｘ（ｓ，ｔ）を加算する。

次に、ピーク検出部１０５が、投票空間Ｈにおける最大値を示すピークを検出する（ステップＳ２０６）。なお、ピークを検出するために、投票部１０４によって得られた投票空間Ｈに対して平滑化処理などを行ってもよい。このように平滑化を行うことで、ノイズに対する頑強性を確保することができる。平滑化処理としては、例えば２次元の配列である投票空間Ｈに対して、ガウシアンの畳み込み演算などを行えばよい。

次に、類似度算出部１０６が、投票空間Ｈにおける最大ピーク値を求め、ピークの大きさに応じて第１の画像と第２の画像の類似度を算出する（ステップＳ２０７）。ここで、投票空間Ｈに対して平滑化処理などを行っていない場合には、ピーク近傍に対してガウス窓などの重み付け処理を行い、ピーク近傍の投票空間Ｈの値の総和を求めてもよい。
以上の処理により、第１の画像と第２の画像の類似度が算出される。

図３は、各参照点において推定される２つの画像間の変位ベクトルの例を模式的に表した図である。図３（Ａ）は、２つの画像間に位置ずれや回転等がなく、理想的にマッチングが行われる場合に推定される変位ベクトルの例を示している。図３（Ｂ）は、２つの画像の間で並進の位置ずれがある場合に推定される変位ベクトルの例である。図３（Ｃ）は、回転変動が発生した場合に推定される変位ベクトルの例である。

図４（Ａ）〜（Ｃ）は、図３（Ａ）〜（Ｃ）で示すそれぞれの変位ベクトルを投票空間に投票処理したときに得られる投票値を模式的に表したものである。
図に示すように、図４（Ａ）は、２つの画像間に位置ずれや回転等がないので、変位ベクトルが投票空間の座標（０，０）の近辺に分布し、投票空間では急峻なピークが検出される。図４（Ｂ）では、２つの画像間に並進の変位があるが、変位ベクトルは並進に対応してずれた座標値の近辺に分布するので、急峻なピークが検出される。

一方、図４（Ｃ）では、２つの画像間に回転変動があり、それぞれの変位ベクトルには回転の幾何変換に伴う変位の変動が加わり、変位ベクトルの分布が一定とならないため、投票空間で検出されるピーク値が小さくなり、ピークがなまる。また、画像のスケール変動（拡大縮小）が生じる場合にも、回転変動と同様に画像の位置に応じて変動量が変化するために、ピークがなまり、ピーク値が小さくなる。

本実施形態によれば、変位ベクトルｖ（ｓ，ｔ）を幾何変換パラメータＡ，ｂを用いて補正することによって幾何変換に伴う変動量が補正され、原点の座標値（０，０）の近辺に分布を持つ変位ベクトルｖ’（ｓ，ｔ）が得られる。

例えば、図５（Ａ）に示すように、画像の回転変動などにより、投票処理を行った際に得られるピークがなまっている場合でも、幾何変換パラメータを用いて変位ベクトルを補正することにより、図５（Ｂ）に示すように、急峻で大きなピークが検出されるようになる。このように、本実施形態によれば、幾何変換に伴う投票空間のピークのなまりが解消され、２つの画像の類似度判定の精度を向上させることができる。

また、本実施形態によれば、幾何変換パラメータを用いて２つの画像間の変位ベクトルを補正しているため、幾何変換後の変位ベクトルを用いて投票処理を直接行うことができる。このため、画像情報自体に幾何変換を施す場合に比べ、画像の幾何変換処理を行う必要がなく、また幾何変換後の画像に対して再度局所領域同士の対応づけを行うなどの必要もないので、演算量を大幅に低減することができる。

なお、本実施形態では顔画像の照合を例に説明したが、指紋画像や静脈画像などの他の生体パターンのマッチングに適用しても構わない。さらに、本発明は、生体パターンのマッチング以外にも、様々な分野の画像照合に適用することができる。

この出願は、２０１０年１月８日に出願された日本出願特願２０１０−００２５６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、回転等の幾何変換が生じても、照合精度の劣化を抑制することが可能で、かつ演算量を低減することに適している。

１００ パターン照合装置、１０１ 変位ベクトル推定部、１０２ 幾何変換パラメータ推定部、１０３ 変位ベクトル補正部、１０４ 投票部、１０５ ピーク検出部、１０６ 類似度算出部

Claims (5)

1. 第１の画像内に設定された複数の第１の局所領域と、第２の画像内で各々の前記第１の局所領域と最も類似する第２の局所領域との間の変位ベクトルを推定する変位ベクトル推定部と、
   複数の前記変位ベクトルに基づいて、前記第１の画像を前記第２の画像に幾何変換する幾何変換パラメータを推定する幾何変換パラメータ推定部と、
   前記幾何変換パラメータに基づいて、前記変位ベクトルから前記幾何変換による変位を減算し、前記変位ベクトルを補正する変位ベクトル補正部と、
   前記変位ベクトル補正部において補正した前記変位ベクトルを、各々の変位ベクトルの要素により規定される２次元空間に投票する投票部と、
   前記投票された２次元空間上のピークを検出するピーク検出部と、
   前記ピークの大きさに応じて前記第１の画像と前記第２の画像の類似度を算出する類似度算出部と、を備えた類似度算出装置。
2. 前記幾何変換パラメータは、アフィン変換のパラメータであることを特徴とする請求項１に記載の類似度算出装置。
3. 前記投票部は、前記投票を行う２次元空間に対して平滑化処理を行うことを特徴とする請求項１または２に記載の類似度算出装置。
4. 第１の画像内に設定された複数の第１の局所領域と、第２の画像内で各々の前記第１の局所領域と最も類似する第２の局所領域との間の変位ベクトルを推定する工程と、
   複数の前記変位ベクトルに基づいて、前記第１の画像を前記第２の画像に幾何変換する幾何変換パラメータを推定する工程と、
   前記幾何変換パラメータに基づいて、前記変位ベクトルから前記幾何変換による変位を減算し、前記変位ベクトルを補正する工程と、
   補正した前記変位ベクトルを、各々の変位ベクトルの要素により規定される２次元空間に投票する工程と、
   前記投票された２次元空間上のピークを検出する工程と、
   前記ピークの大きさに応じて前記第１の画像と前記第２の画像の類似度を算出する工程と、を備えた類似度算出方法。
5. コンピュータを、
   第１の画像内に設定された複数の第１の局所領域と、第２の画像内で各々の前記第１の局所領域と最も類似する第２の局所領域との間の変位ベクトルを推定する変位ベクトル推定部と、
   複数の前記変位ベクトルに基づいて、前記第１の画像を前記第２の画像に幾何変換する幾何変換パラメータを推定する幾何変換パラメータ推定部と、
   前記幾何変換パラメータに基づいて、前記変位ベクトルから前記幾何変換による変位を減算し、前記変位ベクトルを補正する変位ベクトル補正部と、
   前記変位ベクトル補正部において補正した前記変位ベクトルを、各々の変位ベクトルの要素により規定される２次元空間に投票する投票部と、
   前記投票された２次元空間上のピークを検出するピーク検出部と、
   前記ピークの大きさに応じて前記第１の画像と前記第２の画像の類似度を算出する類似度算出部、として機能させるプログラム。

Images