JP6639369B2 - テンプレートマッチング装置、方法、及びプログラム - Google Patents

Description

本発明は、テンプレートマッチング装置、方法、及びプログラムに係り、特に、観測画像におけるテンプレート画像の位置を計算するテンプレートマッチング装置、方法、及びプログラムに関する。

テンプレートマッチングとは、特定の画像パターンを代表するテンプレート画像をあらかじめ用意し、それと同じパターンが観測画像内に存在するかを検出し、存在する場合それの当該箇所を検出するプロセスである。テンプレートマッチング方法は、画像パターンの位置認識、画像中の物体検出、製造部品の実装検査等に広く用いられている。テンプレートマッチング方法は、概ね特徴点ベースの方法と画素ベースの方法に分けられる。

特徴点ベースの方法の一例として、非特許文献１の方法がある。この方法は、テンプレート画像と観測画像を入力とし、画像から複数の特徴点を抽出し、特徴点の照合に基づいてテンプレート画像の観測画像にある位置を算出する。特徴点を抽出する際に、各特徴点について、視覚特徴を表す局所特徴量と、スケール（大きさ）、方向、座標等の幾何形状パラメータが出力される。ここで、入力画像間において、局所特徴量の類似する特徴点のペアを対応点と呼ぶ。前記方法は、入力画像間から全ての対応点を検出した後に、各対応点について、特徴点の幾何形状パラメータに基づいて、拡大縮小倍率、回転角度、位置変動ベクトル等の幾何変換パラメータを算出する。ここで、幾何変換パラメータの類似する対応点を正対応点と呼ぶ。前記方法は、ハフ変換を用いて正対応点を検出し、正対応点の座標に基づいて最小二乗法を用いて入力画像間の幾何変換パラメータを算出する。最後に、前記パラメータを用いてテンプレート画像の観測画像にある位置を算出する。

画素ベースの方法の一例として、非特許文献２の方法がある。この方法は、テンプレート画像と観測画像を入力とし、画素の照合に基づいてテンプレート画像の観測画像にある位置を算出する。具体的に、幾何変換パラメータの候補を多数用意し、各候補を用いてテンプレート画像を観測画像に投影する。各候補について、投影されたテンプレート画像と観測画像と重複した画像領域について、テンプレート画像と観測画像との距離測度を算出する。全ての候補の中から、前記距離測度が最小の候補を入力画像間の幾何変換パラメータと推定する。最後に、推定された候補によって投影されたテンプレート画像の観測画像にある位置を出力する。

David G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision 60(2): 91-110 (2004) Chiou-Shann Fuh and Petros Maragos: "Motion displacement estimation using an affine model for image matching", Opt. Eng. 30(7), 881-887 (Jul 01, 1991).

＜課題１＞
非特許文献１の方法は、正対応点の座標に基づいて最小二乗法を用いて入力画像間の幾何変換パラメータを算出する。最小二乗法は外れ値から大きく悪影響を受けるため、正対応点の座標に誤差がある場合、正確に幾何変換パラメータを算出するのが困難である。外れ値の悪影響を軽減する方法としてRandom Sample Consensus (RANSAC)があるが、外れ値の割合が高い場合、前記悪影響を完全に回避するのが困難である。

＜課題２＞
非特許文献２の方法は、幾何変換パラメータの候補から最適なものを入力画像間の幾何変換パラメータと推定する。正確に幾何変換パラメータを推定するためには、前記候補を非常に多数用意しなければならない。そのため、入力画像間の距離測度の計算回数が膨大で、計算量が非常に大きい。

＜課題３＞
非特許文献２の方法は、入力画像間の距離測度を計算する際に、テンプレート画像の全ての画素を用いるため、計算量が非常に大きい。一部の画素のみを用いる方法として、均一サンプリングやランダムサンプリング等がある。しかし、これらの方法によって選択された画素は、前記距離測度の最適化において、全て識別力があるとは限らない。そのため、距離測度の近似が大きくずれる場合があり、その場合、正確に幾何変換パラメータを推定するのが困難である。

本発明は、上記課題を解決するために成されたものであり、画像間の幾何変換を考慮して、精度よくテンプレート画像の位置を検出することができるテンプレートマッチング装置、方法、及びプログラムを提供することを目的とする。

また、計算量を抑制し、かつ、画像間の幾何変換を考慮して、テンプレート画像の位置を検出することができるテンプレートマッチング装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係るテンプレートマッチング装置は、入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を考慮して、画像間の対応点を検出し、検出された対応点に基づいて、画像間の幾何変換を表す幾何変換パラメータの候補の各々を推定する幾何検証部と、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記幾何変換パラメータの候補を適用したときの前記テンプレート画像と前記観測画像との画像間距離測度を計算する画像間距離測度計算部と、画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定する判断部と、前記判断部によって推定された前記幾何変換パラメータを適用して、前記観測画像における前記テンプレート画像の位置を計算するテンプレート位置計算部と、を含んで構成されている。

第２の発明に係るテンプレートマッチング方法は、幾何検証部が、入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を考慮して、画像間の対応点を検出し、検出された対応点に基づいて、画像間の幾何変換を表す幾何変換パラメータの候補の各々を推定し、画像間距離測度計算部が、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記幾何変換パラメータの候補を適用したときの前記テンプレート画像と前記観測画像との画像間距離測度を計算し、判断部が、画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定し、テンプレート位置計算部が、前記判断部によって推定された前記幾何変換パラメータを適用して、前記観測画像における前記テンプレート画像の位置を計算する。

第３の発明に係るテンプレートマッチング装置は、入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を表す幾何変換パラメータの候補を推定する幾何検証部と、前記テンプレート画像の各画素の画素値の二次微分係数に基づいて、前記テンプレート画像における複数の画素を選択する画素選択部と、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記画素選択部によって選択された画素の各々に対し、前記幾何変換パラメータの候補を適用したときの、前記観測画像における画素の各々との画素間距離測度を計算する画素間距離測度計算部と、前記選択された画素の各々に対して計算された前記画素間距離測度に基づく画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定する判断部と、前記判断部によって推定された前記幾何変換パラメータを適用して、前記観測画像における前記テンプレート画像の位置を計算するテンプレート位置計算部と、を含んで構成されている。

第４の発明に係るテンプレートマッチング方法は、幾何検証部が、入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を表す幾何変換パラメータの候補を推定し、画素選択部が、前記テンプレート画像の各画素の画素値の二次微分係数に基づいて、前記テンプレート画像における複数の画素を選択し、画素間距離測度計算部が、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記画素選択部によって選択された画素の各々に対し、前記幾何変換パラメータの候補を適用したときの、前記観測画像における画素の各々との画素間距離測度を計算し、判断部が、前記選択された画素の各々に対して計算された前記画素間距離測度に基づく画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定し、テンプレート位置計算部が、前記判断部によって推定された前記幾何変換パラメータを適用して、前記観測画像における前記テンプレート画像の位置を計算する。

本発明に係るプログラムは、コンピュータを、上記のテンプレートマッチング装置を構成する各部として機能させるためのプログラムである。

本発明のテンプレートマッチング装置、方法、及びプログラムによれば、入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を考慮して、画像間の対応点を検出し、幾何変換パラメータの候補の各々を推定し、幾何変換パラメータの候補を適用したときの前記テンプレート画像と前記観測画像との画像間距離測度を計算し、画像間距離測度が最小となる前記幾何変換パラメータの候補を適用して、前記観測画像における前記テンプレート画像の位置を計算することにより、画像間の幾何変換を考慮して、精度よくテンプレート画像の位置を検出することができる、という効果が得られる。

また、本発明のテンプレートマッチング装置、方法、及びプログラムによれば、入力されたテンプレート画像と観測画像とのペアについて、幾何変換パラメータの候補の各々を推定し、テンプレート画像の画素値の二次微分係数に基づいて、複数の画素を選択し、選択された画素の各々に対し、前記幾何変換パラメータの候補を適用したときの、前記観測画像における画素の各々との画素間距離測度を計算し、画素間距離測度に基づく画像間距離測度が最小となる前記幾何変換パラメータの候補を適用して、前記観測画像における前記テンプレート画像の位置を計算することにより、計算量を抑制し、かつ、画像間の幾何変換を考慮して、テンプレート画像の位置を検出することができる、という効果が得られる。

本発明の第１の実施の形態に係るテンプレートマッチング装置の構成を示すブロック図である。 本発明の第１の実施の形態に係るテンプレートマッチング装置の画像間距離測度計算部の構成を示すブロック図である。 本発明の第１の実施の形態に係るテンプレートマッチング装置におけるテンプレートマッチング処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係るテンプレートマッチング装置における画像間距離測度を計算する処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜概要＞
前記課題１、２を解決するために、本発明の実施の形態に係るテンプレートマッチング装置は、幾何検証方法を用いて正対応点を検出し、正対応点から算出された幾何変換パラメータのみを候補と見なし、候補の中から、テンプレート画像と観測画像との距離測度が最小の候補を画像間の幾何変換パラメータと推定する。

これにより、非特許文献１の方法と比べて、正対応点の中に誤差の小さいものが一点だけでもあれば、より正確に幾何変換パラメータを推定するのが可能である。そのため、正対応点の特徴点の幾何形状パラメータに誤差がある場合やそのような正対応点の割合が高い場合でも、誤差の悪影響を大幅に抑えるのが可能である。

また、非特許文献２の方法と比べて、幾何変換パラメータの候補の数を非常に少数に絞るのが可能になり、画像間の距離測度の計算回数を大幅に減らし、計算量を抑えるのが可能になる。

［第１の実施の形態］
＜第１の実施の形態に係るテンプレートマッチング装置の構成＞
本発明の第１の実施の形態に係るテンプレートマッチング装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係るテンプレートマッチング装置１００は、ＣＰＵと、ＲＡＭと、後述するテンプレートマッチング処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このテンプレートマッチング装置１００は、機能的には図１に示すように、入力部１０、演算部２０と、出力部９０とを備えている。

入力部１０は、テンプレート画像と観測画像とを受け付ける。

演算部２０は、幾何検証部２２と、画像間距離測度計算部２４と、判断部２６と、テンプレート位置計算部２８と、を含んで構成されている。

幾何検証部２２は、入力部１０により入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を考慮して、画像間の対応点を検出し、検出された対応点に基づいて、画像間の幾何変換を表す幾何変換パラメータの候補の各々を推定する。

具体的には、幾何検証部２２は、テンプレート画像と観測画像を入力とし、幾何検証方法によって幾何変換パラメータの候補を推定し、出力する。例えば、入力画像から複数の特徴点を抽出し、ハフ変換（非特許文献１）やRANSAC等を用いて正対応点を検出する。正対応点から算出された幾何変換パラメータを候補と見なし、出力する。

本実施形態では、各正対応点について、それを構成した特徴点において、テンプレート画像側の特徴点をｐで、観測画像側の特徴点をｑで表す。特徴点ｐについて、スケールをσ（ｐ）で、方向をθ（ｐ）で、二次元の座標をｔ（ｐ）＝［ｘ（ｐ），ｙ（ｐ）］^Tで表す。特徴点ｑについても、同様に記す。テンプレート画像から観測画像への拡大縮小倍率は、

で計算される。テンプレート画像から観測画像への回転角度は、

で計算される。ここで、テンプレート画像から観測画像への変換行列

を用意する。テンプレート画像から観測画像への位置変動ベクトルは、

で計算される。従って、各幾何変換パラメータの候補は、２×２の行列Ｍと２×１の行列ｄによって表現される。

画像間距離測度計算部２４は、幾何検証部２２によって推定された幾何変換パラメータの候補の各々について、当該幾何変換パラメータの候補を適用したときのテンプレート画像と観測画像との画像間距離測度を計算する。

画像間距離測度計算部２４は、図２に示すように、画素選択部３０、幾何変換部３２、画素間距離測度計算部３４、及び判断部３６を備えている。

画素選択部３０は、テンプレート画像における一部の画素を選択し、選択された画素の座標を出力する。

例えば、テンプレート画像に対して、２次元の画像平面上で横と縦の両方向において、一定間隔毎に一個の画素を選択し、選択された全ての画素を出力する。あるいは、テンプレート画像に対して、画素をランダムにｎ個選択し、選択された画素を出力する。

幾何変換部３２は、幾何検証部２２によって推定された幾何変換パラメータの候補の各々と、画素選択部３０から出力されるテンプレート画像の画素座標とを入力とし、幾何変換パラメータの候補の各々について、当該幾何変換パラメータの候補を適用してテンプレート画像の画素座標を観測画像に投影し、投影された画素の座標を出力する。

本実施形態では、幾何変換パラメータの候補は、２×２の行列Ｍと２×１の行列ｄによって表現される。テンプレート画像の画素座標をｔ＝［ｘ，ｙ］^Tで表し、投影された観測画像の画素座標をｔ'＝［ｘ'，ｙ'］^Tで表す。ここで、ｔ'は

で計算される。

画素間距離測度計算部３４は、幾何検証部２２によって推定された幾何変換パラメータの候補の各々について、画素選択部３０によって選択された画素の各々に対し、幾何変換部３２によって出力された観測画像における画素の各々との画素間距離測度を計算する。

テンプレート画像の画素と観測画像の画素との間の距離測度は、絶対差や二乗差等を用いて計算する。ここで、テンプレート画像の画素座標ｔの画素値をＩ（ｔ）で表し、観測画像の画素座標ｔ'の画素値をＩ'（ｔ'）で表す。絶対差を用いる場合、

を計算する。二乗差を用いる場合、

を計算する。前記ＳＡＤとＳＳＤは、画像間の距離測度であり、画素間距離測度（絶対差｜Ｉ（ｔ）−Ｉ'（ｔ'）｜又は二乗差（Ｉ（ｔ）−Ｉ'（ｔ'））²）の総和である。各幾何変換パラメータの候補について、最初はＳＡＤ又はＳＳＤを０に初期化し、テンプレート画像の画素座標と観測画像の画素座標のペアの各々について画素間距離測度計算部３４の処理を行う度に、上記式（６）又は式（７）にしたがって、画素間距離測度を加算するようにＳＡＤ又はＳＳＤを更新する。

判断部３６は、画素選択部３０から出力されたテンプレート画像の画素座標について、幾何変換部３２と画素間距離測度計算部３４の処理が全て終了したかを判断し、全て終了した場合、画像間距離測度ＳＡＤ或いはＳＳＤを出力し、そうでない場合、全て終了するまで反復する。

判断部２６は、全ての幾何変換パラメータの候補について、画像間距離測度計算部の処理が終了したかを判断し、全て終了した場合、画像間距離測度が最小となる幾何変換パラメータの候補を、テンプレート画像と観測画像とのペアにおける幾何変換パラメータとして推定して出力し、そうでない場合、全て終了するまで反復する。

テンプレート位置計算部２８は、判断部２６によって推定された幾何変換パラメータを適用して、観測画像におけるテンプレート画像の位置を計算する。

例えば、テンプレート画像の観測画像にある当該箇所を境界ボックスで表現する場合、境界ボックスの左上の座標をｔ'_min＝［ｘ'_min，ｙ'_min］^Tで、右下の座標をｔ'_max＝［ｘ'_max，ｙ'_max］^Tで表す。テンプレート画像の左上の座標をｔ_min＝［0，0］^Tで表し、右下の座標をｔ_maxで表す。ここで、ｔ'_minを

で計算し、ｔ'_maxを

で計算する。

出力部９０は、テンプレート位置計算部２８によって計算された観測画像内におけるテンプレート画像の位置を結果として出力する。

＜本発明の第１の実施の形態に係るテンプレートマッチング装置の作用＞
次に、本発明の第１の実施の形態に係るテンプレートマッチング装置１００の作用について説明する。入力部１０によって、テンプレート画像と観測画像とを受け付けると、テンプレートマッチング装置１００は、図３に示すテンプレートマッチング処理ルーチンを実行する。

ステップＳ１００において、入力部１０により入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を考慮して、画像間の対応点を検出し、検出された対応点に基づいて、画像間の幾何変換を表す幾何変換パラメータの候補の各々を推定する。

ステップＳ１０２において、推定された幾何変換パラメータの候補のうちの処理対象の幾何変換パラメータの候補をテンプレート画像に適用し、テンプレート画像と観測画像との画像間距離測度を計算する。

ステップＳ１０４において、上記ステップＳ１００で推定された全ての幾何変換パラメータの候補について、上記ステップＳ１０２の処理が実行されたか否かを判定する。全ての幾何変換パラメータの候補について、上記ステップＳ１０２の処理が実行された場合には、画像間距離測度が最小となる幾何変換パラメータの候補を、テンプレート画像と観測画像とのペアにおける幾何変換パラメータとして推定して出力し、ステップＳ１０６へ進む。一方、上記ステップＳ１０２の処理が実行されていない幾何変換パラメータの候補が存在する場合には、当該幾何変換パラメータの候補を処理対象としてステップＳ１０２へ戻る。

ステップＳ１０６において、推定された幾何変換パラメータを適用して、観測画像におけるテンプレート画像の位置を計算して出力部９０により出力して、テンプレートマッチング処理ルーチンを終了する。

上記ステップＳ１０２は、図４に示す処理ルーチンにより実現される。

まず、ステップＳ１１０において、テンプレート画像における一部の画素を選択し、選択された画素の座標を出力する。

ステップＳ１１２において、処理対象の幾何変換パラメータの候補と、上記ステップＳ１１０で出力されたテンプレート画像の画素の座標のうちの処理対象の画素の座標とを入力とし、処理対象の幾何変換パラメータの候補について、当該幾何変換パラメータの候補を用いて、テンプレート画像の処理対象の画素の座標を観測画像に投影し、投影された画素の座標を出力する。

ステップＳ１１４において、処理対象の画素の座標に対し、上記ステップＳ１１２で出力された観測画像における画素の座標との画素間距離測度を計算し、画像間距離測度に加算する。

ステップＳ１１６において、上記ステップＳ１１０で出力されたテンプレート画像の画素の座標の全てについて、上記ステップＳ１１２、Ｓ１１４の処理が終了したかを判断し、全て終了した場合、画像間距離測度を出力する。一方、上記ステップＳ１１２、Ｓ１１４の処理が終了していないテンプレート画像の画素の座標が存在する場合、当該画素の座標を処理対象として上記ステップＳ１１２へ戻る。

以上説明したように、本発明の第１の実施の形態に係るテンプレートマッチング装置によれば、入力されたテンプレート画像と観測画像とのペアについて、画像間の幾何変換を考慮して、画像間の対応点を検出し、幾何変換パラメータの候補の各々を推定し、幾何変換パラメータの候補を適用したときのテンプレート画像と観測画像との画像間距離測度を計算し、画像間距離測度が最小となる幾何変換パラメータの候補を適用して、観測画像におけるテンプレート画像の位置を計算することにより、画像間の幾何変換を考慮して、効率的かつ精度よくテンプレート画像の位置を検出することができる。

なお、上記の実施の形態では、テンプレート画像の一部の画素を選択して、画像間距離測度を計算する場合を例に説明したが、これに限定されるものではなく、テンプレート画像の全画素を用いて、画像間距離測度を計算してもよい。この場合には、テンプレート画像の全画素の各々について、幾何変換パラメータの候補を用いて、観測画像に投影し、画素間距離測度を計算すればよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態に係るテンプレートマッチング装置の構成について説明する。なお、第２の実施の形態に係るテンプレートマッチング装置は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第２の実施の形態では、テンプレート画像において、画像間距離測度を計算するための画素として、画素値の二次微分係数の絶対値が大きい画素を選択する点が、第１の実施の形態と異なる。

＜概要＞
前記課題３を解決するために、本発明の実施の形態に係るテンプレートマッチング装置は、テンプレート画像の全ての画素に対して、画素の座標における画素値の二次微分係数を算出し、二次微分係数の絶対値が最大の画素を複数選択し、選択された画素のみを用いて画像間距離測度を計算する。

これにより、画像間距離測度の計算に用いる画素の数を大幅に減らし、計算量を抑えるのが可能になる。座標における画素値の二次微分係数が顕著な画素は、画像平面上における周辺の画素との画素値の差分が大きい。そのような画素は、距離測度の計算に用いられる際に、正しい幾何変換パラメータと誤っている幾何変換パラメータとの区別において、識別力が高い。そのため、均一サンプリングやランダムサンプリング等の方法と比べて、識別力のより高い画素を選択するのが可能になり、より正確に距離測度を近似し、幾何変換パラメータを推定するのが可能になる。

＜第２の実施の形態に係るテンプレートマッチング装置の構成＞
第２の実施の形態のテンプレートマッチング装置１００の画素選択部３０は、テンプレート画像の各画素の画素値の二次微分係数に基づいて、テンプレート画像における、画素値の二次微分係数の絶対値が大きい複数の画素を選択する。

例えば、テンプレート画像の全ての画素に対して、画素の座標における画素値の二次微分係数を算出し、二次微分係数の絶対値が最大の画素をｎ個選択し、選択された画素を出力する。画素値の二次微分係数は、２次元のラプラシアンフィルタ、Laplacian of Gaussian (LoG)フィルタ、Difference of Gaussian (DoG)フィルタ等を用いて、画像と前記フィルタとの畳み込みを行うことによって算出される。

なお、第２の実施の形態に係るテンプレートマッチング装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、本発明の第２の実施の形態に係るテンプレートマッチング装置によれば、入力されたテンプレート画像と観測画像とのペアについて、幾何変換パラメータの候補の各々を推定し、テンプレート画像の画素値の二次微分係数に基づいて、複数の画素を選択し、選択された画素の各々に対し、幾何変換パラメータの候補を適用したときの、観測画像における画素の各々との画素間距離測度を計算し、画素間距離測度に基づく画像間距離測度が最小となる幾何変換パラメータの候補を適用して、観測画像におけるテンプレート画像の位置を計算することにより、計算量を抑制し、かつ、画像間の幾何変換を考慮して、精度よくテンプレート画像の位置を検出することができる。

［第３の実施の形態］
次に、本発明の第３の実施の形態に係るテンプレートマッチング装置の構成について説明する。なお、第３の実施の形態に係るテンプレートマッチング装置は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第３の実施の形態では、テンプレート画像において、画像間距離測度を計算するための画素として、画素値の二次微分係数が顕著な特徴点に対応する画素を選択する点が、第１の実施の形態と異なる。

＜概要＞
前記課題３を解決するために、本発明の実施の形態に係わるテンプレートマッチング装置は、テンプレート画像から二次微分係数が顕著な特徴点を抽出し、特徴点の座標にある画素のみを用いて画像間距離測度を計算する。

特徴点は、複数の画像スケールにおいて二次微分係数が顕著な局所領域である。より大きい画像スケールで検出された特徴点（＝スケールの小さい特徴点）は、正しい幾何変換パラメータと誤っている幾何変換パラメータとの差分（誤差）が小さい場合において、識別力が高い。逆に、より小さい画像スケールで検出された特徴点（＝スケールの大きい特徴点）は、前記差分が大きい場合において、識別力が高い。従って、特徴点の座標にある画素を距離測度の計算に用いることによって、正しい幾何変換パラメータと誤っている幾何変換パラメータとの差分が小さい場合でも大きい場合でも、より正確に距離測度を近似し、幾何変換パラメータを推定するのが可能である。

＜第３の実施の形態に係るテンプレートマッチング装置の構成＞
第３の実施の形態のテンプレートマッチング装置１００の画素選択部３０は、テンプレート画像から画素値の二次微分係数に基づいて複数の特徴点を抽出し、抽出された複数の特徴点に対応する、テンプレート画像における複数の画素を選択する。

例えば、テンプレート画像から二次微分係数が顕著な特徴点を抽出し、特徴点の座標にある画素を選択し、選択された全ての画素を出力する。前記特徴点は、LoG特徴点検出方法、DoG特徴点検出方法、Hessian-Laplace特徴点検出方法等を用いることによって抽出される。

なお、第３の実施の形態に係るテンプレートマッチング装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、本発明の第３の実施の形態に係るテンプレートマッチング装置によれば、入力されたテンプレート画像と観測画像とのペアについて、幾何変換パラメータの候補の各々を推定し、テンプレート画像の画素値の二次微分係数に基づいて、二次微分係数が顕著な特徴点の画素を選択し、選択された画素の各々に対し、幾何変換パラメータの候補を適用したときの、観測画像における画素の各々との画素間距離測度を計算し、画素間距離測度に基づく画像間距離測度が最小となる幾何変換パラメータの候補を適用して、観測画像におけるテンプレート画像の位置を計算することにより、計算量を抑制し、かつ、画像間の幾何変換を考慮して、精度よくテンプレート画像の位置を検出することができる。

［第４の実施の形態］
次に、本発明の第４の実施の形態に係るテンプレートマッチング装置の構成について説明する。なお、第４の実施の形態に係るテンプレートマッチング装置は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第４の実施の形態では、テンプレート画像において、画像間距離測度を計算するための画素として、画素値の二次微分係数が顕著な特徴点のうち、スケールが上位ｎ個の特徴点に対応する画素を選択する点が、第１の実施の形態と異なる。

＜概要＞
前記課題３を解決するために、本発明に係わるテンプレートマッチング装置は、テンプレート画像から二次微分係数が顕著な特徴点を抽出し、特徴点の座標にある画素のみを用いて画像間距離測度を計算する。特徴点の数が距離測度の計算に必要な画素の数より大きい場合、スケールが小さい順に特徴点を並べ替え、上位の特徴点の座標にある画素のみを用いる。

正しい幾何変換パラメータと誤っている幾何変換パラメータとの差分について、差分が小さい場合、区別がより困難である。そこで、スケールが小さい順に特徴点を並べ替え、上位の特徴点の座標にある画素を選択することによって、正しい幾何変換パラメータと誤っている幾何変換パラメータとを区別する際に、識別力のより高い画素を選択するのが可能になり、より正確に距離測度を近似し、幾何変換パラメータを推定するのが可能になる。

＜第４の実施の形態に係るテンプレートマッチング装置の構成＞
第４の実施の形態のテンプレートマッチング装置１００の画素選択部３０は、テンプレート画像から画素値の二次微分係数に基づいて複数の特徴点を抽出し、抽出された複数の特徴点を、スケールが大きい順に並べ替え、上位ｎ個の特徴点に対応する、テンプレート画像における複数の画素を選択する。

例えば、テンプレート画像から二次微分係数が顕著な特徴点を抽出し、特徴点の座標にある画素を選択する。特徴点の数が距離測度の計算に必要な画素の数より大きい場合、スケールが小さい順に特徴点を並べ替え、上位ｎ個の特徴点の座標にある画素を出力する。

なお、第４の実施の形態に係るテンプレートマッチング装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、本発明の第４の実施の形態に係るテンプレートマッチング装置によれば、入力されたテンプレート画像と観測画像とのペアについて、幾何変換パラメータの候補の各々を推定し、テンプレート画像の画素値の二次微分係数に基づいて、二次微分係数が顕著な特徴点の画素を選択し、選択された画素の各々に対し、幾何変換パラメータの候補を適用したときの、観測画像における画素の各々との画素間距離測度を計算し、画素間距離測度に基づく画像間距離測度が最小となる幾何変換パラメータの候補を適用して、観測画像におけるテンプレート画像の位置を計算することにより、計算量を抑制し、かつ、画像間の幾何変換を考慮して、精度よくテンプレート画像の位置を検出することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述のテンプレートマッチング装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 入力部
２０ 演算部
２２ 幾何検証部
２４ 画像間距離測度計算部
２６ 判断部
２８ テンプレート位置計算部
３０ 画素選択部
３２ 幾何変換部
３４ 画素間距離測度計算部
３６ 判断部
４０ 出力部
１００ テンプレートマッチング装置

Claims (3)

1. 入力されたテンプレート画像と観測画像とのペアについて、テンプレート画像と観測画像との各々から複数の特徴点を抽出し、画像間の幾何変換を考慮して、前記テンプレート画像と前記観測画像との各々の前記複数の特徴点の中から局所特徴量の対応付けを行い、前記テンプレート画像の特徴点と前記テンプレート画像の特徴点に対応する前記観測画像の特徴点とのペアとなる、画像間の正対応点を検出し、検出された正対応点の各々について、画像間の幾何変換を表す幾何変換パラメータの候補の各々を推定することにより、前記正対応点のペア数の幾何変換パラメータの候補を求める幾何検証部と、
   前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記幾何変換パラメータの候補を適用したときの前記テンプレート画像と前記観測画像との画像間距離測度を計算する画像間距離測度計算部と、
   画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定する判断部と、
   前記判断部によって推定された前記幾何変換パラメータを適用して、前記観測画像における前記テンプレート画像の位置を計算するテンプレート位置計算部と、
   を含むテンプレートマッチング装置であって、
   前記画像間距離測度計算部は、さらに、画素選択部、画素間距離測度計算部を有し、
   前記画素選択部は、前記テンプレート画像の各画素の画素値の二次微分係数の絶対値の大きさに基づいて複数の特徴点を抽出し、前記抽出された複数の特徴点のうちの、スケールが小さい順に上位ｎ個（ｎは特徴点の総数より小さい整数）の特徴点に対応する、前記テンプレート画像における複数の局所領域それぞれの画素を選択するものであり、
   前記画素間距離測度計算部は、前記画素選択部によって選択された座標ｔの画素の画素値をＩ（ｔ）とし、前記観測画像の画素座標ｔ'の画素値をＩ'（ｔ'）としたときに、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記画素選択部によって選択された画素の各々に対し、前記幾何変換パラメータの候補を適用したときの、前記観測画像における画素の各々と前記選択された画素の各々との画素間距離測度を、絶対差｜Ｉ（ｔ）−Ｉ'（ｔ'）｜、または、二乗差（Ｉ（ｔ）−Ｉ'（ｔ'）） ^２ により計算するものであり、
   前記判断部は、前記画素間距離測度の総和を前記画像間距離測度として、前記画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定するものである、
   テンプレートマッチング装置。
   
2. 幾何検証部が、入力されたテンプレート画像と観測画像とのペアについて、テンプレート画像と観測画像との各々から複数の特徴点を抽出し、画像間の幾何変換を考慮して、前記テンプレート画像と前記観測画像との各々の前記複数の特徴点の中から局所特徴量の対応付けを行い、前記テンプレート画像の特徴点と前記テンプレート画像の特徴点に対応する前記観測画像の特徴点とのペアとなる、画像間の正対応点を検出し、検出された正対応点の各々について、画像間の幾何変換を表す幾何変換パラメータの候補の各々を推定することにより、前記正対応点のペア数の幾何変換パラメータの候補を求め、
   画像間距離測度計算部が、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記幾何変換パラメータの候補を適用したときの前記テンプレート画像と前記観測画像との画像間距離測度を計算し、
   判断部が、画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定し、
   テンプレート位置計算部が、前記判断部によって推定された前記幾何変換パラメータを
   適用して、前記観測画像における前記テンプレート画像の位置を計算し、
   前記画像間距離測度計算部の画素選択部は、前記テンプレート画像の各画素の画素値の二次微分係数の絶対値の大きさに基づいて複数の特徴点を抽出し、前記抽出された複数の特徴点のうちの、スケールが小さい順に上位ｎ個（ｎは特徴点の総数より小さい整数）の特徴点に対応する、前記テンプレート画像における複数の局所領域それぞれの画素を選択し、
   前記画像間距離測度計算部の画素間距離測度計算部は、前記画素選択部によって選択された座標ｔの画素の画素値をＩ（ｔ）とし、前記観測画像の画素座標ｔ'の画素値をＩ'（ｔ'）としたときに、前記幾何検証部によって推定された前記幾何変換パラメータの候補の各々について、前記画素選択部によって選択された画素の各々に対し、前記幾何変換パラメータの候補を適用したときの、前記観測画像における画素の各々と前記選択された画素の各々との画素間距離測度を、絶対差｜Ｉ（ｔ）−Ｉ'（ｔ'）｜、または、二乗差（Ｉ（ｔ）−Ｉ'（ｔ'）） ^２ により計算し、
   前記判断部は、前記画素間距離測度の総和を前記画像間距離測度として、前記画像間距離測度が最小となる前記幾何変換パラメータの候補を、前記テンプレート画像と前記観測画像とのペアにおける幾何変換パラメータとして推定する、
   テンプレートマッチング方法。
   
3. コンピュータを、請求項１記載のテンプレートマッチング装置を構成する各部として機能させるためのプログラム。