JP3527588B2 - テンプレートマッチング方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、探索画像内で規準
テンプレートに類似の位置および角度を高速に探索する
画像処理技術に関するものである。

【０００２】

【従来の技術】従来、画像内で規準テンプレート画像を
探索する手法としては、図１（ｂ）のような規準テンプ
レート画像ｇを、図１（ａ）のような探索画像ｆ内で、
図１（ｃ）に示すように動かし、正規化相関値が一番高
い位置および回転角度を見つけることによりマッチング
を行う正規化相関マッチングがよく用いられる。しかし
ながら、規準テンプレート画像を１画素ずつずらして動
かしていく方法では、大きな探索画像に対しては探索時
間がかかり過ぎるという問題点があった。

【０００３】従来、探索時間を削減するやり方として
は、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅに探索する手法、す
なわち最初は大きなサンプリング間隔で規準テンプレー
ト画像との正規化相関を計算し、一番確からしい周辺で
もっと細かい間隔で正規化相関を計算することにより探
索時間の削減を行なう手法が用いられる。しかしながら
この手法の問題は、最初に粗い探索で失敗すればそのあ
とでいくら細かく行なっても探索の失敗を回復できない
ことや、細探索で細かく位置を絞り込んでいく時もまた
探索もれを引き起こすことである。探索洩れをできるだ
け回避するためには粗探索におけるサンプリング間隔を
細かくする必要があるが、細かいサンプリング間隔で
は、もともとの狙いであった、粗いサンプリング間隔で
確からしい位置を推定することにより探索時間を削減す
るというｃｏａｒｓｅ−ｔｏ−ｆｉｎｅのメリットがな
くなってしまうことが問題である。

【０００４】また、高精度に位置を確定したいという要
求がしばしばおこる。この場合でも１画素ずつずらす方
法では画素サイズ以上の推定精度を獲得できない。この
高精度に推定を行なうことに関して従来は、ハードウェ
ア的に解決を行なう方法とソフトウェア的に解決を行う
二通りの方法が行なわれている。

【０００５】ハードウェア的にこの問題を解決するに
は、レンズにより対象物を拡大する方法と画素数の多い
特殊なカメラを使う方法とがある。レンズで拡大するに
方法も特殊なカメラを使う方法も相対的に探索画像サイ
ズを大きくしてしまうため、この場合にも探索時間がか
かるという問題は生じる。また、付加的なレンズや特殊
なカメラのためのコストにより画像処理装置全体に余分
なコストがかかるという問題も無視できない。ソフトウ
ェア的にこの問題を解決する従来手法としては、正規化
相関値が極大をなすまわりを多項式でフィッテイングし
て最大位置をサブピクセル精度で算出する方法がある
が、正規化相関値のフィッテイングでは実際的には、１
／３から１／４ピクセルほどの精度が限界で高精度は望
めない。

【０００６】

【発明が解決しようとする課題】上述したように、従来
のｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法では、探索画像が大
きい時に探索時間がかかり過ぎる問題を高信頼度で解決
することはできない。また、高精度に位置推定を行なう
問題は、ハードウェア的に解決すると探索時間およびコ
ストがかかり、ソフトウェア的に解決すると望むほどの
高精度は得られないという問題があった。

【０００７】本発明の目的は、上記従来技術における、
探索時間の問題と位置推定精度の問題を一挙に解決し、
高速で高精度の位置角度推定結果を高信頼度で与えるこ
とができるテンプレートマッチング方法を提供すること
にある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、探索画像内で基準テンプレート画像に
最も一致する領域の位置および角度を決定する方法にお
いて、３次元空間上に、ｘ方向にΔｘ、ｙ方向にΔｙ、
回転方向にΔθのサンプリング間隔の格子点を設定し、
各格子点に対応した分量だけ並進および回転を作用した
基準テンプレート画像と該格子点における探索画像との
正規化マッチングを探索画像のすべての格子点で行う第
１の過程と、該正規化マッチングで求められた正規化マ
ッチングの値の中から、値の大きなものｐ個の３次元空
間上の位置座標と正規化マッチングの値を選択し出力す
る第２の過程と、該選択され出力された３次元空間上の
位置座標に関しそのｘ−ｙ平面上でΔｘ、Δｙだけ隣接
した位置座標において、それぞれ正規化マッチングの値
を算出し、該算出された隣接した位置座標における正規
化マッチングの値に基づき、隣接した位置座標を結ぶ図
形の内部で最も正規化相関が大となる位置座標とその正
規化相関の値を推測する第３の過程と、該第３の過程で
推測された３次元空間上の位置座標に関しそのθ軸に平
行な方向上でΔθだけ隣接した位置座標において、それ
ぞれ正規化マッチングの値を算出し、該算出された隣接
した位置座標における正規化マッチングの値に基づき、
隣接した位置座標を結ぶ直線上で最も正規化相関が大な
る位置座標とその正規化相関の値を推測する第４の過程
と、前記Δｘ、Δｙ、Δθを予め定められた縮小率ａ、
ｂ、ｃで縮小して、Δｘ、Δｙ、Δθにそれぞれ代入
し、前記第４の過程で推測された位置座標を前記第３の
過程で出力された３次元空間上の位置座標に代入する第
５の過程と、前記第３から第５の過程を前記Δｘ、Δｙ
がサブピクセルの精度になるまで繰り返し、該Δｘ、Δ
ｙがサブピクセルの精度になった時の位置座標と正規化
相関の値を記憶する第６の過程と、前記第３から第６の
過程を前記第２の過程で得られたｐ個の正規化マッチン
グについて実施し、得られたｐ個の正規化相関の中から
最も大きな正規化相関が得られる位置および角度を求め
る第７の過程と、を有するテンプレートマッチング方法
であって、 前記選択され出力された正規化マッチングに
対応する前記３次元空間上の位置座標に関しそのｘ−ｙ
平面上でΔｘ、Δｙだけ隣接した位置座標において、そ
れ ぞれ正規化マッチングの値を算出し、該算出された隣
接した位置座標における正規化マッチングに基づき、隣
接した端点を結ぶ図形の内部で最も正規化相関が大とな
る位置座標とその正規化相関の値を推測する第３の過程
が、候補位置角度まわりの近傍領域をｘ−ｙ平面上の４
つの３角領域に分割し、各３角領域に対してその端点位
置角度の探索画像を端点テンプレート画像とし、その端
点テンプレート画像と規準テンプレート画像とのパラメ
トリックテンプレートマッチングを行う、ことを特徴と
する。

【０００９】あるいは、上記のテンプレートマッチング
方法において、前記第３の過程で推測された３次元空間
上の位置座標に関しそのθ軸に平行な方向上でΔθだけ
隣接した位置座標において、それぞれ正規化マッチング
の値を算出し、該算出された隣接した位置座標における
２つの正規化マッチングの値より、隣接した位置座標を
結ぶ直線上で最も正規化相関が大なる位置座標と正規化
相関を推測する第４の過程が、候補位置角度まわりを回
転角度方向の２つの隣接線分領域に分け、その各線分領
域に対してその端点位置角度での探索画像を端点テンプ
レート画像とし、その端点テンプレート画像と規準テン
プレート画像とのパラメトリックテンプレートマッチン
グを行なう、ことを特徴とする。

【００１０】あるいは、探索画像内で基準テンプレート
画像に最も一致する領域の位置および角度を決定する方
法において、３次元空間上に、ｘ方向にΔｘ、ｙ方向に
Δｙ、回転方向にΔθのサンプリング間隔の格子点を設
定し、各格子点に対応した分量だけ並進および回転を作
用した基準テンプレート画像と該格子点における探索画
像との正規化マッチングを探索画像のすべての格子点で
行う第１の過程と、該正規化マッチングで求められた正
規化マッチングの値の中から、値の大きなものｐ個の３
次元空間上の位置座標と正規化マッチングの値を選択し
出力する第２の過程と、該選択され出力された３次元空
間上の位置座標に関しそのｘ−ｙ平面上でΔｘ、Δｙだ
け隣接した位置座標において、それぞれ正規化マッチン
グの値を算出し、該算出された隣接した位置座標におけ
る正規化マッチングの値に基づき、隣接した位置座標を
結ぶ図形の内部で最も正規化相関が大となる位置座標と
その正規化相関の値を推測する第３の過程と、該第３の
過程で推測された３次元空間上の位置座標に関しそのθ
軸に平行な方向上でΔθだけ隣接した位置座標におい
て、それぞれ正規化マッチングの値を算出し、該算出さ
れた隣接した位置座標における正規化マッチングの値に
基づき、隣接した位置座標を結ぶ直線上で最も正規化相
関が大なる位置座標とその正規化相関の値を推測する第
４の過程と、前記Δｘ、Δｙ、Δθを予め定められた縮
小率ａ、ｂ、ｃで縮小して、Δｘ、Δｙ、Δθにそれぞ
れ代入し、前記第４の過程で推測された位置座標を前記
第３の過程で出力された３次元空間上の位置座標に代入
する第５の過程と、前記第３から第５の過程を前記Δ
ｘ、Δｙがサブピクセルの精度になるまで繰り返し、該
Δｘ、Δｙがサブピクセルの精度になった時の位置座標
と正規化相関の値を記憶する第６の過程と、前記第３か
ら第６の過程を前記第２の過程で得られたｐ個の正規化
マッチングについて実施し、得られたｐ個の正規化相関
の中から最も大きな正規化相関が得られる位置および角
度を求める第７の過程と、を有するテンプレートマッチ
ング方法であって、前記第３の過程で推測された３次元
空間上の位置座標に関しそのθ軸に平行な方向上でΔθ
だけ隣接した位置座標において、それぞれ正規化マッチ
ングの値を算出し、該算出された隣接した位置座標にお
ける２つの正規化マッチングの値より、隣接した位置座
標を結ぶ直線上で最も正規化相関が大なる位置座標と正
規化相関を推測する第４の過程が、候補位置角度まわり
を回転角度方向の２つの隣接線分領域に分け、その各線
分領域に対してその端点位置角度での探索画像を端点テ
ンプレート画像とし、その端点テンプレート画像と規準
テンプレート画像とのパラメトリックテンプレートマッ
チングを行なう、ことを特徴とする。

【００１１】本発明では、ｘ方向にΔｘ、ｙ方向にΔ
ｙ、回転方向にΔθのサンプリング間隔の格子を考え、
各格子点に対応した分量だけ並進および回転した規準テ
ンプレートとそこでの探索画像とのマッチングを行な
い、細探索のための候補を生成する第一の段階と、その
生成された各候補位置において隣接近傍からパラメトリ
ックテンプレート空間を構成し最適な位置角度を推定す
る第二の段階と、パラメトリックテンプレート空間を推
定位置角度を中心として、例えばｘ方向に１／ｉｎＺｏ
ｏｍ＿ｘ倍、ｙ方向に１／ｉｎＺｏｏｍ＿ｙ倍、回転角
度方向に１／ｉｎＺｏｏｍ＿θ倍に縮小しながら最後に
サブピクセルの位置精度になるまで繰り返す第三の段階
と、サブピクセルで推定された各候補の中で最大の正規
化相関値を与える位置角度を推定位置角度とする段階と
により、通常の正規化相関よりも高速に、またサブピク
セルの精度で位置および角度を高精度に推定する。

【００１２】第一の段階では、ｘ方向にΔｘ、ｙ方向に
Δｙ、回転角度方向にΔθのサンプリング間隔の格子を
考え、各格子点に対応した分量だけ並進および回転した
規準テンプレートとその位置角度での探索画像との正規
化相関値の計算を行ない、その正規化相関値のソーティ
ング結果をもとに、値の高い方から上位ｐ候補を生成す
る。第二の段階では、候補位置角度の隣接近傍から複数
の領域を構成し領域の端点と規準テンプレートの正規化
相関値から領域内部のマッチング位置角度を推定する一
過程を有し、複数領域の中で最高の正規化相関値を与え
るものを選びその位置を最適推定位置角度とする。そし
て第三の段階が、パラメトリックテンプレート空間を第
二の段階の最適推定位置角度を中心として、例えばｘ方
向に１／ｉｎＺｏｏｍ＿ｘ倍、ｙ方向に１／ｉｎＺｏｏ
ｍ＿ｙ倍、回転角度方向に１／ｉｎＺｏｏｍ＿θ倍に縮
小し、以下第二の段階のマッチングとこのパラメトリッ
クテンプレート空間の縮小を最適推定位置角度を候補位
置角度としながら、ｘ−ｙ平面の隣接近傍が隣接画素か
ら構成されるまで繰り返し、最後に第二の段階のマッチ
ングをもう一度行ない最適位置角度を推定することによ
り、サブピクセル精度の位置および角度を推定する。さ
らに第二の段階の上記一過程は、候補位置角度まわりの
近傍領域ｘ−ｙ平面上の４つの３角領域に分け、各３角
領域に対してその端点位置角度の探索画像を端点テンプ
レート画像とし、端点テンプレート画像と規準テンプレ
ート画像とのパラメトリックテンプレートマッチングを
行なう過程と、候補位置角度まわりを回転角度方向の２
つの隣接線分領域に分け、その各線分領域に対してその
端点位置角度での探索画像を端点テンプレート画像と
し、その端点テンプレート画像と規準テンプレート画像
とのパラメトリックテンプレートマッチングを行なう過
程とを有し、最後にこれらの過程部分が、テンプレート
画像サイズの次元を持つ空間内に正規化された複数テン
プレートを端点として持つ領域を考え、その内部のテン
プレートを、端点テンプレートから線形補間し、その大
きさを１に正規化することで表現し、そのように表現さ
れた領域内部のテンプレートと規準テンプレートの正規
化相関で最大の値を与えるパラメータおよびそこでの正
規化相関値を、端点テンプレートと規準テンプレートの
正規化相関値からパラメータ推定式を用い決定すること
により、高速に高精度で位置および回転角の推定を行な
う。

【００１３】本発明は、従来のｃｏａｒｓｅ−ｔｏ−ｆ
ｉｎｅ法で問題であった粗探索における探索洩れの可能
性を、粗探索結果をソーティングして複数の上位候補を
出しその候補位置角度から細探索を行なうことで回避
し、また細探索における探索洩れの問題をパラメトリッ
クテンプレート空間でのマッチングで高精度に推定を行
なうことにより回避する。また、このパラメトリックテ
ンプレート空間でのマッチングは高速で行なえるため、
多数の粗探索における上位候補に対して細探索を行なっ
ても探索時間がかからない。このパラメトリックテンプ
レート空間での高速高精度マッチング性を利用すること
により、従来のｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法の欠点
を大幅に改善する。実際パラメトリックテンプレート空
間でのマッチングは、サンプリング間隔の１／１０から
１／２０の精度で行なうことが出来る。これは、このパ
ラメトリックテンプレート空間でのマッチングが、正規
化相関値のフィッテイングではなくテンプレートデータ
の補間法に基づくため、より多くの情報を位置や角度の
決定に使える事に起因する。このように本発明は、大き
な探索画像に対しても、従来方法のような探索洩れを引
き起こすことなく、高速で高精度な探索結果を安定して
与える。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態を、本
発明の原理に基づいて説明する。

【００１５】始めに、正規化相関マッチングについて以
下で簡単に説明する。

【００１６】〈正規化相関〉図１（ａ）のような大きさ
がＬ×Ｍの探索画像ｆ内で、図１（ｂ）のようなサイズ
ｌ×ｍの規準テンプレートｇを、図１（ｃ）にあるよう
に左から右に、上から下に動かしまた回転して、一番類
似の位置角度およびその時の類似度を求める画像探索問
題を考える。以下、規準テンプレートのサイズｌおよび
ｍが奇数であると仮定する。正規化相関マッチング法と
は、規準テンプレートの中心を探索画像の位置（ｘ，
ｙ）に置き、この中心まわりに角度θで回転し、その位
置角度での探索画像との類似度として以下のメジャーｃ
ｏｒｒ（ｘ，ｙ，θ）を採用することである。

【００１７】

【数１】

【００１８】ここで、ｆで探索画像、ｇで規準テンプレ
ート、ｆ［ｉ，ｊ］で（ｉ，ｊ）（∈ＳＷ≡｛（ｉ，
ｊ）｜１≦ｉ≦Ｌ，１≦ｊ≦Ｍ｝）での画像の値、ｇ
［ｋ，ｓ］で（ｋ，ｓ）（∈ＴＷ≡｛（ｋ，ｓ）｜１≦
ｋ≦ｌ，１≦ｓ≦ｍ｝）での画像の値を、［ｍ／２］等
の［］はガウス記号で［ｘ］はｘを越えない整数を表す
ことにする。また、

【００１９】

【数２】

【００２０】は、

【００２１】

【数３】

【００２２】で定義される画像の平均値である。この定
義により正規化相関値ｃｏｒｒ（ｘ，ｙ，θ）は−１．
０から＋１．０までの値をとり、値１．０に近いものほ
ど画像が類似していることを表す。

【００２３】〈単位ベクトルの正規化補間〉上述の正規
化相関マッチングをパラメトリックな規準テンプレート
空間でのマッチングに拡張するために、単位ベクトルの
正規化補間を用いる。以下は単位ベクトルの正規化補間
の説明である。

【００２４】ｆ₀，…，ｆ_MをＮ次元ベクトル空間におけ
る任意の単位ベクトルとした時に、このベクトルを端点
とする領域は、Ｍ＋１個のパラメータω_i（０≦ｉ≦
Ｍ）を導入することにより Σ_i=0 ^Mω_iｆ_i （０．０≦ω_i≦１．０，Σω_i＝１．０） （８） として構成することが出来る。こうして構成されたベク
トルは単位ベクトルとは限らないが、大きさを１に正規
化した ＜ｆ＞_ω≡Σ_i=0 ^Mω_iｆ_i／‖Σ_i=0 ^Mω_iｆ_i‖ （９） は単位ベクトルであり、｛＜ｆ＞_ω｜０．０≦ω_i≦
１．０，Σω_i＝１．０｝を以下ｆ₀，…，ｆ_Mを端点と
した正規化補間領域、＜ｆ＞_ωをパラメータω_iのとこ
ろでの正規化補間と呼ぶ。図２では、３つの単位ベクト
ルを端点とした正規化補間領域が、単位球上にマッピン
グされた３角領域として示されている。図３に示されて
いるように、ω_iパラメータが全て正または０のところ
に対応する正規化補間が正規化補間領域である。

【００２５】次に、ｇをある単位ベクトルとしたとき、
このｇと最大のマッチングの単位ベクトルを与える領域
内のベクトル＜ｆ＞_ωを求めることを考える。それは、 （ｇ，＜ｆ＞_ω）→ｍａｘ （Σ_i=0 ^Mω_i＝１） （１０） なる正規化相関値を最大にするω_i（０≦ｉ≦Ｍ）が与
えるベクトル＜ｆ＞_ωである。ここで、（ｇ，＜ｆ
＞_ω）は （ｆ，ｇ）≡Σ_lｆ［ｌ］×ｇ［ｌ］ （１１） で定義される正規化相関である。これを、ラグランジュ
の未定定数法を用いて解くと、最大正規化相関値を与え
るパラメータω_iは、

【００２６】

【数４】

【００２７】で与えられる。ここで、

【００２８】

【数５】

【００２９】である。こうして求めた解が正規化補間領
域内にある条件は、 ０．０≦ω_i≦１．０ （ｆｏｒ ａｌｌ ｉ） （１７） である。この条件が満たされていない場合には解は単体
の境界にあるので、１次元低い境界において上の解法を
帰納的に行ない解を求める。

【００３０】この解法で注意されることは、正規化補間
される単位ベクトルの最大相関値およびそのパラメータ
値を計算するのに端点単位ベクトル相関値

【００３１】

【数６】

【００３２】と端点ベクトル間の構造を表す相互行列Ｈ
のみの単純な関係から求められることである。これは補
間として正規化補間を行なった利点であり、他の補間で
はこのような簡単な式では求められない。

【００３３】〈テンプレートの正規化〉ここで、パラメ
ータ推定式（１２）を正規化相関マッチングに応用す
る。これは、テンプレート画像が画素サイズのベクトル
とみなせることによる。この同一視は、画像の２次元添
字とベクトルの１次元添字間の ［ｋ，ｓ］←→［ｌ］ （１８） なる対応関係で、前述の単位ベクトルの正規化補間の結
果を読み直せばよい。

【００３４】ところで、正規化相関の式（１）は正規化
したテンプレート画像

【００３５】

【数７】

【００３６】と、位置（ｘ，ｙ）、角度θで正規化した
探索画像

【００３７】

【数８】

【００３８】との以下のような正規化相関にほかならな
い。

【００３９】

【数９】

【００４０】ここでテンプレート画像ｇの正規化

【００４１】

【数１０】

【００４２】とは、

【００４３】

【数１１】

【００４４】で定義され、以下の正規化条件

【００４５】

【数１２】

【００４６】を満たす。また、位置（ｘ，ｙ）、角度θ
での画像ｆの正規化

【００４７】

【数１３】

【００４８】とは、

【００４９】

【数１４】

【００５０】で定義され以下の正規化条件

【００５１】

【数１５】

【００５２】を満たす。

【００５３】〈パラメトリック位置推定法〉さて、図４
にあるような探索画像上の位置（ｃａｎ＿ｘ，ｃａｎ＿
ｙ）、角度ｃａｎ＿θにある正規化されたテンプレート
サイズの画像をｆ_C（ｃａｎ＿ｘ，ｃａｎ＿ｙ，ｃａｎ
＿θ）、その上下左右にある正規化されたテンプレート
サイズの画像ｆ_N（ｃａｎ＿ｘ，ｃａｎ＿ｙ，ｃａｎ＿
θ）、ｆ_S（ｃａｎ＿ｘ，ｃａｎ＿ｙ，ｃａｎ＿θ）、
ｆ_W（ｃａｎ＿ｘ，ｃａｎ＿ｙ，ｃａｎ＿θ）、ｆ_E（ｃ
ａｎ＿ｘ，ｃａｎ＿ｙ，ｃａｎ＿θ）とする。すなわち
Δｘをｘ方向の間隔、Δｙをｙ方向の間隔として、

【００５４】

【数１６】

【００５５】とおく。この時菱形領域

【００５６】

【数１７】

【００５７】の内部で規準テンプレートｇとの正規化相
関値が高い位置を求める。これは、単位ベクトルの正規
化補間の考えにより以下のように求まる。

【００５８】まず、図５のように菱形領域

【００５９】

【数１８】

【００６０】を４つの３角領域

【００６１】

【数１９】

【００６２】へと分解する。個々の３角領域に対して領
域の端点画像を端点テンプレートとするパラメトリック
テンプレート＜ｆ^TR＞_ω(TR)を

【００６３】

【数２０】

【００６４】のように定義する。ここで、ＴＲは３角領
域

【００６５】

【数２１】

【００６６】のいずれかを表し、

【００６７】

【数２２】

【００６８】は３角領域の端点にわたる和を表す。例え
ばＴＲが

【００６９】

【数２３】

【００７０】の場合には

【００７１】

【数２４】

【００７２】におけるｉはＮ、Ｅ、Ｃである。このパラ
メトリックテンプレートは、端点テンプレートで張られ
た領域内のテンプレートを面的に表現していると考えら
れる。

【００７３】ところで、

【００７４】

【数２５】

【００７５】の正規化性（式（２６））よりこうして張
られたパラメトリックテンプレート＜ｆ^TR＞_ω(TR)も正
規化条件を満たす。すなわち、

【００７６】

【数２６】

【００７７】正規化条件を満たすテンプレート画像は、
画像サイズの次元を持つ空間における単位ベクトルとみ
なせるので、パラメータ推定式（１２）を使うことによ
り、このパラメトリックテンプレート＜ｆ^TR＞_ωと規準
テンプレートｇとの最大の正規化相関を与えるパラメー
タの値

【００７８】

【数２７】

【００７９】およびその時の正規化相関値は、端点テン
プレートの正規化相関値から簡単に計算される。

【００８０】そこで、パラメトリックテンプレート＜ｆ
^TR＞_ω(TR)と規準テンプレート画像ｇとの正規化相関 （ｇ，＜ｆ^TR＞_ω(TR)） （３５） で最大となるパラメータ

【００８１】

【数２８】

【００８２】を式（１２）により求め、そのパラメータ
の値から位置（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ）を、

【００８３】

【数２９】

【００８４】と求める。正規化相関値を４つの３角領域
で比較し最大の値を与える３角領域の位置および正規化
相関値をこの菱形領域

【００８５】

【数３０】

【００８６】の推定位置とその時の正規化相関値とす
る。

【００８７】〈パラメトリック角度推定〉次に、探索画
像上の位置（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ）、角度ｃａｎ＿
θにある正規化されたテンプレートサイズの画像をｆ_C
（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ，ｃａｎ＿θ）、その回転角
に関してΔθだけプラス方向とマイナス方向にある正規
化されたテンプレートサイズの画像をｆ_L（ｓｏｌ＿
ｘ，ｓｏｌ＿ｙ，ｃａｎ＿θ）、ｆ_R（ｓｏｌ＿ｘ，ｓ
ｏｌ＿ｙ，ｃａｎ＿θ）とする。すなわちΔθを回転角
度の間隔として

【００８８】

【数３１】

【００８９】とおく。この時線分領域

【００９０】

【数３２】

【００９１】の内部で規準テンプレートｇとの正規化相
関値が高い位置を求める。

【００９２】まず、図６にあるように線分領域

【００９３】

【数３３】

【００９４】を２つの線分領域

【００９５】

【数３４】

【００９６】へと分解する。個々の線分領域に対して領
域の端点を端点テンプレートとするパラメトリックテン
プレート＜ｆ^LR＞_ω(LR)を

【００９７】

【数３５】

【００９８】のように定義する。ここで、ＬＲは線分領
域

【００９９】

【数３６】

【０１００】のいずれかを表し、

【０１０１】

【数３７】

【０１０２】は線分領域の端点にわたる和を表す。例え
ばＬＲが

【０１０３】

【数３８】

【０１０４】の場合には

【０１０５】

【数３９】

【０１０６】におけるｉはＲ、Ｃである。このパラメト
リックテンプレートは端点テンプレートで張られた領域
内のテンプレートを線的に表現していると考えられる。

【０１０７】ところで、

【０１０８】

【数４０】

【０１０９】の正規化性（式（２６））よりこうして張
られたパラメトリックテンプレート＜ｆ^LR＞_ω(LR)も正
規化条件を満たす。そこでパラメトリックテンプレート
＜ｆ^LR＞_ω(LR)と規準テンプレートｇとの正規化相関 （ｇ，＜ｆ^LR＞_ω(LR)） （４８） で最大となるパラメータ

【０１１０】

【数４１】

【０１１１】を式（１２）により求め、そのパラメータ
の値から回転角度ｓｏｌ＿θを、

【０１１２】

【数４２】

【０１１３】と求める。正規化相関値を２つの線分領域
で比較し最大の値を与える線分領域の角度および正規化
相関値をこの線分領域

【０１１４】

【数４３】

【０１１５】の推定角度とその時の正規化相関値とす
る。

【０１１６】〈パラメトリック位置角度推定〉パラメト
リックテンプレート法で位置と角度を推定するために、
前述のパラメトリック位置推定法とパラメトリック角度
推定を逐次的に用いる。すなわち、パラメトリック位置
角度推定のアルゴリズムは、以下の１〜５のステップで
ある。

【０１１７】１．与えられた候補位置（ｃａｎ＿ｘ，ｃ
ａｎ＿ｙ）、候補角度ｃａｎ＿θのまわりでＸ−Ｙ平面
内にΔｘ、Δｙで決定される菱形領域を構成する。

【０１１８】２．菱形領域の端点テンプレートと規準テ
ンプレートの正規化相関を計算し、それをもとに位置推
定値（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ）を計算する。

【０１１９】３．位置推定値（ｓｏｌ＿ｘ，ｓｏｌ＿
ｙ）、候補角度ｃａｎ＿θのまわりでΔθで決定される
線分領域を構成する。

【０１２０】４．線分領域の端点テンプレートと規準テ
ンプレートの正規化相関を計算し、それをもとに角度推
定値ｓｏｌ＿θを計算する。また、そこでの正規化相関
値を計算する。

【０１２１】５．位置推定での（ｓｏｌ＿ｘ，ｓｏｌ＿
ｙ）、角度推定でのｓｏｌ＿θを位置角度推定値としス
テップ４の正規化相関値を位置角度推定の正規化相関値
とする。

【０１２２】

【実施例】本発明の一実施例の実行処理手順を、図７〜
図１０の説明図ならびに図１１〜図１８の処理流れ図を
用いて説明する。本実施例は、探索画像ｆと規準テンプ
レート画像ｇが与えられた時に画像ｆ中で規準テンプレ
ート画像ｇに一番類似の位置および角度を高速にサブピ
クセルの高精度で見つけ出すものである。

【０１２３】まず、高速高精度パラメトリック正規化相
関法の概要は、図１１の処理流れ図にあるように、図７
の位置量子化間隔Δｘ、Δｙ、角度量子化間隔Δθでサ
ンプリングされた格子を考え、この格子点の分量だけ並
進および回転した規準テンプレート画像ｇとその位置角
度の探索画像との正規化相関を式（１９）により計算す
る。図８にあるように得られた正規化相関値をソーティ
ングし、正規化相関値が高い方から上位ｐ候補を選択す
る。これら上位ｐ候補に対して細探索を行いサブピクセ
ル精度で推定された位置角度及びその時の正規化相関値
を得る。この正規化相関値のなかで一番高い値を示す位
置角度が本発明が推定し与える位置角度である。

【０１２４】高速高精度パラメトリック正規化相関法の
詳細は、図１２の処理流れ図にあるように、まず、探索
画像を横Δｘ、縦Δｙの間隔で格子状に区切り、さら
に、それらの格子点では、３６０°をΔθ°で分割す
る。次に、ｘ＝０，ｙ＝０，θ＝０とした後、テンプレ
ート画像を座標（ｉ＝１，ｊ＝１）、角度方向（θ）に
移動し、正規化したテンプレート画像と正規化した探索
画像との正規化相関ｃｏｒｒ（ｘ，ｙ，θ）を式（１
９）から求める。続いてテンプレート画像を、次の格子
点あるいは次の角度方向へ移動を繰り返して、この正規
化相関を、最後の格子点、最後の角度方向まで行う。こ
うして得られた正規化相関の値から上位ｐ候補を選択
し、上位ｐ候補となるテンプレート画像の位置と角度を
ｃａｎ＿ｘ、ｃａｎ＿ｙ、ｃａｎ＿θとする。次に、こ
れら上位ｐ候補に対して細探索を行いサブピクセル精度
で推定された位置角度及びその時の正規化相関値を得、
この正規化相関値のなかで一番高い値を示す位置角度を
出力する。

【０１２５】細探索の概要は、与えられた間隔Δｘ、Δ
ｙ、Δθ、候補位置角度ｃａｎ＿ｘ、ｃａｎ＿ｙ、ｃａ
ｎ＿θに対してパラメトリック位置角度推定を繰り返し
用いることにより行なわれる。

【０１２６】まず、図１３の処理流れ図にあるように、
候補位置（ｃａｎ＿ｘ，ｃａｎ＿ｙ）、候補角度ｃａｎ
＿θ、間隔Δｘ、Δｙで決定される菱形領域に対してパ
ラメトリック位置推定を行なうことにより推定位置（ｓ
ｏｌ＿ｘ，ｓｏｌ＿ｙ）を得る。次に、推定位置（ｓｏ
ｌ＿ｘ，ｓｏｌ＿ｙ）、候補角度ｃａｎ＿θ、間隔Δθ
で決定される隣接線分領域に対してパラメトリック角度
推定を行ない角度ｓｏｌ＿θを得る。Δｘ、Δｙが１ピ
クセルであるならばこれで細探索は終了である。１ピク
セルより大きい場合は、Δｘ、Δｙ、Δθ、ｃａｎ＿
ｘ、ｃａｎ＿ｙ、ｃａｎ＿θを Δｘ＝Δｘ／ｉｎＺｏｏｍ＿ｘ （５１） Δｙ＝Δｙ／ｉｎＺｏｏｍ＿ｙ （５２） Δθ＝Δθ／ｉｎＺｏｏｍ＿θ （５３） ｃａｎ＿ｘ＝ｓｏｌ＿ｘ （５４） ｃａｎ＿ｙ＝ｓｏｌ＿ｙ （５５） ｃａｎ＿θ＝ｓｏｌ＿θ （５６） のように変更して、図９、図１０に示すように、最適位
置、最適角度（図中の★印）を中心としてパラメトリッ
クテンプレートのサーチ領域を縮小ズームしてパラメト
リック位置角度推定を行い、これを、第１段、第２段、
…第ｎ段というように、Δｘ、Δｙが１ピクセルになる
まで、繰り返し行なう。

【０１２７】上記パラメトリック位置角度推定の概要
を、図１４、図１６の処理の流れ図に則して説明する。
図１４にあるように、候補位置（ｃａｎ＿ｘ，ｃａｎ＿
ｙ）、候補角度ｃａｎ＿θの隣接４近傍の個々の３角領
域に対して３角領域の端点を端点テンプレートとして、
パラメトリックテンプレート法を図１８の処理流れ図に
従って用いてパラメータを推定し、式（３６）〜式（４
３）により推定位置（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ）をそれ
ぞれ得る。この４つの中で最大の正規化相関値を与える
ものを、この菱形領域の推定位置（ｓｏｌ＿ｘ，ｓｏｌ
＿ｙ）とする。次に、図１６にあるように、こうして推
定された位置（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ）、候補角度ｃ
ａｎ＿θ、間隔Δθで決定される隣接線分２領域に対し
て線分の端点を端点テンプレートとするパラメトリック
テンプレート法を図１８の処理流れ図に従って用いてパ
ラメータを推定し、式（４９）、式（５０）より推定角
度をそれぞれ得る。この２つの中で最大の正規化相関値
を与えるものを、この線分領域の推定角度ｓｏｌ＿θと
する。また、この正規化相関値をパラメトリック位置角
度推定の正規化相関値とする。

【０１２８】このようなパラメトリック位置角度推定の
詳細を、図１５、図１７の処理の流れ図に即して説明す
る。図１５にあるように、パラメトリック位置推定にお
いては、候補位置（ｃａｎ＿ｘ，ｃａｎ＿ｙ）、候補角
度ｃａｎ＿θの隣接４近傍Ｎ，Ｅ，Ｓ，Ｗにおける正規
化相関

【０１２９】

【数４４】

【０１３０】及び候補位置（ｃａｎ＿ｘ，ｃａｎ＿
ｙ）、候補角度ｃａｎ＿θにおける正規化相関

【０１３１】

【数４５】

【０１３２】を求める。次に、隣接４近傍の３角領域の
一つ△ＮＥＣについて相互ベクトル

【０１３３】

【数４６】

【０１３４】を完成させ、相互逆行列Ｈ^-1を下式に代入
して推定パラメータ

【０１３５】

【数４７】

【０１３６】を導出する。こうして得られたパラメータ
ω_N，ω_E，ω_Cを下式に代入して正規化補間 ｆ_ω≡Σ_i=N,_E,_Cω_iｆ_i／‖Σ_i=N,_E,_Cω_iｆ_i‖ （５３） を導出し、これから正規化相関

【０１３７】

【数４８】

【０１３８】を導出するとともに、式（３６）、式（３
７）により領域△ＮＥＣについての推定位置（ｓｏｌ＿
ｘ，ｓｏｌ＿ｙ）を得る。同様の処理によって、他の３
つの３角領域△ＥＳＣ，△ＳＷＣ，△ＷＮＣについて
も、正規化相関と推定位置を得る。この４つ推定位置の
中で最大の正規化相関値を与えるものを、このＮＥＳＷ
の菱形領域の推定位置（ｓｏｌ＿ｘ，ｓｏｌ＿ｙ）とす
る。

【０１３９】一方、パラメトリック角度推定において
は、図１７にあるように、推定位置（ｓｏｌ＿ｘ，ｓｏ
ｌ＿ｙ）、候補角度（ｃａｎ＿θ）の回転角に関し、隣
り合った角度における正規化相関

【０１４０】

【数４９】

【０１４１】及び推定位置（ｓｏｌ＿ｘ，ｓｏｌ＿
ｙ）、候補角度（ｃａｎ＿θ）における正規化相関

【０１４２】

【数５０】

【０１４３】を求める。次に、隣接した位置座標を結ぶ
直線を分割した線分ＬＣと線分ＲＣについて相互ベクト
ル

【０１４４】

【数５１】

【０１４５】を完成させ、それぞれ相互逆行列Ｈ^-1を下
式に代入して推定パラメータ

【０１４６】

【数５２】

【０１４７】を導出する。こうして得られたパラメータ
ω_L，ω_C，ω_Rをそれぞれ下式に代入して正規化補間 ｆ_ω≡Σ_i=L,_Cω_iｆ_i／‖Σ_i=L,_Cω_iｆ_i‖ （５８） ｆ_ω≡Σ_i=C,_Rω_iｆ_i／‖Σ_i=C,_Rω_iｆ_i‖ （５９） を導出し、これから正規化相関

【０１４８】

【数５３】

【０１４９】を導出するとともに、式（４９）、式（５
０）により各線分領域ＬＣ，ＲＣについての推定角度
（ｓｏｌ＿θ）を得る。この２つの推定角度の中で最大
の正規化相関値を与えるものを、推定角度（ｓｏｌ＿
θ）とする。

【０１５０】最後に、図１８に則してパラメトリックテ
ンプレート法を説明する。端点テンプレートをもとに相
互行列Ｈとその逆行列Ｈ^-1を計算する。また、端点テン
プレートと規準テンプレートとの正規化相関値から相関
ベクトル

【０１５１】

【数５４】

【０１５２】を計算する。この相互行列Ｈの逆行列Ｈ^-1
と相関ベクトル

【０１５３】

【数５５】

【０１５４】とから式（１２）によりパラメータ

【０１５５】

【数５６】

【０１５６】を求める。

【０１５７】

【発明の効果】以上述べたように、本発明は従来のｃｏ
ａｒｓｅ−ｔｏ−ｆｉｎｅ法で問題であった粗探索にお
ける探索洩れの可能性を、粗探索結果をソーティングし
て複数の上位候補を出しその候補において細探索を行な
うことで回避し、また細探索における探索洩れの問題を
パラメトリックテンプレート空間でのマッチングで高精
度に推定を行なうことにより回避する。また、このパラ
メトリックテンプレート空間でのマッチングは高速で行
なえるため、多数の粗探索における上位候補に対して細
探索を行なっても探索時間がかからない。このように大
きな探索画像に対しても高速で高信頼度の推定結果を与
えるという効果がある。また、精度は位置に関して１／
１０ピクセルから１／２０ピクセルの高精度で行なうこ
とが出来るという効果がある。

【図面の簡単な説明】

【図１】（ａ），（ｂ），（ｃ）は正規化相関による規
準画像探索を説明する図

【図２】本発明の実施形態における単位ベクトルの正規
化補間を説明する図

【図３】本発明の実施形態における基準テンプレートの
ωパラメータ表現を説明する図

【図４】（ａ），（ｂ）は本発明の実施形態における４
隣接領域を説明する図

【図５】本発明の実施形態における４隣接領域でのパラ
メトリックテンプレート法を説明する図

【図６】本発明の実施形態における２隣接線分領域での
パラメトリックテンプレート法を説明する図

【図７】本発明の一実施例における粗探索格子を説明す
る図

【図８】本発明の一実施例における細探索のためのｐ候
補選択の様子を説明する図

【図９】本発明の一実施例における位置細探索プロセス
を説明する図

【図１０】本発明の一実施例における角度細探索プロセ
スを説明する図

【図１１】本発明の一実施例における高速高精度パラメ
トリック正規化相関処理の処理流れ図

【図１２】上記高速高精度パラメトリック正規化相関処
理の詳細を示す処理流れ図

【図１３】本発明の一実施例における細探索の処理流れ
図

【図１４】本発明に一実施例におけるパラメトリック位
置推定の処理流れ図

【図１５】上記パラメトリック位置推定の詳細を示す処
理流れ図

【図１６】本発明の一実施例におけるパラメトリック角
度推定の処理流れ図

【図１７】上記パラメトリック角度推定の詳細を示す処
理流れ図

【図１８】本発明の一実施例におけるパラメトリックテ
ンプレート法を示す処理流れ図

───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥平 雅士 東京都新宿区西新宿３丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平５−303643（ＪＰ，Ａ) 特開 平８−77353（ＪＰ，Ａ) 特開 平７−129770（ＪＰ，Ａ) Ｈ．Ｉ．Ａｖｉ−Ｉｔｚｈａｋ，Ａ. Ｖ．Ｍｉｅｇｈｅｍ，ａｎｄ Ｌ．Ｒｕ ｂ，Ｍｕｌｔｉｐｌｅ Ｓｕｂｃｌａｓ ｓ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔ ｉｏｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉ ｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａ ｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ，米国，ＩＥ ＥＥ，1995年 ４月，Ｖｏｌ．ＰＡＭＩ −17，Ｎｏ４，ｐｐ．418−431 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 探索画像内で基準テンプレート画像に最
   も一致する領域の位置および角度を決定する方法におい
   て、 ３次元空間上に、ｘ方向にΔｘ、ｙ方向にΔｙ、回転方
   向にΔθのサンプリング間隔の格子点を設定し、各格子
   点に対応した分量だけ並進および回転を作用した基準テ
   ンプレート画像と該格子点における探索画像との正規化
   マッチングを探索画像のすべての格子点で行う第１の過
   程と、 該正規化マッチングで求められた正規化マッチングの値
   の中から、値の大きなものｐ個の３次元空間上の位置座
   標と正規化マッチングの値を選択し出力する第２の過程
   と、 該選択され出力された３次元空間上の位置座標に関しそ
   のｘ−ｙ平面上でΔｘ、Δｙだけ隣接した位置座標にお
   いて、それぞれ正規化マッチングの値を算出し、該算出
   された隣接した位置座標における正規化マッチングの値
   に基づき、隣接した位置座標を結ぶ図形の内部で最も正
   規化相関が大となる位置座標とその正規化相関の値を推
   測する第３の過程と、 該第３の過程で推測された３次元空間上の位置座標に関
   しそのθ軸に平行な方向上でΔθだけ隣接した位置座標
   において、それぞれ正規化マッチングの値を算出し、該
   算出された隣接した位置座標における正規化マッチング
   の値に基づき、隣接した位置座標を結ぶ直線上で最も正
   規化相関が大なる位置座標とその正規化相関の値を推測
   する第４の過程と、 前記Δｘ、Δｙ、Δθを予め定められた縮小率ａ、ｂ、
   ｃで縮小して、Δｘ、Δｙ、Δθにそれぞれ代入し、前
   記第４の過程で推測された位置座標を前記第３の過程で
   出力された３次元空間上の位置座標に代入する第５の過
   程と、 前記第３から第５の過程を前記Δｘ、Δｙがサブピクセ
   ルの精度になるまで繰り返し、該Δｘ、Δｙがサブピク
   セルの精度になった時の位置座標と正規化相関の値を記
   憶する第６の過程と、 前記第３から第６の過程を前記第２の過程で得られたｐ
   個の正規化マッチングについて実施し、得られたｐ個の
   正規化相関の中から最も大きな正規化相関が得られる位
   置および角度を求める第７の過程と、を有するテンプレ
   ートマッチング 方法であって、 該選択され出力された正規化マッチングに対応する前記
   ３次元空間上の位置座標に関しそのｘ−ｙ平面上でΔ
   ｘ、Δｙだけ隣接した位置座標において、それぞれ正規
   化マッチングの値を算出し、該算出された隣接した位置
   座標における正規化マッチングに基づき、隣接した端点
   を結ぶ図形の内部で最も正規化相関が大となる位置座標
   とその正規化相関の値を推測する第３の過程が、 候補位置角度まわりの近傍領域をｘ−ｙ平面上の４つの
   ３角領域に分割し、各３角領域に対してその端点位置角
   度の探索画像を端点テンプレート画像とし、その端点テ
   ンプレート画像と規準テンプレート画像とのパラメトリ
   ックテンプレートマッチングを行う、 ことを特徴とするテンプレートマッチング方法。
2. 【請求項２】 該第３の過程で推測された３次元空間上
   の位置座標に関しそのθ軸に平行な方向上でΔθだけ隣
   接した位置座標において、それぞれ正規化マッチングの
   値を算出し、該算出された隣接した位置座標における２
   つの正規化マッチングの値より、隣接した位置座標を結
   ぶ直線上で最も正規化相関が大なる位置座標と正規化相
   関を推測する第４の過程が、 候補位置角度まわりを回転角度方向の２つの隣接線分領
   域に分け、その各線分領域に対してその端点位置角度で
   の探索画像を端点テンプレート画像とし、その端点テン
   プレート画像と規準テンプレート画像とのパラメトリッ
   クテンプレートマッチングを行なう、 ことを特徴とする請求項１に記載のテンプレートマッチ
   ング方法。
3. 【請求項３】 探索画像内で基準テンプレート画像に最
   も一致する領域の位置および角度を決定する方法におい
   て、 ３次元空間上に、ｘ方向にΔｘ、ｙ方向にΔｙ、回転方
   向にΔθのサンプリング間隔の格子点を設定し、各格子
   点に対応した分量だけ並進および回転を作用した基準テ
   ンプレート画像と該格子点における探索画像との正規化
   マッチングを探索画像のすべての格子点で行う第１の過
   程と、 該正規化マッチングで求められた正規化マッチングの値
   の中から、値の大きなものｐ個の３次元空間上の位置座
   標と正規化マッチングの値を選択し出力する第 ２の過程
   と、 該選択され出力された３次元空間上の位置座標に関しそ
   のｘ−ｙ平面上でΔｘ、Δｙだけ隣接した位置座標にお
   いて、それぞれ正規化マッチングの値を算出し、該算出
   された隣接した位置座標における正規化マッチングの値
   に基づき、隣接した位置座標を結ぶ図形の内部で最も正
   規化相関が大となる位置座標とその正規化相関の値を推
   測する第３の過程と、 該第３の過程で推測された３次元空間上の位置座標に関
   しそのθ軸に平行な方向上でΔθだけ隣接した位置座標
   において、それぞれ正規化マッチングの値を算出し、該
   算出された隣接した位置座標における正規化マッチング
   の値に基づき、隣接した位置座標を結ぶ直線上で最も正
   規化相関が大なる位置座標とその正規化相関の値を推測
   する第４の過程と、 前記Δｘ、Δｙ、Δθを予め定められた縮小率ａ、ｂ、
   ｃで縮小して、Δｘ、Δｙ、Δθにそれぞれ代入し、前
   記第４の過程で推測された位置座標を前記第３の過程で
   出力された３次元空間上の位置座標に代入する第５の過
   程と、 前記第３から第５の過程を前記Δｘ、Δｙがサブピクセ
   ルの精度になるまで繰り返し、該Δｘ、Δｙがサブピク
   セルの精度になった時の位置座標と正規化相関の値を記
   憶する第６の過程と、 前記第３から第６の過程を前記第２の過程で得られたｐ
   個の正規化マッチングについて実施し、得られたｐ個の
   正規化相関の中から最も大きな正規化相関が得られる位
   置および角度を求める第７の過程と、を有するテンプレ
   ートマッチング方法であって、 該第３の過程で推測された３次元空間上の位置座標に関
   しそのθ軸に平行な方向上でΔθだけ隣接した位置座標
   において、それぞれ正規化マッチングの値を算出し、該
   算出された隣接した位置座標における２つの正規化マッ
   チングの値より、隣接した位置座標を結ぶ直線上で最も
   正規化相関が大なる位置座標と正規化相関を推測する第
   ４の過程が、 候補位置角度まわりを回転角度方向の２つの隣接線分領
   域に分け、その各線分領域に対してその端点位置角度で
   の探索画像を端点テンプレート画像とし、その端点テン
   プレート画像と規準テンプレート画像とのパラメトリッ
   クテンプレート マッチングを行なう、 ことを特徴とするテンプレートマッチング方法。