JPH09330403A - テンプレートマッチング方法 - Google Patents
テンプレートマッチング方法Info
- Publication number
- JPH09330403A JPH09330403A JP8150535A JP15053596A JPH09330403A JP H09330403 A JPH09330403 A JP H09330403A JP 8150535 A JP8150535 A JP 8150535A JP 15053596 A JP15053596 A JP 15053596A JP H09330403 A JPH09330403 A JP H09330403A
- Authority
- JP
- Japan
- Prior art keywords
- normalized
- angle
- matching
- template
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
テンプレートマッチング方法において、高速高精度な位
置角度推定結果を高信頼度で与える。 【解決手段】 x方向にΔx、y方向にΔy、回転方向
にΔθのサンプリング間隔の格子を考え、各格子点に対
応した分量だけ並進および回転した規準テンプレートと
そこでの探索画像とのマッチングを行ない、細探索のた
めの候補を生成する。次に、生成された各候補位置にお
いて隣接近傍からパラメトリックテンプレート空間を構
成し、最適な位置角度を推定する。次に、パラメトリッ
クテンプレート空間を推定位置角度を中心としてx方
向、y方向、回転角度方向にズームして縮小しながら、
最後にサブピクセルの位置精度になるまで繰り返し、サ
ブピクセルで推定された各候補の中で最大の正規化相関
値を与える位置角度を推定位置角度とする。
Description
テンプレートに類似の位置および角度を高速に探索する
画像処理技術に関するものである。
探索する手法としては、図1(b)のような規準テンプ
レート画像gを、図1(a)のような探索画像f内で、
図1(c)に示すように動かし、正規化相関値が一番高
い位置および回転角度を見つけることによりマッチング
を行う正規化相関マッチングがよく用いられる。しかし
ながら、規準テンプレート画像を1画素ずつずらして動
かしていく方法では、大きな探索画像に対しては探索時
間がかかり過ぎるという問題点があった。
は、coarse−to−fineに探索する手法、す
なわち最初は大きなサンプリング間隔で規準テンプレー
ト画像との正規化相関を計算し、一番確からしい周辺で
もっと細かい間隔で正規化相関を計算することにより探
索時間の削減を行なう手法が用いられる。しかしながら
この手法の問題は、最初に粗い探索で失敗すればそのあ
とでいくら細かく行なっても探索の失敗を回復できない
ことや、細探索で細かく位置を絞り込んでいく時もまた
探索もれを引き起こすことである。探索洩れをできるだ
け回避するためには粗探索におけるサンプリング間隔を
細かくする必要があるが、細かいサンプリング間隔で
は、もともとの狙いであった、粗いサンプリング間隔で
確からしい位置を推定することにより探索時間を削減す
るというcoarse−to−fineのメリットがな
くなってしまうことが問題である。
求がしばしばおこる。この場合でも1画素ずつずらす方
法では画素サイズ以上の推定精度を獲得できない。この
高精度に推定を行なうことに関して従来は、ハードウェ
ア的に解決を行なう方法とソフトウェア的に解決を行う
二通りの方法が行なわれている。
は、レンズにより対象物を拡大する方法と画素数の多い
特殊なカメラを使う方法とがある。レンズで拡大するに
方法も特殊なカメラを使う方法も相対的に探索画像サイ
ズを大きくしてしまうため、この場合にも探索時間がか
かるという問題は生じる。また、付加的なレンズや特殊
なカメラのためのコストにより画像処理装置全体に余分
なコストがかかるという問題も無視できない。ソフトウ
ェア的にこの問題を解決する従来手法としては、正規化
相関値が極大をなすまわりを多項式でフィッテイングし
て最大位置をサブピクセル精度で算出する方法がある
が、正規化相関値のフィッテイングでは実際的には、1
/3から1/4ピクセルほどの精度が限界で高精度は望
めない。
のcoarse−to−fine法では、探索画像が大
きい時に探索時間がかかり過ぎる問題を高信頼度で解決
することはできない。また、高精度に位置推定を行なう
問題は、ハードウェア的に解決すると探索時間およびコ
ストがかかり、ソフトウェア的に解決すると望むほどの
高精度は得られないという問題があった。
探索時間の問題と位置推定精度の問題を一挙に解決し、
高速で高精度の位置角度推定結果を高信頼度で与えるこ
とができるテンプレートマッチング方法を提供すること
にある。
めに、本発明は、探索画像内で基準テンプレート画像に
最も一致する領域の位置および角度を決定する方法にお
いて、3次元空間上に、x方向にΔx、y方向にΔy、
回転方向にΔθのサンプリング間隔の格子点を設定し、
各格子点に対応した分量だけ並進および回転を作用した
基準テンプレート画像と該格子点における探索画像との
正規化マッチングを探索画像のすべての格子点で行う第
1の過程と、該正規化マッチングで求められた正規化マ
ッチングの値の中から、値の大きなものp個の3次元空
間上の位置座標と正規化マッチングの値を選択し出力す
る第2の過程と、該選択され出力された3次元空間上の
位置座標に関しそのx−y平面上でΔx、Δyだけ隣接
した位置座標において、それぞれ正規化マッチングの値
を算出し、該算出された隣接した位置座標における正規
化マッチングの値に基づき、隣接した位置座標を結ぶ図
形の内部で最も正規化相関が大となる位置座標とその正
規化相関の値を推測する第3の過程と、該第3の過程で
推測された3次元空間上の位置座標に関しそのθ軸に平
行な方向上でΔθだけ隣接した位置座標において、それ
ぞれ正規化マッチングの値を算出し、該算出された隣接
した位置座標における正規化マッチングの値に基づき、
隣接した位置座標を結ぶ直線上で最も正規化相関が大な
る位置座標とその正規化相関の値を推測する第4の過程
と、前記Δx、Δy、Δθを予め定められた縮小率a、
b、cで縮小して、Δx、Δy、Δθにそれぞれ代入
し、前記第4の過程で推測された位置座標を前記第3の
過程で出力された3次元空間上の位置座標に代入する第
5の過程と、前記第3から第5の過程を前記Δx、Δy
がサブピクセルの精度になるまで繰り返し、該Δx、Δ
yがサブピクセルの精度になった時の位置座標と正規化
相関の値を記憶する第6の過程と、前記第3から第6の
過程を前記第2の過程で得られたp個の正規化マッチン
グについて実施し、得られたp個の正規化相関の中から
最も大きな正規化相関が得られる位置および角度を求め
る第7の過程と、を有することを特徴とする。
チングに対応する前記3次元空間上の位置座標に関しそ
のx−y平面上でΔx、Δyだけ隣接した位置座標にお
いて、それぞれ正規化マッチングの値を算出し、該算出
された隣接した位置座標における正規化マッチングに基
づき、隣接した端点を結ぶ図形の内部で最も正規化相関
が大となる位置座標とその正規化相関の値を推測する第
3の過程が、候補位置角度まわりの近傍領域をx−y平
面上の4つの3角領域に分割し、各3角領域に対してそ
の端点位置角度の探索画像を端点テンプレート画像と
し、その端点テンプレート画像と規準テンプレート画像
とのパラメトリックテンプレートマッチングを行う、こ
とを特徴とする。
元空間上の位置座標に関しそのθ軸に平行な方向上でΔ
θだけ隣接した位置座標において、それぞれ正規化マッ
チングの値を算出し、該算出された隣接した位置座標に
おける2つの正規化マッチングの値より、隣接した位置
座標を結ぶ直線上で最も正規化相関が大なる位置座標と
正規化相関を推測する第4の過程が、候補位置角度まわ
りを回転角度方向の2つの隣接線分領域に分け、その各
線分領域に対してその端点位置角度での探索画像を端点
テンプレート画像とし、その端点テンプレート画像と規
準テンプレート画像とのパラメトリックテンプレートマ
ッチングを行なう、ことを特徴とする。
y、回転方向にΔθのサンプリング間隔の格子を考え、
各格子点に対応した分量だけ並進および回転した規準テ
ンプレートとそこでの探索画像とのマッチングを行な
い、細探索のための候補を生成する第一の段階と、その
生成された各候補位置において隣接近傍からパラメトリ
ックテンプレート空間を構成し最適な位置角度を推定す
る第二の段階と、パラメトリックテンプレート空間を推
定位置角度を中心として、例えばx方向に1/inZo
om_x倍、y方向に1/inZoom_y倍、回転角
度方向に1/inZoom_θ倍に縮小しながら最後に
サブピクセルの位置精度になるまで繰り返す第三の段階
と、サブピクセルで推定された各候補の中で最大の正規
化相関値を与える位置角度を推定位置角度とする段階と
により、通常の正規化相関よりも高速に、またサブピク
セルの精度で位置および角度を高精度に推定する。
Δy、回転角度方向にΔθのサンプリング間隔の格子を
考え、各格子点に対応した分量だけ並進および回転した
規準テンプレートとその位置角度での探索画像との正規
化相関値の計算を行ない、その正規化相関値のソーティ
ング結果をもとに、値の高い方から上位p候補を生成す
る。第二の段階では、候補位置角度の隣接近傍から複数
の領域を構成し領域の端点と規準テンプレートの正規化
相関値から領域内部のマッチング位置角度を推定する一
過程を有し、複数領域の中で最高の正規化相関値を与え
るものを選びその位置を最適推定位置角度とする。そし
て第三の段階が、パラメトリックテンプレート空間を第
二の段階の最適推定位置角度を中心として、例えばx方
向に1/inZoom_x倍、y方向に1/inZoo
m_y倍、回転角度方向に1/inZoom_θ倍に縮
小し、以下第二の段階のマッチングとこのパラメトリッ
クテンプレート空間の縮小を最適推定位置角度を候補位
置角度としながら、x−y平面の隣接近傍が隣接画素か
ら構成されるまで繰り返し、最後に第二の段階のマッチ
ングをもう一度行ない最適位置角度を推定することによ
り、サブピクセル精度の位置および角度を推定する。さ
らに第二の段階の上記一過程は、候補位置角度まわりの
近傍領域x−y平面上の4つの3角領域に分け、各3角
領域に対してその端点位置角度の探索画像を端点テンプ
レート画像とし、端点テンプレート画像と規準テンプレ
ート画像とのパラメトリックテンプレートマッチングを
行なう過程と、候補位置角度まわりを回転角度方向の2
つの隣接線分領域に分け、その各線分領域に対してその
端点位置角度での探索画像を端点テンプレート画像と
し、その端点テンプレート画像と規準テンプレート画像
とのパラメトリックテンプレートマッチングを行なう過
程とを有し、最後にこれらの過程部分が、テンプレート
画像サイズの次元を持つ空間内に正規化された複数テン
プレートを端点として持つ領域を考え、その内部のテン
プレートを、端点テンプレートから線形補間し、その大
きさを1に正規化することで表現し、そのように表現さ
れた領域内部のテンプレートと規準テンプレートの正規
化相関で最大の値を与えるパラメータおよびそこでの正
規化相関値を、端点テンプレートと規準テンプレートの
正規化相関値からパラメータ推定式を用い決定すること
により、高速に高精度で位置および回転角の推定を行な
う。
ine法で問題であった粗探索における探索洩れの可能
性を、粗探索結果をソーティングして複数の上位候補を
出しその候補位置角度から細探索を行なうことで回避
し、また細探索における探索洩れの問題をパラメトリッ
クテンプレート空間でのマッチングで高精度に推定を行
なうことにより回避する。また、このパラメトリックテ
ンプレート空間でのマッチングは高速で行なえるため、
多数の粗探索における上位候補に対して細探索を行なっ
ても探索時間がかからない。このパラメトリックテンプ
レート空間での高速高精度マッチング性を利用すること
により、従来のcoarse−to−fine法の欠点
を大幅に改善する。実際パラメトリックテンプレート空
間でのマッチングは、サンプリング間隔の1/10から
1/20の精度で行なうことが出来る。これは、このパ
ラメトリックテンプレート空間でのマッチングが、正規
化相関値のフィッテイングではなくテンプレートデータ
の補間法に基づくため、より多くの情報を位置や角度の
決定に使える事に起因する。このように本発明は、大き
な探索画像に対しても、従来方法のような探索洩れを引
き起こすことなく、高速で高精度な探索結果を安定して
与える。
発明の原理に基づいて説明する。
下で簡単に説明する。
がL×Mの探索画像f内で、図1(b)のようなサイズ
l×mの規準テンプレートgを、図1(c)にあるよう
に左から右に、上から下に動かしまた回転して、一番類
似の位置角度およびその時の類似度を求める画像探索問
題を考える。以下、規準テンプレートのサイズlおよび
mが奇数であると仮定する。正規化相関マッチング法と
は、規準テンプレートの中心を探索画像の位置(x,
y)に置き、この中心まわりに角度θで回転し、その位
置角度での探索画像との類似度として以下のメジャーc
orr(x,y,θ)を採用することである。
ート、f[i,j]で(i,j)(∈SW≡{(i,
j)|1≦i≦L,1≦j≦M})での画像の値、g
[k,s]で(k,s)(∈TW≡{(k,s)|1≦
k≦l,1≦s≦m})での画像の値を、[m/2]等
の[]はガウス記号で[x]はxを越えない整数を表す
ことにする。また、
義により正規化相関値corr(x,y,θ)は−1.
0から+1.0までの値をとり、値1.0に近いものほ
ど画像が類似していることを表す。
化相関マッチングをパラメトリックな規準テンプレート
空間でのマッチングに拡張するために、単位ベクトルの
正規化補間を用いる。以下は単位ベクトルの正規化補間
の説明である。
る任意の単位ベクトルとした時に、このベクトルを端点
とする領域は、M+1個のパラメータωi(0≦i≦
M)を導入することにより Σi=0 Mωifi (0.0≦ωi≦1.0,Σωi=1.0) (8) として構成することが出来る。こうして構成されたベク
トルは単位ベクトルとは限らないが、大きさを1に正規
化した <f>ω≡Σi=0 Mωifi/‖Σi=0 Mωifi‖ (9) は単位ベクトルであり、{<f>ω|0.0≦ωi≦
1.0,Σωi=1.0}を以下f0,…,fMを端点と
した正規化補間領域、<f>ωをパラメータωiのとこ
ろでの正規化補間と呼ぶ。図2では、3つの単位ベクト
ルを端点とした正規化補間領域が、単位球上にマッピン
グされた3角領域として示されている。図3に示されて
いるように、ωiパラメータが全て正または0のところ
に対応する正規化補間が正規化補間領域である。
このgと最大のマッチングの単位ベクトルを与える領域
内のベクトル<f>ωを求めることを考える。それは、 (g,<f>ω)→max (Σi=0 Mωi=1) (10) なる正規化相関値を最大にするωi(0≦i≦M)が与
えるベクトル<f>ωである。ここで、(g,<f
>ω)は (f,g)≡Σlf[l]×g[l] (11) で定義される正規化相関である。これを、ラグランジュ
の未定定数法を用いて解くと、最大正規化相関値を与え
るパラメータωiは、
域内にある条件は、 0.0≦ωi≦1.0 (for all i) (17) である。この条件が満たされていない場合には解は単体
の境界にあるので、1次元低い境界において上の解法を
帰納的に行ない解を求める。
される単位ベクトルの最大相関値およびそのパラメータ
値を計算するのに端点単位ベクトル相関値
のみの単純な関係から求められることである。これは補
間として正規化補間を行なった利点であり、他の補間で
はこのような簡単な式では求められない。
ータ推定式(12)を正規化相関マッチングに応用す
る。これは、テンプレート画像が画素サイズのベクトル
とみなせることによる。この同一視は、画像の2次元添
字とベクトルの1次元添字間の [k,s]←→[l] (18) なる対応関係で、前述の単位ベクトルの正規化補間の結
果を読み直せばよい。
したテンプレート画像
探索画像
い。
での画像fの正規化
にあるような探索画像上の位置(can_x,can_
y)、角度can_θにある正規化されたテンプレート
サイズの画像をfC(can_x,can_y,can
_θ)、その上下左右にある正規化されたテンプレート
サイズの画像fN(can_x,can_y,can_
θ)、fS(can_x,can_y,can_θ)、
fW(can_x,can_y,can_θ)、fE(c
an_x,can_y,can_θ)とする。すなわち
Δxをx方向の間隔、Δyをy方向の間隔として、
関値が高い位置を求める。これは、単位ベクトルの正規
化補間の考えにより以下のように求まる。
域の端点画像を端点テンプレートとするパラメトリック
テンプレート<fTR>ω(TR)を
域
ばTRが
メトリックテンプレートは、端点テンプレートで張られ
た領域内のテンプレートを面的に表現していると考えら
れる。
られたパラメトリックテンプレート<fTR>ω(TR)も正
規化条件を満たす。すなわち、
画像サイズの次元を持つ空間における単位ベクトルとみ
なせるので、パラメータ推定式(12)を使うことによ
り、このパラメトリックテンプレート<fTR>ωと規準
テンプレートgとの最大の正規化相関を与えるパラメー
タの値
プレートの正規化相関値から簡単に計算される。
TR>ω(TR)と規準テンプレート画像gとの正規化相関 (g,<fTR>ω(TR)) (35) で最大となるパラメータ
の値から位置(sol_x,sol_y)を、
で比較し最大の値を与える3角領域の位置および正規化
相関値をこの菱形領域
る。
像上の位置(sol_x,sol_y)、角度can_
θにある正規化されたテンプレートサイズの画像をfC
(sol_x,sol_y,can_θ)、その回転角
に関してΔθだけプラス方向とマイナス方向にある正規
化されたテンプレートサイズの画像をfL(sol_
x,sol_y,can_θ)、fR(sol_x,s
ol_y,can_θ)とする。すなわちΔθを回転角
度の間隔として
関値が高い位置を求める。
域の端点を端点テンプレートとするパラメトリックテン
プレート<fLR>ω(LR)を
域
ばLRが
リックテンプレートは端点テンプレートで張られた領域
内のテンプレートを線的に表現していると考えられる。
られたパラメトリックテンプレート<fLR>ω(LR)も正
規化条件を満たす。そこでパラメトリックテンプレート
<fLR>ω(LR)と規準テンプレートgとの正規化相関 (g,<fLR>ω(LR)) (48) で最大となるパラメータ
の値から回転角度sol_θを、
で比較し最大の値を与える線分領域の角度および正規化
相関値をこの線分領域
る。
リックテンプレート法で位置と角度を推定するために、
前述のパラメトリック位置推定法とパラメトリック角度
推定を逐次的に用いる。すなわち、パラメトリック位置
角度推定のアルゴリズムは、以下の1〜5のステップで
ある。
an_y)、候補角度can_θのまわりでX−Y平面
内にΔx、Δyで決定される菱形領域を構成する。
ンプレートの正規化相関を計算し、それをもとに位置推
定値(sol_x,sol_y)を計算する。
y)、候補角度can_θのまわりでΔθで決定される
線分領域を構成する。
ンプレートの正規化相関を計算し、それをもとに角度推
定値sol_θを計算する。また、そこでの正規化相関
値を計算する。
y)、角度推定でのsol_θを位置角度推定値としス
テップ4の正規化相関値を位置角度推定の正規化相関値
とする。
図10の説明図ならびに図11〜図18の処理流れ図を
用いて説明する。本実施例は、探索画像fと規準テンプ
レート画像gが与えられた時に画像f中で規準テンプレ
ート画像gに一番類似の位置および角度を高速にサブピ
クセルの高精度で見つけ出すものである。
関法の概要は、図11の処理流れ図にあるように、図7
の位置量子化間隔Δx、Δy、角度量子化間隔Δθでサ
ンプリングされた格子を考え、この格子点の分量だけ並
進および回転した規準テンプレート画像gとその位置角
度の探索画像との正規化相関を式(19)により計算す
る。図8にあるように得られた正規化相関値をソーティ
ングし、正規化相関値が高い方から上位p候補を選択す
る。これら上位p候補に対して細探索を行いサブピクセ
ル精度で推定された位置角度及びその時の正規化相関値
を得る。この正規化相関値のなかで一番高い値を示す位
置角度が本発明が推定し与える位置角度である。
詳細は、図12の処理流れ図にあるように、まず、探索
画像を横Δx、縦Δyの間隔で格子状に区切り、さら
に、それらの格子点では、360°をΔθ°で分割す
る。次に、x=0,y=0,θ=0とした後、テンプレ
ート画像を座標(i=1,j=1)、角度方向(θ)に
移動し、正規化したテンプレート画像と正規化した探索
画像との正規化相関corr(x,y,θ)を式(1
9)から求める。続いてテンプレート画像を、次の格子
点あるいは次の角度方向へ移動を繰り返して、この正規
化相関を、最後の格子点、最後の角度方向まで行う。こ
うして得られた正規化相関の値から上位p候補を選択
し、上位p候補となるテンプレート画像の位置と角度を
can_x、can_y、can_θとする。次に、こ
れら上位p候補に対して細探索を行いサブピクセル精度
で推定された位置角度及びその時の正規化相関値を得、
この正規化相関値のなかで一番高い値を示す位置角度を
出力する。
y、Δθ、候補位置角度can_x、can_y、ca
n_θに対してパラメトリック位置角度推定を繰り返し
用いることにより行なわれる。
候補位置(can_x,can_y)、候補角度can
_θ、間隔Δx、Δyで決定される菱形領域に対してパ
ラメトリック位置推定を行なうことにより推定位置(s
ol_x,sol_y)を得る。次に、推定位置(so
l_x,sol_y)、候補角度can_θ、間隔Δθ
で決定される隣接線分領域に対してパラメトリック角度
推定を行ない角度sol_θを得る。Δx、Δyが1ピ
クセルであるならばこれで細探索は終了である。1ピク
セルより大きい場合は、Δx、Δy、Δθ、can_
x、can_y、can_θを Δx=Δx/inZoom_x (51) Δy=Δy/inZoom_y (52) Δθ=Δθ/inZoom_θ (53) can_x=sol_x (54) can_y=sol_y (55) can_θ=sol_θ (56) のように変更して、図9、図10に示すように、最適位
置、最適角度(図中の★印)を中心としてパラメトリッ
クテンプレートのサーチ領域を縮小ズームしてパラメト
リック位置角度推定を行い、これを、第1段、第2段、
…第n段というように、Δx、Δyが1ピクセルになる
まで、繰り返し行なう。
を、図14、図16の処理の流れ図に則して説明する。
図14にあるように、候補位置(can_x,can_
y)、候補角度can_θの隣接4近傍の個々の3角領
域に対して3角領域の端点を端点テンプレートとして、
パラメトリックテンプレート法を図18の処理流れ図に
従って用いてパラメータを推定し、式(36)〜式(4
3)により推定位置(sol_x,sol_y)をそれ
ぞれ得る。この4つの中で最大の正規化相関値を与える
ものを、この菱形領域の推定位置(sol_x,sol
_y)とする。次に、図16にあるように、こうして推
定された位置(sol_x,sol_y)、候補角度c
an_θ、間隔Δθで決定される隣接線分2領域に対し
て線分の端点を端点テンプレートとするパラメトリック
テンプレート法を図18の処理流れ図に従って用いてパ
ラメータを推定し、式(49)、式(50)より推定角
度をそれぞれ得る。この2つの中で最大の正規化相関値
を与えるものを、この線分領域の推定角度sol_θと
する。また、この正規化相関値をパラメトリック位置角
度推定の正規化相関値とする。
詳細を、図15、図17の処理の流れ図に即して説明す
る。図15にあるように、パラメトリック位置推定にお
いては、候補位置(can_x,can_y)、候補角
度can_θの隣接4近傍N,E,S,Wにおける正規
化相関
y)、候補角度can_θにおける正規化相関
一つ△NECについて相互ベクトル
して推定パラメータ
ωN,ωE,ωCを下式に代入して正規化補間 fω≡Σi=N,E,Cωifi/‖Σi=N,E,Cωifi‖ (53) を導出し、これから正規化相関
7)により領域△NECについての推定位置(sol_
x,sol_y)を得る。同様の処理によって、他の3
つの3角領域△ESC,△SWC,△WNCについて
も、正規化相関と推定位置を得る。この4つ推定位置の
中で最大の正規化相関値を与えるものを、このNESW
の菱形領域の推定位置(sol_x,sol_y)とす
る。
は、図17にあるように、推定位置(sol_x,so
l_y)、候補角度(can_θ)の回転角に関し、隣
り合った角度における正規化相関
y)、候補角度(can_θ)における正規化相関
直線を分割した線分LCと線分RCについて相互ベクト
ル
式に代入して推定パラメータ
ωL,ωC,ωRをそれぞれ下式に代入して正規化補間 fω≡Σi=L,Cωifi/‖Σi=L,Cωifi‖ (58) fω≡Σi=C,Rωifi/‖Σi=C,Rωifi‖ (59) を導出し、これから正規化相関
0)により各線分領域LC,RCについての推定角度
(sol_θ)を得る。この2つの推定角度の中で最大
の正規化相関値を与えるものを、推定角度(sol_
θ)とする。
ンプレート法を説明する。端点テンプレートをもとに相
互行列Hとその逆行列H-1を計算する。また、端点テン
プレートと規準テンプレートとの正規化相関値から相関
ベクトル
と相関ベクトル
arse−to−fine法で問題であった粗探索にお
ける探索洩れの可能性を、粗探索結果をソーティングし
て複数の上位候補を出しその候補において細探索を行な
うことで回避し、また細探索における探索洩れの問題を
パラメトリックテンプレート空間でのマッチングで高精
度に推定を行なうことにより回避する。また、このパラ
メトリックテンプレート空間でのマッチングは高速で行
なえるため、多数の粗探索における上位候補に対して細
探索を行なっても探索時間がかからない。このように大
きな探索画像に対しても高速で高信頼度の推定結果を与
えるという効果がある。また、精度は位置に関して1/
10ピクセルから1/20ピクセルの高精度で行なうこ
とが出来るという効果がある。
準画像探索を説明する図
化補間を説明する図
ωパラメータ表現を説明する図
隣接領域を説明する図
メトリックテンプレート法を説明する図
パラメトリックテンプレート法を説明する図
る図
補選択の様子を説明する図
を説明する図
スを説明する図
トリック正規化相関処理の処理流れ図
理の詳細を示す処理流れ図
図
置推定の処理流れ図
理流れ図
度推定の処理流れ図
理流れ図
ンプレート法を示す処理流れ図
Claims (3)
- 【請求項1】 探索画像内で基準テンプレート画像に最
も一致する領域の位置および角度を決定する方法におい
て、 3次元空間上に、x方向にΔx、y方向にΔy、回転方
向にΔθのサンプリング間隔の格子点を設定し、各格子
点に対応した分量だけ並進および回転を作用した基準テ
ンプレート画像と該格子点における探索画像との正規化
マッチングを探索画像のすべての格子点で行う第1の過
程と、 該正規化マッチングで求められた正規化マッチングの値
の中から、値の大きなものp個の3次元空間上の位置座
標と正規化マッチングの値を選択し出力する第2の過程
と、 該選択され出力された3次元空間上の位置座標に関しそ
のx−y平面上でΔx、Δyだけ隣接した位置座標にお
いて、それぞれ正規化マッチングの値を算出し、該算出
された隣接した位置座標における正規化マッチングの値
に基づき、隣接した位置座標を結ぶ図形の内部で最も正
規化相関が大となる位置座標とその正規化相関の値を推
測する第3の過程と、 該第3の過程で推測された3次元空間上の位置座標に関
しそのθ軸に平行な方向上でΔθだけ隣接した位置座標
において、それぞれ正規化マッチングの値を算出し、該
算出された隣接した位置座標における正規化マッチング
の値に基づき、隣接した位置座標を結ぶ直線上で最も正
規化相関が大なる位置座標とその正規化相関の値を推測
する第4の過程と、 前記Δx、Δy、Δθを予め定められた縮小率a、b、
cで縮小して、Δx、Δy、Δθにそれぞれ代入し、前
記第4の過程で推測された位置座標を前記第3の過程で
出力された3次元空間上の位置座標に代入する第5の過
程と、 前記第3から第5の過程を前記Δx、Δyがサブピクセ
ルの精度になるまで繰り返し、該Δx、Δyがサブピク
セルの精度になった時の位置座標と正規化相関の値を記
憶する第6の過程と、 前記第3から第6の過程を前記第2の過程で得られたp
個の正規化マッチングについて実施し、得られたp個の
正規化相関の中から最も大きな正規化相関が得られる位
置および角度を求める第7の過程と、 を有することを特徴とするテンプレートマッチング方
法。 - 【請求項2】 該選択され出力された正規化マッチング
に対応する前記3次元空間上の位置座標に関しそのx−
y平面上でΔx、Δyだけ隣接した位置座標において、
それぞれ正規化マッチングの値を算出し、該算出された
隣接した位置座標における正規化マッチングに基づき、
隣接した端点を結ぶ図形の内部で最も正規化相関が大と
なる位置座標とその正規化相関の値を推測する第3の過
程が、 候補位置角度まわりの近傍領域をx−y平面上の4つの
3角領域に分割し、各3角領域に対してその端点位置角
度の探索画像を端点テンプレート画像とし、その端点テ
ンプレート画像と規準テンプレート画像とのパラメトリ
ックテンプレートマッチングを行う、 ことを特徴とする請求項1記載のテンプレートマッチン
グ方法。 - 【請求項3】 該第3の過程で推測された3次元空間上
の位置座標に関しそのθ軸に平行な方向上でΔθだけ隣
接した位置座標において、それぞれ正規化マッチングの
値を算出し、該算出された隣接した位置座標における2
つの正規化マッチングの値より、隣接した位置座標を結
ぶ直線上で最も正規化相関が大なる位置座標と正規化相
関を推測する第4の過程が、 候補位置角度まわりを回転角度方向の2つの隣接線分領
域に分け、その各線分領域に対してその端点位置角度で
の探索画像を端点テンプレート画像とし、その端点テン
プレート画像と規準テンプレート画像とのパラメトリッ
クテンプレートマッチングを行なう、 ことを特徴とする請求項1または請求項2に記載のテン
プレートマッチング方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15053596A JP3527588B2 (ja) | 1996-06-12 | 1996-06-12 | テンプレートマッチング方法 |
US08/867,765 US5943442A (en) | 1996-06-12 | 1997-06-03 | Method of image processing using parametric template matching |
DE19724481A DE19724481C2 (de) | 1996-06-12 | 1997-06-10 | Schablonenvergleichsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15053596A JP3527588B2 (ja) | 1996-06-12 | 1996-06-12 | テンプレートマッチング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09330403A true JPH09330403A (ja) | 1997-12-22 |
JP3527588B2 JP3527588B2 (ja) | 2004-05-17 |
Family
ID=15498999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15053596A Expired - Lifetime JP3527588B2 (ja) | 1996-06-12 | 1996-06-12 | テンプレートマッチング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3527588B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6603882B2 (en) * | 2001-04-12 | 2003-08-05 | Seho Oh | Automatic template generation and searching method |
JP2009530701A (ja) * | 2006-03-15 | 2009-08-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深度マップを画像から判定する方法、深度マップを判定する装置 |
CN101908151A (zh) * | 2010-07-20 | 2010-12-08 | 桂林理工大学 | 基于循环分块相位相关法的影像匹配方法 |
CN109377538A (zh) * | 2018-10-25 | 2019-02-22 | 天津津航计算技术研究所 | 一种自动化图像构造方法 |
-
1996
- 1996-06-12 JP JP15053596A patent/JP3527588B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6603882B2 (en) * | 2001-04-12 | 2003-08-05 | Seho Oh | Automatic template generation and searching method |
JP2009530701A (ja) * | 2006-03-15 | 2009-08-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深度マップを画像から判定する方法、深度マップを判定する装置 |
CN101908151A (zh) * | 2010-07-20 | 2010-12-08 | 桂林理工大学 | 基于循环分块相位相关法的影像匹配方法 |
CN109377538A (zh) * | 2018-10-25 | 2019-02-22 | 天津津航计算技术研究所 | 一种自动化图像构造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3527588B2 (ja) | 2004-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chang et al. | Simultaneous motion estimation and segmentation | |
US7471849B2 (en) | Methods and apparatus for shifting perspective in a composite image | |
US20210110599A1 (en) | Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium | |
US6714689B1 (en) | Image synthesizing method | |
RU2419881C2 (ru) | Анизометрический синтез текстуры | |
US7149368B2 (en) | System and method for synthesis of bidirectional texture functions on arbitrary surfaces | |
KR19990067567A (ko) | 영상에 패턴을 자동으로 위치시키기 위한 벡터상관 시스템 | |
JPWO2004063991A1 (ja) | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム | |
JP6880618B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP2008512767A (ja) | 一般的な2次元空間変換の表現システム及び方法 | |
CN107203962B (zh) | 一种利用2d图片制作伪3d图像的方法及电子设备 | |
CN110174109A (zh) | 一种基于海空协同的无人船多元联合导航方法 | |
JP4130915B2 (ja) | グラフィカルオブジェクトの境界情報の処理 | |
JP3527588B2 (ja) | テンプレートマッチング方法 | |
JP2008071127A (ja) | 画像マッチング装置、画像マッチングプログラム及び画像マッチング方法 | |
US20140009493A1 (en) | Parallax image generating device and parallax image generating method | |
JP2001111996A (ja) | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び映像情報処理装置 | |
US5574839A (en) | Method and apparatus for automatic gap closing in computer aided drawing | |
JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 | |
JP2011070594A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
CN112615993A (zh) | 深度信息获取方法、双目摄像模组、存储介质及电子设备 | |
JPH1083442A (ja) | 画像合成方法 | |
JP2009064193A (ja) | 解像度変換装置及び方法 | |
Shylaja et al. | A systematic investigation on Geometric Transformation | |
JP3435286B2 (ja) | テンプレートマッチング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20031210 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20031210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090227 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090227 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100227 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110227 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110227 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |