JP3302225B2 - 高速画像テンプレートマッチング方法 - Google Patents

高速画像テンプレートマッチング方法

Info

Publication number
JP3302225B2
JP3302225B2 JP20690295A JP20690295A JP3302225B2 JP 3302225 B2 JP3302225 B2 JP 3302225B2 JP 20690295 A JP20690295 A JP 20690295A JP 20690295 A JP20690295 A JP 20690295A JP 3302225 B2 JP3302225 B2 JP 3302225B2
Authority
JP
Japan
Prior art keywords
search
image
template
template matching
fourier transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP20690295A
Other languages
English (en)
Other versions
JPH0954827A (ja
Inventor
弘一 田中
睦夫 佐野
雅士 奥平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP20690295A priority Critical patent/JP3302225B2/ja
Publication of JPH0954827A publication Critical patent/JPH0954827A/ja
Application granted granted Critical
Publication of JP3302225B2 publication Critical patent/JP3302225B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、探索画像内で検索
テンプレート画像に類似の部分を高速に探索する画像処
理技術に関するものである。
【0002】
【従来の技術】従来、探索画像内で検索テンプレート画
像を検索する手法として、図3に示すように検索テンプ
レート画像gを探索画像f内で動かし、正規化相関の値
が一番高い位置を見つけることによりマッチングを行な
う正規化相関マッチング法がよく用いられている。
【0003】しかしながら、この正規化相関の計算は特
殊なハードウェアを用いない汎用計算機上で行なうと、
探索画像fのサイズをL×Mとし検索テンプレート画像
gのサイズをl×mとしたときに、計算に要する時間c
ostは、 cost〜L×M×l×m (1) であることが知られている。ここで、〜は比例を表す。
このため、検索画像のサイズl×mが大きくなるとそれ
に比例した処理時間がかかり、大きな検索テンプレート
画像を用いることが困難であった。
【0004】この困難を解決する一つの手法として、c
oarse−to−fine法が提案されている。この
手法は検索テンプレート画像を1ピクセル間隔にシフト
して正規化相関を計算するそれまでの方法とは対照的
に、図4に示すように、まず粗いピクセル間隔で全体を
探索して粗い位置を推定し、その後で粗い位置の範囲を
より細かいピクセル間隔で探索して最適位置を推定する
という、coarse−to−fineの探索戦略に基
づき、最大の相関値を与える探索画像内の検索テンプレ
ート画像gの位置を見つけるものである。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来のcoarse−to−fine法によるテンプ
レートマッチング方法は、粗いピクセル間隔での探索に
失敗すると、その後の細かいレベルでの探索ではその失
敗を回復出来ないというcoarse−to−fine
探索戦略に特徴的な欠点をもつため、粗い探索レベルで
の見つけ落しの可能性のために安定した探索結果をもた
らさないという問題がある。
【0006】本発明は、そのような問題点を解決するた
めになされたものであり、その目的は、どのような探索
画像および検索画像に対しても1ピクセル間隔で検索テ
ンプレート画像をシフトして最大の相関値を見つける方
法と全く同じ処理結果を高速に与える高速画像テンプレ
ートマッチング方法を提供することである。換言する
と、高速で安定した探索結果を与えることである。
【0007】
【課題を解決するための手段】上記の目的を達成するた
め、本発明の正規化相関の計算手順を3つの部分に分け
る。それは、FFT(高速フーリエ変換)アルゴリズム
等を用いてフーリエ変換、逆フーリエ変換で計算される
第一の部分と、ボックスフィルタリング手法等で計算さ
れる第二の部分と、それらに比べ計算量が少ない第三の
部分である。
【0008】FFT等により計算される第一の部分は、
探索画像のサイズをL×M、検索テンプレート画像のサ
イズをl×mとすると、計算に要する時間cost
1は、 cost1〜M×logM×L×logL(以降logM,logLの底は2 である。) (2) である。また、ボックスフィルタリング手法により計算
される第二の部分は、 cost2〜M×L (3) の計算時間cost2であり、それ以外の第三の部分
は、 cost3〜l×m (4) の時間cost3で計算される。検索テンプレート画像
のサイズl×mは探索画像のサイズM×Lを越えること
がないので、すなわち l≦L (5) m≦M (6) なので、全体として計算に要する時間は、 cost=cost1+cost2+cost3 =l×m+M×L×(1+logM×logL) (7) 〜M×logM×L×logL (8) (M,Lの値は例えばM=128,L=128を使う)
となる。このように本発明は、検索テンプレート画像の
サイズl×mに全く依存せずに、大きな検索テンプレー
ト画像に対しても高速に検索処理が可能である。
【0009】以上のように本発明は、探索のための処理
時間を検索テンプレート画像サイズに依存しないように
して、大きなサイズの検索テンプレート画像に対して
も、高速に検索を行なうことが出来るようにする。ま
た、従来手法のcoarse−to−fine法とは対
照的に本発明は、1ピクセル間隔で検索画像内における
検索テンプレート画像の位置を見つけるのと同じ探索結
果を与えるものであるため、粗い探索レベルで見つけ落
してしまう可能性がなく、常に安定した検索結果を与え
る。
【0010】
【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて詳しく説明する。
【0011】まず、本発明の原理を説明する。
【0012】サイズL×Mの探索画像でサイズl×mの
検索テンプレート画像を動かして最大の正規化相関値を
与える位置を求める。fで探索画像を、gで検索テンプ
レート画像を、f[i,j]で(i,j)(∈SW≡
{(i,j)|1≦i≦L,1≦j≦M})での画像の
値を、g[k,s]で(k,s)(∈TW≡{(k,
s)|1≦k≦l,1≦s≦m})での画像の値を表す
ことにする。
【0013】探索画像内の位置(i,j)に検索テンプ
レート画像を一致させた時の正規化相関値corr
[i,j]は、
【0014】
【数6】
【0015】で定義される。ここで、
【0016】
【数7】
【0017】であり、A、B、Cを
【0018】
【数8】
【0019】とすれば、式(9)は以下のように書け
る。
【0020】 corr[i,j]=A/(√B√C) (15) 項Aは、以下のように変形される。
【0021】
【数9】
【0022】である。ここで、g°[k,s]は、図1
に示すように、ゼロ拡張して探索画像サイズにした検索
テンプレート画像で
【0023】
【数10】
【0024】で定義される。また、項Bは
【0025】
【数11】
【0026】であり、項Cは、
【0027】
【数12】
【0028】であるから、画像hに対してのテンプレー
ト平均化オペレータ<h>TWを、
【0029】
【数13】
【0030】で定義し、画像h1とh2に対しての相関オ
ペレータh1○h2
【0031】
【数14】
【0032】で定義すれば、
【0033】
【数15】
【0034】であり、
【0035】
【数16】
【0036】とすれば、項A、B、Cは、 A=f○g°[i,j]−N×<g>TW×<f>TW[i,j] (27) B=N×<f2TW[i,j]−N×<f>TW[i,j]2 (28) C=N×<g2TW−N×<g>2 TW (29) と書ける。一般に<h>TWの形のものは、ボックスフィ
ルタリング手法の境界変更計算によりhの画像サイズの
計算オーダで計算することができる(参考文献[1]
M.J.McDonnel,“Box−Filteri
ng Techniques,”Computer G
raphics and Image Process
ing,Vol.17,pp.65−70.1981.
あるいは、[2]D.J.Burr,“A First
Filtering Operator for R
obot Stereo Vision,”ICPR’
84,pp669−672,1984.参照)。また、
f○g°はFFTでO(M×logM×L×logL)
のオーダで計算できる。まとめると、項A、B、Cは、 f○g°〜O(M×logM×L×logL) (30) <f2TW〜O(M×L) (31) <f>TW〜O(M×L) (32) <g2TW〜O(m×l) (33) <g>TW〜O(m×l) (34) の計算時間により計算できる。FFTにより計算される
項を第一の項term1と呼びその計算時間をcos
1、ボックスフィルタリング手法により計算される項
を第二の項term2と呼びその計算時間をcost2
その他の項を第三の項term3と呼びその計算時間を
cost3と書くと、 term1:f○g° (35) term2:<f2TW,<f>TW (36) term3:<g2TW,<g>TW (37) であり、 corr1〜O(M×logM×L×logL) (38) corr2〜O(M×L) (39) corr3〜O(m×l) (40) である、よって全体の計算時間costは、 cost〜O(M×logM×L×logL) (41) である。一方、直接corrを計算すると、 cost〜O(M×L×m×l) (42) の計算オーダがかかり、本手法の有効性がわかる。
【0037】以下、ボックスフィルタリング手法につい
て説明する <h>TWで表される式は、ボックスフィルタリング手法
により以下のように計算される。まず、<<h>>TW
以下のように定義する。
【0038】
【数17】
【0039】この<<h>>TWにより<h>TWは、
【0040】
【数18】
【0041】となり、すべての(i,j)に関して
【0042】
【数19】
【0043】は共通なので、最初に一度計算することに
より、一回の割算により、<h>TW[i,j]は<<h
>>TW[i,j]から求められる。この<<h>>
TW[i,j]を少数の演算で計算するために、以下で定
義されるバッファ行列B[i,j]を用いる。
【0044】
【数20】
【0045】このB[i,j]を使えば、<<h>>TW
[i,j]は以下の漸化式を使い、一つ手前の<<h>
TW[i−1,j]から、 <<h>>TW[i,j]=<<h>>TW[i−1,j]+B[i+l−1,j ]−B[i−1,j] (46) のように2回の演算で計算することができる。ここで、
lはi方向のテンプレート画像の大きさである。また、
B[i,j]は以下の漸化式を満たす。
【0046】 B[i,j]=B[i,j−1]+h[i,j+m−1]−h[i,j−1] (47) ここで、mはj方向のテンプレート画像の大きさであ
る。よって、B[i,j]は一ライン手前のB[i,j
−1]から2回の演算で求めることが出来る。
【0047】以上をまとめると、j−1ライン目のB
[i,j−1]の値を保持し、その値を使ってその次の
jライン目のB[i,j]を計算することにより、<<
h>>TW[i,j]は4回の加減算で一つ手前の<<h
>>TW[i−1,j]から計算でき、この<<h>>TW
[i,j]から一回の割算で<h>TW[i,j]が計算
される。このボックスフィルタリング手法を用いずに直
接<h>TW[i,j]を計算すれば、l×m回の加算演
算と1回の割算を必要とする。このようにボックスフィ
ルタリング手法は<h>TW[i,j]の計算をテンプレ
ート画像の大きさl×mに依存しないコンスタントの演
算回数で計算することを可能とする。
【0048】以下に、本発明の実施の形態例を、図2に
示した本実施の形態例の実行処理手順についての流れ図
を用いて説明する。本実施の形態例は、探索画像fと検
索テンプレート画像gが与えられた時に、探索画像fの
中で検索テンプレート画像gに一番類似の位置を見つけ
出すものである。
【0049】まず、最初に検索テンプレート画像gとg
2のテンプレート平均の計算を式(11)に基づき行な
う。次に、gを探索画像サイズまでゼロ拡張を行なった
g°を式(18)により構成し、それをFFTアルゴリ
ズムを用いフーリエ変換した
【0050】
【数21】
【0051】を計算する。それから、fとf2のテンプ
レート平均をボックスフィルタリング手法の境界変更計
算法により計算する。そして、fのフーリエ変換
【0052】
【数22】
【0053】をFFTにより計算する。フーリエ空間で
【0054】
【数23】
【0055】の複素共役積をとり、それをFFTで逆フ
ーリエ変換することにより、fとg°の畳み込みf○g
°を計算する。以上のこれらの<g>TW、<g2TW
<f>TW、<f2TW、f○g°より式(15)、式
(27)、式(28)、式(29)に基づき正規化相関
の値corrを計算する。corrの最大の値を与える
位置(i,j)を見つけ、テンプレートマッチングの結
果とする。
【0056】
【発明の効果】以上述べたように本発明は、探索画像の
中で検索テンプレート画像に一番一致する位置を正規化
相関を一致尺度として探索する画像処理の技術分野にお
いて、検索テンプレート画像のサイズが大きくなるにし
たがって探索時間がかかる問題を、FFT等を用いて計
算する部分とボックスフィルタリング手法等を用いて計
算する部分と、その他の計算量の少ない部分に分解する
ことにより、検索テンプレート画像サイズに依存しない
探索手法を実現して解決する。また、本手法において探
索した結果は、従来手法のcoarse−to−fin
e法とは対照的に、1ピクセル間隔で検索テンプレート
画像をシフトして計算したのと同じ結果をもたらすた
め、探索の見つけ落としがなく、どのような探索および
探索画像に対しても安定した探索結果を高速に与える。
上記において、FFTを用いた場合には、特に、高速性
に寄与することができ、ボックスフィルタリング手法を
用いた場合には、特に、検索テンプレート画像サイズに
対する処理時間の依存性をなくすことに寄与することが
できる。
【図面の簡単な説明】
【図3】本発明の原理を説明するためのゼロ拡張したテ
ンプレート画像を示す図
【図4】本発明の実施の態様例を示す処理手順の流れ図
【図1】従来の技術の探索画像内での検索テンプレート
画像の探索を説明する図
【図2】従来の技術のcoarse−to−fine法
に基づく探索を説明する図
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−159056(JP,A) 特開 昭57−137978(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06T 1/00 JICSTファイル(JOIS)

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 探索画像内で、検索テンプレート画像と
    最も一致する領域を正規化相関を用いて探索する画像テ
    ンプレートマッチング方法であって、 正規化相関を 【数1】 と表わす画像テンプレートマッチングにおいて、 Aをf○g°[i,j]−N×<g> TW×<f>
    TW[i,j]により、BをN×<f2TW[i,j]−
    N×<f>TW[i,j]2により、但し、<> TW はテン
    プレート平均化オペレータ、fは探索画像、gは検索テ
    ンプレート画像、g°はgをゼロ拡張して探索画像サイ
    ズにした検索テンプレート画像、f○g°[i,j]は
    fのフーリエ変換 【数2】 とg°のフーリエ変換 【数3】 の複素共役積 【数4】 の逆フーリエ変換により求めたfとg°の畳み込み、<
    f>TW[i,j]、<f 2 TW[i,j]はそれぞれ
    索画像、f2 テンプレート平均、Nは 【数5】 として、計算することを特徴とする高速画像テンプレー
    トマッチング方法。
  2. 【請求項2】 フーリエ変換、逆フーリエ変換がFFT
    アルゴリズムを使うことを特徴とする請求項1記載の高
    速画像テンプレートマッチング方法。
  3. 【請求項3】 <f>TW[i,j]、<f 2 TW[i,
    ]をボックスフィルタリングの手法の境界変更計算法
    により計算することを特徴とする請求項1または請求項
    2記載の高速画像テンプレートマッチング方法。
JP20690295A 1995-08-14 1995-08-14 高速画像テンプレートマッチング方法 Expired - Lifetime JP3302225B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20690295A JP3302225B2 (ja) 1995-08-14 1995-08-14 高速画像テンプレートマッチング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20690295A JP3302225B2 (ja) 1995-08-14 1995-08-14 高速画像テンプレートマッチング方法

Publications (2)

Publication Number Publication Date
JPH0954827A JPH0954827A (ja) 1997-02-25
JP3302225B2 true JP3302225B2 (ja) 2002-07-15

Family

ID=16530964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20690295A Expired - Lifetime JP3302225B2 (ja) 1995-08-14 1995-08-14 高速画像テンプレートマッチング方法

Country Status (1)

Country Link
JP (1) JP3302225B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357398A (ja) 2000-06-12 2001-12-26 Advantest Corp 画像検出方法及び測長装置
JP4345426B2 (ja) 2003-10-07 2009-10-14 ソニー株式会社 画像照合方法、プログラム、および画像照合装置
JP4937400B1 (ja) 2010-11-05 2012-05-23 株式会社東芝 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置

Also Published As

Publication number Publication date
JPH0954827A (ja) 1997-02-25

Similar Documents

Publication Publication Date Title
JP3927239B2 (ja) 2次元空間曲線中の形状の検出
KR100732109B1 (ko) 화상 중의 오브젝트를 검색하는 방법, 시스템, 컴퓨터 판독가능한 기록매체 및 화상 검색 방법
JP2002517045A (ja) テンプレート・マッチポイントの部分位置を正確に位置決定する方法
US10818032B2 (en) Method for object size and rotation estimation based on log-polar space
CN111488836B (zh) 人脸轮廓修正方法、装置、设备及存储介质
CN101493936B (zh) 一种基于图像边缘的多分辨非刚性头部医学图像配准方法
US6301388B1 (en) Image matching apparatus
JP3302225B2 (ja) 高速画像テンプレートマッチング方法
US20210073965A1 (en) Devices, systems, and methods for anchor-point-enabled multi-scale subfield alignment
US8855373B2 (en) Similarity calculation device, similarity calculation method, and program
JP4708740B2 (ja) 画像処理装置及び画像処理方法
JPH05120436A (ja) テンプレートマツチング方法
JPH05159056A (ja) パターンマッチングによる位置推定方法
JPS62107386A (ja) 画像マツチング方法
CN110111240A (zh) 一种基于强结构的图像处理方法、装置和存储介质
JP2003514286A (ja) ゼルニケ/擬似ゼルニケモーメント抽出方法
Vijayalakshmi et al. Modified exemplar based image inpainting algorithm
JP2001022941A (ja) テンプレートマッチング方法
JP6066282B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP2975610B2 (ja) 画像補間装置
JP2994233B2 (ja) 画像マッチング装置
JPH11331829A (ja) 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体
JP3276813B2 (ja) パターンマッチングにおける探索領域限定方法
CN116894772A (zh) 快速消除累积误差的显微图像实时拼接方法
JP3021158B2 (ja) 文字認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110426

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120426

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130426

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140426

Year of fee payment: 12

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term