JPH11195122A - テンプレートマッチング方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】テンプレートマッチングに用いる正規化相関演
算において，テンプレート画像と部分画像の輝度差が大
きいときでも効率的なテンプレートマッチング方法及び
装置を提供する。 【解決手段】テンプレート画像をビット反転した画像の
画素値の総和(Ａ)，テンプレート画像をビット反転した
画像の画素値の二乗和(Ｂ)，サーチ画像における部分画
像の画素値の総和(Ｃ)，及び，その部分画像の画素値の
二乗和(Ｄ)をあらかじめ求め，上記Ａ，Ｂ，Ｃ，Ｄと，
あらかじめ定めた１以下の正数(Ｅ)及び上記テンプレー
ト画像の画素数(Ｐ)から，しきい値Ｆを求めておき，上
記テンプレート画像をビット反転した画像と上記部分画
像の対応する各画素毎に積を求め累積加算し，該累積加
算値が上記しきい値Ｆを超過したとき，上記部分画像と
の類似度の評価を打ち切る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，半導体製品の位置
決め，FAラインでの部品探索，リモートセンシング等の
パターン認識方法及び装置に関する。

【０００２】

【従来の技術】画像処理のさまざまな応用分野におい
て，センサより得られた画像(以下サーチ画像と呼ぶ)か
ら，特定の画像パターン(以下テンプレートと呼ぶ)と類
似した部分領域を探索するテンプレートマッチングが利
用されている。ここで，各画素をｎビット(ｎ＞１)で表
される多階調画像を対象とし，類似しているかどうかを
評価する尺度として正規化相関係数を用いることが多
い。

【０００３】正規化相関係数r(i, j)は，テンプレート
をt(m,n) (m=0,1,…,M-1，n=0,1,…,N-1)，類似度を評
価する部分画像をs(i+m,j+n) (m=0,1,…,M-1，n=0,1,
…,N-1；i,jは部分画像の起点)，テンプレートの画素数
をPとしたとき，次式で与えられる。

【０００４】

【数１】

【０００５】テンプレートマッチングを行うときは，複
数の部分領域に対して上記正規化相関係数を求め，その
値に応じて１つまたは複数の類似領域を決定する。正規
化相関の特徴は，テンプレートとサーチ画像で照明変動
などにより同じ物体が異なる画素値になる場合でも，影
響なく適切なマッチングが行えるということである。

【０００６】上記，正規化相関を用いたテンプレートマ
ッチングでは，正規化相関係数を求めるための演算量が
膨大であるため，効率良く求める手法が検討されてい
る。

【０００７】従来，正規化相関を用いた高速なテンプレ
ートマッチング方法については，電子情報通信学会パタ
ーン認識・メディア理解研究会技術報告PRMU96-173(199
7年３月)の23頁から29頁に「正規化相互相関テンプレー
トマッチングのKL展開を用いたSSDA化」として記載され
ている。この従来手法を，図８のフローチャートを用い
て説明する。

【０００８】従来手法では，まず，テンプレート画像t
(m,n) (m=0,1,…,M，n=0,1,…,N)に対して，平均画素値
tmと，正規化係数T=1/{Σ(t(m,n) - tm)²}^1/2を求め(ス
テップ803)，テンプレートの各画素値t(m,n)に対して，
正規化した画素値t'(m,n)=T×{t(m,n)-tm}を計算してお
く(ステップ804)。さらに，計算を打ち切るためのしき
い値Fを設定し(ステップ805)，各部分画像に対する正規
化相関係数を求める処理を行う。

【０００９】部分画像に対する正規化相関係数を求める
処理では，まだ対象となっていない部分画像s(i+m,j+n)
を選択し(ステップ806)，その部分画像の平均画素値sm
と，正規化係数S=1/{Σ(s(i+m,j+n)-sm)²}^1/2を求める
(ステップ807)。次に，テンプレートの正規化した画素
値t'(m,n)と部分画像の対応する正規化した画素値s'(i+
m,j+n)=S×{s(i+m,j+n)-sm}との差の二乗を１画素ずつ
求めて累積加算し(ステップ809)，その値がFを超過して
いないか判定する(ステップ810)。

【００１０】この累積加算値は単調増加するため，累積
加算値が一旦Fを超過したならば，以降の処理でFを下回
ることはありえないので，累積加算値がFを超過した時
点で処理を打ち切り，別の部分画像に対して同様の処理
を行う(ステップ810,814)。

【００１１】すべての画素に対して，累積加算値がFを
超過しなければ，対象部分画像の座標を登録し(ステッ
プ812)，求めた累積加算値を新たなしきい値Fとして(ス
テップ813)，別の部分画像に対して同様の処理を行う。
すべての部分画像に対して，上記の処理を完了した時点
で，最後に登録された部分画像の座標が最も類似度の高
いマッチング位置となる。

【００１２】

【発明が解決しようとする課題】しかしながら，上記従
来方法では，テンプレート画像と部分画像の輝度差が大
きいとき，評価値計算の効率が悪くなるという問題があ
る。この点について例を挙げて説明する。

【００１３】図１３はテンプレート，図１４はテンプレ
ートを探索するサーチ画像である。各矩型は画素を表
し，各矩型の中に記された数字はその画素の画素値（輝
度）を表す。ここで，正規化相関係数を用いたテンプレ
ートマッチングでは，テンプレートに最も類似した部分
画像は，図１４の1413，1414，1415，1418，1419，142
0，1423，1424，1425からなる部分画像である。

【００１４】図８に示した従来方法では，まず，テンプ
レートの平均画素値tm=144.44と，テンプレート画像の
各画素と平均画素値tmとの差の二乗和の平方根の逆数T=
0.0067を得る。次に，テンプレートの各画素値t(m,n)に
対して，正規化した画素値t'(m,n)=T×{t(m,n)-tm}を計
算し，記憶領域に格納しておく。しきい値の初期値を４
として，各部分画像毎に正規化相関係数を以下のように
求める。

【００１５】まず，画素1401を左上端とする部分画像を
選択し，その部分画像の平均画素値sm=7.11，部分画像
の各画素と平均画素値smとの差の二乗和の平方根の逆数
S=0.022を得る。

【００１６】そして，１画素目から９画素目まで，テン
プレートの正規化された画素値と部分画像の画素値を読
み出し，部分画像の画素値を正規化し，正規化された画
素値同士の差の二乗を累積加算しながらしきい値F=４と
比較する。９画素目まで累積加算値はしきい値を超えな
いので，座標（０，０）を登録すると共に，得られた累
積加算値1.22を新たなしきい値とする。

【００１７】以降，画素1402，1403，1406，1407，140
8，1411，1412，1413のそれぞれを左上端とする部分画
像を選択し，同様の処理を行う。各処理に対する累積加
算値の経過を図１５に示す。

【００１８】図１５より，画素1402，1403，1406，140
7，1408，1411，1412を左上端とする部分画像は，それ
ぞれ，第５画素目，第４画素目，第６画素目，第７画素
目，第１画素目，第５画素目，第４画素目で処理が打ち
切られており，画素1413を左上端とする部分画像は途中
で処理が打ち切られていないことが判る。このことは，
図８に示す従来手法のフローチャートにおける最も内側
のループの処理を合計50回実行することを表わす。

【００１９】ところで，図８に示した従来手法の最内ル
ープ部の処理ステップ数と，打切りを行わないプリミテ
ィブな手法における最内ループ部の処理ステップ数を比
較すると，却って，打切りを行わないプリミティブな手
法の方が効率的である場合がある。

【００２０】図８に示した従来手法の最内ループ部の処
理ステップ数について，あるRISCプロセッサのニモニッ
クで記述した図１８のプログラムを用いて説明する。図
８の最内ループを実行するためには，あらかじめ計算し
て，格納しておいた正規化されたテンプレートの各画素
と，部分画像の各画素をリードする(ステップ1801，180
2)。

【００２１】次に，リードした部分画像の画素値から，
レジスタに格納している部分画像の平均画素値smを引き
(ステップ1803)，レジスタに格納している部分画像の各
画素と平均画素値smとの差の二乗和の平方根の逆数Sを
掛けて(ステップ1804)正規化する。ここで得た正規化さ
れた部分画像の画素値と，リードした正規化されたテン
プレートの画素値の差をとり(ステップ1805)，その二乗
を累積値用のレジスタに足し込む積和演算を行う(ステ
ップ1806)。累積値をしきい値Fと比較し(ステップ180
7)，累積値がしきい値を超えていれば処理を打ち切るた
め最内ループから外に分岐する(ステップ1808)。累積値
がしきい値を超えていなければ，未対象画素対に対して
ステップ1801からの処理を繰り返す。未対象画素対がな
ければ最内ループの処理を終了する。

【００２２】サーチ画像は外部メモリにあるとすると，
部分画像の画素値をリードする手間は，外部メモリから
キャッシュにリードする約２ステートと，キャッシュか
らレジスタにリードする１ステートの合計約３ステート
である。正規化されたテンプレートの画素値がキャッシ
ュもしくは内蔵RAMに格納されていたとするとステップ1
802の手間は１ステートである。ステップ1803，1804，1
805，1806，1807の手間は，それぞれ１ステートだが，
ステップ1804，1805，1806，1807の処理は，それぞれ，
ステップ1803，1804，1805，1806の演算結果を用いるた
め，パイプラインのオーバーヘッドが１ステートずつ掛
かる。ステップ1808の条件分岐はループの処理を繰り返
す場合は１ステート，ステップ1809，1810の条件分岐は
ループの処理を繰り返す場合は４ステートとなる。従っ
て，合計約18ステート掛かることになる。ここで，条件
分岐を次処理を実行してから分岐する遅延分岐を用いる
と１ステート削減できる。遅延分岐の次処理としては，
部分画像のリード（ステップ1801の処理）などとする。

【００２３】一方，打ち切りを行わない方法における最
内ループ処理のプログラムを図１９に示す。打切りを行
わない場合は，テンプレートと部分画像の画素対のリー
ドとその画素対の積和演算(ステップ1901)に５ステー
ト，及び，繰り返しのための条件遅延分岐(ステップ190
2，1903)に３ステートの合計８ステートとなる。

【００２４】打切りを行わない場合は，テンプレートマ
ッチング全体で最内ループを81回繰り返すが，上記従来
手法では，50回の繰り返しで済んでいる。しかし，従来
手法によるテンプレートマッチングの最内ループの繰り
返し総数が，プリミティブな方法の半分以下になってい
ないため，打ち切りを行わないプリミティブな方法より
処理時間が掛かることになる。

【００２５】本発明の目的は，テンプレート画像と部分
画像の輝度差が大きいときでも効率的なテンプレートマ
ッチング方法及び装置を提供することにある。

【００２６】また，本発明の他の目的は，上記本発明の
テンプレートマッチング方法を利用した，画像データの
代りにベクトルデータの類似性を評価する方法及び装置
を提供することにある。

【００２７】

【課題を解決するための手段】上記目的を達成するため
に，テンプレート画像をビット反転した画像と，サーチ
画像におけるテンプレート画像と同一サイズの部分画像
から，評価尺度となるしきい値を求め，上記テンプレー
ト画像をビット反転した画像と上記部分画像から順次１
画素ずつ画素値を積算すると共に，上記求めた積算値を
累積加算し，該累積加算値が上記しきい値を超過したと
き，上記テンプレートと上記部分画像との評価処理を終
了するようにする。

【００２８】テンプレート画像をビット反転させた画像
t"(m,n)と部分画像との正規化相関係数R"を考える。テ
ンプレート画像が256階調の濃淡画像だとすると，テン
プレート画像のビット反転した各画素t"(m,n)はt"(m,n)
= 255-t(m,n)と表すことができる。これを上記数１に
代入すると，R" = -Rがなりたつ。すなわち，Rの最大値
を求める問題は，R"の最小値を求める問題に帰着でき
る。

【００２９】また，上記数１は下記の数２のようにも表
すことができる。

【００３０】

【数２】

【００３１】ここで，上記数２の右辺の分子の第１項及
び分母をあらかじめ効率良く求めておき，右辺の分子の
第２項の演算を１画素ずつ求めながら，適当なしきい値
と比較することにより処理を打ち切れば，積和演算と比
較演算だけで，演算打切りを行う正規化相関処理を実現
できる。テンプレート画像ではなく，サーチ画像をビッ
ト反転させても同様である。

【００３２】また，上記テンプレート画像，テンプレー
ト画像をビット反転した画像，サーチ画像またはサーチ
画像をビット反転した画像を，各画素値に対して，どの
画素値も負にならないように特定の正数を引くか，特定
の正数を掛けた画像に変換して，上記の演算打切りを行
うテンプレートマッチング処理を行ってもよい。

【００３３】部分画像とテンプレート画像との類似度を
評価するとき，予め求めた，上記テンプレート画像をビ
ット反転した画像の画素値の総和(Ａ)，上記テンプレー
ト画像をビット反転した画像の画素値の二乗和(Ｂ)，上
記部分画像の画素値の総和(Ｃ)，及び，上記部分画像の
画素値の二乗和(Ｄ)をあらかじめ求め，上記Ａ，Ｂ，
Ｃ，Ｄと，あらかじめ定めた１以下の正数(Ｅ)及び上記
テンプレート画像の画素数(Ｐ)から，

【００３４】

【数３】

【００３５】に基づいてしきい値Ｆを算出し，上記テン
プレート画像をビット反転した画像と上記部分画像の対
応する各画素毎の画素値を積算すると共に，上記求めた
積算値を累積加算し，該累積加算値が上記しきい値Ｆを
超過したとき，上記部分画像との類似度の評価を打ち切
るようにしてもよい。

【００３６】ここでも，テンプレート画像ではなく，サ
ーチ画像をビット反転させてもよい。

【００３７】

【発明の実施の形態】以下，本発明の一実施形態を図１
〜６及び図１３，１４により説明する。図１は，本発明
によるテンプレートマッチング方法を記したフローチャ
ートである。ここでは，本発明のテンプレートマッチン
グ方法を実現するためのプログラムを記憶媒体等に記憶
しておき，該プログラムを汎用計算機上で実行させるこ
とにより，テンプレートマッチングを行うことを想定す
る。テンプレート画像及びサーチ画像は共にバイナリフ
ァイルとして外部記憶領域にあるものとする。

【００３８】まず，図１３のテンプレート画像を外部記
憶から読み出し，ビット反転させて，配列t"(m,n) (m=
0,1,2，n=0,1,2)に格納する(ステップ101)。また，図１
４のサーチ画像を外部記憶から読み出し，配列s(i,j)
(i=0,1,…,4，j=0,1,…,4)に格納する(ステップ102)。
次に，反転テンプレートの画素値の総和及び二乗和を計
算する(ステップ103)。図１３のテンプレートでは総和A
= 1300，二乗和B = 210000となる。この値から，反転
テンプレートの各画素と平均画素値の差の二乗和の平方
根=22222.22を求める。

【００３９】次に，今までの正規化相関係数の最大値E
の初期値として-1を与える(ステップ104)。

【００４０】以降，各部分画像に対して，正規化相関係
数を求める処理を行う。まず，画素1401を左上端とする
部分画像を選択し(ステップ105)，その部分画像の画素
値の総和及び二乗和を計算し(ステップ106)，総和C(0,
0)= 64，二乗和D(0,0)= 2526を得る。次に，上記数３で
示したしきい値F(0,0)を求める(ステップ107)。A=130
0，B=210000，C(0,0)=64，D(0,0)=2526，E= -1，P=9よ
り，F(0,0)=13860となる。

【００４１】今度は，反転テンプレートと部分画像の対
応する各画素の積を１画素ずつ求めて累積加算し，その
値がF(0,0)を超過していないか判定する(ステップ108〜
１１１）。上記累積加算値は単調増加するため，累積加
算値が，一旦Ｆ（０，０）を超過したならば，以降の処
理でF(0,0)を下回ることはありえない。従って，累積加
算値がF(0,0)を超過した時点で処理を打切り，別の部分
画像に対して同様の処理を行う。本例の場合，９画素目
まで累積加算値はしきい値を超えないので，座標（０，
０）を登録すると共に，得られた相関値を新たなEの値
とする。上記数３に従って，新たなしきい値を求める。

【００４２】以降，画素1402，1403，1406，1407，140
8，1411，1412，1413のそれぞれを左上端とする部分画
像を選択し，同様の処理を行う。各処理に対する累積加
算値の経過を図２に示す。図２より，画素1402，1403，
1406，1407，1408，1411，1412を左上端とする部分画像
は，それぞれ，第５画素目，第４画素目，第５画素目，
第７画素目，第１画素目，第５画素目，第４画素目で処
理が打ち切られており，1413を左上端とする部分画像は
途中で処理が打ち切られていないことが判る。

【００４３】本実施形態における，テンプレートマッチ
ング全体での最内ループの繰り返し総数は，上記従来手
法より１回少ない49回である。一方，本実施形態の最内
ループ部の処理ステップ数について，図３に記したプロ
グラムを用いて説明する。

【００４４】図１の最内ループを実行するためには，図
３に示すように，反転テンプレートの各画素と，部分画
像の各画素をリードして積をとり，累積値用のレジスタ
MACH，MACLに足し込む積和演算を行う(ステップ301)。
そして，累積値をしきい値F(レジスタR5)と比較し(ステ
ップ304)，累積値がしきい値を超えていれば処理を打ち
切るため最内ループから外に分岐する(ステップ305)。
累積値がしきい値を超えていなければ，未対象画素対に
対してステップ301からの処理を繰り返す(ステップ30
6，307)。未対象画素対がなければ最内ループの処理を
終了する。

【００４５】ここでも，サーチ画像は外部メモリ，反転
テンプレートの画素値はキャッシュもしくは内蔵RAMに
格納されているとする。部分画像の画素値をリードする
手間は，外部メモリからキャッシュにリードする約２ス
テートと，キャッシュからレジスタにリードする１ステ
ートの合計約３ステートである。テンプレートの画素値
をリードする手間は１ステートである。ステップ303，3
04の手間は，それぞれ１ステートだが，ステップ303，3
04の処理は，それぞれ，ステップ302，303の演算結果を
用いるため，パイプラインのオーバーヘッドが１ステー
トずつ掛かる。ステップ305の条件分岐はループの処理
を繰り返す場合は１ステート，ステップ306，307の条件
分岐はループの処理を繰り返す場合は４ステートとな
る。従って，合計約13ステート掛かることになる。ここ
で，条件分岐として，次処理を実行してから分岐する遅
延分岐を用いると１ステート削減できる。

【００４６】以上のことから，最内ループに要するステ
ップ数は，プリミティブな方法では８ステートであるの
に対して，本手法では12から13ステートであるが，最内
ループ繰り返し総数が，プリミティブな方法では81回に
対して，本手法では49回になるため，処理時間はプリミ
ティブな方法より短くなる。

【００４７】本発明を適用したテンプレートマッチング
方法の他の実施形態を図４，図５を用いて説明する。

【００４８】上記図１の実施形態では，反転テンプレー
トの画素値と部分画像の画素値の積和を求めているのに
対して，本実施形態では，反転テンプレートの最小画素
値を引いた画素値とサーチ画像の最小画素値を引いた部
分画像の画素値の積和を求めている。これに伴って，し
きい値の計算方法も変わり，以下の数４に示す式のよう
になる。

【００４９】

【数４】

【００５０】本実施形態の方法は，図４に示すように，
上記図１のフローチャートのステップ103，107，109の
代りに，ステップ103a及び103b，107a，109aを設けたも
ので，それ以外のステップは上記図１と共通している。

【００５１】ステップ103aでは，反転テンプレート，サ
ーチ画像各々の最小値を求め，各画像から各最小値を引
く。ここで，最内ループの演算数を増加させないため，
最小画素値を引いた反転テンプレート画像及び，最小画
素値を引いたサーチ画像をあらかじめ計算し，格納して
おく。次に，ステップ103bでは，変換後のテンプレート
の画素値の総和A，二乗和Bをそれぞれ計算する。

【００５２】ステップ107aでは，上記数４によって定義
されたしきい値Fを計算する。また，ステップ109aで
は，ステップ103aで変換された後のテンプレートと同じ
く変換後のサーチ画像に対応する画素間の積を計算し，
Xに足し込む。

【００５３】図１３のテンプレート，図１４のサーチ画
像に対して，本実施形態の手法を用いたときの各処理に
対する累積加算値の経過を図５に示す。

【００５４】図５より，画素1402，1403，1406，1407，
1408，1411，1412を左上端とする部分画像は，それぞ
れ，第５画素目，第４画素目，第３画素目，第７画素
目，第１画素目，第５画素目，第４画素目で処理が打ち
切られ，1401及び1413を左上端とする部分画像は途中で
処理が打ち切られていない。従って，最内ループ繰り返
し総数が47回になる。最内ループの処理は前述の実施形
態と同一であるため，処理時間は前述の実施形態の方法
より短くなる。

【００５５】本実施形態では，サーチ画像の最小画素値
をサーチ画像の各画素値から引いたが，その代わりに，
各部分画像に対して最小画素値を求め，部分画像毎に求
めた最小画素値を引いても良い。

【００５６】また，部分画像毎に最小画素値を求める手
間が無視できないならば，サーチ画像の最小画素値以
上，部分画像の最小画素値以下の値を効率の良い方法で
求め，その値を引いても良い。

【００５７】次に，本発明を適用したテンプレートマッ
チング方法の他の実施形態を図６を参照して説明する。

【００５８】以上の２つの実施形態では，１つのテンプ
レート画像に対するマッチングを行う場合について説明
したが，これは複数のテンプレート画像に対するテンプ
レートマッチングにも適用することができる。例えば，
その適用対象の１つとして，カラー画像に対するテンプ
レートマッチングが挙げられる。

【００５９】図６は，カラー画像に対するテンプレート
マッチング方法を示したものである。まず，外部記憶装
置からテンプレート画像及びサーチ画像をＲ（赤色の成
分），Ｇ（緑色の成分），Ｂ（青色の成分）ごとに取り
込みを行う(ステップ601，602)。取り込んだ画像に対し
て，Ｒ，Ｇ，Ｂの画像毎に，先の２つの実施形態で述べ
たものと同様の方法でテンプレートマッチングを行い，
テンプレート画像と相関度が高い部分画像をそれぞれ
Ｒ，Ｇ，Ｂ毎に抽出する(ステップ603)。

【００６０】さらに，このように抽出されたＲ，Ｇ，Ｂ
それぞれの部分画像から最終的な部分画像を決定する
(ステップ604)。例えば，Ｒ，Ｇ，Ｂについて行ったテ
ンプレートマッチングで抽出された部分画像の起点とす
る座標を比較して，最も多く抽出された座標を起点とす
る部分画像を最終的な部分画像として決定するものであ
る。

【００６１】なお，しきい値Eについては，Ｒ，Ｇ，Ｂ
共通としてもよく，また，色成分に応じてしきい値Eを
変えてもよい。また，特定の色成分に関しては，打切り
を実施しないなど，適用対象に応じて使い分ける。

【００６２】次に，本発明を適用した装置の一実施形態
を図７，９〜１０，１６〜１７を参照して説明する。

【００６３】本実施形態によるテンプレートマッチング
を行う装置の構成を図７に示す。本装置は，テンプレー
ト画像とサーチ画像を取り込んで，テンプレートマッチ
ングを行うテンプレートマッチング処理部702，テンプ
レートマッチング処理部702に処理開始命令を行うCPU70
1，テンプレート画像を記憶する画像メモリ703，およ
び，サーチ画像を記憶する画像メモリ704から構成され
ている。

【００６４】テンプレートマッチング処理部702の構成
例を図９に示す。

【００６５】図９において，903，904はそれぞれ画像メ
モリ703，704のリードアドレスを発生するアドレス生成
器，912は画像メモリ703から読み出したデータをビット
反転する演算器，905は演算器912のデータと画像メモリ
704から読み出されたデータを選択して出力するセレク
タ，906は乗算器，907はセレクタである。

【００６６】さらに，908は加算器，909はレジスタで，
加算器908とレジスタ909で累積加算を実行する。また，
910はサーチ画像における部分画像の画素値の総和及び
二乗和を効率良く計算する演算器である。915，916，91
7，918，919及び920は，それぞれ，テンプレートの画素
数，正規化相関のしきい値，テンプレートにおける画素
値の総和，テンプレートにおける画素値の二乗和，対象
部分画像の画素値の総和を格納するレジスタ，及び，対
象部分画像の画素値の二乗和を格納するレジスタであ
る。レジスタ915，916，917，918，919及び920に格納さ
れている値をそれぞれ，P，E，A，B，C及びDとしたと
き，921はP，E，A，B，C及びDに対して数３で記した計
算を行う演算器，922は演算器921で計算された値を格納
するレジスタである。

【００６７】また，911は乗算器，913は加算器，914は
加算器913の中途計算結果を格納するレジスタである。9
23は，レジスタ922に格納されたしきい値とレジスタ914
に格納された中途計算結果を比較し，レジスタ914の値
がレジスタ922の値より大きくなったとき，現在対象と
している部分画像の処理を打ち切り，次の部分画像に対
する処理に移行するための制御信号を出力する比較器で
ある。

【００６８】図９に示す構成の装置を用いたテンプレー
トマッチング処理は以下の要領で行う。

【００６９】まず，センサ等で入力したテンプレート画
像及びサーチ画像を，それぞれ画像メモリ703及び704に
格納する。また，CPU701から，テンプレートの画素数を
レジスタ915，正規化相関係数のしきい値をレジスタ916
に格納する。

【００７０】次に，画像メモリ703のデータをビット反
転し，加算器908に入力させるように，セレクタ905及び
907を設定し，アドレス生成器903で反転テンプレート画
像を１画素ずつリードさせ，加算器908とレジスタ909で
累積加算を求めることにより反転テンプレートの画素値
の総和を計算する。計算結果はレジスタ917に格納す
る。

【００７１】同様に，画像メモリ703のデータ二乗値を
加算器908に入力させるように，セレクタ905及び907を
設定し，アドレス生成器903で反転テンプレート画像を
１画素ずつリードさせ，加算器908とレジスタ909で累積
加算を求めることにより反転テンプレートの画素値の二
乗和を計算する。計算結果はレジスタ918に格納する。

【００７２】続いて，画像メモリ704のデータを演算器9
10に入力させるように，セレクタ905及び907を設定し，
アドレス生成器904でサーチ画像を１画素ずつリードさ
せ，サーチ画像における対象部分画像の画素値の総和を
計算する。計算結果はレジスタ919に格納する。

【００７３】同様に，画像メモリ704のデータの二乗値
を演算器910に入力させるように，セレクタ905及び907
を設定し，アドレス生成器904でサーチ画像を１画素ず
つリードさせ，サーチ画像における対象部分画像の画素
値の二乗和を計算する。計算結果はレジスタ920に格納
する。

【００７４】演算器921は，上記レジスタ915，916，91
7，918，919，920に格納された値を用いて，上記数３に
示した計算を行う。演算器921で計算された値は処理打
ち切り用のしきい値としてレジスタ922に格納される。

【００７５】以上が，それぞれの部分画像とテンプレー
トの正規化相関係数を求める処理において，事前に行う
処理である。

【００７６】正規化相関係数を求める処理では，画像メ
モリ703から反転テンプレートを，画像メモリ704からサ
ーチ画像の対象部分画像を，それぞれ１画素ずつ読み出
し，乗算器911，加算器913によって各画素値の積を累積
加算し，レジスタ914に格納する。比較器923では，上記
レジスタ922に格納されたしきい値とレジスタ914に格納
された累積加算値を比較し，比較結果を出力する。

【００７７】レジスタ914に格納された累積加算値がレ
ジスタ922に格納されたしきい値を超過したとき，レジ
スタ919及び920には，現対象部分画像の次の対象部分画
像における画素値の総和及び二乗和を格納し，レジスタ
922には次の対象部分画像との正規化相関係数処理の打
切りしきい値を格納すると共に，アドレス生成器903及
び904のアドレスをテンプレート及び次対象部分画像の
先頭画素アドレスに変更する。

【００７８】図１０に演算器910の構成例を示す。

【００７９】図１０において，1000は演算器910に対応
する演算器，1001は少なくともテンプレートと同ライン
数の，各ラインが少なくともサーチ画像と同画素数の記
憶領域をもつラインメモリ，1002及び1005は減算器，10
03及び1006は加算器，1004は，少なくともサーチ画像と
同画素数の記憶領域をもつ１ラインのラインメモリ，10
07はレジスタ，1008は演算結果を記憶するメモリ，1009
はメモリ1008をアクセスするアドレスを発生するアドレ
ス生成器である。ラインメモリ1001，1004，及び，レジ
スタ1007は最初すべて０に初期化されているものとす
る。

【００８０】図１６及び図１７を併用して，サーチ画像
における部分画像の画素値の総和を求めるときの図１０
の演算器1000の動作を説明する。

【００８１】演算器1000にはサーチ画像の画素がラスタ
スキャン順に入力するものとする。演算器1000に入力さ
れたデータ(zとする)はラインメモリ1001に格納される
と共に，減算器1002に入力される。ここで，現在入力さ
れた画素データを，図１７の画素1607であるとする。ま
た，ラインメモリ1001からデータzに対応する画素のサ
ーチ画像上Nライン(＝テンプレートのライン数)上方に
対応するデータ(yとする)を読み出し，減算器1002に入
力する。

【００８２】この画素データは図１７の画素1606に対応
する。ここで，データyに対応する画素がサーチ画像上
にないときは，yとして初期値０が読み出される。減算
器1002ではz-yの演算が実行される。ラインメモリ1004
は縦Nライン横１画素の画像を画素値の総和を１ライン
分格納したメモリである。加算器1003では，減算器1002
で計算されたz-yと，ラインメモリ1004から読み出した
図１７の領域1605に対応する画像の画素値の総和(Wとす
る)を加算し，図１６の領域1604に対応する画像の画素
値の総和(Vとする)を出力する。

【００８３】加算器1003から出力されたデータはライン
メモリ1004に格納されると共に，減算器1005に入力され
る。減算器1005では，上記Vから，ラインメモリ1004か
ら読み出した図１６の領域1603に対応する画像の画素値
の総和(Uとする)を引いた結果を出力する。加算器1006
では，上記減算結果と，レジスタ1007に格納されている
図１６の部分画像1602の画素値の総和(Gとする)を加算
することにより，部分画像1601の画素値の総和を計算す
る。計算された部分画像1601の画素値の総和は，レジス
タ1007に格納されると共に，メモリ1008にも格納され
る。

【００８４】以降，サーチ画像を１画素読み出す毎に，
隣接した部分画像の画素値の総和を計算することを繰り
返す。サーチ画像における部分画像の画素値の二乗和も
同様に計算し，メモリ1008に格納する。特定の部分画像
に対する正規化相関係数を求める演算では，対象部分画
像の画素値の総和及び二乗和を，メモリ1008からアドレ
ス生成器1009を用いて順に読み出すことにより，図９の
レジスタ919及び920に格納する。

【００８５】本発明を適用した画像処理システムの一実
施形態を図１１，図１２を参照して説明する。

【００８６】本実施形態のシステムは，例えば図１１に
示すように，画像処理プロセッサ1101，ホストプロセッ
サ1102，センサ1103，及びモニタ1104から構成される。
画像処理プロセッサ１１０１の構成を図１２に示す。こ
こで，画像処理プロセッサ1101として図１２の1200が対
応し，センサ1103が端子1209，モニタ1104が端子1210，
ホストプロセッサ1102が端子1211にそれぞれ接続され
る。

【００８７】図１２において，1201，1202が画像メモ
リ，1203はテンプレートマッチング部，1204はフィルタ
リングなどの画像前処理部，1205は端子1209から入力さ
れた映像信号をライトバス1214に出力する映像入力処理
部，1206はリードバス1212のデータを映像信号として端
子1210に出力する映像表示処理部，1207はホストプロセ
ッサ1102との信号の入出力を司るホストインタフェー
ス，1208は画像メモリ1201及び1202と上記の演算部ある
いはインタフェース部とのデータパス制御，アドレス制
御などを行うバス制御部である。

【００８８】テンプレートマッチング部1203の構成とし
ては，図９に示す構成からアドレス生成器903及び904を
除いたものと同じであり，ここではアドレス生成器903
及び904の機能はバス制御部1208が担う。

【００８９】テンプレートマッチングを行う前に，テン
プレートとサーチ画像を画像メモリ1201または1202に格
納する。このとき，テンプレートはセンサ1103から入力
した画像を端子1209，映像入力処理部1205，ライトバス
1214，バス制御部1208を経由して画像メモリ1201または
1202に格納するか，もしくは，ホストプロセッサが有す
る情報を端子1211，ホストインタフェース1207，バス12
08を経由して画像メモリ1201または1202に格納する。サ
ーチ画像はセンサ1103から入力した画像を端子1209，映
像入力処理部1205，ライトバス1214，バス制御部1208を
経由して画像メモリ1201または1202に格納する。

【００９０】テンプレート，サーチ画像にはノイズが含
まれていることが一般的なので，ノイズを低減するた
め，フィルタリングなどの前処理を実施する。すなわ
ち，テンプレート或いはサーチ画像を画像メモリ1201ま
たは1202からバス制御部1208，リードバス1212または12
13を経由して読み出し，前処理部1204で適当な前処理演
算を行う。処理した結果は，ライトバス1214，バス制御
部1208を経由して，画像メモリ1201または1202に格納す
る。どういう前処理を行うかはホストプロセッサから端
子1211，ホストインタフェース1207を経由して設定され
る。処理結果は，バス制御部1208，ライトバス1214，映
像表示処理部1206を経由してモニタに表示し，確認する
ことができる。

【００９１】テンプレートマッチング処理は，画像メモ
リ1201または1202からバス制御部1208を経由して，テン
プレート及びサーチ画像を読み出し，テンプレートマッ
チング部1203で正規化相関係数を計算することにより行
う。例えば，図９を用いて説明したような処理によって
得られた比較結果などに応じて，相関度の最も高い部分
画像の位置を記憶しておき，全部分画像を処理した後，
記憶している相関度の最も高い部分画像の位置情報をホ
ストインタフェース1207を経由し，ホストプロセッサに
示す。

【００９２】本実施形態では，すべての演算を画像処理
プロセッサ1101で行っているが，しきい値計算における
複雑な演算を，ホストプロセッサ1102で行うように構成
してもよい。

【００９３】なお，上記各実施形態では，画像データの
相関度を評価する方法及び装置について説明したが，本
発明が適用できるのはこれに限定されるものではない。
例えば，図１の処理手順において、画像データの代わり
に予め定めた順序で並べられている複数のデータから構
成されるデータ群を用い，基準となるデータ群とサーチ
の対象となるデータ群との相関度を，上記各実施形態と
同様に評価することができる。

【００９４】ここでデータ群としては，画像を構成する
各画素の値の代わりに，例えばベクトルの各次元におけ
る値を用いたベクトルデータや、周波数毎の強度を規定
するスペクトラムデータを用いることができる。また、
音声の特徴抽出処理などにも適用することができる。

【００９５】

【発明の効果】本発明によれば，テンプレート画像と部
分画像の輝度差が大きいときでも効率的なテンプレート
マッチングを実現することができる方法及び装置を提供
することができる。

【図面の簡単な説明】

【図１】本発明のテンプレートマッチングの手順を示す
フローチャートである。

【図２】本発明により，テンプレートマッチングを行っ
た場合の部分画像としきい値との関係を示した図表であ
る。

【図３】本発明における処理の一部を記述したプログラ
ムリストである。

【図４】本発明のテンプレートマッチングの他の手順を
示すフローチャートである。

【図５】本発明により，テンプレートマッチングを行っ
た場合の部分画像としきい値との関係を示した図表であ
る。

【図６】本発明のテンプレートマッチングをカラー画像
に適用した場合の処理手順を示したフローチャートであ
る。

【図７】本発明のテンプレートマッチング装置の構成を
示したブロック図である。

【図８】従来手法のテンプレートマッチングの手順を示
すフローチャートである。

【図９】本発明のテンプレートマッチング処理部の内部
構成を示すブロック図である。

【図１０】本発明のテンプレートマッチング処理部にお
ける部分画像の画素値の総和及び二乗和を求める演算器
の内部構成を示すブロック図である。

【図１１】本発明を適用した画像処理システムを示すブ
ロック図である。

【図１２】本発明を適用した画像処理システムの画像処
理プロセッサの構成図である。

【図１３】テンプレート画像の一例を示した説明図であ
る。

【図１４】サーチ画像の一例を示した説明図である。

【図１５】従来手法により，テンプレートマッチングを
行った場合の部分画像としきい値との関係を示した図表
である。

【図１６】本発明の部分画像の画素値の総和及び二乗和
を求めるための説明図である。

【図１７】本発明の部分画像の画素値の総和及び二乗和
を求めるための説明図である。

【図１８】従来手法における処理の一部を記述したプロ
グラムリストである。

【図１９】従来手法における処理の一部を記述したプロ
グラムリストである。

【符号の説明】

703，704…画像メモリ，903，904…アドレス生成器，90
5，907…セレクタ，906，912…乗算器，908，913…加算
器，911…減算器，910…演算器，909，914，915，916，
917，918，919，920，922…レジスタ，921…演算器，92
3…比較器，1103…センサ，1104…モニタ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 桂 晃洋 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 高根 淳 茨城県ひたちなか市大字市毛882番地 株 式会社日立製作所計測器事業部内 (72)発明者 安河内 正也 茨城県ひたちなか市大字市毛882番地 株 式会社日立製作所計測器事業部内

Claims (8)

【特許請求の範囲】
1. 【請求項１】テンプレート画像及びサーチ画像における
   該テンプレート画像と同一サイズの部分画像のうち一方
   をビット反転し，該ビット反転した画像と他方の画像と
   から評価尺度となるしきい値を求め，上記ビット反転し
   た画像と上記他方の画像とから順次１画素ずつ画素値を
   積算し，上記求めた積算値を累積加算し，該累積加算値
   が上記しきい値を超過したとき，上記テンプレート画像
   と上記部分画像との評価処理を終了することを特徴とす
   るテンプレートマッチング方法。
2. 【請求項２】上記ビット反転した画像及び上記他方の画
   像の各画素値について，いずれの画素値も負にならない
   ように特定の正数をそれぞれ引く処理および特定の正数
   を掛ける処理のうち少なくとも一方を実施し，前記実施
   された処理によって変換された上記２つの画像を用い
   て，当該テンプレートマッチングを実施することを特徴
   とする請求項１に記載のテンプレートマッチング方法。
3. 【請求項３】テンプレート画像と，サーチ画像における
   該テンプレート画像と同一サイズの部分画像との類似度
   を正規化相関演算により評価する処理を，上記サーチ画
   像の複数の部分画像に対して行い，その評価値に応じ
   て，上記複数の部分画像のうち，上記テンプレート画像
   と類似する部分画像を決定するテンプレートマッチング
   方法であって，上記テンプレート画像をビット反転した
   画像の画素値の総和(Ａ)，上記テンプレート画像をビッ
   ト反転した画像の画素値の二乗和(Ｂ)，上記部分画像の
   画素値の総和(Ｃ)，及び，上記部分画像の画素値の二乗
   和(Ｄ)をあらかじめ求め，上記Ａ，Ｂ，Ｃ，Ｄと，あら
   かじめ定めた１以下の正数(Ｅ)及び上記テンプレート画
   像の画素数(Ｐ)から， Ｆ＝Ａ×Ｃ／Ｐ−Ｅ×(Ｂ−Ａ²／Ｐ)^1/2×(Ｄ−Ｃ²／
   Ｐ)^1/2 に基づいてしきい値Ｆを算出し，上記テンプレート画像
   をビット反転した画像と上記部分画像の対応する各画素
   毎の画素値を積算すると共に，上記求めた積算値を累積
   加算し，該累積加算値が上記しきい値Ｆを超過したと
   き，上記部分画像との類似度の評価を打ち切ることを特
   徴とするテンプレートマッチング方法。
4. 【請求項４】テンプレート画像と，サーチ画像における
   該テンプレート画像と同一サイズの部分画像との類似度
   を正規化相関演算により評価する処理を，上記サーチ画
   像の複数の部分画像に対して行い，その評価値に応じ
   て，上記複数の部分画像のうち，上記テンプレート画像
   と類似する部分画像を決定するテンプレートマッチング
   方法であって，上記テンプレート画像の画素値の総和
   (Ａ)，上記テンプレート画像の画素値の二乗和(Ｂ)，上
   記部分画像をビット反転した画像の画素値の総和(Ｃ)，
   及び，上記部分画像をビット反転した画像の画素値の二
   乗和(Ｄ)をあらかじめ求め，上記Ａ，Ｂ，Ｃ，Ｄと，あ
   らかじめ定めた１以下の正数(Ｅ)及び上記テンプレート
   画像の画素数(Ｐ)から， Ｆ＝Ａ×Ｃ／Ｐ−Ｅ×(Ｂ−Ａ²／Ｐ)^1/2×(Ｄ−Ｃ²／
   Ｐ)^1/2 に基づいてしきい値Ｆを算出し，上記テンプレート画像
   と上記部分画像をビット反転した画像の対応する各画素
   毎の画素値を積算すると共に，上記求めた積算値を累積
   加算し，該累積加算値が上記しきい値Ｆを超過したと
   き，上記部分画像との類似度の評価を打ち切ることを特
   徴とするテンプレートマッチング方法。
5. 【請求項５】テンプレート画像と，サーチ画像における
   該テンプレート画像と同一サイズの部分画像との類似度
   を正規化相関演算により評価する処理を，上記サーチ画
   像の複数の部分画像に対して行い，その評価値に応じ
   て，上記複数の部分画像のうち，上記テンプレート画像
   と類似する部分画像を決定するテンプレートマッチング
   装置であって，上記テンプレート画像をビット反転した
   画像を記憶する第１の記憶手段と，上記テンプレート画
   像より大きなサイズのサーチ画像を記憶する第２の記憶
   手段と，上記第１の記憶手段から上記テンプレート画像
   をビット反転した画像の画素値を読み出し，該画素値の
   総和を計算する第１の計算手段と，上記第１の計算手段
   により計算された値(Ａ)を記憶する第３の記憶手段と，
   上記第１の記憶手段から上記テンプレート画像をビット
   反転した画像の画素値を読み出し，該画素値の二乗和を
   計算する第２の計算手段と，上記第２の計算手段により
   計算された値(Ｂ)を記憶する第４の記憶手段と，上記第
   ２の記憶手段から上記サーチ画像の画素値を読み出し
   て，上記テンプレート画像と同サイズの部分画像におけ
   る画素値の総和を計算する第３の計算手段と，上記第３
   の計算手段により計算された値(Ｃ)を記憶する第５の記
   憶手段と，上記部分画像における画素値の二乗和を計算
   する第４の計算手段と，上記第４の計算手段により計算
   された値(Ｄ)を記憶する第６の記憶手段と，あらかじめ
   定めた１以下の正数(Ｅ)を記憶する第７の記憶手段と，
   上記テンプレート画像の画素数(Ｐ)を記憶する第８の記
   憶手段と，上記第３，第４，第５，第６，第７及び第８
   の記憶手段に格納された値Ａ，Ｂ，Ｃ，Ｄ，Ｅ及びＰか
   ら，しきい値Ｆを以下の数式から計算する第５の計算手
   段と， Ｆ＝Ａ×Ｃ／Ｐ−Ｅ×(Ｂ−Ａ²／Ｐ)^1/2×(Ｄ−Ｃ²／
   Ｐ)^1/2 上記第５の計算手段により計算されたしきい値Ｆを記憶
   する第９の記憶手段と，上記第１の記憶手段からテンプ
   レート画像をビット反転した画像の画素値を読み出し，
   上記第２の記憶手段から上記部分画像における上記テン
   プレート画像の上記画素値に対応する画素値を読み出
   し，上記それぞれの画素値の積の累積加算値を計算する
   第６の計算手段と，上記第６の計算手段で計算される累
   積加算値の中間結果を随時記憶する第１０の記憶手段
   と，上記第１０の記憶手段に記憶されている中間結果と
   上記第９の記憶手段に記憶されているしきい値Ｆとを比
   較する比較手段と，上記比較手段の比較結果から上記累
   積加算値がしきい値Ｆを超過した時に，該累積加算値に
   対応する上記部分画像との類似度の評価を打ち切る判定
   手段とを有することを特徴とするテンプレートマッチン
   グ装置。
6. 【請求項６】テンプレート画像と，サーチ画像における
   該テンプレート画像と同一サイズの部分画像との類似度
   を正規化相関演算により評価する処理を，上記サーチ画
   像の複数の部分画像に対して行い，その評価値に応じ
   て，上記複数の部分画像のうち，上記テンプレート画像
   と類似する部分画像を決定するテンプレートマッチング
   装置であって，上記テンプレート画像を記憶する第１の
   記憶手段と，上記テンプレート画像より大きなサイズの
   サーチ画像をビット反転した画像を記憶する第２の記憶
   手段と，上記第１の記憶手段から上記テンプレート画像
   の画素値を読み出し，該画素値の総和を計算する第１の
   計算手段と，上記第１の計算手段により計算された値
   (Ａ)を記憶する第３の記憶手段と，上記第１の記憶手段
   から上記テンプレート画像の画素値を読み出し，該画素
   値の二乗和を計算する第２の計算手段と，上記第２の計
   算手段により計算された値(Ｂ)を記憶する第４の記憶手
   段と，上記第２の記憶手段から上記サーチ画像をビット
   反転した画像の画素値を読み出して，上記テンプレート
   画像と同サイズの部分画像における画素値の総和を計算
   する第３の計算手段と，上記第３の計算手段により計算
   された値(Ｃ)を記憶する第５の記憶手段と，上記部分画
   像における画素値の二乗和を計算する第４の計算手段
   と，上記第４の計算手段により計算された値(Ｄ)を記憶
   する第６の記憶手段と，あらかじめ定めた１以下の正数
   (Ｅ)を記憶する第７の記憶手段と，上記テンプレート画
   像の画素数(Ｐ)を記憶する第８の記憶手段と，上記第
   ３，第４，第５，第６，第７及び第８の記憶手段に格納
   された値Ａ，Ｂ，Ｃ，Ｄ，Ｅ及びＰから，しきい値Ｆを
   以下の数式から計算する第５の計算手段と， Ｆ＝Ａ×Ｃ／Ｐ−Ｅ×(Ｂ−Ａ²／Ｐ)^1/2×(Ｄ−Ｃ²／
   Ｐ)^1/2 上記第５の計算手段により計算されたしきい値Ｆを記憶
   する第９の記憶手段と，上記第１の記憶手段からテンプ
   レート画像の画素値を読み出し，上記第２の記憶手段か
   ら上記部分画像における上記テンプレート画像の上記画
   素値に対応する画素値を読み出し，上記それぞれの画素
   値の積の累積加算値を計算する第６の計算手段と，上記
   第６の計算手段で計算される累積加算値の中間結果を随
   時記憶する第１０の記憶手段と，上記第１０の記憶手段
   に記憶されている中間結果と上記第９の記憶手段に記憶
   されているしきい値Ｆとを比較する比較手段と，上記比
   較手段の比較結果から上記累積加算値がしきい値Ｆを超
   過した時に，該累積加算値に対応する上記部分画像との
   類似度の評価を打ち切る判定手段とを有することを特徴
   とするテンプレートマッチング装置。
7. 【請求項７】サーチ画像及びテンプレート画像を取り込
   むための画像入力装置と，上記取り込んだテンプレート
   画像及びサーチ画像を記憶する記憶装置と，上記記憶装
   置からテンプレート画像及びサーチ画像を読み出し，読
   み出したテンプレート画像及びサーチ画像から対象とな
   る部分画像についてしきい値を求め，該しきい値に基づ
   いて評価を行う処理部を少なくとも有する画像処理プロ
   セッサと，上記画像処理プロセッサの処理を管理するホ
   スト計算機とを有し，上記画像処理部プロセッサの処理
   部は，請求項５または６に記載のテンプレートマッチン
   グ装置であることを特徴とする画像処理システム。
8. 【請求項８】複数のデータからなる基準データ群と，サ
   ーチの対象となるデータ群における該基準データ群と同
   一サイズの部分データ群との類似度を評価する処理を，
   上記サーチデータ群に含まれている１以上の部分データ
   群に対して行い，その評価値に応じて，上記１以上の部
   分データ群のうち上記基準データ群と類似する部分デー
   タ群を決定するデータマッチング装置であって，上記基
   準データ群及び上記１以上の部分データ群の一つのうち
   一方をビット反転し，該ビット反転したデータ群と他方
   のデータ群とから評価尺度となるしきい値を求める手段
   と，上記ビット反転したデータ群と上記他方のデータ群
   とから順次１画素ずつ画素値を積算する手段と，上記求
   めた積算値を累積加算し，該累積加算値が上記しきい値
   を超過したとき，上記基準データ群と当該部分データ群
   との評価処理を打ち切ることを特徴とするデータマッチ
   ング装置。