JPH10187967A - テンプレートマッチング方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】テンプレートマッチングに用いる正規化相関演
算において、高速化を実現する。 【解決手段】テンプレート画像の画素値の総和（Ａ），
テンプレート画像の画素値の二乗和（Ｂ），サーチ画像
における部分画像の画素値の総和（Ｃ）、及び、その部
分画像の画素値の二乗和（Ｄ）をあらかじめ求め、上記
Ａ，Ｂ，Ｃ，Ｄと、あらかじめ定めた１以下の正数
（Ｅ）及び上記テンプレート画像の画素数（Ｐ）から、
しきい値Ｆを求めておき、上記テンプレート画像と上記
部分画像の対応する各画素毎に差の二乗を求め累積加算
し、該累積加算値が上記しきい値Ｆを超過したとき、上
記部分画像との類似度の評価を打ち切る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、半導体製品の位置
決め、ＦＡラインでの部品探索，リモートセンシング等
のパターン認識方法及び装置に関する。

【０００２】

【従来の技術】画像処理のさまざまな応用分野におい
て、センサより得られた画像（これをサーチ画像と呼
ぶ）から、特定の画像パターン（これをテンプレートと
呼ぶ）と類似した部分領域を探索するテンプレートマッ
チングが利用されている。このような技術は、例えば高
木幹雄、下田陽久：“画像解析ハンドブック”、東京大
学出版会（１９９１）に記載されている。ここで、各画
素をｎビット（ｎ＞１）で表される多階調画像を対象と
し、類似したかどうかを評価する尺度として正規化相関
係数を用いることが多い。正規化相関係数ｒ（ｉ，ｊ）
は、テンプレートをｔ（ｍ，ｎ)(ｍ＝０，１，…，Ｍ−
１，ｎ＝０，１，…，Ｎ−１）、類似度を評価する部分
画像をｓ（ｉ＋ｍ，ｊ＋ｎ）（ｍ＝０，１，…，Ｍ−
１，ｎ＝０，１，…，Ｎ−１；ｉ，ｊは部分画像の起
点）、テンプレートの画素数をＰとしたとき、次式で与
えられる。

【０００３】

【数２】

【０００４】テンプレートマッチングを行うときは、複
数の部分領域に対して上記正規化相関係数を求め、その
値に応じて１つまたは複数の類似領域を決定する。正規
化相関の特徴は、テンプレートとサーチ画像で照明変動
などにより同じ物体が異なる画素値になる場合でも、影
響なく適切なマッチングが行えるということである。上
記、正規化相関を用いたテンプレートマッチングでは、
正規化相関係数を求めるための演算量が膨大であるた
め、効率良く求める手法が検討されている。

【０００５】従来、正規化相関を用いた高速なテンプレ
ートマッチング方法については、対象の部分画像とテン
プレートの正規化相関係数を求めるのと同時に、対象の
部分画像とテンプレートの対応する画素の差の絶対値を
累積加算し、その加算値があらかじめ定めたしきい値を
超過したとき、上記対象の部分画像とテンプレートの正
規化相関係数を求める処理を打ち切るという方法があ
る。

【０００６】

【発明が解決しようとする課題】上記従来方法は、対象
の部分画像とテンプレートの対応する画素の差の絶対値
を累積加算した値を打切りの評価尺度としているため、
対象の部分画像とテンプレートに照明変動などによる画
素値のずれがある場合、本来類似性の高い画像同士で
も、画素値の差が累積し、打ち切られるという問題があ
る。この点について、図１３及び図１４を用いて具体的
に説明する。

【０００７】図１３はテンプレート、図１４はテンプレ
ートを探索するサーチ画像である。矩形は画素を表し、
矩形の中に記された数字はその画素の画素値（輝度）を
表す。画像の類似性は、対応する画素における画素値の
絶対量の近さではなく、近傍画素間の画素値の変動量に
基づいているため、図１３のテンプレートに最も類似し
た図１４の部分画像は、１４０３，１４０４，１４０
５，１４０８，１４０９，１４１０，１４１３，１４１
４，１４１５で表される右上の部分画像である。実際、
この部分画像とテンプレートとの正規化相関係数は１に
なる。ところが、従来方法の打切り評価尺度を計算する
と４６０になり、１４１１，１４１２，１４１３，１４
１６，１４１７，１４１８，１４２１，１４２２，１４
２３から構成される左下の部分画像とテンプレートとの
打切り評価尺度８０と比べてはるかに大きな数値にな
る。従って、しきい値を８０から４６０の間に設定する
と、左下の部分画像は類似画像の対象になるが、右上の
部分画像は類似画像の対象から除外される。なお、この
左下の部分画像は横縞模様の画像である。

【０００８】また、上記以外の場合でも、しきい値を適
切に定めることは容易とは言えない。

【０００９】本発明の目的は、正規化相関係数が高い部
分画像における処理の打切りを抑止し、しきい値を容易
に定めることができるテンプレートマッチング方法及び
装置を提供することにある。

【００１０】

【課題を解決するための手段】上記目的は、テンプレー
ト画像とサーチ画像におけるテンプレート画像と同一サ
イズの部分画像から評価尺度となるしきい値を求め、上
記テンプレート画像及び上記部分画像から順次１画素ず
つ画素値の差の二乗和を求めると共に上記求めた二乗和
を累積加算し、上記累積加算値が上記しきい値を越えた
時に、上記テンプレート画像と上記部分画像との評価処
理を終了することにより達成することができる。

【００１１】

【発明の実施の形態】以下、本発明の実施例を図面に従
って説明する。図１は、本発明によるテンプレートマッ
チング方法を記したフローチャートである。ここでは、
汎用計算機により図１４のサーチ画像から図１３のテン
プレート画像のテンプレートマッチングを行う場合につ
いて説明する。テンプレート画像及びサーチ画像は、例
えばイメージスキャナーなどの取り込み装置によって共
に外部記憶に格納されている。まず、図１３のテンプレ
ート画像と図１４のサーチ画像を外部記憶装置から読み
出し、それぞれ、ｔ（ｍ，ｎ)(ｍ＝０，１，２，ｎ＝
０，１，２），ｓ（ｉ，ｊ）（ｉ＝０，１，…，４，ｊ
＝０，１，…，４）の配列として計算機内部のメモリに
格納する（１０１，１０２）。

【００１２】次に、テンプレートの画素値の総和及び二
乗和を計算する（１０３）。図１３のテンプレート画像
の画素値の総和Ａ＝２３０、二乗和Ｂ＝６５００とな
る。一方、サーチ画像についてはテンプレートと同じサ
イズの画像領域（以下、「部分画像」という。）のすべ
てに対して、画素値の総和及び二乗和を計算し、計算機
内部のメモリに格納する（１０４）。

【００１３】ここで、サーチ画像におけるテンプレート
画像と同じサイズの部分画像における画素値の総和及び
二乗和を効率良く求める方法を、図２〜図６を用いて説
明する。図２及び図３に効率化の基本的な考え方を示
す。図２において、サーチ画像２００の中の、テンプレ
ートと同サイズの部分画像２０１における画素値の総和
Ｇ′は、部分画像２０１から１画素分主走査方向と逆に
ずれた部分画像２０２における画素値の総和Ｇから、領
域２０３に含まれる画素値の総和Ｕを引いて、領域２０
４に含まれる画素値の総和Ｖを足したものになる。すな
わち、Ｇ′＝Ｇ−Ｕ＋Ｖである。さらに、図３に示すよ
うに、領域２０４に含まれる画素値の総和Ｖは、領域２
０４から１ライン上にずれた領域２０５に含まれる画素
値の総和Ｗから、画素２０６の値ｙを引いて、画素２０
７の値ｚを足したもの、すなわち、Ｖ＝Ｗ−ｙ＋ｚにな
る。従って、部分画像２０２における画素値の総和Ｇ、
及び、領域２０３に含まれる画素値の総和Ｕが事前に計
算されていれば、部分画像２０１における画素値の総和
Ｇ′は基本的に４回の加減算で求めることができる。

【００１４】図４は、サーチ画像におけるテンプレート
と同じサイズのすべての部分画像における画素値の総和
を求めるフローチャートであり、図２及び図３で示した
計算方法を実現したものである。

【００１５】まず、（ｉ，０)(ｉ＝０，１，…，Ｉ−
Ｍ：但し、Ｉはサーチ画像の横の画素数、Ｍはテンプレ
ート画像の横の画素数である。）を起点とする（Ｉ−Ｍ
＋１）個の部分画像について画素値の総和を求めるた
め、（ｉ，０)(ｉ＝０，１…，Ｉ−１）を起点とし縦を
テンプレートと同じＮ画素、横を１画素とした領域にお
ける画素値の総和をそれぞれ計算する（４０１）。次
に、求めた縦Ｎ画素、横１画素の領域における画素値の
総和をＭ個加算することにより、（０，０）を起点とす
る部分画像の画素値の総和を求める（４０２）。以降、
差分となる縦Ｎ画素、横１画素の領域における画素値の
総和を加減算することにより、それぞれ（１，０),
（２，０），…，（Ｉ−Ｍ，０）を起点とする部分画像
における画素値の総和を順に求める（４０３）。

【００１６】さらに、（ｉ，１)(ｉ＝０，１，…，Ｉ−
Ｍ）を起点とする（Ｉ−Ｍ＋１）個の部分画像における
画素値の総和を求めるため、（ｉ，１)(ｉ＝０，１，
…，Ｉ−１）を起点とし、縦がテンプレートと同じＮ画
素、横を１画素とする領域の画素値の総和をそれぞれ計
算する（４０５）。ここでは、既に求めた、（ｉ，０）
（ｉ＝０，１，…，Ｉ−１）を起点とし縦がテンプレー
トと同じ画素、横１画素のＩ個の領域における画素値の
総和を利用し、差分となる画素値を加減算して求める。
このようにして求めた縦Ｎ画素，横１画素の領域におけ
る画素値の総和をＭ個加算することにより、（０，１）
を起点とする部分画像における画素値の総和を求める
（４０６）。以降、差分となる縦Ｎ画素，横１画素の領
域における画素値の総和を加減算することにより、
（１，１),（２，１），…，(Ｉ−Ｍ，１)を起点とする
それぞれの部分画像についての画素値の総和を順に求め
る(４０７)。

【００１７】ｊ＝２，…，Ｊ−Ｎに対しても、ｊ＝１の
ときと同様、事前に求めた計算結果を用いて、各々の部
分画像における画素値の総和を求める（４０５〜４０
９）。（ｉ，ｊ）を起点とする部分画像における画素値
の総和をＣ（ｉ，ｊ）で表すと、図１４のサーチ画像の
Ｃ（ｉ，ｊ)(ｉ＝０，１，２，ｊ＝０，１，２）は下記
のようになる。

【００１８】(C(0,0),C(0,1),C(0,2),C(1,0),C(1,1),C
(1,2),C(2,0),C(2,1),C(2,2))＝(390，580，690，270，
380，470，270，310，380) すべての部分画像における画素値の二乗和を求める処理
は、テンプレート画像，サーチ画像の画素値の二乗値を
求め、上述した画素値の総和と同様に求めることができ
る。（ｉ，ｊ）を起点とする部分画像の画素値の二乗和
をＤ（ｉ，ｊ）で表すと、図１４のサーチ画像のＤ
(ｉ，ｊ)(ｉ＝０，１，２，ｊ＝０，１，２)は下記のよ
うになる。

【００１９】(D(0,0),D(0,1),D(0、2),D(1,0),D(1,1),D
(1,2),D(2,0),D(2,1),D(2,2))＝(20900，44800，5850
0，9500，20400，30100，8700，11900，19600) 図５及び図６は効率の良い計算方法の別の方法を示した
ものである。図２及び図３が、主走査方向と逆に１画素
分ずれた部分画像２０２との差分で部分画像２０１にお
ける画素値の総和Ｇ′を計算したのに対し、図５及び図
６は１ライン上にずれた部分画像５０２との差分で計算
する。

【００２０】図１のフローチャートの説明に戻る。演算
を打ち切るためのしきい値Ｅを与える（１０５）。ここ
で、しきい値Ｅは正規化相関係数に対応する値としてい
る。正規化相関係数は、−１〜１の値をとり、−１は対
象とする画像がテンプレート画像と全く一致しない場合
にとる値であり、１は対象とする画像が全てテンプレー
ト画像と一致している場合にとる値である。従って、−
１〜１の値の何れかを正規化相関係数のしきい値として
与えればよいため未経験者でも直感的に与えることがで
きる。尚、この値は図１の処理を開始する前に与えても
よい。本実施例では、Ｅ＝０.７ と設定した場合につい
て説明する。

【００２１】以上がテンプレートマッチングにおける前
処理であり、テンプレート画像及びサーチ画像をそれぞ
れ１回ずつスキャンするだけで、テンプレート及びサー
チ画像の部分画像の総和、二乗和を求めることができ
る。次に、各部分画像に対して、正規化相関係数を求め
る処理を行う。まず、（０，０）を起点とする部分画像
を選択し（１０６）、数３に基づいてしきい値Ｆ（０，
０）を求める(１０７)。

【００２２】

【数３】

【００２３】 但し、Ａ ：テンプレート画像の画素値の総和 Ｂ ：テンプレート画像の画素値の二乗和 Ｃ（ｉ，ｊ）：（ｉ，ｊ）を起点とする部分画像の画素
値の総和 Ｄ（ｉ，ｊ）：（ｉ，ｊ）を起点とする部分画像の画素
値の二乗和 Ｅ ：正規化相関係数のしきい値 Ｆ（ｉ，ｊ）：（ｉ，ｊ）を起点とするしきい値 Ｐ ：テンプレート画像の画素数 である。従って、テンプレート画像の画素値の総和
（Ａ）は２３０、テンプレート画像の画素値の二乗和
（Ｂ）は６５００、（０，０）を起点とする部分画像の
画素値の総和（Ｃ（０，０））は３９０、（ｉ，ｊ）を
起点とする部分画像の画素値の二乗和（Ｄ（０，０））
は２０９００、相関係数のしきい値Ｅは０.７ 、テンプ
レートの画素数Ｐは９より、（０，０）を起点とするし
きい値Ｆ(０，０)は５２５８となる。ここで、Ｆ(０，
０）は部分画像とテンプレート画像が０.７以上の正規
化相関係数をもつためのテンプレート画像と部分画像の
対応する各画素間の差の二乗和の上限値であり、テンプ
レート画像と部分画像の対応する各画素間の差の二乗和
がＦ（０，０）より大きいときは、正規化相関係数は
０.７ を下回る。尚、このことは、テンプレート画像と
部分画像の対応する各画素間の差の二乗和＞Ｆ（０，
０）と、数３及び数２から証明することができる。

【００２４】次に、テンプレートと部分画像の対応する
各画素間の差の二乗を１画素ずつ求めて累積加算し、そ
の値がＦ（０，０）を超過していないか判定する（１０
８〜１１１）。この累積加算値は単調増加するため、累
積加算値が、一旦Ｆ(０，０)を超過したならば、以降の
処理でＦ（０，０）を下回ることはありえないので、累
積加算値がＦ（０，０）を超過した時点で処理を打切
り、別の部分画像に対して同様の処理を行う。すべての
画素間の差の二乗和を求めてもＦ（０，０）を超過しな
ければ、（０，０）を起点とする部分画像とテンプレー
トの正規化相関係数は０.７ 以上であることになり、部
分画像の起点となる座標（０，０）を登録する。図１５
は、サーチ画像の各起点の部分画像のしきい値Ｆ（ｉ，
ｊ）、テンプレート画像とサーチ画像の部分画像との差
の二乗の累積加算値を示したものである。サーチ画像の
（０，０）を起点とする部分画像についてみるとテンプ
レートの第１画素値が３０、（０，０）を起点とする部
分画像の第１画素値が３０、差の二乗和が０であり、Ｆ
（０，０）＝５２５８を超過しないので第２画素以降に
対して差の二乗を求め、累積加算すると、第６画素で累
積加算値が５７００になり、Ｆ（０，０）＝５２５８を
超過するため第７画素以降の処理を行わず、次の部分画
像の処理に移行する。

【００２５】これによると（０，１),（１，０),（１，
１),（１，２),（２，０),(２，１)，（２，２）をそれ
ぞれ起点とする部分画像に対して、第９画素，第３画
素，第６画素，第６画素，第７画素，第７画素，第７画
素の累積加算でそれぞれしきい値Ｆを超過し、（０，
２）を起点とする部分画像では最後まで超過しない。従
って、部分画像の起点となる座標（０，２）を０.７ よ
り大きい正規化相関係数をもつ部分画像の位置として登
録する。

【００２６】このように、正規化相関係数に対応するし
きい値Ｅを設定するだけで、このしきい値Ｅを下回らな
い部分画像を抽出することができる。さらに、部分画像
の全ての画素についてテンプレート画像との差の二乗和
を求める訳ではないので、高速に処理を実行することが
できる。

【００２７】そして、このようにして得られたテンプレ
ートとマッチングがとれた部分画像は、起点とする座標
が登録されているので、汎用計算機に接続されているＣ
ＲＴ等の表示装置にサーチ画像を表示するとともに、マ
ッチングがとれている部分を枠で囲んで表示してオペレ
ータに教示する。尚、多数の部分画像が登録された場合
において、テンプレート画像に最も近い部分画像を得る
ためには、更にそれぞれの部分画像について正規化相関
係数を求めて最も大きい値をとるものを選ぶようにすれ
ばよい。

【００２８】図７は、本発明の他の実施例を示したもの
である。図７は、図１のフローチャートに示したテンプ
レートマッチング方法の変形例であり具体的には、求め
た正規化相関係数がＥより大きい場合に、Ｅをその求め
た正規化相関係数に置き換えた処理を追加している。
尚、正規化相関については次の数４により求める。

【００２９】

【数４】

【００３０】 但し、Ａ ：テンプレート画像の画素値の総和 Ｂ ：テンプレート画像の画素値の二乗和 Ｃ（ｉ，ｊ）：（ｉ，ｊ）を起点とする部分画像の画素
値の総和 Ｄ（ｉ，ｊ）：（ｉ，ｊ）を起点とする部分画像の画素
値の二乗和 Ｅ ：正規化相関係数のしきい値 Ｇ（ｉ，ｊ）：（ｉ，ｊ）を起点とする部分画像の画素
値とテンプレート画像の画素値の差の二乗和 Ｐ ：テンプレート画像の画素数 ｒ(ｉ，ｊ)は(ｉ，ｊ)を起点とする部分画像に対する正
規化相関係数である。この方法によればサーチ画像の中
で最も相関度の高い部分画像をサーチすることができ
る。また、この方法によれば正規化相関係数に対応する
値Ｅについて最適な値が分からない場合であっても、最
終的にサーチ画像の中で最も相関度の高い部分画像をサ
ーチすることができる。

【００３１】図８に本発明の他の実施例を示す。図８
は、図１のフローチャートに示したテンプレートマッチ
ング方法の変形例であり部分画像とテンプレート画像と
の正規化相関係数を求める処理の直前に、全ての部分画
像における画素値の総和及び二乗和を求めている。図８
の処理手順にすることにより、部分画像における画素値
の総和及び二乗和を記憶するためのメモリ要領を削減す
ることができる。

【００３２】これまでは１つのテンプレート画像に対す
るマッチングを行う場合について説明したが、これは複
数のテンプレート画像に対するテンプレートマッチング
にも適用することができる。例えば、その適用対象の１
つとしてカラー画像に対するテンプレートマッチングが
挙げられる。

【００３３】図１６は、カラー画像に対するテンプレー
トマッチング方法を示したものである。まず、外部記憶
装置からテンプレート画像及びサーチ画像をＲ(赤色の
成分)，Ｇ（緑色の成分），Ｂ（青色の成分）ごとに取
り込みを行う（１６０１）。取り込んだ画像に対して、
Ｒ，Ｇ，Ｂの画像毎に先に述べたのと同様の方法でテン
プレートマッチングを行い、テンプレート画像と相関度
が高い部分画像をそれぞれＲ，Ｇ，Ｂ毎に抽出する（１
６０２）。このように抽出されたＲ，Ｇ，Ｂそれぞれの
部分画像から最終的な部分画像を決定する（１６０
３）。これは、Ｒ，Ｇ，Ｂについて行ったテンプレート
マッチングで抽出された部分画像の起点とする座標を比
較して、最も多く抽出された座標を起点とする部分画像
を最終的な部分画像として決定するものである。

【００３４】尚、しきい値ＥについてはＲ，Ｇ，Ｂ共通
としてもよく、また色成分に応じてしきい値Ｅを変えて
もよい。また、特定の色成分に関しては打切りを実施し
ないなど、適用対象に応じて使い分ける。

【００３５】図１７はテンプレートマッチングを行う装
置を示したものである。本装置は、テンプレートマッチ
ング処理部に処理開始命令を行うCPU1701 、テンプレー
ト画像とサーチ画像を取り込んで、テンプレートマッチ
ングを行うテンプレートマッチング処理部１７０２，テ
ンプレート画像を記憶する画像メモリ１７０３，サーチ
画像を記憶する画像メモリ１７０４から構成されてい
る。図９にテンプレートマッチング処理部の構成を示
す。図９において、９０３，９０４はそれぞれ、画像メ
モリ１７０３，１７０４のリードアドレスを発生するア
ドレス生成器、905は、画像メモリ１７０３及び１７０
４から読み出されたデータを選択して出力するセレク
タ、９０６は乗算器、９０７はセレクタである。９０８
は加算器、909はレジスタで、９０８と９０９で累積加
算を実行する。９１０は、サーチ画像における部分画像
の画素値の総和及び二乗和を効率良く計算する演算器で
ある。

【００３６】９１５，９１６，９１７，９１８，９１９
及び９２０は、それぞれ、テンプレートの画素数，正規
化相関のしきい値，テンプレートにおける画素値の総
和、テンプレートにおける画素値の二乗和，対象部分画
像の画素値の総和を格納するレジスタ、及び、対象部分
画像の画素値の二乗和を格納するレジスタである。レジ
スタ９１５，９１６，９１７，９１８，９１９及び９２
０に格納されている値をそれぞれ、Ｐ，Ｅ，Ａ，Ｂ，Ｃ
及びＤとしたとき、９２１は、Ｐ，Ｅ，Ａ，Ｂ，Ｃ及び
Ｄに対して次の数５で記した計算を行う演算器、９２２
は演算器９２１で計算された値を格納するレジスタであ
る。また、９１１は減算器、９１２は乗算器、９１３は
加算器、９１４は加算器９１３の中途計算結果を格納す
るレジスタである。

【００３７】

【数５】

【００３８】９２３は、レジスタ９２２に格納されたし
きい値とレジスタ９１４に格納された中途計算結果を比
較し、レジスタ９１４の値がレジスタ９２２の値より大
きくなったとき、現在対象としている部分画像の処理を
打ち切り、次の部分画像に対する処理に移行するための
制御信号を出力する比較器である。

【００３９】図９に示す構成の装置を用いたテンプレー
トマッチングは以下の要領で行う。まず、センサ等で入
力したテンプレート画像及びサーチ画像を、それぞれ画
像メモリ１７０３及び１７０４に格納する。また、CPU1
701からテンプレートの画素数をレジスタ９１５、正規
化相関係数のしきい値をレジスタ９１６に格納する。次
に、画像メモリ１７０３のデータを加算器９０８に入力
させるように、CPU1701 はセレクタ９０５及び９０７を
設定し、アドレス生成器９０３でテンプレート画像を１
画素ずつリードさせ、加算器９０８とレジスタ９０９で
累積加算を求めることによりテンプレートの画素値の総
和を計算する。計算結果はレジスタ９１７に格納する。
同様に、画像メモリ１７０３のデータ二乗値を加算器90
8に入力させるように、CPU1701 はセレクタ９０５及び
９０７を設定し、アドレス生成器９０３でテンプレート
画像を１画素ずつリードさせ、加算器９０８とレジスタ
９０９で累積加算を求めることによりテンプレートの画
素値の二乗和を計算する。計算結果はレジスタ９１８に
格納する。

【００４０】続いて、画像メモリ１７０４のデータを演
算器９１０に入力させるように、CPU1701 はセレクタ９
０５及び９０７を設定し、アドレス生成器９０４でサー
チ画像を１画素ずつリードさせ、サーチ画像における対
象部分画像の画素値の総和を計算する。計算結果はレジ
スタ９１９に格納する。同様に、画像メモリ1704のデー
タの二乗値を演算器９１０に入力させるように、ＣＰＵ
はセレクタ９０５及び９０７を設定し、アドレス生成器
９０４でサーチ画像を１画素ずつリードさせ、サーチ画
像における対象部分画像の画素値の二乗和を計算する。
計算結果はレジスタ９２０に格納する。演算器９２１
は、上記レジスタ９１５,９１６,９１７，９１８，９１
９，９２０に格納された値を用いて、数５に示した計算
を行う。演算器９２１で計算された値は処理打切り用の
しきい値としてレジスタ９２２に格納される。

【００４１】以上が、それぞれの部分画像とテンプレー
トの正規化相関係数を求める処理において、事前に行う
処理である。正規化相関係数を求める処理では、画像メ
モリ１７０３からテンプレートを、画像メモリ１７０４
からサーチ画像の対象部分画像を、それぞれ１画素ずつ
読み出し、減算器９１１,乗算器９１２,加算器９１３に
よって各画素値の差の二乗を累積加算し、レジスタ９１
４に格納する。比較器９２３では、上記９２２に格納さ
れたしきい値とレジスタ９１４に格納された累積加算値
を比較し、比較結果を出力する。ここで、レジスタ９１
４に格納された累積加算値がレジスタ９２２に格納され
たしきい値を超過したとき、レジスタ９１９及び９２０
には、現対象部分画像の次の対象部分画像における画素
値の総和及び二乗和を格納し、レジスタ９２２には次の
対象部分画像との正規化相関係数処理の打切りしきい値
を格納すると共に、アドレス生成器９０３及び９０４の
アドレスをテンプレート画像及び次対象部分画像の先頭
画素アドレスに変更し、CPU1701 へ変更を知らせる。

【００４２】図１０に演算器９１０の構成例を示す。図
１０において、１０００は演算器９１０に対応する演算
器、１００１は、少なくともテンプレートと同ライン数
の、各ラインが少なくともサーチ画像と同画素数の記憶
領域をもつラインメモリ、１００２及び１００５は減算
器、１００３及び１００６は加算器、１００４は、少な
くともサーチ画像と同画素数の記憶領域をもつ１ライン
のラインメモリ、１００７はレジスタ、１００８は演算
結果を記憶するメモリ、１００９はメモリ１００８をア
クセスするアドレスを発生するアドレス生成器である。
ラインメモリ１００１，１００４、及び、レジスタ１０
０７は最初すべて０に初期化されているものとする。

【００４３】図２及び図３を併用して、サーチ画像にお
ける部分画像の画素値の総和を求めるときの図１０の演
算器の動作を説明する。演算器１０００にはサーチ画像
の画素がラスタスキャン順に入力するものとする。演算
器１０００に入力されたデータ（ｚとする）はラインメ
モリに格納されると共に、減算器１００２に入力され
る。ここで、現在入力された画素データを、図３の画素
２０７であるとする。また、ラインメモリ１００１から
データｚに対応する画素のサーチ画像上Ｎライン（＝テ
ンプレートのライン数）上方に対応するデータ（ｙとす
る）を読み出し、減算器１００２に入力する。この画素
データは図３の画素２０６に対応する。ここで、データ
ｙに対応する画素がサーチ画像上にないときは、ｙとし
て初期値０が読み出される。減算器１００２でｚ−ｙが
実行される。ラインメモリ１００４は縦Ｎライン横１画
素の画像を画素値の総和を１ライン分格納したメモリで
ある。加算器１００３では、減算器１００２で計算され
たｚ−ｙと、ラインメモリ１００４から読み出した図３
の領域２０５に対応する画像の画素値の総和（Ｗとす
る）を加算し、図２の領域２０４に対応する画像の画素
値の総和（Ｖとする）を出力する。加算器１００３から
出力されたデータはラインメモリ１００４に格納される
と共に、減算器１００５に入力される。減算器１００５
では、上記Ｖから、ラインメモリ１００４から読み出し
た図２の領域２０３に対応する画像の画素値の総和（Ｕ
とする）を引いた結果を出力する。加算器１００６で
は、上記減算結果と、レジスタ１００７に格納されてい
る図２の部分画像２０２の画素値の総和（Ｇとする）を
加算することにより、部分画像２０１の画素値の総和を
計算する。計算された部分画像２０１の画素値の総和
は、レジスタ１００７に格納されると共に、メモリ１０
０８にも格納される。

【００４４】以降、サーチ画像を１画素読み出す毎に、
隣接した部分画像の画素値の総和を計算することを繰り
返す。サーチ画像における部分画像の画素値の二乗和も
同様に計算し、メモリ１００８に格納する。特定の部分
画像に対する正規化相関係数を求める演算では、対象部
分画像の画素値の総和及び二乗和を、メモリ１００８か
らアドレス生成器１００９を用いて順に読み出すことに
より、図９のレジスタ９１９及び９２０に格納する。

【００４５】図１１に画像処理システムの構成を示す。
システム構成としては、画像処理プロセッサ１１０１，
ホストプロセッサ１１０２,センサ１１０３,モニタ１１
０４からなる。画像処理プロセッサの構成を図１２に示
す。図１２において、1201，１２０２が画像メモリ、１
２０３はテンプレートマッチング部、１２０４はフィル
タリングなどの画像前処理部、１２０５は端子１２０９
から入力された映像信号をライトバス１２１４に出力す
る映像入力処理部、１２０６はリードバス1212のデータ
を映像信号として端子１２１０に出力する映像表示処理
部、１２０７はホストプロセッサとの信号の入出力を司
るホストインタフェース、１２０８は、画像メモリ１２
０１及び１２０２と、上記の演算部あるいはインタフェ
ース部とのデータパス制御，アドレス制御などを行うバ
ス制御部である。

【００４６】テンプレートマッチング部１２０３の構成
としては、図９から、アドレス生成器９０３及び９０４
を除いたものと同じであり、アドレス発生器９０３，９
０４の機能はバス制御部が担う。

【００４７】ここで、画像処理プロセッサ１１０１とし
て、図１２の１２００が対応し、センサ１１０３が端子
１２０９，モニタ１１０４が端子１２１０，ホストプロ
セッサ１１０２が端子１２１１にそれぞれ接続される。

【００４８】テンプレートマッチングを行う前に、テン
プレート画像とサーチ画像を画像メモリ１１０１または
１１０２に格納する。このとき、テンプレートはセンサ
1103から入力した画像を端子１１０９,映像入力処理部
１２０６,ライトバス１２１４，バス制御部１２０８を
経由して画像メモリ１２０１または１２０２に格納する
か、もしくは、ホストプロセッサが有する情報を端子１
２１１，ホストインタフェース１２０７，バス１２０８
を経由して画像メモリ１２０１または１２０２に格納す
る。サーチ画像はセンサ１１０３から入力した画像を端
子１２０９，映像入力処理部１２０５，ライトバス１２
１４，バス制御部１２０８を経由して画像メモリ１２０
１または１２０２に格納する。

【００４９】テンプレート画像，サーチ画像にはノイズ
が含まれていることが一般的なので、ノイズを低減する
ため、フィルタリングなどの前処理を実施する。すなわ
ち、テンプレート或いはサーチ画像を画像メモリ１２０
１または１２０２からバス制御部１２０８，リードバス
１２１２または１２１３を経由して読み出し、前処理部
１２０４で適当な前処理演算を行う。処理した結果は、
ライトバス１２１４，バス制御部１２０８を経由して、
画像メモリ１２０１または１２０２に格納する。どうい
う前処理を行うかはホストプロセッサから端子１２１
１，ホストインタフェース１２０７を経由して設定され
る。処理結果は、バス制御部１２０８，ライトバス１２
１４，映像表示処理部１２０６を経由してモニタに表示
し、確認することができる。

【００５０】テンプレートマッチングは画像メモリ１２
０１または１２０２からバス制御部１２０８を経由し
て、テンプレート及びサーチ画像を読み出し、テンプレ
ートマッチング部で正規化相関係数を計算することによ
り行う。ここで、図９における比較結果などに応じて相
関度の高い位置を記憶しておき、全部分画像を処理した
後、記憶している相関度の高い位置情報をホストインタ
フェース１２０７を経由し、ホストプロセッサに示す。

【００５１】この例では、すべての演算を画像処理プロ
セッサで行っているが、しきい値計算における複雑な演
算をホストプロセッサで行うように構成してもよい。

【００５２】

【発明の効果】本発明により、正規化相関を用いたテン
プレートマッチングを、類似性の高い画像を対象外にす
ることなく高速化を図ることができる。

【図面の簡単な説明】

【図１】本発明のテンプレートマッチングの手順を示す
フローチャートである。

【図２】本発明の部分画像の画素値の総和及び二乗和を
求めるための説明図である。

【図３】本発明の部分画像の画素値の総和及び二乗和を
求めるための説明図である。

【図４】本発明の部分画像の画素値の総和及び二乗和を
求めるフローチャートである。

【図５】本発明の部分画像の画素値の総和及び二乗和を
他の方法により求めるための説明図である。

【図６】本発明の部分画像の画素値の総和及び二乗和を
他の方法により求めるための説明図である。

【図７】本発明のテンプレートマッチングの他の手順を
示すフローチャートである。

【図８】本発明のテンプレートマッチングの他の手順を
示すフローチャートである。

【図９】本発明のテンプレートマッチング処理部の内部
構成を示す図である。

【図１０】本発明のテンプレートマッチング処理部にお
ける部分画像の画素値の総和及び二乗和を求める演算器
の内部構成を示す図である。

【図１１】本発明を適用した画像処理システムを示す図
である。

【図１２】本発明を適用した画像処理システムの画像処
理プロセッサの構成図である。

【図１３】テンプレート画像の一例を示した図である。

【図１４】サーチ画像の一例を示した図である。

【図１５】本発明によりテンプレートマッチングを行っ
た場合の部分画像としきい値との関係を示した図であ
る。

【図１６】本発明のテンプレートマッチングをカラー画
像に適用した場合の処理手順を示したフローチャートで
ある。

【図１７】本発明のテンプレートマッチング装置の構成
を示した図である。

【符号の説明】

９０３，９０４…アドレス生成器、９０５,９０７…セ
レクタ、９０６,９１２…乗算器、９０８，９１３…加
算器、９１１…減算器、９１０，９２１…演算器、９０
９，９１４，９１５，９１６，９１７，９１８，９１
９，９２０，９２２…レジスタ、９２３…比較器、１１
０３…センサ、１１０４…モニタ。

フロントページの続き (72)発明者 桂 晃洋 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 渋川 滋 茨城県ひたちなか市大字市毛882番地 株 式会社日立製作所計測器事業部内 (72)発明者 依田 晴夫 茨城県ひたちなか市大字市毛882番地 株 式会社日立製作所計測器事業部内

Claims (10)

【特許請求の範囲】
1. 【請求項１】テンプレート画像とサーチ画像におけるテ
   ンプレート画像と同一サイズの部分画像から評価尺度と
   なるしきい値を求め、上記テンプレート画像及び上記部
   分画像から順次１画素ずつ画素値の差の二乗和を求める
   と共に上記求めた二乗和を累積加算し、上記累積加算値
   が上記しきい値を越えた時に、上記テンプレート画像と
   上記部分画像との評価処理を終了することを特徴とする
   テンプレートマッチング方法。
2. 【請求項２】テンプレート画像と、サーチ画像における
   該テンプレート画像と同一サイズの部分画像との類似度
   を正規化相関演算により評価する処理を、上記サーチ画
   像の複数の部分画像に対して行い、その評価値に応じ
   て、上記複数の部分画像のうち、上記テンプレート画像
   と類似する部分画像を決定するテンプレートマッチング
   方法であって、 予めもとめた上記テンプレート画像の画素値の総和
   (Ａ)，上記テンプレート画像の画素値の二乗和(Ｂ)，上
   記部分画像の画素値の総和(Ｃ)、及び、上記部分画像の
   画素値の二乗和(Ｄ)と、予め定めた１以下の正数(Ｅ)及
   び上記テンプレート画像の画素数(Ｐ)から、 【数１】 に基づいてしきい値Ｆを算出し、上記テンプレート画像
   と上記部分画像の対応する各画素毎に差の二乗を求め累
   積加算し、上記累積加算値が上記しきい値Ｆを超過した
   とき、上記部分画像との類似度の評価を打ち切ることを
   特徴とするテンプレートマッチング方法。
3. 【請求項３】請求項２において、 予め求めた、部分画像の画素値の総和及び二乗和を利用
   して、該部分画像の近傍の部分画像の画素値の総和及び
   二乗和を求めることを特徴とするテンプレートマッチン
   グ方法。
4. 【請求項４】請求項２において、 上記累積加算値の最終結果が上記しきい値より小さい場
   合、上記テンプレート画像と上記部分画像との正規化相
   関係数を求め、この求めた正規化相関係数を上記整数
   （Ｅ）とすることを特徴とするテンプレートマッチング
   方法。
5. 【請求項５】テンプレート画像とサーチ画像におけるテ
   ンプレート画像と同一サイズの部分画像から評価尺度と
   なるしきい値を求め、上記テンプレート画像及び上記部
   分画像との画素値の差の二乗和を求め、上記二乗和が上
   記しきい値を越えない部分画像を評価結果として抽出す
   ることを特徴とするテンプレートマッチング方法。
6. 【請求項６】テンプレート画像及びサーチ画像を記憶す
   る記憶装置と、 上記記憶装置からテンプレート画像及びサーチ画像を読
   み出し、読み出したテンプレート画像及びサーチ画像か
   ら、対象となる部分画像を評価するためのしきい値を求
   め、上記読み出したサーチ画像の対象となる部分画像に
   ついて上記しきい値に基づいて評価を行う処理装置とを
   備えたことを特徴とするテンプレートマッチング処理装
   置。
7. 【請求項７】テンプレート画像を記憶する第１の記憶手
   段と、 サーチ画像を記憶する第２の記憶手段と、 上記第１の記憶手段からテンプレート画像の画素値を読
   み出して該画素値の総和及び二乗和を計算し、上記第２
   の記憶手段からサーチ画像の画素値を読み出して、上記
   テンプレート画像と同サイズの部分画像における画素値
   の総和及び二乗和を求める第１の演算器と、 上記求めたテンプレート画像の総和及び二乗和、上記求
   めた部分画像の総和及び二乗和をそれぞれ保持するレジ
   スタと、 外部から与えられる値と上記テンプレート画像の画素数
   及び上記レジスタに格納されたテンプレート画像の総和
   及び二乗和と部分画像の総和及び二乗和から評価の尺度
   となるしきい値を求める第２の演算器と、 上記テンプレート画像の画素値と上記部分画像の画素値
   の差の二乗の累積加算値を計算する第３の演算器と、 上記第２の演算器で求めたしきい値と上記第３の演算器
   でもとめた累積加算値を比較する比較器とを有すること
   を特徴とするテンプレートマッチング装置。
8. 【請求項８】請求項７において、 上記第１の演算器は、 サーチ画像について横方向に１画素、縦方向にテンプレ
   ートと同じ画素数で構成した領域の画素値の総和をそれ
   ぞれ求め、上記求めた複数の領域の画素値の総和を組み
   合わせて部分画像の画素値の総和を求め、 サーチ画像について横方向に１画素、縦方向にテンプレ
   ートと同じ画素数で構成した領域の画素値の二乗和をそ
   れぞれ求め、上記求めた複数の領域の画素値の二乗和を
   組み合わせて部分画像の画素値の二乗和を求めることを
   特徴とするテンプレートマッチング装置。
9. 【請求項９】請求項７において、 上記第１の演算器は、 サーチ画像について横方向に１画素、縦方向にテンプレ
   ート画像と同じ画素数で構成した領域の画素値の総和を
   サーチ画像の１ラインについてそれぞれ求め、 他のラインについては上記求めた領域の画素値の総和か
   ら新たに含まれる画素の画素値を加算し、含まれなくな
   った画素の画素値を減算して上記他のラインについて横
   方向に１画素、縦方向にテンプレート画像と同じ画素数
   で構成した領域の画素値の総和を求め、 上記求めた複数の領域の画素値の総和を組み合わせて部
   分画像の画素値の総和を求め、 サーチ画像について横方向に１画素、縦方向にテンプレ
   ートと同じ画素数で構成した領域の画素値の二乗和をそ
   れぞれ求め、 他のラインについては上記求めた領域の画素値の二乗和
   から新たに含まれる画素の画素値を加算し、含まれなく
   なった画素の画素値を減算して上記他のラインについて
   横方向に１画素、縦方向にテンプレート画像と同じ画素
   数で構成した領域の画素値の二乗和を求め、 上記求めた複数の領域の画素値の二乗和を組み合わせて
   部分画像の画素値の二乗和を求めることを特徴とするテ
   ンプレートマッチング装置。
10. 【請求項１０】サーチ画像及びテンプレート画像を取り
    込むための画像入力装置と、 テンプレート画像及びサーチ画像を記憶する記憶部と、 上記記憶装置からテンプレート画像及びサーチ画像を読
    み出し、読み出したテンプレート画像及びサーチ画像か
    ら、対象となる部分画像を評価するためのしきい値を求
    め、上記読み出したサーチ画像の対象となる部分画像に
    ついて上記しきい値に基づいて評価を行う処理部とを少
    なくとも有する画像処理プロセッサと、 上記画像処理プロセッサの処理を管理するホスト計算機
    と、 上記画像入力装置で入力された画像を表示するととも
    に、上記画像処理プロセッサで処理された相関度の高い
    部分画像を表示するための表示装置とを有することを特
    徴とする画像処理システム。