JPH1021389A - テンプレートマッチング方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 ピラミッド構造データをもつテンプレートマ
ッチングにおいて高速、高信頼性の位置検出を行うこ
と。 【解決手段】 ピラミッド構造を持つ画像データに対し
て、画像縮小率の最も高い最上層において縮小された撮
影画像の全ての点の縮小テンプレートに対する相関値を
算出して相関値の分布を求め、相関値が極大となる点の
うち所定の閾値以上の相関値を持つ点全てを候補点とし
て抽出し、その後、最上層よりも縮小率の低い階層にお
いて、上位の層で抽出された各候補点に対して各候補点
を中心とする近傍点における相関値を算出してその最大
値を与える点のうち所定の閾値以上の相関値を持つ点全
てを候補点として抽出する処理を１回あるいは複数回繰
り返す。この処理が画像の縮小を行わない最下層に達し
ているならば、抽出された複数の候補点のうち相関値が
最大である点を真のマッチング位置とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影した画像に対
してあらかじめ登録しておいた対象物体の基準画像（テ
ンプレート）との相関をとり、基準画像の位置を検出す
るテンプレートマッチング方法およびその装置に関する
ものである。

【０００２】

【従来の技術】従来から、工場における組立工程や検査
工程などにおいては、対象物体を含む領域をカメラで撮
影し、この撮影画像に対して位置検出などの画像処理が
行なわれている。この画像処理には、撮影された画像の
中から特定の画像（以下、テンプレート画像と呼ぶ）が
どの位置に含まれているのかを探索する方法として、撮
影画像全体に対してテンプレート画像を１画素づつずら
しながらテンプレート画像と撮影画像との対応領域の相
関値を計算してマッチングを行なう画像探索方法（テン
プレートマッチングと呼ぶ）が知られている。

【０００３】相関値の計算方法としては、濃淡画像によ
る正規化相関係数が、照明などの環境変動にも強く、広
く用いられている。正規化相関係数によるテンプレート
マッチングにおいては、図１７の９２に示すサイズＩ×
Ｊのテンプレート画像をＧとし、入力画像９０から９１
で示す任意の対応領域Ｆxyを切り出してきたとき、Ｆxy
とＧの対応する画素濃度をそれぞれｆij、ｇijとすると
両者の一致度を表す相関係数Ｍxyは次式（１）で与えら
れる。

【０００４】

【数１】

【０００５】ここで入力画像からすべての位置ｘ，ｙに
対してＦxyを切り出してきて上式（１）の相関係数Ｍxy
を算出して高い相関値を示す位置を検出位置として同定
する。以後、正規化相関係数を算出するオペレータとし
て上式（１）を使用するものとする。なお、本明細書お
よび図面においては、正規化相関係数を算出する演算子
として、“＊”を用いるものとする。

【０００６】このような処理方法から、テンプレートマ
ッチングでは膨大な計算量が必要となり、多大な処理時
間を要する。そこで計算量を減らし、処理を高速化する
方法として、ピラミッド構造データを用いたテンプレー
トマッチングがある。この方法は、検査対象となる画像
とテンプレート画像を縮小し、縮小された画像間におい
てでテンプレートマッチングを実行することによりおお
まかなマッチング位置を求める。その後、順に縮小率を
下げながら、前の処理で求めたマッチング位置によりそ
の近傍に限定された領域内で詳細なテンプレートマッチ
ングを行なうものである。

【０００７】上記のピラミッド構造データを用いたテン
プレートマッチングについて説明する。図１８は一例と
して特開平３−１１０６８５号公報に開示されているピ
ラミッド構造の画像データを用いたテンプレートマッチ
ング処理の原理を示す図である。

【０００８】まず、検査をしたい原画像と対応するテン
プレート画像があり、原画像をピラミッド構造データの
最上層となる画像まで縮小すると共に、テンプレート画
像も同一の縮小比率で縮小する。その後、この縮小テン
プレート画像によって最上層の縮小画像とマッチングを
行ない最も高い相関を示す位置を検出の候補点とする。
ついで、一段下層においては、最上段で特定された検出
位置の近傍の範囲内でマッチングを行ない、さらに一段
下層における詳細なマッチングを行なう範囲の特定を行
なう。

【０００９】この操作を繰り返し、最終的に原画像にお
いて、マッチング位置を検出する。すなわち、縮小倍率
の高い最上層においては、マッチングをとる画像の画素
数が減少しており、またマッチングをとる範囲も狭くな
っているので高速に相関係数の計算が可能となる。そし
て、縮小倍率の低い下層においてはマッチングをとる範
囲を限定しているので相関係数を求める回数が少なくな
る。その結果として、全体として上記式（１）を縮小の
ない画像に対して直接計算するよりも高速に位置の検出
が可能となる。

【００１０】

【発明が解決しようとする課題】しかしながら、上記の
ピラミッド構造データを用いたテンプレートマッチング
方法では、相関係数の計算量減少のため画像の縮小率を
高くすると、マッチングの精度が低下し、誤ったマッチ
ング位置を検出したり、真のマッチング位置が検出でき
なくなる問題点があった。そこで、上層階での位置検出
精度を高めるために縮小率を下げると、ピラミッド構造
をとる計算量減少の効果が減殺されてしまうという問題
点があった。

【００１１】ここで、縮小倍率が高くなると検出位置精
度が低くなる原因について説明する。例えば、図１９に
示すように、検出したいテンプレート画像（アルファベ
ット“Ｂ”）と処理対象の入力画像（アルファベット
“Ｂ”と数字“８”）があるとする。ピラミッド構造を
用いたテンプレートマッチングでは、テンプレート画
像，原画像を同じ比率で縮小し、縮小テンプレート画像
によって縮小した画像に対してテンプレートマッチング
を行なうものであるが、このとき、画像を縮小すること
により、図示の如く画像の解像度が低下する。

【００１２】ここで、図１９の検査画像のアルファベッ
ト“Ｂ”と数字“８”のように形状的な特徴が比較的似
ている場合、縮小による解像度の低下により形状の差異
がほとんど無くなってしまうことがある。このようなと
きにマッチングを実行すると、検出したいアルファベッ
ト“Ｂ”ではなく数字“８”の方が相関値が高くなり検
出されてしまうという問題が生じるものである。

【００１３】また、例えば図２０で示すように、テンプ
レート画像および検査画像において画像を縮小する場合
に、同一の画像（図２０ではアルファベット“Ｂ”）で
あっても縮小の単位となるメッシュの位置が異なる（図
２０のメッシュ位置（Ａ）とメッシュ位置（Ｂ））と、
画像の縮小結果が異なってしまい（本図では縮小後の１
画素を縮小前のメッシュの大きさで表している）、上述
の問題に加えてさらにマッチングの相関値が期待値より
も低く位置が検出できなくなるという問題を生じる。さ
らに、このような現象は、検出すべき画像がテンプレー
トに登録した姿勢に対して傾き誤差を持っているときに
はさらに顕著なものとなる。

【００１４】この発明は、上記に鑑みてなされたもので
あって、ピラミッド構造データを用いたテンプレートマ
ッチングにおいて、画像の縮小率を大きくすることによ
り高速な処理を実現すると共に、真のマッチング位置を
検出できる的確な候補点を抽出することによって、マッ
チングの精度を低下させることのない信頼性の高いテン
プレートマッチング方法およびその装置を得ることを目
的とする。

【００１５】

【課題を解決するための手段】本発明に係るテンプレー
トマッチング方法は、ピラミッド構造データを用いたテ
ンプレートマッチング方法において、画像縮小率の最も
高い最上層において縮小された撮影画像の全ての点の縮
小テンプレートに対する相関値を算出し、前記相関値を
算出した各点において周囲４近傍の点または周囲８近傍
の点より相関値が大きい点のうち所定の閾値以上の相関
値を持つ点全てを候補点として抽出する第１の工程と、
最上層よりも縮小率の低い階層において、上位の層で抽
出された各候補点に対して、各候補点を中心として周囲
数点における相関値を算出し、その最大値を与える点の
うち所定の閾値以上の相関値を持つ点全てを候補点とし
て抽出する処理を１回あるいは複数回繰り返す第２の工
程と、前記第２の工程の処理が画像の縮小を行わない最
下層に達しているならば、抽出された複数の候補点のう
ち相関値が最大である点を真のマッチング位置とする第
３の工程と、を含むものである。

【００１６】この発明によるテンプレートマッチング方
法にあっては、画像縮小率の最も高い最上層において、
縮小された撮影画像の全ての点の縮小テンプレートに対
する相関値を算出して相関値の分布を求め、相関値が極
大となる点のうち所定の閾値以上の相関値を持つ点全て
を候補点として抽出するようにしたため、検出するべき
画像位置を漏らすことなく候補点として検出することが
できる。

【００１７】また、上位の層で得られた各候補点に対し
て下位の層では、各候補点を中心とする近傍点における
相関値を算出してその最大値を与える点のうち所定の閾
値以上の相関値を持つ点全てを候補点として抽出するよ
うにしたため、各階層において候補点の位置精度を高め
ながら、上位の層にて本来類似度は低いが解像度が低い
ために候補点として検出されていた点を候補から落とす
ことによって候補点を絞り込んでいき相関値計算の高速
化を実現できる。

【００１８】つぎの発明に係るテンプレートマッチング
方法は、前記各階層における所定の閾値の設定に当たっ
ては、前記階層の画像縮小率が１／ｎの場合には、テン
プレート画像の基準位置から縦方向にそれぞれ−（ｎ／
２）＋１，・・・−１，０，１，２，・・・，ｎ／２画
素、横方向にそれぞれ−（ｎ／２）＋１，・・・−１，
０，１，２，・・・，ｎ／２画素ずらした位置を縮小開
始位置としてｎ×ｎ画素を１画素に縮小することにより
ｎ×ｎ個の縮小テンプレートを生成し、縮小開始位置が
基準位置からずれのない縮小テンプレート画像を基準テ
ンプレート画像とするとともに、前記基準テンプレート
画像とその他のｎ×ｎ−１個の縮小開始位置が基準位置
からずれのある縮小テンプレート画像との間で相関係数
を求め、前記ｎ×ｎ−１個の相関係数の最小値に１より
小なる係数を乗じた値を閾値としたものである。

【００１９】この発明によるテンプレートマッチング方
法にあっては、各階層における所定の閾値は、各階層に
おける縮小されたテンプレートに対して、縮小の単位と
なるメッシュの位置を種々に変えた縮小画像との相関値
を求め、この相関値の最小値を基準に設定したため、入
力画像の検出するべき画像とテンプレート画像が縮小時
の位相のズレによって相違する画像となった場合にも、
各階層においてこの閾値で候補点を絞り込むことによっ
て、検出するべき画像位置を漏らすことなく、しかも過
大に候補点を検出しないことが可能となり、結果として
検出精度が高く高速なテンプレートマッチングが実現す
る。

【００２０】つぎの発明に係るテンプレートマッチング
方法は、前記各階層における所定の閾値の設定に当たっ
ては、前記階層の画像縮小率がｎの場合には、テンプレ
ート画像の基準位置を縮小開始位置としてｎ×ｎ画素を
１画素に縮小することにより生成した縮小テンプレート
とテンプレート画像の基準位置から縦方向にｎ／２画
素、横方向にｎ／２画素ずらした位置を縮小開始位置と
してｎ×ｎ画素を１画素に縮小することにより生成した
テンプレート画像との間で相関係数を求め、前記相関係
数に１より小なる係数を乗じた値を閾値としたものであ
る。

【００２１】この発明に係るテンプレートマッチング方
法にあっては、各階層における所定の閾値は、各階層に
おける縮小されたテンプレートに対して、縮小の単位と
なるメッシュの位置を最も位相が異なるように配置した
縮小画像との相関値を基準に設定したため、上記効果に
加えて閾値設定を高速に行うことができる。

【００２２】つぎの発明に係るテンプレートマッチング
方法は、前記パターンマッチングで検出対象画像がテン
プレートに対して±θの回転誤差を有するとき、前記各
階層における所定の閾値の設定に当たっては、前記階層
の画像縮小率がｎの場合には、テンプレート画像および
テンプレート画像を±θ回転させた３枚の画像に対し
て、基準位置から縦方向にそれぞれ−（ｎ／２）＋１，
・・・−１，０，１，２，・・・，ｎ／２画素、横方向
にそれぞれ−（ｎ／２）＋１，・・・−１，０，１，
２，・・・，ｎ／２画素ずらした位置を縮小開始位置と
してｎ×ｎ画素を１画素に縮小することにより３×ｎ×
ｎ個の縮小テンプレートを生成し、回転が無く縮小開始
位置が基準位置からずれのない縮小テンプレート画像を
基準テンプレート画像とするとともに、前記基準テンプ
レート画像とその他の３×ｎ×ｎ−１個の縮小開始位置
が基準位置からずれのある縮小テンプレート画像との間
で相関係数を求め、前記３×ｎ×ｎ−１個の相関係数の
最小値に１より小なる係数を乗じた値を閾値としたもの
である。

【００２３】この発明に係るテンプレートマッチング方
法にあっては、各階層における所定の閾値は、各階層に
おける縮小されたテンプレートに対して、原テンプレー
トとこれを許容回転誤差で回転した画像に縮小の単位と
なるメッシュの位置を種々に変えた縮小画像との相関値
を求め、この相関値の最小値を基準に設定したため、入
力画像の検出するべき画像が回転誤差を含みかつ縮小時
の位相のズレによって縮小テンプレートと相違する画像
となった場合にも、各階層においてこの閾値で候補点を
絞り込むことによって、検出するべき画像位置を漏らす
ことなく、しかも過大に候補点を検出しないことが可能
となり、結果として検出精度が高く高速なテンプレート
マッチングを実現できる。

【００２４】つぎの発明に係るテンプレートマッチング
方法は、前記パターンマッチングで検出対象画像がテン
プレートに対して±θの回転誤差を有するとき、前記各
階層における所定の閾値の設定に当たっては、前記階層
の画像縮小率がｎの場合には、基準位置を縮小開始位置
としてｎ×ｎ画素を１画素に縮小することにより生成し
た縮小テンプレートと，テンプレート画像を±θ回転さ
せた２枚の画像に対して基準位置から縦方向にｎ／２画
素、横方向にｎ／２画素ずらした位置を縮小開始位置と
してｎ×ｎ画素を１画素に縮小することによりテンプレ
ート画像との間で相関係数を求め、前記相関係数の最小
値に１より小なる係数を乗じた値を閾値としたものであ
る。

【００２５】この発明に係るテンプレートマッチング方
法にあっては、各階層における所定の閾値は、各階層に
おける縮小されたテンプレートに対して、原テンプレー
トとこれを許容回転誤差で回転した画像に縮小の単位と
なるメッシュの位置が縮小テンプレート生成時からから
最も位相が異なるように配置した縮小画像との相関値を
基準に設定したため、上記効果に加えて閾値設定を高速
に行うことができる。

【００２６】つぎの発明に係るテンプレートマッチング
方法は、前記各階層において閾値を設定する際に、設定
した閾値が所定の値以上であればピラミッド構造データ
の階層を１階層上げて前記階層の閾値を設定する処理を
繰り返し、設定した閾値が所定の値未満であれば前記階
層より１層下げた階層をピラミッド構造データの最上位
階層とするものである。

【００２７】この発明によるテンプレートマッチング方
法にあっては、上記閾値設定にあたり、縮小テンプレー
トとは異なる縮小単位のメッシュ位置で縮小して縮小テ
ンプレートとは最も相関が低くなるような場合の相関値
が、所定の基準値よりも高くなるようにピラミッド構造
の階層数を設定するようにしたため、テンプレートが検
出可能な限りで階層数を最大に自動設定できるようにな
り、結果として検出精度が高く高速なテンプレートマッ
チングを実現することができる。

【００２８】つぎの発明に係るテンプレートマッチング
装置は、２次元の濃淡画像データを取り込む画像入力手
段と、前記画像入力手段により取り込まれた濃淡画像デ
ータを格納する画像記憶手段と、前記画像記憶手段に格
納された画像データの中から、デンプレートとして登録
する領域を切り出し、前記切り出した領域を縮小して縮
小デンプレートデータを生成するテンプレート生成手段
と、前記テンプレート生成手段により切り出されたテン
プレートデータと、生成された縮小テンプレートデータ
を格納するテンプレート記憶手段と、前記画像記憶手段
の中に格納されている入力画像から、その縮小画像を生
成する縮小画像生成手段と、前記画像記憶手段の中に格
納されている入力画像およびその縮小画像と、前記テン
プレート記憶手段の中に格納されているテンプレートデ
ータおよびその縮小テンプレートデータとを縮小の階層
毎に相関係数を計算しながら入力画像からテンプレート
に類似したパターンを持つ箇所を同定するパターンマッ
チング手段と、前記パターンマッチング手段により同定
された箇所を検出位置として出力する検出位置出力手段
と、を具備するものである。

【００２９】この発明によるテンプレートマッチング装
置にあっては、画像縮小率の最も高い最上層において、
縮小された撮影画像の全ての点の縮小テンプレートに対
する相関値を算出して相関値の分布を求め、相関値が極
大となる点のうち所定の閾値以上の相関値を持つ点全て
を候補点として抽出するため、検出するべき画像位置を
漏らすことなく候補点として検出することができる。

【００３０】また、上位の層で得られた各候補点に対し
て下位の層では、各候補点を中心とする近傍点における
相関値を算出してその最大値を与える点のうち所定の閾
値以上の相関値を持つ点全てを候補点として抽出するよ
うにしたため、各階層において候補点の位置精度を高め
ながら、上位の層にて本来類似度は低いが解像度が低い
ために候補点として検出されていた点を候補から落とす
ことによって候補点を絞り込んでくことにより相関値計
算の演算回数を減らして高速化が可能となる。

【００３１】

【発明の実施の形態】以下に、添付図面を参照して本発
明に係るテンプレートマッチング方法およびその装置の
実施の形態について詳細に説明する。

【００３２】（実施の形態１）図１は、実施の形態１に
係るテンプレートマッチング方法を実現するハードウェ
ア構成を示している。図において、１は画像入力部であ
り、ＣＣＤカメラ等で取り込んだ２次元の濃淡画像デー
タを画像メモリ２に入力する。

【００３３】また、３はテンプレート生成部であり、画
像メモリ２に取り込んだ画像データの中から、テンプレ
ートとして登録する領域を切り出し、さらに切り出した
領域を縮小して縮小テンプレートデータを生成する。４
はテンプレートメモリであり、切り出されたテンプレー
トデータおよび生成された縮小テンプレートデータが格
納される。５は縮小画像生成部であり、画像メモリ２中
の入力画像からその縮小画像を生成する。

【００３４】さらに、６はパターンマッチング部であ
り、画像メモリ２に格納された入力画像およびその縮小
画像とテンプレートメモリ４に格納されたテンプレート
データおよびその縮小テンプレートデータとを縮小の階
層毎に相関係数を計算しながら入力画像からテンプレー
トに類似したパターンを持つ箇所を同定する。７は検出
位置出力部であり、パターンマッチング部６によって同
定された箇所を検出位置としてＣＲＴ上に位置表示した
り接続された他の機器に座標出力したりする。

【００３５】つぎに動作について説明する。テンプレー
ト登録時、画像入力部１によって画像メモリ２に取り込
まれた画像データは２次元の濃淡データであり、例え
ば、図２の画像データ１０に示すような幅５１２画素、
高さ５１２画素、画素値８ビットの２５６階調のデータ
である。

【００３６】図３は、テンプレート生成部３の処理動作
を示すフローチャートである。以下、このフローチャー
トに沿ってその処理内容を説明する。

【００３７】まず、ステップＳ１０１において階層番号
ｉ＝１、縮小倍率Ｋｉ＝１（等倍率）に初期化し、ステ
ップＳ１０２においてオペレータは入力画像のうち基準
画像（テンプレート）として所望する領域を指定してテ
ンプレート画像を切り出す。切り出したテンプレート画
像をＴ１としてテンプレートメモリ４に登録する。テン
プレート画像Ｔ１は、例えば、図２において１１に示す
ような入力画像１０の部分領域である。以後、１１に示
した幅Ｉ画素、高さＪ画素の領域を用いて説明する。

【００３８】ステップＳ１０３において、階層番号をｉ
＝ｉ＋１に更新する。また、階層番号ｉにおける縮小倍
率Ｋｉを一つ前の階層の１／２としてＫｉ＝Ｋ_i-1 ×
（１／２）とする。ここで最初はｉ＝２、Ｋ２＝１／２
となる。

【００３９】ステップＳ１０４において、１１のテンプ
レート画像Ｔ１を縮小倍率Ｋｉで縮小することによって
縮小テンプレート画像Ｔ２を生成する。ここで、縮小倍
率Ｋｉは例えば１／２（ｉ＝２）、１／４（ｉ＝３）、
１／８（ｉ＝４）、・・・といったＫｉ＝１／２^i-1 の
倍率である。最初にＫ２＝１／２の場合には、図４
（ａ）に示すようにテンプレート画像Ｔ１を画像の左上
を起点として縦２画素、横２画素の４画素毎にメッシュ
状に分割し、各メッシュの４画素の濃度値の平均値を新
しい１画素の濃度値とすることにより１／２縮小テンプ
レート画像Ｔ２を生成し（図４（ｂ））、第２層におけ
る縮小テンプレート画像Ｔ２としてテンプレートメモリ
４に登録する。

【００４０】つぎにステップＳ１０５において、Ｔ１か
らＴ２を作成したときとは位相（縮小開始位置）をずら
した縮小画像を作成し、Ｔ２との相関係数を求める。位
相をずらせて縮小画像を作成するのは以下のように行
う。縮小倍率Ｋｉのときｎ＝１／Ｋｉとすると、ｎ×ｎ
画素を１画素に縮小することになる。

【００４１】まず、テンプレート画像Ｔ１の周囲画像の
平均濃度を求め、これをＴ１の右辺および下辺にｎ／２
画素幅、Ｔ１の上辺および左辺に（ｎ／２）−１画素幅
分加えた画像を準備する。いま、ｉ＝１の場合にはｎ＝
１／Ｋ１＝２であるからｎ／２＝１、（ｎ／２）−１＝
０であるので、図５（ａ）に示すテンプレート画像Ｔ１
の周囲画像（斜線部に示した画素幅１の領域周辺部）の
平均濃度を、図５（ｂ）に示すようにＴ１の右辺および
下辺に１画素幅分加えた幅Ｉ＋１、高さＪ＋１の画像を
準備する。

【００４２】そして、図５（ｃ）に示すＰ１，Ｐ２，Ｐ
３の３点を起点とするＩ×Ｊの領域について１／２縮小
画像を作成する。例えば、Ｐ３を起点とした場合は、図
５（ｃ）で斜線で示した領域について１／２縮小画像を
作成する。ここで、Ｐ０を起点とした１／２縮小画像は
テンプレートＴ２と同一となることは明らかである。つ
ぎに、Ｐ１〜Ｐ３を起点とした縮小画像をＴ2j（ｊ＝
１，２，３）としてＴ２とＴ2jの相関係数をそれぞれ算
出し、その最小値Ｍ２_min を求める。すなわち、 Ｍ２_min＝ｍｉｎ｛Ｔ２＊Ｔ2j｝ (ｊ＝１，２，３） である。

【００４３】つぎにステップＳ１０６において、求めら
れたＭ２_min にあらかじめ設定された１より小なる係数
α２を乗じて、後述するパターンマッチング時の探索点
検出用の閾値Ｍ２_thを求める。すなわち、 Ｍ２_th＝α２・Ｍ２_min である。

【００４４】つぎにステップＳ１０７では縮小の階層が
あらかじめ設定した階層Ｃ（最上層）に達したか否かを
チェックする。例えばＣ＝４（最上層は１／８縮小画
像）とした場合には、現在ｉ＝２（１／２縮小階層）で
あるのでｉ≠ＣでありステップＳ１０３にループバック
する。

【００４５】ステップＳ１０３では階層番号ｉと縮小倍
率Ｋｉを上位階層に更新し、ステップＳ１０４では縮小
倍率Ｋｉの縮小テンプレート画像Ｔｉを生成しテンプレ
ートメモリ４に登録する。縮小テンプレート画像Ｔｉは
Ｔ１からＴ２を生成した場合と同様の操作により、１／
２縮小テンプレート画像Ｔ２を縦横１／２に縮小して１
／４縮小テンプレート画像Ｔ３を生成する（図４
（ｃ））。さらに同様にして１／４縮小テンプレート画
像Ｔ３を縦横１／２に縮小して１／８縮小テンプレート
画像Ｔ４を生成する（図４（ｄ））。このように生成し
た縮小画像Ｔ２，Ｔ３，Ｔ４，・・・はテンプレート画
像Ｔ１を画像の左上を縮小の起点としてそれぞれ１／
２，１／４，１／８，・・・に縮小したものになってい
る

【００４６】ステップＳ１０５における処理をｉ＝４の
場合について説明すると、Ｋｉ＝１／８であり、まず８
×８画素を１画素に縮小する処理を、Ｔ１からＴ４を生
成したときとは位相をずらせて行う。このため、テンプ
レート画像Ｔ１の周囲画像の平均濃度を、図６（ａ）に
示すようにＴ１の右辺および下辺に４画素、Ｔ１の左辺
および上辺に３画素幅分加えた幅Ｉ＋７，高さＪ＋７の
画像を準備する。そして、図６（ｂ）に黒丸で示した位
置を起点とするＩ×Ｊの領域について１／８縮小画像を
作成する。

【００４７】黒丸で示した位置はＰ０（白丸）で示した
Ｔ４を生成した際の起点から縦横それぞれに−３，−
２，−１，０，１，２，３，４画素ずらした位置に当た
る。１／８縮小画像の作成は、例えば、Ｐｊを起点とし
た場合には図中斜線で示したＩ×Ｊの領域について、Ｐ
ｊを起点として縦８画素、横８画素の６４画素毎にメッ
シュ状に分割し、各メッシュの６４画素の濃度値の平均
値を新しい１画素の濃度値とすることによる。

【００４８】一般的には、ｉ番目の階層においては縮小
テンプレート画像Ｔｉはテンプレート画像Ｔ１を縮小倍
率Ｋｉで縮小したものであり、ｎ＝１／Ｋｉとすると位
相をずらした縮小画像は、テンプレート画像Ｔ１の周囲
画像の平均濃度をＴ１の右辺および下辺にｎ／２画素
幅、Ｔ１の上辺および左辺に（ｎ／２）−１画素幅分加
えた画像に対して、Ｔｉを作成した起点から縦横それぞ
れに −( ｎ／２) ＋１，・・・，−１，０，１，２，
・・・，( ｎ／２) 画素ずらした位置を起点としてＩ×
Ｊの領域を１／ｎに縮小したものである。

【００４９】また、画像縮小の準備としてテンプレート
画像Ｔ１の周囲画像の平均濃度をＴ１の周辺に拡張する
のは、テンプレートに切り出された有意な形状の背景部
を拡張することを意味している。

【００５０】このように作成した縮小画像はｎ×ｎ−１
個（起点のズレが縦横ともに０の場合はＴｉと同一とな
るため１減ずる。）あるため、これをＴｉｊ（ｊ＝１，
２，・・・，ｎ×ｎ−１）とおき、各Ｔｉｊに対してＴ
ｉとの相関係数を計算しその最小値Ｍｉ_minをもとめ
る。すなわち、 Ｍｉ_min ＝ｍｉｎ｛Ｔｉ＊Ｔｉj ｝ （ｊ＝１，２，・
・・，ｎ×ｎ−１） である。

【００５１】つぎにステップＳ１０６において、各階層
について上記のように求められたＭｉ_min にあらかじめ
設定された１より小なる係数αｉを乗じて、後述するパ
ターンマッチング時の探索点検出用の閾値Ｍｉ_thを求め
る。すなわち、 Ｍｉ_th＝αｉ・Ｍｉ_min である。

【００５２】以上ステップＳ１０３〜１０６の処理を所
定の階層Ｃ（最上層）に達するまで行い、最上層に達し
たら（ｉ＝Ｃ）、ステップＳ１０７にてテンプレート設
定の処理を終了する。

【００５３】ここで、以上のように求められた各階層の
閾値Ｍｉ_th＝αｉ・Ｍｉ_min の意味について説明する。
ピラミッド型のテンプレートマッチングでは上位の階層
においてその階層における倍率で縮小された入力画像の
各位置に、同じ倍率で縮小されたテンプレート画像が重
ね合わされ各位置における両者のパターンの一致度が相
関係数によって評価される。

【００５４】その後、相関係数が高い値を示す位置がマ
ッチング位置として検出され、検出された位置に対して
下位の階層によるパターンマッチングによってその位置
精度を高めていく。

【００５５】しかし、従来例の説明で述べたように、テ
ンプレートと全く同じ画像が入力画像中にあったとして
も、その位置によっては画像を縮小した際に入力画像の
縮小とテンプレート画像の縮小で縮小すべき画素のまと
まりの位相がずれて、縮小テンプレートと縮小入力画像
の相当する位置の画像が一致しない場合がある。そし
て、テンプレートとして登録した画像の性質にもよる
が、縮小倍率の大きい高階層におけるほどこの相違の度
合いが大きくなり、その結果、マッチングの相関係数も
低い値を示す確率が高くなる。

【００５６】これに対して、ステップＳ１０５の処理に
よって求められたＭｉ_min は、縮小テンプレート画像と
それに対して画像縮小の際のあらゆる位相のズレを考慮
して縮小した画像の相関係数の最小値を求めたものなの
で、テンプレート画像と同一の画像が入力画像中にあれ
ば、階層ｉにおける縮小テンプレートと縮小入力画像の
相関係数はいかなる場合でもＭｉ_min 以上の値を示す。

【００５７】係数αｉは画像入力時の画素レベル未満の
位相ズレやノイズの影響、マッチングをとる対象画像の
微少な変動を吸収するための安全係数であり、例えば、
αｉ＝０．８などの１より小なる値である。この値はマ
ッチング対象とする画像の性質により適宜設定する。

【００５８】以上のように決められた閾値Ｍｉ_th＝αｉ
・Ｍｉ_min の性質により、入力した画像が登録したテン
プレートと類似の画像を含む場合は、階層ｉにおけるマ
ッチングでは相当する位置にＭｉ_th以上の相関係数を有
すると考えられる。なお、テンプレート生成部３でこの
ように閾値を設定する過程には相応の計算コストを要す
るが、このテンプレート生成処理はオフライン処理であ
り、高速処理が要求されるのは入力画像からテンプレー
ト画像を検出するマッチングの過程であるので、特に問
題はない。

【００５９】図１に示したブロック図に戻り、マッチン
グ時の処理について説明する。マッチング時、画像入力
部１によって取り込まれた入力画像データは画像メモリ
２に記録される。入力画像データの内容はテンプレート
登録時と同じく２次元の濃淡データであり、例えば、図
７の２０に示すような幅５１２画素、高さ５１２画素、
画素値８ビットの２５６階調のデータである。ここで
は、ピラミッド構造データの階層が４の場合を例にとっ
て以降の処理を説明する。

【００６０】縮小画像生成部５はテンプレート生成部３
のステップＳ１０４の説明と同じ手順で、縮小テンプレ
ート画像を入力した画像２０を階層１のデータとして、
これを１／２に縮小して階層２の１／２縮小画像２１を
生成し、同様に１／２縮小画像２１を１／２に縮小して
階層３の１／４縮小画像２２を生成し、さらに１／４縮
小画像２２を１／２に縮小して階層４（最上層）の１／
８縮小画像２３を生成し（図７参照）、これら階層１〜
４における各縮小画像データは画像メモリ２に記録す
る。

【００６１】つぎに、パターンマッチング部６は、最上
位層（本例では第４層）において図８のフローチャート
に示す処理を実行する。ステップＳ２０１において、画
像メモリ２に生成された１／８縮小画像の全領域に対し
てテンプレートメモリ４の縮小テンプレート画像Ｔ４を
重ね合わせて各点における相関係数を算出する。このよ
うに算出された相関係数は一般に図９に示すようにマッ
チングの度合いの高い位置を頂点とする山型の分布を示
す。

【００６２】つぎに、ステップＳ２０２において、求め
られた相関係数の分布に対して極大値（各山型の分布の
頂点）を全て検出する。極大値の検出は簡易的に、ある
点の相関係数に着目してその値が当該点の４近傍点ある
いは８近傍点の相関係数よりも大きければ極大値である
と判定して検出する。

【００６３】このように検出された全ての極大値に対し
て、ステップＳ２０３ではテンプレート生成部３におい
て求めた第４層における閾値Ｍ４_thを適用して、Ｍ４_th
よりも大なる極大値を有する点を抽出して最上階層にお
ける検出点とする。ここで、前述の閾値の性質により、
入力画像中にテンプレート画像と類似の画像があれば、
縮小画像生成時の位相の如何によらず、ここにおける検
出点はその画像の粗位置を含み相関の低すぎる極大点を
不必要には含まないように候補点が絞り込まれる。

【００６４】つぎにパターンマッチング部６は、最上位
階層より下層に対してステップＳ２０４以降に示す処理
を行う。まず、ステップＳ２０４で１つ下の階層に移行
し、ステップＳ２０５において前述の最上位階層（第４
層）において検出された候補点を読み出して、ステップ
Ｓ２０６において検出点近傍における相関係数を求め相
関値が最大となる点を当該階層（第３層）における検出
座標とする。すなわち、上層の画像は当該階層の画像デ
ータを１／２に縮小したものであるから、上層（第４
層）において検出した位置の座標値は当該階層（第３
層）の画素ピッチの半分の解像度しかないため位置精度
を当該階層の精度に高める必要がある。

【００６５】したがって、上層における検出座標値を２
倍してその位置の近傍点における相関係数を求める。こ
こでは、当該位置に対して縦横±２画素の２５点につい
て縮小テンプレート画像Ｔ３を重ね合わせて各点の相関
係数を求める。そして、この２５点の相関係数のうち最
大値を与える座標を当該階層における候補点とする。

【００６６】例えば、図１０において、第ｉ層（図１０
（ａ））において検出された候補点Ｐ１＝（ｘ１，ｙ
１）に対して、１つ下位の第ｉ−１層（図１０（ｂ））
の対応点Ｐ’１＝（２ｘ１，２ｙ１）をとり、この点に
対して近傍縦横±２画素の黒丸で示した２５点における
相関係数を求める。そしてＰ２が最大の相関係数を持っ
た場合はＰ２を第ｉ−１層における候補点とする。

【００６７】このように検出された全ての候補点に対し
て、ステップＳ２０７ではテンプレート生成部３におい
て求めた第３層における閾値Ｍ３_thを適用して、相関係
数がＭ３_th以下の候補点を破棄してＭ３_thよりも大なる
相関係数を有する点のみを当該階層における候補点とす
る。

【００６８】ここで、前述の閾値の性質により、入力画
像中にテンプレート画像と類似の画像があれば、縮小画
像生成時の位相の如何によらず、ここにおける検出点は
その画像の位置を適切に含み、上位層において縮小のた
めにテンプレート画像と類似していた他の画像を破棄し
て候補点が絞り込まれる。

【００６９】ステップＳ２０８では最下位階層（縮小無
しの階層）に達したかをチェックし、最下位階層でなけ
ればステップＳ２０４に戻って１つ下の階層に移行し、
ステップＳ２０５以降の処理が同様に繰り返される。階
層ｉにおいては候補点を絞り込む閾値はテンプレート生
成部３において求めた閾値Ｍｉ_thを適用する。

【００７０】最下位層に達したならばパターンマッチン
グ部６の処理を終了する。そして、検出位置出力部７は
最終的に残った候補点のうち所定の閾値以上の相関係数
を有する点の位置を検出位置としてＣＲＴ上に位置表示
したり、接続された他の機器に対して座標出力したりす
る。

【００７１】（実施の形態２）つぎに、本発明による実
施の形態２について説明する。実施の形態２のテンプレ
ートマッチング方法を実現するハードウェア構成は実施
の形態１の図１に示したものと同様であり、テンプレー
ト生成部３の処理内容の一部が異なる。他の処理内容は
実施の形態１と同一であるため、以下相違点のみについ
て説明する。

【００７２】図１１が、実施の形態２に係るテンプレー
ト生成部３の処理内容を示すフローチャートである。図
中の処理ブロック番号で実施の形態１に係るテンプレー
ト生成部３の処理内容を示したフローチャート（図３参
照）と同一処理内容のものについては同一番号を付して
ある。相違するのはステップＳ１０５ｂの処理のみであ
るので、以下、本処理について説明する。

【００７３】ステップＳ１０５ｂではステップＳ１０４
にてＴ１からＴｉを作成したときとは位相（縮小開始位
置）をずらした縮小画像Ｔｉ’を作成し、Ｔｉとの相関
係数を求める。ｉ番目の階層における縮小テンプレート
画像Ｔｉはテンプレート画像Ｔ１を画像の左上を起点に
縮小倍率Ｋｉで縮小したものであり、ｎ＝１／Ｋｉとす
ると位相をずらした縮小画像Ｔｉ’は、テンプレート画
像Ｔ１の周囲画像の平均濃度をＴ１の右辺および下辺に
ｎ／２画素幅分加えた画像に対して、Ｔｉを作成した起
点から縦横それぞれに（ｎ／２) 画素ずらした位置を起
点としてＩ×Ｊの領域を１／ｎに縮小したものである。
そして、縮小テンプレートＴｉと位相をずらした縮小画
像Ｔｉ’の相関係数を算出してＭｉ_min を求める。すな
わち、 Ｍｉ_min ＝Ｔｉ×Ｔｉ’ である。

【００７４】ステップＳ１０５ｂにおける処理をｉ＝４
の場合について説明すると、Ｋｉ＝１／８であり、まず
８×８画素を１画素に縮小する処理を、Ｔ１からＴ４を
生成したときとは位相をずらせて行う。このため、テン
プレート画像Ｔ１の周囲画像の平均濃度を、図１２に示
すようにＴ１の右辺および下辺に４画素幅分（図１２網
点部）加えた幅Ｉ＋４，高さＪ＋４の画像を準備する。
そして、図にＰ１で示した位置を起点とするＩ×Ｊの領
域について１／８縮小画像を作成する。

【００７５】ここで、Ｐ１はＰ０で示したＴ４を生成し
た際の起点（Ｔ１の左上の点）から縦横それぞれに４画
素ずらした位置に該当する。１／８縮小画像の作成は、
例えば、Ｐｊを起点とした場合には図中のＩ×Ｊの領域
について、Ｐｊを起点として縦８画素、横８画素の６４
画素毎にメッシュ状に分割し、各メッシュの６４画素の
濃度値の平均値を新しい１画素の濃度値とすることによ
る。

【００７６】図中実線で示したＴｉ生成用のメッシュと
点線で示したＴｉ’生成用のメッシュは縦横ともに位相
がメッシュの一辺の半分だけずれており、他の位置にＴ
ｉ’生成用のメッシュを配置する場合に比べてＴｉとＴ
ｉ’の相関値が低くなることが期待される。したがって
種々の位置にメッシュを配置した場合の相関の最小値と
してＭｉ_min ＝Ｔｉ＊Ｔｉj を推定値として用いる。

【００７７】つぎにステップＳ１０６においては、各階
層について上記のように求められたＭｉ_min にあらかじ
め設定された１より小なる係数αｉを乗じて、パターン
マッチング時の探索点検出用の閾値Ｍｉ_thを求める。す
なわち、 Ｍｉ_th＝αｉ・Ｍｉ_min である。

【００７８】以上のように各階層における探索点検出用
の閾値Ｍｉ_thを求めパターンマッチング時には実施の形
態１と同様に、この閾値を用いて各階層におけるテンプ
レート位置検出の候補点を絞り込んでいき、最終的なテ
ンプレート位置を検出するものである。

【００７９】（実施の形態３）つぎに、本発明による実
施の形態３について説明する。本実施の形態３はテンプ
レートとして登録した画像が、入力画像中である傾き許
容値以内で傾きを持っている場合に対応するものであ
る。実施の形態３のテンプレートマッチング方法を実現
するハードウェア構成は実施の形態１の図１に示したも
のと同様であり、テンプレート生成部３の処理内容の一
部のみが異なる。他の処理内容は実施の形態１と同一で
あるため、以下相違点のみについて説明する。

【００８０】図１３は実施の形態３に係るテンプレート
生成部３の処理内容を示すフローチャートである。図中
の処理ブロック番号で実施の形態１に係るテンプレート
生成部３の処理内容を示したフローチャート（図３参
照）と同一処理内容のものについては同一番号を付して
ある。相違するのはステップＳ１０５ｃの処理のみであ
るので、以下、本処理について説明する。

【００８１】ステップＳ１０５ｃではステップＳ１０４
にてＴ１からＴｉを作成したときとは位相（縮小開始位
置）をずらした縮小画像Ｔｉｊを作成し、Ｔｉとの相関
係数を求める。ｉ番目の階層においては縮小テンプレー
ト画像Ｔｉはテンプレート画像Ｔ１を縮小倍率Ｋｉで縮
小したものであり、ｎ＝１／Ｋｉとすると位相をずらし
た縮小画像は、テンプレート画像Ｔ１の周囲画像の平均
濃度をＴ１の右辺および下辺にｎ／２画素幅、Ｔ１の上
辺および左辺に（ｎ／２）−１画素幅分加えた画像に対
して、Ｔｉを作成した起点から縦横それぞれに −( ｎ
／２) ＋１，・・・，−１，０，１，２，・・・，( ｎ
／２) 画素ずらした位置を起点としてＩ×Ｊの領域を１
／ｎに縮小したものである。

【００８２】このように作成した縮小画像はｎ×ｎ−１
個（起点のズレが縦横ともに０の場合はＴｉと同一とな
るため１減ずる）であるため、これをＴｉｊ（ｊ＝１，
２，・・・，ｎ×ｎ−１）とおき、各Ｔｉｊに対してＴ
ｉとの相関係数を計算しその最小値Ｍｉ_min をもとめ
る。すなわち、 Ｍｉ_min ＝ｍｉｎ｛Ｔｉ＊Ｔｉ’｝ （ｊ＝１，２，・
・・，ｎ×ｎ−１） である。

【００８３】つぎに、図１４に示すように、テンプレー
ト画像Ｔ１（図中３０）を画像中心Ｐ０を回転中心とし
て許容回転誤差＋θだけ回転し（３１）、回転前のＴ１
と同一位置にある画像を切り出してＴi+θとする。この
画像Ｔi+θに対して位相（縮小開始位置）を変えて縮小
した縮小画像Ｔi+θ,jを生成する。

【００８４】この位相をずらした縮小画像Ｔi+θ,jは、
テンプレート画像Ｔ１の周囲画像の平均濃度をＴ１の右
辺および下辺にｎ／２画素幅、Ｔ１の上辺および左辺に
（ｎ／２）−１画素幅分加えた画像３２に対して（ただ
し、このように補完する部分は図中網点で示すように回
転した画像３１の存在しない部分である）、Ｔｉを作成
した起点Ｐ１から縦横それぞれに −（ｎ／２) ＋１，
・・・，−１，０，１，２，・・・，（ｎ／２) 画素ず
らした位置を起点としてＩ×Ｊの領域を１／ｎに縮小し
たものである。

【００８５】このように作成した縮小画像はｎ×ｎ個
（起点のズレが０の場合も含む）あるため、これをＴi+
θ,j（ｊ＝１，２，・・・，ｎ×ｎ）とおき、各Ｔi+
θ,jに対してＴｉとの相関係数を計算しその最小値Ｍi+
θ_min をもとめる。すなわち、 Ｍｉ+ θ_min ＝ｍｉｎ｛Ｔｉ＊Ｔi+θ,j｝ ( ｊ＝１，
２，・・・，ｎ×ｎ） である。

【００８６】つぎに、テンプレート画像Ｔ１を画像中心
Ｐ０を回転中心として前述とは反対方向に許容回転誤差
θだけ回転し、回転前のＴ１と同一位置にある画像を切
り出してＴi-θとする。この画像Ｔi-θに対してＴi+θ
に対したのと同様に、位相（縮小開始位置）を変えて縮
小した縮小画像Ｔi-θ,j（ｊ＝１，２，・・・，ｎ×
ｎ）を生成する。そして、各Ｔi-θ,jに対してＴｉとの
相関係数を計算し、その最小値Ｍi-θ_min をもとめる。
すなわち、 Ｍi-θ_min ＝ｍｉｎ｛Ｔｉ＊Ｔi-θ,j｝ ( ｊ＝１，
２，・・・，ｎ×ｎ） である。

【００８７】ステップＳ１０５ｃでは最後に、上記のよ
うに求めたＭｉ_min ，Ｍi+θ_min ，Ｍi-θ_min の最小値
を求めてＭｉ_min とする。すなわち、 Ｍｉ_min ＝ｍｉｎ｛Ｍｉ_min ，Ｍi+θ_min ，Ｍi-
θ_min ｝ である。

【００８８】つぎにステップＳ１０６においては、各階
層について上記のように求められたＭｉ_min にあらかじ
め設定された１より小なる係数αｉを乗じて、パターン
マッチング時の探索点検出用の閾値Ｍｉ_thを求める。す
なわち、 Ｍｉ_th＝αｉ・Ｍｉ_min である。

【００８９】以上のように各階層における探索点検出用
の閾値Ｍｉ_thを求めパターンマッチング時には実施の形
態１と同様に、この閾値を用いて各階層におけるテンプ
レート位置検出の候補点を絞り込んでいき、最終的なテ
ンプレート位置を検出するものである。

【００９０】（実施の形態４）つぎに、本発明による実
施の形態４について説明する。本実施の形態４はテンプ
レートとして登録した画像が、入力画像中である傾き許
容値以内で傾きを持っている場合に対応するものであ
る。実施の形態４のテンプレートマッチング方法を実現
するハードウェア構成は実施の形態１の図１に示したも
のと同様であり、テンプレート生成部３の処理内容の一
部が異なる。他の処理内容は実施の形態１と同一である
ため、以下、相違点のみについて説明する。

【００９１】図１５は実施の形態４に係るテンプレート
生成部３の処理内容を示すフローチャートである。図中
の処理ブロック番号で実施の形態１に係るテンプレート
生成部３の処理内容を示したフローチャート（図３参
照）と同一処理内容のものについては同一番号を付して
ある。相違するのはステップＳ１０５ｄの処理のみであ
るので、以下、本処理について説明する。

【００９２】ステップＳ１０５ｄではまず、テンプレー
ト画像Ｔ１を画像中心Ｐ０を回転中心として許容回転誤
差＋θだけ回転し、回転前のＴ１と同一位置にある画像
を切り出してＴi+θとする。この画像Ｔi+θに対して位
相（縮小開始位置）を変えて縮小した縮小画像Ｔi+θ’
を生成する。この位相をずらした縮小画像Ｔi+θ’は、
テンプレート画像Ｔ１の周囲画像の平均濃度をＴ１の右
辺および下辺にｎ／２画素幅分加えた画像に対して、Ｔ
ｉを作成した起点から縦横それぞれに（ｎ／２) 画素ず
らした位置を起点としてＩ×Ｊの領域を１／ｎに縮小し
たものである。このように作成した縮小画像Ｔi+θ’に
対してＴｉとの相関係数Ｍｉ+ θ_min をもとめる。すな
わち、 Ｍｉ+ θ_min ＝Ｔｉ＊Ｔi+θ’ である。

【００９３】つぎに、テンプレート画像Ｔ１を画像中心
Ｐ０を回転中心として前述とは反対方向に許容回転誤差
θだけ回転し、回転前のＴ１と同一位置にある画像を切
り出してＴi-θとする。この画像Ｔi-θに対してＴi+θ
に対したのと同様に、位相（縮小開始位置）を変えて縮
小した縮小画像Ｔi-θ’を生成する。そして、Ｔi-θ’
に対してＴｉとの相関係数Ｍi-θ_min をもとめる。すな
わち、 Ｍi-θ_min ＝Ｔｉ＊Ｔi-θ’ である。

【００９４】ステップＳ１０５ｃでは最後に、上記のよ
うに求めたＭi+θ_min ，Ｍi-θ_minの最小値を求めてＭ
ｉ_min とする。すなわち、 Ｍｉ_min ＝ｍｉｎ｛Ｍi+θ_min ，Ｍi-θ_min ｝ である。

【００９５】つぎにステップＳ１０６においては、各階
層について上記のように求められたＭｉ_min にあらかじ
め設定された１より小なる係数αｉを乗じて、パターン
マッチング時の探索点検出用の閾値Ｍｉ_thを求める。す
なわち、 Ｍｉ_th＝αｉ・Ｍｉ_min である。

【００９６】以上のように各階層における探索点検出用
の閾値Ｍｉ_thを求めパターンマッチング時には実施の形
態１と同様に、この閾値を用いて各階層におけるテンプ
レート位置検出の候補点を絞り込んでいき、最終的なテ
ンプレート位置を検出するものである。

【００９７】（実施の形態５）つぎに、本発明による実
施の形態５について説明する。実施の形態５のテンプレ
ートマッチング方法を実現するハードウェア構成は実施
の形態１の図１に示したものと同様であり、テンプレー
ト生成部３の処理内容の一部が異なる。他の処理内容は
実施の形態１と同一であるため、以下、相違点のみにつ
いて説明する。

【００９８】実施の形態１ではピラミッド画像データの
階層数があらかじめ決められた値であったが、本実施の
形態は階層数については不定であり、等倍のテンプレー
ト画像を階層をあげるにしたがって縮小していく過程で
解像度が低くなっていくが、テンプレートデータとして
有意な性質を保持する縮小倍率を自動的に判定し階層数
（最小縮小倍率）を自動設定するようにしたものであ
る。

【００９９】図１６に実施の形態５に係るテンプレート
生成部３の処理のフローチャートを示す。図中の処理ス
テップＳ７０１〜Ｓ７０６は、実施の形態１に係るテン
プレート生成部３の処理のフローチャート（図３）に示
した処理ステップＳ１０１〜Ｓ１０６とそれぞれ同一の
処理を行う。相違するのはステップＳ７０７、Ｓ７０８
の処理のみであるので、本処理について説明する。

【０１００】ステップＳ７０３〜Ｓ７０６で当該階層ｉ
における縮小テンプレートＴｉと位相をずらせて縮小し
た縮小画像との相関係数の最小値Ｍｉ_min を求め、これ
に係数αｉを乗じた係数Ｍｉ_thを求める。ステップＳ７
０７において、このＭｉ_thがあらかじめ設定された閾値
Ｍ_thと比較される。

【０１０１】閾値Ｍ_thは２つの画像にある程度の類似が
みられると判断される相関係数であり、例えばＭ_th＝
０．４などのように所定の値に設定されている。そし
て、Ｍｉ _th≧Ｍ_thであれば、ステップＳ７０３に戻って
縮小の階層を１層上げ、Ｍｉ_th＜Ｍ_thであればステップ
Ｓ７０８に移行する。

【０１０２】ここで、相関係数の最小値Ｍｉ_thを与える
縮小画像をＴｉ’とすると、縮小倍率の低い低階層にお
いてはＴｉとＴｉ’では位相のズレによる画像の相違は
それほど大きくないのでＭｉ_th≧Ｍ_thとなり、階層をあ
げていく。そしてある階層で位相のズレによる画像の相
違が大きくるとＭｉ_th＜Ｍ_thとなる。これは、この階層
でテンプレートマッチングを行ったときに、入力画像中
にテンプレートと類似の画像があったとしても、この階
層でテンプレートマッチングを行ったときに大きく画像
がつぶれるなどして、縮小の位相によっては、類似がみ
られるとみなしうる相関係数（Ｍ_th）以上の値で検出さ
れないことを意味する。したがって、この場合はステッ
プＳ７０８で最上位階層番号ＣをＣ＝ｉ−１として、一
つ前の階層を縮小の限界に設定して処理を終了する。

【０１０３】

【発明の効果】以上、説明したとおり、この発明に係る
テンプレートマッチング方法にあっては、画像縮小率の
最も高い最上層において、縮小された撮影画像の全ての
点の縮小テンプレートに対する相関値を算出して相関値
の分布を求め、相関値が極大となる点のうち所定の閾値
以上の相関値を持つ点全てを候補点として抽出するよう
にしたため、検出するべき画像位置を漏らすことなく候
補点として検出することができるという効果がある。

【０１０４】また、上位の層で得られた各候補点に対し
て下位の層では、各候補点を中心とする近傍点における
相関値を算出してその最大値を与える点のうち所定の閾
値以上の相関値を持つ点全てを候補点として抽出するよ
うにしたため、各階層において候補点の位置精度を高め
ながら、上位の層にて本来類似度は低いが解像度が低い
ために候補点として検出されていた点を候補から落とす
ことによって候補点を絞り込んでくことにより相関値計
算の演算回数を減らして高速化が可能となる効果があ
る。

【０１０５】つぎの発明に係るテンプレートマッチング
方法にあっては、各階層における所定の閾値は、各階層
における縮小されたテンプレートに対して、縮小の単位
となるメッシュの位置を種々に変えた縮小画像との相関
値を求め、この相関値の最小値を基準に設定したため、
入力画像の検出するべき画像とテンプレート画像が縮小
時の位相のズレによって相違する画像となった場合に
も、各階層においてこの閾値で候補点を絞り込むことに
よって、検出するべき画像位置を漏らすことなく、しか
も過大に候補点を検出しないことが可能となり、結果と
して検出精度が高く高速なテンプレートマッチングが実
現できる効果がある。

【０１０６】つぎの発明に係るテンプレートマッチング
方法にあっては、各階層における所定の閾値は、各階層
における縮小されたテンプレートに対して、縮小の単位
となるメッシュの位置を最も位相が異なるように配置し
た縮小画像との相関値を基準に設定したため、上記効果
に加えて閾値設定が高速に行える効果がある。

【０１０７】つぎの発明に係るテンプレートマッチング
方法にあっては、各階層における所定の閾値は、各階層
における縮小されたテンプレートに対して、原テンプレ
ートとこれを許容回転誤差で回転した画像に縮小の単位
となるメッシュの位置を種々に変えた縮小画像との相関
値を求め、この相関値の最小値を基準に設定したため、
入力画像の検出するべき画像が回転誤差を含みかつ縮小
時の位相のズレによって縮小テンプレートと相違する画
像となった場合にも、各階層においてこの閾値で候補点
を絞り込むことによって、検出するべき画像位置を漏ら
すことなく、しかも過大に候補点を検出しないことが可
能となり、結果として検出精度が高く高速なテンプレー
トマッチングが実現できる効果がある。

【０１０８】つぎの発明に係るテンプレートマッチング
方法にあっては、各階層における所定の閾値は、各階層
における縮小されたテンプレートに対して、原テンプレ
ートとこれを許容回転誤差で回転した画像に縮小の単位
となるメッシュの位置が縮小テンプレート生成時からか
ら最も位相が異なるように配置した縮小画像との相関値
を基準に設定したため、上記効果に加えて閾値設定が高
速に行える効果がある。

【０１０９】つぎの発明に係るテンプレートマッチング
方法にあっては、上記閾値設定にあたり、縮小テンプレ
ートとは異なる縮小単位のメッシュ位置で縮小して縮小
テンプレートとは最も相関が低くなるような場合の相関
値が、所定の基準値よりも高くなるようにピラミッド構
造の階層数を設定するようにしたため、テンプレートが
検出可能な限りで階層数を最大に自動設定できるように
なり、結果として検出精度が高く高速なテンプレートマ
ッチングが実現できる効果がある。

【０１１０】つぎの発明に係るテンプレートマッチング
装置にあっては、画像縮小率の最も高い最上層におい
て、縮小された撮影画像の全ての点の縮小テンプレート
に対する相関値を算出して相関値の分布を求め、相関値
が極大となる点のうち所定の閾値以上の相関値を持つ点
全てを候補点として抽出するようにしたため、検出する
べき画像位置を漏らすことなく候補点として検出するこ
とができるという効果、および、上位の層で得られた各
候補点に対して下位の層では、各候補点を中心とする近
傍点における相関値を算出してその最大値を与える点の
うち所定の閾値以上の相関値を持つ点全てを候補点とし
て抽出するようにしたため、各階層において候補点の位
置精度を高めながら、上位の層にて本来類似度は低いが
解像度が低いために候補点として検出されていた点を候
補から落とすことによって候補点を絞り込んでくことに
より相関値計算の演算回数を減らして高速化が可能とな
る効果をハードウェアにより実現することができる。

【図面の簡単な説明】

【図１】 この発明に係るテンプレートマッチング方法
の実現する装置の構成を示すブロック図である。

【図２】 入力画像およびテンプレートの切り出しを示
す説明図である。

【図３】 この発明に係る実施の形態１におけるテンプ
レート生成部の処理動作を示すフローチャートである。

【図４】 縮小テンプレート生成課程を示す説明図であ
る。

【図５】 この発明に係る実施の形態１における第２層
の位相を変えた縮小画像の生成方法を示す説明図であ
る。

【図６】 この発明に係る実施の形態１における第４層
の位相を変えた縮小画像の生成方法を示す説明図であ
る。

【図７】 縮小画像生成部の処理内容を示す説明図であ
る。

【図８】 パターンマッチング部の処理動作を示すフロ
ーチャートである。

【図９】 最上位階層における相関係数の分布を示す説
明図である。

【図１０】 最上位階層以外の階層における相関係数を
求める範囲を示す説明図である。

【図１１】 この発明に係る実施の形態２におけるテン
プレート生成部の処理動作を示すフローチャートであ
る。

【図１２】 この発明に係る実施の形態２における位相
を変えた縮小画像生成方法を示す説明図である。

【図１３】 この発明に係る実施の形態３におけるテン
プレート生成部の処理動作を示すフローチャートであ
る。

【図１４】 この発明に係る実施の形態３におけるテン
プレート画像を回転させて縮小する手順を示す説明図で
ある。

【図１５】 この発明に係る実施の形態４におけるテン
プレート生成部の処理動作を示すフローチャートであ
る。

【図１６】 この発明に係る実施の形態５におけるテン
プレート生成部の処理動作を示すフローチャートであ
る。

【図１７】 一般的なテンプレートマッチング処理を示
す説明図である。

【図１８】 従来におけるテンプレートマッチング方法
を示す説明図である。

【図１９】 従来におけるテンプレートマッチング方法
で誤検出をする例を示す説明図である。

【図２０】 従来におけるテンプレートマッチング方法
で縮小画像で相関が低くなる場合を示す説明図である。

【符号の説明】

１ 画像入力部，２ 画像メモリ，３ テンプレート生
成部，４ テンプレートメモリ，５ 縮小画像生成部，
６ パターンマッチング部，７ 検出位置出力部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成９年２月１３日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正内容】

【０００６】このような処理方法から、テンプレートマ
ッチングでは膨大な計算量が必要となり、多大な処理時
間を要する。そこで計算量を減らし、処理を高速化する
方法として、ピラミッド構造データを用いたテンプレー
トマッチングがある。この方法は、検査対象となる画像
とテンプレート画像を縮小し、縮小された画像間におい
てテンプレートマッチングを実行することによりおおま
かなマッチング位置を求める。その後、順に縮小率を下
げながら、前の処理で求めたマッチング位置によりその
近傍に限定された領域内で詳細なテンプレートマッチン
グを行なうものである。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正内容】

【００６６】例えば、図１０において、第ｉ層（図１０
（ａ））において検出された候補点Ｐ１＝（ｘ１，ｙ
１）に対して、１つ下位の第ｉ−１層（図１０（ｂ））
の対応点Ｐ１’＝（２ｘ１，２ｙ１）をとり、この点に
対して近傍縦横±２画素の黒丸で示した２５点における
相関係数を求める。そしてＰ２が最大の相関係数を持っ
た場合はＰ２を第ｉ−１層における候補点とする。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００７３

【補正方法】変更

【補正内容】

【００７３】ステップＳ１０５ｂではステップＳ１０４
にてＴ１からＴｉを作成したときとは位相（縮小開始位
置）をずらした縮小画像Ｔｉ’を作成し、Ｔｉとの相関
係数を求める。ｉ番目の階層における縮小テンプレート
画像Ｔｉはテンプレート画像Ｔ１を画像の左上を起点に
縮小倍率Ｋｉで縮小したものであり、ｎ＝１／Ｋｉとす
ると位相をずらした縮小画像Ｔｉ’は、テンプレート画
像Ｔ１の周囲画像の平均濃度をＴ１の右辺および下辺に
ｎ／２画素幅分加えた画像に対して、Ｔｉを作成した起
点から縦横それぞれに（ｎ／２) 画素ずらした位置を起
点としてＩ×Ｊの領域を１／ｎに縮小したものである。
そして、縮小テンプレートＴｉと位相をずらした縮小画
像Ｔｉ’の相関係数を算出してＭｉ_min を求める。すな
わち、 Ｍｉ_min ＝Ｔｉ＊Ｔｉ’ である。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００８２

【補正方法】変更

【補正内容】

【００８２】このように作成した縮小画像はｎ×ｎ−１
個（起点のズレが縦横ともに０の場合はＴｉと同一とな
るため１減ずる）であるため、これをＴｉｊ（ｊ＝１，
２，・・・，ｎ×ｎ−１）とおき、各Ｔｉｊに対してＴ
ｉとの相関係数を計算しその最小値Ｍｉ_min をもとめ
る。すなわち、 Ｍｉ_min ＝ｍｉｎ｛Ｔｉ＊Ｔｉｊ｝ （ｊ＝１，２，・
・・，ｎ×ｎ−１） である。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】０１０４

【補正方法】変更

【補正内容】

【０１０４】また、上位の層で得られた各候補点に対し
て下位の層では、各候補点を中心とする近傍点における
相関値を算出してその最大値を与える点のうち所定の閾
値以上の相関値を持つ点全てを候補点として抽出するよ
うにしたため、各階層において候補点の位置精度を高め
ながら、上位の層にて本来類似度は低いが解像度が低い
ために候補点として検出されていた点を候補から落とす
ことによって候補点を絞り込んでいくことにより相関値
計算の演算回数を減らして高速化が可能となる効果があ
る。

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図１３

【補正方法】変更

【補正内容】

【図１３】

【手続補正７】

【補正対象書類名】図面

【補正対象項目名】図１５

【補正方法】変更

【補正内容】

【図１５】

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ピラミッド構造データを用いたテンプレ
   ートマッチング方法において、 画像縮小率の最も高い最上層において縮小された撮影画
   像の全ての点の縮小テンプレートに対する相関値を算出
   し、前記相関値を算出した各点において周囲４近傍の点
   または周囲８近傍の点より相関値が大きい点のうち所定
   の閾値以上の相関値を持つ点全てを候補点として抽出す
   る第１の工程と、 最上層よりも縮小率の低い階層において、上位の層で抽
   出された各候補点に対して、各候補点を中心として周囲
   数点における相関値を算出し、その最大値を与える点の
   うち所定の閾値以上の相関値を持つ点全てを候補点とし
   て抽出する処理を１回あるいは複数回繰り返す第２の工
   程と、 前記第２の工程の処理が画像の縮小を行わない最下層に
   達しているならば、抽出された複数の候補点のうち相関
   値が最大である点を真のマッチング位置とする第３の工
   程と、 を含むことを特徴とするテンプレートマッチング方法。
2. 【請求項２】 前記各階層における所定の閾値の設定に
   当たっては、前記階層の画像縮小率が１／ｎの場合に
   は、テンプレート画像の基準位置から縦方向にそれぞれ
   −（ｎ／２）＋１，・・・−１，０，１，２，・・・，
   ｎ／２画素、横方向にそれぞれ−（ｎ／２）＋１，・・
   ・−１，０，１，２，・・・，ｎ／２画素ずらした位置
   を縮小開始位置としてｎ×ｎ画素を１画素に縮小するこ
   とによりｎ×ｎ個の縮小テンプレートを生成し、縮小開
   始位置が基準位置からずれのない縮小テンプレート画像
   を基準テンプレート画像とするとともに、前記基準テン
   プレート画像とその他のｎ×ｎ−１個の縮小開始位置が
   基準位置からずれのある縮小テンプレート画像との間で
   相関係数を求め、前記ｎ×ｎ−１個の相関係数の最小値
   に１より小なる係数を乗じた値を閾値としたことを特徴
   とする請求項１に記載のテンプレートマッチング方法。
3. 【請求項３】 前記各階層における所定の閾値の設定に
   当たっては、前記階層の画像縮小率がｎの場合には、テ
   ンプレート画像の基準位置を縮小開始位置としてｎ×ｎ
   画素を１画素に縮小することにより生成した縮小テンプ
   レートとテンプレート画像の基準位置から縦方向にｎ／
   ２画素、横方向にｎ／２画素ずらした位置を縮小開始位
   置としてｎ×ｎ画素を１画素に縮小することにより生成
   したテンプレート画像との間で相関係数を求め、前記相
   関係数に１より小なる係数を乗じた値を閾値としたこと
   を特徴とする請求項１に記載のテンプレートマッチング
   方法。
4. 【請求項４】 前記パターンマッチングで検出対象画像
   がテンプレートに対して±θの回転誤差を有するとき、
   前記各階層における所定の閾値の設定に当たっては、前
   記階層の画像縮小率がｎの場合には、テンプレート画像
   およびテンプレート画像を±θ回転させた３枚の画像に
   対して、基準位置から縦方向にそれぞれ−（ｎ／２）＋
   １，・・・−１，０，１，２，・・・，ｎ／２画素、横
   方向にそれぞれ−（ｎ／２）＋１，・・・−１，０，
   １，２，・・・，ｎ／２画素ずらした位置を縮小開始位
   置としてｎ×ｎ画素を１画素に縮小することにより３×
   ｎ×ｎ個の縮小テンプレートを生成し、回転が無く縮小
   開始位置が基準位置からずれのない縮小テンプレート画
   像を基準テンプレート画像とするとともに、前記基準テ
   ンプレート画像とその他の３×ｎ×ｎ−１個の縮小開始
   位置が基準位置からずれのある縮小テンプレート画像と
   の間で相関係数を求め、前記３×ｎ×ｎ−１個の相関係
   数の最小値に１より小なる係数を乗じた値を閾値とした
   ことを特徴とする請求項１に記載のテンプレートマッチ
   ング方法。
5. 【請求項５】 前記パターンマッチングで検出対象画像
   がテンプレートに対して±θの回転誤差を有するとき、
   前記各階層における所定の閾値の設定に当たっては、前
   記階層の画像縮小率がｎの場合には、基準位置を縮小開
   始位置としてｎ×ｎ画素を１画素に縮小することにより
   生成した縮小テンプレートと，テンプレート画像を±θ
   回転させた２枚の画像に対して基準位置から縦方向にｎ
   ／２画素、横方向にｎ／２画素ずらした位置を縮小開始
   位置としてｎ×ｎ画素を１画素に縮小することによりテ
   ンプレート画像との間で相関係数を求め、前記相関係数
   の最小値に１より小なる係数を乗じた値を閾値としたこ
   とを特徴とする請求項１に記載のテンプレートマッチン
   グ方法。
6. 【請求項６】 前記各階層において閾値を設定する際
   に、設定した閾値が所定の値以上であればピラミッド構
   造データの階層を１階層上げて前記階層の閾値を設定す
   る処理を繰り返し、設定した閾値が所定の値未満であれ
   ば前記階層より１層下げた階層をピラミッド構造データ
   の最上位階層とすることを特徴とする請求項２〜５のい
   ずれか一つに記載のテンプレートマッチング方法。
7. 【請求項７】 ２次元の濃淡画像データを取り込む画像
   入力手段と、 前記画像入力手段により取り込まれた濃淡画像データを
   格納する画像記憶手段と、 前記画像記憶手段に格納された画像データの中から、デ
   ンプレートとして登録する領域を切り出し、前記切り出
   した領域を縮小して縮小デンプレートデータを生成する
   テンプレート生成手段と、 前記テンプレート生成手段により切り出されたテンプレ
   ートデータと、生成された縮小テンプレートデータを格
   納するテンプレート記憶手段と、 前記画像記憶手段の中に格納されている入力画像から、
   その縮小画像を生成する縮小画像生成手段と、 前記画像記憶手段の中に格納されている入力画像および
   その縮小画像と、前記テンプレート記憶手段の中に格納
   されているテンプレートデータおよびその縮小テンプレ
   ートデータとを縮小の階層毎に相関係数を計算しながら
   入力画像からテンプレートに類似したパターンを持つ箇
   所を同定するパターンマッチング手段と、 前記パターンマッチング手段により同定された箇所を検
   出位置として出力する検出位置出力手段と、 を具備することを特徴とするテンプレートマッチング装
   置。