JP4914260B2 - テンプレートマッチング装置及び方法 - Google Patents

Description

本発明は、テンプレートマッチング装置及び方法に係り、特に、検査対象にテンプレートと同一のパターンがあるか否かを判定する判定機能や、同一のパターンがある位置を検出する位置検出機能を作り、各種検査装置、認識装置、判定装置等に組み込んで利用して好適なテンプレートマッチング装置及び方法に関する。

予め撮影した画像や取得したデータからテンプレートを作成し、検査対象にテンプレートと同一のパターンを持つ部位があるか否かの判定を行う認識機能や判定機能、あるいは、その位置を検出する位置検出機能を作成するための技術として、テンプレートマッチングと呼ばれる技術が幅広く利用されている。

例えば、非特許文献１の５章３節、第８４ページ〜第８６ページには、テンプレートマッチングの基本的な方法が記載されている。この文献の図５．６には、（ａ）少女の顔画像を原画とし、（ｂ）左目部分をテンプレートにして切り出し、原画像を濃度変換して作られた画像を入力画像として、入力画像の各部分でテンプレートとの相関演算を施した結果が例示されている。そして、この文献には、（ｃ）相関係数のしきい値を０．９９以上とした場合、テンプレートとして切り出した左目の位置のみマッチングするが、（ｄ）相関係数のしきい値を０．８とした場合、左目だけでなく、右目にも幾つかマッチングする候補位置が現れることが例示されている。

なお、非特許文献１の例では、入力画像が原画をほど良く濃度変換している画像のため、一番相関係数の高いものが左目に位置するようになっている。この文献には記載されていなが、一般には、相関係数の一番高い場所が所望の位置を正しく検出した場所とは限らない場合がある。例えば、原画に大きな濃度変化やノイズが加えられ画像や、別人の顔画像を入力画像とした場合には、左目が一番相関係数の高い場所である保証はなく、右目が一番相関係数の高い場所になる可能性がある。この場合、一番相関係数の高い場所を左目の位置として位置検出しようとすると所望の位置が得られず、誤認する場合がある。

このように、前述したテンプレートマッチングの技術は、入力画像の検知すべき位置にテンプレートとは大きく変形したパターンがあったり、他の場所に良く似たパターンがあると誤認して位置検出をしてしまう場合がある。

また、マッチングの演算時間を短縮するための技術が、特許文献１、２及び非特許文献１のそれぞれに記載されている。特許文献１に記載のものは、階層的にテンプレートの画像の大きさやサンプリングレート、候補点領域を小さくしていくというものであり、これにより、階層化していない大きなサイズのテンプレートを持つ場合より高速に演算を行うことができるというものである。そして、非特許文献１には、２値化画像の場合、平均値による引き算や正規化を省略できるとき、評価式として「距離」を用い演算時間を短縮して処理の高速化を図ることが記載されている。また、特許文献２には、認識対象物が比較的単純な形態の場合、認識対象物を構成する外接四角形の幅を直径とする円をテンプレートとして２値画像のマッチング演算の高速化を行う方法が記載されている。

さらに、特許文献３には、大型液晶表示素子を形成する露光装置に適した位置合わせの誤認を抑止する方法が記載されている。この特許文献３に記載の技術は、テンプレート画像の中で誤差の多く発生する部分が予め判っている部分にマスキングを施し、撮影画像（入力画像）にも対応する候補位置に同様なマスキングを施して、マスキングを施していない領域のみについて、所定の評価式に基づく演算を行って評価することにより、誤差の大きい部位を排除した評価を行い、位置検出精度を向上することを可能にするというものである。
特開昭６３−２１１４７４号公報 特開２００１−３５１１０２号公報 特開平８−１８１０５３号公報 著者：酒井幸市、書名：Visual C#.NET & Visual Basic.NETによるデジタル画像処理の基礎と応用−基本概念から顔画像認識まで、発行所：CQ出版社、発行年：２００３年９月１日初版発行

一般に、検査対象を撮影した実際の比較画像は、ノイズや検査対象の加工精度による形態変化等を含んでおり、テンプレート用に撮影した画像と若干異なるものである。このため、実際の比較画像とテンプレート用の画像とによりテンプレートマッチングを行うと、誤差が現れて誤認する場合がある。特に、周期的に似た構造が現れる検査対象を撮影して検査する場合、周期的な構造の１周期、２周期移動した画像は、元の画像と一部が異なるだけで他は同一であることから、テンプレートマッチングを行ったときに、１周期、２周期等の移動した場所と誤認する確率が高い。

前述した従来技術は、テンプレートマッチングの誤認を抑制するために、特許文献３に記載のように、誤差の大きな部位にマスクをかけて評価から外すこととしていた。しかし、前述したような周期的に似た構造を持つ画像は、特許文献３のように、マスキングすべき予め定まった一部の部位がなく、特許文献３を適用したテンプレートマッチングを行うことができない。

本発明の目的は、前述したような点に鑑みて、同一形状の周期的なパターンを持った画像等のテンプレートの近傍にテンプレートとよく類似したパターンが現れる検査対象であっても、誤認する確率の低いテンプレートマッチングを行うことができるようにしたテンプレートマッチング装置及び方法を提供することにある。

本発明によれば前記目的は、検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置において、テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択手段と、前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出手段と、前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成手段と、前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を加工テンプレートとする加工テンプレート作成手段と、前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する閾値用類似度評価手段と、前記閾値用類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値と類似の２番目の値とを参照して閾値を設定する閾値設定手段と、検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価手段と、前記比較用類似度評価手段により求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定手段とを備えることにより達成される。

本発明によれば、周期的なパターンを持った画像等のテンプレートの近傍にテンプレートとよく類似したパターンが現れる検査対象であっても、誤認する確率の低いテンプレートマッチングを行うことができるという効果を得ることができる。

本発明は、テンプレートマッチングを行う装置が実行する画像処理に特徴があり、その実施形態は、様々な形態を取ることができる。例えば、本発明の画像処理を実施する専用のハードウエアを作成することを実施形態とすることもできるし、本発明の画像処理プロセスを記述したソフトウエアを作成し、このソフトウェアを汎用の計算機に実行させる形態も取ることができる。

汎用の計算機を用いる場合、ソフトウエアを記憶媒体に記録して提供することができる。ソフトウェアは、計算機を特定せずに実行可能なので、ソフトウェアを記録した記憶媒体は、本発明全体を実行するための重要な普遍的要素であり、組み込み先において任意の部品となる本発明の１つの実施形態である。ソフトウエアを記憶する記憶媒体としては、ＣＤ、ＤＶＤ、メモリ−カード、ＨＤ、インターネットで接続・ダウンロード可能な外部記憶装置などがある。

汎用の計算機は、例えば、市販の日立社製FLORA シリーズ、ソニー社製VAIOシリーズ、シャープ社製MEBIUSシリーズ等を用いることができ、ＯＳは、市販のMicrosoft 社製のWINDOWS（登録商標） や誰でも入手可能なパブリックドメインのLINUX 等を用いることができる。ソフトウエアを作成する場合、作成作業を支援するツールとして、市販のBorland 社製のC++ Builder 、Microsoft 社製のVisual C++等を用いることができ、これにより、ＧＵＩ（グラフィックユーザインターフェース）を伴ったソフト開発を容易に行うことができる。

以下、本発明によるテンプレートマッチング装置及び方法の実施形態を図面により詳細に説明する。

図２は本発明の第１の実施形態によるテンプレートマッチング装置の全体のシステム構成と計算装置の構成とを示すブロック図である。

テンプレートマッチング装置は、そのシステムとして、図２（ａ）に示すように、検査対象２０２を載置するステージ２０１と、撮影装置２０３と、計算装置２０４と、表示装置２０５とを備えて構成される。ステージ２０１は、検査対象２０２を乗せて撮影装置２０３の撮影視野に検査対象２０２を運ぶものである。撮影装置２０３は、検査対象２０２を撮影し、撮影画像を計算装置２０４に送信する。計算装置２０４は、前述の動作をコントロールするため、ステージ２０１、撮影装置２０３を動かす制御信号をステージ２０１、撮影装置２０３に送信する。また、計算装置２０４は、撮影装置２０３が撮影した画像を画像処理し、結果を表示装置２０５に表示する。なお、検査対象２０２は、１つとは限らず、ステージ２０１は、数々の検査対象群を載せ、順次、撮影装置２０３の撮影視野に検査対象２０２を送り込むように制御される。

本発明は、計算装置２０４が画像処理する画像処理の方法に関するものであり、特に、画像処理の中でもテンプレートマッチング処理の処理方法、具体には、テンプレートを加工する処理を設け、これに適するマッチングの評価式を用いる点に特徴を有する。それ以外の点は、従来の検査装置が行っていることをそのまま利用することができる。

計算装置２０４は、よく知られている構成のものでよく、図２（ｂ）に示すように、ＣＰＵ２１０、ハードディスク（ＨＤＤ）等による記憶装置２１１、キーボード、マウス等による入力装置２１２、メインメモリ２１３を備えて構成される。メインメモリ２１３には、本発明の各処理を行うソフトウェアにより構成されるテンプレート部位選択部２１４、加工テンプレート作成部２１５、閾値決定部２１６、加工テンプレートとのマッチング処理部２１７が格納されるている。

図３は本発明の第１の実施形態によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートであり、次に、これについて説明する。なお、ここで説明する例は、検査対象が、例えば、多数の類似した回路パターンが周期的に描かれた回路基板等を検査しようとする場合に本発明を適用したものとした場合の例である。

（１）まず、ステージ２０１上に、テンプレート用の欠陥のない検査対象２０２を載置し、撮像装置２０３によりテンプレート用の検査対象２０２を撮影する。撮影された検査対象２０２の画像は、計算装置２０４に送られる（ステップ３０１）。

（２）計算装置２０４は、テンプレート用の撮影画像を受け取ると、その画像を表示装置２０５に表示し、ユーザにテンプレート部位を選択させ、テンプレート部位選択部２１４が、その部位の画像を取り込んで保持する（ステップ３０２）。

（３）計算装置２０４の加工テンプレート作成部２１５は、ステップ３０２の処理で選択されたテンプレート部位の画像（テンプレート原画）の所定の近傍領域で似た形態が現れる方向と移動量とを検出し、検出した方向と移動量とを参照して移動画像とテンプレートとの差画像を作成し、検出した方向と移動量との参照の仕方を変えた複数の差画像を作成して合成し、合成により作成された合成画像を加工テンプレートとする（ステップ３０３）。

（４）撮影装置２０３は、ステップ３０１で撮影したテンプレート用の検査対象２０２のテンプレート用の画像と同じ部位を等倍率で撮影する。撮影した画像を閾値検出用の画像とする。ここで、閾値検出用の画像を得るために、再度テンプレート用の画像と同じ部位を等倍率で撮影する理由は、同一の検査対象の同一の部位を撮影すると、含まれるノイズ等が異なるものとなるためである（ステップ３０４）。

（５）閾値決定部２１６は、ステップ３０４の処理で撮影した閾値検出用画像を入力画像とし、ステップ３０３の処理で作成した加工テンプレートをテンプレートとしてテンプレートマッチングを行う。このテンプレートマッチングを行うことにより、結果として閾値検出用画像の各部位（１画素毎）のテンプレートとの類似度を示した類似度マップの画像を得ることができる。このマップ画像の中から類似度の最も高い値と２番目に高い値とを求める。類似度の最も高い値をaとし、２番目に大きな値をｂとしたときに、例えば、ａ＊０．２＋ｂ＊０．８の演算を行って、その演算結果を閾値として決定する。この閾値は、ａ＊０．１＋ｂ＊０．９等の演算等、その後の結果を見て調整することもできる（ステップ３０５）。

（６）その後、ステージ２０１は、先に撮影した検査対象２０２を撮影装置２０３の視野外に送り、新たに、検査を所望する検査対象２０２を撮影装置２０３の撮影視野に入れる。撮影装置２０３は、検査対象２０２しての撮影対象を撮影して比較用の画像を得た後、この比較用の画像を計算理装置２０４に送る。比較用の画像は、先のテンプレート用に撮影した画像と同じ視野を持った高視野撮影になっている。また、比較用の画像は、先に選択したテンプレート部位の画像と同じ画像を部分画像として撮影視野に含む場合が多いが、稀に視野内にない場合があり、以後の処理で視野内にある否かを誤認することなく判定できることが望まれる（ステップ３０６）。

（７）計算装置２０４の加工テンプレートとのマッチング処理部２１７は、ステップ３０３の処理で作成した加工テンプレートと、ステップ３０６の処理で撮影した比較用の画像とのテンプレートマッチングを行い、相関値の最も高い値を検出する。検出された相関値の最も高い値が、ステップ３０５の処理で設定した閾値を越えていた場合、テンプレートと同じ部位が比較画像の視野内に含まれていると判断し、相関値の最も高い値を得た位置をマッチング位置とする。マッチング位置を得ることができれば、次のステップ３０８での処理に進む。相関値の最も高い値が、ステップ３０５の処理で設定した閾値より低い場合、テンプレートと同じ部位が比較画像の視野内に含まないと判断し、計算装置２０４は、表示装置２０５に「視野内に含まない」と判定した旨を表示し、オペレータに検査を所望する検査対象２０２を撮影装置２０３の撮影視野に入れるように促して、ステップ３０６からの処理に戻って処理を続ける（ステップ３０７）。

（８）計算装置２０４は、上記ステップ３０７のテンプレートマッチングで求まったマッチング位置を基点として、撮影画像の所望の位置にある部位を撮影装置２０３が高精細に撮影できるように、撮影パラメータを計算して撮影装置２０３に制御指示を送信する。撮影装置２０３は、送られてきた撮影パラメータを元に検査対象２０２を高精細に撮影し、撮影した画像を計算装置２０４に送信する（ステップ３０８）。

（９）計算装置２０４は、高精細に撮影された画像を基に、所望の検査処理を行い、結果を表示装置２０５に表示する。その後、次の検査対象２０２を検査する場合、ステップ３０６からの処理に戻って処理を続ける（ステップ３０９）。

図４は従来技術によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートであり、ここで、図３により説明した本発明の第１の実施形態によるテンプレートマッチング装置の全体の処理動作との比較のために、従来技術の場合の処理動作について説明する。

図４に示す従来技術おける処理は、本発明の第１の実施形態の処理を示した図３と対比すると、加工テンプレートを作成するステップ３０３がないことが本発明の第１の実施形態の処理と相違する。すなわち、本発明は、加工テンプレートの作成を行うステップ３０３の処理を設けたことが特徴である。これに伴い、本発明は、従来、テンプレート原画とのマッチングを行っていたものを、加工テンプレートととマッチングを行うようにしている。本発明は、その変更を受け、従来技術の場合の閾値を決定するステップ４０５が本発明の閾値を決定するステップ３０５に、また、従来技術の場合のテンプレートとのマッチングを行うステップ４０７が加工テンプレートとのマッチングを行うステップ３０７となっている。その他のステップでの処理は、本発明と従来技術とは全く同一である。

前述したように、本発明の特徴は、加工テンプレートを作成するステップ３０３を設けたことにある。

テンプレートマッチングの技術は、従来からよく知られた技術であり、前述で示した非特許文献１等に記載されている。テンプレートマッチングの技術は、テンプレートと入力画像（この場合は撮影画像）の各部位の部分画像を所定の評価式に基づいて演算して各部位の類似度を評価する処理を行う技術である。類似度を評価する評価式は、前述で示した非特許文献１に記載された相関を用いる。

相関を評価式としたテンプレートマッチングの演算式は、以下に示す式（１）のようなものである。

val(x0,y0)＝(Σ(T(i,j)-ht)*(G(x0+i,y0+j)-hg))/(｜T-hg｜・｜G-hg｜)……（１）
但し、val(x0,y0)は、評価点(x0,y0) に対して求められる評価値、すなわち、類似度、
T(i,j)は、テンプレートのi行j列にある画素の輝度値、従来技術の場合、テンプレート原画、本発明の場合、加工テンプレートの画像、
G(x0+i,y0+j)は、入力画像（撮影画像）の(x0,y0)の点を基点としてテンプレートと同じサイズの部分画像を切り出した時のi行j列にある画素の輝度値、
htは、テンプレートの平均、すなわち、ht＝ΣT(i,j)/(Nx・Ny)、
hgは、着目した部分画像の平均、すなわち、hg＝ΣG(i,j)/(Nx・Ny)、
Nxは、テンプレートの行サイズ、Nyはテンプレートの列サイズ、
｜T-hg｜は、テンプレート全体の平均輝度からの差の大きさ、すなわち、
｜T-hg｜＝sqrt(Σ(T(i,j)-ht)*(T(i,j)-ht))、
｜G-hg｜は、部分画像全体の平均輝度からの差の大きさ、すなわち、
｜G-hg｜＝sqrt(Σ(G(x0+i,y0+j)-hg)*(G(x0+i,y0+j)-hg))、
sqrtは、ルート、
Σは、i行j列について全ての組み合わせの総和を意味する。

前述した式（１）におけるx0,y0 を代えて、各点での類似度を求めることにより類似度マップの作成を行うことができる。

類似度を評価するマッチングの評価式には、前述した式（１）による相関の評価式以外にも、色々のバリエーションがあり、画像のタイプに応じて、選択することができる。次に、評価式が積和、差の２乗和、平均からの差の２乗和のとしたときの評価式を示す。

Val(x0,y0)＝ΣT(i,j)*G(x0+i,y0+j)) …………（２）
この式（２）は積和による評価式であり、前述した非特許文献では「距離」である。この式（２）における各項の意味は、式（１）の場合と同一である。

Val(x0,y0)＝Σ(T(i,j)-G(x0+i,y0+j))*(T(i,j)-G(x0+i,y0+j)) …………（３）
この式（３）は差の２乗和による評価式であであり、この式（３）における各項の意味は、式（１）の場合と同一である。

Val(x0,y0)=Σ(T(i,j)-ht-G(x0+i,y0+j)+gt)*(T(i,j)-ht-G(x0+i,y0+j)+gt)…（４）
この式（４）は平均からの差の２乗和による評価式であり、この式（４）における各項の意味は、式（１）の場合と同一である。

なお、類似度を「相関」や「積和」で評価する場合、値が大きいほどテンプレートと似ていることを示し、「差の２乗和」や「平均からの差の２乗和」であれば、値が小さいほどテンプレートと似ていることを示す。

図５は図３に示すフローにおけるステップ３０３での加工テンプレートの作成処理の詳細を説明するフローチャート、図６はステップ３０１の処理でテンプレート用に撮影された画像の例を示す図、図７はステップ３０３の処理の中で作成される類似度マップの例を示す図であり、次に、図６、図７を参照しながら加工テンプレートの作成処理の詳細を説明する。

いま、ステップ３０１の処理でテンプレート用に撮影した画像６０１と、この画像からステップ３０２の処理でテンプレートとして選択したテンプレート原画１０１との位置関係が図６に示すようになっているものとする。図６に示す例では、テンプレート原画１０１として、多数の同一に近い画像（黒丸で示す）が周期的に存在する画像６０１の画像が存在する領域の左上の隅が選択されている。

（１）この処理が開始されると、テンプレート原画１０１をテンプレートとし、テンプレート用に撮影した画像６０１を入力画像として、テンプレートマッチングの処理を行う。ここでのテンプレートマッチングの処理は、テンプレートが入力画像の一部になっているので、自己相関によるテンプレートマッチングとなり、テンプレート原画１０１と画像６０１との相対位置を変化させながら、テンプレート原画１０１の全画素のそれぞれと画像６０１の全画素のそれぞれとの間の相関をとるものである。この結果、図７に示すような類似度マップ７０１を得ることができる。この類似度マップ７０１は、画像６０１と相似したものとなるが、各位置に類似度の大きさが示される。そして、最も類似度の高い場所７０２は、テンプレート原画の位置を意味する（ステップ５０１）。

（２）その後、図７に示す類似度マップ７０１の中で最も類似度の高い場所７０２を検出し、その位置座標 (p0,q0)を求め、類似度マップ７０１の中で、求めた位置座標 (p0,q0)を中心として所定の範囲内でその次に類似度の高い場所７０３を検出し、その位置座標を（p1,q1)として求める。求められた２つの座標から第１の方向と移動量とを求める。ベクトルで表現すると、(p1-p0,q1-q0) が第１の方向と移動量とになる。 (p0,q0)を中心として定める所定の範囲は、検査対象の類似な形態が現れる周期等に依存して決めることができる。例えば、上下左右とも±３２画素の範囲で、さらに、±４画素の近傍を除く範囲をデフォルトの範囲とし、後から結果を見て数値を調整するようにすることができる（ステップ５０２）。

（３）次に、ステップ５０２の処理で求めた第１の方向と直行する方向に重みをかけて次に似た形態が現れる方向と移動量とを求める。これが第２の方向及び移動量となる。位置(p,q）の重みは、(p-p0,q-q0) と(p1-p0,q1-q0) との外積の２乗をそれぞれの長さの２乗で割ったものにする。この結果は、両ベクトルのなす角度のsin を取った値の２乗になる。具体的には、次に示す式（５）〜式（８）のようなものとなる（ステップ５０３）。

重みw(p,q)を求める式は、式（５）に示すように、
w(p,q)＝S*S/(r1*r2) …………（５）
外積を求める式は、式（６）に示すように、
S＝(p-p0)*(q1-q0)-(q-q0)*(p1-p0) …………（６）
長さの２乗を求める式は、式（７）に示すように、
r1＝(p-p0)*(p-p0)+(q-q0)*(q-q0) …………（７）
第１の方向ベクトルの長さの２乗を求める式は、式（８）に示すように、
r2＝(p1-p0)*(p1-p0)+(q1-q0)*(q1-q0) …………（８）
となる。前述の式（５）〜式（８）までで示した各式に基づいて計算した重みw(p,q)を類似度マップの対応する場所の類似度の値（相関値）に乗じた値を求め、その中で最も大きな値を取る場所７０２をステップ５０２での処理の場合と同一の範囲の中から求め、その位置座標を（p2,q2)として求める。第２の方向と移動量とを示すベクトルは(p2-p0,q2-q0）となる。

（４）次に、第１の方向及びその移動量と、第２の方向及びその移動量とを参照して、テンプレート用に撮影した画像６０１を移動した画像とテンプレート原画１０１との差画像を作成する。方向と移動量との参照の仕方を変えた複数の差画像を作成し、これらを統合した合成画像を加工テンプレートとする（ステップ５０４）。

図１は前述したステップ５０４の処理により合成画像を作成する処理の様子を示す図であり、次に、これについて説明する。

図１に示す例では、まず、テンプレート原画１０１とテンプレート用に撮影した画像６０１を第１の方向に移動させた画像１１１、１１２との差をとり、差画像１１３、１１４を作成し、次に、テンプレート原画１０１とテンプレート用に撮影した画像６０１を第２の方向に移動させた画像１２１、１２２との差をとり、差画像１２３、１２４を作成している。そして、差画像１１３、１１４を合成することにより、合成差画像１１５を、また、差画像１２３、１２４を合成することにより、合成差画像１２５を作成し、さらに、合成差画像１１５、１２５を合成することにより、加工テンプレート１０２が作成される。

図１に示す例において、黒丸はテンプレート原画１０１にだけ存在するパターンであり、白丸は、テンプレート用に撮影した画像６０１にだけ存在する影的な画像としてのパターンである。

図１について、さらに具体的に説明すると、差画像１１３は、テンプレート用に撮影した画像６０１を (p1-p0,q1-q0)だけ移動した画像のテンプレートの位置にある画像１１１とテンプレート原画１０１との差画像である。この差画像１１３を含め、各差画像を作る式を、次に示す。

差画像１１３(Sa113(i,j) を作る式は、式（９）に示すようになり、
Sa113(i,j)＝T0(i,j)-G0(xt+i-(p1-p0),yt+j-(q1-q0)) …………（９）
但し、T0(i,j)は、テンプレート原画１０１のi行j列にある画素の輝度値、
G0(xt+i-(p1-p0),yt+j-(q1-q0))は、テンプレート用に撮影した画像６０１の位置(xt+i-(p1-p0),xt+j-(q1-q0))にある画素の輝度値であり、
また、テンプレート用に撮影した画像６０１での位置 (xt,yt)は、テンプレートの基点にあたり、G0(xt+i,yt+j)＝T0(i,j)である。

同様に、テンプレートの位置にある移動画像１１２、１２１、１２２とテンプレート原画１０１との差画像１１４、１２３、１２４を求める式について説明すると、
差画像１１４(Sa114(i,j))を作る式は、式（10）に示すように、
Sa114(i,j)＝T0(i,j)-G0(xt+i+(p1-p0),yt+j+(q1-q0)) …………（10）
差画像１２３(Sa123(i,j))を作る式は、式（11）に示すように、
Sa123(i,j)＝T0(i,j)-G0(xt+i-(p2-p0),yt+j-(q2-q0)) …………（11）
差画像１２４(Sa124(i,j))を作る式は、式（12）に示すように、
Sa124(i,j)＝T0(i,j)-G0(xt+i+(p2-p0),yt+j+(q2-q0)) …………（12）
となる。

次に、前述したように作成される差画像を合成した画像１１５、１２５、加工テンプレートとしての画像１０２を作成する式について説明すると、
合成画像１１５(SS115(i,j))を作る合成式は、式（13）に示すように、
SS115(i,j)＝(Sa113(i,j)+Sa114(i,j))/2 …………（13）
合成画像１２５(SS125(i,j))を作る合成式は、式（14）に示すように、
SS125(i,j)＝(Sa123(i,j)+Sa124(i,j))/2 …………（14）
加工テンプレート１０２(SS102(i,j))を作る合成式は、式（15）に示すように、
SS102(i,j)＝(Sa115(i,j)+Sa125(i,j))/2 …………（15）
となる。前述したような画像合成を行うことにより、加工テンプレート１０２を作成することができる。

図８は図３に示して説明したステップ３０６の処理で被検査対象を撮影した比較用の画像内にテンプレート原画と同一部位がない場合の比較用の画像の例を示す図、図９は従来技術により図８に示すような比較用画像とテンプレートとしてのテンプレート原画とを用いてテンプレートマッチングを行って得られた類似度マップの例を示す図である。

図８に示す例の場合、多数の同一形状の画像が周期的な形状を持って視野全体に広がっている。従来技術では、周期的な形状が視野全体に広がった被検査対象の画像８０１とテンプレート原画１０１とをテンプレートマッチングしていた。結果として得ることができる類似度マップは図９に示すようなものとなる。この場合の類似度マップ９０１は、周期的に類似度の高い部位が現れる。この中で最も類似度の高い点９０２は、周期的な類似度の高い部位にノイズや形態変化に伴った誤差が偶然類似度の高くなる方に作用した結果として偶然類似度が一番高くなった部位であり、テンプレートと類似が高いがテンプレートとは異なる形態を持つ。従来技術では、このような場合、ノイズや形態変化の影響が大きく、テンプレートと同一形態を持つ部位が被検査対象の画像の視野内にないにもかかわらず存在すると誤認する確率が大きくなっていた。

本発明は、前述で説明したような加工テンプレート１０２とテンプレートマッチングを行っているので、結果として得ることができる類似度マップは、図９に示すような従来技術の場合とは異なり、全体として類似度の高い周期が目立たず、テンプレートと同一形態を持つ部位が被検査対象の画像の視野内に存在しないのにもかかわらず、存在すると誤認する確率を小さくすることができる。すなわち、本発明は、テンプレートマッチングにおける誤認を少なくすることができるという効果を得ることができる。

次に、撮影画像を前処理してさらにマッチングの精度を上げることについて説明する。テンプレートマッチングの処理におけるマッチングの精度を上げるため、撮影画像の前処理を行うという方法がある。その場合、前述した図３に示すフローのステップ３０３の処理で、所定の近傍領域で似た形態が現れる方向と移動量とを検出した後、差画像を作る際に、テンプレート用に撮影した画像を前処理し、この前処理したテンプレート用画像を検出した方向と移動量とを参照して移動した画像と前処理したテンプレート部との差画像を作成し、以後、図３で説明したと同様に、方向と移動量との参照の仕方を変えた複数の差画像を作成して合成し、前処理付きの加工テンプレートを作成する。そして、ステップ３０５の処理で、撮影した閾値検出用画像を前処理した画像を入力画像として前処理した加工テンプレートをテンプレートとしてテンプレートマッチングの処理を行う。その後、図３で説明したと同様に閾値を決める。また、ステップ３０７の処理で、前処理した加工テンプレートと、比較用の画像を前処理したものとのテンプレートマッチングの処理を行い、その後、図３で説明したと同様の処理を行う。

ここで、前処理としてよく行われる処理は、例えば、３＊３画素の領域の平均を取る等により、画像をボカすフィルタをかける等の処理であってよい。このような前処理を導入することにより、テンプレートマッチングの処理における誤認をさらに低減させることができるという効果を得ることができる。

次に、撮影画像の差画像を作成してさらにマッチングの精度を上げることについて説明する。規則的に正確に同類の背景があることがほぼ確実なものを被検査対象にする場合、前述した加工テンプレートの作成を行うステップ３０３の処理で検知した方向と移動量とに基づいて、図１に示して説明したテンプレートに対する差画像、合成画像を作成する処理と同様の処理を撮影画像に行い、テンプレートと同様の処理が施された撮影画像の差画像の合成画像を入力画像として加工テンプレートとテンプレートマッチングするようにする。この場合、規則的に正確に同類の背景による影響が少なくなり、さらにテンプレートマッチングでの精度を向上させることができる。

なお、図３に示して説明したステップ３０３の処理で方向と移動量とを求める際に、キュービック補間等の補間法を用いてサブピクセルレベルで方向と移動量とを求め、差画像を作るときにも、補間法を用いてサブピクセルレベルでの移動を行った補間を行うこともできる。このようにすることにより、１ピクセルレベルでの移動を行った場合より更にテンプレートマッチングの誤認を低減することができるという効果を得ることができる。

次に、本発明の第２の実施形態によるテンプレートマッチング装置について説明するが、第２の実施形態の全体のシステム構成と計算装置の構成とは、図２に示した第１の実施形態の場合と同一である。そして、第２の実施形態は、計算装置のメインメモリ２１３に、図示しないが、加工テンプレート作成２１５に代わる２つの加工テンプレート候補作成部、閾値決定部２１６に代わる加工テンプレート決定及び閾値決定部が格納される点で、第１の実施形態と相違している。

図１０は本発明の第２の実施形態によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートであり、次に、これについて説明する。なお、ここで説明する例は、第１の実施形態の場合と同様に、検査対象が、例えば、多数の類似した回路パターンが周期的に描かれた回路基板等を検査しようとする場合に本発明を適用したものとした場合の例である。

図１０に示す第２の実施形態での処理フローと、図３に示す第１の実施形態での処理フローとを比較すると、本発明の第２の実施形態での処理は、図３における加工テンプレートの作成のステップ３０３の処理が、図１０における２つの加工テンプレート候補の作成のステップ１００３の処理になり、図３における閾値決定のステップ３０５の処理が、２つの加工テンプレート候補から１つを決定して閾値を決定するステップ１００５の処理になったことの２点が異なるだけで、その他は第１の実施形態の場合と同一である。

以下、図１０を参照しながら、本発明の第２の実施形態と第１の実施形態とで異なる部分についてのみを説明する。

ステップ１００３の処理において、加工テンプレートの候補となる２つの候補を作成する。候補の作成の方法は、本発明の第１の実施形態における加工テンプレートの作成の方法と同一であり、その中間生成物を候補の１つとする。具体例を、加工テンプレートの作成の方法を説明した図１を参照して説明する。

本発明の第２の実施形態での２つの加工テンプレートの候補の１つは、本発明の第１の実施形態における図１に示した加工テンプレート１０２である。もう１つは、第１の方向から作成した合成画像１１５である。この２つを加工テンプレートの候補とする。

ステップ１００５の処理において、ステップ１００３で求めた２つの加工テンプレートについて、それぞれ、検査対象を撮影した画像とテンプレートマッチングを行う。その結果、それぞれ類似度マップを得ることができ、それぞれの類似度マップから類似度の１番高い値と２番目に高い値とを求める。そして、それぞれの類似度マップから求めた２つの類似度の比率として、（類似度の２番目の値）／（類似度の１番高い値）を求め、この比率が高くなる方の加工テンプレートの候補を加工テンプレートとして決定し、その類似度が一番高い値と２番目の値とから、本発明の第１の実施形態におけるステップ３０５と同様の方法で閾値を決定する。その他は、本発明の第１の実施形態と全く同様である。

前述したことを整理すると、本発明の第２の実施形態は、ステップ１００３の処理で、テンプレート原画１０１の所定の近傍領域で似た形態が現れる方向と移動量とを２方向分検出し、方向と移動量とを参照してテンプレート用の画像を移動した画像とテンプレート原画１０１との差画像を作成し、２方向の内、第１の方向について移動量の参照の仕方を変えた差画像を複数作成して合成した合成画像１１５を第１の仮テンプレートとし、２方向の内、第２の方向について移動量の参照の仕方を変えた差画像を複数作成して合成した合成画像１２５とさらに第１の仮テンプレートとなる合成画像１１５とを合成した合成画像（本発明第１の加工テンプレート１０２）を第２の仮テンプレートとする。

そして、ステップ１００５の処理で、ステップ３０４でテンプレート用の画像と同一対象物の同一部位の撮影を行った閾値検出用画像を入力画像とし、第１の仮テンプレートをテンプレートにしてテンプレートマッチングを行い、各部位の類似度を評価する第１の類似度評価を行い、さらに、第２の仮テンプレートをテンプレートにしてテンプレートマッチングを行って各部位の類似度を評価する第２の類似度評価を行う。

第１の類似度評価により求めた各部位の類似度の中から、類似度の最も高い値を分母とし、類似度の２番目に高い値を分子とする第１の割合を求め、第２の類似度評価により求めた各部位の類似度の中から、類似度の最も高い値を分母とし、類似度の２番目に高い値を分子とする第２の割合を求め、第１の割合と第２の割合とを比較し、割合の低い方の仮テンプレートを加工テンプレートとする。

本発明の第２の実施形態は、第１の方向から作成した合成画像１１５の方がテンプレートとして好ましい場合に、これを加工テンプレートとするため、本発明の第１の実施形態の場合よりもテンプレートマッチングでの誤認を少なくすることができる可能性が増大するという効果を得ることができる。

次に、本発明の第３の実施形態によるテンプレートマッチング装置について説明するが、第３の実施形態の全体のシステム構成と計算装置の構成とは、図２に示した第１の実施形態の場合と同一である。そして、第３の実施形態は、計算装置のメインメモリ２１３に、図示しないが、加工テンプレート作成部２１５に代わる２種類の加工テンプレート作成部、閾値決定部２１６に代わる重み及び閾値決定部、加工テンプレートとのマッチング処理部２１７に代わる２種類の加工テンプレートとのマッチング処理部が格納される点で、第１の実施形態と相違している。

図１１は本発明の第３の実施形態によるテンプレートマッチング装置の全体の処理動作を説明するフローチャート、図１２は図１１のフローにおけるステップ１１０３の処理で作成する２種類の加工テンプレートの例を示す図であり、次に、これについて説明する。なお、ここで説明する例は、第１の実施形態の場合と同様に、検査対象が、例えば、多数の類似した回路パターンが周期的に描かれた回路基板等を検査しようとする場合に本発明を適用したものとした場合の例である。

図１１に示す第３の実施形態での処理フローと、図３に示す第１の実施形態での処理フローとを比較すると、本発明の第３の実施形態での処理は、図３における加工テンプレートの作成のステップ３０３の処理が、図１１における２種類の加工テンプレート作成のステップ１１０３の処理になり、図３における閾値決定のステップ３０５の処理が、重み及び閾値を決定するステップ１１０５の処理になり、図３における加工テンプレートとのマッチングを行うステップ３０７の処理が、２種類の加工テンプレートとのマッチングを行うステップ１１０７の処理なったことの３点が異なるだけで、その他は第１の実施形態の場合と同一である。

以下、図１１を参照しながら、本発明の第３の実施形態と第１の実施形態とで異なる部分についてのみを説明する。

ステップ１１０３の処理において、第１の実施形態での加工テンプレート１０２を第３の実施形態での第１の加工テンプレートとし、テンプレート原画１０１と第１の加工テンプレート１０２とを比較して、テンプレート原画１０２には映っていて第１の加工テンプレート１０２には映っていない部位を抽出した画像を第２の加工テンプレート１２０２として作成する。この結果、図１２に示すような２種類の加工テンプレート１０２、１２０２を得ることができる。

具体的説明すると、T0(i,j) を、テンプレート原画１０１のi行j列にある画素の輝度値、SS102(i,j)を、第１の加工テンプレート１０２のi行j列にある画素の輝度値とすると、第２の加工テンプレート１２０２のi行j列にある画素の輝度値 SS1202(i,j)は、次に示す式（16）に示すようなものとなり、これにより、第２の加工テンプレート１２０２を作成することができる。

SS1202(i,j)＝max(fabs(T0(i,j))-fabs(SS102(i,j)),0) …………（16）
但し、max(a,b) は、 aとbとの内、大きい方を取る関数であり、この場合、左側の値が0 以上であれば左側の値を、0 以下であれは0 を取る。

ステップ１１０５の処理において、ステップ１１０３の処理で求めた２つの加工テンプレートについて、それぞれ、検査対象を撮影した画像とテンプレートマッチングを行う。その結果、２つの類似度マップが得られる。それぞれの類似度を所定の重みに基づいて次に示す式（17）のように合成した類似度を求める。

val3(i,j)＝sqrt((1-k)*val1(i,j)*val1(i,j)+k*val2(i,j)*val2(i,j)) …（17）
但し、val1(i,j)は、第１の類似度マップのi行j列の値、
val2(i,j)は、第２の類似度マップのi行j列の値、
val3(i,j)は、合成した類似度マップのi行j列の値、
kは、重み、sqrt( )はルートを取る関数である。

前述の重みは、所定の値、例えば0.5 とすることもできるが、結果を見て誤認が少ないように調整することもできる。また、val1(i,j) 、val2(i,j) のうち、あまりにも大きい値はその値でカットするように、val1(i,j) 、val2(i,j) にそれぞれ上限値を付け、上限を超える場合、上限値に下げること等とすることもできる。この場合、上限を超えた異常データを排除することができるので、双方のバランスの取れた評価を行うことができるという利点を得ることができる。次に、ステップ１１０５の処理において、合成した類似度マップの最大値と２番目の値とを参照して、前述した第１の実施形態の場合同様に所定の中間値を閾値にする。

ステップ１１０７の処理において、ステップ１１０３の処理で作成した２種類の加工テンプレートと、ステップ３０６の処理で撮影した比較用の画像とのテンプレートマッチングを行い、その結果として、２種類の加工テンプレートに対応する２つの類似度マップを作成し、前述したステップ１１０５の処理と同様に式（16）に基づいて合成した類似度マップを作成する。そして、合成した類似度マップの類似度が最も高い値がステップ１１０５の処理で設定した閾値を越えた場合、比較用の画像の視野内にテンプレートと同じ部位が含まれると判断し、合成した類似度の最も高い値を得る位置をマッチング位置として、次のステップ３０８での処理に進む。合成した類似度マップにおける最も高い値がステップ１１０５で設定した閾値より低い場合、比較用の画像の視野内にテンプレートと同じ部位が含まれないと判断し、計算装置２０４は、表示装置２０５に「視野内に含まない」と判定した旨を表示してステップ３０６からの処理に戻る。その他は、本発明の第１の実施形態の場合と全く同様である。

前述したことを整理すると、本発明の第３の実施形態は、ステップ１１０３の処理で、テンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを検出し、その方向と移動量とを参照してテンプレート用の画像を移動した画像とテンプレート原画１０１との差画像を作成し、方向と移動量との参照の仕方を変えた複数の差画像１１３、１１４、１２３、１２４を作成して統合した合成画像、すなわち、本発明の第１の実施形態で作成した加工テンプレート１０２を新たに第１の加工テンプレートとし、テンプレート原画と第１の加工テンプレートを参照して第２の加工テンプレート１２０２を作成する。

また、ステップ１１０５の処理で、テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、第１の加工テンプレート１０２をテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い、各部位の類似度を評価する第１の閾値用類似度評価を行い、テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、第２の加工テンプレート１２０２をテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い、各部位の類似度を評価する第２の閾値用類似度評価を行って、求めた２つの類似度マップを合成して、合成した類似度マップを作成し、合成した類似度マップの中の類似度の最も高い値と２番目に高い値とをそれぞれ参照して閾値を設定する。

そして、ステップ１１０７の処理で、比較用の画像を入力画像とし、第１の加工テンプレート１０２をテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い、各部位の類似度を評価する第１の比較用類似度評価を行い、さらに、第２の加工テンプレート１２０２をテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い、各部位の類似度を評価する第２の比較用類似度評価を行い、２つの各部位の類似度を合成して合成した類似を求め、合成した類似度と閾値とからテンプレート選択した部位と同じ形態を持つ部位が比較用の画像にあるかどうか判定する。

前述したような本発明の第３の実施形態によれば、本発明の第１の実施形態の加工テンプレート、すなわち、本発明の第３の実施形態の第１の加工テンプレートと似た形態でテンプレートではない形態が検査対象に現れた場合でも誤認する確率を低減することができるという効果を得ることができる。

さらに、本発明は、本発明の第１の実施形態の加工テンプレート１０２にテンプレート原画１０１を加算したものを新しい加工テンプレートとして利用することができ、これによっても、加工テンプレート１０２と似た形態が検査対象に現れた場合にも誤認する確率を低減することができる。

本発明は、所謂テンプレートマッチングを利用する全ての産業分野に利用することが可能であり、特に、周期的な形状を持つ持つ背景部に埋もれた微細な形状や、認識すべき形状に周期的な形状を含む場合等に利用して有効である。検査装置の分野では、位置合わせや形態認識、識別等の機能に適用することができる。例えば、回路パターンの検査、タイルの欠損部の検査等に適用することができる。また、衛星画像処理の分野では、団地など規則的に並んだ建屋の位置を特定する等の判読支援を行うことに利用することができる。

図５に示すフローのステップ５０４の処理により合成画像を作成する処理の様子を示す図である。 本発明の第１の実施形態によるテンプレートマッチング装置の全体のシステム構成と計算装置の構成とを示すブロック図である。 本発明の第１の実施形態によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートである。 従来技術によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートである。 図３に示すフローにおけるステップ３０３での加工テンプレートの作成処理の詳細を説明するフローチャートである。 ステップ３０１の処理でテンプレート用に撮影された画像の例を示す図である。 図３に示すステップ３０３の処理の中で作成される類似度マップの例を示す図である。 図３に示すステップ３０６の処理で被検査対象を撮影した比較用の画像内にテンプレート原画と同一部位がない場合の比較用の画像の例を示す図である。 従来技術により図８に示す比較用画像とテンプレート原画とを用いてテンプレートマッチングを行って得られた類似度マップの例を示す図である。 本発明の第２の実施形態によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートである。 本発明の第３の実施形態によるテンプレートマッチング装置の全体の処理動作を説明するフローチャートである。 図１１のフローにおけるステップ１１０３の処理で作成する２種類の加工テンプレートの例を示す図である。

符号の説明

１０１ テンプレート原画
１０２ 加工テンプレート
１１１ 第１の方向に移動させた画像
１１２ 第１の方向に移動させた別の画像
１１３、１１４、１２３、１２４ 差画像
１１５、１２５ 合成画像
１２１ 第２の方向に移動させた画像
１２２ 第２の方向に移動させた別の画像
２０１ ステージ
２０２ 検査対象
２０３ 撮影装置
２０４ 計算装置
２０５ 表示装置
２１０ ＣＰＵ
２１１ 記憶装置
２１２ 入力装置
２１３ メインメモリ
２１４ テンプレート部位選択部
２１５ 加工テンプレート作成部
２１６ 閾値決定部
２１７ 加工テンプレートとのマッチング処理部

Claims (17)

1. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置において、
   テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択手段と、
   前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出手段と、
   前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成手段と、
   前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を加工テンプレートとする加工テンプレート作成手段と、
   前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する閾値用類似度評価手段と、
   前記閾値用類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値と類似の２番目の値とを参照して閾値を設定する閾値設定手段と、
   検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価手段と、
   前記比較用類似度評価手段により求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定手段とを備えることを特徴とするテンプレートマッチング装置。
2. 前記検出手段は、似た形態が現れる方向と移動量とを２方向分検知し、
   前記差画像作成手段は、前記２方向分の方向と移動量とを参照して前記複数の差画像を作成することを特徴とする請求項１記載のテンプレートマッチング装置。
3. 前記検出手段は、前記似た形態が現れる方向と移動量とを２方向分検知する際、最も似た形態が現れる方向を第１の方向とし、第１の方向と直行する方向に重みをかけて次に似た形態が現れる方向を第２の方向とすることを特徴とする請求項２記載のテンプレートマッチング装置。
4. 前記比較用類似度評価手段は、所定の評価式として相関を用いることを特徴とする請求項１記載のテンプレートマッチング装置。
5. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置において、
   テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択手段と、
   前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向を２方向分検出し、当該２方向のそれぞれについて似た形態が現れる移動量を複数検出する検出手段と、
   前記検出手段により検出した方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成する差画像作成手段と、
   前記２方向の内、第１の方向について検出された複数の移動量のそれぞれについて前記差画像作成手段により作成された差画像を合成した合成画像を第１の仮テンプレートとする第１の仮テンプレート作成手段と、
   前記２方向の内、第２の方向について検出された複数の移動量のそれぞれについて前記差画像作成手段により作成された差画像を合成した合成画像を作成し、当該合成画像と前記第１の仮テンプレートとを合成した画像を第２の仮テンプレートとする第２の仮テンプレート作成手段と、
   前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第１の仮テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第１の類似度評価手段と、
   前記閾値検出用画像を入力画像とし、前記第２の仮テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第２の類似度評価手段と、
   前記第１の類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値を分母とし類似度の２番目に高い値を分子とする第１の割合を求める手段と、
   前記第２の類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値を分母とし類似度の２番目に高い値を分子とする第２の割合を求める手段と、
   前記第１の割合と前記第２の割合とを比較し、割合の低い方の仮テンプレートを加工テンプレートとする加工テンプレート作成手段と、
   検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価手段と、
   前記比較用類似度評価手段により求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定手段とを備えることを特徴とするテンプレートマッチング装置。
6. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置において、
   テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択手段と、
   前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出手段と、
   前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成手段と、
   前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を第１の加工テンプレートとする第１の加工テンプレート作成手段と、
   前記テンプレート原画と前記第１の加工テンプレートとを参照して、前記テンプレート原画には映っていて前記第１の加工テンプレートには映っていない部位を抽出した画像を第２の加工テンプレートとする第２の加工テンプレート作成手段と、
   前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第１の加工テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第１の閾値用類似度評価手段と、
   前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第２の加工テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第２の閾値用類似度評価手段と、
   前記第１の閾値用類似度評価手段及び前記第２の閾値用類似度評価手段で求めた双方の各部位の類似度を合成した合成類似度を作成し、該合成した類似度の最も高い値と２番目に高い値とをそれぞれ参照して閾値を設定する閾値設定手段と、
   検査対象を撮影した比較用の画像を入力画像とし、前記第１の加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する第１の比較用類似度評価手段と、
   検査対象を撮影した比較用の画像を入力画像とし、前記第２の加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する第２の比較用類似度評価手段と、
   前記第１及び第２の比較用類似度評価手段により求めた双方の各部位の類似度を合成して合成した類似を求め、求められた合成した類似度と前記閾値とから前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定手段とを備えることを特徴とするテンプレートマッチング装置。
7. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置におけるテンプレートマッチング方法において、
   前記テンプレートマッチング装置は、テンプレート部位選択手段と、似た形態が現れる方向と移動量とを検出する検出手段と、差画像作成手段と、加工テンプレート作成手段と、閾値用類似度評価手段と、閾値設定手段と、比較用類似度評価手段と、判定手段とを備え、
   前記テンプレート部位選択手段は、テンプレート用の画像からテンプレート部位をテンプレート原画として選択し、
   前記似た形態が現れる方向と移動量とを検出する検出手段は、前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出し、
   前記差画像作成手段は、前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成し、
   前記加工テンプレート作成手段は、前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を加工テンプレートとし、
   前記閾値用類似度評価手段は、前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価し、
   前記閾値設定手段は、前記閾値用類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値と類似の２番目の値とを参照して閾値を設定し、
   前記比較用類似度評価手段は、検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価し、
   前記判定手段は、前記比較用類似度評価手段により求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定することを特徴とするテンプレートマッチング方法。
8. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置におけるテンプレートマッチング方法において、
   前記テンプレートマッチング装置は、テンプレート部位選択手段と、似た形態が現れる方向と移動量とを２方向分検出する検出手段と、差画像作成手段と、第１の仮テンプレート作成手段と、第２の仮テンプレート作成手段と、第１の類似度評価手段と、第２の類似度評価手段と、第１の割合を求める手段と、第２の割合を求める手段と、加工テンプレート作成手段と、比較用類似度評価手段と、判定手段とを備え、
   前記テンプレート部位選択手段は、テンプレート用の画像からテンプレート部位をテンプレート原画として選択し、
   前記似た形態が現れる方向と移動量とを２方向分検出する検出手段は、前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向を２方向分検出し、当該２方向のそれぞれについて似た形態が現れる移動量を複数検出し、
   前記差画像作成手段は、前記検出手段により検出した方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成し、
   前記第１の仮テンプレート作成手段は、前記２方向の内、第１の方向について検出された複数の移動量のそれぞれについて前記差画像作成手段により作成された差画像を合成した合成画像を第１の仮テンプレートとし、
   前記第２の仮テンプレート作成手段は、前記２方向の内、第２の方向について検出された複数の移動量のそれぞれについて前記差画像作成手段により作成された差画像を合成した合成画像を作成し、当該合成画像と前記第１の仮テンプレートとを合成した画像を第２の仮テンプレートとし、
   前記第１の類似度評価手段は、前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第１の仮テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価し、
   前記第２の類似度評価手段は、前記閾値検出用画像を入力画像とし、前記第２の仮テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価し、
   前記第１の割合を求める手段は、前記第１の類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値を分母とし類似度の２番目に高い値を分子とする第１の割合を求め、
   前記第２の割合を求める手段は、前記第２の類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値を分母とし類似度の２番目に高い値を分子とする第２の割合を求め、
   前記加工テンプレート作成手段は、前記第１の割合と前記第２の割合とを比較し、割合の低い方の仮テンプレートを加工テンプレートとし、
   前記比較用類似度評価手段は、検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価し、
   前記判定手段は、前記比較用類似度評価手段により求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定することを特徴とするテンプレートマッチング方法。
9. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置におけるテンプレートマッチング方法において、
   前記テンプレートマッチング装置は、テンプレート部位選択手段と、似た形態が現れる方向と移動量とを検出する手段と、差画像作成手段と、第１の加工テンプレート作成手段と、第２の加工テンプレート作成手段と、第１の閾値用類似度評価手段と、第２の閾値用類似度評価手段と、閾値設定手段と、第１の比較用類似度評価手段と、第２の比較用類似度評価手段と、判定手段とを備え、
   前記テンプレート部位選択手段は、テンプレート用の画像からテンプレート部位をテンプレート原画として選択し、
   前記似た形態が現れる方向と移動量とを検出する検出手段は、前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出し、
   前記差画像作成手段は、前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成し、
   前記第１の加工テンプレート作成手段は、前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を第１の加工テンプレートとし、
   前記第２の加工テンプレート作成手段は、前記テンプレート原画と前記第１の加工テンプレートとを参照して、前記テンプレート原画には映っていて前記第１の加工テンプレートには映っていない部位を抽出した画像を第２の加工テンプレートとし、
   前記第１の閾値用類似度評価手段は、前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第１の加工テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価し、
   前記第２の閾値用類似度評価手段は、前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第２の加工テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価し、
   前記閾値設定手段は、前記第１の閾値用類似度評価手段及び前記第２の閾値用類似度評価手段で求めた双方の各部位の類似度を合成した合成類似度を作成し、該合成した類似度の最も高い値と２番目に高い値とをそれぞれ参照して閾値を設定し、
   前記第１の比較用類似度評価手段は、検査対象を撮影した比較用の画像を入力画像とし、前記第１の加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価し、
   前記第２の比較用類似度評価手段は、検査対象を撮影した比較用の画像を入力画像とし、前記第２の加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価し、
   前記判定手段は、前記第１及び第２の比較用類似度評価手段により求めた双方の各部位の類似度を合成して合成した類似を求め、求められた合成した類似度と前記閾値とから前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定することを特徴とするテンプレートマッチング方法。
10. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチングプログラムにおいて、
    テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択ステップと、
    前記テンプレート部位選択ステップにより選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出ステップと、
    前記検出ステップによって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成ステップと、
    前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を加工テンプレートとする加工テンプレート作成ステップと、
    前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する閾値用類似度評価ステップと、
    前記閾値用類似度評価ステップにより求めた各部位の類似度の中から、類似度の最も高い値と類似の２番目の値とを参照して閾値を設定する閾値設定ステップと、
    検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価ステップと、
    前記比較用類似度評価ステップにより求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定ステップとを計算装置に実行させることを特徴とするテンプレートマッチングプログラム。
11. 前記検出ステップは、似た形態が現れる方向と移動量とを２方向分検知し、
    前記差画像作成ステップは、前記２方向分の方向と移動量とを参照して前記複数の差画像を作成することを特徴とする請求項１０記載のテンプレートマッチングプログラム。
12. 前記検出ステップは、前記似た形態が現れる方向と移動量とを２方向分検知する際、最も似た形態が現れる方向を第１の方向とし、第１の方向と直行する方向に重みをかけて次に似た形態が現れる方向を第２の方向とすることを特徴とする請求項１１記載のテンプレートマッチングプログラム。
13. 前記比較用類似度評価ステップは、所定の評価式として相関を用いることを特徴とする請求項１０記載のテンプレートマッチングプログラム。
14. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチングプログラムにおいて、
    テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択ステップと、
    前記テンプレート部位選択ステップにより選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向を２方向分検出し、当該２方向のそれぞれについて似た形態が現れる移動量を複数検出する検出ステップと、
    前記検出ステップにより検出した方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成する差画像作成ステップと、
    前記２方向の内、第１の方向について検出された複数の移動量のそれぞれについて前記差画像作成手段により作成された差画像を合成した合成画像を第１の仮テンプレートとする第１の仮テンプレート作成ステップと、
    前記２方向の内、第２の方向について検出された複数の移動量のそれぞれについて前記差画像作成手段により作成された差画像を合成した合成画像を作成し、当該合成画像と前記第１の仮テンプレートとを合成した画像を第２の仮テンプレートとする第２の仮テンプレート作成ステップと、
    前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第１の仮テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第１の類似度評価ステップと、
    前記閾値検出用画像を入力画像とし、前記第２の仮テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第２の類似度評価ステップと、
    前記第１の類似度評価ステップにより求めた各部位の類似度の中から、類似度の最も高い値を分母とし類似度の２番目に高い値を分子とする第１の割合を求めるステップと、
    前記第２の類似度評価ステップにより求めた各部位の類似度の中から、類似度の最も高い値を分母とし類似度の２番目に高い値を分子とする第２の割合を求めるステップと、
    前記第１の割合と前記第２の割合とを比較し、割合の低い方の仮テンプレートを加工テンプレートとする加工テンプレート作成ステップと、
    検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価ステップと、
    前記比較用類似度評価ステップにより求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定ステップとを計算装置に実行させることを特徴とするテンプレートマッチングプログラム。
15. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチングプログラムにおいて、
    テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択ステップと、
    前記テンプレート部位選択ステップにより選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出ステップと、
    前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成ステップと、
    前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を第１の加工テンプレートとする第１の加工テンプレート作成ステップと、
    前記テンプレート原画と前記第１の加工テンプレートとを参照して、前記テンプレート原画には映っていて前記第１の加工テンプレートには映っていない部位を抽出した画像を第２の加工テンプレートとする第２の加工テンプレート作成ステップと、
    前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第１の加工テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第１の閾値用類似度評価ステップと、
    前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記第２の加工テンプレートをテンプレートにして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する第２の閾値用類似度評価ステップと、
    前記第１の閾値用類似度評価ステップ及び前記第２の閾値用類似度評価ステップで求めた双方の各部位の類似度を合成した合成類似度を作成し、該合成した類似度の最も高い値と２番目に高い値とをそれぞれ参照して閾値を設定する閾値設定ステップと、
    検査対象を撮影した比較用の画像を入力画像とし、前記第１の加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する第１の比較用類似度評価ステップと、
    検査対象を撮影した比較用の画像を入力画像とし、前記第２の加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する第２の比較用類似度評価ステップと、
    前記第１及び第２の比較用類似度評価ステップにより求めた双方の各部位の類似度を合成して合成した類似を求め、求められた合成した類似度と前記閾値とから前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定ステップとを計算装置に実行させることを特徴とするテンプレートマッチングプログラム。
16. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチング装置において、
    テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択手段と、
    前記テンプレート部位選択手段により選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出手段と、
    前記検出手段によって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成手段と、
    前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を加工テンプレートとする加工テンプレート作成手段と、
    前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する閾値用類似度評価手段と、
    前記閾値用類似度評価手段により求めた各部位の類似度の中から、類似度の最も高い値と類似の２番目の値とを参照して閾値を設定する閾値設定手段と、
    検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価手段と、
    前記比較用類似度評価手段により求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定手段とを備え、
    前記加工テンプレート作成手段は、似た形態が現れる方向と移動量とを２方向分検知し、該２方向分の方向と移動量とを参照して前記複数の差画像を作成し、前記似た形態が現れる方向と移動量とを２方向分検知する際、最も似た形態が現れる方向を第１の方向とし、第１の方向と直行する方向に重みをかけて次に似た形態が現れる方向を第２の方向とすることを特徴とするテンプレートマッチング装置。
17. 検査対象を撮影した入力画像とテンプレート画像との対比を行うテンプレートマッチングプログラムにおいて、
    テンプレート用の画像からテンプレート部位をテンプレート原画として選択するテンプレート部位選択ステップと、
    前記テンプレート部位選択ステップにより選択されたテンプレート原画の所定の近傍領域で似た形態が現れる方向と移動量とを複数検出する検出ステップと、
    前記検出ステップによって複数検出された方向と移動量とのそれぞれについて、当該方向と移動量とを参照して前記テンプレート用の画像を移動した画像と前記テンプレート原画との差画像を作成することにより、複数の差画像を作成する差画像作成ステップと、
    前記差画像作成手段によって作成された前記複数の差画像を統合した合成画像を加工テンプレートとする加工テンプレート作成ステップと、
    前記テンプレート用の画像と同一対象物の同一部位を撮影した閾値検出用画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいたテンプレートマッチングを行い各部位の類似度を評価する閾値用類似度評価ステップと、
    前記閾値用類似度評価ステップにより求めた各部位の類似度の中から、類似度の最も高い値と類似の２番目の値とを参照して閾値を設定する閾値設定ステップと、
    検査対象を撮影した比較用の画像を入力画像とし、前記加工テンプレートをテンプレートとして所定の評価式に基づいてテンプレートマッチングを行い各部位の類似度を評価する比較用類似度評価ステップと、
    前記比較用類似度評価ステップにより求めた各部位の類似度と前記設定した閾値から前記選択したテンプレート部位と同一の形態を持つ部位が比較用の画像に存在するか否かを判定する判定ステップとを計算装置に実行させ、
    前記加工テンプレート作成ステップは、似た形態が現れる方向と移動量とを２方向分検知し、該２方向分の方向と移動量とを参照して前記複数の差画像を作成、前記似た形態が現れる方向と移動量とを２方向分検知する際、最も似た形態が現れる方向を第１の方向とし、第１の方向と直行する方向に重みをかけて次に似た形態が現れる方向を第２の方向とすることを特徴とするテンプレートマッチングプログラム。

Images