JP4208011B2 - テンプレートマッチング装置 - Google Patents

Description

本発明は、画像情報または音声情報などを含む入力画像信号に対してテンプレートマッチングを行うテンプレートマッチング装置に関する。

テンプレートマッチングは、入力画像信号の中から既知のテンプレート信号に合致する部分画像信号（ターゲット）を探索して、ターゲットの位置（合致位置）を特定する処理である。この処理では、入力画像信号の中から抽出した演算用の部分画像信号と既知のテンプレート信号とのマッチング演算が、演算用の部分画像信号の抽出位置を少しずつ移動させながら、繰り返し行われる。そして、入力画像信号の中の各位置でのマッチング演算の結果を大小比較することで、合致位置が特定される。なお、マッチング演算には、周知の相互相関法や残差逐次検定法などが用いられる。

また、演算用の部分画像信号の抽出位置を少しずつ移動させる際、その移動は、入力画像信号の全体または所定範囲内において、予め設定した間隔で一様に行われる（例えば特開２０００−７６４４４号公報、特開平７−２２００７６号公報を参照）。すなわち、テンプレートマッチングを開始する前に設定した一定の間隔で、演算用の部分画像信号の抽出位置の移動が行われる。上記した特開２０００−７６４４４号公報、特開平７−２２００７６号公報には、まず、予め設定した大きな移動間隔で一様に粗いテンプレートマッチングを行い、合致位置を含む所定範囲に絞り込んだ後、その範囲内において予め設定した小さな移動間隔で一様に細かいテンプレートマッチングを行い、合致位置を特定することが提案されている。

しかしながら、予め設定した移動間隔で一様にテンプレートマッチングを行う上記の方法には、その移動間隔を適切な一定値に設定することが難しいという問題がある。移動間隔の適切な一定値とは、入力画像信号の中の合致位置を短時間で正確に効率よく特定できるような値であり、入力画像信号やテンプレート信号に応じて異なる。

ちなみに、移動間隔の設定値が適切な一定値より小さいと、合致位置の特定（または合致位置を含む所定範囲の絞り込み）は正確に行えるが、マッチング演算の繰り返し回数が多くなるため余計な時間が掛かってしまう。また逆に、移動間隔の設定値が適切な一定値より大きいと、マッチング演算の繰り返し回数が少なくなるため時間を短縮できるが、合致位置の特定（または合致位置を含む所定範囲の絞り込み）を正確に行えるとは限らず、疑似マッチングやマッチング不可能になることがある。

本発明の目的は、確実に時間を短縮して効率よく合致位置を特定できるテンプレートマッチング装置を提供することにある。

本発明のテンプレートマッチング装置は、入力画像信号の中から、順次抽出位置を変えて演算用の部分画像信号を抽出する抽出手段と、前記抽出手段により前記部分画像信号が抽出される毎に、該部分画像信号と既知のテンプレート信号との類似性に関する指標を求める演算手段と、前記入力画像信号の複数の位置での前記類似性に関する指標に基づいて、前記入力画像信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備え、前記抽出手段は、前記演算手段が求めた現在の抽出位置における前記類似性に関する指標を考慮して、前記現在の抽出位置から次の抽出位置への移動量を決定することを特徴とする。

本発明によれば、確実に時間を短縮して効率よく合致位置を特定することができる。

以下、図面を用いて本発明の実施形態を詳細に説明する。第１実施形態から第４実施形態は、テンプレートマッチング処理を類似度判定に基づきステップ制御するものである。第５実施形態は、テンプレートマッチング処理を類似度判定に基づきマッチング演算処理をカット制御するものである。第６実施形態は、第１〜第４実施形態の処理と第５実施形態の処理とを組合せた制御をするものである。

（第１実施形態）
ここでは、第１実施形態のテンプレートマッチング装置および方法について、図１に示す観察装置１０を例に説明する。観察装置１０には、ステージ１１と光学系１２とカメラ１３と画像処理部１４とが設けられる。ステージ１１は、試料１０Ａを支持する。光学系１２は、試料１０Ａの局所領域の光像を形成する。カメラ１３は、不図示の撮像素子により試料１０Ａの光像を撮像し、撮像信号を画像処理部１４に出力する。

画像処理部１４は、カメラ１３から撮像信号を取り込むと、これを所定ビット（例えば８ビット）のディジタル画像に変換し、入力画像として不図示のメモリに記憶させる。そして、入力画像に対して後述のテンプレートマッチングを行う。試料１０Ａは、例えば、半導体ウエハや液晶基板、プリント基板、生物標本（例えば細胞）などである。観察装置１０を用いて、試料１０Ａの観察や検査や位置合わせなどが行われる。

次に、画像処理部１４におけるテンプレートマッチングについて説明する。テンプレートマッチングは、例えば図２に示す入力画像２１の中から既知のテンプレート画像２２に合致する部分画像であるターゲット２３を探索して、ターゲット２３の位置（以下「合致位置（Ｘ_１，Ｙ_１）」という）を特定する処理である。

この処理では、入力画像２１の中から抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算が、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を少しずつ移動させながら、繰り返し行われる。また、抽出位置（Ｘ_２，Ｙ_２）の移動は、入力画像２１の図中左上端から右下端に向けて、複数の走査線からなるラスタ走査の方向に沿って行われる。ここでは、各々の走査線がＸ方向に平行であるとし、走査線に平行なＸ方向を「横方向」、走査線に垂直なＹ方向を「縦方向」という。

なお、入力画像２１は、「画像情報を含む入力画像信号」に対応する。テンプレート画像２２は、「画像情報を含むテンプレート信号」に対応する。演算用の部分画像２４は、「画像情報を含む演算用の部分画像信号」に対応する。

第１実施形態のテンプレートマッチングは、図３に示すフローチャートの手順（ステップＳ１〜Ｓ６）にしたがって画像処理部１４が行う。また、図３のステップＳ５の処理（つまり演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）の移動処理）は、図４に示すフローチャートの手順（ステップＳ１１〜Ｓ１５）にしたがって行われる。さらに、第１実施形態のテンプレートマッチングでは、このテンプレートマッチングを開始する前までに、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）の移動間隔を適切な一定値に設定しておく必要がない。このような前処理を行わずに、入力画像２１を取り込むと直ぐに図３の処理を開始することができる。

図３のステップＳ１において、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出する。１回目の抽出は、入力画像２１の例えば左上端（図２）の初期位置から行われる。なお、演算用の部分画像２４は、テンプレート画像２２と縦横各々同じ大きさ（画素数）の矩形状である。図２にはテンプレート画像２２の縦横の大きさ（画素数）をＴｘ，Ｔｙで示した。部分画像２４とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。

次に（ステップＳ２）、画像処理部１４は、ステップＳ１で抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算を行う。ここでは、マッチング演算の一例として、周知の相互相関法を用いる。この場合のマッチング演算は、図５に示す部分画像２４の位置（ｍ，ｎ）における濃度値Ｂ_ｍｎと、テンプレート画像２２の同じ位置（ｍ，ｎ）における濃度値Ａ_ｍｎとを用い、次の式（１）により行われる。

マッチング演算の結果は、正規化された相互相関係数Ｃであり（−１≦Ｃ≦１）、演算用の部分画像２４とテンプレート画像２２との類似度に相当する。類似度は、部分画像２４とテンプレート画像２２との「類似性に関する指標」の１つである。傾向としては、類似度に相当する相互相関係数Ｃが大きい（つまり「１」に近い）ほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことをが多い。

上記のマッチング演算が終了すると、画像処理部１４は、次のステップＳ３において、マッチング演算の結果である類似度すなわち、相互相関係数Ｃを、部分画像２４の抽出位置（Ｘ_２，Ｙ_２）と対応づけて画像処理部１４内のメモリに保存する。これらのステップＳ１〜Ｓ３の処理を経て、入力画像２１の中の１つの抽出位置（Ｘ_２，Ｙ_２）に対する処理が終わる。そして、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を次の位置へ移動させる場合すなわち、ステップＳ４がＹｅｓの場合には、ステップＳ５の処理に進む。

ステップＳ５の処理は、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）の移動処理であり、図４に示すフローチャートの手順（ステップＳ１１〜Ｓ１５）にしたがって行われる。まず（ステップＳ１１）、画像処理部１４は、次の位置への移動方向が、横方向（走査線に平行な方向）か否かを判断する。この判断には、入力画像２１の中での現在の位置のＸ座標（つまり走査線上での位置座標）が用いられる。そして、現在の位置のＸ座標が、入力画像２１の右端（つまり走査線の終点）に相当するとき以外は「横方向」と判断する（Ｓ１１がＹｅｓ）。

演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を横方向に移動させる場合、画像処理部１４は、ステップＳ１２の処理に進み、現在の位置での類似度（相互相関係数Ｃ）を考慮して、現在の位置から次の位置への移動量Ｍｘを計算する。具体的には、現在の位置での類似度（相互相関係数Ｃ）を次の式（２）の“類似度”に代入することにより、移動量Ｍｘを計算する。このような移動量Ｍｘの計算は非常に簡単なものである。
Ｍｘ＝ｆｌｏｏｒ［（Ｔｘ／４）×（１−ｋ_１×類似度）］ …（２）

式（２）には、テンプレート画像２２の横方向の画素数Ｔｘ（図２参照）が含まれる。この画素数Ｔｘは、演算用の部分画像２４の横方向の画素数と同じである。係数ｋ_１は、０＜ｋ_１≦１を満たす範囲で定めた経験値（例えば１／２）である。ｆｌｏｏｒは、抽出位置（Ｘ_２，Ｙ_２）の移動を入力画像２１の画素単位で行うために、小数点以下を切り捨てて整数化するという意味である。

式（２）によって求められる移動量Ｍｘは、現在の位置での類似度（相互相関係数Ｃ）が小さく（つまり「０」に近く）、部分画像２４とテンプレート画像２２との類似性が低く、部分画像２４の抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）から離れているほど、大きくなることが多い。移動量Ｍｘの最大値は、類似度が「０」の場合であり、ｆｌｏｏｒ（Ｔｘ／４）となる。移動量Ｍｘの最小値は、類似度が「１」の場合であり、ｆｌｏｏｒ［（Ｔｘ／４）×（１−ｋ_１）］となる。移動量Ｍｘが“０画素”と求められた場合には、実際の移動量を“１画素”とする。

画像処理部１４は、上記の移動量Ｍｘの計算が終了すると、次のステップＳ１３において、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を現在の位置から横方向に移動量Ｍｘだけ離れた次の位置へ移動させる。その後、図３のステップＳ１の処理に戻り、新たな抽出位置（Ｘ_２，Ｙ_２）において、演算用の部分画像２４の抽出（Ｓ１）→テンプレート画像２２とのマッチング演算（Ｓ２）→結果保存（Ｓ３）を繰り返す。

上記したステップＳ１→Ｓ２→Ｓ３→Ｓ４→Ｓ５（Ｓ１１→Ｓ１２→Ｓ１３）→Ｓ１…の繰り返しによって、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）が走査線の終点（つまり入力画像２１の右端）に到達し、この抽出位置（Ｘ_２，Ｙ_２）に対するステップＳ１〜Ｓ３の処理が終了した後、さらに次の位置へ移動させる場合（Ｓ４がＹｅｓ）、画像処理部１４は、図４のステップＳ１１にて、次の位置への移動方向を「縦方向（走査線に垂直な方向）」と判断する（ステップＳ１１がＮｏ）。

演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を縦方向に移動させる場合、画像処理部１４は、ステップＳ１４の処理に進み、現在の走査線上の各位置での類似度（相互相関係数Ｃ）を考慮して、現在の走査線から次の走査線への移動量Ｍｙを計算する。具体的には、現在の走査線上の各位置での類似度（相互相関係数Ｃ）をメモリから読み出し、それらの類似度の平均値を次の式（３）の“類似度の行平均”に代入することにより、移動量Ｍｙを計算する。現在の走査線上の各位置とは、例えば、現在の走査線上の全ての位置（現在の位置を含む）である。このような移動量Ｍｙの計算は非常に簡単なものである。
Ｍｙ＝ｆｌｏｏｒ［（Ｔｙ／４）×（１−ｋ_２×類似度の行平均）］ …（３）

式（３）には、テンプレート画像２２の縦方向の画素数Ｔｙ（図２参照）が含まれる。この画素数Ｔｙは、演算用の部分画像２４の縦方向の画素数と同じである。係数ｋ_２は、０＜ｋ_２≦１を満たす範囲で定めた経験値（例えば１／２）である。

式（３）によって求められる移動量Ｍｙは、現在の走査線における平均的な類似度（相互相関係数Ｃ）が小さく（つまり「０」に近く）、各位置で抽出された部分画像２４とテンプレート画像２２との類似性が平均的に低く、現在の走査線が合致位置（Ｘ_１，Ｙ_１）から離れているほど、大きくなる。移動量Ｍｙの最大値は、類似度の平均値が「０」の場合であり、ｆｌｏｏｒ（Ｔｙ／４）となる。移動量Ｍｙの最小値は、類似度の平均値が「１」の場合であり、ｆｌｏｏｒ［（Ｔｙ／４）×（１−ｋ_２）］となる。移動量Ｍｙが“０画素”と求められた場合には、実際の移動量を“１画素”とする。

画像処理部１４は、上記の移動量Ｍｙの計算が終了すると、次のステップＳ１５において、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を現在の走査線から縦方向に移動量Ｍｙだけ離れた次の走査線へ移動させると共に、横方向には入力画像２１の左端（すなわち、次の走査線の始点）に移動させる。その後、図３のステップＳ１の処理に戻り、新たな走査線の抽出位置（Ｘ_２，Ｙ_２）において、演算用の部分画像２４の抽出（Ｓ１）→テンプレート画像２２とのマッチング演算（Ｓ２）→結果保存（Ｓ３）を繰り返す。

このようにして、ステップＳ１→Ｓ２→Ｓ３→Ｓ４→Ｓ５（Ｓ１１→Ｓ１２→Ｓ１３またはＳ１１→Ｓ１４→Ｓ１５）→Ｓ１…の処理を繰り返すことにより、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を複数の走査線からなるラスタ走査の方向に沿って移動させながら、複数の走査線上の各位置で演算用の部分画像２４を順に抽出することができる。また、演算用の部分画像２４を抽出する毎に、テンプレート画像２２とのマッチング演算を行い、その結果を保存する。

そして、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）が最後の走査線の終点（つまり入力画像２１の右下端）に到達し、そこでのステップＳ１〜Ｓ３の処理が終了すると、画像処理部１４は、次の位置への移動を行わずに（Ｓ４がＮｏ）、ステップＳ６の処理に進む。ステップＳ６では、入力画像２１の中の異なる複数の位置での類似度（相互相関係数Ｃ）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を合致位置（Ｘ_１，Ｙ_１）と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。

上記のように、第１実施形態のテンプレートマッチングでは、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を少しずつ移動させる際、現在までに求めた類似度（現在の位置での類似度を含む）のうち少なくとも１つを考慮して、式（２）または式（３）により、現在の位置から次の位置への移動量Ｍｘ，Ｍｙを計算する（図４のステップＳ１２，Ｓ１４参照）。

したがって、例えば抽出位置（Ｘ_２，Ｙ_２）を横方向に移動させる場合、現在の位置での類似度が小さければ式（２）の結果（移動量Ｍｘ）が大きくなるため、合致位置（Ｘ_１，Ｙ_１）から離れたところでは、抽出位置（Ｘ_２，Ｙ_２）を大きな間隔で効率よく適切に移動させることができる。また逆に、現在の位置での類似度が大きければ式（２）の結果（移動量Ｍｘ）が小さくなるため、合致位置（Ｘ_１，Ｙ_１）に近づいたところでは、抽出位置（Ｘ_２，Ｙ_２）を小さな間隔で適切に移動させることができる。特に、合致位置（Ｘ_１，Ｙ_１）の近傍に到達した場合は、抽出位置（Ｘ_２，Ｙ_２）を“１画素”に相当する間隔で適切に移動させることができる。

このような合致位置（Ｘ_１，Ｙ_１）との位置関係に応じた移動間隔（移動量Ｍｘ）の大小変化を図示すると、例えば図６Ａ、図６Ｂのようになる。図６Ａには、抽出位置（Ｘ_２，Ｙ_２）と合致位置（Ｘ_１，Ｙ_１）との位置関係のステップ変化を時間順に並べて示した。図６Ａにおいて、縦方向に隣り合う抽出位置（Ｘ_２，Ｙ_２）どうしのズレ量が、移動間隔（移動量Ｍｘ）に相当する。また、図６Ｂには、抽出位置（Ｘ_２，Ｙ_２）の軌跡を“・”で示した。これらの図においても、抽出位置（Ｘ_２，Ｙ_２）の移動は、合致位置（Ｘ_１，Ｙ_１）から離れたところで大きく、合致位置（Ｘ_１，Ｙ_１）に近づくほど小さくなることが分かる。

一方、抽出位置（Ｘ_２，Ｙ_２）を縦方向に移動させる場合も同様であり、現在の走査線での平均的な類似度が小さければ式（３）の結果（移動量Ｍｙ）が大きくなるため、合致位置（Ｘ_１，Ｙ_１）から離れたところでは、抽出位置（Ｘ_２，Ｙ_２）を大きな間隔で効率よく適切に移動させることができる。また逆に、現在の走査線での平均的な類似度が大きければ式（３）の結果（移動量Ｍｙ）が小さくなるため、合致位置（Ｘ_１，Ｙ_１）に近づいたところでは、抽出位置（Ｘ_２，Ｙ_２）を小さな間隔で適切に移動させることができる。

第１実施形態のテンプレートマッチングによれば、現在までに求めた類似度（現在の位置での類似度を含む）のうち少なくとも１つをフィードバックして、合致位置（Ｘ_１，Ｙ_１）から離れたところで大きく部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を移動させるため、マッチング演算の繰り返し回数を減らすことができ、テンプレートマッチングの処理時間を短縮できる。さらに、合致位置（Ｘ_１，Ｙ_１）に近づくほど小さく部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を移動させるため（ここで、移動量の最小単位は“１画素”である）、正確に合致位置（Ｘ_１，Ｙ_１）を特定することができる。

したがって、第１実施形態のテンプレートマッチングによれば、従来のように部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を少しずつ移動させる際の間隔を予め適切な一定値に設定しなくても、テンプレートマッチングの最中に合致位置（Ｘ_１，Ｙ_１）との位置関係に応じて移動間隔（移動量Ｍｘ，Ｍｙ）を設定するため、入力画像２１の中の合致位置（Ｘ_１，Ｙ_１）を短時間で正確に効率よく特定できる。また、従来のような移動間隔を予め適切な一定値に設定するという難しい前処理が不要なため、入力画像２１を取り込むと直ぐにテンプレートマッチング（図３の処理）を開始することができ、処理が簡単化する。

さらに、第１実施形態のテンプレートマッチングによれば、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を予め定めた方向（例えばラスタ走査の方向）に沿って移動させると共に、少なくとも現在の位置での類似度を考慮して（例えば式（２）または式（３）を用いて）次の位置への移動量Ｍｘ，Ｍｙを計算するため、テンプレートマッチングの最中に合致位置（Ｘ_１，Ｙ_１）との位置関係に応じて簡単に適切な移動間隔を設定できる。各位置で逐次行われる移動量Ｍｘ，Ｍｙの計算は非常に簡単なものであり、この計算を追加したことによってテンプレートマッチングの処理が複雑化することはない。

また、第１実施形態のテンプレートマッチングによれば、例えば式（２），（３）のように、次の位置への移動量Ｍｘ，Ｍｙを計算する際にテンプレート画像２２の大きさ（画素数Ｔｘ，Ｔｙ：ここで、テンプレート画像の大きさは画素数で表わすものとする）を考慮するため、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）をテンプレート画像２２の大きさを基準にして効率よく移動させることができる。

さらに、第１実施形態のテンプレートマッチングによれば、移動量Ｍｘ，Ｍｙの最大値をテンプレート画像２２の大きさ（画素数Ｔｘ，Ｔｙ）の１／４に設定するため、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を大きく移動させる際に、部分画像２４がターゲット２３を通り過ぎてしまうといった事態を回避できる。

さらに、第１実施形態のテンプレートマッチングによれば、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）をラスタ走査の方向に沿って移動させると共に、現在の走査線上の各位置（例えば全ての位置）での類似度を考慮して次の走査線への移動量Ｍｙを計算するため、テンプレートマッチングの最中に合致位置（Ｘ_１，Ｙ_１）との位置関係に応じて簡単に適切な走査線間隔を設定できる。

また、第１実施形態のテンプレートマッチングによれば、現在の走査線上の各位置（例えば全ての位置）での類似度の平均値に基づいて次の走査線への移動量Ｍｙを計算するため（例えば式（３）を用いて）、ノイズの影響を受けることなく安定して適切な走査線間隔を設定できる。

（第２実施形態）
上記した第１実施形態では、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を横方向に移動させる際、現在までに求めた類似度のうち「現在の位置での類似度」のみを考慮して次の位置への移動量Ｍｘを計算したが、本発明はこれに限定されない。第２実施形態では、現在の位置での類似度に加えて「現在の位置より１つ前の位置での類似度」をも考慮する場合について一例を説明する。

第２実施形態のテンプレートマッチングは、既に説明した図４のフローチャートのステップＳ１３に代えて、図７に示すフローチャートのステップＳ２１〜Ｓ２５の処理を行うものである。画像処理部１４は、図４のステップＳ１２において、現在の位置での類似度を考慮して次の位置への移動量Ｍｘを計算し終えると、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を実際に移動させる前に、図７のステップＳ２１〜Ｓ２３の処理を行う。

ステップＳ２１において、画像処理部１４は、入力画像２１の中での現在の位置が走査線の始点（つまり入力画像２１の左端）に相当するか否かを判断する。そして走査線の始点に位置する場合（すなわち、Ｓ２１がＹｅｓの場合）、ステップＳ２４に進んで、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を横方向に移動量Ｍｘだけ移動させる（図８Ａ参照）。その後、図３のステップＳ１の処理に戻る。

一方、走査線の始点に位置しない場合（すなわち、Ｓ２１がＮｏの場合）には、ステップＳ２２に進み、現在の位置での類似度（相互相関係数Ｃ）に基づいて、次の条件式（４）を満足するか否かの判定を行う。この条件式（４）のうち係数ｋ_１は、上記した式（２）の係数ｋ_１と同じである。閾値Ｔ_Ｓは、入力画像２１の全体から求めた統計値（つまり平均濃度および濃度範囲）を用いて、次の式（５）により計算したものである。
（１−ｋ_１×現在の類似度）＜Ｔ_Ｓ…（４）
Ｔ_Ｓ＝平均濃度／濃度範囲 …（５）

ステップＳ２２の条件式（４）を満足する場合とは、現在の類似度に相当する相互相関係数Ｃが大きく（つまり「１」に近く）、現在の位置で抽出された部分画像２４とテンプレート画像２２との類似性が高く、現在の抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）の近傍に到達した場合である。そして、ステップＳ２２における判定の結果、現在の位置での類似度が「抽出位置（Ｘ_２，Ｙ_２）は合致位置（Ｘ_１，Ｙ_１）の近傍に到達した」ことを示す場合（すなわち、Ｓ２２がＹｅｓの場合）、次のステップＳ２３に進む。

ステップＳ２３では、現在の位置での類似度と「現在の位置より１つ前の位置での類似度」とに基づいて、次の条件式（６）を満足するか否かの判定を行う。この条件式（６）のうち係数ｋ_３は、０＜ｋ_３≦１を満たす範囲で定めた経験値である。閾値Ｔ_Ｂは、入力画像２１の全体から求めた統計値（つまり標準偏差および濃度範囲）を用いて、次の式（７）により計算したものである。
（現在の類似度−１つ前の類似度）×ｋ_３＞Ｔ_Ｂ…（６）
Ｔ_Ｂ＝標準偏差／濃度範囲 …（７）

ステップＳ２３の条件式（６）を満足する場合とは、現在の類似度が１つ前の類似度と比較して大きく上昇した場合である。つまり、１つ前の類似度が現在の類似度と比較して極端に小さかった場合である。このため、条件式（６）を満足する場合とは、１つ前の類似度に相当する相互相関係数Ｃが小さく（つまり「０」に近く）、１つ前の位置で抽出された部分画像２４とテンプレート画像２２との類似性が低く、１つ前の抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）から離れている場合と考えられる。そして、ステップＳ２３における判定の結果、１つ前の位置での類似度が「抽出位置（Ｘ_２，Ｙ_２）は合致位置（Ｘ_１，Ｙ_１）から離れている」ことを示す場合（すなわち、Ｓ２３がＹｅｓの場合）は、次のステップＳ２５に進む。

ステップＳ２２の条件式（４）を満足し、且つ、ステップＳ２３の条件式（６）を満足する場合とは、１つ前の小さな類似度を考慮して抽出位置（Ｘ_２，Ｙ_２）を大きく移動させたところ現在の位置で急激に類似度が大きくなった場合であり、例えば入力画像２１の真っ黒の背景（濃度値が最小）に含まれる白い点（濃度値が最大）を探索するようなテンプレートマッチングで起こりうる。条件式（４），（６）を満足する場合、仮に現在の大きな類似度を考慮して抽出位置（Ｘ_２，Ｙ_２）を小さく移動させても、このまま前進させると合致位置（Ｘ_１，Ｙ_１）を通り過ぎてしまう可能性がある。

このため、ステップＳ２５の処理では、次の位置を現在の位置と１つ前の位置との間に設定し（図８Ｂ参照）、抽出位置（Ｘ_２，Ｙ_２）を１つ前の位置に戻してから移動量Ｍｘだけ前方に移動させる。つまり、前回（１つ前の位置→現在の位置）の移動量Ｍｘの計算結果と、今回（現在の位置→次の位置）の移動量Ｍｘの計算結果との差分に応じて、抽出位置（Ｘ_２，Ｙ_２）を後方に移動させる。その後、図３のステップＳ１の処理に戻る。

なお、上記の条件式（４）を満足しない場合（すなわち、Ｓ２２がＮｏの場合）と、条件式（４）は満足するが条件式（６）を満足しない場合（すなわち、Ｓ２３がＮｏの場合）には、ステップＳ２５ではなく、ステップＳ２４に進み、抽出位置（Ｘ_２，Ｙ_２）を前方に移動量Ｍｘだけ移動させる。その後、図３のステップＳ１の処理に戻る。

したがって、第２実施形態のテンプレートマッチングによれば、演算用の部分画像２４がターゲット２３を通り過ぎてしまう、つまり抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）を通り過ぎてしまうといった事態を確実に回避することができる。このため、入力画像２１の中の合致位置（Ｘ_１，Ｙ_１）を確実に特定できる。第２実施形態のテンプレートマッチングでも、上記した第１実施形態のテンプレートマッチングと同様、合致位置（Ｘ_１，Ｙ_１）の特定を短時間で正確に効率よく行えるのは言うまでもない。

（第３実施形態）
上記した第１実施形態では、図３のステップＳ２において相互相関法によるマッチング演算（式（１）参照）を行う例で説明したが、本発明はこれに限定されない。第３実施形態では、残差逐次検定法（ＳＳＤＡ法）によりマッチング演算を行う場合について一例を説明する。

残差逐次検定法によるマッチング演算は、図５に示す部分画像２４の位置（ｍ，ｎ）における濃度値Ｂ_ｍｎと、テンプレート画像２２の同じ位置（ｍ，ｎ）における濃度値Ａ_ｍｎとを用い、次の式（８）または式（９）により行われる。式（８）のＤは濃度差の絶対値和である。式（９）のＥは濃度差の二乗和である。マッチング演算の結果Ｄ，Ｅは、部分画像２４とテンプレート画像２２との類似度に相当し、その値（つまり残差）が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。残差逐次検定法によるマッチング演算は、その計算量が少ないため、さらなる高速化が可能となる。

また、残差逐次検定法によるマッチング演算を図３のステップＳ２で行う場合、図４のステップＳ１２，Ｓ１４における移動量Ｍｘ，Ｍｙの計算には、次の式（１０），（１１）を用いればよい。
Ｍｘ＝ｆｌｏｏｒ［（Ｔｘ／４）×（ｋ_１×類似度）］ …（１０）
Ｍｙ＝ｆｌｏｏｒ［（Ｔｙ／４）×（ｋ_２×類似度の行平均）］ …（１１）

移動量Ｍｘを計算する際には、現在の位置での類似度（マッチング演算の結果Ｄ，Ｅ）を正規化し、正規化した値（０〜１）を式（１０）の“類似度”に代入する。移動量Ｍｙを計算する際には、現在の走査線上の各位置での類似度（マッチング演算の結果Ｄ，Ｅ）を正規化し、正規化した値（０〜１）の平均値を式（１１）の“類似度の行平均”に代入する。このような計算により、上記と同様、テンプレートマッチングの最中に合致位置（Ｘ_１，Ｙ_１）との位置関係に応じて簡単に適切な移動間隔（移動量Ｍｘ，Ｍｙ）を設定できる。

さらに、残差逐次検定法によるマッチング演算を図３のステップＳ２で行う場合、図７のステップＳ２２，Ｓ２３における判定（つまり抽出位置（Ｘ_２，Ｙ_２）を１つ前の位置に戻すか否かの判定）には、次の条件式（１２），（１３）を用いればよい。
（ｋ_１×現在の類似度）＜Ｔ_Ｓ…（１２）
（１つ前の類似度−現在の類似度）×ｋ_３＞Ｔ_Ｂ…（１３）

この場合にも、上記と同様、類似度（マッチング演算の結果Ｄ，Ｅ）を正規化し、正規化した値（０〜１）を条件式（１２），（１３）に代入する。ちなみに、条件式（１２）を上記条件式（４）の代わりに用い、条件式（１３）を上記条件式（６）の代わりに用いる。条件式（１２）の閾値Ｔ_Ｓは上記式（５）と同じである。条件式（１３）の閾値Ｔ_Ｂは上記式（７）と同じである。このような条件式（１２），（１３）を用いることにより、上記と同様、演算用の部分画像２４がターゲット２３を通り過ぎてしまう（つまり抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）を通り過ぎてしまう）といった事態を確実に回避できる。

（第４実施形態）
図３のステップＳ２におけるマッチング演算としては、上記した相互相関法や残差逐次検定法に限らず、濃度ヒストグラムまたは慣性モーメントなどの特徴量を用いることもできる。第４実施形態では、濃度ヒストグラム及び慣性モーメントに基づいてマッチング演算を行う場合について一例を説明する。

濃度ヒストグラムに基づくマッチング演算では、例えば図９Ａに示す通り、テンプレート画像２２の濃度ヒストグラムＨ_２２が予め作成され、演算用の部分画像２４が抽出される毎に、その部分画像２４の濃度ヒストグラムＨ_２４が作成される。濃度ヒストグラムＨ_２４，Ｈ_２２の横軸は濃度値、縦軸は画素数である。

そして、２つの濃度ヒストグラムＨ_２４，Ｈ_２２の重なり部分（図９Ｂの斜線部分）の画素数を集計することで、マッチング演算が行われる。この場合のマッチング演算の結果としての集計値Ｆは、部分画像２４とテンプレート画像２２との類似度に相当し、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。

慣性モーメントとは下記式（１４）〜（１６）に示すように画像内のある領域のすべての画素のその領域の原点からの距離（ｘｉ，ｙｉ）と濃度値ｗｉを原点周りの慣性モーメントの式に代入した値である。
原点周りの慣性モーメント＝Σ（ｘｉ^２＋ｙｉ^２）ｗｉ … （１４）
各軸周りの慣性モーメント＝Σｘｉ^２・ｗｉ 、又は …（１５）
各軸周りの慣性モーメント＝Σｙｉ^２・ｗｉ …（１６）

慣性モーメントに基づくマッチング演算では、例えばテンプレート画像２２の慣性モーメントＩ_２２が予め作成され、演算用の部分画像２４が抽出される毎に、その部分画像２４の慣性モーメントＩ_２４が作成される。２つの慣性モーメントＩ_２４，Ｉ_２２の差分の絶対値が演算されその値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。

図９Ａ、図９Ｂに説明されているような、濃度ヒストグラムによるマッチング演算や慣性モーメントによるマッチング演算を図３のステップＳ２で行う場合、図４のステップＳ１２，Ｓ１４における移動量Ｍｘ，Ｍｙの計算には、上記式（２），（３）を用いればよい。

移動量Ｍｘを計算する際には、現在の位置での類似度である集計値Ｆを正規化し、正規化した値（０〜１）を式（２）の“類似度”に代入する。移動量Ｍｙを計算する際には、現在の走査線上の各位置での類似度である集計値Ｆを正規化し、正規化した値（０〜１）の平均値を式（３）の“類似度の行平均”に代入する。このような計算により、上記と同様、テンプレートマッチングの最中に合致位置（Ｘ_１，Ｙ_１）との位置関係に応じて簡単に適切な移動間隔（移動量Ｍｘ，Ｍｙ）を設定できる。

また、図９Ａ、図９Ｂに説明されているように、濃度ヒストグラムによるマッチング演算を図３のステップＳ２で行う場合、図７のステップＳ２２，Ｓ２３における判定（つまり抽出位置（Ｘ_２，Ｙ_２）を１つ前の位置に戻すか否かの判定）には、上記条件式（４），（６）を用いればよい。

この場合にも、上記と同様、類似度（集計値Ｆ）を正規化し、正規化した値（０〜１）を条件式（４），（６）に代入する。この場合にも、上記と同様、演算用の部分画像２４がターゲット２３を通り過ぎてしまう（つまり抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）を通り過ぎてしまう）といった事態を確実に回避できる。

さらに、濃度ヒストグラムに基づくマッチング演算は、例えば図９Ａに示す２つの濃度ヒストグラムＨ_２４，Ｈ_２２の差分の絶対値（図９Ｃの斜線部分）の画素数を集計することにより行ってもよい。この場合のマッチング演算の結果である集計値Ｇは、部分画像２４とテンプレート画像２２との類似度に相当し、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。

図９Ａ、図９Ｃに説明されているように、濃度ヒストグラムによるマッチング演算を図３のステップＳ２で行う場合、図４のステップＳ１２，Ｓ１４における移動量Ｍｘ，Ｍｙの計算には、上記式（１０），（１１）を用いればよい。

移動量Ｍｘを計算する際には、現在の位置での類似度（集計値Ｇ）を正規化し、正規化した値（０〜１）を式（１０）の“類似度”に代入する。移動量Ｍｙを計算する際には、現在の走査線上の各位置での類似度（集計値Ｇ）を正規化し、正規化した値（０〜１）の平均値を式（１１）の“類似度の行平均”に代入する。このような計算により、上記と同様、テンプレートマッチングの最中に合致位置（Ｘ_１，Ｙ_１）との位置関係に応じて簡単に適切な移動間隔（移動量Ｍｘ，Ｍｙ）を設定できる。

また、図９Ａ、図９Ｃに説明されているように、濃度ヒストグラムによるマッチング演算を図３のステップＳ２で行う場合、図７のステップＳ２２，Ｓ２３における判定（つまり抽出位置（Ｘ_２，Ｙ_２）を１つ前の位置に戻すか否かの判定）には、上記条件式（１２），（１３）を用いればよい。ただし、条件式（１３）の閾値Ｔ_Ｂは、次の式（１７）により計算する。
Ｔ_Ｂ＝（標準偏差）×２／濃度範囲 …（１７）

この場合にも、上記と同様、類似度（集計値Ｇ）を正規化し、正規化した値（０〜１）を条件式（１２），（１３）に代入する。したがって、上記と同様、演算用の部分画像２４がターゲット２３を通り過ぎてしまう（つまり抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）を通り過ぎてしまう）といった事態を確実に回避できる。

なお、上記した実施形態１〜４では、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を少しずつ移動させる際、テンプレート画像２２の大きさ（画素数Ｔｘ，Ｔｙ）を考慮し、その１／４に相当する大きさを移動量Ｍｘ，Ｍｙの最大値としたが、本発明はこれに限定されない。移動量Ｍｘ，Ｍｙの最大値を“画素数Ｔｘ，Ｔｙの１／４”以外の値（例えば画素数Ｔｘ，Ｔｙの１／２）に設定してもよい。移動量Ｍｘ，Ｍｙの最大値の設定をマッチング演算の種類に応じて変更してもよい。例えば、濃度ヒストグラムに基づくマッチング演算の際には、相互相関法や残差逐次検定法と比較して、移動量Ｍｘ，Ｍｙの最大値を大きく設定することができる。このため、さらなる高速化が可能となる。

また、上記した実施形態では、ラスタ走査の次の走査線への移動量Ｍｙを計算する際に、現在の走査線上の各位置（例えば全ての位置）での“類似性に関する指標”を考慮したが、本発明はこれに限定されない。全ての位置に限らず、現在の走査線上の一部（例えば１つ置き）の位置を選択的に考慮する場合にも、本発明を適用できる。その場合、現在の位置での“類似性に関する指標”が考慮されなくても構わない。

さらに、上記した実施形態では、ラスタ走査の次の走査線への移動量Ｍｙを計算する際に、現在の走査線上の各位置（少なくとも一部の位置）での平均的な“類似性に関する指標”を考慮したが、本発明はこれに限定されない。平均値に限らず、現在の走査線上の各位置（全部または一部）で最も大きい“類似性に関する指標”を考慮する場合にも、本発明を適用できる。

また、上記した実施形態では、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）をラスタ走査の方向に沿って移動させる例を説明したが、本発明はこれに限定されない。その他の予め定めた方向（例えば一次元方向など）に沿って抽出位置（Ｘ_２，Ｙ_２）を移動させる場合にも、上記と同様の移動量の計算式（例えば式（２））を用いることで、同様の効果を得ることができる。

さらに、上記した実施形態では、抽出位置（Ｘ_２，Ｙ_２）の移動方向を予め定めておく例（例えばラスタ走査の方向に沿って移動させる例）を説明したが、本発明はこれに限定されない。抽出位置（Ｘ_２，Ｙ_２）の移動方向を予め定めず、現在までに求めた“類似性に関する指標”のうち少なくとも１つを考慮して、抽出位置（Ｘ_２，Ｙ_２）の移動方向と移動量との双方を決定しても構わない。その場合、現在の位置での“類似性に関する指標”を考慮しなくても構わない。

（第５実施形態）
第１実施形態から第４実施形態は、テンプレートマッチング処理を類似度判定に基づきステップ制御するものであるが、第５実施形態は、テンプレートマッチング処理を類似度判定に基づきマッチング演算処理をカット制御するものである。

本実施形態のテンプレートマッチングは、図１０に示すフローチャートの手順（ステップＳ１〜Ｓ８）にしたがって行われる。

図１０の処理では、入力画像２１の中から抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算（Ｓ４）が、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を少しずつ移動させながら、必要に応じて繰り返し行われる。なお、入力画像２１は、「画像情報を含む入力信号」に対応する。テンプレート画像２２は、「画像情報を含むテンプレート信号」に対応する。演算用の部分画像２４は、「画像情報を含む演算用の部分信号」に対応する。

また、本実施形態のテンプレートマッチングでは、マッチング演算（Ｓ４）を行うか否かの判断処理（Ｓ３）の１回目までに、テンプレート画像２２の歪度Ｓ_２２を計算する。この場合の歪度Ｓ_２２は、テンプレート画像２２の濃度ヒストグラムの分布形状の非対称性を示す統計的な尺度（ｓｋｅｗｎｅｓｓ）である。具体的には、次の式（１８）の“Ｘ_ｍｎ”に、図５Ａに示すテンプレート画像２２の位置（ｍ，ｎ）における濃度値Ａ_ｍｎを代入することより、テンプレート画像２２の歪度Ｓ_２２の計算が行われる。式（１８）のＮはテンプレート画像２２の画素の総数，σは標準偏差である。

テンプレート画像２２の歪度Ｓ_２２について、図１１Ａ乃至図１１Ｃに示す濃度ヒストグラムを用いて説明する。図１１Ａ−図１１Ｃに示す濃度ヒストグラムの横軸は濃度値、縦軸は画素数である。図１１Ａに示す濃度ヒストグラムのように分布形状が左右対称の場合、歪度Ｓ_２２＝０となる。図１１Ｂに示す濃度ヒストグラムのように分布形状が非対称で左側に偏っている（すなわち、濃度小の画素が多い）場合、歪度Ｓ_２２＜０となる。図１１Ｃに示す濃度ヒストグラムのように分布形状が非対称で右側に偏っている（すなわち、濃度大の画素が多い）場合、歪度Ｓ_２２＞０となる。テンプレート画像２２の歪度Ｓ_２２の計算は、上記の通り、マッチング演算（Ｓ４）を行うか否かの判断処理（Ｓ３）の１回目までに行われる。

図１０の処理（Ｓ１〜Ｓ８）について順に説明する。

ステップＳ１において、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出する。演算用の部分画像２４は、テンプレート画像２２と縦横各々同じ大きさ（画素数）の矩形状である。演算用の部分画像２４とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。

次に（ステップＳ２）、画像処理部１４は、ステップＳ１で抽出した演算用の部分画像２４の歪度Ｓ_２４を計算する。この場合の歪度Ｓ_２４は、部分画像２４の濃度ヒストグラムの分布形状の非対称性を示す統計的な尺度（ｓｋｅｗｎｅｓｓ）である。具体的には、上記の式（１）の“Ｘ_ｍｎ”に、図５Ｂに示す部分画像２４の位置（ｍ，ｎ）における濃度値Ｂ_ｍｎを代入することより、演算用の部分画像２４の歪度Ｓ_２４の計算が行われる。この場合、式（１）のＮは部分画像２４の画素の総数，σは標準偏差である。

部分画像２４の歪度Ｓ_２４も、テンプレート画像２２の歪度Ｓ_２２と同様、図１１Ａに示す濃度ヒストグラムのように分布形状が左右対称の場合、歪度Ｓ_２４＝０となる。図１１Ｂに示す濃度ヒストグラムのように分布形状が非対称で左側に偏っている（濃度小の画素が多い）場合、歪度Ｓ_２４＜０となる。図１１Ｃに示す濃度ヒストグラム（ｃ）のように分布形状が非対称で右側に偏っている（濃度大の画素が多い）場合、歪度Ｓ_２４＞０となる。

次に（ステップＳ３）、画像処理部１４は、ステップＳ２で計算した部分画像２４の歪度Ｓ_２４と既に計算済みのテンプレート画像２２の歪度Ｓ_２２との比較により、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜を計算する。歪度の絶対差｜Ｓ_２２−Ｓ_２４｜は、テンプレート画像２２の濃度ヒストグラムと部分画像２４の濃度ヒストグラムとの類似性に関する指標である。２つの濃度ヒストグラムの類似性が高いほど、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜は小さな値を示す。逆に、２つの濃度ヒストグラムの類似性が低いほど、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜は大きな値を示す。

さらに、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜が大きな値を示し、２つの濃度ヒストグラムの類似性が低い場合、テンプレート画像２２と部分画像２４とは、明かに類似性が低い（相違している）と考えられる。逆に、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜が小さな値を示し、２つの濃度ヒストグラムの類似性が高い場合、テンプレート画像２２と部分画像２４との類似性は高い可能性がある。つまり、類似性が低い可能性もあるが、類似性が高い可能性もある。したがって、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜は、テンプレート画像２２と部分画像２４との類似性に関する概略値と考えられる。

画像処理部１４は、歪度の絶対差｜Ｓ_２２−Ｓ_２４｜を計算した後、これを予め定めた閾値α（＞０）と大小比較する。そして、次の条件式（１９）を満足するか否かの判断（ステップＳ３）を行う。

｜Ｓ_２２−Ｓ_２４｜＜α …（１９）

条件式（１９）を満足しない場合（Ｓ３がＮｏ）、上記のようにテンプレート画像２２と部分画像２４とは明かに類似性が低い（相違している）ため、マッチング演算（Ｓ４）によって、部分画像２４とテンプレート画像２２との類似性に関する正確な指標（つまり類似度）を求める必要がない。したがって、条件式（１９）を満足しない場合（Ｓ３がＮｏ）にはマッチング演算（Ｓ４）を省略し、後述のステップＳ６に進む。

一方、条件式（１９）を満足する場合（すなわち、Ｓ３がＹｅｓの場合）、上記のようにテンプレート画像２２と部分画像２４との類似性は高い可能性があるため、マッチング演算（Ｓ４）によって、部分画像２４とテンプレート画像２２との類似性に関する正確な指標（つまり類似度）を求める意味がある。したがって、条件式（１９）を満足する場合（Ｓ３がＹｅｓ）にはステップＳ４に進み、マッチング演算（Ｓ４）を実行する。

このように、本実施形態のテンプレートマッチング（図１０）では、ステップＳ３において、演算用の部分画像２４とテンプレート画像２２との類似性に関する概略値（つまり歪度の絶対差｜Ｓ_２２−Ｓ_２４｜）に基づいて、部分画像２４とテンプレート画像２２とのマッチング演算（Ｓ４）を行うか否かを判断する。ステップＳ３の判断処理は、部分画像２４とテンプレート画像２２との類似性を大雑把に判断する処理である。したがって、この演算処理は、マッチング演算よりも短い時間で行うことができる。つまり、演算速度が速い。そして、マッチング演算を「行わない」と判断した場合にはその演算を省略し、「行う」と判断した場合のみその演算を実行する。

ステップＳ３の条件式（１９）を満足する場合、画像処理部１４は、ステップＳ４において、演算用の部分画像２４とテンプレート画像２２とのマッチング演算（類似度の演算）を行う。ここでは、マッチング演算の一例として、周知の相互相関法を用いる。この場合のマッチング演算は、図５Ｂに示す部分画像２４の位置（ｍ，ｎ）における濃度値Ｂ_ｍｎと、図５Ａに示すテンプレート画像２２の同じ位置（ｍ，ｎ）における濃度値Ａ_ｍｎとを用い、次の式（２０）により行われる。

マッチング演算の結果は、正規化された相互相関係数Ｃであり（−１≦Ｃ≦１）、演算用の部分画像２４とテンプレート画像２２との類似度に相当する。類似度は、部分画像２４とテンプレート画像２２との「類似性に関する指標」の１つであり、「類似性に関する正確な指標」である。傾向としては、類似度に相当する相互相関係数Ｃが大きい（つまり「１」に近い）ほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。

上記のマッチング演算が終了すると、画像処理部１４は、次のステップＳ５において、マッチング演算の結果である類似度（相互相関係数Ｃ）を、部分画像２４の抽出位置（Ｘ_２，Ｙ_２）と対応づけてメモリに保存する。これらのステップＳ１〜Ｓ５の処理を経て、入力画像２１の中の１つの抽出位置（Ｘ_２，Ｙ_２）に対する処理が終わる。そして、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を次の位置へ移動させる場合（すなわち、ステップＳ６がＹｅｓの場合）には、ステップＳ７の処理に進む。

ステップＳ７の処理は、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）の移動処理である。画像処理部１４は、部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を現在の位置から次の位置へ移動させる。その後、ステップＳ１の処理に戻り、新たな抽出位置（Ｘ_２，Ｙ_２）において、演算用の部分画像２４の抽出（Ｓ１）→歪度Ｓ_２４の計算（Ｓ２）→マッチング演算の実行／省略の判断（Ｓ３）→〔必要に応じてマッチング演算（Ｓ４）→結果保存（Ｓ５）〕を繰り返す。

このようにして、ステップＳ１→Ｓ２→Ｓ３→〔Ｓ４→Ｓ５〕→Ｓ６→Ｓ７→Ｓ１…の処理を繰り返すことにより、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、マッチング演算（Ｓ４）を行うか否かを判断することができる。また、その判断の内容が「行う」ことを示す場合のみテンプレート画像２２とのマッチング演算を行い、その結果を保存する。

そして、演算用の部分画像２４の抽出位置（Ｘ_２，Ｙ_２）が終点に到達し、そこでのステップＳ１〜Ｓ５の処理が終了すると、画像処理部１４は、次の位置への移動を行わずに（Ｓ６がＮｏ）、ステップＳ８の処理に進む。ステップＳ８では、入力画像２１の中の異なる複数の位置で実際に求められた類似度（相互相関係数Ｃ）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置（Ｘ_２，Ｙ_２）を合致位置（Ｘ_１，Ｙ_１）と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。

上記のように、本実施形態のテンプレートマッチングでは、演算用の部分画像２４を抽出する毎に、部分画像２４とテンプレート画像２２とのマッチング演算を行うか否かを判断し、「行わない」と判断した場合にはマッチング演算を省略する。そして、「行う」と判断した場合のみマッチング演算を実行する。このため、確実に時間を短縮して効率よく合致位置（Ｘ_１，Ｙ_１）を特定できる。つまり、テンプレートマッチングの処理速度が飛躍的に向上する。

また、本実施形態のテンプレートマッチングでは、演算用の部分画像２４とテンプレート画像２２との類似性に関する概略値（つまり歪度の絶対差｜Ｓ_２２−Ｓ_２４｜）に基づいて、マッチング演算を行うか否かを判断する。このため、テンプレート画像２２と部分画像２４とが明かに相違している場合（すなわち、明かに類似性が低い場合）の不要なマッチング演算を効率よく省略することができる。

条件式（１９）の閾値αは、例えば、テンプレート画像２２のコントラストを変化させた場合の各々において、歪度（ｓｋｅｗｎｅｓｓ）の計算を行い、得られた計算結果のレンジ値（＝最大歪度−最小歪度）を考慮して設定することが好ましい。一例として、閾値α＝レンジ値とすることが考えられる。また、閾値α＝レンジ値×係数ｋとしてもよい。この場合の係数ｋは、１／２〜１の任意の値である。ちなみに、閾値αの設定値が大きすぎると、マッチング演算の省略率が減って処理速度の向上が望めなくなる。逆に、閾値αの設定値が小さすぎると、演算用の部分画像２４のコントラスト変化やノイズなどの影響を受けて正確な合致位置（Ｘ_１，Ｙ_１）の特定が難しくなる。

なお、上記した実施形態５では、演算用の部分画像２４とテンプレート画像２２との類似性に関する概略値として歪度の絶対差｜Ｓ_２２−Ｓ_２４｜を用い、マッチング演算を行うか否かを判断したが、本発明はこれに限定されない。マッチング演算よりも短い時間で演算を行うことができ、類似性を判断できるのであれば、他の演算でもよい。

その他、次の式（２１）によりテンプレート画像２２の３次のモーメントＭ_２２を計算し、同様に、演算用の部分画像２４の３次のモーメントＭ_２４を計算し、これらのモーメントＭ_２２，Ｍ_２４の絶対差｜Ｍ_２２−Ｍ_２４｜を上記の概略値として用い、マッチング演算を行うか否かを判断してもよい。また、３次に限らず、ｎ次（ｎは５以上の奇数）のモーメントを用いてもよい。奇数次のモーメントは、既に説明した歪度（ｓｋｅｗｎｅｓｓ）と同様、濃度ヒストグラムの偏り方向（左側または右側）を示すため、マッチング演算を行うか否かを判断する際の良好な指標となる。

特に、３次のモーメントを用いる場合、歪度（ｓｋｅｗｎｅｓｓ）と比較して計算量が少ないため、マッチング演算の要不要の判断を高速に行うことができる。そのため、マッチング演算を計算量の少ない方法（例えば後述の残差逐次検定法など）により行う場合でも、確実に処理速度の向上に対応できる。

さらに、上記の概略値の他の具体例としては、テンプレート画像２２の平均濃度と部分画像２４の平均濃度との比較により求めた「平均濃度の絶対差」を用いることもできる。この場合には、さらに計算量が少なく、上記の概略値を簡単に計算できる。その結果、さらなる高速化が実現する。

また、上記した本実施形態では、図１０のステップＳ４において相互相関法によるマッチング演算（式（２０）参照）を行う例で説明したが、本発明はこれに限定されない。その他、残差逐次検定法（ＳＳＤＡ法）によりマッチング演算を行ってもよいし、濃度ヒストグラムまたは慣性モーメントなどの特徴量を用いてマッチング演算を行ってもよい。

残差逐次検定法によるマッチング演算は、図５Ｂに示す部分画像２４の位置（ｍ，ｎ）における濃度値Ｂ_ｍｎと、テンプレート画像２２の同じ位置（ｍ，ｎ）における濃度値Ａ_ｍｎとを用い、次の式（２２）または式（２３）により行われる。式（２２）のＤは濃度差の絶対値和である。式（２３）のＥは濃度差の二乗和である。マッチング演算の結果Ｄ，Ｅは、部分画像２４とテンプレート画像２２との類似度に相当し、その値（つまり残差）が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。残差逐次検定法によるマッチング演算は、その計算量が少ないため、さらなる高速化が可能となる。

濃度ヒストグラムに基づくマッチング演算では、例えば図９Ａに示す通り、テンプレート画像２２の濃度ヒストグラムＨ_２２が予め作成され、演算用の部分画像２４が抽出される毎に、その部分画像２４の濃度ヒストグラムＨ_２４が作成される。濃度ヒストグラムＨ_２４，Ｈ_２２の横軸は濃度値、縦軸は画素数である。

そして、２つの濃度ヒストグラムＨ_２４，Ｈ_２２の重なり部分（図９Ｂの斜線部分）の画素数を集計することで、マッチング演算が行われる。この場合のマッチング演算の結果（集計値Ｆ）は、部分画像２４とテンプレート画像２２との類似度に相当し、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。

さらに、濃度ヒストグラムに基づくマッチング演算は、例えば図９Ａに示す２つの濃度ヒストグラムＨ_２４，Ｈ_２２の差分の絶対値（図９Ｃの斜線部分）の画素数を集計することにより行ってもよい。この場合のマッチング演算の結果（集計値Ｇ）は、部分画像２４とテンプレート画像２２との類似度に相当し、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置（Ｘ_２，Ｙ_２）が合致位置（Ｘ_１，Ｙ_１）に近いことを表す。

（第６実施形態）
本発明の第６実施形態は、第１〜４実施形態と第５実施形態とを併せたものである。第６実施形態のテンプレートマッチング装置は、第５実施形態に開示されたマッチング演算のカット制御と、第１〜４実施形態に開示するテンプレートマッチング処理のステップ制御とを組合せたものである。

具体的には、第６実施形態のテンプレートマッチング処理は、図１０のステップＳ１からステップＳ８までの処理（マッチング演算カット制御）を行うが、その際に図１０のステップＳ７の「演算用の部分画像の抽出位置の移動処理」は、図４のステップＳ１１からステップＳ１５の処理（ステップ制御）を実行する。

これにより、両実施形態の効果が相乗され、飛躍的にテンプレートマッチング処理の高速化が達成される。

また、上記した実施形態１〜６では、演算用の部分画像２４とテンプレート画像２２の形状が矩形状である例を説明したが、本発明はこれに限定されない。部分画像２４とテンプレート画像２２は、その形状と大きさ（画素数）が同一であれば、矩形状である必要はない。他の形状でも本質的な処理は同じである。

さらに、上記した実施形態１〜６では、図１の観察装置１０のような光学顕微鏡装置を例にテンプレートマッチングの説明を行ったが、本発明はこれに限定されない。その他、試料の局所領域を電子線で走査して画像を取り込む電子顕微鏡装置にも、本発明を適用できる。試料の局所領域の画像に限らず、試料の全面の画像を一括で取り込む装置にも、本発明を適用できる。観察装置１０などに接続された外部のコンピュータを用いた場合でも、同様の効果を得ることができる。

また、上記した実施形態１〜６では、図１の観察装置１０のカメラ１３から取り込んだ入力画像（画像情報を含む入力画像信号）に対してテンプレートマッチングを行う例について説明したが、本発明はこれに限定されない。その他、音声情報を含む入力画像信号（入力音声）に対してテンプレートマッチングを行う場合（信号処理）にも、本発明を適用できる。入力音声のような一次元の入力画像信号を対象とする場合、上述の「画像の濃度」を「信号の強度」に置き換えて考えればよい。「平均濃度」は「強度の平均値」に対応する。

観察装置１０の概略図である。 入力画像２１，テンプレート画像２２，ターゲット２３，演算用の部分画像２４を説明する図である。 第１実施形態のテンプレートマッチングにおける全体的な処理手順を示すフローチャートである。 図３のステップＳ５における処理手順をを示すフローチャートである。 図５Ａと図５Ｂとはそれぞれ、テンプレート画像２２の位置（ｍ，ｎ）における濃度値Ａｍｎと演算用の部分画像２４の位置（ｍ，ｎ）における濃度値Ｂｍｎとを説明する図である。 図６Ａ、図６Ｂは、合致位置（Ｘ１，Ｙ１）との位置関係に応じた移動間隔（移動量Ｍｘ）の大小変化を説明する図である。 第２実施形態のテンプレートマッチングにおける処理手順の一部を示すフローチャートである。 図８Ａ、図８Ｂは、図７の処理による抽出位置（Ｘ２，Ｙ２）の移動について説明する図である。 図９Ａ、図９Ｂ、図９Ｃは、濃度ヒストグラムに基づくマッチング演算について説明する図である。 本実施形態のテンプレートマッチングの処理手順を示すフローチャートである。 図１１Ａ、図１１Ｂ、図１１Ｃは、濃度ヒストグラムの分布形状の非対称性と歪度（ｓｋｅｗｎｅｓｓ）との関係を説明する図である。

Claims (4)

1. 入力画像信号の中から、順次抽出位置を変えて演算用の部分画像信号を抽出する抽出手段と、
   前記抽出手段により前記部分画像信号が抽出される毎に、該部分画像信号と既知のテンプレート信号との類似性に関する指標を求める演算手段と、
   前記入力画像信号の複数の位置での前記類似性に関する指標に基づいて、前記入力画像信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備え、
   前記抽出手段は、前記演算手段が求めた現在の抽出位置における前記類似性に関する指標を考慮して、前記現在の抽出位置から次の抽出位置への移動量を決定する
   ことを特徴とするテンプレートマッチング装置。
2. 入力画像信号の中から、順次抽出位置を変えて演算用の部分画像信号を抽出する抽出手段と、
   前記抽出手段により前記部分画像信号が抽出される毎に、該部分画像信号と既知のテンプレート信号との類似性に関する指標を求める演算手段と、
   前記入力画像信号の複数の位置での前記類似性に関する指標に基づいて、前記入力画像信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備え、
   前記抽出手段は、少なくとも前記現在の位置での前記類似性に関する指標を考慮すると共に、前記テンプレート信号の大きさを考慮して、前記現在の抽出位置から次の抽出位置への移動量を決定する
   ことを特徴とするテンプレートマッチング装置。
3. 入力画像信号の中から、順次抽出位置を変えて演算用の部分画像信号を抽出する抽出手段と、
   前記抽出手段により前記部分画像信号が抽出される毎に、該部分画像信号と既知のテンプレート信号との類似性に関する指標を求める演算手段と、
   前記入力画像信号の複数の位置での前記類似性に関する指標に基づいて、前記入力画像信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備え、
   前記入力画像信号と前記部分画像信号と前記テンプレート信号は、各々、画像情報を含み、
   前記抽出手段は、前記抽出位置を複数の走査線からなるラスタ走査の方向に沿って移動させながら前記部分画像信号を順に抽出すると共に、前記抽出位置を現在の走査線から次の走査線へ移動させる際、前記現在の走査線上の各位置での前記類似性に関する指標を考慮して、前記現在の走査線から前記次の走査線への移動量を計算し、該移動量に基づいて前記抽出位置を移動させる
   ことを特徴とするテンプレートマッチング装置。
4. 請求項２に記載のテンプレートマッチング装置において、
   前記入力画像信号と前記部分画像信号と前記テンプレート信号は、各々、画像情報を含み、
   前記抽出手段は、前記抽出位置を複数の走査線からなるラスタ走査の方向に沿って移動させながら前記部分画像信号を順に抽出すると共に、前記抽出位置を現在の走査線から次の走査線へ移動させる際、前記現在の走査線上の各位置での前記類似性に関する指標を考慮して、前記現在の走査線から前記次の走査線への移動量を計算し、該移動量に基づいて前記抽出位置を移動させる
   ことを特徴とするテンプレートマッチング装置。