JP5099120B2 - テンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラム - Google Patents

Description

本発明は、画像に対してテンプレートマッチングを行うテンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラムに関する。

テンプレートマッチングは、入力信号の中から既知のテンプレート信号に合致する部分信号（ターゲット）を探索して、ターゲットの位置（合致位置）を特定する処理である。この処理では、入力信号の中から抽出した演算用の部分信号と既知のテンプレート信号とのマッチング演算が、演算用の部分信号の抽出位置を少しずつ移動させながら、繰り返し行われる。そして、入力信号の中の各位置でのマッチング演算の結果を大小比較することで、合致位置が特定される。

また、マッチング演算には、周知の相互相関法や残差逐次検定法などが用いられる（例えば特許文献１を参照）。これらの方法は、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行い、その結果を信号全体で集計するものである。
特開平５−８１４３３号公報

しかしながら、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行う上記の方法には、次の問題があった。例えば、画像情報を含む二次元の入力信号の場合、入力信号に幾何学的変化（回転や縮尺の変化など）があると、合致位置の特定を正確に行えるとは限らず、疑似マッチングやマッチング不可能になることがある。また、音声情報を含む一次元の入力信号の場合は、入力信号に幾何学的変化（縮尺の変化など）があると、同様に疑似マッチングやマッチング不可能になることがある。

本発明の目的は、入力画像に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置を提供することにある。

本発明のテンプレートマッチング装置は、複数の色成分を含むテンプレート画像の画像情報について、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記テンプレート画像内の全ての画素について加算するか、または、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記テンプレート画像内の一部の画素について加算して第１の特徴量を算出する第１の算出手段と、前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像の前記画像情報について、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記部分画像内の全ての画素について加算するか、または、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記部分画像内の一部の画素について加算して第２の特徴量を算出する第２の算出手段と、前記テンプレート画像の前記画像情報と前記部分画像の前記画像情報とから残差量を算出する第３の算出手段と、前記第１の特徴量と前記第２の特徴量とを比較することにより、前記テンプレート画像と前記部分画像との第１の類似度を求める第１の演算手段と、前記残差量に基づいて、第２の類似度を求める第２の演算手段と、前記第１の類似度と前記第２の類似度とに基づいて、第３の類似度を求める第３の演算手段と、前記入力画像の各位置で求められた前記第３の類似度を比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備える。

なお、好ましくは、前記第１の算出手段は、前記テンプレート画像の前記画像情報を前記テンプレート画像内の全ての画素について各色成分ごとに加算するか、または、前記画像情報を前記テンプレート画像内の一部の画素について各色成分ごとに加算して第１の特徴量を算出し、前記第２の算出手段は、前記部分画像の前記画像情報を前記部分画像内の全ての画素について各色成分ごとに加算するか、または、前記画像情報を前記部分画像内の一部の画素について各色成分ごとに加算して第２の特徴量を算出し、前記第３の算出手段は、前記テンプレート画像の前記画像情報と前記部分画像の前記画像情報とについて、各色成分ごとに演算を施して前記残差量を算出し、前記第１の演算手段は、前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記第１の類似度を求め、前記第２の演算手段は、前記残差量の同じ色成分どうしを演算することにより前記第２の類似度を求め、前記第３の演算手段は、前記第１の類似度と前記第２の類似度とについて、各色成分ごとに演算を施して前記第３の類似度を求めても良い。

また、好ましくは、前記演算手段は、前記第１の特徴量と前記第２の特徴量との差分が所定の閾値以下である場合のみ、前記第１の類似度と前記第２の類似度と前記第３の類似度とを算出しても良い。

また、前記抽出手段は、前記第３の類似度に応じて、現在の抽出位置から次の抽出位置への移動量を決定しても良い。

また、上述したテンプレートマッチング装置を備えたカメラも本発明の具体的態様として有効である。

また、上記発明に関する構成を、処理対象の画像データに対する処理をコンピュータで実現するためのテンプレートマッチングプログラムに変換して表現したものも本発明の具体的態様として有効である。

本発明によれば、入力画像に幾何学的変化があっても正確に合致位置を特定することができる。

第１実施形態の電子カメラ１０の概略図である。 入力画像２１,テンプレート画像２２,ターゲット２３,演算用の部分画像２４を説明する図である。 第１実施形態の電子カメラ１０の動作を示すフローチャートである。 第１実施形態の電子カメラ１０の動作を示すフローチャート（続き）である。 テンプレート画像２２の位置(ｍ,ｎ)における濃度値Ａ_mnと演算用の部分画像の位置(ｍ,ｎ)における濃度値Ｂ_mnとを説明する図である。 第２実施形態のコンピュータ１００の概略図である。

以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、第１実施形態のテンプレートマッチング装置および方法について、図１に示す電子カメラ１０を例に説明する。電子カメラ１０には、光学系１１と光学系制御部１２と撮像素子１３と画像処理部１４と記録部１５と記録媒体１６と画像表示部１７と操作部１８とＣＰＵ１９とが設けられる。光学系１１は、レンズや絞りなどを含む。光学系制御部１２は、絞りやレンズの焦点位置の制御を行う。撮像素子１３は、光学系１１を介して結像された被写体像を画像データに変換して、画像処理部１４に出力する。画像処理部１４は、色信号生成、マトリクス変換処理、γ変換処理、補正処理など各種のディジタル信号処理を行い、入力画像として不図示のメモリに記憶させる。なお、各画像処理の具体的な方法は説明を省略する。また、画像処理部１４は、後述するテンプレートマッチングを行う。記録部１５は、画像データを記録媒体１６に記録する。記録媒体１６は、メモリカードなどのリムーバブルメモリである。画像表示部１７は、撮像により生成された画像や記録媒体１６に記録された画像を表示する。操作部１８は、不図示の電源ボタン、レリーズボタンなどを含む。ＣＰＵ１９は、各部を統合的に制御する。なお、ＣＰＵ１９は、後述するテンプレートマッチングの結果を用いて、ＡＦ調整、ＡＥ調整、ホワイトバランス調整、主要被写体検出（顔認識など）、自動撮影などの制御を行う。また、ＣＰＵ１９は、操作部１８に対するユーザ操作の有無を検知するとともに、各処理を実行するためのプログラムを予め記録している。

次に、電子カメラ１０におけるテンプレートマッチングについて説明する。テンプレートマッチングは、例えば図２に示す入力画像２１の中から既知のテンプレート画像２２に合致する部分画像（ターゲット２３）を探索して、ターゲット２３の位置（以下「合致位置(Ｘ₁,Ｙ₁)」という）を特定する処理である。第１実施形態のテンプレートマッチングは、図３および図４に示すフローチャートの手順（ステップＳ１〜Ｓ１４）にしたがって行われる。また、入力画像２１は、スルー画像を含む撮像により生成された画像や、記録媒体１６に記録された画像である。

図３および図４の処理では、入力画像２１の中から抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算（Ｓ５〜Ｓ１０）が、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を少しずつ移動させながら、繰り返し行われる。マッチング演算（Ｓ５〜Ｓ１０）は、部分画像２４とテンプレート画像２２との類似度を求める演算である。類似度は、部分画像２４とテンプレート画像２２との「類似性に関する指標」の１つであり、「類似性に関する正確な指標」である。

また、図３および図４の処理では、入力画像２１と演算用の部分画像２４とテンプレート画像２２が、各々、３つの色成分（つまり加色の三原色または光の三原色と呼ばれるＲＧＢ成分）を含むものとする。ＲＧＢ成分を含む画像(２１,２４,２２)はカラー画像である。

図３および図４の処理（Ｓ１〜Ｓ１４）について順に説明する。

ステップＳ１において、ＣＰＵ１９は、テンプレート画像２２の全体からＲＧＢ成分の濃度加算値Ｎ₂₂（以下、「第１濃度加算値Ｎ₂₂」と称する）を各色成分ごとに算出する。

例えば、Ｒ成分の第１濃度加算値Ｎ₂₂は、テンプレート画像２２のＲ成分の位置(ｘ,ｙ)における濃度値Ａ_iを用い、次の式(１)により算出される。濃度値Ａ_iの“ｉ”は、テンプレート画像２２の中での画素番号である。

Ｎ₂₂ ＝ ΣＡ_i …式(１)
Ｒ成分の他、Ｇ成分,Ｂ成分の第１濃度加算値Ｎ₂₂は、各々、テンプレート画像２２のＧ成分,Ｂ成分の全体から、上記の式(１)と同様の式により算出される。

ステップＳ２において、ＣＰＵ１９は、入力画像２１の中から演算用の部分画像２４を抽出する。演算用の部分画像２４は、テンプレート画像２２と縦横各々同じ大きさ(画素数)の矩形状である。演算用の部分画像２４とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。

ステップＳ３において、ＣＰＵ１９は、ステップＳ２で抽出した演算用の部分画像２４の全体からＲＧＢ成分の濃度加算値Ｎ₂₄（以下、「第２濃度加算値Ｎ₂₄」と称する）を各色成分ごとに算出する。

例えば、Ｒ成分の第２濃度加算値Ｎ₂₄は、部分画像２４のＲ成分の位置(ｘ,ｙ)における濃度値Ｂ_iを用い、次の式(２)により算出される。濃度値Ｂ_iの“ｉ”は、部分画像２４の中での画素番号である。

Ｎ₂₄ ＝ ΣＢ_i …式(２)
Ｒ成分の他、Ｇ成分,Ｂ成分の第２濃度加算値Ｎ₂₄は、各々、部分画像２４のＧ成分,Ｂ成分の全体から、上記の式(２)と同様の式により算出される。

ステップＳ４において、ＣＰＵ１９は、部分画像２４およびテンプレート画像２２のＲＧＢ成分の画素ごとの残差を算出する。残差は、図５に示す部分画像２４の位置(ｍ,ｎ)における濃度値Ｂ_mnと、テンプレート画像２２の同じ位置(ｍ,ｎ)における濃度値Ａ_mnとを用い、次の式(３)により算出される。

残差 ＝ Ａ_mn−Ｂ_mn …式(３)
ＣＰＵ１９は、Ｒ成分の残差（出力値Ｓ_R），Ｇ成分の残差（出力値Ｓ_G）,Ｂ成分の残差（出力値Ｓ_B）を画素ごとにそれぞれ算出する。

ステップＳ５において、ＣＰＵ１９は、部分画像２４のＲ成分の第２濃度加算値Ｎ₂₄と、テンプレート画像２２のＲ成分の第１濃度加算値Ｎ₂₂とを比較し、２つのＲ成分の濃度加算値の差分の絶対値を出力する。この場合の出力値Ｔ_Rは、Ｒ成分の第２濃度加算値Ｎ₂₄と第１濃度加算値Ｎ₂₂の類似性に関する指標である。

ステップＳ６において、ＣＰＵ１９は、部分画像２４のＧ成分の第２濃度加算値Ｎ₂₄と、テンプレート画像２２のＧ成分の第１濃度加算値Ｎ₂₂とを比較し、２つのＧ成分の濃度加算値の差分の絶対値を出力する（出力値Ｔ_G）。

ステップＳ７において、ＣＰＵ１９は、部分画像２４のＢ成分の第２濃度加算値Ｎ₂₄と、テンプレート画像２２のＢ成分の第１濃度加算値Ｎ₂₂とを比較し、２つのＢ成分の濃度加算値の差分の絶対値を出力する（出力値Ｔ_B）。

ステップＳ８において、ＣＰＵ１９は、上記したステップＳ５のＲ成分の出力値Ｔ_Rと、ステップＳ６のＧ成分の出力値Ｔ_Gと、ステップＳ７のＢ成分の出力値Ｔ_Bとを、それぞれ第１濃度加算値Ｎ₂₂の各色成分Ｊ_R，Ｊ_G，Ｊ_Bで除すことにより正規化を行う。そして、正規化によって算出された各色成分ごとの類似度Ｕ_R，Ｕ_G，Ｕ_Bの平均を求め、その値を「部分画像２４とテンプレート画像２２との第１の類似度」とする。

第１の類似度ｒ_Tは、以下の式(４)により表される。

ｒ_Ｔ＝（Ｕ_Ｒ＋Ｕ_Ｇ＋Ｕ_Ｂ）／３…式(４)
ステップＳ９において、ＣＰＵ１９は、部分画像２４とテンプレート画像２２との第２の類似度を求める。

第２の類似度とは、上記したステップＳ４で算出した部分画像２４およびテンプレート画像２２のＲＧＢ成分の画素ごとの残差（Ｓ_R,Ｓ_G,Ｓ_B）に基づく、最小残差である。ＣＰＵ１９は、まず、次の式(５)または式(６)により各色成分の最小残差を算出する。

式(５)および式(６)は、Ｒ成分の残差（出力値Ｓ_R)に基づき、Ｒ成分の最小残差Ｋ_R（またはＫ_R’）を求める式である。式(５)のＫ_Rは濃度差の絶対値和の最小値である。式(６)のＫ_R’は濃度差の二乗和の最小値である。最小残差Ｋ_RまたはＫ_R’は、部分画像２４とテンプレート画像２２との類似度に相当し、その値（つまり残差）が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

Ｒ成分の他、Ｇ成分,Ｂ成分の最小残差（Ｋ_G,Ｋ_BまたはＫ_G’,Ｋ_B’）は、各々、部分画像２４のＧ成分,Ｂ成分の全体から、上記の式(５)または式(６)と同様の式により算出される。以下では、上述した式(５)により算出した最小残差（Ｋ_R,Ｋ_G,Ｋ_B）を用いて説明する。なお、上述した式(６)により算出した最小残差（Ｋ_R’,Ｋ_G’,Ｋ_B’）を用いる場合も同様に考えることができる。

次に、ＣＰＵ１９は、それぞれ最小残差の各色成分Ｋ_R，Ｋ_G，Ｋ_Bの正規化を行う。正規化は、各色成分Ｋ_R，Ｋ_G，Ｋ_Bを、部分画像の面積ｔ×２００で除すことにより行う。２００は、経験により算出した係数であり、後述する第２の類似度ｒ_Sが０〜１の値を取るように、階調数などに応じて調整すれば良い。そして、正規化によって算出された各色成分ごとの最小残差Ｈ_R，Ｈ_G，Ｈ_Bの平均を求め、その値を「部分画像２４とテンプレート画像２２との第２の類似度」とする。

第２の類似度ｒ_Sは、以下の式(７)により表される。

ｒ_S ＝ （Ｈ_R＋Ｈ_G＋Ｈ_B）／３ …式(７)
ステップＳ１０において、ＣＰＵ１９は、ステップＳ８で求めた第１の類似度ｒ_Tと、ステップＳ９で求めた第２の類似度ｒ_Sとに基づいて、部分画像２４とテンプレート画像２２との第３の類似度を求める。

第３の類似度Ｒは、以下の式(８)により求められる。

Ｒ ＝ ｗ×ｒ_S ＋（１−ｗ）×ｒ_T …式(８)
式(８)において、ｗは０から１の値を持つ重みである。式(８)により、重みをｗとした第１の類似度ｒ_Tと第２の類似度ｒ_Sとの重みつき平均が求められる。

上記のマッチング演算（Ｓ５〜Ｓ１０）が終了すると、ステップＳ１１において、ＣＰＵ１９は、マッチング演算の結果である第３の類似度Ｒを、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)と対応づけてメモリに保存する。これらのステップＳ２〜Ｓ１１の処理を経て、入力画像２１の中の１つの抽出位置(Ｘ₂,Ｙ₂)に対する処理が終わる。

ステップＳ１２において、ＣＰＵ１９は、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を次の位置へ移動させるか否かを判定する。ＣＰＵ１９は、次の位置へ移動させると判定するとステップＳ１３に進み、次の位置へ移動させないと判定するとステップＳ１４に進む。

ステップＳ１３において、ＣＰＵ１９は、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)の移動処理を行う。ＣＰＵ１９は、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を現在の位置から次の位置へ移動させる。その後、ステップＳ２の処理に戻り、新たな抽出位置(Ｘ₂,Ｙ₂)において、演算用の部分画像２４の抽出（Ｓ２）→ＲＧＢ成分の第２濃度加算値Ｎ₂₄の算出（Ｓ３）→ＲＧＢ成分の残差の算出（Ｓ４）→マッチング演算（Ｓ５〜Ｓ１０）→結果保存（Ｓ１１）を繰り返す。

このようにして、ステップＳ２→…→Ｓ１４→Ｓ２…の処理を繰り返すことにより、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出するごとにマッチング演算（Ｓ５〜Ｓ１０）を行うことができる。

そして、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が終点に到達し、そこでのステップＳ２〜Ｓ１１の処理が終了すると、ステップＳ１４において、ＣＰＵ１９は、入力画像２１の中の異なる複数の位置で求められた第３の類似度Ｒを大小比較することにより、その値が最も小さく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を合致位置(Ｘ₁,Ｙ₁)と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。

上記のように、第１実施形態のテンプレートマッチングでは、ＲＧＢ成分の第１濃度加算値Ｎ₂₂および第２濃度加算値Ｎ₂₄に基づいて、第１の類似度（ｒ_T）を求めるとともに、ＲＧＢ成分の残差に基づいて、第２の類似度（ｒ_S ）を求める。そして、第１の類似度と第２の類似度とに基づいて第３の類似度（Ｒ）を求め、この第３の類似度を大小比較する。ＲＧＢ成分の第１濃度加算値Ｎ₂₂は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の第２濃度加算値Ｎ₂₄は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。また、第３の類似度は、テンプレート画像２２および部分画像２４の絵柄を反映した特徴量である。このような特徴量を用いることにより、絵柄に応じて正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。さらに、第１実施形態によれば、画素の位置に依存しない特徴量である第１の類似度と、テンプレート画像２２および部分画像２４の絵柄を反映した特徴量である第２の類似度との両方の利点を併せ持つ第３の類似度を用いてテンプレートマッチングを行うことにより、入力画像に幾何学的変化があっても正確に合致位置を特定できる。

また、第１実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算（Ｓ５〜Ｓ１０）を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ₁,Ｙ₁)を特定できる。

なお、第１実施形態の処理に、以下の処理を追加しても良い。

（１）マッチングカットの処理
図３のステップＳ７の後に、ＣＰＵ１９は、Ｒ成分の出力値Ｔ_Rと、ステップＳ６のＧ成分の出力値Ｔ_Gと、ステップＳ７のＢ成分の出力値Ｔ_Bとを、それぞれ所定の閾値と比較する。そして、Ｒ成分の出力値Ｔ_Rと、ステップＳ６のＧ成分の出力値Ｔ_Gと、ステップＳ７のＢ成分の出力値Ｔ_Bとが、所定の閾値以下である場合には、ＣＰＵ１９は、ステップＳ２で抽出した部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)から遠いと判定する。そして、ステップＳ８からステップＳ１０の処理を行わずにステップＳ１１に進み、ステップＳ１１において、マッチング演算の結果である類似度を「圏外」として、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)と対応づけてメモリに保存する。

このように、ステップＳ５からステップＳ７で算出した濃度加算値の差分が所定の閾値以下である場合のみ、類似度を算出する処理（ステップＳ８からステップＳ１０の処理）を行うことにより、無駄な処理を省くことができる。したがって、テンプレートマッチング処理の高速化が期待できる。

（２）ステップ制御の処理
図４のステップＳ１２において、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を次の位置へ移動させると判定すると、ＣＰＵ１９は、ステップＳ１０で求めた第３の類似度Ｒに応じて、現在の抽出位置から次の抽出位置への移動量を決定する。

演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を横方向に移動させる場合、ＣＰＵ１９は、現在の位置での第３の類似度Ｒを考慮して、現在の位置から次の位置への移動量Ｍｘを計算する。移動量Ｍｘの具体的な算出方法は、本出願人が先に出願したＷＯ２００５／１０１３１３号公報に記載の発明に準ずる。このような移動量Ｍｘの計算は非常に簡単なものである。また、第３の類似度Ｒに応じて求められる移動量Ｍｘは、現在の位置での第３類似度Ｒが小さく（つまり「０」に近く）、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いほど、小さくなることが多い。一方、移動量Ｍｘは、現在の位置での第３類似度Ｒが大きく（つまり「１」に近く）、部分画像２４とテンプレート画像２２との類似性が低く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)から離れているほど、大きくなることが多い。

移動量Ｍｘの最大値は、第３の類似度Ｒが「１」の場合であり、移動量Ｍｘの最小値は、第３の類似度Ｒが「０」の場合である。なお、第３の類似度Ｒに応じて求めた移動量Ｍｘが“０画素”と求められた場合には、実際の移動量を“１画素”とする。

一方、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を縦方向に移動させる場合、ＣＰＵ１９は、現在の走査線上の各位置での第３の類似度Ｒを考慮して、現在の走査線から次の走査線への移動量Ｍｙを計算する。移動量Ｍｙの具体的な算出方法は、本出願人が先に出願したＷＯ２００５／１０１３１３号公報に記載の発明に準ずる。このような移動量Ｍｙの計算は非常に簡単なものである。また、第３の類似度Ｒに応じて求められる移動量Ｍｙは、現在の走査線における平均的な第３の類似度Ｒが小さく（つまり「０」に近く）、各位置で抽出された部分画像２４とテンプレート画像２２との類似性が平均的に高く、現在の走査線が合致位置(Ｘ₁,Ｙ₁)に近いほど、小さくなることが多い。一方、移動量Ｍｙは、現在の位置での第３類似度Ｒが大きく（つまり「１」に近く）、部分画像２４とテンプレート画像２２との類似性が低く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)から離れているほど、大きくなることが多い。移動量Ｍｙの最大値は、第３の類似度Ｒの平均値が「１」の場合であり、移動量Ｍｙの最小値は、第３の類似度Ｒの平均値が「０」の場合である。なお、第３の類似度Ｒに応じて求めた移動量Ｍｙが“０画素”と求められた場合には、実際の移動量を“１画素”とする。

このように、ステップＳ１０で求めた第３の類似度Ｒに応じて、現在の抽出位置から次の抽出位置への移動量を決定することにより、テンプレートマッチングの最中に合致位置(Ｘ₁,Ｙ₁)との位置関係に応じて簡単に適切な移動間隔を設定できる。各位置で逐次行われる移動量の計算は非常に簡単なものであり、この計算を追加したことによってテンプレートマッチングの処理が複雑化することはない。

（３）検索範囲制御の処理
図４のステップＳ１２において、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を次の位置へ移動させると判定すると、ＣＰＵ１９は、ステップＳ１０で求めて、ステップＳ１１で保存した第３の類似度Ｒに応じて、次に部分画像２４を抽出する範囲を決定する。

ＣＰＵ１９は、入力画像２２のＸ方向の長さをＬｘ，Ｙ方向の長さをＬｙとすると、次の式（９）および式（１０）により、次に部分画像２４を抽出する範囲のＸ方向の長さをＥｘ，Ｙ方向の長さをＥｙを算出する。

Ｅｘ ＝ （Ｌｘ／２）×Ｒ …式(９)
Ｅｙ ＝ （Ｌｙ／２）×Ｒ …式(１０)
このような範囲の計算は非常に簡単なものである。また、第３の類似度Ｒに応じて求められる範囲（Ｘ方向の長さＥｘ，Ｙ方向の長さＥｙ）は、現在の位置での第３類似度Ｒが小さく（つまり「０」に近く）、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いほど、狭くなることが多い。一方、この範囲（Ｘ方向の長さＥｘ，Ｙ方向の長さＥｙ）は、現在の位置での第３類似度Ｒが大きく（つまり「１」に近く）、部分画像２４とテンプレート画像２２との類似性が低く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)から離れているほど、広くなることが多い。

このように、ステップＳ１０で求めた第３の類似度Ｒに応じて、次に部分画像２４を抽出する範囲（Ｘ方向の長さＥｘ，Ｙ方向の長さＥｙ）を決定することにより、テンプレートマッチングの最中に合致位置(Ｘ₁,Ｙ₁)との位置関係に応じて簡単に適切な範囲を設定できる。各位置で逐次行われる範囲の計算は非常に簡単なものであり、この計算を追加したことによってテンプレートマッチングの処理が複雑化することはない。

以上説明した（１）〜（３）の処理は独立に実行しても良いし、組み合わせて実行しても良い。

なお、上記した第１実施形態では、図３のステップＳ８において、ステップＳ５〜Ｓ７の出力値を正規化した後に、その平均値を求め、その値を「第１の類似度ｒ_T」としたが、本発明はこれに限定されない。ステップＳ５〜Ｓ７の出力値を正規化した後に、その和（＝（Ｕ_R＋Ｕ_G＋Ｕ_B））を求め、その値を「第１の類似度ｒ_T」としても良い。和（＝（Ｕ_R＋Ｕ_G＋Ｕ_B））の場合でも、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

また、上記した第１実施形態では、図３のステップＳ９において、ステップＳ４で算出した各色成分の最小残差を正規化した後に、その平均値を求め、その値を「第２の類似度ｒ_S」としたが、本発明はこれに限定されない。ステップＳ４で算出した各色成分の最小残差を正規化した後に、その和（＝（Ｈ_R＋Ｈ_G＋Ｈ_B））を求め、その値を「第２の類似度ｒ_S」としても良い。和（＝（Ｈ_R＋Ｈ_G＋Ｈ_B））の場合でも、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

また、上記した第１実施形態では、テンプレート画像２２および部分画像２４内の全ての画素の濃度値Ａ_iを加算した加算値を用いる例を示したが、平均値を用いても良い。すなわち、テンプレート画像２２および部分画像２４内の全ての画素の濃度値Ａ_iを加算し、それぞれ面積で除した値を用いても良い。

また、上記した第１実施形態では、テンプレート画像２２および部分画像２４内の全ての画素の濃度値Ａ_iを加算する例を示したが、一部の画素の濃度値Ａ_iを加算しても良い。この場合、テンプレート画像２２および部分画像２４において、対応する部分の画素の濃度値Ａ_iを加算すれば良い。

また、上記した第１実施形態では、３つの色成分（つまりＲＧＢ成分）を色成分ごとに演算を行って各種類似度を求める例を挙げて説明したが、本発明はこれに限定されない。例えば、３つの色成分のうち、少なくとも１つの色成分（例えばＧ成分）だけを演算に用いて各種類似度を求めても良い。また、Ｒ成分、Ｇ成分,Ｂ成分の第１濃度加算値Ｎ₂₂に代えて、テンプレート画像２２に含まれる全ての色成分の画素の濃度値を加算したものを使用しても良い。同様に、Ｒ成分、Ｇ成分,Ｂ成分の第２濃度加算値Ｎ₂₄に代えて、部分画像２４に含まれる全ての色成分の画素の濃度値を加算したものを使用しても良い。

また、上記した第１実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第２実施形態）
第２実施形態では、コンピュータを例に挙げて説明を行う。

図６は、第２実施形態のコンピュータ１００の構成を示す図である。コンピュータ１００は、図６に示すように、取得部１０１と画像処理部１１４と記録部１１５と画像表示部１１７と操作部１１８とＣＰＵ１１９とを備える。取得部１０１は、有線、無線、記録媒体用のドライブなどを介して、電子カメラなどの外部機器や記録媒体から画像データを取得する。画像処理部１１４は、第１実施形態の画像処理部１４と同様である。記録部１１５は、画像データなどを記録する。画像表示部１１７は、液晶表示素子などの画像表示素子を備える。操作部１１８は、電源ボタン、マウス、キーボードなどを含む。ＣＰＵ１１９は、各部を統合的に制御する。また、ＣＰＵ１１９は、各処理を実行するためのプログラムを予め記録している。

ＣＰＵ１１９は、取得部１０１により取得した画像や、記録部１１５に記録された画像に対して、第１実施形態の図３および図４のフローチャートで説明した処理を行うためのプログラムを記録している。

そして、操作部１１８を介したユーザ指示に基づいて、第１実施形態の図３および図４のフローチャートで説明した処理と同様の処理を行う。

上記のように、第２実施形態のコンピュータ１００によれば、第１実施形態と同様の効果を得ることができる。

また、上記した各実施形態では、演算用の部分画像２４とテンプレート画像２２の形状が矩形状である例を説明したが、本発明はこれに限定されない。部分画像２４とテンプレート画像２２は、矩形状である必要はない。他の形状でも本質的な処理は同じである。

さらに、上記した各実施形態では、図１の電子カメラ１０や図６のコンピュータ１００を例にテンプレートマッチングの説明を行ったが、本発明はこれに限定されない。その他、試料（半導体ウエハや液晶基板、プリント基板、生物標本（例えば細胞）など）の観察や検査や位置合わせなどを行う観察装置、試料の局所領域を電子線で走査して画像を取り込む電子顕微鏡装置、監視カメラなどにも、本発明を適用できる。また、試料の局所領域の画像に限らず、試料の全面の画像を一括で取り込む装置にも、本発明を適用できる。また、第１実施形態の電子カメラに外部のコンピュータを接続し、第１実施形態で説明した処理の一部をコンピュータにより実現する場合でも、同様の効果を得ることができる。

また、上記した実施形態では、入力画像（画像情報を含む二次元の入力信号）に対してテンプレートマッチングを行う例について説明したが、本発明はこれに限定されない。その他、音声情報を含む一次元の入力信号（入力音声）に対してテンプレートマッチングを行う場合（信号処理）にも、本発明を同様に適用できる。一次元の入力信号を対象とする場合、上述の「画像の濃度」を「信号の強度」に置き換えて考えれば良い。一次元の入力信号の場合には、入力信号に幾何学的変化（縮尺の変化など）があっても正確に合致位置を特定することができる。

Claims (7)

1. 複数の色成分を含むテンプレート画像の画像情報について、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記テンプレート画像内の全ての画素について加算するか、または、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記テンプレート画像内の一部の画素について加算して第１の特徴量を算出する第１の算出手段と、
   前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分画像の前記画像情報について、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記部分画像内の全ての画素について加算するか、または、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記部分画像内の一部の画素について加算して第２の特徴量を算出する第２の算出手段と、
   前記テンプレート画像の前記画像情報と前記部分画像の前記画像情報とから残差量を算出する第３の算出手段と、
   前記第１の特徴量と前記第２の特徴量とを比較することにより、前記テンプレート画像と前記部分画像との第１の類似度を求める第１の演算手段と、
   前記残差量に基づいて、第２の類似度を求める第２の演算手段と、
   前記第１の類似度と前記第２の類似度とに基づいて、第３の類似度を求める第３の演算手段と、
   前記入力画像の各位置で求められた前記第３の類似度を比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えた
   ことを特徴とするテンプレートマッチング装置。
2. 請求項１に記載のテンプレートマッチング装置において、
   前記第１の算出手段は、前記テンプレート画像の前記画像情報を前記テンプレート画像内の全ての画素について各色成分ごとに加算するか、または、前記画像情報を前記テンプレート画像内の一部の画素について各色成分ごとに加算して第１の特徴量を算出し、
   前記第２の算出手段は、前記部分画像の前記画像情報を前記部分画像内の全ての画素について各色成分ごとに加算するか、または、前記画像情報を前記部分画像内の一部の画素について各色成分ごとに加算して第２の特徴量を算出し、
   前記第３の算出手段は、前記テンプレート画像の前記画像情報と前記部分画像の前記画像情報とについて、各色成分ごとに演算を施して前記残差量を算出し、
   前記第１の演算手段は、前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記第１の類似度を求め、
   前記第２の演算手段は、前記残差量の同じ色成分どうしを演算することにより前記第２の類似度を求め、
   前記第３の演算手段は、前記第１の類似度と前記第２の類似度とについて、各色成分ごとに演算を施して前記第３の類似度を求める
   ことを特徴とするテンプレートマッチング装置。
3. 請求項１または請求項２に記載のテンプレートマッチング装置において、
   前記演算手段は、前記第１の特徴量と前記第２の特徴量との差分が所定の閾値以下である場合のみ、前記第１の類似度と前記第２の類似度と前記第３の類似度とを算出する
   ことを特徴とするテンプレートマッチング装置。
4. 請求項１または請求項２に記載のテンプレートマッチング装置において、
   前記抽出手段は、前記第３の類似度に応じて、現在の抽出位置から次の抽出位置への移動量を決定する
   ことを特徴とするテンプレートマッチング装置。
5. 請求項１から請求項４の何れか１項に記載のテンプレートマッチング装置を備えることを特徴とするカメラ。
6. 複数の色成分を含むテンプレート画像の画像情報について、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記テンプレート画像内の全ての画素について加算するか、または、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記テンプレート画像内の一部の画素について加算して第１の特徴量を算出する第１の算出手順と、
   前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手順と、
   前記抽出手順において抽出された前記部分画像の画像情報について、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記部分画像内の全ての画素について加算するか、または、前記複数の色成分のうち、少なくとも１色の前記画像情報を前記部分画像内の一部の画素について加算して第２の特徴量を算出する第２の算出手順と、
   前記テンプレート画像の前記画像情報と前記部分画像の前記画像情報とから残差量を算出する第３の算出手順と、
   前記第１の特徴量と前記第２の特徴量とを比較することにより、前記テンプレート画像と前記部分画像との第１の類似度を求める第１の演算手順と、
   前記残差量に基づいて、第２の類似度を求める第２の演算手順と、
   前記第１の類似度と前記第２の類似度とに基づいて、第３の類似度を求める第３の演算手順と、
   前記入力画像の各位置で求められた前記第３の類似度を比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手順と
   をコンピュータで実現することを特徴とするテンプレートマッチングプログラム。
7. 請求項６に記載のテンプレートマッチングプログラムにおいて、
   前記第１の算出手順では、前記テンプレート画像の前記画像情報を前記テンプレート画像内の全ての画素について各色成分ごとに加算するか、または、前記画像情報を前記テンプレート画像内の一部の画素について各色成分ごとに加算して第１の特徴量を算出し、
   前記第２の算出手順では、前記部分画像の前記画像情報を前記部分画像内の全ての画素について各色成分ごとに加算するか、または、前記画像情報を前記部分画像内の一部の画素について各色成分ごとに加算して第２の特徴量を算出し、
   前記第３の算出手順では、前記テンプレート画像の前記画像情報と前記部分画像の前記画像情報とについて、各色成分ごとに演算を施して前記残差量を算出し、
   前記第１の演算手順では、前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記第１の類似度を求め、
   前記第２の演算手順では、前記残差量の同じ色成分どうしを演算することにより前記第２の類似度を求め、
   前記第３の演算手順では、前記第１の類似度と前記第２の類似度とについて、各色成分ごとに演算を施して前記第３の類似度を求める
   ことを特徴とするテンプレートマッチングプログラム。

Images