JP4770965B2 - 画像マッチング装置、およびカメラ - Google Patents

Description

本発明は、テンプレートマッチングを行うための画像マッチング装置、および画像マッチング機能を備えたカメラに関する。

次のようなパターン・マッチング方法が知られている。このパターン・マッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来のパターン・マッチング方法を用いた場合には、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合には、その両画像間の輝度成分の値に違いが生じるため、テンプレートマッチングの精度が低下するという問題があった。

（１）請求項１に記載の画像マッチング装置は、各画素が輝度成分と色差成分とを有するテンプレート画像と、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像とに基づいて、前記テンプレート画像と前記ターゲット画像との前記輝度成分に基づく輝度類似度と、前記テンプレート画像と前記ターゲット画像との前記色差成分に基づく色差類似度とを算出する成分類似度算出手段と、前記テンプレート画像または前記ターゲット画像の色差成分の値に基づいて、前記テンプレート画像または前記ターゲット画像の無彩色度βを示す０〜１の値を算出する無彩色度算出手段と、前記無彩色度算出手段で算出した前記無彩色度βを示す値を用いて、前記輝度類似度と前記色差類似度とに（１−β）とβの重み付けを行って、前記テンプレート画像と前記ターゲット画像との類似度を算出する類似度算出手段と、前記類似度算出手段による前記類似度の算出結果に基づいて、前記入力画像内における前記テンプレート画像との類似度が最も高い前記ターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする。
（２）請求項２に記載の画像マッチング装置は、各画素が輝度成分と色差成分とを有するテンプレート画像と、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像とに基づいて、前記テンプレート画像と前記ターゲット画像のそれぞれについて前記輝度成分のエッジを抽出して輝度エッジ画像を生成し、前記テンプレート画像と前記ターゲット画像との前記輝度エッジ画像に基づく輝度類似度と、前記テンプレート画像と前記ターゲット画像との前記色差成分に基づく色差類似度とを算出する成分類似度算出手段と、前記テンプレート画像または前記ターゲット画像の色差成分の値に基づいて、前記テンプレート画像または前記ターゲット画像の無彩色度βを示す０〜１の値を算出する無彩色度算出手段と、前記無彩色度算出手段で算出した前記無彩色度βを示す値を用いて、前記輝度類似度と前記色差類似度とに（１−β）とβの重み付けを行って、前記テンプレート画像と前記ターゲット画像との類似度を算出する類似度算出手段と、前記類似度算出手段による前記類似度の算出結果に基づいて、前記入力画像内における前記テンプレート画像との類似度が最も高い前記ターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする。
（３）請求項３に記載の画像マッチング装置は、請求項１又は２に記載の画像マッチング装置において、前記無彩色度βを示す値は、微分可能であり、かつ出力値が一意に決まるシグモイド関数により出力される値であることを特徴とする。
（４）請求項４に記載のカメラは、被写体像を撮像して画像を取得する撮像手段と、請求項１〜３のいずれか一項に記載の画像マッチング装置とを備えることを特徴とする。

本発明によれば、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合でも、テンプレートマッチング処理の精度が低下することを防ぐことができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 テンプレート画像Ａ、画像Ｉ、およびターゲット画像Ｂの具体例を示す図である。 テンプレート画像Ａとターゲット画像Ｂを９つのブロックに分割した場合の具体例を示す図である。 画像の明るさが変化した場合の具体例を示す図である。 シグモイド関数の具体例を示す図である。 テンプレート画像が無彩色の場合の具体例を示す図である。 ブロックごとの各成分の平均値の算出結果例を示す図である。 Ｙエッジ画像の生成例を示す図である。 Ｙ画像とＹエッジ画像の具体例を示す図である。 テンプレート画像とターゲット画像のそれぞれについて、ブロックごとの各成分の平均値の算出結果例を示した図である。 テンプレート画像とターゲット画像の類似度値の算出例を示す図である。 Ｙエッジ画像を生成した場合のテンプレート画像とターゲット画像のそれぞれについて、ブロックごとの各成分の平均値の算出結果例を示した図である。 Ｙエッジ画像を生成した場合のテンプレート画像とターゲット画像の類似度値の算出例を示す図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。そして、制御装置１０４は、特定した領域をフレーム間で追跡することによって、被写体追跡処理を行う。

具体的には、制御装置１０４は、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームとのマッチング演算を行う。例えば、制御装置１０４は、図２に示すように、テンプレート画像Ａを用いて画像Ｉ内における被写体位置を特定する。ここで用いるテンプレート画像Ａは、あらかじめ使用者からの指示に基づいて取得される。例えば、使用者は、スルー画の最初のフレームがモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。制御装置１０４は、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＳＤＲＡＭに記憶する。

制御装置１０４は、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）を対象として、この画像Ｉ内の所定の位置にテンプレート画像と同じ大きさのターゲット枠を設定し、設定したターゲット枠内のターゲット画像Ｂをテンプレートマッチングの対象とする。すなわち、制御装置１０４は、ターゲット枠を画像Ｉ内で移動させながら、各ターゲット枠位置におけるターゲット画像Ｂと、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａとターゲット画像Ｂとの類似度が最も高い合致領域の画像Ｉ内における座標値を被写体位置として特定する。

なお、制御装置１０４は、画像Ｉの全体ではなく、画像内からテンプレート画像Ａを抽出した位置を含む所定範囲内（探索対象領域内）を対象としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。本実施の形態では、制御装置１０４は、画像Ｉ内に設定した探索対象領域内を対象としてテンプレートマッチングを行う例について説明する。

本実施の形態では、テンプレート画像Ａ内の各画素は、テンプレート画像Ａ内における横方向の画素位置を示すｍと、縦方向の画素位置を示すｎとを用いて、Ａｍｎと表すものとする。例えば、テンプレート画像Ａにおける左上端の画素はＡ_１１と表される。また、ターゲット画像Ｂ内の各画素は、ターゲット画像Ｂ内における横方向の画素位置を示すｍと、縦方向の画素位置を示すｎとを用いて、Ｂｍｎと表すものとする。例えば、ターゲット画像Ｂにおける左上端の画素はＢ_１１と表される。

テンプレートマッチングの手法としては、一般的に、公知の残差逐次検定法などが用いられる。この残差逐次検定法では、次式（１）に示す残差和により類似度値ｒを算出し、算出した類似度値ｒに基づいてテンプレートマッチングを行う。この次式（１）により算出される類似度値ｒは、その値が小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高いことを示し、その値が大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が低いことを示す。

本実施の形態では、テンプレート画像Ａとターゲット画像Ｂは、いずれも輝度Ｙ、色差ＣｂおよびＣｒのＹＣｂＣｒ表色系で表される画像データであるものとし、制御装置１０４は、式（１）を用いてＹ成分の値に基づく類似度値ｒを算出し、式（１）を用いてＣｂ成分の値に基づく類似度値ｒを算出し、式（１）を用いてＣｒ成分の値に基づく類似度値ｒを算出する。そして、算出したＹ成分の値に基づく類似度値ｒとＣｂ成分の値に基づく類似度値ｒとＣｒ成分の値に基づく類似度値ｒの合計値を、テンプレート画像Ａとターゲット画像Ｂとの類似度値として算出する。

なお、式（１）では、テンプレート画像Ａとターゲット画像Ｂの対応する画素の差分をとり、それを画像全体で合計することによって類似度値を算出しているが、本実施の形態では、これを画素ごとではなくブロックごとに行う。すなわち、本実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとをそれぞれ複数のブロックに分割し、テンプレート画像Ａとターゲット画像Ｂの対応するブロック（図３で後述するブロック番号が同じブロック）同士でＹ成分の値の平均値の差分、Ｃｂ成分の値の平均値の差分、およびＣｒ成分の値の平均値の差分をとり、これを画像全体で合計することによって類似度値を算出する。

具体的には、制御装置１０４は、図３に示すように、テンプレート画像Ａおよびターゲット画像Ｂを、複数のブロック（領域）に分割する。例えば、テンプレート画像Ａの大きさとターゲット画像Ｂの大きさをそれぞれ９×９画素の大きさとし、１つのブロックの大きさが３×３画素となるようにテンプレート画像Ａとターゲット画像Ｂとを９つのブロックに分割する。なお、本実施の形態では、各ブロックを図３に示す番号を用いて表すこととし、例えば、左上のブロックはブロック１と表記する。

そして、制御装置１０４は、テンプレート画像Ａおよびターゲット画像Ｂのそれぞれについて、各ブロックごとに、Ｙ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を算出する。すなわち、図３に示す左上のブロックであるブロック１〜ブロック９のそれぞれのブロックごとに、Ｙ成分の値の平均値、Ｃｂ成分の値の平均値、Ｃｒ成分の値の平均値を算出する。

一般的なテンプレートマッチング処理においては、制御装置１０４は、このようにテンプレート画像Ａおよびターゲット画像Ｂのそれぞれについて算出した、各ブロックごとのＹ成分の値の平均値、Ｃｂ成分の値の平均値、Ｃｒ成分の値の平均値に基づいて、式（１）を用いた各成分の類似度値ｒを算出し、その合計値をテンプレート画像Ａとターゲット画像Ｂとの類似度値として、テンプレートマッチングを行う。

このようにテンプレート画像Ａおよびターゲット画像Ｂのそれぞれを対象として、各ブロックごとのＹ成分の値の平均値、Ｃｂ成分の値の平均値、Ｃｒ成分の値の平均値を算出し、これらに基づいてテンプレートマッチングを行った場合には、画像の明るさが変化すると、その影響はＹ成分の値の変動に影響を与えることとなり、テンプレートマッチングの精度が低下する可能性がある。

例えば、図４（ａ）に示すような日陰で撮影された暗い画像と、図４（ｂ）に示すような日向で撮影された明るい画像とでは、図４（ｃ）および（ｄ）に示すように、Ｙ成分の値の平均値が大きく異なる。なお、図４（ｃ）は、図４（ａ）に示す暗い画像内における領域４ａを対象として算出されたＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を示している。また、図４（ｄ）は、図４（ｂ）に示す明るい画像における領域４ｂを対象として算出されたＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を示している。

図４（ｃ）と図４（ｄ）とにおいて、同じブロック番号同士のＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値を比較すると、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値に大きな差はないが、Ｙ成分の値の平均値には大きな差が生じていることがわかる。これは、上述したように、図４（ａ）における領域４ａ内の画像と図４（ｂ）における領域４ｂ内の画像とで画像の明るさが異なっていることに起因する。

このため、例えば、図４（ａ）における領域４ａをテンプレート画像Ａとし、図４（ｂ）における領域４ｂをターゲット画像Ｂとし、上述したように、制御装置１０４は、式（１）により算出した各成分の類似度値の合計値をテンプレート画像Ａとターゲット画像Ｂとの類似度値として算出すると、算出される類似度値はＹ成分の影響を受けて大きい値となってしまう。すなわち、実際には、テンプレート画像Ａ内の被写体とターゲット画像Ｂ内の被写体との類似度が高い場合でも、画像の明るさの変化の影響を受けて類似度は低いと判定されてしまう。

すなわち、画像の明るさが変化した場合には、次式（２）によりテンプレート画像Ａとターゲット画像Ｂとの類似度値として算出すると、マッチング精度が低下してしまうことになる。

なお、式（２）において、Ｙ_Ａはテンプレート画像Ａの各ブロックのＹ成分の値の平均値、Ｃｂ_Ａはテンプレート画像Ａの各ブロックのＣｂ成分の値の平均値、Ｃｒ_Ａはテンプレート画像Ａの各ブロックのＣｒ成分の値の平均値を表す。また、Ｙ_Ｂはターゲット画像Ｂの各ブロックのＹ成分の値の平均値、Ｃｂ_Ｂはターゲット画像Ｂの各ブロックのＣｂ成分の値の平均値、Ｃｒ_Ｂはターゲット画像Ｂの各ブロックのＣｒ成分の値の平均値を表す。これらは、後に示す他の式においても同様である。

本実施の形態では、以下に示す方法で類似度値を算出してテンプレートマッチングを行うことにより、上記問題を解消する。まず、制御装置１０４は、テンプレート画像Ａが無彩色であるか有彩色であるかを示す指標である無彩色度βを次式（３）により算出する。無彩色度βは、その値が０に近いほど画像は無彩色に近く（無彩色度が高く）、０の場合には画像が完全無彩色であることを示す。また、その値が１に近いほど画像は有彩色に近く（無彩色度が低く）、１の場合には画像が完全有彩色であることを示す。

なお、βは、式（３）に示すように微分可能なシグモイド関数によって算出され、このシグモイド関数は、図５に示すように、入力値ｘの値に応じて０から１の範囲の値βを連続的に一意に出力するＳ字型関数であり、係数ａとｂとの値により傾きと出力値が１に漸近する位置が決まる。図５に示す例では、ａ＝６、ｂ＝６とした場合のシグモイド関数の具体例を示しており、本実施の形態では、無彩色度βは、ａ＝６、ｂ＝６として算出されるものとする。

また、入力値ｘは、次式（４）に算出される。なお、式（４）における正規化係数はあらかじめ実験に基づいて設定されており、本実施の形態では、例えば正規化係数＝３１０とする。

制御装置１０４は、式（３）により算出された無彩色度βを用いて、次式（５）によりテンプレート画像Ａとターゲット画像Ｂとの類似度値を算出する。

これにより、テンプレート画像Ａが完全有彩色または有彩色に近い場合（以下、まとめて「有彩色の場合」と呼ぶ）には、上述したように無彩色度βの値は大きい（１に近い）ため、Ｙ成分の類似度値に１−βをかけることで、明るさ変化の影響を受けるＹ成分の類似度値に掛ける重みを小さくすることができ、テンプレートマッチングの精度を向上することができる。

例えば、図４（ｃ）をテンプレート画像Ａの各ブロックごとに算出された各成分の類似度値の平均値とし、図４（ｄ）をターゲット画像Ｂの各ブロックごとに算出された各成分の類似度値の平均値とし、上述したように正規化関数を３１０とした場合には、式（４）により入力値ｘ＝１．４となる。この入力値ｘを用いて式（３）により無彩色度βを算出した場合には、β＝０．９となる。よって、式（５）において、Ｙ成分の類似度に掛ける重みは０．１となり、テンプレート画像Ａとターゲット画像Ｂとの類似度値の算出結果におけるＹ成分の類似度値の寄与率を１０％に抑えることができる。

これに対して、テンプレート画像Ａが完全無彩色または無彩色に近い場合（以下、まとめて「無彩色の場合」と呼ぶ）には、各画素のＣｂ成分の値、およびＣｒ成分の値は、無彩色を示す１２８に近い値となることから、各ブロックごとに算出されるＣｂ成分の類似度値の平均値と、Ｃｒ成分の類似度値の平均値も１２８に近い値となる。例えば、図６（ａ）に示す画像内の領域６ａ内の無彩色に近い画像をテンプレート画像Ａとした場合には、各ブロックにおける各成分の類似度値の平均値は、図６（ｃ）に示すように算出され、各ブロックのＣｂ成分の類似度値の平均値と、Ｃｒ成分の類似度値の平均値は、１２８に近い値となる。

このテンプレート画像Ａを用いて図６（ｂ）に示す画像を対象としてテンプレートマッチングを行った場合について考える。この場合、領域６ｂ内の無彩色に近い画像をターゲット画像Ｂとした場合の各ブロックにおける各成分の類似度値の平均値は図６（ｄ）に示すようになり、領域６ｃ内の無彩色に近い画像をターゲット画像Ｂとした場合の各ブロックにおける各成分の類似度値の平均値は図６（ｅ）に示すようになり、いずれのターゲット画像Ｂについても各ブロックのＣｂ成分の類似度値の平均値とＣｒ成分の類似度値の平均値とは１２８に近い値となる。

図７（ａ）に図６（ｃ）に示した算出結果と図６（ｄ）に示した算出結果の各ブロック後との差分の絶対値を示す。この場合のＹ成分の類似度値の平均値の合計値は８８、Ｃｂ成分の類似度値の平均値の合計値は８、Ｃｒ成分の類似度値の平均値の合計値は９となる。また、図７（ｂ）に図６（ｃ）に示した算出結果と図６（ｅ）に示した算出結果の各ブロック後との差分の絶対値を示す。この場合のＹ成分の類似度値の平均値の合計値は１４８、Ｃｂ成分の類似度値の平均値の合計値は１０、Ｃｒ成分の類似度値の平均値の合計値は１２となる。

この図７（ａ）と図７（ｂ）に示す結果より、テンプレート画像Ａとターゲット画像Ｂとの類似度値の算出において、Ｃｒ成分の類似度値の寄与率とＣｂ成分の類似度値の寄与率とを大きくしてしまうと、領域６ｂと領域６ｃとは、いずれもテンプレート画像Ａとの類似度が高いと判定されてしまう可能性が高く、テンプレートマッチングの精度を低下させてしまう。よって、式（５）を用いることにより、上述したように無彩色度βの値は小さい（０に近い）ため、Ｃｒ，Ｃｂの両成分の類似度値にβをかけることで、Ｃｒ，Ｃｂの両成分の類似度値に掛ける重みを小さくすることができ、テンプレートマッチングの精度が低下するのを防ぐことができる。

例えば、図６（ｃ）に示すように、この場合のテンプレート画像Ａについて算出される無彩色度βは０．０１であるため、式（５）において、これをＣｒ，Ｃｂの両成分の類似度値に掛ければ、テンプレート画像Ａとターゲット画像Ｂとの類似度値の算出においてＣｒ成分の類似度値およびＣｂ成分の類似度値をほぼ無視することができる。

このように、制御装置１０４は、式（５）を用いてテンプレート画像Ａとターゲット画像Ｂとの類似度値を算出することにより、テンプレート画像Ａが有彩色の場合には画像の明るさの変化に対応して精度の高いテンプレートマッチングを可能とするとともに、テンプレート画像Ａが無彩色の場合にもテンプレートマッチングの精度が低下するのを防ぐことができる。しかしながら、式（５）により類似度値を算出する場合、テンプレート画像Ａが無彩色の場合には、Ｙ成分の類似度に掛ける重みが大きくなることから、画像の明るさ変化に対応することができない。

本実施の形態では、次のようにエッジ画像を用いて類似度値を算出することにより、テンプレート画像が無彩色の場合にも明るさの変化に対応してテンプレートマッチングの精度を向上させる方法について説明する。上述したように、画像の明るさが変化した場合には、画像のＹ成分の値に影響するため、本実施の形態では、テンプレート画像Ａとターゲット画像Ｂについて、Ｙ成分のエッジを抽出したエッジ画像（以下、「Ｙエッジ画像」と呼ぶ）を生成してテンプレート画像Ａとターゲット画像Ｂとの類似度値を算出する。

ここで、図８を用いてＹエッジ画像の生成方法の一例について説明する。図８（ａ）は、テンプレート画像Ａの各画素のＹ成分の値を示した図である。制御装置１０４は、このようなテンプレート画像Ａの各画素のＹ成分の値を右下に１画素ずつずらして、図８（ｂ）に示す画像Ａ´を生成する。例えば、テンプレート画像Ａ内の画素８ａのＹ成分の値は、画像Ａ´では元の位置の左下の画素８ａ´のＹ成分の値となり、テンプレート画像Ａ内の画素８ｂのＹ成分の値は、画像Ａ´では元の位置の左下の画素８ｂ´のＹ成分の値となる。

また、テンプレート画像Ａの右端の各画素のＹ成分の値は、画像Ａ´の左端の一画素下に移動させる。例えば、テンプレート画像Ａ内の右端の上から２番目の画素８ｃのＹ成分の値は、画像Ａ´では左端の上から３番目の画素８ｃ´のＹ成分の値となる。また、テンプレート画像Ａの下端の各画素のＹ成分の値は、画像Ａ´の上端の一画素右に移動させる。例えば、テンプレート画像Ａ内の下端の左から４番目の画素８ｄのＹ成分の値は、画像Ａ´では上端の左から５番目の画素８ｄ´のＹ成分の値となる。

そして、制御装置１０４は、図８（ｃ）に示すように、テンプレート画像Ａの各画素のＹ成分の値と生成した画像Ａ´の各画素のＹ成分の値との差分の絶対値をＹエッジ画像として生成する。制御装置１０４は、同様の処理をターゲット画像Ｂに対しても行って、ターゲット画像ＢのＹエッジ画像を生成する。これによって、例えば、図９（ａ）に示すＹ画像から図９（ｂ）に示すようなＹエッジ画像が生成される。

制御装置１０４は、このように生成したテンプレート画像ＡのＹエッジ画像を、上述したように３画素×３画素を１フロックとした９つのブロックに分割し、各ブロックごとにＹエッジ成分の値の平均値Ｙ_{ｅｄｇｅ＿Ａ}を算出する。また、同様にターゲット画像ＢのＹエッジ画像を９つのブロックに分割し、各ブロックごとにＹエッジ成分の値の平均値Ｙ_{ｅｄｇｅ＿Ｂ}を算出する。そして、制御装置１０４は、次式（６）によりテンプレート画像Ａとターゲット画像Ｂとの類似度値を算出する。

例えば、図１０（ａ）に示す無彩色のテンプレート画像Ａと、図１０（ｂ）に示すターゲット画像Ｂ１と、図１０（ｃ）に示すターゲット画像Ｂ２と、図１０（ｄ）に示すターゲット画像Ｂ４とがある場合、実際にはテンプレート画像Ａはターゲット画像Ｂ２と最も類似度が高いものとする。この場合に、テンプレート画像Ａと、ターゲット画像Ｂ１、ターゲット画像Ｂ２、ターゲット画像Ｂ４のそれぞれとの類似度値を式（２）を用いて算出した場合には、図１１に示す結果となる。

すなわち、テンプレート画像Ａとターゲット画像Ｂ１の類似度値は４２７、テンプレート画像Ａとターゲット画像Ｂ２の類似度値は４８７、テンプレート画像Ａとターゲット画像Ｂ３の類似度値は２８４となる。この場合、上述したように、テンプレート画像Ａはターゲット画像Ｂ２と最も類似度が高いにもかかわらず、テンプレート画像Ａが無彩色であったためにテンプレートマッチングの精度が低下して、テンプレート画像Ａと最も類似度が高いのはターゲット画像Ｂ３であると判定されることになる。

これに対して、テンプレート画像Ａとターゲット画像Ｂ１，Ｂ２、Ｂ３とについてＹエッジ画像を生成した場合には、テンプレート画像Ａとターゲット画像Ｂ１，Ｂ２、Ｂ３との各ブロックのＹエッジ成分、Ｃｂ成分、およびＣｒ成分のそれぞれの値の平均値は図１２に示すようになる。

この場合に、テンプレート画像Ａと、ターゲット画像Ｂ１、ターゲット画像Ｂ２、ターゲット画像Ｂ４のそれぞれとの類似度値を式（６）を用いて算出した場合には、図１３に示す結果となる。すなわち、テンプレート画像Ａとターゲット画像Ｂ１の類似度値は５８、テンプレート画像Ａとターゲット画像Ｂ２の類似度値は３０、テンプレート画像Ａとターゲット画像Ｂ３の類似度値は６１となる。その結果、実際の類似度が最も高いテンプレート画像Ａとターゲット画像Ｂ２との類似度値が最小となり、テンプレートマッチングの結果、正確に被写体位置を特定して追尾を行うことが可能になる。

なお、制御装置１０４は、式（５）と式（６）とを組み合わせた次式（７）を用いてテンプレート画像Ａとターゲット画像Ｂとの類似度を算出することにより、テンプレート画像Ａが有彩色の場合、無彩色の場合を問わず、画像の明るさ変化に対応してテンプレートマッチングの精度をさらに向上させることができる。

上記式（５）〜式（７）の各算出式を用いた類似度値の算出方法は、式（７）を用いた場合が最もテンプレートマッチングの精度を向上することができ、式（６）を用いた場合、式（５）を用いた場合の順に精度が低下していく。しかし、処理速度は、式（５）を用いた場合が最も早く、式（６）を用いた場合、式（７）を用いた場合の順に低下していく。よって、テンプレートマッチングの精度と処理速度のいずれを重視するかにより、式（５）〜式（７）のいずれの算出式を用いて類似度を算出するかを決定する必要がある。いずれの算出式を使用するかは、使用者が任意に選択してもよく、カメラ１００の設定としていずれかの算出式を固定で用いてもよい。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂのそれぞれを複数のブロック（分割領域）に分割し、各ブロックごとにＹ成分の値の平均値と、Ｃｂ成分の値の平均値と、Ｃｒ成分の値の平均値を算出する。そして、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとの各成分の類似度値を算出し、各成分の類似度値に無彩色度βに基づく重みを掛けて、テンプレート画像Ａとターゲット画像Ｂとの類似度値を算出するようにした。これによって、テンプレート画像Ａが有彩色の場合には画像の明るさの変化に対応して精度の高いテンプレートマッチングを可能とするとともに、テンプレート画像Ａが無彩色の場合にもテンプレートマッチングの精度が低下するのを防ぐことができる。

（２）制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂのそれぞれについて、Ｙ成分のエッジを抽出してＹエッジ画像を生成し、テンプレート画像Ａとターゲット画像Ｂとの類似度値をＹエッジ成分、Ｃｂ成分、およびＣｒ成分に基づいて算出するようにした。これによって、テンプレート画像Ａが無彩色の場合にも、画像の明るさの変化に対応してさらに精度の高いテンプレートマッチングを可能とすることができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとをそれぞれ９つの領域に分割し、各領域ごとに各成分の値の平均値を算出して、この平均値を用いて各成分の類似度値を算出する例について説明した。しかしながら、制御装置１０４は、分割するブロック数を９つ以外のブロック数としてもよい。また、テンプレート画像Ａとターゲット画像Ｂと複数のブロックに分割せず、各画素における各成分の値を用いて類似度値を算出するようにしてもよい。

（２）上述した実施の形態では、制御装置１０４は、式（３）を用いて、テンプレート画像Ａが無彩色であるか有彩色であるかを示す指標である無彩色度βを算出し、算出した無彩色度βを式（５）や式（７）で用いてテンプレート画像Ａとターゲット画像Ｂとの類似度値を算出する例について説明した。しかしながら、制御装置１０４は、式（３）を用いて、ターゲット画像Ｂが無彩色であるか有彩色であるかを示す指標である無彩色度βを算出して、この算出結果を用いてテンプレート画像Ａとターゲット画像Ｂとの類似度値を算出するようにしてもよい。

（３）上述した実施の形態では、制御装置１０４は、図８（ａ）に示すテンプレート画像Ａの各画素のＹ成分の値を右下に１画素ずつずらして、図８（ｂ）に示す画像Ａ´を生成し、図８（ｃ）に示すように、テンプレート画像Ａの各画素のＹ成分の値と生成した画像Ａ´の各画素のＹ成分の値との差分の絶対値をＹエッジ画像として生成する例について説明した。しかしながら、制御装置１０４は、テンプレート画像Ａの各画素のＹ成分の値を右下以外の方向に１画素ずつずらして、図８（ｂ）に示す画像Ａ´を生成するようにしてもよい。

（４）上述した実施の形態では、制御装置１０４は、スルー画を対象として被写体追尾を行う例について説明した。しかしながら、カメラ１００が動画撮影機能を備えている場合には、制御装置１０４は、スルー画ではなく、撮影済みの動画のフレーム間で被写体追尾を行うようにしてもよい。

（５）上述し実施の形態では、カメラ１００が供える制御装置１０４がテンプレートマッチング処理を行って被写体追尾を行う例について説明した。しかしながら、テンプレートマッチング処理を実行するためのプログラムをパソコンなどその他の端末に記録して、それらの端末上で処理を実行することも可能である。この場合、カメラで撮影した動画像データを端末側に取り込んで、これを対象に処理を行うようにすれば、動画のフレーム間で被写体追尾を行うことが可能となる。また、本発明はカメラ付き携帯電話などに適用することも可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (4)

1. 各画素が輝度成分と色差成分とを有するテンプレート画像と、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像とに基づいて、前記テンプレート画像と前記ターゲット画像との前記輝度成分に基づく輝度類似度と、前記テンプレート画像と前記ターゲット画像との前記色差成分に基づく色差類似度とを算出する成分類似度算出手段と、
   前記テンプレート画像または前記ターゲット画像の色差成分の値に基づいて、前記テンプレート画像または前記ターゲット画像の無彩色度βを示す０〜１の値を算出する無彩色度算出手段と、
   前記無彩色度算出手段で算出した前記無彩色度βを示す値を用いて、前記輝度類似度と前記色差類似度とに（１−β）とβの重み付けを行って、前記テンプレート画像と前記ターゲット画像との類似度を算出する類似度算出手段と、
   前記類似度算出手段による前記類似度の算出結果に基づいて、前記入力画像内における前記テンプレート画像との類似度が最も高い前記ターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする画像マッチング装置。
2. 各画素が輝度成分と色差成分とを有するテンプレート画像と、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像とに基づいて、前記テンプレート画像と前記ターゲット画像のそれぞれについて前記輝度成分のエッジを抽出して輝度エッジ画像を生成し、前記テンプレート画像と前記ターゲット画像との前記輝度エッジ画像に基づく輝度類似度と、前記テンプレート画像と前記ターゲット画像との前記色差成分に基づく色差類似度とを算出する成分類似度算出手段と、
   前記テンプレート画像または前記ターゲット画像の色差成分の値に基づいて、前記テンプレート画像または前記ターゲット画像の無彩色度βを示す０〜１の値を算出する無彩色度算出手段と、
   前記無彩色度算出手段で算出した前記無彩色度βを示す値を用いて、前記輝度類似度と前記色差類似度とに（１−β）とβの重み付けを行って、前記テンプレート画像と前記ターゲット画像との類似度を算出する類似度算出手段と、
   前記類似度算出手段による前記類似度の算出結果に基づいて、前記入力画像内における前記テンプレート画像との類似度が最も高い前記ターゲット画像の位置を特定することによりテンプレートマッチング処理を実行するマッチング手段とを備えることを特徴とする画像マッチング装置。
3. 請求項１又は２に記載の画像マッチング装置において、
   前記無彩色度βを示す値は、微分可能であり、かつ出力値が一意に決まるシグモイド関数により出力される値であることを特徴とする画像マッチング装置。
4. 被写体像を撮像して画像を取得する撮像手段と、
   請求項１〜３のいずれか一項に記載の画像マッチング装置とを備えることを特徴とするカメラ。
   

Images