JP5083080B2 - 画像マッチング装置、およびカメラ - Google Patents

Description

本発明は、テンプレートマッチングを行うための画像マッチング装置、および画像マッチング機能を備えたカメラに関する。

次のようなパターン・マッチング方法が知られている。このパターン・マッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来のパターン・マッチング方法を用いた場合には、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合には、その両画像間の輝度成分の値に違いが生じるため、テンプレートマッチングの精度が低下するという問題があった。

請求項１の発明の画像マッチング装置は、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、テンプレート画像の色差成分の値と、ターゲット画像の色差成分の値とに基づく類似度を算出する第１の類似度算出手段と、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、テンプレート画像の輝度成分の値と、ターゲット画像の輝度成分の値と、テンプレート画像の色差成分の値とターゲット画像の色差成分の値との比率とに基づく類似度を算出する第２の類似度算出手段と、テンプレート画像の色成分の範囲が予め定められた無彩色の範囲にあるか否かを判定する第１の判定手段と、第１の判定手段によりテンプレート画像が無彩色の範囲にないことが判定された場合に、第１の類似度算出手段で算出された類似度に基づいて、テンプレート画像とターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第２の判定手段と、第１の判定手段によりテンプレート画像が無彩色の範囲にあることが判定された場合に、第２の類似度算出手段で算出された類似度に基づいて、テンプレート画像とターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第３の判定手段と、第２の判定手段または第３の判定手段によってテンプレートマッチング処理を行うと判定された場合に、テンプレート画像とターゲット画像とのテンプレートマッチング処理を実行する実行手段とを備えることを特徴とする。
請求項３の発明の画像マッチング装置は、各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、テンプレート画像の輝度成分の値と、ターゲット画像の輝度成分の値と、テンプレート画像の色差成分の値とターゲット画像の色差成分の値との比率とに基づく類似度を算出する類似度算出手段と、テンプレート画像の色成分の範囲が予め定められた無彩色の範囲にあるかを判定する第１の判定手段と、 第１の判定手段によりテンプレート画像が無彩色の範囲にあることが判定された場合に、算出された類似度に基づいて、テンプレート画像とターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第２の判定手段と、第２の判定手段によってテンプレートマッチング処理を行うと判定された場合に、テンプレート画像とターゲット画像とのテンプレートマッチング処理を実行する実行手段とを備えることを特徴とする。
請求項５の発明のカメラは、被写体像を撮像して、各画素が輝度成分と色差成分とを有する画像を取得する撮像手段と、撮像手段によって取得された画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、テンプレート画像の色差成分の値と、ターゲット画像の色差成分の値とに基づく類似度を算出する第１の類似度算出手段と、撮像手段によって取得された画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、テンプレート画像の輝度成分の値と、ターゲット画像の輝度成分の値と、テンプレート画像の色差成分の値とターゲット画像の色差成分の値との比率とに基づく類似度を算出する第２の類似度算出手段と、テンプレート画像の色成分の範囲が予め定められた無彩色の範囲にあるか否かを判定する第１の判定手段と、第１の判定手段によりテンプレート画像が無彩色の範囲にないことが判定された場合に、第１の類似度算出手段で算出された類似度に基づいて、テンプレート画像とターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第２の判定手段と、第１の判定手段によりテンプレート画像が無彩色の範囲にあることが判定された場合に、第２の類似度算出手段で算出された類似度に基づいて、テンプレート画像とターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第３の判定手段と、第２の判定手段または第３の判定手段によってテンプレートマッチング処理を行うと判定された場合に、テンプレート画像とターゲット画像とのテンプレートマッチング処理を実行する実行手段とを備えることを特徴とする。

本発明によれば、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合でも、テンプレートマッチング処理の精度が低下することを防ぐことができる。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。そして、制御装置１０４は、特定した領域をフレーム間で追跡することによって、被写体追跡処理を行う。

具体的には、制御装置１０４は、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームとのマッチング演算を行う。例えば、制御装置１０４は、図２に示すように、テンプレート画像Ａを用いて画像Ｉ内における被写体位置を特定する。ここで用いるテンプレート画像Ａは、あらかじめ使用者からの指示に基づいて取得される。例えば、使用者は、スルー画の最初のフレームがモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。制御装置１０４は、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＳＤＲＡＭに記憶する。

制御装置１０４は、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）を対象として、この画像Ｉ内の所定の位置にテンプレート画像と同じ大きさのターゲット枠を設定し、設定したターゲット枠内のターゲット画像Ｂをテンプレートマッチングの対象とする。すなわち、制御装置１０４は、ターゲット枠を画像Ｉ内で移動させながら、各ターゲット枠位置におけるターゲット画像Ｂと、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａとターゲット画像Ｂとの類似度が最も高い合致領域の画像Ｉ内における座標値を被写体位置として特定する。

なお、制御装置１０４は、画像Ｉの全体ではなく、画像内からテンプレート画像Ａを抽出した位置を含む所定範囲内（探索対象領域内）を対象としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。本実施の形態では、制御装置１０４は、画像Ｉ内に設定した探索対象領域内を対象としてテンプレートマッチングを行う例について説明する。

図３（ａ）はテンプレート画像Ａの具体例を示す図であり、図３（ｂ）はターゲット画像Ｂの具体例を示す図である。図３（ａ）および（ｂ）の各図においては、画像内の複数の領域のそれぞれが１つの画素を表しており、図３に示す例では、テンプレート画像Ａとターゲット画像Ｂは、それぞれ横１０画素×縦８画素の大きさの画像であることを示している。

ここで、テンプレート画像Ａ内の各画素は、テンプレート画像Ａ内における横方向の画素位置を示すｍと、縦方向の画素位置を示すｎとを用いて、Ａｍｎと表される。例えば、テンプレート画像Ａにおける左上端の画素はＡ_１１と表される。また、ターゲット画像Ｂ内の各画素は、ターゲット画像Ｂ内における横方向の画素位置を示すｍと、縦方向の画素位置を示すｎとを用いて、Ｂｍｎと表される。例えば、ターゲット画像Ｂにおける左上端の画素はＢ_１１と表される。

テンプレートマッチングの手法としては、一般的に、公知の残差逐次検定法などが用いられる。この残差逐次検定法では、次式（１）に示す残差和により類似度を算出し、算出した類似度に基づいてテンプレートマッチングを行う。この次式（１）により算出される類似度ｒは、その値が小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高いことを示し、その値が大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が低いことを示す。

本実施の形態では、テンプレート画像Ａとターゲット画像Ｂは、いずれも輝度Ｙ、色差Ｃｂ・ＣｒのＹＣｂＣｒ表色系で表される画像データであるものとし、制御装置１０４は、Ｙ、Ｃｂ、Ｃｒの各成分について式（１）を用いて類似度ｒを算出する。すなわち、制御装置１０４は、式（１）を用いて、テンプレート画像Ａとターゲット画像Ｂの各画素のＹ成分の画素濃度の差の絶対和をＹ成分の類似度ｒとして算出する。

また、制御装置１０４は、式（１）を用いて、テンプレート画像Ａとターゲット画像Ｂの各画素のＣｂ成分の画素濃度の差の絶対和をＣｂ成分の類似度ｒとして算出する。また、制御装置１０４は、式（１）を用いて、テンプレート画像Ａとターゲット画像Ｂの各画素のＣｒ成分の画素濃度の差の絶対和をＣｒ成分の類似度ｒとして算出する。そして、制御装置１０４は、式（１）によって算出した各成分の類似度ｒの合計値を、第１の類似度とし、この第１の類似度を用いてテンプレートマッチング処理を行う。

本実施の形態では、制御装置１０４は、上記第１の類似度を用いたテンプレートマッチングを行う前に、各ターゲット枠位置において以下に説明する第２の類似度を算出し、この第２の類似度の算出結果に基づいて、そのターゲット枠位置におけるターゲット画像Ｂを対象としたテンプレートマッチングを行うか否かを判断する。すなわち、制御装置１０４は、次式（２）によりテンプレート画像Ａとターゲット画像Ｂとの第２の類似度を算出する。なお、次式（２）において、Ｓ２２は次式（３）により算出され、Ｓ２４は次式（４）により算出される。

ここで、制御装置１０４は、第２の類似度は、Ｙ、Ｃｂ、Ｃｒの成分のうち、Ｙ成分以外の成分、すなわちＣｂ成分またはＣｒ成分について算出する。これは、以下の理由による。例えば、図４（ａ）から（ｄ）に示すように、時系列で入力される画像Ｉの明るさが変化した場合には、追尾対象の被写体を含むターゲット画像Ｂの明るさも変化することになる。この場合、上記式（２）を用いて第２の類似度を算出するときに、輝度成分であるＹ成分についての第２の類似度を算出した場合には、その算出結果は、ターゲット画像Ｂの明るさの影響を受け、フレームごとに大きく変化してしまうことになる。

これに対して、色差成分であるＣｂ成分やＣｒ成分についての第２の類似度は、ターゲット画像Ｂの明るさの影響が少ない。これはＹ成分は８ビットの０〜２５５の値を持っているのに比して、Ｃｂ成分やＣｒ成は７ビットの−１２７〜１２７の値にオフセット値１２８を加算しているためである。例えば、本実施の形態では、制御装置１０４は、Ｃｒ成分について第２の類似度を算出することとし、以下、図５と図６を用いて、Ｃｒ成分について第２の類似度を算出すべき理由について説明する。

本実施の形態では、制御装置１０４は、図５（ａ）に示すテンプレート画像Ａまたはターゲット画像Ｂを、図５（ｂ）に示すように、複数のブロック、例えば９つのブロック（領域）に分割する。例えば、テンプレート画像Ａの大きさとターゲット画像Ｂの大きさをそれぞれ９×９画素の大きさとし、１つのブロックの大きさが３×３画素となるようにテンプレート画像Ａとターゲット画像Ｂとを９つのブロックに分割する。本実施の形態では、各ブロックを図５（ｂ）に示す番号を用いて表すこととし、例えば、左上のブロックはブロック１と表記する。そして、制御装置１０４は、各ブロックごとに上記第２の類似度を算出する。

図６（ａ）は、明るい被写体を撮影して得られる明るい画像の具体例を示す図である。一方、図６（ｃ）は、暗い被写体を撮影して得られる暗い画像の具体例を示す図である。例えば、図６（ａ）に示す画像内からテンプレート画像Ａが抽出され、図６（ｃ）に示す画像内のターゲット画像Ｂとテンプレートマッチングを行う場合には、このテンプレート画像Ａとターゲット画像Ｂとに基づいて、上述した第２の類似度を用いた判定が行われることになる。

図６（ｂ）は、図６（ａ）に示すテンプレート画像Ａを対象として、ブロック１から９のそれぞれについて、Ｙ成分の値の合計値、Ｃｂ成分の値の合計値、およびＣｒ成分の値の合計値を算出した場合の具体例を示している。なお、テンプレート画像Ａ内の各ブロックについての各成分ごとの値の合計値は、ブロックごとに式（３）を適用してブロック内の各画素のＹ成分、Ｃｂ成分、およびＣｒ成分のそれぞれをブロック内の全画素について合計することにより算出される。この図６（ｂ）に示す例では、テンプレート画像Ａ全体のＹ成分についてのＳ２２は、全ブロックのＹ成分の値の合計値６ａ、すなわち８０３４となる。また、テンプレート画像Ａ全体のＣｒ成分についてのＳ２２は、全ブロックのＣｒ成分の値の合計値６ｂ、すなわち１０５８５となる。

一方、図６（ｄ）は、図６（ｃ）に示すターゲット画像Ｂを対象として、ブロック１から９のそれぞれについて、Ｙ成分の値の合計値、Ｃｂ成分の値の合計値、およびＣｒ成分の値の合計値を算出した場合の具体例を示している。なお、ターゲット画像Ｂ内の各ブロックについての各成分ごとの値の合計値は、ブロックごとに式（４）を適用してブロック内の各画素のＹ成分、Ｃｂ成分、およびＣｒ成分のそれぞれをブロック内の全画素について合計することにより算出される。この図６（ｄ）に示す例では、ターゲット画像Ｂ全体のＹ成分の値の合計値６ｃは２５８５となる。また、ターゲット画像Ｂ全体のＣｒ成分の値の合計値６ｂは１０４１９となる。

図６（ｂ）に示すテンプレート画像ＡのＹ成分の値の合計値６ａと、図６（ｄ）に示すターゲット画像ＢのＹ成分の値の合計値６ｃとを比較すると、テンプレート画像Ａの明るさとターゲット画像Ｂの明るさの違いに起因して、それぞれの算出結果は大きく異なっている。これに対して、図６（ｂ）に示すテンプレート画像ＡのＣｒ成分の値の合計値６ｂと、図６（ｄ）に示すターゲット画像ＢのＣｒ成分の値の合計値６ｄとを比較すると、テンプレート画像Ａの明るさとターゲット画像Ｂの明るさが違うにも関わらず、それぞれの算出結果はそれほど変化していない。

これは、上述したように、Ｙ成分は８ビットの０〜２５５の値を持っているのに比して、Ｃｂ成分やＣｒ成は７ビットの−１２７〜１２７の値にオフセット値１２８を加算しているためである。また、色差は色成分と輝度成分（Ｙ成分）との差分なので、値がＹ成分と比較して小さくなるためである。

このため、制御装置１０４が第２の類似度に基づいてテンプレートマッチングを行うか否かの判定を行う場合に、テンプレート画像Ａとターゲット画像Ｂとの間での比較の対象にＹ成分の値を含めてしまうと、テンプレート画像Ａ内の被写体とターゲット画像Ｂ内の被写体の類似度が高い場合であっても、両画像の明るさが異なるために、テンプレートマッチングを行わないと誤判定されてしまう可能性が生じる。これに対して、両画像のＣｒ成分の値は、両画像の明るさの違いの影響を受けないため、これを判定材料としてテンプレートマッチングを行うか否かの判定を行うようにしても、上記問題は生じない。

このような理由から、本実施の形態では、第２の類似度を用いた判定処理を行うに当たって、Ｙ成分は対象とせずに、Ｃｒ成分についての第２の類似度を算出することにする。なお、本実施の形態では、Ｃｒ成分の第２の類似度を用いる例について説明するが、Ｃｂ成分の第２の類似度を用いても、テンプレート画像Ａとターゲット画像Ｂの明るさの違いの影響を受けずに、テンプレートマッチングを行うか否かの判定を行うことができる。

制御装置１０４は、図５および図６を用いて説明した方法により算出したテンプレート画像ＡにおけるＣｒ成分の値の合計値６ｂを式（２）におけるＡ２２とし、ターゲット画像ＢにおけるＣｒ成分の値の合計値６ｄを式（２）におけるＡ２４として第２の類似度を算出する。そして、制御装置１０４は、式（２）により算出した第２の類似度が所定の閾値αより小さい場合には、テンプレート画像Ａとターゲット画像Ｂとは類似していると判定し、テンプレートマッチングを行うと判定する。

これに対して、制御装置１０４は、式（２）により算出した第２の類似度が所定の閾値α以上である場合には、テンプレート画像Ａとターゲット画像Ｂとは類似しないと判定し、テンプレートマッチングを行わないと判定する。なお、判定に用いる閾値αは、テンプレート画像Ａの大きさ（面積）と、マッチング演算を行う輝度値の範囲とに基づいて算出される。例えば、テンプレート画像Ａの大きさが、上述したように９（画素）×９（画素）＝８１であり、マッチング演算を行う輝度値の範囲が５０である場合には、α＝８１×５０＝４０５０となる。

これによって、第１の類似度を用いたテンプレートマッチングを行う前に、第２の類似度を用いてテンプレート画像Ａとターゲット画像Ｂとの類似度が高いか否かを判定し、類似度が低い場合には、テンプレートマッチングを行わないようにすることができ、テンプレートマッチングの速度を高速化することができる。

制御装置１０４は、テンプレートマッチングを行うと判定した場合に、上記式（１）により、テンプレート画像Ａとターゲット画像Ｂとの類似度、すなわち上述した第１の類似度を算出する。そして、制御装置１０４は、画像Ｉ内に設定した探索対象領域内でターゲット枠を移動させながら上記処理を繰り返し、テンプレート画像Ａとターゲット画像Ｂとの類似度が最も高い合致領域の画像Ｉ内における座標値を被写体位置として特定する。制御装置１０４は、スルー画の各フレームを対象として上記処理を行って被写体位置を特定し、フレーム間で被写体位置を追跡することによって、被写体追跡を行う。

図７は、第１の実施の形態におけるテンプレートマッチング処理の流れを示すフローチャートである。図７に示す処理は、撮像素子１０３から画像データが入力されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１において、制御装置１０４は、入力画像Ｉ内の探索対象領域内にターゲット枠を設定し、ターゲット枠内の部分画像をターゲット画像Ｂとして抽出する。その後、ステップＳ２へ進む。

ステップＳ２では、制御装置１０４は、上述した式（２）によりテンプレート画像Ａとターゲット画像ＢとのＣｒ成分についての第２の類似度を算出し、その算出結果が所定の閾値αより小さいか否かを判断する。ステップＳ２で否定判断した場合には、以下に説明するステップＳ３およびステップＳ４のテンプレートマッチング処理をスキップして、後述するステップＳ５へ進む。

これに対して、ステップＳ２で肯定判断した場合には、ステップＳ３へ進む。ステップＳ３では、制御装置１０４は、式（１）により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なって、ステップＳ４へ進む。ステップＳ４では、式（１）によるマッチング演算の結果として算出される類似度ｒを、そのときの画像Ｉ内におけるターゲット枠位置と対応付けてＳＤＲＡＭに記録し、ステップＳ５へ進む。

ステップＳ５では、制御装置１０４は、探索対象領域内の全範囲についてターゲット枠の移動が完了したことにより、探索が完了したか否か、すなわち探索対象領域の全範囲についてテンプレートマッチング処理が完了したか否かを判断する。ステップＳ５で否定判断した場合には、ステップＳ７へ進み、制御装置１０４は、探索対象領域内でのターゲット枠の設定位置をずらすことによって、ターゲット画像の抽出位置を移動させる。その後、ステップＳ１へ戻って処理を繰り返す。

これに対して、ステップＳ５で肯定判断した場合には、ステップＳ６へ進む。ステップＳ６では、制御装置１０４は、ステップＳ４でＳＤＲＡＭに記録しておいた、各位置ごとの類似度を比較して、その中で最大の類似度が算出されたターガット画像Ｂの抽出位置を特定する。そして、制御装置１０４は、特定したターゲット画像Ｂの抽出位置を、そのフレームにおけるテンプレート画像Ａとの合致位置として特定し、処理を終了する。

制御装置１０４は、図７に示す処理を、撮像素子１０３から入力される各フレームに対して実行することにより、各フレーム内で被写体位置を特定して、被写体追跡を行うことができる。例えば、制御装置１０４は、モニタ１０６に表示しているスルー画の各コマ上に、被写体位置を枠で囲って表示することにより、使用者が被写体追跡結果を視覚的に把握することができるようになる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、各画素が輝度成分と色差成分とを有するＹｃｂＣｒ表色系の入力画像Ｉ内に設定した探索枠内のターゲット画像Ｂと、各画素が輝度成分と色差成分とを有するＹｃｂＣｒ表色系のテンプレート画像Ａとを比較して、テンプレート画像ＡのＣｒ成分の値と、ターゲット画像ＢのＣｒ成分の値とに基づく第２の類似度を算出する。そして、制御装置１０４は、第２の類似度の算出結果に基づいて、テンプレート画像Ａとターゲット画像Ｂとのテンプレートマッチング処理を行うか否かを判定し、テンプレートマッチング処理を行うと判定した場合に、第１の類似度に基づくテンプレート画像Ａとターゲット画像Ｂとのテンプレートマッチング処理を実行するようにした。これによって、テンプレートマッチングを行う前に、テンプレート画像Ａとターゲット画像Ｂとの類似度が高いか否かを判定し、類似度が低い場合には、テンプレートマッチングを行わないようにすることができ、テンプレートマッチングの速度を高速化することができる。

（２）制御装置１０４は、第２の類似度が所定の閾値α以上である場合にテンプレートマッチング処理を行うと判定するようにした。これによって、第２の類似度と閾値とを比較することによって、テンプレート画像Ａとターゲット画像Ｂの類似度が高いか否かを容易に判定することができる。

―第２の実施の形態―
第１の実施の形態では、テンプレート画像Ａとターゲット画像Ｂとの明るさが異なる場合でも、テンプレートマッチングを行うか否かの判定を的確に行うために、Ｙ成分以外の成分、すなわちＣｂ成分またはＣｒ成分について算出した第２の類似度を用いて、上記判定を行う例について説明した。しかしながら、テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い被写体を包含している場合には、第１の実施の形態で上述した判定方法によりテンプレートマッチングを行うか否かの判定を行った場合に、正しい判定結果が得られない可能性がある。

なお、本実施の形態においては、テンプレート画像Ａまたはターゲット画像Ｂを構成するほとんどの画素において、Ｃｂ成分およびＣｒ成分の値が無彩色を示す１２８を基準として所定の範囲内、例えば１１８から１２８の範囲内にある場合に、そのテンプレート画像Ａまたはターゲット画像Ｂは無彩色に近い画像であると判定する。また、テンプレート画像Ａまたはターゲット画像Ｂを構成するほとんどの画素において、Ｃｂ成分およびＣｒ成分の値が上記無彩色に近い画像と判定される値の範囲内にない場合には、そのテンプレート画像Ａまたはターゲット画像Ｂは有彩色の画像であると判定する。

具体例を図８および図９を用いて説明する。例えば、図８（ａ）に示す画像内に含まれる人物の黒髪を含む範囲がテンプレート画像Ａとして抽出された場合について説明する。この場合、テンプレート画像Ａは、無彩色である黒色に近い色の画素で構成されることになり、９画素×９画素で構成されるテンプレート画像Ａの各画素におけるＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値は、図８（ｂ）に示すようになる。また、図８（ｂ）に示す各画素の各成分の値を図５（ｂ）に示した各ブロックごとに合計して、各ブロックごとのＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を算出すると図８（ｃ）に示すようになる。

一方、図９（ａ）に示す画像内に含まれるガラス面を含む範囲がターゲット画像Ｂとして抽出された場合について説明する。この場合、ターゲット画像Ｂは、無彩色である白色に近い色の画素で構成されることになり、９画素×９画素で構成されるターゲット画像Ｂの各画素におけるＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値は、図９（ｂ）に示すようになる。また、図９（ｂ）に示す各画素の各成分の値を図５（ｂ）に示した各ブロックごとに合計して、各ブロックごとのＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を算出すると図９（ｃ）に示すようになる。

ここで、図８（ｂ）と図９（ｂ）とを比較すると、テンプレート画像Ａは黒色でターゲット画像Ｂは白色であるため、各画素のＹ成分の値は、両画像間で大きく異なっている。これに対して、両画像とも無彩色に近い色であることから、ほとんどの画素のＣｂ成分とＣｒ成分は、上述した無彩色に近いと判定できる値の範囲内となっており、両者間に大きな差はない。その結果、図８（ｃ）と図９（ｃ）に示すように、各ブロックごとにＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を合計し、さらにそれを全ブロックについて合計した場合に、Ｓ２２に相当するテンプレート画像ＡのＣｒ成分の合計値８ａと、Ｓ２４に相当するターゲット画像ＢのＣｒ成分の合計値９ａとに大きな差は生じない。

このため、テンプレート画像Ａとターゲット画像Ｂとが無彩色に近い画像である場合には、一方が黒髪で一方がガラス面といったように、全く異なる被写体を含んでいる場合であっても、Ｃｒ成分についての第２の類似度を式（２）により算出した場合には、その算出結果は上述した閾値αより小さい値となるため、テンプレートマッチングをすると判定されることになる。この場合、最終的に式（１）を用いてテンプレートマッチングを行った場合には、両画像の類似度は低く算出されるものであり、本来であればスキップすべきテンプレートマッチングを無駄に実行することになってしまう。

よって、第２の実施の形態では、テンプレート画像Ａとターゲット画像Ｂとの明るさが異なる場合でも的確にテンプレートマッチングを行うか否かの判定を行うことができるという第１の実施の形態における効果を維持しつつ、さらに両画像が無彩色に近い画像である場合であっても、上記判定を的確に行うことができるような判定方法について説明する。なお、図１から図５の各図は、第１の実施の形態と同様のため、説明を省略する。

図８（ｃ）および図９（ｃ）に示すように、テンプレート画像Ａとターゲット画像Ｂとが無彩色に近い画像である場合であっても、テンプレート画像ＡのＹ成分の合計値８ｂとターゲット画像ＢのＹ成分の合計値９ｂとには差があるため、これらを用いてテンプレートマッチングを行うか否かの判定を行えば、的確に判定を行うことができる。しかしながら、Ｙ成分について第２の類似度を式（２）を用いて算出し、これに基づいて該判定を行った場合には、第１の実施の形態で上述したように、画像の明るさが変化した場合に、正しく判定を行うことができないという問題がある。

このため、第２の実施の形態では、制御装置１０４は、次式（５）に示すように、テンプレート画像ＡのＹ成分の値の合計値（Ｓ２２）から、ターゲット画像ＢのＹ成分の値の合計値（Ｓ２４）に次式（６）により算出される色差比βを掛けた値を減算したものを第２の類似度として算出し、この第２の類似度と閾値αとを比較することにより、テンプレートマッチングを行うか否かの判定を行う。

なお、色差比βは、式（６）に示すように、テンプレート画像Ａの各画素のＣｒ成分の値から色差のオフセット量に相当する１２８を減算したものをテンプレート画像Ａの全画素分加算した値を、ターゲット画像Ｂの各画素のＣｒ成分の値から色差のオフセット量に相当する１２８を減算したものをターゲット画像Ｂの全画素分加算した値で割った値の絶対値である。

よって、第２の実施の形態の処理を図７に示した第１の実施の形態におけるフローチャートに当てはめて説明すると、制御装置１０４は、ステップＳ２において、上記式（６）により色差比βを算出し、算出した色差比βを用いて式（５）による判定を行う。そして、制御装置１０４は、ステップＳ２以外のステップについては、第１の実施の形態と同様の処理を行う。

例えば、図８と図９に示す例においては、式（５）の左辺は、｜１７２１―β×１８８９４｜となり、式（６）よりβ＝３１０／１１２となる。よって、第２の類似度は５０３２３となり、これは第１の実施の形態で上述した閾値α（４０５０）以上となる。このため、式（５）を満たさないことから、制御装置１０４は、図８（ａ）に示すテンプレート画像Ａと図９（ａ）に示すターゲット画像Ｂとのテンプレートマッチングは行わないと判定することができる。すなわち、制御装置１０４は、式（５）を用いて判定を行うことにより、両画像が無彩色に近い画像である場合であっても、テンプレートマッチングを行うか否かの判定を的確に行うことができる。

なお、この式（５）を用いることにより、第１の実施の形態における効果を維持できること、すなわち、テンプレート画像Ａとターゲット画像Ｂとの明るさが異なる場合でも的確にテンプレートマッチングを行うか否かの判定を行うことができることを、図６に示した図を用いて説明する。

図６（ｂ）と（ｄ）に示す例においては、式（５）の左辺は、｜８０３４―β×２５８５｜となり、式（６）よりβ＝２１７／５１となる。よって、第２の類似度は２９６５となり、これは第１の実施の形態で上述した閾値α（４０５０）より小さい。このため、式（５）を満たすことから、制御装置１０４は、図６（ａ）に示すテンプレート画像Ａと図６（ｂ）に示すターゲット画像Ｂとのテンプレートマッチングを行うと判定する。

このように、式（５）を用いた判定を行うことにより、テンプレート画像Ａとターゲット画像Ｂとの明るさが異なる場合でも的確にテンプレートマッチングを行うか否かの判定を行うことができるという第１の実施の形態における効果を維持しつつ、さらに両画像が無彩色に近い画像である場合であっても、判定を的確に行うことができる。

次に、テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い画像であって、かつ両画像の明るさが異なる場合にも、式（５）を用いることによって的確な判定を行うことができることを、図１０と図１１とを用いて説明する。図１０（ａ）に示す画像から抽出されたテンプレート画像Ａと、図１１（ａ）におけるターゲット画像Ｂは、いずれも黒髪を含む無彩色に近い画像である。また、テンプレート画像Ａは明るい画像であり、ターゲット画像Ｂは暗い画像である。このテンプレート画像Ａとターゲット画像Ｂは、それぞれ同じ人物の頭部を含んでいるので、テンプレートマッチングを行うと判定されることが好ましい。

図１０（ｂ）は、テンプレート画像Ａの各画素におけるＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を示しており、図１０（ｃ）は、図１０（ｂ）に示す各画素の各成分の値をブロックごとに合計した結果を示している。また、図１１（ｂ）はターゲット画像Ｂの各画素におけるＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を示しており、図１１（ｃ）は、図１１（ｂ）に示す各画素の各成分の値をブロックごとに合計した結果を示している。

図１０（ｃ）と図１１（ｃ）に示す例においては、式（５）の左辺は、｜２５４４―β×１４２７｜となり、式（６）よりβ＝２０４／１３３となる。よって、第２の類似度は３５５となり、これは第１の実施の形態で上述した閾値α（４０５０）より小さい。このため、式（５）を満たすことから、制御装置１０４は、図１０（ａ）に示すテンプレート画像Ａと図１１（ａ）に示すターゲット画像Ｂとのテンプレートマッチングを行うと判定する。

最後に、テンプレート画像Ａとターゲット画像Ｂとがいずれも有彩色の画像であって、かつ両画像の明るさに大きな変化がない場合にも、式（５）を用いることによって的確な判定を行うことができることを、図１２と図１３とを用いて説明する。図１２（ａ）に示す画像から抽出されたテンプレート画像Ａと、図１３（ａ）におけるターゲット画像Ｂは、いずれも洋服を含む有彩色の画像であって、両画像間の明るさの差はほとんどない。このテンプレート画像Ａとターゲット画像Ｂは、それぞれ同じ人物の背中部分を含んでいるので、テンプレートマッチングを行うと判定されることが好ましい。

図１２（ｂ）は、テンプレート画像Ａの各画素におけるＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を示しており、図１２（ｃ）は、図１２（ｂ）に示す各画素の各成分の値をブロックごとに合計した結果を示している。また、図１３（ｂ）はターゲット画像Ｂの各画素におけるＹ成分の値、Ｃｂ成分の値、およびＣｒ成分の値を示しており、図１３（ｃ）は、図１３（ｂ）に示す各画素の各成分の値をブロックごとに合計した結果を示している。

図１２（ｃ）と図１３（ｃ）に示す例においては、式（５）の左辺は、｜１１４１９―β×１２５５６｜となり、式（６）よりβ＝１２５７／１２０６となる。よって、第２の類似度は１５０７となり、これは第１の実施の形態で上述した閾値α（４０５０）より小さい。このため、式（５）を満たすことから、制御装置１０４は、図１２（ａ）に示すテンプレート画像Ａと図１３（ａ）に示すターゲット画像Ｂとのテンプレートマッチングを行うと判定する。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、以下のような効果を得ることができる。すなわち、制御装置１０４は、第１の実施の形態で上述した第２の類似度に代えて、テンプレート画像ＡのＹ成分の値と、ターゲット画像ＢのＹ成分の値と、テンプレート画像Ａの色差成分の値とターゲット画像Ｂの色差成分の値との比率とを加味した類似度を第２の類似度として算出するようにした。これによって、テンプレート画像Ａとターゲット画像Ｂとが無彩色に近い画像である場合であっても、テンプレートマッチングを行うか否かの判定を的確に行うことができる。

―第３の実施の形態―
第３の実施の形態では、制御装置１０４は、画像内からテンプレート画像Ａを抽出したときに、抽出したテンプレート画像Ａが有彩色の画像か無彩色に近い画像かを判定する。制御装置１０４は、その結果、テンプレート画像Ａが有彩色の画像であると判定した場合には、第１の実施の形態で上述した方法でテンプレートマッチングを行うか否かの判定を行うように判定式を設定する。これに対して、制御装置１０４は、テンプレート画像Ａが無彩色であると判定した場合には、第２の実施の形態で上述した方法でテンプレートマッチングを行うか否かの判定を行うように判定式を設定する。なお、図１から図５の各図は、第１の実施の形態と同様のため、説明を省略する。

具体的には、制御装置１０４は、第２の実施の形態で色差比βを算出するために用いた式（６）の分子の算出結果が所定の閾値γ、例えば１０以下の場合には、テンプレート画像Ａは無彩色に近い画像であると判定する。一方、式（６）の分子の算出結果が所定の閾値γ、例えば１０より大きい場合には、テンプレート画像Ａは有彩色の画像であると判定する。

そして、制御装置１０４は、テンプレート画像Ａが有彩色の画像であると判定した場合には、図７に示したフローチャートのステップＳ２で用いる判定式を第１の実施の形態で上述した判定式、すなわち｜Ｓ２２−Ｓ２４｜＜αに設定する。これに対して、制御装置１０４は、テンプレート画像Ａが無彩色に近い画像であると判定した場合には、図７に示したフローチャートのステップＳ２で用いる判定式を式（５）に設定する。

以上説明した第３の実施の形態によれば、テンプレート画像Ａとターゲット画像Ｂの明るさが異なっても、テンプレートマッチングを行うか否かの判断を的確に行うことができるという第１の実施の形態、および第２の実施の形態における共通の効果を維持した上で、テンプレート画像Ａが有彩色の画像である場合には、式差比βの算出を必要としない判定式を用いてテンプレートマッチングを行うか否かの判定を行うことによって、判定処理を高速化することができる。また、テンプレート画像Ａが無彩色に近い画像である場合には、第２の実施の形態で上述したように、式（５）を用いることによって、的確に上記判定を行うことができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１から第３の実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとをそれぞれ９分割し、９つのブロックをのそれぞれについてＹ成分の値の合計値、Ｃｂ成分の値の合計値、およびＣｒ成分の値の合計値を算出する例について説明した。しかしながら、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｂとを分割するブロック数を９以外としてもよい。また、テンプレート画像Ａとターゲット画像Ｂとはそれぞれ９×９画素であり、分割後の各ブロックは３×３画素である例について説明したが、テンプレート画像Ａとターゲット画像Ｂの大きさ、および分割後の各ブロックの大きさも上記サイズに限定されない。

（２）上述した第１から第３の実施の形態では、制御装置１０４は、式（１）を用いた残差逐次検定法により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なう例について説明した。しかしながら、テンプレートマッチングの方法は、他の方法を用いてもよい。例えば、式（７）を用いた正規化相関法により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なうようにしてもよい。なお、次式（７）により算出される類似度ｒは、その値が大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高いことを示し、その値が小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が低いことを示す。

（３）上述した第１から第３の実施の形態では、カメラ１００上でパターンマッチング処理を行って被写体追跡を行う例について説明したが、パーソナルコンピューター（パソコン）等を用いて上記処理を行ってもよい。例えば、動画再生が可能なパソコンにおいて、動画の各コマを上記ターゲット画像とし、あらかじめ用意されたテンプレート画像を用いてテンプレートマッチングを行う場合にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

カメラ１００の一実施の形態の構成を示すブロック図である。 テンプレート画像Ａ、画像Ｉ、およびターゲット画像Ｂの具体例を示す図である。 テンプレート画像Ａとターゲット画像Ｂの具体例を示す図である。 画像の明るさが変化した場合の具体例を示す図である。 テンプレート画像Ａとターゲット画像Ｂを９つのブロックに分割した場合の具体例を示す図である。 テンプレート画像Ａとターゲット画像Ｂとの明るさが異なる場合の具体例を示す図である。 第１の実施の形態におけるテンプレートマッチング処理の流れを示すフローチャートである。 テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い画像である場合の具体例を示す第１の図である。 テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い画像である場合の具体例を示す第２の図である。 、テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い画像であって、かつ両画像の明るさが異なる場合の具体例を示す第１の図である。 テンプレート画像Ａとターゲット画像Ｂとがいずれも無彩色に近い画像であって、かつ両画像の明るさが異なる場合の具体例を示す第２の図である。 テンプレート画像Ａとターゲット画像Ｂとがいずれも有彩色の画像であって、かつ両画像の明るさに大きな変化がない場合の具体例を示す第１の図である。 テンプレート画像Ａとターゲット画像Ｂとがいずれも有彩色の画像であって、かつ両画像の明るさに大きな変化がない場合の具体例を示す第２の図である。

符号の説明

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (6)

1. 各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、前記テンプレート画像の色差成分の値と、前記ターゲット画像の色差成分の値とに基づく類似度を算出する第１の類似度算出手段と、
   各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、前記テンプレート画像の輝度成分の値と、前記ターゲット画像の輝度成分の値と、前記テンプレート画像の色差成分の値と前記ターゲット画像の色差成分の値との比率とに基づく類似度を算出する第２の類似度算出手段と、
   前記テンプレート画像の色成分の範囲が予め定められた無彩色の範囲にあるか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記テンプレート画像が前記無彩色の範囲にないことが判定された場合に、第１の類似度算出手段で算出された前記類似度に基づいて、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第２の判定手段と、
   前記第１の判定手段により前記テンプレート画像が前記無彩色の範囲にあることが判定された場合に、第２の類似度算出手段で算出された前記類似度に基づいて、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第３の判定手段と、
   前記第２の判定手段または前記第３の判定手段によって前記テンプレートマッチング処理を行うと判定された場合に、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を実行する実行手段とを備えることを特徴とする画像マッチング装置。
2. 請求項１記載の画像マッチング装置において、
   前記第２の判定手段または前記第３の判定手段は、前記類似度が所定の閾値より小さい場合に前記テンプレートマッチング処理を行うと判定することを特徴とする画像マッチング装置。
3. 各画素が輝度成分と色差成分とを有する入力画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、前記テンプレート画像の輝度成分の値と、前記ターゲット画像の輝度成分の値と、前記テンプレート画像の色差成分の値と前記ターゲット画像の色差成分の値との比率とに基づく類似度を算出する類似度算出手段と、
   前記テンプレート画像の色成分の範囲が予め定められた無彩色の範囲にあるかを判定する第１の判定手段と、
   前記第１の判定手段により前記テンプレート画像が前記無彩色の範囲にあることが判定された場合に、前記算出された類似度に基づいて、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第２の判定手段と、
   前記第２の判定手段によって前記テンプレートマッチング処理を行うと判定された場合に、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を実行する実行手段とを備えることを特徴とする画像マッチング装置。
4. 請求項３に記載の画像マッチング装置において、
   前記第２の判定手段は、前記類似度が所定の閾値より小さい場合に前記テンプレートマッチング処理を行うと判定することを特徴とする画像マッチング装置。
5. 被写体像を撮像して、各画素が輝度成分と色差成分とを有する画像を取得する撮像手段と、
   前記撮像手段によって取得された画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、前記テンプレート画像の色差成分の値と、前記ターゲット画像の色差成分の値とに基づく類似度を算出する第１の類似度算出手段と、
   前記撮像手段によって取得された画像内に設定した探索枠内のターゲット画像と、各画素が輝度成分と色差成分とを有するテンプレート画像とを比較して、前記テンプレート画像の輝度成分の値と、前記ターゲット画像の輝度成分の値と、前記テンプレート画像の色差成分の値と前記ターゲット画像の色差成分の値との比率とに基づく類似度を算出する第２の類似度算出手段と、
   前記テンプレート画像の色成分の範囲が予め定められた無彩色の範囲にあるか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記テンプレート画像が前記無彩色の範囲にないことが判定された場合に、第１の類似度算出手段で算出された前記類似度に基づいて、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第２の判定手段と、
   前記第１の判定手段により前記テンプレート画像が前記無彩色の範囲にあることが判定された場合に、第２の類似度算出手段で算出された前記類似度に基づいて、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を行うか否かを判定する第３の判定手段と、
   前記第２の判定手段または前記第３の判定手段によって前記テンプレートマッチング処理を行うと判定された場合に、前記テンプレート画像と前記ターゲット画像とのテンプレートマッチング処理を実行する実行手段とを備えることを特徴とするカメラ。
6. 請求項５に記載のカメラにおいて、
   前記判定手段は、前記類似度が所定の閾値より小さい場合に前記テンプレートマッチング処理を行うと判定することを特徴とするカメラ。

Images