JP4565273B2 - 被写体追跡装置、およびカメラ - Google Patents

Description

本発明は、複数の画像間で被写体を追跡するための被写体追跡装置、および被写体追跡機能を備えたカメラに関する。

次のようなパターンマッチング方法が知られている。このパターンマッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来の方法を用いてテンプレートマッチングにより画像内における被写体位置を特定し、被写体位置をフレーム間で追跡しようとしたとき、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合には、その画像の明るさの変化が類似度の算出結果に影響を及ぼすため、テンプレートマッチングの精度が低下するという問題があった。

本発明による被写体追跡装置は、時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における探索枠内のターゲット画像について、テンプレート画像を用いたテンプレートマッチング処理を行って、複数の入力画像間で被写体追跡を行う被写体追跡装置であって、テンプレート画像とターゲット画像とをそれぞれ複数の分割領域に分割する分割手段と、テンプレート画像とターゲット画像とのそれぞれについて、分割領域ごとに、各画素の輝度値の平均値または加算値と、色差値の平均値または加算値とを算出し、複数の分割領域のうちのいずれか１つの分割領域を基準領域として、複数の分割領域の輝度値の平均値または加算値から基準領域の輝度値の平均値または加算値を減算することによって、分割領域ごとの輝度値の平均値または加算値をそれぞれ正規化する正規化手段と、テンプレート画像における分割領域ごとの正規化後の輝度値の平均値または加算値と分割領域ごとの色差値の平均値または加算値、およびターゲット画像における分割領域ごとの正規化後の輝度値の平均値または加算値と分割領域ごとの色差値の平均値または加算値に基づいて、テンプレートマッチング処理を行うテンプレートマッチング手段と、テンプレートマッチング手段によるマッチング結果に基づいて、複数の入力画像間で被写体追跡を行う被写体追跡手段とを備えることを特徴とする。
本発明による被写体追跡装置はまた、時系列で入力されるＹＣｂＣｒ色空間で表される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における探索枠内のターゲット画像についてテンプレート画像を用いたテンプレート画像を用いたテンプレートマッチング処理を行って、複数の入力画像間で被写体追跡を行う被写体追跡装置であって、テンプレート画像とターゲット画像とをそれぞれ複数の分割領域に分割する分割手段と、テンプレート画像とターゲット画像とのそれぞれについて、複数の分割領域のうちのいずれか１つの分割領域を基準領域として、複数の分割領域のＹ成分の値から基準領域のＹ成分の値を減算することによって、分割領域ごとに、Ｙ成分の値を正規化する正規化手段と、テンプレート画像とターゲット画像とのそれぞれにおける、前記分割領域ごとのＣｂ成分の値と、前記分割領域ごとのＣｒ成分の値と、正規化手段によって分割領域ごとに正規化されたＹ成分の値とに基づいて、テンプレートマッチング処理を行うテンプレートマッチング手段とを備えることを特徴とする。
本発明による被写体追跡装置はまた、時系列で入力されるＹＣｂＣｒ色空間で表される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における探索枠内のターゲット画像についてテンプレート画像を用いたテンプレート画像を用いたテンプレートマッチング処理を行って、複数の入力画像間で被写体追跡を行う被写体追跡装置であって、テンプレート画像とターゲット画像とをそれぞれ複数の分割領域に分割する分割手段と、テンプレート画像とターゲット画像とのそれぞれについて、分割領域ごとに、Ｙ成分の値を正規化する正規化手段と、テンプレート画像とターゲット画像とのそれぞれにおける、前記分割領域ごとのＹ成分の値と、前記分割領域ごとのＣｂ成分の値と、分割領域ごとのＣｒ成分の値と、正規化手段によって分割領域ごとに正規化されたＹ成分の値とに基づいて、テンプレートマッチング処理を行うテンプレートマッチング手段とを備えることを特徴とする。
本発明では、正規化手段は、複数の分割領域のうちのいずれか１つの分割領域を基準領域として、複数の分割領域のＹ成分の値から基準領域のＹ成分の値を減算することによって、分割領域ごとにＹ成分を正規化することを特徴とするようにしてもよい。
本発明によるカメラは、被写体像を撮像して画像を取得する撮像手段と、上記被写体追跡装置とを備え、被写体追跡装置は、撮像手段によって時系列で取得される各画像をターゲット画像としてテンプレートマッチング処理を行い、複数の画像間で被写体追跡を行うことを特徴とする。

本発明によれば、テンプレート画像とターゲット画像との間で画像の明るさが変化した場合でも、テンプレートマッチング処理の精度が低下することを防ぐことができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 ターゲット画像Ｉ、テンプレート画像Ａ、および探索枠Ｂの具体例を示す図である。 テンプレート画像とターゲット画像を９つのブロックに分割した場合の具体例、および各領域ごとに算出されるＹ成分の平均値、Ｃｂ成分の平均値、Ｃｒ成分の平均値の具体例を示す図である。 テンプレート画像とターゲット画像との明るさが異なる場合の各領域ごとの算出されるＹ成分の平均値、Ｃｂ成分の平均値、Ｃｒ成分の平均値の具体例を示す図である。 図４に示したＹ成分の平均値を正規化した後の例を示す図である。 人物の顔から少しずれた位置にターゲット枠Ｂがあるときに、Ｙ成分の算出結果を正規化した場合と、正規化しない場合とでテンプレートマッチング結果の違いを説明するための図である。 白っぽい領域と黒っぽい領域についてのＹ成分の平均値、Ｃｂ成分の平均値、Ｃｒ成分の平均値、および正規化後のＹ成分の平均値の具体例を示す第１の図である。 白っぽい領域と黒っぽい領域についてのＹ成分の平均値、Ｃｂ成分の平均値、Ｃｒ成分の平均値、および正規化後のＹ成分の平均値の具体例を示す第２の図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。そして、制御装置１０４は、特定した領域をフレーム間で追跡することによって、被写体追跡処理を行う。

具体的には、制御装置１０４は、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームとのマッチング演算を行う。例えば、制御装置１０４は、図２に示すように、テンプレート画像Ａを用いて画像Ｉ内における被写体位置を特定する。ここで用いるテンプレート画像Ａは、あらかじめ使用者からの指示に基づいて取得される。例えば、使用者は、スルー画の最初のフレームがモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。制御装置１０４は、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＳＤＲＡＭに記憶する。

制御装置１０４は、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）を対象として、この画像Ｉ内の所定の位置にテンプレート画像と同じ大きさのターゲット枠Ｂを設定する。制御装置１０４は、設定したターゲット枠Ｂを画像Ｉ内で移動させながら、各位置におけるターゲット枠Ｂ内の画像（ターゲット画像）Ｃと、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａとターゲット画像Ｃとの類似度が最も高い合致領域の画像Ｉ内における座標値を被写体位置として特定する。

なお、制御装置１０４は、画像Ｉの全体ではなく、画像内からテンプレート画像Ａを抽出した位置を含む所定範囲内（探索対象領域内）を対象としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。本実施の形態では、制御装置１０４は、画像Ｉ内に設定した探索対象領域内を対象としてテンプレートマッチングを行う例について説明する。

テンプレートマッチングの手法としては、一般的に、公知の残差逐次検定法などが用いられる。この残差逐次検定法では、次式（１）に示す残差和により類似度を算出し、算出した類似度に基づいてテンプレートマッチングを行う。

なお、式（１）により類似度を算出した場合は、算出されるｒが小さいほどテンプレート画像Ａとターゲット画像Ｃとの類似度が高くなり、算出されるｒが大きいほどテンプレート画像Ａとターゲット画像Ｃとの類似度は低くなる。ここで、式（１）において、ｍは探索対象領域内における横方向の位置を示し、ｎは縦方向の位置を示している。本実施の形態では、テンプレート画像Ａとターゲット画像Ｃは、いずれも輝度Ｙ、色差Ｃｂ・ＣｒのＹＣｂＣｒ表色系で表される画像データであるものとし、制御装置１０４は、Ｙ、Ｃｂ、Ｃｒの各成分について式（１）を用いて類似度ｒを算出し、Ｙ成分の類似度、Ｃｂ成分の類似度、Ｃｒ成分の類似度の合計値をテンプレート画像Ａとターゲット画像Ｃとの類似度として算出する。

このように、公知の残差逐次検定法を用いて類似度を算出してテンプレートマッチングを行う場合には、画像Ｉの明るさが変化してテンプレート画像Ａの明るさと大きく異なるものになった場合には、テンプレート画像Ａの各画素のＹ成分の値と、ターゲット画像Ｃの各画素のＹ成分の値とが異なることから、ターゲット画像Ｃ内にテンプレート画像Ａ内の被写体と同じ被写体が存在する場合であっても類似度が低く算出されてしまう。このため、画像Ｉ内における被写体位置を正しく特定することができない。

本実施の形態では、制御装置１０４は、画像Ｉの明るさが変化した場合であっても正確に被写体位置を特定することができるようにするために、テンプレートマッチングを行う前に、テンプレート画像Ａとターゲット画像Ｃとを正規化して、両画像間の明るさの差を減少させる。そして、制御装置１０４は、正規化を行った後のテンプレート画像Ａを用いて、ターゲット画像Ｃを対象としたテンプレートマッチングを行う。以下、制御装置１０４による処理の具体例について説明する。

制御装置１０４は、図３（ａ）に示すように、テンプレート画像Ａとターゲット画像Ｃとを１から９の９つのブロック（領域）に分割する。例えば、テンプレート画像Ａの大きさとターゲット画像Ｃの大きさをそれぞれ９×９画素の大きさとし、１つのブロックの大きさが３×３画素となるようにテンプレート画像Ａとターゲット画像Ｃとを９つのブロックに分割する。本実施の形態では、各ブロックを図３（ａ）に示す番号を用いて表すこととし、例えば、左上のブロックはブロック１と表記する。

制御装置１０４は、テンプレート画像Ａの各ブロック、およびターゲット画像Ｃの各ブロックごとに、ブロック内のＹ成分の値の平均値，Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値をそれぞれ算出する。すなわち、制御装置１０４は、テンプレート画像Ａの各ブロック、およびターゲット画像Ｃの各ブロックごとに、各画素のＹ成分の値を合計した値を画素数で割った値をＹ成分の値の平均値として算出し、Ｃｂ成分の値の平均値とＣｒ成分の値の平均値も、同様に各画素の合計値を画素数で割って算出する。

例えば、ターゲット画像Ｃを対象として、各ブロックごとのＹ、Ｃｂ、Ｃｒの各成分の平均値を算出した場合には、図３（ｂ）に示す算出結果が得られる。図３（ｂ）に示す例では、ターゲット画像Ｃのブロック１は、Ｙ成分の平均値が７６、Ｃｂ成分の平均値が１１３、Ｃｒ成分の平均値が１４３と算出されている。

このように、ターゲット画像Ｃの各ブロックごとにＹ、Ｃｂ、Ｃｒの各成分の平均値を算出する場合、ターゲット画像Ｃの明るさが変化すると、その影響はＹ成分の平均値の算出結果に最も影響を及ぼす。すなわち、ターゲット画像Ｃの明るさが変化した場合には、Ｙ成分の平均値の変化量が、Ｃｂ、Ｃｒの各色成分の平均値の変化量よりも大きくなる。その具体例を図４を用いて説明する。

図４（ａ）に示す画像は、被写体に日が当たっていない状態で撮影されている画像である。一方、図４（ｂ）に示す画像は、被写体に日が当たっている状態で撮影された画像である。よって、図４（ｂ）に示す画像は、図４（ａ）に示す画像と比較して、明るい画像になっている。この場合、例えば、図４（ａ）に示す画像内からテンプレート画像Ａが取得され、このテンプレート画像Ａを用いて図４（ｂ）に示す画像Ｉ内に設定されたターゲット画像Ｃとのテンプレートマッチングを行うと、テンプレート画像Ａとターゲット画像Ｃとの明るさの違いにより、正しくマッチングさせることができない。

具体例を図４（ｃ）と図４（ｄ）を用いて説明する。図４（ｃ）は、図４（ａ）に示すテンプレート画像Ａを対象とした各ブロックごとのＹ、Ｃｂ、Ｃｒの各成分の平均値の算出結果を示す図であり、図４（ｄ）は、図４（ｂ）に示すターゲット画像Ｃを対象とした各ブロックごとのＹ、Ｃｂ、Ｃｒの各成分の平均値の算出結果を示す図である。図４（ｃ）と図４（ｄ）とを比較すると、いずれのブロックでもＣｂ成分とＣｒ成分についての算出結果に大きな差はないが、Ｙ成分については、全てのブロックで算出結果に大きな差が生じている。

このため、図４（ａ）におけるテンプレート画像Ａを用いて図４（ｂ）におけるターゲット画像Ｃを対象として式（１）を用いたテンプレートマッチングを行うと、いずれも同じ人物の同じ表情を含んでいるにも関わらず、Ｙ成分の大きさの違いによって、類似度が低く算出されてしまうことになる。

本実施の形態では、制御装置１０４は、このような問題を解決するために、画像の明るさに起因して生じる各ブロックごとのＹ成分の算出結果の差を小さくするために、テンプレート画像Ａとターゲット画像Ｃとを正規化し、正規化後のテンプレート画像Ａを用いてターゲット画像Ｃとのテンプレートマッチングを行うこととする。

以下、テンプレート画像Ａとターゲット画像Ｃに対する正規化処理について説明する。制御装置１０４は、テンプレート画像Ａ、およびターゲット画像Ｃのそれぞれについて、９つのブロックのそれぞれのＹ成分の平均値から、９つのブロックのうちのいずれか１つのブロックのＹ成分の平均値を減算することによって、テンプレート画像Ａとターゲット画像Ｃを正規化する。例えば、制御装置１０４は、テンプレート画像Ａ、およびターゲット画像Ｃのそれぞれについて、ブロック５を基準領域として設定し、ブロック１から９の全てのブロックのＹ成分の平均値から、ブロック５のＹ成分の平均値を減算することによって、テンプレート画像Ａとターゲット画像Ｃとを正規化する。

図４（ｃ）に示した算出結果を上記方法により正規化した場合の結果を図５（ａ）に、図４（ｄ）に示した算出結果を上記方法により正規化した場合の結果を図５（ｂ）にそれぞれ示す。図５（ａ）においては、全てのブロックのＹ成分の平均値から図４（ｃ）におけるブロック５のＹ成分の平均値（１０６）を減算することによって正規化されている。このため、図５（ａ）において、例えば、ブロック１のＹ成分の平均値は、７６−１０６＝−３０と正規化されている。また、ブロック２のＹ成分の平均値は、１２７−１０６＝２１と正規化されている。同様の方法でブロック３からブロック９についても正規化が行われている。

次に図５（ｂ）についてみると、図５（ｂ）においては、全てのブロックのＹ成分の平均値から図４（ｄ）におけるブロック５のＹ成分の平均値（１４８）を減算することによって正規化されている。このため、図５（ｂ）において、例えば、ブロック１のＹ成分の平均値は、１２１−１４８＝−２７と正規化されている。また、ブロック２のＹ成分の平均値は、１７０−１４８＝２２と正規化されている。同様の方法でブロック３からブロック９についても正規化が行われている。

このように、テンプレート画像Ａとターゲット画像Ｃのそれぞれについて、各ブロックのＹ成分の平均値の算出結果を正規化することによって、両画像間での各ブロックのＹ成分の平均値の算出結果の差を小さくすることができる。このため、式（１）を用いてテンプレート画像Ａとターゲット画像ＣとのＹ成分の類似度ｒを算出したときに、画像の明るさの違いの影響を排除して、精度高く類似度を算出することができる。

例えば、図４（ｃ）と図４（ｄ）に示すＹ成分の平均値の算出結果を用いて、式（１）によりＹ成分の類似度を算出すると、ｒ＝｜７６−１２１｜＋｜１２７−１７０｜＋・・・＋｜１０７−１５９｜＝３７０となる。これに対して、図５（ａ）と図５（ｂ）に示す正規化後のＹ成分の平均値の算出結果を用いて、式（１）によりＹ成分の類似度を算出すると、ｒ＝｜−３０−（−２７）｜＋｜２１−２２｜＋・・・＋｜１−１１｜＝７６となる。このように、式（１）を用いて算出したＹ成分の類似度ｒは、正規化前よりも正規化後の方が大幅に小さい値となり、Ｙ成分の類似度は高く算出されることになる。

また、式（１）によりＣｂ成分とＣｒ成分の類似度を算出し、Ｙ、Ｃｂ、Ｃｒの全成分の類似度を加算した類似度を算出すると、図４に示す例では類似度は５３８となり、図５に示す例では類似度は２４４となる。このように、各ブロックのＹ成分の平均値の算出結果を正規化した後のテンプレート画像Ａを用いて、同じく各ブロックのＹ成分の平均値の算出結果を正規化した後のターゲット画像Ｃに対するテンプレートマッチングを行うことにより、画像の明るさの違いの影響を排除して、テンプレートマッチングの精度を向上させることができる。

なお、全成分を加味した類似度に占めるＹ成分の類似度の割合は、図４に示した正規化を行う前では３７０／５３８＝０．６９となり、Ｙ成分の類似度が占める割合は７０％と高い。これに対して、図５に示した正規化を行った後では７６／２４４＝０．３１となり、Ｙ成分の類似度が占める割合は３０％程度と、妥当な数値となっている。

ここで、図６を用いて、テンプレート画像Ａとターゲット画像Ｃとを正規化した場合と、正規化しない場合とでテンプレートマッチング結果にどのような違いが生じるかについて説明する。例えば、図４（ａ）に示したテンプレート画像Ａを用いて、図４（ｂ）に示した画像Ｉを対象としたテンプレートマッチングを行った場合には、図４（ｂ）に示す人物の顔を含むターゲット画像Ｃとの類似度が最も高くなることが好ましく、図５を用いて説明したように、Ｙ成分の平均値の算出結果を正規化した場合には、このような結果が得られる。

これに対して、Ｙ成分の平均値の算出結果を正規化しない場合には、図６（ａ）に示す人物の顔から少しずれた位置にターゲット枠Ｂがあるときには、各ブロックごとのＹ、Ｃｂ、Ｃｒの各成分の平均値の算出結果は、図６（ｂ）に示すようになる。この図６（ｂ）に示す場合に、Ｙ、Ｃｂ、Ｃｒの全成分の類似度を加算した類似度を算出すると５２６となり、上述した図４における類似度５３８より小さい値となる。すなわち、図４における類似度よりも図６（ｂ）の類似度の方が高く算出されてしまう。

このため、本来であれば、図４（ｂ）に示すように、テンプレート画像Ａを用いて追跡したい人物の顔を含む位置にターゲット枠Ｂがある状態での類似度が最も高く算出される必要があるが、画像の明るさが変化したことにより、図６（ａ）に示すように、人物の顔から少しずれた位置にターゲット枠Ｂがあるときに類似度が最も高く算出されてしまうことになる。

一方、Ｙ成分の平均値の算出結果を正規化した場合には、図６（ａ）に示す人物の顔から少しずれた位置にターゲット枠Ｂがあるときには、各ブロックごとのＹ、Ｃｂ、Ｃｒの各成分の平均値の算出結果は、図６（ｃ）に示すようになる。この図６（ｃ）に示す場合に、Ｙ、Ｃｂ、Ｃｒの全成分の類似度を加算した類似度を算出すると５２４となり、上述した図５における類似度２４４より大きい値となる。すなわち、図６（ｂ）の類似度が図５における類似度よりも高く算出されることはない。

このように、テンプレート画像Ａとターゲット画像Ｃとを正規化することにより、画像の明るさが変化したことに起因して、本来であればテンプレート画像Ａとの類似度が低く算出されるべきターゲット画像Ｃとの類似度が高く算出されることがなくなる。このため、テンプレート画像Ａを抽出した画像と、テンプレートマッチングの対象となる画像Ｉとの間で画像の明るさが変化した場合であっても、高い精度でテンプレートマッチングを行うことができる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像Ａとターゲット画像Ｃとをそれぞれ複数の分割領域（ブロック）に分割し、テンプレート画像Ａとターゲット画像Ｃとのそれぞれについて、各ブロックごとに、各画素の輝度値（Ｙ成分）の平均値と色差値（Ｃｂ成分、Ｃｒ成分）の平均値とを算出し、各ブロックごとのＹ成分の平均値をそれぞれ正規化した。そして、制御装置１０４は、テンプレート画像Ａにおけるブロックごとの正規化後のＹ成分の平均値と、ブロックごとのＣｂ，Ｃｒ成分の平均値、およびターゲット画像Ｃにおけるブロックごとの正規化後のＹ成分の平均値とブロックごとのＣｂ，Ｃｒ成分の平均値に基づいて、テンプレートマッチング処理を行うようにした。これによって、テンプレート画像Ａとターゲット画像Ｃの明るさが変化した場合であっても、精度高くテンプレートマッチング処理を行うことができる。

（２）制御装置１０４は、各ブロックのうちのいずれか１つのブロックを基準領域として、９つのブロックのＹ成分の平均値から基準領域のＹ成分の平均値を減算することによって、各ブロックごとにＹ成分の平均値を正規化するようにした。これによって、テンプレート画像Ａとターゲット画像Ｃの明るさの違いをＹ成分の平均値の算出結果から排除することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、Ｙ、Ｃｂ、Ｃｒの３成分の類似度を算出してテンプレートマッチングを行う例について説明した。しかしながら、この方法によると、例えば図７（ａ）に示す黒っぽい領域７ａと白っぽい領域７ｂとについてのマッチングを行う際に以下のような問題が生じる。すなわち、この場合の領域７ａにおける各ブロックごとのＹ成分、Ｃｂ成分、Ｃｒ成分の平均値を図７（ｂ）に示し、領域７ｂにおける各ブロックごとのＹ成分、Ｃｂ成分、Ｃｒ成分の平均値を図７（ｃ）に示す。この図７（ｂ）および図７（ｃ）に示すように領域７ａと７ｂとにおいては、各ブロック間でのＹ成分の値に差がないため、上述した方法でＹ成分の平均値を正規化した場合には、図７（ｄ）および（ｅ）に示すように、正規化後のＹ成分の平均値（Ｙ差分）はいずれも０に近い値となる。また、領域７ａと領域７ｂはいずれも無彩色の画像であるため、いずれも各ブロックごとのＣｂ成分の平均値とＣｒ成分の平均値とは無彩色を表す１２８に近い値となる。

このため、図７（ｄ）および（ｅ）に示すように、領域７ａと領域７ｂとは、画像の類似度は低いにもかかわらず、各ブロックごとの正規化後のＹ成分の平均値、Ｃｂ成分の平均値、およびＣｒ成分の平均値とに差がないため、これらの値によっては領域７ａと領域７ｂとの区別がつかず、両領域の類似度は高く算出されてしまう。

このような場合であっても、図７（ｂ）、（ｃ）に示したように、領域７ａと領域７ｂとにおける各ブロック後とのＹ成分の平均値には差があるため、このＹ成分の平均値も加味してテンプレートマッチングを行えば、領域７ａと領域７ｂのような無彩色の画像についても両者を区別することができる。すなわち、図８（ａ）に示すような領域７ａについての各ブロックごとのＹ成分の平均値、正規化後のＹ成分の平均値、Ｃｂ成分の平均値、およびＣｒ成分の平均値と、図８（ｂ）に示すような領域７ｂについての各ブロックごとのＹ成分の平均値、正規化後のＹ成分の平均値、Ｃｂ成分の平均値、およびＣｒ成分の平均値とに基づいてテンプレートマッチングを行えば、上記のような問題を解消することが可能となる。

（２）上述した実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｃとを正規化するために、テンプレート画像Ａとターゲット画像Ｃとをそれぞれ９分割して、９つのブロックを対象としてＹ成分の平均値の算出結果を正規化する例について説明した。しかしながら、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｃとを分割するブロック数を９以外としてもよい。また、テンプレート画像Ａとターゲット画像Ｃとはそれぞれ９×９画素であり、分割後の各ブロックは３×３画素である例について説明したが、テンプレート画像Ａとターゲット画像Ｃの大きさ、および分割後の各ブロックの大きさも上記サイズに限定されない。

（３）上述した実施の形態では、制御装置１０４は、テンプレート画像Ａとターゲット画像Ｃとをそれぞれ９つのブロックに分割し、テンプレート画像Ａの各ブロック、およびターゲット画像Ｃの各ブロックごとに、各画素のＹ成分の値を合計した値を画素数で割った値をＹ成分の値の平均値として算出し、Ｃｂ成分の値の平均値とＣｒ成分の値の平均値も、同様に各画素の合計値を画素数で割って算出する例について説明した。しかしながら、テンプレート画像Ａとターゲット画像ＣのＹ成分の値の平均値、Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値は、各成分の値の各画素の合計値を画素数とは異なる数値で割って算出してもよい。例えば、画素数が９である場合に、３や５などの９以外の数値で割ってもよい。

また、制御装置１０４は、各ブロックの画素数が９である場合に、ブロック内の全ての画素を平均値算出の対象としたが、ブロック内の全画素の一部のみの画素を平均値算出の対象としてもよい。例えば、制御装置１０４は、１ブロックが９画素である場合に、そのうちの過半数に相当する５画素のみを抽出して、その５画素を対象として各成分の値の平均値を算出するようにしてもよい。この場合の平均値の算出においても、各成分の値の５画素分の合計値を５で割って算出することに限定されず、例えば、２や３で割るようにしてもよい。

（４）上述した実施の形態では、制御装置１０４は、テンプレート画像Ａの各ブロック、およびターゲット画像Ｃの各ブロックごとに、ブロック内のＹ成分の値の平均値，Ｃｂ成分の値の平均値、およびＣｒ成分の値の平均値をそれぞれ算出する例について説明した。しかしながら、制御装置１０４は、上記平均値に代えて、加算値や中央値（メジアン）を算出するようにしてもよい。すなわち、制御装置１０４は、テンプレート画像Ａの各ブロック、およびターゲット画像Ｃの各ブロックごとに、ブロック内の各画素のＹ成分の値を加算した加算値，Ｃｂ成分の値を加算した加算値、およびＣｒ成分の値を加算した加算値をそれぞれ算出してもよい。また、制御装置１０４は、テンプレート画像Ａの各ブロック、およびターゲット画像Ｃの各ブロックごとに、ブロック内の各画素のＹ成分の値の中央値，Ｃｂ成分の値の中央値、およびＣｒ成分の値の中央値をそれぞれ算出してもよい。この場合、制御装置１０４は、上記平均値に代えて、Ｙ成分の加算値や中央値の算出結果を正規化して、テンプレートマッチングを行うようにすればよい。

（５）上述した実施の形態では、カメラ１００上でパターンマッチング処理を行って被写体追跡を行う例について説明したが、パーソナルコンピューター（パソコン）等を用いて上記処理を行ってもよい。例えば、動画再生が可能なパソコンにおいて、動画の各コマを上記ターゲット画像とし、あらかじめ用意されたテンプレート画像を用いてテンプレートマッチングを行う場合にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (5)

1. 時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内のターゲット画像について、テンプレート画像を用いたテンプレートマッチング処理を行って、複数の入力画像間で被写体追跡を行う被写体追跡装置であって、
   前記テンプレート画像と前記ターゲット画像とをそれぞれ複数の分割領域に分割する分割手段と、
   前記テンプレート画像と前記ターゲット画像とのそれぞれについて、前記分割領域ごとに、各画素の輝度値の平均値または加算値と、色差値の平均値または加算値とを算出し、前記複数の分割領域のうちのいずれか１つの分割領域を基準領域として、前記複数の分割領域の前記輝度値の平均値または加算値から前記基準領域の前記輝度値の平均値または加算値を減算することによって、前記分割領域ごとの前記輝度値の平均値または加算値をそれぞれ正規化する正規化手段と、
   前記テンプレート画像における前記分割領域ごとの正規化後の前記輝度値の平均値または加算値と前記分割領域ごとの色差値の平均値または加算値、および前記ターゲット画像における前記分割領域ごとの正規化後の前記輝度値の平均値または加算値と前記分割領域ごとの色差値の平均値または加算値に基づいて、前記テンプレートマッチング処理を行うテンプレートマッチング手段と、
   前記テンプレートマッチング手段によるマッチング結果に基づいて、複数の入力画像間で被写体追跡を行う被写体追跡手段とを備えることを特徴とする被写体追跡装置。
2. 時系列で入力されるＹＣｂＣｒ色空間で表される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内のターゲット画像についてテンプレート画像を用いたテンプレート画像を用いたテンプレートマッチング処理を行って、複数の入力画像間で被写体追跡を行う被写体追跡装置であって、
   前記テンプレート画像と前記ターゲット画像とをそれぞれ複数の分割領域に分割する分割手段と、
   前記テンプレート画像と前記ターゲット画像とのそれぞれについて、前記複数の分割領域のうちのいずれか１つの分割領域を基準領域として、前記複数の分割領域のＹ成分の値から前記基準領域のＹ成分の値を減算することによって、前記分割領域ごとに、Ｙ成分の値を正規化する正規化手段と、
   前記テンプレート画像と前記ターゲット画像とのそれぞれにおける、前記分割領域ごとのＣｂ成分の値と、前記分割領域ごとのＣｒ成分の値と、前記正規化手段によって前記分割領域ごとに正規化されたＹ成分の値とに基づいて、前記テンプレートマッチング処理を行うテンプレートマッチング手段とを備えることを特徴とする被写体追跡装置。
3. 時系列で入力されるＹＣｂＣｒ色空間で表される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内のターゲット画像についてテンプレート画像を用いたテンプレート画像を用いたテンプレートマッチング処理を行って、複数の入力画像間で被写体追跡を行う被写体追跡装置であって、
   前記テンプレート画像と前記ターゲット画像とをそれぞれ複数の分割領域に分割する分割手段と、
   前記テンプレート画像と前記ターゲット画像とのそれぞれについて、前記分割領域ごとに、Ｙ成分の値を正規化する正規化手段と、
   前記テンプレート画像と前記ターゲット画像とのそれぞれにおける、前記分割領域ごとのＹ成分の値と、前記分割領域ごとのＣｂ成分の値と、前記分割領域ごとのＣｒ成分の値と、前記正規化手段によって前記分割領域ごとに正規化されたＹ成分の値とに基づいて、前記テンプレートマッチング処理を行うテンプレートマッチング手段とを備えることを特徴とする被写体追跡装置。
4. 請求項３に記載の被写体追跡装置において、
   前記正規化手段は、前記複数の分割領域のうちのいずれか１つの分割領域を基準領域として、前記複数の分割領域のＹ成分の値から前記基準領域のＹ成分の値を減算することによって、前記分割領域ごとに前記Ｙ成分を正規化することを特徴とする被写体追跡装置。
5. 被写体像を撮像して画像を取得する撮像手段と、
   請求項１〜４のいずれか一項に記載の被写体追跡装置とを備え、
   前記被写体追跡装置は、前記撮像手段によって時系列で取得される各画像を前記ターゲット画像として前記テンプレートマッチング処理を行い、複数の画像間で被写体追跡を行うことを特徴とするカメラ。
   

Images