JP4716266B2 - 画像処理装置、撮像装置及びそのプログラム - Google Patents

Description

本発明は、画像処理装置及びそのプログラムに係り、詳しくは、被写体追従機能、つまり、被写体位置を検出していく画像処理装置、撮像装置及びそのプログラムに関する。

近年、画像処理装置、例えば、デジタルカメラにおいては、移動する被写体に追従する、つまり、移動する被写体の位置を順次検出する機能を備えた画像処理装置が開発された。
この被写体に追従させる技術（被写体を追跡する技術）として、例えば、下記特許文献１に記載されたようなテンプレートマッチング（ブロックマッチングともいう）を用いて被写体の位置を検出するという技術がある。
具体的には、前フレーム画像から切り出されたテンプレート（追従させたい被写体を含む画像領域）に類似する小画像領域を現フレーム画像から探索することにより、最も類似度の高い（相関度が高い）小画像領域を検出する。この検出された小画像領域の位置に該被写体がいると判断する。そして、新たにフレーム画像が撮像されると、該検出した小画像領域をテンプレートとし、上記動作を繰り返すことにより、連続して撮像されるフレーム画像のどの位置に被写体がいるのかを検出していく。

公開特許公報 特開２００１−７６１５６

しかしながら、上記技術によれば、真に追従させたい被写体と、最も相関度が高いと検出された小画像領域が被写体とズレた場合は、その後検出される小画像領域と、被写体とのズレが大きくなってしまい、このような場合においては被写体に追従しているとは言えない。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体追従（被写体追跡）の精度を向上させることができる画像処理装置、撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による画像処理装置は、参照フレーム画像内に複数の注目画像領域を設定する注目画像領域設定手段と、
前記注目画像領域設定手段により設定された注目画像領域毎に、前記注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する一致画像領域検出手段と、
前記一致画像領域検出手段により検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する抽出手段と、
前記抽出手段により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、フレーム画像を順次取得する取得手段を備え、
前記一致画像領域検出手段は、
前記取得手段により取得された最新のフレーム画像を探索対象フレーム画像として選択するとともに、当該探索対象フレーム画像から一致画像領域を検出し、
前記注目画像領域設定手段は、
前記取得手段により取得された最新のフレーム画像より前に取得されたフレーム画像を参照フレーム画像として選択するとともに、当該選択した参照フレーム画像内に複数の注目画像領域を設定するようにしてもよい。

また、例えば、請求項３に記載されているように、前記取得手段により順次取得されるフレーム画像のうち、最新に取得されたフレーム画像を表示手段に表示させていくとともに、前記重心位置算出手段により算出された重心位置を示す情報を該フレーム画像に重ねて表示させる表示制御手段を備えるようにしてもよい。

また、例えば、請求項４に記載されているように、前記注目画像領域設定手段は、
前記重心位置算出手段により重心位置が算出された場合は、前記探索対象フレーム画像を新たな参照フレーム画像として選択するとともに、前記抽出手段により抽出された一致画像領域を新たな注目画像領域として、前記新たに選択した参照フレーム画像内に設定するようにしてもよい。

また、例えば、請求項５に記載されているように、前記注目画像領域設定手段は、
前記重心位置算出手段により重心位置が算出された場合は、前記探索対象フレーム画像を新たな参照フレーム画像として選択するとともに、該選択した参照フレーム画像に、該算出された重心位置に基づいて、複数の注目画像領域を設定するようにしてもよい。

また、例えば、請求項６に記載されているように、前記注目画像領域設定手段は、
前記重心位置算出手段により算出された重心位置と、予め決まった初期配置パターンとに基づく複数の注目画像領域を設定するようにしてもよい。

また、例えば、請求項７に記載されているように、前記注目画像領域設定手段は、
前記重心位置算出手段により重心位置が算出された場合は、前記探索対象フレーム画像を新たな参照フレーム画像として選択するとともに、該選択した参照フレーム画像に、前記抽出手段により抽出された一致画像領域数に相当する数の新たな注目画像領域を設定するようにしてもよい。

また、例えば、請求項８に記載されているように、前記一致画像領域検出手段は、
前記注目画像領域設定手段により設定された注目画像領域毎に、前記注目画像領域と前記探索対象フレーム内の各領域との相関度を算出する相関度算出手段と、
前記相関度算出手段により算出された前記探索対象フレームの各領域における注目画像領域との相関度を補正係数マップを用いて補正する相関度補正手段と、を備え、前記相関度補正手段により補正された相関度に基づいて一致画像領域を検出するようにしてもよい。

また、例えば、請求項９に記載されているように、前記補正係数マップは、
フレーム画像間の相対位置関係において、注目画像領域に対応する座標位置に近い領域程、相関度が高くなるように補正係数を設けているようにしてもよい。

また、例えば、請求項１０に記載されているように、前記注目画像領域抽出手段により設定される注目画像領域毎に、前記注目画像領域に対応する探索範囲を前記探索対象フレーム画像にそれぞれ設定する探索範囲設定手段を備え、
前記一致画像領域検出手段は、
前記探索範囲設定手段により設定された探索範囲から、当該探索範囲に対応する注目画像領域と相関度が高くなる一致画像領域を検出するようにしてもよい。

また、例えば、請求項１１に記載されているように、前記注目画像領域設定手段により設定される注目画像領域からなる注目画像領域群の重心位置と、前記重心位置算出手段により算出される重心位置とに基づいて、動きベクトルを算出する動きベクトル算出手段を備え、
前記探索範囲設定手段は、
前記動きベクトル算出手段により算出された動きベクトルに基づいて、探索範囲を変えるようにしてもよい。

また、例えば、請求項１２に記載されているように、前記抽出手段は、
前記一致画像領域検出手段によりそれぞれ検出された一致画像領域の位置に基づいて、前記一致画像領域毎に、他の一致画像領域に対する所定の一致画像領域の標準偏差を算出し、該算出された標準偏差が一定レベル以上にない一致画像領域を、一致画像領域が密集する一致画像領域群から外れる一致画像領域として除外するようにしてもよい。

上記目的達成のため、請求項１３記載の発明による画像処理装置は、参照フレーム画像内に複数の注目画像領域を設定する注目画像領域設定手段と、
前記注目画像領域設定手段により設定された注目画像領域毎に、前記注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する一致画像領域検出手段と、
前記一致画像領域検出手段により検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、前記一致画像領域毎に、他の一致画像領域に対する所定の一致画像領域の標準偏差を算出し、該算出された標準偏差が一定レベル以上にない一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する抽出手段と、
前記抽出手段により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出手段と、
を備えたことを特徴とする。

上記目的達成のため、請求項１４記載の発明による撮像装置は、被写体の光を光電変換する撮像素子と、
前記撮像素子により光電変換されたフレーム画像を順次取得する取得手段と、
前記取得手段により取得された最新のフレーム画像を探索対象フレーム画像として選択するとともに、該最新のフレーム画像より前に取得されたフレーム画像を参照フレーム画像として選択する選択手段と、
前記選択手段により選択された参照フレーム画像内の注目画像領域と相関度が高くなる一致画像領域を、前記選択手段により選択された探索対象フレーム画像から前記注目画像領域毎に検出する一致画像領域検出手段と、
前記一致画像領域検出手段により検出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する抽出手段と、
前記抽出手段により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出手段と、
を備えたことを特徴とする。

上記目的達成のため、請求項１５記載の発明によるプログラムは、コンピュータに、
参照フレーム画像内に複数の注目画像領域を設定する注目画像領域設定処理と、
前記注目画像領域設定処理により設定された各注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する一致画像領域検出処理と、
前記一致画像領域検出処理により検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、該一致画像領域が密集する一致画像領域群を構成する各一致画像領域を抽出する抽出処理と、
前記抽出処理により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出処理と、
を実行させることを特徴とする。

本発明によれば、被写体追従（被写体追跡）の精度を向上することができる。

以下、本実施の形態について、デジタルカメラに適用した一例として図面を参照して詳細に説明する。
［実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の画像処理装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動回路３、絞り兼用シャッタ４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、メモリ９、ＣＰＵ１０、ＤＲＡＭ１１、画像表示部１２、フラッシュメモリ１３、キー入力部１４、バス１５を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含み、フォーカスレンズ及びズームレンズには、レンズ駆動回路３が接続されている（図示略）。
レンズ駆動回路３は、フォーカスレンズ及びズームレンズを光軸方向にそれぞれ移動させるモータ（図示略）と、ＣＰＵ１０から送られてくる制御信号にしたがってフォーカスモータ及びズームモータをそれぞれ駆動させるモータドライバ（図示略）とから構成されている。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞りを動作させる。
絞りとは、撮影レンズ２から入ってくる光の量を制御する機構のことをいい、ＣＣＤ５の露出量は、この絞りとシャッタ速度によって変わる。

撮像素子（ここではＣＣＤ５）は、ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８にはＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５の撮像信号は、ユニット回路８を経てデジタル信号としてＣＰＵ１０に送られる。

ＣＰＵ１０は、ユニット回路８から送られてきた画像データに対してガンマ補正、補間処理、ホワイトバランス処理、ヒストグラム生成処理、輝度色差信号（ＹＵＶデータ）の生成処理などの画像処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、本実施の形態では、ＣＰＵ１０は、参照フレーム画像内に複数の注目画像領域を設定する機能（注目画像領域設定手段）、該設定された注目画像領域毎に、前記注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する機能（一致画像領域検出手段）、該検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する機能（抽出手段）、該抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する機能（重心位置算出手段）を有する。

メモリ９には、ＣＰＵ１０の各部の制御に必要な制御プログラム、及び必要なデータ（例えば、補正係数マップ等）が格納されており、ＣＰＵ１０は、該プログラムに従って動作する。

ＤＲＡＭ１１は、ＣＣＤ５によってそれぞれ撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
画像表示部１２は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１３から読み出され、伸張された記録画像を表示させる。

フラッシュメモリ１３は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。
キー入力部１４は、多段階操作可能なシャッタボタン、モード切替キー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。

Ｂ．デジタルカメラ１の動作
Ｂ−１.実施の形態におけるデジタルカメラ１のメイン動作を図２のフローチャートにしたがって説明する。

ユーザによるキー入力部１４におけるモード切替キーの操作により撮影モードに設定されると、ステップＳ１で、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５により被写体を撮像させ、順次撮像されるフレーム画像データに画像処理を施し、該画像処理が施されたフレーム画像データをバッファメモリ（ＤＲＡＭ１１）に記憶させていき（取得手段）、該順次記憶させたフレーム画像データを画像表示部１２に表示させるという、いわゆるスルー画像表示を開始する。このとき、ＣＰＵ１０は、スルー画像上の所定位置（例えば、中央位置）に、画像領域を指定するための、図３（ａ）に示すような注目画像指定枠２３を表示させる。

次いで、ステップＳ２で、ＣＰＵ１０は、十字キーの操作が行なわれたか否かを判断する。この判断は、十字キーの操作に対応する操作信号がキー入力部１４から送られてきたか否かにより判断する。

ステップＳ２で、十字キーの操作が行なわれたと判断すると、ステップＳ３に進み、ＣＰＵ１０は、該十字キーの操作に従って注目画像指定枠の表示位置を変更させ、該変更された表示位置に注目画像指定枠を表示させて、ステップＳ４に進む。つまり、十字キーの操作に応じて注目画像指定枠が移動することになる。

例えば、十字キーの「→」が操作されると注目画像指定枠の表示位置は右に移動し（注目画像指定枠は右に移動し）、「←」が操作されると注目画像指定枠の表示位置は左に移動する（注目画像指定枠は左に移動する）。このとき、ユーザは、撮影したいメインとなる被写体としての追従させたい（追跡したい）被写体に注目画像指定枠が重なるように、または、メイン被写体が注目画像指定枠内に納まるように、十字キーを操作することによって注目画像指定枠をメイン被写体に移動させる。なお、ユーザは、当該デジタルカメラ本体の向きを変えることで、注目画像指定枠とメイン被写体との相対的な位置関係を調整して、メイン被写体に注目画像指定枠が重なるように、または、メイン被写体が注目画像指定枠内に納まるように、注目画像指定枠をメイン被写体に移動させてもよい。

一方、ステップＳ２で、十字キーの操作が行なわれていないと判断するとそのままステップＳ４に進む。

ステップＳ４に進むと、ＣＰＵ１０は、ユーザによってシャッタボタンの半押し操作が行なわれたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１４から送られてきたか否かにより判断する。
このとき、シャッタボタンの半押し操作により被写体追従が開始されることになるので、ユーザは追従させたいメイン被写体が注目画像指定枠と重なった時にシャッタボタンの半押し操作を行なう。

ステップＳ４で、シャッタボタンが半押し操作されていないと判断するとステップＳ２に戻り、上記した動作を繰り返す。これにより、シャッタボタンを半押し操作するまでは、ユーザは自由に注目画像指定枠の表示位置を変更することができ、注目画像指定枠とメイン被写体とを合わせることができる。即ち、注目画像指定枠にメイン被写体が合わさっていないときには、現在における注目画像指定枠に合わさっている被写体に対して追従させたい訳ではないので、シャッタボタンの半押し操作せず、注目画像指定枠にメイン被写体が合わさった時点で、シャッタボタンの半押し操作を行なう。これにより、真に追従させたいメイン被写体の追従開始を指示することができる。

一方、ステップＳ４で、シャッタボタンが半押し操作されたと判断すると、被写体追従を開始させる。この被写体追従は、シャッタボタンの半押し操作が維持されている間、継続して行なう。

この被写体追従を具体的に説明すると、まず、ステップＳ５に進み、ＣＰＵ１０は、現在表示されている注目画像指定枠の位置に基づいて、複数の基準ブロック（注目画像領域）を現在表示させているフレーム画像データ上に配置する（注目画像領域設定手段）。この基準ブロックは、ｘ画素×ｙ画素の画像領域であり、ここでは、例えば８画素×８画素を１つの基準ブロックとしている。なお、後述する探索ブロックも基準ブロックと同じ大きさの画像領域であり、ｘ画素×ｙ画素の画像領域である。つまり、ここでは、８画素×８画素の画像領域ということになる。
なお、注目画像指定枠に替えてトリミング枠を表示させてもよいし、更に、枠に限らず、点や×印、カーソルであってもよい。要は、メイン被写体の位置を示す方法であればよい。

ここで、図３及び図４は、被写体追従を説明するための図である。
図３（ａ）は、シャッタボタンが半押し操作されたときに表示されていたフレーム画像データ、及び、このときの注目画像指定枠の表示位置の様子を示すものである。
図３（ａ）の例では、注目画像指定枠２３に重なっている被写体は、フレーム画像２１の中央部分に位置している被写体としての人物２２である。

また、図３（ｂ）は、該シャッタボタンが半押し操作されたときの注目画像指定枠２３の表示位置に基づいて、複数の基準ブロックを注目画像指定枠の位置に基づいて配置した例である。
ここでは、所定の配置パターン（初期配置パターン）が予め記憶されていて、注目画像指定枠２３の基準位置としての例えば中央座標（図中における十字の交差部分）位置と所定の配置パターンにおける基準位置とが一致するように、当該配置パターンに基づいて各基準ブロック２４を配置している。このとき、配置パターンにおける基準位置は、注目画像指定枠２３の基準位置を上述したように中央座標値とした場合には、当該配置パターンの中心位置若しくは重心位置とすることが好ましい。

そして、図３（ｂ）の例では、初期配置パターンは、基準ブロック２４が縦３列、横３列で、且つ、全ての基準ブロック２４が等間隔で並んでいる配置パターンを示している。なお、初期配置パターンは、上述の例に限定するものではなく、例えば、縦２列で、横３列、というようにしてもよいし、縦３列、横２列（これらの場合は、基準ブロック２４は６個）というようにしてもよい。また、全ての基準ブロック２４が必ずしも等間隔で並んでいる必要性もない。また、追跡する被写体の特徴に応じて、または、撮影シーンに応じて、適宜好ましい配置パターンを選択可能に構成してもよい。

つまり、詳細は後述するが本実施の形態では、注目画像指定枠２３と配置パターンとに基づいて定まった各基準ブロックにおける画像データに基づいて人物２２を追跡していくことになる。

また、ここでは、基準ブロック２４を説明するため、便宜上基準ブロック２４を大きく表示させているが、ここでは基準ブロック８画素×８画素とするので微小であり、また、図３（ｂ）に示すように基準ブロック２４が認識可能なように表示する必要もない。また、注目画像指定枠２３の中心座標位置を示している十字マークは実際には表示されるものではない。しかし、注目画像指定枠２３に代えてこの十字マークを表示させるようにしてもよいし、注目画像指定枠２３と十字マークとを表示させてもよい。

次いで、ステップＳ６に進み、ＣＰＵ１０は、配置した各基準ブロック２４に対応する画像データを現在表示させているフレーム画像データ２１（ここでは、被写体追従開始ボタンの押下時に表示されていたフレーム画像データ２１）から抽出する。

次いで、ステップＳ７で、ＣＰＵ１０は、ＣＣＤ５によって新たに撮像された次のフレーム画像データをバッファメモリに記憶させることにより、次のフレーム画像データ２５（Ｐ（ｘ））を取得する。
ここでは、最新のフレーム画像データを現フレーム画像データＰ（ｘ）といい、現フレーム画像データＰ（ｘ）の１つ前に撮像されたフレーム画像データを前フレーム画像データＰ（ｘ−１）という。従って、ステップＳ７でフレーム画像データが取得されると、当該フレーム画像データが新たな現フレーム画像データＰ（ｘ）として更新されるとともに、これまでの現フレーム画像データＰ（ｘ）が新たな前フレーム画像データＰ（ｘ−１）に更新される。
つまり、フレーム画像データ２５が取得されると、フレーム画像データ２５がＰ（ｘ）となり、フレーム画像データ２１はＰ（ｘ−１）となる。
なお、ＣＰＵ１０は、フレーム画像データが新たに取得されると、該取得されたフレーム画像データを現フレーム画像データＰ（ｘ）として選択し、その１つ前に撮像されたフレーム画像データ（前回の現フレーム画像データ２２）を前フレーム画像データＰ（ｘ−１）として選択する。

なお、ＣＰＵ１０は、前フレーム画像データＰ（ｘ−１）と現フレーム画像データＰ（ｘ）とに基づいたブロックマッチング処理により被写体を追跡していくものとする。従って少なくとも、順次更新される現フレーム画像データＰ（ｘ）と前フレーム画像データＰ（ｘ−１）における基準ブロック２４の画像データとをバッファメモリに保持させておく。

次いで、ステップＳ８で、ＣＰＵ１０は、基準ブロック２４毎に、該取得したフレーム画像データ（現フレーム画像データＰ（ｘ））から、該抽出した基準ブロック２４における画像データと最も相関度の高くなるブロック（一致ブロック）をブロックマッチング処理により検出し、該検出した一致ブロックの座標位置、例えば、その中央座標（ｘ、ｙ）をバッファメモリの位置情報記憶領域に記憶させる（一致画像領域検出手段）。この一致ブロックは本発明の一致画像領域に相当する。

ここで、ブロックマッチング処理とは、図５に示すように、現フレーム画像データ２５（Ｐ（ｘ））中を順次スキャンすることで、前フレーム画像データ２１（Ｐ（ｘ−１））における参照画像としての基準ブロック２４と最も相関度の高くなる現フレーム画像データ２５（Ｐ（ｘ））における画像領域（ブロック）を検出するというものである。
なお、このとき、基準ブロック２４に対応する座標位置に基づいて、スキャンを行う探索範囲２８を設定し、当該探索範囲２８内で、基準ブロック２４と最も相関度の高くなるブロックの座標位置を検出する構成とすれば、ＣＰＵによる演算量を軽減することができ好ましい。

以下、ブロックマッチング処理動作の概要について説明する。前フレーム画像データ２１（Ｐ（ｘ−１））に対して基準ブロック２４が設定（配置）されると、設定された基準ブロック２４の各画素値と、現フレーム画像データＰ（ｘ）における探索ブロック２９の各画素値との差分の二乗（若しくは、差分の絶対値）の総和（ブロック評価値）を求める。
そして、探索ブロック２９を右に１画素、または、下に１画素移動させ、そのときの、基準ブロック２４の各画素値と探索ブロック２９の各画素値の差分の二乗の総和を求めるというように、探索ブロック２９を探索範囲２８内で順次スキャンさせていくことで、探索範囲２８における各探索ブロック２９のブロック評価値を算出する。そして、最もブロック評価値が低くなる探索ブロック２９を検出し、該検出した探索ブロック２９を基準ブロック２４と最も相関度が高くなるブロック（一致ブロック）とし、その座標位置を取得する。
つまり、前フレーム画像データ２１（Ｐ（ｘ−１））の各基準ブロック２４と対応する現フレーム画像データ２５（Ｐ（ｘ））上のブロックを検出することになる。
なお、このブロックマッチングについては後で詳細に説明する。

ここで、図３（ｃ）は、現フレーム画像データＰ（ｘ）としての現フレーム画像データ２５において、基準ブロック２４毎に検出された各一致ブロック２６の座標位置の例を示す図である。この一致ブロック２６が前フレーム画像データ２１の各基準ブロック２４に対応するブロックということになる。

基準ブロック２４毎に一致ブロック２６が検出されると、ステップＳ９で、ＣＰＵ１０は、該位置情報記憶領域に記憶させた各一致ブロックの座標位置に基づいて、各一致ブロック間の相対位置関係を評価する。そして、主要な一致ブロック群から大きく外れた位置にある一致ブロック２６を検出し、該検出した一致ブロック２６を除外して、主要な一致ブロック群を構成する一致ブロック２６を抽出する（抽出手段）。

図３（ａ）に示す例では、楕円で囲った一致ブロック２６が、比較的多くの一致ブロックが密集しているブロック群、つまり、主要な一致ブロック群から大きく外れているため、楕円で囲った各一致ブロック２６を除外し、除外後に残った一致ブロック２６を抽出することになる。これにより主要な一致ブロック群から大きく外れる一致ブロック２６を、基準ブロック２４と最も相関度が高いとされる一致ブロック群から除外することができる。
なお、除外と抽出を両方せずに、どちらか一方を行なうようにしてもよい。

この主要な一致ブロック群から大きく外れている一致ブロック２６の除外、各一致ブロックが密集している一致ブロック群における一致ブロック２６の抽出は、位置情報記憶領域に記憶された各一致ブロックの座標位置に基づいてｘ座標、ｙ座標ごとに、他の各一致ブロックに対する当該一致ブロックの相対位置情報としての標準偏差を求め、ｘ座標及びｙ座標における相対位置情報の少なくとも一方が一定レベルに満たない一致ブロックを除外する（位置情報記憶領域から除外する一致ブロックの座標位置の記憶を削除する）、または、ｘ座標及びｙ座標における相対位置情報が共に一定レベルを満たす一致ブロックを抽出することで行う。

そして、ステップＳ１０で、ＣＰＵ１０は、ｘ座標及びｙ座標における相対位置情報の少なくとも一方が一定レベルに満たない一致ブロックを除外し、除外後に残った各一致ブロック（抽出した一致ブロック２６）の座標位置に基づいて、該抽出した一致ブロック２６からなる一致ブロック群の重心位置（平均座標位置）を算出する（重心位置算出手段）。
図４（ｄ）は、算出された重心位置の様子を示すものであり、この十字の交差位置が算出された重心位置を示している。
この例では、図３（ｃ）に示した楕円の範囲内にある一致ブロック２６が除外され、該除外後に残った一致ブロック２６が抽出され、該抽出された一致ブロック２６の位置に基づいて、これらからなる一致ブロック群の重心位置を算出している。

次いで、ステップＳ１１で、ＣＰＵ１０は、ステップＳ７、又は後述するステップＳ１４で取得された現フレーム画像データＰ（ｘ）を画像表示部１２（表示手段）に表示させるとともに、該算出した重心位置に基づいて注目画像指定枠２３と同じ大きさを有する被追従画像領域枠（重心位置を示す情報）を表示させる（表示制御手段）。このときは、被追従画像領域枠の基準位置（例えば、中心位置）が該算出した重心位置となるように、被追従画像領域枠を表示させる。

図４（ｅ）は、表示される被追従画像領域枠２７の表示位置を示すものであり、注目画像指定枠２３と同じ大きさを有する被追従画像領域枠２７が該算出された重心位置に基づいて表示されているのがわかる。
これにより、どこにメイン被写体が移動したのかをユーザが簡単に認識することができる。

なお、図４（ｅ）において、除外後に残った（抽出された）一致ブロックからなるブロック群の重心位置を示している十字マークは実際に表示されるものでないが、被追従画像領域枠２７に代えてこの十字マークを表示させるようにしてもよいし、被追従画像領域２７と十字マークとを表示させるようにしてもよい。

次いで、ステップＳ１２に進み、ＣＰＵ１０は、ユーザによってシャッタボタンの全押し操作が行なわれたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１４から送られてきたか否かにより判断する。

ステップＳ１２で、シャッタボタンが全押しされていないと判断すると、ステップＳ１３に進み、ＣＰＵ１０は、シャッタボタンの半押しが解除されたか、つまり、シャッタボタンの半押しが維持されなくなったか否かの判断を行う。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力１４から継続して送られてこなくなったか否かにより判断する。

ステップＳ１３で、シャッタボタンの半押し操作が解除されていないと判断すると、つまり、半押し操作が維持されていると判断すると、ステップＳ１４で、ＣＣＤ５によって新たに撮像された次のフレーム画像データをバッファメモリに記憶させることにより、次のフレーム画像データ（Ｐ（ｘ））を取得する。これにより、新たに取得されたフレーム画像データは現フレーム画像データＰ（ｘ）として選択され、現フレーム画像データであったフレーム画像データ２５は、前フレーム画像データＰ（ｘ−１）として選択される。

次いで、ステップＳ１５に進み、ＣＰＵ１０は、ステップＳ９での除外後に残った（ステップＳ９で抽出した）一致ブロック２６をそれぞれ新たな基準ブロック２４とし（注目画像領域設定手段）、該各基準ブロックに対応する画像データを、新たに前フレーム画像データとなったフレーム画像データ２５（Ｐ（ｘ−１））から抽出して、ステップＳ８に戻り、上記した動作を繰り返す。
つまり、図４（ｅ）に示すようなフレーム画像データ２５の一致ブロック２６を新たな基準ブロック２４とし、該基準ブロック内の画像データを抽出する。

一方、ステップＳ１３で、シャッタボタンの半押し操作が解除されたと判断すると、被写体追従を終了してステップＳ１６に進み、ＣＰＵ１０は、所定位置の注目画像指定枠２３を表示させてステップＳ２に戻り、上記した動作を繰り返す。

また、ステップＳ１２で、シャッタボタンの全押し操作が行なわれたと判断すると、ステップＳ１７に進み、ＣＰＵ１０は、被写体追従を終了して、現在の被追従画像領域枠２７の位置に基づいて定められるＡＦエリアに対してピントが合うようにオートフォーカス処理を行う。
次いで、ステップＳ１８で、ＣＰＵ１０は、静止画撮影処理を行い、該得られた静止画像データをフラッシュメモリ１３に記録する。
なお、被追従画像領域枠２７の位置に基づいてトリミング範囲を定め、撮影された静止画像データから該定められたトリミング範囲の画像データを切り出して記録するようにしてもよい。

Ｂ−２．ブロックマッチング処理について
図２のステップＳ８のブロックマッチング処理においては、算出されたブロック評価値を補正し、該補正されたブロック評価値に基づいて基準ブロック２４と最も相関度の高いブロックを検出するようにしてもよい。

この算出されたブロック評価値を補正する理由は、従来のブロックマッチングによって、算出された基準ブロック２４との相関度を示すブロック評価値が最も低いブロックを、単に基準ブロック２４と最も相関度が高いブロックとすると、例えば、メイン被写体がいる位置のブロック評価値より、メイン被写体とは別の被写体（疑似被写体）がいる位置のブロック評価値の方が低くなってしまう場合があり、結果として、被写体追従の精度が落ちてしまう場合があるためである。なお、ブロック評価値の低いブロック程、基準ブロック２４と最も相関度が高いブロックとなり、ブロック評価値の低さに比例して相関度が高くなる。

以下、その動作にブロック評価値の補正を含むブロックマッチングについて、図６のフローチャートにしたがって詳細に説明する。
各基準ブロック２４が設定され、当該基準ブロック２４との相関度が高いブロック（一致ブロック２６）の位置検出を開始すると、ＣＰＵ１０は、ステップＳ５１で、Ｊ＝１に設定し（Ｊ：基準ブロック２４の番号）、ステップＳ５２で、Ｊ番目（ここでは１番目）の基準ブロック２４と最も相関度の高いブロックの位置の検出を開始する。この基準ブロック２４の番号の割り振りは任意である。

次いで、ステップＳ５３で、図２のステップＳ６で抽出された前フレーム画像データのＪ番目の基準ブロック２４に対応する現フレーム画像データの探索範囲２８を設定し（探索範囲設定手段）、該設定した探索範囲内で、探索ブロック２９をスキャンさせていき、探索ブロック２９の各位置におけるブロック評価値Ｓを算出する（相関度算出手段）。

ここで、図７（ａ）は、基準ブロック２４、探索ブロック２９の様子を例示する図であり、ここでは、基準ブロック２４、探索ブロック２９ともに８画素×８画素で構成されている。また、図７（ａ）の黒く塗りつぶした画素を、ブロック（基準ブロック２４、探索ブロック２９）の中心画素とする。なお、８画素×８画素のように偶数の画素で構成されたブロックの場合には、中心の画素は存在しないので、図７（ａ）の中央部にある４つの画素であれば（太枠線で囲まれている４つの画素であれば）何れの画素であってもよいが、基準ブロック２４の中心画素と探索ブロック２９の中心画素は同じ座標位置である必要がある。

また、図７（ｂ）は設定される探索範囲２８の様子を示す例である。探索範囲２８は、現フレーム画像データにおける所定の画素を中心として、例えば、左右にそれぞれ１２画素、また、上下にそれぞれ８画素分の範囲からなっている。このとき、現フレーム画像データにおける所定の画素、つまり、探索範囲２８の中心画素は、前フレーム画像データにおける基準ブロックの中心画素に対応している座標位置の画素である。そして、この探索範囲２８は、基準ブロック２４毎に設定される。また以下では、探索範囲の中心画素（図７（ｂ）の斜線部分、以下範囲中心画素）に対応している座標位置を（ｘ，ｙ）＝（０，０）とし、ｘ軸は右方向をプラス、左方向をマイナス、ｙ軸は上方向をプラス、下方向をマイナスとして説明する。

つまり、本実施の形態では、探索ブロック２９の中心画素が上述した探索範囲２８内となるように、各探索ブロック２９を順に選択するとともに、該選択した各探索ブロック２９と所定の基準ブロック２４とを比較していくことになる。

図８は、この基準ブロック２４、探索ブロック２９、探索範囲２８の関係を示す図である。
前フレーム画像データ２１の基準ブロック２４の中にある黒点３０は、基準ブロック２４の中心画素を示しており、該中心画素３０に対応する現フレーム画像データの画素が黒点３１（範囲中心画素３１）である。つまり、基準ブロック２４の中心画素３０として表される前フレーム画像データ２１上の座標位置と、範囲中心画素３１として表される現フレーム画像データ２５上の座標位置は同じである。

そして、この範囲中心画素３１を中心に、図７（ｂ）に示すように探索範囲２８が左右に１２画素、上下に８画素広がっている。
また、探索ブロック２９の中にある黒点３２は、探索ブロック２９の中心画素を示している。そして、中心画素３２が探索範囲２８内となる各探索ブロック２９が現フレーム画像データ２５から順次選択され、該選択された探索ブロック２９毎に、基準ブロック２４の各画素値と、該探索ブロック２９の各画素値との差分の二乗の総和（ブロック評価値Ｓ）を算出していく。
このブロック評価値Ｓは、以下に示す数1によって求めることができる。

数１における、ｋは、基準ブロック２４内または探索ブロック２９内の各画素のアドレスを示している。つまり、図７（ａ）に示す例では、基準ブロック２４または探索ブロック２９は８画素×８画素で構成されているので、画素の数は全部で６４個となり、アドレスｋが０〜６３までとなる。
また、Ｙ１は、探索ブロック２９の各画素の輝度値を表し、Ｙ２は、基準ブロック２４の各画素の輝度値を表している。
また、「_ｘｙ」は、各探索ブロックの識別番号としてのそれぞれの中心座標を表している。

図９は、中心画素３２が探索範囲３２内となるように現フレーム画像データ２５から順次選択される探索ブロック２９を説明するための図である。
図を見ると、探索ブロック２９の中心画素（黒く塗りつぶしている画素）３２の位置が（ｘ，ｙ）＝（０，０）のときに、選択される探索ブロック２９の範囲は、図９のＡのような範囲となり、Ｙ１_{ｘ＝０，ｙ＝０}は、該Ａに示すような範囲の探索ブロック２９の画素の輝度値を表している。また、探索ブロック２９の位置（中心画素３２の位置）が（ｘ，ｙ）＝（−１２，８）のときに、選択される探索ブロック２９の範囲は図９のＢに示すような範囲となり、Ｙ１_{ｘ＝−１２，ｙ＝８}は、該Ｂに示すような範囲の探索ブロック２９の画素の輝度値を表している。

また、Ｙ１_ｘｙｋは、探索ブロック２９の中心画素３２の位置が、（ｘ，ｙ）のときに選択される探索ブロック２９の各アドレスの輝度値を表しており、ｋ＝０のときは、該選択される探索ブロック２９のアドレス０の画素の輝度値、ｋ＝１のときは、該選択される探索ブロック２９のアドレス１の画素の輝度値を表している。

なお、このＹ２ｋとは、基準ブロック２４の各アドレスの画素の輝度値を表しており、ｋ＝０のときは、基準ブロック２４のアドレス０の画素の輝度値、ｋ＝１のときは、基準ブロック２４のアドレス１の画素の輝度値を表している。また、このアドレスｋに対応する基準ブロック２４、探索ブロック２９の画素は、それぞれ同じ位置である必要がある。例えば、アドレス０を基準ブロックの一番左上の画素とする場合には、アドレス０に対応する探索ブロック２９の画素も一番左上とする必要がある。なぜならば、探索ブロック２９の各画素値と基準ブロック２４の各画素値とを同じ位置の画素同士で減算するからである。

つまり、上記した数式によって、探索ブロック２９の中心画素３２の位置が（ｘ，ｙ）のときに選択される探索ブロック２９の各画素値と、基準ブロック２４の画素値とが同じ位置の画素同士で減算され、その二乗の総和が該（ｘ，ｙ）の位置における探索ブロックのブロック評価値Ｓ_ｘｙとして算出されることになる。この（ｘ，ｙ）の値を変えることにより、探索ブロック２９の各位置におけるブロック評価値Ｓ_ｘｙを求めることができる。

図１０は、探索ブロック２９の探索範囲２８の各位置において算出されたブロック評価値Ｓの様子を示すものであり、探索範囲２８の画素の数と同じ数だけのブロック評価値Ｓが算出されているのがわかる。なお、図１０においては、ブロック評価値を全てＳで表示させているが、全てのブロック評価値が同じ値ということを示しているのではなく、あくまでもブロック評価値を意味しているに過ぎない。このブロック評価値Ｓの値が高くなればなるほど相関度は小さくなる。

本実施の形態は、以下詳述するように、該算出された各位置のブロック評価値Ｓを補正して、基準ブロック２４と最も相関度の高いブロックを検出するというものである。

図６のフローチャートに戻り、探索ブロック２９の各位置におけるブロック評価値Ｓを算出すると、ステップＳ５４に進み、メモリ９に記憶されている補正係数マップに基づいて、算出された探索ブロック２９の現フレーム画像データ上の探索範囲２８の各位置におけるブロック評価値Ｓを補正する（相関度補正手段）。

図１１は、メモリ９に記憶されている補正係数マップの様子を示す図であり、ブロック評価値を補正するめの補正係数ｍがそれぞれ記憶されている。この補正係数は、（ｘ，ｙ）＝（０，０）に近いほど（探索範囲２８の範囲中心画素３１に近いほど）補正係数ｍが小さく、遠いほど補正係数ｍが大きくなる。ここでは、最小の補正係数ｍは中心付近の「６４」であり、最大の補正係数ｍは四隅の「２５５」である。

この補正係数マップを用いて該算出された基準ブロック２４と探索範囲２８の各位置における探索ブロック２９とのブロック評価値Ｓを補正することになる。
具体的には、基準ブロック２４の探索範囲２８の各位置におけるブロック評価値Ｓと、各位置のブロック評価値に対応する補正係数をそれぞれ乗算することによりブロック評価値Ｓを補正する。つまり、ブロック評価値Ｓを補正するということは、基準ブロック２３と各位置における探索ブロックとの相関度を補正するということである。

例えば、（ｘ，ｙ）＝（０，０）のブロック評価値Ｓを補正する場合には、（ｘ，ｙ）＝（０，０）のブロック評価値Ｓと（ｘ，ｙ）＝（０，０）の補正係数ｍ（ｍ＝６４）を乗算することにより該位置のブロック評価値Ｓを補正し、（ｘ，ｙ）＝（４，−３）のブロック評価値Ｓを補正する場合には、（ｘ，ｙ）＝（４，−３）のブロック評価値Ｓと（ｘ，ｙ）＝（４，−３）の補正係数ｍ（ｍ＝８６）を乗算することにより該位置のブロック評価値Ｓを補正する。また、（ｘ，ｙ）＝（−１２，８）のブロック評価値Ｓを補正する場合には、（ｘ，ｙ）＝（−１２，８）のブロック評価値Ｓと（ｘ，ｙ）＝（−１２，８）の補正係数ｍ（ｍ＝２５５）を乗算することにより該位置のブロック評価値Ｓを補正する。

このように、補正係数マップは、ブロック評価値Ｓが探索範囲２８の範囲中心画素３１（ｘ，ｙ）＝（０，０）から離れれば離れるほど補正係数が大きくなるので、基準ブロック２４の位置３０が中央から遠い（離れる）ほど補正後のブロック評価値Ｓの値は大きくなりやすい（相関度は小さくなりやすい）。これにより、中央付近における探索ブロック２９のブロック評価値を低くさせやすく（相関度を大きくさせやすく）、探索範囲２８の中央を重点とした一致ブロック２６を検出しやすくなる。被写体を所定のフレームレート、例えば、３０ｆｐｓで撮像している場合は、被写体の動きが格別に速いものでなければ（例えば、高速で走っている車などでなければ）、現フレーム画像データと、前フレーム画像データでは、然程被写体の位置は離れないからであり、探索範囲２８の中央を重点とした一致ブロック検出することができる。

つまり、従来においては、図１０に示すような探索ブロック２９の各位置におけるブロック評価値Ｓを算出すると、該算出したブロック評価値Ｓのうち、最もブロック評価値の低くなる位置を基準ブロック２４と最も相関度が高いブロック（一致ブロック２６）の位置としていたが、上述したように、メイン被写体と疑似被写体の色や明るさが似ている場合、真の被写体２１がいる位置の探索ブロック２９に基づくブロック評価値より、疑似被写体がいる位置の探索ブロック２９に基づくブロック評価値の方が低くなってしまう場合がある。かかる場合は、一致ブロックの位置がメイン被写体から離れてしまう。

これに対して、本発明の基準ブロック２４と最も相関度が高いブロックの検出処理においては、上記算出した探索ブロック２９の探索範囲２８内の各位置におけるブロック評価値をそのまま用いることなく、該各位置におけるブロック評価値Ｓを補正係数マップを用いて補正するので、基準ブロック２４の位置３０付近に位置している探索ブロック２９を優先的に一致ブロック２６として検出することができる。
なお、中央重点とした一致ブロック２６を検出するような補正係数マップを設けたが、被写体の動きに応じた補正係数マップを備えるようにし、該被写体の動きに応じて補正係数マップを使い分けるようにしてもよい。例えば、被写体の動きが左方向に移動している場合は、探索範囲の中央を優先とした（中央付近に近い程補正係数を小さくした）補正係数マップの替わりに、探索範囲の中央から左にずれたポイントを優先とた補正係数マップ（該中央から左にずれたポイント付近に近い程補正係数を小さくした補正係数マップ）を使用する。これにより、被写体の動きに応じて、精度よく一致ブロック２６を検出することができる。

図６のフローチャートに戻り、補正係数マップを用いて各位置におけるブロック評価値Ｓを補正すると、ステップＳ５５に進み、ＣＰＵ１０は、該補正後のブロック評価値Ｓのうち、最もブロック評価値が低くなる位置を検出し、該検出した位置を基準ブロック２４と最も相関度が高いブロック（一致ブロック２６）の位置とする（一致画像領域検出手段）。

次いで、ステップＳ５６で、ＣＰＵ１０は、一致ブロック２６の位置を検出していない基準ブロック２４があるか否かを判断する。
ステップＳ５６で、一致ブロック２６の位置を検出していない基準ブロック２４があると判断すると、ステップＳ５７に進み、ＣＰＵ１０は、Ｊ＝Ｊ＋１にし、つまり、ＪをインクリメントしてステップＳ５２に戻る。

Ｃ．以上のように、実施の形態においては、複数の基準ブロック２４に基づいて、該複数の基準ブロック２４と最も相関度の高いブロック（一致ブロック２６）の位置をそれぞれ検出し、該検出した位置に基づいて他の一致ブロック２６と大きく外れる位置にある一致ブロック２６を除外し、該除外後に残った（抽出した）一致ブロック２６の位置のみに基づいて被追従画像領域枠２７の表示位置（抽出した一致ブロック郡の重心位置）を算出するようにしたので、単一の基準ブロック２４を用いて被写体位置の検出より、被写体位置の検出精度が向上し、被写体追従の精度を向上させることができる。

例えば、基準ブロック２４と最も相関度が高いと判断された一致ブロック２６の位置がメイン被写体２１に外れてしまっても、他の基準ブロック２４と最も相関度が高いと判断された一致ブロック２６の位置に基づいて被写体位置を検出することができる。
また、複数検出された一致ブロック２６の位置に基づいて、他の一致ブロック２６と大きく外れる位置の一致ブロック２６を除外し、該除外後に残った（抽出した）一致ブロック２６の位置に基づいて被写体の位置を検出するので、つまり、大きく外れる位置の一致ブロック２６は誤検出と擬制して、被写体の位置検出に使用しないので（重心位置を検出する一致ブロック群から除外するので）、被写体追従の制度を向上することができる。

また、探索ブロック２９の各位置における基準ブロック２４とのブロック評価値Ｓを各基準ブロック毎に算出し、該算出したブロック評価値Ｓを、探索範囲の中央近くなればなるほど補正係数を小さくした補正係数マップを用いて補正するようにしたので、探索範囲２８の中央を重点とした被写体追従、つまり、基準ブロック２４の位置付近にある探索ブロック２９を基準ブロック２４と最も相関度の高い探索ブロック（一致ブロック２６）として検出し易くすることができ、探索範囲２８の中央を重点とした被写体追従することができる。

［変形例］
Ｄ．上記実施の形態は、以下のような変形例も可能である。
（１）上記実施の形態においては、図２のステップＳ１５で、除外後に残った（抽出した）一致ブロック２６を基準ブロック２４としたが、ステップＳ１０で算出された、除外後に残った（抽出した）一致ブロック２６からなる一致ブロック群の重心位置に基づいて、抽出した一致ブロック数に相当する数の新たな基準ブロック２４を再配置させるようにしてもよい。
また、ステップＳ１０で算出された、除外後に残った一致ブロックの重心位置及び初期配置パターンにしたがって複数の基準ブロック２６を再配置させるようにしてもよい。

図１２は、そのときの様子を示すものであり、図１２（ａ）は、ステップＳ１０で、図２のステップＳ９の除外後に残った一致ブロック２６に基づいて算出された一致ブロック２６全体の中心位置の様子を示す図であり、図４（ｄ）と同様である。
図１２（ｂ）は、該算出された一致ブロック２６全体の重心位置に基づいて、該除外後の一致ブロック２６数に相当する数の新たな基準ブロック２４を再配置させた時の様子を示す図である。図１２（ａ）を見ると、除外後の一致ブロック２６の数は６つなので、再配置された基準ブロック２６の数も６つであることがわかり、除外後の残った一致ブロック２６がそのまま基準ブロック２６となっておらず、基準ブロック２４が再配置されていることが分かる。
このように、算出された重心位置に基づいて基準ブロック２４を再配置させるので、除外後に残った一致ブロック２６を基準ブロック２４とするよりは、被写体追従の精度をよくすることができる。
なお、枠２７は、算出された重心位置に基づいて表示された被追従画像領域枠を示している。
また、再配置後の複数の基準ブロックは、当該基準ブロックからなるブロック群の重心位置が、再配置前に配置されていた複数の基準ブロックからなるブロック群の重心位置と、一致するように、再配置されることが好ましい。

図１２（ｃ）は、該算出された一致ブロック２６全体の重心位置及び初期配置パターンにしたがって複数の基準ブロック２４を再配置させたときの様子を示す図である。図１２（ｃ）を見ると、図３（ｂ）と同様に基準ブロック２４が配置されていることが分かる。なお、図３（ｂ）の場合は、注目画像指定枠の位置及び初期配置パターンにしたがって複数の基準ブロック２４を配置させ、図１２（ｃ）の場合は、算出された重心位置及び初期配置パターンにしたがって複数の基準ブロック２６を配置させるので、基準ブロック２６が配置されているフレーム画像データ上の位置は異なっている。
このように、検出された被写体位置に基づいて基準ブロック２４を初期配置させるので、除外後に残った一致ブロック２６の位置を単に基準ブロック２４の位置とするよりは、被写体追従の精度をよくすることができる。
なお、枠２７は、算出された重心位置に基づいて表示された被追従画像領域枠を示している。

（２）また、上記実施の形態においては、除外後の一致ブロック２６全体の中心位置（被追従画像領域枠２７の中心位置）を算出すると、注目画像指定枠２３の中心位置（前回の重心位置が既に算出されている場合は該前回の算出された重心位置）と、新たに算出された重心位置とに基づいて被写体の動きベクトルを動きベクトルを算出するようにしてもよい（動きベクトル算出手段）。この算出された動きベクトルは、手振れ補正や、ＪＰＥＧ圧縮等の様々な用途に適用することができる。

また、この検出された動きベクトルに基づいて、前フレーム画像データの基準ブロック２４に対応する現フレーム画像データの探索範囲２８の大きさ、形等を変えて設定するようにしてもよい。
例えば、検出された動きベクトルに基づいてメイン被写体２１は左方向、又は右方向に移動していると判断された場合は、図７（ｂ）に示すような探索範囲２８を更に横長にする。

図１３（ａ）は、そのときの探索範囲２８の様子を示すものである。図を見ると、探索範囲２８は、探索範囲２８の範囲中心画素３１（（ｘ，ｙ）＝（０，０））を中心に左右に２０画素ずつ、上下に５画素ずつ広がっているのが分かり、図６に示すような探索範囲２８より横長になっているのがわかる。これにより、現在の被写体の動きに合わせた探索範囲２８にすることができ、被写体追従の精度をよくすることができる。

また、検出された動きベクトルに基づいて、探索範囲２８の範囲中心画素３１の位置が、探索範囲２８内で変わるように探索範囲２８を変えるようにしてもよい。
例えば、検出された動きベクトルに基づいてメイン被写体２１は左方向に移動していると判断された場合は、探索範囲２８の範囲中心画素３１を探索範囲の中心から右方向に移動するように探索範囲の位置を変える。

図１３（ｂ）は、そのときの探索範囲２８の様子を示すものである。
図を見ると、探索範囲２８は、探索範囲２８の探索中心画素３１（（ｘ，ｙ）＝（０，０））を中心に右に５画素、左に１９画素、上下に８画素ずつ広がっているのが分かり、図６に示すような探索範囲２８と同じサイズであるが、範囲中心画素３１の位置が違うことがわかる。これにより、左方向の探索範囲が広がり被写体追従の精度をよくすることができる。

なお、上述したように、この探索範囲２８の探索中心画素３１は、前フレーム画像データの基準ブロック２４の位置３０に対応する現フレーム画像データの位置である。つまり、中心画素３０と探索中心画素３１の位置はフレーム画像データ上同じ位置である（図８参照）
また、検出された動きベクトルに基づいて、探索範囲２８の大きさ、形を変えるとともに、探索範囲の範囲中心画素３１の位置も変えるようにしてもよい。
また、範囲中心画素３０の位置を変える場合には、それに伴って図１１に示す補正係数マップも修正する必要がある。

（３）また、上記実施の形態においては、図２のステップＳ８で、前フレーム画像データの各基準ブロック２４と最も相関度の高い（最もブロック評価値の低い）現フレーム画像データのブロック（一致ブロック２６）の位置を検出するようにしたが、つまり、各基準ブロック２４毎に１つの一致ブロック２６を検出するようにしたが、各基準ブロック２４毎に一致ブロック２６の位置を複数検出するようにしてもよい。これにより、１つの基準ブロック２３から複数の一致ブロック２６の位置が検出される。

そして、ステップＳ９で、該各基準ブロック２４毎に複数検出された一致ブロック２６の位置に基づいて、主要の一致ブロック群から大きく外れる位置にある一致ブロック２６を除外する。
図１４（ａ）は、変形例（３）を模式図化したものである。
図１４（ａ）に示すように、基準ブロック２４毎に一致ブロック２６の位置を複数検出し、該検出した全ての一致ブロック２６（楕円で囲っている全ての一致ブロック２３）の位置に基づいて、他の一致ブロック２６と大きく外れる位置にある一致ブロック２６を一致ブロック群から除外する。つまり、一致ブロック２６が密集する一致ブロック群を構成する一致ブロック２６を抽出することになる。

なお、基準ブロック２４毎に複数検出される相関度の高いブロック（一致ブロック２６）の位置は、基準ブロック２４と最も相関度が高い位置から所定番目まで高い位置、若しくは所定値より相関度が高い位置を検出するようにする。例えば、所定番目を３番目とすると、基準ブロック２４と最も相関度が高い探索ブロック２９の位置と、次に相関度が高い（次にブロック評価値が低い）探索ブロック２９の位置と、３番目に相関度が高い（３番目にブロック評価値が低い）探索ブロック２９の位置を、一致ブロック２６の位置として検出する。

これにより、基準ブロック２４と最も相関度が高い探索ブロック２９の位置がメイン被写体２１の位置付近にない場合であっても、つまり、メイン被写体がいる位置の探索ブロック２９に基づくブロック評価値より、疑似被写体がいる位置の探索ブロック２９に基づくブロック評価値の方が低くなってしまう場合であっても、基準ブロック２４毎に複数の一致ブロック２６の位置を検出し、該検出した全ての位置に基づいて、他の一致ブロック２６と大きく外れる位置の一致ブロック２６を除外するようにしたので、被写体追従の精度を向上することができる。

（４）また、上記実施の形態においては、図６のステップＳ５４で、算出された探索ブロック２９の各位置におけるブロック評価値Ｓを補正し、ステップＳ５５で、該補正後のブロック評価値Ｓのうち、最もブロック評価値が低くなる位置を検出し、該検出した位置を基準ブロック２４と最も相関度が高いブロック（一致ブロック２６）の位置とするようにしたが、ステップＳ５３で、探索ブロック２９の各位置におけるブロック評価値Ｓを算出すると、ステップＳ５４でブロック評価値Ｓの補正処理を行わずに、各位置のブロック評価値の中でブロック評価値Ｓが低いブロックの位置（候補一致ブロック２６´の位置）を複数検出し、該複数検出した位置の中で、最も範囲中心画素３１に近い位置を検出し、該検出した位置を基準ブロック２４の一致ブロック２６として、ステップＳ５６に進むようにしてもよい。

図１４（ｂ）は、変形例４を模式図化したものである。
図１４（ｂ）に示すように、基準ブロック２４毎に候補一致ブロック２６´の位置を複数検出し、この基準ブロック毎に、該検出した候補一致ブロック２６´の位置の中で範囲中心画素３０に近い位置を検出し、該検出した位置を一致ブロック２６とする。
なお、基準ブロック２４毎に複数検出される候補一致ブロック２６´の位置は、ステップＳ５３で算出されるブロック評価値Ｓの中で、ブロック評価値Ｓが最も小さくなる位置から所定番目までに小さい位置、若しくは所定値より低い位置を、候補一致ブロック２６´の位置とする。
これにより、ブロック評価値Ｓを補正することなく、基準ブロック２４の位置付近に位置している探索ブロック２９を優先的に該基準ブロック２４と最も相関度の高いブロック（一致ブロック２６）として検出し易くすることができ、被写体追従の精度を向上することができる。

（５）また、上記変形例（３）においては、各基準ブロック２４毎に相関度の高いブロック（一致ブロック２６）の位置を複数検出し、ステップＳ９で、該各基準ブロック２４毎に複数検出された一致ブロック２６の位置に基づいて、他の一致ブロック２６と大きく外れる位置にある一致ブロック２６を一致ブロック群から除外するようにしたが、各基準ブロック２４毎に複数の一致ブロック２６の位置を検出すると（この検出された一致ブロック２６を候補一致ブロック２６´と呼ぶ）、該各基準ブロック２４毎に複数検出された候補一致ブロック２６´の中で、最も範囲中心画素３１に近い候補一致ブロック２６´の位置を、基準ブロック２３の一致ブロック２６とすることにより、各基準ブロック２４の一致ブロック２６を１つずつ検出するようにしてもよい。

つまり、変形例（５）を模式図化すると、上記変形例（４）で説明した図１４（ｂ）のようになるが、上記変形例（４）と違う点は、本変形例（５）は、補正後のブロック評価値に基づいて複数の候補一致ブロック２６´を検出し、該検出した候補一致ブロック２６´の中から範囲中心画素３０に近い一致ブロック２６を検出する点にある。
これにより、更に探索範囲２８の中央を重点とした被写体追従を行なうことができる。

（６）また、上記実施の形態においては、フレーム画像データ毎に被写体の位置（ステップＳ１０で算出される重心位置）を算出するようにしたが、所定間隔フレーム毎に算出するようにしてもよい。フレーム画像データ毎に被写体の位置を（ステップＳ１０で算出される重心位置）を検出した方が被写体追従の精度をよくすることができるが処理負担が大きくなり、所定間隔毎フレーム毎に算出した方が処理負担を軽減することができる。
また、連続する２つのフレーム画像データ（前フレーム画像データと、現フレーム画像データ）を選択し、該選択したフレーム画像データに基づいて被写体位置を検出するようにしたが、連続しない２枚のフレーム画像データを選択し、該選択したフレーム画像データに基づいて被写体位置を検出するようにしてもよい。

（７）また、上記実施の形態においては、現に撮像しているフレーム画像データに基づいて被写体の位置を検出するようにしたが、既に撮影済の記録されている動画像データを用いて被写体追従（被写体位置検出）を行なうようにしてもよい。

（８）また、上記実施の形態においては、基準ブロック２４、探索ブロック２９内の全ての画素を用いてブロック評価値を算出するようにしたが、基準ブロック２４、探索ブロック２９内の画素を間引き、間引き後に残った画素のみを用いてブロック評価値を算出するようにしてもよい。この場合は、あらかじめ現フレーム画像データ２５の画素も間引くようにしてもよい。これにより、ブロック評価値Ｓの算出に伴う処理負担を軽減することができ、迅速にブロック評価値Ｓを算出することができる。

（９）また、上記実施の形態においては、シャッタボタンの半押しにより被写体追従を開始させ、シャッタボタンの全押し、半押し解除により被写体追従を終了するようにしたが、シャッタボタンとは別個に被写体追従開始ボタンを設け、該被写体追従開始ボタンにより被写体追従の開始、終了を指示するようにしてもよい。

（１０）また、上記実施の形態においては、探索範囲２８を設けるようにしたが、探索範囲を設けないようにしてもよい。この場合は、現フレーム画像データＰ（ｘ）の全範囲内で探索ブロック２９をスキャンさせていくことになる。この場合には、全範囲内で探索ブロック２９をスキャンさせていくことにより算出された探索ブロック２９の各位置におけるブロック評価値Ｓを補正するための補正係数マップを備える必要がある。

（１１）また、上記（１）〜（１０）を任意に組み合わせた実施の形態に変更するようにしてもよい。

（１１）、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の画像処理装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、動画データを処理することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラ１のブロック図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 被写体追従を説明するための図である。 被写体追従を説明するための図である。 従来におけるブロックマッチングを説明するための図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 基準ブロック２４と探索ブロック２９の様子及び探索範囲の様子を例示する図である。 基準ブロック２４、探索ブロック２９、探索範囲２８の関係を示す図である。 中心画素３２が探索範囲３２内となるように現フレーム画像データ２５から順次選択される探索ブロック２９を説明するための図である。 探索ブロック２９の各位置において算出されたブロック評価値Ｓの様子を示すものである。 メモリ９に記憶されている補正係数マップの様子を示す図である。 変形例における基準ブロック２４の配置を説明するための図である。 変形例における探索範囲の様子を示す図である。 変形例を説明するための模式図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動回路
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ メモリ
１０ ＣＰＵ
１１ ＤＲＡＭ
１２ 画像表示部
１３ フラッシュメモリ
１４ キー入力部
１５ バス

Claims (15)

1. 参照フレーム画像内に複数の注目画像領域を設定する注目画像領域設定手段と、
   前記注目画像領域設定手段により設定された注目画像領域毎に、前記注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する一致画像領域検出手段と、
   前記一致画像領域検出手段により検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する抽出手段と、
   前記抽出手段により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出手段と、
   を備えたことを特徴とする画像処理装置。
2. フレーム画像を順次取得する取得手段を備え、
   前記一致画像領域検出手段は、
   前記取得手段により取得された最新のフレーム画像を探索対象フレーム画像として選択するとともに、当該探索対象フレーム画像から一致画像領域を検出し、
   前記注目画像領域設定手段は、
   前記取得手段により取得された最新のフレーム画像より前に取得されたフレーム画像を参照フレーム画像として選択するとともに、当該選択した参照フレーム画像内に複数の注目画像領域を設定することを特徴とする請求項１記載の画像処理装置。
3. 前記取得手段により順次取得されるフレーム画像のうち、最新に取得されたフレーム画像を表示手段に表示させていくとともに、前記重心位置算出手段により算出された重心位置を示す情報を該フレーム画像に重ねて表示させる表示制御手段を備えたことを特徴とする請求項２記載の撮像装置。
4. 前記注目画像領域設定手段は、
   前記重心位置算出手段により重心位置が算出された場合は、前記探索対象フレーム画像を新たな参照フレーム画像として選択するとともに、前記抽出手段により抽出された一致画像領域を新たな注目画像領域として、前記新たに選択した参照フレーム画像内に設定することを特徴とする請求項２又は３記載の画像処理装置。
5. 前記注目画像領域設定手段は、
   前記重心位置算出手段により重心位置が算出された場合は、前記探索対象フレーム画像を新たな参照フレーム画像として選択するとともに、該選択した参照フレーム画像に、該算出された重心位置に基づいて、複数の注目画像領域を設定することを特徴とする請求項２又は３記載の画像処理装置。
6. 前記注目画像領域設定手段は、
   前記重心位置算出手段により算出された重心位置と、予め決まった初期配置パターンとに基づく複数の注目画像領域を設定することを特徴とする請求項５記載の画像処理装置。
7. 前記注目画像領域設定手段は、
   前記重心位置算出手段により重心位置が算出された場合は、前記探索対象フレーム画像を新たな参照フレーム画像として選択するとともに、該選択した参照フレーム画像に、前記抽出手段により抽出された一致画像領域数に相当する数の新たな注目画像領域を設定することを特徴とする請求項２乃至５の何れかに記載の画像処理装置。
8. 前記一致画像領域検出手段は、
   前記注目画像領域設定手段により設定された注目画像領域毎に、前記注目画像領域と前記探索対象フレーム内の各領域との相関度を算出する相関度算出手段と、
   前記相関度算出手段により算出された前記探索対象フレームの各領域における注目画像領域との相関度を補正係数マップを用いて補正する相関度補正手段と、を備え、前記相関度補正手段により補正された相関度に基づいて一致画像領域を検出することを特徴とする請求項１乃至７の何れかに記載の画像処理装置。
9. 前記補正係数マップは、
   フレーム画像間の相対位置関係において、注目画像領域に対応する座標位置に近い領域程、相関度が高くなるように補正係数を設けていることを特徴とする請求項８記載の画像処理装置。
10. 前記注目画像領域抽出手段により設定される注目画像領域毎に、前記注目画像領域に対応する探索範囲を前記探索対象フレーム画像にそれぞれ設定する探索範囲設定手段を備え、
    前記一致画像領域検出手段は、
    前記探索範囲設定手段により設定された探索範囲から、当該探索範囲に対応する注目画像領域と相関度が高くなる一致画像領域を検出することを特徴とする請求項１乃至９の何れかに記載の画像処理装置。
11. 前記注目画像領域設定手段により設定される注目画像領域からなる注目画像領域群の重心位置と、前記重心位置算出手段により算出される重心位置とに基づいて、動きベクトルを算出する動きベクトル算出手段を備え、
    前記探索範囲設定手段は、
    前記動きベクトル算出手段により算出された動きベクトルに基づいて、探索範囲を変えることを特徴とする請求項１０記載の画像処理装置。
12. 前記抽出手段は、
    前記一致画像領域検出手段によりそれぞれ検出された一致画像領域の位置に基づいて、前記一致画像領域毎に、他の一致画像領域に対する所定の一致画像領域の標準偏差を算出し、該算出された標準偏差が一定レベル以上にない一致画像領域を、一致画像領域が密集する一致画像領域群から外れる一致画像領域として除外することを特徴とする請求項１乃至１１の何れかに記載の画像処理装置。
13. 参照フレーム画像内に複数の注目画像領域を設定する注目画像領域設定手段と、
    前記注目画像領域設定手段により設定された注目画像領域毎に、前記注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する一致画像領域検出手段と、
    前記一致画像領域検出手段により検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、前記一致画像領域毎に、他の一致画像領域に対する所定の一致画像領域の標準偏差を算出し、該算出された標準偏差が一定レベル以上にない一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する抽出手段と、
    前記抽出手段により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出手段と、
    を備えたことを特徴とする画像処理装置。
14. 被写体の光を光電変換する撮像素子と、
    前記撮像素子により光電変換されたフレーム画像を順次取得する取得手段と、
    前記取得手段により取得された最新のフレーム画像を探索対象フレーム画像として選択するとともに、該最新のフレーム画像より前に取得されたフレーム画像を参照フレーム画像として選択する選択手段と、
    前記選択手段により選択された参照フレーム画像内の注目画像領域と相関度が高くなる一致画像領域を、前記選択手段により選択された探索対象フレーム画像から前記注目画像領域毎に検出する一致画像領域検出手段と、
    前記一致画像領域検出手段により検出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、前記一致画像領域群を構成する各一致画像領域を抽出する抽出手段と、
    前記抽出手段により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出手段と、
    を備えたことを特徴とする撮像装置。
15. コンピュータに、
    参照フレーム画像内に複数の注目画像領域を設定する注目画像領域設定処理と、
    前記注目画像領域設定処理により設定された各注目画像領域と相関度が高くなる一致画像領域を、探索対象フレーム画像からそれぞれ検出する一致画像領域検出処理と、
    前記一致画像領域検出処理により検出された各一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該検出された一致画像領域が密集する一致画像領域群から外れる一致画像領域を除外するとともに、該一致画像領域が密集する一致画像領域群を構成する各一致画像領域を抽出する抽出処理と、
    前記抽出処理により抽出された一致画像領域の前記探索対象フレーム画像上の位置に基づいて、該抽出された一致画像領域からなる一致画像領域群の重心位置を算出する重心位置算出処理と、
    を実行させることを特徴とするプログラム。
    

Images