JP4807623B2 - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Description

本発明は、撮像装置、撮像方法及び撮像プログラムに関し、たとえば、電子ファインダを備えたデジタルカメラ等に適用して好適な撮像装置、撮像方法及び撮像プログラムに関する。

デジタルカメラの多くは、液晶ディスプレイなどの電子ファインダを備えている。かかるデジタルカメラにおいては、ＣＣＤ等の撮像素子から周期的に出力されるフレーム画像（いわゆるスルー画像）が電子ファインダに写し出されるので、撮影者は、そのスルー画像を見ながら、構図を調節したりズーム倍率を調節したりできるようになっている。

一方、今日のデジタルカメラに搭載されている撮像素子の画素数は増加の一途を辿っており、機種によってはギガレベルの画素数を持つものも出現しているが、たとえば、パソコンのディスプレイで鑑賞するには、ＶＧＡ（６４０×４８０画素）やＸＧＡ（１０２４×７６８画素）程度の画素数でも充分であることから、所望により、フルサイズ画像の画素を間引いて縮小したり、又は、フルサイズ画像の所望部分を切り出してトリミングしたりして、必要充分な画素数の画像（したがって、ファイルサイズの小さな画像）を生成し、その画像を半導体メモリ等の記憶要素に保存したり、パソコン等に出力したりできるようになっている。

さて、上記のトリミングの方法としては、たとえば、電子ファインダ上のスルー画像に、トリミング用の参照枠（以下、トリミング枠；図２のトリミング枠２５参照）を重畳表示し、そのトリミング枠内に被写体が入るようにカメラの向きを調節した後、シャッタボタンを全押しして、そのトリミング枠内の画像を半導体メモリ等の記憶要素に保存格納することが考えられる。

しかしながら、かかるトリミング方法は、トリミング枠に被写体を入れる操作が必要であり、とりわけ、子供のように動き回る被写体に対しては使い勝手が悪いという不都合がある。その理由は、トリミング枠の大きさが電子ファインダの画面サイズに比べて数分の１程度に小さいからであり、この小さなトリミング枠に、動き回る被写体を入れ続けるのが相当困難であるからである。

そこで、被写体の動きに合わせてトリミング枠を動かすこと、つまり、「追従トリミング撮影」が考えられる。このためには、たとえば、シャッタボタン半押し時に表示されるピント合わせ指標（いわゆる合焦マーク；図２の合焦マーク２２参照）内の合焦部分（ピントが合った被写体の一部）が常にトリミング枠の中央に位置するように、電子ファインダ上のトリミング枠の位置を追従制御すればよい。

このことを実際の撮影状況で説明すると、撮影者は、まず、カメラの「追従トリミング撮影」の機能をオンにし、そのカメラを動き回る被写体に向けて構える。このとき、電子ファインダの中央には合焦マークが表示されている。次いで、シャッタボタンを半押しすると、合焦マークの周囲にトリミング枠が表示され、同時に、合焦マーク内の被写体の一部にピントが合うので、被写体が静止している場合には、そのままシャッタボタンを全押しすればよく、一方、被写体が動いている場合には、「追従トリミング撮影」の機能により、被写体の動きに追従して合焦マークとトリミング枠が一緒に移動するので、所望のタイミングでシャッタボタンを全押しすればよい。このように、被写体の静止／移動にかかわらず、いずれの場合にも、適切な構図のトリミング画像を得ることができる。

ところで、上記の「追従トリミング撮影」の機能を実現するためには、スルー画像（撮像素子から周期的に出力されるフレーム画像）の注目画素領域（上記の合焦部分又はそれに相当する部分）を各フレーム画像にわたって自動追尾（自動追従）する必要がある。この自動追尾に適用可能な従来技術としては、たとえば、下記の特許文献１に記載されているような、テンプレートマッチング（ブロックマッチングともいう）を用いた技術がある。

この技術では、前フレーム画像から切り出されたテンプレート（上記の注目画素領域に相当）に類似する小画像領域を現フレーム画像から探索すると共に、探索された小画像領域のうち最も類似度が高いものを追尾対象領域として特定し、この動作を、連続するフレーム画像間でテンプレートを逐次更新しながら繰り返していくというものである。なお、テンプレートは８×８画素程度のブロック（画素の集まり）であることから、テンプレートマッチングはブロックマッチングとも呼ばれる。

この従来技術における小画像領域の探索の仕方は、テンプレートを１画素ずつずらしながら現フレーム画像に重ね合わせて、テンプレートと同じ大きさの小画像領域内の各画素ごとに、輝度値の差の絶対値を合計して一致の程度を表す結果スコアを求めるというものであり、この結果スコアは、一致度が高いほどスコア値が小さくなり、完全一致の場合は０となるようになっており、したがって、上記の従来技術では、スコア値が最小（０又は０に限りなく近い）の小画像領域を追尾するように動作するというものである。

特開２００１−７６１５６号公報

しかしながら、上記従来技術は、スコア値が最小の小画像領域を追尾するように動作するが、その追尾性能は充分でなく、しばしば間違った小画像領域を追尾してしまうという問題点がある。たとえば、撮影構図内に複数の動く被写体が存在しているとき、そのうちの一つの被写体（以下、真被写体）を追尾しようとする場合に、真被写体の追尾途中に他の被写体（以下、偽被写体）を間違って追尾してしまうことがある。これは、状況によって、「真被写体のスコア値＞偽被写体のスコア値」の関係、つまり、偽被写体のスコア値が、真被写体のスコア値よりも小さくなってしまうことがあり得るからである。

そこで、本発明の目的は、ブロックマッチングによる被写体追従の追従精度を向上することにあり、詳しくは、似たような動きの領域が存在した場合であっても、当初に設定した真の領域を正確に追尾し続けることができる撮像装置、撮像方法及び撮像プログラムを提供することにある。

請求項１記載の発明は、順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段を備えた撮像装置であって、前記被写体追従手段は、所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、前記注目画素領域抽出手段は、所定の新たなフレーム画像が取得された場合に、前記比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出し、前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、前記探索範囲設定手段は、前記位置導出手段により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定し、前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする撮像装置である。
請求項２記載の発明は、順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段を備えた撮像装置であって、前記被写体追従手段は、所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、前記比較画素領域選択手段は、前記相関度補正手段により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を上位から所定数領域だけ選択する第一比較画素領域選択手段と、前記第一比較画素領域選択手段により選択された比較画素領域から、前記探索範囲設定手段により設定された探索範囲の中央位置に最も近い位置にある比較画素領域を１領域選択する第二比較画素領域選択手段と、を備え、前記注目画素領域抽出手段は、新たな現フレーム画像が取得された場合に、前記第二比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出することを特徴とする撮像装置である。
請求項３記載の発明は、前記探索範囲設定手段は、前記位置導出手段により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定することを特徴とする請求項２記載の撮像装置である。
請求項４記載の発明は、前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする請求項３記載の撮像装置である。
請求項５記載の発明は、前記比較画素領域選択手段は、前記相関度補正手段により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を１領域選択することを特徴とする請求項１乃至４いずれかに記載の撮像装置である。
請求項６記載の発明は、前記相関度導出手段は、前記注目画素領域の各画素データと前記比較画素領域の各画素データに基づいた差分２乗和として相関度を導出することを特徴とする請求項１乃至５いずれかに記載の撮像装置である。
請求項７記載の発明は、前記注目画素領域抽出手段は、新たな現フレーム画像が取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第一注目画素領域として抽出する第一注目画像領域抽出手段と、新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第二注目画素領域として抽出する第二注目画像領域抽出手段とを備え、前記相関度導出手段は、前記比較画素領域抽出手段により抽出された各比較画素領域と前記第二注目画素領域抽出手段により抽出された第二注目画素領域との相関度を導出し、前記位置導出手段は、前記第一注目画素領域抽出手段により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出することを特徴とする請求項１乃至６いずれかに記載の撮像装置である。
請求項８記載の発明は、順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従工程を含む撮像方法であって、前記被写体追従工程は、所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出工程と、現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出工程と、前記比較画素領域抽出工程により抽出された各比較画素領域と前記注目画素領域抽出工程により抽出された注目画素領域との相関度を導出する相関度導出工程と、前記相関度導出工程により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正工程と、前記相関度補正工程により導出された補正相関度に基づいて、前記比較画素領域抽出工程により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択工程と、前記注目画素領域抽出工程により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出工程と、前記位置導出工程により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定工程と、を含み、前記注目画素領域抽出工程は、所定の新たなフレーム画像が取得された場合に、前記比較画素領域選択工程により選択された比較画素領域を新たな注目画素領域として抽出し、前記比較画素領域抽出工程は、前記探索範囲設定工程により設定された探索範囲内で比較画素領域を抽出し、前記探索範囲設定工程は、前記位置導出工程により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定し、前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする撮像方法である。
請求項９記載の発明は、順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従工程を含む撮像方法であって、前記被写体追従工程は、所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出工程と、現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出工程と、前記比較画素領域抽出工程により抽出された各比較画素領域と前記注目画素領域抽出工程により抽出された注目画素領域との相関度を導出する相関度導出工程と、前記相関度導出工程により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正工程と、前記相関度補正工程により導出された補正相関度に基づいて、前記比較画素領域抽出工程により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択工程と、前記注目画素領域抽出工程により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出工程と、前記位置導出工程により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定工程と、を含み、前記比較画素領域抽出工程は、前記探索範囲設定工程により設定された探索範囲内で比較画素領域を抽出し、前記比較画素領域選択工程は、前記相関度補正工程により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を上位から所定数領域だけ選択する第一比較画素領域選択工程と、前記第一比較画素領域選択工程により選択された比較画素領域から、前記探索範囲設定工程により設定された探索範囲の中央位置に最も近い位置にある比較画素領域を１領域選択する第二比較画素領域選択工程と、を含み、前記注目画素領域抽出工程は、新たな現フレーム画像が取得された場合に、前記第二比較画素領域選択工程により選択された比較画素領域を新たな注目画素領域として抽出することを特徴とする撮像方法である。
請求項１０記載の発明は、順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段をコンピュータに実現させるための撮像プログラムであって、前記被写体追従手段は、所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、前記注目画素領域抽出手段は、所定の新たなフレーム画像が取得された場合に、前記比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出し、前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、前記探索範囲設定手段は、前記位置導出手段により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定し、前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする撮像プログラムである。
請求項１１記載の発明は、順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段をコンピュータに実現させるための撮像プログラムであって、前記被写体追従手段は、所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、前記比較画素領域選択手段は、前記相関度補正手段により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を上位から所定数領域だけ選択する第一比較画素領域選択手段と、前記第一比較画素領域選択手段により選択された比較画素領域から、前記探索範囲設定手段により設定された探索範囲の中央位置に最も近い位置にある比較画素領域を１領域選択する第二比較画素領域選択手段と、を備え、前記注目画素領域抽出手段は、新たな現フレーム画像が取得された場合に、前記第二比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出することを特徴とする撮像プログラムである。

本発明では、探索範囲において、比較画素領域の追尾を中央重点で行うことができるようになる。その結果、探索範囲の中央付近に位置する真の被写体のみを追尾でき、とりわけ、動きの少ない被写体の追尾性能を向上することができる。また、相関度の差分が少なく、明確な結果が得られない複数の追尾対象候補ブロックについても、探索範囲中央のブロックを優先して追尾することができるようになり、特徴の少ない被写体の追尾性能を向上することができる。

以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、実施形態に係る撮像装置の構成図である。この図において、撮像装置１は、光学系２、撮像素子３、画像処理部４、画像バッファ５、制御部６、操作部７、電子ファインダ８、記憶部９及び電源部１０などを備える。

光学系２は、固定焦点レンズ又は可変焦点レンズ（いわゆるズームレンズ）で構成された光学レンズを含み、可変開口絞り機構を介して取り込まれた被写体の光学像を撮像素子３の受光面上に結像させる。

撮像素子３は、ＣＣＤやＣＭＯＳなどの半導体二次元イメージセンサであり、受光面上に結像した被写体像を光電変換する。この撮像素子３は、ｙ軸方向（縦方向）とｘ軸方向（横方向）にマトリクス配列された多数の光電変換素子（画素ともいう）からなり、各画素の信号を１水平ラインごとに線順次で出力することにより、１フレームあたりｙライン×ｘ画素の画像信号を毎秒数十フレーム（一般的に毎秒３０フレーム）の周期で出力する。

画像処理部４は、撮像素子３から出力された画像信号に対してガンマ補正等の画像処理を施し、現フレーム画像として画像バッファ５及び制御部６に出力する。

画像バッファ５は、画像処理部４から出力される現フレーム画像を１フレーム周期遅延させて前フレーム画像とし、その前フレーム画像を制御部６に出力する。

制御部６は、ＲＡＭ６ａやＲＯＭ６ｂ及びＣＰＵ６ｃなどからなるワンチップマイクロプロセッサであり、ＲＯＭ６ｂに予め格納されている制御プログラムをＲＡＭ６ａにロードしてＣＰＵ６ｃで実行することにより、撮像装置１の動作を統括制御する。

操作部７は、撮像装置１の操作に必要な各種ボタン類、たとえば、シャッタボタン７ａやトリミング撮影ボタン７ｂなどを含み、それらのボタン操作に対応した信号を発生して制御部６に出力する。

電子ファインダ８は、数インチ程度の液晶ディスプレイパネル等からなる平面表示装置であり、この電子ファインダ８は、撮像装置１をデジタルカメラとして使用するときに構図調整のためのファインダとして用いられる。

記憶部９は、撮影済み画像を記憶保存するための記憶要素であり、たとえば、大容量の不揮発性半導体記憶装置や磁気記憶装置などから構成される。

電源部１０は、一次電池や二次電池からなり、制御部６を含む撮像装置１の各部に所要の電源を供給する。

なお、以上説明した撮像装置１の構成はデジタルカメラのものであるが、これに限定されず、たとえば、カメラ付き携帯電話機やカメラ付き情報端末などのように、撮像機能を有する各種の携帯型電子機器であれば適用することができる。

図２は、撮像装置１の利用状態図である。この図において、（ａ）は通常の撮影（ノーマル撮影）状態を示し、（ｂ）及び（ｃ）はトリミング撮影状態を示している。また、（ｂ）のトリミング撮影は被写体静止のときのものを示し、（ｃ）のトリミング撮影は被写体移動のときのものを示している。

まず、ノーマル撮影を説明する。ここで、ノーマル撮影とは、静止した被写体を撮影する、たとえば、通常のポートレート撮影のことをいう。この場合、撮影者は、（ａ）に示すように、ファインダ画面２１の中央に位置する合焦マーク２２に被写体２３を合わせてシャッターボタンを半押しし、被写体２３にピントを合わせてから、シャッターボタンを全押しする。これにより、ファインダ画面２１の全体に対応した画像２４を撮影して、記憶部９に記録保存できる。

次に、トリミング撮影を説明する。本実施形態におけるトリミング撮影は、二つのケースに分けられる。一のケースは被写体が静止している場合であり、二のケースは被写体が動いてる（移動している）場合である。いずれのケースであっても、操作部７のトリミング撮影ボタン７ｂを押し下げ操作することにより、このトリミング撮影機能をオンにすることができる。撮影者は、これら二つのケースを意識して区別する必要はない。

被写体静止のトリミング撮影の場合、撮影者は、（ｂ）に示すように、ファインダ画面２１の中央に位置する合焦マーク２２に被写体２３を合わせてシャッターボタンを半押しし、被写体２３にピントを合わせてから、シャッターボタンを全押しする。操作自体はノーマル撮影と何ら変わらない。違いは、記憶部９に記録保存される画像２６が、ファインダ画面２１の全体ではなく、所定サイズのトリミング枠２５に限られる点にある。すなわち、ファインダ画面２１の一部を“トリミング”した画像２６が記憶部９に記録保存される点にある。

かかるトリミング撮影において、もし、トリミング枠２５が固定であったならば、とりわけ、子供のように動き回る被写体の場合、撮影方向を常に被写体に向け続けるのは相当困難であるし、カメラブレの心配もある。本実施形態の追随トリミング撮影機能（図２（ｃ））は、こうした不都合を解消するためのものである。

すなわち、ファインダ画面２１に映ってさえいれば、撮影方向を変えることなく、被写体２３の動きに追従してトリミング枠２５を自動的に移動させることができ、所望のタイミングでシャッターボタンを全押しするだけで、ファインダ画面２１の一部を“トリミング”した画像２７を記憶部９に記録保存できるようにしたものである。

図３は、本実施形態の追随トリミング撮影機能における被写体自動追尾の概念図である。なお、この概念図は、制御部６においてソフト的に実行される制御機能を模式化して示すものである。

この図において、参照フレーム画像１２は、画像バッファ５から取り込まれた所定フレーム画像であり、この所定フレーム画像は、前記のトリミング撮影（図２（ｂ）、（ｃ））の開始時（すなわち、シャッターボタンの半押し直後）に画像バッファ５に取り込まれたフレーム画像のことである。参照フレーム画像１２のほぼ中央には被写体１３が映っており、この被写体１３は、たとえば、動き回る子供である。

一方、参照フレーム画像１２の下方に描かれている複数のフレーム画像１６、１７、１８・・・・は、上記の参照フレーム画像１２の後に続いて画像処理部４から順次に出力されるフレーム画像であり、各々のフレーム画像１６、１７、１８・・・・は、それぞれの出力時点における最新の現フレーム画像である。また、フレーム画像１７が最新の現フレーム画像として出力されたときには、前記フレーム画像１６が参照フレーム画像として、そして、フレーム画像１８が最新の現フレーム画像として出力されたときには、前記フレーム画像１７が参照フレーム画像として更新されるものとする。

フレーム画像１６、１７、１８・・・・には、参照フレーム画像１２の被写体１３と同一の被写体１９が映っており（ただし、図示の都合上、最上面のフレーム画像１６のものしか示していない）、上記前提のとおり、参照フレーム画像１２の被写体１３は動き回る子供であるから、フレーム画像１６、１７、１８・・・・の被写体１９の位置は、その動きに伴い、それぞれ異なるものとなる。

参照フレーム画像１２は、注目画素領域抽出部６ｄに入力される。注目画素領域抽出部６ｄは、参照フレーム画像１２に映っている被写体１３の全体又はその一部を含む注目画素領域１５を抽出する。この注目画素領域１５は、たとえば、図２（ｂ）、（ｃ）における合焦マーク２２内の画素領域、つまり、ピントのあった画素領域に相当する。

一方、比較画素領域抽出部６ｅは、新たに取得される現フレーム画像における詳細は後述の探索範囲から、注目画素領域１５における被写体画像と比較される比較画素領域２０を順次抽出する。
ここで、各比較画素領域２０は、注目画素領域１５と同じサイズの画素領域であり、例えば、フレーム画像において、比較画素領域毎にｘ軸方向またはｙ軸方向に順次１画素ずつシフトされて抽出される。

注目画素領域抽出部６ｄで抽出された注目画素領域１５における各画素値（輝度値）と、比較画素領域抽出部６ｅで抽出された各比較画素領域２０の各画素値（輝度値）は、相関度導出部６ｆに入力される。そして、この相関度導出部６ｆで各比較画素領域毎に、注目画素領域１５における被写体画像との相関度が導出され、相関度補正部６ｈに出力される。

相関度補正部６ｈは、相関度導出部６ｆで導出された各相関度を所定の相関度補正マップ６ｇに従って補正し、補正後の相関度を比較画素領域選択部６ｉに出力する。比較画素領域選択部６ｉは、相関度補正部６ｈで補正された相関度に基づいて、注目画素領域１５との相関度が最も高い比較画素領域２０を選択し、その選択された比較画素領域２０を追尾対象の被写体画像として決定し、また、その選択された比較画素領域２０を追尾位置として決定する。

前記注目画素領域抽出部６ｅは、更に新たな現フレーム画像が出力されると、新たに追尾対象となった被写体画像を次の新たな注目画素領域１５の被写体画像とし、これと追尾位置とに基づいて、順次上述の処理を繰り返す。つまり、新たな現フレーム画像が取得される毎に、前記選択された比較画素領域に基づいて、追尾対象の被写体画像と、追尾位置とが更新される。

なお、トリミング枠２５は、注目画素領域１５の位置、つまり、追尾位置とトリミング枠２５の位置との相対関係が常に一致するように更新される。
すなわち、注目画素領域に基づいて、新たに取得される現フレーム画像から前記注目画素領域と一致すると判断される比較画素領域２０を追尾対象の比較画素領域として選択抽出し、これを新たな注目画素領域とすることで、新たな現フレーム画像が取得される毎に、トリミング枠２５においても順次被写体を追尾している。

ここで、前記注目画素領域と一致すると判断される比較画素領域２０を選択抽出するために、比較画素領域抽出部６ｅが各比較画素領域を抽出することとなる探索範囲を予め設定しておくことが好ましい。

以下、詳述する。
図４（ａ）は、本実施形態におけるブロックマッチングの模式図である。この図において、８×８画素のブロック２９は、ブロックマッチングの対象エリアであり、注目画素領域１５としてのブロック２９に含まれる画素情報（輝度情報）を用いて、ブロックマッチングを行う。ここで、各々の画素は升目で表されており、この図においては、マッチング処理時間の短縮を図るために、たとえば、一つおきに配列された黒く塗りつぶした画素のみをブロックマッチング処理の対象画素とした場合を示している。つまり、８×８画素からなる注目画素領域のうち、１６画素の画素情報に基づいてブロックマッチングを行う例を示している。なお、画素情報は、上記の輝度情報だけでなく、画素の位置情報も含む。この位置情報は、探索範囲の設定の際に利用される。

図４（ｂ）は、本実施形態における探索範囲の模式図である。本実施形態では、ブロックマッチングにより、参照フレーム画像における注目画素領域１５としての被写体画像が現フレーム画像のどの位置に移動したかを判定するが、１フレームの間に被写体が移動する距離は限られるとする前提の下、注目画素領域１５に対応する被写体画像を探索する範囲を所定の探索範囲に限定することで、当該処理に費やす時間や、ＣＰＵへの負荷を軽減している。そして、探索範囲３０は、このときに抽出されている注目画素領域１５の中心位置（または追尾位置）と予め記憶されている画素数範囲に基づいて設定される。たとえば、探索範囲の中心位置が追尾位置（注目画素領域の位置）に対応する実質的な中心位置となるように設定される。そして、たとえば、フレームレートが３０ｆｐｓの場合、種々の実験結果により、注目画素領域１５の中心位置に対応する現フレーム画像の位置を中心として、各比較画素領域の中心が水平方向（ｘ方向）に±１２画素、垂直方向（ｙ方向）に±８画素となるようなエリアを探索範囲とすれば、被写体が移動しても大抵の場合、被写体の追尾が可能となり、上述の前提を達成し得る。

図５は、相関度補正マップ６ｇの模式図である。なお、この模式図は、図示の都合上、ｘ軸とｙ軸が、図４（ａ）、（ｂ）のｘ軸、ｙ軸と逆になっている点に注意されたい。つまり、この相関度補正マップ６ｇの横軸は、図４（ａ）、（ｂ）のｙ軸（縦方向）に相当し、縦軸は、図４（ａ）、（ｂ）のｘ軸（横方向）に相当する。

模式図中の数値は相関度を補正するための補正係数としての「重み係数」であり、この例示における最小の重み係数は模式図中央とその周囲四つの「６４」、最大の重み係数は模式図四隅の「２５５」である。そして、相関度補正マップ６ｇは、探索範囲から得られる各比較領域に対応するようにそれぞれの重み係数が予め設定されている。

これらの重み係数は、図４（ｂ）の探索範囲の座標位置をその実質的な中心座標とする各比較画素領域の相関度に適用する。たとえば、比較画素領域の実質的な中心座標が、図４（ｂ）のｘ＝０、ｙ＝０となっている比較画素領域の相関度に適用する重み係数は、模式図中央の「６４」である。そして、図４（ｂ）のｘ＝０、ｙ＝０の座標位置が、注目画素領域１５の中心座標位置に対応する現フレームの座標位置である。つまり、これは、参照フレーム画像における注目画素領域１５としての被写体画像が現フレーム画像で移動していない場合（追尾位置が変化していない場合）に相当する座標位置である。

図５の相関度補正マップ６ｇにおいて特筆すべき点は、注目画素領域１５の中心位置に対応する現フレームの位置が近いほど、つまり、ｘ及びｙの絶対値が小さいほど、小さな重み係数、つまり、注目画素領域における被写体画像との相関度が高くなる重み係数が設定されていることにある。すなわち、注目画素領域１５の中心位置に対応する現フレームの位置が近いほど注目画素領域１５における被写体画像と比較画素領域における被写体画像との相関度が高くなる中央重点式の重み係数設定になっている点にある。

ところで、相関度導出部６ｆにおける相関度の導出は、公知の次式（１）に示す差分二乗和演算式に従って行われる。すなわち、小さな値が得られるときほど、注目画素領域における被写体画像と比較画素領域における被写体画像とが高い相関度を示すように導出される。

そして、相関度補正部６ｈは、上式（１）に従って導出された相関度に、図５の相関度補正マップ６ｇの重み係数を適用する。比較画素領域選択部６ｉは、重み係数を適用した相関度に基づいて各比較画素領域を比較し、注目画素領域の被写体画像との相関度が最も高くなる被写体画像を有する比較画素領域２０を追尾対象として選択する。

以上のとおり、本実施形態の撮像装置１では、中央重点式の重み係数を使用するので、図４（ｂ）の探索範囲において、比較画素領域２０の追尾を中央優先した、つまり、注目画素領域に対応する座標位置を優先した（追尾位置の変化が少ない比較画素領域を優先した）被写体の追尾を行うことができる。その結果、探索範囲の中央付近に位置する真の被写体のみを追尾でき、とりわけ、動きの少ない被写体の追尾性能を向上することができる。また、相関度の差分が少なく明確な結果が得られない複数の追尾対象候補ブロックについても、探索範囲中央のブロックを優先して追尾することができるようになり、特徴の少ない被写体の追尾性能を向上することができる。

ここで、図６は、比較画素領域の追尾模式図である。この図において、比較探索範囲２８（図４の比較探索範囲３０参照）には、注目画素領域１５に対応する一の比較画素領域２０ａと、注目画素領域１５に対応しない二の比較画素領域２０ｂが存在しているものとする。一の比較画素領域２０ａは「真」の追尾対象であり、二の比較画素領域２０ｂは「偽（虚像）」の追尾対象である。これら二つの比較画素領域２０ａ、２０ｂに含まれる被写体の色や明るさが似ている場合、冒頭で説明した従来技術にあっては、しばしば、「偽」の被写体（二の比較画素領域２０ｂ）を追尾してしまうことがあった。

これは、単に、輝度値の差の絶対値を合計して一致の程度を表す結果スコアを求め、そのスコア値が最小（０又は０に限りなく近い）の小画像領域を追尾するように動作しているからであり、「真被写体のスコア値＞偽被写体のスコア値」の関係、つまり、偽被写体のスコア値が、真被写体のスコア値よりも小さくなってしまうことがあり得るからである。

これに対して、本実施形態においては、上記の結果スコアをそのまま用いることなく、当該スコア値に相当する相関度を導出して、その相関度を所定の相関度補正マップ６ｇに従って補正し、補正後の相関度を比較画素領域選択部６ｉに出力するようにしている。

なお、上述では、探索範囲から注目画素領域の被写体画像との相関度が最も高くなる被写体画像を有する比較画素領域を選択抽出する構成について説明したが、探索範囲から注目画素領域の被写体画像との相関度が高い上位数％（たとえば上位５％）分の数だけ比較画素領域を選び出し、その比較画素領域のうち、最も探索範囲の中央に近い比較画素領域を追尾対象の被写体画像および追尾位置として選択するようにしてもよい。より精度よく被写体を追尾することができるようになる。なお、この構成の場合、必ずしも上述した相関度の補正を実施する必要はなく、上述した相関度の補正を実施するか否かは、撮影シーンに応じて、適宜、設定すればよい。

また、前記の図３の説明では、注目画素領域１５の抽出を、トリミング撮影開始時点の参照フレーム画像１２から行っているが、この参照フレーム画像１２を任意時点の現フレーム画像と置き換えてもよい。

また、上述では、新たな現フレーム画像が出力（取得）される毎に、この新たなフレーム画像から新たな注目画素領域を抽出し、この抽出した注目画素領域の位置（追尾位置）に基づいて探索範囲の位置を設定するとともに、この抽出した注目画素領域における被写体画像との相関度に基づいて所定の比較注目画素領域の選択を行う構成について説明したが、新たな現フレーム画像が出力（取得）される毎に、この新たな現フレーム画像から新たな注目画素領域を抽出し、この抽出した注目画素領域の位置（追尾位置）に基づいて探索範囲の位置は設定するが、相関度の導出対象となる注目画素領域としての被写体画像は、新たな現フレーム画像が所定回数（たとえば１０フレーム分）だけ取得される毎に、更新される構成としてもよい。

以下詳述する。
図７は、参照フレームと現フレームの関係図である。この図において、Ｆｉ、Ｆｉ＋１、Ｆｉ＋２、・・・・、Ｆｉ＋１０は、それぞれ画像処理部４から周期的に出力されるフレーム画像である。ここで、Ｆｉをトリミング撮影開始時点の参照フレーム画像とすると、追尾対象の被写体画像はＦｉの注目画素領域１５から抽出され、この注目画素領域１５における被写体画像に対応する比較画素領域２０がＦｉ＋１、Ｆｉ＋２、・・・・、Ｆｉ＋１０から抽出され、この抽出された比較画素領域２０がそれぞれの時点における追尾位置となる。

また、たとえば、Ｆｉから１０フレーム分後のＦｉ＋１０において、Ｆｉの注目画素領域１５における被写体画像に対応する比較画素領域２０が抽出されたときに、この比較画素領域２０における被写体画像が、新たな注目画素領域１５としての被写体画像（追尾対象の被写体画像）に更新される。このようにすると、被写体の時間的に位置変化に柔軟に対応することができ、たとえば、追尾対象をロストした（見失った）場合に再度被写体を捕捉して追尾し直すことができる。

実施形態に係る撮像装置の構成図である。 撮像装置１の利用状態図である。 本実施形態の追随トリミング撮影機能における被写体自動追尾の概念図である。 本実施形態におけるブロックマッチングの模式図及び探索範囲の模式図である。 相関度補正マップ６ｇの模式図である。 比較画素領域の追尾模式図である。 参照フレームと現フレームの関係図である。

符号の説明

１ 撮像装置
６ 制御部（被写体追従手段）
６ｄ 注目画素領域抽出部（注目画素領域抽出手段、第一注目画像領域抽出手段、第二注目画像領域抽出手段）
６ｅ 比較画素領域抽出部（比較画素領域抽出手段、位置導出手段、第一比較画素領域選択手段、第二比較画素領域選択手段、探索範囲設定手段）
６ｆ 相関度導出部（相関度導出手段）
６ｇ 相関度補正マップ
６ｈ 相関度補正部（相関度補正手段）
６ｉ 比較画素領域選択部（比較画素領域選択手段）
１５ 注目画素領域
２０ 比較画素領域

Claims (11)

1. 順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段を備えた撮像装置であって、
   前記被写体追従手段は、
   所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、
   現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、
   前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、
   前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、
   前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、
   前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、
   前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、
   前記注目画素領域抽出手段は、所定の新たなフレーム画像が取得された場合に、前記比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出し、
   前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、
   前記探索範囲設定手段は、前記位置導出手段により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定し、
   前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする撮像装置。
2. 順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段を備えた撮像装置であって、
   前記被写体追従手段は、
   所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、
   現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、
   前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、
   前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、
   前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、
   前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、
   前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、
   前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、
   前記比較画素領域選択手段は、
   前記相関度補正手段により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を上位から所定数領域だけ選択する第一比較画素領域選択手段と、
   前記第一比較画素領域選択手段により選択された比較画素領域から、前記探索範囲設定手段により設定された探索範囲の中央位置に最も近い位置にある比較画素領域を１領域選択する第二比較画素領域選択手段と、を備え、
   前記注目画素領域抽出手段は、新たな現フレーム画像が取得された場合に、前記第二比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出することを特徴とする撮像装置。
3. 前記探索範囲設定手段は、前記位置導出手段により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定することを特徴とする請求項２記載の撮像装置。
4. 前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする請求項３記載の撮像装置。
5. 前記比較画素領域選択手段は、前記相関度補正手段により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を１領域選択することを特徴とする請求項１乃至４いずれかに記載の撮像装置。
6. 前記相関度導出手段は、前記注目画素領域の各画素データと前記比較画素領域の各画素データに基づいた差分２乗和として相関度を導出することを特徴とする請求項１乃至５いずれかに記載の撮像装置。
7. 前記注目画素領域抽出手段は、
   新たな現フレーム画像が取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第一注目画素領域として抽出する第一注目画像領域抽出手段と、
   新たな現フレーム画像が所定回数だけ取得される毎に、前記比較画素領域選択手段により選択された比較画素領域を新たな第二注目画素領域として抽出する第二注目画像領域抽出手段とを備え、
   前記相関度導出手段は、前記比較画素領域抽出手段により抽出された各比較画素領域と前記第二注目画素領域抽出手段により抽出された第二注目画素領域との相関度を導出し、
   前記位置導出手段は、前記第一注目画素領域抽出手段により抽出された第一注目画素領域の当該フレーム画像に対する位置を導出することを特徴とする請求項１乃至６いずれかに記載の撮像装置。
8. 順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従工程を含む撮像方法であって、
   前記被写体追従工程は、
   所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出工程と、
   現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出工程と、
   前記比較画素領域抽出工程により抽出された各比較画素領域と前記注目画素領域抽出工程により抽出された注目画素領域との相関度を導出する相関度導出工程と、
   前記相関度導出工程により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正工程と、
   前記相関度補正工程により導出された補正相関度に基づいて、前記比較画素領域抽出工程により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択工程と、
   前記注目画素領域抽出工程により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出工程と、
   前記位置導出工程により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定工程と、を含み、
   前記注目画素領域抽出工程は、所定の新たなフレーム画像が取得された場合に、前記比較画素領域選択工程により選択された比較画素領域を新たな注目画素領域として抽出し、
   前記比較画素領域抽出工程は、前記探索範囲設定工程により設定された探索範囲内で比較画素領域を抽出し、
   前記探索範囲設定工程は、前記位置導出工程により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定し、
   前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする撮像方法。
9. 順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従工程を含む撮像方法であって、
   前記被写体追従工程は、
   所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出工程と、
   現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出工程と、
   前記比較画素領域抽出工程により抽出された各比較画素領域と前記注目画素領域抽出工程により抽出された注目画素領域との相関度を導出する相関度導出工程と、
   前記相関度導出工程により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正工程と、
   前記相関度補正工程により導出された補正相関度に基づいて、前記比較画素領域抽出工程により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択工程と、
   前記注目画素領域抽出工程により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出工程と、
   前記位置導出工程により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定工程と、を含み、
   前記比較画素領域抽出工程は、前記探索範囲設定工程により設定された探索範囲内で比較画素領域を抽出し、
   前記比較画素領域選択工程は、
   前記相関度補正工程により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を上位から所定数領域だけ選択する第一比較画素領域選択工程と、
   前記第一比較画素領域選択工程により選択された比較画素領域から、前記探索範囲設定工程により設定された探索範囲の中央位置に最も近い位置にある比較画素領域を１領域選択する第二比較画素領域選択工程と、を含み、
   前記注目画素領域抽出工程は、新たな現フレーム画像が取得された場合に、前記第二比較画素領域選択工程により選択された比較画素領域を新たな注目画素領域として抽出することを特徴とする撮像方法。
10. 順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段をコンピュータに実現させるための撮像プログラムであって、
    前記被写体追従手段は、
    所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、
    現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、
    前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、
    前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、
    前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、
    前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、
    前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、
    前記注目画素領域抽出手段は、所定の新たなフレーム画像が取得された場合に、前記比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出し、
    前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、
    前記探索範囲設定手段は、前記位置導出手段により導出された位置が、探索範囲の実質的な中央となるように探索範囲を設定し、
    前記相関度補正マップは、前記探索範囲に対して周辺に位置する比較画素領域よりも中央側に位置する比較画素領域の方が、注目画素領域との相関度が高くなるように補正係数が設定されていることを特徴とする撮像プログラム。
11. 順次取得される各フレーム画像でその位置が変化する被写体に対してブロックマッチングにより追従を行なう被写体追従手段をコンピュータに実現させるための撮像プログラムであって、
    前記被写体追従手段は、
    所定のフレーム画像から注目画素領域を抽出する注目画素領域抽出手段と、
    現フレーム画像から、順次、所定の比較画素領域を抽出する比較画素領域抽出手段と、
    前記比較画素領域抽出手段により抽出された各比較画素領域と前記注目画素領域抽出手段により抽出された注目画素領域との相関度を導出する相関度導出手段と、
    前記相関度導出手段により導出された各相関度をその補正係数が予め設定されている相関度補正マップに基づいて補正して前記比較画素領域毎に補正相関度を導出する相関度補正手段と、
    前記相関度補正手段により導出された補正相関度に基づいて、前記比較画素領域抽出手段により抽出された各比較画素領域から所定の比較画素領域を選択する比較画素領域選択手段と、
    前記注目画素領域抽出手段により抽出された注目画素領域の当該フレーム画像に対する位置を導出する位置導出手段と、
    前記位置導出手段により導出された位置に基づいて、現フレーム画像における探索範囲を設定する探索範囲設定手段と、を備え、
    前記比較画素領域抽出手段は、前記探索範囲設定手段により設定された探索範囲内で比較画素領域を抽出し、
    前記比較画素領域選択手段は、
    前記相関度補正手段により導出された補正相関度に基づいて、注目画素領域との相関度が高い比較画素領域を上位から所定数領域だけ選択する第一比較画素領域選択手段と、
    前記第一比較画素領域選択手段により選択された比較画素領域から、前記探索範囲設定手段により設定された探索範囲の中央位置に最も近い位置にある比較画素領域を１領域選択する第二比較画素領域選択手段と、を備え、
    前記注目画素領域抽出手段は、新たな現フレーム画像が取得された場合に、前記第二比較画素領域選択手段により選択された比較画素領域を新たな注目画素領域として抽出することを特徴とする撮像プログラム。