JP5326613B2 - 撮影装置、及びプログラム - Google Patents

Description

本発明は、撮影装置に関し、特に、焦点を合わせる撮影装置に関する。

従来、デジタルカメラは、一般的に、焦点を自動的に合わせるオートフォーカス（以下、ＡＦと略記する）機能を有している。そのオートフォーカスの方法としては、従来から、コントラスト検出方式が広く用いられている。このコントラスト検出方式では、ＡＦ評価値を合焦位置（焦点が合うときのフォーカスレンズのレンズ位置）の判断に用いている。このＡＦ評価値とは、焦点が合っている度合いを示す評価値である。デジタルカメラは、撮像素子から得られる画像の高周波成分または画像上の近接画素の輝度差の成分をＡＦ評価値としている。

デジタルカメラは、フォーカスレンズを光軸方向に進退させながら、フォーカスレンズが各レンズ位置にあるとき撮影した画像のＡＦ評価値を順次取得する。そして、ＡＦ評価値が最も大きくなったときのフォーカスレンズのレンズ位置に、フォーカスレンズを停止させて合焦動作を完了させている。

しかしながら、合焦動作によってデジタルカメラが被写体に焦点を合わせても、その後に被写体が移動して被写体までの距離が変化してしまうと、移動後の被写体に焦点が合わなくなる。

そこで、合焦動作を連続的に再起動させることにより、被写体に常時焦点を合わせておくコンティニュアスオートフォーカス（以下、「コンティニュアスＡＦ」と略記する）モードを設定可能なデジタルカメラがある。コンティニュアスＡＦによれば、被写体が移動しても合焦動作を再起動するので、動く被写体にも常時焦点を合わせることができる。

このコンティニュアスＡＦモードにおいてコントラスト検出方式で合焦動作を再起動させる方式としては、フォーカスレンズを移動させる合焦動作を一旦終えてから、一定の時間間隔（例えば１秒）で、無条件に合焦動作を再起動させてフォーカスレンズを再び移動させる方式がある。

しかしながら、コンティニュアスＡＦ方式により合焦動作を再起動させる従来の方式には、以下の問題がある。一定の時間間隔で合焦動作を再起動させる従来の方式では、前回の合焦動作における合焦状態（焦点が合っている状態）が維持されているか否かに関わらず、無条件で合焦動作が再起動される。このため、前回の合焦動作における合焦状態が維持されている場合に合焦動作が再起動されると、無駄なフォーカスレンズの移動が行われることになる。さらには、合焦動作中にモータなどの駆動手段により無駄なフォーカスレンズの移動が行われると、消費電流が増加して電池の寿命が短くなってしまう。

そこで、特許文献１に記載の技術は、コンティニュアスＡＦモードの設定時には、ライブビュー表示のために所定時間ごとに得られる最新画像と、その直前の画像である前回画像との相関値に基づいて、フレーミングの変化や特定領域に位置する主要被写体の移動を検出する（図７等参照）。そして、特許文献１に記載の技術は、シャッタボタンが半押しされたときに合焦動作を一旦実行しておく。そして、そこからフレーミングが変化したと判断した場合でも、特定領域に位置する主要被写体が移動していないために合焦状態が維持されているとさらに判断した場合には、合焦動作を再起動しないようにしている。

特許文献１に記載の技術では、フレーミングの変化や特定領域に位置する主要被写体の移動が検知された場合に限って合焦動作を再起動させるため、コンティニュアスＡＦ方式における無駄な合焦動作を防止できる。

特開２００３−２４４５２０号公報

しかしながら、特許文献１に記載の技術では、主要被写体の移動に関しては、特定領域に位置する主要被写体の移動しか判断していない。つまり、特許文献１に記載の技術では、特定領域以外の任意の領域に位置する主要被写体が移動したか否かを判断することができない。そのため、特許文献１に記載の技術では、特定領域以外の任意の領域に位置する主要被写体が移動していないことにより合焦状態が維持されている場合であっても、フレーミングが変化した場合には常に合焦動作を再起動するため、無駄な合焦動作をいまだ十分に防止できないという問題がった。

そこで、本発明の目的は、無駄な合焦動作を防止することにある。

上記目的を達成するために、本発明の第１の態様は、
連続するフレーム画像を取り込んでライブビュー表示を行う撮影装置において、
被写体の画像を撮影する撮影手段と、
被写体に焦点を合わせる合焦動作をくり返し行う合焦手段と、
最新のフレーム画像の直前のフレーム画像の追尾ブロックと、最新のフレーム画像において被写体の存在可能性がある候補ブロックとの間の第１の相関値を算出する第１の相関値算出手段と、
前記第１の相関値算出手段により算出された前記第１の相関値が最も小さくなる候補ブロックの位置に追尾ブロックを移動させる追尾手段と、
最新のフレーム画像における追尾ブロック内を表現する画像データを記憶する第１の記憶領域と、前記合焦手段による直前の合焦時点で前記撮影手段により撮影されたフレーム画像における追尾ブロック内を表現する画像データを記憶する第２の記憶領域と、を有する追尾画像メモリと、
前記第１の記憶領域に記憶されている画像データと前記第２の記憶領域に記憶されている画像データとの間の第２の相関値を算出する第２の相関値算出手段と、
前記第２の相関値算出手段により算出された前記第２の相関値が所定の閾値より小さい場合は、前記合焦手段に合焦動作を行わせず、前記第２の相関値が所定の閾値以上である場合は、前記合焦手段に合焦動作を行わせる合焦制御手段と、
を備えることを特徴とする。

本発明によれば、無駄な合焦動作を防止できる。

本発明の実施形態に係る撮影装置の構成を示すブロック図である。 本発明の実施形態に係る追尾処理の手法を説明するための図である。 追尾画像メモリに記憶領域の構成を示す図である。 本発明の実施形態に係るコンティニュアスＡＦモードにおける動作の流れを示す図である。 追尾ブロックと探索ブロックの初期状態を示す図である。 主要被写体の移動に伴う追尾ブロックと探索ブロックとの移動を示す図である。

以下、図面に基づき、本発明の一実施形態に係る撮影装置１００について説明する。

＜撮影装置の構成＞
図１は、本実施形態に係る撮影装置１００の機能的構成を示すブロック図である。図１を用いて、本実施形態に係る撮影装置１００の構成を説明する。撮影装置１００は、デジタルカメラなどにより構成することができる。

撮影装置１００は、制御部１０と、ＲＡＭ１１と、ＲＯＭ１２と、光学レンズ装置１３と、光学系制御部１４と、光学系駆動部１５と、シャッタ装置１６と、シャッタ制御部１７と、シャッタ駆動部１８と、撮像素子１９と、撮像素子駆動部２０と、前処理部２１と、画像メモリ２２と、画像処理部２３と、表示制御部２４と、表示部２５と、操作部２６と、記録媒体２７と、被写体追尾部２８と、追尾画像メモリ２９と、ＡＦ評価部３０と、相関値算出部３１と、を備える。

制御部１０は、撮影装置１００全体の動作を制御する。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、計時回路であるリアルタイムクロック（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）などにより構成される。

ＲＡＭ１１は、制御部１０が各処理を実行する際にワーキングエリアとして機能する。ＲＡＭ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。ＲＯＭ１２は、撮影装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＲＯＭ１２は、フラッシュメモリなどから構成される。制御部１０は、ＲＡＭ１１をワーキングエリアとして、ＲＯＭ１２に記憶されているプログラムとの協働により各処理を実行する。

光学レンズ装置１３は、フォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、被写体像を撮像素子１９の受光面に結像させるためレンズである。

光学系制御部１４は、制御部１０による制御に従って光学系駆動部１５を制御することにより、光学系駆動部１５に、光学レンズ装置１３のフォーカスレンズを光軸方向に進退させる。これにより、フォーカスレンズの位置が変化して焦点が調節される。光学系駆動部１３は、ステッピングモータなどで構成される。光学系制御部１４は、光学系駆動部１５を制御する制御回路などで構成される。

シャッタ装置１６は、機械式のシャッタとして機能するとともに、撮像素子１９へ入射する被写体像の光量を調節する絞りとしても機能する機構である。シャッタ装置１６は、シャッタ羽根などから構成される。

シャッタ制御部１７は、制御部１０による制御に従って、シャッタ駆動部１８を駆動させる。具体的には、シャッタ制御部１７は、制御部１０による制御に従ってシャッタ駆動部１８を制御することにより、シャッタ駆動部１８にシャッタ装置１６のシャッタ羽根を開閉させる。また、シャッタ制御部１７は、制御部１０による制御に従ってシャッタ駆動部１８を制御することにより、シャッタ駆動部１８にシャッタ装置１６の絞りを調節させる。シャッタ駆動部１８は、シャッタ羽根を蹴飛ばすレバーなどで構成される。駆動制御部１７は、シャッタ駆動部１８を制御する制御回路などで構成される。

撮像素子１９は、光学レンズ装置１３から入射されて受光面に結像した被写体像を光電変換（撮影）する素子である。撮像素子１９の受光面には、光電変換素子であるフォトダイオードが行列状に配置されている。これらフォトダイオードが撮像素子１９の各画素を構成している。各フォトダイオード上には、ベイヤ方式の配列に従って、Ｒ（赤）、Ｇ（緑）Ｂ（青）の色フィルタが配置されている。撮像素子１９は、撮像素子駆動部２０による制御に従って、所定時間毎に被写体像を光電変換して画像信号を蓄積し、蓄積した画像信号をアナログ信号として順次出力する。撮像素子１９は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のイメージセンサなどから構成される。

撮像素子駆動部２０は、制御部１０による制御に従って撮像素子１９を駆動する。撮像素子駆動部２０は、制御部１０による制御に従って各種クロックパルス等を生成する。撮像素子駆動部２０は，生成した各種クロックパルスおよび制御回路１０から供給される制御信号に基づいて、一定時間毎に撮像素子１９から被写体像を表現するアナログ信号を読み出す。撮像素子駆動部２０は、各種クロックパルス等を生成するタイミングジェネレータや、走査回路などから構成される。

前処理部２１は、撮像素子１９から供給されたアナログ信号に対し、相関二重サンプリング処理、利得制御処理、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を施してディジタル信号であるベイヤデータを生成して出力する。前処理部２１は、Ａ／Ｄ変換器などにより構成される。

画像メモリ２２は、前処理部２１により生成されたベイヤデータや、画像処理部２３により生成される画像データを一時的に記憶する。また、画像メモリ２１には、画像処理部２２がベイヤデータから画像データを生成する際にワーキングエリアとしても使用される。画像メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

画像処理部２３は、画像メモリ２２に記憶されたベイヤデータに対し、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの画像処理を施して、輝度信号と色差信号とが重畳した画像データを生成する。この画像データにより被写体が表現される。また、画像処理部２３は、シャッタボタンが全押し操作されたときは、比較的高画質で大容量の撮影画像用の画像データを生成する。一方、画像処理部２３は、ライブビュー画像を表示するときは、比較的低画質で小容量のライブビュー画像用の画像データを生成する。画像処理部２３は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などから構成される。

表示制御部２４は、制御部１０による制御に従って、画像メモリ２２に記憶されている画像データをアナログ信号に変換して出力する。表示制御部２４は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換器などから構成される。

表示部２５は、表示制御部２４から供給されたアナログ信号により表現される画像などを表示する。表示部２５は、撮影装置１００の筐体の背面に設けられた液晶ディスプレイなどから構成される。

操作部２６は、ユーザから各種ボタンの操作を受け付ける。操作部２５は、電源ボタン、シャッタボタン、ズームボタン、カーソルキー、決定ボタン、メニューボタンなどを備える。操作部２６は、ユーザから受け付けた各種のキー操作を示す信号を制御部１０に供給する。シャッタボタンは、撮影準備（合焦動作など）を指示するための半押し操作と、撮影を指示するための全押し操作とをユーザから受け付けることが可能な構成である。制御部１０は、操作部２６からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。

記録媒体２７は、画像処理部２３により生成された画像データを記録する。記録媒体２７は、撮影装置１００に着脱可能な半導体メモリカードなどから構成される。

被写体追尾部２８は、ライブビュー画像に写る被写体を追尾する。１つの追尾ブロックを追尾する手法としては様々な手法が公知となっている。被写体追尾部２８は、それらの何れの手法をも採用可能である。本実施形態に係る撮影装置１００は、追尾処理の手法として公知のブロックマッチング法を採用する。

図２を用いて、本実施形態における追尾処理の手法について簡単に説明する。図２（ａ）において、符号Ｆ（ｎ−１）は、（ｎ−１）番目に撮影されたフレーム画像を示す（ｎは任意の自然数）。符号Ｐ（ｎ−１）は、この（ｎ−１）番目のフレーム画像における追尾ブロックを示す。図２（ｂ）において、符号Ｆ（ｎ）は、ｎ番目に撮影されたフレーム画像を示す。符号Ｃ（ｎ）は、このｎ番目のフレーム画像における候補ブロックを示す。符号Ｓ（ｎ）は、候補ブロックＣ（ｎ）が移動しうる探索ブロックを表す。本実施形態では、順次撮影される各フレーム画像における探索ブロックＳ（ｎ）のサイズは、フレーム画像を９分割した各画像領域のうちの１つ分の画像領域のサイズに等しいものとする。

被写体追尾部２８は、追尾ブロックＰ（ｎ−１）と候補ブロックＣ（ｎ）との間の相関値Ｅ１を算出する。この際、候補ブロックＣ（ｎ）は、探索ブロックＳ（ｎ）内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動の度に相関値Ｅ１が算出される。相関値Ｅ１は、例えば、追尾ブロックＰ（ｎ−１）と候補ブロックＣ（ｎ）との間において、同じ位置にある各画素の輝度差の絶対値の総和とされる。この相関値Ｅ１は、一般的にＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる。なお、輝度差の２乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｃｅ）などによって相関値を求めてもよい。

相関値Ｅ１（各画素の輝度差など）は、追尾ブロックＰ（ｎ−１）と候補ブロックＣ（ｎ）の画像との間の類似度が高いほど小さくなる。従って、相関値Ｅ１が最も小さくなる候補ブロックＣ（ｎ）の位置を求めれば、追尾ブロックＰ（ｎ−１）が、ｎ番目のフレーム画像内のどこに位置しているかを求めることができる。これにより、（ｎ−１）番目のフレーム画像のＰ（ｎ−１）とｎ番目のフレーム画像の追尾ブロックＰ（ｎ）との動きベクトルが求まる。被写体追尾部２８は、時間的に隣接するフレーム画像間で動きベクトルを繰り返し求め、動きベクトルに応じて追尾ブロックを逐次移動させることにより、追尾ブロック内に収まる被写体を追尾する。

図１に戻り、追尾画像メモリ２９は、追尾ブロック内の画像を表現する画像データを記憶する。追尾画像メモリ２９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

図３は、追尾画像メモリ２９の記憶領域の構成を示す図である。図３に示されるように、追尾画像メモリ２９の記憶領域は、第１追尾画像記憶領域２９ａと、第２追尾画像記憶領域２９ｂとを含む。第１追尾画像記憶領域２９ａは、最新のフレーム画像（現在時点で撮影されたフレーム画像）における追尾ブロック内を表現する画像データを記憶する記憶領域である。第１追尾画像記憶領域２９ａでは、新しい画像データが記憶される度に、直前に記憶されていた画像データが上書きされて消去される。第２追尾画像記憶領域２９ｂは、直前の合焦時点（直前の合焦動作により被写体に焦点が合った時点）で撮影されたフレーム画像における追尾ブロック内を表現する画像データを記憶する記憶領域である。第２追尾画像記憶領域２９ｂでは、新しい画像データが記憶される度に、直前に記憶されていた画像データが上書きされて消去される。

図１に戻り、ＡＦ評価部３０は、画像メモリ２２に記憶された画像データから高周波数成分であるＡＦ評価値を抽出して、抽出したＡＦ評価値を制御部１０に供給する。制御部１０は、合焦動作時に、光学系制御部１４を制御することにより光学系駆動部１５を駆動させて、光学レンズ装置１３のフォーカスレンズを光軸方向に進退させる。そして、制御部１０は、ＡＦ評価部３０に、フォーカスレンズが各位置にあるときに得られた画像データからＡＦ評価値を抽出させる。そして、制御部１０は、ＡＦ評価部３０から供給されるＡＦ評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる合焦動作を行う。

相関値算出部３１は、最新のフレーム画像における追尾ブロックと、直前の合焦時点で撮影されたフレーム画像における追尾ブロックとの相関値Ｅ２を算出する。つまり、相関値算出部３１は、第１追尾画像記憶領域２９ａに記憶されている画像データと、第２追尾画像記憶領域２９ｂに記憶されている画像データとの相関値Ｅ２を算出する。相関値Ｅ２は、例えば、これらの画像データ間で同じ位置にある各画素の輝度差の絶対値の総和（ＳＡＤ）とされる。なお、輝度差の２乗和などによって相関値Ｅ２を求めてもよい。

ここで、最新のフレーム画像における追尾ブロックと、直前の合焦時点で撮影されたフレーム画像における追尾ブロックとにおいて、相関値Ｅ２（各画素の輝度差）が小さいということは、両者が類似しているということを示している。即ち、上記算出方法では、相関値Ｅ２の値が小さいほど、最新のフレーム画像における追尾ブロックと、直前の合焦時点で撮影されたフレーム画像における追尾ブロックとの類似度が大きくなる。

相関値Ｅ２が所定の閾値Ｅｔｈ以上の場合には、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に、追尾ブロックに写っていた被写体の大きさが変化したと考えられる。この場合、合焦時点で撮影されたフレーム画像の追尾ブロックに存在した被写体までの距離が、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に変化したと考えられる。一方、相関値Ｅ２が所定の閾値Ｅｔｈより小さい場合には、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に、追尾ブロックに写っていた被写体の大きさが変化していないと考えられる。この場合、合焦時点で撮影されたフレーム画像の追尾ブロックに存在した被写体までの距離が、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に変化していないと考えられる。なお、所定の閾値Ｅｔｈは、実際に合焦動作の再起動が良好に作用する値（実験値など）とする。

＜撮影装置の動作＞
図４は、本実施形態に係る撮影装置１００のコンティニュアスＡＦモードにおける動作を示すフローチャートである。図４を用いて、撮影装置１００が実行するコンティニュアスＡＦモードにおける動作を説明する。

本実施形態に係るコンティニュアスＡＦモードにおいても、通常のコンティニュアスＡＦモードと同様に、自動的に合焦動作がくり返し実行される。ここで、一旦合焦された被写体までの距離が変化していない場合には、合焦動作を再起動する必要はない。そこで、本実施形態に係るコンティニュアスＡＦモードにおいては、撮影装置１００は、合焦動作により追尾される被写体が一旦合焦されると、追尾される被写体までの距離が変化していないと考えられる場合には合焦動作を再起動しないようにしている。これにより、無駄な合焦動作を防止できる。また、無駄な合焦動作を防止できるので、合焦動作に要する電力を低減して電池寿命を長くすることができる。

ユーザの操作部２６に対する所定の操作によりコンティニュアスＡＦモードが設定されると、撮影装置１００は、ＲＯＭ１２に記憶されているプログラムを読み出して、このプログラムとの協働により図４のフローチャートにより示される処理を開始する。

まずステップＳ１において、制御部１０は、ライブビュー表示を開始する。具体的には、制御部１０は、画像処理部２３により順次生成されるフレーム画像を表示制御部２４に順次供給することにより、表示制御部２４に、フレーム画像をライブビュー画像として表示部２５に表示させる。

次にステップＳ２において、制御部１０は、ユーザによりシャッタボタンが半押し操作されているか否かを判断する。具体的には、制御部１０は、操作部２６からのシャッタボタンの半押し操作に応じた信号を監視することにより、ユーザによりシャッタボタンが半押し操作されているか否かを判断する。制御部１０は、シャッタボタンが半押し操作されていないと判断した場合（ステップＳ２：ＮＯ）、シャッタボタンの半押し操作に応じた信号を検知するまでライブビュー表示を継続させる。一方、制御部１０は、シャッタボタンが半押し操作されていると判断した場合（ステップＳ２：ＹＥＳ）、ステップＳ３に処理を進める。

次にステップＳ３において、制御部１０は、追尾処理の初期設定を実行する。具体的には、制御部１０は、被写体追尾部２８に、ステップＳ３の時点で撮影されたフレーム画像上の所定の中央領域に位置するＡＦ枠内の画像を切り出させ、この切り出した画像を表現する画像データを、初期状態における追尾ブロックの画像データとして第１追尾画像記憶領域２９ａに記憶させる。また、制御部１０は、被写体追尾部２８に、ステップＳ３の時点で撮影されたフレーム画像を９分割した各画像領域のうち中央に位置する画像領域を、初期状態における探索ブロックとして設定させる。

図５は、初期状態における追尾ブロックＰ（１）と初期状態における探索ブロックＳ（２）とを示す図である。追尾ブロックＰ（１）は、制御部１０がシャッタボタンの半押し操作を検知してから１番目に撮影されたフレーム画像における追尾ブロックである。探索ブロックＳ（２）は、１番目のフレーム画像の次に撮影された２番目のフレーム画像における探索ブロックである。

本実施形態においては、図５に示されるように、まずユーザが自身の手に構えている撮影装置１００の姿勢を変化させることにより、主要被写体Ｍの顔がライブビュー画像の中央領域に位置するＡＦ枠内に収まる状態になるように構図を調整する。そして、この状態においてユーザがシャッタボタンを半押し操作すると、ＡＦ枠内の主要被写体Ｍの顔を表現する画像データが、初期状態における追尾ブロックＰ（１）の画像データとして第１追尾画像メモリ２９ａに記憶される。このとき、ライブビュー画像（１番目のフレーム画像）を９分割した各画像領域のうち中央に位置する画像領域が、初期状態における探索ブロックＳ（２）として設定される。

また、制御部１０は、ステップＳ３において、追尾処理の初期設定としてコントラスト検出方式に従う１回目の合焦動作を行う。合焦動作に際して、制御部１０は、ＡＦ評価部３０に、ステップＳ３の時点で順次撮影されるフレーム画像におけるＡＦ枠内の画像領域からＡＦ評価値を算出させる。そして、制御部１０は、光学系制御部１４を介して光学系駆動部１５を制御することにより、光学系駆動部１５にフォーカスレンズを光軸方向に進退させて、ＡＦ評価部３０から供給されるＡＦ評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。これにより、ＡＦ枠内の主要被写体Ｍの顔に焦点が合うこととなる。

図４に戻り、ステップＳ４において、制御部１０は、追尾処理を実行する。具体的には、制御部１０は、被写体追尾部２８に、ステップＳ４の時点での最新のフレーム画像であるｎ番目のフレーム画像において、候補ブロックＣ（ｎ）を探索ブロックＳ（ｎ）内で水平方向又は垂直方向に１画素ずつ移動させる。被写体追尾部２８は、この移動の度に、（ｎ−１）番目のフレーム画像における追尾ブロックＰ（ｎ−１）と候補ブロックＣ（ｎ）との相関値Ｅ１を算出する。被写体追尾部２８は、この相関値Ｅ１が最も小さくなるときの候補ブロックＣ（ｎ）の位置を、ｎ番目のフレーム画像における追尾ブロックＰ（ｎ）の位置として設定する。このようにして主要被写体Ｍの動きに合わせて追尾ブロックの位置が設定されることにより、主要被写体Ｍが追尾される。制御部１０は、被写体追尾部２８に、ｎ番目のフレーム画像から追尾ブロックＰ（ｎ）を表現する画像データを切り出させ、切り出した画像データを第１追尾画像記憶領域２９ａに記憶させる。これにより、第１追尾画像記憶領域２９ａに記憶される画像データが、追尾ブロックＰ（ｎ−１）の画像データから追尾ブロックＰ（ｎ）の画像データへと更新される。

また、被写体追尾部２８は、（ｎ＋１）番目のフレーム画像における探索ブロックＳ（ｎ＋１）の中心が追尾ブロックＰ（ｎ）の中心と一致するように、（ｎ＋１）番目のフレーム画像に対して探索ブロックＳ（ｎ＋１）の位置を設定する。

図６は、追尾処理により追尾される主要被写体Ｍの様子を示す図である。ライブビュー画像において、主要被写体Ｍが移動すると、追尾ブロックＰが主要被写体Ｍの動きに追従して移動するとともに、追尾ブロックＰの動きに追従するように探索ブロックＳも移動する。また、図６に示されるように、制御部１０は、ライブビュー画像に表示されるＡＦ枠も主要被写体Ｍの移動に合わせて移動させる。

図４に戻り、ステップＳ５において、制御部１０は、所定時間（例えば１秒）が経過したか否かを判断する。具体的には、制御部１０は、制御部１０内の計時回路が示す直前のステップＳ５の判断がＹＥＳになったときからの経過時間が、所定時間に達したか否か経過したか否かを判断する。制御部１０は、所定時間が経過していないと判断した場合（ステップＳ５：ＮＯ）、ステップＳ１０に処理を進める。一方、制御部１０は、所定時間が経過したと判断した場合（ステップＳ５：ＹＥＳ）、ステップＳ６に処理を進める。

次にステップＳ６において、制御部１０は、追尾ブロックの相関値を算出する。具体的には、制御部１０は、相関値算出部３１に、最新のフレーム画像における追尾ブロックの画像データと、直前の合焦時点に撮影されたフレーム画像における追尾ブロックの画像データとを取得させる。つまり、被写体追尾部２８は、ステップＳ６の時点で、第１追尾画像記憶領域２９ａに記憶されている画像データを読み出すとともに、第２追尾画像記憶領域２９ｂに記憶されている画像データから読み出す。そして、制御部１０は、相関値算出部３１に、読み出したこれらの画像データ間の相関値Ｅ２を算出させる。

次にステップＳ７において、制御部１０は、直前のステップＳ６の処理により算出された相関値Ｅ２が閾値Ｅｔｈ以上であるか否かを判断する。制御部１０は、相関値Ｅ２が閾値Ｅｔｈより小さいと判断した場合（ステップＳ７：ＮＯ）、合焦動作を行うことなくステップＳ１０に処理を進める。一方、制御部１０は、相関値Ｅ２が閾値Ｅｔｈ以上であると判断した場合（ステップＳ７：ＹＥＳ）、ステップＳ８に処理を進める。上述の通り、相関値Ｅ２が所定の閾値Ｅｔｈ以上の場合には、合焦時点で撮影されたフレーム画像の追尾ブロックに存在した被写体までの距離が、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に変化したと考えられる。一方、相関値Ｅ２が所定の閾値Ｅｔｈより小さい場合には、合焦時点で撮影されたフレーム画像の追尾ブロックに存在した被写体までの距離が、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に変化していないと考えられる。

次にステップＳ８において、制御部１０は、コントラスト検出方式の合焦動作を行う。合焦動作に際して、制御部１０は、ＡＦ評価部３０に、ステップＳ８の時点で順次撮影されるフレーム画像における追尾ブロック内の画像領域からＡＦ評価値を算出させる。そして、制御部１０は、光学系制御部１４を介して光学系駆動部１５を制御することにより、光学系駆動部１５にフォーカスレンズを光軸方向に進退させて、ＡＦ評価部３０から供給されるＡＦ評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。これにより、追尾ブロック内の主要被写体Ｍの顔に焦点が合うこととなる。

次にステップＳ９において、制御部１０は、被写体追尾部２８に、直前のステップＳ８の処理における合焦時点で撮影されたフレーム画像における追尾ブロックの画像を切り出させ、この切り出した画像を表現する画像データを第２追尾画像記憶領域２９ｂに記憶させる。これにより、第２追尾画像記憶領域２９ｂに記憶される画像データが、前回のステップＳ９での合焦時点で撮影されたフレーム画像上の追尾ブロックの画像データから、今回のステップＳ９での合焦時点で撮影されたフレーム画像上の追尾ブロックの画像データへと更新される。

ステップＳ１０において、制御部１０は、ユーザによりシャッタボタンが全押し操作されているか否かを判断する。具体的には、制御部１０は、操作部２６からのシャッタボタンの全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタンが全押し操作されているか否かを判断する。制御部１０は、シャッタボタンが全押し操作されていないと判断した場合（ステップＳ１０：ＮＯ）、ステップＳ４に処理を戻す。一方、制御部１０は、シャッタボタンが全押し操作されていると判断した場合（ステップＳ１０：ＹＥＳ）、ステップＳ１１に処理を進める。

次にステップＳ１１において、制御部１０は、撮影を実行する。具体的には、制御部１０は、シャッタ制御部１７を制御することにより、シャッタ駆動部１８にシャッタ装置１６を開閉させる。これにより、撮像素子１９が被写体像を撮影して電気信号を蓄積し、前処理部２１がこの電気信号からディジタル信号を生成する。そして、制御部１０は、画像処理部２３に、ディジタル信号から画像データを生成させて、生成した画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式で圧縮させる。そして、制御部１０は、圧縮された画像データを記録媒体２７に記録させる。

制御部１０は、ステップＳ１１の処理の後、図４のフローチャートに示される処理を終了させる。

以上説明したように、相関値Ｅ２が閾値Ｅｔｈより小さい場合には、合焦時点で撮影されたフレーム画像の追尾ブロックに存在した被写体までの距離が、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に変化していないと考えられるので、合焦動作を再起動させる必要がない。これとは逆に、相関値Ｅ２が閾値Ｅｔｈ以上である場合には、合焦時点で撮影されたフレーム画像の追尾ブロックに存在した被写体までの距離が、合焦時点のフレーム画像の撮影時点から最新のフレーム画像の撮影時点までの間に変化したと考えられるので、合焦動作を再起動させる必要がある。

そこで、本実施形態に係る撮影装置１００は、合焦動作をくり返し実行するコンティニュアスＡＦモードにおいて、最新のフレーム画像（現在時点で撮影されたフレーム画像）における追尾ブロックと、直前の合焦時点で撮影されたフレーム画像における追尾ブロックとの相関値Ｅ２を算出する。そして、撮影装置１００は、算出した相関値Ｅ２が閾値Ｅｔｈより小さいと判断した場合には、合焦動作を再起動させないようにした。換言すれば、撮影装置１００は、算出した相関値Ｅ２が閾値Ｅｔｈ以上である判断した場合にのみ、合焦動作を再起動させるようにした。このため、本実施形態に係る撮影装置１００によれば、無駄な合焦動作を防止できる。また、無駄な合焦動作を防止できるので、合焦動作に要する電力を低減して電池寿命を長くすることができる。

また、本実施形態に係る撮影装置１００は、最新のフレーム画像上で主要被写体Ｍが位置する追尾ブロックと、直前の合焦時点で撮影されたフレーム画像上で主要被写体Ｍが位置していた追尾ブロックとの相関値Ｅ２を算出するようにした。これにより、撮影装置１００は、最新のフレーム画像上で任意の領域に位置している主要被写体Ｍについても、最新のフレーム画像と直前の合焦時点で撮影されたフレーム画像との間における相関値Ｅ２を算出できる。すなわち、撮影装置１００は、最新のフレーム画像上で任意の領域に位置している主要被写体Ｍについても、その主要被写体Ｍが直前の合焦時点から移動したか否かを判断することができる。

上記の実施形態は本発明の単なる例に過ぎず、本発明を限定する趣旨のものではない。したがって、本実施形態に対してなされ得る変形はすべて本発明に含まれるものである。

１００・・・撮影装置、１０・・・制御部、１１・・・ＲＡＭ、１２・・・ＲＯＭ、１３・・・光学レンズ装置、１４・・・光学系制御部、１５・・・光学系駆動部、１６・・・シャッタ装置、１７・・・シャッタ制御部、１８・・・シャッタ駆動部、１９・・・撮像素子、２０・・・撮像素子駆動部、２１・・・前処理部、２２・・・画像メモリ、２３・・・画像処理部、２４・・・表示制御部、２５・・・表示部、２６・・・操作部、２７・・・記録媒体、２８・・・被写体追尾部、２９・・・追尾画像メモリ、３０・・・ＡＦ評価部、３１・・・相関値算出部。

Claims (2)

1. 連続するフレーム画像を取り込んでライブビュー表示を行う撮影装置において、
   被写体の画像を撮影する撮影手段と、
   被写体に焦点を合わせる合焦動作をくり返し行う合焦手段と、
   最新のフレーム画像の直前のフレーム画像の追尾ブロックと、最新のフレーム画像において被写体の存在可能性がある候補ブロックとの間の第１の相関値を算出する第１の相関値算出手段と、
   前記第１の相関値算出手段により算出された前記第１の相関値が最も小さくなる候補ブロックの位置に追尾ブロックを移動させる追尾手段と、
   最新のフレーム画像における追尾ブロック内を表現する画像データを記憶する第１の記憶領域と、前記合焦手段による直前の合焦時点で前記撮影手段により撮影されたフレーム画像における追尾ブロック内を表現する画像データを記憶する第２の記憶領域と、を有する追尾画像メモリと、
   前記第１の記憶領域に記憶されている画像データと前記第２の記憶領域に記憶されている画像データとの間の第２の相関値を算出する第２の相関値算出手段と、
   前記第２の相関値算出手段により算出された前記第２の相関値が所定の閾値より小さい場合は、前記合焦手段に合焦動作を行わせず、前記第２の相関値が所定の閾値以上である場合は、前記合焦手段に合焦動作を行わせる合焦制御手段と、
   を備えることを特徴とする撮影装置。
2. 被写体の画像を撮影する撮影手段と、被写体に焦点を合わせる合焦動作をくり返し行う合焦手段と、を備え、連続するフレーム画像を取り込んでライブビュー表示を行うコンピュータを、
   最新のフレーム画像の直前のフレーム画像の追尾ブロックと、最新のフレーム画像において被写体の存在可能性がある候補ブロックとの間の第１の相関値を算出する第１の相関値算出手段、
   前記第１の相関値算出手段により算出された前記第１の相関値が最も小さくなる候補ブロックの位置に追尾ブロックを移動させる追尾手段、
   最新のフレーム画像における追尾ブロック内を表現する画像データを記憶する第１の記憶領域と、前記合焦手段による直前の合焦時点で前記撮影手段により撮影されたフレーム画像における追尾ブロック内を表現する画像データを記憶する第２の記憶領域と、を有する追尾画像記憶手段、
   前記第１の記憶領域に記憶されている画像データと前記第２の記憶領域に記憶されている画像データとの間の第２の相関値を算出する第２の相関値算出手段、
   前記第２の相関値算出手段により算出された前記第２の相関値が所定の閾値より小さい場合は、前記合焦手段に合焦動作を行わせず、前記第２の相関値が所定の閾値以上である場合は、前記合焦手段に合焦動作を行わせる合焦制御手段、
   として機能させるプログラム。

Images