JP2024015578A - 制御装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】移動する被写体を追尾ＡＦする場合に精度の高い焦点調節を行う撮像装置を提供すること。【解決手段】制御装置は、撮影画像中の被写体領域を取得する取得部と、第１部分被写体領域を、第１部分領域を含む複数の部分領域に分割する分割部と、第１部分被写体領域、及び各部分領域に対して焦点検出領域を設定する設定部と、第１部分焦点検出領域から焦点調節に用いる主焦点検出領域を選択する選択部とを有し、第１部分選択部は、第１部分被写体領域に対応する焦点検出領域と第１部分第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、第１部分第１部分領域を除く部分領域に対応する焦点検出領域から第１部分主焦点検出領域を選択する。【選択図】図５

Description

本発明は、制御装置、撮像装置、制御方法、及びプログラムに関する。

従来、撮影画像から主被写体領域を検出し、主被写体の動きに合わせて焦点位置を動的に調整し続ける追尾ＡＦモードを備えた撮像装置が知られている。このような撮像装置においては、複数フレームに渡って被写体の焦点位置情報を蓄積しておき、蓄積した情報から次の撮影タイミングにおける被写体の焦点位置を予測することで、精度の高い焦点調節を実現する技術が提案されている。特許文献１には、焦点検出結果の連続性を判定し、被写体の動き及び撮像装置の動きに応じて、焦点調節動作に関する設定項目の設定値を変更する構成が開示されている。

特開２０２１－６７８４０号公報

しかしながら、特許文献１の構成では、例えば全身と異なる動きをする部位を持つ被写体を追尾ＡＦする場合、そうした部位の焦点位置情報を蓄積してしまうことにより、被写体全体に対する予測の精度が低下してしまう。

本発明は、移動する被写体を追尾ＡＦする場合に精度の高い焦点調節を行う制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、撮影画像中の被写体領域を取得する取得部と、被写体領域を、第１部分領域を含む複数の部分領域に分割する分割部と、被写体領域、及び各部分領域に対して焦点検出領域を設定する設定部と、焦点検出領域から焦点調節に用いる主焦点検出領域を選択する選択部とを有し、選択部は、被写体領域に対応する焦点検出領域と第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、第１部分領域を除く部分領域に対応する焦点検出領域から主焦点検出領域を選択することを特徴とする。

本発明によれば、移動する被写体を追尾ＡＦモードで撮影する場合に精度の高い焦点調節を行う制御装置を提供することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラのブロック図である。 射出瞳と光電変換部との対応関係の一例を示す図である。 ＡＦエリアモードが設定された状態の一例を示す図である。 連続撮影動作の手順を示すフローチャートである。 主焦点検出領域設定の手順を示すフローチャートである。 特徴領域から部分領域を生成する一例を示す図である。 部分領域の対応付けの一例を示す図である。 特徴領域及び部分領域に対して焦点検出領域を設定した一例を示す図である。 焦点不安定領域の検出の説明図である。 特徴領域と部分領域との焦点位置の変化の差分を示す図である。 像面不安定領域の検出の説明図である。 不安定部位領域の検出の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

以下の各実施形態では、本発明をレンズ交換式のデジタルカメラで実施する場合について説明する。しかしながら、本発明は、撮像機能を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡ等）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダ等が含まれる。なお、これらは例示であり、本発明は他の電子機器にも適用可能である。

図１（ａ）は、本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００のブロック図である。デジタルカメラ１００は、レンズユニット１５０を装着可能に構成される。なお、デジタルカメラ１００は、本実施形態ではレンズ交換式のデジタルカメラであるが、レンズ一体型のデジタルカメラとして構成されてもよい。以下の説明では、デジタルカメラ１００を本体１００と呼ぶ。

レンズユニット１５０は、絞り駆動回路２、ＡＦ駆動回路３、レンズシステム制御回路４、通信端子６、絞り１０２、及びレンズ群１０３を有する。通信端子６は、本体１００に装着されると本体１００に設けられた通信端子１０と接触する。レンズユニット１５０は、通信端子６，１０を介して本体１００から電源を供給される。また、レンズシステム制御回路４は、通信端子６，１０を介して本体１００に設けられたシステム制御部５０と双方向へ通信可能である。

レンズ群１０３は、可動レンズを含む複数のレンズから構成される撮像光学系である。可動レンズには、フォーカスレンズが含まれる。また、可動レンズには、変倍レンズやぶれ補正レンズが含まれていてもよい。

ＡＦ駆動回路３は、フォーカスレンズを移動させるモータやアクチュエータ等を含む。レンズシステム制御回路４は、フォーカスレンズを移動させるためにＡＦ駆動回路３を制御する。絞り駆動回路２は、絞り１０２を移動させるモータアクチュエータ等を含む。レンズシステム制御回路４は、絞り１０２の絞り値（開口量）を調整するために、絞り駆動回路２を制御する。

本体１００は、通信端子１０、メモリ制御部１５、Ｉ／Ｆ１８、Ｄ／Ａ変換器１９、撮像素子２２、Ａ／Ｄ変換器２３、画像処理部２４、表示部２８、電源部３０、メモリ３２、システム制御部５０、システムメモリ５２、及びシステムタイマー５３を有する。また、本体１００は、通信部５４、姿勢検出部５５、不揮発性メモリ５６、モード切替スイッチ６０、シャッターボタン６１、操作部７０、電源スイッチ７２、電源制御部８０、及びメカニカルシャッタ１０１を有する。

システム制御部５０は、メカニカルシャッタ１０１を移動させ、撮像素子２２の露光時間を調整する。メカニカルシャッタ１０１は、動画撮影時には全開状態に保持される。

撮像素子２２は例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２２では複数の画素が２次元配置され、各画素には１つのマイクロレンズ、１つのカラーフィルタ、及び１つ以上の光電変換部が設けられている。本実施形態では、各画素には複数の光電変換部が設けられ、光電変換部ごとに信号を読み出することが可能である。画素をこのように構成することにより、撮像素子２２から読み出された信号を用いて撮像画像、視差画像対、及び位相差ＡＦ用の像信号を生成することができる。

Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換する。なお、Ａ／Ｄ変換器２３は、撮像素子２２が備えていてもよい。

図２（ａ）は、撮像素子２２が備える各画素が２つの光電変換部２０１ａ，２０１ｂを含む場合の、レンズユニット１５０の射出瞳と各光電変換部との対応関係を模式的に示している。光電変換部２０１ａ，２０１ｂは、１つのカラーフィルタ２５２及び１つのマイクロレンズ２５１を共有する。光電変換部２０１ａには射出瞳の部分領域２５３ａを通過した光が入射し、光電変換部２０１ｂには射出瞳の部分領域２５３ｂを通過した光が入射する。したがって、ある画素領域に含まれる画素について、光電変換部２０１ａから読み出された信号で形成される画像と、光電変換部２０１ｂから読み出される信号で形成される画像とは視差画像対を構成する。また、視差画像対は、位相差ＡＦ用の像信号（Ａ像信号及びＢ像信号）として用いることができる。更に、光電変換部２０１ａ，２０１ｂから読み出される信号を画素ごとに加算することで、通常の画像信号（撮像画像）を得ることができる。

なお、本実施形態では、撮像素子２２が備える各画素が、位相差ＡＦ用の像信号を生成するための画素（焦点検出用画素）としても、通常の画像信号を生成するための画素（撮像用画像）としても機能する。しかしながら、撮像素子２２は、一部の画素が焦点検出用画像として機能し、他の画素が撮像用画素として機能するように構成されてもよい。図２（ｂ）は、入射光が通過する射出瞳の領域２５３と焦点検出用画素との対応関係の一例を示している。図２（ｂ）の焦点検出用画素に含まれる光電変換部２０１は、図２（ａ）の光電変換部２０１ｂと同様に機能する。実際には、図２（ｂ）の焦点検出用画素と、図２（ａ）の光電変換部２０１ａと同様に機能する光電変換部を含む別の焦点検出用画素とを撮像素子２２の全体に分散配置することにより、実質的に任意の位置及び大きさの焦点検出領域を設定することが可能になる。

なお、図２では、記録用の画像を得るための撮像素子を位相差ＡＦ用のセンサとして用いるが、本発明は大きさ及び位置が不定の焦点検出領域を利用可能であればＡＦの方式には依存しない。例えば、コントラストＡＦを用いる場合でも本発明を実施可能である。コントラストＡＦのみを用いる場合、各画素に含まれる光電変換部は１つである。

Ａ／Ｄ変換器２３が出力する画像データ（ＲＡＷ画像データ）は、必要に応じて画像処理部２４で処理された後、メモリ制御部１５を通じてメモリ３２に格納される。メモリ３２は、画像データや音声データを一時的に記憶するバッファメモリとして用いられたり、表示部２８用のビデオメモリとして用いられたりする。

画像処理部２４は、画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得及び／又は生成したりする。画像処理部２４は例えば、特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、及び評価値算出処理等が含まれる。前処理には、信号増幅、基準レベル調整、及び欠陥画素補正等が含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット１５０の光学収差を補正する処理、及び色を補正する処理等が含まれる。検出処理には、特徴領域（例えば人物や動物等の生物の顔や胴体、又は乗り物等）の検出及び追尾処理、並びに予め本体１００に登録されている特定の人物や動物の認識処理等が含まれる。データ加工処理には、スケーリング処理、符号化及び復号処理、並びにヘッダ情報生成処理等が含まれる。評価値算出処理には、位相差ＡＦ用の一対の像信号、コントラストＡＦ用の評価値、及び自動露出制御に用いる評価値等の算出処理が含まれる。なお、これらは画像処理部２４が実施可能な画像処理の例示であり、画像処理部２４が実施する画像処理を限定するものではない。また、評価値算出処理は、システム制御部５０により行われてもよい。

Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用の画像データから表示部２８での表示に適したアナログ信号を生成して表示部２８に供給する。表示部２８は例えば、液晶表示装置を備え、Ｄ／Ａ変換器１９からのアナログ信号に基づく表示を行う。

動画の撮影と、撮影された動画の表示とを継続的に行うことで、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。表示部２８は、接眼部を通じて観察可能なように本体１００の内部に設けられてもよいし、接眼部を用いずに観察可能なように本体１００の筐体表面に設けられてもよい。表示部２８は、本体１００の内部と筐体表面との両方に設けられてもよい。

システム制御部５０は例えば、ＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、本体１００及びレンズユニット１５０の動作を制御する。システム制御部５０は、通信端子６，１０を通じた通信によってレンズシステム制御回路４に様々なコマンドを送信することにより、レンズユニット１５０の動作を制御する。

また、システム制御部５０は、図１（ｂ）に示されるように、取得部５０ａ、分割部５０ｂ、設定部５０ｃ、及び選択部５０ｄを備える。取得部５０ａは、撮影画像中の特徴領域（被写体領域）を取得する。分割部５０ｂは、被写体領域を、第１部分領域を含む複数の部分領域に分割する。設定部５０ｃは、被写体領域、及び各部分領域に対して焦点検出領域を設定する。選択部５０ｄは、焦点検出領域から焦点調節に用いる主焦点検出領域を選択する。また、選択部５０ｄは、被写体領域に対応する焦点検出領域と第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、第１部分領域を除く部分領域に対応する焦点検出領域から主焦点検出領域を選択する。なお、本実施形態では、システム制御部５０は、本体１００内に搭載されているが、本体１００とは異なる制御装置として構成されてもよい。

不揮発性メモリ５６は、書き換え可能に構成されてもよい。不揮発性メモリ５６は、システム制御部５０が実行するプログラム、本体１００及びレンズユニット１５０の各種の設定値、及びＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画像データ等を記憶する。システムメモリ５２は、システム制御部５０がプログラムを実行する際に用いるメインメモリである。

システム制御部５０は、その動作の一部として、画像処理部２４又は自身が生成した評価値に基づく自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。撮影条件は例えば、静止画撮影であればシャッター速度、絞り値、及び感度である。システム制御部５０は、設定されているＡＥのモードに応じて、シャッター速度、絞り値、及び感度の１つ以上を決定する。システム制御部５０は、レンズシステム制御回路４を介して絞り１０２の絞り値を制御する。システム制御部５０は、メカニカルシャッタ１０１の動作も制御する。

また、システム制御部５０は、画像処理部２４又は自身が生成した評価値又はデフォーカス量に基づいてフォーカスレンズを移動させ、レンズ群１０３を焦点検出領域内の被写体に合焦させる自動焦点検出（ＡＦ）処理を行う。

本体１００は、異なる大きさの複数の焦点検出領域を備える。図３（ａ）は、比較的小さな焦点検出領域３０１が設けられ、動きの少ない被写体に対してピンポイントでピント合わせを行う際に適したＡＦエリアモードが設定された状態を示している。図３（ｂ）は、比較的大きな焦点検出領域３０２が設けられ、動きの速い被写体に対してピント合わせを行う際に、フレーミングによって被写体を捕捉しやすいＡＦエリアモードが設定された状態を示している。ここで、本実施形態では２つのＡＦエリアモードが設定された状態を示したが、本体１００は更に多くのＡＦエリアモードが設定可能に構成されてもよい。

システムタイマー５３は、内蔵時計であり、システム制御部５０により利用される。

操作部７０は、ユーザーが操作可能な複数の入力デバイス（ボタン、スイッチ、及びダイヤル等）を含む。入力デバイスの一部は、割り当てられた機能に応じた名称を有する。モード切替スイッチ６０、シャッターボタン６１、及び電源スイッチ７２は、操作部７０と別に図示されているが、操作部７０に含まれる。表示部２８がタッチディスプレイである場合、タッチパネルも操作部７０に含まれる。入力デバイスに対する操作は、システム制御部５０により監視される。システム制御部５０は、入力デバイスに対する操作を検出すると、検出した操作に応じた処理を実行する。

シャッターボタン６１は、半押し状態でＯＮする第１シャッタースイッチ（ＳＷ１）６２と、全押し状態でＯＮする第２シャッタースイッチ（ＳＷ２）６４とを備える。システム制御部５０は、ＳＷ１のＯＮを検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理等が含まれる。また、システム制御部５０は、ＳＷ２のＯＮを検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影及び記録動作を実行する。

モード切替スイッチ６０は、ＡＦエリアモードを切り替えて設定するための操作部であり、異なる大きさの焦点検出領域を有する複数のＡＦエリアモードから１つのＡＦエリアモードを選択することが可能である。

また、操作部７０は、ユーザーの視線方向を検出するために用いられる視線検出部７０ａを含む。視線検出部７０ａは、ユーザーが直接操作する部材ではないが、視線検出部７０ａを用いて検出された視線方向が入力として取り扱われる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、及び電池残量の検出を行う。また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部に供給する。電源部３０は、電池やＡＣアダプタ等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェイスである。記録媒体２００には、撮影された画像や音声等のデータファイルが記録される。記録媒体２００に記録されたデータファイルは、Ｉ／Ｆ１８を通じて読み出され、画像処理部２４及びシステム制御部５０を通じて再生することができる。

通信部５４は、無線通信及び有線通信の少なくとも一方による外部機器との通信を実現する。撮像素子２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像は、通信部５４を通じて外部機器に送信可能である。また、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

姿勢検出部５５は、例えば加速度センサや角速度センサであり、重力方向に対する本体１００の姿勢を検出する。システム制御部５０は、撮影時に姿勢検出部５５で検出された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は例えば、記録済みの画像を撮影時と同じ向きで表示するために用いることができる。

本体１００は、画像処理部２４が検出した特徴領域が適切な画像となるように各種の制御を実施することが可能である。制御として例えば、特徴領域に合焦させる自動焦点検出（ＡＦ）、特徴領域を適正露出とする自動露出制御（ＡＥ）、特徴領域のホワイトバランスを適切に設定する自動ホワイトバランス、及び特徴領域の明るさを適切に設定する自動フラッシュ光量調整がある。ただし、本発明はこれらに限定されない。画像処理部２４は例えば、ライブビュー画像を用いて予め定められた特徴に当てはまると判定された領域を特徴領域として検出し、各特徴領域の位置、大きさ、及び信頼度等の情報をシステム制御部５０に出力する。

また、特徴領域は、被写体情報を検出するために用いることができる。特徴領域が顔領域である場合、被写体情報として例えば、赤目現象が生じているか否か、目をつむっているか否か、及び表情（例えば笑顔）等を検出することができる。

以下、図４を参照して、ＳＷ１がＯＮした後、本体１００の追尾ＡＦモードにおける連続撮影動作について説明する。図４は、本体１００の追尾ＡＦモードにおける連続撮影動作の手順を示すフローチャートである。本フローの処理は、連続撮影の１フレーム分に相当する一連の処理である。一連の処理を繰り返すことで連続撮影が実行される。

ステップＳ４０１では、システム制御部５０はまず、撮像素子２２の電荷蓄積を行い、画像信号を読み出す。次に、システム制御部５０は、読み出した画像信号を画像処理部２４に出力する。画像処理部２４は、入力された画像信号に基づいて撮影画像と位相差ＡＦ用の像信号を生成し、システム制御部５０に出力する。

ステップＳ４０２（取得ステップ）では、画像処理部２４は、ステップＳ４０１で生成した撮影画像に対して特徴領域の検出処理を実行する。画像処理部２４は、検出した特徴領域の数や、個々の特徴領域の情報（例えば、大きさ、位置、及び信頼度等）をシステム制御部５０に出力する。すなわち、システム制御部５０（取得部５０ａ）は、特徴領域に関する情報を取得する。特徴領域は、人物の顔に限らず、人体領域、瞳領域、動物の顔領域、動物の全身領域、乗り物領域、及びパターンマッチング等によって検出可能な任意の特徴領域であってよい。また、本ステップにおいて、画像処理部２４は、特徴領域の候補の検出のみを行ってもよい。

ステップＳ４０３では、システム制御部５０は、主焦点検出領域を設定する。具体的には、ステップＳ４０１で取得した位相差ＡＦ用の像信号、ステップＳ４０２で取得した特徴領域に関する情報、及びユーザーが選択しているＡＦエリアモードによって設定される焦点検出領域の大きさ・形状に基づいて、主焦点検出領域が設定される。

システムＳ４０４では、システム制御部５０はまず、ステップＳ４０３で設定した主焦点検出領域に対応する位相差ＡＦ用の像信号に基づいて焦点検出を行う。次に、システム制御部５０は、検出されたデフォーカス量に基づいてレンズ群１０３を主焦点検出領域内の被写体に合焦させるＡＦ処理を行う。

ステップＳ４０５では、システム制御部５０は、ＳＷ２がＯＮであるかどうかを判定する。ＳＷ２がＯＮであると判定された場合、ステップＳ４０６の処理が実行され、ＳＷ２がＯＮでないと判定された場合、ステップＳ４０７の処理が実行される。

ステップＳ４０６では、システム制御部５０はまず、メカニカルシャッタ１０１を移動させて撮像素子２２を露光し、画像信号を読み出し、画像処理部２４に出力する。次に、画像処理部２４は、受信した画像信号を元に撮影画像を生成し、システム制御部５０に出力する。続いて、システム制御部５０は、受信した撮影画像を記録媒体２００に保存すると共に、表示部２８に撮影画像を表示する。

ステップＳ４０７では、システム制御部５０は、ＳＷ１又はＳＷ２がＯＮされているかどうかを判定する。ＳＷ１とＳＷ２のいずれかがＯＮであると判定された場合、ステップＳ４０１の処理が実行され、ＳＷ１とＳＷ２のいずれもＯＮでないと判定された場合、本フローが終了される。

以下、図５を参照して、ステップＳ４０３の主焦点検出領域の設定について説明する。図５は、主焦点検出領域設定の手順を示すフローチャートである。

ステップＳ５０１（分割ステップ）では、システム制御部５０（分割部５０ｂ）は、ステップＳ４０２で取得した特徴領域を所定の大きさに分割し、複数の部分領域を生成する。

図６は、特徴領域として犬の全身像を検出した場合において、特徴領域から部分領域を生成する一例を示す図である。図６（ａ）は、ステップＳ４０２において、画像処理部２４が、画像６０１に写っている犬６０２を特徴領域６０３として検出した例を示している。図６（ｂ）は、システム制御部５０が、画像処理部２４から取得した特徴領域６０３を分割して複数の部分領域６０４～６０９を生成した一例を示している。部分領域６０４～６０９は、少なくとも１つの焦点検出領域を含むことができる大きさで生成される。

ステップＳ５０２では、システム制御部５０は、直前のフレームで生成された各部分領域と、現在のフレームで生成された各部分領域とをそれぞれ対応付ける。対応付けは、特徴領域内における相対的な位置が最も近い部分領域同士を対応付けることにより行われる。

図７は、現在のフレームと直前のフレームの部分領域の対応付けの一例を示す図である。現在のフレームの画像６０１における特徴領域６０３を分割して生成された部分領域６０４～６０９はそれぞれ、直前のフレームの画像７０１における特徴領域７０３を分割して生成された部分領域７０４～７０９と対応付けられている。

ステップＳ５０３（設定ステップ）では、システム制御部５０（設定部５０ｃ）は、ステップＳ４０２で取得した特徴領域、及びステップＳ５０１で生成した各部分領域に対して、少なくとも１つずつ焦点検出領域を設定する。

図８は、特徴領域及び部分領域に対して焦点検出領域を設定した一例を示す図である。図８（ａ）は、特徴領域６０３に対して焦点検出領域８０１を設定した一例を示している。図８（ｂ）は、部分領域６０４～６０９に対し、それぞれ焦点検出領域８０２～８０７を設定した一例を示している。

ステップＳ５０４では、システム制御部５０は、ステップＳ４０１で取得した位相差ＡＦ用の像信号を用いて、ステップＳ５０３で設定した各焦点検出領域の焦点位置を検出する。

ステップＳ５０５では、システム制御部５０は、ステップＳ５０４で検出した各部分領域の焦点位置に基づいて、各部分領域に対して、焦点不安定領域に該当するか否かを判定する。

図９は、焦点不安定領域の検出の説明図である。図１０は、特徴領域と部分領域との焦点位置の変化の差分を示す図である。

図９において、グラフ９００は、図６の特徴領域６０３及び部分領域６０６，６０８に対応する焦点検出領域の焦点位置の、時系列的な推移を示すグラフである。グラフ９００の原点は左下で、縦軸は本体１００から見た焦点位置の遠さを表し、横軸はフレームｔ１～ｔ５にかけての時系列の進行を表す。折れ線９０３は、特徴領域６０３に対応する焦点検出領域の焦点位置の時系列的な推移を表しており、犬６０２が本体１００に向かって徐々に接近している様子を表している。折れ線９０６，９０８はそれぞれ、部分領域６０６，６０８に対応する焦点検出領域の焦点位置の時系列的な推移を表している。折れ線９０６は、部分領域６０６が犬６０２の胴体付近に位置するため、焦点位置のばらつきが少なく比較的平坦である。一方、折れ線９０８は、部分領域６０８が犬６０２の前足付近に位置するため、犬６０２の足のバタつきの影響を受けて焦点位置がフレームごとにばらついている。

このような前提において、システム制御部５０はまず、特徴領域６０３及び部分領域６０４～６０９について、連続するフレーム間における焦点位置の変化量（変動値。グラフ９００におけるフレーム間の折れ線の傾きに相当。）を取得する。次に、システム制御部５０は、連続するフレーム間における、特徴領域６０３の焦点位置の変化量と、部分領域６０４～６０９の焦点位置の変化量とを比較する。続いて、システム制御部５０は、部分領域６０４～６０９について、所定のフレーム期間において「特徴領域６０３との焦点位置の変化量の差が所定の閾値（第１所定値）以上」である回数をカウントし、その回数が所定数以上である部分領域を焦点不安定領域と判定する。

図１０において、グラフ１００１は、図９の折れ線９０６，９０８のフレーム間の焦点位置の変化量と、折れ線９０３のフレーム間の焦点位置の変化量との差分を、棒グラフとしてプロットしたグラフである。グラフ１００１において、縦軸はフレーム間の焦点位置の変化量の差分の大きさを表し、横軸はフレームの時系列の進行を表す。棒グラフ１００６は、部分領域６０６及び折れ線９０６に対応し、折れ線９０６と折れ線９０３との、フレーム間における焦点位置の変化量の差の絶対値を表す。棒グラフ１００８は、部分領域６０８及び折れ線９０８に対応し、折れ線９０８と折れ線９０３との、フレーム間における焦点位置の変化量の差の絶対値を表す。棒グラフ１００８は３つのフレーム間（ｔ２～ｔ３，ｔ３～ｔ４，ｔ４～ｔ５）において焦点不安定領域を判定するための閾値１００２を超えるため、棒グラフ１００８に対応する部分領域６０８は焦点不安定領域と判定される。一方、棒グラフ１００６は全てのクレーム間において閾値１００２を超えないため、棒グラフ１００６に対応する部分領域６０６は焦点不安定領域と判定されない。

以上の手順により、犬の手足や鳥の翼等の連続するフレームにおいて焦点位置が不安定となる傾向の強い領域を焦点不安定領域として抽出することができる。そして、後述の処理で焦点不安定領域を主焦点検出領域として選択されにくくすることで、より安定した被写体領域に基づいて焦点位置を決定することが可能となる。

ステップＳ５０６では、システム制御部５０は、部分領域に対して、像面不安定領域に該当するか否かの判定を判定する。

図１１は、像面不安定領域の検出の説明図であり、犬１１０３を特徴領域１１０４，１１０５として検出した一例を示している。図１１（ａ）と図１１（ｂ）はそれぞれ、直前のフレームの画像１１０１と現在のフレームの画像１１０２を示している。部分領域１１０６～１１１１は、ステップＳ５０１において特徴領域１１０４を分割して生成された部分領域である。部分領域１１１２～１１１７は、ステップＳ５０１において特徴領域１１０５を分割して生成された部分領域である。また、ステップＳ５０２において、部分領域１１０６，１１１２、部分領域１１０７，１１１３、部分領域１１０８，１１１４、部分領域１１０９，１１１５、部分領域１１１０，１１１６、部分領域１１１１，１１１７が対応付けられている。

このような前提において、システム制御部５０はまず、画像１１０１，１１０２、部分領域の位置、大きさ、及び対応付けの情報を画像処理部２４に入力する。次に、画像処理部２４は、入力された情報に基づいて、部分領域１１０６～１１１１に対応する画像領域と、部分領域１１１２～１１１７に対応する画像領域とを、対応付けされた部分領域同士で照合し、それぞれの一致度を算出する。そして、画像処理部２４は、算出された一致度を現在のフレームの部分領域１１１２～１１１７に紐づけてシステム制御部５０に出力する。続いて、システム制御部５０は、取得した一致度に基づき、部分領域１１１２～１１１７について、所定のフレーム期間において一致度が閾値以下であるフレーム数をカウントし、その回数が所定数以上である部分領域を像面不安定領域と判定する。例えば、部分領域１１１５～１１１７は、犬１１０３の足の部分に位置することから、対応付けされた部分領域１１０９～１１１１との画像上の差異が継続して大きくなるため、像面不安定領域と判定される。また、部分領域１１１２～１１１４は、犬１１０３の顔や胴体の部分に位置することから、対応付けされた部分領域１１０６～１１０８との画像上の差異が継続して小さいため、像面不安定領域とは判定されない。

以上の手順により、犬の手足や鳥の翼等、連続するフレームにおいて比較的激しく動く部位を像面不安定領域として抽出することができる。そして、後述の処理で像面不安定領域を主焦点検出領域として選択されにくくすることで、より安定した被写体領域に基づいて焦点位置を決定することが可能となる。

なお、像面不安定領域を判定する方法は、上述した方法に限定されない。例えば、任意のフレーム間における特徴領域の像面上の移動ベクトルと、部分領域の像面上の移動ベクトルとを比較し、特徴領域に対するベクトル差分（移動軌跡の差異）が第２所定値以上の部分領域を像面不安定領域としてもよい。

ステップＳ５０７では、システム制御部５０は、ステップＳ４０２で取得した被写体の種別に応じて、不安定部位領域（特定領域）の判定を行う。

図１２は、不安定部位領域の検出の説明図であり、特徴領域として犬、人間、猫、鳥、馬等の複数の種類の被写体を検出する構成において、画像６０１に写る犬６０２を特徴領域６０３として検出し、部分領域６０４～６０９に分割した一例を示している。図１２では、推定不安定領域１２０１が設定されている。ここで、推定不安定領域とは、被写体の種別に応じて（被写体が特定被写体である場合）、動物の手足等の激しく動くと想定される部位の推定位置に予め設定される領域である。例えば被写体の種別が犬であり、犬の全身像を特徴領域として検出した場合、手足が存在すると推定される位置である特徴領域の下部４０％が、推定不安定領域として設定される。一方、鳥の翼のように激しく動くものの、全身像に対する位置を想定しにくい部位に対しては、推定不安定領域は設定されない。

このような前提において、システム制御部５０はまず、ステップＳ４０２で取得した被写体の種別を判定する。次に、システム制御部５０は、被写体種別に応じて予め設定されている推定不安定領域データをシステムメモリ５２から読み出し、特徴領域６０３に対して推定不安定領域１２０１を設定する。続いて、システム制御部５０は、部分領域６０４～６０９について、推定不安定領域１２０１と重複する面積の割合を算出し、割合が所定値以上である場合には、該当する部分領域を不安定部位領域として判定する。図１２では、推定不安定領域１２０１と１００％重複する部分領域６０８，６０９が不安定部位領域として判定される。

以上の手順により、特徴領域のうち、犬の手足等の激しく動くと予測される部位を不安定部位領域として抽出することができる。そして、後述の処理で不安定部位領域を主焦点検出領域として選択されにくくすることで、より安定した被写体領域に基づいて焦点位置を決定することが可能となる。

なお、不安定部位領域を判定する方法は、上述した方法に限定されない。例えば、人物・動物等の手足や、飛行機のプロペラ部分等の可動部を検出し、検出した可動部を不安定部位領域として設定してもよい。

ステップＳ５０８では、システム制御部５０は、焦点不安定領域、像面不安定領域、及び不安定部位領域の情報に基づいて、各部分領域に対し、主焦点検出領域を選択するための優先度を設定する。具体的には、以下の優先度を設定する（優先度１が最も高い優先度である）。

優先度１：焦点不安定領域、像面不安定領域、不安定部位領域のいずれにも該当しない部分領域。

優先度２：焦点不安定領域、像面不安定領域のいずれにも該当しない部分領域。

優先度３：焦点不安定領域には該当しないが、像面不安定領域には該当する部分領域、
優先度４：焦点不安定領域には該当するが、像面不安定領域には該当しない部分領域。

優先度５：焦点不安定領域及び像面不安定領域の両方に該当する部分領域。

なお、優先度２～５の設定では、焦点不安定領域と像面不安定領域の判定結果が用いられ、不安定部位領域の判定結果は用いられない。事前の推定により設定される不安定部位領域よりも、リアルタイムに取得された画像信号に基づいて決定される焦点不安定領域と像面不安定領域の方を優先することで、実際の被写体像に即した判定を行うことができる。

優先度１に設定された部分領域は、焦点不安定領域、像面不安定領域、不安定部位領域の全ての指標で不安定ではないと判定されているため、最も主焦点検出領域に適している。優先度２に設定された部分領域は、不安定部位領域に該当するものの、実際に測定した結果では焦点不安定領域、像面不安定領域のいずれにも該当しない部分領域であるため、焦点検出において比較的安定した領域であると推測される。優先度３、４の設定では、主焦点検出領域の選択にあたっては、像面上の安定性よりも焦点位置の安定性の方が重要であることから、焦点不安定領域に該当しない部分領域の方の優先度を高めている。優先度５に設定された部分領域は、焦点も像も不安定であるため、主焦点検出領域の対象としては最も不適である。

ステップＳ５０９（選択ステップ）では、システム制御部５０は、ステップＳ５０８で設定した優先順位に基づいて、過去フレームから予測される主被写体の現在フレームの焦点位置の範囲内に焦点を持つ部分領域のうち、最も優先度の高い部分領域を選択する。そして、システム制御部５０（選択部５０ｄ）は、選択した部分領域に対応する焦点検出領域を主焦点検出領域として決定する。

以上説明したように、移動する被写体を追尾ＡＦする場合に、被写体全体の動きとは異なる動きをする部位を避けた焦点位置情報に基づいて焦点位置を予測することで、精度の高い焦点調節を行うことができる。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成及び方法を含む。

（構成１）
撮影画像中の被写体領域を取得する取得部と、
前記被写体領域を、第１部分領域を含む複数の部分領域に分割する分割部と、
前記被写体領域、及び各部分領域に対して焦点検出領域を設定する設定部と、
前記焦点検出領域から焦点調節に用いる主焦点検出領域を選択する選択部とを有し、
前記選択部は、前記被写体領域に対応する焦点検出領域と前記第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする制御装置。
（構成２）
前記選択部は、所定のフレーム期間において、前記差分が前記第１所定値以上である回数が所定数以上となる場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする構成１に記載の制御装置。
（構成３）
前記選択部は、前記第１部分領域のフレーム間における一致度が閾値以下である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする構成１又は２に記載の制御装置。
（構成４）
前記選択部は、所定のフレーム期間において、前記一致度が前記閾値以下である回数が所定数以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする構成３に記載の制御装置。
（構成５）
前記選択部は、前記被写体領域と前記第１部分領域の画像上の移動軌跡の差異が第２所定値以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする構成１又は２に記載の制御装置。
（構成６）
前記選択部は、前記被写体領域に対応する被写体が予め決定された特定被写体であり、かつ前記第１部分領域が前記特定被写体の予め設定された特定領域である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする構成１乃至５の何れか一つの構成に記載の制御装置。
（構成７）
構成１乃至６の何れか一つの構成に記載の制御装置と、
撮像素子とを有することを特徴とする撮像装置。
（方法１）
撮影画像中の被写体領域を取得する取得ステップと、
前記被写体領域を、第１部分領域を含む複数の部分領域に分割する分割ステップと、
前記被写体領域、及び各部分領域に対して焦点検出領域を設定する設定ステップと、
前記焦点検出領域から焦点調節に用いる主焦点検出領域を選択する選択ステップとを有し、
前記選択ステップにおいて、前記被写体領域に対応する焦点検出領域と前記第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域が選択されることを特徴とする制御方法。
（構成８）
方法１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５０ システム制御部（制御装置）
５０ａ 取得部
５０ｂ 分割部
５０ｃ 設定部
５０ｄ 選択部

Claims (9)

1. 撮影画像中の被写体領域を取得する取得部と、
   前記被写体領域を、第１部分領域を含む複数の部分領域に分割する分割部と、
   前記被写体領域、及び各部分領域に対して焦点検出領域を設定する設定部と、
   前記焦点検出領域から焦点調節に用いる主焦点検出領域を選択する選択部とを有し、
   前記選択部は、前記被写体領域に対応する焦点検出領域と前記第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする制御装置。
2. 前記選択部は、所定のフレーム期間において、前記差分が前記第１所定値以上である回数が所定数以上となる場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする請求項１に記載の制御装置。
3. 前記選択部は、前記第１部分領域のフレーム間における一致度が閾値以下である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする請求項１又は２に記載の制御装置。
4. 前記選択部は、所定のフレーム期間において、前記一致度が前記閾値以下である回数が所定数以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする請求項３に記載の制御装置。
5. 前記選択部は、前記被写体領域と前記第１部分領域の画像上の移動軌跡の差異が第２所定値以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする請求項１又は２に記載の制御装置。
6. 前記選択部は、前記被写体領域に対応する被写体が予め決定された特定被写体であり、かつ前記第１部分領域が前記特定被写体の予め設定された特定領域である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域を選択することを特徴とする請求項１又は２に記載の制御装置。
7. 請求項１に記載の制御装置と、
   撮像素子とを有することを特徴とする撮像装置。
8. 撮影画像中の被写体領域を取得する取得ステップと、
   前記被写体領域を、第１部分領域を含む複数の部分領域に分割する分割ステップと、
   前記被写体領域、及び各部分領域に対して焦点検出領域を設定する設定ステップと、
   前記焦点検出領域から焦点調節に用いる主焦点検出領域を選択する選択ステップとを有し、
   前記選択ステップにおいて、前記被写体領域に対応する焦点検出領域と前記第１部分領域に対応する焦点検出領域のフレーム間における焦点位置の変動値の差分が第１所定値以上である場合、前記第１部分領域を除く部分領域に対応する焦点検出領域から前記主焦点検出領域が選択されることを特徴とする制御方法。
9. 請求項８に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。