JP6671868B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮像装置およびその制御装置に関する。

デジタルカメラや、カメラ付の携帯電話、ゲーム機、パーソナルコンピュータ等、撮像機能を有する電子機器では、オートフォーカス（自動焦点検出）機能が実現されているのが一般的である。

特許文献１には、画素に設けられたマイクロレンズの光軸から偏心した開口部を有する遮光膜によって光電変換部に入射する光の範囲を制御した焦点検出用画素を有する撮像素子が開示されている。このような焦点検出用画素は、撮影レンズの射出瞳の一部の領域からの出射光を受光するため、開口部の偏心方向が異なる遮光膜を有する焦点検出用画素から得られる一対の出力波形の位相差から結像光学系のデフォーカス量を得ることができる。このように、個別の焦点検出用センサを用いずに、撮像素子から得られる信号を用いて行う位相差検出方式の自動焦点検出は、撮像面位相差ＡＦとも呼ばれている。

また、特許文献１には、連続的に画像の記録を行う連写時に、画像の記録と撮像面位相差ＡＦを両立する方法が開示されている。特許文献１では、露光後に、信号の読み出し、焦点検出に関する演算、レンズ駆動などを行う。撮像装置によっては単位時間当たりの撮影枚数を調節可能であるが、特許文献１の撮像装置では、露光前に待機状態の時間を設けることにより、このような調整が可能となる。

特開２００９−１０９６３１号公報

しかしながら、特許文献１の撮像装置において、連写時の焦点検出の精度は、単位時間当たりの焦点検出の回数だけでなく、焦点検出結果を得てから露光を行うまでのタイムラグに依存する。前述のように単位時間当たりの撮影枚数を調整するために、露光前に待機状態の時間を設けると、焦点検出信号を得る露光と記録画像を得る露光のタイムラグの長くなり、精度の低下が懸念される。

このような課題に対して、露光、信号読み出しを行った後、ライブビュー状態に移行して、焦点検出信号を得ることも考えられる。ライブビュー状態では、出力信号を間引きなどにより減らすことにより、信号読み出し時間を短くすることができ、前述のタイムラグを短くすることができる。しかしながら、記録画像の露光を行うたびに、ライブビュー状態に移行に必要な時間が発生するため、単位時間当たりの撮影枚数は、大幅に減少してしまう。

そこで本発明は、連写撮影の際における単位時間当たりの撮影枚数を大幅に減らすことなく、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出が可能な制御装置であって、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得する信号制御手段とを有し、前記撮像素子は、一つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成される。

本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得する信号制御手段とを有し、前記撮像素子は、一つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成される。

本発明の他の側面としての制御方法は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行う制御方法であって、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得するステップとを有し、前記撮像素子は、一つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成される。

本発明の他の側面としてのプログラムは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行うプログラムであって、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得するステップと、をコンピュータに実行させるように構成されており、前記撮像素子は、一つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成される。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、連写撮影の際における単位時間当たりの撮影枚数を大幅に減らすことなく、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

本実施形態における撮像装置のブロック図である。 本実施形態における画素配列を示す図である。 本実施形態における画素構造を示す図である。 本実施形態における撮像素子および瞳分割機能の説明図である。 本実施形態における撮像素子および瞳分割機能の説明図である。 本実施形態におけるデフォーカス量と像ずれ量との関係図である。 本実施形態における焦点検出領域の例を示す図である。 本実施形態における焦点検出動作および撮影動作を示すフローチャートである。 本実施形態における撮影サブルーチンを示すフローチャートである。 本実施形態における連写中焦点検出サブルーチンを示すフローチャートである。 本実施形態における撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートである。 本実施形態の変形例としての撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本実施形態における撮像装置の概略構成について説明する。図１は、本実施形態における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。

第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、および、光学的ローパスフィルタ１０６は、結像光学系を構成している。

撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１、絞り兼用シャッタ１０２、および、第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。絞りシャッタアクチュエータ１１２は、絞り駆動手段と遮光手段とを兼ねている。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、絞り制御手段１２１ａ、信号制御手段１２１ｂ、露出制御手段１２１ｃ、デフォーカス量算出手段１２１ｄ、および、フォーカス制御手段１２１ｅを有する。これらの各手段の機能については後述する。またＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。

また本実施形態において、ＣＰＵ１２１は、結像光学系の状態に応じた焦点検出用の補正値を記憶している。焦点検出補正値は、第３レンズ群１０５の位置に対応したフォーカス状態、第１レンズ群１０１の位置に対応したズーム状態、および、結像光学系のＦナンバーごとに複数用意されている。そしてＣＰＵ１２１は、撮像素子１０７の出力信号を用いて後述する焦点調節を行う際に、結像光学系の第１レンズ群１０１、第３レンズ群１０５の位置、および、Ｆナンバーに対応した最適な焦点検出補正値を選択する。なお本実施形態において、焦点検出補正値をＣＰＵ１２１（の内部メモリ）に記憶するように構成されているが、これに限定されるものではない。例えば、交換レンズ式の撮像装置においては、結像光学系を有する交換レンズが不揮発性メモリを有し、そのメモリに前述の焦点検出補正値を記憶してもよい。この場合、結像光学系の状態に応じて、焦点検出補正値を撮像装置に送信すればよい。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。

画像処理回路１２５は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９（ズーム駆動手段）は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。

表示器１３１（表示手段）は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。

次に、図２および図３を参照して、本実施形態における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施形態において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの焦点検出画素２０１、２０２（副画素）により構成されている。このため、図２には、焦点検出画素の配列が、８列×４行の範囲で示されている。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された焦点検出画素２０１、２０２（副画素）により構成されている。焦点検出画素２０１（第１焦点検出画素）は、結像光学系の第１瞳領域を通過した光束を受光する画素である。焦点検出画素２０２（第２焦点検出画素）は、結像光学系の第２瞳領域を通過した光束を受光する画素である。

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の焦点検出画素）を面上に多数配置して構成されており、撮像信号（焦点検出信号または副画素信号）を出力する。本実施形態の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、焦点検出画素の列方向の周期Ｐ_ＡＦが２μｍ、焦点検出画素の数Ｎ_ＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素である。

図３（ｂ）に示されるように、本実施形態の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、焦点検出画素２０１および焦点検出画素２０２に対応する。

光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、焦点検出画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

次に、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、一つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

図４において、焦点検出画素２０１（第１焦点検出画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、焦点検出画素２０１で受光可能な瞳領域を表している。焦点検出画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、焦点検出画素２０２（第２焦点検出画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、焦点検出画素２０２で受光可能な瞳領域を表している。焦点検出画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（焦点検出画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×１分割された焦点検出画素２０１、２０２で受光される。本実施形態では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。

なお本実施形態において、第１焦点検出画素と第２焦点検出画素とから構成された撮像画素が複数配列されているが、本実施形態はこれに限定されるものではない。必要に応じて、撮像画素、第１焦点検出画素、および、第２焦点検出画素を個別の画素構成とし、撮像画素の配列の一部に、第１焦点検出画素と第２焦点検出画素とを部分的に配置する構成としてもよい。

本実施形態において、撮像装置１００は、撮像素子１０７の焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、撮像素子１０７の焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また撮像装置１００は、撮像素子１０７の画素ごとに、焦点検出画素２０１の信号と焦点検出画素２０２の信号とを加算（合成）することにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

次に、図６を参照して、撮像素子１０７の焦点検出画素２０１から取得される第１焦点検出信号および焦点検出画素２０２から取得される第２焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する焦点検出画素２０１（焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施形態において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。本実施形態において、撮像装置１００は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量との関係性を用いて、位相差検出方式の焦点検出を行う。この詳細については、後述する。

次に、図７を参照して、第１焦点検出信号および第２焦点検出信号を取得する撮像素子１０７上の領域である焦点検出領域について説明する。図７は、撮像素子１０７の有効画素領域１０００における焦点検出領域と、焦点検出の際に表示器１３１に表示される焦点検出領域を示す指標と、を重ねて示している。本実施形態において、焦点検出領域として、行方向に３つ、および、列方向に３つの計９個の焦点検出領域が設定されている。行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、この領域内における焦点検出画素２０１（第１焦点検出画素）および焦点検出画素２０２（第２焦点検出画素）の信号を用いて、後述する第１焦点検出および第２焦点検出を行う。同様に、行方向にｎ番目、列方向にｍ番目の焦点検出領域の指標をＩ（ｎ，ｍ）と表す。

なお本実施形態において、行方向に３つ、列方向に３つの焦点検出領域を設定した例を示している。しかしながら、前述の撮像素子１０７のように、有効画素領域１０００の内部に設けられたいずれの画素からも第１焦点検出信号および第２焦点検出信号を取得可能な撮像素子においては、焦点検出領域の数、位置、サイズを適宜設定することができる。例えば、撮影者の指定した領域を中心として、所定の範囲を焦点検出領域として設定してもよい。

次に、図８を参照して、本実施形態における撮像装置１００の制御方法（焦点検出動作および撮影動作）について説明する。図８は、本実施形態における焦点検出動作および撮影動作を示すフローチャートである。図８は、撮影スタンバイ状態などのライブビュー状態（動画撮影状態）から撮影を行うライブビュー撮影時の動作を示す。図８中の各ステップは、ＣＰＵ１２１により実行されるか、または、ＣＰＵ１２１の指令に基づいて撮像装置１００の各部により実行される。

まず、ステップＳ１において、ＣＰＵ１２１の制御に従い、撮像素子駆動回路１２４は、撮像素子１０７を駆動し、撮像データを取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッタを用いた撮影を行う。ここでのライブビュー表示は、撮影者が撮影範囲や撮影条件を確認するためのものであり、例えば、３０フレーム／秒（撮影間隔３３．３ｍｓ）や６０フレーム／秒（撮影間隔１６．６ｍｓ）である。

続いてステップＳ２において、ＣＰＵ１２１は、ステップＳ１にて得られた撮像データのうち、図７に示される９つの焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素とから得られる焦点検出データを取得（抽出）する。またＣＰＵ１２１は、第１焦点検出画素からの出力信号と第２焦点検出画素からの出力信号とを加算して撮像信号を生成し、画像処理回路１２５で色補間処理などを適用して得られる画像データを取得（抽出）する。このように、１回の撮影により、画像データと焦点検出データとを取得することができる。なお本実施形態において、撮像画素、第１焦点検出画素、および、第２焦点検出画素を、個別の画素構成とした場合、焦点検出画素の補完処理などを行って画像データを取得すればよい。

続いてステップＳ３において、ＣＰＵ１２１は、ステップＳ２にて得られた画像データに基づいて、画像処理回路１２５を用いてライブビュー表示用の画像を生成し、表示器１３１に表示する。なお、ライブビュー表示用の画像は、例えば表示器１３１の解像度に合わせた縮小画像であり、ステップＳ２にて画像データを生成する際に画像処理回路１２５を用いて縮小処理を実施することもできる。この場合、ＣＰＵ１２１は、ステップＳ２にて取得した画像データを表示器１３１に表示させる。前述のとおり、ライブビュー表示中において、所定のフレームレートで撮影と表示が行われる。このため撮影者は、表示器１３１を通じて、撮影時の構図や露出条件の調整などを行うことができる。

続いてステップＳ４において、ＣＰＵ１２１は、ステップＳ２にて取得した９つの焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態において、ＣＰＵ１２１は、焦点検出用の像信号（焦点検出信号）の生成、焦点検出信号のずれ量（位相差）の算出、および、算出したずれ量からデフォーカス量と方向を求める処理を実施する。続いてステップＳ５において、ＣＰＵ１２１は、撮影準備開始を示すスイッチＳｗ１のオン／オフを検出する。操作部１３２の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出可能である。前述のスイッチＳｗ１のオン／オフは、レリーズ（撮影トリガ）スイッチの１段階目のオン／オフに相当する。ステップＳ５にてスイッチＳｗ１のオンが検出されない（あるいはオフが検出された）場合、ステップＳ１１へ進む。そしてステップＳ１１において、ＣＰＵ１２１は、操作部１３２に含まれるメインスイッチがオフされたか否かを判定する。

一方、ステップＳ５にてスイッチＳｗ１のオンが検出されると、ステップＳ６へ進む。そしてステップＳ６において、ＣＰＵ１２１は、合焦させる焦点検出領域を設定（選択）する。ここでは、撮影者により指示された焦点検出領域としてもよいし、ステップＳ４にて取得した９つの焦点検出領域のデフォーカス量の情報や焦点検出領域の撮影範囲中心からの距離の情報を用いて、ＣＰＵ１２１が自動的に設定してもよい。一般に、撮影者の意図する被写体は、撮影距離の短い位置に存在する確率が高く、また撮影範囲の中央付近に存在する確率が高い。このため、ＣＰＵ１２１は、例えば複数の被写体が存在する場合、これらの条件を考慮して適切と考えられる焦点検出領域を選択する。またＣＰＵ１２１は、例えば、被写体が１つであって、他は背景と考えられる場合、被写体が存在する焦点領域を選択する。

続いてステップＳ７において、ＣＰＵ１２１は、選択した焦点検出領域にて検出されたデフォーカス量に基づいて、フォーカス駆動回路１２６およびフォーカスアクチュエータ１１４を用いてレンズ駆動を行う。検出されたデフォーカス量が所定値よりも小さい場合、必ずしもレンズ駆動を行う必要はない。

続いてステップＳ８において、ＣＰＵ１２１は、ステップＳ１、Ｓ４と同様に、撮像データの取得、および、焦点検出処理を行う。ステップＳ８にて実行される処理は、ステップＳ７のレンズ駆動中に、並列的に行ってもよい。焦点検出処理を終えると、ステップＳ９へ進む。そしてステップＳ９において、ＣＰＵ１２１は、撮影開始指示を示すスイッチＳｗ２のオン／オフを検出する。操作部１３２の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出可能であり、前述のスイッチＳｗ２は、レリーズ（撮影トリガ）スイッチの２段階目のオン／オフに相当する。ＣＰＵ１２１は、ステップＳ９にてスイッチＳｗ２のオンが検出されない場合、ステップＳ５へ戻り、スイッチＳｗ１のオン／オフを検出する。

一方、ステップＳ９にてスイッチＳｗ２のオンが検出されると、ステップＳ１０へ進む。そしてステップＳ１０において、ＣＰＵ１２１は、画像記録を行うか否かを判定する。本実施形態において、ＣＰＵ１２１は、連写中（連写撮影中）の画像処理を、記録画像用と焦点検出用とで周期的に切り替える。この周期的な切り替えは、交互でもよいし、例えば、３回に１回焦点検出を行うなどのように設定してもよい。これにより、単位時間当たりの撮影枚数を、大幅に減らすことなく、高精度な焦点検出を行うことができる。

ステップＳ１０にて画像記録を行うと判定された場合、ステップＳ３００へ進む。ステップＳ３００において、ＣＰＵ１２１は、撮影サブルーチンを実行する。なお、撮影サブルーチンの詳細については後述する。ステップＳ３００にて撮影サブルーチンが実行されると、ステップＳ９に戻る。そしてＣＰＵ１２１は、スイッチＳｗ２のオンが検出されたか否か、すなわち連写指示がされているか否かを判定する。

一方、ステップＳ１０にて焦点検出を行うと判定された場合、ステップＳ４００へ進む。ステップＳ４００において、ＣＰＵ１２１は、連写撮影中の焦点検出サブルーチンを実行する。なお、連写中の焦点検出サブルーチンの詳細については後述する。ステップＳ４００にて連写中の焦点検出サブルーチンが実行されると、ステップＳ９へ戻る。そしてＣＰＵ１２１は、スイッチＳｗ２のオンが検出されたか否か、すなわち連写指示がされているか否かを判定する。

ステップＳ５でスイッチＳｗ１のオンが検出されず（または、スイッチＳｗ１のオフが検出され）、かつ、ステップＳ１１にてメインスイッチのオフが検出されると、ＣＰＵ１２１は、焦点検出および撮影動作を終了する。一方、ステップＳ１１にてメインスイッチのオフが検出されない場合、ステップＳ２へ戻り、画像データおよび焦点検出データの取得を行う。

次に、図９を参照して、図８のステップＳ３００にて実行される撮影サブルーチンについて詳述する。図９は、撮影サブルーチン（ステップＳ３００）を示すフローチャートである。図９中の各ステップは、ＣＰＵ１２１により実行されるか、または、ＣＰＵ１２１の指令に基づいて撮像装置１００の各部により実行される。

まず、ステップＳ３０１において、ＣＰＵ１２１（露出制御手段１２１ｃ）は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度など）を決定する。露出制御処理は、ＣＰＵ１２１が画像データの輝度情報に基づいて行うが、任意の公知技術を用いて実行することができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細については後述する。またステップＳ３０１において、ＣＰＵ１２１（絞り制御手段１２１ａ）は、決定した絞り値とシャッタ速度とを、絞りシャッタ駆動回路１２８を介して、絞りシャッタアクチュエータ１１２に送信し、絞り兼用シャッタ１０２の動作を制御する。またＣＰＵ１２１は、撮像素子駆動回路１２４を用いて、絞り兼用シャッタ１０２を介して撮像素子１０７が露光される期間、電荷蓄積を行わせる。

露光期間が終了すると、ステップＳ３０２へ進む。ステップＳ３０２において、ＣＰＵ１２１（信号制御手段１２１ｃ）は、撮像素子駆動回路１２４を用いて、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。続いてステップＳ３０３において、ＣＰＵ１２１は、読み出された画像データに対して、画像処理回路１２５を用いて欠陥画素の補正処理（欠陥画素の補間）を行う。続いてステップＳ３０４において、ＣＰＵ１２１は、欠陥画素を補正した後の画像データに対して、画像処理回路１２５を用いて所定の画像処理（変換処理）を行う。所定の画像処理とは、例えば、デモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、および、エッジ強調処理などの画像処理、並びに、符号化処理である。続いてステップＳ３０５において、ＣＰＵ１２１は、画像データファイル（画像信号）を記録媒体１３３（フラッシュメモリなどの記録手段）に記録する。

続いてステップＳ３０６において、ＣＰＵ１２１は、ステップＳ３０５にて記録した撮影画像に対応させて、撮像装置１００の本体（カメラ本体）の特性情報を記録媒体１３３およびＣＰＵ１２１内のメモリ（内部メモリ）に記録する。カメラ本体の特性情報は、撮影条件（絞り値、シャッタ速度、撮影感度など）、画像処理回路１２５により適用される画像処理に関する情報、撮像素子１０７の撮像画素および焦点検出画素の受光感度分布情報などを含むことができる。また、カメラ本体の特性情報は、カメラ本体内での撮影光束のケラレ情報、カメラ本体とレンズユニットとの取り付け面から撮像素子１０７までの距離情報、および、製造誤差情報などを含んでもよい。なお、撮像素子１０７の撮像画素および焦点検出画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤに依存する情報であるため、これらの部材に関する情報を記録してもよい。

続いてステップＳ３０７において、ＣＰＵ１２１は、ステップＳ３０５にて記録した撮影画像に対応させて、レンズユニットの特性情報を記録媒体１３３およびＣＰＵ１２１内のメモリ（内部メモリ）に記録する。レンズユニットの特性情報は、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報などを含むことができる。

続いてステップＳ３０８において、ＣＰＵ１２１は、撮影した画像に関する画像関連情報を、記録媒体１３３およびＣＰＵ１２１内のメモリ（内部メモリ）に記録する。画像関連情報は、撮影前の焦点検出動作に関する情報、被写体移動情報、焦点検出動作の精度に関わる情報などを含むことができる。

続いてステップＳ３０９において、ＣＰＵ１２１は、表示器１３１を用いて、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。ステップＳ３０９にて行うプレビュー表示に用いられる画像は、画像の簡易的な確認が目的であるため、ステップＳ３０３やステップＳ３０４にて行われる各種処理を行わなくてもよい。これらの各種処理を行わない場合、ステップＳ３０３以降の処理と並列して、ステップＳ３０９のプレビュー表示を行うことにより、露光から表示までのタイムラグをより低減することができる。ステップＳ３０９の処理が終わると、ＣＰＵ１２１は、ステップＳ３００の撮影サブルーチンを終了し、メインルーチンのステップＳ９へ進む。

次に、図１０を参照して、図８のステップＳ４００にて実行される連写中焦点検出サブルーチンについて詳述する。図１０は、連写中焦点検出サブルーチン（ステップＳ４００）を示すフローチャートである。図１０中の各ステップは、ＣＰＵ１２１により実行されるか、または、ＣＰＵ１２１の指令に基づいて撮像装置１００の各部により実行される。

まず、ステップＳ４０１において、ＣＰＵ１２１（露出制御手段１２１ｃ）は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度など）を決定する。露出制御処理は、ＣＰＵ１２１が画像データの輝度情報に基づいて行うが、任意の公知技術を用いて実行することができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細については後述する。またステップＳ４０１において、ＣＰＵ１２１は、焦点検出のための露光を行うため、焦点検出に適した絞り値を決定する。そしてＣＰＵ１２１は、決定した絞り値に応じて、シャッタ速度および撮影感度を設定する。またステップＳ４０１において、ＣＰＵ１２１（絞り制御手段１２１ａ）は、決定した絞り値とシャッタ速度とを、絞りシャッタ駆動回路１２８を介して、絞りシャッタアクチュエータ１１２に送信し、絞り兼用シャッタ１０２の動作を制御する。またＣＰＵ１２１は、撮像素子駆動回路１２４を用いて、絞り兼用シャッタ１０２を介して撮像素子１０７が露光される期間、電荷蓄積を行わせる。

露光期間が終了すると、ステップＳ４０２へ進む。ステップＳ４０２において、ＣＰＵ１２１（信号制御手段１２１ｂ）は、撮像素子駆動回路１２４を用いて、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。図８のステップＳ４にて行われる焦点検出の際には、ライブビュー用に水平方向の画素出力を加算および間引きなどの処理を行った信号を用いるが、ステップＳ４０２においては、全画素の信号を読み出して用いる。これにより、撮像素子１０７の駆動を、撮影とライブビューとの間で切り替える必要がないため、切り替え時間を必要とせずに、焦点検出信号を得ることができる。また、ステップＳ４０２にて得られる信号は、焦点検出用に用いるための信号（焦点検出用のデータ）であり、記録画像用の信号（記録用の画像データ）ではない。このため、焦点検出領域の信号のみを読み出せばよい。記録画像に対して焦点検出領域が小さい場合、焦点検出領域の信号のみを読み出すことにより、本サブルーチンの処理を高速化することができる。本実施形態においては、図８のステップＳ６にて選択された焦点検出領域と対応する領域の信号が読み出せればよい。ステップＳ６にて選択された焦点検出領域が移動している場合、被写体検出処理などを併用することにより、焦点検出領域の位置を変更して設定すればよい。

続いてステップＳ４０３において、ＣＰＵ１２１は、読み出された画像データに対して、画像処理回路１２５を用いて欠陥画素の補正処理（欠陥画素の補間）を行う。続いてステップＳ４０４において、ＣＰＵ１２１（デフォーカス量算出手段１２１ｄ）は、ステップＳ６にて設定した焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態において、ＣＰＵ１２１は、焦点検出用の像信号の生成、焦点検出用信号のずれ量（位相差）の算出、および、算出したずれ量からデフォーカス量と方向を求める処理を実施する。

続いてステップＳ４０５において、ＣＰＵ１２１（フォーカス制御手段１２１ｅ）は、選択した焦点検出領域において検出されたデフォーカス量に基づいて、レンズ駆動を行う。検出されたデフォーカス量が所定値よりも小さい場合、必ずしもレンズ駆動を行う必要はない。ステップＳ４０５の処理が終わると、ＣＰＵ１２１は、ステップＳ４００の連写中焦点検出サブルーチンを終了し、メインルーチンのステップＳ９へ進む。

次に、図１１を参照して、図９に示される撮影サブルーチン（Ｓ３００）、および、図１０に示される連写中焦点検出サブルーチン（Ｓ４００）について詳述する。図１１は、撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートであり、Ｖ同期信号、撮像素子、露出制御、絞り駆動、焦点検出、レンズ駆動、被写体検出の各処理のタイミングチャートを示している。図１１において、横軸は時間を示し、Ｖ１〜Ｖ５は各時間におけるＶ同期信号のタイミングを示している。

撮像素子に関しては、タイミングＶ１において、蓄積Ｅ１を終えた信号の読み出し処理Ｒ１が行われ、タイミングＶ２以降、同様に蓄積Ｅ２〜Ｅ５と読み出し処理Ｒ２〜Ｒ５とを繰り返し行う。本実施形態において、蓄積Ｅ１、Ｅ３、Ｅ５は、記録画像用（画像データ用）の蓄積であり、蓄積Ｅ２、Ｅ４は、焦点検出用（焦点検出データ用）の蓄積である。このため、読み出し処理Ｒ１、Ｒ３、Ｒ５においては、記録画像用として、焦点検出画素２０１の出力と焦点検出画素２０２の出力とを加算した状態で読み出せばよい。一方、読み出し処理Ｒ２、Ｒ４においては、焦点検出用として、焦点検出画素２０１の出力と焦点検出画素２０２の出力とを別々に読み出せばよい。焦点検出用の読み出しの際において、２つの焦点検出画素の出力の加算値と、一方の焦点検出画素の出力信号を読み出し、２つの出力の差分から、他方の焦点検出画素の出力信号に相当する信号を取得してもよい。

露出制御に関しては、ＣＰＵ１２１（露出制御手段１２１ｃ）は、蓄積Ｅ１で得られた信号（第１のタイミングにおいて取得される第１の信号）を用いて、露出制御処理ＡＥ２を行い、蓄積Ｅ２で得られた信号を用いて露出制御処理ＡＥ３を行う。蓄積Ｅ１から記録画像用の信号が得られるため、露出制御処理ＡＥ２では、次の記録画像用の蓄積Ｅ３の撮影条件を決定するための露出制御処理を行う（第１のタイミングの次の第２のタイミングにおいて第１の信号を取得する際の露出を制御する）。一方、蓄積Ｅ２から焦点検出用の信号が得られるため、露出制御処理ＡＥ３では、次の焦点検出用の蓄積Ｅ４の撮影条件を決定するための露出制御を行う。前述のとおり、焦点検出用の撮影条件においては、絞り値が焦点検出に適した値に設定され、絞り値に応じて、シャッタ秒時や撮影感度などが決定される。露出制御処理ＡＥ４以降も、同様に、記録画像用、焦点検出用に交互に露出制御処理を行う。記録画像用、焦点検出用の蓄積を行うに当たり、事前に露出制御結果がない場合、事前のライブビューで得られた結果を用いて撮影条件を設定する。

絞り制御に関しては、蓄積Ｅ１を行った後、焦点検出に適した絞り値に設定するため、ＣＰＵ１２１（絞り制御手段１２１ａ）は絞りを開放する。一般的に、絞り込みすぎると焦点検出の際に検出される位相差が小さくなり、または、一対の像信号の光量差が大きくなるため、焦点検出精度が低下する。本実施形態において、絞り制御手段１２１ａは、絞りの開放動作ＦＯ１を行うことにより、焦点検出に適した絞り設定とする。しかしながら、絞りを最大口径となるまで開放する必要はなく、絞り開放動作に要する時間や焦点検出精度や撮影状態に応じて設定すればよい。一方、蓄積Ｅ２で焦点検出用の蓄積を終えた後、蓄積Ｅ３を行う前に、絞り制御手段１２１ａは絞りの絞り込み動作ＦＣ１を行う。すなわち、撮影者が設定した絞り値や、事前の露出制御結果に応じて決定される絞り値となるように、絞り込み動作を行う。絞り込み動作ＦＣ１を行う際に、露出制御結果を用いる場合、露出制御処理ＡＥ２の結果を用いて、絞り込みを行う。露出制御処理ＡＥ２の結果は、蓄積Ｅ１の結果に基づいた露出制御であるため、蓄積Ｅ２の読み出しを待つことなく結果を得ることができ、単位時間当たりの撮影回数を増やすことができる。図１１において、絞り制御は、蓄積が記録画像用、焦点検出用が交互に行われるため、それに合わせて、絞り開放動作と絞り込み動作とを交互に行う。

焦点検出とレンズ駆動に関しては、蓄積Ｅ２を終えて、焦点検出領域内の信号が行ごとに読み出されると、ＣＰＵ１２１（デフォーカス量算出手段１２１ｄ）は、順次、焦点検出処理ＡＦ１を行う。焦点検出処理ＡＦ１を終えると、その結果に基づき、ＣＰＵ１２１（フォーカス制御手段１２１ｅ）は、レンズ駆動Ｌ１を行う。焦点検出およびレンズ駆動は、焦点検出用の蓄積が得られた場合に行うため、２回のＶ同期信号につき１回行われる。焦点検出に用いる蓄積Ｅ２で読み出される信号は、全画面の信号でもよいし、焦点検出領域に対応する部分のみでもよい。全画面の信号を読み出すことにより、露出制御や後述する被写体検出などにも信号を使用することができ、それぞれの検出精度を向上させることが可能である。一方、焦点検出領域に対応する部分のみを読み出すことにより、高速に読み出しを終えることができ、単位時間当たりの撮影回数を増加させることが可能である。

被写体検出に関しては、本実施形態において、記録画像用の蓄積Ｅ１を用いて、検出処理Ｄ１を行う。被写体検出した結果、人物の顔など被写体の有無、位置、サイズなどを検出し、その情報を、露出条件を決定する際の評価範囲、焦点検出領域の設定などに用いる。検出処理Ｄ１で得られた結果は、露出制御処理ＡＥ２や焦点検出処理ＡＦ１に用いることができる。

以上のような構成により、連写時の単位時間当たりの撮影枚数を大幅に減らすことなく、精度の良い焦点検出結果を得ることができる。すなわち、単位時間当たりの撮影回数の調整の際に、不要な待機時間を設けるのではなく、焦点検出用の信号取得を設ける。この結果、焦点検出から記録画像用の信号取得までのタイムラグを短縮することができ、高精度な焦点検出が可能となる。

本実施形態では、記録画像用と焦点検出用のいずれの画像を取得する際にも、シャッタによる遮光動作（ステップＳ３０１、Ｓ４０１）を行うように説明した。ただし、焦点検出用の信号を得る際には、シャッタを必ずしも動作させなくてもよい。例えば、ローリングシャッタ動作により、蓄積を制御してもよい。これにより、シャッタ動作の際に発生する音や振動と、実際に記録する画像の数をそろえることができ、撮影者にとって違和感の少ない撮影を行うことができる。

また、本実施形態では、記録画像用と焦点検出とで、水平方向の出力画素数をそろえることにより撮像素子の駆動モードを切り替えることなく、信号の読み出しを行っている。これにより、撮像素子の駆動モードの切り替えに必要となる時間を低減し、単位時間当たりの撮影枚数を増加させることができる。ただし、撮像素子の駆動モードの切り替えに時間を要しない場合、水平方向の出力画素数をそろえる必要はない。焦点検出用の出力画素を加算や間引き処理で圧縮することにより、焦点検出に必要な時間を短縮することができる。

また、本実施形態では、焦点検出を行った直後のみ、レンズ駆動を行うように構成しているが、レンズ駆動のタイミングはこれに限定されるものではない。焦点検出後のレンズ駆動で、所定量のレンズ駆動が行うために十分な時間が足りない場合などは、記録画像用の蓄積（例えば、蓄積Ｅ３）が終了した後に、次の蓄積（Ｅ４）が開始される前に、レンズ駆動を行ってもよい。

また、記録画像用の絞り状態と、焦点検出用の絞り状態が同じでよい場合、蓄積の度に、記録画像用と焦点検出用の両方の信号を読み出し、画像記録、焦点検出の両方を行ってもよい。本実施形態で説明した記録画像用と焦点検出用の信号を交互に取得する場合と、状況によって切り替えてもよい。

また、本実施形態では、焦点検出用の画像は記録しない信号として説明しているが、焦点検出用の画像も記録してもよい。焦点検出用信号からは、撮影範囲内のデフォーカス状態（デフォーカスマップ）が得られるため、焦点検出用信号を、加算、間引き処理などを行って圧縮し、記録してもよい。記録の際は、画像信号として記録してもよいし、距離情報やデフォーカス情報として記録してもよい。

次に、本実施形態における変形例について説明する。前述の実施形態では、図１１において、蓄積Ｅ３を行う際の露出制御結果ＡＥ２は、蓄積Ｅ１で得られる信号を用いて行われる。このため、露出制御結果については、Ｖ同期信号２回分のタイムラグが存在する。露出制御の精度を向上させるには、タイムラグの低減が必要である。そこで変形例として、図１２を参照して、露出制御と蓄積のタイムラグを低減する例について説明する。図１２は、図１１と同様に、撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートであり、Ｖ同期信号、撮像素子、露出制御、絞り駆動、焦点検出、レンズ駆動、被写体検出の各処理のタイミングチャートを示している。図１２において、横軸は時間を示し、Ｖ１〜Ｖ５は各時間におけるＶ同期信号のタイミングを示している。

図１２に示される本変形例は、図１１と比較して、露出制御のタイミングが異なる。図１２では、直前の蓄積で得られた信号を用いて露出制御を行う。例えば、蓄積Ｅ１で得られた信号を読み出し処理Ｒ１で読み出し、その結果を用いて、露出制御ＡＥ１を行う。図１１の場合と比較して、単位時間当たりの撮影回数は減少するが、直前の蓄積結果を用いて露出制御が行われるため、露出制御の精度は向上する。なお本変形例において、絞り駆動、焦点検出、レンズ駆動、被写体検出は、図１１と同様であるため、それらの説明は省略する。

このように本実施形態において、制御装置（ＣＰＵ１２１）は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出が可能である。制御装置は、絞り制御手段１２１ａおよび信号制御手段１２１ｂを有する。絞り制御手段１２１ａは、記録用の画像データに関する第１の信号（撮像信号）を取得するために結像光学系の絞り（絞り兼用シャッタ１０２）を第１の開口状態に制御する。また絞り制御手段１２１ａは、焦点検出用のデータに関する第２の信号（焦点検出信号）を取得するために絞りを第２の開口状態に制御する。信号制御手段１２１ｂは、第１の信号と第２の信号とを撮像素子から周期的に取得する。

好ましくは、信号制御手段１２１ｂは、第１の信号と第２の信号とを交互に取得する。また好ましくは、信号制御手段１２１ｂは、第１の信号を複数のタイミングで連続して取得し、第２の信号を複数のタイミングの後の所定のタイミングで取得する（例えば、第１の信号を３回連続で取得した後に第２の信号を１回取得することを周期的に繰り返す）。より好ましくは、信号制御手段１２１ｂは、連写撮影中において、第１の信号と第２の信号とを周期的に取得する。

好ましくは、絞り制御手段１２１ａは、絞りの絞り込み動作（ＦＣ１）を行って第１の開口状態に制御し、絞りの開放動作（ＦＯ１）を行って第２の開口状態に制御する。また好ましくは、制御装置は、第１のタイミングにおいて取得される第１の信号を用いて、第１のタイミングの次の第２のタイミングにおいて第１の信号を取得する際の露出を制御する露出制御手段１２１ｃを有する。

好ましくは、信号制御手段１２１ｂは、第１の開口状態と第２の開口状態とが互いに等しい場合、第１の信号および第２の信号のそれぞれを、記録用の画像データおよび焦点検出用のデータとして用いる。また好ましくは、信号制御手段１２１ｂは、第２の信号の少なくとも一部を記録手段（記録媒体１３３）に記録する。また好ましくは、制御装置は、第２の信号に基づいて結像光学系のデフォーカス量を算出するデフォーカス量算出手段１２１ｄと、デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段１２１ｅを有する。

好ましくは、撮像装置１００は、撮像素子１０７を遮光する遮光手段（絞り兼用シャッタ１０２）を有する。第１の信号は遮光手段を用いて取得され、第２の信号は遮光手段を用いずに取得される。また好ましくは、撮像装置１００は、第１の信号を表示し、第２の信号を表示しない表示手段（表示器１３１）を有する。また好ましくは、第１の信号は撮像素子１０７の第１の領域（例えば、略全領域）から得られ、第２の信号は撮像素子１０７の第１の領域よりも小さい第２の領域（焦点検出領域）から得られる。また好ましくは、第１の信号は複数の光電変換部の複数の信号を合成して生成され、第２の信号は複数の光電変換部のうち一つの光電変換部の信号から生成される。また好ましくは、撮像素子１０７は、一つのマイクロレンズに対して複数の光電変換部を有し、マイクロレンズが２次元状に配列されている。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態によれば、連写撮影の際における単位時間当たりの撮影枚数を大幅に減らすことなく、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２１ ＣＰＵ（制御装置）
１２１ａ 絞り制御手段
１２１ｂ 信号制御手段

Claims (16)

1. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出が可能な制御装置であって、
   記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、
   前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得する信号制御手段と、を有し、
   前記撮像素子は、一つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、
   前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成されることを特徴とする制御装置。
2. 前記信号制御手段は、前記第１の信号と前記第２の信号とを交互に取得することを特徴とする請求項１に記載の制御装置。
3. 前記信号制御手段は、前記第１の信号を複数のタイミングで連続して取得し、前記第２の信号を該複数のタイミングの後の所定のタイミングで取得することを特徴とする請求項１に記載の制御装置。
4. 前記信号制御手段は、連写撮影中において、前記第１の信号と前記第２の信号とを周期的に取得することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記絞り制御手段は、
   前記絞りの絞り込み動作を行って、前記第１の開口状態に制御し、
   前記絞りの開放動作を行って、前記第２の開口状態に制御する、ことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 第１のタイミングにおいて取得される第１の信号を用いて、該第１のタイミングの次の第２のタイミングにおいて第１の信号を取得する際の露出を制御する露出制御手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記信号制御手段は、前記第１の開口状態と前記第２の開口状態とが互いに等しい場合、前記第１の信号および前記第２の信号のそれぞれを、前記記録用の画像データおよび前記焦点検出用のデータとして用いることを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記信号制御手段は、前記第２の信号の少なくとも一部を記録手段に記録することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記第２の信号に基づいて前記結像光学系のデフォーカス量を算出するデフォーカス量算出手段と、
   前記デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段と、を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、
    記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、
    前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得する信号制御手段と、を有し、
    前記撮像素子は、一つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、
    前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成されることを特徴とする撮像装置。
11. 前記撮像素子を遮光する遮光手段を更に有し、
    前記第１の信号は、前記遮光手段を用いて取得され、
    前記第２の信号は、前記遮光手段を用いずに取得される、ことを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の信号を表示し、前記第２の信号を表示しない表示手段を更に有することを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記第１の信号は、前記撮像素子の第１の領域から得られ、
    前記第２の信号は、前記撮像素子の前記第１の領域よりも小さい第２の領域から得られる、ことを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
14. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行う制御方法であって、
    記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、
    前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得するステップと、を有し、
    前記撮像素子は、一つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、
    前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成されることを特徴とする制御方法。
15. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行うプログラムであって、
    記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、
    前記第１の信号と前記第２の信号とを前記撮像素子の駆動を切り替えずに周期的に取得するステップと、をコンピュータに実行させるように構成されており、
    前記撮像素子は、一つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列され、
    前記第１の信号は、前記マイクロレンズごとに前記複数の光電変換部の複数の信号を合成して生成され、前記第２の信号は、前記マイクロレンズごとに前記複数の光電変換部のうち一つの光電変換部の信号から生成されることを特徴とするプログラム。
16. 請求項１５に記載のプログラムを記憶していることを特徴とする記憶媒体。