JP7157642B2 - 撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、制御方法、及びプログラムに関する。

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献１では、１つの画素に対して、１つのマイクロレンズと２つに分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの信号から、焦点検出を行うことができる。

特開２０１６－２４３５９号公報

特許文献１の技術を用いる場合、撮像面上で視差画像を取得するためには結像光学系の射出瞳を分割する必要がある。

本発明はこのような状況に鑑みてなされたものであり、結像光学系の射出瞳を分割せずに撮像面上で視差画像を取得することを可能にする技術を提供することを目的とする。なお、本発明の技術は、結像光学系の射出瞳が分割されている場合であっても利用可能である。

上記課題を解決するために、本発明は、結像光学系の光軸方向において第１の距離だけ離れた第１の先幕と第１の後幕とを用いる第１のシャッタ動作により撮像素子を露光することにより第１の画像を取得し、前記光軸方向において前記第１の距離より小さい第２の距離だけ離れた第２の先幕と第２の後幕とを用いる第２のシャッタ動作により前記撮像素子を露光することにより第２の画像を取得する撮像制御手段と、前記第１の画像及び前記第２の画像に基づいて、前記第１の画像に対して前記第１のシャッタ動作の駆動方向に視差を持つ第３の画像を生成する生成手段と、を備えることを特徴とする撮像装置を提供する。

本発明によれば、結像光学系の射出瞳を分割せずに撮像面上で視差画像を取得することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

カメラシステムの構成例を示す図。 撮像素子１４の構成例を示す図。 撮像素子１４の構成例を示す図。 撮像素子１４上の画素と瞳分割との対応関係を示した概略図。 カメラシステムの焦点検出及び撮影動作を説明するためのフローチャート。 撮影サブルーチン（図５のＳ３００）のフローチャート。 焦点検出処理のサブルーチン（図５のＳ４００）のフローチャート。 （ａ）ボケ像が第１のシャッタによってケラレる様子を模式的に示した図、（ｂ）電子先幕１５５とメカ後幕１５６によって作られる開口部の時間変化を表す図、（ｃ）第１のシャッタのケラレにより生じる受光感度分布（ＳＨケラレ感度分布）を示す図。 （ａ）ボケ像が第２のシャッタによってケラレる様子を模式的に示した図、（ｂ）電子先幕１９１と電子後幕１９２によって作られる開口部の時間変化を表す図。 合成レンズ１５１の射出瞳上（光軸に直交する平面）における焦点検出画素の受光感度分布を示す図。 （ａ）ボケ像が第１のシャッタ（図８より開口幅が狭い）によってケラレる様子を模式的に示した図、（ｂ）電子先幕１５５とメカ後幕１５６によって作られる開口部の時間変化を表す図、（ｃ）第１のシャッタのケラレにより生じる受光感度分布（ＳＨケラレ感度分布）を示す図。 焦点検出校正処理のフローチャート。 垂直方向の焦点検出のサブルーチン（図１２のＳ１００４）のフローチャート。 水平方向の焦点検出のサブルーチン（図１２のＳ１００５）のフローチャート。 図１２のＳ１００２における第２の信号群の取得と図１２のＳ１００３における第１の信号群の取得について説明する図。

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

また、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズ交換が可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明はレンズ交換が可能な一眼タイプのデジタルカメラや、レンズ交換できないタイプのデジタルカメラに対しても適用可能である。

［第１の実施形態］
●カメラシステムの構成
図１は、第１の実施形態に係る撮像装置の一例としての、撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図１において、カメラシステムは、カメラ１００と、交換可能な撮影レンズ３００とから構成される。

撮影レンズ３００を通過した光束は、レンズマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体光学像を観察しながら撮影できる。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等のための表示部材が設置されている。

メインミラー１３０の一部は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、１対の像信号をＡＦ部４２（オートフォーカス部）に出力する。ＡＦ部４２では、１対の像信号に対して位相差検出演算を行い、撮影レンズ３００のデフォーカスの量及び方向を求める。この演算結果に基づき、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２（後述）に対してフォーカスレンズの駆動制御を行う。

撮影レンズ３００の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を光路外に退避させる。そうすると、撮影レンズ３００を通過してカメラ１００に入射する光束は、露光量を制御するためのメカニカルシャッタ１２を介して、撮像素子１４に入射可能になる。撮像素子１４による撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示する様な位置に戻る。

ここで、本実施形態の第１のシャッタと第２のシャッタについて説明する。第２のシャッタは、撮像素子１４の有する電子シャッタ、又はメカニカルシャッタ１２である。撮像素子１４の有する電子シャッタは、後述するメカニカルシャッタ１２の駆動方向に、本実施形態の第３の遮光手段と第４の遮光手段である撮像素子１４の電荷を順次リセットして露光を行うシャッタ機構（スリットローリングシャッタ）である。電子シャッタとしては全画素の露光を同時に行えるグローバル電子シャッタでもよい。

また、第２のシャッタは、メカニカルシャッタ１２でも構成することができ、後述するメカニカルシャッタ１２の駆動方向に、本実施形態の第３の遮光手段と第４の遮光手段である遮光幕（メカ先幕とメカ後幕）でスリットを形成し露光を行うシャッタ構成である。

また、本実施形態の第１のシャッタは、本実施形態の第１の遮光手段である撮像素子１４の有する電子シャッタの電荷のリセット（露光開始）と、本実施形態の第２の遮光手段であるメカニカルシャッタ１２の遮光幕（メカ後幕）とにより、スリットを形成（露光時間の制限）し露光を行うシャッタ機構である。なお、前述の本実施形態の第１の遮光手段と第２の遮光手段は、撮像素子１４とメカニカルシャッタ１２のカメラ１００内のレイアウト上、光軸方向に所定の隙間を有して配置される。そのため、第１の遮光手段と第２の遮光手段は、光軸方向に位置が異なる（即ち第１の光軸ずれ量（第１の距離）だけ離れて配置されている）構成である。一方で、第２のシャッタは、２つの遮光手段が、ともに電気的な構成、もしくはメカ的な構成であり、光軸方向の位置ずれは、第１の光軸ずれ量より小さい第２の光軸ずれ量（第２の距離）となるように構成されている。特に、電気的に２つの遮光幕を構成するスリットローリングシャッタでは、第２の光軸ずれ量（第２の距離）は、０となる。

従って、カメラ１００は、結像光学系の光軸方向において第１の距離だけ離れた第１の遮光手段（第１の先幕）と第２の遮光手段（第１の後幕）とを用いる第１のシャッタ動作により撮像素子１４を露光することにより画像（第１の画像）を取得することができる。また、カメラ１００は、結像光学系の光軸方向において第２の距離だけ離れた第３の遮光手段（第２の先幕）と第４の遮光手段（第２の後幕）とを用いる第２のシャッタ動作により撮像素子１４を露光することにより画像（第２の画像）を取得することができる。ここで、第２の距離は、第１の距離より小さい。

そして、カメラ１００は、第１のシャッタ動作及び第２のシャッタ動作を行う撮像制御により取得された第１の画像（第１の信号群）及び第２の画像（第２の信号群）に基づいて、第１の画像に対して視差を持つ第３の画像（第３の信号群）を生成する。第３の画像を生成する処理の詳細については後述する。

第１の遮光手段（第１の先幕）及び第２の遮光手段（第１の後幕）は、それぞれ電子先幕及びメカ後幕であってもよいし、それぞれメカ先幕及び電子後幕であってもよい。また、第３の遮光手段（第２の先幕）及び第４の遮光手段（第２の後幕）は、それぞれ電子先幕及び電子後幕であってもよいし、それぞれメカ先幕及びメカ後幕であってもよい。

撮像素子１４は、ＣＣＤ又はＣＭＯＳイメージセンサであり、複数の光電変換部（又はフォトダイオード）を有する画素が複数、２次元的に配置された構成を有する。撮像素子１４は、被写体光学像に対応する電気信号を出力する。撮像素子１４にて光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。なお、Ａ／Ｄ変換器１６は撮像素子１４に組み込まれてもよい。

本実施形態に係る撮像素子１４は少なくとも一部の画素が複数の光電変換領域（又はフォトダイオード）を有するように構成されている。上述の通り、このような構成を有する画素は、位相差検出方式の焦点検出に用いる信号を出力可能である。従って、クイックリターン機構によりメインミラー１３０とサブミラー１３１が光路外に退避し、焦点検出装置１０５に光が入射しない場合であっても、撮像素子１４の出力を用いた位相差検出方式の焦点検出が可能である。

本実施形態では、カメラ１００は、撮像素子１４と、第１のシャッタ及び第２のシャッタの２種類のシャッタとを用いて、複数の光電変換領域の数よりも多い視差信号を取得する。本実施形態では、カメラ１００は、図２（ｂ）の複数の光電変換領域（ＰＤ２０１ａ、２０１ｂ）から、図２（ｂ）の紙面横方向の視差である横方向視差を取得（生成）する。また、カメラ１００は、第１のシャッタと第２のシャッタの２種類のシャッタで取得される２枚の画像から、シャッタの駆動方向である図２（ｂ）の紙面縦方向の視差である縦方向視差を取得（生成）する。縦方向視差信号と横方向視差信号の取得（生成）については後述する。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８はメモリ制御部２２及びシステム制御部５０により制御される。複数の光電変換領域を有する画素から、一部の光電変換領域の出力を読み出したり、全ての光電変換領域の出力を加算読み出ししたりするための制御信号は、システム制御部５０がタイミング発生回路１８を制御して撮像素子１４に供給する。

画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。また、画像処理部２０に本実施形態の視差信号生成手段が含まれる。

画像処理部２０はまた、Ａ／Ｄ変換器１６からの画像データ（撮像素子１４の出力信号）のうち、焦点検出用信号の生成に用いられる出力信号から、位相差検出方式の焦点検出に用いる１対の信号列を生成する。その後、１対の信号列はシステム制御部５０を介してＡＦ部４２へ送られる。ＡＦ部４２は１対の信号列の相関演算により信号列間のずれ量（シフト量）を検出し、ずれ量を撮影レンズ３００のデフォーカス量とデフォーカス方向に変換する。ＡＦ部４２は、変換したデフォーカスの量及び方向をシステム制御部５０に出力する。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズを駆動し、撮影レンズ３００の合焦距離を調節する。

また、画像処理部２０は、撮像素子１４から得られる、通常の画像データを生成するための信号に基づいて、コントラスト評価値を演算することができる。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズ位置を変更しながら撮像素子１４で撮影を行い、画像処理部２０で算出したコントラスト評価値の変化を調べる。そして、システム制御部５０は、フォーカスレンズを、コントラスト評価値が最大となる位置に駆動する。このように、本実施形態のカメラ１００は、コントラスト検出方式の焦点検出も可能である。

従って、カメラ１００は、ライブビュー表示時や動画撮影時のようにメインミラー１３０とサブミラー１３１が光路外に退避していても、撮像素子１４から得られる信号に基づいて、位相差検出方式とコントラスト検出方式の両方の焦点検出が可能である。また、カメラ１００は、メインミラー１３０とサブミラー１３１が光路内にある通常の静止画撮影では、焦点検出装置１０５による位相差検出方式の焦点検出が可能である。このように、カメラ１００は、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点検出が可能である。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理部２０及びメモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して液晶モニタ等から構成される画像表示部２８に表示される。撮像素子１４で撮影した動画像を画像表示部２８に逐次表示することで、電子ファインダ機能（ライブビュー表示）を実現できる。画像表示部２８は、システム制御部５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減できる。

また、メモリ３０は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用できる。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えた画像データをメモリ３０に書き戻す。

シャッタ制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッタ１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

測光部４６は、自動露出制御（ＡＥ）処理を行う。撮影レンズ３００を通過した光束を、レンズマウント１０６、メインミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部４６は露出条件を決定することができる。また、測光部４６は、フラッシュ４８と連携することで調光処理機能も有する。なお、画像処理部２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御部５０が、シャッタ制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御部５０は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ５２は、システム制御部５０の動作用の定数、変数、プログラム等を記憶する。表示部５４は、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部５４は、カメラ１００の操作部近辺の視認し易い位置に単数又は複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタスピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４、６６、６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。

モードダイアル６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタスイッチＳＷ１である６２は、不図示のシャッタボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタスイッチＳＷ２である６４は、シャッタボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体１５０又は記録媒体１４０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２又は９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数又は複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体１５０及び１４０は、メモリカードやハードディスク等である。記録媒体１５０及び１４０は、半導体メモリや磁気ディスク等から構成される記録部１５２，１６２、カメラ１００とのインターフェース１４４，１６４、カメラ１００と接続を行うコネクタ１４６，１６６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、レンズマウント３０６をカメラ１００のレンズマウント１０６に係合させることによりにカメラ１００と機械的並びに電気的に結合される。電気的な結合はレンズマウント１０６及びレンズマウント３０６に設けられたコネクタ１２２及びコネクタ３２２によって実現される。レンズ３１１には撮影レンズ３００の合焦距離を調節するためのフォーカスレンズが含まれる。フォーカス制御部３４２は、フォーカスレンズを光軸に沿って駆動することで撮影レンズ３００の焦点調節を行う。フォーカス制御部３４２の動作は、調節手段としてのシステム制御部５０が、レンズシステム制御部３４６を通じて制御する。絞り３１２はカメラ１００に入射する被写体光の量と角度を調節する。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流の供給を受ける機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

ズーム制御部３４０はレンズ３１１の変倍レンズを駆動し、撮影レンズ３００の焦点距離（画角）を調整する。撮影レンズ３００が単焦点レンズであればズーム制御部３４０は存在しない。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッタ１２を制御するシャッタ制御部３６と連携しながら、絞り３１２を制御する。

レンズシステム制御部３４６は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ３００全体の動作を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。以上が、カメラ１００と撮影レンズ３００からなる本実施形態のカメラシステムの構成である。

●撮像素子１４の構成
次に、撮像素子１４の構成を図２及び図３を用いて説明する。

図２（ａ）は、撮像素子１４が有する複数の画素のうち、位相差検出方式の焦点検出に用いる信号を出力可能な構成を有する画素の回路構成例を示す。ここでは、１つの画素２００に、１つのマイクロレンズを共有する複数の光電変換領域又は光電変換部として２つのＰＤ２０１ａ、２０１ｂ（フォトダイオード）が設けられた構成を説明する。ＰＤ２０１ａ（第１の焦点検出画素）、ＰＤ２０１ｂ（第２の焦点検出画素）は、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。

転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５、選択スイッチ２０６は、例えばＭＯＳトランジスタにより構成されてよい。以下の説明ではこれらスイッチはＮ型のＭＯＳトランジスタとするが、Ｐ型のＭＯＳトランジスタであってもよいし、他のスイッチング素子であってもよい。

図２（ｂ）は、撮像素子１４に２次元配列された複数の画素のうち、水平ｎ画素、垂直ｍ画素を模式的に示した画素配列の概略図である。ここでは、全ての画素が図２（ａ）に示した構成を有するものとする。各画素にはマイクロレンズ２３６が設けられ、ＰＤ２０１ａ、２０１ｂは同一のマイクロレンズを共有する
転送スイッチ２０２ａは、ＰＤ２０１ａとＦＤ２０３（フローティングディフュージョン）との間に接続される。また、転送スイッチ２０２ｂは、ＰＤ２０１ｂとＦＤ２０３との間に接続される。転送スイッチ２０２ａ、２０２ｂは、それぞれＰＤ２０１ａ、２０１ｂで発生した電荷を共通のＦＤ２０３に転送する素子である。転送スイッチ２０２ａ、２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

ＦＤ２０３は、ＰＤ２０１ａ、ＰＤ２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部（キャパシタ）として機能する。

増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、ＦＤ２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、ＦＤ２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。

リセットスイッチ２０５は、ＦＤ２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、ＦＤ２０３の電位を電源電位ＶＤＤにリセットする機能を有する。

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

図３は、撮像素子１４の構成例を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８、２２９、水平走査回路２３２及びデータ出力部２３３を有する。以下では画素アレイ２３４に含まれる全ての画素が図２（ａ）に示した回路構成を有するものとする。しかしながら、一部の画素は１つのマイクロレンズあたり１つのフォトダイオードが設けられた構成を有してもよい。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３には説明を簡略化するために、４行ｎ列の画素アレイ２３４を示している。しかし、画素アレイ２３４が有する画素２００の行数及び列数は任意である。また、本実施形態において、撮像素子１４は単板式カラー撮像素子であり、原色ベイヤー配列のカラーフィルタを有している。そのため、画素２００には赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタのいずれか１つが設けられている。なお、カラーフィルタを構成する色や配列に特に制限はない。また、画素アレイ２３４に含まれる一部の画素は遮光され、オプチカルブラック（ＯＢ）領域を形成する。

垂直走査回路２０９は、行ごとに設けられた駆動信号線２３７を介して、各行の画素２００に、図２（ａ）に示した各種の制御信号を供給する。なお、図３では簡略化のために各行の駆動信号線２３７を１本の線で表しているが、実際には複数の駆動信号線が各行に存在する。

画素アレイ２３４に含まれる画素は、一列ごとに共通の垂直出力線２０７に接続される。垂直出力線２０７の各々には、電流源負荷２１０が接続される。それぞれの画素２００からの信号は、列ごとに設けられた読み出し回路２３５に垂直出力線２０７を通じて入力される。

水平走査回路２３２は、それぞれが１つの読み出し回路２３５に対応する制御信号ｈｓｒ（０）～ｈｓｒ（ｎ－１）を出力する。制御信号ｈｓｒ（）はｎ個の読み出し回路２３５の１つを選択する。制御信号ｈｓｒ（）で選択された読み出し回路２３５は、共通出力線２２８、２２９を通じてデータ出力部２３３に信号を出力する。

次に、読み出し回路２３５の具体的な回路構成例を説明する。図３には、ｎ個の読み出し回路２３５のうち１つについての回路構成例を示しているが、他の読み出し回路２３５も同じ構成を有する。本実施形態の読み出し回路２３５はランプ型のＡ／Ｄ変換器を含んでいる。

垂直出力線２０７を通じて読み出し回路２３５に入力された信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４～２１６とスイッチ２１８～２２０がオペアンプ２１３の反転入力端子と出力端子の間に接続される。オペアンプ２１３の反転入力端子と出力端子の間には更にスイッチ２１７が接続される。スイッチ２１７は制御信号ＲＥＳ＿Ｃにより制御され、フィードバック容量２１４～２１６の両端をショートさせる機能を有する。また、スイッチ２１８～２２０はシステム制御部５０からの制御信号ＧＡＩＮ０～ＧＡＩＮ２で制御される。

比較器２２１にはオペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号及びＡ信号とＢ信号が加算された信号レベル（Ａ＋Ｂ信号）を保持するための記憶素子である。比較器２２１の出力（比較結果を表す値）とカウンタ２３１の出力（カウンタ値）２２５が、Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３のそれぞれに入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３の動作（有効又は無効）はそれぞれ、ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ２２２で保持したノイズレベルはスイッチ２２６を介して共通出力線２２８に出力される。Ｌａｔｃｈ＿Ｓ２２３で保持した信号レベルはスイッチ２２７を介して共通出力線２２９に出力される。共通出力線２２８、２２９はデータ出力部２３３に接続される。

スイッチ２２６、２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）信号で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号レベルは共通出力線２２８、２２９に順次出力され、データ出力部２３３を通じてメモリ制御部２２や画像処理部２０に出力される。この、各読み出し回路２３５で保持された信号レベルを順次外部に出力する動作を水平転送と呼ぶ。なお、読み出し回路に入力される制御信号（ｈｓｒ（）を除く）や、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、カウンタ２３１の制御信号は、タイミング発生回路１８やシステム制御部５０から供給される。

●位相差方式の焦点検出
図４は、撮像素子１４上の画素と瞳分割との対応関係を示した概略図である。図４（ａ）で、光学系の合成レンズ１５１の第１瞳部分領域３０１と第２瞳部分領域３０２をそれぞれ通過した一対の光束は、撮像素子１４の各画素にそれぞれ異なる角度で入射する。そして、光束は、２×１に分割されたＰＤ２０１ａ（第１焦点検出画素）とＰＤ２０１ｂ（第２焦点検出画素）で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

なお、上述した例では第１焦点検出画素と第２焦点検出画素から構成された撮像画素が複数配列されているが、本実施形態はこれに限られるものではない。必要に応じて、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としてもよい。

本実施形態では、撮像素子１４の各画素のＰＤ２０１ａ（第１焦点検出画素）の受光信号を集めて第１焦点検出信号を生成し、各画素のＰＤ２０１ｂ（第２焦点検出画素）の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子１４の各画素について、ＰＤ２０１ａ（第１焦点検出画素）とＰＤ２０１ｂ（第２焦点検出画素）の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

図４（ｂ）に、合成レンズ１５１の射出瞳上（光軸に直交する平面）における焦点検出画素の受光感度分布を示している。受光感度分布は、本来ＸＹ平面内で２次元に表現されるものであるが、図４（ｂ）では説明を容易にするため、１次元で示しており、Ｘ軸上（Ｙ＝０）の受光感度分布を示している。図４（ｂ）では、ＰＤ２０１ａ（第１焦点検出画素）の受光感度分布をＳ＿Ａ、ＰＤ２０１ｂ（第２焦点検出画素）の受光感度分布をＳ＿Ｂとして示している。また、撮像信号としての受光感度分布は、Ｓ＿ＡとＳ＿Ｂの和となり、Ｓ＿ＡＬＬとして示されている。画素の受光感度分布は、撮像素子上の位置（像高）ごとの光電変換部とマイクロレンズの位置関係によって異なる。

図４（ｂ）の斜線部は、結像光学系の絞りやメカ部材により制限された結果として遮光される（ケラレる）範囲を示しており、斜線部と重なっていない領域が、レンズ光束範囲（入射角度分布情報）として受光される。レンズ光束範囲は、結像光学系のＦ値や像高によって変化する。

図４（ａ）の第１瞳部分領域３０１と第２瞳部分領域３０２は、第１焦点検出画素と第２焦点検出画素の受光感度分布とレンズ光束範囲を加味した領域である。領域内の感度は一様ではなく、図４（ｂ）のＳ＿Ａ（Ｓ＿Ｂ）に対してレンズ光束範囲を加味（レンズ光束範囲外の受光感度を０とする）したものである。第１瞳部分領域３０１は第２焦点検出画素の受光感度分布Ｓ＿Ｂとレンズ光束範囲により決定され、第２瞳部分領域３０２は第１焦点検出画素の受光感度分布Ｓ＿Ａとレンズ光束範囲により決定される。

図４（ｃ）は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略関係図である。撮像面８００に本実施形態の撮像素子１４が配置され、図４（ａ）及び図４（ｂ）を参照して説明したように、結像光学系の射出瞳が、第１瞳部分領域３０１と第２瞳部分領域３０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離が大きさ｜ｄ｜に対応するように定義される。そして、デフォーカス量ｄは、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図４（ｃ）で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域３０１（第２瞳部分領域３０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１４に配列された各画素を構成するＰＤ２０１ａ（ＰＤ２０１ｂ）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（即ち、光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

このように、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。

図４（ｃ）から分かる通り、デフォーカス量ｄに対して、どの程度像ずれ量ｐが生じるかは、第１瞳部分領域３０１と第２瞳部分領域３０２の各主光線の角度の差による。角度の差が大きい場合には、より小さいデフォーカス量で、より大きな像ずれが生じる。本実施形態では、像ずれ量ｐをデフォーカス量ｄに変換する変換係数Ｋを記憶しておくことにより、デフォーカス量の算出を行う。変換係数Ｋは、第１瞳部分領域３０１と第２瞳部分領域３０２の受光感度分布の重心間隔をＤ、合成レンズ１５１の射出瞳の撮像素子１４からの光軸方向距離をＬとすると、Ｋ＝Ｌ／Ｄで算出することができる。

上述の通り、第１瞳部分領域３０１と第２瞳部分領域３０２の受光感度分布の重心は、第１焦点検出画素と第２焦点検出画素の受光感度分布とレンズ光束範囲を加味した領域の重心であるため、焦点検出画素の像高、結像光学系の絞りやメカ部材によるケラレ状況、射出瞳距離により異なる。本実施形態では、焦点検出画素の像高、結像光学系のＦ値、射出瞳距離に応じて、変換係数Ｋを記憶しておく。変換係数Ｋの記憶の際には、データ量圧縮のため、適宜、関数フィッティングなどを行ってもよい。

また、第１焦点検出画素と第２焦点検出画素の受光する光量比は、第１瞳部分領域３０１と第２瞳部分領域３０２の受光感度分布の積分値の比に相当する。そのため、シェーディング補正係数として、変換係数Ｋと同様に、焦点検出画素の像高、結像光学系のＦ値、射出瞳距離に応じて、シェーディング補正係数を記憶しておく。第１焦点検出画素と第２焦点検出画素の出力信号に、シェーディング補正係数を乗じることで、対の焦点検出信号の出力を揃えることができるだけでなく、像高によらず一様な出力を得ることや、撮像信号の出力に合わせた出力を得ることができる。

●ライブビュー撮影（焦点検出及び撮影動作）
図５は、本実施形態のカメラシステムの焦点検出及び撮影動作を説明するためのフローチャートである。図５は、撮影スタンバイ状態などのライブビュー状態（動画撮影状態）から撮影を行うライブビュー撮影時の動作を示し、システム制御部５０が主体となって実現される。

Ｓ１で、システム制御部５０は、撮像素子１４を駆動し、撮像データを取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッタを用いた撮影を行う。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うためのもので、例えば、３０フレーム／秒（撮影間隔３３．３ｍｓ）や６０フレーム／秒（撮影間隔１６．６ｍｓ）であってよい。ライブビュー表示用の信号については、記録画像用の信号と異なり、高解像度の画質よりも、読出し時間の高速化、省電力が優先される。そのため、システム制御部５０は、撮像素子１４内において（又は撮像素子１４から読み出した後に）、信号を加算、間引きする処理を行い、データ量の圧縮を行う。例えば、水平方向には、同色間で３画素の加算を行い、１／３に間引きを行い、垂直方向には、１／３行に読出し行数を減らすことでデータ量の圧縮を行う。

Ｓ２で、システム制御部５０は、Ｓ１で得られた撮像データのうち、焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素から得られる焦点検出データを取得（抽出）する。また、システム制御部５０は、第１焦点検出画素と第２焦点検出画素の出力信号を加算して撮像信号を生成し、画像処理部２０で色補間処理などを適用して得られる画像データを取得する。このように、１回の撮影により、画像データと、焦点検出データとを取得することができる。なお、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とした場合には、システム制御部５０は、焦点検出用画素の補完処理などを行って画像データを取得する。

Ｓ３で、システム制御部５０は、Ｓ２で得られた画像データをもとに、画像処理部２０を用いてライブビュー表示用の画像を生成し、画像表示部２８に表示する。なお、ライブビュー表示用の画像は、例えば画像表示部２８の解像度に合わせた縮小画像であり、Ｓ２で画像データを生成する際に画像処理部２０で縮小処理を実施することもできる。この場合、システム制御部５０は、Ｓ２で取得した画像データを画像表示部２８に表示させる。上述の通り、ライブビュー表示中は所定のフレームレートでの撮影と表示が行われるため、画像表示部２８を通じて撮影者は撮影時の構図や露出条件の調整などを行うことができる。

Ｓ４００で、システム制御部５０は、Ｓ２で取得した焦点検出領域に対応する焦点検出データを用いて、デフォーカス量及び方向を焦点検出領域ごとに求める。本実施形態では、システム制御部５０が焦点検出用信号の生成と、焦点検出用信号のずれ量（位相差）の算出と、算出したずれ量からデフォーカス量及び方向を求める処理とを実施するものとする。また、システム制御部５０は、事前に記憶している補正値を用いて、検出したデフォーカス量の補正（校正）を行う。補正を含む焦点検出処理の詳細は後述する。

Ｓ５で、システム制御部５０は、撮影準備開始を示すスイッチであるシャッタスイッチＳＷ１のオン／オフを検出する。Ｓ５でＳｗ１のオンが検出されない（或いはオフが検出された）場合、システム制御部５０は処理をＳ１１に進め、モードダイアル６０に含まれるメインスイッチがオフされたか否かを判別する。一方、Ｓ５でＳｗ１のオンが検出されると、システム制御部５０は処理をＳ６に進め、合焦させる焦点検出領域を設定（選択）する。ここでは、撮影者の指示した焦点検出領域としてもよいし、Ｓ４００で得ている焦点検出領域のデフォーカス量の情報や焦点検出領域の撮影範囲中心からの距離の情報を用いて、システム制御部５０が自動的に設定してもよい。一般に、撮影者の意図する被写体は、撮影距離の短い位置に存在する確率が高く、また撮影範囲の中央付近に存在する確率が高い。そのため、システム制御部５０は、例えば複数の被写体が存在する場合にはこれらの条件を考慮して適切と考えられる焦点検出領域を選択する。システム制御部５０はまた、例えば、被写体が１つで他は背景と考えられる場合には、被写体が存在する焦点検出領域を選択する。

Ｓ７で、システム制御部５０は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合には、必ずしもレンズ駆動を行う必要はない。

Ｓ８で、システム制御部５０は、Ｓ１で行った撮像データの取得とＳ４００で行った焦点検出処理を行う。Ｓ８で行う処理は、Ｓ７のレンズ駆動中に、並列的に行ってもよい。システム制御部５０は、焦点検出処理を終えると処理をＳ９に進め、撮影開始指示を示すスイッチであるＳｗ２のオン／オフを検出する。不図示のシャッタボタンは、押し込み量に応じて、２段階のオン／オフを検出することが可能で、上述のＳｗ２は、シャッタボタンの２段階目のオン／オフに相当する。システム制御部５０は、Ｓ９でＳｗ２のオンが検出されない場合、処理をＳ５に戻し、Ｓｗ１のオン／オフを検出する。

Ｓ９でＳｗ２のオンが検出されると、システム制御部５０は処理をＳ３００に進め、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。Ｓ３００の撮影サブルーチンが実行された後、システム制御部５０は処理をＳ９に戻し、Ｓｗ２のオン／オフを検出する。即ち、システム制御部５０は、連写指示がされているか否かを判断する。

Ｓ５でＳｗ１のオンが検出されず（或いはオフが検出され）、Ｓ１１でメインスイッチのオフが検出されると、システム制御部５０は、本フローチャートの処理を終了する。一方で、Ｓ１１でメインスイッチのオフが検出されない場合には、システム制御部５０は処理をＳ２に戻し、画像データ及び焦点検出データの取得を行う。

●撮影サブルーチン
次に、図６に示すフローチャートを用いて、図５のＳ３００で実行する撮影サブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部５０が主体となって実現される。

Ｓ３０１で、システム制御部５０は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度）を決定する。この露出制御処理は、システム制御部５０が画像データの輝度情報に基づいて行うことができるが、任意の公知技術を用いることができる。システム制御部５０は、決定した絞り値とシャッタ速度を、それぞれ絞り制御部３４４、シャッタ制御部３６に送信し、絞り、及びシャッタの動作を制御する。また、システム制御部５０は、絞り、シャッタの動作を考慮し、撮像素子１４が露光される期間、電荷蓄積を行う。

露光期間が終了すると、Ｓ３０２で、システム制御部５０は、撮像素子１４に対して、ライブビュー表示時のデータ量の圧縮を優先した読み出しではなく、高解像度な静止画像を得るための画像読み出し（即ち、全画素の読み出し）を行う。

Ｓ３０３で、システム制御部５０は、読み出された画像データに対して画像処理部２０によって欠陥画素の補間処理を実施する。Ｓ３０４で、システム制御部５０は、欠陥画素補間後の画像データに対して画像処理部２０によってデモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、エッジ強調処理等の画像処理や、符号化処理などを適用する。Ｓ３０５で、システム制御部５０は、高画素静止画撮影のための画像信号と、一方の焦点検出信号とを、画像データファイルとして記録部１５２，１６２に記録する。

Ｓ３０６で、システム制御部５０は、Ｓ３０５で記録した画像信号に対応させて、カメラ１００の特性情報をメモリ３０とシステム制御部５０内のメモリに記録する。ここで、カメラ１００の特性情報としては、以下の様な情報が例示できる。
・撮影条件（絞り値、シャッタ速度、撮影感度など）
・画像処理部２０で適用した画像処理に関する情報
・撮像素子１４の撮像用画素及び焦点検出用画素の受光感度分布情報
・カメラ本体内での撮影光束のケラレ情報
・カメラ本体とレンズユニットとの取り付け面から撮像素子１４までの距離情報
・製造誤差情報
なお、撮像素子１４の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズと光電変換部に依存する情報であるため、これら部材に関する情報を記録してもよい。受光感度分布情報は、撮像素子１４から光軸上の所定の距離における位置に応じた感度の情報である。また、受光感度分布情報は、光の入射角度に対する感度の変化を情報としてもよい。

Ｓ３０７で、システム制御部５０は、Ｓ３０５で記録した画像信号に対応させて、撮影レンズ３００の特性情報をメモリ３０とシステム制御部５０内のメモリに記録する。撮影レンズ３００の特性情報としては、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などが例示できる。

Ｓ３０８で、システム制御部５０は、撮影した画像に関する画像関連情報をメモリ３０とシステム制御部５０内のメモリに記録する。画像関連情報には、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれてよい。

Ｓ３０９で、システム制御部５０は、画像表示部２８に、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。Ｓ３０９で行うプレビュー表示に用いる画像は、画像の簡易的な確認が目的であるため、Ｓ３０３やＳ３０４で行う各種処理を行わなくてもよい。これらの各種処理を行わない場合には、Ｓ３０３以降の処理と並列して、Ｓ３０９のプレビュー表示を行うことで、露光から表示までのタイムラグをより小さくすることができる。

Ｓ３０９の処理が終わると、システム制御部５０は、Ｓ３００の撮影サブルーチンを終了し、メインルーチン（図５）のＳ９に処理を戻す。

●焦点検出処理サブルーチン
次に、図７に示すフローチャートを用いて、図５のＳ４００で実行する焦点検出処理のサブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部５０が主体となって実現される。

Ｓ４０１で、システム制御部５０は、焦点検出用の画像信号として得られた第１焦点検出信号と第２焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。Ｓ４０２で、システム制御部５０は、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理（相関演算処理）を行い、信号の一致度を表す相関量を算出する。

フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。更に、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは、式（１）により算出される。

ＣＯＲ（ｓ１）＝Σ_ｋ∈Ｗ｜Ａ（ｋ）－Ｂ（ｋ－ｓ１）｜ ｓ１∈Γ１ …（１）

システム制御部５０は、シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ１番目の第２焦点検出信号Ｂ（ｋ－ｓ１）を対応させ減算し、シフト減算信号を生成する。システム制御部５０は、生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算してもよい。

Ｓ４０３で、システム制御部５０は、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。そして、Ｓ４０４で、システム制御部５０は、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮影レンズ３００（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋ１をかけて、デフォーカス量を算出する。

Ｓ４０５で、システム制御部５０は、算出したデフォーカス量の補正を行う。デフォーカス量は、結像光学系が球面収差を有していると、焦点検出信号と撮像信号の評価する空間周波数帯域の違いによって、検出誤差が生じる。また、焦点検出は水平方向のコントラストを用いて行うのに対して、撮像信号のピント状態の評価は、水平、垂直両方向のコントラストを用いて行うため、結像光学系が非点収差を有していると検出誤差が生じる。そのため、システム制御部５０は、事前に記憶している情報を用いて補正値を取得し、算出したデフォーカス量に対して補正を行う。

本実施形態では、システム制御部５０は、焦点検出結果の校正を行い、補正値を事前に取得し、カメラ１００内に記憶する。焦点検出結果の校正方法（補正値の取得方法）については、詳細は後述する。Ｓ４０５の処理が終わると、システム制御部５０は、焦点検出処理のサブルーチンを終了し、メインルーチン（図５）に処理を戻す。

●垂直方向の焦点検出方法
後述する焦点検出結果の校正を行う際に用いる垂直方向の位相差の検出方法について説明する。図８（ａ）は、ある時刻（ｔ１、ｔ２、又はｔ３）にピント位置が撮像素子面よりも後方の位置１５７にある場合のボケ像が、本実施形態の第１のシャッタによってケラレる様子を模式的に示した図である。第１のシャッタの駆動方向は紙面上から下方向である。本実施形態では、第１のシャッタを所定の遮光幕の開口幅で用いて瞳の部分領域からの光束を受光して行方向の視差信号を取得する。また、図８（ａ）では、時刻ｔ１、ｔ２、ｔ３において、左側に第１のシャッタが光束を遮る様子をＹＺ平面で模式的に示しており、右側に撮像素子面１５３におけるボケ像とケラレの様子をＸＹ平面で模式的に示している。

図８（ａ）の左側において、１８１、１８２は光学系の合成レンズ１５１の瞳の異なる部分領域を示している。１５３は本実施形態の電子シャッタの駆動する撮像素子面を示している。１５４は本実施形態のメカニカルシャッタ１２の走行するメカニカルシャッタ面を示している。１５５は本実施形態の第１の遮光手段である電子シャッタによるリセット駆動による遮光部（電子先幕）を模式的に示している。１５６は本実施形態の第２の遮光手段であるメカニカルシャッタ１２による後幕（メカ後幕）を模式的に示している。このような電子先幕とメカ後幕を用いるシャッタを本実施形態では、電子先幕シャッタと呼ぶ。電子先幕シャッタでは、電子先幕とメカ後幕は光軸方向に第１の光軸方向ずれ量だけ離れて配置されている。

図８（ａ）の右側において、１７０ａ、１７０ｂ、１７０ｃは撮像素子面１５３におけるボケ像を示している。１７１ａ、１７１ｂ、１７１ｃは前述のボケ像が、電子先幕１５５又はメカ後幕１５６によってケラレている部分を示している。１７２ｂ、１７２ｃは前述のボケ像が、電子先幕１５５又はメカ後幕１５６によってケラレていない部分（本実施形態の第１のシャッタの開口部）を示している。

まず、図８（ａ）の時刻ｔ１における図を用いて説明する。時刻ｔ１では、電子先幕１５５の上端１５９が、撮像素子面１５３上に形成されるボケ像の上部に位置しており、メカ後幕１５６の下端１５８が、メカニカルシャッタ面１５４上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ１５１からの光束は、メカ後幕１５６では遮られていないが、電子先幕１５５によって遮られている状態である。この時の撮像素子面１５３におけるボケ像１７０ａは、図８（ａ）の時刻ｔ１における右側の図の通り、電子先幕１５５によって遮られている。

次に、図８（ａ）の時刻ｔ２における図を用いて説明する。時刻ｔ２では、メカ後幕１５６の下端１６０と、電子先幕１５５の上端１６２によって、撮像素子面１５３上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面１５３における本実施形態の第１のシャッタの開口部は、メカ後幕１５６の下端を撮像素子面１５３に投影した位置１６１と電子先幕の上端１６２によって形成される。この時の撮像素子面１５３におけるボケ像１７０ｂは、図８（ａ）の時刻ｔ２における右側の図の通り、開口部１７２ｂを形成し、それ以外の部分は電子先幕１５５とメカ後幕１５６によって部分的に遮られる（１７１ｂ）。

次に、図８（ａ）の時刻ｔ３における図を用いて説明する。時刻ｔ３では、メカ後幕１５６の下端１６３と、電子先幕１５５の上端１６５によって撮像素子面１５３上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面１５３における本実施形態の第１のシャッタの開口部は、メカ後幕１５６の下端を撮像素子面１５３に投影した位置１６４と電子先幕の上端１６５によって形成される。この時の撮像素子面１５３におけるボケ像１７０ｃは、図８（ａ）の時刻ｔ３における右側の図の通り、開口部１７２ｃを形成し、それ以外の部分は電子先幕１５５とメカ後幕１５６によって部分的に遮られる（１７１ｃ）。

以上の様にして、本実施形態の第１のシャッタを用いた撮影が行われた際にボケ像がケラレる。

次に、図８（ｂ）を用いて、合成レンズ１５１の瞳がケラレる様子を説明する。図８（ｂ）は、図８（ａ）の撮像素子面１５３において、電子先幕１５５とメカ後幕１５６によって作られる開口部の時間変化を表している。図８（ｂ）における１５８～１６５は図８（ａ）と同一である。横軸は時刻ｔ１、ｔ２、ｔ３を示しており、縦軸は、カメラ１００内におけるＹ方向の遮光部の端部の位置を示している。各時刻における開口部は縦軸で示されている。まず、時刻ｔ１における開口部を考える。時刻ｔ１では、電子先幕１５５の上端１５９とメカ後幕１５６の下端１５８とで、光束が遮られる。メカ後幕１５６の下端１５８は撮像素子面１５３の上端１５９に投影されるため、撮像素子面１５３における開口部は、１５９－１５９となり全光束が遮られている状態となる。

次に、時刻ｔ２における開口部を考える。時刻ｔ２では、電子先幕１５５の上端１６２とメカ後幕１５６の下端１６０とで、光束が遮られる。メカ後幕１５６の下端１６０は撮像素子面１５３の位置１６１に投影されるため、撮像素子面１５３における開口部は、１６１－１６２となり光束の一部分が遮られている状態となる。また、開口部１６１－１６２は、メカ後幕１５６を撮像素子面１５３に投影する前の開口部１６０－１６２に比べて狭くなっている。

最後に、時刻ｔ３における開口部を考える。時刻ｔ３では、電子先幕１５５の上端１６５とメカ後幕１５６の下端１６３とで、光束が遮られる。メカ後幕１５６の下端１６３は撮像素子面１５３の位置１６４に投影される為、撮像素子面１５３における開口部は、１６４－１６５となり光束の一部分が遮られている状態となる。また、開口部１６４－１６５は、メカ後幕１５６を撮像素子面１５３に投影する前の開口部１６３－１６５に比べて広くなっている。これにより光量のアンバランスが生じて、撮像素子面１５３におけるボケ像は、本実施形態の第１のシャッタによってケラレた領域と、ケラレていない領域とに分かれる。以上の様に、本実施形態の第１のシャッタを所定の遮光幕の開口幅で用いた際に取得される第１の信号群は、受光量分布がＹ方向に均一ではない。この状態は、合成レンズ１５１における瞳領域において撮像素子１４に入射する光束の角度に応じた受光感度分布を有している状態と考えることができる。

上述の説明では、ピント位置が撮像素子面１５３よりも後方の位置１５７にある場合を説明したが、ピント位置が撮像素子面１５３より前方にある場合も、同様に、ケラレが生じる。ケラレの生じる光束の角度は、ピント位置によらず同様だが、その結果生成されるボケ像のケラレ状況は、図８（ａ）及び図８（ｂ）の場合と異なる。つまり、図８（ｂ）の右側の図で、下側（Ｙ軸負の方向）の方が、より多くケラレる。このことからも、合成レンズ１５１における瞳領域において撮像素子１４に入射する光束の角度に応じた受光感度分布を有していると考えることができる。

図８（ｃ）に、合成レンズ１５１の射出瞳上（光軸に直交する平面）における第１のシャッタのケラレにより生じる受光感度分布（ＳＨケラレ感度分布）を示している。横軸は、図８（ａ）中のＹ軸と同じ方向を示しており、縦軸は、受光感度を相対的に示している。図８（ｃ）には、合成レンズ１５１の射出瞳上における画素の受光感度分布をＳ＿ＡＬＬとして示している。図４で説明した場合と同様に、受光感度分布は、本来ＸＹ平面内で２次元に表現されるものであるが、図８（ｃ）では説明を容易にするため、１次元で示しており、Ｙ軸上（Ｘ＝０）の受光感度分布を示している。また、画素の受光分布は２次元方向に異なる分布を示しうるが、ＳＨケラレは第１のシャッタの走行方向に直交する方向（Ｘ軸）に対して一様な感度分布を示す。

図８（ａ）で示した通り、合成レンズ１５１の射出瞳上で、Ｙ軸正の方向から入射する光束が主にケラレるため、図８（ｃ）でもＹ軸正の方向ほど、ＳＨケラレ感度分布の感度は低くなっている。第１のシャッタによる撮影では、画素単体での受光感度分布Ｓ＿ＡＬＬに対するＳＨケラレ感度分布の影響により、合成レンズ１５１の射出瞳上の各座標において、画素の受光感度分布Ｓ＿ＡＬＬとＳＨケラレ感度分布を掛け合わせた感度分布を各画素は有する。図８（ｃ）のＳ＿Ｃ１は、第１のシャッタで撮影を行った場合の画素の受光感度分布を示している。

次に、図９を用いて、本実施形態の第２のシャッタを所定の遮光幕の開口幅で用いた際に取得される第２の信号群における受光感度分布について説明する。

図９（ａ）は、ある時刻（ｔ１、ｔ２、又はｔ３）にピント位置が撮像素子面１５３よりも後方の位置１５７にある場合のボケ像が、本実施形態の第２のシャッタによってケラレる様子を模式的に示した図である。第２のシャッタの駆動方向は紙面上から下方向である。また、図９（ａ）では、時刻ｔ１、ｔ２、ｔ３において、左側に第２のシャッタが光束を遮る様子をＹＺ平面で模式的に示しており、右側に撮像素子面１５３におけるボケ像とケラレの様子をＸＹ平面で模式的に示している。なお、図９（ａ）では、本実施形態の第２のシャッタは、本実施形態の電子シャッタ（スリットローリングシャッタ）によるリセット動作による遮光部（電子先幕１９１）、遮光部（電子後幕１９２）として説明する。しかし、これら２つの遮光部は、メカニカルシャッタ１２を用いた遮光部（メカ先幕及びメカ後幕）であってもよい。なお、本実施形態では電子先幕と電子後幕として説明するので、第３の遮光手段と第４の遮光手段が光軸方向にずれて配置されておらず、第２の光軸方向ずれ量は０となるため、第２の光軸方向ずれ量は第１の光軸方向ずれ量よりも小さい。一方、メカ先幕とメカ後幕の場合には、光軸方向に離れて配置されているが、電子先幕とメカ後幕の光軸方向ずれ量である第１の光軸方向ずれ量に比べて、メカ先幕とメカ後幕の光軸方向ずれ量である第２の光軸方向ずれ量の方が小さい。そのため、メカ先幕とメカ後幕においても、第２の光軸方向ずれ量は第１の光軸方向ずれ量よりも小さい。

図９（ａ）の左側において、１８０は光学系の合成レンズ１５１の瞳領域を示している。１５３は本実施形態の電子シャッタの駆動する撮像素子面を示している。１９１は、本実施形態の第３の遮光手段である、電子シャッタによるリセット駆動による遮光部（電子先幕）を模式的に示している。１９２は、本実施形態の第４の遮光手段である、電子シャッタによるリセット駆動の後に行われる信号の読出しの完了に対応する読出し完了動作を表している（電子後幕）。本実施形態では、読出し完了動作を後幕の動作として模式的に示している。

図９（ａ）の右側において、１７０ａ、１７０ｂ、１７０ｃは撮像素子面１５３におけるボケ像を示している。１７３ａ、１７３ｂ、１７３ｃは前述のボケ像が、電子先幕１９１もしくは電子後幕１９２によってケラレている部分を示している。１７４ａ、１７４ｂ、１７４ｃは前述のボケ像が、電子先幕１９１もしくは電子後幕１９２によってケラレていない部分（本実施形態の第２のシャッタの開口部）を示している。

まず、図９（ａ）の時刻ｔ１における図を用いて説明する。時刻ｔ１では、電子先幕１９１の上端１５９が、撮像素子面１５３上に形成されるボケ像の上部に位置しており、電子後幕１９２の下端１９３が、撮像素子面１５３上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ１５１からの光束は、電子先幕１９１、電子後幕１９２によって遮られている状態である。この時の撮像素子面１５３におけるボケ像１７０ａは、図９（ａ）の時刻ｔ１における右側の図の通り、電子先幕１９１、電子後幕１９２によって遮られている。

以降、図９（ａ）の時刻ｔ２、ｔ３においても同様に電子先幕１９１、電子後幕１９２によって光束が遮られる。第２のシャッタを用いた場合には、時刻ｔ１において電子先幕１９１と電子後幕１９２によって作られる開口部１５９－１９３と、時刻ｔ２において同様に作られる開口部１６２－１９４と、時刻ｔ３において同様に作られる開口部１６５－１９５は、等しい。

以上の様にして、本実施形態の第２のシャッタを用いた撮影が行われた際にボケ像がケラレる。

次に図９（ｂ）を用いて、合成レンズ１５１の瞳がケラレる様子を説明する。図９（ｂ）は、図９（ａ）の撮像素子面１５３において、電子先幕１９１と電子後幕１９２によって作られる開口部の時間変化を表している。図９（ｂ）における１５９～１９５は図９（ａ）と同一である。各時刻における開口部は縦軸で示されている。図９（ｂ）では、図８（ｂ）とは異なり、電子先幕１９１と電子後幕１９２とが撮像素子面１５３にあるため、時刻ｔ１における開口部１５９－１９３と、時刻ｔ２における開口部１６２－１９４と、時刻ｔ３における開口部１６５－１９５は等しい。つまり、本実施形態の第２のシャッタを所定の遮光幕の開口幅で用いた際に取得される第２の信号群の各画素は、図８（ｃ）において画素の受光感度分布として示しているＳ＿ＡＬＬと等しい受光感度分布を示す。

次に、図１０を用いて、対の位相差検出信号（視差信号）の生成方法について説明する。図１０は、図４（ｂ）と同様に、合成レンズ１５１の射出瞳上（光軸に直交する平面）における焦点検出画素の受光感度分布を示している。受光感度分布は、本来ＸＹ平面内で２次元に表現されるものであるが、説明を容易にするため、１次元で示しており、Ｙ軸上（Ｘ＝０）の受光感度分布を示している。図１０で、第１のシャッタを用いた露光で得られる信号を出力する画素の受光感度をＳ＿Ｃ１、第２のシャッタを用いた露光で得られる信号を出力する画素の受光感度をＳ＿ＡＬＬとして示している。

図１０のＳ＿Ｄ１は、Ｓ＿ＡＬＬとＳ＿Ｃ１の差分を示している。即ち、Ｓ＿Ｄ１は、第２のシャッタを用いた露光で得られた信号（第２の信号群）に対して、第１のシャッタを用いた露光で得られる信号（第１の信号群）の各信号の差分として、第３の信号群を生成した場合の第３の信号の受光感度分布を示している。図４（ｂ）との対比で分かるように、第１の信号群と第３の信号群は、第１の焦点検出信号と第２の焦点検出信号と同様に、受光感度分布に偏りを持つため、デフォーカスによって、像ずれが生じる。本実施形態では、システム制御部５０は、第１のシャッタ動作、第２のシャッタ動作による２回の露光で得られた信号（第１の信号群、第２の信号群）から、対の信号（第１の信号群、第３の信号群）を生成し焦点検出を行う。

図１０では、図４（ｂ）と同様に、斜線部は、結像光学系の絞りやメカ部材により制限された結果として遮光される（ケラレる）範囲を示しており、斜線部と重なっていない領域が、レンズ光束範囲として受光される。レンズ光束範囲は、結像光学系のＦ値や像高によって変化する。

一方で、図４（ｂ）で説明した焦点検出信号の受光感度分布は、撮像素子１４上の位置（像高）ごとの光電変換部とマイクロレンズの位置関係によって異なる。しかし、図１０で説明した２つのシャッタによる対の信号の受光感度分布は、各シャッタの２つの遮光幕の光軸方向（Ｚ軸）の距離と開口幅（Ｙ軸）によって決定される。図８（ａ）の時刻ｔ１を参照して説明したように、光束がケラレる角度が、遮光幕の光軸方向距離と開口幅によって決まるためである。

次に、図１１を用いて、図８で説明した場合とは異なる開口幅の場合の光束のケラレる様子を説明する。図８の場合に対して、遮光幕の開口幅が狭くなっている。

図１１（ａ）は、図８（ａ）と同様に、ある時刻（ｔ１、ｔ２、又はｔ３）にピント位置が撮像素子面よりも後方の位置１５７にある場合のボケ像が、本実施形態の第１のシャッタによってケラレる様子を模式的に示した図である。また、図１１（ａ）では、図８（ａ）と比べて電子先幕１５５とメカ後幕１５６によって形成される開口部が狭い状態を表している。これにより、撮像素子１４は、合成レンズ１５１の瞳のより狭い角度の光束のみ受光することができる。

まず、図１１（ａ）の時刻ｔ１における図を用いて説明する。時刻ｔ１では、電子先幕１５５の上端５０１が、撮像素子面１５３上に形成されるボケ像の上部に位置しており、メカ後幕１５６の下端１５８が、メカニカルシャッタ面１５４上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ１５１からの光束は、電子先幕１５５、メカ後幕１５６によって遮られている状態である。この時の撮像素子面１５３におけるボケ像１７０ａは、図１１（ａ）の時刻ｔ１における右側の図の通り、電子先幕１５５、メカ後幕１５６によって遮られている（１７５ａ）。なお、図１１（ａ）においては、時刻ｔ２においても、合成レンズ１５１からの光束は電子先幕１５５、メカ後幕１５６によって遮られている（１７５ｂ）。

次に、図１１（ａ）の時刻ｔ３における図を用いて説明する。時刻ｔ３では、メカ後幕１５６の下端１６３と、電子先幕１５５の上端５０３によって撮像素子面１５３上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面１５３における本実施形態の第１のシャッタの開口部は、メカ後幕１５６の下端１６３を撮像素子面１５３に投影した位置５０４と電子先幕の上端５０３によって形成される。この時の撮像素子面１５３におけるボケ像１７０ｃは、図１１（ａ）の時刻ｔ３における右側の図の通り、開口部１７６ｃを形成し、それ以外の部分は電子先幕１５５とメカ後幕１５６によって部分的に遮られる（１７５ｃ）。

以上の様にして、本実施形態の第１のシャッタを用いた撮影が行われた際にボケ像がケラレる。

次に、図１１（ｂ）を用いて、合成レンズ１５１の瞳がケラレる様子を説明する。図１１（ｂ）は、図１１（ａ）の撮像素子面１５３において、電子先幕１５５とメカ後幕１５６によって作られる開口部の時間変化を表している。図１１（ｂ）における１５８～５０４は図１１（ａ）と同一である。各時刻における開口部は縦軸で示されている。時刻ｔ１、ｔ２では、電子先幕１５５とメカ後幕１５６により全光束が遮られる。時刻ｔ３では、メカ後幕１５６の下端１６３は撮像素子面１５３の位置５０４に投影される為、撮像素子面１５３における開口部は、５０３－５０４となる。これにより、図８（ｂ）よりも更に大きな光量のアンバランスが生じて、撮像素子面１５３におけるボケ像は、主に、合成レンズ１５１における瞳の部分領域１８３からの光束を受光していることになる。

図１１（ｃ）に、合成レンズ１５１の射出瞳上（光軸に直交する平面）における第１のシャッタのケラレにより生じる受光感度分布（ＳＨケラレ感度分布）を示している。横軸は、図１１（ａ）中のＹ軸と同じ方向を示しており、縦軸は、受光感度を相対的に示している。図１１（ｃ）には、合成レンズ１５１の射出瞳上における画素の受光感度分布をＳ＿ＡＬＬとして示している。図４（ｂ）で説明した場合と同様に、受光感度分布は、本来ＸＹ平面内で２次元に表現されるものであるが、図１１（ｃ）では説明を容易にするため、１次元で示しており、Ｙ軸上（Ｘ＝０）の受光感度分布を示している。また、画素の受光分布は２次元方向に異なる分布を示しうるが、ＳＨケラレは第１のシャッタの走行方向に直交する方向（Ｘ軸）に対して一様な感度分布を示す。

図１１（ａ）で示した通り、合成レンズ１５１の射出瞳上で、Ｙ軸正の方向から入射する光束が主にケラレるため、図１１（ｃ）でもＹ軸正の方向ほど、ＳＨケラレ感度分布の感度は低くなっている。また、図８（ｃ）と比べて、更に大きなケラレが生じているため、Ｙ軸負の方向に感度が高い方向が偏っていることを示している。第１のシャッタによる撮影では、画素単体での受光感度分布Ｓ＿ＡＬＬに対するＳＨケラレ感度分布の影響により、合成レンズ１５１の射出瞳上の各座標において、画素の受光感度分布Ｓ＿ＡＬＬとＳＨケラレ感度分布を掛け合わせた感度分布を各画素は有する。図１１（ｃ）のＳ＿Ｃ２は、第１のシャッタで撮影を行った場合の画素の受光感度分布を示している。

以上の様にして、図８（ａ）の場合よりも電子先幕１５５とメカ後幕１５６によって形成される開口部を狭くすることで、合成レンズ１５１の瞳の部分領域１８３に対応した縦方向視差信号を取得することができる。この時取得できる縦方向視差信号をＳ＿Ｃ２とする。また、不図示だが、図８（ａ）の場合よりも電子先幕１５５とメカ後幕１５６によって形成される開口部を広くすることで、より広い範囲で感度を有する縦方向視差信号を取得することができる。

一般に、第１のシャッタを用いて記録画像を生成する場合には、システム制御部５０は、露光量を決定するために、２つの遮光幕の開口幅を決定する。本実施形態では、システム制御部５０は、２つの遮光幕により生じるケラレ（ＳＨケラレ感度分布）を調整するために、２つの遮光幕の開口幅を決定する。そのため、システム制御部５０は、信号量の過不足が生じる場合には、信号を出力する際のゲインを調整し、適切な信号を得ればよい。

２つのシャッタにより生成される異なる受光感度分布を有する信号群の場合も、焦点検出画素による受光感度分布の場合と同様に、像ずれ量ｐをデフォーカス量に変換する変換係数Ｋｓをカメラ１００に記憶しておく。上述の通り、変換係数Ｋｓは、２つのシャッタの有する遮光幕のケラレ方の違い（ＳＨケラレ感度分布の違い）によって、異なる値となる。本実施形態では、遮光幕の開口幅ごとに異なるＳＨケラレ感度分布と対応した変換係数Ｋｓをカメラ１００に記憶しておく。詳細には、焦点検出画素の焦点検出信号のための変換係数Ｋと同じように、焦点検出を行う像高、結像光学系のＦ値、射出瞳距離、ＳＨケラレ感度分布に対応させて、変換係数Ｋｓをカメラ１００に記憶しておく。

また、第１のシャッタを用いた露光で得られる信号（第１の信号群）と、第１、第２のシャッタの露光で得られた信号の差分として算出される第３の信号群の光量比についても、システム制御部５０は、焦点検出画素の場合と同様に補正を行う。第１の信号群と第３の信号群の光量比は、図１０のレンズ光束範囲を加味した受光感度分布Ｓ＿Ｃ１とＳ＿Ｄ１の積分値の比に相当する。そのため、変換係数Ｋｓの場合と同様に、焦点検出を行う像高、結像光学系のＦ値、射出瞳距離、ＳＨケラレ感度分布に応じて、シェーディング補正係数をカメラ１００に記憶しておく。第１の信号群と第２の信号群に、シェーディング補正係数を乗じることで、対の焦点検出信号の出力を揃えることができるだけでなく、像高によらず一様な出力を得ることや、撮像信号の出力に合わせた出力を得ることができる。

本実施形態では、変換係数Ｋｓ及びシェーディング補正係数の両方について、ＳＨケラレ感度分布、像高、結像光学系のレンズ光束範囲（Ｆ値、射出瞳距離、像高に応じたケラレ状況）に対応したテーブルデータをカメラ１００に記憶しているように構成した。しかし、カメラ１００内に、ＳＨケラレ感度分布情報そのものを記憶し、結像光学系のレンズ光束範囲に応じて、カメラ内で変換係数Ｋｓ及びシェーディング補正係数を演算してもよい。それにより、演算負荷は増えるが、より高精度な演算を行うことができる。

カメラ１００内に、ＳＨケラレ感度分布情報を記憶している場合の演算方法について説明する。合成レンズ１５１の射出瞳上の座標において、ＳＨケラレ感度分布ＳＨ（ｙ）、撮像画素の受光感度分布をＳ＿ＡＬＬ（ｙ）、第１のシャッタによる受光感度分布Ｓ＿Ｃ（ｙ）とすると、Ｓ＿Ｃ（ｙ）は下記の式（２）で表される。

Ｓ＿Ｃ（ｙ）＝Ｓ＿ＡＬＬ（ｙ）×ＳＨ（ｙ） …（２）

ここで、Ｓ＿Ｃ（ｙ）は、図１０のＳ＿Ｃ１に相当する。カメラ１００は、更に、合成レンズ１５１の射出瞳上のレンズ光束範囲Ｌ（ｘ，ｙ）を記憶している。Ｌ（ｘ，ｙ）は、光束が通過する領域は１、それ以外の領域は０となっている関数である。レンズ光束範囲を加味した第１の信号群の受光感度分布Ｃ（ｘ，ｙ）は、下記の式（３）で表される。

Ｃ（ｘ，ｙ）＝Ｓ＿Ｃ（ｙ）×Ｌ（ｘ，ｙ） …（３）

同様に、システム制御部５０は、第３の信号群の受光感度分布Ｄ（ｘ，ｙ）も求める。Ｃ（ｘ，ｙ）の重心をＧｃとし、Ｄ（ｘ，ｙ）の重心をＧｄとすると、変換係数Ｋｓは、下記式（４）で算出できる。

Ｋｓ＝１／｜Ｇｃ－Ｇｄ｜ …（４）

システム制御部５０は、変換係数Ｋｓを、像ずれ量の演算領域の中心に対応する像高で演算し、それを代表値としてデフォーカス量に変換すればよい。上述の式を用いて変換係数Ｋｓを算出することで、垂直方向の像ずれ量を算出する領域（像高）の代表値として、変換係数Ｋｓを算出することができる。

同様に、シェーディング補正係数については、システム制御部５０は、垂直方向の像ずれ量を算出する領域内の複数の像高で、第１の信号群の受光感度分布Ｃ（ｘ，ｙ）と第３の信号群の受光感度分布Ｄ（ｘ，ｙ）を算出する。そして、システム制御部５０は、各像高で積分値を計算することで光量比を求める（式（５）、式（６）参照）。

ＳＨＤｃ＝ΣＣ（ｘ，ｙ） …（５）
ＳＨＤｄ＝ΣＤ（ｘ，ｙ） …（６）

式（５）、式（６）の積算範囲は、合成レンズ１５１の射出瞳上で有する受光感度分布の全範囲である。システム制御部５０は、垂直方向の像ずれ量を算出する領域内の複数の像高で、式（５）、式（６）で光量を算出する。その後、システム制御部５０は、第１の信号群及び第３の信号群を補正するため、垂直方向の像ずれ量を算出する領域（ｙ）を変数とした関数フィッティングを行い、シェーディング補正係数とする。

上述の通り、カメラ１００内で、ＳＨケラレ感度分布情報を含む、各種情報を有し、変換係数やシェーディング補正係数を計算することにより、より高精度な焦点検出を行うことができる。

また本実施形態では、像ずれ量の演算領域の中心に対応する像高で変換係数Ｋｓを演算する高精度な焦点検出について説明したが、像ずれ量の演算領域の中心に対応する像高で２つの遮光幕の開口幅を変更して像ずれ量の演算領域の中心に対応する像高にのみ対応した信号を取得しても良い。但し本方法は、像ずれ量の演算領域の中心に対応する像高における信号のみを取得する方法である。その為、複数の像高を取得するには、像高毎に本方法で信号を取得する必要がある。

また、本実施形態では遮光幕の光軸方向距離と開口幅によって撮影レンズ３００を透過した光束がケラレる角度が決まることを説明したが、撮影レンズ３００を透過する光束の入射角度に応じて、開口幅を決定しても良い。

さらに、本実施形態におけるシャッタ動作中は２つの遮光幕の開口幅を狭く、かつ一定に保ってＳＨケラレ感度分布を取得する方法の説明をしたが、本発明の第１のシャッタ動作中に２つの遮光幕の開口幅を２つの遮光幕の開口幅を徐々に広くする、もしくは狭くすることでＳＨケラレ感度分布を取得しても良い。

●焦点検出校正処理
次に、図１２から図１４を用いて、本実施形態における焦点検出結果の校正方法（キャリブレーション）について説明する。本実施形態では、カメラ１００は、後述する方法で、撮像信号のピント状態が合焦であるピント位置と通常の焦点検出時の像ずれ量が０となるピント位置の差分を検出し、その差分を補正値（補正情報）として記憶する。

上述の通り、焦点検出信号は、信号圧縮や水平方向の瞳分割を行うため、評価する周波数帯域が低く、水平方向のみのコントラストを評価している。一方で記録画像のピント状態の評価は、鑑賞者が圧縮されない信号を鑑賞する際に行われるため、評価する周波数帯域が高く、あらゆる方向のコントラストを評価する。本実施形態では、カメラ１００は、撮像信号のピント状態を検出するために、通常の焦点検出時と比べてより高い周波数帯域の信号を用いて、水平、垂直方向のピント状態を評価し、焦点検出結果との差分を算出し、補正値とする。また、水平方向のピント状態の評価は、記録画像と同様に、全画素の読み出しを行った第１、第２の焦点検出画素を用いて、位相差検出を行うことにより実現する。垂直方向のピント状態の評価は、異なる２つのシャッタを用いて全画素信号を取得し、２回の露光で得られた信号から、垂直方向の位相差検出を行うことにより実現する。

図１２は、焦点検出校正処理のフローチャートである。本処理はシステム制御部５０が主に行う。Ｓ１００１で、システム制御部５０は、焦点検出校正を行う際の初期位置に、フォーカスレンズを駆動する。フォーカスレンズの初期位置としては、レンズ駆動範囲内の無限側もしくは至近側の端部を設定すればよい。次に、Ｓ１００２で、システム制御部５０は、第２の信号群を取得する。上述の通り、第２の信号群は、スリットローリングシャッタを用い、全画素の信号を読み出して取得する。そのため、第２の信号群として、ＳＨ開口ケラレのない受光感度分布を有する信号を得ることができる。第２の信号群の取得時は、システム制御部５０は、第１焦点検出画素と第２焦点検出画素の信号を区別して読み出し、取得を行う。

次に、Ｓ１００３で、システム制御部５０は、第１の信号群を取得する。上述の通り、第１の信号群は、電子先幕シャッタを用い、全画素の信号を読み出して、取得する。そのため、第１の信号群として、ＳＨ開口ケラレがある受光感度分布を有する信号を得ることができる。第１の信号群の取得時は、システム制御部５０は、第１焦点検出画素と第２焦点検出画素の信号を区別して読み出し、取得を行う。但し、本実施形態では、第１の信号群は、垂直方向の視差信号生成のために用いる。そのため、第１焦点検出画素と第２焦点検出画素の信号を区別して読み出すことは、必須ではない。第１焦点検出画素と第２焦点検出画素を加算した信号として読み出すことにより、読出し時間を短縮することができ、後述のタイムラグを短くできる場合がある。

ここで図１５を参照して、図１２のＳ１００２における第２の信号群の取得と図１２のＳ１００３における第１の信号群の取得について説明する。図１５は、撮像素子とシャッタの連写撮影時のシーケンスを示す図である。Ｓ１００２の第２の信号群は、スリットローリングシャッタによる露光順次読み出しによって取得される。Ｓ１００３の第１の信号群は、電子先幕シャッタの電荷のリセット（露光開始）とメカニカルシャッタの遮光幕（後幕）の走行を行い、スリットを形成（露光時間の制限）し、電荷を蓄積後、全画素の信号の読出しにより取得される。メカニカルシャッタの遮光幕の走行を再度行うために、システム制御部５０は、読出し中にメカニカルシャッタのチャージモータ通電を行い、メカニカルシャッタの遮光幕を走行前の位置に戻す。これを繰り返すことで、連写撮影を行いながら第１の信号群と第２の信号群の取得を行うことができる。

図１５（ａ）では、第１の信号群の取得については、電子先幕シャッタを用いるため、露光期間を明示している。第２の信号群の取得については、スリットローリングシャッタを用いるため、露光と読み出しを合わせて示している。第１の信号群と第２の信号群は、いずれも、全画素を第１焦点検出画素、第２焦点検出画素の信号出力として区別して読みだす場合を想定している。そのため、第１の信号群の取得と第２の信号群の取得で、露光と読み出しの合計時間は同程度である。

第１の信号群と第２の信号群は取得のタイミングが異なるため、時間差による被写体の位置ずれが課題となる。そのため、第１の信号群と第２の信号群の取得のタイムラグが短い方がよい。上記順番の場合、図１５（ａ）に示すように、露光順次読出し時に第２の信号群の取得が行われた後、次の蓄積、読出しで第１の信号群の取得が可能となるため、第１の信号群と第２の信号群の取得のタイムラグを短くすることができる。これにより、被写体の位置ずれを低減できる。また、第１の信号群の取得前の第２の信号群の取得時に、第１焦点検出画素と第２焦点検出画素を区別して読みださず、合算した信号を読み出すことで、第２の信号群の取得の読出し期間を短縮できる。これにより、タイムラグを短縮することができる。その場合には、水平方向の位相差信号の取得は、第１の信号群の取得後に、スリットローリングシャッタを用いて改めて行えばよい。

図１５（ａ）では第２の信号群の取得後に第１の信号群を取得するシーケンスを説明したが、図１５（ｂ）に示すように、第１の信号群の取得後に第２の信号群の取得を行ってもよい。例えば、電子先幕とメカ後幕による第１の信号群の取得後に、スリットローリングシャッタによる第２の信号群の取得を行ってもよい。

撮像素子１４の読出し時間が短く、メカ後幕のみを有するシャッタの場合には、電子先幕、メカ後幕走行時の露光による電荷蓄積により第１の信号群を取得し、メカ後幕のチャージモータ通電により遮光幕を走行前の位置に戻す。その後、スリットローリングシャッタによる第２の信号群の取得を行うことによって、第１の信号群と第２信号群を取得することができる。

図１５（ａ）及び図１５（ｂ）では電子先幕とメカ後幕による第１の信号群の取得を説明したが、図１５（ｃ）に示すように、先幕をメカニカルシャッタ、後幕を電子シャッタとして第１の信号群を取得してもよい。

ここでは、メカ先幕の駆動と後幕電子シャッタの駆動速度が同じ速度にできる場合を想定している。メカ先幕走行、後幕電子シャッタにより第１の信号群の取得を行い、次のスリットローリングシャッタによる露光順次読出しにより第２の信号群の取得を行う。これにより、第１の信号群と第２の信号群の取得のタイムラグを短くできる。第１の信号群と第２の信号群の取得順序については、第１の信号群の取得後に第２の信号群を取得するようにしてもよいし、第２の信号群の取得後に第１の信号群を取得するようにしてもよい。

図１５（ａ）～（ｃ）ではスリットローリングシャッタによる第２の信号群の取得を説明したが、図１５（ｄ）に示すように、先幕と後幕ともにメカニカルシャッタによって第２の信号群を取得してもよい。

メカ先幕とメカ後幕時の露光による電荷蓄積により第２の信号群の取得を行い、メカ先幕とメカ後幕のチャージモータ通電により走行前の位置に戻す。メカ先幕のみ走行が完了した後に電子先幕シャッタの電荷のリセット（露光開始）とメカ後幕走行を行い、第１の信号群の取得を行うことで、第１の信号群と第２の信号群の取得が可能となる。これによりスリットローリングシャッタの読出し速度が遅いことによって生じるローリングシャッタ歪みを生じさせることなく、第１の信号群と第２の信号群の取得が可能となる。第１の信号群と第２の信号群の取得順序については、第１の信号群の取得後に第２の信号群を取得するようにしてもよいし、第２の信号群の取得後に第１の信号群を取得するようにしてもよい。

図１２に戻り、Ｓ１００４で、システム制御部５０は、垂直方向の焦点検出を行う。ここでは、焦点検出結果の校正を目的としているため、システム制御部５０は、高精度に垂直方向のコントラストに対する焦点検出を行い、デフォーカス量を算出する。詳細は後述する。次に、Ｓ１００５で、システム制御部５０は、水平方向の焦点検出を行う。ここでは、システム制御部５０は、校正用に、高精度に水平方向のコントラストに対する焦点検出を行い、デフォーカス量を算出する。また、焦点調節時に相当する焦点検出結果として、デフォーカス量を得る。詳細は後述する。

Ｓ１００６で、システム制御部５０は、フォーカスレンズの駆動が完了したかどうかを判定する。本実施形態では、フォーカスレンズ駆動範囲内の全領域を、所定のデフォーカス単位でブラケットして焦点検出を行う。ブラケットが完了していない場合は、システム制御部５０は処理をＳ１００８に進め、所定量のフォーカスレンズ駆動を行い、処理をＳ１００２に戻す。

Ｓ１００６でブラケットが完了したと判定された場合には、システム制御部５０は処理をＳ１００７に進め、撮像信号の合焦位置評価を行う。システム制御部５０は、Ｓ１００４で得られた垂直方向のコントラストに対する高精度な焦点検出結果とＳ１００５で得られた水平方向のコントラストに対する高精度な焦点検出結果を平均して、撮像信号の合焦位置（第１の合焦位置）とする。垂直、水平の各方向の高精度な焦点検出結果は、フォーカスレンズのブラケットを行う中で得られた像ずれ量（デフォーカス量）が０に相当する位置を、直線近似などを用いて算出すればよい。また、同様に、フォーカスレンズのブラケットを行う中で得られた像ずれ量（デフォーカス量）の変化を用いて、像ずれ量をデフォーカス量に換算する変換係数を校正してもよい。

Ｓ１００９で、システム制御部５０は、Ｓ１００５で得られた焦点調節時に相当する焦点検出結果（第２の合焦位置）と、Ｓ１００７で得られた撮像信号の合焦位置（第１の合焦位置）の差分を、補正値として算出し、記憶する。Ｓ１００９の処理が終わると、システム制御部５０は、焦点検出校正処理を終了する。

図１２では、焦点検出の校正のため、フォーカスレンズをブラケットしながら焦点検出を行った。これにより、像ずれ量が０に相当する位置の高精度な検出や、変換係数の校正を行うことができる。一方で、事前に記憶している変換係数を用いて、像ずれ量が０に相当する位置の検出を行う場合には、フォーカスレンズのブラケット駆動は行わず、デフォーカス量が小さい状態で、１度焦点検出を行い、補正値の算出を行ってもよい。

次に、図１３を用いて、図１２のＳ１００４の垂直方向の焦点検出のサブルーチンについて説明する。本処理はシステム制御部５０が主に行う。Ｓ４００１で、システム制御部５０は、画像処理部２０を用いて、第１の信号群と第２の信号群から第３の信号群を算出し、垂直方向の視差信号として、第１の信号群と第３の信号群を設定する。

Ｓ４００２で、システム制御部５０は、撮影レンズ３００を通過する光束の入射角度分布情報として、射出瞳距離、Ｆ値、焦点検出を行う像高、光束ケラレ情報を取得する。そして、システム制御部５０は、シャッタの受光角度分布情報としてＳＨケラレ感度分布情報を、メモリ５２又は不揮発性メモリ３４８から取得する。次に、Ｓ４００３で、システム制御部５０は、光量補正値（シェーディング補正係数）の算出を行う。本実施形態では、事前に受光角度分布情報に対応させたシェーディング補正係数が、テーブルとして記憶されている。Ｓ４００３では、システム制御部５０は、記憶されたテーブルから、焦点検出を行う条件に対応したシェーディング補正係数を取得する。

次に、Ｓ４００４で、システム制御部５０は、変換係数Ｋｓの算出を行う。本実施形態では、事前に受光角度分布情報に対応させた変換係数Ｋｓが、テーブルとして記憶されている。Ｓ４００４では、システム制御部５０は、ＡＦ部４２を用いて、記憶されたテーブルから、焦点検出を行う条件に対応した変換係数Ｋｓを取得する。

なお、上述の通り、システム制御部５０は、各種の受光角度分布情報及びＡＦ部４２を用いて、カメラ１００内でシェーディング補正係数及び変換係数を算出してもよい。

Ｓ４００５で、システム制御部５０は、図７のＳ４０１と同様に、垂直方向の焦点検出用の画像信号として得られた第１の信号群と第３の信号群に、シェーディング補正、フィルター処理を行う。これにより、システム制御部５０は、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。本実施形態では、高精度に焦点検出を行うため、第１の信号群、第３の信号群は、撮像信号相当として全画素の読み出しを行い、加算などの圧縮を行わずに得た信号とする。高画素静止画撮影の記録画像に対して、領域を制限することで、データ量を低減してもよい。また、フィルター処理に関しても、高精度の焦点検出を行うため、比較的、空間周波数帯域の高いフィルターを用いればよい。記録画像のピント状態の評価は、撮影者の視力や鑑賞環境により条件が異なるが、３０本／mm～８０本／mm程度の空間周波数を評価可能なフィルターを用いて、Ｓ４００５では処理を行えばよい。

Ｓ４００６で、システム制御部５０は、図７のＳ４０２と同様に、フィルター処理後の第１の信号群と第３の信号群を相対的に垂直方向にシフトさせるシフト処理（相関演算処理）を行い、信号の一致度を表す相関量を算出する。演算方法は、Ｓ４０２と同様のため、説明を割愛する。

Ｓ４００７で、システム制御部５０は、図７のＳ４０３と同様に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐｖとする。Ｓ４００８では、システム制御部５０は、図７のＳ４０４と同様に、算出した像ずれ量ｐｖに、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋｓをかけて、デフォーカス量を算出し、合焦位置（第３の合焦位置）を検出する。Ｓ４００８の処理を終えると、システム制御部５０は、本サブルーチンを終了し、処理を図１２のＳ１００５に戻す。

次に、図１４を用いて、図１２のＳ１００５の水平方向の焦点検出のサブルーチンについて説明する。本処理はシステム制御部５０が主に行う。Ｓ５００１で、システム制御部５０は、水平方向の視差信号の生成を行う。本実施形態では、システム制御部５０は、第２の信号群の取得の際に、全画素の読み出しを行い、第１の焦点検出信号と第２の焦点検出信号を得ている。システム制御部５０は、これら対の焦点検出信号から、高精度な焦点検出を目的として、校正用視差信号（第１の視差信号ペア）を生成する。また、Ｓ５００１では同様に、システム制御部５０は、焦点調節相当の視差信号も生成する。図５のＳ２で説明した通り、本実施形態では、焦点調節の際（ライブビュー時）の焦点検出信号は、撮像素子１４内において（又は撮像素子１４から読み出した後に）、信号を加算、間引きする処理を行い、データ量の圧縮を行う。そのため、焦点調節相当の視差信号を得るために、Ｓ５００１では、システム制御部５０は、焦点調節の際と同等の加算、間引き処理を行う。本実施形態では、上述の通り、水平方向には、同色間で３画素の加算を行い、１／３に間引きを行い、垂直方向には、１／３行に読出し行数を減らす。即ち、システム制御部５０は、校正用視差信号（第１の視差信号ペア）の画素数を削減することにより焦点調節相当の視差信号（第２の視差信号ペア）を生成する。

次に、Ｓ５００２で、システム制御部５０は、校正用視差信号に対して、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。処理の内容は、図７のＳ４０１と同様である。次に、Ｓ５００３で、システム制御部５０は、図７のＳ４０２と同様に、フィルター処理後の対の視差信号を相対的に瞳分割方向にシフトさせるシフト処理（相関演算処理）を行い、信号の一致度を表す相関量を算出する。

Ｓ５００４、Ｓ５００５で、システム制御部５０は、図７のＳ４０３、Ｓ４０４と同様に、校正用視差信号に対して、像ずれ量の算出、デフォーカス量の算出を行う。像ずれ量の検出分解能が異なるため、システム制御部５０は、焦点調節用の変換係数Ｋに対して、水平圧縮率に相当する１／３倍した変換係数を用いてデフォーカス量の算出を行う。

Ｓ５００６～Ｓ５００９で、システム制御部５０は、Ｓ５００１で生成された焦点調節相当の視差信号に対して、図７のＳ４０１～Ｓ４０４と同様に、信号補正／フィルター処理、相関演算、像ずれ量算出、デフォーカス量算出を行う。

以上のように構成することにより、焦点調節時の焦点検出結果を、水平方向、垂直方向のコントラストに対する高精度な焦点検出結果で校正することができ、高精度な焦点調節を実現することができる。

本実施形態では、システム制御部５０は、水平方向、垂直方向、それぞれ１対の視差信号を生成し、焦点検出結果の校正を行った。その際に、図１１を用いて説明したように、第１のシャッタの遮光幕の開口幅を調整することにより、複数対の垂直方向視差信号を生成することもできる。複数対の垂直方向視差信号を生成することにより、像高によらず、デフォーカス量に対する像ずれ量を拡大することができ、より高精度な焦点検出を行うことができる。

以上説明したように、本実施形態によれば、カメラ１００は、結像光学系の光軸方向において第１の距離だけ離れた第１の先幕と第１の後幕とを用いる第１のシャッタ動作により撮像素子１４を露光することにより画像（第１の画像）を取得する。また、カメラ１００は、結像光学系の光軸方向において第２の距離だけ離れた第２の先幕と第２の後幕とを用いる第２のシャッタ動作により撮像素子１４を露光することにより画像（第２の画像）を取得する。ここで、第２の距離は、第１の距離より小さい。そして、カメラ１００は、第１のシャッタ動作及び第２のシャッタ動作を行う撮像制御により取得された第１の画像（第１の信号群）及び第２の画像（第２の信号群）に基づいて、第１の画像に対して視差を持つ第３の画像（第３の信号群）を生成する。第３の画像（第３の信号群）は、第１のシャッタ動作の駆動方向に視差を持つ。これにより、結像光学系の射出瞳を分割せずに撮像面上で視差画像を取得することが可能となる。

なお、本実施形態では、視差画像を焦点検出のために使用する構成について説明したが、視差画像の用途はこれに限定されない。例えば、システム制御部５０は、視差画像に基づいて、像ずれマップ、デフォーカスマップ、被写体距離マップなどの距離情報を取得し、取得した距離情報を記録したり出力したりしてもよい。また、システム制御部５０は、取得した距離情報を利用して３Ｄモデルデータの生成、リフォーカス処理、背景ぼかし処理などを行ってもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２…メカニカルシャッタ、１４…撮像素子、２０…画像処理部、３６…シャッタ制御部、５０…システム制御部、５２…メモリ、５６…不揮発性メモリ、１００…カメラ、３００…撮影レンズ、３１１…レンズ、３４６…レンズシステム制御部

Claims (20)

1. 結像光学系の光軸方向において第１の距離だけ離れた第１の先幕と第１の後幕とを用いる第１のシャッタ動作により撮像素子を露光することにより第１の画像を取得し、前記光軸方向において前記第１の距離より小さい第２の距離だけ離れた第２の先幕と第２の後幕とを用いる第２のシャッタ動作により前記撮像素子を露光することにより第２の画像を取得する撮像制御手段と、
   前記第１の画像及び前記第２の画像に基づいて、前記第１の画像に対して前記第１のシャッタ動作の駆動方向に視差を持つ第３の画像を生成する生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子は、前記第１のシャッタ動作の駆動方向と直交する方向に前記結像光学系の射出瞳を分割する第１の瞳部分領域及び第２の瞳部分領域それぞれに対応する第１の光電変換部及び第２の光電変換部を含んだ画素を有し、
   前記撮像制御手段は、前記第２のシャッタ動作を行うことにより前記第１の光電変換部及び前記第２の光電変換部に対応する第１の視差信号ペアを取得する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像と前記第３の画像との間の前記視差、及び前記第１の視差信号ペアに基づいて第１の合焦位置を検出する検出手段を更に備える
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段は、前記第１の視差信号ペアに基づいて第２の合焦位置を検出し、前記第１の合焦位置と前記第２の合焦位置との差を表す補正情報を生成する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記第１の視差信号ペアに基づいて前記第２の合焦位置を検出することは、前記第１の視差信号ペアの画素数を削減することにより第２の視差信号ペアを生成し、前記第２の視差信号ペアの視差に基づいて前記第２の合焦位置を検出することを含む
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像素子の受光感度分布、前記第１のシャッタ動作に対応する受光感度分布、及び前記結像光学系のレンズ光束範囲に応じた変換係数を用いて前記第１の画像と前記第３の画像との間の前記視差をデフォーカス量に変換する変換手段を更に備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記変換手段は、前記変換係数を予め記憶した記憶手段から前記変換係数を取得する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像制御手段は、前記第１のシャッタ動作により前記第１の画像を取得した後に、前記第２のシャッタ動作により前記第２の画像を取得する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像制御手段は、前記第２のシャッタ動作により前記第２の画像を取得した後に、前記第１のシャッタ動作により前記第１の画像を取得する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記第１の先幕は電子先幕であり、前記第１の後幕はメカ後幕である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の先幕はメカ先幕であり、前記第１の後幕は電子後幕である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
12. 前記第２の先幕は電子先幕であり、前記第２の後幕は電子後幕である
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記第２の先幕はメカ先幕であり、前記第２の後幕はメカ後幕である
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
14. 前記撮像制御手段は、各第１のシャッタ動作において前記第１の先幕と前記第１の後幕とを異なる開口幅で駆動するように複数の前記第１のシャッタ動作を行うことにより複数の前記第１の画像を取得し、
    前記生成手段は、前記複数の前記第１の画像に対応する複数の前記第３の画像を生成する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記生成手段は、前記第２の画像から前記第１の画像を減算することにより前記第３の画像を生成する
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記第１の画像と前記第３の画像との間の前記視差に基づいて第３の合焦位置を検出する検出手段を更に備える
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 前記第１のシャッタ動作において前記第１の先幕と前記第１の後幕とを駆動する開口幅を、前記第３の画像が持つ前記視差を生じさせる像高に基づいて決定する決定手段を更に備える
    ことを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 前記撮像素子を更に備える
    ことを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
19. 撮像装置が実行する制御方法であって、
    結像光学系の光軸方向において第１の距離だけ離れた第１の先幕と第１の後幕とを用いる第１のシャッタ動作により撮像素子を露光することにより第１の画像を取得し、前記光軸方向において前記第１の距離より小さい第２の距離だけ離れた第２の先幕と第２の後幕とを用いる第２のシャッタ動作により前記撮像素子を露光することにより第２の画像を取得する撮像制御工程と、
    前記第１の画像及び前記第２の画像に基づいて、前記第１の画像に対して前記第１のシャッタ動作の駆動方向に視差を持つ第３の画像を生成する生成工程と、
    を備えることを特徴とする制御方法。
20. コンピュータを、請求項１乃至１８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images