JP6239862B2 - 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、焦点調節装置および焦点調節方法に関し、特に結像光学系の異なる射出瞳を通過した被写体光に基づく画素信号を用いて焦点調節を行う焦点調節装置、焦点調節方法および撮像装置に関する。

撮像装置の焦点検出方法の１つに、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。撮像面位相差方式の焦点検出においては、撮像素子に形成された焦点検出画素により、デフォーカス方向とデフォーカス量を同時に検出することが可能であり、高速に焦点調節を行うことができる。

例えば、特許文献１では、１つの画素について、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部（焦点検出画素）で受光したそれぞれの焦点検出信号から像ずれ量を求めて、位相差方式の焦点検出を行うことができる。また、特許文献２では、分割された光電変換部で受光した焦点検出信号を加算することにより撮像信号を生成することが開示されている。

特許文献３では、複数の撮像画素からなる２次元撮像素子に、部分的に１対の焦点検出画素が配置された撮像装置が開示されている。そこでは、１対の焦点検出画素を、開口部を有する遮光層により、撮影レンズの射出瞳の異なる領域を通過した被写体光を受光するよう構成することで瞳分割を行っている。２次元撮像素子の大部分に配置された撮像画素で撮像信号を取得し、一部に配置された焦点検出画素の画素信号から像ずれ量を求めて、位相差方式の焦点検出を行うことが開示されている。

米国特許第４４１０８０４号 特開２００１−０８３４０７号公報 特開２０００−１５６８２３号公報

しかしながら、撮像面位相差方式では、焦点検出を行う焦点検出画素が受光する光束と撮像画像を取得する撮像画素が受光する光束が異なるため、撮影レンズの各収差（球面収差、非点収差、コマ収差など）の焦点検出信号への影響と撮像信号への影響が異なる。そのため、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間に差が生じるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間の差を抑制し、高精度な焦点検出を可能とすることを目的とする。

本発明によれば、被写体の光学像を形成する結像光学系の異なる瞳領域を通過した被写体光を光電変換して得られた画素信号を用いて被写体の焦点調節を行う焦点調節装置は、画素信号を取得する取得手段と、画素信号を用いて、異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、複数の焦点検出信号の像ずれ量に基づいて第１のデフォーカス量を検出する第１の焦点検出手段と、複数の焦点検出信号から生成したリフォーカス信号のコントラスト評価値に基づいて第２のデフォーカス量を検出する第２の焦点検出手段と、第１の焦点検出手段を制御し、検出した前記第１のデフォーカス量に基づいて前記結像光学系の焦点調節を行った後に、前記第２の焦点検出手段を制御し、検出した第２のデフォーカス量に基づいて、さらに合焦状態に焦点調節を制御する制御手段を備える。

本発明によれば、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間に差が生じることを抑制し、高精度な、または高精度で高速な焦点検出を可能となる。

本発明の第１の実施例に係る焦点調節装置を適用した撮像装置の概略構成図 本発明の第１の実施例における撮像装置で用いられる撮像素子の画素配列の概略図 本発明の第１の実施例における撮像装置で用いられる撮像素子の画素構成の概略平面図と概略断面図 本発明の第１の実施例における撮像装置で用いられる撮像素子の画素と瞳分割領域との対応を説明するための図 本発明の第１の実施例における撮像装置で用いられる結像光学系と撮像素子における瞳分割を説明するための図 本発明の第１の実施例における撮像装置で用いられる撮像素子からの画素信号から生成される第１の焦点検出信号および第２の焦点検出信号に基づく像のデフォーカス量と像ずれ量の関係を示す図 本発明の第１の実施例における第１の焦点検出の動作のフロ−チャートを示す図 本発明の第１の実施例における第１の焦点検出信号と第２の焦点検出信号の瞳ずれによるシェーディングを説明するための図 本発明の第１の実施例におけるフィルター周波数帯域例 本発明の第１の実施例における第１の焦点検出信号と第２の焦点検出信号の例 本発明の第１の実施例における光学補正処理と第１フィルター処理後の第１の焦点検出信号と第２の焦点検出信号の例 本発明の第１の実施例における第１検出デフォーカス量と第２検出デフォーカス量の算出例 本発明の第１の実施例におけるリフォーカス処理の概略説明図 本発明の第２の実施例における第２の焦点検出処理の流れの概略図 本発明の第１の実施例における第２フィルター処理後の第１の焦点検出信号と第２の焦点検出信号の例 本発明の第１の実施例における第２フィルター処理後の第１の焦点検出信号と第２の焦点検出信号をシフト加算した例 本発明の第１の実施例における第２評価値例 本発明の第１の実施例におけるリフォーカス可能範囲の概略説明図 本発明の第１の実施例における焦点検出処理の流れの概略図 本発明の第２の実施例における焦点検出処理の流れの概略図 本発明の第３の実施例における画素配列の概略図 本発明の第３の実施例における画素の概略平面図と概略断面図

以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。

［第１の実施例］
［全体構成］
図１は、本発明の第１の実施例に係る焦点調節装置を適用した撮像装置であるカメラの構成図を示す。当該撮像装置は、後述するように、結像光学系の射出瞳の瞳分割手段であるマイクロレンズを有する撮像素子を有し、撮像面位相差方式の焦点調節が可能な装置である。
同図において、１０１は、被写体の光学像を形成する結像光学系の先端に配置された第１のレンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２のレンズ群である。そして前記絞り兼用シャッタ１０２及び第２のレンズ群１０３は一体となって光軸方向に進退し、前記第１のレンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

１０５は第３のレンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺部からなる撮像素子であり、結像光学系の結像面に配置される。

１１１はズームアクチュエータで、変倍作用を実現するために、不図示のカム筒を回動することで、第１のレンズ群１１１ないし第２レンズ群１０３を光軸方向に進退駆動して変倍操作を行なう。１１２は絞りシャッタアクチュエータで、撮影光量を調節する絞り兼用シャッタ１０２の開口径を制御すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、焦点調節を行うため、第３のレンズ群１０５を光軸方向に進退駆動する。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス部等を有する。当該ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムをロードして実行することで、カメラが有する各部を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。ＣＰＵ１２１は、後述する画像処理部１２５とともに本発明の焦点調節装置を構成する手段であり、焦点調節のための信号処理および結像光学系の駆動の制御を司る。

１２２は電子フラッシュ制御部で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動部で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動部で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理部で、撮像素子１０７が生成した画像信号のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動部で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、焦点調節を行うために第３のレンズ群（フォーカスレンズ）１０５を光軸方向に進退駆動する。１２８は絞りシャッタ駆動部で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動部で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示装置で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、所定の記録フォーマットで記録部１３４により撮影済み画像が記録される。

［撮像素子］
本第１の実施例の撮像装置が有する撮像素子の画素配列の概略図を図２に示す。同図は、本第１の実施例で用いられる撮像素子としての２次元ＣＭＯＳセンサーの画素配列を、撮像画素の４列×４行の範囲で（焦点検出画素お配列としては８列×４行の範囲）で示している。

本実施例では、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが図の左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は２列×１行に配列された第１の焦点検出画素２０１と第２の焦点検出画素２０２により構成されている。

撮像素子１０７は、図２に示す４列×４行の撮像画素（８列×４行の焦点検出画素）を撮像面上に多数配置し、撮像画像信号および焦点検出信号の取得を可能としている。本実施例では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期Ｐ_ＡＦが２μｍ、焦点検出画素数Ｎ_ＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。

図２に示す撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施例の画素２００Ｇでは、各画素の受光面側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１の焦点検出画素２０１と第２の焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、光電変換により、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）(不図示)に転送され、電圧信号に変換されて画素信号として出力される。

図３に示した本実施例の画素構造と瞳分割との対応関係を図４に示す。図３（ａ）に示した本第１の実施例の画素構造のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。なお、図４において、図３と同様の部分は同じ符号を付して示す。

図４に示すように、第１の焦点検出画素２０１の第１の瞳部分領域４０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１の焦点検出画素２０１で受光可能な瞳領域を表している。第１の焦点検出画素２０１の第１の瞳部分領域４０１は、瞳面上で＋Ｘ側に重心が偏心している。図４で、第２の焦点検出画素２０２の第２の瞳部分領域４０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２の焦点検出画素２０２で受光可能な瞳領域を表している。第２の焦点検出画素２０２の第２の瞳部分領域４０２は、瞳面上で−Ｘ側に重心が偏心している。また、図４で、瞳領域４００は、光電変換部３０１と光電変換部３０２（第１の焦点検出画素２０１と第２の焦点検出画素２０２）とを合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

本実施例の撮像素子とマイクロレンズ（瞳分割手段）による瞳分割との対応関係の概略を図５に示す。射出瞳４１０の第１の瞳部分領域４０１と第２の瞳部分領域４０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１の焦点検出画素２０１と第２の焦点検出画素２０２で受光される。なお、本実施例では、瞳領域が水平方向に２つに瞳分割されている例を示しているが、必要に応じて、垂直方向に瞳分割を行っても良い。

上述のように、本実施例で用いる撮像素子は、結像光学系の第１の瞳部分領域を通過する光束を受光する第１の焦点検出画素と、第１瞳部分領域と異なる結像光学系の第２の瞳部分領域を通過する光束を受光する第２の焦点検出画素を有する。また、結像光学系の第１の瞳部分領域と第２の瞳部分領域を合わせた瞳領域を通過した光束を受光する撮像画素の配列も有する。本実施例の撮像素子では、それぞれの撮像画素が第１の焦点検出画素と第２の焦点検出画素から構成されている。しかし、必要に応じて、撮像画素と第１の焦点検出画素、第２の焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１の焦点検出画素と第２の焦点検出画素を部分的に配置する構成としても良い。

本実施例では、撮像素子の各画素の第１の焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２の焦点検出画素２０２の受光信号を集めて第２の焦点検出信号を生成(信号生成手段)して焦点検出を行う。また、撮像素子の画素毎に、第１の焦点検出画素２０１と第２の焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

［デフォーカス量と像ずれ量の関係］
次に、本実施例で用いる撮像素子により取得される第１の焦点検出信号と第２の焦点検出信号の像ずれ量とデフォーカス量との関係について説明する。

図６に、第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の関係を示す。撮像面５００に本実施例の撮像素子（不図示）が配置され、図４、図５と同様に、結像光学系の射出瞳が、第１の瞳部分領域４０１と第２瞳部分領域４０２に２分割される。なお、図６において、図３乃至及び５と同様な部分は同じ符号を付して示す。

デフォーカス量ｄは、被写体の結像位置から撮像面５００までの距離を大きさ｜ｄ｜としたとき、被写体の結像位置が撮像面より被写体側にある前ピン状態を負（ｄ＜０）、撮像面５００より被写体の反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体の結像位置が撮像面５００（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１の瞳部分領域４０１を通過した被写体光は、一度、集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面５００でボケた像となる。第２の瞳部分領域４０２を通過した被写体光についても同様であり、重心位置Ｇ２を中心として幅Γ２に広がったボケた像を形成する。ボケた像は、撮像素子に配列された各画素を構成する第１の焦点検出画素２０１（第２の焦点検出画素２０２）により受光され、第１の焦点検出信号（第２の焦点検出信号）が生成される。よって、第１の焦点検出信号（第２の焦点検出信号）は、撮像面５００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１の焦点検出信号と第２の焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１の焦点検出信号と第２の焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

したがって、第１の焦点検出信号と第２の焦点検出信号、もしくは、第１の焦点検出信号と第２の焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の大きさが増加する。

［焦点検出］
本実施例では、上述した第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と像ずれ量の関連性を用いて、位相差方式の第１の焦点検出と、リフォーカス原理に基づいた方式（以後、リフォーカス方式と呼ぶ）の第２の焦点検出を行う。被写体の焦点調節状態が大デフォーカス状態から小デフォーカス状態までは第１の焦点検出を行い、小デフォーカス状態から最良合焦位置近傍までは第２の焦点検出を行う。被写体の焦点調節状態の判定は、本実施例では、所定値と検出されたデフォーカス量との比較で判断する。

［位相差方式の第１の焦点検出］
まず、本の実施例における位相差方式の第１の焦点検出について説明する。

位相差方式の第１の焦点検出では、第１の焦点検出信号と第２の焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１の評価値）を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の大きさが増加する関連性から、像ずれ量を第１の検出デフォーカス量に変換して焦点検出を行う。

図７に、本第１の実施例の第１の焦点検出動作のフローチャートを示す。なお、図７の動作は、撮像素子１０７、画像処理部１２５と、それらを制御するＣＰＵ１２１によって実行される。

ステップＳ７１０で、まずＣＰＵ１２１は、撮像素子の有効画素領域の中から焦点調節を行う焦点検出領域を設定する。次いで、ＣＰＵ１２１は撮像素子１０７を制御し、焦点検出領域の第１の焦点検出画素の受光信号から第１の焦点検出信号を、また焦点検出領域の第２の焦点検出画素の受光信号から第２の焦点検出信号を取得する。

ステップＳ７２０で、画像処理部１２５は、第１の焦点検出信号と第２の焦点検出信号に、それぞれ、信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて第１の画素加算処理とする。

ステップＳ７３０で画像処理部１２５はさらに、第１の焦点検出信号と第２の焦点検出信号に、それぞれ、シェーディング補正処理（光学補正処理）を行う。位相差方式の第１の焦点検出では、第１の焦点検出信号と第２の焦点検出信号の相関（信号の一致度）を基に、第１の検出デフォーカス量の検出を行う。瞳ずれによるシェーディングが生じると第１の焦点検出信号と第２の焦点検出信号の相関（信号の一致度）が低下する場合がある。よって、位相差方式の第１の焦点検出では、第１の焦点検出信号と第２の焦点検出信号の相関（信号の一致度）を改善し、焦点検出性能を良好とするために、シェーディング補正処理（光学補正処理）を行うことが望ましい。

ここで、第１の焦点検出信号と第２の焦点検出信号の瞳ずれによるシェーディングについて説明する。
図８に、撮像素子の周辺像高における第１の焦点検出画素２０１の第１の瞳部分領域４０１、第２の焦点検出画素２０２の第２の瞳部分領域４０２、および結像光学系の射出瞳４１０の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。

図８（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１の瞳部分領域４０１と第２の瞳部分領域４０２により、結像光学系の射出瞳４１０が、概ね、均等に瞳分割される。

これに対して、図８（ｂ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４１０が、不均一に瞳分割されてしまう。同様に、図８（ｃ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４１０が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１の焦点検出信号と第２の焦点検出信号の強度も不均一になり、第１の焦点検出信号と第２の焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。

図７のステップＳ７３０で画像処理部１２５はシェーディング補正処理（光学補正処理）を行う。まず、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じて、第１の焦点検出信号の第１のシェーディング補正係数と、第２の焦点検出信号の第２のシェーディング補正係数を、それぞれ生成する。次いで、第１のシェーディング補正係数を第１の焦点検出信号に乗算し、第２のシェーディング補正係数を第２の焦点検出信号に乗算して、第１の焦点検出信号と第２の焦点検出信号のシェーディング補正処理（光学補正処理）を終了する。

図７のステップＳ７４０では、第１の焦点検出信号と第２の焦点検出信号に、第１のフィルター処理を行う。本実施例の第１のフィルター処理の通過帯域例を、図９に実線で示す。本実施例では、位相差方式の第１の焦点検出により、大デフォーカス状態での焦点検出を行うため、第１のフィルター処理の通過帯域は低周波帯域を含むように構成する。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、第１の焦点検出時の第１のフィルター処理の通過帯域を、図９に１点鎖線で示すように、より高周波帯域に調整しても良い。

次に、図７のステップＳ７５０では、第１のフィルター処理後の第１の焦点検出信号と第２の焦点検出信号を相対的に瞳分割方向にシフトさせる第１のシフト処理を行い、信号の一致度を表す相関量（第１の評価値）を算出する。

第１のフィルター処理後のｋ番目の第１の焦点検出信号をＡ（ｋ）、第２の焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。第１のシフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１として、相関量（第１の評価値）ＣＯＲは、式（１）により算出される。

シフト量ｓ１の第１のシフト処理により、ｋ番目の第１の焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２の焦点検出信号Ｂ（ｋ−ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量（第１の評価値）ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量（第１の評価値）を、各シフト量毎に、複数行に渡って加算しても良い。

ステップＳ７６０では、相関量（第１の評価値）から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋ１をかけて、第１の検出デフォーカス量（Ｄｅｆ１）を検出する。

上述したように、本実施例では、位相差方式の第１の焦点検出手段により、第１の焦点検出信号と第２の焦点検出信号に、第１のフィルター処理と第１のシフト処理を行って相関量を算出し、相関量から第１の検出デフォーカス量を検出する。

本実施例の撮像素子では、焦点検出画素（第１の焦点検出画素、第２の焦点検出画素）が受光する光束と、撮像画素が受光する光束が異なる。このため、結像光学系の各収差（球面収差、非点収差、コマ収差など）の焦点検出画素への影響と撮像信号への影響が異なる。結像光学系の絞り値が小さい（明るい）と差異がより大きくなる。そのため、結像光学系の絞り値が小さい（明るい）時に、位相差方式の第１の焦点検出により算出される検出合焦位置と撮像信号の最良合焦位置との間に差が生じる場合がある。特に、結像光学系の絞り値が所定絞り値以下の場合に、位相差方式の第１の焦点検出の焦点検出精度が低下する場合がある。なお、ここで、検出合焦位置とは、第１の検出デフォーカス量が０となる位置であり、また、撮像信号の最良合焦位置は撮像信号のＭＴＦ（Modulation Transfer Function)ピーク位置である。

図１０に、本実施例の撮像素子の周辺像高での撮像信号の最良合焦位置における第１の焦点検出信号（破線）と第２の焦点検出信号（実線）の例を示す。撮像信号の最良合焦位置であるが、結像光学系の各収差の影響により、第１の焦点検出信号と第２の焦点検出信号の信号形状が異なる例である。図１１に、シェーディング補正処理および第１のフィルター処理後の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）を示す。撮像信号の最良合焦位置であるが、第１の焦点検出信号と第２の焦点検出信号間の像すれ量ｐ１が０ではない。よって、位相差方式の第１の焦点検出により算出される検出合焦位置と撮像信号の最良合焦位置との間に差が生じる。

図１２に、本実施例における位相差方式の第１の焦点検出による第１の検出デフォーカス量（破線）の例を示す。横軸は、設定デフォーカス量であり、縦軸は検出デフォーカス量である。図１０に示した第１の焦点検出信号と第２の焦点検出信号は、図１２の設定デフォーカス量０［ｍｍ］における第１の焦点検出信号と第２の焦点検出信号である。設定デフォーカス量０の最良合焦位置において、第１の焦点検出による第１の検出デフォーカス量が後ピン側に約５０μｍオフセットしており、最良合焦位置と第１の焦点検出により算出される検出合焦位置との間に約５０μｍの差異が生じていることがわかる。

そこで、本実施例では、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との差を抑制するため、位相差方式の第１の焦点検出に加えて、結像光学系の最良合焦位置近傍で高精度な焦点検出が可能なリフォーカス方式の第２の焦点検出を行う。これにより、高精度な焦点検出が可能となる。

［リフォーカス方式の第２の焦点検出］
次に、本実施例におけるリフォーカス方式の第２の焦点検出について説明する。

本実施例のリフォーカス方式の第２の焦点検出では、第１の焦点検出信号と第２の焦点検出信号を相対的にシフトして加算し、シフト加算信号（リフォーカス信号）を生成する。次いで、生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、コントラスト評価値から撮像信号のＭＴＦピーク位置を推定し、第２の検出デフォーカス量を検出する。

図１３は、本実施例の撮像素子により取得された第１の焦点検出信号と第２の焦点検出信号による１次元方向（行方向、水平方向）のリフォーカス処理を明図するための図である。同図において、図５、図６と同様の部分は同じ符号を付して示す。図１３では、ｉを整数として、撮像面５００に配置された撮像素子の行方向ｉ番目の画素の第１の焦点検出信号をＡｉ、第２の焦点検出信号をＢｉで模式的に表している。第１の焦点検出信号Ａｉは、（図５の瞳部分領域４０１に対応した）主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２の焦点検出信号Ｂｉは、（図５の瞳部分領域４０２に対応した）主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。

第１の焦点検出信号Ａｉと第２の焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、第１の焦点検出信号Ａｉを角度θａに沿って仮想結像面１３１０まで平行移動させ、第２の焦点検出信号Ｂｉを角度θｂに沿って仮想結像位置１３１０まで平行移動させ、加算することで、仮想結像面１３１０でのリフォーカス信号を生成できる。第１の焦点検出信号Ａｉを角度θａに沿って仮想結像面１３１０まで平行移動させることは、行方向に＋０．５画素シフトに対応し、第２の焦点検出信号Ｂｉを角度θｂに沿って仮想結像面１３１０まで平行移動させることは、行方向に−０．５画素シフトに対応する。したがって、第１の焦点検出信号Ａｉと第２の焦点検出信号Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面１３１０でのリフォーカス信号を生成できる。同様に、第１の焦点検出信号Ａｉと第２の焦点検出信号Ｂｉを画素整数個分シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。

生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、算出されたコントラスト評価値から撮像信号のＭＴＦピーク位置を推定することで、リフォーカス方式の第２の焦点検出を行う。

図１４に、本第１の実施例の第２の焦点検出動作のフローチャートを示す。なお、図１４の動作も、撮像素子１０７、画像処理部１２５およびそれらを制御するＣＰＵ１２１によって実行される。

ステップＳ１４１０で、ＣＰＵ１２１は、まず撮像素子の有効画素領域の中から焦点調節を行う焦点検出領域を設定する。次いで、撮像素子１０７の駆動を制御して、焦点検出信号生成手段により、焦点検出領域の第１の焦点検出画素の受光信号から第１の焦点検出信号を、また焦点検出領域の第２の焦点検出画素の受光信号から第２の焦点検出信号を取得する。

ステップＳ１４２０で、第１の焦点検出信号と第２の焦点検出信号に、それぞれ、信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて第２の画素加算処理とする。必要に応じて、３画素加算処理とベイヤー（ＲＧＢ）加算処理のいずれか、または、これら両方の加算処理を省略しても良い。

ステップＳ１４３０では、第１の焦点検出信号と第２の焦点検出信号に、第２フィルター処理を行う。本第１の実施例の第２のフィルター処理の通過帯域例を、図９の破線および点線で示す。本実施例では、リフォーカス方式の第２の焦点検出により、小デフォーカス状態から最良合焦位置近傍まで焦点検出を行う。したがって、第２フィルター処理の通過帯域は、第１フィルター処理の通過帯域よりも、高周波帯域を含むように構成する。

必要に応じて、第２フィルター処理に被写体信号のエッジ抽出を行うラプラシアン型（２階微分型）［１、−２、１］フィルターを用いて、図９の点線で示すように第２のフィルター処理の通過帯域をより高周波帯域に構成しても良い。被写体の高周波成分を抽出して第２の焦点検出を行うことにより、焦点検出精度をより向上することができる。

ステップＳ１４４０では、第２フィルター処理後の第１の焦点検出信号と第２の焦点検出信号を相対的に瞳分割方向にシフトさせる第２のシフト処理を行い、加算してシフト加算信号（リフォーカス信号）を生成する。

ステップＳ１４４０では、さらに、生成されたシフト加算信号からコントラスト評価値（第２の評価値）を算出する。

第１のフィルター処理後のｋ番目の第１の焦点検出信号をＡ（ｋ）、第２の焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。第２シフト処理によるシフト量をｓ２、シフト量ｓ２のシフト範囲をΓ２として、コントラスト評価値（第２の評価値）ＲＦＣＯＮは、式（２）により算出される。

シフト量ｓ２の第２のシフト処理により、ｋ番目の第１の焦点検出信号Ａ（ｋ）とｋ−ｓ２番目の第２の焦点検出信号Ｂ（ｋ−ｓ２）を対応させて加算し、シフト加算信号を生成する。シフト加算信号の絶対値を計算し、焦点検出領域Ｗの範囲での最大値を取り、コントラスト評価値（第２の評価値）ＲＦＣＯＮ（ｓ２）を算出する。必要に応じて、各行毎に算出されたコントラスト評価値（第２の評価値）を、各シフト量毎に、複数行に渡って加算しても良い。

ステップＳ１４５０では、コントラスト評価値（第２の評価値）から、サブピクセル演算により、コントラスト評価値が最大値となる実数値のシフト量を算出してピークシフト量ｐ２とする。ピークシフト量ｐ２に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第２の変換係数Ｋ２をかけて、第２の検出デフォーカス量（Ｄｅｆ２）を検出する。なお、必要に応じて、第１の変換係数Ｋ１と第２の変換係数Ｋ２を同一の値としても良い。

本発明では、リフォーカス方式の第２の焦点検出手段により、第１の焦点検出信号と前記第２の焦点検出信号に、第２のフィルター処理と第２のシフト処理を行い、その後加算してシフト加算信号を生成する。次いで、シフト加算信号からコントラスト評価値を算出し、コントラスト評価値から第２の検出デフォーカス量を検出する。

本実施例の撮像素子では、図４、図５に示したように、第１の焦点検出画素が受光する光束と第２の焦点検出画素が受光する光束を加算したものが、撮像画素が受光する光束となる。位相差方式の第１の焦点検出とは異なり、リフォーカス方式の第２の焦点検出では、第１の焦点検出信号と第２の焦点検出信号のシフト加算信号（リフォーカス信号）により焦点検出を行う。よって、第２の焦点検出で用いられるシフト加算信号に対応する光束と、撮像信号に対応する光束が、概ね、一致するため、結像光学系の各収差（球面収差、非点収差、コマ収差など）のシフト加算信号への影響と撮像信号への影響も、概ね、同じである。したがって、リフォーカス方式の第２の焦点検出により算出される検出合焦位置（第２の検出デフォーカス量が０となる位置）と撮像信号の最良合焦位置（ＭＴＦピーク位置）が、概ね、一致するため、位相差方式の第１の焦点検出より高精度に焦点検出できる。

図１０に例示した本実施例の撮像素子の周辺像高での撮像信号の最良合焦位置における第１の焦点検出信号（破線）と第２の焦点検出信号（実線）に、第２のフィルター処理を施した後の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）を図１５に示す。また、第２のフィルター処理後の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）を、それぞれ、相対的に−２、−１、０、１、２シフトさせてシフト加算したシフト加算信号（リフォーカス信号）の例を図１６に示す。シフト量の変化に伴い、シフト加算信号のピーク値が変化することがわかる。各シフト加算信号から算出されたコントラスト評価値（第２の評価値）の例を図１７に示す。

図１２に、本実施例におけるリフォーカス方式の第２の焦点検出による第２の検出デフォーカス量（実線）の例を示す。横軸は、設定デフォーカス量であり、縦軸は検出デフォーカス量である。図１０に示した第１の焦点検出信号と第２の焦点検出信号は、図１２の設定デフォーカス量０［ｍｍ］における第１の焦点検出信号と第２の焦点検出信号である。設定デフォーカス量０の最良合焦位置において、第２の焦点検出による第２検出デフォーカス量は、第１の焦点検出による第１の検出デフォーカス量よりも小さく抑制され、高精度に焦点検出できることがわかる。したがって、本実施例では、結像光学系の設定デフォーカス量０の最良合焦位置近傍において、リフォーカス方式の第２の焦点検出の方が、位相差方式の第１の焦点検出より、高精度に焦点検出できる。

［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、リフォーカス方式の第２の焦点検出が高精度で焦点検出できるデフォーカス量の範囲は限定される。

図１８は、本実施例におけるリフォーカス可能範囲を明図するための図である。同図において、図５および６と同様の部分は、同じ符号を付して示す。図１３に示すように、許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、Ｎ_Ｈ×Ｎ_Ｖ（２×１）分割されて狭くなった瞳部分領域４０１の水平方向の実効絞り値Ｆ_０１は、Ｆ_０１＝Ｎ_ＨＦと暗くなる。第１の焦点検出信号毎の実効的な被写界深度は±Ｎ_ＨＦδとＮ_Ｈ倍深くなり、合焦範囲がＮ_Ｈ倍に広がる。実効的な被写界深度±Ｎ_ＨＦδの範囲内では、第１の焦点検出信号（第２の焦点検出信号）毎に合焦した被写体像が取得されている。瞳部分領域４０２の水平方向の実効絞り値Ｆ_０２についても同様であり、Ｆ_０２＝Ｎ_ＨＦと暗くなり、第２の焦点検出信号毎の実効的な被写界深度は±Ｎ_ＨＦδとＮ_Ｈ倍深くなる。この実効的な被写界深度の範囲内で、第２の焦点検出信号毎に合焦した被写体像が取得されている。よって、図１３に示した主光線角度θａ（またはθｂ）に沿って第１の焦点検出信号（または第２の焦点検出信号）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。よって、撮影後に合焦位置を再調整（リフォーカス）できる撮像面からのデフォーカス量ｄは限定されており、デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（３）の範囲である。

許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。必要に応じて、第２画素加算処理後の第１の焦点検出信号（第２の焦点検出信号）の周期ΔＸ_ＡＦ（＝６ΔＸ：６画素加算の場合）のナイキスト周波数１／（２ΔＸ_ＡＦ）の逆数を許容錯乱円δ＝２ΔＸ_ＡＦとしても用いても良い。

リフォーカス方式の第２の焦点検出が高精度で焦点検出できるデフォーカス量の範囲は、概ね、式（３）の範囲に限定され、第２の焦点検出により高精度に焦点検出可能なデフォーカス範囲は、位相差方式の第１の焦点検出可能なデフォーカス範囲以下の範囲である。図６に示したように、第１の焦点検出信号と第２の焦点検出信号との水平方向の相対的なシフト量とデフォーカス量は、概ね、比例する。したがって、本発明では、リフォーカス方式の第２の焦点検出の第２のシフト処理のシフト範囲が、位相差方式の第１の焦点検出の第１のシフト処理のシフト範囲以下となるように構成する。

また、本実施例の焦点検出では、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節するために第１の焦点検出を行い、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節するために第２の焦点検出を行う。したがって、第２の焦点検出の第２のフィルター処理の通過帯域が、第１の焦点検出の第１のフィルター処理の通過帯域より高周波帯域を含むことが望ましい。また、第２の焦点検出の第２の画素加算処理の画素加算数が、第１の焦点検出の第１の画素加算処理の画素加算数以下であることが望ましい。

上述したように、結像光学系の絞り値が所定の絞り値以下の場合に、位相差方式の第１の焦点検出の焦点検出精度が低下する場合がある。したがって、必要に応じて、結像光学系の絞り値が所定の絞り値以下の場合に、位相差方式の第１の焦点検出に加えて、リフォーカス方式の第２の焦点検出により第２の検出デフォーカス量を検出し、高精度な焦点検出を行うことが望ましい。

本実施例では、瞳領域が水平方向に２つに瞳分割されているため、撮像信号のコントラスト評価値から水平方向のＭＴＦピーク位置を検出することができる。必要に応じて、撮像信号の水平方向のＭＴＦピーク位置と撮像信号のＭＴＦピーク位置（撮像信号の水平垂直方向のＭＴＦピーク位置の平均）との差分を補正値として保持し、第２の検出デフォーカス量を補正しても良い。

本実施例の焦点検出動作のフローチャートを図１９に示す。なお、図１９の動作も、撮像素子１０７、画像処理部１２５およびそれらを制御するＣＰＵ１２１によって実行される。
本第１の実施例では、結像光学系のデフォーカス量の絶対値が第１の所定値以下になるまで位相差方式の第１の焦点検出を行ってレンズ駆動し、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節を行う。その後、結像光学系のデフォーカス量の絶対値が第２の所定値（＜第１の所定値）以下になるまでリフォーカス方式の第２の焦点検出を行ってレンズ駆動し、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節を行う。

ステップＳ１９００で、画像処理部１２５は、位相差方式による第１の焦点検出により第１の検出デフォーカス量（Ｄｅｆ１）を検出する。この検出動作は、図７に示すフローチャートに従って画像処理部１２５が動作することで行われる。ステップＳ１９０１でＣＰＵ１２１は、第１のデフォーカス量（Ｄｅｆ１）の大きさが第１の所定値より大きいかどうか判定する。検出された第１のデフォーカス量（Ｄｅｆ１）の大きさ｜Ｄｅｆ１｜が第１の所定値より大きい場合は、ステップＳ１９０２で、第１のデフォーカス量（Ｄｅｆ１）に応じてレンズ駆動を行い、ステップＳ１９００に戻る。検出された第１のデフォーカス量（Ｄｅｆ１）の大きさ｜Ｄｅｆ１｜が第１の所定値以下の場合は、ステップＳ１９１０に進む。

ステップＳ１９１０で、リフォーカス方式による第２の焦点検出により第２の検出デフォーカス量（Ｄｅｆ２）を検出する。この検出動作は、図１４に示すフローチャートに従って画像処理部１２５が動作することで行われる。ステップＳ１９２０でＣＰＵ１２１は、第２のデフォーカス量（Ｄｅｆ２）の大きさが第２の所定値より大きいかどうか判定する。検出された第２のデフォーカス量（Ｄｅｆ２）の大きさ｜Ｄｅｆ２｜が第２の所定値（＜第１の所定値）より大きい場合は、ステップＳ１９３０で、第２のデフォーカス量（Ｄｅｆ２）に応じてレンズ駆動を行い、ステップＳ１９１０に戻る。検出された第２のデフォーカス量（Ｄｅｆ２）の大きさ｜Ｄｅｆ２｜が第２の所定値以下の場合は、焦点調節動作を終了する。

以上の構成により、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間の差を抑制し、高精度な焦点検出が可能となる。なお、本実施例では撮像画素を水平方向に分割しているが、垂直方向に分割した場合でも同様に動作が可能である。

［第２の実施例］
本第２の実施例の焦点検出動作のフローチャートを図２０に示す。同図において、図１９と同じ部分は同じ符号を付して示し、本実施例における撮像装置の構成は第１の実施例と同様であるので、ここでの説明は省略する。また、本焦点検出動作は、ＣＰＵ１２１が、結像光学系１０１、撮像素子１０７および画像処理部１２５を制御することで実行される。
本実施例は、位相差方式の第１の焦点検出による第１の検出デフォーカス量の検出と、リフォーカス方式の第２の焦点検出による第２の検出デフォーカス量の検出とを並列処理し、焦点検出動作の高速化を図る例である。

図２０のステップＳ１９００で、位相差方式による第１の焦点検出により第１検出デフォーカス量（Ｄｅｆ１）を検出する。また、並列的に、ステップ１９１０で、リフォーカス方式による第２の焦点検出により第２の検出デフォーカス量（Ｄｅｆ２）を検出する。

ステップＳ２０００でＣＰＵ１２１は、第２のシフト処理のシフト範囲内で第２の検出デフォーカス量（Ｄｅｆ２）が検出されたかどうかを判定する。検出された場合は、ＣＰＵ１２１は、第２の検出デフォーカス量（Ｄｅｆ２）を第３の検出デフォーカス量（Ｄｅｆ３）とする（Ｓ２０２０）。検出されなかった場合は、第１の検出デフォーカス量（Ｄｅｆ１）を第３の検出デフォーカス量（Ｄｅｆ３）とする（Ｓ２０１０）。次いで、ステップＳ２０３０でＣＰＵ１２１は、第３のデフォーカス量（Ｄｅｆ３）の大きさ｜Ｄｅｆ３｜が第２の所定値より大きいかどうかを判定する。大きい場合は、ステップＳ２０４０でＣＰＵ１２１は結像光学系１０１を制御して、第３のデフォーカス量（Ｄｅｆ３）に応じてレンズ駆動を行い、ステップＳ１９００とステップＳ１９１０に戻る。第３のデフォーカス量（Ｄｅｆ３）の大きさ｜Ｄｅｆ３｜が第２の所定値以下の場合は、焦点調節動作を終了する。

上記以外は、第１の実施例と同様である。

以上の構成により、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間の差を抑制し、高精度で、なおかつ高速な焦点検出が可能となる。

［第３の実施例］
本発明の第３の実施例における撮像素子の撮像画素と副画素の配列の概略図を図２１に示す。図２１は、本第３の実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×８行の範囲で示したものである。なお、図２と同様の部分は同じ符号を付して示す。また、本実施例における撮像装置の構成は、撮像素子の画素構成を除いて第１の実施例と同様であるので、ここでは撮像素子の画素構成について説明する。

本実施例において、図２１に示す２列×２行の画素群２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置される。さらに、各画素は２列×２行に配列された副画素２１０１から副画素２１０４により構成されている。

図２１に示した４列×４行の画素（８列×８行の副画素）を面上に多数配置し、撮像画像（副画素信号）の取得を可能としている。本実施例では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の周期Ｐ_ＳＵＢが２μｍ、副画素数Ｎ_ＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素の撮像素子として説明を行う。

図２１に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図２２（ａ）に示し、図２２（ａ）のａ−ａ断面を−ｙ側から見た断面図を図２２（ｂ）に示す。図２２において、図３と同様の部分は同じ符号を付して示す。

図２２に示すように、本実施例の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（２分割）された光電変換部２２０１から光電変換部２２０４が形成される。光電変換部２２０１から光電変換部２２０４が、それぞれ、副画素２１０１から副画素２１０４に対応する。

本実施例では、撮像素子の各画素毎に、副画素２１０１から副画素２１０４の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。また、各画素毎に、副画素２１０１と副画素２１０３の信号を加算して第１の焦点検出信号を生成し、副画素２１０２と副画素２１０４の信号を加算して第２の焦点検出信号を生成することができる。これらの加算処理により、水平方向の瞳分割に対応した第１の焦点検出信号と第２の焦点検出信号を取得でき、位相差方式の第１の焦点検出とリフォーカス方式の第２の焦点検出を行うことができる。

同様に、本実施例では、各画素毎に、副画素２１０１と副画素２１０２の信号を加算して第１の焦点検出信号を生成し、副画素２１０３と副画素２１０４の信号を加算して第２の焦点検出信号を生成することができる。これらの加算処理により、垂直方向の瞳分割に対応した第１の焦点検出信号と第２の焦点検出信号を取得でき、位相差方式の第１の焦点検出とリフォーカス方式の第２の焦点検出を行うことができる。これにより、本実施例の撮像素子を第１又は第２の実施例における撮像装置の撮像素子として使用することが可能である。

上記以外は、第１の実施例と同様である。

以上の構成により、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間の差を抑制し、高精度な、または高感度で高速な焦点検出が可能となる。
上述した実施形態において図７、１４、１９および２０に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ１２１が実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図７、１４、１９および２０に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、図７、１４、１９および２０に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (17)

1. 被写体の光学像を形成する結像光学系の異なる瞳領域を通過した被写体光を光電変換して得られた画素信号を用いて前記被写体の焦点調節を行う焦点調節装置において、
   前記画素信号を取得する取得手段と、
   前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、
   前記複数の焦点検出信号の像ずれ量に基づいて第１のデフォーカス量を検出する第１の焦点検出手段と、
   前記複数の焦点検出信号から生成したリフォーカス信号のコントラスト評価値に基づいて第２のデフォーカス量を検出する第２の焦点検出手段と、
   前記第１の焦点検出手段を制御し、検出した前記第１のデフォーカス量に基づいて前記結像光学系の焦点調節を行った後に、前記第２の焦点検出手段を制御し、検出した前記第２のデフォーカス量に基づいて、さらに合焦状態に焦点調節を制御する制御手段と
   を備えることを特徴とする焦点調節装置。
2. 前記第１の焦点検出手段は、前記複数の焦点検出信号に第１のフィルター処理を行う第１のフィルター処理手段と、前記第１のフィルター処理された複数の焦点検出信号の第１のシフト処理を行って相関量を算出し、前記相関量に基づいて前記像ずれ量を検出する像ずれ量手段とを有し、
   前記第２の焦点検出手段は、前記複数の焦点検出信号に第２のフィルター処理を行う第２のフィルター処理手段と、前記第２のフィルター処理された複数の焦点検出信号に第２のシフト処理を行って加算することでリフォーカス信号を生成し、前記リフォーカス信号のコントラスト評価値を算出する評価値手段を有し、前記コントラスト評価値からサブピクセル演算することにより第２の検出デフォーカス量を検出し、
   前記第２のシフト処理のシフト範囲は、前記第１のシフト処理のシフト範囲以下であることを特徴とする請求項１に記載の焦点調節装置。
3. 前記第２のフィルター処理の通過帯域は、前記第１のフィルター処理の通過帯域より高周波帯域を含むことを特徴とする請求項２に記載の焦点検出装置。
4. 前記制御手段は、前記結像光学系の絞り値が所定絞り値以下の場合に、前記第２の焦点検出手段により前記第２のデフォーカス量を検出することを特徴とする請求項１乃至３のいずれか一項に記載の焦点調節装置。
5. 前記第１の焦点検出手段は、前記複数の焦点検出信号のそれぞれに第１の画素加算処理を行い、
   前記第２の焦点検出手段は、前記複数の焦点検出信号のそれぞれに第２の画素加算処理を行い、
   前記第２の画素加算処理の画素加算数が、前記第１の画素加算処理の画素加算数以下であることを特徴とする請求項１から請求項３のいずれか一項に記載の焦点調節装置。
6. 前記第１の焦点検出手段は、前記複数の焦点検出信号に光学補正処理を行う光学補正処理手段を有することを特徴とする請求項１から請求項５のいずれか一項に記載の焦点調節装置。
7. 前記第２の焦点検出手段は、前記被写体の画像信号のコントラスト評価値に基づいて前記第２のデフォーカス量を補正することを特徴とする請求項１乃至請求項６のいずれか一項に記載の焦点調節装置。
8. 前記制御手段は、前記第１の焦点検出手段および第２の焦点検出手段を制御して、前記第１のデフォーカス量の検出および前記第２のデフォーカス量の検出を行い、前記第２のデフォーカス量が検出された場合は前記第２のデフォーカス量に基づいて、前記第２のデフォーカス量が検出されない場合は前記第１のデフォーカス量に基づいて、前記第２又は第１のデフォーカス量の大きさが所定値以下となるまで、前記被写体の焦点調節を行うことを特徴とする請求項１乃至７のいずれか一項に記載の焦点調節装置。
9. 被写体の光学像を形成する結像光学系と、
   前記結像光学系の異なる瞳領域を通過した被写体光を瞳分割手段を介して受光して光電変換することで、前記異なる瞳領域を通過した被写体光に対応する画素信号を生成する撮像手段と、
   前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、
   前記複数の焦点検出信号の像ずれ量に基づいて第１のデフォーカス量を検出する第１の焦点検出手段と、
   前記複数の焦点検出信号から生成したリフォーカス信号のコントラスト評価値に基づいて第２のデフォーカス量を検出する第２の焦点検出手段と、
   前記第１の焦点検出手段を制御し、検出した前記第１のデフォーカス量に基づいて前記結像光学系の焦点調節を行った後に、前記第２の焦点検出手段を制御し、検出した前記第２のデフォーカス量に基づいて、さらに合焦状態に前記結像光学系の駆動を制御する制御手段と
   を備えることを特徴とする撮像装置。
10. 前記制御手段は、前記第１の焦点検出手段および第２の焦点検出手段を制御して、前記前記第１のデフォーカス量の検出および前記第２のデフォーカス量の検出を行い、前記第２のデフォーカス量が検出された場合は前記第２のデフォーカス量に基づいて、前記第２のデフォーカス量が検出されない場合は前記第１のデフォーカス量に基づいて、前記第２又は第１のデフォーカス量の大きさが所定値以下となるまで、前記結像光学系を駆動して焦点調節を行うことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像手段は、前記結像光学系の第１の瞳部分領域を通過する光束を受光する第１の焦点検出画素と、前記第１の瞳部分領域と異なる前記結像光学系の第２の瞳部分領域を通過する光束を受光する第２の焦点検出画素とを有し、前記第１の焦点検出画素と第２の焦点検出画素は、前記結像光学系の第１の瞳部分領域と第２の瞳部分領域を合わせた瞳領域を通過する光束を受光する撮像画素を構成することを特徴とする請求項９又は１０に記載の撮像装置。
12. 前記結像光学系は、フォーカスレンズを含み、前記制御手段は、前記フォーカスレンズの駆動を制御することを特徴とする請求項９乃至１１のいずれか一項に記載の撮像装置。
13. 被写体の光学像を形成する結像光学系の異なる瞳領域を通過した被写体光を光電変換して得られた画素信号を用いて前記被写体の焦点調節を行う焦点調節方法において、
    前記画素信号を取得する取得ステップと、
    前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成ステップと、
    前記複数の焦点検出信号の像ずれ量に基づいて第１のデフォーカス量を検出する第１の焦点検出ステップと、
    前記複数の焦点検出信号から生成したリフォーカス信号のコントラスト評価値に基づいて第２のデフォーカス量を検出する第２の焦点検出ステップと、
    前記第１の焦点検出ステップによって検出した前記第１のデフォーカス量に基づいて前記結像光学系の焦点調節を行った後に、前記第２の焦点検出ステップによって検出した前記第２のデフォーカス量に基づいて、さらに合焦状態に焦点調節を制御する制御ステップと
    を備えることを特徴とする焦点検出方法。
14. 被写体の光学像を形成する結像光学系の異なる瞳領域を通過した被写体光を光電変換して得られた画素信号を用いて前記被写体の焦点調節を行う焦点調節装置を制御するためのプログラムであり、
    コンピュータを、
    前記画素信号を取得する取得手段、
    前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段、
    前記複数の焦点検出信号の像ずれ量に基づいて第１のデフォーカス量を検出する第１の焦点検出手段、
    前記複数の焦点検出信号から生成したリフォーカス信号のコントラスト評価値に基づいて第２のデフォーカス量を検出する第２の焦点検出手段、
    前記第１の焦点検出手段を制御し、検出した前記第１のデフォーカス量に基づいて前記結像光学系の焦点調節を行った後に、前記第２の焦点検出手段を制御し、検出した前記第２のデフォーカス量に基づいて、さらに合焦状態に焦点調節を制御する制御手段
    として機能させるプログラム。
15. 請求項１４のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
16. コンピュータを、請求項１乃至８のいずれか一項に記載の焦点調節装置の各手段として機能させるプログラム。
17. コンピュータを、請求項１乃至８のいずれか一項に記載の焦点調節装置の各手段として機能させるプログラムを格納した記憶媒体。

Images