JP6239855B2 - 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、焦点調節装置および焦点調節方法に関し、特に結像光学系の異なる射出瞳を通過した被写体光に基づく画素信号を用いて焦点調節を行う焦点調節件装置、焦点調節方法および撮像装置に関する。

撮像装置の焦点検出方法の１つに、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。撮像面位相差方式の焦点調節においては、撮像素子に形成された焦点検出画素によりデフォーカス方向とデフォーカス量を同時に検出することが可能であり、高速に焦点調節を行うことができる。

例えば、特許文献１では、１つの画素について、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部（焦点検出画素）で受光したそれぞれの焦点検出信号から相関量を算出し、相関量から像ずれ量を求めて、位相差方式の焦点検出を行うことができる。また、特許文献２では、分割された光電変換部で受光した焦点検出信号を加算することにより撮像信号を生成することが開示されている。

特許文献３では、複数の撮像画素からなる２次元撮像素子に、部分的に１対の焦点検出画素が配置された撮像装置が開示されている。そこでは、１組の焦点検出画素を、開口部を有する遮光層により、撮影レンズの射出瞳の異なる領域を通過した被写体光を受光するよう構成することで瞳分割を行っている。２次元撮像素子の大部分に配置された撮像画素で撮像信号を取得し、一部に配置された焦点検出画素の画素信号から相関量を算出し、相関量から像ずれ量を求めて、位相差方式の焦点検出を行うことが開示されている。

米国特許４４１０８０４号明細書 特開２００１−０８３４０７号公報 特開２０００−１５６８２３号公報

しかしながら、撮像面位相差方式の焦点検出では、撮像素子のマイクロレンズを利用して瞳分割するため回折の影響を受け、瞳分割領域が明瞭な領域とならず受光率分布となり、撮像レンズのレンズ枠や絞り枠により枠ケラレが生じる。枠ケラレが生じると位相差に利用する１組の焦点検出信号の同形性が崩れ、エッジを強調する差分型フィルターにより歪みが強調され、場合によっては、誤った合焦（偽合焦）検出をしてしまうという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、撮像面位相差方式の焦点調節装置において、偽合焦検出を抑制し、焦点検出精度を向上することを目的とする。

本発明によれば、結像光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出信号を出力することが可能な複数の画素を有する撮像手段と、前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を除去する第１のフィルター処理を行って第１のデフォーカス量を検出する第１の焦点検出手段と、前記第１のデフォーカス量に基づいて焦点状態を判定する判定手段と、前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を通過させる第２のフィルター処理を行って前記第１のデフォーカス量の評価値を生成する評価値生成手段と、前記評価値に基づいて前記焦点状態の判定を評価し、前記評価の結果に従って焦点調節を制御する制御手段と、を有することを特徴とする焦点調節装置が提供される。

本発明によれば、撮像面位相差方式の焦点調節装置において、偽合焦検出を抑制し、焦点検出精度を向上することが可能となる。

本発明の第１の実施例に係る焦点調節装置を適用した撮像装置の概略構成図 本発明の第１の実施例における撮像装置で用いられる撮像素子の画素配列の概略図 本発明の第１の実施例における撮像装置で用いられる撮像素子の画素構成の概略平面図と概略断面図 本発明の第１の実施例における撮像装置で用いられる撮像素子の画素と瞳分割領域との対応を説明するための図 本発明の第１の実施例における撮像装置で用いられる結像光学系と撮像素子における瞳分割を説明するための図 本発明の第１の実施例における撮像装置で用いられる撮像素子で生成される画素信号から得られる第１の焦点検出信号および第２の焦点検出信号に基づくデフォーカス量と像ずれ量の関係を示す図 本発明の第１の実施例における撮像装置で用いられる撮像素子で画素における瞳強度分布の例を示す図 本発明の第１の実施例における撮像装置で用いられる撮像素子で生成された画素信号から得られる第１の焦点検出信号と第２の焦点検出信号の例を示す図 本発明の第１の実施例に係る焦点調節動作のフロートチャートを示す図 本発明の第１の実施例に係る焦点検出装置における焦点検出信号生成動作のフローチャートを示す図 本発明における差分型フィルターの周波数帯域の例を示す図 本発明の第２の実施例に係る焦点調節動作のフローチャートを示す図

以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。

［全体構成］
図１は本発明の第１に実施例に係る焦点調節装置を適用した像装置であるカメラの構成を示す図である。本撮像装置は、後述するように、結像光学系の射出瞳の瞳分割手段であるマイクロレンズアレイを有する撮像素子を有し、撮像面位相差方式の焦点調節が可能な装置である。
同図において、１０１は、被写体の光学像を生成する結像光学系の先端に配置された第１のレンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２のレンズ群である。そして前記絞り兼用シャッタ１０２及び第２のレンズ群１０３は一体となって光軸方向に進退し、前記第１のレンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現する。

１０５は第３のレンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺回路からなる撮像素子であり、結像光学系の結像面に配置される。

１１１はズームアクチュエータで、変倍作用を実現するために、不図示のカム筒を回動することで、第１のレンズ群１１１ないし第３レンズ群１０３を光軸方向に進退駆動する。し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、撮影光量を調節する絞り兼用シャッタ１０２の開口径を制御してと共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、焦点調節を行ため、第３のレンズ群１０５を光軸方向に進退駆動する。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。当該ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムをロードして実行することで、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。ＣＰＵ１２１は本発明のする焦点調節装置を構成する手段であり、焦点調節のための信号処理を司る。

１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が生成した画像信号のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、焦点調節を行うために第３のレンズ群１０５を光軸方向に進退駆動する。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示装置で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、所定の記録フォーマットで記録部１３４により撮影済み画像が記録される。

［撮像素子］
本実施例の撮像装置が有する撮像素子の画素配列の概略を図２に示す。同図は、本実施例で用いられる撮像素子としての２次元ＣＭＯＳセンサーの画素配列を、撮像画素の４列×４行の範囲（焦点検出画素の配列としては８列×４行の範囲）で示している。

本実施例において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが図の左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は２列×１行に配列された第１の焦点検出画素２０１と第２の焦点検出画素２０２により構成されている。

撮像素子１０７は、図２に示す４列×４行の撮像画素（８列×４行の焦点検出画素）を撮像面上に多数配置し、撮像画像信号および焦点検出信号の取得を可能としている。本実施例では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期Ｐ_ＡＦが２μｍ、焦点検出画素数Ｎ_ＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。

図２に示す撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施例の画素２００Ｇでは、各画素の受光面に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１の焦点検出画素２０１と第２の焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。

光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。

光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）(不図示)に転送され、電圧信号に変換されて画素信号として出力される。

図３に示した本実施例１の画素構造と瞳分割との光学的な対応関係を図４に示す。図３（ａ）に示した本実施例の画素構造のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。なお、図４において、図３と同様の部分は同じ符号を付して示す。

図４に示すように、第１の焦点検出画素２０１の第１の瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１の焦点検出画素２０１で受光可能な瞳領域を表している。第１の焦点検出画素２０１の第１の瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。

また、第２の焦点検出画素２０２の第２の瞳部分領域４０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２の焦点検出画素２０２で受光可能な瞳領域を表している。第２の焦点検出画素２０２の第２の瞳部分領域４０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域４００は、光電変換部３０１と光電変換部３０２（第１の焦点検出画素２０１と第２の焦点検出画素２０２）とを合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

本実施例の撮像素子とマイクロレンズ(瞳分割手段)による瞳分割との対応関係の概略を図５に示す。射出瞳５０３の第１の瞳部分領域４０１と第２の瞳部分領域４０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ異なる角度で入射し、２×１分割された第１の焦点検出画素２０１と第２の焦点検出画素２０２で受光される。なお、本実施例では、瞳領域が水平方向に２つに瞳分割されている例を示しているが、必要に応じて、垂直方向に瞳分割を行っても良い。

上述のように、本実施例で用いる撮像素子は、結像光学系の異なる瞳部分領域を通過した被写体光をそれぞれ撮像可能な撮像手段である。例えば、結像光学系の第１の瞳部分領域を通過する被写体光を撮像する第１の焦点検出画素と、第１の瞳部分領域と異なる結像光学系の第２の瞳部分領域を通過する被写体光を撮像する第２の焦点検出画素とを有する。また、結像光学系の第１の瞳部分領域と第２の瞳部分領域を合わせた瞳領域を通過する光束を受光する撮像画素の配列も有することも可能である。なお、本実施例の撮像素子では、それぞれの撮像画素が第１の焦点検出画素と第２の焦点検出画素から構成されている。しかし、必要に応じて、撮像画素と第１の焦点検出画素および第２の焦点検出画素とを個別の画素構成とし、撮像画素配列の一部に、第１の焦点検出画素と第２の焦点検出画素を部分的に配置する構成としても良い。

本実施例では、撮像素子の各画素の第１の焦点検出画素２０１の受光信号を集めて第１の焦点検出信号を生成し、各画素の第２の焦点検出画素２０２の画素信号を集めて第２の焦点検出信号を生成（信号生成手段）して焦点検出を行う。また、撮像素子の画素毎に、第１の焦点検出画素２０１と第２の焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

［デフォーカス量と像ずれ量の関係］
次に、本実施例で用いる撮像素子により取得される第１の焦点検出信号と第２の焦点検出信号の像ずれ量とデフォーカス量との関係について説明する。

図６に、第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の関係の概略を示す。撮像面５００に本実施例で用いる撮像素子（不図示）が配置され、図４、図５と同様に、結像光学系の射出瞳が、第１の瞳部分領域４０１と第２の瞳部分領域４０２に２分割される。なお、図６において図３乃至５と同様の部分は同じ符号を付して示す。

デフォーカス量ｄは、被写体の結像位置から撮像面５００までの距離を大きさ｜ｄ｜としとき、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、撮像面５００より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面５００（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１の瞳部分領域４０１（第２の瞳部分領域４０２）を通過した被写体光は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面５００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１の焦点検出画素２０１（第２の焦点検出画素２０２）により受光され、第１の焦点検出信号（第２の焦点検出信号）が生成される。よって、第１の焦点検出信号（第２の焦点検出信号）は、撮像面５００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１の焦点検出信号と第２の焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１の焦点検出信号と第２の焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

よって、本発明では、第１の焦点検出信号と第２の焦点検出信号、もしくは、第１の焦点検出信号と第２の焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の大きさが増加する。

本実施例では、第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と像ずれ量の関係性を用いて、位相差方式の焦点調節を行う。

位相差方式の焦点調節は、第１の焦点検出信号と第２の焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換することで焦点検出を行う。

［枠ケラレ］
本実施例では、撮像素子のマイクロレンズを利用して瞳分割するため、回折の影響により瞳分割領域が明瞭な領域とならず受光率分布となり、撮像レンズのレンズ枠や絞り枠により枠ケラレが生じる。

図４で、射出瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、瞳強度分布（受光率の入射角分布）となる。

図４の結像光学系の射出瞳面のＸ軸に対して第１の焦点検出画素の第１の瞳部分領域４０１を射影した第１の焦点検出画素のＸ軸に沿った１次元の瞳強度分布の例を図７（点線）で示す。また、図４の結像光学系の射出瞳面のＸ軸に第２の焦点検出画素の第２の瞳部分領域４０２を射影した第２の焦点検出画素のＸ軸に沿った１次元の瞳強度分布の例を図７（実線）で示す。図７の横軸は、結像光学系の射出瞳面のＸ軸で、縦軸は受光率である。

図７の第１の焦点検出画素の瞳強度分布（点線）の−Ｘ側は、マイクロレンズによる瞳分割のため、瞳部分領域の境界が回折の影響でボヤけ、緩やかな曲線となる。一方反対の＋Ｘ側は、結像光学系のレンズ枠や絞り枠で規定される射出瞳によりケラレるため、急峻な曲線となる。一方、図７の第２の焦点検出画素の瞳強度分布（実線）は、第１の焦点検出画素の瞳強度分布（点線）のＸ軸の正負を反転した形となる。よって、第１の焦点検出画素の瞳強度分布と第２の焦点検出画素の瞳強度分布は同形状ではなく、平行移動（シフト）して重ね合わせた場合の一致度が低下する。

図７の第１の焦点検出画素と第２の焦点検出画素の１次元の瞳強度分布を、結像光学系の瞳距離とデフォーカス量に応じてスケール変換したものが、それぞれ、第１の焦点検出信号と第２の焦点検出信号の線像となる。したがって、デフォーカス状態では、第１の焦点検出信号の線像と第２の焦点検出信号の線像は同形状ではなく、第１の焦点検出信号と第２の焦点検出信号の同形性が崩れる。合焦状態では、第１の焦点検出信号の線像と第２の焦点検出信号の線像が共にデルタ関数に近づき、第１の焦点検出信号と第２の焦点検出信号が概ね同形状となる。

本実施例での２本線被写体の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）の合焦状態での例を図８（ａ）に、中デフォーカス状態での例を図８（ｂ）に、大デフォーカス状態での例を図８（ｃ）に示す。合焦状態から大デフォーカス状態になるにつれて、ボケながら像ずれ量が増加することがわかる。

位相差方式の焦点調節では、通常、相関（信号の一致度）を良くして焦点検出精度を向上するために、第１の焦点検出信号と第２の焦点検出信号のＤＣ成分をカットしてエッジ抽出を行う差分型フィルター（第１のフィルター）の処理を施した後、相関量を算出する。差分型フィルターは、｛１、２、０、−２、−１｝や｛１、４、４、４、０、−４、−４、−４、−１｝の例のように、フィルター成分が正と負の値から構成される。

図８（ａ）の合焦状態の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）に差分型フィルター処理を施した例を図８（ｄ）に示す。また、図８（ｂ）の中デフォーカス状態の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）に差分型フィルター処理を施した例を図８（ｅ）に示す。

しかしながら、枠ケラレにより同形性が崩れた第１の焦点検出信号と第２の焦点検出信号に、エッジ抽出を行う差分型（第１の）フィルター処理を施すと、撮影条件によって、第１の焦点検出信号と第２の焦点検出信号の形状の歪みが強調されることがある。その結果、誤った合焦（偽合焦）検出をしてしまう場合がある。

図８（ｃ）の大デフォーカス状態の第１の焦点検出信号（破線）と第２の焦点検出信号（実線）に差分型フィルター処理を施した例を図８（ｆ）に示す。図８（ｆ）は、差分型フィルター処理を施すことにより、第１の焦点検出信号と第２の焦点検出信号の形状の歪みが強調され、偽合焦検出をしてしまう場合の信号例である。図８（ｅ）のデフォーカス量よりも、図８（ｆ）のデフォーカス量の方が大きいにもかかわらず、第１の焦点検出信号と第２の焦点検出信号の形状の歪みが強調された結果、図８（ｆ）のデフォーカス量が小さく算出され、偽合焦検出となる例である。

図８（ｆ）のように差分型フィルター処理により偽合焦検出となる場合は、図８（ｃ）のように差分型フィルター処理を行わずに相関量を演算し、デフォーカス量を算出することで、合焦か偽合焦か判定することができる。

差分型フィルター処理を行わない場合は、第１の焦点検出信号と第２の焦点検出信号の高周波ノイズ成分を抑制する加算型フィルター(第２のフィルター)の処理を施した後、相関量を算出する。加算型フィルターは、｛１、１｝や｛１、２、１｝の例のように、フィルター成分が全て非負（正または０）のみの値、もしくは、全て非正（負または０）のみの値から構成される。

［焦点検出］
本発明では、第１の焦点検出信号と第２の焦点検出信号に差分型フィルター処理を行い、第１の相関量を算出して焦点検出を行う際に、第１の焦点検出信号と第２の焦点検出信号に加算型フィルター処理を行い、第２の相関量を算出して偽合焦判定を行う。これにより、第１の相関量に基づく焦点検出における偽合焦検出を抑制し、焦点検出精度を向上することができる。

図９に、本実施例の焦点調節動作のフローチャートを示す。なお、図９の動作は、本実施例における撮像装置の撮像素子１０７、画像処理回路１２５およびＣＰＵ１２１によって実行される。特に、本実施例に係る焦点調節装置の焦点検出信号生成手段、第１の相関量生成手段、第２の相関量生成手段、第１の焦点検出手段、および評価値生成手段としての機能は、画像処理回路１２５およびＣＰＵ１２１によって実行される。

ステップＳ１００で、焦点検出信号生成手段により、第１の焦点検出信号と第２の焦点検出信号を生成する。ここで、ステップＳ１００における第１の焦点検出信号と第２の焦点検出信号の生成動作を図１０に示すフローチャートを用いて説明する。

ステップＳ１０１で、撮像素子の有効な画素領域の中から焦点調節を行う焦点検出領域を設定する。焦点検出信号生成手段により、焦点検出領域の第１の焦点検出画素の画素信号から第１の焦点検出信号を生成し、焦点検出領域の第２の焦点検出画素の画素信号から第２の焦点検出信号を生成する。

ステップＳ１０２で、第１の焦点検出信号と第２の焦点検出信号に、それぞれ、信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて第１の画素加算処理とする。

ステップＳ１０３では、第１の焦点検出信号と第２の焦点検出信号に、それぞれ、焦点検出領域の像高と、撮影像レンズ（結像光学系）のＦ値および射出瞳距離に応じてシェーディング補正処理（光学補正処理）を行う。

図９のステップＳ０１１では、第１の焦点検出信号と第２の焦点検出信号に、ＤＣ成分をカットしてエッジ抽出を行う正負成分を有する差分型フィルター処理を行う。本実施例１の差分型フィルターの通過帯域の例を、図１１に実線で示す。

ステップＳ０１２では、第１の相関量算出手段により、差分型フィルター処理後の第１の焦点検出信号と第２の焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す第１の相関量を算出する。

ｋ番目の第１の焦点検出信号をＡ（ｋ）、第２の焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ、シフト量ｓのシフト範囲をΓとして、第１の相関量ＣＯＲは、式（１）により算出される。

シフト量ｓのシフト処理により、ｋ番目の第１の焦点検出信号Ａ（ｋ）とｋ−ｓ番目の第２の焦点検出信号Ｂ（ｋ−ｓ）を対応させ減算し、シフト減算信号を生成する。焦点検出領域に対応する範囲Ｗ内で番号ｋについて、生成されたシフト減算信号の絶対値の和を取り、第１の相関量ＣＯＲ（ｓ）を算出する。なお、必要に応じて、各行毎に算出された第１の相関量を、各シフト量毎に、複数行に渡って加算しても良い。

ステップＳ０１３では、第１の焦点検出手段により、第１の相関量から、サブピクセル演算により、第１の相関量が最小値となる実数値のシフト量を算出して第１の像ずれ量ｐ１とする。第１の像ずれ量ｐ１に、焦点検出領域の像高と、撮影レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、第１のデフォーカス量（Ｄｅｆ１）を検出する。

本実施例では、第１の焦点検出信号と第２の焦点検出信号に、正負成分を有する差分型の第１のフィルターを用いてフィルター処理を行って第１の相関量を算出し、第１の相関量から第１のデフォーカス量を検出する。

図９のステップＳ０１４では、第１のデフォーカス量（Ｄｅｆ１）の絶対値が所定値１より大きいかどうかを判定し、大きい場合は、結像光学系の焦点状態がデフォーカス状態であると判定し、ステップＳ２００に進む。第１のデフォーカス量（Ｄｅｆ１）の絶対値が第１の所定値以下の場合は、結像光学系の焦点状態が合焦状態（合焦位置近傍）の可能性があると判定し、ステップＳ１００で、第１の焦点検出信号と第２の焦点検出信号を生成する。その後、偽合焦であるかどうかを判定するためにステップＳ０２１に進む。

ステップＳ０２１では、第１の焦点検出信号と第２の焦点検出信号に、高周波ノイズ成分を抑制する非負成分のみ、もしくは、非正成分のみを有する加算型フィルター（第２のフィルター）処理を行う。

ステップＳ０２２では、第２の相関量算出手段により、加算型フィルター処理後の第１の焦点検出信号と第２の焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す第２の相関量を算出する。第２の相関量の算出は、第１の焦点検出信号と第２の焦点検出信号に差分型フィルター処理ではなく加算型フィルター処理を施す以外は、第１の相関量の算出と同様である。

ステップＳ０２３では、評価値算出手段により、第２の相関量から評価値（Ｏｂｊ）を算出する。本実施例では、第２の相関量からサブピクセル演算により、第２の相関量が最小値となる実数値のシフト量を算出して第２の像ずれ量ｐ２を算出する。次に、算出された像ずれ量ｐ２に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、第２のデフォーカス量（Ｄｅｆ２）を算出する。第２のデフォーカス量（Ｄｅｆ２）の絶対値を、評価値（Ｏｂｊ）とする。

なお、必要に応じて、第２の相関量からサブピクセル演算により計算された第２の相関量の最小値（像一致度）を評価値（Ｏｂｊ）としても良い。第１の焦点検出信号と第２の焦点検出信号の形状一致度が良くなるほど、第２の相関量の最小値（像一致度）が小さくなる。また、必要に応じて、算出された第２の像ずれ量ｐ２の位置での第２の相関量の傾き（第２の相関量の１階微分）の逆数を評価値（Ｏｂｊ）としても良い。

このように本実施例では、第１の焦点検出信号と第２の焦点検出信号に、非負成分のみ、もしくは、非正成分のみを有する加算型の第２のフィルターを用いてフィルター処理を行って第２の相関量を算出し、第２の相関量から評価値を算出する。

図９のステップＳ０２４で、評価値（Ｏｂｊ）が第２の所定値より大きいかどうかを判定し、大きい場合は、結像光学系の焦点状態が合焦位置近傍ではなく、デフォーカス状態であると評価し、ステップＳ２００に進む。ステップＳ２００では、第１のデフォーカス量（Ｄｅｆ１）に応じて、結像光学系のレンズ駆動を行い、再び、ステップＳ１００で、第１の焦点検出信号と第２の焦点検出信号を生成した後、ステップＳ０１１に進む。

図９のステップＳ０２４で、評価値（Ｏｂｊ）が第２の所定値以下の場合は、結像光学系の焦点状態が合焦状態（合焦位置近傍）であると評価し、焦点調節動作を終了する。

本発明では、第１の相関量から算出された第１のデフォーカス量の絶対値が第１の所定値以下の場合、第２の相関量から算出された評価値に基づき第１のデフォーカス量の偽合焦判定を行う。

第１の焦点検出信号や第２の焦点検出信号が低コントラストの場合は、ＤＣ成分を含む第２の相関量から算出された評価値の信頼性が低下することがある。よって、必要に応じて、第１の焦点検出信号と第２の焦点検出信号が低コントラストの場合は、第２の相関量から算出された評価値に基づく第１のデフォーカス量の偽合焦判定を行わないように、条件分岐を行っても良い。

なお、第１の焦点検出信号｛Ａ（ｋ）、ｋ∈Ｗ｝のコントラスト評価値としては、画素信号の最大値と最小値との差、隣接差分の絶対値の和Σ｜Ａ（ｋ＋１）−Ａ（ｋ）｜、隣接差分の絶対値の２乗和Σ｜Ａ（ｋ＋１）−Ａ（ｋ）｜＾２などを用いることができる。第２の焦点検出信号についても同様である。第１の焦点検出信号や第２の焦点検出信号のコントラスト評価値が第３の所定値以下の場合に低コントラストであると判定することができる。

以上の構成により、撮像面位相差方式の焦点調節において、偽合焦検出を抑制し、焦点検出精度を向上することが可能となる。

次に、本発明の第２の実施例の焦点調節動作を図１２に示すフローチャートを用いて説明する。本実施例は、第１の焦点検出信号と第２の焦点検出信号に差分型フィルター処理を行う第１の相関量の算出と、加算型フィルター処理を行う第２の相関量の算出とを並列処理して高速に焦点調節を行う例である。なお、撮像装置については第１の実施例と同様であるためここでの説明は省略する。また、図１２において、図９と同様の部分は同じ符号を付して示す。

図１２のステップＳ１００で、焦点検出信号生成手段により、第１の焦点検出信号と第２の焦点検出信号を生成し、ステップＳ０１１とステップＳ０２１に、それぞれ、進む。

図１２のステップＳ０１１からステップＳ０１３では、第１の実施例と同様に、第１の焦点検出信号と第２の焦点検出信号に、正負成分を有する差分型の第１のフィルターを用いてフィルター処理を行い、第１の相関量を算出する。そして、第１の相関量から第１のデフォーカス量（Ｄｅｆ１）を検出する。

また、図１２のステップＳ０２１からステップＳ０２３では、第１の実施例と同様に、第１の焦点検出信号と第２の焦点検出信号に、非負成分のみ、もしくは非正成分のみを有する加算型の第２のフィルターを用いてフィルター処理を行う。そして、処理された焦点検出信号から第２の相関量を算出し、第２の相関量から評価値（Ｏｂｊ）を算出する。

図１２のステップＳ０１４では、第１のデフォーカス量（Ｄｅｆ１）の絶対値が第１の所定値より大きいかどうかを判定し、大きい場合は、結像光学系の焦点状態がデフォーカス状態であると判定し、ステップＳ２００に進む。第１のデフォーカス量（Ｄｅｆ１）の絶対値が第１の所定値以下の場合は、結像光学系の焦点状態が合焦状態（合焦位置近傍）の可能性があると判定し、ステップＳ０２４に進む。

図１２のステップＳ０２４で、評価値（Ｏｂｊ）が第２の所定値より大きい場合は、結像光学系の焦点状態が合焦位置近傍ではなく、デフォーカス状態であると評価し、ステップＳ２００に進む。ステップＳ２００では、第１のデフォーカス量（Ｄｅｆ１）に応じて、結像光学系のレンズ駆動を行い、再び、ステップＳ１００で第１の焦点検出信号と第２の焦点検出信号を生成した後、ステップＳ０１１とステップＳ０２１に、それぞれ、進む。

図１２のステップＳ０２４で、評価値（Ｏｂｊ）が所定値２以下の場合は、結像光学系の焦点状態が合焦状態（合焦位置近傍）であると評価し、ステップＳ１００で、第１の焦点検出信号と第２の焦点検出信号を生成した後、ステップＳ０３１に進む。

ステップＳ０３１では、結像光学系の合焦位置近傍のため、第１の焦点検出信号と第２の焦点検出信号に、差分型フィルターよりも高周波の通過帯域を有する差分型ハイパスフィルター（第３のフィルター）処理を行う。本実施例の差分型ハイパスフィルターの通過帯域の例を、図１１の一点鎖線、破線、点線で示す。

ステップＳ０３２では、第３相関量算出手段により、差分型ハイパスフィルター処理後の第１の焦点検出信号と第２の焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す第３相関量を算出する。第３相関量の算出は、第１の焦点検出信号と第２の焦点検出信号に差分型フィルター処理ではなく差分型ハイパスフィルター処理を施す以外は、第１の相関量の算出と同様である。

ステップＳ０３３では、第１の焦点検出手段により、第３相関量から、サブピクセル演算により、第３相関量が最小値となる実数値のシフト量を算出して第３像ずれ量ｐ３とする。第３像ずれ量ｐ３に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、第３デフォーカス量（Ｄｅｆ３）を検出する。

図１２のステップＳ３００では、第３デフォーカス量（Ｄｅｆ３）に応じて結像光学系のレンズ駆動を行い、焦点調節動作を終了する。

上述した第２の実施例によっても、撮像面位相差方式の焦点調節において、偽合焦検出を抑制し、焦点検出精度を向上することが可能となり、さらには焦点調節の高速化も可能となる。

上述した実施形態において図９、１０および１２示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ１２１が実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図９、１０および１２に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、図９、１０および１２に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (16)

1. 結像光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出信号を出力することが可能な複数の画素を有する撮像手段と、
   前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を除去する第１のフィルター処理を行って第１のデフォーカス量を検出する第１の焦点検出手段と、
   前記第１のデフォーカス量に基づいて焦点状態を判定する判定手段と、
   前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を通過させる第２のフィルター処理を行って前記第１のデフォーカス量の評価値を生成する評価値生成手段と、
   前記評価値に基づいて前記焦点状態の判定を評価し、前記評価の結果に従って焦点調節を制御する制御手段と、を有することを特徴とする焦点調節装置。
2. 前記判定手段は、前記第１のデフォーカス量が第１の所定値以下のときに前記焦点状態が合焦状態であると判定し、
   前記制御手段は、前記評価値が第２の所定値以下の場合に、前記焦点状態が合焦状態であるとの判定を有効であると評価することを特徴とする請求項１に記載の焦点調節装置。
3. 前記制御手段は、前記評価値が前記第２の所定値より大きい場合、前記結像光学系が有するフォーカスレンズを第１の位置から第２の位置へ駆動させ、
   前記第１の焦点検出手段は、前記フォーカスレンズが前記第２の位置にあるときに出力された一対の焦点検出信号に基づいて再度第１のデフォーカス量を検出することを特徴とする請求項２の記載の焦点調節装置。
4. 前記評価値生成手段は、前記一対の焦点検出信号に前記第２のフィルター処理を行なって第２のデフォーカス量を検出し、前記第２のデフォーカス量に基づいて前記評価値を得ることを特徴とする請求項１乃至３のいずれか１項に記載の焦点調節装置。
5. 前記第１のフィルター処理は、差分型フィルター処理であることを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 前記第２のフィルター処理は、加算型フィルター処理であることを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
7. 前記評価値生成手段は、前記焦点状態の判定の結果に従って、前記第１のデフォーカス量の前記評価値を生成することを特徴とする請求項１乃至６のいずれか１項に記載の焦点調節装置。
8. 前記第１の焦点検出手段による前記第１のデフォーカス量の検出と、前記評価値生成手段による前記評価値の生成は、並列処理であることを特徴とする請求項１乃至６のいずれか１項に記載の焦点調節装置。
9. 前記制御手段は、前記評価値に基づいて前記焦点状態の判定を有効であると評価した場合は、前記一対の焦点検出信号に第３のフィルター処理を行って得られた第３のデフォーカス量に基づいて、前記焦点調節を行うことを特徴とする請求項１乃至８のいずれか１項に記載の焦点調節装置。
10. 前記第３のフィルター処理は、差分型ハイパスフィルター処理であることを特徴とする請求項９に記載の焦点調節装置。
11. 前記制御手段は、前記一対の焦点検出信号のコントラスト評価値が第３の所定値以下の場合に、前記焦点状態の判定の評価を行わないことを特徴とする請求項１乃至１０のいずれか１項に記載の焦点調節装置。
12. 前記撮像手段の各画素のマイクロレンズに対して複数の光電変換部が配置され、前記複数の光電変換部は、前記結像光学系の第１の瞳部分領域を通って瞳分割された光束を受光するための第１の光電変換部と、第１の瞳部分領域とは異なる第２の瞳部分領域を通って瞳分割された光束を受光するための第２の光電変換部とを少なくとも有することを特徴とする請求項１乃至１１のいずれか１項に記載の焦点調節装置。
13. 前記複数の画素は、前記結像光学系の第１の瞳部分領域を通って瞳分割された光束を受光するための第１の光電変換部を含む第１の画素と、第１の瞳部分領域とは異なる第２の瞳部分領域を通って瞳分割された光束を受光するための第２の光電変換部を含む第２の画素を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の焦点調節装置。
14. 被写体の光学像を形成する結像光学系と、
    前記結像光学系を駆動する駆動手段と、
    前記結像光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出信号を出力することが可能な複数の画素を有する撮像手段と、
    前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を除去する第１のフィルター処理を行って第１のデフォーカス量を検出する第１の焦点検出手段と、
    前記第１のデフォーカス量に基づいて焦点状態を判定する判定手段と、
    前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を通過させる第２のフィルター処理を行って前記第１のデフォーカス量の評価値を生成する評価値生成手段と、
    前記評価値に基づいて前記焦点状態の判定を評価し、前記評価の結果に従って前記駆動手段を制御する制御手段と、
    を有することを特徴とする撮像装置。
15. 結像光学系の異なる瞳領域を通過した光束をそれぞれ光電変換する複数の画素から出力される一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を除去する第１のフィルター処理を行って第１のデフォーカス量を検出するステップと、
    前記第１のデフォーカス量に基づいて焦点状態を判定するステップと、
    前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を通過させる第２のフィルター処理を行って前記第１のデフォーカス量の評価値を生成するステップと、
    前記評価値に基づいて前記焦点状態の判定を評価し、前記評価の結果に従って焦点調節を制御するステップと、を有することを特徴とする焦点調節方法。
16. コンピュータを、
    結像光学系の異なる瞳領域を通過した光束をそれぞれ光電変換する複数の画素から出力される一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を除去する第１のフィルター処理を行って第１のデフォーカス量を検出する第１の焦点検出手段、
    前記第１のデフォーカス量に基づいて焦点状態を判定する判定手段、
    前記一対の焦点検出信号に前記一対の焦点検出信号のＤＣ成分を通過させる第２のフィルター処理を行って前記第１のデフォーカス量の評価値を生成する評価値生成手段、
    前記評価値に基づいて前記焦点状態の判定を評価し、前記評価の結果に従って焦点調節を制御する制御手段、
    として機能させるためのプログラム。

Images