JP5645846B2 - 焦点調節装置及び焦点調節方法 - Google Patents

Description

本発明は、焦点調節装置及び、焦点調節方法に関しており、特に電子カメラ等に利用されるオートフォーカスに関する。

マイクロレンズと光電変換部の相対位置を偏位させた画素を２次元的に配置した、撮像素子を兼ねた固体撮像装置が特許文献１に開示されている。特許文献１の固体撮像装置では、通常の画像を撮影するときは、マイクロレンズと光電変換部の相対偏位方向が異なる画素を加算することにより、画像を生成している。一方、撮影レンズの焦点位置を算出する時は、マイクロレンズと光電変換部の相対偏位方向が異なる画素列で生成される一対の像に基づいて撮影レンズの焦点位置を算出している。そして、その一対の像の相対的な像ずれ量に対して相関演算を行って、撮影レンズの焦点位置が算出される。

また、撮影レンズによるケラレが発生している状態の位相差ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）において焦点位置を算出する場合、撮影レンズによるケラレによって像信号の非対称性（像の一致度の低下）が生じてしまう。そこで、特許文献２では、撮像装置に格納された特定の像修正フィルタを口径比、射出瞳位置、デフォーカス量によって変形し、該像修正フィルタを像信号に適用したのち、焦点位置を算出する技術が開示されている。前記像修正フィルタは畳み込み積分により前記像信号に適用する為、該像修正フィルタのピッチは該像信号のピッチと一致させている。

特開平４−２６７２１１号公報 特開平５−１２７０７４号公報

しかしながら、従来例では像修正フィルタのピッチをデフォーカス量やＦナンバーによらず一定としている為、フィルタ長が短くなる合焦近傍においては、折り返し歪などにより正確なフィルタ形状を表現できず、焦点算出精度が悪いという問題があった。

本発明の目的は、撮影レンズによるケラレが発生している状態においても、精度のよい焦点調節を実現させることである。

上述のような課題を解決するために、本発明の技術的特徴としては、被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群と、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群とを有する撮像手段と、前記第１の画素群からの出力信号に基づく第１の像信号と前記第２の画素群からの出力信号に基づく第２の像信号の相対的な像ずれ量から得られるデフォーカス量に応じたサンプリングピッチの情報と、撮影レンズの状態に対応した瞳強度分布に応じた情報と、に基づく像修正情報を用いて、前記第１の像信号と前記第２の像信号とを修正する修正手段と、前記修正手段による像の修正後の第１の修正像信号と第２の修正像信号の相対的な像ずれ量から得られるデフォーカス量に基づいて、前記結像光学系の焦点状態を調節する焦点調節手段とを備えることを特徴とする。

本発明によれば、焦点調節精度を向上させることが可能となる。

撮像装置の構成図である。 撮像用画素の構造図である。 焦点検出用画素の構造図である。 瞳分割概念図である。 焦点検出用画素の瞳強度分布概念図である。 撮像素子中央の焦点検出用画素の瞳強度概念図である。 撮像素子駆動回路図である。 図７の素子から得られる像信号を示す図である。 像修正フィルタ処理を説明する概念図である。 デフォーカス量によってピッチを変える焦点算出フローである。 デフォーカス時の撮像素子に入射する光線を表す概念図である。 線像分布関数を示す図である。 大デフォーカス時に線像分布関数から像修正フィルタを得る過程の概念図である。 小デフォーカス時に線像分布関数から像修正フィルタを得る過程の概念図である。 Ｆナンバー毎の線像分布関数から像修正フィルタを得る過程の概念図である。 Ｆナンバー、デフォーカス量によってピッチを変える焦点算出フローである。

以下、図面を参照しながら本発明の一実施形態を説明する。

〔第１の実施形態〕
本発明の第１の実施形態について、図１〜図１４を用いて以下に説明する。

（撮像装置の構成）
図１は本実施形態に関わる撮像装置の構成図を示している。図１において、１０１は撮影レンズ（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は撮影レンズの第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

１０５は撮影レンズの第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。該撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光部で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点算出能力を向上させる。

１２１はＣＰＵで、撮像装置本体の種々の制御を司る。ＣＰＵ１２１は演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。

１２２は電子フラッシュ制御回路で、撮影動作に同期して照明部１１５を点灯制御する。１２３は補助光駆動回路で、焦点算出動作に同期して、ＡＦ補助光部１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点算出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８はシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器で、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点算出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

（撮像用画素の構造）
図２は、撮像用画素の構造を説明する図である。図２は、撮像用画素の一部分を拡大した平面図と断面図を示している。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（Ｇｒｅｅｎ）の分光感度を有する撮像用画素（Ｇ画素）を配置する。そして、他の２画素にＲ（Ｒｅｄ）とＢ（Ｂｌｕｅ）の分光感度を有する撮像用画素（Ｒ画素、Ｂ画素）を各１個配置する。つまり、本実施形態ではベイヤー配列を採用した例を示す。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。

図２（ａ）は撮像素子中央に位置する２行×２列の撮像用画素の平面図である。ベイヤー配列では対角方向にＧ画素が、他の２画素にＲ画素とＢ画素が配置される。そして該２行×２列の構造が繰り返し配置される。

図２（ａ）の断面Ａ−Ａを図２（ｂ）に示す。ＭＬは各撮像用画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影レンズを模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズＴＬの射出瞳ＥＰ（瞳領域ともいう）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図２（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

（焦点検出用画素の構造）
図３は、焦点検出用画素の構造を説明する図である。図３は、撮影レンズＴＬの図３（ｂ）中ｘ方向に瞳分割を行なうための焦点検出用画素の一部分を拡大した平面図と断面図を示している。図３（ａ）は、撮像素子中央に位置する焦点検出用画素を含む２行×２列の焦点検出用画素の平面図である。画像信号を得る場合、人間の画像認識特性は輝度情報に敏感である為、Ｇ画素が欠損すると画質劣化が認められやすい。その為、Ｇ画素は輝度情報の主成分をなす。一方でＲ画素もしくはＢ画素は、色情報を取得する撮像用画素であるが、人間は色情報には鈍感であるため、色情報を取得するＲ画素もしくはＢ画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の撮像用画素のうち、Ｇ画素は撮像用画素として残してＲ画素とＢ画素に相当する位置に、ある割合で焦点検出用画素を配列している。これを図３（ａ）においてＳＨＡ及びＳＨＢで示す。

図３（ａ）の断面Ｂ−Ｂを図３（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図２（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏倚している。具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは−ｘ方向に偏倚しているため、図３（ｂ）の撮影レンズＴＬの紙面左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは＋ｘ方向に偏倚しているため、図３（ｂ）の撮影レンズＴＬの紙面右側の射出瞳ＥＰＨＢを通過した光束を受光する。ここで、焦点検出用画素ＳＨＡをｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＡで取得した第１の像信号を像信号Ａとする。また、焦点検出用画素ＳＨＢもｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＢで取得した第２の像信号を像信号Ｂとする。すると、像信号Ａと像信号Ｂの相対的な像ずれ量から相関演算を用いてデフォーカス量を算出することで、撮影レンズの焦点位置が算出できる。よって、これに基づいて、撮影レンズの焦点状態を調節することができる。

（撮像素子の瞳分割状況の概念）
図４は、本実施形態における撮像素子の瞳分割状況を概念的に説明する図である。ＴＬは撮影レンズ、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは像信号である。撮像用画素は図２の撮像素子の撮像用画素の平面図と断面図で説明したように、撮影レンズの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図３（ａ）のｘ方向に瞳分割を行なうための焦点検出用画素の平面図と断面図で説明したように、瞳分割機能を有している。具体的には、図３（ａ）の画素ＳＨＡは＋Ｘ方向の側の瞳を通過した光束、すなわち図４の瞳ＥＰＨＡを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域に渡って分布させることで、撮像領域全域で焦点算出を可能とさせている。

なお、ここではｘ方向に輝度分布を有した被写体に対応した構成について説明したが、同様の構成をｙ方向にも展開することでｙ方向に輝度分布を有した被写体にも対応した構成をとることが可能である。

（ケラレが生じない場合の瞳強度分布と線像分布関数）
光束の射出瞳面内での強度分布を、以降では単に瞳強度分布と呼ぶ。

図５は焦点検出用画素の瞳強度分布とその瞳強度分布から得られる線像分布関数を表した図である。図５（ａ）は焦点検出用画素ＳＨＡ、図５（ｂ）は焦点検出用画素ＳＨＢの特性を示している。図５のｘ軸、ｙ軸は図４のｘ軸、ｙ軸に対応している。図５では、色が濃くなるほど受光強度が高いことを示している。図３（ａ）では説明をしやすくするため、焦点検出用画素ＳＨＡの射出瞳をＥＰＨＡ、焦点検出用画素ＳＨＢの射出瞳をＥＰＨＢと、それぞれ分離して表した。しかし、図５に示すように、実際には、図３（ｂ）で示した開口部ＯＰＨＡ及び開口部ＯＰＨＢの開口部による回折の影響でぼけて広がり、焦点検出用画素ＳＨＡと焦点検出用画素ＳＨＢの射出瞳は一部領域の重なる部分がある。

図５（ｃ）は焦点検出用画素の線像分布関数を表した図である。これは図５（ａ）と図５（ｂ）の瞳強度分布をｙ方向に射影をとったものである。横軸は図５（ａ）、（ｂ）のｘ軸に対応し、縦軸は線像分布関数の強度を表している。原点Ｏが撮影レンズの光軸位置に対応している。

ここで、ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、光学系が無収差の場合、射出瞳形状が結像面上に縮小投影されていると考えられる。そして、線像分布関数は、点像分布関数の射影であるので、瞳強度分布の射影を線像分布関数としている。

図５（ｃ）に示すように、撮像素子中央の焦点検出用画素では、線像分布関数ＬＳＦ_ＡとＬＳＦ_Ｂは、光軸に対して略対称（像の形状が略一致）となる。また、線像分布関数ＬＳＦ_ＡとＬＳＦ_Ｂは、それぞれのｘ軸方向の重心位置を中心として、ｘ軸方向に略対称形となっている。

（ケラレが生じた場合の瞳強度分布と線像分布関数）
図６は図５の瞳強度分布に対して、撮影レンズによるケラレが生じた場合の瞳強度分布とその瞳強度分布から得られる線像分布関数を表した図である。図６（ａ）は焦点検出用画素ＳＨＡ、図６（ｂ）は焦点検出用画素ＳＨＢの撮影レンズによるケラレがある場合の瞳強度分布の特性を示している。そして、図５で示した焦点検出用画素ＳＨＡ、ＳＨＢの瞳強度分布のうち、Ａｒｅａ１で表した形状の内側のみが焦点検出用画素ＳＨＡ、ＳＨＢで受光される領域となる。図６（ｃ）は撮影レンズによるケラレが生じた場合の線像分布関数を表した図である。図６（ｃ）は図５（ｃ）と同様に図６（ａ）と図６（ｂ）の瞳強度分布をｙ方向に射影をとったものである。横軸は図５（ａ）、（ｂ）のｘ軸に対応し、縦軸は線像分関数の強度を表している。原点Ｏが撮影レンズの光軸位置に対応している。

図６（ｃ）に示すように、撮像素子中央の焦点検出用画素では図５（ｃ）と同様に、線像分布関数ＬＳＦ_Ａ’とＬＳＦ_Ｂ’は、光軸に対して略対称となる。しかし、図６（ａ）、（ｂ）に示すように瞳強度分布はＡｒｅａ１により一部が切り取られた状態となっているため、線像分布関数ＬＳＦ_Ａ’とＬＳＦ_Ｂ’全体をみると、それぞれのｘ軸方向の重心位置を中心として、ｘ軸方向に非対称形となっている。

（撮像素子１０７と撮像素子駆動回路１２４の焦点検出のための構成）
図７は、図１における撮像素子１０７と撮像素子駆動回路１２４の焦点算出構成を概略的に示す図である。なお図７では、分かりやすく説明するためにＡ／Ｄ変換部を省略してある。

撮像素子１０７は、図３で説明した焦点検出用画素９０１ａと焦点検出用画素９０１ｂとで構成される焦点検出用画素９０１を複数有する。焦点検出用画素９０１ａが焦点検出用画素ＳＨＡに、焦点検出用画素９０１ｂが焦点検出用画素ＳＨＢにそれぞれ対応する。また、撮像素子１０７は撮影レンズで結像された被写体像を光電変換するための撮像用画素を複数含む。

撮像素子駆動回路１２４は、合成部９０２と、連結部９０３とを含む。また、撮像素子駆動回路１２４は複数の焦点検出用画素９０１を含むように、撮像素子１０７の撮像面にセクション（領域）ＣＳＴを複数割り当てる。そして、撮像素子駆動回路１２４はセクションＣＳＴの大きさ、配置、数等を適宜変更することができる。合成部９０２は、撮像素子１０７に割り当てられた複数のセクションＣＳＴの各々において、焦点検出用画素９０１ａからの出力信号を合成して１画素の第１の合成信号を得る処理を行なう。合成部９０２はまた、各セクションＣＳＴにおいて、焦点検出用画素９０１ｂからの出力信号を合成して１画素の第２の合成信号を得る処理を行なう。連結部９０３は、複数のセクションＣＳＴにおいて、第１の合成信号である各焦点検出用画素を連結して第１の連結信号を得る処理と、第２の合成信号を連結して第２の連結信号を得る処理とを行なう。このように、焦点検出用画素９０１ａ及び９０１ｂのそれぞれに対して、セクション数の焦点検出用画素が連結された連結信号が得られる。ＣＰＵ１２１で第１の連結信号及び第２の連結信号に基づいて、撮影レンズのデフォーカス量を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出用画素９０１の１つ１つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。

（撮像素子１０７より出力される像信号）
図８は、図７の焦点検出用画素９０１、合成部９０２、連結部９０３により形成され、ＣＰＵ１２１へ送られる対の像信号を示す。図８において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。像信号４３０ａは焦点検出用画素９０１ａで、像信号４３０ｂは焦点検出用画素９０１ｂでそれぞれ形成される信号である。そして、撮影レンズの焦点位置がデフォーカス状態であるため、像信号４３０ａは左側に、像信号４３０ｂは右側にずれた状態となっている。

この像信号４３０ａ、４３０ｂの像ずれ量を相関演算によって算出することにより、撮影レンズの焦点位置がどれだけずれているかを知ることができるため焦点調節を行なうことが可能となる。ここで、本実施形態の焦点算出では、図６で説明した通り、撮影レンズによるケラレによって線像分布関数が重心に対して非対称となるので、焦点検出用画素で得られる像信号Ａと像信号Ｂにも非対称性が生じてしまう。言い換えると、像の一致度が低下してしまう。位相差方式の焦点検出においては、像の一致度の低下（非対称性）が生じている場合、像ずれ量を正確に算出することができない。そこで、本実施形態では、得られた像信号の非対称性を補正することで、この問題を解決する。

（像信号の非対称性）
以下、像信号に非対称性が生じる理由と、非対称性の補正について詳細を説明する。

いま被写体の光量分布をｆ（ｘ，ｙ）、像信号の光量分布をｇ（ｘ，ｙ）としたとき、

の関係（たたみこみ積分；ｃｏｎｖｏｌｕｔｉｏｎ）が成立する。ここでｈ（ａ，ｂ）は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）と呼ばれる。従って、焦点算出に用いる１対の像信号を知るには、点像分布関数を知る必要がある。ここで、像ずれ方式の焦点算出においては、１対の像信号の１次元方向に注目し、その像ずれ量を算出する。このため、２次元の点像分布関数の代わりに１次元の関数である線像分布関数（ｌｉｎｅ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）により、焦点算出に関する画像システムを評価することができる。そこで、被写体の光量分布をｆ（ｘ）、像信号の光量分布をｇ（ｘ）と置き換えると、上記式（１）は線像分布関数Ｌ（ａ）を用いて以下のように書き換えられる。

また、点像分布関数と線像分布関数の関係は、以下の式（３）で表すことができる。

前述したとおり、ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、光学系が無収差の場合、射出瞳形状が結像面上に縮小投影されていると考えられる。したがって、点像分布関数ｈ（ａ，ｂ）は、瞳強度分布で置き換えることができる。さらに、式（３）より、線像分布関数は瞳強度分布の射影と考えることができる。よって、図５、６では瞳強度分布の射影を線像分布関数として説明してきた。したがって、式（２）より、本実施形態の被写体像には、図６で説明した非対称な線像分布関数ＬＳＦ_Ａ’、ＬＳＦ_Ｂ’がそれぞれ畳み込まれているため、対の像信号にも非対称性が生じている。前述したように相関演算に使用する対の像信号に非対称性が生じている場合は、焦点位置の算出精度も低下する。焦点位置の算出精度を向上させるためには、対の像信号の非対称性を補正し、像の一致度を上げることが有効である。

（像信号の非対称性を補正する方法）
次に、像信号の非対称性を補正する方法について説明する。ここで、図７の焦点検出用画素９０１ａで得られる像信号を像信号Ａ、焦点検出用画素９０１ｂで得られる像信号を像信号Ｂと呼ぶ。前述したように、像信号Ａと像信号Ｂの非対称性は、非対称な線像分布関数ＬＳＦ_Ａ’、ＬＳＦ_Ｂ’が畳み込み積分されることによって生じる。

図９は像信号の非対称性を解消するための像修正フィルタ処理を説明する概念図である。図９の各図において、横軸は画素並び方向を示し、縦軸は像信号の強度を表している。図９（ａ）は被写体の光量分布をＯｂｊで表しており、図９（ｂ）と図９（ｃ）は焦点検出用画素ＳＨＡ及び焦点検出用画素ＳＨＢの線像分布関数をＬＳＦＡｘ、ＬＳＦＢｘで表したものである。図９（ｄ）、図９（ｅ）は像信号Ａ（ＩｍｇＡ）、像信号Ｂ（ＩｍｇＢ）を表しており、それぞれ被写体の光量分布Ｏｂｊに線像分布関数ＬＳＦＡｘ、線像分布関数ＬＳＦＢｘを畳み込み積分したときこのような形状となる。図９（ｆ）は像信号Ａ（ＩｍｇＡ）に像修正フィルタである像信号Ｂの線像分布関数ＬＳＦＢｘを畳み込み積分した修正像ＲｅＩｍｇＡを表している。また、図９（ｇ）は像信号Ｂ（ＩｍｇＢ）に像修正フィルタである像信号Ａの線像分布関数ＬＳＦＡｘを畳み込み積分した修正像ＲｅＩｍｇＢを表している。図９（ｆ）、図９（ｇ）に示すように、各修正像は同形状となる。修正像が同形状になる原理について説明する。

像信号Ａ（ＩｍｇＡ）は前述した式（２）により得られる。得られた像信号Ａ（ＩｍｇＡ）に線像分布関数ＬＳＦＢｘを畳み込み積分して得られる修正像ＲｅＩｍｇＡをｋ（ｘ）とすると、ｋ（ｘ）は以下のように求められる。

修正像ＲｅＩｍｇＢについても同様に計算すると

が得られる。上式（６）、（７）より、得られたＲｅＩｍｇＡとＲｅＩｍｇＢは等しくなり、ＲｅＩｍｇＡとＲｅＩｍｇＢを用いて相関演算を行なうことで、像ずれ量を算出することが可能となる。

（焦点算出のフロー）
次に第１の実施形態の焦点算出フローについて図１０のフロー図を用いて説明する。なお、図１０のフローにおける動作はＣＰＵ１２１によって実行される。

ステップＳ００１では、撮影レンズによるケラレ状態を知る為のレンズ情報を取得する。ステップＳ００２では、各焦点検出用画素においてＣＰＵ１２１のＲＯＭに保管されている瞳強度分布を読み出し、ステップＳ００１で得られた撮影レンズによるケラレ情報と合わせて線像分布関数を算出する。

ステップＳ００３ではステップＳ００２で得られた線像分布関数の重心を算出し、基線長を求める。ステップＳ００４では、焦点検出位置での焦点検出用画素の像信号を読み出し、像信号Ａ、像信号Ｂが形成される。ステップＳ００５ではステップＳ００１で得られたレンズ情報と瞳強度分布を用いてステップＳ００４で形成された像信号Ａと像信号Ｂのシェーディングを予測し、シェーディング補正を行なう。

ステップＳ００６ではステップＳ００４で形成された像信号Ａと像信号Ｂに対して、ＣＰＵ１２１のＲＯＭに保管されているダーク値からダーク補正を行なう。ステップＳ００７ではステップＳ００６で得られたダーク補正後の像信号Ａとダーク補正後の像信号Ｂを用いて、相関演算により像ずれ量を求め、ステップＳ００３で求めた基線長と合わせて、暫定デフォーカス量を求める。

ステップＳ００８では、ステップＳ００７で算出された暫定デフォーカス量がある閾値によって設定された範囲であるか否かがＣＰＵ１２１によって判定される。まず暫定デフォーカス量が設定された閾値以上と判定された場合には、像修正フィルタのピッチ（像修正情報である線像分布関数のサンプリングピッチ）を変えずにステップＳ０１１に進む。一方、暫定デフォーカス量が設定された閾値より小さいと判定された場合には、像修正フィルタのピッチを新たに算出する為、ステップＳ００９へと進む。つまり、暫定デフォーカス量の大小によって像修正フィルタの形状を変化させるだけでなくピッチも切り替える。この理由について説明する。デフォーカス量が大きい時にはフィルタ長が長くなり、像修正フィルタの形状をある程度正確に表すことができる為、像修正処理部により像信号の非対称性が緩和し、精度よくデフォーカス量を算出することができる。一方、デフォーカス量が小さい時にはフィルタ長が短くなり、デフォーカス量が大きい場合と同じ像修正フィルタのピッチでは粗すぎてしまい、折り返し歪が生じてステップＳ００２で得られる線像分布関数の形状を正確に表すことが出来ない。その為、像修正処理部を行っても像信号の非対称性を緩和することができず、精度よくデフォーカス量を算出することが出来ない。

以上の理由より、デフォーカス量によって像修正フィルタのピッチを変えることが望ましい。また、それに合わせて像信号のピッチも変化させる。

ステップＳ００９、ステップＳ０１０は、ステップＳ００７で算出された暫定デフォーカス量が閾値より小さい場合に行なわれる処理である。ステップＳ００９では、ステップＳ００７で算出された暫定デフォーカス量を元に像修正フィルタのピッチを算出する。

ステップＳ０１０ではステップＳ００９で算出した像修正フィルタのピッチにあわせて線形補間やスプライン補間などを用いて像信号の補間処理を行なう。

ステップＳ０１１では、ＣＰＵ１２１が像修正フィルタを算出する。

ステップＳ０１２では、ステップＳ０１１で算出された像修正フィルタを像信号に畳み込み積分して、修正像信号を得る。

ステップＳ０１３ではステップＳ０１２で算出された修正像信号を用いて、ステップＳ００７と同様に、相関演算により像ずれ量を算出する。そして、ステップＳ００３で求めた基線長と合わせてデフォーカス量を求め、一連の焦点算出フローが終了する。

（像修正フィルタの決定）
像修正フィルタの算出方法について、図１１から図１４を用いて説明する。まず、像修正フィルタの幅決定方法について、図１１を用いて説明する。

図１１はデフォーカス時の撮像素子１０７に入射する光線を表す図である。図１１（ａ）は前ピン時の光線図を示したもので、図１１（ｂ）は後ピン時の光線図を示したものである。Ｚａｆは撮像素子１０７面から瞳面Ｍｅまでの距離、Ｒａｆは図６で示したＡｒｅａ１のｘ軸方向の幅、Ｄｅｆはデフォーカス量である。まず、前ピン時についてみてみると図１１（ａ）で明らかなように、線像分布関数ＬＳＦ_Ａ１’は瞳面上ＭｅでＲａｆの幅を有しており、撮像素子１０７面では幅Ｗｆに縮小されている。そして、前ピンに結像しているため線像分布関数ＬＳＦ_Ａ１’は左右方向に反転した状態となっている。そして、Ｗｆは前ピンではＤｅｆが負であることを考慮して以下の式によって得られる。

この式（８）で得られたＷｆが前ピン時の線像分布関数、すなわち像修正フィルタの幅となる。同様に、後ピンの場合の線像分布関数ＬＳＦ_Ａ２’は、撮像素子１０７面で幅Ｗｂに縮小されている。なお、後ピンの場合、線像分布関数ＬＳＦ_Ａ２’は左右反転とならない。そして、線像分布関数ＬＳＦ_Ａ２’の幅、すなわち後ピン時の像修正フィルタの幅Ｗｂは式（８）により算出される。なお、線像分布関数ＬＳＦ_Ｂ’についても同様であり、詳細な説明は省略する。

次に、像修正フィルタの強度が一定になるようにゲインを与えて調整する。これはステップＳ００５において、像信号Ａと像信号Ｂとをシェーディング補正している為で、像修正後の像信号Ａと像信号Ｂとで強度差が出ないように、像信号Ａと像信号Ｂの像修正フィルタの強度を調整する。

その後、像信号Ａと像信号Ｂの像修正フィルタの重心を合わせるように波形を移動する。これは、像修正後の像信号の重心移動を防ぐためである。このようにして像修正フィルタを算出する。

次に、第１の実施形態であるデフォーカスによってフィルタのピッチを変えることについて、図１２から図１４を用いて説明する。図１２から図１４はデフォーカス量に応じて、線像分布関数から像修正フィルタを作成する様子を模した図である。図１２は像修正フィルタの元となる線像分布関数ＬＳＦであり、Ｗはフィルタ幅、Ｈはフィルタ強度である。図１３は大デフォーカスに応じて変化させた線像分布関数ＬＳＦｗと線像分布関数ＬＳＦｗをサンプリングして得られた像修正フィルタＦｉｌｗである。図１４は小デフォーカスに応じて変化させた線像分布関数ＬＳＦｎと線像分布関数ＬＳＦｎをサンプリングして得られた像修正フィルタＦｉｌｎ、そして線像分布関数ＬＳＦｎのピッチを細かくしてサンプリングした像修正フィルタＦｉｌｎｐである。

まず、図１３の大デフォーカス時には図１３（ａ）の線像分布関数ＬＳＦｗのようにフィルタ長が長くなるので、フィルタ幅はα１Ｗとなる。また、強度を調整するため高さはβ１Ｈとなる。そして、サンプリングして得られる図１３（ｂ）の像修正フィルタＦｉｌｗは線像分布関数ＬＳＦｗの形状をある程度正確に表すことが出来る。一方、図１４の小デフォーカス時には、図１４（ａ）の線像分布関数ＬＳＦｎのようにフィルタ長が短くなるので、フィルタ幅はα２Ｗとなる。また、強度を一定にするため高さはβ２Ｈとなる。そして、サンプリングして得られる図１４（ｂ）の像修正フィルタＦｉｌｎはフィルタ幅α２Ｗが像修正フィルタのピッチに対してとても狭いので、線像分布関数ＬＳＦｎの形状を正確に表すことが出来ない。そこで、図１４（ｃ）のように像修正フィルタのピッチを細かくしてサンプリングすることで、線像分布関数ＬＳＦｎの形状をある程度正確に表したＦｉｌｎｐを得ることが出来る。

以上のように、デフォーカス量に応じてフィルタピッチ（つまり、像修正情報のサンプリングピッチ）を変えることで小デフォーカス時においても線像分布関数の形状をある程度正確に表した像修正フィルタを算出することが出来る。以上のように第１の実施形態によれば、暫定デフォーカス量によって像修正フィルタの形状やピッチを変えることでデフォーカス量を算出する為に最適なピッチを設定することができた。

また、暫定デフォーカス量によって像修正フィルタの形状やピッチを変えることで、合焦近傍においても像信号の修正ができた。

さらに、合焦近傍における像信号の修正ができることで、より高精度な焦点調節を行なうことができた。

なお、第１の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。

〔第２の実施形態〕
第２の実施形態は、第１の実施形態の変形例である。

（Ｆナンバーに応じた像修正フィルタ）
第１の実施形態ではデフォーカス量に応じて、像修正フィルタのピッチを変えていた。それに対して、撮影レンズのＦナンバーによっても像修正フィルタのピッチを変えることが第２の実施形態の特徴である。なお、図１６のフローにおける動作はＣＰＵ１２１によって実行される。また、第２の実施形態の光学装置の焦点調節及び撮影工程は、第１の実施形態の光学装置と同じであるため、説明を省略する。

図１５、図１６は本実施形態の第２の実施形態に関する図である。図１５はＦナンバーに応じて、線像分布関数から像修正フィルタを作成する様子を模した図である。図１６は図１０のフローチャートにさらにＦナンバーによって、ピッチを変える判定を加えたフローチャートである。

図１５はＦナンバーに応じた焦点検出用画素の瞳面上での撮影レンズによるケラレを示した図である。図１５（ａ）、図１５（ｂ）はともに、上から、ケラレを表した図、線像分布関数ＬＳＦｆｗ、ＬＳＦｆｎ、像修正フィルタＦｉｌｆｗ、Ｆｉｌｆｎを示している。より詳しくは、上の図が、撮像素子中央の焦点検出用画素の瞳面上での入射光束の瞳強度分布の撮影レンズによるケラレを表した図である。また、中央の図が、その瞳強度分布から得られる線像分布関数ＬＳＦｆｗ、ＬＳＦｆｎである。そして、下の図が、その線像分布関数をサンプリングして得られた像修正フィルタＦｉｌｆｗ、Ｆｉｌｆｎである。図１５（ａ）のように撮影時のＦナンバーが小さい時には、像修正フィルタＦｉｌｆｗは線像ＬＳＦｆｗの非対称性をよく表すことができる。一方、図１５（ｂ）のように撮影時のＦナンバーが大きい時には、瞳強度分布のより限定的な領域を通過した光束から線像を作成する。したがって、図１５（ａ）のＦナンバーが小さい場合と同じピッチでは粗すぎて像修正フィルタＦｉｌｆｎは線像ＬＳＦｆｎを正しく表現できない。

以上の２点より、Ｆナンバーによって像修正フィルタのピッチを変えることが望ましい。また、それに合わせて像信号のピッチも変化させる。

第２の実施形態の焦点算出フローについて図１６のフロー図を用いて説明する。

ステップＳ００１からステップＳ００７までのステップについては、第１の実施形態の説明で用いた図１０と同じである為、説明を省略する。

ステップＳ００８では、ステップＳ００１で得た撮影時のＦナンバーがある設定された範囲であるか否かがＣＰＵ１２１によって判定される。撮影時のＦナンバーが設定された閾値以上であると判定された場合には、ステップＳ０１０へと進む。一方、撮影時のＦナンバーが設定された閾値より小さいと判定された場合には、像修正フィルタのピッチを算出する為にステップＳ００９へと進む。つまり、撮影時のＦナンバーによって像修正フィルタのピッチを切り替える。

ステップＳ００９では、ステップＳ００１で得られた撮影時のＦナンバーから決まる第１のフィルタピッチ（つまり像修正のための情報のサンプリングピッチ）を算出する。

ステップＳ０１０では、第１の実施形態と同様にステップＳ００７で算出された暫定デフォーカス量の大小によって像修正フィルタのピッチを切り替えるか判定する。

ステップＳ０１１、ステップＳ０１２は、ステップＳ００７で算出された暫定デフォーカス量が閾値より小さい場合に行なわれる処理である。ステップＳ０１０では、ステップＳ００７で算出された暫定デフォーカス量を元に第２のフィルタピッチを算出する。

ステップＳ０１２では、像修正フィルタのピッチを決定する。

まず、ステップＳ００８でＦナンバーがある閾値以上であると判定され、かつステップＳ０１０で暫定デフォーカス量がある閾値以上であると判定された場合には、あらかじめ決められた像修正フィルタのピッチとする。

次に、ステップＳ００８でＦナンバーがある閾値より小さいと判定され、かつステップＳ０１０で暫定デフォーカス量がある閾値以上であると判定された場合には、ステップＳ００９で算出される第１のフィルタピッチを像修正フィルタのピッチとする。

また、ステップＳ００８でＦナンバーがある閾値以上であると判定され、かつステップＳ０１０で暫定デフォーカス量がある閾値より小さいと判定された場合には、ステップＳ０１１で算出される第２のフィルタピッチを像修正フィルタのピッチとする。

また、ステップＳ００８でＦナンバーがある閾値より小さいと判定され、かつステップＳ０１０で暫定デフォーカス量がある閾値より小さいと判定された場合には、小さいピッチを像修正フィルタのピッチとする。この小さいピッチとは、ステップＳ００９で算出される第１のフィルタピッチとステップＳ０１１で算出される第２のフィルタピッチとを比較し、小さいほうを選択したものである。

ステップＳ０１３では、ステップＳ０１２で算出した像修正フィルタのピッチにあわせて線形補間やスプライン補間などを用いて像信号の補間処理を行なう。

以降、ステップＳ０１４ではステップＳ０１２で決定した像修正フィルタのピッチで像修正フィルタを算出する。そして、第１の実施形態と同じようにステップＳ０１５で像修正フィルタ処理を行い、ステップＳ０１６で相関演算から得られる像ずれ量とステップＳ００３で得られる基線長と合わせてデフォーカス量を求め、一連の焦点算出フローが終了する。

以上のように第２の実施形態によれば、Ｆナンバーによって像修正フィルタの形状やピッチを変えることでデフォーカス量を算出する為に最適なピッチを設定することができた。

また、Ｆナンバーによって像修正フィルタの形状やピッチを変えることで合焦近傍においても像信号の修正ができた。

さらに、合焦近傍における像信号の修正ができることで、より高精度な焦点調節を行なうことができた。

なお、第２の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。

〔その他の実施例〕
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０７ 撮像素子
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
ＴＬ 撮影レンズ
ＯＢＪ 被写体
ＩＭＧ 像信号
ＥＰ 射出瞳
ＥＰＨＡ、ＥＰＨＢ 分割された射出瞳
ＳＨＡ、ＳＨＢ 焦点検出用画素
ＭＬ オンチップマイクロレンズ
ＣＬ 配線層
ＯＰＨＡ、ＯＰＨＢ 画素開口部
４３０ａ、４３０ｂ 像信号
ＬＳＦｗ、ＬＳＦｎ、ＬＳＦＡ、ＬＳＦＢ 線像分布関数
Ｆｉｌｗ、Ｆｉｌｎ、Ｆｉｌｆｗ、Ｆｉｌｆｎ 像修正フィルタ

Claims (9)

1. 被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群と、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群とを有する撮像手段と、
   前記第１の画素群からの出力信号に基づく第１の像信号と前記第２の画素群からの出力信号に基づく第２の像信号の相対的な像ずれ量から得られるデフォーカス量に応じたサンプリングピッチの情報と、撮影レンズの状態に対応した瞳強度分布に応じた情報と、に基づく像修正情報を用いて、前記第１の像信号と前記第２の像信号とを修正する修正手段と、
   前記修正手段による像の修正後の第１の修正像信号と第２の修正像信号の相対的な像ずれ量から得られるデフォーカス量に基づいて、前記結像光学系の焦点状態を調節する焦点調節手段と
   を備えることを特徴とする焦点調節装置。
2. 前記修正手段において、前記第１の像信号と前記第２の像信号の相対的な像ずれ量から得られるデフォーカス量が第１のデフォーカス量の場合よりも、前記第１のデフォーカス量よりも小さい第２のデフォーカス量の場合のほうが、前記像修正情報のサンプリングピッチを細かくすることを特徴とする請求項１に記載の焦点調節装置。
3. 前記第１の修正像信号は、前記第１の画素群から得られた第１の像信号に前記第２の瞳領域に対応した第２の線像分布関数を畳み込み積分することにより生成され、前記第２の修正像信号は、前記第２の画素群から得られた第２の被写体像に前記第１の瞳領域に対応した第１の線像分布関数を畳み込み積分することにより生成されることを特徴とする請求項１又は請求項２に記載の焦点調節装置。
4. 前記像修正情報は、前記結像光学系のケラレ情報と瞳強度分布の情報とに基づいて算出されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の焦点調節装置。
5. 前記像修正情報は、像の一致度を高めるための情報であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の焦点調節装置。
6. 前記修正手段において、撮影レンズのＦナンバーが第１の値よりも前記第１の値よりも大きい第２の値の場合のほうが前記像修正情報のサンプリングピッチを細かくすることを特徴とする請求項１乃至請求項５に記載の焦点調節装置。
7. 被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群と、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群とを有する撮像手段を備える焦点調節装置の焦点調節方法であって、
   前記第１の画素群からの出力信号に基づく第１の像信号と前記第２の画素群からの出力信号に基づく第２の像信号の相対的な像ずれ量から得られるデフォーカス量に応じたサンプリングピッチの情報と、撮影レンズの状態に対応した瞳強度分布に応じた情報と、に基づく像修正情報を用いて、前記第１の像信号と前記第２の像信号とを修正する修正工程と、
   前記修正工程により得られた像の修正後の第１の修正像信号と第２の修正像信号の相対的な像ずれ量から得られるデフォーカス量に基づいて、前記結像光学系の焦点状態を調節するよう制御する焦点調節工程とを有する
   ことを特徴とする焦点調節方法。
8. コンピュータに、請求項７に記載の焦点調節方法の各工程を実行させるためのプログラム。
9. 請求項８に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。