JP5956782B2 - 撮像素子及び撮像装置 - Google Patents

Description

本発明は、撮像素子及び該撮像素子を有する撮像装置に関し、更に詳しくは、２次元に構成された多数の光電変換素子で静止画及び／又は動画を撮像可能な撮像素子と、該撮像素子を用いて位相差式焦点検出を行う撮像装置に関する。

動画や静止画が記録可能な電子カメラにおいて、画像記録用の撮像素子を用いて位相差検出方式の焦点検出を実現する技術が提案されている。位相差検出方式では、撮影光学系の射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用受光素子群で受光する。そして、その受光量に応じて出力される１対２像の信号波形のずれ量、すなわち、光束の瞳分割方向に生ずる相対的位置ずれ量を検出することで、撮影光学系の焦点ずれ量（デフォーカス量）を求めるものである。そして、該方式による焦点検出特性は、焦点検出用画素の配列や該画素の瞳分割特性形状に依存するため、焦点検出特性を向上させるための画素内構造や配列に関する様々な技術が提案されている。

一方で、撮像素子はノイズの少ない高精細画像を取得することが求められるが、そのためには撮像素子の各画素は撮影光学系の射出瞳のうち、できる限り広い領域を通過した光束を受光するのが好ましい。しかしながら、広い瞳領域の光束を利用することは、位相差式焦点検出における性能向上と相反することがある。そこで、撮像と位相差検出の両機能を満足するために、以下のような技術が提案されている。

例えば、特許文献１では、撮像素子の各画素において、画素の中央領域に第１の光電変換部を、その周囲に第２の光電変換部を配置している。そして、第１の光電変換部の出力で画像信号を創生し、第２の光電変換部の出力で位相差式焦点検出を行う。

また、特許文献２では、撮影光学系の射出瞳位置の変化に対する冗長性を持たせるため、光電変換部の分割中心位置が異なる複数の画素を備える。そして、射出瞳位置に応じて最適な画素を選択することで、焦点検出信号の受光光量のアンバランスを軽減させている。

また、特許文献３では、撮像用画素とは別に２種類の焦点検出画素を設けて、一方の焦点検出画素の測距瞳の瞳並び方向の重心位置の距離w3と他方の焦点検出画素の測距瞳の瞳並び方向の重心位置の距離w3を異ならせる。そして、デフォーカス量の大きさに基づいて２種類の焦点検出画素を選択する開示がある。

特開２００７−１５８６９２号公報 特開２００９−０１５１６４号公報 特開２００７−２７９３１２号公報

しかしながら、特許文献１において開示された技術では、撮像特性を重視した画素構成となっているため、良好な焦点検出特性が得られない場合がある。たとえばＦナンバーの暗い、すなわち射出瞳径の小さな撮影光学系を用いる場合、焦点検出用光電変換部への光束がけられてしまうため、焦点検出ができない恐れがある。また、撮像素子の周辺部、すなわち像高の大きな領域では、撮影光学系の口径食（ビネッティング）により射出瞳径が小さくなる。そして、口径食の状況は撮影光学系の機種や、ズーム状態及びフォーカス状態で異なるため、焦点検出可能な領域もこれらの状態で変化し、安定した焦点検出が困難となる。

また、特許文献２において開示された技術では、瞳分割が一方向に限定されているため、これと直交する方向のみに輝度分布を有する被写体に対しては焦点検出ができない。また、画像取得のための素子感度を高めるためには光電変換部の面積を大きくする必要があるが、大デフォーカス時には焦点検出像のボケも大きくなり、焦点検出可能なデフォーカス範囲が狭くなるという課題もある。

また、特許文献３では、２種類の焦点検出画素は撮像用画素でないので、撮像用画像を取得するとき、欠陥画素になる課題がある。

一方、瞳分割機能を有した撮像素子を用いると、視差情報を有した３次元画像を取得することができる。しかしながら、特許文献１及び２に記載された技術を用いたとしても、どのようにすれば焦点検出と３次元画像取得の両機能を最適化できるかがについては不明だった。

本発明は上記問題点を鑑みてなされたものであり、焦点検出可能なデフォーカス範囲を広くするとともに、合焦近辺での検出精度を向上することを目的とする。

また、被写体の輝度分布の方向に関わらず、焦点検出可能なデフォーカス範囲を広くするとともに、合焦近辺での検出精度を向上することを更なる目的とする。

更に、焦点検出と３次元画像取得の両機能を最適化することを別の目的とする。

上記目的を達成するために、本発明の撮像素子は、撮影光学系により形成された被写体像を検出して記録用画像を生成する第１の撮像画素及び第２の撮像画素と、を有する撮像素子であって、前記第１の撮像画素は、第１の方向及び前記第１の方向と直交する第２の方向に複数に分割された複数の光電変換部を備え、前記第２の撮像画素は、前記第１の方向に分割された複数の光電変換部を備え、前記第１の撮像画素を構成する光電変換部の数と、前記第２の撮像画素を構成する光電変換部の数は、同一であり、前記複数の光電変換部は、前記撮影光学系からの光束のうち分割された光束により形成された複数の被写体像を光電変換して位相差の検出に用いられる焦点検出信号を出力する機能を備えており、前記第１の撮像画素を構成する前記複数の光電変換部のうち位相差の検出に用いる光電変換部の基線長は、前記第２の撮像画素を構成する前記複数の光電変換部のうち位相差の検出に用いる光電変換部の基線長より長いことを特徴とする。

本発明によれば、焦点検出可能なデフォーカス範囲を広くすることができるとともに、合焦近辺での検出精度を向上させることができる。

また、被写体の輝度分布の方向に関わらず、焦点検出可能なデフォーカス範囲を広くするとともに、合焦近辺での検出精度を向上することができる。

更に、焦点検出と３次元画像取得の両機能を最適化することができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における撮像素子の画素配列を示す図。 第１の実施形態における撮像素子の読み出し回路の構成を示す図。 ズーム状態がＭｉｄｄｌｅ状態での画面中央画素における光電変換部の投影関係の説明図。 ズーム状態がＭｉｄｄｌｅ状態での射出瞳面における画面中央画素の投影図。 ズーム状態がＭｉｄｄｌｅ状態での画面周辺画素における光電変換部の投影関係の説明図。 ズーム状態がＭｉｄｄｌｅ状態での射出瞳面における画面周辺画素の投影図。 ズーム状態がＷｉｄｅ状態での画面周辺画素における光電変換部の投影関係の説明図。 ズーム状態がＴｅｌｅ状態での画面周辺画素における光電変換部の投影関係の説明図。 画面上の各位置における画素の光電変換部の配置を説明する図である。 ズーム状態がＭｉｄｄｌｅ状態での光電変換部と射出瞳の投影像との位置関係を説明する図。 ズーム状態がＷｉｄｅ状態での光電変換部と射出瞳の投影像との位置関係を説明する図。 ズーム状態がＴｅｌｅ状態での光電変換部と射出瞳の投影像との位置関係を説明する図。 第１の画素と第２の画素の出力信号のデフォーカスによる変化を説明する図。 第１の画素と第２の画素の出力信号の、焦点検出エリアによる差異を説明する図。 第１の実施形態における３Ｄ画像を創生する際の光電変換部の出力の加算方法を説明するための概念図。 焦点検出時の画像及び焦点検出信号とデフォーカスマップの一例を示す図。 第１の実施形態におけるカメラの撮影時のメインフローを示すフローチャート。 第１の実施形態における焦点検出サブルーチンのフローチャート。 第１の実施形態における画像記録サブルーチンのフローチャート。 第２の実施形態における撮像素子の画素配列を示す図。 第２の実施形態における３Ｄ画像を創生する際の光電変換部の出力の加算方法を説明するための概念図。 第３の実施形態における撮像素子の画素配列を示す図。 第４の実施形態におけるカメラの撮影時のメインフローを示すフローチャート。 第４の実施形態における焦点検出サブルーチンのフローチャート。 第５の実施形態における撮像素子の複数の基線長について説明した図。 第５の実施形態における３種類のデフォーカス量に対する重み付け係数を示す図。 第５の実施形態における焦点検出サブルーチンのフローチャート。 第５の実施形態の変形例における３種類のデフォーカス量に対する重み付け係数を示す図。 第５の実施形態の変形例における３種類のデフォーカス量に対する重み付け係数を示す図。 第６の実施形態における３種類のデフォーカス量に対する重み付け係数を示す図。 第６の実施形態における焦点検出サブルーチンのフローチャート。 第６の実施形態の変形例における３種類のデフォーカス量に対する重み付け係数を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明における撮像素子を有する撮像装置であるデジタルカメラの概略構成を示したもので、撮像素子を有したカメラ本体と撮影光学系が一体化又は接続されたデジタルカメラを示しており、動画及び静止画が記録可能である。同図において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞りで、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。絞り１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍機能（ズーム機能）を実現することができる。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行う。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳセンサとその周辺回路で構成された撮像素子である。また、撮像素子１０７は、横方向にＭ画素、縦方向にＮ画素が正方配置され、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。なお、撮像素子１０７の構成については詳細に後述する。

１１１はズームアクチュエータで、不図示のカム筒を手動もしくはアクチュエータで回動することで、第１レンズ群１０１〜第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りシャッタアクチュエータで、絞り１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

１１５は無線式の通信部で、インターネット等のネットワークを通じてサーバーコンピュータと通信するためのアンテナや信号処理回路で構成される。１１６はカメラの姿勢検知部で、カメラの撮影姿勢、すなわち横位置撮影か縦位置撮影かを判別するための電子水準器が用いられる。

１２１はカメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。

１２２は通信制御回路で、通信部１１５を介して、カメラから撮影画像をサーバーコンピュータに送信したり、サーバーコンピュータから画像や各種情報を受信する。１２３は姿勢検知回路で、姿勢検知部１１６の出力信号から、カメラの姿勢を判別する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像、カメラの姿勢情報等を表示する。１３２は操作スイッチ群で、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

図２は本第１の実施形態における撮像素子１０７の画素配列を示したもので、本発明人による特開平０９−０４６５９６号報等に開示された技術を用いて製造される。同図は２次元Ｃ−ＭＯＳエリアセンサの縦（Ｙ方向）１２行と横（Ｘ方向）１４列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、緑（Green）と赤（Red）のカラーフィルタが交互に設けられる。また、偶数行の画素には、青（Blue）と緑（Green）のカラーフィルタが交互に設けられる。２１１ｉの円はオンチップマイクロレンズを表わし、オンチップマイクロレンズ２１１ｉの内側に配置された複数の矩形はそれぞれ光電変換部である。

本発明では、すべての画素が、Ｘ方向にｍ分割、Ｙ方向にｎ分割（ただし、ｍとｎはいずれも１以上の整数）された複数の光電変換部を含み、各光電変換部の光電変換信号は独立して読み出しできる構成となっている。ただし、画素の分割形態は全画素一様ではなく、分割形態の異なる複数の画素から構成される。以下にこれら画素の特徴を説明する。なお、以下の説明において、分割された複数の光電変換部を連結し、一つの光電変換部とみなした形状を連結形状、連結形状の中心を連結中心と称する。

２１１は第１の画素（第１の撮像画素）で、Ｘ方向（第１の方向）に２分割（整数ｍ１＝２）、Ｙ方向（第２の方向）に２分割（整数ｎ１＝２）された、合計４個の光電変換部２１１ａ〜２１１ｄを有する。これら４個の光電変換部２１１ａ〜２１１ｄは、画素中心を通るＸ軸及びＹ軸に対して、それぞれ線対称となるように分割されている。すなわち、分割された各光電変換部の平面形状は正方形、４個の光電変換部を合わせた連結形状も正方形で、像面上のすべての位置において同一の分割形状となっている。第１の画素２１１の出力は、記録用画像の生成、及び合焦近傍での焦点検出に利用される。ここで記録用画像とは、ＪＰＥＧ等のフォーマットで規定された通常の２次元（２Ｄ：2-Dimensional）画像のほかに、視差情報を有する複数画像から構成される３次元（３Ｄ：3-Dimensional）画像も含む。また、動画、静止画のいずれも該当する。なお、撮像素子１０７に配置された同様の構成を有する他の画素も、以下、第１の画素２１１と呼ぶ。

２２１〜２２３は第２の画素（第２の撮像画素）で、所定の配列規則に則って第１の画素２１１の間に離散配置されている。そして、Ｘ方向（第１の方向）に４分割（整数ｍ２＝４、（２ｎ個、ｎ＝２））され、Ｙ方向には分割されない（整数ｎ２＝１）、合計４個の光電変換部を有する。第２の画素２２１〜２２３の各光電変換部を合わせた連結形状も正方形である。第２の画素２２１〜２２３の出力は、記録用画像の生成、及び大デフォーカス時（焦点ずれ量が大きい時）の焦点検出に利用される。図２においては、４分割された光電変換部のうち、中央２個の光電変換部（添え字ｂ及びｃで表記されたもの）が焦点検出に利用される。なお同図において、焦点検出用光電変換部は黒く表示しているが、その基本的な構造や特性は両側の光電変換部（添え字ａ及びｄで表記されたもの）と同じである。なお、撮像素子１０７に配置された同様の構成を有する画素も、以下、第２の画素２２１〜２２３と呼ぶ。第２の画素２２１〜２２３においても、４つの光電変換部を合わせた連結形状はすべて正方形となっているが、分割された個々の光電変換部の平面形状の相違により、第２の画素２２１〜２２３はさらに以下のごとく３種類に分けられる。

まず、第２の画素２２２においては、光電変換部２２２ｂ及び２２２ｃは画素中心に対して左右対称に配置される。すなわち、光電変換部２２２ａ〜２２２ｄの連結中心と、中央の光電変換部２２２ｂ及び２２２ｃの連結中心は一致している。そして光電変換部２２２ｂ及び２２２ｃのＸ方向の寸法（光電変換部の幅）は、外側の光電変換部２２２ａ及び２２２ｄのＸ方向寸法よりも小さく（狭く）設定されている。この分割形状は、像面上に配置されたすべての第２の画素２２２で同一となっている。

ここで、同一行上に配置された所定範囲内にある第２の画素２２２の光電変換部２２２ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像、同じく光電変換部２２２ｃの出力をつなぎ合わせて編成したものをＡＦ用Ｃ像とする。そしてＡＦ用Ｂ像とＣ像の相対的な横ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。

第２の画素２２１においては、光電変換部２２１ｂ及び２２１ｃの連結中心は、光電変換部２２１ａ〜２２１ｄの連結中心に対してＸ軸上の負方向に偏倚している。ただし光電変換部２２１ｂ及び２２１ｃのＸ方向の寸法は、光電変換部２２２ｂ及び２２２ｃと同一に設定される。その結果、外側の光電変換部２２１ａのＸ方向寸法は光電変換部２２２ａに比べて小さく、他方の光電変換部２２１ｄのＸ方向寸法は光電変換部２２２ｄに比べて大きくなっている。

第２の画素２２３においては、光電変換部２２３ｂ及び２２３ｃの連結中心は、光電変換部２２３ａ〜２２３ｄの連結中心に対してＸ軸上の正方向に偏倚している。ただし光電変換部２２３ｂ及び２２３ｃのＸ方向の寸法は、光電変換部２２２ｂ及び２２２ｃと同一に設定される。その結果、外側の光電変換部２２３ａのＸ方向寸法は光電変換部２２２ａに比べて大きく、他方の光電変換部２２３ｄのＸ方向寸法は光電変換部２２２ｄに比べて小さくなっている。

これら第２の画素２２１、２２２、２２３において、光電変換部２２１ｂ、２２１ｃ、２２２ｂ、２２２ｃ、２２３ｂ、２２３ｃのＸ方向の寸法を小さくする理由は次のとおりである。位相差検出式焦点検出システムにおいては、撮影光学系の射出瞳上で焦点検出用光束の瞳分割を行う。そして、瞳分割方向における瞳寸法が大きいと、非合焦時のＡＦ像のボケが大きくなり、焦点検出可能範囲が狭く、すなわち大デフォーカスにおける焦点検出能力が劣化する。また、撮影光学系のＦ値が暗い（Ｆナンバーが大きい）場合、焦点検出用光束のケラレが著しくなり、１対のＡＦ像信号の相似性が損なわれたり、光量のアンバランスが増加する。そしてこのけられ現象はデフォーカス量に依存するため、大デフォーカス時の焦点検出能力が一層低下してしまう。

ここで、撮影光学系の射出瞳面上における焦点検出用瞳と、撮像素子の各画素における光電変換部は、オンチップマイクロレンズを介して共役関係にある。そこで、焦点検出に用いる光電変換部２２１ｂ、２２１ｃ、２２２ｂ、２２２ｃ、２２３ｂ、２２３ｃのＸ方向寸法を小さくすることで、焦点検出用瞳の幅が狭くなり、上記大デフォーカス時の焦点検出性能の低下を回避することができる。

一方で、合焦近傍、すなわちデフォーカス量が小さい時は、焦点検出用瞳の寸法が大きくとも、像のボケは小さい。そこで、合焦近傍と判断された場合は、第１の画素２１１の出力も焦点検出に用いることで、焦点検出に用いるＡＦ像信号の情報量が増加し、画素出力のノイズの影響が低減され、焦点検出精度の向上が達成できる。詳細は後述する。

以上説明した第２の画素２２１〜２２３は、Ｘ方向に瞳分割するための画素であり、Ｘ方向に輝度分布を有する被写体、すなわち縦縞模様の被写体に対して用いられる。これに対して、第３の画素２２４〜２２６は、Ｙ方向に瞳分割するための画素であり、Ｙ方向に輝度分布を有する被写体、すなわち横縞模様の被写体に対して用いられる。第３の画素２２４〜２２６も、光電変換部はＹ方向に４分割され、光電変換部の分割形状に応じて更に３種類に分けられるが、その形態は第２の画素２２１〜２２３の分割形態を９０度回転させたものと等価であるため、詳しい説明は省略する。そして第２の画素２２１〜２２３及び第３の画素２２４〜２２６は、焦点検出する被写体の輝度分布パターンに応じて適した方を用いることで、焦点検出不能となる確率を低減させている。

図３は本発明の撮像素子１０７の読み出し回路の構成を示したものである。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン１５２ａ〜１５２ｄと、垂直走査ライン１５４ａ〜１５４ｄが配線され、各光電変換部からの信号は、これらの走査ラインを介して外部に読み出される。

なお、本発明の撮像素子１０７は以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行うためのモードである。この場合に必要な画素数は全画素よりも少ないため、第１の画素２１１はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出す。また第２の画素２２１〜２２３及び第３の画素２２４〜２２６はすべて読み出すことで、焦点検出機能は維持される。

図４は本発明のカメラにおいて、撮影光学系の射出瞳面と、像高がゼロ、すなわち、像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子１０７内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞り１０２が置かれる面とほぼ一致する。一方、本発明の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図４における撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。この状態での射出瞳距離をＺｍｉｄとし、これを標準的な射出瞳距離Ｚｎｏｒｍと仮定して、オンチップマイクロレンズの形状設計がなされる。

図４（ａ）は、第１の画素２１１と撮影光学系の共役関係を示した図である。なお、図１と同じ構成には同じ参照番号を付しているが、同図において、１０１ｂは第１レンズ群１０１を保持する鏡筒部材、１０５ｂは第３レンズ群１０５を保持する鏡筒部材である。また、１０２ａは絞り開放時の開口径を規定する開口板、１０２ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影光学系を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｍｉｄとしている。

また、図４（ａ）において、第１の画素２１１は、最下層より、光電変換部２１１ａ〜２１１ｄ、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈ、オンチップマイクロレンズ２１１ｉの各部材で構成される。ここで光電変換部２１１ａと２１１ｂは紙面垂直方向（Ｙ軸方向）に重なっており、光電変換部２１１ｃ及び２１１ｄも同様に重なっている。そしてこれら光電変換部はオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影され、その投影像はＥＰ１ａ〜ＥＰ１ｄとなる。

ここで、絞り１０２が開放（例えばＦ２．８）の場合、撮影光学系を通過する光束の最外部をＬ（Ｆ２．８）で示すが、上記瞳投影像ＥＰ１ａ〜ＥＰ１ｄは絞り開口でけられることが無い。一方、絞り１０２が小絞り（例えばＦ５．６）の場合、撮影光学系を通過する光束の最外部をＬ（Ｆ５．６）で示すが、上記瞳投影像ＥＰ１ａ〜ＥＰ１ｄの外側は絞り開口でけられる。ただし、像面中央では各瞳投影像ＥＰ１ａ〜ＥＰ１ｄのけられ状態は光軸に対して対称となり、各光電変換部２１１ａ〜２１１ｄが受光する光量は等しい。

図４（ｂ）は、第２の画素２２２と、撮影光学系の射出瞳面との共役関係を示した図である。第１の画素２１１の共役関係を説明した図４（ａ）に対して、図４（ｂ）は画素の光電変換部の形状のみ異なる。すなわち、光電変換部２２２ａ〜２２２ｄの投影像は、像面からの距離Ｚｍｉｄにおける射出瞳面上に、ＥＰ２２ａ〜ＥＰ２２ｄとして形成される。

その結果、絞り値が開放の場合は４個の光電変換部２２２ａ〜２２２ｄには充分な光束が入射する。また、絞りが小絞りの場合、外側の光電変換部２２２ａ及び２２２ｄへの光束はほぼ遮蔽されるが、光電変換部２２２ｂ及び２２２ｃには所定の光束が入射するため、絞り込み時も焦点検出が可能となる。

図５は像面上の中央部に配置された画素が有する光電変換部を、撮影光学系の射出瞳面上に投影した像を示したものである。

図５（ａ）は、第１の画素２１１の光電変換部２１１ａ〜２１１ｄを投影した平面図である。ＴＬ２（Ｆ２．８）は、撮影光学系の開放絞りにおける射出瞳、ＴＬ２（Ｆ５．６）は小絞りにおける射出瞳を表わす。ＥＰ１ａ〜ＥＰ１ｄは、第１の画素２１１の光電変換部２１１ａ〜２１１ｄの投影像である。図４（ａ）で説明したように、像面上の中央に配置された画素においては、４個の光電変換部２１１ａ〜２１１ｄの連結中心は撮影光学系の射出瞳の中心と一致する。そこで、撮影光学系の絞り込みに応じて４個の瞳投影像ＥＰ１ａ〜ＥＰ１ｄは周辺部から均等にけられが生じる。よって、小絞りになると各光電変換部２１１ａ〜２１１ｄの受光光量は低下するが、低下量は等しい。

図５（ｂ）は図５（ａ）のＡ−Ａ断面における受光特性で、横軸は撮影光学系の射出瞳面における水平座標、縦軸は光電変換部の受光効率を表わす。図４において、画素内に配置された光電変換部はオンチップマイクロレンズにより、撮影光学系の射出瞳と共役関係にあると説明した。これは、射出瞳面上における撮影光学系の射出瞳ＴＬと光電変換部の投影像ＥＰの共通領域を通過する光束のみが、光電変換部に到達することを意味する。したがって、上記投影像は撮影光学系の射出瞳面上に配置された画素固有の開口絞りに相当し、図５（ｂ）の縦軸は各開口絞りの透過率分布になる。そしてこの透過率分布は光電変換部の光束受光効率と見なすことができる。この光束受光効率の分布特性を便宜上「瞳強度分布」と称することにする。

ここで、オンチップマイクロレンズ２１１ｉによる投影性能が幾何光学的に無収差であれば、瞳強度分布はゼロもしくは１のいずれか一方の値のみを有するステップ関数となる。しかしながら、各画素の寸法は数μｍ程度と微小なため、射出瞳面上に投影された光電変換部の像は光の回折により鮮鋭度が低下する。また、通常オンチップマイクロレンズ２１１ｉは球面レンズであるため、球面収差によっても前記投影像の鮮鋭度は低下する。そこで、各画素の瞳強度分布もボケを生じ、図５（ｂ）のごとく両端の肩の部分がなまり、かつ裾を引いた形状となる。

次に、瞳強度分布と焦点検出特性の関係について説明する。Ｘ軸方向における１対の瞳強度分布において、撮影光学系の射出瞳範囲で切り出された部分の各々の重心の離間量が、位相差式焦点検出システムにおける基線長に相当する。ここでは基線長を、撮影光学系の瞳面上での重心離間量（単位ｍｍ）を瞳距離（単位ｍｍ）で除した角度θ（単位はラジアン）で定義する。そして、焦点検出時の１対２像の横ずれ量をｕ（単位はｍｍ）、その時のデフォーカス量をＤＥＦ（単位はｍｍ）とすると、これらの関係は以下の式（１）で表わされる。
θ×ＤＥＦ＝ｕ …（１）

θは撮影光学系のＦ値毎に異なる値をとり、図５（ｂ）ではＦ２．８とＦ５．６の基線長をθ（Ｆ２．８）及びθ（Ｆ５．６）で示した。式（１）によると、基線長θが大きいほど、単位デフォーカス量に対する焦点検出像の横ずれ量が大きく、焦点検出精度が高くなる。その反面、大デフォーカス時には１対の像の横ずれ量も大きくなるため、焦点検出エリアが狭いと焦点検出可能な最大デフォーカス量は小さくなるという弊害が生ずる。

また、瞳強度分布のＸ方向の広がりが大きいと、光電変換部の受光量は増し、画像信号として用いる場合はノイズが少なく、焦点検出信号として用いる場合は低輝度検出限界が向上する。その反面、大デフォーカス時の像のボケも増加し、焦点検出信号のコントラストが低下して焦点検出可能な最大デフォーカス量が小さくなる弊害が生ずる。そして第１の画素２１１においては、瞳強度分布の広がり幅が大きく、基線長が大きいため、デフォーカス量が小さい場合の高精度焦点検出に有利である。

図５（ｃ）は、第２の画素２２２が有する光電変換部２２２ａ〜２２２ｄの投影状態を示した平面図である。２つの円は図５（ａ）と同じく、開放絞りと小絞りにおける撮影光学系の射出瞳である。ＥＰ２２ａ〜ＥＰ２２ｄは、第２の画素２２２の光電変換部２２２ａ〜２２２ｄの投影像である。

図５（ｄ）は図５（ｃ）の断面特性を表わす瞳強度分布である。本第１の実施形態においては、焦点検出時は光電変換部２２２ｂと２２２ｃの出力を用いる。そして、該光電変換部の瞳強度分布ＥＰ２２ｂ及びＥＰ２２ｃの幅は、図５（ｂ）に示した第１の画素の瞳強度分布より狭い。よって、デフォーカス量が大きい時も、焦点検出用画素によって形成されたＡＦ像のボケは小さく保たれ、焦点検出不能となることが無い。また、瞳強度分布ＥＰ２２ｂ及びＥＰ２２ｃは、撮影光学系が小絞りになった際もけられの程度が軽微であるため、基線長の変化は微小、すなわちθ（Ｆ２．８）＝θ（Ｆ５．６）であり、小絞り時も焦点検出が可能である。すなわち第２の画素２２２においては、瞳強度分布の広がり幅が狭く、基線長が小さいため、デフォーカス量が大きい場合や小絞り時にも焦点検出が可能である。

以上のように、基線長は焦点検出精度と最大検出デフォーカス量を支配するが、両特性は相反する。また、瞳強度分布の幅は受光光量と像のボケを支配するが、これも両特性は相反する。そして本発明では、特性の異なる第１の画素２１１及び第２の画素２２２を、後述するように焦点検出条件に応じて使い分けることで、焦点検出能力の向上を図っている。

図６は、同じくズーム状態がＭｉｄｄｌｅにおける、周辺像高での画素の光電変換部と、撮影光学系の射出瞳面との共役関係を示した図である。周辺像高部においても個々の光束遮蔽部材の虚像は像面中央での虚像と概ね等しい。しかしながら、距離の異なる複数の虚像開口を斜め方向から見込むために、合成開口としての射出瞳形状は変化し、いわゆる口径食が生ずる。例えば絞りが開放の場合、下線と呼ばれる外側光束Ｌ（Ｆ２．８）は鏡筒部材１０１ｂで規制され、上線と呼ばれる外側光束Ｌ（Ｆ２．８）は鏡筒部材１０５ｂで規制される。よって、射出瞳面上における合成開口のＸ方向寸法は、中央像高における開口寸法より小さい。一方小絞りの場合は口径食の影響を受けることなく、絞り羽根１０２ｂの開口部が射出瞳となる。

次いで、周辺像高における撮像素子の構成について説明する。像高の大きな位置に配置された画素は、射出瞳からの光束が斜め入射になる。そこで、各画素の光電変換領域の連結中心に対してオンチップマイクロレンズを像面中央側に偏心させる必要があるが、最適偏心量は像高、及び撮影光学系の射出瞳までの距離に依存する。ここで該偏心量の像高依存に関しては、像高に比例した偏心量を付与するのが一般的である。一方で、射出瞳の距離は撮影光学系のズーム状態やフォーカス状態によって変化するため、代表的な状態を一義的に決める必要がある。本第１の実施形態では、ズーム状態はＭｉｄｄｌｅ、フォーカス状態は無限被写体に合焦している状態を代表状態とし、このときの射出瞳距離をＺｎｏｒｍとしている。

図６（ａ）は第１の画素２１１の投影関係を示しているが、像面からＺｍｉｄ（＝Ｚｎｏｒｍ）の距離にある射出瞳面上において、４個の瞳投影像ＥＰ１ａ〜ＥＰ１ｄの連結中心は、射出瞳の中心に対して偏心することなく投影される。

その結果、絞りが開放の場合は画素の受光量は口径食によって低下するが、低下量は４個の光電変換部間でほぼ等しくなる。また、絞りが小絞りの場合の光量は、図４（ａ）に示す像面中央に配置された画素とほぼ等しい。

図６（ｂ）は、第２の画素２２２と、撮影光学系の射出瞳面との共役関係を示した図である。撮影光学系の口径食、及び画素のオンチップマイクロレンズの偏心状態は図６（ａ）と同じである。よって、光電変換部２２２ａ〜２２２ｄの投影像は、像面からの距離Ｚｍｉｄにおける射出瞳面上に、ＥＰ２２ａ〜ＥＰ２２ｄとして形成される。

その結果、絞り値が開放の場合も口径食により、外側の光電変換部２２２ａ及び２２２ｄへの光束は大半が遮蔽され、絞り込み時にはほぼ完全に遮蔽される。一方で、光電変換部２２２ｂ及び２２２ｃには、開放及び絞り込み時ともに所定の光束が入射するため、絞り込み時にも焦点検出が可能となる。

図７は撮影光学系の射出瞳面上における、周辺像高部に配置された画素が有する光電変換部の投影像を示したものである。

図７（ａ）は、第１の画素２１１の光電変換部２１１ａ〜２１１ｄを投影した平面図である。ＴＬ２（Ｆ２．８）は、撮影光学系の開放における射出瞳であるが、図６で説明した口径食の作用により、複数の円弧を組み合わせた形状を呈する。ＴＬ２（Ｆ５．６）は小絞りにおける射出瞳で、これは口径食の影響を受けず、円形開口となる。ＥＰ１ａ〜ＥＰ１ｄは、第１の画素２１１の光電変換部２１１ａ〜２１１ｄの投影像である。周辺像高の画素においては、小絞り時だけでなく、開放の場合も瞳投影像ＥＰ１ａ〜ＥＰ１ｄのけられが生ずる。ただし、４個の光電変換部２１１ａ〜２１１ｄの連結中心と撮影光学系の射出瞳中心が一致しているため、各瞳投影像ＥＰ１ａ〜ＥＰ１ｄのけられ方は軸対称となる。よって、各光電変換部２１１ａ〜２１１ｄの受光光量は低下するが、低下量は等しい。

図７（ｂ）は図７（ａ）の瞳強度分布を説明する図で、各瞳投影像ＥＰ１ａ〜ＥＰ１ｄの瞳強度分布は図５（ｂ）と同一である。一方で、絞りが開放時の撮影光学系の射出瞳幅は狭くなるため、基線長θ（Ｆ２．８）は図５（ｂ）に対して短くなっている。

図７（ｃ）は第２の画素２２２の光電変換部２２２ａ〜２２２ｄを投影した平面図、図７（ｄ）はその瞳強度分布である。図７（ｄ）においても、光電変換部２２２ａ〜２２２ｄの瞳投影像ＥＰ２２ａ〜ＥＰ２２ｄとその瞳強度分布は図５（ｄ）と本質的には同一である。また、撮影光学系の射出瞳幅は図７（ａ）と同一である。よって、焦点検出用の瞳投影像ＥＰ２２ｂ及びＥＰ２２ｃは、開放および小絞りにおいても射出瞳によってけられることが無い。従って、基線長はθ（Ｆ２．８）＝θ（Ｆ５．６）の関係が維持され、小絞り時も焦点検出が可能である。

図８は、ズーム状態がＷｉｄｅ（広角端）における、周辺像高での画素の光電変換部と、撮影光学系の射出瞳面との共役関係を示した図である。本第１の実施形態の撮影光学系では、像面からの射出瞳距離がズーム状態に応じて変化し、Ｗｉｄｅ状態では像面と射出瞳の距離が、前述した標準距離Ｚｎｏｒｍより短くなる。一方、図６で説明したように、オンチップマイクロレンズの偏心量は、ズーム状態がＭｉｄｄｌｅの時の射出瞳距離、すなわちＺｎｏｒｍを基準に最適化されている。そこでＷｉｄｅ時には、オンチップマイクロレンズの偏心量は最適値では無く、周辺像高の画素における光電変換部の各投影像の連結中心は、撮影光学系の射出瞳の中心に対して偏心する。

図８（ａ）は第１の画素２１１の投影関係を示している。４個の光電変換部２１１ａ〜２１１ｄの投影像は、像面からＺｗｉｄｅの距離にある射出瞳面上において、ＥＰ１ａ〜ＥＰ１ｄとして形成される。そして４個の瞳投影像ＥＰ１ａ〜ＥＰ１ｄの連結中心は、撮影光学系の射出瞳の中心に対してＸ軸上の負方向に偏心する。その結果、絞りが開放の場合は画素の受光量は口径食によって低下するとともに、低下量は４個の光電変換部２１１ａ〜２１１ｄ間で不均一となる。そして絞り開口径の減少とともに受光量不均性が顕著になる。

図８（ｂ）は、第２の画素２２１と、撮影光学系の射出瞳面との共役関係を示した図である。撮影光学系のズーム状態がＭｉｄｄｌｅの場合は、図６（ｂ）に示したように、第２の画素２２２が用いられる。これに対してズーム状態がＷｉｄｅの場合、第２の画素は２２１が用いられる。第２の画素２２１の光電変換部２２１ａ〜２２１ｄは、図２及び図８（ｂ）に示すように、光電変換部２２１ｂと２２１ｃの連結中心が、Ｘ軸上の負方向に偏倚している。一方で、撮影光学系の射出瞳距離Ｚｗｉｄｅは標準距離Ｚｎｏｒｍより短いため、射出瞳面上には光電変換部２２１ｂと２２１ｃの連結中心が偏心することなく投影される。

図９は、ズーム状態がＴｅｌｅ（望遠端）における、周辺像高での画素の光電変換部と、撮影光学系の射出瞳面との共役関係を示した図である。図８に示したＷｉｄｅ状態とは反対に、Ｔｅｌｅ状態では像面と射出瞳の距離が標準距離Ｚｎｏｒｍより長くなる。よって、周辺像高の画素における光電変換部の各投影像の連結中心は、撮影光学系の射出瞳の中心に対して偏心し、その偏心方向はＷｉｄｅ状態とは反対になる。

図９（ａ）は第１の画素２１１の投影関係を示している。４個の光電変換部２１１ａ〜２１１ｄの投影像は、像面からＺｔｅｌｅの距離にある射出瞳面上において、ＥＰ１ａ〜ＥＰ１ｄとして形成される。そして４個の瞳投影像ＥＰ１ａ〜ＥＰ１ｄの連結中心は、撮影光学系の射出瞳の中心に対してＸ軸上の正方向に偏心する。その結果、絞りが開放の場合は画素の受光量は口径食によって低下するとともに、低下量は４個の光電変換部２１１ａ〜２１１ｄ間で不均一となる。そして絞り開口径の減少とともに受光量不均性が顕著になる。

図９（ｂ）は、第２の画素２２３と、撮影光学系の射出瞳面との共役関係を示した図である。撮影光学系のズーム状態がＴｅｌｅの場合、第２の画素２２３が用いられる。第２の画素２２３の光電変換部２２３ａ〜２２３ｄは、図２及び図９（ｂ）に示すように、光電変換部２２３ｂと２２３ｃの連結中心が、Ｘ軸上の正方向に偏倚している。一方で、撮影光学系の射出瞳距離Ｚｔｅｌｅは標準距離Ｚｎｏｒｍより短いため、射出瞳面上には光電変換部２２３ｂと２２３ｃの連結中心が偏心することなく投影される。

図１０〜図１３は、撮像素子１０７上の５箇所の焦点検出エリアにおける、画素内の光電変換部と、撮影光学系の射出瞳の投影位置関係を説明する図である。

図１０（ａ）は、撮像素子１０７を撮影光学系側から見た図である。本発明の撮像素子は、図２で説明したように、焦点検出用画素が撮像領域の全域に渡って離散配置されているため、任意の位置で焦点検出可能である。しかしながら、図４〜図９で説明したように、撮影光学系の射出瞳距離がズーム状態に応じて変化するため、光電変換部と射出瞳の共役関係は撮像素子上の位置（像高）により異なる。ここでは、同図（ａ）に示すように、撮像素子１０７上の５箇所を例に投影関係を説明する。ＡＦＷ１〜ＡＦＷ５は、それぞれ、中央、上、下、左、右の焦点検出エリアの代表位置である。

図１０（ｂ）は、図１０（ａ）に示す５箇所の焦点検出エリアＡＦＷ１〜ＡＦＷ５における、第１の画素２１１、第２の画素２２１〜２２３、及び第３の画素２２４〜２２６の、各々の光電変換部のみを抽出して集約したものである。そして黒く塗りつぶした矩形が焦点検出に用いる光電変換部であるが、すべてを同時に用いるわけではなく、後述するように撮影光学系のズーム状態に応じて選択的に用いる。

図１１は、撮影光学系のズーム状態がＭｉｄｄｌｅの場合の、光電変換部における射出瞳の投影像を示したものである。図５（ａ）と（ｂ）、及び、図７（ａ）と（ｂ）は、撮影光学系の射出瞳面上における光電変換部の投影像を示した。これに対して、図１１は、光電変換部の最上面における撮影光学系の射出瞳の投影像を示しているが、射出瞳と光電変換部はオンチップマイクロレンズを介して共役関係にあるため、これらの図は実質的に同じ状況を説明しているものである。なお、図５及び図７では、撮影光学系の絞り値はＦ２．８（開放）とＦ５．６（小絞り）の２つの状態を示したが、図１１ではＦ５．６の射出瞳のみを示している。

図１１においては、撮影光学系の射出瞳距離Ｚｍｉｄは標準距離Ｚｎｏｒｍと等しい。よって、撮像素子１０７上の位置に関わらず、第１の画素２１１における光電変換部２１１ａ〜２１１ｄの連結中心と、射出瞳の瞳投影像ＥＰ１ａ〜ＥＰ１ｄは偏心せずに一致する。そこで、焦点検出のために、第２の画素２２１〜２２３及び第３の画素２２４〜２２６の内、撮像素子１０７上の位置に関わらず、焦点検出用の光電変換部の連結中心が偏倚していない第２の画素２２２及び第３の画素２２５が選択される。

図１２は、撮影光学系のズーム状態がＷｉｄｅの場合の、光電変換部における射出瞳の投影像を示したものである。Ｗｉｄｅ状態では、撮影光学系の射出瞳距離Ｚｗｉｄｅは標準距離Ｚｎｏｒｍより小さい。よって、光電変換部上に投影される射出瞳の中心は、撮像素子上の中心位置から外側に向かって等方的に偏心し、偏心量は像高に比例する。例えば焦点検出エリアＡＦＷ２では、射出瞳はＹ軸の正方向に偏心するため、第２の画素２２１〜２２３の内、焦点検出用の光電変換部の連結中心が偏倚していない、第２の画素２２２が選択される。また第３の画素２２４〜２２６の内、焦点検出用の光電変換部の連結中心がＹ軸の正方向に偏倚した、第３の画素２２４が選択される。また、焦点検出エリアＡＦＷ４では、射出瞳はＸ軸の負方向に偏心する。よって、第２の画素２２１〜２２３の内、焦点検出用の光電変換部の連結中心がＸ軸の負方向に偏倚した、第２の画素２２１が選択される。また第３の画素２２４〜２２６の内、焦点検出用の光電変換部の連結中心がＹ軸方向に偏倚していない第３の画素２２５が選択される。

ここで注意すべき点は、焦点検出エリアの位置によって、第２の画素２２１〜２２３及び第３の画素２２４〜２２６から選択される画素が異なることである。すなわち、Ｙ座標の等しい焦点検出エリアＡＦＷ４、ＡＦＷ１、ＡＦＷ５では、各々に最適な第２の画素は、２２１、２２２、２２３とそれぞれ異なっている。またＸ座標の等しい焦点検出エリアＡＦＷ２、ＡＦＷ１、ＡＦＷ３では、最適な第３の画素は、それぞれ２２４、２２５、２２６となる。

図１３は、撮影光学系のズーム状態がＴｅｌｅの場合の、光電変換部における射出瞳の投影像を示したものである。Ｔｅｌｅ状態では、撮影光学系の射出瞳距離Ｚｔｅｌｅは標準距離Ｚｎｏｒｍより大きい。よって、光電変換部上に投影される射出瞳の中心は、撮像素子上の中心位置から内側に向かって等方的に偏心し、偏心量は像高に比例する。例えば焦点検出エリアＡＦＷ２では、射出瞳はＹ軸の負方向に偏心するため、第２の画素２２１〜２２３の内、焦点検出用の光電変換部の連結中心が偏倚していない、画素２２２が選択される。また第３の画素２２４〜２２６の内、焦点検出用の光電変換部の連結中心がＹ軸の負方向に偏倚した、第３の画素２２６が選択される。また、焦点検出エリアＡＦＷ４では、射出瞳はＸ軸の正方向に偏心する。よって、第２の画素２２１〜２２３の内、焦点検出用の光電変換部の連結中心がＸ軸の正方向に偏倚した、第２の画素２２３が選択される。また第３の画素２２４〜２２６の内は、焦点検出用の光電変換部の連結中心がＹ軸方向に偏倚していない第３の画素２２５が選択される。

また、焦点検出エリアの位置によって選択される焦点検出画素が異なる点は図１２と同様であるが、その方向性は反対となる。すなわち、Ｙ座標の等しい焦点検出エリアＡＦＷ４、ＡＦＷ１、ＡＦＷ５において、各々に最適な第２の画素は、２２３、２２２、２２１とそれぞれ異なっている。またＸ座標の等しい焦点検出エリアＡＦＷ２、ＡＦＷ１、ＡＦＷ３における最適な第３の画素は、それぞれ２２６、２２５、２２４となる。

図１４は、焦点検出時の第１の画素２１１及び第２の画素２２２の出力波形を示したもので、横軸は画素のＸ座標、縦軸は画素信号出力である。ズーム状態はＭｉｄｄｌｅ、絞り値は開放（Ｆ２．８）、焦点検出エリアは像面上中央のＡＦＷ１である。ここでは、被写体はＸ軸方向に輝度変化を有し、Ｙ軸方向には輝度変化が無い、縦縞パターンを有するものとし、この場合、焦点検出はＸ軸方向に瞳分割する第２の画素２２２を使用する。第２の画素２２２においては、図２もしくは図１１に示したように、中央寄りの光電変換部２２２ｂ及び２２２ｃの出力を焦点検出に用いるので、この出力波形を図１４においてはＡＦｂ及びＡＦｃで示す。また、第１の画素２１１においては、Ｙ軸方向に並置された光電変換部２１１ａと２１１ｂの加算信号と、光電変換部２１１ｃと２１１ｄの加算信号を、１対の焦点検出信号として利用することができる。この１対の像信号を、ＩＭａｂ及びＩＭｃｄで示す。

図１４（ａ）はデフォーカス量がゼロ、すなわち合焦時の波形である。合焦時には、第１の画素２１１による信号ＩＭａｂ及びＩＭｃｄと、第２の画素２２２による信号ＡＦｂ及びＡＦｃのＸ方向の位相はすべて一致し、横ずれを生じない。また信号強度は、各画素の受光量に比例する。ここで図５（ａ）及び（ｃ）で説明したように、絞り値Ｆ２．８においては、第１の画素２１１の受光量に対して第２の画素２２２の受光量は小さい。よって、図１４（ａ）の信号強度の大小関係は、
ＩＭａｂ＝ＩＭｃｄ＞ＡＦｂ＝ＡＦｃ …（２）
となる。

図１４（ｂ）は焦点ずれ量が比較的小さな場合、例えばデフォーカス量が２ｍｍの時の波形である。第１の画素２１１から得られる１対の像信号ＩＭａｂ及びＩＭｃｄは像ずれ量ｕ１を生じ、第２の画素２２２から得られる１対の像信号ＡＦｂ及びＡＦｃは像ずれ量ｕ２を生じる。そして両画素の基線長は第１の画素２１１の方が大きいため、像ずれ量の関係はｕ１＞ｕ２となる。一方で、デフォーカス量が小さい場合、各焦点検出像のボケによるコントラスト低下は軽微（コントラストが予め決められた閾値以上）であり、すべての像信号は充分なコントラスト情報を保持する。そこで図１４（ｂ）のごとくデフォーカス量が小さい場合は、第１の画素２１１及び第２の画素２２２の両方で焦点検出が可能となる。ただし、第１の画素２１１の方が基線長が長く、焦点検出精度が高いため、像ずれ量ｕ１を優先的に用いて合焦制御するのが好ましい。

図１４（ｃ）は焦点ずれ量が比較的大きな場合、例えばデフォーカス量が１０ｍｍの時の波形である。この時も、第１の画素２１１から得られる１対の像信号ＩＭａｂ及びＩＭｃｄは像ずれ量ｕ１を生じ、第２の画素２２２から得られる１対の像信号ＡＦｂ及びＡＦｃは像ずれ量ｕ２となり、両者の関係はｕ１＞ｕ２となる。ただし、第１の画素２１１の瞳強度分布は大きな広がりを有しているため、像のボケが大きく、焦点検出用信号のコントラストが大幅に低下する（つまり、予め決められた閾値より低い）。よって、１対２像の横ずれ量を検出する相関演算の信頼性も低下し、誤検出の可能性が高まる。一方で、第２の画素２２２の瞳強度分布は鮮鋭なため、像のボケも少なく、焦点検出用信号のコントラストは比較的高い値に維持される。よって、このようにデフォーカス量が大きい場合は第２の画素２２２による像ずれ量ｕ２を優先的に用いて合焦制御するのが好ましい。

なお、図１４は焦点検出エリアが中央の場合を説明したが、ズーム状態がＭｉｄｄｌｅの場合は、画素の光電変換部と撮影光学系の射出瞳の投影関係に像高依存性が生じない。よって、画面周辺の焦点検出エリアにおいては、撮影光学系の口径食に伴なう光量低下によって、第１の画素２１１の出力波形ＩＭａｂ及びＩＭｃｄの強度が若干低下するが、基本的には図１４と同様の特性が得られる。

図１５は、画素の光電変換部と撮影光学系の射出瞳の共役関係が像高によって異なる場合の出力波形を示したものである。ズーム状態はＷｉｄｅ、絞り値は小絞り（Ｆ５．６）、焦点状態は合焦（デフォーカス量ゼロ）、焦点検出エリアは中央のＡＦＷ１と周辺のＡＦＷ４を示している。

図１５（ａ）は中央の焦点検出エリアＡＦＷ１における出力波形で、図１２の焦点検出エリアＡＦＷ１における、第１の画素２１１と第２の画素２２２が出力する信号に対応する。この場合、第１の画素２１１から得られる信号ＩＭａｂとＩＭｃｄは一致し、第２の画素２２２から得られる信号ＡＦｂ及びＡＦｃも一致する。また、信号強度の大小関係は、各光電変換部の形状と、その上に投影されたＦ５．６相当の射出瞳の面積で決まるが、本第１の実施形態においては、
ＩＭａｂ＝ＩＭｃｄ≧ＡＦｂ＝ＡＦｃ …（３）
となっている。よって、この状態では第１及び第２の画素の信号のうち、いずれを用いてもほぼ同等の焦点検出精度が得られる。

図１５（ｂ）は周辺の焦点検出エリアＡＦＷ４における出力波形で、図１２の焦点検出エリアＡＦＷ４における、第１の画素２１１と第２の画素２２１が出力する信号に対応する。この場合、撮影光学系の射出瞳の投影による偏心が最小となる第２の画素２２１が選択されるため、その出力ＡＦｂとＡＦｃは一致する。一方で、第１の画素２１１に対する射出瞳の偏心は解消できないため、１対の信号ＩＭａｂとＩＭｃｄの強度は大きく乖離し、
ＩＭａｂ＞ＡＦｂ＝ＡＦｃ＞ＩＭｃｄ …（４）
となっている。すなわち、第１の画素２１１から得られる信号の一方ＩＭｃｄはその強度が大きく低下しているため、該信号を用いた焦点検出演算は信頼性が低いものとなる。よってこの状態では第２の画素２２１の信号を用いて焦点検出するのが好ましい。

図１６は、３Ｄ画像を創生する際の、各光電変換部の出力の加算方法、及び、画素補間方法を概念的に示したものである。本第１の実施形態においては、撮像素子１０７全面に亘って、各画素が複数の光電変換部を有し、視差画像を取得できるので、以下の方法で３Ｄ画像を創生することが可能である。

図１６（ａ）は、３種類の画素の構成を改めて列記したもので、左より第１の画素２１１、第２の画素２２２、第３の画素２２５の光電変換部の形状を示している。

図１６（ｂ）は、カメラを横位置に構えた場合、すなわち図２に示す撮像素子１０７において、Ｙ軸の負方向が重力方向に一致するようにカメラを構えた時の、画素信号処理方法を説明する図である。人間の目は重力方向に直交する水平軸に沿って並んでいるため、３Ｄ画像を創生する場合には、視差を発生させるための基線の延伸軸は、水平軸に平行となるのが望ましい。従って、図１に示した姿勢検知部１１６がカメラの姿勢を検知し、その結果、図１６（ｂ）の下方向が重力方法であると判断されると、各光電変換部の信号は以下のように処理される。

第１の画素２１１については、光電変換部２１１ａと２１１ｂの信号を加算したものが視差画像の一方の信号、光電変換部２１１ｃと２１１ｄの信号を加算したものが他方の信号となる。第２の画素２２２については、光電変換部２２２ａと２２２ｂの信号を加算したものが視差画像の一方の信号、光電変換部２２２ｃと２２２ｄの信号を加算したものが他方の信号となる。この操作により、第１の画素２１１と等価の３Ｄ画像信号を得ることができる。一方で、他の第２の画素２２１、２２３については、光電変換部の分割形状がＸ方向において非対称となっているため、第２の画素２２２と同じ加算を行っても、第１の画素２１１と等価の３Ｄ画像信号を得ることはできない。そこで、第２の画素２２１、２２３については、次に説明する第３の画素と同様の補間演算により３Ｄ画像信号を創生する。

第３の画素２２５については、水平軸方向には視差情報を有していない。そこで、斜め４５度方向に隣接した４個の第１の画素２１１から補間により、１対の視差付き信号を創生する。他の第３の画素２２４、２２６も同様である。以上の処理により、すべての画素において、視差を有した１対２個の信号が得られる。なお、上記処理はすべてカメラのＣＰＵ１２１で実行される。

図１６（ｃ）は、カメラを縦位置に構えた場合、すなわち図２に示す撮像素子１０７において、Ｘ軸の負方向が重力方向に一致するようにカメラを構えた時の、画素信号処理方法を説明する図である。この場合の各光電変換部の加算処理は、図１６（ｂ）とは直交する方向にてなされる。第１の画素２１１については、光電変換部２１１ａと２１１ｃの信号を加算したものが視差画像の一方の信号、光電変換部２１１ｂと２１１ｄの信号を加算したものが他方の信号となる。第２の画素は、水平軸方向、すなわち紙面の上下方向には視差情報を有していない。そこで、斜め４５度方向に隣接した４個の第１の画素２１１から補間により、１対の視差付き信号を創生する。第３の画素２２５は、光電変換部２２５ａと２２５ｂの信号を加算したものが視差画像の一方の信号、２２５ｃと２２５ｄの信号を加算したものが他方の信号となる。

以上の処理により、カメラに作用する重力方向を検出し、その結果に応じて３Ｄ画像を創生する。なお、後述のフローチャートで説明するが、信号加算の組み合わせを、重力方向に応じて切り替えるか否かは、撮影者が予め選択できるようになっている。

図１７は、焦点検出時に取得された画像と焦点検出信号、及び焦点検出結果から得られたデフォーカスマップを説明する図である。図１７（ａ）において、撮像面に形成された被写体像には、中央に近景の人物、左側に中景の樹木、右側に遠景の山並みが写っている。そして図１７（ａ）に示す画像の焦点検出信号として、第２の画素２２２による信号を採用した場合について説明する。

図１７（ａ）においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に第２の画素２２２による１対の焦点検出用信号ＡＦｂ及びＡＦｃが得られる。また、顔以外の領域については、所定ピッチで焦点検出エリアが撮影画面全面にわたって設定される。図１７（ａ）の左は木の幹に対応した焦点検出エリアとその信号が、右上には山の稜線に対応した焦点検出エリアとその信号が示されている。そして、各焦点検出エリアにおいて得られた１対の信号はそれぞれ横ずれしているため、公知の相関演算により横ずれ量ｕを計算し、さらに式（１）を用いてデフォーカス量を算出する。

その後、主被写体、図１７においては中央に位置する顔領域について、デフォーカス量がゼロとなるように撮影光学系のフォーカスレンズを駆動し、再度焦点検出を行う。

以上の焦点調節過程で、撮影画面全面における焦点ずれ情報、いわゆるデフォーカスマップが取得できるが、その一例を図１７（ｂ）に示す。図１７（ｂ）では、デフォーカス量を所定の分解能に基づいて整理統合し、デフォーカス量の小さい領域から順に、ＤＥＦ０〜ＤＥＦ３に統合した例を示す。

図１８〜図２０は、本発明の第１の実施形態に関わるカメラによる焦点調節処理及び撮影処理を説明するためのフローチャートである。以下、先に説明した図１〜図１７の各図も参照しながら説明する。

図１８は第１の実施形態における撮影処理の手順を示すフローチャートである。Ｓ１０１で撮影者がカメラの電源スイッチをオン操作すると、Ｓ１０２において、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子１０７の動作確認や、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する。

Ｓ１０３では撮影条件の設定の受付けを行う。具体的には、露光調節モード、焦点調節モード、画像モード（２Ｄか３Ｄか）、画質（記録画素数や圧縮率）等を撮影者が設定するのを受け付ける。

Ｓ１０４では、３Ｄ記録か否かの判別を行い、３Ｄ記録モードが設定されていたら、Ｓ１０５にて、撮影時の絞り値を開放に固定する。ここで、３Ｄ記録の場合は１対の画像が適正な視差情報を有していることが必要だが、光量調節のために撮影光学系の絞りを小絞りにしてしまうと、視差情報が減じてしまう。よって、３Ｄ記録モードでは絞りを開放に固定し、露光量は撮像素子１０７の蓄積時間にて調節する。また、Ｓ１０４にて２Ｄモードが選択されていると判断された場合は、Ｓ１０６にて絞り値を指定値に制御する。ここでの指定値とは、絞り優先ＡＥでは撮影者が選択した絞り値、プログラムＡＥでは予め設定された露出制御プログラムに基づく絞り値となる。

Ｓ１０７では、撮影光学系のズーム状態、フォーカスレンズ状態、及び絞り状態を検出し、射出瞳の大きさや射出瞳距離等の情報をＲＯＭから読み出す。Ｓ１０８では撮像素子１０７の撮像動作を開始し、画素信号を読み出す。Ｓ１０９では読み出した画素信号から表示用縮小画像を創生し、カメラ背面に設けられた表示器１３１に表示する。撮影者はこのプレビュー画像を目視して、構図決定やズーム操作等を行うことができる。

Ｓ１３１では後述する焦点検出サブルーチンを実行する。Ｓ１５１では、Ｓ１３１で算出したフォーカスレンズ駆動量が所定値以下か否かを判断する。そしてフォーカスレンズ駆動量が所定値以下の場合は合焦と判断し、Ｓ１５３に進む。一方、フォーカスレンズ駆動量が所定値を越える場合はＳ１５２でフォーカスレンズを駆動する。

Ｓ１５３では、撮影スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ１８１に進み、オン操作されている場合はＳ１６１にて後述する画像記録サブルーチンを実行する。

Ｓ１８１では、メインスイッチの状態を判別し、オン状態が維持されている場合はＳ１０２に戻って、上述したＳ１０２〜Ｓ１６１の処理を繰り返し実行する。Ｓ１８１でメインスイッチがオフされていたら、Ｓ１８２以降を実行する。

Ｓ１８２では、Ｓ１６１で記録された画像を、インターネット回線を介してサーバーコンピュータに送信する。するとサーバーコンピュータでは、３Ｄ画像の視差情報の再構成や、デフォーカスマップの高精度演算等、演算規模の大きな処理を実行し、Ｓ１８３で、サーバーコンピュータで処理した画像を受信する。Ｓ１８４では、Ｓ１６１で記録したオリジナル画像に対して、サーバーコンピュータで処理した修正部分を追加したり、置き換え修正を行う。Ｓ１８５にて撮影を終了する。

図１９は、図１８のＳ１３１で行われる焦点検出サブルーチンのフローチャートである。まず、Ｓ１３２において、プレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行う。Ｓ１３３では、Ｓ１３２での認識結果から、焦点を合わせるべき主被写体を決定する。Ｓ１３４では、図１８のＳ１０７で取得したレンズ情報に基づき、撮影光学系の射出瞳の計算を行う。具体的には、射出瞳の大きさや像面からの距離を算出し、次いで像高毎のビネッティング計算を行う。Ｓ１３５では、Ｓ１３４で計算した射出瞳の情報に基づき、焦点検出エリア毎に、ケラレの影響が少ない、焦点検出に用いる画素を選択する。Ｓ１３６では、選択された画素の各光電変換部の出力から、相関演算用の１対２像を創生する。なお、Ｓ１３６で選択される画素は１種類には限定されず、ビネッティングの影響が少ない画素であれば、複数種を選択する。

Ｓ１３７では、創生した焦点検出信号に対して、ビネッティングにより生じた光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、２像の強度差が軽減され、焦点検出精度が向上する。Ｓ１３８では、シェーディング補正が施された２像の横ずれ量ｕを算出するための相関演算を行う。Ｓ１３９では、Ｓ１３７における相関演算の過程で算出された２像の一致度から、像ずれ検出結果の信頼性を判定し、信頼性の低い値は不採用とする。

Ｓ１４０では、Ｓ１３８及びＳ１３９にて得られた信頼性の高い像ずれ量ｕと、焦点検出に用いた画素の基線長θとから、式（１）を用いてデフォーカス量を算出する。Ｓ１４１では、撮影領域全域におけるデフォーカスマップを作成する。なお、デフォーカスマップの分解能（平面方向及び奥行き方向）を高くすると演算時間も増加するため、動画の記録レートに影響を及ぼさない程度の分解能に設定する。そして、詳細なデフォーカスマップが必要な場合は、図１８のＳ１８２で説明したように、高性能のサーバーコンピュータにて実施すればよい。Ｓ１４２では、Ｓ１３３で決定した主被写体領域と、Ｓ１４１で作成したデフォーカスマップに基づき、フォーカスレンズの駆動量を算出する。そしてＳ１４３にてメインルーチンにリターンする。

図２０は図１８のＳ１６１で行われる画像記録サブルーチンのフローチャートである。撮影スイッチがオン操作されると、Ｓ１６２ではカメラの姿勢検知を行う。Ｓ１６３では、姿勢検知結果に基づき、図１６を参照して説明した方法で、光電変換部の加算と画素の補間処理を行う。Ｓ１６４では、所定のフォーマットに則った３Ｄ画像を創生する。Ｓ１６５では、Ｓ１６４で創生した画像から、視差情報を消去した通常の２Ｄ画像を創生する。例えば、１対の画像における同一座標の画素情報同士を加算することで、視差情報が消失した２Ｄ画像が得られる。Ｓ１６６ではＳ１６４及びＳ１６５で創生した画像に所定の圧縮処理を施し、フラッシュメモリ１３３に記録する。

Ｓ１６７では、図１９のＳ１４１で作成したデフォーカスマップを画像に関連付けて記録する。そしてＳ１６８でメインフローにリターンする。

上記の様に、本第１の実施形態によれば、第１の画素は光電変換部を第１の方向、第２の方向であるＸＹ方向にそれぞれ２×２に分割し、第２の画素は第１の方向であるＸ方向のみの、４×１に分割している。また、第３の画素は第２の方向であるＹ方向のみの１×４に分割している。そして、焦点調節時には、第１の画素からの信号は、焦点検出誤差の許容値（合焦精度規格）が小さく、高精度測距が必要な条件で使用する。また第２の画素及び第３の画素からの信号は、第１の画素からの信号を用いた場合に焦点検出が不得手な条件、たとえば撮影光学系の射出瞳距離が適切でない場合や、デフォーカス量が大きい時に使用する。よって、第１の画素と、第２の画素及び第３の画素とを条件に応じて使い分けることで、焦点検出が不能となる確立を減少させることができ、焦点の合った高品位画像を取得できる。

また、第１の画素と第２の画素及び第３の画素において、各画素における光電変換部の総個数は４個に統一されている。従って、両画素における構造上の差異は光電変換部とその電荷を引き出す局所電極の形状のみで、その他の構造は同一にすることができる。従って、第１の画素と第２の画素及び第３の画素間での電気特性はほぼ同一となり、電気的特性を揃えることができ、画素の感度ムラ等が回避され、高画質画像が得られる。更に、撮像素子の回路パターン設計も容易となる。

更に、焦点検出の際に、第１の画素はすべての光電変換部を用いることで、基線長が長くなり、高精度な焦点検出が可能となる。これは合焦精度を高めることに寄与する。また第２の画素及び／または第３の画素の一部の光電変換部を用いることで、焦点検出像のボケと横ずれが抑えられ、大デフォーカス時の検出限界を広げることに寄与する。よって、焦点ずれ量が大きな状態でも合焦位置を見失うことがなく、かつ合焦精度を高くすることができる。

また、第２の画素及び第３の画素は焦点が大きく外れた時に特に有用であるが、撮影シーンにおける大ボケシーンは過渡状態であり、撮影時間の大半は合焦もしくは略合焦状態である。そこで、第１の画素の配列密度を大きくすることで、撮影シーンの大半を占める合焦もしくは略合焦状態での焦点検出精度と安定性を高めることができ、高品位画像が得られる。また、本発明の撮像装置は３Ｄ画像を取得可能だが、３Ｄ撮影時に充分な視差を得るためには、開放Ｆ値の明るい撮影光学系を開放近辺で使用することが多い。この場合にも第１の画素が有用なため、第１の画素の密度を高くすることで、主被写体に対する合焦精度が高く、かつ高精細な３Ｄ画像を得ることができる。更に、デフォーカスマップ作成時にも、第１の画素の密度が高い方が好適である。ここで、デフォーカスマップにおける分解能としては、平面方向と奥行き方向の分解能に分けられる。そして、焦点がほぼ合っている被写体領域では平面と奥行きの両方において高分解能、焦点が大きく外れた領域では両方ともに低分解能で構わない。そこで第１の画素の配置密度を高くすることで、上記特性を満たした、データ量と情報精度のバランスが良いデフォーカスマップを得ることができる。

＜第２の実施形態＞
上述した第１の実施形態においては、第１の画素２１１の光電変換部はＸ方向（第１の方向）に２分割（整数ｍ１＝２）、Ｙ方向（第２の方向）にも２分割（整数ｎ１＝２）された、合計４個の独立した光電変換部２１１ａ〜２１１ｄを備えていた。そして第２の画素２２１〜２２３の光電変換部は、Ｘ方向（第１の方向）に４分割（整数ｍ２＝４）、Ｙ方向には分割無し（整数ｎ２＝１）の、合計４個の独立した光電変換部を備えていた。

以下に示す第２の実施形態は、第１の画素２１１および第２の画素２２１〜２２３ともに、Ｘ方向の分割数を増加させたものである。以下、図２１および図２２を用いて第２の実施形態における撮像素子１０７を構成する画素について説明する。なお、光電変換部の分割数以外は第１の実施形態と実質的に同一構成であるため、相違点のみ説明し、同一もしくは類似構成部分の説明は省略する。

図２１は、本発明の第２の実施形態における撮像素子１０７の画素配列を示したものである。なお、図２と同一の機能に関する説明は省略する。

３１１は第１の画素（第１の撮像画素）で、Ｘ方向（第１の方向）に３分割（整数ｍ１＝３）、Ｙ方向（第２の方向）に２分割（整数ｎ１＝２）された、合計６個の光電変換部３１１ａ〜３１１ｆを有する。これら６個の光電変換部３１１ａ〜３１１ｆは、画素中心を通るＸ軸及びＹ軸に対して、それぞれ線対称となるように分割されている。よって、分割された各光電変換部の平面形状はＹ軸方向に長い長方形となり、６領域を合わせた連結形状は正方形である。そして、像面上のすべての位置において同一の分割形状となっている。第１の画素３１１の出力は、上述した第１の実施形態における第１の画素２１１と同様に、記録用画像の生成、及び合焦近傍での焦点検出に利用される。なお、撮像素子１０７に配置された同様の構成を有する他の画素も、以下、第１の画素３１１と呼ぶ。

３２１は第２の画素（第２の撮像画素）で、所定の配列規則に則って第１の画素３１１の間に離散配置されている。そして、Ｘ方向（第１の方向）に６分割（ｍ２＝６、（２ｎ個、ｎ＝３））され、Ｙ方向には分割されない（ｎ２＝１）、合計６個の光電変換部３２１ａ〜３２１ｆを有する。第２の画素３２１の各光電変換部３２１ａ〜３２１ｆを合わせた連結形状も正方形である。第２の画素３２１の出力は、記録用画像の生成、及び大デフォーカス時（焦点ずれ量が大きい時）の焦点検出に利用される。図２１においては、６分割された光電変換部のうち、所定の２個が焦点検出に利用される。ここで、第１の実施形態の図１１〜図１３で説明したように、光電変換部３２１ａ〜３２１ｆ上に投影された撮影光学系の射出瞳の位置は、撮影光学系の射出瞳距離と、着目画素の像高（Ｘ−Ｙ座標）に依存して変化する。よって、所定の計算式に従って６個の光電変換部３２１ａ〜３２１ｆのケラレ状態を計算し、ケラレが最も少ない２個の光電変換部３２１ａ〜３２１ｆの出力を用いて焦点検出することで、正確な焦点検出が可能となる。すなわち、第１の実施形態における第２の画素２２１〜２２３は、光電変換部の分割位置が３種類となっており、ケラレ状態に応じて最適なものを選択的に使用していた。これに対して本第２の実施形態においては、第２の画素３２１の分割位置は１種類のみであり、画素の配列規則も単純化されている。なお、撮像素子１０７に配置された同様の構成を有する画素も、以下、第２の画素３２１と呼ぶ。

第２の画素３２１は、Ｘ方向に瞳分割するための画素であり、Ｘ方向に輝度分布を有する被写体、すなわち縦縞模様の被写体に対して用いられる。これに対して、第３の画素３２２は、Ｙ方向（第２の方向）に瞳分割するための画素であり、Ｙ方向に輝度分布を有する被写体、すなわち横縞模様の被写体に対して用いられる。第３の画素３２２は、光電変換部３２２ａ〜３２２ｆはＹ方向に６分割されるが、その形態は第２の画素３２１の分割形態を９０度回転させたものと等価であるため、詳しい説明は省略する。これら第１〜第３の画素が備える各光電変換部の連結形状はすべて正方形となっている。そして第２の画素３２１及び第３の画素３２２は、焦点検出する被写体の輝度分布パターンに応じて適した方を用いることで、焦点検出不能となる確率を低減させている。

図２２は、本第２の実施形態における、３Ｄ画像を創生する際の、各光電変換部の出力の加算方法、及び、画素補間方法を概念的に示したものである。図２２においては、重力がＹ軸方向に作用する場合のみについての加算方法を示している。

図２２（ａ）は、第１の画素３１１と第２の画素３２１が有する各光電変換部の配置を改めて示したものである。

図２２（ｂ）及び図２２（ｃ）は、カメラを横位置に構えた場合、すなわち図２１に示す撮像素子において、Ｙ軸の負方向が重力方向に一致するようにカメラを構えた時の、画素信号処理方法を説明する図である。そして図２２（ｂ）は、光電変換部の連結中心に対して、投影された撮影光学系の射出瞳中心が偏心していない場合の加算方法を示す。この場合、第１の画素３１１について、左側に配置された光電変換部３１１ａと３１１ｂの信号を加算したものが視差画像の一方の信号、右側に配置された光電変換部３１１ｅと３１１ｆの信号を加算したものが他方の信号となる。そして中央の光電変換部３１１ｃと３１１ｄは視差形成には寄与しないため、利用されない。

第２の画素３２１について、左寄りの光電変換部３２１ａと３２１ｂの信号を加算したものが視差画像の一方の信号、右寄りの光電変換部３２１ｅと３２１ｆの信号を加算したものが他方の信号となる。また、中央寄りの２個の光電変換部３２１ｃと３２１ｄの信号からも視差情報を得ることができるが、第１の画素３１１から得られる視差情報と特性を揃えるため、該２個の光電変換部３２１ｃと３２１ｄの信号は利用しない。

第３の画素３２２について、水平軸方向には視差情報を有していないため、第１の実施形態において図１６を参照して説明したものと同様の補間処理で視差信号を創生すればよいため、ここでは図を用いての説明は省略する。

図２２（ｃ）は、光電変換部の連結中心に対して、投影された撮影光学系の射出瞳中心が左方向、すなわちＸ軸上の負方向に偏心している場合の加算方法を示す。この場合、第１の画素３１１について、左側に配置された光電変換部３１１ａと３１１ｂの信号を加算したものが視差画像の一方の信号、中央に配置された光電変換部３１１ｃと３１１ｄの信号を加算したものが他方の信号となる。そして右側の光電変換部３１１ｅと３１１ｆの信号は、ケラレによって十分な光量が得られないため、利用しない。

また、第２の画素３２１について、左寄りの光電変換部３２１ａと３２１ｂの信号を加算したものが視差画像の一方の信号、中央寄りの光電変換部３２１ｃと３２１ｄの信号を加算したものが他方の信号となる。また、右寄りの２個の光電変換部３２１ｅと３２１ｆの信号は、ケラレによって十分な光量が得られないため、利用しない。第３の画素については図２２（ｂ）での説明と同じ処理を施すため、説明は省略する。

なお、カメラを縦位置に構えた場合、すなわち図２に示す撮像素子１０７において、Ｘ軸の負方向が重力方向に一致するようにカメラを構えた時の各光電変換部の加算処理は、図２２（ｂ）、（ｃ）の加算方向と直交する方向になされる。そして、第２の画素３２２と、第３の画素３２１が逆に用いられる以外は、図２２（ｂ）、（ｃ）を参照して説明した処理と同様であるため、ここでは説明を省略する。

ここで、第１の画素３１１における光電変換部のＸ方向分割数ｍ１およびＹ方向分割数ｎ１の大小関係を、ｍ１＞ｎ１としている理由は以下のとおりである。

第１の実施形態の図１１〜図１３において、光電変換部の連結中心に対する撮影光学系の射出瞳投影像の偏心状況を説明した。ここで偏心量は、撮影光学系の射出瞳距離の標準値からの偏差量と、撮像領域の像高に比例する。そして、撮像領域の形状はＸ方向に長い長方形となっているので、最大像高もＸ方向成分が大きく、上記偏心量最大値もＸ方向成分が大となる。よって、Ｘ方向の分割数をより多くすることで、出力加算時の選択自由度を高め、任意像高で確実に３Ｄ情報を取得することが可能となる。

なお、光電変換部の分割数を多くすれば加算時の組み合わせ自由度も増すが、画像情報も増加するので、画像処理装置に高速処理性能が要求される。そこで第２の実施形態におけるＹ方向分割数は、第１の実施形態と同様の２としている。よって、重力がＸ軸方向に作用する姿勢下で撮影された画像から３Ｄ画像を得るための加算方法は、第１の実施形態の図１６（ｃ）を参照して説明した加算方法と同様であるため、ここでは説明を省略する。

上記の通り本第２の実施形態によれば、第１の画素の光電変換部の２方向における分割数を、撮影画面サイズの方向依存性に合致させている。これにより、長方形の撮像領域の任意座標に対して確実に３Ｄ情報が得られるとともに、画像情報が必要以上に過大になることを防止することができる。

＜第３の実施形態＞
上述した第１の実施形態及び第２の実施形態においては、第１から第３の画素における光電変換部の分割個数が等しい構成となっていた。すなわち、第１の実施形態は４分割、第２の実施形態では６分割となっていた。

これに対し、第３の実施形態では、第１の画素における光電変換部の分割個数に対して、第２の画素の分割個数が小さい。以下、図２３を用いて第３の実施形態における撮像素子１０７を構成する画素について説明する。例３の構成を説明する。なお、光電変換部の分割数以外は第１及び第２の実施形態と実質的に同一構成であるため、相違点のみ説明し、同一もしくは類似構成部分の説明は省略する。

図２３は、本発明の第３の実施形態における撮像素子１０７の画素配列を示したものである。なお、図２及び図２１と同一の機能に関する説明は省略する。

４１１は第１の画素（第１の撮像画素）で、第２の実施形態と同様に、Ｘ方向（第１の方向）に３分割（ｍ１＝３）、Ｙ方向（第２の方向）に２分割（ｎ１＝２）された、合計６個の光電変換部４１１ａ〜４１１ｆを有する。第１の画素４１１の出力の用途は、第１及び第２の実施形態で説明した第１の画素からの出力の用途と同じである。なお、撮像素子１０７に配置された同様の構成を有する他の画素も、以下、第１の画素４１１と呼ぶ。

４２１は第２の画素（第２の撮像画素）で、所定の配列規則に則って第１の画素４１１の間に離散配置されている。そして、Ｘ方向（第１の方向）に４分割（ｍ２＝４、（２ｎ個、ｎ＝２））、Ｙ方向には分割されない（ｎ２＝１）、合計４個の光電変換部４２１ａ〜４２１ｄを有する。各第２の画素４２１における光電変換部４２１ａ〜４２１ｄのＸ方向寸法は、中央の２つの光電変換部の領域が小さく、外側の２つの光電変換部の領域が大きくなっているが、光電変換部４２１ａ〜４２１ｄを合わせた連結形状は正方形である。第２の画素４２１からの出力の用途は、第１及び第２の実施形態で説明した第２の画素からの出力の用途と同じである。なお、撮像素子１０７に配置された同様の構成を有する画素も、以下、第２の画素４２１と呼ぶ。

第２の画素４２１は、Ｘ方向に瞳分割するための画素であり、Ｘ方向に輝度分布を有する被写体、すなわち縦縞模様の被写体に対して用いられる。これに対して、第３の画素４２２は、Ｙ方向（第２の方向）に瞳分割するための画素であり、Ｙ方向に輝度分布を有する被写体、すなわち横縞模様の被写体に対して用いられる。第３の画素４２２も、光電変換部４２２ａ〜４２２ｄはＹ方向に４分割されるが、その形態は第２の画素３２１の分割形態を９０度回転させたものと等価であるため、詳しい説明は省略する。これら第１〜第３の画素が備える各光電変換部の連結形状はすべて正方形となっている。そして第２の画素４２１及び第３の画素４２２は、焦点検出する被写体の輝度分布パターンに応じて適した方を用いることで、焦点検出不能となる確率を低減させている。

第３の実施形態の撮像素子は、適用される撮影光学系の射出瞳距離の変化が少ない場合に特に好適である。レンズ交換、もしくはズーム操作に生じる撮影光学系の射出瞳距離が変化が少ない場合、第１の実施形態の図１１〜図１３で説明した、撮像領域周辺部における光電変換部と射出瞳の相対偏心量も少ない。よって、第２の画素４２１の分割数を少なくしても、焦点検出のための信号を確実に得ることができる。また、分割数を少なくすることで、読み出しすべき情報量も削減でき、より高速な画素信号読み出しが可能となる。また、画素構造も簡単になるため、製造プロセスが簡単になり、特性バラツキの低減にも有効である。

なお、第３の実施形態において３Ｄ画像を創生する方法は、第２の実施形態において図２２を参照して説明したものと基本的に同一の方法で加算すればよいため、詳しい説明は省略する。

上記の通り、本第３の実施形態によれば、第２及び第３の画素における光電変換部の分割個数を必要最小限にとどめたため、情報量の削減による信号読み出しの高速化が図れる。また、第２及び第３の画素の画素内構造が簡単になり、製造プロセス上の歩留まり向上や、撮像素子の特性バラツキの低減を図ることができる。

なお、上述した第１乃至第３の実施形態では、第１の画素をＸ方向に２または３分割、Ｙ方向に２分割した場合について説明したが、本発明はこれに限るものではなく、２以上の整数であれば、分割数は２又は３に限られるものではない。

また、上述した第１乃至第３の実施形態では、第２及び第３の画素の分割数を４又は６としたが、本発明はこれに限るものではなく、第１の画素のＸ方向またはＹ方向の分割数のいずれか少ない方の、少なくとも２倍以上であればよい。

また、上述した第１乃至第３の実施形態では、第１、第２及び第３の画素を備えている場合について説明した。しかしながら、焦点検出可能なデフォーカス範囲を広くするとともに、合焦近辺での検出精度を向上するためには、第２と第３の画素はいずれか一方のみを備え、他方の画素は第１の画素に置き換える構成としても構わない。例えば、第３の画素を第１の画素に置き換えると、画素配列の不規則性が軽減されるため、撮像素子の構造を簡単にできる。また、第１の画素の比率が増えるため、３Ｄ画像を創生する際の補間すべき画素が減り、３Ｄ情報の正確性を向上させることができる。一方で、第３の画素が無いことにより、大ぼけシーンでの焦点検出能力は低下する場合があるが、最終的な合焦判定は第１の画素で行うことができるため、合焦精度の低下は生じない。

＜第４の実施形態＞
上述した第１乃至第３の実施形態においては、各画素の光電変換部の分割形態や、焦点検出時の光電変換部の選択方法について説明した。以下に示す第４の実施形態は、本発明の撮像素子を用いて合焦精度を向上させるための実施形態である。

図２４は第４の実施形態における撮影処理の手順を示すメインフローのフローチャート、図２５は図２４のＳ４３１で行われる焦点検出サブルーチンのフローチャートである。本第４の実施形態においては、図１乃至図１７で説明した第１の実施形態と同様の構成を有する撮像素子１０７を用いるものとして説明するが、第２もしくは第３の実施形態の撮像素子を用いても構わない。また、撮影処理のメインフローと焦点検出サブルーチンは、第１の実施形態で説明した図１８のメインフロー及び図１９の焦点検出サブルーチンに対して一部のみが異なるなるため、同一部分については同じステップ番号を付して詳しい説明は省略する。

まず、撮影処理のメインフローについて説明する。図２４のメインフローにおいて、Ｓ４０１で撮影者がカメラの電源スイッチをオン操作すると、Ｓ１０２乃至Ｓ１０９において、ＣＰＵ１２１はカメラ内の各部材の動作確認や初期化、撮影条件の設定等を行う。Ｓ４３１では、図２５に示す焦点検出サブルーチンを実行する。

Ｓ４６１では合焦判定に相当する、合焦フラグの状態判定を行う。ここで合焦フラグとは、焦点検出演算によって算出されたデフォーカス量が、合焦とみなすことができる閾値以下か否かの状態を表わすもので、合焦フラグの取り得る値は、０、１、２の３種である。合焦フラグは最初は０に初期化されている。また、図２５の焦点検出サブルーチンで後述するように、第１の画素２１１を用いて焦点検出し、合焦と判断された場合は合焦フラグに１が格納される。一方、第２の画素２２１〜２２３のいずれかを用いて焦点検出し、合焦と判断された場合は合焦フラグに２が格納される。そして本第４の実施形態においては、合焦フラグに１が格納されている場合のみ、Ｓ４６１からＳ１５３に移行可能となっている。すなわち、Ｓ４６１で合焦フラグの状態判別を行い、その値が０、もしくは２と判断されると、Ｓ４６２でフォーカスレンズ駆動を行い、Ｓ４３１の焦点検出サブルーチンに戻って繰り返し焦点検出を行う。

そしてＳ４６１で合焦フラグが１、すなわち合焦と判断されるとＳ１５３に移行し、撮影スイッチがオン操作されたか否かを判断する。撮影スイッチがオン操作された場合はＳ１６１で画像記録を実行し、オン操作されていない場合はＳ１６１を実行せずにＳ１８１へ移行する。そしてＳ１８１でメインスイッチの状態を判断し、オン状態のままであればＳ１０２乃至Ｓ４６１を繰り返し実行し、メインスイッチがオフの場合はＳ１８２乃至Ｓ１８４を実行して撮影を終了する。

ここで、第１の実施形態と第４の実施形態の相違を説明する。図１８に示した第１の実施形態では、Ｓ１３１乃至Ｓ１５３の各ステップの流れからわかるように、焦点検出結果が非合焦であっても、フォーカスレンズ駆動を実行した後は、そのままＳ１５３に移行する。よって、Ｓ１５３で撮影スイッチがオン操作されていれば、合焦であることが保証されていなくとも、撮影、すなわちＳ１６１の画像記録サブルーチンに移行することが可能である。これに対して図２４に示した第４の実施形態においては、Ｓ４３１乃至Ｓ１５３の各ステップの流れからわかるように、焦点検出結果が非合焦の場合、フォーカスレンズ駆動を実行した後は、焦点検出サブルーチンに戻る。その結果、焦点検出サブルーチンで合焦であることが確認されてから、Ｓ１６１の画像記録サブルーチンに移行する。

次に図２５を用いて焦点検出サブルーチンを説明する。まずＳ４３２において、プレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行う。Ｓ４３３では、Ｓ４３２での認識結果から、焦点を合わせるべき主被写体を決定する。Ｓ４３４では、図２４のＳ１０７で取得したレンズ情報に基づき、撮影光学系の射出瞳の計算を行う。具体的には、射出瞳の大きさや像面からの距離を算出し、次いで像高毎のビネッティング計算を行う。

Ｓ４３５では、合焦フラグの判別を行う。合焦フラグについては図２４のＳ４６１で説明したように、一連の合焦動作における当該時点での合焦状態を表す。その定義は、Ｓ４６１の時点でまだ合焦していなければ０、第１の画素２１１を用いて合焦している場合は１、第２の画素２２１〜２２３のいずれかを用いて合焦している場合は２が格納されている。一連の合焦動作でＳ４３５の実行回数が１回目の場合、合焦フラグは０に初期化されているため、Ｓ４３６に移行する。Ｓ４３６では、Ｓ４３４で計算した射出瞳の情報に基づき、焦点検出エリア毎に、ケラレの影響が少ない、焦点検出用に好適な画素を選択する。ここでは、第２の画素２２１〜２２３から選ばれる。たとえば第１の実施形態の説明で用いた図１１〜１３を参照して説明したようにして、第２の画素２２１、２２２、２２３のいずれかが選択される。Ｓ４３７では、焦点検出のために選択された画素の種別を表すフラグを設定する。ここでは第２の画素２２１〜２２３のいずれかが選択されているため、画素フラグを２に設定する。Ｓ４４０では、選択された第２の画素の各画素から、中央寄り２個の光電変換部の出力を用いて、相関演算用の１対２像を創生する。

Ｓ４４１では、創生した焦点検出信号に対して、ビネッティングにより生じた光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、２像の強度差が軽減され、焦点検出精度が向上する。Ｓ４４２では、シェーディング補正が施された２像の横ずれ量ｕを算出するための相関演算を行う。Ｓ４４３では、Ｓ４４２における相関演算の過程で算出された２像の一致度から、像ずれ検出結果の信頼性を判定し、信頼性の低い値は不採用とする。

Ｓ４４４では、Ｓ４４２及びＳ４４３にて得られた信頼性の高い像ずれ量ｕと、焦点検出に用いた画素の基線長θとから、式（１）を用いてデフォーカス量を算出する。

Ｓ４４５では、Ｓ４４４で算出されたデフォーカス量が、合焦閾値以下か否かの判定を行う。ここで合焦閾値としては、通常は像面上の許容深度が採用される。そして、許容錯乱円の大きさをδ、撮影光学系のＦナンバーをＦとした場合、許容深度すなわち合焦閾値は一般的にＦ×δで計算された値が用いられる。よって、デフォーカス量が合焦閾値を超える場合はＳ４４５からＳ４３６に移行し、フォーカスレンズ駆動量を算出して、Ｓ４５１からメインルーチンにリターンする。

ここで、リターン後のメインルーチンの動作を説明する。Ｓ４３１の焦点検出サブルーチンを実行後、図２４に示すメインルーチンにリターンすると、Ｓ４６１で合焦フラグの判定を行う。そして、この時点では、合焦フラグは０に設定されているため、検出されたデフォーカス量を解消すべく、フォーカスレンズ駆動を行って、Ｓ４３１の焦点検出サブルーチンを再度実行する。

一方で、Ｓ４４５でデフォーカス量が合焦閾値以下と判断された場合はＳ４４７に移行する。Ｓ４４７では、画素フラグの判断、すなわち直前の焦点検出演算で用いた画素の種別を判断する。１回目の焦点検出では、第２の画素２２１〜２２３のいずれかが選択されているため、画素フラグは２となっている。よって、ここではＳ４４７からＳ４４８に移行し、合焦フラグを２に設定する。すなわち、この段階では第２の画素２２１〜２２３のいずれかを用いて合焦動作を行った結果、合焦状態に達したと判断されたことになる。そこでＳ４５１を経由してメインルーチンにリターンする。

ここで再び、リターン後のメインルーチンの動作を説明する。Ｓ４３１の焦点検出サブルーチンを実行後、図２４におけるメインルーチンにリターンすると、Ｓ４６１で合焦フラグの判定を行う。そしてこの時点では、合焦フラグは２に設定されているため、Ｓ４６２に移行する。そしてここでは、第２の画素２２１〜２２３のいずれかによる焦点検出の結果、デフォーカス量は合焦閾値以下、すなわち合焦とみなされる状態になっている。よってフォーカスレンズ駆動命令は実質的には無視され、Ｓ４３１に戻って焦点検出サブルーチンを再度実行する。

次いで、合焦フラグが２になった状態で焦点検出サブルーチンを実行する場合の動作を説明する。Ｓ４３１からＳ４３４を実行し、Ｓ４３５で合焦フラグを判断するが、ここでは合焦フラグが２になっているため、Ｓ４３８に移行する。Ｓ４３８では焦点検出用画素として第１の画素２１１を選択する。Ｓ４３７では、焦点検出のために選択された画素の種別を表すフラグを設定する。ここでは第１の画素２１１が選択されているため、画素フラグを１に設定する。Ｓ４４０では、選択された第１の画素２１１の各画素において、Ｙ軸方向に隣接した各々２個の光電変換部の出力を加算し、Ｘ方向に瞳分割された相関演算用の１対２像を創生する。

Ｓ４４１では、創生した焦点検出信号に対して、ビネッティングにより生じた光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、２像の強度差が軽減され、焦点検出精度が向上する。Ｓ４４２では、シェーディング補正が施された２像の横ずれ量ｕを算出するための相関演算を行う。Ｓ４４３では、Ｓ４４２における相関演算の過程で算出された２像の一致度から、像ずれ検出結果の信頼性を判定し、信頼性の低い値は不採用とする。Ｓ４４４では、Ｓ４４２及びＳ４４３にて得られた信頼性の高い像ずれ量ｕと、焦点検出に用いた画素の基線長θとから、式（１）を用いてデフォーカス量を算出する。Ｓ４４５では、Ｓ４４４で算出されたデフォーカス量が合焦閾値以下か否かの判定を行う。デフォーカス量が合焦閾値を超える場合はＳ４４５からＳ４４６に移行し、フォーカスレンズ駆動量を算出して、Ｓ４５１からメインルーチンにリターンする。

一方で、Ｓ４４５でデフォーカス量が合焦閾値以下と判断された場合はＳ４４７に移行する。Ｓ４４７では、画素フラグの判断、すなわち直前の焦点検出演算で用いた画素の種別を判断する。ここでは、第１の画素２１１が選択されているため、画素フラグは１となっている。よって、ここではＳ４４７からＳ４４９に移行し、合焦フラグを１に設定する。すなわち、この段階では第１の画素２１１を用いて合焦動作を行った結果、合焦状態に達したと判断されたことになる。そして、Ｓ４５０において撮影領域全域におけるデフォーカスマップを作成し、Ｓ４５１を経由してメインルーチンにリターンする。

ここで、リターン後のメインルーチンの動作を説明する。Ｓ４３１の焦点検出サブルーチンを実行後、図２４におけるメインルーチンにリターンすると、Ｓ４６１で合焦フラグの判定を行う。そしてこの時点では合焦フラグは１に設定されているため、Ｓ１５３への移行が可能になる。そこで、Ｓ１５３にて撮影スイッチの状態判別を行い、オン操作されていればＳ１６１で画像記録サブルーチンを実行し、さらにＳ１８２からＳ１８４を実行して撮影動作が終了する。

上記の通り、本第４の実施形態によれば、瞳分割における基線長が短く、瞳幅も小さな第２の画素を用いて最初に焦点検出を行う。よって、初期状態としてデフォーカス量が大きな場合でも焦点検出が可能となる。次いで、瞳分割における基線長が長い第１の画素で焦点検出を行うため、より高精度な焦点検出が可能となる。また、第１の画素においては、焦点検出時の瞳面積が大きく、充分な光量が得られるため、低輝度被写体に対しても正確な焦点検出が可能となる。

また、第１の画素によって合焦確認がなされたのちに画像記録が許可されるため、焦点の合った高精細画像を得ることができる。

なお、上述した第４の実施形態では、第２の画素２２１〜２２３のいずれかを用いる場合について説明した。しかしながら、Ｓ４３２における被写体パターン認識の結果、被写体が例えば横縞などの、垂直方向に輝度差を有する場合には、第２の画素２２１〜２２３の代わりに、第３の画素２２４〜２２６を用いてもよいことは言うまでもない。第３の画素２２４〜２２６のいずれかを用いた場合、画素フラグとして２を用いても、また、新たに３を設定してもよく、また、合焦フラグとして２を用いても、新たに３を設定してもよい。何れの場合であっても、同様の処理が可能であることは言うまでもない。

＜第５の実施形態＞
上述した第４の実施形態においては、最初に基線長の短い第２の画素２２１〜２２３のいずれかを用いて焦点検出を行い、次いで基線長の長い第１の画素２１１を用いて焦点検出を行う実施形態を示した。以下に示す第５の実施形態は、基線長の異なる画素で得られた複数の焦点検出結果に対して、各々の結果の信頼性に基づく重み付け係数を乗じて合成したり、複数の結果から信頼性の高い結果を時系列的に採用する実施形態を示す。

図２６は第５の実施形態における撮像画素の、複数の基線長について説明したものである。第５の実施形態に用いられる撮像素子１０７は第１の実施形態の撮像素子と同様の構成を有するが、焦点検出フローにおける光電変換部の選択方法が異なる。

図２６（ａ）は第１の画素２１１の光電変換部、図２６（ｂ）は第２の画素２２２の光電変換部を示したものである。図２６（ａ）において、Ｘ軸方向の瞳分割で焦点検出を行う場合は、瞳投影像ＥＰ１ａとＥＰ１ｂに対応する光電変換部の加算信号と、瞳投影像ＥＰ１ｃとＥＰ１ｄに対応する光電変換部の加算信号とを用いて、相間演算用の１対２像を創生する。この時の基線長（厳密には像面から見た角度換算値）はθ２（第２の基線長）となる。

一方図２６（ｂ）において、瞳投影像ＥＰ２２ｂとＥＰ２２ｃに対応する光電変換部から、相間演算用の１対２像を創生する。この時の基線長はθ１（第１の基線長）となる。また、瞳投影像ＥＰ２２ａとＥＰ２２ｂに対応する光電変換部からも、相間演算用の１対２像を創生することができる。この時の基線長はθ３（第３の基線長）となる。すなわち第５の実施形態では、焦点検出のために、基線長の異なる３種類の焦点検出信号を用いる。そして各信号における基線長の大小関係は、
θ１＜θ２＜θ３ ・・・（５）
となっている。なお、図２６（ｂ）は第２の画素２２２の光電変換部を示しているが、第１の画素２１１と第３の画素２２５も、瞳分割方向は異なるが同様の大小関係を有し、その出力信号は、第２の画素２２２と同様に処理することができる。

次に、該３種類の焦点検出用信号における利点と欠点、及びこれに基づいて設定した重み付け係数について説明する。

一般に、瞳分割における基線長が長いと、単位デフォーカス量に対する１対２像の相対的な横ずれ量が大きくなるため、焦点検出精度が高い。その反面、基線長が長いと大デフォーカス時の２像の横ずれ量が過大になり、焦点検出不能となる確率も増加する。また、基線長が長いと撮影光学系のケラレによる２像のレベル差が生じ易く、ケラレの程度によっては焦点検出誤差を生ずる。

図２７（ａ）は、３種類の焦点検出信号から得られた結果に対して、Ｆナンバーに応じた重み付け係数（割合）を示したものである。ＤＥＦ（θ１）乃至ＤＥＦ（θ３）は、図２６（ａ）及び（ｂ）で説明した、３種類の基線長を有する焦点検出信号から算出されたデフォーカス量を表す。また、Ｆ２．８乃至Ｆ１１は、焦点検出時の撮影光学系のＦナンバーである。そして、表中の０乃至７は、各デフォーカス量とＦナンバーの組み合わせにおける重み付け係数Ｃ（ＦＮ）である。本第５の実施形態においては、３種類のデフォーカス量が得られ、これらに対応する３個の重み付け係数は、いずれのＦナンバーにおいても該係数の合計が１０となるように設定されている。そしてＦナンバーが小さいほど、すなわち撮影光学系の射出瞳が大きいほど、基線長の長い焦点検出結果に対する重み付けを大としている。その反対に、Ｆナンバーが大きいほど、すなわち撮影光学系によるケラレが大きいほど、基線長の短い焦点検出結果に対する重み付けを大としている。

図２７（ｂ）は、３種類の焦点検出信号から得られた結果に対して、デフォーカス量に応じた重み付け係数（割合）を示したものである。本第５の実施形態においては、各焦点検出信号から算出されたデフォーカス量を、その絶対値の大きさにより４つの区間に場合分けしている。これを表の最上段に示しているが、ここで記した|Ｄｅｆ|は検出されたデフォーカス量の絶対値を表わす。そして、表中の０乃至７は、３種類のデフォーカス量ＤＥＦ（θ１）乃至ＤＥＦ（θ３）に対して、各々の値が属する区間での重み付け係数Ｃ（ＤＦ）を表す。図２７（ｂ）においても、各デフォーカス区間における該係数の合計が１０となるように設定されている。そしてデフォーカス量が小さい場合、基線長の大きな光電変換部による結果の重み付けを大としている。その反対に、デフォーカス量が大きいほど、２像の相対的な横ずれ量も大きくなるため、基線長の短い焦点検出結果に対する重み付けを大としている。

以上のように定義した重み付け係数を、以下の式（６）を用いて基線長の異なる焦点検出信号対から得られた３個のデフォーカス量に掛けることで、最終的なデフォーカス量ＤＥＦを計算する。
ＤＥＦ＝ＤＥＦ（θ１）×Ｃ１（ＦＮ）×Ｃ１（ＤＦ）
＋ＤＥＦ（θ２）×Ｃ２（ＦＮ）×Ｃ２（ＤＦ）
＋ＤＥＦ（θ３）×Ｃ３（ＦＮ）×Ｃ３（ＤＦ） …（６）
そしてこのデフォーカス量ＤＥＦに基づいて、フォーカスレンズ駆動量や合焦判定を行う。

図２８は第５の実施形態における焦点検出サブルーチンのフロー図である。なお、第５の実施形態におけるカメラや撮像素子は第１乃至第４の実施形態と同様のものが用いられ、カメラの撮影時のメインフローは第４の実施形態で説明した図２４と同様であるため、同一部分の説明は省略する。

図２８の焦点検出サブルーチンにおいて、まずＳ５３２では、プレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行う。Ｓ５３３では、Ｓ５３２での認識結果から、焦点を合わせるべき主被写体を決定する。Ｓ５３４では、図２４のＳ１０７で取得したレンズ情報に基づき、撮影光学系の射出瞳の計算を行う。具体的には、射出瞳の大きさや像面からの距離を算出し、次いで像高毎のビネッティング計算を行う。

Ｓ５３５では、焦点検出領域内に存在する３組の焦点検出画素を選択する。ここで３組とは、図２６で説明した、３種類の基線長に対応する光電変換部の出力群を指す。Ｓ５３６では、選択された画素の各光電変換部の出力から、相関演算用に３組の１対２像を創生する。

Ｓ５３７では、創生した３組の焦点検出信号に対して、ビネッティングにより生じた光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、２像の強度差が軽減され、焦点検出精度が向上する。Ｓ５３８では、シェーディング補正が施された２像の横ずれ量ｕを算出するための相関演算を行う。Ｓ５３９では、Ｓ５３８における相関演算の過程で算出された２像の一致度から、像ずれ検出結果の信頼性を判定する。Ｓ５４０では、Ｓ５３８で得られた像ずれ量ｕと、焦点検出に用いた画素の基線長θとから、式（１）を用いて３組のデフォーカス量を算出する。Ｓ５４１では、得られた３組のデフォーカス量に対して、式（６）による重み付け演算を施し、最終的なデフォーカス量を求める。

Ｓ５４２では、Ｓ５４１で算出されたデフォーカス量が合焦閾値以下か否かの判定を行う。デフォーカス量が合焦閾値を超える場合はＳ５４２からＳ５４３に移行し、フォーカスレンズ駆動量を算出して、Ｓ５４６からメインルーチンにリターンする。

一方で、Ｓ５４２でデフォーカス量が合焦閾値以下と判断された場合はＳ５４４に移行し、合焦フラグを１に設定する。そしてＳ５４５でデフォーカスマップを作成し、Ｓ５４６にてメインルーチンにリターンする。

次に、リターン後のメインルーチンの動作を説明する。図２８の焦点検出サブルーチンを実行後、図２４におけるメインルーチンにリターンすると、Ｓ４６１で合焦フラグの判定を行う。合焦フラグが１以外、すなわち非合焦である場合はＳ４６２でフォーカスレンズ駆動を行い、Ｓ４３１に戻って焦点検出サブルーチンを再度実行する。

一方で、Ｓ４６１において合焦フラグが１と判断された場合はＳ１５３に移行し、画像記録や画像送信等を行い、撮影動作が終了する。

上記の通り、第５の実施形態によれば、異なる基線長を有する複数種の焦点検出信号から複数のデフォーカス量を算出する。そして、撮影光学系のＦナンバー等の撮影条件や、算出されたデフォーカス量等の焦点状態に基づいて、前記デフォーカス量に重み付け処理を施し、最終的なデフォーカス量を算出する。よって、撮影条件や焦点状態に適した基線長の焦点検出信号を重視した焦点検出演算が行えるため、常に正確な焦点検出が可能となる。

＜第５の実施形態の変形例＞
上述した第５の実施形態においては、複数の焦点検出信号に重み付け処理を施した結果を最終的な焦点検出情報としていた。以下に示す第５の実施形態の変形例では、複数の焦点検出結果に対して、最も信頼性の高いと思われる結果を択一的に選択する実施形態を示す。

図２９は該変形例における重み付け係数の一例で、前述の図２７（ａ）に対応する。図２７（ａ）では、撮影光学系のＦナンバーに応じて、３種の焦点検出信号の重み付け係数をきめ細かく設定していた。これに対して図２９の変形例では、３種の信号のうち、１つの重み付け係数を１、残りの２つの係数を０とすることで、最も信頼性の高いと思われる結果を択一的に選択することになる。当変形例では、１対２像の位相差検出演算前に択一的な選択を行うことができるため、無駄な演算を行う必要がなく、焦点検出演算が高速化されるとともに、演算プログラムも簡略化できる。

図３０は他の変形例における重み付け係数の一例で、前述の図２７（ｂ）に対応する。図２７（ｂ）では、算出されたデフォーカス量に応じて、３種の焦点検出信号の重み付け係数をきめ細かく設定していた。これに対して図３０の変形例では、３種の信号のうち、１つの重み付け係数を１、残りの２つの係数を０とすることで、最も信頼性の高いと思われる結果を択一的に選択することになる。当変形例でも重み付け演算が簡略化されるため、焦点検出演算が高速化されるとともに、演算プログラムも簡略化できる。

なお、第５の実施形態、及びその変形例では、３種類の基線長に対応する画素の信号を利用していたが、そのうちの１種の利用を省略し、所望の２種類のみを利用する実施形態でも構わない。また反対に、４種以上の基線長に対応する画素を備える実施形態に適用することも可能である。例えば、図２６（ｂ）を参照して上述した例において、第２の画素２２１の内、基線長がθ３の光電変換素子を用いないようしてもよい。

＜第６の実施形態＞
上述した第４の実施形態においては、最初に基線長の短い第２の画素２２１〜２２３を用いて焦点検出を行い、次いで基線長の長い第１の画素２１１を用いて焦点検出を行う例を示した。以下に示す第６の実施形態は、上記概念を拡張し、基線長の数が２を超える場合にも、異なる基線長で得られた複数の焦点検出信号を時系列的に適切に選択もしくは合成する実施形態を示す。

図３１は、第６の実施形態における重み付け係数の一例を示したものである。本第６の実施形態においては、３種類の焦点検出信号から得られた結果に対して、焦点検出の回数に応じて重み付け係数を切換える。

ＤＥＦ（θ１）乃至ＤＥＦ（θ３）は、図２６（ａ）及び（ｂ）で説明した、３種類の基線長を有する焦点検出信号から算出されたデフォーカス量を表す。また、１回目乃至３回目と記したものは、合焦に至るまでに行った焦点検出の回数を表わす。そして、表のなかの０及び１は、各焦点検出回数における重み付け係数Ｃ（ＳＮ）である。以上のように定義した重み付け係数を、以下の式（７）を用いて基線長の異なる焦点検出信号対から得られた３個のデフォーカス量に掛けることで、最終的なデフォーカス量ＤＥＦを計算する。
ＤＥＦ＝ＤＥＦ（θ１）×Ｃ１（ＳＮ）
＋ＤＥＦ（θ２）×Ｃ２（ＳＮ）
＋ＤＥＦ（θ３）×Ｃ３（ＳＮ） …（７）
本第６の実施形態においては、各重み付け係数は０もしくは１であるため、所定回の焦点検出では、複数の焦点検出情報のうち、所定の１つが択一的に選択される。すなわち、１回目の焦点検出時は基線長θ１による焦点検出信号、２回目の焦点検出時は基線長θ２による焦点検出信号、３回目の焦点検出時は基線長θ３による焦点検出信号が採用される。

図３２は第６の実施形態における焦点検出サブルーチンのフロー図である。なお、第６の実施形態におけるカメラや撮像素子は、第１乃至第５の実施形態と同様のものが用いられ、カメラの撮影時のメインフローは第４の実施形態で説明した図２４と同様であるため、同一部分の説明は省略する。

図３２の焦点検出サブルーチンにおいて、まずＳ６３２では、プレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行う。Ｓ６３３では、Ｓ６３２での認識結果から、焦点を合わせるべき主被写体を決定する。Ｓ６３４では、図２４のＳ１０７で取得したレンズ情報に基づき、撮影光学系の射出瞳の計算を行う。具体的には、射出瞳の大きさや像面からの距離を算出し、次いで像高毎のビネッティング計算を行う。

Ｓ６３５では、焦点検出領域内に存在する３組の焦点検出画素を選択する。ここで３組とは、図２６で説明した、３種類の基線長に対応する光電変換部の出力群を指す。Ｓ６３６では、選択された画素の各光電変換部の出力から、相関演算用に３組の１対２像を創生する。

Ｓ６３７では、創生した３組の焦点検出信号に対して、ビネッティングにより生じた光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、２像の強度差が軽減され、焦点検出精度が向上する。Ｓ６３８では、シェーディング補正が施された２像の横ずれ量ｕを算出するための相関演算を行う。Ｓ６３９では、Ｓ６３８における相関演算の過程で算出された２像の一致度から、像ずれ検出結果の信頼性を判定する。Ｓ６４０では、Ｓ６３８で得られた像ずれ量ｕと、焦点検出に用いた画素の基線長θとから、式（１）を用いて３組のデフォーカス量を算出する。Ｓ６４１では、一連の合焦動作において、合焦状態に至るまでの焦点検出演算の実行回数Ｎを認識する。ここでの実行回数とは、３種類の基線長に対する３組の焦点検出演算すべてを実施した時を１回と規定する。

Ｓ６４２では、得られた３組のデフォーカス量に対して、式（７）による重み付け演算を施し、最終的なデフォーカス量を求める。

Ｓ６４３では、Ｓ６４２で算出されたデフォーカス量が合焦閾値以下か否かの判定を行う。デフォーカス量が合焦閾値を超える場合はＳ６４３からＳ６４４に移行し、フォーカスレンズ駆動量を算出して、Ｓ６４８からメインルーチンにリターンする。

一方で、Ｓ６４３でデフォーカス量が合焦閾値以下と判断された場合はＳ６４５に移行する。Ｓ６４５では、焦点検出回数Ｎの値を判別する。第６の実施形態においては、Ｎが３に達していたらＹＥＳに、２以下であればＮＯに分岐する。すなわち、第６の実施形態では３種の基線長に対する焦点検出を行い、基線長の短い信号での検出結果を順に採用していく。従って、３回の焦点検出が完了し、かつデフォーカス量が合焦閾値以下になった場合に合焦フラグを１に設定する。次いでＳ６４７でデフォーカスマップを作成し、Ｓ６４８にてメインルーチンにリターンする。

次に、リターン後のメインルーチンの動作を説明する。図３２の焦点検出サブルーチンを実行後、図２４におけるメインルーチンにリターンすると、Ｓ４６１で合焦フラグの判定を行う。合焦フラグが１以外、すなわち非合焦である場合はＳ４６２でフォーカスレンズ駆動を行い、Ｓ４３１に戻って焦点検出サブルーチンを再度実行する。

一方で、Ｓ４６１において合焦フラグが１と判断された場合はＳ１５３に移行し、画像記録や画像送信等を行い、撮影動作が終了する。

上記の通り、第６の実施形態によれば、合焦に至るまでの焦点検出の履歴において、まず基線長の短い画素での焦点検出を行い、次いで中間の基線長を有する画素で焦点検出を行い、最後に基線長の長い画素での焦点検出を行う。これにより、デフォーカス量が大きい状態から小さい状態にわたって、各々の状態に適した信号を用いるため、無駄な演算をすることなく、かつ正確な焦点検出が可能となる。

＜第６の実施形態の変形例＞
上述した第６の実施形態においては、焦点検出の回数（履歴）に応じて、所定の信号を択一的に選択するものであった。以下に示す第６の実施形態の変形例では、複数の焦点検出結果に対して、履歴に応じた重み付け係数を設定し、複数の結果を合成して用いる実施形態を示す。

図３３は該変形例における重み付け係数の一例で、前述の図３１に対応する。図３１では、焦点検出の履歴状況に応じて、所定の結果を択一的に用いていた。これに対して図３２の変形例では、３種の信号のうち、２種以上の信号を所定の重み付けにて用いている。この場合、最適であると想定されていた基線長による焦点検出が不能であっても、他の基線長による焦点検出が可能であれば、デフォーカス量の算出が可能になるため、合焦に至るまでの焦点検出回数が無駄に増加してしまう現象を回避できる。

なお、第６の実施形態、及びその変形例では、３種類の基線長に対応する画素の信号を利用していたが、そのうちの１種の利用を省略し、所望の２種類のみを利用する実施形態でも構わない。また反対に、４種以上の基線長に対応する画素を備える実施形態に適用することも可能である。

Claims (7)

1. 撮影光学系により形成された被写体像を検出して記録用画像を生成する第１の撮像画素及び第２の撮像画素と、を有する撮像素子であって、
   前記第１の撮像画素は、第１の方向及び前記第１の方向と直交する第２の方向に複数に分割された複数の光電変換部を備え、
   前記第２の撮像画素は、前記第１の方向に分割された複数の光電変換部を備え、
   前記第１の撮像画素を構成する光電変換部の数と、前記第２の撮像画素を構成する光電変換部の数は、同一であり、
   前記複数の光電変換部は、前記撮影光学系からの光束のうち分割された光束により形成された複数の被写体像を光電変換して位相差の検出に用いられる焦点検出信号を出力する機能を備えており、
   前記第１の撮像画素を構成する前記複数の光電変換部のうち位相差の検出に用いる光電変換部の基線長は、前記第２の撮像画素を構成する前記複数の光電変換部のうち位相差の検出に用いる光電変換部の基線長より長いことを特徴とする撮像素子。
2. 前記第２の撮像画素は、前記第１の方向に４分割された光電変換部を備え、
   前記第１の撮像画素は、前記第１の方向及び前記第２の方向にともに２分割された光電変換部を備えていることを特徴とする請求項１に記載の撮像素子。
3. デフォーカス量が予め決められた閾値以下の場合、前記第１の撮像画素を用いて位相差の検出を行い、前記デフォーカス量が前記閾値を超える場合、前記第２の撮像画素を用いて位相差の検出を行うことを特徴とする請求項１または２に記載の撮像素子。
4. 前記第１の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量が小さくなる程、該デフォーカス量の重み付け係数の割合を前記第２の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量の重み付け係数の割合よりも大きくし、前記第２の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量が大きくなる程、該デフォーカス量の重み付け係数の割合を前記第１の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量の重み付け係数の割合よりも大きくすることを特徴とする請求項１または２に記載の撮像素子。
5. Ｆナンバーが小さくなる程、前記第１の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量の重み付け係数の割合を前記第２の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量の重み付け係数の割合よりも大きくし、前記Ｆナンバーが大きくなる程、前記第２の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量の重み付け係数の割合を前記第１の撮像画素を用いて位相差の検出を行うことで得られたデフォーカス量の重み付け係数の割合よりも大きくすることを特徴とする請求項１または２に記載の撮像素子。
6. 前記第２の撮像画素の前記４つの光電変換部のうち、前記基線長の短い２個の光電変換部を用いて前記位相差の検出を行った後に、前記第２の撮像画素を構成する前記４つの光電変換部のうち、前記基線長の長い２個の光電変換部を用いて前記位相差の検出を行うことを特徴とする請求項２に記載の撮像素子。
7. 請求項１乃至６のいずれか１項に記載の撮像素子と、
   前記焦点検出信号を用いて焦点調節を行う焦点調節手段と、
   を有することを特徴とする撮像装置。

Images