JP6941011B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置における焦点検出技術に関するものである。

２次元に配置された画素の各々にマイクロレンズが形成された撮像素子を用い、瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。この装置では、１つのマイクロレンズを２つの光電変換部で共有する構成を有する。これにより、マイクロレンズを共有する２つの光電変換部のうち、第１の光電変換部では撮影レンズの射出瞳内の第１の領域を通過する光束に基づく信号が得られる。また、第２の光電変換部では、撮影レンズの射出瞳内の第２の領域を通過する光束に基づく信号が得られる。複数の第１の光電変換部から得られる信号列と複数の第２の光電変換部から得られる信号列との相関演算を行って信号列の位相差（ずれ量）を算出し、位相差からデフォーカス量を算出することができる。

また、マイクロレンズを共有する第１の光電変換部と第２の光電変換部の出力を加算することで、１つのマイクロレンズあたり１つの光電変換部を有する一般的な画素と同様の出力を得ることができる。そのため、１つの画素から、第１の光電変換部の出力（Ａ信号）、第２の光電変換部の出力（Ｂ信号）、および第１の光電変換部と第２の光電変換部の加算出力（Ａ＋Ｂ信号）という３種類の出力を得ることができる。特許文献１では、一方の光電変換部の出力（例えばＡ信号）を読み出した後でＡ＋Ｂ信号を読み出し、Ｂ信号は個別に読み出さずに、Ａ＋Ｂ信号からＡ信号を減じることで生成している。これにより、３種類の信号を２回の読み出しで取得することができる。

また、特許文献２には、焦点検出精度の低下を防ぐため、光電変換部の出力に関して、周囲の光電変換部からのクロストークによる影響を補正により排除した上で焦点検出を行うことが開示されている。これにより、クロストークによる影響を低減することができ高精度な焦点検出が可能となる。

特開２０１４−１８２３６０号公報 特開２００９−１２２５２４号公報

しかしながら、特許文献２に記載のクロストーク補正による信号補正を終えた後、焦点検出を行う場合は、以下のような課題がある。特許文献２に記載されている通り、クロストークの発生量は、クロストーク発生原因となる画素の出力量だけでなく、入射光の角度、Ｆ値、焦点検出領域の像高、光電変換部の面積、距離などによって変化する。そのため、精度よくクロストーク補正を行うことは、多くの精度の高い情報が必要となり、製造誤差などを考えると、精度よくこれらの情報を得ることは困難である。

一方で、クロストーク補正を行ってもある程度の誤差が残っている場合の焦点検出の信頼性については、特許文献２では触れられていない。結果的に、クロストーク補正の誤差を前提とした焦点検出において、検出精度に関して信頼性の高い焦点検出結果を得る方法は開示されていない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、その目的は、クロストークの影響やクロストーク補正などで信号に誤差が含まれる場合でも、精度の高い焦点検出結果を得ることができる撮像装置を提供することである。

本発明に係わる撮像装置は、２次元に配列された複数の画素を有し、それぞれの画素が撮影光学系の射出瞳の第１の瞳領域を通過する光束を受光する第１の光電変換部と、前記撮影光学系の射出瞳の前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の光電変換部とを有する撮像素子と、前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算して得られた第１の加算信号を瞳分割方向に連結して第１の像信号を生成するとともに、前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算して得られた第２の加算信号を瞳分割方向に連結して第２の像信号を生成する生成手段と、前記第１の像信号と前記第２の像信号の位相差を検出する焦点検出手段と、を備え、前記生成手段は、前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算する場合、あるいは前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算する場合に、周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを小さくして加算することを特徴とする。

本発明によれば、クロストークの影響やクロストーク補正などで信号に誤差が含まれる場合でも、精度の高い焦点検出結果を得ることができる撮像装置を提供することが可能となる。

本発明の一実施形態に係る撮像装置の機能構成例を示すブロック図。 一実施形態における撮像素子の構成例を示す図。 一実施形態における撮像素子の構成例を示す図。 図３の撮像素子の動作例を示すタイミングチャート。 一実施形態における光電変換領域と射出瞳との関係を示す図。 一実施形態における光電変換領域と射出瞳との関係を示す図。 一実施形態における光電変換部の入射角に対する受光感度分布の特性を示す図。 撮像素子の周辺像高における光電変換部と対応する瞳領域を説明する図。 一実施形態における撮影範囲と焦点検出領域の例を示す図。 一実施形態における焦点検出領域内に配置された画素を示す図。 一実施形態におけるカラーフィルタ毎の画素出力の線像強度分布を示す図。 一実施形態におけるカラーフィルタ毎の画素出力の線像強度分布を示す図。 一実施形態における画素間のクロストークを説明する図。 一実施形態における焦点調節動作を示すフローチャート。 一実施形態における信頼性判定方法の例を示すフローチャート。 一実施形態における２つの信号の差を示す図。 一実施形態におけるデフォーカス量の算出方法の例を示すフローチャート。

以下、本発明の例示的な実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る焦点検出装置をレンズ交換式のデジタル一眼レフカメラ（カメラシステム）に適用した実施形態について説明する。しかしながら本発明は、位相差検出方式の焦点検出に用いる信号を生成可能な撮像素子を有する任意の電子機器に適用可能である。このような電子機器には、デジタルスチルカメラ、デジタルビデオカメラなどのカメラ一般はもとより、カメラ機能を有する携帯電話機、コンピュータ機器、メディアプレーヤ、ロボット機器、ゲーム機器、家電機器などが含まれるが、これらに限定されるものではない。

図１は、本発明の撮像装置の一実施形態としての、撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図１において、カメラシステムはカメラ１００と、交換可能な撮影レンズ３００とから構成される。

撮影レンズ３００を通過した光束は、レンズマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体光学像を観察しながら撮影を行うことができる。光学ファインダ１０４内には、後述する表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。

メインミラー１３０の一部は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、１対の像信号をＡＦ部（オートフォーカス部）４２に出力する。ＡＦ部４２では、１対の像信号に対して位相差検出演算を行い、撮影レンズ３００のデフォーカスの量および方向を求める。この演算結果に基づき、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２（後述）に対してフォーカスレンズの駆動制御を行う。

撮影レンズ３００の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を光路外に退避させる。そうすると、撮影レンズ３００を通過してカメラ１００に入射する光束は、露光量を制御するためのシャッター１２を介して、撮像素子１４に入射可能になる。撮像素子１４による撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示する様な位置に戻る。

撮像素子１４はＣＣＤまたはＣＭＯＳイメージセンサであり、光電変換領域（またはフォトダイオード）を有する画素が複数、２次元的に配置された構成を有する。撮像素子１４は被写体光学像に対応する電気信号を出力する。撮像素子１４により光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。なお、後述するように、Ａ／Ｄ変換器１６は撮像素子１４に組み込まれてもよい。

本実施形態における撮像素子１４は、少なくとも一部の画素が複数の光電変換領域（またはフォトダイオード）を有するように構成されている。上述の通り、このような構成を有する画素は、位相差検出方式の焦点検出に用いる信号を出力可能である。従って、クイックリターン機構によりメインミラー１３０とサブミラー１３１が光路外に退避し、焦点検出装置１０５に光が入射しない場合であっても、撮像素子１４の出力を用いた位相差検出方式の焦点検出が可能である。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８はメモリ制御部２２及びシステム制御部５０により制御される。複数の光電変換領域を有する画素から、一部の光電変換領域の出力を読み出したり、全ての光電変換領域の出力を加算読み出ししたりするための制御信号は、システム制御部５０がタイミング発生回路１８を制御して撮像素子１４に供給する。

画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。

画像処理部２０はまた、Ａ／Ｄ変換器１６からの画像データ（撮像素子１４の出力信号）のうち、焦点検出用信号の生成に用いられる出力信号から、位相差検出方式の焦点検出に用いる１対の信号列を生成する。その後、１対の信号列はシステム制御部５０を介してＡＦ部４２へ送られる。ＡＦ部４２は１対の信号列の相関演算により信号列間のずれ量（シフト量）を検出し、ずれ量を撮影レンズ３００のデフォーカス量とデフォーカス方向に変換する。ＡＦ部４２は、変換したデフォーカスの量および方向をシステム制御部５０に出力する。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズを駆動し、撮影レンズ３００の合焦距離を調節する。

また、画像処理部２０は、撮像素子１４から得られる、通常の画像データを生成するための信号（上述したＡ＋Ｂ信号に相当）に基づいて、コントラスト評価値を演算することができる。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズ位置を変更しながら撮像素子１４で撮影を行い、画像処理部２０で算出されたコントラスト評価値の変化を調べる。そして、システム制御部５０は、フォーカスレンズを、コントラスト評価値が最大となる位置に駆動する。このように、本実施形態のカメラ１００は、コントラスト検出方式の焦点検出も可能である。

従って、カメラ１００は、ライブビュー表示時や動画撮影時のようにメインミラー１３０とサブミラー１３１が光路外に退避していても、撮像素子１４から得られる信号に基づいて、位相差検出方式とコントラスト検出方式の両方の焦点検出が可能である。また、カメラ１００は、メインミラー１３０とサブミラー１３１が光路内にある通常の静止画撮影では、焦点検出装置１０５による位相差検出方式の焦点検出が可能である。このように、カメラ１００は、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点検出が可能である。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理部２０およびメモリ制御部２２を介して、あるいはメモリ制御部２２のみを介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して液晶モニタ等から構成される画像表示部２８に表示される。撮像素子１４で撮影した動画像を画像表示部２８に逐次表示することで、電子ファインダ機能（ライブビュー表示）を実現することができる。画像表示部２８は、システム制御部５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減することができる。

また、メモリ３０は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用することができる。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き戻す。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

測光部４６は、自動露出制御（ＡＥ）処理を行う。撮影レンズ３００を通過した光束を、レンズマウント１０６、メインミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部４６は露出条件を決定することができる。また、測光部４６は、フラッシュ４８と連携することにより調光処理機能も有する。なお、画像処理部２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御部５０が、シャッター制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。表示部５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部５４はカメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４、６６、６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアル６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１である６２は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２である６４は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体１５０或いは１６０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体１５０及び１６０は、メモリカードやハードディスク等である。記録媒体１５０及び１６０は、半導体メモリや磁気ディスク等から構成される記録部１５２、１６２、カメラ１００とのインターフェース１５４、１６４、カメラ１００と接続を行うコネクタ１５６、１６６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、レンズマウント３０６をカメラ１００のレンズマウント１０６に係合させることによりカメラ１００と機械的並びに電気的に結合される。電気的な結合はレンズマウント１０６及びレンズマウント３０６に設けられたコネクタ１２２及びコネクタ３２２によって実現される。レンズ３１１には撮影レンズ３００の合焦距離を調節するためのフォーカスレンズが含まれる。フォーカス制御部３４２は、フォーカスレンズを光軸に沿って駆動することで撮影レンズ３００の焦点調節を行う。フォーカス制御部３４２の動作は、システム制御部５０が、レンズシステム制御部３４６を通じて制御する。絞り３１２はカメラ１００に入射する被写体光の量と角度を調節する。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

ズーム制御部３４０はレンズ３１１の変倍レンズを駆動し、撮影レンズ３００の焦点距離（画角）を調整する。撮影レンズ３００が単焦点レンズであればズーム制御部３４０は存在しない。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。

レンズシステム制御部３４６は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ３００全体の動作を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。

本実施形態においては、撮影レンズ３００の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズを通過する光束を決定する枠開口の半径の情報と、撮像素子１４から枠開口までの距離の情報である。絞り３１２は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ３１１のフォーカス位置やズーム位置によって異なるため、レンズ枠情報はレンズ３１１のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ１００が、焦点検出手段を用いて焦点検出を行う際には、レンズ３１１のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ１００にコネクタ３２２を通じて送られる。

以上が、カメラ１００と撮影レンズ３００からなる本実施形態のカメラシステムの構成である。

次に、撮像素子１４の構成について、図２および図３を用いて説明する。

図２（ａ）は、撮像素子１４が有する複数の画素のうち、位相差検出方式の焦点検出に用いる信号を出力可能な画素の回路構成例を示す図である。ここでは、１つの画素２００に、１つのマイクロレンズを共有する複数の光電変換領域または光電変換部として２つのフォトダイオードＰＤ２０１ａ、２０１ｂが設けられた構成について説明する。しかし、１つのマイクロレンズに対してより多く（例えば、４つ）のフォトダイオードが設けられてもよい。また、フォトダイオードの配置も水平方向の配置のみには限定されず、垂直方向に配置してもよい。フォトダイオード２０１ａ、フォトダイオード２０１ｂは、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。

転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５、選択スイッチ２０６は例えばＭＯＳトランジスタにより構成される。以下の説明では、これらのスイッチはＮ型のＭＯＳトランジスタとするが、Ｐ型のＭＯＳトランジスタであってもよいし、他のスイッチング素子であってもよい。

図２（ｂ）は、撮像素子１４に２次元に配列された複数の画素のうち、水平ｎ画素、垂直ｍ画素を取り出して模式的に示した図である。ここでは、全ての画素が図２（ａ）に示した構成を有するものとする。各画素にはマイクロレンズ２３６が設けられ、１つのマイクロレンズに対して２つのフォトダイオード２０１ａ、２０１ｂが配置されている。以下では、フォトダイオード２０１ａにより得られる信号をＡ信号または第１の信号、フォトダイオード２０１ｂにより得られる信号をＢ信号または第２の信号と呼ぶ。また、複数のＡ信号から生成される焦点検出用の信号列をＡ像または第１の像信号、複数のＢ信号から生成される焦点検出用の信号列をＢ像または第２の像信号と呼ぶ。また、対をなすＡ像とＢ像とを、信号列対または像信号対と呼ぶ。

転送スイッチ２０２ａはフォトダイオード２０１ａとフローティングディフュージョン部（以下、ＦＤ）２０３との間に接続される。また、転送スイッチ２０２ｂはフォトダイオード２０１ｂとＦＤ２０３との間に接続される。転送スイッチ２０２ａ、２０２ｂは、それぞれフォトダイオード２０１ａ、２０１ｂで発生した電荷を共通のＦＤ２０３に転送する素子である。転送スイッチ２０２ａ、２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

フローティングディフュージョン部（ＦＤ）２０３は、フォトダイオード２０１ａ、２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部（キャパシタ）として機能する。

増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、ＦＤ２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続されている。増幅部２０４は、ＦＤ２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。

リセットスイッチ２０５は、ＦＤ２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、ＦＤ２０３の電位を共通電源２０８の電源電位ＶＤＤにリセットする機能を有する。

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

図３は、撮像素子１４の構成例を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８、２２９、水平走査回路２３２及びデータ出力部２３３を有する。以下では画素アレイ２３４に含まれる全ての画素が図２（ａ）に示した回路構成を有するものとする。しかしながら、一部の画素は１つのマイクロレンズあたり１つのフォトダイオードが設けられた構成を有してもよい。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３には説明を分かりやすくするために、４行ｎ列の画素アレイ２３４を示している。しかし、画素アレイ２３４が有する画素２００の行数および列数は任意である。また、本実施形態において、撮像素子１４は単板式カラー撮像素子であり、原色ベイヤー配列のカラーフィルタを有している。そのため、１つ１つの画素２００には赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタのいずれか１つが設けられている。なお、カラーフィルタを構成する色や配列に特に制限はない。また、画素アレイ２３４に含まれる一部の画素は遮光され、オプティカルブラック（ＯＢ）領域を形成する。

垂直走査回路２０９は、行ごとに設けられた駆動信号線２０８を介して、各行の画素２００に、図２（ａ）に示した各種の制御信号を供給する。なお、図３では説明を分かりやすくするために各行の駆動信号線２０８を１本の線で表しているが、実際には複数の駆動信号線が各行に存在する。

画素アレイ２３４に含まれる画素は、一列ごとに共通の垂直出力線２０７に接続される。垂直出力線２０７の各々には、電流源負荷２１０が接続される。それぞれの画素２００からの信号は、列ごとに設けられた読み出し回路２３５に垂直出力線２０７を通じて入力される。

水平走査回路２３２は、それぞれが１つの読み出し回路２３５に対応する制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）を出力する。制御信号ｈｓｒ（）はｎ個の読み出し回路２３５の１つを選択する。制御信号ｈｓｒ（）で選択された読み出し回路２３５は、共通出力線２２８、２２９を通じてデータ出力部２３３に信号を出力する。

次に、読み出し回路２３５の具体的な回路構成例について説明する。図３には、ｎ個の読み出し回路２３５のうち１つについての回路構成例を示しているが、他の読み出し回路２３５も同じ構成を有する。本実施形態の読み出し回路２３５はランプ型のＡＤ変換器を含んでいる。

垂直出力線２０７を通じて読み出し回路２３５に入力された信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６とスイッチ２１８〜２２０がオペアンプ２１３の反転入力端子と出力端子の間に接続される。オペアンプ２１３の反転入力端子と出力端子の間にはさらにスイッチ２１７が接続される。スイッチ２１７は制御信号ＲＥＳ＿Ｃにより制御され、フィードバック容量２１４〜２１６の両端をショートさせる機能を有する。また、スイッチ２１８〜２２０はシステム制御部５０からの制御信号ＧＡＩＮ０〜ＧＡＩＮ２により制御される。

比較器２２１には、オペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号およびＡ信号とＢ信号が加算された信号レベル（Ａ＋Ｂ信号）を保持するための記憶素子である。比較器２２１の出力（比較結果を表す値）とカウンタ２３１の出力（カウンタ値）２２５が、Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３のそれぞれに入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３の動作（有効または無効）はそれぞれ、制御信号ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ２２２で保持したノイズレベルはスイッチ２２６を介して共通出力線２２８に出力される。Ｌａｔｃｈ＿Ｓ２２３で保持した信号レベルはスイッチ２２７を介して共通出力線２２９に出力される。共通出力線２２８、２２９はデータ出力部２３３に接続される。

スイッチ２２６、２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号レベルは共通出力線２３８、２２９に順次出力され、データ出力部２３３を通じてメモリ制御部２２や画像処理部２０に出力される。この、各読み出し回路２３５で保持された信号レベルを順次外部に出力する動作を水平転送と呼ぶ。なお、読み出し回路に入力される制御信号（ｈｓｒ（）を除く）や、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、カウンタ２３１の制御信号は、タイミング発生回路１８やシステム制御部５０から供給される。

図３に示した撮像素子１４の読み出し動作に関するタイミングチャートである図４を参照して、１行分の画素に対する読み出し動作について説明する。なお、各制御信号がＨのときに各スイッチはオンになり、Ｌのときに各スイッチはオフになるものとする。

時刻ｔ１において垂直走査回路２０９は、制御信号ＲＥＳをＨにした状態で制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬからＨにして、転送スイッチ２０２ａ、２０２ｂをオンにする。これにより、フォトダイオード２０１ａ、２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。また、ＦＤ２０３も同様にリセットされる。時刻ｔ２において垂直走査回路２０９が、制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬとし、転送スイッチ２０２ａ、２０２ｂをオフすると、フォトダイオード２０１ａ、２０１ｂで光電荷の蓄積が開始される。

所定の蓄積時間が経過すると、時刻ｔ３において垂直走査回路２０９は、制御信号ＳＥＬをＨとし、選択スイッチ２０６をオンにする。これにより、増幅部２０４のソースが垂直出力線２０７に接続される。時刻ｔ４において垂直走査回路２０９は、制御信号ＲＥＳをＬとし、リセットスイッチ２０５をオフする。これにより、ＦＤ２０３のリセットが解除され、ＦＤ２０３のリセット信号レベルが増幅部２０４を介して垂直出力線２０７に読み出され、読み出し回路２３５に入力される。

その後、時刻ｔ５においてタイミング発生回路１８は制御信号ＲＥＳ＿ＣをＬにする。これにより、スイッチ２１７がオンし、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。撮像素子１４には予め、操作部１０２により設定されたＩＳＯ感度に基づき、システム制御部５０が制御信号ＧＡＩＮ０〜ＧＡＩＮ２のいずれか１つをＨにする設定が行われる。例えば実施形態のカメラ１００がＩＳＯ感度１００、２００、４００のいずれかが設定可能である場合、ＩＳＯ感度１００のときは制御信号ＧＡＩＮ０がＨ、ＧＡＩＮ１、ＧＡＩＮ２がＬとなる。同様に、ＩＳＯ感度２００では制御信号ＧＡＩＮ１がＨ、ＩＳＯ感度４００では制御信号ＧＡＩＮ２がＨとなる。なお、設定感度の種類や、設定感度と制御信号との関係はこれに限定されるものではない。

オペアンプ２１３は、入力された電圧を、クランプ容量２１１と、制御信号ＧＡＩＮ０〜ＧＡＩＮ２のうちＨのものに対応するスイッチに対応するフィードバック容量２１４〜２１６の１つとの容量比で定まる反転ゲインで増幅して出力する。この増幅により、オペアンプ２１３までの回路で発生するランダムノイズ成分も増幅される。したがって、増幅後の信号に含まれるランダムノイズの大きさは、ＩＳＯ感度に依存する。

次に、時刻ｔ６において、ランプ信号発生器２３０は時間経過とともに信号レベルが線形に増加するランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＮをＨにして、Ｌａｔｃｈ＿Ｎを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ７）。Ｌａｔｃｈ＿Ｎ２２２はＬＡＴＥＮ＿ＮがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｎ２２２が記憶するカウンタ値が、Ｎ信号レベルを表すデジタル値（Ｎ信号データ）に相当する。なお、ＬＡＴＥＮ＿ＳはＬであるため、Ｌａｔｃｈ＿Ｓ２２３は無効であり、カウント値は記憶しない。その後時刻ｔ８において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＮをＬにする。

時刻ｔ９で垂直走査回路２０９は制御信号ＴＸ＿ＡをＨにする。これにより、転送スイッチ２０２ａがオンし、時刻ｔ２からフォトダイオード２０１ａに蓄積された光電荷（Ａ信号）がＦＤ２０３へ転送される。その後、時刻ｔ１０で垂直走査回路２０９は制御信号ＴＸ＿ＡをＬにする。ＦＤ２０３は転送された電荷を電位に変換し、この電位（Ａ信号レベル）が、増幅部２０４および垂直出力線２０７を介して読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。オペアンプ２１３の反転ゲインは、クランプ容量２１１と、フィードバック容量２１４〜２１６のいずれか１つとの比率によって定まる。

次に、時刻ｔ１１でランプ信号発生器２３０はランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ１２）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ２２３が記憶するカウンタ値が、Ａ信号レベルを表すデジタル値（Ａ信号データ）に相当する。なお、ＬＡＴＥＮ＿ＮはＬであるため、Ｌａｔｃｈ＿Ｎ２２２は無効であり、カウント値は記憶しない。その後時刻ｔ１３において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＳをＬにする。

その後、時刻ｔ１４〜ｔ１５の間、水平走査回路２３２は制御信号ｈｓｒ（ｈ）を順次一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７が一定期間オンし、オフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ信号データは共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各読み出し回路２３５から出力されたＡ信号データとＮ信号データについて、Ａ信号データからＮ信号データを減じた値を外部へ出力する。

時刻ｔ１６からｔ１７の間、垂直走査回路２０９は制御信号ＴＸ＿ＡおよびＴＸ＿ＢをＨにし、転送スイッチ２０２ａ，２０２ｂをオンにする。これにより、両方のフォトダイオード２０１ａ、２０１ｂから光電荷がＦＤ２０３へ転送される。ＦＤ２０３は転送された電荷を電位に変換し、この電位（Ａ＋Ｂ信号レベル）が、増幅部２０４および垂直出力線２０７を介して読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ＋Ｂ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。

次に、時刻ｔ１８でランプ信号発生器２３０はランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ１９）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ２２３が記憶するカウンタ値が、Ａ＋Ｂ信号レベルを表すデジタル値（Ａ＋Ｂ信号データ）に相当する。その後時刻ｔ２０において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＳをＬにする。

その後、時刻ｔ２１〜ｔ２２の間、水平走査回路２３２は制御信号ｈｓｒ（ｈ）を順次一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７が一定期間オンし、オフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ＋Ｂ信号データは共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各読み出し回路２３５から出力されたＡ＋Ｂ信号データとＮ信号データについて、Ａ＋Ｂ信号データからＮ信号データを減じた値を外部へ出力する。

時刻ｔ２２でタイミング発生回路１８は制御信号ＲＥＳ＿ＣをＨとし、時刻ｔ２３で垂直走査回路２０９が制御信号ＲＥＳをＨとし、時刻ｔ２４で垂直走査回路２０９が制御信号ＳＥＬをＬにすると、１行分の読み出し動作が完了する。この動作を所定の行数分繰り返すことにより１画面分の像信号を取得することができる。

このようにして、リセットノイズが除去されたＡ信号とＡ＋Ｂ信号を撮像素子１４から読み出すことができる。Ａ信号は焦点検出用の信号として、Ａ＋Ｂ信号は撮影画像を構成する信号として用いられる。Ａ＋Ｂ信号およびＡ信号はまた、焦点検出用のＢ信号を生成するためにも用いられる。

なお、本実施形態の撮像素子１４は、全画素読み出しモードと、間引き読み出しモードの２種類の読み出しモードを有する。全画素読み出しモードは全ての有効画素を読み出すモードであり、例えば高精細静止画を得る際に設定される。

間引き読み出しモードは、全画素読み出しモードより少ない画素を読み出すモードであり、例えば動画やプレビュー用の画像のように、高精細静止画よりも解像度の低い画像を得る場合や、高速に読み出す必要がある場合に設定される。例えば画像の水平および垂直方向の両方で同じまたは異なる割合で画素を間引いて読み出すことができる。なお、「間引き」は読み出し自体を行わないことだけでなく、読み出しされた信号を棄てる（無視する）構成や、読み出した複数の信号を加算して１つの信号を生成する構成も含む。例えば、隣接する複数の画素から読み出した信号を平均して１つの信号を生成することで、Ｓ／Ｎを改善することができる。

図５Ａは、本実施形態の撮像装置において、撮影レンズ３００の射出瞳面と、撮像素子１４の像面の中央近傍に配置された画素２００（中央画素）のフォトダイオード２０１ａ、２０１ｂとの共役関係を説明する図である。撮像素子１４内のフォトダイオード２０１ａ、２０１ｂと撮影レンズ３００の射出瞳面は、オンチップマイクロレンズ２０１ｉによって共役関係となるように設計される。そして撮影レンズ３００の射出瞳面は、光量調節用の虹彩絞りが設けられる面とほぼ一致するのが一般的である。

一方、本実施形態の撮影レンズ３００は変倍機能を有したズームレンズである。ズームレンズには、変倍操作を行なうと、射出瞳の大きさや、像面から射出瞳までの距離（射出瞳距離）が変化するものがある。図５Ａでは、撮影レンズ３００の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Ｄｌを標準値として、オンチップマイクロレンズの形状や、像高（画面中心からの距離またはＸＹ座標）に応じた偏心パラメータの最適設計がなされる。

図５Ａにおいて、撮影レンズ３００は、第１レンズ群１０１、第１レンズ群を保持する鏡筒部材１０１ｂ、第３レンズ群１０５、および第３レンズ群を保持する鏡筒部材１０５ｂを有している。また、撮影レンズ３００は、絞り１０２と、絞り開放時の開口径を規定する開口板１０２ａ、および絞り込み時の開口径を調節するための絞り羽根１０２ｂを有している。なお、図５Ａにおいて、撮影レンズ３００を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口を撮影レンズ３００の射出瞳と定義し、像面からの距離を射出瞳距離Ｄｌとしている。

画素２００の最下層には、フォトダイオード（光電変換部）２０１ａおよび２０１ｂが配置される。フォトダイオード２０１ａ、２０１ｂの上層には、配線層２０１ｅ〜２０１ｇ、カラーフィルタ２０１ｈ、及びオンチップマイクロレンズ２０１ｉが設けられている。フォトダイオード２０１ａ、２０１ｂは、オンチップマイクロレンズ２０１ｉによって撮影レンズ３００の射出瞳面に投影される。換言すれば、射出瞳が、オンチップマイクロレンズ２０１ｉを介して、フォトダイオード２０１ａ、２０１ｂの表面に投影される。

図５Ｂは、撮影レンズ３００の射出瞳面上における、フォトダイオード２０１ａ、２０１ｂの投影像ＥＰ１ａ、ＥＰ１ｂを示している。円ＴＬは、絞り１０２の開口板１０２ａで規定される、画素２００への光束の最大入射範囲を射出瞳面に示したものである。円ＴＬは開口板１０２ａで規定されるため、図では円ＴＬを１０２ａとも記載している。図５Ｂは中央画素を示しているため、光束のケラレは光軸に対して対称となり、フォトダイオード２０１ａ及び２０１ｂは同じ大きさの瞳領域を通過した光束を受光する。そして、円ＴＬには、投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれるため、光束のケラレはほぼ発生しない。従って、フォトダイオード２０１ａ、２０１ｂで光電変換された信号を加算した場合、円ＴＬ、すなわち射出瞳領域のほぼ全体を通過した光束を光電変換した結果が得られる。フォトダイオード２０１ａが受光する射出瞳の領域を第１の瞳領域、フォトダイオード２０１ｂが受光する射出瞳の領域を第２の瞳領域、第１の瞳領域と第２の瞳領域を合わせた領域を第３の瞳領域と呼ぶこととする。

図５Ａ、図５Ｂに示した画素２００の構造を用いて、画素間で発生するクロストークについて説明する。隣接する画素間でのクロストークは、要因によって２つに分類される。１つは、オンチップマイクロレンズ２０１ｉ、カラーフィルタ２０１ｈ、配線層２０１ｅ〜２０１ｇの配置や、透過光の反射、散乱などによる迷光などにより発生する光学的クロストークである。もう１つは、各画素の光電変換部で生じた電荷が、他の画素へ移動することにより発生する電気的クロストークである。

光学的なクロストークは、光の波長により、透過率、反射率、屈折率などが異なることにより、発生するクロストーク量（隣接画素への光の移動量）も、色毎に異なる。また光の入射角度により発生するクロストーク量も異なる。さらに、画素の配線層２０１ｅ〜２０１ｇの異方性により、クロストークが発生する方向にも異方性が生じる。

同様に、電気的クロストークも、波長により、フォトダイオードに進入する深さ（光電変換される深さ）が異なるため、発生するクロストーク量（隣接画素への電化の移動量）も、色毎に異なる。また、電気的なクロストークは、波長に加えて、画素の配線層２０１ｅ〜２０１ｇの異方性や、画素間の信号電荷に対する障壁の高さによって、クロストークの発生する方向に異方性が生じる。画素間の信号電荷に対する障壁の高さについて、詳細は、特開２０１４−１８７０６７号公報に示されている。

本実施形態の撮像素子の画素は、クロストークに異方性を有し、水平方向の方が、垂直方向よりも、クロストーク量が多いことを想定して説明する。このような状況は、例えば、画素の障壁の高さや配線層の状態が、水平方向よりも垂直方向の方がクロストークを生じさせにくいような構成になっている場合に発生する。

上述のように、クロストークの発生量に波長や入射角度への依存性や異方性がある場合、焦点検出誤差が生じる。本実施形態では、クロストークが発生しても、高精度な焦点検出を実現することができる方法を提案する。詳細は、後述する。

次に、図６を用いて、フォトダイオード２０１ａ、２０１ｂの入射角に対する波長ごとの受光感度分布の特性について説明する。図６は、撮像素子１４の像面の中央近傍に配置されたカラーフィルタが赤（Ｒ）と緑（Ｇ）の２つの画素２００のフォトダイオード２０１ａ、２０１ｂの入射角に対する信号強度分布を示す図である。横軸は入射角度であり、右側が正である。縦軸は受光感度に相当する信号強度であり、フォトダイオード２０１ａ、２０１ｂの信号強度の交点Ｃにおける入射角度を原点としている。入射角度が負の場合に強度の最大値をとるのがフォトダイオード２０１ａの強度分布であり、入射角度が正の場合に強度の最大値をとるのがフォトダイオード２０１ｂの強度分布である。波長による屈折率の違いにより、ＲとＧの入射角に対する受光感度の特性の形状が異なる。なお、撮像素子１４の画素に配置されたカラーフィルタには、青（Ｂ）もあるが、ここでは説明を分かりやすくするために省略している。但し、青の場合も、波長依存性があるため赤や緑と異なる強度分布形状となる。

図６から分かるように、特性曲線の交点に対応する入射角度Ｃでは、ＲとＧの信号強度比がフォトダイオード２０１ａと２０１ｂで等しい。一方、入射角度に対する信号強度の変化率がＲとＧで異なるため、入射角度Ｃから外れた領域においては、ＲとＧの信号強度比がフォトダイオード２０１ａと２０１ｂで異なる。例えば、入射角度が負の場合、フォトダイオード２０１ａにおいては、Ｒの信号強度はＧの信号強度よりも小さい。一方、フォトダイオード２０１ｂにおいては、Ｒの信号強度はＧの信号強度よりも大きい。この場合、焦点検出に用いる対の信号でＲとＧの信号強度比が異なる。

図７を用いて、上述の波長ごとに信号強度比が異なる場合について説明する。図７は、撮像素子１４の周辺像高における、フォトダイオード２０１ａに対応する第１の瞳領域５０１、フォトダイオード２０１ｂに対応する第２の瞳領域５０２、および撮影レンズ３００の射出瞳である第３の瞳領域４００の関係を示す図である。第３の瞳領域４００の水平方向をＸ軸方向、垂直方向をＹ軸方向としている。

図７（ａ）は、撮影レンズ３００の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓが等しい場合を示す図である。この場合、第１の瞳領域５０１と第２の瞳領域５０２により、撮影レンズ３００の射出瞳４００が、概ね均等に分割される。入射角に対する受光感度分布で考えると、各像高への光線入射角度θは、フォトダイオード２０１ａ、２０１ｂを有する画素の最も感度の高い入射角度θｃにほぼ等しくなる（θ＝θｃ）。言い換えると、図６に示した入射角に対する受光感度分布において、どの像高においても、入射角度θｃを原点とした場合に、縦軸に対して対称な領域の光束を受光することになり、焦点検出に用いる対の信号におけるＲＧＢの信号強度比はほぼ等しくなる。

図７（ｂ）は、撮影レンズ３００の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓより短い場合を示す図である。また、図７（ｃ）は、撮影レンズ３００の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓより長い場合を示す図である。どちらの場合も、撮像素子１４の周辺像高において、撮影レンズ３００の射出瞳４００と第１及び第２の瞳領域にずれが生じ、撮影レンズ３００の射出瞳４００が、不均等に分割される。入射角に対する受光感度分布で考えると、図７（ｂ）、図７（ｃ）における光線入射角度θは、像高が高くなるほどフォトダイオード２０１ａ、２０１ｂを有する画素の最も感度の高い入射角度θｃからずれることになる。したがって、撮影レンズ３００の射出瞳距離Ｄｌと設定瞳距離Ｄｓのずれが大きく、且つ像高が高くなるほど、図６に示した入射角に対する受光感度分布において、原点から離れた入射角度の光束をフォトダイオード２０１ａ、２０１ｂが受光することになる。それにより、焦点検出に用いる対の信号におけるＲＧＢ信号の強度の差は大きくなる。一方で、撮像素子１４の中央像高においては、撮影レンズ３００の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓの関係によらず、瞳ずれが発生しない。そのため、均等に瞳分割され、焦点検出に用いる対の信号におけるＲＧＢ信号の強度の差は発生しない。本実施形態では、上述した通り、撮影レンズ３００の焦点距離が広角端や望遠端になった場合に、図７（ｂ）や図７（ｃ）の状態が起こりうる。また、撮影レンズを交換した場合なども、同様である。

図８は、撮影範囲６００に設定された焦点検出領域６０１、６０２の例を示す図である。焦点検出領域６０１は、その中心が撮影レンズ３００の光軸と撮像素子１４の交点と一致する、いわゆる中央像高に設定された焦点検出領域である。一方で、焦点検出領域６０２は、焦点検出領域の中心が、撮影レンズ３００の光軸と撮像素子１４の交点から離れている、いわゆる周辺像高に設定された焦点検出領域である。撮像素子１４が有する画素の出力を用いた焦点検出を行う場合、コントラスト検出方式、位相差検出方式のいずれにおいても、焦点検出領域６０１、６０２に対応する撮像素子１４の領域内に含まれる画素の出力を用いる。つまり、焦点検出領域６０１、６０２は撮像素子１４に設定されているとも言うことができる。そのため、以下では説明を分かりやすくするために、焦点検出領域６０１、６０２を撮像素子１４の画素領域として説明する。また、焦点検出領域６０１、６０２には、図２（ａ）に示した構成の画素２００が、４行２Ｎ列配置されているものとする。なお、これは単なる例示であり、焦点検出領域の数や大きさ（含まれる画素数）は位相差検出に支障のない範囲で適宜定めることができる。また、水平方向のみではなく、垂直方向に長い領域を焦点検出領域としてもよい。

図９は、焦点検出領域６０１、６０２内に配置された４行２Ｎ列の画素を示している。本実施形態では、ｉ行ｊ列目のＡＦ用Ａ像の信号を得るために用いられるフォトダイオード２０１ａおよびその出力をＡ（ｉ，ｊ）と表す。同様に、ｉ行ｊ列目のＡＦ用Ｂ像の信号を得るために用いられるフォトダイオード２０１ｂおよびその出力をＢ（ｉ，ｊ）と表す。図９では、１行目と３行目は、赤（Ｒ）と緑（Ｇｒ）のカラーフィルタを有する画素が交互に配置され、２行目と４行目は、緑（Ｇｂ）と青（Ｂ）のカラーフィルタを有する画素が交互に配置されている。本実施形態では、赤（Ｒ）の左右方向の隣に配置された緑の画素をＧｒとし、青（Ｂ）の左右方向の隣に配置された緑の画素をＧｂとして区別して表現する。

図１０Ａは、焦点検出領域６０１内に配置された画素から得られる信号の強度分布の例を、カラーフィルタの配置ごとに分けて示した図である。横軸は、画素番号、縦軸は光量と対応する信号強度を示している。Ａ像とＢ像の相対的な位置関係が分かりやすいように、上下に２つのグラフを隣接させて示している。上のグラフがＡ像を、下のグラフがＢ像を示している。

図１０Ａの２つのグラフにおいて、赤（Ｒ）の信号は長破線、緑（Ｇｒ）の信号は短破線、緑（Ｇｂ）の信号は実線、青（Ｂ）の信号は１点鎖線で示されている。なお、２つの緑の信号（Ｇｒ，Ｇｂ）は、略等しい出力が得られるため、重なって示されている。一方で、赤や青の信号が緑に対してピークの高さがずれているのは、被写体の分光特性の違いに主に起因している。

また、図１０Ａでは、合焦近傍であるため、Ａ像とＢ像の間で像ずれは発生しておらず、重心位置は揃っている状態を示している。図７で説明した通り、焦点検出領域６０１は中央像高であるため、撮影レンズ３００によるケラレの程度なども略等しく、Ａ像とＢ像の信号の差は小さい。

図１０Ｂは、焦点検出領域６０２内に配置された画素から得られる信号の強度分布の例を、カラーフィルタの配置ごとに分けて示した図である。横軸は、画素番号、縦軸は光量と対応する信号強度を示している。Ａ像とＢ像の相対的な位置関係が分かりやすいように、上下に２つのグラフを隣接させている。上のグラフがＡ像を、下のグラフがＢ像を示している。

図１０Ｂの２つのグラフで、赤（Ｒ）の信号は長破線、緑（Ｇｒ）の信号は短破線、緑（Ｇｂ）の信号は実線、青（Ｂ）の信号は１点鎖線で示されている。なお、Ａ像（上のグラフ）では、２つの緑の信号（Ｇｒ，Ｇｂ）は、略等しい出力が得られるため、重なって示されている。一方で、赤や青の信号が、緑に対してピークの高さがずれているのは、被写体の分光特性の違いに主に起因している。Ａ像のグラフでは、さらに、赤や青の信号の重心の画素位置がずれている。これは、撮影レンズ３００の有する倍率色収差により、色毎に異なる位置に線像が結像していることを示している。

図１０ＢのＢ像（下のグラフ）では、２つの緑の信号（Ｇｒ，Ｇｂ）は、ピークの高さ、重心の画素位置ともに異なる出力が得られていることを示している。同じ分光特性を有する緑の信号であるにも関わらず、ＧｒとＧｂで信号出力が異なる形状になる原因については後述する。一方で、赤や青の信号が、緑に対してピークの高さがずれているのは、被写体の分光特性の違いに主に起因している。Ｂ像のグラフでは、さらに、赤や青の信号の横軸方向の位置がずれている。これは、撮影レンズ３００の有する倍率色収差により、色毎に異なる位置に線像が結像していることを示している。

また、図１０Ｂでは、どの色においても、Ａ像の信号に対してＢ像の信号の出力は小さくなっている。これは、撮影レンズ３００を通過したＡ像とＢ像の光束で非対称にケラレが発生していることを示している。図７（ｂ）で説明した通り、撮影光束の入射角度に対応するＡ像信号とＢ像信号の入射角に対する受光感度分布の違いから、Ａ像の信号に対して、Ｂ像の信号の出力は小さくなっている。

さらに、図１０Ｂで、Ａ像とＢ像の色毎（ＲＧＢ）の強度比が異なる。Ａ像は信号のピークが、Ｇ、Ｒ、Ｂの順に小さくなるに対して、Ｂ像は、Ｒ、Ｇ、Ｂの順に小さくなる。このことは、周辺像高の画素への入射光束の色毎の感度分布が、Ａ像とＢ像で異なることを示している。Ａ像とＢ像の色毎（ＲＧＢ）の強度比についても、図７（ｂ）で説明した通り、Ａ像信号とＢ像信号の入射角に対応する受光感度分布のＲＧＢ比の違いから、差が生じている。

次に、図１０ＢのＢ像の２つの緑の信号（Ｇｒ，Ｇｂ）の出力の形状に差がある原因について、図１１を用いて説明する。本実施形態においては、Ｂ像のＧｒとＧｂの出力の差は、Ａ像とＢ像の信号強度比、撮影レンズ３００の倍率色収差、画素間のクロストークの異方性などの影響により生じる。詳細について、以下に説明する。

図１１（ａ）は、画素Ｇｒに対するクロストークの発生経路を示した図である。図１１（ｂ）は、画素Ｇｂに対するクロストークの発生経路を示した図である。画素間のクロストークは、本来双方向で考える必要があるが、以下ではＧｒとＧｂの差に着目し、Ｇｒ、Ｇｂの画素に混入するクロストーク量について説明する。また、同じ画素内でのＡ像とＢ像間のクロストークは像ずれ量を打ち消すように働き、やはり焦点検出誤差を生じさせる。しかし、Ｇｒ、Ｇｂの画素共に、Ａ像、Ｂ像間の光量比は略等しいため、クロストーク量の比も等しく、Ｂ像のＧｒとＧｂの差を生じさせる要因にはならない。そのため、説明を省略する。

まず、図１１（ａ）、図１１（ｂ）を用いて、Ａ像のＧｒとＧｂについて説明する。Ａ像のＧｒは、左側のＢ像のＲからクロストーク（ＣＴ＿ｈ１）を受け取る。但し、Ｂ像のＲの光量は、図１０Ｂに示した通りＡ像のＧｒに対して小さいため、クロストークによる出力変化は小さい。さらに、Ａ像のＧｒは、上下からＡ像のＢからのクロストーク（ＣＴ＿ｖ１）を受け取る。但し、Ａ像のＢの光量は、図１０Ｂに示した通りＡ像のＧｒに対して小さいため、クロストークによる出力変化は小さい。つまり、Ａ像のＧｒは、図１０Ｂに示されるような条件では、クロストークの影響をあまり受けない。

Ａ像のＧｂは、図１１（ｂ）に示した通り、左側のＢ像のＢからクロストーク（ＣＴ＿ｈ３）を受け取る。但し、Ｂ像のＢの光量は、図１０Ｂに示した通りＡ像のＧｂに対して小さいため、クロストークによる出力変化は小さい。さらに、Ａ像のＧｂは、上下からＡ像のＲからのクロストーク（ＣＴ＿ｖ３）を受け取る。Ａ像のＲの光量は、図１０Ｂに示した通りＡ像のＧｂに対して比較的大きい。但し、本実施形態の撮像素子１４の画素は、水平、垂直方向のクロストークの発生量に差があり、垂直方向の方がクロストーク量が少ない。そのため、Ａ像のＧｂは、図１０Ｂに示されるような条件では、クロストークの影響をあまり受けない。結果的に、Ａ像のＧｒとＧｂに、大きな差が生じない。

次に、図１１（ａ）、図１１（ｂ）を用いて、Ｂ像のＧｒとＧｂについて説明する。Ｂ像のＧｒは、右側のＡ像のＲからクロストーク（ＣＴ＿ｈ２）を受け取る。Ａ像のＲの光量は、図１０Ｂに示した通りＢ像のＧｒに対して大きく、クロストークによる出力変化は大きい。そのため、図１０ＢのＡ像のＲの画素位置（横軸）において、Ｂ像のＧｒはクロストークによる出力変化が生じる。さらに、Ｂ像のＧｒは、上下からＢ像のＢからのクロストーク（ＣＴ＿ｖ２）を受け取る。但し、Ｂ像のＢの光量は、図１０Ｂに示した通りＢ像のＧｒに対して小さいため、クロストークによる出力変化は小さい。つまり、Ｂ像のＧｒは、図１０Ｂに示されるような条件では、Ａ像のＲの影響を主に受けて、出力変化による重心位置変化が生じる。

Ｂ像のＧｂは、図１１（ｂ）に示したように、右側のＡ像のＢからクロストーク（ＣＴ＿ｈ４）を受け取る。但し、Ａ像のＢの光量は、図１０Ｂに示した通りＢ像のＧｂに対して小さいため、クロストークによる出力変化は小さい。さらに、Ｂ像のＧｂは、上下からＢ像のＲからのクロストーク（ＣＴ＿ｖ４）を受け取る。Ｂ像のＲの光量は、図１０Ｂに示した通り、Ｂ像のＧｂに対して比較的大きい。但し、本実施形態の撮像素子１４の画素は、水平、垂直方向のクロストークの発生量に差があり、垂直方向の方がクロストーク量が少ない。そのため、Ｂ像のＧｂは、図１０Ｂに示されるような条件では、クロストークの影響をあまり受けない。結果的に、Ｂ像のＧｒとＧｂは、主としてＡ像のＲからのクロストークにより、Ｂ像のＧｒの出力がＧｂより大きくなり、また重心位置が図１０Ｂにおいて左側にずれるように変化する。

このようなクロストークの影響により、デフォーカスしていないにもかかわらず、Ｂ像のＧｒは、Ｂ像のＧｂに対して線像強度分布の重心位置が、図１０Ｂで左側にずれる。焦点検出は、Ａ像とＢ像の像ずれ量（重心間隔）を算出することに相当するため、Ｇｒの重心位置誤差は、焦点検出誤差となってしまう。そこで、本実施形態では、信号の加算を行う際に、色毎の重み付けを行うことにより、焦点検出誤差の発生要因となりうる信号を排除し、高精度な焦点検出を実現する。

信号の加算方法について、詳細は後述するが、ここでその概略について説明する。

クロストークの影響は、上記で説明したように、クロストーク量が大きく且つクロストークを受けた画素の信号量が小さい場合に大きくなる。図１１（ａ）に示すように、Ｂ像のＧｒ画素（Ｂ−Ｇｒ）の信号と、Ａ像のＲ画素からＢ像のＧｒ画素へ漏れ込んだクロストーク量（ＣＴ＿ｈ２）の比率であるＣＴ＿ｈ２／Ｂ−Ｇｒを第１の比率とする。また、図１１（ｂ）に示すように、Ｂ像のＧｂ画素（Ｂ−Ｇｂ）の信号と、Ａ像のＢ画素からＢ像のＧｂ画素へ漏れ込んだクロストーク量（ＣＴ＿ｈ４）の比率であるＣＴ＿ｈ４／Ｂ−Ｇｂを第２の比率とする。これらの各比率が大きいほど、比率の分母に対応する画素は、クロストークに起因する出力変化で重心位置変化が大きくなる。第１の比率が第２の比率より大きい場合には、クロストークの影響がＢ像のＧｒ画素の方がＢ像のＧｂ画素より大きくなる。そして、Ｂ像のＧｂ画素の重心位置の方が、クロストークの無い本来の重心位置に近い。そのため、本実施形態では、Ｂ像のＧｂ画素の信号をＢ像のＧｒ画素の信号よりも重み付けを大きくして焦点検出演算を行う。これにより、クロストークによる重心位置変化を低減して、Ａ像とＢ像の像ずれ量（重心間隔）を精度よく算出することができる。なお、本実施形態では、Ｂ像のＧｒ画素とＧｂ画素に着目して説明したが、その他の異なる画素間でも同様である。なお、信号（Ｂ−Ｇｒ）や信号（Ｂ−Ｇｂ）などを出力するのは、Ｇｒのフォトダイオード（光電変換部）やＧｂのフォトダイオード（光電変換部）などであるが、これらのフォトダイオードを以下では説明の便宜上、「画素」と呼ぶことにする。

上述の説明からわかるとおり、本来同じ出力が得られるはずのＧｒとＧｂの画素から異なる出力が得られる要因として、下記のものが考えられる。
・被写体の分光特性（ＲＧＢ比）
・対のフォトダイオードの入射角に対する感度分布の角度依存、分光依存
・撮影レンズと焦点検出領域の像高
・撮影レンズで生じる倍率色収差
・画素間のクロストーク量（隣接方向毎）
これらの要因により、ＧｒとＧｂの画素から異なる出力が得られるため、一つ一つの要因の寄与度を求めたり、得られた焦点検出結果に対する検出誤差の影響度合いを要因ごとに求めたりすることは困難である。また、被写体の分光特性も寄与するため、事前に撮像装置がクロストーク量や焦点検出誤差を補正値として記憶しておくことも困難である。

そこで、本実施形態では、結果的に生じるＧｒとＧｂの出力の差を用いて、焦点検出結果の信頼性判定を行う。これにより、製造誤差などにより設計値とは異なるクロストーク量や焦点検出誤差が生じた場合にも、高精度な信頼性判定を行うことができる。信頼性判定方法の詳細については、後述するが、本実施形態においては、緑色の光を受光するＢ像のＧｒと略等しい分光の光を受光するＢ像のＧｂを用いて、後述する信頼性判定を行う。

（焦点検出動作）
次に、カメラ１００における焦点調節動作について、図１２に示すフローチャートを用いて説明する。なお、図１２に示す処理は、メインミラー１３０とサブミラー１３１が光路外へ退避（ミラーアップ）した状態、より具体的にはライブビュー表示時（表示用動画撮影時）もしくは動画記録時（記録用動画撮影時）において実施される処理である。なお、ここでは撮像素子１４の出力を用いた位相差検出方式の自動焦点検出を行うものとして説明するが、上述の通り、コントラスト検出方式の自動焦点検出を行うこともできる。

Ｓ７０１でシステム制御部５０は、スイッチＳＷ１（６２）や操作部７０などの操作により、焦点検出開始指示が入力されたか否かを判別し、入力されていると判別された場合に処理をＳ７０２へ進め、入力されていると判別されなければ待機する。なお、システム制御部５０は、焦点検出開始指示の入力に限らず、ライブビュー表示や動画記録の開始をトリガとして処理をＳ７０２に進めてもよい。

Ｓ７０２でシステム制御部５０は、撮影レンズ３００のレンズ枠情報やフォーカスレンズ位置などの各種レンズ情報を、インターフェース部３８、３３８およびコネクタ１２２、３２２を介してレンズシステム制御部３４６から取得する。

Ｓ７０３でシステム制御部５０は、逐次読み出されているフレーム画像データの、焦点検出領域内の画素データから、光電変換部の信号を瞳分割方向に連結してＡＦ用の像信号対を生成するように画像処理部２０に指示する。画像処理部２０は、ＡＦ用の像信号対を生成し、ＡＦ部４２へ供給する。ＡＦ部４２では、ＡＦ用の像信号対に対して信号レベルの差を補正する処理などを行う。また、ＡＦ部４２は、ＡＦ用の像信号のピーク値（最大値）やボトム値（最小値）を検出する。画像処理部２０は、ＡＦ用の像信号対として、画素のカラーフィルタ種別（Ｒ,Ｇｒ,Ｇｂ,Ｂ）ごとに処理を行い、像信号対を生成する。

Ｓ７０４でＡＦ部４２は、Ａ像もしくはＢ像のＧｒ、Ｇｂの信号を用いた信頼性判定処理を行う。上述のとおり、種々の理由から生じたクロストークが焦点検出に影響を与えた場合の信頼性を、Ａ像もしくはＢ像のＧｒとＧｂの信号が、クロストークがない場合には等しい信号波形となることを利用して、判定する。この処理の詳細は、後述する。ＡＦ部４２は、信頼性判定結果をシステム制御部５０に出力する。

Ｓ７０５でシステム制御部５０は、Ｓ７０４でＡＦ部４２から得られた信頼性判定結果に基づき、焦点検出信号の信頼性を判定する。信頼性が高いと判定された場合には、Ｓ７０６に進み、画像処理部２０は、画素のカラーフィルタ種別（Ｒ,Ｇｒ,Ｇｂ,Ｂ）ごとで構成されているＡＦ用の像信号対を、フィルタ処理や加算処理を行うことで、色毎の特性を有さないＹ信号（輝度信号）に加工する。これにより、ＡＦ用の像信号対の情報量を減らし、以後の処理の演算量を低減することができる。本実施形態では、焦点検出領域６０１、６０２に４行２Ｎ列の画素が配置されているが、例えば水平、垂直方向に２画素ずつ加算し、２行Ｎ列の信号に圧縮する。

一方で、Ｓ７０５で焦点検出信号の信頼性が低いと判定された場合には、Ｓ７０７に進む。画像処理部２０は、画素のカラーフィルタ種別（Ｒ,Ｇｒ,Ｇｂ,Ｂ）ごとで構成されているＡＦ用の像信号対を、色毎に重みづけ処理を行った後、フィルタ処理や加算処理を行うことで、色毎の特性を有さない信号（加算信号）に加工する。例えば、本実施形態の構成では、Ｂ像のＧｒにクロストークの影響が出やすいため、焦点検出信号に占めるＧｒの割合が減るように、重み付けして、カラーフィルタ種別（Ｒ,Ｇｒ,Ｇｂ,Ｂ）ごとの信号を加算することが考えられる。重み付けは、Ｇｒを使用せずに（Ｇｒの重みをゼロにし）、焦点検出信号を生成することも含む。本実施形態では、焦点検出領域６０１、６０２には、４行２Ｎ列の画素が配置されているが、色毎に重み付けを行いながら、Ｓ７０５と同様に２行Ｎ列の信号に圧縮する。

色毎の重み付けは以下の情報によって変更する。
・撮影レンズの射出瞳距離と撮像素子の設定瞳距離の絶対値差と撮像素子の入射角に対する受光感度分布
・撮影レンズの倍率色収差
・被写体の分光特性（ＲＧＢ比）
・撮像素子の構造（遮光壁の有無、画素間または配線層の構造など）
以下、それぞれについて説明する。

（結像光学系の射出瞳距離と撮像素子の設定瞳距離の絶対値差と撮像素子の入射角に対する受光感度分布)
図７を用いて説明したように、撮影レンズ３００の射出瞳距離と撮像素子１４の設定瞳距離との差の絶対値が大きいほど、また像高が高くなるほど、フォトダイオード２０１ａ、２０１ｂは、図６に示した入射角に対する受光感度分布において、原点から離れた入射角度の光束を受光することになる。そのため、焦点検出に用いる対の信号におけるＲＧＢ信号強度の差は大きくなる。つまり、前述のＧｒとＧｂの画素から異なる出力が生じやすい。以上から、撮影レンズの射出瞳距離と撮像素子の設定瞳距離の絶対値差が大きい、または像高が高いほど、クロストークの影響度が小さい画素（例えばＧｂ）の重み付けを大きくすることにより、クロストーク量の影響を低減し、焦点検出誤差を低減することができる。

（結像光学系の倍率色収差)
図１０を用いて説明したように、撮影レンズ３００の有する倍率色収差によって、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号の重心の画素位置がずれることにより、色毎に異なる位置に線像が結像する。そのため、例えば撮影レンズ３００の倍率色収差情報としてＲとＧ間とＢとＧ間の重心差の情報をカメラ１００または撮影レンズ３００が保持し、ＲとＧ間とＢとＧ間の線像の重心差の量に応じて色毎の重み付けを変更するとよい。例えばＧの信号量が大きく、ＲとＧ間の重心差が大きく、ＢとＧ間の重心差が小さい場合にはＧｒとＢの重み付けを大きくするとクロストーク量を低減し、焦点検出誤差を低減することができる。

（被写体の分光特性(ＲＧＢ比)）
被写体の分光特性に応じてクロストークの影響度は異なる。例えば緑の分光特性のみを有する被写体の場合には、Ｇｒ(Ｇｂ)の画素が最も被写体光を受光し、その他の画素の信号強度はＧｒ（Ｇｂ）からのクロストークを受けるため焦点検出用信号には用いない方がよい。このように被写体の分光特性から被写体光を受光する強度に応じて、色毎の重み付けを変更することによりクロストーク量を低減し、焦点検出誤差を低減することができる。被写体の分光特性は、焦点検出領域のＲ、Ｇ、Ｂ比を画像処理部２０で予め計算し、その計算結果に応じて焦点検出用信号の色毎の重み付けを行う。また、被写体の明るさに応じて重み付けを変更してもよい。

（撮像素子の構造）
前述したように、撮像素子の画素ピッチや画素構造によって、画素の配線層の異方性や画素間の信号電荷に対する障壁の高さが異なる。これらの構造により、発生するクロストーク量が異なるため、クロストークが生じやすい構造（例えば画素間の信号電荷に対する障壁が低い）の場合には、色毎（Ｒ、Ｇｒ、Ｇｂ、Ｂ）による重み付け（クロストークの影響が小さい画素の重みを大きくする）を行う。また、クロストークが生じにくい構造（例えば画素間の信号電荷に対する障壁が大きい）の場合には、色毎の重み付けを小さくする。これらにより、焦点検出誤差を低減することができる。

また、重み付けは、ＧｒとＧｂに限らず、他の色を含めて行ってもよい。上述した倍率色収差の量などに応じて、赤（Ｒ）や青（Ｂ）の出力に対しても重み付けを行えばよい。例えば、倍率色収差によりＲとＧの結像位置のずれが大きい場合には、図１２のＳ７０７で、赤の重み付けがＳ７０６で行われる処理に対して、小さくなるようにすればよい。

図１２の説明に戻って、Ｓ７０８でＡＦ部４２は、Ａ像とＢ像について相関量ＣＯＲ（ｋ）を算出し、相関量ＣＯＲ（ｋ）を最小にするシフト量ｋを像のずれ量（位相差）として検出する。さらに、ＡＦ部４２は検出したずれ量をデフォーカス量に変換する。この処理の詳細は後述する。ＡＦ部４２は、デフォーカス量をシステム制御部５０に出力する。

Ｓ７０９でシステム制御部５０は、Ｓ７０８でＡＦ部４２から得られたデフォーカス量に基づき、撮影レンズ３００のフォーカスレンズ駆動量および駆動方向を決定する。

Ｓ７１０でシステム制御部５０は、インターフェース部３８、３３８、コネクタ１２２、３２２を介して、フォーカスレンズの駆動量および駆動方向の情報を撮影レンズ３００のレンズシステム制御部３４６に送信する。レンズシステム制御部３４６は、フォーカスレンズの駆動量および駆動方向の情報をフォーカス制御部３４２に送信する。フォーカス制御部３４２は、受信したレンズ駆動量と駆動方向の情報に基づいて、フォーカスレンズを駆動する。これにより、撮影レンズ３００の焦点調節が行われる。なお、図１２の動作は次フレーム以降の動画データが読み出された際にも継続的に実施されてよい。フォーカスレンズの駆動量および駆動方向の情報は、システム制御部５０からフォーカス制御部３４２に直接送信されてもよい。

（Ｇ画素による信頼性判定のサブルーチン）
次に、図１２のＳ７０４で行われるＧ画素による信頼性判定のサブルーチンについて、図１３のフローチャートを用いて説明する。Ｓ７０４１で、ＡＦ部４２は、信頼性判定を行う信号の選択を行う。上述のとおり、クロストークは、ビネッティングにより光量の小さい信号に対して影響が大きいため、光量の小さい信号を選択する。図１０Ｂで説明した状況では、Ｂ像を選択する。

Ｓ７０４１以降で、ＡＦ部４２は、Ｂ像のＧｒとＢ像のＧｂの信号の比較を行う。図１４を用いて、以降の比較処理の内容について説明する。図１４は、図１０ＢのＢ像のＧｒとＧｂの信号を抜出し、分かりやすくするために縦軸方向に伸長したものである。

ＡＦ部４２は、Ｓ７０４２で、２つの信号のＰｅａｋとＢｏｔｔｏｍの差を比較する。図１４に示した通り、２つの信号のＰｅａｋであるＰ−Ｂ＿ＧｒとＰ−Ｂ＿Ｇｂを比較する。所定の閾値以上の差がある場合には、クロストークの影響が大きく、全信号を用いた焦点検出の信頼性は低いと判定する。全信号を用いた焦点検出とは、Ｓ７０６で行うＹ信号を用いた焦点検出のことである。本実施形態では、Ｙ信号を用いた焦点検出の信頼性が低いと判定される場合には、上述のＳ７０７で説明した色毎に重み付け処理を行った信号を用いた焦点検出を行う。

ＡＦ部４２は、Ｓ７０４３で、ＧｒとＧｂのコントラスト情報の比較を行う。コントラスト情報としては、隣接信号の差分の絶対値和や、隣接信号の差分の２乗和などを用いればよい。これにより、信号の振幅の強度差を検出することができる。Ｓ７０４３で、ＧｒとＧｂのコントラスト情報に所定の閾値以上の差があることが判明した場合には、クロストークの影響が大きい懸念があるため、全信号を用いた焦点検出の信頼性が低いと判定する。

ＡＦ部４２は、Ｓ７０４４で、Ｂ像のＧｒとＧｂの像ずれ量を検出する。後述する焦点検出の際に行う像ずれ量検出方法を流用し、像ずれ量を算出する。Ｓ７０４２やＳ７０４３での判定は、クロストークの光量（振幅）に着目した信頼性判定となるが、Ｓ７０４４では、クロストークによる信号の重心位置のずれ（位相の差）を検出し、信頼性を判定する。像ずれ量の算出方法は、後述の焦点検出方法の説明の際に説明する。Ｓ７０４４では、Ｂ像のＧｒとＧｂの像ずれ量が所定の閾値以上の場合に、全信号を用いた焦点検出の信頼性が低いと判定する。

ＡＦ部４２は、Ｓ７０４５で、測光部４６の出力として被写体分光情報を取得し、被写体分光によるクロストークの影響を見積もる。上述のとおり、クロストークによる焦点検出誤差は、分光特性により様々な影響を受ける。一方で、被写体から受光する光束の分光が、単一波長に近ければ近いほど、影響は小さくなる。単一波長では、倍率色収差は発生せず、フォトダイオードの入射角に対する感度分布は分光依存が発生せず、カラーフィルタを通過した後に出力が得られる画素が限定されるためである。Ｓ７０４５では、被写体分光が、単一波長に近いか否かを判定し、クロストークの影響度合いを判定する。

また、Ｓ７０４５では、被写体分光が単一波長でない場合にも、クロストークの影響度合いを更に判定する。Ｓ７０４２からＳ７０４４では、Ｂ像のＧｒとＧｂを用いてクロストークの影響を判定している。しかしながら、被写体の分光が、赤や青の成分が多く、緑が少ない場合には、Ｂ像のＧｒとＧｂに差があったとしても焦点検出結果に与える影響は小さい。そこで、Ｓ７０４５では、測光部４６の出力を用いて、全光量に対する緑色の出力の比を算出し、緑の占める割合が所定の閾値以上である場合に、クロストークの影響が大きいと判定し、全信号を用いた焦点検出の信頼性は低いと判定する。

ＡＦ部４２は、Ｓ７０４６で、Ｓ７０４２からＳ７０４５で行った信頼性判定結果から、総合的に、全信号を用いた焦点検出の信頼性を判定する。Ｓ７０４２からＳ７０４４までの判定結果は、全てにおいて信頼性が高いと判定された場合のみ信頼性が高いと判定すればよい。Ｓ７０４５で得られた結果を用いて、Ｓ７０４２からＳ７０４４で、信頼性が低いと判定された場合にも、影響度合いが小さいと考えられる場合は、全信号を用いた焦点検出の信頼性が高いと判定すればよい。

ＡＦ部４２は、Ｓ７０４６を終えると、Ｇ画素による信頼性判定のサブルーチンを終了し、図１２のＳ７０５に進む。

本実施形態において、クロストークの量は、上述のとおり、以下の要素によって異なる。
・被写体の分光特性（ＲＧＢ比）
・対のフォトダイオードの入射角に対する感度分布の角度依存、分光依存
・撮影光学系と焦点検出領域の像高
・撮影光学系で生じる倍率色収差
・画素間のクロストーク量（隣接方向毎）
そのため、焦点検出の際に生じる誤差の量も、上記の要因の程度に影響される。そのため、Ｇ画素による信頼性判定の際に用いる各判定の閾値は、上述の要因を鑑みて変更すればよい。例えば、像高が高いほど、倍率色収差量が多いほど、クロストーク量が多いほど、厳しく信頼性判定が行えるよう閾値の設定を行えばよい。なお、本実施形態では一つの画素内に２つの光電変換部を水平方向に備える例で説明したが、光電変換部の配置方向や数によっても画素間のクロストーク量は異なる。そのため、より正確に判定するために、これらの要素を加味して信頼性判定を行うようにしてもよい。

次に、図１２のＳ７０８でＡＦ部４２が行うデフォーカス量の算出処理のサブルーチンについて、図１５に示すフローチャートを用いてさらに説明する。Ｓ７０８１でＡＦ部４２は、焦点検出領域内に複数ある行から演算対象となる行を選択し、相関演算を行う。本実施形態では、Ｓ７０６やＳ７０７で信号生成された２行Ｎ列の信号の１行目を選択する。

位相差検出方式の焦点検出では、同じ被写体に対応した部分を有する１対の像を生成し、１対の像の位相差（ずれ量）を検出し、位相差をデフォーカスの量および方向に変換する。所定方向（例えば水平方向）に存在する複数の画素２００のフォトダイオード２０１ａから得られる信号に基づく信号列（Ａ像）と、フォトダイオード２０１ｂから得られる信号に基づく信号列（Ｂ像）とは、同じ被写体を違う視点からみた像に相当する。したがって、Ａ像とＢ像の位相差を検出し、デフォーカスの量および方向に変換することで、位相差検出方式の焦点検出が実現できる。

そして、所定方向におけるＡ像とＢ像との相対距離（シフト量）を変更しながら、個々の位置においてＡ像とＢ像との相関を表す値（相関量）を算出し、相関が最も高くなるシフト量を、Ａ像とＢ像との位相差として検出することができる。相関量は例えば、対応信号値の差分累積値であってもよいが、他の値であってもよい。

例えば、Ａ像としてＡ（１，１）〜Ａ（１，Ｎ）を、Ｂ像としてＢ（１，１）〜Ｂ（１，Ｎ）を生成し、シフト量ｋを画素単位で−ｋｍａｘ≦ｋ≦ｋｍａｘの範囲で変化させるとすると、個々の相対位置における相関量ＣＯＲ（ｋ）は以下の様に算出できる。なお、ここで、Ａ（Ｍ，Ｎ）、Ｂ（Ｍ，Ｎ）は、Ｍ行Ｎ列目のＡ画素の信号とＢ画素の信号をそれぞれ表わす。

…（１）
Ｓ７０８１では、選択された行のＡ像とＢ像の信号から、相関量ＣＯＲを算出する。

Ｓ７０８２では、相関量の行加算の判定を行う。焦点検出領域内に、複数の行が存在し、相関演算を行う場合に、相関量の加算を行う。但し、相関演算を行う行によっては、飽和などにより信頼性の高い焦点検出結果が得られない行も存在する。そのため、Ｓ７０８２で得られた相関量を、事前に加算されている相関量に対して加算するか否かについて判定を行う。Ｓ７０８１で演算した相関量の信頼性が高い場合には、加算を行うよう判定する。

Ｓ７０８３では、Ｓ７０８２で行った判定結果に基づき、加算を行う場合にはＳ７０８４に進み、事前に得ていた相関量の加算結果に対して、Ｓ７０８１で得られた相関量を加算する。一方で、Ｓ７０８３で加算しないと判定された場合には、Ｓ７０８４をスキップする。

次に、Ｓ７０８５では全行について相関演算を行ったか否かを判定する。全行終えていない場合には、Ｓ７０８１に戻り、処理を続行する。焦点検出領域内の全行について、相関演算を終えた場合には、Ｓ７０８６に進み、デフォーカス量の算出を行う。まず、加算を終えて得られた、ＣＯＲ（ｋ）を最小にするシフト量ｋの値を求める。ここで、式（１）で算出するシフト量ｋは整数であるが、分解能を向上させるため、最終的に求めるシフト量ｋは実数とする。例えば式（１）で得られる最小値がＣＯＲ（ａ）の場合、ＣＯＲ（ａ−１）、ＣＯＲ（ａ）、ＣＯＲ（ａ＋１）からの補間演算などにより、この区間での相関量を最小にする実数値のシフト量を求める。

本実施形態では、相関量ＣＯＲの差分値の符号が変化するシフト量ｄｋを、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋとして算出する。

まず、ＡＦ部４２は、相関量の差分値ＤＣＯＲを以下の式（２）に従って算出する。

ＤＣＯＲ（ｋ）＝ＣＯＲ１（ｋ）−ＣＯＲ１（ｋ−１） …（２）
そして、ＡＦ部４２は、相関量の差分値ＤＣＯＲを用いて、差分量の符号が変化するシフト量ｄｋを求める。差分量の符号が変化する直前のｋの値をｋ１、符号が変化したｋの値をｋ２（ｋ２＝ｋ１＋１）とすると、ＡＦ部４２はシフト量ｄｋを、以下の式（３）に従って算出する。

ｄｋ＝ｋ１＋｜ＤＣＯＲ（ｋ１）｜／｜ＤＣＯＲ（ｋ１）−ＤＣＯＲ（ｋ２）｜
…（３）
以上のようにしてＡＦ部４２は、Ａ像とＢ像の相関量が最大となるシフト量ｄｋをサブピクセル単位で算出する。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。

引き続き、Ｓ７０８６で得られたシフト量ｄｋに対して、所定のデフォーカス換算係数を乗じて、デフォーカス量Ｄｅｆに変換する。ここで、デフォーカス換算係数は、撮影時の光学条件（絞り、射出瞳距離、レンズ枠情報など）や、焦点検出領域の像高、Ａ像、Ｂ像を構成する信号のサンプリングピッチなどから求めることができる。

Ｓ７０８６でデフォーカス量の算出を終えると、デフォーカス量の算出処理のサブルーチンを終了し、図１２のＳ７０９に進む。

以上のように、本実施形態によれば、本来撮影レンズを通過した被写体像に対してサンプリングを行い等しい出力を得られることが想定される２つの信号（Ｇｒ、Ｇｂ）を用いて、信号の特徴量の差を検出することにより、信頼性判定を行った。このような構成により、クロストークの影響やクロストーク補正などで信号に誤差が含まれる場合でも、検出精度に関して信頼性の高い焦点検出結果を得ることができる。

さらに、信頼性判定結果に基づき、焦点検出処理を行う際に用いる信号の選択を、信号圧縮の際の色毎の重み付け加算により実現した。これにより、クロストークの影響がある場合のみ、影響のある信号を排除し、精度の高い焦点検出結果を得ることができる。また、クロストークの影響がない場合には、全ての信号を使用することにより、ＳＮのよい焦点検出結果を得ることができる。

本実施形態では、信頼性判定結果に基づき、信号圧縮の際の色毎の重み付け加算を行ったが、クロストークの影響を排除した焦点検出結果を得る方法はこれに限らない。例えば、焦点検出結果は、色毎（Ｇｒ，Ｇｂ，Ｒ，Ｂ）に算出した後、信頼性判定結果に基づき、焦点検出結果の重み付け平均を行ってもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１４：撮像素子、２０：画像処理部、５０：システム制御部、１００：カメラ、３００：撮影レンズ、３０６：レンズマウント、３４２：フォーカス制御部、３４６：レンズシステム制御部

Claims (14)

1. ２次元に配列された複数の画素を有し、それぞれの画素が撮影光学系の射出瞳の第１の瞳領域を通過する光束を受光する第１の光電変換部と、前記撮影光学系の射出瞳の前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の光電変換部とを有する撮像素子と、
   前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算して得られた第１の加算信号を瞳分割方向に連結して第１の像信号を生成するとともに、前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算して得られた第２の加算信号を瞳分割方向に連結して第２の像信号を生成する生成手段と、
   前記第１の像信号と前記第２の像信号の位相差を検出する焦点検出手段と、を備え、
   前記生成手段は、前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算する場合、あるいは前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算する場合に、周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを小さくして加算することを特徴とする撮像装置。
2. 前記焦点検出手段の検出結果の信頼性を判定する判定手段をさらに備え、前記判定手段により信頼性が低いと判定された場合に、前記生成手段は、前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算する場合、あるいは前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算する場合に、周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを小さくして加算することを特徴とすることを特徴とする請求項１に記載の撮像装置。
3. 前記焦点検出手段の検出結果の信頼性を判定する判定手段をさらに備え、前記判定手段により信頼性が高いと判定された場合に、前記生成手段は、前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算する場合、あるいは前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算する場合に、周囲の光電変換部の信号に重みを付けずに加算することを特徴とする請求項１に記載の撮像装置。
4. 前記複数の画素のそれぞれは、赤または緑または青のいずれかの色のカラーフィルタを有し、前記生成手段は、それぞれ異なる色のカラーフィルタに対応する前記第１または第２の光電変換部の信号を加算して輝度信号である前記第１または第２の加算信号を生成することを特徴とする請求項３に記載の撮像装置。
5. 前記複数の画素のそれぞれは、赤または緑または青のいずれかの色のカラーフィルタを有し、前記判定手段は、緑のカラーフィルタに対応する光電変換部の信号を用いて前記信頼性を判定することを特徴とする請求項２または３に記載の撮像装置。
6. 前記カラーフィルタは、赤と緑が交互に並ぶ行と、緑と青が交互に並ぶ行とが交互に配列されており、前記判定手段は、赤と緑が交互に並ぶ行の緑のカラーフィルタに対応する光電変換部の信号と、緑と青が交互に並ぶ行の緑のカラーフィルタに対応する光電変換部の信号とを比較することにより前記信頼性を判定することを特徴とする請求項５に記載の撮像装置。
7. 前記判定手段は、被写体の分光特性に基づいて、前記信頼性を判定することを特徴とする請求項５に記載の撮像装置。
8. 前記生成手段は、前記撮影光学系の射出瞳距離と前記撮像素子の設定瞳距離の差に応じて、前記周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを変更することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記生成手段は、前記画素の前記撮像素子の中心からの距離である像高に応じて、前記周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを変更することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記生成手段は、前記撮影光学系の収差情報に応じて、前記周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを変更することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記生成手段は、焦点検出領域の信号の分光情報に応じて、前記周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを変更することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. ２次元に配列された複数の画素を有し、それぞれの画素が撮影光学系の射出瞳の第１の瞳領域を通過する光束を受光する第１の光電変換部と、前記撮影光学系の射出瞳の前記第１の瞳領域とは異なる第２の瞳領域を通過する光束を受光する第２の光電変換部とを有する撮像素子を備える撮像装置を制御する方法であって、
    前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算して得られた第１の加算信号を瞳分割方向に連結して第１の像信号を生成するとともに、前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算して得られた第２の加算信号を瞳分割方向に連結して第２の像信号を生成する生成工程と、
    前記第１の像信号と前記第２の像信号の位相差を検出する焦点検出工程と、を有し、
    前記生成工程では、前記第１の光電変換部の信号を、周囲の他の前記第１の光電変換部の信号と加算する場合、あるいは前記第２の光電変換部の信号を、周囲の他の前記第２の光電変換部の信号と加算する場合に、周囲の光電変換部からのクロストークの影響の大きい光電変換部の信号の重み付けを小さくして加算することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images