JP6405243B2 - 焦点検出装置及びその制御方法 - Google Patents

Description

本発明は、焦点検出装置およびその制御方法に関し、特には撮像素子の出力に基づいて位相差検出方式の焦点検出を行う焦点検出装置およびその制御方法に関する。

２次元配置された画素の各々にマイクロレンズが形成された撮像素子を用い、瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。この装置では、各画素の光電変換部が、撮影レンズの射出瞳の異なる領域を通過した光束をマイクロレンズを介して受光する、２つの領域に分割されている。分割領域ごとに複数の画素から生成した１対の出力信号に対して相関演算を行って１対の出力信号の位相差（ずれ量）を算出し、位相差からデフォーカス量を算出することができる。

また、特許文献１の図２４，図２５や特許文献２には、一部の画素を、瞳分割方式の焦点検出を行うための焦点検出用画素とした撮像素子が開示されている。焦点検出画素の出力を通常の画素の出力として用いるには補正が必要だが、各画素の光電変換部を分割する構成よりも焦点検出信号として読みだす信号が少ないため、撮像素子の製造コストや信号処理の演算コストを抑えることができる。

特開２００８−５２００９号公報 特許３５９２１４７号公報

焦点検出用画素を用いる構成では、撮影レンズの射出瞳の異なる領域を通過した光束をマイクロレンズを介して受光する１対の光電変換部が、互いに異なる画素に配置されている。つまり、位相差を検出するための１対の出力信号（Ａ像、Ｂ像）の生成に用いられる画素群の位置がＡ像とＢ像とで異なるため、被写体像のパターンによってはＡ像とＢ像の類似度が低くなる場合があり、そのような場合には、焦点検出の精度が低下する。

また、焦点検出用画素の配置間隔が広い場合には、被写体光学像の高周波帯域の周波数成分を取得できない場合がある。そのため、Ａ像とＢ像それぞれに異なる折り返しノイズが発生し、焦点検出誤差が発生してしまう。

また、各画素に複数の光電変換部を設ける構成では、各光電変換部からの読み出しに加え、通常の画像信号を生成するための加算が必要となり、読み出し処理や演算処理の負荷が大きくなる。そのため、一方の光電変換部の出力の読み出しと、両方の光電変換部の出力を加算読み出しとを行い、他方の光電変換部の出力は減算によって生成することで、負荷の軽減を図ることが考えられる。しかし、減算によって誤差が発生するため、位相差検出精度が低下する懸念がある。

本発明はこのような従来技術の課題の少なくとも１つを改善することを目的とする。具体的には、本発明は、撮像素子の出力を用いた位相差検出方式の焦点検出の精度を向上させることが可能な焦点検出装置およびその制御方法を提供することを目的とする。

上述の目的は、撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を検出する第１の算出手段と、射出瞳の一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を検出する第２の算出手段と、第１の位相差および第２の位相差の和を用いて、撮影光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有することを特徴とする焦点検出装置によって達成される。

このような構成により、本発明によれば、撮像素子の出力を用いた位相差検出方式の焦点検出の精度を向上させることが可能な焦点検出装置およびその制御方法を提供することができる。

実施形態に係る焦点調節装置を備える撮像装置の一例としてのカメラシステムの機能構成例を示すブロック図 第１の実施形態における撮像素子の構成例を示す図。 第１の実施形態における光電変換領域と射出瞳との関係を示す図 実施形態における、焦点検出領域とＡＦ用信号に用いられる画素の関係例を示す図 実施形態における焦点調節動作を示すフローチャート 第１の実施形態におけるデフォーカス量の算出方法を示すフローチャート 第２の実施形態における撮像素子の構成例を示す図。 第２の実施形態における光電変換領域と射出瞳との関係を示す図 第３の実施形態におけるデフォーカス量の算出方法を示すフローチャート 第１の実施形態の変形例に係る撮像素子の構成例を示す図

●（第１の実施形態）
以下、本発明の例示的な実施形態を添付図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る焦点検出装置を備える撮像装置の一例としての、撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図１において、カメラシステムはカメラ１００と、交換可能な撮影レンズ３００とから構成される。

撮影レンズ３００を通過した光束は、レンズマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体光学像を観察しながら撮影できる。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。

メインミラー１３０の一部は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー１３１で下方へ反射されて焦点検出装置１０３へ入射する。焦点検出装置１０３は、２次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、１対の像信号をＡＦ部（オートフォーカス部）４２に出力する。ＡＦ部４２では、１対の像信号に対して位相差検出演算を行い、撮影レンズ３００のデフォーカス量および方向を求める。この演算結果に基づき、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２（後述）に対して、焦点調節処理などの制御を行う。本実施形態では、焦点検出結果の補正もＡＦ部４２で行う。

撮影レンズ３００の焦点調節処理が終了して静止画撮影を行う場合や、電子ビューファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を光路外に退避させる。そうすると、撮影レンズ３００を通過してカメラ１００に入射する光束は、露光量を制御するためのシャッター１２を介して、撮像素子１４に入射可能になる。撮像素子１４による撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示する様な位置に戻る。

撮像素子１４はＣＣＤまたはＣＭＯＳイメージセンサであり、複数の画素が２次元的に配置された構成を有し、被写体光学像を画素ごとに光電変換して電気信号を出力する。撮像素子１４にて光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８はメモリ制御部２２及びシステム制御部５０により制御される。画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。

本実施形態に係る撮像素子１４は一部の画素が焦点検出用画素として構成されており、クイックリターン機構によりメインミラー１３０とサブミラー１３１が光路外に退避した状態においても位相差検出方式の焦点検出を可能にしている。撮像素子１４で得られた画像データのうち、焦点検出用信号の生成に用いられる画素のデータは、画像処理部２０で焦点検出用データに変換される。その後、焦点検出用データはシステム制御部５０を介してＡＦ部４２へ送られ、ＡＦ部４２は焦点検出用データに基づいて撮影レンズ３００の焦点調節を行う。

なお、撮像素子１４で撮影した画像データから画像処理部２０でコントラスト評価値を演算し、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２に対して焦点合わせを行うコントラスト方式のＡＦも可能である。このように、本実施形態のカメラ１００は、ライブビュー表示時や動画撮影時のようにメインミラー１３０とサブミラー１３１が光路外に退避していても、撮像素子１４で得られる画像データから位相差検出方式ＡＦとコントラスト方式ＡＦの両方が可能である。また、本実施形態のカメラ１００は、メインミラー１３０とサブミラー１３１が光路内にある通常の静止画撮影では、焦点検出装置１０３による位相差検出方式ＡＦが可能である。従って、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点調節が可能である。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理部２０およびメモリ制御部２２を介して、あるいはメモリ制御部２２のみを介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して液晶モニタ等から構成される画像表示部２８に表示される。撮像素子１４で撮影した動画像を画像表示部２８に逐次表示することで、電子ファインダ機能（ライブビュー表示）を実現できる。画像表示部２８は、システム制御部５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減できる。

また、メモリ３０は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用できる。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き戻す。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

測光部４６は、自動露出制御（ＡＥ）処理を行う。撮影レンズ３００を通過した光束を、レンズマウント１０６、メインミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部４６は露出条件を決定することができる。また、測光部４６は、フラッシュ４８と連携することで調光処理機能も有する。なお、画像処理部２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御部５０が、シャッター制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。表示部５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部５４はカメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４、６６、６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアル６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１である６２は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２である６４は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体２００及び２１０は、メモリカードやハードディスク等である。記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２，２１２、カメラ１００とのインターフェース２０４，２１４、カメラ１００と接続を行うコネクタ２０６，２１６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、レンズマウント３０６をカメラ１００のレンズマウント１０６に係合させることによりにカメラ１００と機械的並びに電気的に結合される。電気的な結合はレンズマウント１０６及びレンズマウント３０６に設けられたコネクタ１２２及びコネクタ３２２によって実現される。レンズ３１１には撮影レンズ３００の合焦距離を調節するためのフォーカスレンズが含まれ、フォーカス制御部３４２はフォーカスレンズを光軸に沿って駆動することで撮影レンズ３００の焦点調節を行う。絞り３１２はカメラ１００に入射する被写体光の量と角度を調節する。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

ズーム制御部３４０はレンズ３１１の変倍レンズを駆動し、撮影レンズ３００の焦点距離（画角）を調整する。撮影レンズ３００が単焦点レンズであればズーム制御部３４０は存在しない。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。

レンズシステム制御部３４６は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ３００全体の動作を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。

本実施形態においては、撮影レンズ３００の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズを通過する光束を決定する枠開口の半径の情報と、撮像素子１４から枠開口までの距離の情報である。絞り３１２は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ３１１のフォーカス位置やズーム位置によって異なるため、レンズ枠情報はレンズ３１１のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ１００が、焦点検出装置を用いて焦点検出を行う際には、レンズ３１１のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ１００にコネクタ３２２を通じて送られる。
以上が、カメラ１００と撮影レンズ３００からなる本実施形態のカメラシステムの構成である。

次に、撮像素子１４を用いた位相差検出方式の焦点検出動作について説明する。
図２（ａ）は本実施形態における撮像素子１４の画素配列の例を模式的に示した図で、ＣＭＯＳイメージセンサに２次元配置された画素群のうち、縦（Ｙ軸方向）６行と横（Ｘ軸方向）８列の範囲を、撮影レンズ３００側から観察した状態を示している。撮像素子１４はベイヤー配列のカラーフィルタを有し、偶数行の画素には左から順に緑（Green）と赤（Red）のカラーフィルタが、奇数行の画素には左から順に青（Blue）と緑（Green）のカラーフィルタが、それぞれ交互に設けられる。ただし、本実施形態の撮像素子１４では、焦点検出用の光電変換部を有する画素については、本来の青のカラーフィルタに代えて緑のカラーフィルタを設けている。なお、以下の説明において、青（または緑、赤）のカラーフィルタが設けられた画素を青画素（または緑画素、赤画素）と呼ぶ場合がある。

また、各画素にはオンチップマイクロレンズ２１１ｉが設けられ、オンチップマイクロレンズ２１１ｉ内の矩形はそれぞれ光電変換部の受光領域を模式的に示している。焦点検出用の光電変換部３１１ａ，３１１ｂは、画素の中心から横方向に偏倚して配置されている。なお、以下の説明において、焦点検出用の光電変換部３１１ａ，３１１ｂが設けられた画素を、焦点検出用画素と呼ぶことがある。また、焦点検出用の光電変換部３１１ａ，３１１ｂは、本来の青（Blue）画素に代えて設けられた緑画素に配置されている。これは、青（Blue）画素の出力が、最も画質に対して影響度が低いためである。なお、本発明は撮像素子が有するカラーフィルタのパターンには依存しない。このように、本実施形態の撮像素子１４は、焦点検出用画素を含め、各画素に１つの光電変換部が設けられているため、１つの画素からは１つの光電変換信号が読み出される。

ここで、位相差検出方式の焦点検出に用いる像信号の生成について説明する。本実施形態では４種類の像信号を生成する。後述するように、本実施形態においては、マイクロレンズ２１１ｉと、偏倚位置が異なる光電変換部３１１ａ及び３１１ｂとを用いて撮影光学系（撮影レンズ３００）の射出瞳を分割する。そして、同一画素行（Ｘ軸方向）に配置された画素２１１の出力のうち、複数の光電変換部３１１ａの出力をつなぎ合わせて編成した像信号をＡ像、複数の光電変換部３１１ｂの出力をつなぎ合わせて編成した像信号をＢ像とする。図２（ａ）に示したように、Ａ像およびＢ像は、Ｘ軸方向に２画素ピッチで隣接する複数の青画素位置（の緑画素）から得ることができる。

また、光電変換部３１１ａと図２（ａ）中のＸ軸方向に隣接する複数の緑画素の光電変換部３１１ｃの出力をつなぎあわせて編成した像信号をＧＡ像とする。また、光電変換部３１１ｂと図２（ａ）中のＸ軸方向に隣接する複数の緑画素の光電変換部３１１ｃの出力をつなぎあわせて編成した像信号をＧＢ像とする。光電変換部３１１ａ，３１１ｂが、撮影光学系（撮影レンズ３００）の射出瞳の一部の領域を通過した光束に基づく信号を出力するのに対し、光電変換部３１１ｃは、撮影光学系（撮影レンズ３００）の射出瞳の全領域を通過した光束に基づく信号を出力する。このように、Ａ像，Ｂ像，ＧＡ像，ＧＢ像を同色画素群から得ることにより、精度の良い位相差検出が可能である。
なお、Ａ像，Ｂ像，ＧＡ像，ＧＢ像を生成するために用いる画素の位置及び数は、焦点検出領域に応じて定まるものとする。

このように生成したＡ像とＧＡ像の相対的な位相差、Ｂ像とＧＢ像の相対的な位相差を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。本実施形態では、位置が画素の中央から偏倚していない光電変換部３１１ｃを有する画素（以下の説明では撮影用画素と呼ぶことがある）からは通常の画素信号が得られる。撮影画像を生成する際には、焦点検出用画素に対応する位置の通常の画素信号を、周囲の画素の出力を用いて生成（補完）する。なお、通常の画素信号を生成する際には、対象となる焦点検出用画素の出力を用いてもよいし、用いなくてもよい。

以下、Ａ像（第１の像信号）の生成に用いられる光電変換部３１１ａが設けられた複数の画素を第１の画素群と呼び、Ｂ像（第２の像信号）の生成に用いられる光電変換部３１１ｂが設けられた複数の画素を第２の画素群と呼ぶ。また、ＧＡ像（第３の像信号）の生成に用いられる、光電変換部３１１ｃが設けられた複数の画素を第３の画素群と呼び、ＧＢ像（第４の像信号）の生成に用いられる、光電変換部３１１ｃが設けられた複数の画素を第４の画素群と呼ぶ。

なお、本実施形態では第３の画素群および第４の画素群を第１の画素群および第２の画素群にＸ軸方向で隣接する画素群としている。しかし、第３の画素群および第４の画素群を第１の画素群および第２の画素群にＹ軸方向で隣接する画素群としてもよい。あるいは、他の画素から得られる画素値を用いてＧＡ像およびＧＢ像を生成してもよい。例えば、ＧＡ像を、第１の画素群の各画素について、隣接する複数（例えば４つ）の画素の平均値として算出された画素値から生成してもよい。

基本的には、位相差検出方向に直交する方向において、第１の画素群と第２の画素群とが離間している距離よりも、第１の画素群と第３の画素群との距離が短くなるように、第３の画素群を選択すれば本発明の効果は得られる。第４の画素群についても同様に、第１の画素群と第２の画素群との距離よりも、第２の画素群と第４の画素群との距離が短くなるように選択すればよい。他の画素値から第３および第４の画素群の画素値を生成する場合には、第３及び第４の画素群の各画素の仮想画素位置を同様にして選択すればよい。

図２（ｂ）は本実施形態の撮像素子１４の読み出し回路の構成例を示す図である。撮像素子１４は水平走査回路１５１と垂直走査回路１５３を有しており、各画素の境界には、水平走査ライン２５２と、垂直走査ライン２５４が配線されている。各光電変換部３１１ａ、３１１ｂ、３１１ｃで生成された信号は、水平走査ライン２５２および垂直走査ライン２５４を介して外部に読み出される。

図３は、撮影レンズ３００の射出瞳面と、撮像素子１４の像面中央近傍に配置された画素２１１の光電変換部３１１ａ，３１１ｂとの共役関係を説明する図である。撮像素子１４内の光電変換部３１１ａ、３１１ｂと撮影レンズ３００の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。そして撮影レンズ３００の射出瞳面は、光量調節用の虹彩絞りが設けられる面とほぼ一致するのが一般的である。

一方、本実施形態の撮影レンズ３００は変倍機能を有したズームレンズである。ズームレンズには、変倍操作を行なうと、射出瞳の大きさや、像面から射出瞳までの距離（射出瞳距離）が変化するものがある。図３では、撮影レンズ３００の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状や、像高に応じた偏心パラメータの最適設計がなされる。

図３において、撮影レンズ３００は、第１レンズ群１０１、第１レンズ群を保持する鏡筒部材１０１ｂ、第３レンズ群１０５、および第３レンズ群を保持する鏡筒部材１０５ｂを有している。また、撮影レンズ３００は、絞り１０２と、絞り開放時の開口径を規定する開口板１０２ａ、および絞り込み時の開口径を調節するための絞り羽根１０２ｂを有している。なお、図３において、撮影レンズ３００を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口を撮影レンズ３００の射出瞳と定義し、射出瞳距離Ｚｅｐを有している。

画素２１１の最下層には、光電変換部３１１ａ（図３（ａ））もしくは光電変換部３１１ｂ（図３（ｂ））もしくは光電変換部３１１ｃ（不図示）が配置される。光電変換部３１１ａ〜３１１ｃの上層には、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉが設けられる。光電変換部３１１ａ〜３１１ｃは、オンチップマイクロレンズ２１１ｉによって撮影レンズ３００の射出瞳面に投影される。換言すれば、射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部３１１ａ〜３１１ｃの表面に投影される。

図３（ｃ）は、射出瞳面上における、光電変換部３１１ａ，３１１ｂの投影像ＥＰ１ａ，ＥＰ１ｂを示している。なお、光電変換部３１１ｃの投影像ＥＰ１ｃは、ＥＰ１ａとＥＰ１ｂの和におおむね等しい。

図３（ａ），（ｂ）には、撮影レンズ３００を通過する光束の最外部をＬで示している。光束の最外部Ｌは絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影レンズ３００でケラレがほぼ発生していない。図３（ｃ）では、図３（ａ）および（ｂ）における光束の最外部Ｌが射出面で形成する円ＴＬを示している。光電変換部３１１ａ，３１１ｂの投影像ＥＰ１ａ、ＥＰ１ｂの大部分が円ＴＬの内部に存在することからも、ケラレがほぼ発生していないことがわかる。光束の最外部Ｌは、絞りの開口板１０２ａで規定されるため、ＴＬ＝１０２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａないしＥＰ１ｂのケラレ状態は光軸に対して対称となり、各光電変換部３１１ａ及び３１１ｂの受光量は等しい。このように、本実施形態の撮像素子１４は撮影機能だけではなく、位相差検出方式の焦点検出に用いる信号を生成する装置としての機能も有している。

図４（ａ）は、撮影範囲４００に設定された焦点検出領域４０１の例を示す図である。撮像素子１４が有する画素の出力を用いた焦点検出を行う場合、コントラスト検出方式、位相差検出方式のいずれにおいても、焦点検出領域４０１に対応する撮像素子１４の領域内に含まれる画素の出力を用いる。従って、焦点検出領域４０１は撮像素子１４に設定されているとも言え、以下では説明及び理解を容易にするため、焦点検出領域４０１を撮像素子１４の画素領域として説明する。

ここでは、焦点検出領域４０１内の画素に、図２（ａ）に示したような規則で光電変換部３１１ａ〜３１１ｃが設けられているものとする。画素の中央から水平（Ｘ軸）方向に偏倚した光電変換部３１１ａ，３１１ｂを有する焦点検出用画素を用いるため、焦点検出領域４０１内の画像の水平方向のコントラスト差によって像信号の位相差を検出する。

ここで検出される位相差は、1対の光束の進行角度の差によって発生し、単位デフォーカス量当たりの位相差は、1対の像信号を生成する光束の射出瞳面上の領域内の重心位置の間隔と比例する。上述の通り、光電変換部３１１ｃに対する投影像ＥＰ１ｃは、投影像ＥＰ１ａとＥＰ１ｂの和に概ね等しい。従って、投影像ＥＰ１ｃの重心位置は、投影像ＥＰ１ａ，ＥＰ１ｂの１対の重心位置の中央に存在する。そのため、光電変換部３１１ａ，３１１ｂから得られる１対の像信号（Ａ像、Ｂ像）の位相差は、光電変換部３１１ａ（３１１ｂ），３１１ｃから得られた１対の像信号（Ａ像（Ｂ像）、ＧＡ像（ＧＢ像））の位相差の約２倍となる。また、射出瞳１０２ａの重心位置に対して、投影像ＥＰ１ａの重心位置は右側に、投影像ＥＰ１ｂの重心位置は左側に配されている。

投影像ＥＰ１ｃはＧＡ像とＧＢ像に共通するため、ＧＡ像を生成する光束とＧＢ像を生成する光束は射出面上での重心位置は等しい。従って、光電変換部３１１ａ，３１１ｃの出力から得られるＡ像とＧＡ像の位相差と、光電変換部３１１ｂ，３１１ｃの出力から得られるＢ像とＧＢ像の位相差の和は、光電変換部３１１ａ，３１１ｂの出力から得られるＡ像とＢ像の位相差と概ね等しくなる。

図４（ｂ）は、焦点検出領域４０１内に含まれる画素のうち、ＡＦ用の像信号の生成に用いられる画素を抜き出し、各画素の出力でどの像信号が生成されるかを示した図である。図４（ｂ）においては、同種の像信号を生成する画素群（第１〜第４の画素群）ごとに、ｉ行上のｊ個目の画素を「像信号の種類」と（ｉ，ｊ）（ただしｉ，ｊは１〜Ｎの整数）で示している。例えば、Ａ像を生成する第１の画素群のうち、１行目で１個目の画素をＡ（１，１）と表す。なお、図４（ｂ）における光電変換部の色分けは、同種の像信号を生成する画素群を分かりやすくするためのものである。

なお、図４（ｂ）では、焦点検出領域４０１内の画素のうち、ＡＦ用信号の生成に用いられる画素が２行２Ｎ列分である場合を示したが、行数、列数はこれに限らない。行数は２行以上であればよく、列数についても一般的に位相差が検出できる範囲で適宜設定すればよい。なお、位相差が検出できない場合や精度が低いと判断される場合に、動的に列数を増やすようにしてもよい。

次に、カメラ１００における焦点調節動作について、図５に示すフローチャートを用いて説明する。なお、図５に示す処理は、メインミラー１３０とサブミラー１３１が光路外へ退避（ミラーアップ）した状態、より具体的にはライブビュー表示時（表示用動画撮影時）もしくは動画記録時（記録用動画撮影時）において実施される処理である。なお、ここでは撮像素子１４の出力を用いた位相差検出方式の自動焦点検出を行うものとして説明するが、上述の通り、コントラスト検出方式の自動焦点検出を行うこともできる。

Ｓ５０１でシステム制御部５０は、ＳＷ１ ６２や操作部７０などの操作により、焦点検出開始指示が入力されたか判別し、入力されていると判別された場合に処理をＳ５０２へ進め、入力されていると判別されなければ待機する。なお、システム制御部５０は、焦点検出開始指示の入力に限らず、ライブビュー表示や動画記録の開始をトリガとして処理をＳ５０２に進めてもよい。

Ｓ５０２でシステム制御部５０は、撮影レンズ３００のレンズ枠情報やフォーカスレンズ位置などの各種レンズ情報を、インターフェース部３８、３３８およびコネクタ１２２、３２２を介してレンズシステム制御部３４６から取得する。
Ｓ５０３でシステム制御部５０は、逐次読み出されているフレーム画像データの、焦点検出領域内の画素データから、ＡＦ用の像信号（Ａ像、Ｂ像、ＧＡ像、ＧＢ像）を生成するように画像処理部２０に指示する。ＡＦ用の像信号はＡＦ部４２へ送られ、焦点検出用画素と撮影用画素とで光電変換部の大きさが異なることによる信号レベルの差を補正する処理などが行われる。

Ｓ５０４でＡＦ部４２は、Ａ像とＧＡ像、Ｂ像とＧＢ像の２対の像信号に対して公知の相関演算などを適用して像のずれ量を算出し、デフォーカス量に変換する。この処理の詳細は、後述する。ＡＦ部４２は、デフォーカス量をシステム制御部５０に出力する。
Ｓ５０５でシステム制御部５０は、Ｓ５０４でＡＦ部４２から得られたデフォーカス量に基づき、撮影レンズ３００のレンズ駆動量を算出する。

Ｓ５０６でシステム制御部５０は、インターフェース部３８、３３８、コネクタ１２２、３２２を介して、レンズ駆動量および駆動方向の情報を撮影レンズ３００のフォーカス制御部３４２に送信する。フォーカス制御部３４２は、受信したレンズ駆動量と駆動方向の情報に基づいて、フォーカスフォーカスレンズを駆動する。これにより、撮影レンズ３００の焦点調節が行われる。なお、図５の動作は次フレーム以降の動画データが読み出された際にも継続的に実施されてよい。

次に、図５のＳ５０４でＡＦ部４２が行うデフォーカス量の算出処理について、図６に示すフローチャートを用いてさらに説明する。Ｓ５０４１で第１の算出手段としてのＡＦ部４２は、同じ画素行（ｍ行目とする）から生成したＡ像とＧＡ像の相関演算を行う。相関演算に用いる相関量ＣＯＲ１（ｋ）は、例えば下記の式（１）で算出することができる。

式（１）で用いる変数ｋは、相関演算時のシフト量で、−ｋｍａｘ以上ｋｍａｘ以下の整数である。ＡＦ部４２は各シフト量ｋについての相関量ＣＯＲ１（ｋ）を求めた後、Ａ像とＧＡ像の相関が最も高くなるシフト量ｋ、すなわち、相関量ＣＯＲ１が最小となるシフト量ｋの値を求める。なお、相関量ＣＯＲ１（ｋ）の算出時におけるシフト量ｋは整数とするが、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。

本実施形態では、相関量ＣＯＲ１の差分値の符号が変化するシフト量ｄｋを、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋとして算出する。
まず、ＡＦ部４２は、相関量の差分値ＤＣＯＲ１を以下の式（２）に従って算出する。
DCOR1(k)=COR1(k)-COR1(k-1) ...（２）
そして、ＡＦ部４２は、相関量の差分値ＤＣＯＲ１を用いて、差分量の符号が変化するシフト量ｄｋ１を求める。差分量の符号が変化する直前のｋの値をｋ１、符号が変化したｋの値をｋ２（ｋ２＝ｋ１＋１）とすると、ＡＦ部４２はシフト量ｄｋ１を、以下の式（３）に従って算出する。
dk1=k1+ |DCOR1(k1)|／|DCOR1(k1)-DCOR1(k2)| ...（３）
以上のようにして第１の算出手段としてのＡＦ部４２は、Ａ像とＧＡ像の相関量が最大となるシフト量ｄｋ１をサブピクセル単位で算出し、Ｓ５０４１の処理を終える。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。

Ｓ５０４２で第２の算出手段としてのＡＦ部４２は、同じ画素行（ｍ＋１行目）から生成したＢ像とＧＢ像について、Ｓ５０４１と同様の方法で、相関が最大となるシフト量ｄｋ２を算出する。

Ｓ５０４３でＡＦ部４２は、２種のシフト量ｄｋ１、ｄｋ２の和ｄｋ＿ｓｕｍを算出する。この和ｄｋ＿ｓｕｍがＡ像とＢ像の位相差に相当することは上述した通りである。そのため、ＡＦ部４２はシフト量の和ｄｋ＿ｓｕｍに予め例えば不揮発性メモリ５６に記憶された敏感度を乗じることで、シフト量の和ｄｋ＿ｓｕｍをデフォーカス量ＤＥＦに換算する。デフォーカス量ＤＥＦの算出を終えると、デフォーカス量算出処理を終了する。

本実施形態では、撮影光学系の射出瞳上の異なる領域を通る光束を光電変換し得られる信号であるＡ像とＢ像を、位相差検出方向（Ｘ軸方向）と直交する方向（Ｙ軸方向）に離れて位置する画素群から生成している。そのため、Ａ像とＢ像がサンプリングしている被写体光学像の位置が異なり、Ａ像とＢ像の類似度が高いことは保証されない。２つの信号間の位相差を相関量に基づいて求める場合、２つの信号の類似度が高いほうが、高精度の位相差が得られる。本実施形態では、被写体光学像上で、Ａ像と概ね同じ位置をサンプリングできるＧＡ像を生成し、Ａ像とＧＡ像の位相差を算出する。さらに、同様にＢ像とＧＢ像の位相差を算出する。そして、これら２つの位相差算出結果を合計することでＡ像とＢ像の位相差を高精度に算出することができる。

また、Ａ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差を合計してＡ像とＢ像の位相差を算出するため、単位デフォーカス量当たりの位相差が、Ａ像とＧＡ像（またはＢ像とＧＢ像）の位相差よりも大きくなる。そのため、位相差検出結果に含まれるノイズの影響を低減し、高精度な位相差検出を行うことができる。上述のとおり、デフォーカス量の検出精度は、位相差を検出する光束の射出瞳面上の領域内の重心位置の間隔に依存する。本実施形態では、Ａ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差の和を求めることにより、結果的に、Ａ像用の光束とＢ像用の光束の射出瞳面上の領域内の重心位置の間隔を用いた高精度な焦点検出を実現できる。しかしながら、２つの位相差結果の処理方法は、和を算出する方法に限らない。例えば、Ａ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差との平均値を用いてもよい。

平均値とは、Ａ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差との和を求めて、２で割った値である。本質的には、Ａ像用の光束とＢ像用の光束の射出瞳面上の領域内の重心位置の間隔を用いていることと変わらず、高精度な焦点検出を実現できる。
また、Ａ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差との各々に対し、信頼性や光量差などに応じて重みづけした後で、位相差の和や平均値を求めてもよい。例えば、対となる像のコントラストや類似度が高いほど位相差の信頼性が高いと判定することができる。また、光量差は、対となる像について、例えば各像の積算値を比較することができる。信頼性が高い位相差や、光量差が小さい対の像から得られる位相差は、精度が高いと考えられるため、より大きい重みを付与して平均値を求めることができる。

このように構成することにより、Ａ像とＢ像の類似度が低い場合でも、Ａ像とＢ像との位相差を高精度に求めることが可能になる。そのため、Ａ像の信号を生成する画素群（第１の画素群）とＢ像の信号を生成する画素群（第２の画素群）の配置の自由度が向上し、撮像用の信号を生成する際に補正の行いやすい位置に焦点検出用画素を配置するといったことが可能になる。その結果、焦点検出画素に対応する画素値の補正精度が向上し、高画質化を実現することができる。

なお、本実施形態では、Ａ像とＧＡ像の相関量を用いて得られる位相差ｄｋ１（第１の位相差）と、Ｂ像とＧＢ像の相関量を用いて得られる位相差ｄｋ２（第２の位相差）とを算出し、位相差ｄｋ１とｄｋ２の和をデフォーカス量に変換した。しかし、デフォーカス量の算出方法は、これに限らない。例えば、同じシフト量ｋに対応するＡ像とＧＡ像の相関量（第１の相関量）とＢ像とＧＢ像の相関量（第２の相関量）の和を算出し、２つの相関量の和が最小となるシフト量ｄｋからデフォーカス量を算出してもよい。この場合、Ａ像とＢ像から検出される位相差は少なくなってしまうが、相関量の差分を大きくすることができるため、シフト量の検出精度が向上する。

また、シフト量からデフォーカス量を算出する際に、位相差ｄｋ１とｄｋ２の和に対して、敏感度を乗じた。しかし、予め不揮発性メモリ５６に位相差ｄｋ１用と位相差ｄｋ２用の各々の敏感度を記憶しておき、個々の位相差に敏感度を乗じた後に合計してデフォーカス量を算出してもよい。敏感度の記憶に必要な容量は増えるが、より精度のよい焦点検出を行うことが可能となる。

（変形例）
上述の説明では、２種類の焦点検出用の光電変換部３１１ａ，３１１ｂが、画素の中心から横方向（右方向および左方向）に偏倚して配置され、撮影光学系の射出瞳をおおよそ２分割した光束を受光することにより、位相差検出を実現するものであった。しかし、射出瞳を３以上に分割して受光するように焦点検出用画素の光電変換部を構成してもよい。分割数を増やすことにより、焦点検出に用いる光束に対するケラレの影響を抑制し、より高精度な焦点検出を行うことができる。撮像素子から撮影光学系の射出瞳までの光軸方向における距離と、撮像素子から撮像素子上のオンチップマイクロレンズの入射瞳までの距離が一致しない場合に、像高の高い焦点検出領域に入射する光束にケラレが発生する。図４（ａ）に示したような、撮影範囲４００の略中央に設定された焦点検出領域４０１に入射する光束にケラレは発生しないが、焦点検出領域が、光軸と撮像素子の交点から離れた領域に存在する場合、入射光束にケラレが発生する。

図１０（ａ）に、焦点検出用の光電変換部が４分割された構成を有する撮像素子１４の画素配列の例を図２（ａ）と同様に模式的に示す。図１０（ａ）において、焦点検出用の光電変換部３１１０ａ，３１１０ｂ，３１１０ｃ，３１１０ｄは、画素の中心から横方向に偏倚して配置されている。複数の光電変換部３１１０ａから得られた出力をつなぎ合わせて編成した像信号をＡ像とし、光電変換部３１１０ｂ〜３１１０ｄのそれぞれについて同様にして得られる像信号をＢ像、Ｃ像、Ｄ像とする。焦点検出用画素に隣接する画素の光電変換部３１１ｃの出力をつなぎ合わせて編成した像信号を、ＧＡ像、ＧＢ像、ＧＣ像、ＧＤ像とする。図１０（ａ）では、３以上の分割数に対応する焦点検出用画素の配列例を示すため、Ｂ／Ｇ画素行にＢフィルタを有する画素は含まれていないが、実際には図２（ａ）に示すように、焦点検出用画素のないＢ／Ｇ画素行が含まれるように構成する。

図１０（ａ）のような構成の撮像素子１４から得られるＡ像とＧＡ像の位相差、Ｂ像とＧＢ像の位相差、Ｃ像とＧＣ像の位相差、Ｄ像とＧＤ像の位相差を、全て、もしくは選択的に使用することが可能である。

図１０（ｂ）に、射出瞳面上における光電変換部３１１０ａ，３１１０ｂ，３１１０ｃ，３１１０ｄの投影像ＥＰ１０ａ、ＥＰ１０ｂ、ＥＰ１０ｃ、ＥＰ１０ｄを、図３（ｃ）と同様に示す。なお、光電変換部３１１ｃの投影像ＥＰ１ｃは、ＥＰ１０ａ、ＥＰ１０ｂ、ＥＰ１０ｃ、ＥＰ１０ｄの和におおむね等しい。また、図１０（ｂ）では、鏡筒部材によるケラレが発生する領域も示している。円１０１ｂ、１０５ｂの両方に含まれる領域に入射する光は鏡筒部材によるケラレの影響を受けない。しかし、円１０１ｂ、１０５ｂの少なくとも一方の外側の領域については、入射光束にケラレが発生する。

例えば、投影像ＥＰ１０ｄの大半は円１０５ｂの外部に位置するため、光電変換部３１１０ｄに入射する光束はケラレの影響を大きく受け、光電変換部３１１０ｄの出力は著しく低くなる。このような状態で光電変換部３１１０ｄの出力に基づくＤ像と、ＥＰ１０ａ〜ＥＰ１０ｄの和とほぼ等しい大きさの光電変換部３１１ｃの出力に基づくＧＤ像との位相差検出を行っても、高精度な検出結果は期待できない。そのため、このような場合には、ケラレの影響の少ないＡ像とＧＡ像の位相差、Ｂ像とＧＢ像の位相差、およびＣ像とＧＣ像の位相差を組み合わせて位相差検出を行うことにより、ノイズの少ない高精度な位相差検出結果を得ることができる。

なお、撮像素子１４が、図１０に示したような、射出瞳を通過する光束を４分割する構成を有する場合、同じデフォーカス量について４対の像信号（Ａ／ＧＡ，Ｂ／ＧＢ，Ｃ／ＧＣ，Ｄ／ＧＤ）から得られる位相差が異なる。これは、デフォーカス量の検出精度が、各投影像ＥＰ１０ａ〜ＥＰ１０ｄに対応する射出瞳面上の領域内の重心位置と、投影像ＥＰ１ｃに対応する射出瞳面上の領域内の重心位置との間隔に依存するためである。そのため、本変形例の場合、各対の像信号から得られる位相差結果に、重心位置の間隔に応じた敏感度を適用してデフォーカス量を算出すればよい。

なお、焦点検出用の光電変換部３１１０ａ〜３１１０ｄにケラレが発生しない状況であれば、４対の像信号の位相差の結果を用いればよい。また、Ａ像とＢ像の加算像とＧＡ像とＧＢ像の加算像について位相差を検出するなど、位相差検出を行う像信号対の数を削減して、相関量の演算負荷を減らしてもよい。

●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態との主な違いは、撮像素子の画素配列である。第１の実施形態の撮像素子は、撮影用画素と２種類の焦点検出用画素とを配列し、１つの画素が１つの光電変換部を有する構成であった。本発明をこのような撮像素子を用いた撮像装置に適用した場合、焦点検出精度を向上できることは第１の実施形態で説明した。しかし、本発明は全画素に２つの光電変換部を設け、全画素からＡ像とＢ像の出力信号を得ることができる撮像素子を用いる撮像装置にも適用可能である。

なお、第１の実施形態で説明した撮像装置の構成（図１）、焦点検出領域（図４（ａ））、焦点調節動作やデフォーカス量算出処理（図５、図６）に関しては、本実施形態においても共通するため、説明は省略する。

本実施形態における撮像素子１４の構成を、図７〜図８を用いて説明する。なお、図７〜図８において、図２〜図３と同様の構成には同じ参照数字を付して重複する説明を省略する。
図７（ａ）は図２（ａ）と同様に、本実施形態における撮像素子１４に２次元配置された画素群のうち、縦（Ｙ軸方向）６行と横（Ｘ軸方向）８列の範囲を、撮影レンズ３００側から観察した状態を示している。ただし、本実施形態の撮像素子１４では、カラーフィルタの配列はベイヤー配列通りである。つまり、第１の実施形態とは異なり、青の位置の画素にはすべて青のカラーフィルタが設けられている。本実施形態では、同じ画素からＡ（Ｂ）像とＧＡ（ＧＢ）像が得られるため、フィルタの色を変更する必要がない。

本実施形態では、すべての画素２１１は、Ｘ軸方向に２分割された光電変換部２１１ａ，２１１ｂを有し、一方の光電変換部の出力信号と、両方の光電変換部の出力信号の和とを別個に読み出し可能に構成されている。そして、他方の光電変換部の出力信号に相当する信号は、両方の光電変換部の出力信号の和と一方の光電変換部の出力信号との差分として得ることができる。分割された光電変換部の出力信号は、後述する方法で位相差検出方式の焦点検出に用いることができるほか、１対の視差画像から構成される３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像の生成に用いることもできる。一方、両方の光電変換部の出力信号の和は、通常の撮影用画素の出力信号として用いることができる。

ここで、位相差検出方式の焦点検出に用いる像信号の生成について説明する。本実施形態においては、図７（ａ）のマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ及び２１１ｂで、撮影レンズ３００の射出瞳を分割する。そして、焦点検出領域内の同一画素行（Ｘ軸方向）に配置された複数の画素２１１における光電変換部２１１ａの出力をつなぎ合わせて編成した像信号をＡ像、光電変換部２１１ｂの出力をつなぎ合わせて編成した像信号をＢ像とする。上述の通り、本実施形態の撮像素子は２つの光電変換部の一方については出力を直接読み出すことができない。従って、直接読み出しできない光電変換部の出力信号を必要とする像信号は、２つの光電変換部の出力信号の和と、直接読み出しできる光電変換部の出力信号との差分として得ることができる。
また、本実施形態においてＧＡ像とＧＢ像は、Ａ像とＢ像の生成に用いる画素から読み出される、２つの光電変換部の出力信号の和から生成する。

このように生成したＡ像とＧＡ像の相対的な位相差、Ｂ像とＧＢ像の相対的な位相差を相関演算により検出することで、焦点検出領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。基本的な方法は第１の実施形態で説明したとおりである。

以下、Ａ像（第１の像信号）の生成に用いられる光電変換部２１１ａが設けられた複数の画素を第１の画素群と呼び、Ｂ像（第２の像信号）の生成に用いられる光電変換部２１１ｂが設けられた複数の画素を第２の画素群と呼ぶ。本実施形態では、第１の画素群はＧＡ像（第３の像信号）の生成にも用いられ、第２の画素群はＧＢ像（第４の像信号）の生成にも用いられる。

図７（ｂ）は本実施形態の撮像素子１４における読み出し回路の構成例を示す図である。撮像素子１４は水平走査回路１５１と垂直走査回路１５３を有しており、各画素の境界には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線されている。光電変換部の一方の出力と、両方の加算出力は、これらの走査ラインを介して外部に読み出される。
本実施形態では、奇数行の画素からはＡ像とＧＡ像の出力が読みだされ、偶数行の画素からはＢ像とＧＢ像の出力が読みだされるものとする。

図８は、撮影レンズ３００の射出瞳面と、撮像素子１４の像面中央近傍に配置された画素２１１の光電変換部２１１ａ，２１１ｂとの共役関係を説明する図である。画素２１１内の光電変換部２１１ａ、２１１ｂと撮影レンズ３００の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。本実施形態における構成は、各画素が図３（ａ）および（ｂ）に示した構成の両方を有している点を除き、第１の実施形態と同様であるため、重複する説明は省略する。

次に、本実施形態における、撮像素子１４の出力を用いた位相差検出方式の焦点検出方法について説明する。本実施形態においても第１の実施形態と同様に、Ａ像とＧＡ像、Ｂ像とＧＢ像の各々の組み合わせについて位相差を検出する。本実施形態では、奇数画素行からは光電変換部２１１ａ，２１１ｂの出力の和であるＧＡ像（撮像信号）と光電変換部２１１ａの出力であるＡ像とを読み出す。また、偶数画素行からは光電変換部２１１ａ，２１１ｂの出力の和であるＧＢ像（撮像信号）と光電変換部２１１ｂの出力であるＢ像とを読み出す。

奇数画素行におけるＢ像と、偶数画素行におけるＡ像はそれぞれ、ＧＡ像とＡ像の差とＧＢ像とＢ像の差として算出することができるが、演算を伴うため、得られる信号のＳ／Ｎは直接読み出した場合よりも低下する。そのため、高精度の位相差検出を行うには、差分として求めた像信号を用いない方がよい。したがって、本実施形態では、読み出しが可能な一方の光電変換部の出力と、両方の光電変換部の出力和とを用いて位相差を検出する。

第１の実施形態の場合と異なり、撮像信号とＡＦ用の片方の像信号は、同じ画素から得られる。そのため、図４（ｃ）に示すように、焦点検出領域４０１内に配置された２行Ｎ列の画素から、Ａ像（Ａ（ｉ，ｊ））、Ｂ像（Ｂ（ｉ，ｊ））、ＧＡ像（ＧＡ（ｉ，ｊ））およびＧＢ像（ＧＢ（ｉ，ｊ））（１≦ｉ≦２、１≦ｊ≦Ｎ）を得ることができる。そして、第１の実施形態と同様にして、Ａ像とＧＡ像、Ｂ像とＧＢ像のそれぞれの組み合わせについて、シフト量ｄｋ１，ｄｋ２を求め、その和ｄｋ＿ｓｕｍに基づいてデフォーカス量を求める。

本実施形態によれば、各画素の光電変換部が分割されている構成の撮像素子を用いた場合に、各光電変換部の個別読み出しよりも処理負荷を軽減しながら、精度の良い位相差検出を行うことができ、焦点検出精度を向上させることができる。

●（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態との主な違いは、デフォーカス量算出方法の違いである。第１の実施形態では、Ａ像とＧＡ像の位相差検出結果と、Ｂ像とＧＢ像の位相差検出結果を用いてデフォーカス量の算出を行うことで、Ａ像の生成に用いられる画素とＢ像の生成に用いられる画素が離れていても、精度のよいデフォーカス量の検出を実現した。しかし、デフォーカス量が大きい場合には、Ａ像とＧＡ像（撮像信号）とでボケ方が異なり、２つの像信号の一致度が低下する。これは、それぞれの像信号の生成に用いられる光電変換部の大きさや配置の相違により、２つの像信号に含まれる光束のＦ値が異なるためである。そのため、デフォーカス量が大きくなるにつれ、焦点検出精度が悪化する。

本実施形態では、デフォーカス量が大きいと推定される場合にはＡ像とＢ像の位相差検出結果を用いることを特徴とする。これはデフォーカス量が大きい場合には、Ａ像の生成に用いられる画素とＢ像の生成に用いられる画素が離れていても、被写体光学像のボケが大きいため、Ａ像とＢ像の一致度が高まるためである。つまり、デフォーカス量が大きい場合には、Ａ像とＢ像のサンプリング位置の相違が焦点検出結果に与える影響が小さいことを利用したものである。

なお、第１の実施形態で説明した撮像装置の構成（図１）、撮像素子１４の構成（図２、図３）、焦点検出領域（図４（ａ））、焦点調節動作（図５）に関しては、本実施形態においても共通するため、説明は省略する。
以下、図９に示すフローチャートを用いて、本実施形態におけるデフォーカス量算出方法について説明する。このデフォーカス量算出処理は、図５のＳ５０４において実施することができる。また、図９において、第１の実施形態と同様の動作については図６と同じ参照数字を付してある。

まずＳ６０４１でＡＦ部４２は、現在のデフォーカス量が所定の閾値より大きいか否かを判定する。現時点でのデフォーカス量は、焦点調節動作の開始以前に得られたデフォーカス量や、焦点検出を繰り返し行っている場合には前回検出したデフォーカス量と、その後のレンズ駆動量などから算出することができる推定値である。焦点調節動作の開始以前にデフォーカス量を得る場合には、図５のＳ５０１において、焦点検出開始の条件が満たされる以前から、一定間隔で焦点検出を行うようにしてもよい。なお、ここで用いられる閾値は、予め実験等を通じて定めることができる。

ＡＦ部４２は、現在のデフォーカス量が所定の閾値より大きいと判定された場合には処理をＳ６０４２へ進める。また、現在のデフォーカス量が所定の閾値以下と判定された場合、ＡＦ部４２はＳ５０４１、Ｓ５０４２を実行して第１の実施形態と同様にしてシフト量ｄｋ１，ｄｋ２を求め、処理をＳ６０４４に進める。

Ｓ６０４２でＡＦ部４２は、異なる画素行に存在する焦点検出用画素（第１の画素群および第２の画素群）から得られるＡ像とＢ像を用いた相関演算を行う。相関演算は、第１の実施形態で説明した、Ａ像とＧＡ像との相関演算におけるＧＡ像をＢ像として実施することができる。そして、相関量（ＣＯＲ３とする）が最小になるシフト量ｄｋ３を、相関量の差分ＤＣＯＲ３に基づいて、第１の実施形態と同様に算出する。

次に、Ｓ６０４３でＡＦ部４２は、Ａ像と同じ画素行から得られるＧＡ像と、Ｂ像と同じ画素行から得られるＧＢ像を用いた相関演算を行う。ＡＦ部４２はＳ６０４２と同様にして相関量（ＣＯＲ４とする）が最小となるシフト量ｄｋ４を、相関量の差分ＤＣＯＲ４に基づいて算出し、処理をＳ６０４４へ進める。

Ｓ６０４４でＡＦ部４２は、デフォーカス量の算出を行う。シフト量ｄｋ１、ｄｋ２が算出されている場合、ＡＦ部４２は第１の実施形態と同様に、シフト量ｄｋ１、ｄｋ２の和ｄｋ＿ｓｕｍを算出し、予め不揮発性メモリ５６に記憶された敏感度を乗じることで、シフト量をデフォーカス量ＤＥＦに換算する。
一方で、シフト量ｄｋ３、ｄｋ４が算出されている場合、ＡＦ部４２は、シフト量ｄｋ３、ｄｋ４の差ｄｋ＿ｄｉｆ＝ｄｋ３−ｄｋ４を算出し、予め不揮発性メモリ５６に記憶された敏感度を乗じることで、シフト量をデフォーカス量ＤＥＦに換算する。
デフォーカス量ＤＥＦの算出を終えると、ＡＦ部４２はデフォーカス量算出サブルーチンを終了する。

ここで、シフト量ｄｋ３からシフト量ｄｋ４を減算する理由について説明する。シフト量ｄｋ３は、Ａ像とＢ像のシフト量である。Ａ像を生成する第１の画素群とＢ像を生成する第２の画素群は、位相差を検出する方向（ここではＸ軸方向）と直交する方向（Ｙ軸方向）に離間しているため、被写体光学像をサンプリングする位置が異なる。そのため、斜め方向にコントラスト（明暗差）があるエッジを有する被写体を焦点検出する場合には、デフォーカス量とは関係のない位相差が、焦点検出誤差としてＡ像とＢ像との間に発生する。この焦点検出誤差は、ＧＡ像とＧＢ像との間にも同様の理由で発生するが、ＧＡ像とＧＢ像の位相差（シフト量ｄｋ４）は、デフォーカス量によって増減しない。このことを利用して、ｄｋ３からｄｋ４を減算することにより、被写体によって発生する焦点検出誤差を低減することができる。

このように、本実施形態によれば、デフォーカス量の大小に応じて相関演算を行う１対の像信号を変更することにより、デフォーカス量の大きさに適した焦点検出結果を得ることができる。

（その他の実施形態）
上述の実施形態は発明の理解を容易にするための例示であり、本発明はこれらの実施形態に記載した特定の構成に限定されない。本発明の範囲は特許請求の範囲の記載によって規定され、その範囲内で種々の変形及び変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１４…撮像素子、１８…タイミング発生回路、２０…画像処理部、２８…画像表示部、３２…圧縮伸長部、３６…シャッター制御部、４２…ＡＦ部、４６…測光部、５０…システム制御部

Claims (10)

1. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、前記射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を検出する第１の算出手段と、
   前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、前記射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を検出する第２の算出手段と、
   前記第１の位相差および前記第２の位相差の和を用いて、前記撮影光学系のデフォーカス量を算出するデフォーカス量算出手段と、
   を有することを特徴とする焦点検出装置。
2. 前記第１の像信号の生成に用いられる第１の画素群と、前記第２の像信号の生成に用いられる第２の画素群とが、撮像素子において、前記第１および第２の位相差を検出する方向と直交する方向に離間していることを特徴とする請求項１記載の焦点検出装置。
3. 前記第１の画素群と、前記第３の像信号の生成に用いられる第３の画素群との、前記直交する方向における距離は、前記第１の画素群と、前記第２の画素群との、前記直交する方向における距離より小さく、
   前記第２の画素群と、前記第４の像信号の生成に用いられる第４の画素群との、前記直交する方向における距離は、前記第１の画素群と前記第２の画素群との、前記直交する方向における距離より小さい、
   ことを特徴とする請求項２記載の焦点検出装置。
4. 前記第３の画素群の各画素と、前記第１の画素群の各画素とが隣接する画素であり、前記第４の画素群の各画素と、前記第２の画素群の各画素とが隣接する画素であることを特徴とする請求項３記載の焦点検出装置。
5. 前記第３の像信号および前記第４の像信号が、複数の画素値に基づいて生成された画素値によって生成されることを特徴とする請求項３記載の焦点検出装置。
6. 前記第１の像信号と前記第３の像信号が、同一の画素群の出力に基づいて生成され、
   前記第２の像信号と前記第４の像信号が、同一の画素群の出力に基づいて生成される、
   ことを特徴とする請求項３記載の焦点検出装置。
7. 前記第１の像信号と前記第２の像信号との第３の位相差を検出する第３の算出手段と、
   前記第３の像信号と前記第４の像信号との第４の位相差を検出する第４の算出手段と、をさらに有し、
   前記デフォーカス量算出手段は、
   現在のデフォーカス量が予め定められた閾値より大きい場合には、前記第３の位相差と前記第４の位相差の差に基づいて前記撮影光学系のデフォーカス量を算出し、
   前記現在のデフォーカス量が前記予め定められた閾値以下の場合には、前記第１の位相差と前記第２の位相差の和に基づいて前記撮影光学系のデフォーカス量を算出する、
   ことを特徴とする請求項１から６のいずれか１項に記載の焦点検出装置。
8. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく像信号と、前記射出瞳の全領域を通過した光束に基づく像信号とを読み出し可能な撮像素子と、
   請求項１から７のいずれか１項に記載の焦点検出装置と、
   を有することを特徴とする撮像装置。
9. 第１の算出手段が、撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、前記射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を検出する第１の算出ステップと、
   第２の算出手段が、前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、前記射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を検出する第２の算出ステップと、
   デフォーカス量算出手段が、前記第１の位相差および前記第２の位相差の和を用いて、前記撮影光学系のデフォーカス量を算出するデフォーカス量算出ステップと、
   を有することを特徴とする焦点検出装置の制御方法。
10. コンピュータを、請求項１から７のいずれか１項に記載の焦点検出装置の各手段として機能させるためのプログラム。

Images