JP6234097B2

JP6234097B2 - 撮像装置およびその制御方法

Info

Publication number: JP6234097B2
Application number: JP2013149568A
Authority: JP
Inventors: 英之浜野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-07-18
Filing date: 2013-07-18
Publication date: 2017-11-22
Anticipated expiration: 2033-07-18
Also published as: JP2015022116A

Description

本発明は、１次元または２次元に構成された複数の光電変換素子を用いて位相差検出を行う撮像装置とその制御方法に関する。

撮像光学系の予定焦点面近傍に、瞳分割機能を備えた焦点検出手段を配置し、位相差式焦点検出を行う技術が提案されている。位相差式焦点検出装置では、撮像光学系の射出光束を瞳分割手段により少なくとも２つの領域に分割する。各領域の光束を光電変換することで一対（２像）の焦点検出用信号列が得られる。２つの信号列の相対的な像ずれ量から、予定焦点面の焦点ずれ量、いわゆるデフォーカス量が検出される。
１つの画素中のマイクロレンズで集光される受光部に複数のフォトダイオードを配置した撮像素子を用いて位相差検出式の焦点検出を行う技術がある。特許文献１では、１つの画素中のフォトダイオードを２分割して、各フォトダイオードにより撮像レンズの異なる瞳面の光を受光する構成が開示されている。２つのフォトダイオードの出力を比較することによって、撮像レンズの焦点検出を行える。モードを切り替え、再度露光することにより、撮像素子から２つのフォトダイオードの出力の和を読み出し、記録用画像に使用する技術が開示されている。

また、特許文献２には、１回の露光によって、１つのフォトダイオードの出力を読み出した後に、２つのフォトダイオードの出力の和を読み出す技術が開示されている。特許文献２に記載の技術を特許文献１の技術に適用すると、撮像素子から出力される２つのフォトダイオードの出力の和と、１つのフォトダイオードの出力との差分から、もう一方のフォトダイオードの出力相当の信号を得ることができる。画像用出力信号（２つのフォトダイオードの出力の和）と焦点検出用出力信号（各々のフォトダイオードの出力）は１回の露光で取得できる。

特開２００１−０８３４０７号公報特開２００４−１３４８６７号公報特開２００９−２４４８５４号公報特開２０１０−２７２９０３号公報

しかしながら、上述の従来技術には、以下の問題がある。
特許文献２に記載の固体撮像装置を、特許文献１の撮像装置に適用した場合に得られる出力には、読み出し回路を経てノイズが重畳されている。画像用出力信号と１つの焦点検出用出力信号に含まれる読み出し回路ノイズは、それぞれ独立したばらつきの分布をもつ。そのため、画像用出力信号と１つの焦点検出用出力信号の差分として得られる、もう一方の焦点検出用出力信号には、差分演算により増幅された、より大きなノイズが含まれてしまう。２つの焦点検出用出力信号を用いて焦点検出を行う際、各出力信号に含まれるノイズは、焦点検出結果の誤差要因となる。
本発明の目的は、撮像素子を構成する画素の出力する複数の信号を用いて位相差検出を行う場合、当該信号に含まれるノイズ成分が位相差検出に与える影響を低減し、より高精度な位相差検出を行うことである。

上記課題を解決するために、本発明の第１の側面に係る装置は、撮像光学系により形成された被写体像を光電変換する複数の光電変換部を有する画素を備える撮像素子と、前記画素の信号を用いて位相差検出演算を行う演算手段を備える。前記撮像素子は、前記撮像光学系の瞳の一部の領域である第１の瞳領域を通過した光束を光電変換した第１の像信号を出力する画素群と、前記撮像光学系の瞳の一部の領域であって、かつ前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を光電変換した第２の像信号を出力する画素群と、前記撮像光学系の瞳の全領域を通過した光束を光電変換した第３の像信号を出力する画素群を有しており、前記演算手段は、前記撮像素子に係る位相差検出領域において、前記第３の像信号と、前記第１の瞳領域および前記第２の瞳領域のうち前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が大きい方の瞳領域に対応する前記第１の像信号及び前記第２の像信号のいずれか１方とを用いて位相差検出演算を行う。
本発明の第２の側面に係る装置は、前記撮像素子を備え、演算手段は、前記撮像素子に係る位相差検出領域において、前記第３の像信号と、前記第１の瞳領域および前記第２の瞳領域のうち前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が小さい方の瞳領域に対応する前記第１の像信号及び前記第２の像信号のいずれか１方とを用いて位相差検出演算を行う。
本発明の第３の側面に係る装置は、撮像素子が、前記撮像光学系の瞳の全領域を通過した光束を光電変換して瞳の全領域の像信号を出力する画素群と、前記撮像光学系の異なる瞳部分領域をそれぞれ通過した光束を光電変換して複数の瞳部分領域の像信号を出力する複数の画素群を有しており、演算手段は、前記撮像素子に係る位相差検出領域において、前記瞳部分領域に対応する画素群のうち、前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が、最も大きい画素群または最も小さい画素群を含まない前記瞳部分領域の像信号と、前記瞳の全領域の像信号を用いて位相差検出演算を行う。

本発明によれば、撮像素子を構成する画素の出力する複数の信号を用いて位相差検出を行う場合、当該信号に含まれるノイズ成分が位相差検出に与える影響を低減し、より高精度な位相差検出を行える。

本発明の実施形態に係る撮像装置の構成例を示す図である。本発明の実施形態に係る撮像素子の画素配列（Ａ）および回路構成（Ｂ）を示す図である。撮像光学系と撮像素子の中心近傍画素の投影関係についての説明図である。撮像光学系と撮像素子の周辺画素の投影関係についての説明図である。撮像素子上の像高による２つの光電変換部の受光量変化に関する説明図である。撮像素子上の画素の出力信号が読み出される光電変換部の説明図である。

図１ないし図６を参照して本発明の実施形態を説明する。
図１は本発明の実施形態に係る撮像装置の構成図である。図示の電子カメラは、撮像素子を備えるカメラ本体部と撮像光学系とが一体の構成例を示しており、動画及び静止画を記録可能である。
第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置され、光軸方向に移動可能である。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時には露光秒時調節用シャッタとしての機能を備える。絞り１０２と第２レンズ群１０３は一体となって光軸方向に移動し、第１レンズ群１０１の移動との連動により、変倍作用（ズーム機能）を有する。

第３レンズ群１０５は焦点調節用レンズ群であり、光軸方向の移動により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えばＣＭＯＳ（相補型金属酸化膜半導体）センサとその周辺回路で構成される。撮像素子１０７には、横方向にＭ画素、縦方向にＮ画素の受光ピクセルが正方配置され、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１、絞り１０２、第２レンズ群１０３を光軸方向に駆動し、変倍動作を行う。絞りアクチュエータ１１２は、絞り１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に駆動して焦点調節を行う。
無線式通信部１１５は、インターネット等のネットワークを通じてサーバーコンピュータと通信するためのアンテナや信号処理回路で構成される。姿勢検出部１１６はカメラの撮影姿勢、すなわち横位置撮影の状態や縦位置撮影の状態等を判別する電子水準器を備える。

ＣＰＵ（中央演算処理装置）１２１は、カメラ本体部の種々の制御を司る。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに基づいて、カメラ内の各種回路を駆動し、自動焦点調節（ＡＦ）、撮影処理、画像処理、記録処理等の一連の動作を実行する。
通信制御回路１２２は、無線式通信部１１５を介して、カメラからサーバーコンピュータへの撮影画像データの送信処理や、サーバーコンピュータから画像データおよび各種情報の受信処理を行う。姿勢検出回路１２３は、姿勢検出部１１６の出力信号に基づいてカメラの姿勢を判別する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、撮像素子１０７から取得したデータに対して画像のカラー補間、γ変換、画像圧縮等の処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞り駆動回路１２８は、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
表示部１３１はＬＣＤ（液晶デスプレイ）等を有し、画像や各種の情報を表示する。例えば、カメラの撮影モードに関する情報、撮影時のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像、カメラの姿勢情報等が表示される。操作部１３２は操作スイッチ群を備え、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作信号をＣＰＵ１２１に出力する。

記録部１３３はフラッシュメモリ等の着脱可能な記録媒体に対して、動画及び静止画を含む撮影済み画像データを記録する。本実施形態では、後述するように撮像素子１０７における１つの画素から２つの信号出力を得る。これらの信号（後述する第１の像信号もしくは第２の像信号および第３の像信号）は、記録部１３３によって記録媒体に記録される。これによって、より高精度な焦点検出に必要な信号出力を、撮像素子１０７から読み出した後、演算等を行わずにそのまま記録することで高速に撮像データの記録処理を行える。例えば撮像素子１０７の各画素から、第１の像信号に相当するＡ像信号と、第３の像信号に相当するＡ像およびＢ像の和信号を取得する場合に、両者の差分演算により第２の像信号に対応するＢ像信号を算出して記録媒体に記録する形態を想定する。この場合、Ｂ像信号の演算時にノイズ成分が増幅される。その後、さらに記録画像データを読み出して再度位相差検出演算を行う際には、Ａ像信号の演算時にノイズがさらに増幅されることとなる。本実施形態では、撮像素子１０７が出力した信号に対して演算等を行わずに、撮像素子１０７が出力するＡ像信号またはＢ像信号と、Ａ像およびＢ像の和信号を直接記録媒体に記録することにより、ノイズの影響を抑えたデータが得られる。
また、１つの画素から得られる２つの信号出力のうちの第３の像信号は、撮影画像データとして用いる信号である。このため、後に画像の鑑賞や画像処理等を行う際、信号加算等の計算が必要なく、取り扱い易い。ＣＰＵ１２１は、撮像素子１０７が出力した信号を取得し、記録部１３３を制御して所定のフォーマットに従って記録媒体への記録処理を実行させる。

図２（Ａ）は本実施形態における撮像素子の画素配列を示す。図２（Ａ）は、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、撮像光学系側から観察した状態を示している。カラーフィルタについてはベイヤー配列が適用され、奇数行の画素には、左から順に緑（Green）と赤（Red）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青（Blue）と緑（Green）のカラーフィルタが交互に設けられる。画素２１１において円形枠２１１ｉで示すオンチップマイクロレンズの内側に配置された複数の矩形枠は、光電変換部２１１ａ，２１１ｂをそれぞれ示している。

本実施形態では、すべての画素の光電変換部はＸ方向に２分割され、撮像光学系に係る分割された第１の瞳領域の光電変換信号（第１の像信号）と、２つの光電変換信号の和（第３の像信号）を独立して読み出す構成である。撮像素子の画素群は、撮像光学系の瞳のほぼ全領域を通過した光束を光電変換した第３の像信号と、撮像光学系の瞳の一部領域を通過した光束を光電変換した第１の像信号を出力する。この独立して読み出された信号については、２つの光電変換信号の和と、分割された一方の領域の光電変換信号との差分を演算することにより、第２の像信号を得ることができる。第２の像信号は、第１の瞳領域とは異なる第２の瞳領域を通過した光束を光電変換した信号に相当する。つまり、撮像光学系の異なる瞳領域をそれぞれ通過した光束については、一方の像信号から他方の像信号に相当する信号を得ることができる。複数の分割された領域の光電変換信号は、後述する方法で位相差式焦点検出に用いられる他、視差情報を有する複数の画像から構成される３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像データの生成に使用できる。なお、２つの光電変換信号の和からは、通常の撮影画像のデータが得られる。

上記のように、位相差式焦点検出情報や３Ｄ画像の視差情報を生成する演算は、位相差検出演算に含まれる。位相差検出演算では、第３の像信号と第１の像信号の差分信号から得られる第２の像信号、および第１の像信号を用いるか、または第３の像信号と第２の像信号の差分信号から得られる第１の像信号、および第２の像信号を用いる。そのために撮像素子の画素群は、第１の像信号もしくは第２の像信号および第３の像信号という、２つの像信号をそれぞれ出力可能である。
ここで、位相差式焦点検出を行う場合の画素信号について説明する。図２（Ａ）のマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ及び２１１ｂによって、撮像光学系の射出光束が瞳分割される。同一行上に配置された所定範囲内の複数の画素２１１において、光電変換部２１１ａの出力をつなぎ合わせて編成した像をＡＦ（オートフォーカス）用Ａ像とする。同様に光電変換部２１１ｂの出力をつなぎ合わせて編成した像をＡＦ用Ｂ像とする。ＡＦ用Ａ像とＡＦ用Ｂ像との相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出できる。本実施形態では、ＡＦ用Ａ像とＡＦ用Ｂ像のうちの一方については撮像素子１０７から出力されない。上述の通り、Ａ像出力とＢ像出力の和は撮像素子１０７から出力されるため、その出力と他方の出力との差分から、もう一方の信号を求めて焦点検出を行うことができる。

図２（Ｂ）は撮像素子１０７における読み出し回路の構成を示す。撮像素子１０７は水平走査回路１５１と、垂直走査回路１５３を備える。各画素の境界部には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線され、各光電変換部の出力信号は走査ラインを介して外部に読み出される。なお、撮像素子１０７は２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するために全画素の信号が読み出される。また第２の読み出しモードは間引き読み出しモードと称するもので、動画記録またはプレビュー画像の表示のみを行うためのモードである。この場合、必要な画素数は全画素数よりも少ないため、画素群はＸ方向及びＹ方向ともに所定の比率で間引いた画素のみ信号が読み出される。

図３は撮像装置において、撮像光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部との共役関係を説明する模式図である。撮像素子１０７内の光電変換部と撮像光学系の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。そして撮像光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮像光学系は変倍機能を有するズームレンズである。撮像光学系のタイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図３に示す撮像光学系は、焦点距離が広角端と望遠端との中間状態、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズ２１１ｉの形状や、像高（Ｘ座標及びＹ座標）に応じた偏心パラメータの最適設計がなされる。図３（Ａ）にて、Ｚ方向を光軸方向とし、Ｘ方向をＺ方向に直交する、紙面内の左右方向とする。

図３（Ａ）では、第１レンズ群１０１及びこれを保持する鏡筒部材１０１ｂと、第３レンズ群１０５及びこれを保持する鏡筒部材１０５ｂを模式的に示す。絞り１０２として、絞り開放時の開口径を規定する開口板１０２ａと、絞り込み時の開口径を調節するための絞り羽根１０２ｂを模式的に示す。なお、撮像光学系を通過する光束の制限部材として作用する部材１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂについては、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、像面からの距離をＺｅｐとしている。
被写体像を光電変換するための画素２１１０は、像面の中央近傍に配置されており、以下では、「中央画素」という。中央画素２１１０は、最下層より順に、光電変換部２１１０ａ及び２１１０ｂ、配線層２１１０ｅないし２１１０ｇ、カラーフィルタ２１１０ｈ、並びにオンチップマイクロレンズ２１１０ｉで構成される。２つの光電変換部２１１０ａ及び２１１０ｂは、オンチップマイクロレンズ２１１０ｉによって撮像光学系の射出瞳面に投影される（光線ＣＬａ，ＣＬｂ参照）。換言すれば、撮像光学系の射出瞳が、オンチップマイクロレンズ２１１０ｉを介して、光電変換部の表面に投影されることになる。

図３（Ｂ）は、撮像光学系の射出瞳面上における、光電変換部の投影像を示した図である。Ｘ方向に直交する紙面内の上下方向をＹ方向とする。光電変換部２１１０ａ及び２１１０ｂに対する投影像を各々ＥＰ１ａ及びＥＰ１ｂに示す。投影像ＥＰ１ａは第１の瞳領域と対応し、投影像ＥＰ１ｂは第２の瞳領域と対応する。本実施形態では、２つの光電変換部２１１ａと２１１ｂのいずれか一方の出力と、両方の和の出力を得ることができる。両方の和の出力は、撮像光学系のほぼ全領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換した信号である。投影像ＥＰ１ａとＥＰ１ｂの両方の領域は、撮像光学系の第３の瞳領域と対応する。

図３（Ａ）にて撮像光学系を通過する光束の最外光線をＬで示す。光束Ｌは、絞り１０２の開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮像光学系でケラレが殆ど発生していない。図３（Ｂ）では、光束ＬをＴＬ（符号１０２ａ参照）で示している。ＴＬで示す円形枠内には、光電変換部の投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれており、ケラレは殆ど発生していないことがわかる。光束Ｌは、絞りの開口板１０２ａでのみ制限されているため、ＴＬは、開口板１０２ａの開口形状に相当する。像面中央では各投影像ＥＰ１ａおよびＥＰ１ｂのケラレの状態は光軸に対して対称であり、各光電変換部２１１０ａおよび２１１０ｂが受光する光量は等しい。

図４は撮像装置において、撮像光学系の射出瞳面と、Ｘ方向に像高がある場合、すなわち像面周辺部に配置された撮像素子の光電変換部との共役関係を説明する図である。図３と同じ要素には、同じ符号を使用している。
図４（Ａ）にて被写体像を光電変換するための画素２１１１は、像面周辺部に配置されており、以下、「周辺画素」という。図４（Ａ）にて、Ｚ方向を光軸方向とし、Ｘ方向をＺ方向に直交する、紙面内の左右方向とする。周辺画素２１１１は、最下層より順に、光電変換部２１１１ａ及び２１１１ｂ、配線層２１１１ｅないし２１１１ｇ、カラーフィルタ２１１１ｈ、並びにオンチップマイクロレンズ２１１１ｉで構成される。２つの光電変換部２１１１ａ及び２１１１ｂはオンチップマイクロレンズ２１１１ｉによって撮像光学系の射出瞳面に投影される（光線ＣＬａ，ＣＬｂ参照）。換言すれば、撮像光学系の射出瞳が、オンチップマイクロレンズ２１１１ｉを介して、光電変換部の表面に投影されることになる。

図４（Ｂ）は、撮像光学系の射出瞳面上における、光電変換部の投影像を示す図である。Ｘ方向に直交する紙面内の上下方向をＹ方向とする。光電変換部２１１１ａ及び２１１１ｂに対する投影像を各々ＥＰ１ａおよびＥＰ１ｂに示す。周辺画素でも、投影像ＥＰ１ａ、ＥＰ１ｂが、射出瞳上で光軸対称に投影できるようにオンチップマイクロレンズ２１１１ｉの頂点位置を偏心させて対応している。

図４（Ａ）にて撮像光学系を通過する光束の最外光線をＬで示す。光束Ｌの図中左側の光線は、第１レンズ群１０１を保持する鏡筒部材１０１ｂにより規制されており、光束Ｌの図中右側の光線は、第３レンズ群１０５を保持する鏡筒部材１０５ｂにより規制されている。光束Ｌは、光電変換部２１１１ａ及び２１１１ｂに対する投影像ＥＰ１ａとＥＰ１ｂとの交わりを有しており、ケラレが発生していることが確認できる。

図４（Ｂ）では、光束ＬをＴＬ（斜線部）で示している。ＴＬは、投影像ＥＰ１ａとＥＰ１ｂの中心部に対して偏心した、鏡筒部材１０１ｂと鏡筒部材１０５ｂの射出瞳への投影像の内側となっている。この場合は、ＴＬに含まれる光電変換部の投影像ＥＰ１ａ、ＥＰ１ｂが全域ではないことから、ケラレが発生していることがわかる。また、各投影像ＥＰ１ａおよびＥＰ１ｂのケラレ状態は光軸に対して非対称である。光電変換部２１１１ａに比べて、光電変換部２１１１ｂが受光する光量は少ないことがわかる。本実施形態では、Ｘ方向に２分割した光電変換部をもつ撮像素子を使用する。このため、Ｘ方向に像高が高い画素では、２つの光電変換部で得られる出力に差が生じる。一方、Ｙ方向に像高が高い画素では、２つの光電変換部の並び方向（Ｘ方向）に対して垂直にケラレが発生するため、出力差はそれ程生じない。Ｘ方向にもＹ方向にも像高が高い画素では、斜め方向にケラレが発生するので、出力差が生じる。

図５は、均一な輝度面である被写体に対する、Ｘ方向に像高を持つ画素の受光量を例示するグラフである。横軸はＸ方向の画素位置を示し、縦軸は受光量を示す。Ｏａ、Ｏｂは、２つの光電変換部の受光量をそれぞれ示している。Ｘ＝０では、光電変換部２１１ａの受光量Ｏａと、光電変換部２１１ｂの受光量Ｏｂは等しい。Ｘ方向の像高が高い画素ほど、２つの光電変換部の出力差が顕著になる。

本実施形態では、像高によるケラレの差に鑑みて、撮像素子の出力信号を用いて焦点検出等を行う場合、演算信号に含まれるノイズが小さくなる画素信号を用いる。本実施形態の撮像素子は、各マイクロレンズ下に２つの光電変換部を有し、その出力は両方の光電変換部の出力の和と、片方の光電変換部の出力である。片方の光電変換部の出力とする際、２つのうちいずれの光電変換部から出力するかを像高に応じて切り替える制御が行われる。これにより、よりノイズの少ない出力信号を得ることができる。以下に、切り替え制御を詳細に説明する。

図６は、１つの画素内のいずれの光電変換部から信号を読み出すかについて説明する図である。図６には、横方向１６画素、縦方向１０画素の合計１６０画素のみを示す。図６では、Ｘ方向を紙面内の左右方向とし、Ｙ方向を上下方向とする。撮像範囲の中心である原点を、Ｘ方向及びＹ方向にそれぞれ延びる一点鎖線の軸同士の交点で示している。
図６の各画素２１１は、光電変換部２１１ａ、２１１ｂを有する。黒く塗りつぶして示す光電変換部は、単独で出力が読み出されることを表す。図６（Ａ）では、Ｘ座標が正の範囲の画素（Ｙ方向の中心線に対して図中左側の画素）は、光電変換部２１１ａから信号が読み出され、これは第１の像信号に対応する。また、Ｘ座標が負の範囲の画素（Ｙ方向の中心線に対して図中右側の画素）は、光電変換部２１１ｂから信号が読み出され、これは第２の像信号と対応する。

図４で説明した撮像光学系の場合、Ｘ座標が負の範囲の像高にある画素は、光電変換部２１１ｂの方がケラレの程度が大きい。反対に、Ｘ座標が正の範囲の像高にある画素は、光電変換部２１１ａの方がケラレの程度が大きい。本実施形態では、ケラレの影響が大きい方の光電変換部の出力を読み出す処理と、もう一方の光電変換部の出力を、２つの光電変換部の和の出力とケラレの影響が大きい方の光電変換部の出力との差分から算出する処理が行われる。換言すると、Ｘ座標が正値である画素で焦点検出領域を構成した場合でも、Ｘ座標が負値である画素で焦点検出領域を構成した場合でも、ケラレの影響が大きい方の光電変換部の出力、及び２つの光電変換部の和の出力で、焦点検出が行われる。この場合の位相差検出領域は、焦点検出領域と対応する。本実施形態の位相差検出演算では、撮像光学系における第１の瞳領域と第２の瞳領域をそれぞれ通過する光束について、撮像光学系のケラレにより低減される光量が大きい方に対応した像信号が撮像素子の画素群から出力される。この像信号は前記第１の像信号または第２の像信号であるので、一方の像信号から前記第３の像信号を用いて他方の像信号を算出することができる。画素群から出力される像信号と、算出される像信号を用いて位相差検出演算が実行される。その利点を、以下に説明する。

撮像素子１０７から得られる出力信号は、様々なノイズを含んでいる。１画素を構成する２つの光電変換部の出力の和の信号をＤａｂとし、単独で読み出される一方の光電変換部の出力をＤａとする。また、それぞれの信号に含まれる真の信号成分をＳａｂ、Ｓａとし、ノイズ成分をＮａｂ、Ｎａとすると、下記の関係式が成り立つ。
Ｄａｂ＝Ｓａｂ＋Ｎａｂ（数式１）
Ｄａ＝Ｓａ＋Ｎａ（数式２）
信号出力Ｄａｂ、Ｄａに含まれるノイズ成分の大きさの確率分布には、互いに独立なものと独立でないものがある。例えば、光ショットノイズは光電変換部で発生するため、Ｄａのノイズ成分Ｎａに含まれるノイズは、Ｄａｂのノイズ成分Ｎａｂに必ず含まれるため、独立ではない。一方、読み出しノイズについては、各信号Ｄａｂ、Ｄａにてそれぞれ読み出し時に発生するため、独立したノイズとして含まれる。そのため、数式１のＮａｂ、数式２のＮａは、２種類のノイズの総和となる。ここで、互いに独立したノイズをＮ１とし、独立でないノイズをＮ２とする。数式１、数式２は下記のように変形できる。
Ｄａｂ＝Ｓａｂ＋Ｎ１ａｂ＋Ｎ２ａｂ（数式１A）
Ｄａ＝Ｓａ＋Ｎ１ａ＋Ｎ２ａ（数式２A）
読み出しノイズのような互いに独立したノイズＮ１ａｂとＮ１ａの確率分布の標準偏差をそれぞれσａｂ、σａとする。

一方、焦点検出情報や３Ｄ画像の視差情報を得るために、いわゆる位相差検出を行う際には、撮像素子１０７から単独では出力されない光電変換部の出力が必要となる。その出力をＤｂと記すと、下式で算出できる。
Ｄｂ＝Ｄａｂ−Ｄａ（数式３）
数式３の右辺の各項に含まれる、互いに独立したノイズＮ１ａｂ、Ｎ１ａに起因してＤｂに含まれるノイズ成分Ｎｂの大きさの確率分布は、下式の標準偏差σｂをもつ。
σｂ＝（σａｂ²+σａ²）^1/2 （数式４）
標準偏差σａｂ、σａについては、読み出しノイズのような、出力される信号量に依存しないノイズが大半を占めると想定すると、「σａｂ≒σａ」の関係が成り立つ。その場合、数式４は下記のように計算できる。
σｂ＝（σａ²+σａ²）^1/2≒1.41×σａ（数式５）
つまり、撮像素子１０７から単独で出力される信号Ｄａと比べて、算出される信号Ｄｂでは、ノイズの絶対量が多くなる確率が高まり、標準偏差が大きくなる。

図６（Ａ）に示すＸ座標が正の範囲に配置される画素の場合、各出力の真の信号成分は、「Ｓａｂ（＝Ｓａ＋Ｓｂ）＞Ｓｂ＞Ｓａ」の関係となる。読み出される方の光電変換部は光電変換部２１１ａであるため、読み出しノイズ等の独立したノイズの標準偏差は「σｂ＞σａｂ≒σａ」となる。ノイズの絶対量としては、光電変換部２１１ｂ相当の出力（算出結果）の方が多くなるが、信号成分対ノイズ比（Ｓ/Ｎ比）を考えると、信号成分Ｓｂも多いため、ノイズ成分の増加の影響が小さい。

一般に、焦点検出を行うための２つの信号に関して、撮像光学系のケラレの影響による信号量の差を低減させるようにシェーディング補正が行われる。シェーディング補正では、信号量が少ないほど、より大きなゲインをかけて、信号量を増やすので、信号に含まれるノイズが増大する。本発明のように信号量の少ない信号においてノイズを増やさずに、信号量の多い信号のノイズを増やすように構成すると、シェーディング補正によるノイズ増大の影響を受けない。したがって、一方の光電変換部の出力信号Ｄａと、算出した他方の信号Ｄｂを取得することで、より高精度な焦点検出を行える。
このように、本実施形態では、より光量が少ない光電変換部の出力を、撮像素子から読み出すことにより、２つの出力信号の差分から得られる信号を用いて焦点検出演算を実行する際、演算する信号のノイズの影響を低減できる。結果的にＳ/Ｎ比が向上し、より高精度な焦点検出を実現できる。

図４の撮像光学系では、図６（Ａ）に示すように、相対的に光量の少ない方の光電変換部の出力を得る場合、Ｘ座標が正の範囲に配置される画素では光電変換部２１１ａから信号が読み出される。またＸ座標が負の範囲に配置される画素では光電変換部２１１ｂから信号が読み出される。しかし、撮像光学系の瞳、光束を制限する鏡筒部材の位置や大きさによっては、図６（Ａ）とは逆の配置とし、図６（Ｂ）に示すように、相対的に光量の少ない方の光電変換部の出力が得られる。図６（Ｂ）は、Ｘ座標が正の範囲に配置される画素では光電変換部２１１ｂから信号を読み出し、Ｘ座標が負の範囲に配置される画素では光電変換部２１１ａから信号が読み出す例を示す。要は撮像光学系に合わせて、信号を出力する光電変換部の配置としていずれか一方より読み出せばよい。但し、いずれの場合も、ケラレにより低減される光量が多い方の光電変換部の出力を得るものである。すなわち、前記第１の瞳領域または前記第２の瞳領域にて撮像光学系のケラレにより低減される光量が、所定の閾値以下の場合、撮像素子の画素は前記第１の像信号または前記第２の像信号を出力しない。

なお、図６（Ａ）や図６（Ｂ）に示す配置にて撮像素子の中央に焦点検出領域を設けた場合、焦点検出領域内で、信号を出力する光電変換部が切り替わるので、焦点検出を行う信号の連続性に問題が生じる可能性がある。そのような場合には、撮像素子の中心近傍にて、両方の光電変換部の出力が得られるように配置すればよい。そもそも、撮像素子の中心近傍では、２つの光電変換部の光量に大きな差はないので、どちらの出力を用いても、焦点検出時に発生する誤差は変わらない。撮像光学系の異なる瞳領域を通過する光束を受光する各光電変換部の出力を得る方法としては、１つの画素で、両方の光電変換部の出力が得られるように構成してもよいし、異なる画素で各出力が得られるように構成してもよい。

また、撮像光学系が交換可能なタイプ、つまり交換レンズを装着可能な撮像装置の場合、撮像光学系の瞳や、光束を制限する鏡筒部材の位置や大きさは、撮像光学系によって異なる。そのような場合、図６（Ｃ）のように、読み出す光電変換部を交互に配置すればよい。図６（Ｃ）は、第１画素では光電変換部２１１ｂから信号を読み出し、水平方向または垂直方向にて第１画素に隣接する第２画素では光電変換部２１１ａから信号を読み出す例を示す。使用する撮像光学系に応じて、読み出す光電変換部の出力が切り替えられる。また、全画素を読み出して、ケラレの影響が大きく光量の少ない方の信号出力と、２つの光電変換部の出力の和の信号の差分を用いて、焦点検出を行ってもよい。その場合、焦点検出に用いない信号が出力されることになるが、臨機応変に、焦点検出に使用する画素出力を選択することができる。読み出す光電変換部の配置については、これに限られない。例えば、行ごとに読み出す光電変換部を変更する等、各種の配置に本発明を適用できる。要は、前記第１の瞳領域と前記第２の瞳領域について撮像光学系のケラレの程度に応じて低減される光量を比較して、位相差検出演算に用いる信号を前記第１の像信号または前記第２の像信号に切り替える制御が行われる。

本実施形態では、撮像用の信号と、２つの焦点検出用の信号の全てを撮像素子から出力する場合に比べて、撮像素子上に必要な回路が減るので、コストダウンにつながる。読み出す信号量が少ないので、読み出し時間を短縮できるといった効果が得られる。

［その他の実施形態］
上述した撮像装置では、撮像光学系のケラレの影響に関し、相対的に光量が少ない方の光電変換部の出力を撮像素子から得る構成を例示して説明した。これに対して、相対的に光量が多い光電変換部の出力を撮像素子から得る方が、有利な場合がある。例えば、前記特許文献３に記載の撮像装置では、撮像用画素の信号出力と、撮像光学系の瞳領域の一部を通過する光束を受光する画素の信号出力により焦点検出を行う。この場合、撮像装置は、出力信号の差分演算によりノイズ増加の影響を受けることなく、２つの光電変換部の和である第３の像信号と、前記第１および第２の像信号のうち、相対的に光量の多い信号を選択して撮像素子から読み出して焦点検出演算を行う。撮像素子は、前記第１の瞳領域または第２の瞳領域にて撮像光学系のケラレにより低減される光量が閾値以上の場合、当該領域に対応する像信号を出力しない。したがって、より高精度な焦点検出を行える。

また、前記実施形態では、撮像素子の全画素がそれぞれ２つの光電変換部を有し、各画素から２つの信号を出力可能な構成を例示した。しかし、画素の構成方法については限定されない。例えば、前記特許文献４に記載の撮像装置のように、撮像光学系の瞳領域のほぼ全領域を受光する撮像画素と、撮像光学系の瞳領域の一部の光束を受光する焦点検出用画素を別の画素として有してもよい。この場合、対をなす焦点検出用信号のうち、一方の信号には、撮像用画素が出力した信号を用い、もう一方の信号には、焦点検出用画素近傍の撮像用画素の出力と焦点検出用画素の出力との差分を用いる。

前記実施形態では、撮像光学系の異なる瞳の領域を通過した光束を受光して得られる信号を用いて焦点検出を行う。用途についてはこれに限らず、例えば、３Ｄ（３次元）画像生成のための視差情報を算出する処理や、デフォーカスマップの作成処理がある。位相差検出演算は、これらの用途の演算をすべて含む。

なお、１つの画素内において、２つの光電変換部をＸ方向に配置した構成は例示であり、光電変換部の配置および方向、数は限定されない。例えば、光電変換部をＹ方向に配置してもよいし、光電変換部を２×２個に４分割した構成でもよい。４分割したそれぞれの光電変換部の出力の和と、ケラレの影響が大きい上位３つ、またはケラレの影響が小さい下位３つの光電変換部の出力を用いて、位相差検出演算を行うことにより、上述した効果を得ることができる。このように本発明は、１画素内に３以上の光電変換部を備える撮像素子に適用可能であり、撮像素子の画素群は、撮像光学系の異なる瞳部分領域をそれぞれ通過した光束を光電変換し、３以上の瞳部分領域の像信号を出力する。この場合、位相差検出領域において、複数の瞳部分領域に対応する画素群のうち、撮像光学系のケラレにより低減される光量が、最も大きい画素群または最も小さい画素群を含まない前記瞳部分領域の像信号が出力される。この像信号と、瞳のほぼ全領域の像信号を用いて位相差検出演算が行われる。

１０１ないし１０３，１０５撮像光学系
１０７撮像素子
１２１ＣＰＵ
１２６フォーカス駆動回路
２１１ａ，２１１ｂ光電変換部

Claims

撮像光学系により形成された被写体像を光電変換する複数の光電変換部を有する画素を備える撮像素子と、前記画素の信号を用いて位相差検出演算を行う演算手段を備え、
前記撮像素子は、前記撮像光学系の瞳の一部の領域である第１の瞳領域を通過した光束を光電変換した第１の像信号を出力する画素群と、
前記撮像光学系の瞳の一部の領域であって、かつ前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を光電変換した第２の像信号を出力する画素群と、
前記撮像光学系の瞳の全領域を通過した光束を光電変換した第３の像信号を出力する画素群を有しており、
前記演算手段は、前記撮像素子に係る位相差検出領域において、前記第３の像信号と、前記第１の瞳領域および前記第２の瞳領域のうち前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が大きい方の瞳領域に対応する前記第１の像信号及び前記第２の像信号のいずれか１方とを用いて位相差検出演算を行うことを特徴とする撮像装置。
撮像光学系により形成された被写体像を光電変換する複数の光電変換部を有する画素を備える撮像素子と、前記画素の信号を用いて位相差検出演算を行う演算手段を備え、
前記撮像素子は、前記撮像光学系の瞳の一部の領域である第１の瞳領域を通過した光束を光電変換した第１の像信号を出力する画素群と、
前記撮像光学系の瞳の一部の領域であって、かつ前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を光電変換した第２の像信号を出力する画素群と、
前記撮像光学系の瞳の全領域を通過した光束を光電変換した第３の像信号を出力する画素群を有しており、
前記演算手段は、前記撮像素子に係る位相差検出領域において、前記第３の像信号と、前記第１の瞳領域および前記第２の瞳領域のうち前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が小さい方の瞳領域に対応する前記第１の像信号及び前記第２の像信号のいずれか１方とを用いて位相差検出演算を行うことを特徴とする撮像装置。
前記撮像素子は、前記第１の瞳領域または前記第２の瞳領域に係る前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が閾値以下の場合、当該領域に対応する像信号を出力しないことを特徴とする請求項１に記載の撮像装置。
前記撮像素子は、前記第１の瞳領域または前記第２の瞳領域に係る前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が閾値以上の場合、当該領域に対応する像信号を出力しないことを特徴とする請求項２に記載の撮像装置。
前記演算手段は、前記第３の像信号と前記第１の像信号との差分信号および前記第１の像信号、または、前記第３の像信号と前記第２の像信号との差分信号および前記第２の像信号を用いて位相差検出演算を行うことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
前記画素はそれぞれ、前記第１の像信号もしくは前記第２の像信号および前記第３の像信号を出力することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
前記演算手段は、前記撮像光学系のケラレの程度に応じて、前記位相差検出演算に用いる信号を前記第１の像信号または前記第２の像信号に切り替えることを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
前記撮像素子が出力した前記第３の像信号を取得して撮影画像データを記録媒体に記録する記録処理手段を備えることを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
前記記録処理手段は、前記撮像素子が出力した前記第１の像信号もしくは前記第２の像信号および前記第３の像信号を取得して記録媒体に記録することを特徴とする請求項８に記載の撮像装置。
前記演算手段が位相差検出演算により算出した焦点ずれ量を取得して前記撮像光学系の焦点調節を行う焦点調節手段を備えることを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
撮像光学系により形成された被写体像を光電変換する複数の光電変換部を有する画素を備える撮像素子と、前記画素の信号を用いて位相差検出演算を行う演算手段を備え、
前記撮像素子は、前記撮像光学系の瞳の全領域を通過した光束を光電変換して瞳の全領域の像信号を出力する画素群と、
前記撮像光学系の異なる瞳部分領域をそれぞれ通過した光束を光電変換して複数の瞳部分領域の像信号を出力する複数の画素群を有しており、
前記演算手段は、前記撮像素子に係る位相差検出領域において、前記瞳部分領域に対応する画素群のうち、前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が、最も大きい画素群または最も小さい画素群を含まない前記瞳部分領域の像信号と、前記瞳の全領域の像信号を用いて位相差検出演算を行うことを特徴とする撮像装置。
撮像光学系により形成された被写体像を光電変換する複数の光電変換部を有する画素を備える撮像素子と、前記画素の信号を用いて位相差検出演算を行う演算手段を備える撮像装置にて実行される制御方法であって、
前記撮像素子の画素群から、前記撮像光学系の瞳の一部の領域である第１の瞳領域を通過した光束を光電変換した第１の像信号を出力するステップと、
前記撮像素子の画素群から、前記撮像光学系の瞳の一部の領域であって、かつ前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を光電変換した第２の像信号を出力するステップと、
前記撮像素子の画素群から、前記撮像光学系の瞳の全領域を通過した光束を光電変換した第３の像信号を出力するステップと、
前記演算手段により、前記第３の像信号および前記第１の像信号もしくは前記第２の像信号を用いて、前記撮像素子に係る位相差検出演算を行う演算ステップを有し、
前記演算ステップにて、前記演算手段は、前記第１の瞳領域および前記第２の瞳領域について前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量に応じて、前記第１の像信号と前記第２の像信号を切り替えて位相差検出演算を行うことを特徴とする撮像装置の制御方法。
撮像光学系により形成された被写体像を光電変換する複数の光電変換部を有する画素を備える撮像素子と、前記画素の信号を用いて位相差検出演算を行う演算手段を備える撮像装置にて実行される制御方法であって、
前記撮像素子の画素群から、前記撮像光学系の瞳の全領域を通過した光束を光電変換して瞳の全領域の像信号を出力するステップと、
前記撮像素子の画素群から、前記撮像光学系の異なる瞳部分領域をそれぞれ通過した光束を光電変換して複数の瞳部分領域の像信号を出力するステップと、
前記演算手段により、前記撮像素子に係る位相差検出領域において、前記瞳部分領域に対応する画素群のうち、前記撮像光学系の光軸に対する像高方向に対応してケラレにより低減される光量が、最も大きい画素群または最も小さい画素群を含まない前記瞳部分領域の像信号と、前記瞳の全領域の像信号を用いて位相差検出演算を行うステップを有することを特徴とする撮像装置の制御方法。