JP6460669B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向や距離情報をも取得可能な撮像装置が知られている。

特許文献１では、撮像装置において、瞳分割方式の焦点検出が可能な技術が開示されている。特許文献１では、１つの画素は２つのフォトダイオードを有しており（以下、これらを分割画素という）、各フォトダイオードは１つのマイクロレンズによって撮影レンズの異なる瞳を通過した光を受光する。したがって、２つのフォトダイオードからの出力信号波形を比較することで、瞳分割位相差ＡＦや距離検出用画像の取得が可能となる。また、２つのフォトダイオードからの出力信号を加算することで、通常の撮像画像を得ることができる。

また、特許文献２では、撮像装置において、いわゆる光走行時間法、あるいはＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の測距が可能な技術が開示されている。特許文献２には、１つの画素は１つのフォトダイオードに対して２つのフローティングディフュージョンと２つの転送スイッチを有している。そして、投射光のパルスタイミングに同期し、２つの転送スイッチを交互に開閉させることで、反射光により発生した電荷を１つのフォトダイオードから２つのフローティングディフュージョンへ配分する。その電荷の配分比から被写体までの距離を推定することができる。

特開２００１−１２４９８４号公報 国際公開第２００７／０２６７７７号

しかし、瞳分割方式の焦点検出は、被写体の明暗を用いたコントラスト方式等に比べて、測距の高速化が可能であるが、被写界深度が深い状況や、また画像周辺部など、光学的な諸条件によっては位相差が得られにくい。そのため、瞳分割方式の焦点検出は、良好な測距や距離検出用画像の取得を行うことが難しい。一方で、光走行時間法は、画素単位で距離情報の取得が可能であるが、遠距離被写体に対して投射光が届かない場合や反射率の低い被写体に対して測定が困難な状況が想定される。

本発明の目的は、状況に応じた好適な距離測定を行うことができる撮像装置を提供することである。

本発明の撮像装置は、同一のマイクロレンズを介して受光した光を電荷に変換する第１及び第２の光電変換部と、前記第１の光電変換部の電荷をそれぞれ異なる電荷蓄積部に転送する第１及び第２の転送スイッチと、前記第２の光電変換部の電荷をそれぞれ異なる電荷蓄積部に転送する第３及び第４の転送スイッチと、複数の駆動において転送された電荷に基づいて被写体までの距離を位相差方式又は光走行時間法によって演算する距離演算部とを有し、撮影レンズの絞り値に応じて前記第１乃至第４の転送スイッチを駆動するための前記複数の駆動を行うことを特徴とする。

光学的な諸条件に応じた好適な距離測定を行うことができる。

撮像装置の構成例を示す図である。 画素の配置図である。 撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。 第１の実施形態における単位画素の構成例を示す回路図である。 第１の実施形態における単位画素の構成例を示す模式図である。 第１の実施形態における読み出し回路の構成例を示す図である。 第１の駆動方法を示すタイミングチャートである。 第２の駆動方法を示すタイミングチャートである。 第３の駆動方法を示すタイミングチャートである。 被写体のＡ像信号及びＢ像信号の像崩れを説明する模式図である。 射出瞳から出る光束とレンズ絞りとの関係を説明する概念図である。 光走行時間法に係るパルスタイミングを説明する模式図である。 撮像動作を説明するフローチャートである。 第２の実施形態における単位画素の構成例を示す回路図である。 第２の実施形態における単位画素の構成例を示す模式図である。 第２の実施形態における撮像素子の構成例を示す図である。 第４の駆動方法を示すタイミングチャートである。 撮像動作を説明するフローチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置１００の構成例を示すブロック図である。撮影レンズ１０１を通過した光は、レンズ絞り２０４を介して、撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は、複数のマイクロレンズ１０２０を有し、撮影レンズ１０１の焦点位置近傍に配置され、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域毎に分割して出射する。撮像素子１０３は、複数の画素を有し、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子である。１つのマイクロレンズ１０２０に対して複数の画素が対応するように配置される。これにより、マイクロレンズ１０２０で瞳領域毎に分割して出射された光は、分割情報を保ったまま受光され、データ処理可能な画像信号に変換される。

アナログ信号処理回路（ＡＦＥ）１０４は、撮像素子１０３から出力される画像信号に対して、相関二重サンプリング処理、信号増幅、基準レベル調整、アナログ／デジタル（Ａ／Ｄ）変換処理等を行う。デジタル信号処理回路（ＤＦＥ）１０５は、アナログ信号処理回路１０４から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。

画像処理回路１０６は、デジタル信号処理回路１０５から出力された画像信号に対して、後述するＡ像及びＢ像の相関演算、焦点検出、また所定の画像処理や欠陥補正等を施す。メモリ回路１０７及び記録回路１０８は、画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

制御回路１０９は、撮影レンズ１０１、撮像素子１０３、画像処理回路１０６、操作回路１１０、表示回路１１１及び発光装置１１２等の撮像装置全体を駆動・制御する。操作回路１１０は、撮像装置１００に備え付けられた操作部材からの信号を入力し、制御回路１０９に対してユーザーの命令を出力する。表示回路１１１は、撮像後の画像やライブビュー画像、各種設定画面等を表示する。発光装置１１２は、制御回路１０９からの信号ＰＬＩＧＨＴ（図８及び図９）に応じて発光を行う。

次に、本実施形態の撮像装置１００における撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の関係と、画素の定義、及び瞳分割方式による焦点検出の原理を説明する。

図２は、撮像素子１０３及びマイクロレンズ１０２０を図１の光軸Ｚ方向から観察した図である。本実施形態では、１つのマイクロレンズ１０２０を１つの単位画素２００とする。撮像素子１０３は、行列状に配置された複数の単位画素２００を有する。また、複数の単位画素２００の各々は、Ｘ軸方向に並ぶ２個の分割画素２０１Ａ及び２０１Ｂを有する。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。瞳領域２０２及び２０３は、撮影レンズ１０１の射出瞳の領域である。瞳領域２０２及び２０３を通過した光は、光軸Ｚを中心として単位画素２００に入射する。瞳領域２０２を通過する光束は、マイクロレンズ１０２０を通して分割画素２０１Ａで受光される。瞳領域２０３を通過する光束は、マイクロレンズ１０２０を通して分割画素２０１Ｂで受光される。したがって、分割画素２０１Ａ及び２０１Ｂは、それぞれ、撮影レンズ１０１の異なる瞳領域２０２及び２０３の光を受光している。

ここで、複数の単位画素２００内の分割画素２０１Ａの信号群で構成した被写体像をＡ像とする。同様に、複数の単位画素２００内の分割画素２０１Ｂの信号群で構成した被写体像をＢ像とする。画像処理回路１０６は、Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに、画像処理回路１０６は、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画像内の任意の被写体位置に対応した焦点位置を算出することができる。制御回路１０９は、算出された焦点位置情報を基に、撮影レンズ１０１のフォーカスを制御することで瞳分割位相差検出によるオートフォーカスが可能となる。また、画像処理回路１０６は、Ａ像信号とＢ像信号とを加算してＡ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮像画像に用いることができる。

図４は、単位画素２００の構成例を示す回路図である。単位画素２００は、第１のフォトダイオード（第１の光電変換部）３０１Ａ及び第２のフォトダイオード（第２の光電変換部）３０１Ｂを有する。第１のフォトダイオード３０１Ａは分割画素２０１Ａに対応し、第２のフォトダイオード３０１Ｂは分割画素２０１Ｂに対応する。第１のフォトダイオード３０１Ａには２つの転送スイッチ３０２Ａ及び３０２Ｃが接続され、第２のフォトダイオード３０２Ｂには２つの転送スイッチ３０２Ｂ及び３０２Ｄが接続される。転送スイッチ３０２Ａ〜３０２Ｄには、それぞれ、フローティングディフュージョン３０３Ａ〜３０３Ｄが接続される。フローティングディフュージョン３０３Ａ〜３０３Ｄには、それぞれ、リセットスイッチ３０４Ａ〜３０４Ｄ及びソースフォロアアンプ３０５Ａ〜３０５Ｄが接続される。ソースフォロアアンプ３０５Ａ〜３０５Ｄには、それぞれ、セレクトスイッチ３０６Ａ〜３０６Ｄが接続される。ここで、リセットスイッチ３０４Ａと３０４Ｂ及びソースフォロアアンプ３０５Ａと３０５Ｂのドレインは、基準電位（ＶＤＤ）３０８のノードに接続されている。同様に、リセットスイッチ３０４Ｃと３０４Ｄ及びソースフォロアアンプ３０５Ｃと３０５Ｄのドレインは、基準電位（ＶＤＤ）３０８のノードに接続されている。

第１のフォトダイオード３０１Ａ及び第２のフォトダイオード３０１Ｂは、同一のマイクロレンズ１０２０を介して受光した光を電荷に変換する。第１の転送スイッチ３０２Ａは、フォトダイオード３０１Ａで発生した電荷をフローティングディフュージョン３０３Ａに転送する。第３の転送スイッチ３０２Ｂは、フォトダイオード３０１Ｂで発生した電荷をフローティングディフュージョン３０３Ｂに転送する。第２の転送スイッチ３０２Ｃは、フォトダイオード３０１Ａで発生した電荷をフローティングディフュージョン３０３Ｃに転送する。第４の転送スイッチ３０２Ｄは、フォトダイオード３０１Ｂで発生した電荷をフローティングディフュージョン３０３Ｄに転送する。転送スイッチ３０２Ａ〜３０２Ｄは、それぞれ、転送パルス信号ＰＴＸＡ〜ＰＴＸＤによって制御される。

第１の転送スイッチ３０２Ａは、第１のフォトダイオード３０１Ａの電荷を第１のフローティングディフュージョン（第１の電荷蓄積部）３０３Ａに転送する。第２の転送スイッチ３０２Ｃは、第１のフォトダイオード３０１Ａの電荷を第２のフローティングディフュージョン（第２の電荷蓄積部）３０３Ｃに転送する。第３の転送スイッチ３０２Ｂは、第２のフォトダイオード３０１Ｂの電荷を第３のフローティングディフュージョン（第３の電荷蓄積部）３０３Ｂに転送する。第４の転送スイッチ３０２Ｄは、第２のフォトダイオード３０１Ｂの電荷を第４のフローティングディフュージョン（第４の電荷蓄積部）３０３Ｄに転送する。転送スイッチ３０２Ａ及び３０２Ｃは、フォトダイオード３０１Ａの電荷をそれぞれ異なるフローティングディフュージョン３０３Ａ及び３０３Ｃに転送する。転送スイッチ３０２Ｂ及び３０２Ｄは、フォトダイオード３０１Ｂの電荷をそれぞれ異なるフローティングディフュージョン３０３Ｂ及び３０３Ｄに転送する。

フローティングディフュージョン３０３Ａ〜３０３Ｄは、電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部である。リセットスイッチ３０４Ａ〜３０４Ｄは、それぞれ、フローティングディフュージョン３０３Ａ〜３０３Ｄの電位を基準電位３０８にリセットする。リセットスイッチ３０４Ａ〜３０４Ｄは、リセットパルス信号ＰＲＥＳによって制御される。

ソースフォロアアンプ３０５Ａ〜３０５Ｄは、それぞれ、ＭＯＳトランジスタと基準電位３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３Ａ〜３０３Ｄに保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。セレクトスイッチ３０６Ａ〜３０６Ｄは、それぞれ、ソースフォロアアンプ３０５Ａ〜３０５Ｄで増幅された画素信号を垂直出力線３０７Ａ〜３０７Ｄに出力する。垂直出力線３０７Ａ〜３０７Ｄは、図６に示すように、同じ列の単位画素２００で共有される。セレクトスイッチ３０６Ａ〜３０６Ｄは、セレクトパルス信号ＰＳＥＬによって制御される。

図５は、単位画素２００の構成例を示すレイアウト図である。図４に示したように、フォトダイオード３０１Ａは、両端に２つの転送スイッチ３０２Ａ及び３０２Ｃが接続され、転送スイッチ３０２Ａ及び３０２Ｃのどちらによっても電荷を転送できる。同様に、フォトダイオード３０１Ｂは、両端に２つの転送スイッチ３０２Ｂ及び３０２Ｄが接続され、転送スイッチ３０２Ｂ及び３０２Ｄのどちらによっても電荷を転送できる。転送スイッチ３０２Ａ〜３０２Ｄは、それぞれ、フローティングディフュージョン３０３Ａ〜３０３Ｄに接続される。

図６は、撮像素子１０３の読み出し回路の構成例を示す図である。撮像素子１０３は、行列状に配置された複数の単位画素２００を有する。なお、図６では、単位画素２００を４行３列の計１２個として図示するが、実際は数百万、数千万の単位画素２００で構成される。また、単位画素２００は、ベイヤー配列に従って並べられ、それぞれ、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが設けられる。ここでは、発光装置１１２の投射光として赤外光を用いるため、又はより反射光の受光効率を上げるため、赤外フィルタ又は透明フィルタを形成してもよい。垂直シフトレジスタ４０１は、各行毎に接続される信号線４０２を介して、各行の単位画素２００を選択・駆動する。単位画素２００のフローティングディフュージョン３０３Ａ〜３０３Ｄで変換された信号は、それぞれ、垂直出力線３０７Ａ〜３０７Ｄを通り、列回路４０３に入力される。列回路４０３で処理された信号は、水平シフトレジスタ４０４により、水平出力線４０５及び４０６を通り、出力アンプ４０７に転送される。

次に、列回路４０３の回路構成を説明する。クランプ容量（Ｃ０）４０８は、垂直出力線３０７Ａ〜３０７Ｄ及びオペアンプ４１０の入力端子間に接続される。フィードバック容量（Ｃｆ）４０９は、オペアンプ４１０の入力端子及び出力端子間に接続される。基準電源４１１は、基準電圧Ｖｒｅｆをオペアンプ４１０に供給する。スイッチ４１２は、フィードバック容量４０９の両端をショートさせるためのスイッチである。スイッチ４１２は、リセット信号ＰＣ０Ｒで制御される。容量（ＣＴＳ）４１３及び容量（ＣＴＮ）４１４は、信号電圧を保持するための容量である。スイッチ４１５及び４１６は、それぞれ、容量４１３及び４１４への書き込みを制御するスイッチである。スイッチ４１５は信号ＰＴＳで制御され、スイッチ４１６は信号ＰＴＮで制御される。スイッチ４１７及び４１８は、水平シフトレジスタ４０４からの信号を入力し、それぞれ、水平出力線４０５及び４０６を介して、出力アンプ４０７に信号を出力する。スイッチ４１７は水平シフトレジスタ４０４の信号ＰＨＳで制御され、スイッチ４１８は信号ＰＨＮで制御される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を出力する。

図７は、本実施形態による撮像装置の１００の第１の駆動方法を示すタイミングチャートである。第１の駆動方法は、通常撮影及び瞳分割位相差検出における画素信号読み出し方法を示す。第１の駆動方法は、２つのフォトダイオード３０１Ａ及び３０１Ｂで発生した電荷をそれぞれ１つずつのフローティングディフュージョン３０３Ａ及び３０３Ｂに転送する。

始めに、期間ＨＢＬＫでは、信号ＰＲＥＳがハイレベルの状態であり、リセットスイッチ３０４Ａ及び３０４Ｂは、オンし、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂをリセットする。時刻ｔ１では、信号ＰＴＸＡ及びＰＴＸＢがハイレベルになり、転送スイッチ３０２Ａ及び３０２Ｂは、オンし、それぞれ、フォトダイオード３０１Ａ及び３０１Ｂをリセットする。時刻ｔ２では、信号ＰＴＸＡ及びＰＴＸＢがローレベルとなり、転送スイッチ３０２Ａ及び３０２Ｂがオフし、フォトダイオード３０１Ａ及び３０１Ｂの電荷蓄積が開始する。ここで、リセットのためにオン／オフする転送スイッチは、電荷蓄積後に電荷転送に用いるものに限らず、この例では信号ＰＴＸＣ及びＰＴＸＤによる転送スイッチ３０２Ｃ及び３０２Ｄを使用してもよい。

電荷蓄積開始後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ａ及び３０６Ｂがオンし、ソースフォロアアンプ３０５Ａ及び３０５Ｂが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ａ及び３０４Ｂはオフし、フローティングディフュージョン３０３Ａ及び３０３Ｂのリセットが解除される。ソースフォロアアンプ３０５Ａ及び３０５Ｂは、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂの電圧を増幅し、垂直出力線３０７Ａ及び３０７Ｂを介して、列回路４０３にリセット信号レベル（ノイズ成分）として出力する。

列回路４０３において、時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０の基準電圧出力状態を解除する。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号は、容量４１４にリセット信号レベルとして書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。

次に、時刻ｔ８では、信号ＰＴＸＡ及びＰＴＸＢがハイレベルになり、転送スイッチ３０２Ａ及び３０２Ｂは、オンし、それぞれ、フォトダイオード３０１Ａ及び３０１Ｂに蓄積された光電荷をフローティングディフュージョン３０３Ａ、３０３Ｂに転送する。すると、電荷量に応じたフローティングディフュージョン３０３Ａ及び３０３Ｂの電位変動がそれぞれ垂直出力線３０７Ａ及び３０７Ｂに光信号レベル（光成分＋ノイズ成分）として出力され、列回路４０３に入力される。時刻ｔ１０では、信号ＰＴＸＡ及びＰＴＸＢがローレベルになり、転送スイッチ３０２Ａ及び３０２Ｂは、オフし、上記の転送が終了する。以上のように、転送スイッチ３０２Ａ及び３０２Ｂは、同じタイミングで転送を行う。

列回路４０３において、時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号は、容量４１３に光信号レベルとして書き込まれる。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。なお、容量４１３及び容量４１４に信号を書き込む際、オペアンプ４１０は、クランプ容量４０８とフィードバック容量４０９の容量値の比に応じた反転ゲインで増幅して出力する。

その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ａ及び３０４Ｂは、オンし、フローティングディフュージョン３０３Ａ及び３０３Ｂをリセット状態にする。

次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、信号ＰＨＳ及びＰＨＮのパルスにより、各列の列回路４０３内のスイッチ４１７及び４１８が順次オンする。すると、容量４１３及び４１４に保持された信号は、水平出力線４０５及び４０６を介して、出力アンプ４０７に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分の信号（光成分）を出力する。

この後、通常撮影として駆動される場合、画像処理回路１０６は、加算部であり、フォトダイオード３０１Ａ及び３０１Ｂから転送された電荷に基づく信号を加算して撮像画像としてもよい。一方、瞳分割位相差検出時は、画像処理回路１０６は、前述したＡ像とＢ像に対する相関演算を施し、距離情報を取得する。また、この場合、画像処理回路１０６は、距離情報取得後に、Ａ像とＢ像の信号を加算するなどしてもよい。

なお、第１の駆動方法では、転送スイッチ３０２Ａ及び３０２Ｂの組み合わせを用いたが、転送スイッチ３０２Ａ及び３０２Ｄの組み合わせ又は転送スイッチ３０２Ｂ及び３０２Ｃの組み合わせを用いることもできる。それは、水平転送や後段の処理回路等の仕様に応じて適宜決めることができる。

図８は、本実施形態による撮像装置１００の第２の駆動方法を示すタイミングチャートである。第２の駆動方法は、光走行時間測距時における第２の画素信号読み出し方法を示す。第２の駆動方法は、１つのフォトダイオード３０１Ａで発生した電荷を異なるフローティングディフュージョン３０３Ａ及び３０３Ｃに転送する。

始めに、期間ＨＢＬＫでは、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ａ及び３０４Ｃは、オンし、フローティングディフュージョン３０３Ａ及び３０３Ｃをリセットする。時刻ｔ１では、信号ＰＴＸＡ及びＰＴＸＣがハイレベルになり、転送スイッチ３０２Ａ及び３０２Ｃは、オンし、フォトダイオード３０１Ａをリセットする。時刻ｔ２では、信号ＰＴＸＡ及びＰＴＸＣがローレベルになり、フォトダイオード３０１Ａの電荷蓄積を開始する。

蓄積開始後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ａ及び３０６Ｃがオンし、ソースフォロアアンプ３０５Ａ及び３０５Ｃが動作状態となる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ａ及び３０４Ｃは、オフし、フローティングディフュージョン３０３Ａ及び３０３Ｃのリセットが解除される。ソースフォロアアンプ３０５Ａ及び３０５Ｃは、フローティングディフュージョン３０３Ａ及び３０３Ｃの電圧を増幅し、垂直出力線３０７Ａ及び３０７Ｃを介して、列回路４０３にリセット信号レベル（ノイズ成分）として出力する。

列回路４０３において、時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０の基準電圧出力状態を解除する。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号は、容量４１４にリセット信号レベルとして書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。

次に、時刻ｔ８では、信号ＰＴＸＡがハイレベルになり、転送スイッチ３０２Ａは、オンし、フォトダイオード３０１Ａに蓄積された光電荷をフローティングディフュージョン３０３Ａに転送開始する。その後、時刻ｔ９では、信号ＰＬＩＧＨＴがハイレベルになり、発光装置１１２はパルス光の投射を開始する。時刻ｔ１０では、信号ＰＴＸＡがローレベルになり、転送スイッチ３０２Ａは、オフし、フローティングディフュージョン３０３Ａへの転送が終了する。また、時刻ｔ１０では、信号ＰＴＸＣがハイレベルになり、転送スイッチ３０２Ｃは、オンし、フォトダイオード３０１Ａに蓄積された光電荷をフローティングディフュージョン３０３Ｃに転送開始する。そして、時刻ｔ１１では、信号ＰＬＩＧＨＴがローレベルになり、発光装置１１２はパルス光の投射を終了する。時刻ｔ１２では、信号ＰＴＸＣがローレベルになり、転送スイッチ３０２Ｃはオフし、フローティングディフュージョン３０３Ｃへの転送が終了する。以上のように、時刻ｔ８〜ｔ１０の第１の期間では転送スイッチ３０２Ａが転送を行い、その後の時刻ｔ１０〜ｔ１２の第２の期間では転送スイッチ３０２Ｃが転送を行う。

フローティングディフュージョン３０３Ａ及び３０３Ｃの電位変動は、垂直出力線３０７Ａ及び３０７Ｃを介して、列回路４０３に光信号レベル（光成分＋ノイズ成分）として出力される。列回路４０３において、時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号は、容量４１３に光信号レベルとして書き込まれる。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。なお、オペアンプ４１０は、クランプ容量４０８とフィードバック容量４０９の容量値の比に応じた反転ゲインで増幅して出力する。

その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ａ及び３０４Ｃは、オンし、フローティングディフュージョン３０３Ａ及び３０３Ｃをリセット状態にする。

次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、信号ＰＨＳ及びＰＨＮのパルスにより、各列の列回路４０３内のスイッチ４１７及び４１８が順次オンする。すると、容量４１３及び４１４に保持された信号は、水平出力線４０５及び４０６を介して、出力アンプ４０７に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分の信号（光成分）を出力する。

画像処理回路１０６は、距離演算部であり、時刻ｔ８〜ｔ１０の第１の期間に転送された電荷に基づく信号と時刻ｔ１０〜ｔ１２の第２の期間に転送された電荷に基づく信号の比から反射光の投射光に対する遅延時間を算出し、被写体までの距離情報を取得する。また、画像処理回路１０６は、転送スイッチ３０２Ａ（３０２Ｂ）と転送スイッチ３０２Ｃ（３０２Ｄ）とを順次駆動して得られた異なる信号を、加算するなどしてもよい。

図９は、本実施形態による第３の駆動方法を示すタイミングチャートである。第３の駆動方法は、光走行時間測距時における第３の画素信号読み出し方法を示す。第３の駆動方法は、図８のフォトダイオード３０１Ａ側に加えて、フォトダイオード３０１Ｂ側も同時に使用して読み出す。

始めに、期間ＨＢＬＫでは、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ａ〜３０４Ｄは、オンし、フローティングディフュージョン３０３Ａ〜３０３Ｄをリセットする。時刻ｔ１では、信号ＰＴＸＡ〜ＰＴＸＤがハイレベルになり、転送スイッチ３０２Ａ〜３０２Ｄは、オンし、フォトダイオード３０１Ａ及び３０１Ｂをリセットする。時刻ｔ２では、信号ＰＴＸＡ〜ＰＴＸＤがローレベルになり、転送スイッチ３０２Ａ〜３０２Ｄがオフし、フォトダイオード３０１Ａ及び３０１Ｂの電荷蓄積が開始する。

蓄積開始後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ａ〜３０６Ｄは、オンし、ソースフォロアアンプ３０５Ａ〜３０５Ｄを動作状態にする。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ａ〜３０４Ｄは、オフし、フローティングディフュージョン３０３Ａ〜３０３Ｄのリセットを解除する。ソースフォロアアンプ３０５Ａ〜３０５Ｄは、フローティングディフュージョン３０３Ａ〜３０３Ｄの電圧を増幅し、垂直出力線３０７Ａ〜３０７Ｄを介して、列回路４０３にリセット信号レベル（ノイズ成分）として出力する。

列回路４０３において、時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０の基準電圧出力状態を解除する。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号は、容量４１４にリセット信号レベルとして書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。

次に、時刻ｔ８では、信号ＰＴＸＡ及びＰＴＸＢがハイレベルになり、転送スイッチ３０２Ａ及び３０２Ｂは、オンし、フォトダイオード３０１Ａ、３０１Ｂに蓄積された光電荷をフローティングディフュージョン３０３Ａ及び３０３Ｂに転送開始する。その後、時刻ｔ９では、信号ＰＬＩＧＨＴがハイレベルになり、発光装置１１２は、パルス光の投射を開始する。時刻ｔ１０では、信号ＰＴＸＡ及びＰＴＸＢがローレベルになり、転送スイッチ３０２Ａ及び３０２Ｂがオフし、フローティングディフュージョン３０３Ａ及び３０３Ｂへの転送が終了する。また、時刻ｔ１０では、信号ＰＴＸＣ及びＰＴＸＤがハイレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄは、オンし、フォトダイオード３０１Ａ及び３０１Ｂに蓄積された光電荷をフローティングディフュージョン３０３Ｃ及び３０３Ｄに転送開始する。時刻ｔ１１では、信号ＰＬＩＧＨＴがローレベルになり、発光装置１１２は、パルス光の投射を終了する。時刻ｔ１２では、信号ＰＴＸＣ及びＰＴＸＤがローレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄは、オフし、フローティングディフュージョン３０３Ｃ及び３０３Ｄへの転送が終了する。以上のように、時刻ｔ８〜ｔ１０の第１の期間では転送スイッチ３０２Ａ及び３０２Ｂが転送を行い、その後の時刻ｔ１０〜ｔ１２の第２の期間では転送スイッチ３０２Ｃ及び転送スイッチ３０２Ｄが転送を行う。

電荷量に応じたフローティングディフュージョン３０３Ａ〜３０３Ｄの電位変動は、垂直出力線３０７Ａ〜３０７Ｄを介して、列回路４０３に光信号レベル（光成分＋ノイズ成分）として出力される。列回路４０３において、時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号は、容量４１３に光信号レベルとして書き込まれる。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。なお、オペアンプ４１０は、クランプ容量４０８とフィードバック容量４０９の容量値の比に応じた反転ゲインで増幅して出力する。

その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ａ〜３０４Ｄは、オンし、フローティングディフュージョン３０３Ａ〜３０３Ｄをリセット状態にする。

次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、信号ＰＨＳ及びＰＨＮのパルスにより、各列の列回路４０３内のスイッチ４１７及び４１８が順次オンする。すると、容量４１３及び４１４に保持された信号は、水平出力線４０５及び４０６を介して、出力アンプ４０７に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分の信号（光成分）を出力する。

画像処理回路１０６は、距離演算部であり、時刻ｔ８〜ｔ１０の第１の期間に転送された電荷に基づく信号と時刻ｔ１０〜ｔ１２の第２の期間に転送された電荷に基づく信号の比から反射光の投射光に対する遅延時間を算出し、被写体までの距離情報を取得する。

ところで、撮像装置１００は、撮影レンズ１０１の瞳領域２０２及び２０３を通過する光束を用いて瞳分割方式の測距を行うが、光学系の条件によって精度のよい測距が困難となる場合がある。そこで、図１０（ａ）〜（ｃ）を用いて各デフォーカス状態における被写体像を模式図で説明する。

図１０（ａ）〜（ｃ）は、図３と同様に、光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。大デフォーカス状態では図１０（ａ）のように被写体像の崩れ方が大きい。これに対し、中デフォーカスでは図１０（ｂ）のように、小デフォーカスでは図１０（ｃ）のように、デフォーカス量に応じて被写体像の崩れ方が小さくなる。ここで、一般に、デフォーカス量に影響を与える要素として光学系の絞り（Ｆナンバー）が挙げられる。例えば、絞りが開放に近いときは、撮影レンズ１０１のより広範囲の瞳領域を通過する光線を取り込むため、一般に合焦状態から離れたときに大デフォーカスになりやすい（いわゆるボケ表現。被写界深度の浅い状態）。一方、絞りを絞り、撮影レンズ１０１の瞳領域を通過する光線を制限することで、一般に合焦状態から離れたときに大デフォーカスになりにくい（いわゆるパンフォーカス。被写界深度の深い状態）。

これを単位画素２００内の光線に置き換えて説明した模式図が図１１（ａ）及び（ｂ）である。図１１（ａ）及び（ｂ）は、図３と同様に、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。ここで、図１１（ａ）は絞り値が小さい場合であり、分割画素２０１Ａ及び２０１Ｂに入射する光線は、それぞれ撮影レンズ１０１の光軸から離れた瞳領域２０２及び２０３を通過した成分（入射角度の大きい成分）が支配的になる。つまり、分割画素２０１Ａ及び２０１Ｂは、それぞれ異なる瞳領域２０２及び２０３の光を受光し、瞳分割位相差が大きくなる。一方、図１１（ｂ）は、絞り値が大きい場合であり、分割画素２０１Ａ及び２０１Ｂに入射する光線は、それぞれ撮影レンズ１０１の光軸に近い瞳領域２０２及び２０３を通過した成分（入射角度の小さい成分、いわゆる平行光に近似できる成分）が支配的になる。つまり、分割画素２０１Ａ及び２０１Ｂは、それぞれ略同等の光を受光し、瞳分割位相差が小さくなる。なお、例えば、図１１（ａ）の被写体像は図１０（ａ）に対応し、図１１（ｂ）の被写体像は例えば図１０（ｃ）に対応する。

このように瞳分割方式では、光学的な諸条件によって瞳分割位相差検出が難しい場合が考えられる。そこで、次に述べるような光走行時間法による測距を行う。図１２は、図８又は図９のタイミングチャートの一部を示すものであり、光走行時間法の測距を説明する図である。

時刻ｔ１では、信号ＰＴＸＡ（ＰＴＸＢ）がハイレベルになり、転送スイッチ３０２Ａ（３０２Ｂ）がオンする。時刻ｔ３では、信号ＰＴＸＡ（ＰＴＸＢ）がローレベルになり、転送スイッチ３０２Ａ（３０２Ｂ）がオフすると同時に、信号ＰＴＸＣ（ＰＴＸＤ）がハイレベルになり、転送スイッチ３０２Ｃ（３０２Ｄ）がオンする。時刻ｔ５では、信号ＰＴＸＣ（ＰＴＸＤ）がローレベルになり、転送スイッチ３０２Ｃ（３０２Ｄ）がオフする。ここで、転送スイッチ３０２Ａ（３０２Ｂ）及び転送スイッチ３０２Ｃ（３０２Ｄ）のオン時間は等しい。時刻ｔ２〜ｔ４では、信号ＰＬＩＧＨＴがハイレベルになり、発光装置１１２は、被写体にパルス光を投射する。フォトダイオード３０１Ａ及び３０１Ｂは、被写体からの反射光を電荷に変換する。

撮像装置１００から被写体までの距離がゼロならば、被写体からの反射光は、信号ＰＬＩＧＨＴと同タイミングで受光される。この場合、信号ＰＴＸＡ（ＰＴＸＢ）によりフローティングディフュージョン３０３Ａ（３０３Ｂ）に転送された信号と信号ＰＴＸＣ（ＰＴＸＤ）によりフローティングディフュージョン３０３Ｃ（３０３Ｄ）に転送された信号は等しい。しかし、撮像装置１００から被写体までの距離がゼロでない場合、図１２のように、反射光は、信号ＰＬＩＧＨＴのタイミングに対して（ｔ２’−ｔ２）分だけ遅れて受光される。その結果、信号ＰＴＸＡ（ＰＴＸＢ）によりフローティングディフュージョン３０３Ａ（３０３Ｂ）に転送された信号は、（ｔ３−ｔ２’）の期間に受光した反射光に対応する。信号ＰＴＸＣ（ＰＴＸＤ）によりフローティングディフュージョン３０３Ｃ（３０３Ｄ）に転送された信号は、（ｔ４’−ｔ３）の期間に受光した反射光に対応する。フローティングディフュージョン３０３Ａ（３０３Ｂ）の信号とフローティングディフュージョン３０３Ｃ（３０３Ｄ）の信号は、偏りが生じる。画像処理回路１０６は、時刻ｔ１〜ｔ３の第１の期間に転送された電荷に基づく信号と時刻ｔ３〜ｔ５の第２の期間に転送された電荷に基づく信号の比を基に、反射光の投射光に対する遅延時間を推定し、その遅延時間と光速との積から被写体までの距離を算出する。

以上を踏まえ、本実施形態における撮像装置１００の駆動方法について、図１３のフローチャートを用いて説明する。図１３において、ステップＳ１３０１では、静止画撮影、動画撮影等のモード設定、また感度、絞り値などの撮影条件設定が、ユーザーから操作回路１１０によって、あるいは撮像装置１０１から自動的に、制御回路１０９によってなされる。

ステップＳ１３０２では、撮像装置１００は、焦点検出又は通常の撮像画像の取得のいずれを行うのかの判定を行う。焦点検出を行う場合はステップＳ１３０５に進む。通常の撮像画像を取得する場合はステップＳ１３０３に進む。

ステップＳ１３０３では、撮像装置１００は、図７の第１の駆動方法（通常撮影）により画像信号を読み出す。次に、ステップＳ１３０４では、画像処理回路１０６は、ステップＳ１３０３で読み出された画像信号に対し、それぞれの読み出しに応じた所定の画像処理を施し、画像信号をメモリ回路１０７及び記録回路１０８に出力する。また、画像処理回路１０６は、画像信号を、制御回路１０９を介して表示回路１１１に出力する。

ステップＳ１３０５では、撮像装置１００は、焦点検出方法として、光走行時間法による焦点検出又は瞳分割位相差検出による焦点検出のいずれを行うのかの判定を行う。光走行時間法による焦点検出の場合にはステップＳ１３０６に進み、瞳分割位相差検出による焦点検出の場合にはステップＳ１３０７に進む。ここで、焦点検出方法の選択は、ユーザーから操作回路１１０によってなされてもよいし、あるいは光学系の絞りやデフォーカス量などの情報に応じて、制御回路１０９が自動で判定してもよい。

ステップＳ１３０６では、撮像装置１００は、光走行時間法による焦点検出のために、図８の第２の駆動方法又は図９の第３の駆動方法により信号を読み出し、距離検出用画像を取得する。その後、ステップＳ１３０８に進む。

ステップＳ１３０７では、撮像装置１００は、瞳分割位相差検出による焦点検出のために、図７の第１の駆動方法（瞳分割位相差検出）により信号を読み出し、距離検出用画像を取得する。その後、ステップＳ１３０８に進む。

ステップＳ１３０８では、撮像装置１００は、読み出された距離検出用画像に対し、光走行時間法又は瞳分割位相差検出法による処理を行い、被写体までの距離情報を算出する。なお、撮像装置１００は、距離検出用画像又は距離情報をメモリ回路１０７、記録回路１０８及び表示回路１１１に出力してもよい。

次に、ステップＳ１３０９では、撮像装置１００は、撮影終了の有無を判定し、継続ならばステップＳ１３１０に進み、終了ならば一連の動作を終了する。

ステップＳ１３１０では、画像処理回路１０６は、ステップＳ１３０８で得られた被写体までの距離情報を基にレンズ駆動量を算出する。

次に、ステップＳ１３１１では、制御回路１０９は、上記のレンズ駆動量を基に撮影レンズ１０１を駆動することにより、フォーカス駆動を行う。その後、ステップＳ１３０１に戻り、上記の動作を繰り返す。

なお、ステップＳ１３０５の判定に影響を与える要素は、前述したように撮影レンズ１０１の絞り値やデフォーカス量などであり、これらの要素に応じて適宜距離検出用画像の作成方法を選択する所定のしきい値を決めておくことができる。また、ステップＳ１３１０においては、例えば、絞り値が所定の値より大きい場合はパンフォーカスとみなし、焦点検出やレンズ駆動をスルーするようにしてもよい。

以上のようにして、分割画素構造による瞳分割位相差検出による焦点検出が困難な場合でも、必要に応じて、光走行時間法による焦点検出が可能となる。

なお、上記の説明では距離情報を算出する画素をカラーフィルタの区別なく行ったが、投射光の色、例えば赤外光などに合わせて赤外フィルタの画素のみを用いてもよいし、より光を取り込むために透明フィルタやＧフィルタの画素を用いてもよい。

（第２の実施形態）
図１４は、本発明の第２の実施形態による単位画素２００の構成例を示す回路図である。本実施形態は、画素内レイアウトの効率化のために、２つの転送スイッチ５０２Ａ及び５０２Ｂが１つのフローティングディフュージョン５０３Ａを共有し、２つの転送スイッチ５０２Ｃ及び５０２Ｄが１つのフローティングディフュージョン５０３Ｂを共有する。

単位画素２００は、第１のフォトダイオード（第１の光電変換部）５０１Ａ及び第２のフォトダイオード（第２の光電変換部）５０１Ｂを有する。第１のフォトダイオード５０１Ａ及び第２のフォトダイオード５０１Ｂは、同一のマイクロレンズ１０２０を介して受光した光を電荷に変換する。第１のフォトダイオード５０１Ａには２つの転送スイッチ５０２Ａ及び５０２Ｃが接続され、第２のフォトダイオード５０２Ｂには２つの転送スイッチ５０２Ｂ及び５０２Ｄが接続される。転送スイッチ５０２Ａ及び５０２Ｂには、１つのフローティングディフュージョン５０３Ａが共有するように接続されている。同様に、転送スイッチ５０２Ｃ及び５０２Ｄには、１つのフローティングディフュージョン５０３Ｂが共有するように接続されている。

第１の転送スイッチ５０２Ａは、第１のフォトダイオード５０１Ａの電荷を第１のフローティングディフュージョン（第１の電荷蓄積部）５０３Ａに転送する。第２の転送スイッチ５０２Ｃは、第１のフォトダイオード５０１Ａの電荷を第２のフローティングディフュージョン（第２の電荷蓄積部）５０３Ｂに転送する。第３の転送スイッチ５０２Ｂは、第２のフォトダイオード５０１Ｂの電荷を第１のフローティングディフュージョン５０３Ａに転送する。第４の転送スイッチ５０２Ｄは、第２のフォトダイオード５０１Ｂの電荷を第２のフローティングディフュージョン５０３Ｂに転送する。第１の転送スイッチ５０２Ａ及び第２の転送スイッチ５０２Ｃは、フォトダイオード５０１Ａの電荷をそれぞれ異なるフローティングディフュージョン５０３Ａ及び５０３Ｂに転送する。第３の転送スイッチ５０２Ｂ及び第４の転送スイッチ５０２Ｄは、フォトダイオード５０１Ｂの電荷をそれぞれ異なるフローティングディフュージョン５０３Ａ及び５０３Ｂに転送する。

フローティングディフュージョン５０３Ａには、リセットスイッチ５０４Ａとソースフォロアアンプ５０５Ａが接続されている。ソースフォロアアンプ５０５Ａには、セレクトスイッチ５０６Ａが接続されている。基準電位（ＶＤＤ）５０８は、リセットスイッチ５０４Ａ及びソースフォロアアンプ５０５Ａに供給される。垂直出力線５０７Ａは、セレクトスイッチ５０６Ａを介してソースフォロアアンプ５０５Ａに接続される。

フローティングディフュージョン５０３Ｂには、リセットスイッチ５０４Ｂとソースフォロアアンプ５０５Ｂが接続されている。ソースフォロアアンプ５０５Ｂには、セレクトスイッチ５０６Ｂが接続されている。基準電位（ＶＤＤ）５０８は、リセットスイッチ５０４Ｂ及びソースフォロアアンプ５０５Ｂに供給される。垂直出力線５０７Ｂは、セレクトスイッチ５０６Ｂを介してソースフォロアアンプ５０５Ｂに接続される。

図１５は、単位画素２００の構成例を示すレイアウト図である。フォトダイオード５０１Ａの両端には、２つの転送スイッチ５０２Ａ及び５０２Ｃが接続され、転送スイッチ５０２Ａ及び５０２Ｃのどちらによっても電荷を転送できる。同様に、フォトダイオード５０１Ｂの両端には、２つの転送スイッチ５０２Ｂ及び５０２Ｄが接続され、転送スイッチ５０２Ｂ及び５０２Ｄのどちらによっても電荷を転送できる。また、転送スイッチ５０２Ａ及び５０２Ｂに対して、フローティングディフュージョン５０３Ａが共有して配置されている。同様に、転送スイッチ５０２Ｃ及び５０２Ｄに対して、フローティングディフュージョン５０３Ｂが共有して配置されている。

図１６は、本実施形態による撮像素子１０３の読み出し回路の構成例を示す図である。以下、本実施形態（図１６）が第１の実施形態（図６）と異なる点を説明する。単位画素２００は、垂直出力線５０７Ａ及び５０７Ｂを介して、列回路４０３に信号を出力する。列回路４０３は、容量４１３の光信号を水平出力線４０５に転送し、容量４１４のノイズ信号を水平出力線４０６に転送する。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を出力する。第１の実施形態（図６）は、４本の垂直出力線３０７Ａ，３０７Ｂ，３０７Ｃ，３０７Ｄを有する。これに対し、本実施形態（図１６）は、２本の垂直出力線５０７Ａ及び５０７Ｂを有する。本実施形態は、第１の実施形態に対して、垂直出力線の本数が少ないので、レイアウトの効率化が実現できる。

図１７は、本実施形態による第４の駆動方法を示すタイミングチャートである。第４の駆動方法は、瞳分割位相差検出時における画素信号の読み出し方法を示す。第４の駆動方法は、フォトダイオード５０１Ａ及び５０１Ｂで発生した電荷をそれぞれフローティングディフュージョン５０３Ａ及び５０３Ｂに同時に転送する。

始めに、期間ＨＢＬＫでは、信号ＰＲＥＳがハイレベルになり、リセットスイッチ５０４Ａ及び５０４Ｂは、オンし、フローティングディフュージョン５０３Ａ及び５０３Ｂをリセットする。時刻ｔ１では、信号ＰＴＸＡ及びＰＴＸＤがハイレベルになり、転送スイッチ５０２Ａ及び５０２Ｄは、オンし、フォトダイオード５０１Ａ及び５０１Ｂをリセットする。時刻ｔ２では、信号ＰＴＸＡ及びＰＴＸＤがローレベルになり、転送スイッチ５０２Ａ及び５０２Ｄがオフし、フォトダイオード５０１Ａ及び５０１Ｂの電荷蓄積が開始する。ここで、リセットのためにオン／オフする転送スイッチは、電荷蓄積後に電荷転送に用いる転送スイッチ５０２Ａ及び５０２Ｄに限らず、信号ＰＴＸＢによる転送スイッチ５０２Ｂ及び信号ＰＴＸＣによる転送スイッチ５０２Ｃを使用してもよい。

蓄積開始後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ５０６Ａ及び５０６Ｂがオンし、ソースフォロアアンプ５０５Ａ及び５０５Ｂが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ５０４Ａ及び５０４Ｂは、オフし、フローティングディフュージョン５０３Ａ及び５０３Ｂのリセットを解除する。ソースフォロアアンプ５０５Ａ及び５０５Ｂは、それぞれ、フローティングディフュージョン５０３Ａ及び５０３Ｂの電位を増幅し、垂直出力線５０７Ａ及び５０７Ｂを介して、列回路４０３にリセット信号レベル（ノイズ成分）として出力する。

列回路４０３において、時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２は、オフし、オペアンプ４１０の基準電圧出力状態を解除する。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号は、容量４１４にリセット信号レベルとして書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。

次に、時刻ｔ８では、信号ＰＴＸＡ及びＰＴＸＤがハイレベルになり、転送スイッチ５０２Ａ及び５０２Ｄは、オンする。フォトダイオード５０１Ａに蓄積された光電荷はフローティングディフュージョン５０３Ａに転送され、フォトダイオード５０１Ｂに蓄積された光電荷はフローティングディフュージョン５０３Ｂに転送される。時刻ｔ１０では、信号ＰＴＸＡ及びＰＴＸＤがローレベルになり、転送スイッチ５０２Ａ及び５０２Ｄは、オフする。フローティングディフュージョン５０３Ａへの転送及びフローティングディフュージョン５０３Ｂへの転送が終了する。以上のように、転送スイッチ５０２Ａ及び５０２Ｄは、同じタイミングで転送を行う。すると、電荷量に応じたフローティングディフュージョン５０３Ａ及び５０３Ｂの電位変動は、それぞれ、垂直出力線５０７Ａ及び５０７Ｂを介して、列回路４０３に光信号レベル（光成分＋ノイズ成分）として出力される。

列回路４０３において、時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号は、容量４１３に光信号レベルとして書き込まれる。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。オペアンプ４１０は、クランプ容量４０８とフィードバック容量４０９の容量値の比に応じた反転ゲインで増幅して出力する。

その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ５０４Ａ及び５０４Ｂは、オンし、フローティングディフュージョン５０３Ａ及び５０３Ｂをリセット状態にする。

次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、信号ＰＨＳ及びＰＨＮのパルスにより、各列の列回路４０３内のスイッチ４１７及び４１８が順次オンする。すると、容量４１３及び４１４に保持された信号は、水平出力線４０５及び４０６を介して、出力アンプ４０７に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分の信号（光成分）を出力する。

この後、画像処理回路１０６は、前述したＡ像とＢ像に対する相関演算を施し、距離情報を取得する。また、この場合、画像処理回路１０６は、距離情報取得後に、Ａ像とＢ像の信号を加算するなどしてもよい。

図１８は、本実施形態による撮像装置１００の駆動方法を示すフローチャートである。本実施形態（図１８）は、第１の実施形態（図１３）に対して、ステップＳ１３０７の代わりにステップＳ１８０７が設けられる。以下、本実施形態が第１の実施形態と異なる点を説明する。ステップＳ１８０７では、撮像装置１００は、瞳分割位相差検出による焦点検出のために、図１７の第４の駆動方法（瞳分割位相差検出）により信号を読み出し、距離検出用画像を取得する。その後、ステップＳ１３０８に進む。

本実施形態は、第１の実施形態と異なり、フローティングディフュージョン５０３Ａ及び５０３Ｂを共有しているため、瞳分割位相差検出の駆動方法が変わる。ステップＳ１８０７では、第４の駆動方法により、Ａ像とＢ像を別々に読み出す。

以上のように、本実施形態は、瞳分割位相差検出による焦点検出が困難な場合でも、必要に応じて、光走行時間法による焦点検出を行うことが可能となる。また、本実施形態は、第１の実施形態に対して、フローティングディフュージョン５０３Ａ及び５０３Ｂを共有するため、配線や画素内配置レイアウトの効率化が可能になる。

なお、第１及び第２の実施形態では、列回路４０３にアナログデジタル（ＡＤ）変換回路を組み込んでもよい。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、３０１Ａ，３０１Ｂ フォトダイオード 、３０２Ａ，３０２Ｂ，３０２Ｃ，３０２Ｄ 転送スイッチ、３０３Ａ，３０３Ｂ，３０３Ｃ，３０３Ｄ フローティングディフュージョン

Claims (16)

1. 同一のマイクロレンズを介して受光した光を電荷に変換する第１及び第２の光電変換部と、
   前記第１の光電変換部の電荷をそれぞれ異なる電荷蓄積部に転送する第１及び第２の転送スイッチと、
   前記第２の光電変換部の電荷をそれぞれ異なる電荷蓄積部に転送する第３及び第４の転送スイッチと、
   複数の駆動において転送された電荷に基づいて被写体までの距離を位相差方式又は光走行時間法によって演算する距離演算部とを有し、
   撮影レンズの絞り値に応じて前記第１乃至第４の転送スイッチを駆動するための前記複数の駆動を行うことを特徴とする撮像装置。
2. 前記第１の転送スイッチは、前記第１の光電変換部の電荷を第１の電荷蓄積部に転送し、
   前記第２の転送スイッチは、前記第１の光電変換部の電荷を第２の電荷蓄積部に転送し、
   前記第３の転送スイッチは、前記第２の光電変換部の電荷を第３の電荷蓄積部に転送し、
   前記第４の転送スイッチは、前記第２の光電変換部の電荷を第４の電荷蓄積部に転送することを特徴とする請求項１記載の撮像装置。
3. 前記第１の転送スイッチは、前記第１の光電変換部の電荷を第１の電荷蓄積部に転送し、
   前記第２の転送スイッチは、前記第１の光電変換部の電荷を第２の電荷蓄積部に転送し、
   前記第３の転送スイッチは、前記第２の光電変換部の電荷を前記第１の電荷蓄積部に転送し、
   前記第４の転送スイッチは、前記第２の光電変換部の電荷を前記第２の電荷蓄積部に転送することを特徴とする請求項１記載の撮像装置。
4. 第１の駆動では、前記第１の転送スイッチ及び前記第３の転送スイッチは、同じタイミングで転送を行うことを特徴とする請求項１又は２記載の撮像装置。
5. さらに、被写体にパルス光を投射する発光装置を有し、
   前記第１の光電変換部及び第２の光電変換部は、前記被写体からの反射光を電荷に変換することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 第２の駆動では、第１の期間に前記第１の転送スイッチが転送を行い、その後の第２の期間に前記第２の転送スイッチが転送を行うことを特徴とする請求項５記載の撮像装置。
7. 第３の駆動では、第１の期間に前記第１の転送スイッチ及び第３の転送スイッチが転送を行い、その後の第２の期間に前記第２の転送スイッチ及び前記第４の転送スイッチが転送を行うことを特徴とする請求項５又は６記載の撮像装置。
8. 第４の駆動では、前記第１の転送スイッチ及び前記第４の転送スイッチは、同じタイミングで転送を行うことを特徴とする請求項１〜３及び５〜７のいずれか１項に記載の撮像装置。
9. 前記距離演算部は、前記第１の期間に転送された電荷及び前記第２の期間に転送された電荷に応じて被写体までの距離を演算することを特徴とする請求項６又は７記載の撮像装置。
10. 撮影レンズの絞り値に応じて、第１の駆動又は第２の駆動を行い、
    前記第１の駆動では、前記第１の転送スイッチ及び前記第３の転送スイッチは、同じタイミングで転送を行い、
    前記第２の駆動では、第１の期間に前記第１の転送スイッチが転送を行い、その後の第２の期間に前記第２の転送スイッチが転送を行い、
    前記距離演算部は、前記第１の駆動では、前記第１の転送スイッチ及び前記第３の転送スイッチにより転送された電荷に応じて被写体までの距離を演算し、前記第２の駆動では、前記第１の期間に転送された電荷及び前記第２の期間に転送された電荷に応じて被写体までの距離を演算することを特徴とする請求項１又は２記載の撮像装置。
11. 撮影レンズの絞り値に応じて、第１の駆動又は第３の駆動を行い、
    前記第１の駆動では、前記第１の転送スイッチ及び前記第３の転送スイッチは、同じタイミングで転送を行い、
    前記第３の駆動では、第１の期間に前記第１の転送スイッチ及び第３の転送スイッチが転送を行い、その後の第２の期間に前記第２の転送スイッチ及び前記第４の転送スイッチが転送を行い、
    前記距離演算部は、前記第１の駆動では、前記第１の転送スイッチ及び前記第３の転送スイッチにより転送された電荷に応じて被写体までの距離を演算し、前記第３の駆動では、前記第１の期間に転送された電荷及び前記第２の期間に転送された電荷に応じて被写体までの距離を演算することを特徴とする請求項１又は２記載の撮像装置。
12. 撮影レンズの絞り値に応じて、第４の駆動又は第２の駆動を行い、
    前記第４の駆動では、前記第１の転送スイッチ及び前記第４の転送スイッチは、同じタイミングで転送を行い、
    前記第２の駆動では、第１の期間に前記第１の転送スイッチが転送を行い、その後の第２の期間に前記第２の転送スイッチが転送を行い、
    前記距離演算部は、前記第４の駆動では、前記第１の転送スイッチ及び前記第４の転送スイッチにより転送された電荷に応じて被写体までの距離を演算し、前記第２の駆動では、前記第１の期間に転送された電荷及び前記第２の期間に転送された電荷に応じて被写体までの距離を演算することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
13. 撮影レンズの絞り値に応じて、第４の駆動又は第３の駆動を行い、
    前記第４の駆動では、前記第１の転送スイッチ及び前記第４の転送スイッチは、同じタイミングで転送を行い、
    前記第３の駆動では、第１の期間に前記第１の転送スイッチ及び第３の転送スイッチが転送を行い、その後の第２の期間に前記第２の転送スイッチ及び前記第４の転送スイッチが転送を行い、
    前記距離演算部は、前記第４の駆動では、前記第１の転送スイッチ及び前記第４の転送スイッチにより転送された電荷に応じて被写体までの距離を演算し、前記第３の駆動では、前記第１の期間に転送された電荷及び前記第２の期間に転送された電荷に応じて被写体までの距離を演算することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
14. さらに、前記第１の光電変換部及び前記第２の光電変換部から転送された電荷に基づく信号を加算する加算部を有することを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
15. 同一のマイクロレンズを介して受光した撮影レンズの射出瞳の異なる領域を通過した光を、電荷に変換する第１の光電変換部及び第２の光電変換部を有する撮像素子と、
    前記第１の光電変換部と前記第２の光電変換部のそれぞれから転送された電荷に基づく信号に対して位相差方式によって被写体までの距離を演算する第１の距離演算手段と、
    前記第１の光電変換部と前記第２の光電変換部のいずれか一方から時系列に転送された電荷に基づく信号に対して光走行時間法によって被写体までの距離を演算する第２の距離演算手段とを有することを特徴とする撮像装置。
16. 前記撮影レンズの絞りによって前記第１の距離演算手段又は前記第２の距離演算手段のいずれかを切り替えることを特徴とする請求項１５記載の撮像装置。

Images