JP6588702B2

JP6588702B2 - 撮像装置及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP6588702B2
Application number: JP2015000509A
Authority: JP
Inventors: 石井　美絵; 美絵石井; 小林　寛和; 寛和小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-01-05
Filing date: 2015-01-05
Publication date: 2019-10-09
Anticipated expiration: 2035-01-05
Also published as: US20160198109A1; JP2016127454A; US9930279B2

Description

本発明は、撮像装置及びその制御方法に関するものである。

近年、ＣＭＯＳ型の撮像素子などを用いた撮像装置の分野において、光の強度分布のみならず光の入射方向や距離情報をも取得可能な撮像装置が提案されている。

特許文献１では、撮像装置において、瞳分割方式の焦点検出が可能な技術が開示されている。特許文献１によると、１つのマイクロレンズに対応する単位画素のフォトダイオード（以下、ＰＤ）を２つに分割することによって、各ＰＤが撮像レンズの異なる瞳面の光を受光することができる。そして、２つのＰＤの出力を比較することによって、焦点検出を行っている。また、単位画素を構成する２つのフォトダイオードからの出力信号を加算することで、通常の撮影画像を得ることができる。

特許第３７７４５９７号公報

ところで、特許文献１のように各画素が複数のＰＤを有する場合、全ＰＤの信号を読み出すのに必要な時間が長くなり、フレームレートが下がってしまうという問題がある。

１フレームの読み出し時間の短縮方法としては、焦点検出に使用する画素を限定する方法がある。例えば、焦点検出処理に使用する行のみ、単位画素内の分割ＰＤの信号をそれぞれ読み出し、焦点検出処理に使用しない行は、分割ＰＤの信号を加算して画像生成用の信号のみを読み出すことで読み出し時間の増大を抑制することも可能である。

しかし、この場合、焦点検出処理に使用する行と使用しない行とで読み出し時間が異なるため、ライブビューや動画撮影時の動作として一般的なスリットローリング動作において、画素行によって蓄積時間、すなわち露光量が異なるという現象が発生してしまう。また、特許文献１に開示されている駆動方法の場合、分割ＰＤの信号を異なるタイミングで読み出すため、厳密には蓄積タイミングが異なるという課題もある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、単位画素のフォトダイオードが複数に分割されている撮像素子において、読み出し時間の増大を抑制しつつ、露光量が揃った画像を得られるようにすることである。

本発明に係わる撮像装置は、各々が複数の光電変換部および少なくとも２つのフローティングディフュージョン部を有するとともに、行列状に配置された複数の単位画素と、前記単位画素の各列に対して複数本ずつ配置された列出力線と、前記単位画素が有する複数の光電変換部に蓄積された信号をそれぞれ異なる前記列出力線から読み出す第１の読み出しモードと、前記単位画素が有する複数の光電変換部に蓄積された信号を混合して１つの前記列出力線から読み出す第２の読み出しモードとを切り替える切り替え手段と、を備え、各々の単位画素における複数の光電変換部のそれぞれに対して複数の転送ゲートが設けられ、各々の光電変換部に対して設けられた複数の前記転送ゲートは、前記少なくとも２つのフローティングディフュージョン部とそれぞれ接続されることを特徴とする。

本発明によれば、単位画素のフォトダイオードが複数に分割されている撮像素子において、読み出し時間の増大を抑制しつつ、露光量が揃った画像を得ることが可能となる。

本発明の実施形態に係わる撮像装置１００の構成を示すブロック図。撮像素子の画素配置図。撮影レンズの射出瞳から出た光束が単位画素に入射する概念図。撮像素子の構成を示すブロック図。第１の実施形態における撮像素子の画素回路及び列回路を説明する図。第１の実施形態における撮像素子の信号読み出し動作例を示す図。第１の実施形態における撮像素子の第１の駆動モードでの信号読み出し動作例を示すタイミングチャート。第１の実施形態における撮像素子の第２の駆動モードでの信号読み出し動作例を示すタイミングチャート。第２の実施形態における撮像素子の画素の構成を説明する図。第３の実施形態における撮像素子の画素信号の読み出し例を示す図。第３の実施形態における撮像素子の信号読み出し動作例を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の実施形態に係わる撮像装置１００の構成を示すブロック図である。図１において、撮像装置１００の撮影光学系は、撮影レンズ１０１、絞り１１２を備える。この撮影光学系で結像された被写体像は、マイクロレンズアレイ１０２を有する撮像素子１０３で受光される。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１１３から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される固体撮像素子である。１つのマイクロレンズ１１３に対して複数の画素（光電変換部）が対応するように配置されることで、マイクロレンズ１１３で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。

撮像素子１０３から出力された信号は、アナログ信号処理回路（ＡＦＥ）１０４、デジタル信号処理回路（ＤＦＥ）１０５で処理される。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

画像処理回路１０６は、デジタル信号処理回路１０５から出力された画像信号を処理する。画像処理回路１０６には、メモリ回路１０７、記録回路１０８が接続されている。具体的には、画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して後述するＡ像、Ｂ像の相関演算や焦点検出、また所定の画像処理や欠陥補正処理等を施す。メモリ回路１０７および記録回路１０８は画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

また、撮像装置１００は制御回路１０９を有し、制御回路１０９には操作回路１１０、表示回路１１１、画像処理回路１０６が接続されている。制御回路１０９は、撮像素子１０３や画像処理回路１０６等の撮像装置全体を統括的に駆動・制御する。操作回路１１０は、撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザーの命令を伝達する。表示回路１１１は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の関係と、画素の定義、および瞳分割方式による焦点検出の原理について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。本実施形態では、マイクロレンズアレイ１０２を形成する個々のマイクロレンズ１１３を１つの画素と定義し、これを単位画素２００とする。また、１つのマイクロレンズ１１３に対して複数の分割画素（光電変換部）２０１が対応するように配置されている。なお、本実施形態では、単位画素２００には、分割画素（光電変換部）２０１がＸ軸方向に２つ配置されており、それぞれ２０１Ａ，２０１Ｂと定義する。なお、１つのマイクロレンズ１１３に対応する分割画素（光電変換部）の数は２つに限定されるものではない。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１１３を通過して撮像素子１０３の単位画素２００で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。撮影レンズ１０１の光束は、絞り１１２により調節される。撮影レンズ１０１の射出瞳を通過した光は、光軸Ｚを中心として単位画素２００に入射する。図３に示すように、瞳領域３０２を通過する光束はマイクロレンズ１１３を通して分割画素（光電変換部）２０１Ａで受光され、瞳領域３０３を通過する光束はマイクロレンズ１１３を通して分割画素（光電変換部）２０１Ｂで受光される。したがって、分割画素２０１Ａと２０１Ｂはそれぞれ撮影レンズ１０１の射出瞳の異なる領域の光を受光している。

撮影レンズ１０１からの光を瞳分割する分割画素２０１Ａの信号をＸ軸方向に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に撮影レンズ１０１からの光を瞳分割する分割画素２０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。

Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を元に撮影レンズ１０１のフォーカスを制御することで撮像面位相差ＡＦが可能となる。また、Ａ像信号とＢ像信号とを足し合わせて、Ａ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮影画像に用いることができる。

図４は、撮像素子１０３の構成を示すブロック図である。撮像素子１０３は、画素部４０１、垂直走査回路４０２、読み出し回路４０３、水平走査回路４０４、出力アンプ４０５を有する。画素部４０１は、複数の単位画素が行列状に配置されており、撮影レンズ１０１により結像された光学像を受光する。垂直走査回路４０２は、画素部４０１の各行に接続される信号線を介して行を選択・駆動する。水平走査回路４０４は、画素部４０１の各列に接続される信号線を介して列を選択・駆動する。そして、読み出し回路４０３は、垂直走査回路４０２によって選択される行の画素の信号を読み出し、読み出された信号は、水平走査回路４０４の駆動により出力アンプ４０５を介して撮像素子１０３の外部に順次出力される。

図５は、本実施形態におけるＣＭＯＳ型の撮像素子１０３の画素回路及び読み出し回路の一例を示す図である。単位画素２００は、光電変換部であるフォトダイオード（ＰＤ）５０１Ａ、５０１Ｂを有する。ＰＤ５０１Ａ，５０１Ｂは分割画素２０１Ａ，２０１Ｂにそれぞれ対応し、撮影レンズ１０１によって結像された光学像を受けて電荷を発生し、蓄積する。転送スイッチ（転送ゲート）５０２Ａ−１，５０２Ａ−２及び５０２Ｂ−１，５０２Ｂ−２は、ＭＯＳトランジスタで構成されている。転送スイッチ５０２Ａ−１，５０２Ｂ−１には、フローティングディフュージョン部（以下、ＦＤ）５０４−１が接続されている。転送スイッチ５０２Ａ−２，５０２Ｂ−２には、ＦＤ５０４−２が接続されている。ＰＤ５０１Ａで蓄積された電荷は、転送スイッチ５０２Ａ−１を介してＦＤ５０４−１に転送することもできるし、転送スイッチ５０２Ａ−２を介してＦＤ５０４−２に転送することもできる。ＰＤ５０１Ｂで蓄積された電荷は、同様に、転送スイッチ５０２Ｂ−１を介してＦＤ５０４−１に転送することもできるし、転送スイッチ５０２Ｂ−２を介してＦＤ５０４−２に転送することもできる。

ＦＤ５０４−１，５０４−２は、それぞれリセットスイッチ５０３−１，５０３−２とソースフォロワアンプ（以下、ＳＦ）５０５−１，５０５−２と接続されている。更に、ＳＦ５０５−１，５０５−２は選択スイッチ５０６−１，５０６−２とそれぞれ接続されている。ＦＤ５０４−１，５０４−２に転送された電荷は、一時的に保持されるとともに電圧に変換されて、ＳＦ５０５−１，５０５−２から出力される。なお、リセットスイッチ５０３−１，５０３−２及びＳＦ５０５−１，５０５−２のドレインが基準電位ＶＤＤを共有している。リセットスイッチ５０３−１は、ＦＤ５０４−１の電位、及び転送スイッチ５０２Ａ−１，５０２Ｂ−１を介してＰＤ５０１Ａ，５０１Ｂの電位をＶＤＤにリセットする。また、リセットスイッチ５０３−２は、ＦＤ５０４−２の電位、及び転送スイッチ５０２Ａ−２，５０２Ｂ−２を介してＰＤ５０１Ａ，５０１Ｂの電位をＶＤＤにリセットする。選択スイッチ５０６−１，５０６−２は、ＳＦ５０５−１，５０５−２から出力された画素信号を列出力線５０７−１，５０７−２にそれぞれ出力する。なお、本実施形態では、単位画素を２つに分割して２つの分割画素としているため、列出力線を２本としているが、単位画素を４つ以上に分割する場合は、それに応じて複数本の列出力線を配置してもよい。

転送スイッチ、リセットスイッチ、選択スイッチはそれぞれ、垂直走査回路４０２に接続されている不図示の信号線ＰＴＸ、ＰＲＥＳ、ＰＳＥＬによって制御される。列出力線５０７−１，５０７−２には、定電流原５０８−１，５０８−２が接続されている。

続いて、列読み出し回路５０９の回路構成について説明する。列読み出し回路５０９は、クランプ容量Ｃ０（５１０）、フィードバック容量Ｃｆ（５１１）、オペアンプ５１２、基準電圧Ｖｒｅｆを供給する基準電源５１３、フィードバック容量Ｃｆの両端をショートさせるためのスイッチ５１４を有する。スイッチ５１４はＣ０リセット信号ＰＣ０Ｒで制御される。容量ＣＴＳ（５１５）、容量ＣＴＮ（５１６）は信号電圧を保持するための容量である。スイッチ５１７，５１８は容量への書き込みを制御する。スイッチ５１７はＰＴＳ信号で制御され、スイッチ５１８はＰＴＮ信号で制御される。スイッチ５１９，５２０は、水平走査回路４０４からの信号を受け、それぞれ水平出力線５２２，５２３を介して、出力アンプ５２４に信号を出力する。スイッチ５１９，５２０はそれぞれ水平走査回路５２１のＰＨＳ信号、ＰＨＮ信号で制御される。

図６は、図５に示す回路構成のＣＭＯＳ型撮像素子の信号読み出し動作例を示す模式図である。図６（ａ）は、本実施形態の第１の駆動モードでの読み出し動作例を示す。第１の駆動モードは、分割画素（ＰＤ５０１Ａ，５０１Ｂ）の電荷に応じた信号をそれぞれ別の列出力線を介して読み出す駆動であり、主に撮像面位相差ＡＦを行う場合に使用する。単位画素の一方の光電変換部であるＰＤ＿Ａ（５０１Ａ）に蓄積された電荷は、転送スイッチＴＸ＿Ａ１（５０２Ａ−１）をＯＮすることによりＦＤ＿１（５０４−１）に転送されて電圧に変換され、列出力線５０７−１に出力される。一方、単位画素の他方の光電変換部であるＰＤ＿Ｂ（５０１Ｂ）に蓄積された電荷は、転送スイッチＴＸ＿Ｂ２（５０２Ｂ−２）をＯＮすることによりＦＤ＿２（５０４−２）に転送されて電圧に変換され、列出力線５０７−２に出力される。なお、別々の列出力線を介して読み出されたＰＤ＿ＡとＰＤ＿Ｂの出力信号は、後段の画像処理回路１０６等で加算して撮像画像として使用することも可能である。

次に、図６（ｂ）に、本実施形態の第２の駆動モードでの読み出し動作例を示す。第２の駆動モードは、分割画素（ＰＤ５０１Ａ，５０１Ｂ）の電荷を混合して単位画素の出力として垂直出力線を介して読み出す駆動であり、主に撮像画像を生成する通常撮影モードにおいて使用する。単位画素のＰＤ＿Ａ（５０１Ａ）及びＰＤ＿Ｂ（５０１Ｂ）に蓄積された電荷は、転送スイッチＴＸ＿Ａ１（５０２Ａ−１）及びＴＸ＿Ｂ１（５０２Ｂ−１）をＯＮすることによりＦＤ＿１（５０４−１）に同時に転送されて電圧に変換され、列出力線５０７−１に出力される。なお、他の行において、もう一方の転送スイッチＴＸ＿Ａ２（５０２Ａ−２）及びＴＸ＿Ｂ２（５０２Ｂ−２）をＯＮすることによりＦＤ＿２（５０４−２）に同時に転送し、列出力線５０７−２に出力すれば同時に２行の画素の信号を読み出すことができる。

本実施形態では、制御回路１０９の制御により、撮像面位相差ＡＦを行う場合には第１の駆動モードに切り替え、撮像面位相差ＡＦを行わず撮影画像を生成する通常撮影のみを行う場合には第２の駆動モードに切り替える。

図７は、図６（ａ）で示した第１の駆動モードにおける信号読み出し動作例を示すタイミングチャートである。図７のタイミングチャートを用いて、信号読み出し動作について詳細に説明する。

始めに、垂直転送時間ＨＢＬＫの期間に信号パルスＰＲＥＳがＨｉの状態で、ＦＤ５０４−１，５０４−２をリセットする（Ｔ＝ｔ０）。時刻Ｔ＝ｔ１で信号パルスＰＴＸ＿Ａ１，ＰＴＸ＿Ｂ２をＨｉとし、ＰＤ５０１Ａ，５０１Ｂをリセットする。Ｔ＝ｔ２で信号パルスＰＴＸ＿Ａ１，ＰＴＸ＿Ｂ２をＬｏとし、ＰＤ５０１Ａ，５０１Ｂの電荷蓄積を開始する。ここでリセットのために開閉する転送スイッチは電荷蓄積後に電荷転送に用いるものに限らず、この例では信号パルスＰＴＸ＿Ａ２，ＰＴＸ＿Ｂ１を使用してもよい。

蓄積開始後Ｔ＝ｔ３で信号パルスＰＳＥＬをＨｉとし、ＳＦ５０５−１，５０５−２を動作状態とする。Ｔ＝ｔ４で信号パルスＰＲＥＳをＬｏとすることでＦＤ５０４−１，５０４−２のリセットを解除する。このときのＦＤ５０４−１，５０４−２の電位を列出力線５０７−１、５０７−２にリセット信号レベル（ノイズ成分）として読み出し、列読み出し回路５０９に入力する。列読み出し回路５０９において、Ｔ＝ｔ５で信号パルスＰＣ０ＲをＬｏとし、オペアンプ５１２の基準電圧Ｖｒｅｆ出力バッファを解除する。そして、Ｔ＝ｔ６，ｔ７で信号パルスＰＴＮをＨｉ，Ｌｏとしスイッチ５１８を動作させることで容量ＣＴＮ５１６にリセット信号レベルを書き込む。

次に、Ｔ＝ｔ８，ｔ９で信号パルスＰＴＸ＿Ａ１，ＰＴＸ＿Ｂ２をＨｉ，ＬｏとしてＰＤ５０１Ａ，５０１Ｂに蓄積された光電荷をＦＤ５０４−１，５０４−２に転送する。電荷量に応じたＦＤ５０４−１，５０４−２の電位変動が列出力線５０７−１，５０７−２に光信号レベル（光成分＋ノイズ成分）として読み出され、列読み出し回路５０９に入力される。列読み出し回路５０９において、Ｔ＝ｔ１０，ｔ１１で信号パルスＰＴＳをＨｉ，Ｌｏとしスイッチ５１７を動作させることで容量ＣＴＳ５１５に光信号レベルを書き込む。

なお、ＣＴＳ５１５，ＣＴＮ５１６に信号を書き込む際、クランプ容量Ｃ０（５１０）とフィードバック容量Ｃｆ５１１の比に応じた反転ゲインがかかり出力される。その後、Ｔ＝ｔ１２で信号パルスＰＲＥＳをＨｉとし、ＦＤ５０４−１，５０４−２をリセット状態にする。

次に、水平転送時間ＨＳＲの期間にＣＴＳ５１５，ＣＴＮ５１６に保持された信号を水平走査回路４０４により読み出す。Ｔ＝ｔ１３〜ｔ１４の間に、列読み出し回路５０９ごとに順次信号パルスＰＨＳ，ＰＨＮをＨｉ，Ｌｏとしスイッチ５１９，５２０を動作させる。これにより、ＣＴＳ５１５，ＣＴＮ５１６に保持された信号は水平出力線５２２，５２３を通り、出力アンプ５２４で差動信号レベル（光成分）として出力される。

この後、ＰＤ５０１Ａ，５０１Ｂの信号に対して前述したＡ像とＢ像についての相関演算を施し、デフォーカス情報を取得することができる。一方、別々に出力されたＰＤ５０１Ａ，５０１Ｂの信号は、後段の回路（画像処理回路１０６等）で加算するなどして撮影画像としてもよい。

なお、ここではＰＤ５０１Ａの信号を列出力線５０７−１を介して読み出し、ＰＤ５０１Ｂの信号を列出力線５０７−２を介して読み出した。しかし、信号パルスＰＴＸ＿Ａ２とＰＴＸ＿Ｂ１をオンすることにより、それぞれの信号を逆の列出力線を介して読み出しても良い。

図８は、図６（ｂ）で示した第２の駆動モードにおける信号読み出し動作例を示すタイミングチャートである。図８のタイミングチャートを用いて、信号読み出し動作について説明する。

Ｔ＝ｔ０からｔ７までは第１の駆動モードとほぼ同じ動作であるため、説明は省略する。なお、駆動する転送スイッチ、リセットスイッチ、選択スイッチは、その画素の電荷を転送するＦＤ、列出力線に対応させる。例えば、列出力線５０７−１に出力させる場合には、転送スイッチ５０２Ａ−１，５０２Ｂ−１、リセットスイッチ５０３−１、選択スイッチ５０６−１を駆動する。以下、列出力線５０７−１に出力する場合を例として説明する。

続いて、Ｔ＝ｔ８，ｔ９で信号パルスＰＴＸ＿Ａ１，ＰＴＸ＿Ｂ１をＨｉ，ＬｏとしてＰＤ５０１Ａ，５０１Ｂに蓄積された光電荷をＦＤ５０４−１に転送する。電荷量に応じたＦＤ５０４−１の電位変動が列出力線５０７−１に光信号レベル（光成分＋ノイズ成分）として読み出され、列読み出し回路５０９に入力される。すなわち、ＰＤ５０１Ａ，５０１Ｂの電荷が混合されて単位画素の出力として列出力線５０７−１に読み出される。列読み出し回路５０９に入力された信号は、第１の駆動モードと同様の駆動により出力アンプ５２４で差動信号レベル（光成分）として出力される。

なお、本実施形態では、列出力線５０７−１からのみ信号を読み出した。しかし、他の行の画素において同時に転送スイッチ５０２Ａ−２，５０２Ｂ−２、リセットスイッチ５０３−２、選択スイッチ５０６−２を駆動することにより列出力線５０７−２から信号を読み出すことも可能である。２行分の画素信号を同時に読むことができるため、高速読み出しが可能となり、通常撮影において効率的な読み出しができる。

そして、図７と図８のタイミングチャートに示されるように、１回の水平読み出しにかかる時間、すなわち垂直転送時間ＨＢＬＫと水平転送時間ＨＳＲの和は、第１の駆動モードと２行同時読み出しの第２の駆動モードとで同じにすることができる。

以上より、撮像面位相差検出画素により焦点検出が行える構成のＣＭＯＳ型撮像素子を備えた撮像装置において、各列に設けた複数の列出力線のそれぞれに分割画素の出力を読み出すことにより蓄積時間の同時性を保ちつつ、撮像面位相差ＡＦ用画像を取得することができる。また、通常の撮影モードにおいては、２行分の画素信号を同時に読むことができるため、高速読み出しが可能となる。なお、本実施形態で説明した駆動は１例であり、これに限定されるものではない。

（第２の実施形態）
本発明の第２の実施形態について説明する。第２の実施形態は撮像素子の画素の構成に特徴があり、撮像素子の効率的なレイアウトを提案するものである。

図９は、第２の実施形態における撮像素子の画素の構成を説明する模式図である。１つのＦＤに対し、複数の単位画素からの信号を転送できる構成となっており、隣接行の画素（列方向に隣接する画素）とＦＤを共有している。隣り合った行でＦＤを共有することにより、１単位画素辺り２つのＦＤを備えることなく、蓄積時間の同時性を保ちつつ、撮像面位相差ＡＦ用画像を取得する駆動を実現することが可能となる。

図９の画素構成における、本実施形態の第１の駆動モード（撮像面位相差ＡＦ用画像取得モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（９０１Ａ−１）に蓄積された電荷は、転送スイッチＴＸ＿Ａ２をＯＮすることによりＦＤ９０４−２に転送されて電圧に変換され、列出力線９０７−１に出力される。一方、ＰＤ＿Ｂ（９０１Ｂ−１）に蓄積された電荷は、転送スイッチＴＸ＿Ｂ１をＯＮすることによりＦＤ９０４−１に転送されて電圧に変換され、列出力線９０７−２に出力される。なお、別々の列出力線を介して読み出されたＰＤ＿ＡとＰＤ＿Ｂの出力は、後段の画像処理回路１０６等で加算して撮像画像として使用することも可能である。

ＰＤ９０１Ａ−２，９０１Ｂ−２から構成される単位画素の電荷の読み出しも同様に行われる。後段での処理のしやすさのためにここでは、Ａ像用の信号は列出力線９０７−１、Ｂ像用の信号は列出力線９０７−２より出力することとする。単位画素のＰＤ＿Ａ（９０１Ａ−２）に蓄積された電荷は、転送スイッチＴＸ＿Ａ１をＯＮすることによりＦＤ９０４−２に転送されて電圧に変換され、列出力線９０７−１に出力される。一方、ＰＤ＿Ｂ（９０１Ｂ−２）に蓄積された電荷は、転送スイッチＴＸ＿Ｂ２をＯＮすることによりＦＤ９０４−３に転送されて電圧に変換され、列出力線９０７−２に出力される。以下同様にして、Ａ像用の信号を列出力線９０７−１より、Ｂ像用の信号を列出力線９０７−２より出力していく。

続いて、図９の画素構成における本実施形態の第２の駆動モード（通常撮影モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（９０１Ａ−１），ＰＤ＿Ｂ（９０１Ｂ−１）に蓄積された電荷は、転送スイッチＴＸ＿Ａ１，ＴＸ＿Ｂ１をＯＮすることによりＦＤ９０４−１に転送されて電圧に変換され、列出力線９０７−２に出力される。そして同時に、単位画素の分割ＰＤ＿Ａ（９０１Ａ−２），ＰＤ＿Ｂ（９０１Ｂ−２）に蓄積された電荷は、転送スイッチＴＸ＿Ａ１，ＴＸ＿Ｂ１をＯＮすることによりＦＤ９０４−２に転送されて電圧に変換され、列出力線９０７−１に出力される。このように、第２の実施形態の構成においても第２の駆動モードで２行分の画素信号を同時に読み出すことが可能である。なお、第１及び第２の駆動モードにおける信号読み出しの動作は第１の実施形態で説明した動作と同様で実現可能である。また、図９では各ＦＤ９０４は一方の列出力線にのみ接続されているが、両方の列出力線が選択可能な構成であっても良い。

（第３の実施形態）
本発明の第３の実施形態について説明する。第１及び第２の実施形態において、２つの駆動モードを説明した。撮像面位相差ＡＦ用画像取得モード（第１の駆動モード）においては、撮像面位相差ＡＦ用の情報と撮像用の情報の両方を取得可能であるが、通常撮影モードに比べて１枚の画像取得に必要な読み出し時間が長くなりフレームレートが下がってしまう。

そこで、１フレームにおいて、撮像面位相差ＡＦモード（第１の駆動モード）で読み出す行と通常撮影モード（第２の駆動モード）で読み出す行を混在させれば、フレームレートを落とすことなくＡＦ用情報を得ることが可能である。以下、このモードを行選択的撮像面位相差ＡＦモードと呼ぶ。

図１０は、第３の実施形態における行選択的撮像面位相差ＡＦモードでの読み出し方の例を示す図である。各行における読み出しモードを示しており、ここでは４行は第２の駆動モード（通常撮影モード）で読み出し、続く２行は第１の駆動モード（撮像面位相差ＡＦモード）で読み出す駆動としている。第１の駆動モード及び第２の駆動モードは、第１の実施形態で説明した図７、図８のタイミングチャートに従うことで実施可能である。

図１１は、第３の実施形態における行選択的撮像面位相差ＡＦモードにおける信号読み出し動作例について説明する模式図である。図１０における６行目から８行目に相当する、第１の駆動モード（撮像面位相差ＡＦモード）で読み出す１行と第２の駆動モード（通常撮影モード）で読み出す２行の例に該当する。なお、本実施形態では図９に示す構成における動作例について示したが、図６に示す構成においても実施可能である。

図１１における１行目における第１の駆動モード（撮像面位相差ＡＦ用画像取得モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（１１０１Ａ−１）に蓄積された電荷は、転送スイッチＴＸ＿Ａ２をＯＮすることによりＦＤ１１０４−２に転送されて電圧に変換され、列出力線１１０７−１に出力される。一方、ＰＤ＿Ｂ（１１０１Ｂ−１）に蓄積された電荷は、転送スイッチＴＸ＿Ｂ１をＯＮすることによりＦＤ１１０４−１に転送されて電圧に変換され、列出力線１１０７−２に出力される。なお、別々の列出力線を介して読み出されたＰＤ＿ＡとＰＤ＿Ｂの出力は、後段の画像処理回路１０６等で加算して撮像画像として使用可能である。

続いて、図１１の２、３行目における第２の駆動モード（通常撮影モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（１１０１Ａ−２），ＰＤ＿Ｂ（１１０１Ｂ−２）に蓄積された電荷は、転送スイッチＴＸ＿Ａ２，ＴＸ＿Ｂ２をＯＮすることによりＦＤ１１０４−３に転送されて電圧に変換され、列出力線１１０７−２に出力される。そして同時に、単位画素のＰＤ＿Ａ（１１０１Ａ−３），ＰＤ＿Ｂ（１１０１Ｂ−３）に蓄積された電荷は、転送スイッチＴＸ＿Ａ２，ＴＸ＿Ｂ２をＯＮすることによりＦＤ１１０４−４に転送されて電圧に変換され、列出力線１１０７−１に出力される。

このように、１フレーム内で行によって第１の駆動モードと第２の駆動モードを混在させた読み出し方が実現可能である。なお、第１の駆動モードと第２の駆動モードにおける１回の水平読み出しにかかる時間は、第１の実施形態でも述べたように同じになる。つまり、第１の駆動モードと第２の駆動モードが混在する行選択的位相差ＡＦモードにおいても、行によって蓄積時間、すなわち露光量が異なることなくスリットローリング動作を実現することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：撮影レンズ、１０２：マイクロレンズアレイ、１０３：撮像素子、１１２：絞り、１１３：マイクロレンズ

Claims

各々が複数の光電変換部および少なくとも２つのフローティングディフュージョン部を有するとともに、行列状に配置された複数の単位画素と、
前記単位画素の各列に対して複数本ずつ配置された列出力線と、
前記単位画素が有する複数の光電変換部に蓄積された信号をそれぞれ異なる前記列出力線から読み出す第１の読み出しモードと、前記単位画素が有する複数の光電変換部に蓄積された信号を混合して１つの前記列出力線から読み出す第２の読み出しモードとを切り替える切り替え手段と、
を備え、
各々の単位画素における複数の光電変換部のそれぞれに対して複数の転送ゲートが設けられ、各々の光電変換部に対して設けられた複数の前記転送ゲートは、前記少なくとも２つのフローティングディフュージョン部とそれぞれ接続されることを特徴とする撮像装置。
前記少なくとも２つのフローティングディフュージョン部の各々は、前記複数本の列出力線のうちのそれぞれ異なる列出力線に接続されることを特徴とする請求項１に記載の撮像装置。
前記フローティングディフュージョン部は、列方向に隣接する２つの単位画素で共有されていることを特徴とする請求項１または２に記載の撮像装置。
前記単位画素の各々は、２つの光電変換部および２つのフローティングディフュージョン部を有し、前記第１の読み出しモードでは、前記単位画素の各々において、一方の光電変換部が蓄積した電荷は、前記一方の光電変換部が有する２つの転送ゲートのうちの１つを駆動することにより、前記２つのフローティングディフュージョン部のうちの一方に転送され、他方の光電変換部が蓄積した電荷は、前記他方の光電変換部が有する２つの転送ゲートのうちの１つを駆動することにより、前記２つのフローティングディフュージョン部のうちのもう一方に転送されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記単位画素の各々は２つの光電変換部および２つのフローティングディフュージョン部を有し、前記第２の読み出しモードでは、前記単位画素の各々において、前記２つの光電変換部が蓄積した電荷は、それぞれの光電変換部が有する２つの転送ゲートのうちの１つを駆動することにより、前記２つのフローティングディフュージョン部のうちの一方に転送され、該電荷を転送されたフローティングディフュージョン部で電荷が混合されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記第２の読み出しモードでは、第１の単位画素の２つの光電変換部が蓄積した電荷は、前記第１の単位画素と該第１の単位画素と列方向に隣接する第２の単位画素との間に位置するフローティングディフュージョン部に転送され、前記第２の単位画素の２つの光電変換部が蓄積した電荷は、前記第２の単位画素と該第２の単位画素と列方向に隣接する第３の単位画素との間に位置するフローティングディフュージョン部に転送され、隣接する２行の信号を同時に読み出すことが可能であることを特徴とする請求項５に記載の撮像装置。
前記第１の読み出しモードと前記第２の読み出しモードを、１フレーム内で行によって切り替えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記単位画素の各々は、２つの光電変換部を有し、該２つの光電変換部から得られる像信号の位相差を検出して焦点検出を行うことが可能であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
各々が複数の光電変換部および少なくとも２つのフローティングディフュージョン部を有するとともに、行列状に配置された複数の単位画素と、前記単位画素の各列に対して複数本ずつ配置された列出力線とを備える撮像装置を制御する方法であって、
前記単位画素が有する複数の光電変換部に蓄積された信号をそれぞれ異なる前記列出力線から読み出す第１の読み出しモードと、前記単位画素が有する複数の光電変換部に蓄積された信号を混合して１つの前記列出力線から読み出す第２の読み出しモードとを切り替える切り替え工程を有し、
各々の単位画素における複数の光電変換部のそれぞれに対して複数の転送ゲートが設けられ、各々の光電変換部に対して設けられた複数の前記転送ゲートは、前記少なくとも２つのフローティングディフュージョン部とそれぞれ接続されることを特徴とする撮像装置の制御方法。
請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。
請求項９に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。