JP6474737B2

JP6474737B2 - 固体撮像装置および撮像システム

Info

Publication number: JP6474737B2
Application number: JP2015559873A
Authority: JP
Inventors: 亨近藤; 渡辺　伸之; 伸之渡辺
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-02-03
Filing date: 2015-01-19
Publication date: 2019-02-27
Anticipated expiration: 2035-01-19
Also published as: US20160344958A1; WO2015115224A1; US10051217B2; JPWO2015115224A1

Description

本発明は、固体撮像装置および撮像システムに関する。
本願は、２０１４年０２月０３日に、日本に出願された特願２０１４−０１８４１３号に基づき優先権を主張し、その内容をここに援用する。

近年、ビデオカメラや電子スチルカメラなどの撮像システムが広く一般に普及している。これらの撮像システムには、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）型の固体撮像装置や、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型の固体撮像装置が搭載されている。これらの固体撮像装置では、画素が二次元の行列状に複数配置され、光が入射する画素内に設けられたフォトダイオードなどの光電変換部が生成した信号電荷を、電荷保持部に保持し、画素内に設けられた増幅部で増幅して、画素信号として出力する。このとき、一般的なＣＭＯＳ型固体撮像装置では、従来から、二次元の行列状に配列された各画素からの画素信号を、行毎に順次読み出している。

しかしながら、撮像システムにおいては、固体撮像装置に備えた全ての画素の画素数に相当する解像度（フル解像度）の画素信号に対する処理を必要としない動作がある。例えば、撮像システムにおいて静止画像を撮影する場合には、固体撮像装置のフル解像度の画素信号に対する処理を行うが、動画像を撮影する場合や、静止画像や動画像を撮影する際に被写体を確認するための画像、いわゆる、ライブビュー画像（スルー画像）を撮像システムに備えた表示装置に表示させる場合には、固体撮像装置のフル解像度の画素信号に対して処理をする必要がない。また、静止画像を撮影する際に行う、自動露出（ＡｕｔｏＥｘｐｏｓｕｒｅ：ＡＥ）、オートホワイトバランス（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ：ＡＷＢ）、自動焦点（ＡｕｔｏＦｏｃｕｓ：ＡＦ）などの制御や、ダイナミックレンジの確認、画像全体の色味の確認、静止画像を生成する際の画像処理における、例えば、蛍光灯のフリッカの確認などにおいても、固体撮像装置のフル解像度の画素信号に対する処理する必要はなく、一部の画素の画素信号を読み出して処理が行われる場合がある。

これは、動画像の撮影、ライブビュー画像の生成、静止画像を撮影する際の制御においては、静止画像を撮影する場合に比べて、それぞれの処理を行う際に必要な解像度が低いためである。むしろ、動画像の撮影やライブビュー画像の生成、静止画像を撮影する際の制御においては、画像の解像度よりも処理を行う画像を更新する頻度が高い、いわゆる、フレームレートが高いことが求められている。また、ＡＦ、ＡＥ、ＡＷＢの検出においては、さらに高いフレームレートが求められる。

このため、高いフレームレートで固体撮像装置からの画素信号の読み出しを行う技術としては、画素信号を間引いて読み出し、複数の画素の信号を加算平均化する方法があり、既に多くの撮像システムで実現されている。このような解像度を減縮して読み出す方法の問題点は、画素信号を読み出す際に光電変換部および電荷保持部が占有されるため、固体撮像装置のフル解像度の画素信号の読み出しと解像度を減縮した画素信号の読み出しとを期間的に重ねることが困難である。例えば、デジタルカメラにおいて、静止画像をフル解像度で撮影した際のシャッター押下後には、その信号が固体撮像装置から読み出されている間は、上述したような高いフレームレートでの撮影が困難である。これを解消する方法として、例えば、特許文献１のような技術が開示されている。特許文献１に開示された技術では、固体撮像装置からの画素信号の読み出しを画素の行毎に間引くことによって、フレームレートを高くしている。例えば、７行に１行の割合で間引いて、固体撮像装置に備えた画素の画素信号を先行して読み出すことによってフレームレートを高くし、その後、間引いていない行の画素信号を読み出している。これにより、特許文献１に開示された技術では、動画像やライブビュー画像を生成するための画素信号と、静止画像を生成するための画素信号とを取得することができる。

また、例えば、特許文献２に開示された技術のように、光電変換部が生成した信号電荷を蓄積する電荷蓄積回路を複数備えた画素を有する固体撮像装置の技術も開示されている。特許文献２に開示された技術では、それぞれの露光において光電変換部が生成したそれぞれの信号電荷を、それぞれの電荷蓄積回路に蓄積させることによって、例えば、固体パターンノイズなどを低減し、自動焦点の出力線形性を向上している。

日本国特許第５２２６５５２号公報日本国特開２０１３−０３０９１３号公報

しかしながら、特許文献１に開示された技術では、固体撮像装置から読み出す画素信号を画素の行毎に間引くことによって、読み出す画素信号が少なくなる分だけフレームレートを高くすることはできるが、画素信号の読み出しを間引いた行の画素の分だけ、画像を生成するための画素の情報が欠落することになる。このため、行毎に間引かれた画素信号に基づいて生成した動画像やライブビュー画像は、アンダーサンプリングとなって折り返しによる干渉縞（モアレ）の発生がしやすくなる。そして、画素信号を間引かずに読み出して加算処理などによって生成した動画像やライブビュー画像よりもノイズが多くなり、画質が低下する、という問題がある。また、画質を優先して画素加算処理を行うようにすると、今度は、全ての画素の光電変換部と電荷保持部とを占有することになる。このように、特許文献１のように画素信号を間引いて先行して読み出し、その後、間引いていない行の画素信号を読み出す方法では、全ての画素の読み出しをしている間に、高いフレームレートの読み出しを行うことは困難である。

また、特許文献１に開示された技術では、全ての画素の画素信号に基づいて静止画像を生成する場合には、先行して読み出す間引いた行とその後に読み出す他の行とで、画素信号の読み出し順番が入れ替わっている。このため、画素信号の順番を元の順番に戻すための並べ替えを行う回路が必要となり、固体撮像装置の回路規模の増大を招いている。

上記の問題を解消するためには、電荷蓄積部に蓄積された光電変換後の信号電荷を一旦異なる電荷蓄積部に待避させる方法が考えられる。１つの光電変換部に対して複数の電荷保持部を有する構成としては、例えば、特許文献２に開示された技術がある。しかしながら、特許文献２に開示された技術は、複数の電荷蓄積回路によって、複数回の露光により固体パターンノイズなどを低減しながら、異なる露光期間での信号電荷を取得し、広ダイナミックレンジの画像信号を生成している。しかし、フル解像度の信号を得ながら、同時にフレームレートの高い動画像やライブビュー画像の撮影やＡＦ，ＡＷＢ，ＡＥの検出をする技術ではない。

本発明は、上記の課題に基づいてなされたものであり、全ての画素の画素信号と、画質の低下を抑えた状態で画素数を減縮した画素信号とを、同じ露光によって取得することができる固体撮像装置およびこの固体撮像装置を搭載した撮像システムを提供することを目的としている。

本発明の第１の態様によれば、固体撮像装置は、入射した光を光電変換した信号電荷を発生する光電変換部を行列状に配置した複数の画素と、前記光電変換部が発生した前記信号電荷を保持し、該保持した信号電荷に応じた信号電圧を、第１の画素信号として出力する複数の第１の電荷蓄積回路と、前記光電変換部が発生した前記信号電荷を前記第１の電荷蓄積回路に転送する複数の電荷転送回路と、複数の前記画素内のそれぞれの前記光電変換部が発生した前記信号電荷に基づいた信号電荷を保持し、該保持した信号電荷に応じた信号電圧を、予め定めた数の画素数に減縮した第２の画素信号として出力する複数の第２の電荷蓄積回路と、を備え、前記電荷転送回路は、同じ露光期間で対応する前記光電変換部が発生した前記信号電荷を前記第１の電荷蓄積回路に転送する際に、該信号電荷を前記第２の電荷蓄積回路にも転送する。

本発明の第２の態様によれば、上記第１の態様の固体撮像装置において、前記第２の電荷蓄積回路は、対応する複数の前記画素内のそれぞれの前記光電変換部が発生したそれぞれの前記信号電荷を加算または平均化した電荷量の信号電荷を保持してもよい。

本発明の第３の態様によれば、上記第１の態様の固体撮像装置において、前記第２の電荷蓄積回路は、対応する複数の前記画素内のそれぞれの前記光電変換部が発生したそれぞれの前記信号電荷の内、予め定めた前記画素内の前記光電変換部が発生したいずれか１つの信号電荷を保持してもよい。

本発明の第４の態様によれば、上記第２の態様または上記第３の態様の固体撮像装置において、固体撮像装置は、前記光電変換部が複数配置された光電変換基板と、前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の一方が複数配置された第１の基板と、前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の他方が複数配置された第２の基板と、前記光電変換基板と前記第１の基板とを電気的接続する第１の接続部と、前記第１の基板と前記第２の基板とを電気的接続する第２の接続部と、によって構成されてもよい。

本発明の第５の態様によれば、上記第４の態様の固体撮像装置において、前記第１の接続部は、前記光電変換基板と前記第１の基板との間に配置され、該第１の基板に配置された前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の一方のそれぞれに対応し、該光電変換基板に配置されたそれぞれの前記光電変換部から、該第１の基板に配置された対応する前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の一方に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該光電変換基板と該第１の基板との間で電気的に接続し、前記第２の接続部は、前記第１の基板と前記第２の基板との間に配置され、該第２の基板に配置された前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の他方のそれぞれに対応し、前記光電変換基板に配置されたそれぞれの前記光電変換部から、該第１の基板を介して該第２の基板に配置された対応する前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の他方に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該第１の基板と該第２の基板との間で電気的に接続してもよい。

本発明の第６の態様によれば、上記第２の態様または上記第３の態様の固体撮像装置において、固体撮像装置は、前記光電変換部が複数配置された光電変換基板と、前記第１の電荷蓄積回路および前記第２の電荷蓄積回路が複数配置された第１の基板と、前記光電変換基板と前記第１の基板とを電気的接続する第１の接続部と、によって構成されてもよい。

本発明の第７の態様によれば、上記第６の態様の固体撮像装置において、前記第１の接続部は、前記光電変換基板と前記第１の基板との間に配置され、該第１の基板に配置された前記第１の電荷蓄積回路および前記第２の電荷蓄積回路の少なくとも一方のそれぞれに対応し、該光電変換基板に配置されたそれぞれの前記光電変換部から、該第１の基板に配置された対応する前記第１の電荷蓄積回路および前記第２の電荷蓄積回路の少なくとも一方に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該光電変換基板と該第１の基板との間で電気的に接続してもよい。

本発明の第８の態様によれば、上記第２の態様、または上記第２の態様を引用する上記第４の態様から上記第７の態様のいずれか一態様の固体撮像装置において、複数の前記画素が行列状に配置された領域は、異なる方向の光が前記光電変換部に入射される少なくとも２つの隣接する前記画素によって構成された画素群が複数配置された領域を含み、前記第２の電荷蓄積回路は、複数の前記画素群が配置された領域内で、異なる前記画素群に入射された同じ方向の光を光電変換した、対応する複数の前記画素内のそれぞれの前記光電変換部が発生したそれぞれの前記信号電荷を加算または平均化した電荷量の信号電荷を保持してもよい。

本発明の第９の態様によれば、上記第８の態様の固体撮像装置において、前記画素群が複数配置された領域は、前記画素群を構成する前記画素が隣接する方向と直交する方向に、前記画素群が複数配置されてもよい。

本発明の第１０の態様によれば、上記第９の態様の固体撮像装置において、前記画素群は、該画素群を構成する前記画素が少なくとも行方向または列方向に隣接し、前記画素群が複数配置された領域は、前記画素群が、少なくとも列方向または行方向に複数配置されてもよい。

本発明の第１１の態様によれば、上記第１の態様から上記第１０の態様のいずれか一態様の固体撮像装置において、複数の前記第２の電荷蓄積回路のそれぞれが保持した前記信号電荷に基づいた信号電荷を保持し、該保持した信号電荷に応じた信号電圧を、予め定めた数の画素数にさらに減縮した第３の画素信号として出力する複数の第３の電荷蓄積回路、をさらに備えてもよい。

本発明の第１２の態様によれば、上記第１１の態様の固体撮像装置において、前記第３の電荷蓄積回路は、対応する複数の前記第２の電荷蓄積回路が保持したそれぞれの前記信号電荷を加算または平均化した電荷量の信号電荷を保持してもよい。

本発明の第１３の態様によれば、上記第４の態様を引用する上記第１１の態様または上記第１２の態様の固体撮像装置において、前記第３の電荷蓄積回路は、第３の基板に複数配置され、固体撮像装置は、前記第２の基板と前記第３の基板とを電気的接続する第３の接続部、を備えてもよい。

本発明の第１４の態様によれば、上記第１３の態様の固体撮像装置において、前記第３の接続部は、前記第２の基板と前記第３の基板との間に配置され、該第３の基板に配置された前記第３の電荷蓄積回路のそれぞれに対応し、前記第２の基板に配置されたそれぞれの前記第２の電荷蓄積回路から、該第３の基板に配置された対応する前記第３の電荷蓄積回路に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該第２の基板と該第３の基板との間で電気的に接続してもよい。

本発明の第１５の態様によれば、上記第６の態様を引用する上記第１１の態様または上記第１２の態様の固体撮像装置において、前記第３の電荷蓄積回路は、前記第１の基板にさらに複数配置されてもよい。

本発明の第１６の態様によれば、撮像システムは、上記第１の態様から上記第１０の態様のいずれか一態様の固体撮像装置と、前記固体撮像装置に備えた前記第１の電荷蓄積回路から前記第１の画素信号を読み出す第１の読み出し部と、前記固体撮像装置に備えた前記第２の電荷蓄積回路から前記第２の画素信号を読み出す第２の読み出し部と、を備える。

本発明の第１７の態様によれば、上記第１６の態様の撮像システムにおいて、撮像システムは、前記第１の読み出し部による前記第１の画素信号の読み出しに先立って、前記画素の数を減縮した前記第２の画素信号を、前記第２の読み出し部によって読み出してもよい。

本発明の第１８の態様によれば、上記第１６の態様または上記第１７の態様の撮像システムにおいて、撮像システムは、前記第１の読み出し部による前記第１の画素信号の読み出しを行わず、前記第１の電荷蓄積回路に保持した前記信号電荷を破棄してもよい。

本発明の第１９の態様によれば、上記第１６の態様の撮像システムにおいて、撮像システムは、前記第１の画素信号と前記第２の画素信号とのうち、更新頻度が高い前記第２の画素信号を優先して、前記第２の読み出し部によって読み出してもよい。

本発明の第２０の態様によれば、撮像システムは、上記第１１の態様、または上記第１１の態様を引用する上記第１２の態様から上記第１５の態様のいずれか一態様の固体撮像装置と、前記固体撮像装置に備えた前記第１の電荷蓄積回路から前記第１の画素信号を読み出す第１の読み出し部と、前記固体撮像装置に備えた前記第２の電荷蓄積回路から前記第２の画素信号を読み出す第２の読み出し部と、前記固体撮像装置に備えた前記第３の電荷蓄積回路から前記第３の画素信号を読み出す第３の読み出し部と、を備える。

本発明の第２１の態様によれば、上記第２０の態様の撮像システムにおいて、撮像システムは、前記第１の読み出し部による前記第１の画素信号の読み出しに先立って、前記画素の数を減縮した前記第２の画素信号の前記第２の読み出し部による読み出し、または前記画素の数をさらに減縮した前記第３の画素信号の前記第３の読み出し部による読み出しを行ってもよい。

本発明の第２２の態様によれば、上記第２０の態様または上記第２１の態様の撮像システムにおいて、撮像システムは、前記第１の読み出し部による前記第１の画素信号の読み出し、または前記第２の読み出し部による前記第２の画素信号の読み出しの少なくとも一方の読み出しを行わず、読み出しを行わない前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の少なくとも一方に保持した前記信号電荷を破棄してもよい。

本発明の第２３の態様によれば、上記第２０の態様の撮像システムにおいて、撮像システムは、前記第１の画素信号、前記第２の画素信号、および前記第３の画素信号のうち、更新頻度が高い前記第２の画素信号または前記第３の画素信号を優先して、対応する前記第２の読み出し部または前記第３の読み出し部によって読み出してもよい。

上記各態様によれば、全ての画素の画素信号と、画質の低下を抑えた状態で画素数を減縮した画素信号とを、同じ露光によって取得することができる。

本発明の実施形態の固体撮像装置の概略構成を示したブロック図である。本発明の実施形態の固体撮像装置の第１の構成例を示した回路図である。本発明の実施形態の固体撮像装置の第１の構成例を駆動するタイミングを示したタイミングチャートである。本発明の実施形態の固体撮像装置の第２の構成例を示した回路図である。本発明の実施形態の固体撮像装置の第２の構成例を駆動するタイミングを示したタイミングチャートである。本発明の実施形態の固体撮像装置の第３の構成例を示した回路図である。本発明の実施形態の固体撮像装置の第３の構成例を駆動するタイミングを示したタイミングチャートである。本発明の実施形態の固体撮像装置の変形例の概略構成を示したブロック図である。本発明の実施形態の固体撮像装置の画素アレイの配列の一例を示した図である。本発明の実施形態の固体撮像装置の画素アレイの配列の一例を示した図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第１のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した第１のシステム例の撮像システムの画素信号の読み出しシーケンスを示したタイミングチャートである。本発明の実施形態の固体撮像装置を搭載した撮像システムの第２のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第３のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した第３のシステム例の撮像システムの画素信号の読み出しシーケンスを示したタイミングチャートである。撮像システムのＡＦ処理の焦点距離とコントラストとの関係の一例を説明する図である。本発明の実施形態の固体撮像装置の別の変形例の概略構成を示したブロック図である。本発明の実施形態の固体撮像装置の第４の構成例を示した回路図である。本発明の実施形態の固体撮像装置の第４の構成例を駆動するタイミングを示したタイミングチャートである。本発明の実施形態の固体撮像装置を搭載した撮像システムの第４のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第５のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置の画素アレイの配列の一例を示した図である。本発明の実施形態の固体撮像装置の画素アレイの配列の一例を示した図である。本発明の実施形態の固体撮像装置における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第６のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した第６のシステム例の撮像システムの画素信号の読み出しシーケンスを示したタイミングチャートである。本発明の実施形態の固体撮像装置における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第７のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第８のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第９のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した撮像システムの第１０のシステム例を示したブロック図である。本発明の実施形態の固体撮像装置を搭載した第１０のシステム例の撮像システムの画素信号の読み出しシーケンスを示したタイミングチャートである。本発明の実施形態の固体撮像装置を搭載した第１０のシステム例の撮像システムの外観の一例を示した図である。本発明の実施形態の固体撮像装置を搭載した第１０のシステム例の撮像システムの動作を模式的に示した図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明は、例示のために特定の詳細な内容が含まれている。しかし、当業者であれば、以下に説明する詳細な内容に様々な変更を加えた場合であっても、本発明の範囲を超えないことは理解できるであろう。従って、以下に説明する本発明の例示的な実施形態は、権利を請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。

図１は、本発明の実施形態の固体撮像装置の概略構成を示したブロック図である。なお、固体撮像装置においては、複数の画素を二次元の行列状に配置することによって画素アレイを形成し、この画素アレイを備えるが、説明を容易にするため、図１においては、固体撮像装置に、画素１００ａと画素１００ｂとの２つの画素が配置されている場合の一例について説明する。実際には、画素１００ａ、画素１００ｂの組が複数個（例えば、固体撮像装置の全ての画素数の１／２組）存在する。なお、固体撮像装置１には、この固体撮像装置１を搭載した撮像システムに備えた、固体撮像装置１の制御を行う制御装置による制御に応じて、それぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの走査回路や、画素信号を固体撮像装置１の外部に出力するための出力アンプなどの構成要素も備えているが、図１においては省略している。

なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素１００ａまたは画素１００ｂを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「ａ」または「ｂ」の符号を付与して説明する。より具体的には、画素１００ａに対応する構成要素の符号の最後に「ａ」を付与し、画素１００ｂに対応する構成要素の符号の最後に「ｂ」を付与して説明する。また、画素１００ａおよび画素１００ｂに共通して対応する構成要素には、「ａ」、「ｂ」の符号は付与せずに説明する。また、画素１００ａまたは画素１００ｂのいずれか一方の画素に対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「ａ」または「ｂ」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。

図１に示した固体撮像装置１は、光電変換部１０１ａおよび光電変換部１０１ｂと、電荷転送回路１０２ａおよび電荷転送回路１０２ｂと、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂと、第２の電荷蓄積回路１０４とから構成される。なお、光電変換部１０１ａおよび光電変換部１０１ｂの２個に対して、１個の第２の電荷蓄積回路１０４が配置されているが、例えば、９個の光電変換部に対して１個の第２の電荷蓄積回路１０４が配置されてもよいし、２５個の光電変換部に対して１個の第２の電荷蓄積回路１０４が配置されてもよい。すなわち、複数の光電変換部に対して１個の第２の電荷蓄積回路１０４が配置されていればよい。

光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。

電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａまたは光電変換部１０１ｂが発生して蓄積した信号電荷を、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂと、第２の電荷蓄積回路１０４とのそれぞれに転送するための回路である。

第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂのそれぞれは、対応する電荷転送回路１０２ａまたは電荷転送回路１０２ｂから転送された、対応する光電変換部１０１ａまたは光電変換部１０１ｂが発生した信号電荷を保持（蓄積）する回路である。また、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂのそれぞれは、保持した信号電荷に応じた信号電圧を、画素信号として出力する回路でもある。

第２の電荷蓄積回路１０４は、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれから転送された、光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。つまり、第２の電荷蓄積回路１０４は、固体撮像装置１に備えたそれぞれの画素の信号電荷を加算平均することによって、画素の数（画素数）を減縮した状態にするための信号電荷を保持する回路である。また、第２の電荷蓄積回路１０４は、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の画素信号として出力する回路でもある。

なお、画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷を第２の電荷蓄積回路１０４に保持する際に加算平均する構成、第２の電荷蓄積回路１０４が保持したそれぞれの信号電荷に応じた信号電圧（画素信号）を出力する際に加算平均する構成などがある。なお、第２の電荷蓄積回路１０４が保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。

実施形態によれば、入射した光を光電変換した信号電荷を発生する光電変換部（光電変換部１０１ａまたは光電変換部１０１ｂ）を行列状に配置した複数の画素（画素１００ａおよび画素１００ｂ）と、光電変換部１０１ａまたは光電変換部１０１ｂが発生した信号電荷を保持し、ここで保持した信号電荷に応じた信号電圧を、第１の画素信号（全ての画素の画素信号）として出力する複数の第１の電荷蓄積回路（第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ）と、光電変換部１０１ａまたは光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ａまたは第１の電荷蓄積回路１０３ｂに転送する複数の電荷転送回路（電荷転送回路１０２ａおよび電荷転送回路１０２ｂ）と、複数の画素（画素１００ａおよび画素１００ｂ）内のそれぞれの光電変換部１０１ａおよび光電変換部１０１ｂが発生した信号電荷に基づいた信号電荷を保持し、ここで保持した信号電荷に応じた信号電圧を、予め定めた数の画素数に減縮した第２の画素信号（画素数を減縮した状態の画素信号）として出力する複数の第２の電荷蓄積回路（第２の電荷蓄積回路１０４）と、を備え、電荷転送回路１０２ａまたは電荷転送回路１０２ｂは、同じ露光期間で対応する光電変換部１０１ａまたは光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ａまたは第１の電荷蓄積回路１０３ｂに転送する際に、この信号電荷を第２の電荷蓄積回路１０４にも転送する、固体撮像装置（固体撮像装置１）が構成される。

また、実施形態によれば、第２の電荷蓄積回路１０４は、対応する複数の画素（画素１００ａおよび画素１００ｂ）内のそれぞれの光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷を加算または平均化した電荷量の信号電荷を保持する、固体撮像装置１が構成される。

このような構成によって、実施形態の固体撮像装置１では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１ａが発生した信号電荷を第１の電荷蓄積回路１０３ａに、光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ｂにそれぞれに保持すると共に、それぞれの信号電荷の電荷量を平均化して画素数を減縮するための信号電荷を第２の電荷蓄積回路１０４に保持する。そして、実施形態の固体撮像装置１は、第１の電荷蓄積回路１０３ａと第１の電荷蓄積回路１０３ｂとのそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、実施形態の固体撮像装置１では、同じ１回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号（以下、「フル解像画像信号」という）と、画素数を減縮した画素信号（以下、「減縮画像信号」という）とのそれぞれを別々に出力することができる。

なお、実施形態の固体撮像装置１では、図１において、それぞれの画素に備えた光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４を備える構成を示した。しかし、実施形態の固体撮像装置１の構成は、図１に示した構成に限定されるものではない。例えば、光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を加算した電荷量の信号電荷を保持する構成にしてもよい。この場合、図１に示した固体撮像装置１は、第２の電荷蓄積回路１０４の代わりに、固体撮像装置１に備えたそれぞれの画素の信号電荷を加算することによって、画素数を減縮しつつ、信号電荷のレベルを高くした状態の信号電荷を保持する回路（加算電荷蓄積回路）を備える構成となる。また、例えば、光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷と、それぞれの信号電荷の電荷量を加算した量の信号電荷との両方をそれぞれ保持する構成にしてもよい。

実施形態によれば、第２の電荷蓄積回路（例えば、加算電荷蓄積回路）は、対応する複数の画素（画素１００ａおよび画素１００ｂ）内のそれぞれの光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷の内、予め定めた画素内の光電変換部１０１ａまたは光電変換部１０１ｂが発生したいずれか１つの信号電荷を保持する、固体撮像装置１が構成される。

（第１の構成例）
次に、実施形態の固体撮像装置１のより具体的な構成の一例について説明する。第１の構成例の固体撮像装置１は、それぞれの光電変換部１０１が発生した信号電荷を第２の電荷蓄積回路１０４に保持する際に、それぞれの信号電荷を平均化した信号電荷を保持する構成例である。図２は、本発明の実施形態の固体撮像装置１の第１の構成例を示した回路図である。図２には、固体撮像装置１の第１の構成例のそれぞれの構成要素を複数の基板に分けて構成した多層基板構造の固体撮像装置１を示している。より具体的には、固体撮像装置１は、光電変換基板１１と、第１の読み出し基板２１と、第２の読み出し基板３１との３つの基板による多層基板構造である。この多層基板構造の場合、それぞれの基板の信号線は、異なる基板同士の信号線を電気的に接続する接続部（以下、「基板間接続部」という）によって電気的に接続している。

なお、基板間接続部としては、例えば、蒸着法、めっき法で作製されるバンプなどを用いる。このとき、それぞれの基板の間に存在する空間には、接着剤などの絶縁部材を充填させてもよい。そして、接続されたそれぞれの基板に形成された構成要素同士は、基板間接続部を介して信号の送受信を行う。

なお、基板間接続部の構造は、上述したバンプ方式に限定されるものではなく、例えば、シリコン貫通電極（ＴＳＶ：Ｔｈｒｏｕｇｈ−Ｓｉｌｉｃｏｎ−Ｖｉａ）方式を用いてもよい。また、固体撮像装置１の構造は、必ずしも多層基板構造に限定されるものではなく、１枚の基板、つまり、光電変換基板１１と第１の読み出し基板２１と第２の読み出し基板３１とをモノリシック構造で形成してもよい。しかしながら、上記の３者の構造を比較すると、一般的にバンプ方式の方が、ＴＳＶ方式よりは面積当たりにおける基板間の接点数を多くすることができる。なぜなら、ＴＳＶ方式はシリコン貫通電極の周囲に回路を配置することが困難であるためである。また、モノリシックな構造の場合、回路が混雑するために、特に高速動作させたときの発熱が問題となり、また消費電力も大きいと考えられる。したがって、高解像度の固体撮像装置向けには、バンプ方式が最も好ましい。なお、画素加算等により基板間の接点数が少なくなった際にはＴＳＶ方式を用いて接続してもよい。また、固体撮像装置の解像度が小さい場合にはＴＳＶ方式を用いてもよい。

図２において、固体撮像装置１の第１の構成例は、光電変換基板１１に、光電変換部１０１ａ，１０１ｂと、画素リセットトランジスタ１０５ａ，１０５ｂ、第１の増幅トランジスタ１０６ａ，１０６ｂ、および電荷転送トランジスタ１１２ａ，１１２ｂとが形成されている。なお、図２においては、画素１００ａに備えた第１の増幅トランジスタ１０６ａのゲート端子に接続されたノードに付随する容量であるノード容量１２０ａと、画素１００ｂに備えた第１の増幅トランジスタ１０６ｂのゲート端子に接続されたノードに付随する容量であるノード容量１２０ｂとのそれぞれも、キャパシタの記号で示している。画素１００ａは、光電変換部１０１ａと、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、で構成されている。画素１００ｂは、光電変換部１０１ｂと、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、で構成されている。

また、図２において、固体撮像装置１の第１の構成例は、第１の読み出し基板２１に、第１のクランプトランジスタ１０９ａ，１０９ｂ、第１のサンプルホールドトランジスタ１０８ａ，１０８ｂ、第２の増幅トランジスタ１１１ａ，１１１ｂ、第１の選択トランジスタ１０７ａ，１０７ｂ、第１の電荷蓄積部１１０ａ，１１０ｂ、画素負荷トランジスタ１１４ａ，１１４ｂ、および第１のノイズ抑圧素子１１３ａ，１１３ｂが形成されている。電荷転送回路１０２ａは、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、画素負荷トランジスタ１１４ａと、で構成されている。電荷転送回路１０２ｂは、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、画素負荷トランジスタ１１４ｂと、で構成されている。第１の電荷蓄積回路１０３ａは、第１のクランプトランジスタ１０９ａと、第１のサンプルホールドトランジスタ１０８ａと、第２の増幅トランジスタ１１１ａと、第１の選択トランジスタ１０７ａと、第１の電荷蓄積部１１０ａと、第１のノイズ抑圧素子１１３ａと、で構成されている。第１の電荷蓄積回路１０３ｂは、第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ｂと、第２の増幅トランジスタ１１１ｂと、第１の選択トランジスタ１０７ｂと、第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ｂと、で構成されている。

また、図２において、固体撮像装置１の第１の構成例は、第２の読み出し基板３１に、第２のクランプトランジスタ２０９、第２のサンプルホールドトランジスタ２０８、第３の増幅トランジスタ２１１、第２の選択トランジスタ２０７、第２の電荷蓄積部２１０、第２のノイズ抑圧素子２１３ａ、および第２のノイズ抑圧素子２１３ｂからなる第２の電荷蓄積回路１０４が形成されている。

そして、光電変換基板１１と第１の読み出し基板２１とが第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂによって接続され、第１の読み出し基板２１と第２の読み出し基板３１とが第２の基板間接続部２２ａおよび第２の基板間接続部２２ｂによって接続されている。

より具体的には、図２に示した固体撮像装置１の第１の構成例では、光電変換基板１１の第１の増幅トランジスタ１０６ａと、第１の読み出し基板２１の画素負荷トランジスタ１１４ａおよび第１のノイズ抑圧素子１１３ａとが第１の基板間接続部１２ａを介して接続されている。また、図２に示した固体撮像装置１の第１の構成例では、光電変換基板１１の第１の増幅トランジスタ１０６ｂと、第１の読み出し基板２１の画素負荷トランジスタ１１４ｂおよび第１のノイズ抑圧素子１１３ｂとが第１の基板間接続部１２ｂを介して接続されている。また、図２に示した固体撮像装置１の第１の構成例では、光電変換基板１１の第１の増幅トランジスタ１０６ａと、第２の読み出し基板３１の第２のノイズ抑圧素子２１３ａとが、第１の基板間接続部１２ａおよび第２の基板間接続部２２ａを介して接続されている。また、図２に示した固体撮像装置１の第１の構成例では、光電変換基板１１の第１の増幅トランジスタ１０６ｂと、第２の読み出し基板３１の第２のノイズ抑圧素子２１３ｂとが、第１の基板間接続部１２ｂおよび第２の基板間接続部２２ｂを介して接続されている。

なお、実施形態の固体撮像装置１の第１の構成例では、光電変換基板１１と第１の読み出し基板２１とを電気的接続する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂの構造や、第１の読み出し基板２１と第２の読み出し基板３１とを電気的接続する第２の基板間接続部２２ａおよび第２の基板間接続部２２ｂの構造に関しては、特に規定しない。このため、実施形態の固体撮像装置１の第１の構成例では、例えば、第１の基板間接続部１２ａ、第１の基板間接続部１２ｂ、第２の基板間接続部２２ａ、および第２の基板間接続部２２ｂの全てをバンプで形成してもよい。また、例えば、第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂをバンプで形成し、第２の基板間接続部２２ａおよび第２の基板間接続部２２ｂをシリコン貫通電極で形成してもよい。また、光電変換基板１１と第１の読み出し基板２１と第２の読み出し基板３１に形成された構成要素を１つの基板に形成する、いわゆる、モノリシック構造にしてもよい。

光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれは、入射した光を光電変換して信号電荷を発生して蓄積するフォトダイオードである。

電荷転送トランジスタ１１２ａおよび電荷転送トランジスタ１１２ｂのそれぞれは、不図示の垂直走査回路から入力された制御信号φＴＸ１に応じて、対応する光電変換部１０１ａまたは光電変換部１０１ｂが発生して蓄積した信号電荷を、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂのゲート端子にそれぞれ転送する。このとき、電荷転送トランジスタ１１２ａによって転送されたそれぞれの信号電荷は、対応するノード容量１２０ａに蓄積され、電荷転送トランジスタ１１２ｂによって転送されたそれぞれの信号電荷は、対応するノード容量１２０ｂに蓄積される。

第１の増幅トランジスタ１０６ａおよび第１の増幅トランジスタ１０６ｂのそれぞれは、ゲート端子に転送された信号電荷、すなわち、対応するノード容量１２０ａまたはノード容量１２０ｂにそれぞれ蓄積された信号電荷に応じた信号電圧を、対応する第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂに出力する。これにより、光電変換部１０１ａと光電変換部１０１ｂとのそれぞれで発生した信号電荷に応じた信号電圧のそれぞれが、第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂを介して、第１の読み出し基板２１に出力される。また、光電変換部１０１ａと光電変換部１０１ｂとのそれぞれで発生した信号電荷に応じた信号電圧のそれぞれは、さらに、第２の基板間接続部２２ａまたは第２の基板間接続部２２ｂを介して、第２の読み出し基板３１にも出力される。

画素リセットトランジスタ１０５ａおよび画素リセットトランジスタ１０５ｂのそれぞれは、不図示の垂直走査回路から入力された制御信号φＲＳＴ１に応じて、画素１００ａまたは画素１００ｂ内の信号電荷を、電源電圧ＶＤＤにリセットする。

画素負荷トランジスタ１１４ａおよび画素負荷トランジスタ１１４ｂのそれぞれは、不図示の垂直走査回路から入力された制御信号φＢＩＡＳに応じて、対応する信号電圧を出力している第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂの負荷として動作する。そして、画素負荷トランジスタ１１４ａおよび画素負荷トランジスタ１１４ｂのそれぞれは、対応する信号電圧を出力している第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂを駆動するための電流を、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂに供給する。

第１のノイズ抑圧素子１１３ａおよび第１のノイズ抑圧素子１１３ｂのそれぞれは、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂから、第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂを介して入力された信号電圧を保持（蓄積）する容量である。

第１のクランプトランジスタ１０９ａおよび第１のクランプトランジスタ１０９ｂのそれぞれは、不図示の垂直走査回路から入力された制御信号φＲＳＴ２に応じて、対応する第１の電荷蓄積部１１０ａまたは第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ａまたは第１のノイズ抑圧素子１１３ｂとのそれぞれを固定電位ＶＲＥＦにクランプする。これにより、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ａおよび第１のノイズ抑圧素子１１３ｂとのそれぞれは、クランプされた固定電位ＶＲＥＦを保持する。

第１のサンプルホールドトランジスタ１０８ａおよび第１のサンプルホールドトランジスタ１０８ｂのそれぞれは、不図示の垂直走査回路から入力された制御信号φＴＸ２に応じて、対応する第１のノイズ抑圧素子１１３ａまたは第１のノイズ抑圧素子１１３ｂの信号電圧を、対応する第１の電荷蓄積部１１０ａまたは第１の電荷蓄積部１１０ｂに保持させる。

第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂのそれぞれは、対応する第１のサンプルホールドトランジスタ１０８ａまたは第１のサンプルホールドトランジスタ１０８ｂを介して入力された信号電圧（ノイズ除去処理された信号）を保持（蓄積）する容量である。

画素１００ａから出力された信号は、画素負荷トランジスタ１１４ａ、第１のクランプトランジスタ１０９ａ、第１のサンプルホールドトランジスタ１０８ａ、第１の電荷蓄積部１１０ａ、および第１のノイズ抑圧素子１１３ａの構成によって、リーク電流（暗電流）に起因するノイズ除去処理が行われる。そして、第１の電荷蓄積部１１０ａは、ノイズ除去処理された信号を保持する。また、画素１００ｂから出力された信号は、画素負荷トランジスタ１１４ｂ、第１のクランプトランジスタ１０９ｂ、第１のサンプルホールドトランジスタ１０８ｂ、第１の電荷蓄積部１１０ｂ、および第１のノイズ抑圧素子１１３ｂの構成によって、リーク電流（暗電流）に起因するノイズ除去処理が行われ、第１の電荷蓄積部１１０ｂは、ノイズ除去処理された信号を保持する。

なお、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂとしては、単位面積当たりのリーク電流（暗電流）が少ない容量であるＭＩＭ（ＭｅｔａｌＩｎｓｕｌａｔｏｒＭｅｔａｌ）容量や、ＭＯＳ（ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。

第２の増幅トランジスタ１１１ａおよび第２の増幅トランジスタ１１１ｂのそれぞれは、ゲート端子の電圧、すなわち、対応する第１の電荷蓄積部１１０ａまたは第１の電荷蓄積部１１０ｂにそれぞれ蓄積されたノイズ除去処理された信号に応じた信号電圧を出力する。

第１の選択トランジスタ１０７ａおよび第１の選択トランジスタ１０７ｂのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φＳＥＬ１Ａまたは制御信号φＳＥＬ１Ｂに応じて、第２の増幅トランジスタ１１１ａまたは第２の増幅トランジスタ１１１ｂから出力される信号電圧を、固体撮像装置１に備えたそれぞれの画素の画素信号として第１の垂直信号線１９に出力する。これにより、それぞれの画素に備えた光電変換部１０１ａと光電変換部１０１ｂとのいずれか一方の光電変換部が発生した信号電荷に応じた画素信号が、第１の垂直信号線１９に読み出される。

第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂのそれぞれは、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂから、第１の基板間接続部１２ａと第２の基板間接続部２２ａ、または第１の基板間接続部１２ｂと第２の基板間接続部２２ｂを介して入力された信号電圧を保持（蓄積）する容量である。

第２のクランプトランジスタ２０９は、不図示の垂直走査回路から入力された制御信号φＲＳＴ２Ａに応じて、第２の電荷蓄積部２１０と、第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂとのそれぞれを固定電位ＶＲＥＦにクランプする。これにより、第２の電荷蓄積部２１０と、第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂとのそれぞれは、クランプされた固定電位ＶＲＥＦを保持する。

第２のサンプルホールドトランジスタ２０８は、不図示の垂直走査回路から入力された制御信号φＳＨに応じて、第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂのそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を、第２の電荷蓄積部２１０に保持させる。

第２の電荷蓄積部２１０は、第２のサンプルホールドトランジスタ２０８を介して入力された信号電圧（第２の電荷蓄積回路１０４内でノイズ除去処理された信号）を保持（蓄積）する容量である。

第２の電荷蓄積回路１０４では、第１の読み出し基板２１に形成された画素負荷トランジスタ１１４ａと、第２のクランプトランジスタ２０９、第２のサンプルホールドトランジスタ２０８、第２の電荷蓄積部２１０、第２のノイズ抑圧素子２１３ａ、および第２のノイズ抑圧素子２１３ｂの構成によって、リーク電流（暗電流）に起因するノイズ除去処理を第２の電荷蓄積回路１０４内で行う。そして、第２の電荷蓄積部２１０は、ノイズ除去処理された信号を保持する。

なお、第２の電荷蓄積部２１０としても、画素１００ａおよび画素１００ｂと同様に、単位面積当たりのリーク電流（暗電流）が少ない容量であるＭＩＭ容量や、ＭＯＳ容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。

第３の増幅トランジスタ２１１は、ゲート端子の電圧、すなわち、第２の電荷蓄積部２１０に蓄積されたノイズ除去処理された信号に応じた信号電圧を出力する。

第２の選択トランジスタ２０７は、不図示の垂直走査回路から入力された制御信号φＳＥＬ２に応じて、第３の増幅トランジスタ２１１から出力される信号電圧を、固体撮像装置１に備えた予め定めた画素数の画素信号を平均化した画素信号として第２の垂直信号線２９に出力する。これにより、それぞれの画素に備えた光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷に応じた画素信号が、第２の垂直信号線２９に読み出される。

第１の構成例によれば、光電変換部１０１ａおよび光電変換部１０１ｂが配置された光電変換基板（光電変換基板１１）と、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路１０４の一方が複数配置された第１の基板（第１の読み出し基板２１）と、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路１０４の他方が複数配置された第２の基板（第２の読み出し基板３１）と、光電変換基板１１と第１の読み出し基板２１とを電気的接続する第１の接続部（第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂ）と、第１の読み出し基板２１と第２の読み出し基板３１とを電気的接続する第２の接続部（第２の基板間接続部２２ａまたは第２の基板間接続部２２ｂ）と、によって構成される、固体撮像装置１が構成される。

また、第１の構成例によれば、第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂは、光電変換基板１１と第１の読み出し基板２１との間に配置され、第１の読み出し基板２１に配置された第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路１０４の一方のそれぞれに対応し、光電変換基板１１に配置されたそれぞれの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）から、第１の読み出し基板２１に配置された対応する第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路１０４の一方に転送されるそれぞれの信号電荷の信号線のそれぞれを、光電変換基板１１と第１の読み出し基板２１との間で電気的に接続し、第２の基板間接続部２２ａまたは第２の基板間接続部２２ｂは、第１の読み出し基板２１と第２の読み出し基板３１との間に配置され、第２の読み出し基板３１に配置された第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路１０４の他方のそれぞれに対応し、光電変換基板１１に配置されたそれぞれの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）から、第１の読み出し基板２１を介して第２の読み出し基板３１に配置された対応する第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路１０４の他方に転送されるそれぞれの信号電荷の信号線のそれぞれを、第１の読み出し基板２１と第２の読み出し基板３１との間で電気的に接続する、固体撮像装置１が構成される。

このような構成によって固体撮像装置１の第１の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂと、第２の基板間接続部２２ａおよび第２の基板間接続部２２ｂ）を介して読み出す。そして、ノイズ抑圧した後の信号（ノイズ除去処理後の信号）を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持する。また、固体撮像装置１の第１の構成例では、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷の電荷量を平均化した信号電荷に応じたそれぞれの信号電圧をノイズ抑圧した後の信号（ノイズ除去処理後の信号）を、２つの光電変換部に共通の電荷蓄積部（第２の電荷蓄積部２１０）に保持する。その後、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第２の電荷蓄積部２１０）に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、画素信号として第１の垂直信号線１９および第２の垂直信号線２９のそれぞれに順次読み出しを行う。

なお、図２に示した固体撮像装置１の第１の構成例では、光電変換部１０１ａを含むそれぞれの構成要素を備えた画素１００ａと、光電変換部１０１ｂを含むそれぞれの構成要素を備えた画素１００ｂとが組になった構成の一例を示したが、固体撮像装置１に配置される画素の組は、図２に示した構成に限定されるものではない。すなわち、図２に示した構成よりもさらに多くの画素数で１つの組を構成してもよい。そして、この画素の組を複数配置することによって固体撮像装置１に備える画素アレイを形成してもよい。

次に、実施形態の固体撮像装置１における第１の構成例の駆動タイミングについて説明する。図３は、本発明の実施形態の固体撮像装置１の第１の構成例を駆動するタイミングを示したタイミングチャートである。図３に示したタイミングチャートは、画素１００ａと画素１００ｂとを同時に露光し、画素１００ａの画素信号と画素１００ｂの画素信号とのそれぞれを第１の垂直信号線１９に順次出力すると共に、画素１００ａの画素信号と画素１００ｂの画素信号とを平均化した画素信号を第２の垂直信号線２９に出力する固体撮像装置１の第１の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。

なお、固体撮像装置１の第１の構成例では、図２に示したように、画素１００ａと画素１００ｂとの２つの画素が１つの組として構成されている。そして、固体撮像装置１の第１の構成例では、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれに対応した２つの第１の電荷蓄積回路１０３ａ（第１の電荷蓄積部１１０ａを含む）および第１の電荷蓄積回路１０３ｂ（第１の電荷蓄積部１１０ｂを含む）と、２つの光電変換部１０１ａおよび光電変換部１０１ｂに共通の第２の電荷蓄積回路１０４（第２の電荷蓄積部２１０を含む）とを備えている。このため、図３に示したタイミングチャートには、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第２の電荷蓄積部２１０とのそれぞれに、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれが発生した信号電荷を保持させるタイミングを示している。

まず、時刻ｔ１において、全ての画素（画素１００ａおよび画素１００ｂ）をリセットする。より具体的には、時刻ｔ１において、不図示の垂直走査回路は、制御信号φＴＸ１および制御信号φＲＳＴ１を、同時に“Ｈ”レベルにして、電荷転送トランジスタ１１２ａおよび電荷転送トランジスタ１１２ｂと、画素リセットトランジスタ１０５ａおよび画素リセットトランジスタ１０５ｂとをオン状態にする。これにより、画素１００ａおよび画素１００ｂに備えた光電変換部１０１ａおよび光電変換部１０１ｂと、ノード容量１２０ａおよびノード容量１２０ｂとがリセットされる。

その後、不図示の垂直走査回路は、制御信号φＴＸ１および制御信号φＲＳＴ１を、同時に“Ｌ”レベルにして、画素１００ａと画素１００ｂとのリセットを解除する。これにより、画素１００ａと画素１００ｂとが同時に露光を開始する。すなわち、画素１００ａに備えた光電変換部１０１ａと画素１００ｂに備えた光電変換部１０１ｂとが、入射した光を光電変換した信号電荷の蓄積を開始する。

続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光した信号（以下、「露光レベルの信号」という）との、対応する第１の基板間接続部１２ａおよび第２の基板間接続部２２ａへの読み出しと、第１の基板間接続部１２ｂおよび第２の基板間接続部２２ｂへの読み出しとを行う。そして、第１の電荷蓄積回路１０３ａでは、対応する光電変換部１０１ａのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、第１の電荷蓄積回路１０３ｂでは、対応する光電変換部１０１ｂのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、第２の電荷蓄積回路１０４では、平均化したリセットレベルの信号と平均化した露光レベルの信号との差分をとるノイズ除去処理を行う。

より具体的には、時刻ｔ２において、不図示の垂直走査回路は、制御信号φＢＩＡＳを制御して、画素負荷トランジスタ１１４ａを、対応する第１の増幅トランジスタ１０６ａの負荷として動作させ、画素負荷トランジスタ１１４ｂを、対応する第１の増幅トランジスタ１０６ｂの負荷として動作させる。

また、不図示の垂直走査回路は、制御信号φＲＳＴ１を“Ｈ”レベルにして、画素リセットトランジスタ１０５ａおよび画素リセットトランジスタ１０５ｂをオン状態にし、ノード容量１２０ａおよびノード容量１２０ｂをリセットする。これにより、第１の増幅トランジスタ１０６ａから光電変換部１０１ａのリセットレベルの信号電圧が、第１の基板間接続部１２ａを介して第１のノイズ抑圧素子１１３ａに出力されると共に、第１の基板間接続部１２ａおよび第２の基板間接続部２２ａを介して第２のノイズ抑圧素子２１３ａに出力される。また、第１の増幅トランジスタ１０６ｂから光電変換部１０１ｂのリセットレベルの信号電圧が、第１の基板間接続部１２ｂを介して、第１のノイズ抑圧素子１１３ｂに出力されると共に、第１の基板間接続部１２ｂおよび第２の基板間接続部２２ｂを介して第２のノイズ抑圧素子２１３ｂに出力される。

また、不図示の垂直走査回路は、制御信号φＲＳＴ２および制御信号φＴＸ２を“Ｈ”レベルにして、第１のクランプトランジスタ１０９ａおよび第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ａおよび第１のサンプルホールドトランジスタ１０８ｂとをオン状態にする。これにより、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ａおよび第１のノイズ抑圧素子１１３ｂとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φＲＳＴ２Ａおよび制御信号φＳＨを“Ｈ”レベルにして、第２のクランプトランジスタ２０９および第２のサンプルホールドトランジスタ２０８をオン状態にする。これにより、第２の電荷蓄積部２１０と、第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂとのそれぞれがクランプされる。

その後、不図示の垂直走査回路は、制御信号φＲＳＴ１を“Ｌ”レベルにして、ノード容量１２０ａおよびノード容量１２０ｂのリセットを解除する。続いて、時刻ｔ３において、不図示の垂直走査回路は、制御信号φＲＳＴ２を“Ｌ”レベルにして、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂのクランプを解除する。また、不図示の垂直走査回路は、制御信号φＲＳＴ２Ａを“Ｌ”レベルにして、第２の電荷蓄積部２１０のクランプを解除する。

続いて、時刻ｔ４において、不図示の垂直走査回路は、制御信号φＴＸ１を“Ｈ”レベルにして、電荷転送トランジスタ１１２ａおよび電荷転送トランジスタ１１２ｂをオン状態にし、光電変換部１０１ａに蓄積された信号電荷を、第１の増幅トランジスタ１０６ａのゲート端子に、光電変換部１０１ｂに蓄積された信号電荷を、第１の増幅トランジスタ１０６ｂのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ１１２ａによって転送された信号電荷は、ノード容量１２０ａに蓄積され、電荷転送トランジスタ１１２ｂによって転送された信号電荷は、ノード容量１２０ｂに蓄積される。これにより、第１の増幅トランジスタ１０６ａから光電変換部１０１ａが発生した信号電荷、すなわち、ノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が、第１の基板間接続部１２ａを介して第１のノイズ抑圧素子１１３ａに出力されると共に、第１の基板間接続部１２ａおよび第２の基板間接続部２２ａを介して第２のノイズ抑圧素子２１３ａに出力される。また、第１の増幅トランジスタ１０６ｂから光電変換部１０１ｂが発生した信号電荷、すなわち、ノード容量１２０ｂに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が、第１の基板間接続部１２ｂを介して、第１のノイズ抑圧素子１１３ｂに出力されると共に、第１の基板間接続部１２ｂおよび第２の基板間接続部２２ｂを介して第２のノイズ抑圧素子２１３ｂに出力される。

そして、第１のノイズ抑圧素子１１３ａは、光電変換部１０１ａのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、同様に、第１のノイズ抑圧素子１１３ｂは、光電変換部１０１ｂのノイズ除去処理された信号電圧を出力する。また、同様に、第２のノイズ抑圧素子２１３ａは、光電変換部１０１ａのノイズ除去処理された信号電圧を出力し、第２のノイズ抑圧素子２１３ｂは、光電変換部１０１ｂのノイズ除去処理された信号電圧を出力する。

その後、不図示の垂直走査回路は、制御信号φＴＸ１を“Ｌ”レベルにして、光電変換部１０１ａが蓄積した信号電荷の第１の増幅トランジスタ１０６ａのゲート端子への転送と、光電変換部１０１ｂが蓄積した信号電荷の第１の増幅トランジスタ１０６ｂのゲート端子への転送とを停止する。

続いて、時刻ｔ５において、不図示の垂直走査回路は、制御信号φＴＸ２を“Ｌ”レベルにして、第１の電荷蓄積部１１０ａのサンプルホールドと、第１の電荷蓄積部１１０ｂのサンプルホールドとを停止する。これにより、第１の電荷蓄積部１１０ａは、第１のノイズ抑圧素子１１３ａが出力しているノイズ除去処理された信号電圧を保持し、第１の電荷蓄積部１１０ｂは、第１のノイズ抑圧素子１１３ｂが出力しているノイズ除去処理された信号電圧を保持する。また、不図示の垂直走査回路は、制御信号φＳＨを“Ｌ”レベルにして、第２の電荷蓄積部２１０のサンプルホールドを停止する。これにより、第２の電荷蓄積部２１０は、第２のノイズ抑圧素子２１３ａと第２のノイズ抑圧素子２１３ｂとが出力しているノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。

ここまでで、画素１００ａに備えた光電変換部１０１ａが発生した信号電荷がノイズ除去処理されて、第１の電荷蓄積部１１０ａに保持され、画素１００ｂに備えた光電変換部１０１ｂが発生した信号電荷がノイズ除去処理されて、第１の電荷蓄積部１１０ｂに保持（蓄積）されることになる。また、画素１００ａに備えた光電変換部１０１ａが発生した信号電荷の電荷量と画素１００ｂに備えた光電変換部１０１ｂが発生した信号電荷の電荷量とを平均化した信号電荷がノイズ除去処理されて、第２の電荷蓄積部２１０に保持（蓄積）されることになる。

続いて、時刻ｔ６において、不図示の垂直走査回路は、制御信号φＢＩＡＳを制御して、画素負荷トランジスタ１１４ａおよび画素負荷トランジスタ１１４ｂのそれぞれの、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂの負荷としての動作を停止させる。

その後、不図示の垂直走査回路は、制御信号φＳＥＬ１Ａおよび制御信号φＳＥＬ１Ｂを順次制御して、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第１の垂直信号線１９に出力させる。また、不図示の垂直走査回路は、制御信号φＳＥＬ２を制御して、第２の電荷蓄積部２１０に保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号として第２の垂直信号線２９に出力させる。

なお、固体撮像装置１の第１の構成例では、全ての画素の画素信号（フル解像画像信号）と、画素数を減縮した画素信号（減縮画像信号）とのそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。このため、固体撮像装置１の第１の構成例では、例えば、減縮画像信号に続いてフル解像画像信号を出力することや、減縮画像信号のみを出力することもできる。従って、不図示の垂直走査回路が制御信号φＳＥＬ１Ａ、制御信号φＳＥＬ１Ｂ、および制御信号φＳＥＬ２を制御して、フル解像画像信号を第１の垂直信号線１９に出力させるタイミングや、減縮画像信号を第２の垂直信号線２９に出力させるタイミングに関する詳細な説明は省略する。

このような駆動タイミングによって固体撮像装置１の第１の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂと、第２の基板間接続部２２ａおよび第２の基板間接続部２２ｂ）に読み出させる。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持させる。また、固体撮像装置１の第１の構成例の駆動タイミングでは、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷の電荷量を平均化した信号電荷に応じたそれぞれのノイズ除去処理後の信号を、２つの光電変換部に共通の電荷蓄積部（第２の電荷蓄積部２１０）に保持させる。そして、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第２の電荷蓄積部２１０）に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第１の垂直信号線１９に、減縮画像信号として第２の垂直信号線２９に、それぞれに出力させる。

このように、実施形態の固体撮像装置１の第１の構成例では、画素１００ａに備えた光電変換部１０１ａの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ｂに保持すると共に、それぞれの信号電荷を平均化してノイズ除去処理して、第２の電荷蓄積部２１０に保持する。これにより、実施形態の固体撮像装置１の第１の構成例では、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとのそれぞれに保持した信号電圧に応じた画素信号、つまり、全ての画素の画素信号（フル解像画像信号）と、第２の電荷蓄積部２１０に保持した信号電圧に応じた画素信号、つまり、画素数を減縮した画素信号（減縮画像信号）との両方を独立に出力することができる。このとき、実施形態の固体撮像装置１の第１の構成例では、それぞれの画素の画素信号を平均化した、つまり、加算平均した画素信号を、画素数を減縮した画素信号として出力する。このため、実施形態の固体撮像装置１の第１の構成例で出力した減縮画像信号に基づいて生成した画像は、それぞれの画素を行毎に間引いて画素数を減縮する従来の技術で出力した画素信号に基づいて生成した画像よりも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像になる。

また、実施形態の固体撮像装置１の第１の構成例では、ノイズ除去処理したそれぞれの信号電圧を、第１の電荷蓄積部１１０ａと、第１の電荷蓄積部１１０ｂと、画素１００ａおよび画素１００ｂに対応した第２の電荷蓄積部２１０とに別々に保持する。そして、実施形態の固体撮像装置１の第１の構成例では、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとのそれぞれに保持した信号電圧に応じた画素信号を第１の垂直信号線１９から出力し、第２の電荷蓄積部２１０に保持した信号電圧に応じた画素信号を第２の垂直信号線２９に出力する。つまり、実施形態の固体撮像装置１の第１の構成例では、全ての画素のフル解像画像信号と、画素数を減縮した減縮画像信号とのそれぞれを、独立に出力することができる。これにより、実施形態の固体撮像装置１を搭載した撮像システムでは、固体撮像装置１から出力されるフル解像画像信号に基づいて生成する高解像度の画像（以下、「フル解像度画像」という）と、減縮画像信号に基づいて生成する低解像度の画像（以下、「縮小画像」という）とを、並列に生成することができる。

（第２の構成例）
次に、実施形態の固体撮像装置１における別の構成の一例について説明する。第２の構成例の固体撮像装置１は、それぞれの光電変換部１０１が発生した信号電荷を第２の電荷蓄積回路１０４に保持した後、保持したそれぞれの信号電荷に応じた信号電圧（画素信号）を出力する際に平均化して出力する構成例である。第２の構成例の固体撮像装置１は、第１の構成例の固体撮像装置１と同様に、それぞれの構成要素を、光電変換基板と、第１の読み出し基板と、第２の読み出し基板との３つの基板に分けて構成した多層基板構造において、第１の読み出し基板と第２の読み出し基板とを接続する基板間接続部の数を、第１の構成例よりも少なくしている。このため、第２の構成例の固体撮像装置１では、第１の読み出し基板と第２の読み出し基板との基板間接続部を少なくするための構成要素として、マルチプレクサを備えている。そして、マルチプレクサを制御することによって、第１の構成例の固体撮像装置１と同様に、それぞれの画素の画素信号を平均化する。

なお、第２の構成例の固体撮像装置１の構成要素には、第１の構成例の固体撮像装置１の構成要素と同様の構成要素も含まれている。従って、第２の構成例の固体撮像装置１の構成要素において、第１の構成例の固体撮像装置１の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。

図４は、本発明の実施形態の固体撮像装置１の第２の構成例を示した回路図である。図４において、固体撮像装置１の第２の構成例は、光電変換基板１１に、光電変換部１０１ａ，１０１ｂと、画素リセットトランジスタ１０５ａ，１０５ｂ、第１の増幅トランジスタ１０６ａ，１０６ｂ、および電荷転送トランジスタ１１２ａ，１１２ｂとが形成されている。なお、図４においても、第１の構成例の光電変換基板１１と同様に、ノード容量１２０ａとノード容量１２０ｂとのそれぞれを、キャパシタの記号で示している。画素１００ａは、光電変換部１０１ａと、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、で構成されている。画素１００ｂは、光電変換部１０１ｂと、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、で構成されている。なお、光電変換基板１１は、第１の構成例の光電変換基板１１と同様である。

また、図４において、固体撮像装置１の第２の構成例は、第１の読み出し基板２１に、第１のクランプトランジスタ１０９ａ，１０９ｂ、第１のサンプルホールドトランジスタ１０８ａ，１０８ｂ、第２の増幅トランジスタ１１１ａ，１１１ｂ、第１の選択トランジスタ１０７ａ，１０７ｂ、第１の電荷蓄積部１１０ａ，１１０ｂ、画素負荷トランジスタ１１４ａ，１１４ｂ、および第１のノイズ抑圧素子１１３ａ，１１３ｂが形成されている。さらに、固体撮像装置１の第２の構成例は、第１の読み出し基板２１に、画素選択トランジスタ１１５ａと画素選択トランジスタ１１５ｂとから構成されるマルチプレクサが形成されている。電荷転送回路１０２ａは、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、画素負荷トランジスタ１１４ａと、画素選択トランジスタ１１５ａと、で構成されている。電荷転送回路１０２ｂは、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、画素負荷トランジスタ１１４ｂと、画素選択トランジスタ１１５ｂと、で構成されている。第１の電荷蓄積回路１０３ａは、第１のクランプトランジスタ１０９ａと、第１のサンプルホールドトランジスタ１０８ａと、第２の増幅トランジスタ１１１ａと、第１の選択トランジスタ１０７ａと、第１の電荷蓄積部１１０ａと、第１のノイズ抑圧素子１１３ａと、で構成されている。第１の電荷蓄積回路１０３ｂは、第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ｂと、第２の増幅トランジスタ１１１ｂと、第１の選択トランジスタ１０７ｂと、第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ｂと、で構成されている。なお、第１の読み出し基板２１内に形成されたそれぞれの構成要素において、マルチプレクサ以外のそれぞれの構成要素は、第１の構成例の第１の読み出し基板２１に形成されたそれぞれの構成要素と同様である。

また、図４において、固体撮像装置１の第２の構成例は、第２の読み出し基板３１に、画素１００ａに対応する第２のクランプトランジスタ２０９ａ、第２の電荷蓄積部２１０ａ、第２のノイズ抑圧素子２１３ａ、および画素選択トランジスタ２１２ａと、画素１００ｂに対応する第２のクランプトランジスタ２０９ｂ、第２の電荷蓄積部２１０ｂ、第２のノイズ抑圧素子２１３ｂ、および画素選択トランジスタ２１２ｂと、第３の増幅トランジスタ２１１、第２の選択トランジスタ２０７、および平均用スイッチトランジスタ２１４とからなる第２の電荷蓄積回路１０４が形成されている。なお、第２の読み出し基板３１では、画素選択トランジスタ２１２ａと画素選択トランジスタ２１２ｂとの構成によって、第１の読み出し基板２１内に形成されたマルチプレクサに対応するデマルチプレクサが構成されている。

そして、光電変換基板１１と第１の読み出し基板２１とが第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂによって接続され、第１の読み出し基板２１と第２の読み出し基板３１とが第２の基板間接続部２２によって接続されている。

より具体的には、図４に示した固体撮像装置１の第２の構成例では、光電変換基板１１の第１の増幅トランジスタ１０６ａと、第１の読み出し基板２１の画素負荷トランジスタ１１４ａ、第１のノイズ抑圧素子１１３ａ、および画素選択トランジスタ１１５ａとが第１の基板間接続部１２ａを介して接続されている。また、図４に示した固体撮像装置１の第２の構成例では、光電変換基板１１の第１の増幅トランジスタ１０６ｂと、第１の読み出し基板２１の画素負荷トランジスタ１１４ｂ、第１のノイズ抑圧素子１１３ｂ、および画素選択トランジスタ１１５ｂとが第１の基板間接続部１２ｂを介して接続されている。また、図４に示した固体撮像装置１の第２の構成例では、第１の読み出し基板２１の画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂと、第２の読み出し基板３１の画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂとが、第２の基板間接続部２２を介して接続されている。これにより、光電変換部１０１ａと光電変換部１０１ｂとのそれぞれで発生した信号電荷に応じた信号電圧のそれぞれは、第１の読み出し基板２１に形成されたマルチプレクサと第２の基板間接続部２２を介して、第２の読み出し基板３１にも出力される。

なお、実施形態の固体撮像装置１の第２の構成例でも、固体撮像装置１の第１の構成例と同様に、光電変換基板１１と第１の読み出し基板２１とを電気的接続する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂの構造や、第１の読み出し基板２１と第２の読み出し基板３１とを電気的接続する第２の基板間接続部２２の構造に関しては、特に規定しない。

画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φＳＨ１Ａまたは制御信号φＳＨ１Ｂに応じて、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して入力された信号電圧、または第１の増幅トランジスタ１０６ｂから第１の基板間接続部１２ｂを介して入力された信号電圧のいずれか一方を、第２の基板間接続部２２に出力する。つまり、第２の構成例の固体撮像装置１では、画素選択トランジスタ１１５ａと画素選択トランジスタ１１５ｂとの構成が、２つの信号電圧から１つの信号電荷を選択するマルチプレクサとして動作する。これにより、それぞれの画素に備えた光電変換部１０１ａと光電変換部１０１ｂとのいずれか一方の光電変換部が発生した信号電荷に応じた信号電圧が、第２の基板間接続部２２を介して第２の読み出し基板３１に出力される。

画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φＳＨ２Ａまたは制御信号φＳＨ２Ｂに応じて、第２の基板間接続部２２を介して入力された信号電圧を、対応する第２のノイズ抑圧素子２１３ａまたは第２のノイズ抑圧素子２１３ｂに出力し保持させる。つまり、第２の構成例の固体撮像装置１では、画素選択トランジスタ２１２ａと画素選択トランジスタ２１２ｂとの構成が、入力された１つの信号電圧を対応する第２のノイズ抑圧素子２１３ａまたは第２のノイズ抑圧素子２１３ｂのいずれか一方に出力するデマルチプレクサとして動作する。これにより、それぞれの画素に備えた光電変換部１０１ａと光電変換部１０１ｂとのそれぞれが発生した信号電荷に応じたそれぞれの信号電圧が、対応する第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂのそれぞれに保持される。

第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂのそれぞれは、対応する画素選択トランジスタ２１２ａまたは画素選択トランジスタ２１２ｂから出力された信号電圧を保持（蓄積）する容量である。

第２のクランプトランジスタ２０９ａおよび第２のクランプトランジスタ２０９ｂのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φＲＳＴ２Ａまたは制御信号φＲＳＴ２Ｂに応じて、対応する第２の電荷蓄積部２１０ａまたは第２の電荷蓄積部２１０ｂと、対応する第２のノイズ抑圧素子２１３ａまたは第２のノイズ抑圧素子２１３ｂとのそれぞれを固定電位ＶＲＥＦにクランプする。これにより、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂと、第２のノイズ抑圧素子２１３ａおよび第２のノイズ抑圧素子２１３ｂとのそれぞれは、クランプされた固定電位ＶＲＥＦを保持する。

第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂのそれぞれは、対応する第２のノイズ抑圧素子２１３ａまたは第２のノイズ抑圧素子２１３ｂが保持している信号電圧（第２の電荷蓄積回路１０４内でノイズ除去処理された信号）を保持（蓄積）する容量である。

第２の構成例における第２の電荷蓄積回路１０４では、第２のクランプトランジスタ２０９ａ、第２の電荷蓄積部２１０ａ、および第２のノイズ抑圧素子２１３ａの構成によって、リーク電流（暗電流）に起因するノイズ除去処理を第２の電荷蓄積回路１０４内で行い、第２の電荷蓄積部２１０ａは、ノイズ除去処理された信号を保持する。また、第２の構成例における第２の電荷蓄積回路１０４では、第２のクランプトランジスタ２０９ｂ、第２の電荷蓄積部２１０ｂ、および第２のノイズ抑圧素子２１３ｂの構成によって、リーク電流（暗電流）に起因するノイズ除去処理を第２の電荷蓄積回路１０４内で行い、第２の電荷蓄積部２１０ｂは、ノイズ除去処理された信号を保持する。

なお、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂとしても、第１の構成例の第２の電荷蓄積部２１０と同様に、単位面積当たりのリーク電流（暗電流）が少ない容量であるＭＩＭ容量や、ＭＯＳ容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。

平均用スイッチトランジスタ２１４は、不図示の垂直走査回路から入力された制御信号φＭｉｘに応じて、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとを短絡する。これにより、短絡された後の第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとには、短絡される前に保持していたノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧が保持される。

第３の増幅トランジスタ２１１は、ゲート端子の電圧、すなわち、平均用スイッチトランジスタ２１４によって短絡されることにより、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとに保持されていたそれぞれの信号電圧が平均化されたノイズ除去処理された信号に応じた信号電圧を出力する。

このような構成によって固体撮像装置１の第２の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂ）を介して読み出す。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持する。また、固体撮像装置１の第２の構成例では、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって選択して第２の基板間接続部２２に出力させる。そして、デマルチプレクサ（画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂ）によって、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持する。その後、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持した信号を平均化する。その後、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に蓄積されたノイズ除去処理後の信号に応じた信号電圧と平均化した信号電圧とのそれぞれを、画素信号として第１の垂直信号線１９および第２の垂直信号線２９のそれぞれに順次読み出しを行う。

なお、図４に示した固体撮像装置１の第２の構成例では、光電変換部１０１ａを含むそれぞれの構成要素を備えた画素１００ａと、光電変換部１０１ｂを含むそれぞれの構成要素を備えた画素１００ｂとが組になった構成の一例を示したが、固体撮像装置１に配置される画素の組は、第１の構成例の固体撮像装置１と同様に、図４に示した構成に限定されるものではない。すなわち、図４に示した構成よりもさらに多くの画素数で１つの組を構成し、この画素の組を複数配置することによって固体撮像装置１内に備える画素アレイを形成してもよい。

次に、実施形態の固体撮像装置１における第２の構成例の駆動タイミングについて説明する。図５は、本発明の実施形態の固体撮像装置１の第２の構成例を駆動するタイミングを示したタイミングチャートである。図５に示したタイミングチャートは、図３に示した第１の構成例の固体撮像装置１の駆動タイミングと同様に、画素１００ａと画素１００ｂとを同時に露光し、画素１００ａの画素信号と画素１００ｂの画素信号とのそれぞれを第１の垂直信号線１９に順次出力すると共に、画素１００ａの画素信号と画素１００ｂの画素信号とを平均化した画素信号を第２の垂直信号線２９に出力する固体撮像装置１の第２の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。

なお、固体撮像装置１の第２の構成例では、図４に示したように、画素１００ａと画素１００ｂとの２つの画素が１つの組として構成されている。そして、固体撮像装置１の第２の構成例では、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれに対応した２つの第１の電荷蓄積回路１０３ａ（第１の電荷蓄積部１１０ａを含む）および第１の電荷蓄積回路１０３ｂ（第１の電荷蓄積部１１０ｂを含む）と、２つの光電変換部１０１ａおよび光電変換部１０１ｂに共通の第２の電荷蓄積回路１０４（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂを含む）とを備えている。このため、図５に示したタイミングチャートには、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂとのそれぞれに、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれが発生した信号電荷を保持させるタイミングを示している。

続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光レベルの信号との、対応する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂへの読み出しを行う。そして、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂでは、対応する光電変換部１０１ａまたは光電変換部１０１ｂのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光レベルの信号との第２の基板間接続部２２への読み出しを、順次行う。そして、第２の電荷蓄積回路１０４では、画素１００ａのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理と、画素１００ｂのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理とを順次行う。

また、不図示の垂直走査回路は、制御信号φＲＳＴ１を“Ｈ”レベルにして、画素リセットトランジスタ１０５ａおよび画素リセットトランジスタ１０５ｂをオン状態にし、ノード容量１２０ａおよびノード容量１２０ｂをリセットする。これにより、第１の増幅トランジスタ１０６ａから光電変換部１０１ａのリセットレベルの信号電圧が、第１の基板間接続部１２ａを介して第１のノイズ抑圧素子１１３ａに出力されると共に、画素選択トランジスタ１１５ａに出力される。また、第１の増幅トランジスタ１０６ｂから光電変換部１０１ｂのリセットレベルの信号電圧が、第１の基板間接続部１２ｂを介して、第１のノイズ抑圧素子１１３ｂに出力されると共に、画素選択トランジスタ１１５ｂに出力される。

また、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｈ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオン状態にする。これにより、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して画素選択トランジスタ１１５ａに出力された光電変換部１０１ａのリセットレベルの信号電圧が選択され、画素選択トランジスタ１１５ａ、第２の基板間接続部２２、および画素選択トランジスタ２１２ａを介して第２のノイズ抑圧素子２１３ａに出力される。

また、不図示の垂直走査回路は、制御信号φＲＳＴ２および制御信号φＴＸ２を“Ｈ”レベルにして、第１のクランプトランジスタ１０９ａおよび第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ａおよび第１のサンプルホールドトランジスタ１０８ｂとをオン状態にする。これにより、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ａおよび第１のノイズ抑圧素子１１３ｂとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φＲＳＴ２Ａを“Ｈ”レベルにして、第２のクランプトランジスタ２０９ａをオン状態にする。これにより、第２の電荷蓄積部２１０ａと第２のノイズ抑圧素子２１３ａとのそれぞれがクランプされる。

その後、不図示の垂直走査回路は、制御信号φＲＳＴ１を“Ｌ”レベルにして、ノード容量１２０ａおよびノード容量１２０ｂのリセットを解除する。続いて、時刻ｔ３において、不図示の垂直走査回路は、制御信号φＲＳＴ２Ａを“Ｌ”レベルにして、第２の電荷蓄積部２１０ａのクランプを解除する。その後、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｌ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオフ状態にし、光電変換部１０１ａのリセットレベルの信号電圧の選択を解除する。

続いて、時刻ｔ４において、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｈ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオン状態にする。これにより、第１の増幅トランジスタ１０６ｂから第１の基板間接続部１２ｂを介して画素選択トランジスタ１１５ｂに出力された光電変換部１０１ｂのリセットレベルの信号電圧が選択され、画素選択トランジスタ１１５ｂ、第２の基板間接続部２２、および画素選択トランジスタ２１２ｂを介して第２のノイズ抑圧素子２１３ｂに出力される。また、不図示の垂直走査回路は、制御信号φＲＳＴ２Ｂを“Ｈ”レベルにして、第２のクランプトランジスタ２０９ｂをオン状態にする。これにより、第２の電荷蓄積部２１０ｂと第２のノイズ抑圧素子２１３ｂとのそれぞれがクランプされる。

続いて、時刻ｔ５において、不図示の垂直走査回路は、制御信号φＲＳＴ２Ｂを“Ｌ”レベルにして、第２の電荷蓄積部２１０ｂのクランプを解除する。その後、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｌ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオフ状態にし、光電変換部１０１ｂのリセットレベルの信号電圧の選択を解除する。また、不図示の垂直走査回路は、制御信号φＲＳＴ２を“Ｌ”レベルにして、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂのクランプを解除する。

続いて、時刻ｔ６において、不図示の垂直走査回路は、制御信号φＴＸ１を“Ｈ”レベルにして、電荷転送トランジスタ１１２ａおよび電荷転送トランジスタ１１２ｂをオン状態にし、光電変換部１０１ａに蓄積された信号電荷を、第１の増幅トランジスタ１０６ａのゲート端子に、光電変換部１０１ｂに蓄積された信号電荷を、第１の増幅トランジスタ１０６ｂのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ１１２ａによって転送された信号電荷は、ノード容量１２０ａに蓄積され、電荷転送トランジスタ１１２ｂによって転送された信号電荷は、ノード容量１２０ｂに蓄積される。これにより、第１の増幅トランジスタ１０６ａから光電変換部１０１ａが発生した信号電荷、すなわち、ノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が、第１の基板間接続部１２ａを介して第１のノイズ抑圧素子１１３ａに出力されると共に、画素選択トランジスタ１１５ａに出力される。また、第１の増幅トランジスタ１０６ｂから光電変換部１０１ｂが発生した信号電荷、すなわち、ノード容量１２０ｂに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が、第１の基板間接続部１２ｂを介して、第１のノイズ抑圧素子１１３ｂに出力されると共に、画素選択トランジスタ１１５ｂに出力される。

そして、第１のノイズ抑圧素子１１３ａは、光電変換部１０１ａのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、同様に、第１のノイズ抑圧素子１１３ｂは、光電変換部１０１ｂのノイズ除去処理された信号電圧を出力する。

続いて、時刻ｔ７において、不図示の垂直走査回路は、制御信号φＴＸ２を“Ｌ”レベルにして、第１の電荷蓄積部１１０ａのサンプルホールドと、第１の電荷蓄積部１１０ｂのサンプルホールドとを停止する。これにより、第１の電荷蓄積部１１０ａは、第１のノイズ抑圧素子１１３ａが出力しているノイズ除去処理された信号電圧を保持し、第１の電荷蓄積部１１０ｂは、第１のノイズ抑圧素子１１３ｂが出力しているノイズ除去処理された信号電圧を保持する。

ここまでで、画素１００ａに備えた光電変換部１０１ａが発生した信号電荷がノイズ除去処理されて、第１の電荷蓄積部１１０ａに保持され、画素１００ｂに備えた光電変換部１０１ｂが発生した信号電荷がノイズ除去処理されて、第１の電荷蓄積部１１０ｂに保持（蓄積）されることになる。

続いて、時刻ｔ８において、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｈ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオン状態にする。これにより、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して画素選択トランジスタ１１５ａに出力された光電変換部１０１ａが発生した信号電荷、すなわち、ノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が選択され、画素選択トランジスタ１１５ａ、第２の基板間接続部２２、および画素選択トランジスタ２１２ａを介して第２のノイズ抑圧素子２１３ａに出力される。

そして、第２のノイズ抑圧素子２１３ａは、光電変換部１０１ａのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。

その後、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｌ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオフ状態にし、光電変換部１０１ａが発生した信号電荷に応じた信号電圧の選択を解除する。

ここまでで、画素１００ａに備えた光電変換部１０１ａが発生した信号電荷がノイズ除去処理されて、第２の電荷蓄積部２１０ａに保持（蓄積）されることになる。

続いて、時刻ｔ９において、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｈ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオン状態にする。これにより、第１の増幅トランジスタ１０６ｂから第１の基板間接続部１２ｂを介して画素選択トランジスタ１１５ｂに出力された光電変換部１０１ｂが発生した信号電荷、すなわち、ノード容量１２０ｂに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が選択され、画素選択トランジスタ１１５ｂ、第２の基板間接続部２２、および画素選択トランジスタ２１２ｂを介して第２のノイズ抑圧素子２１３ｂに出力される。

そして、第２のノイズ抑圧素子２１３ｂは、光電変換部１０１ｂのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。

その後、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｌ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオフ状態にし、光電変換部１０１ｂが発生した信号電荷に応じた信号電圧の選択を解除する。

ここまでで、画素１００ｂに備えた光電変換部１０１ｂが発生した信号電荷がノイズ除去処理されて、第２の電荷蓄積部２１０ｂに保持（蓄積）されることになる。

続いて、時刻ｔ１０において、第２の電荷蓄積回路１０４は、第２の電荷蓄積部２１０ａに保持しているノイズ除去処理された信号電圧と、第２の電荷蓄積部２１０ｂに保持しているノイズ除去処理された信号電圧との平均化の処理を行う。より具体的には、時刻ｔ１０において、不図示の垂直走査回路は、制御信号φＭｉｘを“Ｈ”レベルにして、平均用スイッチトランジスタ２１４をオン状態にする。これにより、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとが短絡され、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとのそれぞれは、保持しているノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。

また、時刻ｔ１０において、不図示の垂直走査回路は、制御信号φＢＩＡＳを制御して、画素負荷トランジスタ１１４ａおよび画素負荷トランジスタ１１４ｂのそれぞれの、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂの負荷としての動作を停止させる。

その後、不図示の垂直走査回路は、制御信号φＳＥＬ１Ａおよび制御信号φＳＥＬ１Ｂを順次制御して、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第１の垂直信号線１９に出力させる。また、不図示の垂直走査回路は、制御信号φＳＥＬ２を制御して、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号として第２の垂直信号線２９に出力させる。

なお、図４に示した固体撮像装置１の第２の構成例では、不図示の垂直走査回路が制御信号φＭｉｘを“Ｌ”レベルにして、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとの短絡を解除した後に、第２の電荷蓄積部２１０ａに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号（減縮画像信号）として第２の垂直信号線２９に出力させてもよい。また、図４に示した固体撮像装置１の第２の構成例では、制御信号φＭｉｘを“Ｈ”レベルにして、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとのそれぞれに平均化した信号電圧を保持させる前に、不図示の垂直走査回路が制御信号φＳＥＬ２を制御してもよい。これにより、第２の電荷蓄積部２１０ａに保持している平均化する前のノイズ除去処理された信号電圧、すなわち、ノイズ除去処理された光電変換部１０１ａが発生した信号電荷を、画素１００ａの画素信号として第２の垂直信号線２９に出力させることができる。つまり、画素１００ｂを間引いた画素信号を第２の垂直信号線２９に出力させることができる。

また、固体撮像装置１の第２の構成例でも、固体撮像装置１の第１の構成例と同様に、フル解像画像信号と減縮画像信号とのそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。従って、不図示の垂直走査回路が制御信号φＳＥＬ１Ａ、制御信号φＳＥＬ１Ｂ、および制御信号φＳＥＬ２を制御して、フル解像画像信号を第１の垂直信号線１９に出力させるタイミングや、減縮画像信号を第２の垂直信号線２９に出力させるタイミングに関する詳細な説明は省略する。

このような駆動タイミングによって固体撮像装置１の第２の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂ）に読み出させる。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持させる。また、固体撮像装置１の第２の構成例の駆動タイミングでは、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって選択して第２の基板間接続部２２に出力させる。そして、デマルチプレクサ（画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂ）によって、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持させる。その後、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持した信号を平均化する。そして、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第１の垂直信号線１９に出力させ、平均化した信号電圧を、減縮画像信号として第２の垂直信号線２９に出力させる。

このように、実施形態の固体撮像装置１の第２の構成例でも、第１の構成例の固体撮像装置１と同様に、画素１００ａに備えた光電変換部１０１ａの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ｂに保持する。また、実施形態の固体撮像装置１の第２の構成例では、画素１００ａに備えた光電変換部１０１ａの信号電荷をノイズ除去処理して第２の電荷蓄積部２１０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの信号電荷をノイズ除去処理して第２の電荷蓄積部２１０ｂに保持した後に、それぞれの信号電荷を平均化して、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂに保持する。これにより、実施形態の固体撮像装置１の第２の構成例でも、第１の構成例の固体撮像装置１と同様に、全ての画素の画素信号（フル解像画像信号）と、画素数を減縮した、つまり、それぞれの画素の画素信号を平均化（加算平均）した画素信号（減縮画像信号）との両方を独立に出力することができる。このため、実施形態の固体撮像装置１の第２の構成例でも、第１の構成例の固体撮像装置１と同様の効果を得ることができる。つまり、実施形態の固体撮像装置１の第２の構成例で出力した画素信号からでも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像を生成することができる。また、実施形態の固体撮像装置１の第２の構成例でも、フル解像度画像と縮小画像とを、並列に生成することができる。

（第３の構成例）
次に、実施形態の固体撮像装置１のさらに別の構成の一例について説明する。第３の構成例の固体撮像装置１は、第２の構成例の固体撮像装置１と同様に、それぞれの光電変換部１０１が発生した信号電荷を第２の電荷蓄積回路１０４に保持した後、保持したそれぞれの信号電荷に応じた信号電圧（画素信号）を出力する際に平均化して出力する構成例である。ただし、第３の構成例の固体撮像装置１は、第２の構成例の固体撮像装置１と同様に、第１の読み出し基板と第２の読み出し基板とを接続する基板間接続部の数を少なくした構成において、平均化した信号電圧を保持する構成、つまり、画素数を減縮した画素信号を出力する構成を変更している。このため、第３の構成例の固体撮像装置１では、第２の電荷蓄積回路１０４の構成が、第２の構成例の固体撮像装置１と異なる。

なお、第３の構成例の固体撮像装置１の構成要素には、第１の構成例および第２の構成例の固体撮像装置１の構成要素と同様の構成要素も含まれている。従って、第３の構成例の固体撮像装置１の構成要素において、第１の構成例および第２の構成例の固体撮像装置１の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。

図６は、本発明の実施形態の固体撮像装置１の第３の構成例を示した回路図である。図６において、固体撮像装置１の第３の構成例は、光電変換基板１１に、光電変換部１０１ａ，１０１ｂと、画素リセットトランジスタ１０５ａ，１０５ｂ、第１の増幅トランジスタ１０６ａ，１０６ｂ、および電荷転送トランジスタ１１２ａ，１１２ｂとが形成されている。なお、図６においても、第１の構成例および第２の構成例の光電変換基板１１と同様に、ノード容量１２０ａとノード容量１２０ｂとのそれぞれを、キャパシタの記号で示している。画素１００ａは、光電変換部１０１ａと、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、で構成されている。画素１００ｂは、光電変換部１０１ｂと、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、で構成されている。なお、光電変換基板１１は、第１の構成例および第２の構成例の光電変換基板１１と同様である。

また、図６において、固体撮像装置１の第３の構成例は、第１の読み出し基板２１に、第１のクランプトランジスタ１０９ａ，１０９ｂ、第１のサンプルホールドトランジスタ１０８ａ，１０８ｂ、第２の増幅トランジスタ１１１ａ，１１１ｂ、第１の選択トランジスタ１０７ａ，１０７ｂ、第１の電荷蓄積部１１０ａ，１１０ｂ、画素負荷トランジスタ１１４ａ，１１４ｂ、および第１のノイズ抑圧素子１１３ａ，１１３ｂが形成されている。さらに、固体撮像装置１の第３の構成例は、第１の読み出し基板２１に、画素選択トランジスタ１１５ａと画素選択トランジスタ１１５ｂとから構成されるマルチプレクサが形成されている。電荷転送回路１０２ａは、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、画素負荷トランジスタ１１４ａと、画素選択トランジスタ１１５ａと、で構成されている。電荷転送回路１０２ｂは、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、画素負荷トランジスタ１１４ｂと、画素選択トランジスタ１１５ｂと、で構成されている。第１の電荷蓄積回路１０３ａは、第１のクランプトランジスタ１０９ａと、第１のサンプルホールドトランジスタ１０８ａと、第２の増幅トランジスタ１１１ａと、第１の選択トランジスタ１０７ａと、第１の電荷蓄積部１１０ａと、第１のノイズ抑圧素子１１３ａと、で構成されている。第１の電荷蓄積回路１０３ｂは、第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ｂと、第２の増幅トランジスタ１１１ｂと、第１の選択トランジスタ１０７ｂと、第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ｂと、で構成されている。なお、第１の読み出し基板２１は、第２の構成例の第１の読み出し基板２１と同様である。

また、図６において、固体撮像装置１の第３の構成例は、第２の読み出し基板３１に、画素１００ａに対応する画素選択トランジスタ２１２ａ、第２のサンプルホールドトランジスタ２１５ａ、第２の電荷蓄積部２２０ａ、および第２の電荷蓄積部２２１ａと、画素１００ｂに対応する画素選択トランジスタ２１２ｂ、第２のサンプルホールドトランジスタ２１５ｂ、第２の電荷蓄積部２２０ｂ、および第２の電荷蓄積部２２１ｂと、第３の増幅トランジスタ２１１、第２の選択トランジスタ２０７、および平均用スイッチトランジスタ２１４とからなる第２の電荷蓄積回路１０４が形成されている。なお、第２の読み出し基板３１でも、第２の構成例の第２の読み出し基板３１と同様に、画素選択トランジスタ２１２ａと画素選択トランジスタ２１２ｂとの構成によって、第１の読み出し基板２１内に形成されたマルチプレクサに対応するデマルチプレクサが構成されている。

そして、固体撮像装置１の第３の構成例では、第２の構成例の固体撮像装置１と同様に、光電変換基板１１と第１の読み出し基板２１とが第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂによって接続され、第１の読み出し基板２１と第２の読み出し基板３１とが第２の基板間接続部２２によって接続されている。

なお、実施形態の固体撮像装置１の第３の構成例でも、固体撮像装置１の第１の構成例および第２の構成例と同様に、光電変換基板１１と第１の読み出し基板２１とを電気的接続する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂの構造や、第１の読み出し基板２１と第２の読み出し基板３１とを電気的接続する第２の基板間接続部２２の構造に関しては、特に規定しない。

画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φＳＨ２Ａまたは制御信号φＳＨ２Ｂに応じて、第２の基板間接続部２２を介して入力された信号電圧を、対応する第２のサンプルホールドトランジスタ２１５ａまたは第２のサンプルホールドトランジスタ２１５ｂに出力する。また、画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂのそれぞれは、第２の基板間接続部２２を介して入力された信号電圧を、対応する第２の電荷蓄積部２２１ａまたは第２の電荷蓄積部２２１ｂに保持させる。第３の構成例の固体撮像装置１でも、画素選択トランジスタ２１２ａと画素選択トランジスタ２１２ｂとの構成が、入力された１つの信号電圧を対応する第２のサンプルホールドトランジスタ２１５ａと第２の電荷蓄積部２２１ａ、または第２のサンプルホールドトランジスタ２１５ｂと第２の電荷蓄積部２２１ｂのいずれか一方に出力するデマルチプレクサとして動作する。

第２の電荷蓄積部２２１ａおよび第２の電荷蓄積部２２１ｂのそれぞれは、対応する画素選択トランジスタ２１２ａまたは画素選択トランジスタ２１２ｂから出力された信号電圧を保持（蓄積）する容量である。

第２のサンプルホールドトランジスタ２１５ａおよび第２のサンプルホールドトランジスタ２１５ｂのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φＳＨ３Ａまたは制御信号φＳＨ３Ｂに応じて、対応する画素選択トランジスタ２１２ａまたは画素選択トランジスタ２１２ｂから出力された信号電圧を、対応する第２の電荷蓄積部２２０ａまたは第２の電荷蓄積部２２０ｂに保持させる。また、第２のサンプルホールドトランジスタ２１５ａおよび第２のサンプルホールドトランジスタ２１５ｂのそれぞれは、対応する第２の電荷蓄積部２２１ａまたは第２の電荷蓄積部２２１ｂに保持している信号電圧を、対応する第２の電荷蓄積部２２０ａまたは第２の電荷蓄積部２２０ｂに転送して保持させる。

第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂのそれぞれは、対応する第２のサンプルホールドトランジスタ２１５ａまたは第２のサンプルホールドトランジスタ２１５ｂから出力された信号電圧を保持（蓄積）する容量である。

第３の構成例における第２の電荷蓄積回路１０４では、画素選択トランジスタ２１２ａ、第２のサンプルホールドトランジスタ２１５ａ、第２の電荷蓄積部２２０ａ、および第２の電荷蓄積部２２１ａの構成によって、光電変換部１０１ａのリセットレベルの信号と露光レベルの信号とを別々に、第２の電荷蓄積部２２０ａまたは第２の電荷蓄積部２２１ａに保持する。また、第３の構成例における第２の電荷蓄積回路１０４では、画素選択トランジスタ２１２ｂ、第２のサンプルホールドトランジスタ２１５ｂ、第２の電荷蓄積部２２０ｂ、および第２の電荷蓄積部２２１ｂの構成によって、光電変換部１０１ｂのリセットレベルの信号と露光レベルの信号とを別々に、第２の電荷蓄積部２２０ｂまたは第２の電荷蓄積部２２１ｂに保持する。そして、リセットレベルの信号と露光レベルの信号とを別々に平均化する。

なお、第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂ、第２の電荷蓄積部２２１ａおよび第２の電荷蓄積部２２１ｂとしても、第２の構成例の第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂと同様に、単位面積当たりのリーク電流（暗電流）が少ない容量であるＭＩＭ容量や、ＭＯＳ容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。

平均用スイッチトランジスタ２１４は、不図示の垂直走査回路から入力された制御信号φＭｉｘに応じて、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとを短絡する。これにより、短絡された後の第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとには、短絡される前に保持していたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧が保持される。

第３の増幅トランジスタ２１１は、ゲート端子の電圧、すなわち、平均用スイッチトランジスタ２１４によって短絡されることにより、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとに保持されていたそれぞれの信号電圧が平均化された信号電圧に応じた信号電圧を出力する。

このような構成によって固体撮像装置１の第３の構成例でも、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂ）を介して読み出す。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持する。また、固体撮像装置１の第３の構成例では、２つの光電変換部のそれぞれのリセットレベルの信号と露光レベルの信号とのそれぞれの信号電圧を、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって別々に選択して第２の基板間接続部２２に出力させる。そして、デマルチプレクサ（画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂ）によって、２つの光電変換部のそれぞれのリセットレベルの信号と露光レベルの信号を別々に、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２２０ａ、第２の電荷蓄積部２２０ｂ、第２の電荷蓄積部２２１ａ、および第２の電荷蓄積部２２１ｂ）に保持する。その後、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂ）に保持した信号を別々に平均化する。その後、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、画素信号として第１の垂直信号線１９に順次読み出し、平均化したリセットレベルの信号に応じた信号電圧と、平均化した露光レベルの信号に応じた信号電圧とを、それぞれの画素信号として第２の垂直信号線２９に順次読み出す。従って、第３の構成例の固体撮像装置１を搭載した撮像システムでは、別々に読み出した平均化したリセットレベルの信号に応じた画素信号と、平均化した露光レベルの信号に応じた画素信号とに基づいて、撮像システム内でノイズ除去処理を行うことが想定される。

なお、図６に示した固体撮像装置１の第３の構成例でも、光電変換部１０１ａを含むそれぞれの構成要素を備えた画素１００ａと、光電変換部１０１ｂを含むそれぞれの構成要素を備えた画素１００ｂとが組になった構成の一例を示したが、固体撮像装置１に配置される画素の組は、第２の構成例の固体撮像装置１と同様に、図６に示した構成に限定されるものではない。すなわち、図６に示した構成よりもさらに多くの画素数で１つの組を構成し、この画素の組を複数配置することによって固体撮像装置１内に備える画素アレイを形成してもよい。

次に、実施形態の固体撮像装置１における第３の構成例の駆動タイミングについて説明する。図７は、本発明の実施形態の固体撮像装置１の第３の構成例を駆動するタイミングを示したタイミングチャートである。図７に示したタイミングチャートは、第１の構成例および第２の構成例の固体撮像装置１の駆動タイミングと同様に、画素１００ａと画素１００ｂとを同時に露光し、画素１００ａの画素信号と画素１００ｂの画素信号とのそれぞれを第１の垂直信号線１９に順次出力すると共に、画素１００ａの画素信号と画素１００ｂの画素信号とを平均化した画素信号を第２の垂直信号線２９に出力する固体撮像装置１の第３の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。

なお、固体撮像装置１の第３の構成例では、図６に示したように、画素１００ａと画素１００ｂとの２つの画素が１つの組として構成されている。そして、固体撮像装置１の第３の構成例では、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれに対応した２つの第１の電荷蓄積回路１０３ａ（第１の電荷蓄積部１１０ａを含む）および第１の電荷蓄積回路１０３ｂ（第１の電荷蓄積部１１０ｂを含む）と、２つの光電変換部１０１ａおよび光電変換部１０１ｂに共通の第２の電荷蓄積回路１０４（第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂと、第２の電荷蓄積部２２１ａおよび第２の電荷蓄積部２２１ｂとを含む）とを備えている。このため、図７に示したタイミングチャートには、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂと、第２の電荷蓄積部２２１ａおよび第２の電荷蓄積部２２１ｂとのそれぞれに、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれが発生した信号電荷を保持させるタイミングを示している。

続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光レベルの信号との、対応する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂへの読み出しを行う。そして、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂでは、対応する光電変換部１０１ａまたは光電変換部１０１ｂのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光レベルの信号との第２の基板間接続部２２への読み出しを、順次行う。そして、第２の電荷蓄積回路１０４では、画素１００ａと画素１００ｂとのそれぞれのリセットレベルの信号と露光レベルの信号とを別々に保持する。

また、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｈ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオン状態にする。これにより、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して画素選択トランジスタ１１５ａに出力された光電変換部１０１ａのリセットレベルの信号電圧が選択され、画素選択トランジスタ１１５ａ、第２の基板間接続部２２、および画素選択トランジスタ２１２ａを介して第２のサンプルホールドトランジスタ２１５ａに出力される。

また、不図示の垂直走査回路は、制御信号φＲＳＴ２および制御信号φＴＸ２を“Ｈ”レベルにして、第１のクランプトランジスタ１０９ａおよび第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ａおよび第１のサンプルホールドトランジスタ１０８ｂとをオン状態にする。これにより、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ａおよび第１のノイズ抑圧素子１１３ｂとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φＳＨ３Ａを“Ｈ”レベルにして、第２のサンプルホールドトランジスタ２１５ａをオン状態にする。これにより、光電変換部１０１ａのリセットレベルの信号電圧が、第２の電荷蓄積部２２０ａに保持される。

その後、不図示の垂直走査回路は、制御信号φＲＳＴ１を“Ｌ”レベルにして、ノード容量１２０ａおよびノード容量１２０ｂのリセットを解除する。その後、不図示の垂直走査回路は、制御信号φＳＨ３Ａを“Ｌ”レベルにして、第２のサンプルホールドトランジスタ２１５ａをオフ状態にし、第２の電荷蓄積部２２０ａへの光電変換部１０１ａのリセットレベルの信号電圧の出力を解除する。また、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｌ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオフ状態にし、光電変換部１０１ａのリセットレベルの信号電圧の選択を解除する。

続いて、時刻ｔ３において、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｈ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオン状態にする。これにより、第１の増幅トランジスタ１０６ｂから第１の基板間接続部１２ｂを介して画素選択トランジスタ１１５ｂに出力された光電変換部１０１ｂのリセットレベルの信号電圧が選択され、画素選択トランジスタ１１５ｂ、第２の基板間接続部２２、および画素選択トランジスタ２１２ｂを介して第２のサンプルホールドトランジスタ２１５ｂに出力される。また、不図示の垂直走査回路は、制御信号φＳＨ３Ｂを“Ｈ”レベルにして、第２のサンプルホールドトランジスタ２１５ｂをオン状態にする。これにより、光電変換部１０１ｂのリセットレベルの信号電圧が、第２の電荷蓄積部２２０ｂに保持される。

その後、不図示の垂直走査回路は、制御信号φＳＨ３Ｂを“Ｌ”レベルにして、第２のサンプルホールドトランジスタ２１５ｂをオフ状態にし、第２の電荷蓄積部２２０ｂへの光電変換部１０１ｂのリセットレベルの信号電圧の出力を解除する。また、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｌ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオフ状態にし、光電変換部１０１ｂのリセットレベルの信号電圧の選択を解除する。また、不図示の垂直走査回路は、制御信号φＲＳＴ２を“Ｌ”レベルにして、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂのクランプを解除する。

続いて、時刻ｔ４において、不図示の垂直走査回路は、制御信号φＴＸ１を“Ｈ”レベルにして、電荷転送トランジスタ１１２ａおよび電荷転送トランジスタ１１２ｂをオン状態にし、光電変換部１０１ａに蓄積された信号電荷を、第１の増幅トランジスタ１０６ａのゲート端子に、光電変換部１０１ｂに蓄積された信号電荷を、第１の増幅トランジスタ１０６ｂのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ１１２ａによって転送された信号電荷は、ノード容量１２０ａに蓄積され、電荷転送トランジスタ１１２ｂによって転送された信号電荷は、ノード容量１２０ｂに蓄積される。これにより、第１の増幅トランジスタ１０６ａから光電変換部１０１ａが発生した信号電荷、すなわち、ノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が、第１の基板間接続部１２ａを介して第１のノイズ抑圧素子１１３ａに出力されると共に、画素選択トランジスタ１１５ａに出力される。また、第１の増幅トランジスタ１０６ｂから光電変換部１０１ｂが発生した信号電荷、すなわち、ノード容量１２０ｂに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が、第１の基板間接続部１２ｂを介して、第１のノイズ抑圧素子１１３ｂに出力されると共に、画素選択トランジスタ１１５ｂに出力される。

続いて、時刻ｔ５において、不図示の垂直走査回路は、制御信号φＴＸ２を“Ｌ”レベルにして、第１の電荷蓄積部１１０ａのサンプルホールドと、第１の電荷蓄積部１１０ｂのサンプルホールドとを停止する。これにより、第１の電荷蓄積部１１０ａは、第１のノイズ抑圧素子１１３ａが出力しているノイズ除去処理された信号電圧を保持し、第１の電荷蓄積部１１０ｂは、第１のノイズ抑圧素子１１３ｂが出力しているノイズ除去処理された信号電圧を保持する。

続いて、時刻ｔ６において、不図示の垂直走査回路は、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａを“Ｈ”レベルにして、画素選択トランジスタ１１５ａと画素選択トランジスタ２１２ａとをオン状態にする。これにより、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して画素選択トランジスタ１１５ａに出力された光電変換部１０１ａが発生した信号電荷、すなわち、ノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が選択され、画素選択トランジスタ１１５ａ、第２の基板間接続部２２、および画素選択トランジスタ２１２ａを介して第２の電荷蓄積部２２１ａに出力される。そして、第２の電荷蓄積部２２１ａは、光電変換部１０１ａの露光レベルの信号に応じた信号電圧を保持する。

ここまでで、画素１００ａに備えた光電変換部１０１ａのリセットレベルの信号と露光レベルの信号とが、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２１ａとに別々に保持（蓄積）されることになる。より具体的には、光電変換部１０１ａのリセットレベルの信号に応じた信号電圧が第２の電荷蓄積部２２０ａに保持され、露光レベルの信号に応じた信号電圧が第２の電荷蓄積部２２１ａに保持（蓄積）されることになる。

続いて、時刻ｔ７において、不図示の垂直走査回路は、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂを“Ｈ”レベルにして、画素選択トランジスタ１１５ｂと画素選択トランジスタ２１２ｂとをオン状態にする。これにより、第１の増幅トランジスタ１０６ｂから第１の基板間接続部１２ｂを介して画素選択トランジスタ１１５ｂに出力された光電変換部１０１ｂが発生した信号電荷、すなわち、ノード容量１２０ｂに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が選択され、画素選択トランジスタ１１５ｂ、第２の基板間接続部２２、および画素選択トランジスタ２１２ｂを介して第２の電荷蓄積部２２１ｂに出力される。そして、第２の電荷蓄積部２２１ｂは、光電変換部１０１ｂの露光レベルの信号に応じた信号電圧を保持する。

ここまでで、画素１００ｂに備えた光電変換部１０１ｂのリセットレベルの信号と露光レベルの信号とが、第２の電荷蓄積部２２０ｂと第２の電荷蓄積部２２１ｂとに別々に保持（蓄積）されることになる。より具体的には、光電変換部１０１ｂのリセットレベルの信号に応じた信号電圧が第２の電荷蓄積部２２０ｂに保持され、露光レベルの信号に応じた信号電圧が第２の電荷蓄積部２２１ｂに保持（蓄積）されることになる。

続いて、時刻ｔ８において、第２の電荷蓄積回路１０４は、第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂに保持しているリセットレベルの信号の平均化の処理と、第２の電荷蓄積部２２１ａおよび第２の電荷蓄積部２２１ｂに保持している露光レベルの信号の平均化の処理とを、それぞれ行う。

より具体的には、時刻ｔ８において、不図示の垂直走査回路は、制御信号φＭｉｘを“Ｈ”レベルにして、平均用スイッチトランジスタ２１４をオン状態にする。これにより、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとが短絡され、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとのそれぞれは、保持しているリセットレベルの信号のそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。これにより、第２の電荷蓄積部２２０ａに保持している光電変換部１０１ａのリセットレベルの信号に応じた信号電圧と、第２の電荷蓄積部２２０ｂに保持している光電変換部１０１ｂのリセットレベルの信号に応じた信号電圧との平均化の処理が行われる。

また、不図示の垂直走査回路は、制御信号φＳＨ２Ａおよび制御信号φＳＨ２Ｂを“Ｈ”レベルにして、画素選択トランジスタ２１２ａと画素選択トランジスタ２１２ｂとをオン状態にする。これにより、第２の電荷蓄積部２２１ａと第２の電荷蓄積部２２１ｂとが短絡され、第２の電荷蓄積部２２１ａと第２の電荷蓄積部２２１ｂとのそれぞれは、保持している露光レベルの信号のそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。これにより、第２の電荷蓄積部２２１ａに保持している光電変換部１０１ａの露光レベルの信号に応じた信号電圧と、第２の電荷蓄積部２２１ｂに保持している光電変換部１０１ｂの露光レベルの信号に応じた信号電圧との平均化の処理が行われる。

また、時刻ｔ８において、不図示の垂直走査回路は、制御信号φＢＩＡＳを制御して、画素負荷トランジスタ１１４ａおよび画素負荷トランジスタ１１４ｂのそれぞれの、対応する第１の増幅トランジスタ１０６ａまたは第１の増幅トランジスタ１０６ｂの負荷としての動作を停止させる。

その後、不図示の垂直走査回路は、制御信号φＳＥＬ１Ａおよび制御信号φＳＥＬ１Ｂを順次制御して、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第１の垂直信号線１９に出力させる。また、不図示の垂直走査回路は、制御信号φＳＥＬ２を制御して、第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂに保持された平均化したリセットレベルの信号に応じた信号電圧を、画素数を減縮したリセットレベルの画素信号として第２の垂直信号線２９に出力させる。また、不図示の垂直走査回路は、制御信号φＳＨ３Ａおよび制御信号φＳＨ３Ｂを制御して、平均化した露光レベルの信号に応じた信号電圧を、一旦第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとのそれぞれに転送した後、第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂに保持された平均化した露光レベルの信号に応じた信号電圧を、画素数を減縮した露光レベルの画素信号として第２の垂直信号線２９に出力させる。

なお、図６に示した固体撮像装置１の第３の構成例でも、不図示の垂直走査回路が制御信号φＭｉｘを“Ｌ”レベルにして、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとの短絡を解除した後に、第２の電荷蓄積部２２０ａに保持された平均化したリセットレベルの信号電圧および露光レベルの信号電圧を、画素数を減縮したリセットレベルの画素信号（減縮画像信号）および露光レベルの画素信号（減縮画像信号）として第２の垂直信号線２９に出力させてもよい。また、図６に示した固体撮像装置１の第３の構成例では、制御信号φＭｉｘを“Ｈ”レベルにして、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂとのそれぞれに平均化した信号電圧を保持させる前に、不図示の垂直走査回路が制御信号φＳＥＬ２および制御信号φＳＨ３Ａを制御してもよい。これにより、第２の電荷蓄積部２２０ａに保持している平均化する前のリセットレベルの信号に応じた信号電圧や第２の電荷蓄積部２２１ａに保持している露光レベルの信号に応じた信号電圧を、画素１００ａの画素信号として第２の垂直信号線２９に出力させることができる。つまり、画素１００ｂを間引いた画素信号を第２の垂直信号線２９に出力させることができる。

また、固体撮像装置１の第３の構成例でも、固体撮像装置１の第２の構成例と同様に、フル解像画像信号と減縮画像信号とのそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。従って、不図示の垂直走査回路が制御信号φＳＥＬ１Ａ、制御信号φＳＥＬ１Ｂ、制御信号φＳＥＬ２、制御信号φＳＨ３Ａ、および制御信号φＳＨ３Ｂを制御して、フル解像画像信号を第１の垂直信号線１９に出力させるタイミングや、減縮画像信号を第２の垂直信号線２９に出力させるタイミングに関する詳細な説明は省略する。

このような駆動タイミングによって固体撮像装置１の第３の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂ）に読み出させる。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持させる。また、２つの光電変換部のそれぞれのリセットレベルの信号と露光レベルの信号とのそれぞれを、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって別々に選択して第２の基板間接続部２２に出力させる。そして、デマルチプレクサ（画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂ）によって、２つの光電変換部のそれぞれのリセットレベルの信号および露光レベルの信号を別々に、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２２０ａ、第２の電荷蓄積部２２０ｂ、第２の電荷蓄積部２２１ａ、および第２の電荷蓄積部２２１ｂ）に保持させる。その後、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２０ｂ）に保持した信号を別々に平均化する。そして、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第１の垂直信号線１９に順次出力させ、平均化したリセットレベルの信号に応じた信号電圧と、平均化した露光レベルの信号に応じた信号電圧とを、それぞれの減縮画像信号として第２の垂直信号線２９に順次出力させる。

このように、実施形態の固体撮像装置１の第３の構成例でも、第２の構成例の固体撮像装置１と同様に、画素１００ａに備えた光電変換部１０１ａの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ｂに保持する。また、実施形態の固体撮像装置１の第３の構成例では、画素１００ａに備えた光電変換部１０１ａのリセットレベルの信号の信号電圧を第２の電荷蓄積部２２０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂのリセットレベルの信号の信号電圧を第２の電荷蓄積部２２０ｂ保持した後に、それぞれの信号電圧を平均化して、第２の電荷蓄積部２２０ａおよび第２の電荷蓄積部２２０ｂに保持する。また、実施形態の固体撮像装置１の第３の構成例では、画素１００ａに備えた光電変換部１０１ａの露光レベルの信号の信号電圧を第２の電荷蓄積部２２１ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの露光レベルの信号の信号電圧を第２の電荷蓄積部２２１ｂ保持した後に、それぞれの信号電圧を平均化して、第２の電荷蓄積部２２１ａおよび第２の電荷蓄積部２２１ｂに保持する。これにより、実施形態の固体撮像装置１の第３の構成例では、第２の構成例の固体撮像装置１と同様に、全ての画素の画素信号（フル解像画像信号）と、画素数を減縮した、つまり、それぞれの画素の画素信号を平均化（加算平均）した画素信号（減縮画像信号）との両方を独立に出力することができる。このため、実施形態の固体撮像装置１の第３の構成例でも、第１の構成例および第２の構成例の固体撮像装置１と同様の効果を得ることができる。つまり、実施形態の固体撮像装置１の第３の構成例で出力した画素信号からでも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像を生成することができる。また、実施形態の固体撮像装置１の第３の構成例でも、フル解像度画像と縮小画像とを、並列に生成することができる。

また、実施形態の固体撮像装置１の第３の構成例では、それぞれの画素の画素信号を平均化（加算平均）したリセットレベルの画素信号と露光レベルの画素信号とを別々に出力する。このため、第３の構成例の固体撮像装置１を搭載した撮像システムでは、別々に出力した平均化したリセットレベルの画素信号と露光レベルの画素信号とに基づいて、撮像システム内でノイズ除去処理を行う、つまり、固体撮像装置１の外部で必要に応じてノイズ除去処理を行うことができる。

上記に述べたように、実施形態の固体撮像装置１では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１ａが発生した信号電荷を第１の電荷蓄積回路１０３ａに、光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ｂにそれぞれに保持すると共に、それぞれの信号電荷の電荷量を平均化した信号電荷（画素数を減縮した信号電荷）を第２の電荷蓄積回路１０４に保持する。そして、実施形態の固体撮像装置１では、第１の電荷蓄積回路１０３ａと第１の電荷蓄積回路１０３ｂとのそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、実施形態の固体撮像装置１では、同じ１回の露光によって得られた信号電荷に基づいた、フル解像画像信号と減縮画像信号とのそれぞれを別々に独立して出力することができる。

なお、実施形態の固体撮像装置１の構成は、第１〜第３の構成例で示した構成に限定されるものではなく、実施形態の固体撮像装置１の趣旨を逸脱しない範囲の異なる構成であってもよい。

なお、実施形態の固体撮像装置１の第１〜第３の構成例では、画素１００ａおよび画素１００ｂに対応する構成要素に入力する制御信号は、第１の選択トランジスタ１０７ａに入力する制御信号φＳＥＬ１Ａ、および第１の選択トランジスタ１０７ｂに入力する制御信号φＳＥＬ１Ｂ以外、画素１００ａと画素１００ｂとで同じ制御信号である構成について説明した。そして、この構成に基づいて、実施形態の固体撮像装置１の第１〜第３の構成例の駆動タイミングでは、画素１００ａに備えた光電変換部１０１ａと画素１００ｂに備えた光電変換部１０１ｂとの露光を同時に開始し、光電変換部１０１ａと光電変換部１０１ｂとのそれぞれが発生した信号電荷を同時に転送するグローバルシャッタ機能の動作を行うタイミングについて説明した。しかし、固体撮像装置１の構成や駆動タイミングは、第１〜第３の構成例に限定されるものではなく、画素１００ａおよび画素１００ｂのそれぞれの構成要素に入力する制御信号を、画素１００ａと画素１００ｂとのそれぞれで異ならせ、画素１００ａと画素１００ｂとを異なるタイミングで駆動することができる構成にしてもよい。

なお、実施形態の固体撮像装置１は、上述したように、それぞれの画素に備えた光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷、すなわち、加算平均した信号電荷を保持する第２の電荷蓄積回路１０４の代わりに、加算した信号電荷を保持する回路（加算電荷蓄積回路）を備える構成にしてもよい。つまり、実施形態の固体撮像装置１は、加算電荷蓄積回路によって、光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷、すなわち、加算のみを行った信号電荷を保持する構成にしてもよい。

この場合、加算電荷蓄積回路は、例えば、２つの信号電圧を加算して出力するアンプ回路を備え、このアンプ回路によって、対応する基板間接続部を介して第１の増幅トランジスタ１０６ａおよび第１の増幅トランジスタ１０６ｂのそれぞれから入力されたそれぞれの信号電圧を加算する構成が考えられる。これにより、実施形態の固体撮像装置１では、光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷を保持する構成にすることもできる。

また、加算電荷蓄積回路は、例えば、２つの信号電圧を加算して出力するアンプ回路を備え、このアンプ回路によって、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂに保持したノイズ除去処理されたそれぞれの信号電圧を加算する構成が考えられる。これにより、実施形態の固体撮像装置１では、光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷に応じた信号電圧を出力する構成にすることもできる。

なお、上述したように、実施形態の固体撮像装置１は、第２の電荷蓄積回路１０４と加算電荷蓄積回路との両方を備え、例えば、光電変換部１０１ａと光電変換部１０１ｂとが発生したそれぞれの信号電荷を加算平均した信号電荷と、それぞれの信号電荷を加算した信号電荷との両方をそれぞれ保持する構成にしてもよい。

なお、実施形態の固体撮像装置１の第１〜第３の構成例では、図１に示した固体撮像装置１の最小限の構成に基づいて、光電変換基板１１と第１の読み出し基板２１と第２の読み出し基板３１との３つの基板による多層基板構造の構成について説明した。しかし、固体撮像装置１の構成は、実施形態の固体撮像装置１の構成に限定されるものではなく、例えば、第２の電荷蓄積回路１０４が保持する画素１００ａと画素１００ｂとに対応した信号電荷を平均化した信号電荷を、さらに平均化する構成にしてもよい。例えば、第２の電荷蓄積回路１０４では、画素数を１段減縮しているが、さらにもう１段以上減縮する構成にしてもよい。この場合、実施形態の固体撮像装置１をさらに多層化することが考えられる。なお、実施形態の固体撮像装置１においては、画素数を減縮する段数に関しては、特に規定しない。

ここで、実施形態の固体撮像装置１において、図１に示した固体撮像装置１よりもさらにもう１段以上減縮した構成例について説明する。図８は、本発明の実施形態の固体撮像装置１の変形例の概略構成を示したブロック図である。図８に示した固体撮像装置１の変形例では、固体撮像装置１に、画素１００ａ〜画素１００ｄの４つの画素が配置されている場合を示している。なお、図８に示した固体撮像装置１においても、この固体撮像装置１を搭載した撮像システムに備えた制御装置による制御に応じて、それぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの走査回路や、画素信号を固体撮像装置１の外部に出力するための出力アンプなど構成要素は省略している。

なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素１００ａ〜画素１００ｄを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「ａ」、「ｂ」、「ｃ」、または「ｄ」の符号を付与して説明する。より具体的には、画素１００ａに対応する構成要素の符号の最後に「ａ」を付与し、画素１００ｂに対応する構成要素の符号の最後に「ｂ」を付与し、画素１００ｃに対応する構成要素の符号の最後に「ｃ」を付与し、画素１００ｄに対応する構成要素の符号の最後に「ｄ」を付与して説明する。また、画素１００ａ〜画素１００ｄに共通して対応する構成要素には、「ａ」〜「ｄ」の符号は付与せずに説明する。また、画素１００ａ〜画素１００ｄのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「ａ」〜「ｄ」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。

図８に示した固体撮像装置１は、４つの光電変換部１０１ａ〜光電変換部１０１ｄと、４つの電荷転送回路１０２ａ〜電荷転送回路１０２ｄと、４つの第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄと、３つの第２の電荷蓄積回路１０４ａｂ、第２の電荷蓄積回路１０４ｃｄ、および第３の電荷蓄積回路２０４とから構成される。

光電変換部１０１ａ〜光電変換部１０１ｄ、電荷転送回路１０２ａ〜電荷転送回路１０２ｄ、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれは、図１に示した固体撮像装置１の光電変換部１０１ａおよび光電変換部１０１ｂ、電荷転送回路１０２ａおよび電荷転送回路１０２ｂ、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂと同様の構成要素である。従って、それぞれの構成要素に関する詳細な説明は省略する。

第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、図１に示した固体撮像装置１の第２の電荷蓄積回路１０４と同様に、対応する２つの電荷転送回路１０２のそれぞれから転送された、対応する光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。なお、図８に示した固体撮像装置１においては、第２の電荷蓄積回路１０４ａｂが電荷転送回路１０２ａおよび電荷転送回路１０２ｂ、すなわち、光電変換部１０１ａおよび光電変換部１０１ｂに対応し、第２の電荷蓄積回路１０４ｃｄが電荷転送回路１０２ｃおよび電荷転送回路１０２ｄ、すなわち、光電変換部１０１ｃおよび光電変換部１０１ｄに対応している。

また、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、平均化した信号電荷を第３の電荷蓄積回路２０４にも転送する。つまり、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれには、電荷転送回路１０２ａや電荷転送回路１０２ｂと同等の機能も備えている。より具体的には、電荷転送回路１０２が第１の電荷蓄積回路１０３と第２の電荷蓄積回路１０４とのそれぞれに転送する対応する光電変換部１０１が発生して蓄積した信号電荷の代わりに、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、保持している平均化した信号電荷を第３の電荷蓄積回路２０４に転送する機能を備えている。なお、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが第３の電荷蓄積回路２０４に転送する信号電荷は、平均化した信号電荷ではなく、対応する２つの電荷転送回路１０２のそれぞれから転送された、対応する光電変換部１０１が発生したそれぞれの信号電荷であってもよい。

第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから入力された、それぞれの信号電荷の電荷量を平均化した信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。すなわち、第３の電荷蓄積回路２０４も、図１に示した固体撮像装置１の第２の電荷蓄積回路１０４や、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄと同様に、固体撮像装置１の画素数を減縮した状態の信号電荷を保持する回路である。ただし、第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、固体撮像装置１の画素数を減縮した後に、さらに画素数を減縮した状態の信号電荷を保持する。また、第３の電荷蓄積回路２０４は、保持している、さらに画素数を減縮した状態の信号電荷に応じた信号電圧を、画素信号として出力する回路でもある。

なお、第３の電荷蓄積回路２０４の構成は、実施形態の固体撮像装置１の第１〜第３の構成例で示した、第２の電荷蓄積回路１０４と同様の考え方で構成される。つまり、第１〜第３の構成例における第２の電荷蓄積回路１０４に備えた第２の電荷蓄積部（第２の電荷蓄積部２１０、第２の電荷蓄積部２１０ａ、第２の電荷蓄積部２１０ｂ、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２１ａ、第２の電荷蓄積部２２０ｂと第２の電荷蓄積部２２１ｂ）に対応する第３の電荷蓄積部を備えた構成が考えられる。

実施形態によれば、複数の第２の電荷蓄積回路（第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄ）のそれぞれが保持した信号電荷に基づいた信号電荷を保持し、ここで保持した信号電荷に応じた信号電圧を、予め定めた数の画素数にさらに減縮した第３の画素信号（さらに画素数を減縮した画素信号）として出力する複数の第３の電荷蓄積回路（第３の電荷蓄積回路２０４）、をさらに備える、固体撮像装置１が構成される。

また、実施形態によれば、第３の電荷蓄積回路２０４は、対応する複数の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄが保持したそれぞれの信号電荷を加算または平均化した電荷量の信号電荷を保持する、固体撮像装置１が構成される。

また、実施形態によれば、第３の電荷蓄積回路２０４は、第３の基板に複数配置され、第２の読み出し基板３１と第３の基板とを電気的接続する第３の接続部（基板間接続部）、を備える、固体撮像装置１が構成される。

また、実施形態によれば、第３の接続部は、第２の読み出し基板３１と第３の基板との間に配置され、第３の基板に配置された第３の電荷蓄積回路２０４のそれぞれに対応し、第２の読み出し基板３１に配置されたそれぞれの第２の電荷蓄積回路（第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄ）から、第３の基板に配置された対応する第３の電荷蓄積回路２０４に転送されるそれぞれの信号電荷の信号線のそれぞれを、第２の読み出し基板３１と第３の基板との間で電気的に接続する、固体撮像装置１が構成される。

このような構成によって、図８に示した固体撮像装置１では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１が発生した信号電荷を第１の電荷蓄積回路１０３にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷（画素数を減縮した信号電荷）を第２の電荷蓄積回路１０４に保持し、平均化したそれぞれの信号電荷をさらに平均化した信号電荷（画素数をさらに減縮した信号電荷）を第３の電荷蓄積回路２０４に保持する。そして、図８に示した固体撮像装置１では、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号と、第３の電荷蓄積回路２０４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、図８に示した固体撮像装置１でも、同じ１回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号と、画素数を減縮した画素信号と、さらに画素数を減縮した画素信号とのそれぞれを別々に出力することができる。より具体的には、図８に示したように、全ての画素の画素信号（フル解像画像信号）と、画素数を１／２に減縮した画素信号（減縮画像信号（１／２））と、画素数を１／４に減縮した画素信号（減縮画像信号（１／４））とのそれぞれを別々に出力することができる。

なお、図８に示した固体撮像装置１では、第２の電荷蓄積回路１０４に、対応する２つの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持し、第３の電荷蓄積回路２０４に、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する構成を示した。しかし、実施形態の固体撮像装置１の構成は、図８に示した構成に限定されるものではない。例えば、第３の電荷蓄積回路２０４を、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷を保持する構成にしてもよい。この場合、図８に示した固体撮像装置１は、第３の電荷蓄積回路２０４の代わりに、固体撮像装置１に備えたそれぞれの画素の信号電荷を加算することによって、画素数を減縮しつつ、信号電荷のレベルを高くした状態の信号電荷を保持する回路（加算電荷蓄積回路）を備える構成となる。また、例えば、光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷と、それぞれの信号電荷の電荷量を加算した量の信号電荷との両方をそれぞれ保持する構成にしてもよい。

なお、実施形態の固体撮像装置１では、図１および図８において、予め定めた２つの画素を組とし、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する構成を示した。しかし、実際の固体撮像装置には、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの光電変換部１０１は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、実施形態の固体撮像装置１においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化または加算しないように、画素の組を構成することが望ましい。

ここで、実施形態の固体撮像装置１において組とする画素の配置の一例について説明する。図９Ａおよび図９Ｂは、本発明の実施形態の固体撮像装置１の画素アレイの配列の一例を示した図である。図９Ａおよび図９Ｂは、固体撮像装置１にベイヤー配列のカラーフィルタが貼付されている場合の一例を示している。

上述したように、固体撮像装置１にカラーフィルタが貼付されている場合、固体撮像装置１における画素の組は、同じ色同士で重心がずれないように構成することが望ましい。図９Ｂには、図９Ａにおいて３行目で６列目に配置されているＧｒ画素１００ａを重心とし、このＧｒ画素１００ａの周辺の５行５列の範囲内に配置された同じ色の８つのＧｒ画素１００ｂを組とする、すなわち、９つの画素を組とする場合を示している。

図９Ｂに示したように画素の組を構成することによって、図１に示した構成の固体撮像装置１では、画素アレイに備えた画素数を、行方向を１／３に列方向を１／３にそれぞれ減縮した、つまり、画素アレイに備えた全て画素数を１／９に減縮した画素信号を第２の電荷蓄積回路１０４が出力することができる。また、同様に考えれば、図８に示した構成の固体撮像装置１では、第２の電荷蓄積回路１０４が全て画素数を１／９に減縮した信号電荷を、さらに行方向を１／３に列方向を１／３にそれぞれ減縮した、つまり、画素アレイに備えた全て画素数を１／８１に減縮した画素信号を第３の電荷蓄積回路２０４が出力することができる。そして、実施形態の固体撮像装置１を撮像システムに搭載することにより、撮像システムでは、様々な処理を行うことができる。

なお、実施形態の固体撮像装置１において組とする画素の配置は、図９Ａおよび図９Ｂに示した一例に限定されるものではない。例えば、重心とする画素の周辺の９行９列の範囲内に配置された同じ色の２５個の画素を組とすることによって、画素アレイに備えた画素数を、行方向を１／５に列方向を１／５にそれぞれ減縮した、つまり、画素アレイに備えた全て画素数を１／２５に減縮した信号電荷を、第２の電荷蓄積回路１０４に保持してもよい。

なお、カラーフィルタを貼付した実施形態の固体撮像装置１においては、モノリシックの構造よりも、多層基板構造の方が有利であると考えられる。これは、実施形態の固体撮像装置１において画素数を減縮する段数が増えるに従って、減縮した信号電荷を保持するための第２の電荷蓄積回路１０４や第３の電荷蓄積回路２０４、さらに次の段の減縮した信号電荷を保持する電荷蓄積回路などが必要とする固体撮像装置１内の領域が増加すると考えられるからである。ただし、例えば、第１の電荷蓄積回路１０３が形成される第１の読み出し基板２１と、第２の電荷蓄積回路１０４が形成される第２の読み出し基板３１とをモノリシックの構造にするなど、必要に応じてモノリシックの構造と多層基板構造とを合わせた構造にすることは可能である。

実施形態によれば、光電変換部１０１ａおよび光電変換部１０１ｂが配置された光電変換基板（光電変換基板１１）と、第１の電荷蓄積回路１０３ａ、第１の電荷蓄積回路１０３ｂ、および第２の電荷蓄積回路１０４が複数配置された第１の基板（第１の読み出し基板２１）と、光電変換基板１１と第１の読み出し基板２１とを電気的接続する第１の接続部（第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂ）と、によって構成される、固体撮像装置１が構成される。

また、実施形態によれば、第１の基板間接続部１２ａまたは第１の基板間接続部１２ｂは、光電変換基板１１と第１の読み出し基板２１との間に配置され、第１の読み出し基板２１に配置された第１の電荷蓄積回路１０３ａ、第１の電荷蓄積回路１０３ｂ、および第２の電荷蓄積回路１０４の少なくとも一方のそれぞれに対応し、光電変換基板１１に配置されたそれぞれの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）から、第１の読み出し基板２１に配置された対応する第１の電荷蓄積回路１０３ａ、第１の電荷蓄積回路１０３ｂ、および第２の電荷蓄積回路１０４の少なくとも一方に転送されるそれぞれの信号電荷の信号線のそれぞれを、光電変換基板１１と第１の読み出し基板２１との間で電気的に接続する、固体撮像装置１が構成される。

また、実施形態によれば、第３の電荷蓄積回路２０４は、第１の読み出し基板２１にさらに複数配置される、固体撮像装置１が構成される。

次に、実施形態の固体撮像装置１を搭載した撮像システムについて説明する。以下の説明においては、撮像システムに搭載する固体撮像装置１が、図９Ａに示したようなカラーフィルタが貼付された、図８に示した構成の固体撮像装置１であるものとして説明する。つまり、撮像システムに搭載する固体撮像装置１は、画素アレイに備えた全て画素数の画素信号（以下、「フル解像画像信号」という）と、画素数を１／９に減縮した画素信号（以下、「１／９減縮画像信号」という）と、画素数を１／８１に減縮した画素信号（以下、「１／８１減縮画像信号」という）とのそれぞれを別々に出力する固体撮像装置１であるものとして説明する。

上述したように、実施形態の固体撮像装置１では、同じ１回の露光によって、フル解像画像信号と減縮画像信号とのそれぞれを別々に独立して出力することができる。このため、固体撮像装置１を搭載した撮像システムでは、フル解像画像信号に基づいたフル解像度画像の生成と、減縮画像信号に基づいた縮小画像の生成とを、並列に生成することができる。このとき、例えば、フル解像画像信号と減縮画像信号との出力を同時に開始した場合でも、画素数を減縮した減縮画像信号の方が、画素数を減縮していないフル解像画像信号よりも早く出力が完了するため、縮小画像の生成の方が、フル解像度画像の生成よりも早く完了することができる。

より具体的には、固体撮像装置１からそれぞれの画素信号を読み出すクロックの周波数が同じ周波数であるとすると、１／９減縮画像信号の読み出しは、フル解像画像信号の読み出しに要する時間の１／９の時間で完了し、１／８１減縮画像信号の読み出しは、フル解像画像信号の読み出しに要する時間の１／８１の時間で完了する。なお、１／８１減縮画像信号の読み出しは、１／９減縮画像信号の読み出しに要する時間の１／９の時間で完了する。このため、１／９減縮画像信号に基づいて生成する縮小画像（以下、「１／９縮小画像」という）は、フル解像画像信号に基づいて生成するフル解像度画像よりも９倍早く生成することができ、１／８１減縮画像信号に基づいて生成する縮小画像（以下、「１／８１縮小画像」という）は、フル解像画像信号に基づいて生成するフル解像度画像よりも８１倍早く生成することができる。言い換えれば、１／９縮小画像のフレームレートは、フル解像度画像のフレームレートよりも９倍高く、１／８１縮小画像のフレームレートは、フル解像度画像のフレームレートよりも８１倍高い。

実施形態の固体撮像装置１を搭載した撮像システムでは、減縮画像信号を早く読み出すことができるということを利用して、例えば、ダイナミックレンジの確認、画像信号に対するアナログゲインの調整やバイアスレベルの調整など、固体撮像装置１が出力するフル解像画像信号に対して施すアナログ的な処理、いわゆる、アナログフロントエンドの処理に必要な情報を早く取得することができる。また、実施形態の固体撮像装置１を搭載した撮像システムでは、減縮画像信号を早く読み出すことによって縮小画像を早く生成することができるということを利用して、例えば、ＡＥ処理、ＡＷＢ処理、蛍光灯のフリッカ補正など、固体撮像装置１が出力するフル解像画像信号に基づいてフル解像度画像を生成する際のデジタル的な処理（映像信号処理）に必要な情報を早く取得することができる。また、実施形態の固体撮像装置１を搭載した撮像システムでは、同じ露光によって得られる複数の減縮画像信号を別々に独立して出力することができるということを利用して、ライブビュー画像の表示と、ＡＦや被写体追尾などの高速に処理することが必要な処理（以下、「トラッキング処理」という）とを、並列に実行することができる。

（第１のシステム例）
図１０は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第１のシステム例を示したブロック図である。撮像システムの第１のシステム例は、１／８１減縮画像信号を固体撮像装置１から先に読み出し、読み出した１／８１減縮画像信号に基づいて、フル解像画像信号に対する調整を行う撮像システムの構成例である。図１０に示した撮像システム１０は、固体撮像装置１と、ダイナミックレンジ推定部３０１と、アナログゲイン調整部３０２と、映像信号処理部３０３とを備えている。なお、図１０においては、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／８１減縮画像信号を出力する第３の電荷蓄積回路２０４も示している。

ダイナミックレンジ推定部３０１は、固体撮像装置１に備えた第３の電荷蓄積回路２０４から１／８１減縮画像信号を読み出し、読み出した１／８１減縮画像信号に基づいて、同じ露光によって得られるフル解像画像信号における全体の輝度分布（ダイナミックレンジ）を推定する。そして、ダイナミックレンジ推定部３０１は、推定したダイナミックレンジの情報を、アナログゲイン調整部３０２に出力する。

なお、ダイナミックレンジ推定部３０１は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出して、ダイナミックレンジを推定する構成にしてもよい。

アナログゲイン調整部３０２は、ダイナミックレンジ推定部３０１から入力されたダイナミックレンジの情報に基づいて、同じ露光によって得られたフル解像画像信号（アナログ信号）に対して掛ける（調整する）アナログゲインの調整値を決定し、決定したアナログゲイン調整値の情報を、固体撮像装置１に出力する。これにより、固体撮像装置１は、例えば、第１の電荷蓄積回路１０３が、入力されたアナログゲイン調整値の情報に基づいてそれぞれの画素信号のアナログゲインを調整し、アナログゲインを調整したフル解像画像信号を出力する。

映像信号処理部３０３は、固体撮像装置１に備えた第１の電荷蓄積回路１０３から、アナログゲインを調整した後のフル解像画像信号を読み出し、読み出したフル解像画像信号に対して予め定められた種々の映像信号処理を施す。

ここで、撮像システムの第１のシステム例において、固体撮像装置１からそれぞれの画素信号を読み出す際のタイミングについて説明する。図１１は、本発明の実施形態の固体撮像装置１を搭載した第１のシステム例の撮像システム１０の画素信号の読み出しシーケンスを示したタイミングチャートである。

撮像システム１０は、固体撮像装置１の制御を行う不図示の制御装置によって、図１１に示したように、電荷転送回路１０２に、光電変換部１０１が露光した信号電荷を第１の電荷蓄積回路１０３に転送させ、さらに、第２の電荷蓄積回路１０４に転送させる。そして、第２の電荷蓄積回路１０４に、平均化した信号電荷を第３の電荷蓄積回路２０４に転送させる。

その後、撮像システム１０では、第３の電荷蓄積回路２０４から、１／８１減縮画像信号を先に読み出す。そして、撮像システム１０では、ダイナミックレンジ推定部３０１とアナログゲイン調整部３０２とによる処理が完了した後、すなわち、フル解像画像信号を調整するためのアナログゲインの調整値を決定した後に、第１の電荷蓄積回路１０３から、フル解像画像信号を読み出す。

なお、図１１のタイミングチャートを見てわかるように、第２の電荷蓄積回路１０４からの１／９減縮画像信号の読み出しは行っていない。これは、撮像システム１０の処理においては、１／９減縮画像信号を使用した処理を行っていないからである。このように、固体撮像装置１では、処理に使用する画素信号のみを読み出してもよい。また、固体撮像装置１の構成が、第２の電荷蓄積回路１０４に信号電荷を転送しない場合でも、第３の電荷蓄積回路２０４から１／８１減縮画像信号を読み出すことができる構成である場合には、図１１のタイミングチャートに示した、第２の電荷蓄積回路１０４への信号電荷の転送も行わないようにしてもよい。

第１のシステム例によれば、固体撮像装置１と、固体撮像装置１に備えた第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂから第１の画素信号（フル解像画像信号）を読み出す第１の読み出し部（映像信号処理部３０３）と、固体撮像装置１に備えた第２の電荷蓄積回路１０４から第２の画素信号（減縮画像信号）を読み出す第２の読み出し部（ダイナミックレンジ推定部３０１）と、を備える撮像システム（撮像システム１０）が構成される。

また、第１のシステム例によれば、映像信号処理部３０３によるフル解像画像信号の読み出しに先立って、画素の数を減縮した減縮画像信号を、ダイナミックレンジ推定部３０１によって読み出す、撮像システム１０が構成される。

また、第１のシステム例によれば、映像信号処理部３０３によるフル解像画像信号の読み出しに先立って、画素の数を減縮した第２の画素信号（１／９減縮画像信号）の第２の読み出し部（例えば、ダイナミックレンジ推定部３０１）による読み出し、または画素の数をさらに減縮した第３の画素信号（１／８１減縮画像信号）の第３の読み出し部（ダイナミックレンジ推定部３０１）による読み出しを行う、撮像システム１０が構成される。

このように、実施形態の固体撮像装置１を搭載した第１のシステム例の撮像システム１０では、１／８１減縮画像信号を先に読み出すことによって、同じ露光のフル解像画像信号を読み出す前に、ダイナミックレンジを推定し、アナログゲインの調整値を早く決定することができる。従来の技術では、フル解像画像信号を取得するための露光よりも前に行った露光によって得られた画素信号、つまり、以前のフレームの画素信号に基づいてダイナミックレンジを推定していたため、瞬時の輝度変化や照明の変化への対応が困難であった。これに対して、実施形態の固体撮像装置１を搭載した第１のシステム例の撮像システム１０では、同じ露光によって得られた減縮画像信号に基づいてダイナミックレンジを推定するため、輝度変化や照明の変化に瞬時に対応することができる。しかも、実施形態の固体撮像装置１を搭載した第１のシステム例の撮像システム１０では、同じ露光によって得られた減縮画像信号に基づいてダイナミックレンジを推定するため、従来の技術によるアナログゲインの調整値よりも、フル解像度画像により適した値に、アナログゲインの調整値を決定することができる。

なお、同様の考え方を適用することによって、読み出すフル解像画像信号のレベルを調整するためのバイアスのレベル補正を、アナログ段階の処理で行うようにしてもよい。つまり、実施形態の固体撮像装置１を搭載した第１のシステム例の撮像システム１０では、１／８１減縮画像信号を先に読み出すことによって、上述したアナログゲインの調整値の決定以外にも、様々なアナログ的な処理に必要な情報を早く取得してもよい。

（第２のシステム例）
図１２は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第２のシステム例を示したブロック図である。撮像システムの第２のシステム例は、１／８１減縮画像信号を固体撮像装置１から先に読み出して生成した１／８１縮小画像に基づいて、フル解像画像信号に対して施す映像信号処理の調整を行う撮像システムの構成例である。図１２に示した撮像システム２０は、固体撮像装置１と、画像情報解析推定部３０４と、映像信号処理部３０３とを備えている。なお、図１２においても、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／８１減縮画像信号を出力する第３の電荷蓄積回路２０４も示している。

画像情報解析推定部３０４は、固体撮像装置１に備えた第３の電荷蓄積回路２０４から１／８１減縮画像信号を読み出して１／８１縮小画像を生成する。そして、画像情報解析推定部３０４は、生成した１／８１縮小画像を解析して、映像信号処理部３０３が、固体撮像装置１が出力する同じ露光のフル解像画像信号に基づいてフル解像度画像を生成する際の、例えば、ＡＥ処理、ＡＷＢ処理や、蛍光灯のフリッカによる垂直方向の輝度ムラ補正などの映像信号処理に必要な情報を推定する。そして、画像情報解析推定部３０４は、推定した映像信号処理に必要な情報を、映像信号処理部３０３に出力する。

なお、画像情報解析推定部３０４は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出して１／９縮小画像を生成し、映像信号処理に必要な情報を推定する構成にしてもよい。

映像信号処理部３０３は、固体撮像装置１に備えた第１の電荷蓄積回路１０３からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して、画像情報解析推定部３０４から入力された映像信号処理に必要な情報に基づいた、予め定められた種々の映像信号処理を施す。

このような構成によって、実施形態の固体撮像装置１を搭載した第２のシステム例の撮像システム２０では、１／８１減縮画像信号を先に読み出して１／８１縮小画像を早く生成することによって、同じ露光のフル解像画像信号を読み出す前に、フル解像画像信号に対する映像信号処理に必要な情報を早く取得することができる。特に、フル解像画像信号に対する蛍光灯のフリッカ補正の映像信号処理は、異なるフレームを用いる従来の技術では、周期的な輝度ムラの位相が同じ画素信号を取得することが厳密には困難であった。これに対して、実施形態の固体撮像装置１を搭載した第２のシステム例の撮像システム２０では、同じ露光、つまり、同じフレームであるため、周期的な輝度ムラの位相が同じ画素信号をより厳密に取得することができ、蛍光灯のフリッカ補正の映像信号処理にはより好ましい。

なお、撮像システムの第２のシステム例における画素信号の読み出しシーケンスは、画素信号を読み出す撮像システム内の構成要素が異なる以外は、図１１に示した第１のシステム例の撮像システム１０における画素信号の読み出しシーケンスと同様である。従って、撮像システムの第２のシステム例における画素信号の読み出しシーケンスに関する詳細な説明は省略する。

（第３のシステム例）
図１３は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第３のシステム例を示したブロック図である。撮像システムの第３のシステム例は、固体撮像装置１から読み出したフル解像画像信号に基づいてフル解像度画像を生成しながら、固体撮像装置１から読み出した１／９減縮画像信号に基づいてライブビュー画像を生成すると共に、さらに、固体撮像装置１から読み出した１／８１減縮画像信号に基づいてトラッキング処理を行う撮像システムの構成例である。図１３に示した撮像システム３０は、固体撮像装置１と、トラッキング処理部３０５と、ライブビュー画像生成部３０６と、映像信号処理部３０３とを備えている。なお、図１３においても、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／８１減縮画像信号を出力する第３の電荷蓄積回路２０４も示している。

トラッキング処理部３０５は、固体撮像装置１に備えた第３の電荷蓄積回路２０４から１／８１減縮画像信号を読み出して１／８１縮小画像を生成する。そして、トラッキング処理部３０５は、生成した１／８１縮小画像を解析して、トラッキング処理に必要な情報を取得し、撮像システム３０におけるトラッキング処理を行う。また、トラッキング処理部３０５は、ライブビュー画像生成部３０６が、固体撮像装置１が出力する同じ露光の１／９減縮画像信号に基づいて１／９縮小画像を生成するライブビュー画像生成処理に必要な情報を推定し、推定したライブビュー画像生成処理に必要な情報を、ライブビュー画像生成部３０６に出力する。また、映像信号処理部３０３は、ライブビュー画像生成部３０６が、固体撮像装置１が出力する同じ露光のフル解像画像信号に基づいてフル解像度画像を生成する映像信号処理に必要な情報を推定し、推定した映像信号処理に必要な情報を、映像信号処理部３０３に出力する。

ライブビュー画像生成部３０６は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出し、読み出した１／９減縮画像信号に対して、トラッキング処理部３０５から入力されたライブビュー画像生成処理に必要な情報に基づいて、１／９縮小画像を生成する。そして、ライブビュー画像生成部３０６は、生成した１／９縮小画像を、ライブビュー画像として出力する。

なお、撮像システム３０が動画像を撮影する場合には、ライブビュー画像生成部３０６は、固体撮像装置１から読み出した１／９減縮画像信号に基づいてライブビュー画像を生成する代わりに、記録する動画像を生成してもよい。また、ライブビュー画像生成部３０６の代わりに、記録する動画像を生成する動画像生成部を、撮像システム３０に備える構成であってもよい。この場合でも、動画像生成部の処理は、上述したライブビュー画像生成部３０６におけるライブビュー画像生成処理と同様に考えることができるため、詳細な説明は省略する。

映像信号処理部３０３は、固体撮像装置１に備えた第１の電荷蓄積回路１０３からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して、トラッキング処理部３０５から入力された映像信号処理に必要な情報に基づいた、予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。

ここで、撮像システムの第３のシステム例において、固体撮像装置１からそれぞれの画素信号を読み出す際のタイミングについて説明する。図１４は、本発明の実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０の画素信号の読み出しシーケンスを示したタイミングチャートである。

撮像システム３０は、固体撮像装置１の制御を行う不図示の制御装置によって、図１４に示したように、電荷転送回路１０２に、光電変換部１０１が露光した信号電荷を第１の電荷蓄積回路１０３に転送させ、さらに、第２の電荷蓄積回路１０４に転送させる。そして、第２の電荷蓄積回路１０４に、平均化した信号電荷を第３の電荷蓄積回路２０４に転送させる。

その後、撮像システム３０では、第１の電荷蓄積回路１０３からフル解像画像信号を、第２の電荷蓄積回路１０４から１／９減縮画像信号を、第３の電荷蓄積回路２０４から１／８１減縮画像信号を、それぞれ読み出す。これにより、トラッキング処理部３０５と、ライブビュー画像生成部３０６と、映像信号処理部３０３とのそれぞれは、対応する画素信号に基づいた処理を行う。

また、撮像システム３０では、平均化した信号電荷の第３の電荷蓄積回路２０４への転送が終了した後、光電変換部１０１における次の露光を開始する。これにより、光電変換部１０１は、入射した光を光電変換した信号電荷を発生して蓄積する。

その後、撮像システム３０では、第３の電荷蓄積回路２０４からの１／８１減縮画像信号の読み出しが終了した後、電荷転送回路１０２に、光電変換部１０１が今回露光した信号電荷を第２の電荷蓄積回路１０４に転送させ、第２の電荷蓄積回路１０４に、平均化した信号電荷を第３の電荷蓄積回路２０４に転送させる。

なお、このとき、前回転送した信号電荷の読み出しが終わっていない電荷蓄積回路には、今回の露光によって得られた信号電荷の転送は行わない。図１４に示したタイミングチャートでは、２回目および４回目の露光によって得られた信号電荷を第３の電荷蓄積回路２０４のみに転送し、３回目の露光によって得られた信号電荷を第２の電荷蓄積回路１０４と第３の電荷蓄積回路２０４とに転送させる場合を示している。これは、２回目および４回目の露光によって得られた信号電荷を転送するタイミングでは、第２の電荷蓄積回路１０４からの１／９減縮画像信号の読み出しが終了していないからである。なお、これらの１／８１減縮画像信号の読み出しのみ行いながらフル解像画像信号および１／９減縮画像信号の読み出しを行わず信号電荷を維持する動作は、図２、図４、図６に示した固体撮像装置１において、第２の電荷蓄積部２１０，２１０ａ，２２１ａ，２２０ａに電荷を転送する際に、第１のサンプルホールドトランジスタ１０８ａおよび第１のクランプトランジスタ１０９ａを動作させない、つまり、制御信号φＴＸ２および制御信号φＲＳＴ２を“Ｌ”レベルにすることで第１の電荷蓄積部１１０ａに保持した電荷を以前の状態で維持し、必要なときに読み出しを行うように制御することで行うことができる。すなわち、第１の電荷蓄積部１１０ａに影響することなく、第２の電荷蓄積回路１０４や第３の電荷蓄積回路２０４に画素信号を転送することができる（画素１００ｂに対応する構成ついても同様である）。

このように、撮像システム３０では、それぞれの電荷蓄積回路への信号電荷の転送が終了すると次の露光を開始し、今回の露光によって光電変換部１０１が光電変換した信号電荷を、前回の信号電荷の読み出しが終了した電荷蓄積回路に転送する。つまり、撮像システム３０では、第２の電荷蓄積回路１０４および第１の電荷蓄積回路１０３における画素信号の読み出しが終了しているか否かに関わらず、最もフレームレートが高い１／８１縮小画像を生成するタイミングの周期で撮影を行う。言い換えれば、高速に処理することが必要な、すなわち、優先して読み出すことが必要な、ＡＦや被写体追尾などのトラッキング処理に用いる１／８１減縮画像信号を、第３の電荷蓄積回路２０４から読み出す頻度を高くする。

第３のシステム例によれば、第１の画素信号（フル解像画像信号）と第２の画素信号（減縮画像信号）とのうち、更新頻度が高い減縮画像信号を優先して、第２の読み出し部（トラッキング処理部３０５）によって読み出す、撮像システム（撮像システム３０）が構成される。

また、第３のシステム例によれば、固体撮像装置１と、固体撮像装置１に備えた第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂから第１の画素信号（フル解像画像信号）を読み出す第１の読み出し部（映像信号処理部３０３）と、固体撮像装置１に備えた第２の電荷蓄積回路１０４から第２の画素信号（例えば、１／９減縮画像信号）を読み出す第２の読み出し部（ライブビュー画像生成部３０６）と、固体撮像装置１に備えた第３の電荷蓄積回路（第３の電荷蓄積回路２０４）から第３の画素信号（例えば、１／８１減縮画像信号）を読み出す第３の読み出し部（トラッキング処理部３０５）と、を備える、撮像システム（撮像システム３０）が構成される。

また、第３のシステム例によれば、フル解像画像信号、第２の画素信号（例えば、１／９減縮画像信号）、および第３の画素信号（例えば、１／８１減縮画像信号）のうち、更新頻度が高い第２の画素信号（例えば、１／９減縮画像信号）または第３の画素信号（例えば、１／８１減縮画像信号）を優先して、対応するライブビュー画像生成部３０６またはトラッキング処理部３０５によって読み出す、撮像システム（撮像システム３０）が構成される。

このように、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、最もフレームレートが高い周期で露光を行って、それぞれの画素信号に基づいた画像の生成を並列に行う。これにより、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、フル解像度画像を生成しながらライブビュー画像を生成すると共に、さらに、トラッキング処理を行うことができる。また、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、ライブビュー画像を、従来の技術のように画素を行毎に間引いた画素信号に基づいて生成するのではなく、それぞれの信号電荷を平均化した（加算平均した）１／９減縮画像信号に基づいて生成する。このため、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、相対的なノイズ量やモアレの発生量が少なく、良好な画質のライブビュー画像を生成することができる。

また、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、ライブビュー画像を生成する１／９減縮画像信号よりもさらに画素数を減縮した、１／８１減縮画像信号に基づいてトラッキング処理を行う。つまり、ライブビュー画像のフレームレートよりもさらに高いフレームレートの１／８１縮小画像に基づいて、トラッキング処理を行う。このため、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、より高速にトラッキング処理を行うことができる。しかも、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、ライブビュー画像を生成する１／９減縮画像信号よりもさらに信号電荷を平均化した（加算平均した）１／８１減縮画像信号に基づいてトラッキング処理を行う。この１／８１減縮画像信号は、加算平均する画素数が多いため、Ｓ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）が高い画素信号である。このため、撮像システムを露光量が少ない環境で使用する場合、従来の撮像システムでは、例えば、補助光を点灯させるなど、トラッキング処理に耐えうる画像を得るための対策が必要であっが、実施形態の固体撮像装置１を搭載した第３のシステム例の撮像システム３０では、例えば、補助光の光量を少なくする、または補助光を点灯しないなど、トラッキング処理に用いる画像を得るための対策が軽減、または必要なくなる。これは、撮像システムにおける消費電力の低減につながり、有利である。また、例えば、１／８１減縮画像信号に対してゲインを掛ける調整を行った場合でも、ノイズが少ない良好な画像を生成することができる。すなわち、第３のシステム例の撮像システム３０では、静止画撮影、高画質なライブビューの撮影、低露光条件でのトラッキングの３つの撮影モードを並行に行うことができ、静止画撮影後の画素信号を転送している最中でもライブビュー画像の生成処理およびトラッキング処理が途切れることがない。

ところで、トラッキング処理におけるＡＦの処理では、画素の信号電荷を加算平均した画素信号から生成した画像に基づいて処理するよりも、画素を間引いた画素信号から生成した画像に基づいて処理する方が有利な場合もある。例えば、撮像システムに備えた光学レンズの現在の焦点位置が、最終的な合焦点付近にある場合には、画素を間引いた画素信号から生成した画像のコントラストの方が、画素の信号電荷を加算平均した画素信号から生成した画像のコントラストよりも高いことがある（図１５参照）。このため、画素を間引いた画素信号から生成した画像に基づいてＡＦ処理を行う方が、より高い精度で光学レンズの焦点位置を制御することができる場合もある。より具体的には、図１５に示したように、焦点距離（１／距離）が、例えば、焦点範囲Ｆ１の範囲である場合には、画素の信号電荷を加算平均した画素信号から生成した画像のコントラストよりも画素を間引いた画素信号から生成した画像のコントラストの方が高いため、コントラストがピークとなる焦点距離の判定をしやすくなり、より早く正確なＡＦ処理を完了することができる場合がある。また逆に、加算平均した画素信号の方はノイズの影響を受けにくいため、コントラスト値が低い（焦点から外れている）場合の焦点方向（制御において、レンズを動かす方向）の判定には適している。

そこで、実施形態の固体撮像装置１では、フル解像画像信号および減縮画像信号に加えて、さらに、全ての画素の内、予め定めた画素を間引いた画素信号を別々に独立して出力する構成にしてもよい。なお、予め定めた画素を間引いた画素信号も、画素数を減縮した画素信号、すなわち、減縮画像信号であるが、以下の説明においては、画素の信号電荷を加算平均した減縮画像信号と、画素を間引いた減縮画像信号とを区別するため、画素を間引きした減縮画像信号を「間引き画像信号」という。また、間引き画像信号に基づいて生成する縮小画像を、「間引き画像」という。

図１６は、本発明の実施形態の固体撮像装置１の別の変形例の概略構成を示したブロック図である。図１６に示した固体撮像装置１の別の変形例では、図１に示した固体撮像装置１と同様に、固体撮像装置１に画素１００ａと画素１００ｂとの２つの画素が配置されている。なお、図１６に示した固体撮像装置１においても、この固体撮像装置１を搭載した撮像システムに備えた制御装置による制御に応じて、それぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの走査回路や、画素信号を固体撮像装置１の外部に出力するための出力アンプなど構成要素は省略している。

図１６に示した固体撮像装置１は、光電変換部１０１ａおよび光電変換部１０１ｂと、電荷転送回路１０２ａおよび電荷転送回路１０２ｂと、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂと、第２の電荷蓄積回路１０４、および第２の電荷蓄積回路１２４から構成される。

光電変換部１０１ａおよび光電変換部１０１ｂ、電荷転送回路１０２ａおよび電荷転送回路１０２ｂ、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、第２の電荷蓄積回路１０４のそれぞれは、図１に示した固体撮像装置１のそれぞれの構成要素と同様の構成要素である。従って、それぞれの構成要素に関する詳細な説明は省略する。ただし、電荷転送回路１０２ａまたは電荷転送回路１０２ｂのいずれか一方は、対応する光電変換部１０１ａまたは光電変換部１０１ｂが発生して蓄積した信号電荷を、第２の電荷蓄積回路１２４にも転送する。

第２の電荷蓄積回路１２４は、対応する電荷転送回路１０２ａまたは電荷転送回路１０２ｂのいずれか一方から転送された、対応する光電変換部１０１ａまたは光電変換部１０１ｂのいずれか一方が発生した信号電荷を保持（蓄積）する回路である。また、第２の電荷蓄積回路１２４は、保持した信号電荷に応じた信号電圧を、画素信号として出力する回路でもある。

なお、第２の電荷蓄積回路１２４の構成は、実施形態の固体撮像装置１の第１〜第３の構成例で示した、第２の電荷蓄積回路１０４における１つの画素に対応する構成と同様の考え方で構成される。つまり、第１〜第３の構成例における第２の電荷蓄積回路１０４に備えた第２の電荷蓄積部（第２の電荷蓄積部２１０、第２の電荷蓄積部２１０ａまたは第２の電荷蓄積部２１０ｂ、第２の電荷蓄積部２２０ａと第２の電荷蓄積部２２１ａ、または第２の電荷蓄積部２２０ｂと第２の電荷蓄積部２２１ｂ）に対応する第３の電荷蓄積部を備えた構成が考えられる。

このような構成によって、図１６に示した固体撮像装置１では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１が発生した信号電荷を第１の電荷蓄積回路１０３にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷（画素数を減縮した信号電荷）を第２の電荷蓄積回路１０４に保持し、いずれか一方の信号電荷を（画素を間引きした信号電荷）を第２の電荷蓄積回路１２４に保持する。そして、図１６に示した固体撮像装置１では、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号と、第２の電荷蓄積回路１２４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、図１６に示した固体撮像装置１でも、同じ１回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号と、画素数を減縮した画素信号と、さらに画素を間引きした画素信号とのそれぞれを別々に出力することができる。より具体的には、図１６に示したように、全ての画素の画素信号（フル解像画像信号）と、画素数を１／２に減縮した画素信号（減縮画像信号（１／２））と、画素を１／２に間引いた画素信号（間引き画像信号（１／２））とのそれぞれを別々に出力することができる。

なお、図１６に示した固体撮像装置１では、第２の電荷蓄積回路１０４に、対応する２つの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持し、第２の電荷蓄積回路１２４に、いずれか一方の画素に備えた光電変換部１０１が発生した信号電荷を保持する構成を示した。しかし、実施形態の固体撮像装置１の構成は、図１６に示した構成に限定されるものではない。つまり、上述したように、第２の電荷蓄積回路１０４の代わりに、加算電荷蓄積回路を備える構成や、第２の電荷蓄積回路１２４を、図８に示した固体撮像装置１に備えた第３の電荷蓄積回路２０４の代わりに備える構成にしてもよい。

（第４の構成例）
ここで、図１６に示した実施形態の固体撮像装置１の構成の一例について説明する。第４の構成例の固体撮像装置１は、図４に示した第２の構成例の固体撮像装置１に、第２の電荷蓄積回路１２４を追加し、それぞれの構成要素を、光電変換基板と、第１の読み出し基板と、第２の読み出し基板と、第３の読み出し基板との４つの基板に分けて構成した多層基板構造の固体撮像装置１を示している。

なお、第４の構成例の固体撮像装置１の構成要素には、第２の構成例の固体撮像装置１の構成要素と同様の構成要素も含まれている。従って、第４の構成例の固体撮像装置１の構成要素において、第２の構成例の固体撮像装置１の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。

図１７は、本発明の実施形態の固体撮像装置１の第４の構成例を示した回路図である。図１７において、固体撮像装置１の第４の構成例は、光電変換基板１１に、光電変換部１０１ａ，１０１ｂと、画素リセットトランジスタ１０５ａ，１０５ｂ、第１の増幅トランジスタ１０６ａ，１０６ｂ、および電荷転送トランジスタ１１２ａ，１１２ｂとが形成されている。なお、図１７においても、第２の構成例の光電変換基板１１と同様に、ノード容量１２０ａとノード容量１２０ｂとのそれぞれを、キャパシタの記号で示している。画素１００ａは、光電変換部１０１ａと、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、で構成されている。画素１００ｂは、光電変換部１０１ｂと、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、で構成されている。なお、光電変換基板１１は、第２の構成例の光電変換基板１１と同様である。

また、図１７において、固体撮像装置１の第４の構成例は、第１の読み出し基板２１に、第１のクランプトランジスタ１０９ａ，１０９ｂ、第１のサンプルホールドトランジスタ１０８ａ，１０８ｂ、第２の増幅トランジスタ１１１ａ，１１１ｂ、第１の選択トランジスタ１０７ａ，１０７ｂ、第１の電荷蓄積部１１０ａ，１１０ｂ、画素負荷トランジスタ１１４ａ，１１４ｂ、および第１のノイズ抑圧素子１１３ａ，１１３ｂが形成されている。さらに、固体撮像装置１の第４の構成例は、第１の読み出し基板２１に、画素選択トランジスタ１１５ａと画素選択トランジスタ１１５ｂとから構成されるマルチプレクサが形成されている。電荷転送回路１０２ａは、画素リセットトランジスタ１０５ａと、第１の増幅トランジスタ１０６ａと、電荷転送トランジスタ１１２ａとノード容量１２０ａと、画素負荷トランジスタ１１４ａと、画素選択トランジスタ１１５ａと、で構成されている。電荷転送回路１０２ｂは、画素リセットトランジスタ１０５ｂと、第１の増幅トランジスタ１０６ｂと、電荷転送トランジスタ１１２ｂとノード容量１２０ｂと、画素負荷トランジスタ１１４ｂと、画素選択トランジスタ１１５ｂと、で構成されている。第１の電荷蓄積回路１０３ａは、第１のクランプトランジスタ１０９ａと、第１のサンプルホールドトランジスタ１０８ａと、第２の増幅トランジスタ１１１ａと、第１の選択トランジスタ１０７ａと、第１の電荷蓄積部１１０ａと、第１のノイズ抑圧素子１１３ａと、で構成されている。第１の電荷蓄積回路１０３ｂは、第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ｂと、第２の増幅トランジスタ１１１ｂと、第１の選択トランジスタ１０７ｂと、第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ｂと、で構成されている。なお、第１の読み出し基板２１は、第２の構成例の第１の読み出し基板２１と同様である。

また、図１７において、固体撮像装置１の第４の構成例は、第２の読み出し基板３１に、画素１００ａに対応する第２のクランプトランジスタ２０９ａ、第２の電荷蓄積部２１０ａ、第２のノイズ抑圧素子２１３ａ、および画素選択トランジスタ２１２ａと、画素１００ｂに対応する第２のクランプトランジスタ２０９ｂ、第２の電荷蓄積部２１０ｂ、第２のノイズ抑圧素子２１３ｂ、および画素選択トランジスタ２１２ｂと、第３の増幅トランジスタ２１１、第２の選択トランジスタ２０７、および平均用スイッチトランジスタ２１４とからなる第２の電荷蓄積回路１０４が形成されている。なお、第２の読み出し基板３１では、画素選択トランジスタ２１２ａと画素選択トランジスタ２１２ｂとの構成によって、第１の読み出し基板２１内に形成されたマルチプレクサに対応するデマルチプレクサが構成されている。また、第２の読み出し基板３１では、入力された信号電荷をそのまま出力する経路が設けられている。

また、図１７において、固体撮像装置１の第４の構成例は、第３の読み出し基板４１に、画素１００ａまたは画素１００ｂに対応する第２のクランプトランジスタ２２９、第２の電荷蓄積部２３０、第２のノイズ抑圧素子２３３、および間引き信号サンプルホールドトランジスタ２２８と、第３の増幅トランジスタ２３１、第２の選択トランジスタ２２７とからなる第２の電荷蓄積回路１２４が形成されている。

そして、光電変換基板１１と第１の読み出し基板２１とが第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂによって接続され、第１の読み出し基板２１と第２の読み出し基板３１とが第２の基板間接続部２２によって接続され、第２の読み出し基板３１と第３の読み出し基板４１とが第３の基板間接続部３２によって接続されている。

なお、実施形態の固体撮像装置１の第４の構成例でも、固体撮像装置１の第２の構成例と同様に、光電変換基板１１と第１の読み出し基板２１とを電気的接続する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂの構造や、第１の読み出し基板２１と第２の読み出し基板３１とを電気的接続する第２の基板間接続部２２の構造や、第２の読み出し基板３１と第３の読み出し基板４１とを電気的接続する第３の基板間接続部３２の構造に関しては、特に規定しない。

間引き信号サンプルホールドトランジスタ２２８は、不図示の垂直走査回路から入力された制御信号φＳＨ３に応じて、第２の基板間接続部２２および第３の基板間接続部３２を介して入力された信号電圧を、第２のノイズ抑圧素子２３３に出力し保持させる。つまり、第４の構成例の固体撮像装置１では、間引き信号サンプルホールドトランジスタ２２８が、入力されたいずれか一方の信号電圧を第２のノイズ抑圧素子２３３に出力する選択回路として動作する。これにより、それぞれの画素に備えた光電変換部１０１ａまたは光電変換部１０１ｂのいずれか一方が発生した信号電荷に応じた信号電圧が、第２のノイズ抑圧素子２３３に保持される。

第２のノイズ抑圧素子２３３は、間引き信号サンプルホールドトランジスタ２２８から出力された信号電圧を保持（蓄積）する容量である。

第２のクランプトランジスタ２２９は、不図示の垂直走査回路から入力された制御信号φＲＳＴ３に応じて、第２の電荷蓄積部２３０と第２のノイズ抑圧素子２３３とのそれぞれを固定電位ＶＲＥＦにクランプする。これにより、第２の電荷蓄積部２３０と第２のノイズ抑圧素子２３３とのそれぞれは、クランプされた固定電位ＶＲＥＦを保持する。

第２の電荷蓄積部２３０は、第２のノイズ抑圧素子２３３が保持している信号電圧（第２の電荷蓄積回路１２４内でノイズ除去処理された信号）を保持（蓄積）する容量である。

第４の構成例における第２の電荷蓄積回路１２４では、第２のクランプトランジスタ２２９、第２の電荷蓄積部２３０、および第２のノイズ抑圧素子２３３の構成によって、画素１００ａまたは画素１００ｂにおけるリーク電流（暗電流）に起因するノイズ除去処理を第２の電荷蓄積回路１２４内で行い、第２の電荷蓄積部２３０は、ノイズ除去処理された信号を保持する。

なお、第２の電荷蓄積部２３０としても、第２の構成例の第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂと同様に、単位面積当たりのリーク電流（暗電流）が少ない容量であるＭＩＭ容量や、ＭＯＳ容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。

第３の増幅トランジスタ２３１は、ゲート端子の電圧、すなわち、第２の電荷蓄積部２３０に保持されたノイズ除去処理された信号に応じた信号電圧を出力する。

第２の選択トランジスタ２２７は、不図示の垂直走査回路から入力された制御信号φＳＥＬ３に応じて、第３の増幅トランジスタ２３１から出力される信号電圧を、固体撮像装置１に備えた予め定めた画素の画素信号、つまり、画素１００ａまたは画素１００ｂのいずれか一方を間引いた画素信号として第３の垂直信号線３９に出力する。これにより、それぞれの画素に備えた光電変換部１０１ａまたは光電変換部１０１ｂのいずれか一方が発生した信号電荷を間引いた信号電荷に応じた画素信号が、第３の垂直信号線３９に読み出される。

このような構成によって固体撮像装置１の第４の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂ）を介して読み出す。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持する。また、固体撮像装置１の第４の構成例では、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって選択して第２の基板間接続部２２に出力させる。そして、デマルチプレクサ（画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂ）によって、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持する。その後、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持した信号を平均化する。また、固体撮像装置１の第４の構成例では、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって選択され、第２の基板間接続部２２および選択して第３の基板間接続部３２を介して入力された、２つの光電変換部のそれぞれが光電変換したいずれか一方の信号電荷に応じた信号電圧を、選択回路（間引き信号サンプルホールドトランジスタ２２８）によって選択する。そして、ノイズ除去処理後の信号を、電荷蓄積部（第２の電荷蓄積部２３０）に保持する。その後、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に蓄積されたノイズ除去処理後の信号に応じた信号電圧と、平均化した信号電圧と、間引いた信号電圧とのそれぞれを、画素信号として第１の垂直信号線１９、第２の垂直信号線２９、および第３の垂直信号線３９のそれぞれに順次読み出しを行う。

なお、図１７に示した固体撮像装置１の第４の構成例では、光電変換部１０１ａを含むそれぞれの構成要素を備えた画素１００ａと、光電変換部１０１ｂを含むそれぞれの構成要素を備えた画素１００ｂとが組になった構成の一例を示したが、固体撮像装置１に配置される画素の組は、第２の構成例の固体撮像装置１と同様に、図１７に示した構成に限定されるものではない。すなわち、図１７に示した構成よりもさらに多くの画素数で１つの組を構成し、この画素の組を複数配置することによって固体撮像装置１内に備える画素アレイを形成してもよい。

次に、実施形態の固体撮像装置１における第４の構成例の駆動タイミングについて説明する。図１８は、本発明の実施形態の固体撮像装置１の第４の構成例を駆動するタイミングを示したタイミングチャートである。図１８に示したタイミングチャートは、画素１００ａと画素１００ｂとを同時に露光し、画素１００ａの画素信号と画素１００ｂの画素信号とのそれぞれを第１の垂直信号線１９に順次出力し、画素１００ａの画素信号と画素１００ｂの画素信号とを平均化した画素信号を第２の垂直信号線２９に出力し、さらに、画素１００ａの画素信号を第３の垂直信号線３９に出力する固体撮像装置１の第４の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。

なお、固体撮像装置１の第４の構成例では、図１７に示したように、画素１００ａと画素１００ｂとの２つの画素が１つの組として構成されている。そして、固体撮像装置１の第４の構成例では、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれに対応した２つの第１の電荷蓄積回路１０３ａ（第１の電荷蓄積部１１０ａを含む）および第１の電荷蓄積回路１０３ｂ（第１の電荷蓄積部１１０ｂを含む）と、２つの光電変換部１０１ａおよび光電変換部１０１ｂに共通の第２の電荷蓄積回路１０４（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂを含む）および第２の電荷蓄積回路１２４（第２の電荷蓄積部２３０を含む）とを備えている。このため、図１８に示したタイミングチャートには、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂとのそれぞれに、２つの光電変換部１０１ａおよび光電変換部１０１ｂのそれぞれが発生した信号電荷を保持させ、第２の電荷蓄積部２３０に、光電変換部１０１ａが発生した信号電荷を保持させるタイミングを示している。

続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光レベルの信号との、対応する第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂへの読み出しを行う。そして、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂでは、対応する光電変換部１０１ａまたは光電変換部１０１ｂのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、時刻ｔ２から、電荷転送回路１０２ａおよび電荷転送回路１０２ｂのそれぞれは、対応する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれのリセットレベルの信号と露光レベルの信号との第２の基板間接続部２２への読み出しを、順次行う。そして、第２の電荷蓄積回路１０４では、画素１００ａのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理と、画素１００ｂのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理とを順次行う。また、第２の電荷蓄積回路１２４では、画素１００ａのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。

また、不図示の垂直走査回路は、制御信号φＳＨ１Ａ、制御信号φＳＨ２Ａ、および制御信号φＳＨ３を“Ｈ”レベルにして、画素選択トランジスタ１１５ａと、画素選択トランジスタ２１２ａと、間引き信号サンプルホールドトランジスタ２２８とをオン状態にする。これにより、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して画素選択トランジスタ１１５ａに出力された光電変換部１０１ａのリセットレベルの信号電圧が選択され、画素選択トランジスタ１１５ａ、第２の基板間接続部２２、および画素選択トランジスタ２１２ａを介して第２のノイズ抑圧素子２１３ａに出力される。さらに、選択された光電変換部１０１ａのリセットレベルの信号電圧は、第３の基板間接続部３２、および間引き信号サンプルホールドトランジスタ２２８を介して第２のノイズ抑圧素子２３３に出力される。

また、不図示の垂直走査回路は、制御信号φＲＳＴ２および制御信号φＴＸ２を“Ｈ”レベルにして、第１のクランプトランジスタ１０９ａおよび第１のクランプトランジスタ１０９ｂと、第１のサンプルホールドトランジスタ１０８ａおよび第１のサンプルホールドトランジスタ１０８ｂとをオン状態にする。これにより、第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂと、第１のノイズ抑圧素子１１３ａおよび第１のノイズ抑圧素子１１３ｂとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φＲＳＴ２Ａを“Ｈ”レベルにして、第２のクランプトランジスタ２０９ａをオン状態にする。これにより、第２の電荷蓄積部２１０ａと第２のノイズ抑圧素子２１３ａとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φＲＳＴ３を“Ｈ”レベルにして、第２のクランプトランジスタ２２９をオン状態にする。これにより、第２の電荷蓄積部２３０と第２のノイズ抑圧素子２３３とのそれぞれがクランプされる。

その後、不図示の垂直走査回路は、制御信号φＲＳＴ１を“Ｌ”レベルにして、ノード容量１２０ａおよびノード容量１２０ｂのリセットを解除する。続いて、時刻ｔ３において、不図示の垂直走査回路は、制御信号φＲＳＴ２Ａを“Ｌ”レベルにして、第２の電荷蓄積部２１０ａのクランプを解除する。また、不図示の垂直走査回路は、制御信号φＲＳＴ３を“Ｌ”レベルにして、第２の電荷蓄積部２３０のクランプを解除する。その後、不図示の垂直走査回路は、制御信号φＳＨ１Ａ、制御信号φＳＨ２Ａ、および制御信号φＳＨ３を“Ｌ”レベルにして、画素選択トランジスタ１１５ａと、画素選択トランジスタ２１２ａと、間引き信号サンプルホールドトランジスタ２２８とをオフ状態にし、光電変換部１０１ａのリセットレベルの信号電圧の選択を解除する。

続いて、時刻ｔ８において、不図示の垂直走査回路は、制御信号φＳＨ１Ａ、制御信号φＳＨ２Ａ、および制御信号φＳＨ３を“Ｈ”レベルにして、画素選択トランジスタ１１５ａと、画素選択トランジスタ２１２ａと、間引き信号サンプルホールドトランジスタ２２８とをオン状態にする。これにより、第１の増幅トランジスタ１０６ａから第１の基板間接続部１２ａを介して画素選択トランジスタ１１５ａに出力された光電変換部１０１ａが発生した信号電荷、すなわち、ノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）が選択され、画素選択トランジスタ１１５ａ、第２の基板間接続部２２、および画素選択トランジスタ２１２ａを介して第２のノイズ抑圧素子２１３ａに出力される。さらに、選択された光電変換部１０１ａのノード容量１２０ａに蓄積された信号電荷に応じた信号電圧（露光レベルの信号）は、第３の基板間接続部３２、および間引き信号サンプルホールドトランジスタ２２８を介して第２のノイズ抑圧素子２３３に出力される。

そして、第２のノイズ抑圧素子２１３ａは、光電変換部１０１ａのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、第２のノイズ抑圧素子２３３は、光電変換部１０１ａのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。

その後、不図示の垂直走査回路は、制御信号φＳＨ１Ａ、制御信号φＳＨ２Ａ、および制御信号φＳＨ３を“Ｌ”レベルにして、画素選択トランジスタ１１５ａと、画素選択トランジスタ２１２ａと、間引き信号サンプルホールドトランジスタ２２８とをオフ状態にし、光電変換部１０１ａが発生した信号電荷に応じた信号電圧の選択を解除する。

ここまでで、画素１００ａに備えた光電変換部１０１ａが発生した信号電荷がノイズ除去処理されて、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２３０とに保持（蓄積）されることになる。

その後、不図示の垂直走査回路は、制御信号φＳＥＬ１Ａおよび制御信号φＳＥＬ１Ｂを順次制御して、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第１の垂直信号線１９に出力させる。また、不図示の垂直走査回路は、制御信号φＳＥＬ２を制御して、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号として第２の垂直信号線２９に出力させる。また、不図示の垂直走査回路は、制御信号φＳＥＬ３を制御して、第２の電荷蓄積部２３０に保持されたノイズ除去処理された光電変換部１０１ａが発生した信号電荷に応じた信号電圧を、画素を間引いた画素信号として第３の垂直信号線３９に出力させる。

なお、図１８に示したタイミングチャートでは、第２の電荷蓄積部２３０に、光電変換部１０１ａが発生した信号電荷を保持させるタイミングを示したが、第２の電荷蓄積回路１２４を制御するタイミングを変更することによって、光電変換部１０１ｂが発生した信号電荷を、第２の電荷蓄積部２３０に保持させてもよい。より具体的には、時刻ｔ２（時刻ｔ３も含む）および時刻ｔ８において、制御信号φＳＨ１Ａおよび制御信号φＳＨ２Ａと共に制御していた制御信号φＳＨ３を、時刻ｔ４（時刻ｔ５も含む）および時刻ｔ９において、制御信号φＳＨ１Ｂおよび制御信号φＳＨ２Ｂと共に制御する。また、時刻ｔ２および時刻ｔ３において、制御信号φＲＳＴ２Ａと共に制御していた制御信号φＲＳＴ３を、時刻ｔ４および時刻ｔ５において、制御信号φＲＳＴ２Ｂと共に制御する。この駆動タイミングに変更することによって、画素１００ｂに備えた光電変換部１０１ｂが発生した信号電荷がノイズ除去処理されて、第２の電荷蓄積部２１０ｂと第２の電荷蓄積部２３０とに保持（蓄積）されることになる。

なお、図１７に示した固体撮像装置１の第４の構成例でも、第２の構成例の固体撮像装置１と同様に、不図示の垂直走査回路が制御信号φＭｉｘを“Ｌ”レベルにして、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとの短絡を解除した後に、第２の電荷蓄積部２１０ａに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号（減縮画像信号）として第２の垂直信号線２９に出力させてもよい。また、図１７に示した固体撮像装置１の第４の構成例でも、第２の構成例の固体撮像装置１と同様に、制御信号φＭｉｘを“Ｈ”レベルにして、第２の電荷蓄積部２１０ａと第２の電荷蓄積部２１０ｂとのそれぞれに平均化した信号電圧を保持させる前に、不図示の垂直走査回路が制御信号φＳＥＬ２を制御することにより、画素１００ａの画素信号として第２の垂直信号線２９に出力させてもよい。なお、図１８に示したタイミングチャートでは、第２の電荷蓄積部２３０に、光電変換部１０１ａが発生した信号電荷を保持させているため、ここで第２の垂直信号線２９に出力することができる画素１００ａの画素信号は、第２の電荷蓄積部２３０に保持し、第３の垂直信号線３９に出力させる画素を間引いた画素信号と同じ画素信号、つまり、画素１００ｂを間引いた画素信号である。

また、固体撮像装置１の第４の構成例でも、固体撮像装置１の第２の構成例と同様に、フル解像画像信号、減縮画像信号、および間引き画像信号のそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。従って、不図示の垂直走査回路が制御信号φＳＥＬ１Ａ、制御信号φＳＥＬ１Ｂ、制御信号φＳＥＬ２、および制御信号φＳＥＬ３を制御して、フル解像画像信号を第１の垂直信号線１９に出力させるタイミング、減縮画像信号を第２の垂直信号線２９に出力させるタイミング、間引き画像信号を第３の垂直信号線３９に出力させるタイミングに関する詳細な説明は省略する。

このような駆動タイミングによって固体撮像装置１の第４の構成例では、２つの光電変換部（光電変換部１０１ａおよび光電変換部１０１ｂ）のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、２つの光電変換部のそれぞれに対応した基板間接続部（第１の基板間接続部１２ａおよび第１の基板間接続部１２ｂ）に読み出させる。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に保持させる。また、固体撮像装置１の第４の構成例の駆動タイミングでは、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって選択して第２の基板間接続部２２に出力させる。そして、デマルチプレクサ（画素選択トランジスタ２１２ａおよび画素選択トランジスタ２１２ｂ）によって、２つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持させる。その後、２つの光電変換部のそれぞれに対応した電荷蓄積部（第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂ）に保持した信号を平均化する。また、固体撮像装置１の第４の構成例の駆動タイミングでは、マルチプレクサ（画素選択トランジスタ１１５ａおよび画素選択トランジスタ１１５ｂ）によって選択され、第２の基板間接続部２２および選択して第３の基板間接続部３２を介して入力された、２つの光電変換部のそれぞれが光電変換したいずれか一方の信号電荷に応じた信号電圧を、選択回路（間引き信号サンプルホールドトランジスタ２２８）によって選択させる。そして、ノイズ除去処理後の信号を、電荷蓄積部（第２の電荷蓄積部２３０）に保持させる。そして、固体撮像装置１では、それぞれの電荷蓄積部（第１の電荷蓄積部１１０ａおよび第１の電荷蓄積部１１０ｂ）に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第１の垂直信号線１９に出力させ、平均化した信号電圧を、減縮画像信号として第２の垂直信号線２９に出力させ、電荷蓄積部（第２の電荷蓄積部２３０）に蓄積されたノイズ除去処理後のいずれか一方の信号電圧を、間引き画像信号として第３の垂直信号線３９に出力させる。

このように、実施形態の固体撮像装置１の第４の構成例でも、第２の構成例の固体撮像装置１と同様に、画素１００ａに備えた光電変換部１０１ａの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの信号電荷をノイズ除去処理して第１の電荷蓄積部１１０ｂに保持する。また、実施形態の固体撮像装置１の第４の構成例でも、第２の構成例の固体撮像装置１と同様に、画素１００ａに備えた光電変換部１０１ａの信号電荷をノイズ除去処理して第２の電荷蓄積部２１０ａに保持し、画素１００ｂに備えた光電変換部１０１ｂの信号電荷をノイズ除去処理して第２の電荷蓄積部２１０ｂに保持した後に、それぞれの信号電荷を平均化して、第２の電荷蓄積部２１０ａおよび第２の電荷蓄積部２１０ｂに保持する。これにより、実施形態の固体撮像装置１の第４の構成例でも、第２の構成例の固体撮像装置１と同様に、全ての画素の画素信号（フル解像画像信号）と、画素数を減縮した、つまり、それぞれの画素の画素信号を平均化（加算平均）した画素信号（減縮画像信号）との両方を独立に出力することができる。このため、実施形態の固体撮像装置１の第４の構成例でも、第２の構成例の固体撮像装置１と同様の効果を得ることができる。つまり、実施形態の固体撮像装置１の第４の構成例で出力した画素信号からでも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像を生成することができる。また、実施形態の固体撮像装置１の第４の構成例でも、フル解像度画像と縮小画像とを、並列に生成することができる。

また、実施形態の固体撮像装置１の第４の構成例では、画素１００ａに備えた光電変換部１０１ａの信号電荷、または画素１００ｂに備えた光電変換部１０１ｂの信号電荷のいずれか一方の信号電荷をノイズ除去処理して第２の電荷蓄積部２３０に保持する。これにより、実施形態の固体撮像装置１の第４の構成例では、フル解像画像信号および減縮画像信号に加えて、さらに、予め定めた画素を間引いた画素信号（間引き画像信号）を別々に独立して出力することができる。これにより、第４の構成例の固体撮像装置１を搭載した撮像システムでは、固体撮像装置１から出力される間引き画像信号に基づいた低解像度の画像（間引き画像）を、並列に生成することができる。このため、第４の構成例の固体撮像装置１を搭載した撮像システムでは、別々に出力したフル解像画像信号、減縮画像信号、および間引き画像信号のそれぞれの画素信号に基づいて、最適な処理を行うことができる。

ここで、図１６に示した実施形態の固体撮像装置１を搭載した撮像システムについて説明する。以下の説明においては、撮像システムに搭載する固体撮像装置１が、図１６に示した構成であり、その固体撮像装置１が図９Ａに示したようなＲ／Ｇ／Ｂベイヤー配列のカラーフィルタが貼付されたものとして説明する。つまり、撮像システムに搭載する固体撮像装置１は、フル解像画像信号と、画素加算平均の１／９減縮画像信号と、画素アレイに備えた画素を１／９に間引いた画素信号（以下、「１／９間引き画像信号」という）とのそれぞれを別々に出力する固体撮像装置１であるものとして説明する。

図１６に示した実施形態の固体撮像装置１でも、同じ１回の露光によって、フル解像画像信号と、１／９減縮画像信号と、１／９間引き画像信号とのそれぞれを別々に独立して出力することができる。このため、固体撮像装置１を搭載した撮像システムでは、フル解像画像信号に基づいたフル解像度画像の生成と、画素加算平均の１／９減縮画像信号に基づいた１／９縮小画像の生成と、１／９間引き画像信号に基づいた間引き画像（以下、「１／９間引き画像」という）の生成とを、並列に生成することができる。このとき、例えば、フル解像画像信号と１／９減縮画像信号と１／９間引き画像信号との出力を同時に開始した場合でも、１／９減縮画像信号と１／９間引き画像信号との方が、フル解像画像信号よりも早く出力が完了するため、１／９縮小画像の生成と１／９間引き画像の生成との方が、フル解像度画像の生成よりも早く完了することができる。そして、１／９縮小画像の生成と１／９間引き画像の生成とを同時に完了することができる。

図１６に示した実施形態の固体撮像装置１を搭載した撮像システムでは、同じ露光によって得られる１／９減縮画像信号と１／９間引き画像信号とは同時に、フル解像画像信号よりも早く読み出すことができるということを利用して、１／９縮小画像（ライブビュー画像）を生成しながら、１／９間引き画像を用いてＡＦ処理を実行することができる。また、図１６に示した実施形態の固体撮像装置１を搭載した撮像システムでは、同じ露光によって得られる１／９減縮画像信号と１／９間引き画像信号とが同時に読み出すことができるということを利用して、１／９縮小画像を用いたＡＦ処理と１／９間引き画像を用いたＡＦ処理とを切り替えることができる。また、図１６に示した実施形態の固体撮像装置１を搭載した撮像システムでは、同じ露光によって得られる１／９減縮画像信号と１／９間引き画像信号とが同時に読み出すことができるということを利用して、焦点制御を行う方法を、自動または手動に切り替えることができる。

（第４のシステム例）
図１９は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第４のシステム例を示したブロック図である。撮像システムの第４のシステム例は、固体撮像装置１から読み出したフル解像画像信号に基づいたフル解像度画像と、固体撮像装置１から読み出した１／９減縮画像信号に基づいてライブビュー画像とを生成しながら、固体撮像装置１から読み出した１／９間引き画像信号に基づいてＡＦ処理を行う撮像システムの構成例である。図１９に示した撮像システム４０は、固体撮像装置１と、ＡＦ処理部３０７と、ライブビュー画像生成部３０６と、映像信号処理部３０３とを備えている。なお、図１９においては、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／９間引き画像信号を出力する第２の電荷蓄積回路１２４も示している。

ＡＦ処理部３０７は、固体撮像装置１に備えた第２の電荷蓄積回路１２４から１／９間引き画像信号を読み出して１／９間引き画像を生成する。そして、ＡＦ処理部３０７は、生成した１／９間引き画像を解析して、ＡＦ処理に必要な情報を取得し、撮像システム４０におけるＡＦ処理を行う。なお、ＡＦ処理部３０７は、ライブビュー画像生成部３０６におけるライブビュー画像生成処理や、映像信号処理部３０３におけるフル解像度画像を生成する映像信号処理に必要な情報を推定して、ライブビュー画像生成部３０６や映像信号処理部３０３に出力する構成であってもよい。

ライブビュー画像生成部３０６は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出し、読み出した１／９減縮画像信号に基づいて１／９縮小画像をライブビュー画像として生成する。

映像信号処理部３０３は、固体撮像装置１に備えた第１の電荷蓄積回路１０３からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。

このような構成によって、実施形態の固体撮像装置１を搭載した第４のシステム例の撮像システム４０では、画素アレイに備えた画素のそれぞれの信号電荷を平均化した（加算平均した）１／９減縮画像信号に基づいて、良好な画質のライブビュー画像を生成し、画素アレイに備えた画素を１／９に間引いた１／９間引き画像信号に基づいて、高い精度で焦点位置の制御（ＡＦ処理）を行うことができる。このとき、実施形態の固体撮像装置１を搭載した第４のシステム例の撮像システム４０では、１／９減縮画像信号と１／９間引き画像信号とを別々に独立して出力しているため、ライブビュー画像を表示する帯域を制限することなく、より高い精度でＡＦ処理を行うことができる。また、フル解像画像信号と１／９間引き画像信号とを別々に独立して出力しているため、従来の技術で間引き画像信号を出力した場合に必要となっていた画素信号の順番を元の順番に戻すための並べ替えの処理が不要となり、フル解像度画像を生成する映像信号処理が有利である。また、第４のシステム例の撮像システム４０では、第３のシステム例の撮像システム３０と同様に、フル解像画像信号の読み出しをしている最中に１／９減縮画像信号の読み出しや１／９間引き画像信号の読み出しを行うことができ、ライブビュー画像の生成処理およびＡＦ処理が途切れることがない。

（第５のシステム例）
図２０は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第５のシステム例を示したブロック図である。撮像システムの第５のシステム例は、固体撮像装置１から読み出したフル解像画像信号に基づいたフル解像度画像と、固体撮像装置１から読み出した１／９減縮画像信号に基づいたライブビュー画像とを生成しながら、ＡＦ処理部が、固体撮像装置１から読み出した１／９間引き画像信号に基づいて生成した１／９間引き画像とライブビュー画像とを切り替えてＡＦ処理を行う撮像システムの構成例である。図２０に示した撮像システム５０は、固体撮像装置１と、ＡＦ処理部３０８と、ライブビュー画像生成部３０６と、映像信号処理部３０３とを備えている。なお、図２０においても、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／９間引き画像信号を出力する第２の電荷蓄積回路１２４も示している。

ライブビュー画像生成部３０６は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出し、読み出した１／９減縮画像信号に基づいて１／９縮小画像をライブビュー画像として生成する。そして、ライブビュー画像生成部３０６は、生成したライブビュー画像を、ＡＦ処理部３０８に出力する。

ＡＦ処理部３０８は、固体撮像装置１に備えた第２の電荷蓄積回路１２４から１／９間引き画像信号を読み出して１／９間引き画像を生成する。また、ＡＦ処理部３０８は、撮像システム５０に備えた光学レンズの焦点位置が合焦点になるように制御する。このとき、ＡＦ処理部３０８は、光学レンズの現在の焦点位置に応じて、生成した１／９間引き画像またはライブビュー画像生成部３０６から入力されたライブビュー画像のいずれか一方の画像を、光学レンズの制御に用いる画像として選択し、選択した画像に基づいて光学レンズを制御する。より具体的には、ライブビュー画像生成部３０６は、例えば、図１５に示した、撮像システムのＡＦ処理における焦点距離とコントラストとの関係において、光学レンズの現在の焦点位置が焦点範囲Ｆ１の範囲である場合にはライブビュー画像を選択し、光学レンズの現在の焦点位置が焦点範囲Ｆ１以外の範囲である場合には生成した１／９間引き画像を選択して、光学レンズを制御する。これにより、ＡＦ処理部３０８は、光学レンズの現在の焦点位置が焦点範囲Ｆ１の範囲では、コントラストが高い１／９間引き画像信号に基づいてＡＦ制御を行い、焦点位置が焦点範囲Ｆ１以外の範囲では、Ｓ／Ｎが高い１／９減縮画像信号に基づいてＡＦ制御を行うことができる。

映像信号処理部３０３は、実施形態の固体撮像装置１を搭載した撮像システムの第４のシステム例と同様であるため、詳細な説明は省略する。

このような構成によって、実施形態の固体撮像装置１を搭載した第５のシステム例の撮像システム５０では、Ｓ／Ｎが高い１／９減縮画像信号に基づいて生成したライブビュー画像とコントラストが高い１／９間引き画像信号に基づいて生成した１／９間引き画像とを切り替えてＡＦ制御を行う。これにより、実施形態の固体撮像装置１を搭載した第５のシステム例の撮像システム５０では、光学レンズの現在の焦点位置が合焦点から離れている場合には、ＡＦ処理に用いる画像のノイズの影響によるレンズ制御のブレを軽減し、光学レンズの現在の焦点位置が合焦点に近い場合には、より早くレンズ制御を行うことができる。

なお、実施形態の固体撮像装置１を備えた第５のシステム例では、光学レンズの現在の焦点位置に基づいて、ＡＦ処理に用いる画像を切り替える構成について説明したが、ＡＦ処理に用いる画像を切り替える判定は、光学レンズの現在の焦点位置に基づいた判定に限定されるものではない。例えば、被写体の明るさ（照度）に応じて、ＡＦ処理に用いる画像を切り替える構成にしてもよい。この場合、被写体が暗い低照度である場合には、画像のノイズの影響を抑えるために、Ｓ／Ｎが高い１／９減縮画像信号に基づいて生成したライブビュー画像を選択してＡＦ制御の安定性を向上させ、被写体が明るい高照度である場合には、画像のノイズの影響が少ないと考えられるため、コントラストが高い１／９間引き画像信号に基づいて生成した１／９間引き画像を選択してＡＦ制御の精度を向上させることができる。

ところで、ＡＦ処理には、上述したような、画像のコントラストに基づいたＡＦ処理、いわゆる、コントラストＡＦの他に、固体撮像装置に入射した光の入射方向（光線方向）の位相差に基づいてＡＦ処理を行う、いわゆる、位相差ＡＦもある。位相差ＡＦは、異なる光線方向の入射光によって撮影したそれぞれの画像に含まれる同じ被写体同士の位置的なズレ（位相差）を検出し、検出した位相差の情報に基づいて、光学レンズの焦点位置を制御する処理である。つまり、位相差ＡＦは、いわゆる、右目に相当する画素と左目に相当する画素との位相差によって、光学レンズの焦点位置を制御する処理である。

実施形態の固体撮像装置１では、位相差ＡＦに対応する場合、画素アレイに備えたそれぞれの光電変換部１０１に光を入射させるそれぞれのマイクロレンズを、位相差を検出するために１つの群（対）となった隣接する２個の画素１００（以下、「画素対」という）のそれぞれに異なる光線方向の光を入射させるように配置する。つまり、実施形態の固体撮像装置１では、１個のマイクロレンズが１個の光電変換部１０１に光を入射させる構成ではなく、画素対を構成する２個の光電変換部１０１のそれぞれに異なる光線方向の光を入射させる構成にする。この構成は、いわゆる、右目に相当する画素と左目に相当する画素との両方に光を入射させる構成である。

そして、実施形態の固体撮像装置１では、第２の電荷蓄積回路１０４が、所定の方向に並んだ複数の画素対の光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷、すなわち、加算平均した信号電荷を保持する。このとき、第２の電荷蓄積回路１０４は、固体撮像装置１に貼付されたカラーフィルタの同じ色の信号電荷を加算平均する。そして、実施形態の固体撮像装置１は、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号（フル解像画像信号）とは別に、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号を、位相差を検出するための画素信号（以下、「位相差画像信号」という）として出力する。

ここで、実施形態の固体撮像装置１において、第２の電荷蓄積回路１０４が加算平均する複数の画素対の並びについて説明する。図２１Ａおよび図２１Ｂは、本発明の実施形態の固体撮像装置１の画素アレイの配列の一例を示した図である。図２１Ａおよび図２１Ｂには、固体撮像装置１にベイヤー配列のカラーフィルタが貼付され、１０個の画素対が所定の方向に並んでいる場合の一例を示している。

上述したように、固体撮像装置１では、位相差ＡＦに対応する場合、第２の電荷蓄積回路１０４が、所定の方向に並んだ複数の画素対の光電変換部１０１が発生したそれぞれの信号電荷を加算平均した信号電荷を保持する。より具体的には、位相差ＡＦの処理において行方向（水平方向）の位相差を検出する場合、第２の電荷蓄積回路１０４は、位相差を検出する水平方向に直交する列方向（垂直方向）に並んだ複数の画素対の信号電荷を加算平均した信号電荷を保持する。

図２１Ａには、水平方向の位相差を検出する画素対が、直交する垂直方向に１０個並んでいる場合において、それぞれの画素対の同じ色の信号電荷を加算平均して保持する場合を示している。より具体的には、水平方向の位相差を検出するＧｒ画素１００とＲ画素１００との画素対と、Ｂ画素１００とＧｂ画素１００との画素対とが垂直方向に５個ずつ、合計１０個並んでいる場合において、それぞれの画素対を構成するＧｒ画素１００同士、Ｒ画素１００同士、Ｂ画素１００同士、およびＧｂ画素１００同士の信号電荷を加算平均して保持する場合を示している。第２の電荷蓄積回路１０４は、保持したＧｒ画素１００同士、Ｒ画素１００同士、Ｂ画素１００同士、およびＧｂ画素１００同士の信号電荷に応じた画素信号を、水平方向の位相差を検出するための位相差画像信号として出力する。

また、位相差ＡＦの処理において垂直方向の位相差を検出する場合、第２の電荷蓄積回路１０４は、位相差を検出する垂直方向に直交する水平方向に並んだ複数の画素対の信号電荷を加算平均した信号電荷を保持する。

図２１Ｂには、垂直方向の位相差を検出する画素対が、直交する水平方向に１０個並んでいる場合において、それぞれの画素対の同じ色の信号電荷を加算平均して保持する場合を示している。より具体的には、垂直方向の位相差を検出するＧｒ画素１００とＢ画素１００との画素対と、Ｒ画素１００とＧｂ画素１００との画素対とが水平方向に５個ずつ、合計１０個並んでいる場合において、それぞれの画素対を構成するＧｒ画素１００同士、Ｂ画素１００同士、Ｒ画素１００同士、およびＧｂ画素１００同士の信号電荷を加算平均して保持する場合を示している。第２の電荷蓄積回路１０４は、保持したＧｒ画素１００同士、Ｂ画素１００同士、Ｒ画素１００同士、およびＧｂ画素１００同士の信号電荷に応じた画素信号を、垂直方向の位相差を検出するための位相差画像信号として出力する。

図２１Ａおよび図２１Ｂに示したように、位相差ＡＦに対応した固体撮像装置１では、位相差を検出する画素対を構成する２個の光電変換部１０１が並んだ方向に直交する方向の、同じ色の信号電荷を加算平均する。これにより、固体撮像装置１では、画素対を構成するそれぞれの光電変換部１０１が発生した信号電荷にノイズが含まれている場合でも、複数の信号電荷を加算平均することによって、位相差ＡＦの処理において妨げとなるノイズを抑圧することができる。このことにより、被写体が暗い低照度やフル解像画像信号のフレームレートを高くした場合であっても、位相差ＡＦの制御の精度を向上させることができる。

また、位相差ＡＦに対応した固体撮像装置１でも、上述したように、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、位相差ＡＦに対応した実施形態の固体撮像装置１では、同じ１回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号（フル解像画像信号）と、位相差ＡＦの処理を行うための画素信号（ノイズ除去処理された位相差画像信号）とのそれぞれを別々に出力することができる。

なお、実施形態の固体撮像装置１では、位相差ＡＦに対応する場合であっても、位相差画像信号を出力するための特別な画素を画素アレイ内に配置していない。これは、位相差ＡＦに対応した従来の技術の固体撮像装置に対して有利な構成である。

より具体的には、位相差ＡＦに対応した従来の技術の固体撮像装置では、位相差を検出するための特別な画素（位相差検出用画素）を画素アレイ内の一部の領域に配置するため、位相差検出用画素を配置した領域には、静止画像や動画像を生成するための画素（通常の画素）を配置することができず、画素信号が欠落している状態となる。このため、位相差ＡＦに対応した従来の技術の固体撮像装置では、画素信号が欠落している領域の画素を、例えば、欠陥画素として扱い、欠陥画素補正などの画像処理によって画素信号を補完することによって、画素の欠落がない画像を生成することが必要となっている。しかし、欠落している画素信号を補完するということは、生成した画像の画質が低下してしまう要因となる。これは、位相差検出用画素を配置する領域を広げると、欠落している画素信号を補完することができないこともあるからである。

これに対して、実施形態の固体撮像装置１では、画素アレイ内に専用の（特別な）位相差検出用画素を配置せず、マイクロレンズを、画素対を構成するそれぞれの光電変換部１０１に異なる光線方向の光を入射させるように配置する構成によって、位相差画像信号を出力する。これにより、実施形態の固体撮像装置１では、位相差を検出するための画素の領域の画素信号が欠落することなく、つまり、画素信号の補完をすることなく、良好な画質の画像を生成することができる。このとき、実施形態の固体撮像装置１では、画素アレイに備えた全ての光電変換部１０１が、いずれかの画素対を構成する光電変換部１０１であってもよい。この構成であっても、実施形態の固体撮像装置１を搭載した撮像システムでは、静止画像や動画像を生成するができる。また、この構成である場合には、実施形態の固体撮像装置１を搭載した撮像システムにおいて、例えば、複数の位置で合焦点を検出する、いわゆる、多点ＡＦの機能を容易に実現することもできる。

また、位相差ＡＦに対応した従来の技術の固体撮像装置では、位相差検出用画素からの画素信号を、静止画像や動画像を生成するための画素から画素信号を読み出す過程において読み出す、つまり、従来の技術の固体撮像装置では、位相差画像信号を、固体撮像装置に備えた全ての画素の画素信号の一部として読み出す。このため、従来の技術の固体撮像装置では、全ての画素の画素信号の読み出しが完了した後でないと、位相差ＡＦの処理を行うことができない。そして、従来の技術の固体撮像装置では、全ての画素の画素信号の読み出しが完了した後に、位相差を検出する方向に直交した方向の画素信号を加算してから位相差を検出することになる。このことから、従来の技術の固体撮像装置を搭載した撮像システムでは、光学レンズの焦点位置の制御を、画素信号を出力するフレームレートよりも高くする（高速にする）ことができない。

これに対して、実施形態の固体撮像装置１では、フル解像画像信号と位相差画像信号とのそれぞれを別々に出力することができる。そして、実施形態の固体撮像装置１が出力する位相差画像信号は、位相差を検出する方向に直交した方向の同じ色の信号電荷が、すでに加算平均された信号である。また、実施形態の固体撮像装置１では、位相差画像信号の方が、フル解像画像信号よりも早く出力が完了する。このため、実施形態の固体撮像装置１を搭載した撮像システムでは、静止画像や動画像の生成と、位相差ＡＦの処理とを、並列に実行することができると共に、光学レンズの焦点位置の制御を高速にすることができる。

なお、図２１Ａおよび図２１Ｂに示した一例では、位相差を検出する方向に直交した方向に複数の画素対が並んで画素対の組を構成する場合について説明した。しかし、実施形態の固体撮像装置１においては、複数の画素対の組が、位相差を検出する方向にも複数並んだ構成にすることもできる。この場合、第２の電荷蓄積回路１０４は、それぞれの画素対の組毎に同じ色の信号電荷を加算平均して保持し、それぞれの画素対の組毎の位相差画像信号をそれぞれ出力する構成にしてもよい。また、第２の電荷蓄積回路１０４が、複数の画素対の組に跨がって同じ色の信号電荷を加算平均して保持し、１つの位相差画像信号として出力する構成にしてもよい。この場合であっても、第２の電荷蓄積回路１０４が同じ色の信号電荷を加算平均する方向は、位相差を検出する方向に直交した方向である。

図２２は、本発明の実施形態の固体撮像装置１における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。図２２には、固体撮像装置１にベイヤー配列のカラーフィルタが貼付されている場合において、フル解像画像信号を出力する第１の電荷蓄積回路１０３が対応する画素の領域と、位相差画像信号を出力する第２の電荷蓄積回路１０４が対応する画素の領域との一例を示している。また、図２２には、位相差を検出する画素の領域内における位相差の検出方向（位相差検出方向）と、第２の電荷蓄積回路１０４が信号電荷を加算平均する方向（加算方向）との関係を示している。より具体的には、図２２には、垂直方向に１２個並んだ画素対の組が水平方向に３組並んでいる、水平方向の位相差を検出するための画素の領域と、この画素の領域における位相差検出方向と加算方向との関係を示している。図２２に示したように、位相差検出方向と加算方向とは、直交する方向の関係である。

実施形態によれば、複数の画素１００が行列状に配置された領域は、異なる方向（入射方向、光線方向）の光（入射光）が光電変換部１０１に入射される少なくとも２つの隣接する画素１００によって構成された画素群（画素対）が複数配置された領域を含み、第２の電荷蓄積回路１０４は、複数の画素対が配置された領域内で、異なる画素対に入射された同じ方向の光（光線方向の入射光）を光電変換した、対応する複数の画素１００内のそれぞれの光電変換部１０１が発生したそれぞれの信号電荷を加算または平均化した電荷量の信号電荷を保持する、固体撮像装置１が構成される。

また、実施形態によれば、画素対が複数配置された領域は、画素対を構成する画素１００が隣接する方向（所定の方向）と直交する方向に、画素対が複数配置される、固体撮像装置１が構成される。

また、実施形態によれば、画素対は、この画素対を構成する画素１００が少なくとも行方向（水平方向）または列方向（垂直方向）に隣接し、画素対が複数配置された領域は、画素対が、少なくとも列方向（垂直方向）または行方向（水平方向）に複数配置される、固体撮像装置１が構成される。

（第６のシステム例）
ここで、位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムについて説明する。なお、位相差ＡＦに対応した固体撮像装置１の構成は、図１に示した固体撮像装置１の最小限の構成と同様であり、その具体的な回路構成および駆動タイミングは、図２〜図７に示した第１〜第３の構成例の回路構成および駆動タイミングと同様である。

ただし、図１および図２、図４、図６に示した第１〜第３の構成例の固体撮像装置１における光電変換部１０１ａと光電変換部１０１ｂとは、異なる画素対に入射されたいずれか一方の光線方向の光に対応する同じ色の画素に備えた光電変換部１０１になる。そして、図１および図２、図４、図６に示した第１〜第３の構成例の固体撮像装置１における第２の電荷蓄積回路１０４は、異なる画素対において同じ色の光を光電変換する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。

図２３は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第６のシステム例を示したブロック図である。撮像システムの第６のシステム例は、位相差ＡＦに対応した固体撮像装置１から読み出したフル解像画像信号に基づいたフル解像度画像を生成しながら、固体撮像装置１から読み出した位相差画像信号に基づいてＡＦ処理を行う撮像システムの構成例である。図２３に示した撮像システム５５は、固体撮像装置１と、所定方向位相検出部３１７と、ＡＦ処理部３１８と、映像信号処理部３０３とを備えている。なお、図２３においては、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、位相差画像信号を出力する第２の電荷蓄積回路１０４も示している。

所定方向位相検出部３１７は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から位相差画像信号を読み出して、位相差を検出するための画像（以下、「位相差画像」という）を生成する。そして、所定方向位相検出部３１７は、生成した位相差画像を解析して、同じ被写体同士の所定の方向に対する位置的なズレ（位相差）を検出し、検出した位相差の情報を、ＡＦ処理部３１８に出力する。例えば、固体撮像装置１が、図２２に示したような、水平方向の位相差の検出に対応した構成である場合、所定方向位相検出部３１７は、第２の電荷蓄積回路１０４から読み出した位相差画像信号に基づいて生成した位相差画像に含まれる同じ被写体の水平方向の位相差を検出し、水平方向の位相差の情報をＡＦ処理部３１８に出力する。

ＡＦ処理部３１８は、所定方向位相検出部３１７から出力された位相差の情報に基づいて、撮像システム５５に備えた光学レンズの焦点位置が合焦点になるように制御する、つまり、撮像システム５５における位相差ＡＦの処理を行う。なお、ＡＦ処理部３１８は、映像信号処理部３０３におけるフル解像度画像を生成する映像信号処理に必要な情報を推定して、映像信号処理部３０３に出力する構成であってもよい。

映像信号処理部３０３は、固体撮像装置１に備えた第１の電荷蓄積回路１０３からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。なお、上述したように、位相差ＡＦに対応した固体撮像装置１では、マイクロレンズが、画素対を構成するそれぞれの光電変換部１０１に異なる光線方向の光を入射させるように配置された構成となっている。このため、映像信号処理部３０３は、第１の電荷蓄積回路１０３から読み出したフル解像画像信号に対して、固体撮像装置１におけるマイクロレンズの構成を考慮した映像信号処理を施して、フル解像度画像を生成する。このとき、固体撮像装置１におけるマイクロレンズの構成が、画素アレイに備えた全ての光電変換部１０１に異なる光線方向の光を入射させるように配置された構成である場合、つまり、それぞれの光電変換部１０１が、いずれかの画素対を構成する場合、映像信号処理部３０３は、第１の電荷蓄積回路１０３から読み出したフル解像画像信号に対して、例えば、３次元のフル解像度画像を生成するための映像信号処理を施してもよい。なお、映像信号処理部３０３が行うマイクロレンズの構成を考慮した映像信号処理は、既存の技術を用いることができるため、詳細な説明は省略する。

ここで、撮像システムの第６のシステム例において、位相差ＡＦに対応した固体撮像装置１からそれぞれの画素信号を読み出す際のタイミングについて説明する。図２４は、本発明の実施形態の固体撮像装置１を搭載した第６のシステム例の撮像システム５５の画素信号の読み出しシーケンスを示したタイミングチャートである。

撮像システム５５は、固体撮像装置１の制御を行う不図示の制御装置によって、図２４に示したように、電荷転送回路１０２に、光電変換部１０１が露光した信号電荷を第１の電荷蓄積回路１０３に転送させ、さらに、第２の電荷蓄積回路１０４に転送させる。

その後、撮像システム５５では、第１の電荷蓄積回路１０３からフル解像画像信号を、第２の電荷蓄積回路１０４から位相差画像信号を、それぞれ読み出す。これにより、所定方向位相検出部３１７およびＡＦ処理部３１８と、映像信号処理部３０３とのそれぞれは、対応する画素信号に基づいた処理を行う。

なお、撮像システム５５では、所定方向位相検出部３１７およびＡＦ処理部３１８が位相差ＡＦの処理を行って光学レンズの焦点位置の制御を行った後、光電変換部１０１における次の露光を開始してもよい。この場合、光電変換部１０１は、入射した光を光電変換した信号電荷を発生して蓄積する。そして、光電変換部１０１が露光した信号電荷を第２の電荷蓄積回路１０４に転送させる。これにより、所定方向位相検出部３１７およびＡＦ処理部３１８は、今回の露光によって得られた位相差画像信号に基づいて、次の位相差ＡＦの処理を行うことができる。

なお、このとき、前回転送した信号電荷の読み出しが終わっていない第１の電荷蓄積回路１０３には、今回の露光によって得られた信号電荷の転送は行わない。図２４に示したタイミングチャートでは、１回目の露光によって得られた信号電荷のみを第１の電荷蓄積回路１０３に転送し、２回目〜４回目の露光によって得られた信号電荷を第２の電荷蓄積回路１０４に転送させる場合を示している。これは、２回目〜４回目の露光によって得られた信号電荷を転送するタイミングでは、第１の電荷蓄積回路１０３からのフル解像画像信号の読み出しが終了していないからである。なお、これらの位相差画像信号の読み出しを行いながらフル解像画像信号の読み出しを行わず信号電荷を維持する動作は、図２、図４、図６に示した固体撮像装置１において、第２の電荷蓄積部２１０，２１０ａ，２２１ａ，２２０ａに電荷を転送する際に、第１のサンプルホールドトランジスタ１０８ａおよび第１のクランプトランジスタ１０９ａを動作させない、つまり、制御信号φＴＸ２および制御信号φＲＳＴ２を“Ｌ”レベルにすることで第１の電荷蓄積部１１０ａに保持した電荷を以前の状態で維持し、必要なときに読み出しを行うように制御することで行うことができる。すなわち、第１の電荷蓄積部１１０ａに影響することなく、第２の電荷蓄積回路１０４に画素信号を転送することができる（画素１００ｂに対応する構成ついても同様である）。

このように、位相差ＡＦに対応した固体撮像装置１を搭載した第６のシステム例の撮像システム５５では、位相差画像信号に基づいて位相差ＡＦの処理を行うことができる。このとき、第６のシステム例の撮像システム５５では、フル解像画像信号と位相差画像信号とを別々に独立して出力しているため、フル解像画像信号の読み出しが完了していない状態であっても、次の位相差ＡＦの処理を行うことができる。つまり、第６のシステム例の撮像システム５５では、従来の技術の固体撮像装置のように全ての画素の画素信号の読み出しが完了するまで位相差ＡＦの処理の開始を待つ必要がなく、光学レンズの焦点位置の制御を早く完了することができる。このことにより、第６のシステム例の撮像システム５５では、第１の電荷蓄積回路１０３からのフル解像画像信号の読み出しが完了した後の早いタイミングで、被写体に合焦した次の撮影を行うことができる。

なお、位相差ＡＦの処理において位相差を検出する方向は、上述したように、水平方向と垂直方向との２つの方向がある。このため、位相差ＡＦに対応した固体撮像装置１を、同時に２つの方向の位相差を検出する構成にしてもよい。

ここで、実施形態の固体撮像装置１において、同時に２つの方向の位相差を検出する構成について説明する。図２５は、本発明の実施形態の固体撮像装置１における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。図２５には、固体撮像装置１を図１６に示した固体撮像装置１の別の変形例と同様の構成にすることによって、第２の電荷蓄積回路１０４が、水平方向の位相差を検出するための位相差画像信号（以下、「水平位相差画像信号」という）を出力し、第２の電荷蓄積回路１２４が、垂直方向の位相差を検出するための位相差画像信号（以下、「垂直位相差画像信号」という）を出力する場合の画素の領域の一例を示している。

なお、図２５においても、図２２に示した一例と同様に、固体撮像装置１にベイヤー配列のカラーフィルタが貼付されている場合において、フル解像画像信号を出力する第１の電荷蓄積回路１０３が対応する画素の領域と、水平位相差画像信号を出力する第２の電荷蓄積回路１０４が対応する画素の領域と、垂直位相差画像信号を出力する第２の電荷蓄積回路１２４が対応する画素の領域との一例を示している。また、図２５においても、図２２に示した一例と同様に、位相差を検出するそれぞれの画素の領域内における位相差の検出方向（位相差検出方向）と、第２の電荷蓄積回路１０４および第２の電荷蓄積回路１２４が信号電荷を加算平均する方向（加算方向）との関係を示している。

より具体的には、図２５には、垂直方向に１２個並んだ画素対の組が水平方向に３組並んだ、水平方向の位相差を検出するための画素の領域と、この画素の領域に対応する第２の電荷蓄積回路１０４の位相差検出方向と加算方向との関係を示している。また、図２５には、水平方向に１２個並んだ画素対の組が垂直方向に３組並んだ、垂直方向の位相差を検出するための画素の領域と、この画素の領域内に対応する第２の電荷蓄積回路１２４の位相差検出方向と加算方向との関係を示している。図２５に示したように、位相差を検出する方向がいずれの方向であっても、位相差検出方向と加算方向とは、直交する方向の関係である。

（第７のシステム例）
次に、２つの方向の位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムについて説明する。なお、２つの方向の位相差ＡＦに対応した固体撮像装置１の構成は、図１６に示した固体撮像装置１の別の変形例の構成において、第２の電荷蓄積回路１２４を第２の電荷蓄積回路１０４と同じ構成にする、つまり、第２の電荷蓄積回路１２４も、光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷を加算平均して保持する構成にすることによって、同様に考えることができる。また、２つの方向の位相差ＡＦに対応した固体撮像装置１の具体的な回路構成および駆動タイミングは、図１７および図１８に示した第４の構成例の回路構成および駆動タイミングにおいて、第２の電荷蓄積回路１２４の回路構成および駆動タイミングを、第２の電荷蓄積回路１０４の回路構成および駆動タイミングと同じ回路構成および駆動タイミングにすることによって、同様に考えることができる。

ただし、図１６および図１７に示した固体撮像装置１における第２の電荷蓄積回路１０４は、加算方向（垂直方向）に並んだ異なる画素対において同じ色の光を光電変換する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。また、図１６および図１７に示した固体撮像装置１における第２の電荷蓄積回路１２４は、加算方向（水平方向）に並んだ異なる画素対において同じ色の光を光電変換する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。つまり、図１６においては、光電変換部１０１ａと光電変換部１０１ｂとが示されているが、第２の電荷蓄積回路１０４が信号電荷を加算平均する光電変換部１０１ａおよび光電変換部１０１ｂと、第２の電荷蓄積回路１２４が信号電荷を加算平均する光電変換部１０１ａおよび光電変換部１０１ｂとは、異なる光電変換部１０１ａおよび光電変換部１０１ｂである。

例えば、図２５に示した位相差検出方向と加算方向との関係において、それぞれの画素の領域の右下に位置するＧ画素１００を基準とし、このＧ画素１００の光電変換部１０１が図１６に示した光電変換部１０１ａであるものとして考える。この場合、第２の電荷蓄積回路１０４が加算平均する光電変換部１０１ｂに対応するＧ画素１００は、加算方向（垂直方向）に隣接するＲ画素１００を飛ばした位置のＧ画素１００である。一方、第２の電荷蓄積回路１２４が加算平均する光電変換部１０１ｂに対応するＧ画素１００は、加算方向（水平方向）に隣接するＢ画素１００を飛ばした位置のＧ画素１００である。このように、図１６に示した固体撮像装置１の別の変形例においては表現されていないが、第２の電荷蓄積回路１０４と第２の電荷蓄積回路１２４とでは、信号電荷を加算平均する光電変換部１０１ａと光電変換部１０１ｂとが異なる。

図２６は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第７のシステム例を示したブロック図である。撮像システムの第７のシステム例は、２つの方向の位相差ＡＦに対応した固体撮像装置１から読み出したフル解像画像信号に基づいたフル解像度画像を生成しながら、固体撮像装置１から読み出した水平位相差画像信号に基づいた水平方向の位相差ＡＦの処理と、固体撮像装置１から読み出した垂直位相差画像信号に基づいた垂直方向の位相差ＡＦの処理とを同時に行う撮像システムの構成例である。図２６に示した撮像システム５６は、固体撮像装置１と、水平方向位相検出部３２７と、垂直方向位相検出部３３７と、ＡＦ処理部３２８と、映像信号処理部３０３とを備えている。なお、図２６においては、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、水平位相差画像信号を出力する第２の電荷蓄積回路１０４、垂直位相差画像信号を出力する第２の電荷蓄積回路１２４も示している。

水平方向位相検出部３２７は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から水平位相差画像信号を読み出して、水平方向の位相差を検出するための画像（以下、「水平位相差画像」という）を生成する。そして、水平方向位相検出部３２７は、生成した水平位相差画像を解析して、同じ被写体同士の水平方向に対する位置的なズレ（水平方向の位相差）を検出し、検出した水平方向の位相差の情報を、ＡＦ処理部３２８に出力する。例えば、固体撮像装置１が、図２５に示したような構成である場合、水平方向位相検出部３２７は、第２の電荷蓄積回路１０４から読み出した水平位相差画像信号に基づいて生成した水平位相差画像に含まれる同じ被写体の水平方向の位相差を検出し、水平方向の位相差の情報をＡＦ処理部３２８に出力する。

垂直方向位相検出部３３７は、固体撮像装置１に備えた第２の電荷蓄積回路１２４から垂直位相差画像信号を読み出して、垂直方向の位相差を検出するための画像（以下、「垂直位相差画像」という）を生成する。そして、垂直方向位相検出部３３７は、生成した垂直位相差画像を解析して、同じ被写体同士の垂直方向に対する位置的なズレ（垂直方向の位相差）を検出し、検出した垂直方向の位相差の情報を、ＡＦ処理部３２８に出力する。例えば、固体撮像装置１が、図２５に示したような構成である場合、垂直方向位相検出部３３７は、第２の電荷蓄積回路１２４から読み出した垂直位相差画像信号に基づいて生成した垂直位相差画像に含まれる同じ被写体の垂直方向の位相差を検出し、垂直方向の位相差の情報をＡＦ処理部３２８に出力する。

ＡＦ処理部３２８は、水平方向位相検出部３２７から出力された水平方向の位相差の情報、および垂直方向位相検出部３３７から出力された垂直方向の位相差の情報に基づいて、撮像システム５６に備えた光学レンズの焦点位置が合焦点になるように制御する、つまり、撮像システム５６において検出する２つの方向に対する位相差ＡＦの処理を行う。なお、ＡＦ処理部３２８は、映像信号処理部３０３におけるフル解像度画像を生成する映像信号処理に必要な情報を推定して、映像信号処理部３０３に出力する構成であってもよい。

映像信号処理部３０３は、位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムの第６のシステム例と同様であるため、詳細な説明は省略する。

このような構成によって、２つの方向の位相差ＡＦに対応した固体撮像装置１を搭載した第７のシステム例の撮像システム５６では、水平位相差画像信号および垂直位相差画像信号に基づいて２つの方向の位相差ＡＦの処理を同時に行うことができる。このとき、第７のシステム例の撮像システム５６でも、第６のシステム例の撮像システム５５と同様に、フル解像画像信号と、水平位相差画像信号と、垂直位相差画像信号とを別々に独立して出力しているため、フル解像画像信号の読み出しが完了していない状態であっても、次の位相差ＡＦの処理を行うことができる。これにより、第７のシステム例の撮像システム５６でも、第６のシステム例の撮像システム５５と同様の効果を得ることができる。つまり、第７のシステム例の撮像システム５６でも、従来の技術の固体撮像装置のように全ての画素の画素信号の読み出しが完了するまで位相差ＡＦの処理の開始を待たずに光学レンズの焦点位置の制御を早く完了し、第１の電荷蓄積回路１０３からのフル解像画像信号の読み出しが完了した後の早いタイミングで、被写体に合焦した次の撮影を行うことができる。しかも、第７のシステム例の撮像システム５６では、同時に２つの方向の位相差を検出して位相差ＡＦの処理を行うことができるため、第６のシステム例の撮像システム５５よりも高い精度で光学レンズの焦点位置を制御することができる。

なお、第７のシステム例の撮像システム５６における画素信号の読み出しシーケンスは、図２４に示した第６のシステム例の撮像システム５５における画素信号の読み出しシーケンスにおいて、第２の電荷蓄積回路１０４から読み出す位相差画像信号を水平位相差画像信号に代え、第２の電荷蓄積回路１２４からの垂直位相差画像信号の読み出しを追加するのみで、同様に考えることができる。従って、第７のシステム例の撮像システム５６における画素信号の読み出しシーケンスに関する詳細な説明は省略する。

なお、固体撮像装置１が２つの方向の位相差ＡＦに対応するための構成は、図２５に示したような、第２の電荷蓄積回路１０４と同じ構成の第２の電荷蓄積回路１２４を備える構成に限定されるものではない。例えば、第２の電荷蓄積回路１０４が水平方向と垂直方向との２つの方向の位相差画像信号を出力する構成であってもよい。

ここで、実施形態の固体撮像装置１において、同時に２つの方向の位相差を検出する別の構成について説明する。図２７は、本発明の実施形態の固体撮像装置１における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。図２７には、固体撮像装置１が、図１に示した固体撮像装置１の最小限の構成と同様の構成である場合において、第２の電荷蓄積回路１０４が、水平位相差画像信号と垂直位相差画像信号とを出力する場合の画素の領域の一例を示している。

なお、図２７においても、図２２に示した一例と同様に、固体撮像装置１にベイヤー配列のカラーフィルタが貼付されている場合において、フル解像画像信号を出力する第１の電荷蓄積回路１０３が対応する画素の領域と、水平位相差画像信号および垂直位相差画像信号を出力するために第２の電荷蓄積回路１０４が対応する画素の領域との一例を示している。また、図２７においても、図２２に示した一例と同様に、位相差を検出するそれぞれの画素の領域内における位相差の検出方向（位相差検出方向）と、第２の電荷蓄積回路１０４が信号電荷を加算平均する方向（加算方向）との関係を示している。

第２の電荷蓄積回路１０４が水平位相差画像信号と垂直位相差画像信号との両方の位相差画像信号を出力する構成の固体撮像装置１では、第２の電荷蓄積回路１０４が信号電荷を加算平均する画素の領域を、水平方向の位相差を検出する画素の領域と、垂直方向の位相差を検出する画素の領域とに分ける。そして、第２の電荷蓄積回路１０４が、それぞれの画素の領域毎に信号電荷を加算平均して、位相差画像信号として出力する。

図２７には、第２の電荷蓄積回路１０４が水平位相差画像信号を出力するために信号電荷を加算平均する画素の領域（画素領域Ａ）と、垂直位相差画像信号を出力するために信号電荷を加算平均する画素の領域（画素領域Ｂ）とに分けた場合の一例を示している。より具体的には、図２７には、垂直方向に８個並んだ画素対の組が水平方向に２組並んだ、水平方向の位相差を検出するための画素領域Ａと、水平方向に６個並んだ画素対の組が垂直方向に３組並んだ、垂直方向の位相差を検出するための画素領域Ｂとに分けた場合の一例を示している。そして、図２７には、それぞれの画素の領域に対応する第２の電荷蓄積回路１０４の位相差検出方向と加算方向との関係を示している。図２７に示したように、位相差を検出する方向がいずれの方向であっても、すなわち、画素領域Ａおよび画素領域Ｂのいずれの画素の領域においても、位相差検出方向と加算方向とは、直交する方向の関係である。

（第８のシステム例）
次に、２つの方向の位相差ＡＦに対応した別の構成の固体撮像装置１を搭載した撮像システムについて説明する。なお、２つの方向の位相差ＡＦに対応した別の構成の固体撮像装置１は、図１に示した固体撮像装置１の最小限の構成と同様の構成であり、その具体的な回路構成および駆動タイミングは、図２〜図７に示した第１〜第３の構成例の回路構成および駆動タイミングと同様である。

ただし、図１および図２、図４、図６に示した第１〜第３の構成例の固体撮像装置１における第２の電荷蓄積回路１０４は、対応する画素の領域の違い、すなわち、位相差検出方向と加算方向の違いに従って、異なる画素対を構成する光電変換部１０１ａと光電変換部１０１ｂとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。つまり、図１においては、光電変換部１０１ａと光電変換部１０１ｂとが示されているが、画素領域Ａに対応する第２の電荷蓄積回路１０４が信号電荷を加算平均する光電変換部１０１ａおよび光電変換部１０１ｂと、画素領域Ｂに対応する第２の電荷蓄積回路１０４が信号電荷を加算平均する光電変換部１０１ａおよび光電変換部１０１ｂとは、異なる画素対において同じ色の光を光電変換する光電変換部１０１ａおよび光電変換部１０１ｂである。

図２８は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第８のシステム例を示したブロック図である。撮像システムの第８のシステム例は、２つの方向の位相差ＡＦに対応した別の構成の固体撮像装置１から読み出したフル解像画像信号に基づいたフル解像度画像を生成しながら、固体撮像装置１から読み出した水平位相差画像信号に基づいた水平方向の位相差ＡＦの処理と、固体撮像装置１から読み出した垂直位相差画像信号に基づいた垂直方向の位相差ＡＦの処理とを同時に行う撮像システムの構成例である。図２８に示した撮像システム５７は、固体撮像装置１と、水平方向位相検出部３２７と、垂直方向位相検出部３４７と、ＡＦ処理部３２８と、映像信号処理部３０３とを備えている。なお、図２８においては、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、水平位相差画像信号および垂直位相差画像信号を出力する第２の電荷蓄積回路１０４も示している。

水平方向位相検出部３２７は、固体撮像装置１に備えた、水平方向の位相差を検出する画素の領域に対応する第２の電荷蓄積回路１０４から水平位相差画像信号を読み出して水平位相差画像を生成し、生成した水平位相差画像を解析して検出した水平方向の位相差の情報を、ＡＦ処理部３２８に出力する。例えば、固体撮像装置１が、図２７に示したような構成である場合、水平方向位相検出部３２７は、画素領域Ａに対応する第２の電荷蓄積回路１０４から読み出した水平位相差画像信号に基づいて生成した水平位相差画像に含まれる同じ被写体の水平方向の位相差を検出し、水平方向の位相差の情報をＡＦ処理部３２８に出力する。

垂直方向位相検出部３４７は、固体撮像装置１に備えた、垂直方向の位相差を検出する画素の領域に対応する第２の電荷蓄積回路１０４から垂直位相差画像信号を読み出して垂直位相差画像を生成し、生成した垂直位相差画像を解析して検出した垂直方向の位相差の情報を、ＡＦ処理部３２８に出力する。例えば、固体撮像装置１が、図２７に示したような構成である場合、垂直方向位相検出部３４７は、画素領域Ｂに対応した第２の電荷蓄積回路１０４から読み出した垂直位相差画像信号に基づいて生成した垂直位相差画像に含まれる同じ被写体の垂直方向の位相差を検出し、垂直方向の位相差の情報をＡＦ処理部３２８に出力する。

ＡＦ処理部３２８は、水平方向位相検出部３２７から出力された水平方向の位相差の情報、および垂直方向位相検出部３４７から出力された垂直方向の位相差の情報に基づいて、撮像システム５７において検出する２つの方向に対する位相差ＡＦの処理を行う。

映像信号処理部３０３は、位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムの第６のシステム例、および２つの方向の位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムの第７のシステム例と同様であるため、詳細な説明は省略する。ただし、２つの方向の位相差ＡＦに対応した別の構成の固体撮像装置１では、水平方向の位相差を検出する画素対を構成するそれぞれの光電変換部１０１に異なる光線方向の光を入射させるマイクロレンズの光線方向と、垂直方向の位相差を検出する画素対を構成するそれぞれの光電変換部１０１に異なる光線方向の光を入射させるマイクロレンズの光線方向とが異なることが考えられる。例えば、水平方向の位相差を検出する画素対に入射させる光の光線方向と、垂直方向の位相差を検出する画素対に入射させる光の光線方向とが直交していることが考えられる。この場合には、映像信号処理部３０３は、第１の電荷蓄積回路１０３から読み出したフル解像画像信号に対して映像信号処理を施す際に、固体撮像装置１における画素の領域毎のマイクロレンズの構成を考慮して、フル解像度画像を生成する。

このような構成によって、２つの方向の位相差ＡＦに対応した別の構成の固体撮像装置１を搭載した第８のシステム例の撮像システム５７でも、２つの方向の位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムの第７のシステム例と同様に、水平位相差画像信号および垂直位相差画像信号に基づいて２つの方向の位相差ＡＦの処理を同時に行うことができる。このとき、第８のシステム例の撮像システム５７でも、第７のシステム例の撮像システム５６と同様に、フル解像画像信号と、水平位相差画像信号と、垂直位相差画像信号とを別々に独立して出力しているため、フル解像画像信号の読み出しが完了していない状態であっても、次の位相差ＡＦの処理を行うことができる。これにより、第８のシステム例の撮像システム５７でも、第７のシステム例の撮像システム５６と同様の効果を得ることができる。つまり、第８のシステム例の撮像システム５７でも、光学レンズの焦点位置の制御を早く高精度に完了し、第１の電荷蓄積回路１０３からのフル解像画像信号の読み出しが完了した後の早いタイミングで、被写体に合焦した次の撮影を行うことができる。

なお、第８のシステム例の撮像システム５７における画素信号の読み出しシーケンスは、図２４に示した第６のシステム例の撮像システム５５における画素信号の読み出しシーケンスにおいて、第２の電荷蓄積回路１０４から読み出す位相差画像信号が、水平位相差画像信号および垂直位相差画像信号になるのみで、同様に考えることができる。従って、第８のシステム例の撮像システム５７における画素信号の読み出しシーケンスに関する詳細な説明は省略する。

このように、実施形態の固体撮像装置１は、コントラストＡＦの他に、位相差ＡＦにも対応することができる。これにより、従来から普及している、レンズを通過した光（入射光）を固体撮像装置に入射させると共に、例えば、位相差ＡＦセンサのようなＡＦ処理を行うための専用のセンサに光を導くミラーを備えていない撮像システム、いわゆる、ミラーレスデジタルカメラにも、実施形態の固体撮像装置１を搭載することができる。

なお、位相差ＡＦに対応した固体撮像装置１を搭載した撮像システム（第６〜第８のシステム例）では、撮像システムにおいて位相差ＡＦの処理機能を実現する構成について説明した。しかし、位相差ＡＦに対応した固体撮像装置１を搭載した撮像システムにおいて実現する機能は、位相差ＡＦの処理機能に限定されるものではなく、第１〜第５のシステム例で示したような機能も併せて実現する構成してもよい。この場合における固体撮像装置１の回路構成および駆動タイミングは、実現する機能に応じた回路構成および駆動タイミングとなる。

また、上述した位相差ＡＦに対応した固体撮像装置１では、画素アレイに備えたそれぞれの画素１００に光を入射させるそれぞれのマイクロレンズが、画素対を構成する隣接する２個の画素１００のそれぞれに異なる光線方向の光を入射させるように配置された場合について説明した。しかし、マイクロレンズが異なる光線方向の光を入射させる画素１００の配置は、上述した配置に限定されるものではない。例えば、行方向（水平方向）に隣接する画素１００および列方向（垂直方向）に隣接する画素１００と、斜め方向に隣接する画素１００とが１つの群となった隣接する４個の画素１００（以下、「画素群」という）のそれぞれに異なる光線方向の光を入射させるように配置してもよい。つまり、１個のマイクロレンズが画素群を構成する４個の光電変換部１０１のそれぞれに異なる光線方向の光を入射させる構成にしてもよい。このようにマイクロレンズを配置した場合でも、水平位相差画像信号および垂直位相差画像信号を同時に出力する固体撮像装置１を実現することができる。なお、この場合においても、第２の電荷蓄積回路１０４や第２の電荷蓄積回路１２４が加算平均して保持する信号電荷は、異なる画素群において同じ色の光を光電変換する光電変換部１０１のそれぞれが発生した信号電荷である。

（第９のシステム例）
図２９は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第９のシステム例を示したブロック図である。撮像システムの第９のシステム例は、撮像システムにおける焦点制御の方法に応じて、ライブビュー画像を生成する画素信号を、固体撮像装置１から読み出した１／９減縮画像信号または１／９間引き画像信号のいずれか一方の画素信号に切り替える撮像システムの構成例である。図２９に示した撮像システム６０は、固体撮像装置１と、ライブビュー画像生成部３０６と、映像信号処理部３０３とを備えている。なお、図２９においても、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／９間引き画像信号を出力する第２の電荷蓄積回路１２４も示している。

ライブビュー画像生成部３０６は、第９のシステム例の撮像システム６０を制御する制御装置によって設定された焦点制御の方法に応じて、固体撮像装置１に備えた第２の電荷蓄積回路１０４からの１／９減縮画像信号、または固体撮像装置１に備えた第２の電荷蓄積回路１２４から１／９間引き画像信号のいずれか一方の画素信号を、ライブビュー画像を生成する画素信号として選択する。そして、ライブビュー画像生成部３０６は、選択した画素信号に基づいて、ライブビュー画像を生成する。つまり、ライブビュー画像生成部３０６は、１／９縮小画像または１／９間引き画像をライブビュー画像として生成する。より具体的には、ライブビュー画像生成部３０６は、設定された焦点制御の方法が自動である、すなわち、ＡＦ処理を行う場合には、ライブビュー画像を用いて焦点制御を行わないため、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出して、１／９縮小画像をライブビュー画像として生成する。また、ライブビュー画像生成部３０６は、設定された焦点制御の方法が手動である、すなわち、ライブビュー画像を用いて焦点制御（焦点調節）を行う場合があるため、固体撮像装置１に備えた第２の電荷蓄積回路１２４から１／９間引き画像信号を読み出して、１／９間引き画像をライブビュー画像として生成する。これにより、撮像システム６０では、ライブビュー画像に発生する折り返しによるモアレやジャギーなどの折り返しノイズを確認しながら、手動で焦点を合わせる焦点制御、いわゆる、マニュアルフォーカスを行うことができる。

映像信号処理部３０３は、実施形態の固体撮像装置１を搭載した撮像システムの第４のシステム例および第５のシステム例と同様であるため、詳細な説明は省略する。

このような構成によって、実施形態の固体撮像装置１を搭載した第９のシステム例の撮像システム６０では、この撮像システム６０に備えた、ライブビュー画像を表示する液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＥＶＦ（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ：電子ビューファインダ）などの表示装置に表示したライブビュー画像（１／９間引き画像）に発生するモアレやジャギーを、マニュアルフォーカスを行う際に利用することができる。なお、１／９間引き画像がマニュアルフォーカスに利用できるのは、画素を間引いた間引き画像信号に基づいて生成した間引き画像には、画素信号を加算平均した画素信号に基づいて生成した縮小画像よりも、被写体に依存し、被写体の帯域が高いほどより大きくなる折り返しノイズがより顕著に現れるためである。この折り返しノイズの状態によって、被写体に対する合焦状態を確認することができる。

また、実施形態の固体撮像装置１を搭載した撮像システムでは、同じ露光によって得られる減縮画像信号をフル解像画像信号よりも早く読み出すことができるということを利用して、フル解像画像信号に基づいてフル解像度画像を生成するタイミングを、減縮画像信号に基づいて生成した縮小画像（ライブビュー画像）によって決定することができる。

（第１０のシステム例）
図３０は、本発明の実施形態の固体撮像装置１を搭載した撮像システムの第１０のシステム例を示したブロック図である。撮像システムの第１０のシステム例は、固体撮像装置１から読み出した１／９減縮画像信号に基づいて生成したライブビュー画像を表示部に表示しているときに、撮影を行うイベントが発生した場合、イベントを検出したタイミングのときに表示していたライブビュー画像と同じ露光によって得られたフル解像画像信号に基づいて生成したフル解像度画像を記録する撮像システムの構成例である。図３０に示した撮像システム７０は、固体撮像装置１と、ライブビュー画像生成部３０６と、イベント検出部３０９と、読み出し指示部３１０と、映像信号処理部３０３と、表示部３１１と、記録部３１２とを備えている。なお、図３０においては、固体撮像装置１に備えた、光電変換を行う光電変換部１０１、信号電荷を転送する電荷転送回路１０２、フル解像画像信号を出力する第１の電荷蓄積回路１０３、１／９減縮画像信号を出力する第２の電荷蓄積回路１０４、および１／８１減縮画像信号を出力する第３の電荷蓄積回路２０４も示している。

ライブビュー画像生成部３０６は、固体撮像装置１に備えた第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出し、読み出した１／９減縮画像信号に基づいて１／９縮小画像を生成する。そして、ライブビュー画像生成部３０６は、生成した１／９縮小画像を、ライブビュー画像として表示部３１１に出力する。

なお、ライブビュー画像生成部３０６は、固体撮像装置１に備えた第３の電荷蓄積回路２０４から１／８１減縮画像信号を読み出し、読み出した１／８１減縮画像信号に基づいて生成した１／８１縮小画像を、ライブビュー画像として表示部３１１に出力する構成にしてもよい。

表示部３１１は、ライブビュー画像生成部３０６から入力されたライブビュー画像を表示するＬＣＤなどの表示装置である。

イベント検出部３０９は、撮像システム７０に備えられた、例えば、レリーズボタンの押下や設定ボタンの変更など、撮像システム７０に対して行われた操作の状態をイベントとして検出し、検出したイベントの情報を、読み出し指示部３１０に出力する。なお、イベント検出部３０９が検出するイベントとしては、撮像システム７０に備えられた操作部の操作のみではなく、例えば、固体撮像装置１から読み出した１／８１減縮画像信号に基づいて生成した１／８１縮小画像や、表示部３１１に表示しているライブビュー画像に基づいて、特定の被写体やその被写体の動きを検出し、被写体の状態が変化したことをイベントとして検出する、つまり、被写体認識によってイベントを検出する構成であってもよい。また、例えば、１／８１縮小画像やライブビュー画像の明暗の変化や、不図示の検出部によるモニタリングの結果などに応じてイベントを検出する構成であってもよい。また、ライブビュー画像の画質を保持したまま、イベントの検出を高速に行うために、第２の電荷蓄積回路１０４から読み出した１／９減縮画像信号をライブビュー画像の生成に用い、第３の電荷蓄積回路２０４から読み出した１／８１減縮画像信号を、例えば、人物などの被写体の有無、照明環境や色味などの画像の状態の変化を検出するための画像（イベント検出画像）の生成に用いてもよい。

読み出し指示部３１０は、イベント検出部３０９から入力されたイベントの情報に基づいて、固体撮像装置１からの画素信号の読み出しを指示する。読み出し指示部３１０は、イベント検出部３０９から入力されたイベントの情報が、例えば、レリーズボタンの押下によって撮像システム７０に対して行われた撮影を行う指示を表す情報や、被写体の状態が変化したことによって撮影を行うタイミングであることを表す情報である場合、固体撮像装置１に備えた第１の電荷蓄積回路１０３からフル解像画像信号を読み出してフル解像度画像を生成すると判断する。そして、読み出し指示部３１０は、判断した結果に基づいて、第１の電荷蓄積回路１０３からフル解像画像信号を読み出すことを表す読み出し指示を、固体撮像装置１に出力する。これにより、固体撮像装置１は、第１の電荷蓄積回路１０３からフル解像画像信号を出力する。また、読み出し指示部３１０は、フル解像画像信号の読み出し指示を固体撮像装置１に出力したことを表す情報（通知）を、映像信号処理部３０３に出力する。なお、読み出し指示部３１０が出力する固体撮像装置１に備えた第１の電荷蓄積回路１０３からフル解像画像信号を読み出すことを表す読み出し指示は、単純に、イベント検出部３０９から入力されたイベントの情報が撮影を行う指示を表していることに応じて出力するものであってもよい。

映像信号処理部３０３は、読み出し指示部３１０から出力された、フル解像画像信号の読み出し指示を固体撮像装置１に出力したことを表す情報（通知）に応じて、固体撮像装置１に備えた第１の電荷蓄積回路１０３から出力されたフル解像画像信号に対して、予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。そして、映像信号処理部３０３は、生成したフル解像度画像を、記録画像として記録部３１２に出力する。

記録部３１２は、映像信号処理部３０３から入力された記録画像を記録する。なお、記録部３１２は、映像信号処理部３０３から入力された記録画像を、例えば、メモリカードなど、撮像システム７０に着脱可能な記録媒体に記録する構成であってもよい。

ここで、撮像システムの第１０のシステム例において、固体撮像装置１からそれぞれの画素信号を読み出す際のタイミングについて説明する。図３１は、本発明の実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０の画素信号の読み出しシーケンスを示したタイミングチャートである。

撮像システム７０は、固体撮像装置１の制御を行う不図示の制御装置によって、図３１に示したように、電荷転送回路１０２に、光電変換部１０１が露光した信号電荷を第１の電荷蓄積回路１０３に転送させ、さらに、第２の電荷蓄積回路１０４に転送させる。そして、第２の電荷蓄積回路１０４に、平均化した信号電荷を第３の電荷蓄積回路２０４に転送させる。

その後、撮像システム７０では、ライブビュー画像生成部３０６が、第２の電荷蓄積回路１０４から１／９減縮画像信号を読み出して１／９縮小画像（ライブビュー画像）を生成し、生成したライブビュー画像を表示部３１１に出力して表示させる。また、撮像システム７０では、イベント検出部３０９が、第３の電荷蓄積回路２０４から１／８１減縮画像信号を読み出して１／８１縮小画像（イベント検出画像）を生成し、生成したイベント検出画像に基づいたイベントの検出を開始する。

また、撮像システム７０では、平均化した信号電荷の第３の電荷蓄積回路２０４への転送が終了した後、光電変換部１０１における次の露光を開始する。これにより、光電変換部１０１は、入射した光を光電変換した信号電荷を発生して蓄積する。

その後、撮像システム７０では、第３の電荷蓄積回路２０４からの１／８１減縮画像信号の読み出しが終了した後、電荷転送回路１０２に、光電変換部１０１が今回露光した信号電荷を第１の電荷蓄積回路１０３に転送させ、さらに、第２の電荷蓄積回路１０４に転送させる。そして、第２の電荷蓄積回路１０４に、光電変換部１０１が今回露光した信号電荷を平均化した信号電荷を第３の電荷蓄積回路２０４に転送させる。また、撮像システム７０では、イベント検出部３０９が、第３の電荷蓄積回路２０４から今回の露光における１／８１減縮画像信号を読み出して、次のイベント検出画像を生成し、生成したイベント検出画像に基づいたイベントの検出を行う。

なお、このとき、前回転送した信号電荷の読み出しが終わっていない電荷蓄積回路には、今回の露光によって得られた信号電荷の転送は行わない。図３１に示したタイミングチャートでは、２回目および４回目の露光によって得られた信号電荷を第３の電荷蓄積回路２０４のみに転送し、３回目の露光によって得られた信号電荷を第１の電荷蓄積回路１０３と、第２の電荷蓄積回路１０４と、第３の電荷蓄積回路２０４とに転送させる場合を示している。これは、２回目および４回目の露光によって得られた信号電荷を転送するタイミングでは、ライブビュー画像生成部３０６が、第２の電荷蓄積回路１０４からの１／９減縮画像信号の読み出しが終了していないからである。なお、これらの１／８１減縮画像信号の読み出しのみ行いながらフル解像画像信号および１／９減縮画像信号の読み出しを行わず信号電荷を維持する動作は、第３のシステム例の撮像システム３０の動作と同様である。

このように、撮像システム７０におけるイベント検出期間では、光電変換部１０１における露光、それぞれの電荷蓄積回路への信号電荷の転送、第３の電荷蓄積回路２０４からの１／８１減縮画像信号を読み出し、およびイベント検出画像の生成を、イベント検出部３０９がイベント検出画像を生成するタイミングの周期で、繰り返して行う。また、撮像システム７０におけるライブビュー画像表示期間では、第２の電荷蓄積回路１０４からの１／９減縮画像信号の読み出し、およびライブビュー画像の表示を、ライブビュー画像生成部３０６がライブビュー画像を生成するタイミングの周期で、繰り返して行う。

なお、図３１のタイミングチャートを見てわかるように、イベント検出期間およびライブビュー画像表示期間では、第１の電荷蓄積回路１０３からのフル解像画像信号の読み出しを行っていない。これは、撮像システム７０の処理において、イベント検出部３０９が撮影を行うことを表すイベントを検出しておらず、読み出し指示部３１０が読み出し指示を出力していないからである。このため、撮像システム７０では、光電変換部１０１の信号電荷をそれぞれの露光毎に第１の電荷蓄積回路１０３および第２の電荷蓄積回路１０４に転送しているが、次の露光によって得られた信号電荷を転送する際には、前の露光において転送された信号電荷、すなわち、第１の電荷蓄積回路１０３に現在保持している信号電荷を破棄する。例えば、図２〜図７に示した固体撮像装置１の第１〜第３の構成例において第１の電荷蓄積回路１０３に現在保持している信号電荷を破棄する場合、不図示の垂直走査回路が、制御信号φＲＳＴ２を“Ｈ”レベルにすることによって、第１のクランプトランジスタ１０９ａと第１のクランプトランジスタ１０９ｂとをオン状態にする。これにより、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとのそれぞれが固定電位ＶＲＥＦにクランプされることによって、第１の電荷蓄積部１１０ａと第１の電荷蓄積部１１０ｂとのそれぞれに現在保持している信号電荷が破棄（リセット）される。なお、第１の電荷蓄積回路１０３に現在保持している信号電荷を破棄する方法として、読み出し指示部３１０が、現在保持している信号電荷を破棄することを表す指示を固体撮像装置１に出力する構成であってもよい。

その後、イベント検出部３０９が撮影を行うことを表すイベントを検出し、読み出し指示部３１０が読み出し指示を固体撮像装置１に出力すると、固体撮像装置１は、第１の電荷蓄積回路１０３からフル解像画像信号を出力する。そして、映像信号処理部３０３は、読み出し指示部３１０から出力された読み出し指示を固体撮像装置１に出力したことを表す情報（通知）に応じて、固体撮像装置１から出力されたフル解像画像信号に基づいてフル解像度画像を生成し、記録部３１２に出力して記録させる。

このように、撮像システム７０では、それぞれの電荷蓄積回路への信号電荷の転送が終了すると次の露光を開始し、今回の露光によって光電変換部１０１が光電変換した信号電荷を、それぞれの電荷蓄積回路に転送する。つまり、撮像システム７０では、最もフレームレートが高い１／８１縮小画像を生成するタイミングの周期で撮影を行う。そして、イベント検出部３０９が撮影を行うことを表すイベントを検出したときに、第１の電荷蓄積回路１０３からフル解像画像信号を読み出してフル解像度画像を生成して記録部３１２に記録させる。このとき、記録部３１２に記録するフル解像度画像は、撮影を行うことを表すイベントを検出したイベント検出画像の露光と同じ露光によって得られたフル解像画像信号に基づいて生成したフル解像度画像である。

第１０のシステム例によれば、第１の読み出し部（映像信号処理部３０３）による第１の画素信号（フル解像画像信号）の読み出しを行わず、第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂに保持した信号電荷を破棄する、撮像システム（撮像システム７０）が構成される。

また、第１０のシステム例によれば、映像信号処理部３０３による第１の画素信号（フル解像画像信号）の読み出し、または第２の読み出し部による第２の画素信号（減縮画像信号）の読み出しの少なくとも一方の読み出しを行わず、読み出しを行わない第１の電荷蓄積回路１０３ａおよび第１の電荷蓄積回路１０３ｂ、または第２の電荷蓄積回路（第２の電荷蓄積回路１０４）の少なくとも一方に保持した信号電荷を破棄する、撮像システム（撮像システム７０）が構成される。

このように、実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０では、ライブビュー画像の画質を保持した状態で、最もフレームレートが高い周期で露光を行ってイベント検出画像を生成し、イベントを検出したときにフル解像度画像を生成する。従来の技術でも、ライブビュー画像からイベントを検出してフル解像度画像を生成することはできるが、従来の技術では、イベントを検出した後にフル解像画像信号を得るための露光を行うため、イベントを検出したライブビュー画像の露光と記録するフル解像度画像の露光とは異なるタイミングであった。これに対して、実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０では、イベントを検出したイベント検出画像の露光と同じ露光によって得られたフル解像画像信号に基づいてフル解像度画像を生成することができる。つまり、従来の技術では、イベントを検出したタイミングと記録するフル解像度画像を生成する露光のタイミングとが異なることによるズレ、いわゆる、レリーズタイムラグがあるが、実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０では、イベントを検出するための露光とフル解像度画像を生成するための露光とが同じ露光であるため、レリーズタイムラグをなくすことができる。特に、被写体認識によってイベントを検出する場合には、イベントを検出したイベント検出画像と同じ露光によって得られたフル解像画像信号に基づいて生成したフル解像度画像を記録することができるため、有利である。

図３２Ａおよび図３２Ｂは、本発明の実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０の動作を模式的に説明する図である。図３２Ａには、撮像システム７０の外観の一例を示し、図３２Ｂには、撮像システム７０に備えた表示部３１１に表示されるライブビュー画像の一例を時系列に示している。

図３２Ｂに示したように、撮像システム７０では、それぞれの露光によって得られた１／９減縮画像信号に基づいてライブビュー画像生成部３０６が生成したそれぞれのライブビュー画像ＬＶ１〜ライブビュー画像ＬＶ９が順次、表示部３１１に表示される。このとき、例えば、ライブビュー画像ＬＶ５が表示されているタイミングで、例えば、図３２Ａに示したレリーズボタン３１３が押下されると、イベント検出部３０９が、レリーズボタン３１３の押下を検出したイベントの情報を読み出し指示部３１０に出力する。そして、読み出し指示部３１０が、読み出し指示を固体撮像装置１に出力すると共に、読み出し指示を固体撮像装置１に出力したことを表す情報（通知）を、映像信号処理部３０３に出力する。これにより、映像信号処理部３０３は、固体撮像装置１に備えた第１の電荷蓄積回路１０３から出力されたフル解像画像信号に基づいてフル解像度画像Ｐ５を生成し、記録部３１２に記録させる。

なお、従来の技術でも、予め定めたフレーム数のフル解像画像信号を全て読み出して記憶しておく構成にすることにより、イベントを検出したときのフル解像度画像を生成することはできる。しかし、このためには、複数フレームのフル解像画像信号を記憶しておくための大容量のメモリを備える必要がある。これに対して、実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０では、イベントを検出したときのフル解像画像信号のみを読み出すことができるため、大容量のメモリを備える必要がなく、撮像システムに備えるメモリの記憶容量の観点で有利である。また、実施形態の固体撮像装置１を搭載した第１０のシステム例の撮像システム７０では、従来の技術のように、常にフル解像画像信号の読み出しを行う必要がないため、撮像システムの消費電力の観点でも有利である。

なお、図３２Ｂには、レリーズボタン３１３が押下されるライブビュー画像ＬＶ５のタイミング以降のライブビュー画像ＬＶ６〜ライブビュー画像ＬＶ９も示している。撮像システム７０では、レリーズボタン３１３が押下された後でも、つまり、フル解像画像信号を読み出している期間でも、次の露光を行って、ライブビュー画像ＬＶ６〜ライブビュー画像ＬＶ９を表示部３１１に表示させることができる。この場合、撮像システム７０では、電荷転送回路１０２が、フル解像画像信号を読み出している期間に光電変換部１０１が露光した信号電荷の第１の電荷蓄積回路１０３への転送を行わず、第２の電荷蓄積回路１０４のみに転送する。これにより、撮像システム７０では、フル解像画像信号を読み出している期間でも、ライブビュー画像生成部３０６が、第２の電荷蓄積回路１０４から今回の露光における１／９減縮画像信号を読み出し、次のライブビュー画像ＬＶ６〜ライブビュー画像ＬＶ９を生成して表示部３１１に表示させることができる。なお、第２の電荷蓄積回路１０４は、転送された信号電荷を平均化した信号電荷を第３の電荷蓄積回路２０４に転送する。

なお、上記の説明では、図３２Ａおよび図３２Ｂを用いて、イベント検出部３０９が検出するイベントがレリーズボタン３１３の押下である場合について説明したが、イベント検出部３０９が、被写体認識によってイベントを検出する場合であっても同様に動作し、的確なタイミングのフル解像度画像を生成して記録することができる。

上記に述べたように、本発明の各実施形態によれば、固体撮像装置に備えたそれぞれの画素内の光電変換部が発生したそれぞれの信号電荷をそれぞれ保持（蓄積）する第１の電荷蓄積回路と、予め定めた画素内の光電変換部が同じ露光によって発生した信号電荷を、画素数を減縮するために保持（蓄積）する第２の電荷蓄積回路とを備える。これにより、本発明の各実施形態では、固体撮像装置から、同じ露光によって得られた、全ての画素の信号電荷に応じた画素信号（フル解像画像信号）と、画素数を減縮した画素信号（減縮画像信号や間引き画像信号）とのそれぞれを、別々に独立して出力することができる。

また、本発明の各実施形態では、固体撮像装置に備えたそれぞれの画素に異なる光線方向の光を入射させるようにマイクロレンズを配置することによって、予め定めた画素内の光電変換部が同じ露光によって発生した信号電荷を保持（蓄積）する第２の電荷蓄積回路から、位相差を検出するための画素信号（位相差画像信号（水平位相差画像信号および垂直位相差画像信号を含む））を、全ての画素の信号電荷に応じた画素信号（フル解像画像信号）と別々に独立して出力することができる。

このことにより、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて、同じ１回の露光によって得られた信号電荷に基づいて、別々に独立して出力されるそれぞれの画素信号を利用して、種々の処理を並列に行うことができる。これにより、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて行うそれぞれの処理に適した画素信号を用いて処理を行うことによって、良好な画質の画像を生成することができ、撮像システムの高画質化を図ることができる。また、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて行うそれぞれの処理に必要な情報を早い段階で取得することや、処理に応じて利用する画素信号を切り替えることができ、撮像システムの処理の高速化や高精度化を図ることができる。また、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて所望のタイミングで画素信号を読み出して画像を生成することができ、撮像システムの高機能化や低消費電力化を図ることができる。

なお、本発明における具体的な構成は、本発明の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。例えば、本発明の各実施形態においては、構成として、第１〜第４の構成例を示し、それぞれの構成例における駆動方法の一例を示したが、構成および駆動方法の具体的な構成は、本発明の各実施形態に限定されるものではなく、画素の構成要素や駆動方法が変わった場合でも、変更された画素の構成要素や駆動方法に応じて、本発明の考え方を適用してもよい。例えば、本発明の各実施形態においては、撮像システムとして、第１〜第１０のシステム例を示し、それぞれの撮像システムにおける機能および動作の一例を示したが、撮像システムに備える具体的な構成要素は、本発明の各実施形態に限定されるものではなく、撮像システムに備える構成要素が変わった場合でも、変更された構成要素に応じて、本発明の考え方を適用してもよい。このとき、撮像システムに備える構成要素に応じて、固体撮像装置に備える構成要素を変更した場合でも、変更された固体撮像装置内の構成要素に応じて、本発明の考え方を適用してもよい。

また、画素数や画素数を減縮する数は、本発明の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素数や画素数を減縮する数を変更してもよい。

また、本発明の各実施形態においては、ベイヤー配列のカラーフィルタが貼付された場合の一例を示したが、固体撮像装置に貼付されるカラーフィルタの色配列は、本発明の各実施形態に限定されるものではなく、貼付されるカラーフィルタの色配列が変わった場合でも、変更された色配列に応じて、本発明の考え方を適用してもよい。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

上記各実施形態によれば、全ての画素の画素信号と、画質の低下を抑えた状態で画素数を減縮した画素信号とを、同じ露光によって取得することができる。

１固体撮像装置
１１光電変換基板
２１第１の読み出し基板（第１の基板）
３１第２の読み出し基板（第２の基板）
４１第３の読み出し基板（第３の基板）
１２ａ，１２ｂ第１の基板間接続部（第１の接続部）
２２，２２ａ，２２ｂ第２の基板間接続部（第２の接続部）
３２第３の基板間接続部（第３の接続部）
１００ａ，１００ｂ，１００ｃ，１００ｄ画素
１０１，１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ光電変換部
１０２，１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ電荷転送回路
１０３，１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ第１の電荷蓄積回路
１０４，１０４ａｂ，１０４ｃｄ第２の電荷蓄積回路
２０４第３の電荷蓄積回路
１２４第２の電荷蓄積回路
１０５ａ，１０５ｂ画素リセットトランジスタ（電荷転送回路）
１０６ａ，１０６ｂ第１の増幅トランジスタ（電荷転送回路）
１１２ａ，１１２ｂ電荷転送トランジスタ（電荷転送回路）
１２０ａ，１２０ｂノード容量（電荷転送回路）
１０９ａ，１０９ｂ第１のクランプトランジスタ（第１の電荷蓄積回路）
１０８ａ，１０８ｂ第１のサンプルホールドトランジスタ（第１の電荷蓄積回路）
１１１ａ，１１１ｂ第２の増幅トランジスタ（第１の電荷蓄積回路）
１０７ａ，１０７ｂ第１の選択トランジスタ（第１の電荷蓄積回路）
１１０ａ，１１０ｂ第１の電荷蓄積部（第１の電荷蓄積回路）
１１４ａ，１１４ｂ画素負荷トランジスタ（電荷転送回路）
１１３ａ，１１３ｂ第１のノイズ抑圧素子（第１の電荷蓄積回路）
１１５ａ，１１５ｂ画素選択トランジスタ（電荷転送回路）
１９第１の垂直信号線
２０９，２０９ａ，２０９ｂ第２のクランプトランジスタ（第２の電荷蓄積回路）
２０８第２のサンプルホールドトランジスタ（第２の電荷蓄積回路）
２１１第３の増幅トランジスタ（第２の電荷蓄積回路）
２０７第２の選択トランジスタ（第２の電荷蓄積回路）
２１０，２１０ａ，２１０ｂ第２の電荷蓄積部（第２の電荷蓄積回路）
２１３ａ，２１３ｂ第２のノイズ抑圧素子（第２の電荷蓄積回路）
２１２ａ，２１２ｂ画素選択トランジスタ（第２の電荷蓄積回路）
２１４平均用スイッチトランジスタ（第２の電荷蓄積回路）
２１５ａ，２１５ｂ第２のサンプルホールドトランジスタ（第２の電荷蓄積回路）
２２０ａ，２２０ｂ第２の電荷蓄積部（第２の電荷蓄積回路）
２２１ａ，２２１ｂ第２の電荷蓄積部（第２の電荷蓄積回路）
２９第２の垂直信号線
２２９第２のクランプトランジスタ（第２の電荷蓄積回路）
２３０第２の電荷蓄積部（第２の電荷蓄積回路）
２３３第２のノイズ抑圧素子（第２の電荷蓄積回路）
２２８間引き信号サンプルホールドトランジスタ（第２の電荷蓄積回路）
２３１第３の増幅トランジスタ（第２の電荷蓄積回路）
２２７第２の選択トランジスタ（第２の電荷蓄積回路）
３９第３の垂直信号線
１０，２０，３０，４０，５０，５５，５６，５７，６０，７０撮像システム
３０１ダイナミックレンジ推定部（第２の読み出し部，第３の読み出し部）
３０２アナログゲイン調整部
３０３映像信号処理部（第１の読み出し部）
３０４画像情報解析推定部（第２の読み出し部，第３の読み出し部）
３０５トラッキング処理部（第２の読み出し部，第３の読み出し部）
３０６ライブビュー画像生成部（第２の読み出し部，第３の読み出し部）
３０７ＡＦ処理部（第３の読み出し部）
３０８ＡＦ処理部（第３の読み出し部）
３０９イベント検出部
３１０読み出し指示部（第１の読み出し部）
３１１表示部
３１２記録部
３１３レリーズボタン
３１７所定方向位相検出部（第２の読み出し部，第３の読み出し部）
３１８ＡＦ処理部（第２の読み出し部，第３の読み出し部）
３２７水平方向位相検出部（第２の読み出し部，第３の読み出し部）
３３７垂直方向位相検出部（第２の読み出し部，第３の読み出し部）
３４７垂直方向位相検出部（第２の読み出し部，第３の読み出し部）
３２８ＡＦ処理部（第２の読み出し部，第３の読み出し部）

Claims

入射した光を光電変換した信号電荷を発生する光電変換部を行列状に配置した複数の画素と、
前記光電変換部が発生した前記信号電荷を保持し、該保持した信号電荷に応じた信号電圧を、第１の画素信号として出力する複数の第１の電荷蓄積回路と、
前記光電変換部が発生した前記信号電荷を前記第１の電荷蓄積回路に転送する複数の電荷転送回路と、
複数の前記画素内のそれぞれの前記光電変換部が発生した前記信号電荷に基づいた信号電荷を保持し、該保持した信号電荷に応じた信号電圧を、予め定めた数の画素数に減縮した第２の画素信号として出力する複数の第２の電荷蓄積回路と、
を備え、
前記電荷転送回路は、
同じ露光期間で対応する前記光電変換部が発生した前記信号電荷を前記第１の電荷蓄積回路に転送する際に、該信号電荷を前記第２の電荷蓄積回路にも転送する
固体撮像装置。
前記第２の電荷蓄積回路は、
対応する複数の前記画素内のそれぞれの前記光電変換部が発生したそれぞれの前記信号電荷を加算または平均化した電荷量の信号電荷を保持する
請求項１に記載の固体撮像装置。
前記第２の電荷蓄積回路は、
対応する複数の前記画素内のそれぞれの前記光電変換部が発生したそれぞれの前記信号電荷の内、予め定めた前記画素内の前記光電変換部が発生したいずれか１つの信号電荷を保持する
請求項１に記載の固体撮像装置。
当該固体撮像装置は、
前記光電変換部が複数配置された光電変換基板と、
前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の一方が複数配置された第１の基板と、
前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の他方が複数配置された第２の基板と、
前記光電変換基板と前記第１の基板とを電気的接続する第１の接続部と、
前記第１の基板と前記第２の基板とを電気的接続する第２の接続部と、
によって構成される
請求項２または請求項３に記載の固体撮像装置。
前記第１の接続部は、
前記光電変換基板と前記第１の基板との間に配置され、該第１の基板に配置された前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の一方のそれぞれに対応し、該光電変換基板に配置されたそれぞれの前記光電変換部から、該第１の基板に配置された対応する前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の一方に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該光電変換基板と該第１の基板との間で電気的に接続し、
前記第２の接続部は、
前記第１の基板と前記第２の基板との間に配置され、該第２の基板に配置された前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の他方のそれぞれに対応し、前記光電変換基板に配置されたそれぞれの前記光電変換部から、該第１の基板を介して該第２の基板に配置された対応する前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の他方に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該第１の基板と該第２の基板との間で電気的に接続する
請求項４に記載の固体撮像装置。
当該固体撮像装置は、
前記光電変換部が複数配置された光電変換基板と、
前記第１の電荷蓄積回路および前記第２の電荷蓄積回路が複数配置された第１の基板と、
前記光電変換基板と前記第１の基板とを電気的接続する第１の接続部と、
によって構成される
請求項２または請求項３に記載の固体撮像装置。
前記第１の接続部は、
前記光電変換基板と前記第１の基板との間に配置され、該第１の基板に配置された前記第１の電荷蓄積回路および前記第２の電荷蓄積回路の少なくとも一方のそれぞれに対応し、該光電変換基板に配置されたそれぞれの前記光電変換部から、該第１の基板に配置された対応する前記第１の電荷蓄積回路および前記第２の電荷蓄積回路の少なくとも一方に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該光電変換基板と該第１の基板との間で電気的に接続する
請求項６に記載の固体撮像装置。
複数の前記画素が行列状に配置された領域は、
異なる方向の光が前記光電変換部に入射される少なくとも２つの隣接する前記画素によって構成された画素群が複数配置された領域を含み、
前記第２の電荷蓄積回路は、
複数の前記画素群が配置された領域内で、異なる前記画素群に入射された同じ方向の光を光電変換した、対応する複数の前記画素内のそれぞれの前記光電変換部が発生したそれぞれの前記信号電荷を加算または平均化した電荷量の信号電荷を保持する
請求項２、または請求項２を引用する請求項４から請求項７のいずれか１の項に記載の固体撮像装置。
前記画素群が複数配置された領域は、
前記画素群を構成する前記画素が隣接する方向と直交する方向に、前記画素群が複数配置される
請求項８に記載の固体撮像装置。
前記画素群は、
該画素群を構成する前記画素が少なくとも行方向または列方向に隣接し、
前記画素群が複数配置された領域は、
前記画素群が、少なくとも列方向または行方向に複数配置される
請求項９に記載の固体撮像装置。
複数の前記第２の電荷蓄積回路のそれぞれが保持した前記信号電荷に基づいた信号電荷を保持し、該保持した信号電荷に応じた信号電圧を、予め定めた数の画素数にさらに減縮した第３の画素信号として出力する複数の第３の電荷蓄積回路、
をさらに備える
請求項１から請求項１０のいずれか１の項に記載の固体撮像装置。
前記第３の電荷蓄積回路は、
対応する複数の前記第２の電荷蓄積回路が保持したそれぞれの前記信号電荷を加算または平均化した電荷量の信号電荷を保持する
請求項１１に記載の固体撮像装置。
前記第３の電荷蓄積回路は、
第３の基板に複数配置され、
当該固体撮像装置は、
前記第２の基板と前記第３の基板とを電気的接続する第３の接続部、
を備える
請求項４を引用する請求項１１または請求項１２に記載の固体撮像装置。
前記第３の接続部は、
前記第２の基板と前記第３の基板との間に配置され、該第３の基板に配置された前記第３の電荷蓄積回路のそれぞれに対応し、前記第２の基板に配置されたそれぞれの前記第２の電荷蓄積回路から、該第３の基板に配置された対応する前記第３の電荷蓄積回路に転送されるそれぞれの前記信号電荷の信号線のそれぞれを、該第２の基板と該第３の基板との間で電気的に接続する
請求項１３に記載の固体撮像装置。
前記第３の電荷蓄積回路は、
前記第１の基板にさらに複数配置される
請求項６を引用する請求項１１または請求項１２に記載の固体撮像装置。
請求項１から請求項１０のいずれか１の項に記載の固体撮像装置と、
前記固体撮像装置に備えた前記第１の電荷蓄積回路から前記第１の画素信号を読み出す第１の読み出し部と、
前記固体撮像装置に備えた前記第２の電荷蓄積回路から前記第２の画素信号を読み出す第２の読み出し部と、
を備える撮像システム。
当該撮像システムは、
前記第１の読み出し部による前記第１の画素信号の読み出しに先立って、前記画素の数を減縮した前記第２の画素信号を、前記第２の読み出し部によって読み出す
請求項１６に記載の撮像システム。
当該撮像システムは、
前記第１の読み出し部による前記第１の画素信号の読み出しを行わず、
前記第１の電荷蓄積回路に保持した前記信号電荷を破棄する
請求項１６または請求項１７に記載の撮像システム。
当該撮像システムは、
前記第１の画素信号と前記第２の画素信号とのうち、更新頻度が高い前記第２の画素信号を優先して、前記第２の読み出し部によって読み出す
請求項１６に記載の撮像システム。
請求項１１、または請求項１１を引用する請求項１２から請求項１５のいずれか１の項に記載の固体撮像装置と、
前記固体撮像装置に備えた前記第１の電荷蓄積回路から前記第１の画素信号を読み出す第１の読み出し部と、
前記固体撮像装置に備えた前記第２の電荷蓄積回路から前記第２の画素信号を読み出す第２の読み出し部と、
前記固体撮像装置に備えた前記第３の電荷蓄積回路から前記第３の画素信号を読み出す第３の読み出し部と、
を備える撮像システム。
当該撮像システムは、
前記第１の読み出し部による前記第１の画素信号の読み出しに先立って、前記画素の数を減縮した前記第２の画素信号の前記第２の読み出し部による読み出し、または前記画素の数をさらに減縮した前記第３の画素信号の前記第３の読み出し部による読み出しを行う
請求項２０に記載の撮像システム。
当該撮像システムは、
前記第１の読み出し部による前記第１の画素信号の読み出し、または前記第２の読み出し部による前記第２の画素信号の読み出しの少なくとも一方の読み出しを行わず、
読み出しを行わない前記第１の電荷蓄積回路または前記第２の電荷蓄積回路の少なくとも一方に保持した前記信号電荷を破棄する
請求項２０または請求項２１に記載の撮像システム。
当該撮像システムは、
前記第１の画素信号、前記第２の画素信号、および前記第３の画素信号のうち、更新頻度が高い前記第２の画素信号または前記第３の画素信号を優先して、対応する前記第２の読み出し部または前記第３の読み出し部によって読み出す
請求項２０に記載の撮像システム。