以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明は、例示のために特定の詳細な内容が含まれている。しかし、当業者であれば、以下に説明する詳細な内容に様々な変更を加えた場合であっても、本発明の範囲を超えないことは理解できるであろう。従って、以下に説明する本発明の例示的な実施形態は、権利を請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。
図1は、本発明の実施形態の固体撮像装置の概略構成を示したブロック図である。なお、固体撮像装置においては、複数の画素を二次元の行列状に配置することによって画素アレイを形成し、この画素アレイを備えるが、説明を容易にするため、図1においては、固体撮像装置に、画素100aと画素100bとの2つの画素が配置されている場合の一例について説明する。実際には、画素100a、画素100bの組が複数個(例えば、固体撮像装置の全ての画素数の1/2組)存在する。なお、固体撮像装置1には、この固体撮像装置1を搭載した撮像システムに備えた、固体撮像装置1の制御を行う制御装置による制御に応じて、それぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの走査回路や、画素信号を固体撮像装置1の外部に出力するための出力アンプなどの構成要素も備えているが、図1においては省略している。
なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素100aまたは画素100bを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「a」または「b」の符号を付与して説明する。より具体的には、画素100aに対応する構成要素の符号の最後に「a」を付与し、画素100bに対応する構成要素の符号の最後に「b」を付与して説明する。また、画素100aおよび画素100bに共通して対応する構成要素には、「a」、「b」の符号は付与せずに説明する。また、画素100aまたは画素100bのいずれか一方の画素に対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「a」または「b」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
図1に示した固体撮像装置1は、光電変換部101aおよび光電変換部101bと、電荷転送回路102aおよび電荷転送回路102bと、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bと、第2の電荷蓄積回路104とから構成される。なお、光電変換部101aおよび光電変換部101bの2個に対して、1個の第2の電荷蓄積回路104が配置されているが、例えば、9個の光電変換部に対して1個の第2の電荷蓄積回路104が配置されてもよいし、25個の光電変換部に対して1個の第2の電荷蓄積回路104が配置されてもよい。すなわち、複数の光電変換部に対して1個の第2の電荷蓄積回路104が配置されていればよい。
光電変換部101aおよび光電変換部101bのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。
電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aまたは光電変換部101bが発生して蓄積した信号電荷を、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bと、第2の電荷蓄積回路104とのそれぞれに転送するための回路である。
第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bのそれぞれは、対応する電荷転送回路102aまたは電荷転送回路102bから転送された、対応する光電変換部101aまたは光電変換部101bが発生した信号電荷を保持(蓄積)する回路である。また、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bのそれぞれは、保持した信号電荷に応じた信号電圧を、画素信号として出力する回路でもある。
第2の電荷蓄積回路104は、電荷転送回路102aおよび電荷転送回路102bのそれぞれから転送された、光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。つまり、第2の電荷蓄積回路104は、固体撮像装置1に備えたそれぞれの画素の信号電荷を加算平均することによって、画素の数(画素数)を減縮した状態にするための信号電荷を保持する回路である。また、第2の電荷蓄積回路104は、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の画素信号として出力する回路でもある。
なお、画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷を第2の電荷蓄積回路104に保持する際に加算平均する構成、第2の電荷蓄積回路104が保持したそれぞれの信号電荷に応じた信号電圧(画素信号)を出力する際に加算平均する構成などがある。なお、第2の電荷蓄積回路104が保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。
実施形態によれば、入射した光を光電変換した信号電荷を発生する光電変換部(光電変換部101aまたは光電変換部101b)を行列状に配置した複数の画素(画素100aおよび画素100b)と、光電変換部101aまたは光電変換部101bが発生した信号電荷を保持し、ここで保持した信号電荷に応じた信号電圧を、第1の画素信号(全ての画素の画素信号)として出力する複数の第1の電荷蓄積回路(第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b)と、光電変換部101aまたは光電変換部101bが発生した信号電荷を第1の電荷蓄積回路103aまたは第1の電荷蓄積回路103bに転送する複数の電荷転送回路(電荷転送回路102aおよび電荷転送回路102b)と、複数の画素(画素100aおよび画素100b)内のそれぞれの光電変換部101aおよび光電変換部101bが発生した信号電荷に基づいた信号電荷を保持し、ここで保持した信号電荷に応じた信号電圧を、予め定めた数の画素数に減縮した第2の画素信号(画素数を減縮した状態の画素信号)として出力する複数の第2の電荷蓄積回路(第2の電荷蓄積回路104)と、を備え、電荷転送回路102aまたは電荷転送回路102bは、同じ露光期間で対応する光電変換部101aまたは光電変換部101bが発生した信号電荷を第1の電荷蓄積回路103aまたは第1の電荷蓄積回路103bに転送する際に、この信号電荷を第2の電荷蓄積回路104にも転送する、固体撮像装置(固体撮像装置1)が構成される。
また、実施形態によれば、第2の電荷蓄積回路104は、対応する複数の画素(画素100aおよび画素100b)内のそれぞれの光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷を加算または平均化した電荷量の信号電荷を保持する、固体撮像装置1が構成される。
このような構成によって、実施形態の固体撮像装置1では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部101aが発生した信号電荷を第1の電荷蓄積回路103aに、光電変換部101bが発生した信号電荷を第1の電荷蓄積回路103bにそれぞれに保持すると共に、それぞれの信号電荷の電荷量を平均化して画素数を減縮するための信号電荷を第2の電荷蓄積回路104に保持する。そして、実施形態の固体撮像装置1は、第1の電荷蓄積回路103aと第1の電荷蓄積回路103bとのそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、実施形態の固体撮像装置1では、同じ1回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号(以下、「フル解像画像信号」という)と、画素数を減縮した画素信号(以下、「減縮画像信号」という)とのそれぞれを別々に出力することができる。
なお、実施形態の固体撮像装置1では、図1において、それぞれの画素に備えた光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第2の電荷蓄積回路104を備える構成を示した。しかし、実施形態の固体撮像装置1の構成は、図1に示した構成に限定されるものではない。例えば、光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を加算した電荷量の信号電荷を保持する構成にしてもよい。この場合、図1に示した固体撮像装置1は、第2の電荷蓄積回路104の代わりに、固体撮像装置1に備えたそれぞれの画素の信号電荷を加算することによって、画素数を減縮しつつ、信号電荷のレベルを高くした状態の信号電荷を保持する回路(加算電荷蓄積回路)を備える構成となる。また、例えば、光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷と、それぞれの信号電荷の電荷量を加算した量の信号電荷との両方をそれぞれ保持する構成にしてもよい。
実施形態によれば、第2の電荷蓄積回路(例えば、加算電荷蓄積回路)は、対応する複数の画素(画素100aおよび画素100b)内のそれぞれの光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷の内、予め定めた画素内の光電変換部101aまたは光電変換部101bが発生したいずれか1つの信号電荷を保持する、固体撮像装置1が構成される。
(第1の構成例)
次に、実施形態の固体撮像装置1のより具体的な構成の一例について説明する。第1の構成例の固体撮像装置1は、それぞれの光電変換部101が発生した信号電荷を第2の電荷蓄積回路104に保持する際に、それぞれの信号電荷を平均化した信号電荷を保持する構成例である。図2は、本発明の実施形態の固体撮像装置1の第1の構成例を示した回路図である。図2には、固体撮像装置1の第1の構成例のそれぞれの構成要素を複数の基板に分けて構成した多層基板構造の固体撮像装置1を示している。より具体的には、固体撮像装置1は、光電変換基板11と、第1の読み出し基板21と、第2の読み出し基板31との3つの基板による多層基板構造である。この多層基板構造の場合、それぞれの基板の信号線は、異なる基板同士の信号線を電気的に接続する接続部(以下、「基板間接続部」という)によって電気的に接続している。
なお、基板間接続部としては、例えば、蒸着法、めっき法で作製されるバンプなどを用いる。このとき、それぞれの基板の間に存在する空間には、接着剤などの絶縁部材を充填させてもよい。そして、接続されたそれぞれの基板に形成された構成要素同士は、基板間接続部を介して信号の送受信を行う。
なお、基板間接続部の構造は、上述したバンプ方式に限定されるものではなく、例えば、シリコン貫通電極(TSV:Through−Silicon−Via)方式を用いてもよい。また、固体撮像装置1の構造は、必ずしも多層基板構造に限定されるものではなく、1枚の基板、つまり、光電変換基板11と第1の読み出し基板21と第2の読み出し基板31とをモノリシック構造で形成してもよい。しかしながら、上記の3者の構造を比較すると、一般的にバンプ方式の方が、TSV方式よりは面積当たりにおける基板間の接点数を多くすることができる。なぜなら、TSV方式はシリコン貫通電極の周囲に回路を配置することが困難であるためである。また、モノリシックな構造の場合、回路が混雑するために、特に高速動作させたときの発熱が問題となり、また消費電力も大きいと考えられる。したがって、高解像度の固体撮像装置向けには、バンプ方式が最も好ましい。なお、画素加算等により基板間の接点数が少なくなった際にはTSV方式を用いて接続してもよい。また、固体撮像装置の解像度が小さい場合にはTSV方式を用いてもよい。
図2において、固体撮像装置1の第1の構成例は、光電変換基板11に、光電変換部101a,101bと、画素リセットトランジスタ105a,105b、第1の増幅トランジスタ106a,106b、および電荷転送トランジスタ112a,112bとが形成されている。なお、図2においては、画素100aに備えた第1の増幅トランジスタ106aのゲート端子に接続されたノードに付随する容量であるノード容量120aと、画素100bに備えた第1の増幅トランジスタ106bのゲート端子に接続されたノードに付随する容量であるノード容量120bとのそれぞれも、キャパシタの記号で示している。画素100aは、光電変換部101aと、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、で構成されている。画素100bは、光電変換部101bと、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、で構成されている。
また、図2において、固体撮像装置1の第1の構成例は、第1の読み出し基板21に、第1のクランプトランジスタ109a,109b、第1のサンプルホールドトランジスタ108a,108b、第2の増幅トランジスタ111a,111b、第1の選択トランジスタ107a,107b、第1の電荷蓄積部110a,110b、画素負荷トランジスタ114a,114b、および第1のノイズ抑圧素子113a,113bが形成されている。電荷転送回路102aは、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、画素負荷トランジスタ114aと、で構成されている。電荷転送回路102bは、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、画素負荷トランジスタ114bと、で構成されている。第1の電荷蓄積回路103aは、第1のクランプトランジスタ109aと、第1のサンプルホールドトランジスタ108aと、第2の増幅トランジスタ111aと、第1の選択トランジスタ107aと、第1の電荷蓄積部110aと、第1のノイズ抑圧素子113aと、で構成されている。第1の電荷蓄積回路103bは、第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108bと、第2の増幅トランジスタ111bと、第1の選択トランジスタ107bと、第1の電荷蓄積部110bと、第1のノイズ抑圧素子113bと、で構成されている。
また、図2において、固体撮像装置1の第1の構成例は、第2の読み出し基板31に、第2のクランプトランジスタ209、第2のサンプルホールドトランジスタ208、第3の増幅トランジスタ211、第2の選択トランジスタ207、第2の電荷蓄積部210、第2のノイズ抑圧素子213a、および第2のノイズ抑圧素子213bからなる第2の電荷蓄積回路104が形成されている。
そして、光電変換基板11と第1の読み出し基板21とが第1の基板間接続部12aおよび第1の基板間接続部12bによって接続され、第1の読み出し基板21と第2の読み出し基板31とが第2の基板間接続部22aおよび第2の基板間接続部22bによって接続されている。
より具体的には、図2に示した固体撮像装置1の第1の構成例では、光電変換基板11の第1の増幅トランジスタ106aと、第1の読み出し基板21の画素負荷トランジスタ114aおよび第1のノイズ抑圧素子113aとが第1の基板間接続部12aを介して接続されている。また、図2に示した固体撮像装置1の第1の構成例では、光電変換基板11の第1の増幅トランジスタ106bと、第1の読み出し基板21の画素負荷トランジスタ114bおよび第1のノイズ抑圧素子113bとが第1の基板間接続部12bを介して接続されている。また、図2に示した固体撮像装置1の第1の構成例では、光電変換基板11の第1の増幅トランジスタ106aと、第2の読み出し基板31の第2のノイズ抑圧素子213aとが、第1の基板間接続部12aおよび第2の基板間接続部22aを介して接続されている。また、図2に示した固体撮像装置1の第1の構成例では、光電変換基板11の第1の増幅トランジスタ106bと、第2の読み出し基板31の第2のノイズ抑圧素子213bとが、第1の基板間接続部12bおよび第2の基板間接続部22bを介して接続されている。
なお、実施形態の固体撮像装置1の第1の構成例では、光電変換基板11と第1の読み出し基板21とを電気的接続する第1の基板間接続部12aおよび第1の基板間接続部12bの構造や、第1の読み出し基板21と第2の読み出し基板31とを電気的接続する第2の基板間接続部22aおよび第2の基板間接続部22bの構造に関しては、特に規定しない。このため、実施形態の固体撮像装置1の第1の構成例では、例えば、第1の基板間接続部12a、第1の基板間接続部12b、第2の基板間接続部22a、および第2の基板間接続部22bの全てをバンプで形成してもよい。また、例えば、第1の基板間接続部12aおよび第1の基板間接続部12bをバンプで形成し、第2の基板間接続部22aおよび第2の基板間接続部22bをシリコン貫通電極で形成してもよい。また、光電変換基板11と第1の読み出し基板21と第2の読み出し基板31に形成された構成要素を1つの基板に形成する、いわゆる、モノリシック構造にしてもよい。
光電変換部101aおよび光電変換部101bのそれぞれは、入射した光を光電変換して信号電荷を発生して蓄積するフォトダイオードである。
電荷転送トランジスタ112aおよび電荷転送トランジスタ112bのそれぞれは、不図示の垂直走査回路から入力された制御信号φTX1に応じて、対応する光電変換部101aまたは光電変換部101bが発生して蓄積した信号電荷を、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bのゲート端子にそれぞれ転送する。このとき、電荷転送トランジスタ112aによって転送されたそれぞれの信号電荷は、対応するノード容量120aに蓄積され、電荷転送トランジスタ112bによって転送されたそれぞれの信号電荷は、対応するノード容量120bに蓄積される。
第1の増幅トランジスタ106aおよび第1の増幅トランジスタ106bのそれぞれは、ゲート端子に転送された信号電荷、すなわち、対応するノード容量120aまたはノード容量120bにそれぞれ蓄積された信号電荷に応じた信号電圧を、対応する第1の基板間接続部12aまたは第1の基板間接続部12bに出力する。これにより、光電変換部101aと光電変換部101bとのそれぞれで発生した信号電荷に応じた信号電圧のそれぞれが、第1の基板間接続部12aまたは第1の基板間接続部12bを介して、第1の読み出し基板21に出力される。また、光電変換部101aと光電変換部101bとのそれぞれで発生した信号電荷に応じた信号電圧のそれぞれは、さらに、第2の基板間接続部22aまたは第2の基板間接続部22bを介して、第2の読み出し基板31にも出力される。
画素リセットトランジスタ105aおよび画素リセットトランジスタ105bのそれぞれは、不図示の垂直走査回路から入力された制御信号φRST1に応じて、画素100aまたは画素100b内の信号電荷を、電源電圧VDDにリセットする。
画素負荷トランジスタ114aおよび画素負荷トランジスタ114bのそれぞれは、不図示の垂直走査回路から入力された制御信号φBIASに応じて、対応する信号電圧を出力している第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bの負荷として動作する。そして、画素負荷トランジスタ114aおよび画素負荷トランジスタ114bのそれぞれは、対応する信号電圧を出力している第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bを駆動するための電流を、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bに供給する。
第1のノイズ抑圧素子113aおよび第1のノイズ抑圧素子113bのそれぞれは、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bから、第1の基板間接続部12aまたは第1の基板間接続部12bを介して入力された信号電圧を保持(蓄積)する容量である。
第1のクランプトランジスタ109aおよび第1のクランプトランジスタ109bのそれぞれは、不図示の垂直走査回路から入力された制御信号φRST2に応じて、対応する第1の電荷蓄積部110aまたは第1の電荷蓄積部110bと、第1のノイズ抑圧素子113aまたは第1のノイズ抑圧素子113bとのそれぞれを固定電位VREFにクランプする。これにより、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第1のノイズ抑圧素子113aおよび第1のノイズ抑圧素子113bとのそれぞれは、クランプされた固定電位VREFを保持する。
第1のサンプルホールドトランジスタ108aおよび第1のサンプルホールドトランジスタ108bのそれぞれは、不図示の垂直走査回路から入力された制御信号φTX2に応じて、対応する第1のノイズ抑圧素子113aまたは第1のノイズ抑圧素子113bの信号電圧を、対応する第1の電荷蓄積部110aまたは第1の電荷蓄積部110bに保持させる。
第1の電荷蓄積部110aおよび第1の電荷蓄積部110bのそれぞれは、対応する第1のサンプルホールドトランジスタ108aまたは第1のサンプルホールドトランジスタ108bを介して入力された信号電圧(ノイズ除去処理された信号)を保持(蓄積)する容量である。
画素100aから出力された信号は、画素負荷トランジスタ114a、第1のクランプトランジスタ109a、第1のサンプルホールドトランジスタ108a、第1の電荷蓄積部110a、および第1のノイズ抑圧素子113aの構成によって、リーク電流(暗電流)に起因するノイズ除去処理が行われる。そして、第1の電荷蓄積部110aは、ノイズ除去処理された信号を保持する。また、画素100bから出力された信号は、画素負荷トランジスタ114b、第1のクランプトランジスタ109b、第1のサンプルホールドトランジスタ108b、第1の電荷蓄積部110b、および第1のノイズ抑圧素子113bの構成によって、リーク電流(暗電流)に起因するノイズ除去処理が行われ、第1の電荷蓄積部110bは、ノイズ除去処理された信号を保持する。
なお、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bとしては、単位面積当たりのリーク電流(暗電流)が少ない容量であるMIM(Metal Insulator Metal)容量や、MOS(Metal Oxide Semiconductor)容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。
第2の増幅トランジスタ111aおよび第2の増幅トランジスタ111bのそれぞれは、ゲート端子の電圧、すなわち、対応する第1の電荷蓄積部110aまたは第1の電荷蓄積部110bにそれぞれ蓄積されたノイズ除去処理された信号に応じた信号電圧を出力する。
第1の選択トランジスタ107aおよび第1の選択トランジスタ107bのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φSEL1Aまたは制御信号φSEL1Bに応じて、第2の増幅トランジスタ111aまたは第2の増幅トランジスタ111bから出力される信号電圧を、固体撮像装置1に備えたそれぞれの画素の画素信号として第1の垂直信号線19に出力する。これにより、それぞれの画素に備えた光電変換部101aと光電変換部101bとのいずれか一方の光電変換部が発生した信号電荷に応じた画素信号が、第1の垂直信号線19に読み出される。
第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bのそれぞれは、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bから、第1の基板間接続部12aと第2の基板間接続部22a、または第1の基板間接続部12bと第2の基板間接続部22bを介して入力された信号電圧を保持(蓄積)する容量である。
第2のクランプトランジスタ209は、不図示の垂直走査回路から入力された制御信号φRST2Aに応じて、第2の電荷蓄積部210と、第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bとのそれぞれを固定電位VREFにクランプする。これにより、第2の電荷蓄積部210と、第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bとのそれぞれは、クランプされた固定電位VREFを保持する。
第2のサンプルホールドトランジスタ208は、不図示の垂直走査回路から入力された制御信号φSHに応じて、第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bのそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を、第2の電荷蓄積部210に保持させる。
第2の電荷蓄積部210は、第2のサンプルホールドトランジスタ208を介して入力された信号電圧(第2の電荷蓄積回路104内でノイズ除去処理された信号)を保持(蓄積)する容量である。
第2の電荷蓄積回路104では、第1の読み出し基板21に形成された画素負荷トランジスタ114aと、第2のクランプトランジスタ209、第2のサンプルホールドトランジスタ208、第2の電荷蓄積部210、第2のノイズ抑圧素子213a、および第2のノイズ抑圧素子213bの構成によって、リーク電流(暗電流)に起因するノイズ除去処理を第2の電荷蓄積回路104内で行う。そして、第2の電荷蓄積部210は、ノイズ除去処理された信号を保持する。
なお、第2の電荷蓄積部210としても、画素100aおよび画素100bと同様に、単位面積当たりのリーク電流(暗電流)が少ない容量であるMIM容量や、MOS容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。
第3の増幅トランジスタ211は、ゲート端子の電圧、すなわち、第2の電荷蓄積部210に蓄積されたノイズ除去処理された信号に応じた信号電圧を出力する。
第2の選択トランジスタ207は、不図示の垂直走査回路から入力された制御信号φSEL2に応じて、第3の増幅トランジスタ211から出力される信号電圧を、固体撮像装置1に備えた予め定めた画素数の画素信号を平均化した画素信号として第2の垂直信号線29に出力する。これにより、それぞれの画素に備えた光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷に応じた画素信号が、第2の垂直信号線29に読み出される。
第1の構成例によれば、光電変換部101aおよび光電変換部101bが配置された光電変換基板(光電変換基板11)と、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路104の一方が複数配置された第1の基板(第1の読み出し基板21)と、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路104の他方が複数配置された第2の基板(第2の読み出し基板31)と、光電変換基板11と第1の読み出し基板21とを電気的接続する第1の接続部(第1の基板間接続部12aまたは第1の基板間接続部12b)と、第1の読み出し基板21と第2の読み出し基板31とを電気的接続する第2の接続部(第2の基板間接続部22aまたは第2の基板間接続部22b)と、によって構成される、固体撮像装置1が構成される。
また、第1の構成例によれば、第1の基板間接続部12aまたは第1の基板間接続部12bは、光電変換基板11と第1の読み出し基板21との間に配置され、第1の読み出し基板21に配置された第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路104の一方のそれぞれに対応し、光電変換基板11に配置されたそれぞれの光電変換部(光電変換部101aおよび光電変換部101b)から、第1の読み出し基板21に配置された対応する第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路104の一方に転送されるそれぞれの信号電荷の信号線のそれぞれを、光電変換基板11と第1の読み出し基板21との間で電気的に接続し、第2の基板間接続部22aまたは第2の基板間接続部22bは、第1の読み出し基板21と第2の読み出し基板31との間に配置され、第2の読み出し基板31に配置された第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路104の他方のそれぞれに対応し、光電変換基板11に配置されたそれぞれの光電変換部(光電変換部101aおよび光電変換部101b)から、第1の読み出し基板21を介して第2の読み出し基板31に配置された対応する第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路104の他方に転送されるそれぞれの信号電荷の信号線のそれぞれを、第1の読み出し基板21と第2の読み出し基板31との間で電気的に接続する、固体撮像装置1が構成される。
このような構成によって固体撮像装置1の第1の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12bと、第2の基板間接続部22aおよび第2の基板間接続部22b)を介して読み出す。そして、ノイズ抑圧した後の信号(ノイズ除去処理後の信号)を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持する。また、固体撮像装置1の第1の構成例では、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷の電荷量を平均化した信号電荷に応じたそれぞれの信号電圧をノイズ抑圧した後の信号(ノイズ除去処理後の信号)を、2つの光電変換部に共通の電荷蓄積部(第2の電荷蓄積部210)に保持する。その後、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第2の電荷蓄積部210)に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、画素信号として第1の垂直信号線19および第2の垂直信号線29のそれぞれに順次読み出しを行う。
なお、図2に示した固体撮像装置1の第1の構成例では、光電変換部101aを含むそれぞれの構成要素を備えた画素100aと、光電変換部101bを含むそれぞれの構成要素を備えた画素100bとが組になった構成の一例を示したが、固体撮像装置1に配置される画素の組は、図2に示した構成に限定されるものではない。すなわち、図2に示した構成よりもさらに多くの画素数で1つの組を構成してもよい。そして、この画素の組を複数配置することによって固体撮像装置1に備える画素アレイを形成してもよい。
次に、実施形態の固体撮像装置1における第1の構成例の駆動タイミングについて説明する。図3は、本発明の実施形態の固体撮像装置1の第1の構成例を駆動するタイミングを示したタイミングチャートである。図3に示したタイミングチャートは、画素100aと画素100bとを同時に露光し、画素100aの画素信号と画素100bの画素信号とのそれぞれを第1の垂直信号線19に順次出力すると共に、画素100aの画素信号と画素100bの画素信号とを平均化した画素信号を第2の垂直信号線29に出力する固体撮像装置1の第1の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。
なお、固体撮像装置1の第1の構成例では、図2に示したように、画素100aと画素100bとの2つの画素が1つの組として構成されている。そして、固体撮像装置1の第1の構成例では、2つの光電変換部101aおよび光電変換部101bのそれぞれに対応した2つの第1の電荷蓄積回路103a(第1の電荷蓄積部110aを含む)および第1の電荷蓄積回路103b(第1の電荷蓄積部110bを含む)と、2つの光電変換部101aおよび光電変換部101bに共通の第2の電荷蓄積回路104(第2の電荷蓄積部210を含む)とを備えている。このため、図3に示したタイミングチャートには、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第2の電荷蓄積部210とのそれぞれに、2つの光電変換部101aおよび光電変換部101bのそれぞれが発生した信号電荷を保持させるタイミングを示している。
まず、時刻t1において、全ての画素(画素100aおよび画素100b)をリセットする。より具体的には、時刻t1において、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bと、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bとをオン状態にする。これにより、画素100aおよび画素100bに備えた光電変換部101aおよび光電変換部101bと、ノード容量120aおよびノード容量120bとがリセットされる。
その後、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“L”レベルにして、画素100aと画素100bとのリセットを解除する。これにより、画素100aと画素100bとが同時に露光を開始する。すなわち、画素100aに備えた光電変換部101aと画素100bに備えた光電変換部101bとが、入射した光を光電変換した信号電荷の蓄積を開始する。
続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光した信号(以下、「露光レベルの信号」という)との、対応する第1の基板間接続部12aおよび第2の基板間接続部22aへの読み出しと、第1の基板間接続部12bおよび第2の基板間接続部22bへの読み出しとを行う。そして、第1の電荷蓄積回路103aでは、対応する光電変換部101aのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、第1の電荷蓄積回路103bでは、対応する光電変換部101bのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、第2の電荷蓄積回路104では、平均化したリセットレベルの信号と平均化した露光レベルの信号との差分をとるノイズ除去処理を行う。
より具体的には、時刻t2において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aを、対応する第1の増幅トランジスタ106aの負荷として動作させ、画素負荷トランジスタ114bを、対応する第1の増幅トランジスタ106bの負荷として動作させる。
また、不図示の垂直走査回路は、制御信号φRST1を“H”レベルにして、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bをオン状態にし、ノード容量120aおよびノード容量120bをリセットする。これにより、第1の増幅トランジスタ106aから光電変換部101aのリセットレベルの信号電圧が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、第1の基板間接続部12aおよび第2の基板間接続部22aを介して第2のノイズ抑圧素子213aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bのリセットレベルの信号電圧が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、第1の基板間接続部12bおよび第2の基板間接続部22bを介して第2のノイズ抑圧素子213bに出力される。
また、不図示の垂直走査回路は、制御信号φRST2および制御信号φTX2を“H”レベルにして、第1のクランプトランジスタ109aおよび第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108aおよび第1のサンプルホールドトランジスタ108bとをオン状態にする。これにより、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第1のノイズ抑圧素子113aおよび第1のノイズ抑圧素子113bとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φRST2Aおよび制御信号φSHを“H”レベルにして、第2のクランプトランジスタ209および第2のサンプルホールドトランジスタ208をオン状態にする。これにより、第2の電荷蓄積部210と、第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bとのそれぞれがクランプされる。
その後、不図示の垂直走査回路は、制御信号φRST1を“L”レベルにして、ノード容量120aおよびノード容量120bのリセットを解除する。続いて、時刻t3において、不図示の垂直走査回路は、制御信号φRST2を“L”レベルにして、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bのクランプを解除する。また、不図示の垂直走査回路は、制御信号φRST2Aを“L”レベルにして、第2の電荷蓄積部210のクランプを解除する。
続いて、時刻t4において、不図示の垂直走査回路は、制御信号φTX1を“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bをオン状態にし、光電変換部101aに蓄積された信号電荷を、第1の増幅トランジスタ106aのゲート端子に、光電変換部101bに蓄積された信号電荷を、第1の増幅トランジスタ106bのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ112aによって転送された信号電荷は、ノード容量120aに蓄積され、電荷転送トランジスタ112bによって転送された信号電荷は、ノード容量120bに蓄積される。これにより、第1の増幅トランジスタ106aから光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、第1の基板間接続部12aおよび第2の基板間接続部22aを介して第2のノイズ抑圧素子213aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、第1の基板間接続部12bおよび第2の基板間接続部22bを介して第2のノイズ抑圧素子213bに出力される。
そして、第1のノイズ抑圧素子113aは、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、同様に、第1のノイズ抑圧素子113bは、光電変換部101bのノイズ除去処理された信号電圧を出力する。また、同様に、第2のノイズ抑圧素子213aは、光電変換部101aのノイズ除去処理された信号電圧を出力し、第2のノイズ抑圧素子213bは、光電変換部101bのノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φTX1を“L”レベルにして、光電変換部101aが蓄積した信号電荷の第1の増幅トランジスタ106aのゲート端子への転送と、光電変換部101bが蓄積した信号電荷の第1の増幅トランジスタ106bのゲート端子への転送とを停止する。
続いて、時刻t5において、不図示の垂直走査回路は、制御信号φTX2を“L”レベルにして、第1の電荷蓄積部110aのサンプルホールドと、第1の電荷蓄積部110bのサンプルホールドとを停止する。これにより、第1の電荷蓄積部110aは、第1のノイズ抑圧素子113aが出力しているノイズ除去処理された信号電圧を保持し、第1の電荷蓄積部110bは、第1のノイズ抑圧素子113bが出力しているノイズ除去処理された信号電圧を保持する。また、不図示の垂直走査回路は、制御信号φSHを“L”レベルにして、第2の電荷蓄積部210のサンプルホールドを停止する。これにより、第2の電荷蓄積部210は、第2のノイズ抑圧素子213aと第2のノイズ抑圧素子213bとが出力しているノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。
ここまでで、画素100aに備えた光電変換部101aが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110aに保持され、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110bに保持(蓄積)されることになる。また、画素100aに備えた光電変換部101aが発生した信号電荷の電荷量と画素100bに備えた光電変換部101bが発生した信号電荷の電荷量とを平均化した信号電荷がノイズ除去処理されて、第2の電荷蓄積部210に保持(蓄積)されることになる。
続いて、時刻t6において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aおよび画素負荷トランジスタ114bのそれぞれの、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bの負荷としての動作を停止させる。
その後、不図示の垂直走査回路は、制御信号φSEL1Aおよび制御信号φSEL1Bを順次制御して、第1の電荷蓄積部110aと第1の電荷蓄積部110bとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第1の垂直信号線19に出力させる。また、不図示の垂直走査回路は、制御信号φSEL2を制御して、第2の電荷蓄積部210に保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号として第2の垂直信号線29に出力させる。
なお、固体撮像装置1の第1の構成例では、全ての画素の画素信号(フル解像画像信号)と、画素数を減縮した画素信号(減縮画像信号)とのそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。このため、固体撮像装置1の第1の構成例では、例えば、減縮画像信号に続いてフル解像画像信号を出力することや、減縮画像信号のみを出力することもできる。従って、不図示の垂直走査回路が制御信号φSEL1A、制御信号φSEL1B、および制御信号φSEL2を制御して、フル解像画像信号を第1の垂直信号線19に出力させるタイミングや、減縮画像信号を第2の垂直信号線29に出力させるタイミングに関する詳細な説明は省略する。
このような駆動タイミングによって固体撮像装置1の第1の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12bと、第2の基板間接続部22aおよび第2の基板間接続部22b)に読み出させる。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持させる。また、固体撮像装置1の第1の構成例の駆動タイミングでは、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷の電荷量を平均化した信号電荷に応じたそれぞれのノイズ除去処理後の信号を、2つの光電変換部に共通の電荷蓄積部(第2の電荷蓄積部210)に保持させる。そして、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第2の電荷蓄積部210)に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第1の垂直信号線19に、減縮画像信号として第2の垂直信号線29に、それぞれに出力させる。
このように、実施形態の固体撮像装置1の第1の構成例では、画素100aに備えた光電変換部101aの信号電荷をノイズ除去処理して第1の電荷蓄積部110aに保持し、画素100bに備えた光電変換部101bの信号電荷をノイズ除去処理して第1の電荷蓄積部110bに保持すると共に、それぞれの信号電荷を平均化してノイズ除去処理して、第2の電荷蓄積部210に保持する。これにより、実施形態の固体撮像装置1の第1の構成例では、第1の電荷蓄積部110aと第1の電荷蓄積部110bとのそれぞれに保持した信号電圧に応じた画素信号、つまり、全ての画素の画素信号(フル解像画像信号)と、第2の電荷蓄積部210に保持した信号電圧に応じた画素信号、つまり、画素数を減縮した画素信号(減縮画像信号)との両方を独立に出力することができる。このとき、実施形態の固体撮像装置1の第1の構成例では、それぞれの画素の画素信号を平均化した、つまり、加算平均した画素信号を、画素数を減縮した画素信号として出力する。このため、実施形態の固体撮像装置1の第1の構成例で出力した減縮画像信号に基づいて生成した画像は、それぞれの画素を行毎に間引いて画素数を減縮する従来の技術で出力した画素信号に基づいて生成した画像よりも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像になる。
また、実施形態の固体撮像装置1の第1の構成例では、ノイズ除去処理したそれぞれの信号電圧を、第1の電荷蓄積部110aと、第1の電荷蓄積部110bと、画素100aおよび画素100bに対応した第2の電荷蓄積部210とに別々に保持する。そして、実施形態の固体撮像装置1の第1の構成例では、第1の電荷蓄積部110aと第1の電荷蓄積部110bとのそれぞれに保持した信号電圧に応じた画素信号を第1の垂直信号線19から出力し、第2の電荷蓄積部210に保持した信号電圧に応じた画素信号を第2の垂直信号線29に出力する。つまり、実施形態の固体撮像装置1の第1の構成例では、全ての画素のフル解像画像信号と、画素数を減縮した減縮画像信号とのそれぞれを、独立に出力することができる。これにより、実施形態の固体撮像装置1を搭載した撮像システムでは、固体撮像装置1から出力されるフル解像画像信号に基づいて生成する高解像度の画像(以下、「フル解像度画像」という)と、減縮画像信号に基づいて生成する低解像度の画像(以下、「縮小画像」という)とを、並列に生成することができる。
(第2の構成例)
次に、実施形態の固体撮像装置1における別の構成の一例について説明する。第2の構成例の固体撮像装置1は、それぞれの光電変換部101が発生した信号電荷を第2の電荷蓄積回路104に保持した後、保持したそれぞれの信号電荷に応じた信号電圧(画素信号)を出力する際に平均化して出力する構成例である。第2の構成例の固体撮像装置1は、第1の構成例の固体撮像装置1と同様に、それぞれの構成要素を、光電変換基板と、第1の読み出し基板と、第2の読み出し基板との3つの基板に分けて構成した多層基板構造において、第1の読み出し基板と第2の読み出し基板とを接続する基板間接続部の数を、第1の構成例よりも少なくしている。このため、第2の構成例の固体撮像装置1では、第1の読み出し基板と第2の読み出し基板との基板間接続部を少なくするための構成要素として、マルチプレクサを備えている。そして、マルチプレクサを制御することによって、第1の構成例の固体撮像装置1と同様に、それぞれの画素の画素信号を平均化する。
なお、第2の構成例の固体撮像装置1の構成要素には、第1の構成例の固体撮像装置1の構成要素と同様の構成要素も含まれている。従って、第2の構成例の固体撮像装置1の構成要素において、第1の構成例の固体撮像装置1の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
図4は、本発明の実施形態の固体撮像装置1の第2の構成例を示した回路図である。図4において、固体撮像装置1の第2の構成例は、光電変換基板11に、光電変換部101a,101bと、画素リセットトランジスタ105a,105b、第1の増幅トランジスタ106a,106b、および電荷転送トランジスタ112a,112bとが形成されている。なお、図4においても、第1の構成例の光電変換基板11と同様に、ノード容量120aとノード容量120bとのそれぞれを、キャパシタの記号で示している。画素100aは、光電変換部101aと、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、で構成されている。画素100bは、光電変換部101bと、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、で構成されている。なお、光電変換基板11は、第1の構成例の光電変換基板11と同様である。
また、図4において、固体撮像装置1の第2の構成例は、第1の読み出し基板21に、第1のクランプトランジスタ109a,109b、第1のサンプルホールドトランジスタ108a,108b、第2の増幅トランジスタ111a,111b、第1の選択トランジスタ107a,107b、第1の電荷蓄積部110a,110b、画素負荷トランジスタ114a,114b、および第1のノイズ抑圧素子113a,113bが形成されている。さらに、固体撮像装置1の第2の構成例は、第1の読み出し基板21に、画素選択トランジスタ115aと画素選択トランジスタ115bとから構成されるマルチプレクサが形成されている。電荷転送回路102aは、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、画素負荷トランジスタ114aと、画素選択トランジスタ115aと、で構成されている。電荷転送回路102bは、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、画素負荷トランジスタ114bと、画素選択トランジスタ115bと、で構成されている。第1の電荷蓄積回路103aは、第1のクランプトランジスタ109aと、第1のサンプルホールドトランジスタ108aと、第2の増幅トランジスタ111aと、第1の選択トランジスタ107aと、第1の電荷蓄積部110aと、第1のノイズ抑圧素子113aと、で構成されている。第1の電荷蓄積回路103bは、第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108bと、第2の増幅トランジスタ111bと、第1の選択トランジスタ107bと、第1の電荷蓄積部110bと、第1のノイズ抑圧素子113bと、で構成されている。なお、第1の読み出し基板21内に形成されたそれぞれの構成要素において、マルチプレクサ以外のそれぞれの構成要素は、第1の構成例の第1の読み出し基板21に形成されたそれぞれの構成要素と同様である。
また、図4において、固体撮像装置1の第2の構成例は、第2の読み出し基板31に、画素100aに対応する第2のクランプトランジスタ209a、第2の電荷蓄積部210a、第2のノイズ抑圧素子213a、および画素選択トランジスタ212aと、画素100bに対応する第2のクランプトランジスタ209b、第2の電荷蓄積部210b、第2のノイズ抑圧素子213b、および画素選択トランジスタ212bと、第3の増幅トランジスタ211、第2の選択トランジスタ207、および平均用スイッチトランジスタ214とからなる第2の電荷蓄積回路104が形成されている。なお、第2の読み出し基板31では、画素選択トランジスタ212aと画素選択トランジスタ212bとの構成によって、第1の読み出し基板21内に形成されたマルチプレクサに対応するデマルチプレクサが構成されている。
そして、光電変換基板11と第1の読み出し基板21とが第1の基板間接続部12aおよび第1の基板間接続部12bによって接続され、第1の読み出し基板21と第2の読み出し基板31とが第2の基板間接続部22によって接続されている。
より具体的には、図4に示した固体撮像装置1の第2の構成例では、光電変換基板11の第1の増幅トランジスタ106aと、第1の読み出し基板21の画素負荷トランジスタ114a、第1のノイズ抑圧素子113a、および画素選択トランジスタ115aとが第1の基板間接続部12aを介して接続されている。また、図4に示した固体撮像装置1の第2の構成例では、光電変換基板11の第1の増幅トランジスタ106bと、第1の読み出し基板21の画素負荷トランジスタ114b、第1のノイズ抑圧素子113b、および画素選択トランジスタ115bとが第1の基板間接続部12bを介して接続されている。また、図4に示した固体撮像装置1の第2の構成例では、第1の読み出し基板21の画素選択トランジスタ115aおよび画素選択トランジスタ115bと、第2の読み出し基板31の画素選択トランジスタ212aおよび画素選択トランジスタ212bとが、第2の基板間接続部22を介して接続されている。これにより、光電変換部101aと光電変換部101bとのそれぞれで発生した信号電荷に応じた信号電圧のそれぞれは、第1の読み出し基板21に形成されたマルチプレクサと第2の基板間接続部22を介して、第2の読み出し基板31にも出力される。
なお、実施形態の固体撮像装置1の第2の構成例でも、固体撮像装置1の第1の構成例と同様に、光電変換基板11と第1の読み出し基板21とを電気的接続する第1の基板間接続部12aおよび第1の基板間接続部12bの構造や、第1の読み出し基板21と第2の読み出し基板31とを電気的接続する第2の基板間接続部22の構造に関しては、特に規定しない。
画素選択トランジスタ115aおよび画素選択トランジスタ115bのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φSH1Aまたは制御信号φSH1Bに応じて、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して入力された信号電圧、または第1の増幅トランジスタ106bから第1の基板間接続部12bを介して入力された信号電圧のいずれか一方を、第2の基板間接続部22に出力する。つまり、第2の構成例の固体撮像装置1では、画素選択トランジスタ115aと画素選択トランジスタ115bとの構成が、2つの信号電圧から1つの信号電荷を選択するマルチプレクサとして動作する。これにより、それぞれの画素に備えた光電変換部101aと光電変換部101bとのいずれか一方の光電変換部が発生した信号電荷に応じた信号電圧が、第2の基板間接続部22を介して第2の読み出し基板31に出力される。
画素選択トランジスタ212aおよび画素選択トランジスタ212bのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φSH2Aまたは制御信号φSH2Bに応じて、第2の基板間接続部22を介して入力された信号電圧を、対応する第2のノイズ抑圧素子213aまたは第2のノイズ抑圧素子213bに出力し保持させる。つまり、第2の構成例の固体撮像装置1では、画素選択トランジスタ212aと画素選択トランジスタ212bとの構成が、入力された1つの信号電圧を対応する第2のノイズ抑圧素子213aまたは第2のノイズ抑圧素子213bのいずれか一方に出力するデマルチプレクサとして動作する。これにより、それぞれの画素に備えた光電変換部101aと光電変換部101bとのそれぞれが発生した信号電荷に応じたそれぞれの信号電圧が、対応する第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bのそれぞれに保持される。
第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bのそれぞれは、対応する画素選択トランジスタ212aまたは画素選択トランジスタ212bから出力された信号電圧を保持(蓄積)する容量である。
第2のクランプトランジスタ209aおよび第2のクランプトランジスタ209bのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φRST2Aまたは制御信号φRST2Bに応じて、対応する第2の電荷蓄積部210aまたは第2の電荷蓄積部210bと、対応する第2のノイズ抑圧素子213aまたは第2のノイズ抑圧素子213bとのそれぞれを固定電位VREFにクランプする。これにより、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bと、第2のノイズ抑圧素子213aおよび第2のノイズ抑圧素子213bとのそれぞれは、クランプされた固定電位VREFを保持する。
第2の電荷蓄積部210aおよび第2の電荷蓄積部210bのそれぞれは、対応する第2のノイズ抑圧素子213aまたは第2のノイズ抑圧素子213bが保持している信号電圧(第2の電荷蓄積回路104内でノイズ除去処理された信号)を保持(蓄積)する容量である。
第2の構成例における第2の電荷蓄積回路104では、第2のクランプトランジスタ209a、第2の電荷蓄積部210a、および第2のノイズ抑圧素子213aの構成によって、リーク電流(暗電流)に起因するノイズ除去処理を第2の電荷蓄積回路104内で行い、第2の電荷蓄積部210aは、ノイズ除去処理された信号を保持する。また、第2の構成例における第2の電荷蓄積回路104では、第2のクランプトランジスタ209b、第2の電荷蓄積部210b、および第2のノイズ抑圧素子213bの構成によって、リーク電流(暗電流)に起因するノイズ除去処理を第2の電荷蓄積回路104内で行い、第2の電荷蓄積部210bは、ノイズ除去処理された信号を保持する。
なお、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bとしても、第1の構成例の第2の電荷蓄積部210と同様に、単位面積当たりのリーク電流(暗電流)が少ない容量であるMIM容量や、MOS容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。
平均用スイッチトランジスタ214は、不図示の垂直走査回路から入力された制御信号φMixに応じて、第2の電荷蓄積部210aと第2の電荷蓄積部210bとを短絡する。これにより、短絡された後の第2の電荷蓄積部210aと第2の電荷蓄積部210bとには、短絡される前に保持していたノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧が保持される。
第3の増幅トランジスタ211は、ゲート端子の電圧、すなわち、平均用スイッチトランジスタ214によって短絡されることにより、第2の電荷蓄積部210aと第2の電荷蓄積部210bとに保持されていたそれぞれの信号電圧が平均化されたノイズ除去処理された信号に応じた信号電圧を出力する。
このような構成によって固体撮像装置1の第2の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12b)を介して読み出す。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持する。また、固体撮像装置1の第2の構成例では、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって選択して第2の基板間接続部22に出力させる。そして、デマルチプレクサ(画素選択トランジスタ212aおよび画素選択トランジスタ212b)によって、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持する。その後、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持した信号を平均化する。その後、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に蓄積されたノイズ除去処理後の信号に応じた信号電圧と平均化した信号電圧とのそれぞれを、画素信号として第1の垂直信号線19および第2の垂直信号線29のそれぞれに順次読み出しを行う。
なお、図4に示した固体撮像装置1の第2の構成例では、光電変換部101aを含むそれぞれの構成要素を備えた画素100aと、光電変換部101bを含むそれぞれの構成要素を備えた画素100bとが組になった構成の一例を示したが、固体撮像装置1に配置される画素の組は、第1の構成例の固体撮像装置1と同様に、図4に示した構成に限定されるものではない。すなわち、図4に示した構成よりもさらに多くの画素数で1つの組を構成し、この画素の組を複数配置することによって固体撮像装置1内に備える画素アレイを形成してもよい。
次に、実施形態の固体撮像装置1における第2の構成例の駆動タイミングについて説明する。図5は、本発明の実施形態の固体撮像装置1の第2の構成例を駆動するタイミングを示したタイミングチャートである。図5に示したタイミングチャートは、図3に示した第1の構成例の固体撮像装置1の駆動タイミングと同様に、画素100aと画素100bとを同時に露光し、画素100aの画素信号と画素100bの画素信号とのそれぞれを第1の垂直信号線19に順次出力すると共に、画素100aの画素信号と画素100bの画素信号とを平均化した画素信号を第2の垂直信号線29に出力する固体撮像装置1の第2の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。
なお、固体撮像装置1の第2の構成例では、図4に示したように、画素100aと画素100bとの2つの画素が1つの組として構成されている。そして、固体撮像装置1の第2の構成例では、2つの光電変換部101aおよび光電変換部101bのそれぞれに対応した2つの第1の電荷蓄積回路103a(第1の電荷蓄積部110aを含む)および第1の電荷蓄積回路103b(第1の電荷蓄積部110bを含む)と、2つの光電変換部101aおよび光電変換部101bに共通の第2の電荷蓄積回路104(第2の電荷蓄積部210aおよび第2の電荷蓄積部210bを含む)とを備えている。このため、図5に示したタイミングチャートには、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bとのそれぞれに、2つの光電変換部101aおよび光電変換部101bのそれぞれが発生した信号電荷を保持させるタイミングを示している。
まず、時刻t1において、全ての画素(画素100aおよび画素100b)をリセットする。より具体的には、時刻t1において、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bと、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bとをオン状態にする。これにより、画素100aおよび画素100bに備えた光電変換部101aおよび光電変換部101bと、ノード容量120aおよびノード容量120bとがリセットされる。
その後、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“L”レベルにして、画素100aと画素100bとのリセットを解除する。これにより、画素100aと画素100bとが同時に露光を開始する。すなわち、画素100aに備えた光電変換部101aと画素100bに備えた光電変換部101bとが、入射した光を光電変換した信号電荷の蓄積を開始する。
続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光レベルの信号との、対応する第1の基板間接続部12aおよび第1の基板間接続部12bへの読み出しを行う。そして、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bでは、対応する光電変換部101aまたは光電変換部101bのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光レベルの信号との第2の基板間接続部22への読み出しを、順次行う。そして、第2の電荷蓄積回路104では、画素100aのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理と、画素100bのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理とを順次行う。
より具体的には、時刻t2において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aを、対応する第1の増幅トランジスタ106aの負荷として動作させ、画素負荷トランジスタ114bを、対応する第1の増幅トランジスタ106bの負荷として動作させる。
また、不図示の垂直走査回路は、制御信号φRST1を“H”レベルにして、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bをオン状態にし、ノード容量120aおよびノード容量120bをリセットする。これにより、第1の増幅トランジスタ106aから光電変換部101aのリセットレベルの信号電圧が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、画素選択トランジスタ115aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bのリセットレベルの信号電圧が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、画素選択トランジスタ115bに出力される。
また、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“H”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオン状態にする。これにより、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して画素選択トランジスタ115aに出力された光電変換部101aのリセットレベルの信号電圧が選択され、画素選択トランジスタ115a、第2の基板間接続部22、および画素選択トランジスタ212aを介して第2のノイズ抑圧素子213aに出力される。
また、不図示の垂直走査回路は、制御信号φRST2および制御信号φTX2を“H”レベルにして、第1のクランプトランジスタ109aおよび第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108aおよび第1のサンプルホールドトランジスタ108bとをオン状態にする。これにより、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第1のノイズ抑圧素子113aおよび第1のノイズ抑圧素子113bとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φRST2Aを“H”レベルにして、第2のクランプトランジスタ209aをオン状態にする。これにより、第2の電荷蓄積部210aと第2のノイズ抑圧素子213aとのそれぞれがクランプされる。
その後、不図示の垂直走査回路は、制御信号φRST1を“L”レベルにして、ノード容量120aおよびノード容量120bのリセットを解除する。続いて、時刻t3において、不図示の垂直走査回路は、制御信号φRST2Aを“L”レベルにして、第2の電荷蓄積部210aのクランプを解除する。その後、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“L”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオフ状態にし、光電変換部101aのリセットレベルの信号電圧の選択を解除する。
続いて、時刻t4において、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオン状態にする。これにより、第1の増幅トランジスタ106bから第1の基板間接続部12bを介して画素選択トランジスタ115bに出力された光電変換部101bのリセットレベルの信号電圧が選択され、画素選択トランジスタ115b、第2の基板間接続部22、および画素選択トランジスタ212bを介して第2のノイズ抑圧素子213bに出力される。また、不図示の垂直走査回路は、制御信号φRST2Bを“H”レベルにして、第2のクランプトランジスタ209bをオン状態にする。これにより、第2の電荷蓄積部210bと第2のノイズ抑圧素子213bとのそれぞれがクランプされる。
続いて、時刻t5において、不図示の垂直走査回路は、制御信号φRST2Bを“L”レベルにして、第2の電荷蓄積部210bのクランプを解除する。その後、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“L”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオフ状態にし、光電変換部101bのリセットレベルの信号電圧の選択を解除する。また、不図示の垂直走査回路は、制御信号φRST2を“L”レベルにして、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bのクランプを解除する。
続いて、時刻t6において、不図示の垂直走査回路は、制御信号φTX1を“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bをオン状態にし、光電変換部101aに蓄積された信号電荷を、第1の増幅トランジスタ106aのゲート端子に、光電変換部101bに蓄積された信号電荷を、第1の増幅トランジスタ106bのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ112aによって転送された信号電荷は、ノード容量120aに蓄積され、電荷転送トランジスタ112bによって転送された信号電荷は、ノード容量120bに蓄積される。これにより、第1の増幅トランジスタ106aから光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、画素選択トランジスタ115aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、画素選択トランジスタ115bに出力される。
そして、第1のノイズ抑圧素子113aは、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、同様に、第1のノイズ抑圧素子113bは、光電変換部101bのノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φTX1を“L”レベルにして、光電変換部101aが蓄積した信号電荷の第1の増幅トランジスタ106aのゲート端子への転送と、光電変換部101bが蓄積した信号電荷の第1の増幅トランジスタ106bのゲート端子への転送とを停止する。
続いて、時刻t7において、不図示の垂直走査回路は、制御信号φTX2を“L”レベルにして、第1の電荷蓄積部110aのサンプルホールドと、第1の電荷蓄積部110bのサンプルホールドとを停止する。これにより、第1の電荷蓄積部110aは、第1のノイズ抑圧素子113aが出力しているノイズ除去処理された信号電圧を保持し、第1の電荷蓄積部110bは、第1のノイズ抑圧素子113bが出力しているノイズ除去処理された信号電圧を保持する。
ここまでで、画素100aに備えた光電変換部101aが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110aに保持され、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110bに保持(蓄積)されることになる。
続いて、時刻t8において、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“H”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオン状態にする。これにより、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して画素選択トランジスタ115aに出力された光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が選択され、画素選択トランジスタ115a、第2の基板間接続部22、および画素選択トランジスタ212aを介して第2のノイズ抑圧素子213aに出力される。
そして、第2のノイズ抑圧素子213aは、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“L”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオフ状態にし、光電変換部101aが発生した信号電荷に応じた信号電圧の選択を解除する。
ここまでで、画素100aに備えた光電変換部101aが発生した信号電荷がノイズ除去処理されて、第2の電荷蓄積部210aに保持(蓄積)されることになる。
続いて、時刻t9において、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオン状態にする。これにより、第1の増幅トランジスタ106bから第1の基板間接続部12bを介して画素選択トランジスタ115bに出力された光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が選択され、画素選択トランジスタ115b、第2の基板間接続部22、および画素選択トランジスタ212bを介して第2のノイズ抑圧素子213bに出力される。
そして、第2のノイズ抑圧素子213bは、光電変換部101bのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“L”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオフ状態にし、光電変換部101bが発生した信号電荷に応じた信号電圧の選択を解除する。
ここまでで、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第2の電荷蓄積部210bに保持(蓄積)されることになる。
続いて、時刻t10において、第2の電荷蓄積回路104は、第2の電荷蓄積部210aに保持しているノイズ除去処理された信号電圧と、第2の電荷蓄積部210bに保持しているノイズ除去処理された信号電圧との平均化の処理を行う。より具体的には、時刻t10において、不図示の垂直走査回路は、制御信号φMixを“H”レベルにして、平均用スイッチトランジスタ214をオン状態にする。これにより、第2の電荷蓄積部210aと第2の電荷蓄積部210bとが短絡され、第2の電荷蓄積部210aと第2の電荷蓄積部210bとのそれぞれは、保持しているノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。
また、時刻t10において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aおよび画素負荷トランジスタ114bのそれぞれの、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bの負荷としての動作を停止させる。
その後、不図示の垂直走査回路は、制御信号φSEL1Aおよび制御信号φSEL1Bを順次制御して、第1の電荷蓄積部110aと第1の電荷蓄積部110bとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第1の垂直信号線19に出力させる。また、不図示の垂直走査回路は、制御信号φSEL2を制御して、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号として第2の垂直信号線29に出力させる。
なお、図4に示した固体撮像装置1の第2の構成例では、不図示の垂直走査回路が制御信号φMixを“L”レベルにして、第2の電荷蓄積部210aと第2の電荷蓄積部210bとの短絡を解除した後に、第2の電荷蓄積部210aに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号(減縮画像信号)として第2の垂直信号線29に出力させてもよい。また、図4に示した固体撮像装置1の第2の構成例では、制御信号φMixを“H”レベルにして、第2の電荷蓄積部210aと第2の電荷蓄積部210bとのそれぞれに平均化した信号電圧を保持させる前に、不図示の垂直走査回路が制御信号φSEL2を制御してもよい。これにより、第2の電荷蓄積部210aに保持している平均化する前のノイズ除去処理された信号電圧、すなわち、ノイズ除去処理された光電変換部101aが発生した信号電荷を、画素100aの画素信号として第2の垂直信号線29に出力させることができる。つまり、画素100bを間引いた画素信号を第2の垂直信号線29に出力させることができる。
また、固体撮像装置1の第2の構成例でも、固体撮像装置1の第1の構成例と同様に、フル解像画像信号と減縮画像信号とのそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。従って、不図示の垂直走査回路が制御信号φSEL1A、制御信号φSEL1B、および制御信号φSEL2を制御して、フル解像画像信号を第1の垂直信号線19に出力させるタイミングや、減縮画像信号を第2の垂直信号線29に出力させるタイミングに関する詳細な説明は省略する。
このような駆動タイミングによって固体撮像装置1の第2の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12b)に読み出させる。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持させる。また、固体撮像装置1の第2の構成例の駆動タイミングでは、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって選択して第2の基板間接続部22に出力させる。そして、デマルチプレクサ(画素選択トランジスタ212aおよび画素選択トランジスタ212b)によって、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持させる。その後、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持した信号を平均化する。そして、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第1の垂直信号線19に出力させ、平均化した信号電圧を、減縮画像信号として第2の垂直信号線29に出力させる。
このように、実施形態の固体撮像装置1の第2の構成例でも、第1の構成例の固体撮像装置1と同様に、画素100aに備えた光電変換部101aの信号電荷をノイズ除去処理して第1の電荷蓄積部110aに保持し、画素100bに備えた光電変換部101bの信号電荷をノイズ除去処理して第1の電荷蓄積部110bに保持する。また、実施形態の固体撮像装置1の第2の構成例では、画素100aに備えた光電変換部101aの信号電荷をノイズ除去処理して第2の電荷蓄積部210aに保持し、画素100bに備えた光電変換部101bの信号電荷をノイズ除去処理して第2の電荷蓄積部210bに保持した後に、それぞれの信号電荷を平均化して、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bに保持する。これにより、実施形態の固体撮像装置1の第2の構成例でも、第1の構成例の固体撮像装置1と同様に、全ての画素の画素信号(フル解像画像信号)と、画素数を減縮した、つまり、それぞれの画素の画素信号を平均化(加算平均)した画素信号(減縮画像信号)との両方を独立に出力することができる。このため、実施形態の固体撮像装置1の第2の構成例でも、第1の構成例の固体撮像装置1と同様の効果を得ることができる。つまり、実施形態の固体撮像装置1の第2の構成例で出力した画素信号からでも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像を生成することができる。また、実施形態の固体撮像装置1の第2の構成例でも、フル解像度画像と縮小画像とを、並列に生成することができる。
(第3の構成例)
次に、実施形態の固体撮像装置1のさらに別の構成の一例について説明する。第3の構成例の固体撮像装置1は、第2の構成例の固体撮像装置1と同様に、それぞれの光電変換部101が発生した信号電荷を第2の電荷蓄積回路104に保持した後、保持したそれぞれの信号電荷に応じた信号電圧(画素信号)を出力する際に平均化して出力する構成例である。ただし、第3の構成例の固体撮像装置1は、第2の構成例の固体撮像装置1と同様に、第1の読み出し基板と第2の読み出し基板とを接続する基板間接続部の数を少なくした構成において、平均化した信号電圧を保持する構成、つまり、画素数を減縮した画素信号を出力する構成を変更している。このため、第3の構成例の固体撮像装置1では、第2の電荷蓄積回路104の構成が、第2の構成例の固体撮像装置1と異なる。
なお、第3の構成例の固体撮像装置1の構成要素には、第1の構成例および第2の構成例の固体撮像装置1の構成要素と同様の構成要素も含まれている。従って、第3の構成例の固体撮像装置1の構成要素において、第1の構成例および第2の構成例の固体撮像装置1の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
図6は、本発明の実施形態の固体撮像装置1の第3の構成例を示した回路図である。図6において、固体撮像装置1の第3の構成例は、光電変換基板11に、光電変換部101a,101bと、画素リセットトランジスタ105a,105b、第1の増幅トランジスタ106a,106b、および電荷転送トランジスタ112a,112bとが形成されている。なお、図6においても、第1の構成例および第2の構成例の光電変換基板11と同様に、ノード容量120aとノード容量120bとのそれぞれを、キャパシタの記号で示している。画素100aは、光電変換部101aと、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、で構成されている。画素100bは、光電変換部101bと、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、で構成されている。なお、光電変換基板11は、第1の構成例および第2の構成例の光電変換基板11と同様である。
また、図6において、固体撮像装置1の第3の構成例は、第1の読み出し基板21に、第1のクランプトランジスタ109a,109b、第1のサンプルホールドトランジスタ108a,108b、第2の増幅トランジスタ111a,111b、第1の選択トランジスタ107a,107b、第1の電荷蓄積部110a,110b、画素負荷トランジスタ114a,114b、および第1のノイズ抑圧素子113a,113bが形成されている。さらに、固体撮像装置1の第3の構成例は、第1の読み出し基板21に、画素選択トランジスタ115aと画素選択トランジスタ115bとから構成されるマルチプレクサが形成されている。電荷転送回路102aは、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、画素負荷トランジスタ114aと、画素選択トランジスタ115aと、で構成されている。電荷転送回路102bは、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、画素負荷トランジスタ114bと、画素選択トランジスタ115bと、で構成されている。第1の電荷蓄積回路103aは、第1のクランプトランジスタ109aと、第1のサンプルホールドトランジスタ108aと、第2の増幅トランジスタ111aと、第1の選択トランジスタ107aと、第1の電荷蓄積部110aと、第1のノイズ抑圧素子113aと、で構成されている。第1の電荷蓄積回路103bは、第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108bと、第2の増幅トランジスタ111bと、第1の選択トランジスタ107bと、第1の電荷蓄積部110bと、第1のノイズ抑圧素子113bと、で構成されている。なお、第1の読み出し基板21は、第2の構成例の第1の読み出し基板21と同様である。
また、図6において、固体撮像装置1の第3の構成例は、第2の読み出し基板31に、画素100aに対応する画素選択トランジスタ212a、第2のサンプルホールドトランジスタ215a、第2の電荷蓄積部220a、および第2の電荷蓄積部221aと、画素100bに対応する画素選択トランジスタ212b、第2のサンプルホールドトランジスタ215b、第2の電荷蓄積部220b、および第2の電荷蓄積部221bと、第3の増幅トランジスタ211、第2の選択トランジスタ207、および平均用スイッチトランジスタ214とからなる第2の電荷蓄積回路104が形成されている。なお、第2の読み出し基板31でも、第2の構成例の第2の読み出し基板31と同様に、画素選択トランジスタ212aと画素選択トランジスタ212bとの構成によって、第1の読み出し基板21内に形成されたマルチプレクサに対応するデマルチプレクサが構成されている。
そして、固体撮像装置1の第3の構成例では、第2の構成例の固体撮像装置1と同様に、光電変換基板11と第1の読み出し基板21とが第1の基板間接続部12aおよび第1の基板間接続部12bによって接続され、第1の読み出し基板21と第2の読み出し基板31とが第2の基板間接続部22によって接続されている。
なお、実施形態の固体撮像装置1の第3の構成例でも、固体撮像装置1の第1の構成例および第2の構成例と同様に、光電変換基板11と第1の読み出し基板21とを電気的接続する第1の基板間接続部12aおよび第1の基板間接続部12bの構造や、第1の読み出し基板21と第2の読み出し基板31とを電気的接続する第2の基板間接続部22の構造に関しては、特に規定しない。
画素選択トランジスタ212aおよび画素選択トランジスタ212bのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φSH2Aまたは制御信号φSH2Bに応じて、第2の基板間接続部22を介して入力された信号電圧を、対応する第2のサンプルホールドトランジスタ215aまたは第2のサンプルホールドトランジスタ215bに出力する。また、画素選択トランジスタ212aおよび画素選択トランジスタ212bのそれぞれは、第2の基板間接続部22を介して入力された信号電圧を、対応する第2の電荷蓄積部221aまたは第2の電荷蓄積部221bに保持させる。第3の構成例の固体撮像装置1でも、画素選択トランジスタ212aと画素選択トランジスタ212bとの構成が、入力された1つの信号電圧を対応する第2のサンプルホールドトランジスタ215aと第2の電荷蓄積部221a、または第2のサンプルホールドトランジスタ215bと第2の電荷蓄積部221bのいずれか一方に出力するデマルチプレクサとして動作する。
第2の電荷蓄積部221aおよび第2の電荷蓄積部221bのそれぞれは、対応する画素選択トランジスタ212aまたは画素選択トランジスタ212bから出力された信号電圧を保持(蓄積)する容量である。
第2のサンプルホールドトランジスタ215aおよび第2のサンプルホールドトランジスタ215bのそれぞれは、不図示の垂直走査回路から入力された、対応する制御信号φSH3Aまたは制御信号φSH3Bに応じて、対応する画素選択トランジスタ212aまたは画素選択トランジスタ212bから出力された信号電圧を、対応する第2の電荷蓄積部220aまたは第2の電荷蓄積部220bに保持させる。また、第2のサンプルホールドトランジスタ215aおよび第2のサンプルホールドトランジスタ215bのそれぞれは、対応する第2の電荷蓄積部221aまたは第2の電荷蓄積部221bに保持している信号電圧を、対応する第2の電荷蓄積部220aまたは第2の電荷蓄積部220bに転送して保持させる。
第2の電荷蓄積部220aおよび第2の電荷蓄積部220bのそれぞれは、対応する第2のサンプルホールドトランジスタ215aまたは第2のサンプルホールドトランジスタ215bから出力された信号電圧を保持(蓄積)する容量である。
第3の構成例における第2の電荷蓄積回路104では、画素選択トランジスタ212a、第2のサンプルホールドトランジスタ215a、第2の電荷蓄積部220a、および第2の電荷蓄積部221aの構成によって、光電変換部101aのリセットレベルの信号と露光レベルの信号とを別々に、第2の電荷蓄積部220aまたは第2の電荷蓄積部221aに保持する。また、第3の構成例における第2の電荷蓄積回路104では、画素選択トランジスタ212b、第2のサンプルホールドトランジスタ215b、第2の電荷蓄積部220b、および第2の電荷蓄積部221bの構成によって、光電変換部101bのリセットレベルの信号と露光レベルの信号とを別々に、第2の電荷蓄積部220bまたは第2の電荷蓄積部221bに保持する。そして、リセットレベルの信号と露光レベルの信号とを別々に平均化する。
なお、第2の電荷蓄積部220aおよび第2の電荷蓄積部220b、第2の電荷蓄積部221aおよび第2の電荷蓄積部221bとしても、第2の構成例の第2の電荷蓄積部210aおよび第2の電荷蓄積部210bと同様に、単位面積当たりのリーク電流(暗電流)が少ない容量であるMIM容量や、MOS容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。
平均用スイッチトランジスタ214は、不図示の垂直走査回路から入力された制御信号φMixに応じて、第2の電荷蓄積部220aと第2の電荷蓄積部220bとを短絡する。これにより、短絡された後の第2の電荷蓄積部220aと第2の電荷蓄積部220bとには、短絡される前に保持していたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧が保持される。
第3の増幅トランジスタ211は、ゲート端子の電圧、すなわち、平均用スイッチトランジスタ214によって短絡されることにより、第2の電荷蓄積部220aと第2の電荷蓄積部220bとに保持されていたそれぞれの信号電圧が平均化された信号電圧に応じた信号電圧を出力する。
このような構成によって固体撮像装置1の第3の構成例でも、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12b)を介して読み出す。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持する。また、固体撮像装置1の第3の構成例では、2つの光電変換部のそれぞれのリセットレベルの信号と露光レベルの信号とのそれぞれの信号電圧を、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって別々に選択して第2の基板間接続部22に出力させる。そして、デマルチプレクサ(画素選択トランジスタ212aおよび画素選択トランジスタ212b)によって、2つの光電変換部のそれぞれのリセットレベルの信号と露光レベルの信号を別々に、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部220a、第2の電荷蓄積部220b、第2の電荷蓄積部221a、および第2の電荷蓄積部221b)に保持する。その後、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部220aと第2の電荷蓄積部220b)に保持した信号を別々に平均化する。その後、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、画素信号として第1の垂直信号線19に順次読み出し、平均化したリセットレベルの信号に応じた信号電圧と、平均化した露光レベルの信号に応じた信号電圧とを、それぞれの画素信号として第2の垂直信号線29に順次読み出す。従って、第3の構成例の固体撮像装置1を搭載した撮像システムでは、別々に読み出した平均化したリセットレベルの信号に応じた画素信号と、平均化した露光レベルの信号に応じた画素信号とに基づいて、撮像システム内でノイズ除去処理を行うことが想定される。
なお、図6に示した固体撮像装置1の第3の構成例でも、光電変換部101aを含むそれぞれの構成要素を備えた画素100aと、光電変換部101bを含むそれぞれの構成要素を備えた画素100bとが組になった構成の一例を示したが、固体撮像装置1に配置される画素の組は、第2の構成例の固体撮像装置1と同様に、図6に示した構成に限定されるものではない。すなわち、図6に示した構成よりもさらに多くの画素数で1つの組を構成し、この画素の組を複数配置することによって固体撮像装置1内に備える画素アレイを形成してもよい。
次に、実施形態の固体撮像装置1における第3の構成例の駆動タイミングについて説明する。図7は、本発明の実施形態の固体撮像装置1の第3の構成例を駆動するタイミングを示したタイミングチャートである。図7に示したタイミングチャートは、第1の構成例および第2の構成例の固体撮像装置1の駆動タイミングと同様に、画素100aと画素100bとを同時に露光し、画素100aの画素信号と画素100bの画素信号とのそれぞれを第1の垂直信号線19に順次出力すると共に、画素100aの画素信号と画素100bの画素信号とを平均化した画素信号を第2の垂直信号線29に出力する固体撮像装置1の第3の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。
なお、固体撮像装置1の第3の構成例では、図6に示したように、画素100aと画素100bとの2つの画素が1つの組として構成されている。そして、固体撮像装置1の第3の構成例では、2つの光電変換部101aおよび光電変換部101bのそれぞれに対応した2つの第1の電荷蓄積回路103a(第1の電荷蓄積部110aを含む)および第1の電荷蓄積回路103b(第1の電荷蓄積部110bを含む)と、2つの光電変換部101aおよび光電変換部101bに共通の第2の電荷蓄積回路104(第2の電荷蓄積部220aおよび第2の電荷蓄積部220bと、第2の電荷蓄積部221aおよび第2の電荷蓄積部221bとを含む)とを備えている。このため、図7に示したタイミングチャートには、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第2の電荷蓄積部220aおよび第2の電荷蓄積部220bと、第2の電荷蓄積部221aおよび第2の電荷蓄積部221bとのそれぞれに、2つの光電変換部101aおよび光電変換部101bのそれぞれが発生した信号電荷を保持させるタイミングを示している。
まず、時刻t1において、全ての画素(画素100aおよび画素100b)をリセットする。より具体的には、時刻t1において、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bと、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bとをオン状態にする。これにより、画素100aおよび画素100bに備えた光電変換部101aおよび光電変換部101bと、ノード容量120aおよびノード容量120bとがリセットされる。
その後、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“L”レベルにして、画素100aと画素100bとのリセットを解除する。これにより、画素100aと画素100bとが同時に露光を開始する。すなわち、画素100aに備えた光電変換部101aと画素100bに備えた光電変換部101bとが、入射した光を光電変換した信号電荷の蓄積を開始する。
続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光レベルの信号との、対応する第1の基板間接続部12aおよび第1の基板間接続部12bへの読み出しを行う。そして、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bでは、対応する光電変換部101aまたは光電変換部101bのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光レベルの信号との第2の基板間接続部22への読み出しを、順次行う。そして、第2の電荷蓄積回路104では、画素100aと画素100bとのそれぞれのリセットレベルの信号と露光レベルの信号とを別々に保持する。
より具体的には、時刻t2において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aを、対応する第1の増幅トランジスタ106aの負荷として動作させ、画素負荷トランジスタ114bを、対応する第1の増幅トランジスタ106bの負荷として動作させる。
また、不図示の垂直走査回路は、制御信号φRST1を“H”レベルにして、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bをオン状態にし、ノード容量120aおよびノード容量120bをリセットする。これにより、第1の増幅トランジスタ106aから光電変換部101aのリセットレベルの信号電圧が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、画素選択トランジスタ115aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bのリセットレベルの信号電圧が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、画素選択トランジスタ115bに出力される。
また、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“H”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオン状態にする。これにより、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して画素選択トランジスタ115aに出力された光電変換部101aのリセットレベルの信号電圧が選択され、画素選択トランジスタ115a、第2の基板間接続部22、および画素選択トランジスタ212aを介して第2のサンプルホールドトランジスタ215aに出力される。
また、不図示の垂直走査回路は、制御信号φRST2および制御信号φTX2を“H”レベルにして、第1のクランプトランジスタ109aおよび第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108aおよび第1のサンプルホールドトランジスタ108bとをオン状態にする。これにより、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第1のノイズ抑圧素子113aおよび第1のノイズ抑圧素子113bとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φSH3Aを“H”レベルにして、第2のサンプルホールドトランジスタ215aをオン状態にする。これにより、光電変換部101aのリセットレベルの信号電圧が、第2の電荷蓄積部220aに保持される。
その後、不図示の垂直走査回路は、制御信号φRST1を“L”レベルにして、ノード容量120aおよびノード容量120bのリセットを解除する。その後、不図示の垂直走査回路は、制御信号φSH3Aを“L”レベルにして、第2のサンプルホールドトランジスタ215aをオフ状態にし、第2の電荷蓄積部220aへの光電変換部101aのリセットレベルの信号電圧の出力を解除する。また、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“L”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオフ状態にし、光電変換部101aのリセットレベルの信号電圧の選択を解除する。
続いて、時刻t3において、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオン状態にする。これにより、第1の増幅トランジスタ106bから第1の基板間接続部12bを介して画素選択トランジスタ115bに出力された光電変換部101bのリセットレベルの信号電圧が選択され、画素選択トランジスタ115b、第2の基板間接続部22、および画素選択トランジスタ212bを介して第2のサンプルホールドトランジスタ215bに出力される。また、不図示の垂直走査回路は、制御信号φSH3Bを“H”レベルにして、第2のサンプルホールドトランジスタ215bをオン状態にする。これにより、光電変換部101bのリセットレベルの信号電圧が、第2の電荷蓄積部220bに保持される。
その後、不図示の垂直走査回路は、制御信号φSH3Bを“L”レベルにして、第2のサンプルホールドトランジスタ215bをオフ状態にし、第2の電荷蓄積部220bへの光電変換部101bのリセットレベルの信号電圧の出力を解除する。また、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“L”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオフ状態にし、光電変換部101bのリセットレベルの信号電圧の選択を解除する。また、不図示の垂直走査回路は、制御信号φRST2を“L”レベルにして、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bのクランプを解除する。
続いて、時刻t4において、不図示の垂直走査回路は、制御信号φTX1を“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bをオン状態にし、光電変換部101aに蓄積された信号電荷を、第1の増幅トランジスタ106aのゲート端子に、光電変換部101bに蓄積された信号電荷を、第1の増幅トランジスタ106bのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ112aによって転送された信号電荷は、ノード容量120aに蓄積され、電荷転送トランジスタ112bによって転送された信号電荷は、ノード容量120bに蓄積される。これにより、第1の増幅トランジスタ106aから光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、画素選択トランジスタ115aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、画素選択トランジスタ115bに出力される。
そして、第1のノイズ抑圧素子113aは、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、同様に、第1のノイズ抑圧素子113bは、光電変換部101bのノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φTX1を“L”レベルにして、光電変換部101aが蓄積した信号電荷の第1の増幅トランジスタ106aのゲート端子への転送と、光電変換部101bが蓄積した信号電荷の第1の増幅トランジスタ106bのゲート端子への転送とを停止する。
続いて、時刻t5において、不図示の垂直走査回路は、制御信号φTX2を“L”レベルにして、第1の電荷蓄積部110aのサンプルホールドと、第1の電荷蓄積部110bのサンプルホールドとを停止する。これにより、第1の電荷蓄積部110aは、第1のノイズ抑圧素子113aが出力しているノイズ除去処理された信号電圧を保持し、第1の電荷蓄積部110bは、第1のノイズ抑圧素子113bが出力しているノイズ除去処理された信号電圧を保持する。
ここまでで、画素100aに備えた光電変換部101aが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110aに保持され、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110bに保持(蓄積)されることになる。
続いて、時刻t6において、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“H”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオン状態にする。これにより、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して画素選択トランジスタ115aに出力された光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が選択され、画素選択トランジスタ115a、第2の基板間接続部22、および画素選択トランジスタ212aを介して第2の電荷蓄積部221aに出力される。そして、第2の電荷蓄積部221aは、光電変換部101aの露光レベルの信号に応じた信号電圧を保持する。
その後、不図示の垂直走査回路は、制御信号φSH1Aおよび制御信号φSH2Aを“L”レベルにして、画素選択トランジスタ115aと画素選択トランジスタ212aとをオフ状態にし、光電変換部101aが発生した信号電荷に応じた信号電圧の選択を解除する。
ここまでで、画素100aに備えた光電変換部101aのリセットレベルの信号と露光レベルの信号とが、第2の電荷蓄積部220aと第2の電荷蓄積部221aとに別々に保持(蓄積)されることになる。より具体的には、光電変換部101aのリセットレベルの信号に応じた信号電圧が第2の電荷蓄積部220aに保持され、露光レベルの信号に応じた信号電圧が第2の電荷蓄積部221aに保持(蓄積)されることになる。
続いて、時刻t7において、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオン状態にする。これにより、第1の増幅トランジスタ106bから第1の基板間接続部12bを介して画素選択トランジスタ115bに出力された光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が選択され、画素選択トランジスタ115b、第2の基板間接続部22、および画素選択トランジスタ212bを介して第2の電荷蓄積部221bに出力される。そして、第2の電荷蓄積部221bは、光電変換部101bの露光レベルの信号に応じた信号電圧を保持する。
その後、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“L”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオフ状態にし、光電変換部101bが発生した信号電荷に応じた信号電圧の選択を解除する。
ここまでで、画素100bに備えた光電変換部101bのリセットレベルの信号と露光レベルの信号とが、第2の電荷蓄積部220bと第2の電荷蓄積部221bとに別々に保持(蓄積)されることになる。より具体的には、光電変換部101bのリセットレベルの信号に応じた信号電圧が第2の電荷蓄積部220bに保持され、露光レベルの信号に応じた信号電圧が第2の電荷蓄積部221bに保持(蓄積)されることになる。
続いて、時刻t8において、第2の電荷蓄積回路104は、第2の電荷蓄積部220aおよび第2の電荷蓄積部220bに保持しているリセットレベルの信号の平均化の処理と、第2の電荷蓄積部221aおよび第2の電荷蓄積部221bに保持している露光レベルの信号の平均化の処理とを、それぞれ行う。
より具体的には、時刻t8において、不図示の垂直走査回路は、制御信号φMixを“H”レベルにして、平均用スイッチトランジスタ214をオン状態にする。これにより、第2の電荷蓄積部220aと第2の電荷蓄積部220bとが短絡され、第2の電荷蓄積部220aと第2の電荷蓄積部220bとのそれぞれは、保持しているリセットレベルの信号のそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。これにより、第2の電荷蓄積部220aに保持している光電変換部101aのリセットレベルの信号に応じた信号電圧と、第2の電荷蓄積部220bに保持している光電変換部101bのリセットレベルの信号に応じた信号電圧との平均化の処理が行われる。
また、不図示の垂直走査回路は、制御信号φSH2Aおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ212aと画素選択トランジスタ212bとをオン状態にする。これにより、第2の電荷蓄積部221aと第2の電荷蓄積部221bとが短絡され、第2の電荷蓄積部221aと第2の電荷蓄積部221bとのそれぞれは、保持している露光レベルの信号のそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。これにより、第2の電荷蓄積部221aに保持している光電変換部101aの露光レベルの信号に応じた信号電圧と、第2の電荷蓄積部221bに保持している光電変換部101bの露光レベルの信号に応じた信号電圧との平均化の処理が行われる。
また、時刻t8において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aおよび画素負荷トランジスタ114bのそれぞれの、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bの負荷としての動作を停止させる。
その後、不図示の垂直走査回路は、制御信号φSEL1Aおよび制御信号φSEL1Bを順次制御して、第1の電荷蓄積部110aと第1の電荷蓄積部110bとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第1の垂直信号線19に出力させる。また、不図示の垂直走査回路は、制御信号φSEL2を制御して、第2の電荷蓄積部220aおよび第2の電荷蓄積部220bに保持された平均化したリセットレベルの信号に応じた信号電圧を、画素数を減縮したリセットレベルの画素信号として第2の垂直信号線29に出力させる。また、不図示の垂直走査回路は、制御信号φSH3Aおよび制御信号φSH3Bを制御して、平均化した露光レベルの信号に応じた信号電圧を、一旦第2の電荷蓄積部220aと第2の電荷蓄積部220bとのそれぞれに転送した後、第2の電荷蓄積部220aおよび第2の電荷蓄積部220bに保持された平均化した露光レベルの信号に応じた信号電圧を、画素数を減縮した露光レベルの画素信号として第2の垂直信号線29に出力させる。
なお、図6に示した固体撮像装置1の第3の構成例でも、不図示の垂直走査回路が制御信号φMixを“L”レベルにして、第2の電荷蓄積部220aと第2の電荷蓄積部220bとの短絡を解除した後に、第2の電荷蓄積部220aに保持された平均化したリセットレベルの信号電圧および露光レベルの信号電圧を、画素数を減縮したリセットレベルの画素信号(減縮画像信号)および露光レベルの画素信号(減縮画像信号)として第2の垂直信号線29に出力させてもよい。また、図6に示した固体撮像装置1の第3の構成例では、制御信号φMixを“H”レベルにして、第2の電荷蓄積部220aと第2の電荷蓄積部220bとのそれぞれに平均化した信号電圧を保持させる前に、不図示の垂直走査回路が制御信号φSEL2および制御信号φSH3Aを制御してもよい。これにより、第2の電荷蓄積部220aに保持している平均化する前のリセットレベルの信号に応じた信号電圧や第2の電荷蓄積部221aに保持している露光レベルの信号に応じた信号電圧を、画素100aの画素信号として第2の垂直信号線29に出力させることができる。つまり、画素100bを間引いた画素信号を第2の垂直信号線29に出力させることができる。
また、固体撮像装置1の第3の構成例でも、固体撮像装置1の第2の構成例と同様に、フル解像画像信号と減縮画像信号とのそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。従って、不図示の垂直走査回路が制御信号φSEL1A、制御信号φSEL1B、制御信号φSEL2、制御信号φSH3A、および制御信号φSH3Bを制御して、フル解像画像信号を第1の垂直信号線19に出力させるタイミングや、減縮画像信号を第2の垂直信号線29に出力させるタイミングに関する詳細な説明は省略する。
このような駆動タイミングによって固体撮像装置1の第3の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12b)に読み出させる。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持させる。また、2つの光電変換部のそれぞれのリセットレベルの信号と露光レベルの信号とのそれぞれを、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって別々に選択して第2の基板間接続部22に出力させる。そして、デマルチプレクサ(画素選択トランジスタ212aおよび画素選択トランジスタ212b)によって、2つの光電変換部のそれぞれのリセットレベルの信号および露光レベルの信号を別々に、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部220a、第2の電荷蓄積部220b、第2の電荷蓄積部221a、および第2の電荷蓄積部221b)に保持させる。その後、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部220aと第2の電荷蓄積部220b)に保持した信号を別々に平均化する。そして、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第1の垂直信号線19に順次出力させ、平均化したリセットレベルの信号に応じた信号電圧と、平均化した露光レベルの信号に応じた信号電圧とを、それぞれの減縮画像信号として第2の垂直信号線29に順次出力させる。
このように、実施形態の固体撮像装置1の第3の構成例でも、第2の構成例の固体撮像装置1と同様に、画素100aに備えた光電変換部101aの信号電荷をノイズ除去処理して第1の電荷蓄積部110aに保持し、画素100bに備えた光電変換部101bの信号電荷をノイズ除去処理して第1の電荷蓄積部110bに保持する。また、実施形態の固体撮像装置1の第3の構成例では、画素100aに備えた光電変換部101aのリセットレベルの信号の信号電圧を第2の電荷蓄積部220aに保持し、画素100bに備えた光電変換部101bのリセットレベルの信号の信号電圧を第2の電荷蓄積部220b保持した後に、それぞれの信号電圧を平均化して、第2の電荷蓄積部220aおよび第2の電荷蓄積部220bに保持する。また、実施形態の固体撮像装置1の第3の構成例では、画素100aに備えた光電変換部101aの露光レベルの信号の信号電圧を第2の電荷蓄積部221aに保持し、画素100bに備えた光電変換部101bの露光レベルの信号の信号電圧を第2の電荷蓄積部221b保持した後に、それぞれの信号電圧を平均化して、第2の電荷蓄積部221aおよび第2の電荷蓄積部221bに保持する。これにより、実施形態の固体撮像装置1の第3の構成例では、第2の構成例の固体撮像装置1と同様に、全ての画素の画素信号(フル解像画像信号)と、画素数を減縮した、つまり、それぞれの画素の画素信号を平均化(加算平均)した画素信号(減縮画像信号)との両方を独立に出力することができる。このため、実施形態の固体撮像装置1の第3の構成例でも、第1の構成例および第2の構成例の固体撮像装置1と同様の効果を得ることができる。つまり、実施形態の固体撮像装置1の第3の構成例で出力した画素信号からでも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像を生成することができる。また、実施形態の固体撮像装置1の第3の構成例でも、フル解像度画像と縮小画像とを、並列に生成することができる。
また、実施形態の固体撮像装置1の第3の構成例では、それぞれの画素の画素信号を平均化(加算平均)したリセットレベルの画素信号と露光レベルの画素信号とを別々に出力する。このため、第3の構成例の固体撮像装置1を搭載した撮像システムでは、別々に出力した平均化したリセットレベルの画素信号と露光レベルの画素信号とに基づいて、撮像システム内でノイズ除去処理を行う、つまり、固体撮像装置1の外部で必要に応じてノイズ除去処理を行うことができる。
上記に述べたように、実施形態の固体撮像装置1では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部101aが発生した信号電荷を第1の電荷蓄積回路103aに、光電変換部101bが発生した信号電荷を第1の電荷蓄積回路103bにそれぞれに保持すると共に、それぞれの信号電荷の電荷量を平均化した信号電荷(画素数を減縮した信号電荷)を第2の電荷蓄積回路104に保持する。そして、実施形態の固体撮像装置1では、第1の電荷蓄積回路103aと第1の電荷蓄積回路103bとのそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、実施形態の固体撮像装置1では、同じ1回の露光によって得られた信号電荷に基づいた、フル解像画像信号と減縮画像信号とのそれぞれを別々に独立して出力することができる。
なお、実施形態の固体撮像装置1の構成は、第1〜第3の構成例で示した構成に限定されるものではなく、実施形態の固体撮像装置1の趣旨を逸脱しない範囲の異なる構成であってもよい。
なお、実施形態の固体撮像装置1の第1〜第3の構成例では、画素100aおよび画素100bに対応する構成要素に入力する制御信号は、第1の選択トランジスタ107aに入力する制御信号φSEL1A、および第1の選択トランジスタ107bに入力する制御信号φSEL1B以外、画素100aと画素100bとで同じ制御信号である構成について説明した。そして、この構成に基づいて、実施形態の固体撮像装置1の第1〜第3の構成例の駆動タイミングでは、画素100aに備えた光電変換部101aと画素100bに備えた光電変換部101bとの露光を同時に開始し、光電変換部101aと光電変換部101bとのそれぞれが発生した信号電荷を同時に転送するグローバルシャッタ機能の動作を行うタイミングについて説明した。しかし、固体撮像装置1の構成や駆動タイミングは、第1〜第3の構成例に限定されるものではなく、画素100aおよび画素100bのそれぞれの構成要素に入力する制御信号を、画素100aと画素100bとのそれぞれで異ならせ、画素100aと画素100bとを異なるタイミングで駆動することができる構成にしてもよい。
なお、実施形態の固体撮像装置1は、上述したように、それぞれの画素に備えた光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を平均化した信号電荷、すなわち、加算平均した信号電荷を保持する第2の電荷蓄積回路104の代わりに、加算した信号電荷を保持する回路(加算電荷蓄積回路)を備える構成にしてもよい。つまり、実施形態の固体撮像装置1は、加算電荷蓄積回路によって、光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷、すなわち、加算のみを行った信号電荷を保持する構成にしてもよい。
この場合、加算電荷蓄積回路は、例えば、2つの信号電圧を加算して出力するアンプ回路を備え、このアンプ回路によって、対応する基板間接続部を介して第1の増幅トランジスタ106aおよび第1の増幅トランジスタ106bのそれぞれから入力されたそれぞれの信号電圧を加算する構成が考えられる。これにより、実施形態の固体撮像装置1では、光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷を保持する構成にすることもできる。
また、加算電荷蓄積回路は、例えば、2つの信号電圧を加算して出力するアンプ回路を備え、このアンプ回路によって、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bに保持したノイズ除去処理されたそれぞれの信号電圧を加算する構成が考えられる。これにより、実施形態の固体撮像装置1では、光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷に応じた信号電圧を出力する構成にすることもできる。
なお、上述したように、実施形態の固体撮像装置1は、第2の電荷蓄積回路104と加算電荷蓄積回路との両方を備え、例えば、光電変換部101aと光電変換部101bとが発生したそれぞれの信号電荷を加算平均した信号電荷と、それぞれの信号電荷を加算した信号電荷との両方をそれぞれ保持する構成にしてもよい。
なお、実施形態の固体撮像装置1の第1〜第3の構成例では、図1に示した固体撮像装置1の最小限の構成に基づいて、光電変換基板11と第1の読み出し基板21と第2の読み出し基板31との3つの基板による多層基板構造の構成について説明した。しかし、固体撮像装置1の構成は、実施形態の固体撮像装置1の構成に限定されるものではなく、例えば、第2の電荷蓄積回路104が保持する画素100aと画素100bとに対応した信号電荷を平均化した信号電荷を、さらに平均化する構成にしてもよい。例えば、第2の電荷蓄積回路104では、画素数を1段減縮しているが、さらにもう1段以上減縮する構成にしてもよい。この場合、実施形態の固体撮像装置1をさらに多層化することが考えられる。なお、実施形態の固体撮像装置1においては、画素数を減縮する段数に関しては、特に規定しない。
ここで、実施形態の固体撮像装置1において、図1に示した固体撮像装置1よりもさらにもう1段以上減縮した構成例について説明する。図8は、本発明の実施形態の固体撮像装置1の変形例の概略構成を示したブロック図である。図8に示した固体撮像装置1の変形例では、固体撮像装置1に、画素100a〜画素100dの4つの画素が配置されている場合を示している。なお、図8に示した固体撮像装置1においても、この固体撮像装置1を搭載した撮像システムに備えた制御装置による制御に応じて、それぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの走査回路や、画素信号を固体撮像装置1の外部に出力するための出力アンプなど構成要素は省略している。
なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素100a〜画素100dを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「a」、「b」、「c」、または「d」の符号を付与して説明する。より具体的には、画素100aに対応する構成要素の符号の最後に「a」を付与し、画素100bに対応する構成要素の符号の最後に「b」を付与し、画素100cに対応する構成要素の符号の最後に「c」を付与し、画素100dに対応する構成要素の符号の最後に「d」を付与して説明する。また、画素100a〜画素100dに共通して対応する構成要素には、「a」〜「d」の符号は付与せずに説明する。また、画素100a〜画素100dのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「a」〜「d」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
図8に示した固体撮像装置1は、4つの光電変換部101a〜光電変換部101dと、4つの電荷転送回路102a〜電荷転送回路102dと、4つの第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dと、3つの第2の電荷蓄積回路104ab、第2の電荷蓄積回路104cd、および第3の電荷蓄積回路204とから構成される。
光電変換部101a〜光電変換部101d、電荷転送回路102a〜電荷転送回路102d、第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれは、図1に示した固体撮像装置1の光電変換部101aおよび光電変換部101b、電荷転送回路102aおよび電荷転送回路102b、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bと同様の構成要素である。従って、それぞれの構成要素に関する詳細な説明は省略する。
第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、図1に示した固体撮像装置1の第2の電荷蓄積回路104と同様に、対応する2つの電荷転送回路102のそれぞれから転送された、対応する光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。なお、図8に示した固体撮像装置1においては、第2の電荷蓄積回路104abが電荷転送回路102aおよび電荷転送回路102b、すなわち、光電変換部101aおよび光電変換部101bに対応し、第2の電荷蓄積回路104cdが電荷転送回路102cおよび電荷転送回路102d、すなわち、光電変換部101cおよび光電変換部101dに対応している。
また、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、平均化した信号電荷を第3の電荷蓄積回路204にも転送する。つまり、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれには、電荷転送回路102aや電荷転送回路102bと同等の機能も備えている。より具体的には、電荷転送回路102が第1の電荷蓄積回路103と第2の電荷蓄積回路104とのそれぞれに転送する対応する光電変換部101が発生して蓄積した信号電荷の代わりに、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、保持している平均化した信号電荷を第3の電荷蓄積回路204に転送する機能を備えている。なお、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが第3の電荷蓄積回路204に転送する信号電荷は、平均化した信号電荷ではなく、対応する2つの電荷転送回路102のそれぞれから転送された、対応する光電変換部101が発生したそれぞれの信号電荷であってもよい。
第3の電荷蓄積回路204は、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから入力された、それぞれの信号電荷の電荷量を平均化した信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。すなわち、第3の電荷蓄積回路204も、図1に示した固体撮像装置1の第2の電荷蓄積回路104や、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdと同様に、固体撮像装置1の画素数を減縮した状態の信号電荷を保持する回路である。ただし、第3の電荷蓄積回路204は、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、固体撮像装置1の画素数を減縮した後に、さらに画素数を減縮した状態の信号電荷を保持する。また、第3の電荷蓄積回路204は、保持している、さらに画素数を減縮した状態の信号電荷に応じた信号電圧を、画素信号として出力する回路でもある。
なお、第3の電荷蓄積回路204の構成は、実施形態の固体撮像装置1の第1〜第3の構成例で示した、第2の電荷蓄積回路104と同様の考え方で構成される。つまり、第1〜第3の構成例における第2の電荷蓄積回路104に備えた第2の電荷蓄積部(第2の電荷蓄積部210、第2の電荷蓄積部210a、第2の電荷蓄積部210b、第2の電荷蓄積部220aと第2の電荷蓄積部221a、第2の電荷蓄積部220bと第2の電荷蓄積部221b)に対応する第3の電荷蓄積部を備えた構成が考えられる。
実施形態によれば、複数の第2の電荷蓄積回路(第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cd)のそれぞれが保持した信号電荷に基づいた信号電荷を保持し、ここで保持した信号電荷に応じた信号電圧を、予め定めた数の画素数にさらに減縮した第3の画素信号(さらに画素数を減縮した画素信号)として出力する複数の第3の電荷蓄積回路(第3の電荷蓄積回路204)、をさらに備える、固体撮像装置1が構成される。
また、実施形態によれば、第3の電荷蓄積回路204は、対応する複数の第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdが保持したそれぞれの信号電荷を加算または平均化した電荷量の信号電荷を保持する、固体撮像装置1が構成される。
また、実施形態によれば、第3の電荷蓄積回路204は、第3の基板に複数配置され、第2の読み出し基板31と第3の基板とを電気的接続する第3の接続部(基板間接続部)、を備える、固体撮像装置1が構成される。
また、実施形態によれば、第3の接続部は、第2の読み出し基板31と第3の基板との間に配置され、第3の基板に配置された第3の電荷蓄積回路204のそれぞれに対応し、第2の読み出し基板31に配置されたそれぞれの第2の電荷蓄積回路(第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cd)から、第3の基板に配置された対応する第3の電荷蓄積回路204に転送されるそれぞれの信号電荷の信号線のそれぞれを、第2の読み出し基板31と第3の基板との間で電気的に接続する、固体撮像装置1が構成される。
このような構成によって、図8に示した固体撮像装置1では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部101が発生した信号電荷を第1の電荷蓄積回路103にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷(画素数を減縮した信号電荷)を第2の電荷蓄積回路104に保持し、平均化したそれぞれの信号電荷をさらに平均化した信号電荷(画素数をさらに減縮した信号電荷)を第3の電荷蓄積回路204に保持する。そして、図8に示した固体撮像装置1では、第1の電荷蓄積回路103のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号と、第3の電荷蓄積回路204に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、図8に示した固体撮像装置1でも、同じ1回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号と、画素数を減縮した画素信号と、さらに画素数を減縮した画素信号とのそれぞれを別々に出力することができる。より具体的には、図8に示したように、全ての画素の画素信号(フル解像画像信号)と、画素数を1/2に減縮した画素信号(減縮画像信号(1/2))と、画素数を1/4に減縮した画素信号(減縮画像信号(1/4))とのそれぞれを別々に出力することができる。
なお、図8に示した固体撮像装置1では、第2の電荷蓄積回路104に、対応する2つの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持し、第3の電荷蓄積回路204に、それぞれの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する構成を示した。しかし、実施形態の固体撮像装置1の構成は、図8に示した構成に限定されるものではない。例えば、第3の電荷蓄積回路204を、それぞれの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を加算した量の信号電荷を保持する構成にしてもよい。この場合、図8に示した固体撮像装置1は、第3の電荷蓄積回路204の代わりに、固体撮像装置1に備えたそれぞれの画素の信号電荷を加算することによって、画素数を減縮しつつ、信号電荷のレベルを高くした状態の信号電荷を保持する回路(加算電荷蓄積回路)を備える構成となる。また、例えば、光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷と、それぞれの信号電荷の電荷量を加算した量の信号電荷との両方をそれぞれ保持する構成にしてもよい。
なお、実施形態の固体撮像装置1では、図1および図8において、予め定めた2つの画素を組とし、それぞれの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する構成を示した。しかし、実際の固体撮像装置には、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの光電変換部101は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、実施形態の固体撮像装置1においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化または加算しないように、画素の組を構成することが望ましい。
ここで、実施形態の固体撮像装置1において組とする画素の配置の一例について説明する。図9Aおよび図9Bは、本発明の実施形態の固体撮像装置1の画素アレイの配列の一例を示した図である。図9Aおよび図9Bは、固体撮像装置1にベイヤー配列のカラーフィルタが貼付されている場合の一例を示している。
上述したように、固体撮像装置1にカラーフィルタが貼付されている場合、固体撮像装置1における画素の組は、同じ色同士で重心がずれないように構成することが望ましい。図9Bには、図9Aにおいて3行目で6列目に配置されているGr画素100aを重心とし、このGr画素100aの周辺の5行5列の範囲内に配置された同じ色の8つのGr画素100bを組とする、すなわち、9つの画素を組とする場合を示している。
図9Bに示したように画素の組を構成することによって、図1に示した構成の固体撮像装置1では、画素アレイに備えた画素数を、行方向を1/3に列方向を1/3にそれぞれ減縮した、つまり、画素アレイに備えた全て画素数を1/9に減縮した画素信号を第2の電荷蓄積回路104が出力することができる。また、同様に考えれば、図8に示した構成の固体撮像装置1では、第2の電荷蓄積回路104が全て画素数を1/9に減縮した信号電荷を、さらに行方向を1/3に列方向を1/3にそれぞれ減縮した、つまり、画素アレイに備えた全て画素数を1/81に減縮した画素信号を第3の電荷蓄積回路204が出力することができる。そして、実施形態の固体撮像装置1を撮像システムに搭載することにより、撮像システムでは、様々な処理を行うことができる。
なお、実施形態の固体撮像装置1において組とする画素の配置は、図9Aおよび図9Bに示した一例に限定されるものではない。例えば、重心とする画素の周辺の9行9列の範囲内に配置された同じ色の25個の画素を組とすることによって、画素アレイに備えた画素数を、行方向を1/5に列方向を1/5にそれぞれ減縮した、つまり、画素アレイに備えた全て画素数を1/25に減縮した信号電荷を、第2の電荷蓄積回路104に保持してもよい。
なお、カラーフィルタを貼付した実施形態の固体撮像装置1においては、モノリシックの構造よりも、多層基板構造の方が有利であると考えられる。これは、実施形態の固体撮像装置1において画素数を減縮する段数が増えるに従って、減縮した信号電荷を保持するための第2の電荷蓄積回路104や第3の電荷蓄積回路204、さらに次の段の減縮した信号電荷を保持する電荷蓄積回路などが必要とする固体撮像装置1内の領域が増加すると考えられるからである。ただし、例えば、第1の電荷蓄積回路103が形成される第1の読み出し基板21と、第2の電荷蓄積回路104が形成される第2の読み出し基板31とをモノリシックの構造にするなど、必要に応じてモノリシックの構造と多層基板構造とを合わせた構造にすることは可能である。
実施形態によれば、光電変換部101aおよび光電変換部101bが配置された光電変換基板(光電変換基板11)と、第1の電荷蓄積回路103a、第1の電荷蓄積回路103b、および第2の電荷蓄積回路104が複数配置された第1の基板(第1の読み出し基板21)と、光電変換基板11と第1の読み出し基板21とを電気的接続する第1の接続部(第1の基板間接続部12aまたは第1の基板間接続部12b)と、によって構成される、固体撮像装置1が構成される。
また、実施形態によれば、第1の基板間接続部12aまたは第1の基板間接続部12bは、光電変換基板11と第1の読み出し基板21との間に配置され、第1の読み出し基板21に配置された第1の電荷蓄積回路103a、第1の電荷蓄積回路103b、および第2の電荷蓄積回路104の少なくとも一方のそれぞれに対応し、光電変換基板11に配置されたそれぞれの光電変換部(光電変換部101aおよび光電変換部101b)から、第1の読み出し基板21に配置された対応する第1の電荷蓄積回路103a、第1の電荷蓄積回路103b、および第2の電荷蓄積回路104の少なくとも一方に転送されるそれぞれの信号電荷の信号線のそれぞれを、光電変換基板11と第1の読み出し基板21との間で電気的に接続する、固体撮像装置1が構成される。
また、実施形態によれば、第3の電荷蓄積回路204は、第1の読み出し基板21にさらに複数配置される、固体撮像装置1が構成される。
次に、実施形態の固体撮像装置1を搭載した撮像システムについて説明する。以下の説明においては、撮像システムに搭載する固体撮像装置1が、図9Aに示したようなカラーフィルタが貼付された、図8に示した構成の固体撮像装置1であるものとして説明する。つまり、撮像システムに搭載する固体撮像装置1は、画素アレイに備えた全て画素数の画素信号(以下、「フル解像画像信号」という)と、画素数を1/9に減縮した画素信号(以下、「1/9減縮画像信号」という)と、画素数を1/81に減縮した画素信号(以下、「1/81減縮画像信号」という)とのそれぞれを別々に出力する固体撮像装置1であるものとして説明する。
上述したように、実施形態の固体撮像装置1では、同じ1回の露光によって、フル解像画像信号と減縮画像信号とのそれぞれを別々に独立して出力することができる。このため、固体撮像装置1を搭載した撮像システムでは、フル解像画像信号に基づいたフル解像度画像の生成と、減縮画像信号に基づいた縮小画像の生成とを、並列に生成することができる。このとき、例えば、フル解像画像信号と減縮画像信号との出力を同時に開始した場合でも、画素数を減縮した減縮画像信号の方が、画素数を減縮していないフル解像画像信号よりも早く出力が完了するため、縮小画像の生成の方が、フル解像度画像の生成よりも早く完了することができる。
より具体的には、固体撮像装置1からそれぞれの画素信号を読み出すクロックの周波数が同じ周波数であるとすると、1/9減縮画像信号の読み出しは、フル解像画像信号の読み出しに要する時間の1/9の時間で完了し、1/81減縮画像信号の読み出しは、フル解像画像信号の読み出しに要する時間の1/81の時間で完了する。なお、1/81減縮画像信号の読み出しは、1/9減縮画像信号の読み出しに要する時間の1/9の時間で完了する。このため、1/9減縮画像信号に基づいて生成する縮小画像(以下、「1/9縮小画像」という)は、フル解像画像信号に基づいて生成するフル解像度画像よりも9倍早く生成することができ、1/81減縮画像信号に基づいて生成する縮小画像(以下、「1/81縮小画像」という)は、フル解像画像信号に基づいて生成するフル解像度画像よりも81倍早く生成することができる。言い換えれば、1/9縮小画像のフレームレートは、フル解像度画像のフレームレートよりも9倍高く、1/81縮小画像のフレームレートは、フル解像度画像のフレームレートよりも81倍高い。
実施形態の固体撮像装置1を搭載した撮像システムでは、減縮画像信号を早く読み出すことができるということを利用して、例えば、ダイナミックレンジの確認、画像信号に対するアナログゲインの調整やバイアスレベルの調整など、固体撮像装置1が出力するフル解像画像信号に対して施すアナログ的な処理、いわゆる、アナログフロントエンドの処理に必要な情報を早く取得することができる。また、実施形態の固体撮像装置1を搭載した撮像システムでは、減縮画像信号を早く読み出すことによって縮小画像を早く生成することができるということを利用して、例えば、AE処理、AWB処理、蛍光灯のフリッカ補正など、固体撮像装置1が出力するフル解像画像信号に基づいてフル解像度画像を生成する際のデジタル的な処理(映像信号処理)に必要な情報を早く取得することができる。また、実施形態の固体撮像装置1を搭載した撮像システムでは、同じ露光によって得られる複数の減縮画像信号を別々に独立して出力することができるということを利用して、ライブビュー画像の表示と、AFや被写体追尾などの高速に処理することが必要な処理(以下、「トラッキング処理」という)とを、並列に実行することができる。
(第1のシステム例)
図10は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第1のシステム例を示したブロック図である。撮像システムの第1のシステム例は、1/81減縮画像信号を固体撮像装置1から先に読み出し、読み出した1/81減縮画像信号に基づいて、フル解像画像信号に対する調整を行う撮像システムの構成例である。図10に示した撮像システム10は、固体撮像装置1と、ダイナミックレンジ推定部301と、アナログゲイン調整部302と、映像信号処理部303とを備えている。なお、図10においては、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/81減縮画像信号を出力する第3の電荷蓄積回路204も示している。
ダイナミックレンジ推定部301は、固体撮像装置1に備えた第3の電荷蓄積回路204から1/81減縮画像信号を読み出し、読み出した1/81減縮画像信号に基づいて、同じ露光によって得られるフル解像画像信号における全体の輝度分布(ダイナミックレンジ)を推定する。そして、ダイナミックレンジ推定部301は、推定したダイナミックレンジの情報を、アナログゲイン調整部302に出力する。
なお、ダイナミックレンジ推定部301は、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出して、ダイナミックレンジを推定する構成にしてもよい。
アナログゲイン調整部302は、ダイナミックレンジ推定部301から入力されたダイナミックレンジの情報に基づいて、同じ露光によって得られたフル解像画像信号(アナログ信号)に対して掛ける(調整する)アナログゲインの調整値を決定し、決定したアナログゲイン調整値の情報を、固体撮像装置1に出力する。これにより、固体撮像装置1は、例えば、第1の電荷蓄積回路103が、入力されたアナログゲイン調整値の情報に基づいてそれぞれの画素信号のアナログゲインを調整し、アナログゲインを調整したフル解像画像信号を出力する。
映像信号処理部303は、固体撮像装置1に備えた第1の電荷蓄積回路103から、アナログゲインを調整した後のフル解像画像信号を読み出し、読み出したフル解像画像信号に対して予め定められた種々の映像信号処理を施す。
ここで、撮像システムの第1のシステム例において、固体撮像装置1からそれぞれの画素信号を読み出す際のタイミングについて説明する。図11は、本発明の実施形態の固体撮像装置1を搭載した第1のシステム例の撮像システム10の画素信号の読み出しシーケンスを示したタイミングチャートである。
撮像システム10は、固体撮像装置1の制御を行う不図示の制御装置によって、図11に示したように、電荷転送回路102に、光電変換部101が露光した信号電荷を第1の電荷蓄積回路103に転送させ、さらに、第2の電荷蓄積回路104に転送させる。そして、第2の電荷蓄積回路104に、平均化した信号電荷を第3の電荷蓄積回路204に転送させる。
その後、撮像システム10では、第3の電荷蓄積回路204から、1/81減縮画像信号を先に読み出す。そして、撮像システム10では、ダイナミックレンジ推定部301とアナログゲイン調整部302とによる処理が完了した後、すなわち、フル解像画像信号を調整するためのアナログゲインの調整値を決定した後に、第1の電荷蓄積回路103から、フル解像画像信号を読み出す。
なお、図11のタイミングチャートを見てわかるように、第2の電荷蓄積回路104からの1/9減縮画像信号の読み出しは行っていない。これは、撮像システム10の処理においては、1/9減縮画像信号を使用した処理を行っていないからである。このように、固体撮像装置1では、処理に使用する画素信号のみを読み出してもよい。また、固体撮像装置1の構成が、第2の電荷蓄積回路104に信号電荷を転送しない場合でも、第3の電荷蓄積回路204から1/81減縮画像信号を読み出すことができる構成である場合には、図11のタイミングチャートに示した、第2の電荷蓄積回路104への信号電荷の転送も行わないようにしてもよい。
第1のシステム例によれば、固体撮像装置1と、固体撮像装置1に備えた第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bから第1の画素信号(フル解像画像信号)を読み出す第1の読み出し部(映像信号処理部303)と、固体撮像装置1に備えた第2の電荷蓄積回路104から第2の画素信号(減縮画像信号)を読み出す第2の読み出し部(ダイナミックレンジ推定部301)と、を備える撮像システム(撮像システム10)が構成される。
また、第1のシステム例によれば、映像信号処理部303によるフル解像画像信号の読み出しに先立って、画素の数を減縮した減縮画像信号を、ダイナミックレンジ推定部301によって読み出す、撮像システム10が構成される。
また、第1のシステム例によれば、映像信号処理部303によるフル解像画像信号の読み出しに先立って、画素の数を減縮した第2の画素信号(1/9減縮画像信号)の第2の読み出し部(例えば、ダイナミックレンジ推定部301)による読み出し、または画素の数をさらに減縮した第3の画素信号(1/81減縮画像信号)の第3の読み出し部(ダイナミックレンジ推定部301)による読み出しを行う、撮像システム10が構成される。
このように、実施形態の固体撮像装置1を搭載した第1のシステム例の撮像システム10では、1/81減縮画像信号を先に読み出すことによって、同じ露光のフル解像画像信号を読み出す前に、ダイナミックレンジを推定し、アナログゲインの調整値を早く決定することができる。従来の技術では、フル解像画像信号を取得するための露光よりも前に行った露光によって得られた画素信号、つまり、以前のフレームの画素信号に基づいてダイナミックレンジを推定していたため、瞬時の輝度変化や照明の変化への対応が困難であった。これに対して、実施形態の固体撮像装置1を搭載した第1のシステム例の撮像システム10では、同じ露光によって得られた減縮画像信号に基づいてダイナミックレンジを推定するため、輝度変化や照明の変化に瞬時に対応することができる。しかも、実施形態の固体撮像装置1を搭載した第1のシステム例の撮像システム10では、同じ露光によって得られた減縮画像信号に基づいてダイナミックレンジを推定するため、従来の技術によるアナログゲインの調整値よりも、フル解像度画像により適した値に、アナログゲインの調整値を決定することができる。
なお、同様の考え方を適用することによって、読み出すフル解像画像信号のレベルを調整するためのバイアスのレベル補正を、アナログ段階の処理で行うようにしてもよい。つまり、実施形態の固体撮像装置1を搭載した第1のシステム例の撮像システム10では、1/81減縮画像信号を先に読み出すことによって、上述したアナログゲインの調整値の決定以外にも、様々なアナログ的な処理に必要な情報を早く取得してもよい。
(第2のシステム例)
図12は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第2のシステム例を示したブロック図である。撮像システムの第2のシステム例は、1/81減縮画像信号を固体撮像装置1から先に読み出して生成した1/81縮小画像に基づいて、フル解像画像信号に対して施す映像信号処理の調整を行う撮像システムの構成例である。図12に示した撮像システム20は、固体撮像装置1と、画像情報解析推定部304と、映像信号処理部303とを備えている。なお、図12においても、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/81減縮画像信号を出力する第3の電荷蓄積回路204も示している。
画像情報解析推定部304は、固体撮像装置1に備えた第3の電荷蓄積回路204から1/81減縮画像信号を読み出して1/81縮小画像を生成する。そして、画像情報解析推定部304は、生成した1/81縮小画像を解析して、映像信号処理部303が、固体撮像装置1が出力する同じ露光のフル解像画像信号に基づいてフル解像度画像を生成する際の、例えば、AE処理、AWB処理や、蛍光灯のフリッカによる垂直方向の輝度ムラ補正などの映像信号処理に必要な情報を推定する。そして、画像情報解析推定部304は、推定した映像信号処理に必要な情報を、映像信号処理部303に出力する。
なお、画像情報解析推定部304は、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出して1/9縮小画像を生成し、映像信号処理に必要な情報を推定する構成にしてもよい。
映像信号処理部303は、固体撮像装置1に備えた第1の電荷蓄積回路103からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して、画像情報解析推定部304から入力された映像信号処理に必要な情報に基づいた、予め定められた種々の映像信号処理を施す。
このような構成によって、実施形態の固体撮像装置1を搭載した第2のシステム例の撮像システム20では、1/81減縮画像信号を先に読み出して1/81縮小画像を早く生成することによって、同じ露光のフル解像画像信号を読み出す前に、フル解像画像信号に対する映像信号処理に必要な情報を早く取得することができる。特に、フル解像画像信号に対する蛍光灯のフリッカ補正の映像信号処理は、異なるフレームを用いる従来の技術では、周期的な輝度ムラの位相が同じ画素信号を取得することが厳密には困難であった。これに対して、実施形態の固体撮像装置1を搭載した第2のシステム例の撮像システム20では、同じ露光、つまり、同じフレームであるため、周期的な輝度ムラの位相が同じ画素信号をより厳密に取得することができ、蛍光灯のフリッカ補正の映像信号処理にはより好ましい。
なお、撮像システムの第2のシステム例における画素信号の読み出しシーケンスは、画素信号を読み出す撮像システム内の構成要素が異なる以外は、図11に示した第1のシステム例の撮像システム10における画素信号の読み出しシーケンスと同様である。従って、撮像システムの第2のシステム例における画素信号の読み出しシーケンスに関する詳細な説明は省略する。
(第3のシステム例)
図13は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第3のシステム例を示したブロック図である。撮像システムの第3のシステム例は、固体撮像装置1から読み出したフル解像画像信号に基づいてフル解像度画像を生成しながら、固体撮像装置1から読み出した1/9減縮画像信号に基づいてライブビュー画像を生成すると共に、さらに、固体撮像装置1から読み出した1/81減縮画像信号に基づいてトラッキング処理を行う撮像システムの構成例である。図13に示した撮像システム30は、固体撮像装置1と、トラッキング処理部305と、ライブビュー画像生成部306と、映像信号処理部303とを備えている。なお、図13においても、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/81減縮画像信号を出力する第3の電荷蓄積回路204も示している。
トラッキング処理部305は、固体撮像装置1に備えた第3の電荷蓄積回路204から1/81減縮画像信号を読み出して1/81縮小画像を生成する。そして、トラッキング処理部305は、生成した1/81縮小画像を解析して、トラッキング処理に必要な情報を取得し、撮像システム30におけるトラッキング処理を行う。また、トラッキング処理部305は、ライブビュー画像生成部306が、固体撮像装置1が出力する同じ露光の1/9減縮画像信号に基づいて1/9縮小画像を生成するライブビュー画像生成処理に必要な情報を推定し、推定したライブビュー画像生成処理に必要な情報を、ライブビュー画像生成部306に出力する。また、映像信号処理部303は、ライブビュー画像生成部306が、固体撮像装置1が出力する同じ露光のフル解像画像信号に基づいてフル解像度画像を生成する映像信号処理に必要な情報を推定し、推定した映像信号処理に必要な情報を、映像信号処理部303に出力する。
ライブビュー画像生成部306は、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出し、読み出した1/9減縮画像信号に対して、トラッキング処理部305から入力されたライブビュー画像生成処理に必要な情報に基づいて、1/9縮小画像を生成する。そして、ライブビュー画像生成部306は、生成した1/9縮小画像を、ライブビュー画像として出力する。
なお、撮像システム30が動画像を撮影する場合には、ライブビュー画像生成部306は、固体撮像装置1から読み出した1/9減縮画像信号に基づいてライブビュー画像を生成する代わりに、記録する動画像を生成してもよい。また、ライブビュー画像生成部306の代わりに、記録する動画像を生成する動画像生成部を、撮像システム30に備える構成であってもよい。この場合でも、動画像生成部の処理は、上述したライブビュー画像生成部306におけるライブビュー画像生成処理と同様に考えることができるため、詳細な説明は省略する。
映像信号処理部303は、固体撮像装置1に備えた第1の電荷蓄積回路103からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して、トラッキング処理部305から入力された映像信号処理に必要な情報に基づいた、予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。
ここで、撮像システムの第3のシステム例において、固体撮像装置1からそれぞれの画素信号を読み出す際のタイミングについて説明する。図14は、本発明の実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30の画素信号の読み出しシーケンスを示したタイミングチャートである。
撮像システム30は、固体撮像装置1の制御を行う不図示の制御装置によって、図14に示したように、電荷転送回路102に、光電変換部101が露光した信号電荷を第1の電荷蓄積回路103に転送させ、さらに、第2の電荷蓄積回路104に転送させる。そして、第2の電荷蓄積回路104に、平均化した信号電荷を第3の電荷蓄積回路204に転送させる。
その後、撮像システム30では、第1の電荷蓄積回路103からフル解像画像信号を、第2の電荷蓄積回路104から1/9減縮画像信号を、第3の電荷蓄積回路204から1/81減縮画像信号を、それぞれ読み出す。これにより、トラッキング処理部305と、ライブビュー画像生成部306と、映像信号処理部303とのそれぞれは、対応する画素信号に基づいた処理を行う。
また、撮像システム30では、平均化した信号電荷の第3の電荷蓄積回路204への転送が終了した後、光電変換部101における次の露光を開始する。これにより、光電変換部101は、入射した光を光電変換した信号電荷を発生して蓄積する。
その後、撮像システム30では、第3の電荷蓄積回路204からの1/81減縮画像信号の読み出しが終了した後、電荷転送回路102に、光電変換部101が今回露光した信号電荷を第2の電荷蓄積回路104に転送させ、第2の電荷蓄積回路104に、平均化した信号電荷を第3の電荷蓄積回路204に転送させる。
なお、このとき、前回転送した信号電荷の読み出しが終わっていない電荷蓄積回路には、今回の露光によって得られた信号電荷の転送は行わない。図14に示したタイミングチャートでは、2回目および4回目の露光によって得られた信号電荷を第3の電荷蓄積回路204のみに転送し、3回目の露光によって得られた信号電荷を第2の電荷蓄積回路104と第3の電荷蓄積回路204とに転送させる場合を示している。これは、2回目および4回目の露光によって得られた信号電荷を転送するタイミングでは、第2の電荷蓄積回路104からの1/9減縮画像信号の読み出しが終了していないからである。なお、これらの1/81減縮画像信号の読み出しのみ行いながらフル解像画像信号および1/9減縮画像信号の読み出しを行わず信号電荷を維持する動作は、図2、図4、図6に示した固体撮像装置1において、第2の電荷蓄積部210,210a,221a,220aに電荷を転送する際に、第1のサンプルホールドトランジスタ108aおよび第1のクランプトランジスタ109aを動作させない、つまり、制御信号φTX2および制御信号φRST2を“L”レベルにすることで第1の電荷蓄積部110aに保持した電荷を以前の状態で維持し、必要なときに読み出しを行うように制御することで行うことができる。すなわち、第1の電荷蓄積部110aに影響することなく、第2の電荷蓄積回路104や第3の電荷蓄積回路204に画素信号を転送することができる(画素100bに対応する構成ついても同様である)。
このように、撮像システム30では、それぞれの電荷蓄積回路への信号電荷の転送が終了すると次の露光を開始し、今回の露光によって光電変換部101が光電変換した信号電荷を、前回の信号電荷の読み出しが終了した電荷蓄積回路に転送する。つまり、撮像システム30では、第2の電荷蓄積回路104および第1の電荷蓄積回路103における画素信号の読み出しが終了しているか否かに関わらず、最もフレームレートが高い1/81縮小画像を生成するタイミングの周期で撮影を行う。言い換えれば、高速に処理することが必要な、すなわち、優先して読み出すことが必要な、AFや被写体追尾などのトラッキング処理に用いる1/81減縮画像信号を、第3の電荷蓄積回路204から読み出す頻度を高くする。
第3のシステム例によれば、第1の画素信号(フル解像画像信号)と第2の画素信号(減縮画像信号)とのうち、更新頻度が高い減縮画像信号を優先して、第2の読み出し部(トラッキング処理部305)によって読み出す、撮像システム(撮像システム30)が構成される。
また、第3のシステム例によれば、固体撮像装置1と、固体撮像装置1に備えた第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bから第1の画素信号(フル解像画像信号)を読み出す第1の読み出し部(映像信号処理部303)と、固体撮像装置1に備えた第2の電荷蓄積回路104から第2の画素信号(例えば、1/9減縮画像信号)を読み出す第2の読み出し部(ライブビュー画像生成部306)と、固体撮像装置1に備えた第3の電荷蓄積回路(第3の電荷蓄積回路204)から第3の画素信号(例えば、1/81減縮画像信号)を読み出す第3の読み出し部(トラッキング処理部305)と、を備える、撮像システム(撮像システム30)が構成される。
また、第3のシステム例によれば、フル解像画像信号、第2の画素信号(例えば、1/9減縮画像信号)、および第3の画素信号(例えば、1/81減縮画像信号)のうち、更新頻度が高い第2の画素信号(例えば、1/9減縮画像信号)または第3の画素信号(例えば、1/81減縮画像信号)を優先して、対応するライブビュー画像生成部306またはトラッキング処理部305によって読み出す、撮像システム(撮像システム30)が構成される。
このように、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、最もフレームレートが高い周期で露光を行って、それぞれの画素信号に基づいた画像の生成を並列に行う。これにより、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、フル解像度画像を生成しながらライブビュー画像を生成すると共に、さらに、トラッキング処理を行うことができる。また、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、ライブビュー画像を、従来の技術のように画素を行毎に間引いた画素信号に基づいて生成するのではなく、それぞれの信号電荷を平均化した(加算平均した)1/9減縮画像信号に基づいて生成する。このため、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、相対的なノイズ量やモアレの発生量が少なく、良好な画質のライブビュー画像を生成することができる。
また、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、ライブビュー画像を生成する1/9減縮画像信号よりもさらに画素数を減縮した、1/81減縮画像信号に基づいてトラッキング処理を行う。つまり、ライブビュー画像のフレームレートよりもさらに高いフレームレートの1/81縮小画像に基づいて、トラッキング処理を行う。このため、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、より高速にトラッキング処理を行うことができる。しかも、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、ライブビュー画像を生成する1/9減縮画像信号よりもさらに信号電荷を平均化した(加算平均した)1/81減縮画像信号に基づいてトラッキング処理を行う。この1/81減縮画像信号は、加算平均する画素数が多いため、S/N(Signal/Noise)が高い画素信号である。このため、撮像システムを露光量が少ない環境で使用する場合、従来の撮像システムでは、例えば、補助光を点灯させるなど、トラッキング処理に耐えうる画像を得るための対策が必要であっが、実施形態の固体撮像装置1を搭載した第3のシステム例の撮像システム30では、例えば、補助光の光量を少なくする、または補助光を点灯しないなど、トラッキング処理に用いる画像を得るための対策が軽減、または必要なくなる。これは、撮像システムにおける消費電力の低減につながり、有利である。また、例えば、1/81減縮画像信号に対してゲインを掛ける調整を行った場合でも、ノイズが少ない良好な画像を生成することができる。すなわち、第3のシステム例の撮像システム30では、静止画撮影、高画質なライブビューの撮影、低露光条件でのトラッキングの3つの撮影モードを並行に行うことができ、静止画撮影後の画素信号を転送している最中でもライブビュー画像の生成処理およびトラッキング処理が途切れることがない。
ところで、トラッキング処理におけるAFの処理では、画素の信号電荷を加算平均した画素信号から生成した画像に基づいて処理するよりも、画素を間引いた画素信号から生成した画像に基づいて処理する方が有利な場合もある。例えば、撮像システムに備えた光学レンズの現在の焦点位置が、最終的な合焦点付近にある場合には、画素を間引いた画素信号から生成した画像のコントラストの方が、画素の信号電荷を加算平均した画素信号から生成した画像のコントラストよりも高いことがある(図15参照)。このため、画素を間引いた画素信号から生成した画像に基づいてAF処理を行う方が、より高い精度で光学レンズの焦点位置を制御することができる場合もある。より具体的には、図15に示したように、焦点距離(1/距離)が、例えば、焦点範囲F1の範囲である場合には、画素の信号電荷を加算平均した画素信号から生成した画像のコントラストよりも画素を間引いた画素信号から生成した画像のコントラストの方が高いため、コントラストがピークとなる焦点距離の判定をしやすくなり、より早く正確なAF処理を完了することができる場合がある。また逆に、加算平均した画素信号の方はノイズの影響を受けにくいため、コントラスト値が低い(焦点から外れている)場合の焦点方向(制御において、レンズを動かす方向)の判定には適している。
そこで、実施形態の固体撮像装置1では、フル解像画像信号および減縮画像信号に加えて、さらに、全ての画素の内、予め定めた画素を間引いた画素信号を別々に独立して出力する構成にしてもよい。なお、予め定めた画素を間引いた画素信号も、画素数を減縮した画素信号、すなわち、減縮画像信号であるが、以下の説明においては、画素の信号電荷を加算平均した減縮画像信号と、画素を間引いた減縮画像信号とを区別するため、画素を間引きした減縮画像信号を「間引き画像信号」という。また、間引き画像信号に基づいて生成する縮小画像を、「間引き画像」という。
図16は、本発明の実施形態の固体撮像装置1の別の変形例の概略構成を示したブロック図である。図16に示した固体撮像装置1の別の変形例では、図1に示した固体撮像装置1と同様に、固体撮像装置1に画素100aと画素100bとの2つの画素が配置されている。なお、図16に示した固体撮像装置1においても、この固体撮像装置1を搭載した撮像システムに備えた制御装置による制御に応じて、それぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの走査回路や、画素信号を固体撮像装置1の外部に出力するための出力アンプなど構成要素は省略している。
図16に示した固体撮像装置1は、光電変換部101aおよび光電変換部101bと、電荷転送回路102aおよび電荷転送回路102bと、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bと、第2の電荷蓄積回路104、および第2の電荷蓄積回路124から構成される。
光電変換部101aおよび光電変換部101b、電荷転送回路102aおよび電荷転送回路102b、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、第2の電荷蓄積回路104のそれぞれは、図1に示した固体撮像装置1のそれぞれの構成要素と同様の構成要素である。従って、それぞれの構成要素に関する詳細な説明は省略する。ただし、電荷転送回路102aまたは電荷転送回路102bのいずれか一方は、対応する光電変換部101aまたは光電変換部101bが発生して蓄積した信号電荷を、第2の電荷蓄積回路124にも転送する。
第2の電荷蓄積回路124は、対応する電荷転送回路102aまたは電荷転送回路102bのいずれか一方から転送された、対応する光電変換部101aまたは光電変換部101bのいずれか一方が発生した信号電荷を保持(蓄積)する回路である。また、第2の電荷蓄積回路124は、保持した信号電荷に応じた信号電圧を、画素信号として出力する回路でもある。
なお、第2の電荷蓄積回路124の構成は、実施形態の固体撮像装置1の第1〜第3の構成例で示した、第2の電荷蓄積回路104における1つの画素に対応する構成と同様の考え方で構成される。つまり、第1〜第3の構成例における第2の電荷蓄積回路104に備えた第2の電荷蓄積部(第2の電荷蓄積部210、第2の電荷蓄積部210aまたは第2の電荷蓄積部210b、第2の電荷蓄積部220aと第2の電荷蓄積部221a、または第2の電荷蓄積部220bと第2の電荷蓄積部221b)に対応する第3の電荷蓄積部を備えた構成が考えられる。
このような構成によって、図16に示した固体撮像装置1では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部101が発生した信号電荷を第1の電荷蓄積回路103にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷(画素数を減縮した信号電荷)を第2の電荷蓄積回路104に保持し、いずれか一方の信号電荷を(画素を間引きした信号電荷)を第2の電荷蓄積回路124に保持する。そして、図16に示した固体撮像装置1では、第1の電荷蓄積回路103のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号と、第2の電荷蓄積回路124に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、図16に示した固体撮像装置1でも、同じ1回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号と、画素数を減縮した画素信号と、さらに画素を間引きした画素信号とのそれぞれを別々に出力することができる。より具体的には、図16に示したように、全ての画素の画素信号(フル解像画像信号)と、画素数を1/2に減縮した画素信号(減縮画像信号(1/2))と、画素を1/2に間引いた画素信号(間引き画像信号(1/2))とのそれぞれを別々に出力することができる。
なお、図16に示した固体撮像装置1では、第2の電荷蓄積回路104に、対応する2つの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持し、第2の電荷蓄積回路124に、いずれか一方の画素に備えた光電変換部101が発生した信号電荷を保持する構成を示した。しかし、実施形態の固体撮像装置1の構成は、図16に示した構成に限定されるものではない。つまり、上述したように、第2の電荷蓄積回路104の代わりに、加算電荷蓄積回路を備える構成や、第2の電荷蓄積回路124を、図8に示した固体撮像装置1に備えた第3の電荷蓄積回路204の代わりに備える構成にしてもよい。
(第4の構成例)
ここで、図16に示した実施形態の固体撮像装置1の構成の一例について説明する。第4の構成例の固体撮像装置1は、図4に示した第2の構成例の固体撮像装置1に、第2の電荷蓄積回路124を追加し、それぞれの構成要素を、光電変換基板と、第1の読み出し基板と、第2の読み出し基板と、第3の読み出し基板との4つの基板に分けて構成した多層基板構造の固体撮像装置1を示している。
なお、第4の構成例の固体撮像装置1の構成要素には、第2の構成例の固体撮像装置1の構成要素と同様の構成要素も含まれている。従って、第4の構成例の固体撮像装置1の構成要素において、第2の構成例の固体撮像装置1の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
図17は、本発明の実施形態の固体撮像装置1の第4の構成例を示した回路図である。図17において、固体撮像装置1の第4の構成例は、光電変換基板11に、光電変換部101a,101bと、画素リセットトランジスタ105a,105b、第1の増幅トランジスタ106a,106b、および電荷転送トランジスタ112a,112bとが形成されている。なお、図17においても、第2の構成例の光電変換基板11と同様に、ノード容量120aとノード容量120bとのそれぞれを、キャパシタの記号で示している。画素100aは、光電変換部101aと、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、で構成されている。画素100bは、光電変換部101bと、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、で構成されている。なお、光電変換基板11は、第2の構成例の光電変換基板11と同様である。
また、図17において、固体撮像装置1の第4の構成例は、第1の読み出し基板21に、第1のクランプトランジスタ109a,109b、第1のサンプルホールドトランジスタ108a,108b、第2の増幅トランジスタ111a,111b、第1の選択トランジスタ107a,107b、第1の電荷蓄積部110a,110b、画素負荷トランジスタ114a,114b、および第1のノイズ抑圧素子113a,113bが形成されている。さらに、固体撮像装置1の第4の構成例は、第1の読み出し基板21に、画素選択トランジスタ115aと画素選択トランジスタ115bとから構成されるマルチプレクサが形成されている。電荷転送回路102aは、画素リセットトランジスタ105aと、第1の増幅トランジスタ106aと、電荷転送トランジスタ112aとノード容量120aと、画素負荷トランジスタ114aと、画素選択トランジスタ115aと、で構成されている。電荷転送回路102bは、画素リセットトランジスタ105bと、第1の増幅トランジスタ106bと、電荷転送トランジスタ112bとノード容量120bと、画素負荷トランジスタ114bと、画素選択トランジスタ115bと、で構成されている。第1の電荷蓄積回路103aは、第1のクランプトランジスタ109aと、第1のサンプルホールドトランジスタ108aと、第2の増幅トランジスタ111aと、第1の選択トランジスタ107aと、第1の電荷蓄積部110aと、第1のノイズ抑圧素子113aと、で構成されている。第1の電荷蓄積回路103bは、第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108bと、第2の増幅トランジスタ111bと、第1の選択トランジスタ107bと、第1の電荷蓄積部110bと、第1のノイズ抑圧素子113bと、で構成されている。なお、第1の読み出し基板21は、第2の構成例の第1の読み出し基板21と同様である。
また、図17において、固体撮像装置1の第4の構成例は、第2の読み出し基板31に、画素100aに対応する第2のクランプトランジスタ209a、第2の電荷蓄積部210a、第2のノイズ抑圧素子213a、および画素選択トランジスタ212aと、画素100bに対応する第2のクランプトランジスタ209b、第2の電荷蓄積部210b、第2のノイズ抑圧素子213b、および画素選択トランジスタ212bと、第3の増幅トランジスタ211、第2の選択トランジスタ207、および平均用スイッチトランジスタ214とからなる第2の電荷蓄積回路104が形成されている。なお、第2の読み出し基板31では、画素選択トランジスタ212aと画素選択トランジスタ212bとの構成によって、第1の読み出し基板21内に形成されたマルチプレクサに対応するデマルチプレクサが構成されている。また、第2の読み出し基板31では、入力された信号電荷をそのまま出力する経路が設けられている。
また、図17において、固体撮像装置1の第4の構成例は、第3の読み出し基板41に、画素100aまたは画素100bに対応する第2のクランプトランジスタ229、第2の電荷蓄積部230、第2のノイズ抑圧素子233、および間引き信号サンプルホールドトランジスタ228と、第3の増幅トランジスタ231、第2の選択トランジスタ227とからなる第2の電荷蓄積回路124が形成されている。
そして、光電変換基板11と第1の読み出し基板21とが第1の基板間接続部12aおよび第1の基板間接続部12bによって接続され、第1の読み出し基板21と第2の読み出し基板31とが第2の基板間接続部22によって接続され、第2の読み出し基板31と第3の読み出し基板41とが第3の基板間接続部32によって接続されている。
なお、実施形態の固体撮像装置1の第4の構成例でも、固体撮像装置1の第2の構成例と同様に、光電変換基板11と第1の読み出し基板21とを電気的接続する第1の基板間接続部12aおよび第1の基板間接続部12bの構造や、第1の読み出し基板21と第2の読み出し基板31とを電気的接続する第2の基板間接続部22の構造や、第2の読み出し基板31と第3の読み出し基板41とを電気的接続する第3の基板間接続部32の構造に関しては、特に規定しない。
間引き信号サンプルホールドトランジスタ228は、不図示の垂直走査回路から入力された制御信号φSH3に応じて、第2の基板間接続部22および第3の基板間接続部32を介して入力された信号電圧を、第2のノイズ抑圧素子233に出力し保持させる。つまり、第4の構成例の固体撮像装置1では、間引き信号サンプルホールドトランジスタ228が、入力されたいずれか一方の信号電圧を第2のノイズ抑圧素子233に出力する選択回路として動作する。これにより、それぞれの画素に備えた光電変換部101aまたは光電変換部101bのいずれか一方が発生した信号電荷に応じた信号電圧が、第2のノイズ抑圧素子233に保持される。
第2のノイズ抑圧素子233は、間引き信号サンプルホールドトランジスタ228から出力された信号電圧を保持(蓄積)する容量である。
第2のクランプトランジスタ229は、不図示の垂直走査回路から入力された制御信号φRST3に応じて、第2の電荷蓄積部230と第2のノイズ抑圧素子233とのそれぞれを固定電位VREFにクランプする。これにより、第2の電荷蓄積部230と第2のノイズ抑圧素子233とのそれぞれは、クランプされた固定電位VREFを保持する。
第2の電荷蓄積部230は、第2のノイズ抑圧素子233が保持している信号電圧(第2の電荷蓄積回路124内でノイズ除去処理された信号)を保持(蓄積)する容量である。
第4の構成例における第2の電荷蓄積回路124では、第2のクランプトランジスタ229、第2の電荷蓄積部230、および第2のノイズ抑圧素子233の構成によって、画素100aまたは画素100bにおけるリーク電流(暗電流)に起因するノイズ除去処理を第2の電荷蓄積回路124内で行い、第2の電荷蓄積部230は、ノイズ除去処理された信号を保持する。
なお、第2の電荷蓄積部230としても、第2の構成例の第2の電荷蓄積部210aおよび第2の電荷蓄積部210bと同様に、単位面積当たりのリーク電流(暗電流)が少ない容量であるMIM容量や、MOS容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。
第3の増幅トランジスタ231は、ゲート端子の電圧、すなわち、第2の電荷蓄積部230に保持されたノイズ除去処理された信号に応じた信号電圧を出力する。
第2の選択トランジスタ227は、不図示の垂直走査回路から入力された制御信号φSEL3に応じて、第3の増幅トランジスタ231から出力される信号電圧を、固体撮像装置1に備えた予め定めた画素の画素信号、つまり、画素100aまたは画素100bのいずれか一方を間引いた画素信号として第3の垂直信号線39に出力する。これにより、それぞれの画素に備えた光電変換部101aまたは光電変換部101bのいずれか一方が発生した信号電荷を間引いた信号電荷に応じた画素信号が、第3の垂直信号線39に読み出される。
このような構成によって固体撮像装置1の第4の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12b)を介して読み出す。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持する。また、固体撮像装置1の第4の構成例では、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって選択して第2の基板間接続部22に出力させる。そして、デマルチプレクサ(画素選択トランジスタ212aおよび画素選択トランジスタ212b)によって、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持する。その後、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持した信号を平均化する。また、固体撮像装置1の第4の構成例では、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって選択され、第2の基板間接続部22および選択して第3の基板間接続部32を介して入力された、2つの光電変換部のそれぞれが光電変換したいずれか一方の信号電荷に応じた信号電圧を、選択回路(間引き信号サンプルホールドトランジスタ228)によって選択する。そして、ノイズ除去処理後の信号を、電荷蓄積部(第2の電荷蓄積部230)に保持する。その後、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に蓄積されたノイズ除去処理後の信号に応じた信号電圧と、平均化した信号電圧と、間引いた信号電圧とのそれぞれを、画素信号として第1の垂直信号線19、第2の垂直信号線29、および第3の垂直信号線39のそれぞれに順次読み出しを行う。
なお、図17に示した固体撮像装置1の第4の構成例では、光電変換部101aを含むそれぞれの構成要素を備えた画素100aと、光電変換部101bを含むそれぞれの構成要素を備えた画素100bとが組になった構成の一例を示したが、固体撮像装置1に配置される画素の組は、第2の構成例の固体撮像装置1と同様に、図17に示した構成に限定されるものではない。すなわち、図17に示した構成よりもさらに多くの画素数で1つの組を構成し、この画素の組を複数配置することによって固体撮像装置1内に備える画素アレイを形成してもよい。
次に、実施形態の固体撮像装置1における第4の構成例の駆動タイミングについて説明する。図18は、本発明の実施形態の固体撮像装置1の第4の構成例を駆動するタイミングを示したタイミングチャートである。図18に示したタイミングチャートは、画素100aと画素100bとを同時に露光し、画素100aの画素信号と画素100bの画素信号とのそれぞれを第1の垂直信号線19に順次出力し、画素100aの画素信号と画素100bの画素信号とを平均化した画素信号を第2の垂直信号線29に出力し、さらに、画素100aの画素信号を第3の垂直信号線39に出力する固体撮像装置1の第4の構成例の動作において、不図示の垂直走査回路によって制御されるタイミングを示している。
なお、固体撮像装置1の第4の構成例では、図17に示したように、画素100aと画素100bとの2つの画素が1つの組として構成されている。そして、固体撮像装置1の第4の構成例では、2つの光電変換部101aおよび光電変換部101bのそれぞれに対応した2つの第1の電荷蓄積回路103a(第1の電荷蓄積部110aを含む)および第1の電荷蓄積回路103b(第1の電荷蓄積部110bを含む)と、2つの光電変換部101aおよび光電変換部101bに共通の第2の電荷蓄積回路104(第2の電荷蓄積部210aおよび第2の電荷蓄積部210bを含む)および第2の電荷蓄積回路124(第2の電荷蓄積部230を含む)とを備えている。このため、図18に示したタイミングチャートには、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bとのそれぞれに、2つの光電変換部101aおよび光電変換部101bのそれぞれが発生した信号電荷を保持させ、第2の電荷蓄積部230に、光電変換部101aが発生した信号電荷を保持させるタイミングを示している。
まず、時刻t1において、全ての画素(画素100aおよび画素100b)をリセットする。より具体的には、時刻t1において、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bと、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bとをオン状態にする。これにより、画素100aおよび画素100bに備えた光電変換部101aおよび光電変換部101bと、ノード容量120aおよびノード容量120bとがリセットされる。
その後、不図示の垂直走査回路は、制御信号φTX1および制御信号φRST1を、同時に“L”レベルにして、画素100aと画素100bとのリセットを解除する。これにより、画素100aと画素100bとが同時に露光を開始する。すなわち、画素100aに備えた光電変換部101aと画素100bに備えた光電変換部101bとが、入射した光を光電変換した信号電荷の蓄積を開始する。
続いて、一定の期間が経過した後、すなわち、任意の露光時間が経過した後に、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光レベルの信号との、対応する第1の基板間接続部12aおよび第1の基板間接続部12bへの読み出しを行う。そして、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bでは、対応する光電変換部101aまたは光電変換部101bのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。また、時刻t2から、電荷転送回路102aおよび電荷転送回路102bのそれぞれは、対応する光電変換部101aと光電変換部101bとのそれぞれのリセットレベルの信号と露光レベルの信号との第2の基板間接続部22への読み出しを、順次行う。そして、第2の電荷蓄積回路104では、画素100aのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理と、画素100bのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理とを順次行う。また、第2の電荷蓄積回路124では、画素100aのリセットレベルの信号と露光レベルの信号との差分をとるノイズ除去処理を行う。
より具体的には、時刻t2において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aを、対応する第1の増幅トランジスタ106aの負荷として動作させ、画素負荷トランジスタ114bを、対応する第1の増幅トランジスタ106bの負荷として動作させる。
また、不図示の垂直走査回路は、制御信号φRST1を“H”レベルにして、画素リセットトランジスタ105aおよび画素リセットトランジスタ105bをオン状態にし、ノード容量120aおよびノード容量120bをリセットする。これにより、第1の増幅トランジスタ106aから光電変換部101aのリセットレベルの信号電圧が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、画素選択トランジスタ115aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bのリセットレベルの信号電圧が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、画素選択トランジスタ115bに出力される。
また、不図示の垂直走査回路は、制御信号φSH1A、制御信号φSH2A、および制御信号φSH3を“H”レベルにして、画素選択トランジスタ115aと、画素選択トランジスタ212aと、間引き信号サンプルホールドトランジスタ228とをオン状態にする。これにより、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して画素選択トランジスタ115aに出力された光電変換部101aのリセットレベルの信号電圧が選択され、画素選択トランジスタ115a、第2の基板間接続部22、および画素選択トランジスタ212aを介して第2のノイズ抑圧素子213aに出力される。さらに、選択された光電変換部101aのリセットレベルの信号電圧は、第3の基板間接続部32、および間引き信号サンプルホールドトランジスタ228を介して第2のノイズ抑圧素子233に出力される。
また、不図示の垂直走査回路は、制御信号φRST2および制御信号φTX2を“H”レベルにして、第1のクランプトランジスタ109aおよび第1のクランプトランジスタ109bと、第1のサンプルホールドトランジスタ108aおよび第1のサンプルホールドトランジスタ108bとをオン状態にする。これにより、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bと、第1のノイズ抑圧素子113aおよび第1のノイズ抑圧素子113bとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φRST2Aを“H”レベルにして、第2のクランプトランジスタ209aをオン状態にする。これにより、第2の電荷蓄積部210aと第2のノイズ抑圧素子213aとのそれぞれがクランプされる。また、不図示の垂直走査回路は、制御信号φRST3を“H”レベルにして、第2のクランプトランジスタ229をオン状態にする。これにより、第2の電荷蓄積部230と第2のノイズ抑圧素子233とのそれぞれがクランプされる。
その後、不図示の垂直走査回路は、制御信号φRST1を“L”レベルにして、ノード容量120aおよびノード容量120bのリセットを解除する。続いて、時刻t3において、不図示の垂直走査回路は、制御信号φRST2Aを“L”レベルにして、第2の電荷蓄積部210aのクランプを解除する。また、不図示の垂直走査回路は、制御信号φRST3を“L”レベルにして、第2の電荷蓄積部230のクランプを解除する。その後、不図示の垂直走査回路は、制御信号φSH1A、制御信号φSH2A、および制御信号φSH3を“L”レベルにして、画素選択トランジスタ115aと、画素選択トランジスタ212aと、間引き信号サンプルホールドトランジスタ228とをオフ状態にし、光電変換部101aのリセットレベルの信号電圧の選択を解除する。
続いて、時刻t4において、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオン状態にする。これにより、第1の増幅トランジスタ106bから第1の基板間接続部12bを介して画素選択トランジスタ115bに出力された光電変換部101bのリセットレベルの信号電圧が選択され、画素選択トランジスタ115b、第2の基板間接続部22、および画素選択トランジスタ212bを介して第2のノイズ抑圧素子213bに出力される。また、不図示の垂直走査回路は、制御信号φRST2Bを“H”レベルにして、第2のクランプトランジスタ209bをオン状態にする。これにより、第2の電荷蓄積部210bと第2のノイズ抑圧素子213bとのそれぞれがクランプされる。
続いて、時刻t5において、不図示の垂直走査回路は、制御信号φRST2Bを“L”レベルにして、第2の電荷蓄積部210bのクランプを解除する。その後、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“L”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオフ状態にし、光電変換部101bのリセットレベルの信号電圧の選択を解除する。また、不図示の垂直走査回路は、制御信号φRST2を“L”レベルにして、第1の電荷蓄積部110aおよび第1の電荷蓄積部110bのクランプを解除する。
続いて、時刻t6において、不図示の垂直走査回路は、制御信号φTX1を“H”レベルにして、電荷転送トランジスタ112aおよび電荷転送トランジスタ112bをオン状態にし、光電変換部101aに蓄積された信号電荷を、第1の増幅トランジスタ106aのゲート端子に、光電変換部101bに蓄積された信号電荷を、第1の増幅トランジスタ106bのゲート端子に、それぞれ転送する。このとき、電荷転送トランジスタ112aによって転送された信号電荷は、ノード容量120aに蓄積され、電荷転送トランジスタ112bによって転送された信号電荷は、ノード容量120bに蓄積される。これにより、第1の増幅トランジスタ106aから光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12aを介して第1のノイズ抑圧素子113aに出力されると共に、画素選択トランジスタ115aに出力される。また、第1の増幅トランジスタ106bから光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が、第1の基板間接続部12bを介して、第1のノイズ抑圧素子113bに出力されると共に、画素選択トランジスタ115bに出力される。
そして、第1のノイズ抑圧素子113aは、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、同様に、第1のノイズ抑圧素子113bは、光電変換部101bのノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φTX1を“L”レベルにして、光電変換部101aが蓄積した信号電荷の第1の増幅トランジスタ106aのゲート端子への転送と、光電変換部101bが蓄積した信号電荷の第1の増幅トランジスタ106bのゲート端子への転送とを停止する。
続いて、時刻t7において、不図示の垂直走査回路は、制御信号φTX2を“L”レベルにして、第1の電荷蓄積部110aのサンプルホールドと、第1の電荷蓄積部110bのサンプルホールドとを停止する。これにより、第1の電荷蓄積部110aは、第1のノイズ抑圧素子113aが出力しているノイズ除去処理された信号電圧を保持し、第1の電荷蓄積部110bは、第1のノイズ抑圧素子113bが出力しているノイズ除去処理された信号電圧を保持する。
ここまでで、画素100aに備えた光電変換部101aが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110aに保持され、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第1の電荷蓄積部110bに保持(蓄積)されることになる。
続いて、時刻t8において、不図示の垂直走査回路は、制御信号φSH1A、制御信号φSH2A、および制御信号φSH3を“H”レベルにして、画素選択トランジスタ115aと、画素選択トランジスタ212aと、間引き信号サンプルホールドトランジスタ228とをオン状態にする。これにより、第1の増幅トランジスタ106aから第1の基板間接続部12aを介して画素選択トランジスタ115aに出力された光電変換部101aが発生した信号電荷、すなわち、ノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が選択され、画素選択トランジスタ115a、第2の基板間接続部22、および画素選択トランジスタ212aを介して第2のノイズ抑圧素子213aに出力される。さらに、選択された光電変換部101aのノード容量120aに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)は、第3の基板間接続部32、および間引き信号サンプルホールドトランジスタ228を介して第2のノイズ抑圧素子233に出力される。
そして、第2のノイズ抑圧素子213aは、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。また、第2のノイズ抑圧素子233は、光電変換部101aのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φSH1A、制御信号φSH2A、および制御信号φSH3を“L”レベルにして、画素選択トランジスタ115aと、画素選択トランジスタ212aと、間引き信号サンプルホールドトランジスタ228とをオフ状態にし、光電変換部101aが発生した信号電荷に応じた信号電圧の選択を解除する。
ここまでで、画素100aに備えた光電変換部101aが発生した信号電荷がノイズ除去処理されて、第2の電荷蓄積部210aと第2の電荷蓄積部230とに保持(蓄積)されることになる。
続いて、時刻t9において、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“H”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオン状態にする。これにより、第1の増幅トランジスタ106bから第1の基板間接続部12bを介して画素選択トランジスタ115bに出力された光電変換部101bが発生した信号電荷、すなわち、ノード容量120bに蓄積された信号電荷に応じた信号電圧(露光レベルの信号)が選択され、画素選択トランジスタ115b、第2の基板間接続部22、および画素選択トランジスタ212bを介して第2のノイズ抑圧素子213bに出力される。
そして、第2のノイズ抑圧素子213bは、光電変換部101bのリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を出力する。
その後、不図示の垂直走査回路は、制御信号φSH1Bおよび制御信号φSH2Bを“L”レベルにして、画素選択トランジスタ115bと画素選択トランジスタ212bとをオフ状態にし、光電変換部101bが発生した信号電荷に応じた信号電圧の選択を解除する。
ここまでで、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第2の電荷蓄積部210bに保持(蓄積)されることになる。
続いて、時刻t10において、第2の電荷蓄積回路104は、第2の電荷蓄積部210aに保持しているノイズ除去処理された信号電圧と、第2の電荷蓄積部210bに保持しているノイズ除去処理された信号電圧との平均化の処理を行う。より具体的には、時刻t10において、不図示の垂直走査回路は、制御信号φMixを“H”レベルにして、平均用スイッチトランジスタ214をオン状態にする。これにより、第2の電荷蓄積部210aと第2の電荷蓄積部210bとが短絡され、第2の電荷蓄積部210aと第2の電荷蓄積部210bとのそれぞれは、保持しているノイズ除去処理されたそれぞれの信号電圧の中間の信号電圧、すなわち、平均化した信号電圧を保持する。
また、時刻t10において、不図示の垂直走査回路は、制御信号φBIASを制御して、画素負荷トランジスタ114aおよび画素負荷トランジスタ114bのそれぞれの、対応する第1の増幅トランジスタ106aまたは第1の増幅トランジスタ106bの負荷としての動作を停止させる。
その後、不図示の垂直走査回路は、制御信号φSEL1Aおよび制御信号φSEL1Bを順次制御して、第1の電荷蓄積部110aと第1の電荷蓄積部110bとに保持されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの画素の画素信号として第1の垂直信号線19に出力させる。また、不図示の垂直走査回路は、制御信号φSEL2を制御して、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号として第2の垂直信号線29に出力させる。また、不図示の垂直走査回路は、制御信号φSEL3を制御して、第2の電荷蓄積部230に保持されたノイズ除去処理された光電変換部101aが発生した信号電荷に応じた信号電圧を、画素を間引いた画素信号として第3の垂直信号線39に出力させる。
なお、図18に示したタイミングチャートでは、第2の電荷蓄積部230に、光電変換部101aが発生した信号電荷を保持させるタイミングを示したが、第2の電荷蓄積回路124を制御するタイミングを変更することによって、光電変換部101bが発生した信号電荷を、第2の電荷蓄積部230に保持させてもよい。より具体的には、時刻t2(時刻t3も含む)および時刻t8において、制御信号φSH1Aおよび制御信号φSH2Aと共に制御していた制御信号φSH3を、時刻t4(時刻t5も含む)および時刻t9において、制御信号φSH1Bおよび制御信号φSH2Bと共に制御する。また、時刻t2および時刻t3において、制御信号φRST2Aと共に制御していた制御信号φRST3を、時刻t4および時刻t5において、制御信号φRST2Bと共に制御する。この駆動タイミングに変更することによって、画素100bに備えた光電変換部101bが発生した信号電荷がノイズ除去処理されて、第2の電荷蓄積部210bと第2の電荷蓄積部230とに保持(蓄積)されることになる。
なお、図17に示した固体撮像装置1の第4の構成例でも、第2の構成例の固体撮像装置1と同様に、不図示の垂直走査回路が制御信号φMixを“L”レベルにして、第2の電荷蓄積部210aと第2の電荷蓄積部210bとの短絡を解除した後に、第2の電荷蓄積部210aに保持されたノイズ除去処理された平均化した信号電圧を、画素数を減縮した画素信号(減縮画像信号)として第2の垂直信号線29に出力させてもよい。また、図17に示した固体撮像装置1の第4の構成例でも、第2の構成例の固体撮像装置1と同様に、制御信号φMixを“H”レベルにして、第2の電荷蓄積部210aと第2の電荷蓄積部210bとのそれぞれに平均化した信号電圧を保持させる前に、不図示の垂直走査回路が制御信号φSEL2を制御することにより、画素100aの画素信号として第2の垂直信号線29に出力させてもよい。なお、図18に示したタイミングチャートでは、第2の電荷蓄積部230に、光電変換部101aが発生した信号電荷を保持させているため、ここで第2の垂直信号線29に出力することができる画素100aの画素信号は、第2の電荷蓄積部230に保持し、第3の垂直信号線39に出力させる画素を間引いた画素信号と同じ画素信号、つまり、画素100bを間引いた画素信号である。
また、固体撮像装置1の第4の構成例でも、固体撮像装置1の第2の構成例と同様に、フル解像画像信号、減縮画像信号、および間引き画像信号のそれぞれの出力順番や、それぞれの画素信号を出力するか否かに関しては、特に規定しない。従って、不図示の垂直走査回路が制御信号φSEL1A、制御信号φSEL1B、制御信号φSEL2、および制御信号φSEL3を制御して、フル解像画像信号を第1の垂直信号線19に出力させるタイミング、減縮画像信号を第2の垂直信号線29に出力させるタイミング、間引き画像信号を第3の垂直信号線39に出力させるタイミングに関する詳細な説明は省略する。
このような駆動タイミングによって固体撮像装置1の第4の構成例では、2つの光電変換部(光電変換部101aおよび光電変換部101b)のそれぞれが入射した光を光電変換した信号電荷に応じたそれぞれの信号電圧を、2つの光電変換部のそれぞれに対応した基板間接続部(第1の基板間接続部12aおよび第1の基板間接続部12b)に読み出させる。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に保持させる。また、固体撮像装置1の第4の構成例の駆動タイミングでは、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって選択して第2の基板間接続部22に出力させる。そして、デマルチプレクサ(画素選択トランジスタ212aおよび画素選択トランジスタ212b)によって、2つの光電変換部のそれぞれが光電変換したそれぞれの信号電荷に応じたそれぞれの信号電圧を分ける。そして、ノイズ除去処理後の信号を、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持させる。その後、2つの光電変換部のそれぞれに対応した電荷蓄積部(第2の電荷蓄積部210aおよび第2の電荷蓄積部210b)に保持した信号を平均化する。また、固体撮像装置1の第4の構成例の駆動タイミングでは、マルチプレクサ(画素選択トランジスタ115aおよび画素選択トランジスタ115b)によって選択され、第2の基板間接続部22および選択して第3の基板間接続部32を介して入力された、2つの光電変換部のそれぞれが光電変換したいずれか一方の信号電荷に応じた信号電圧を、選択回路(間引き信号サンプルホールドトランジスタ228)によって選択させる。そして、ノイズ除去処理後の信号を、電荷蓄積部(第2の電荷蓄積部230)に保持させる。そして、固体撮像装置1では、それぞれの電荷蓄積部(第1の電荷蓄積部110aおよび第1の電荷蓄積部110b)に蓄積されたノイズ除去処理後の信号に応じた信号電圧を、フル解像画像信号として第1の垂直信号線19に出力させ、平均化した信号電圧を、減縮画像信号として第2の垂直信号線29に出力させ、電荷蓄積部(第2の電荷蓄積部230)に蓄積されたノイズ除去処理後のいずれか一方の信号電圧を、間引き画像信号として第3の垂直信号線39に出力させる。
このように、実施形態の固体撮像装置1の第4の構成例でも、第2の構成例の固体撮像装置1と同様に、画素100aに備えた光電変換部101aの信号電荷をノイズ除去処理して第1の電荷蓄積部110aに保持し、画素100bに備えた光電変換部101bの信号電荷をノイズ除去処理して第1の電荷蓄積部110bに保持する。また、実施形態の固体撮像装置1の第4の構成例でも、第2の構成例の固体撮像装置1と同様に、画素100aに備えた光電変換部101aの信号電荷をノイズ除去処理して第2の電荷蓄積部210aに保持し、画素100bに備えた光電変換部101bの信号電荷をノイズ除去処理して第2の電荷蓄積部210bに保持した後に、それぞれの信号電荷を平均化して、第2の電荷蓄積部210aおよび第2の電荷蓄積部210bに保持する。これにより、実施形態の固体撮像装置1の第4の構成例でも、第2の構成例の固体撮像装置1と同様に、全ての画素の画素信号(フル解像画像信号)と、画素数を減縮した、つまり、それぞれの画素の画素信号を平均化(加算平均)した画素信号(減縮画像信号)との両方を独立に出力することができる。このため、実施形態の固体撮像装置1の第4の構成例でも、第2の構成例の固体撮像装置1と同様の効果を得ることができる。つまり、実施形態の固体撮像装置1の第4の構成例で出力した画素信号からでも、相対的なノイズ量やモアレの発生量が少なく、良好な画質の画像を生成することができる。また、実施形態の固体撮像装置1の第4の構成例でも、フル解像度画像と縮小画像とを、並列に生成することができる。
また、実施形態の固体撮像装置1の第4の構成例では、画素100aに備えた光電変換部101aの信号電荷、または画素100bに備えた光電変換部101bの信号電荷のいずれか一方の信号電荷をノイズ除去処理して第2の電荷蓄積部230に保持する。これにより、実施形態の固体撮像装置1の第4の構成例では、フル解像画像信号および減縮画像信号に加えて、さらに、予め定めた画素を間引いた画素信号(間引き画像信号)を別々に独立して出力することができる。これにより、第4の構成例の固体撮像装置1を搭載した撮像システムでは、固体撮像装置1から出力される間引き画像信号に基づいた低解像度の画像(間引き画像)を、並列に生成することができる。このため、第4の構成例の固体撮像装置1を搭載した撮像システムでは、別々に出力したフル解像画像信号、減縮画像信号、および間引き画像信号のそれぞれの画素信号に基づいて、最適な処理を行うことができる。
ここで、図16に示した実施形態の固体撮像装置1を搭載した撮像システムについて説明する。以下の説明においては、撮像システムに搭載する固体撮像装置1が、図16に示した構成であり、その固体撮像装置1が図9Aに示したようなR/G/Bベイヤー配列のカラーフィルタが貼付されたものとして説明する。つまり、撮像システムに搭載する固体撮像装置1は、フル解像画像信号と、画素加算平均の1/9減縮画像信号と、画素アレイに備えた画素を1/9に間引いた画素信号(以下、「1/9間引き画像信号」という)とのそれぞれを別々に出力する固体撮像装置1であるものとして説明する。
図16に示した実施形態の固体撮像装置1でも、同じ1回の露光によって、フル解像画像信号と、1/9減縮画像信号と、1/9間引き画像信号とのそれぞれを別々に独立して出力することができる。このため、固体撮像装置1を搭載した撮像システムでは、フル解像画像信号に基づいたフル解像度画像の生成と、画素加算平均の1/9減縮画像信号に基づいた1/9縮小画像の生成と、1/9間引き画像信号に基づいた間引き画像(以下、「1/9間引き画像」という)の生成とを、並列に生成することができる。このとき、例えば、フル解像画像信号と1/9減縮画像信号と1/9間引き画像信号との出力を同時に開始した場合でも、1/9減縮画像信号と1/9間引き画像信号との方が、フル解像画像信号よりも早く出力が完了するため、1/9縮小画像の生成と1/9間引き画像の生成との方が、フル解像度画像の生成よりも早く完了することができる。そして、1/9縮小画像の生成と1/9間引き画像の生成とを同時に完了することができる。
図16に示した実施形態の固体撮像装置1を搭載した撮像システムでは、同じ露光によって得られる1/9減縮画像信号と1/9間引き画像信号とは同時に、フル解像画像信号よりも早く読み出すことができるということを利用して、1/9縮小画像(ライブビュー画像)を生成しながら、1/9間引き画像を用いてAF処理を実行することができる。また、図16に示した実施形態の固体撮像装置1を搭載した撮像システムでは、同じ露光によって得られる1/9減縮画像信号と1/9間引き画像信号とが同時に読み出すことができるということを利用して、1/9縮小画像を用いたAF処理と1/9間引き画像を用いたAF処理とを切り替えることができる。また、図16に示した実施形態の固体撮像装置1を搭載した撮像システムでは、同じ露光によって得られる1/9減縮画像信号と1/9間引き画像信号とが同時に読み出すことができるということを利用して、焦点制御を行う方法を、自動または手動に切り替えることができる。
(第4のシステム例)
図19は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第4のシステム例を示したブロック図である。撮像システムの第4のシステム例は、固体撮像装置1から読み出したフル解像画像信号に基づいたフル解像度画像と、固体撮像装置1から読み出した1/9減縮画像信号に基づいてライブビュー画像とを生成しながら、固体撮像装置1から読み出した1/9間引き画像信号に基づいてAF処理を行う撮像システムの構成例である。図19に示した撮像システム40は、固体撮像装置1と、AF処理部307と、ライブビュー画像生成部306と、映像信号処理部303とを備えている。なお、図19においては、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/9間引き画像信号を出力する第2の電荷蓄積回路124も示している。
AF処理部307は、固体撮像装置1に備えた第2の電荷蓄積回路124から1/9間引き画像信号を読み出して1/9間引き画像を生成する。そして、AF処理部307は、生成した1/9間引き画像を解析して、AF処理に必要な情報を取得し、撮像システム40におけるAF処理を行う。なお、AF処理部307は、ライブビュー画像生成部306におけるライブビュー画像生成処理や、映像信号処理部303におけるフル解像度画像を生成する映像信号処理に必要な情報を推定して、ライブビュー画像生成部306や映像信号処理部303に出力する構成であってもよい。
ライブビュー画像生成部306は、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出し、読み出した1/9減縮画像信号に基づいて1/9縮小画像をライブビュー画像として生成する。
映像信号処理部303は、固体撮像装置1に備えた第1の電荷蓄積回路103からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。
このような構成によって、実施形態の固体撮像装置1を搭載した第4のシステム例の撮像システム40では、画素アレイに備えた画素のそれぞれの信号電荷を平均化した(加算平均した)1/9減縮画像信号に基づいて、良好な画質のライブビュー画像を生成し、画素アレイに備えた画素を1/9に間引いた1/9間引き画像信号に基づいて、高い精度で焦点位置の制御(AF処理)を行うことができる。このとき、実施形態の固体撮像装置1を搭載した第4のシステム例の撮像システム40では、1/9減縮画像信号と1/9間引き画像信号とを別々に独立して出力しているため、ライブビュー画像を表示する帯域を制限することなく、より高い精度でAF処理を行うことができる。また、フル解像画像信号と1/9間引き画像信号とを別々に独立して出力しているため、従来の技術で間引き画像信号を出力した場合に必要となっていた画素信号の順番を元の順番に戻すための並べ替えの処理が不要となり、フル解像度画像を生成する映像信号処理が有利である。また、第4のシステム例の撮像システム40では、第3のシステム例の撮像システム30と同様に、フル解像画像信号の読み出しをしている最中に1/9減縮画像信号の読み出しや1/9間引き画像信号の読み出しを行うことができ、ライブビュー画像の生成処理およびAF処理が途切れることがない。
(第5のシステム例)
図20は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第5のシステム例を示したブロック図である。撮像システムの第5のシステム例は、固体撮像装置1から読み出したフル解像画像信号に基づいたフル解像度画像と、固体撮像装置1から読み出した1/9減縮画像信号に基づいたライブビュー画像とを生成しながら、AF処理部が、固体撮像装置1から読み出した1/9間引き画像信号に基づいて生成した1/9間引き画像とライブビュー画像とを切り替えてAF処理を行う撮像システムの構成例である。図20に示した撮像システム50は、固体撮像装置1と、AF処理部308と、ライブビュー画像生成部306と、映像信号処理部303とを備えている。なお、図20においても、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/9間引き画像信号を出力する第2の電荷蓄積回路124も示している。
ライブビュー画像生成部306は、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出し、読み出した1/9減縮画像信号に基づいて1/9縮小画像をライブビュー画像として生成する。そして、ライブビュー画像生成部306は、生成したライブビュー画像を、AF処理部308に出力する。
AF処理部308は、固体撮像装置1に備えた第2の電荷蓄積回路124から1/9間引き画像信号を読み出して1/9間引き画像を生成する。また、AF処理部308は、撮像システム50に備えた光学レンズの焦点位置が合焦点になるように制御する。このとき、AF処理部308は、光学レンズの現在の焦点位置に応じて、生成した1/9間引き画像またはライブビュー画像生成部306から入力されたライブビュー画像のいずれか一方の画像を、光学レンズの制御に用いる画像として選択し、選択した画像に基づいて光学レンズを制御する。より具体的には、ライブビュー画像生成部306は、例えば、図15に示した、撮像システムのAF処理における焦点距離とコントラストとの関係において、光学レンズの現在の焦点位置が焦点範囲F1の範囲である場合にはライブビュー画像を選択し、光学レンズの現在の焦点位置が焦点範囲F1以外の範囲である場合には生成した1/9間引き画像を選択して、光学レンズを制御する。これにより、AF処理部308は、光学レンズの現在の焦点位置が焦点範囲F1の範囲では、コントラストが高い1/9間引き画像信号に基づいてAF制御を行い、焦点位置が焦点範囲F1以外の範囲では、S/Nが高い1/9減縮画像信号に基づいてAF制御を行うことができる。
映像信号処理部303は、実施形態の固体撮像装置1を搭載した撮像システムの第4のシステム例と同様であるため、詳細な説明は省略する。
このような構成によって、実施形態の固体撮像装置1を搭載した第5のシステム例の撮像システム50では、S/Nが高い1/9減縮画像信号に基づいて生成したライブビュー画像とコントラストが高い1/9間引き画像信号に基づいて生成した1/9間引き画像とを切り替えてAF制御を行う。これにより、実施形態の固体撮像装置1を搭載した第5のシステム例の撮像システム50では、光学レンズの現在の焦点位置が合焦点から離れている場合には、AF処理に用いる画像のノイズの影響によるレンズ制御のブレを軽減し、光学レンズの現在の焦点位置が合焦点に近い場合には、より早くレンズ制御を行うことができる。
なお、実施形態の固体撮像装置1を備えた第5のシステム例では、光学レンズの現在の焦点位置に基づいて、AF処理に用いる画像を切り替える構成について説明したが、AF処理に用いる画像を切り替える判定は、光学レンズの現在の焦点位置に基づいた判定に限定されるものではない。例えば、被写体の明るさ(照度)に応じて、AF処理に用いる画像を切り替える構成にしてもよい。この場合、被写体が暗い低照度である場合には、画像のノイズの影響を抑えるために、S/Nが高い1/9減縮画像信号に基づいて生成したライブビュー画像を選択してAF制御の安定性を向上させ、被写体が明るい高照度である場合には、画像のノイズの影響が少ないと考えられるため、コントラストが高い1/9間引き画像信号に基づいて生成した1/9間引き画像を選択してAF制御の精度を向上させることができる。
ところで、AF処理には、上述したような、画像のコントラストに基づいたAF処理、いわゆる、コントラストAFの他に、固体撮像装置に入射した光の入射方向(光線方向)の位相差に基づいてAF処理を行う、いわゆる、位相差AFもある。位相差AFは、異なる光線方向の入射光によって撮影したそれぞれの画像に含まれる同じ被写体同士の位置的なズレ(位相差)を検出し、検出した位相差の情報に基づいて、光学レンズの焦点位置を制御する処理である。つまり、位相差AFは、いわゆる、右目に相当する画素と左目に相当する画素との位相差によって、光学レンズの焦点位置を制御する処理である。
実施形態の固体撮像装置1では、位相差AFに対応する場合、画素アレイに備えたそれぞれの光電変換部101に光を入射させるそれぞれのマイクロレンズを、位相差を検出するために1つの群(対)となった隣接する2個の画素100(以下、「画素対」という)のそれぞれに異なる光線方向の光を入射させるように配置する。つまり、実施形態の固体撮像装置1では、1個のマイクロレンズが1個の光電変換部101に光を入射させる構成ではなく、画素対を構成する2個の光電変換部101のそれぞれに異なる光線方向の光を入射させる構成にする。この構成は、いわゆる、右目に相当する画素と左目に相当する画素との両方に光を入射させる構成である。
そして、実施形態の固体撮像装置1では、第2の電荷蓄積回路104が、所定の方向に並んだ複数の画素対の光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷、すなわち、加算平均した信号電荷を保持する。このとき、第2の電荷蓄積回路104は、固体撮像装置1に貼付されたカラーフィルタの同じ色の信号電荷を加算平均する。そして、実施形態の固体撮像装置1は、第1の電荷蓄積回路103のそれぞれに保持した信号電荷に応じたそれぞれの画素信号(フル解像画像信号)とは別に、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号を、位相差を検出するための画素信号(以下、「位相差画像信号」という)として出力する。
ここで、実施形態の固体撮像装置1において、第2の電荷蓄積回路104が加算平均する複数の画素対の並びについて説明する。図21Aおよび図21Bは、本発明の実施形態の固体撮像装置1の画素アレイの配列の一例を示した図である。図21Aおよび図21Bには、固体撮像装置1にベイヤー配列のカラーフィルタが貼付され、10個の画素対が所定の方向に並んでいる場合の一例を示している。
上述したように、固体撮像装置1では、位相差AFに対応する場合、第2の電荷蓄積回路104が、所定の方向に並んだ複数の画素対の光電変換部101が発生したそれぞれの信号電荷を加算平均した信号電荷を保持する。より具体的には、位相差AFの処理において行方向(水平方向)の位相差を検出する場合、第2の電荷蓄積回路104は、位相差を検出する水平方向に直交する列方向(垂直方向)に並んだ複数の画素対の信号電荷を加算平均した信号電荷を保持する。
図21Aには、水平方向の位相差を検出する画素対が、直交する垂直方向に10個並んでいる場合において、それぞれの画素対の同じ色の信号電荷を加算平均して保持する場合を示している。より具体的には、水平方向の位相差を検出するGr画素100とR画素100との画素対と、B画素100とGb画素100との画素対とが垂直方向に5個ずつ、合計10個並んでいる場合において、それぞれの画素対を構成するGr画素100同士、R画素100同士、B画素100同士、およびGb画素100同士の信号電荷を加算平均して保持する場合を示している。第2の電荷蓄積回路104は、保持したGr画素100同士、R画素100同士、B画素100同士、およびGb画素100同士の信号電荷に応じた画素信号を、水平方向の位相差を検出するための位相差画像信号として出力する。
また、位相差AFの処理において垂直方向の位相差を検出する場合、第2の電荷蓄積回路104は、位相差を検出する垂直方向に直交する水平方向に並んだ複数の画素対の信号電荷を加算平均した信号電荷を保持する。
図21Bには、垂直方向の位相差を検出する画素対が、直交する水平方向に10個並んでいる場合において、それぞれの画素対の同じ色の信号電荷を加算平均して保持する場合を示している。より具体的には、垂直方向の位相差を検出するGr画素100とB画素100との画素対と、R画素100とGb画素100との画素対とが水平方向に5個ずつ、合計10個並んでいる場合において、それぞれの画素対を構成するGr画素100同士、B画素100同士、R画素100同士、およびGb画素100同士の信号電荷を加算平均して保持する場合を示している。第2の電荷蓄積回路104は、保持したGr画素100同士、B画素100同士、R画素100同士、およびGb画素100同士の信号電荷に応じた画素信号を、垂直方向の位相差を検出するための位相差画像信号として出力する。
図21Aおよび図21Bに示したように、位相差AFに対応した固体撮像装置1では、位相差を検出する画素対を構成する2個の光電変換部101が並んだ方向に直交する方向の、同じ色の信号電荷を加算平均する。これにより、固体撮像装置1では、画素対を構成するそれぞれの光電変換部101が発生した信号電荷にノイズが含まれている場合でも、複数の信号電荷を加算平均することによって、位相差AFの処理において妨げとなるノイズを抑圧することができる。このことにより、被写体が暗い低照度やフル解像画像信号のフレームレートを高くした場合であっても、位相差AFの制御の精度を向上させることができる。
また、位相差AFに対応した固体撮像装置1でも、上述したように、第1の電荷蓄積回路103のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力することができる。すなわち、位相差AFに対応した実施形態の固体撮像装置1では、同じ1回の露光によって得られた信号電荷に基づいて、全ての画素の画素信号(フル解像画像信号)と、位相差AFの処理を行うための画素信号(ノイズ除去処理された位相差画像信号)とのそれぞれを別々に出力することができる。
なお、実施形態の固体撮像装置1では、位相差AFに対応する場合であっても、位相差画像信号を出力するための特別な画素を画素アレイ内に配置していない。これは、位相差AFに対応した従来の技術の固体撮像装置に対して有利な構成である。
より具体的には、位相差AFに対応した従来の技術の固体撮像装置では、位相差を検出するための特別な画素(位相差検出用画素)を画素アレイ内の一部の領域に配置するため、位相差検出用画素を配置した領域には、静止画像や動画像を生成するための画素(通常の画素)を配置することができず、画素信号が欠落している状態となる。このため、位相差AFに対応した従来の技術の固体撮像装置では、画素信号が欠落している領域の画素を、例えば、欠陥画素として扱い、欠陥画素補正などの画像処理によって画素信号を補完することによって、画素の欠落がない画像を生成することが必要となっている。しかし、欠落している画素信号を補完するということは、生成した画像の画質が低下してしまう要因となる。これは、位相差検出用画素を配置する領域を広げると、欠落している画素信号を補完することができないこともあるからである。
これに対して、実施形態の固体撮像装置1では、画素アレイ内に専用の(特別な)位相差検出用画素を配置せず、マイクロレンズを、画素対を構成するそれぞれの光電変換部101に異なる光線方向の光を入射させるように配置する構成によって、位相差画像信号を出力する。これにより、実施形態の固体撮像装置1では、位相差を検出するための画素の領域の画素信号が欠落することなく、つまり、画素信号の補完をすることなく、良好な画質の画像を生成することができる。このとき、実施形態の固体撮像装置1では、画素アレイに備えた全ての光電変換部101が、いずれかの画素対を構成する光電変換部101であってもよい。この構成であっても、実施形態の固体撮像装置1を搭載した撮像システムでは、静止画像や動画像を生成するができる。また、この構成である場合には、実施形態の固体撮像装置1を搭載した撮像システムにおいて、例えば、複数の位置で合焦点を検出する、いわゆる、多点AFの機能を容易に実現することもできる。
また、位相差AFに対応した従来の技術の固体撮像装置では、位相差検出用画素からの画素信号を、静止画像や動画像を生成するための画素から画素信号を読み出す過程において読み出す、つまり、従来の技術の固体撮像装置では、位相差画像信号を、固体撮像装置に備えた全ての画素の画素信号の一部として読み出す。このため、従来の技術の固体撮像装置では、全ての画素の画素信号の読み出しが完了した後でないと、位相差AFの処理を行うことができない。そして、従来の技術の固体撮像装置では、全ての画素の画素信号の読み出しが完了した後に、位相差を検出する方向に直交した方向の画素信号を加算してから位相差を検出することになる。このことから、従来の技術の固体撮像装置を搭載した撮像システムでは、光学レンズの焦点位置の制御を、画素信号を出力するフレームレートよりも高くする(高速にする)ことができない。
これに対して、実施形態の固体撮像装置1では、フル解像画像信号と位相差画像信号とのそれぞれを別々に出力することができる。そして、実施形態の固体撮像装置1が出力する位相差画像信号は、位相差を検出する方向に直交した方向の同じ色の信号電荷が、すでに加算平均された信号である。また、実施形態の固体撮像装置1では、位相差画像信号の方が、フル解像画像信号よりも早く出力が完了する。このため、実施形態の固体撮像装置1を搭載した撮像システムでは、静止画像や動画像の生成と、位相差AFの処理とを、並列に実行することができると共に、光学レンズの焦点位置の制御を高速にすることができる。
なお、図21Aおよび図21Bに示した一例では、位相差を検出する方向に直交した方向に複数の画素対が並んで画素対の組を構成する場合について説明した。しかし、実施形態の固体撮像装置1においては、複数の画素対の組が、位相差を検出する方向にも複数並んだ構成にすることもできる。この場合、第2の電荷蓄積回路104は、それぞれの画素対の組毎に同じ色の信号電荷を加算平均して保持し、それぞれの画素対の組毎の位相差画像信号をそれぞれ出力する構成にしてもよい。また、第2の電荷蓄積回路104が、複数の画素対の組に跨がって同じ色の信号電荷を加算平均して保持し、1つの位相差画像信号として出力する構成にしてもよい。この場合であっても、第2の電荷蓄積回路104が同じ色の信号電荷を加算平均する方向は、位相差を検出する方向に直交した方向である。
図22は、本発明の実施形態の固体撮像装置1における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。図22には、固体撮像装置1にベイヤー配列のカラーフィルタが貼付されている場合において、フル解像画像信号を出力する第1の電荷蓄積回路103が対応する画素の領域と、位相差画像信号を出力する第2の電荷蓄積回路104が対応する画素の領域との一例を示している。また、図22には、位相差を検出する画素の領域内における位相差の検出方向(位相差検出方向)と、第2の電荷蓄積回路104が信号電荷を加算平均する方向(加算方向)との関係を示している。より具体的には、図22には、垂直方向に12個並んだ画素対の組が水平方向に3組並んでいる、水平方向の位相差を検出するための画素の領域と、この画素の領域における位相差検出方向と加算方向との関係を示している。図22に示したように、位相差検出方向と加算方向とは、直交する方向の関係である。
実施形態によれば、複数の画素100が行列状に配置された領域は、異なる方向(入射方向、光線方向)の光(入射光)が光電変換部101に入射される少なくとも2つの隣接する画素100によって構成された画素群(画素対)が複数配置された領域を含み、第2の電荷蓄積回路104は、複数の画素対が配置された領域内で、異なる画素対に入射された同じ方向の光(光線方向の入射光)を光電変換した、対応する複数の画素100内のそれぞれの光電変換部101が発生したそれぞれの信号電荷を加算または平均化した電荷量の信号電荷を保持する、固体撮像装置1が構成される。
また、実施形態によれば、画素対が複数配置された領域は、画素対を構成する画素100が隣接する方向(所定の方向)と直交する方向に、画素対が複数配置される、固体撮像装置1が構成される。
また、実施形態によれば、 画素対は、この画素対を構成する画素100が少なくとも行方向(水平方向)または列方向(垂直方向)に隣接し、画素対が複数配置された領域は、画素対が、少なくとも列方向(垂直方向)または行方向(水平方向)に複数配置される、固体撮像装置1が構成される。
(第6のシステム例)
ここで、位相差AFに対応した固体撮像装置1を搭載した撮像システムについて説明する。なお、位相差AFに対応した固体撮像装置1の構成は、図1に示した固体撮像装置1の最小限の構成と同様であり、その具体的な回路構成および駆動タイミングは、図2〜図7に示した第1〜第3の構成例の回路構成および駆動タイミングと同様である。
ただし、図1および図2、図4、図6に示した第1〜第3の構成例の固体撮像装置1における光電変換部101aと光電変換部101bとは、異なる画素対に入射されたいずれか一方の光線方向の光に対応する同じ色の画素に備えた光電変換部101になる。そして、図1および図2、図4、図6に示した第1〜第3の構成例の固体撮像装置1における第2の電荷蓄積回路104は、異なる画素対において同じ色の光を光電変換する光電変換部101aと光電変換部101bとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。
図23は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第6のシステム例を示したブロック図である。撮像システムの第6のシステム例は、位相差AFに対応した固体撮像装置1から読み出したフル解像画像信号に基づいたフル解像度画像を生成しながら、固体撮像装置1から読み出した位相差画像信号に基づいてAF処理を行う撮像システムの構成例である。図23に示した撮像システム55は、固体撮像装置1と、所定方向位相検出部317と、AF処理部318と、映像信号処理部303とを備えている。なお、図23においては、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、位相差画像信号を出力する第2の電荷蓄積回路104も示している。
所定方向位相検出部317は、固体撮像装置1に備えた第2の電荷蓄積回路104から位相差画像信号を読み出して、位相差を検出するための画像(以下、「位相差画像」という)を生成する。そして、所定方向位相検出部317は、生成した位相差画像を解析して、同じ被写体同士の所定の方向に対する位置的なズレ(位相差)を検出し、検出した位相差の情報を、AF処理部318に出力する。例えば、固体撮像装置1が、図22に示したような、水平方向の位相差の検出に対応した構成である場合、所定方向位相検出部317は、第2の電荷蓄積回路104から読み出した位相差画像信号に基づいて生成した位相差画像に含まれる同じ被写体の水平方向の位相差を検出し、水平方向の位相差の情報をAF処理部318に出力する。
AF処理部318は、所定方向位相検出部317から出力された位相差の情報に基づいて、撮像システム55に備えた光学レンズの焦点位置が合焦点になるように制御する、つまり、撮像システム55における位相差AFの処理を行う。なお、AF処理部318は、映像信号処理部303におけるフル解像度画像を生成する映像信号処理に必要な情報を推定して、映像信号処理部303に出力する構成であってもよい。
映像信号処理部303は、固体撮像装置1に備えた第1の電荷蓄積回路103からフル解像画像信号を読み出し、読み出したフル解像画像信号に対して予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。なお、上述したように、位相差AFに対応した固体撮像装置1では、マイクロレンズが、画素対を構成するそれぞれの光電変換部101に異なる光線方向の光を入射させるように配置された構成となっている。このため、映像信号処理部303は、第1の電荷蓄積回路103から読み出したフル解像画像信号に対して、固体撮像装置1におけるマイクロレンズの構成を考慮した映像信号処理を施して、フル解像度画像を生成する。このとき、固体撮像装置1におけるマイクロレンズの構成が、画素アレイに備えた全ての光電変換部101に異なる光線方向の光を入射させるように配置された構成である場合、つまり、それぞれの光電変換部101が、いずれかの画素対を構成する場合、映像信号処理部303は、第1の電荷蓄積回路103から読み出したフル解像画像信号に対して、例えば、3次元のフル解像度画像を生成するための映像信号処理を施してもよい。なお、映像信号処理部303が行うマイクロレンズの構成を考慮した映像信号処理は、既存の技術を用いることができるため、詳細な説明は省略する。
ここで、撮像システムの第6のシステム例において、位相差AFに対応した固体撮像装置1からそれぞれの画素信号を読み出す際のタイミングについて説明する。図24は、本発明の実施形態の固体撮像装置1を搭載した第6のシステム例の撮像システム55の画素信号の読み出しシーケンスを示したタイミングチャートである。
撮像システム55は、固体撮像装置1の制御を行う不図示の制御装置によって、図24に示したように、電荷転送回路102に、光電変換部101が露光した信号電荷を第1の電荷蓄積回路103に転送させ、さらに、第2の電荷蓄積回路104に転送させる。
その後、撮像システム55では、第1の電荷蓄積回路103からフル解像画像信号を、第2の電荷蓄積回路104から位相差画像信号を、それぞれ読み出す。これにより、所定方向位相検出部317およびAF処理部318と、映像信号処理部303とのそれぞれは、対応する画素信号に基づいた処理を行う。
なお、撮像システム55では、所定方向位相検出部317およびAF処理部318が位相差AFの処理を行って光学レンズの焦点位置の制御を行った後、光電変換部101における次の露光を開始してもよい。この場合、光電変換部101は、入射した光を光電変換した信号電荷を発生して蓄積する。そして、光電変換部101が露光した信号電荷を第2の電荷蓄積回路104に転送させる。これにより、所定方向位相検出部317およびAF処理部318は、今回の露光によって得られた位相差画像信号に基づいて、次の位相差AFの処理を行うことができる。
なお、このとき、前回転送した信号電荷の読み出しが終わっていない第1の電荷蓄積回路103には、今回の露光によって得られた信号電荷の転送は行わない。図24に示したタイミングチャートでは、1回目の露光によって得られた信号電荷のみを第1の電荷蓄積回路103に転送し、2回目〜4回目の露光によって得られた信号電荷を第2の電荷蓄積回路104に転送させる場合を示している。これは、2回目〜4回目の露光によって得られた信号電荷を転送するタイミングでは、第1の電荷蓄積回路103からのフル解像画像信号の読み出しが終了していないからである。なお、これらの位相差画像信号の読み出しを行いながらフル解像画像信号の読み出しを行わず信号電荷を維持する動作は、図2、図4、図6に示した固体撮像装置1において、第2の電荷蓄積部210,210a,221a,220aに電荷を転送する際に、第1のサンプルホールドトランジスタ108aおよび第1のクランプトランジスタ109aを動作させない、つまり、制御信号φTX2および制御信号φRST2を“L”レベルにすることで第1の電荷蓄積部110aに保持した電荷を以前の状態で維持し、必要なときに読み出しを行うように制御することで行うことができる。すなわち、第1の電荷蓄積部110aに影響することなく、第2の電荷蓄積回路104に画素信号を転送することができる(画素100bに対応する構成ついても同様である)。
このように、位相差AFに対応した固体撮像装置1を搭載した第6のシステム例の撮像システム55では、位相差画像信号に基づいて位相差AFの処理を行うことができる。このとき、第6のシステム例の撮像システム55では、フル解像画像信号と位相差画像信号とを別々に独立して出力しているため、フル解像画像信号の読み出しが完了していない状態であっても、次の位相差AFの処理を行うことができる。つまり、第6のシステム例の撮像システム55では、従来の技術の固体撮像装置のように全ての画素の画素信号の読み出しが完了するまで位相差AFの処理の開始を待つ必要がなく、光学レンズの焦点位置の制御を早く完了することができる。このことにより、第6のシステム例の撮像システム55では、第1の電荷蓄積回路103からのフル解像画像信号の読み出しが完了した後の早いタイミングで、被写体に合焦した次の撮影を行うことができる。
なお、位相差AFの処理において位相差を検出する方向は、上述したように、水平方向と垂直方向との2つの方向がある。このため、位相差AFに対応した固体撮像装置1を、同時に2つの方向の位相差を検出する構成にしてもよい。
ここで、実施形態の固体撮像装置1において、同時に2つの方向の位相差を検出する構成について説明する。図25は、本発明の実施形態の固体撮像装置1における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。図25には、固体撮像装置1を図16に示した固体撮像装置1の別の変形例と同様の構成にすることによって、第2の電荷蓄積回路104が、水平方向の位相差を検出するための位相差画像信号(以下、「水平位相差画像信号」という)を出力し、第2の電荷蓄積回路124が、垂直方向の位相差を検出するための位相差画像信号(以下、「垂直位相差画像信号」という)を出力する場合の画素の領域の一例を示している。
なお、図25においても、図22に示した一例と同様に、固体撮像装置1にベイヤー配列のカラーフィルタが貼付されている場合において、フル解像画像信号を出力する第1の電荷蓄積回路103が対応する画素の領域と、水平位相差画像信号を出力する第2の電荷蓄積回路104が対応する画素の領域と、垂直位相差画像信号を出力する第2の電荷蓄積回路124が対応する画素の領域との一例を示している。また、図25においても、図22に示した一例と同様に、位相差を検出するそれぞれの画素の領域内における位相差の検出方向(位相差検出方向)と、第2の電荷蓄積回路104および第2の電荷蓄積回路124が信号電荷を加算平均する方向(加算方向)との関係を示している。
より具体的には、図25には、垂直方向に12個並んだ画素対の組が水平方向に3組並んだ、水平方向の位相差を検出するための画素の領域と、この画素の領域に対応する第2の電荷蓄積回路104の位相差検出方向と加算方向との関係を示している。また、図25には、水平方向に12個並んだ画素対の組が垂直方向に3組並んだ、垂直方向の位相差を検出するための画素の領域と、この画素の領域内に対応する第2の電荷蓄積回路124の位相差検出方向と加算方向との関係を示している。図25に示したように、位相差を検出する方向がいずれの方向であっても、位相差検出方向と加算方向とは、直交する方向の関係である。
(第7のシステム例)
次に、2つの方向の位相差AFに対応した固体撮像装置1を搭載した撮像システムについて説明する。なお、2つの方向の位相差AFに対応した固体撮像装置1の構成は、図16に示した固体撮像装置1の別の変形例の構成において、第2の電荷蓄積回路124を第2の電荷蓄積回路104と同じ構成にする、つまり、第2の電荷蓄積回路124も、光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷を加算平均して保持する構成にすることによって、同様に考えることができる。また、2つの方向の位相差AFに対応した固体撮像装置1の具体的な回路構成および駆動タイミングは、図17および図18に示した第4の構成例の回路構成および駆動タイミングにおいて、第2の電荷蓄積回路124の回路構成および駆動タイミングを、第2の電荷蓄積回路104の回路構成および駆動タイミングと同じ回路構成および駆動タイミングにすることによって、同様に考えることができる。
ただし、図16および図17に示した固体撮像装置1における第2の電荷蓄積回路104は、加算方向(垂直方向)に並んだ異なる画素対において同じ色の光を光電変換する光電変換部101aと光電変換部101bとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。また、図16および図17に示した固体撮像装置1における第2の電荷蓄積回路124は、加算方向(水平方向)に並んだ異なる画素対において同じ色の光を光電変換する光電変換部101aと光電変換部101bとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。つまり、図16においては、光電変換部101aと光電変換部101bとが示されているが、第2の電荷蓄積回路104が信号電荷を加算平均する光電変換部101aおよび光電変換部101bと、第2の電荷蓄積回路124が信号電荷を加算平均する光電変換部101aおよび光電変換部101bとは、異なる光電変換部101aおよび光電変換部101bである。
例えば、図25に示した位相差検出方向と加算方向との関係において、それぞれの画素の領域の右下に位置するG画素100を基準とし、このG画素100の光電変換部101が図16に示した光電変換部101aであるものとして考える。この場合、第2の電荷蓄積回路104が加算平均する光電変換部101bに対応するG画素100は、加算方向(垂直方向)に隣接するR画素100を飛ばした位置のG画素100である。一方、第2の電荷蓄積回路124が加算平均する光電変換部101bに対応するG画素100は、加算方向(水平方向)に隣接するB画素100を飛ばした位置のG画素100である。このように、図16に示した固体撮像装置1の別の変形例においては表現されていないが、第2の電荷蓄積回路104と第2の電荷蓄積回路124とでは、信号電荷を加算平均する光電変換部101aと光電変換部101bとが異なる。
図26は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第7のシステム例を示したブロック図である。撮像システムの第7のシステム例は、2つの方向の位相差AFに対応した固体撮像装置1から読み出したフル解像画像信号に基づいたフル解像度画像を生成しながら、固体撮像装置1から読み出した水平位相差画像信号に基づいた水平方向の位相差AFの処理と、固体撮像装置1から読み出した垂直位相差画像信号に基づいた垂直方向の位相差AFの処理とを同時に行う撮像システムの構成例である。図26に示した撮像システム56は、固体撮像装置1と、水平方向位相検出部327と、垂直方向位相検出部337と、AF処理部328と、映像信号処理部303とを備えている。なお、図26においては、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、水平位相差画像信号を出力する第2の電荷蓄積回路104、垂直位相差画像信号を出力する第2の電荷蓄積回路124も示している。
水平方向位相検出部327は、固体撮像装置1に備えた第2の電荷蓄積回路104から水平位相差画像信号を読み出して、水平方向の位相差を検出するための画像(以下、「水平位相差画像」という)を生成する。そして、水平方向位相検出部327は、生成した水平位相差画像を解析して、同じ被写体同士の水平方向に対する位置的なズレ(水平方向の位相差)を検出し、検出した水平方向の位相差の情報を、AF処理部328に出力する。例えば、固体撮像装置1が、図25に示したような構成である場合、水平方向位相検出部327は、第2の電荷蓄積回路104から読み出した水平位相差画像信号に基づいて生成した水平位相差画像に含まれる同じ被写体の水平方向の位相差を検出し、水平方向の位相差の情報をAF処理部328に出力する。
垂直方向位相検出部337は、固体撮像装置1に備えた第2の電荷蓄積回路124から垂直位相差画像信号を読み出して、垂直方向の位相差を検出するための画像(以下、「垂直位相差画像」という)を生成する。そして、垂直方向位相検出部337は、生成した垂直位相差画像を解析して、同じ被写体同士の垂直方向に対する位置的なズレ(垂直方向の位相差)を検出し、検出した垂直方向の位相差の情報を、AF処理部328に出力する。例えば、固体撮像装置1が、図25に示したような構成である場合、垂直方向位相検出部337は、第2の電荷蓄積回路124から読み出した垂直位相差画像信号に基づいて生成した垂直位相差画像に含まれる同じ被写体の垂直方向の位相差を検出し、垂直方向の位相差の情報をAF処理部328に出力する。
AF処理部328は、水平方向位相検出部327から出力された水平方向の位相差の情報、および垂直方向位相検出部337から出力された垂直方向の位相差の情報に基づいて、撮像システム56に備えた光学レンズの焦点位置が合焦点になるように制御する、つまり、撮像システム56において検出する2つの方向に対する位相差AFの処理を行う。なお、AF処理部328は、映像信号処理部303におけるフル解像度画像を生成する映像信号処理に必要な情報を推定して、映像信号処理部303に出力する構成であってもよい。
映像信号処理部303は、位相差AFに対応した固体撮像装置1を搭載した撮像システムの第6のシステム例と同様であるため、詳細な説明は省略する。
このような構成によって、2つの方向の位相差AFに対応した固体撮像装置1を搭載した第7のシステム例の撮像システム56では、水平位相差画像信号および垂直位相差画像信号に基づいて2つの方向の位相差AFの処理を同時に行うことができる。このとき、第7のシステム例の撮像システム56でも、第6のシステム例の撮像システム55と同様に、フル解像画像信号と、水平位相差画像信号と、垂直位相差画像信号とを別々に独立して出力しているため、フル解像画像信号の読み出しが完了していない状態であっても、次の位相差AFの処理を行うことができる。これにより、第7のシステム例の撮像システム56でも、第6のシステム例の撮像システム55と同様の効果を得ることができる。つまり、第7のシステム例の撮像システム56でも、従来の技術の固体撮像装置のように全ての画素の画素信号の読み出しが完了するまで位相差AFの処理の開始を待たずに光学レンズの焦点位置の制御を早く完了し、第1の電荷蓄積回路103からのフル解像画像信号の読み出しが完了した後の早いタイミングで、被写体に合焦した次の撮影を行うことができる。しかも、第7のシステム例の撮像システム56では、同時に2つの方向の位相差を検出して位相差AFの処理を行うことができるため、第6のシステム例の撮像システム55よりも高い精度で光学レンズの焦点位置を制御することができる。
なお、第7のシステム例の撮像システム56における画素信号の読み出しシーケンスは、図24に示した第6のシステム例の撮像システム55における画素信号の読み出しシーケンスにおいて、第2の電荷蓄積回路104から読み出す位相差画像信号を水平位相差画像信号に代え、第2の電荷蓄積回路124からの垂直位相差画像信号の読み出しを追加するのみで、同様に考えることができる。従って、第7のシステム例の撮像システム56における画素信号の読み出しシーケンスに関する詳細な説明は省略する。
なお、固体撮像装置1が2つの方向の位相差AFに対応するための構成は、図25に示したような、第2の電荷蓄積回路104と同じ構成の第2の電荷蓄積回路124を備える構成に限定されるものではない。例えば、第2の電荷蓄積回路104が水平方向と垂直方向との2つの方向の位相差画像信号を出力する構成であってもよい。
ここで、実施形態の固体撮像装置1において、同時に2つの方向の位相差を検出する別の構成について説明する。図27は、本発明の実施形態の固体撮像装置1における位相差の検出方向と、信号電荷を加算平均する方向との関係を示した図である。図27には、固体撮像装置1が、図1に示した固体撮像装置1の最小限の構成と同様の構成である場合において、第2の電荷蓄積回路104が、水平位相差画像信号と垂直位相差画像信号とを出力する場合の画素の領域の一例を示している。
なお、図27においても、図22に示した一例と同様に、固体撮像装置1にベイヤー配列のカラーフィルタが貼付されている場合において、フル解像画像信号を出力する第1の電荷蓄積回路103が対応する画素の領域と、水平位相差画像信号および垂直位相差画像信号を出力するために第2の電荷蓄積回路104が対応する画素の領域との一例を示している。また、図27においても、図22に示した一例と同様に、位相差を検出するそれぞれの画素の領域内における位相差の検出方向(位相差検出方向)と、第2の電荷蓄積回路104が信号電荷を加算平均する方向(加算方向)との関係を示している。
第2の電荷蓄積回路104が水平位相差画像信号と垂直位相差画像信号との両方の位相差画像信号を出力する構成の固体撮像装置1では、第2の電荷蓄積回路104が信号電荷を加算平均する画素の領域を、水平方向の位相差を検出する画素の領域と、垂直方向の位相差を検出する画素の領域とに分ける。そして、第2の電荷蓄積回路104が、それぞれの画素の領域毎に信号電荷を加算平均して、位相差画像信号として出力する。
図27には、第2の電荷蓄積回路104が水平位相差画像信号を出力するために信号電荷を加算平均する画素の領域(画素領域A)と、垂直位相差画像信号を出力するために信号電荷を加算平均する画素の領域(画素領域B)とに分けた場合の一例を示している。より具体的には、図27には、垂直方向に8個並んだ画素対の組が水平方向に2組並んだ、水平方向の位相差を検出するための画素領域Aと、水平方向に6個並んだ画素対の組が垂直方向に3組並んだ、垂直方向の位相差を検出するための画素領域Bとに分けた場合の一例を示している。そして、図27には、それぞれの画素の領域に対応する第2の電荷蓄積回路104の位相差検出方向と加算方向との関係を示している。図27に示したように、位相差を検出する方向がいずれの方向であっても、すなわち、画素領域Aおよび画素領域Bのいずれの画素の領域においても、位相差検出方向と加算方向とは、直交する方向の関係である。
(第8のシステム例)
次に、2つの方向の位相差AFに対応した別の構成の固体撮像装置1を搭載した撮像システムについて説明する。なお、2つの方向の位相差AFに対応した別の構成の固体撮像装置1は、図1に示した固体撮像装置1の最小限の構成と同様の構成であり、その具体的な回路構成および駆動タイミングは、図2〜図7に示した第1〜第3の構成例の回路構成および駆動タイミングと同様である。
ただし、図1および図2、図4、図6に示した第1〜第3の構成例の固体撮像装置1における第2の電荷蓄積回路104は、対応する画素の領域の違い、すなわち、位相差検出方向と加算方向の違いに従って、異なる画素対を構成する光電変換部101aと光電変換部101bとのそれぞれが発生した信号電荷を加算平均して保持する構成になる。つまり、図1においては、光電変換部101aと光電変換部101bとが示されているが、画素領域Aに対応する第2の電荷蓄積回路104が信号電荷を加算平均する光電変換部101aおよび光電変換部101bと、画素領域Bに対応する第2の電荷蓄積回路104が信号電荷を加算平均する光電変換部101aおよび光電変換部101bとは、異なる画素対において同じ色の光を光電変換する光電変換部101aおよび光電変換部101bである。
図28は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第8のシステム例を示したブロック図である。撮像システムの第8のシステム例は、2つの方向の位相差AFに対応した別の構成の固体撮像装置1から読み出したフル解像画像信号に基づいたフル解像度画像を生成しながら、固体撮像装置1から読み出した水平位相差画像信号に基づいた水平方向の位相差AFの処理と、固体撮像装置1から読み出した垂直位相差画像信号に基づいた垂直方向の位相差AFの処理とを同時に行う撮像システムの構成例である。図28に示した撮像システム57は、固体撮像装置1と、水平方向位相検出部327と、垂直方向位相検出部347と、AF処理部328と、映像信号処理部303とを備えている。なお、図28においては、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、水平位相差画像信号および垂直位相差画像信号を出力する第2の電荷蓄積回路104も示している。
水平方向位相検出部327は、固体撮像装置1に備えた、水平方向の位相差を検出する画素の領域に対応する第2の電荷蓄積回路104から水平位相差画像信号を読み出して水平位相差画像を生成し、生成した水平位相差画像を解析して検出した水平方向の位相差の情報を、AF処理部328に出力する。例えば、固体撮像装置1が、図27に示したような構成である場合、水平方向位相検出部327は、画素領域Aに対応する第2の電荷蓄積回路104から読み出した水平位相差画像信号に基づいて生成した水平位相差画像に含まれる同じ被写体の水平方向の位相差を検出し、水平方向の位相差の情報をAF処理部328に出力する。
垂直方向位相検出部347は、固体撮像装置1に備えた、垂直方向の位相差を検出する画素の領域に対応する第2の電荷蓄積回路104から垂直位相差画像信号を読み出して垂直位相差画像を生成し、生成した垂直位相差画像を解析して検出した垂直方向の位相差の情報を、AF処理部328に出力する。例えば、固体撮像装置1が、図27に示したような構成である場合、垂直方向位相検出部347は、画素領域Bに対応した第2の電荷蓄積回路104から読み出した垂直位相差画像信号に基づいて生成した垂直位相差画像に含まれる同じ被写体の垂直方向の位相差を検出し、垂直方向の位相差の情報をAF処理部328に出力する。
AF処理部328は、水平方向位相検出部327から出力された水平方向の位相差の情報、および垂直方向位相検出部347から出力された垂直方向の位相差の情報に基づいて、撮像システム57において検出する2つの方向に対する位相差AFの処理を行う。
映像信号処理部303は、位相差AFに対応した固体撮像装置1を搭載した撮像システムの第6のシステム例、および2つの方向の位相差AFに対応した固体撮像装置1を搭載した撮像システムの第7のシステム例と同様であるため、詳細な説明は省略する。ただし、2つの方向の位相差AFに対応した別の構成の固体撮像装置1では、水平方向の位相差を検出する画素対を構成するそれぞれの光電変換部101に異なる光線方向の光を入射させるマイクロレンズの光線方向と、垂直方向の位相差を検出する画素対を構成するそれぞれの光電変換部101に異なる光線方向の光を入射させるマイクロレンズの光線方向とが異なることが考えられる。例えば、水平方向の位相差を検出する画素対に入射させる光の光線方向と、垂直方向の位相差を検出する画素対に入射させる光の光線方向とが直交していることが考えられる。この場合には、映像信号処理部303は、第1の電荷蓄積回路103から読み出したフル解像画像信号に対して映像信号処理を施す際に、固体撮像装置1における画素の領域毎のマイクロレンズの構成を考慮して、フル解像度画像を生成する。
このような構成によって、2つの方向の位相差AFに対応した別の構成の固体撮像装置1を搭載した第8のシステム例の撮像システム57でも、2つの方向の位相差AFに対応した固体撮像装置1を搭載した撮像システムの第7のシステム例と同様に、水平位相差画像信号および垂直位相差画像信号に基づいて2つの方向の位相差AFの処理を同時に行うことができる。このとき、第8のシステム例の撮像システム57でも、第7のシステム例の撮像システム56と同様に、フル解像画像信号と、水平位相差画像信号と、垂直位相差画像信号とを別々に独立して出力しているため、フル解像画像信号の読み出しが完了していない状態であっても、次の位相差AFの処理を行うことができる。これにより、第8のシステム例の撮像システム57でも、第7のシステム例の撮像システム56と同様の効果を得ることができる。つまり、第8のシステム例の撮像システム57でも、光学レンズの焦点位置の制御を早く高精度に完了し、第1の電荷蓄積回路103からのフル解像画像信号の読み出しが完了した後の早いタイミングで、被写体に合焦した次の撮影を行うことができる。
なお、第8のシステム例の撮像システム57における画素信号の読み出しシーケンスは、図24に示した第6のシステム例の撮像システム55における画素信号の読み出しシーケンスにおいて、第2の電荷蓄積回路104から読み出す位相差画像信号が、水平位相差画像信号および垂直位相差画像信号になるのみで、同様に考えることができる。従って、第8のシステム例の撮像システム57における画素信号の読み出しシーケンスに関する詳細な説明は省略する。
このように、実施形態の固体撮像装置1は、コントラストAFの他に、位相差AFにも対応することができる。これにより、従来から普及している、レンズを通過した光(入射光)を固体撮像装置に入射させると共に、例えば、位相差AFセンサのようなAF処理を行うための専用のセンサに光を導くミラーを備えていない撮像システム、いわゆる、ミラーレスデジタルカメラにも、実施形態の固体撮像装置1を搭載することができる。
なお、位相差AFに対応した固体撮像装置1を搭載した撮像システム(第6〜第8のシステム例)では、撮像システムにおいて位相差AFの処理機能を実現する構成について説明した。しかし、位相差AFに対応した固体撮像装置1を搭載した撮像システムにおいて実現する機能は、位相差AFの処理機能に限定されるものではなく、第1〜第5のシステム例で示したような機能も併せて実現する構成してもよい。この場合における固体撮像装置1の回路構成および駆動タイミングは、実現する機能に応じた回路構成および駆動タイミングとなる。
また、上述した位相差AFに対応した固体撮像装置1では、画素アレイに備えたそれぞれの画素100に光を入射させるそれぞれのマイクロレンズが、画素対を構成する隣接する2個の画素100のそれぞれに異なる光線方向の光を入射させるように配置された場合について説明した。しかし、マイクロレンズが異なる光線方向の光を入射させる画素100の配置は、上述した配置に限定されるものではない。例えば、行方向(水平方向)に隣接する画素100および列方向(垂直方向)に隣接する画素100と、斜め方向に隣接する画素100とが1つの群となった隣接する4個の画素100(以下、「画素群」という)のそれぞれに異なる光線方向の光を入射させるように配置してもよい。つまり、1個のマイクロレンズが画素群を構成する4個の光電変換部101のそれぞれに異なる光線方向の光を入射させる構成にしてもよい。このようにマイクロレンズを配置した場合でも、水平位相差画像信号および垂直位相差画像信号を同時に出力する固体撮像装置1を実現することができる。なお、この場合においても、第2の電荷蓄積回路104や第2の電荷蓄積回路124が加算平均して保持する信号電荷は、異なる画素群において同じ色の光を光電変換する光電変換部101のそれぞれが発生した信号電荷である。
(第9のシステム例)
図29は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第9のシステム例を示したブロック図である。撮像システムの第9のシステム例は、撮像システムにおける焦点制御の方法に応じて、ライブビュー画像を生成する画素信号を、固体撮像装置1から読み出した1/9減縮画像信号または1/9間引き画像信号のいずれか一方の画素信号に切り替える撮像システムの構成例である。図29に示した撮像システム60は、固体撮像装置1と、ライブビュー画像生成部306と、映像信号処理部303とを備えている。なお、図29においても、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/9間引き画像信号を出力する第2の電荷蓄積回路124も示している。
ライブビュー画像生成部306は、第9のシステム例の撮像システム60を制御する制御装置によって設定された焦点制御の方法に応じて、固体撮像装置1に備えた第2の電荷蓄積回路104からの1/9減縮画像信号、または固体撮像装置1に備えた第2の電荷蓄積回路124から1/9間引き画像信号のいずれか一方の画素信号を、ライブビュー画像を生成する画素信号として選択する。そして、ライブビュー画像生成部306は、選択した画素信号に基づいて、ライブビュー画像を生成する。つまり、ライブビュー画像生成部306は、1/9縮小画像または1/9間引き画像をライブビュー画像として生成する。より具体的には、ライブビュー画像生成部306は、設定された焦点制御の方法が自動である、すなわち、AF処理を行う場合には、ライブビュー画像を用いて焦点制御を行わないため、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出して、1/9縮小画像をライブビュー画像として生成する。また、ライブビュー画像生成部306は、設定された焦点制御の方法が手動である、すなわち、ライブビュー画像を用いて焦点制御(焦点調節)を行う場合があるため、固体撮像装置1に備えた第2の電荷蓄積回路124から1/9間引き画像信号を読み出して、1/9間引き画像をライブビュー画像として生成する。これにより、撮像システム60では、ライブビュー画像に発生する折り返しによるモアレやジャギーなどの折り返しノイズを確認しながら、手動で焦点を合わせる焦点制御、いわゆる、マニュアルフォーカスを行うことができる。
映像信号処理部303は、実施形態の固体撮像装置1を搭載した撮像システムの第4のシステム例および第5のシステム例と同様であるため、詳細な説明は省略する。
このような構成によって、実施形態の固体撮像装置1を搭載した第9のシステム例の撮像システム60では、この撮像システム60に備えた、ライブビュー画像を表示する液晶ディスプレイ(LCD:Liquid Crystal Display)やEVF(Electronic View Finder:電子ビューファインダ)などの表示装置に表示したライブビュー画像(1/9間引き画像)に発生するモアレやジャギーを、マニュアルフォーカスを行う際に利用することができる。なお、1/9間引き画像がマニュアルフォーカスに利用できるのは、画素を間引いた間引き画像信号に基づいて生成した間引き画像には、画素信号を加算平均した画素信号に基づいて生成した縮小画像よりも、被写体に依存し、被写体の帯域が高いほどより大きくなる折り返しノイズがより顕著に現れるためである。この折り返しノイズの状態によって、被写体に対する合焦状態を確認することができる。
また、実施形態の固体撮像装置1を搭載した撮像システムでは、同じ露光によって得られる減縮画像信号をフル解像画像信号よりも早く読み出すことができるということを利用して、フル解像画像信号に基づいてフル解像度画像を生成するタイミングを、減縮画像信号に基づいて生成した縮小画像(ライブビュー画像)によって決定することができる。
(第10のシステム例)
図30は、本発明の実施形態の固体撮像装置1を搭載した撮像システムの第10のシステム例を示したブロック図である。撮像システムの第10のシステム例は、固体撮像装置1から読み出した1/9減縮画像信号に基づいて生成したライブビュー画像を表示部に表示しているときに、撮影を行うイベントが発生した場合、イベントを検出したタイミングのときに表示していたライブビュー画像と同じ露光によって得られたフル解像画像信号に基づいて生成したフル解像度画像を記録する撮像システムの構成例である。図30に示した撮像システム70は、固体撮像装置1と、ライブビュー画像生成部306と、イベント検出部309と、読み出し指示部310と、映像信号処理部303と、表示部311と、記録部312とを備えている。なお、図30においては、固体撮像装置1に備えた、光電変換を行う光電変換部101、信号電荷を転送する電荷転送回路102、フル解像画像信号を出力する第1の電荷蓄積回路103、1/9減縮画像信号を出力する第2の電荷蓄積回路104、および1/81減縮画像信号を出力する第3の電荷蓄積回路204も示している。
ライブビュー画像生成部306は、固体撮像装置1に備えた第2の電荷蓄積回路104から1/9減縮画像信号を読み出し、読み出した1/9減縮画像信号に基づいて1/9縮小画像を生成する。そして、ライブビュー画像生成部306は、生成した1/9縮小画像を、ライブビュー画像として表示部311に出力する。
なお、ライブビュー画像生成部306は、固体撮像装置1に備えた第3の電荷蓄積回路204から1/81減縮画像信号を読み出し、読み出した1/81減縮画像信号に基づいて生成した1/81縮小画像を、ライブビュー画像として表示部311に出力する構成にしてもよい。
表示部311は、ライブビュー画像生成部306から入力されたライブビュー画像を表示するLCDなどの表示装置である。
イベント検出部309は、撮像システム70に備えられた、例えば、レリーズボタンの押下や設定ボタンの変更など、撮像システム70に対して行われた操作の状態をイベントとして検出し、検出したイベントの情報を、読み出し指示部310に出力する。なお、イベント検出部309が検出するイベントとしては、撮像システム70に備えられた操作部の操作のみではなく、例えば、固体撮像装置1から読み出した1/81減縮画像信号に基づいて生成した1/81縮小画像や、表示部311に表示しているライブビュー画像に基づいて、特定の被写体やその被写体の動きを検出し、被写体の状態が変化したことをイベントとして検出する、つまり、被写体認識によってイベントを検出する構成であってもよい。また、例えば、1/81縮小画像やライブビュー画像の明暗の変化や、不図示の検出部によるモニタリングの結果などに応じてイベントを検出する構成であってもよい。また、ライブビュー画像の画質を保持したまま、イベントの検出を高速に行うために、第2の電荷蓄積回路104から読み出した1/9減縮画像信号をライブビュー画像の生成に用い、第3の電荷蓄積回路204から読み出した1/81減縮画像信号を、例えば、人物などの被写体の有無、照明環境や色味などの画像の状態の変化を検出するための画像(イベント検出画像)の生成に用いてもよい。
読み出し指示部310は、イベント検出部309から入力されたイベントの情報に基づいて、固体撮像装置1からの画素信号の読み出しを指示する。読み出し指示部310は、イベント検出部309から入力されたイベントの情報が、例えば、レリーズボタンの押下によって撮像システム70に対して行われた撮影を行う指示を表す情報や、被写体の状態が変化したことによって撮影を行うタイミングであることを表す情報である場合、固体撮像装置1に備えた第1の電荷蓄積回路103からフル解像画像信号を読み出してフル解像度画像を生成すると判断する。そして、読み出し指示部310は、判断した結果に基づいて、第1の電荷蓄積回路103からフル解像画像信号を読み出すことを表す読み出し指示を、固体撮像装置1に出力する。これにより、固体撮像装置1は、第1の電荷蓄積回路103からフル解像画像信号を出力する。また、読み出し指示部310は、フル解像画像信号の読み出し指示を固体撮像装置1に出力したことを表す情報(通知)を、映像信号処理部303に出力する。なお、読み出し指示部310が出力する固体撮像装置1に備えた第1の電荷蓄積回路103からフル解像画像信号を読み出すことを表す読み出し指示は、単純に、イベント検出部309から入力されたイベントの情報が撮影を行う指示を表していることに応じて出力するものであってもよい。
映像信号処理部303は、読み出し指示部310から出力された、フル解像画像信号の読み出し指示を固体撮像装置1に出力したことを表す情報(通知)に応じて、固体撮像装置1に備えた第1の電荷蓄積回路103から出力されたフル解像画像信号に対して、予め定められた種々の映像信号処理を施して、フル解像度画像を生成する。そして、映像信号処理部303は、生成したフル解像度画像を、記録画像として記録部312に出力する。
記録部312は、映像信号処理部303から入力された記録画像を記録する。なお、記録部312は、映像信号処理部303から入力された記録画像を、例えば、メモリカードなど、撮像システム70に着脱可能な記録媒体に記録する構成であってもよい。
ここで、撮像システムの第10のシステム例において、固体撮像装置1からそれぞれの画素信号を読み出す際のタイミングについて説明する。図31は、本発明の実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70の画素信号の読み出しシーケンスを示したタイミングチャートである。
撮像システム70は、固体撮像装置1の制御を行う不図示の制御装置によって、図31に示したように、電荷転送回路102に、光電変換部101が露光した信号電荷を第1の電荷蓄積回路103に転送させ、さらに、第2の電荷蓄積回路104に転送させる。そして、第2の電荷蓄積回路104に、平均化した信号電荷を第3の電荷蓄積回路204に転送させる。
その後、撮像システム70では、ライブビュー画像生成部306が、第2の電荷蓄積回路104から1/9減縮画像信号を読み出して1/9縮小画像(ライブビュー画像)を生成し、生成したライブビュー画像を表示部311に出力して表示させる。また、撮像システム70では、イベント検出部309が、第3の電荷蓄積回路204から1/81減縮画像信号を読み出して1/81縮小画像(イベント検出画像)を生成し、生成したイベント検出画像に基づいたイベントの検出を開始する。
また、撮像システム70では、平均化した信号電荷の第3の電荷蓄積回路204への転送が終了した後、光電変換部101における次の露光を開始する。これにより、光電変換部101は、入射した光を光電変換した信号電荷を発生して蓄積する。
その後、撮像システム70では、第3の電荷蓄積回路204からの1/81減縮画像信号の読み出しが終了した後、電荷転送回路102に、光電変換部101が今回露光した信号電荷を第1の電荷蓄積回路103に転送させ、さらに、第2の電荷蓄積回路104に転送させる。そして、第2の電荷蓄積回路104に、光電変換部101が今回露光した信号電荷を平均化した信号電荷を第3の電荷蓄積回路204に転送させる。また、撮像システム70では、イベント検出部309が、第3の電荷蓄積回路204から今回の露光における1/81減縮画像信号を読み出して、次のイベント検出画像を生成し、生成したイベント検出画像に基づいたイベントの検出を行う。
なお、このとき、前回転送した信号電荷の読み出しが終わっていない電荷蓄積回路には、今回の露光によって得られた信号電荷の転送は行わない。図31に示したタイミングチャートでは、2回目および4回目の露光によって得られた信号電荷を第3の電荷蓄積回路204のみに転送し、3回目の露光によって得られた信号電荷を第1の電荷蓄積回路103と、第2の電荷蓄積回路104と、第3の電荷蓄積回路204とに転送させる場合を示している。これは、2回目および4回目の露光によって得られた信号電荷を転送するタイミングでは、ライブビュー画像生成部306が、第2の電荷蓄積回路104からの1/9減縮画像信号の読み出しが終了していないからである。なお、これらの1/81減縮画像信号の読み出しのみ行いながらフル解像画像信号および1/9減縮画像信号の読み出しを行わず信号電荷を維持する動作は、第3のシステム例の撮像システム30の動作と同様である。
このように、撮像システム70におけるイベント検出期間では、光電変換部101における露光、それぞれの電荷蓄積回路への信号電荷の転送、第3の電荷蓄積回路204からの1/81減縮画像信号を読み出し、およびイベント検出画像の生成を、イベント検出部309がイベント検出画像を生成するタイミングの周期で、繰り返して行う。また、撮像システム70におけるライブビュー画像表示期間では、第2の電荷蓄積回路104からの1/9減縮画像信号の読み出し、およびライブビュー画像の表示を、ライブビュー画像生成部306がライブビュー画像を生成するタイミングの周期で、繰り返して行う。
なお、図31のタイミングチャートを見てわかるように、イベント検出期間およびライブビュー画像表示期間では、第1の電荷蓄積回路103からのフル解像画像信号の読み出しを行っていない。これは、撮像システム70の処理において、イベント検出部309が撮影を行うことを表すイベントを検出しておらず、読み出し指示部310が読み出し指示を出力していないからである。このため、撮像システム70では、光電変換部101の信号電荷をそれぞれの露光毎に第1の電荷蓄積回路103および第2の電荷蓄積回路104に転送しているが、次の露光によって得られた信号電荷を転送する際には、前の露光において転送された信号電荷、すなわち、第1の電荷蓄積回路103に現在保持している信号電荷を破棄する。例えば、図2〜図7に示した固体撮像装置1の第1〜第3の構成例において第1の電荷蓄積回路103に現在保持している信号電荷を破棄する場合、不図示の垂直走査回路が、制御信号φRST2を“H”レベルにすることによって、第1のクランプトランジスタ109aと第1のクランプトランジスタ109bとをオン状態にする。これにより、第1の電荷蓄積部110aと第1の電荷蓄積部110bとのそれぞれが固定電位VREFにクランプされることによって、第1の電荷蓄積部110aと第1の電荷蓄積部110bとのそれぞれに現在保持している信号電荷が破棄(リセット)される。なお、第1の電荷蓄積回路103に現在保持している信号電荷を破棄する方法として、読み出し指示部310が、現在保持している信号電荷を破棄することを表す指示を固体撮像装置1に出力する構成であってもよい。
その後、イベント検出部309が撮影を行うことを表すイベントを検出し、読み出し指示部310が読み出し指示を固体撮像装置1に出力すると、固体撮像装置1は、第1の電荷蓄積回路103からフル解像画像信号を出力する。そして、映像信号処理部303は、読み出し指示部310から出力された読み出し指示を固体撮像装置1に出力したことを表す情報(通知)に応じて、固体撮像装置1から出力されたフル解像画像信号に基づいてフル解像度画像を生成し、記録部312に出力して記録させる。
このように、撮像システム70では、それぞれの電荷蓄積回路への信号電荷の転送が終了すると次の露光を開始し、今回の露光によって光電変換部101が光電変換した信号電荷を、それぞれの電荷蓄積回路に転送する。つまり、撮像システム70では、最もフレームレートが高い1/81縮小画像を生成するタイミングの周期で撮影を行う。そして、イベント検出部309が撮影を行うことを表すイベントを検出したときに、第1の電荷蓄積回路103からフル解像画像信号を読み出してフル解像度画像を生成して記録部312に記録させる。このとき、記録部312に記録するフル解像度画像は、撮影を行うことを表すイベントを検出したイベント検出画像の露光と同じ露光によって得られたフル解像画像信号に基づいて生成したフル解像度画像である。
第10のシステム例によれば、第1の読み出し部(映像信号処理部303)による第1の画素信号(フル解像画像信号)の読み出しを行わず、第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103bに保持した信号電荷を破棄する、撮像システム(撮像システム70)が構成される。
また、第10のシステム例によれば、映像信号処理部303による第1の画素信号(フル解像画像信号)の読み出し、または第2の読み出し部による第2の画素信号(減縮画像信号)の読み出しの少なくとも一方の読み出しを行わず、読み出しを行わない第1の電荷蓄積回路103aおよび第1の電荷蓄積回路103b、または第2の電荷蓄積回路(第2の電荷蓄積回路104)の少なくとも一方に保持した信号電荷を破棄する、撮像システム(撮像システム70)が構成される。
このように、実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70では、ライブビュー画像の画質を保持した状態で、最もフレームレートが高い周期で露光を行ってイベント検出画像を生成し、イベントを検出したときにフル解像度画像を生成する。従来の技術でも、ライブビュー画像からイベントを検出してフル解像度画像を生成することはできるが、従来の技術では、イベントを検出した後にフル解像画像信号を得るための露光を行うため、イベントを検出したライブビュー画像の露光と記録するフル解像度画像の露光とは異なるタイミングであった。これに対して、実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70では、イベントを検出したイベント検出画像の露光と同じ露光によって得られたフル解像画像信号に基づいてフル解像度画像を生成することができる。つまり、従来の技術では、イベントを検出したタイミングと記録するフル解像度画像を生成する露光のタイミングとが異なることによるズレ、いわゆる、レリーズタイムラグがあるが、実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70では、イベントを検出するための露光とフル解像度画像を生成するための露光とが同じ露光であるため、レリーズタイムラグをなくすことができる。特に、被写体認識によってイベントを検出する場合には、イベントを検出したイベント検出画像と同じ露光によって得られたフル解像画像信号に基づいて生成したフル解像度画像を記録することができるため、有利である。
図32Aおよび図32Bは、本発明の実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70の動作を模式的に説明する図である。図32Aには、撮像システム70の外観の一例を示し、図32Bには、撮像システム70に備えた表示部311に表示されるライブビュー画像の一例を時系列に示している。
図32Bに示したように、撮像システム70では、それぞれの露光によって得られた1/9減縮画像信号に基づいてライブビュー画像生成部306が生成したそれぞれのライブビュー画像LV1〜ライブビュー画像LV9が順次、表示部311に表示される。このとき、例えば、ライブビュー画像LV5が表示されているタイミングで、例えば、図32Aに示したレリーズボタン313が押下されると、イベント検出部309が、レリーズボタン313の押下を検出したイベントの情報を読み出し指示部310に出力する。そして、読み出し指示部310が、読み出し指示を固体撮像装置1に出力すると共に、読み出し指示を固体撮像装置1に出力したことを表す情報(通知)を、映像信号処理部303に出力する。これにより、映像信号処理部303は、固体撮像装置1に備えた第1の電荷蓄積回路103から出力されたフル解像画像信号に基づいてフル解像度画像P5を生成し、記録部312に記録させる。
なお、従来の技術でも、予め定めたフレーム数のフル解像画像信号を全て読み出して記憶しておく構成にすることにより、イベントを検出したときのフル解像度画像を生成することはできる。しかし、このためには、複数フレームのフル解像画像信号を記憶しておくための大容量のメモリを備える必要がある。これに対して、実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70では、イベントを検出したときのフル解像画像信号のみを読み出すことができるため、大容量のメモリを備える必要がなく、撮像システムに備えるメモリの記憶容量の観点で有利である。また、実施形態の固体撮像装置1を搭載した第10のシステム例の撮像システム70では、従来の技術のように、常にフル解像画像信号の読み出しを行う必要がないため、撮像システムの消費電力の観点でも有利である。
なお、図32Bには、レリーズボタン313が押下されるライブビュー画像LV5のタイミング以降のライブビュー画像LV6〜ライブビュー画像LV9も示している。撮像システム70では、レリーズボタン313が押下された後でも、つまり、フル解像画像信号を読み出している期間でも、次の露光を行って、ライブビュー画像LV6〜ライブビュー画像LV9を表示部311に表示させることができる。この場合、撮像システム70では、電荷転送回路102が、フル解像画像信号を読み出している期間に光電変換部101が露光した信号電荷の第1の電荷蓄積回路103への転送を行わず、第2の電荷蓄積回路104のみに転送する。これにより、撮像システム70では、フル解像画像信号を読み出している期間でも、ライブビュー画像生成部306が、第2の電荷蓄積回路104から今回の露光における1/9減縮画像信号を読み出し、次のライブビュー画像LV6〜ライブビュー画像LV9を生成して表示部311に表示させることができる。なお、第2の電荷蓄積回路104は、転送された信号電荷を平均化した信号電荷を第3の電荷蓄積回路204に転送する。
なお、上記の説明では、図32Aおよび図32Bを用いて、イベント検出部309が検出するイベントがレリーズボタン313の押下である場合について説明したが、イベント検出部309が、被写体認識によってイベントを検出する場合であっても同様に動作し、的確なタイミングのフル解像度画像を生成して記録することができる。
上記に述べたように、本発明の各実施形態によれば、固体撮像装置に備えたそれぞれの画素内の光電変換部が発生したそれぞれの信号電荷をそれぞれ保持(蓄積)する第1の電荷蓄積回路と、予め定めた画素内の光電変換部が同じ露光によって発生した信号電荷を、画素数を減縮するために保持(蓄積)する第2の電荷蓄積回路とを備える。これにより、本発明の各実施形態では、固体撮像装置から、同じ露光によって得られた、全ての画素の信号電荷に応じた画素信号(フル解像画像信号)と、画素数を減縮した画素信号(減縮画像信号や間引き画像信号)とのそれぞれを、別々に独立して出力することができる。
また、本発明の各実施形態では、固体撮像装置に備えたそれぞれの画素に異なる光線方向の光を入射させるようにマイクロレンズを配置することによって、予め定めた画素内の光電変換部が同じ露光によって発生した信号電荷を保持(蓄積)する第2の電荷蓄積回路から、位相差を検出するための画素信号(位相差画像信号(水平位相差画像信号および垂直位相差画像信号を含む))を、全ての画素の信号電荷に応じた画素信号(フル解像画像信号)と別々に独立して出力することができる。
このことにより、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて、同じ1回の露光によって得られた信号電荷に基づいて、別々に独立して出力されるそれぞれの画素信号を利用して、種々の処理を並列に行うことができる。これにより、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて行うそれぞれの処理に適した画素信号を用いて処理を行うことによって、良好な画質の画像を生成することができ、撮像システムの高画質化を図ることができる。また、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて行うそれぞれの処理に必要な情報を早い段階で取得することや、処理に応じて利用する画素信号を切り替えることができ、撮像システムの処理の高速化や高精度化を図ることができる。また、本発明の各実施形態では、固体撮像装置を備えた撮像システムにおいて所望のタイミングで画素信号を読み出して画像を生成することができ、撮像システムの高機能化や低消費電力化を図ることができる。
なお、本発明における具体的な構成は、本発明の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。例えば、本発明の各実施形態においては、構成として、第1〜第4の構成例を示し、それぞれの構成例における駆動方法の一例を示したが、構成および駆動方法の具体的な構成は、本発明の各実施形態に限定されるものではなく、画素の構成要素や駆動方法が変わった場合でも、変更された画素の構成要素や駆動方法に応じて、本発明の考え方を適用してもよい。例えば、本発明の各実施形態においては、撮像システムとして、第1〜第10のシステム例を示し、それぞれの撮像システムにおける機能および動作の一例を示したが、撮像システムに備える具体的な構成要素は、本発明の各実施形態に限定されるものではなく、撮像システムに備える構成要素が変わった場合でも、変更された構成要素に応じて、本発明の考え方を適用してもよい。このとき、撮像システムに備える構成要素に応じて、固体撮像装置に備える構成要素を変更した場合でも、変更された固体撮像装置内の構成要素に応じて、本発明の考え方を適用してもよい。
また、画素数や画素数を減縮する数は、本発明の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素数や画素数を減縮する数を変更してもよい。
また、本発明の各実施形態においては、ベイヤー配列のカラーフィルタが貼付された場合の一例を示したが、固体撮像装置に貼付されるカラーフィルタの色配列は、本発明の各実施形態に限定されるものではなく、貼付されるカラーフィルタの色配列が変わった場合でも、変更された色配列に応じて、本発明の考え方を適用してもよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。