JP5862126B2 - 撮像素子および方法、並びに、撮像装置 - Google Patents

Description

本開示は、撮像素子および方法、並びに、撮像装置に関し、特に、より多様なデータ出力を実現することができるようにした撮像素子および方法、並びに、撮像装置に関する。

従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子において、列毎に画素が接続される各出力線に対して、それぞれ複数のA/D変換器（ADC（Analog Digital Converter））が接続され、その複数のADCを用いることにより高速なデータ読み出しを実現するものがあった（例えば、特許文献１参照）。

また、各出力線に対し複数の比較器とカウンタを搭載し、D/A変換器（DAC（Digital Analog Converter））の電圧を任意の値だけずらし、高ビット精度の信号を高速に読み出すものもあった（例えば、特許文献２参照）。

さらに、読み出し信号に対して２回のA/D変換を実施することで低ノイズ化やダイナミックレンジ向上を実現するものあった（例えば、特許文献３および特許文献４参照）。

特開２００５−３４７９３２号公報 特開２０１０−２５２１４０号公報 特開２００９−２９６４２３号公報 特開２００８−０１２４８２号公報

しかしながら、特許文献１に記載の方法の場合、高速な読み出しが可能であるのみであり、例えばダイナミックレンジの拡張やノイズの低減等、高機能性への展開を図ることは困難であった。

また、特許文献２に記載の方法の場合、ADCが複数設けられてはいるものの、その構成は分解能の向上のみに利用されており、例えばノイズの低減や、低消費電力化等を実現することは困難であった。

さらに、特許文献３や特許文献４に記載の方法の場合、処理時間が増大しており、高速な読み出しを行うことが困難であった。

近年、情報処理技術の向上により、画像処理や撮像装置もより多機能化および高機能化の一途を辿っている。これに伴い、撮像素子から出力される画像データに要求される出力形式も、より多様化している。しかしなら、従来の方法では、上述したように、多様なデータ出力形式に対応することが困難であった。

本開示は、このような状況に鑑みてなされたものであり、より多様な用途に利用することができるように、より多様なデータ出力を実現することを目的とする。

本開示の一側面は、行列状に配置された複数の画素を含む第１の基板と、前記複数の画素の列毎に複数設けられたA/D変換部と、複数の前記A/D変換部のそれぞれに対して基準電圧を供給する基準電圧ユニットと、前記画素に接続する前記A/D変換部を選択する選択部と、前記選択部を制御する制御部とを含む、前記第１の基板に積層される第２の基板とを備える撮像素子である。

前記第１の基板および前記第２の基板は、複数のビアを含むようにすることができる。

前記第１の基板は、前記ビアを介して前記第２の基板に電気的に接続されるようにすることができる。

前記第１の基板において、前記ビアは、前記複数の画素が配置される領域の外部に設けられているようにすることができる。

前記第２の基板の配線層の層数が、前記第１の基板の配線層の層数よりも多いようにすることができる。

前記第２の基板において、前記A/D変換部は、前記第１の基板における前記複数の画素が配置される領域と重畳する領域に設けられているようにすることができる。

前記制御部は、前記複数の画素の処理対象の列の各画素を複数系統に分け、各画素を、系統毎に互いに異なる前記A/D変換部に接続させるように前記選択部を制御することができる。

前記制御部は、各画素から画素信号が前記系統毎に互いに異なるレートで読み出されるように制御することができる。

前記制御部は、前記A/D変換部を制御し、各A/D変換部の設定を、系統毎に互いに異なる設定値にすることができる。

前記制御部は、前記A/D変換部のアナログゲイン設定を、系統毎に互いに異なる値に設定することができる。

前記制御部は、前記A/D変換部の分解能設定を、系統毎に互いに異なる値に設定することができる。

前記制御部は、前記A/D変換部のサンプリングタイミングを、系統毎に互いに異なる値に設定することができる。

前記制御部は、互いに異なるタイミングでサンプリングされて処理された、各系統のA/D変換部の出力を、加算平均して出力するように、前記A/D変換部を制御することができる。

前記制御部は、前記複数の画素の処理対象の列について、一部の前記A/D変換部を停止させ、各画素を残りの前記A/D変換部に接続させるように前記選択部を制御することができる。

前記制御部は、さらに、停止した前記A/D変換部に対応する定電流回路を停止させることができる。

本開示の他の側面は、撮像素子の第１の基板において、行列状に配置された複数の画素のそれぞれが、入射光を光電変換し、前記第１の基板に積層される第２の基板において、選択部が、制御部の制御に基づいて、前記複数の画素の列毎に複数設けられたA/D変換部の中から、処理対象の列の画素に接続する前記A/D変換部を選択し、選択された前記A/D変換部が、自身に対応する基準電圧ユニットから供給される基準電圧を用いて、自身に接続された前記画素において得られたアナログ信号をデジタル信号に変換する撮像方法である。

本開示のさらに他の側面は、行列状に配置された複数の画素を含む第１の基板と、前記複数の画素の列毎に複数設けられたA/D変換部と、複数の前記A/D変換部のそれぞれに対して基準電圧を供給する基準電圧ユニットと、前記画素に接続する前記A/D変換部を選択する選択部と、前記選択部を制御する制御部とを含む、前記第１の基板に積層される第２の基板とを備える撮像素子と、前記撮像素子により得られる撮像画像データを画像処理する画像処理部とを備える撮像装置である。

本開示の一側面においては、行列状に配置された複数の画素を含む第１の基板と、複数の画素の列毎に複数設けられたA/D変換部と、複数のA/D変換部のそれぞれに対して基準電圧を供給する基準電圧ユニットと、画素に接続するA/D変換部を選択する選択部と、選択部を制御する制御部とを含む、第１の基板に積層される第２の基板とが備えられる。

本開示の他の側面においては、撮像素子の第１の基板において、行列状に配置された複数の画素のそれぞれにより入射光が光電変換され、第１の基板に積層される第２の基板において、選択部により、制御部の制御に基づいて、複数の画素の列毎に複数設けられたA/D変換部の中から、処理対象の列の画素に接続するA/D変換部が選択され、選択されたA/D変換部により、自身に対応する基準電圧ユニットから供給される基準電圧を用いて、自身に接続された画素において得られたアナログ信号がデジタル信号に変換される。

本開示のさらに他の側面においては、行列状に配置された複数の画素を含む第１の基板と、複数の画素の列毎に複数設けられたA/D変換部と、複数のA/D変換部のそれぞれに対して基準電圧を供給する基準電圧ユニットと、画素に接続するA/D変換部を選択する選択部と、選択部を制御する制御部とを含む、第１の基板に積層される第２の基板とを備える撮像素子と、撮像素子により得られる撮像画像データを画像処理する画像処理部とが備えられる。

本開示によれば、被写体を撮像することができる。特に、より多様なデータ出力を実現することができる。

本技術を適用したイメージセンサの主な構成例を示すブロック図である。 本技術を適用したイメージセンサの他の構成例を示すブロック図である。 モードに応じた選択部制御の様子の例を説明する図である。 複数フレームレート出力の様子の例を説明する図である。 マルチサンプリングの様子の例を説明する図である。 制御処理の流れの例を説明するフローチャートである。 積層チップ構造の例を説明する図である。 本技術を適用した撮像装置の主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。

以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（イメージセンサ）
２．第２の実施の形態（撮像装置）
３．第３の実施の形態（コンピュータ）

＜１．第１の実施の形態＞
［イメージセンサ］
図１は、本技術を適用したイメージセンサの一部の構成例を示すブロック図である。図１に示されるイメージセンサ１００は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。

図１に示されるように、イメージセンサ１００は、制御部１０１、画素アレイ部１１１、選択部１１２、A/D変換部（ADC（Analog Digital Converter））１１３、および定電流回路部１１４を有する。

制御部１０１は、イメージセンサ１００の各部を制御し、画像データ（画素信号）の読み出し等に関する処理を実行させる。

画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成が行列（アレイ）状に配置される画素領域である。画素アレイ部１１１は、制御部１０１に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。

画素１２１および画素１２２は、その画素アレイ部１１１に配置される画素群の中の、上下に隣接する２画素を示している。画素１２１および画素１２２は、互いに同じカラム（列）の連続する行の画素である。図１の例の場合、画素１２１および画素１２２に示されるように、各画素の回路には、光電変換素子並びに４つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図１に示される例以外であってもよい。

一般的な画素アレイには、カラム（列）毎に、画素信号の出力線が設けられる。画素アレイ部１１１の場合、１カラム（列）毎に、２本（２系統）の出力線が設けられる。１カラムの画素の回路は、１行おきに、この２本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図１の例の場合、画素１２１の回路は、第１の出力線（VSL1）に接続され、画素１２２の回路は、第２の出力線（VSL2）に接続される。

なお、図１においては、説明の便宜上、１カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に２本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が１行おきに接続される。

選択部１１２は、画素アレイ部１１１の各出力線をADC１１３の入力に接続するスイッチを有し、制御部１０１に制御されて、画素アレイ部１１１とADC１１３との接続を制御する。つまり、画素アレイ部１１１から読み出された画素信号は、この選択部１１２を介してADC１１３に供給される。

選択部１１２は、スイッチ１３１、スイッチ１３２、およびスイッチ１３３を有する。スイッチ１３１（選択SW）は、互いに同じカラムに対応する２本の出力線の接続を制御する。例えば、スイッチ１３１がオン（ON）状態になると、第１の出力線（VSL1）と第２の出力線（VSL2）が接続され、オフ（OFF）状態になると切断される。

詳細については後述するが、イメージセンサ１００においては、各出力線に対してADCが１つずつ設けられている（カラムADC）。したがって、スイッチ１３２およびスイッチ１３３がともにオン状態であるとすると、スイッチ１３１がオン状態になれば、同カラムの２本の出力線が接続されるので、１画素の回路が２つのADCに接続されることになる。逆に、スイッチ１３１がオフ状態になると、同カラムの２本の出力線が切断されて、１画素の回路が１つのADCに接続されることになる。つまり、スイッチ１３１は、１つの画素の信号の出力先とするADC（カラムADC）の数を選択する。

詳細については後述するが、このようにスイッチ１３１が画素信号の出力先とするADCの数を制御することにより、イメージセンサ１００は、そのADCの数に応じてより多様な画素信号を出力することができる。つまり、イメージセンサ１００は、より多様なデータ出力を実現することができる。

スイッチ１３２は、画素１２１に対応する第１の出力線（VSL1）と、その出力線に対応するADCとの接続を制御する。スイッチ１３２がオン（ON）状態になると、第１の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ（OFF）状態になるとそれらが切断される。

スイッチ１３３は、画素１２２に対応する第２の出力線（VSL2）と、その出力線に対応するADCとの接続を制御する。スイッチ１３３がオン（ON）状態になると、第２の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ（OFF）状態になるとそれらが切断される。

選択部１１２は、制御部１０１の制御に従って、このようなスイッチ１３１乃至スイッチ１３３の状態を切り替えることにより、１つの画素の信号の出力先とするADC（カラムADC）の数を制御することができる。

なお、スイッチ１３２やスイッチ１３３（いずれか一方若しくは両方）を省略し、各出力線と、その出力線に対応するADCとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、１つの画素の信号の出力先とするADC（カラムADC）の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図１においては、１カラム分の出力線に対する構成のみ示されているが、実際には、選択部１１２は、カラム毎に、図１に示されるのと同様の構成（スイッチ１３１乃至スイッチ１３３）を有している。つまり、選択部１１２は、各カラムについて、制御部１０１の制御に従って、上述したのと同様の接続制御を行う。

ADC１１３は、画素アレイ部１１１から各出力線を介して供給される画素信号を、それぞれA/D変換し、デジタルデータとして出力する。ADC１１３は、画素アレイ部１１１からの出力線毎のADC（カラムADC）を有する。つまり、ADC１１３は、複数のカラムADCを有する。１出力線に対応するカラムADCは、比較器、D/A変換器（DAC）、およびカウンタを有するシングルスロープ型のADCである。

比較器は、そのDAC出力と画素信号の信号値とを比較する。カウンタは、画素信号とDAC出力が等しくなるまで、カウント値（デジタル値）をインクリメントする。比較器は、DAC出力が信号値に達すると、カウンタを停止する。その後カウンタ１，２によってデジタル化された信号をDATA１およびDATA2よりイメージセンサ１００の外部に出力する。

カウンタは、次のA/D変換のためデータ出力後、カウント値を初期値（例えば０）に戻す。

ADC１１３は、各カラムに対して２系統のカラムADCを有する。例えば、第１の出力線（VSL1）に対して、比較器１４１（COMP1）、DAC１４２（DAC1）、およびカウンタ１４３（カウンタ１）が設けられ、第２の出力線（VSL2）に対して、比較器１５１（COMP2）、DAC１５２（DAC2）、およびカウンタ１５３（カウンタ２）が設けられている。図示は省略しているが、ADC１１３は、他のカラムの出力線に対しても同様の構成を有する。

ただし、これらの構成の内、DACは、共通化することができる。DACの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のDACが共通化される。図１の例の場合、各カラムの第１の出力線（VSL1）に対応するDACがDAC１４２として共通化され、各カラムの第２の出力線（VSL2）に対応するDACがDAC１５２として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。

定電流回路部１１４は、各出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４の回路は、例えば、MOS（Metal Oxide Semiconductor）トランジスタ等により構成される。この回路構成は任意であるが、図１においては、説明の便宜上、第1の出力線（VSL1）に対して、MOSトランジスタ１６１（LOAD1）が設けられ、第２の出力線（VSL2）に対して、MOSトランジスタ１６２（LOAD2）が設けられている。

制御部１０１は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部１１２を制御して、出力線に対する接続を制御する。また、制御部１０１は、選択した読み出しモードに応じて、カラムADCの駆動を制御したりする。さらに、制御部１０１は、カラムADC以外にも、必要に応じて、定電流回路部１１４の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部１１１の駆動を制御したりする。

つまり、制御部１０１は、選択部１１２の制御だけでなく、選択部１１２以外の各部も、より多様なモードで動作させることができる。したがって、イメージセンサ１００は、より多様な画素信号を出力することができる。

［イメージセンサの他の例］
なお、図１に示される各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が３系統以上設けられるようにしてもよい。例えば、図２Ａに示されるように、画素アレイ部１１１の各カラムに対して、出力線が４系統設けられるようにしてもよい。

図２Ａにおいて、画素アレイ部１１１の画素１乃至画素６は、画素アレイ部１１１に構成される画素アレイの中の、互いに同じカラムの連続する６つの画素の回路を示している。各画素の回路構成は、任意であるが、例えば、図２Ｂに示されるような、４つのトランジスタを用いたものであってもよい。

図２Ａに示されるように、１カラムに対して４系統の出力線が設けられ、各画素の回路は、４行ずつそれぞれの系統の出力線に接続される。換言するに、各画素の回路は、４行おきに同じ系統の出力線に接続される。図２Ａにおいては、画素１と画素５は、第１の出力線（VSL1）に接続され、画素２と画素６は、第２の出力線（VSL2）に接続され、画素３は、第３の出力線（VSL3）に接続され、画素４は、第４の出力線（VSL4）に接続されている。

また、図１の場合と同様に、各系統の出力線に対応してカラムADCが設けられている。ADC１１３−１乃至ADC１１３−４は、それぞれ、１系統のシングルスロープ型のカラムADCを示しており、比較器、DAC、およびカウンタを有する。つまり、ADC１１３−１（AD1）およびADC１１３−３（AD3）、ADC１１３−２（AD2）およびADC１１３−４（AD4）の各組が、それぞれ、図１のADC１１３に対応する。

より具体的には、ADC１１３−１およびADC１１３−２は、それぞれ、図１の比較器１４１、DAC１４２、およびカウンタ１４３に対応する。また、ADC１１３−３およびADC１１３−４は、それぞれ、図１の比較器１５１、DAC１５２、およびカウンタ１５３を有する。ただし、DACについては、例えばADC１１３−１、ADC１１３−２、ADC１１３−３、およびADC１１３−４でそれぞれ共有化しても良い。

図２Ａの例の場合、２系統ずつ選択部１１２（選択部１１２−１および選択部１１２−２）が設けられている。

選択部１１２−１は、各カラムの４出力線の内、第１の出力線（VSL1）および第３の出力線（VSL3）を、ADC１１３−１若しくはADC１１３−３に接続するか否かを制御することにより、１つの画素の信号の出力先とするADC（カラムADC）の数を選択する。選択部１１２−１は、図１の場合と同様に、スイッチ１３１−１（選択SW1）、スイッチ１３２−１（ADSW1）、およびスイッチ１３３−１（ADSW3）を有する。

スイッチ１３１−１は、第１の出力線と第３の出力線との接続を制御する。スイッチ１３１−１がオン（ON）状態になると、第１の出力線と第３の出力線とが接続され、オフ（OFF）状態になると切断される。スイッチ１３２−１は、第１の出力線とADC１１３−１との接続を制御する。スイッチ１３３−１は、第３の出力線とADC１１３−３との接続を制御する。

選択部１１２−２は、各カラムの４出力線の内、第２の出力線（VSL2）および第４の出力線（VSL4）を、ADC１１３−２若しくはADC１１３−４に接続するか否かを制御することにより、これらの出力線が出力される１つの画素の信号の出力先とするADC（カラムADC）の数を選択する。選択部１１２−２は、図１の場合と同様に、スイッチ１３１−２（選択SW2）、スイッチ１３２−２（ADSW2）、およびスイッチ１３３−２（ADSW4）を有する。

スイッチ１３１−２は、第２の出力線と第４の出力線との接続を制御する。スイッチ１３１−２がオン（ON）状態になると、第２の出力線と第４の出力線とが接続され、オフ（OFF）状態になると切断される。スイッチ１３２−２は、第２の出力線とADC１１３−２との接続を制御する。スイッチ１３３−２は、第４の出力線とADC１１３−４との接続を制御する。

また、図２Ａの例の場合、２系統ずつ定電流回路部１１４（定電流回路部１１４−１および定電流回路部１１４−２）が設けられている。

定電流回路部１１４−１は、第１の出力線および第３の出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４−１の回路構成は任意であるが、図２Ａにおいては、説明の便宜上、第１の出力線に対して、MOSトランジスタ１６１−１（LOAD1）が設けられ、第３の出力線に対して、MOSトランジスタ１６２−１（LOAD3）が設けられている。

定電流回路部１１４−２は、第２の出力線および第４の出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４−２の回路構成は任意であるが、図２Ａにおいては、説明の便宜上、第２の出力線に対して、MOSトランジスタ１６１−２（LOAD2）が設けられ、第４の出力線に対して、MOSトランジスタ１６２−２（LOAD4）が設けられている。

なお、図２Ａにおいては、１カラムに対する構成のみ示されているが、実際には、各カラムに対して、同様の4系統の出力線、２つの選択部１１２、４つのカラムADC、並びに、２つの定電流回路部１１４が設けられ、同様の制御が行われる。

なお、以上においては、１つの選択部１１２が、２系統ずつ出力線とカラムADCの接続を制御するように説明したが、これに限らず、１つの選択部１１２が３系統以上の接続制御を行うようにしてもよい。また、図２Ａの例のように、選択部１１２を複数設ける場合、各選択部１１２が制御する系統の数は、互いに同一であってもよいし、互いに異なっていてもよい。

［読み出しモード制御］
制御部１０１は、選択した読み出しモードに応じて、選択部１１２の各スイッチの開閉を、例えば図３に示される表のように制御する。

モード１（MODE1）は、例えば、出力データのダイナミックレンジを拡張したり、ノイズを低減したりする高機能な読み出しを実現するモードである。このモード１の場合、制御部１０１は、選択部１１２−１および選択部１１２−２の全てのスイッチ（スイッチ１３１−１乃至スイッチ１３３−１、並びに、スイッチ１３１−２乃至スイッチ１３３−２）をオン（ON）にする。これにより、各画素の信号値が複数のカラムADCに供給されるようになる。つまり、このモード１の場合、各画素信号を複数のADCにより信号処理することができるので、イメージセンサ１００は、後述するような様々な高機能化を実現することができる。

モード２（MODE2）は、高速な読み出しを実現するモードである。このモード２の場合、制御部１０１は、各選択部１１２のスイッチ１３１（スイッチ１３１−１およびスイッチ１３１−２）をオフ（OFF）にし、その他のスイッチ（スイッチ１３２−１およびスイッチ１３３−１、並びに、スイッチ１３２−２およびスイッチ１３３−２）をオン（ON）にする。これにより、各系統の出力線が互いに異なるカラムADCに接続される。つまり、このモード２の場合、画素信号を４行ずつ並列に読み出すことができるので、イメージセンサ１００は、高速な読み出しを実現することができる。

モード３（MODE3）は、低消費電力を実現するモードである。このモード３の場合、制御部１０１は、各選択部１１２のスイッチ１３３（スイッチ１３３−１およびスイッチ１３３−２）をオフ（OFF）にし、その他のスイッチ（スイッチ１３１−１およびスイッチ１３２−１、並びに、スイッチ１３１−２およびスイッチ１３２−２）をオン（ON）にする。つまり、各選択部１１２に対応する２つのカラムADCの内、一方のカラムADCの利用が停止される。すなわち、２行の画素信号は、共通のカラムADCで処理される。これにより、動作させるカラムADCの数が低減されるので、低消費電力の読み出しが可能になる。なお、この場合、２行ずつ読み出しが可能になる。

なお、このモード３において、制御部１０１が、定電流回路部１１４（定電流回路部１１４−１および定電流回路部１１４−２）を制御し、カラムADCを停止させた系統の負荷（MOSトランジスタ）を停止させるようにしてもよい。図３の例の場合、スイッチ１３３−１およびスイッチ１３３−２がオフされるので、MOSトランジスタ１６２−１（LOAD3）およびMOSトランジスタ１６２−２（LOAD2）が停止される。このようにすることにより、さらに低消費電力化の実現が可能になる。

［読み出しの高機能化］
次に、読み出しの高機能化について説明する。読み出しの高機能化の方法は、任意であり、様々なものが考えられる。例えば、複数フレームレートでの読み出し、高ダイナミックレンジ化、および低ノイズ化等が考えられる。以下において、各方法について説明する。

［複数情報の読み出し］
モード２（MODE2）の場合、各系統の出力線は、互いに異なるカラムADCに接続される。つまり、各出力線から出力される画素信号は、互いに独立に信号処理される。したがって、各系統の出力線に対応する画素は、シャッタ動作や読み出し動作等を互いに独立に設定することができる。すなわち、このモード２の場合、複数の読み出しモードの併用を実現することができる。

例えば、各カラムの各系統の画素の読み出しのレートを互いに独立に設定することができる。例えば、図２Ａの例において、４系統の内の２系統の出力線に対応する画素を第１のレート（例えば、３０fps）で読み出し、他の２系統の出力線に対応する画素を、第１のレートと異なる第２のレート（例えば、２４０fps）で読み出すようにしてもよい。

例えば、デジタルスチルカメラ等の撮像装置において、静止画撮像前に被写体の画像（動画）を筺体に設けられたモニタに表示するプレビューモードがある。一般的な動作として、このプレビューモードにおいて、ユーザが撮像画像のレイアウトを確認し、レリーズボタンを押下する等して静止画撮像を指示すると、オートフォーカス機能により焦点位置が調整された後、静止画が撮像され、記録される。

このような処理において、プレビューモードで表示される動画像は、確認用であるので、フレームレートは、処理の負荷を低減させるために、例えば３０fpsのような比較的低いレートが望ましい。これに対して、オートフォーカス処理を実行する際には、ユーザの指示から静止画撮像が行われるまでの応答性を向上させるために、より高速に焦点位置を決定するのが望ましいので、フレームレートは、例えば２４０fpsのようなより高いレートが望ましい。

そこで、一般的には、低レートでプレビューモードを行い、ユーザに撮像を指示されると、フレームレートを高レートに切り替えてオートフォーカスが実行される。しかしながら、この場合、フレームレートを切り替える際に、不要な待機時間が生じる恐れがある。

そこで、イメージセンサ１００は、モード２において、複数のフレームレートで同時に画像を読み出すようにすることにより、ユーザの指示から静止画撮像が行われるまでの応答性を、より向上させることができる。

図４Ａにその読み出しイメージ図を示す。制御部１０１は、画素アレイ部１１１を制御し、画素１および画素２の画素信号を３０fpsで読み出し（Read1/2）、画素３および画素４の画素信号を２４０fpsで読み出す（Read3/4）。モード２の場合、画素１乃至画素４は、互いに異なるカラムADCに接続される。ADC１１３−１乃至ADC１１３−４は、それぞれ、供給される画素信号を、それぞれのレートで処理すればよい。つまり、イメージセンサ１００は、複数のレートのデータ出力を実現することができる。

より具体的には、図４Ｂに示されるように、低レートでの読み出しは、画素信号の読み出し回数が低減されることにより、実現される。図４Ｂの例の場合、低レート（３０fps）で読み出される画素信号は、高レート（２４０fps）で読み出される画素信号の読み出し８回に対して１回読み出され、残りの７回は、読み出しが省略される。したがって、制御部１０１は、ADC１１３を制御して、その読み出しが省略されている間、対応する系統のカラムADC（ADC１１３−１およびADC１１３−２）を停止させることができる。これにより、制御部１０１は、より低消費電力な読み出しを実現することができる。

なお、このような複数レートでの読み出しの場合、レート毎に画素を分ける必要がある。つまり、同一の画素の画素信号を複数レートで読み出すことはできないので、画素毎に、読み出しレートを設定する必要がある。すなわち、複数レートで読み出す場合、各レートの画像の解像度は、単一レートで読み出す場合よりも低減する。例えば、上述したようなプレビューモードやオートフォーカスに用いられる画像の解像度が、静止画像の解像度よりも低減することになる。ただし、一般的には、プレビューモードやオートフォーカスに高解像度の画像は要求されないので、特に問題は生じない。

［マルチサンプリング］
また、モード１の互いに独立した複数系統出力を利用して、出力データのノイズを低減させるようにしてもよい。

その場合、制御部１０１は、ADC１１３の各カラムADCを制御し、図５に示される実線２０１と点線２０２のように、Ｐ相、Ｄ相のサンプリングタイミングを複数に分け、各出力の加算平均を求めるようにしてもよい。

例えば、制御部１０１は、各カラムADCを制御し、各系統のカラムADCのDAC波形を図５に示されるようにずらす。各系統のカラムADCは互いに独立に動作するので、このような制御は容易に実現することができる。このようにすることにより、サンプリング回数が２倍に増えるので、両サンプリングにより得られた信号の加算平均を出力することにより、SN比を改善することができる。すなわち、制御部１０１は、出力データのノイズを低減させることができる。また、互いに独立した複数のカラムADCを用いるので、制御部１０１は、このようなノイズ低減を、単一のADCによって行う場合よりも、より高速な変換処理において実現することができる。

［ワイドダイナミックレンジ機能］
また、モード１の互いに独立した複数系統出力を利用して、出力データのダイナミックレンジを拡張させるようにしてもよい。例えば、制御部１０１は、各カラムADCを制御し、各系統のゲインを互いに独立に設定する。このようにすることにより、制御部１０１は、出力データのダイナミックレンジを拡張させることができる。また、互いに独立した複数のカラムADCを用いるので、制御部１０１は、このような出力データのワイドダイナミックレンジ化を、単一のADCによって行う場合よりも、より高速な変換処理において実現することができる。

以上のように、制御部１０１は、各部を制御することにより、より多様な方法で、出力データの高機能化を実現することができる。すなわち、イメージセンサ１００は、より多様なデータ出力を実現することができる。

なお、モード１の互いに独立した複数系統出力を利用して、制御部１０１は、各系統のカラムADCの分解能（ビット数）を互いに独立に設定するようにしてもよい。また、上述した高機能化処理を複数同時に行うようにしてもよい。さらに、上述した以外の高機能化を行うようにしてもよい。

［制御処理の流れ］
図６のフローチャートを参照して、制御部１０１により実行される制御処理の流れの例を説明する。

制御処理を開始すると制御部１０１は、ステップＳ１０１において、外部からの要求を受け付ける。ステップＳ１０２において、制御部１０１は、受け付けた要求に応じたモードを判定する。

ステップＳ１０３において、制御部１０１は、選択部１１２を制御して、１画素の回路の画素信号の出力先とするADCの数を設定する。例えば、制御部１０１は、図３に示される表のように、モードに応じて、制御部１１２の各スイッチのオン・オフ制御を行う。

ステップＳ１０４において、制御部１０１は、ADC１１３を制御して、各カラムADCの設定を制御する。

ステップＳ１０５において、制御部１０１は、画素アレイ部１１１、選択部１１２、ADC１１３、および定電流回路部１１４を制御して、各部の駆動をモードや高機能化等の処理に応じて制御する。

画素信号の読み出しが終了すると、制御部１０１は、制御処理を終了する。

このように処理を行うことにより、制御部１０１は、より多様な用途に利用することができるように、より多様なデータ出力を実現することができる。

［積層化］
なお、上述したように、各カラムに対して複数のADCを設けると、例えば、図７Ａに示される構成では、チップサイズが増大し、コストが増大してしまう恐れがある。そこで、図７Ｂに示されるように、チップの積層化をするようにしてもよい。

図７Ｂの場合、イメージセンサ１００は、画素アレイ部１１１が主に形成される画素チップ１００−１と、出力回路、周辺回路、およびADC１１３等が形成される周辺回路チップ１００−２、およびパッド（PAD）との複数チップにより構成される。画素チップ１００−１の画素アレイ部１１１の出力線とドライブ線が貫通ビア（VIA）を介して周辺回路チップ１００−２の回路と接続されている。

このような構成とすることにより、チップサイズを小さくすることができ、コストを削減させることができる。また、配線層のスペースに余裕ができるので、配線の引き回しも容易になる。さらに、複数チップ化することにより、各チップをそれぞれ最適化することができる。例えば、画素チップにおいては、配線層による光学的な反射による量子効率の低下を防ぐためにより少ない配線層で低背化を実現し、周辺回路チップにおいては、配線間カップリング対策など最適化を可能にするために配線層の多層化を実現することができる。例えば、周辺回路チップの配線層を、画素チップの配線層よりも多層化することもできる。

なお、裏面照射型のイメージセンサの場合、配線層による光学的な反射は生じないが、不要な配線層数の増大を抑制することにより、配線工程数の増大等を抑制し、コストの削減を実現することができる。

また、画素チップエリアと同等なチップ面積があるため、トータルの積層チップの面積を増加させることなく周辺回路領域に複数のADCの搭載が可能になる。

なお、本技術を適用した撮像素子（撮像装置）は、上述した構成に限らず、他の構成であってもよい。

＜２．第２の実施の形態＞
［撮像装置］
図８は、本技術を適用した撮像装置の主な構成例を示す図である。図８に示される撮像装置３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図８に示されるように撮像装置３００は、レンズ部３１１、CMOSセンサ３１２、操作部３１４、制御部３１５、画像処理部３１６、表示部３１７、コーデック処理部３１８、および記録部３１９を有する。

レンズ部３１１は、レンズや絞り等の光学系素子よりなる。レンズ部３１１は、制御部３１５に制御されて、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、CMOSセンサ３１２に供給する。

CMOSセンサ３１２は、被写体を撮像するイメージセンサであり、制御部３１５に制御されて、入射光を光電変換し、各画素の画素値をA/D変換することにより、被写体の撮像画像のデータ（撮像画像）を得る。CMOSセンサ３１２は、制御部３１５に制御されて、その撮像により得られた撮像画像データを画像処理部３１６に供給する。

操作部３１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部３１５に供給する。

制御部３１５は、操作部３１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部３１１、CMOSセンサ３１２、画像処理部３１６、表示部３１７、コーデック処理部３１８、および記録部３１９の駆動を制御し、各部に撮像に関する処理を行わせる。

画像処理部３１６は、CMOSセンサ３１２から供給された画像信号に対して、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。この画像処理の内容は任意であり、上述した以外の処理が行われてもよい。画像処理部３１６は、画像処理を施した画像信号を表示部３１７およびコーデック処理部３１８に供給する。

表示部３１７は、例えば、液晶ディスプレイ等として構成され、画像処理部３１６からの画像信号に基づいて、被写体の画像を表示する。

コーデック処理部３１８は、画像処理部３１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部３１９に供給する。

記録部３１９は、コーデック処理部３１８からの画像データを記録する。記録部３１９に記録された画像データは、必要に応じて画像処理部３１６に読み出されることで、表示部３１７に供給され、対応する画像が表示される。

撮像装置３００のCMOSセンサ３１２は、図１や図２を参照して上述したイメージセンサ１００と同様の構成を有する。つまり、CMOSセンサ３１２は、１つの画素の信号の出力先とするADC（カラムADC）の数を選択する選択部（スイッチ）を有する。つまり、CMOSセンサ３１２は、このADCの数に応じて、より多様な画素信号を出力することができる。したがって撮像装置３００は、その多様な画素信号を用いて、より多様な処理を実現することができる。

なお、本技術を適用した撮像素子や画像処理部を備える撮像装置は、上述した構成に限らず、他の構成であってもよい。

＜３．第３の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、例えば、図８の制御部３１５のような、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のコンピュータなどが含まれる。

図９において、コンピュータ４００のCPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部４１３からRAM（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１） 各画素の画素信号を出力するA/D変換部の数を選択する選択部と、
前記選択部を制御し、要求に応じた数の前記A/D変換部を選択させる制御部と
を備える撮像素子。
（２） 画素アレイのカラム毎に複数の前記A/D変換部をさらに備え、
前記選択部は、前記画素信号の出力先を、当該カラムに対応する前記複数のA/D変換部の中から選択する
前記（１）に記載の撮像素子。
（３） 前記制御部は、当該カラムの各画素を前記複数のA/D変換部に接続させるように前記選択部を制御する
前記（２）に記載の撮像素子。
（４） 前記制御部は、当該カラムの各画素を複数系統に分け、各画素を、系統毎に互いに異なる前記A/D変換部に接続させるように前記選択部を制御する
前記（２）に記載の撮像素子。
（５） 前記制御部は、各画素から画素信号が前記系統毎に互いに異なるレートで読み出されるように制御する
前記（４）に記載の撮像素子。
（６） 前記制御部は、前記A/D変換部を制御し、各A/D変換部の設定を、系統毎に互いに異なる設定値にする
前記（４）または（５）に記載の撮像素子。
（７） 前記制御部は、前記A/D変換部のアナログゲイン設定を、系統毎に互いに異なる値に設定する
前記（６）に記載の撮像素子。
（８） 前記制御部は、前記A/D変換部の分解能設定を、系統毎に互いに異なる値に設定する
前記（６）または（７）に記載の撮像素子。
（９） 前記制御部は、前記A/D変換部のサンプリングタイミングを、系統毎に互いに異なる値に設定する
前記（６）乃至（８）のいずれかに記載の撮像素子。
（１０） 前記制御部は、互いに異なるタイミングでサンプリングされて処理された、各系統のA/D変換部の出力を、加算平均して出力するように、前記A/D変換部を制御する
前記（９）に記載の撮像素子。
（１１） 前記制御部は、一部の前記A/D変換部を停止させ、当該カラムの各画素を残りの前記A/D変換部に接続させるように前記選択部を制御する
前記（２）乃至（１０）のいずれかに記載の撮像素子。
（１２） 前記制御部は、さらに、停止した前記A/D変換部に対応する定電流回路を停止させる
前記（１１）に記載の撮像素子。
（１３） 複数のチップが積層された積層構造を有する
前記（１）乃至（１２）のいずれかに記載の撮像素子。
（１４） 前記画素信号が読み出される画素アレイが形成される画素チップと、
周辺回路、前記制御部、前記選択部、および前記A/D変換部が形成される周辺回路チップと
を備える前記（１３）に記載の撮像素子。
（１５） 前記周辺回路チップの配線層が、前記画素チップの配線層よりも多層化される
前記（１４）に記載の撮像素子。
（１６） 受付部が、要求を受け付け、
制御部が、各画素の画素信号を出力するA/D変換部の数を、受け付けられた前記要求に応じたモードで選択させる
制御方法。
（１７） 各画素において入射光を光電変換する画素アレイと、
前記画素アレイの各画素の画素信号を出力するA/D変換部の数を選択する選択部と、
前記選択部を制御し、要求に応じた数の前記A/D変換部を選択させる制御部と
を備える撮像装置。

１００ イメージセンサ， １０１ 制御部， １１１ 画素アレイ部， １１２ 選択部， １１３ ADC， １１４ 定電流回路部， １２１および１２２ 画素， １３１乃至１３３ スイッチ， １４１ 比較器， １４２ DAC， １４３ カウンタ， １５１ 比較器， １５２ DAC， １５３ カウンタ， １６１および１６２ MOS， ３００ 撮像装置， ４００ コンピュータ

Claims (17)

1. 行列状に配置された複数の画素
   を含む第１の基板と、
   前記複数の画素の列毎に複数設けられたA/D変換部と、
   複数の前記A/D変換部のそれぞれに対して基準電圧を供給する基準電圧ユニットと、
   前記画素に接続する前記A/D変換部を選択する選択部と、
   前記選択部を制御する制御部と
   を含む、前記第１の基板に積層される第２の基板と
   を備える撮像素子。
2. 前記第１の基板および前記第２の基板は、複数のビアを含む
   請求項１に記載の撮像素子。
3. 前記第１の基板は、前記ビアを介して前記第２の基板に電気的に接続される
   請求項２に記載の撮像素子。
4. 前記第１の基板において、前記ビアは、前記複数の画素が配置される領域の外部に設けられている
   請求項２に記載の撮像素子。
5. 前記第２の基板の配線層の層数が、前記第１の基板の配線層の層数よりも多い
   請求項１に記載の撮像素子。
6. 前記第２の基板において、前記A/D変換部は、前記第１の基板における前記複数の画素が配置される領域と重畳する領域に設けられている
   請求項１に記載の撮像素子。
7. 前記制御部は、前記複数の画素の処理対象の列の各画素を複数系統に分け、各画素を、系統毎に互いに異なる前記A/D変換部に接続させるように前記選択部を制御する
   請求項１に記載の撮像素子。
8. 前記制御部は、各画素から画素信号が前記系統毎に互いに異なるレートで読み出されるように制御する
   請求項７に記載の撮像素子。
9. 前記制御部は、前記A/D変換部を制御し、各A/D変換部の設定を、系統毎に互いに異なる設定値にする
   請求項７に記載の撮像素子。
10. 前記制御部は、前記A/D変換部のアナログゲイン設定を、系統毎に互いに異なる値に設定する
    請求項９に記載の撮像素子。
11. 前記制御部は、前記A/D変換部の分解能設定を、系統毎に互いに異なる値に設定する
    請求項９に記載の撮像素子。
12. 前記制御部は、前記A/D変換部のサンプリングタイミングを、系統毎に互いに異なる値に設定する
    請求項９に記載の撮像素子。
13. 前記制御部は、互いに異なるタイミングでサンプリングされて処理された、各系統のA/D変換部の出力を、加算平均して出力するように、前記A/D変換部を制御する
    請求項１２に記載の撮像素子。
14. 前記制御部は、前記複数の画素の処理対象の列について、一部の前記A/D変換部を停止させ、各画素を残りの前記A/D変換部に接続させるように前記選択部を制御する
    請求項１に記載の撮像素子。
15. 前記制御部は、さらに、停止した前記A/D変換部に対応する定電流回路を停止させる
    請求項１４に記載の撮像素子。
16. 撮像素子の第１の基板において、
    行列状に配置された複数の画素のそれぞれが、入射光を光電変換し、
    前記第１の基板に積層される第２の基板において、
    選択部が、制御部の制御に基づいて、前記複数の画素の列毎に複数設けられたA/D変換部の中から、処理対象の列の画素に接続する前記A/D変換部を選択し、
    選択された前記A/D変換部が、自身に対応する基準電圧ユニットから供給される基準電圧を用いて、自身に接続された前記画素において得られたアナログ信号をデジタル信号に変換する
    撮像方法。
17. 行列状に配置された複数の画素
    を含む第１の基板と、
    前記複数の画素の列毎に複数設けられたA/D変換部と、
    複数の前記A/D変換部のそれぞれに対して基準電圧を供給する基準電圧ユニットと、
    前記画素に接続する前記A/D変換部を選択する選択部と、
    前記選択部を制御する制御部と
    を含む、前記第１の基板に積層される第２の基板と
    を備える撮像素子と、
    前記撮像素子により得られる撮像画像データを画像処理する画像処理部と
    を備える撮像装置。

Images