JP6164867B2 - 固体撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、固体撮像装置、その制御方法、および制御プログラムに関し、特に、列毎にアナログ／デジタル変換器を備える撮像装置に関する。

一般に、撮影エリア内にヘッドライト又は太陽光などの高輝度の物体（被写体）が存在する場合に撮影の結果得られた画像に所謂白つぶれが発生せず、しかも低輝度領域において黒つぶれが生じることがないことが求められている。つまり、撮影の際には、広ダイナミックレンジの画像が要求されている。

広ダイナミックレンジの画像を得る際には、まず、高輝度の被写体に適した低感度画像と低輝度の被写体に適した高感度画像とを得る。そして、これら２種類の画像を画像処理して広ダイナミックレンジの画像を生成する。このため、低感度画像および高感度画像を同時に得ることができるＣＭＯＳイメージセンサなどの固体撮像装置が必要となる。

加えて、従来、一般に動画として３０Ｈｚのプログレッシブ動画像および６０Ｈｚのインタレース動画像が用いられているが、表示装置の高速化に伴って６０Ｈｚのプログレッシブ動画像又はそれ以上の高速フレームレートの撮像を行うことが可能な固体撮像装置が要望されている。

高速フレームレートで撮像を行うことができれば、高速で移動する被写体の動きを正確に捉えることが可能となる。そして、高速フレームレートで撮像が可能な固体撮像装置を用いれば、複数枚の画像を合成して、Ｓ／Ｎの向上およびダイナミックレンジの拡大などの画像処理を行うことができる。

高速フレームレートで撮像を行うため、固体撮像装置の画素列毎に２つ以上のアナログ−デジタル変換器（ＡＤＣ）を備えて、画素列の複数の画素からの出力をこれらＡＤＣに振り分けることによって、並列処理によって高速化をするようにしたものがある（特許文献１参照）。

また、ダイナミックレンジの拡大を行うため、固体撮像装置において単位画素が入射光を光電変換し蓄積する第１のフォトダイオードと当該第１のフォトダイオードよりも光感度が小さい第２のフォトダイオードを備えるようにしたものがある。そして、ここでは、第１および第２のフォトダイオードの信号電荷を読み出す際、これら信号電荷を読み出して加算した電位を増幅した信号を出力する高感度モードおよび第２のフォトダイオードの信号電荷を読み出した電位を増幅した信号を出力する低感度モードを備えている（特許文献２参照）。これによって、入射光量が低い場合には感度を高くし、入射光が高い場合には感度を下げ、出力の飽和を回避してダイナミックレンジを高くしている。

さらに、ダイナミックレンジを拡大するため、複数の画素が行列状に配列された画素部の１つの画素が電荷の蓄積量の異なる領域に分割された複数の分割画素を備えて、画素信号を読み出す際、各分割画素の分割画素信号を読み出して、各分割画素信号をＡＤ変換するとともに加算して一つの画素の画素信号を得るようにしたものがある（特許文献３参照）。

特開２００５−３４７９３２号公報 特開２０１１−１５２１９号公報 特開２０１０−２８４２３号公報

前述のように、特許文献１においては、高速フレームレートで撮像を行う際の手法が示され、特許文献２および３の各々では、ダイナミックレンジの拡大を行うための手法が示されているものの、ダイナミックレンジを拡大するとともに高速フレームレートで撮像することについては示されていない。

特に、先行技術文献２又は３の手法のように、一つの画素が複数のフォトダイオードを有すると、高速フレームレートで画素信号を読み出すことは困難である。

従って、本発明の目的は、ダイナミックレンジを拡大するとともに高速フレームレートで撮像することのできる固体撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による固体撮像装置は、複数の画素が２次元マトリックス状に配列された画素部を備え、前記画素に入射した光量に応じて前記画素から出力される画素信号に基づいて画像データを得る固体撮像装置であって、前記画素部は前記光量に対して第１の感度を有する第１の画素と前記第１の感度よりも低い第２の感度を有する第２の画素と有し、前記第１の画素および前記第２の画素が行方向に交互に配列されており、前記画素部から前記画素信号を読み出す際、前記第１の画素から前記画素信号を第１の画素信号として読み出して、前記第１の画素信号をアナログデジタル変換して第１のデジタル信号を得る第１の信号処理手段と、前記画素部から前記画素信号を読み出す際、前記第２の画素から前記画素信号を第２の画素信号として読み出して、前記第２の画素信号をアナログデジタル変換して第２のデジタル信号を得る第２の信号処理手段と、前記第１のデジタル信号および前記第２のデジタル信号を前記画像データとして出力する出力手段と、を有することを特徴とする。

本発明による制御方法は、複数の画素が２次元マトリックス状に配列された画素部を備え、前記画素部は前記光量に対して第１の感度を有する第１の画素と前記第１の感度よりも低い第２の感度を有する第２の画素と有し、前記第１の画素および前記第２の画素が行方向に交互に配列され、前記画素に入射した光量に応じて前記画素から出力される画素信号に基づいて画像データを得る固体撮像装置の制御方法であって、前記画素部から前記画素信号を読み出す際、前記第１の画素から前記画素信号を第１の画素信号として読み出して、前記第１の画素信号をアナログデジタル変換して第１のデジタル信号を得る第１の信号処理ステップと、前記画素部から前記画素信号を読み出す際、前記第２の画素から前記画素信号を第２の画素信号として読み出して、前記第２の画素信号をアナログデジタル変換して第２のデジタル信号を得る第２の信号処理ステップと、前記第１のデジタル信号および前記第２のデジタル信号を前記画像データとして出力する出力ステップと、を有することを特徴とする。

本発明による制御プログラムは、複数の画素が２次元マトリックス状に配列された画素部を備え、前記画素部は前記光量に対して第１の感度を有する第１の画素と前記第１の感度よりも低い第２の感度を有する第２の画素と有し、前記第１の画素および前記第２の画素が行方向に交互に配列され、前記画素に入射した光量に応じて前記画素から出力される画素信号に基づいて画像データを得る固体撮像装置で用いられる制御プログラムであって、前記固体撮像装置が備えるコンピュータに、前記画素部から前記画素信号を読み出す際、前記第１の画素から前記画素信号を第１の画素信号として読み出して、前記第１の画素信号をアナログデジタル変換して第１のデジタル信号を得る第１の信号処理ステップと、前記画素部から前記画素信号を読み出す際、前記第２の画素から前記画素信号を第２の画素信号として読み出して、前記第２の画素信号をアナログデジタル変換して第２のデジタル信号を得る第２の信号処理ステップと、前記第１のデジタル信号および前記第２のデジタル信号を前記画像データとして出力する出力ステップと、を実行させることを特徴とする。

本発明によれば、第１の感度の第１の画素と第２の感度の第２の画素とを独立して読み出し制御して、第１のデジタル信号および第２のデジタル信号を出力するようにしたので、第１のデジタル信号および第２のデジタル信号を合成すれば、高ダイナミックレンジの画像を得ることができる。さらに、第１の画素および第２の画素の読み出しを独立的に制御しているので、つまり、第１のデジタル信号および第２のデジタル信号を独立的に出力しているので、第１のデジタル信号および第２のデジタル信号を高フレームレートで出力することができ、その結果、高フレームレートで撮像を行うことができる。

本発明の実施形態による固体撮像装置の一例についてその構成を示すブロック図である。 図１に示す画素部における画素の構成を示す図であり、（ａ）は画素構成の一例を示す図、（ｂ）は画素構成の他の例を示す図である。 図１に示す画素部における画素の構成を説明するための図である。 図１に示す列ＡＭＰの構成の一例を示す回路図である。 図１に示す列ＡＤＣの動作を説明するためのタイミングチャートである。 図１に示す固体撮像装置を備えるカメラにおいてカメラの動作モードに応じた制御を説明するための図である。 図１に示す画素部における画素の構成のさらに他の例を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。なお、図示の固体撮像装置は、複数の画素が２次元マトリックス状に配列されており、列毎にアナログ−デジタル変換器（ＡＤＣ）を備える所謂並列型ＡＤＣのＣＭＯＳイメージセンサである。そして、固体撮像装置にはタイミング制御部１００が接続されている。

固体撮像装置は、複数の画素が２次元マトリックス状に配列された画素部１１０を有している。さらに、固体撮像装置は、垂直走査回路１２０、列アンプ（列ＡＭＰ）１３０および２３０、ランプ回路１４０および２４０、列ＡＤＣ１５０および２５０、水平転送回路１６０および２６０、信号処理回路１７０および２７０、そして、外部出力回路１８０および２８０を備えている。また、図示のように、列ＡＤＣ１５０は画素部１１０の列毎に備えられ、各列ＡＤＣ１５０は比較器１５１およびカウンタ・ラッチ回路１５２を有している。同様に、列ＡＤＣ２５０は比較器２５１およびカウンタ・ラッチ回路２５２を有している。

なお、列ＡＭＰ１３０および２３０はそれぞれ画素部１１０の列毎に備えられている。つまり、列ＡＭＰ３０および２３０は後述する垂直読み出し線に接続されている。

図示の固体撮像装置は、画素部１１０を中心として、図中上下に対称な構造となっているので、以下の説明では、図中画素部１１０の下側に位置する構成要素に注目して固体撮像装置の説明を行うことにする。つまり、図中破線で囲まれたブロック３００およびブロック３０１の構成は同一であり、ここでは、ブロック３０１に注目して固体撮像装置の説明を行う。

画素部１１０は光学像（被写体像）の光量に応じた電荷を電圧信号として出力する光電変換素子である。タイミング制御部１００は固体撮像装置に与える動作クロック信号（ＣＬＫ）およびタイミング信号を制御する。

垂直走査回路１２０は、タイミング制御部１００の制御下で１フレームにおいて画素部１１０から電圧信号（以下画素信号ともいう）を順次読み出すタイミング制御を行う。一般に、画素信号の読み出しの際には、１フレームにおいて図中上側の行から下側の行に向かって行単位で順次読み出しが行われる。

列ＡＭＰ１３０は、画素部１１０から読み出された電圧信号（画素信号）を列毎に増幅する。列ＡＭＰ１３０において電圧信号を増幅することによって信号レベルを大きくする。これによって、後段のランプ回路１４０および列ＡＤＣ１５０からのノイズに対して等価的にＳ／Ｎ比を増加させる。

但し、画素部１１０で生じるノイズに対して、ランプ回路１４０および列ＡＤＣ１５０からのノイズが十分小さい回路構造においては、列アンプ１３０は必須ではない。

ランプ回路１４０は時間方向に一定のスロープ（傾き）を有するランプ信号を発生する。列ＡＤＣ１５０において、比較器１５１は列アンプ１３０の出力信号（増幅信号）とランプ回路１４０のランプ信号とを比較する。そして、比較器１５１はその比較結果に応じた比較結果信号を出力する。

カウンタ・ラッチ回路１５２は比較結果信号に応じた期間の間カウント動作を行う。このカウント動作によって、増幅信号のレベルに比例するカウント値が得られる。そして、カウント値がＡＤ変換結果（アナログデジタル変換処理結果）となって、カウンタ・ラッチ回路１５２に画像データとしてラッチ（保持）される。

カウンタ・ラッチ回路１５２に保持された１行分の画像データは水平転送回路１６０によって順次読み出される。水平転送回路１６０の出力（読み出し信号）は信号処理回路１７０に入力される。

信号処理回路１７０はデジタル的に信号処理を行う回路であって、読み出し信号に対して所定量のオフセット値を加えるとともに、シフト演算および乗算を行ってゲイン演算を行う。そして、信号処理回路１７０の出力である処理済み信号（多ビットのパラレル信号）は外部出力回路１８０に送られる。

外部出力回路１８０は信号処理回路１７０の出力であるパラレル信号をシリアル信号に変換する。そして、外部出力回路１８０は当該シリアル信号を、例えば、ＬＶＤＳ（低電圧差動信号処理）信号などに変換して、外部デバイスに高速シリアル通信によって出力する。

図２は、図１に示す画素部１１０における画素の構成を示す図である。そして、図２（ａ）は画素構成の一例を示す図であり、図２（ｂ）は画素構成の他の例を示す図である。

図２を参照して、各画素の表面にはカラーフィルタおよびマイクロレンズが実装されている。ここでは、カラーフィルタとして、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の３色のカラーフィルタが用いられて、所謂ＲＧＢ原色カラーフィルタによるベイヤー配列構造が採用されている。

ベイヤー配列構造として、図２（ａ）又は図２（ｂ）に示す配列構造が用いられる。図２（ａ）に示す例では、２列を一組として、奇数組では列方向にＲおよびＧのカラーフィルタが交互に配置され、偶数組では列方向にＧおよびＢのカラーフィルタが交互に配置されている。そして、奇数列が第１のベイヤー群２０１とされ、偶数列が第２のベイヤー群２０２とされる。

つまり、ここでは、行方向に第１の感度を有する第１の画素群（第１のベイヤー群２０１）と第１の感度よりも感度が低い第２の感度を有する第２の画素群（第２のベイヤー群２０２）とが交互に配置されていることになる。

図２（ｂ）に示す例では、奇数列では列方向にＲおよびＧのカラーフィルタが交互に配置され、偶数列では列方向にＧおよびＢのカラーフィルタが交互に配置されている。そして、２列を一組として、奇数組が第１のベイヤー群２０１とされ、偶数組が第２のベイヤー群２０２とされる。

つまり、ここでも、行方向に第１の感度を有する第１の画素群（第１のベイヤー群２０１）と第１の感度よりも感度が低い第２の感度を有する第２の画素群（第２のベイヤー群２０２）とが交互に配置されていることになる。

光に対する感度が異なる画素を形成する際には、例えば、画素に備えられた光電変換素子の開口率を変えるか又は基板における不純物濃度を変えることによって光に対する感度を異ならせる。さらには、画素に設けられたカラーフィルタ又はマイクロレンズによって光学的特性を変えて、光に対する感度を異ならせるようにしてもよい。

図３は、図１に示す画素部１１０における画素１１１の構成を説明するための図である。

前述したように、画素部１１０は複数の画素（単位画素ともいう）１１１が２次元マトリックス状に配列されている（図３に示す例では、１列の画素１１１が示されている）。画素１１１は、光電変換素子であるフォトダイオード（ＰＤ）１１２を有しており、ＰＤ１１２は入射光量に応じた電荷を蓄積する。転送トランジスタ（Ｐｔｘ−Ｔｒ）１１３はＰＤ１１２に蓄積された電荷を、フローティングディフュージョン（ＦＤ）１１４に転送する。Ｐｔｘ−Ｔｒ１１３は転送制御線１１９−ａの転送パルスＰｔｘがハイレベル（Ｈレベル）になるとオンして、ＰＤ１１２からＦＤ１１４に電荷が転送される。そして、ＦＤ１１４において電荷が電圧に変換される。

リセットトランジスタ（ＲＳＴ−Ｔｒ）１１５はリセット制御線１１９−ｂのリセットパルスＰｒｅｓに応じてＦＤ１１４をリセットする。Ｐｔｘ−Ｔｒ１１３によってＰＤ１１２から電荷がＦＤ１１４に転送される前に、ＲＥＳ−Ｔｒ１１５によってＦＤ１１４のレベルがリセットレベル（Ｖｒｅｓ）にリセットされる。

リセットを解除して、Ｐｔｘ−Ｔｒ１１３がオンする前のＦＤ１１４のレベルをＮレベルとし、Ｐｔｘ−Ｔｒ１１３がオンしてＰＤ１１２から電荷が転送された後のＦＤ１１４のレベルをＳレベルとする。そして、ＮレベルとＳレベルとの差分値を、後述の信号処理で求めることによって光量に比例した画像信号として取り扱う。

ソースフォロワトランジスタ（ＳＦ−Ｔｒ）１１６は、ＦＤ１１４の出力電圧を後段の回路に渡すためのドライバ回路である。垂直読み出し線１１７は列アンプ１３０の入力に接続されており、列方向に配列された複数の画素１１１によって共有されている。

選択トランジスタ（ＳＥＬ−Ｔｒ）１１８をオン／オフ制御することによって、読み出したい画素以外のＳＦ−Ｔｒ１１６を垂直読み出し線１１７から切り離す。これによって、列方向に配列された複数の画素１１１から選択的に画素信号が読み出される。ＳＥＬ−Ｔｒ１１８は選択信号（１２０−Ｐｓｅｌ信号）によってオン／オフ制御される。

なお、前述の転送信号、リセット信号、および選択信号はタイミング制御部１００の制御下で垂直走査回路１２０から画素部１１０に与えられる。

図４は、図１に示す列ＡＭＰの構成の一例を示す回路図である。

列ＡＭＰ１３０に注目して、列ＡＭＰ１３０はＡＭＰ１３１、第１の容量１３２、第２の容量１３３、およびリセットスイッチ１３４を有している。そして、ＡＭＰ１３１のプラス（＋）端子には、リファレンス電圧（Ｖｒｅｆ）が印加され、第１の容量１３２はＡＭＰ１３１のマイナス（−）端子に接続されている。

まず、ＦＤ１１４がＲＳＴ−Ｔｒ１１５によってリセットされている期間において、リセットスイッチ１３４がオンとなる。これによって、フィードバック容量である第２の容量１３３に蓄積された電荷がリセットされる。

続いて、リセットスイッチ１３４をオフすると、列アンプ１３０は増幅アンプとなって、入力容量である第１の容量１３２に印加された電圧が第１の容量１３２および第２の容量１３３の容量比に応じた電圧レベルでＡＭＰ１３１の出力端に現れる。

実際には、リセットパルスＰｒｅｓがローレベル（Ｌレベル）となって、ＦＤ１１４のリセットが解除された状態でリセットスイッチ１３４がオフされる。これによって、ＦＤ１１４をリセットすることによって生じるリセットノイズが第１の容量１３２に記憶される。このリセットノイズは、後述するＡＤ変換におけるＮ変換およびＳ変換のいずれの結果にも重畳されるので、後述のＣＤＳ動作（Ｓ変換−Ｎ変換の演算）において除去することができる。

Ｎ変換においては、垂直読み出し線１１７を介して、選択した画素のＮレベル（Ｐｔｘ−Ｔｒ１１３が導通する前のリセットレベル）が第１の容量１３２に入力される。よって、列アンプ１３０の出力端にはＮレベルを増幅した電圧信号が出力される。このＮレベルを増幅した電圧信号は列ＡＤＣ回路１５０によってＡＤ変換される（このＡＤ変換の結果をＮ−ＡＤと呼ぶ）。

次に、Ｓ変換においては、転送パルスＰｔｘがＨレベルとなって、Ｐｔｘ−Ｔｒ１１３が導通する。これによって、ＰＤ１１２に蓄積された電荷に応じたＳレベル（Ｐｔｘ−Ｔｒ１１３が導通した後の信号レベル）が垂直読み出し線１１７を介して第１の容量１３２に入力される。その結果、列アンプ１３０の出力端にはＳレベルを増幅した電圧信号が出力される。このＳレベルを増幅した電圧信号は列ＡＤＣ回路１５０によってＡＤ変換される（このＡＤ変換の結果をＳ−ＡＤと呼ぶ）。

図５は、図１に示す列ＡＤＣの動作を説明するためのタイミングチャートである。

列ＡＤＣ１５０において、比較器１５１はランプ回路１４０によって生成されたランプ信号電圧（以下単にランプ電圧と呼ぶ：ＶＲＡＭＰ）１５３と列アンプ１３０の出力（ＶＡＭＰ）１５４とを比較する。そして、カウンタ・ラッチ回路１５２は比較器１５１の出力が反転するまでの時間をカウントして、そのカウント値をラッチする。カウンタ・ラッチ回路１５２は複数のラッチを備え、複数のＡＤデータ（ＡＤ変換結果）を蓄積することができる。

比較器１５１はＶＲＭＡＰ１５３のレベルがＶＡＭＰ１５４のレベルよりも小さいと、比較結果信号１５５としてＨレベルを出力する。一方、比較器１５１はＶＲＭＡＰ１５３のレベルがＶＡＭＰ１５４のレベル以上であると、比較結果信号１５５としてＬレベルを出力する。

この際、カウンタＥＮ（イネーブル）マスク信号がＨレベルの期間において、比較器１５１の出力が反転するまでの期間、カウンタ・ラッチ回路１５２をカウンタ動作（アップカウント動作）させると、ＶＡＭＰ１５４のレベルに比例した値がカウント値（デジタル値）に変換されることになってＡＤ変換が行われることになる。

上述の説明では、Ｓレベルの電圧信号をＡＤ変換する際の動作に関して説明したが、Ｎレベルの電圧信号をＡＤ変換する際も同様にして行われる。これによって、Ｎｃｎｔ期間１５６において、Ｎレベルの電圧信号のカウントが行われて、Ｎ−ＡＤが得られる。また、Ｓｃｎｔ期間１５７において、Ｓレベルの電圧信号のカウントが行われて、Ｓ−ＡＤが得られる。

ここで、ＶＲＡＭＰの傾きに応じて電圧とデジタルコードとの変換ゲイン（ＡＤ変換ゲイン）が制御される。つまり、ＶＲＡＭＰの傾きが大きい程、カウント値（デジタル値）の１ＬＳＢ当たりのＶＡＭＰ出力変化に対する感度は低くなる。一方、ＶＲＡＭＰの傾きが小さい程、デジタル値の１ＬＳＢ当たりのＶＡＭＰ出力変化に対する感度は高くなる。この特性を用いれば、ゲイン演算を行うことができる。

図示の列ＡＭＰ１５０においては、カウンタを動作させるＣＬＫ周波数に応じてＡＤ出力のビット数が変化する。つまり、ＣＬＫ周波数が高くなるに伴って、カウンタ・ラッチ回路１５２がＨレベル期間においてカウント可能な値が増加するので、ＣＬＫ周波数に応じてＡＤ出力のビット数が変化する。従って、カウンタ・ラッチ回路１５２の動作周波数（ＣＬＫ周波数）を段階的に増減させることによって、ＡＤ出力のビット数を段階的に増減させることができる。

これによって、固体撮像装置の出力についてビット精度が要求される際には、動作周波数を増加させてビット数を増加する。一方、ビット精度が要求されない場合には、動作周波数を下げて消費電力を抑えることができる。

例えば、図示の固体撮像装置をカメラ又はビデオカメラに実装した際、カメラ又はビデオカメラにおいて被写体を撮影記録する場合には動作周波数をあげてビット精度を向上させるようにする。

一方、撮影記録を行わない場合には、ユーザは表示パネルなどのＵＩ（ユーザインタフェース）で固体撮像装置からの出力である画像を視認するのみであるので、ＡＤ出力のビット数が低くても視認に支障はないとして、動作周波数を下げてビット精度を低下させる。

上記の一連の動作によって、画素のＮレベルに対してＡＤ変換を行ってＮ−ＡＤを得る。また、画素のＳレベルに対してＡＤ変換を行ってＳ−ＡＤを得る。

カウンタ・ラッチ回路１５２はＮ−ＡＤおよびＳ−ＡＤを記憶し、水平転送回路１６０は複数の列ＡＤＣ１５０にラッチされたＡＤ結果（Ｎ−ＡＤおよびＳ−ＡＤ）を順次読み出して信号処理回路１７０に送る。

信号処理回路１７０は画素毎に（Ｓ−ＡＤ）から（Ｎ−ＡＤ）を減算して、所謂ＣＤＳ（相関２重サンプリング）処理を行う。また、信号処理回路１７０は画像データの黒レベルを調整するために所定のオフセット量を重畳し、ゲイン調整のための乗算を行う。そして、信号処理回路１７０は処理済み信号を外部出力回路１８０に出力する。

上述の例では、Ｓ−ＡＤおよびＮ−ＡＤは別々にラッチされた後、読み出されてＣＤＳ処理を行う場合について説明したが、カウンタ・ラッチ回路１５２がアップダウンカウンタを備えれば、カウンタ動作によってＣＤＳ処理を行うことが可能である。

前述したように、画素部１１０において、第１のベイヤー群２０１は光に対する感度（光電変換特性）が第２のベイヤー群２０２よりも高い。このように、第１のベイヤー群２０１および第２のベイヤー群２０２において光に対する感度を異ならせればダイナミックレンジの広い画像データを生成することができる。

つまり、第１のベイヤー群２０１および第２のベイヤー群２０２において光に対する感度を異ならせれば、明るい被写体であっても所謂白つぶれが生じることなく感度の低い画像を得ることができ、一方、暗い被写体であっても所謂黒つぶれが生じることなく感度の高い画像を得ることができる。

図１に示す固体撮像装置では、画素部１１０を中心としてブロック３００および３０１が配置されている。以下の説明では、ブロック３００を上部ＡＤ３００と呼び、ブロック３０１を下部ＡＤ３０１と呼ぶことにする。そして、ここでは、第１のベイヤー群２０１に係る読み出しは上部ＡＤ３００で行い、第２のベイヤー群２０２に係る読み出しは下部ＡＤ３０１で行うものとする。

上部ＡＤ３００および下部ＡＤ３０１において、列アンプ回路１３０および２３０は互いに異なるゲインを有し、ランプ回路１４０および２４０は互いにその傾きが異なるランプ信号を出力する。

この結果、低感度の画素（第２の画素）から出力される第２の画素信号に応じて生成される画像データ（第２のデジタル信号）と高感度の画素（第１の画素）から出力される第１の画素信号に応じて生成される画像データ（第１のデジタル信号）との間において、互いに異なるＡＤ変換ゲインを設定することができる。

一般に、列アンプ回路１３０および２３０においてゲインの切り替えは容量の切り替えによって行われている。このため、列アンプ回路１３０および２３０におけるゲイン切り替えステップは粗い。

一方、ランプ回路１４０および２４０において、傾き（スロープ）によるゲイン切り替えはアナログ的に制御することができる。このため、ランプ回路１４０および２４０におけるゲイン切り替えステップは細かいものの、ダイナミックレンジを大きく取りにくい。

よって、ここでは、両者を組み合わせてＡＤ変換ゲインの調整が行われる。つまり、列アンプ１３０および２３０でゲインを粗調整し、ランプ回路１４０および２４０における傾きによってゲインの微調整を行う。

このように、列アンプ１３０および２３０とランプ回路１４０および２４０を用いてＡＤ変換ゲインを調整すれば、第１のベイヤー群２０１および第２のベイヤー群２０２において独立的に任意のゲインを設定することができる。これによって、第１のベイヤー群２０１および第２のベイヤー群２０２は互いに異なる感度を備えているものの、列アンプ１３０および２３０とランプ回路１４０および２４０を用いてゲイン調整を行えば、実質的に第１のベイヤー群２０１および第２のベイヤー群２０２の出力を異ならせることができる。

なお、列アンプ１３０および２３０とランプ回路１４０および２４０とのいずれか一方を用いてゲイン調整するようにしてもよい。

また、上部ＡＤ３００および下部ＡＤ３０１において、カウンタ・ラッチ回路１５２および２５２を互いに異なる動作周波数でカウント動作させれば、第１のベイヤー群２０１と第２のベイヤー群２０２とに応じて生成される画像データにおけるビット精度を異ならせることができる。

このようにして、図１に示す固体撮像装置では、光に対する感度を異なる画素群（第１のベイヤー群２０１および第２のベイヤー群２０２）を備えて、第１のベイヤー群２０１と第２のベイヤー群２０２の出力をそれぞれ列アンプ１３０および２３０と列ＡＤＣ１５０および２５０とを用いて同時にＡＤ変換して出力するようにしたので、ダイナミックレンジの広い画像データを生成するために必要な高感度の画像と低感度の画像とを高いフレームレートで生成することができる。

さらに、撮影の際に、ダイナミックレンジを広くする必要がない場合には、上部ＡＤ３００又は下部ＡＤ３０１によって画像データを生成すればよく、使用しない上部ＡＤ３００又は下部ＡＤ３０１の動作を停止すれば、消費電力を抑えることができる。そして、カメラの動作モードに応じて固体撮像装置１０の制御を変更することができる。

図６は、図１に示す固体撮像装置１０が実装されたカメラの動作モードに応じた制御を説明するための図である。

カメラの電源がオフ（ＯＦＦ）の際には、上部ＡＤ３００および下部ＡＤ３０１はともにパワーＯＦＦにされる。

いま、カメラにおいて、動画又は静止画を撮像する際、カメラに備えられたハードディスク又は不揮発性メモリに画像データの記録を行わないとする。つまり、撮像の際に画角を決定するため画像データの記録を行わないでパン又はズームを行う場合又は露出を調整するためにレンズの絞りを調整する場合などであるとする。これを非記録時と呼ぶことにする。

非記録時には、ユーザはカメラに備えられ液晶パネルなどの表示部を介して画像を視認する。この際、カメラに備えられた表示部は、記録される画像データの解像度に比べてその解像度が低く、表示部に表された画像のＳ／Ｎ比の劣化などについては、ユーザは認識することが困難である。

よって、非記録時（非記録動作状態）においては、例えば、上部ＡＤ３００をパワーオン（ＯＮ）とし、下部ＡＤ３０１をパワーＯＦＦに制御する。そして、上部ＡＤ３００の出力（画像データ）に応じた画像が表示部に表示される。

ユーザは表示部に表示された画像を確認した後、撮影記録を行う。撮像記録動作（単に記録動作という）となって、広ダイナミックレンジ（予め定められたダイナミックレンジ）で撮像する場合には、下部ＡＤ３０１もパワーＯＮに制御される。つまり、上部ＡＤ３００および下部ＡＤ３０１がともにパワーＯＮに制御される。これによって、広ダイナミックレンジで撮影を行うことができ、動画の場合には高速フレームレートで撮像を行うことができる。

また、いずれのダイナミックレンジで撮影するかは、撮影モードに応じてその範囲がある程度規定されていてもよい。つまり、撮影モードに応じて上部ＡＤ３００および下部ＡＤ３０１のいずれか一方がオフになるように制御してもよい。

なお、記録動作の際に、非広ダイナミックレンジ（予め定められたダイナミックレンジ以外のダイナミックレンジ）で撮像を行う場合には、上部ＡＤ３００のみがパワーＯＮに制御され、下部ＡＤ３０１はパワーＯＦＦに制御される。

このようにして、非記録時には、上部ＡＤ３００および下部ＡＤ３０１の一方が停止されるので、カメラの消費電力を抑えることができる。

なお、上述の例では、広ダイナミックレンジの画像を得るため、高感度画像と低感度画像とを得る場合について説明したが、第１のベイヤー群２０１と第２のベイヤー群２０２において光に対する感度を同一として、２つの画像データを得るようにしてもよい。そして、これら画像データを合成すればＳ／Ｎ比の高い合成画画像を生成することができる。

図７は、図１に示す画素部における画素の構成のさらに他の例を示す図である。

図７は固体撮像装置における光受光面の２次元イメージを示しており、ここでは、図２で説明した例と同様にして、Ｒ、Ｇ、およびＢの原色ベイヤー配列構造が採用されている。なお、ここでは、原色ベイヤー配列構造が示されているが、補色ベイヤー配列構造を採用するようにしてもよい。

図示の例では、４つの画像が１つのマイクロレンズに対応しており、ここでは、１つのマイクロレンズを共用する画素群を共用画素群と呼ぶ。まず、図中左側から縦方向に沿ってＲ（赤）のカラーフィルタが設けられた共用画素群（Ｒ共用画素群：Ｒ−Ｌ１、Ｒ−Ｌ２、Ｒ−Ｈ１、およびＲ−Ｈ２）が配置される。そして、Ｒ共用画素群の下側にＧ（緑）のカラーフィルタが設けられた共用画素群（Ｇ共用画素群：Ｇ−Ｌ１、Ｇ−Ｌ２、Ｇ−Ｈ１、およびＧ−Ｈ２）が配置され、その後、同様にして、Ｒ共用画素群およびＧ共用画素群が列方向に交互に配置される。

続いて、Ｇ共用画素群が配置され、Ｇ共用画素群の下側にＢ（青）のカラーフィルタが設けられた４つの画素（Ｂ共用画素群：Ｂ−Ｌ１、Ｂ−Ｌ２、Ｂ−Ｈ１、およびＢ−Ｈ２）が配置される。その後、同様にして、Ｇの画素群およびＢの画素群が列方向に交互に配置される。以下同様にして、共用画素群の配列が行われる。

図示の例では、Ｒ−Ｌ１およびＲ−Ｌ２は光に対する感度がＲ−Ｈ１およびＲ−Ｈ２に比べて相対的に低い。そして、Ｇ−Ｌ１およびＧ−Ｌ２は光に対する感度がＧ−Ｈ１およびＧ−Ｈ２に比べて相対的に低く、Ｂ−Ｌ１およびＢ−Ｌ２は光に対する感度がＢ−Ｈ１およびＢ−Ｈ２に比べて相対的に低い。さらに、１つのマイクロレンズを共用する４つの画素は点対称に配置されている。

図示のように、列方向に沿って第２の感度を有する第２の画素群（Ｒ−Ｌ１、Ｒ−Ｌ２、Ｇ−Ｌ１、Ｇ−Ｌ２、Ｂ−Ｌ１、又はＢ−Ｌ２）と第２の感度よりも感度が高い第１の感度を有する第１の画素群（（Ｒ−Ｈ１、Ｒ−Ｈ２、Ｇ−Ｈ１、Ｇ−Ｈ２、Ｂ−Ｈ１、又はＢ−Ｈ２）とが交互に配置されている。また、行方向においても、第２の感度を有する第２の画素群（Ｒ−Ｌ１、Ｒ−Ｌ２、Ｇ−Ｌ１、Ｇ−Ｌ２、Ｂ−Ｌ１、又はＢ−Ｌ２）と第２の感度よりも感度が高い第１の感度を有する第１の画素群（（Ｒ−Ｈ１、Ｒ−Ｈ２、Ｇ−Ｈ１、Ｇ−Ｈ２、Ｂ−Ｈ１、又はＢ−Ｈ２）とが交互に配置されている。

つまり、図７に示す例においても、行方向に第１の感度を有する第１の画素群と第１の感度よりも感度が低い第２の感度を有する第２の画素群とが交互に配置されていることになる。

図７に示すベイヤー配列構造を用いた場合には、固体撮像装置は画素Ｒ−Ｌ１と画素Ｒ−Ｌ２との出力を加算した結果得られた信号を出力Ｒ−Ｌ（図２に示す第２のベイヤー群２０２のＲ画素相当）する。また、固体撮像装置は画素Ｒ−Ｈ１と画素Ｒ−Ｈ２との出力を加算した結果得られた信号を出力Ｒ−Ｈ（図２に示す第１のベイヤー群２０１のＲ画素相当）とする。この加算演算は、例えば、図１に示す信号処理回路１７０で行われる。なお、Ｂ（青）およびＧ（緑）の画素についても同様にして加算演算が行われる。

このように、４つの画素で１つのマイクロレンズを共有すれば、低感度画像と高感度画像との間に画像ずれが生じない。図２に示す例では、低感度画像および高感度画像は、別々のマイクロレンズを介して光が入射した画素に応じて生成されるので、撮像された２つの画像（低感度画像と高感度画像）には水平方向に位置ずれが生じる。このため、広ダイナミックレンジの画像を生成する際には当該位置ずれを補正する必要がある。

このように、本発明の実施の形態では、互いに光に対する感度が異なる画素群毎にＡＤ変換部を備えて、当該ＡＤ部を独立して制御するようにしたので、広ダイナミックレンジの画像が得られるばかりでなく高速フレームレートで撮像を行うことができる。

上述の説明から明らかなように、図１に示す例においては、列ＡＭＰ２３０、ランプ回路２４０、列ＡＤＣ２５０、および水平転送回路２６０が第１の信号処理手段として機能する。また、列ＡＭＰ１３０、ランプ回路１４０、列ＡＤＣ１５０、および水平転送回路１６０が第２の信号処理手段化として機能する。そして、信号処理回路１７０および２７０と外部出力回路１８０および２８０とが出力手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を固体撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを固体撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１の信号処理ステップ、第２の信号処理ステップ、および出力ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１１０ 画素部
１２０ 垂直走査回路
１３０，２３０ 列アンプ
１４０，２４０ ランプ回路
１５０，２５０ 列ＡＤＣ
１５１，２５１ 比較器
１５２，２５２ カウンタ・ラッチ回路
１６０，２６０ 水平転送回路
１７０，２７０ 信号処理回路
１８０，２８０ 外部出力回路、

Claims (9)

1. 複数の画素が２次元マトリックス状に配列された画素部を備え、前記画素に入射した光量に応じて前記画素から出力される画素信号に基づいて画像データを得る固体撮像装置であって、
   前記画素部は前記光量に対して第１の感度を有する第１の画素と前記第１の感度よりも低い第２の感度を有する第２の画素と有し、前記第１の画素および前記第２の画素が行方向に交互に配列されており、
   前記画素部から前記画素信号を読み出す際、前記第１の画素から前記画素信号を第１の画素信号として読み出して、前記第１の画素信号をアナログデジタル変換して第１のデジタル信号を得る第１の信号処理手段と、
   前記画素部から前記画素信号を読み出す際、前記第２の画素から前記画素信号を第２の画素信号として読み出して、前記第２の画素信号をアナログデジタル変換して第２のデジタル信号を得る第２の信号処理手段と、
   前記第１のデジタル信号および前記第２のデジタル信号を前記画像データとして出力する出力手段と、
   を有することを特徴とする固体撮像装置。
2. 前記第１の信号処理手段および前記第２の信号処理手段の少なくとも一方が選択的にオフとされることを特徴とする請求項１に記載の固体撮像装置。
3. 前記固体撮像装置はカメラに実装されており、
   前記カメラがオンされて前記カメラで撮影が行われない非記録動作状態では、前記第１の信号処理手段および前記第２の信号処理手段のいずれか一方がオフとされることを特徴とする請求項２に記載の固体撮像装置。
4. 前記カメラにおける撮影が予め定められたダイナミックレンジの撮影であると、前記第１の信号処理手段および前記第２の信号処理手段がともにオンとされることを特徴とする請求項３に記載の固体撮像装置。
5. 前記予め定められたダイナミックレンジ以外のダイナミックレンジでは、前記第１の信号処理手段および前記第２の信号処理手段のいずれか一方がオフとされることを特徴とする請求項４に記載の固体撮像装置。
6. 撮影モードに応じて、前記第１の信号処理手段および前記第２の信号処理手段のいずれか一方がオフとされることを特徴とする請求項１乃至４のいずれか１項に記載の固体撮像装置。
7. 前記第１の信号処理手段および前記第２の信号処理手段の各々によって前記アナログデジタル変換処理を行う際に供給されるクロック信号の周波数が互いに独立して制御されることを特徴とする請求項１乃至５のいずれか１項に記載の固体撮像装置。
8. 複数の画素が２次元マトリックス状に配列された画素部を備え、前記画素部は第１の感度を有する第１の画素と前記第１の感度よりも低い第２の感度を有する第２の画素と有し、前記第１の画素および前記第２の画素が行方向に交互に配列され、前記画素に入射した光量に応じて前記画素から出力される画素信号に基づいて画像データを得る固体撮像装置の制御方法であって、
   前記画素部から前記画素信号を読み出す際、前記第１の画素から前記画素信号を第１の画素信号として読み出して、前記第１の画素信号をアナログデジタル変換して第１のデジタル信号を得る第１の信号処理ステップと、
   前記画素部から前記画素信号を読み出す際、前記第２の画素から前記画素信号を第２の画素信号として読み出して、前記第２の画素信号をアナログデジタル変換して第２のデジタル信号を得る第２の信号処理ステップと、
   前記第１のデジタル信号および前記第２のデジタル信号を前記画像データとして出力する出力ステップと、
   を有することを特徴とする制御方法。
9. 複数の画素が２次元マトリックス状に配列された画素部を備え、前記画素部は第１の感度を有する第１の画素と前記第１の感度よりも低い第２の感度を有する第２の画素と有し、前記第１の画素および前記第２の画素が行方向に交互に配列され、前記画素に入射した光量に応じて前記画素から出力される画素信号に基づいて画像データを得る固体撮像装置で用いられる制御プログラムであって、
   前記固体撮像装置が備えるコンピュータに、
   前記画素部から前記画素信号を読み出す際、前記第１の画素から前記画素信号を第１の画素信号として読み出して、前記第１の画素信号をアナログデジタル変換して第１のデジタル信号を得る第１の信号処理ステップと、
   前記画素部から前記画素信号を読み出す際、前記第２の画素から前記画素信号を第２の画素信号として読み出して、前記第２の画素信号をアナログデジタル変換して第２のデジタル信号を得る第２の信号処理ステップと、
   前記第１のデジタル信号および前記第２のデジタル信号を前記画像データとして出力する出力ステップと、
   を実行させることを特徴とする制御プログラム。

Images