JP5868049B2

JP5868049B2 - 撮像装置

Info

Publication number: JP5868049B2
Application number: JP2011158232A
Authority: JP
Inventors: 浩二石橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-07-19
Filing date: 2011-07-19
Publication date: 2016-02-24
Anticipated expiration: 2031-07-19
Also published as: CN102891967B; CN102891967A; EP2549743B1; EP2549743A2; JP2013026734A; US9148590B2; EP2549743A3; US20130021493A1

Description

本発明は、撮像装置に関する。

イメージセンサの画素読み出し回路について、画素列毎にアナログデジタル（ＡＤ）変換器を持つ列並列ＡＤ変換器を搭載したイメージセンサが提案されている。この列並列ＡＤ変換器は、画素信号とランプ状の参照信号との比較を比較器で行い、変換開始から比較器の出力が反転するまでの時間をカウントすることによりＡＤ変換を行う。列並列ＡＤ変換器は画素列毎に低速のＡＤ変換器を設けて並列にＡＤ変換する。そのため、列並列ＡＤ変換器を構成する比較器、アンプの帯域を低くできることから、Ｓ／Ｎの観点で他のＡＤ変換方式よりも有利である。

ここで、上記の参照信号は変換時間をカウントするカウンタに同期して電圧を変化させていくため、例えば８ビットＡＤ変換器の時は、２の８乗ステップ、すなわち２５６ステップ分の処理時間が必要となる。また、参照信号の傾きを大きくすることでＡＤ変換器の１ステップ当たりの電圧値を大きくする、すなわち分解能を粗くすることでＡＤ変換器のダイナミックレンジを広げる手法がある。

また、分解能特性を損なわず、ダイナミックレンジを拡張する手法として特許文献１が知られている。特許文献１では、スロープの傾きが異なる参照電圧を用いるとともに、単位画素の出力電圧と参照電圧を比較するのと併せて、参照電圧と第２の参照電圧を比較する。２つの比較器を用いてカウント動作することによってＡＤ変換の高速化を図り、ダイナミックレンジを拡大することができる。しかしながら、この方法ではＡＤ変換部で主たる面積を占める比較器を各列に２つずつ必要とするため、回路面積が増大するといった問題点がある。

特開２００８−９８７２２号公報

列並列ＡＤ変換器搭載イメージセンサでは、変換時間のカウント数がＡＤ変換の結果となるため、変換時間の制約からダイナミックレンジを広げることが難しい。一般的な列並列ＡＤ変換器では参照電圧の傾きを大きくすることでダイナミックレンジを広げることが可能だが、１ＬＳＢ当たりの電圧が大きくなるという分解能とのトレードオフになるといった問題点がある。そのため、同一行内で、低照度の画素と高照度の画素が混在する際に、適切な参照信号の傾きを選択することが難しいといった問題がある。分解能を維持しつつＡＤ変換器のダイナミックレンジを広げる手法として、列アンプゲインを変換毎に調整する方法、フレーム方向に加算処理をする手法、複数のコンパレータを用いる方法がある。しかしながら、いずれの手法も回路の複雑化やフレーム数の減少、チップサイズの増加といった問題がある。上記理由により、列並列ＡＤ変換器を用いた撮像装置では、回路を複雑化させることなく行内で異なる傾きの参照信号を用いてダイナミックレンジを適切に変化させる必要がある。

本発明の目的は、フレームレートの減少、チップサイズの大幅な増加を防ぎつつ、アナログデジタル変換のダイナミックレンジを拡大することができる撮像装置を提供することである。

本発明の撮像装置は、光電変換により信号を生成する第１の画素と、前記第１の画素に対して同一行に配列され、光電変換により信号を生成する第２の画素と、前記第１の画素に基づく信号と時間に対してレベルが変化する第１の参照信号とを比較する第１の比較器と、前記第２の画素に基づく信号と前記第１の参照信号に対して時間に対する変化率が異なる第２の参照信号とを比較する第２の比較器と、前記第１の比較器が前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第１のカウンタと、前記第２の比較器が前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第２のカウンタと、少なくとも前記第１のカウンタのカウント値及び／又は前記第２のカウンタのカウント値を基に１個の画素信号を生成する処理部とを有し、前記処理部は、前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転し、前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転したときには、前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値を合成して１個の画素信号を生成することを特徴とする。

第１の参照信号と第２の参照信号の時間に対する変化率を異ならせることにより、フレームレートの減少、チップサイズの大幅な増加を防ぎつつ、アナログデジタル変換のダイナミックレンジを拡大することができる。

本発明の第１の実施形態による撮像装置の構成例を示す図である。列並列ＡＤ変換器搭載イメージセンサのブロック図である。ＡＤ変換動作のタイミングチャートである。参照信号の割り当てと画素間信号処理を示す図である。ＡＤ変換動作のタイミングチャートである。ＡＤ変換動作のタイミングチャートである。列並列ＡＤ変換器搭載イメージセンサの画素部を説明するための図である。列並列ＡＤ変換器搭載イメージセンサのブロック図である。参照信号の割り当てと画素間信号処理を示す図である。

（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、例えばカメラシステムであり、列並列ＡＤ変換器搭載イメージセンサ１１０の画素領域に入射光を導く（被写体像を結像する）光学系、例えば入射光（像光）を撮像面上に結像させるレンズ１０１を有する。撮像装置は、列並列ＡＤ変換器搭載イメージセンサ１１０と、イメージセンサ１１０からの画素信号に対し所定の信号処理を行う画像処理部１０８と、画像処理部１０８の駆動を制御する全体制御部１０９とを有する。全体制御部１０９は、イメージセンサ１１０内の回路を駆動するスタートパルスやクロックパルスを含む各種タイミング信号を生成するタイミングジェネレータを有し、所定のタイミングでイメージセンサ１１０を駆動する。また、画像処理部１０８は、ＲＧＢの画素出力信号をＹ，Ｃｂ，Ｃｒ色空間への変換や、ガンマ補正などの所定の画像処理を施す。画像処理部１０８で処理された画像信号は、例えばメモリなどの記録媒体に記録される。記録媒体に記憶された画像情報は、プリンタなどによってハードコピーされる。また、画像処理回路１０８で処理された画像信号は、液晶ディスプレイなどからなるモニターに動画として映し出される。列並列ＡＤ変換器搭載イメージセンサ１１０は、レンズ１０１によって結像された光を電気信号に変換する画素アレー部１０２と、ＡＤ変換の際に参照信号として用いられる参照信号を発生させるランプ発生回路部１０３とを有する。参照信号は、時間に対して変化する参照信号である。さらに、イメージセンサ１１０は、画素アレー部１０２からのアナログ信号をデジタル信号に変換する列並列ＡＤ変換部１０４と、ＡＤ変換時の制御パルスを発生させるタイミング発生回路部１０５とを有する。さらに、イメージセンサ１１０は、相関二重サンプリング（ＣＤＳ）などの処理をＡＤ変換出力結果に対して行う信号処理部１０６と、ＬＶＤＳなどの外部インターフェース（Ｉ／Ｆ）部１０７とを有する。撮像装置は、その他さまざまな機能部位をもつが、本実施形態での特徴的な部位のみを記述した。

図２は、図１の列並列ＡＤ変換器搭載イメージセンサ（ＣＭＯＳイメージセンサ）１１０の構成例を示す図である。図２の画素アレー部２０９は、図１の画素アレー部１０２に対応する。図２の列並列ＡＤ変換部２１０は、列並列ＡＤ変換部１０４に対応する。図２のランプ発生回路（参照信号発生回路）２０８は、図１のランプ発生回路部１０３に対応する。図２のタイミング発生回路部２０７は、図１のタイミング発生回路部１０５に対応する。図２の信号処理部２０６は、図１の信号処理部１０６に対応する。列並列ＡＤ変換器搭載イメージセンサ１１０は、撮像部としての画素アレー部２０９と、信号処理部２０６と、各種駆動パルスのタイミング制御を行うタイミング発生回路部２０７とを有する。画素アレー部２０９は、２次元行列状に配列された画素２０２及び垂直走査部２０１を有する。さらに、イメージセンサ１１０は、画素アレー部２０９の読み出し部としての列並列ＡＤ変換部２１０と、列アンプ２０３及び比較器２０４などに流れる電流を制御するバイアス回路部２１１とを有する。さらに、イメージセンサ１１０は、参照信号を発生させるランプ発生回路２０８を有する。列並列ＡＤ変換部２１０は、列アンプ２０３と、比較器２０４と、カウンタ２０５とを有する。カウンタ２０５は、タイミング発生回路部２０７が生成するクロック信号ＣＬＫのクロック数をカウントする。これらの構成要素のうち、画素アレー部２０９、垂直走査部２０１、列並列ＡＤ変換部２１０、ランプ発生回路２０８、バイアス回路部２１１はアナログ回路により構成される。また、タイミング発生回路部２０７、信号処理部２０６はデジタル回路により構成される。各画素２０２は、フォトダイオードと画素内アンプとを含み、光電変換により信号を生成する。例えば、図７に示すような画素２０２がマトリックス状（行列状）に配置されている。

図７は、イメージセンサ１１０の各画素２０２の構成例を示す図である。画素２０２は、光電変換素子（例えばフォトダイオード）７０１と、転送スイッチである転送トランジスタ７０６と、画素レベルをリセットするリセットトランジスタ７０３と、増幅トランジスタ７０４と、選択トランジスタ７０５とを有する。フォトダイオード７０１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。転送トランジスタ７０６は、フォトダイオード７０１の出力ノードとしてのフローティングディフュージョン（ＦＤ）７０７とフォトダイオード７０１との間に接続されている。転送トランジスタ７０６は、転送制御線ＬＴＸを通じて、そのゲート（転送ゲート）に駆動信号ＴＧが与えられることにより、フォトダイオード７０１で光電変換された電荷をフローティングディフュージョン７０７に転送する。リセットトランジスタ７０３は、電源ラインＬＶＤＤとフローティングディフュージョン７０７との間に接続されている。リセットトランジスタ７０３は、リセット制御線ＬＲＳＴを通してそのゲートにリセットＲＳＴが与えられることで、フローティングディフュージョン７０７の電位を電源ラインＬＶＤＤの電位にリセットする。フローティングディフュージョン７０７は、増幅トランジスタ７０４を介して、垂直信号線７０２に接続される。増幅トランジスタ７０４は、画素２０２の外部の定電流源とソースフォロアを構成している。

そして、選択制御線ＬＳＥＬを通して制御信号（アドレス信号又はセレクト信号）ＳＥＬが選択トランジスタ７０５のゲートに与えられ、選択トランジスタ７０５がオンする。選択トランジスタ７０５がオンすると、増幅トランジスタ７０４はフローティングディフュージョン７０７の電位を増幅してその電位に応じた電圧を垂直信号線７０２に出力する。垂直信号線７０２を通じて、各画素２０２から出力された電圧は、画素信号読み出し回路としての列並列ＡＤ変換部２１０に出力される。これらの動作は、例えば転送トランジスタ７０６、リセットトランジスタ７０３、及び選択トランジスタ７０５の各ゲートが行単位で接続されていることから、１行分の各画素２０２について同時に行われる。

画素アレー部２０９に配線されているリセット制御線ＬＲＳＴ、転送信号線ＬＴＸ、及び選択制御線ＬＳＥＬが一組として画素２０２の配列の各行単位で配線されている。これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴＸ、及び選択制御線ＬＳＥＬは、画素駆動部としての垂直走査部２０１により駆動される。タイミング制御回路部２０７は、画素アレー部２０９、垂直走査部２０１、信号処理部２０６、列並列ＡＤ変換部２１０、ランプ発生回路２０８の信号処理に必要なタイミング信号を生成する。画素アレー部２０９においては、ラインシャッターを使用した光子蓄積及び排出により、映像や画面イメージを画素行毎に光電変換し、アナログ信号を列並列ＡＤ変換部２１０に出力する。列並列ＡＤ変換部２１０は、列毎でそれぞれ、画素アレー部２０９のアナログ出力信号とランプ発生回路２０８からの参照信号とを比較し、デジタル信号を出力する。

列並列ＡＤ変換部２１０は、ＡＤ変換器が複数列配列されている。各ＡＤ変換器は、参照信号を階段状もしくはスロープ状に変化させた参照信号と、行列毎に画素２０２から垂直信号線７０２を経由し列アンプ２０３で増幅して得られるアナログ信号とを比較する比較器２０４を有する。さらに、各列のＡＤ変換器は、比較時間をカウントし、カウント結果をラッチして保持するカウンタ２０５を有する。列毎に配置された比較器２０４は、列アンプ２０３からの画素信号と参照信号の電圧が等しくなったときに、比較器２０４の出力を反転し、カウンタ２０５のカウントを停止し、ＡＤ変換を完了させる。本構成では、画素列毎に列アンプ２０３を用いたが、画素垂直信号線７０２を直接比較器２０４に入力する構成であっても良い。ランプ発生回路２０８は、複数の参照信号を生成する。以下、ランプ発生回路２０８の具体的な構成及び機能について説明する。

ランプ発生回路２０８は、時間に対してレベルが変化する参照信号を生成する。参照信号は、例えば、時間が経過するにつれてレベルが階段状、もしくはランプ状に変化するスロープ（傾斜状）の波形の信号である。例えば、ランプ発生回路２０８は、タイミング発生回路部２０７から与えられる制御信号に応じて、デジタルアナログ変換回路によりデジタルアナログ変換を行い、参照信号を生成する。撮像装置は、複数のランプ発生回路２０８を有する。複数のランプ発生回路２０８は、タイミング発生回路部２０７から与えられるクロック信号に基づいて、異なる傾きのスロープを持つ複数系統、例えば２系統の参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを生成する。なお、スロープ状の波形の参照信号を生成する手段としては、デジタルアナログ変換回路に限られるものではない。また、複数系統の参照信号を生成する手法に関しても、ランプ発生回路２０８を複数用いる構成に限定されるものではない。信号処理部１０６又は画像処理部１０８は、列アンプ２０３のゲインを列毎に異ならせた場合のゲイン補正・画素の選択処理を行う。イメージセンサ１１０内でゲイン補正をする場合は、信号処理部１０６がゲイン補正を行い、イメージセンサ１１０外でゲイン補正する場合は、画像処理部１０８がゲイン補正を行う。画素の選択処理に関しては、後で詳述する。撮像装置は、参照信号の傾きに対して、列間で異ならせるか同一のものを用いるかを選択するモード切り替え手段を有する。

各画素２０２にカラーフィルタを用いた場合の参照信号の対応関係に関して説明する。図４は、２種類の傾きの異なる参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いた構成例である。図１の複数の画素２０２は、画素列群４０２及び４０３に分けられる。各画素２０２には、カラーフィルタが設けられる。画素列群４０２は、参照信号ＲＡＭＰ＿Ａに対応する列の画素領域である。画素列群４０３は、参照信号ＲＡＭＰ＿Ｂに対応する列の画素領域である。列並列ＡＤ変換部４０４は図２の列並列ＡＤ変換部２１０に対応し、信号処理部４０１は図２の信号処理部２０６に対応する。信号処理部４０１は、画素の選択／合成部及びゲイン補正部を有する。異なる傾きの参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂの画素列群４０２及び４０３は、最も近隣にある同一色のカラーフィルタを設けた画素列間で分ける。図４は、隣り合う４画素でＲ、Ｇｒ、Ｇｂ、Ｂのカラーフィルタを用いた場合の参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂの対応例である。参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂは、同一色の近隣画素列間で分けるため、２画素列毎に交互に２つの参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いる。すなわち、画素列群４０２及び４０３毎に、異なる傾きの参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いる。また、信号処理部４０１は、異なる傾きの参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いて比較器２０４で比較した同色画素の信号間で、画素の選択・合成処理、及びゲイン補正処理を行う。信号処理部４０１は、図１の信号処理部１０６又は画像処理部１０８に対応する。ここで、本実施形態は、近隣４画素をＲ、Ｇｒ、Ｇｂ、Ｂと配列させたカラーフィルタを用いたイメージセンサ１１０に限定されるものではない。

３種類以上の参照信号を用いた場合も同様に、１行内で最も近隣にある同一色画素の信号間で、参照信号の傾きを異ならせ、ＡＤ変換を行う。具体例として、図４で示した４画素でＲ、Ｇｒ、Ｇｂ、Ｂを構成するカラーフィルタを有するイメージセンサ１１０に対し、３種類の参照信号を用いた場合、６画素列毎に同一の傾きの参照信号をＡＤ変換に用いる。また、三板式カラーセンサの画素配列や、モノクロセンサなどは単一色のカラーフィルタを用いた画素配列で構成されているため、２種類の参照信号を用いた場合は、１画素列毎に交互に参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿ＢをＡＤ変換に用いる。

図５は、全列で同じ参照信号ＲＡＭＰを用いてＡＤ変換する第２のモードの動作を示すタイミングチャートである。参照信号ＲＡＭＰは、ランプ発生回路２０８により生成される。画素２０２に基づく信号（画素信号）ＳＩＧは、列アンプ２０３の出力信号である。ＡＤ変換期間は、画素２０２のリセットレベルを変換するＮ信号変換期間と、光信号レベルを変換するＳ信号変換期間を有する。Ｎ信号変換期間では、図７に示すように、画素信号ＳＩＧは、リセットトランジスタ７０３をオンした際の列アンプ２０３の出力信号であり、画素リセット信号がＡＤ変換される。これに対し、Ｓ信号変換期間では、図７に示すように、画素信号ＳＩＧは、リセットトランジスタ７０３をオフした際の列アンプ２０３の出力信号であり、フォトダイオード７０１に蓄積された光信号がＡＤ変換される。Ｎ信号変換期間では、リセットトランジスタ７０３がオンされる。比較器２０４は、画素信号ＳＩＧと参照信号ＲＡＭＰの大小関係が逆転すると出力信号ＯＵＴを反転させる。カウンタ２０５は、参照信号ＲＡＭＰの傾斜開始時刻ｔ１から比較器２０４の出力信号ＯＵＴが反転する時刻ｔ２までの期間、クロック信号ＣＬＫのクロック数をカウント値（デジタル信号）としてカウントする。これにより、画素信号ＳＩＧがアナログからデジタルに変換される。

Ｓ信号変換期間では、リセットトランジスタ７０３がオフされる。比較器２０４は、画素信号ＳＩＧと参照信号ＲＡＭＰの大小関係が逆転すると出力信号ＯＵＴを反転させる。カウンタ２０５は、参照信号ＲＡＭＰの傾斜開始時刻ｔ３から比較器２０４の出力信号ＯＵＴが反転する時刻ｔ４までの期間、クロック信号ＣＬＫのクロック数をカウント値（デジタル信号）としてカウントする。これにより、画素信号ＳＩＧは、アナログからデジタルに変換される。その後、信号処理部１０６又は画像処理部１０８は、時刻ｔ３〜ｔ４のＳ信号変換期間にＡＤ変換されたカウント値と時刻ｔ１〜ｔ２のＮ信号変換期間にＡＤ変換されたカウント値との差分を演算し、リセットレベルが減算された画素信号を得る。

撮像装置は、画像の照度をＡＤ変換結果から検出し、Ｓ信号変換期間内に比較器２０４の反転が終わるように参照信号ＲＡＭＰの傾きを変化させる。しかし、参照信号ＲＡＭＰを各列に共通に使用した場合の動作では、同行内に照度が高い画素と照度が低い画素が混在した場合に、図６に示すように、Ｓ信号変換期間内に比較器２０４の出力信号ＯＵＴの反転が起こらなく、カウンタ２０５のカウンタ値が飽和する。

本実施形態の撮像装置は、モード切り替えによって全列に共通の参照信号ＲＡＭＰを用いる第２のモードと、異なる参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いる第１のモードとを切り替える。参照信号の傾きを列間で異ならせるか、同一にするかはユーザが任意にモード切り替え操作をしてもよいし、撮像装置が画像内の照度差を検出して自動でモードを切り替えても良い。例えば、撮像装置は、照度差が大きい場合に、モード切り替えによって、図４に示すように隣接する同色の２画素の信号に対し、傾きを異ならせた参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いてＡＤ変換する第１のモードに設定する例を説明する。この場合のタイミングチャートを図３（Ａ）及び（Ｂ）に示す。図３（Ａ）及び（Ｂ）では、隣接する同色の２画素の画素信号ＳＩＧは等しいと仮定し、一つの画素信号ＳＩＧで表している。出力信号ＯＵＴ＿Ａ及びＯＵＴ＿Ｂは、それぞれ上記の隣接する同色の２画素の信号についての比較器２０４の出力信号である。出力信号ＯＵＴ＿Ａは、画素列群４０２の画素と傾きが小さい参照信号ＲＡＭＰ＿Ａとを比較した比較器２０４の出力信号である。出力信号ＯＵＴ＿Ｂは、画素列群４０３の画素と傾きが大きい参照信号ＲＡＭＰ＿Ｂとを比較した比較器２０４の出力信号である。図３（Ａ）に示すように、照度の高い画素に対して二つの参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いてＡＤ変換を行った場合、傾きが小さい参照信号ＲＡＭＰ＿Ａを用いた画素では比較器２０４の出力信号ＯＵＴ＿Ａの反転が行われない。一方、傾きが大きい参照信号ＲＡＭＰ＿Ｂを用いた画素では比較器２０４の出力信号ＯＵＴ＿Ｂが反転する。後段の信号処理部４０１は、隣接する同色の２画素間で参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いたカウント値Ａ及びＢのうちの飽和していないカウント値Ｂを選択し、上記の隣接する同色の２画素の信号の代表値とする。ここでは２画素のうち１画素のみを使う選択方式を示したが、信号処理方法は選択方式に限られるものではなく、複数の画素の合成処理などを行って、画素信号を求めてもよい。３種類の参照信号を用いた際は３画素間での信号処理を行う。

図３（Ｂ）は、１画素行内で照度が低い画素のＡＤ変換を示したものである。図３（Ｂ）では、画素信号ＳＩＧの光信号レベルが小さいため、傾きが小さい参照信号ＲＡＭＰ＿Ａを用いた比較器２０４の出力信号ＯＵＴ＿Ａと傾きが大きい参照信号ＲＡＭＰ＿Ｂを用いた比較器２０４の出力信号ＯＵＴ＿Ｂの両方が反転する。後段の信号処理部４０１は、より１ＬＳＢ当たりの分解能が高い方の傾きが小さい参照信号ＲＡＭＰ＿Ａを用いたカウント値を選択し、上記の隣接する同色の２画素の信号の代表値とする。ここでも、上記と同様に、信号処理方式は選択方式に限られるものではなく、参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂの両方の変換結果のカウント値Ａ及びＢを用いて画素信号を求めてもよい。

各列でＡＤ変換された変換結果のカウント値は、参照信号の傾きが異なるため、列並列ＡＤ変換器２１０の入力信号からみた変換ゲインが列毎で異なる。すなわち、列並列ＡＤ変換器２１０が異なる傾きの参照信号を用いて画素信号ＳＩＧをＡＤ変換することは、異なるゲインで画素信号ＳＩＧを増幅することを意味する。そこで、後段の信号処理部４０１は、同一行の画素の変換ゲインを等しくさせるため、参照信号の傾き比で出力結果のカウント値を割ることにより、ゲイン補正を行う。すなわち、信号処理部４０１は、カウンタ２０５のカウント値に対して、参照信号の傾きの違いに対応するゲインの違いを補正する。なお、上記の隣接する同色の２画素のうちから１画素を選択又は合成する処理とゲイン補正処理は、イメージセンサ１１０内の信号処理部１０６で行ってもよいし、イメージセンサ１１０の外部の画像処理部１０８で行ってもよい。参照信号の傾きの制御は、ユーザのモード切り替え操作や、撮像装置により前フレームもしくは前行の照度検出結果などを基に行われる。

第１の画素は、例えば図４の画素列群４０２内の画素２０２であり、光電変換により信号を生成する。第２の画素は、例えば図４の画素列群４０３内の画素２０２であり、第１の画素に対して同一行に配列され、光電変換により信号を生成する。第１の画素及び第２の画素は、列方向に隣接する同色のカラーフィルタが設けられた２画素である。なお、三板式カラーセンサ又はモノクロセンサなどでは、第１の画素及び第２の画素は、列方向に隣接する２画素である。

図３（Ａ）及び（Ｂ）に示すように、第１の比較器２０４は、第１の画素に基づく信号ＳＩＧと時間に対してレベルが変化する第１の参照信号ＲＡＭＰ＿Ａとを比較し、出力信号ＯＵＴ＿Ａを出力する。第２の比較器２０４は、第２の画素に基づく信号ＳＩＧと第１の参照信号ＲＡＭＰ＿Ａに対して時間に対する変化率（傾き）が異なる第２の参照信号ＲＡＭＰ＿Ｂとを比較し、出力信号ＯＵＴ＿Ｂを出力する。

第１のカウンタ２０５は、第１の比較器２０４が第１の画素に基づく信号ＳＩＧと第１の参照信号ＲＡＭＰ＿Ａとの大小関係が逆転することを示す信号ＯＵＴ＿Ａを出力するまでの間にカウント値Ａのカウントを行う。第２のカウンタ２０５は、第２の比較器２０４が第２の画素に基づく信号ＳＩＧと第２の参照信号ＲＡＭＰ＿Ｂとの大小関係が逆転することを示す信号ＯＵＴ＿Ｂを出力するまでの間にカウント値Ｂのカウントを行う。

信号処理部４０１又は画像処理部１０８は、少なくとも第１のカウンタ２０５のカウント値Ａ及び／又は第２のカウンタ２０５のカウント値Ｂを基に１個の画素信号を生成する。また、処理部４０１又は１０８は、図４に示すように、第１の参照信号ＲＡＭＰ＿Ａ及び第２の参照信号ＲＡＭＰ＿Ｂの時間に対する変化率の違いに対応する第１のカウンタ２０５のカウント値Ａ及び第２のカウンタ２０５のカウント値Ｂのゲインの違いを補正する。

図３（Ａ）及び（Ｂ）に示すように、第２の参照信号ＲＡＭＰ＿Ｂは、例えば、第１の参照信号ＲＡＭＰ＿Ａに対して時間に対する変化率が大きい。図３（Ａ）は、第１の画素に基づく信号ＳＩＧと第１の参照信号ＲＡＭＰ＿Ａとの大小関係（信号ＯＵＴ＿Ａ参照）が逆転せず、第２の画素に基づく信号ＳＩＧと第２の参照信号ＲＡＭＰ＿Ｂとの大小関係（信号ＯＵＴ＿Ｂ参照）が逆転した場合を示す。その場合には、処理部４０１又は１０８は、第２のカウンタ２０５のカウント値Ｂを選択して１個の画素信号を生成する。

図３（Ｂ）は、第１の画素に基づく信号ＳＩＧと第１の参照信号ＲＡＭＰ＿Ａとの大小関係（信号ＯＵＴ＿Ａ参照）が逆転し、第２の画素に基づく信号ＳＩＧと第２の参照信号ＲＡＭＰ＿Ｂとの大小関係（信号ＯＵＴ＿Ｂ参照）が逆転した場合を示す。その場合には、処理部４０１又は１０８は、高分解能の第１のカウンタ２０５のカウント値Ａを選択して１個の画素信号を生成する。なお、図３（Ｂ）の場合、処理部４０１又は１０８は、第１のカウンタ２０５のカウント値Ａ及び第２のカウンタ２０５のカウント値Ｂを合成して１個の画素信号を生成してもよい。

図３（Ａ）及び（Ｂ）に示す第１のモードでは、第１の比較器２０４は、第１の画素に基づく信号ＳＩＧと時間に対してレベルが変化する第１の参照信号ＲＡＭＰ＿Ａとを比較し、出力信号ＯＵＴ＿Ａを出力する。第２の比較器２０４は、第２の画素に基づく信号ＳＩＧと第１の参照信号ＲＡＭＰ＿Ａに対して時間に対する変化率が異なる第２の参照信号ＲＡＭＰ＿Ｂとを比較し、出力信号ＯＵＴ＿Ｂを出力する。

これに対し、図５に示す第２のモードでは、第１の比較器２０４は、第１の画素に基づく信号ＳＩＧと時間に対してレベルが変化する第１の参照信号ＲＡＭＰとを比較し、出力信号ＯＵＴを出力する。第２の比較器２０４は、第２の画素に基づく信号ＳＩＧと第１の参照信号ＲＡＭＰに対して時間に対する変化率が同じ第２の参照信号ＲＡＭＰとを比較し、出力信号ＯＵＴを出力する。

（第２の実施形態）
図８は、本発明の第２の実施形態による撮像装置の構成例を示す図である。第１の実施形態においては、複数種類の参照信号を生成するために複数個のランプ発生回路２０８を用いた。本発明の第２の実施形態では、複数種類の参照信号を生成する別の手段として、分圧器２１２を用いて参照信号を生成する。本実施形態（図８）は、第１の実施形態（図２）に対して、分圧器２１２を追加したものである。以下、本実施形態が第１の実施形態と異なる点を説明する。

本実施形態は、分圧器２１２を各列毎に設けることにより、１つのランプ発生回路２０８で、複数種類の異なる参照信号を生成することができる。ランプ発生回路２０８は、各列共通の参照信号を生成し、各列の分圧器２１２に出力する。各列の分圧器２１２は、ランプ発生回路２０８により生成された共通の参照信号を入力し、分圧器コントロール部２１３の傾き制御信号に応じて、複数の異なる傾きの参照信号を生成することができる。分圧器２１２は、例えば、抵抗分割方式により参照信号の傾きを変えることができる。比較器２０４は、分圧器２１２により生成された参照信号と列アンプ２０３の出力信号ＳＩＧとの比較を行う。信号処理部４０１の画素選択方法及びゲイン補正方法は、第１の実施形態と同様である。以上のように、本実施形態は、ランプ発生回路２０８を複数持たなくとも、第１の実施形態と同等の効果を得ることができる。

（第３の実施形態）
図９は、本発明の第１の実施形態による撮像装置の構成例を示す図である。本実施形態（図９）は、第１の実施形態（図４）に対して、画素列９０１及び９０２が異なる。以下、本実施形態が第１の実施形態と異なる点を説明する。第１の実施形態では、Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素が隣り合うように配列されたカラーフィルタを用いた例を説明した。カラーフィルタの配列によっては、信号処理部４０１が選択する画素を、第１の実施形態から変更することが必要になる場合がある。そのような例として、Ｒ、Ｒ、Ｇｒ、Ｇｒ、Ｇｂ、Ｇｂ、Ｂ、Ｂ配列のカラーフィルタを用いた場合を、本発明の第３の実施形態として説明する。以下、本実施形態が第１の実施形態と異なる点を説明する。

図１の複数の画素２０２は、画素列９０１及び９０２に分けられる。各画素２０２には、カラーフィルタが設けられる。画素列９０１は、参照信号ＲＡＭＰ＿Ａを用いてＡＤ変換される画素信号に対応する列の画素領域である。画素列９０２は、参照信号ＲＡＭＰ＿Ｂを用いてＡＤ変換される画素信号に対応する列の画素領域である。図９に示すように、８画素でＲ、Ｒ、Ｇｒ、Ｇｒ、Ｇｂ、Ｇｂ、Ｂ、Ｂと配列させたカラーフィルタを用いた場合において、１行内で最も近隣にある同一色の画素列間で異なる傾きの参照信号を用いる。このようなカラーフィルタを用いたイメージセンサ１１０では、例えば２種類の参照信号を用いた場合、参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを１画素列毎に交互にＡＤ変換に用いる。すなわち、画素列９０１及び９０２毎に、異なる傾きの参照信号ＲＡＭＰ＿Ａ及びＲＡＭＰ＿Ｂを用いる。第１の実施形態では、図４に示すように、信号処理部４０１は、列並列ＡＤ変換部４０４のＡＤ変換結果を選択・合成処理する際に、画素の選択する部分をクロスさせる必要があった。本実施形態では、図９に示すように、隣り合う画素が同色であるため、信号処理部４０１は、列並列ＡＤ変換部４０４のＡＤ変換結果の入れ替えを行わず、隣り合う画素同士間で選択・合成処理を行えばよい。なお、本実施形態は、第２の実施形態に適用することもできる。

以上のように、信号処理部４０１が同色の画素の信号間で行うようにＡＤ変換結果の選択又は合成を行うことにより、カラーフィルタ配列が異なる場合においてもダイナミックレンジ拡大の効果を得ることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０６信号処理部、１０８画像処理部、２０２画素、２０４比較器、２０５カウンタ、２０６信号処理部、４０１信号処理部

Claims

光電変換により信号を生成する第１の画素と、
前記第１の画素に対して同一行に配列され、光電変換により信号を生成する第２の画素と、
前記第１の画素に基づく信号と時間に対してレベルが変化する第１の参照信号とを比較する第１の比較器と、
前記第２の画素に基づく信号と前記第１の参照信号に対して時間に対する変化率が異なる第２の参照信号とを比較する第２の比較器と、
前記第１の比較器が前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第１のカウンタと、
前記第２の比較器が前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第２のカウンタと、
少なくとも前記第１のカウンタのカウント値及び／又は前記第２のカウンタのカウント値を基に１個の画素信号を生成する処理部とを有し、
前記第２の参照信号は、前記第１の参照信号に対して時間に対する変化率が大きく、
前記処理部は、前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転せず、前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転したときには、前記第２のカウンタのカウント値を選択して１個の画素信号を生成することを特徴とする撮像装置。
光電変換により信号を生成する第１の画素と、
前記第１の画素に対して同一行に配列され、光電変換により信号を生成する第２の画素と、
前記第１の画素に基づく信号と時間に対してレベルが変化する第１の参照信号とを比較する第１の比較器と、
前記第２の画素に基づく信号と前記第１の参照信号に対して時間に対する変化率が異なる第２の参照信号とを比較する第２の比較器と、
前記第１の比較器が前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第１のカウンタと、
前記第２の比較器が前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第２のカウンタと、
少なくとも前記第１のカウンタのカウント値及び／又は前記第２のカウンタのカウント値を基に１個の画素信号を生成する処理部とを有し、
前記第２の参照信号は、前記第１の参照信号に対して時間に対する変化率が大きく、
前記処理部は、前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転し、前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転したときには、前記第１のカウンタのカウント値を選択して１個の画素信号を生成することを特徴とする撮像装置。
光電変換により信号を生成する第１の画素と、
前記第１の画素に対して同一行に配列され、光電変換により信号を生成する第２の画素と、
前記第１の画素に基づく信号と時間に対してレベルが変化する第１の参照信号とを比較する第１の比較器と、
前記第２の画素に基づく信号と前記第１の参照信号に対して時間に対する変化率が異なる第２の参照信号とを比較する第２の比較器と、
前記第１の比較器が前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第１のカウンタと、
前記第２の比較器が前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転することを示す信号を出力するまでの間にカウントを行う第２のカウンタと、
少なくとも前記第１のカウンタのカウント値及び／又は前記第２のカウンタのカウント値を基に１個の画素信号を生成する処理部とを有し、
前記処理部は、前記第１の画素に基づく信号と前記第１の参照信号との大小関係が逆転し、前記第２の画素に基づく信号と前記第２の参照信号との大小関係が逆転したときには、前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値を合成して１個の画素信号を生成することを特徴とする撮像装置。
前記処理部は、前記第１の参照信号及び前記第２の参照信号の時間に対する変化率の違いに対応する前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値のゲインの違いを補正することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
前記第２の比較器は、第１のモードでは、前記第２の画素に基づく信号と前記第１の参照信号に対して時間に対する変化率が異なる第２の参照信号とを比較し、第２のモードでは、前記第２の画素に基づく信号と前記第１の参照信号に対して時間に対する変化率が同じ第２の参照信号とを比較することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
前記第１の画素及び前記第２の画素は、同色のカラーフィルタが設けられた２画素であることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
前記第１の画素及び前記第２の画素は、列方向に隣接する同色のカラーフィルタが設けられた２画素であることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。