JP6226551B2

JP6226551B2 - 撮像装置

Info

Publication number: JP6226551B2
Application number: JP2013098892A
Authority: JP
Inventors: 峰雄内田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-08
Filing date: 2013-05-08
Publication date: 2017-11-08
Anticipated expiration: 2033-05-08
Also published as: JP2014220663A; US9848150B2; US20140333816A1

Description

本発明は、撮像装置に関し、特に光電変換によって得られたアナログ信号をデジタル信号に変換するＡＤ変換器を撮像素子内に有するものに関する。

近年のデジタルカメラやデジタルビデオカメラなどの撮像装置では、画素数の増大や連写速度の向上のため、撮像素子から画像信号を高速に読み出す技術が要求されている。高速に読み出される信号を画素毎にアナログ−デジタル変換（ＡＤ変換）する場合、画素データあたりの変換時間は非常に短時間となる。そのため、短時間に高精度な変換を行うことが必要となる。

この課題を解決するため、ＣＭＯＳ集積回路と同様のプロセスで製造できるＣＭＯＳイメージセンサにおいて、画素の列毎にＡＤ変換器を配置し、同時に１行分の画素信号のＡＤ変換を行う、カラムＡＤ変換方式の撮像素子の研究開発がなされている。カラムＡＤ変換方式の撮像素子では、ＡＤ変換器の変換レートを１画素の読出しレートから１行の読出しレートまで落とすことができるため、撮像素子の１画面の読出しレートを高速化し易いという利点がある。

このようなカラムＡＤ変換方式の撮像素子には、特許文献１で示されるようにランプ信号と画素信号を比較器で比較し、比較器の出力が反転するまでの時間を計測するランプ型のＡＤ変換方式を採用したものがある。しかし、このランプ型のＡＤ変換方式は、変換ビット数分だけのクロックをカウントする必要があるため、多ビット化した場合にＡＤ変換時間が大幅に延びるという課題がある。例えば、（Ｎ＋２）ビットのＡＤ変換時間は、Ｎビット変換時の４倍になる。

これを解決する方法として、特許文献２に開示されるように、信号のレベルに応じて、信号振幅とランプ信号振幅の相対的な関係を変更してＡＤ変換を行う方法が考えられる。

特許文献２では、ＮビットのＡＤ変換において、まずアナログ信号の値と、フルスケール振幅を２^Ｋ（ＫはＮより小さい整数）で除算して得た閾値とを比較する。次に、信号を（Ｎ−Ｋ）ビットにＡＤ変換する。そして、信号の値が閾値より大きい場合には、このＡＤ変換の結果をＮビットのデジタルデータのＭＳＢ側の（Ｎ−Ｋ）ビットとするまた、信号の値が閾値以下である場合には、ＮビットのデジタルデータのＬＳＢ側の（Ｎ−Ｋ）ビットとする。これにより、ＡＤ変換時間の増加を抑えつつ多ビット化を実現する。さらに、特許文献２には、２種類の傾きのランプ信号を生成し、信号の値が閾値より大きい場合には傾きの高いランプ信号を使用し、信号の値が閾値以下の場合には傾きの低いランプ信号を使用して変換を行う構成も開示されている。

特開平０５−０４８４６０号公報特開２０１０−４５７８９号公報

しかしながら、特許文献２のように、信号の値と閾値の比較結果に基づいて信号とランプ信号の相対的な大きさを変更する場合、アナログ入力信号に対する最終的な出力データの特性（入出力特性）が閾値を境界にずれることがある。図２２に、入出力特性の例を模式的に示す。Ｖｍは、信号の値と比較して、ＡＤ変換のやり方を切り換えるための閾値である。点線で示すのが理想入出力特性、太い実線で示すのが実際の入出力特性であり、実際の入出力特性が理想入出力特性と一致することが望ましい。特許文献２のような、閾値と信号の値の大小関係に応じてランプ信号を切り替える場合においては、２つのランプ信号の傾きとオフセットの発生により、図２２に示すように、入出力特性に閾値Ｖｍを境界としたずれが発生する可能性がある。

そこで、本発明は、ＡＤ変換モードを選択することで、高速且つ多ビットのＡＤ変換を可能にした撮像装置において、ＡＤ変換モードの入出力特性のずれを、より理想的な入出力特性に近い特性に補正することにより、良好な画質を得ることを目的とする。

本発明の撮像装置は、光を電気信号に変換する画素と、前記画素からの画素信号と参照電圧とを比較する比較手段と、前記比較手段による比較の結果、前記画素信号が前記参照電圧未満である場合に前記画素信号を低輝度変換モードでアナログ−デジタル（ＡＤ）変換し、前記画素信号が前記参照電圧以上である場合に前記画素信号を高輝度変換モードでＡＤ変換するＡＤ変換手段と、前記ＡＤ変換手段の出力データに対して、前記ＡＤ変換により生じるオフセットおよびゲインを補正する補正手段と、を備え、前記補正手段は、前記ＡＤ変換手段が前記画素信号を前記低輝度変換モードでＡＤ変換する場合に前記低輝度変換モード用のオフセット補正値およびゲイン補正値を用いて前記ＡＤ変換手段の出力データのオフセットおよびゲインを補正し、前記ＡＤ変換手段が前記画素信号を前記高輝度変換モードでＡＤ変換する場合に前記高輝度変換モード用のオフセット補正値およびゲイン補正値を用いて前記ＡＤ変換手段の出力データのオフセットおよびゲインを補正することを特徴とする。

本発明によれば、ＡＤ変換モードを選択することで、高速且つ多ビットのＡＤ変換を可能にした撮像装置において、ＡＤ変換モードの入出力特性のずれを、より理想的な入出力特性に近い特性に補正することにより、良好な画質を得ることができる。

本発明の実施形態に係る撮像装置の全体構成本発明の実施形態に係る撮像素子の全体構成本発明の実施形態に係るサンプルホールド回路及びＡＤ変換回路の構成本発明の実施形態に係る信号振幅制御部の構成例本発明の実施形態に係る読出し動作のタイミング本発明の実施形態１に係るＡＤ変換の入出力特性本発明の実施形態１に係るＤＦＥの構成本発明の実施形態に係るＡＤ変換の入出力特性と、オフセット補正値・ゲイン補正値の取得例本発明の実施形態２に係るＡＤ変換の入出力特性本発明の実施形態３に係るサンプルホールド回路及びＡＤ変換回路の構成本発明の実施形態３に係る撮像素子出力の１画素分のデータ本発明の実施形態３に係るＤＦＥの構成本発明の実施形態４に係るサンプルホールド回路及びＡＤ変換回路の構成本発明の実施形態４に係るＡＤ変換の入出力特性本発明の実施形態４に係る撮像素子出力の１画素分のデータ本発明の実施形態４に係るＤＦＥの構成本発明の実施形態５に係るサンプルホールド回路及びＡＤ変換回路の構成本発明の実施形態５に係る撮像素子出力の１画素分のデータ本発明の実施形態５に係るＤＦＥの構成本発明の実施形態に係るＡＤ変換の入出力特性と、オフセット補正値・ゲイン補正値の取得別本発明の実施形態に係るＡＤ変換の入出力特性と、オフセット補正値・ゲイン補正値の取得例ＡＤ変換の入出力特性の従来例

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
本実施形態に係る撮像装置１００の全体構成について図１により説明する。撮像レンズ１０１は、被写体からの光を撮像素子１０２に結像させる。撮像素子１０２は、結像された被写体像の光信号を電気信号に変換するためのものであり、ＣＭＯＳイメージセンサなどが使用される。撮像素子１０２には、アナログ信号（電気信号）をデジタル信号に変換するＡＤ変換部も配されている。

ＤＦＥ（ＤｉｇｉｔａｌＦｒｏｎｔＥｎｄ）１０９は、撮像素子１０２から出力されるデジタル画像信号に対して、補正処理を行う。ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｅｒ）１０３は、ＤＦＥ１０９から出力されるデジタル画像信号に対して各種画像処理や圧縮・伸張処理などを行う。尚、ＤＦＥ１０９で行う補正処理は、ＤＳＰ１０３或いは撮像素子１０２内で行うことも可能であるが、ここでは説明の便宜上、ＤＦＥ１０９が行う構成とする。ＤＳＰ１０３により処理された画像データは記録媒体１０４に記録される。表示部１０５は、撮影した画像や各種メニュー画面などを表示するためのものであり、液晶ディスプレイ（ＬＣＤ）などが使用される。タイミングジェネレータ（ＴＧ）１０６は、撮像素子１０２などに駆動信号を供給する。ＣＰＵ１０７は、ＤＳＰ１０３，ＴＧ１０６の制御を行う。ＲＡＭ１０８は、画像データなどを一時記憶するメモリであり、ＤＳＰ１０３と接続されている。

図２は、撮像素子１０２の全体構成を示す図である。画素領域ＰＡには、i×j個の画素２０１が、行方向及び列方向に複数配置されている。入射した被写体の光信号は、画素２０１で光電変換される。各画素で光電変換された信号は、垂直走査回路２０２から駆動線Ｖ１〜Ｖｊによって供給される駆動信号によって、垂直出力線Ｈ１〜Ｈｉへ１行毎に転送される。

列毎に設けられたＣＤＳアンプ２０３は、光電変換された信号に対してＣＤＳ（相関二重サンプリング）処理をした後に信号を増幅する。画素２０１から垂直出力線に読み出された画素信号は、各列のＣＤＳアンプ２０３に入力され、画素ノイズが除去されると共に所定のゲインが掛けられる。ＣＤＳアンプ２０３の出力は、サンプルホールド回路２０４によって列毎にサンプルホールドされる。サンプルホールド回路２０４でサンプルホールドされた各画素信号は、その後、列毎に設けられたＡＤ変換器（ＡＤＣ）２０５に転送され、ＡＤＣ２０５によりデジタル値の画素データに変換される。各列のＡＤＣ２０５には、画素信号との比較参照に用いるランプ信号がランプ信号発生回路２０６から共通に供給される。また、カウンタ２０７の出力も各列のＡＤＣ２０５に共通に接続される。各ＡＤＣ２０５の変換結果は、データメモリ２０８へ格納され、その後、水平走査回路２０９によって１列ずつ選択／転送され、撮像素子１０２から出力される。

次に、図３を用いて、各列のサンプルホールド回路２０４およびＮビットのＡＤＣ２０５の構成の一例について説明する。この例では、画素信号のレベルが閾値（参照電圧）Ｖｍ未満の低輝度の場合と閾値（参照電圧）Ｖｍ以上の高輝度の場合とで分けてＡＤ変換を行うことにより、ＡＤ変換に要する時間が長くなることを防いでいる。

サンプルホールド回路２０４は、第１の信号転送スイッチ３０１と第１の記憶容量３０２とから構成される。サンプルホールド回路２０４に入力された画素信号は、第１の信号転送スイッチ３０１を介して第１の記憶容量３０２にホールドされる。第１の記憶容量３０２は、バッファ３０３を経由して振幅制御部３０４に接続されると共に、第１の比較器３０５にも接続されている。第１の比較器３０５では、第１の記憶容量３０２の信号が参照電圧Ｖｍと比較され、その比較結果はフリップフロップ（ＦＦ）３０６を経由して信号振幅制御部３０４に伝達される。ＦＦ３０６は、データ入力端子に第１の比較器３０５の出力が接続され、信号ｃｋ１の立ち上がりでデータを取り込み保持し、信号ｒｅｓ＿ｌによってリセットされる。参照電圧Ｖｍは、ここではＡＤ変換のフルスケール振幅の１／４に相当する電圧とする。

信号振幅制御部３０４は、ＦＦ３０６から入力される比較結果に基づいて、画素信号の振幅を制御する。具体的には、画素信号が参照電圧Ｖｍ未満である場合は振幅をそのまま（１倍）出力し、画素信号が参照電圧Ｖｍ以上である場合は振幅を１／４倍して出力する。信号振幅制御部３０４の出力は、第２の比較器３０７の入力端子に接続される。

ここで、信号振幅制御部３０４について図４の例により説明する。まず、バッファ３０３から信号振幅制御部３０４に入力される画素信号は、第２の信号転送スイッチ４０１を介して、第２の記憶容量４０２及び第３の記憶容量４０３に記憶される。第２の記憶容量４０２と第３の記憶容量４０３は直列に接続されている。第２の記憶容量４０２と第３の記憶容量４０３には、それぞれの容量の両端を短絡する第１の短絡スイッチ４０４及び第２の短絡スイッチ４０５がそれぞれ接続されている。

画素信号が参照電圧Ｖｍ以上である場合には、第１の比較器３０５の出力がＨｉｇｈレベルになり、信号ｃｋ１のタイミングでＦＦ３０６の出力もＨｉｇｈレベルとなるため、ＯＲゲート４０６を介して第２の短絡スイッチ４０５が短絡される。この短絡動作によって記憶容量が変化するので、画素信号の振幅が変わる。この例では、第２の記憶容量４０２の容量値を第３の記憶容量４０３の３倍にしているため、第２の短絡スイッチ４０５をショートした場合のＡ点の電位は、元の画素信号の電位の１／４倍になる。

図３に戻り、第２の比較器３０７では、振幅制御後の画素信号とランプ信号のレベルが比較される。第２の比較器３０７の出力は、ラッチ回路３０８へ入力されている。ラッチ回路３０８には、カウンタ２０７のカウントデータも入力されている。ランプ信号が画素信号のレベルを超え、第２の比較器３０７の出力が反転すると、そのときのカウンタ値がラッチ回路３０８に保持される。ＡＤＣ２０５がＮビットを出力する場合、この例では、カウンタは最大（Ｎ−２）ビット分のカウントを行えばよい。ラッチ回路３０８に保持されたカウントデータは、ビット拡張部３０９及び３１０において上位或いは下位に所定のビットが付加される。Ｎビットの出力に対して（Ｎ−２）ビットまでカウントする場合は、２ビットの‘０’が上位又は下位に付加されてＮビットのデータとして出力される。続いて、出力データ選択部３１１において、ＦＦ３０６の出力に応じて、一方のデータが選択されてデータメモリ２０８へ出力される。

以下、説明の便宜上、画素信号が参照電圧Ｖｍ未満である場合のＡＤ変換を低輝度変換モード、参照Ｖｍ以上である場合のＡＤ変換を高輝度変換モードと称することとする。この例では、画素信号を低輝度と高輝度に分けて、高輝度の電圧を１／４にして（Ｎ−２）ビットまでのカウントを行なって、Ｎビットに変換して出力するので、ＡＤ変換にかかる時間が延びることを防げる。

次に、撮像素子１０２の動作タイミングについて、図５の撮像素子１０２の動作を示すタイミングチャートを用いて説明する。ｋ行目の画素の読出し動作期間において、信号ｔｓ１がＨｉｇｈレベルとなり、第１の記憶容量３０２にｋ行目の各画素の画素信号が記憶される。信号ｔｓ１をＬｏｗレベルとした後、信号ｔｓ２をＨｉｇｈレベルにすることにより第２の信号転送スイッチ４０１をＯＮにして、第１の記憶容量３０２の信号をバッファ３０３を介して第２の記憶容量４０２及び第３の記憶容量４０３へ転送する。

信号ｔｓ２をＬｏｗレベルにして第２の信号転送スイッチ４０１をＯＦＦにした後、信号ｃｋ１にパルスを入力し、画素信号と参照電圧Ｖｍとの比較結果である第１の比較器３０５の出力値をＦＦ３０６に取り込み保持する。ＦＦ３０６の出力はＯＲゲート４０６に入力され、これによって信号振幅制御部３０４で信号振幅が変更される。その後、ランプ信号発生回路２０６によってランプ信号を発生し、ｋ行目の画素信号のＡＤ変換動作を行われる。また、ｋ行目の画素信号のＡＤ変換動作を行うタイミングでｋ＋１行目の読出し動作が並行して行われて、ｋ＋１行目の画素信号が第１の記憶容量３０２へ転送される。

ｋ行目の画素信号のＡＤ変換動作が終了すると、ＡＤ変換後のデジタルデータがデータメモリ２０８へ転送され、その後に水平走査回路２０９により撮像素子１０２からｋ行目のデータが順次出力される。データメモリへのデータ転送後、信号ｒｅｓ＿ｌ及びｒｅｓ＿ｃがＨｉｇｈレベルにされることにより、ＦＦ３０６と第２の記憶容量４０２及び第３の記憶容量４０３はリセットされて次の行の変換に備える。

図６は、アナログ入力信号である画素信号とデータメモリ２０８へ出力される時点でのＮビットのデジタルデータであるＡＤ変換出力との関係、つまりＡＤＣ２０５の入出力特性を模式的に示す図である。参照電圧Ｖｍは、理想的にはＡＤ変換されて出力コードが４０９６ＬＳＢになるものとする。理想的な入出力特性が得られる場合、点線で示すように入力信号が参照電圧Ｖｍと一致する場合には出力コードは４０９６ＬＳＢとなり、入力信号が参照電圧Ｖｍ以上の入出力特性とＶｍ未満の入出力特性は直線状に繋がる。しかし、実際には信号振幅制御部３０４の記憶容量のばらつきや短絡スイッチの特性などによって、低輝度の場合と高輝度の場合でランプ信号振幅と画素信号振幅の相対関係が想定とずれることがある。この場合には、実線で示すように理想的な入出力特性とずれてしまい、参照電圧Ｖｍを境界に入出力特性に段差や傾きの違いが生じることになる。

この入出力特性のずれを補正するＤＦＥ１０９のリニアリティ補正部５００について、図７を用いて説明する。比較部５０１は、入力された画像信号の画素データを画素毎に第１の基準値（ＴＨ）と比較する。ここでは、第１の基準値ＴＨの値は、理想入出力特性において参照電圧Ｖｍのデジタル変換値に相当する４０９６ＬＳＢとする。オフセット補正値選択部５０２は、比較部５０１の出力に基づいて、高輝度変換モードのオフセット補正値と低輝度変換モードのオフセット補正値のいずれか一方を選択する。オフセット補正値は、低輝度の場合及び高輝度の場合の各ＡＤ変換の入出力特性において、信号振幅制御部３０４の記憶容量のばらつき等による参照電圧Ｖｍを境界とする入出力特性の段差による理想的な入出力特性からのずれを補正する。補正値の求め方は後述する。

比較部５０１の出力が‘１’の場合、即ち画像信号が第１の基準値ＴＨ以上である場合、高輝度変換モードのオフセット補正値が選択される。逆に比較部５０１の出力が‘０’の場合、即ち画像信号が第１の基準値ＴＨ未満である場合、低輝度変換モードのオフセット補正値が選択される。それぞれのオフセット補正値は、撮像素子１０２の列毎（列毎に配されたＡＤＣ２０５毎）に個別の値を設定することができる。つまり、低輝度変換モードのオフセット補正値と高輝度変換モードのオフセット補正値は、それぞれ撮像素子１０２の列数分のデータとなる。加算部５０３には、画像信号とオフセット補正値選択部５０２で選択された補正値が入力され、画像信号に対するオフセット補正が行われる。

また、比較部５０１の出力はゲイン補正値選択部５０４にも伝達される。ゲイン補正値は、信号振幅制御部３０４の記憶容量のばらつき等による入出力特性の傾きを補正するための値である。ゲイン補正値選択部５０４は、比較部５０１の出力に基づいて、高輝度変換モードのゲイン補正値と低輝度変換モードのゲイン補正値のいずれか一方を選択する。

比較部５０１の出力が‘１’の場合、即ち画像信号が第１の基準値ＴＨ以上である場合、高輝度変換モードのゲイン補正値が選択される。逆に比較部５０１の出力が‘０’の場合、即ち画像信号が第１の基準値ＴＨ未満である場合、低輝度変換モードのゲイン補正値が選択される。それぞれのゲイン補正値は、撮像素子１０２の列毎（列毎に配されたＡＤＣ２０５毎）に個別の値を設定することができる。つまり、低輝度変換モードのゲイン補正値と高輝度変換モードのゲイン補正値は、それぞれ撮像素子１０２の列数分のデータとなる。乗算部５０５には、加算部５０３でオフセット補正が行われた結果の画像信号と、ゲイン補正値選択部５０４で選択されたゲイン補正値が入力され、画像信号に対するゲイン補正が行われる。乗算部５０５でゲイン補正された結果は、後段（ＤＳＰ１０３）へ出力される。なお、ここでは、オフセット補正値及びゲイン補正値を列毎に個別の値とする構成で説明しているが、列毎のＡＤ変換特性が一致していればこれらの補正値を複数列で共通のものとしてもよい。

また、オフセット補正値及びゲイン補正値は、予め設定しておくことが可能である。この値は、工場での生産工程において取得することも可能である。例えば、図８に示すように、参照電圧Ｖｍより画素信号の信号レベルが低い少なくとも２つの既知の露光条件で基準画像を撮像して、２点からＡＤＣ２０５の入出力特性を求めて、低輝度変換モードのオフセット補正値及びゲイン補正値を算出する。同様に、参照電圧Ｖｍより画素信号の信号レベルが高い少なくとも２つの露光条件で撮像した基準画像から高輝度変換モードのオフセット補正値及びゲイン補正値を算出する。なお、図８では、各々２点から補正値を算出するものとして記載しているが、これに限られるものでない。３点以上の条件で画像を取得して、最小二乗法などの手法によってそれぞれの補正値を算出するようにしても構わない。また、補正精度は低下するが、低輝度変換モード・高輝度変換モードで各々１点のみの条件で取得した画像から補正値を算出するようにしても構わない。

以上の構成により、ＡＤＣ２０５の入出力特性は理想的な入出力特性に近い形に補正され、補正後の画像としては良好な画質を得ることが可能となる。

［実施形態２］
実施形態１においては第１の基準値ＴＨを、参照電圧Ｖｍのデジタル変換値に相当するＴＨ＝４０９６ＬＳＢであるものとして説明した。しかし、図６に示すようなＡＤ変換の入出力特性を持つ場合、４０９６ＬＳＢ以上の値であるにもかかわらず低輝度変換モードで変換されたデータや、４０９６ＬＳＢ未満の値を持つにもかかわらず高輝度変換モードで変換されたデータが出力される可能性がある。このため、実施形態１のようにＴＨ＝４０９６ＬＳＢを閾値にして補正する場合、実際には低輝度変換モードで変換された画素データにも関わらず４０９６ＬＳＢを超えているので、高輝度変換モード用の補正値で補正される可能性がある。また、高輝度変換モードで変換された画素データにも関わらず低輝度変換モード用の補正値で補正される可能性がある。このように誤った補正値で補正された場合には、補正分がノイズとなるため第１の基準値ＴＨ（４０９６）付近のレベルで画質が劣化することがある。高画質を求める上ではこうした画質劣化はないのが望ましい。以下、本実施形態を説明するが、実施形態１と重複する部分についての説明は省略する。

本実施形態では、図６のように低輝度変換モードと高輝度変換モードの結果に重複部分が発生して同じデジタル値を出力するようなことを避けることにより、全ての画素信号に対して正しい補正が実行されるよう構成する。

図９に本実施形態におけるＡＤＣ２０５の入出力特性を示す。低輝度変換モードでＶｍ近傍のレベルを変換した際には、ＡＤＣ２０５の出力値は第１の基準値（ＴＨ）より低い第２の基準値（ＴＨＡ）以下となるようにＡＤ変換する。また、高輝度変換モードで参照電圧Ｖｍ近傍のレベルを変換した際には、ＡＤＣ２０５の出力値が第１の基準値ＴＨより高い第３の基準値（ＴＨＢ）以上となるようにＡＤ変換を行う。つまり、ＡＤ変換モードが違ったときに、ＡＤＣ２０５の入出力特性の第１の基準値ＴＨ付近において出力値のクロス状態が発生しない部分（以下、ミスコード帯）を設けるようにする。これによって、製造時のばらつきでゲインやオフセットが多少ずれても低輝度変換モードでの変換結果が第１の基準値ＴＨを超えないように、また高輝度変換モードでの変換結果が第１の基準値ＴＨを下回らないようにすることができる。

このようなミスコード帯が存在するような入出力特性は、例えばＣＤＳアンプ２０３のゲインを下げ、信号振幅制御部３０４における振幅変更量を小さくする（例えば１／３．８倍など）ことで高輝度モードでの画素信号を大きくして実現できる。信号振幅制御部３０４の振幅変更量は、第２の記憶容量４０２の容量値を第３の記憶容量の容量比を変えることによって変更することができる。

特許文献２のように複数のランプ信号を持つ構成の場合は、それぞれのランプ信号の傾きとオフセット（スタート点）を調整することによって、同様に第１の基準値ＴＨ付近にミスコード帯を持つ入出力特性を実現することができる。

以上のように、第１の基準値ＴＨを境界に、使用する補正値を切り換えても低輝度と高輝度との間にミスコード帯を設けることにより、変換後の値がクロスしないので、誤った補正を防ぐことができ、良好な画質が実現できる。

［実施形態３］
実施形態２において、誤った補正の発生を防ぐ構成について説明した。しかしながら、実施形態２の方法は、入出力特性に図９に示すようなミスコード帯を設けるため、その分のビットが使えないために、信号のダイナミックレンジが僅かながら損なわれる。本実施形態では、オフセット及びゲインの補正を行うＤＦＥ１０９へＡＤ変換モードの情報を伝達することによって、ダイナミックレンジを犠牲にしない方法について説明する。

本実施形態におけるＡＤＣ２０５の動作について図１０により説明する。ＡＤＣ２０５は、データメモリ２０８へＮビットの画素データを出力すると共に、ＦＦ３０６の出力を１ビットの情報として、データメモリ２０８へ出力する。この１ビットの情報は、当該画素が低輝度変換モードと高輝度変換モードのいずれのモードで変換されたかを示すモード情報となる。

本実施形態において撮像素子１０２から出力される１画素分のデータについて、図１１を用いて説明する。撮像素子１０２からは、画素毎にＮビットの画素データと１ビットのモード情報が出力される。ＤＦＥ１０９においては、このモード情報に基づいて、各画素のデータに対して補正処理を行う。

本実施形態におけるリニアリティ補正を行うＤＦＥ１０９の構成例を図１２に示す。ＤＦＥ１０９に画素データと共に入力されたモード情報は、オフセット補正値選択部５０２及びゲイン補正値選択部５０４の選択信号となる。これによって、各画素のデータは、それぞれの変換モードに応じて誤補正されることなく正しく補正される。ミスコード帯を作る必要がないからダイナミックレンジを有効に使用することが可能となる。

［実施形態４］
実施形態３の構成では、撮像素子１０２からＤＦＥ１０９へ出力するデータが、（Ｎ＋１）ビット（すなわち画素データＮビット＋モード情報１ビット）になるため、データ伝送レートは１ビット分だけ高速化する。そこで、本実施形態では、撮像素子１０２から出力するデータ量を極力小さくし、データ伝送レートを低減する構成について説明する。

本実施形態における撮像素子１０２の各列のサンプルホールド回路２０４、ＡＤＣ２０５の構成例を図１３を用いて説明する。下位ビット置換部３１２では、ビット拡張部３０９から出力される画素データの下位１ビットを０に置換する。また、下位ビット置換部３１３では、ビット拡張部３１０から出力される画素データの下位１ビットを１に置換する。また、ビット拡張部３０９，３１０の出力は、それぞれ比較器３１６，３１７にも接続される。比較器３１６では、画素データと第２の基準値ＴＨＡを比較し、画素データが第２の基準値ＴＨＡ以上であれば‘１’を、逆に第２の基準値ＴＨＡ未満であれば‘０’を低輝度側データ選択部３１４に出力する。比較器３１７では、画素データと第３の基準値ＴＨＢを比較し、画素データが第３の基準値ＴＨＢ以上であれば‘１’を、逆に第３の基準値ＴＨＢ未満であれば‘０’を高輝度側データ選択部３１５に出力する。

第２の基準値ＴＨＡは、図１４に示すように第１の基準値ＴＨ（４０９６）よりも低いレベル（ＴＨＡ＜ＴＨ）に設定する。また、第３の基準値ＴＨＢは、第１の基準値ＴＨよりも高いレベル（ＴＨＢ＞ＴＨ）に設定する。この時、第２の基準値ＴＨＡ未満であれば必ず低輝度変換モードで変換された信号であり、第３の基準値ＴＨＢ以上であれば必ず高輝度変換モードで変換された信号であるように、第２の基準値ＴＨＡと第３の基準値ＴＨＢのレベルを設定する。また、第２の基準値ＴＨＡ以上であり第３の基準値ＴＨＢ未満である領域は、ビット拡張部３０９，３１０の出力の時点では同じ出力値でも低輝度変換モードで変換されたものと高輝度変換されたものが混在する可能性がある。この領域を以下の説明において便宜上「混在領域」と称することにする。混在領域は図１４に示すように入出力特性のクロス状態を含むようにされている。

図１３に戻り、低輝度側データ選択部３１４では、比較器３１６の出力に応じて、ビット拡張部３０９の出力と下位ビット置換部３１２の出力のいずれか一方を選択して出力する。同様に、高輝度側データ選択部３１５では、比較器３１７の出力に応じて、ビット拡張部３１０の出力と下位ビット置換部３１２の出力のいずれか一方を選択して出力する。続く出力データ選択部３１１では、ＦＦ３０６からの出力に応じて、低輝度側データ選択部３１４の出力と高輝度側データ選択部３１５の出力のいずれか一方を選択してデータメモリ２０８へ出力する。

本実施形態において撮像素子１０２から出力される１画素分のデータについて、図１５を用いて説明する。（１）、（２）は低輝度変換モードで変換された画素のデータ、（３）、（４）は高輝度変換モードで変換された画素のデータである。また、（２）、（３）は混在領域の画素データである。いずれの場合においても、撮像素子１０２からはＮビットのデータが画素毎に出力されるが、混在領域では、最下位の１ビットがモード情報で置き換えられる。ＤＦＥ１０９は、このモード情報に基づいて、各画素のデータに対して補正処理を行う。

本実施形態におけるリニアリティ補正を行うＤＦＥ１０９について、図１６を用いて説明する。比較部５１１は、画像信号を第３の基準値ＴＨＢと比較し、画像信号が第３の基準値ＴＨＢ以上であれば‘１’を、第３の基準値ＴＨＢ未満であれば‘０’を出力する。比較部５１２は、画像信号を第２の基準値ＴＨＡと比較し、画像信号が第２の基準値ＴＨＡ以上であれば‘１’を、第２の基準値ＴＨＡ未満であれば‘０’を出力する。ＡＮＤゲート５１３の入力には比較部５１２の出力と画像信号の最下位１ビットとが接続され、その出力はＯＲゲート５１４の一方の入力に接続されている。ＯＲゲート５１４の他方の入力には、比較部５１１の出力が接続されている。これにより、ＯＲゲート５１４の出力は、画像信号が第３の基準値ＴＨＢ以上である場合か、または画像信号が第２の基準値ＴＨＡ以上、第３の基準値ＴＨＢ未満で画像信号の最下位１ビットが‘１’である場合に‘１’となる。つまり高輝度モードで変換が行われている場合はＯＲゲート５１４の出力は‘１’になる。低輝度モードで変換が行われると比較部５１１とＡＮＤゲート５１３の出力は共に‘０’になるので、ＯＲゲート５１４からは‘０’が出力される。

オフセット補正値選択部５０２及びゲイン補正値選択部５０４ではＯＲゲート５１４の出力に応じて、それぞれの補正値を選択する。この例では混在領域においても低輝度変換モードのときは低輝度モードの補正値が選択でき、高輝度変換モードのときは高輝度モードの補正値が選択できる。

以上の構成により、撮像素子１０２の出力データを増やさずに、ダイナミックレンジも犠牲にしないでかつデータ伝送レートを上げずに各画素のデータを変換モードに応じて正しく補正することができる。なお、本実施形態の構成では画素データの最下位１ビットをモード情報で置き換えるため、混在領域では信号の分解能が１ビット減り、量子化ノイズが増える可能性がある。しかし、混在領域は低輝度変換モードと高輝度変換モードの境界付近であって、比較的光信号成分が多い領域であるため、光ショットノイズが支配的なので、量子化ノイズの画質への影響は少ない。

［実施形態５］
実施形態３の構成では、撮像素子１０２からＤＦＥ１０９へ出力するデータが、（Ｎ＋１）ビット（画素データＮビット＋モード情報１ビット）となるため、データ伝送レートは高速化する傾向となる。そこで、本実施形態でも、撮像素子１０２から出力するデータ量を小さくし、データ伝送レートを低減する構成について図１７により説明する。ＡＤＣ２０５からは、ＦＦ３０６からの１ビットのモード情報と共に、ラッチ回路３０８に保持された（Ｎ−２）ビットのカウント結果がデータメモリ２０８へそのまま出力される。この結果、撮像素子１０２からは、図１８に示すように（Ｎ−２）ビットの画素データ（カウント結果）と、１ビットのモード情報の計（Ｎ−１）ビットのデータが画素毎に出力される。ＤＥＦ１０９は撮像素子からの（Ｎ−１）ビットのデータから（Ｎ−２）ビットの画素データと１ビットのモード情報を分離する。（Ｎ−２）ビットの画素データにはＤＦＥ１０９において所定数のビットが付加されＮビットのデータに拡張される。本実施形態におけるＤＦＥ１０９の主要な構成を図１９に示す。拡張部５２１及び５２２は、図３のビット拡張部３０９及び３１０と同様のビット拡張部であり、それぞれ画像信号入力の上位或いは下位に２ビットの‘０’を付加する。出力データ選択部５２３は、図３の出力データ選択部３１１と同様に、モード情報に応じてビット拡張部５０６，５０７の出力の一方を選択して加算部５０３へ画素データを出力する。この時点で、（Ｎ−２）ビットの画素データはＤＦＥ１０９において、Ｎビットに拡張されて出力される。それ以降の処理については、他の実施形態で説明したものと同じであるので、説明を省略する。

以上の構成によれば、撮像素子１０２から出力するデータ量を画像データ（Ｎ−２）ビット＋モード情報１ビットの計（Ｎ−１）ビットに抑えることができ、データ伝送レートを低減することができる。また、撮像素子１０２のデータメモリ２０８からＤＦＥ１０９までの間の回路規模も抑制することができる。

更に、本実施形態に、実施形態４に記載したような混在領域の画素データの最下位１ビットをモード情報に置き換える方法を組み合わせて、撮像素子１０２から出力される１画素あたりのデータを（Ｎ−２）ビットに抑制することも可能である。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、種々の変形及び変更が可能である。

図８に示すオフセット補正値とゲイン補正値の取得方法では、低輝度変換モードは参照電圧Ｖｍ未満の複数点から、高輝度変換モードは参照電圧Ｖｍ以上の複数点からそれぞれの補正値を判定して求めるようにしている。しかし、補正値の取得方法はこれに限られるものでなく、例えば図２０に示すように各々の変換モードの測定点がそれぞれ参照電圧Ｖｍ未満の点と参照電圧Ｖｍ以上の点を含むようにしてもよい。その場合にはより幅広い信号範囲から補正値を判定することができるため各測定点の測定誤差の影響を受けにくく、補正値算出精度の向上が期待できる。場合によっては、高輝度変換モード／低輝度変換モードのいずか一方のみが、測定点に参照電圧Ｖｍ未満のレベルと参照電圧Ｖｍ以上のレベルを含むようにしても構わない。

また、モード毎の測定誤差軽減のため、図２１に示すように各々のモードの測定に同じアナログ入力電圧を使うようにしてもよい。この場合、モード毎に測定に使う電圧が異なることによって発生する誤差を抑制することが可能である。

また、オフセット補正値やゲイン補正値の取得は、撮像装置の電源起動時や実際の撮像時の撮像操作に応じて行うようにすることも可能である。その場合には、補正値取得のために撮像素子１０２の画素２０１以降の何処かに画素信号の代わりに測定用の擬似信号レベルを入力してＡＤ変換の入出力特性を測定して行う。

上述の実施形態では、画素信号の振幅を変更することにより低輝度変換モードと高輝度変換モードを切り換える場合のＡＤ変換時の入出力特性の補正について説明した。しかし、特許文献２のようにランプ信号の傾きを変更することにより変換モードの切替えを行う構成に対しても、補正値を測定して求めることにより本実施形態に例示するようにＡＤ変換の入出力特性の補正を行うことが可能である。

また、上述の実施形態では最終的なデジタルデータの出力値をＮ＝１４ビットとして説明しているが、これに限られるものではなく、システムに応じて好適なビット数で構成して構わない。カウンタのビット幅や参照電圧についてもＡＤ変換速度や量子化誤差を考慮した好適なビット数や電圧により構成して構わない。

上述の実施形態では、ビット拡張部において上位或いは下位に‘０’を付加してビット拡張を行う構成としたが、ビットの拡張方法はこれに限られるものではない。下位に付加するビットについては‘０’だけでなく‘１’が含まれていても構わない。また、ランダムなデータを発生する回路をビット拡張部に配し、下位にはこのランダムデータを付加するようにしても構わない。また、ビット拡張部の構成を上位或いは下位にビットを付加する構成としているが、乗算器で構成しても構わない。例えば、閾値Ｖｍをフルスケール振幅の１／３とした場合、画素信号が閾値Ｖｍ以上である場合には振幅制御部で振幅を１／３にし、ビット拡張部に乗算器を設けて３倍を掛けるようにすることもできる。

Claims

光を電気信号に変換する画素と、
前記画素からの画素信号と参照電圧とを比較する比較手段と、
前記比較手段による比較の結果、
前記画素信号が前記参照電圧未満である場合に前記画素信号を低輝度変換モードでアナログ−デジタル（ＡＤ）変換し、前記画素信号が前記参照電圧以上である場合に前記画素信号を高輝度変換モードでＡＤ変換するＡＤ変換手段と、
前記ＡＤ変換手段の出力データに対して、前記ＡＤ変換により生じるオフセットおよびゲインを補正する補正手段と、を備え、
前記補正手段は、前記ＡＤ変換手段が前記画素信号を前記低輝度変換モードでＡＤ変換する場合に前記低輝度変換モード用のオフセット補正値およびゲイン補正値を用いて前記ＡＤ変換手段の出力データのオフセットおよびゲインを補正し、前記ＡＤ変換手段が前記画素信号を前記高輝度変換モードでＡＤ変換する場合に前記高輝度変換モード用のオフセット補正値およびゲイン補正値を用いて前記ＡＤ変換手段の出力データのオフセットおよびゲインを補正することを特徴とする撮像装置。
前記画素が行方向及び列方向に複数配置され、前記ＡＤ変換手段が列毎に配置されることを特徴とする請求項１に記載の撮像装置。
前記オフセット補正値および前記ゲイン補正値は、前記列毎に異なることを特徴とする請求項２に記載の撮像装置。
前記オフセット補正値および前記ゲイン補正値は、前記画素の複数列で共通であることを特徴とする請求項２に記載の撮像装置。
前記ＡＤ変換手段の出力データのビット数を所定数に拡張するビット拡張手段をさらに備え、
前記ビット拡張手段は、前記ＡＤ変換手段の出力データの上位又は下位にビットを付加して前記ＡＤ変換手段の出力データのビット数を前記所定数に拡張することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記補正手段は、前記ＡＤ変換手段の出力データと第１の基準値との比較結果に応じて前記低輝度用のオフセット補正値およびゲイン補正値と前記高輝度用のオフセット補正値およびゲイン補正値のいずれかを選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記画素信号が前記参照電圧未満の場合に前記ＡＤ変換手段の出力データが前記第１の基準値未満となり、且つ前記画素信号が前記参照電圧以上の場合に前記ＡＤ変換手段の出力データが前記第１の基準値を超える値となることを特徴とする請求項６に記載の撮像装置。
前記ＡＤ変換手段は、変換モードの情報を前記出力データと共に出力することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記ＡＤ変換手段は、前記出力データが第２の基準値未満の第３の基準値以上で且つ前記第２の基準値を超える第４の基準値未満である場合に、前記出力データの最下位１ビットを前記変換モードの情報で置き換えて出力することを特徴とする請求項８に記載の撮像装置。
前記補正手段は、前記変換モードの情報に基づいてオフセット補正値およびゲイン補正値の少なくともいずれか一方を変更することを特徴とする請求項８又は９に記載の撮像装置。
前記低輝度変換モード用のオフセット補正値およびゲイン補正値と前記高輝度変換モード用のオフセット補正値およびゲイン補正値は、あらかじめ撮像装置に設定されていることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。