JP4827627B2 - 撮像装置及びその処理方法 - Google Patents

Description

本発明は、撮像装置及びその処理方法に関する。

ＣＭＯＳイメージセンサにおいて、センサからの信号を高速に読み出すために、列に並列にＡＤ（アナログデジタル）変換器を有するものがある。以後、列に並列に配列されるＡＤ変換器を略してカラムＡＤＣと呼ぶ。

図１５は、ＡＤ変換器の入出力特性を模式的に表した図である。増幅時のアナログ回路の精度が理想通りの場合は、１５０１に示すような直線を示すが、点線のように理想からずれてしまう場合は１５０２のように、どのようなアナログデータが入力されても現れないデジタルコード（ミスコード）が生じてしまう。

その課題に対する先行技術の一例として、特許文献１は、イメージセンサの各列毎に巡回型ＡＤ変換器を有し、巡回型ＡＤ変換器に用いる容量のバラツキによる誤差を低減するため、２回ＡＤ変換を行う。特許文献１では、回路に用いられている容量を入れ替えながら２回ＡＤ変換を行い、それらをレジスタに保持した後に平均化して出力する。

また、特許文献２には、複数のＡ／Ｄ変換器を有する撮像装置において、Ａ／Ｄ変換器の出力信号を、基準信号を発生する基準信号発生手段を用い、Ａ／Ｄ変換器の出力信号を基準信号発生手段の基準信号に合わせて補正する技術が開示されている。

特開２００６−０２５１８９号公報 特開２００５−２１０４８０号公報

しかしながら、特許文献１に示したような手法による補正には、問題が３つ存在する。１つ目は、必ずＡＤ変換を２回する必要があるので、原理的に変換速度が１／２に低下するという点である。高速シャッターを要求するデジタルカメラアプリケーションや、動画アプリケーションにおいて、この問題は致命的となる。

２つ目の問題は、回路の接続を切り替えるために、余分な配線、容量、スイッチ等を配置しなくてはならないということである。カラムＡＤＣはイメージセンサの画素とほぼ同等か、多くてもその数倍の幅でレイアウトしなくてはならず、配線、容量、スイッチなどの増加は、画素サイズ縮小の阻害要因や、もしくは特性劣化の原因となりうる。

３つ目の問題は、補正が完全ではない、という点である。図１６は、その原理を説明するためのアナログ入力とデジタル出力の関係を示すグラフである。１６０１の一点鎖線で示したアナログ−デジタル変換特性、及び１６０２の破線で示したアナログ−デジタル変換特性の２回の変換により、その平均をとることで、１６０３の実線のような理想的なアナログ−デジタル変換特性を得ることを行っている。

例えば、１６０４の点Ａにおいては、同一のアナログ値に対し、２度の変換で、２度とも理想からずれた１６０５及び１６０６のような変換結果が得られるが、それらを平均することで１６０７のような理想の特性を得ることができる。ただし、１６０８の点Ｂのような、デジタル出力の不連続が大きいところに相当するアナログ値が入った場合、１６０９及び１６１０のような２回の変換結果が得られれば理想の特性となる。しかし、画素や読み出し回路のランダムノイズなどによる外乱によって、１６１０の代わりに１６１１のような変換結果が得られてしまうと、平均しても理想の特性とは一致せず、補正誤りとなる。

また特許文献２においては、Ａ／Ｄ変換器１つあたりに補正手段が１つ必要である。いわゆるルックアップテーブルを用いているが、そのルックアップテーブルはＡ／Ｄ変換器ごとに異なるため、複数のＡ／Ｄ変換器に対して共通化することができない。

画素が２次元状に配されたセンサは、最終的には複数の信号線からの出力をマルチプレクス、もしくはシリアル化して出力するのが通常である。特に、カラムＡＤＣのように、多数のＡ／Ｄ変換器を有するような場合には、本補正回路を出力がマルチプレクスされる前段にＡ／Ｄ変換器ごとに設けることとなり、Ａ／Ｄ変換器の数が増えるにしたがって実現するのが困難となる。特に、光電変換素子を含む画素が複数配された画素領域とＡ／Ｄ変換器を含む読み出し部を、同一の半導体基板上に配した場合には、素子のレイアウトの制約も厳しく、補正回路の増加による、回路規模の極端な増加は特に問題となる場合がある。

本発明は、上記の問題のうち少なくとも１つを解決するためになされるものであり、１度のＡＤ変換のデータで完全に補正できること、余分なスイッチやアナログ素子等を極力不要とすること、及び／又は補正誤りを防止することを目的とする。

本発明の撮像装置は、２回以上のステップに分けて上位ビットのデジタル信号から変換結果を確定させるアナログデジタル変換器を複数有するイメージセンサと、前記アナログデジタル変換器の非直線性誤差を補正するための複数の補正係数ベクトルを前記複数のアナログデジタル変換器に対応して有し、各アナログデジタル変換器に対応した複数の補正係数ベクトルを基に、前記各アナログデジタル変換器から出力されるデジタル信号の非直線性誤差を補正する第１の補正手段とを有し、前記第１の補正手段は、前記複数のアナログデジタル変換器からの前記デジタル信号をシリアル出力に変換した後に、前記変換した後のデジタル信号と前記複数の補正係数ベクトルとの演算により、前記非直線性誤差の補正を行うことを特徴とする。

また、本発明の撮像装置の処理方法は、２回以上のステップに分けて上位ビットのデジタル信号から変換結果を確定させるアナログデジタル変換器を複数有するイメージセンサを有する撮像装置の処理方法であって、前記アナログデジタル変換器の非直線性誤差を補正するための複数の補正係数ベクトルを前記複数のアナログデジタル変換器に対応して有し、各アナログデジタル変換器に対応した複数の補正係数ベクトルを基に、前記各アナログデジタル変換器から出力されるデジタル信号の非直線性誤差を補正する第１の補正ステップを有し、前記第１の補正ステップでは、前記複数のアナログデジタル変換器からの前記デジタル信号をシリアル出力に変換した後に、前記変換した後のデジタル信号と前記複数の補正係数ベクトルとの演算により、前記非直線性誤差の補正を行うことを特徴とする。

イメージセンサの出力デジタル信号に対して補正することにより、２回のアナログデジタル変換結果を用いる場合に比べ、高速に補正を行うことができる。また、２回のアナログデジタル変換を行うための回路の接続を切り替える必要がないので、余分なスイッチ又はアナログ素子等を極力不要とすることができる。また、補正誤りを防止し、適切な補正を行うことができる。

（第１の実施形態）
図１及び図２は、本発明の第１の実施形態を説明するための図である。図１（ａ）は、カラムＡＤＣに用いる巡回型ＡＤＣ（アナログデジタル変換器）の構成例を示す回路ブロック図である。図１（ｂ）は、アナログ入力Ｖｉｎに対応するデジタル出力ＤｏｕｔをプロットしたＡＤＣの入出力特性の例を示す。入出力特性は説明のために連続的な線で書かれているが、ここでは３ビットを想定しており、あるアナログ値に対して量子化された３ビット精度のデジタル値が得られているとする。実際には３ビットのＡＤ変換で補正が必要になるのはまれであるが、原理を簡易的に説明するために、図をシンプルにするための仮定である。

入力端子１０１に入力された画素からの信号Ｖｉｎは、比較器１０２において参照レベルＶｒｅｆと比較され、その比較結果がデジタルコードになる。比較結果が０の場合はそのまま、１の場合は入力信号から参照レベルＶｒｅｆを減算した後、その信号を増幅器１０３のゲインＧで電圧増幅し、それを再度入力端子１０１に戻す。ＡＤ変換器のビット精度がｎビット精度であるとき、本比較はｎ回行われ、ｋ回目の比較結果がｎ−ｋ番目のビットとして出力端子１０４から出力される。以上のように、このＡＤＣは、２回以上のステップに分けて上位ビットのデジタル信号から変換結果を確定させ、アナログ信号をデジタル信号に変換する。

ここで、増幅器１０３のゲインが正確に２の場合、１０５に示されるように理想的な入出力特性を得ることが出来るが、たとえばゲインが１．９５のように、２より小さい場合は、波線で示した特性１０６のように、所々にミスコードが生じる。

ここで、補正係数として、入出力特性１０７〜１０９にＣ１、Ｃ２、Ｃ３と示したデジタルコードの大きさを実デバイスから抽出し、デジタル値の補正係数ベクトルＣ＝（Ｃ３，Ｃ２，Ｃ１）を用意する。ここでの補正係数ベクトルとは、特許文献２におけるような、理想の参照電圧入力に対する実際の出力値の対応データのようなものとは異なっている。この補正係数ベクトルは、ＡＤ変換器の特性を高々十数個の数値で表した特徴量の集合体である。

Ｃ２は特性１０７と１１０の和、Ｃ３は特性１０７，１１０，１１１，１１２の和となっている。もしＡＤ変換をｎビット精度で行う場合は、この考え方を拡張して、ｎ個の要素からなるベクトルを補正係数として有する。ここで、Ｃ３，Ｃ２，Ｃ１の値は、増幅器１０３のゲインの値に依存している。補正係数Ｃ１，Ｃ２，Ｃ３は、ＡＤＣの微分非直線性誤差を補正するための係数である。この補正係数を得るためには、実デバイスを最低２回余分にＡＤ変換を行うのみで取得可能である。

特許文献２においては、基準電圧を生成するデジタル・アナログ変換器（ＤＡＣ）の絶対精度の影響をそのまま受けてしまう。それは、Ａ／Ｄ変換器の絶対精度をＤＡＣの絶対精度と一致させる、という考えのもとに補正が行われているためである。そのため、たとえばＡ／Ｄ変換器を１４ビット等の高ビットとした場合には、ＤＡＣにも１４ビットの精度が要求される。実際の動作には用いないそのような高精度のＤＡＣを、センサもしくはシステム内に設けるのは、コストの大幅な上昇につながる。これに対して本発明においては、絶対精度には着目せず、非直線性誤差を解消するという考え方で補正を行い、補正係数をベクトル値として得ているので、高い絶対精度を有するＤＡＣはなくてもよい。

また本発明の補正係数取得方法によれば、最低２回のＡＤ変換を行えばよく、時間にしておよそ１０μｓ程度ですむ。したがって、垂直ブランキング期間や、垂直ＯＢ読み出し期間、もしくは高速撮影の合間に補正係数を再取得することが可能であり、動作中の再補正が実現できる。

これに対して、特許文献２の構成では、補正係数を求める時間が長くかかる。たとえば１４ビット精度のＡＤ変換を実現しようとした場合、ＡＤ変換の動作におよそ５μｓ程度かかるとすると、補正係数取得に５μｓ×２¹⁴の時間、つまり８１ｍｓｅｃの時間が費やされる。動作中に補正係数を算出しようとした場合に、およそ１００ｍｓｅｃの補正係数取得時間が必要となることは、通常の動画、もしくは静止画の高速撮影の実現は困難である。

図２は、本実施形態によるカラムＡＤＣを有するＣＭＯＳセンサ２０１と、デジタル信号処理装置２０７からなる撮像装置の一例を示す図である。上記で得られた補正係数が、図２の撮像装置においてどのように用いられるかを説明する。２０１はＣＭＯＳイメージセンサであり、２０２は行列状に配置された画素である。画素２０２は、光電変換素子を有し、光電変換により、アナログ画素信号を生成する。このような画素が２次元状に配され画素領域を構成している。イメージセンサ２０１は、列毎にＡＤＣ２０３を有する。各列は図１（ａ）で示したようなＡＤＣ２０３と、そのＡＤＣから上位ビットから順に出力されるデータを記憶する３ビットメモリ２０４を有する。その３ビットメモリにおさめられたデータは順次水平シフトレジスタ２０５により指示をうけて３ビットの端子２０６に出力される。画素領域とＡＤＣは同一半導体基板上に配されている。２０７はデジタル信号処理装置、２０８は基準タイミング発生器である。基準タイミング発生器２０８からのクロックをうけて水平シフトレジスタ２０５は２０９に示すように３ビットのデジタル信号Ｉをデジタル信号処理装置２０７に出力する。デジタル信号処理装置２０７は、基準タイミングパルスを基にセンサ２０１からのデジタル信号Ｉを３ビットラッチ２１０にてラッチし、そののちに補正部２１１にて補正を行い、その後補正したデータＡを出力端子２１２に出力する。

補正部２１１は、ＣＭＯＳセンサ２０１からの出力データＩと、あらかじめ記憶していた補正係数Ｃの内積をとる演算を行うことにより、ＣＭＯＳセンサ２０１の出力データＩに対して微分非直線性誤差を補正する。こうすることで、補正後の入出力特性は、図１（ｂ）中の１１３に示したような直線を示し、微分非直線性誤差が補正される。なお、内積をとる際は、出力データＩの各ビットを各要素とみなす。たとえばＩが３ビットならば、各要素が０もしくは１の１ビットで、かつ３要素から構成されるベクトルと考える。特許文献２においては、マルチプレクス前に補正を行う必要があり、そのために補正回路をＡ／Ｄ変換器と同一チップに配している。これに対して本発明においては、マルチプレクス後の出力に対して補正を行うことが可能であるため、補正回路を光電変換領域とＡＤ変換器を含む読み出し部と異なるチップに配置することが可能となる。

また、補正のために必要な補正係数メモリの容量は、１列あたり２５６ｂｉｔと、従来の１０００分の１程度ですみ、３０００列のカラムＡＤＣを想定しても０．８Ｍｂｉｔとなる。たとえチップ内に納めたいという要求があったとしても、十分対応が可能である。

これに対して特許文献２においては、たとえば、３０００列を有するセンサにおけるカラムＡＤＣにおいて、補正手段を列ごとに持たせたとする。また、一列あたりのAD変換器精度を１４ビットとする。その際に、１つのＡＤ変換器が有する補正手段のメモリサイズはおよそ２３０ｋｂｉｔになる。１列がたとえば５μｍ幅からなるＡＤ変換器の場合、２３０ｋｂｉｔという無視できない大きさのメモリを、５μｍ幅で各列に並べていかなくてはならない。また、チップ内に必要となる補正手段のメモリ総容量は、０．６９Ｇｂｉｔとなり、相当の面積が必要となる。したがって、画素領域とＡＤＣを同一半導体基板上に配する場合に本発明は特に有効となる。

ここで、基準タイミング発生器２０８で作成したクロックで、センサ２０１とデジタル信号処理装置２０７を同期して動作させることで、誤り無く補正が可能となっている。

本実施形態の効果は以下の通りである。まず、第１に、特許文献１のように、回路の接続を２度切り替えてセンサの信号を変換しなくて良い。そのために、変換速度が原理的に２倍に高速になる。

また、回路の接続を組み替えてＡＤ変換を行うことが不要になったため、レイアウトをより簡素化出来、画素ピッチの縮小、レイアウト面積の削減が可能となる。

また、特許文献１では、ランダムノイズの影響などにより補正されない場合が存在したが、本実施形態によればノイズが存在しても非連続性が補正される。ゆえにより高精度な変換が可能となる。

ここで、本実施形態では、ＣＭＯＳイメージセンサ２０１とデジタル信号処理装置２０７、および基準タイミング発生器２０８は、それぞれが分かれているように記述しているが、この形態には限定されない。たとえばイメージセンサ２０１とデジタル信号処理装置２０７が同一基板上に配置されていたり、マルチチップパッケージになっていたりしてもよい。その実装形態自身には本実施形態の効果は影響されないことからも、このことは自明である。

また、ここで、補正のための演算は１基準クロックで完了しても、また、パイプライン処理により数クロックを用いて完了するようにしてもよい。パイプライン処理を用いる場合はパイプラインディレイが生じるが、実使用上は問題がない。

また、本実施形態の補正動作の説明は、あくまでも一例である。本実施形態の本質は、カラムＡＤＣの補正を、ＡＤ変換器自身から抽出した補正係数をもとに、センサからの画素出力のレートと同一のスピードで行うことで、読み出しの高速化を図ることにある。本実施形態のような、内積により補正をする、という考え方以外の補正でも、本実施形態の効果を得られることは自明である。またＡＤＣは列ごとに設けられていてもよいし、複数の列に共通のＡＤＣを設けられていてもよい。少なくとも複数のＡＤＣを有しており、各ＡＤＣに対応した補正係数により、微分非直線性誤差を補正することが重要である。

（第２の実施形態）
前述の通り、カラムＡＤＣは画素と同等か、画素の高々数倍の幅でレイアウトされる。そのために、アナログ素子の局所的精度を確保することが困難となる。局所的精度が各列でばらつくために、第１の実施形態における増幅器１０３のゲインは各列でばらつき、同一の補正係数を利用してしまうと補正後の精度が確保出来ない。補正係数を各列毎に準備し、各カラムＡＤＣ別に独自の補正係数を用いて補正を行うことが必要となる。

図３は、上記の課題を解決するための本発明の第２の実施形態によるカラムＡＤＣを有する撮像装置の構成例を示す図であり、図２と同等の部位には同一の番号をふっている。本実施形態が第１の実施形態と異なる点は、補正係数記憶メモリ３０１が追加された点であり、そのメモリ３０１は基準タイミング発生器２０８から制御信号３０２を入力して動作する。

係数記憶メモリ（補正係数メモリ）３０１は、各列のＡＤＣ２０３と同じ個数の補正係数を記憶可能である。補正部２１１は、各列のＡＤＣ２０３と同じ個数の補正係数のうちの対応する列のＡＤＣ２０３の補正係数を基に、列毎に微分非直線性誤差を補正する。

図４は、図３の回路の動作を示すタイミング図である。４０１において、基準タイミングクロックに同期してセンサ２０１の第１列目のＡＤＣが変換したセンサ出力を補正部２１１に入力し、それと同時に第１列目のＡＤＣの出力を補正する補正係数ベクトル４０２を係数記憶メモリ３０１から補正部２１１に読み込む。その次の基準タイミングクロックで演算が終了し、タイミング４０３で補正後出力Ａを得る。

補正部２１１では、１列目の補正を終えたタイミングで、２列目のセンサ出力Ｉと補正係数ベクトルＣをそれぞれタイミング４０４及び４０５で入力し、次の補正を行う。

本実施形態では、補正部２１１は、イメージセンサ２０１の出力周期に同期して係数記憶メモリ３０１から補正係数を入力する。

本実施形態における追加の効果は以下の通りである。まず、各列に対応した補正係数を用いて補正することにより、各列に対してより正確な微分非直線性誤差の補正が可能となり、精度が向上した。また、その際に、補正係数は、実際のＣＭＯＳセンサから抽出された係数を用いることで、補正の精度を向上させることができる。

また、補正部２１１を単一とし、補正係数を画素に同期して更新することで、演算部の面積を大幅に削減でき、かつ、イメージセンサからの出力と同期した正しい補正を行うことが出来るようになる。

（第３の実施形態）
本発明の第３の実施形態は、前述の補正係数を実際のＣＭＯＳイメージセンサから取得する補正係数取得手段について説明する。図５は、本実施形態の補正の対象となるＡＤ変換器の入出力特性であり、図６は、本実施形態の補正係数を得ることが可能なカラムＡＤＣの構成の一例を示す図であり、図１と同一の部位には同じ番号を振っている。

図５（ａ）は、ちょうど入力ダイナミックレンジの中央でのみミスコードが発生している例である。以降、５０１で示した補正係数の一要素Ｃｎを求める方法を述べる。図６が、Ｃｎを求めることが可能な、補正可能なカラムＡＤＣ回路の一例である。

まず、入力に、列からの信号６０１，６０２，６０３を入力するパスと自身の信号を巡回させるパスの他に、６０４の基準電圧Ｖｒｅｆを入力するパスを設ける。そのためにスイッチ６０５は、３種の信号から選択できるように変更する。

次に、コマンド信号６０６として、基準電圧Ｖｒｅｆとの減算の有無を指定する比較結果を外部から強制的に指示して上書きするための、２ビットのコマンド信号ＣＭＤを用意する。コマンド信号ＣＭＤの中身であるが、１ビットは比較結果を乗っ取るかどうかの指示、もう１ビットは、乗っ取った際の比較結果を０にするか１にするかの指定である。

本回路の動作を説明する。まず、基準電圧Ｖｒｅｆを強制的に入力し、その際にコマンド信号ＣＭＤに、強制的に比較結果を０とする指示を与える。すると、各ＡＤＣの変換結果は、図５中の５０２の点の値Ｘ１を示す。この全列分のＸ１をまずは保持する。次に、強制的に比較結果を１とし、再度ＡＤ変換する。すると、各ＡＤＣの出力は、５０３の点の値Ｘ２に相当する値となる。

先ほど保持していたＸ１から、今回のＸ２を減算することで、各列のＣｎに相当する値を得ることが出来る。

ただし、実際のミスコードは、図５（ｂ）のように、様々なところで生じている。しかしながら、真ん中にのみミスコードがある入出力特性の補正係数を求めることができれば、下位ビットから補正係数の要素を求めていくことで、補正係数の全要素を得ることが可能となる。その理由を以下に述べる。

図５（ｂ）のような特性を示すＡＤ変換器において、まず下位ビットの補正係数をもとめる。５０４で枠に囲んだ部分が下位ビットの入出力特性であるが、まだ中央以外に飛びがあるのでさらに再帰的に下位ビットにおりていくと、５０５にて中央のみにミスコードが生じている入出力特性に帰結する。

この部分に対して、まず補正係数の一要素Ｃ０を求め、つぎにＣ０を基に、再帰的に上位ビットの補正をして図５（ｃ）に示した５０６の入出力特性をえる。その後も、下位ビットの補正係数を得た後に、補正された下位ビットを基にした上位ビットの補正係数の算出を行うことで、全補正要素をえることが可能である。

以上のように、イメージセンサ２０１は、図６のＡＤ変換器を用いて補正係数を取得する補正係数取得手段を有する。

ここでは、巡回型のカラムＡＤＣの補正の一例を示したが、その他、様々なカラムＡＤＣ形式、および様々な補正アルゴリズムに対しても本実施形態の効果は同様に得られることは自明である。

また、本補正を行うタイミングであるが、あまり精度を要求されないような用途の場合は、工場から出荷するときなど、初めに一度補正係数を求めて、その値をその後の撮影に用いるようにする。

温度変化や経年変化を気を付けなくてはならない用途の場合には、機器のスイッチをオンさせた後に、最初の撮影の前までに補正係数を取得するようにする。すなわち、補正係数取得手段は、撮像装置の初期化時に補正係数を取得する。

また、補正係数取得手段は、動作中に補正係数を更新したい場合、たとえば動画を撮影する場合は、フレーム又はフィールドの間に、垂直ブランキング期間という、画素出力を必要としない期間があるので、その間に補正動作を行い、補正係数を再取得すればよい。また、静止画を撮影する場合は、撮影する前に補正係数を取得すれば良い。もし補正係数を取得する時間を実効的に０にしたい場合は、補正係数取得手段は、シャッターを開いている間、つまり被写体の露光を行うイメージセンサ２０１の光電変換による電荷蓄積期間と呼ばれる間に補正係数を取得すればよい。

再取得した補正係数は、たとえば既存の補正係数を全て上書きするようにする。ただし、外乱などが予測される環境下では、補正係数に突発的な外乱による誤りを有する可能性があるので、１度に全部を書き換えないで、既存の値と重み付け平均をとる形で補正係数を更新するとよい。その重みは、どれだけ新しく取得された補正係数が信頼できるかという、設計パラメーターとなる。

すなわち、係数記憶メモリ３０１は、新たに取得した補正係数と係数記憶メモリ３０１内の補正係数との重み付け平均を行った補正係数を更新記憶する。

また、補正係数の取得に必要な演算を、デジタル信号処理装置２０７のみで行うようにする。そうすることで、起動の高速化や、処理回路の負荷軽減という効果が得られる。すなわち、デジタル信号処理装置２０７は、イメージセンサ２０１の出力デジタル信号を基に補正係数を算出する補正係数算出手段を有する。

たとえば上に述べたように、機器のスイッチをオンさせたあとに補正係数を取得しようとした場合、機器のメインのコンピュータはシステムの起動のための別な処理をしている場合がほとんどである。得られたセンサ２０１からの出力を基に補正係数を算出する処理を行うことは、新たな演算を起動の際のシーケンスに加えることになり、起動時間が比較的長くなってしまう。

また、垂直ブランキング期間においても、メインのコンピュータは、次のフレームの撮影条件などを決定するための仕事をしている。その期間に補正係数の演算をさせるためには、読み出す行数を減らし、垂直ブランキング期間を長くしなくてはならない。

上記の２つのケースにおいても、本実施形態を適用すれば、イメージセンサ２０１とデジタル信号処理装置２０７の間で局所的に補正係数の算出が可能であれば、メインのコンピュータでの処理が不要となり、起動までの時間を長くせずにすむ効果が得られる。

また、各列において補正係数が異なると言うことは、たとえば３ビットＡＤ変換で（１，１，１）という最大値のデジタルコードを得たとしても、その意味合いが異なることを意味する。画素からのデータ（１，１，１）と、補正係数（Ｃ３，Ｃ２，Ｃ１）の内積は、Ｃ３＋Ｃ２＋Ｃ１となり、その補正係数の要素の総和となる。ここで、補正係数が各列毎に異なることから、各列ごとに補正値の最大値が異なるということになり、それが明時の光反応に対する不均一性となって画質に影響する。

ゆえに、補正部２１１は、前記補正後の信号に対して、その補正に用いた補正係数の構成要素の総和を一定にするための係数との積をとることで正規化し、明時の光反応不均一性を補正する事が可能となる。もしくは、構成要素の総和が一定になるように正規化された補正係数を係数記憶メモリ３０１に記憶させるようにしても、同様の効果を得ることが出来る。また、補正部２１１とは別に、補正部２１１により補正されたデジタル信号に対して明時反応不均一性補正を行う明時反応不均一性補正手段を設けてもよい。ここで、明時反応不均一性（ＰＲＮＵ：Photo Response Non-uniformity）とは、同じ光量が入力された場合、すべての画素からの出力は均一になるはずであるが、画素そのものの感度のばらつきや、読み出し系のゲインのばらつきなどの要因で均一にならない。その度合いを割合で表現したものとなる。本実施形態においては、ＡＤ変換器で、おなじ電圧が入力されても、同じデジタル値が出力されないことから、補正しない場合は光に対する反応が不均一になることがある。これに対して本実施形態ではＰＲＮＵを補正することが可能となる。

また、補正部２１１は、出力ダイナミックレンジが一定になるように補正後の信号を正規化するようにしてもよい。ここでは、出力ダイナミックレンジを一定にする手段として、補正係数を基に正規化のための係数を算出するという手段を用いたが、本手法には限定されない。たとえば、同一の電圧値や、同一の光量によって出力される画素信号を、全カラムＡＤＣに入力した際のデジタル出力値を取得後、それらが一定になるような補正係数を作成する手法を用いてもよい。

（第４の実施形態）
図７は、本発明の第４の実施形態による撮像装置の構成例を示す図であり、図３と同一の部位には同じ番号を振っている。本実施形態では、デジタル信号処理装置２０７の具体的な設計例について述べる。図７は、デジタル信号処理装置２０７のクロックとＣＭＯＳイメージセンサ２０１からの画素データ出力のクロックを異なるクロックで動作させる場合の回路図の例を示す。

７０１は、３ビットのデータを数ワード貯めておくことができるＦＩＦＯ（先入先出）バッファであり、イメージセンサ２０１及び補正部２１１の間に設けられる。本ＦＩＦＯ７０１は、基準タイミング発生器２０８の基準タイミングパルスを入力し、イメージセンサ２０１のデジタルデータを同期して取り込む。

ＦＩＦＯ７０１のデータは、ラッチ７０２でタイミング調節された後、補正部２１１に出力される。その際、補正部２１１は、タイミング調整に、信号処理用タイミング発生器７０３からのクロック７０４を用いる。補正部２１１の働きは、第２の実施形態とほぼ同じであるが、同期に用いるクロックが信号処理用タイミング発生器７０３からのものであるという点が異なる。

本実施形態では、補正部２１１は、ＦＩＦＯ７０１の出力周期に同期して係数記憶メモリ３０１から補正係数を入力する。

本実施形態による追加の効果は以下の通りである。たとえば保持用のメモリ３０１や、補正部２１１は、本図では専用のブロックとして書かれているが、ハードウェアへの実装を考えたときには汎用の算術演算装置や主記憶を用いる場合がある。その場合、その汎用部を常に補正機能実現のみに占有させることは困難となる。

そのようなケースにおいて、ＦＩＦＯ７０１に画素からのデータを保持させることが出来れば、保持させる間、補正を行う必要はないので、その期間に算術演算装置や主記憶にて他の役割を割り当てることが可能となる。

また、ＦＩＦＯ７０１に貯まったデータを処理するために、基準タイミングパルスよりも高速に補正を行わなくてはならなくなるが、信号処理向けに別な高速クロックを本実施形態のように用いることで、高速で、確実に同期が保証された正確な補正が可能となる。

なお、本実施形態では、ＦＩＦＯ７０１を用いていたが、たとえばＦＩＦＯ７０１の代わりにフレームメモリや、ラインメモリ等のランダムアクセスメモリ（ＲＡＭ）を用いても良い。その場合、補正部２１１は、ランダムアクセスメモリの読み出し周期に同期して係数記憶メモリ３０１から補正係数を入力する。

（第５の実施形態）
次に、特殊なシリアルデジタル出力を行うようなイメージセンサを用いた際の本発明の第５の実施形態を説明する。図８は、本発明の第５の実施形態のシリアルデジタル出力を行う、カラムＡＤＣ内蔵のイメージセンサ８０１と、デジタル信号処理装置２０７によって構成される撮像装置の一例を示し、上記実施形態と同一の部位には同じ番号を振っている。

イメージセンサ８０１は、図２、図３及び図７の各列に３ビット保有していたメモリ２０４が、メモリ８０２のように１ビットになっている点、及び外部へのデータ出力端子８０３の幅が１ビットになっている点が上記実施形態のイメージセンサ２０１と異なる。

巡回型カラムＡＤＣでは、各ビットの上位ビットから順次に出力されてくるので、センサ８０１では、あるビットの変換が終了したら、全ビットの結果が出るのを待たずに順次出力していく。すなわち、センサ８０１は、各列の確定した上位ビットから順次デジタル信号を出力する。

デジタル信号処理装置２０７においては、そのシリアルデータ出力をメモリ８０４で保持する。ただし、イメージセンサ８０１からのデータは図９で示したような順番でメモリ８０４に格納されているので、そのまま３ビットずつ補正部２１１に出力してしまうと正しい補正が行われない。そこで、再配列手段８０５においては、９０１で例示するように、同一の列に属するビットのデータをメモリ８０４から抜き出してそれを上位ビットから下位ビットまで正しい順番に並び替えるという操作をおこない、補正部２１１に出力するようにする。たとえば、再配列手段８０５は、１列明の第３ビット、第２ビット及び最下位ビットのデータをメモリ８０４から抜き出して、補正部２１１に出力する。すなわち、再配列手段８０５は、イメージセンサ８０１の出力デジタル信号を画素毎の信号に再配列して補正部２１１に出力する。

本実施形態による追加の効果は以下の通りである。イメージセンサ８０１においては上位ビットから変換後すぐに外部に出力するようにして、イメージセンサ８０１が必要とするメモリ８０２の量を減らし、チップ面積が削減できている。そのようなイメージセンサ８０１においても、デジタル信号処理装置２０７に再配列手段８０５を持たせることで、正しいデータを補正部２１１に出力することが出来、正確な補正を実現することが可能となる。

（第６の実施形態）
図１０は、本発明の第６の実施形態による撮像装置の構成例を示す図であり、図７と同等の部位には同じ番号が振ってある。この撮像装置は、微分非直線性誤差以外の補正を行うことができる。

１００１は、微分非直線性以外の様々なセンサ特性を補正する、第２の補正部である。１００２は、補正の後に、隣接の画素同士のデータを足し合わせる、画素加算処理部である。

補正部２１１は、補正後データ１００３を生成した後に、それを第２の補正部１００１に出力する。第２の補正部１００１は、たとえば補正部２１１により補正されたデジタル信号に対して、水平方向にみられる固定パターンノイズを除去するための固定パターンノイズ除去手段や水平シェーディング補正を行う水平シェーディング補正手段などである。もしくは、第２の補正部１００１は、たとえば補正部２１１により補正されたデジタル信号に対して、垂直方向に見られる固定パターンノイズを除去するための固定パターン除去手段や垂直シェーディング補正を行う垂直シェーディング補正手段などである。その後、画素加算処理部１００２は、加算指示信号１００４により加算の指示を入力した場合、隣接画素同士のデータを加算してデータレートを落として出力する。

すなわち、画素加算処理部１００２は、補正部２１１及び第２の補正部１００１により補正されたデジタル信号に対して複数の画素のデジタル信号を加算する。

本実施形態における追加の効果は以下の通りである。微分非直線性誤差の補正をする前のデータに対してシェーディング補正や固定パターンノイズの補正、および、画素データの加算を行うことは、正しくないデータに対する演算であり、その結果に誤りが生じる。誤った結果に対して、図２などで説明した微分非直線性誤差の補正を行ったとしても、正しい結果を得ることが出来ない。

本実施形態によって、微分非直線性誤差の補正がされた、精度の高いデータに対して他の様々な補正や、画素データの加算処理を行うことで、正しいシェーディング補正や固定パターンノイズ補正、および加算処理が行えるようになる。

なお、加算処理であるが、たとえば色別に分けて、必ず同じ色が加算されるようにしたり、また、加算の際には、重み付け加算などを行ってモアレ軽減処理を行っても良い。また、数列分のラインメモリを加算ブロックに付加し、二次元のカーネルに対して加算処理を行っても良い。その加算の種類に本実施形態の効果は依存していない。

（第７の実施形態）
図１１は、本発明の第７の実施形態による撮像装置の構成例を示す図であり、図２と同じ部位には同じ番号を付記している。本実施形態は、複数の出力チャンネルを有するイメージセンサ２０１とデジタル信号処理装置２０７を組み合わせた場合について説明する。本実施形態においては、１列おきのＡＤ変換器をそれぞれ別の独立したチャンネルに接続している。偶数チャンネルは第１のチャンネル１１０１に、奇数チャンネルは第２のチャンネル１１０２に接続されている。イメージセンサ２０１は、複数チャンネル１１０１及び１１０２のデジタル信号を出力する。

それら２つのチャンネル１１０１及び１１０２は、マルチプレクサ１１０３においてマルチプレクスされた後に、単一の補正部２１１に接続される。マルチプレクサ１１０３は、複数チャンネル１１０１及び１１０２から同位相で出力される３ビットのデジタルデータに対して、位相をずらして補正部２１１に出力する。

本実施形態の効果は、複数のチャンネルが存在した場合でも、単一の補正部２１１ですむので、ハードウェアがコンパクトになるという点である。また、ここでは２つのチャンネル１１０１及び１１０２を一つにマルチプレクスする例を述べたが、２つ以上の場合でも同様の効果が得られる。

なお、マルチプレクサ１１０３を具体的にイメージセンサ２０１側、デジタル信号処理装置２０７側、どちらに配置するかについて、本実施形態では限定していない。まず、イメージセンサ２０１とデジタル信号処理装置２０７を一つの半導体基板上に作成する場合はそのような区別は必要ない。

また、もしイメージセンサ２０１側にマルチプレクサ１１０３を持たせることが可能であればイメージセンサ２０１とデジタル信号処理装置２０７の間の配線数が減少するという追加の効果が得られる。

また、デジタル信号処理装置２０７は一般的にイメージセンサ２０１よりも進んだ製造プロセスで作成される。そのために、デジタル信号処理装置２０７側にマルチプレクサ１１０３を持たせるならば、高速動作が要求されるマルチプレクサ１１０３を同一チップ内に配置しやすいという効果が得られる。とくにマルチプレクサ１１０３のチャンネル数が２チャンネル以上になり、マルチプレクサ１１０３へ求められる切り替え速度が上昇してくると、この効果は無視できなくなる。

（第８の実施形態）
本発明の第８の実施形態では、残渣の増幅率を変更した点について述べる。ここで残渣信号とは、ＡＤ変換の各ステップ終了後のアナログ信号から参照レベルを減算した後の信号である。

図１２は、本発明の第８の実施形態の残渣の増幅の様子を示したResidue Transfer Function（ＲＴＦ）特性のグラフである。横軸にＡＤ変換器に入力される電圧、縦軸に、その入力がどのように変換されて再度マルチステップＡＤ変換器の入力へ戻ってくるかを示している。

１２０１は、通常の巡回型ＡＤ変換器におけるＲＴＦ特性である。入力が−ＶＲＥＦから＋ＶＲＥＦまで入力された場合、比較結果に基づいた処理ののち、入力のダイナミックレンジと同じ−ＶＲＥＦから＋ＶＲＥＦまでのレンジに残渣は増幅される。

本実施形態においては、ＲＴＦ特性を、１２０２のように、設計時に残渣が入力ダイナミックレンジ未満に増幅されるようにしている。

本発明の第８の実施形態の効果を説明する。設計時に１２０１のように作成しても、特にイメージセンサの列に挿入するようなＡＤ変換器では、製造時のばらつきが通常のＡＤ変換器よりも大きくなってしまう。そのようなとき、１２０３のように、増幅後の残渣が入力のダイナミックレンジを越えてしまうような場合、図１３に示すように、異なるアナログ値が同一のデジタル値に対応させられてしまう重複コードが生じてしまい、デジタル回路による補正が不可能になる。

ゆえに本実施形態のように、設計時に、製造ばらつきを考慮して、最悪のケースでも１２０３のようなＲＴＦ特性を示さないように工夫することで、重複コードを生じさせず、常にデジタル補正が可能になる。

本実施形態では、ＡＤ変換器は、各ステップ終了後の残渣を電圧増幅後、その残渣のダイナミックレンジがＡＤ変換器の入力ダイナミックレンジ以下になるようにする。

また、ＲＴＦ特性のずれを生む要因は、製造ばらつきのみではない。特に、図６に示したようなＡＤ変換器の回路ブロック図において、全差動型の演算増幅器１０３を用いないで、シングルエンド型の演算増幅器１０３を用いて構成した場合にも生じる。その場合は、ホールド時に生じるクロックフィードスルーや、増幅器の出力オフセット電圧のために、残渣の増幅後の電圧が入力ダイナミックレンジを越えてしまう。本実施形態を適用することにより、特にイメージセンサのようにレイアウトの際の条件が厳しい、精度の高いアナログ回路としての設計が困難なケースにおいても、デジタル補正が可能となる。

加えて、追加の効果として、シングルエンド型は一般的に全差動型の半分のレイアウト幅で済むので、イメージセンサへのレイアウトが容易であるという効果がえられる。

なお、このように、製造ばらつきを考慮したＲＴＦ特性の設計は、巡回型のみに限定されない。たとえば、４ビットのＡＤ変換器において、上位２ビットと下位２ビットを分けて変換するような、比較ステップ数を減少させた二重積分型ＡＤ変換器や、おなじく比較ステップ数を減少させたランプ型ＡＤ変換器においても、デジタル補正が可能である。これらのＡＤ変換器においても、図１４のように、増幅後の残渣が、製造ばらつきやクロックフィードスルー、増幅時の出力オフセットを含めても入力のダイナミックレンジを超えないように設計すればよい。これにより、重複コードの生じない、デジタル補正可能なＡＤ変換器を作成することができる。

以上のように、第１〜第８の実施形態によれば、イメージセンサの出力デジタル信号に対して補正することにより、２回のアナログデジタル変換結果を用いる場合に比べ、高速に補正を行うことができる。また、２回のアナログデジタル変換を行うための回路の接続を切り替える必要がないので、余分なスイッチ又はアナログ素子等を極力不要とすることができる。また、補正誤りを防止し、適切な補正を行うことができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。また実施形態においては、各列にＡＤ変換器を有する構成に関して説明したがこれに限らず、複数列ごとにＡＤ変換器が設けられていてもよく、撮像装置として複数のＡ／Ｄ変換器を有していればよい。また、本発明は、直接的には微分非直線性誤差を補正するものであるが、同時に積分非直線性誤差も補正することが可能となる。

本発明の第１の実施形態によるＡＤ変換器を示す図である。 本発明の第１の実施形態による撮像装置の構成例を示す図である。 本発明の第２の実施形態によるカラムＡＤＣを有する撮像装置の構成例を示す図である。 図３の回路の動作を示すタイミング図である。 本発明の第３の実施形態の補正の対象となるＡＤ変換器の入出力特性を示す図である。 本発明の第３の実施形態の補正係数を得ることが可能なカラムＡＤＣの構成の一例を示す図である。 本発明の第４の実施形態による撮像装置の構成例を示す図である。 本発明の第５の実施形態による撮像装置の構成例を示す図である。 データ格納の順番を示す図である。 本発明の第６の実施形態による撮像装置の構成例を示す図である。 本発明の第７の実施形態による撮像装置の構成例を示す図である。 本発明の第８の実施形態の残渣の増幅の様子を示したＲＴＦ特性のグラフである。 アナログ信号とデジタル信号の関係を示すグラフである。 入力信号と増幅後信号の関係を示すグラフである。 ＡＤ変換器の入出力特性を模式的に表した図である。 アナログ入力とデジタル出力の関係を示すグラフである。

符号の説明

２０１ イメージセンサ
２０２ 画素
２０３ アナログデジタル変換器
２０４ メモリ
２０５ 水平シフトレジスタ
２０６ 端子
２０７ デジタル信号処理装置
２０８ 基準タイミング発生器
２０９ デジタルデータ
２１０ ラッチ
２１１ 補正部
２１２ 出力端子

Claims (15)

1. ２回以上のステップに分けて上位ビットのデジタル信号から変換結果を確定させるアナログデジタル変換器を複数有するイメージセンサと、
   前記アナログデジタル変換器の非直線性誤差を補正するための複数の補正係数ベクトルを前記複数のアナログデジタル変換器に対応して有し、各アナログデジタル変換器に対応した複数の補正係数ベクトルを基に、前記各アナログデジタル変換器から出力されるデジタル信号の非直線性誤差を補正する第１の補正手段とを有し、
   前記第１の補正手段は、前記複数のアナログデジタル変換器からの前記デジタル信号をシリアル出力に変換した後に、前記変換した後のデジタル信号と前記複数の補正係数ベクトルとの演算により、前記非直線性誤差の補正を行うことを特徴とする撮像装置。
2. 前記イメージセンサは、前記アナログデジタル変換器を用いて前記補正係数ベクトルを取得する補正係数取得手段を有することを特徴とする請求項１記載の撮像装置。
3. さらに、前記補正係数ベクトルを記憶する補正係数メモリを有し、
   前記第１の補正手段は、前記イメージセンサの出力周期に同期して前記補正係数メモリから前記補正係数ベクトルを入力することを特徴とする請求項１又は２記載の撮像装置。
4. さらに、前記補正係数ベクトルを記憶する補正係数メモリと、
   前記イメージセンサ及び前記第１の補正手段の間に設けられるＦＩＦＯバッファもしくはランダムアクセスメモリとを有し、
   前記第１の補正手段は、前記ＦＩＦＯバッファもしくはランダムアクセスメモリのいずれかの出力周期に同期して前記補正係数メモリから前記補正係数ベクトルを入力することを特徴とする請求項１又は２記載の撮像装置。
5. 前記補正係数ベクトルは、前記アナログデジタル変換器により出力されるデジタル信号の各ビットを要素とし、その要素と同じ数の要素から構成される補正係数ベクトルであり、
   前記第１の補正手段は、前記補正後の信号に対して、前記補正係数ベクトルを構成する要素の総和を一定にするための係数との積をとることで正規化することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記補正係数ベクトルは、前記アナログデジタル変換器により出力されるデジタル信号の各ビットを要素とし、その要素と同じ数の要素から構成される補正係数ベクトルであり、
   さらに、構成する要素の総和が一定になるように正規化された前記補正係数ベクトルを記憶する補正係数メモリを有することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
7. 前記第１の補正手段は、出力ダイナミックレンジが一定になるように前記補正後の信号を正規化することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
8. さらに、前記第１の補正手段により補正されたデジタル信号に対して固定パターンノイズ、水平シェーディング、垂直シェーディング、明時反応不均一性の少なくとも１つの補正を行う第２の補正手段と、
   前記第２の補正手段により補正された後の複数の画素のデジタル信号を加算する画素加算処理手段とを有することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. さらに、撮像装置の初期化時、垂直ブランキング期間、前記イメージセンサの光電変換による電荷蓄積期間のいずれかにおいて前記補正係数ベクトルを取得する補正係数取得手段を有することを特徴とする請求項１記載の撮像装置。
10. さらに、前記補正係数ベクトルを記憶する補正係数メモリを有し、
    前記補正係数メモリは、新たに取得した補正係数ベクトルと前記補正係数メモリ内の補正係数ベクトルとの重み付け平均を行った補正係数ベクトルを更新記憶することを特徴とする請求項１又は２記載の撮像装置。
11. 前記イメージセンサは、各アナログデジタル変換器の確定した上位ビットから順次デジタル信号を出力し、
    さらに、前記イメージセンサの出力デジタル信号を画素毎の信号に再配列して前記第１の補正手段に出力する再配列手段を有することを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記イメージセンサは、複数チャンネルのデジタル信号を出力し、
    さらに、前記複数チャンネルの同位相のデジタル信号に対して位相をずらして前記第１の補正手段に出力するマルチプレクサを有することを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記アナログデジタル変換器は、各ステップ終了後のアナログ信号から参照レベルを減算した後の信号を電圧増幅後、その残渣のダイナミックレンジが前記アナログデジタル変換器の入力ダイナミックレンジ以下になることを特徴とする請求項１〜１２のいずれか１項に記載の撮像装置。
14. さらに、光電変換素子を有する画素が２次元状に配された画素領域を有し、
    前記複数のアナログデジタル変換器は、前記画素からのアナログ信号をデジタル信号に変換し、
    前記画素領域と前記複数のアナログデジタル変換器とは同一半導体基板上に配されていることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
15. ２回以上のステップに分けて上位ビットのデジタル信号から変換結果を確定させるアナログデジタル変換器を複数有するイメージセンサを有する撮像装置の処理方法であって、
    前記アナログデジタル変換器の非直線性誤差を補正するための複数の補正係数ベクトルを前記複数のアナログデジタル変換器に対応して有し、各アナログデジタル変換器に対応した複数の補正係数ベクトルを基に、前記各アナログデジタル変換器から出力されるデジタル信号の非直線性誤差を補正する第１の補正ステップを有し、
    前記第１の補正ステップでは、前記複数のアナログデジタル変換器からの前記デジタル信号をシリアル出力に変換した後に、前記変換した後のデジタル信号と前記複数の補正係数ベクトルとの演算により、前記非直線性誤差の補正を行うことを特徴とする撮像装置の処理方法。

Images