JP5466697B2 - カラムゲイン補正方法及びカラムゲイン補正装置 - Google Patents

Description

本発明は、一般的には、ＣＭＯＳ撮像素子に関し、特に、ＣＭＯＳ撮像素子のカラムゲインずれをデジタル的に補正するカラムゲイン補正方法及びカラムゲイン補正装置に関する。

ＣＭＯＳ撮像素子を用いて実現された可視撮像装置は、分解能（resolution）を高め、雑音を低減するとともに、カメラのコスト及び消費電力を大幅に低減している。最新のカメラは、ＣＭＯＳのｉＳｏＣ撮像素子（CMOS iSoC sensor）を用いて、低雑音の画像検出及び処理部（low-noise image detection and processing）を、シングルチップ上のサポートブロックであるホストに効率良く接続している。

しかしながら、ＣＭＯＳのｉＳｏＣ撮像素子は、アナログ読出アーキテクチャによる画像アーチファクトを画像の中に生じる傾向がある。これは、それぞれのアナログバッファ回路で、オフセット及びゲインに有限のばらつきが生じるからである。このオフセットのばらつきは、結果として干渉性の固定パターンノイズ（以下、ＦＰＮという。）、例えばカラムＦＰＮを生ずる。高ゲインを適用しなければならないときには、オフセットの大きさによっては、カラムＦＰＮは、弱光条件であっても視認できるようになる。アナログ領域における特性のずれを十分に制御するには、多くの場合、純粋にデジタル的な補正方法により、オフセットを調整する。

一般に、干渉性のノイズが空間ノイズとして、あるいは時間ノイズとして視認されるかは、画素のランダムノイズに対するコントラスト比に依存する。弱光条件において理想的には、各画素は、等価的なオフセットと等価的な応答を有し、純粋な時間的ガウス雑音を有していると考えるべきである。その状況から明確に逸脱するときには、撮像装置の知覚品質を損なう。

オフセットを一致させる場合において、もっとも困難な環境は、完全な暗状態（complete darkness）の場合である。ここで、光ショットノイズ（photon shot noise）はないので、画素のランダムノイズは最小化されている。無相関のガウス雑音成分（すなわちナイキスト周波数までフラットな空間周波数を有する）に対する列方向（column-wise）又は行方向（row-wise）の全ての干渉性のノイズ成分の大きさは、画素のランダムノイズの１／１０未満にしなければならないということは、経験的に知られており、さもなければ画像をかなり劣化させてしまう。

ゲインずれの状況は、若干異なる。この場合には、暗状態の影響は、それほど問題ではなく、誤差は、蓄積された光子の数によって線形的に増加する。光が存在するときの画素のランダムノイズは、蓄積された光子（integrated photons）の数におけるポアソン変動（Poisson fluctuations）によって支配される。光ショットノイズの大きさは、光子数の平方根に等しい。したがって、より多くの光が当たると、干渉性の（列方向又は行方向の）ゲインずれを隠すのは難しくなる。

そして、所定の撮像素子に対する最も困難なシナリオは、最大可能な光電子蓄積（photo-charge）にある場合、すなわち画素が飽和している（the pixel full well）場合である。カラムゲイン間のずれが、所定の撮像素子のいかなる状況でも見えないようにするためには、経験的に、飽和状態のカラムゲインずれの平均値が、光ショットノイズの１／１０より少ない標準偏差（sigma）を有しなければならないことである。

総じて、カラムゲインずれをデジタル的に補正するカラムゲイン補正方法及びカラムゲイン補正装置を開示する。少なくとも１つのテスト画素（test signal pixel）を、撮像素子内の各列に追加する。各列の少なくとも１つのテスト画素からテスト信号を、読み出して、目標値と比較する。テスト信号と目標値との比較に基づいて、補正値を計算する。補正値を、メモリに記憶する。正規の画像画素（regular photo-pixels）を読み出すときに、画像画素信号（photo-pixel signals）を、各列の記憶された補正値に基づいて変更する。

撮像素子のカラムゲインずれを補正するカラムゲイン補正方法は、少なくとも１つのテスト画素からテスト信号を読み出し、テスト信号を目標値と比較し、その比較に基づいて補正値を計算し、その補正値をメモリに記憶し、画像画素信号を読み出し、メモリに記憶された補正値に基づいて、画像画素信号を変更する。

これらのステップは、撮像素子の各列毎に実行される。本発明のカラムゲイン補正方法は、更に黒基準値を、光に当たることのない画素である黒基準画素（black reference pixel）から決定する。テスト画素の数は、複数であり、目標値は、各テスト信号値の平均値から黒基準値を減算した値に設定される。

撮像素子の各光信号（photo-signal）は、以下の式に従って変更される。

ここで、ｎ_ｉは、各列毎にメモリに記憶された符号付きの補正値であり、ｓは、スケーリングパラメータである。

スケーリングパラメータｓの値は、メモリ内で利用可能な範囲を最大にするように設定される。補正値の初期値は、以下の式で計算される。

本発明の一実施の形態に基づいて、撮像素子のカラムゲインずれを補正するカラムゲイン補正装置は、少なくとも１つのテスト画素と、そのテスト画素用の信号電圧及びリセット電圧を供給する少なくとも２つのプログラマブルＤ／Ａ変換器（ＤＡＣ）と、ゲイン補正値を記憶するメモリと、テスト画素からの出力信号及び撮像素子内の列からの画像画素信号（image pixel signals）を処理する論理回路とを備えている。論理回路は、メモリからゲイン補正値を読み出し、入力信号から黒基準値を減算し、入力信号にゲイン補正値を加算し、入力信号がテスト画素信号であるか、画像画素信号であるかを判定し、テスト画素信号のときは、補正された入力信号を目標値と比較し、その比較に基づいて、メモリ内のゲイン補正値を増大又は減少させ、画像画素信号のときは、補正された入力信号に黒基準値を加算して、その結果を出力する。

本発明に基づいたテスト画素を実装した撮像素子のブロック図である。 本発明に基づいた撮像装置のブロック図である。 （Ａ）は、本発明に基づくカラムゲイン補正方法の実施の形態において起動動作中のフローチャートである。（Ｂ）は、本発明に基づくカラムゲイン補正方法の実施の形態において標準的な撮像動作中のフローチャートである。 （Ａ）及び（Ｂ）は、本発明のカラムゲイン補正方法を実行するのに必要となるメモリのビット数を示した図である。

以下、当業者が本発明を実施及び利用できるように、並びに本発明の発明者が、本発明を実施するために最良と考える実施の形態を用いて、本発明を説明する。なお、当業者にとっては、様々に変更できることは明らかである。これらの変更、等価物、代替物は全て、本発明の思想及び範囲内に含まれる。

標準の列方向の読出アーキテクチャを有するＣＭＯＳのｉＳｏＣのカラムゲインずれをデジタル的に補正するカラムゲイン補正方法を開示する。本発明では、少なくとも１つの特別な目的のための画素（すなわちテスト画素）と、列毎のデジタルメモリ素子とを備える。少なくとも１つのテスト画素は、連続した調整を容易にするために各フレーム毎にサンプリングされ、この連続した調整では、生の列方向のゲインパターンに対するあらゆる動的な変化を追跡することを可能にする。図１は、テスト画素の実施の形態を示す図である。各テスト画素中のソースフォロワトランジスタのゲートは、２つのＤ／Ａ変換器（以下、ＤＡＣという。）ＤＡＣ１及びＤＡＣ２を用いることによって調整される電圧を供給する専用の回路網に接続されている。マルチプレクサＭＵＸは、相関二重サンプリングを容易にするリセット電圧及び出力信号電圧を模倣（mimic）するために、一方のＤＡＣの出力電圧から他方のＤＡＣの出力電圧に回路網を切り換えるのに用いられる。２つのＤＡＣの出力電圧は、図２に示す信号読出回路のＡ／Ｄ変換器（以下、ＡＤＣという。）２０のダイナミックレンジの大部分をカバーするテスト信号を供給するために調整される。デジタル読出経路（digital readout path）には、論理ブロック２２が、正規の画素（regular pixels）とテスト画素とを区別するために追加されている。論理ブロック２２は、テスト画素のデータを利用して、小さな、デジタルのゲイン補正値（補正値は＋／−の符号付きである）を計算する。これらの補正値は、メモリ、例えばＲＡＭ２１に記憶される。そして、正規の画素のデータが論理ブロック２２を通過するとき、符号付きの補正値は、カラムゲイン応答を調整するのに用いられる。好ましい実施の形態では、論理ブロック２２は、例えば図３（Ｂ）のフローチャートで説明する各動作を実行するように設計された個別の論理ブロックである。また、論理ブロック２２は、例えば図３（Ｂ）のフローチャートで説明する動作に対応するソフトウェア命令を実行するプロセッサとして実現することもできる。

ｉ列の補正値は、以下のように表わされる。

ここで、Δ_ｉは、以下のように表わされる。

ｎ_ｉは、メモリに記憶される列当たり１個の符号付き補正値であり、ｓは、未補正のカラムゲインずれのダイナミックレンジに、利用可能メモリ（available memory）を一致させるために調整されるスケーリングパラメータである。ゲイン補正は、実際の光信号（photo-signal）に加算されるだけなので、「黒」の基準レベル（以下、blackrefともいう。）は、データ（data_in）から最初に減算される。blackref値は、無光状態のときに記憶されたＡＤＣ２０の出力値、すなわち無光状態のときの黒基準画素（black reference pixel）からの出力値と等しくなければならない。

スケーリングパラメータｓは、メモリのダイナミックレンジが最大限に利用できるように、補正のステップサイズを調整するのに用いられるレジスタ調整パラメータ（register adjustable parameter）である。好ましくは、列オフセットの実際のばらつきがメモリ空間、すなわち所定の利用可能なビット数に完全に収まるように調整される。スケーリングパラメータｓを変化させて、変化させたスケーリングパラメータｓ毎にカラムゲインの応答のばらつきを測定する。そして、そのばらつきの最低の測定点が標準設定値として選択される。この測定点は、図４（Ａ）及び（Ｂ）のシミュレーション結果において、各グラフの最小値として表れており、ｘ軸は１／（２^Ｓ）である。各列バッファ回路のゲイン設定のために、スケーリングパラメータｓを較正しなければならない。

現在のデータがテスト画素からのものであるとき、ゲイン補正値は、そのデータに最初に加算される。そして、得られる値は、ユーザが調整できる目標基準値（又は目標値）と比較される。そして、補正値が目標基準値以上となるか未満となるかによって、メモリ内の補正値ｎ_ｉは、増加又は減少される。目標基準値は、テスト画素からの信号値（data_in-blackref）の実際の平均値に一致するように設定される。このことは、ゲイン補正値をメモリのダイナミックレンジの中心に置くとともに、正味の偏り（net bias）をゲイン全体にわたって生じさせないことを保証することが必要であるということである。

さらに、符号付き除算論理回路を設けることにより、より速く動作を収束させることができ、それにより、１つのサンプリング値が、補正値があるべき最初の推定値を得るために用いられる。

図３の（Ａ）は、本発明の一実施の形態のカラムゲイン補正装置の起動中のフローチャートである。撮像素子は、起動され、設定される（ステップ３０）。そして、テスト画素の２つのＤＡＣ（ＤＡＣ１及びＤＡＣ２）出力は、利用可能なダイナミックレンジの大部分を占める信号レベルを供給できるように調整される（ステップ３１）。そして、目標基準値（target signal level）は、テスト画素の信号レベルの平均値に一致するように調整される（ステップ３２）。メモリ内のゲイン補正値は、ゼロにリセットされ（ステップ３３）、そして、撮像素子は、画素アレイから画素信号の読出を開始する（ステップ３４）。

図３の（Ｂ）に通常のゲイン補正処理のためのフローチャートを示す。画素信号がサンプリングされ、メモリに記憶されている現在の列用のゲイン補正係数が読み出される（ステップ３６）。黒基準値が、画素信号データから減算され（ステップ３７）、ゲイン補正値が、画素信号データに加算される（ステップ３８）。現在の画素がゲイン補正用のテスト画素であるかが判定される（ステップ３９）。現在の画素がテスト画素であるときは、ゲイン補正値が、目標値以上であるか否かが判定される（ステップ４１）。ゲイン補正値が目標値以上のときは、メモリ内のゲイン補正値は、「プッシュダウン」（pushed down）され（ステップ４３）、それ以外のときは、メモリ内のゲイン補正値は、「プッシュアップ」（pushed up）される（ステップ４２）。なお、ステップ３９において、画素がテスト画素でないときは、黒基準値が、補正された画素信号データに加算され、画素信号データが出力され（ステップ４０）、処理は、ステップ３５に戻って、次の画素をサンプリングする。

全てのカラムゲインずれが光ショットノイズ（photon shot noise）によってマスクされる必要条件は、必要なメモリ幅（memory depth）が以下の２つの要因によって決まるというものである。初期のカラムゲインずれの要因がアナログ領域にあるということと、最大の光電子蓄積にある（飽和している）ということである。図４の（Ａ）及び（Ｂ）に示すシミュレーションは、利用可能なメモリ幅（すなわちビット数）のカラムゲイン補正の品質に対する影響を示している。例えば、カラムゲインずれの標準偏差が１．０％である撮像素子は、３５０００ｅ−で飽和することがシミュレーションされている。スケーリングパラメータｓを各メモリ幅毎に変化させて、最適に調整された点を見つけている。対数軸であるｘ軸に示される量は、１／２^Ｓである。図４の（Ａ）のグラフは、補正されたカラムゲインずれを対数軸でパーセント表示している。図４の（Ｂ）は、光ショットノイズに対するカラムゲインずれの比を示している。目標値は、このグラフ上の１０％以下の曲線である。これらの条件のために、メモリ幅は、６ビットであることを示すことができる。

本発明の一実施の形態におけるいくつかの部分は、一般的な手法や専用のコンピュータ、あるいは、本発明の開示によりプログラミングされたマイクロプロセッサを用いて実現することができ、このことは、当業者にとって明らかである。

本発明の開示に基づいて、当業者は直ちに適切なプログラミングをすることができ、そのことは当業者にとって明らかである。本発明は、特定用途向けＬＳＩ（ＡＳＩＣ）を準備することにより、また既存部品を適切に相互接続することにより、実現することができ、このことは、当業者にとって明らかである。

上述の好ましい実施の形態の様々な変更及び修正は、本発明の範囲及び精神を逸脱しない範囲で行うことができることは、当業者にとっては明らかである。したがって、特許請求の範囲内において、特にここに説明した実施の形態以外の形態で、発明を実施できることは、言うまでもない。

Claims (8)

1. 撮像素子のカラムゲインずれを補正するカラムゲイン補正方法において、上記撮像素子の少なくとも１つのテスト画素から、テスト信号を読み出すステップと、上記テスト信号を目標値と比較するステップと、上記比較した結果に基づいて、補正値を計算するステップと、上記補正値をメモリに記憶するステップと、光画素信号を読み出すステップと、光に露光されることがない画素である黒基準画素から黒基準値を決定するステップと、上記メモリに記憶されている上記補正値に基づいて、上記光画素信号を変更するステップと、変更された光画素信号出力するステップとを有し、各列のメモリに記憶された符号付きの補正値をｎ _ｉ とし、スケーリングパラメータをｓとすると、撮像素子の各列における各画像画素信号は、以下の式に従って修正されることを特徴とするカラムゲイン補正方法。
   

   

   
2. 上記全てのステップは、上記撮像素子の各列毎に実行されることを特徴とする請求項１記載のカラムゲイン補正方法。
3. 上記テスト画素の数は、複数であることを特徴とする請求項２記載のカラムゲイン補正方法。
4. 上記目標値は、上記テスト信号の値の平均値から上記黒基準値を減算した値に設定されることを特徴とする請求項２記載のカラムゲイン補正方法。
5. 上記補正値は、符号付きの補正値であることを特徴とする請求項４記載のカラムゲイン補正方法。
6. 上記スケーリングパラメータｓは、上記メモリ内で、上記補正値の利用可能な範囲を最大にするように設定されることを特徴とする請求項５記載のカラムゲイン補正方法。
7. 上記補正値ｎ_ｉの初期値は、以下の式により計算されることを特徴とする請求項６記載のカラムゲイン補正方法。
   

   
8. 撮像素子のカラムゲインずれを補正するカラムゲイン補正装置において、
   少なくとも１つのテスト画素と、
   上記少なくとも１つのテスト画素用の信号電圧及びリセット電圧を供給する少なくとも２つのデジタル／アナログ変換器と、
   ゲイン補正値を記憶するメモリと、
   上記少なくとも１つのテスト画素からの出力信号と、上記撮像素子内の列からの画像画素信号とを処理する論理回路とを備え、
   上記論理回路は、
   上記メモリから上記ゲイン補正値を読み出し、
   入力信号から黒基準値を減算し、
   上記入力信号に、上記ゲイン補正値を加算し、
   上記入力信号がテスト画素信号であるか、画像画素信号であるかを判定し、
   上記テスト画素信号の場合、補正された入力信号を目標値と比較し、該比較に基づいて、上記メモリ内の上記ゲイン補正値を増加又は減少させ、
   上記画像画素信号の場合、補正された入力信号に上記黒基準値を加算して、その結果を出力し、
   各列のメモリに記憶された符号付きの補正値をｎ _ｉ とし、スケーリングパラメータをｓとすると、撮像素子の各列における各画像画素信号は、以下の式に従って修正されるカラムゲイン補正装置。
   

   

   

Images