JP4798400B2 - 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置 - Google Patents

Description

本発明は、半導体撮像装置一般に関し、半導体撮像装置におけるノイズ低減および不要なアーチファクト（artifact）の抑制に関する。

相補性金属酸化膜半導体（CMOS）撮像装置は、画素の行（row）および列（column）からなるセンサ・アレイを用いる。各画素は、様々な波長の光に対して感度を有する。ある画素が感度を有する波長の光を受けると、その感知した光の強度に応じた電荷を生成する。そして、センサ・アレイが感知した光にもとづき各画素から出力された電荷の組み合わせが、センサ・アレイ上に投影された画像として表現される。このように、CMOS撮像装置は、光による画像を電気信号に変換することができる。この電気信号は、例えば、デジタル画像の生成に用いることができる。

CMOS撮像装置を使用して生成されたデジタル画像は、センサ・アレイ上に投影された光による画像の忠実な再現であることが望ましい。しかし、様々なノイズ源が各画素の出力に影響することで、得られるデジタル画像に歪みが生じうる。ノイズ源のうちセンサ・アレイ全体に影響を及ぼすものに関しては、画像フレーム全体に対し、センサ・アレイに含まれる画素からの出力を補正する必要がある。センサ・アレイ全体の画素出力に対する補正手段の一つとしては、基準黒レベルの設定（後述）、がある。一方、センサ・アレイの一部のみに影響するノイズ源もある。例えば、集積回路の製造工程におけるばらつきにより撮像装置内の回路構造に不整合が生じ、特定の行に対してノイズが現れる可能性がある。この特定行に対するノイズの影響を受けると、撮像装置内の複数行、または複数行のまとまりにおいて、同じ光が入射しても出力が異なってきてしまう可能性がある。

撮像装置内の黒レベル補正値を設定し特定行に対するノイズの影響を除去するには、図１に示すように、暗画素行および暗画素列が用いられる。図１は、N列の画素列とR行の画素行からなる画素アレイ１１０を有する、撮像装置１００の図である。画素アレイ１１０は、アクティブ領域１１２、暗画素行１１５および暗画素列１１７を有する。図１には示さないが、暗画素行１１５はアクティブ領域１１２の上部に設けてもよく、暗画素列１１７はアクティブ領域１１２の左側に設けてもよい。画素行の読み出しを開始すると、各画素列においてその行に対応して平行に位置する画素からの出力（N画素分の出力）が抽出され、各行ごとに、コンデンサ群１２０に記憶される。各画素は、アナログ信号処理ブロック１３０の処理を受けてからA／Dコンバータ１４０によってデジタル化される。デジタル化された一連の画素は、デジタル処理（ブロック１５０）を施されたのち出力バッファ１７０に入力される。この暗画素行１１５から得られデジタル化されたデータに基づき、フィードバック・ループ１６０を用いて画像フレームごとの黒レベルが調整される。一般的に、各画素からの出力は、A／Dコンバータ１４０への入力前、または入力後に、ノイズ低減処理（ブロック１５０）を受ける。

暗画素列１１７および暗画素行１１５は、画素アレイ１１０において受光をしない、あるいは画像データを取り込まない領域である。この暗画素行１１５および暗画素列１１７に含まれる画素からの出力が、画素アレイ１１０全体の黒レベルの設定と、特定行に対するノイズの補正の双方に用いられる。

補正技術のひとつとして、暗画素列１１７および暗画素行１１５に含まれる画素を金属板で遮り画像データを取り込まないようにする方法がある。金属板により光を遮断された
画素は、光学的黒画素と呼ばれる。理論的には光学的黒画素は光を全く感知しないため、光学的黒画素が発する電荷はすべて、内部ノイズに起因するものであり、しばしば暗電流と呼ばれる。したがって、ノイズを補償する手段のひとつとして、光学的黒画素の出力値の平均＝平均ノイズ値を算出し、アクティブ領域１１２内の画素の出力から減算するという方法がある。例えば、暗画素行１１５に含まれる光学的黒画素の平均出力を求め（ブロック１５０）、アクティブ領域１１２および暗画素列１１７内の各画素の出力から減算することにより、適切な黒レベルを設定することができる。また、暗画素列１１７に含まれる光学的黒画素の出力を各行ごとに求め（ブロック１５０）、アクティブ領域内の対応する行の各画素の出力から減算するという方法でも画素アレイ１１０の特定行に対するノイズを補償することができる。

実際には、画素アレイ１１０内の各画素行の出力は連続的に読み出されるため、暗画素行１１５に含まれる画素の出力から読み出しを始める。暗画素行１１５から光学的黒レベルを求め（ブロック１５０）、得られた黒レベルを、続くアクティブ領域１１２および暗画素列１１７に含まれる出力に適用する。このように調整された、暗画素列１１７に含まれる光学的黒画素からの出力を用い、特定行に対するノイズを補正する。すなわち、暗画素列１１７において任意の行に対応する光学的黒画素の出力の平均を求め（ブロック１５０）、アクティブ領域１１２の対応する行に含まれる各画素の出力から減算する。

黒レベル値の算出に光学的黒画素を用いる場合、光学的黒画素が反応するのは、バッググラウンドノイズや内部ノイズだけではない、という問題がある。例えば、無作為に現れる局所的なノイズ源に光学的黒画素が反応してしまうと、算出される黒レベルに不自然な影響を及ぼしうる。例えば、ある画素からブルーミングが発生した際、光学的黒画素が余分な電荷を生成することがある。ブルーミングとは、ある画素の飽和容量以上の過剰な入射光が原因で起きる現象である。この場合、その画素が感知した光に応じて生成した電荷を保持しきれず、あふれた電荷が隣接画素に悪影響を及ぼすことがある。ブルーミングにより光学的黒画素が余分な電荷を生成した場合、不自然に高い黒レベルが得られることになる。また、赤外線（IR）反射によっても余分な電荷が発生しうる。赤外線反射は、画素アレイ１１０に含まれる画素に赤外線光が入射し、撮像装置１００内で捕捉状態になると起きる現象である。画素は赤外線光にも反応し、電荷を生成するため、複数の光学的黒画素に対し繰り返し反射が起きた場合、やはり生成される電荷量が不自然に多くなる。これらの場合、光学的黒画素の反応に基づく黒レベルは、上述のノイズ源に起因して生成された電荷により、概して望ましい黒レベルよりも高くなる。

光学的黒画素を用いた黒レベル値の設定に関する問題点に対し、画素アレイ１１０におけるノイズ補正の別の手段として、暗画素行１１５に含まれる各画素のフォトダイオードを、一定電圧に固定する方法がある。一定電圧とはつまり、画素アレイ１１０の黒レベルを一定にすることに相当する。この方法は、黒レベルの算出がブルーミングや赤外線反射などの影響を受けず、画像のすべてのフレームで一定不変の黒レベルを使える、という利点を有する。しかし、電圧固定画素（tied pixels）は、暗電流などの特定行に対するノイズの変化に全く反応しない。よって、電圧固定画素を用いて黒レベルを設定すると、暗電流によるノイズを正確に補償することができない可能性がある。

したがって、電圧固定画素および光学的黒画素の特長を利用して効果的に安定した黒レベル値を算出し、固体撮像装置（例えばCMOS撮像装置）における各画素からの出力に適用することのできる、方法および装置を用いることが望ましい。

画素行および画素列からなるアクティブ領域を有する、撮像画素アレイを提供する。撮像画素アレイはまた、アクティブ領域内の画素行の延長上に位置する、複数の暗画素列を
有する。複数の暗画素列は、電圧固定画素からなる。撮像画素アレイはまた、アクティブ領域に隣接し、アクティブ領域内の画素列の延長上に位置する、複数の暗画素行を有する。複数の暗画素行は、光学的黒画素と、電圧固定画素とからなる。

同様に、撮像装置の画素補正値を設定する装置および方法を提供する。装置および方法はともに、アクティブ領域、複数の暗画素列および複数暗画素行からなる画素アレイを用いる。複数の暗画素列は電圧固定画素からなり、複数の暗画素行は、光学的黒画素と、電圧固定画素とからなる。

さらに、アクティブ領域、複数の暗画素列および複数暗画素行からなる画素アレイを用いる撮像装置および撮像システムを提供する。複数の暗画素列は電圧固定画素からなり、複数の暗画素行は、光学的黒画素と、電圧固定画素とからなる。

本発明の例示的な一実施形態において、撮像装置は、生成する画像に対し、電圧固定画素と光学的黒画素とを用い安定した黒レベルを算出する。図２に示す撮像装置２００（例えばCMOS撮像装置など）は、画素アレイ２１０、保持コンデンサ群２２０、アナログ信号処理ブロック２３０、A／Dコンバータ群２４０、読み出しバッファ群２７０、黒レベル補正回路２５０、およびフィードバック・ループ２６０を備える。画素アレイ２１０は、アクティブ領域２１２、暗画素行２１５および暗画素列２１７からなる。暗画素行２１５は、光学的黒画素の行２８５（光学的暗画素行２８５）と、電圧固定画素の行２８０（電圧固定画素行２８０）とからなる。暗画素列２１７は、電圧固定画素のみからなる。電圧固定画素行２８０は暗電流を感知しないため、光学的暗画素行２８５と電圧固定画素行２８０の出力は異なりうる。光学的暗画素行２８５と電圧固定画素行２８０からの読み出しレベルの差を求め（黒レベル補正回路２５０）、得られた差を追加黒レベル補正値として画像領域全体に適用することにより、光学的暗画素行と電圧固定画素行の出力の差を補償することができる。例えば、回路２５０において暗画素行２１５の各行ごとの光学的黒画素および電圧固定画素の平均出力を計算する。次に、暗画素行２１５に含まれるすべての光学的暗画素行２８５についての光学的黒画素の平均出力と、暗画素行２１５に含まれるすべての電圧固定画素行２８０についての電圧固定画素の平均出力を計算する。最後に光学的黒画素の平均出力と、電圧固定画素の平均出力との差を求め、得られた差を、黒レベル補正値として用いる（フィードバック・ループ２６０）。

しかし、異なる行に含まれる画素からの出力を比較する際に誤差が発生する可能性がある。つまり、光学的黒画素または電圧固定画素の行を抽出し、各行ごとの平均値を計算してゆく時に、特定行に対するノイズが、得られる値に影響しうる。この特定行に対するノイズの影響に起因する計算結果の不確定性は、十分な数の光学的暗画素行２８５の出力を用いて平均を計算し、得られたより正確な光学的暗画素行の平均出力と、十分な数の電圧固定画素行２８０の出力から得られた平均出力との差を求めることで解決できる。しかし、特定行のノイズの影響に対して有効に平均値を求めるには、画素１色につき約３２行を抽出する必要がある。３２行分の平均は、１行につき、３２コマ分の値を抽出すれば求められるが、この方法は、撮像装置に対し新たにゲイン設定がなされた際、新たな設定に基づく補正係数を得るまでに３２コマ（フレーム）分の時間がかかるという問題点を有する。これに対し、暗画素行を読み出している間に補正値を決定し、アクティブ領域内の先頭の行の読み出しが始まる前に新しい補正係数を算出できる方法が望ましい。ここでやはり、撮像装置のゲイン設定と積分時間に対し適切な黒レベルの平均値を得るため、３２行分の暗画素行を読み出して平均値を求め、電圧固定画素の出力と比較する必要がある。しかし、暗画素行の必要数が多くなることは望ましくない。暗画素行２１５が増えると、画素アレイ２１０のサイズを拡大し、ひいてはコストを増加させるだけでなく、１コマの読み出しにかかる時間が長くなるため、撮像装置のフレームレートに悪影響を及ぼす。

本発明の改良された一実施形態において、図３に示す撮像装置３００は、画素アレイ３１０に含まれる暗画素行３１５の各行に、光学的黒画素３８５と電圧固定画素３８０とが配置されている。図３に示すように、撮像装置３００はまた、保持コンデンサ群３２０、アナログ信号処理ブロック３３０、A／Dコンバータ群３４０、読み出しバッファ群３７０、黒レベル補正回路３５０、およびフィードバック・ループ３６０を備える。画素アレイ３１０は、アクティブ領域３１２、暗画素行３１５および暗画素列３１７からなる。先の記述から示唆されるように、光学的黒画素３８５と電圧固定画素３８０の出力は異なることがあり、その差を処理する必要がある。しかし、本発明の改良された本実施形態においては、光学的黒画素と電圧固定画素の出力の差に関し、特定行に対するノイズの影響を考慮する必要がない。つまり、１つの行に含まれる画素すべてが特定行に対するノイズを感知するため、電圧固定画素３８０の出力と光学的黒画素３８５の出力を比較する際に、特定行に対するノイズを抑えるため多数の行から繰り返し抽出を行う必要がない。論理的には、暗画素行１つ分のみで適切な黒レベル値を生成することができる。任意の行の電圧固定画素３８０の平均出力が第１の黒レベル値となり、その行における電圧固定画素の平均出力と光学的黒画素の平均出力の差が、追加補正値となる。電圧固定画素に関する値および追加補正値の算出は黒レベル補正回路３５０にて行われ、これらを合算した結果を後続の画素の出力に適用し（フィードバック・ループ３６０）、適切な黒レベルを設定する。実際には、冗長性の確保、および黒レベル算出結果の改善、双方の観点から、必要に応じて、数行分の暗画素行を用いてもよい。

暗画素行３１５における電圧固定画素３８０および光学的黒画素３７０の物理的配列は、光学的黒画素３８５と電圧固定画素３８０が交互に配置された格子状とすることができる。あるいは、暗画素行３１５を中央で２つに分割し、片側に光学的黒画素３８５を、もう一方の側に電圧固定画素３８０を配置してもよい。行を分割する場合、光学的黒画素３８５と電圧固定画素を配置する側を交互に入れ替え、平均化によって画素アレイ３１０における局所的問題に起因したノイズ・アーチファクトを低減する効果を高めることが望ましい。その他、n個の連続した電圧固定画素に、n個の連続した黒画素が続くあらゆる繰り返しパターンを用いることができ、ここで、nは１より大きく、暗画素行３１５における全画素数の半分より小さい整数である。一般的に、暗画素行３１５においては、電圧固定画素３８０と光学的黒画素３８５との対称的配列が適当である。

黒レベル補正回路３５０の動作を図４にまとめた。暗画素行３１５の画素の出力値を読み出すと、黒レベル補正回路３５０は、暗画素行３１５の各行について、光学的黒画素の出力値の平均と、電圧固定画素の出力値の平均を測定する（ブロック４１０）。各行について、光学的黒画素の出力値の平均と電圧固定画素の出力値の平均との差を算出する（ブロック４２０）。暗画素行３１５のそれぞれに関して、ブロック４１０とブロック４２０の工程をくりかえす（ブロック４３０）。各行について光学的黒画素の出力値の平均と電圧固定画素の出力値の平均との差を算出できたら、今度はその差の平均を計算する（ブロック４４０）。算出した差の平均を、電圧固定画素の出力値に加算して、総合黒レベル値を求める（ブロック４５０）。アクティブ領域３１２もしくは暗画素列３１７から画素の出力値を読み出した場合には、アクティブ領域３１２および暗画素列３１７内の各画素の出力値から、総合黒レベル値を減算することで、黒レベル補正を行う（ブロック４６０）。

上述の本発明の実施形態では、画素アレイに含まれる画素からのアナログ画素信号に対し黒レベル補正処理を行うことによって、適切な黒レベルを設定する。このアナログ黒レベル補正は、黒レベル補正回路２５０、３５０およびフィードバック・ループ２６０、３６０（図２および図３）により実施される。しかし、黒レベル補正処理はまた、デジタル画素信号に対しても行うことができる。この場合、黒レベル補正回路２５０、３５０の動
作は上述したものと同様だが、フィードバック・ループ２６０、３６０は画素の出力をデジタル化した後、画像ごとの黒レベル調整に用いられる。また、ノイズ補正モジュール２５０、３５０によりデジタル化した画素出力の黒レベル補正を行うことで、黒レベル補正は、ハードウェアでも、またソフトウェアによっても実現できる。黒レベル補正をソフトウェアにより実現する場合は、撮像装置２００、３００と一体化してもよく、あるいは、記録媒体（carrier medium）に記録され、コンピュータ・システムにインストールするスタンド・アロン型のソフトウェア製品とすることもできる。

図５は、本発明による撮像装置１０３０を備える典型的なプロセッサ・システム１０００を示す。プロセッサ・システムは、撮像装置を含みうる、デジタル回路を備えたシステムの一例である。限定する意図ではないが、そのようなシステムには、コンピュータ・システム、カメラ・システム、スキャナ、マシンビジョン・システム、車両ナビゲーション・システム、ビデオ電話、監視システム、オートフォーカス・システム、星追跡システム、動き検出システム、あるいはその他の画像取得システムが含まれる。

例えば、カメラ・システムなどのプロセッサ・システムは、一般的に、バス１０９０を介して入力／出力（I／O）装置１０２０が接続された、マイクロ・プロセッサ等の中央処理装置（CPU）１０１０を備える。撮像装置１０３０もバス１０９０を介してシステムの各部と接続される。コンピュータ・システム１０００はまた、ランダム・アクセス・メモリ（RAM）１０４０を備え、また、撮像システムである場合、バス１０９０を介してCPU１０１０に接続される、リムーバブル・メモリ１０５０等の周辺機器を備えてもよい。好ましくは、撮像装置１０３０は、フォトゲートまたはフォトダイオードなどの、フォトセンサを有する画素を備えた集積回路として構成される。撮像装置１０３０は、CPU、デジタル信号プロセッサ、またはマイクロ・プロセッサ（メモリ手段を備えても備えなくてもよい）と同一集積回路上で組み合わせてもよく、あるいは、プロセッサと別のチップ上に構成してもよい。

上に説明してきた本発明の様々な実施形態は、限定ではなく、例示であると理解されるべきである。当業者にとって、本発明の趣旨および範囲から逸脱することなく、形態や細部に関する様々な変更が可能であることは自明である。従って、本発明は、上述のいずれの実施形態にも限定されるものではない。

撮像装置（センサー）を示す図である。 本発明の例示的一実施形態による撮像装置を示す図である。 本発明の他の例示的実施形態による撮像装置を示す図である。 本発明の例示的一実施形態における黒レベル補正回路の動作を示す図である。 本発明の例示的一実施形態による撮像装置を備えたプロセッサ・システムを示す図である。

Claims (13)

1. 撮像装置の画素補正値を求める装置であって、
   前記撮像装置の画素アレイに含まれる複数の暗画素行のうちの少なくとも１つに含まれる複数の光学的黒画素および複数の電圧固定画素の出力値に基づき、黒レベル補正値を算出する黒レベル補正モジュールを備え、
   前記黒レベル補正モジュールは、
   前記複数の暗画素行の各行ごとに、前記光学的黒画素の平均出力と前記電圧固定画素の平均出力を計算する平均モジュールと、
   前記各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力との差を計算する比較モジュールと、
   前記計算された差の平均を、黒レベル補正値として計算する計算モジュールと、
   を備えることを特徴とする、装置。
2. 前記複数の暗画素行における前記光学的黒画素と前記電圧固定画素が格子状に配置されることを特徴とする、請求項１に記載の装置。
3. 前記複数の暗画素行における各行が第１の側と第２の側とに２等分され、前記第１の側は光学的黒画素を含み、前記第２の側は電圧固定画素を含むことを特徴とする、請求項１に記載の装置。
4. 互いに隣接する暗画素行における前記第１の側と前記第２の側が交互に入れ替わって配置されることを特徴とする、請求項３に記載の装置。
5. 前記複数の暗画素行における前記光学的黒画素と前記電圧固定画素が対称的パターンで配置されることを特徴とする、請求項１に記載の装置。
6. 撮像装置の画素信号を補正する方法であって、
   前記撮像装置の画素アレイに含まれる複数の暗画素行の各行ごとに光学的黒画素の平均出力と電圧固定画素の平均出力を計算するステップと、
   前記各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力との差を計算するステップと、
   前記計算された差の平均を求め、黒レベル補正値を生成するステップと、
   前記黒レベル補正値を用い、前記画素アレイのうち前記複数の暗画素行でない部分に含まれる各画素の出力を補正するステップと、
   を含むことを特徴とする、方法。
7. 各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力は、前記複数の暗画素行において格子状に配置された、複数の光学的黒画素と複数の電圧固定画素から計算されることを特徴とする、請求項６に記載の方法。
8. 各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力は、前記複数の暗画素行において対称的パターンで配置された、複数の光学的黒画素と複数の電圧固定画素から計算されることを特徴とする、請求項６に記載の方法。
9. 撮像装置の画素アレイに含まれる複数の暗画素行の各行ごとに光学的黒画素の平均出力と電圧固定画素の平均出力を計算するステップと、
   前記各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力との差を計算するステップと、
   前記計算された差の平均を求め、黒レベル補正値を生成するステップと、
   前記黒レベル補正値を用い、前記画素アレイのうち前記複数の暗画素行でない部分に含まれる各画素の出力を補正するステップと、
   をプロセッサに行わせるためのプログラムを記録した記録媒体。
10. 各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力は、前記複数の暗画素行において格子状に配置された、複数の光学的黒画素と複数の電圧固定画素から計算されることを特徴とする、請求項９に記載の記録媒体。
11. 各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力は、前記複数の暗画素行において対称的パターンで配置された、複数の光学的黒画素と複数の電圧固定画素から計算されることを特徴とする、請求項９に記載の記録媒体。
12. 複数の画素行と複数の画素列とからなるアクティブ画素領域と、前記アクティブ画素領域に隣接する画素列および画素行の少なくとも１つとして配列され、光学的黒画素および電圧固定画素を含む複数の暗画素行と、を備える撮像画素アレイと、
    前記複数の暗画素行に含まれる前記光学的黒画素と前記電圧固定画素の出力に基づき、黒レベル補正値を算出する黒レベル補正モジュールと、
    を備え、
    前記黒レベル補正モジュールは、
    前記複数の暗画素行の各行ごとに、前記光学的黒画素の平均出力と前記電圧固定画素の平均出力を計算する平均モジュールと、
    前記各行ごとの前記光学的黒画素の平均出力と前記電圧固定画素の平均出力との差を計算する比較モジュールと、
    前記計算された差の平均を、黒レベル補正値として計算する計算モジュールと、
    を備えることを特徴とする、撮像装置。
13. 請求項１２に記載の撮像装置を有することを特徴とする、撮像システム。

Images