JP4265414B2 - 撮像装置 - Google Patents

Description

本発明は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等における固体撮像素子の画素欠陥を補正して画質改善を行う撮像装置に関する。

ＣＣＤやＣＭＯＳによる固体撮像素子を用いたビデオカメラやデジタルカメラ等の撮像装置においては、固体撮像素子を遮光したときに流れる暗電流によるノイズや、固体撮像素子の製作時に画素欠陥として発生する白キズ等の画質を劣化させる要因があるため、これらを削減するために様々な工夫が凝らされている。

例えば、撮像装置を遮光した状態で出力される暗電流成分のみの暗電流信号を、１画面分フレームメモリに記憶させ、この記憶した１画面分の暗電流信号を撮像装置で被写体光像を撮像したときの映像信号（被写体光像信号＋暗電流信号）から減算する方法で暗電流によるノイズを軽減する補正手段がある。

この撮像装置を遮光した状態の１画面分の暗電流信号を得る場合、撮像装置を遮光した状態で複数画面分の暗電流信号の加算平均を行い、暗電流信号からランダムノイズ成分を除いて生成する。このランダムノイズを除去した暗電流信号の１画面分をフレームメモリに記憶させ、被写体光像撮像時に読み出して用いる。

固体撮像素子自体の発熱による温度変化が激しい場合は、一定時間の間隔、あるいは被写体光像を撮影する直前に撮像装置を遮光し暗電流信号を加算平均して１画面分をフレームメモリに記憶させ、これを補正信号として用いる。

一方、撮像装置において遮光した状態で出力される暗電流信号を、所定のレベルの値と比較することで固体撮像素子上の白キズとして検出し、この検出した白キズの固体撮像素子のアドレスをメモリに記憶し、そして、撮像装置で被写体光像を撮像するときにこのメモリに記憶された白キズのアドレスの映像信号を白キズを除く周辺のアドレスの映像信号で補間する補正手段がある。

この固体撮像素子の画素欠陥による白キズの補正は、暗電流の補正とは別に行われ、予想される白キズの数量分のメモリを用意し、そのメモリに白キズのある画素のアドレスを記憶する。この場合、暗電流のレベルを記憶する補正方法とは異なり、所定のレベルの値と比較して固体撮像素子上の白キズを検出した個所の画素のアドレスのみを記憶する。

図５に従来の撮像装置例を示す。この撮像装置は、被写体１４を撮像し映像信号を出力する撮像部１、各部に制御信号を送る制御部３、データバス４、被写体光像を遮断した時の暗電流を検出し被写体光像を受光した時に暗電流成分を除去する暗電流処理部５、白キズを検出し補正する白キズ処理部６から構成される。

次に従来の撮像装置を、図６の暗電流処理部５と白キズ処理部６のブロック図を用いて動作を説明する。まず、図６（Ａ）は被写体光像を遮断して暗電流成分および白キズのデータを生成する場合の動作を示す図で、図６（Ｂ）は被写体１４を撮像して得た撮像信号から暗電流成分を減算し、白キズ部分を補間する例を示す。

最初に、撮像部１のアイリス１１を閉じて被写体光像を遮断する。そうすると撮像部１の固体撮像素子１２からは暗電流成分のみのアナログ電気信号が出力されるから、これをＡ／Ｄ１３でデジタル信号Ｄ０に変換する。

このデジタル信号Ｄ０を暗電流処理部５の画像記憶部５０に１フレーム分記憶し、ついで画像記憶部５０から記憶データＤ１を加算平均部５１に加え、加算平均部からは記憶データＤ１を最初のみそのまま加算平均データＤ２として加算平均記憶部５２に記憶する。

次に加算平均記憶部５２から加算平均用にデータＤ３として加算平均部５１に加える。加算平均部５１には次の暗電流成分のみのデジタル信号Ｄ０‘が画像記憶部５０から記憶データＤ１’としてＤ３と同時に加えられているからこれを加算した後、平均値を算出し加算平均データＤ２‘とする。

すなわち、Ｄ２‘＝（Ｄ１’＋Ｄ３）／２である。

次に、加算平均データＤ２‘を加算平均記憶部５２に記憶した後加算平均用データＤ３’として加算平均部５１へ送る。この時加算平均部５１にはその次の暗電流成分のみのデジタル信号Ｄ０“が画像記憶部５０へ記憶された後、画像記憶部５０から記憶データＤ１”として加算平均部５１にＤ３‘と同時に加えられているからこれを加算した後、平均値を算出し加算平均部５１において加算平均データＤ２“を生成する。

すなわち、Ｄ２“＝（Ｄ１”＋Ｄ３‘）／２である。

以下同様にして、暗電流成分のみのデジタル信号を所定回数加算平均して、暗電流成分のみのデジタル信号に含まれるランダムノイズを削除した暗電流データＤａ２を生成する。

一方、デジタル信号Ｄ０を白キズ処理部６の白キズ判定部６０に加え所定のしきい値Ｄｗと比較してＤ０＞Ｄｗとしきい値以上のデジタル信号Ｄ０であれば白キズと判定し、この判定した白キズ位置のアドレスを白キズデータＤ４として白キズ記憶部６１に記憶する。

固体撮像素子１２の暗電流成分は、被写体光像の受光成分３００ｍＶに対し、約１ｍＶが一般的であるが、周囲温度が高いほど増加するので、１％程度を目安にすると略３ｍＶ以上がしきい値となる。

そして次に、撮像部１のアイリス１１を開放し被写体１２の光像を撮像する。そうすると固体撮像素子１２からは「被写体光像成分＋暗電流成分」のアナログ電気信号が出力されるから、これをＡ／Ｄ１３でデジタル信号Ｄａ０に変換する。

図６（Ｂ）に示すように、このデジタル信号Ｄａ０を暗電流処理部５の画像記憶部５０に１フレーム分記憶し、ついで画像記憶部５０から記憶データＤａ１として暗電流補正部５３に加える。暗電流補正部５３には加算平均記憶部５２からは暗電流データＤａ２も同時に加えられ記憶データＤａ１から暗電流データＤａ２が減算され暗電流成分が補正された補正データＤａ３が生成される。

すなわち、Ｄａ３＝Ｄａ１−Ｄａ２である。

次に、補正データＤａ３を白キズ補正部６２に加える。そして、白キズ補正部６２には白キズ処理部６の白キズ記憶部６１から白キズデータＤ４がアドレスとして加えられている。

そして、白キズ補正部６２では、補正データＤａ３から白キズデータＤ４によるアドレス位置に周辺のアドレスの補正データＤａ３から補間データを生成して白キズ補正を行う。この白キズ補正を行った補正データＤａ３を暗電流成分と白キズを除去した出力データＤｏｕｔとして出力する。

以上説明してきたように暗電流補正と白キズ補正は別々に行われ、暗電流補正は暗電流成分の加算平均で求められた補正データを、白キズ補正は１度のみのしきい値と比較して生成したデータを用いていた。

この他の白キズ補正の方法としては、被写体光像を撮像した時に得られる映像信号から白キズを抽出して、常時補正する方法があるが、照明光のような強い光が撮像装置に照射された場合、白キズと判定するのは困難であり、また、白キズの判定自体も撮像条件によっては誤差が多くなり実用化には至っていない。
特開２００３−８３１９９ 特開平６−５４２６１ 特開平１１−１１２８８４

予め、白キズ位置としてメモリに記憶されたアドレスを用いて、白キズ周辺の映像信号で補間して白キズ補正信号を生成する補正手段においては、撮像装置の調整時に白キズを検出し、それをメモリに記憶し固定値とし用いる場合が主であり、点滅する白キズや、経時変化あるいは温度変化等で変動する白キズが発生しても、撮像装置の使用時には直ちに対応出来ず、かつ白キズのアドレス専用の記憶装置が必要であるという問題点があった。

そこで本発明は、上述した問題点を解決して、固体撮像素子に白キズが新たに発生しても、直ちに補正して、この欠陥が目立たない良好な画質の映像信号を生成する撮像装置を得ることを目的とする。

上記目的を達成するための手段として、第１の発明の撮像装置は、撮像した被写体光像（被写体１４）を光電変換する固体撮像素子から出力する撮像信号中の暗電流成分と、前記固体撮像素子を構成する多数の画素に生ずる白キズに応じた欠陥位置とを抽出して、記憶部に記憶し、前記撮像信号を前記暗電流成分と前記欠陥位置とを用いて補償し出力する撮像装置であって、前記固体撮像素子の遮光時に得た撮像信号が所定レベル以上であれば前記白キズと判定し、前記所定のレベル未満であれば暗電流成分と判定する判定部（白キズ判定部２３）と、前記暗電流成分を複数フレーム分加算平均して生成した暗電流加算平均成分に前記白キズに応じた欠陥位置に白キズを示す所定の固定値からなる白キズ成分を合成して記憶する前記記憶部（加算平均記憶部２３）と、前記固体撮像素子から出力する前記被写体光像の撮像信号から、前記暗電流加算平均成分を減算して暗電流減算撮像信号を出力する暗電流減算部（暗電流補正部２４）と、前記暗電流加算平均成分に合成された前記白キズ成分から欠陥位置を抽出して前記白キズに応じた欠陥位置の画素に隣接する画素の前記暗電流減算撮像信号を用いて前記白キズに応じた欠陥位置の画素の補間信号を生成し、前記白キズに応じた欠陥位置の画素の撮像信号と前記補間信号とを入れ替える白キズ補間部（白キズ補正部２５）と、を有する。

本発明によれば、撮像装置を使用している最中に、点滅する白キズや、経時変化あるいは温度変化等で変動する白キズが発生しても、直ちに精度よく検出、補正することが出来る。更に白キズ用のメモリと暗電流抽出による黒レベル基準データ用のメモリとを共用するため、装置の増大化、コストアップ化を防ぎ、省資源に効果がある。

以下、本発明の実施の最良の形態に付き、好ましい実施例により、図面を参照して説明する。

図１は、本発明に係る撮像装置の実施の形態を示すブロック図である。この撮像装置１００は、被写体光像を撮影してデジタルデータとして出力する撮像部１と、デジタルデータを入力し暗電流や白キズ等の画像処理を行い補正された映像信号を出力する画像処理部２と、撮像部１と画像処理部２における各信号・各データの同期や制御を行う制御部３、各データを伝送するデータバス４から構成される。

撮像部１は、レンズ１０、アイリス１１、ＣＣＤもしくはＣＭＯＳの固体撮像素子（以下固体撮像素子と略す）１２、アナログ／デジタル変換器であるＡ／Ｄ１３とを備え、アイリス１１の開閉、固体撮像素子１２の信号成分、Ａ／Ｄ１３の変換データ等の制御は制御部３の指示データＣＴＬ１により行う。

固体撮像素子１２は複数の光感光素子を２次元に配列したもので、各光感光素子は被写体光像の光量に応じて蓄積された電荷を転送出力することでアナログの映像信号を生成する。そして、アナログ／デジタル変換器１３は、固体撮像素子１２より出力されたアナログ信号をデジタルデータＤ０（被写体１４遮断時：Ｄ０、被写体１４撮像時：Ｄａ０）に変換し、データバス４に伝送する。

次に、図２を用いて画像処理部２の動作例を説明する。画像処理部２は画像記憶部２０、白キズ判定部２１、加算平均部２２、加算平均記憶部２３、暗電流補正部２４、白キズ補正部２５から主として構成される。

まず、図２（Ａ）に示すように、画像処理部２に被写体光像をアイリス１１で遮断した時の暗電流成分のみのデジタルデータＤ０を加えて、画像記憶部２０に暗電流成分のみのデジタルデータＤ０を１フレーム分記憶する。

次に、画像記憶部２０から暗電流成分のみのデジタルデータＤ０を記憶データＤ１として取り出し白キズ判定部２１に加え、所定のしきい値Ｄｗと比較してＤ１＞Ｄｗと、しきい値以上のデジタル信号Ｄ１であれば白キズと判定し、白キズデータＤｍａｘに変換する。

そして、この白キズデータＤｍａｘを含んだ白キズ判定データＤ２を加算平均部２２に加えることにより出力される加算平均データＤ３を加算平均記憶部２３に記憶する。（最初は加算平均するための１フレーム前のデータが無いため加算平均は行わない。）加算平均記憶部２３からは記憶された加算平均データＤ３を記憶データＤ４として読み出し加算平均部２２に加える。

この時、撮像装置１からは、次のフレームのデジタルデータＤ０‘が画像処理部２に加えられ記憶データＤ１’、白キズ判定データＤ２‘と順次処理されて加算平均部２２に記憶データＤ４と共に加えられる。加算平均部２２では白キズ判定データＤ２‘と記憶データＤ４とを加算して平均値Ｄ３’を算出する。

すなわち、Ｄ３‘＝（Ｄ２’＋Ｄ４）／２である。
平均値については、例えば、最初はＤ４，２回目は（Ｄ２‘＋Ｄ４）／２＝Ｄ３’→Ｄ４‘，３回目は（Ｄ２“＋２Ｄ４‘）／３＝Ｄ３“→Ｄ４”、４回目は（Ｄ２“＋３Ｄ４“）／４、のように各フレームの重み付けを均一になるよう配慮する。

加算平均記憶部２３の容量に余裕がある場合は、暗電流成分のデジタルデータの加算を全て行ってから加算回数で除算して加算平均値を算出する。

この場合、加算平均部２２では暗電流成分のデジタルデータの加算を全て行った後加算回数で除算して加算平均値を得、この加算平均値を加算記憶部２３に暗電流データとして記憶する。

この時、白キズ判定データＤ２‘に含まれる白キズデータＤｍａｘが同じアドレスにあればそのままＤｍａｘとなるが、それ以外のアドレスでも、ここでは白キズ判定データＤ２‘と記憶データＤ４のどちらかがＤｍａｘ値を示していれば、両方ともＤ３’の白キズデータとしてＤｍａｘに設定する。

従って、加算平均部２２では加算平均値Ｄ３，Ｄ３‘，．．．がＤｍａｘ以上であれば全てＤｍａｘに設定する。

以下同様にして、暗電流成分のみのデジタルデータＤ０を所定フレーム回数加算して平均を算出し、暗電流成分に含まれるランダムノイズを除去した暗電流データＤａ２を生成する。この暗電流データＤａ２には白キズデータＤｍａｘが白キズのあるアドレスに格納されている。

デジタルデータＤ０を所定フレーム回数加算して平均する時の所定フレーム回数は、ランダムノイズの周期によっても異なるが、略４〜１２０回の範囲とすれば、十分である。あまり長くすると時間がかかるのみで効果的ではない。例えば、１フレーム所要時間を１/３０秒とすると、３０回で１秒であり１２０回で４秒となるから、手動で行う場合は５０〜１２０回と長くする代わりに間隔を長くし、定期的に自動で行う場合は１０〜２０回前後として間隔を短くすれば画像を見ていても目立たなく効果的である。

一方、白キズデータＤｍａｘは、加算平均時にしきい値Ｄｗより大となるよう設定する。すなわちＤｍａｘ＞Ｄｗとする。このようにしておけば、連続して発生している白キズのみでなく、点滅する白キズに対しても加算期間に発生すれば、加算時に抽出できる。この時の、しきい値未満のデジタルデータＤ０は言うまでもなく暗電流成分である。

次に、図１の撮像装置１００を用いて、実際の画像として被写体１４を撮像する場合の動作例について説明する。まず、撮像部１のアイリス１１を開け、レンズ１０により被写体１４の光像を固体撮像素子１２に結像する。そして固体撮像素子１２から出力されたアナログ信号を、Ａ／Ｄ１３でデジタルデータＤａ０に変換する。

デジタルデータＤａ０はデータバス４経由で画像処理部２に加えられ、暗電流補正と白キズ補正を行い映像信号Ｄｏｕｔとして撮像装置１００から出力される。制御部３は撮像部１と画像処理部２の制御を行う。

次に、図２（Ｂ）を用いて画像処理部２の詳細な説明を行う。まず、デジタルデータＤａ０を画像記憶部２０に１フレーム分記憶する。そして画像記憶部２０から記憶データＤａ１を読み出し、暗電流補正部２４に加える。一方、加算平均記憶部２３からは暗電流データＤａ２を読み出して暗電流補正部２４に記憶データＤａ１と共に加える。

そして、暗電流補正部２４では（Ｄａ２−Ｄａ１）の演算を行い、暗電流補正された補正済みデータＤａ３を生成する。

次に、暗電流補正部２４から補正済みデータＤａ３を、加算平均記憶部２３からは暗電流データＤａ２に含まれる白キズデータＤｍａｘのアドレスデータＤａ４を白キズ補正部２５に加える。

そして、白キズ補正部２５では補正済みデータＤａ３に含まれる白キズ位置のアドレスにそのアドレスの周辺の補正済みデータから補間データを生成することにより、暗電流と白キズの補正されたデータＤｏｕｔを生成し撮像装置１００から出力する。

更にフローチャートを用いて動作を説明する。図３は補正データ作成時のフローチャートを、図４は被写体を撮像する時のフローチャート例を示す。

図３において、まず撮像装置１００の電源をＯＮにし、アイリス１１を閉じる（Ｓ１０１，Ｓ１０２）。次に暗電流の加算回数をカウントするフレームカウンターのカウント数Ｎをリセットする（Ｓ１０３）。

そして、アイリス１１が閉じられた時撮像部１から出力される暗電流データＤ０を画像記憶部２０に１フレーム分記憶する（Ｓ１０４）。次に画像記憶部２０のアドレスＭをリセットする（Ｓ１０５）。

フレームカウンターのカウント数Ｎが０の場合は暗電流データの加算は行わないから画像記憶部２０に記憶された暗電流データＤ０の記憶データＤ１の白キズ判定を順次行い（Ｓ１０８）、加算平均記憶部２３に白キズ判定データＤ２を記憶する（Ｓ１１１）。

そして、１フレーム分のアドレスＭｍａｘに達したら（Ｓ１１３）、次のフレームの暗電流データＤ０を画像記憶部２０に記憶し（Ｓ１０４）、白キズ判定後（Ｓ１１５）加算平均記憶部２３に記憶されている１フレーム前の暗電流データＤ４（Ｓ１１１で記憶された白キズ判定データＤ２）との加算を行う（Ｓ１１７）。

次に、加算されたデータＤ３を加算平均記憶部２３に記憶する（Ｓ１１９）。この時白キズ判定で白キズと判定されていれば白キズ判定データＤｍａｘが加算平均記憶部２３に記憶される（Ｓ１１６，Ｓ１１８からＳ１１９）。この白キズ判定データＤｍａｘは暗電流データＤ０の加算データＤ３には含まれない数値を設定する。例えば、加算平均記憶部２３に記憶できる最大値とする。

加算平均記憶部２３から１フレーム前の加算データＤ４を読み出す時に白キズ判定を行う（Ｓ１２０）。この時白キズと判定されると加算は行わず、次のアドレスを設定する（Ｓ１２１）。従って白キズ判定が加算時に一度でも発生すれば、そのアドレスのデータは白キズ判定データＤｍａｘとして継続される。

そして、加算は設定されたフレーム回数Ｎｍａｘ行われる。従って暗電流データはＮｍａｘフレーム分加算され、白キズデータを付加された状態で加算平均記憶部２３に記憶される。

Ｎｍａｘフレーム分加算された暗電流データＤ４は平均値を算出し加算平均暗電流データＤａ２とする（Ｓ１２３）。この時白キズデータＤｍａｘはそのまま保存される（Ｓ１２７）。

次に、加算平均記憶部２３に記憶された暗電流データを用いて、被写体１４を撮像する場合の動作例を説明する。図４において、まず撮像部１のアイリス１１を開けて被写体１４の光像を固体撮像素子２に結像させ、画像記憶部２０に被写体データＤａ０を１フレーム分記憶する（Ｓ２０１，Ｓ２０２）。

そして、加算平均記憶部２３から暗電流データＤａ２と、画像記憶部２０から被写体データの記憶後のデータＤａ１とを読み出し（Ｓ２０４，Ｓ２０６）、Ｄａ１からＤａ２を減算することにより暗電流成分が削除されたデータＤａ３を得る（Ｓ２０８）。

データＤａ３は数ライン分白キズの補間用データとして順次蓄積し（Ｓ２０９）、暗電流データＤａ２の中に白キズ判定データＤｍａｘを検出するとその検出した時のアドレスデータＤａ４により補間用データからそのアドレスの白キズ補間データを生成し（Ｓ２１１）、補間している間の時間軸を調整したデータＤａ３に生成された白キズ補間データを合成し（Ｓ２１２）、暗電流・白キズ補正済みデータとして出力する（Ｓ２１４）。

本発明に係る撮像装置の概要を示す図である。 本発明に係る画像処理部の動作例を示す図である。 本発明に係る補正データ作成時のフローチャートを示す図である。 本発明に係る映像信号補正時のフローチャートを示す図である。 従来の撮像装置の概要を示す図である。 従来の撮像装置の暗電流・白キズ補正の動作例を示す図である。

符号の説明

１ 撮像部
２ 画像処理部
３ 制御部
４ データバス
５ 暗電流処理部
６ 白キズ処理部
１０ レンズ
１１ アイリス
１２ 固体撮像素子
１３ Ａ／Ｄ
１４ 被写体 （被写体光像）
２０ 画像記憶部
２１ 白キズ判定部 （判定部）
２２ 加算平均部
２３ 加算平均記憶部 （記憶部）
２４ 暗電流補正部 （暗電流減算部）
２５ 白キズ補正部 （白キズ補間部）
５０ 画像記憶部
５１ 加算平均部
５２ 加算平均記憶部
５３ 暗電流補正部
６０ 白キズ判定部
６１ 白キズ記憶部
６２ 白キズ補正部
１００ 撮像装置

Claims (1)

1. 撮像した被写体光像を光電変換する固体撮像素子から出力する撮像信号中の暗電流成分と、前記固体撮像素子を構成する多数の画素に生ずる白キズに応じた欠陥位置とを抽出して、記憶部に記憶し、前記撮像信号を前記暗電流成分と前記欠陥位置とを用いて補償し出力する撮像装置であって、
   前記固体撮像素子の遮光時に得た撮像信号が所定レベル以上であれば前記白キズと判定し、前記所定のレベル未満であれば暗電流成分と判定する判定部と、
   前記暗電流成分を複数フレーム分加算平均して生成した暗電流加算平均成分に前記白キズに応じた欠陥位置に白キズを示す所定の固定値からなる白キズ成分を合成して記憶する前記記憶部と、
   前記固体撮像素子から出力する前記被写体光像の撮像信号から、前記暗電流加算平均成分を減算して暗電流減算撮像信号を出力する暗電流減算部と、
   前記暗電流加算平均成分に合成された前記白キズ成分から欠陥位置を抽出して前記白キズに応じた欠陥位置の画素に隣接する画素の前記暗電流減算撮像信号を用いて前記白キズに応じた欠陥位置の画素の補間信号を生成し、前記白キズに応じた欠陥位置の画素の撮像信号と前記補間信号とを入れ替える白キズ補間部と、
   を有することを特徴とする撮像装置。