JP4745680B2 - 撮像装置および撮像方法 - Google Patents

Description

デジタルカメラやデジタルビデオカメラ等の撮像装置から出力された画像の補正に関する。

近年、デジタルカメラなど撮像素子を用いた撮像装置が様々な用途に使用されている。撮像素子は、製造過程において様々な種類の欠陥を生じ、異常なレベルの信号を出力する現象が発生することがある。

特に、それらの欠陥の一つとして、垂直転送レジスタの欠陥による白線等が画質上の問題となっていた。この白線は発生しているレベルが非常に小さいにもかかわらず、固定した縦線となることから画面上非常にめだち易い不都合がある。この白線はレベルが非常に小さいことによりノイズに埋もれて検出が難しく、補正することが非常に困難であった。

さらに使用される撮像素子は、年々画素数が増大するとともに、小型化により単位画素サイズが縮小傾向にあるため、これに伴い欠陥の発生も増大する可能性がある。

これらを補正する方法としては、欠陥による白線やスミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外に設けられた遮光された蓄積画素領域である垂直ＯＢ画素（オプティカルブラック：光学的黒）の出力レベルを除去基準信号とし、これを有効画面の画素出力信号から減じる方法がある。（例えば文献１）
また、撮像素子を遮光して暗時画像を取得し、撮像素子を露光して得た明時画像から差分することにより暗電流ノイズを除去する方法があった。（例えば文献２）
特開平７−６７０３８号公報 特開２００４−２６０５９６号公報

しかし、文献１および文献２においては、白線が発生している画素以外についても画素出力信号からの減算を行うため、画面全体にランダムノイズがのってしまい補正を行うとかえって画質が悪くなってしまうことがあった。

上述のような問題に鑑み、本発明では、撮像素子から出力された画像信号にノイズがのり、画質が劣化してしまう場合であっても適正に補正することのできる撮像装置を提供する。

上記の問題を解決するために、本発明の撮像装置は、被写体像を光電変換により電気信号に変換する撮像素子と、前記撮像素子を遮光するための遮光手段と、露光した前記撮像素子から出力される第１の画像信号から、前記遮光手段により遮光した前記撮像素子から出力される第２の画像信号を減算することで、前記撮像素子の転送部の欠陥に起因して前記第１の画像信号に発生する白線キズを補正する補正手段と、前記補正手段があらかじめ記憶された前記白線キズのアドレス位置においてのみ、前記第１の画像信号から前記第２の画像信号を減算するように制御する制御手段とを有し、前記補正手段は、前記第１の画像信号から前記第２の画像信号を減算した後で、前記白線キズのアドレス位置においてオプティカルブラック値を加算することを特徴とする。
また、本発明の撮像方法は、被写体像を光電変換により電気信号に変換する撮像素子を露光し、露光した前記撮像素子から出力される第１の画像信号を取得する工程と、遮光手段により遮光した前記撮像素子から出力される第２の画像信号を取得する工程と、前記第１の画像信号から前記第２の画像信号を減算することで、前記撮像素子の転送部の欠陥に起因して前記第１の画像信号に発生する白線キズを補正する補正工程と、あらかじめ記憶された前記白線キズのアドレス位置においてのみ、前記第１の画像信号から前記第２の画像信号を減算するように制御する制御工程とを有し、前記補正工程では、前記第１の画像信号から前記第２の画像信号を減算した後で、前記白線キズのアドレス位置においてオプティカルブラック値を加算することを特徴とする。

本発明によれば、画質のよい画像を得ることのできる撮像装置を提供することができる。

以下、本発明の実施例を図面に基づいて詳細に説明する。

［実施例１］
図１は、本発明の実施形態に係わる補正回路を備えた撮像装置のブロック図である。

図１に、第１の実施例の撮像装置のブロック図を示す。

１が、レンズおよび絞りからなる光学系、２が、メカニカルシャッタ（メカシャッタと図示する）、３が、撮像素子、４が、アナログ信号処理を行うＣＤＳ回路、５が、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、６が、撮像素子３、ＣＤＳ回路４およびＡ／Ｄ変換器５を動作させる信号を発生するタイミング信号発生回路、７が、光学系１、メカニカルシャッタ２および撮像素子３の駆動回路、１７が、撮影した画像データにキズ補正を行う補正回路、８が、キズ補正された画像データに必要な信号処理を行う信号処理回路、９が、信号処理された画像データを記憶する画像メモリ、１０が、撮像装置から取り外し可能な画像記録媒体、１１が、信号処理された画像データを画像記録媒体１０に記録する記録回路、１２が、信号処理された画像データを表示する画像表示装置、１３が、画像表示装置１１に画像を表示する表示回路、１４が、撮像装置全体を制御するシステム制御部、１５が、システム制御部１４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、補正回路１７において使用されるキズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）、１６が、不揮発性メモリ１５に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）となっている。

以下、上述のように構成された撮像装置を用いてメカニカルシャッタ２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１４の動作開始時において、不揮発性メモリ１５から必要なプログラム、制御データおよび補正データを揮発性メモリ１６に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１４が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１５から揮発性メモリ１６に転送したり、システム制御部１４が直接不揮発性メモリ１５内のデータを読み出して使用したりするものとする。

まず、光学系１は、システム制御部１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３上に結像させる。次に、メカニカルシャッタ２は、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３の動作に合わせて撮像素子３を遮光するように駆動される。この時、撮像素子３が電子シャッター機能を有する場合は、メカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子３から出力されたアナログの画像信号は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスにより、ＣＤＳ回路４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器５でデジタル画像信号に変換される。次に、アドレスメモリから取り込んだキズのアドレスをもとにしてシステム制御部１４からの制御信号により、補正回路１７において、デジタル画像信号のキズ補正を行う。キズ補正されたデジタル画像信号は、システム制御部１４により制御される信号処理回路８において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路８で信号処理された画像データや画像メモリ９に記憶されている画像データは、記録回路において画像記録媒体１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて画像記録媒体１０に記録したり、信号処理回路８で解像度変換処理を実施された後、表示回路において画像表示装置１１に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１１に表示されたりする。

ここで、システム制御部１４からの制御信号によりキズ補正が必要ないとされた場合、補正回路１７は入力されたデジタル画像信号をそのまま信号処理回路８に出力する。また、信号処理回路８においては、システム制御部１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ９や記録回路に出力してもよい。さらに、信号処理回路８は、システム制御部１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部１４に出力する。また、記録回路は、システム制御部１４から要求があった場合に、画像記録媒体１０の種類や空き容量等の情報をシステム制御部１４に出力する。

次に、補正回路１７の動作について図２のフローチャートと図３の概念図を用いて説明を加える。

まず、Ｓ２０１では、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３において本撮影を行う（参照図３＿ａ）。Ｓ２０２ではシャッターを閉じた状態でＳ２０１と同じ露光時間だけ撮像素子３での暗時撮影を行う（参照図３＿ｂ）。この結果、図３＿ｂでは、垂直転送レジスタの欠陥からのノイズ信号により垂直ラインにオプティカルブラック値以上の値をもつ白線キズが発生している。システム制御部１４は、予め工場などで測定した白線キズのアドレスを取得し（Ｓ２０３）、Ｓ２０４では、補正回路１７にて、Ｓ２０３で取得した白線キズのアドレス位置のみ本撮影（撮像素子を露光した状態で撮影）で取得した画像１から暗時撮影（撮像素子を遮光した状態で撮影）で取得した画像２のデータを差し引く（参照図３＿ｃ）。上述したように、白線キズのみを選択して暗時撮影で取得した画像の一部を用いて補正処理することにより、画面全体にランダムノイズがのってしまい、補正を行うとかえって画質劣化が起こる過補正による画質劣化が起こることがなく画質のよい画像を得ることができる。さらに、補正回路１７においては、白線キズ部分のオプティカルブラック相当値（ＯＢ値）も同時に減算してしまうため、図３＿ａから算出したオプティカルブラック値（ＯＢ値）を白線キズを差し引いた部分に加算する（Ｓ２０５）。以上の方法で白線キズのみ減算することで全領域を減算する場合に比べて、ランダムノイズを減らすと共に白線キズの補正を適正に行うことができる。なお、実施例１では垂直方向に線キズが生じた場合について説明しているが、水平方向に線キズが生じた場合であっても同様に処理できる。

［実施例２］
実施例２における撮像装置の構成は図１と同様であるので、構成要素についての説明は省略する。実施例１の撮像動作のフローにおいて、欠陥画素からのノイズ信号の信号値が大きくなった場合、もしくは、被写体が高輝度で、画像信号の信号値が大きくなった場合には、画像信号が飽和する現象が起こることがある。この現象を図４を用いて説明する。画像信号が飽和していない場合、本撮影画像（参照図４＿１ａ）から、暗時撮影画像（参照図４＿１ｂ）の差分を取って、ＯＢ値を加算すると、正しく補正された補正画像（参照図４＿１ｃ）が得られる。しかし、画像信号が飽和している場合、飽和以上の信号値は出力されないため、飽和している本撮影画像（参照図４＿２ａ）から、暗時撮影画像（参照図４＿２ｂ）の差分を取って、ＯＢ値を加算すると、白線キズに相当する信号が、飽和値より引き算された補正画像（参照図４＿２ｃ）が得られてしまう。このため、白線キズが黒い線として現れることになる。よって、画像信号が飽和している場合には、補正の方法を切り替える必要がある。そこで、実施例２では画像信号が飽和している場合における補正手法について説明する。

図５は実施例２における撮像装置の動作フローを示している。

まず、Ｓ５０１は実施例１のＳ２０１と同様、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３において本撮影を行う（画像データ１）。Ｓ５０２では実施例１のＳ２０１と同様、シャッターを閉じた状態でＳ５０１と同じ露光時間だけ撮像素子３での暗時撮影を行う（画像データ２）。Ｓ５０３では実施例１のＳ２０３と同様、予め工場などで測定した白線キズのアドレスを取得する。Ｓ５０４は白線キズ全てを補正するために、Ｈｅｉｇｈｔ＝垂直画素数を用いた条件文である。Ｙが垂直画素数になっている場合には、この補正のフローを終わらせる。Ｙが垂直画素数になっていない場合には、Ｓ５０５に進む。Ｓ５０５では白線キズの画素の画像信号が飽和しているか否かの判定を行う。この方法は例えば飽和を判定する閾値を設定しておき画像データ１の画素値がこの値以上であるならばその画素は飽和している、この値以下ならば飽和していないと判断する。もし飽和していない場合には、実施例１と同じ手段で画像データ２の白線キズのみを差し引き（Ｓ５０７）、オプティカルブラック値（ＯＢ値）を加算する（Ｓ５０８）ことで白線キズ補正を行う。もし飽和している場合には、Ｓ５０６で白線キズと同色の水平方向にある画素から補完させることにより白線キズ補正を行う。この概念図を図６に示す。図６中のＣ１（Ｒ／Ｇ２）、Ｃ２（Ｇ１／Ｂ）、Ｃ３（Ｒ／Ｇ２）、Ｃ４（Ｇ１／Ｂ）、Ｃ５（Ｒ／Ｇ２）は、垂直方向の画素列を示し、R,G,Bは上下方に繰り返される色フィルタを示している。Ｃ３（Ｒ／Ｇ２）列に白線キズが発生しており、白線キズと同色で隣り合う列Ｃ１（Ｒ／Ｇ２）およびＣ５（Ｒ／Ｇ２）には白線キズが発生していないものとする。そこで、もしＣ３（Ｒ／Ｇ２）が飽和している場合はＣ１（Ｒ／Ｇ２）とＣ５（Ｒ／Ｇ２）との平均値からＣ３（Ｒ／Ｇ２）の補正値を算出する。この水平補間方法は単純に両画素の平均を取る方法や、白線キズとの相関を考慮し、両側の画素を補間する際に重みをつけて補正する方法がある。Ｓ５０９は、次の垂直画素へ進むためのインクリメントであり、ＹをＹ＋１とし、Ｓ５０４に戻る。

以上の手段により白線キズが飽和している場合でも、正しく補正を施すことができる。

なお、実施例２では画像信号が飽和した場合には、水平補間による補正を行うように構成されているが、例えば、周囲画素の信号を用いて補正する方法など、欠陥画素の信号を補正できる方法であればよい。また、実施例２では、本撮影で取得した画像データ１の信号値を用いて欠陥画素の領域が飽和しているか否かの判定を行ったが、暗時撮影で取得した画像データ２の信号値から飽和の判定を行ってもよい。この場合、画像データ２がある閾値よりも大きいか否かを判定し、ある閾値よりも画像データ２の方が大きい場合には飽和していると判定する。また、画像データ１と画像データ２の信号値を両方考慮して飽和の判定を行うようにしてもよい。例えば、画像データ１と画像データ２の差分値がある閾値よりも小さい場合に飽和していると判定することが考えられる。

以上説明したように、画像信号が飽和したと判断された場合には、補正方法を変更して適正な補正処理を行うことにより、過補正による画質劣化を防止することができる。

［実施例３］
実施例３における撮像装置の構成も図１と同様であるので、構成要素についての説明は省略する。

実施例２では本撮影で取得した画像データ１の白線キズの信号が飽和した場合に水平補間をすることで補正を行ったが、これに替えて、実施例３では白線キズによる上乗せ分にクリップ処理を行うことで過剰補正による弊害を解決する方法について説明する。白線キズは撮像装置の温度特性およびＩＳＯ感度によりその値が変化する。そこでこれら両者の値でクリップ値を可変にさせ、減算する値にクリップ処理を行う。まず温度特性についてであるが、撮像装置の温度が上昇するにつれ白線キズの値が大きくなる（参照図７）。なお図７はＣＣＤが１０ＢＩＴレベルのものについてである。そこで図８のように予め設定したクリップ値に乗算するゲインを温度と共に大きくさせる。次にＩＳＯ感度と白線キズ値との関係を図９に示す。このようにＩＳＯ感度上昇に従って白線キズ値が大きくなるため、予めクリップ値に乗算するゲインをＩＳＯ感度に応じて大きくさせる（参照図１０）。これらのゲインを予め設定した白線キズクリップ値に乗算して処理を行う。これらのフローチャートを図１１に示す。Ｓ１００１からＳ１００３までは実施例１のＳ２０１からＳ２０３と同じ処理のため説明を省略する。Ｓ１００４では、白線キズ全てを補正するために、Ｈｅｉｇｈｔ＝垂直画素数を用いた条件文である。Ｙが垂直画素数になっている場合には、この補正のフローを終わらせる。Ｙが垂直画素数になっていない場合には、Ｓ１００５に進む。Ｓ１００５では撮像装置の温度時に応じて設定したクリップ値に乗算するゲインを決定させる。Ｓ１００６では撮像装置のＩＳＯ感度に応じてゲインを決定させる。Ｓ１００７ではＳ１００５およびＳ１００６で決定したゲインを予め設定したリミッタ値に乗算させることでリミッタ値を決定させる。Ｓ１００８では画像データ２の白線キズ値がＳ１００７で決定したリミッタ値以上である場合、リミッタ値でクリップさせる。この値を画像データ１から減算することで白線キズ補正を行う（Ｓ１００９）。さらに、白線キズを補正した部分にＯＢ値を加算することにより黒レベルの調整を行う（Ｓ１０１０）。Ｓ１０１１は、次の垂直画素へ進むためのインクリメントであり、ＹをＹ＋１とし、Ｓ１００４に戻る。

このように、白線キズ値に上限値を設け、それ以上の場合には、所定値をもって補正信号とすることにより、過補正による画質劣化を防止することができる。また、上限値を温度やＩＳＯ感度等の撮影条件に基づいて切り替えることにより、より正確な補正を行うことが可能となる。

なお、白線キズの画素の画像信号が所定値よりも信号値が大きく（若しくは飽和しており）、さらに白線キズの画素と同色両隣の画素の画像信号も所定値よりも信号値が大きい（もしくは飽和している）場合には、実施例２で説明したように水平補間による補正（もしくは補正を行わない）という補正方法に切り替えて補正を制御すれば、撮影条件に応じた画質の向上を図ることが可能となる。例えば、図６において、Ｃ３（Ｒ／Ｇ２）列に白線キズが発生しており、白線キズと同色で隣り合う列Ｃ１（Ｒ／Ｇ２）およびＣ５（Ｒ／Ｇ２）には白線キズが発生していないものとする。このとき、Ｃ３（Ｒ／Ｇ２）が飽和しており、白線キズと同色で隣り合う列Ｃ１（Ｒ／Ｇ２）およびＣ５（Ｒ／Ｇ２）も飽和していることが検出された場合には、補正を上記で説明したような所定値をもって補正を行うことを禁止するように制御する。これにより、被写体が画面全体に非常に明るい場合に過補正となることを防止することができる。

実施例１の補正回路を備えた撮像装置のブロック図である。 実施例１の処理フローチャートを表す図である。 白線キズ補正の概念図である。 白線キズ飽和による弊害の概念図である。 実施例２の処理フローチャートを表す図である。 水平補間の概念図である。 白線キズ値の温度特性を示す図である。 温度とゲインの関係を示す図である。 白線キズ値のＩＳＯ感度特性を示す図である。 ＩＳＯ感度とゲインの関係を示す図である。 実施例３の処理フローチャートを表す図である。

符号の説明

３ 撮像素子
６ タイミング信号発生回路
８ 信号処理回路
９ 画像メモリ
１４ システム制御部
１７ 補正回路

Claims (4)

1. 被写体像を光電変換により電気信号に変換する撮像素子と、
   前記撮像素子を遮光するための遮光手段と、
   露光した前記撮像素子から出力される第１の画像信号から、前記遮光手段により遮光した前記撮像素子から出力される第２の画像信号を減算することで、前記撮像素子の転送部の欠陥に起因して前記第１の画像信号に発生する白線キズを補正する補正手段と、
   前記補正手段があらかじめ記憶された前記白線キズのアドレス位置においてのみ、前記第１の画像信号から前記第２の画像信号を減算するように制御する制御手段とを有し、
   前記補正手段は、前記第１の画像信号から前記第２の画像信号を減算した後で、前記白線キズのアドレス位置においてオプティカルブラック値を加算することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の画像信号が前記白線キズのアドレス位置において飽和しているか否かを検出し、飽和していることを検出した場合に前記補正手段が画素補間により前記白線キズを補正するように制御し、飽和していることを検出しない場合に前記補正手段が前記第１の画像信号から前記第２の画像信号を減算することで前記白線キズを補正するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記補正手段により前記第１の画像信号から減算する前記第２の画像信号を所定値でクリップすることを特徴とする請求項１に記載の撮像装置。
4. 被写体像を光電変換により電気信号に変換する撮像素子を露光し、露光した前記撮像素子から出力される第１の画像信号を取得する工程と、
   遮光手段により遮光した前記撮像素子から出力される第２の画像信号を取得する工程と、
   前記第１の画像信号から前記第２の画像信号を減算することで、前記撮像素子の転送部の欠陥に起因して前記第１の画像信号に発生する白線キズを補正する補正工程と、
   あらかじめ記憶された前記白線キズのアドレス位置においてのみ、前記第１の画像信号から前記第２の画像信号を減算するように制御する制御工程とを有し、
   前記補正工程では、前記第１の画像信号から前記第２の画像信号を減算した後で、前記白線キズのアドレス位置においてオプティカルブラック値を加算することを特徴とする撮像方法。

Images