JP4481764B2 - 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置 - Google Patents

Description

本発明は、ビデオカメラやデジタルカメラ等の画像処理装置に関するものであり、特に撮像素子の欠陥補正方法に関するものである。

従来の欠陥画素および垂直転送路の欠陥の補正方法としては、撮像素子の欠陥アドレスを検出手段により検出し、検出したアドレスをＲＯＭ，ＲＡＭなどの記憶手段に記憶し、撮影時に欠陥部の周辺画素情報により補間を行う方法がある。（例えば文献１）
また、垂直方向の連続的な画素の補正方法としては、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列から減算する手法がある。この手法は、垂直転送路の欠陥による垂直方向の欠陥画素列、すなわち縦線キズの補正方法にも用いられている。
特開平５−６８２０９号公報

しかしながら、文献１に開示されている手法では、検出したアドレスをＲＯＭ，ＲＡＭなどの記憶手段に記憶させるため、縦線キズのような連続したキズが多数存在する撮像素子においては、ＲＯＭ，ＲＡＭ容量を圧迫するという問題がある。また、縦線キズに隣接キズがあった場合、垂直方向、水平方向どちらからも補間できないという問題がある。さらに縦線キズは通常の点キズよりもレベルが低いケースが多いため、キズ検出時に検出されにくいという問題もある。

これに対し、垂直方向の連続的な画素の補正方法として、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列から減算することにより補正を行う手法があり、縦線キズが補正可能となっている。しかし、垂直転送路に光が入り込むことにより生じるスミア現象は、現れる現象としては縦線キズと同じであるため、上記の方法ではスミアも一色単に補正してしまっていた。このため、高輝度被写体撮影時等のスミア発生時に、補正処理に遅れが発生して、本来補正したい列を正確に補正できず、画質がより悪くなってしまうことがあった。特に、スミア発生時に、高輝度被写体が動いたり、画像処理装置が動いたりした場合には、本来のスミア補正したい列とは別の列を大きな補正量で補正してしまう過補正（画像上に現れる現象としては黒い縦筋）が発生して、画質劣化が著しくなってしまうという問題が生じていた。

上記課題を解決するために、本発明の画像処理装置は、光学的に遮光された画素と、光学的に遮光されていない画素と、前記画素で発生した電荷を垂直方向において転送するための垂直転送部と、前記垂直転送部により転送された電荷を水平方向において転送するための水平転送部とを有する撮像素子と、前記光学的に遮光された画素の出力信号値から前記垂直転送部の欠陥により発生する縦線キズの補正値を算出する補正値算出手段と、撮影条件に応じた前記縦線キズの補正上限値を算出する補正上限値算出手段と、前記光学的に遮光されていない画素の出力信号値から前記補正値または前記補正上限値を減算することで前記縦線キズを補正する補正手段と、前記補正値と前記補正上限値とを比較し、前記補正上限値よりも前記補正値のほうが大きい場合には、前記補正手段が前記光学的に遮光されていない画素の出力信号値から前記補正上限値を減算することで前記縦線キズを補正するように制御し、前記補正値が前記補正上限値以下である場合には、前記補正手段が前記光学的に遮光されていない画素の出力信号値から前記補正値を減算することで前記縦線キズを補正するように制御する制御手段と、を有することを特徴とする。

また、本発明の画像処理方法は、光学的に遮光された画素と、光学的に遮光されていない画素と、前記画素で発生した電荷を垂直方向において転送するための垂直転送部と、前記垂直転送部により転送された電荷を水平方向において転送するための水平転送部とを有する撮像素子を備えた画像処理装置の画像処理方法であって、前記光学的に遮光された画素の出力信号値から前記垂直転送部の欠陥により発生する縦線キズの補正値を算出する補正値算出工程と、撮影条件に応じた前記縦線キズの補正上限値を算出する補正上限値算出工程と、前記補正値と前記補正上限値とを比較する比較工程と、前記比較工程における比較の結果、前記補正上限値よりも前記補正値のほうが大きい場合には、前記光学的に遮光されていない画素の出力信号値から前記補正上限値を減算することで前記縦線キズを補正し、前記比較工程における比較の結果、前記補正上限値よりも前記補正値のほうが小さい場合には、前記光学的に遮光されていない画素の出力信号値から前記補正値を減算することで前記縦線キズを補正する補正工程と、を有することを特徴とする。

撮像素子に欠陥が存在する場合でも適切な補正処理を施すことができ、高画質の画像を得ることができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

（実施の形態）
図１は、本発明の一実施の形態による画像処理装置、ここではデジタルカメラの構成を示すブロック図である。

まず、図１の各部の機能を説明する。１０は画像処理装置（本実施の形態ではデジタルカメラ）で、内部の機能を詳述すると、１２は光を電気信号へ変換する撮像素子（本実施の形態ではＣＣＤ）、１１は被写体からの光をＣＣＤ１２へ集光するレンズ、１３はＣＣＤ１２から出力されるアナログ映像信号を画像信号へ変換する画像処理回路（この画像処理回路の中にアナログ信号をデジタル信号に変換するＡ／Ｄ変換器も含まれる）、１４はＣＣＤ１２を駆動させるパルスを発生するタイミングジェネレーター、１５は撮影データ、画像データ、を記憶する記憶手段（ここではＲＡＭ）、１６はデジタルカメラ１０から取り外し可能な撮影画像記録媒体（ここではコンパクトフラッシュ（登録商標）カード）でＲＡＭ１５に一時的に記録された画像データが最終的に記録される。また、１７はデジタルカメラ全機能を制御する制御手段（ここではＣＰＵ）、１８はＣＣＤ１２の周辺温度を測定するサーミスタである。また、撮像素子１２の中には光学的に遮光された画素部であるＯＢ部と、光学的に遮光されていない画素部である有効画素部とがある。

次に、本発明の実施形態の流れを図２のフローチャートを使って説明する。本実施形態では動画撮影の例で説明する。なお、ライブビューモードにおいても、同様な構成で同様な効果が得られる。

まず、動画撮影を開始（Ｓ１０１）する。撮影開始時にＲＡＭ１５の撮影データに動画撮影条件を記録し、ＲＡＭ１５の撮影データから、撮影感度情報を取得する（Ｓ１０２）。さらにサーミスタ１８から、ＣＰＵ１７の制御により、ＣＣＤ周辺温度を取得する（Ｓ１０３）。サーミスタの位置は、ＣＣＤの画素部により近い方が好ましい。

次に、動画画像１フレーム毎に、ＯＢ部またはダミー画素部（撮像素子１２に蓄積信号がない状態で読みだしをした時に発生する信号をダミー信号といい、この読み出しの対象となる画素部をダミー画素部という）の信号を測定することにより、縦線キズレベル、およびスミアレベルの測定を行う（Ｓ１０４）。高輝度被写体によるスミア現象が発生していない場合には、このレベルの測定により、加算平均値Ｌを算出することによって、縦線キズの補正値を求めることができる。図３はＯＢ部またはダミー画素部を測定する手法を表した図で、縦線キズのみ発生した場合の図である。縦線キズは、垂直転送部の欠陥により発生する現象で、図３の様に同列に同レベルの浮きが発生する。この浮き量は同様にＯＢ部［２］、ダミー画素部［３］にも発生する。本実施の形態では、動画画像１フレーム毎に、ＯＢ部のそれぞれの列の加算平均値Ｌを求め、有効画素部の列から加算平均値Ｌを減算することで縦線キズ補正を行う。

これに対し、高輝度被写体を動画撮影する際には、スミアが発生するケースがある。スミア発生原理は垂直転送路に光が入り込むことにより生じる現象のため、現れる現象としては縦線キズと同じである。よって上述のような有効画素部の列から加算平均値Ｌを減算することで縦線キズ補正を行う方法では、縦線キズとスミアの棲み分けができず、縦線キズ補正を行う場合に、縦線キズ補正と同時にスミア補正も行うことになってしまう。この場合、縦線キズのレベルは非常に小さく、スミアのレベルは非常に大きくなる可能性があるため、スミア発生時にＯＢ列あるいはダミー画素列のそれぞれの列の加算平均Ｌを求め、有効画素部の列から加算平均値を減算すると、補正すべき列に時間差によるずれが生じて画像に過減算による黒い縦スジが発生する可能性がある。特に、高輝度被写体が移動した場合またはデジタルカメラが手ぶれ、移動した場合には、この黒い縦スジが顕著に現れる。

そこで、本実施の形態では、この黒い縦スジのレベルを軽減するために、縦線キズレベル上限値を算出し、縦線キズ補正量に上限を設ける。つまり、スミアが発生するような高輝度被写体が存在する場合には、上限値の補正量で補正を施すことにより黒い縦スジのレベルを軽減することができる。

縦線キズは、垂直転送路の欠陥、例えば垂直転送路キズによって発生する現象のため、温度上昇により縦線キズレベルも上昇する。また、図４のように撮影感度に比例して縦線キズレベルも上昇する。よって、ＣＣＤ１２の周辺温度（℃）をｘ、撮影感度をＩＳＯ ｙとし、ＩＳＯ１００、０℃時の縦線キズレベルをｚ ＬＳＢとすると、縦線キズレベルＫは以下の式で近似的に算出できる（Ｓ１０５）。
Ｋ≒ｚ×（ｙ／１００）×２^{（１＋ｘ／８）}
ただし、ｘ≧０℃とする。

上記式をグラフにした図が図５で、撮影感度、撮像素子温度に応じた補正上限値を表している。本実施の形態では上記式で算出されたＫを縦線キズ補正上限値とし、Ｓ１０４で算出した加算平均値Ｌとの比較を行う（Ｓ１０６）。

比較結果が、Ｋ＜Ｌの場合、有効画素全領域のそれぞれの列から、補正上限値Ｋを減算する（Ｓ１０７）。

比較結果がＫ≧Ｌの場合、有効画素全領域のそれぞれの列から、その列に対応した加算平均値Ｌを減算し縦線キズ補正を行う（Ｓ１０８）。

以上の動作を本実施の形態では動画撮影中の毎フレームで行うが、Ｓ１０２，Ｓ１０３，Ｓ１０５に関しては毎フレームではなく、一定周期で行っても構わない。また、本実施の形態では、ＣＣＤ周辺温度と撮影感度の２種類により線キズ補正上限値を算出したが、どちらか片方のみで上限値を算出しても構わない。

以上説明した通り、本実施の形態によれば、ライブビュー時または動画撮影時等に、撮像素子の温度と撮影感度情報から線キズ補正の補正量上限値を算出することにより、高輝度被写体撮影等によりスミアが発生した場合においても、補正上限値が制限されるため、良好なライブビュー画像、動画が撮影可能となる。特に、高輝度被写体が移動した場合、またはデジタルカメラが手ぶれ、移動した場合に発生する黒い縦スジが軽減可能となり、高画質の画像を得ることが可能となる。

本発明の実施の形態に係るデジタルカメラの機能ブロック図である。 本発明の実施の形態の動作を示すフローチャートである。 本発明の実施の形態の縦線キズ発生例を表す撮像素子構成図である。 本発明の実施の形態の撮影感度に応じた補正上限値を表すグラフである。 本発明の実施の形態の撮影感度、撮像素子温度に応じた補正上限値を表すグラフである。

符号の説明

１０ 撮像装置であるデジタルカメラ
１１ レンズ
１２ 撮像素子であるＣＣＤ
１３ 画像処理回路
１４ タイミングジェネレーター
１５ 記憶手段であるＲＡＭ
１６ 記録媒体であるコンパクトフラッシュ（登録商標）カード
１７ 制御手段であるＣＰＵ
１８ 温度検出手段であるサーミスタ

Claims (4)

1. 光学的に遮光された画素と、光学的に遮光されていない画素と、前記画素で発生した電荷を垂直方向において転送するための垂直転送部と、前記垂直転送部により転送された電荷を水平方向において転送するための水平転送部とを有する撮像素子と、
   前記光学的に遮光された画素の出力信号値から前記垂直転送部の欠陥により発生する縦線キズの補正値を算出する補正値算出手段と、
   撮影条件に応じた前記縦線キズの補正上限値を算出する補正上限値算出手段と、
   前記光学的に遮光されていない画素の出力信号値から前記補正値または前記補正上限値を減算することで前記縦線キズを補正する補正手段と、
   前記補正値と前記補正上限値とを比較し、前記補正上限値よりも前記補正値のほうが大きい場合には、前記補正手段が前記光学的に遮光されていない画素の出力信号値から前記補正上限値を減算することで前記縦線キズを補正するように制御し、前記補正値が前記補正上限値以下である場合には、前記補正手段が前記光学的に遮光されていない画素の出力信号値から前記補正値を減算することで前記縦線キズを補正するように制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記撮像条件は、少なくとも温度条件もしくは感度条件のいずれか一方を含むことを特徴とする請求項１に記載の画像処理装置。
3. 撮像像子の温度、もしくは撮像素子の周辺温度のいずれかを測定する温度検出手段を更に有することを特徴とする請求項２に記載の画像処理装置。
4. 光学的に遮光された画素と、光学的に遮光されていない画素と、前記画素で発生した電荷を垂直方向において転送するための垂直転送部と、前記垂直転送部により転送された電荷を水平方向において転送するための水平転送部とを有する撮像素子を備えた画像処理装置の画像処理方法であって、
   前記光学的に遮光された画素の出力信号値から前記垂直転送部の欠陥により発生する縦線キズの補正値を算出する補正値算出工程と、
   撮影条件に応じた前記縦線キズの補正上限値を算出する補正上限値算出工程と、
   前記補正値と前記補正上限値とを比較する比較工程と、
   前記比較工程における比較の結果、前記補正上限値よりも前記補正値のほうが大きい場合には、前記光学的に遮光されていない画素の出力信号値から前記補正上限値を減算することで前記縦線キズを補正し、前記比較工程における比較の結果、前記補正上限値よりも前記補正値のほうが小さい場合には、前記光学的に遮光されていない画素の出力信号値から前記補正値を減算することで前記縦線キズを補正する補正工程と、
   を有することを特徴とする画像処理方法。

Images