JP4471352B2 - 欠陥画素補正装置及び方法及び撮像装置及びプログラム及び記憶媒体 - Google Patents

Description

本発明は、撮像素子の欠陥画素の補正技術に関するものである。

ＣＣＤ等の撮像素子においては、二次元に配列された画素の内、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる。

こうした欠陥画素の撮像出力に起因する画質劣化を信号処理によって補正するために、従来、撮像素子に含まれる欠陥画素についての欠陥データを、それを製造した半導体工場で検出して不揮発性メモリに予め記憶させるか、あるいは、撮像素子を用いた撮像装置側において、撮像装置のシャッターを遮光状態としたとき、所定の出力レベルを超える画素（白点欠陥画素）、並びに、撮像装置への入射光量を所定のレベルとしたとき、所定の出力レベルに達しない画素（黒点欠陥画素）の位置データを不揮発性メモリに記憶しておいて、通常撮像時に、この不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、その欠陥画素の撮像出力に代えて例えば１画素前の撮像出力を用いることにより、欠陥画素補正を行っている。

ところで、近年の撮像素子に求められる画素数が、以前の数十万画素程度から数百万画素に増大したこともあり、撮像素子の製造技術の進歩にも拘わらず、撮像素子に現れる欠陥画素の発生確率は増大する傾向にある。特に低コストが求められる民生機器に使用される撮像素子では、その製造歩留まりを上げるためには、欠陥画素数を従来に比して桁違いに多く許容せざるを得なくなってきている。

したがって、従来のように、欠陥画素の位置データを高価な不揮発性メモリに記憶することが困難になってきている。

こうした状況に対して、例えば特開平０６−０３０４２５号公報（特許文献１）には、通常の撮像時において、ある１画素とそれに隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行い、欠陥画素の位置情報をあらかじめ記憶しておくための不揮発性メモリを省く技術が開示されている。同様に、例えば特開２００２−０２７３２３号公報（特許文献２）には、撮像素子の所定領域に含まれる欠陥画素については不揮発性メモリに記憶し、所定領域外に含まれる欠陥画素については、不揮発性メモリに記憶した欠陥画素の補正を行った後に、通常撮像時に欠陥画素の検出と補正を同時に行うことにより、限られた不揮発性メモリであっても、多数の欠陥画素に対応できるようにする技術が開示されている。
特開平０６−０３０４２５号公報 特開２００２−０２７３２３号公報

しかしながら、上記従来の技術においては、通常撮像時に、ある一画素と隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行うのであるから、当然ながら被写体エッジ等の高周波成分をも誤検出して補正してしまう場合がある。このことは、正常画素の出力画像の画質を阻害してしまうことになり、この問題について十分検討されているとはいえなかった。

また、所定の閾値だけと比較する場合、ある特定のレベル以上の欠陥画素に対してのみ補正が行われるので、閾値近傍レベルの欠陥画素に対して補正が不安定になったり、実際にはさまざまなレベルで存在する欠陥画素に対して適切な補正が行われなかったりといった問題があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、低コストに且つ効果的に欠陥画素の補正を行えるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる欠陥画素補正装置は、複数の画素を備えた撮像素子で得られた映像信号のうち、検出対象とする画素の信号と前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第１の欠陥画素検出手段と、前記第１の欠陥画素検出手段で欠陥画素と判断された画素の信号の補正を行う第１の補正手段と、前記第１の補正手段にて補正を行った映像信号のうち、検出対象とする画素の信号と、前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第２の欠陥画素検出手段と、前記第２の欠陥画素検出手段で欠陥画素と判断された画素の信号の補正を行う第２の補正手段と、を有し、前記第２の欠陥画素検出手段における前記所定値は、前記第１の欠陥画素検出手段における前記所定値よりも小さい値であることを特徴とする。

また、本発明に係わる欠陥画素補正方法は、複数の画素を備えた撮像素子で得られた映像信号のうち、検出対象とする画素の信号と前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第１の欠陥画素検出工程と、前記第１の欠陥画素検出工程で欠陥画素と判断された画素の信号の補正を行う第１の補正工程と、前記第１の補正工程にて補正を行った映像信号のうち、検出対象とする画素の信号と、前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第２の欠陥画素検出工程と、前記第２の欠陥画素検出工程で欠陥画素と判断された画素の信号の補正を行う第２の補正工程と、を有し、前記第２の欠陥画素検出工程における前記所定値は、前記第１の欠陥画素検出工程における前記所定値よりも小さい値であることを特徴とする。

本発明によれば、低コストに且つ効果的に欠陥画素の補正を行なうことが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の欠陥画素補正装置を搭載した撮像装置のブロック図である。

図１において、レンズ１を通った被写体からの反射光は、ＣＣＤ、Ｃ−ＭＯＳ等の撮像素子２上に結像する。撮像素子２上に結像した被写体像は、電気信号に変換された後、読み出され、ＣＤＳ回路３へ加えられる。ＣＤＳ回路３で、低周波ノイズが除去され、次にＡ／Ｄ変換器４でアナログ信号がディジタル信号に変換され、欠陥画素検出補正部５に加えられる。欠陥画素検出補正部５において、欠陥画素検出部５１は入力された映像信号より、設定された検出感度に従って欠陥画素を検出し、欠陥画素情報を出力する。欠陥画素補正部５２は欠陥画素検出部５１の出力する欠陥画素情報に従って、入力された映像信号に対して補正を行う。欠陥画素検出補正部５の出力は、同様の構成からなる欠陥画素検出補正部６に入力される。欠陥画素検出補正部６において、欠陥画素検出部６１は入力された映像信号より、設定された検出感度に従って欠陥画素を検出し、欠陥画素情報を出力する。欠陥画素補正部６２は欠陥画素検出部６１の出力する欠陥画素情報に従って、入力された映像信号に対して補正を行う。欠陥画素検出補正部５，６中の欠陥画素検出部５１，６１に対する欠陥画素の検出感度は制御部８が設定する（制御部８が設定する所定値の値によって、欠陥画素を検出する感度が異なる）。制御部８および欠陥画素検出補正部５，６の詳細については後述する。欠陥画素検出補正部６の出力はカメラ信号処理回路７に入力され、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理が施され、画像信号として出力される。

図２は、欠陥画素検出補正部５，６の内部構成の一例を表すブロック図である。

欠陥画素検出補正部では、入力された信号に対して１画素ずつ順番に欠陥画素の検出と補正が行われる。

図２を用いて欠陥画素の検出と補正の処理を説明する。

入力信号は平均回路２１に入力され同回路において検出対象となる画素の周囲の画素信号の平均処理が行われる。平均回路の出力は減算器２２に入力され、検出対象となる画素信号との差分値が出力される。減算器２２から出力された差分値は絶対値回路２３によって正負のない差分絶対値として出力される。この差分絶対値が大きければ、検出対象画素の出力信号レベルが周囲の画素信号レベルの平均値と大きく異なっていることになるので、この差分絶対値の大きなものが欠陥画素として扱われる。

欠陥画素比較部２４は、絶対値回路２３より出力された差分絶対値に対して、制御部８によって設定された所定値に基づいて欠陥画素情報を出力する。

図３は、欠陥画素レベル（すなわち、差分絶対値）と欠陥画素情報の関係を示す図である。

図３を用いて欠陥画素比較部２４における欠陥画素情報を決定する方法を説明する。

図３（ａ），（ｂ）において、横軸は前述した差分絶対値すなわち欠陥画素レベルを表し、縦軸は欠陥画素情報値を表す。欠陥画素情報の値は０から１の間の値であり、１に近いほど欠陥の程度が大きく、０に近いほど欠陥の程度が小さいという意味の信号とする。

ＴＨＡおよびＴＨＢは制御部８によって設定される値であり、ＴＨＡ以下の差分絶対値の信号は欠陥画素ではないと判断されて欠陥画素情報として０が出力され、ＴＨＢ以上の差分絶対値の信号は欠陥画素であると判断されて欠陥画素情報として１が出力される。ＴＨＡとＴＨＢの間の差分絶対値に対する欠陥画素情報は、グラフよりもとめられる０から１の間の値として出力される。すなわちＴＨＡとＴＨＢは欠陥画素検出のための検出感度としての意味合いを持つ。

欠陥画素比較部２４より出力される欠陥画素情報は乗算器２５に加えられ、欠陥画素情報を１から引いた値が乗算器２６に加えられる。乗算器２５には平均回路２１の出力が印加されており、乗算器２６には入力信号が印加されている。加算器２７は乗算器２５と乗算器２６の出力を加算して出力する。乗算器２５，２６，加算器２７を数式で表すと、欠陥画素情報をｋ、入力信号をＳin、平均信号をＳave、出力信号をＳoutとしたとき、
Ｓout＝（１−ｋ）×Ｓin＋ｋ×Ｓave …（１）
として表され、入力信号と平均信号の混合値になる。欠陥画素情報ｋの大きな値ほど平均値の割合が大きくなるので、欠陥画素が補正された結果となって出力される。

より具体的には、欠陥画素情報ｋが１である場合には、その対象画素は欠陥画素であるので、その対象画素の入力信号Ｓinは用いず、（１）式にｋ＝１を代入すればわかるように、対象画素の周囲の画素信号の平均値であるＳaveがＳoutとして出力される。逆に、欠陥画素情報ｋが０である場合には、その対象画素は欠陥画素ではないので、対象画素の周囲の画素信号の平均値Ｓaveは用いず、（１）式にｋ＝０を代入すればわかるように、対象画素の入力信号ＳinがそのままＳoutとして出力される。また、欠陥画素情報ｋが０と１の間の値である場合には、対象画素の欠陥の程度に応じて、対象画素の入力信号と対象画素の周囲の画素信号の平均信号とが混合されて、Ｓoutとして出力される。

なお、本実施形態では、欠陥画素比較部に与えられる所定値を２つとし、出力される欠陥画素情報を多値として、補正方法を入力信号と平均信号の多値補間とした例について説明したが、本発明はこれに限定されることなく、例えば所定値を１つにし、欠陥画素情報を０か１の２値として、それに従って入力信号と平均信号を切り替えるといった構成であってもよい。

図３は前述したように欠陥画素検出補正部５，６中の欠陥画素比較部２４で決定する欠陥画素情報を表すグラフであり、制御部８によって設定されるＴＨＡ，ＴＨＢによって制御される。

今、欠陥画素検出補正部５の欠陥画素比較部２４のグラフを図３（ａ）のようにし、欠陥画素検出補正部６の欠陥画素比較部２４のグラフを図３（ｂ）のようにし、ＴＨＡ，ＴＨＢの値を図３（ａ）のものよりも小さい値にする。すなわち、欠陥画素検出補正部６の検出感度を、欠陥画素検出補正部５の検出感度よりも高く設定する。このように設定することにより、２つの欠陥画素検出補正部で検出できる欠陥画素のレベルが異なり、欠陥画素のレベルに応じて適切な補正処理を行うことが可能になる。

また、本実施形態のように多値補間で補正される場合、前段の補正によって補正された信号には欠陥レベルが小さい画素の信号が若干残ることになるので、その残りとして現れる欠陥画素を、直列に配置した後段の欠陥画素検出補正部の検出感度を高くすることにより、さらに補正してより効果を高めることが可能になる。

本実施形態においては、欠陥画素検出補正部を２つ直列に並べた例について説明したが、同部を３つ以上直列に並べることによってさらに欠陥画素のレベルに応じて細かい制御を行うことも可能である。

（第２の実施形態）
図４は本発明の第２の実施形態の欠陥画素補正装置を搭載した撮像装置のブロック図である。第１の実施形態の構成と重複する部分には同一符号を付して説明を省略する。

図４において、欠陥画素検出補正部５において、欠陥画素検出部５１は入力された映像信号より、設定された検出感度と欠陥画素情報記憶部５３に記憶された欠陥画素情報に従って欠陥画素を検出し欠陥画素情報を出力する。欠陥画素補正部５２は欠陥画素検出部５１の出力する欠陥画素情報に従って、入力された映像信号に対して補正を行う。欠陥画素情報記憶部５３は欠陥画素検出部５１の出力する欠陥画素情報を記憶する。欠陥画素検出補正部５の出力は同様の構成からなる欠陥画素検出補正部６に入力される。

欠陥画素検出補正部６において、欠陥画素検出部６１は、入力された映像信号より、設定された検出感度と欠陥画素情報記憶部５３および欠陥画素情報記憶部６３に記憶された欠陥画素情報に従って欠陥画素を検出し欠陥画素情報を出力する。欠陥画素補正部６２は欠陥画素検出部６１の出力する欠陥画素情報に従って、入力された映像信号に対して補正を行う。欠陥画素情報記憶部６３は欠陥画素検出部６１の出力する欠陥画素情報を記憶する。

図５は欠陥画素情報記憶部５３，６３の動作を表す説明図である。

本実施形態において、欠陥画素情報記憶部５３，６３は検出対象となる画素に対して数ライン分上の画素情報（例えば、欠陥画素の位置情報）を記憶している。図５は欠陥画素検出部５１，６１より出力される欠陥画素情報の一部分を表した模式図であり、簡単のため白い画素が欠陥画素、黒い画素が通常の画素を表す。実際には多値なり２値なりの数値データが出力される。

今、図５（ａ）のように入力信号中のＡ，Ｂ，Ｃ，Ｄ，Ｅの画素が周囲より画素信号レベルが大きいものとする。欠陥画素検出部５２においては、欠陥画素情報記憶部５３に記憶されている過去の欠陥画素情報を参照するのでＡ，Ｂの画素に対してはその上部の位置に画素信号レベルの大きな画素が存在しないので、該画素は欠陥画素として判断され補正処理が行われる。Ｃ，Ｄ，Ｅについてはその上部に画素信号レベルの大きな画素が存在するので被写体の縦方向のエッジであると判断され補正処理は行われない。よって欠陥画素検出補正部５の出力は図５（ｂ）のようにＡ，Ｂのみ補正された画像信号となる。

次に、仮に同構成からなる欠陥画素検出補正部に欠陥画素検出補正部５の出力信号が入力されるとすると、Ｃの画素に対してはその上部の位置に画素信号レベルの大きな画素が存在しないので、該画素は欠陥画素として判断され補正処理が行われてしまう。しかし実際にはＣはＢ，Ｃ，Ｄ，Ｅとつながるエッジの一部であるので、この構成では図５（ｃ）のようにエッジ部の上部が補正されることによる画像劣化を起こしてしまう。

そこで、本実施形態では欠陥画素検出補正部６の欠陥画素検出部６２においては、欠陥画素情報記憶部６３だけでなく欠陥画素情報記憶部５３に記憶された欠陥画素情報を参照するのでＣの画素においても、その上部に画素信号レベルの大きな画素が存在するので被写体の縦方向のエッジであると判断され補正処理は行われず図５（ｄ）のように画像劣化を生じさせずに補正することができる。

本実施形態においては欠陥画素検出補正部を２つ直列に並べた例について説明したが、同部を３つ以上直列に並べることによってさらに欠陥画素のレベルに応じて細かい制御を行うことも可能である。

以上説明したように、上記の実施形態によれば、複数直列に配置された各欠陥画素検出補正部の検出感度を制御部がそれぞれ設定するようにしたことにより、撮像素子中に存在するさまざまな信号レベルの欠陥画素に対してそれぞれ適切な補正処理を行うことが可能になる。

また、複数直列に配置された各欠陥画素検出補正部の検出感度を制御部が、より後段に配置された欠陥画素検出補正部に対する検出感度が高くなるように設定することにより、前段で検出される信号レベル近傍の欠陥画素に対しても後段で補正することが可能になる。

また、各欠陥画素検出補正部において検出された欠陥画素情報を記憶しておくことにより、後段の欠陥画素検出補正部では前段の欠陥画素検出補正部の欠陥画素情報も参照することにより、検出された画素が本当に欠陥画素であるのか、被写体エッジであるのかを識別し、被写体エッジであるときは補正を行わないことにより出力画像に対する画質阻害を防止することができる。

（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態の欠陥画素補正装置を搭載した撮像装置のブロック図である。 欠陥画素検出補正部のブロック図である。 欠陥画素情報決定の動作を説明する図である。 本発明の第２の実施形態の欠陥画素補正装置を搭載した撮像装置のブロック図である。 欠陥画素情報記憶部の動作を表す説明図である。

符号の説明

１ レンズ
２ 撮像素子
３ ＣＤＳ回路
４ Ａ／Ｄ
５，６ 欠陥画素検出補正部
７ カメラ信号処理回路
８ 制御部

Claims (6)

1. 複数の画素を備えた撮像素子で得られた映像信号のうち、検出対象とする画素の信号と前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第１の欠陥画素検出手段と、
   前記第１の欠陥画素検出手段で欠陥画素と判断された画素の信号の補正を行う第１の補正手段と、
   前記第１の補正手段にて補正を行った映像信号のうち、検出対象とする画素の信号と、前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第２の欠陥画素検出手段と、
   前記第２の欠陥画素検出手段で欠陥画素と判断された画素の信号の補正を行う第２の補正手段と、を有し、
   前記第２の欠陥画素検出手段における前記所定値は、前記第１の欠陥画素検出手段における前記所定値よりも小さい値であることを特徴とする欠陥画素補正装置。
2. 前記第１の欠陥画素検出手段で欠陥画素と判断された画素の位置情報を記憶する記憶手段をさらに有し、
   前記第２の欠陥画素検出手段は、前記記憶手段に記憶された位置情報を用いて、前記第１の補正手段にて欠陥画素と判断された画素の信号を補正した映像信号におけるエッジを検出し、前記エッジが検出された位置の画素に対しては、欠陥画素であると判断しないことを特徴とする請求項１に記載の欠陥画素補正装置。
3. 請求項１または２に記載の欠陥画素補正装置を備える撮像装置であって、
   前記撮像素子と、
   前記複数の画素に被写体像を結像するレンズと、
   前記複数の画素から出力された信号をＡ／Ｄ変換し、前記第１の欠陥画素検出手段に信号を出力するＡ／Ｄ変換器とを更に備えたことを特徴とする撮像装置。
4. 複数の画素を備えた撮像素子で得られた映像信号のうち、検出対象とする画素の信号と前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第１の欠陥画素検出工程と、
   前記第１の欠陥画素検出工程で欠陥画素と判断された画素の信号の補正を行う第１の補正工程と、
   前記第１の補正工程にて補正を行った映像信号のうち、検出対象とする画素の信号と、前記検出対象とする画素の周囲の画素から出力された信号とを用いて得られた差分値が、所定値よりも大きい場合に、前記検出対象の画素を欠陥画素であると判断する第２の欠陥画素検出工程と、
   前記第２の欠陥画素検出工程で欠陥画素と判断された画素の信号の補正を行う第２の補正工程と、を有し、
   前記第２の欠陥画素検出工程における前記所定値は、前記第１の欠陥画素検出工程における前記所定値よりも小さい値であることを特徴とする欠陥画素補正方法。
5. 請求項４に記載の欠陥画素補正方法をコンピュータに実行させるためのプログラム。
6. 請求項５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images