JP4483746B2 - 欠陥画素補正方法及び装置 - Google Patents

Description

本発明は、カラー撮像装置に用いる撮像素子の欠陥画素を補正する方法及び装置に関する。

多数の画素を持つ撮像素子には、製造過程で発生する結晶欠陥等により、正常な信号を出力することができない画素（欠陥画素）が存在しており、従来から、この欠陥画素の出力信号を補正する工夫が行われている（例えば、特許文献１または特許文献２参照）。

このような欠陥画素に対する従来の補正方法を図６〜図８を用いて説明する。
図６は欠陥画素の補正機能を備えたカラー撮像装置の構成を示すブロック図であり、この装置は、撮像素子５０１、欠陥画素補正回路５０２、及び制御回路５０３を備えている。補正前の画像信号Ｐが撮像素子５０１から欠陥画素補正回路５０２に入力され、欠陥画素補正回路５０２から補正された画像信号Ｑが出力される。制御回路５０３は、撮像素子５０１に読み出し制御信号Ａを供給し、また、読み出し制御信号Ａに同期して、予め記憶されている撮像素子５０１上の欠陥画素の位置に応じて欠陥補正制御信号Ｂを、欠陥画素が読み出されるタイミングで欠陥画素補正回路５０２に供給する。

撮像素子５０１は、制御回路５０３から供給される読み出し制御信号Ａにしたがい、順次被写体の明るさに応じた画像信号Ｐを欠陥画素補正回路５０２に出力する。欠陥画素補正回路５０２は、制御回路５０３から供給される欠陥補正制御信号Ｂにしたがって、入力された画像信号Ｐが欠陥画素の出力信号か非欠陥画素の出力信号かを逐次判断する。入力された画像信号Ｐが非欠陥画素の出力信号である場合は画像信号Ｐをそのまま出力画像信号Ｑとして出力し、欠陥画素の出力信号である場合は所定の処理で出力画像信号Ｑを生成し出力する。

図７は欠陥画素補正回路５０２における欠陥画素補正方法を説明するためのフローチャートである。撮像素子５０１の画素座標ｎの画素から読み出される画像信号をＰ（ｎ）、画素座標ｎの画素が欠陥画素か非欠陥画素かを示す欠陥補正制御信号をＢ（ｎ）、画素座標ｎの画素に対する欠陥画素補正回路５０２の出力画像信号をＱ（ｎ）とする。まず、欠陥画素補正回路５０２は、欠陥補正制御信号Ｂ（ｎ）にしたがって、入力された画像信号Ｐ（ｎ）が欠陥画素の出力信号であるかどうかを判断する（ステップＳ６０１）。ステップＳ６０１での判断結果がＮＯ、つまり画像信号Ｐ（ｎ）が非欠陥画素の出力信号である場合は、ステップＳ６０２に進み、欠陥画素補正回路５０２は画像信号Ｐ（ｎ）をそのまま出力画像信号Ｑ（ｎ）として出力する。

一方、前記ステップＳ６０１での判断結果がＹＥＳ、つまり画像信号Ｐ（ｎ）が欠陥画素の出力信号である場合は、ステップＳ６０３に進み、欠陥画素の近傍に位置する画素の出力信号を元にして欠陥画素の出力信号に替わる補正された出力画像信号Ｑを生成する。この例では、欠陥画素の出力信号である画像信号Ｐ（ｎ）の１つ前の画像信号Ｐ（ｎ−１）を出力画像信号Ｑ（ｎ）として出力する。以下この流れに沿って順次信号処理が行われる。

次に、図８を用いて上記欠陥画素の補正の具体例を説明する。図８（ａ）は画素座標ｎ−２からｎ＋５までの画素座標順の画像信号Ｐの信号レベルが示されているグラフであり、同図（ｂ）は同様に画素座標ｎ−２からｎ＋５までの画素座標順の出力画像信号Ｑの信号レベルが示されているグラフである。この例では、画素座標ｎの画素が欠陥画素となっている。画素座標ｎ−２の画素は非欠陥画素であるためステップＳ６０１で画像信号Ｐ（ｎ−２）は非欠陥画素の出力信号と判断され、ステップＳ６０２に進み、画像信号Ｐ（ｎ−２）がそのまま出力画像信号Ｑ（ｎ−２）として出力される。同様に座標ｎ−１の画素の画像信号Ｐ（ｎ−１）も非欠陥画素の出力信号と判断され画像信号Ｐ（ｎ−１）がそのまま出力画像信号Ｑ（ｎ−１）として出力される。

一方、画素座標ｎの画素は欠陥画素であるためステップＳ６０１で画像信号Ｐ（ｎ）は欠陥画素の出力信号と判断され、ステップＳ６０３に進み、欠陥補正制御信号Ｂにしたがって、画素座標ｎの１つ前の画素座標ｎ−１の画像信号Ｐ（ｎ−１）が画素座標ｎの出力画像信号Ｑ（ｎ）として出力される。画素座標ｎ＋１及びｎ＋２の画像信号Ｐ（ｎ＋１）及びＰ（ｎ＋２）はステップＳ６０１で再び非欠陥画素の出力信号と判断され、画像信号Ｐ（ｎ＋１）及びＰ（ｎ＋２）がそのまま出力画像信号Ｑ（ｎ＋１）及びＱ（ｎ＋２）として出力される。同図（ｂ）には画素座標ｎの出力画像信号Ｑ（ｎ）が欠陥画素補正回路５０２で補正されて画素座標（ｎ−１）の画像信号Ｐ（ｎ−１）が補正信号として使われていることを示している。

特公昭６０−１３５４９号公報 特公昭６２−４０９１７号公報

前記した従来の欠陥画素の補正方法では、欠陥画素の画像信号を１画素前の画像信号に置き換える前置補間方式が用いられており、本来の画像信号（正常な画素から得られるべき画像信号）に対して少なからず誤差が生じる。欠陥画素が孤立した１画素の場合は、この誤差は実用上問題ないが、欠陥画素が複数個連続している場合は、画質劣化として認知されやすくなる。この現象について図９を用いて説明する。

図９はカラー撮像装置に用いるＲ、Ｇ、Ｂの３つの撮像素子別に画像信号Ｐ及び出力画像信号Ｑの信号レベルが画像座標順に示されているグラフである。撮像画素が非欠陥画素であり画像信号Ｐがそのまま出力画像信号Ｑになっているものは白丸で示され、一方、画素が欠陥画素で欠陥画素補正回路５０２において補正を加えられた出力画像信号Ｑは黒丸で示されている。同図（ａ）（ｂ）（ｃ）はそれぞれＲ成分、Ｇ成分、及びＢ成分に対応している。また、Ｒ、Ｇ、Ｂの３つの色成分の画像信号をそれぞれＰｒ、Ｐｇ、Ｐｂとし、出力画像信号はそれぞれＱｒ、Ｑｇ、Ｑｂとする。図９に示された例は、被写体像として比較的細かい絵柄の場合に相当する。詳細には、同図（ａ）（ｂ）（ｃ）に示すように、Ｂ成分の画素座標ｎ〜ｎ＋３の画素が欠陥画素であって、Ｒ、Ｇ、２つの色成分とも座標ｎからｎ＋３の区間には信号レベルの高低がほぼ１周期分存在している。

このような画像信号Ｐに対してＲ、Ｇ、Ｂ各成分において従来の欠陥画素補正処理を行なうと、欠陥画素のないＲ及びＧ成分については画像信号Ｐｒ、Ｐｇがそのまま出力信号Ｑｒ、Ｑｇとして出力される。一方、Ｂ成分においては、欠陥画素補正回路５０２の補正により、欠陥画素直前の非欠陥画素である画素座標ｎ−１の画像信号Ｐｂ（ｎ−１）が一様に欠陥画素である画素座標ｎ〜ｎ＋３の出力信号Ｑｂ（ｎ）〜Ｑｂ（ｎ＋３）として出力される。つまり、５画素連続して信号レベルが同一となってしまう。この結果、画素座標ｎ及びｎ＋１では、隣接する正常な画素（画素座標ｎ−１以前、及び画素座標ｎ＋４以降）に比べＢ成分の増加がないため「黄色味」を帯び、逆に、座標ｎ＋２およびｎ＋３ではＢ成分の減少がないため「青味」を帯びた画像となる。黄色と青は補色の関係にあり隣接して配置された場合、人間の視覚に特に認知されやすく、比較的細かい絵柄の被写体像においては、欠陥画素部分が周囲の画素とは異なる色相で認知され、著しく画質を劣化させる。

また、本来、欠陥画素のないＲ成分及びＧ成分に対しても座標ｎ〜ｎ＋３を欠陥画素とみなして補正することで、Ｒ、Ｇ、Ｂ全ての成分について非欠陥画素であるそれぞれの色成分の画像信号Ｐ（ｎ−１）を出力信号Ｑ（ｎ）〜Ｑ（ｎ＋３）として出力し、上記のような色相の変化を防止することもできる。しかし、このような補正方法においては、細かい絵柄の被写体が移動した場合、欠陥画素周辺（前後）の正常な画素では細かい絵柄（画像の高周波成分）は再現されるが、被写体が欠陥画素部分を通過する時には、同一信号（欠陥画素直前の非欠陥画素の信号）が５画素分連続するため、移動する被写体像の高周波成分が特定の座標部分だけ再現されなくなり、著しく不自然な画像として認知される。

本発明は、このような従来の問題点に鑑みなされたものであり、カラー撮像装置において、比較的細かい絵柄の被写体像を撮像した場合にも、欠陥画素部分が周囲の画素と比較して不自然になることを防止する欠陥画素補正方法を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正方法において、１または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルの傾きを示す傾きパラメータを算出する第１ステップと、カラー画像を構成する各色成分のうち、前記欠陥画素を含む欠陥画素色成分と、該欠陥画素色成分以外の非欠陥画素色成分との相関性を、前記第１のステップで算出された傾きパラメータに基づいて判定する第２ステップと、前記欠陥画素色成分及び前記第２ステップで相関性が高いと判定された非欠陥画素色成分について、前記分欠陥画素領域に隣接する非欠陥画素の信号を用いて欠陥画素領域の信号を補間する補間値を算出する第３ステップと、前記第２ステップで相関性が高いと判定された非欠陥画素色成分について、前記撮像素子の出力信号と、前記第３ステップで算出された補間値との差分値を算出する第４ステップと、前記欠陥画素色成分について前記第３ステップで算出された補間値と、前記第４ステップで算出された差分値とを用いて、前記欠陥画素の信号レベルを補正する第５ステップとからなることを特徴とする。

請求項２に記載の発明は、欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正方法において、１または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルを補間する補間値を算出する第１ステップと、前記撮像素子の出力信号と前記補間値との差分値を算出する第２ステップと、カラー画像を構成する色成分のうち、前記欠陥画素を含む色成分について前記第１ステップで算出された補間値と、欠陥画素を含まない色成分について前記第２ステップで算出された差分値の平均値とを用いて、前記欠陥画素の信号レベルを補正する第３ステップとからなることを特徴とする。

請求項３に記載の発明は、欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正装置において、１または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルの傾きを示す傾きパラメータを算出する傾きパラメータ算出手段と、カラー画像を構成する各色成分のうち、前記欠陥画素を含む欠陥画素色成分と、該欠陥画素色成分以外の非欠陥画素色成分との相関性を、前記傾きパラメータ算出手段で算出された傾きパラメータに基づいて判定する相関性判定手段と、前記欠陥画素色成分及び前記相関性判定手段で相関性が高いと判定された非欠陥画素色成分について、前記欠陥画素領域に隣接する非欠陥画素の信号を用いて欠陥画素領域の信号を補間する補間値を算出する補間値算出手段と、前記相関性判定手段で相関性が高いと判定された非欠陥画素色成分について、前記撮像素子の出力信号と、前記補間値算出手段で算出された補間値との差分値を算出する差分値算出手段と、前記欠陥画素色成分について前記補間値算出手段で算出された補間値と、前記差分値算出手段で算出された差分値とを用いて、前記欠陥画素の信号レベルを補正する補正手段とからなることを特徴とする。

請求項４に記載の発明は、欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正装置において、１または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルを補間する補間値を算出する補間値算出手段と、前記撮像素子の出力信号と前記補間値との差分値を算出する差分値手段と、カラー画像を構成する色成分のうち、前記欠陥画素を含む色成分について前記補間値算出手段で算出された補間値と、欠陥画素を含まない色成分について前記差分値算出手段で算出された差分値の平均値とを用いて、前記欠陥画素の信号レベルを補正する補正手段とからなることを特徴とする。

請求項１または３に記載の発明によれば、１または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて欠陥画素領域における信号レベルの傾きを示す傾きパラメータが算出され、この傾きパラメータに基づいて、カラー画像を構成する各色成分のうち、欠陥画素を含む欠陥画素色成分と欠陥画素色成分以外の非欠陥画素色成分との相関性が判定される。そして、欠陥画素色成分及び相関性が高いと判断された非欠陥画素色成分について、欠陥画素領域に隣接する非欠陥画素の信号を用いて欠陥画素領域の信号を補間する補間値が算出され、相関性が高いと判定された非欠陥画素色成分について撮像素子の出力信号と欠陥画素領域の信号を補間する補間値との差分値が算出され、この差分値と補間値とを用いて、欠陥画素の信号レベルが補正される。これにより比較的細かい絵柄の被写体を撮像した場合にも、欠陥画素部分が周囲の画素と比較して不自然になることを防止することができる。

請求項２または４に記載の発明によれば、１または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号が用いられて欠陥画素領域における信号レベルを補間する補間値が算出され、この補間値と、撮像素子の出力信号との差分値が算出され、欠陥画素を含む色成分について、算出された補間値と、欠陥画素を含まない色成分について算出された差分値の平均値とを用いて、欠陥画素の信号レベルが補正される。これにより比較的細かい絵柄の被写体を撮像した場合にも、欠陥画素が周囲の画素と比較して不自然になることを防止することができる。

以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の欠陥画素補正方法を適用したカラー撮像装置の要部の構成を示す図である。この装置は、撮像素子１、欠陥画素補正回路２、及び制御回路３からなる。撮像素子１及び制御回路３は、図６に示す従来の装置の撮像素子５０１及び制御回路５０３と同様に動作する。図１に示す装置では欠陥画素補正回路２における欠陥画素補正処理が、図６に示す欠陥画素補正回路５０２における処理と異なっている。
図２は、欠陥画素補正回路２における欠陥画素補正処理のフローチャートであり、図３は本実施形態の欠陥画素補正信号の生成方法を説明するためのグラフである。

以下、本実施形態ではカラー撮像装置のＢ成分の画素座標ｎからｎ＋３の４画素が欠陥画素であるとして説明をする。また、Ｒ、Ｇ、Ｂ各成分の撮像素子の画素座標ｎの画素から読み出される画像信号をＰｒ（ｎ）、Ｐｇ（ｎ）、Ｐｂ（ｎ）、画素座標ｎのＲ、Ｇ、Ｂ各成分の画素が欠陥画素か非欠陥画素かを示す欠陥補正制御信号をＢｒｇｂ（ｎ）、画素座標ｎの画素に対する欠陥画素補正回路２の出力画像信号をＱｒ（ｎ）、Ｑｇ（ｎ）、Ｑｂ（ｎ）とする。

図２に示す処理では、先ず、欠陥補正制御信号Ｂｒｇｂ（ｎ）によって、欠陥画素補正回路２に入力された画像信号Ｐ（ｎ）の何れの色成分が欠陥画素を含む欠陥画素座標の出力であるか、または欠陥画素を含まない非欠陥画素座標の出力であるかどうかが判断される（ステップＳ１０１）。ここで、欠陥補正制御信号Ｂｒｇｂ（ｎ）は、画素座標ｎにおいてＲ、Ｇ、Ｂ何れかの画素に欠陥があるかを示す信号であり、例えば、Ｒ成分が欠陥画素である場合はＢｒｇｂ（ｎ）＝（１，０，０）、Ｇ成分が欠陥画素である場合はＢｒｇｂ（ｎ）＝（０，１，０）、Ｂ成分が欠陥画素である場合はＢｒｇｂ（ｎ）＝（０，０，１）となり、Ｒ、Ｇ、Ｂ何れの色成分の画素にも欠陥がない場合はＢｒｇｂ（ｎ）＝（０，０，０）となる３ビットの信号である。ステップＳ１０１での判断結果がＲ、Ｇ、Ｂ何れの成分の画素にも欠陥がない非欠陥画素座標の場合には、ステップＳ１０２に進み、画像信号Ｐ（ｎ）をそのまま出力画像信号Ｑ（ｎ）として出力する。

一方、上記ステップＳ１０１での判断結果で、Ｒ、Ｇ、Ｂの何れかの画素に欠陥がある欠陥画素座標の場合は、ステップＳ１０３に進み各色成分ごとに欠陥画素座標の前後の非欠陥画素間の傾きを示す傾きパラメータＫｒ（ｎ）、Ｋｇ（ｎ）、Ｋｂ（ｎ）を算出する。具体的には、欠陥画素座標ｎの１つ前の非欠陥画素（ｎ−１）の画像信号Ｐ（ｎ−１）と非欠陥画素座標（ｎ＋４）の画像信号Ｐ（ｎ＋４）との信号レベル差を算出し、各色成分毎にＫｒ（ｎ）、Ｋｇ（ｎ）、Ｋｂ（ｎ）とする。

次に、ステップＳ１０４に進み、前記ステップＳ１０３で得られた各色成分ごとの傾きパラメータＫｒ（ｎ）、Ｋｇ（ｎ）、Ｋｂ（ｎ）と欠陥補正制御信号Ｂｒｇｂ（ｎ）から、欠陥画素色（以下パラメータｘで示す）と、欠陥画素のない２色のうちで欠陥画素色ｘと相関性の高い相関色（以下パラメータｙで示す）と、欠陥画素と相関性の低い非参照色（以下パラメータｚで示す）とに、３つのＲ、Ｇ、Ｂの色成分を識別（判定）する。
本実施形態ではＢ成分が欠陥画素色ｘであるから、Ｒ成分の傾きパラメータＫｒとＧ成分の傾きパラメータＫｇのうち、Ｂ成分の傾きパラメータＫｂに近い色成分が相関色ｙとし、欠陥画素色ｘ及び相関色ｙ以外の色成分が非参照色ｚとなる。ステップＳ１０４での判定結果で非参照色ｚになった色成分については、ステップＳ１０２に進み、画像信号Ｐｚ（ｎ）をそのまま出力画像信号Ｑｚ（ｎ）として出力する。一方、ステップＳ１０４での判断結果で欠陥画素色ｘおよび相関色ｙになった色成分については、ステップＳ１０５に進み、それぞれの色成分ごとに欠陥画素座標に隣接する非欠陥画素間の信号レベルを線形補間する線形補間値Ｓｘ（ｎ）及びＳｙ（ｎ）を算出する。

ここで、線形補間値を算出するためには連続している欠陥画素の個数と、欠陥画素に前後に隣接する非欠陥画素の画像信号が必要であるが、これらは、画像信号Ｐ（ｎ）と欠陥補正制御信号Ｂｒｇｂ（ｎ）とを、バッファメモリに順次記憶しながら、欠陥補正制御信号Ｂｒｇｂ（ｎ）の連続数を計数することで容易に得ることができる。

更にステップＳ１０６に進み、相関色については画像信号Ｐｙ（ｎ）から前記ステップＳ１０５で算出した線形補間値Ｓｙ（ｎ）を減算し、線形補間値に対する高域差分値ｄｙ（ｎ）を算出する。

次に、ステップＳ１０７に進み、欠陥補正制御信号Ｂｒｇｂ（ｎ）から、入力された信号が欠陥画素色ｘか相関色ｙかを判断する。ステップＳ１０７での判断結果で入力された信号が相関色ｙであった場合はステップＳ１０２に進み、画像信号Ｐｙ（ｎ）をそのまま出力画像信号Ｑｙ（ｎ）として出力する。一方、ステップＳ１０７での判断結果で入力された信号が欠陥画素色ｘであった場合は、ステップＳ１０８に進み、欠陥画素色ｘの線形補間値Ｓｘ（ｎ）に、相関色ｙの高域差分値ｄｙ（ｎ）を加算し、欠陥画素に対する補正信号Ｑｘ（ｎ）として出力する。

次に、図３を用いて上記欠陥画素の補正の具体例を説明する。図３には３つの色成分別に画像信号Ｐ及び出力画像信号Ｑの信号レベルが、画素座標ｎ−２からｎ＋５までの画素座標順に示されている。画素が非欠陥画素であり画像信号Ｐがそのまま出力画像信号Ｑになっているものは白丸で示され、一方、画素が欠陥画素で欠陥画素補正回路２において補正された出力画像信号Ｑは黒丸で示されている。同図（ｃ）には３つの色成分のうちＢ成分の信号レベルが示されており、画素座標ｎからｎ＋３の４画素が欠陥画素となっている。

画素座標ｎ−２の画素はステップＳ１０１で非欠陥画素と判断され、ステップＳ１０２に進み、各色成分の画像信号Ｐ（ｎ−２）がそのまま出力画像信号Ｑ（ｎ−２）として出力される。同様に画素座標ｎ−１の画素も非欠陥画素と判断され画像信号Ｐ（ｎ−１）がそのまま出力画像信号Ｑ（ｎ−１）として出力される。画像座標ｎは欠陥画素であるからステップＳ１０１からステップＳ１０３に進み、各色成分ごとに欠陥画素座標ｎ〜ｎ＋３の前後に隣接する非欠陥画素の画像信号Ｐ（ｎ−１）及びＰ（ｎ＋４）間の傾きパラメータＫｒ（ｎ）、Ｋｇ（ｎ）、及びＫｂ（ｎ）が算出される。図３では、各色成分ごとの傾きパラメータに相当する部分を太線で図示している。また各色成分ごとの傾きパラメータの計算式を下に示す。
Ｋｒ（ｎ）＝Ｐｒ（ｎ−１）−Ｐｒ（ｎ＋４）
Ｋｇ（ｎ）＝Ｐｇ（ｎ−１）−Ｐｇ（ｎ＋４）
Ｋｂ（ｎ）＝Ｐｂ（ｎ−１）−Ｐｂ（ｎ＋４）

次にステップＳ１０４に進み、欠陥画素のある色成分のＢ成分の傾きパラメータＫｂ（ｎ）と、他の２つの色成分のそれぞれの傾きパラメータを比較することで相関性が判定される。具体的には、Ｒ成分の傾きパラメータＫｒ（ｎ）とＢ成分の傾きパラメータＫｂ（ｎ）の差の絶対値とＧ成分の傾きパラメータＫｇ（ｎ）とＢ成分の傾きパラメータＫｂ（ｎ）の差の絶対値を比較する。本実施形態では、下記式で示すように、Ｒ成分の傾きパラメータＫｒ（ｎ）とＢ成分の傾きパラメータＫｂ（ｎ）との差が、Ｇ成分の傾きパラメータＫｇ（ｎ）とＢ成分の傾きパラメータＫｂ（ｎ）との差より大きくなっている。このことからＢ成分とＲ成分は相関性が低く、Ｇ成分とＢ成分は相関性が高いと判断される。よって、Ｒ成分が非参照色ｚ、Ｇ成分が相関色ｙとなる。
｜Ｋｒ（ｎ）−Ｋｂ（ｎ）｜＞｜Ｋｇ（ｎ）−Ｋｂ（ｎ）｜

上記判定結果、非参照色ｚであるＲ成分に関してはステップＳ１０２に進み、画像信号Ｐｚ（ｎ）すなわちＰｒ（ｎ）がそのまま出力画像信号Ｑｒ（ｎ）として出力される。
Ｑｒ（ｎ）＝Ｐｒ（ｎ）

次いで、ステップＳ１０５において、欠陥画素色ｘであるＢ成分と相関色ｙであるＧ成分に関して、欠陥画素座標ｎ〜ｎ＋３の前後に隣接するの非欠陥画素の画像信号Ｐ（ｎ−１）及びＰ（ｎ＋４）間を線形補間した補間値Ｓｙ（ｎ）であるＳｇ（ｎ）、及び補間値Ｓｘ（ｎ）であるＳｂ（ｎ）が次の式により算出される。
Ｓｇ（ｎ）＝４／５×Ｐｇ（ｎ−１）＋１／５×Ｐｇ（ｎ＋４）
Ｓｂ（ｎ）＝４／５×Ｐｂ（ｎ−１）＋１／５×Ｐｂ（ｎ＋４）
図３では、分りやすくするために非欠陥画素の画像信号Ｐ（ｎ−１）及びＰ（ｎ＋４）間を線形補間する直線を点線で示しており、また、線形補間値Ｓｇ（ｎ）等を三角形で図示している。

更に、ステップＳ１０６において、相関色であるＧ成分の線形補間値に対する高域差分値ｄｙ（ｎ）であるｄｇ（ｎ）が次の式により算出される。
ｄｇ（ｎ）＝Ｐｇ（ｎ）−Ｓｇ（ｎ）
図３では、分りやすくするために高域差分値ｄｇ（ｎ）に相当する部分を太線で図示している。

次にステップＳ１０７において、Ｇ成分が相関色ｙであると判断され、ステップＳ１０２に進み、画像信号Ｐｙ（ｎ）であるＰｇ（ｎ）がそのまま出力画像信号Ｑｇ（ｎ）として出力される。一方、ステップＳ１０７において、Ｂ成分は欠陥画素色ｘであると判断され、ステップＳ１０８に進み、線形補間値Ｓｂ（ｎ）（＝Ｓｘ（ｎ））に相関色ｙであるＧ成分の高域差分値ｄｇ（ｎ）（＝ｄｙ（ｎ））が加算され出力画像信号Ｑｂ（ｎ）（＝Ｑｘ（ｎ））として出力される。
Ｑｇ（ｎ）＝Ｐｇ（ｎ）
Ｑｂ（ｎ）＝Ｓｂ（ｎ）＋ｄｇ（ｎ）

以降、同様に座標ｎ＋１〜ｎ＋３はＢ成分が欠陥画素であり、Ｒ成分及びＧ成分は非欠陥画素のため、Ｒ成分及びＧ成分については、それぞれの画像信号Ｐ（ｎ＋１〜ｎ＋３）が出力画像信号Ｑ（ｎ＋１〜ｎ＋３）としてそのまま出力され、Ｂ成分については線形補間値Ｓｂ（ｎ＋１〜ｎ＋３）に相関色であるＧ成分の高域差分値ｄｇ（ｎ＋１〜ｎ＋３）が加算されたＱｂ（ｎ＋１〜ｎ＋３）が出力される。

以上詳述したごとく、本実施形態では、欠陥画素の補正に際し欠陥画素の画像信号を線形補間し、この補間値に欠陥色と相関性の高い色成分の高域成分を加算することにより、補正した出力画像信号を生成している。これにより欠陥画素部分に同一信号レベルが連続したり、周囲の画素と比較して急激な色相変化が起きるなどの、不自然な画素として認知されることを防止できる。

なお、本実施形態では欠陥画素部分の相関性を判定するに当たり、欠陥画素部分の前後に隣接する非欠陥画素１画素の差分値を用いたが、欠陥画素部分に隣接する前後それぞれ２画素以上の複数画素の平均値の差分を用いて相関判定するようにしてもよい。これにより、相関判定の精度をより高めることができる。

次に本発明の第２の実施形態について説明する。
本実施形態では欠陥画素補正回路２は図２に示す処理に代えて図４に示す処理を行う。図４の処理では先ず、欠陥補正制御信号Ｂｒｇｂ（ｎ）によって、欠陥画素補正回路２に入力された画像信号Ｐ（ｎ）の何れかの色に欠陥画素を含む欠陥画素座標の出力であるかどうかが判断される（ステップＳ３０１）。ステップＳ３０１での判断結果がＲ、Ｇ、Ｂ何れの成分の画素にも欠陥がない非欠陥画素座標の場合には、ステップＳ３０２に進み、画像信号Ｐ（ｎ）をそのまま出力画像信号Ｑ（ｎ）として出力する。

一方、上記ステップＳ３０１での判断結果で、Ｒ、Ｇ、Ｂの何れかの画素に欠陥がある欠陥画素座標の場合は、ステップＳ３０３に進み各色成分ごとに欠陥画素座標の前後の非欠陥画素間の信号レベルを線形補間した線形補間値Ｓｒ（ｎ）、Ｓｇ（ｎ）、Ｓｂ（ｎ）を算出する。

更にステップＳ３０４に進み、各色成分ごとに画像信号Ｐｒ（ｎ）、Ｐｇ（ｎ）、Ｐｂ（ｎ）からステップＳ３０３で算出された線形補間値Ｓｒ（ｎ）、Ｓｇ（ｎ）、Ｓｂ（ｎ）それぞれを減算し、各色成分ごとの線形補間値に対する高域差分値ｄｒ（ｎ）、ｄｇ（ｎ）、ｄｂ（ｎ）を算出する。

次に、ステップＳ３０５に進み、欠陥補正制御信号Ｂｒｇｂ（ｎ）から、入力された画像信号Ｐｒ（ｎ）、Ｐｇ（ｎ）、Ｐｂ（ｎ）の何れの色成分が、画素座標ｎにおいて補正されるべき欠陥画素色かが判断される。ステップＳ３０５での判断結果で、欠陥画素色ではないと判断された色成分に関してはステップＳ３０２に進み、入力された画像信号Ｐ（ｎ）をそのまま出力画像信号Ｑ（ｎ）として出力する。本実施形態ではＲ成分及びＧ成分がこれ（非欠陥画素色ｎｘａ、ｎｘｂ）に当たる。

一方、上記ステップＳ３０５での判断結果で、補正されるべき欠陥画素と判断された色成分に関しては、ステップＳ３０６に進み、欠陥画素色の線形補間値Ｓｘ（ｎ）に、非欠陥画素色ｎｘａ、ｎｘｂである他の２色成分の高域差分値ｄｎｘａ（ｎ）及びｄｎｘｂ（ｎ）の平均値が加算され、欠陥画素に対して補正された出力画像信号Ｑｘ（ｎ）として出力される。本実施形態では欠陥画素色であるＢ成分の線形補間値Ｓｂ（ｎ）に非欠陥画素色のＲ成分及びＧ成分の高域差分値ｄｒ（ｎ）及びｄｇ（ｎ）の平均値が加算され、補正信号になる。すなわち、ステップＳ３０６におけるにおける演算は下記式で表される。
Ｑｂ（ｎ）＝Ｓｂ（ｎ）＋（ｄｒ（ｎ）＋ｄｇ（ｎ））／２

次に、図５を用いて上記欠陥画素の補正の具体例を説明する。図５は３つの色成分別に画像信号Ｐ及び出力画像信号Ｑの信号レベルが、画素座標ｎ−２からｎ＋５までの画素座標順に示されている。図５に示した黒丸及び白丸の意味は図３と同様である。

画素座標ｎ−２の画素はステップＳ３０１で非欠陥画素と判断され、ステップＳ３０２に進み、各色成分の画像信号Ｐ（ｎ−２）がそのまま出力画像信号Ｑ（ｎ−２）として出力される。同様に画素座標ｎ−１の画素も非欠陥画素と判断され画像信号Ｐ（ｎ−１）がそのまま出力画像信号Ｑ（ｎ−１）として出力される。画像座標ｎは欠陥画素を含むのでステップＳ３０１からステップＳ３０３に進み、各色成分ごとに欠陥画素座標ｎ〜ｎ＋３の前後に隣接する非欠陥画素の画像信号Ｐ（ｎ−１）及びＰ（ｎ＋４）間を線形補間した補間値Ｓｒ（ｎ）、Ｓｇ（ｎ）、Ｓｂ（ｎ）が下記計算式により算出される。
Ｓｒ（ｎ）＝４／５×Ｐｒ（ｎ−１）＋１／５×Ｐｒ（ｎ＋４）
Ｓｇ（ｎ）＝４／５×Ｐｇ（ｎ−１）＋１／５×Ｐｇ（ｎ＋４）
Ｓｂ（ｎ）＝４／５×Ｐｂ（ｎ−１）＋１／５×Ｐｂ（ｎ＋４）
図５では、分りやすくするために非欠陥画素の画像信号Ｐ（ｎ−１）及びＰ（ｎ＋４）間を線形補間した直線を点線で示しており、また、線形補間値を三角形で図示している。

次にステップＳ３０４において、各色成分ごとに線形補間値に対する高域差分値ｄｒ（ｎ）、ｄｇ（ｎ）、ｄｂ（ｎ）が下記式により算出される。
ｄｒ（ｎ）＝Ｐｒ（ｎ）−Ｓｒ（ｎ）
ｄｇ（ｎ）＝Ｐｇ（ｎ）−Ｓｇ（ｎ）
ｄｂ（ｎ）＝Ｐｂ（ｎ）−Ｓｂ（ｎ）
図５では、分りやすくするために高域差分値に相当する部分を太線で図示し、欠陥画素色（Ｂ成分）の高域差分値ｄｂ（ｎ）の図示を省略している。

次にステップＳ３０５において、Ｒ成分及びＧ成分は非欠陥画素色ｎｘａ、ｎｘｂであると判断され、テップＳ３０２に進み、入力された画像信号Ｐｒ（ｎ）（＝Ｐｎｘａ（ｎ））及びＰｇ（ｎ）（＝Ｐｎｘｂ（ｎ））がそのまま出力画像信号Ｑｒ（ｎ）（＝Ｑｎｘａ（ｎ））及びＱｇ（ｎ）（＝Ｑｎｘｂ（ｎ））として出力される。一方、ステップＳ３０５において、Ｂ成分は欠陥画素色ｘであると判断され、ステップＳ３０６に進み、線形補間値Ｓｂ（ｎ）（＝Ｓｘ（ｂ））に非欠陥画素色のＲ成分及びＧ成分の高域差分値ｄｒ（ｎ）（＝ｄｎｘａ（ｎ））及びｄｇ（ｎ）（＝ｄｎｘｂ（ｎ））の平均値が加算され、出力画像信号Ｑｂ（ｎ）として出力される。
Ｑｒ（ｎ）＝Ｐｒ（ｎ）
Ｑｇ（ｎ）＝Ｐｇ（ｎ）
Ｑｂ（ｎ）＝Ｓｂ（ｎ）＋（ｄｒ（ｎ）＋ｄｇ（ｎ））／２
＝Ｓｂ（ｎ）＋ｄｄ（ｎ）

図５では、高域差分値ｄｒ（ｎ）とｄｇ（ｎ）の平均値に相当する部分（ｄｄ（ｎ））を太線で図示している。
以降、同様に座標ｎ＋１〜ｎ＋３はＢ成分が欠陥画素であり、Ｒ成分及びＧ成分は非欠陥画素のため、Ｒ成分及びＧ成分についてはそれぞれの画像信号Ｐ（ｎ＋１〜ｎ＋３）が出力画像信号Ｑ（ｎ＋１〜ｎ＋３）としてそのまま出力され、Ｂ成分については線形補間値Ｓｂ（ｎ＋ａ〜ｎ＋３）に非欠陥画素色であるＧ成分及びＲ成分の高域差分値ｄｇ（ｎ＋１〜ｎ＋３）及びｄｒ（ｎ＋１〜ｎ＋３）の平均値が加算されたＱｂ（ｎ＋１〜ｎ＋３）が出力される。

以上詳述したごとく、本実施形態では、欠陥画素の補正に際し欠陥画素の画像信号を線形補間し、この補間値に非欠陥画素色である色成分の高域成分の平均値を加算することで、補正した出力画像信号を生成している。これにより欠陥画素部分に同一信号レベルが連続したり、周囲の画素と比較して急激な色相変化が起きるなどの、不自然な画素として認知されることを防止できる。
なお、本発明においては、欠陥画素の位置は欠陥画素の補正時までに判明していれば良く、欠陥画素の検出（判定）方法については、特にこれを制約するものではない。

本発明の欠陥画素補正方法を適用したカラー撮像装置の要部の構成を示すブロック図である。 本発明の第１の実施形態にかかる欠陥画素補正処理のフローチャートである。 第１の実施形態の欠陥画素補正信号の生成方法を説明するためのグラフである。 第２の実施形態の欠陥画素補正処理のフローチャートである。 第２の実施形態の欠陥画素補正信号の生成方法を説明するためのグラフである。 従来の欠陥画素の補正機能を備えたカラー撮像装置の要部の構成を示すブロック図である。 従来の欠陥画素補正処理のフローチャートである。 従来の欠陥画素補正信号の生成方法を説明するためのグラフである。 従来のカラー信号における欠陥画素補正信号の生成方法を説明するためのグラフである。

符号の説明

１ 撮像素子
２ 欠陥画素補正回路（傾きパラメータ算出手段、相関性判定手段、補間値算出手段、差分値算出手段、補正手段）
３ 制御回路

Claims (4)

1. 欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正方法において、
   １または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルの傾きを示す傾きパラメータを算出する第１ステップと、
   カラー画像を構成する各色成分のうち、前記欠陥画素を含む欠陥画素色成分と、該欠陥画素色成分以外の非欠陥画素色成分との相関性を、前記第１ステップで算出された傾きパラメータに基づいて判定する第２ステップと、
   前記欠陥画素色成分及び前記第２ステップで相関性が高いと判定された非欠陥画素色成分について、前記欠陥画素領域に隣接する非欠陥画素の信号を用いて欠陥画素領域の信号を補間する補間値を算出する第３ステップと、
   前記第２ステップで相関性が高いと判定された非欠陥画素色成分について、前記撮像素子の出力信号と、前記第３ステップで算出された補間値との差分値を算出する第４ステップと、
   前記欠陥画素色成分について前記第３ステップで算出された補間値と、前記第４ステップで算出された差分値とを用いて、前記欠陥画素の信号レベルを補正する第５ステップとからなることを特徴とする欠陥画素補正方法。
2. 欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正方法において、
   １または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルを補間する補間値を算出する第１ステップと、
   前記撮像素子の出力信号と前記補間値との差分値を算出する第２ステップと、
   カラー画像を構成する色成分のうち、前記欠陥画素を含む色成分について前記第１ステップで算出された補間値と、欠陥画素を含まない色成分について前記第２ステップで算出された差分値の平均値とを用いて、前記欠陥画素の信号レベルを補正する第３ステップとからなることを特徴とする欠陥画素補正方法。
3. 欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正装置において、
   １または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルの傾きを示す傾きパラメータを算出する傾きパラメータ算出手段と、
   カラー画像を構成する各色成分のうち、前記欠陥画素を含む欠陥画素色成分と、該欠陥画素色成分以外の非欠陥画素色成分との相関性を、前記傾きパラメータ算出手段で算出された傾きパラメータに基づいて判定する相関性判定手段と、
   前記欠陥画素色成分及び前記相関性判定手段で相関性が高いと判定された非欠陥画素色成分について、前記欠陥画素領域に隣接する非欠陥画素の信号を用いて欠陥画素領域の信号を補間する補間値を算出する補間値算出手段と、
   前記相関性判定手段で相関性が高いと判定された非欠陥画素色成分について、前記撮像素子の出力信号と、前記補間値算出手段で算出された補間値との差分値を算出する差分値算出手段と、
   前記欠陥画素色成分について前記補間値算出手段で算出された補間値と、前記差分値算出手段で算出された差分値とを用いて、前記欠陥画素の信号レベルを補正する補正手段とからなることを特徴とする欠陥画素補正装置。
4. 欠陥画素を含む複数の画素が配列された撮像素子から得られる信号に対して、前記欠陥画素の位置が欠陥画素の補正時には予め判明しているカラー表示用の撮像素子の欠陥画素補正装置において、
   １または２以上の連続する欠陥画素を含む欠陥画素領域に隣接する非欠陥画素の信号を用いて前記欠陥画素領域における信号レベルを補間する補間値を算出する補間値算出手段と、
   前記撮像素子の出力信号と前記補間値との差分値を算出する差分値算出手段と、
   カラー画像を構成する色成分のうち、前記欠陥画素を含む色成分について前記補間値算出手段で算出された補間値と、欠陥画素を含まない色成分について前記差分値算出手段で算出された差分値の平均値とを用いて、前記欠陥画素の信号レベルを補正する補正手段とからなることを特徴とする欠陥画素補正装置。

Images