JP3721281B2 - 画像欠陥補正方法およびこの方法を記録した記録媒体 - Google Patents
画像欠陥補正方法およびこの方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP3721281B2 JP3721281B2 JP11572899A JP11572899A JP3721281B2 JP 3721281 B2 JP3721281 B2 JP 3721281B2 JP 11572899 A JP11572899 A JP 11572899A JP 11572899 A JP11572899 A JP 11572899A JP 3721281 B2 JP3721281 B2 JP 3721281B2
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- pixel
- color component
- signal value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000007547 defect Effects 0.000 title claims description 35
- 230000002950 deficient Effects 0.000 claims description 141
- 230000002093 peripheral effect Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３原色の画像を用いた高品質なカラー画像生成技術に関し、特に３板方式などのカラー画像撮像技術に関する。
【０００２】
【従来の技術】
画像の画素欠陥は、多くは画像の入力時に発生し、例えば、特定の画素が被写体の明るさとは関係なく常に一定の輝度となる等の現象として現れ、画質劣化の主要因の一つとなる。画素欠陥の原因は、撮像素子の製造中に発生し、例えば製造中に挨等の影響を受け光電変換機能が損なわれると、この画素からは正常な信号を取り出せない（すなわち信号は常に０となる）ことになり、この結果被写体の明るさに関係なくこの画素は常に黒となる。これとは反対に光電変換素子の短絡等により、被写体の明るさに関係なくある画素が常に白となる欠陥もある。
【０００３】
このような画素欠陥を補正する従来の代表的な方法を図７に示す。図７では画像の画素配列を模式的に５×５で示した。各画素は座標（ｉ，ｊ）で示され、画素（ｉ，ｊ）の信号値をｇ（ｉ，ｊ）で表すことにする。いま、図７において、画素（３，３）が欠陥画素であるとすると、従来の方法では、隣接する画素から欠陥画素の信号値を予測していた。例えば、
１）欠陥画素に隣接する画素の値を欠陥画素の値とする方法（図７（ａ））、すなわち、
ｇ（３，３）＝ｇ（２，３）
とする方法や、
２）隣接する複数の画素の値の平均値をこの画素の値とする方法（図７（ｂ））、すなわち、
ｇ（３，３）＝｛ｇ（３，２）＋ｇ（２，３）＋ｇ（４，３）＋ｇ（３，４）｝／４
とする方法等である。
【０００４】
【発明が解決しようとする課題】
上記従来の欠陥画素の補正方法では、画素値が空間座標において単調に増加、または減少する場合は有効であるが、それ以外の場合においては、実際の信号値との誤差（予測誤差）が多くなるという欠点があった。すなわち、図８（ａ）に示すように単調増加では、隣接画素の値の平均で決定した値（○印の位置）と実際の値（棒の上端）との誤差は小さいが、例えば図８（ｂ）に示すように下に凸となる場合は平均で決定した値と実際の値との誤差が大きくなる。
【０００５】
本発明の課題は、上記従来の欠陥画素の補正方法の問題点を解決するためのものであって、精度の高い欠陥補正を可能にし、欠陥画素による画像品質の劣化を低減できる画像欠陥補正方法を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像欠陥補正方法は、複数の色成分画像から成るカラー画像の欠陥画素の補正方法において、欠陥画素がある色成分画像を判断する段階と、該判断された色成分画像における欠陥画素に隣接する複数の画素の信号値と、その複数の画素の位置と同じ位置にある他の色成分画像の画素の信号値との相関値を計算する段階と、該相関値があらかじめ設定されたしきい値以下の場合は、該欠陥画素と同じ色成分画像における該欠陥画素の周辺画素の信号値のみを用いて欠陥画素の信号値の補正を行う修正段階と、該相関値が該しきい値を超える場合には、前記判断された色成分画像の欠陥画素の補正を、該欠陥画素に隣接する画素の当該色成分の信号値に加え該欠陥画素に隣接する画素の他の色成分画像の信号値を用いて行う補正段階とを有することを特徴とする。
【０００８】
あるいは、複数の色成分画像から成るカラー画像の欠陥画素の補正方法において、欠陥画素がある色成分画像を判断する段階と、該判断された色成分画像における欠陥画素に隣接する複数の画素の信号値と、その複数の画素の位置と同じ位置にある他の色成分画像の画素の信号値と差分を計算する段階と、該差分があらかじめ設定されたしきい値以下の場合は、該欠陥画素と同じ色成分画像における該欠陥画素の周辺画素の信号値のみを用いて欠陥画素の信号値の補正を行う修正段階と、該差分が該しきい値を超える場合には、前記判断された色成分画像の欠陥画素の補正を、該欠陥画素に隣接する画素の当該色成分の信号値に加え該欠陥画素に隣接する画素の他の色成分画像の信号値を用いて行う補正段階とを有することを特徴とする。
【０００９】
あるいは、前記欠陥画素の補正を行う補正段階では、該欠陥画素に隣接する複数の画素の当該色成分画像の信号値の平均値と、該複数の画素位置と同じ位置にある他の色成分画像の信号値の平均値の比を、該欠陥画素と同じ位置にある他の色成分の画素の信号値に乗じて該欠陥画素の信号値を予測する段階と、該予測した信号値を該欠陥画素の信号値に置き換える段階とを有することを特徴とする。
【００１０】
あるいは、前記欠陥画素の信号値を予測する段階では、欠陥画素が行または列方向に連続して発生している場合に、該欠陥画素に隣接する複数の画素の信号値として、該欠陥画素の斜め方向に隣接する画素の信号値を用いることを特徴とする。
【００１１】
さらには、以上の画像欠陥補正方法における段階をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１２】
本発明では、欠陥画素の補正において、欠陥画素が存在する色成分画像に加え他の色成分画像の信号値を用いて補正を行うことにより、以下の作用が生じ前記課題を解決することができる。すなわち、
まず、１）各色成分画像の信号値の空間分布には強い相関性があること、
次に、２）各色成分画像の同一の位置における画素が同時に欠陥である確率は極めて小さく無視できること、
の事実を利用すれば、ある色成分のある画素に欠陥があり、その画素の信号値が未知であっても、他の色成分画像の同一座標の画素の信号値と該画素を中心とした近傍領域の空間的な信号分布を用いれば、上記欠陥画素の信号値を精度良く予測することが可能である。
【００１３】
以上を図１の本発明の原理説明図を用いて詳述する。図１において、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）およびＢ（ｉ，ｊ）は、それぞれ画素（ｉ，ｊ）での赤（Ｒ）、緑（Ｇ）および青（Ｂ）成分画像の信号値である。いま、緑成分画像の画素（ｉ，ｊ）が欠陥画素であり、この画素の値を予測するものとする。カラー画像を色成分毎に見た場合、前述のようにこれらの間には強い相関性があり、空間分布が互いに相似的である場合が多い。このことは、欠陥画素とその周辺画素の信号値の比が色成分間で近似していることを意味する。したがって、この比を欠陥画素と同一座標の他の色成分画像の画素の信号値に乗じることによって欠陥画素の信号値を精度良く予測することが可能である。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１５】
〈実施形態例１〉
本発明の第１の実施形態例を図２に示す。図２は本実施形態例による欠陥補正方法のフローチャートを示す。
【００１６】
まず、欠陥画素がどの色成分画像にあるかを判断する。この判断は、あらかじめ検査した結果に基づいて設定された欠陥画素の色成分とその位置の座標等のパラメータを読み出して行う。
【００１７】
次に、欠陥画素の色成分よって、下記の１）〜３）のように異なる色成分画像を使用して欠陥画素の信号値を予測する。
【００１８】
１）欠陥画素がＲ成分画像にある場合（欠陥画素の座標を（ｉ，ｊ）とする）、Ｒ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値と、Ｒ成分にスペクトル（波長）が近いＧ成分画像の座標（ｉ，ｊ）の周辺画素の信号値の平均値を用い、その比をＧ成分画像の座標（ｉ，ｊ）の信号値Ｇ（ｉ，ｊ）に乗じて、すなわち次式（１）により欠陥画素の信号値Ｒ（ｉ，ｊ）を予測する。
【００１９】
Ｒ（ｉ，ｊ）＝｛Ｒｐ（ｉ，ｊ）／Ｇｐ（ｉ，ｊ）｝×Ｇ（ｉ，ｊ）…（１）
ただし、Ｒｐ（ｉ，ｊ）、Ｇｐ（ｉ，ｊ）はＲまたはＧ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値であり、本実施形態例では周辺画素として上下左右の４つの画素を選択することとし、次式で与える。
【００２０】
Ｒｐ（ｉ，ｊ）＝｛Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）＋Ｒ（ｉ，ｊ−１）＋Ｒ（ｉ，ｊ＋１）｝／４
Ｇｐ（ｉ，ｊ）＝｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）｝／４
２）欠陥画素がＧ成分画像にある場合（欠陥画素の座標を（ｉ，ｊ）とする）、Ｇ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値と、スペクトル（波長）においてＧ成分を挟むＲ成分およびＢ成分画像の座標（ｉ，ｊ）の周辺画素の信号値の平均値を用い、それらの比の平均をＧ成分画像の座標（ｉ，ｊ）の信号値Ｇ（ｉ，ｊ）に乗じて、すなわち次式（２）により欠陥画素の信号値Ｇ（ｉ，ｊ）を予測する。
【００２１】
Ｇ（ｉ，ｊ）＝［｛Ｒ（ｉ，ｊ）／Ｒｐ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）／Ｂｐ（ｉ，ｊ）｝／２］×Ｇｐ（ｉ，ｊ）…（２）
ただし、Ｂｐ（ｉ，ｊ）はＢ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値であり、上記同様上下左右の画素を選択することとし、次式で与えられる。
【００２２】
Ｂｐ（ｉ，ｊ）＝｛Ｂ（ｉ−１，ｊ）＋Ｂ（ｉ＋１，ｊ）＋Ｂ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）｝／４
３）欠陥画素がＢ成分画像にある場合（欠陥画素の座標を（ｉ，ｊ）とする）、Ｂ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値と、Ｂ成分にスペクトル（波長）が近いＧ成分画像の座標（ｉ，ｊ）の周辺画素の信号値の平均値を用い、その比をＧ成分画像の座標（ｉ，ｊ）の信号値に乗じて、すなわち次式（３）により欠陥画素の信号Ｂ（ｉ，ｊ）値を予測する。
【００２３】
Ｂ（ｉ，ｊ）＝｛Ｂｐ（ｉ，ｊ）／Ｇｐ（ｉ，ｊ）｝×Ｇ（ｉ，ｊ）…（３）
次に、以上の方法により予測した信号値（計算値）を該欠陥画素の信号値とする（置き換える）。
【００２４】
〈実施形態例２〉
本発明の第２の実施形態例を図３に示す。図３は本実施形態例による欠陥補正方法のフローチャートを示す。
【００２５】
本実施形態例では、欠陥が線状である場合（線欠陥とよぶ）の補正方法を示す。ここでは縦方向に線欠陥が存在する場合を例とする。
【００２６】
本実施形態例でも前記第１の実施形態例と同様な図３に示すフローチャートに従って欠陥画素の信号値を生成する。ただし、縦方向の線欠陥であるため、信号を予測しようとする欠陥画素の上下の画素も欠陥画素であり、これらの画素の信号値を使用できない。そこで、本実施形態例においては、図４に示すように欠陥画素の斜め方向に最近接する４つの画素を使用する。図４は、交差斜線部分が欠陥画素であり、（３，３）で示す位置の欠陥画素の信号値を算出する場合である。この場合、単斜線で示す４つの画素の信号値を用いる。
【００２７】
本実施形態例の方法における処理ステップは、図２のフローチャートで示した第１の実施形態例の方法における処理ステップと全く同様であり、予測式も第１の実施形態例で述べた（１）〜（３）式と同じであるが、欠陥画素の斜め方向に最近接する４つの画素を使用することから、本実施形態例の場合、Ｒｐ（ｉ，ｊ）、Ｇｐ（ｉ，ｊ）およびＢｐ（ｉ，ｊ）は次式により与えられる点が第１の実施形態例の場合と異なる。
【００２８】
Ｒｐ（ｉ，ｊ）＝｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／４
Ｇｐ（ｉ，ｊ）＝｛Ｇ（ｉ−１，ｊ−１）＋Ｇ（ｉ＋１，ｊ−１）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋１）｝／４
Ｂｐ（ｉ，ｊ）＝｛Ｂ（ｉ−１，ｊ−１）＋Ｂ（ｉ＋１，ｊ−１）＋Ｂ（ｉ−１，ｊ＋１）＋Ｂ（ｉ＋１，ｊ＋１）｝／４
〈実施形態例３〉
本発明の第３の実施形態例を図５のフローチャートで示す。
【００２９】
本実施形態例では、欠陥画素の周辺における信号値分布が他の色成分画像の同一領域の信号値分布と相関性が大きい場合だけ前記第１の実施形態例または第２の実施形態例の方法により、すなわち欠陥画素の色成分画像の周辺画素の信号値に加え、他の色成分画像における周辺画素の信号値を用いて欠陥画素の信号値を補正するものとし、該相関性が小さい場合は、同一色成分画像における欠陥画素の周辺画素の信号値を用いて欠陥画素の信号値を補正する。
【００３０】
まず、前述の実施形態例と同様にして、欠陥画素がどの色成分画像にあるか判断する。
【００３１】
次に、欠陥画素の色成分によって、異なる特定の色成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関性を示す相関値Ｓを計算し、この相関値Ｓとしきい値ｔの比較結果により、上記のように異なる方法で欠陥画素の信号値を予測する。
【００３２】
１）欠陥画素がＲ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、Ｇ成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関値Ｓを、次式により算出する。
【００３３】
Ｓ＝｛Ｒ（ｉ−１，ｊ−１）−Ｇ’（ｉ−１，ｊ−１）｝２＋｛Ｒ（ｉ＋１，ｊ−１）−Ｇ’（ｉ＋１、ｊ−１）｝２＋｛Ｒ（ｉ−１，ｊ＋１）−Ｇ’（ｉ−１，ｊ＋１）｝２＋｛Ｒ（ｉ＋１，ｊ＋１）−Ｇ’（ｉ＋ｉ、ｊ＋１）｝２
ただし、Ｇ’（ｍ，ｎ）はｋＧ（ｍ，ｎ）であり、ｋは次式で与えられる。
【００３４】
ｋ＝Ｒｐ／Ｇｐ
次に、上記で求めた相関値Ｓを適当に設定したしきい値ｔと比較し、これより大である場合は前記第１の実施形態例または第２の実施形態例の方法により、（１）式を用いて欠陥画素の信号値を予測する。一方、相関値Ｓがしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＲ成分画像における欠陥画素の周辺画素の平均値Ｒｐを用いて欠陥画素の信号値を予測する。
【００３５】
２）欠陥画素がＧ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、Ｒ成分画像およびＧ成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関値Ｓを次式により算出する。
【００３６】
Ｓ＝｛Ｇ（ｉ−１，ｊ−１）−Ｈ’（ｉ−１，ｊ−１）｝２＋｛Ｇ（ｉ＋１，ｊ−１）−Ｈ’（ｉ＋１，ｊ−１）｝２＋｛Ｇ（ｉ−１，ｊ＋１）−Ｈ’（ｉ−１，ｊ＋１）｝２＋｛Ｇ（ｉ＋１，ｊ＋１）−Ｈ’（ｉ＋１，ｊ＋１）｝２
ただし、Ｈ’（ｍ，ｎ）はｋＨ（ｍ，ｎ）であり、Ｈ（ｍ，ｎ）は次式で与えられる。
【００３７】
Ｈ（ｍ，ｎ）＝｛Ｒ（ｍ，ｎ）＋Ｂ（ｍ，ｎ）｝／２
次に、上記で求めた相関値Ｓを適当に設定したしきい値ｔと比較し、これより大である場合は前記第１の実施形態例または第２の実施形態例の方法により、（２）式を用いて欠陥画素の信号値を予測する。一方、相関値Ｓがしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＧ成分画像における欠陥画素の周辺画素の平均値Ｇｐを用いて欠陥画素の信号値を予測する。
【００３８】
３）欠陥画素がＢ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、Ｇ成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関値Ｓを次式により算出する。
【００３９】
Ｓ＝｛Ｂ（ｉ−１，ｊ−１）−Ｇ’（ｉ−１，ｊ−１）｝２＋｛Ｂ（ｉ＋１，ｊ−１）−Ｇ’（ｉ＋１、ｊ−１）｝２＋｛Ｂ（ｉ−１，ｊ＋１）−Ｇ’（ｉ−１，ｊ＋１）｝２＋｛Ｂ（ｉ＋１，ｊ＋１）−Ｇ’（ｉ＋１，ｊ＋１）｝２
次に、上記で求めた相関値Ｓを適当に設定したしきい値ｔと比較し、これより大である場合は前記第１の実施形態例または第２の実施形態例の方法により、（３）式を用いて欠陥画素の信号値を予測する。一方、相関値Ｓがしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＢ成分画像における欠陥画素の周辺画素の平均値Ｂｐを用いて欠陥画素の信号値を予測する。
【００４０】
次に、以上の方法により予測した信号値（計算値）を該欠陥画素の信号値とする（置き換える）。
【００４１】
本実施形態例では、欠陥画素の色成分とは異なる色成分画像を用いて該欠陥画素の信号値を算出することを基本としているが、例外的に存在する色成分間の信号分布の相関性が小さい領域で誤差の多い信号値を算出することを防ぐため、上記方法を用いる。
【００４２】
〈実施形態例４〉
本発明の第４の実施形態例を図６のフローチャートで示す。
【００４３】
本実施形態例では、従来の方法でも誤差の少ない欠陥画素の信号値の予測が可能な場合、従来の方法を適用して欠陥画素を補正し、従来の方法では欠陥画素の予測値の誤差が大きい場合、前記第１の実施形態例または第２の実施形態例の方法により欠陥画素を補正する。
【００４４】
まず、前述の実施形態例と同様にして、欠陥画素がどの色成分画像にあるか判断する。
【００４５】
次に、欠陥画素の色成分によって、予測誤差Ｅの大きさを、下記の例に述べるように欠陥画素の色成分とは異なる他の色成分画像により評価し、この予測誤差値Ｅとしきい値ｔの比較結果により、上記のように異なる方法で欠陥画素の信号値を予測する。
【００４６】
１）欠陥画素がＲ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、予測誤差Ｅを、例えば、Ｇ成分画像における注目画素と周辺画素の平均値の差分、すなわち次式（４）により求める。
【００４７】
Ｅ＝Ｇ（ｉ，ｊ）−Ｇｐ（ｉ，ｊ）…（４）
ただし、Ｇｐ（ｉ，ｊ）＝｛Ｇ（ｉ−１，ｊ−１）＋Ｇ（ｉ＋１，ｊ−１）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋１）｝／４
これは、他の色成分画像で同じ座標の画素は正常画素（欠陥でない）である実際の画素からの信号値が得られるという前提に基づく。すなわち、前述のように異なる色成分画像で同じ座標の画素が欠陥画素となる確率は極めて小さいという経験的事実に基づくものである。（４）式は周辺画素から予測した（ｉ，ｊ）の画素の信号値と実際の（ｉ，ｊ）画素の信号値の差分であり、Ｒ成分画像における（ｉ，ｊ）の予測誤差を示す。前述のようにスペクトルの近い異なる色成分画像間の信号分布は相関性があることから、この予測誤差は他の色成分画像にも適応可能である。従って、Ｒ成分画像の欠陥画素（ｉ，ｊ）の信号を周辺画素から予測するとき、予測誤差Ｅとして（４）式により求めた値を用いることが可能である。
【００４８】
次に、この予測誤差Ｅが適当に設定したしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＲ成分画像における欠陥画素の周辺画素の平均値Ｒｐを用いて欠陥画素の信号値を予測し、予測誤差Ｅが上記したしきい値ｔより大きい場合は、前記第１の実施形態例または第２の実施形態例の方法により、（１）式を用いて欠陥画素の信号値を予測する。
【００４９】
２）欠陥画素がＧ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、同様にして、まず、予測誤差Ｅを、例えば、Ｒ成分画像およびＢ成分画像における注目画素と周辺画素の平均値の差分、すなわち次式により求める。
【００５０】
Ｅ＝｛（Ｒ（ｉ，ｊ）−Ｒｐ（ｉ，ｊ））＋｝／２
ただし、Ｒｐ（ｉ，ｊ）＝｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／４
Ｂｐ（ｉ，ｊ）＝｛Ｂ（ｉ−１，ｊ−１）＋Ｂ（ｉ＋１，ｊ−１）＋Ｂ（ｉ−１，ｊ＋１）＋Ｂ（ｉ＋１，ｊ＋１）｝／４
により求める。
【００５１】
上式で求めたＥは、１）と同様に、周辺画素から予測した（ｉ，ｊ）の画素の信号値と実際の（ｉ，ｊ）画素の信号値の差分であり、Ｇ成分画像における（ｉ，ｊ）の予測誤差を示す。
【００５２】
次に、この予測誤差Ｅが適当に設定したしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＧ成分画像における欠陥画素の周辺画素の平均値Ｇｐを用いて欠陥画素の信号値を予測し、予測誤差Ｅが上記したしきい値ｔより大きい場合は、前記第１の実施形態例または第２の実施形態例の方法により、（２）式を用いて欠陥画素の信号値を予測する。
【００５３】
３）欠陥画素がＢ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、予測誤差Ｅを、例えば、Ｇ成分画像における注目画素と周辺画素の平均値の差分、すなわち前式（４）により求める。
【００５４】
上式で求めたＥは、１）と同様に、周辺画素から予測した（ｉ，ｊ）の画素の信号値と実際の（ｉ，ｊ）画素の信号値の差分であり、Ｂ成分画像における（ｉ，ｊ）の予測誤差を示す。
【００５５】
次に、この予測誤差Ｅが適当に設定したしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＢ成分画像における欠陥画素の周辺画素の平均値Ｂｐを用いて欠陥画素の信号値を予測し、予測誤差Ｅが上記したしきい値ｔより大きい場合は、前記第１の実施形態例または第２の実施形態例の方法により、（３）式を用いて欠陥画素の信号値を予測する。
【００５６】
次に、以上の方法により予測した信号値（計算値）を該欠陥画素の信号値とする（置き換える）。
【００５７】
なお、上記の各実施形態例において、図２，図３，図５，図６で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し、提供し、配布することが可能である。
【００５８】
【発明の効果】
以上、説明したように本発明では、欠陥補正において、欠陥画素が存在する色成分画像とは異なる色成分画像の信号値を利用するため、精度の高い欠陥補正が可能となり、画素欠陥による画像品質の劣化を低減できる効果がある。
【図面の簡単な説明】
【図１】（ａ），（ｂ），（ｃ）は、本発明の原理を説明する図である。
【図２】本発明の第１の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図３】本発明の第２の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図４】本発明の第２の実施形態例の画像欠陥補正方法を説明する図である。
【図５】本発明の第３の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図６】本発明の第４の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図７】（ａ），（ｂ）は、従来の画像欠陥補正方法を示す図である。
【図８】（ａ），（ｂ）は、従来の画像欠陥補正方法の欠点を説明する図である。
【符号の説明】
Ｒ（ｉ，ｊ）…Ｒ成分画像における座標（ｉ，ｊ）の画素の信号値
Ｇ（ｉ，ｊ）…Ｇ成分画像における座標（ｉ，ｊ）の画素の信号値
Ｂ（ｉ，ｊ）…Ｂ成分画像における座標（ｉ，ｊ）の画素の信号値
【発明の属する技術分野】
本発明は、３原色の画像を用いた高品質なカラー画像生成技術に関し、特に３板方式などのカラー画像撮像技術に関する。
【０００２】
【従来の技術】
画像の画素欠陥は、多くは画像の入力時に発生し、例えば、特定の画素が被写体の明るさとは関係なく常に一定の輝度となる等の現象として現れ、画質劣化の主要因の一つとなる。画素欠陥の原因は、撮像素子の製造中に発生し、例えば製造中に挨等の影響を受け光電変換機能が損なわれると、この画素からは正常な信号を取り出せない（すなわち信号は常に０となる）ことになり、この結果被写体の明るさに関係なくこの画素は常に黒となる。これとは反対に光電変換素子の短絡等により、被写体の明るさに関係なくある画素が常に白となる欠陥もある。
【０００３】
このような画素欠陥を補正する従来の代表的な方法を図７に示す。図７では画像の画素配列を模式的に５×５で示した。各画素は座標（ｉ，ｊ）で示され、画素（ｉ，ｊ）の信号値をｇ（ｉ，ｊ）で表すことにする。いま、図７において、画素（３，３）が欠陥画素であるとすると、従来の方法では、隣接する画素から欠陥画素の信号値を予測していた。例えば、
１）欠陥画素に隣接する画素の値を欠陥画素の値とする方法（図７（ａ））、すなわち、
ｇ（３，３）＝ｇ（２，３）
とする方法や、
２）隣接する複数の画素の値の平均値をこの画素の値とする方法（図７（ｂ））、すなわち、
ｇ（３，３）＝｛ｇ（３，２）＋ｇ（２，３）＋ｇ（４，３）＋ｇ（３，４）｝／４
とする方法等である。
【０００４】
【発明が解決しようとする課題】
上記従来の欠陥画素の補正方法では、画素値が空間座標において単調に増加、または減少する場合は有効であるが、それ以外の場合においては、実際の信号値との誤差（予測誤差）が多くなるという欠点があった。すなわち、図８（ａ）に示すように単調増加では、隣接画素の値の平均で決定した値（○印の位置）と実際の値（棒の上端）との誤差は小さいが、例えば図８（ｂ）に示すように下に凸となる場合は平均で決定した値と実際の値との誤差が大きくなる。
【０００５】
本発明の課題は、上記従来の欠陥画素の補正方法の問題点を解決するためのものであって、精度の高い欠陥補正を可能にし、欠陥画素による画像品質の劣化を低減できる画像欠陥補正方法を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像欠陥補正方法は、複数の色成分画像から成るカラー画像の欠陥画素の補正方法において、欠陥画素がある色成分画像を判断する段階と、該判断された色成分画像における欠陥画素に隣接する複数の画素の信号値と、その複数の画素の位置と同じ位置にある他の色成分画像の画素の信号値との相関値を計算する段階と、該相関値があらかじめ設定されたしきい値以下の場合は、該欠陥画素と同じ色成分画像における該欠陥画素の周辺画素の信号値のみを用いて欠陥画素の信号値の補正を行う修正段階と、該相関値が該しきい値を超える場合には、前記判断された色成分画像の欠陥画素の補正を、該欠陥画素に隣接する画素の当該色成分の信号値に加え該欠陥画素に隣接する画素の他の色成分画像の信号値を用いて行う補正段階とを有することを特徴とする。
【０００８】
あるいは、複数の色成分画像から成るカラー画像の欠陥画素の補正方法において、欠陥画素がある色成分画像を判断する段階と、該判断された色成分画像における欠陥画素に隣接する複数の画素の信号値と、その複数の画素の位置と同じ位置にある他の色成分画像の画素の信号値と差分を計算する段階と、該差分があらかじめ設定されたしきい値以下の場合は、該欠陥画素と同じ色成分画像における該欠陥画素の周辺画素の信号値のみを用いて欠陥画素の信号値の補正を行う修正段階と、該差分が該しきい値を超える場合には、前記判断された色成分画像の欠陥画素の補正を、該欠陥画素に隣接する画素の当該色成分の信号値に加え該欠陥画素に隣接する画素の他の色成分画像の信号値を用いて行う補正段階とを有することを特徴とする。
【０００９】
あるいは、前記欠陥画素の補正を行う補正段階では、該欠陥画素に隣接する複数の画素の当該色成分画像の信号値の平均値と、該複数の画素位置と同じ位置にある他の色成分画像の信号値の平均値の比を、該欠陥画素と同じ位置にある他の色成分の画素の信号値に乗じて該欠陥画素の信号値を予測する段階と、該予測した信号値を該欠陥画素の信号値に置き換える段階とを有することを特徴とする。
【００１０】
あるいは、前記欠陥画素の信号値を予測する段階では、欠陥画素が行または列方向に連続して発生している場合に、該欠陥画素に隣接する複数の画素の信号値として、該欠陥画素の斜め方向に隣接する画素の信号値を用いることを特徴とする。
【００１１】
さらには、以上の画像欠陥補正方法における段階をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１２】
本発明では、欠陥画素の補正において、欠陥画素が存在する色成分画像に加え他の色成分画像の信号値を用いて補正を行うことにより、以下の作用が生じ前記課題を解決することができる。すなわち、
まず、１）各色成分画像の信号値の空間分布には強い相関性があること、
次に、２）各色成分画像の同一の位置における画素が同時に欠陥である確率は極めて小さく無視できること、
の事実を利用すれば、ある色成分のある画素に欠陥があり、その画素の信号値が未知であっても、他の色成分画像の同一座標の画素の信号値と該画素を中心とした近傍領域の空間的な信号分布を用いれば、上記欠陥画素の信号値を精度良く予測することが可能である。
【００１３】
以上を図１の本発明の原理説明図を用いて詳述する。図１において、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）およびＢ（ｉ，ｊ）は、それぞれ画素（ｉ，ｊ）での赤（Ｒ）、緑（Ｇ）および青（Ｂ）成分画像の信号値である。いま、緑成分画像の画素（ｉ，ｊ）が欠陥画素であり、この画素の値を予測するものとする。カラー画像を色成分毎に見た場合、前述のようにこれらの間には強い相関性があり、空間分布が互いに相似的である場合が多い。このことは、欠陥画素とその周辺画素の信号値の比が色成分間で近似していることを意味する。したがって、この比を欠陥画素と同一座標の他の色成分画像の画素の信号値に乗じることによって欠陥画素の信号値を精度良く予測することが可能である。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１５】
〈実施形態例１〉
本発明の第１の実施形態例を図２に示す。図２は本実施形態例による欠陥補正方法のフローチャートを示す。
【００１６】
まず、欠陥画素がどの色成分画像にあるかを判断する。この判断は、あらかじめ検査した結果に基づいて設定された欠陥画素の色成分とその位置の座標等のパラメータを読み出して行う。
【００１７】
次に、欠陥画素の色成分よって、下記の１）〜３）のように異なる色成分画像を使用して欠陥画素の信号値を予測する。
【００１８】
１）欠陥画素がＲ成分画像にある場合（欠陥画素の座標を（ｉ，ｊ）とする）、Ｒ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値と、Ｒ成分にスペクトル（波長）が近いＧ成分画像の座標（ｉ，ｊ）の周辺画素の信号値の平均値を用い、その比をＧ成分画像の座標（ｉ，ｊ）の信号値Ｇ（ｉ，ｊ）に乗じて、すなわち次式（１）により欠陥画素の信号値Ｒ（ｉ，ｊ）を予測する。
【００１９】
Ｒ（ｉ，ｊ）＝｛Ｒｐ（ｉ，ｊ）／Ｇｐ（ｉ，ｊ）｝×Ｇ（ｉ，ｊ）…（１）
ただし、Ｒｐ（ｉ，ｊ）、Ｇｐ（ｉ，ｊ）はＲまたはＧ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値であり、本実施形態例では周辺画素として上下左右の４つの画素を選択することとし、次式で与える。
【００２０】
Ｒｐ（ｉ，ｊ）＝｛Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）＋Ｒ（ｉ，ｊ−１）＋Ｒ（ｉ，ｊ＋１）｝／４
Ｇｐ（ｉ，ｊ）＝｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）｝／４
２）欠陥画素がＧ成分画像にある場合（欠陥画素の座標を（ｉ，ｊ）とする）、Ｇ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値と、スペクトル（波長）においてＧ成分を挟むＲ成分およびＢ成分画像の座標（ｉ，ｊ）の周辺画素の信号値の平均値を用い、それらの比の平均をＧ成分画像の座標（ｉ，ｊ）の信号値Ｇ（ｉ，ｊ）に乗じて、すなわち次式（２）により欠陥画素の信号値Ｇ（ｉ，ｊ）を予測する。
【００２１】
Ｇ（ｉ，ｊ）＝［｛Ｒ（ｉ，ｊ）／Ｒｐ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）／Ｂｐ（ｉ，ｊ）｝／２］×Ｇｐ（ｉ，ｊ）…（２）
ただし、Ｂｐ（ｉ，ｊ）はＢ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値であり、上記同様上下左右の画素を選択することとし、次式で与えられる。
【００２２】
Ｂｐ（ｉ，ｊ）＝｛Ｂ（ｉ−１，ｊ）＋Ｂ（ｉ＋１，ｊ）＋Ｂ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）｝／４
３）欠陥画素がＢ成分画像にある場合（欠陥画素の座標を（ｉ，ｊ）とする）、Ｂ成分画像における座標（ｉ，ｊ）の周辺画素の信号値の平均値と、Ｂ成分にスペクトル（波長）が近いＧ成分画像の座標（ｉ，ｊ）の周辺画素の信号値の平均値を用い、その比をＧ成分画像の座標（ｉ，ｊ）の信号値に乗じて、すなわち次式（３）により欠陥画素の信号Ｂ（ｉ，ｊ）値を予測する。
【００２３】
Ｂ（ｉ，ｊ）＝｛Ｂｐ（ｉ，ｊ）／Ｇｐ（ｉ，ｊ）｝×Ｇ（ｉ，ｊ）…（３）
次に、以上の方法により予測した信号値（計算値）を該欠陥画素の信号値とする（置き換える）。
【００２４】
〈実施形態例２〉
本発明の第２の実施形態例を図３に示す。図３は本実施形態例による欠陥補正方法のフローチャートを示す。
【００２５】
本実施形態例では、欠陥が線状である場合（線欠陥とよぶ）の補正方法を示す。ここでは縦方向に線欠陥が存在する場合を例とする。
【００２６】
本実施形態例でも前記第１の実施形態例と同様な図３に示すフローチャートに従って欠陥画素の信号値を生成する。ただし、縦方向の線欠陥であるため、信号を予測しようとする欠陥画素の上下の画素も欠陥画素であり、これらの画素の信号値を使用できない。そこで、本実施形態例においては、図４に示すように欠陥画素の斜め方向に最近接する４つの画素を使用する。図４は、交差斜線部分が欠陥画素であり、（３，３）で示す位置の欠陥画素の信号値を算出する場合である。この場合、単斜線で示す４つの画素の信号値を用いる。
【００２７】
本実施形態例の方法における処理ステップは、図２のフローチャートで示した第１の実施形態例の方法における処理ステップと全く同様であり、予測式も第１の実施形態例で述べた（１）〜（３）式と同じであるが、欠陥画素の斜め方向に最近接する４つの画素を使用することから、本実施形態例の場合、Ｒｐ（ｉ，ｊ）、Ｇｐ（ｉ，ｊ）およびＢｐ（ｉ，ｊ）は次式により与えられる点が第１の実施形態例の場合と異なる。
【００２８】
Ｒｐ（ｉ，ｊ）＝｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／４
Ｇｐ（ｉ，ｊ）＝｛Ｇ（ｉ−１，ｊ−１）＋Ｇ（ｉ＋１，ｊ−１）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋１）｝／４
Ｂｐ（ｉ，ｊ）＝｛Ｂ（ｉ−１，ｊ−１）＋Ｂ（ｉ＋１，ｊ−１）＋Ｂ（ｉ−１，ｊ＋１）＋Ｂ（ｉ＋１，ｊ＋１）｝／４
〈実施形態例３〉
本発明の第３の実施形態例を図５のフローチャートで示す。
【００２９】
本実施形態例では、欠陥画素の周辺における信号値分布が他の色成分画像の同一領域の信号値分布と相関性が大きい場合だけ前記第１の実施形態例または第２の実施形態例の方法により、すなわち欠陥画素の色成分画像の周辺画素の信号値に加え、他の色成分画像における周辺画素の信号値を用いて欠陥画素の信号値を補正するものとし、該相関性が小さい場合は、同一色成分画像における欠陥画素の周辺画素の信号値を用いて欠陥画素の信号値を補正する。
【００３０】
まず、前述の実施形態例と同様にして、欠陥画素がどの色成分画像にあるか判断する。
【００３１】
次に、欠陥画素の色成分によって、異なる特定の色成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関性を示す相関値Ｓを計算し、この相関値Ｓとしきい値ｔの比較結果により、上記のように異なる方法で欠陥画素の信号値を予測する。
【００３２】
１）欠陥画素がＲ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、Ｇ成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関値Ｓを、次式により算出する。
【００３３】
Ｓ＝｛Ｒ（ｉ−１，ｊ−１）−Ｇ’（ｉ−１，ｊ−１）｝２＋｛Ｒ（ｉ＋１，ｊ−１）−Ｇ’（ｉ＋１、ｊ−１）｝２＋｛Ｒ（ｉ−１，ｊ＋１）−Ｇ’（ｉ−１，ｊ＋１）｝２＋｛Ｒ（ｉ＋１，ｊ＋１）−Ｇ’（ｉ＋ｉ、ｊ＋１）｝２
ただし、Ｇ’（ｍ，ｎ）はｋＧ（ｍ，ｎ）であり、ｋは次式で与えられる。
【００３４】
ｋ＝Ｒｐ／Ｇｐ
次に、上記で求めた相関値Ｓを適当に設定したしきい値ｔと比較し、これより大である場合は前記第１の実施形態例または第２の実施形態例の方法により、（１）式を用いて欠陥画素の信号値を予測する。一方、相関値Ｓがしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＲ成分画像における欠陥画素の周辺画素の平均値Ｒｐを用いて欠陥画素の信号値を予測する。
【００３５】
２）欠陥画素がＧ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、Ｒ成分画像およびＧ成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関値Ｓを次式により算出する。
【００３６】
Ｓ＝｛Ｇ（ｉ−１，ｊ−１）−Ｈ’（ｉ−１，ｊ−１）｝２＋｛Ｇ（ｉ＋１，ｊ−１）−Ｈ’（ｉ＋１，ｊ−１）｝２＋｛Ｇ（ｉ−１，ｊ＋１）−Ｈ’（ｉ−１，ｊ＋１）｝２＋｛Ｇ（ｉ＋１，ｊ＋１）−Ｈ’（ｉ＋１，ｊ＋１）｝２
ただし、Ｈ’（ｍ，ｎ）はｋＨ（ｍ，ｎ）であり、Ｈ（ｍ，ｎ）は次式で与えられる。
【００３７】
Ｈ（ｍ，ｎ）＝｛Ｒ（ｍ，ｎ）＋Ｂ（ｍ，ｎ）｝／２
次に、上記で求めた相関値Ｓを適当に設定したしきい値ｔと比較し、これより大である場合は前記第１の実施形態例または第２の実施形態例の方法により、（２）式を用いて欠陥画素の信号値を予測する。一方、相関値Ｓがしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＧ成分画像における欠陥画素の周辺画素の平均値Ｇｐを用いて欠陥画素の信号値を予測する。
【００３８】
３）欠陥画素がＢ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、Ｇ成分画像との間の注目欠陥画素の周辺画素における信号値分布の相関値Ｓを次式により算出する。
【００３９】
Ｓ＝｛Ｂ（ｉ−１，ｊ−１）−Ｇ’（ｉ−１，ｊ−１）｝２＋｛Ｂ（ｉ＋１，ｊ−１）−Ｇ’（ｉ＋１、ｊ−１）｝２＋｛Ｂ（ｉ−１，ｊ＋１）−Ｇ’（ｉ−１，ｊ＋１）｝２＋｛Ｂ（ｉ＋１，ｊ＋１）−Ｇ’（ｉ＋１，ｊ＋１）｝２
次に、上記で求めた相関値Ｓを適当に設定したしきい値ｔと比較し、これより大である場合は前記第１の実施形態例または第２の実施形態例の方法により、（３）式を用いて欠陥画素の信号値を予測する。一方、相関値Ｓがしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＢ成分画像における欠陥画素の周辺画素の平均値Ｂｐを用いて欠陥画素の信号値を予測する。
【００４０】
次に、以上の方法により予測した信号値（計算値）を該欠陥画素の信号値とする（置き換える）。
【００４１】
本実施形態例では、欠陥画素の色成分とは異なる色成分画像を用いて該欠陥画素の信号値を算出することを基本としているが、例外的に存在する色成分間の信号分布の相関性が小さい領域で誤差の多い信号値を算出することを防ぐため、上記方法を用いる。
【００４２】
〈実施形態例４〉
本発明の第４の実施形態例を図６のフローチャートで示す。
【００４３】
本実施形態例では、従来の方法でも誤差の少ない欠陥画素の信号値の予測が可能な場合、従来の方法を適用して欠陥画素を補正し、従来の方法では欠陥画素の予測値の誤差が大きい場合、前記第１の実施形態例または第２の実施形態例の方法により欠陥画素を補正する。
【００４４】
まず、前述の実施形態例と同様にして、欠陥画素がどの色成分画像にあるか判断する。
【００４５】
次に、欠陥画素の色成分によって、予測誤差Ｅの大きさを、下記の例に述べるように欠陥画素の色成分とは異なる他の色成分画像により評価し、この予測誤差値Ｅとしきい値ｔの比較結果により、上記のように異なる方法で欠陥画素の信号値を予測する。
【００４６】
１）欠陥画素がＲ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、予測誤差Ｅを、例えば、Ｇ成分画像における注目画素と周辺画素の平均値の差分、すなわち次式（４）により求める。
【００４７】
Ｅ＝Ｇ（ｉ，ｊ）−Ｇｐ（ｉ，ｊ）…（４）
ただし、Ｇｐ（ｉ，ｊ）＝｛Ｇ（ｉ−１，ｊ−１）＋Ｇ（ｉ＋１，ｊ−１）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋１）｝／４
これは、他の色成分画像で同じ座標の画素は正常画素（欠陥でない）である実際の画素からの信号値が得られるという前提に基づく。すなわち、前述のように異なる色成分画像で同じ座標の画素が欠陥画素となる確率は極めて小さいという経験的事実に基づくものである。（４）式は周辺画素から予測した（ｉ，ｊ）の画素の信号値と実際の（ｉ，ｊ）画素の信号値の差分であり、Ｒ成分画像における（ｉ，ｊ）の予測誤差を示す。前述のようにスペクトルの近い異なる色成分画像間の信号分布は相関性があることから、この予測誤差は他の色成分画像にも適応可能である。従って、Ｒ成分画像の欠陥画素（ｉ，ｊ）の信号を周辺画素から予測するとき、予測誤差Ｅとして（４）式により求めた値を用いることが可能である。
【００４８】
次に、この予測誤差Ｅが適当に設定したしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＲ成分画像における欠陥画素の周辺画素の平均値Ｒｐを用いて欠陥画素の信号値を予測し、予測誤差Ｅが上記したしきい値ｔより大きい場合は、前記第１の実施形態例または第２の実施形態例の方法により、（１）式を用いて欠陥画素の信号値を予測する。
【００４９】
２）欠陥画素がＧ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、同様にして、まず、予測誤差Ｅを、例えば、Ｒ成分画像およびＢ成分画像における注目画素と周辺画素の平均値の差分、すなわち次式により求める。
【００５０】
Ｅ＝｛（Ｒ（ｉ，ｊ）−Ｒｐ（ｉ，ｊ））＋｝／２
ただし、Ｒｐ（ｉ，ｊ）＝｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／４
Ｂｐ（ｉ，ｊ）＝｛Ｂ（ｉ−１，ｊ−１）＋Ｂ（ｉ＋１，ｊ−１）＋Ｂ（ｉ−１，ｊ＋１）＋Ｂ（ｉ＋１，ｊ＋１）｝／４
により求める。
【００５１】
上式で求めたＥは、１）と同様に、周辺画素から予測した（ｉ，ｊ）の画素の信号値と実際の（ｉ，ｊ）画素の信号値の差分であり、Ｇ成分画像における（ｉ，ｊ）の予測誤差を示す。
【００５２】
次に、この予測誤差Ｅが適当に設定したしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＧ成分画像における欠陥画素の周辺画素の平均値Ｇｐを用いて欠陥画素の信号値を予測し、予測誤差Ｅが上記したしきい値ｔより大きい場合は、前記第１の実施形態例または第２の実施形態例の方法により、（２）式を用いて欠陥画素の信号値を予測する。
【００５３】
３）欠陥画素がＢ成分画像にある場合（欠陥画素の座標は（ｉ，ｊ）とする）、まず、予測誤差Ｅを、例えば、Ｇ成分画像における注目画素と周辺画素の平均値の差分、すなわち前式（４）により求める。
【００５４】
上式で求めたＥは、１）と同様に、周辺画素から予測した（ｉ，ｊ）の画素の信号値と実際の（ｉ，ｊ）画素の信号値の差分であり、Ｂ成分画像における（ｉ，ｊ）の予測誤差を示す。
【００５５】
次に、この予測誤差Ｅが適当に設定したしきい値ｔより小さい場合は、従来の方法と同様に同一色成分画像であるＢ成分画像における欠陥画素の周辺画素の平均値Ｂｐを用いて欠陥画素の信号値を予測し、予測誤差Ｅが上記したしきい値ｔより大きい場合は、前記第１の実施形態例または第２の実施形態例の方法により、（３）式を用いて欠陥画素の信号値を予測する。
【００５６】
次に、以上の方法により予測した信号値（計算値）を該欠陥画素の信号値とする（置き換える）。
【００５７】
なお、上記の各実施形態例において、図２，図３，図５，図６で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し、提供し、配布することが可能である。
【００５８】
【発明の効果】
以上、説明したように本発明では、欠陥補正において、欠陥画素が存在する色成分画像とは異なる色成分画像の信号値を利用するため、精度の高い欠陥補正が可能となり、画素欠陥による画像品質の劣化を低減できる効果がある。
【図面の簡単な説明】
【図１】（ａ），（ｂ），（ｃ）は、本発明の原理を説明する図である。
【図２】本発明の第１の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図３】本発明の第２の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図４】本発明の第２の実施形態例の画像欠陥補正方法を説明する図である。
【図５】本発明の第３の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図６】本発明の第４の実施形態例の画像欠陥補正方法をフローチャートで示した図である。
【図７】（ａ），（ｂ）は、従来の画像欠陥補正方法を示す図である。
【図８】（ａ），（ｂ）は、従来の画像欠陥補正方法の欠点を説明する図である。
【符号の説明】
Ｒ（ｉ，ｊ）…Ｒ成分画像における座標（ｉ，ｊ）の画素の信号値
Ｇ（ｉ，ｊ）…Ｇ成分画像における座標（ｉ，ｊ）の画素の信号値
Ｂ（ｉ，ｊ）…Ｂ成分画像における座標（ｉ，ｊ）の画素の信号値
Claims (5)
- 複数の色成分画像から成るカラー画像の欠陥画素の補正方法において、
欠陥画素がある色成分画像を判断する段階と、
該判断された色成分画像における欠陥画素に隣接する複数の画素の信号値と、その複数の画素の位置と同じ位置にある他の色成分画像の画素の信号値との相関値を計算する段階と、
該相関値があらかじめ設定されたしきい値以下の場合は、該欠陥画素と同じ色成分画像における該欠陥画素の周辺画素の信号値のみを用いて欠陥画素の信号値の補正を行う修正段階と、
該相関値が該しきい値を超える場合には、前記判断された色成分画像の欠陥画素の補正を、該欠陥画素に隣接する画素の当該色成分の信号値に加え該欠陥画素に隣接する画素の他の色成分画像の信号値を用いて行う補正段階と
を有することを特徴とする画像欠陥補正方法。 - 複数の色成分画像から成るカラー画像の欠陥画素の補正方法において、
欠陥画素がある色成分画像を判断する段階と、
該判断された色成分画像における欠陥画素に隣接する複数の画素の信号値と、その複数の画素の位置と同じ位置にある他の色成分画像の画素の信号値と差分を計算する段階と、
該差分があらかじめ設定されたしきい値以下の場合は、該欠陥画素と同じ色成分画像における該欠陥画素の周辺画素の信号値のみを用いて欠陥画素の信号値の補正を行う修正段階と、
該差分が該しきい値を超える場合には、前記判断された色成分画像の欠陥画素の補正を、該欠陥画素に隣接する画素の当該色成分の信号値に加え該欠陥画素に隣接する画素の他の色成分画像の信号値を用いて行う補正段階と
を有することを特徴とする画像欠陥補正方法。 - 前記欠陥画素の補正を行う補正段階では、
該欠陥画素に隣接する複数の画素の当該色成分画像の信号値の平均値と、該複数の画素位置と同じ位置にある他の色成分画像の信号値の平均値の比を、該欠陥画素と同じ位置にある他の色成分の画素の信号値に乗じて該欠陥画素の信号値を予測する段階と、
該予測した信号値を該欠陥画素の信号値に置き換える段階とを有することを特徴とする請求項１または請求項２いずれかに記載の画像欠陥補正方法。 - 前記欠陥画素の信号値を予測する段階では、
欠陥画素が行または列方向に連続して発生している場合に、該欠陥画素に隣接する複数の画素の信号値として、該欠陥画素の斜め方向に隣接する画素の信号値を用いることを特徴とする請求項３記載の画像欠陥補正方法。 - 請求項１から４までのいずれか１項記載の画像欠陥補正方法における段階をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする画像欠陥補正方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11572899A JP3721281B2 (ja) | 1999-04-23 | 1999-04-23 | 画像欠陥補正方法およびこの方法を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11572899A JP3721281B2 (ja) | 1999-04-23 | 1999-04-23 | 画像欠陥補正方法およびこの方法を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000308082A JP2000308082A (ja) | 2000-11-02 |
| JP3721281B2 true JP3721281B2 (ja) | 2005-11-30 |
Family
ID=14669642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11572899A Expired - Fee Related JP3721281B2 (ja) | 1999-04-23 | 1999-04-23 | 画像欠陥補正方法およびこの方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3721281B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4599705B2 (ja) * | 2000-11-10 | 2010-12-15 | ソニー株式会社 | 画像処理装置及びその方法、並びにプログラム記録媒体 |
| JP3941698B2 (ja) | 2003-01-23 | 2007-07-04 | ソニー株式会社 | 画素補正回路及び画素補正方法 |
| JP4580791B2 (ja) * | 2005-03-17 | 2010-11-17 | ユニデン株式会社 | 画素補完方法 |
| US7920186B2 (en) * | 2006-01-19 | 2011-04-05 | Qualcomm Incorporated | Method and apparatus for defective pixel detection based on the human visual system |
| KR100915970B1 (ko) | 2007-09-10 | 2009-09-10 | 연세대학교 산학협력단 | 이미지 센서에 의해 획득된 영상의 컬러를 보정하는 방법및 장치 |
| JP5309940B2 (ja) * | 2007-12-28 | 2013-10-09 | 株式会社ニコン | 画像処理装置、および撮像装置 |
| US8559762B2 (en) | 2007-12-28 | 2013-10-15 | Nikon Corporation | Image processing method and apparatus for interpolating defective pixels |
| JP5120441B2 (ja) | 2009-11-26 | 2013-01-16 | 株式会社ニコン | 画像処理装置 |
| JP5251912B2 (ja) * | 2010-03-25 | 2013-07-31 | 三菱電機株式会社 | 画像読取装置 |
| US8351696B2 (en) * | 2010-09-17 | 2013-01-08 | Foveon, Inc. | Correcting defective pixels in digital color images |
-
1999
- 1999-04-23 JP JP11572899A patent/JP3721281B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000308082A (ja) | 2000-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100791375B1 (ko) | 색 보정 장치 및 방법 | |
| JP4194336B2 (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
| CN100380915C (zh) | 图像处理装置及图像处理方法 | |
| US7894110B2 (en) | Pixel interpolation method and image distinction method | |
| US20030063203A1 (en) | Fault pixel correcting apparatus | |
| JPWO2005101854A1 (ja) | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ | |
| JP2013219705A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US9030579B2 (en) | Image processing apparatus and control method that corrects a signal level of a defective pixel | |
| JP4533124B2 (ja) | 画素欠陥補正装置 | |
| JP3721281B2 (ja) | 画像欠陥補正方法およびこの方法を記録した記録媒体 | |
| JP2016226059A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
| JP2009219096A (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
| US20090295981A1 (en) | Image sensing apparatus and correction method | |
| JP2012514371A (ja) | イメージセンサの不良画素の検出及び補正方法 | |
| JP4539299B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP2010178226A (ja) | 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム | |
| JP2010068465A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2001054127A (ja) | 固体撮像装置および画素欠陥補償方法 | |
| JP4255819B2 (ja) | 信号処理方法および画像取得装置 | |
| JP2903956B2 (ja) | 画素欠陥補正装置 | |
| JPH077675A (ja) | 画素欠陥補正装置 | |
| JP3914810B2 (ja) | 撮像装置、撮像方法及びそのプログラム | |
| JP4483746B2 (ja) | 欠陥画素補正方法及び装置 | |
| JPH09247542A (ja) | 画像補正装置及び画像補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080916 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |