JP6291940B2 - 欠陥画素補正装置、撮像装置、及び欠陥画素補正方法 - Google Patents

Description

本願開示は、欠陥画素補正装置、撮像装置、及び欠陥画素補正方法に関する。

デジタルカメラ等の撮像装置において用いられる撮像素子は、複数のホトダイオードが縦横に配列された受光部を有し、これらのホトダイオードが撮像用の各画素を構成する。この画素単位で入射光が光電変換され、光電変換により得られた電荷が撮像素子外部に読み出される。受光部に形成された多数個の画素の中には、欠陥により正常に動作しないものがあり、常に暗点（黒）として現れる黒欠陥画素や明点（白）として現れる白欠陥画素等がある。

これらの欠陥画素を補正する技術としては、注目画素の周辺の画素の値で注目画素の値を置き換える方法が知られている。この方法では、周辺画素の最大値に所定の閾値を加えた値よりも注目画素値が大きい場合、注目画素が白欠陥であると判断し、周辺画素の最大値により注目画素値を置き換える。また周辺画素の最小値から所定の閾値を減じた値よりも注目画素値が小さい場合、注目画素が黒欠陥であると判断し、周辺画素の最小値により注目画素値を置き換える。それ以外の場合には、注目画素が欠陥でないと判断し、注目画素の値をそのままの値とする。

上記の欠陥画素補正技術では、画像が過度の補正により現状よりも悪化してしまうことはない。しかしながら、補正が不十分であるために補正された画素が画像中で目立つ場合がある。例えば、黒い領域と白い領域との境界が直線状である部分において、境界に接する黒い領域側の画素に白欠陥画素が存在したとする。このとき、当該白欠陥画素の周辺画素の最大値は白であるので、黒い領域に存在する当該欠陥画素値は白の値で置き換えられ、補正後の画素が目立ってしまう。

以上のような場合を考えると、理想的には、エッジ方向等の画像の方向性を検出し、検出された方向性に応じて適切な補正画素値を用いることが好ましい。画像方向性に基づいた欠陥画素補正技術（例えば特許文献１）においては、例えば、上記の従来技術の場合と同様の判定方法により注目画素が欠陥画素であるか否かを判定し、欠陥画素でない場合には、注目画素の値をそのままの値とする。注目画素が欠陥画素である場合には、注目画素の周辺画素の値に基づいて画素値変化の少ない方向を特定し、特定された方向に存在する周辺画素の値に基づいて注目画素の値を補正する。そのような補正方法として、例えば、垂直方向が選択された場合には、注目画素の上隣の１画素の画素値と下隣の１画素の画素値との平均値により、注目画素の値を置き換えてよい。また水平方向が選択された場合には、注目画素の左隣の１画素の画素値と右隣の１画素の画素値との平均値により、注目画素の値を置き換えてよい。また右上がり斜め方向が選択された場合には、注目画素の右斜め上隣の１画素の画素値と左斜め下隣の１画素の画素値との平均値により、注目画素の値を置き換えてよい。また左上がり斜め方向が選択された場合には、注目画素の左斜め上隣の１画素の画素値と右斜め下隣の１画素の画素値との平均値により、注目画素の値を置き換えてよい。また方向が特定できない場合には、周辺画素の平均値により、注目画素の値を置き換えてよい。

上記の欠陥画素補正技術は、画像のエッジの方向を考慮して補正するので、補正が不十分であることは少なく、補正後の画素値が画像に馴染みやすい。しかしながら、方向判断において誤りをおかした場合には、画像が現状よりも悪化してしまうことがある。例えば、白い背景中に１画素分の太さの細い黒線が水平方向に伸びている画像を考える。注目画素が黒線上に存在し、黒線の部分の画素値が画素毎に若干変動している一方で、背景の白の部分の画素値が略一定値であるとする。このとき、注目画素の周辺画素の値に基づいて画素値変化の少ない方向を特定しようとすると、注目画素の上隣の画素値と下隣の画素値とが略同一の値であるために垂直方向に画素値変化が少ないと判断される可能性がある。この場合、注目画素の上隣の１画素（白）の画素値と下隣の１画素（白）の画素値との平均値により、黒線上に存在する注目画素の値が置き換えられてしまう。その結果、黒線が途中で途切れてしまうことになる。

特開２００５−１４２９９７号公報 特開２００３−１１１０８８号公報 特開２００６−１４８２３０号公報

以上を鑑みると、補正不足になることなく且つ補正により画像が悪化することのない欠陥画素補正装置が望まれる。

欠陥画素補正装置は、欠陥画素の周辺画素の画素値のうちの最大値又は最小値に基づいて第１の補正値を求める第１の補正部と、前記周辺画素の画素値に基づいて画素値変化が最小である方向を求め、前記周辺画素のうちで前記方向に存在する画素の画素値に応じた第２の補正値を求める第２の補正部と、前記欠陥画素の画素値と前記周辺画素の代表値との差が第１の閾値より小さい場合に前記第１の補正値を選択し、前記差が前記第１の閾値以上である第２の閾値以上である場合に前記第２の補正値を選択し、前記選択された補正値を出力する合成部とを含む。

少なくとも１つの実施例によれば、補正不足になることなく且つ補正により画像が悪化することのない欠陥画素補正装置が得られる。

欠陥画素補正装置の実施例の構成の一例を示す図である。 注目画素及びその８近傍を示す図である。 標準偏差算出部が算出する標準偏差値の一例を示す図である。 標準偏差算出部が算出する標準偏差値の別の一例を示す図である。 合成部による出力値計算に用いられる重みの一例を示す図である。 第１の閾値と第２の閾値との決定方法について説明するための図である。 欠陥画素の画素値と周辺画素の代表値との差が大きい状態の一例を示す図である。 欠陥画素の画素値と周辺画素の代表値との差が大きい状態の別の一例を示す図である。 欠陥画素の画素値と周辺画素の代表値との差が小さい状態の一例を示す図である。 欠陥画素の画素値と周辺画素の代表値との差が小さい状態の別の一例を示す図である。 欠陥画素の画素値と周辺画素の代表値との差が小さい状態の一例を示す図である。 欠陥画素の画素値と周辺画素の代表値との差が小さい状態の別の一例を示す図である。 撮像装置の構成の一例を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。各図において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

図１は、欠陥画素補正装置の実施例の構成の一例を示す図である。図１に示す欠陥画素補正装置は、画素判定部１０、第１補正部１１、第２補正部１２、代表値算出部１３、標準偏差算出部１４、距離算出部１５、及び合成部１６を含む。図１に示す欠陥画素補正装置は、例えば半導体集積回路であり、撮像素子からの画像データ（画像信号）を画像処理する画像処理ユニットの一部として、デジタルカメラ等の撮像装置に内蔵される。

図１において、各ボックスで示される各回路又は機能ブロックと他の回路又は機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。各回路又は機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。

画素判定部１０は、供給される画像データ中の注目画素が欠陥画素であるか否かを判定する。この際、注目画素の周辺画素（例えば８近傍の画素）の画素値のうちの最大値又は最小値に基づいて、欠陥画素であるか否かを判定してよい。例えば、周辺画素の最大値に所定の閾値を加えた値よりも注目画素値が大きい場合（白欠陥の場合）、又は、周辺画素の最小値から所定の閾値を減じた値よりも注目画素値が小さい場合（黒欠陥の場合）、注目画素が欠陥画素であると判定してよい。またそれ以外の場合には、注目画素が欠陥でないと判断してよい。

図２は、注目画素及びその８近傍を示す図である。画素位置ｏｏが注目画素の位置であるとき、それに隣接する画素位置ｍｍ、ｏｍ、ｐｍ、ｍｏ、ｐｏ、ｍｐ、ｏｐ、ｐｐの８つの画素が８近傍の画素となる。これら周辺画素の画素値をそれぞれＡｍｍ、Ａｏｍ、Ａｐｍ、Ａｍｏ、Ａｐｏ、Ａｍｐ、Ａｏｐ、Ａｐｐとし、また注目画素の画素値をＡｏｏとする。また周辺画素の画素値の最大値をＡｍａｘ、最小値をＡｍｉｎとする。更に、上記の欠陥画素判定の閾値をＴＨとする。このとき画素判定部１０は、Ａｍａｘ＋ＴＨ＜Ａｏｏの場合、注目画素が白欠陥であると判定し、Ａｍｉｎ−ＴＨ＞Ａｏｏの場合、注目画素が黒欠陥であると判定する。なお本実施例の説明において、周辺画素は８近傍の画素である必要はなく、４近傍の画素や２４近傍等の任意の近傍であってよい。

なお欠陥画素判定の閾値ＴＨは、固定値であってよい。また或いは閾値ＴＨは、周辺画素値の代表値（例えば平均値）に応じて変化してもよい。一般に、明るい領域では欠陥画素値と本来の画素値との差が大きくても欠陥画素が目立たず、暗い領域では欠陥画素値と本来の画素値との差が小さくても欠陥画素が目立ってしまう傾向にある。このため、明るい領域（即ち上記代表値が大きい場合）では閾値を比較的大きくし、暗い領域（即ち上記代表値が小さい場合）では閾値を比較的小さくしてよい。

図１に戻り、上記判定方法の代わりに、画素判定部１０は、メモリ１７に予め格納された欠陥画素の位置に関する情報に基づいて、注目画素が欠陥画素であるか否かを判定してよい。この場合、予め検出した各欠陥画素の位置を、予めメモリ１７に登録しておく。画素判定部１０は、注目画素の位置とメモリ１７に登録されている各位置とを比較し、両者が一致する場合に注目画素が欠陥画素であると判定してよい。

画素判定部１０が欠陥画素であると判定した注目画素及びその周辺画素の画像データは、画素判定部１０から第１補正部１１、第２補正部１２、代表値算出部１３、及び距離算出部１５に供給される。画素判定部１０が欠陥画素でないと判定した注目画素の画像データは、そのまま欠陥画素補正装置の出力として出力される。

第１補正部１１は、欠陥画素の周辺画素の画素値のうちの最大値又は最小値に基づいて第１の補正値を求める。第１補正部１１は、周辺画素の最大値に所定の閾値を加えた値よりも注目画素値が大きい場合、周辺画素の最大値に応じた値（当該最大値そのものであってよい）を、注目画素値を置き換える補正値として出力してよい。第１補正部１１は、周辺画素の最小値から所定の閾値を減じた値よりも注目画素値が小さい場合、周辺画素の最小値に応じた値（当該最小値そのものであってよい）を、注目画素値を置き換える補正値として出力してよい。即ち、第１補正部１１は、注目画素が白欠陥の場合に注目画素の画素値ＡｏｏをＡｍａｘで置き換え、注目画素が黒欠陥の場合に注目画素の画素値ＡｏｏをＡｍｉｎで置き換えてよい。上記以外の場合、第１補正部１１は、注目画素の画素値をそのまま補正値として出力してよい。この注目画素の画素値をそのまま補正値として出力するという事象は、画素判定部１０での欠陥画素判定に用いる閾値と第１の補正部１１で用いる閾値とが異なる場合や、欠陥画素メモリ１７の情報に基づいて欠陥画素判定をした場合に発生し得る事象である。

第２補正部１２は、周辺画素の画素値に基づいて画素値変化が最小である方向を求め、周辺画素のうちで上記の方向に存在する画素の画素値に応じた第２の補正値を求める。例えば、まず画素値変化が最小である方向を求めるため、図２の８近傍の周辺画素の場合、以下のように垂直、水平、左上がり斜め、右上がり斜め方向の各々について、当該方向において注目画素に隣接する２つの画素の画素値間の差の絶対値を求める。

absV = abs(Aom - Aop)
absH = abs(Amo - Apo)
absN = abs(Amm - App)
absZ = abs(Amp - Apm)
ここでａｂｓ（ｘ）は、値ｘの絶対値を求める関数である。上記のようにして求めた値に基づいて、ａｂｓＶが単独で最小の場合、画素値変化が最小である方向は垂直方向であると判定する。ａｂｓＨが単独で最小の場合、画素値変化が最小である方向は水平方向であると判定する。ａｂｓＮが単独で最小の場合、画素値変化が最小である方向は左上がり斜め方向であると判定する。ａｂｓＺが単独で最小の場合、画素値変化が最小である方向は右上がり斜め方向であると判定する。それ以外の場合には、画素値変化が最小である方向は定まらない。

第２補正部１２は、上記のようにして画素値変化が最小である方向を求めると、当該方向おいて注目画素に隣接する２つの画素の画素値の平均値を求め、当該平均値を第２の補正値として出力する。例えば、第２補正部１２は、垂直方向が画素値変化の最小である方向である場合、注目画素の上隣の１画素の画素値と下隣の１画素の画素値との平均値、即ち（Ａｏｍ＋Ａｏｐ）／２を出力してよい。また第２補正部１２は、水平方向が画素値変化の最小である方向である場合、注目画素の左隣の１画素の画素値と右隣の１画素の画素値との平均値、即ち（Ａｍｏ＋Ａｐｏ）／２を出力してよい。また第２補正部１２は、右上がり斜め方向が画素値変化の最小である方向である場合、注目画素の右斜め上隣の１画素の画素値と左斜め下隣の１画素の画素値との平均値、即ち（Ａｐｍ＋Ａｍｐ）／２を出力してよい。更に第２補正部１２は、左上がり斜め方向が画素値変化の最小である方向である場合、注目画素の左斜め上隣の１画素の画素値と右斜め下隣の１画素の画素値との平均値、即ち（Ａｍｍ＋Ａｐｐ）／２を出力してよい。なお画素値変化が最小である方向が定まらない場合、第２補正部１２は、周辺画素の画素値の平均値を出力してよい。

代表値算出部１３は、周辺画素の画素値の代表値を求める。この代表値としては、周辺画素の画素値の平均値であってよい。或いは、周辺画素の画素値の重みづけ平均値であってもよい。或いは、周辺画素の画素値の中間値であってもよい。

標準偏差算出部１４は、周辺画素の代表値に応じた基準値を出力する。この基準値は、画素値のノイズの標準偏差であってよい。またこの基準値は、後程説明するように、代表値が増加すると増加する値であってよい。

図３は、標準偏差算出部１４が算出する標準偏差値の一例を示す図である。図３において、横軸は画素値Ａであり、縦軸は画像に重畳されるノイズの標準偏差の値である。一般に、画素値に重畳されるノイズの大きさは画素値の大きさに依存し、画素値が大きくなるほどノイズの振幅も大きくなる場合が多い。即ち、画素値に重畳されるノイズの標準偏差は、画素値が増加すると増加する値となる。図３は、そのようなノイズの標準偏差の一例を、特性曲線２１として示してある。なお、図１の欠陥画素補正装置を搭載する撮像装置を用いて種々の画像を撮像し、撮像された画像データにおいて重畳されるノイズ量を予め実測する等により、特性曲線２１を求めてよい。

標準偏差算出部１４は、特性曲線２１に相当する画素値と標準偏差の値とをルックアップテーブルとして保持し、代表値算出部１３から供給される代表値（画素値）に対応する標準偏差の値をルックアップテーブルから抽出して出力してよい。或いは標準偏差算出部１４は、特性曲線２１に相当する計算式を保持し、代表値算出部１３から供給される代表値（画素値）に対応する標準偏差の値を計算式に基づいて計算して出力してよい。

図４は、標準偏差算出部１４が算出する標準偏差値の別の一例を示す図である。図４において、横軸は画素値Ａであり、縦軸は画像に重畳されるノイズの標準偏差の値である。図４に示す特性折れ線２２は、図３に示す特性曲線を折れ線関数で近似したものである。標準偏差算出部１４は、特性折れ線２２に相当する計算式を保持し、代表値算出部１３から供給される代表値（画素値）に対応する標準偏差の値を計算式に基づいて計算して出力してよい。また更に単純化し、特性曲線２１を直線で近似してもよい。

図１に戻り、距離算出部１５は、欠陥画素の画素値Ａｏｏと周辺画素の代表値との差Ｇを求める。距離算出部１５が求めた差Ｇと、標準偏差算出部１４が求めた標準偏差（基準値）と、第１補正部１１が求めた第１の補正値と、第２補正部１２が求めた第２の補正値とは、合成部１６に供給される。合成部１６は、欠陥画素の画素値と周辺画素の代表値との差Ｇが第１の閾値Ｔｈ１より小さい場合に第１の補正値を選択し、差Ｇが第１の閾値以上である第２の閾値Ｔｈ２以上である場合に第２の補正値を選択し、選択された補正値を出力してよい。この際、合成部１６は、基準値に応じた値として第１の閾値Ｔｈ１及び第２の閾値Ｔｈ２を求めてよい。この場合、第１の閾値Ｔｈ１と第２の閾値Ｔｈ２とが同一値であってよい。この場合、合成部１６は、差Ｇが一つの閾値より小さい場合に第１の補正値を選択し、差Ｇが当該一つの閾値以上である場合に第２の補正値を選択することになる。

また第２の閾値Ｔｈ２は第１の閾値Ｔｈ１より大きくてよい。この場合、合成部１６は、差Ｇが第１の閾値Ｔｈ１以上であり第２の閾値Ｔｈ２より小さい場合に、第１の補正値と第２の補正値との間の値を出力してよい。この出力値は、差Ｇと、第１の閾値Ｔｈ１と、第２の閾値Ｔｈ２とに応じた重みに基づく、第１の補正値と第２の補正値との重み付き和であってよい。具体的には、合成部１６の出力値ＯＵＴは、第１の補正値をＨ１、第２の補正値をＨ２として、以下の式により計算されてよい。

OUT = (1-α)H1 + αH2
ここでαは、差Ｇと、第１の閾値Ｔｈ１と、第２の閾値Ｔｈ２とに応じた重みである。

図５は、合成部１６による出力値計算に用いられる重みαの一例を示す図である。図５において、横軸は画素値間距離Ｇ（欠陥画素の画素値と周辺画素の代表値との差）であり、縦軸は重みαの値である。図５に示されるように、第２の閾値Ｔｈ２は第１の閾値Ｔｈ１より大きくてよい。差Ｇが第１の閾値Ｔｈ１より小さい場合、αは０であり、合成部１６の出力値ＯＵＴの計算値は第１の補正値Ｈ１に等しくなる。差Ｇが第２の閾値Ｔｈ２以上である場合、αは１であり、合成部１６の出力値ＯＵＴの計算値は第２の補正値Ｈ２に等しくなる。また差Ｇが第１の閾値Ｔｈ１以上であり第２の閾値Ｔｈ２より小さい場合、差Ｇと第１の閾値Ｔｈ１との差の値に比例して、αは０から１の間で線形に増加する値を有する。これにより、合成部１６は第１の補正値と第２の補正値とを合成した値を計算することができる。

なお図５に示す重みの値は一例に過ぎず、重みの値はこの例に限定されるものではない。例えば、図５に示すような折れ線ではなく、曲線により画素値間距離Ｇと重みαとの関係が定義されていてもよい。

なお第１の閾値Ｔｈ１及び第２の閾値Ｔｈ２は、注目画素が白欠陥の場合と黒欠陥の場合とで異なる値としてよい。即ち、注目画素が白欠陥の場合、第１の閾値Ｔｈ１ａ及び第２の閾値Ｔｈ２ａを用い、注目画素が黒欠陥の場合、第１の閾値Ｔｈ１ａ及び第２の閾値Ｔｈ２ａとは異なる第１の閾値Ｔｈ１ｂ及び第２の閾値Ｔｈ２ｂを用いてもよい。

図６は、第１の閾値と第２の閾値との決定方法について説明するための図である。図６において、横軸は画像上の画素位置を示し、縦軸は各画素の画素値を示す。画像データ曲線３１は、横軸に示される各画素位置に存在する画素の値を示す。画像データ曲線３１の値の変動は、画素値に重畳されるノイズによる変動を表している。直線３４は、画素値の平均値に標準偏差σを加算した値の位置を模式的に示している。

第１の閾値Ｔｈ１及び第２の閾値Ｔｈ２としては、例えば、以下のように設定してよい。

Th1 = k1×σ
Th2 = k2×σ
ここでｋ１及びｋ２は閾値を決定するための係数であり、例えばｋ１＝１．０であり、ｋ２＝１．５であってよい。これらの係数の値は、欠陥画素補正装置を搭載する撮像装置の調整者が決定してよい。適宜係数の値を決定することにより、例えば図６に示す画素値３２を有する注目画素については第１の補正値により補正し、画素値３３を有する注目画素については第２の補正値により補正する等の適切な補正が可能となる。

前述のように、合成部１６は、欠陥画素の画素値と周辺画素の代表値との差Ｇが第１の閾値Ｔｈ１より小さい場合に第１の補正値を選択し、差Ｇが第１の閾値以上である第２の閾値Ｔｈ２以上である場合に第２の補正値を選択し、選択された補正値を出力してよい。これは即ち、より一般的に表現すれば、差Ｇが比較的大きいときには、画像方向を考慮した第２の補正値を選択し、差Ｇが比較的小さいときには、周辺画素の最大値又は最小値に基づく第１の補正値を選択するということである。

以下に、差Ｇの大きさに応じて選択する補正値をこのように変えることの合理性について説明する。なお以下の説明において、注目画素の理想画素値は、周辺画素の画素値の最大値と最小値との間に存在することを仮定している。また以下の説明では、白欠陥の場合を想定しているが、黒欠陥の場合も同様に考えることができる。

図７は、欠陥画素の画素値と周辺画素の代表値との差が大きい状態の一例を示す図である。図７において、横軸は画素値を表し、横軸上の縦線は各画素の画素値の横軸座標上での位置を示してある。Ａｏｒｇは注目画素の元の画素値（補正前の画素値）、Ａｉｄｅは注目画素の理想的な画素値、Ｓｍａｘは周辺画素の最大画素値、Ｓｍｉｎは周辺画素の最小画素値、Ｓｒｅｐは周辺画素の代表値、Ａｃ１は第１の補正値である。なお第２の補正値は、図７に明示的に示されていないが、ＳｍｉｎとＳｍａｘとの間の何れかの位置に存在することになる。なお図７は、理想的な画素値ＡｉｄｅがＳｍａｘよりもＳｍｉｎに近い場合が示されている。

注目画素の理想的な画素値Ａｉｄｅと補正前の画素値Ａｏｒｇとの差がＣ１である。第１の補正値Ａｃ１により補正した場合、補正後の画素値はＡｃ１となり、この補正後の画素値と理想的な画素値Ａｉｄｅとの差（補正残り）はＣ２１である。また第２の補正値により補正した場合、補正後の画素値はＳｍｉｎとＳｍａｘとの間となり、この補正後の画素値と理想的な画素値Ａｉｄｅとの差（補正残り）は最大でもＣ２２である。ここでＣ２２は、理想的な画素値ＡｉｄｅとＳｍｉｎとの差と理想的な画素値ＡｉｄｅとＳｍａｘとの差のうちの大きい方である。

図７に示す位置関係において、第１の補正値Ａｃ１を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りＣ２１は小さくなる。また第２の補正値を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りは小さくなる。従って、第１の補正値及び第２の補正値の何れを用いても、補正により現状よりも画質は向上する。一方、第１の補正値を用いた時の補正残りＣ２１は、必ず、第２の補正値を用いた時の補正残り（最大でもＣ２２）以上である。従って、第１の補正値よりも第２の補正値を用いることが好ましい。

図８は、欠陥画素の画素値と周辺画素の代表値との差が大きい状態の別の一例を示す図である。図８で用いる表記は図７で用いた表記と同一である。なお図８には、図７と同一の位置に注目画素の画素値Ａｏｒｇが位置しており、但し、理想的な画素値ＡｉｄｅがＳｍｉｎよりもＳｍａｘに近い場合が示されている。

図８に示す位置関係において、第１の補正値Ａｃ１を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りＣ２１は小さくなる。また第２の補正値を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りは小さくなる。従って、第１の補正値及び第２の補正値の何れを用いても、補正により現状よりも画質は向上する。一方、第１の補正値を用いた時の補正残りＣ２１は、第２の補正値を用いた時の補正残りよりも、大きい場合もあれば小さい場合もある。この場合、第１の補正値と第２の補正値との何れを用いることが好ましいかは、周辺画素値が分からない限り確定できない。

上記のように、理想的な画素値ＡｉｄｅがＳｍａｘよりもＳｍｉｎに近い場合には、必ず第２の補正値を用いることが好ましく、理想的な画素値ＡｉｄｅがＳｍｉｎよりもＳｍａｘに近い場合には、第１の補正値と第２の補正値との何れが好ましいかは不明である。理想的な画素値ＡｉｄｅがＳｍａｘよりもＳｍｉｎに近いか或いはＳｍｉｎよりもＳｍａｘに近いかは、五分五分の確率である。従って、図７又は図８に示すように注目画素の画素値Ａｏｒｇと周辺画素の代表値Ｓｒｅｐとの差Ｇが比較的大きい場合には、第２の補正値を用いれば、少なくとも５０％以上の確率で好ましい結果となり、また、現状よりも補正により画質が悪化することがない。即ち、注目画素の画素値Ａｏｒｇと周辺画素の代表値Ｓｒｅｐとの差Ｇが比較的大きい場合には、第２の補正値を用いて補正をすることが好ましい。

図９は、欠陥画素の画素値と周辺画素の代表値との差が小さい状態の一例を示す図である。図９には、注目画素の画素値Ａｏｒｇと周辺画素の代表値Ｓｒｅｐとの差Ｇが小さいが、ＡｏｒｇがＳｍａｘよりも大きい状態であり、且つ、理想的な画素値ＡｉｄｅがＳｍａｘよりもＳｍｉｎに近い場合が示されている。図９で用いる表記は図７で用いた表記と同一である。但し、ＡｏｒｇがそれほどＳｍａｘから離れていないために、注目画素の元々の画素値Ａｏｒｇがそのまま第１補正部１１（図１参照）による補正後の画素値として用いられる場合がある。これを鑑み、補正後の画素値Ａｃ１がＳｍａｘに等しい場合とＡｏｒｇに等しい場合との両方が示されている。

図９に示す位置関係において、第１の補正値Ａｃ１を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りＣ２１は小さいか等しくなる。また第２の補正値を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りは小さくなる。従って、第１の補正値及び第２の補正値の何れを用いても、補正により現状よりも画質が悪化することはない。一方、第１の補正値を用いた時の補正残りＣ２１は、必ず、第２の補正値を用いた時の補正残り（最大でもＣ２２）以上である。従って、第１の補正値よりも第２の補正値を用いることが好ましい。

図１０は、欠陥画素の画素値と周辺画素の代表値との差が小さい状態の別の一例を示す図である。図１０で用いる表記は図９で用いた表記と同一である。なお図１０には、図９と同一の位置に注目画素の画素値Ａｏｒｇが位置しており、但し、理想的な画素値ＡｉｄｅがＳｍｉｎよりもＳｍａｘに近い場合が示されている。

図１０に示す位置関係において、第１の補正値Ａｃ１を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残りＣ２１は小さいか等しくなる。一方、第２の補正値を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残り（最大でＣ２２）は大きくなる場合がある。従って、第２の補正値を用いた場合、補正により現状よりも画質は悪化する場合がある。

図９又は図１０に示す画素値の関係において、理想的な画素値Ａｉｄｅが何れの位置に存在するのかは不明であり、理想的な画素値ＡｉｄｅがＳｍｉｎよりもＳｍａｘに近い場合（図１０に示す位置関係の場合）があり得る。この場合、第２の補正値を用いると、補正により現状よりも画質が悪化してしまう可能性がある。従って、図９又は図１０に示すように注目画素の画素値Ａｏｒｇと周辺画素の代表値Ｓｒｅｐとの差Ｇが比較的小さいときで、ＡｏｒｇがＳｍａｘよりも大きい場合には、画質が現状よりも悪化する可能性を排除するために、第２の補正値ではなく、第１の補正値を用いて補正をすることが好ましい。

図１１は、欠陥画素の画素値と周辺画素の代表値との差が小さい状態の一例を示す図である。図１１には、注目画素の画素値Ａｏｒｇと周辺画素の代表値Ｓｒｅｐとの差Ｇが小さく、ＡｏｒｇがＳｍａｘよりも小さい状態であり、且つ、理想的な画素値ＡｉｄｅがＳｍａｘよりもＳｍｉｎに近い場合が示されている。図１１で用いる表記は図９で用いた表記と同一である。

図１１に示す位置関係において、第１の補正値Ａｃ１を用いた場合、補正前の画素値と理想値との差Ｃ１と、補正後の補正残りＣ２１は等しくなる。一方、第２の補正値を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残り（最大でＣ２２）は大きくなる場合がある。従って、第２の補正値を用いた場合、補正により現状よりも画質は悪化する場合がある。

図１２は、欠陥画素の画素値と周辺画素の代表値との差が小さい状態の別の一例を示す図である。図１２で用いる表記は図９で用いた表記と同一である。なお図１２には、図１１と同一の位置に注目画素の画素値Ａｏｒｇが位置しており、但し、理想的な画素値ＡｉｄｅがＳｍｉｎよりもＳｍａｘに近い場合が示されている。

図１２に示す位置関係において、第１の補正値Ａｃ１を用いた場合、補正前の画素値と理想値との差Ｃ１と、補正後の補正残りＣ２１は等しくなる。一方、第２の補正値を用いた場合、補正前の画素値と理想値との差Ｃ１よりも、補正後の補正残り（最大でＣ２２）は大きくなる場合がある。従って、第２の補正値を用いた場合、補正により現状よりも画質は悪化する場合がある。

図１１又は図１２に示す画素値の関係において、理想的な画素値Ａｉｄｅの位置に関わらず、第２の補正値を用いると、補正により現状よりも画質は悪化してしまう場合がある。従って、図１１又は図１２に示すように注目画素の画素値Ａｏｒｇと周辺画素の代表値Ｓｒｅｐとの差Ｇが比較的小さいときで、ＡｏｒｇがＳｍａｘよりも小さい場合には、画質が現状よりも悪化する可能性を排除するために、第２の補正値ではなく、第１の補正値を用いて補正をすることが好ましい。

以上の考察から、一般に、差Ｇが比較的大きいときには、画像方向を考慮した第２の補正値を選択し、差Ｇが比較的小さいときには、周辺画素の最大値又は最小値に基づく第１の補正値を選択することが好ましいことが分かる。理想的な画素値Ａｉｄｅについて、第２の補正値にとって最も厳しい条件を考えると、白欠陥の場合には、理想的な画素値ＡｉｄｅがＳｍａｘに等しいという条件である。何故ならこのとき、補正残りＣ２２が取り得る値の最大値が、最も大きな値であるＳｍａｘ−Ｓｍｉｎとなるからである。この最も厳しい条件において、第２の補正値を用いたときに現状よりも画質が悪化しないためには、理想的な画素値Ａｉｄｅと注目画素の画素値Ａｏｒｇとの間の距離が、補正残りＣ２２の最大値よりも長ければよい。そうすれば、注目画素の画素値Ａｏｒｇと理想的な画素値Ａｉｄｅとの差が補正残りＣ２２よりも必ず大きいことになり、第２の補正値を用いた時に現状より画質が悪化することがない。即ち、理想的な画素値Ａｉｄｅ（＝Ｓｍａｘ）と注目画素の画素値Ａｏｒｇとの間の距離が、Ｓｍａｘ−Ｓｍｉｎよりも長ければよい。言い換えれば、注目画素の画素値Ａｏｒｇが、Ｓｍａｘ＋［Ｓｍａｘ−Ｓｍｉｎ］よりも大きければよい。従って、注目画素の画素値Ａｏｒｇが、Ｓｍａｘ＋［Ｓｍａｘ−Ｓｍｉｎ］よりも大きいか否かに応じて、第２の補正値を選択することが好ましいか、或いは第１の補正値を選択することが好ましいか、についての条件が切り替わることになる。

但し、現実には周辺画素に欠陥画素が存在する場合もあるので、上記の条件で第１の補正値の使用と第２の補正値の使用とを切り替えることは、あまり得策ではない。実際には、前述の図６に関連して説明したように、画素値に重畳されるノイズの大きさに応じて、第１の補正値の使用と第２の補正値の使用とを切り替えることが好ましい。

図１３は、撮像装置の構成の一例を示す図である。図１３に示す撮像装置は、画像処理ユニット４０、撮像素子６０、画像データ保持部７０、及び画像表示部８０を含む。画像処理ユニット４０は、デフォルトで機能する処理部として、欠陥画素補正部４１、オフセット調整部４２、ＷＢゲイン調整部４３、色補間処理部４４、色補正処理部４５、ガンマ補正部４６、及びＹＣ変換部４７を含む。画像処理ユニット４０は更に、オプションで機能する処理部として、階調補正部４８、ノイズ抑制部４９、エッジ強調部５０、解像度変換部５１、及びデータ圧縮部５２を含む。

画像処理ユニット４０において、欠陥画素補正部４１は、図１に示す構成を有し、前述のような補正処理を実行することにより、撮像素子６０からの画像中の欠陥画素を補正する。欠陥画素が補正された画像データを対象として、オフセット調整部４２によりオフセットが調整され、ＷＢゲイン調整部４３によりホワイトバランスが調整され、色補間処理部４４によりＲＧＢベイヤ配列の色情報から各画素の色データを求める色補間が実行される。また更に、色補正処理部４５による色補正、ガンマ補正部４６によるガンマ補正、及びＹＣ変換部４７による輝度信号と色差信号とへの変換が実行される。

画像処理ユニット４０により処理された画像データは、画像データ保持部７０に保持されると共に、画像表示部８０に表示される。これにより、画像表示部８０は、欠陥画素補正部４１により欠陥画素が補正され、更に種々の処理が施された画像を表示する。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

１０ 画素判定部
１１ 第１補正部
１２ 第２補正部
１３ 代表値算出部
１４ 標準偏差算出部
１５ 距離算出部
１６ 合成部

Claims (9)

1. 欠陥画素の周辺画素の画素値のうちの最大値又は最小値に基づいて第１の補正値を求める第１の補正部と、
   前記周辺画素の画素値に基づいて画素値変化が最小である方向を求め、前記周辺画素のうちで前記方向に存在する画素の画素値に応じた第２の補正値を求める第２の補正部と、
   前記欠陥画素の画素値と前記周辺画素の代表値との差が第１の閾値より小さい場合に前記第１の補正値を選択し、前記差が前記第１の閾値以上である第２の閾値以上である場合に前記第２の補正値を選択し、前記選択された補正値を出力する合成部と
   を含む欠陥画素補正装置。
2. 前記第２の閾値は前記第１の閾値より大きく、前記合成部は、前記差が前記第１の閾値以上であり前記第２の閾値より小さい場合に、前記第１の補正値と前記第２の補正値との間の値を補正値として出力する請求項１記載の欠陥画素補正装置。
3. 前記第１の補正値と前記第２の補正値との間の前記値は、前記差と、前記第１の閾値と、前記第２の閾値とに応じた重みに基づく、前記第１の補正値と前記第２の補正値との重み付き和である請求項２記載の欠陥画素補正装置。
4. 前記周辺画素の前記代表値に応じた基準値を出力する基準値算出部を更に含み、前記合成部は、前記基準値に応じた値として前記第１の閾値及び前記第２の閾値を求める請求項１乃至３いずれか一項記載の欠陥画素補正装置。
5. 前記基準値は前記代表値が増加すると増加する値である請求項４記載の欠陥画素補正装置。
6. 前記基準値は画素値のノイズの標準偏差である請求項４又は５記載の欠陥画素補正装置。
7. 前記第１の閾値及び前記第２の閾値は、前記欠陥画素が白欠陥である場合と黒欠陥である場合とで異なる請求項１乃至６いずれか一項記載の欠陥画素補正装置。
8. 欠陥画素の周辺画素の画素値のうちの最大値又は最小値に基づいて第１の補正値を求め、
   前記周辺画素の画素値に基づいて画素値変化が最小である方向を求め、
   前記周辺画素のうちで前記方向に存在する画素の画素値に応じた第２の補正値を求め、
   前記欠陥画素の画素値と前記周辺画素の代表値との差が第１の閾値より小さい場合に前記第１の補正値を選択し、前記差が前記第１の閾値以上である第２の閾値以上である場合に前記第２の補正値を選択し、前記選択された補正値を出力する
   各段階を含む欠陥画素補正方法。
9. 撮像素子と、
   前記撮像素子からの画像中の欠陥画素を補正する欠陥画素補正部と、
   前記欠陥画素補正部により前記欠陥画素が補正された画像を表示する画像表示部と
   を含み、前記欠陥画素補正部は、
   前記欠陥画素の周辺画素の画素値のうちの最大値又は最小値に基づいて第１の補正値を求める第１の補正部と、
   前記周辺画素の画素値に基づいて画素値変化が最小である方向を求め、前記周辺画素のうちで前記方向に存在する画素の画素値に応じた第２の補正値を求める第２の補正部と、
   前記欠陥画素の画素値と前記周辺画素の代表値との差が第１の閾値より小さい場合に前記第１の補正値を選択し、前記差が前記第１の閾値以上である第２の閾値以上である場合に前記第２の補正値を選択し、前記選択された補正値を出力する合成部と
   を含む撮像装置。

Images