JP6091807B2 - 欠陥画素判定装置および欠陥画素判定方法 - Google Patents

Description

本発明は、欠陥画素判定装置および欠陥画素判定方法に関する。

従来、カメラセンサの欠陥補正技術としては、スタティック型とダイナミック型とが存在する。スタティック型は、出荷時に全黒・全白画像を入力して欠陥画素を検出し、欠陥画素の位置をメモリに蓄積する。使用時には、メモリから欠陥画素の位置を読み出し、欠陥画素の周辺画素を用いて算出した値で欠陥画素の画素値を置き換える。

このスタティック型は、近年の画素数の増加に伴い、欠陥画素の位置を記憶するために大容量のメモリが必要となることと、出荷時に欠陥検出の行程が必要となることから、コストアップ要因となるという問題があり、さらに温度変化や経年変化によって現れる欠陥には対応できないという点も問題である。このような背景から、ダイナミック型の欠陥補正に対する要求が高まっている。

ダイナミック型の欠陥補正技術としては、例えば、下記の特許文献に記載された技術がある。

特開２００９−２９０６５３号公報 特開２０１１−１３５５６６号公報 特開２００８−６７１５８号公報

しかしながら、特許文献１に開示された手法は、欠陥補正として一般的な手法であるが、当該画素近傍の８画素の画素値の平均値と当該画素の画素値との差分値を見るだけでは副作用が大きく、実際には近傍の画素の画素値の全てが当該画素の画素値から離れている等の条件を追加する必要がある。そうした場合には、欠陥画素と近い値を持つエッジの近傍に存在する欠陥画素を欠陥と判定することができず、欠陥画素が残ってしまう。

特許文献２に開示された手法は、特許文献１に開示された手法とは異なる欠陥画素判定手法であるが、欠陥の判定条件が設定ウィンドウ内で当該画素の画素値が最大値である場合に限られており、欠陥画素と近い値を持つエッジの近傍に存在する欠陥画素を欠陥と十分に判定することができず、欠陥画素が残ってしまう場合がある。

特許文献３に開示された手法は、特許文献１に開示された手法および特許文献２に開示された手法とは異なる欠陥画素判定手法であるが、副作用を小さくする設定にすると、やはり欠陥画素と近い値を持つエッジの近傍に存在する欠陥画素を欠陥と十分に判定することができず、欠陥画素が残ってしまう場合がある。

そこで、本発明は、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することを可能とする技術を提供しようとするものである。

本発明のある実施形態によれば、中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出する第１の差分算出部と、前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出する第２の差分算出部と、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定する判定部と、を備える、欠陥画素判定装置が提供される。

かかる構成によれば、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することが可能となる。特に、中心画素に対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することが可能となる。

前記判定部は、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定してもよい。かかる構成によれば、前記判定部は、第１の条件、第２の条件および第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定することができる。

前記第１の条件は、前記中心画素の画素値が前記第１の最大値よりも大きい場合には、前記中心画素の画素値から前記第１の最大値を減じた値が第１の閾値よりも大きいという条件であってもよい。かかる構成によれば、前記判定部は、前記中心画素の画素値が前記第１の最大値よりも大きい場合には、前記中心画素の画素値から前記第１の最大値を減じた値が第１の閾値よりも大きいという条件を満たすかによって前記第１の条件を満たすかを判定することができる。

前記第１の条件は、前記中心画素の画素値が前記第１の最小値よりも小さい場合には、前記第１の最小値から前記中心画素の画素値を減じた値が第１の閾値よりも大きいという条件であってもよい。かかる構成によれば、前記判定部は、前記中心画素の画素値が前記第１の最小値よりも小さい場合には、前記第１の最小値から前記中心画素の画素値を減じた値が第１の閾値よりも大きいという条件を満たすかによって前記第１の条件を満たすかを判定することができる。

前記第２の条件は、前記第１の差分値が第２の閾値よりも小さいという条件であってもよい。かかる構成によれば、前記判定部は、前記第１の差分値が第２の閾値よりも小さいという条件を満たすかによって前記第２の条件を満たすかを判定することができる。

前記第３の条件は、前記第２の差分値が第３の閾値よりも小さいという条件であってもよい。かかる構成によれば、前記判定部は、前記第２の差分値が第３の閾値よりも小さいという条件を満たすかによって前記第３の条件を満たすかを判定することができる。

前記中心画素が欠陥画素であるか否かの判定は、前記中心画素を基準として前記第１の画素群および前記第２の画素群を所定角度回転して得られる複数パターンに対してなされてもよい。かかる構成によれば、前記判定部は、１つのパターンだけではなく、当該複数のパターンに対して欠陥判定を行うことにより、より高精度に欠陥判定を行うことが可能となる。

また、本発明の別の実施形態によれば、中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出するステップと、前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出するステップと、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定するステップと、を含む、欠陥画素判定方法が提供される。

かかる方法によれば、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することが可能となる。特に、中心画素に対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することが可能となる。

以上説明したように、本発明によれば、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することを可能とする技術を提供することが可能である。

本発明の実施形態に適用し得る４原色センサの構成例を示す図である。 本発明の実施形態が解決しようとする課題を示す図である。 本発明の実施形態に係る欠陥画素判定装置の機能構成を示す図である。 第１のエッジ近傍欠陥判定部の詳細構成を示す図である。 第１のエッジ近傍欠陥判定部が有する機能の詳細を示す図である。 第２のエッジ近傍欠陥判定部の詳細構成を示す図である。 第２のエッジ近傍欠陥判定部が有する機能の詳細を示す図である。 欠陥判定の種類と補正値との関係の一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、本発明の実施形態に適用し得るセンサの種類について説明する。図１は、本発明の実施形態に適用し得る４原色センサ１１０Ａの構成例を示す図である。なお、図１を用いた説明においては、本発明の実施形態に適用し得るセンサとして４原色センサ１１０Ａを例に説明するが、後に説明するように、本発明の実施形態に適用し得るセンサは４原色センサ１１０Ａに限定されない。

図１に示すように、４原色センサ１１０Ａは、Ａ，Ｂ，ＣおよびＤにより示される４つのカラーフィルタが２×２画素を単位として並んでいるセンサである。しかし、４つのカラーフィルタは、それぞれが異なる波長領域の光を検出するものであれば、その構成は特に限定されない。例えば、４つのカラーフィルタは、Ｒ，ＧおよびＢの３原色の画素に白画素を加えた構成でもよいし、かかる３原色の画素に赤外光画素を加えた構成でもよいし、可視光領域を４等分して得られる各々の波長領域の光をそれぞれが検出可能であってもよい。

以上、本発明の実施形態に適用し得るセンサの種類について説明した。続いて、本発明の実施形態が解決しようとする課題を説明する。図２は、本発明の実施形態が解決しようとする課題を示す図である。ここで、従来のダイナミック欠陥判定による手法は、同色レイヤ３×３の中で中心画素が孤立していることを条件としている。同色レイヤとは、例えば、図１に示した４原色センサ１１０Ａにおいては同一種類のカラーフィルタに相当する。したがって、３×３の画素群の中に１画素でも中心画素と同じか極めて近い値を持つ画素が存在する場合には、当該中心画素が欠陥と判定されない。

すなわち、従来のダイナミック欠陥判定による手法によれば、平坦部を中心にほとんどの欠陥画素を判定および除去することができるが、図２に示すように、画像Ｍ１から画像Ｍ２に欠陥補正がされたとすると、欠陥画素と同レベルのエッジが近傍にある場合は、その欠陥画素（例えば、図２に示した欠陥画素Ｒ１、Ｒ２など）は欠陥画素であると判定されないため、欠陥補正がなされた後も除去されずに残ってしまうという問題があった。

例えば、図２に示した例では、欠陥画素Ｒ１と同色レイヤで欠陥画素Ｒ１の右側に存在する３画素は（より詳細には、欠陥画素Ｒ１と同色レイヤで欠陥画素Ｒ１の右上に存在する１画素、右に存在する１画素および右下に存在する１画素の計３画素は）欠陥画素Ｒ１と同じ画素値を持っており、欠陥画素Ｒ１は欠陥画素であると判定されない。また、欠陥画素Ｒ２と同色レイヤで欠陥画素Ｒ２の左上の１画素は欠陥画素Ｒ２と同じ画素値を持っており、欠陥画素Ｒ２は欠陥画素であると判定されない。

そこで、本発明の実施形態においては、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると高精度に判定することを可能とする技術について説明する。

続いて、本発明の実施形態に係る欠陥画素判定装置１０の機能構成について説明する。図３は、本発明の実施形態に係る欠陥画素判定装置１０の機能構成を示す図である。図３に示すように、欠陥画素判定装置１０は、センサ１１０、ラインメモリ１２０、補正値算出部１３０、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０、第２のエッジ近傍欠陥判定部１６０およびセレクタ１７０を備える。以下、欠陥画素判定装置１０が備える各機能ブロックの機能について順次詳細に説明する。

センサ１１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。なお、図３に示された例では、センサ１１０は、欠陥画素判定装置１０の内部に存在しているが、センサ１１０は、欠陥画素判定装置１０の外部に存在してもよい。

ここで、本発明の実施形態においては、センサ１１０の構成例として、２×２画素の中に各色１画素のみが存在する４原色センサ１１０Ａを採用するが、センサ１１０の構成は、後に説明するようにかかる例に限定されない。センサ１１０からのＲＡＷ信号はラインメモリ１２０によって蓄積され、補正値算出部１３０、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０、第２のエッジ近傍欠陥判定部１６０およびセレクタ１７０から読み出される。例えば、ＲＡＷ信号は、画像信号として５ライン分ずつ読み出される。なお、図３に示された例では、ラインメモリ１２０は、欠陥画素判定装置１０の内部に存在しているが、ラインメモリ１２０は、欠陥画素判定装置１０の外部に存在してもよい。

補正値算出部１３０は、欠陥画素の画素値に対する補正がなされる場合における補正後の画素値（以下、「補正値」とも言う。）を算出する。ここで、例えば、図３に示した例では、欠陥判定を行う機能ブロックとして、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０が存在している。このように、欠陥判定を行う機能ブロックが欠陥画素判定装置１０の内部に複数存在する場合には、補正値算出部１３０は、各々の欠陥判定に対応する補正値を算出し、当該補正値をセレクタ１７０に供給してもよい。補正値の具体例については、図８を参照して後に説明する。なお、欠陥画素に対する補正を行う必要がない場合などには、欠陥画素判定装置１０は補正値算出部１３０を備えなくてもよい。

ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０は、ラインメモリ１２０から供給される画像信号を構成する複数の画素から中心画素を順次に選択し、当該中心画素が欠陥画素であるか否かの判定を行う。ダイナミック欠陥判定部１４０は、従来のダイナミック欠陥判定による欠陥判定条件を用いて、中心画素が欠陥画素であるか否かの判定を行う。なお、欠陥画素判定装置１０はダイナミック欠陥判定部１４０を備えなくてもよい。

ここで、上記したように、従来のダイナミック欠陥判定による手法によれば、欠陥画素と同レベルのエッジが近傍に存在する場合は、その欠陥画素は欠陥画素であると判定されない。一方、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０は、欠陥画素と同レベルのエッジが近傍にある場合であっても、その欠陥画素を欠陥画素であると判定することができる。

具体的には、第１のエッジ近傍欠陥判定部１５０は、中心画素に対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することができる。また、第２のエッジ近傍欠陥判定部１６０は、中心画素に対して斜め方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することができる。

なお、図３に示した例では、欠陥画素判定装置１０は第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０の双方を備えているが、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０のうちの少なくともいずれか一方を備えていればよい。第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０のそれぞれが有する機能の詳細については、後に説明する。

セレクタ１７０は、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０それぞれから供給される判定結果に基づいて、補正値算出部１３０により算出された各補正値からいずれかの補正値を選択する。ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０それぞれから供給される判定結果とセレクタ１７０により選択される補正値との関係については、図８を参照しながら後に説明する。

セレクタ１７０によって選択された補正値は、例えば、欠陥画素判定装置１０の外部に存在する他の装置に出力され、当該他の装置において当該欠陥画素が当該補正値に補正されてもよい。なお、補正値を選択する必要がない場合などには（例えば、ダイナミック欠陥判定部１４０が存在せず、第２のエッジ近傍欠陥判定部１６０のみ存在する場合などには）、欠陥画素判定装置１０はセレクタ１７０を備えなくてもよい。

また、図３に示したように、補正値算出部１３０、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０を並列に設けることで、ラインメモリ１２０を重複して設ける必要がなく、ラインメモリ１２０のメモリサイズを小さく抑えることが可能となる。

以上、本発明の実施形態に係る欠陥画素判定装置１０の機能構成について説明した。

続いて、第１のエッジ近傍欠陥判定部１５０の詳細について説明する。図４は、第１のエッジ近傍欠陥判定部１５０の詳細構成を示す図である。また、図５は、第１のエッジ近傍欠陥判定部１５０が有する機能の詳細を示す図である。図４に示すように、第１のエッジ近傍欠陥判定部１５０は、第１の差分算出部１５１１、第２の差分算出部１５１２および判定部１５２を備える。

以下の説明においては、図５に示したように、中心画素を中心画素Ｐｃと示し、中心画素Ｐｃと同色レイヤであって中心画素Ｐｃに隣接する画素群を第１の画素群（画素Ｐ１、画素Ｐ２、画素Ｐ４、画素Ｐ６および画素Ｐ７）と第２の画素群（画素Ｐ３、画素Ｐ５および画素Ｐ８）とに分ける。

また、図５の（数式１）に示されるように、第１の画素群の画素値のうち第１の最大値を、Ｐｍａｘ＝ＭＡＸ（Ｐ１，Ｐ２，Ｐ４，Ｐ６，Ｐ７）と示し、図５の（数式２）に示されるように、第１の画素群の画素値のうち第１の最小値を、Ｐｍｉｎ＝ＭＩＮ（Ｐ１，Ｐ２，Ｐ４，Ｐ６，Ｐ７）と示す。したがって、第１の最大値と第１の最小値との第１の差分値は、Ｐｍａｘ−Ｐｍｉｎと示される。

また、図５の（条件３）に示されるように、第２の画素群の画素値のうち第２の最大値を、ＭＡＸ（Ｐ３，Ｐ５，Ｐ８）と示し、第２の画素群の画素値のうち第２の最小値を、ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）と示す。また、図５の（条件３）に示されるように、第２の最大値と第２の最小値との第２の差分値を、ＭＡＸ（Ｐ３，Ｐ５，Ｐ８）−ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）と示す。

ここで、第１の差分算出部１５１１は、Ｐｍａｘ−Ｐｍｉｎを算出する。また、第２の差分算出部１５１２は、ＭＡＸ（Ｐ３，Ｐ５，Ｐ８）−ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）を算出する。判定部１５２は、ＰｍａｘまたはＰｍｉｎと中心画素Ｐｃの画素値との関係とＰｍａｘ−ＰｍｉｎとＭＡＸ（Ｐ３，Ｐ５，Ｐ８）−ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）とに基づいて、中心画素Ｐｃが欠陥画素であるか否かを判定する。

このような欠陥画素の判定手法によれば、中心画素Ｐｃに対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素Ｐｃが欠陥画素であるか否かを判定することができる。当該判定手法は、中心画素Ｐｃが白欠陥（Ｈｏｔ Ｐｉｘｅｌ）の場合に対しても適用可能であり、中心画素Ｐｃが黒欠陥（Ｃｏｌｄ Ｐｉｘｅｌ）の場合に対しても適用可能である。

なお、図５には、中心画素Ｐｃの右側に垂直方向のエッジが存在する場合を示しているが、中心画素Ｐｃの左側に垂直方向のエッジが存在する場合、中心画素Ｐｃの上側に水平方向のエッジが存在する場合および中心画素Ｐｃの下側に水平方向のエッジが存在する場合に対しても当該手法を適用することができる。

当該手法をかかる場合に適用するには、中心画素Ｐｃが欠陥画素であるか否かの判定が、中心画素Ｐｃを基準として第１の画素群（画素Ｐ１、画素Ｐ２、画素Ｐ４、画素Ｐ６および画素Ｐ７）および第２の画素群（画素Ｐ３、画素Ｐ５および画素Ｐ８）を所定角度回転して得られる複数パターンに対してなされる。例えば、所定角度が９０度である場合には、９０度ずつ回転して得られる４つのパターンに対して判定がなされればよい。このように、当該手法を複数のパターンに対して適用することにより、より高精度に欠陥判定を行うことが可能となる。

当該複数パターンに対する判定がなされる場合には、判定部１５２は、当該複数パターンのうちの少なくともいずれか１つのパターンにおいて中心画素Ｐｃが欠陥画素であると判定した場合には、中心画素Ｐｃが欠陥画素であると判定すればよい。また、判定部１５２は、当該複数パターンの全てにおいて中心画素Ｐｃが欠陥画素ではないと判定した場合には、中心画素Ｐｃが欠陥画素ではないと判定すればよい。

中心画素Ｐｃを基準として第１の画素群および第２の画素群を所定角度回転して得られる複数パターンに対する判定がなされる場合には、第１の画素群および第２の画素群が所定角度回転された上で、上記の手法における判定と同一の判定がなされてもよい。あるいは、第１の画素群および第２の画素群自体は回転させずに、上記の手法における判定と異なる判定（例えば、中心画素Ｐｃを基準として対象の画素自体を所定角度回転させた後の画素とした上での判定）がなされてもよい。

どのような場合に判定部１５２が中心画素Ｐｃを欠陥画素であると判定するかについては特に限定されないが、例えば、判定部１５２は、ＰｍａｘまたはＰｍｉｎと中心画素Ｐｃの画素値との関係が第１の条件を満たし、かつ、Ｐｍａｘ−Ｐｍｉｎが第２の条件を満たし、かつ、ＭＡＸ（Ｐ３，Ｐ５，Ｐ８）−ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）が第３の条件を満たす場合に、中心画素Ｐｃが欠陥画素であると判定してもよい。

例えば、図５の（数式３）および（条件１）に示されるように、第１の条件は、中心画素Ｐｃの画素値がＰｍａｘよりも大きい場合には、中心画素Ｐｃの画素値からＰｍａｘを減じた値（Ｐｃ−Ｐｍａｘ）が第１の閾値（ＴＨ１）よりも大きいという条件であってもよい。また、図５の（数式３）および（条件１）に示されるように、第１の条件は、中心画素Ｐｃの画素値がＰｍｉｎよりも小さい場合には、Ｐｍｉｎから中心画素Ｐｃの画素値を減じた値（Ｐｍｉｎ−Ｐｃ）が第１の閾値（ＴＨ１）よりも大きいという条件であってもよい。

また、例えば、図５の（条件２）に示されるように、第２の条件は、Ｐｍａｘ−Ｐｍｉｎが第２の閾値（ＴＨ２）よりも小さいという条件であってもよい。また、例えば、図５の（条件３）に示されるように、第３の条件は、ＭＡＸ（Ｐ３，Ｐ５，Ｐ８）−ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）が第３の閾値（ＴＨ３）よりも小さいという条件であってもよい。

なお、例えば、判定部１５２は、ＰｍａｘまたはＰｍｉｎと中心画素Ｐｃの画素値との関係が上記した第１の条件を満たさない場合、または、Ｐｍａｘ−Ｐｍｉｎが上記した第２の条件を満たさない場合、または、ＭＡＸ（Ｐ３，Ｐ５，Ｐ８）−ＭＩＮ（Ｐ３，Ｐ５，Ｐ８）が上記した第３の条件を満たさない場合には、中心画素Ｐｃが欠陥画素ではないと判定してもよい。

以上、本発明の実施形態に係る欠陥画素判定装置１０が有する第１のエッジ近傍欠陥判定部１５０の詳細について説明した。

続いて、第２のエッジ近傍欠陥判定部１６０の詳細について説明する。図６は、第２のエッジ近傍欠陥判定部１６０の詳細構成を示す図である。また、図７は、第２のエッジ近傍欠陥判定部１６０が有する機能の詳細を示す図である。図６に示すように、第２のエッジ近傍欠陥判定部１６０は、差分算出部１６１および判定部１６２を備える。

以下の説明においては、図７に示したように、中心画素を中心画素Ｐｃと示し、中心画素Ｐｃと同色レイヤであって中心画素Ｐｃに隣接する画素群から四隅のいずれかの画素（画素Ｐ１）を除外した除去後の画素群（画素Ｐ２、画素Ｐ３、画素Ｐ４、画素Ｐ５、画素Ｐ６、画素Ｐ７および画素Ｐ８）を想定する。

また、図７の（数式４）に示されるように、除去後の画素群の画素値のうち最大値を、Ｐｍａｘ＝ＭＡＸ（Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８）と示し、図７の（数式５）に示されるように、除去後の画素群の画素値のうち最小値を、Ｐｍｉｎ＝ＭＩＮ（Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８）と示す。したがって、最大値と最小値との差分値は、Ｐｍａｘ−Ｐｍｉｎと示される。

ここで、差分算出部１６１は、Ｐｍａｘ−Ｐｍｉｎを算出する。また、判定部１６２は、ＰｍａｘまたはＰｍｉｎと中心画素Ｐｃの画素値との関係とＰｍａｘ−Ｐｍｉｎとに基づいて、中心画素Ｐｃが欠陥画素であるか否かを判定する。

このような欠陥画素の判定手法によれば、中心画素Ｐｃに対して斜め方向に近傍するエッジが存在する場合においても中心画素Ｐｃが欠陥画素であるか否かを判定することができる。当該判定手法は、中心画素Ｐｃが白欠陥（Ｈｏｔ Ｐｉｘｅｌ）の場合に対しても適用可能であり、中心画素Ｐｃが黒欠陥（Ｃｏｌｄ Ｐｉｘｅｌ）の場合に対しても適用可能である。

なお、図７には、中心画素Ｐｃの左上側に斜め方向のエッジが存在する場合を示しているが、中心画素Ｐｃの右上側に斜め方向のエッジが存在する場合、中心画素Ｐｃの左下側に斜め方向のエッジが存在する場合および中心画素Ｐｃの右下側に斜め方向のエッジが存在する場合に対しても当該手法を適用することができる。

当該手法をかかる場合に適用するには、中心画素Ｐｃが欠陥画素であるか否かの判定が、中心画素Ｐｃを基準として除去後の画素群（Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８）を所定角度回転して得られる複数パターンに対してなされる。例えば、所定角度が９０度である場合には、９０度ずつ回転して得られる４つのパターンに対して判定がなされればよい。このように、当該手法を複数のパターンに対して適用することにより、より高精度に欠陥判定を行うことが可能となる。

当該複数パターンに対する判定がなされる場合には、判定部１６２は、当該複数パターンのうちの少なくともいずれか１つのパターンにおいて中心画素Ｐｃが欠陥画素であると判定した場合には、中心画素Ｐｃが欠陥画素であると判定すればよい。また、判定部１６２は、当該複数パターンの全てにおいて中心画素Ｐｃが欠陥画素ではないと判定した場合には、中心画素Ｐｃが欠陥画素ではないと判定すればよい。

中心画素Ｐｃを基準として除去後の画素群を所定角度回転して得られる複数パターンに対する判定がなされる場合には、除去後の画素群が所定角度回転された上で、上記の手法における判定と同一の判定がなされてもよい。あるいは、除去後の画素群自体は回転させずに、上記の手法における判定と異なる判定（例えば、中心画素Ｐｃを基準として対象の画素自体を所定角度回転させた後の画素とした上での判定）がなされてもよい。

どのような場合に判定部１６２が中心画素Ｐｃを欠陥画素であると判定するかについては特に限定されないが、例えば、判定部１６２は、ＰｍａｘまたはＰｍｉｎと中心画素Ｐｃの画素値との関係が第１の条件を満たし、かつ、Ｐｍａｘ−Ｐｍｉｎが第２の条件を満たす場合に、中心画素Ｐｃが欠陥画素であると判定してもよい。

例えば、図７の（数式３）および（条件１）に示されるように、第１の条件は、中心画素Ｐｃの画素値がＰｍａｘよりも大きい場合には、中心画素Ｐｃの画素値からＰｍａｘを減じた値（Ｐｃ−Ｐｍａｘ）が第１の閾値（ＴＨ１）よりも大きいという条件であってもよい。また、図７の（数式３）および（条件１）に示されるように、第１の条件は、中心画素Ｐｃの画素値がＰｍｉｎよりも小さい場合には、Ｐｍｉｎから中心画素Ｐｃの画素値を減じた値（Ｐｍｉｎ−Ｐｃ）が第１の閾値（ＴＨ１）よりも大きいという条件であってもよい。

また、例えば、図７の（条件２）に示されるように、第２の条件は、Ｐｍａｘ−Ｐｍｉｎが第２の閾値（ＴＨ２）よりも小さいという条件であってもよい。図５に示した第１の閾値（ＴＨ１）と図７に示した第１の閾値（ＴＨ１）とは同一であってもよいし、異なっていてもよい。また、図５に示した第２の閾値（ＴＨ２）と図７に示した第２の閾値（ＴＨ２）とは同一であってもよいし、異なっていてもよい。

なお、例えば、判定部１６２は、ＰｍａｘまたはＰｍｉｎと中心画素Ｐｃの画素値との関係が上記した第１の条件を満たさない場合、または、Ｐｍａｘ−Ｐｍｉｎが上記した第２の条件を満たさない場合には、中心画素Ｐｃが欠陥画素ではないと判定してもよい。

以上、本発明の実施形態に係る欠陥画素判定装置１０が有する第２のエッジ近傍欠陥判定部１６０の詳細について説明した。

ここで、上記したように、補正値算出部１３０による補正値算出の手法については特に限定されない。以下では、補正値算出部１３０による補正値算出の手法の一例について説明する。図８は、欠陥判定の種類と補正値との関係の一例を示す図である。なお、当然のことながら、補正値算出部１３０による補正値算出の手法は、図８に示した例に限定されない。

上記したように、欠陥画素と判定された画素の画素値は、例えば、補正値算出部１３０により算出された補正値により置き換えられる。図８に示すように、補正値は、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０のうちのいずれの機能ブロックにより欠陥判定（すなわち、中心画素Ｐｃが欠陥画素であるという判定）がなされたかに応じて異なっていてもよい。

例えば、ダイナミック欠陥判定部１４０により欠陥判定がなされた場合には、中心画素Ｐｃの上下左右４画素（画素Ｐ２、画素Ｐ４、画素Ｐ５および画素Ｐ７）の平均値が補正値として使用されてもよい。

また、第１のエッジ近傍欠陥判定部１５０により欠陥判定がなされた場合、エッジが中心画素Ｐｃの左または右に存在する場合は、中心画素Ｐｃの上下２画素（画素Ｐ２および画素Ｐ７）の平均値が補正値として使用されてもよく、エッジが中心画素Ｐｃの上または下に存在する場合は、中心画素Ｐｃの左右２画素（画素Ｐ４および画素Ｐ５）の平均値が補正値として使用されてもよい。

第１のエッジ近傍欠陥判定部１５０により欠陥判定がなされ、かつ、エッジが中心画素Ｐｃの左または右に存在するのは、エッジの方向が水平方向の場合である。一方、第１のエッジ近傍欠陥判定部１５０により欠陥判定がなされ、かつ、エッジが中心画素Ｐｃの上または下に存在するのは、エッジの方向が垂直方向である場合である。そこで、エッジの方向が水平方向および垂直方向のいずれであるのかを判定する機能ブロックを設け、セレクタ１７０は、かかる機能ブロックにより判定されたエッジの方向からエッジが中心画素Ｐｃの左または右に存在するのか上または下に存在するのかを判定してもよい。

また、第２のエッジ近傍欠陥判定部１６０により欠陥判定がなされた場合、エッジが中心画素Ｐｃの左上、右上、左下および右下のいずれかに存在する場合、中心画素Ｐｃの上下左右４画素（画素Ｐ２、画素Ｐ４、画素Ｐ５および画素Ｐ７）の平均値が補正値として使用されてもよい。

図８に示した例においては、使用される補正値は、上下２画素平均、左右２画素平均、上下左右４画素平均の３種類のいずれかである。この場合、補正値算出部１３０はこの３種類の補正値を算出してセレクタ１７０に供給し、セレクタ１７０は、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０それぞれによる判定結果に基づいて、補正値を選択して他の装置に出力する。セレクタ１７０は、いずれの欠陥判定もなされなかった場合は、入力画素値をそのまま出力すればよい。

セレクタ１７０には、ダイナミック欠陥判定部１４０、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０それぞれによる判定結果が同時に供給され得るため、セレクタ１７０が複数の欠陥判定を検出する場合もあり得る。そのような場合を想定し、判定結果を参照する順序を予め決めておき、セレクタ１７０は、最初に検出した欠陥判定に対応する補正値を選択してもよい。この判定結果を参照する順序は、例えば、図８に示したように、ダイナミック欠陥判定、エッジ近傍欠陥判定１（第１のエッジ近傍欠陥判定部１５０による判定結果）およびエッジ近傍欠陥判定２（第２のエッジ近傍欠陥判定部１６０による判定結果）の順であってもよいが、特に限定されない。

以上、補正値算出部１３０による補正値算出の手法の一例について説明した。

本発明の実施形態によれば、中心画素と同レベルの値を持つエッジの近傍に存在する欠陥画素も欠陥画素であると判定し、補正および除去を行うことができる。かかる補正および除去は、従来のダイナミック欠陥補正では除去することが不可能であった。予備実験の結果では、従来のダイナミック欠陥補正と本発明の実施形態におけるエッジ近傍欠陥補正とを組み合わせることで９９％以上の高い欠陥除去率を達成できており、また重要な画像情報を欠陥と誤判定して補正してしまうことで画像にダメージを与えてしまう副作用も非常に小さく抑えられている。

第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０それぞれは、大小比較、加減算およびシフト演算のみで構成され得るため、乗算および割算を必要としない。演算遅延なども非常に小さく抑えられ、回路規模増加はごく僅かである。さらに、第１のエッジ近傍欠陥判定部１５０および第２のエッジ近傍欠陥判定部１６０は、ダイナミック欠陥判定部１４０において使用する所定ライン（例えば、５ライン）の信号を共用して使えるため、ラインメモリの追加も必要ない。以上から、本発明の実施形態は実装が容易であるという利点を有する。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、補正値としては、図８に示した例に記載の補正値を用いる必要はなく、補正値算出に使用される画素の範囲は、５×５よりも大きなカーネルサイズにまで広げたり、中心画素Ｐｃとは異色の画素の画素値を補正値の算出に使用したりしてもよい。本発明の実施形態の主眼は、エッジ近傍の同レベル欠陥の判定方法を提供することにある。

また、本発明の実施形態においては、４原色センサを用いる場合を主に説明したが、２×２画素の中に各色１画素ずつが存在するという点では、３原色ＢａｙｅｒセンサのＲ，Ｂ信号も同じであり、これに本発明の実施形態を適用しようとしても技術的な障壁はない。しかし、３原色Ｂａｙｅｒセンサでは、２×２画素中に２画素存在するＧ信号を使ってデモザイキングを行うため、最終画像の解像感が高く、欠陥補正の副作用としての解像度低下がないか検討するのがよい。また、Ｇ信号を参照して欠陥の判定精度も上げられる可能性があることに留意すべきである。

１０ 欠陥画素判定装置
１１０ センサ
１２０ ラインメモリ
１３０ 補正値算出部
１４０ ダイナミック欠陥判定部
１５０ 第１のエッジ近傍欠陥判定部
１５１１ 第１の差分算出部
１５１２ 第２の差分算出部
１５２ 判定部
１６０ 第２のエッジ近傍欠陥判定部
１６１ 差分算出部
１６２ 判定部
１７０ セレクタ

Claims (9)

1. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出する第１の差分算出部と、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出する第２の差分算出部と、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定する判定部と、
   を備え、
   前記判定部は、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第１の条件は、前記中心画素の画素値が前記第１の最大値よりも大きい場合には、前記中心画素の画素値から前記第１の最大値を減じた値が第１の閾値よりも大きいという条件である、
   欠陥画素判定装置。
2. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出する第１の差分算出部と、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出する第２の差分算出部と、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定する判定部と、
   を備え、
   前記判定部は、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第１の条件は、前記中心画素の画素値が前記第１の最小値よりも小さい場合には、前記第１の最小値から前記中心画素の画素値を減じた値が第１の閾値よりも大きいという条件である、
   欠陥画素判定装置。
3. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出する第１の差分算出部と、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出する第２の差分算出部と、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定する判定部と、
   を備え、
   前記判定部は、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第２の条件は、前記第１の差分値が第２の閾値よりも小さいという条件である、
   欠陥画素判定装置。
4. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出する第１の差分算出部と、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出する第２の差分算出部と、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定する判定部と、
   を備え、
   前記判定部は、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第３の条件は、前記第２の差分値が第３の閾値よりも小さいという条件である、
   欠陥画素判定装置。
5. 前記中心画素が欠陥画素であるか否かの判定は、前記中心画素を基準として前記第１の画素群および前記第２の画素群を所定角度回転して得られる複数パターンに対してなされる、
   請求項１〜４のいずれか一項に記載の欠陥画素判定装置。
6. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出するステップと、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出するステップと、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定するステップと、
   を含み、
   前記中心画素が欠陥画素であるか否かを判定するステップにおいては、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第１の条件は、前記中心画素の画素値が前記第１の最大値よりも大きい場合には、前記中心画素の画素値から前記第１の最大値を減じた値が第１の閾値よりも大きいという条件である、
   欠陥画素判定方法。
7. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出するステップと、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出するステップと、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定するステップと、
   を含み、
   前記中心画素が欠陥画素であるか否かを判定するステップにおいては、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第１の条件は、前記中心画素の画素値が前記第１の最小値よりも小さい場合には、前記第１の最小値から前記中心画素の画素値を減じた値が第１の閾値よりも大きいという条件である、
   欠陥画素判定方法。
8. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出するステップと、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出するステップと、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定するステップと、
   を含み、
   前記中心画素が欠陥画素であるか否かを判定するステップにおいては、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第２の条件は、前記第１の差分値が第２の閾値よりも小さいという条件である、
   欠陥画素判定方法。
9. 中心画素と同色レイヤであって前記中心画素に隣接する第１の画素群の画素値のうち第１の最大値と第１の最小値との第１の差分値を算出するステップと、
   前記中心画素と同色レイヤであって前記中心画素に隣接する第２の画素群の画素値のうち第２の最大値と第２の最小値との第２の差分値を算出するステップと、
   前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係と前記第１の差分値と前記第２の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定するステップと、
   を含み、
   前記中心画素が欠陥画素であるか否かを判定するステップにおいては、前記第１の最大値または前記第１の最小値と前記中心画素の画素値との関係が第１の条件を満たし、かつ、前記第１の差分値が第２の条件を満たし、かつ、前記第２の差分値が第３の条件を満たす場合に、前記中心画素が欠陥画素であると判定し、
   前記第３の条件は、前記第２の差分値が第３の閾値よりも小さいという条件である、
   欠陥画素判定方法。
   

Images