JP5957106B2 - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Description

本発明は、撮像素子の欠陥画素の信号を検出する画像処理装置、画像処理装置の制御方法及びプログラムに関する。

デジタルカメラやデジタルビデオカメラなどの撮像装置では、カラーフィルタを配置した撮像素子として、一般的に、ＣＣＤセンサやＣＭＯＳセンサなどが使用されている。このような撮像素子では、構造上の要因、製造過程における要因、製造後の外的な要因などによって、欠陥画素（「点滅傷」とも呼ばれる）が発生することがある。例えば、ＣＭＯＳセンサにおいて欠陥画素が発生する要因の１つとして、フォトダイオードから電荷を受けるフローティング・ディフュージョンで生じるノイズが挙げられる。かかるノイズは、周期的に発生するとは限らず、数回の撮像に１回と高頻度で発生する場合もあるし、数年に１回と低頻度で発生する場合もある。また、撮像素子の欠陥画素の発生頻度は、温度や電荷の蓄積時間に依存しないことがわかっている。

そこで、撮像素子の欠陥画素を検出する技術が幾つか提案されている（特許文献１及び２参照）。これらの技術は、製造過程において特定の位置に発生した欠陥画素に限らず、製造後において発生した欠陥画素も検出することができる。例えば、特許文献１には、注目画素と、注目画素の周辺の複数の画素との信号レベルの差分をカラーフィルタの色ごとに求め、全ての差分が閾値以上である場合に注目画素を欠陥画素として検出する技術が開示されている。また、特許文献２には、カラーフィルタの色を区別することなく全ての画素の輝度値を求め、注目画素と周辺の複数の画素との輝度レベルの差が閾値以上である場合に注目画素を欠陥画素として検出する技術が開示されている。

特開２００４−２９７２６７号公報 特開２００１−０８６５１７号公報

しかしながら、従来技術では、撮像素子に発生する欠陥画素を高精度に検出することができなかった。例えば、特許文献１に開示された技術では、高感度撮像を行った場合、画像データ（画像信号）の増幅率が大きくなるため、画像データに含まれているノイズ成分も増幅され、注目画素の周囲の画素の信号レベルに比べて目立ってしまうことがある。特に、被写体の空間周波数が低域となる領域では、このノイズ成分が周囲の画素の信号レベルよりも大きな値となる可能性が高く、その結果、周囲の画素との信号レベルの差分が閾値よりも大きくなり、注目画素を欠陥画素と誤検出してしまうことになる。なお、このような誤検出を回避するために閾値を高く設定することも考えられるが、信号レベルが高い領域では、注目画素と周囲の画素との信号レベルの差分が小さくなる（現れにくくなる）ため、欠陥画素を検出することができなくなってしまう。また、特許文献２に開示された技術においても、特許文献１と同様な課題が生じてしまう。

本発明は、このような従来技術の課題に鑑みてなされ、撮像素子の欠陥画素を高精度に検出することができる技術を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての画像処理装置は、複数の画素で構成された撮像素子で生成された画像データから、前記撮像素子の欠陥画素の信号を検出する画像処理装置であって、前記画像データの注目画素を含む領域において、前記注目画素を中心として複数の方向に対して所定の周波数帯域を通過させるフィルタ処理を行う処理手段と、前記フィルタ処理の結果の絶対値に基づいて、前記注目画素の周囲に位置する複数の画素の信号レベルに対する、前記注目画素の信号レベルの差分の大きさを示す第１の判定値を求める第１の判定手段と、前記フィルタ処理の結果の絶対値に基づいて、前記注目画素の周囲に位置する複数の画素の信号レベルに対する、前記注目画素の信号レベルの差分の大きさのばらつきを示す第２の判定値を求める第２の判定手段と、前記第１の判定値および前記第２の判定値に基づき、前記注目画素の周囲に位置する画素から得られた信号レベルを用いて、前記注目画素の信号レベルを補正する補正手段と、を有することを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、撮像素子の欠陥画素を高精度に検出する技術を提供することができる。

本発明の一側面としての画像処理装置が適用された撮像装置の構成を示す概略ブロック図である。 図１に示す撮像装置の欠陥画素検出回路の構成を示す概略ブロック図である。 図２に示す欠陥画素検出回路において、ゼロ挿入回路、ＬＰＦ回路及びＨＰＦ回路による処理を説明するための図である。 図２に示す欠陥画素検出回路の閾値判定回路の構成を示す概略ブロック図である。 図４に示す閾値判定回路の傷レベル生成回路における傷レベルの生成を説明するための図である。 図２に示す欠陥画素検出回路の相関判定回路の構成を示す概略ブロック図である。 図６に示す相関判定回路の傷レベル生成回路における第２の判定値の生成を説明するための図である。 図１に示す撮像装置の欠陥画素補正回路の構成を示す概略ブロック図である。 図１に示す撮像装置の欠陥画素検出回路の別の構成を示す概略ブロック図である。 図９に示す欠陥画素検出回路の第５のＨＰＦ回路及び第６のＨＰＦ回路によるＨＰＦ処理を説明するための図である。 図１に示す撮像装置の欠陥画素検出回路の更に別の構成を示す概略ブロック図である。 図１に示す撮像装置の欠陥画素検出回路の更に別の構成を示す概略ブロック図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の一側面としての画像処理装置が適用された撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。

撮像装置１００は、撮像レンズ１０１と、絞り１０２と、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配置された撮像素子１０３と、撮像素子１０３からのアナログの画像信号（電気信号）をデジタルの画像データに変換するＡ／Ｄ変換回路１０４を有する。また、撮像装置１００は、撮像素子１０３の欠陥画素（点滅傷など）の信号を検出する画像処理装置として機能する欠陥画素検出回路１０５を有する。また、撮像装置１００は、欠陥画素検出回路１０５によって欠陥画素から出力されたものとして検出された信号に対して補正を行う欠陥画素補正回路１０６を有する。また、撮像装置１００は、各回路のバスアービトレーションを行うメモリ制御回路１０７と、画像データを一時的に記憶するＤＲＡＭ１０８と、色変換処理やシャープネス処理などの画像処理を行う画像処理回路１０９を有する。また、撮像装置１００は、画像データの縮小や拡大を行う変倍回路１１０と、各回路のモードやパラメータを決定するシステムコントローラ１１１と、画像データに対応する画像を表示（再生）する表示部１１２を有する。また、撮像装置１００は、表示部１１２に画像を表示するために画像信号を変調するビデオ変調回路１１３と、画像データを圧縮処理する圧縮回路１１４を有する。また、撮像装置１００は、圧縮回路１１４によって圧縮された画像データを記録する着脱可能な記録媒体１１５と、記録媒体１１５とのインターフェースとして機能する媒体制御回路１１６を有する。

撮像レンズ１０１に入射した光（被写体光）は、絞り１０２を通過して適正に露出された状態で撮像素子１０３に入射し、撮像素子１０３によって電気信号に変換される。撮像素子１０３で生成された被写体光の電気信号は、Ａ／Ｄ変換回路１０４によってアナログ画像信号からデジタル画像データに変換される。

撮像素子１０３及びＡ／Ｄ変換回路１０４で生成され、複数の画素から出力された信号で構成された画像データは、欠陥画素検出回路１０５において、画像データの中に含まれる欠陥画素の信号が検出される。欠陥画素検出回路１０５によって欠陥画素から出力されたものとして検出された信号は、欠陥画素補正回路１０６において、欠陥画素として検出された画素の周囲に位置する画素の信号を参照した補間により補正される。

欠陥画素補正回路１０６によって欠陥画素から出力されたものとして検出された信号が補正された画像データは、メモリ制御回路１０７を介して、ＤＲＡＭ１０８に書き込まれる。そして、ＤＲＡＭ１０８に書き込まれた画像データは、メモリ制御回路１０７を介して、画像処理回路１０９に読み出される。

画像処理回路１０９では、色変換処理やシャープネス処理などが行われ、ＤＲＡＭ１０８から読み出された画像データは、輝度信号と色差信号とを含む画像データに変換される。画像処理回路１０９によって処理された画像データは、メモリ制御回路１０７を介して、ＤＲＡＭ１０８に書き込まれる。そして、ＤＲＡＭ１０８に書き込まれた画像データは、メモリ制御回路１０７を介して、変倍回路１１０に読み出される。

変倍回路１１０は、画像データに対応する画像を表示部１１２に表示するために、例えば、７２０×２４０のサイズに画像データを変倍する。変倍回路１１０で変倍された画像データは、メモリ制御回路１０７を介して、ＤＲＡＭ１０８に書き込まれる。そして、ＤＲＡＭ１０８に書き込まれた画像データは、メモリ制御回路１０７を介して、ビデオ変調回路１１３に読み出される。

ビデオ変調回路１１３では、画像データのエンコードが行われる。画像処理回路１０９によって処理された画像データは、表示部１１２において、画像として表示される。

また、画像データを記録媒体１１５に書き込む場合には、変倍回路１１０は、ＤＲＡＭ１０８から読み出された画像データ（画像処理回路１０９によって処理され、ＤＲＡＭ１０８に書き込まれた後で読み出された画像データ）を所定のサイズに変倍する。変倍回路１１０で変倍された画像データは、メモリ制御回路１０７を介して、ＤＲＡＭ１０８に書き込まれる。そして、ＤＲＡＭ１０８に書き込まれた画像データは、メモリ制御回路１０７を介して、圧縮回路１１４に読み出される。

圧縮回路１１４は、ＤＲＡＭ１０８から読み出された画像データをＪＰＥＧ等の圧縮方式で圧縮する。圧縮回路１１４によって圧縮された画像データは、メモリ制御回路１０７を介して、ＤＲＡＭ１０８に書き込まれた後で、媒体制御回路１１６に読み出される。媒体制御回路１１６は、圧縮回路１１４によって圧縮された画像データを記録媒体１１５に書き込む（記録する）。

図２を参照して、撮像素子１０３及びＡ／Ｄ変換回路１０４で生成された画像データを用いて、撮像素子１０３の欠陥画素の信号を検出する欠陥画素検出回路１０５について詳細に説明する。上述したように、撮像素子１０３にはベイヤー配列のカラーフィルタが配置されているため、撮像素子１０３及びＡ／Ｄ変換回路１０４で生成された画像データは、複数種類（Ｒ、Ｇ、Ｂの３種類）の単色画素群から構成されている。なお、本実施形態では、注目画素としてのＧ画素に欠陥画素（点滅傷）が発生した場合を例に説明する。

欠陥画素検出回路１０５には、Ａ／Ｄ変換回路１０４から、デジタル化された画像データが入力される。画素データに含まれる各画素の信号レベルは８ビットで示されるものとする。欠陥画素検出回路１０５は、ゼロ挿入回路２０１と、第１の低域通過（ローパス）フィルタ（ＬＰＦ）回路２０２と、第２のＬＰＦ回路２０３と、第３のＬＰＦ回路２０４と、第４のＬＰＦ回路２０５とを含む。また、欠陥画素検出回路１０５は、第１の高域通過（ハイパス）フィルタ（ＨＰＦ）回路２０６と、第２のＨＰＦ回路２０７と、第３のＨＰＦ回路２０８と、第４のＨＰＦ回路２０９とを含む。また、欠陥画素検出回路１０５は、第１のアブソリュート（ＡＢＳ）回路２１０と、第２のＡＢＳ回路２１１と、第３のＡＢＳ回路２１２と、第４のＡＢＳ回路２１３とを含む。また、欠陥画素検出回路１０５は、輝度信号生成回路２１４と、傷判定回路２１５と、閾値判定回路（第１の判定部）２１６と、相関判定回路（第２の判定部）２１７と、乗算器２１８と、セレクタ２１９とを含む。

ゼロ挿入回路２０１は、図３（ａ）に示すように、注目画素を中心とする複数の画素で構成される領域において、Ｇ画素以外の画素（注目画素と異なる色の画素）の信号レベルにゼロ値（０）を挿入する。

第１のＬＰＦ回路２０２は、図３（ｂ）に示すように、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、垂直方向についてローパスフィルタ処理（（１、２、１）などのフィルタ係数を有する低域通過フィルタ処理）を行う。これにより、ゼロ値の画素の信号レベルが垂直方向の画素の信号レベルで補間される。

第２のＬＰＦ回路２０３は、図３（ｃ）に示すように、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、水平方向についてＬＰＦ処理を行う。これにより、ゼロ値の画素の信号レベルが水平方向の画素で補間される。

第３のＬＰＦ回路２０４は、図３（ｄ）に示すように、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、１３５度方向についてＬＰＦ処理を行う。これにより、ゼロ値の画素の信号レベルが１３５度方向の画素の信号レベルで補間される。

第４のＬＰＦ回路２０５は、図３（ｅ）に示すように、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、４５度方向についてＬＰＦ処理を行う。これにより、ゼロ値の画素の信号レベルが４５度方向の画素の信号レベルで補間される。

第１のＨＰＦ回路２０６は、図３（ｆ）に示すように、第１のＬＰＦ回路２０２によるＬＰＦ処理の結果（出力データ）に対して、水平方向についてハイパスフィルタ処理（（−１、２、−１）などのフィルタ係数を有する高域通過フィルタ処理）を行う。

第２のＨＰＦ回路２０７は、図３（ｇ）に示すように、第２のＬＰＦ回路２０３によるＬＰＦ処理の結果（出力データ）に対して、垂直方向についてＨＰＦ処理を行う。

第３のＨＰＦ回路２０８は、図３（ｈ）に示すように、第３のＬＰＦ回路２０４によるＬＰＦ処理の結果（出力データ）に対して、４５度方向についてＨＰＦ処理を行う。

第４のＨＰＦ回路２０９は、図３（ｉ）に示すように、第４のＬＰＦ回路２０５によるＬＰＦ処理の結果（出力データ）に対して、１３５度方向についてＨＰＦ処理を行う。

このように、欠陥画素検出回路１０５において、第１のＬＰＦ回路２０３と第１のＨＰＦ回路２０６とは、注目画素を基準として互いに異なる方向についてフィルタ処理を行う処理部を構成する。同様に、第２のＬＰＦ回路２０３と第２のＨＰＦ回路２０７、第３のＬＰＦ回路２０４と第３のＨＰＦ回路２０８、第４のＬＰＦ回路２０５と第４のＨＰＦ回路２０９もフィルタ処理を行う処理部を構成する。なお、ＬＰＦ処理の処理方向（第１の方向）及びＨＰＦ処理の処理方向（第１の方向に直交する第２の方向）は、処理部のそれぞれで互いに異なる。

第１のＡＢＳ回路２１０は、第１のＨＰＦ回路２０６によるＨＰＦ処理の結果（出力データ）の絶対値を８ビットで出力する。同様に、第２のＡＢＳ回路２１１、第３のＡＢＳ回路２１２及び第４のＡＢＳ回路２１３のそれぞれは、第２のＨＰＦ回路２０７、第３のＨＰＦ回路２０８及び第４のＨＰＦ回路２０９によるＨＰＦ処理の結果（出力データ）の絶対値を８ビットで出力する。第１のＨＰＦ回路２０６乃至第４のＨＰＦ回路２０９によるＨＰＦ処理の結果の絶対値を、それぞれＨＡ１、ＨＡ２、ＨＡ３及びＨＡ４とする。

輝度信号生成回路２１４は、欠陥画素検出回路１０５に入力される画像データ（Ｒ、Ｇ、Ｂのベイヤー配列からなる画像データ）から輝度信号を生成する。例えば、輝度信号生成回路２１４は、以下の式１に従って、輝度信号Ｙを生成する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（式１）
傷判定回路２１５は、第１のＨＰＦ回路２０６乃至第４のＨＰＦ回路２０９によるＨＰＦ処理の結果の符号（正又は負）に応じて、注目画素の信号が欠陥画素の信号であるかどうかを示す傷フラグを出力する。また、傷判定回路２１５は、欠陥画素が白傷であるか黒傷であるかを示す白黒フラグとを出力する。ここで、白傷とは、暗状態で明るく見える欠陥画素であり、黒傷とは、入射光がある状態で暗く見える欠陥画素である。

具体的には、第１のＨＰＦ回路２０６乃至第４のＨＰＦ回路２０９による全てのＨＰＦ処理の結果が同じ符号である場合には、傷判定回路２１５は、傷フラグ（１ビット）として、フラグ「１」を出力する。これは、注目画素の信号が欠陥画素の信号であることを示す。一方、第１のＨＰＦ回路２０６乃至第４のＨＰＦ回路２０９によるＨＰＦ処理の結果の符号が１つでも異なる場合には、傷判定回路２１５は、傷フラグとして、フラグ「０」を出力する。これは、注目画素の信号が欠陥画素の信号でないことを示す。なお、傷フラグは、セレクタ２１９の選択信号となる。

また、第１のＨＰＦ回路２０６乃至第４のＨＰＦ回路２０９による全てのＨＰＦ処理の結果が正の符号である場合には、傷判定回路２１５は、白黒フラグ（１ビット）として、白傷であることを示すフラグ「１」を出力する。一方、第１のＨＰＦ回路２０６乃至第４のＨＰＦ回路２０９による全てのＨＰＦ処理の結果が負の符号である場合には、傷判定回路２１５は、白黒フラグとして、黒傷であることを示すフラグ「０」を出力する。この白黒フラグは必ずしも必須ではなく、省略することも可能である。なお、白黒フラグは、閾値判定回路２１６に出力される。

閾値判定回路２１６は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３のそれぞれから入力されるＨＰＦ処理の結果の絶対値ＨＡ１乃至ＨＡ４と、任意に設定された閾値とを比較する。閾値判定回路２１６は、この比較結果に基づいて、注目画素の信号が欠陥画素の信号である可能性を示す値である第１の判定値Ｄ１を出力する。

図４は、閾値判定回路２１６の構成を示す概略ブロック図である。閾値判定回路２１６は、第１の傷レベル生成回路４０１と、第２の傷レベル生成回路４０２と、第３の傷レベル生成回路４０３と、第４の傷レベル生成回路４０４と、乗算器４０５乃至４０７とを含む。

第１の傷レベル生成回路４０１は、第１のＡＢＳ回路２１０から入力されるＨＰＦ処理（水平方向のフィルタ処理）の結果の絶対値ＨＡ１に基づいて傷レベルＤＬ１を生成（算出）する。第２の傷レベル生成回路４０２は、第２のＡＢＳ回路２１１から入力されるＨＰＦ処理（垂直方向のフィルタ処理）の結果の絶対値ＨＡ２に基づいて傷レベルＤＬ２を生成する。第３の傷レベル生成回路４０３は、第３のＡＢＳ回路２１２から入力されるＨＰＦ処理（４５度方向のフィルタ処理）の結果の絶対値ＨＡ３に基づいて傷レベルＤＬ３を生成する。第４の傷レベル生成回路４０４は、第４のＡＢＳ回路４１３から入力されるＨＰＦ処理（１３５度方向のフィルタ処理）の結果の絶対値ＨＡ４に基づいて傷レベルＤＬ４を生成する。これらのＨＰＦ処理の結果の絶対値ＨＡ１乃至ＨＡ４は、８ビットの値で示されるものとする。

図５を参照して、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４における傷レベルの生成について具体的に説明する。なお、ここでいう傷レベルとは、注目画素の信号が欠陥画素の信号である可能性を示す値である。本実施形態では、傷レベルは、０乃至２５５の範囲の値で生成され、傷レベルが「０」であれば注目画素の信号が欠陥画素の信号でないことを示している。反対に、傷レベルが「２５５」であれば注目画素の信号が欠陥画素の信号であることを示している。傷レベルが「０」に近いほど注目画素の信号が欠陥画素の信号でない可能性が高く、傷レベルが「２５５」に近いほど注目画素の信号が欠陥画素の信号である可能性が高いことを示している。

図５は、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４に入力されるＨＰＦ処理の結果の絶対値と第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４で生成される傷レベル（の値）との関係を示す図である。図５において、横軸はＨＰＦ処理の結果の絶対値ＨＡ（ＨＡ１乃至ＨＡ４）を示し、縦軸は傷レベルＤＬ（ＤＬ１乃至ＤＬ４）を示している。

第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、図５に示す閾値ＴＨ２と、傾きの値であるＳＬ１を予め保持している。第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、以下の式２乃至式４に従って、ＨＰＦ処理の結果の絶対値ＨＡを傷レベルＤＬ（８ビット）に変換する。
ＨＡ≦ＴＨ２の場合
ＤＬ＝０ ・・・（式２）
ＴＨ２＜ＨＡ＜ＴＨ１の場合
ＤＬ＝ＳＬ１×（ＨＡ−ＴＨ２） ・・・（式３）
ＴＨ１≦ＨＡの場合
ＤＬ＝１ ・・・（式４）
但し、ＴＨ１＝ＴＨ２＋（２５５／ＳＬ１）
例えば、図５に示す例では、入力されるＨＰＦ処理の結果の絶対値ＨＡが閾値ＴＨ１以上であれば、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、傷レベルＤＬ「２５５」を生成する。一方、入力されるＨＰＦ処理の結果の絶対値ＨＡが閾値ＴＨ２以下であれば、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、傷レベルＤＬ「０」を生成する。また、入力されるＨＰＦ処理の結果の絶対値ＨＡが閾値ＴＨ２より大きく、閾値ＴＨ１より小さければ、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、入力されるＨＰＦ処理の結果の絶対値が大きいほど大きな値の傷レベルＤＬを生成する。

なお、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、傷判定回路２１５から入力される白黒フラグに応じて、欠陥画素が白傷である場合と黒傷である場合とで、閾値ＴＨ１及び傾きＳＬ１の値を変更する。例えば、第１の傷レベル生成回路４０１乃至第４の傷レベル生成回路４０４は、欠陥画素が白傷である場合には図５（ａ）に示す特性となるように、欠陥画素が黒傷である場合には図５（ｂ）に示す特性となるように、閾値ＴＨ２及び傾きＳＬ１の値を設定する。

また、閾値ＴＨ２は、撮像装置１００の動作モードなどによって決定される任意の設定値と、輝度信号生成回路２１４で生成される注目画素の周囲の画素における輝度信号の平均値とを乗算した値とする。輝度が高いとノイズが大きくなるため、輝度信号生成回路２１４で生成される輝度信号に応じて（即ち、ノイズ量に応じて）閾値ＴＨ２を変更することが必要となる。輝度が高いほど閾値ＴＨ２を大きくすることによって、ノイズを欠陥画素であると誤判定することを抑制することができる。また、傾きＳＬ１についても、撮像装置１００の動作モードなどによって決定される任意の設定値と、輝度信号生成回路２１４で生成される輝度信号とを乗算した値とする。閾値ＴＨ２及び傾きＳＬ１を決定することによって、閾値ＴＨ１も決定される。なお、図５に示す絶対値ＨＡに対する傷レベルＤＬを、式２乃至式４を用いて変換するのではなく、予めテーブルで持つようにしてもよい。

更に、閾値ＴＨ１及び閾値ＴＨ２を設定せず、絶対値ＨＡの全範囲において、絶対値ＨＡが増加するほど傷レベルＤＬが増加するように、絶対値ＨＡに対する傷レベルＤＬの関係を関数（例えば、３次関数）で定義するようにしてもよい。そして、注目画素の周囲における輝度が高いほど、絶対値ＨＡに対する傷レベルＤＬの値が小さくなるように、輝度に応じてこの関数を切り替えるようにしてもよい。

乗算器４０５は、第１の傷レベル生成回路４０１によって生成された傷レベルと第２の傷レベル生成回路４０２によって生成された傷レベルとを乗算して１６ビットの値を求め、これを８ビットにシフト演算してＤＬ５として出力する。乗算器４０６は、第３の傷レベル生成回路４０３によって生成された傷レベルと第４の傷レベル生成回路４０４によって生成された傷レベルとを乗算して１６ビットの値を求め、これを８ビットにシフト演算してＤＬ６として出力する。乗算器４０７は、乗算器４０５によって乗算された傷レベルＤＬ５と乗算器４０６によって乗算された傷レベルＤＬ６とを乗算して１６ビットの値を求め、これを８ビットにシフト演算して、第１の判定値Ｄ１として出力する。

このように、閾値判定回路２１６は、フィルタ処理の結果に基づいて注目画素の信号レベルと、注目画素に周囲に位置する複数の画素の信号レベルとの差分を求める。そして、閾値判定回路２１６は、その差分が大きいほど注目画素の信号が欠陥画素の信号である可能性が高くなることを示す第１の判定値Ｄ１を生成する。

図２に戻って、相関判定回路２１７は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３のそれぞれから入力されるＨＰＦ処理の結果の絶対値ＨＡ１乃至ＨＡ４の大きさを比較する。相関判定回路２１７は、この比較結果に基づいて、注目画素の信号が欠陥画素の信号である可能性を示す第２の判定値Ｄ２を出力する。

図６は、相関判定回路２１７の構成を示す概略ブロック図である。相関判定回路２１７は、第１の選択回路６０１と、第２の選択回路６０２と、第３の選択回路６０３と、第４の選択回路６０４と、第５の選択回路６０５と、第６の選択回路６０６と、減算器６０７と、傷レベル判定回路６０８とを含む。

第１の選択回路６０１は、第１のＡＢＳ回路２１０から入力されるＨＰＦ処理の結果の絶対値ＨＡ１と第２のＡＢＳ回路２１１から入力されるＨＰＦ処理の結果の絶対値ＨＡ２とを比較し、大きい方の絶対値を出力する。また、第２の選択回路６０２は、第１のＡＢＳ回路２１０から入力されるＨＰＦ処理の結果の絶対値ＨＡ１と第２のＡＢＳ回路２１１から入力されるＨＰＦ処理の結果の絶対値ＨＡ２とを比較し、小さい方の絶対値を出力する。

第３の選択回路６０３は、第３のＡＢＳ回路２１２から入力されるＨＰＦ処理の結果の絶対値ＨＡ３と第４のＡＢＳ回路４１３から入力されるＨＰＦ処理の結果の絶対値ＨＡ４とを比較し、大きい方の絶対値を出力する。また、第４の選択回路６０４は、第３のＡＢＳ回路２１２から入力されるＨＰＦ処理の結果の絶対値ＨＡ３と第４のＡＢＳ回路４１３から入力されるＨＰＦ処理の結果の絶対値ＨＡ４とを比較し、小さい方の絶対値を出力する。

第５の選択回路６０５は、第１の選択回路６０１から出力された絶対値と第３の選択回路６０３から出力された絶対値とを比較し、大きい方の絶対値を出力する。第５の選択回路６０５から出力される絶対値は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３によるＨＰＦ処理の結果（即ち、４つの方向のフィルタ処理の結果）のうち最大の絶対値である。

第６の選択回路６０６は、第２の選択回路６０２から出力された絶対値と第４の選択回路６０４から出力された絶対値とを比較し、小さい方の絶対値を出力する。第６の選択回路６０６から出力される絶対値は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３によるＨＰＦ処理の結果（即ち、４つの方向のフィルタ処理の結果）のうち最小の絶対値である。

減算器６０７は、第５の選択回路６０５から出力される絶対値から、第６の選択回路６０６から出力される絶対値を減算する。減算器６０７による減算の結果は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３によるＨＰＦ処理の結果の最大の差分（差分のばらつき）を示し、最大の絶対値から最小の絶対値を減算したものであるため、必ず０以上の正の値となる。

傷レベル判定回路６０８は、減算器６０７から出力される絶対値に基づいて第２の判定値Ｄ２を生成（算出）して出力する。図７を参照して、傷レベル判定回路６０８における第２の判定値Ｄ２の生成について具体的に説明する。なお、傷レベル判定回路６０８で生成される第２の判定値Ｄ２は、第１の判定値Ｄ１と同様に、注目画素の信号が欠陥画素の信号である可能性を示す。図７は、傷レベル判定回路６０８に入力される減算器６０７による減算の結果（絶対値ＨＢ）と傷レベル判定回路６０８で生成される第２の判定値Ｄ２との関係を示す図である。図７において、横軸は減算器６０７による減算の結果（絶対値ＨＢ）を示し、縦軸は第２の判定値Ｄ２を示している。

傷レベル判定回路６０８は、図７に示す閾値ＴＨ３と傾きの値であるＳＬ２を予め保持し、以下の式５乃至式７に従って、減算器６０７による減算の結果を第２の判定値Ｄ２（８ビット）に変換する。
ＨＢ≦ＴＨ３の場合
Ｄ２＝１ ・・・（式５）
ＴＨ３＜ＨＢ＜ＴＨ４の場合
Ｄ２＝ＳＬ２×（ＨＢ−ＴＨ３）＋２５５ ・・・（式６）
ＴＨ４≦ＨＢの場合
Ｄ２＝０ ・・・（式７）
但し、ＴＨ４＝ＴＨ３−（２５５／ＳＬ２）
例えば、図７に示す例では、減算器６０７による減算の結果ＨＢが閾値ＴＨ３以下であれば、傷レベル判定回路６０８は、第２の判定値Ｄ２「２５５」を生成する。一方、減算器６０７による減算の結果ＨＢが閾値ＴＨ４以上であれば、傷レベル判定回路６０８は、第２の判定値Ｄ２「０」を生成する。また、減算器６０７による減算の結果ＨＢが閾値ＴＨ３より大きく、閾値ＴＨ４より小さければ、傷レベル判定回路６０８は、減算器６０７による減算の結果（絶対値）が小さいほど大きな値の第２の判定値Ｄ２を生成する。

なお、閾値ＴＨ３は、撮像装置１００の動作モードなどによって決定される任意の設定値と、輝度信号生成回路２１４で生成される輝度信号とを乗算した値とする。また、傾きＳＬ２についても、撮像装置１００の動作モードなどによって決定される任意の設定値と、輝度信号生成回路２１４で生成される輝度信号とを乗算した値とする。閾値ＴＨ３及び傾きＳＬ２を決定することによって、閾値ＴＨ４も決定される。なお、図７に示す減算器６０７による減算の結果ＨＢに対する第２の判定値Ｄ２を、式５乃至式７を用いて変換するのではなく、予めテーブルで持つようにしてもよい。

このように、相関判定回路２１７は、フィルタ処理の結果に基づいて注目画素の信号レベルと注目画素に隣接する画素の信号レベルとの差分のばらつき（減算の結果ＨＢ）を求める。そして、相関判定回路２１７は、かかる差分のばらつきが小さいほど、注目画素の信号が欠陥画素の信号である可能性が高くなることを示す第２の判定値Ｄ２を生成する。

なお、閾値判定回路２１６は、画像データに含まれるノイズが大きい場合、かかるノイズによって注目画素の信号を欠陥画素の信号であると誤判定する（即ち、第１の判定値「２５５」を出力する）可能性がある。そこで、相関判定回路２１７において、注目画素を含む領域の画像データに含まれるノイズが大きく、差分のばらつきが大きい場合に、注目画素の信号が欠陥画素の信号ではないと判定することが必要となる。

また、注目画素が欠陥画素でない場合、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３によるＨＰＦ処理の結果（即ち、４つの方向のフィルタ処理の結果）は０に近い値となるため、差分のばらつきも０に近い値となる。このような場合、相関判定回路２１７は、差分のばらつきが小さいために、注目画素の信号を欠陥画素の信号であると誤判定する（即ち、第２の判定値「２５５」を出力する）可能性がある。そこで、閾値判定回路２１６において、注目画素の信号レベルと注目画素に隣接する画素の信号レベルとの差分が閾値以上である場合に、注目画素の信号が欠陥画素の信号であると判定することが必要となる。

そこで、本実施形態では、図２に示すように、乗算器２１８において、閾値判定回路２１６から出力される第１の判定値Ｄ１と相関判定回路２１７から出力される第２の判定値Ｄ２とを乗算し、第３の判定値を求める。具体的には、乗算器２１８は第１の判定値Ｄ１と第２の判定値Ｄ２を乗算して１６ビットの値を求め、これをシフト演算して８ビットの値（即ち、０乃至２５５の範囲の値）としたものを第３の判定値Ｋとする。これにより、閾値判定回路２１６又は相関判定回路２１７において誤判定があったとしても、相関判定回路２１７又は閾値判定回路２１６における判定によって、注目画素が欠陥画素であるかどうかを正しく判定することが可能となる。換言すれば、閾値判定回路２１６においても、相関判定回路２１７においても、注目画素が欠陥画素であると判定された場合に、かかる注目画素を欠陥画素として検出する。あるいは、閾値判定回路２１６においても、相関判定回路２１７においても、注目画素が欠陥画素である可能性が高いと判定された場合に、注目画素の信号が欠陥画素の信号である可能性が高いものとして検出する。

セレクタ２１９は、傷判定回路２１５から入力される傷フラグが「１」であれば（注目画素が欠陥画素であることを示していれば）、乗算器２１８によって乗算された第３の判定値Ｋを出力する。また、セレクタ２１９は、傷判定回路２１５から入力される傷フラグが「０」であれば（注目画素が欠陥画素でないことを示していれば）、第３の判定値として、「０」を出力する。なお、セレクタ２１９から出力される傷レベルは、欠陥画素補正回路１０６に入力される。

図８は、欠陥画素補正回路１０６の構成を示す概略ブロック図である。欠陥画素補正回路１０６には、Ａ／Ｄ変換回路１０４を介して、欠陥画素を含む画像データが入力される。欠陥画素補正回路１０６は、補正値算出回路８０１と、加重加算回路８０２とを含む。

補正値算出回路８０１は、例えば、注目画素を参照しないような係数（（１、０、１）など）を有するフィルタ処理を行って、欠陥画素の信号レベルを補正するための補正値を算出する。また、補正値算出回路８０１は、画像データからエッジの方向判別を行い、注目画素におけるエッジの方向に沿った位置に配置された画素の信号レベルを参照して補正値を算出してもよいし、前置補間により補正値を求めてもよい。あるいは、エッジの方向に沿った画素の信号レベルから算出した補正値の重み付けを、それ以外の方向に沿った画素の信号レベルから算出した補正値の重み付けよりも大きくして、これらを加算平均することで補正値としてもよい。

加重加算回路８０２は、欠陥画素検出回路１０５から出力された第３の判定値Ｋ（の値）に応じて、Ａ／Ｄ変換回路１０４から出力される注目画素の信号レベルＯＲＧと、補正値算出回路８０１によって算出された補正値ＣＯＲとを加重加算する。例えば、加重加算回路８０２は、以下の式８に従って、注目画素の補正後の信号レベルＯＵＴを出力する。
ＯＵＴ＝ＣＯＲ×Ｋ＋ＯＲＧ×（２５５−Ｋ） ・・・（式８）
上述したように、第３の判定値Ｋは、０乃至２５５の範囲の値である。注目画素が欠陥画素でない（正常な画素である）可能性が高い場合には「０」に近いため、加重加算回路８０２は、注目画素の信号レベルＯＲＧの重みを大きくして補正値ＣＯＲと加重加算した信号レベル（即ち、欠陥画素が補正された画像データ）ＯＵＴを出力する。一方、注目画素が欠陥画素である可能性が高い場合には、第３の判定値Ｋが「２５５」に近いため、加重加算回路８０２は、補正値ＣＯＲの重みを大きくして注目画素の信号レベルＯＲＧと加重加算した信号レベルＯＵＴを出力する。あるいは、第３の判定値Ｋを所定の閾値と比較し、第３の判定値Ｋがこの閾値よりも小さければ注目画素の信号レベルＯＲＧを、そうでなければ式８に従って求めた値を、補正後の信号レベルＯＵＴとして出力してもよい。

以上のように、本実施形態によれば、閾値判定回路２１６においても、相関判定回路２１７においても注目画素の信号が欠陥画素の信号であると判定された場合に、注目画素を欠陥画素として検出している。あるいは、閾値判定回路２１６においても、相関判定回路２１７においても注目画素の信号が欠陥画素の信号である可能性が高いと判定された場合に、注目画素の信号レベルを欠陥画素の信号レベルである可能性が高いものとして検出している。そのため、従来技術よりも高精度に欠陥画素を検出することができる。更に、閾値判定回路２１６から出力される傷レベル及び相関判定回路２１７から出力される傷レベルを乗算した値に応じて注目画素の信号レベルを補正しているため、従来技術よりも高精度に欠陥画素を補正することが可能である。

なお、欠陥画素検出回路１０５は、図９に示すように、第１のＬＰＦ回路２０２及び第２のＬＰＦ回路２０３のそれぞれに対して、互いに異なるハイパスフィルタ処理を行う２つのハイパスフィルタ回路を設けてもよい。

図９を参照するに、第５のＨＰＦ回路９０１及び第６のＨＰＦ回路９０２は、第１のＬＰＦ回路２０２によるＬＰＦ処理の結果に対して、水平方向について互いに異なるハイパスフィルタ処理を行う。例えば、第５のＨＰＦ回路９０１は、図１０（ａ）に示すように、低帯域のフィルタ係数（（１、２、１）×（１、２、１）×（−１、２、−１））を有するハイパスフィルタ処理（第１のハイパスフィルタを有する第１の高域通過フィルタ処理）を行う。第６のＨＰＦ回路９０２は、図１０（ｂ）に示すように、高帯域のフィルタ係数（（１、２、１）×（−１、２、−１）×（−１、２、−１））を有するハイパスフィルタ処理（第２のハイパスフィルタを有する第２の高域通過フィルタ処理）を行う。

第７のＨＰＦ回路９０３及び第８のＨＰＦ回路９０４は、第２のＬＰＦ回路２０３によるＬＰＦ処理の結果に対して、垂直方向について互いに異なるハイパスフィルタ処理を行う。例えば、第７のＨＰＦ回路９０３は、低帯域のフィルタ係数を有するハイパスフィルタ処理（図１０（ａ）参照）を行う。第８のＨＰＦ回路９０４は、高帯域のフィルタ係数を有するハイパスフィルタ処理（図１０（ｂ）参照）を行う。

第５のＡＢＳ回路９０５は、第５のＨＰＦ回路９０１によるＨＰＦ処理の結果（出力データ）の絶対値を出力する。同様に、第６のＡＢＳ回路９０６、第７のＡＢＳ回路９０７及び第８のＡＢＳ回路９０８のそれぞれは、第６のＨＰＦ回路９０２、第７のＨＰＦ回路９０３及び第８のＨＰＦ回路９０４によるＨＰＦ処理の結果（出力データ）の絶対値を出力する。

第１の演算回路９０９及び第２の演算回路９１０のそれぞれは、同じ構成を有し、閾値判定回路２１６と、相関判定回路２１７と、乗算器２１８とを含む。第１の演算回路９０９には、第５のＡＢＳ回路９０５、第７のＡＢＳ回路９０７、第３のＡＢＳ回路２１２及び第４のＡＢＳ回路２１３のそれぞれからＨＰＦ処理の結果の絶対値が入力される。第２の演算回路９１０には、第６のＡＢＳ回路９０６、第８のＡＢＳ回路９０８、第３のＡＢＳ回路２１２及び第４のＡＢＳ回路２１３のそれぞれからＨＰＦ処理の結果の絶対値が入力される。

第１の演算回路９０９及び第２の演算回路９１０のそれぞれにおいては、同じ帯域のＨＰＦ処理の結果の絶対値を用いて、注目画素の信号が欠陥画素の信号である可能性を示す判定値を求める。なお、水平方向、垂直方向、４５度方向及び１３５度方向の全てにおいて、同じ帯域にすることが理想的である。本実施形態において、水平方向及び垂直方向（水平垂直方向）と、４５度方向及び１３５度方向（斜め方向）とでフィルタ係数が異なっているのは、注目画素から参照画素までの距離が水平垂直方向と斜め方向とで異なり、周波数帯域が異なっているからである。

最大値選択回路９１１は、第１の演算回路９０９から出力された判定値と第２の演算回路９１０から出力された判定値とを比較し、大きい方の判定値を出力する。

画像データに対して、高域側の周波数帯域でフィルタ処理を行う（図１０（ｂ）参照）と、エッジが残る場合があるため、注目画素の信号を欠陥画素の信号と誤判定してしまうことがある。そこで、低域側の周波数帯域でもフィルタ処理を行い、低域に存在する欠陥画素については確実に検出する。そして、エッジに存在するような欠陥画素については、高域側のフィルタ処理の結果と低域側のフィルタ処理の結果とを比較することで、エッジを欠陥画素と誤判定することを抑制することができる。

本実施形態では、Ｇ画素に欠陥画素が発生した場合を例に説明したが、Ｒ画素及びＢ画素に欠陥画素が発生した場合についても、Ｒ画素以外の画素やＢ画素以外の画素にゼロ値を挿入して同様な処理を行うことで欠陥画素を検出することが可能である。

また、閾値判定回路２１６及び相関判定回路２１７は、Ｇ画素、Ｒ画素及びＢ画素を区別して第１及び第２の判定値を求める代わりに、式１を用いて求めた輝度信号Ｙを用いて、第１及び第２の判定値を求めるようにしてもよい。

また、閾値判定回路２１６が第１の判定値Ｄ１を求めるために用いる絶対値ＨＡは、注目画素の周囲に位置する複数の画素の信号レベルに対する、注目画素の信号レベルの差分の大きさを示す値であれば、他の方法で求めた値であってもよい。例えば、閾値判定回路２１６は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３によるＨＰＦ処理の結果の絶対値の平均値を求め、この平均値を絶対値ＨＡとし、絶対値ＨＡを用いて式２乃至式４により第１の判定値Ｄ１を求めてもよい。

また、相関判定回路２１７は、第１のＡＢＳ回路２１０乃至第４のＡＢＳ回路２１３によるＨＰＦ処理の結果の絶対値の分散を求め、この分散の値が小さいほど第２の判定値Ｄ２の値を大きく設定するようにしてもよい。

なお、欠陥画素検出回路１０５は、図２では、ＬＰＦ回路及びＨＰＦ回路で構成されているが、図１１に示すように、ＬＰＦ回路を含まずに構成することも可能である。図１１に示す欠陥画素検出回路１０５の構成について、図２に示す欠陥画素検出回路１０５の構成と異なる点を中心に、以下に説明する。

第１のＨＰＦ回路１１０１は、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、水平方向について（−１、０、２、０、−１）などのフィルタ係数を有するＨＰＦ処理を行う。第１のＨＰＦ回路１１０１は、Ｒ画素以外の画素の信号レベルにゼロ値が挿入された画像データ、及び、Ｂ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対しても同様にＨＰＦ処理を行う。

第２のＨＰＦ回路１１０２は、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、垂直方向について（−１、０、２、０、−１）などのフィルタ係数を有するＨＰＦ処理を行う。第２のＨＰＦ回路１１０２は、Ｒ画素以外の画素の信号レベルにゼロ値が挿入された画像データ、及び、Ｂ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対しても同様にＨＰＦ処理を行う。

第３のＨＰＦ回路１１０３は、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、４５度方向について（−１、２、−１）などのフィルタ係数を有するＨＰＦ処理を行う。

第４のＨＰＦ回路１１０４は、Ｇ画素以外の画素の信号レベルにゼロ値が挿入された画像データに対して、１３５度方向について（−１、２、−１）などのフィルタ係数を有するＨＰＦ処理を行う。

図１１に示す欠陥画素検出回路１０５の構成では、ゼロ挿入回路２０１でゼロ値が挿入された画素に対する補間処理が行われないため、各ＨＰＦ回路は、ＨＰＦ処理の際にゼロ値が挿入された画素の影響を受けないためのフィルタ係数を有している。水平方向及び垂直方向においては、Ｇ画素、Ｒ画素及びＢ画素はいずれも１画素おきに配置されていることから、Ｇ画素、Ｒ画素及びＢ画素間で、同じフィルタ係数を用いることができる。一方、４５度方向及び１３５度方向においては、Ｒ画素及びＢ画素は１画素おきに配置されているのに対して、Ｇ画素は連続して配置されているため、Ｇ画素のみをＨＰＦ処理の対象としている。

第１のＡＢＳ回路１１０５乃至第４のＡＢＳ回路１１０８は、第１のＨＰＦ回路１１０１乃至第４のＨＰＦ回路１１０４によるＨＰＦ処理の結果（出力データ）の絶対値を出力する。

傷判定回路１１０９は、図２に示す傷判定回路２１５と同様に、第１のＨＰＦ回路１１０１乃至第４のＨＰＦ回路１１０４によるＨＰＦ処理の結果の符号（正又は負）に応じて、傷フラグと白黒フラグとを出力する。傷判定回路１１０９は、注目画素がＧ画素であれば、第１のＨＰＦ回路１１０１、第２のＨＰＦ回路１１０２、第３のＨＰＦ回路１１０３及び第４のＨＰＦ回路１１０４のＨＰＦ処理の結果の符号を参照する。また、傷判定回路１１０９は、注目画素がＲ画素又はＢ画素であれば、第１のＨＰＦ回路１１０１及び第２のＨＰＦ回路１１０２のＨＰＦ処理の結果の符号を参照する。

閾値判定回路１１１０は、図２に示す閾値判定回路２１６と同様に、第１のＡＢＳ回路１１０５乃至第４のＡＢＳ回路１１０８のそれぞれから入力されるＨＰＦ処理の結果の絶対値と、任意に設定された閾値とを比較する。閾値判定回路１１１０は、この比較結果に基づいて、注目画素の信号が欠陥画素の信号である可能性を示す第１の判定値Ｄ１を求める。また、相関判定回路１１１１は、図２に示す相関判定回路２１７と同様に、第１のＡＢＳ回路１１０５乃至第４のＡＢＳ回路１１０８のそれぞれから入力されるＨＰＦ処理の結果の絶対値の大きさを比較する。相関判定回路１１１１は、この比較結果に基づいて、注目画素の信号が欠陥画素の信号である可能性を示す第２の判定値Ｄ２を求める。

閾値判定回路１１１０及び相関判定回路１１１１は、注目画素がＧ画素であれば、第１のＡＢＳ回路１１０５、第２のＡＢＳ回路１１０６、第３のＡＢＳ回路１１０７及び第４のＡＢＳ回路１１０８のＨＰＦ処理の結果の絶対値を参照する。また、閾値判定回路１１１０及び相関判定回路１１１１は、注目画素がＲ画素又はＢ画素であれば、第１のＡＢＳ回路１１０５及び第２のＡＢＳ回路１１０６のＨＰＦ処理の結果の絶対値を参照する。

そして、図２と同様に、乗算器２１８が第１の判定値及び第２の判定値を乗算することで得られる第３の判定値が、セレクタ２１９を介して、欠陥画素補正回路１０６に入力される。

更に、欠陥画素検出回路１０５は、図２に示すＬＰＦ回路やＨＰＦ回路などのフィルタ回路に代えて、図１２に示すように、差分回路で構成することも可能である。図１２に示す欠陥画素検出回路１０５の構成について、図２に示す欠陥画素検出回路１０５の構成と異なる点を中心に、以下に説明する。

第１の差分回路１２０１は、注目画素の値から、注目画素の右方向に位置する、注目画素から２つ目の注目画素と同色の画素の値を減算した値を求める差分処理を行う。第２の差分回路１２０２は、注目画素の値から、注目画素の左方向に位置する、注目画素から２つ目の注目画素と同色の画素の値を減算した値を求める差分処理を行う。

第３の差分回路１２０３は、注目画素の値から、注目画素の上方向に位置する、注目画素から２つ目の注目画素と同色の画素の値を減算した値を求める差分処理を行う。第４の差分回路１２０４は、注目画素の値から、注目画素の下方向に位置する、注目画素から２つ目の注目画素と同色の画素の値を減算した値を求める差分処理を行う。

第５の差分回路１２０５は、注目画素の値から、注目画素の右上方向に位置する、注目画素に隣接する同色の画素の値を減算した値を求める差分処理を行う。第６の差分回路１２０６は、注目画素の値から、注目画素の左下方向に位置する、注目画素に隣接する同色の画素の値を減算した値を求める差分処理を行う。

第７の差分回路１２０７は、注目画素の値から、注目画素の左上方向に位置する、注目画素に隣接する同色の画素の値を減算した値を求める差分処理を行う。第８の差分回路１２０８は、注目画素の値から、注目画素の右下方向に位置する、注目画素に隣接する同色の画素の値を減算した値を求める差分処理を行う。

このように、第１の差分回路１２０１乃至第８の差分回路１２０８は、注目画素の値と、注目画素の周囲に位置する画素の値との差分を求める。第１の差分回路１２０１乃至第４の差分回路１２０４は、注目画素がＧ画素、Ｒ画素及びＢ画素のいずれであっても差分処理を行うが、第５の差分回路１２０５乃至第８の差分回路１２０８は、注目画素がＧ画素である場合のみ差分処理を行うものとする。

第１のＡＢＳ回路１２０９乃至第８のＡＢＳ回路１２１６は、第１の差分回路１２０１乃至第８の差分回路１２０８による差分処理の結果（出力データ）の絶対値を出力する。

傷判定回路１２１７は、図２に示す傷判定回路２１５と同様に、第１の差分回路１２０１乃至第８の差分回路１２０８による差分処理の結果の符号（正又は負）に応じて、傷フラグと白黒フラグとを出力する。傷判定回路１２１７は、注目画素がＧ画素であれば、第１の差分回路１２０１乃至第８の差分回路１２０８の差分処理の結果の符号を参照する。また、傷判定回路１２１７は、注目画素がＲ画素又はＢ画素であれば、第１の差分回路１２０１乃至第４の差分回路１２０４の差分処理の結果の符号を参照する。

閾値判定回路１２１８は、図２に示す閾値判定回路２１６と同様に、第１のＡＢＳ回路１２０９乃至第８のＡＢＳ回路１２１６のそれぞれから入力される差分処理の結果の絶対値と、任意に設定された閾値とを比較する。閾値判定回路１２１８は、この比較結果に基づいて、注目画素の信号が欠陥画素の信号である可能性を示す第１の判定値を求める。また、相関判定回路１２１９は、図２に示す相関判定回路２１７と同様に、第１のＡＢＳ回路１２０９乃至第８のＡＢＳ回路１２１６のそれぞれから入力される差分処理の結果の絶対値の大きさを比較する。相関判定回路１２１９は、この比較結果に基づいて、注目画素の信号が欠陥画素の信号である可能性を示す第２の判定値を求める。

なお、閾値判定回路１２１８及び相関判定回路１２１９は、注目画素がＧ画素であれば、第１のＡＢＳ回路１２０９乃至第８のＡＢＳ回路１２１６の差分処理の結果の絶対値を参照する。また、閾値判定回路１２１８及び相関判定回路１２１９は、注目画素がＲ画素又はＢ画素であれば、第１のＡＢＳ回路１２０９乃至第４のＡＢＳ回路１２１２の差分処理の結果の絶対値を参照する。

そして、図２と同様に、乗算器２１８が第１の判定値及び第２の判定値を乗算することで得られる第３の判定値が、セレクタ２１９を介して、欠陥画素補正回路１０６に入力される。

以上説明したように、本実施形態の欠陥画素検出回路１０５は、周囲の複数の画素の信号レベルに対する注目画素の信号レベルの差分の大きさを示す第１の判定値を求める。かかる第１の判定値は、周囲の複数の画素の信号レベルに対する注目画素の信号レベルの差分が大きくなるほど、大きな値となる。また、欠陥画素検出回路１０５は、周囲の複数の画素の信号レベルに対する注目画素の信号レベルの差分の大きさのばらつきを示す第２の判定値を求める。かかる第２の判定値は、周囲の複数の画素の信号レベルに対する注目画素の信号レベルの差分の大きさのばらつきが小さくなるほど、大きな値となる。欠陥画素検出回路１０５は、第１の判定値Ｄ１と第２の判定値Ｄ２を乗算し、この乗算によって得られた値が大きいほど、注目画素の信号が欠陥画素の信号である可能性が高いと判定している。なお、欠陥画素検出回路１０５は、この乗算によって得られた値が閾値以上であった場合に、注目画素の信号が欠陥画素の信号であると判定してもよい。あるいは、欠陥画素検出回路１０５は、第１の判定値Ｄ１と第２の判定値Ｄ２のいずれも閾値以上であった場合に、注目画素の信号が欠陥画素の信号であると判定してもよい。

更に、欠陥画素補正回路１０６が、この乗算によって得られた値に基づいて、注目画素に施す補正の程度や補正の可否の判定を行うことにより、従来技術よりも高い精度で欠陥画素の影響を低減させることが可能となる。

なお、欠陥画素は必ずしも独立して存在するのではなく、欠陥画素が２つ並ぶ可能性もある。これを考慮して、欠陥画素検出回路１０５は、注目画素の周囲に、注目画素に近い信号レベルを有し、且つ、周囲の他の画素に比較して信号レベルが極端に異なる画素が存在した場合には、この画素の信号レベルを除外して欠陥画素の判定を行うようにしてもよい。

また、上述した実施形態では、デジタルカメラやビデオカメラなどの撮像装置における欠陥画素の検出処理を例として説明したが、これらに限定されるものではない。例えば、画像処理機能を有するアプリケーションを搭載したパーソナルコンピュータが、着脱可能な記憶媒体やネットワークを介して取得した画像信号に対して、不図示のメモリから読み出したプログラムに従って上述した処理を行うようにしてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び、かかるプログラムを記憶した記憶媒体は本発明を構成することになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、閾値判定回路で生成される傷レベル及び相関判定回路で生成される傷レベルは８ビットであるが、双方のビット幅が異なっていてもよい。

Claims (5)

1. 複数の画素で構成された撮像素子で生成された画像データから、前記撮像素子の欠陥画素の信号を検出する画像処理装置であって、
   前記画像データの注目画素を含む領域において、前記注目画素を中心として複数の方向に対して所定の周波数帯域を通過させるフィルタ処理を行う処理手段と、
   前記フィルタ処理の結果の絶対値に基づいて、前記注目画素の周囲に位置する複数の画素の信号レベルに対する、前記注目画素の信号レベルの差分の大きさを示す第１の判定値を求める第１の判定手段と、
   前記フィルタ処理の結果の絶対値に基づいて、前記注目画素の周囲に位置する複数の画素の信号レベルに対する、前記注目画素の信号レベルの差分の大きさのばらつきを示す第２の判定値を求める第２の判定手段と、
   前記第１の判定値および前記第２の判定値に基づき、前記注目画素の周囲に位置する画素から得られた信号レベルを用いて、前記注目画素の信号レベルを補正する補正手段と、を有することを特徴とする画像処理装置。
2. 前記処理手段は、前記注目画素を含む領域において、前記注目画素を中心として複数の方向に対して低域通過フィルタ処理を行ってから、高域通過フィルタ処理を行うものであり、
   前記注目画素を中心としていずれかの方向に前記低域通過フィルタ処理を行ってから、前記注目画素を中心として前記低域通過フィルタ処理とは異なる方向に前記高域通過フィルタ処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 互いに帯域の異なるフィルタ処理を行う複数の前記処理手段と、
   複数の前記処理手段のそれぞれに対応して設けられた複数の前記第１の判定手段および複数の前記第２の判定手段と、
   いずれか１つの前記処理手段に対応した前記第１の判定手段と前記第２の判定手段によって求められた前記第１の判定値および前記第２の判定値から得られた値を選択する選択手段と、を更に有し、
   前記補正手段は、前記選択手段で選択された値に基づき、前記注目画素の周囲に位置する画素から得られた信号レベルを用いて、前記注目画素の信号レベルを補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 複数の画素で構成された撮像素子で生成された画像データから、前記撮像素子の欠陥画素の信号を検出する画像処理装置の制御方法であって、
   処理手段が、前記画像データの注目画素を含む領域において、前記注目画素を中心として複数の方向に対して所定の周波数帯域を通過させるフィルタ処理を行うステップと、
   第１の判定手段が、前記フィルタ処理の結果の絶対値に基づいて、前記注目画素の周囲に位置する複数の画素の信号レベルに対する、前記注目画素の信号レベルの差分の大きさを示す第１の判定値を求めるステップと、
   第２の判定手段が、前記フィルタ処理の結果の絶対値に基づいて、前記注目画素の周囲に位置する複数の画素の信号レベルに対する、前記注目画素の信号レベルの差分の大きさのばらつきを示す第２の判定値を求めるステップと、
   補正手段が、前記第１の判定値および前記第２の判定値に基づき、前記注目画素の周囲に位置する画素から得られた信号レベルを用いて、前記注目画素の信号レベルを補正するステップと、
   を有することを特徴とする制御方法。
5. コンピュータを、請求項１乃至３のうちいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images