JP4745816B2 - 画像処理回路及び画像処理方法 - Google Patents

Description

本発明は、画像処理回路及び画像処理方法に係り、詳しくはカラー画像データに対する補正処理及び補正方法に関するものである。
近年、ＣＣＤ等のように、光を受光する画素をマトリックス状に配列した固体撮像装置が多く利用されている。カラー画像データは、赤色（Ｒ）と緑色（Ｇ）と青色（Ｂ）それぞれの光を受光する画素から出力される画像データから構成される。固体撮像装置は、製造プロセス等による構造的な欠陥が存在する画素を含む場合があるため、この欠陥を含む画素により生成された画像データを、その画素の近傍に位置する画素により生成された画像データにより補正する必要がある。

従来、カラー画像データを生成する固体撮像装置は、１つの赤色フィルタ（Ｒ）と２つの緑色フィルタ（Ｇｒ，Ｇｂ）と１つの青色フィルタ（Ｂ）とをベイヤ配列したフィルタ部と、各フィルタを透過した光をそれぞれ受光する複数の受光素子（画素）からなる撮像部とから構成されている（第１従来例）。従って、カラー画像データを生成する１つ画素は４つのフィルタと４つの受光素子とから構成され、１つの画素に対する画像データは、４つの色データ（Ｒ，Ｇｒ，Ｇｂ，Ｂ）から構成されている。

固体撮像装置を構成する受光素子には、受光光量に対するデータ量（電圧，電流）、所謂光電変換効率が他の多くの受光素子と異なるといった、製造プロセス等による構造的な欠陥が存在する場合がある。この欠陥は、画素を構成する４つの受光素子のうちのいくつかの受光素子に含まれる。すると、１つの画素に対する画像データを構成する４つの色データのいくつかが被写体の色と異なってしまう。このため、固体撮像装置により生成された画像データを処理する画像処理回路には、各色データの値と閾値とを比較して各受光素子における欠陥の有無を検出し、欠陥を有すると判定した受光素子により生成された色データを補正する。

上記第１従来例の固体撮像装置は、１つの画素が同一平面上に配列された４つの受光素子から構成されている。従って、各受光素子における入射光量は、１つの画素に入射する光の１／４であるため、各受光素子では１つの画素領域に照射される光の１／４しか利用することができない。また、各受光素子は、ベイヤ配列された各色のフィルタを透過した光を受光する。このため、赤色と青色は１列毎に受光されるとともに、各色の光は１つおきの素子により受光される。この結果、各色における受光素子の間隔が広くなって解像度をあげることが難しい。

上記問題点に対し、近年、複数の受光素子を、受光面と直交する方向に沿って配列した固体撮像装置がある（第２従来例）。半導体基板に入射された光は、光を受光する表面からそれぞれの波長に応じた深さまで到達する。従って、受光面と直交する方向に沿って配列された３つの受光素子は、配置された位置に応じた波長の光を電気信号に変換する。各受光素子の受光面積は、１つの画素の面積と同じである。従って、各受光素子は、画素の入射光の全てを電気信号に変換するため、第１従来例に比べて入射光量の利用率が高く、データ量が多くなる。また、各色の受光素子は、受光面に沿ってそれぞれ隣接しているため、解像度を上げることができる。

ところが、上記第２従来例の固体撮像装置においても、画素の受光素子に欠陥が生じる場合がある。そして、第２従来例は、受光素子が受光面と直交する方向に配列されているため、１つ色の受光素子に欠陥が含まれる場合、他の色の受光素子にも欠陥が含まれる可能性が高い。しかし、上記の画像処理回路では、１つの色データに基づいて欠陥を検出しても、他の色データの値が閾値を超えていない場合に欠陥が検出されず、補正されない場合がある。その結果、補正されていない色データが被写体の色と異なって色ずれを起こすという問題があった。

本発明は上記問題点を解決するためになされたものであって、その目的は、複数層の受光素子からなる画素がマトリックス状に配列された固体撮像装置により生成された色データを補正して色ずれを低減することができる画像処理回路及び画像処理方法を提供することにある。

上記目的を達成するため、請求項１に記載の発明によれば、各色の色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、第１閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する複数の第１欠陥判定回路と、各色に対応し、対応しない色の第１欠陥判定回路の判定結果に基づいて、該対応しない色の処理対象画素に欠陥がある場合に、処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、前記第１閾値より小さい第２閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する複数の第２欠陥判定回路と、各色の色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値に基づいて前記処理対象画素の補正値を生成する複数の補正回路と、を備え、各色に対応する補正回路は、それぞれ対応する色の第１欠陥判定回路及び第２欠陥判定回路の判定結果に基づき、対応する色の処理対象画素に欠陥があると判定された場合に前記補正値を生成するようにした。その結果、第１欠陥判定回路により欠陥無しと判定された色の処理対象画素についても、第２欠陥判定回路により欠陥有りと判定される場合があるため、その色の画素値に対する補正値が生成され、色ずれが低減される。また、第１欠陥判定回路により欠陥無しと判定された色の処理対象画素について、第２欠陥判定回路においても欠陥なし判定される場合があり、補正が不要な処理対象画素に対する補正値の生成をキャンセルすることで、その処理対象画素の画素値が被写体の色からずれることが防止される。

請求項２に記載の発明によれば、各色の色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、第１閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する第１の欠陥判定を行い、対応しない色の第１の欠陥判定の判定結果に基づいて、該対応しない色の処理対象画素に欠陥があると判定された場合に、対応する色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、前記第１閾値より小さい第２閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する第２の欠陥判定を行い、前記第１の欠陥判定と前記第２の欠陥判定に基づいて、対応する色の処理対象画素に欠陥があると判定された場合に、対応する色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値に基づいて前記処理対象画素の補正値を生成するようにした。その結果、第１欠陥判定回路により欠陥無しと判定された色の処理対象画素についても、第２欠陥判定回路により欠陥有りと判定される場合があるため、その色の画素値に対する補正値が生成され、色ずれが低減される。また、第１欠陥判定回路により欠陥無しと判定された色の処理対象画素について、第２欠陥判定回路においても欠陥なし判定される場合があり、補正が不要な処理対象画素に対する補正値の生成をキャンセルすることで、その処理対象画素の画素値が被写体の色からずれることが防止される。

本発明によれば、複数層の受光素子からなる画素がマトリックス状に配列された固体撮像装置により生成された色データを補正して色ずれの低減が可能な画像処理回路及び画像処理方法を提供することができる。

（第一実施形態）
以下、本発明を具体化した第一実施形態を図面に従って説明する。
図１に示すように、画像処理回路１０は、赤色（Ｒ）と緑色（Ｇ）と青色（Ｂ）の色データＲｉｎ，Ｇｉｎ，Ｂｉｎに基づいて、色データを生成する画素に欠陥があるか否かを判断し、その判断結果に基づいて、少なくとも１色の画素に欠陥があると判断した場合には、すべての色の画素に対して補正処理を行うように構成されている。

各色の色データＲｉｎ，Ｇｉｎ，Ｂｉｎは、ＣＭＯＳイメージセンサ等の固体撮像装置により生成される。固体撮像装置の１画素は、図２に示すように、シリコン基板に埋め込まれた３層の受光素子としてのピクセルセンサＰＢ、ＰＧ、ＰＲから構成されている。シリコンは、異なる深度で異なる色の光を吸収するため、それぞれの層ＰＢ，ＰＧ，ＰＲは、深さに対応する波長の色を取り込み、入射光量に応じた画素値の信号を出力する。

図１に示す画像処理回路１０は、処理する対象である処理対象画素の画素値と、その処理対象画素の近傍に位置する複数の画素（本実施形態では処理対象画素と隣接する周辺の８つの画素）の画素値とに基づいて、欠陥判定及び補正処理を行うように構成されている。つまり、赤色の色データＲｉｎは、処理対象画素Ｒ１１の画素値と、その周辺の画素Ｒ００，Ｒ０１，Ｒ０１，Ｒ１０，Ｒ１２，Ｒ２０，Ｒ２１，Ｒ２２それぞれの画素値と、つまり３×３画素の画素値から構成されている。そして、画像処理回路１０は、画素Ｒ００〜Ｒ２２の画素値に基づいて、処理対象画素Ｒ１１に対する欠陥判定と、欠陥がある場合にその画素Ｒ１１の画素値を補正した補正画素値を生成する。同様に、緑色の色データＧｉｎは、画素Ｇ００〜Ｇ２２の画素値から構成され、処理対象画素Ｇ１１の画素値に基づいて、欠陥判定と、欠陥がある場合にその画素Ｇ１１の画素値を補正した補正画素値を生成する。同様に、緑色の色データＢｉｎは、画素Ｂ００〜Ｂ２２の画素値から構成され、処理対象画素Ｂ１１の画素値に基づいて、欠陥判定と、欠陥がある場合にその画素Ｂ１１の画素値を補正した補正画素値を生成する。

画像処理回路１０は、各色に対応する３つの欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂ及び３つの補正回路１２Ｒ，１２Ｇ，１２Ｂを備え、欠陥判定のための閾値が予め設定されている。

赤色の欠陥判定回路１１Ｒは、赤色の色データＲｉｎに基づいて、処理対象画素Ｒ１１に欠陥があるか否かを判定する。本実施形態における欠陥判定は、その画素Ｒ１１を通る直線上の１組の周辺画素の画素値の平均値と処理対象画素Ｒ１１の画素値との差の絶対値と閾値とを比較する比較処理を、すべての周辺画素について行う。そして、赤色の欠陥判定回路１１Ｒは、少なくとも１組の周辺画素について差の絶対値（差分値）が閾値より大きい場合に、処理対象画素Ｒ１１に欠陥があると判定し、全ての差分値が閾値より小さい場合に処理対象画素Ｒ１１に欠陥がないと判定する。

即ち、赤色の欠陥判定回路１１Ｒは、処理対象画素Ｒ１１の画素値と周辺画素Ｒ０１，Ｒ２１画素値とに基づいて、差分値｜Ｒ１１−（Ｒ０１＋Ｒ２１）／２｜と閾値とを比較する。同様に、赤色の欠陥判定回路１１Ｒは、差分値｜Ｒ１１−（Ｒ１０＋Ｒ１２）／２｜と閾値、差分値｜Ｒ１１−（Ｒ００＋Ｒ２２）／２｜と閾値、差分値｜Ｒ１１−（Ｒ０２＋Ｒ２０）／２｜と閾値とを比較する。そして、赤色の欠陥判定回路１１Ｒは、全ての比較結果に基づいて処理対象画素Ｒ１１の欠陥の有無を判定し、赤色の判定信号ＳＲを生成する。本実施形態において、赤色の欠陥判定回路１１Ｒは、少なくとも１つの差分値が閾値より大きい場合に処理対象画素Ｒ１１に欠陥があると判定し、Ｈレベルの赤色の判定信号ＳＲを生成し、全ての差分値が閾値以下の場合にＬレベルの判定信号ＳＲを生成する。

同様に、緑色の欠陥判定回路１１Ｇは、緑色の色データＧｉｎに基づいて処理対象画素Ｇ１１に欠陥があるか否かを判定し、緑色の判定信号ＳＧを生成する。また、青色の欠陥判定回路１１Ｂは、青色の色データＢｉｎに基づいて処理対象画素Ｂ１１に欠陥があるか否かを判定し、第３判定信号ＳＢを生成する。

各色の判定信号ＳＲ，ＳＧ，ＳＢは、全ての補正回路１２Ｒ，１２Ｇ，１２Ｂに入力される。即ち、各補正回路１２Ｒ，１２Ｇ，１２Ｂには、各陥判定回路１１Ｒ，１１Ｇ，１１Ｂにて生成された判定信号ＳＲ，ＳＧ，ＳＢを論理和合成した合成信号が入力されることとなる。

各補正回路１２Ｒ，１２Ｇ，１２Ｂは、合成信号に基づいて、３つの処理対象画素Ｒ１１，Ｇ１１，Ｂ１１のうちの少なくとも１つに欠陥がある場合、それぞれに対応する処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値を補正した補正画素値を生成する。例えば、赤色の補正回路１２Ｒは、合成信号、つまり赤色の〜第３判定信号ＳＲ，ＳＧ，ＳＢに基づいて、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１のうちの少なくとも１つに欠陥がある場合、処理対象画素Ｒ１１の画素値を、その画素値と周辺画素の画素値とに基づいて補正する。補正値の算出方法として、例えば、周辺画素の画素値の平均値を算出し、その平均値を補正値とする方法がある。

同様に、緑色の補正回路１２Ｇは、赤色の〜第３判定信号ＳＲ，ＳＧ，ＳＢに基づいて、処理対象画素Ｇ１１の画素値を補正する。更に、第３補正回路１２Ｂは、赤色の〜第３判定信号ＳＲ，ＳＧ，ＳＢに基づいて、処理対象画素Ｂ１１の画素値を補正する。

つまり、３つの処理対象画素Ｒ１１，Ｇ１１，Ｂ１１のうちの少なくとも１つに欠陥がある場合、画像処理回路１０は、全ての処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値を補正する。これにより、欠陥による色ずれを防ぐことができる。

つまり、従来の補正方法では、赤色の欠陥判定回路１１Ｒにおいて処理対象画素Ｒ１１に欠陥があると判定しても、被写体の色によって他の色（Ｇ，Ｂ）の欠陥判定回路１１Ｇ，１１Ｂにおいて欠陥ありと判定されない場合がある。しかし、図２に示す画素の場合、１つのピクセルセンサＰＲに欠陥がある場合、他のピクセルセンサＰＧ，ＰＢにも欠陥がある可能性が高い。

このため、各色の処理対象画素Ｒ１１，Ｇ１１，Ｂ１１のうちの少なくとも１つに欠陥があると判定した場合、全ての画素Ｒ１１，Ｇ１１，Ｂ１１の画素値を補正することで、欠陥による色ずれを防ぐことができる。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）各色に対応する欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂは、各色の色データＲｉｎ，Ｇｉｎ，Ｂｉｎの処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値及び周辺画素の画素値に基づいて、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１に欠陥があるか否かを判定し、判定信号ＳＲ，ＳＧ，ＳＢを生成する。各色に対応する補正回路１２Ｒ，１２Ｇ，１２Ｂは、各色の色データＲｉｎ，Ｇｉｎ，Ｂｉｎの処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値及び周辺画素の画素値に基づいて、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の補正値を生成する。そして、全ての補正回路１２Ｒ，１２Ｇ，１２Ｂは、対応する色の欠陥判定回路と対応しない色の欠陥判定回路の判定結果に基づき、複数の色の処理対象画素のうちの少なくとも１つに欠陥があると判定した場合にそれぞれ前記補正値を生成する。その結果、各色の処理対象画素Ｒ１１，Ｇ１１，Ｂ１１のうちの１つに欠陥があると判定された場合に全ての処理対象画素Ｒ１１，Ｇ１１，Ｂ１１について補正値が生成されるため、色ずれが低減される。

（第二実施形態）
以下、本発明を具体化した第二実施形態を図面に従って説明する。
尚、本実施形態において、第一実施形態と同じ部材については同じ符号を付し、一部の説明を省略する。

図３に示すように、画像処理回路２０は、各色に対応する３つの第１欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂと、３つの第２欠陥判定回路２１Ｒ，２１Ｇ，２１Ｂと、３つの補正回路１２Ｒ，１２Ｇ，１２Ｂを備え、欠陥判定のための閾値が予め設定されている。

各色の第１欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂは、第一実施形態と同様に、それぞれ対応する色の色データＲｉｎ，Ｇｉｎ，Ｂｉｎに基づいて、処理対象画素Ｒ１１に欠陥があるか否かを判定する第１判定処理を行い、第１判定信号ＳＲ，ＳＧ，ＳＢを生成する。

各色の第２欠陥判定回路２１Ｒ，２１Ｇ，２１Ｂは、対応する色とは異なる色、つまり対応しない色の欠陥判定回路の判定信号に基づいて、それぞれの欠陥判定回路が欠陥ありと判定した場合に第２判定処理を行い、その判定結果に基づく第２判定信号ＳＲａ，ＳＧａ，ＳＢａを生成する。第２判定処理は、第１欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂにて用いられた閾値のｎ分の１（＝１／ｎ）（ｎは１より大きい正数）を第２閾値とし、この第２閾値と第一実施形態における差分値とを比較し、該比較結果に基づいて対応する色のピクセルセンサに欠陥があるか否かを判定し、その判定結果に応じた第２判定信号を生成するものである。

例えば、赤色に対応する第２欠陥判定回路２１Ｒは、対応しない緑色の第１欠陥判定回路１１Ｇの第１判定信号ＳＧと、対応しない青色の第１欠陥判定回路１１Ｂの第１判定信号ＳＢとに基づいて、対応しない緑色と青色の処理対象画素Ｇ１１，Ｂ１１に欠陥がある場合、対応する赤色の処理対象画素Ｒ１１に欠陥があるか否かを判定する第２判定処理を行う。その第２判定処理において、第２欠陥判定回路２１Ｒは、処理対象画素Ｒ１１の画素値と周辺画素Ｒ０１，Ｒ２１画素値とに基づいて、差分値｜Ｒ１１−（Ｒ０１＋Ｒ２１）／２｜と閾値／ｎ（第２閾値）とを比較する。同様に、赤色の欠陥判定回路１１Ｒは、差分値｜Ｒ１１−（Ｒ２０＋Ｒ１２）／２｜と閾値／ｎ、差分値｜Ｒ１１−（Ｒ００＋Ｒ２２）／２｜と閾値／ｎ、差分値｜Ｒ１１−（Ｒ０２＋Ｒ２０）／２｜と閾値／ｎとを比較する。そして、第２欠陥判定回路２１Ｒは、全ての比較結果に基づいて処理対象画素Ｒ１１の欠陥の有無を判定し、第２判定信号ＳＲａを生成する。本実施形態において、第２欠陥判定回路２１Ｒは、少なくとも１つの差分値が閾値／ｎより大きい場合に処理対象画素Ｒ１１に欠陥があると判定し、Ｈレベルの第２判定信号ＳＲａを生成し、全ての差分値が閾値／ｎ以下の場合にＬレベルの第２判定信号ＳＲａを生成する。

つまり、第２欠陥判定回路２１Ｒは、第１欠陥判定回路１１Ｒよりも小さな閾値により処理対象画素Ｒ１１における欠陥の有無を判定する。そして、第２欠陥判定回路２１Ｒは、その判定結果に応じた第２判定信号ＳＲａを生成する。

同様に、緑色に対応する第２欠陥判定回路２１Ｇは、対応しない赤色と青色の第１欠陥判定回路１１Ｒ，１１Ｂの第１判定信号ＳＲ，ＳＢに基づき、対応しない赤色と青色の処理対象画素Ｒ１１，Ｂ１１に欠陥がある場合、対応する緑色の処理対象画素Ｇ１１に欠陥があるか否かを判定する第２判定処理を行い、第２判定信号ＳＧａを生成する。同様に、青色に対応する第２欠陥判定回路２１Ｂは、対応しない赤色と緑色の第１欠陥判定回路１１Ｒ，１１Ｇの第１判定信号ＳＲ，ＳＧに基づき、対応しない赤色と緑色の処理対象画素Ｒ１１，Ｇ１１に欠陥がある場合、対応する緑色の処理対象画素Ｂ１１に欠陥があるか否かを判定する第２判定処理を行い、第２判定信号ＳＧａを生成する。

赤色の補正回路１２Ｒは、第１欠陥判定回路１１Ｒの第１判定信号ＳＲと第２欠陥判定回路２１Ｒの第２判定信号ＳＲａとに基づいて、少なくとも一方が欠陥有りを示す場合に、第一実施形態と同様にして、対応する処理対象画素Ｒ１１の画素値を補正した補正画素値を生成する。同様に、緑色の補正回路１２Ｇは、第１欠陥判定回路１１Ｇの第１判定信号ＳＧと第２欠陥判定回路２１Ｇの第２判定信号ＳＧａとに基づいて、少なくとも一方が欠陥有りを示す場合に、第一実施形態と同様にして、対応する処理対象画素Ｇ１１の画素値を補正した補正画素値を生成する。同様に、青色の補正回路１２Ｂは、第１欠陥判定回路１１Ｂの第１判定信号ＳＢと第２欠陥判定回路２１Ｂの第２判定信号ＳＢａとに基づいて、少なくとも一方が欠陥有りを示す場合に、第一実施形態と同様にして、対応する処理対象画素Ｂ１１の画素値を補正した補正画素値を生成する。

上記のように構成された画像処理回路２０の作用を説明する。
今、赤色の第１欠陥判定回路１１Ｒが欠陥有りと判定し、緑色の第１欠陥判定回路１１Ｇと青色の第１欠陥判定回路１１Ｂが欠陥なしと判定している。

赤色の第２欠陥判定回路２１Ｒは、対応しない緑色と青色の第１判定信号ＳＧ，ＳＢが欠陥無しを示すため、第２判定処理を実施しない。緑色の第２欠陥判定回路２１Ｇは、対応しない赤色の第１判定信号ＳＲが欠陥ありを示すため、第２判定処理を実施する。この時、差分値の少なくとも１つが第２閾値（＝閾値／ｎ）より大きいため、欠陥有りを示す第２判定信号ＳＧａを出力する。青色の第２欠陥判定回路２１Ｂは、対応しない赤色の第１判定信号ＳＲが欠陥ありを示すため、第２判定処理を実施する。この時、全ての差分値が第２閾値（＝閾値／ｎ）より小さいため、欠陥無しを示す第３判定信号ＳＢａを出力する。

赤色の補正回路１２Ｒは、欠陥有りを示す第１判定信号ＳＲに基づいて、補正処理を実施し、処理対象画素Ｒ１１に対する補正画素値を生成する。緑色の補正回路１２Ｇは、欠陥有りを示す第２判定信号ＳＧａに基づいて、補正処理を実施し、処理対象画素Ｇ１１に対する補正画素値を生成する。青色の補正回路１２Ｂは、欠陥なしを示す第１判定信号ＳＢと第２判定信号ＳＢａとに基づいて、補正処理を実施しない。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）各色に対応する第１欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂは、各色の色データＲｉｎ，Ｇｉｎ，Ｂｉｎの処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値及び周辺画素の画素値と第１閾値とに基づいて、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１に欠陥があるか否かを判定し、第１判定信号ＳＲ，ＳＧ，ＳＢを生成する。各色に対応する第２欠陥判定回路２１Ｒ，２１Ｇ，２１Ｂは、対応しない色の第１欠陥判定回路の判定結果に基づき、対応しない色の処理対象画素に欠陥があると判定された場合に、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値及び周辺画素の画素値と、第１閾値より小さい第２閾値とに基づいて、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１に欠陥があるか否かを判定し、第２判定信号ＳＲａ，ＳＧａ，ＳＢａを生成する。各色に対応する補正回路１２Ｒ，１２Ｇ，１２Ｂは、第１判定信号ＳＲ，ＳＧ，ＳＢと、第２判定信号ＳＲａ，ＳＧａ，ＳＢａとに基づいて、対応する色の処理対象画素Ｒ１１，Ｇ１１，Ｂ１１に欠陥があると判定された場合に、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の画素値及び周辺画素の画素値に基づいて、処理対象画素Ｒ１１，Ｇ１１，Ｂ１１の補正値を生成する。その結果、第１欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂにより欠陥無しと判定された色の処理対象画素についても、第２欠陥判定回路２１Ｒ，２１Ｇ，２１Ｂにより欠陥有りと判定される場合があるため、その色の画素値に対する補正値が生成され、色ずれを低減することができる。また、第１欠陥判定回路１１Ｒ，１１Ｇ，１１Ｂにより欠陥無しと判定された色の処理対象画素について、第２欠陥判定回路２１Ｒ，２１Ｇ，２１Ｂにおいても欠陥なし判定される場合があり、補正が不要な処理対象画素に対する補正値の生成をキャンセルすることで、その処理対象画素の画素値が被写体の色からずれることを防止することができる。

尚、上記各実施の形態は、以下の態様で実施してもよい。
・上記各欠陥判定回路１１Ｒ〜１１Ｂ，２１Ｒ〜２１Ｂにおける欠陥判定方法を適宜変更してもよい。

・上記各補正回路１２Ｒ〜１２Ｂにおいて、汎用空間フィルタを用いて補正値を算出するようにしてもよい。例えば、各画素Ｒ００〜Ｒ２２の画素値と、フィルタ係数とをそれぞれ対応して乗算し、その乗算結果の総和値を補正値とする、又は元の画素値に総和値を加算して補正値とする。また、メディアンフィルタを用いる。このようにすれば、処理対象画素の画素値及び近傍の画素の画素値に基づいて補正値を容易に算出することができる。

第一実施形態の画像処理回路のブロック回路図である。 画素の説明図である。 第二実施形態の画像処理回路のブロック回路図である。

符号の説明

１１Ｒ，１１Ｇ，１１Ｂ 欠陥判定回路（第１欠陥判定回路）
１２Ｒ，１２Ｇ，１２Ｂ 補正回路
２１Ｒ，２１Ｇ，２１Ｂ 第２欠陥判定回路
Ｒ００〜Ｒ２２ 赤色の画素
Ｇ００〜Ｇ２２ 緑色の画素
Ｂ００〜Ｂ２２ 青色の画素
Ｒ１１ 処理対象画素
Ｇ１１ 処理対象画素
Ｂ１１ 処理対象画素
Ｂｉｎ，Ｇｉｎ，Ｒｉｎ 色データ
ＳＲ，ＳＧ，ＳＢ 判定信号（第１判定信号）
ＳＲａ，ＳＧａ，ＳＢａ 第２判定信号

Claims (2)

1. 互いに波長が異なる光を受光する複数層の受光素子を有する画素がマトリックス状に配列された固体撮像装置によって前記受光素子毎に生成され各受光素子に対応する色の色データを処理する画像処理回路であって、
   各色の色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、第１閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する複数の第１欠陥判定回路と、
   各色に対応し、対応しない色の第１欠陥判定回路の判定結果に基づいて、該対応しない色の処理対象画素に欠陥があると判定された場合に、処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、前記第１閾値より小さい第２閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する複数の第２欠陥判定回路と、
   各色の色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値に基づいて前記処理対象画素の補正値を生成する複数の補正回路と、
   を備え、
   各色に対応する補正回路は、それぞれ対応する色の第１欠陥判定回路及び第２欠陥判定回路の判定結果に基づき、対応する色の処理対象画素に欠陥があると判定された場合に前記補正値を生成する、
   ことを特徴とする画像処理回路。
2. 互いに波長が異なる光を受光する複数層の受光素子を有する画素がマトリックス状に配列された固体撮像装置によって前記受光素子毎に生成され各受光素子に対応する色の色データを処理する画像処理方法であって、
   各色の色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、第１閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する第１の欠陥判定を行い、
   対応しない色の第１の欠陥判定の判定結果に基づいて、該対応しない色の処理対象画素に欠陥があると判定された場合に、対応する色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値と、前記第１閾値より小さい第２閾値に基づいて、前記処理対象画素に欠陥があるか否かを判定する第２の欠陥判定を行い、
   前記第１の欠陥判定と前記第２の欠陥判定に基づいて、対応する色の処理対象画素に欠陥があると判定された場合に、対応する色データの処理対象画素の画素値及び該処理対象画素の近傍の画素の画素値に基づいて前記処理対象画素の補正値を生成する、
   ことを特徴とする画像処理方法。

Images