JP4462017B2 - 欠陥検出補正装置、撮像装置および欠陥検出補正方法 - Google Patents

Description

本発明は、固体撮像素子における欠陥画素を検出してその出力信号を補正する欠陥検出補正装置、この装置を具備する撮像装置、および欠陥検出補正方法に関し、特に、使用時に固体撮像素子からの出力信号から欠陥画素をリアルタイムに検出して補正することが可能な欠陥検出補正装置、撮像装置および欠陥検出補正方法に関する。

一般に、デジタルスチルカメラやデジタルビデオカメラなどに搭載されて被写体を撮像するための撮像素子では、多数の画素のうちの一部に欠陥が生じることがある。このような欠陥は、暗電流の発生やフォトダイオードの異常などの様々な原因により発生する。欠陥が生じた画素は異常なレベルの信号を出力するので、画質を劣化させる原因となる。このため、固体撮像素子を用いた従来の撮像装置では、欠陥画素の位置を検出してその出力信号を補正することが行われていた。

欠陥画素の検出の代表的な方法としては、例えば、撮像素子からの注目画素の出力信号レベルと、その周辺の同色フィルタに対応する複数の画素の出力信号レベルとを比較することにより、注目画素に欠陥が生じているか否かをリアルタイムに判断し、欠陥画素の出力を補正する方法があった。例えば、注目画素と周辺画素とのレベル差が一定値以上である場合に注目画素を欠陥と判定する方法が一般的である（例えば、特許文献１参照）。さらに、周辺画素として異色フィルタに対応する画素の出力信号も用いて欠陥判定を行うことにより、検出精度を高めた方法もあった（例えば、特許文献２参照）。
特開２００３−２３５７０号公報（段落番号〔００１３〕〜〔００１６〕、図１） 特開２００３−１１１０８８号公報（段落番号〔００３１〕〜〔００３５〕、図６）

ところで、欠陥画素の検出においては、小さな光や穴のような極めて小さい白点または黒点を撮像した場合に、この白点や黒点に含まれる画素を欠陥であると誤って判定し、その色を補正してしまうという問題があった。このように誤検出された画素は、その画素の本来の色が白や黒であっても、その周辺の色で置き換えられたり、あるいは周辺の色が混ざった色になってしまうので、被写体の細かい部分を正確に表現できなくなってしまう。

図１３は、極めて小さい点状の光が入射した場合の例を示す図である。
図１３では、例として撮像素子上における５×５画素分の画素配列を示している。ここでは、ベイヤ配列のＲＧＢカラーフィルタアレイを備えた撮像素子を例示する。図１３（Ａ）の例では、画素Ｒ２２，Ｇｒ２３，Ｇｂ３２，Ｂ３３の４画素（２×２画素）に対して同色の光が入射したものとする。また、図１３（Ｂ）の例では、画素Ｂ１１，Ｇｂ１２，Ｂ１３，Ｇｒ２１，Ｒ２２，Ｇｒ２３，Ｂ３１，Ｇｂ３２，Ｂ３３の９画素（３×３画素）に対して同色の光が入射したものとする。

ここで、上記の５×５画素の中心の画素Ｒ２２を注目画素として、この画素Ｒ２２が欠陥であるか否かを検出する場合を考える。同色フィルタに対応する周辺画素を用いた一般的な欠陥検出方法では、これらの周辺画素の信号レベルと注目画素の信号レベルとの差分を検出し、その差分が一定値以上である場合に欠陥であると判定する。例えば、図１３で注目画素を画素Ｒ２２とした場合、この画素Ｒ２２の信号レベルと、周辺画素として画素Ｒ００，Ｒ０２，Ｒ０４，Ｒ２０，Ｒ２４，Ｒ４０，Ｒ４２，Ｒ４４の各信号レベルとの差分を求める。

しかし、この方法では、図１３（Ａ）のような２×２画素の光の入射範囲においては、Ｇ（ＧｒおよびＧｂ）の画素が欠陥と判定されないが、ＲおよびＧの画素は誤って欠陥と判定してしまう。この範囲の入射光が白色の場合は、誤検出された画素が緑色に近づくように補正され、黒色の場合にはマゼンダ色に近づくように補正されてしまう。また、図１３（Ｂ）のような３×３画素の光の入射範囲においては、Ｒのみが欠陥と判定されてしまい、この範囲の入射光が白色の場合はシアン色に、黒色の場合は赤色にそれぞれ近づくように補正されてしまう。

このような誤検出を防止するための一般的な方法は、上述した特許文献２のように、周辺の異色フィルタに対応する画素の信号を利用する方法である。例えば、注目画素を画素Ｒ２２としたとき、それに隣接する画素Ｇｂ１２，Ｇｒ２１，Ｇｒ２３，Ｇｂ３２の信号レベルが、それぞれの周辺の同色画素に対して注目画素と同じように著しく高いか、著しく低い場合には、注目画素が欠陥でないと判定するようにすればよい。

一方、上記の問題とは別に、欠陥か否かを判定するしきい値付近で信号レベルが揺らぐノイズなどが発生したときに、動画の撮像時や画角合わせ用のモニタ上の画像において、その画素のちらつきが目立ってしまうという問題も知られている。このような画素は、欠陥、正常の判定がフレームごとに繰り返されて、白または黒に近い色と補正された色とが交互に表示されて点滅する状態となるので、一般のユーザにも目に付きやすい。

このような問題を解決する方法としては、注目画素について、前後のフレームの同画素の信号の相関関係に基づいて欠陥を判定する方法が考えられるが、この方法は検出に用いるための複数フレーム分の画像信号を記憶するメモリが必要となって、製造コストや回路規模が増大するという問題がある。

このように、上記各問題点を解決して高品質な画像の撮像を可能にするためには、より多くの画素の信号を用いて複雑な演算を行う必要があるので、高い演算処理能力や高容量のメモリなどが必要となり、製造コストや回路規模が増大してしまうことが問題となる。特に最近では、携帯電話機などの小型の機器に撮像機能が搭載されることも多くなっており、小型化や低コスト化に対する要求が強まっている。

本発明はこのような点に鑑みてなされたものであり、回路規模が小型化されながらも、固体撮像素子による撮像画像を高画質化することが可能な欠陥検出補正装置を提供することを目的とする。

また、本発明の他の目的は、回路規模が小型化されながらも、固体撮像素子による撮像画像を高画質化することが可能な撮像装置を提供することである。
さらに、本発明の他の目的は、回路規模を小型化しながらも、固体撮像素子による撮像画像を高画質化することが可能な欠陥検出補正方法を提供することである。

本発明では上記課題を解決するために、固体撮像素子における欠陥画素を検出して、その出力信号を補正する欠陥検出補正装置において、前記固体撮像素子上の注目画素と、前記注目画素の周辺に存在して前記注目画素と同色の色フィルタに対応する複数の同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第１の比較手段と、前記第１の比較手段による比較結果を基に前記注目画素が欠陥であるか否かを仮判定する第１の欠陥判定手段と、前記注目画素に隣接して前記注目画素と異なる色の色フィルタに対応する隣接異色画素と、前記隣接異色画素の周辺に存在して前記隣接異色画素と同色の色フィルタに対応する同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第２の比較手段と、前記第１の欠陥判定手段により前記注目画素が欠陥であると仮判定された場合に、前記第２の比較手段の比較により差分値がしきい値を超えた前記隣接異色画素の数が多いほど、前記注目画素が欠陥である可能性を複数段階で示す欠陥状態変数を低く設定して出力する第２の欠陥判定手段と、前記第２の欠陥判定手段により設定された前記欠陥状態変数が低いほど、同色周辺画素に対する前記注目画素の出力信号の合成比を大きくして前記注目画素の出力信号を補正する補正手段とを有することを特徴とする欠陥検出補正装置が提供される。

このような欠陥検出補正装置では、第１の欠陥判定手段により、注目画素とその同色周辺画素の各出力信号を基に欠陥の仮判定が行われ、これにより欠陥と判定された場合には、第２の欠陥判定手段により欠陥状態変数の設定が行われる。第２の欠陥判定手段は、注目画素の隣接異色画素とその同色周辺画素との差分値としきい値との比較の結果、差分値がしきい値を超えた隣接異色画素の数が多いほど、隣接異色画素とその同色周辺画素との出力信号のレベル差が大きく、注目画素が欠陥である可能性が低いことから、欠陥状態変数をより低く設定する。補正手段は、欠陥状態変数が低いほど、同色周辺画素に対する注目画素の出力信号の合成比を大きくするので、注目画素が欠陥である可能性が低いほど、元の色からの変化が小さいように注目画素が補正される。

また、本発明では、固体撮像素子における欠陥画素を検出して、その出力信号を補正する欠陥検出補正方法において、第１の比較手段が、前記固体撮像素子上の注目画素と、前記注目画素の周辺に存在して前記注目画素と同色の色フィルタに対応する複数の同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第１の比較ステップと、第１の欠陥判定手段が、前記第１の比較ステップによる比較結果を基に前記注目画素が欠陥であるか否かを仮判定する第１の欠陥判定ステップと、第２の比較手段が、前記注目画素に隣接して前記注目画素と異なる色の色フィルタに対応する隣接異色画素と、前記隣接異色画素の周辺に存在して前記隣接異色画素と同色の色フィルタに対応する同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第２の比較ステップと、前記第１の欠陥判定ステップにより前記注目画素が欠陥であると仮判定された場合に、第２の欠陥判定手段が、前記第２の比較ステップの比較により差分値がしきい値を超えた前記隣接異色画素の数が多いほど、前記注目画素が欠陥である可能性を複数段階で示す欠陥状態変数を低く設定して出力する第２の欠陥判定ステップと、補正手段が、前記第２の欠陥判定ステップにより設定された前記欠陥状態変数が低いほど、同色周辺画素に対する前記注目画素の出力信号の合成比を大きくして前記注目画素の出力信号を補正する補正ステップとを含むことを特徴とする欠陥検出補正方法が提供される。

このような欠陥検出補正方法では、第１の欠陥判定ステップにより、注目画素とその同色周辺画素の各出力信号を基に欠陥の仮判定が行われ、これにより欠陥と判定された場合には、第２の欠陥判定ステップにより欠陥状態変数の設定が行われる。第２の欠陥判定ステップでは、注目画素の隣接異色画素とその同色周辺画素との差分値としきい値との比較の結果、差分値がしきい値を超えた隣接異色画素の数が多いほど、隣接異色画素とその同色周辺画素との出力信号のレベル差が大きく、注目画素が欠陥である可能性が低いことから、欠陥状態変数をより低く設定する。補正ステップでは、欠陥状態変数が低いほど、同色周辺画素に対する注目画素の出力信号の合成比を大きくするので、注目画素が欠陥である可能性が低いほど、元の色からの変化が小さいように注目画素が補正される。

本発明によれば、注目画素の同色周辺画素の出力信号だけでなく、注目画素の隣接異色画素とその同色周辺画素の出力信号を用いて欠陥状態変数が設定され、欠陥状態変数が低いほど、元の色からの変化が小さいように注目画素が補正される。このため、ごく小さな点状の画像が撮像された場合に、その画像の範囲内の画素を欠陥と判定して周辺画素の信号により完全に置換してしまう事態が防止され、被写体の像をより忠実に再現することができる。

また、同色周辺画素との出力信号の差分値がしきい値を超えた隣接異色画素の数に応じて、欠陥状態変数が設定されるので、その設定の際に利用するデータのビット数が減少し、設定のための回路規模や消費電力が抑制される。従って、装置の小型化および低コスト化を実現しながらも、撮像画像を高画質化することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。以下の説明では、固体撮像素子を用いて画像を撮像し、撮像画像のデータを記録媒体に記録するデジタルスチルカメラやデジタルビデオカメラなどの撮像装置に、本発明を適用した場合を想定する。

〔第１の実施の形態〕
図１は、第１の実施の形態に係る撮像装置の構成を示す図である。
図１に示す撮像装置は、光学ブロック１１、ＣＣＤ（Charge Coupled Device）１２、ＴＧ（Timing Generator）１２ａ、前処理回路１３、欠陥検出補正回路１４、カメラ処理回路１５、エンコーダ／デコーダ１６、制御部１７、入力部１８、グラフィックＩ／Ｆ（インタフェース）１９、ディスプレイ１９ａ、および記録媒体２０を具備する。これらのうち、光学ブロック１１、ＴＧ１２ａ、前処理回路１３、欠陥検出補正回路１４、カメラ処理回路１５、エンコーダ／デコーダ１６、入力部１８、グラフィックＩ／Ｆ１９、および記録媒体２０は、制御部１７に接続されている。

光学ブロック１１は、被写体からの光をＣＣＤ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備しており、これらは制御部１７からの制御信号に基づいて駆動される。

ＣＣＤ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。なお、ＣＣＤ１２の代わりに、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの他の固体撮像素子が用いられてもよい。ＴＧ１２ａは、制御部１７の制御の下でタイミング信号を出力する。

前処理回路１３は、ＣＣＤ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

欠陥検出補正回路１４は、前処理回路１３から順次入力される画像データを基に、ＣＣＤ１２上の欠陥画素を検出し、その欠陥画素のデータを補正する。後述するように、欠陥画素の検出では、注目画素の周辺に存在する同色画素（同色フィルタに対応する画素）および異色画素（異色フィルタに対応する画素）のデータを基に、注目画素の欠陥の可能性を示す欠陥状態変数を算出し、画像データの補正時には、この欠陥状態変数に応じて注目画素と周辺画素との合成比を変化させる。

カメラ処理回路１５は、欠陥検出補正回路１４により補正された画像データに対して、ホワイトバランス調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理を施す。

エンコーダ／デコーダ１６は、カメラ処理回路１５からの画像データに対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマット、あるいはＭＰＥＧ（Moving Picture Experts Group）方式などの所定の動画像データフォーマットで圧縮符号化処理を行う。また、制御部１７から供給された静止画像あるいは動画像の符号化データを伸張復号化処理する。

制御部１７は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

入力部１８は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１７に出力する。
グラフィックＩ／Ｆ１９は、制御部１７から供給された画像信号から、ディスプレイ１９ａに表示させるための画像信号を生成して、この信号をディスプレイ１９ａに供給して画像を表示させる。ディスプレイ１９ａは、例えばＬＣＤ（Liquid Crystal Display）などからなり、撮像中のカメラスルー画像や記録媒体２０に記録されたデータを再生した画像などを表示する。

記録媒体２０は、撮像により生成された画像データを制御部１７から受け取って記憶する。この記録媒体２０としては、可搬型のフラッシュメモリ、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどを用いることができる。

ここで、上記の撮像装置における基本的な動作について説明する。ここでは例として、静止画像の撮像時の動作について説明する。
静止画像の撮像前には、ＣＣＤ１２によって受光されて光電変換された信号が、順次前処理回路１３に供給される。前処理回路１３では、入力信号に対してＣＤＳ処理、ＡＧＣ処理が施され、さらにデジタル信号に変換される。欠陥検出補正回路１４は、前処理回路１３からのデジタル画像データから欠陥画素を検出し、そのデータを補正する。

カメラ処理回路１５は、欠陥検出補正回路１４からの画像データに対して画質補正処理を施し、カメラスルー画像の信号として、制御部１７を通じてグラフィックＩ／Ｆ１９に供給する。これにより、カメラスルー画像がディスプレイ１９ａに表示され、ユーザはディスプレイ１９ａを見て画角合わせを行うことが可能となる。

この状態で、入力部１８のシャッタレリーズボタンが押下されると、制御部１７は、光学ブロック１１およびＴＧ１２ａに制御信号を出力して、光学ブロック１１のシャッタを動作させる。これによりＣＣＤ１２からは、１フレーム分の画像信号が出力される。

カメラ処理回路１５は、ＣＣＤ１２から前処理回路１３および欠陥検出補正回路１４を介して供給された１フレーム分の画像データに画質補正処理を施し、処理後の画像データをエンコーダ／デコーダ１６に供給する。エンコーダ／デコーダ１６は、入力された画像データを圧縮符号化し、生成した符号化データを制御部１７を通じて記録媒体２０に供給する。これにより、撮像された静止画像のデータファイルが記録媒体２０に記録される。

一方、記録媒体２０に記録された静止画像ファイルを再生する場合には、制御部１７は、入力部１８からの操作入力に応じて、選択された静止画像ファイルを記録媒体２０から読み込み、エンコーダ／デコーダ１６に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部１７を介してグラフィックＩ／Ｆ１９に供給され、これによりディスプレイ１９ａに静止画像が再生表示される。

ところで、上記のＣＣＤ１２などの固体撮像素子では、暗電流の発生やフォトダイオードの異常などにより、画素に欠陥が生じる場合がある。また、このような欠陥は、温度や光の蓄積時間などの影響により増加するため、使用環境に応じて欠陥画素の数が増加していく場合がある。本実施の形態の撮像装置では、欠陥検出補正回路１４により、撮像した画像データから欠陥画素をリアルタイムに検出し、検出した画素のデータを補正している。これにより、製品出荷後の使用時に欠陥画素が増加した場合でも、記録媒体２０に記録した画像データやディスプレイ１９ａ上のカメラスルー画像の画質が劣化することを防止している。

以下、欠陥検出補正回路１４における欠陥画素検出、および画像データの補正処理について説明する。
図２は、欠陥検出補正回路１４の内部構成を示す図である。

欠陥検出補正回路１４は、それぞれ１ライン分の画像データをＦＩＦＯ（First-In First-Out）方式で記憶するラインメモリ１４１ａ〜１４１ｄと、欠陥画素を検出する検出回路１４２と、欠陥画素のデータを補正する補正回路１４３とを具備する。

ラインメモリ１４１ａには、前処理回路１３からの画像データＤＬ０が入力され、ラインメモリ１４１ｂには、ラインメモリ１４１ａからの画像データＤＬ１が入力される。このラインメモリ１４１ｂからの画像データＤＬ２は、補正回路１４３に入力される。また、ラインメモリ１４１ｃには、補正回路１４３によって補正された画像データ（補正画像データ）が入力され、ラインメモリ１４１ｄには、ラインメモリ１４１ｃからの画像データＤＬ３が入力される。これにより、前処理回路１３からの画像データＤＬ０、および各ラインメモリ１４１ａ〜１４１ｄからの画像データＤＬ１〜ＤＬ４は、それぞれ水平方向の画素位置が同じである５ライン分のデータとなり、これらの画像データＤＬ０〜ＤＬ４が検出回路１４２に入力される。

検出回路１４２は、入力された画像データＤＬ０〜ＤＬ４を基に、注目画素が欠陥画素であるか否かを検出する。ここでは例として、５×５画素分の画像データを用いて、その範囲の中心の画素を注目画素として検出を行い、その注目画素は画像データＤＬ２に含まれるものとする。このような５×５画素分の画像データを取得するために、検出回路１４２の内部には、画像データＤＬ０〜ＤＬ４の各画像データの伝送を遅延させる複数段の遅延回路が設けられている。

この検出回路１４２は、後述するように、注目画素とその周辺の同色フィルタに対応する画素（同色画素）の各信号レベル、および注目画素に隣接する異色フィルタに対応する画素（異色画素）とその同色周辺画素の各信号レベルについてそれぞれ差分値を求め、それらの差分値をしきい値と比較することで、欠陥である可能性の高さを複数段階の値で表した欠陥状態変数ＤＥＴを求め、補正回路１４３に出力する。

この検出回路１４２においては、差分値の比較の際に用いるしきい値は制御部１７からのしきい値設定情報に応じて設定される。また、差分演算や比較の処理手順は注目画素の色情報に応じて設定され、その色情報は画像データの入力タイミングに同期して制御部１７から指定される。

補正回路１４３は、ラインメモリ１４１ｂからの画像データＤＬ２の入力を受けて、注目画素の画像データを補正する。この補正では、注目画素のデータとそれに隣接する同色画素のデータとを用い、欠陥状態変数ＤＥＴの値に応じて重み付けしてそれらのデータを合成する。

図３は、検出回路１４２および補正回路１４３の各内部構成を示す図である。
検出回路１４２は、しきい値算出回路４２１、色情報判定回路４２２、差分比較回路４２３、および欠陥状態判定回路４２４を具備する。また、補正回路１４３は、補正フィルタ４３１ａ〜４３１ｄ、およびセレクタ４３２を具備する。

しきい値算出回路４２１は、制御部１７からのしきい値設定情報に応じたしきい値ＴＨ＿ＤＴＬＶを算出して、差分比較回路４２３に供給する。このしきい値ＴＨ＿ＤＴＬＶは、注目画素の対応フィルタの色ごとや、注目画素の同色画素比較用と異色画素比較用とで異なる値が設定されてもよい。

色情報判定回路４２２は、制御部１７からの色情報に応じて、色識別情報ＧＲＮ＿ＩＤを差分比較回路４２３に供給する。なお、本実施の形態では、注目画素の対応フィルタがＲおよびＢの場合と、ＧｒおよびＧｂの場合とで、差分比較回路４２３において異なる画素を演算対象として選択するので、色識別情報ＧＲＮ＿ＩＤでは、注目画素がＧｒまたはＧｂであるか否かを識別するための情報となっている。

差分比較回路４２３は、入力された画像データＤＬ０〜ＤＬ４の中から色識別情報ＧＲＮ＿ＩＤに応じて演算対象とする画素を選択し、差分演算を行う。そして、演算された差分値をしきい値ＴＨ＿ＤＴＬＶと比較し、その比較結果に応じて差分検出変数ＤＥＦＤＥＴおよび緩和変数ＯＣＣＮＴを算出して、欠陥状態判定回路４２４に出力する。欠陥状態判定回路４２４は、差分検出変数ＤＥＦＤＥＴおよび緩和変数ＯＣＣＮＴに基づいて欠陥状態変数ＤＥＴを算出し、補正回路１４３のセレクタ４３２に出力する。

差分検出変数ＤＥＦＤＥＴは、注目画素とその同色周辺画素との信号レベル差から算出され、注目画素が白欠陥であるか、黒欠陥であるか、あるいは欠陥でないかについての判定結果を表す。注目画素とその同色周辺画素との信号レベル差が大きい場合は、注目画素の信号レベルの突出度（ここでは、周辺と比較して著しく高い場合と、著しく低い場合とを含む）が高いため、注目画素が欠陥であると判定される。

ここで、検出回路１４２の検出処理に基づいた、注目画素が欠陥であると考えられる可能性の高さを、「欠陥状態」と呼称することにする。上記の同色画素を用いた検出では、欠陥と判定された場合には、差分検出変数ＤＥＦＤＥＴを用いて欠陥状態を最も高い値に一時的に設定する。

一方、緩和変数ＯＣＣＮＴは、注目画素に隣接する異色画素とその同色周辺画素との信号レベル差から算出され、その隣接異色画素の信号レベルの突出度の高さを段階的に示す。上述した注目画素の同色周辺画素のみを用いた検出では、点状などのごく小さい画像が撮像された場合にその範囲内の画素を欠陥と誤判定してしまう場合がある。しかし、隣接する異色画素の突出度が注目画素と同じように高い場合には、注目画素が点状画像の一部であると考えられるので、その注目画素は欠陥でない可能性が高くなる。緩和変数ＯＣＣＮＴは、同色画素に基づいて欠陥とされた判定が不正確である可能性が高いほど、高い値を示す。

欠陥状態判定回路４２４は、差分検出変数ＤＥＦＤＥＴにより注目画素が欠陥であると判定された場合に、緩和変数ＯＣＣＮＴに基づいてその欠陥状態を段階的に低くして緩和し、欠陥状態変数ＤＥＴとして出力する。

補正回路１４３は、欠陥状態変数ＤＥＴの示す欠陥状態の段階数と同数の補正フィルタ４３１ａ〜４３１ｄを具備する。各補正フィルタ４３１ａ〜４３１ｄは例えば、注目画素のデータと、その水平方向に隣接する両側の同色画素のデータとを所定の重み付けを施して合成するＦＩＲ（Finite Impulse Response）フィルタとして構成されており、上記３つのデータをそれぞれ異なる重み付けで合成する。

ここでは例として、欠陥状態変数ＤＥＴが４段階の値を採ることとする。左側の隣接同色画素、注目画素、右側の隣接同色画素のそれぞれに対する重み付けの比を（ｎ１，ｎ２，ｎ３）とすると、補正フィルタ４３１ａは、入力データに対して（０，１，０）の重み付けを施す。すなわち、注目画素をそのまま出力する。また、補正フィルタ４３１ｄは、（１，０，１）／２の重み付けを施し、注目画素のデータを隣接画素の平均値で完全に置換する。補正フィルタ４３１ｂおよび４３１ｃは、中間的な画素補間を行うフィルタであり、それぞれ（１，２，１）／４、（３，２，３）／８の重み付けを行う。すなわち、補正フィルタ４３１ａから補正フィルタ４３１ｄにかけて、徐々に隣接画素の合成割合が大きくなるように設定している。

なお、実際には、検出回路１４２において水平方向の複数画素を取得するために発生するデータの伝送遅延時間に合わせて、画像データＤＬ２の入力タイミングを遅延させるための遅延回路を、補正回路１４３の前段に接続しておく必要がある。

セレクタ４３２は、欠陥状態変数ＤＥＴの値に応じて、補正フィルタ４３１ａ〜４３１ｄのうちの１つの出力を選択し、補正画像データとして出力する。このセレクタ４３２は、欠陥状態変数ＤＥＴの値が大きいほど、注目画素より隣接画素の合成割合が大きくなるように選択を行う。

なお、以上の検出回路１４２および補正回路１４３の処理機能の一部は、制御部１７によるソフトウェア処理により実現されてもよい。
図４は、欠陥検出補正回路１４における１画素分の欠陥検出・補正処理の流れを示すフローチャートである。また、図５は、欠陥検出に用いる５×５画素の配列の一例を示す図である。以下、図５の画素配列例を用いた場合を想定して、欠陥検出補正回路１４の処理例を図４のステップ番号に沿って具体的に説明する。

図５では、ベイヤ配列のＲＧＢカラーフィルタアレイを備えた撮像素子を用いた場合の、Ｒ画素を中心とした５×５画素を示しており、中心の画素Ｒ２２が検出対象の注目画素となっている。なお、以下の説明では、画素Ｒ００のデータ（例えば輝度レベル）を「ｒ００」、画素Ｇｒ０１のデータを「ｇｒ０１」などと表す。

〔ステップＳ１０１〕欠陥検出補正回路１４に、新たな１画素分の画像データが入力される。これにより、検出回路１４２は、水平方向に１画素分だけシフトされた５×５画素分の画像データを取得する。また、補正回路１４３も同様に、画素補間に用いる新たな同色の３画素の画像データを取得する。

〔ステップＳ１０２〕差分比較回路４２３は、色情報判定回路４２２からの色識別情報ＧＲＮ＿ＩＤに応じて、検出に使用する周辺画素を決定する。ここでは、注目画素の対応フィルタがＲおよびＢの場合と、ＧｒおよびＧｂの場合とで、後述する差分演算の対象とする画素を変更する。

〔ステップＳ１０３〕差分比較回路４２３は、注目画素と、同色周辺画素とのデータの差分を演算する。ここで、図５のように注目画素が画素Ｒ２２であるとき、同色周辺画素として例えば画素Ｒ００，Ｒ０２，Ｒ０４，Ｒ２０，Ｒ２４，Ｒ４０，Ｒ４２，Ｒ４４を用い、これらの信号レベルの差分値（ｒ２２−ｒ００，ｒ２２−ｒ０２，ｒ２２−ｒ０４，ｒ２２−ｒ２０，ｒ２２−ｒ２４，ｒ２２−ｒ４０，ｒ２２−ｒ４２，ｒ２２−ｒ４４）を演算する。

〔ステップＳ１０４〕差分比較回路４２３は、演算した差分値と、しきい値算出回路４２１からの同色画素比較用のしきい値ＴＨ＿ＤＴＬＶとを比較して、同色画素による欠陥判定を行う。そして、上記差分値の絶対値がすべてしきい値ＴＨ１より大きく、かつ差分値の符号がすべて一致する場合に欠陥と判定する。

従って、同色画素による欠陥の判定式は、以下の式（１）および（２）のようになる。なお、ＭＡＸ（ｎ），ＭＩＮ（ｎ）は、それぞれデータｎの最大値、最小値を示す。
・白欠陥の場合
ｒ２２−ＭＡＸ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）＞ＴＨ＿ＤＴＬＶ ……（１）
・黒欠陥の場合
ＭＩＮ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）−ｒ２２＞ＴＨ＿ＤＴＬＶ ……（２）
〔ステップＳ１０５〕上記判定により、注目画素が欠陥であると判定した場合にはステップＳ１０６に進み、欠陥でないと判定した場合にはステップＳ１１６に進む。

〔ステップＳ１０６〕差分比較回路４２３は、差分検出変数ＤＥＦＤＥＴに「３」を設定する。また、欠陥の種類（白欠陥または黒欠陥）に応じたフラグを設定する。
〔ステップＳ１０７〕差分比較回路４２３は、注目画素に隣接する異色画素と、その同色周辺画素との差分を演算する。図５のように、注目画素が画素Ｒ２２の場合、隣接異色画素として例えば画素Ｇｂ１２，Ｇｒ２１，Ｇｒ２３，Ｇｂ３２を選択する。そして、各画素とその同色周辺画素との差分値（ｇｂ１２−ｇｂ１０，ｇｂ１２−ｇｂ１４，ｇｒ２１−ｇｒ０１，ｇｒ２１−ｇｒ４１，ｇｒ２３−ｇｒ０３，ｇｒ２３−ｇｒ４３，ｇｂ３２−ｇｂ３０，ｇｂ３２−ｇｂ３４）を演算する。

〔ステップＳ１０８〕差分比較回路４２３は、演算した差分値と、しきい値算出回路４２１からの異色画素比較用のしきい値ＴＨ＿ＤＴＬＶとを比較して、異色画素による欠陥判定を行う。ここでは、隣接異色画素ごとの差分値の組ごとに判定を行い、各組において式の絶対値が双方ともしきい値ＴＨ＿ＤＴＬＶより大きく、符号が一致した場合に、緩和変数ＯＣＣＮＴをインクリメントする。差分値の組は、（ｇｂ１２−ｇｂ１０，ｇｂ１２−ｇｂ１４）（ｇｒ２１−ｇｒ０１，ｇｒ２１−ｇｒ４１）（ｇｒ２３−ｇｒ０３，ｇｒ２３−ｇｒ４３）（ｇｂ３２−ｇｂ３０，ｇｂ３２−ｇｂ３４）の４つとする。

例えば、緩和変数ＯＣＣＮＴの初期値を「０」とし、上記の組のうち１つのみが判定基準に合致した場合、緩和変数ＯＣＣＮＴを「１」とする。同様に、２つの組が判定基準に合致した場合は緩和変数ＯＣＣＮＴを「２」とし、３つの組が合致した場合は緩和変数ＯＣＣＮＴを「３」とし、すべての組が合致した場合は緩和変数ＯＣＣＮＴを「４」とする。

ただし、緩和変数ＯＣＣＮＴをインクリメントするためには、上記の組のすべての符号が一致し、さらにステップＳ１０６で設定されたフラグで示される符号とも一致する必要がある。すなわち、上記の組の符号は、注目画素が白欠陥の場合はすべて正、黒欠陥の場合はすべて負となる。

従って、異色画素による欠陥の判定式は、以下の式（３）〜（１０）のようになり、式（３）〜（６）あるいは式（７）〜（１０）のうちの１つ満たすごとに緩和変数ＯＣＣＮＴを「１」ずつインクリメントする。

・白欠陥の場合
ｇｂ１２−ＭＡＸ（ｇｂ１０，ｇｂ１４）＞ＴＨ＿ＤＴＬＶ ……（３）
ｇｒ２１−ＭＡＸ（ｇｒ０１，ｇｒ４１）＞ＴＨ＿ＤＴＬＶ ……（４）
ｇｒ２３−ＭＡＸ（ｇｒ０３，ｇｒ４３）＞ＴＨ＿ＤＴＬＶ ……（５）
ｇｂ３２−ＭＡＸ（ｇｂ３０，ｇｂ３４）＞ＴＨ＿ＤＴＬＶ ……（６）
・黒欠陥の場合
ＭＩＮ（ｇｂ１０，ｇｂ１４）−ｇｂ１２＞ＴＨ＿ＤＴＬＶ ……（７）
ＭＩＮ（ｇｒ０１，ｇｒ４１）−ｇｒ２１＞ＴＨ＿ＤＴＬＶ ……（８）
ＭＩＮ（ｇｒ０３，ｇｒ４３）−ｇｒ２３＞ＴＨ＿ＤＴＬＶ ……（９）
ＭＩＮ（ｇｂ３０，ｇｂ３４）−ｇｂ３２＞ＴＨ＿ＤＴＬＶ ……（１０）
〔ステップＳ１０９〕欠陥状態判定回路４２４は、差分検出変数ＤＥＦＤＥＴおよび緩和変数ＯＣＣＮＴに基づいて、欠陥状態変数ＤＥＴを計算し、補正回路１４３に出力する。具体的には、差分検出変数ＤＥＦＤＥＴが「３」の場合に、この値から緩和変数ＯＣＣＮＴを減算する。隣接異色画素の信号レベルが注目画素と同じように周辺画素より突出している場合には、注目画素が欠陥である可能性が低いと考えられるので、緩和変数ＯＣＣＮＴの値が大きいと欠陥状態変数ＤＥＴの値が小さくなり、注目画素が欠陥である可能性が低いと判定されることになる。

〔ステップＳ１１０〕欠陥状態変数ＤＥＴが「３」である場合はステップＳ１１１に進み、そうでない場合はステップＳ１１２に進む。
〔ステップＳ１１１〕補正回路１４３のセレクタ４３２は、（１，０，１）／２で重み付けされた補正フィルタ４３１ｄを選択する。

この場合、ステップＳ１０４において、注目画素の信号レベルが同色周辺画素より十分突出していると判定され、かつ、ステップＳ１０８において、隣接異色画素と同色周辺画素との差分値がしきい値を超える組がなく、突出していないと判定されたことから、注目画素は欠陥である可能性が極めて高い。このため、補正フィルタ４３１ｄを選択して、注目画素である画素Ｒ２２の画像データを隣接する画素Ｒ２０およびＲ２４の平均値で置換し、補正画像データとして出力する。

〔ステップＳ１１２〕欠陥状態変数ＤＥＴが「２」である場合はステップＳ１１３に進み、そうでない場合はステップＳ１１４に進む。
〔ステップＳ１１３〕セレクタ４３２は、（３，２，３）／８で重み付けされた補正フィルタ４３１ｃを選択する。

この場合、同色画素の信号レベルからは注目画素が十分突出していると判定されたが、ステップＳ１０８では、隣接異色画素と同色周辺画素との差分値の組が１つだけしきい値を超えており、注目画素が欠陥でない可能性がわずかに残る。このため、補正フィルタ４３１ｃを選択して、隣接する画素Ｒ２０およびＲ２４に対して、注目画素（画素Ｒ２２）のデータを相対的に少ない割合で混合し、補正画像データとして出力する。

〔ステップＳ１１４〕欠陥状態変数ＤＥＴが「１」である場合はステップＳ１１５に進み、そうでない場合はステップＳ１１６に進む。
〔ステップＳ１１５〕セレクタ４３２は、（１，２，１）／４で重み付けされた補正フィルタ４３１ｂを選択する。

この場合、同色画素の信号レベルからは注目画素が十分突出していると判定されたが、ステップＳ１０８では、隣接異色画素と同色周辺画素との差分値の組が２つだけしきい値を超えており、注目画素が欠陥でない可能性の方が高いと考えられる。このため、補正フィルタ４３１ｂを選択して、隣接する画素Ｒ２０およびＲ２４に対して、注目画素（画素Ｒ２２）のデータを相対的に高い割合で混合し、補正画像データとして出力する。

〔ステップＳ１１６〕欠陥状態変数ＤＥＴが「０」以下となり、セレクタ４３２は、（０，１，０）で重み付けされた補正フィルタ４３１ａを選択する。
ここでは、ステップＳ１０５で欠陥と判定された場合に、補正フィルタ４３１ａを選択して、注目画素である画素Ｒ２２の画像データを補正せずにそのまま出力する。これに加えて、同色画素の信号レベルからは注目画素が十分突出していると判定されたものの、ステップＳ１０８において、隣接異色画素と同色周辺画素との差分値の組が３つ以上しきい値を超えた場合にも、注目画素が欠陥でない可能性が極めて高いと考えられるので、同様に補正フィルタ４３１ａにより注目画素の画像データをそのまま出力するようにする。

ここで、図６は、他色のフィルタに対応する画素を注目画素とした場合に欠陥検出処理に用いる画素を説明するための図である。
図６（Ａ）に示すように、Ｂ画素を注目画素とした場合には、上述したＲ画素の場合と同じ位置の画素を用いて欠陥検出を行う。すなわち、注目画素を画素Ｂ２２とした場合、図４のステップＳ１０３では、ｂ２２−ｂ００，ｂ２２−ｂ０２，ｂ２２−ｂ０４，ｂ２２−ｂ２０，ｂ２２−ｂ２４，ｂ２２−ｂ４０，ｂ２２−ｂ４２，ｂ２２−ｂ４４の各差分値を演算する。また、ステップＳ１０８では、（ｇｒ１２−ｇｒ１０，ｇｒ１２−ｇｒ１４）（ｇｂ２１−ｇｂ０１，ｇｂ２１−ｇｂ４１）（ｇｂ２３−ｇｂ０３，ｇｂ２３−ｇｂ４３）（ｇｒ３２−ｇｒ３０，ｇｒ３２−ｇｒ３４）の差分値の組を算出する。

一方、図６（Ｂ）および（Ｃ）に示すように、注目画素をＧｒ画素およびＧｂ画素とした場合には、同色周辺画素の位置を注目画素のより近い位置とするように、同色画素による欠陥判定時に選択する画素の位置を変えてもよい。例えば、図６（Ｂ）において注目画素を画素Ｇｒ２２とした場合、図４のステップＳ１０３では、ｇｒ２２−ｇｒ０２，ｇｒ２２−ｇｂ１１，ｇｒ２２−ｇｂ１３，ｇｒ２２−ｇｒ２０，ｇｒ２２−ｇｒ２４，ｇｒ２２−ｇｂ３１，ｇｒ２２−ｇｂ３３，ｇｒ２２−ｇｒ４２の各差分値を演算する。また、ステップＳ１０８では、注目画素がＲ画素やＢ画素の場合と同様の位置の画素を用い、（ｂ１２−ｂ１０，ｂ１２−ｂ１４）（ｒ２１−ｒ０１，ｒ２１−ｒ４１）（ｒ２３−ｒ０３，ｒ２３−ｒ４３）（ｂ３２−ｂ３０，ｂ３２−ｂ３４）の差分値の組を算出する。また、注目画素をＧｂ画素とした場合も、Ｇｒ画素の場合と同じ位置の画素を演算に用いる。

以上の処理では、注目画素の同色周辺画素だけでなく、異色画素も用いて欠陥か否かの判定を行うようにしたことで、ごく小さな点状の画像が撮像された場合に、その画像の範囲内の画素を欠陥と判定して周辺画素により完全に置換してしまう事態を防止することができ、被写体の像がより忠実に再現された精細な画像を記録することが可能となる。

例えば、２×２画素の範囲に同色光が入射している場合、この範囲内の画素を注目画素とすると、これがＲ画素またはＢ画素であれば、異色画素による欠陥判定により欠陥状態が緩和されて欠陥状態変数ＤＥＴが「１」となり、補正画像データには元の色が強く残るようになる。また、３×３画素の範囲に同色光が入射した場合には、この範囲内の中心がＲ画素またはＢ画素であれば、同色画素による判定で欠陥と判定されてしまうが、異色画素による判定により欠陥状態が強く緩和されて、欠陥状態変数が「０」以下となり、元の色が完全に残される。

また、このような欠陥状態の判定のために、注目画素とその同色周辺画素、および注目画素の隣接異色画素とその同色周辺画素との各差分値の演算と、それらの差分値としきい値との比較という比較的単純な処理を行っている。このため、検出回路１４２の回路構成を単純にすることができ、回路規模を抑制し、製造コストを低減することができる。

特に、欠陥状態を判別するために、異色画素のデータに基づく緩和変数ＯＣＣＮＴを用いているが、この変数は、異色画素を用いた差分値がしきい値を超えたか否かという情報と、その個数とに基づいて決定される。このため、差分比較回路４２３から欠陥状態判定回路４２４に伝送されるデータのビット数が削減され、欠陥状態判定回路４２４の回路構成が単純化されるので、回路規模が抑制され、消費電力も低減される。

従って、本実施の形態の撮像装置では、回路規模の小型化や低コスト化、低消費電力化という効果と、撮像画像の高画質化という効果とを両立させることができ、例えば携帯電話機などに撮像機能を設けた場合など、小型・低コスト・低消費電力であることが重要視される場合でも、従来と比較してより自然で精細な画像を撮像し、記録することが可能となる。

次に、検出回路１４２の具体的な回路構成を例示し、回路規模の削減効果についてより詳しく説明する。
図７は、差分比較回路４２３の第１の回路構成例を示す図である。

図７に示す差分比較回路４２３は、その前段に１６個の遅延回路３０１〜３０４，３１１〜３１４，３２１〜３２４，３３１〜３３４，３４１〜３４４が設けられ、内部に減算部３５０、比較部３６０、変数算出部３７１および３７２が設けられた構成を有している。

遅延回路３０１〜３０４，３１１〜３１４，３２１〜３２４，３３１〜３３４，３４１〜３４４は、入力画像データをそれぞれ水平方向に１画素転送するための周期（以下、この周期をクロック周期とする）だけ遅延させる。遅延回路３０１〜３０４は直列に接続され、遅延回路３０１には前処理回路１３からの画像データＤＬ０が入力されて、この画像データＤＬ０と各遅延回路３０１〜３０４の出力データとが減算部３５０に入力される。これにより、減算部３５０には水平方向に隣接する５画素のデータが入力される。

遅延回路３１１〜３１４，３２１〜３２４，３３１〜３３４，３４１〜３４４もそれぞれ同様に直列に接続され、画像データＤＬ１，ＤＬ２，ＤＬ３，ＤＬ４からそれぞれ隣接する５画素分のデータを生成して減算部３５０に供給する。これにより、減算部３５０には５×５画素分の画像データが入力される。

減算部３５０は、入力された５×５画素分のデータから、色識別情報ＧＲＮ＿ＩＤに応じてデータを選択し、図４のステップＳ１０３およびＳ１０７に対応する差分演算を行う。例えば、注目画素が図５のＲ２２または図６（Ａ）のＢ２２であるとき、減算部３５０には、入力画像データの差分値を算出するための１６個の減算回路（式（１）または（２）の各左辺の演算と式（３）〜（６）または式（７）〜（１０）の各左辺の演算に相当）が設けられる。なお、ここでは入力される画像データＤＬ０〜ＤＬ４のビット数を９ビットとすると、各減算回路による減算結果は符号ビットを含む１０ビットのデータとして出力される。

比較部３６０は、減算部３５０による減算結果を、しきい値算出回路４２１によって設定されるしきい値と比較する。この比較部３６０は、入力データのそれぞれに対応する１６個の比較回路を具備し、図４のステップＳ１０４およびＳ１０６に対応する比較処理を実行する。そして、注目画素の同色画素に基づく比較結果を変数算出部３７１に、異色画素に基づく比較結果を変数算出部３７２に、それぞれ２ビットのデータとして出力する。

変数算出部３７１は、図４のステップＳ１０４〜Ｓ１０６に対応する欠陥判定処理を実行するブロックであり、注目画素の同色画素に基づく比較結果から差分検出変数ＤＥＦＤＥＴを算出する。ここでは、比較部３６０からの８つの２ビットデータが一致した場合に、差分検出変数ＤＥＦＤＥＴを「３」に設定するとともに、欠陥種類（白欠陥あるいは黒欠陥）を変数算出部３７２に通知する。

変数算出部３７２は、図４のステップＳ１０８に対応する処理を実行するブロックであり、注目画素の異色画素に基づく比較結果から緩和変数ＯＣＣＮＴを算出する。ここでは、変数算出部３７１から通知される欠陥種類に応じて、ステップＳ１０８で説明した差分値の組のうち、双方の値がしきい値を超えた組を計数し、その数に応じて緩和変数ＯＣＣＮＴを算出する。

図８は、上記回路の動作を示すタイミングチャートである。なお、ここでは例として、図５における画素Ｒ２２を注目画素とした場合の異色画素（Ｇｂ画素）を用いた欠陥検出動作について説明する。また、図８において、画像データＮ＿２ｄ，Ｎ＿４ｄは、画像データＮをそれぞれ２クロック分、４クロック分だけ遅延させたデータを示す。

図７に示した回路では、減算部３５０の前段に設けられた５段の遅延回路により、演算の対象となる画像データがすべて同じタイミングに入力される。すなわち、図８のタイミングＴ１１で、注目画素である画素Ｒ２２に隣接する画素Ｇｂ１２およびＧｂ３２のデータと、これらと差分演算を行う対象の画素Ｇｂ１０，Ｇｂ１４，Ｇｂ３０，Ｇｂ３４とが同時に入力される。そして、これらを用いた４つの差分値が減算部３５０から比較部３６０に出力されて、その比較結果とＧｒ画素に基づく比較結果とに応じて、変数算出部３７２で緩和変数ＯＣＣＮＴが算出される。

以上の回路構成においては、減算部３５０および比較部３６０は、入力画像データのビット数に応じた回路規模が必要となるが、比較部３６０から出力されるデータのビット数は入力画像データより少なくなるので、変数算出部３７１および３７２やその後段の欠陥状態判定回路４２４の回路が単純化され、回路規模が小さくなる。従って、例えば欠陥状態の緩和量を減算部３５０からの差分値の絶対量を基に算出する場合と比較して、回路規模や部品コストを大幅に削減することができ、また消費電力を低減することができる。

図９は、差分比較回路４２３の第２の回路構成例を示す図である。なお、この図９では例として、図５におけるＲ画素またはＢ画素を注目画素とした場合に用いる回路構成を示している。また、図６に対応するブロックには同じ符号を付して示している。

図９に示す差分比較回路４２３では、前段に設けられた遅延回路が２段ずつとされるとともに、差分比較回路４２３の内部にも複数の遅延回路がさらに設けられた構成を有している。前段に設けられた遅延回路３０１および３０２，遅延回路３２１および３２２，遅延回路３４１および３４２は、それぞれ画像データＤＬ０，ＤＬ２，ＤＬ４と、これらを２クロック分遅延させたデータとを減算部３５１に供給する。また、遅延回路３１１および３１２，遅延回路３３１および３３２は、それぞれ画像データＤＬ１，ＤＬ３と、これらを２クロック分遅延させたデータとを減算部３５２に供給する。

減算部３５１および比較部３６１は、注目画素の同色画素と一方の異色画素（注目画素がＲ画素の場合はＧｒ画素、Ｂ画素の場合はＧｂ画素）とを用いた差分演算（図４のステップＳ１０３およびＳ１０７）および比較処理（図４のステップＳ１０４およびＳ１０８）をそれぞれ実行するブロックである。減算部３５１は、差分演算のための８個の減算回路（式（１）または（２）の各左辺の演算と、式（４）および（５），または式（８）および（９）の各左辺の演算に相当）を具備し、比較部３６１は各減算回路の算出結果をしきい値と比較するための８個の比較回路を具備している。

また、減算部３５２および比較部３６２は、注目画素の他方の異色画素（注目画素がＲ画素の場合はＧｂ画素、Ｂ画素の場合はＧｒ画素）を用いた差分演算（図４のステップＳ１０７）および比較処理（図４のステップＳ１０８）をそれぞれ実行するブロックである。減算部３５２は、差分演算のための４個の減算回路（式（３）および（６），または式（７）および（１０）の各左辺の演算に相当）を具備し、比較部３６２は各減算回路の算出結果をしきい値と比較するための４個の比較回路を具備している。なお、第１の回路構成例と同様に、画像データＤＬ０〜ＤＬ４が９ビットデータの場合、減算部３５１および３５２の出力データは符号ビットを含む１０ビット、比較部３６１および３６２の出力データは２ビットとなる。

比較部３６１の後段には、遅延回路３８１〜３９２が設けられている。遅延回路３８１〜３９０は、それぞれ２個ずつ直列に接続されて、比較部３６１からの８つの出力データのうちの５つを、それぞれ２クロック分遅延させて変数算出部３７１に供給する。また、遅延回路３８１および３８３によって１クロック分遅延された比較結果は、それぞれ変数算出部３７２にも供給される。さらに、遅延回路３８２および３８４の後段にはさらに遅延回路３９１および３９２がそれぞれ接続され、これらにより３クロック分遅延された比較結果が変数算出部３７２に供給される。

一方、比較部３６２の後段にも、遅延回路３９５〜３９８が設けられている。遅延回路３９５および３９６と、遅延回路３９７および３９８は、それぞれ直列に接続されて、比較部３６２からの４つの出力データのうちの２つをそれぞれ２クロック分遅延させて、変数算出部３７２に供給する。

この図９の回路構成では、減算部３５１および３５２には、垂直方向に隣接する５画素分のデータは同時に入力されるものの、水平方向については同色の２画素だけしか同時に入力されない。しかし、減算部３５１および３５２では、水平方向の５画素分のデータを用いて一度に演算せずに、それらの一部を２クロック分早いタイミングであらかじめ演算し、その演算結果に基づく比較結果を後段の遅延回路３８１〜３９２，３９５〜３９８によって遅延させている。これにより、５×５画素のデータに基づく比較結果の変数算出部３７１および３７２に対する入力タイミングを一致させることができる。

図１０は、上記回路の動作を示すタイミングチャートである。なお、ここでは図８と同様に、例として図５における画素Ｒ２２を注目画素とした場合の異色画素（Ｇｂ画素）を用いた欠陥検出動作について説明する。また、図１０において、画像データＮ＿２ｄは、画像データＮを２クロック分遅延させたデータを示し、ｃｍｐ（ｓｕｂ［Ｎ］，ｔｈ）は、差分値Ｎとしきい値ｔｈとの比較結果を示す。

まず、タイミングＴ２１では、注目画素（画素Ｒ２２）に隣接する異色画素である画素Ｇｂ１２およびＧｂ３２と、それらより先行する同色画素であるＧｂ１０およびＧｂ３０とが減算部３５２に入力される。減算部３５２は、これらの画像データを用いて、ｇｂ１２−ｇｂ１０，ｇｂ３２−ｇｂ３０の各演算を実行し、さらに比較部３６２は、これらの演算結果としきい値とを比較して、比較結果を遅延回路３９５および３９７にそれぞれ出力する。

また、２クロック後のタイミングＴ２２では、隣接異色画素である画素Ｇｂ１２およびＧｂ３２と、それらの後続の同色画素であるＧｂ１４およびＧｂ３４とが減算部３５２に入力される。減算部３５２は、これらの画像データを用いて、ｇｂ１２−ｇｂ１４，ｇｂ３２−ｇｂ３４の各演算を実行し、さらに比較部３６２は、これらの演算結果としきい値との比較結果を変数算出部３７２に出力する。このとき、タイミングＴ２１で出力されたｇｂ１２−ｇｂ１０，ｇｂ３２−ｇｂ３０を用いた比較結果が、遅延回路３９５〜３９８により２クロック分遅延されて、タイミングＴ２２で同時に変数算出部３７２に入力される。従って、変数算出部３７２では、注目画素の隣接異色画素である画素Ｇｂ１２およびＧｂ３２に基づく比較結果を取得し、緩和変数ＯＣＣＮＴを算出することができる。

ここで、隣接異色画素であるＧｂ画素を用いて差分演算および比較処理を行うために必要な回路を考える。１ビット分のデータを遅延させるために、フリップフロップなどの遅延回路（１ビット遅延回路と呼称する）が１つ必要となることから、図９の第２の回路構成例の場合、差分比較回路４２３の前段に９×４＝３６（個）、内部に２×４＝８（個）の合計４４個の１ビット遅延回路が必要となる。一方、図７の第１の回路構成例の場合、差分比較回路４２３の前段に９×８＝７２（個）の１ビット遅延回路が必要となり、第２の回路構成例の方が遅延回路の数を大幅に少なくできることがわかる。

注目画素である画素Ｒを用いた処理系についても、必要な差分演算および比較処理の一部を２クロック前に実行しておくことで、上記と同様の回路削減効果が得られる。これらの処理のために、図９の第２の回路構成例の場合、差分比較回路４２３の前段に９×６＝５４（個）、内部に２×１０＝２０（個）の合計７４個の１ビット遅延回路が必要となる。一方、図７の第１の回路構成例の場合、差分比較回路４２３の前段に９×１２＝１０８（個）の１ビット遅延回路が必要となり、第２の回路構成例の方が遅延回路の数を大幅に少なくできる。

ただし、他方の隣接異色画素であるＧｒ画素の処理系では、水平方向の同色２画素分しかデータが必要でないために、遅延素子を削減することはできない。図９では注目画素の列を中心とした２画素おきのデータしか入力されないので、それらの中間位置のデータを用いた比較結果を変数算出部３７２に入力させるために、遅延回路３８１および３８３の出力データを変数算出部３７２に供給するとともに、遅延回路３９１および３９２を新たに設けて、遅延回路３８１および３８３の出力データをさらに２クロック分遅延させて変数算出部３７２に供給している。このため、遅延回路の数は第２の回路構成例の方が増加する。

しかし、上記回路構成としたことで、Ｇｒ画素を用いた差分演算および比較処理と、注目画素（画素Ｒ）を用いた各処理は、減算部３５１および比較部３６１を共用して実行することができるので、減算回路および比較回路の数を削減することができる。第１および第２の回路構成例で必要となる１ビット遅延素子、９ビット減算回路、１０ビット比較回路の数は、それぞれ以下の表１および表２のようになり、第２の回路構成例では回路規模を大幅に削減できることがわかる。

なお、上記では注目画素がＲ画素の場合の回路構成例について説明したが、注目画素をＢ画素とした場合にも全く同じ回路によって処理することができる。また、注目画素をＧｒ画素およびＧｂ画素とした場合には異なる構成の回路が用いられるが、上記いずれの回路構成例でも、減算回路、比較回路および遅延回路は注目画素の色情報によらず同じ数だけ必要となり、異なる色の処理で一部の回路を共用することもできる。従って、注目画素の色情報によらず、第２の回路構成例の方が回路規模を抑制することができる。

以上説明したように、本実施の形態の欠陥検出補正回路１４では、注目画素とその同色周辺画素、および注目画素の隣接異色画素とその同色周辺画素との各差分値を算出し、これらの差分値がしきい値を超えたか否かを示す情報のみを用いて欠陥状態を判定するようにしたことで、変数の算出の基となるデータのビット数が減少する。このため、変数算出部３７１および３７２の前段において遅延回路を設ける構成としたときに、遅延回路の個数を大幅に削減することができ、欠陥検出の精度を維持しつつ、回路規模や部品コストをより大きく抑制し、消費電力を低減することができる。

〔第２の実施の形態〕
ところで、上記第１の実施の形態では、注目画素の同色画素による欠陥検出では２段階のみの欠陥状態を判定していたが、比較対象のしきい値を複数用いることで、３段階以上の欠陥状態を判定できるようにしてもよい。これにより、周辺画素との差分値がしきい値付近で変動するノイズが注目画素に発生した場合、この画素が点滅する減少を防止することが可能となる。

図１１は、注目画素にノイズが発生した場合の信号レベルの変化の例を示すグラフである。
この図１１では、注目画素とその同色周辺画素との信号レベルの差分値のフレームごとの変化について示している。この図１１のように、注目画素に信号レベルが変化するノイズが発生した場合には、例えば比較対象のしきい値を１つ（例えば図中しきい値ＴＨ＿ＤＴＬＶ２）としたときには、差分値がしきい値を超えたときは注目画素が周辺画素により補間され、しきい値以下のときは補間されずに元の色が残るため、注目画素が点滅することになる。

これに対して、複数のしきい値ＴＨ＿ＤＴＬＶ１〜ＴＨ＿ＤＴＬＶ３（ただし、ＴＨ＿ＤＴＬＶ１＜ＴＨ＿ＤＴＬＶ２＜ＴＨ＿ＤＴＬＶ３）を用意し、差分値が最も高いしきい値ＴＨ＿ＤＴＬＶ３を超えた場合には欠陥状態を高くして、注目画素を強く補正し、最も低いしきい値ＴＨ＿ＤＴＬＶ１のみ超えた場合には欠陥状態を低くして、元の色が残るように注目画素を弱く補正することで、注目画素の点滅を目立たなくすることができる。

図１２は、この場合の欠陥検出補正回路１４における１画素分の欠陥検出・補正処理の例を示すフローチャートである。なお、ここでは例として、上記の図４と同様に、図５の画素配列例を用い、注目画素を画素Ｒ２２とした場合を想定して説明する。

〔ステップＳ２０１〜Ｓ２０３〕これらのステップは、図４のステップＳ１０１〜Ｓ１０３と同様である。すなわち、検出回路１４２は、新たな５×５画素分の画像データを取得し、検出に使用する周辺画素を決定する。そして、注目画素と、同色周辺画素とのデータの差分値（ｒ２２−ｒ００，ｒ２２−ｒ０２，ｒ２２−ｒ０４，ｒ２２−ｒ２０，ｒ２２−ｒ２４，ｒ２２−ｒ４０，ｒ２２−ｒ４２，ｒ２２−ｒ４４）を演算する。

〔ステップＳ２０４〕演算した差分値と、しきい値算出回路４２１からの同色画素比較用のしきい値ＴＨ＿ＤＴＬＶ１〜ＴＨ＿ＤＴＬＶ３とを比較して、同色画素による欠陥判定を行う。ここでは、各しきい値との比較結果に応じて、差分検出変数ＤＥＦＤＥＴを「０」〜「３」の４段階に設定し、さらに欠陥種類に応じたフラグを設定する。

差分検出変数ＤＥＦＤＥＴは、以下の条件で設定する。
・白欠陥の場合
〈条件１−１〉
ｒ２２−ＭＡＸ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）≦ＴＨ＿ＤＴＬＶ１ →ＤＥＦＤＥＴを「０」とする。
〈条件１−２〉
ＴＨ＿ＤＴＬＶ１＜ｒ２２−ＭＡＸ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）≦ＴＨ＿ＤＴＬＶ２ →ＤＥＦＤＥＴを「１」とする。
〈条件１−３〉
ＴＨ＿ＤＴＬＶ２＜ｒ２２−ＭＡＸ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）≦ＴＨ＿ＤＴＬＶ３ →ＤＥＦＤＥＴを「２」とする。
〈条件１−４〉
ｒ２２−ＭＡＸ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）＞ＴＨ＿ＤＴＬＶ３ →ＤＥＦＤＥＴを「３」とする。

・黒欠陥の場合
〈条件２−１〉
ＭＩＮ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）−ｒ２２≦ＴＨ＿ＤＴＬＶ１ →ＤＥＦＤＥＴを「０」とする。
〈条件２−２〉
ＴＨ＿ＤＴＬＶ１＜ＭＩＮ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）−ｒ２２≦ＴＨ＿ＤＴＬＶ２ →ＤＥＦＤＥＴを「１」とする。
〈条件２−３〉
ＴＨ＿ＤＴＬＶ２＜ＭＩＮ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）−ｒ２２≦ＴＨ＿ＤＴＬＶ３ →ＤＥＦＤＥＴを「２」とする。
〈条件２−４〉
ＭＩＮ（ｒ００，ｒ０２，ｒ０４，ｒ２０，ｒ２４，ｒ４０，ｒ４２，ｒ４４）−ｒ２２＞ＴＨ＿ＤＴＬＶ３ →ＤＥＦＤＥＴを「３」とする。

〔ステップＳ２０５〕上記判定により、差分検出変数ＤＥＦＤＥＴが０より大きく、注目画素が欠陥であると判定した場合にはステップＳ２０６に進み、欠陥でないと判定した場合にはステップＳ２１９に進む。

〔ステップＳ２０６〕このステップは、図４のステップＳ１０７と同様であり、差分比較回路４２３は、注目画素に隣接する異色画素と、その同色周辺画素との差分値（ｇｂ１２−ｇｂ１０，ｇｂ１２−ｇｂ１４，ｇｒ２１−ｇｒ０１，ｇｒ２１−ｇｒ４１，ｇｒ２３−ｇｒ０３，ｇｒ２３−ｇｒ４３，ｇｂ３２−ｇｂ３０，ｇｂ３２−ｇｂ３４）を演算する。

〔ステップＳ２０７〕差分比較回路４２３は、演算した差分値と、しきい値算出回路２１からの異色画素比較用のしきい値ＴＨ＿ＤＴＬＶ１〜ＴＨ＿ＤＴＬＶ３とを比較し、異色画素による欠陥判定を行う。ここでは、（ｇｂ１２−ｇｂ１０，ｇｂ１２−ｇｂ１４）（ｇｒ２１−ｇｒ０１，ｇｒ２１−ｇｒ４１）（ｇｒ２３−ｇｒ０３，ｇｒ２３−ｇｒ４３）（ｇｂ３２−ｇｂ３０，ｇｂ３２−ｇｂ３４）の４つの差分値の組を算出し、各組と各しきい値との比較結果に応じて緩和変数ＯＣＣＮＴを算出する。

緩和変数ＯＣＣＮＴは、初期値を「０」、最大値を「１６」として、以下の条件で設定する。ただし、緩和変数ＯＣＣＮＴをインクリメントするためには、上記の組のすべての符号が一致し、さらにステップＳ２０４で設定されたフラグで示される符号とも一致する必要がある。すなわち、上記の組の符号は、注目画素が白欠陥の場合はすべて正、黒欠陥の場合はすべて負となる。なお、異色画素比較用の各しきい値としては、同色画素比較用と異なる値を設定してもよい。

・白欠陥の場合
ｇｂ１２−ＭＡＸ（ｇｂ１０，ｇｂ１４），ｇｒ２１−ＭＡＸ（ｇｒ０１，ｇｒ４１），ｇｒ２３−ＭＡＸ（ｇｒ０３，ｇｒ４３），ｇｂ３２−ＭＡＸ（ｇｂ３０，ｇｂ３４）の差分値の組のそれぞれについて、
〈条件３−１〉
双方の差分値がＴＨ＿ＤＴＬＶ１より大きく、ＴＨ＿ＤＴＬＶ２以下→ＯＣＣＮＴを「１」インクリメントする。
〈条件３−２〉
双方の差分値がＴＨ＿ＤＴＬＶ２より大きく、ＴＨ＿ＤＴＬＶ３以下→ＯＣＣＮＴを「２」インクリメントする。
〈条件３−３〉
双方の差分値がＴＨ＿ＤＴＬＶ３より大きい→ＯＣＣＮＴを「４」インクリメントする。

・黒欠陥の場合
ＭＩＮ（ｇｂ１０，ｇｂ１４）−ｇｂ１２，ＭＩＮ（ｇｒ０１，ｇｒ４１）−ｇｒ２１，ＭＩＮ（ｇｒ０３，ｇｒ４３）−ｇｒ２３，ＭＩＮ（ｇｂ３０，ｇｂ３４）−ｇｂ３２の差分値の組のそれぞれにおいて、双方の差分値について上記の条件３−１〜３−３を適用する。

〔ステップＳ２０８〕緩和変数ＯＣＣＮＴが「０」の場合はステップＳ２０９に進み、そうでない場合はステップＳ２１０に進む。
〔ステップＳ２０９〕欠陥状態判定回路４２４は、欠陥状態変数ＤＥＴに差分検出変数ＤＥＦＤＥＴの値をそのまま設定して、セレクタ４３２に出力する。

〔ステップＳ２１０〕緩和変数ＯＣＣＮＴが「０」より大きく、「８」以下である場合はステップＳ２１１に進み、そうでない場合はステップＳ２１２に進む。
〔ステップＳ２１１〕欠陥状態判定回路４２４は、差分検出変数ＤＥＦＤＥＴから「１」を減じた値を欠陥状態変数ＤＥＴに設定し、セレクタ４３２に出力する。

〔ステップＳ２１２〕緩和変数ＯＣＣＮＴが「８」より大きく、「１６」以下であり、このとき欠陥状態判定回路４２４は、差分検出変数ＤＥＦＤＥＴから「２」を減じた値を欠陥状態変数ＤＥＴに設定し、セレクタ４３２に出力する。

このような欠陥状態判定回路４２４の演算により、注目画素の同色周辺画素に対する信号レベルの突出度が高い場合でも、隣接異色画素の信号レベルの突出度が高いほど欠陥状態変数ＤＥＴの値が低くなり、注目画素が欠陥である可能性が低いと判定される。

〔ステップＳ２１３〜Ｓ２１９〕これらのステップは、図４のステップＳ１１０〜Ｓ１１６と同様である。すなわち、欠陥状態変数ＤＥＴが「３」である場合は、補正回路１４３のセレクタ４３２により、（１，０，１）／２で重み付けされた補正フィルタ４３１ｄが選択され、注目画素のデータは隣接同色画素の平均値で置換される。また、欠陥状態変数ＤＥＴが「２」である場合は、セレクタ４３２により（３，２，３）／８で重み付けされた補正フィルタ４３１ｃが選択され、隣接同色画素に対して注目画素のデータが相対的に少ない割合で混合される。

さらに、欠陥状態変数ＤＥＴが「１」である場合は、セレクタ４３２により（１，２，１）／４で重み付けされた補正フィルタ４３１ｂが選択され、隣接同色画素に対して注目画素のデータが相対的に高い割合で混合される。また、欠陥状態変数ＤＥＴが「０」以下である場合は、セレクタ４３２により（０，１，０）で重み付けされた補正フィルタ４３１ａが選択され、注目画素の画像データが補正されずにそのまま出力される。

以上の第２の実施の形態では、注目画素の同色画素および隣接画素についての差分値の比較の際に複数のしきい値を用い、各しきい値との比較結果に応じて欠陥状態を決めるようにしたことで、被写体の細かい像をより忠実に再現できる効果に加えて、信号レベルが変化するノイズが発生した画素について、この画素の補正後のレベル変化を抑えて目立たなくする効果が得られる。また、このような欠陥状態の判別を、差分値が複数のしきい値を超えたか否かという情報に基づいて行って、演算に使用するデータのビット数を減少させたことで、回路規模を削減し、消費電力を低減することができる。

なお、上記の各実施の形態で示した撮像装置は、例えば、デジタルスチルカメラ、デジタルビデオカメラをはじめ、静止画像や動画像の撮像機能を備えた携帯電話機、ＰＤＡ（Personal Digital Assistant）などとして実現され、これらの機器に本発明を適用することができる。

また、このような機器以外に、外部の撮像素子が接続されて、その撮像素子による撮像動作を制御して撮像画像を取り込むことが可能なパーソナルコンピュータなどの情報処理機器にも、本発明を適用することが可能である。その場合、上記の撮像装置が有する欠陥検出補正機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

第１の実施の形態に係る撮像装置の構成を示す図である。 欠陥検出補正回路の内部構成を示す図である。 検出回路および補正回路の各内部構成を示す図である。 欠陥検出補正回路における１画素分の欠陥検出・補正処理の流れを示すフローチャートである。 欠陥検出に用いる５×５画素の配列の一例を示す図である。 他色のフィルタに対応する画素を注目画素とした場合に欠陥検出処理に用いる画素を説明するための図である。 差分比較回路の第１の回路構成例を示す図である。 図７の差分比較回路の動作を示すタイミングチャートである。 差分比較回路の第２の回路構成例を示す図である。 図９の差分比較回路の動作を示すタイミングチャートである。 注目画素にノイズが発生した場合の信号レベルの変化の例を示すグラフである。 第２の実施の形態での欠陥検出補正回路における１画素分の欠陥検出・補正処理の例を示すフローチャートである。 極めて小さい点状の光が入射した場合の例を示す図である。

符号の説明

１１……光学ブロック、１２……ＣＣＤ、１２ａ……ＴＧ、１３……前処理回路、１４……欠陥検出補正回路、１５……カメラ処理回路、１６……エンコーダ／デコーダ、１７……制御部、１８……入力部、１９……グラフィックＩ／Ｆ、１９ａ……ディスプレイ、２０……記録媒体、１４１ａ〜１４１ｄ……ラインメモリ、１４２……検出回路、１４３……補正回路、４２１……しきい値算出回路、４２２……色情報判定回路、４２３……差分比較回路、４２４……欠陥状態判定回路、４３１ａ〜４３１ｄ……補正フィルタ、４３２……セレクタ

Claims (11)

1. 固体撮像素子における欠陥画素を検出して、その出力信号を補正する欠陥検出補正装置において、
   前記固体撮像素子上の注目画素と、前記注目画素の周辺に存在して前記注目画素と同色の色フィルタに対応する複数の同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第１の比較手段と、
   前記第１の比較手段による比較結果を基に前記注目画素が欠陥であるか否かを仮判定する第１の欠陥判定手段と、
   前記注目画素に隣接して前記注目画素と異なる色の色フィルタに対応する隣接異色画素と、前記隣接異色画素の周辺に存在して前記隣接異色画素と同色の色フィルタに対応する同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第２の比較手段と、
   前記第１の欠陥判定手段により前記注目画素が欠陥であると仮判定された場合に、前記第２の比較手段の比較により差分値がしきい値を超えた前記隣接異色画素の数が多いほど、前記注目画素が欠陥である可能性を複数段階で示す欠陥状態変数を低く設定して出力する第２の欠陥判定手段と、
   前記第２の欠陥判定手段により設定された前記欠陥状態変数が低いほど、同色周辺画素に対する前記注目画素の出力信号の合成比を大きくして前記注目画素の出力信号を補正する補正手段と、
   を有することを特徴とする欠陥検出補正装置。
2. 前記第２の欠陥判定手段は、前記隣接異色画素のそれぞれについて、前記隣接異色画素とこれに対するあらかじめ決められた複数の同色周辺画素との出力信号の差分値のすべてがしきい値を超えた場合に、前記欠陥状態変数を一定値だけ低下させることを特徴とする請求項１記載の欠陥検出補正装置。
3. 前記注目画素または前記隣接異色画素と、これらに対して水平方向に先行する同色周辺画素との出力信号の差分値を、前記第１または第２の比較手段によりしきい値と比較した比較結果を、後続の同色周辺画素の出力信号を用いた比較処理タイミングに一致するように遅延させて前記第１または第２の欠陥判定手段に入力させる遅延手段をさらに有することを特徴とする請求項１記載の欠陥検出補正装置。
4. 前記固体撮像素子において水平方向の同列上に配置された異なる色の色フィルタに対応する画素の出力信号については、前記第１および第２の比較手段の少なくとも一方の内部回路として共通の比較回路を用いてしきい値との比較を行い、前記共通の比較回路の後段に接続する遅延回路の段数に応じて色フィルタの種類ごとに比較結果を振り分け、前記第１または第２の欠陥判定手段に供給することを特徴とする請求項１記載の欠陥検出補正装置。
5. 前記第１の比較手段は、複数のしきい値を用いて比較を行い、
   前記第１の欠陥判定手段は、前記第１の比較手段において比較対象とされたすべての差分値が、複数のうちのより高いしきい値を超えているほど、前記欠陥状態変数を高く設定することを特徴とする請求項１記載の欠陥検出補正装置。
6. 前記第２の比較手段は、複数のしきい値を用いて比較を行い、
   前記第２の欠陥判定手段は、前記隣接異色画素のそれぞれについて、前記隣接異色画素とこれに対するあらかじめ決められた複数の同色周辺画素との出力信号の差分値のすべてが、複数のうちのより高いしきい値を超えているほど、前記欠陥状態変数をより大きく低下させることを特徴とする請求項５記載の欠陥検出補正装置。
7. 固体撮像素子を用いて画像を撮像する撮像装置において、
   前記固体撮像素子上の注目画素と、前記注目画素の周辺に存在して前記注目画素と同色の色フィルタに対応する複数の同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第１の比較手段と、
   前記第１の比較手段による比較結果を基に前記注目画素が欠陥であるか否かを仮判定する第１の欠陥判定手段と、
   前記注目画素に隣接して前記注目画素と異なる色の色フィルタに対応する隣接異色画素と、前記隣接異色画素の周辺に存在して前記隣接異色画素と同色の色フィルタに対応する同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第２の比較手段と、
   前記第１の欠陥判定手段により前記注目画素が欠陥であると仮判定された場合に、前記第２の比較手段の比較により差分値がしきい値を超えた前記隣接異色画素の数が多いほど、前記注目画素が欠陥である可能性を複数段階で示す欠陥状態変数を低く設定して出力する第２の欠陥判定手段と、
   前記第２の欠陥判定手段により設定された前記欠陥状態変数が低いほど、同色周辺画素に対する前記注目画素の出力信号の合成比を大きくして前記注目画素の出力信号を補正する補正手段と、
   を有することを特徴とする撮像装置。
8. 固体撮像素子における欠陥画素を検出して、その出力信号を補正する欠陥検出補正方法において、
   第１の比較手段が、前記固体撮像素子上の注目画素と、前記注目画素の周辺に存在して前記注目画素と同色の色フィルタに対応する複数の同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第１の比較ステップと、
   第１の欠陥判定手段が、前記第１の比較ステップによる比較結果を基に前記注目画素が欠陥であるか否かを仮判定する第１の欠陥判定ステップと、
   第２の比較手段が、前記注目画素に隣接して前記注目画素と異なる色の色フィルタに対応する隣接異色画素と、前記隣接異色画素の周辺に存在して前記隣接異色画素と同色の色フィルタに対応する同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第２の比較ステップと、
   前記第１の欠陥判定ステップにより前記注目画素が欠陥であると仮判定された場合に、第２の欠陥判定手段が、前記第２の比較ステップの比較により差分値がしきい値を超えた前記隣接異色画素の数が多いほど、前記注目画素が欠陥である可能性を複数段階で示す欠陥状態変数を低く設定して出力する第２の欠陥判定ステップと、
   補正手段が、前記第２の欠陥判定ステップにより設定された前記欠陥状態変数が低いほど、同色周辺画素に対する前記注目画素の出力信号の合成比を大きくして前記注目画素の出力信号を補正する補正ステップと、
   を含むことを特徴とする欠陥検出補正方法。
9. 前記第２の欠陥判定ステップでは、前記隣接異色画素のそれぞれについて、前記隣接異色画素とこれに対するあらかじめ決められた複数の同色周辺画素との出力信号の差分値のすべてがしきい値を超えた場合に、前記欠陥状態変数を一定値だけ低下させることを特徴とする請求項８記載の欠陥検出補正方法。
10. 前記第１の比較ステップでは、複数のしきい値を用いて比較を行い、
    前記第１の欠陥判定ステップでは、前記第１の比較ステップにおいて比較対象とされたすべての差分値が、複数のうちのより高いしきい値を超えているほど、前記欠陥状態変数を高く設定することを特徴とする請求項８記載の欠陥検出補正方法。
11. 固体撮像素子における欠陥画素を検出して、その出力信号を補正する処理をコンピュータに実行させる欠陥検出補正プログラムにおいて、
    前記固体撮像素子上の注目画素と、前記注目画素の周辺に存在して前記注目画素と同色の色フィルタに対応する複数の同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第１の比較手段、
    前記第１の比較手段による比較結果を基に前記注目画素が欠陥であるか否かを仮判定する第１の欠陥判定手段、
    前記注目画素に隣接して前記注目画素と異なる色の色フィルタに対応する隣接異色画素と、前記隣接異色画素の周辺に存在して前記隣接異色画素と同色の色フィルタに対応する同色周辺画素との出力信号の差分値を、所定のしきい値と比較する第２の比較手段、
    前記第１の欠陥判定手段により前記注目画素が欠陥であると仮判定された場合に、前記第２の比較手段の比較により差分値がしきい値を超えた前記隣接異色画素の数が多いほど、前記注目画素が欠陥である可能性を複数段階で示す欠陥状態変数を低く設定して出力する第２の欠陥判定手段、
    前記第２の欠陥判定手段により設定された前記欠陥状態変数が低いほど、同色周辺画素に対する前記注目画素の出力信号の合成比を大きくして前記注目画素の出力信号を補正する補正手段、
    として前記コンピュータを機能させることを特徴とする欠陥検出補正プログラム。

Images