JP4385787B2 - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は撮像装置および方法、記録媒体、並びにプログラムに関し、特に、後発画素欠陥による画質劣化をより少なくすることができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。

近年、CCD（Charge Coupled Devices）を用いたデジタルカメラが普及している。

CCDには、画素欠陥（キズ）が生じることがあり、画素欠陥が生じると、CCDから出力される画像の画質が劣化する。この画質の劣化を防止するために画素欠陥の検出および補正を行うのが一般的である。

ここで、カラーの画像を撮像するデジタルカメラにおいて、単版式のCCDの場合、CCDの１画素に対して“Red”、“Green”、または“Blue”のいずれかのカラーフィルタを割り当てることで、カラーフィルタ配列が形成される。

以下、“Red”、“Green”、“Blue”をそれぞれ、“R”、“G”、“B”とも称する。

CCDに用いられるカラーフィルタ配列には種々の配列が用いられており、その１つとして、CCDの画素のある行に“RGRG”を、次の行に“GBGB”を並べる、いわゆるBayer配列といわれる方式がある。

図１乃至図３は、Bayer配列のカラーフィルタ配列を示す例である。

図１は、Bayer配列の、“G”のカラーフィルタが設けられているGreen画素を示す例である。

図１に示す例において、斜線の四角はGreen画素を示し、それ以外の白色の四角はGreen以外の画素を示す。例えば、白色の四角を“W”とした場合、図１で示すカラーフィルタ配列は、１行目は“WGWGWGW”、２行目は“GWGWGWG”、３行目は“WGWGWGW”、４行目は“GWGWGWG”、５行目は“WGWGWGW”となる。

すなわち、斜線の四角で示されるGreen画素は、奇数および偶数行において、互い違いに並ぶように配置される。

また、Green画素に記された“Ａ”、“Ｂ”、または０乃至６の符号は、後述する画素欠陥の判定の説明で使用する。

図２は、Bayer配列の、“B”のカラーフィルタが設けられているBlue画素を示す例である。

図２で示す例において、ひし形の模様の四角はBlue画素を示し、それ以外の白色の四角はBlue以外の画素を示す。例えば、図１と同様に白色の四角を“W”とした場合、図２で示すカラーフィルタ配列は、１行目は“BWBWBWBWB”、２行目は“WWWWWWWWW”、３行目は“BWBWBWBWB”、４行目は“WWWWWWWWW”、５行目は“BWBWBWBWB”となる。

すなわち、ひし形の模様の四角で示されるBlue画素は、図中の奇数行においてBlue画素とBlue以外の画素が交互に並び、偶数行においてBlue以外の画素が並ぶように配置される。

また、Blue画素に記された０乃至６の符号は、後述する画素欠陥の判定の説明で使用する。

図３は、Bayer配列の、“R”のカラーフィルタが設けられているRed画素を示す例である。

図３で示す例において、太斜線の四角はRed画素を示し、それ以外の白色の四角はRed以外の画素を示す。例えば、図１および図２と同様に白色の四角を“W”とした場合、図３で示すカラーフィルタ配列は、１行目は“RWRWRWRWR”、２行目は“WWWWWWWWW”、３行目は“RWRWRWRWR”、４行目は“WWWWWWWWW” 、５行目は“RWRWRWRWR”となる。

すなわち、太斜線の四角で示されるRed画素は、奇数行においてRed画素とRed以外の画素が交互に並び、図中の偶数行においてRed以外の画素が並ぶように配置される。

また、Red画素に記された０乃至６の符号は、後述する画素欠陥の判定の説明で使用する。

図４は、従来の画素欠陥の判定方法を示すグラフである。

図４のグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、画素欠陥の対象となる画素である“検出点”を中心として、“検出点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。

例えば、図４の“検出点”を図１の“３”で示される“Green画素”とした場合、図４の“同色−１”は、図１の“Ａ”で示される“Green画素“となり、図４の“同色＋１”は、図１の“Ｂ”で示される“Green画素“となる。すなわち、“同色−１”、“検出点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。

以下、例えば、図中“３”で示されるGreen画素をGreen画素３、または図中“Ａ”で示されるGreen画素をGreen画素Ａを示すように、図中“α”で示されるGreen画素をGreen画素αと称する。同様に、“β”で示されるBlue画素をBlue画素βと称し、“γ”で示されるRed画素をRed画素γと称する。

従来の画素欠陥の判定方法は、“検出点”の左右に隣接する同色の画素の画素値の平均値と“検出点”の画素値との差が、所定の閾値以上であるか否かを判定することで、画素欠陥を判定していた。

図４で示される例において、“検出点”の左右に隣接する“同色−１”および“同色＋１”から両画素の画素値の平均値が算出され、“検出点”の画素値との差が、所定の閾値以上であるか否かが判定される。

例えば、画素値の平均値は、“同色−１”および“同色＋１” の画素値を結んだ直線が、“検出点”の画素値と交わる点であり、その交わる点と“検出点”の画素値との差が所定の閾値の４０以上であるか否かを判定する。図４で示される例において、画素値の平均値と“検出点”の画素値との差が４０以上であるので、“検出点”が画素欠陥として検出される。

従来は、以上のようにして、“検出点”の画素欠陥が検出される。

また、撮像装置において、その撮像中に画素欠陥の補正を行うとともに欠陥検出を行い、撮像素子について補正すべき欠陥の個数が予め定められた設定範囲内に収まるように、欠陥画素の個数に応じて欠陥検出に係るレベル比較の閾値を可変制御し、記憶手段に、欠陥画素の位置情報と、当該欠陥画素が現フレームの直前のフレームにおいても欠陥画素として検出された場合の検出フレームの数と、当該欠陥画素について直前のフレームにおける補正の有無を示す情報を記憶させて、現フレームで検出された欠陥画素が、その直前のフレームでの当該欠陥画素に係る補正をしたかどうかおよび当該欠陥画素に係る検出フレームの数が多いか少ないかに基づいて、欠陥補正を行うべきか否かを判定する撮像装置がある（例えば、特許文献１参照）。

特開平１４−５１２６６号公報

しかしながら、従来の画素欠陥の検出においては、画素欠陥を“検出点”の左右に隣接する同色の画素の画素値の平均値と“検出点”の画素値との差が、所定の閾値以上であるか否かを基に判定していたため、ある程度急峻なエッジが画素欠陥として誤検出されていた。

また、HPF（High Pass Filter）による高周波検出によって画素欠陥を検出する従来の画素欠陥の検出方式においては、光を遮断するメカニカルシャッタなどを使用して光を遮断して、高周波成分が存在しない一面均一な画像を対象に検出を行わなければならなかった。

また、メカニカルシャッタを有さない安価なデジタルカメラは、工場出荷後に発生した画素欠陥（後発画素欠陥）を検出することができず、画質劣化の要因となっていた。

さらに、メカニカルシャッタを搭載し画素欠陥を検出することができる撮像装置でも、検出後に温度変化または電圧変動などにより、発生した画素欠陥を検出および補正することはできず、画質劣化の要因となっていた。

本発明はこのような状況に鑑みてなされたものであり、高周波成分が存在する画像の撮像中に画素欠陥の検出ができるようにすることを目的とする。その結果、通常の映像を撮像している間も常に画素欠陥の検出および補正を行うことにより、後発画素欠陥にも対応することができるようにし、より高画質な画像を得ることができるようにするものである。

本発明の撮像装置は、固体撮像素子を用いた撮像装置において、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出手段と、画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出手段と、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出手段と、画像データ上の孤立点の位置を示す座標を記憶する記憶手段と、座標を基に、画像データの画素に画素欠陥であることを示す情報を挿入する挿入手段と、画素欠陥であることを示す情報を基に、画素欠陥として孤立点を補正する補正手段とを含むことを特徴とする。

本発明の撮像装置は、孤立点の色と異なる色の画素であって、孤立点に隣接する画素についての傾きを示す値の符号、および傾きを示す値の絶対値を基に、第２の検出手段によって検出された孤立点から、画素欠陥と推定される孤立点をさらに検出する第３の検出手段をさらに含むことを特徴とする。

本発明の撮像装置は、候補の周辺の画素の傾きを基に、候補の検出および孤立点の検出のための閾値を調整する調整手段をさらに含み、第１の検出手段は、調整された閾値を基に、孤立点の候補を検出し、第２の検出手段は、調整された閾値を基に、孤立点を検出することを特徴とする。

本発明の撮像装置は、画像データの１フレームに含まれる孤立点の検出点数の上限および下限を設定する上限下限設定手段と、上限および下限、並びに検出された孤立点の数を基に、次のフレームにおいて候補または孤立点を検出するための閾値を設定する閾値設定手段とを含むことを特徴とする。

第１の検出手段は、画素についての傾きを示す値の符号、傾きを示す値の絶対値、および閾値を基に画素から孤立点の候補を検出することができる。

第２の検出手段は、孤立点の候補の周辺の画素についての傾きを示す値の符号、傾きを示す値の絶対値、および閾値を基に、孤立点の候補から孤立点を検出することができる。

画像データの１フレームにおいて、検出された孤立点の検出点数を基に、上限および下限を調整する調整手段をさらに含むことを特徴とする。

本発明の撮像装置は、画素の孤立点としての検出回数を算出する検出回数算出手段と、孤立点として検出されなかった回数である、画素の消失回数を算出する消失回数算出手段と、検出回数と消失回数との関係を基に、検出回数または消失回数に初期値を設定する回数設定手段とを含むことを特徴とする。

記憶手段は、孤立点の位置を示す座標に対応させて、画素の検出回数および消失回数を記憶し、挿入手段は、画素の検出回数および消失回数を基に、その画素が画素欠陥であることを示す情報を挿入することができる。

本発明の撮像方法は、固体撮像素子を用いた撮像装置の撮像方法において、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップと、画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップと、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップと、画像データ上の孤立点の位置を示す座標の記憶を制御する記憶制御ステップと、座標を基に、画像データの画素に画素欠陥であることを示す情報を挿入する挿入ステップと、画素欠陥であることを示す情報を基に、画素欠陥として孤立点を補正する補正ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、固体撮像素子を用いた撮像処理用のプログラムにおいて、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップと、画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップと、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップと、画像データ上の孤立点の位置を示す座標の記憶を制御する記憶制御ステップと、座標を基に、画像データの画素に画素欠陥であることを示す情報を挿入する挿入ステップと、画素欠陥であることを示す情報を基に、画素欠陥として孤立点を補正する補正ステップとを含むことを特徴とする。

本発明のプログラムは、固体撮像素子を用いた撮像する処理を、コンピュータに行わせるプログラムにおいて、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップと、画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップと、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップと、画像データ上の孤立点の位置を示す座標の記憶を制御する記憶制御ステップと、座標を基に、画像データの画素に画素欠陥であることを示す情報を挿入する挿入ステップと、画素欠陥であることを示す情報を基に、画素欠陥として孤立点を補正する補正ステップとを含むことを特徴とする。

本発明の撮像装置および方法、記憶媒体、並びにプログラムにおいては、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きが抽出され、画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、画素から孤立点の候補が検出され、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点が検出され、画像データ上の孤立点の位置を示す座標の記憶が制御され、座標を基に、画像データの画素に画素欠陥であることを示す情報が挿入され、画素欠陥であることを示す情報を基に、画素欠陥として孤立点が補正される。

本発明によれば、画素欠陥の検出に“検出点”の周辺の画素を使用することで、画素欠陥を、より確実に、より正確に検出することができる。

また、遮光する機能を持ち合わせたデジタルカメラであっても、起動時に毎回画素欠陥を検出すると起動時間が遅くなるので、本発明を用いることで起動時に画素欠陥検出をしなくても撮像しながら画素欠陥を検出して画質劣化を防ぐことができる。

また、光を遮断する機能を有さないデジタルカメラであっても、工場出荷後の後発画素欠陥による画質劣化を防ぐことができる。

さらに、本発明によれば、撮像素子の温度特性または電圧特性に起因する起動中に発生する後発画素欠陥を補正し、画質劣化を防ぐことができる。その結果、後発画素欠陥による画質劣化をより少なくすることができる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図５は、本発明の撮像装置１の一実施の形態の構成を示すブロック図である。

撮像装置１は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付き携帯電話機、撮像機能付きパーソナルコンピュータである。撮像装置１は、固体撮像素子を使用した撮像機能を有するのもであれば、いずれの装置であってもよい。

撮像部１１は、光学レンズ（図示せず）および撮像素子（図示せず）などから構成される。

また、図示していないが、撮像部１１には、必要に応じて、絞り、メカニカルシャッタ、赤外線カットフィルタ、またはローパスフィルタなどが組み合わされて、配置される。

光学レンズは、被写体に反射した光（の像）を集め、集めた光を撮像素子に結像させる。

撮像素子は、例えば、CCDまたはCMOS（Complementary Metal Oxide Semiconductor）センサなどから構成され、光学レンズなどを通して入力された光を光電変換することにより、光をアナログ信号に変換し、変換後に生成されたアナログ信号をＡ/Ｄ変換部（Analog/Digital Converter）１２に供給する。

なお、撮像素子は、CCDまたはCMOSセンサに限らず、画素を単位として画像の信号を生成するものであれば足りる。

Ａ/Ｄ変換部１２は、撮像部１１から供給されたアナログ信号をディジタル信号に変換し、変換により生成されたディジタル信号を画素欠陥処理部１３に供給する。

以下、生成されたディジタル信号を画像データと称する。

画素欠陥処理部１３は、信号処理部１４から供給された画像データを基に、画像データに含まれる画素から孤立点を検出し、画像データに画素の欠陥としての孤立点を示すマーク（以下、画素欠陥マークと称する）を付加し、画素欠陥マークを含む画像データを信号処理部１４に供給する。

ここで、孤立点とは、撮像素子の画素欠陥などにより、周辺の画素とは異なる特性を示す点として検出される画像データ上の画素をいう。

信号処理部１４は、画素欠陥処理部１３から供給された画素欠陥マークが付加された画像データを基に、画像データを補正すると共に、画像データに信号処理を適用して、補正および信号処理をした画像データを記憶部１５に供給する。

記憶部１５は、例えば、RAM（Random Access Memory）、ROM（Read Only Memory）、PROM（Programmable Read Only Memory）、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electronically Erasable and Programmable Read Only Memory）、またはフラッシュメモリなどから構成され、信号処理部１４から供給された画像データを記憶する。

画素欠陥処理部１３は、画素欠陥マーク部２１、画素欠陥検出部２２、および画素欠陥情報記憶部２３を含むように構成される。

画素欠陥マーク部２１は、後述する画素欠陥情報記憶部２３から供給される画素欠陥の座標を基に、Ａ/Ｄ変換部１２から供給される画像データに含まれる画素の孤立点を検出し、検出した孤立点に画素の欠陥を示す情報を挿入し、画素欠陥マークを含む画像データを信号処理部１４に供給する。

ここで、画素欠陥を示す情報は、所定の値のビットからなり、画素値を示す画素データにそのビットが挿入される。例えば、画素データの先頭の２ビットに画素欠陥を示すビットを挿入し、画素データの下位の２ビットを消去するように、画素データの２ビットをビットシフトさせて画素データに画素欠陥を示す情報が挿入される。

信号処理部１４の前で補正をした場合、一度検出した孤立点は、二度目以降補正されてしまい、動的な検出をすることができないが、このように、画素欠陥マーク部２１が、画素に画素欠陥を示す情報を挿入するだけで、実際の補正の処理は後述する補正部３２が行うようにすることで、動的な検出をすることが可能となる。

画素欠陥検出部２２は、信号処理部１４から供給される画像データを基に、画像データに含まれる画素の孤立点を検出し、検出した孤立点の位置を示す座標を画素欠陥情報記憶部２３に供給する。

画素欠陥情報記憶部２３は、例えば、RAM、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリなどから構成され、画素欠陥検出部２２から供給された孤立点の位置を示す座標を記憶する。

信号処理部１４は、ラインバッファ３１、補正部３２、および画像処理部３３を含むように構成される。

ラインバッファ３１は、例えば、FIFO（First In First Out）構造のメモリから構成され、画素欠陥マーク部２１から供給される画像データを基に、画像データを行単位で信号処理する。ラインバッファ３１は、行単位の画像データを補正部３２に供給すると共に、画素欠陥検出部２２に供給する。

画素欠陥検出部２２の画素欠陥の検出の処理においては、画素欠陥の誤検出を防止するために、検出の対象となる画素の周辺画素の情報を必要とするが、周辺画素の情報を取得するために必要な複数のラインバッファは、信号処理部１４でもともと持っているラインバッファ３１を流用するため、大規模なラインメモリの増設を必要としない。

例えば、ラインバッファ３１は５本のラインを持っているが、信号処理部１４は、通常４本のラインバッファを持っており、画素欠陥検出部２２において、５本のラインバッファが必要な場合には、１本のラインバッファを増設すればよい。

補正部３２は、ラインバッファ３１から供給される画素欠陥マークを含む画像データを基に、画素欠陥マークの付された画素を補正し、補正した画像データを画像処理部３３に供給する。

補正部３２の補正処理の方法は、例えば、隣接する画素の画素値の平均値を算出し、その平均値を孤立点の画素値として置換してもよいし、隣接する画素の画素値を、そのまま孤立点の画素値として置換してもよい（いわゆる、前値ホールド）。

また、補正処理の方法は、上述した例に限定されるものではない。

画像処理部３３は、例えば、CPU（Central Processing Unit）またはDSP（Digital Signal Processor）などから構成され、補正部３２から供給される補正された画像データを基に、画像データに画像信号処理を実行し、画像信号処理をした画像データを記憶部１５に供給する。

ここで、画像信号処理は、画像データのエッジを強調するなどして、画像データを最適化する処理を実行する。

画素欠陥検出部２２は、傾き抽出部４１および画素欠陥判定部４２を含むように構成される。

傾き抽出部４１は、ラインバッファ３１から供給された画像データを基に、隣接する同色の画素同士の画素値の傾きを抽出し、抽出した傾きを画素欠陥判定部４２に供給する。例えば、傾き抽出部４１は、ラインバッファ３１から供給された画像データを基に、隣接する同色の画素同士の画素値の差分を、画素値の傾きとして抽出する。

画素欠陥判定部４２は、傾き抽出部４１から供給された画像データに含まれる画素の傾きを基に、画素の孤立点の判定をし、孤立点であると判定された画素の位置を示す座標を画素欠陥情報記憶部２３に供給する。

画素欠陥判定部４２は、さらに、孤立点候補検出部５１、孤立点検出部５２、および孤立点推定部５３を含むように構成される。

孤立点候補検出部５１は、傾き抽出部４１から供給された傾きを示す値の符号および傾きを示す値の絶対値を基に、画像データに含まれる孤立点の候補を検出し、検出した孤立点の候補を孤立点検出部５２に供給する。

孤立点検出部５２は、孤立点候補検出部５１から供給された孤立点の候補、並びに孤立点の候補の周辺の画素の傾きを示す値の符号および傾きを示す値の絶対値を基に、孤立点の候補に含まれる孤立点を検出し、検出した孤立点を孤立点推定部５３に供給する。

孤立点推定部５３は、孤立点検出部５２から供給された孤立点、並びに孤立点の色と異なる色の画素であって、孤立点に隣接する画素の傾きを示す値の符号および傾きを示す値の絶対値を基に、孤立点に含まれる画素欠陥と推定される孤立点を検出し、検出した画素欠陥と推定される孤立点の位置を示す座標を画素欠陥情報記憶部２３に供給する。

次に、同色の隣接する画素同士の画素値の傾きの検出について、図６を参照して説明する。

図６は、画素欠陥検出部２２の詳細を示すブロック図である。

画素欠陥検出部２２は、傾き抽出部４１および画素欠陥判定部４２を含むように構成される。

さらに、傾き抽出部４１には、ラインバッファ３１から画像データを行単位で入力される。図中のラインＬ１乃至Ｌ５は、それぞれ、画像データの各行を示す。例えば、図６のラインＬ１は、図１中の１行目の画素からなり、ラインＬ２は、図１中の２行目の画素からなり、同様にラインＬ３乃至Ｌ５は、それぞれ、図１中の３行目乃至５行目のそれぞれの画素からなる。

遅延素子１０１−１−１は、ラインバッファ３１より供給される画像データのラインＬ１の画素１画素分遅延させて、遅延した画素（以下、画素ｎと称する）を遅延素子１０１−１−２および差分検出部１０２−１に供給する。

ここで、遅延素子１０１−１−１は、画像データを遅延させる素子、いわゆる遅延素子であり、例えば、ＤフリップフロップまたはＤラッチなどから構成される。同様に、後述する遅延素子１０１−１−２、遅延素子１０１−１−３、および遅延素子１０３−１−１乃至１０３−１−７もＤフリップフロップまたはＤラッチなどから構成される。

さらに、後述する遅延素子１０１−２−１乃至遅延素子１０１−５−３、および遅延素子１０３−２−１乃至１０３−５−７もＤフリップフロップまたはＤラッチなどから構成される。

遅延素子１０１−１−２は、遅延素子１０１−１−１から供給された画素を１画素分遅延させて、遅延した画素（以下、画素ｎ−１と称する）を遅延素子１０１−１−３に供給する。

遅延素子１０１−１−３は、遅延素子１０１−１−２から供給された画素を１画素分遅延させて、遅延した画素（以下、画素ｎ−２と称する）を差分検出部１０２−１に供給する。

したがって、差分検出部１０２には、画像データのラインＬ１の画素が１画素分遅延された画素ｎと、画素データのラインＬ１の画素が３画素分遅延された画素ｎ−２とが供給されることになる。

差分検出部１０２−１は、遅延素子１０１−１−１から供給される画素ｎおよび遅延素子１０１−１−３から供給される画素ｎ−２を基に、画素ｎと画素ｎ−２との画素値の差分を画素値の傾きとして検出し、検出した傾きを遅延素子１０３−１−１に供給する。

ここで、画素値の傾きとして、同色の隣接する画素同士の傾きが検出される。すなわち、同色の画素の傾きを検出するために、遅延素子１０１−１−１乃至１０１−１−３により画素が遅延される。例えば、図１のBayer配列のGreen画素において、Green画素ＡとGreen画素３との傾きまたはGreen画素３とGreen画素Ｂとの傾きなどを検出するために画素が遅延される。

遅延素子１０３−１−１は、差分検出部１０２−１から供給される傾きを１画素分遅延させて、１画素分遅延した傾き（以下、傾きｎと称する）を遅延素子１０３−１−２および画素欠陥判定部４２に供給する。

遅延素子１０３−１−２は、遅延素子１０３−１−１から供給される傾きｎを１画素分遅延させて、２画素分遅延した傾き（以下、傾きｎ−１と称する）を遅延素子１０３−１−３および画素欠陥判定部４２に供給する。

遅延素子１０３−１−３は、遅延素子１０３−１−２から供給される傾きｎ−１を１画素分遅延させて、３画素分遅延した傾き（以下、傾きｎ−２と称する）を遅延素子１０３−１−４および画素欠陥判定部４２に供給する。

遅延素子１０３−１−４は、遅延素子１０３−１−３から供給される傾きｎ−２を１画素分遅延させて、４画素分遅延した傾き（以下、傾きｎ−３と称する）を遅延素子１０３−１−５および画素欠陥判定部４２に供給する。

遅延素子１０３−１−５は、遅延素子１０３−１−４から供給される傾きｎ−３を１画素分遅延させて、５画素分遅延した傾き（以下、傾きｎ−４と称する）を遅延素子１０３−１−６および画素欠陥判定部４２に供給する。

遅延素子１０３−１−６は、遅延素子１０３−１−５から供給される傾きｎ−４を１画素分遅延させて、６画素分遅延した傾き（以下、傾きｎ−５と称する）を遅延素子１０３−１−７および画素欠陥判定部４２に供給する。

遅延素子１０３−１−７は、遅延素子１０３−１−６から供給される傾きｎ−５を１画素分遅延させて、７画素分遅延した傾き（以下、傾きｎ−６と称する）を画素欠陥判定部４２に供給する。

すなわち、画素欠陥判定部４２には、それぞれ１画素分乃至７画素分遅延された、７つの傾きが供給されることになる。

遅延素子１０１−２−１乃至１０１−２−３、差分検出部１０２−２、および遅延素子１０３−２−１乃至１０３−２−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ２について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。

遅延素子１０１−３−１乃至１０１−３−３、差分検出部１０２−３、および遅延素子１０３−３−１乃至１０３−３−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ３について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。

遅延素子１０１−４−１乃至１０１−４−３、差分検出部１０２−４、および遅延素子１０３−４−１乃至１０３−４−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ４について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。

遅延素子１０１−５−１乃至１０１−５−３、差分検出部１０２−５、および遅延素子１０３−５−１乃至１０３−５−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ５について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。

このように、画素欠陥判定部４２には、ラインＬ１乃至ラインＬ５のそれぞれについて、それぞれ１画素分乃至７画素分遅延された、７つの傾きが供給されることになる。

すなわち、傾き抽出部４１は、ラインＬ１乃至Ｌ５より供給される画像データを基に、同色の隣接する画素同士の画素値の傾きを抽出し、抽出した傾きを画素欠陥判定部４２に供給する。

以下、複数のラインの複数の画素についての画素値の傾きを、画素の特徴量とも称する。

画素欠陥判定部４２の孤立点候補検出部５１、孤立点検出部５２、および孤立点推定部５３は、画素の特徴量に含まれる、ラインＬ１の傾きｎ乃至ｎ−６、ラインＬ２の傾きｎ乃至ｎ−６、ラインＬ３の傾きｎ乃至ｎ−６、ラインＬ４の傾きｎ乃至ｎ−６、およびラインＬ５の傾きｎ乃至ｎ−６を基に、後述する画素欠陥検出の処理を実行する。

なお、同色の隣接する画素同士の画素値の傾きの抽出は、例えば、Bayer配列の場合、図１乃至図３に示すGreen画素、Blue画素、およびRed画素について、それぞれ実行される。

図７は、Bayer配列のGreen画素の傾きの抽出を示す図である。

図７で示される例において、格子状の編目に交わった点上の円中に“Ｇ”の文字が記されている円はGreen画素を示し、濃色のGreen画素は、図１のBayer配列のGreen画素０乃至６と同様の配置となっている。

また、横方向のラインにおける、１行目のラインは、図６のラインＬ１に対応し、同様に、２行目乃至５行目のラインは、それぞれ、図６のラインＬ２乃至Ｌ５に対応する。すなわち、図７において、１行目のライン（ラインＬ１）の、“Ｇ”の文字が記されている画素は、図１のGreen画素１に対応し、図７において、２行目のライン（ラインＬ２）の左側の、“Ｇ”の文字が記されている画素は、図１のGreen画素０に対応し、図７において、２行目のラインの、右側の“Ｇ”の文字が記されている画素は、図１のGreen画素２に対応する。

同様に、図７において、３行目のライン（ラインＬ３）の、“Ｇ”の文字が記されている画素は、図１のGreen画素３に対応し、図７において、４行目のライン（ラインＬ４）の左側の、“Ｇ”の文字が記されている画素は、図１のGreen画素４に対応し、図７において、４行目のラインの、右側の、“Ｇ”の文字が記されている画素は、図１のGreen画素６に対応する。また、図７において、５行目のライン（ラインＬ５）の、右側の、“Ｇ”の文字が記されている画素は、図１のGreen画素５に対応する。

以下、図１のBayer配列のGreen画素も参照しながら説明する。

Bayer配列のGreen画素は、奇数および偶数行において、上下方向に互い違いに並ぶようになっており、図７に示すように、奇数行である、１行目のライン、３行目のライン、および５行目のラインのGreen画素は、水平方向に１画素の間隔で並んでいる。また、偶数行である、２行目のラインおよび４行目のラインのGreen画素は、水平方向に１画素の間隔で並んでいる。

上述したように、それぞれ水平方向に隣り合うGreen画素同士で傾きが抽出される。図７中の“傾き”とは、それぞれ水平方向に隣り合うGreen画素同士の傾きを示す。例えば、図１のGreen画素３の傾きとして、Green画素ＡおよびGreen画素３、並びにGreen画素３およびGreen画素Ｂの傾きが抽出される。

例えば、Green画素３について、孤立点を検出する場合、Green画素３の傾きとして、Green画素ＡおよびGreen画素３、並びにGreen画素３およびGreen画素Ｂの傾きが抽出され、Green画素３の傾きが孤立点の候補の特徴を備えているとき、Green画素３の周辺の画素として、Green画素０、Green画素１、Green画素２、Green画素４、Green画素５、およびGreen画素６について、傾きが抽出される。Green画素０、Green画素１、Green画素２、Green画素４、Green画素５、およびGreen画素６の傾きを基に、Green画素３が孤立点であるかが判定される。

さらに、図示は省略するが、Green画素３について、孤立点を検出する場合、Green画素３の隣接する画素および周辺の画素であって、異なる色の画素である、Blue画素またはRed画素について、傾きが抽出される。

以上のように、傾き抽出部４１は、同色の隣接する画素同士の画素値の傾きを抽出する。例えば、Bayer配列のGreen画素の場合、図７に示すような関係で傾きが抽出される。

図８は、撮像素子の動的欠陥検出を説明するフローチャートである。

ステップＳ１において、撮像部１１は、被写体を撮像することで画像を取り込み、撮像した被写体の画像のアナログ信号をＡ/Ｄ変換部１２に供給する。

ステップＳ２において、Ａ/Ｄ変換部１２は、撮像部１１から供給された画像のアナログ信号をディジタル信号である画像データに変換する。Ａ/Ｄ変換部１２は、変換により生成されたディジタル信号である画像データを画素欠陥マーク部２１に供給する。

ステップＳ３において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の座標データを取得し、取得した座標データおよびＡ/Ｄ変換部１２から供給された画像データを基に、画素欠陥判定の処理を実行する。画素欠陥判定の処理の詳細は図９を参照して後述する。

画素欠陥マーク部２１は、画素欠陥判定の処理の結果得られた画素欠陥を示す情報（マーク）を含む画像データをラインバッファ３１に供給する。

ステップＳ４において、ラインバッファ３１は、画素欠陥マーク部２１から供給された画素欠陥を示す情報を含む画像データを、順に記憶し、記憶した順に、補正部３２および傾き抽出部４１に供給する。例えば、５本のラインを有するラインバッファ３１の場合、画像データが５ライン（ラインＬ１乃至Ｌ５）毎であって、画素毎に、補正部３２および傾き抽出部４１に供給される。

ステップＳ５において、画素欠陥検出部２２は、ラインバッファ３１から供給された画像データを基に、画素欠陥検出の処理を実行する。撮像素子の画素欠陥を示す画像データの孤立点が検出された場合、画素欠陥情報記憶部２３は、孤立点を示す座標を記憶する。画素欠陥検出の処理の詳細は図１１を参照して後述する。

ステップＳ６において、補正部３２は、ラインバッファ３１から供給された画素欠陥を示す情報を含む画像データを基に、画像データに含まれるマークされた画素を補正する。

補正部３２は、補正した画像データを画像処理部３３に供給する。

ステップＳ７において、画像処理部３３は、補正部３２から供給された画像データを基に、ホワイトバランスの処理、ゲイン調整の処理、またはノイズ除去の処理などの画像処理を実行し、画像処理した画像データを記憶部１５に供給する。

ステップＳ８において、記憶部１５は、画像処理部３３から供給される画像データを自分に記憶し、処理は終了する。

図８のステップＳ３に対応する、画素欠陥判定の処理の詳細について、図９のフローチャートを参照して説明する。

ステップＳ１０１において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の座標データを読み出す。

図１０は、孤立点の座標データの例を示す図である。

図１０で示される孤立点の座標データの例において、孤立点である座標の位置を示す、“座標”が格納されている。すなわち、孤立点の座標データには、画素欠陥検出部２２により検出された孤立点の座標が格納されている。

例えば、図１０で示される孤立点の座標データの例において、“１”である番号に対して、１番目の孤立点である画素の“（ｘ１，ｙ１）”である座標が記録されている。また、“２”である番号に対して、２番目の孤立点である画素の“（ｘ２，ｙ２）”である座標が記録されている。また、“３”である番号に対して、３番目の孤立点である画素の“（ｘ３，ｙ３）”である座標が記録されている。さらに、“４”である番号に対して、４番目の孤立点である画素の“（ｘ４，ｙ４）”である座標が記録されている。

このように、孤立点の座標データには、画素欠陥検出部２２により検出された孤立点のそれぞれに対して、孤立点の座標が格納されている。

例えば、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の座標データをすべて読み出し、一時的に画素欠陥マーク部２１に備えるバッファなどに孤立点の座標データを記憶し、その記憶した孤立点の座標データを基に、後述するステップＳ１０２の処理を実行する。

また、孤立点の座標データの読み出しの処理は、上述した例に限定されるものではない。例えば、孤立点の座標データを画素欠陥情報記憶部２３から適宜読み出して、後述するステップＳ１０２の処理を実行するようにしてもよい。

ステップＳ１０２において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３から読み出した座標データを基に、画素欠陥を示す座標データが含まれるか否か判定する。

ステップＳ１０２において、画素欠陥を示す座標データが含まれると判定された場合、ステップＳ１０３に進み、画素欠陥マーク部２１は、座標データで示される位置の画素の画素データに画素欠陥を示す情報を挿入して、画素欠陥を示す情報を含む画像データをラインバッファ３１に供給する。

画素欠陥を示す情報は、通常の画素値を示す画素データに現れるパターンと異なる、所定のビット数の所定のパターンからなり、例えば、画素データ、そのパターンのビットを挿入することで画素がマークされる。

一方、ステップＳ１０２において、画素欠陥を示す座標データが含まれないと判定された場合、ステップＳ１０３の処理はスキップされ、画像データのみがラインバッファ３１に供給され、処理は終了する。

このように、画素欠陥マーク部２１は、画素に画素欠陥を示す情報をマークをするのみで、補正は、補正部３２が実行するようにすることで、画素欠陥を動的に検出することが可能となる。

図８のステップＳ５に対応する、画素欠陥検出の処理の詳細について、図１１のフローチャートを参照して説明する。

ステップＳ２０１において、傾き抽出部４１は、ラインバッファ３１から供給される画像データを基に、画像データに含まれる画素の特徴量を抽出する。

ステップＳ２０２において、画素欠陥判定部４２の孤立点候補検出部５１は、傾き抽出部４１から供給される画素の特徴量を基に、孤立点の候補を検出する。例えば、ステップＳ２０２において、孤立点候補検出部５１は、傾き抽出部４１から供給される画素の特徴量を基に、検出の対象である画素の傾きから、孤立点の候補を検出する。孤立点候補の検出の処理の詳細は後述する。

孤立点候補検出部５１は、孤立点候補の検出の処理の結果得られた、孤立点の候補を孤立点検出部５２に供給する。

ステップＳ２０３において、画素欠陥判定部４２の孤立点検出部５２は、傾き抽出部４１から供給される画素の特徴量および孤立点候補検出部５１から供給される孤立点の候補を基に、孤立点を検出する。例えば、ステップＳ２０３において、孤立点検出部５２は、傾き抽出部４１から供給される画素の特徴量および孤立点候補検出部５１から供給される孤立点の候補を基に、検出の対象である画素の周辺の画素であって、検出の対象である画素と同色の画素の傾きによって、孤立点の候補から孤立点を検出する。孤立点の検出の処理の詳細は後述する。

孤立点検出部５２は、孤立点の検出の処理の結果得られた、孤立点を示す情報を孤立点推定部５３に供給する。

ステップＳ２０４において、画素欠陥判定部４２の孤立点推定部５３は、傾き抽出部４１から供給される画素の特徴量および孤立点検出部５２から供給される孤立点を基に、画素欠陥と推定される孤立点を検出する。例えば、ステップＳ２０４において、孤立点推定部５３は、傾き抽出部４１から供給される画素の特徴量および孤立点検出部５２から供給される孤立点を基に、検出の対象である画素の周辺の画素であって、検出の対象である画素と異なる色の画素の傾きによって、孤立点から、さらに画素欠陥と推定される孤立点を検出する。画素欠陥と推定される孤立点の検出の処理の詳細は後述する。

孤立点推定部５３は、画素欠陥と推定される孤立点の検出の処理の結果得られた、画素欠陥と推定される孤立点の位置を示す座標を画素欠陥情報記憶部２３に供給する。

なお、ステップＳ２０１乃至Ｓ２０４の処理を順次説明したが、実際の処理においては、ステップＳ２０１乃至Ｓ２０４の処理は、同時（並列）に実行される。

ステップＳ２０５において、画素欠陥情報記憶部２３は、孤立点推定部５３から供給される画素欠陥と推定される孤立点の位置を示す座標を自分に記憶して、処理は終了する。

図１１のステップＳ２０２に対応する、孤立点の候補の検出の処理の詳細について、図１２のフローチャートを参照して説明する。

ステップＳ３０１において、孤立点候補検出部５１は、検出の対象である画素について、同色の隣接する画素同士の画素の画素値の傾きを示す値の符号が異なり、かつ画素値の傾きを示す値の絶対値はスレッショルド以上であるか否かを判定する。

ここで、スレッショルドとは、いわゆる閾値である。

ステップＳ３０１において、同色の隣接する画素同士の画素の特徴量に含まれる傾きを示す値の符号が異なり、かつ画素の特徴量に含まれる傾きを示す値の絶対値はスレッショルド以上であると判定された場合、ステップＳ３０２に進み、孤立点候補検出部５１は、判定された画素を孤立点の候補として検出し、処理は終了する。

このように、ステップＳ３０１の条件により孤立点の候補の判定をするため、例えば、単なる急峻なエッジは、片方の傾きを示す値の絶対値の値が小さく、スレッショルド以下となるため、孤立点の候補としての特徴を備えていないため、誤検出を防ぐことができる。

次に、図１３および図１４を参照して、ステップＳ３０１における、孤立点の候補の判定について説明する。

図１３は、隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。

図１３のグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、画素欠陥の対象となる画素である“検出点”を中心として、“検出点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。

図１３の“検出点”を図１の“Green画素３”とした場合、図１３の“同色−１”は、図１の“Green画素Ａ“となり、図１３の“同色＋１”は、図１の“Green画素Ｂ“となる。すなわち、“同色−１”、“検出点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。

図１３のグラフの“同色−１”の画素値と“検出点”の画素値との傾きを示す値の符号は“正”であり、“検出点”の画素値と“同色＋１”の画素値との傾きを示す値の符号は“負”であるので、傾きを示す値の符号が異なる。

傾きを示す値の符号が“正”である場合、傾きを示す直線は右上がりとなる。また、傾きを示す値の符号が“負”である場合、傾きを示す直線は右下がりとなる。

また、“同色−１”と“検出点”と傾きを示す値の絶対値は、スレッショルド以上であり、“検出点”と“同色＋１”と傾きを示す値の絶対値の差は、スレッショルド以上である。

したがって、ステップＳ３０１の条件を満たすので、ステップＳ３０２において、図１３の“検出点”は、孤立点の候補として検出される。

図１４は、隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。

図１４の縦および横方向の軸は、図１３と同様でありその説明は省略する。

図１４のグラフの“同色−１”の画素値と“検出点”の画素値との傾きを示す値の符号は“負”であり、“検出点”の画素値と“同色＋１”の画素値との傾きを示す値の符号は“負”であるので、傾きを示す値の符号が同一となる。

したがって、ステップＳ３０１の条件を満たさないので、図１４の“検出点”は、孤立点の候補として検出されない。

次に、図１５を参照して、ステップＳ３０１において、孤立点の候補であると判定されるパターンについて説明する。

図１５は、孤立点の候補であると判定されるパターンを示すグラフである。

図１５Ａおよび図１５Ｂのグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、“検出点”を中心として、“検出点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。

また、図１５Ａおよび図１５Ｂの“検出点”を図１の“Green画素３”とした場合、図１５Ａおよび図１５Ｂの“同色−１”は、図１の“Green画素Ａ“となり、図１５Ａおよび図１５Ｂの“同色＋１”は、図１の“Green画素Ｂ“となる。すなわち、“同色−１”、“検出点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。

図１５Ａのグラフの“同色−１”と“検出点”との画素値の傾きを示す値の符号は“正”（傾きを示す直線は右上がり）であり、“検出点”と“同色＋１”との画素値の傾きを示す値の符号は“負”（右下がり）である。また、“検出点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“検出点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。

したがって、ステップＳ３０１において、図１５Ａの“検出点”は、孤立点の候補として判定される。

すなわち、孤立点の候補として判定されるパターンとして、図１５Ａに示されるように逆Ｖ字型（山型）の線１５１で表されるパターン（以下、逆Ｖ字型パターンと称する）がある。図１５Ａに示されるパターンは、例えば“白点”として検出される。

図１５Ｂのグラフの“同色−１”と“検出点”との画素値の傾きを示す値の符号は“負”（傾きを示す直線は右下がり）であり、“検出点”と“同色＋１”との画素値の傾きを示す値の符号は“正”（傾きを示す直線は右上がり）である。また、“検出点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“検出点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。

したがって、ステップＳ３０１において、図１５Ｂの“検出点”は、孤立点の候補として判定される。

すなわち、孤立点の候補として判定されるパターンとして、図１５Ｂに示されるようにＶ字型（谷型）の線１５２で表されるパターン（以下、Ｖ型パターンと称する）がある。図１５Ｂに示されるパターンは、例えば“黒点”として検出される。

以上のように、孤立点の候補として判定されるのは、逆Ｖ字型の線１５１で表されるパターンまたはＶ字型の線１５２で表されるパターンが現れる場合である。

ここで、孤立点の候補でも、周辺の画素の画素値によっては、孤立点とならない場合があり、その孤立点とならないパターンを図１６乃至図１８を参照して説明する。

図１６は、１画素の幅の縦の線の画像における孤立点の候補を含む画素のパターンを示す図である。

図１６の３次元の縦および横方向は、画像の方向を示し、縦横の平面上にある四角柱は、それぞれ、同色の画素を示す。また、３次元の高さ方向は、四角柱で示される画素の画素値を示し、高い四角柱ほど明るい画素であることを示す。図１６中の線Ａは、１画素の幅の縦の線である。

画素２０１乃至２０９は、同色の画素を示す。また、画素２０２と画素２０１との画素値の差は、スレッショルド以上であり、画素２０２と画素２０３との画素値の差もスレッショルド以上である。また、画素２０５と画素２０４との画素値の差は、スレッショルド以上であり、画素２０５と画素２０６との画素値の差もスレッショルド以上である。さらに、画素２０８と画素２０７との画素値の差は、スレッショルド以上であり、画素２０８と画素２０９との画素値の差もスレッショルド以上である。

ここで、画素２０５を“検出点”とした場合、隣接する同色の画素である画素２０４および画素２０６との関係において、孤立点の候補の検出をしたとき、画素２０５と画素２０４との傾きの符号は“負”であり、かつ画素値の差（の絶対値）は、スレッショルド以上である。また、画素２０５と画素２０６との傾きの符号は、“正”であり、かつ画素値の差（の絶対値）は、スレッショルド以上であるので、画素２０５は、上述したように、孤立点の候補として検出される。

しかし、１画素の幅の縦の線を撮像した画像であるから、画素２０５が孤立点の候補であると検出された場合でも、画素２０５は、孤立点とすべきではない。このような場合、画素２０５の周辺の画素である画素２０２および画素２０８において、図１５Ｂを参照して説明した、Ｖ字型の線１５２で表されるパターンが現れる。

次に、図１７は、１画素の幅の斜めの線の画像における孤立点の候補を含む画素のパターンを示す図である。

図１７の３次元の縦、横、および高さ方向の軸、並びに四角柱は、図１６と同様でありその説明は適宜省略する。図１７中の線Ａは、１画素の幅の斜めの線である。

画素２２１乃至２２９は、同色の画素を示し、図中の画素値の低い画素（画素２２３、画素２２５、および画素２２７）は、一次候補の孤立点を示す。

ここで、画素２２５を“検出点”とした場合、画素２２５は、孤立点の候補として検出される。

図１７で示される場合も、１画素の幅の斜めの線を撮像した画像であるから、画素２２５は、孤立点とすべきではない。このような場合、画素２２５の周辺の画素である画素２２３および画素２２７において、図１５Ｂを参照して説明した、Ｖ字型の線１５２で表されるパターンが現れる。

そこで、孤立点の候補であると検出された場合でも、周辺の画素において、図１５Ａまたは図１５Ｂを参照して説明した、逆Ｖ字型の線１５１で表わされるパターンまたはＶ字型の線１５２で表わされるパターンが現れたとき、その候補は孤立点とされない。

次に、図１８は、線の幅が一定ではなく、ある画素で線が交差している線の画像における孤立点の候補を含む画素のパターンを示す図である。

図１８の３次元の縦、横、および高さ方向の軸、並びに四角柱は、図１６および図１７と同様でありその説明は適宜省略する。図１８中の線Ａは、線の幅が一定ではなく、ある画素で線が交差している線である。

画素２４１乃至２５５は、同色の画素を示し、画素２４８は、孤立点の候補として検出される。なお、図中には、画素２４８は表されていないが、画素２４７と画素２４９との間の太線Ａに隠れた箇所に、画素２４８が配置されている。

図１８で示される場合も、線の幅が一定ではなく、ある画素で線が交差している線の画像であるから、画素２４８は、孤立点とすべきではない。すなわち、図１８から、孤立点の候補であると検出された場合でも、周辺の画素において、所定のパターンが現れたとき、その候補は孤立点とすべきではないことがわかる。

以上のように、例えば、１画素の幅の縦の線、１画素の幅の斜めの線、および線の幅が一定ではなく、ある画素で線が交差している線を撮像した画像から、正常な画素を誤って孤立点として検出しないようにするため、孤立点の候補から、周辺画素の傾きを基に、孤立点が検出される。

図１１のステップＳ２０３に対応する、孤立点の検出の処理の詳細について、図１９のフローチャートを参照して説明する。

ステップＳ４０１において、画素欠陥判定部４２の孤立点検出部５２は、上述したように、候補に対する周辺画素を選択する。

例えば、図１中のGreen画素３が候補である場合、孤立点検出部５２は、Green画素０、Green画素１、Green画素２、Green画素４、Green画素５、およびGreen画素６である周辺画素を選択する。

例えば、図２中のBlue画素３が候補である場合、孤立点検出部５２は、Blue画素０、Blue画素１、Blue画素２、Blue画素４、Blue画素５、およびBlue画素６である周辺画素を選択する。また、例えば、図３中のRed画素３が候補である場合、孤立点検出部５２は、Red画素０、Red画素１、Red画素２、Red画素４、Red画素５、およびRed画素６である周辺画素を選択する。

ステップＳ４０２において、孤立点検出部５２は、選択した周辺画素の傾きをパターンに分類する。

図２０は、周辺画素の傾きのパターン示す図である。

図２０Ａおよび図２０Ｂのグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、周辺画素である“周辺点”を中心として、“周辺点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。

また、図２０Ａおよび図２０Ｂの“周辺点”を図１の“Green画素１”とした場合、図２０Ａおよび図２０Ｂの“同色−１”は、図１の“Green画素１“の左側の斜線の四角で示される画素となり、図２０Ａおよび図２０Ｂの“同色＋１”は、図１の“Green画素１“の右側で示される画素となる。すなわち、“同色−１”、“周辺点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。

図２０Ａのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“正”（傾きを示す直線は右上がり）であり、“周辺点”と“同色＋１”との画素値の傾きの符号は“負”（傾きを示す直線は右下がり）である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。

すなわち、図２０Ａの“周辺点”の傾きのパターンは、逆Ｖ字型（山型）の線３０１となり、逆Ｖ字型のパターンである。

図２０Ｂのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“負”（傾きを示す直線は右下がり）であり、“周辺点”と“同色＋１”との画素値の傾きの符号は“正”（傾きを示す直線は右上がり）である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。

すなわち、図２０Ｂの“周辺点”の傾きのパターンは、Ｖ字型（谷型）の線３０２となり、Ｖ字型のパターンである。

ここで、周辺画素（“周辺点”）の特徴を検出する場合のスレッショルドは、“検出点”を検出する場合のスレッショルドと同じでもよく、または“検出点”を検出する場合よりも低く設定することができる。例えば、周辺画素のスレッショルドを“検出点”のスレッショルドの１／４に設定することができる。

このように、“周辺点”を検出する場合、スレッショルドを低く設定することで、“周辺点”が検出されやすくなるので、“検出点”の検出の感度をよくすることができる。

図２１は、周辺画素の傾きの他のパターンを示す図である。

図２１の縦および横方向の軸は、図２０と同様でありその説明は省略する。

図２１Ａのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“正”であり、“周辺点”と“同色＋１”との画素値の傾きが“０”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、“０”である。

したがって、図２１Ａの周辺画素の傾きのパターンは、線３２１で表わされるパターン（以下、右屋根パターンと称する）に分類される。

図２１Ｂのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“正”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“正”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値もスレッショルド以上である。

したがって、図２１Ｂの周辺画素の傾きのパターンは、線３２２で表されるパターン（以下、右上がりパターンと称する）に分類される。

図２１Ｃのグラフの“同色−１”と“周辺点”との画素値の傾きは“０”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“正”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、“０”であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、スレッショルド以上である。

したがって、図２１Ｃの周辺画素の傾きのパターンは、線３２３で表されるパターン（以下、左底パターンと称する）に分類される。

図２１Ｄのグラフの“同色−１”と“周辺点”との画素値の傾きは“０”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“正”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、“０”であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、スレッショルド以上である。

したがって、図２１Ｄの周辺画素の傾きのパターンは、線３２４で表されるパターン（以下、左屋根パターンと称する）に分類される。

図２１Ｅのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“負”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“負”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値もスレッショルド以上である。

したがって、図２１Ｅの周辺画素の傾きのパターンは、線３２５で表されるパターン（以下、左上がりパターンと称する）に分類される。

図２１Ｆのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“負”であり、“周辺点”と“同色＋１”との画素値の傾きは“０”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、“０”である。

したがって、図２１Ｆの傾きのパターンは、線３２６で表されるパターン（以下、右底パターンと称する）に分類される。

以上のように、周辺画素の傾きのパターンが分類される。なお、図２０または図２１のいずれのパターンにも分類されない場合、周辺画素の傾きのパターンは、該当パターン無しとされる。

このように、ステップＳ４０２において、孤立点検出部５２は、周辺画素の傾きをパターンに分類する。

ステップＳ４０３において、孤立点検出部５２は、周辺画素の傾きのパターンが、縦または斜めの線の画像におけるパターンの組み合わせの１つに該当するか否かを判定する。

図２２は、１つのラインに１つの周辺画素が存在する場合の、縦の線の画像における周辺画素の傾きのパターン（の組み合わせ）を示す図である。

点線４０１は、候補周辺のラインであり、点線４０１の中の四角は、画像データに含まれる画素を示す。

１つのラインに１つの周辺画素が存在する場合の、縦の線の画像における周辺画素の傾きのパターンは、線３０１で示される逆Ｖ字パターンか、または、線３０２で示されるＶ型パターンである。

以下、図２３乃至図２６を参照して、１つのラインに複数の周辺画素が存在する場合の、斜めの線の画像における周辺画素の傾きのパターン（の組み合わせ）を説明する。

図２３の点線４１１は、候補周辺のラインであり、点線４１１の中の四角は、画像データに含まれる画素を示す。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンが、線３０１で示される逆Ｖ字型パターンとなる組み合わせがある。すなわち、候補の周辺のラインのいずれかの画素に逆Ｖ字型パターンが現れる場合が該当する。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２の組み合わせは、点線４１２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりのパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりのパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第３の組み合わせは、点線４１３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第４の組み合わせは、点線４１４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第５の組み合わせは、点線４１５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。

図２４の点線４３１は、候補の周辺のラインであり、点線４３１の中の四角は、画像データに含まれる画素を示す。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第６の組み合わせは、候補の周辺のラインのいずれかの画素における傾きのパターンが、線３０２で示されるＶ字型パターンとなる組み合わせがある。すなわち、候補の周辺のラインのいずれかの画素にＶ字型パターンが現れる場合が該当する。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第７の組み合わせは、点線４３２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第８の組み合わせは、点線４３３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第９の組み合わせは、点線４３４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１０の組み合わせは、点線４３５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。

図２５の点線４５１は、候補の周辺のラインであり、点線４５１の中の四角は、画像データに含まれる画素を示す。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１の組み合わせは、候補の周辺のラインのいずれかの画素における傾きのパターンが、線３０１で示される逆Ｖ字型パターンとなる組み合わせである。すなわち、候補の周辺のラインのいずれかの画素に逆Ｖ字型パターンが現れる場合が該当する。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２の組み合わせは、点線４５２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

図２５および図２６において、黒い四角は、傾きのパターンが、任意のパターンであることを示す。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第３の組み合わせは、点線４５３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第４の組み合わせは、点線４５４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第５の組み合わせは、点線４５５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第６の組み合わせは、点線４５６で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第７の組み合わせは、点線４５７で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第８の組み合わせは、点線４５８で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第９の組み合わせは、点線４５９で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１０の組み合わせは、点線４６０で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。

ここで、平らパターンとは、傾きを示す値の絶対値のいずれもスレッショルド未満であるパターンである。図２５および図２６において、横線は、平らパターンを示す。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１１の組み合わせは、点線４６１で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１２の組み合わせは、点線４６２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１３の組み合わせは、点線４６３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。

図２６の点線４７１は、候補周辺のラインであり、点線４７１の中の四角は、画像データにふくまれる画素を示す。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１４の組み合わせは、候補の周辺のラインのいずれかの画素における傾きのパターンが、線３０２で示されるＶ字型パターンとなる組み合わせである。すなわち、候補周辺のラインのいずれかの画素にＶ字型パターンが現れる場合が該当する。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１５の組み合わせは、点線４７２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１６の組み合わせは、点線４７３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１７の組み合わせは、点線４７４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１８の組み合わせは、点線４７５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１９の組み合わせは、点線４７６で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２０の組み合わせは、点線４７７で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２１の組み合わせは、点線４７８で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２２の組み合わせは、点線４７９で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２３の組み合わせは、点線４８０で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２４の組み合わせは、点線４８１で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２５の組み合わせは、点線４８２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。

斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２６の組み合わせは、点線４８３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。

ステップＳ４０３において、孤立点検出部５２は、周辺画素の傾きの傾きのパターンが、図２２乃至図２６を参照して説明した、縦または斜めの線の画像におけるパターンの組み合わせの１つに該当するか否かを判定する。

ステップＳ４０３において、周辺画素の傾きパターンが、縦または斜めの線の画像におけるパターンの組み合わせの１つの該当しないと判定された場合、縦または斜めの線の画像が撮像されていないので、ステップＳ４０４に進み、孤立点検出部５２は、候補を孤立点として検出して、処理は終了する。

一方、ステップＳ４０３において、周辺画素の傾きのパターンが、縦または斜めの線の画像におけるパターンの組み合わせの１つの該当すると判定された場合、縦または斜めの線の画像が撮像されているので、ステップＳ４０４はスキップされ、候補は孤立点とされずに、処理は終了する。

次に、図１１のステップＳ２０４に対応する、画素欠陥と推定される孤立点の検出の処理の詳細について、図２７のフローチャートを参照して説明する。

ステップＳ５０１において、孤立点推定部５３は、ステップＳ２０３の孤立点の検出の処理により検出された孤立点に隣接する検出された孤立点の色と異なる色の画素が、孤立点であるか否かを判定する。

ステップＳ５０１において、孤立点の検出の処理により検出された孤立点に隣接する、検出された孤立点の色と異なる色の画素が、孤立点ではないと判定された場合、ステップＳ５０２に進み、孤立点推定部５３は、判定された孤立点を画素欠陥と推定される孤立点として検出し、処理は終了する。

一方、ステップＳ５０１において、孤立点の検出の処理により検出された孤立点に隣接する検出された孤立点の色と異なる色の画素が、孤立点であると判定された場合、孤立点推定部５３は、判定された孤立点を画素欠陥と推定される孤立点としては検出せず、ステップＳ５０２の処理はスキップされ、処理は終了する。

ここで、ステップＳ５０１において、画素欠陥と推定される孤立点としては検出されないパターンについて、図２８を参照して説明する。

図２８は、隣接する異なる色の画素が共に孤立点となるパターンを示す図である。

図２８で示される画素の配列は、図１乃至図３を参照して説明した、Bayer配列の画素の配列である。

図２８の“Ｇ”の符号が付された斜線の円柱は、Green画素を示す。また、“Ｂ”の符号が付されたひし形の模様の円柱は、Blue画素を示す。ただし、図２８において、１行のBlue画素だけが、示されている。

Green画素５０１は、ステップＳ２０２の孤立点の候補およびステップＳ２０３の孤立点の検出の処理により、孤立点として検出された画素である。同様に、Blue画素５１１も孤立点として検出された画素である。

この場合、１画素または２画素の大きさの画像オブジェクトを含む画像データであると推定され、Green画素５０１およびBlue画素５１１は欠陥画素ではないと推定される。

したがって、図２８で示される例において、隣接するGreen画素５０１およびBlue画素５１１は、それぞれの色で単独に検出した場合には、孤立点としての性質を有するが、隣接する異なる色の画素が共に孤立点となっているので、画素欠陥と推定される孤立点としては検出されない。

すなわち、図２８のGreen画素５０１およびBlue画素５１１は、ステップＳ５０２の処理において、画素欠陥と推定される孤立点としては検出されない。

このように、検出しようとしている画素に隣接する画素であって、異なる色の画素の傾きを利用することにより、孤立点から、より正確に、画素欠陥と推定される孤立点を検出することができる。

次に、図８のステップＳ６に対応する、画素欠陥補正の処理の詳細について、図２９のフローチャートを参照して説明する。

ステップＳ６０１において、補正部３２は、ラインバッファ３１から供給される画像データを読み込む。

ステップＳ６０２において、補正部３２は、読み込んだ画像データの画素データに画素欠陥を示す情報が挿入されているか否かを判定する。

ステップＳ６０２において、読み込んだ画像データの画素データに画素欠陥を示す情報が挿入されていると判定された場合、ステップＳ６０３に進み、補正部３２は、画素欠陥を示すマークが挿入されている画素（画素データ）を補正する。補正部３２は、補正した画素を含む画像データを画像処理部３３に供給して、処理は終了する。

ステップＳ６０２において、読み込んだ画像データの画素データに画素欠陥を示す情報が挿入されていないと判定された場合、画素欠陥は無いので、ステップＳ６０３は、スキップされ、画素データを補正しない。補正部３２は、画像データを画像処理部３３に供給して、処理は終了する。

ここで、補正の処理は、例えば、隣接する画素の画素値の平均値を算出し、その平均値を孤立点の画素値として置換してもよいし、隣接する画素の画素値を、そのまま孤立点の画素値として置換してもよい。

また、補正処理の方法は、上述した例に限定されるものではない。

このように、補正部３２が画素欠陥を示すマークが挿入されている画素を補正することで、画素欠陥を動的に検出することが可能となる。

図３０は、本発明に係る撮像装置１の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。

画素欠陥検出部２２は、傾き抽出部４１、画素欠陥判定部４２、およびスレッショルド設定部６０１を含むように構成される。

さらに、スレッショルド設定部６０１は、スレッショルド調整部６２１、上限下限設定部６２２、および上限下限調整部６２３を含む。

スレッショルド設定部６０１は、スレッショルドの値を設定し、設定したスレッショルドの値を画素欠陥判定部４２に供給する。画素欠陥判定部４２は、スレッショルド設定部６０１から供給されたスレッショルドを基に、孤立点を検出する。

スレッショルド調整部６２１は、周辺画素の傾きを示す値を基に、スレッショルドを調整し、調整したスレッショルドを画素欠陥判定部４２の孤立点候補検出部５１に供給する。

または、スレッショルド調整部６２１は、上限下限設定部６２２により設定される孤立点の検出点数の上限値および下限値、および孤立点の検出点数を基に、スレッショルドを調整し、調整したスレッショルドを画素欠陥判定部４２の孤立点候補検出部５１に供給する。

上限下限設定部６２２は、孤立点の検出点数の上限値および下限値を設定する。

上限下限調整部６２３は、スレッショルド調整部６２１により調整されたスレッショルドを基に、孤立点の検出点数を基に、検出点数の上限値および下限値を調整する。

図３１は、周辺画素の傾きを基に調整される、スレッショルドの調整の例を示すグラフである。

図３１のグラフの縦軸は、検出スレッショルドの値を示し、縦軸の値が大きいほどスレッショルドの値が大きくなることを示す。横軸は、周辺画素の高周波成分を示し、横軸の値が大きいほど周辺画素の高周波成分が大きくなることを示す。

ここで、検出スレッショルドの値がＡとなる場合をスレッショルドＡ、検出スレッショルドの値がＢとなる場合をスレッショルドＢ、および検出スレッショルドの値がＣとなる場合をスレッショルドＣと称する。

また、高周波成分とは、色が急激に変化する画像データをいい、例えば、ぎざぎざの画像に見える。

スレッショルドＡは、上限下限設定部６２２により設定される基準スレッショルドである。

スレッショルドＢおよびスレッショルドＣは、スレッショルドＡを基に設定される。例えば、スレッショルドＢは、スレッショルドＡの150％の値として設定され、スレッショルドＣは、スレッショルドＡの70％の値として設定される。

ここで、スレッショルドをスレッショルドＡ、スレッショルドＢ、スレッショルドＣの三段階とし、スレッショルドＢは、スレッショルドＡの150％の値、スレッショルドＣは、スレッショルドＡの70％として説明したが、上述した例に限定されるものではない。

スレッショルド調整部６２１は、周辺画素の高周波成分を基に、スレッショルドＡ、スレッショルドＢ、またはスレッショルドＣの３段階にスレッショルドを調整することで、画素欠陥判定部４２において、最適なスレッショルドで孤立点の検出をさせることができる。

例えば、周辺画素に含まれる高周波成分が多い場合、画像に含まれる高周波成分により、画素の孤立点として検出される可能性が高くなり、基準スレッショルドで孤立点を検出すると、画素欠陥ではない画素を含む、より多くの孤立点が検出されてしまう。そこで、周辺画素に含まれる高周波成分が多い場合、スレッショルド調整部６２１は、スレッショルドをスレッショルドＢに調整することで、画素欠陥ではない画素が孤立点として検出されにくくして、より適正な数の孤立点を検出できるようにする。すなわち、周辺画素にスレッショルドＡを超えるような傾きを示す値が多く検出された場合、孤立点も同様の特徴となる可能性があるので、スレッショルドＡからスレッショルドＢにスレッショルドの値を上げることで、孤立点を検出する感度を下げて、誤検出を回避することができる。

逆に、周辺画素に含まれる高周波成分が少ない場合、画像がいわゆる平坦なので、スレッショルドを小さくしても、誤検出が少なく、画素欠陥である孤立点をより正確に検出することができるようになる。そこで、周辺画素に含まれる高周波成分が少ない場合、スレッショルド調整部６２１は、検出スレッショルドをスレッショルドＣに調整することで、画素欠陥である孤立点をより正確に検出できるようにする。すなわち、周辺画素にスレッショルドＡを超えるような傾きを示す値が存在しないまたは少ない場合、撮像された画像データには、孤立点となりうる画素が少ないため正確な検出が容易になるので、スレッショルドＡからスレッショルドＣにスレッショルドの値を下げることで、孤立点の感度を上げて、画素欠陥の検出を容易にすることができる。

以上のような、スレッショルドの調整は、周辺の同色の画素を基に、孤立点の検出する処理において実行される。

図３２は、スレッショルドを調整する場合の、画素欠陥検出の処理の詳細を説明するフローチャートである。

ステップＳ７０１の処理は、図１１におけるステップＳ２０１の処理と同様であり、その説明は省略する。

ステップＳ７０２において、画素欠陥判定部４２の孤立点候補検出部５１は、ステップＳ２０２の処理と同様に、基準スレッショルドおよび傾き抽出部４１から供給される画素の特徴量を基に、孤立点の候補を検出する。例えば、ステップＳ７０２において、孤立点候補検出部５１は、図３１のスレッショルドＡおよび傾き抽出部４１から供給される画素の特徴量を基に、孤立点の候補を検出する。

ステップＳ７０３において、画素欠陥判定部４２の孤立点検出部５２は、ステップＳ２０３の処理と同様に、基準スレッショルドおよび傾き抽出部４１から供給される画素の特徴量、および孤立点候補検出部５１から供給される孤立点の候補を基に、孤立点を検出する。例えば、ステップＳ７０３において、孤立点検出部５２は、図３１のスレッショルドＡ、傾き抽出部４１から供給される画素の特徴量、および孤立点候補検出部５１から供給される孤立点の候補を基に、孤立点を検出する。

ステップＳ７０４において、孤立点検出部５２は、周辺画素の高周波成分が、予め定めた第１の閾値より多い、または第２の閾値より少ないか否かを判定する。

例えば、ステップＳ７０４において、孤立点検出部５２は、傾きのパターンが、Ｖ字型パターンまたは逆Ｖ字型パターンに分類される周辺画素の数を算出して、算出された周辺画素の数が、予め定めた第１の閾値より多い、または第２の閾値より少ないか否かを判定する。

また、ステップＳ７０４において、孤立点検出部５２は、傾きのパターンがＶ字型パターン、逆Ｖ字型パターン、右上がりパターン、または左上がりパターンに分類される周辺画素の数を算出して、算出された周辺画素の数が、予め定めた第１の閾値より多い、または第２の閾値より少ないか否かを判定する。

なお、第１の閾値および第２の閾値は、任意に設定することができる。

ステップＳ７０４において、周辺画素の高周波成分が、予め定めた第１の閾値より多いか、または第２の閾値より少ないと判定された場合、ステップＳ７０５に進み、スレッショルド調整部６２１は、スレッショルドの値を調整する。

ここで、特定の傾きのパターンの周辺画素の数が多かった場合、スレッショルド調整部６２１は、例えば、図３１のスレッショルドＡからスレッショルドＢにスレッショルドの値を調整する。この場合、孤立点の感度が下がるので、誤検出を回避することができる。

また、周辺画素の検出数が存在しないまたは少ない場合、スレッショルド調整部６２１は、例えば、図３１のスレッショルドＡからスレッショルドＣにスレッショルドの値を調整する。

この場合、孤立点の感度が上がるので、画素欠陥より正確に検出することができる。

ステップＳ７０６において、画素欠陥判定部４２の孤立点候補検出部５１は、調整されたスレッショルドおよび画素の特徴量を基に、孤立点の候補を検出する。ステップＳ７０７において、画素欠陥判定部４２の孤立点検出部５２は、調整されたスレッショルド、画素の特徴量、ステップＳ７０６において検出された孤立点の候補を基に、孤立点を検出し、ステップＳ７０８に進む。

一方、ステップＳ７０４において、周辺画素の高周波成分が、予め定めた第１の閾値以下であり、かつ第２の閾値以上であると判定された場合、手続きは、ステップＳ７０８に進む。この場合、図１１の画素欠陥検出の処理と同様の処理となる。

また、ステップＳ７０８およびステップＳ７０９の処理のそれぞれは、図１１におけるステップＳ２０４およびステップＳ２０５の処理のそれぞれと同様であり、その説明は省略する。

このように、周辺画素の特徴によりスレッショルドを調整して、再度孤立点を検出することで、孤立点をより正確に検出することができる。

スレッショルドは、周辺画素の特徴からその値を調整するだけでなく、１つのフレームにおける孤立点の検出点数から、次のフレームにおけるその値を調整することができる。

次に、１つのフレームにおける孤立点の検出点数から、次のフレームにおけるスレッショルドを調整する本発明の実施の形態について説明する。

図３３は、孤立点の検出点数と検出スレッショルドとの関係を示すグラフである。

図３３のグラフの縦軸は、孤立点の検出点数を示し、縦軸の値が大きいほど、より多い孤立点の検出点数を示す。横軸は、スレッショルドの値を示し、横軸の値が大きいほど、より大きいスレッショルドの値を示す。

図中の曲線は、画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す曲線である。画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す曲線は、任意に定めることができる。

検出点数上限および検出点数下限を定めることにより、画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す曲線から、スレッショルドの取り得る範囲を定めることができる。

スレッショルドの取り得る範囲を定め、この範囲においてスレッショルドを決定するようにしたのは、固体撮像素子においては、固体撮像素子自身の温度の変動または印可される電圧の変動などによって、後発的に画素欠陥が現れるので、ある程度の誤検出を、避けることはできないが、これにより数が変化する画素欠陥をより正確に、より確実に検出できるようにするためである。

また、レンズおよびローパスフィルタを介して撮像素子によって撮像された実際の画像に孤立点が存在する場合、実際の画像が欠陥画祖にかぶってしまい、孤立点としての特徴を失ってしまう場合なども、誤検出が生じてしまうが、スレッショルドを決定するようにすれば、画素欠陥をより正確に、より確実に検出できるようになる。

例えば、検出点数上限を“５０”と設定し、検出点数下限を“２０”と設定して、スレッショルドＡを設定した場合、スレッショルドＡを設定後、実際に撮像した１フレームの画像データにおいて検出点数が“８０”だったとき、検出点数が検出点数上限よりも多い値であったので、曲線をスレッショルドの値を大きくするようにすることで、スレッショルドをより大きな値に調整して、次のフレームの画像データにおける検出点数を検出点数上限“５０”および検出点数下限“２０”に近づけることができる。

また、例えば、検出点数上限を“５０”と設定し、検出点数下限を“２０”と設定して、スレッショルドＡを設定した場合、スレッショルドＡを設定後、実際に撮像した１フレームの画像データにおいて検出点数が“１０”だったとき、検出点数が検出点数下限よりも少ない値であったので、曲線をスレッショルドの値を小さくするようにすることで、スレッショルドをより小さな値に調整して、次のフレームにの画像データにおける検出点数を検出点数上限“５０”および検出点数下限“２０”に近づけることができる。

ここで、検出点数の上限および下限の範囲に収まるように制御した検出スレッショルドが、図３１を参照して説明した基準スレッショルドである、図３１のスレッショルドＡとなる。さらに、上述したように、図３１のスレッショルドＢおよび図３１のスレッショルドＣが、図３１のスレッショルドＡを基に設定され、この３段階のスレッショルドを選択することで、最適なスレッショルドで孤立点の検出をすることができる。

また、１回目の撮像の場合には、スレッショルドの値を決定することができないので、初期値が予め定められおり、２回目以降の撮像の場合には、１回前に撮像した画像データを基に、スレッショルドの値が設定される。

このように、１フレームの画素データに含まれる孤立点の検出点数を基に、孤立点の検出点数が上限および下限に収まるように、スレッショルドを調整し、最適なスレッショルドで孤立点の検出をするので、より確実に、より正確に画素欠陥を検出できる。

図３４は、１つのフレームにおける孤立点の検出点数から、次のフレームにおけるスレッショルドを調整する場合の、撮像素子の動的欠陥検出の処理を説明するのフローチャートである。

ステップＳ８０１において、上限下限設定部６２２は、孤立点の検出点数の上限値および下限値を設定する。

ステップＳ８０２乃至ステップＳ８０６の処理のそれぞれは、図８におけるステップＳ１乃至ステップＳ５の処理のそれぞれと同様であり、その説明は省略する。

ステップＳ８０７において、スレッショルド調整部６２１は、１フレームの画像データにおいて検出された孤立点の検出点数が、上限値を超えているか、または下限値未満であるか否かを判定する。

ステップＳ８０７において、１フレームの画像データにおいて検出された孤立点の検出点数が、上限値を超えているか、または下限値未満であるかと判定された場合、ステップＳ８０８に進み、スレッショルド調整部６２１は、１フレームの画像データにおいて検出された孤立点の検出点数を基に、スレッショルドを調整する。その後、手続は、ステップＳ８０９に進む。

例えば、１フレームの画像データにおいて検出された孤立点の検出点数が上限値を超えていると判定された場合、ステップＳ８０８において、スレッショルド調整部６２１は、より少ない孤立点が検出されるように、スレッショルドの値を大きくするように、スレッショルドを調整する。

また、例えば、１フレームの画像データにおいて検出された孤立点の検出数が、下限値未満であると判定された場合、ステップＳ８０８において、スレッショルド調整部６２１は、より多くの孤立点が検出されるように、スレッショルドの値を小さくするように、スレッショルドを調整する。

ステップＳ８０７において、１フレームの画像データにおいて検出された孤立点の検出点数が、上限値以下であり、かつ下限値以上であると判定された場合、スレッショルドを調整する必要はないので、ステップＳ８０８の処理はスキップされ、手続はきは、ステップＳ８０９に進む。

ステップＳ８０９乃至ステップＳ８１１の処理のそれぞれは、図８におけるステップＳ６乃至ステップＳ８の処理のそれぞれと同様であり、その説明は省略する。

以上のように、１つのフレームにおける孤立点の検出から、次のフレームにおけるスレッショルドを調整することにより、後発的に画素欠陥の数が変化した場合などであっても、より正確に、より確実に、画素欠陥としての孤立点を検出することができるようになる。

さらに、１つのフレームにおける孤立点の検出点数によって調整されたスレッショルドから、次のフレームにおける検出点数上限および検出点数下限の値を調整することができる。

次に、１つのフレームにおける孤立点の検出点数によって調整されたスレッショルドから、次のフレームにおける検出点数上限および検出点数下限の値を調整する本発明の実施の形態について説明する。

図３５は、検出点数の上限値および下限値の調整を説明するグラフである。

図３５のグラフの縦軸は、孤立点の検出点数を示し、縦軸の値が大きいほど、より多い数の検出点数の値を示す。横軸は、スレッショルドの値を示し、横軸の値が大きいほど、より大きいスレッショルドの値を示す。

図３５中のケース１検出点数上限およびケース１検出点数下限は、対となる上限および下限であり、ケース２検出点数上限およびケース２検出点数下限は、対となる上限および下限であり、ケース３検出点数上限およびケース３検出点数下限は、対となる上限および下限である。

また、画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す、図中のケース１、ケース２、およびケース３の３本の曲線は、個々に任意に定めることができる。

例えば、画像データの１フレームにおける孤立点の検出点数が、想定した値より多すぎる場合、スレッショルドの値を大きくするように制御することで、想定した値に近づけることができるが、設定されている検出点数の上限値および下限値を基に、スレッショルドの値を大きくしても、スレッショルドの値を充分大きくすることができず、検出された孤立点に、画素欠陥ではない正常な画素が多数ふくまれてしまうことが考えられる。

また、例えば、画像データの１フレームにおける孤立点の検出点数が、想定した値よりも少なすぎる場合、スレッショルドの値を小さくするように制御することで、想定した値に近づけることができるが、設定されている検出点数の上限値および下限値を基に、スレッショルドの値を小さくしても、スレッショルドの値を充分小さくすることができず、本来検出されなければならない検出点が見逃されていることが考えられる。

このような、見逃しおよび誤検出に対応するため、検出点数の上限値および下限値を変更する。

画像データの１フレームにおける孤立点の検出点数が、想定した検出点の上限値および下限値である、ケース１検出点数上限およびケース１検出点数下限の範囲内である場合、ケース１の曲線を基にスレッショルドが定められ、ケース１の曲線上でスレッショルドが設定され、スレッショルドが大きく変化しないので、検出点の上限値および下限値は、変更されず、ケース１検出点数上限およびケース１検出点数下限のままとされる。

次に、画像データの１フレームにおける孤立点の検出点数が、想定した値より少なすぎる場合について説明する。画像データの１フレームにおける孤立点の検出点数が、想定した検出点数の下限値である、ケース１検出点数下限未満である場合、ケース３の曲線を基にスレッショルドが定められる。ケース３の曲線を基に定められたスレッショルドが、予め定めた第１の閾値より小さい場合、または前回のスレッショルドとケース３の曲線を基に定められたスレッショルドとの差が予め定めた第２の閾値より大きい場合、スレッショルドの値が充分小さくされていないと判定され、検出点の上限値および下限値は、ケース３検出点数上限およびケース３検出点数下限に変更される。

変更されたケース３検出点数上限およびケース３検出点数下限、並びに、ケース３の曲線を基に、再度、スレッショルドが調整される。

このようにすることで、スレッショルドの値を充分小さくすることができ、本来検出されなければならない検出点の見逃しを防止して、画素欠陥としての孤立点を確実に検出することができるようになる。

次に、画像データの１フレームにおける孤立点の検出点数が、想定した値より多すぎる場合について説明する。画像データの１フレームにおける孤立点の検出点数が想定した検出点数の上限値である、ケース１検出点数上限を超える場合、ケース２の曲線を基にスレッショルドが定められる。ケース２の曲線を基に定められたスレッショルドが、予め定められた第３の閾値より大きい場合、または前回のスレッショルドとケース２の曲線を基に定められたスレッショルドとの差が予め定めた第４の閾値より大きい場合、スレッショルドの値が充分大きくされていないと判定され、検出点の上限値および下限値は、ケース２検出上限およびケース２検出点数下限に変更される。

変更されたケース２検出点数上限およびケース２検出点数下限、並びに、ケース２の曲線を基に、再度、スレッショルドが調整される。

このようにすることで、スレッショルドの値を充分大きくすることができ、画素欠陥ではない正常な画素が孤立点として検出されてしまうことを防止して、画素欠陥としての孤立点を確実に検出することができるようになる。

このように、調整されたスレッショルドを基に、さらに、検出点数の上限値および下限値の調整をすることで、より正確に、より確実に、画素欠陥としての孤立点を検出することができる。

図３６は、撮像素子の動的欠陥検出の処理を説明するフローチャートである。

ステップＳ９０１乃至ステップＳ９０８の処理のそれぞれは、図３４におけるステップＳ８０１乃至ステップＳ８０８の処理のそれぞれと同様であり、その説明は省略する。

ステップＳ９０９において、上限下限調整部６２３は、ステップＳ９０８の処理で調整されたスレッショルドが、第１の閾値を超えているか、または第１の閾値より小さい第２の閾値未満であるか否かを判定する。

ステップＳ９０９において、調整されたスレッショルドが、第１の閾値を超えているか、または第１の閾値より小さい第２の閾値未満であるか否かを判定する。

ステップＳ９０９において、調整されたスレッショルドが、第１の閾値を超えているか、または第１の閾値より小さい第２の閾値未満であると判定された場合、スレッショルドが充分に大きくされていないか、またはスレッショルドが充分に小さくされていないので、ステップＳ９１０に進み、上限下限調整部６２３は、検出点数の上限値および下限値を調整する。

ステップＳ９１１において、スレッショルド調整部６２１は、調整された検出点数の上限値および下限値を基に、スレッショルドを調整して、ステップＳ９１２に進む。

ステップＳ９１２乃至ステップＳ９１４の処理のそれぞれは、図３４におけるステップＳ８０９乃至ステップＳ８１１の処理のそれぞれと同様であり、その説明は省略する。

このように、調整されたスレッショルドを基に、さらに、検出点数の上限値および下限値の調整することで、より正確に、より確実に、画素欠陥としての孤立点を検出することができる。

次に、画素の孤立点としての検出回数を基に、画素を画素欠陥とする本発明の実施の形態について説明する。

図３７は、本発明に係る撮像装置１の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。

画素欠陥検出部２２は、傾き抽出部４１、画素欠陥判定部４２、およびカウンタ７０１を含むように構成される。

図３７の画素欠陥判定部４２は、傾き抽出部４１から供給された画像データに含まれる画素の傾きを基に、フレーム毎に、画素の孤立点を判定をし、孤立点であると判定された画素の位置を示す座標をカウンタ７０１に供給する。

カウンタ７０１は、画素欠陥判定部４２から供給された、フレーム毎の、孤立点であると判定された画素の位置を示す座標を基に、画素毎に、その画素の座標に対応させて、孤立点として検出された回数である検出回数、および孤立点として検出されなかった回数である消失回数を算出する。カウンタ７０１は、図３７の画素欠陥判定部４２を介して、算出した検出回数および消失回数を画素欠陥情報記憶部２３に供給する。

画素欠陥情報記憶部２３は、座標に対応する、検出回数および消失回数を検出回数テーブルとして記憶する。

図３７の画素欠陥マーク部２１は、画素欠陥情報記憶部２３の検出回数テーブルに記憶されている、画素毎の検出回数が所定の閾値以上であるか否かを判定し、検出回数が閾値以上であると判定された場合、検出回数が閾値以上であると判定された画素であると確定する。図３７の画素欠陥マーク部２１は、画像データの画素データのうち、欠陥画素であると確定した画素の画素データに欠陥を示す情報を挿入し、欠陥を示す情報を挿入した画像データをラインバッファ３１に供給する。

なお、検出回数テーブルは、画素欠陥判定部４２に記憶するようにしてもよく、また、カウンタ７０１に記憶するようにしてもよい。

さらに、カウンタ７０１は、検出回数算出部７２１、消失回数算出部７２２、および回数設定部７２３を含む。

検出回数算出部７２１は、画素欠陥判定部４２から供給された、フレーム毎の、孤立点であると判定された画素の位置を示す座標を基に、画素欠陥情報記憶部２３から取得した検出回数テーブルに含まれる、画素が孤立点として検出された回数である検出回数をインクリメント（１を加算）することにより、検出回数を算出する。

消失回数算出部７２２は、画素欠陥判定部４２から供給された、フレーム毎の、孤立点であると判定された画素の位置を示す座標を基に、画素欠陥情報記憶部２３から取得した検出回数テーブルに含まれる、画素が孤立点として検出された回数である消失回数をインクリメント（１を加算）することにより、消失回数を算出する。

回数設定部７２３は、検出回数と消失回数との関係を基に、画素欠陥情報記憶部２３から取得した検出回数テーブルに含まれる検出回数または消失回数に初期値を設定する。

図３８は、孤立点の検出回数テーブルの例を示す図である。

図３８で示される孤立点の検出回数テーブルの例において、“画素の位置を示す座標”と共に、座標に対応させて、“検出回数”および“消失回数”が配置される。すなわち、検出回数テーブルには、画素欠陥判定部４２により孤立点であると判定された画素の座標、検出回数、および消失回数が格納されている。

例えば、画素の位置を特定する“（ｘ１，ｙ１）”である座標に対応して、“５”である検出回数、および“０”である消失回数が記憶されている。また、“（ｘ２，ｙ２）”である座標に対応して、“１”である検出回数、および“１”である消失回数が記憶されている。また、“（ｘ３，ｙ３）”である座標に対応して、“５”である検出回数、および“２”である消失回数が記憶されている。さらに、“（ｘ４，ｙ４）”である座標に対応して、“１”である検出回数、および“０”である消失回数が記憶されている。

以上の検出回数テーブルが画素欠陥記情報憶部２３に記憶される。

図３９は、検出回数テーブルにおける検出回数および消失回数の算出、並びに検出回数および消失回数への初期値の設定を説明する図である。

図３９の上段は、検出回数の変化を示すグラフ（検出回数グラフ）であり、図３９の下段は、消失回数の変化を示すグラフ（消失回数グラフ）である。

検出回数グラフの縦軸は、検出回数を示し、横軸は、撮像するフレームの枚数（以下、撮像枚数と称する）を示しており、太い実線は、検出回数の値を示す。また、消失回数グラフの縦軸は、消失回数を示し、横軸は、撮像枚数を示しており、細い実線は、消失回数の値を示す。

また、図中の一点鎖線は、画素欠陥を確定するための閾値（以下、欠陥確定閾値と称する）を示し、図中の二点鎖線は、検出回数を初期値にするための閾値（以下、欠陥削除閾値と称する）を示す。

例えば、画素確定閾値には、５が設定され、欠陥削除閾値には、３が設定される。なお、欠陥確定閾値または欠陥削除閾値は、任意の値とすることができる。

以下、ある画素の検出回数および消失回数の増減について、検出回数および消失回数が、共に０である状態から、撮像枚数を増加させながら説明する。

１回目および２回目の撮像において、この画素は、孤立点として検出されていないので、検出回数および消失回数は、０のままである。

３回目の撮像において、この画素が孤立点として検出されたため、検出回数に１が加算されて、検出回数は１となる。

４回目の撮像において、この画素が孤立点として検出されたため、検出回数に１がさらに加算されて、検出回数は２となる。

５回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は２とされ、消失回数に１が加算されて、消失回数は１となる。

６回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は２のままとされ、消失回数に１がさらに加算されて、消失回数は２となる。

７回目の撮像において、この画素が孤立点として検出されたため、検出回数に１がさらに加算されて、検出回数は３となり、線７５１で示すように、消失回数に初期値が設定されて、消失回数は０となる。

８回目の撮像において、この画素が孤立点として検出されたため、検出回数に１がさらに加算されて、検出回数は４となる。

９回目の撮像において、この画素が孤立点として検出されたため、検出回数に１が加算されて、検出回数は５となる。ここで、上述したように、欠陥確定閾値には、５が設定されており、検出回数が欠陥確定閾値以上になったので、この画素は、画素欠陥であると確定され、９回目の撮像において、初めて実際にこの画素の補正が実行される。

さらに、１０回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は５のままとされ、消失回数に１が加算されて、消失回数は１となる。また、検出回数は欠陥確定閾値以上なので、１０回目の撮像においてもこの画素の補正が実行される。

１１回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は５のままとされ、消失回数に１がさらに加算されて、消失回数は２となる。また、検出回数は、欠陥確定閾値以上なので、１１回目の撮像においてもこの画素の補正が実行される。

１２回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は５とされ、消失回数に１がさらに加算され、消失回数に１がさらに加算されて、消失回数は３となる。また、検出回数は欠陥確定閾値以上なので、１２回目の撮像においてもこの画素の補正が実行されるが、欠陥削除閾値には３が設定されており、消失回数が欠陥削除閾値以上になったので、線７５２に示すように、検出回数および消失回数に初期値が設定され、検出回数および消失回数は０となる。

図４０は、画素の孤立点としての検出回数を基に、画素を画素欠陥とする場合の、画素欠陥検出の処理を説明するフローチャートである。

ステップＳ１００１乃至ステップＳ１００４の処理のそれぞれは、図１１におけるステップＳ２０１乃至ステップＳ２０４の処理のそれぞれと同様であり、その説明は省略する。

ステップＳ１００５において、カウンタ７０１は、ステップＳ１００１乃至ステップＳ１００４の処理によって孤立点が検出された場合、画素欠陥情報記憶部２３から検出回数テーブルを読み出す。

ステップＳ１００６において、カウンタ７０１は、検出回数テーブルを更新する、カウントの処理を実行する。カウントの処理の詳細は後述する。

ステップＳ１００７において、カウンタ７０１は、座標、検出回数、および消失回数を含む検出回数テーブルを画素欠陥情報記憶部２３に供給し、画素欠陥情報記憶部２３は、画素欠陥判定部４２から供給された座標、検出回数、および消失回数を含む検出回数テーブルを記憶して、処理は終了する。

図４１は、画素毎に実行される、カウントの処理の詳細を説明するフローチャートである。

ステップＳ１１０１において、カウンタ７０１は、画素欠陥判定部４２から供給された孤立点を示す座標を基に、ステップＳ１００４の処理において、画素が孤立点として検出されたか否かを判定する。

ステップＳ１１０１において、画素が孤立点として検出されたと判定された場合、ステップＳ１１０２に進み、検出回数算出部７２１は、検出回数テーブルの、画素の座標に対応する検出回数に１を加算する。

ステップＳ１１０３において、消失回数算出部７２２は、検出回数テーブルの、画素の座標に対応する消失回数に初期値を設定して、処理は終了する。

一方、ステップＳ１１０１において、孤立点として検出されないと判定された場合、ステップＳ１１０４に進み、消失回数算出部７２２は、画素の座標に対応する消失回数に１を加算する。

ステップＳ１１０５において、回数設定部７２３は、画素の座標に対応する消失回数が欠陥削除閾値以上であるか否かを判定する。

ステップＳ１１０５において、消失回数が欠陥削除閾値以上であると判定された場合、ステップＳ１１０６に進み、回数設定部７２３は、検出回数および消失回数に、例えば、０である初期値を設定し、処理は終了する。

ステップＳ１１０５において、消失回数が欠陥削除閾値以上でないと判定された場合、ステップＳ１１０６の処理はスキップされ、処理は終了する。

以上のようにして、カウントした検出回数および消失回数は、画素欠陥判定の処理の判定の条件として使用する。以下、この場合の画素欠陥判定の処理を説明する。

図４２は、画素欠陥判定の処理を説明するフローチャートである。

ステップＳ１２０１において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の検出回数テーブルを読み出す。

ここで、検出回数テーブルとは、図３８を参照して説明した、孤立点の座標、検出回数、および消失回数を含むデータである。

例えば、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている検出回数テーブルをすべて読み出し、一時的に記憶するバッファなどに検出回数テーブルを記憶し、その記憶した検出回数テーブルを基に、後述するステップＳ１２０２の処理を実行する。

また、検出回数テーブルの読み出しの処理は、上述した例に限定されるものではない。例えば、検出回数テーブルを画素欠陥情報記憶部２３から順次読み出して、後述するステップＳ１２０２の処理を実行するようにしてもよい。

ステップＳ１２０２において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３から読み出した検出回数テーブルを基に、検出回数テーブルに座標が記憶され、かつ座標に対応する検出回数が欠陥確定閾値以上であるか否か判定する。

ステップＳ１２０２において、検出回数テーブルに座標が記憶され、かつ座標に対応する検出回数が欠陥確定閾値以上であると判定された場合、ステップＳ１２０３に進み、画素欠陥マーク部２１は、その座標で示されるの画素の画素データに画素欠陥を示す情報を挿入して、画素欠陥を示す情報を含む画像データをラインバッファ３１に供給して処理は終了する。

画素欠陥を示す情報は、通常の画素値を示す画素データに現れるパターンと異なる、所定のビット数の所定のパターンからなり、例えば、画素データに、そのパターンのビットを挿入することで画素がマークされる。

一方、ステップＳ１２０２において、検出回数テーブルに座標が記憶され、かつ座標に対応する検出回数が欠陥確定閾値以上でないと判定された場合、画素にマークする必要がないので、ステップＳ１２０３の処理はスキップされ、画像データのみをラインバッファ３１に供給し、処理は終了する。

このように、孤立点の検出において、デジタルカメラおよび撮像される像が完全に固定されていない場合、孤立点は、一時的なものであるといえる。したがって、長い時間における、複数枚（複数のフレーム）の画像データを観察することで、孤立点の誤検出および見逃しを回避することができる。すなわち、これらの事象に対応するために、検出回数および消失回数を記録している。

以上のように、画素欠陥の検出に“検出点”の周辺の画素を使用することで、画素欠陥を、より確実に、より正確に検出することができる。また、遮光する機能を持ち合わせたデジタルカメラであっても、起動時に毎回画素欠陥を検出すると起動時間が遅くなるので、本発明を用いることで起動時に画素欠陥検出をしなくても撮像しながら画素欠陥を検出して画質劣化を防ぐことができる。

また、光を遮断する機能を有さないデジタルカメラであっても、工場出荷後の後発画素欠陥による画質劣化を防ぐことができる。さらに、本発明によれば、撮像素子の温度特性または電圧特性に起因する起動中に発生する後発画素欠陥を補正し、画質劣化を防ぐことができる。その結果、後発画素欠陥による画質劣化をより少なくすることができる。

なお、固体撮像素子のカラーフィルタ配列をBayer配列の例で説明したが、Bayer配列に限らず、例えば、インタライン配列またはGストライプRB市松配列などとすることもできる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図４３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記録部７０８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス２０４により相互に接続されている。

CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果得られた画像等を出力部７０７に出力する。

入出力インタフェース７０５に接続されている記録部７０８は、例えばハードディスクなどで構成され、CPU７０１が実行するプログラムや各種のデータを記録する。通信部７０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２０７は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。

また、通信部７０９を介してプログラムを取得し、記録部７０８に記録してもよい。

入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク７２１、光ディスク７２２、光磁気ディスク７２３、或いは半導体メモリ７２４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部７０８に転送され、記録される。

一連の処理をさせるプログラムが格納されている記録媒体は、図４３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７２１（フレキシブルディスクを含む）、光ディスク７２２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク７２３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ７２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM７０２や、記録部７０８に含まれるハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Bayer配列のGreen画素を示す図である。 Bayer配列のBlue画素を示す図である。 Bayer配列のRed画素を示す図である。 従来の画素欠陥の判定方法を示す図である。 本発明の撮像装置の一実施の形態の構成を示すブロック図である。 画素欠陥検出部の詳細を示すブロック図である。 Bayer配列のGreen画素の傾きの抽出を示す図である。 撮像素子の動的欠陥検出の処理を説明するフローチャートである。 画素欠陥判定の処理を説明するフローチャートである。 孤立点の座標データの例を示す図である。 画素欠陥検出の処理を説明するフローチャートである。 孤立点の候補の検出の処理を説明するフローチャートである。 隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。 隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。 孤立点の候補であると判定されるパターンを示すグラフである。 孤立点の候補を含む画素が縦の線となるときのパターン示す図である。 孤立点の候補を含む画素が斜めの線となるときのパターン示す図である。 孤立点の候補を含む画素が幅広の線となるときのパターンを示す図である。 孤立点の検出の処理を説明するフローチャートである。 周辺画素の傾きのパターンを示す図である。 周辺画素の傾きのパターンを示す図である。 周辺画素の傾きのパターンを例を示す図である。 周辺画素の傾きのパターンの組み合わせの例を示す図である。 周辺画素の傾きのパターンの組み合わせの例を示す図である。 周辺画素の傾きのパターンの組み合わせの例を示す図である。 周辺画素の傾きのパターンの組み合わせの例を示す図である。 画素欠陥と推定される孤立点の検出の処理の説明をするフローチャートである。 隣接する異なる色の画素が共に孤立点となるパターンを示す図である。 画素欠陥補正の処理の説明をするフローチャートである。 本発明に係る撮像装置の一実施の形態の他の構成を示すブロック図である。 検出スレッショルドと周辺画素との関係を示すグラフである。 画素欠陥検出の処理を説明するフローチャートである。 検出点数と検出スレッショルドとの関係を示すグラフである。 撮像素子の動的欠陥検出の処理を説明するフローチャートである。 検出点数の上限値および下限値の設定を示すグラフである。 撮像素子の動的欠陥検出の処理を説明するフローチャートである。 本発明に係る撮像装置の一実施の形態の他の構成を示すブロック図である。 検出回数テーブルの例を示す図である。 検出回数と消失回数との関係を示す図である。 画素欠陥検出の処理を説明するフローチャートである。 カウントの処理の詳細を説明するフローチャートである。 画素欠陥判定の処理を説明するフローチャートである。 パーソナルコンピュータの構成を説明するブロック図である。

符号の説明

１ 撮像装置， １１ 撮像部， １２ Ａ/Ｄ変換部， １３ 画素欠陥処理部， １４ 信号処理部， １５ 記憶部， ２１ 画素欠陥マーク部， ２２ 画素欠陥検出部， ２３ 画素欠陥情報記憶部， ３１ ラインバッファ， ３２ 補正部， ３３ 画像処理部， ４１ 傾き抽出部， ４２ 画素欠陥判定部， ５１ 孤立点候補検出部， ５２ 孤立点検出部， ５３ 孤立点推定部， ６０１ スレッショルド設定部， ６２１ スレッショルド調整部， ６２２ 上限下限設定部， ６２３ 上限下限調整部， ７０１ カウンタ， ７２１ 検出回数算出部， ７２２ 消失回数算出部， ７２３ 回数設定部

Claims (12)

1. 固体撮像素子を用いた撮像装置において、
   前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出手段と、
   前記画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出手段と、
   前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出手段と、
   前記画像データ上の前記孤立点の位置を示す座標を記憶する記憶手段と、
   前記座標を基に、前記画像データの画素に前記画素欠陥であることを示す情報を挿入する挿入手段と、
   前記画素欠陥であることを示す前記情報を基に、画素欠陥として前記孤立点を補正する補正手段と
   を含むことを特徴とする撮像装置。
2. 前記孤立点の色と異なる色の画素であって、前記孤立点に隣接する画素についての前記傾きを示す値の符号、および前記傾きを示す値の絶対値を基に、前記第２の検出手段によって検出された前記孤立点から、前記画素欠陥と推定される孤立点をさらに検出する第３の検出手段をさらに含む
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記候補の周辺の画素の前記傾きを基に、前記候補の検出および前記孤立点の検出のための閾値を調節する調節手段をさらに含み、
   前記第１の検出手段は、調整された前記閾値を基に、前記孤立点の候補を検出し、
   前記第２の検出手段は、調整された前記閾値を基に、前記孤立点を検出する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記画像データの１フレームに含まれる前記孤立点の検出点数の上限および下限を設定する上限下限設定手段と、
   前記上限および前記下限、並びに検出された前記孤立点の数を基に、次のフレームにおいて前記候補または前記孤立点を検出するための閾値を設定する閾値設定手段と
   を含むことを特徴とする請求項１に記載の撮像装置。
5. 前記第１の検出手段は、前記画素についての前記傾きを示す値の符号、前記傾きを示す値の絶対値、および前記閾値を基に前記画素から前記孤立点の候補を検出する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記第２の検出手段は、前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号、前記傾きを示す値の絶対値、および前記閾値を基に、前記孤立点の前記候補から前記孤立点を検出する
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記画像データの１フレームにおいて、検出された前記孤立点の検出点数を基に、前記上限および前記下限を調整する調整手段
   をさらに含むことを特徴とする請求項４に記載の撮像装置。
8. 前記画素の前記孤立点としての検出回数を算出する検出回数算出手段と、
   前記孤立点として検出されなかった回数である、前記画素の消失回数を算出する消失回数算出手段と、
   前記検出回数と前記消失回数との関係を基に、前記検出回数または前記消失回数に初期値を設定する回数設定手段と
   を含むことを特徴とする請求項１に記載の撮像装置。
9. 前記記憶手段は、前記孤立点の位置を示す座標に対応させて、前記画素の前記検出回数および前記消失回数を記憶し、
   前記挿入手段は、前記画素の前記検出回数および前記消失回数を基に、その画素が画素欠陥であることを示す情報を挿入する
   ことを特徴とする請求項８に記載の撮像装置。
10. 固体撮像素子を用いた撮像装置の撮像方法において、
    前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出ステップと、
    前記画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出ステップと、
    前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出ステップと、
    前記画像データ上の前記孤立点の位置を示す座標の記憶を制御する記憶制御ステップと、
    前記座標を基に、前記画像データの画素に前記画素欠陥であることを示す情報を挿入する挿入ステップと、
    前記画素欠陥であることを示す前記情報を基に、画素欠陥として前記孤立点を補正する補正ステップと
    を含むことを特徴とする撮像方法。
11. 固体撮像素子を用いた撮像処理用のプログラムにおいて、
    前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出ステップと、
    前記画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出ステップと、
    前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出ステップと、
    前記画像データ上の前記孤立点の位置を示す座標の記憶を制御する記憶制御ステップと、
    前記座標を基に、前記画像データの画素に前記画素欠陥であることを示す情報を挿入する挿入ステップと、
    前記画素欠陥であることを示す前記情報を基に、画素欠陥として前記孤立点を補正する補正ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
12. 固体撮像素子を用いた撮像する処理を、コンピュータに行わせるプログラムにおいて、
    前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出ステップと、
    前記画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出ステップと、
    前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出ステップと、
    前記画像データ上の前記孤立点の位置を示す座標の記憶を制御する記憶制御ステップと、
    前記座標を基に、前記画像データの画素に前記画素欠陥であることを示す情報を挿入する挿入ステップと、
    前記画素欠陥であることを示す前記情報を基に、画素欠陥として前記孤立点を補正する補正ステップと
    を含むことを特徴とするプログラム。

Images