JP4604078B2 - 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置 - Google Patents

Description

本発明は、イメージセンサから出力された画像信号を処理する技術に関し、特に、イメージセンサの画素欠陥を補正するためのデジタルデータ処理を行う欠陥画素補正方法、欠陥画素補正プログラム、欠陥画素補正装置に関する。

従来、デジタルカメラやビデオカメラ等の撮像装置においては、複数の光電変換素子がマトリクス状に配置されて受光量に応じた画素信号を出力するＣＣＤやＣＭＯＳ等のイメージセンサが一般的に使用されている。

そして、このようなイメージセンサでは、その製造工程に起因して、入射光に反応しない画素（黒キズ）や、入射光がなくても異常に強い暗電流を発生する画素（白キズ）が含まれていることがしばしばある。

「黒キズ」と呼ばれる欠陥画素は、画素の光入射面に付着する塵などに起因して、その画素への入射光が遮られることにより生じ、一方、「白キズ」と呼ばれる欠陥画素は、画素の光入射面形成されるカラーマイクロフィルタやマイクロレンズの欠損になどに起因して生じる。

そして、イメージセンサの製造過程ではこれらの欠陥画素を完全に除去することが困難であって、製造された後に、欠陥画素を検出して、この欠陥画素を介して出力される画素信号を補正する技術が知られている。

例えば、デジタルカメラのシャッター速度や撮影条件に応じて、欠陥画素の位置を検出し、検出された欠陥画素の位置情報をルックアップテーブル（所謂、記憶テーブルである）に記憶し、撮影毎に、ルックアップテーブルに記憶された欠陥画素の位置情報にもとづいて、欠陥画素の補正を行っているものがある（例えば、特許文献１、２、３参照）。

詳しくは、撮像装置において、まず電源印加時に絞りを閉じて撮像素子（所謂、イメージセンサである）を遮光した状態で１画面分撮像し、この撮像で得られた画像データと閾値とを比較して、閾値よりも高い輝度を示す画素を白キズとして検出し、その位置情報を記憶する。さらに、黒キズを検出するために、絞りを所定値に開放し、専用の被写体を１画面分撮像し、この撮像で得られた画像データと閾値とを比較し、閾値よりも低い輝度を示す画素を黒キズとして検出し、その位置情報を記憶する。
特開平１０−３２２６０３号公報 特開２０００−１０１９２５号公報 特開２０００−２２４４８７号公報

しかしながら、近年デジタルカメラに代表されるように、高画素化が進みに伴って、イメージセンサに発生する欠陥画素も増加傾向にある。その際、全ての欠陥画素に対応付けてその補正情報をルックアップテーブルに記憶するものとすれば、記憶容量の大きなルックアップテーブルが必要となって生産性を損なう虞があった。

また、欠陥画素の画素信号を補正する際に、一般的に、欠陥画素に近傍する他の画素の画素値を用いるので、欠陥画素が隣り合って（連続して）発生する際には、欠陥画素の補正が不十分となる虞があった。

そこで、本発明は、イメージセンサの高画素化に応じて、欠陥画素が増加しても欠陥画素の補正情報を記憶する記憶テーブルの記憶容量を節減でき、且つ、連続して発生する欠陥画素群を適切に補正できる欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、検出されたイメージセンサの欠陥画素に対応付けて、その補正の仕方を表す補正情報を記憶テーブルに記憶し、この補正情報に基づいて、前記イメージセンサを介して出力された画像データの欠陥画素を補正する欠陥画素補正方法において、前記補正情報を記憶する際に、前記欠陥画素の座標を求め、該座標に対応付けて欠陥画素のマップを生成するマップ生成ステップと、前記マップを参照して前記補正情報を前記記憶テーブルに記憶する補正情報記憶ステップと、前記記憶テーブルに記憶された前記補正情報に基づいて、前記画像データを補正する画像データ補正ステップと、を備え、前記マップにおいて、前記欠陥画素が連続して現れる欠陥画素列が構成されている際には、前記補正情報記憶ステップにおいて、不連続の欠陥画素になるように、前記欠陥画素列の中で補正する欠陥画素を選択して前記記憶テーブルに記憶し、前記画像データ補正ステップにおいて、前記記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された前記欠陥画素の画素値を補正し、補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成する、ことを特徴とする。

請求項１に記載の欠陥画素補正方法によれば、欠陥画素のマップにおいて欠陥画素が連続して現れる欠陥画素列が生成されている際には、補正情報記憶ステップにおいて、不連続の欠陥画素になるように、欠陥画素列の中で補正する欠陥画素を選択して記憶テーブルに記憶し、画像データ補正ステップにおいて、記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された欠陥画素の画素値を補正し、補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成することにより、欠陥画素が増加しても欠陥画素の補正情報を記憶する記憶テーブルの記憶容量を節減でき、且つ、欠陥画素が連続する欠陥画素列を適切に補正できる。

つまり、請求項１に記載の欠陥画素補正方法によれば、補正情報記憶ステップにおいて、不連続の欠陥画素になるように、欠陥画素列の中で補正する欠陥画素を選択して記憶テーブルに記憶しているので、欠陥画素の全てに対応する補正情報を記憶テーブルに記憶するよりも記憶テーブルの記憶容量を節減でき、さらに、欠陥画素が連続して現れる際に、隣り合う欠陥画素の影響を低減して、欠陥画素を適切に補正できる。

また、請求項１に記載の欠陥画素補正方法は、請求項２に記載の発明のように、前記イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、前記マップが、前記色光の夫々毎に生成されていることにより、カラーイメージセンサにおける欠陥画素を適切に補正できる。

また、請求項１又は請求項２に記載の欠陥画素補正方法は、請求項３に記載の発明のように、前記イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備え、各画素が単一色の輝度情報のみを有し、前記ベイヤー配列に対応付けて、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記補正情報が、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられていることにより、ベイヤー配列のカラーフィルタを備えたイメージセンサにおいて、同色の画素毎に、水平方向、垂直方向、斜め方向に連続して現れる欠陥画素列に対応付けて、欠陥画素を適切に補正できる。

また、請求項１乃至請求項３の何れか記載の欠陥画素補正方法は、請求項４に記載の発明のように、前記イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、前記欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて前記欠陥画素を検出することにより、分割された領域毎に精度良く欠陥画素を検出できて、高品位の画像データを得ることができる。また、イメージセンサの画素範囲の周辺近傍には明暗のバラツキが生じ易く、この明暗バラツキを補正するためのシェーディング補正が行われて画素値の水準が変化する虞があるので、シェーディング補正が行われた画面に対して、複数領域に分割することが好ましい。

また、請求項４に記載の欠陥画素補正方法は、請求項５に記載の発明のように、前記分割された領域において、画素値毎の画素数を表す分布を生成して、該分布から基準となる画素値を検出し、該基準の画素値に対して前記閾値の分だけ欠陥方向に隔てた画素値を欠陥有無の判定値とし、各画素の画素値を前記判定値と比較することにより、欠陥画素を検出することができる。これにより、分割された領域毎に、欠陥画素による画質劣化を抑制できて、高品位の画像を得ることができる。

また、請求項５に記載の欠陥画素補正方法は、請求項６に記載の発明のように、前記基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値であることが好ましい。これにより、欠陥画素が最も標準的な画素の画素値に補正されるので、欠陥が顕在化することなく、欠陥画素による画質の劣化を抑制できる。

また、請求項１乃至請求項６の何れか記載の欠陥画素補正方法は、請求項７に記載の発明のように、前記欠陥画素の補正候補数を検出する補正候補数検出ステップと、前記補正候補毎にその欠陥度合いを表す評価値を生成する欠陥度評価ステップと、前記補正候補の数が予め定められた所定値を超えた際に、該所定値内になるように、前記評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去する補正対象選択ステップと、を備えることにより、万が一欠陥画素群の数が所定値を超える際には、所定値内になるように選択できて、記憶テーブルのメモリ容量を節減できると共に、記憶テーブルの所定の記憶容量内で処理できる。

また、請求項１乃至請求項７の何れか記載の欠陥画素補正方法は、請求項８に記載の発明のように、前記欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正することが好ましい。

また、請求項１乃至請求項８の何れか記載の欠陥画素補正方法は、請求項９に記載の発明のように、前記補正情報記憶ステップでは、欠陥画素群が所定の連続性を有する態様にいたった際に、該欠陥画素群の補正を不可として記憶することにより、無理な補正を行うことなく、欠陥画素補正の信頼性を高めることができる。

また、請求項７乃至請求項９の何れか記載の欠陥画素補正方法は、請求項１０に記載の発明のように、前記画像データにおける前記評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける欠陥画素の補正を不可として報知することにより、イメージセンサから出力される画像データにおける欠陥度合いを前記評価値によって測ることができて付加価値を向上できる。

次に、請求項１１に記載の発明は、検出されたイメージセンサの欠陥画素に対応付けて、その補正の仕方を表す補正情報を記憶テーブルに記憶し、この情報に基づいて、前記イメージセンサを介して出力された画像データの欠陥画素を補正する欠陥画素補正プログラムにおいて、前記補正情報を記憶する際に、前記欠陥画素の座標を求め、該座標に対応付けて欠陥画素のマップを生成するマップ生成ステップと、前記マップを参照して、選択的に前記補正情報を前記記憶テーブルに記憶する補正情報記憶ステップと、前記記憶テーブルに記憶された前記補正情報に基づいて、前記画像データを補正する画像データ補正ステップと、をコンピュータに実行させ、前記マップにおいて、前記欠陥画素が連続して現れる欠陥画素列が構成されている際には、前記補正情報記憶ステップにおいて、不連続の欠陥画素になるように、前記欠陥画素列の中で補正する欠陥画素を選択して前記記憶テーブルに記憶し、前記画像データ補正ステップにおいて、前記記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された前記欠陥画素の画素値を補正し、
補正する欠陥画素として選択されずに残った他の欠陥画素については、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成する、ようにコンピュータに実行させることを特徴とする。

請求項１１に記載の欠陥画素補正プログラムによれば、欠陥座標に対応付けて欠陥画素のマップを生成するマップ生成ステップと、マップを参照して補正情報を記憶テーブルに記憶する補正情報記憶ステップと、記憶テーブルに記憶された補正情報に基づいて、画像データを補正する画像データ補正ステップと、をコンピュータに実行させ、前記マップにおいて、欠陥画素が連続して現れる欠陥画素列が構成されている際には、補正情報記憶ステップにおいて、不連続の欠陥画素になるように、欠陥画素列の中で補正する欠陥画素を選択して記憶テーブルに記憶し、画像データ補正ステップにおいて、記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された欠陥画素の画素値を補正し、補正する欠陥画素として選択されずに残った他の欠陥画素については、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成するようにコンピュータに実行させることにより、請求項１に記載の発明と同様に、欠陥画素が増加しても欠陥画素の補正情報を記憶する記憶テーブルの記憶容量を節減でき、且つ、欠陥画素が連続する欠陥画素列を適切に補正できる。

また、請求項１１に記載の欠陥画素補正プログラムは、請求項１２に記載の発明のように、イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、マップが色光の夫々毎に生成されるようにコンピュータに実行させることにより、請求項２に記載の発明と同様に、カラーイメージセンサにおける欠陥画素を適切に補正できる。

また、請求項１１又は請求項１２に記載の欠陥画素補正プログラムは、請求項１３に記載の発明のように、前記イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備えて各画素が単一色の輝度情報のみを有する画素値を生成し、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記補正情報が、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられるようにコンピュータに実行させることにより、請求項３に記載の発明と同様に、ベイヤー配列のカラーフィルタを備えたイメージセンサにおいて、同色の画素毎に、水平方向、垂直方向、斜め方向に連続して現れる欠陥画素列に対応付けて、欠陥画素を適切に補正できる。

また、請求項１１乃至請求項１３の何れか記載の欠陥画素補正プログラムは、請求項１４に記載の発明のように、前記イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、前記欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて前記欠陥画素を検出するようにコンピュータに実行させることにより、請求項４に記載の発明と同様に、シェーディング補正等の影響を受けることなく、分割された領域毎に精度良く欠陥画素を補正できて、高品位の画像を得ることができる。

また、請求項１４に欠陥画素補正プログラムは、請求項１５に記載の発明のように、前記分割された領域において、画素値毎の画素数を表す分布を求めて該分布から基準となる画素値を検出し、該基準の画素値に対する各画素の画素値の差分を前記閾値と比較して前記欠陥画素を検出するようにコンピュータに実行させることにより、請求項５に記載の発明と同様に、分割された領域毎に、欠陥画素による画質劣化を抑制できて、高品位の画像を得ることができる。

また、請求項１５に記載の欠陥画素補正プログラムは、請求項１６に記載の発明のように、前記基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値であるようにコンピュータに実行させることが好ましい。これにより、請求項６に記載の発明と同様に、欠陥画素が最も標準的な画素の画素値に補正されるので、欠陥が顕在化することなく、欠陥画素による画質の劣化を抑制できる。

また、請求項１１乃至請求項１６の何れか記載欠陥画素補正プログラムは、請求項１７に記載の発明のように、前記欠陥画素の補正候補数を検出する補正候補数検出ステップと、前記補正候補毎にその欠陥度合いを表す評価値を生成する欠陥度評価ステップと、前記補正候補の数が予め定められた所定値を超えた際に、該所定値内になるように、前記評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去する補正対象選択ステップと、をコンピュータに実行させることにより、請求項７に記載の発明と同様に、万が一欠陥画素群の数が所定値を超える際には、所定値内になるように選択できて、記憶テーブルのメモリ容量を節減できると共に、記憶テーブルの所定の記憶容量内で処理できる。

また、請求項１１乃至請求項１７の何れか記載の欠陥画素補正プログラムは、請求項１８に記載の発明のように、前記欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正するようにコンピュータに実行させることが好ましい。

また、請求項１１乃至請求項１８の何れか記載の欠陥画素補正プログラムは、請求項１９に記載の発明のように、前記補正情報記憶ステップでは、前記欠陥画素が所定の連続性を有する欠陥画素群の態様にいたった際に、該欠陥画素群の補正を不可として記憶する、
ようにコンピュータに実行させることにより、請求項９に記載の発明と同様に、無理な補正を行うことなく、欠陥画素補正の信頼性を高めることができる。

また、請求項１７乃至請求項１９の何れか記載の欠陥画素補正プログラムは請求項２０に記載の発明のように、前記画像データにおける前記評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける前記欠陥画素の補正を不可とし報知するようにコンピュータに実行させることにより、請求項１０に記載の発明と同様に、イメージセンサから出力される画像データにおける欠陥度合いを前記評価値によって測ることができて付加価値を向上できる。

次に、請求項２１に記載の発明は、検出されたイメージセンサの欠陥画素に対応付けて、その補正の仕方を表す補正情報を記憶テーブルに記憶し、この情報に基づいて、前記イメージセンサを介して出力された画像データの欠陥画素を補正する欠陥画素補正装置において、前記補正情報を記憶する際に、前記欠陥画素の座標を求め、該座標に対応付けて欠陥画素のマップを生成するマップ生成手段と、前記マップを参照して前記補正情報を前記記憶テーブルに記憶する補正情報記憶手段と、前記記憶テーブルに記憶された前記補正情報に基づいて、前記画像データを補正する画像データ補正手段と、を備え、前記マップにおいて、前記欠陥画素が連続して現れる欠陥画素列が構成されている際には、前記補正情報記憶手段が、不連続の欠陥画素になるように、前記欠陥画素列の中で補正する欠陥画素を選択して前記記憶テーブルに記憶し、前記画像データ補正手段が、前記記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された前記欠陥画素の画素値を補正し、補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成する、ように構成されていることを特徴とする。

請求項２１に記載の欠陥画素補正装置は、欠陥画素の座標を求めて該座標に対応付けて欠陥画素のマップを生成するマップ生成手段と、このマップを参照して補正情報を記憶テーブルに記憶する補正情報記憶手段と、記憶テーブルに記憶された補正情報に基づいて、画像データを補正する画像データ補正手段と、を備え、マップにおいて、欠陥画素が連続して現れる欠陥画素列が構成されている際には、補正情報記憶手段が、不連続の欠陥画素になるように、欠陥画素列の中で補正する欠陥画素を選択して記憶テーブルに記憶し、画像データ補正手段が、記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された欠陥画素の画素値を補正し、補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成するように構成されているので、請求項１に記載の発明と同様に、欠陥画素が増加しても欠陥画素の補正情報を記憶する記憶テーブルの記憶容量を節減でき、且つ、欠陥画素が連続する欠陥画素列を適切に補正できる。

また、請求項２１に記載の欠陥画素補正装置は、請求項２２に記載の発明のように、前記イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、前記マップが前記色光の夫々毎に生成されていることにより、請求項２に記載の発明と同様に、カラーイメージセンサにおける欠陥画素を適切に補正できる。

また、請求項２１又は請求項２２に記載の欠陥画素補正装置は、請求項２３に記載の発明のように、前記イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備えて各画素が単一色の輝度情報のみを有する画素値を生成し、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記補正情報が、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられていることにより、請求項３に記載の発明と同様に、ベイヤー配列のカラーフィルタを備えたイメージセンサにおいて、同色の画素毎に、水平方向、垂直方向、斜め方向に連続して現れる欠陥画素列に対応付けて、欠陥画素を適切に補正できる。

また、請求項２１乃至請求項２３の何れか記載の欠陥画素補正装置は、請求項２４に記載の発明のように、前記イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、前記欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて前記欠陥画素を検出する欠陥画素検出手段を備えていることにより、請求項４に記載の発明と同様に、シェーディング補正等の影響を受けることなく、分割された領域毎に精度良く欠陥画素を補正できる。

また、請求項２４に記載の欠陥画素補正装置は、請求項２５に記載の発明のように、前記欠陥画素検出手段が、前記分割された領域において、画素値毎の画素数を表す分布を求めて該分布から基準となる画素値を検出し、該基準の画素値に対する各画素の画素値の差分を前記閾値と比較して前記欠陥画素を検出するように構成されていることにより、請求項５に記載の発明と同様に、分割された領域毎に、欠陥画素による画質劣化を抑制できて、高品位の画像を得ることができる。

また、請求項２５に記載の欠陥画素補正装置は、請求項２６に記載の発明のように、前記欠陥画素検出手段において、前記基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値であるが好ましい。これにより、請求項６に記載の発明と同様に、欠陥画素が最も標準的な画素の画素値に補正されるので、欠陥が顕在化することなく、欠陥画素による画質の劣化を抑制できる。

また、請求項２１乃至請求項２６の何れか記載の欠陥画素補正装置は、請求項２７に記載の発明のように、前記欠陥画素の補正候補数を検出する補正候補数検出手段と、前記補正候補毎にその欠陥度合いを表す評価値を生成する欠陥度評価手段と、前記補正候補の数が予め定められた所定値を超えた際に、該所定値内になるように、前記評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去する補正対象選択手段と、を備えることにより、請求項７に記載の発明と同様に、万が一欠陥画素群の数が所定値を超える際には、所定値内になるように選択できて、記憶テーブルのメモリ容量を節減できると共に、記憶テーブルの所定の記憶容量内で処理できる。

また、請求項２１乃至請求項２７の何れか記載の欠陥画素補正装置は、請求項２８に記載の発明のように、前記補正情報記憶手段が、前記欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正するように構成されていることが好ましい。

また、請求項２１乃至請求項２８の何れか記載の欠陥画素補正装置は、請求項２９に記載の発明のように、前記補正情報記憶手段が、欠陥画素の連続して現れる欠陥画素群の態様が所定の態様にいたった際に、該欠陥画素群の補正を不可として記憶するように構成されていることにより、請求項９に記載の発明と同様に、無理な補正を行うことなく、欠陥画素補正の信頼性を高めることができる。

また、請求項２７乃至請求項２９の何れか記載の欠陥画素補正装置は、請求項３０に記載の発明のように、前記画像データにおける前記評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける前記欠陥画素の補正を不可として報知する補正不可報知手段を備えていることにより、請求項１０に記載の発明と同様に、イメージセンサから出力される画像データにおける欠陥度合いを前記評価値によって測ることができて付加価値を向上できる。

本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、欠陥画素のマップにおいて欠陥画素が連続して現れる欠陥画素列が生成されている際には、不連続の欠陥画素になるように、欠陥画素列の中で補正する欠陥画素を選択して記憶テーブルに記憶し、記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された欠陥画素の画素値を補正し、補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成することにより、欠陥画素が増加しても欠陥画素の補正情報を記憶する記憶テーブルの記憶容量を節減でき、且つ、欠陥画素が連続する欠陥画素列を適切に補正できる。

また、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、
イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、前記マップが、前記色光の夫々毎に生成されていることにより、カラーイメージセンサにおける欠陥画素を適切に補正できる。

また、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備え、各画素が単一色の輝度情報のみを有し、前記ベイヤー配列に対応付けて、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記補正情報が、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられていることにより、ベイヤー配列のカラーフィルタを備えたイメージセンサにおいて、同色の画素毎に、水平方向、垂直方向、斜め方向に連続して現れる欠陥画素列に対応付けて、欠陥画素を適切に補正できる。

また、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて欠陥画素を検出することにより、分割された領域毎に精度良く欠陥画素を検出できて、高品位の画像データを得ることができ、且つ、分割された領域において、画素値毎の画素数を表す分布を生成して、該分布から基準となる画素値を検出し、該基準の画素値に対する各画素の画素値の差分を前記閾値と比較することにより、欠陥画素を検出することができる。また、この際、基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値であることが好ましい。これにより、欠陥画素が最も標準的な画素の画素値に補正されるので、欠陥が顕在化することなく、欠陥画素による画質の劣化を抑制できる。

また、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、補正候補とする欠陥画素毎にその欠陥度合いを表す評価値を生成し、欠陥画素群の数が予め定められた所定値を超えた際に、該所定値内になるように、評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去することにより、万が一欠陥画素群の数が所定値を超える際には、所定値内になるように選択できて、記憶テーブルのメモリ容量を節減できると共に、記憶テーブルの所定の記憶容量内で処理できる。

また、画像データにおける評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける欠陥画素の補正を不可として報知することにより、イメージセンサから出力される画像データにおける欠陥度合いを前記評価値によって測ることができて付加価値を向上できる。

また、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正することが好ましい。

また、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置は、欠陥画素群が所定の連続性を有する態様にいたった際に、該欠陥画素群の補正を不可として記憶することにより、無理な補正を行うことなく、欠陥画素補正の信頼性を高めることができる。

次に、本発明の欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置の一実施例を、図面にもとづいて説明する。

図１は、本発明の欠陥画素方法、欠陥画素補正装置及び欠陥画素補正プログラムが適用された一実施例の撮像装置１の構成を表したブロック図、図２は、同実施例における、ベイヤー配列のイメージセンサから出力される色毎の画素データの説明図である。

また、図３は、同実施例における横連続欠陥補正の説明図、図４は、同実施例における縦連続欠陥補正の説明図、図５は、同実施例における斜め連続欠陥補正の説明図、図６は、補正不可とする連続欠陥の説明図、図７は、同実施例における欠陥画素検出の説明図である。

また、図８は、同実施例の欠陥画素補正方法及び欠陥画素補正プログラムの手順を表したフローチャート、図９は、図８における、欠陥画素検出と連続欠陥画素検出及び評価値算出の手順を表したフローチャートである。

撮像装置１は、例えば携帯電話などのモバイル機器であって、図１に表したように、被写体像Ｐを撮像素子（本発明におけるイメージセンサである）５に導いてデジタル画像信号（各画素が単一の色の輝度情報をもつモザイク状の画像信号である）として出力する撮像ユニット１００と、撮像ユニット１００を介して出力されたデジタル画像信号に基づいて、撮像素子５における欠陥画素を検出して補正する欠陥画素補正装置２００とによって構成されている。

撮像ユニット１００は、光軸方向（図中のＺ方向）に直交する径方向に開閉自在に構成されて開閉量に応じて入射光の光量を可変するＩｒｉｓ（絞り）２、被写体像Ｐを撮像素子５に導く撮像レンズ３、撮像素子５へ向かう入射光の遮蔽及び遮蔽の解除を行うシャッター４、受光した撮像光を電気量に変換して出力する撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号に変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、撮像レンズ３の光軸方向（Ｚ方向）のスライド駆動を行うレンズ駆動部１２、センサ１１を介して撮像レンズ３のスライド量を検出する検出部１０、Ｉｒｉｓ２の開閉駆動を行うＩｒｉｓ駆動部１５、センサ１７を介してＩｒｉｓ２の開閉量を検出する検出部１６を備えている。

撮像素子５は、単板式撮像素子であって、複数の光電変換素子がマトリクス状に配置され、その前面には光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した単一色の光量を電気信号に変換するように構成されている。

原色ベイヤー配列は、図２（ａ）に表したように、Ｇ色のフィルタが市松模様で配置され、Ｇ色フィルタとＲ色フィルタが交互に配置された列とＧ色フィルタとＢ色フィルタが配置された列とが交互に構成されている。また、本実施例では、図２（ａ）において、Ｒに並んで一方向に配置されたＧ色をＧｒと表し、Ｂに並んで一方向に配置されたＧ色をＧｂと表す。

ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器８を介して入力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、デジタル画像信号に変換して欠陥画素補正装置２００に出力する。

なお、撮像ユニット１００において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一色の情報しかもたないので、撮像ユニット１００から欠陥画素補正装置２００に、モザイク状の画像信号が出力される。

次に、欠陥画素補正装置２００は、撮像ユニット１００から出力されたモザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に記憶するフィールドメモリ２１、フィールドメモリ２１から出力された画像データにもとづき、後述の補正情報作成モード又は撮影補正モードの何れかを選択するモード選択部２０等を備えている。

また、欠陥画素補正装置２００は、撮像素子５の欠陥画素を検出する欠陥画素検出手段２５、欠陥画素検出手段２５で検出された欠陥画素の座標に対応付けて色毎に欠陥画素マップを生成する欠陥画素マップ生成手段３１、欠陥画素マップにおいて連続して現れる欠陥画素群毎に、予めＲＯＭ１９に記憶された連続欠陥の態様を表す複数のパターンに対し、マッチング判定して該パターンに対応する連続欠陥を抽出する欠陥画素群抽出手段３２等を備えている。

また、欠陥画素補正装置２００は、欠陥画素群抽出手段３２で検出された連続欠陥及び欠陥画素の欠陥度合いを評価する欠陥画素群評価手段３３、欠陥画素群評価手段３３を介して出力された欠陥画素群に対して補正対象の欠陥画素を選択する補正対象欠陥画素選択手段３７、補正対象の欠陥画素及びその座標に対応付けて補正の仕方を表す補正情報を記憶する補正情報記憶手段３８（本発明における記憶テーブルである）、モード選択部２０での撮影補正モードの選択に伴って、フィールドメモリ２１を介して出力された画像データの欠陥画素を補正する画像データ補正手段４２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９等を備え、ＣＰＵ１８がＲＯＭ１９に格納された制御用プログラムに従って、当該撮像装置１及び欠陥画素補正装置２００の各処理を制御する。

フィールドメモリ２１は、図１及び図２に表したように、ベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲフィールドメモリ２２と、Ｇｒの画素信号を記憶するＧｒフィールドメモリ２３ａと、Ｇｂの画素信号を記憶するＧｂフィールドメモリ２３ｂと、Ｂの画素信号を記憶するＢフィールドメモリ２４と、によって構成され、ＣＰＵ１８からの指令に基づき、これらの画素信号（以下、画素値という）を補正モード選択部２０に出力する。

モード選択部２０は、ＣＰＵ１８からの指令にもとづいて、補正情報（補正情報記憶部３８に記憶される補正情報）の作成又は撮影した画像補正の何れかを選択する。

また、欠陥画素補正装置２００は、通常、撮像ユニット１００がユーザに出荷される前に、静的補正を行って補正すべき欠陥画素の座標とその補正の仕方を表す補正情報が後述の補正情報記憶部３８に格納され、撮像ユニット１００がユーザで使用される際には、ＲＯＭ１９に格納されたプログラムに基づいて、撮影毎に、補正情報記憶部３８に格納された補正情報に基づいて静的補正を行った後に、補正情報記憶部３８に格納されない他の欠陥画素を再検出して動的補正を行うように用いられる。

欠陥画素検出手段２５は、フィールドメモリ２１で記憶されたＲ、Ｇｒ、Ｇｂ、Ｂ毎に、撮像素子５を介して撮像される画面をマトリクス状に複数の領域に分割する画像領域分割部２６と、分割された各領域における画素の画素値と画素数の分布を生成する画素分布生成部２７と、画素分布の中から正常な画素の画素値の基準値を設定する基準値設定部２８と、欠陥画素を検出するための閾値を取得する閾値取得部２９と、閾値及び基準値を用い注目画素の欠陥有無を判定して欠陥画素を検出する欠陥画素検出部３０と、によって構成されている。

詳しくは、図７（ａ）に表したように、画像領域分割部２６では、撮像素子５から出力される画像データの全領域に対して、オプティカルブラックと呼ばれる無効画素領域（図中のＯＢ領域）を設定し、その無効画素領域の内側に位置する有効画素領域を所定にブロックに分割する。また、分割数は、予め撮像素子５の画素数や所望の撮像条件に対応付けて設定され、ＲＯＭ１９又はインターフェス（図示せず）を介してオペレータから入力される。例えば、有効画素領域の画素サイズを横１９２０×縦１０８０とし、一つ領域における画素数を横６４×縦６４として分割数を求めれば、横が３０（１９２０／６４＝３０）、縦が１７（１０８０／６４≒１７）の分割数が設定され、その結果、３０×１７×４（色の数＝４）＝２０４０の分割された画像データ領域が設定される。

次に、図７（ｂ）、（ｃ）に表したように、画素分布生成部２７では、分割された領域において、画素値毎の画素数を表すヒストグラムを画素分布として生成する。また、この際、欠陥画素の検出が、入射光に反応しない黒キズと、入射光がなくても異常に強い暗電流を発生する白キズとの両者に行われ、白キズ検出のヒストグラム（図７（ｂ））と黒キズ検出のヒストグラム（図７（ｃ））が生成される。

また、白キズ検出の際は、撮像ユニット１００の電源印加時にシャッター４を閉じて撮像素子５（所謂、イメージセンサである）を遮光した状態で１画面分撮像して得られた画像データを用いて各画素値を取得し、黒キズ検出の際は、Ｉｒｉｓ２及びシャッター４を所定量に開放して所定の露出条件で黒キズ検出専用の被写体を１画面分撮像し、この撮像で得られた画像データを用いて各画素値を取得する。

基準値設定部２８では、図７（ｂ）に表したように白キズ検出のヒストグラム中で最も多く現れる画素値を白キズ検出の基準値とするとともに、図７（ｃ）に表したように黒キズ検出のヒストグラム中で最も多く現れる画素値を黒キズ検出の基準値とする。

欠陥画素検出部３０は、白キズ検出の際は、図７（ｂ）に表したように、基準値に閾値を加えた値を判定値とし、この判定値より画素値が高い画素を欠陥画素として検出し、黒キズ検出の際は、図７（ｃ）に表したように、基準値から閾値を減算した値を判定値とし、この判定値よりも画素値が低い画素を欠陥画素として検出する。また、閾値は、白キズ検出用と黒キズ検出用の夫々に設定されている。

次に、欠陥画素マップ生成手段３１は、欠陥画素検出手段２５の検出結果にもとづいて、図７（ｄ）に表したように、画素毎に正常画素を０、欠陥画素を１とする欠陥画素マップを生成する。

次に、欠陥画素群抽出手段３２は、欠陥画素マップ生成手段で生成された欠陥画素マップに対して、予めＲＯＭ１９に記憶された連続欠陥の複数のパターンを照合させてマッチング判定し、該パターンに対応する連続欠陥を抽出する。

ＲＯＭ１９には、予め、図３〜図６に表したように、横連続欠陥、縦連続欠陥、斜め連続欠陥、補正不可とする欠陥等のパターンが格納されている。

詳しくは、ＲＯＭ１９には、図３に表したように、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎の、単欠陥パターン（ａ）、横２連欠陥パターン（ｂ）、横３連欠陥パターン（ｃ）が備えられ、図４に表したように、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎の、縦２連欠陥パターン（ａ）、縦３連欠陥パターン（ｂ）、縦５連欠陥パターン（ｃ）が備えられ、図５に表したようにＲ、Ｂ毎の斜め２連欠陥パターン（ａ）及び斜め３連欠陥パターン（ｂ）、Ｇの斜め３連欠陥パターン（ｃ）及びＧの斜め２連欠陥パターン（ｄ）等と、その補正方法が格納されている。

また、図６に表したように、ＲＯＭ１９には、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎の横４連欠陥パターン（ａ）、横３連×縦２連欠陥パターン（ｂ）〜（ｄ）が、補正不可とする欠陥パターンとして格納されている。

次に、図１に表したように、欠陥画素群評価手段３３は、欠陥画素群抽出手段３２を介して抽出された欠陥画素群毎における、補正不可とする連続欠陥群を検出する補正不可欠陥検出部３４、欠陥画素の補正候補を検出する欠陥補正候補検出部３５、補正を行う欠陥画素につき補正効果の度合いを表す評価値（所謂、複数の補正候補の補正の優先順位を表す評価値である）を算出する評価値算出部３６等を備えている。なお、本発明における補正候補検出手段が欠陥補正候補検出部３５によってその機能が発現され、本発明における欠陥度評価手段が評価値算出部３６によってその機能が発現される。

補正不可欠陥検出部３４は、欠陥画素マップ生成手段３１で生成されて欠陥画素マップにおいて、図６（ａ）〜（ｄ）に表した横４連欠陥及び横３連×縦２連欠陥の補正を不可として検出し、補正不可報知部４６にその補正不可情報を出力する。そして、補正不可報知部４６において、補正不可情報を例えば液晶表示等によって表示する。また、本実施例では、補正不可とする欠陥画素群が検出された際に、欠陥画素補正装置２００による欠陥画素検出の処理を中止するか否かを、図示されないインターフェースを介して、オペレータが選択できるように構成されている。

次に、欠陥画素補正候補検出部３５は、欠陥画素群抽出手段３２で抽出された欠陥画素群に対して補正候補の欠陥画素を検出すると共に、評価値算出部３６において、補正候補の優先順位を生成するための評価値を算出する。

また、欠陥画素候補検出部３５は、予めＲＯＭ１９に格納された欠陥画素の横方向、縦方向、斜め方向の配列パターンに対応付けて、欠陥画素群抽出手段３２で抽出された各欠陥画素列の中から補正候補とする欠陥画素を検出する。

詳しくは、図３（ｂ）、（ｃ）に表したように、横２連欠陥については、何れかの欠陥度が高い欠陥画素（本実施例では図中のｍｏである）を補正候補として検出し、横３連欠陥については、両端の欠陥画素（本実施例では図中のｍｏ，ｑｏ）を補正候補として検出する。また、図３（ａ）に表した単欠陥については、静的補正の対象外とする。

また、図４（ａ）〜（ｃ）に表したように、縦２連欠陥については、欠陥度が高い欠陥画素（本実施例では図中のｏｏである）を補正候補として検出し、縦３連欠陥については、縦方向中間の欠陥画素（本実施例ではｏｏである）を補正候補とし、縦５連欠陥については、縦方向一つとびに、欠陥画素（本実施例ではｏｍ，ｏｑである）を補正候補として検出する。

また、縦方向の連欠陥については、図示しない縦４連欠陥や５連を超える欠陥についても、縦方向に一つとびに補正するように補正候補を検出する。

また、図５（ａ）、（ｂ）に表したように、Ｒ又はＢの斜め２連欠陥については、欠陥度の高い欠陥画素（本実施例では図中のｏｏである）を補正候補としとして検出し、Ｒ又はＢの斜め３連欠陥については、斜め方向中間の欠陥画素（本実施例ではｏｏである）を補正候補として検出する。

また、図５（ｃ）、（ｄ）に表したように、ＧｒとＧｂを共通としたＧの斜め３連欠陥については、斜め方向中間の欠陥画素（本実施例ではｏｏである）を補正候補として検出し、ＧｒとＧｂを共通としたＧの斜め２連欠陥については、欠陥度の高い欠陥画素（本実施例では図中のｏｏである）を補正候補として検出する。

そして、評価値算出部３６は、補正対象とする欠陥画素が補正情報記憶手段３８の記憶の容量からオーバしないように、欠陥画素補正の優先順位となる評価値を算出する。詳しくは、図７（ｄ）に表したように、注目欠陥画素を中心に３（横方向画素数）×３（縦方向画素数）の画素範囲を設定し、この画素範囲に含まれる欠陥画素について、画素値から基準値を減算した値の絶対値を算出し、それら合計を評価値とする。

図７（ｄ）の例では、注目欠陥画素の画素値が８０であって、３×３の画素範囲に含まれる他の欠陥画素の画素値が３５、８０、７０、６５、ブロック内の基準値が１４である。従って、評価値＝Ａｂｓ（３５−１４）＋Ａｂｓ（８０−１４）＋Ａｂｓ（７０−１４）＋Ａｂｓ（６５−１４）、の演算式により、評価値＝１９４が得られる。

次に、補正対象欠陥画素選択手段３７は、欠陥画素群評価手段３３で検出された補正候補とその評価値にもとづいて、評価値が高い補正候補を優先して補正する欠陥画素とし、補正候補の数が補正情報記憶手段４１の記憶容量に関連つけて設定された所定値から超える際には、評価値が低い補正候補を補正対象の欠陥画素から除去する。なお、本発明における補正対象選択手段は、補正対象欠陥画素選択手段３７によってその機能が発現される。

次に、補正情報記憶手段３８は、横方向連欠陥補正情報記憶部３９、縦方向連欠陥補正情報記憶部４０、斜め方向連欠陥補正情報記憶部４１によって構成され、補正対象欠陥画素選択手段で選択された各欠陥画素を、この欠陥画素を含む欠陥画素列の横、縦、斜めのパターンに対応つけて、補正の仕方を表す情報を記憶する。

横方向連欠陥補正情報記憶部３９は、図３（ｂ）に表したように、横２連欠陥については、補正する欠陥画素（本実施例では図中のｍｏである）に対して横方向に隣接する正常画素（本実施例では図中のｋｏである）の画素値を欠陥画素の画素値とするように補正情報を記憶し、図３（ｃ）に表したように、横３連欠陥については、補正する欠陥画素（本実施例では図中のｍｏ，ｑｏ）に隣接する正常画素の画素値（本実施例では図中のｋｏ，ｓｏ）を、夫々、欠陥画素の補正値とするように補正情報を記憶する。

縦方向連欠陥補正情報記憶部４０は、図４（ａ）に表したように、縦２連欠陥については、補正する欠陥画素（本実施例では図中のｏｏである）に対して横方向両側に隣接する正常画素（本実施例ではｍｏ，ｑｏである）の平均の画素値を欠陥画素の画素値とするように補正情報を記憶し、図４（ｂ）に表したように、縦３連欠陥については、補正する欠陥画素（本実施例ではｏｏである）に対して横方向両側に隣接する正常画素（本実施例ではｍｏ，ｑｏである）の平均の画素値を欠陥画素の画素値とするように補正情報を記憶し、図４（ｃ）に表したように縦５連欠陥については、補正する欠陥画素（本実施例ではｏｍ，ｏｑである）に対して横方向両側に隣接する正常画素（本実施例ではｍｍ及びｑｍ、ｍｑ及びｑｑである）の平均の画素値を補正する欠陥画素の画素値とするように補正情報を記憶する。

また、縦方向連欠陥補正情報記憶部４０は、図示しない４連や５連を超える縦方向の連続欠陥についても、補正する欠陥画素に対して横方向両側に隣接する正常画素の平均の画素値を、補正する欠陥画素の画素値とするように補正情報を記憶する。

斜め方向連欠陥補正情報記憶部４１は、図５（ａ）に表したように、Ｒ又はＢの斜め２連欠陥については、補正する欠陥画素（本実施例では図中のｏｏである）に対して横方向両側に隣接する正常画素（本実施例ではｍｏ，ｑｏである）の平均の画素値を欠陥画素の画素値とするように補正情報を記憶し、図５（ｂ）に表したように、Ｒ又はＢの斜め３連欠陥については、補正する欠陥画素（本実施例ではｏｏである）に対して横方向両側に隣接する正常画素（本実施例ではｍｏ，ｑｏである）の平均の画素値を欠陥画素の画素値とするように補正情報を記憶する。

また、斜め方向連欠陥補正情報記憶部４１は、図５（ｃ）に表したように、ＧｒとＧｂを共通としたＧの斜め３連欠陥については、補正する欠陥画素（本実施例ではｏｏである）を補正する欠陥画素に対して横方向両側に隣接する正常画素（本実施例ではｍｏ，ｑｏである）の平均の画素値を欠陥画素の画素値とするように補正情報を記憶し、図５（ｄ）に表したように、ＧｒとＧｂを共通としたＧの斜め２連欠陥については、補正する欠陥画素（本実施例では図中のｏｏである）に対して横方向両側に隣接する正常画素（本実施例ではｍｏ，ｑｏである）の平均の画素値を欠陥画素の画素値とするように補正情報を記憶する。

また、斜め方向連欠陥補正情報記憶部４１は、図示しない４連欠陥や５連を超える斜め方向の連続欠陥についても、補正する欠陥画素に対して横方向両側に隣接する正常画素の平均の画素値を、補正する欠陥画素の画素値とするように補正情報を記憶する。

次に、画像データ補正手段４２は、被写体の撮影毎に、補正情報記憶手段３８に記憶された補正情報にもとづいて画像データの欠陥画素を補正する静的補正手段４３と、静的補正手段の後で、補正情報記憶手段３８に記憶されずに残った欠陥画素を、孤立欠陥画素検出部４４を介して再検出し、該欠陥画素の画素値を補間生成する動的補正手段４５によって構成されている。また、本実施例における静的補正とは、補正情報記憶手段３８に記憶された補正情報に基づいて、種々の欠陥画素列の態様に対応付けた欠陥画素の補正を選択的に行う補正方法である。一方、本実施例における動的補正とは、静的補正によって補正されずに残った孤立欠陥画素に対して、新たに被写体の撮像毎に欠陥を検出し、一様に周囲の画素からその欠陥画素を補間生成する方法である。

また、動的補正手段４５では、一様に、孤立欠陥画素検出部４４で検出された欠陥画素の周囲に位置する同色の正常画素及び静的補正手段４５で補正された画素の画素値を用いて、この欠陥画素の画素値を補間生成する。

次に、図８、図９を用いて、撮像ユニット１００から出力された欠陥画素検出用のベイヤー画像から欠陥画素を検出して、その補正情報を補正情報記憶手段４２に記憶し、新たに撮影された被写体像に含まれる欠陥画素を補正するまでの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図８及び図９におけるＳは、ステップを表している。

まず、この手順は、オペレータによって欠陥画素補正装置２００又は撮像装置１に起動信号が入力された際にスタートする。

次いで、Ｓ２００において、モード選択部２０を用いて補正情報作成モード又は撮影された被写体画像を補正する撮影補正モードの何れかを選択し、補正情報作成モードが選択された際にはＳ３００に移り、撮影補正モードが選択された際には、Ｓ１５００に移る。

次いで、Ｓ３００において、撮像素子５における欠陥画素を検出する際のパラメータとしての、テスト画像の分割数や白キズ検出のための閾値、黒キズ検出のための閾値等を設定する。この際、各設定値は、ＲＯＭ１９に予め記憶されている。

次いで、Ｓ４００において、撮像素子５の欠陥モードである、白キズ検出又は黒キズ検出の何れかを選択して、その後、Ｓ５００に移る。

次いで、Ｓ５００において、白キズ又は黒キズ検出用に撮像されたＲ、Ｇｒ、Ｇｂ、Ｂ毎のテスト画像を、フィールドメモリ２１から取得し、その後、Ｓ６００に移る。

次いで、Ｓ６００において、画像領域分割部２６を用い、テスト画像の有効画素領域をＳ３００で設定された画像分割数で複数のブロックに分割し（図７（ａ））、その後、Ｓ７００に移る。

次いで、Ｓ７００において、欠陥画素検出手段２５を用い、ブロック内における欠陥画素を検出する。詳しくは、図９（ａ）に表したように、Ｓ７１０において、ブロック内に位置する各画素の画素値を座標に対応付けて取得し、その後、Ｓ７２０に移る。

次いで、Ｓ７２０において、画素分布生成部２７及び基準値設定部２８を用い、ブロック内の画素の中で最も多く現れる画素値を正常画素の基準値として検出し（図７（ｂ）（ｃ））、その後、Ｓ７３０に移る。

次いで、Ｓ７３０において、閾値取得部２９を用い、Ｓ３００で設定された閾値を取得し、その後、Ｓ７４０に移る。

次いで、Ｓ７４０において、欠陥画素検出部３０を用い、基準値から閾値の分だけ隔てた判定値に対してブロック内に位置する各画素の画素値を比較して欠陥画素を検出し（図７（ｂ）（ｃ））、その後、図８のＳ８００に移る。

次いで、Ｓ８００において、欠陥画素マップ生成手段３１を用い、欠陥画素の位置を表す欠陥画素マップ（図７（ｄ））を生成し、その後、Ｓ９００に移る。なお、本発明におけるマップ生成ステップは、Ｓ８００においてその機能が発現される。

次いで、Ｓ９００において、欠陥画素群抽出手段３２及び欠陥画素群評価手段３３を用い、ＲＯＭ１９に記憶された補正不可とする欠陥画素パターン）を参照して、欠陥画素マップ中の補正不可とする連続欠陥画素群（図６中の（ａ）（ｂ）（ｃ）（ｄ））を検出し、その後、Ｓ１２００に移る。この際、補正不可とする連続欠陥画素群を検出が検出されたときは、その検出信号を補正不可報知部４６に出力して表示し、オペレータからの指令信号にもとづき、以下の処理実行有無の選択がなさされる。

次いで、Ｓ１０００において、欠陥画素群抽出手段３２及び欠陥画素群評価手段３３を用い、欠陥画素マップ中における横方向、縦方向、斜め方向の連続欠陥の検出と評価値の算出を行う。詳しくは、まず、図９（ｂ）に表したように、Ｓ１０１０において横方向に連続する欠陥（図３（ａ）（ｂ）（ｃ））を検出し、その後、Ｓ１０１５に移る。

次いで、Ｓ１０１５において、横連続欠陥の態様にもとづき、補正候補となる欠陥画素の補正の順位を決定するための評価値を算出し（図７（ｄ））、その後、Ｓ１０２０に移る。

次いで、Ｓ１０２０において、欠陥画素マップ中における縦方向の縦続欠陥（図４（ａ）（ｂ）（ｃ））の検出を行い、その後、Ｓ１０２５において、縦連続欠陥の態様にもとづき、補正候補となる欠陥画素の補正の順位を決定するための評価値を算出し、その後、Ｓ１０３０に移る。

次いで、Ｓ１０３０において、欠陥画素マップ中における斜め方向の縦続欠陥（図５（ａ）（ｂ）（ｃ）（ｄ））の検出を行い、その後、Ｓ１２３５において、斜め連続欠陥の態様にもとづき、補正候補となる欠陥画素の補正の順位を決定するための評価値を算出し、その後、図８中のＳ１３００に移る。なお、本発明における補正候補検出ステップ及び欠陥度評価ステップは、Ｓ１０１０〜Ｓ１０３５によってその機能が発現される。

次いで、Ｓ１１００において、補正対象欠陥画素選択手段３８を用い、Ｓ１０００で検出された補正候補とする欠陥画素数の合計を計数し、計数された合計値が予め定められた所定値の範囲を超えているか否かを判定し、所定値を超えていない（Ｎｏ）際にはＳ１２００に移り、一方、所定値を超えている（Ｙｅｓ）際には、所定値の範囲に収まるように、その補正候補を補正すべき欠陥画素の中から評価値の小さいものを選択して補正候補から除去し、その後、Ｓ１２００に移る。なお、本発明における補正対象選択ステップは、Ｓ１１００、Ｓ１１５０によってその機能が発現される。

次いで、Ｓ１２００において、次のブロックが有るか否かを判定し、次のブロックが有る（Ｙｅｓ）の際にはＳ７００に移ってＳ７００からＳ１２００を繰り返し、次のブロックが無い（Ｎｏ）の際にはＳ１３００に移る。

次いで、Ｓ１３００において、次の検出するキズモード（つまり、白キズか黒キズの何れかである）が有るか否かを判定し、次の検出キズモードが有る（Ｙｅｓ）の際にはＳ４００に移ってＳ４００からＳ１３００を繰り返し、次の検出キズモードが無い（Ｎｏ）の際にはＳ１４００に移る。

次いで、Ｓ１４００において、補正情報記憶手段３８を用い、補正対象欠陥画素選択手段３７で選択された各欠陥画素を、この欠陥画素を含む欠陥画素列の横、縦、斜めのパターンに対応つけて、補正の仕方を表す情報を補正情報記憶手段３８に記憶する。なお、本発明における補正情報記憶ステップは、Ｓ１４００においてその機能が発現される。

次いで、Ｓ１５００において、撮影された被写体像のベイヤー画像を取得し、その後、Ｓ１６００に移る。

次いで、Ｓ１６００において、静的補正手段４３を用い、補正情報記憶手段３８に格納された補正情報にもとづき、ベイヤー画像における欠陥画素を補正し、その後、Ｓ１７００に移る。なお、本発明における画像データ補正ステップは、Ｓ１６００によってその機能が発現される。

次いで、Ｓ１７００において、孤立欠陥画素再検出部４４を用い、Ｓ１６００で静的補正された後のベイヤー画像に対して、再度、補正されずに残った欠陥画素を検出し、その後、Ｓ１８００に移る。

次いで、Ｓ１８００において、動的補正手段４５を用い、Ｓ１７００で再検出された欠陥画素の画素値を、周囲における同色の画素の画素値を用いて補間生成し、その後、Ｓ１９００に移る。

次いで、Ｓ１９００において、次の撮影画像があるか否かを判定し、次の撮影画像がある（Ｙｅｓ）の際にはＳ１５００〜Ｓ１９００を繰り返し、次の撮影画像がない（Ｎｏ）にいたった際に、本欠陥画素補正のプログラムを終了する。

以上のように、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、欠陥画素マップ生成手段３１を用いて欠陥画素マップを生成し、次いで、欠陥画素マップにおいて欠陥画素が連続して現れる欠陥画素列が生成されている際には、不連続の欠陥画素になるように欠陥画素列の中で補正する欠陥画素を選択して補正情報記憶手段３８に記憶し、次いで、静的補正手段４３を用いて、補正情報記憶手段３８に格納された補正情報にもとづいて補正する欠陥画素として選択された欠陥画素の画素値を補正し、次いで、補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、孤立欠陥画素再検出部４４を用い、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成することにより、欠陥画素が増加しても欠陥画素の補正情報を記憶する記憶情報記憶手段の記憶容量を節減でき、且つ、欠陥画素が連続する欠陥画素列を適切に補正できる。

また、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、撮像素子５が、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサにおいて、マップが色光の夫々毎に生成されていることにより、撮像素子５における欠陥画素を適切に補正できる。

また、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、補正情報記憶手段３８において、欠陥画素を補正する補正情報が、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられていることにより、ベイヤー配列のカラーフィルタ５ａを備えた撮像素子５における欠陥画素を適切に補正できる。

また、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、欠陥画素検出手段２５を用い、撮像素子５を介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて欠陥画素を検出することにより、分割された領域毎に精度良く欠陥画素を検出できて、高品位の画像データを得ることができ、且つ、分割された領域において、画素値毎の画素数を表す分布を生成して、該分布から基準となる画素値を検出し、該基準の画素値に対する各画素の画素値の差分を前記閾値と比較することにより、欠陥画素を検出することができる。

また、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、欠陥画素群評価手段３３を用い、補正候補とする欠陥画素毎にその欠陥度合いを表す評価値を生成し、次いで、補正対象欠陥画素選択手段３７を用い、補正候補の欠陥画素数が予め定められた所定値を超えた際に、該所定値内になるように、評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去することにより、万が一欠陥画素群の数が所定値を超える際には、所定値内になるように選択できて、記憶情報記憶手段３８のメモリ容量を節減できると共に、記憶テーブルの所定の記憶容量内で処理できる。

また、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、評価値算出部３６において評価値を生成する際に、補正候補の欠陥画素を中心として所定の画素範囲を設定し、該所定の画素範囲に位置する全欠陥画素に対して夫々判定値からの差分を合計し、該差分の合計値を前記評価値とすることにより、補正に好ましい欠陥画素を選択できる。

また、本実施例に記載の欠陥画素補正装置２００、欠陥画素補正方法及び欠陥画素補正プログラムによれば、補正不可検出部３４において、欠陥画素群が所定の連続性を有する態様にいたった際に該欠陥画素群の補正を不可として検出することにより、無理な補正を行うことなく、欠陥画素補正の信頼性を高めることができる。

以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種々の態様を取ることができる。

例えば、図８、図９における欠陥画素検出から欠陥画素を補正するまでの手順において、Ｓ１００〜Ｓ１９００を介して終了するまでの一連の処理を連結して行うことに限定するものではない。例えば、Ｓ８００で欠陥画素マップ生成して、一旦このマップ情報を記憶媒体に記憶しておき、必要に応じて記憶媒体から欠陥画素マップを引き出してＳ９００の補正不可欠陥検出以降の処理を実施してもよい。

また、Ｓ１００〜Ｓ１４００とＳ１５００以降の処理を連続して行うことに限定するものではなく、Ｓ１００〜Ｓ１４００の処理が欠陥画素検出用のテスト画像に対して行われ、Ｓ１５００〜Ｓ１９００の処理が撮像ユニット１００の常用時における被写体画像に対して行われるので、例えば、Ｓ１００〜Ｓ１４００については撮像ユニット１００をユーザに出荷する前の処理とし、Ｓ１５００以降をユーザが常用する際の処理としてもよい。

また、撮像ユニット１００には、欠陥画素マップ生成手段３１で生成された欠陥画素マップや補正情報記憶手段３８で記憶された補正情報を記憶する記憶手段を備えてもよい。

また、評価値算出部３６で算出された各欠陥画素の評価値を合計し、この合計値を表示したり、この合計値が予め定められた第２の所定値を超えた際には、補正不可報知部４６を介して、撮像素子５における欠陥画素の補正を不可として報知したりするように構成してもよい。また、補正不可欠陥検出部３４で検出された補正不可とする欠陥画素群の情報を補正情報記憶手段３８に格納してもよい。これにより、撮像素子５から出力される画像データにおける欠陥度合いを前記評価値の合計から測ることができて付加価値を向上できる。

本発明の欠陥画素方法、欠陥画素補正装置及び欠陥画素補正プログラムが適用された一実施例の撮像装置１の構成を表したブロック図である。 同実施例における、ベイヤー配列のイメージセンサから出力される色毎の画素データの説明図である。 同実施例における、横連続欠陥補正の説明図である。 同実施例における、縦連続欠陥補正の説明図である。 同実施例における、斜め連続欠陥補正の説明図である。 同実施例における、補正不可とする連続欠陥の説明図である。 同実施例における、欠陥画素検出の説明図である。 同実施例における、欠陥画素補正方法及び欠陥画素補正プログラムの手順を表したフローチャートである。 図８における、欠陥画素検出と連続欠陥画素検出及び評価値算出の手順を表したフローチャートである。

符号の説明

１…撮像装置、２…Ｉｒｉｓ、３…撮像レンズ、４…シャッター、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…検出部、１１…センサ、１２…レンズ駆動部、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、１５…Ｉｒｉｓ駆動部、１６…検出部、１７…センサ、１８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、２０…モード選択部、２１…フィールドメモリ、２２…Ｒフィールドメモリ、２３ａ…Ｇｒフィールドメモリ、２３ｂ…Ｇｂフィールドメモリ、２４…Ｂフィールドメモリ、２５…欠陥画素検出手段、２６…画像領域分割部、２７…画素分布生成部、２８…基準値設定部、２９…閾値取得部、３０…欠陥画素検出部、３１…欠陥画素マップ生成手段、３２…欠陥画素群抽出手段、３３…欠陥画素群評価手段、３４…補正不可欠陥検出部、３５…欠陥画素補正候補検出部、３６…評価値算出部、３７…補正対象選択手段、３８…補正情報記憶手段、３９…横方向連欠陥補正情報記憶部、４０…縦方向連欠陥補正情報記憶部、４１…斜め方向連欠陥補正情報記憶部、４２…画像データ補正手段、４３…静的補正手段、４４…孤立欠陥画素再検出部、４５…動的補正手段、４６…補正不可報知部、１００…撮像ユニット、２００…欠陥画素補正装置。

Claims (30)

1. 検出されたイメージセンサの欠陥画素に対応付けて、その補正の仕方を表す補正情報を記憶テーブルに記憶し、この補正情報に基づいて、前記イメージセンサを介して出力された画像データの欠陥画素を補正する欠陥画素補正方法において、
   前記補正情報を記憶する際に、
   前記欠陥画素の座標を求め、該座標に対応付けて欠陥画素のマップを生成するマップ生成ステップと、
   前記マップを参照して前記補正情報を前記記憶テーブルに記憶する補正情報記憶ステップと、
   前記記憶テーブルに記憶された前記補正情報に基づいて、前記画像データを補正する画像データ補正ステップと、
   を備え、
   前記マップにおいて前記欠陥画素が連続して現れる欠陥画素列が構成されている際には、
   前記補正情報記憶ステップにおいて、不連続の欠陥画素になるように、前記欠陥画素列の中で補正する欠陥画素を選択して前記記憶テーブルに記憶し、
   前記画像データ補正ステップにおいて、
   前記記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された前記欠陥画素の画素値を補正し、
   補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成する、
   ことを特徴とする欠陥画素補正方法。
2. 前記イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、
   前記マップが、前記色光の夫々毎に生成されている、
   ことを特徴とする請求項１に記載の欠陥画素補正方法。
3. 前記イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備え、各画素が単一色の輝度情報のみを有し、
   前記ベイヤー配列に対応付けて、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
   前記補正情報が、
   Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、
   Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられている、
   ことを特徴とする請求項１又は請求項２に記載の欠陥画素補正方法
4. 前記イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、前記欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて前記欠陥画素を検出する、
   ことを特徴とする請求項１乃至請求項３の何れか記載の欠陥画素補正方法。
5. 前記分割された領域において、画素値毎の画素数を表す分布を生成して、該分布から基準となる画素値を検出し、該基準の画素値に対して前記閾値の分だけ欠陥方向に隔てた画素値を欠陥有無の判定値とし、各画素の画素値を前記判定値と比較して前記欠陥画素を検出する、
   ことを特徴とする請求項４に記載の欠陥画素補正方法。
6. 前記基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値である、
   ことを特徴とする請求項５に記載の欠陥画素補正方法。
7. 前記欠陥画素の補正候補を検出する補正候補検出ステップと、前記補正候補毎にその欠陥度合いを表す評価値を生成する欠陥度評価ステップと、前記補正候補の数が予め定められた所定値を超えた際に、該所定値内になるように、前記評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去する補正対象選択ステップと、
   を備えることを特徴とする請求項１乃至請求項６の何れか記載の欠陥画素補正方法。
8. 前記欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正する、
   ことを特徴とする請求項１乃至請求項７の何れか記載の欠陥画素補正方法。
9. 前記補正情報記憶ステップでは、前記欠陥画素が所定の連続性を有する欠陥画素群の態様にいたった際に、該欠陥画素群の補正を不可として記憶する、
   ことを特徴とする請求項１乃至請求項８の何れか記載の欠陥画素補正方法。
10. 前記画像データにおける前記評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける欠陥画素の補正を不可として報知する、
    ことを特徴とする請求項７乃至請求項９の何れか記載の欠陥画素補正方法。
11. 検出されたイメージセンサの欠陥画素に対応付けて、その補正の仕方を表す補正情報を記憶テーブルに記憶し、この情報に基づいて、前記イメージセンサを介して出力された画像データの欠陥画素を補正する欠陥画素補正プログラムにおいて、
    前記補正情報を記憶する際に、
    前記欠陥画素の座標を求め、該座標に対応付けて欠陥画素のマップを生成するマップ生成ステップと、
    前記マップを参照して前記補正情報を前記記憶テーブルに記憶する補正情報記憶ステップと、
    前記記憶テーブルに記憶された前記補正情報に基づいて、前記画像データを補正する画像データ補正ステップと、
    を備え、
    前記マップにおいて前記欠陥画素が連続して現れる欠陥画素列が構成されている際には、
    前記補正情報記憶ステップにおいて、不連続の欠陥画素になるように、前記欠陥画素列の中で補正する欠陥画素を選択して前記記憶テーブルに記憶し、
    前記画像データ補正ステップにおいて、
    前記記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された前記欠陥画素の画素値を補正し、
    補正する欠陥画素として選択されずに残った他の欠陥画素については、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成する、
    ようにコンピュータに実行させることを特徴とする欠陥画素補正プログラム。
12. 前記イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、
    前記マップが、前記色光の夫々毎に生成される、
    ようにコンピュータに実行させることを特徴とする請求項１１に記載の欠陥画素補正プログラム。
13. 前記イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備えて各画素が単一色の輝度情報のみを有する画素値を生成し、
    前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
    前記補正情報が、
    Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、
    Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられる、
    ようにコンピュータに実行させることを特徴とする請求項１１又は請求項１２に記載の欠陥画素補正プログラム。
14. 前記イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、前記欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて前記欠陥画素を検出する、
    ようにコンピュータに実行させることを特徴とする請求項１１乃至請求項１３の何れか記載の欠陥画素補正プログラム。
15. 前記分割された領域において、画素値毎の画素数を表す分布を求めて該分布から基準となる画素値を検出し、該基準の画素値に対して前記閾値の分だけ欠陥方向に隔てた画素値を欠陥有無の判定値とし、各画素の画素値を前記判定値と比較して前記欠陥画素を検出する、
    ようにコンピュータに実行させることを特徴とする請求項１４に記載の欠陥画素補正プログラム。
16. 前記基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値である、
    ようにコンピュータに実行させることを特徴とする請求項１５に記載の欠陥画素補正プログラム。
17. 前記欠陥画素の補正候補を検出する補正候補検出ステップと、前記補正候補毎にその欠陥度合いを表す評価値を生成する欠陥度評価ステップと、前記補正候補の数が予め定められた所定値を超えた際に、該所定値内になるように、前記評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去する補正対象選択ステップと、
    をコンピュータに実行させることを特徴とする請求項１１乃至請求項１６の何れか記載欠陥画素補正プログラム。
18. 前記欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正する、
    ようにコンピュータに実行させることを特徴とする請求項１１乃至請求項１７の何れか記載の欠陥画素補正プログラム。
19. 前記補正情報記憶ステップでは、前記欠陥画素が所定の連続性を有する欠陥画素群の態様にいたった際に、該欠陥画素群の補正を不可として記憶する、
    ようにコンピュータに実行させることを特徴とする請求項１１乃至請求項１８の何れか記載の欠陥画素補正プログラム。
20. 前記画像データにおける前記評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける前記欠陥画素の補正を不可とし報知する、
    ようにコンピュータに実行させることを特徴とする請求項１７乃至請求項１９の何れか記載の欠陥画素補正プログラム。
21. 検出されたイメージセンサの欠陥画素に対応付けて、その補正の仕方を表す補正情報を記憶テーブルに記憶し、この情報に基づいて、前記イメージセンサを介して出力された画像データの欠陥画素を補正する欠陥画素補正装置において、
    前記補正情報を記憶する際に、
    前記欠陥画素の座標を求め、該座標に対応付けて欠陥画素のマップを生成するマップ生成手段と、
    前記マップを参照して前記補正情報を前記記憶テーブルに記憶する補正情報記憶手段と、
    前記記憶テーブルに記憶された前記補正情報に基づいて、前記画像データを補正する画像データ補正手段と、
    を備え、
    前記マップにおいて、前記欠陥画素が連続して現れる欠陥画素列が構成されている際には、
    前記補正情報記憶手段が、不連続の欠陥画素になるように、前記欠陥画素列の中で補正する欠陥画素を選択して前記記憶テーブルに記憶し、
    前記画像データ補正手段が、前記記憶テーブルに格納された補正情報にもとづいて、補正する欠陥画素として選択された前記欠陥画素の画素値を補正し、
    補正する欠陥画素として選択されずに残った他の欠陥画素については、撮像毎に、周囲の画素の画素値を参照して新たに欠陥の有無を検出し、欠陥である際にはその欠陥画素の画素値を周囲の画素の画素値から補間して生成する、
    ように構成されていることを特徴とする欠陥画素補正装置。
22. 前記イメージセンサが、マトリクス状に配設された複数の光電変換素子によって構成され、相異なる複数の色光を光電変換して画素毎に単一色の輝度情報を出力するカラーイメージセンサであって、
    前記マップが、前記色光の夫々毎に生成されている、
    ことを特徴とする請求項２１に記載の欠陥画素補正装置。
23. 前記イメージセンサが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の単一色光を透過するベイヤー配列のカラーフィルタを備えて各画素が単一色の輝度情報のみを有する画素値を生成し、
    前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
    前記補正情報が、
    Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、画素配列の水平及び垂直方向に連続して現れる欠陥画素に対応付けられ、
    Ｒ、Ｇ、Ｂ毎に、前記画素配列の斜め方向に連続して現れる欠陥画素に対応付けられている、
    ことを特徴とする請求項２１又は請求項２２に記載の欠陥画素補正装置。
24. 前記イメージセンサを介して撮像される画面をマトリクス状に複数の領域に分割し、該分割された領域毎に、前記欠陥画素を検出するための画素値の閾値を設定し、該閾値に基づいて前記欠陥画素を検出する欠陥画素検出手段を備えている、
    ことを特徴とする請求項２１乃至請求項２３の何れか記載の欠陥画素補正装置。
25. 前記欠陥画素検出手段が、前記分割された領域において、画素値毎の画素数を表す分布を求めて該分布から基準となる画素値を検出し、該基準の画素値に対して前記閾値の分だけ欠陥方向に隔てた画素値を欠陥有無の判定値とし、各画素の画素値を前記判定値と比較して前記欠陥画素を検出するように構成されている、
    ことを特徴とする請求項２４に記載の欠陥画素補正装置。
26. 前記欠陥画素検出手段において、前記基準となる画素値が、画素値毎の画素数を表す分布の中で最も画素数の多い画素値である、
    ことを特徴とする請求項２５に記載の欠陥画素補正装置。
27. 前記欠陥画素の補正候補を検出する補正候補検出手段と、前記補正候補毎にその欠陥度合いを表す評価値を生成する欠陥度評価手段と、前記補正候補の数が予め定められた所定値を超えた際に、該所定値内になるように、前記評価値にもとづいて欠陥度合いの少ない欠陥画素を補正対象から除去する補正対象選択手段と、
    を備えることを特徴とする請求項２１乃至請求項２６の何れか記載の欠陥画素補正装置。
28. 前記補正情報記憶手段が、前記欠陥画素が連続して２つ現れる際には、欠陥度合いの小さい欠陥画素を残して欠陥度合いの大きい欠陥画素を補正する、
    ように構成されていることを特徴とする請求項２１乃至請求項２７の何れか記載の欠陥画素補正装置。
29. 前記補正情報記憶手段が、前記欠陥画素が所定の連続性を有する欠陥画素群の態様にいたった際に、該欠陥画素群の補正を不可として記憶する、
    ように構成されていることを特徴とする請求項２１乃至請求項２８の何れか記載の欠陥画素補正装置。
30. 前記画像データにおける前記評価値の合計値を算出し、該合計値が予め定められた第２の所定値を超えた際には、前記イメージセンサにおける前記欠陥画素の補正を不可として報知する補正不可報知手段を備えている、
    ことを特徴とする請求項２７乃至請求項２９の何れか記載の欠陥画素補正装置。
    
    

Images