JP5379601B2 - 欠陥画素データ補正装置、撮像装置及び欠陥画素データ補正方法 - Google Patents

Description

本発明は、欠陥画素データ補正装置、撮像装置及び欠陥画素データ補正方法に関し、特には撮像素子の欠陥画素の補正技術に関する。

デジタルカメラやデジタルビデオカメラなどには、ＣＭＯＳイメージセンサやＣＣＤイメージセンサを代表とする撮像素子が用いられている。撮像素子には数十万〜数千万の画素が配列されるが、素子を形成する物質の結晶欠陥やダストなどの影響により、画素として出力すべき信号（以下、正規の出力信号と呼ぶ）を発生しない画素が含まれる。このような画素は欠陥画素と呼ばれており、本明細書では、欠陥画素が出力する正規でない信号を異常出力信号と呼ぶ。なお、異常出力信号の出力とは、信号が全く出力されない状態を含みうる。

欠陥画素は、定常的に異常出力信号を出力する定常欠陥画素と、正規の出力信号と異常出力信号とを非定常的に出力する点滅欠陥画素に大別される。
ＣＭＯＳイメージセンサでは、定常欠陥画素と点滅欠陥画素では、異常信号の出力特性が異なることが知られている。定常欠陥画素では、ダスト、開口むら等の感度依存性欠陥画素を除いた場合、受光部の結晶欠陥による白点欠陥が多数を占める。よって、本明細書では、白点欠陥画素を定常欠陥画素と定義する。白点欠陥画素は暗信号の増加を伴うため、異常信号出力レべルは、欠陥画素の温度および欠陥画素の電荷蓄積時間に依存した特性を有する。
一方、点滅欠陥画素は結晶欠陥が発生する箇所が定常欠陥画素と異なるため、異常出力信号レべルの特性は欠陥画素の温度および電荷蓄積時間にほとんど依存しない。

図６に示す、ＣＭＯＳイメージセンサの画素の一般的な回路構成において、８０１は受光部であるフォトダイオード（ＰＤ）、８０２は蓄積された電荷をリセットするリセットＭＯＳである。また、８０３は電荷検出を行うフローティングディフュージョン（ＦＤ）、８０４は画素ソースフォロアである。

そして、定常欠陥画素の多くは、ＰＤ８０１の結晶欠陥に因って発生するのに対し、点滅欠陥画素は、画素ソースフォロア８０４を構成するＭＯＳトランジスタの界面順位で、電子が捕獲、放出を繰り返すことで発生すると考えられている。点滅欠陥画素の異常出力信号レベルは、異常の原因が画素ソースフォロア８０４であるため、温度や電荷蓄積時間にほとんど依存しない。

従来、欠陥画素の種類に応じて補正方法を変更し、点滅欠陥画素と定常欠陥画素とを適切に補正しようとする技術が提案されている（特許文献１参照）。

特開２００８−１３１２７３号公報

しかし、特許文献１では、点滅欠陥画素と常時欠陥画素とで異常信号出力レベルの画素温度や電荷蓄積時間に対する依存性が異なることについては特に考慮していない。そのため、欠陥画素検出時と被写体撮像時とで画素温度や電荷蓄積時間が異なる場合、上述した依存性の相違から、特に点滅欠陥画素に対する補正が適切に行われない可能性がある。例えば、温度及び電荷蓄積時間に対する依存性の大きな定常欠陥画素を基準として補正すべき欠陥画素を選択した場合、補正すべき点滅欠陥画素が選択されなかったり、補正すべきでない点滅欠陥画素が選択されたりする。前者の場合、補正残りが発生するため、画像のノイズが十分補正されず、後者の場合は不要な補正が行われるため画像の解像度が劣化するという問題がある。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、異常信号出力レベルの撮像条件に対する依存性が欠陥画素の種類によって異なることを考慮して適切な欠陥画素補正を行う欠陥画素データ補正装置及びそれを備える撮像装置、並びに欠陥画素データ補正方法を提供する。

本発明のある見地によれば、複数の画素からなる撮像素子を用いて撮像される画像データに含まれる、撮像素子の欠陥画素から出力される欠陥画素データを補正する欠陥画素データ補正装置であって、複数の画素に含まれる各欠陥画素についての欠陥画素の種類及び欠陥出力レベルを含む欠陥画素情報を記憶した欠陥画素情報記憶手段と、欠陥画素の種類の各々に対応し、撮像条件と補正対象となる欠陥出力レベルとの関係を表す複数の補正テーブルを記憶した補正テーブル記憶手段と、欠陥画素情報と、複数の補正テーブルのうち欠陥画素の種類に対応した補正テーブルとに基づいて、欠陥画素データの補正要否を判定する判定手段と、判定手段により補正要と判定された欠陥画素データを補正する補正手段と、を有することを特徴とする欠陥画素データ補正装置が提供される。

このような構成により、本発明によれば、異常信号出力レベルの撮像条件に対する依存性が欠陥画素の種類によって異なることを考慮して適切な欠陥画素補正を行うことが可能になる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図。 実施形態における点滅欠陥画素検出処理の詳細を説明するフローチャート。 実施形態における定常欠陥画素検出処理の詳細を説明するフローチャート。 実施形態における欠陥画素補正処理の詳細を説明するフローチャート。 実施形態における欠陥画素検出条件テーブルの一例を示す図。 原色ベイヤー配列のカラーフィルタを有する撮像素子を、赤画素を中心とした５×５画素分示した図。 ＣＭＯＳイメージセンサの画素の一般的な回路構成を示す図。 （ａ）は実施形態における欠陥画素情報のデータ構成例を示す図、（ｂ）は欠陥画素情報のキズID_nの例を示す図。 実施形態における点滅欠陥画素判定しきい値Ｋｔｎと定常欠陥画素判定しきい値ｋｕｎの一例を示す図。 実施形態における欠陥画素補正テーブルの例を示す図。

以下、添付図面を参照して、本発明の例示的な実施形態を説明する。
図１は、本発明の一実施形態に係る欠陥画素データ補正装置、を備える撮像装置の一例としてのデジタルスチルカメラ１２０の構成例を示すブロック図である。

撮像素子１０２は光電変換素子であり、被写体光学像を画素単位のアナログ映像信号に変換して出力する。撮像素子１０２は、例えばＣＭＯＳイメージセンサである。レンズ１００は、被写体光学像を撮像素子１０２上に結像する。メカニカルシャッター（メカシャッター）１０１は、レンズ１００と撮像素子１０２との間の光路を開閉させる。タイミングジェネレータ(TG)１０３は、撮像素子１０２の駆動信号を生成する。

Ａ／Ｄ変換回路１０４は、撮像素子１０２から出力されるアナログ画像信号をデジタル画像信号に変換する。記憶部１０５の画像用メモリ１０６は、デジタル画像信号をＲＡＷ画像データとして一時記憶する。記憶部１０５は、例えば半導体記憶装置から構成される。また、画像用メモリ１０６は、例えばＤＲＡＭである。

記憶部１０５は、画像用メモリ１０６、欠陥画素情報メモリ１０７（欠陥画素情報記憶手段）、欠陥画素補正テーブル１０８（補正テーブル記憶手段）、欠陥画素検出条件テーブル１０９を有する。記憶部１０５の詳細な動作については後述する。

欠陥画素判定回路１１０（判定手段）は、欠陥画素をその種類とともに判別し、さらに異常出力信号レベル（欠陥出力レベル）を判定する。本実施形態では、欠陥画素判定回路１１０は、検出された欠陥画素が点滅欠陥画素と定常欠陥画素のいずれであるのかを判別する。なお、他の欠陥画素を判別可能に構成してもよい。
欠陥画素補正回路１１１（補正手段）は、欠陥画素判定回路１１０で欠陥画素であると判定された画素について、その種類に応じた補正を行う。

画像処理回路１１２は、画像用メモリ１０６に一時記憶されたＲＡＷ画像データに予め定められた画像処理を施し、最終的な出力画像フォーマット、例えばDCFに準拠したJPEG形式に変換する。ここで、DCFとは、デジタルカメラ用画像フォーマット（Design rule for Camera File system）の略である。そして、画像処理回路１１２は、最終的な出力画像フォーマットに変換した撮像画像を記憶媒体１１３に記憶する。記憶媒体１１３は、例えば半導体メモリカードである。
温度検出部１１５は、撮像素子１０２の温度または撮像素子１０２近傍の温度（周辺温度）を検出する。温度検出部１１５は、例えばサーミスタである。

制御部１１４は、例えばＣＰＵ、ＲＯＭ及びＲＡＭを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開してＣＰＵで実行する。そして、後述する欠陥画素の検出処理や補正処理を始めとしたデジタルスチルカメラ全体の動作を司る。

操作部１１６は、電源ＯＮ／ＯＦＦボタン、シャッターボタン、メニューボタン、方向キー、決定ボタンなど、各種ボタンやキーなどの入力デバイス群である。操作者により操作部１１６が操作されると、操作されたことが制御部１１４によって検出される。そして、制御部１１４が操作内容を判別してデジタルスチルカメラ１２０に各種指示を出力する。

●（欠陥画素検出処理）
次に、図２Ａ及び図２Ｂのフローチャートを用いて、本実施形態におけるデジタルスチルカメラが行う欠陥画素検出方法の一例を説明する。ここで、欠陥画素検出条件テーブル１０９、欠陥画素判定回路１１０、及び制御部１１４が欠陥画素検出手段を構成する。

本実施形態における欠陥画素検出処理は、点滅欠陥画素の検出処理と定常欠陥画素の検出処理からなる。上述の通り、点滅欠陥画素と定常欠陥画素は、異常出力信号レベルの出力特性が、温度及び電荷蓄積時間に対して異なる依存性を有する。そこで、本実施形態では、点滅欠陥画素と定常欠陥画素とで欠陥画素検出条件を異ならせている。

ここで、本実施形態では、図６における画素ソースフォロア８０４のＭＯＳトランジスタの界面順位で電子の捕獲と放出を繰り返す白点欠陥画素、または黒点欠陥画素を点滅欠陥画素と定義する。また、図６におけるＰＤ８０１の結晶欠陥による白点欠陥画素を定常欠陥画素と定義する。なお、欠陥画素の種類は、定常欠陥画素と点滅欠陥画素の２種類に限らず、３種類以上に分類しても構わない。

図２Ａは、点滅欠陥画素検出処理の詳細を説明するフローチャートである。
撮像者が操作部１１６に含まれる電源ＯＮ／ＯＦＦボタンを操作して、デジタルスチルカメラ１２０の電源オンを指示すると、制御部１１４はカメラの起動処理を開始する。そして、制御部１１４は、起動処理の一部として、図２Ａに示す点滅欠陥画素検出処理を実行する。

上述の通り、点滅欠陥画素の異常出力信号レベルは温度依存性がほとんどない。そのため、本実施形態では、定常欠陥画素の影響を受けにくい、デジタルスチルカメラ（特に、撮像素子１０２の近傍）の温度が低い状態にあると想定される、電源オン動作時に点滅欠陥画素を検出する。

Ｓ２０３において、欠陥画素検出用ダーク画像撮像のためにメカシャッター１０１を閉じる。次に、Ｓ２０５において、点滅欠陥画素検出条件を欠陥画素検出条件テーブル１０９から取得し、取得した欠陥画素検出条件でダークＲＡＷ画像を撮像する。

図４は、欠陥画素検出条件テーブル１０９に含まれる、点滅欠陥画素検出のための撮像条件と、定常欠陥画素検出のための撮像条件の一例である。ここでは、図４の点滅欠陥画素検出のための撮像条件に基づいて、ダークＲＡＷ画像を撮像する。

定常欠陥画素は、一定の温度での異常出力信号レベルを発生するのに対し、点滅欠陥画素の異常出力信号レベルは温度依存性がほとんどない。そこで、点滅欠陥画素と定常欠陥画素とを区別して検出できるように、撮像素子近傍の温度が低く、かつ蓄積時間が短い条件で点滅欠陥画素を検出すればよい。本実施形態では、温度が２５℃以下で蓄積時間を１／１０００秒に設定してダークＲＡＷ画像を撮像することで、点滅欠陥画素を検出する。

また、点滅欠陥画素は、異常出力信号が非定常的に出力される特性を有する。そこで、検出期間内に複数回（本実施形態では、３２回）の撮像を行い、得られた複数の撮像画像における各画素の最大出力レベルに基づくピークホールド方式で点滅欠陥画素の異常出力信号レベルを検出する。

点滅欠陥画素を検出するための撮像回数が多いほど点滅欠陥画素の検出精度は高くなるが、検出に要する総撮像時間が増加する。そのため、検出精度と総撮像時間とを考慮して撮像回数を設定することが望ましい。

制御部１１４は、温度検出部１１５で検出された温度が撮像条件である２５℃以下に合致しているか確認する。合致している場合には、指定された蓄積時間（電子シャッター速度）である１／１０００秒で撮像を実行するようにＴＧ１０３やＡ／Ｄ変換回路１０４等を制御する。そして、撮像により得られたダークＲＡＷ画像データを画像用メモリ１０６に一時記憶する。このようなダークＲＡＷ画像の撮像とダークＲＡＷ画像データの記憶を３２回繰り返し実行する。

次に、Ｓ２０７〜Ｓ２１５の処理を実行することにより、制御部１１４は、ＲＡＷ画像データの各画素について、点滅欠陥画素であるか否かを判定する。
ここで撮像素子１０２は、原色ベイヤー配列のカラーフィルタを有する。図５は、撮像素子１０２の各画素に設けられるカラーフィルタの配列を５×５画素分示した図である。なお、本実施形態では原色ベイヤー配列のカラーフィルタを前提として説明するが、その他の色フィルタ構成でも構わない。

欠陥画素判定の対象画素を図５における中心画素Ｒ₃₃ とした場合、Ｓ２０７において、対象画素を取り囲む対象画素と同色の周囲画素の平均値ＡＶＥ_Ｒ33 を以下のように求める。
ＡＶＥ_Ｒ33 ＝（Ｒ₁₁ + Ｒ₁₃ + Ｒ₁₅ + Ｒ₃₁ + Ｒ₃₅ + Ｒ₅₁ + Ｒ₅₃ + Ｒ₅₅ ）/ 8

また、平均値ＡＶＥ_Ｒ33 と、Ｒ₃₃ の値との差分値をＤ_Ｒ33 を次式により求める。
Ｄ_Ｒ33 ＝｜Ｒ₃₃ −ＡＶＥ_Ｒ33 ｜

Ｓ２０９において、制御部１１４は、差分値Ｄ_Ｒ33 と点滅欠陥画素の判定しきい値Ｋｔnとを比較するように欠陥画素判定回路１１０を制御する。欠陥画素判定しきい値も点滅欠陥画素検出用と定常欠陥画素検出用とをそれぞれ設定することができる。欠陥画素判定しきい値については、所定の撮像条件を用いて撮像した結果を用いて事前に決定しておけばよい。

図８（ａ）及び図８（ｂ）は、本実施形態における点滅欠陥画素判定しきい値Ｋｔｎと定常欠陥画素判定しきい値ｋｕｎの一例である。本実施形態では、判定しきい値を欠陥画素の異常出力信号レベル（ｍＶ）に応じて、それぞれＫｔ1〜Ｋｔ8、Ｋｕ1〜Ｋｕ8の８段階に設定している。

また、点滅欠陥画素の判定しきい値Ｋｔｎは、温度及び電荷蓄積時間に対する依存性がほとんどないため、依存性がある定常欠陥画素の判定しきい値よりも、しきい値の刻みが小さくなるように設定してある。また、Ｋｔｎのうち、異常出力信号レベルが最も小さい段階に対応するもの（図８ではＫｔ8）をＫｔmaxとする。Ｋｕｎについても同様である。

そして、Ｋｔmax＞Ｄ_Ｒ33 の場合、すなわち、５ｍＶ＞Ｄ_Ｒ33 の場合、Ｓ２１３において、制御部１１４は、対象画素Ｒ₃₃ は正規の値を出力している、すなわち点滅欠陥画素では無いと判定する。

一方、Ｋｔmax≦Ｄ_Ｒ33 の場合、すなわち、５ｍＶ≦Ｄ_Ｒ33 の場合、制御部１１４は、対象画素Ｒ₃₃ を点滅欠陥画素と判定する。そして、Ｓ２１１において、制御部１１４は、Ｄ_Ｒ33 の値に応じて、対象画素が満たす最も大きな閾値Ｋｔnを、欠陥画素判定回路１１０で判定する。そして、制御部１１４は、Ｒ₃₃ の欠陥画素情報として、以下の情報を欠陥画素情報メモリ１０７に記録する。（１）判定された閾値Ｋｔnを表す欠陥レベル（キズID_n_レベル）、（２）Ｒ₃₃ の位置を特定する情報（例えばＸアドレスとＹアドレス）、（３）欠陥画素種類（点滅欠陥画素）の識別ＩＤ（キズID_n）。

図７（ａ）は、欠陥画素情報のデータ構成例を示す図であり、ＸアドレスとＹアドレスにそれぞれ１４ビット、キズID_nに２ビット、キズID_n_レベルに３ビットのデータ長を割り当てている。

ここで、２ビット長のキズID_nは、欠陥画素の種類識別ＩＤであり、図７（ｂ）に示すように、蓄積時間依存、温度依存、ＩＳＯ感度依存の有無の組み合わせにより、最大４種類の欠陥画素を識別可能としている。ただし、本実施形態で識別する欠陥画素は点滅欠陥画素と定常欠陥画素の２種類である。

制御部１１４は、Ｓ２１１において、Ｒ₃₃ の欠陥画素情報が欠陥画素情報メモリ１０７に記録されていない場合は、新規に記録する。一方、既に、Ｒ₃₃ の欠陥画素情報が欠陥画素情報メモリ１０７に記録されている場合、制御部１１４は、既記録欠陥画素情報と点滅欠陥画素アドレス情報をマージして欠陥画素情報メモリ１０７に記録する。
制御部１１４は、上述したＳ２０７〜Ｓ２１５までの処理を、欠陥画素検出領域の全画素について繰り返し行い、点滅欠陥画素検出を終了する。

次に、図２Ｂに示すフローチャートを用いて、定常欠陥画素検出処理の詳細を説明する。図２Ｂは、定常欠陥画素検出処理の詳細を説明するフローチャートである。
撮像者が操作部１１６に含まれる電源ＯＮ／ＯＦＦボタンを操作して、デジタルスチルカメラ１２０の電源オフを指示すると、制御部１１４はカメラの動作終了処理を開始する。そして、制御部１１４は、動作終了処理の一部として、図２Ｂに示す定常欠陥画素検出処理を実行する。

定常欠陥画素の異常出力信号レベルは、前述の通り温度依存性がある。そのため、本実施形態では、デジタルカメラ（特に撮像素子１０２の近傍）の温度が高い状態にあると想定される、電源オフ動作時に定常欠陥画素検出を行う。
以下、Ｓ２１９〜Ｓ２３１において、制御部１１４は、点滅欠陥画素の検出処理におけるＳ２０３〜Ｓ２１５と同様にして定常欠陥画素を検出する。

ただし、Ｓ２２１におけるダーク画像撮像条件（図４）が異なり、特に撮像回数が１回でよいため、各画素について最大値を求める必要がない。これは定常欠陥画素が常に異常出力信号を出力することによる。また、Ｓ２２５で比較に用いるしきい値が、定常欠陥画素判定しきい値Ｋｕ8（＝Ｋｕmax）となる点が異なる。
このようにして、温度及び電荷蓄積時間についての依存性の異なる点滅欠陥画素と定常欠陥画素のそれぞれの欠陥画素情報が、欠陥画素情報メモリ１０７に記録される。

なお、本実施形態では、デジタルスチルカメラの電源ＯＮ時に点滅欠陥画素の検出処理を、電源ＯＦＦ時に定常欠陥画素の検出処理を行う場合を説明したが、点滅欠陥画素と定常欠陥画素の検出処理の実行タイミングは任意に設定可能である。例えばデジタルスチルカメラ出荷前の工場調整時に行っても構わないし、撮像素子１０２の温度が撮像条件に合致するかどうかを判別し、合致する場合に実行してもよい。

●（欠陥画素補正処理）
次に、本実施形態のデジタルスチルカメラにおける欠陥画素補正処理について説明する。欠陥画素補正処理は、ユーザにより被写体像の撮像が行われ、画像用メモリ１０６に記録された撮像画像データに含まれる、欠陥画素から出力される画像データ（欠陥画素データ）に対して実行される。ここで、欠陥画素判定回路１１０、欠陥画素補正回路１１１及び制御部１１４が補正手段を構成する。

操作部１１６に含まれるシャッターボタンの全押しなどにより、ユーザから撮像開始指示が与えられると、制御部１１４は撮像動作を実行する。すなわち、制御部１１４は、自動焦点検出機能や自動露出制御機能といった周知の機能を用いて決定した撮像条件に従い、レンズ１００の焦点距離、メカシャッター１０１の開閉を制御し、撮像素子１０２を露光する。そして、制御部１１４は、ＴＧ１０３からタイミング信号を出力させ、撮像素子１０２の各画素からアナログ映像信号を読み出してＡ／Ｄ変換回路１０４に供給する。Ａ／Ｄ変換回路１０４はアナログ映像信号をデジタル映像信号に変換し、ＲＡＷ画像データとして画像用メモリ１０６に記録する。

続いて、制御部１１４は、図３のフローチャートに示す欠陥画素補正処理を実行する。Ｓ３０３において、制御部１１４は、欠陥画素情報を画素ごとに欠陥画素情報メモリ１０７から読み出し、欠陥画素判定回路１１０に供給する。Ｓ３０５において、欠陥画素判定回路１１０は、供給された欠陥画素情報に含まれる欠陥画素種類の識別ＩＤ（キズID_n）から、補正対象画素の欠陥画素の種類を判定し、判定結果を欠陥画素補正回路１１１に供給する。

Ｓ３０７において、欠陥画素補正回路１１１は、Ｓ３０５で欠陥画素判定回路１１０により判定された欠陥画素の種類に対応した欠陥画素補正テーブル１０８を参照し、補正すべき欠陥レベルの範囲を取得する。欠陥画素補正テーブル１０８は、補正対象画像の撮像条件に応じて、補正対象となる欠陥画素（欠陥レベルの範囲）を決定するためのテーブルである。換言すれば、欠陥画素補正テーブル１０８は、補正対象画像の撮像条件と欠陥画素の種類に基づいて欠陥画素データの補正要否を判定するためのテーブルである。なお、撮像条件として、本実施形態では、温度、電荷蓄積時間（シャッタースピード又は露光時間）、ＩＳＯ感度とするが、これらに限らず、他の撮像条件が含まれていても良い。

図９（ａ）〜図９（ｄ）は、欠陥画素補正テーブル１０８の一例である。図９（ａ）〜図９（ｄ）において、Ｋt1〜Ｋt8およびＫｕ1〜Ｋｕ8は、図８（ａ）及び図８（ｂ）に示したしきい値に等しい。欠陥画素補正テーブル１０８において、Ｋｔ1は、異常出力信号レベルが満足する最大のしきい値（すなわち欠陥レベル）がＫｔ1である点滅欠陥画素が、補正対象（補正要）となる点滅欠陥画素であることを意味する。従って、Ｋt1〜Ｋt8とは、全点滅欠陥画素が補正対象であることを意味する。Ｋｕ1〜Ｋｕ8についても同様である。

図９（ａ）及び図９（ｂ）は、ＩＳＯ感度１００と１６００に対応する定常欠陥画素の補正テーブルの例を、図９（ｃ）及び図９（ｄ）は、ＩＳＯ感度１００と１６００に対応する点滅欠陥画素の補正テーブルの例をそれぞれ示す。なお、図示しないが、欠陥画素補正テーブル１０８には、他のＩＳＯ感度に対応する補正テーブルも用意されている。

図９（ａ）及び図９（ｂ）に示す定常欠陥画素の補正テーブルでは、温度が高いほど、また、電荷蓄積時間が長い（電子シャッター速度が速い）ほど、補正対象となる異常出力信号レベル（欠陥レベル）の範囲が大きくなるように設定されている。これは、定常欠陥画素が、温度が高いほど、また電荷蓄積時間が長いほど高レベルの異常出力信号を出力する特性を有することによるものである。例えば、温度が最も高く（５０℃〜）、電荷蓄積時間が最も長い（１５ｓ〜）撮像条件では、欠陥レベルによらず、全ての定常欠陥画素が補正対象となる。

一方、点滅欠陥画素の異常出力信号レベルは、温度や電荷蓄積時間にほとんど依存しない。そのため、図９（ｃ）及び図９（ｄ）に示す点滅欠陥画素の補正テーブルでは、補正対象となる異常出力信号レベル（欠陥レベル）の範囲は、温度や電荷蓄積時間によって変化しない。よって、同一ＩＳＯ感度であれば、温度や電荷蓄積時間が変化しても、補正対象となる点滅欠陥画素の欠陥レベルの範囲が同一な欠陥画素補正テーブルとなる。一方、ＩＳＯ感度が高くなると、点滅欠陥画素も定常欠陥画素と同様に、補正対象となる点滅欠陥画素の欠陥レベルの範囲が広くなる。

このように、本実施形態では、点滅欠陥画素と定常欠陥画素とで異常出力信号レベルの温度や電荷蓄積時間に対する依存性が異なることを考慮し、撮像条件に応じた補正テーブルを欠陥画素の種類ごとに用意する。そして、欠陥画素の種類に応じた補正テーブルを用いて欠陥画素補正を行う。

Ｓ３０９において、欠陥画素補正回路１１１は、欠陥画素情報メモリ１０７に記録された欠陥画素情報から、補正対象となる欠陥画素の欠陥レベル（キズID_n_レベル）を参照する。そして、Ｓ３１１において、欠陥画素補正回路１１１は、各々の欠陥画素の欠陥レベルが、補正テーブル１０８に示されたＫtnまたはＫunの範囲に含まれるか否かを判別し、含まれる場合には補正が必要、含まれない場合には補正不要と判定する。

例えば、欠陥画素の種類が定常欠陥画素で、撮像時の温度検出部１１５による検出温度が２５℃、電荷蓄積時間（電子シャッター速度）が１／６０秒、ＩＳＯ感度が１００であったとする。この場合、図９（ａ）の定常欠陥画素補正テーブルを参照することで、異常出力信号レベルがＫu1〜Ｋu2の定常欠陥画素が補正対象となることがわかる。そのため、欠陥画素情報メモリ１０７に記憶された欠陥画素の欠陥レベルがＫu1もしくはＫu2であれば、欠陥画素補正回路１１１は補正が必要であると判定し、欠陥画素情報メモリ１０７に記憶された欠陥画素の欠陥レベルがＫu3〜Ｋu8であれば、欠陥画素補正回路１１１は欠陥画素補正が不要であると判定する。

そして、Ｓ３１１で補正が必要と判定された場合、Ｓ３１３に進んで、欠陥画素補正回路１１１は、補正対象画素について、欠陥画素情報メモリ１０７に記録された欠陥画素情報を元に、欠陥画素補正処理を実行する。欠陥画素の種類に応じて欠陥画素補正方法が異なる場合、欠陥画素補正回路１１１は、欠陥画素の種類に応じた欠陥補正方法を用いて補正処理を行う。欠陥画素補正回路１１１は、補正後の画素データを画像用メモリ１０６に書戻すか、あるいは、画像処理回路１１２に供給する。また、Ｓ３１１で補正不要と判定された場合、欠陥画素補正回路１１１は、その画素データには補正を行わずにそのまま画像処理回路１１２へ供給し、Ｓ３１５に進む。

Ｓ３１３において実行される点滅欠陥画素、定常欠陥画素の欠陥画素補正方法の一例として、欠陥画素に隣接する同色画素から補間する方法を以下に説明する。
補正対象画素（図５のＲ₃₃ とする）が欠陥画素の場合、上下又は左右に隣接する同色の画素値から、補正対象の画素値を補間する。上下に隣接する同色画素と、左右に隣接する同色画素のどちらを用いるかは任意であるが、例えば被写体により適応的に判断しても良い。

上下に隣接する同色画素を用いる場合の補間方法の一例として、
Ｒ₃₃ ＝（Ｒ₃₁ ＋Ｒ₃₅ ）÷２
左右に隣接する同色画素を用いる場合の補間方法の一例として、
Ｒ₃₃ ＝（Ｒ₁₃ ＋Ｒ₅₃ ）÷２
により、補正を行うことができる。

Ｓ３１５において、制御部１１４は、Ｓ３０３からＳ３１３までの処理を、欠陥画素情報メモリ１０７に記録されている全ての欠陥画素に対して実行したか否かを確認し、記録されている全ての欠陥画素に対して実行した場合には、欠陥画素補正処理を終了する。未処理の欠陥画素が残っていれば、未処理の欠陥画素に対してＳ３０３からＳ３１３の処理を適用する。

欠陥画素補正処理が終了したＲＡＷ画像データは、画像用メモリ１０６から画像処理回路１１２へ供給される。画像処理回路１１２は補正後のＲＡＷデータに画像処理を行い、記録媒体１１３へ記録する。

本実施形態では、ユーザが撮像した画像を画像処理回路１１２で画像処理する前に、欠陥画素補正回路１１１で補正する手法を説明したが、欠陥画素補正は画像処理回路１１２で画像処理と同時に行っても構わない。この場合、欠陥画素補正回路１１１は画像処理回路１１２に含まれることになる。

また、本実施形態では、画像用メモリ１０６に一時記憶されたＲＡＷ画像データに含まれる全ての欠陥画素に対して欠陥画素補正処理を実施してから、補正後のＲＡＷ画像データを画像処理回路１１２に供給する場合について説明した。しかし、画像用メモリ１０６からＲＡＷ画像データを順次読み出し、読み出した画素が欠陥画素か否かにより画像処理回路１１２への供給経路を変更することにより、画素単位で順次画像処理回路１１２へ供給しても良い。この場合、読み出した画素が欠陥画素であれば欠陥画素判定回路１１０、欠陥画素補正回路１１１経由で、欠陥画素で無ければ画像用メモリ１０６から直接、画像処理回路１１２へ画素データを供給する。

以上説明したように、本実施形態によれば、異常出力信号レベルの撮像条件に対する依存性が欠陥画素の種類により異なることを考慮した、欠陥画素の種類に応じた撮像条件を用いて欠陥画素検出を行うため、欠陥画素の種類を適切に把握することができる。
また、欠陥画素補正処理において、補正すべき欠陥画素を、撮像条件と欠陥画素の種類とに応じて決定するため、撮像条件への依存性が異なる複数種の欠陥画素を適切に補正することができる。そのため、補正が不要な欠陥画素に補正を行ったり、補正が必要な欠陥画素を補正しなかったりすることによる、解像度劣化やノイズ感の増加といった画質劣化を抑制することができる。

Claims (6)

1. 複数の画素からなる撮像素子を用いて撮像される画像データに含まれる、前記撮像素子の欠陥画素から出力される欠陥画素データを補正する欠陥画素データ補正装置であって、
   前記複数の画素に含まれる各欠陥画素についての欠陥画素の種類及び欠陥出力レベルを含む欠陥画素情報を記憶した欠陥画素情報記憶手段と、
   前記欠陥画素の種類の各々に対応し、撮像条件と補正対象となる欠陥出力レベルとの関係を表す複数の補正テーブルを記憶した補正テーブル記憶手段と、
   前記欠陥画素情報と、前記複数の補正テーブルのうち前記欠陥画素の種類に対応した補正テーブルとに基づいて、前記欠陥画素データの補正要否を判定する判定手段と、
   前記判定手段により補正要と判定された前記欠陥画素データを補正する補正手段と、
   を有することを特徴とする欠陥画素データ補正装置。
2. 前記欠陥画素の種類として、定常欠陥画素と点滅欠陥画素とを含み、
   前記撮像条件として、前記撮像素子の周辺温度と、前記撮像素子の電荷蓄積時間とを含むことを特徴とする請求項１に記載の欠陥画素データ補正装置。
3. 前記撮像素子と、請求項１または２に記載の欠陥画素データ補正装置を有することを特徴とする撮像装置。
4. さらに、所定の撮像条件でダーク画像を前記撮像素子で撮像して得られた画像データから、前記撮像素子に含まれる欠陥画素とその種類を検出する欠陥画素検出手段を有し、
   前記所定の撮像条件が、前記検出する欠陥画素の種類に応じて異なることを特徴とする請求項３に記載の撮像装置。
5. 前記欠陥画素検出手段は、前記ダーク画像を撮像して得られた画像データから、定常欠陥画素及び点滅欠陥画素を検出することを特徴とする請求項４に記載の撮像装置。
6. 複数の画素からなる撮像素子を用いて撮像される画像データに含まれる、前記撮像素子の欠陥画素から出力される欠陥画素データを補正する欠陥画素データ補正方法であって、
   前記複数の画素に含まれる各欠陥画素についての欠陥画素の種類及び欠陥出力レベルを含む欠陥画素情報と、前記欠陥画素の種類の各々に対応し、撮像条件と補正対象となる欠陥出力レベルとの関係を表す複数の補正テーブルのうち前記欠陥画素の種類に対応した補正テーブルとに基づいて、前記欠陥画素データの補正要否を判定する判定ステップと、
   前記判定ステップにより補正要と判定された前記欠陥画素データを補正する補正ステップと、
   を有することを特徴とする欠陥画素データ補正方法。

Images