JP4546664B2 - 撮像装置および画素欠陥補正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置および画素欠陥補正方法に関し、特に画素欠陥補償機能を有する撮像装置および同撮像装置に適用される画素欠陥補正方法に関する。
【０００３】
【従来の技術】
ビデオカメラなどの撮像装置は従来より広く利用されている。近年主として静止画を撮像記録する電子スチルカメラも特にディジタルカメラとして普及するに至り、主として動画記録用であったビデオムービーにおいても静止画撮影記録機能を有するようになってきた。そして主に静止画撮影に際して使用される長時間露光は撮像素子における電荷蓄積時間を長くすることによって露光時間を長くし、これによって低照度下でもストロボなどの補助照明を使用することなく撮影できるようにする技術として知られている。
【０００４】
一方ＣＣＤ等の撮像素子においてはいわゆる暗電流の存在などによる暗出力が存在し、これが画像信号に重畳されるため、画質劣化を来す。この暗出力レベルが大きい画素が存在する場合は画素欠陥と称され、その画素の出力情報は用いず近隣の画素の出力情報を用いて情報を補完することが広く実用されている。本明細書においてはこのような補完処理を画素欠陥の補償と称する。
【０００５】
そしてさらに、画素欠陥は温度依存や経時変化を伴うから欠陥画素の評価を工場出荷前に行なうだけでは不十分であるという点について改善をはかった技術も特開平０６−０３８１１３号公報に公知である。すなわちこの公開公報には、電源オン直後にアイリスを閉じることで受光面を遮光し、カメラの使用に先立ってＣＣＤ暗出力を評価することで欠陥画素を検出して、欠陥補償を行なう技術が記載されている。
【０００６】
すなわち、上記経時変化によって新たに生じる欠陥を後発性欠陥と呼ぶならば、カメラにおいて欠陥画素の検出を行うというこの技術は、後発性欠陥に対して極めて有効な対策となりうる優れたものである。
【０００７】
ここで、以下詳述する本発明に関する理解を深める意味での補足的な説明として、本発明者らの最近の検討によって新たに見出された「点滅性欠陥」について触れておく。これは温度や露光（蓄積）時間なども含めて全く同じ撮影条件下において撮像（電荷蓄積と読み出し）を繰り返した場合に、例えば同一の画素が、或る時は白欠陥（暗電荷過大）となったり、また或る時は正常信号を出力したりというように、あたかも白欠陥（過大暗電荷）が点滅しているかの如き振る舞いを示すものである。
【０００８】
点滅性欠陥の原因については未だ確たる理論を見出すに至っていないが、少なくとも現象論的には以下のような知見が得られている。
【０００９】
すなわち、この点滅はある種確率的な要素を含むらしく、特に定まった周期性や読み出し回数依存性を有しないこと、また比較的短い期間における繰り返し撮像において点滅するもの（短周期性：上記のようにこの現象に周期性は見出されていないが、比喩的に「周期」という語を用いている。以下同じ）もあれば比較的長周期性のものもあることが判っている。ここに至って、従来自然放射能や飛来宇宙線の影響による破壊的（非復帰的）現象と考えられていた後発性欠陥の中にも、極めて長周期性の点滅性欠陥が含まれていた可能性が指摘される一方、後発的に生じる短周期性点滅欠陥が多く存在することも明らかになっている。
【００１０】
いずれにせよこのような点滅性欠陥であるか否かを問わず、後発性欠陥というものが現に存在するからには、工場出荷前の検査のみならず、カメラ自体にも欠陥データ検出機能を持たせて欠陥画素の検出を行うことは極めて重要である。
【００１１】
【発明が解決しようとする課題】
しかし、温度上昇や長時間の露光による欠陥の増大あるいは後発性欠陥等の新規発生を考えた場合には、欠陥画素が隣接して生じることをそれ自体防ぎ得ない。つまり、工場出荷前の検査では欠陥画素が隣接して生じるような場合にはそのＣＣＤ自体が不良として扱われるので、少なくとも工場出荷直後はそのような不具合は生じえないが、後発性欠陥をも考慮すると温度上昇や長時間の露光による欠陥の増大とあいまって、出荷後には欠陥画素が隣接して発生する場合がある。
この場合、欠陥補償のために用いる補完対象である隣接画素もまた欠陥画素であるという状況が発生する。
【００１２】
このような状況下で近隣画素による欠陥補償処理をそのまま適用した場合は、欠陥画素の補償にまた欠陥画素を用いることになるので、画質を維持できないばかりか、欠陥補償処理によって却って画質を低下させる恐れも生じる。例えば隣接するＡ，Ｂ２つの画素の白欠陥のレベルが、Ａは許容限界を僅かに超える程度であるのに対し、Ｂが飽和に達する完全欠陥である場合、もしＡに対してＢのデータを用いて補償するならば、非補償の場合よりも却って画質が悪くなる。
【００１３】
この回避策として採り得る一つの方法は、通常は複数存在する隣接画素のうち、このような欠陥画素を除いたものだけを対象として補完処理を行なうことであるが、これは
（１）各欠陥画素毎に、状況適応的な（場合によって処理が異なる）補完方法を用いることを必須的に要求することになるから、補償アルゴリズムが複雑化し、処理手段（例えばソフトウェアのコード規模）が肥大化したり、演算時間の増加を招く。
（２）全ての隣接画素が欠陥画素になってしまった場合は、結局補完することができないから、補償不能に起因するシステム破綻が生じたり、あるいは或るエリア全体にわたって欠陥画素が発生しているような場合には、そのエリア内全てが相関の低い遠方の画素値で埋め尽くされてしまうという塗りつぶし現象が生じる懸念がある。
いという問題があった。
【００１４】
なお、（２）のような状況に対しては、このような状況を「画質破綻状態」と判定して例えば撮像を禁止する技術を本出願人自身が既に提案している（特願平１１−２０７０１６号）が、このような技術を単純に採用した場合は、これによって例えばある程度以上の長時間露光を実現することが完全に不可能となってしまうなど、撮影条件が制限されてしまう問題があった。
【００１５】
本発明は上記事情を考慮してなされたもので、その目的とするところは、複数の欠陥が隣接して発生した場合の画質劣化を低減することが可能な撮像装置および画素欠陥補正方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上述の課題を解決するため、本発明の撮像装置は、撮像素子と、前記撮像素子に被写体像を入力する撮像光学系と、前記撮像素子の欠陥画素アドレスを、その欠陥画素の欠陥の度合いに対応させて欠陥データとして記憶する記憶手段と、前記撮像素子の出力に対して前記記憶手段に記憶された欠陥データに基づいて近隣画素データによる補償処理を行なう欠陥補償手段と、前記欠陥データの検出を実行する欠陥データ検出手段と、前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する欠陥データ管理手段とを具備し、前記欠陥補償手段は欠陥画素に関する補償処理を前記欠陥の度合いに基づいた順序で実行するように構成されたものであり、前記記憶手段には、欠陥画素それぞれの欠陥画素アドレスと当該欠陥画素の個別欠陥値とが前記欠陥データとして記憶されており、前記欠陥データ管理手段は、前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する場合、当該欠陥画素アドレスに対応する個別欠陥値として、既に記憶されている個別欠陥値および検出された欠陥レベル値のうち最大のものを適用するように構成されたものであることを特徴とする。
【００２０】
また、撮像素子の欠陥画素アドレスをその欠陥画素それぞれの欠陥の度合いに対応させて欠陥データとして記憶しておくことにより、上記欠陥レベル順の補償処理を容易に実現することが出来る。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【００２６】
図中１０１は撮像レンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞り及びシャッタ装置を制御するための露出制御機構、１０４はローパス及び赤外カット用のフィルタ、１０５は被写体像を光電変換するためのＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のディジタル処理を行なうためのディジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２７】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２８】
本実施形態のカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、露出制御機構１０３とＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行ない、それをプリプロセス回路１０７を介してＡ／Ｄ変換してディジタルプロセス回路１０８に取込んで、ディジタルプロセス回路１０８内で各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２９】
また、システムコントローラ１１２には、図示のように、ＥＥＰＲＯＭ１１８に記憶されている欠陥データに基づいてＣＣＤ１０５から得られる撮像信号に対して画素欠陥補償処理を施すための欠陥補償制御部１１２ａと、画素欠陥データの検出を行なうための欠陥データ検出部１１２ｂと、欠陥データ検出部１１２ｂにより新たに検出された欠陥データに基づいてＥＥＰＲＯＭ１１８に記憶されている欠陥データの更新・管理を行なうための欠陥データ管理部１１２ｃとが設けられている。
【００３０】
画素欠陥補償処理は、欠陥補償制御部１１２ａからの指令に基づいて、ＥＥＰＲＯＭ１１８に格納された既存の（その時点における最新の）欠陥（以下登録欠陥と称する）に関する欠陥画素のアドレスデータに基づいてディジタルプロセス回路１０８において実行される。なお、初期（カメラの工場出荷時）においては登録欠陥は製造調整工程において取得された欠陥データが登録されている。
【００３１】
本実施形態では、複数の欠陥が隣接した場合の画質劣化を低減するために、欠陥補償の処理順序に関して欠陥画素間に序列が設けられており、少なくとも補償対象の欠陥画素アドレスが互いに隣接する複数の欠陥に関しては欠陥レベルの大きいものから先に補償処理が適用される。
【００３２】
欠陥データ検出部１１２ｂによる欠陥検出は、例えば２４時間に１回といった割合で電源投入時などにテスト撮像を行ない、その時の撮像画像を解析することによって行われる。
【００３３】
以下、本発明の画素欠陥の補償処理の手順とＥＥＰＲＯＭ１１８に対する欠陥データの登録に直接関わる処理を中心にシステムコントローラ１１２によるカメラ制御の説明を行なう。ただし、本カメラにおいてＣＣＤ１０５から得られる信号レベルのディジタル処理は８ビット（０〜２５５）で行われるものとする。
【００３４】
また、以下では白欠陥のみを対象に説明することにする。欠陥の「レベル」としては、ある基準温度、基準露光時間の場合のレベルに規格化したものを考える。本実施形態では簡単のため、温度については考慮せず（従って特記無い限り常温での使用のみを仮定）、基準露光時間は下記で説明するようにテスト撮像の露出時間（＝本カメラの最長露出時間Ｔmax：例示値５ｓ）を採用することとする。
【００３５】
さらに、欠陥補償の処理順序の管理は必須的には隣接した欠陥画素同志のみを対象に行なえば良いが、却って処理が複雑化することを避けて、以下では全欠陥に関してレベルの大きなものから順に欠陥補償を行なうこととする。
【００３６】
まず、図２を参照して、ＥＥＰＲＯＭ１１８における欠陥データの記憶態様について説明する。
【００３７】
欠陥レベルの程度に応じた処理順での欠陥補償処理を実現するために、本実施形態では、欠陥画素アドレスはその欠陥画素それぞれの欠陥の度合いに対応させた状態でＥＥＰＲＯＭ１１８に欠陥データとして記憶される。これは新規検出欠陥のみならず、工場出荷時の初期登録欠陥についても同様である。欠陥データの具体的な記憶態様は以下の通りである。
【００３８】
＜記憶態様１： 欠陥画素アドレスをメモリアドレス順に記憶する場合＞
図２（ａ）は、欠陥画素アドレスのみをその欠陥レベルＳの大きいものからメモリアドレス順（欠陥補償処理時における欠陥画素アドレスの読み出し順）に記憶した場合の例である。
【００３９】
すなわち、ＥＥＰＲＯＭ１１８内の所定の欠陥記憶領域のメモリアドレスの先頭のデータビットには欠陥の個数Ｎが記憶されており、これに続くＮ個のメモリアドレスのデータビットには欠陥画素アドレスＡｄｒ（１）、Ａｄｒ（２）、Ａｄｒ（３）、…Ａｄｒ（Ｎ）のみが欠陥レベルＳが大きい順番に記憶されている。この場合、メモリアドレス１にＡｄｒ（１）として記憶される欠陥画素アドレスの欠陥レベルが最も大きく、続くメモリアドレス２、３、…ＮにＡｄｒ（２）、Ａｄｒ（３）、…Ａｄｒ（Ｎ）として記憶される欠陥画素アドレスの順にその欠陥レベルが小さくなる。もちろん連続して記憶されている２以上の欠陥画素アドレスそれぞれの欠陥レベルＳが等しい場合もある。つまり、欠陥画素アドレスＡｄｒ（１）、Ａｄｒ（２）、…Ａｄｒ（Ｎ）として記憶される欠陥画素それぞれの欠陥レベルをＳ（１）、Ｓ（２）、…Ｓ（Ｎ）とすると、
Ｓ（１）≧Ｓ（２）≧…，≧Ｓ（Ｎ）
となる。
【００４０】
この記憶態様１を用いることにより、欠陥補償制御部１１２ａによる欠陥補償処理をＥＥＰＲＯＭ１１８からそのメモリアドレス順に欠陥画素アドレスを読み出しながら行なうだけで、補償処理に特段の処理を採用しなくても欠陥レベル順の補償処理が行なうことが可能となる。
【００４１】
＜記憶態様２： 欠陥画素アドレスと序列数を併せて記憶する場合＞
図２（ｂ）は、欠陥画素アドレスとその欠陥レベルの大きさに関する序列数（レベルＳが大きいものから順に１、２…、Ｎ）とを併せて記憶した場合の例である。すなわち、ＥＥＰＲＯＭ１１８内の所定の欠陥記憶領域のメモリアドレスの先頭のデータビットには欠陥の個数Ｎが記憶されており、これに続くＮ個のメモリアドレスのデータビットには、欠陥画素アドレスＡｄｒ（１）、Ａｄｒ（２）、Ａｄｒ（３）、…Ａｄｒ（Ｎ）とそれに対応する序列数Ｏｄｒ（１）、Ｏｄｒ（２）、Ｏｄｒ（３）、…Ｏｄｒ（Ｎ）とが併せて記憶されている。この場合、例えばメモリアドレス３にＡｄｒ（３）として記憶されている欠陥画素アドレスが最も欠陥レベルが大きく、メモリアドレス１にＡｄｒ（１）として記憶されている欠陥画素アドレスの欠陥レベルが２番目に大きく、メモリアドレスＮにＡｄｒ（Ｎ）として記憶されている欠陥画素アドレスの欠陥レベルが３番目に大きい場合には、メモリアドレス３にＯｄｒ（３）として記憶されている序列数は“１”で、メモリアドレス１にＯｄｒ（１）として記憶されている序列数が“２”で、そしてメモリアドレスＮにＯｄｒ（Ｎ）として記憶されている序列数が“３”となる。
【００４２】
＜記憶態様３： 欠陥画素アドレスと個別欠陥値を併せて記憶する場合＞
図２（ｃ）は、欠陥画素アドレスとその個別欠陥値（欠陥レベルＳ）とを併せて記憶する場合の例である。すなわち、ＥＥＰＲＯＭ１１８内の所定の欠陥記憶領域のメモリアドレスの先頭のデータビットには欠陥の個数Ｎが記憶されており、これに続くＮ個のメモリアドレスのデータビットには欠陥画素アドレスＡｄｒ（１）、Ａｄｒ（２）、Ａｄｒ（３）、…Ａｄｒ（Ｎ）とそれに対応する欠陥レベルＳ（１）、Ｓ（２）、Ｓ（３）、…Ｓ（Ｎ）とが併せて記憶されている。
【００４３】
次に、欠陥補償制御部１１２ａによって実行される画素欠陥補償処理について説明する。
【００４４】
まず、撮影に先立ってマニュアル設定または測光結果に基づいて撮影に必要な露光時間が設定される。次に本撮像の撮影トリガー指令を待機し、指令を受けたら所定の露出制御値に基いた露光を行ない、撮像信号を読み出して所定の信号処理を施した後にメモリカード１１０に記録する。その際、ＥＥＰＲＯＭ１１８に記憶されている登録欠陥画素については画素欠陥補償を伴なう。欠陥補償後において記録に至るまでの映像信号処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００４５】
本実施形態のカメラにおいて欠陥補償は、公知の「欠陥アドレスが登録された画素に関しての近隣画素による補完」が採用されており、具体的補完方法は「最近接同色画素（同色の画素のうち、当該欠陥画素に最も近い４画素：ＲＧＢベイヤ配列の場合を例示すればＧに関しては斜め４方に隣接する４つのＧ画素、Ｒ（またはＢ）に関しては上下左右の４方向で直接隣接でなく間に１つのＧを挟んで次に位置する各４つのＲ（またはＢ）画素）たる４画素情報の平均値を代替適用する」ものが採用されている。この補間処理の方法を以下では「近隣４画素による欠陥補償処理」と称することにする。この「近隣４画素による欠陥補償処理」は上述したように欠陥レベルの大きいものから順に行われ、各欠陥画素に関する補償処理を行う度にその補償後のデータで撮像信号を補正しながら、次に処理すべき欠陥に関する補償処理が行われる。以下、上記記憶態様１〜３それぞれに対応する欠陥補償処理の手順を説明する。
【００４６】
図３には、上記記憶態様１を採用した場合における欠陥補償処理の手順が示されている。
【００４７】
まず、ＥＥＰＲＯＭ１１８からの欠陥データの読み込みが行われ、ＥＥＰＲＯＭ１１８に登録されているメモリアドレス順に欠陥画素に関する補償処理が実行される（ステップＳ１１，Ｓ１２）。欠陥データの読み込みはメモリアドレス順に行われ、その読み込んだ欠陥画素アドレスから順に「近隣４画素による欠陥補償処理」が行われることになる。この場合、上記記憶態様１では欠陥レベルの大きい欠陥画素画素アドレスから順に記憶されているので、欠陥画素が互いに近接して存在する場合、つまり補償対象の欠陥画素アドレスが互いに隣接する複数の欠陥に関しては、欠陥レベルの大きい欠陥画素に関する欠陥補償処理が優先して実行されることになる。
【００４８】
欠陥画素アドレスが互いに隣接する複数の欠陥のうち、最初に処理される欠陥画素（隣接する複数の欠陥のうち最も欠陥レベルが相対的に大きい欠陥画素）については、それに近接する他の欠陥画素に関する欠陥補償処理はまだ行なわれていないので、欠陥補償前の生の近隣４画素をそのまま用いた欠陥補償処理が実行されることになる。一方、欠陥画素アドレスが互いに隣接する複数の欠陥のうち、２番目以降に処理される欠陥画素（隣接する複数の欠陥のうち欠陥レベルの大きさが２番目以降の欠陥画素）については、それよりも欠陥レベルが相対的に大きい画素に関する欠陥補償処理が既に行われておりその欠陥補償後のデータが撮像信号に反映されているので、欠陥補償後のデータを用いた近隣４画素による欠陥補償処理が実行されることになる。この様子を図４に示す。
【００４９】
図４は、Ａ，Ｂ２つの欠陥画素が互いに近接して存在しており、且つ欠陥画素Ａの欠陥レベルが欠陥画素Ｂの欠陥レベルよりも大きい場合を想定している。この場合、欠陥画素Ａについては、図４（ａ）に矢印で示すように欠陥補償前の欠陥画素Ｂを含む近隣４画素の平均によって欠陥補償され、これにより欠陥画素Ａの画素値は欠陥補償後の画素値（Ａ’）に更新される。欠陥画素Ｂについては、欠陥画素Ａの画素値はその欠陥補償処理で既に補償後の画素値（Ａ’）に更新されているので、図４（ｂ）に矢印で示すように欠陥画素Ａの欠陥補償後の画素値（Ａ’）を含む近隣４画素の平均によって欠陥補償が行われる。
【００５０】
よって、各欠陥画素毎に常にそれに最も隣接する同色４画素によって補償を行なうといった単純な欠陥補償アルゴリズムが既に採用されているカメラにおいても、ＥＥＰＲＯＭ１１８からの欠陥アドレスの読み出し順（＝補償処理順）に、欠陥レベルの大きいものから順に記憶しておくだけで、欠陥補償アルゴリズムの変更を行なうことなく欠陥レベルの小さい画素がそれよりも欠陥レベルの大きい画素によって補償されるという不具合をなくすことが出来る。
【００５１】
登録されているメモリアドレス順に欠陥補償処理を実行するというステップＳ１２の処理は、未処理の欠陥画素が無くなるまで繰り返し実行される（ステップＳ１３）。なお、ステップＳ１１でＥＥＰＲＯＭ１１８から欠陥画素アドレスを一つ読み出す度に、その都度ステップＳ１２の処理を行なう場合には、図３に破線で示すように、未処理の欠陥画素が無くなるまでステップＳ１１とステップＳ１２の処理が繰り返されることになる。
【００５２】
図５には、上記記憶態様２を採用した場合における欠陥補償処理の手順が示されている。
【００５３】
まず、ＥＥＰＲＯＭ１１８からの欠陥データの読み込みにより、ＥＥＰＲＯＭ１１８に登録されている欠陥画素アドレスと序列数との組が全て読み込まれ（ステップＳ２１）、そして欠陥画素アドレスそれぞれに関する序列数の順序関係を認識することにより、欠陥補償処理の処理順が決定される（ステップＳ２２）。
この後、決定された処理順、すなわち序列数順に、欠陥画素それぞれに関する補償処理が実行される（ステップＳ２３）。上記記憶態様２では欠陥レベルの大きい欠陥画素画素アドレスから順に１，２，３，…Ｎという序列数が付随しているので、欠陥画素が互いに近接して存在する場合、つまり補償対象の欠陥画素アドレスが互いに隣接する複数の欠陥に関しては、欠陥レベルの大きい欠陥画素に関する欠陥補償処理が優先して実行されることになる。
【００５４】
欠陥画素アドレスが互いに隣接する複数の欠陥のうち、最初に処理される欠陥画素（隣接する複数の欠陥のうち最も欠陥レベルが相対的に大きい欠陥画素）については、それに近接する他の欠陥画素に関する欠陥補償処理はまだ行なわれていないので、欠陥補償前の生の近隣４画素をそのまま用いた欠陥補償処理が実行されることになる。一方、欠陥画素アドレスが互いに隣接する複数の欠陥のうち、２番目以降に処理される欠陥画素（隣接する複数の欠陥のうち欠陥レベルの大きさが２番目以降の欠陥画素）については、それよりも欠陥レベルが相対的に大きい画素に関する欠陥補償処理が既に行われているので、その欠陥補償後のデータを用いた近隣４画素による欠陥補償処理が実行されることになる。
【００５５】
序列数順に欠陥補償処理を実行するというステップＳ２３の処理は、未処理の欠陥画素が無くなるまで繰り返し実行される（ステップＳ２４）。
【００５６】
図６には、上記記憶態様３を採用した場合における欠陥補償処理の手順が示されている。
【００５７】
まず、ＥＥＰＲＯＭ１１８からの欠陥データの読み込みにより、ＥＥＰＲＯＭ１１８に登録されている欠陥画素アドレスと欠陥レベルとの組が全て読み込まれ（ステップＳ３１）、そして欠陥画素アドレスそれぞれに対応する欠陥レベル同士を比較してそのレベルの大小関係を認識することにより、欠陥補償処理の処理順が決定される（ステップＳ３２）。この後、決定された処理順、すなわち欠陥レベルの大きい順に、欠陥画素それぞれに関する補償処理が実行される（ステップＳ３３）。欠陥画素アドレスが互いに隣接する複数の欠陥のうち、最初に処理される欠陥画素（隣接する複数の欠陥のうち最も欠陥レベルが相対的に大きい欠陥画素）については、それに近接する他の欠陥画素に関する欠陥補償処理はまだ行なわれていないので、欠陥補償前の生の近隣４画素をそのまま用いた欠陥補償処理が実行されることになる。一方、欠陥画素アドレスが互いに隣接する複数の欠陥のうち、２番目以降に処理される欠陥画素（隣接する複数の欠陥のうち欠陥レベルの大きさが２番目以降の欠陥画素）については、それよりも欠陥レベルが相対的に大きい画素に関する欠陥補償処理が既に行われているので、その欠陥補償後のデータを用いた近隣４画素による欠陥補償処理が実行されることになる。
【００５８】
欠陥レベルの大きいもの順に欠陥補償処理を実行するというステップＳ３３の処理は、未処理の欠陥画素が無くなるまで繰り返し実行される（ステップＳ３４）。
【００５９】
次に、欠陥データ検出部１１２ｂによって実行される欠陥検出処理と、欠陥データ管理部１１２ｃによって実行される登録欠陥の追加・更新処理について説明する。
【００６０】
本実施形態のカメラにおいては必要時に欠陥検出を行ない、その結果に基づき上記登録欠陥を追加更新する。欠陥検出は次のように行なわれる。
すなわち露出制御機構１０３に含まれるメカシャッタ装置でＣＣＤ１０５の受光面を遮光してから、その遮光状態でテスト撮像を行なう。すなわち暗黒下でＣＣＤドライバ１０６により本カメラの最長露出時間Ｔmax（設定は任意：ここでの例示値５ｓ）の電荷蓄積動作を行なってテスト撮像信号（暗出力信号）を読み出し、ディジタルプロセス回路１０８に格納する。格納された有効出力画素の全データに関して各出力レベルを調べて基準レベルとディジタル比較を行なうことで欠陥か否かの判定を行なう。
【００６１】
判定基準は以下のようなものである。すなわち着目画素の出力レベルがＳであったとして
Ｓ ＞５
の場合に欠陥、それ以外（Ｓ ≦ ５）の時には非欠陥とするものである。この意味は本撮像時の暗出力レベルを最大フルレンジ２５５の約２％までは許容するとしたものである。ここで出力レベル約２％という判定基準レベルはもとよりあくまでも一例であり、設計時に事情に合わせて任意に設定し得るものであるが、上記程度の適当な値（他に例えば約５％や約１％なども有効）を選んでおけば画像に重畳される暗出力の影響の顕在化可能性は充分低くなる。またこれを０％に選べば暗出力が重畳された画素を完全に排除することが可能でありこの点ではこれも一つの好適実施例として挙げ得るが、これは逆に見れば僅かな暗信号の重畳のためにその画素情報を完全に廃棄することを意味するから、却って総合画質を低下させることにもなる場合もある。現実にはこれらのトレードオフ要素を勘案して基準レベルを設定する。
【００６２】
このようなカメラの欠陥検出によって得られた画素欠陥を検出欠陥と称する。
次に、上記のように求められた検出欠陥に基づいてＥＥＰＲＯＭ１１８の登録欠陥を追加・更新するためのデータ更新処理について説明する。
【００６３】
＜データ更新処理１＞
図７のフローチャートは、上記記憶態様１に対応するデータ更新処理の手順を示すものである。まず、検出欠陥のデータを全て（登録欠陥との重複に関わらず）をレベル比較し、検出された欠陥画素それぞれの大小関係を認識する（ステップＳ１１１）。次いで、欠陥レベルの大きい順に欠陥画素アドレスを上記記憶態様１で記憶する。すなわちデータは上書きされることになる（Ｓ１１２）。
【００６４】
・既登録にもかかわらず検出されなかった欠陥があった場合は、例えばこれを廃棄しても良いし、全ての検出欠陥データよりも高順位または低順位にて併せ記憶しても良い。または既登録欠陥における順位にほぼ相当する順位に割り込ませても良い。この時の順位は相対的順位（全数に対する順位比率）を用いることが好適である。すなわち、既登録全欠陥数Ｎ１における順位がＭ１位であれば、検出＋非重複の新全欠陥数がＮ２において対応する順位Ｍ２は、Ｍ２＝Ｍ１×Ｎ２／Ｎ１（ただし計算値が非整数の場合には四捨五入等により整数化したもの）となる。ただし、これに限るものではなく、煩雑を避ける観点から絶対的順位（単なる順位）を用いても良い。どちらを用いても、全数の相違が小さい場合は両者の差異は小さいから実用上の問題はない。
【００６５】
・記憶領域の浪費を問題にしない場合は、上書きに変えて、全く別の領域を次回補償時に使用する領域として規定しこれに記憶しても良い。
【００６６】
＜データ更新処理２＞
図８のフローチャートは、上記記憶態様２に対応するデータ更新処理の手順を示すものである。ここでは、新規検出欠陥（登録欠陥と重複するものを除去したもの）を、ＥＥＰＲＯＭ１１８の引き続くメモリアドレスのデータビットに上記記憶態様２で追加登録する処理が行われる。その際上記データ更新処理１と同様の処理で全体の順位を決定し序列数データの更新が行われる。以下、具体的な手順の例について説明する。
【００６７】
まず、検出欠陥のデータから登録欠陥と重複する画素を認識し（ステップＳ１２１）、登録欠陥と重複するものを除去したものを新規検出欠陥とする。次いで、検出欠陥のデータを全て（新規検出欠陥、および登録欠陥と重複する検出欠陥のすべて）をレベル比較し、検出された欠陥画素それぞれの大小関係を認識する（ステップＳ１２２）。このとき、既登録にもかかわらず検出されなかった欠陥があった場合には、これはレベル情報を有していないから単純に比較することは不可能であるが、上記データ更新処理１におけるのと同様の（例えば対応する相対順位に位置付ける）処理を適用すれば良い。そして、その大小関係の認識結果に基づき、新規検出欠陥の欠陥画素アドレスと序列数とを対応付けてＥＥＰＲＯＭ１１８に追加登録する処理（ステップＳ１２３）、並びに登録欠陥と重複する検出欠陥に関する序列数を更新する処理（ステップＳ１２４）、が実行される。
【００６８】
＜データ更新処理３＞
図９のフローチャートは、上記記憶態様３に対応するデータ更新処理の手順を示すものである。ここでは、新規検出欠陥（登録欠陥と重複するものを除去したもの）を、ＥＥＰＲＯＭ１１８の引き続くメモリアドレスのデータビットに上記記憶態様３で追加登録する処理が行われる。この際、記憶態様３では欠陥度合いに関する情報として欠陥レベルそのものが用いられているので、登録欠陥に関する欠陥レベルの更新は基本的には不要となる。以下、具体的な手順の例について説明する。
【００６９】
まず、検出欠陥のデータから登録欠陥と重複する画素を認識し（ステップＳ１３１）、登録欠陥と重複するものを除去したものを新規検出欠陥とする。次いで、新規検出欠陥の画素アドレスと欠陥レベルとを対応付けてＥＥＰＲＯＭ１１８に追加登録する（ステップＳ１３２）。さらに、点滅性欠陥にも対応できるようにするため、本例では、検出欠陥として重複検出された登録欠陥に関する欠陥レベルの登録値を更新する処理も行われる（ステップＳ１３３）。この際、登録されているレベルと検出されたレベルのうち、最大のものを登録データとして適用する処理が行われる。つまり、登録欠陥と重複する検出欠陥に関してそのレベルを登録欠陥レベルと比較し、検出欠陥の方が大きい場合には欠陥レベルの値が検出データで更新される。なお、この場合には１回のデータ更新に関して欠陥検出を複数回行なって、その最大のものを適用することも点滅性欠陥に対して極めて好適である。
【００７０】
以上説明したように、本実施形態によれば、少なくとも互いに隣接する欠陥に関しては欠陥レベルの大きいものから先に補償処理を適用することにより、状況適応的に補償に使用する画素を変えずとも、欠陥の隣接に起因する画質劣化や補償不能による不具合を防止することができる。
【００７１】
なお、上記実施形態では白欠陥についてのみ説明したが、例えば黒欠陥についても、そののうち「感度不足」タイプはその感度に応じて欠陥レベルが規定できる（感度が低いものが欠陥の度合いが大きい）ので、上述の白欠陥の場合と同様の処理手順および記憶態様を黒欠陥にも適用することが出来る。また例えば、ＣＣＤ１０５内の電荷移送ゲート異常などにより全く出力が出ない黒欠陥画素に関しては、感度不足タイプの黒欠陥よりも欠陥の度合いが大きく、全ての白欠陥は黒欠陥よりも欠陥の度合いが大きいと規定すれば、白欠陥および黒欠陥を含む各種欠陥の混在に関しても適用できる。
【００７２】
また、上記説明では欠陥データを記憶するための「記憶手段」の明示的な例はＥＥＰＲＯＭであるがこれに限られず、揮発性（一時的）記憶手段である例えばＤＲＡＭを含む任意の記憶手段も適用対象である。ＤＲＡＭは一般的には実行用メモリとして使用されるが、特に上記記憶態様のうち、記憶態様１に関してはその効果は主として欠陥補償の実行時に発揮されるから、このような実行用メモリ上におけるアドレス配置が直接的な意味を有している（もちろん非実行用メモリであっても、これから実行用メモリへのデータロード時にアドレスを並べ替えることなく効果を発揮できるという点で有意であることは自明である）。
【００７３】
更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、後発性欠陥により複数の欠陥画素が隣接して発生した場合にも、状況適応的に補償に使用する画素を変えるという複雑な補償方法を用いることなく、画質劣化を低減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるディジタルカメラの構成を示すブロック図。
【図２】同実施形態で用いられる欠陥データの記憶態様を説明するための図。
【図３】同実施形態で用いられる欠陥補償処理の第１の手順を示すフローチャート。
【図４】同実施形態において欠陥画素が隣接して発生した場合における欠陥補償処理の原理を説明するための図。
【図５】同実施形態で用いられる欠陥補償処理の第２の手順を示すフローチャート。
【図６】同実施形態で用いられる欠陥補償処理の第３の手順を示すフローチャート。
【図７】同実施形態で用いられる欠陥データ更新処理の第１の手順を示すフローチャート。
【図８】同実施形態で用いられる欠陥データ更新処理の第２の手順を示すフローチャート。
【図９】同実施形態で用いられる欠陥データ更新処理の第２の手順を示すフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０８…ディジタルプロセス回路
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１２ａ…欠陥補償制御部
１１２ｂ…欠陥データ検出部
１１２ｃ…欠陥データ管理部
１１８…ＥＥＰＲＯＭ

Claims (4)

1. 撮像素子と、
   前記撮像素子に被写体像を入力する撮像光学系と、
   前記撮像素子の欠陥画素アドレスを、その欠陥画素の欠陥の度合いに対応させて欠陥データとして記憶する記憶手段と、
   前記撮像素子の出力に対して前記記憶手段に記憶された欠陥データに基づいて近隣画素データによる補償処理を行なう欠陥補償手段と、
   前記欠陥データの検出を実行する欠陥データ検出手段と、
   前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する欠陥データ管理手段とを具備し、
   前記欠陥補償手段は欠陥画素に関する補償処理を前記欠陥の度合いに基づいた順序で実行するように構成されたものであり、前記記憶手段には、欠陥画素それぞれの欠陥画素アドレスと当該欠陥画素の個別欠陥値とが前記欠陥データとして記憶されており、前記欠陥データ管理手段は、前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する場合、当該欠陥画素アドレスに対応する個別欠陥値として、既に記憶されている個別欠陥値および検出された欠陥レベル値のうち最大のものを適用するように構成されたものであることを特徴とする撮像装置。
2. 前記欠陥補償手段は、各欠陥に関する補償処理後のデータで前記撮像素子の出力を補正しながら次に処理すべき欠陥に関する補償処理を実行するものであることを特徴とする請求項１記載の撮像装置。
3. 前記撮像光学系から前記撮像素子への入射光を遮断する遮光手段をさらに有し、前記欠陥データ検出手段は、前記遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる前記撮像素子の出力に基づいて前記欠陥データを検出する白欠陥データ検出手段であることを特徴とする請求項１記載の撮像装置。
4. 撮像装置における画素欠陥を補正するための画素欠陥補正方法であって、
   前記撮像素子の欠陥画素アドレスを、その欠陥画素の欠陥の度合いに対応させて欠陥データとして記憶手段に記憶する記憶ステップと、
   撮像素子の出力に対して記憶手段に記憶された欠陥データに基づいて近隣画素データによる補償処理を行なう欠陥補償ステップと、
   新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する欠陥データ管理ステップとを有し、
   前記欠陥補償ステップは欠陥画素に関する補償処理を前記欠陥の度合いに基づいた順序で実行するものであり、前記記憶手段には、欠陥画素それぞれの欠陥画素アドレスと当該欠陥画素の個別欠陥値とが前記欠陥データとして記憶されており、前記欠陥データ管理ステップは、前記新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する場合、当該欠陥画素アドレスに対応する個別欠陥値として、既に記憶されている個別欠陥値および検出された欠陥レベル値のうち最大のものを適用するようにしたことを特徴とする画素欠陥補正方法。

Images