JP4546664B2 - 撮像装置および画素欠陥補正方法 - Google Patents
撮像装置および画素欠陥補正方法 Download PDFInfo
- Publication number
- JP4546664B2 JP4546664B2 JP2001133438A JP2001133438A JP4546664B2 JP 4546664 B2 JP4546664 B2 JP 4546664B2 JP 2001133438 A JP2001133438 A JP 2001133438A JP 2001133438 A JP2001133438 A JP 2001133438A JP 4546664 B2 JP4546664 B2 JP 4546664B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- defective pixel
- data
- pixel
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims description 342
- 238000000034 method Methods 0.000 title claims description 79
- 238000003384 imaging method Methods 0.000 title claims description 38
- 238000012937 correction Methods 0.000 title claims description 6
- 230000002950 deficient Effects 0.000 claims description 127
- 238000012545 processing Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 21
- 238000013523 data management Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は撮像装置および画素欠陥補正方法に関し、特に画素欠陥補償機能を有する撮像装置および同撮像装置に適用される画素欠陥補正方法に関する。
【0003】
【従来の技術】
ビデオカメラなどの撮像装置は従来より広く利用されている。近年主として静止画を撮像記録する電子スチルカメラも特にディジタルカメラとして普及するに至り、主として動画記録用であったビデオムービーにおいても静止画撮影記録機能を有するようになってきた。そして主に静止画撮影に際して使用される長時間露光は撮像素子における電荷蓄積時間を長くすることによって露光時間を長くし、これによって低照度下でもストロボなどの補助照明を使用することなく撮影できるようにする技術として知られている。
【0004】
一方CCD等の撮像素子においてはいわゆる暗電流の存在などによる暗出力が存在し、これが画像信号に重畳されるため、画質劣化を来す。この暗出力レベルが大きい画素が存在する場合は画素欠陥と称され、その画素の出力情報は用いず近隣の画素の出力情報を用いて情報を補完することが広く実用されている。本明細書においてはこのような補完処理を画素欠陥の補償と称する。
【0005】
そしてさらに、画素欠陥は温度依存や経時変化を伴うから欠陥画素の評価を工場出荷前に行なうだけでは不十分であるという点について改善をはかった技術も特開平06−038113号公報に公知である。すなわちこの公開公報には、電源オン直後にアイリスを閉じることで受光面を遮光し、カメラの使用に先立ってCCD暗出力を評価することで欠陥画素を検出して、欠陥補償を行なう技術が記載されている。
【0006】
すなわち、上記経時変化によって新たに生じる欠陥を後発性欠陥と呼ぶならば、カメラにおいて欠陥画素の検出を行うというこの技術は、後発性欠陥に対して極めて有効な対策となりうる優れたものである。
【0007】
ここで、以下詳述する本発明に関する理解を深める意味での補足的な説明として、本発明者らの最近の検討によって新たに見出された「点滅性欠陥」について触れておく。これは温度や露光(蓄積)時間なども含めて全く同じ撮影条件下において撮像(電荷蓄積と読み出し)を繰り返した場合に、例えば同一の画素が、或る時は白欠陥(暗電荷過大)となったり、また或る時は正常信号を出力したりというように、あたかも白欠陥(過大暗電荷)が点滅しているかの如き振る舞いを示すものである。
【0008】
点滅性欠陥の原因については未だ確たる理論を見出すに至っていないが、少なくとも現象論的には以下のような知見が得られている。
【0009】
すなわち、この点滅はある種確率的な要素を含むらしく、特に定まった周期性や読み出し回数依存性を有しないこと、また比較的短い期間における繰り返し撮像において点滅するもの(短周期性:上記のようにこの現象に周期性は見出されていないが、比喩的に「周期」という語を用いている。以下同じ)もあれば比較的長周期性のものもあることが判っている。ここに至って、従来自然放射能や飛来宇宙線の影響による破壊的(非復帰的)現象と考えられていた後発性欠陥の中にも、極めて長周期性の点滅性欠陥が含まれていた可能性が指摘される一方、後発的に生じる短周期性点滅欠陥が多く存在することも明らかになっている。
【0010】
いずれにせよこのような点滅性欠陥であるか否かを問わず、後発性欠陥というものが現に存在するからには、工場出荷前の検査のみならず、カメラ自体にも欠陥データ検出機能を持たせて欠陥画素の検出を行うことは極めて重要である。
【0011】
【発明が解決しようとする課題】
しかし、温度上昇や長時間の露光による欠陥の増大あるいは後発性欠陥等の新規発生を考えた場合には、欠陥画素が隣接して生じることをそれ自体防ぎ得ない。つまり、工場出荷前の検査では欠陥画素が隣接して生じるような場合にはそのCCD自体が不良として扱われるので、少なくとも工場出荷直後はそのような不具合は生じえないが、後発性欠陥をも考慮すると温度上昇や長時間の露光による欠陥の増大とあいまって、出荷後には欠陥画素が隣接して発生する場合がある。
この場合、欠陥補償のために用いる補完対象である隣接画素もまた欠陥画素であるという状況が発生する。
【0012】
このような状況下で近隣画素による欠陥補償処理をそのまま適用した場合は、欠陥画素の補償にまた欠陥画素を用いることになるので、画質を維持できないばかりか、欠陥補償処理によって却って画質を低下させる恐れも生じる。例えば隣接するA,B2つの画素の白欠陥のレベルが、Aは許容限界を僅かに超える程度であるのに対し、Bが飽和に達する完全欠陥である場合、もしAに対してBのデータを用いて補償するならば、非補償の場合よりも却って画質が悪くなる。
【0013】
この回避策として採り得る一つの方法は、通常は複数存在する隣接画素のうち、このような欠陥画素を除いたものだけを対象として補完処理を行なうことであるが、これは
(1)各欠陥画素毎に、状況適応的な(場合によって処理が異なる)補完方法を用いることを必須的に要求することになるから、補償アルゴリズムが複雑化し、処理手段(例えばソフトウェアのコード規模)が肥大化したり、演算時間の増加を招く。
(2)全ての隣接画素が欠陥画素になってしまった場合は、結局補完することができないから、補償不能に起因するシステム破綻が生じたり、あるいは或るエリア全体にわたって欠陥画素が発生しているような場合には、そのエリア内全てが相関の低い遠方の画素値で埋め尽くされてしまうという塗りつぶし現象が生じる懸念がある。
いという問題があった。
【0014】
なお、(2)のような状況に対しては、このような状況を「画質破綻状態」と判定して例えば撮像を禁止する技術を本出願人自身が既に提案している(特願平11−207016号)が、このような技術を単純に採用した場合は、これによって例えばある程度以上の長時間露光を実現することが完全に不可能となってしまうなど、撮影条件が制限されてしまう問題があった。
【0015】
本発明は上記事情を考慮してなされたもので、その目的とするところは、複数の欠陥が隣接して発生した場合の画質劣化を低減することが可能な撮像装置および画素欠陥補正方法を提供することを目的とする。
【0016】
【課題を解決するための手段】
上述の課題を解決するため、本発明の撮像装置は、撮像素子と、前記撮像素子に被写体像を入力する撮像光学系と、前記撮像素子の欠陥画素アドレスを、その欠陥画素の欠陥の度合いに対応させて欠陥データとして記憶する記憶手段と、前記撮像素子の出力に対して前記記憶手段に記憶された欠陥データに基づいて近隣画素データによる補償処理を行なう欠陥補償手段と、前記欠陥データの検出を実行する欠陥データ検出手段と、前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する欠陥データ管理手段とを具備し、前記欠陥補償手段は欠陥画素に関する補償処理を前記欠陥の度合いに基づいた順序で実行するように構成されたものであり、前記記憶手段には、欠陥画素それぞれの欠陥画素アドレスと当該欠陥画素の個別欠陥値とが前記欠陥データとして記憶されており、前記欠陥データ管理手段は、前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する場合、当該欠陥画素アドレスに対応する個別欠陥値として、既に記憶されている個別欠陥値および検出された欠陥レベル値のうち最大のものを適用するように構成されたものであることを特徴とする。
【0020】
また、撮像素子の欠陥画素アドレスをその欠陥画素それぞれの欠陥の度合いに対応させて欠陥データとして記憶しておくことにより、上記欠陥レベル順の補償処理を容易に実現することが出来る。
【0025】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【0026】
図中101は撮像レンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞り及びシャッタ装置を制御するための露出制御機構、104はローパス及び赤外カット用のフィルタ、105は被写体像を光電変換するためのCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はA/D変換器等を含むプリプロセス回路、108は色信号生成処理,マトリックス変換処理,その他各種のディジタル処理を行なうためのディジタルプロセス回路、109はカードインターフェース、110はメモリカード、111はLCD画像表示系を示している。
【0027】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種SWからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117は露出制御機構103及びストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0028】
本実施形態のカメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、露出制御機構103とCCDドライバ106によるCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行ない、それをプリプロセス回路107を介してA/D変換してディジタルプロセス回路108に取込んで、ディジタルプロセス回路108内で各種信号処理を施した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0029】
また、システムコントローラ112には、図示のように、EEPROM118に記憶されている欠陥データに基づいてCCD105から得られる撮像信号に対して画素欠陥補償処理を施すための欠陥補償制御部112aと、画素欠陥データの検出を行なうための欠陥データ検出部112bと、欠陥データ検出部112bにより新たに検出された欠陥データに基づいてEEPROM118に記憶されている欠陥データの更新・管理を行なうための欠陥データ管理部112cとが設けられている。
【0030】
画素欠陥補償処理は、欠陥補償制御部112aからの指令に基づいて、EEPROM118に格納された既存の(その時点における最新の)欠陥(以下登録欠陥と称する)に関する欠陥画素のアドレスデータに基づいてディジタルプロセス回路108において実行される。なお、初期(カメラの工場出荷時)においては登録欠陥は製造調整工程において取得された欠陥データが登録されている。
【0031】
本実施形態では、複数の欠陥が隣接した場合の画質劣化を低減するために、欠陥補償の処理順序に関して欠陥画素間に序列が設けられており、少なくとも補償対象の欠陥画素アドレスが互いに隣接する複数の欠陥に関しては欠陥レベルの大きいものから先に補償処理が適用される。
【0032】
欠陥データ検出部112bによる欠陥検出は、例えば24時間に1回といった割合で電源投入時などにテスト撮像を行ない、その時の撮像画像を解析することによって行われる。
【0033】
以下、本発明の画素欠陥の補償処理の手順とEEPROM118に対する欠陥データの登録に直接関わる処理を中心にシステムコントローラ112によるカメラ制御の説明を行なう。ただし、本カメラにおいてCCD105から得られる信号レベルのディジタル処理は8ビット(0〜255)で行われるものとする。
【0034】
また、以下では白欠陥のみを対象に説明することにする。欠陥の「レベル」としては、ある基準温度、基準露光時間の場合のレベルに規格化したものを考える。本実施形態では簡単のため、温度については考慮せず(従って特記無い限り常温での使用のみを仮定)、基準露光時間は下記で説明するようにテスト撮像の露出時間(=本カメラの最長露出時間Tmax:例示値5s)を採用することとする。
【0035】
さらに、欠陥補償の処理順序の管理は必須的には隣接した欠陥画素同志のみを対象に行なえば良いが、却って処理が複雑化することを避けて、以下では全欠陥に関してレベルの大きなものから順に欠陥補償を行なうこととする。
【0036】
まず、図2を参照して、EEPROM118における欠陥データの記憶態様について説明する。
【0037】
欠陥レベルの程度に応じた処理順での欠陥補償処理を実現するために、本実施形態では、欠陥画素アドレスはその欠陥画素それぞれの欠陥の度合いに対応させた状態でEEPROM118に欠陥データとして記憶される。これは新規検出欠陥のみならず、工場出荷時の初期登録欠陥についても同様である。欠陥データの具体的な記憶態様は以下の通りである。
【0038】
<記憶態様1: 欠陥画素アドレスをメモリアドレス順に記憶する場合>
図2(a)は、欠陥画素アドレスのみをその欠陥レベルSの大きいものからメモリアドレス順(欠陥補償処理時における欠陥画素アドレスの読み出し順)に記憶した場合の例である。
【0039】
すなわち、EEPROM118内の所定の欠陥記憶領域のメモリアドレスの先頭のデータビットには欠陥の個数Nが記憶されており、これに続くN個のメモリアドレスのデータビットには欠陥画素アドレスAdr(1)、Adr(2)、Adr(3)、…Adr(N)のみが欠陥レベルSが大きい順番に記憶されている。この場合、メモリアドレス1にAdr(1)として記憶される欠陥画素アドレスの欠陥レベルが最も大きく、続くメモリアドレス2、3、…NにAdr(2)、Adr(3)、…Adr(N)として記憶される欠陥画素アドレスの順にその欠陥レベルが小さくなる。もちろん連続して記憶されている2以上の欠陥画素アドレスそれぞれの欠陥レベルSが等しい場合もある。つまり、欠陥画素アドレスAdr(1)、Adr(2)、…Adr(N)として記憶される欠陥画素それぞれの欠陥レベルをS(1)、S(2)、…S(N)とすると、
S(1)≧S(2)≧…,≧S(N)
となる。
【0040】
この記憶態様1を用いることにより、欠陥補償制御部112aによる欠陥補償処理をEEPROM118からそのメモリアドレス順に欠陥画素アドレスを読み出しながら行なうだけで、補償処理に特段の処理を採用しなくても欠陥レベル順の補償処理が行なうことが可能となる。
【0041】
<記憶態様2: 欠陥画素アドレスと序列数を併せて記憶する場合>
図2(b)は、欠陥画素アドレスとその欠陥レベルの大きさに関する序列数(レベルSが大きいものから順に1、2…、N)とを併せて記憶した場合の例である。すなわち、EEPROM118内の所定の欠陥記憶領域のメモリアドレスの先頭のデータビットには欠陥の個数Nが記憶されており、これに続くN個のメモリアドレスのデータビットには、欠陥画素アドレスAdr(1)、Adr(2)、Adr(3)、…Adr(N)とそれに対応する序列数Odr(1)、Odr(2)、Odr(3)、…Odr(N)とが併せて記憶されている。この場合、例えばメモリアドレス3にAdr(3)として記憶されている欠陥画素アドレスが最も欠陥レベルが大きく、メモリアドレス1にAdr(1)として記憶されている欠陥画素アドレスの欠陥レベルが2番目に大きく、メモリアドレスNにAdr(N)として記憶されている欠陥画素アドレスの欠陥レベルが3番目に大きい場合には、メモリアドレス3にOdr(3)として記憶されている序列数は“1”で、メモリアドレス1にOdr(1)として記憶されている序列数が“2”で、そしてメモリアドレスNにOdr(N)として記憶されている序列数が“3”となる。
【0042】
<記憶態様3: 欠陥画素アドレスと個別欠陥値を併せて記憶する場合>
図2(c)は、欠陥画素アドレスとその個別欠陥値(欠陥レベルS)とを併せて記憶する場合の例である。すなわち、EEPROM118内の所定の欠陥記憶領域のメモリアドレスの先頭のデータビットには欠陥の個数Nが記憶されており、これに続くN個のメモリアドレスのデータビットには欠陥画素アドレスAdr(1)、Adr(2)、Adr(3)、…Adr(N)とそれに対応する欠陥レベルS(1)、S(2)、S(3)、…S(N)とが併せて記憶されている。
【0043】
次に、欠陥補償制御部112aによって実行される画素欠陥補償処理について説明する。
【0044】
まず、撮影に先立ってマニュアル設定または測光結果に基づいて撮影に必要な露光時間が設定される。次に本撮像の撮影トリガー指令を待機し、指令を受けたら所定の露出制御値に基いた露光を行ない、撮像信号を読み出して所定の信号処理を施した後にメモリカード110に記録する。その際、EEPROM118に記憶されている登録欠陥画素については画素欠陥補償を伴なう。欠陥補償後において記録に至るまでの映像信号処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【0045】
本実施形態のカメラにおいて欠陥補償は、公知の「欠陥アドレスが登録された画素に関しての近隣画素による補完」が採用されており、具体的補完方法は「最近接同色画素(同色の画素のうち、当該欠陥画素に最も近い4画素:RGBベイヤ配列の場合を例示すればGに関しては斜め4方に隣接する4つのG画素、R(またはB)に関しては上下左右の4方向で直接隣接でなく間に1つのGを挟んで次に位置する各4つのR(またはB)画素)たる4画素情報の平均値を代替適用する」ものが採用されている。この補間処理の方法を以下では「近隣4画素による欠陥補償処理」と称することにする。この「近隣4画素による欠陥補償処理」は上述したように欠陥レベルの大きいものから順に行われ、各欠陥画素に関する補償処理を行う度にその補償後のデータで撮像信号を補正しながら、次に処理すべき欠陥に関する補償処理が行われる。以下、上記記憶態様1〜3それぞれに対応する欠陥補償処理の手順を説明する。
【0046】
図3には、上記記憶態様1を採用した場合における欠陥補償処理の手順が示されている。
【0047】
まず、EEPROM118からの欠陥データの読み込みが行われ、EEPROM118に登録されているメモリアドレス順に欠陥画素に関する補償処理が実行される(ステップS11,S12)。欠陥データの読み込みはメモリアドレス順に行われ、その読み込んだ欠陥画素アドレスから順に「近隣4画素による欠陥補償処理」が行われることになる。この場合、上記記憶態様1では欠陥レベルの大きい欠陥画素画素アドレスから順に記憶されているので、欠陥画素が互いに近接して存在する場合、つまり補償対象の欠陥画素アドレスが互いに隣接する複数の欠陥に関しては、欠陥レベルの大きい欠陥画素に関する欠陥補償処理が優先して実行されることになる。
【0048】
欠陥画素アドレスが互いに隣接する複数の欠陥のうち、最初に処理される欠陥画素(隣接する複数の欠陥のうち最も欠陥レベルが相対的に大きい欠陥画素)については、それに近接する他の欠陥画素に関する欠陥補償処理はまだ行なわれていないので、欠陥補償前の生の近隣4画素をそのまま用いた欠陥補償処理が実行されることになる。一方、欠陥画素アドレスが互いに隣接する複数の欠陥のうち、2番目以降に処理される欠陥画素(隣接する複数の欠陥のうち欠陥レベルの大きさが2番目以降の欠陥画素)については、それよりも欠陥レベルが相対的に大きい画素に関する欠陥補償処理が既に行われておりその欠陥補償後のデータが撮像信号に反映されているので、欠陥補償後のデータを用いた近隣4画素による欠陥補償処理が実行されることになる。この様子を図4に示す。
【0049】
図4は、A,B2つの欠陥画素が互いに近接して存在しており、且つ欠陥画素Aの欠陥レベルが欠陥画素Bの欠陥レベルよりも大きい場合を想定している。この場合、欠陥画素Aについては、図4(a)に矢印で示すように欠陥補償前の欠陥画素Bを含む近隣4画素の平均によって欠陥補償され、これにより欠陥画素Aの画素値は欠陥補償後の画素値(A’)に更新される。欠陥画素Bについては、欠陥画素Aの画素値はその欠陥補償処理で既に補償後の画素値(A’)に更新されているので、図4(b)に矢印で示すように欠陥画素Aの欠陥補償後の画素値(A’)を含む近隣4画素の平均によって欠陥補償が行われる。
【0050】
よって、各欠陥画素毎に常にそれに最も隣接する同色4画素によって補償を行なうといった単純な欠陥補償アルゴリズムが既に採用されているカメラにおいても、EEPROM118からの欠陥アドレスの読み出し順(=補償処理順)に、欠陥レベルの大きいものから順に記憶しておくだけで、欠陥補償アルゴリズムの変更を行なうことなく欠陥レベルの小さい画素がそれよりも欠陥レベルの大きい画素によって補償されるという不具合をなくすことが出来る。
【0051】
登録されているメモリアドレス順に欠陥補償処理を実行するというステップS12の処理は、未処理の欠陥画素が無くなるまで繰り返し実行される(ステップS13)。なお、ステップS11でEEPROM118から欠陥画素アドレスを一つ読み出す度に、その都度ステップS12の処理を行なう場合には、図3に破線で示すように、未処理の欠陥画素が無くなるまでステップS11とステップS12の処理が繰り返されることになる。
【0052】
図5には、上記記憶態様2を採用した場合における欠陥補償処理の手順が示されている。
【0053】
まず、EEPROM118からの欠陥データの読み込みにより、EEPROM118に登録されている欠陥画素アドレスと序列数との組が全て読み込まれ(ステップS21)、そして欠陥画素アドレスそれぞれに関する序列数の順序関係を認識することにより、欠陥補償処理の処理順が決定される(ステップS22)。
この後、決定された処理順、すなわち序列数順に、欠陥画素それぞれに関する補償処理が実行される(ステップS23)。上記記憶態様2では欠陥レベルの大きい欠陥画素画素アドレスから順に1,2,3,…Nという序列数が付随しているので、欠陥画素が互いに近接して存在する場合、つまり補償対象の欠陥画素アドレスが互いに隣接する複数の欠陥に関しては、欠陥レベルの大きい欠陥画素に関する欠陥補償処理が優先して実行されることになる。
【0054】
欠陥画素アドレスが互いに隣接する複数の欠陥のうち、最初に処理される欠陥画素(隣接する複数の欠陥のうち最も欠陥レベルが相対的に大きい欠陥画素)については、それに近接する他の欠陥画素に関する欠陥補償処理はまだ行なわれていないので、欠陥補償前の生の近隣4画素をそのまま用いた欠陥補償処理が実行されることになる。一方、欠陥画素アドレスが互いに隣接する複数の欠陥のうち、2番目以降に処理される欠陥画素(隣接する複数の欠陥のうち欠陥レベルの大きさが2番目以降の欠陥画素)については、それよりも欠陥レベルが相対的に大きい画素に関する欠陥補償処理が既に行われているので、その欠陥補償後のデータを用いた近隣4画素による欠陥補償処理が実行されることになる。
【0055】
序列数順に欠陥補償処理を実行するというステップS23の処理は、未処理の欠陥画素が無くなるまで繰り返し実行される(ステップS24)。
【0056】
図6には、上記記憶態様3を採用した場合における欠陥補償処理の手順が示されている。
【0057】
まず、EEPROM118からの欠陥データの読み込みにより、EEPROM118に登録されている欠陥画素アドレスと欠陥レベルとの組が全て読み込まれ(ステップS31)、そして欠陥画素アドレスそれぞれに対応する欠陥レベル同士を比較してそのレベルの大小関係を認識することにより、欠陥補償処理の処理順が決定される(ステップS32)。この後、決定された処理順、すなわち欠陥レベルの大きい順に、欠陥画素それぞれに関する補償処理が実行される(ステップS33)。欠陥画素アドレスが互いに隣接する複数の欠陥のうち、最初に処理される欠陥画素(隣接する複数の欠陥のうち最も欠陥レベルが相対的に大きい欠陥画素)については、それに近接する他の欠陥画素に関する欠陥補償処理はまだ行なわれていないので、欠陥補償前の生の近隣4画素をそのまま用いた欠陥補償処理が実行されることになる。一方、欠陥画素アドレスが互いに隣接する複数の欠陥のうち、2番目以降に処理される欠陥画素(隣接する複数の欠陥のうち欠陥レベルの大きさが2番目以降の欠陥画素)については、それよりも欠陥レベルが相対的に大きい画素に関する欠陥補償処理が既に行われているので、その欠陥補償後のデータを用いた近隣4画素による欠陥補償処理が実行されることになる。
【0058】
欠陥レベルの大きいもの順に欠陥補償処理を実行するというステップS33の処理は、未処理の欠陥画素が無くなるまで繰り返し実行される(ステップS34)。
【0059】
次に、欠陥データ検出部112bによって実行される欠陥検出処理と、欠陥データ管理部112cによって実行される登録欠陥の追加・更新処理について説明する。
【0060】
本実施形態のカメラにおいては必要時に欠陥検出を行ない、その結果に基づき上記登録欠陥を追加更新する。欠陥検出は次のように行なわれる。
すなわち露出制御機構103に含まれるメカシャッタ装置でCCD105の受光面を遮光してから、その遮光状態でテスト撮像を行なう。すなわち暗黒下でCCDドライバ106により本カメラの最長露出時間Tmax(設定は任意:ここでの例示値5s)の電荷蓄積動作を行なってテスト撮像信号(暗出力信号)を読み出し、ディジタルプロセス回路108に格納する。格納された有効出力画素の全データに関して各出力レベルを調べて基準レベルとディジタル比較を行なうことで欠陥か否かの判定を行なう。
【0061】
判定基準は以下のようなものである。すなわち着目画素の出力レベルがSであったとして
S >5
の場合に欠陥、それ以外(S ≦ 5)の時には非欠陥とするものである。この意味は本撮像時の暗出力レベルを最大フルレンジ255の約2%までは許容するとしたものである。ここで出力レベル約2%という判定基準レベルはもとよりあくまでも一例であり、設計時に事情に合わせて任意に設定し得るものであるが、上記程度の適当な値(他に例えば約5%や約1%なども有効)を選んでおけば画像に重畳される暗出力の影響の顕在化可能性は充分低くなる。またこれを0%に選べば暗出力が重畳された画素を完全に排除することが可能でありこの点ではこれも一つの好適実施例として挙げ得るが、これは逆に見れば僅かな暗信号の重畳のためにその画素情報を完全に廃棄することを意味するから、却って総合画質を低下させることにもなる場合もある。現実にはこれらのトレードオフ要素を勘案して基準レベルを設定する。
【0062】
このようなカメラの欠陥検出によって得られた画素欠陥を検出欠陥と称する。
次に、上記のように求められた検出欠陥に基づいてEEPROM118の登録欠陥を追加・更新するためのデータ更新処理について説明する。
【0063】
<データ更新処理1>
図7のフローチャートは、上記記憶態様1に対応するデータ更新処理の手順を示すものである。まず、検出欠陥のデータを全て(登録欠陥との重複に関わらず)をレベル比較し、検出された欠陥画素それぞれの大小関係を認識する(ステップS111)。次いで、欠陥レベルの大きい順に欠陥画素アドレスを上記記憶態様1で記憶する。すなわちデータは上書きされることになる(S112)。
【0064】
・既登録にもかかわらず検出されなかった欠陥があった場合は、例えばこれを廃棄しても良いし、全ての検出欠陥データよりも高順位または低順位にて併せ記憶しても良い。または既登録欠陥における順位にほぼ相当する順位に割り込ませても良い。この時の順位は相対的順位(全数に対する順位比率)を用いることが好適である。すなわち、既登録全欠陥数N1における順位がM1位であれば、検出+非重複の新全欠陥数がN2において対応する順位M2は、M2=M1×N2/N1(ただし計算値が非整数の場合には四捨五入等により整数化したもの)となる。ただし、これに限るものではなく、煩雑を避ける観点から絶対的順位(単なる順位)を用いても良い。どちらを用いても、全数の相違が小さい場合は両者の差異は小さいから実用上の問題はない。
【0065】
・記憶領域の浪費を問題にしない場合は、上書きに変えて、全く別の領域を次回補償時に使用する領域として規定しこれに記憶しても良い。
【0066】
<データ更新処理2>
図8のフローチャートは、上記記憶態様2に対応するデータ更新処理の手順を示すものである。ここでは、新規検出欠陥(登録欠陥と重複するものを除去したもの)を、EEPROM118の引き続くメモリアドレスのデータビットに上記記憶態様2で追加登録する処理が行われる。その際上記データ更新処理1と同様の処理で全体の順位を決定し序列数データの更新が行われる。以下、具体的な手順の例について説明する。
【0067】
まず、検出欠陥のデータから登録欠陥と重複する画素を認識し(ステップS121)、登録欠陥と重複するものを除去したものを新規検出欠陥とする。次いで、検出欠陥のデータを全て(新規検出欠陥、および登録欠陥と重複する検出欠陥のすべて)をレベル比較し、検出された欠陥画素それぞれの大小関係を認識する(ステップS122)。このとき、既登録にもかかわらず検出されなかった欠陥があった場合には、これはレベル情報を有していないから単純に比較することは不可能であるが、上記データ更新処理1におけるのと同様の(例えば対応する相対順位に位置付ける)処理を適用すれば良い。そして、その大小関係の認識結果に基づき、新規検出欠陥の欠陥画素アドレスと序列数とを対応付けてEEPROM118に追加登録する処理(ステップS123)、並びに登録欠陥と重複する検出欠陥に関する序列数を更新する処理(ステップS124)、が実行される。
【0068】
<データ更新処理3>
図9のフローチャートは、上記記憶態様3に対応するデータ更新処理の手順を示すものである。ここでは、新規検出欠陥(登録欠陥と重複するものを除去したもの)を、EEPROM118の引き続くメモリアドレスのデータビットに上記記憶態様3で追加登録する処理が行われる。この際、記憶態様3では欠陥度合いに関する情報として欠陥レベルそのものが用いられているので、登録欠陥に関する欠陥レベルの更新は基本的には不要となる。以下、具体的な手順の例について説明する。
【0069】
まず、検出欠陥のデータから登録欠陥と重複する画素を認識し(ステップS131)、登録欠陥と重複するものを除去したものを新規検出欠陥とする。次いで、新規検出欠陥の画素アドレスと欠陥レベルとを対応付けてEEPROM118に追加登録する(ステップS132)。さらに、点滅性欠陥にも対応できるようにするため、本例では、検出欠陥として重複検出された登録欠陥に関する欠陥レベルの登録値を更新する処理も行われる(ステップS133)。この際、登録されているレベルと検出されたレベルのうち、最大のものを登録データとして適用する処理が行われる。つまり、登録欠陥と重複する検出欠陥に関してそのレベルを登録欠陥レベルと比較し、検出欠陥の方が大きい場合には欠陥レベルの値が検出データで更新される。なお、この場合には1回のデータ更新に関して欠陥検出を複数回行なって、その最大のものを適用することも点滅性欠陥に対して極めて好適である。
【0070】
以上説明したように、本実施形態によれば、少なくとも互いに隣接する欠陥に関しては欠陥レベルの大きいものから先に補償処理を適用することにより、状況適応的に補償に使用する画素を変えずとも、欠陥の隣接に起因する画質劣化や補償不能による不具合を防止することができる。
【0071】
なお、上記実施形態では白欠陥についてのみ説明したが、例えば黒欠陥についても、そののうち「感度不足」タイプはその感度に応じて欠陥レベルが規定できる(感度が低いものが欠陥の度合いが大きい)ので、上述の白欠陥の場合と同様の処理手順および記憶態様を黒欠陥にも適用することが出来る。また例えば、CCD105内の電荷移送ゲート異常などにより全く出力が出ない黒欠陥画素に関しては、感度不足タイプの黒欠陥よりも欠陥の度合いが大きく、全ての白欠陥は黒欠陥よりも欠陥の度合いが大きいと規定すれば、白欠陥および黒欠陥を含む各種欠陥の混在に関しても適用できる。
【0072】
また、上記説明では欠陥データを記憶するための「記憶手段」の明示的な例はEEPROMであるがこれに限られず、揮発性(一時的)記憶手段である例えばDRAMを含む任意の記憶手段も適用対象である。DRAMは一般的には実行用メモリとして使用されるが、特に上記記憶態様のうち、記憶態様1に関してはその効果は主として欠陥補償の実行時に発揮されるから、このような実行用メモリ上におけるアドレス配置が直接的な意味を有している(もちろん非実行用メモリであっても、これから実行用メモリへのデータロード時にアドレスを並べ替えることなく効果を発揮できるという点で有意であることは自明である)。
【0073】
更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0074】
【発明の効果】
以上説明したように、本発明によれば、後発性欠陥により複数の欠陥画素が隣接して発生した場合にも、状況適応的に補償に使用する画素を変えるという複雑な補償方法を用いることなく、画質劣化を低減することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係わるディジタルカメラの構成を示すブロック図。
【図2】同実施形態で用いられる欠陥データの記憶態様を説明するための図。
【図3】同実施形態で用いられる欠陥補償処理の第1の手順を示すフローチャート。
【図4】同実施形態において欠陥画素が隣接して発生した場合における欠陥補償処理の原理を説明するための図。
【図5】同実施形態で用いられる欠陥補償処理の第2の手順を示すフローチャート。
【図6】同実施形態で用いられる欠陥補償処理の第3の手順を示すフローチャート。
【図7】同実施形態で用いられる欠陥データ更新処理の第1の手順を示すフローチャート。
【図8】同実施形態で用いられる欠陥データ更新処理の第2の手順を示すフローチャート。
【図9】同実施形態で用いられる欠陥データ更新処理の第2の手順を示すフローチャート。
【符号の説明】
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…フィルタ系
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス回路
108…ディジタルプロセス回路
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)
112a…欠陥補償制御部
112b…欠陥データ検出部
112c…欠陥データ管理部
118…EEPROM
Claims (4)
- 撮像素子と、
前記撮像素子に被写体像を入力する撮像光学系と、
前記撮像素子の欠陥画素アドレスを、その欠陥画素の欠陥の度合いに対応させて欠陥データとして記憶する記憶手段と、
前記撮像素子の出力に対して前記記憶手段に記憶された欠陥データに基づいて近隣画素データによる補償処理を行なう欠陥補償手段と、
前記欠陥データの検出を実行する欠陥データ検出手段と、
前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する欠陥データ管理手段とを具備し、
前記欠陥補償手段は欠陥画素に関する補償処理を前記欠陥の度合いに基づいた順序で実行するように構成されたものであり、前記記憶手段には、欠陥画素それぞれの欠陥画素アドレスと当該欠陥画素の個別欠陥値とが前記欠陥データとして記憶されており、前記欠陥データ管理手段は、前記欠陥データ検出手段により新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する場合、当該欠陥画素アドレスに対応する個別欠陥値として、既に記憶されている個別欠陥値および検出された欠陥レベル値のうち最大のものを適用するように構成されたものであることを特徴とする撮像装置。 - 前記欠陥補償手段は、各欠陥に関する補償処理後のデータで前記撮像素子の出力を補正しながら次に処理すべき欠陥に関する補償処理を実行するものであることを特徴とする請求項1記載の撮像装置。
- 前記撮像光学系から前記撮像素子への入射光を遮断する遮光手段をさらに有し、前記欠陥データ検出手段は、前記遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる前記撮像素子の出力に基づいて前記欠陥データを検出する白欠陥データ検出手段であることを特徴とする請求項1記載の撮像装置。
- 撮像装置における画素欠陥を補正するための画素欠陥補正方法であって、
前記撮像素子の欠陥画素アドレスを、その欠陥画素の欠陥の度合いに対応させて欠陥データとして記憶手段に記憶する記憶ステップと、
撮像素子の出力に対して記憶手段に記憶された欠陥データに基づいて近隣画素データによる補償処理を行なう欠陥補償ステップと、
新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する欠陥データ管理ステップとを有し、
前記欠陥補償ステップは欠陥画素に関する補償処理を前記欠陥の度合いに基づいた順序で実行するものであり、前記記憶手段には、欠陥画素それぞれの欠陥画素アドレスと当該欠陥画素の個別欠陥値とが前記欠陥データとして記憶されており、前記欠陥データ管理ステップは、前記新たに検出された欠陥データに基づいて前記記憶手段に記憶された欠陥データを更新する場合、当該欠陥画素アドレスに対応する個別欠陥値として、既に記憶されている個別欠陥値および検出された欠陥レベル値のうち最大のものを適用するようにしたことを特徴とする画素欠陥補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001133438A JP4546664B2 (ja) | 2001-04-27 | 2001-04-27 | 撮像装置および画素欠陥補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001133438A JP4546664B2 (ja) | 2001-04-27 | 2001-04-27 | 撮像装置および画素欠陥補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002330353A JP2002330353A (ja) | 2002-11-15 |
JP4546664B2 true JP4546664B2 (ja) | 2010-09-15 |
Family
ID=18981300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001133438A Expired - Fee Related JP4546664B2 (ja) | 2001-04-27 | 2001-04-27 | 撮像装置および画素欠陥補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4546664B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005136970A (ja) * | 2003-10-08 | 2005-05-26 | Canon Inc | 画像処理装置及び画像処理方法 |
JP4305777B2 (ja) | 2006-11-20 | 2009-07-29 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5266957B2 (ja) * | 2008-08-21 | 2013-08-21 | パナソニック株式会社 | 欠陥画素検出装置、撮像装置、および欠陥画素検出方法 |
WO2013099917A1 (ja) | 2011-12-28 | 2013-07-04 | 富士フイルム株式会社 | 撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0759011A (ja) * | 1993-08-11 | 1995-03-03 | Sony Corp | 固体撮像素子の欠陥画素の自動検出装置及び自動補正装置 |
JP2000059689A (ja) * | 1998-08-06 | 2000-02-25 | Sharp Corp | 固体撮像素子の欠陥画素検出・補正装置 |
JP2000059690A (ja) * | 1998-08-11 | 2000-02-25 | Konica Corp | 電子カメラ及び信号補正方法 |
JP2000184289A (ja) * | 1998-12-18 | 2000-06-30 | Fuji Photo Film Co Ltd | 撮像デバイスの欠陥画素補正装置および方法 |
-
2001
- 2001-04-27 JP JP2001133438A patent/JP4546664B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0759011A (ja) * | 1993-08-11 | 1995-03-03 | Sony Corp | 固体撮像素子の欠陥画素の自動検出装置及び自動補正装置 |
JP2000059689A (ja) * | 1998-08-06 | 2000-02-25 | Sharp Corp | 固体撮像素子の欠陥画素検出・補正装置 |
JP2000059690A (ja) * | 1998-08-11 | 2000-02-25 | Konica Corp | 電子カメラ及び信号補正方法 |
JP2000184289A (ja) * | 1998-12-18 | 2000-06-30 | Fuji Photo Film Co Ltd | 撮像デバイスの欠陥画素補正装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2002330353A (ja) | 2002-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7557841B2 (en) | Imaging apparatus that detects pixel defect of an imaging element and imaging method | |
US6381357B1 (en) | Hi-speed deterministic approach in detecting defective pixels within an image sensor | |
US9900533B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP4108278B2 (ja) | 固体撮像素子の自動欠陥検出補正装置およびそれを用いた撮像装置 | |
JP4546664B2 (ja) | 撮像装置および画素欠陥補正方法 | |
JP5057618B2 (ja) | 撮像装置 | |
JP2003046871A (ja) | 撮像装置 | |
JP2001177768A (ja) | 撮像装置 | |
JP2001251636A (ja) | 固体撮像装置および画素欠陥検出方法 | |
JP4454771B2 (ja) | 撮像装置 | |
JP4311833B2 (ja) | 撮像装置 | |
JP2004064512A (ja) | 欠陥画素の検出方法および装置、並びに撮像装置 | |
JP2002281391A (ja) | 撮像装置 | |
JP4262363B2 (ja) | 撮像装置 | |
JP2002281389A (ja) | 撮像装置 | |
JP2002281395A (ja) | 撮像装置 | |
JP2002152601A (ja) | 固体撮像装置および欠陥画素補正方法 | |
JP4499946B2 (ja) | 撮像装置 | |
JP4515627B2 (ja) | 撮像装置 | |
JP4499945B2 (ja) | 撮像装置 | |
JP2003143488A (ja) | 撮像装置 | |
JP2002281388A (ja) | 撮像装置 | |
JP2002281392A (ja) | 撮像装置 | |
JP2002281394A (ja) | 撮像装置 | |
JP4266445B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100702 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |