JP4499945B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4499945B2 JP4499945B2 JP2001075911A JP2001075911A JP4499945B2 JP 4499945 B2 JP4499945 B2 JP 4499945B2 JP 2001075911 A JP2001075911 A JP 2001075911A JP 2001075911 A JP2001075911 A JP 2001075911A JP 4499945 B2 JP4499945 B2 JP 4499945B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- defect data
- pixel
- detection
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
本発明は撮像装置に関し、特に画素欠陥検出機能を有する撮像装置に関する。
【0002】
【従来の技術】
ビデオカメラなどの撮像装置は従来より広く利用されている。近年主として静止画を撮像記録する電子スチルカメラも特にディジタルカメラとして普及するに至り、主として動画記録用であったビデオムービーにおいても静止画撮影記録機能を有するようになってきた。そして主に静止画撮影に際して使用される長時間露光は撮像素子における電荷蓄積時間を長くすることによって露光時間を長くし、これによって低照度下でもストロボなどの補助照明を使用することなく撮影できるようにする技術として知られている。
【0003】
一方CCD等の撮像素子においてはいわゆる暗電流の存在などによる暗出力が存在し、これが画像信号に重畳されるため、画質劣化を来す。この暗出力レベルが大きい画素が存在する場合は画素欠陥と称され、その画素の出力情報は用いず近隣の画素の出力情報を用いて情報を補完することが広く実用されている。本明細書においてはこのような補完処理を画素欠陥の補償と称する。しばしば使用フレームレートにおける動画駆動を前提に決められる所定の(例えばNTSCでは1/60秒の、あるいはこれに基づいて所定のマージンを見た例えば4倍マージンだと1/15秒の)標準露光時間で暗出力を評価し、そのレベルが大きい画素については欠陥画素と見做して前記画素欠陥補償を適用する。
【0004】
そしてさらに、画素欠陥は温度依存や経時変化を伴うから欠陥画素の評価を工場出荷前に行なうだけでは不十分であるという点について改善をはかった技術も特開平06−038113号公報に公知である。すなわちこの公報には、電源オン直後にアイリスを閉じることで受光面を遮光し、カメラの使用に先立って撮像素子の暗出力を評価することで所定の検出レベル以上の暗出力を持つ画素を欠陥画素として検出して、欠陥補償を行なう技術が記載されている。
【0005】
【発明が解決しようとする課題】
しかし、このようにアイリスを閉じることにより遮光下での撮像素子出力を用いて欠陥画素情報を取得する技術を用いた場合でも、1眼レフ光学ファインダを持つディジタルカメラでは、その光学ファインダからの逆入射光などの影響によりCCDに余分な光が入力されてしまい誤検出する場合があった。これは例えばCCDの中央付近が、輪郭が不明確なスポット状の光照射を受けてその領域全体のレベルが大幅に上昇して、見かけ上その領域の画素全体が欠陥として検出されてしまうといった形で起こる。このような場合は、この欠陥アドレス情報に基いて欠陥補償を行なった場合には、欠陥補償を働かせたことが却って補償しない場合よりも画質劣化を生じてしまうことになる。
【0006】
このような障害は、光学ファインダからの逆入射光はもちろん、予期しない他の経路からの迷光(例えば撮像遮光手段としての絞りが故障して全閉しないような場合、このような場合もシャッタが正常に動作していれば通常の撮影は可能である)によって生じうるものである。さらに、これ以外にも仮に何らかのシステム異常のために、結果的に検出された欠陥が集中発生したとすれば、上記同様の不具合を生じるものであった。
【0007】
本発明は上記事情を考慮してなされたもので、その目的とするところは、欠陥の誤検出による問題を解消できるようにし、経時的画素欠陥増加による画質劣化を生じない高性能な撮像装置を提供することにある。
【0008】
【課題を解決するための手段】
上述の課題を解決するため、本発明の撮像装置は、撮像素子と、前記撮像素子に被写体像を入力する撮像光学系と、前記撮像素子の出力に基づいて前記撮像素子に関する画素欠陥データの検出を実行する欠陥データ検出手段と、前記欠陥データ検出手段による欠陥データ検出の過程において前記撮像素子の出力に基づいて当該検出の信頼性を判断する信頼性判断手段と、前記信頼性判断手段が当該欠陥データ検出の信頼性が不充分であると判断した場合に前記欠陥データ検出手段による当該欠陥データの検出を中止する制御手段とを具備し、前記撮像光学系から前記撮像素子への入射光を遮断する撮像遮光手段を有し、前記欠陥データ検出手段は、前記撮像遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる出力である暗出力に基づいて前記画素欠陥データの検出を実行するように構成されたものであり、前記信頼性判断手段は、前記撮像素子の所定エリアの画素における暗出力の平均的レベルと所定の判断基準レベルとの比較結果に基づいて当該検出の信頼性を判断するように構成されたものであることを特徴とする。
【0009】
また、本発明の撮像装置は、撮像素子と、前記撮像素子に被写体像を入力する撮像光学系と、前記撮像素子の出力に基づいて前記撮像素子に関する画素欠陥データの検出を実行する欠陥データ検出手段と、前記欠陥データ検出手段により検出された欠陥データに基づいて前記撮像素子の出力に対して欠陥補正処理を行なう欠陥補正手段と、前記欠陥データ検出手段による欠陥データ検出の過程において前記撮像素子の出力に基づいて当該検出の信頼性を判断する信頼性判断手段と、前記信頼性判断手段が当該欠陥データ検出の信頼性が不充分であると判断した場合に前記欠陥データ検出手段により検出された当該欠陥データに関する前記欠陥補正処理への適用を禁止する制御手段とを具備し、前記撮像光学系から前記撮像素子への入射光を遮断する撮像遮光手段を有し、前記欠陥データ検出手段は、前記撮像遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる出力である暗出力に基づいて前記画素欠陥データの検出を実行するように構成されたものであり、前記信頼性判断手段は、前記撮像素子の所定エリアの画素における暗出力の平均的レベルと所定の判断基準レベルとの比較結果に基づいて当該検出の信頼性を判断するように構成されたものであることを特徴とする。
【0010】
このように、欠陥データ検出手段による欠陥データ検出の過程において当該検出の信頼性を撮像素子の出力に基づいて判断することにより、誤検出の可能性が高い状況を検出できるようになる。そして、欠陥データ検出の信頼性が不充分であると判断した場合には、欠陥データ検出手段による当該欠陥データの検出を中止する制御、または欠陥データ検出手段により検出された当該欠陥データに関する前記欠陥補正処理への適用を禁止する制御を行うことにより、欠陥の誤検出による画質劣化等の問題を解消できるようになる。
【0011】
また、前記欠陥データ検出手段としては、当該画素の有する画像情報を無効とすべき画素のアドレスである欠陥アドレスを前記画素欠陥データとして検出する構成のものを使用でき、この場合、前記欠陥補正手段としては、当該欠陥アドレスが登録された画素に対して近隣画素の出力による補償処理を行なう欠陥補償手段として構成されたものを使用することが出来る。
【0012】
また、前記撮像光学系から前記撮像素子への入射光を遮断する撮像遮光手段を設け、撮像遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる出力である暗出力に基づいて前記画素欠陥データの検出を実行する場合に、信頼性判断手段は、撮像素子の所定エリアの画素における暗出力の平均的レベルと所定の判断基準レベルとの比較結果に基づいて当該検出の信頼性を判断するように構成する。これにより、光学ファインダからの逆入射光などの影響の有無を正しく判定することが可能となる。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係わるディジタルカメラの構成を示すブロック図である。
【0014】
図中101は各種レンズからなる撮像レンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞り及びシャッタ装置を制御するための露出制御機構、104はローパス及び赤外カット用のフィルタ、105は被写体像を光電変換するためのCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はA/D変換器等を含むプリプロセス回路、108はγ変換などを初めとする各種のディジタル演算処理を行うためのディジタルプロセス回路、109はカードインターフェース、110はメモリカード、111はLCD画像表示系を示している。
【0015】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種SWからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117は露出制御機構103及びストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)、119は内蔵のバッテリ(電池)またはACアダプタを介して入力される外部からの電源によって各ユニットへの動作電源を供給する電源回路である。
【0016】
本実施形態のカメラは公知の1眼レフ光学ファインダを有している。ただし、光学ファインダへの光路分岐はハーフミラー(プリズム)で行なっている。光学ファインダ周辺の構造を図2に示す。
【0017】
露出制御機構103内にアイリスとして設けられたメカシャッタ103aが開いている状態では、レンズ系101から入力された被写体像はハーフミラー(プリズム)201を通してCCD105の撮像面に入力されると共に、ハーフミラー(プリズム)201によって分岐される。このプリズム201により分岐されて1次結像面(プリズム201と平面ミラー203との間の点線)に結像した空中像を平面ミラー203および2次結像レンズ204でリレーし、2次結像レンズ204によって再結像された空中像を、ルーペレンズ206で拡大観察するようになっている。なお、1次、2次いずれかの結像面にスクリーンを置いて、ピント確認ができるように構成することも出来る。
【0018】
この構成においては、光学ファインダからの逆入射光により、CCD105に余分な光が入力されてしまう場合がある。欠陥検出時にこのような逆入遮光があると、CCD105の中央付近の画素領域全体を欠陥画素として誤検出してしまう危険がある。このような逆入射光を防止するために、ルーペレンズ206の内側に逆入射光を遮断するためのアイピースシャッタなどを設けることが好ましいが、この場合であっても、そのアイピースシャッタの設定位置などによっては同様の問題が生じることになる。
【0019】
本実施形態のカメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、露出制御機構103とCCDドライバ106によるCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行い、それをプリプロセス回路107を介してA/D変換してディジタルプロセス回路108に取込んで、ディジタルプロセス回路108内で各種信号処理を施した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0020】
また、システムコントローラ112は例えばCISCチップなどのマイコンから構成されており、内部メモリとしてRAM112aを備えている。このRAM112aはSRAMなどの揮発性メモリであるが、本カメラの電源スイッチがオフされている期間においても電池または外部電源が供給されている間はバックアップされており、その記憶内容は消失されずに保持される。
【0021】
さらに、システムコントローラ112には、欠陥検出および画素欠陥補償に関わる機能として、EEPROM118とRAM112aそれぞれに対するデータ書き込み・読み出しを制御するメモリ制御部112bと、遮光状態で得られるCCD105からの信号をディジタルプロセス回路118で解析することにより画素欠陥データの検出を行うための欠陥データ検出部112cと、本撮像時にCCD105から得られる信号に対して画素欠陥補償処理を施す欠陥補償制御部112dと、欠陥データ検出部112cによる欠陥検出課程における欠陥検出の信頼性を判定する欠陥検出信頼性判定部112eが設けられている。
【0022】
画素欠陥補償処理は、欠陥補償制御部112dからの指令に基づいて、EEPROM118からRAM112aに読み出された欠陥データと欠陥データ検出部112cによって新たに検出された欠陥データとの双方に基づいてディジタルプロセス回路108において実行される。なお、初期(カメラの工場出荷時)においては工場内の検査で取得された初期欠陥データのみがEEPROM118に格納されているが、欠陥データ検出部112cによって欠陥検出が行われる度に新たな欠陥データがEEPROM118に追加登録される。
【0023】
以下、本発明の画素欠陥の検出と補償に直接関わる処理を中心にシステムコントローラ112によるカメラ制御の説明を行なう。ただし、本カメラにおいてCCD105から得られる信号レベルのディジタル処理は8ビット(0〜255)で行われるものとする。また後に特記する部分を除いては常温を仮定して説明する。
【0024】
撮影に先立ってマニュアル設定または測光結果に基づいて撮影に必要な露光時間が設定される。次に本撮像の撮影トリガー指令を待機し、指令を受けたら所定の露出制御値に基いた露光を行ない、CCD105から撮像信号を読み出して所定の信号処理を施した後にメモリカード110に記録する。その際上記欠陥データで指定される欠陥画素については画素欠陥補償を行う。欠陥補償後において記録に至るまでの映像信号処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【0025】
本実施形態のカメラにおいての欠陥補償は、公知の「欠陥アドレスが登録された画素に関しての近隣画素による補完」が採用されており、具体的補完方法は「最近接同色画素(同色の画素のうち、当該欠陥画素に最も近い4画素:RGBベイヤ配列の場合を例示すればGに関しては斜め4方に隣接する4つのG画素、R(またはB)に関しては上下左右の4方向で直接隣接でなく間に1つのGを挟んで次に位置する各4つのR(またはB)画素)たる4画素情報の平均値を代替適用する」ものが採用されている。
【0026】
本カメラは必要時に欠陥検出を行ない、その結果に基づき上記欠陥データを追加更新する。欠陥検出を行なう場合、遮光による暗電荷レベルデータを取得、各画素毎のレベル判定や相互比較(による「欠陥の検出」)に先立って、検出の信頼性判定を行なう。すなわち「撮像エリアの中央部64×64画素の出力(暗電荷レベル)の平均値を求める。これが5(5/255=約2%)を超えている場合」は検出の信頼性が低いと判断する。この場合欠陥検出を中止する。すなわち、逆入射光などの遮光不良の場合、特に中央部にスポット状の光照射が生じるのでこれを検出するものである。この場合或る一定の領域のレベルが平均的に上がるため、上記で検出可能である。(少なくとも原因の如何を問わず、上記のように一定の領域が全体的にレベル上昇した場合にこれを全て近隣画素による補完の対象することは、その領域をほぼ一定の値で塗りつぶすことになり不適当であるから、検出の信頼性は低いと判断する。)
従ってこの場合は新規検出による欠陥は検出されなかったものとして以後の処理が行なわれる。この場合も、少なくともEEPROM118に既に登録されている欠陥データは有効で、これに対して欠陥補償が行なわれるから、極端な画質劣化は生じることなく、誤補償による致命的な画質劣化が防止される。なお、一旦「欠陥の検出」を行ないアドレスを取得しつつも、実際の欠陥補償においてはこれを使用しない(適用を禁止する)という態様を利用しても良い。なお、この点について、上記説明からも明らかなように、検出された画素に対する補償を必ず禁止する意味ではなく、他の方法によって重複的に欠陥画素に採用されているような場合にはこれを許容し得るものである。
【0027】
ここで、本実施形態における欠陥データ追記登録処理の前提となる事項について説明する。
【0028】
すなわち、本発明者らの最近の検討によって、欠陥の中にも「点滅性欠陥」と称すべきものが存在することが判ってきた。これは温度や露光(蓄積)時間なども含めて全く同じ撮像条件下において撮像(電荷蓄積と読出し)を繰り返した場合に、例えば同一の画素が、或る時は白欠陥(暗電荷過大)となったり、また或る時は正常信号を出力したりというように、あたかも白欠陥(過大暗電荷)が点滅しているかの如き振る舞いを示すものである。
【0029】
点滅性欠陥の原因については未だ確たる理論を見出すに至っていないが、少なくとも現象論的には以下のような知見が得られている。
すなわち、この点滅はある種確率的な要素を含むらしく、特に定まった周期性や読み出し回数依存性を有しないこと、また比較的短い期間における繰り返し撮像において点滅するもの(短周期性:上記のようにこの現象に周期性は見出されていないが、比喩的に「周期」という語を用いている。以下同じ)もあれば比較的長周期性のものもあることが判っている。ここに至って、従来自然放射能や飛来宇宙線の影響による破壊的(非復帰的)現象と考えられていた後発性欠陥の中にも、極めて長周期性の点滅性欠陥が含まれていた可能性が指摘される一方、後発的に生じる短周期性点滅欠陥が多く存在することも明らかになっている。
【0030】
このような様々な点滅性欠陥の存在下では、従来のような単なる欠陥登録法(工場において登録された欠陥アドレスを使用する)も、単なる直前検出法(例えば電源投入時などに欠陥検出を行ない、新規に取得した欠陥アドレスを使用する)も無力なことは明らかである。またこの両者を併用したとしてもそれだけでは不充分であって、さらに新規検出された欠陥アドレスを追記登録して使用することが不可欠となってくる。本実施形態は、このような追記登録システムを前提としているものである。
【0031】
次に、図3を参照して、EEPROM118の構造と欠陥データのリード・ライト処理について説明する。
【0032】
EEPROM118は、図示のように、記憶領域Aと記憶領域Bの2つの記憶領域を有している。記憶領域Bは工場出荷前に取得されたCCD105に関する初期欠陥データが記憶されている。この記憶領域Bは、初期欠陥データの破壊を防止するために読み出し専用の領域となっており、記憶領域Bへの書き込みは禁止されている。記憶領域Bには、初期欠陥データとして例えば512乃至1024画素分の欠陥画素アドレスを登録可能な記憶サイズが割り当てられている。
【0033】
記憶領域Aは、工場出荷後に欠陥データ検出部112cによる欠陥検出処理で新たに取得された欠陥データを追加登録するための記憶領域である。記憶領域Aには、例えば128画素分の欠陥画素アドレスを登録可能な記憶サイズが割り当てられている。工場出荷後の初期状態においては、記憶領域Aには欠陥データは何も記憶されてない。つまり、記憶領域Aは、欠陥データ検出部112cによって検出された後発性の欠陥画素の登録に使用される専用領域である。
【0034】
RAM112aは、図示のように、記憶領域C,D,Eの3つの記憶領域を有している。記憶領域DはEEPROM118の記憶領域Bから読み出された初期欠陥データを記憶するための領域であり、また記憶領域CはEEPROM118の記憶領域Aから読み出された追加登録の欠陥データを記憶するための領域である。記憶領域C,Dの記憶サイズは、記憶領域A,Bとそれぞれ同じである。
【0035】
EEPROM118の記憶領域A,Bの内容を読み出してRAM112a上の記憶領域C,Dに書き込む処理は、例えば電池挿入後において最初に電源スイッチがオンされた場合など、電池挿入(またはACアダプタの接続)がなされたことを契機として実行される。前述したように電池が挿入されている状態においては電池切れが生じない限りRAM112aの記憶内容は消失しないが、電池交換などのために一旦電池を抜くと、RAM112aの記憶内容は消失されてしまうことになる。このため、電池挿入後は一旦必ずEEPROM118の読み出しを行ってその記憶領域A,Bの内容をRAM112a上の記憶領域C,Dにコピーし、以降は、次に電池挿入および電源スイッチの投入が行われるまでは、EEPROM118からの読み出しは行わず、RAM112a上にコピーされた欠陥データを用いて欠陥補償を行う。このように、本実施形態では、電池の装着および電源スイッチの投入によってEEPROM118からの欠陥データの読み出し動作を制御し、EEPROM118からの読出しは電池装着後に1回だけ行なうように構成されている。
【0036】
RAM112a上の記憶領域Eは、欠陥データ検出部112cによる欠陥検出動作で検出された欠陥画素のアドレスを記憶するために用いられる。記憶領域Eには、例えば32画素分の欠陥画素アドレスを登録可能な記憶サイズが割り当てられている。
【0037】
欠陥データ検出部112cによる欠陥検出は、初期欠陥データとして登録されている欠陥画素を除外した残りの画素を対象に行われる。このため、記憶領域Eに記憶される欠陥データは、工場出荷後に発生した後発性欠陥のアドレスのみとなる。欠陥データ検出部112cによって欠陥検出動作が行われるたびに、その欠陥検出動作で取得された新たな欠陥データが記憶領域Eに書き込まれると共に、記憶領域Eに書き込まれた新たな欠陥データがEEPROM118の記憶領域Aに追加登録される。記憶領域Aに既に追加登録データが存在する場合、欠陥データ検出部112cによって検出された欠陥画素アドレスの内、重複しない欠陥画素アドレスだけが記憶領域Aに追加される。
【0038】
欠陥検出およびそれに応答して実行されるEEPROM118への欠陥データの追記は、例えば24時間に1回程度の割合で、電源投入時に行なうのが好適である。この場合、前回の欠陥検出およびデータの追記から24時間経過した後に電源投入がなされるとその時点で新たな欠陥検出およびデータの追記が行われることになる。また電源投入時でなくとも、電源が投入されている状態つまり通常動作状態において前回の欠陥検出およびデータの追記から24時間経過した時点で新たな欠陥検出およびデータの追記を行うようにしてもよい。
【0039】
本撮像時に欠陥補償制御部112dによって行われる欠陥補償処理は、EEPROM118から読み込んだ記憶領域C,Dの欠陥データのみならず、記憶領域Eに記憶されている新たな欠陥データをも考慮して実行される。これにより、EEPROM118からの読出しを電池挿入後の1回のみに制限しても、常に最新の検出欠陥に基づく欠陥補償が行われることになる。記憶領域Cと記憶領域Eとでは欠陥画素アドレスが重複する場合があるが、同一画素に対して欠陥補償処理を2度行っても画質に対する影響はない。また、欠陥検出の度に、記憶領域Eに書き込まれた新たな欠陥データを重複を排除した状態でEEPROM118の記憶領域Aに追記しているので、不意に電池切れなどによってRAM112aの記憶内容が消失しても、EEPROM118から最新の追加登録データを含む全ての欠陥データを読み出すことが可能となる。
【0040】
図4には、記憶領域A,Bそれぞれに記憶される欠陥データの構造が示されている。記憶領域A,Bのどちらにおいてもその記憶領域に登録される欠陥データは、
登録可能データ数 : 最大登録可能画素数(n)を示す
登録されている欠陥数: 実際に欠陥画素として登録されている画素数
データ領域 : 各欠陥画素のX.Yアドレス
という構造を持つ。データ領域には、最大登録可能画素数(領域Aはn=128、領域Bはn=512または1024)分の画素アドレス登録エリアが設けられている。
【0041】
次に、図5のフローチャートを参照して、欠陥検出動作の手順について説明する。
【0042】
まず、システムコントローラ112は露出制御機構103に含まれるシャッタ装置で撮像素子の受光面を遮光してから、その遮光状態でテスト撮像を行なう(ステップS101)。すなわち暗黒下でCCDドライバ106により本カメラの最長露出時間Tmax(設定は任意:ここでの例示値5s)の電荷蓄積動作を行なってテスト撮像信号(暗出力信号)を読み出し、ディジタルプロセス108に格納する。ディジタルプロセス108では、まず最初に、ファインダからの逆入射光など誤検出の可能性が高い状況であるか否かを判断するために、欠陥検出信頼性判定部112eの制御の下に、CCD105の撮像エリアの中央部64×64画素の出力平均値が算出され(ステップS102)、その出力平均値が5(5/255=約2%)を超えているかどうかにより、遮光不良状態の有無が判定される(ステップS103)。出力平均値が5(5/255=約2%)を越えている場合には、遮光不良、つまり光学ファインダから逆入射光やシャッタ装置103aが全閉しない等の不良が発生していると判断され、欠陥検出処理が中止される。
【0043】
出力平均値が5(5/255=約2%)以下であれば、欠陥検出処理が行われる。この場合、最初に、欠陥補償制御部112dの制御の下に「検出用欠陥補償処理」が行われる(ステップS104)。「検出用欠陥補償処理」は、初期欠陥データとして登録されている欠陥画素を欠陥検出動作の検出対象から除外する目的で行われるものであり、記憶領域Dにコピーされている初期欠陥データに基づいて最近接同色画素による補間処理が行われる。
【0044】
記憶領域Cにコピーされている追加登録の欠陥データに関しても重複検出を排除する目的で「検出用欠陥補償処理」を行うことが考えられるが、初期欠陥データに比べると追加登録の欠陥データの信頼性は必ずしも十分とは言えないので、検出用欠陥補償処理は初期欠陥データで指定される欠陥画素についてのみ行うことが好ましい。
【0045】
次いで、初期欠陥データに基づいて欠陥補償された後の画像情報をディジタルプロセス108で解析することにより、暗出力レベルの大きい画素を欠陥画素として選択するための欠陥検出を行う(ステップS105)。このように、「検出用欠陥補償処理」によって、初期欠陥データに基づいて補償処理を行なった後の画素情報に対して欠陥画素の検出処理が行われるので、既に欠陥画素アドレスとして登録された画素についてはその補償後のデータに対して欠陥検出が行われることになる。よって、欠陥画素として登録されている画素が検出の度に再度欠陥として検出されてしまうという不具合の発生を防止することが可能となり、未登録の後発性欠陥のみを検出対象とすることが可能となる。
【0046】
ステップS105の欠陥検出では、有効出力画素の全データに関して各出力レベルを調べて基準となる検出レベルと比較するというレベル比較方式ではなく、暗出力レベルが大きいものから順に上位32個の画素を単純に選択するという方式が用いられる。つまり、検出レベルとは無関係に、暗出力レベルが大きいワースト32個の画素が欠陥画素として判定されることになる。検出画素数を32個に制限しているので、補完対象の画素数が欠陥補償処理の許容する画素数以上になるという検出画素数の増えすぎによる画質破綻が生じることはない。また、CCD105が比較的欠陥の程度の軽い素子である場合であっても、少なくともワースト32画素についてはそれを検出できるので、欠陥画素の検出漏れなどの不具合が生じることもない。
【0047】
ワースト32個の画素選択動作においては、図6に示すような32画素分のバッファが使用される。最初の32画素については無条件にその画素アドレスと暗出力レベルのペアがバッファに順次登録される。33画素目からは、各画素毎に、その時点でバッファに記憶されている最小の暗出力レベルとの比較が行われ、バッファに登録するか否かが判断される。このように、画素選択動作は単純な演算処理により行うことが出来る。
【0048】
なお、最大暗出力レベルの画素が同値で32個よりも多く存在する場合には、例外的に、検出画素が画面の4隅などに分散するようにそれら同値最大の画素それぞれの中から登録する画素を適宜選別する処理を行うようにすればよい。また、実際には、例えば暗出力レベルがほとんど零の画素については欠陥画素としないというレベル判定を併用しても良いことはもちろんである。
【0049】
次いで、画素選択動作で選択されたワースト32個の欠陥画素アドレスが、記憶領域Eに登録される(ステップS106)。そして、記憶領域Cに読み込まれている欠陥画素アドレスとの重複をチェックし、重複しない欠陥画素アドレスのみがEEPROM118の記憶領域Aに追加書き込みされる(ステップS107)。
【0050】
次に、図7のフローチャートを参照して、本撮像時の撮像・記録動作について説明する。
【0051】
まず、撮影に先立ってマニュアル設定または測光結果に基づいて撮影に必要な露光時間が設定され、本撮像の撮影トリガー指令を受けたら所定の露出制御値に基いた露光を行ない、CCD105からの撮像信号の読み出しが行われる(ステップS111)。撮像信号はA/D変換された後にディジタルプロセス108に入力され、そこで欠陥補償処理が実行される(ステップS112)。この欠陥補償処理では、基本的には、記憶領域C,D,Eそれぞれに記憶されている欠陥画素アドレスの総和に基づいて行われる。具体的には、記憶領域Cの欠陥画素アドレスに基づく欠陥補償と、記憶領域Dの欠陥画素アドレスに基づく欠陥補償と、記憶領域Eの欠陥画素アドレスに基づく欠陥補償とをそれぞれ実行すればよい。欠陥補償処理のアルゴリズム自体は「検出用欠陥補償処理」と同じ最近接同色画素による補間処理であり、「検出用欠陥補償処理」の場合と同じ演算処理部にて実現される。
【0052】
一方、もし前回の欠陥検出でその信頼性が不十分であると判断された場合であっても欠陥検出を実行して欠陥画素アドレスを記憶領域Eに追加した場合には、記憶領域Eを除くことにより、記憶領域C,Dそれぞれに記憶されている欠陥画素アドレスの総和に基づく欠陥補償処理が行われる(ステップS112’)。この欠陥補償処理でも最近接同色画素による補間処理が行われ、既に欠陥画素として登録されている画素に関する補間処理は正しく行われることになる。つまり、記憶領域Eと重複的に欠陥画素として登録されている画素については、欠陥補償処理は通常通り行われる。
【0053】
そして、ステップS112またはS112’による欠陥補償後の画像情報に対して各種画像処理を施した後に(ステップS113)、メモリカード110に記録する(ステップS114)。
【0054】
次に、図8のフローチャートを参照して、電池挿入が検出されてからの一連の処理の流れについて説明する。
【0055】
電池交換などによって新たに電池が挿入された場合(または電池が挿入されてない状態で電源アダプタが接続された場合)、それによってシステムコントローラ112が起動され、初期動作が開始される(ステップS121)。そして、システムコントローラ112は電源スイッチの投入を待機するスタンバイモードとなる。使用者によって電源スイッチがONされると(ステップS122)、システムコントローラ112は電源回路119を制御してカメラ内の各部への電源供給を開始させ、カメラを電源オン状態に設定する(ステップS123)。この電源オンが電池挿入後の最初の電源投入であった場合には(ステップS124のYES)、システムコントローラ112は、EEPROM118から記憶領域A,Bの欠陥データを読み込み(ステップS125)、それをRAM112aの記憶領域B,Cに書き込む(ステップS126)。
【0056】
システムコントローラ112にはタイマーが内蔵されており、そのタイマーによって前回の欠陥検出を実行した時点あるいは電池挿入時点から24時間経過していることが検出されると(ステップS127のYES)、図5で説明した欠陥検出動作が開始され、後発性欠陥画素の検出およびEEPROM118への追加登録が行われる(ステップS128)。
【0057】
この後、システムコントローラ112は、シャッタートリガ操作や電源スイッチOFF等を待機するモードとなる。シャッタートリガ操作(撮影トリガー指令)がなされると(ステップS129のYES)、システムコントローラ112は、図7のフローチャートで説明した撮像・記録動作を実行する(ステップS130)。また電源スイッチがOFFされた場合には(ステップS131のYES)、システムコントローラ112は、電源回路119を制御してカメラ内の各部への電源供給を停止してカメラを電源オフした後(ステップS132)、電源スイッチの投入を待機するスタンバイモードとなる。
【0058】
以上のように、本実施形態においては、CCD105の画素欠陥を検出し、それによって取得した欠陥データに基づいてCCD105の欠陥画素に対して補償を行なう撮像装置において、ファインダからの逆入射光など誤検出の可能性が高い状況を検出することにより、欠陥検出を中止したり、誤検出の可能性が高い状況で検出された当該欠陥データに関する欠陥補正処理への適用を禁止する、といった制御を用いることにより、誤検出情報に基づいた欠陥補償を行なうことによる画質劣化が防止できるようになる。
【0059】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。例えば、上記実施形態では欠陥検出、欠陥画素の登録、補償処理、欠陥検出に係る信頼性判定処理をいわゆる白欠陥を対象に説明したが、黒欠陥についても同様にして欠陥検出、欠陥画素の登録、補償処理、欠陥検出に係る信頼性判定処理を行うことが出来る。黒欠陥検出時には遮光状態にするのではなく何らかの方法で撮像面への白色光入力を行えばよい。
【0060】
また上述の実施形態においては、「撮像エリアの中央部64×64画素の出力」の平均値を用いて信頼性判定を行ったが、「平均」は1つの例であり、「加算平均」「相乗平均」等はもとより要するに「平均的なレベル」を1つのパラメータとして採用することで、極めて簡単な判定基準によって実効を得ることができる。無論、例えば画素毎の暗電荷レベルの連続性を解析するなど、他の任意の信頼性判定方法を用いても良い。さらに上記では中央部の限られた領域のみに着目することで、極めて簡易に実効を得ているが、例えばこれと同様の領域を全画面を埋め尽くすように多数設けるなどしても良い。上記例に比較すれば複雑にはなるが、様々な原因による迷光の影響や、その他の原因による場合など対応可能な不具合が格段に増えるという利点を有する。
【0061】
また、上記では近隣画素データによる補完を用いた「欠陥補償」を例にとったが、これに限らず例えば各画素毎に暗電荷レベルを減算するような減算補正を含めて一般の「欠陥補正」に対しても、検出の信頼性を判断し、信頼性が低い場合にはその欠陥補正が適用されないようにする本発明が同様に有効であることは言うまでも無い。さらに、本例ではディジタルスチルカメラを例示して説明したが、ディジタルムービーに対しても同様にして適用することができる。
【0062】
また更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0063】
【発明の効果】
以上説明したように、本発明によれば、光学ファインダからの逆入射光などの影響の有無を正しく判定して、欠陥の誤検出による問題を解消できるようになり、誤検出情報に基づいた欠陥補償を行なうことによる画質劣化を防止することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係わる電子カメラの構成を示すブロック図。
【図2】同実施形態に係わる電子カメラにおける光学ファインダ周辺の構造を示す図。
【図3】同実施形態で用いられるEEPROMの構造と欠陥データのリード・ライト処理を説明するための図。
【図4】同実施形態においてEEPROMに登録される欠陥データの構造を説明するための図。
【図5】同実施形態における欠陥検出動作の手順を説明するためのフローチャート。
【図6】図5の欠陥検出動作で行われるワースト所定数選択処理の演算処理を説明するための図。
【図7】同実施形態における撮像・記録動作の手順を説明するためのフローチャート。
【図8】同実施形態において電池挿入が検出されてからの一連の処理の流れを示すフローチャート。
【符号の説明】
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…フィルタ系
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス回路
108…ディジタルプロセス回路
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)
112a…RAM
112b…メモリ制御部
112c…欠陥データ検出部
112d…欠陥補償制御部
112e…欠陥検出信頼性判定部
118…EEPROM
119…電源回路
Claims (3)
- 撮像素子と、
前記撮像素子に被写体像を入力する撮像光学系と、
前記撮像素子の出力に基づいて前記撮像素子に関する画素欠陥データの検出を実行する欠陥データ検出手段と、
前記欠陥データ検出手段による欠陥データ検出の過程において前記撮像素子の出力に基づいて当該検出の信頼性を判断する信頼性判断手段と、
前記信頼性判断手段が当該欠陥データ検出の信頼性が不充分であると判断した場合に前記欠陥データ検出手段による当該欠陥データの検出を中止する制御手段とを具備し、
前記撮像光学系から前記撮像素子への入射光を遮断する撮像遮光手段を有し、前記欠陥データ検出手段は、前記撮像遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる出力である暗出力に基づいて前記画素欠陥データの検出を実行するように構成されたものであり、前記信頼性判断手段は、前記撮像素子の所定エリアの画素における暗出力の平均的レベルと所定の判断基準レベルとの比較結果に基づいて当該検出の信頼性を判断するように構成されたものであることを特徴とする撮像装置。 - 撮像素子と、
前記撮像素子に被写体像を入力する撮像光学系と、
前記撮像素子の出力に基づいて前記撮像素子に関する画素欠陥データの検出を実行する欠陥データ検出手段と、
前記欠陥データ検出手段により検出された欠陥データに基づいて前記撮像素子の出力に対して欠陥補正処理を行なう欠陥補正手段と、
前記欠陥データ検出手段による欠陥データ検出の過程において前記撮像素子の出力に基づいて当該検出の信頼性を判断する信頼性判断手段と、
前記信頼性判断手段が当該欠陥データ検出の信頼性が不充分であると判断した場合に前記欠陥データ検出手段により検出された当該欠陥データに関する前記欠陥補正処理への適用を禁止する制御手段とを具備し、
前記撮像光学系から前記撮像素子への入射光を遮断する撮像遮光手段を有し、前記欠陥データ検出手段は、前記撮像遮光手段により前記撮像光学系による前記撮像素子への入射光を遮断しつつこの状態で得られる出力である暗出力に基づいて前記画素欠陥データの検出を実行するように構成されたものであり、前記信頼性判断手段は、前記撮像素子の所定エリアの画素における暗出力の平均的レベルと所定の判断基準レベルとの比較結果に基づいて当該検出の信頼性を判断するように構成されたものであることを特徴とする撮像装置。 - 前記欠陥データ検出手段は、当該画素の有する画像情報を無効とすべき画素のアドレスである欠陥アドレスを前記画素欠陥データとして検出するものであり、前記欠陥補正手段は、当該欠陥アドレスが登録された画素に対して近隣画素の出力による補償処理を行なう欠陥補償手段として構成されたものであることを特徴とする請求項1または2記載の撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001075911A JP4499945B2 (ja) | 2001-03-16 | 2001-03-16 | 撮像装置 |
US10/098,081 US7365783B2 (en) | 2001-03-16 | 2002-03-14 | Image pickup apparatus which stores initial defect data concerning image pickup device and data on later developed defects |
US11/585,523 US7557841B2 (en) | 2001-03-16 | 2006-10-24 | Imaging apparatus that detects pixel defect of an imaging element and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001075911A JP4499945B2 (ja) | 2001-03-16 | 2001-03-16 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002281385A JP2002281385A (ja) | 2002-09-27 |
JP4499945B2 true JP4499945B2 (ja) | 2010-07-14 |
Family
ID=18932924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001075911A Expired - Fee Related JP4499945B2 (ja) | 2001-03-16 | 2001-03-16 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4499945B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4595391B2 (ja) * | 2004-06-04 | 2010-12-08 | ソニー株式会社 | 固体撮像素子の欠陥検出方法 |
US8259198B2 (en) * | 2009-10-20 | 2012-09-04 | Apple Inc. | System and method for detecting and correcting defective pixels in an image sensor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03263993A (ja) * | 1990-03-14 | 1991-11-25 | Hitachi Denshi Ltd | レジストレーション検出装置 |
JPH07264408A (ja) * | 1994-03-25 | 1995-10-13 | Ricoh Co Ltd | 画像処理装置 |
JPH0818873A (ja) * | 1994-07-01 | 1996-01-19 | Hitachi Ltd | ビデオカメラ |
-
2001
- 2001-03-16 JP JP2001075911A patent/JP4499945B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03263993A (ja) * | 1990-03-14 | 1991-11-25 | Hitachi Denshi Ltd | レジストレーション検出装置 |
JPH07264408A (ja) * | 1994-03-25 | 1995-10-13 | Ricoh Co Ltd | 画像処理装置 |
JPH0818873A (ja) * | 1994-07-01 | 1996-01-19 | Hitachi Ltd | ビデオカメラ |
Also Published As
Publication number | Publication date |
---|---|
JP2002281385A (ja) | 2002-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7365783B2 (en) | Image pickup apparatus which stores initial defect data concerning image pickup device and data on later developed defects | |
EP2445195B1 (en) | Image sensing apparatus and control method therefor | |
US7619666B2 (en) | Image processing apparatus, control method therefor, and program correcting image data based on foreign substance information and inhibiting such correction | |
US8238690B2 (en) | Image processing apparatus, control method therefor, and program | |
JP4771540B2 (ja) | 画像処理装置及びその制御方法及び画像処理方法及びプログラム | |
JP2010505326A (ja) | カメラ機能を持つデバイス、その表示方法及び記録媒体 | |
JP4499945B2 (ja) | 撮像装置 | |
JP5057618B2 (ja) | 撮像装置 | |
JP2007006024A (ja) | 撮像装置 | |
JP4454771B2 (ja) | 撮像装置 | |
JP4499946B2 (ja) | 撮像装置 | |
JP4546664B2 (ja) | 撮像装置および画素欠陥補正方法 | |
US11115593B2 (en) | Lens interchangeable digital camera, and operation method and operation program thereof | |
JP2002281395A (ja) | 撮像装置 | |
JP2002281394A (ja) | 撮像装置 | |
JP4311833B2 (ja) | 撮像装置 | |
JP2002281392A (ja) | 撮像装置 | |
JP2002281391A (ja) | 撮像装置 | |
JP4515627B2 (ja) | 撮像装置 | |
JP2002281389A (ja) | 撮像装置 | |
JP2002281393A (ja) | 撮像装置 | |
JP2002281390A (ja) | 撮像装置 | |
JP4365483B2 (ja) | 撮像装置 | |
JP2002281388A (ja) | 撮像装置 | |
JP2003037783A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100416 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |