JP4311833B2

JP4311833B2 - 撮像装置

Info

Publication number: JP4311833B2
Application number: JP32721799A
Authority: JP
Inventors: 貴行木島; 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-11-17
Filing date: 1999-11-17
Publication date: 2009-08-12
Anticipated expiration: 2019-11-17
Also published as: JP2001145028A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置に係わり、特に画素欠陥補償機能を有した撮像装置に関する。
【０００２】
【従来の技術】
ビデオカメラなどの撮像装置は、従来より広く利用されている。近年、主として静止画を撮像記録する電子スチルカメラも特にデジタルカメラとして普及するに至り、主として動画記録用であったビデオムービーにおいても静止画撮影記録機能を有するようになってきた。そして、静止画撮影に際して使用される長時間露光は、撮像素子における電荷蓄積時間を長くすることによって露光時間を長くし、これによって低照度下でもストロボなどの補助照明を使用することなく撮影できるようにする技術として知られている。
【０００３】
一方、ＣＣＤ等の固体撮像素子においては、いわゆる暗電流の存在などによる暗出力が存在し、これが画像信号に重畳されるために画質劣化を来す。この暗出力レベルが大きい画素が存在する場合は画素欠陥と称され、その画素の出力情報は用いず、近隣の画素の出力情報を用いて情報を補完することが広く実用されている。
【０００４】
本明細書においてはこのような補完処理を画素欠陥の補償と称する。例えば、使用フレームレートにおける動画駆動を前提に決められる所定の（ＮＴＳＣでは１／６０秒の、或いはこれに基づいて所定のマージンを見た、例えば４倍マージンだと１／１５秒の）標準露光時間で暗出力を評価し、そのレベルが大きい画素については欠陥画素と見做して上記画素欠陥補償を適用する。
【０００５】
そしてさらに、画素欠陥は温度依存や経時変化を伴うから欠陥画素の評価を工場出荷前に行うだけでは不十分であるという点について改善を図った技術も、特開平６−０３８１１３号公報に開示されている。この公開公報には、電源オン直後にアイリスを閉じることで受光面を遮光し、カメラの使用に先立ってＣＣＤ暗出力を評価することで欠陥画素を検出して、欠陥補償を行う技術が記載されている。
【０００６】
【発明が解決しようとする課題】
ところで、上記公報の技術のように（工場出荷後の完成品としての）カメラ装置において欠陥画素を検出して欠陥補償を行うと、記録画像に画質破綻を来たす虞れがある。何故なら、温度依存や経時変化によって生じる暗電流増加によって新たに欠陥画素が検出された場合、この欠陥画素の発生の状況は一般には予測困難である。これは、特に上記従来技術をさらに発展応用させて、長時間露光にも適用を図った場合には深刻な問題となる。
【０００７】
即ち、新規な技術提案として「標準露光時間を超える長時間露光の場合には暗電流の蓄積効果によって画素の暗出力レベルがさらに大きくなることを考慮し、長時間露光の場合にこれに対応した欠陥画素検出を行い欠陥補償を行う技術」を考案し得るが、このような場合には生じる劣化は暗電流の蓄積効果によって概略露光時間に比例して増大することから、最悪の場合は欠陥と判定される画素が大量発生することもあるわけである。
【０００８】
そして、欠陥画素の数が余りに多いと、どのように上記画素欠陥補償を適用したとしても、もはや近隣には補完に用いるべき画像情報を有した画素が存在しない場合も生じるから、このような場合には鑑賞に耐える画質の画像を得ることはできないという問題があった。
【０００９】
この問題は、特に以下のような点からも深刻な問題となるものである。即ち、実際に欠陥補償を行うためには、検出された欠陥画素のアドレスを一旦カメラ内の所定のメモリ領域に登録し、この登録されたアドレス情報をもとに周辺画素情報による補完処理を行うことになる。そしてこの場合、アドレス登録メモリの割当て領域（容量）には限りがあるため、もしもこの容量が許す以上の数の欠陥画素が発生した場合には、欠陥画素アドレス登録に際してシステムエラーが生じ、最悪の場合カメラの機能維持ができなくなる。
【００１０】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、画素欠陥補償における欠陥画素の大量発生に伴う問題点を解決し、画質劣化に一定の歯止めをかけると共に、システムの破綻を生じない高性能な撮像装置を提供することにある。
【００１１】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【００１２】
即ち本発明は、被写体像を撮像するための撮像素子と、この撮像素子に対する露光を制御する露出制御手段と、前記撮像素子における電荷蓄積時間を制御する蓄積時間制御手段と、前記露出制御手段及び蓄積時間制御手段を制御して前記撮像素子の所定の動作状況における欠陥画素を検出する欠陥画素検出手段と、この欠陥画素検出手段により検出された欠陥画素の情報に関しては当該画素近傍の画素情報によってこれを補償する画素欠陥補償手段とを具備した撮像装置であって、前記欠陥画素検出手段は、検出する欠陥画素の数を所定値以下に制限する欠陥画素数制限手段と、前記露出制御手段により前記撮像素子に対する露光を遮断した状態で、前記撮像素子における電荷蓄積及び読み出し動作を実行するテスト撮像手段と、前記テスト撮像手段により得られた撮像素子出力レベルを所定の画素欠陥判定レベルと比較することにより欠陥画素を判定する欠陥判定手段と、前記欠陥判定手段における判定に際して本露光の露出時間とテスト撮像時間の違いに応じて前記画素欠陥判定レベルを補正する判定補正手段とを有したものであり、前記欠陥画素数制限手段は、前記欠陥判定手段によって一旦判定された欠陥画素の数が前記所定値を超える場合には、前記画素欠陥判定レベルを変更した後に再度前記欠陥判定手段による判定を行わせるものであることを特徴とする。
【００１４】
また、前記画素欠陥判定レベルの初期設定値は、前記撮像装置における画像取扱いレベルの最大値の５〜１０％であることが望ましい。
【００１５】
（作用）
本発明によれば、欠陥画素検出手段が検出する欠陥画素の数を所定値以下に制限する欠陥画素数制限手段を有しているため、画質劣化に一定の歯止めをかけられると共に、格納可能な数以上の欠陥を検出してしまうことによるシステムの破綻を防止することが可能となる。
【００１６】
また、欠陥画素数を制限するために、一旦行った欠陥判定による検出数が所定値を超える場合には判定レベルを変更して再度欠陥判定を繰り返すことにより、欠陥画素数を所定値以内に確実に収めつつ、比較的暗電荷レベルの大きなものから優先的に欠陥補償の対象にすることができ、簡単な処理により求め得るほぼ最良の画質を得ることが可能となる。
【００１７】
また、初期判定レベルを画像取扱いレベルの最大値の５〜１０％の値とすることにより、暗電流が十分低いレベルの画素を欠陥画素と判定してしまうことや、暗電流が大きい画素を初期判定から検出しないといったいずれの問題も防止することができ、適切な画素欠陥検出を行うことが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００１９】
図１は、本発明の一実施形態に係わるデジタルカメラの回路構成を示すブロック図である。
【００２０】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はＬＰＦ等のフィルタ系、１０５は色フィルタを内蔵したＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦ等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２１】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７はストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２２】
本実施形態のデジタルカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、特に露出制御機構１０３に含まれるシャッタ装置と、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に格納した出力レベル情報を用いて、以下で説明する画素欠陥の検出等を行うものである。そして、その際に欠陥画素の数の評価を合わせて行い、欠陥が所定数以下に収まるように制限する欠陥画素数制限手段を有している。
【００２３】
また、本実施形態のデジタルカメラは画素欠陥補償手段を有しており、本撮影に際して、
▲１▼予めＥＥＰＲＯＭ１１８に格納された通常時の欠陥（以下常欠陥と称する）に関する欠陥画素のアドレスデータ、
▲２▼長時間露光時には、さらに撮影に先立って上記画素欠陥の検出を行った結果の欠陥（以下検出欠陥と称する）に関する欠陥画素の画素アドレスデータ
に基づいてデジタルプロセス回路１０８においてこの画素欠陥補償処理を施すようになっている。
【００２４】
次に、本実施形態における画素欠陥の検出と補償及び欠陥画素数制限に直接関わる処理を、図２のフローチャートを参照して説明する。但し、本カメラにおいて信号レベルのデジタル処理は８ビット（０〜２５５）で行われるものとする。また、後に特記する部分を除いては常温を仮定して説明する。
【００２５】
撮影に先立って、マニュアル設定又は測光結果に基づいて撮影に必要な露光時間Ｔtotalが設定される（但し、このカメラのスペックとして最長露光時間は１０秒とする）。これが本カメラにおける標準露光時間Ｔstd（任意に設定可能であるがこの例では１／１５秒とする）よりも短いかどうか、即ちＴtotal ≦Ｔstd であるか否かを判断する（Ｓ１）。
【００２６】
（１）Ｔtotal ≦Ｔstdの場合は、特に従来技術と変わりなく本撮像の撮影トリガー指令を待機し、指令を受けて所定の露出制御値に基づいた露光を行い（Ｓ２）、撮像信号を読み出して所定の信号処理を施した後にメモリカード１１０に記録する（Ｓ４）。その際、上記▲１▼に対応する、即ち常欠陥画素についてのみ画素欠陥補償を伴う（Ｓ３）。
【００２７】
（２）Ｔtotal ＞Ｔstdの場合は、まず実際の撮影に先立って、画素欠陥検出を行う。この画素欠陥検出は、以下に示すテスト撮像と、この結果を用いた欠陥判定（欠陥画素数を制限する処理を含む）とから成る。
【００２８】
具体的には、撮影トリガー指令を受けた時点で、まず露出制御機構１０３に含まれるシャッタ装置で撮像素子１０３の受光面を遮光した状態でテスト撮像を行う。即ち、暗黒下でＣＣＤドライバ１０６により露出時間Ｔtotalの電荷蓄積動作を行ってテスト撮像信号（暗出力信号）を読み出し、デジタルプロセス回路１０８に格納する。
【００２９】
次に、格納された全データのうち少なくとも常欠陥画素を除いた有効出力画素に関して各出力レベルを調べて所定の画素欠陥判定レベルとデジタル比較を行うことで欠陥判定を行う。初期判定基準は以下のようなものである。即ち、着目画素の出力レベルがＳであったとして
Ｓ＞ＴＨ
の場合に欠陥、それ以外（Ｓ≦ＴＨ）の時には非欠陥とするものである。本カメラではＴＨの初期値として２５を採用している。
【００３０】
この意味は、初期判定に際しては、本撮像時の暗出力レベルを２５以下（フルレンジ２５５の約１０％）までは許容するとしたものである（Ｓ５）。ここで、出力レベル２５（約１０％）という判定レベルはもとより唯一絶対的なものではなく、設計時に事情に合わせて任意に設定し得るものではあるが、上記程度以下の適当な値（他に例えば約５％なども有効）を選んでおけば、画像に重畳される暗出力の影響の顕在化可能性は十分低くなる。
【００３１】
また、これを０％に選べば暗出力が重畳された画素を完全に排除することが可能であり、この点ではこれも一つの好適実施例として挙げ得るが、ほんの僅かな暗電流の存在のために欠陥画素と見做され、補完を受ける（即ち、画像情報を全く無効とされる）画素の数が多くなるため、かえって画質劣化を招き易い。現実にはこれらのトレードオフ要素を勘案して初期基準レベルを設定する。そして、このトレードオフの効果が通常十分に発揮される値として、特に５〜１０％という数値領域が極めて有効である。
【００３２】
次に、検出された欠陥に関して、先に説明したようにＳ＞ＴＨを判定して欠陥画素数を算出する（Ｓ６）。欠陥の補償は常欠陥も検出欠陥も同様に行われるから、この判定に際してはこれらの欠陥アドレスは全て同じ欠陥アドレスとして統合された形で処理される。そして、この欠陥画素が所定数以下かどうかが判定される（Ｓ７）。本実施形態のカメラにおいては、欠陥アドレスの格納は最大２５５個まで可能なようにデジタルプロセス回路１０８内のメモリ領域が確保されている。従って、検出された欠陥画素数が２５５以下の場合は、その欠陥画素アドレスを欠陥アドレス格納領域に格納して画素欠陥検出を終了する（Ｓ９）。
【００３３】
検出された欠陥画素数が２５６以上であった場合は、ＴＨ＝ＴＨ＋１０、即ちＴＨ＝３５として（Ｓ８）、２回目の欠陥判定を行う。即ち、初期判定の場合は上記のように許容する暗出力レベルを２５としたが、これでは欠陥画素数が所定値に収まらなかったので止むを得ず許容暗出力レベルを引き上げた後に欠陥画素判定を改めて行うものである。そして、検出された欠陥画素数が２５５以下の場合は、その時点での欠陥画素アドレスを欠陥アドレス格納領域に格納して画素欠陥検出を終了する。
【００３４】
以下同様に、毎回の判定において検出された欠陥画素数が２５６以上であった場合はＴＨを１０ずつ増やして次回の欠陥判定を行い、欠陥画素数が２５５以下の場合はその時点での欠陥画素アドレスを欠陥アドレス格納領域に格納して画素欠陥検出を終了する。
【００３５】
上記処理に際して、最終的に欠陥画素として検出された画素について考えると、その時のＴＨ以上の暗電荷レベルの画素は全て含まれている。言い換えれば、補償対象外として残されたいずれの画素の暗電荷レベルも、補償対象たる欠陥画素の暗電荷レベルよりは良好であることになる。従って、上記のような比較的単純な処理によって、少なくともシステムとして求め得るほぼ最良の画質を確保していることになる。
【００３６】
これとは別にまた、仮想的に極端に性能の悪い撮像素子を極端な高温下で極端な長時間露光したような場合を考えると、ＴＨを増やしていっても欠陥画素数がなかなか２５５以下に収まらない場合が考えられるが、最後にＴＨ＝２５５になれば必ず検出欠陥画素数は０になる。無論このような場合に実用的な画質が得られるかどうかは論外ではあるものの、たとえこのような場合にも少なくともシステム破綻は来さないということは現実の撮像装置において極めて有意なことである。
【００３７】
さて上記のように画素欠陥検出を終了した後には、（２）のケースにおいても（１）の撮影トリガー指令後と全く同様に所定の露出制御値に基づいた、即ち露出時間Ｔtotalの本露光を行い（Ｓ２）、撮像信号を読み出して所定の信号処理を施した後にメモリカード１１０に記録する（Ｓ４）。この際、まず始めに欠陥アドレス格納領域に格納された欠陥画素アドレスデータに基づいて、公知の画素欠陥補償を行う（Ｓ３）。そして、欠陥補償後において記録に至るまでの後段の回路における映像信号処理は、（１）（２）共に共通であるが、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理，マトリクス演算による輝度−色差信号への変換或いはその逆変換処理、帯域制限等による偽色除去或いは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００３８】
このように本実施形態によれば、画素欠陥検出を行うに際し検出する欠陥画素の数を制限することができるため、欠陥補償に伴う画質劣化に一定の歯止めをかけることができると共に、システムの破綻を生じないようにした撮像装置が得られる。
【００３９】
なお、上記においては説明を簡単にするために電荷蓄積時間と露光時間とを同一視しているが、厳密にはメカニカルシャッタを用いて露光開始前から電荷蓄積を開始する場合や、或いは露光完了してから所定時間後に電荷を転送路に移送したり蓄積電荷を転送路に移送した後所定時間後に転送開始する、いわゆる遅延読み出しの手法を用いる場合などこの両者は必ずしも一致しないことがある。しかし、この両者の差はいずれもシステムコントローラ１１２が管理認識しているものであるから、必要に応じてこの差を具体的に考慮して上記実施形態を適用すればよいものである。
【００４０】
また、上記実施形態以外にも様々な変形例が考えられる。
【００４１】
まず、テスト撮像時の露光時間設定については上記実施形態では本露光の露出時間Ｔtotalをそのまま用いたが、例えばＴtotal／２とか、Ｔtotal／１０に設定してテスト露光時間を短縮することもできる。この場合、暗電荷は蓄積時間にほぼ比例することを利用して、判定レベルＴＨも１／２とか、１／１０にすればよい。無論判定のやり方に同様の補正を加えれば、少なくともＴtotalが一定値以下の範囲まではテスト撮像露光時間に固定値を採用することも可能である。
【００４２】
また、テスト撮像のタイミングについては本撮影直前が好適ではあるが、これに限定されるものではない。例えば、電源投入時、再生モードと切替え可能なカメラにおける撮影モードへの切替え時、２段レリーズスイッチカメラ（２段目が撮影トリガー）における１段目操作時、別途設けたテスト撮像スイッチの操作時など、目的に応じて任意の時点で行うように構成し得る。
【００４３】
なお、上記実施形態で用いているＡ／Ｄ変換器の量子化レベルに関して補足すれば、現実には、Ａ／Ｄ変換器のハードウェアの有する誤差特性の存在や、仮にそれが無いとしても原理的に最小量子化レベル付近においては量子化誤差は相対的には１００％にも相当することを考慮すれば、上記実施形態に関して実際の量子化に用いるＡ／Ｄ変換器は画像処理系の量子化ビット数（実施形態では８ビット）よりも多い、例えば１０ビット或いは１２ビット程度（それ以上でもよい）のものを使用することがより好適であり、これによって各演算式の演算に際して誤差の影響を十分低減することができる。
【００４４】
以上本発明のいくつかの実施形態を具体的に挙げたが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【００４５】
【発明の効果】
以上詳述したように本発明によれば、欠陥画素検出手段が検出する欠陥画素の数を所定値以下に制限する欠陥画素数制限手段を有しているため、画質劣化に一定の歯止めをかけられると共に、格納可能な数以上の欠陥を検出してしまうことによるシステムの破綻を防止することができる。即ち、画質劣化に一定の歯止めをかけると共に、システムの破綻を生じない高性能な撮像装置が得られる。
【００４６】
また、欠陥画素数を制限するために、一旦行った欠陥判定による検出数が所定値を超える場合には判定レベルを変更して再度欠陥判定を繰り返すことにより、欠陥画素数を所定値以内に確実に収めつつ、比較的暗電荷レベルの大きなものから優先的に欠陥補償の対象にすることができ、簡単な処理により求め得るほぼ最良の画質を得ることができる。さらに、初期判定レベルを画像取扱いレベルの最大値の５〜１０％の値とすることにより、暗電流が十分低いレベルの画素を欠陥画素と判定してしまうことや、暗電流が大きい画素を初期判定から検出しないといったいずれの問題もなくすことができ、適切な画素欠陥検出を行うことができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるデジタルカメラの基本構成を示すブロック図。
【図２】同実施形態における画素欠陥の検出と補償及び欠陥画素数制限に直接関わる処理を説明するためのフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）

Claims

被写体像を撮像するための撮像素子と、この撮像素子に対する露光を制御する露出制御手段と、前記撮像素子における電荷蓄積時間を制御する蓄積時間制御手段と、前記露出制御手段及び蓄積時間制御手段を制御して前記撮像素子の所定の動作状況における欠陥画素を検出する欠陥画素検出手段と、この欠陥画素検出手段により検出された欠陥画素の情報に関しては当該画素近傍の画素情報によってこれを補償する画素欠陥補償手段とを具備した撮像装置であって、
前記欠陥画素検出手段は、検出する欠陥画素の数を所定値以下に制限する欠陥画素数制限手段と、前記露出制御手段により前記撮像素子に対する露光を遮断した状態で、前記撮像素子における電荷蓄積及び読み出し動作を実行するテスト撮像手段と、前記テスト撮像手段により得られた撮像素子出力レベルを所定の画素欠陥判定レベルと比較することにより欠陥画素を判定する欠陥判定手段と、前記欠陥判定手段における判定に際して本露光の露出時間とテスト撮像時間の違いに応じて前記画素欠陥判定レベルを補正する判定補正手段とを有したものであり、
前記欠陥画素数制限手段は、前記欠陥判定手段によって一旦判定された欠陥画素の数が前記所定値を超える場合には、前記画素欠陥判定レベルを変更した後に再度前記欠陥判定手段による判定を行わせるものであることを特徴とする撮像装置。
前記本露光の露出時間が少なくとも所定の値以下の範囲においては、前記テスト撮像時間は固定値であることを特徴とする請求項１記載の撮像装置。
前記画素欠陥判定レベルの初期設定値は、前記撮像装置における画像取扱いレベルの最大値の５〜１０％であることを特徴とする請求項１又は２記載の撮像装置。