JP4266445B2

JP4266445B2 - 撮像装置

Info

Publication number: JP4266445B2
Application number: JP20625799A
Authority: JP
Inventors: 貴行木島; 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-07-21
Filing date: 1999-07-21
Publication date: 2009-05-20
Anticipated expiration: 2019-07-21
Also published as: JP2001036820A

Description

【０００１】
【発明の属する技術分野】
この発明は撮像装置、特に画素欠陥補償機能を有する撮像装置に関する。
【０００２】
【従来の技術】
ビデオカメラなどの撮像装置は、従来より広く利用されている。近年主として静止画を撮像記録する電子スチルカメラも、特にディジタルカメラとして普及するに至り、主として動画記録用であったビデオムービーにおいても、静止画撮影記録機能を有するようになってきている。そして、主として静止画撮影に際して使用される長時間露光は、撮像素子における電荷蓄積時間を長くすることによって露光時間を長くし、これによって低照度下でもストロボなどの補助照明を使用することなく、撮影できるようにする技術として知られている。
【０００３】
一方、撮像素子においては、いわゆる暗電流の存在などによる暗出力が存在し、これが画像信号に重畳されるため、画質劣化を来す。この暗出力レベルが大きい画素が存在する場合は、画素欠陥と称され、その画素の出力情報は用いず近隣の画素の出力情報を用いて、情報を補完することが広く実用化されている。本明細書においては、このような処理を画素欠陥の補償と称することとする。しばしば使用フレームレートにおける動画駆動を前提に決められる所定の（例えばＮＴＳＣでは１／60秒の、あるいはこれに基づいて所定のマージンを見込んだ例えば４倍マージンだと１／15秒の）標準露光時間で暗出力を評価し、そのレベルが大きい画素については欠陥画素と見做して、上記画素欠陥補償を適用している。
【０００４】
そして更に、画素欠陥は温度依存や経時変化を伴うから、欠陥画素の評価を工場出荷前に行なうだけでは不十分であるという点について改善をはかった技術も、特開平６−３８１１３号公報に開示されていて公知である。すなわち、この公開公報には、電源オン直後にアイリスを閉じることで受光面を遮光し、カメラの使用に先立ってＣＣＤ暗出力を評価することで欠陥画素を検出して、欠陥補償を行なう技術が記載されている。
【０００５】
【発明が解決しようとする課題】
ところで、上記従来の技術によって欠陥や劣化のない画素と判定されるものであっても、標準露光時間を超える長時間露光の場合には、暗電流の蓄積によって画素の暗出力レベルが大きくなるため、新たに劣化画素となる場合がある。この暗電流蓄積効果によって生じる劣化は、概略露光時間に比例して増大するため、より長時間になればなるほど暗出力レベル及び顕在化する劣化画素個数が大きくなり、画質が甚だしく低下してしまう。従来の技術は、このような長時間露光の場合も含めて効果的に欠陥補償を行なうことができないという問題点を有していた。
【０００６】
本発明は、従来の撮像装置における上記問題点を解消するためになされたもので、長時間露光時にも対応した画素欠陥の補償が可能な撮像装置を提供することを目的とするもので、請求項毎の目的を述べると、次の通りである。すなわち、請求項１に係る発明は、より確実に本撮像実行状況における長時間露光に対応した欠陥画素情報の取得を行えるようにして実際に使用する状況に応じた画素欠陥補償を行うことができ、高画質の長時間露光撮影を行うことが可能な撮像装置を提供することを目的とする。請求項２に係る発明は、広範囲な露出時間に対して適用でき、演算等に起因する誤差のない長時間露光に対応した欠陥画素情報を取得することが可能な撮像装置を提供することを目的とする。請求項３に係る発明は、通常露光時にはテスト撮像が不要で、これに伴うタイムラグも発生せず高画質が得られるようにした撮像装置を提供することを目的とする。請求項４に係る発明は、条件により変わり得る性能要求の許容限界を考慮した適切な欠陥画素の判定を行うことが可能な撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像素子と、該撮像素子に対する露光を制御する露出制御手段と、撮像時における露光時間を設定する撮像露光時間設定手段と、前記露出制御手段により前記撮像素子に対する露光を遮断した状態で前記撮像素子における電荷蓄積及び読み出し動作を実行し、これに対応して得られた撮像素子出力レベルが所定レベル以上の画素を欠陥画素と判定することにより前記撮像素子の本撮像実行状況における欠陥画素情報を検出する欠陥画素情報取得手段と、前記撮像露光時間設定手段が設定した露光時間が所定値を超える場合には前記欠陥画素情報取得手段が取得した欠陥画素情報に基づいて当該撮像時に撮像素子より出力された画像データの欠陥を補償する手段とで撮像装置を構成するものである。このように、所定値以上の長時間露光が設定された場合は、撮像素子の本撮像実行状況における欠陥画素情報を取得するようになっているので、実際に使用する状況に応じた画素欠陥補償を行うことができ、高画質の長時間露光撮影を行うことが可能となり、また光学的シャッタ等による遮光下で撮像信号を読み出したテスト撮像の暗出力レベルが所定値以上の画素を欠陥画素と判定するようにしているので、より確実に本撮像実行状況における長時間露光に対応した欠陥画素情報を取得することが可能となる。
【０００８】
請求項２に係る発明は、請求項１に係る撮像装置において、前記欠陥画素情報取得手段は、前記撮像露光時間設定手段が設定した露光時間に対応する時間の電荷蓄積を行なわしめた前記撮像素子の出力に基づいて欠陥画素を判定するように構成されていることを特徴とするものである。このように、遮光下で、実際の露光時間に対応する電荷蓄積時間でテスト撮像を行うようになっているので、広範囲な露出時間に対して適用でき、演算等に起因する誤差のない長時間露光に対応した欠陥画素情報を取得することができる。
【０００９】
請求項３に係る発明は、請求項１又は２に係る撮像装置において、前記撮像素子の通常露光状態における欠陥画素情報を記憶する記憶手段を有し、前記撮像露光時間設定手段が設定した露光時間が前記所定値以下である場合には、前記記憶手段に記憶された欠陥画素情報に基づいて当該撮像時に撮像素子より出力された画像データの欠陥を補償するように構成されていることを特徴とするものである。このように構成した撮像装置においては、長時間露光ではない通常露光に対しては予め記憶手段に記憶されている通常露光状態における欠陥画素情報を用いて画素欠陥補償が行われるので、通常露光時にはテスト撮像が不要であり、したがってこれに伴うタイムラグも発生することなく、高画質を得ることができる。
【００１０】
請求項４に係る発明は、請求項３に係る撮像装置において、前記撮像素子の通常露光状態における欠陥画素情報を取得するための判定基準である常欠陥画素判定時の判定レベルと、前記撮像露光時間設定手段が設定した露光時間が所定値を超える場合に前記欠陥画素情報取得手段が欠陥画素情報を検出する際の判定基準である検出欠陥画素判定時の判定レベルとが異なる基準に設定されていることを特徴とするものである。このように構成した撮像装置においては、条件により変わり得る性能要求の許容限界を考慮した適切な欠陥画素の判定を行うことができる。
【００１１】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の主たる実施の形態のディジタルカメラを示すブロック構成図である。１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄコンバータを含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバ、18はＥＥＰＲＯＭである。
【００１２】
このように構成されているディジタルカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、特に露出制御機構３に含まれるシャッタ装置と、ＣＣＤドライバ６によるＣＣＤ撮像素子５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行ない、それをＡ／Ｄコンバータを含むプリプロセス回路７を介してディジタルプロセス回路８に格納し、この中で全ての必要な各種信号処理を施した後に、ＬＣＤ画像表示系11又はメモリカード10に記録する。上記ディジタルプロセス回路８で行われる各種信号処理には、本発明の要部であるところの、出力レベル情報を用いた画素欠陥検出処理及び画素欠陥補償処理が含まれている。すなわち、ディジタルプロセス回路８には該ディジタルプロセス回路８に格納された出力レベル情報を用いて画素欠陥を検出する画素欠陥検出部８−１と、該画素欠陥検出部８−１で検出された画素欠陥情報に基づいて画素欠陥を補償する画素欠陥補償部８−２とを備えている。そして、画素欠陥補償部８−２においては、
(a) 予めＥＥＰＲＯＭ18に格納された通常露光時の欠陥（以下常欠陥と称する）に関する欠陥画素のアドレスデータに基づいて、
(b) 長時間露光時には、更に本撮影に先立って上記画素欠陥検出部８−１において画素欠陥の検出を行なった結果の欠陥（以下検出欠陥と称する）に関する欠陥画素の画素アドレスデータに基づいて、画素欠陥補償処理がなされる。
【００１３】
次に、本実施の形態における画素欠陥検出と補償に直接関わる処理を中心に、システムコントローラ12によるカメラ制御について説明を行なう。但し、本実施の形態に係るディジタルカメラにおいて信号レベルのディジタル処理は、８ビット（０〜255 ）で行われるものとする。
【００１４】
まず、撮影に先立ってマニュアル設定又は測光結果に基づいて、撮影に必要な露光時間Ｔtotal が設定される（但し、このディジタルカメラのスペックとして最長露光時間は10秒とする）。これが本ディジタルカメラにおける標準露光時間Ｔstd （任意に設定可能であるが、この例では１／15秒とする）よりも長いかどうかを判断し、次のように処理を行う。
【００１５】
（１）Ｔtotal ≦Ｔstd の場合は、特に従来技術と変わりなく本撮像の撮影トリガー指令を待機し、指令を受けて所定の露出値に基いた露光を行ない、撮像信号を読み出して所定の信号処理を施した後にメモリカード10に記録する。その際、上記(a) に対応する、すなわち常欠陥画素についてのみの画素欠陥補償を伴なう。
（２）Ｔtotal ＞Ｔstd の場合は、まず実際の撮影に先立って、具体的には撮影トリガー指令を受けた時点で、まず露出制御機構３に含まれるシャッタ装置で撮像素子の受光面を遮光した状態でテスト撮像を行なう。すなわち、暗黒下でＣＣＤドライバ６により所定露出時間Ｔtest＝５×Ｔstd の電荷蓄積動作を行なって、テスト撮像信号（暗出力信号）を読み出し、ディジタルプロセス回路８に格納する。そして、画素欠陥検出部８−１において、格納された全データのうち少なくとも常欠陥画素を除いた有効出力画素に関して各出力レベルを調べて、基準レベルとディジタル比較を行なうことで欠陥の判定を行なう。
【００１６】
判定基準は以下のようなものである。すなわち、着目画素の出力レベルがＳであったとして、
Ｓ＞25×Ｔtest／Ｔtotal
の場合に欠陥、それ以外（Ｓ≦25×Ｔtest／Ｔtotal ）の時には非欠陥とするものである。この意味は、暗出力はほぼ蓄積時間に比例するとして、本撮像時の暗出力レベルを25以下（フルレンジ255 の約10％）までは許容するとしたものである。したがって、例えばＴtotal ＝Ｔstd の時は、テスト撮像時の暗出力レベルが125 以下の画素は全て非欠陥と見做し、Ｔtotal が25／３（≒8.33）秒を超える時は、テスト撮像時の暗出力レベルが０である画素のみを非欠陥と見做していることになる。
【００１７】
ここで出力レベル25（約10％）という判定基準は、もとより唯一絶対的なものではなく、設計時に事情に合わせて任意に設定し得るものであるが、上記程度以下の適当な値（他に、例えば約５％とか３％なども有効）を選んでおけば、画像に重畳される暗出力の影響の顕在化の可能性は充分低くなる。また、これを０％に選べば、暗出力が重畳された画素を完全に排除することが可能であり、この点ではこれも一つの好適な変形例として挙げ得るが、検出欠陥画素の数が多くなるため解像度劣化を招き易い。現実には、これらのトレードオフ要素を勘案して判定基準を設定する。
【００１８】
このようにして得られた検出欠陥画素アドレスは、ディジタルプロセス回路８の適当な領域に格納され、ＥＥＰＲＯＭ18に格納されている常欠陥アドレスデータと統合されて、画素欠陥補償処理に際して使用される。このとき検出欠陥画素アドレスを一旦ＥＥＰＲＯＭ18に格納してから用いてもよい。そして、欠陥補償に際しては、常欠陥も検出欠陥も全く同じ欠陥画素としての処理を受けるものであり、異なるところはない。
【００１９】
さて上記のように、この場合の欠陥画素のアドレスデータを得た後には、（１）の場合の撮影トリガー指令後と同様に、所定の露出値に基いた本露光を行ない、撮像信号を読み出して所定の信号処理を施した後にメモリカード10に記録する。その際、上記(b) に対応する、すなわち検出欠陥画素も含む、この場合の欠陥画素に対して画素欠陥補償を伴なう。
【００２０】
このとき、画素欠陥補償処理それ自体は公知のものを使用することができるが、本実施の形態においては特に以下のように処理される。すなわち、「当該欠陥画素の最近接非欠陥同色画素の画素のデータを当該欠陥画素のデータとして用いる。但し該当する画素が複数個存在した場合は、その代表値を用いる。」ここで、最近接非欠陥同色画素とは、欠陥画素でない同じ色フィルタの（モノクロＣＣＤの場合は全ての）画素のうち、当該欠陥画素に最も近い画素のことである。また代表値の求め方は、選択法（例：最も左で且つ最も上の画素のデータを採用する）、補間法（例：各データの加算平均値を採用する）のいずれでもよい。
【００２１】
なお、従来公知の欠陥補償は、欠陥画素自体にある一定の制約条件（例えば２画素連続で存在しないなど）が課されており、これを充たさない撮像素子は不良とされることを前提にしていたので、単に最近接同色画素（同色の画素のうち、当該欠陥画素に最も近い画素）の代表値で補完するように単純化できたが、上記本実施の形態の補償処理は撮像直前にカメラで検出される欠陥も対象にするため、任意の制約条件を課することは極めて困難であり、例えば最近接同色画素が全て欠陥画素であるようなケースも有り得ることになる。このため最近接非欠陥同色画素による補完を用いている。
【００２２】
以上（１），（２）のいずれの場合にも、欠陥補償後において記録に至るまでの映像信号処理は共通に処理されるが、この後段の回路における処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００２３】
上記実施の形態によれば、所定の標準露光時間Ｔstd 以下の通常の露光時間に対しては、テスト撮像を行なう必要がなく（したがってテスト撮像に伴うタイムラグの発生等がなく）、従来と同等の画素欠陥補償を行なった高画質な画像を得ることができると同時に、そのままでは画質劣化を生じる長時間露光に対しては、テスト撮像によってその時点の状況に応じた欠陥画素を検出して、適切な画素欠陥補償を行なった高画質な画像を得ることができる。なお且つこれらの状況判断は全て自動的に行なわれ、テスト撮像時間も短時間（上記例では１／３秒）にとどめているから、撮影操作に不便や違和感を生じない。また、テスト撮像のタイミングが従来例の上記公開公報開示のもののような電源投入時ではなく、本撮像直前であるから、例えば電源投入後の時間経過による内部温度上昇の影響等も含めて、実際に使用する状況に応じた誤動作のない補償を行なうことができる。
【００２４】
なお、上記においては説明を簡単にするために、電荷蓄積時間と露光時間とを同一視しているが、厳密にはメカニカルシャッタを用いて露光開始前から電荷蓄積を開始する場合や、あるいは露光完了してから所定時間後に電荷を転送路に移送したり、蓄積電荷を転送路に移送した後所定時間後に転送を開始するいわゆる遅延読み出しの手法を用いる場合など、この両者は必ずしも一致しないことがある。しかし、この両者の差はいずれもシステムコントローラが管理認識しているものであるから、必要に応じてこの差を具体的に考慮して上記実施の形態を適用すればよいものである。
【００２５】
更に本発明については上記主たる実施の形態のほかにも様々な実施の形態が考えられる。まずＴtestの時間設定については、上記主たる実施の形態では５×Ｔstd ＝１／３秒という値を示したが、これは任意に変更できる。上記主たる実施の形態の場合、このカメラの最長露光時間は10秒としているので、Ｔtestが１／３秒でも対応可能であった。そして、この程度の短時間にしておけば、使用者に意識させることなく通常のカメラシーケンス中で本撮像の直前にテスト撮像を行なうことが可能であり、カメラの操作性を全く低下させることなく本発明を適用できる。これに対して、更に長い露光時間に対応すべく、Ｔtestをもっと長い任意の時間に設定したり、テスト撮像を複数回異なるＴtest値で行なったり、また固定値ではなくＴtest＝Ｔtotal とすることで任意の露光時間に関して画質判定ができるように構成することなど、それぞれが好適な実施の形態となる。
【００２６】
また、テスト撮像のタイミングについては、本撮影直前が好適ではあるが、これに限定されるものではない。例えば電源投入時、再生モードと切替え可能なカメラにおける撮影モードへの切替え時、２段レリーズスイッチカメラ（２段目が撮影トリガ）における１段目操作時、別途設けたテスト撮像スイッチの操作時など、目的に応じて任意の時点で行なうようにし得る。
【００２７】
これらとは異なる観点として、常欠陥画素の判定レベルと、検出欠陥画素の判定レベルは等しくなくてもよい。というよりも、常欠陥画素については、「長時間露光」という特殊条件下における撮像ではない、通常の撮影画質を決定付けるものであるから、一般的には単に暗出力レベルのみで決まるものではなく、例えば「連続した欠陥は存在してはならない」、「画面中央部所定円内には欠陥画素がｎ個以上存在してはならない」などの分布状況も加味して定めた存在許容条件を充たす場合にのみ、その撮像素子を良品とする検査基準を採用することが必須と言える。これに対して、カメラで自動検出する場合には、このような（撮像素子の良否をも結果とし得るような）判断はそもそも不可能であって、これらの判定を単純に同列に比較することは困難とも言える。ただ、製品仕様に対する一般的要請という意味で、「長時間露光」というような「特殊条件下」での性能（この場合は画質）要求は、「基本性能（「通常」時の性能）」よりも許容限界が緩くなるから、検出欠陥画素の判定レベルは、常欠陥画素判定時のそれよりも高いレベル（緩い基準）に設定することが、一つの望ましい例となる。本発明が所定の標準露光時間Ｔstd 以下の場合と、それを超える場合の２つのケースで処理を別にしている点は、このような設定を可能にし得るという大きな利点を有している。
【００２８】
なお、上記主たる実施の形態で用いているＡＤコンバータの量子化レベルに関して補足すれば、現実には、ＡＤコンバータハードウェアの有する誤差特性の存在や、仮にそれがないとしても、原理的に最小量子化レベル付近においては、量子化誤差は相対的には 100％にも相当することを考慮すれば、上記主たる実施の形態に関して実際の量子化に用いるＡＤコンバータは、画像処理系の量子化ビット数（主たる実施の形態では８ビット）よりも多い、例えば10ビットあるいは12ビット程度のものを使用することがより好適であり、これによって上記各演算式の演算に際して、誤差の影響を充分低減することができる。
【００２９】
以上本発明に関していくつかの実施の形態を具体的に挙げて説明を行ったが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【００３０】
【発明の効果】
以上実施の形態に基づいて説明したとおり、本発明によれば、長時間露光時にも対応した画素欠陥の補償が可能な撮像装置を実現することができる。特に請求項１に係る発明によれば、所定値以上の長時間露光が設定された場合は撮像素子の本撮像実行状況における欠陥画素情報の取得を行なうように構成されているので、、実際に使用する状況に応じた画素欠陥補償を行なうことができ、高画質な長時間露光撮像を行なうことができ、また、光学的シャッタ等による遮光下で撮像信号を読み出したテスト撮像の暗出力レベルが所定値以上の画素を欠陥画素と判定するように構成されているので、より確実に本撮像実行状況における長時間露光に対応した欠陥画素情報の取得を行なうことができる。請求項２に係る発明によれば、遮光下で、実際の露出時間に対応する電荷蓄積時間でテスト撮像を行なうように構成されているので、広範囲な露出時間に対して適用でき、演算等に起因する誤差のない、長時間露光に対応した欠陥画素情報の取得を行なうことができる。請求項３に係る発明によれば、長時間露光でない通常露光に対しては予め記憶手段に記憶された通常露光状態における欠陥画素情報を用いて画素欠陥補償を行なうように構成されているので、通常露光時にはテスト撮像が不要であり、したがってこれに伴うタイムラグも発生することなく、高画質を得ることができる。請求項４に係る発明によれば、条件により変わり得る性能要求の許容限界を考慮した適切な欠陥画素の判定を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の実施の形態のディジタルカメラの全体構成を示す概略ブロック構成図である。
【符号の説明】
１レンズ系
２レンズ駆動機構
３露出制御機構
４フィルタ系
５ＣＣＤ撮像素子
６ＣＣＤドライバ
７プリプロセス回路
８ディジタルプロセス回路
８−１画素欠陥検出部
８−２画素欠陥補償部
９メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ
18 ＥＥＰＲＯＭ

Claims

撮像素子と、該撮像素子に対する露光を制御する露出制御手段と、撮像時における露光時間を設定する撮像露光時間設定手段と、前記露出制御手段により前記撮像素子に対する露光を遮断した状態で前記撮像素子における電荷蓄積及び読み出し動作を実行し、これに対応して得られた撮像素子出力レベルが所定レベル以上の画素を欠陥画素と判定することにより前記撮像素子の本撮像実行状況における欠陥画素情報を検出する欠陥画素情報取得手段と、前記撮像露光時間設定手段が設定した露光時間が所定値を超える場合には前記欠陥画素情報取得手段が取得した欠陥画素情報に基づいて当該撮像時に撮像素子より出力された画像データの欠陥を補償する手段とを備えていることを特徴とする撮像装置。
前記欠陥画素情報取得手段は、前記撮像露光時間設定手段が設定した露光時間に対応する時間の電荷蓄積を行なわしめた前記撮像素子の出力に基づいて欠陥画素を判定するように構成されていることを特徴とする請求項１に係る撮像装置。
前記撮像素子の通常露光状態における欠陥画素情報を記憶する記憶手段を有し、前記撮像露光時間設定手段が設定した露光時間が前記所定値以下である場合には、前記記憶手段に記憶された欠陥画素情報に基づいて当該撮像時に撮像素子より出力された画像データの欠陥を補償するように構成されていることを特徴とする請求項１又は２に係る撮像装置。
前記撮像素子の通常露光状態における欠陥画素情報を取得するための判定基準である常欠陥画素判定時の判定レベルと、前記撮像露光時間設定手段が設定した露光時間が所定値を超える場合に前記欠陥画素情報取得手段が欠陥画素情報を検出する際の判定基準である検出欠陥画素判定時の判定レベルとが異なる基準に設定されていることを特徴とする請求項３に係る撮像装置。