JP4262363B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、詳しくは長時間露光機能を有する撮像装置に関する。
【０００２】
【従来の技術】
ビデオカメラなどの撮像装置は、従来より広く利用されている。近年主として静止画を撮像記録する電子スチルカメラも、特にディジタルカメラとして普及するに至り、主として動画記録用であったビデオムービーにおいても、静止画撮影記録機能を有するようになってきた。そして主として静止画撮影に際して使用される長時間露光は、撮像素子における電荷蓄積時間を長くすることによって露光時間を長くし、これによって低照度下でもストロボなどの補助照明を使用することなく撮影できるようにする技術として知られている。
【０００３】
一方、撮像素子においては、いわゆる暗電流の存在などによる暗出力が存在し、これが画像信号に重畳されるため、画質劣化を来す。この暗出力レベルが大きい画素が存在する場合は画素欠陥と称され、その画素の出力情報は用いず、近隣の画素の出力情報を用いて情報を補完することが広く実用化されている。本明細書においては、以下このような処理を画素欠陥の補償と称することとする。しばしば使用されるフレームレートにおける動画駆動を前提に決められる所定の（例えばＮＴＳＣでは１／60秒の、あるいはこれに基づいて所定のマージンを見た、例えば４倍マージンだと１／15秒の）標準露光時間で暗出力を評価し、そのレベルが大きい画素については欠陥画素と見做して、上記画素欠陥補償を適用する。当然ながら欠陥画素の情報は欠落しているから、実用的に画質は確保できるものの局所解像度劣化が生じる。
【０００４】
一方、暗出力による画質劣化を補う方法として、その画素の出力情報を用いて暗出力レベル分を当該画素信号出力レベルから差し引いて信号成分だけを取り出すことは、例えば特開平９−１８７９３号公報にも記載されており公知である。該公開公報においては、暗出力を固定パターン雑音と見做して、このような処理を雑音の補正除去と称している。本明細書においては、このような劣化画素の信号出力から暗出力分を除去する処理を、単に（欠陥あるいは劣化等の）補正と称することとする。この画素劣化の補正は、劣化画素の暗出力レベルが小さい場合に特に有効で、解像度劣化等を生じず、本来の画素情報が得られる点で優れている。
【０００５】
【発明が解決しようとする課題】
ところで、上記したような欠陥や劣化のない画素であっても、高温の場合には暗電流が増加するため、また特に標準露光時間を超える長時間露光の場合には、暗電流の蓄積によって画素の暗出力レベルが大きくなるため、その撮像条件の下では新たに劣化画素となる場合がある。すなわち、暗出力が極めて大きくなる長時間露光の場合、差し引き信号成分の出力レンジが不足して画質が低下し、最悪の場合黒キズとなることがある。そこで上記公開公報においても「撮像素子の露出時間を長くしすぎると、暗電流増が生じることで固定パターン雑音が増大し、画像品質が悪化する。これを防ぐため、撮像素子の露出時間を暗電流増が問題にならない時間内に短縮し」という記載があり、更に一つの長時間露光を複数の比較的短時間の露光の複数画像の加算で得る技術も記載されている。しかしながら、その際の「暗電流増が問題にならない時間」に関する判断根拠は示されていない。また、その実施例においては、「その所定の露出時間の１／ｎの露出時間でｎ回の撮影を行ない」と述べられているだけであるから、現実に使用する撮像素子各々によってばらつきをもつ異なる暗出力特性に対して、充分な画質の確保ができる適正な露光時間制御を行なうことができないという問題があった。
【０００６】
本発明は、従来の撮像装置における上記問題点を解消するためになされたもので、請求項１に係る発明は、長時間露光時においても所定の画質を確実に確保することの可能な撮像装置を提供することを目的とする。請求項２に係る発明は、画質劣化のない長時間露光撮像を行うことができる撮像装置を提供することを目的とする。請求項３に係る発明は、温度や経時変化を含めた実使用状況下における情報をもとに、所定の画質を確保した長時間露光撮像の可能な撮像装置を提供することを目的とする。請求項４に係る発明は、必ずしも暗出力測定手段を用いることなく、最大蓄積時間を設定できるようにした撮像装置を提供することを目的とする。請求項５に係る発明は、温度変化に対応した最大蓄積時間を容易に設定できるようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像素子と、該撮像素子の出力に基づいて映像信号を生成する映像信号生成手段と、前記撮像素子における電荷蓄積時間を制御する蓄積時間制御手段と、前記撮像素子の有効出力画素のうち最大の暗出力を生ずる画素の暗出力信号レベルである最大暗出力レベルに基づいて前記蓄積時間制御手段における最大蓄積時間を設定する蓄積時間制御手段とで撮像装置を構成するものである。
【０００８】
このように構成した撮像装置においては、最大蓄積時間を、有効出力画素（全有効信号期間の画素から補償の対象である欠陥画素を除いたもの）の中で暗黒時における暗出力が最大の画素の出力レベルを基準にして設定するようにしているので、信号劣化度合いを定量的に管理することができ、所定の画質を確実に確保することができる。
【０００９】
請求項２に係る発明は、請求項１に係る撮像装置において、前記撮像素子の出力をディジタル信号に変換するＡ／Ｄコンバータを有し、前記撮像素子の最大暗出力レベルが前記Ａ／Ｄコンバータの最小量子化レベルにほぼ近いが該レベルに達しない値に前記最大蓄積時間を設定したことを特徴とするものである。このように、最大蓄積時間を、有効出力画素の中で暗黒時における暗出力が最大の画素の出力レベルを基準にして、これがＡ／Ｄコンバータの最小量子化レベル未満となるように設定しているので、画質劣化のない長時間露光撮像を行うことができる。
【００１０】
請求項３に係る発明は、請求項１又は２に係る撮像装置において、前記撮像素子の最大暗出力レベルを測定する暗出力測定手段を有し、該暗出力測定手段の測定結果に基づいて前記最大蓄積時間を設定することを特徴とするものである。このように構成した撮像装置においては、暗出力測定手段の測定結果に基づいて最大蓄積時間を設定するようにしているので、温度や経時変化を含めて実使用状況下における情報をもとに、所定の画質を確保した長時間露光撮像が可能となる。
【００１１】
請求項４に係る発明は、請求項１又は２に係る撮像装置において、前記最大蓄積時間に関するデータを記憶する記憶手段を有していることを特徴とするものである。このように構成した撮像装置においては、記憶手段に記憶された最大蓄積時間に関するデータに基づいて、最大蓄積時間を設定するようにしているので、必ずしも暗出力測定手段を用いることなく、最大蓄積時間を設定することができる。
【００１２】
請求項５に係る発明は、請求項４に係る撮像装置において、前記最大蓄積時間に関するデータは、温度に依存する関数データ又はテーブルデータであることを特徴とするものである。このように構成した撮像装置においては、記憶手段に記憶される最大蓄積時間に関するデータを温度に依存する関数データ又はテーブルデータとしているので、温度変化に対応した最大蓄積時間を容易に設定することができる。
【００１３】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の主たる実施の形態のディジタルカメラを示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄコンバータを含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバ、18はＥＥＰＲＯＭである。
【００１４】
このように構成されているディジタルカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、特に露出制御機構３に含まれるシャッタ装置と、ＣＣＤドライバ６によるＣＣＤ撮像素子５の駆動を制御して、露光（電荷蓄積）及び信号の読み出しを行ない、それをＡ／Ｄコンバータを含むプリプロセス回路７を介してディジタルプロセス回路８に格納した出力レベル情報を用いて、以下で説明する画素劣化に関する判断や、本撮像時における画像信号の劣化補正等を行なうものである。また本実施の形態に係るディジタルカメラは、従来公知の画素欠陥補償手段を有しており、ＥＥＰＲＯＭ18に格納された欠陥画素アドレスデータに基づいて、ディジタルプロセス回路８においてこの処理がなされる。すなわち、露光時間にかかわらず上記欠陥画素として登録された画素については画素欠陥補償がなされるようになっている。
【００１５】
次に、本実施の形態に係るディジタルカメラにおける劣化補正に直接係わる処理を中心に、システムコントローラ12によるカメラ制御の説明を行なう。但し、この実施の形態に係るディジタルカメラにおいて、信号レベルのディジタル処理は８ビット（０〜255)で行われるものとする。
【００１６】
まず、撮影に先立って、マニュアル設定又は測光結果に基づいて撮影に必要な露光時間Ｔtotal が設定される。これが本カメラにおける標準露光時間Ｔstd （任意に設定可能であるが、この実施の形態では１／15秒とする）よりも長いかどうかを判断し、Ｔtotal ≦Ｔstd の場合は、特に従来技術と変わりなく本撮像の撮影トリガー指令を待機し、トリガー指令を受けて所定の露出値に基づいた露光を行ない、撮像信号を読み出して所定の信号処理を施した後に、メモリカード10に記録する。その際上記画素欠陥補償処理を伴なう。
【００１７】
一方、Ｔtotal ＞Ｔstd の場合は、まず実際の撮影に先立って露出制御機構３に含まれるシャッタ装置で撮像素子の受光面を遮光した状態でテスト撮像を行なう。すなわち、暗黒下でＣＣＤドライバ６により所定露出時間Ｔtest＝５×Ｔstd の電荷蓄積動作を行なってテスト撮像信号（暗出力信号）を読み出し、ディジタルプロセス回路８に格納する。格納された全データ〔以下Ｓtest(i,j）と記す。但し(i,j) は画素アドレス〕のうち欠陥画素を除いた有効出力画素に関して出力レベルを調べ、その最大値Ｍtestによって最長露出時間Ｔlimit を次のように定める。
（１）Ｍtest＝０の場合：Ｔlimit ＝50×Ｔtest（＝ 250×Ｔstd ＝16.7秒）
（２）１≦Ｍtest≦250 の場合：Ｔlimit ＝50×Ｔtest／Ｍtest（＝ 250×Ｔstd ／Ｍtest＝１／15秒〜16.7秒）
（３）251 ≦Ｍtest≦255 の場合：Ｔlimit ＝Ｔstd
【００１８】
テスト撮像による調査対象は欠陥画素を除いた有効出力画素であるから、通常の場合は標準露光時間Ｔstd の５倍の露光時間Ｔtestでレベルが最大付近に達することはないため、本来（１），（２）のケースしか起こり得ないが、撮像素子の経時変化や温度等によって（３）のケースも生じ得るものである。
【００１９】
このＴlimit の扱いに関しては、カメラの動作モードが２つ用意されている。第１の機能優先モードの場合は、本撮像時の露光時間Ｔexp を（別途定めたシステム上の制限によるものを別にして）制限することはしないで、但しＴlimit 以上の露光時間に対しては画質劣化の警告を行うものである。第２の画質優先モードの場合は、Ｔlimit が現実の最長露光時間となるように、本撮像時における露光時間のリミッタとして作用するものである。無論この場合も、Ｔlimit を超える露光時間に対しては、実現できない旨の警告を伴うことが望ましい。この第２のモードの変形例としては、Ｔtotal ＞Ｔlimit の場合に警告と共に撮影を禁止する態様のものも挙げられる。いずれにしても、実際に撮像され、しかもその際に使用者に対して警告を発することがない本撮像画像の露光時間は、必ずＴlimit 以下に制限されていることになる。
【００２０】
さて、このような制限のもとに行われた本撮像信号に対して劣化補正処理を施す。すなわち、上記テスト撮像信号Ｓtest(i,j）を用いて補正基準信号Ｃref(i,j)を算出し、本撮像時の撮像信号Ｓin(i,j) から差し引くことで、補正された撮像信号である出力信号Ｓout(i,j)を得る。具体的には、次式▲１▼，▲２▼に示す算出式で求められる。
Ｃref(i,j)＝Ｓtest(i,j）×Ｔexp ／Ｔtest ・・・・・・・・▲１▼
Ｓout(i,j) ＝Ｓin(i,j) −Ｃref(i,j) ・・・・・・・・・・▲２▼
【００２１】
すなわち、▲１▼の式の右辺で乗じられているものは、テスト撮像時の電荷蓄積時間と本撮像時のそれとの比であって、同一条件の下では暗出力は蓄積時間に比例することを利用して本撮像時の暗出力成分を求めているものである。したがって、▲２▼式で求められたＳout(i,j)は、本来の被写体情報のみに対応したものとなる。
【００２２】
このとき、上記本撮像時の露光時間Ｔexp を最長露出時間Ｔlimit 以下に制限することの意味は、どの有効出力画素に関しても本撮像時の暗出力レベルが50以下、すなわちフルレンジ（255)の約１／５以下に制限されているということである。すなわち、撮像信号のレンジが無限にあれば、▲２▼式によって常に理想的な補正が可能であるが、ディジタル処理の最大値（原理的には撮像素子自身の飽和レベル）でクリップされているから、差し引かれるＣref(i,j)の分だけレンジ（輝度再現域）が狭くなっている。すなわち、出力信号Ｓout(i,j)は 255−Ｃref(i,j)でクリップされた信号となっているから、仮に上記制限を設けずＣref(i,j)＝255 の画素が存在したとすれば、この画素の出力は実際の被写体輝度にかかわらず０となり、いわゆる黒キズの画素欠陥となる。これでは欠陥補償でなく補正を用いた意味があまりないことになる。実際には上記したようにＴexp をＴlimit以下に制限しているから、Ｓout(i,j)のレンジは最悪の画素でも、 255−50＝205 と80％強確保される。この値は通常の被写体においては充分な値であり、たまたまこの画素を含む一定領域に極めて明るい一様な絵柄（例えば白紙）が存在した場合にのみキズと認識され得るが、その場合も飽和レベルより20％弱暗いだけであるから、特に精査しない状態では検知限以下であり画質劣化を事実上生じない。
【００２３】
このように、上記例における最長露出時間Ｔlimit は、劣化補正を行なった際にも全ての有効画素に関して、出力信号Ｓout(i,j)のレンジを 205／255(80％強）保証するという意味を有しているのである。無論、この保証するレンジの数値自体は一例であり、どの程度の画質劣化を画質保証の許容限とするかによって、任意の値をとり得るものであるが、最長露出時間Ｔlimit については、この（設計者の意図や判断に基づいて任意に設定され得る）与えられた「保証するレンジ」に対して、適用カメラの有する劣化補正手段における処理の具体的内容に従って一意的に定めたものであるから、上記従来例における漠然たる「暗電流増が問題にならない時間」等とは全く異なるものであることは明らかである。
【００２４】
さて補正された後の撮像信号である出力信号Ｓout(i,j)は、更に公知の画素欠陥補償処理を施された後に、適宜各種信号処理を経てメモリカード10に記録される。なお、このように欠陥補償は上記補正処理の後に実行されるが、この順番を単純に逆にすると、補償された画素の出力は補正処理を受ける前の暗出力を含んだものとなり好ましくなく、したがって何らかの理由で逆順処理を行なう場合は、暗出力信号Ｓtest(i,j）に関しても同様に欠陥補償を施してから補正処理を行なう構成とする必要があり、これを本実施の形態の変形例として挙げておく。
【００２５】
なお、上記実施の形態の説明においては説明を簡単にするために、電荷蓄積時間と露光時間とを同一視しているが、厳密にはメカニカルシャッタを用いて露光開始前から電荷蓄積を開始する場合や、あるいは露光完了してから所定時間後に電荷を転送路に移送したり、蓄積電荷を転送路に移送した後所定時間後に転送開始するいわゆる遅延読み出しの手法を用いる場合などにおいては、この両者は必ずしも一致しないことがある。しかし、この両者の差はいずれもシステムコントローラが管理認識しているものであるから、必要に応じてこの差を具体的に考慮して上記実施の形態を適用すれば良いものである。
【００２６】
更に上記実施の形態以外にも様々な実施の形態が考えられる。まずＴtestの時間設定については、上記実施の形態では５×Ｔstd ＝１／３秒という値を示したが、これは任意に設定できる。上記実施の形態の場合、このカメラが画質を保証しつつ実現し得る露出時間は、前記ケース（１）より最大16.7秒に限られているが、これはＴtestが１／３秒であるためである。しかし、この程度の短時間にしておけば、使用者に意識させることなく、通常のカメラシーケンス中で本撮像の直前にテスト撮像を行なうことが可能であり、カメラの操作性を全く低下させることなく本発明を適用できる利点がある。これに対して画質性能を優先すれば、Ｔtestをもっと長い任意の時間に設定したり、テスト撮像を複数回異なるＴtest値で行なったり、また固定値ではなくＴtest＝Ｔtotal とすることで任意の露光時間に関して画質判定ができるように構成することができるなど、それぞれが好適な実施の形態となる。
【００２７】
また、これとは別の実施の形態としては、上記実施の形態におけるＴlimit を定めるケース（１），（２），（３）を、次のように変更したものがある。
（１’）Ｍtest＝０の場合：Ｔlimit ＝Ｔtest
（２’）１≦Ｍtest≦254 の場合：Ｔlimit ＝Ｔtest／（２×Ｍtest）
（３’）Ｍtest＝255 の場合：エラーとして処理し、撮影禁止
【００２８】
この実施の形態は、本撮影時の有効画素の暗出力レベルが、Ａ／Ｄコンバータの最小量子化レベル未満であることを保証することになるから、劣化補正が不要となると共に撮像レンジの低下が生じないことになる。なお、ここで言うＡ／Ｄコンバータの最小量子化レベルとは、現実のＡ／Ｄハードウェアの最小量子化レベルと一致していることは必ずしも必要でなく、その時の画像処理系における実質的（最終的）量子化に関する最小量子化レベルのことを指していることは言うまでもない。
【００２９】
この点に関して特に補足すると、現実には、Ａ／Ｄコンバータハードウェアの有する誤差特性の存在や、仮にそれがないとしても原理的に最小量子化レベル付近においては、量子化誤差は相対的には 100％にも相当することを考慮すれば、この実施の形態のみならず全ての実施の形態に関して実際の量子化に用いるＡ／Ｄコンバータは、画像処理系の量子化ビット数（上記各実施の形態では８ビット）よりも多い、例えば10ビットあるいは12ビット程度のものを使用することがより好適であり、これによって上記各演算式の演算に際して誤差の影響を充分低減することができる。
【００３０】
更に別の実施の形態としては、上記のように本撮像直前のテスト撮像によらず、予め別途調べた使用撮像素子に関するＴlimit の値をＥＥＰＲＯＭ18に記憶しておくものが挙げられる。この実施の形態は、撮像素子の暗出力特性の経時変化には対応できないものの、Ｔlimit の値を求めるためのテスト撮像を実行する必要がないという大きな利点を有している。この場合、使用時の温度によって暗出力が変化することに対応するため、撮像素子近傍に図示しない温度センサも設けておく。そして、ＥＥＰＲＯＭ18に記憶させておくＴlimit の値は、各温度に対応した連続的関数（温度−Ｔlimit 関数：ディジタル処理であるから、実際には離散値として処理される）か、又はいくつか選択した温度ポイントに対応する複数の値（温度−Ｔlimit テーブル）とする。後者の場合には、テーブルに該当する温度ポイント以外については補間によって処理すれば良い。いずれの場合も、温度センサによって温度を検出して、上記温度−Ｔlimit 関数又はテーブルを参照してＴlimit の値を求めるものである。
【００３１】
この実施の形態は、上記主たる実施の形態に適用する場合には、劣化補正を実行するためには結局テスト撮像を行なう必要が生じるものの、その場合にも事前にＴlimit の値が判っているので、これに基いて最適なＴtestを設定できるという利点を有している。また特に上記（１’），（２’），（３’）の判定基準を用いた劣化補正が不要となる実施の形態と組み合わせた場合には、テスト露光が全く不要となるという大きな利点を有している。
【００３２】
以上本発明のいくつかの実施の形態並びにそれらの変形例について具体的に説明を行ったが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【００３３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、長時間露光時においても画質劣化の少ない画像を得ることができる撮像装置を実現することができる。特に請求項１に係る発明によれば、最大蓄積時間を有効出力画素の中で暗黒時における暗出力が最大の画素の出力レベルを基準にして設定するようにしているので、信号劣化度合を定量的に管理することができ、所定の画質を確実に確保することが可能になる。また、請求項２に係る発明によれば、最大蓄積時間を、有効出力画素の中で暗黒時における暗出力が最大の画素の出力レベルを基準にして、これがＡ／Ｄコンバータの最小量子化レベル未満となるように設定しているので、画質劣化のない撮像を行うことができる。また、請求項３に係る発明によれば、暗出力測定手段の測定結果に基づいて最大蓄積時間を設定するようにしているので、温度・経時変化を含めて実使用状況下における情報をもとに、所定の画質を確保した長時間露光撮像が可能となる。また、請求項４に係る発明によれば、記憶手段に記憶された最大蓄積時間に関するデータに基づいて最大蓄積時間を設定するようにしているので、必ずしも暗出力測定手段を用いることなく、最大蓄積時間を設定することができる。また、請求項５に係る発明によれば、記憶手段に記憶された最大蓄積時間に関するデータは温度に依存する関数データ又はテーブルデータとしているので、温度変化に対応した最大蓄積時間を容易に設定することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の実施の形態のディジタルカメラの構成を示すブロック図である。
【符号の説明】
１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ フィルタ系
５ ＣＣＤ撮像素子
６ ＣＣＤドライバ
７ プリプロセス回路
８ ディジタルプロセス回路
９ メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ
18 ＥＥＰＲＯＭ

Claims (5)

1. 撮像素子と、該撮像素子の出力に基づいて映像信号を生成する映像信号生成手段と、前記撮像素子における電荷蓄積時間を制御する蓄積時間制御手段と、前記撮像素子の有効出力画素のうち最大の暗出力を生ずる画素の暗出力信号レベルである最大暗出力レベルに基づいて前記蓄積時間制御手段における最大蓄積時間を設定する蓄積時間制御手段とを有していることを特徴とする撮像装置。
2. 前記撮像素子の出力をディジタル信号に変換するＡ／Ｄコンバータを有し、前記撮像素子の最大暗出力レベルが前記Ａ／Ｄコンバータの最小量子化レベルにほぼ近いが該レベルに達しない値に前記最大蓄積時間を設定したことを特徴とする請求項１に係る撮像装置。
3. 前記撮像素子の最大暗出力レベルを測定する暗出力測定手段を有し、該暗出力測定手段の測定結果に基づいて前記最大蓄積時間を設定することを特徴とする請求項１又は２に係る撮像装置。
4. 前記最大蓄積時間に関するデータを記憶する記憶手段を有していることを特徴とする請求項１又は２に係る撮像装置。
5. 前記最大蓄積時間に関するデータは、温度に依存する関数データ又はテーブルデータであることを特徴とする請求項４に係る撮像装置。

Images