JP5207926B2

JP5207926B2 - 撮像装置及びその制御方法

Info

Publication number: JP5207926B2
Application number: JP2008290354A
Authority: JP
Inventors: 聡史鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-11-12
Filing date: 2008-11-12
Publication date: 2013-06-12
Anticipated expiration: 2028-11-12
Also published as: JP2010118876A

Description

本発明は、静止画像や動画像を撮像し、記録又は再生する撮像装置及び該撮像装置の制御方法に関する。

従来、電子カメラ等の撮像装置では、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサ等を用いた固体撮像素子で被写体を撮像する。そして固体メモリ素子を有するメモリカードを記録媒体として用いて、撮影した静止画像や動画像を記録及び再生することができる。

電子カメラにおける感度制御について説明すると、先ず、絞り等で撮像素子への光学的な入射光量を制御し、機械式シャッタや電子シャッタによって時間的な入射光量の制御を行う。しかし、被写体の輝度が低く、光学的な制御手段や時間的な制御手段のみでは十分な信号量が得られない場合には、高感度設定が必要となる。この場合、撮像素子の光電変換手段によって生成された電気信号を増幅する必要があり、そのための電気的制御手段が用いられる。

ところで、電子カメラにおける電気信号の増幅にはいくつかの手段がある。図８は電子カメラにおける電気信号の制御の流れ及び増幅手段の一例を説明するためのブロック図である。本例では、撮像素子８０１の後段にアナログ信号処理回路（ＡＦＥ）８０５が設けられ、その後段にデジタル信号処理回路（ＤＦＥ／映像エンジン）８０９が配置されている。

撮像素子８０１では、画素（光電変換部）８０２で生成された電気信号が垂直出力線を通り、列アンプ８０３に入力される。列アンプ８０３は増幅手段を有し、その増幅率を切り替えることが可能である。但し、撮像素子８０１内のレイアウト上の制約や、撮像素子８０１への制御信号線の本数の制約等のため、増幅率については1倍，２倍，４倍，８倍…といった具合に、離散的な設定値を持つことが多い。

列アンプ８０３を介した電気信号は水平シフトレジスタを通った後で、出力アンプ８０４に送られる。この出力アンプ８０４も、その増幅率を切り替えることが可能である。但し、出力アンプ８０４についても列アンプ８０３と同様に、撮像素子８０１内のレイアウト上の制約等から、離散的な設定値を持つことが多い。なお、列の数だけ備える必要のある列アンプ８０３と比べると、出力アンプ８０４については出力端子の数だけ備えればよいので、その増幅率の選択に関する自由度は高い。

出力アンプ８０４を経た電気信号は撮像素子８０１から出力されて、アナログ信号処理回路８０５に入力される。アナログ信号処理回路８０５では、入力された電気信号が相関２重サンプリング手段（ＣＤＳ）８０６に送られて各種のアナログ信号処理を施された後で、アナログ信号増幅手段（ＰＧＡ）８０７に入力される。このアナログ信号増幅手段８０７もまたその増幅率が可変とされる増幅手段であり、その増幅率は、撮像素子内の増幅手段である列アンプ８０３や出力アンプ８０４が離散的な設定値であるのに対し、より連続的な増幅率の設定が可能である。

アナログ信号増幅手段８０７を経た電気信号はＡ／Ｄ変換手段８０８に送られる。該電気信号はここでアナログ信号からデジタル信号へと変換された後に、アナログ信号処理回路８０５の出力信号となる。そして、この出力信号はデジタル信号処理回路８０９に入力される。

デジタル信号処理回路８０９では、各種の補正処理や現像処理とともに、デジタル増幅処理が行われる。このデジタル増幅処理に関与する増幅回路もまた増幅率が可変とされる増幅手段である。その増幅率の設定については、前記したアナログ信号増幅手段８０７における増幅率設定よりも、更に詳細に亘って連続的に行うことができる。

なお、デジタル信号処理回路８０９から出力された電気信号については、メモリに格納され、必要に応じて読み出された信号は表示手段に送られて表示されるか又は記録手段に送出されて記録媒体に記録される。

ところで、得られる画像の画質に関して、最終的なノイズの量は所望のゲイン（利得）で増幅を行う手段によって異なる。即ち、列アンプ８０３の増幅手段でゲインを与える場合には、ノイズが信号の増幅率と同じ分だけ増幅され、このノイズは列アンプ８０３に入力される前の、画素及び垂直出力線で発生しているノイズのみである。換言すれば、撮像素子８０１内の水平シフトレジスタ以降の回路部、つまりアナログ信号処理回路８０５やデジタル信号処理回路８０９、そしてそれらをつなぐ配線において発生したノイズについては増幅されない。

一方、デジタル信号処理回路８０９において所望のゲインで信号増幅を行う場合には、デジタル信号処理回路８０９に入力される前の、全ての経路で発生したノイズが信号の増幅率と同じ分だけ増幅される。このため、列アンプ８０３でゲインを得る場合に比べて、最終的なノイズの量は大きくなる。

上記の説明から分かるように、ノイズの少ない高画質の画像を得るためには、より前段の増幅手段でゲインを得る必要がある。そのため、増幅率が可変とされるアンプを内部に有する撮像素子を搭載する撮像装置において、高感度設定時には、先ず可能な限り列アンプ８０３や出力アンプ８０４を用いて信号を増幅する。そして列アンプや出力アンプで設定可能な増幅率よりもさらに増幅率を詳細に設定する場合には、撮像素子外部の回路、つまりアナログ信号増幅手段８０７やデジタル信号処理回路内の信号増幅手段を用いて信号を増幅するのが一般的である。

ところで、撮像素子を遮光した暗時の信号出力レベルについては、理想的には撮像素子の全画素領域に亘って均一のレベルであることが望ましい。しかし現実には、撮像素子のレイアウト等に起因する特性として、画素位置によってダークレベルが多少変動してしまうという現象が発生する。このダークレベルの変動原因には、画素毎の基準レベルにばらつきが生じることや、ダークレベルが空間的に緩やかに変動し、シェーディングになっていること等が挙げられる。

このような画面内でのダークレベルのばらつきは通常、そのまま放置したのでは現像処理後の画像において色の変動となって現出してしまう虞がある。そこで、アナログ信号処理回路（ＡＦＥ）の水平方向の光学的黒（オプティカルブラック、以下「ＯＢ」と記す）クランプ機能や、デジタル信号処理回路（ＤＦＥ、映像エンジン等）におけるシェーディング補正機能等により、ダークレベルのばらつきが低減される。そしてデジタル信号処理回路で行われる、現像処理等の各種画像処理を行う前の段階で、画面内のダークレベルがほぼ均一になるように補正される。

但し、上記シェーディング補正が正しく行われるための条件として、補正前の電気信号が撮像装置の信号処理系で処理可能なダイナミックレンジ内に収まっている必要がある。そのための方策の一つとして、ダークレベルに所定量のオフセットを加える方法が挙げられる。これにより、各種補正を行ってダークレベルを均一にする前の段階では、画面内全域において、その値がゼロレベルを下回ることがなくなる。なおオフセット量は、撮像システムにおいて発生するダークシェーディングの大きさやその他、ノイズ成分の量等を考慮し設定される。

しかしながら、特に高温時や長秒蓄積時等、暗電流が多く発生する撮影条件下では、その暗電流の発生量が撮像素子内の位置によって異なることが原因で生じる暗電流ムラの影響によって、ダークレベルが画面内で大きく異なるという状況も発生する。
更には、このようなダークレベルの変動を補正する前の段階で、先述した増幅手段を用いて信号増幅を行ってしまうと、ダークレベルの変動もその増幅率に応じて拡大されてしまうことになる。よって撮像システムにおけるダイナミックレンジが大きく費やされてしまう。すなわち、信号処理経路全体のダイナミックレンジを確保するためにこれを大きくする必要がある。そうしないと場合によっては部分的な信号の欠落を発生させてしまう虞がある。

図９はダークシェーディングが大きい条件下において、部分的な信号欠落が発生する状況を説明するための図である。
図９ａ）は均一な光を入射した時の、ある行のダークレベル及び信号レベルを示す。また図９ｂ）は、図９ａ）に示す信号に対し、ダークレベルが均一になるように水平シェーディング補正を施した後の信号レベルを表した図である。入射光が比較的に均一であるため、補正後の出力信号も均一となっている。

図９ｃ）は図９ａ）の信号に対し、２倍のゲインで増幅した状態の出力信号を表す図である。図９ｃ）では、ダークレベルが水平方向に亘って大きく変動しているため、グラフの中央付近で、変動量が所定のオフセットレベルを上回っている。その結果、ダークレベル（破線のグラフ部参照）が底値（横軸上のレベル）に張り付いてしまい、一定値となっている。また、グラフの右上部においては、ダークレベル（破線のグラフ部参照）が大きくなっている影響で、信号が飽和レベル（破線の水平線参照）に張り付いてしまっている。

図９ｄ）は、図９ｃ）の信号に対し、図９ｂ）と同様の水平シェーディング補正を施した後の信号レベルを表した図である。理想的には、図９ｄ）の信号レベルは、破線で示したように、図９ｂ）の信号レベルに対してその２倍の信号レベルを示すべきである。しかし、補正前の図９ｃ）の状態において、グラフの中央付近で信号が０レベルに一定化し、また右上側の部分において信号が飽和レベルに張り付いてしまった結果、信号の欠落が生じている。

以上のような、暗電流の増大に伴うダークレベルの変動に起因して、特に高感度設定時に信号の欠落が発生しないように防ぐために、特許文献１に記載された方法が提案されている。これは、撮影した画像から、遮光したダーク画像を減算すること、いわゆる黒引きを行うことでダークレベルの変動を低減させ、その後に、画像信号を増幅する方法である。
特開２００６−５９１２号公報

しかしながら、上記した従来の電子カメラ等の固体撮像装置においては、以下のような問題があった。
即ち、ダークレベルの変動を抑えるために用いる上記「黒引き」動作を行う場合、通常の撮影画像とは別に、撮像素子を遮光した状態でダーク画像を撮影しなければならない。その結果、画像処理の時間も含めると、撮影に通常の２倍以上の時間を費やしてしまう。特に、暗電流が増大してダークシェーディングが大きくなる条件の一つである長秒撮影時には、撮影画像の場合と同じ時間をかけてダーク画像を取得しなければならない。このことは、次の撮影までの時間がかかってしまうことを意味し、撮影者の使い勝手を考えた場合に好ましくない。

また、前述の「黒引き」は、シェーディング等の固定パターンノイズに対して有効であるが、ランダムノイズを√２倍に増幅してしまうという短所がある。このため黒引きを行うと、最終的な出力画像が、ランダムノイズの増大によって著しく劣化する虞がある。
本発明は、以上の問題を解決するためになされたもので、撮影環境の如何に依らずダイナミックレンジを圧迫することなく最適な撮影を行える撮像装置の提供を目的とする。

上記課題を解決するために、本発明に係る撮像装置は、撮像素子から出力された画像信号を記録し又は表示させるための撮像装置において、以下の構成要素を具備する。
・暗時の信号レベルを均一にするダークシェーディング補正を行う補正手段。
・前記補正手段の前段及び後段に設けられた複数の増幅手段、すなわちダークシェーディング補正前における画像信号の増幅及びダークシェーディング補正後における画像信号の増幅を行うためにそれぞれ設けられた複数の増幅手段。
・撮影条件に応じて前記複数の増幅手段に係る増幅率の配分を切り替え又は変更する増幅率制御手段。

また、本発明に係る撮像装置の制御方法は、撮像素子から出力された画像信号を記録し又は表示させるための撮像装置の制御方法であって、暗時の信号レベルを均一にするダークシェーディング補正を行うとともに、前記ダークシェーディング補正の前後において画像信号の増幅を行う際の増幅率の配分を、撮影条件に応じて切り替え又は変更するものである。

本発明によれば、撮影環境の如何に依らずダイナミックレンジを圧迫することなく最適な撮影を行うことができる。

以下、図面を参照して本発明の好適な実施の形態を説明する。
図１は、本発明に係る撮像装置の実施形態の構成例を示すブロック図である。
図１において、撮像装置は、レンズ及び絞りを含む光学系１０１と、メカニカルシャッタ（図にはメカシャッタと記す）１０２を備える。

撮像素子１０３は被写体からの入射光を電気信号に変換する役目をもち、撮像素子１０３の内部において入射光を電気信号に変換する光電変換部１０４と、撮像素子１０３の内部において電気信号を増幅する信号増幅回路１０５が設けられている。

アナログ信号処理回路１０６は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行う回路であり、ＣＤＳ回路１０７、信号増幅器１０８、クランプ回路１０９、Ａ／Ｄ変換器１１０を有する。
ＣＤＳ回路１０７は、相関二重サンプリングを行う回路である。その後段の信号増幅器１０８は、アナログ信号を増幅するために設けられており、アナログ信号増幅回路として機能する。そして、クランプ回路１０９は、水平ＯＢクランプを行う回路であり、後段のＡ／Ｄ変換器１１０は、アナログ信号処理回路１０６の内部においてアナログ信号をデジタル信号に変換する。

タイミング信号発生回路１１１は、撮像素子１０３及びアナログ信号処理回路１０６を動作させる信号を発生する回路であり、後述のシステム制御部により制御される。また駆動回路１１２は、光学系１０１、メカニカルシャッタ１０２の駆動制御に用いられる。
デジタル信号処理回路１１３は、撮影した画像データに対して必要なデジタル信号処理を行う回路であり、画像補正回路１１４、信号増幅回路１１５、画像処理回路１１６を有する。

画像補正回路１１４は、画像データに対し必要な補正処理を行う回路であり、その後段には、デジタル信号を増幅する信号増幅回路１１５が設けられており、デジタル信号増幅回路として機能する。そのさらに後段の画像処理回路１１６は、画像データに対して必要な画像処理を行う回路である。
画像メモリ１１７は、デジタル信号処理回路１１３で処理された画像データを記憶するための情報記憶手段である。

記録処理部は、画像記録媒体１１８及び記録回路１１９を備える。例えば撮像装置から取り外し可能な画像記録媒体１１８に対して、記録回路１１９は信号処理された画像データを記録する。
表示処理部は、画像表示装置１２０及び表示回路１２１を備える。画像表示装置１２０は、信号処理された画像データを表示するデバイスであり、画像を表示する表示回路１２１からの信号が供給される。

システム制御部１２２は撮像装置全体を制御する中枢部であって、本発明の適用において増幅率制御手段としての機能を備え、画像信号の増幅手段に係る増幅率の配分を切り替え又は変更する。このシステム制御部１２２は、例えば中央演算処理装置（ＣＰＵ）や各種プロセッサを用いて構成される。本例では、システム制御部１２２に対して不揮発性メモリ１２３と揮発性メモリ１２４が設けられている。つまり不揮発性メモリ１２３にはＲＯＭ（読み出し専用メモリ）が用いられ、システム制御部１２２で実行される制御方法を記載したプログラムや、該プログラムを実行する際に使用されるパラメータやテーブル等の制御データが記憶される。また、不揮発性メモリ１２３にはいわゆるキズ補正のためのアドレス等の補正データが記憶される。そして、揮発性メモリ１２４にはＲＡＭ（ランダムアクセスメモリ）が用いられ、不揮発性メモリ１２３に記憶されたプログラムや、制御データ及び補正データを転送してＲＡＭに記憶することができる。そしてこれらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用できる。

温度検出部１２５は、撮像素子１０３の温度又はその近傍の周辺回路の温度を検出するために設けられており、その検出信号はシステム制御部１２２に送出される。
また、撮像素子１０３の蓄積時間を設定するための蓄積時間設定部１２６が設けられており、その出力信号はシステム制御部１２２に送出される。蓄積時間設定部１２６は、露光時間を設定する露光時間設定手段としての機能を有する。

撮影モード設定部１２７は、ＩＳＯ感度設定等の撮影条件設定や、静止画撮影と動画撮影との切り替え等を行うために設けられており、その出力信号はシステム制御部１２２に送出される。
次に、上述のように構成した撮像装置における撮影動作を説明する。なお撮影動作に先立ち、撮像装置の電源投入時等の、システム制御部１２２の動作開始時には、不揮発性メモリ１２３から必要なプログラムや、制御データ及び補正データが読み出され、これらが揮発性メモリ１２４に転送された上で記憶されているものとする。また、システム制御部１２２は撮像装置を制御する際に、これらのプログラムやデータを使用する。システム制御部１２２は、必要に応じて追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送し、またシステム制御部１２２が不揮発性メモリ１２３内のデータを直接読み出して使用し得るものとする。

まず、光学系１０１では、システム制御部１２２からの制御信号が駆動回路１１２に送られ、その出力によって絞りとレンズの駆動制御が行われる。つまり絞りとレンズを駆動することで、適切な明るさに設定された被写体像を撮像素子１０３上に結像させることができる。
次に、メカニカルシャッタ１０２には、システム制御部１２２からの制御信号が駆動回路１１２を介して送られる。例えば、静止画像の撮影時において、システム制御部１２２からの制御信号に従って、必要な露光時間が得られるように、メカニカルシャッタ１０２が撮像素子１０３の動作に合わせて撮像素子１０３を遮光すべく駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合には、該機能をメカニカルシャッタ１０２と併用して、必要な露光時間を確保することができる。またメカニカルシャッタ１０２については、動画像の撮影時において、システム制御部１２２からの制御信号に従い、撮影中は常に撮像素子１０３が露光されるように、開放状態を維持する。

撮像素子１０３は、タイミング信号発生回路１１１からの駆動パルスを受けて駆動される。この駆動パルスは、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスに基づく。
光電変換部１０４では、被写体像を光電変換により電気信号に変換する。後段の信号増幅回路１０５は、入射光量に応じて設定された増幅率をもって電気信号を増幅した上で、アナログ画像信号として出力する。

撮像素子１０３から出力されたアナログ画像信号は、アナログ信号処理回路１０６に送出される。当該回路内部の処理はタイミング信号発生回路１１１が発生する動作パルスに従って行われる。
アナログ信号処理回路１０６の内部において、ＣＤＳ回路１０７ではクロック同期性ノイズを除去し、次段のＰＧＡ回路１０８では入射光量に応じて設定された増幅率のゲインが与えられて信号増幅が行われる。そしてクランプ（ＣＬＡＭＰ）回路１０９では、水平方向に配置した画素領域（水平ＯＢ画素領域）の信号出力を基準電圧として電圧クランプを行い、次段のＡ／Ｄ変換器１１０においてアナログ画像信号からデジタル画像信号に変換する。

アナログ信号処理回路１０６は最終的にデジタル画像信号を出力し、デジタル信号処理回路１１３に送出する。つまりシステム制御部１２２により制御されるデジタル信号処理回路１１３の内部において、画像補正回路１１４は入力信号に対してダークシェーディング補正等の各種画像補正処理を施す。つまり画像補正回路１１４は、暗時の信号レベルを均一にするダークシェーディング補正（垂直ダークシェーディング補正や水平ダークシェーディング補正）を行う補正手段としての機能を有する。

次段の信号増幅回路１１５では、入射光量に応じて設定された増幅率に従って信号増幅を行う。そして画像処理回路１１６では、色変換、ホワイトバランス、ガンマ補正等の画像処理や、解像度変換処理、画像圧縮処理等の各種画像処理を行う。
画像メモリ１１７は、デジタル信号処理回路１１３において信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号に係る画像データを記憶するために用いられる。デジタル信号処理回路１１３で信号処理された後の画像データや、画像メモリ１１７に記憶されている画像データは、記録回路１１９において画像記録媒体１１８に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換される。該データは記録回路１１９を介して画像記録媒体１１８に記録される。あるいは該データはデジタル信号処理回路１１３で解像度変換処理を施した後で、表示回路１２１が画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換してから画像表示装置１２０で表示する。

ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理を行わずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求を受けた場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。この情報は、例えば、画像の空間周波数、指定領域内のデータに関する平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１９は、システム制御部１２２から要求を受けた場合に、画像記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に返送する。

次に、画像データが画像記録媒体１１８に記録されている場合の再生動作について説明する。記録回路１１９はシステム制御部１２２からの制御信号を受けて、画像記録媒体１１８から画像データを読み出す。同様にシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、画像データが圧縮画像であった場合に、画像伸長処理を行った上で画像メモリ１１７にデータを記憶させる。画像メモリ１１７に記憶されている画像データについては、デジタル信号処理回路１１３で解像度変換処理を施した後、表示回路１２１が画像表示装置１２０に適した信号に変換して画像表示装置１２０で表示する。

次に、本発明の実施形態に係る撮像装置に関して、一連の撮像動作の流れを説明する。
図２は本発明に係る撮像装置において、通常の撮像時に行われる一連の動作を示すフローチャートである。
撮影が開始されると、まず、感度、絞り値、露光時間等の撮影条件が初期設定される（Ｓ２０１参照）。これについては、撮影モード設定部１２７によって撮像装置の外部から受動的に撮影条件を設定する場合と、例えば入射光量等に応じて、撮像装置が自動的に状況を判断し、判断結果に基づいて決定された撮影条件を設定する場合がある。

次に温度検出部１２５によって、撮像素子１０３又はその周辺回路の温度の検出が行われる（Ｓ２０２参照）。この場合の温度検出方法には、撮像素子１０３の内部又はその近傍にある温度検出部１２５を使用する方法が挙げられる。別例としては、撮像素子１０３を構成する画素の一部に、フォトダイオードを有さないか、もしくはフォトダイオードで発生した電荷が転送されないような構造の画素を含ませる方法がある。即ち、このような画素の出力信号量と通常の画素の出力信号量との間の差異に基づいて、画素で発生している暗電流量を見積もり、この値から撮像素子１０３の温度を推定することができる。

次のステップでは、Ｓ２０１で設定した撮影条件及びＳ２０２で検出された撮像素子１０３の温度に応じて、信号増幅回路１０５、信号増幅器１０８、信号増幅回路１１５について、それぞれのゲイン配分を決定する（Ｓ２０３参照）。このゲイン配分の具体例については、後で図３のテーブルを用いて説明する。

以上の設定を行った後に、システム制御部１２２は、駆動回路１１２を介して駆動信号をメカニカルシャッタ１０２に供給して該シャッタを制御し、撮像素子１０３の露光を行う（Ｓ２０４参照）。
Ｓ２０４での撮影によって得られた画像信号は、直ちにアナログ信号処理回路１０６内のクランプ回路１０９における水平ＯＢクランプ機能により、垂直方向のダークシェーディング成分を補正された画像信号へと処理される。その後、デジタル信号処理回路１１３内の画像補正回路１１４における水平シェーディング補正手段等による補正処理、つまりダークレベルが画面内で一律になるように補正された画像信号を得る。

そして、画像信号には、デジタル信号処理回路１１３内の画像処理回路１１６を経て画像処理が施される。デジタル信号処理回路１１３は画像メモリ１１７、記録回路１１９、又は表示回路１２１に対して画像信号を出力し（Ｓ２０５参照）、これによって本撮影が終了する。
図３は本発明の実施形態に係る撮像装置に関して、設定感度と周囲温度に応じたゲイン配分の一例を説明するためのテーブル図である。

図３を用いて実施形態におけるゲイン配分方法を説明する。前提として、周囲温度に応じて増幅率を変化させる増幅手段は、撮像素子１０３内の信号増幅回路１０５（増幅器１と記す）と、デジタル信号処理回路１１３内の信号増幅回路１１５（増幅器２と記す）とする。つまり、シェーディング補正前の増幅手段が信号増幅回路１０５であり、撮像素子内において列毎に設けられた列増幅回路を用いるか、又は撮像素子内の出力部に設けられた増幅回路を用いることができる。またシェーディング補正後の増幅手段が信号増幅回路１１５である。

図３（ａ）は、撮像素子１０３の温度が３５℃以下の場合のゲイン配分を例示したテーブルである。また、図３（ｂ）は、撮像素子１０３の温度が３５℃を超えかつ４５℃以下の場合のゲイン配分を例示したテーブルである。そして図３（ｃ）は、撮像素子１０３の温度が４５℃を超えた場合のゲイン配分を例示したテーブルである。なお、本例では説明の便宜上、３つの温度範囲においてそれぞれに対応するテーブルを示したが、さらに多数の温度区分を採用して詳細なゲイン配分を行えることは勿論である。

図３（ａ）において、温度検出部１２５によって得られた撮像素子１０３の温度が３５℃以下の時には、設定する全体の増幅率の値の如何によらず、デジタル信号処理回路１１３内の信号増幅回路１１５の増幅率を１倍とする。そして本撮像装置の感度設定（ＩＳＯ１００からＩＳＯ３２００）に対応する信号増幅については、ゲイン1倍から３２倍まで全てのレンジに亘って、撮像素子１０３内の信号増幅回路１０５を用いて行う。

これは、撮像素子１０３の温度が３５℃以下の時は、撮像素子１０３で発生する暗電流が所定値、つまり予め決められた基準量以下であることによる。つまり、撮像素子１０３内の信号増幅回路１０５の増幅率の設定を３２倍としても、撮像装置内の系全体において信号の欠落が発生することなく、ダイナミックレンジを維持し得るからである。よって最終的に生成される画像においてノイズが最も少なくするためには、撮像素子１０３内の信号増幅回路１０５を用いた信号増幅を優先させることが望ましい。

図３（ｂ）では、撮像素子１０３の検出温度が３５℃を超えかつ４５℃以下の場合に、撮像素子１０３内の信号増幅回路１０５の増幅率として、１６倍を最大の設定値に規定する。つまり本撮像装置全体の感度設定に対応する信号増幅率を３２倍とする時には、撮像素子１０３内の信号増幅回路１０５の増幅率は１６倍のままとし、デジタル信号処理回路１１３内の信号増幅回路１１５の増幅率を２倍に設定する。

これは、撮像素子１０３の温度が３５℃を超えた場合に、図３（ａ）の状況と比べて撮像素子１０３で発生する暗電流が増大するためである。この状態で、撮像素子１０３内の信号増幅回路１０５の増幅率を３２倍に設定してしまうと、クランプ回路１０９や、画像補正回路１１４におけるダークシェーディング補正が行われる前に、画像信号の一部がダイナミックレンジの範囲外になることがある。結果として、信号の欠落が発生する虞がある。よって、系全体の増幅率を３２倍に設定する場合には、補正前の増幅手段である、信号増幅回路１０５の増幅率を制限して１６倍に留め、補正後の増幅手段である信号増幅回路１１５の増幅率を２倍に設定することが好ましい。

図３（ｃ）では、撮像素子１０３の温度が４５℃を超えた場合に、撮像素子１０３内の信号増幅回路１０５の増幅率について８倍を最大の設定値とする。つまり、本撮像装置の感度設定に対応する信号増幅をそれぞれ１６倍（ＩＳＯ１６００の行を参照）、３２倍（ＩＳＯ３２００の行を参照）とする時には、信号増幅回路１０５の増幅率は８倍のままとし、信号増幅回路１１５を、それぞれ２倍、４倍に設定する。

これは、撮像素子１０３の温度が４５℃を超えた場合に、図３（ｂ）の状況と比べて更に撮像素子１０３で発生する暗電流が増大するためである。一般に暗電流は、温度が６℃〜１０℃上昇すると２倍になるといわれている。よって、撮像素子１０３の温度に対する暗電流増加の特性に応じて撮像素子１０３内の信号増幅回路１０５の増幅率の最大値を制限すれば、暗電流増大による信号欠落を発生させずにすむ。こうして、信号処理経路全体のダイナミックレンジを損なうことなく画像信号の増幅を適切に行える。

なお、図３を用いて説明したゲイン配分の一例において、増幅率を変化させる対象となる増幅手段は、撮像素子１０３内の信号増幅回路１０５と、デジタル信号処理回路１１３内の信号増幅回路１１５のみとしたが、本発明はこれに限定されない。例えば、撮像素子１０３内の信号増幅回路１０５が複数の増幅率を設定できない構成の撮像装置の場合、撮像素子１０３内の信号増幅回路１０５に代わって、アナログ信号処理回路１０６内の信号増幅器１０８の増幅率を変化させる構成形態を採っても構わない。また、撮像素子１０３内の信号増幅回路１０５、アナログ信号処理回路１０６内の信号増幅器１０８、デジタル信号処理回路１１３内の信号増幅回路１１５の３つの増幅率をそれぞれ変化させることで、より詳細な増幅率の設定を行う構成にしてもよい。

また、図３を用いた上記の説明において、ゲイン配分の切り替えを、温度検出部１２５による撮像素子１０３の温度検出値のみによって行う構成としたが、本発明はこれに限定されず、各種条件や状況変化等に応じてゲイン配分の設定を変更することができる。例えば信号蓄積時間が延びることによっても暗電流が増大することを考慮し、蓄積時間設定部１２６による蓄積時間量に応じてゲイン配分を切り替える構成としてもよい。また、暗電流以外のダークシェーディングを増大させる要素、例えば電池の残量や検出された外来ノイズの量に応じて、増幅手段のゲイン配分を切り替える構成にしても構わない。

次に、図４〜図７を用いて、本発明の実施形態に係る撮像装置に関する、ダークシェーディング補正方法を詳細に説明する。
図４は水平ＯＢクランプ動作を説明するためのブロック図であり、該動作はアナログ信号処理回路１０６内のクランプ回路１０９で行われる。以下では図４を用いて、クランプ回路１０９による水平ＯＢクランプ動作と、この水平ＯＢクランプ動作による、垂直ダークシェーディング補正について詳細に説明する。なお、垂直ダークシェーディング補正では、画像信号に対して予め撮影されたダーク画像をもとに垂直写像データを生成し、該データを用いて行毎にダークレベル補正を行う。

図４において、撮像素子１０３の後段に位置するアナログ信号処理回路１０６内にはＣＤＳ回路１０７、信号増幅器１０８、クランプ回路１０９、Ａ／Ｄ変換器１１０が設けられている。そして、コンデンサ４０１が信号増幅器１０８の出力端子とクランプ回路１０９の入力端子との間に挿入されている。またクランプ電圧生成回路４０２は、その入力端子がＡ／Ｄ変換器１１０の出力端子に接続され、該回路の出力（クランプ制御電圧）がクランプ回路１０９に送出されることで、フィードバック回路が形成されている。

次に図４を用いて、アナログ垂直シェーディング補正動作である、水平ＯＢクランプ動作について説明する。
撮像素子１０３が出力する映像信号は、先ずアナログ信号処理回路１０６に入力される。アナログ信号処理回路１０６内において、入力された映像信号は、ＣＤＳ回路１０７にてサンプルホールドされた後、信号増幅器１０８にて所定のゲインが与えられて信号増幅が行われる。そして信号増幅器１０８が出力する映像信号は、コンデンサ４０１を通すことによってその直流分が除去される。これにより交流的な映像信号が得られ、該信号がクランプ回路１０９に入力される。クランプ回路１０９に入力された映像信号は、クランプ回路１０９において、クランプ電圧生成回路４０２から出力されたクランプ制御電圧でクランプされる。クランプ後の映像信号は、Ａ／Ｄ変換器１１０に送られ、ここでアナログ信号からデジタル信号に変換される。その後、該映像信号は２つに分岐し、その一方がアナログ信号処理回路１０６の出力信号として出力される。また、分岐した信号の他方はクランプ電圧生成回路４０２に入力される。クランプ電圧生成回路４０２では、撮像素子１０３における水平ＯＢ画素領域の出力信号（ＯＢ信号）を１水平ライン毎又は予め設定された間隔毎に積分し、その積分値が一定値になるように制御するためのクランプ制御電圧が生成される。

以上のように本回路構成では、クランプ回路１０９、Ａ／Ｄ変換器１１０、クランプ電圧生成回路４０２を含む閉ループが形成されることで、アナログ信号処理回路１０６から出力される映像信号のＯＢレベルが一定になるようにフィードバック制御が行われる。
図５は、デジタル信号処理回路１１３内の画像補正回路１１４において行われる、水平ダークシェーディング補正の説明図である。以下では、図５を用いて画像補正回路１１４による水平ダークシェーディング補正方法を詳説する。なお、水平ダークシェーディング補正では、画像信号に対し予め撮影されたダーク画像をもとに水平写像データを生成し、該データを用いて列毎にダークレベル補正を行う

図５（ａ）において符号５０１は垂直ＯＢ部を示し、符号５０２は有効画素部を示している。また、図５（ａ）に示す濃淡は、各画素における出力信号レベルを表しており、本図において、出力画像には、画面中央で出力信号のレベルが低く沈むような水平シェーディングが存在する状況を想定している。

図５（ｂ）は、図５（ａ）に示した垂直ＯＢ部５０１のうち、複数行の出力値を列毎に平均することにより作成した写像データを示すグラフである。デジタル信号処理回路１１３内の画像補正回路１１４は、入力された垂直ＯＢ部５０１のデジタル画像信号データをもとに平均値処理により写像データを作成する。得られた写像データを、入力された有効画素部５０２のデジタル画像信号データから減算することで、図５（ｃ）に示すような、水平シェーディングを除去したデジタル画像信号データを出力する。つまり、図５（ｃ）は水平シェーディング補正後の状態を表しており、有効画素部５０２が均一な信号レベルに補正されていることが分かる。

なお、図５を用いて説明した、水平ダークシェーディング補正方法において、垂直ＯＢ部５０１の画像信号が画像補正回路１１４に入力された場合に、直ちに写像データを生成し、その直後に入力される有効画素部５０２の画像信号に補正処理をかけてもよい。また、この処理に要する時間を十分に確保できないために時間が不足する場合には、入力された画像信号を一旦画像メモリ１１７に格納しておき、その後、格納された画像信号に対し、写像データの生成及び水平シェーディング補正処理を行ってもよい。

また、垂直ＯＢ部５０１については、通常の光電変換を行う画素の上部を光学的に遮光した、いわゆるＯＢ画素で構成された領域（垂直ＯＢ画素領域）とすることができる。あるいは、別の構成形態として、光電変換部を含まないか、又は光電変換部を有してはいても、光電変換素子からの信号転送が行われないように処理されている、いわゆるＮＵＬＬ（ヌル）画素で構成された領域を垂直ＯＢ部として利用した構成形態でもかまわない。

なお図５を用いて説明した、水平ダークシェーディング補正方法では、撮影した画像の垂直ＯＢ部の出力値を用いたが、本発明の実施形態がこれに限定される訳ではない。例えば、本撮像装置の生産工程で取得したダーク画像の全体又はその一部の行の出力値をもとに生成した水平写像データに対して、撮影時の温度等の撮影条件に応じた成分を加味して生成した補正データを使用してもよい。

図６は、近似式を用いた１次元ダークシェーディング補正を説明するためのブロック図であり、本補正はデジタル信号処理回路１１３内の画像補正回路１１４において行われる。以下では、図６を用いて、近似式を用いた１次元ダークシェーディング補正方法を詳説する。
図６（ａ）において、符号６０１は有効画素領域を示す。図６の有効画素領域６０１の中における濃淡は、各画素における出力信号レベルを表している。本図では、いわゆるバスタブ状のグラフ曲線で示すように、出力画像において、画面左右の端部で出力信号のレベルが上昇傾向をもつ１次元シェーディングが存在していることが分かる。

また図６（ｂ）は図６（ａ）に示す有効画素領域６０１に関して、全体又はその一部の行についての出力値を列毎に平均することにより作成した写像データのグラフである。この写像データを、その形状的特徴に応じて３つの領域、すなわち、左端寄りの範囲にて出力信号レベルが高い値を示す曲線領域（１）と、中間に位置する直線領域（２）と、右端寄りの範囲にて出力信号レベルが高い値を示す曲線領域（３）に区分する。そしてそれぞれの領域に対し近似処理を施す。具体的には、領域（２）に対して１次式を適用し、領域（１）と領域（３）に対しては２次式を適用することで、下記の近似式を生成する。

上式中の「ｘ」は横軸上での位置座標を表す変数であり、「ｙ」は縦軸上での出力信号レベルを表す変数である。またａ_１、ａ_３はｘの２次項にかかる係数であり、ｂ_１、ｂ_２、ｂ_３はｘの１次項にかかる係数であり、ｃ_１、ｃ_２、ｃ_３は定数である。

なお、上記のような１次元ダークシェーディング補正に用いる近似式は、あらかじめ撮像装置の生産工程において、所定温度下で取得したダーク画像のデータに基づいて生成することができる。そして実際に撮影した画像に補正を施す際には、上記した補正用の近似式を基本として、撮影時の温度等の撮影条件に応じた成分を加味し、温度補正等を考慮して生成した補正近似式へと変換したものを用いてシェーディング補正を行う。

図６で説明した、近似式を用いた１次元ダークシェーディング補正方法においては、水平方向のシェーディング補正を説明したが、本発明に係る実施形態がこれに限定される訳ではなく、同様の方法を垂直方向のシェーディングの補正に用いてもよい。また、上記の説明では、補正用近似式として１次式及び２次式を使用したが、より高次の近似式を使用できることは勿論である。

図７は、２次元ダークシェーディング補正を説明するためのブロック図である。本補正はデジタル信号処理回路１１３内の画像補正回路１１４で行われ、画面内の特定箇所からの距離を変数として使用する。以下、図７を用いて、当該距離を変数とする２次元ダークシェーディング補正の方法について詳細に説明する。なお、本方法に係る補正手段は、例えば出力アンプ等の熱源が撮像素子１０３の画素周辺に存在し、かつ当該熱源からの熱によって発生する暗電流ムラを補正する場合等に有効である。

図７において、符号７０１は有効画素領域である。本図に示すように、有効画素領域７０１における濃淡は、各画素における出力信号レベルを表している。本図に例示する状態において、出力画像には、画面の右下端寄りの範囲で出力信号レベルが上昇傾向をもつ２次元シェーディングが存在していることが分かる。図中の符号７０２は、本実施形態に係る撮像素子において発熱源となる出力アンプの位置を示すマーク（×印参照）である。つまり、対象画素がこの位置から近いほど、その出力信号レベルが高い傾向をもつ状況を想定する。

有効画素領域７０１における２次元シェーディングが、撮像素子内の温度ムラによる暗電流ムラに起因する場合に、各画素の信号レベルは、発熱源を示すマーク７０２から各画素までの距離に応じた関数で表すことができる。よって、デジタル信号処理回路１１３内の画像補正回路１１４は、入力されるデジタル画像信号データに対し、発熱源マーク７０２から対象画素までの距離に応じた補正値を算出する。そして該回路は、この補正値を画像信号のデータ値から減算することで、２次元シェーディングを除去したデジタル画像信号データを出力する。

なお、上記した２次元ダークシェーディング補正方法の説明では便宜上、発熱源が一箇所である場合を想定したが、本発明に係る実施形態はこれに限定されない。つまり発熱源が複数箇所に亘って存在する場合には、これに応じて複数箇所について上記と同様の補正を行えばよい。また、発熱源が複数箇所にある場合に用いる補正方法において、対象画素に関する補正値を算出するための演算式として、複数の発熱源を表す点から当該対象画素までの距離を変数とする関数式を用いることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本発明の実施形態に係る撮像装置において通常撮像時の一連の動作を示すフローチャートである。本発明の実施形態に係る撮像装置において設定感度と周囲温度に応じたゲイン配分を説明するためのテーブル図である。本発明の実施形態に係る撮像装置において水平ＯＢクランプ動作を説明するためのブロック図である。本発明の実施形態に係る撮像装置における水平ダークシェーディング補正を説明するための説明図である。本発明の実施形態に係る撮像装置において、近似式を用いた１次元ダークシェーディング補正を説明するための図である。本発明の実施形態に係る撮像装置において、発熱源から画面内の特定箇所までの距離を変数とする２次元ダークシェーディング補正を説明するための図である。撮像装置における電気信号の制御の流れ及び構成を説明するためのブロック図である。ダークシェーディングが大きい条件下において、部分的な信号欠落が発生することを説明するための図である。

符号の説明

１０３：撮像素子
１０５，１０８，１１５：増幅手段
１０６：アナログ信号処理回路
１１３：デジタル信号処理回路
１１４：補正手段
１２２：増幅率制御部
１２５：温度検出部
１２８：露光時間設定部

Claims

撮像素子から出力された画像信号を記録し又は表示させるための撮像装置において、
暗時の信号レベルを均一にするダークシェーディング補正を行う補正手段と、
ダークシェーディング補正の前における画像信号の増幅及びダークシェーディング補正の後における画像信号の増幅を行うためにそれぞれ設けられた複数の増幅手段と、
撮影条件に応じて前記複数の増幅手段に係る増幅率の配分を切り替え又は変更する増幅率制御手段を備えたことを特徴とする撮像装置。
前記複数の増幅手段が、
前記撮像素子からの画像信号を増幅する第一の増幅手段と、
前記第一の増幅手段により増幅された後で前記補正手段により補正された画像信号を増幅する第二の増幅手段とを含むことを特徴とする請求項１に記載の撮像装置。
前記第一の増幅手段が、前記撮像素子内に設けられた増幅回路であることを特徴とする請求項２に記載の撮像装置。
前記増幅回路が、前記撮像素子内において列毎に設けられた列増幅回路又は前記撮像素子内の出力部に設けられた増幅回路であることを特徴とする請求項３に記載の撮像装置。
前記撮像素子からの画像信号に対してアナログ信号処理を施すアナログ信号処理回路を有し、
前記第二の増幅手段が、前記アナログ信号処理回路の内部に設けられたアナログ信号増幅回路であることを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
画像信号に対してデジタル信号処理を施すデジタル信号処理回路を有し、
前記第二の増幅手段が、前記デジタル信号処理回路の内部に設けられたデジタル信号増幅回路であることを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
前記撮像素子又は該撮像素子の近傍の温度を検出する温度検出手段を有し、
前記増幅率制御手段が、前記温度検出手段による検出温度に応じて前記複数の増幅手段に係る増幅率の配分を制御することを特徴とする請求項１に記載の撮像装置。
前記増幅率制御手段は、前記検出温度が予め決められた温度よりも高い場合に、前記補正手段の前に設けられた増幅手段の増幅率を下げ、かつ前記補正手段の後段に設けられた増幅手段の増幅率を上げることを特徴とする請求項７に記載の撮像装置。
露光時間を設定する露光時間設定手段を有し、
前記増幅率制御手段は、前記露光時間設定手段によって設定された露光時間に応じて前記複数の増幅手段に係る増幅率の配分を制御することを特徴とする請求項１に記載の撮像装置。
前記増幅率制御手段は、前記露光時間設定手段によって設定された露光時間が予め決められた時間よりも長い撮影条件の場合に、前記補正手段の前に設けられた増幅手段の増幅率を下げ、かつ前記補正手段の後段に設けられた増幅手段の増幅率を上げることを特徴とする請求項９に記載の撮像装置。
撮像素子から出力された画像信号を記録し又は表示させるための撮像装置の制御方法であって、
暗時の信号レベルを均一にするダークシェーディング補正を行うとともに、
前記ダークシェーディング補正の前又は後において画像信号の増幅を行う際の増幅率の配分を、撮影条件に応じて切り替え又は変更することを特徴とする撮像装置の制御方法。