JP5404217B2

JP5404217B2 - 撮像装置及びその制御方法

Info

Publication number: JP5404217B2
Application number: JP2009158941A
Authority: JP
Inventors: 太郎小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-07-03
Filing date: 2009-07-03
Publication date: 2014-01-29
Anticipated expiration: 2029-07-03
Also published as: JP2011015284A

Description

本発明は、撮像装置及びその制御方法に関する。

従来から、デジタルカメラなどの撮像装置に用いられるＣＣＤセンサやＣＭＯＳセンサ等の撮像素子において、様々な固定パターンノイズ補正方法が提案されている。

図５は、従来の黒画像減算方式による固定パターンノイズ補正を行うデジタルカメラの機能構成の一例を示す概略ブロック図である。図５に示すカメラにおいて、露出制御動作で決定された撮影条件（絞り、シャッタースピード、感度）で撮像素子１００１により被写体を撮影して、撮像素子１００１から蓄積された電荷信号を読み出す。読み出された電荷信号はＡ／Ｄ変換器１００２でデジタル信号に変換され、フレームメモリ１００３に画像信号（以下、「被写体画像信号」と呼ぶ。）として記録される。次に、同じ撮影条件で、撮像素子１００１を遮光した状態で撮影を行い、得られた電荷信号をＡ／Ｄ変換器１００２でデジタル信号に変換する。このようにして得られた画像信号を、以下、「遮光画像信号」と呼ぶ。なお、図上の点線で表されるパスが、遮光画像信号のパスである。

Ａ／Ｄ変換器１００２から遮光画像信号が出力されるのと同時に、フレームメモリ１００３に蓄積された被写体画像信号が読み出され、減算回路１００４において被写体画像信号から遮光画像信号を減算することにより、固定パターンノイズ補正を行う。固定パターンノイズ補正された被写体画像信号は、オフセット回路１００５にて任意のオフセット値（例えば１０ビット信号で３２ＬＳＢ程度）が加算されてから信号処理回路１００６に送られ、１枚の画像の画像信号が生成される。このようにして生成された画像信号は、ＳＤカードなどの汎用の記憶媒体１００７に蓄積される。

しかしながら上述した固定パターンノイズ補正方法では、２枚の画像の画像信号（被写体画像信号、遮光画像信号）を用いるため、固定パターンノイズ補正を行わない場合と比較して、ランダムノイズが√２倍増えてしまう。特許文献１に記載された発明では、遮光画像信号を複数撮影し、それらを積算し、その積算した信号を被写体画像信号から差し引くことが提案されている。図６に概略ブロック図を示す。

特許文献１に記載された発明では、遮光画像信号を積分処理部１００８にて処理した後フレームメモリ１００９に保存し、それを複数枚の撮影全てで繰り返す。遮光画像をすべて撮影し終えた後、フレームメモリ１００９に保存された積算遮光画像信号を被写体画像信号から減算することにより固定パターンノイズ補正を行う。この方法によれば、遮光画像信号のランダムノイズが低減されるため、固定パターンノイズ補正後の画像信号におけるノイズ劣化をほぼ無くすことができる。

特開２００３−１１６０６４号公報

しかしながら、特許文献１に記載された方法では、１枚の被写体画像の画像信号を得るために遮光画像を複数枚撮影してそれぞれを積算する必要がある。そのため、遮光画像を記憶しておくためのフレームメモリを用意しなければいけない、という問題点があった。

上記課題を解決するために、本発明の撮像装置は、光電変換により画像信号を出力する撮像素子と、前記画像信号を増幅する増幅手段と、前記画像信号を保存する記憶手段と、前記撮像素子から出力される画像信号を前記記憶手段に保存されている画像信号から減算する減算手段と、露光状態で前記撮像素子を駆動して１フレームの被写体画像信号を出力するように制御するとともに、遮光状態で前記撮像素子を駆動して複数フレームの遮光画像信号を出力するように制御する制御手段と、前記遮光画像信号の撮影フレーム数を設定するとともに、前記遮光画像信号の撮影フレーム数に応じた前記被写体画像信号の増幅率と前記遮光画像信号の増幅率を前記増幅手段にそれぞれ設定する設定手段と、を有し、前記制御手段は、前記増幅手段が前記被写体画像信号を前記設定手段により設定された前記被写体画像信号の増幅率で増幅し、増幅された前記被写体画像信号を前記記憶手段に保存し、前記増幅手段が前記遮光画像信号を前記設定手段により設定された前記遮光画像信号の増幅率で増幅し、前記減算手段が前記記憶手段に保存された前記被写体画像信号から増幅された前記遮光画像信号を減算することで得られる画像信号を前記記憶手段に上書き保存する処理を繰り返すように制御することを特徴とする。

また、本発明の撮像装置の制御方法は、光電変換により画像信号を出力する撮像素子と、前記画像信号を増幅する増幅手段と、前記画像信号を記憶する記憶手段と、前記撮像素子から出力される画像信号を前記記憶手段に保存されている画像信号から減算する減算手段とを備えた撮像装置の制御方法であって、露光状態で前記撮像素子を駆動して１フレームの被写体画像信号を出力する被写体画像出力工程と、遮光状態で前記撮像素子を駆動して複数フレームの遮光画像信号を出力する遮光画像出力工程と、前記遮光画像出力工程で出力される前記遮光画像信号の撮影フレーム数を設定するとともに、前記遮光画像信号の撮影フレーム数に応じた前記被写体画像信号の増幅率と前記遮光画像信号の増幅率を前記増幅手段にそれぞれ設定する設定工程と、前記増幅手段が前記被写体画像信号を前記設定工程により設定された前記被写体画像信号の増幅率で増幅し、増幅された前記被写体画像信号を前記記憶手段に保存し、前記増幅手段が前記遮光画像信号を前記設定工程により設定された前記遮光画像信号の増幅率で増幅し、前記減算手段が前記記憶手段に保存された前記被写体画像信号から増幅された前記遮光画像信号を減算することで得られる画像信号を前記記憶手段に上書き保存する処理を繰り返すように制御する制御工程と、を有することを特徴とする。

本発明によれば、ランダムノイズの劣化をほとんどないまま固定パターンノイズ補正を行うことができると共に、遮光画像積算用にフレームメモリを必要とせず大幅なコストアップを回避することが可能となる。

本発明の実施形態における撮像装置の機能構成を示すブロック図である。本発明の実施形態における撮影時の動作を示すフローチャートである。本発明の実施形態における補正テーブルの一例を説明する為の図である。本発明の実施形態における補正タイプの一例を説明する為の図である。従来の撮像装置の機能構成を示す概略ブロック図である。従来の撮像装置の機能構成を示す概略ブロック図である。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。図１は、本実施形態における固定パターンノイズ補正を行う撮像装置の概略構成を示すブロック図である。

図１において、１２０は撮像装置全体を制御するシステム制御回路（制御手段）、５０は撮影レンズである。なお、図１では、撮影レンズ５０を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ等、複数のレンズから構成されている。１２３はシステム制御回路１２０による制御に基づいて、撮影レンズ５０のフォーカスレンズを制御する焦点制御部である。５１は絞り機能を備えるメカニカルシャッター、１２２はシステム制御回路１２０による制御に基づいて、シャッター５１を制御する露出制御部である。

１０１は、光電変換により入射光量に応じた電荷を生成して画像信号を出力するＣＣＤセンサやＣＭＯＳセンサに代表される撮像素子であり、全画素の信号を読み出す以外に、特定の画素の加算および特定の行または列おきに間引いて電荷を読み出すこともできる。１２１は、システム制御回路１２０による制御に基づいて撮像素子１０１を駆動する駆動回路である。即ち、システム制御回路１２０及び駆動回路１２１は、制御手段を構成する。

１０２は、撮像素子１０１から出力される電荷信号（画像信号）をデジタル信号（デジタル画像信号）に変換するＡ／Ｄ変換器、１０３は、Ａ／Ｄ変換器１０２から出力されるデジタル信号をゲインアップ（増幅）するゲイン部（増幅手段）である。１０４は、ゲインアップ後の被写体画像信号を記憶（保存）するフレームメモリ（記憶手段）である。システム制御回路１２０は、Ａ／Ｄ変換器１０２から出力されるデジタル信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行う。

１０５は、遮光画像信号の欠陥画素を判断（検出）する欠陥画素判断部（欠陥画素検出手段）である。ここで欠陥画素と判断された画素の座標情報は、欠陥画素情報記憶メモリ１０６（欠陥画素情報記憶手段）に保存される。１０７は、フレームメモリ１０４（記憶手段）に記憶（保存）されたデジタル信号から、欠陥画素判断部１０５を通過した遮光画像信号を減算する減算回路（減算手段）である。減算後の信号は、遮光画像撮影が終了していない場合は再度フレームメモリ１０４に書き込まれる。

また、１０８はデジタルゲイン回路、１０９はオフセット回路、１１０は信号処理回路、１１１は記憶媒体である。なお欠陥画素補正部（欠陥画素補正手段）は信号処理回路１１０に含まれており、欠陥画素情報記憶メモリ１０６の座標情報を元に欠陥画素の補正を行うことができる。また、１２４は、例えば、シャッター釦やモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための操作部であり、入力内容はシステム制御回路１２０に通知される。

図２は、本実施の形態における撮像装置の撮影時の動作を示すフローチャートである。以下、図１及び図２を参照しながら、本実施の形態における固定パターンノイズ補正方法について説明する。

まず、ステップＳ１１において、操作部１２４に含まれるシャッター釦の、例えば途中操作（例えば半押し）によりＯＮとなるスイッチＳＷ１がＯＮされるのを待ち、ＯＮされるとステップＳ１２に進んで、露出制御を行う。露出制御では、システム制御回路１２０は撮影に用いる露出条件（絞り、シャッタースピード、感度）を決定する。

次に、ステップＳ１３において、焦点調節制御を行う。焦点調節制御では、システム制御回路１２０は焦点制御部１２３を介して撮影レンズ５０のフォーカスレンズを制御して、焦点を被写体に合わせる。そしてステップＳ１４において、シャッター釦の、例えば全押し操作によりＯＮとなるスイッチＳＷ２がＯＮされたかどうかを判断し、ＯＦＦであればステップＳ１１に戻って上記処理を繰り返し、ＯＮであればステップＳ１５に進む。

ステップＳ１５において、システム制御回路１２０は、ステップＳ１２で決定した感度、シャッタースピード、図示しない温度センサによる温度情報および操作部１２４からの情報に応じて、パターンノイズ補正用の遮光画像撮影回数を決定（設定）する。この撮影回数によりゲイン部１０３において乗ずるゲインアップ量も決定し、決定したゲインアップ量をゲイン部１０３に設定する。なお、ステップＳ１５における処理については、詳細を後述する。

ステップＳ１６（被写体画像出力工程）では、ステップＳ１２で決定された露出条件に基づいて露出制御部１２２、駆動回路１２１を制御して撮像素子１０１を駆動することで被写体の撮影を行う。そして、露光状態で撮像素子１０１に蓄積された電荷信号（被写体画像信号）を全て読み出す。読み出された電荷信号はＡ／Ｄ変換器１０２でデジタル信号に変換され、ゲイン部１０３へ入力される。ステップＳ１７では、ゲイン部１０３にてＳ１５で設定されたゲインアップ量を乗じる。すなわち、設定された増幅率で増幅される。ステップＳ１８（第１の記憶工程）では、その画像信号をフレームメモリ１０４に１フレームの被写体画像信号として記憶する。即ち、ステップＳ１６からＳ１８の処理は、被写体画像撮影工程に対応する。

次に、ステップＳ１９（遮光画像出力工程）において、ステップＳ１６と同じ撮影条件で撮像素子１０１をシャッター５１により遮光した状態（遮光状態）で撮影（遮光画像撮影）を行う。そして、撮像素子１０１に蓄積された電荷信号（遮光画像信号）を全て読み出す。読み出された電荷信号はＡ／Ｄ変換器１０２でデジタル信号に変換され、ゲイン部１０３へ入力される。ステップＳ２０では、ゲイン部１０３にてＳ１５で設定されたゲインアップ量を乗じる。続くステップＳ２１では、欠陥画素判断部により欠陥画素の座標抽出を行う。ここで欠陥画素と判断された画素の座標情報は欠陥画素情報記憶メモリ１０６に保存される。なお、ステップＳ２１における処理については、詳細を後述する。

続いて、ステップＳ２２において、フレームメモリ１０４に記憶された１フレームの被写体画像信号から最初に撮影した１フレームの遮光画像信号を減算する減算処理を行う。その後、ステップＳ２３において、遮光画像撮影がＳ１５で設定した撮影枚数（フレーム数）に達しているか否かの判別を行う。設定した撮影枚数に達していない場合、ステップＳ２４にてフレームメモリ１０４に減算処理後の１フレームの画像（第１の画像信号）を上書き保存したあと（第２の記憶工程）、ステップＳ１９に戻って再度遮光画像の撮影を行う。

ステップＳ１９からステップＳ２１の処理を繰り返したあと、ステップＳ２２において、フレームメモリ１０４に記憶された減算処理後の１フレームの画像信号（第１の画像信号）から次に撮影した１フレームの遮光画像信号を減算する減算処理を行う。その後、ステップＳ２３において、遮光画像撮影がＳ１５で設定した撮影枚数（フレーム数）に達していない場合、ステップＳ２４にてフレームメモリ１０４に減算処理後の１フレームの画像（第２の画像信号）を上書き保存する（第３の記憶工程）。そして、再びステップＳ１９に戻る。これらステップＳ１９〜Ｓ２４の処理が、遮光画像撮影工程に対応する。

ステップＳ２３にて複数フレームの遮光画像撮影が設定した撮影枚数に達した場合、ステップＳ２５に進む。ステップＳ２５において、このようにして補正された被写体画像信号に、デジタルゲイン回路１０８にてゲインをかけ、ステップＳ２６において、オフセット回路１０９にて予め設定されたオフセット値を加える。その後、ステップＳ２７において、信号処理回路１１０に転送され、汎用の画像信号（例えば、ＪＰＥＧ画像信号）に変換され、ステップＳ２８においてＳＤカードなどの記憶媒体１１１に記録される。なお、ステップＳ２７での信号処理において、ステップＳ２１で抽出された欠陥画素については、欠陥画素補正処理が施される。

次に、ステップＳ１５で行われる、遮光画像撮影回数およびゲインアップ量決定プロセスの詳細について説明する。本実施形態において補正しようと考える固定パターンノイズにはいくつかのタイプが存在する。例えば、撮像素子のフォトダイオードや電荷転送路における暗電流のムラや、駆動回路の要因で生じるサグなどといったいわゆるダークシェーディング、あるいは撮像素子の点欠陥などである。

これらのうち暗電流や点欠陥などは温度と強い相関があることがわかっている。そのため、撮影時の温度によってこれらの固定パターンノイズのレベルは増減することとなり、特に高温時では補正を行わないと画質に著しい劣化を導くこととなる。また逆に、低温の状態では補正の必要を生じないことも多い。同様に暗電流や点欠陥はシャッタースピード（露光時間）にも相関があり、露光時間が長いほど固定パターンノイズが増えることがわかっている。また、回路によるサグも含め、これらの固定パターンノイズはカメラシステムにてゲインアップを行うシステムゲイン量（図示しない）に応じて増えることもわかっている。

ステップＳ１５では、はじめにステップＳ１２での露出条件から感度（システムゲイン）、シャッタースピード（露光時間）の条件を抽出する。この情報と図示しない温度センサにより読み取った温度情報を元にして、補正タイプを設定する。これらは補正テーブルにあらかじめ設定してあるものとし、一例を図３に示す。本例では、補正タイプは１〜４に分かれており、上記情報に基づいて一意に決まる。これらが決定すれば、図４に示す通り、遮光画像の撮影枚数（フレーム数）とゲイン部１０３にて乗じるゲインアップ量（増幅率）も決定（設定）する。

補正タイプ１は、固定パターンノイズが目立たない撮影条件の領域であり、遮光画像撮影を行わず、実質的に固定パターンノイズ補正を施さないことを示している。
補正タイプ２では、遮光画像を４枚撮影する。上に示しているシーケンスのとおり、これらの遮光画像を撮影するたびに被写体画像より減算していくことにより、遮光画像信号におけるランダムノイズ成分をある程度抑えることが可能となる。また、被写体画像信号はあらかじめ４倍のゲインを乗じているため、４度の減算を行った後の画像の信号レベルは適切となっている。

補正タイプ３、４は、補正タイプ２と同様の処理を、枚数を増やして行う。これによりランダムノイズ成分はさらに抑圧され、画質向上が見込まれる。なお、補正タイプ３では被写体画像信号に乗じるゲインは８倍であるが、撮影枚数は６枚となっている。これは、デジタル回路のゲインアップ処理を、１、２、４、８倍といった２の乗数倍に行うほうが処理を簡単に行うことができるという事情によるものである。

翻って撮影枚数のほうは、枚数に比例して撮影時間が増加してしまうため、少しでも枚数を減らしたいという事情があるため、より少ない撮影枚数を設定している。これらを吸収するため、遮光画像信号のほうも所定のゲインアップ量（増幅率）を設定し、補正後の信号レベルが適切となるように設定できるようになっていることも本実施形態の特徴である。なお、被写体画像信号を乗算するため、ゲインアップ量に応じたビット数を確保しておくことは言うまでもない。

上述のように、ステップＳ１５にて遮光画像撮影回数およびゲインアップ量を決定することで、撮影時の環境あるいは撮影条件に対して過不足ない補正を行うとともに、撮影時間を可能な限り短くする、といったバランスを考えた設計が可能となる。

続いて、ステップＳ２１で行われる欠陥画素判断の詳細について説明する。欠陥画素については発生メカニズムとして様々な要因が想定されている。なかでも、通常のカメラで補正困難なものとして、出荷後に宇宙線等の影響により画素欠陥が生じ、以降、常時欠陥となっているキズ（ここでは後キズと呼ぶ）がある。また、欠陥レベルが撮影ごとに変動し、単一画像では欠陥かどうかの判別が困難なキズ（ここでは瞬きキズと呼ぶ）などがある。

ステップＳ２１では、はじめに、欠陥画素判断部にて、遮光画像を欠陥画素とそれ以外に選別する。選別方法としては、すべての画素を閾値と比較し、特定の閾値以上であるか、以下であるかにより判定する。特定の閾値以上であれば、その画素は欠陥画素とみなされ、当該座標を欠陥画素情報記憶メモリ１０６に保存する。このとき、閾値はカメラシステムにてゲインアップを行うシステムゲイン量（図示しない）などによって異なる。欠陥画素情報記憶メモリ１０６に保存された座標の画素は、ステップＳ２７の信号処理時に、たとえば前後左右の画素の平均値で置き換える、といった欠陥画素補正処理が施される。

このステップＳ２１での欠陥画素判断は、遮光画像を撮影するごとに行われる。これによって、上に示した瞬きキズと呼ばれるような常時欠陥とならない欠陥についても検出する可能性を高めることが可能となる。また、複数枚の遮光画像に対して欠陥画素判断を行った結果、すべての画像について欠陥であると検出された場合、可能性として高いのはいわゆる後キズであるため、後キズ画素と判断する。そして、欠陥画素情報記憶メモリ１０６の後キズ座標保存エリアに保存する。このように後キズとして判断／保存された画素については、常時欠陥となっている可能性が極めて高い為、本実施形態の固定パターンノイズ補正処理を行うか否かにかかわらず、補正対象として信号処理される。これにより、いわゆる後キズの検出処理を、ユーザーを煩わせることなく行うことが可能となる。

上記の通り本実施形態によれば、ランダムノイズの劣化をほとんどないまま固定パターンノイズ補正を行うことができると共に、遮光画像積算用にフレームメモリを必要とせず大幅なコストアップを避けた構成とすることが可能となる。また、同時に複数枚の遮光画像に対して欠陥画素の検出を行うため、必ずしも全ての撮影で欠陥とならないような突発性の欠陥画素にも精度高く検出することができる。なお、以上の説明では、遮光画像信号をフレームメモリに保存することなく処理する方法を述べたが、フレームメモリを用意して遮光画像信号を保存する方式をとっても同様の動作が可能となることは言うまでもない。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１撮像素子
１０３ゲイン部
１０４フレームメモリ
１０５欠陥画素判断部
１０６欠陥画素情報記憶メモリ
１０７減算回路
１１０信号処理回路
１２０システム制御回路
１２１駆動回路

Claims

光電変換により画像信号を出力する撮像素子と、
前記画像信号を増幅する増幅手段と、
前記画像信号を保存する記憶手段と、
前記撮像素子から出力される画像信号を前記記憶手段に保存されている画像信号から減算する減算手段と、
露光状態で前記撮像素子を駆動して１フレームの被写体画像信号を出力するように制御するとともに、遮光状態で前記撮像素子を駆動して複数フレームの遮光画像信号を出力するように制御する制御手段と、
前記遮光画像信号の撮影フレーム数を設定するとともに、前記遮光画像信号の撮影フレーム数に応じた前記被写体画像信号の増幅率と前記遮光画像信号の増幅率を前記増幅手段にそれぞれ設定する設定手段と、
を有し、
前記制御手段は、前記増幅手段が前記被写体画像信号を前記設定手段により設定された前記被写体画像信号の増幅率で増幅し、増幅された前記被写体画像信号を前記記憶手段に保存し、前記増幅手段が前記遮光画像信号を前記設定手段により設定された前記遮光画像信号の増幅率で増幅し、前記減算手段が前記記憶手段に保存された前記被写体画像信号から増幅された前記遮光画像信号を減算することで得られる画像信号を前記記憶手段に上書き保存する処理を繰り返すように制御することを特徴とする撮像装置。
前記被写体画像信号の欠陥画素を補正する欠陥画素補正手段を有することを特徴とする請求項１に記載の撮像装置。
前記遮光画像信号から欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素検出手段により検出された欠陥画素の情報を記憶する欠陥画素情報記憶手段を有することを特徴とする請求項２に記載の撮像装置。
前記複数フレームの遮光画像信号のそれぞれについて前記欠陥画素検出手段により前記欠陥画素を検出することを特徴とする請求項３に記載の撮像装置。
光電変換により画像信号を出力する撮像素子と、前記画像信号を増幅する増幅手段と、前記画像信号を記憶する記憶手段と、前記撮像素子から出力される画像信号を前記記憶手段に保存されている画像信号から減算する減算手段とを備えた撮像装置の制御方法であって、
露光状態で前記撮像素子を駆動して１フレームの被写体画像信号を出力する被写体画像出力工程と、
遮光状態で前記撮像素子を駆動して複数フレームの遮光画像信号を出力する遮光画像出力工程と、
前記遮光画像出力工程で出力される前記遮光画像信号の撮影フレーム数を設定するとともに、前記遮光画像信号の撮影フレーム数に応じた前記被写体画像信号の増幅率と前記遮光画像信号の増幅率を前記増幅手段にそれぞれ設定する設定工程と、
前記増幅手段が前記被写体画像信号を前記設定工程により設定された前記被写体画像信号の増幅率で増幅し、増幅された前記被写体画像信号を前記記憶手段に保存し、前記増幅手段が前記遮光画像信号を前記設定工程により設定された前記遮光画像信号の増幅率で増幅し、前記減算手段が前記記憶手段に保存された前記被写体画像信号から増幅された前記遮光画像信号を減算することで得られる画像信号を前記記憶手段に上書き保存する処理を繰り返すように制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。