JPWO2013054403A1

JPWO2013054403A1 - 撮像装置及び撮像装置の制御方法

Info

Publication number: JPWO2013054403A1
Application number: JP2013538361A
Authority: JP
Inventors: 峰雄内田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-10-12
Filing date: 2011-10-12
Publication date: 2015-03-30
Anticipated expiration: 2031-10-12
Also published as: WO2013054403A1; JP5889324B2; US20130093912A1; US8976274B2; TW201316762A

Abstract

多重露出撮影で顕在化する固定パターンノイズを軽減し、高品位な多重露出画像を得ることを可能にした撮像装置を提供すること。
撮像素子を露光して撮像することで複数の露光画像データを取得し、前記複数の露光画像データに画像処理を施し、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成し、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施し、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成し、前記合成ダーク画像データに基づいて前記合成露光画像データを補正することを特徴とする。

Description

本発明は、多重露出撮影が可能な撮像装置及び撮像装置の制御方法に関するものである。

ＣＭＯＳイメージセンサなどの撮像素子を用いた撮像装置においては、撮像素子の読出し回路に起因した固定パターンノイズが発生する。この固定パターンノイズを軽減して高品位な画像を得る方法として、予め記憶されたデータを画像データから減算することで固定パターンノイズを補正する方法が一般的に知られている。例えば、特許文献１では、撮影条件によっては予め記憶された1次元データを用いて、画像の固定パターンノイズを補正する方法を開示している。

特開２００３−３３３４３４号公報

しかしながら、特許文献１では、上述のような撮像素子を用いた撮像装置で複数枚の画像を撮影し、加算して合成画像を生成する多重露出撮影において固有の固定パターンノイズの補正方法などは特に言及がなされていない。

そこで、本発明の目的は、多重露出撮影におけるノイズを軽減し、高品位な多重露出画像を得ることを可能にした撮像装置を提供することである。

上記目的を達成するために、本発明は、被写体像を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、複数の画像データを加算することで合成する合成手段と、を有する撮像装置であって、前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得し、前記画像処理手段が、前記複数の露光画像データに画像処理を施し、前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成し、
前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、
前記画像処理手段が、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施し、
前記合成手段が、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成し、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する制御手段と、を有することを特徴とする。

また、本発明は、被写体像を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、複数の画像データを加算することで合成する合成手段と、を有する撮像装置の制御方法であって、前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得する第１の撮像ステップと、前記画像処理手段が、前記複数の露光画像データに画像処理を施す第１の画像処理ステップと、前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成する第１の合成ステップと、前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得する第２の撮像ステップと、前記画像処理手段が、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施す第２の画像処理ステップと、前記合成手段が、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成する第２の合成ステップと、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正する補正ステップと、を有することを特徴とする。

本発明によれば、多重露出撮影において固定パターンノイズ（縦筋、横筋、キズ、ダークシェーディングなど）を軽減し、高品位な多重露出画像を得ることが可能な撮像装置を提供することができる。

本発明の実施形態における多重露出撮影動作のフローチャート本発明の実施形態における撮像装置の全体構成図第１の実施形態におけるＤＳＰのブロック図本発明の実施形態における撮影動作のフローチャート本発明の実施形態におけるダーク撮影動作のフローチャート第１の実施形態における画像処理のフロー図第１の実施形態における画像処理のフロー図第２の実施形態におけるＤＳＰのブロック図第２の実施形態における画像処理のフロー図第２の実施形態における画像処理のフロー図第３の実施形態における画像処理のフロー図第３の実施形態における画像処理のフロー図第４の実施形態における画像処理のフロー図第４の実施形態における画像処理のフロー図

（第１の実施形態）
本実施形態は、多重露出撮影において、多重露出撮影であることに起因するノイズを低減する処理を行うことを特徴とする。複数枚の画像を加算合成する多重露出撮影を行う場合、固定パターンノイズ（縦筋、横筋、キズ、ダークシェーディングなど）の補正誤差が加算枚数分だけ積み重なって顕在化することが考えられる。例えば特許文献１のような水平方向の1次元データによる補正の誤差が積み重なった場合には、その誤差が水平方向成分のダークシェーディングや縦筋となって画像に現れる。

従って、本実施形態では、多重露出撮影の本撮影で得られる各露光画像とは別に、遮光して撮影することでダーク画像を取得し、ダーク画像に各露光画像と同等の画像処理を施したものを合成して合成ダーク画像を生成する。この合成ダーク画像データを、各露光画像を合成した合成露光画像データから減算することで、ノイズの低減された多重露出画像データを取得する。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、本発明の実施形態にかかわる撮像装置１００の全体構成を示した図である。

撮像レンズ１０１により被写体からの光が結像された被写体像は、撮像素子１０２により撮像され光電変換される。撮像素子１０２は、本実施形態ではベイヤー配列のＣＭＯＳイメージセンサが使用されるが、その他の配列のＣＭＯＳセンサ、またＣＣＤイメージセンサなど、これに限らない。絞り１０３及びメカニカルシャッター１０４は、撮影光路上において撮像レンズ１０１と撮像素子１０２との間に設けられ、撮像素子２へ導かれる光の量を調節する。

撮像素子１０２から出力されるアナログ画像信号はＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）１０５によりデジタル信号に変換される。ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｅｒ）１０６はＡＦＥ１０５から出力されるデジタル画像信号に対する各種画像処理を行う。

記録媒体１０７は画像データを記録する。表示部１０８は撮影した画像や各種メニュー画面などを表示するものであり、液晶ディスプレイ（ＬＣＤ）などが使用される。

ＲＡＭ１０９はＤＳＰ１０６と接続されており、画像データなどを一時記憶する。

ＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）１１０は撮像素子１０２に駆動信号を供給する。シャッター駆動部１１１はメカニカルシャッター１０４を駆動する。絞り駆動部１１２は絞り１０３を駆動する。

ＣＰＵ１１３はＡＦＥ１０５，ＤＳＰ１０６，ＴＧ１１０，シャッター駆動部１１１，絞り駆動部１１２、その他各部の制御を行う。

シャッタースイッチ（ＳＷ）１１４は撮影者の操作により撮影指示をＣＰＵ１１３に伝達する。

図３は、ＤＳＰ１０６の内部のブロック構成を示す図である。ダークシェーディング補正部２０１は、水平方向の１次元データである補正値を画像から減算することにより水平方向のダークシェーディングを補正する。光学シェーディング補正部２０２は、画像上の水平方向或いは垂直方向の位置（座標）に応じたゲイン補正を行うことにより、光学的なシェーディングを補正する。ＷＢ（ホワイトバランス）処理部２０３は、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの画素それぞれにゲインを乗じることでホワイトバランス処理を行う。減算処理部２０４は、後述するように露光画像からダーク画像を減算する処理を行う。

画像合成部２０５は、多重露出撮影における画像合成演算を行う。本実施形態では、設定される枚数分の画像を加算して合成することで多重露出撮影画像を生成するものとする。メモリ制御部２０６は、画像データや各補正ブロックで使用する補正値をＲＡＭ１０９に対し読み書きする制御を行う。現像処理部２０７は、画像データに対し色マトリクス処理やガンマ処理などの現像処理を行う。記録部２０８は、現像処理後の画像データを記録媒体１０７へ書き込む処理を行う。

また、ゲイン処理部２０９は、画像データに対して任意のゲインを掛けることができる。

図１は多重露出撮影における一連のカメラ動作を示すフローチャートである。
まず、ステップＳ３０１で撮影者の操作により多重露出撮影での多重枚数を含めたＷＢ、ＡＥ、ＩＳＯ感度等の各種の撮影条件が設定される。多重枚数は、シーン判別やモードによって自動的に多重枚数が設定されても良い。ここで設定された多重枚数をＮとする。続くステップＳ３０２では、多重露出撮影の撮影枚数を管理する変数ｉの値をクリアし、‘１’にする。次に、ステップＳ３０３では撮影者の撮影指示動作によってシャッタースイッチ１１４（ＳＷ）がＯＮされるのを待つ。シャッタースイッチ１１４（ＳＷ）がＯＮされると、ステップＳ３０４で撮影動作が行われ、１枚の画像が撮影される。撮影動作の詳細については後述する。その後、ステップＳ３０５では撮影動作が多重露出撮影の最後（Ｎ枚目）の撮影であったかの判定が行われる。変数ｉがＮ未満であった場合には撮影がＮ枚目に達していないので、ステップＳ３０６で変数ｉの値をカウントアップした後にステップＳ３０３に戻って次の撮影指示を待つ（ステップＳ３０４〜３０６：第１の撮像ステップ）。ステップＳ３０５でＮ枚目の撮影であった場合にはステップＳ３０７に進み、画像合成部２０５によって撮影したＮ枚の画像を加算する画像合成処理が行われる（第１の合成ステップ）。

画像合成処理終了後、ステップＳ３０８では、ダーク撮影に備えて変数ｉを再度クリアし‘１’にする。続いて、ステップＳ３０９でダーク撮影を行う。ダーク撮影の詳細については後述するが、本実施形態では、ダーク撮影の規定枚数は露光画像の撮影と同じＮ枚である。ステップＳ３１０では変数ｉの値を判定し、多重露出撮影枚数Ｎ未満であればステップＳ３１１で変数ｉをカウントアップしてステップＳ３０９に戻り、ダーク画像がＮ枚撮影されるまで繰り返す。（ステップＳ３０９〜３１１：第２の撮像ステップ）
ダーク撮影がＮ枚分繰り返されると、ステップＳ３１２にてＮ枚のダーク画像を使用してダーク補正値が生成される。ダーク補正値生成の詳細については後述する。ステップＳ３１３では、減算処理部２０４にてステップＳ３０７で生成された画像からステップＳ３１２で生成されたダーク補正値を減算することによってオフセット補正が行われる。この補正により、固定パターンノイズが軽減される。

減算処理後の画像データは、ステップＳ３１４において現像処理部２０７で色マトリクス処理、ガンマ処理などの現像処理が行われた後に、ステップＳ３１５で記録部２０８によって記録媒体１０７に格納され、多重露出撮影動作が終了する。

次に図４に示すフローチャートを用いて、ステップＳ３０４の撮影動作の詳細について説明する。

撮影動作が開始されると、ステップＳ４０１にて絞り駆動が行われる。絞り駆動ではＣＰＵ１１３が絞り駆動回路１１２を介して絞り１０３を駆動する。次に、ステップＳ４０２では撮像素子１０２の電荷がクリアされる。この動作は、ＣＰＵ１１３からの指示によりＴＧ１１０が撮像素子１０２を駆動することによって行われる。撮像素子１０２は電荷がクリアされると電荷蓄積状態に入る（ステップＳ４０３）。

撮像素子１０２が電荷蓄積に入った状態で、ステップＳ４０４で、ＣＰＵ１１３はシャッター駆動回路１１１を介してメカニカルシャッター１０４を開状態とし、撮像素子１０２の露光を開始する。ＣＰＵ１１３は、ステップＳ４０５で所定時間が経過するのを待った後、シャッター駆動回路１１１を介してメカニカルシャッター１０４を閉状態として撮像素子１０２の露光を終了する。

その後、ステップＳ４０７でＴＧ１１０を駆動することで撮像素子１０２から撮像信号を読み出す。ステップＳ４０８では、読み出された撮像信号に対し、ダークシェーディング補正部２０１でのダークシェーディング補正が行われる。予めダーク画像を射影演算して得られる水平方向の１次元データを減算することで水平方向のダークシェーディングを補正するものとする。続いてステップＳ４０９では、光学シェーディング補正部２０２において各画素の信号に対して座標位置に応じたゲイン補正が行われ、光学シェーディングが補正される。この時、補正パラメータは補正対象画像撮影時の撮影条件に応じた値を使用する。ここでの撮影条件とは、レンズズーム位置／撮影レンズ種別／絞り／シャッタースピード／ＩＳＯ感度／温度などを指す。

次にステップＳ４１０では、光学シェーディング補正後の画像データに対し、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの画素毎にゲインを乗じるＷＢ処理が行われる。ここでの各ゲイン量は対象画像の画像データから算出した値、或いは予め設定された値を用いる（ステップＳ４０９〜４１０：第１の画像処理ステップ）。

ＷＢ処理後の画像データは、ステップＳ４１1にてメモリ制御部２０６を介してＲＡＭ１０９に格納される。更に、ステップＳ４１２においては、やはりメモリ制御部２０６を介して上述の撮影条件やＷＢデータ（ゲイン量）がＲＡＭ１０９に格納され、撮影動作は終了する。

続いて、図５に示すフローチャートを用いて、ダーク撮影動作の詳細について説明する。ダーク撮影においては、メカニカルシャッター１０４は駆動せず、撮像素子１０２を遮光した状態で撮影を行う。

まずステップＳ５０１で、前述のステップＳ４０２と同様に撮像素子１０２に電荷がクリアされ、撮像素子１０２は電荷蓄積状態に入る（ステップＳ５０２）。

次に、所定の蓄積時間が経過するまで待った後（ステップＳ５０３）、ステップＳ５０４で撮像素子１０２の撮像信号が読み出される。読み出された撮像信号には、ステップＳ４０８と同様にダークシェーディング補正が行われる。補正後の画像データはステップＳ５０６にてＲＡＭ１０９に格納され、ダーク撮影動作は終了する。

ダーク撮影を本撮影の露光画像と同じ枚数のダーク画像が得られるように所定回数（Ｎ回）行った後には、ステップＳ３１２でダーク補正値生成が行われる。このダーク補正値生成の詳細について、図６Ａのフローチャートを用いて説明する。

ステップＳ６０１では、処理するダーク画像をカウントするために変数ｉをクリアし、‘１’にする。

ステップＳ６０２では、ステップＳ３０４で撮影されたｉ枚目の露光画像の撮影条件やＷＢデータをＲＡＭ１０９から取得する。これらのデータは、ステップＳ４１２でＲＡＭ１０９に格納されている。ステップＳ６０３では、ステップＳ３０４で撮影されたｉ枚目の露光画像データをメモリ処理部２０６を介してＲＡＭ１０９から取得する。ステップＳ６０４では、取得したｉ枚目のダーク画像に対して光学シェーディング補正処理を実施するが、この際の補正パラメータはステップＳ６０２で読み出された撮影条件に基づくパラメータを使用する。本実施形態では、ステップＳ３０４でのｉ枚目の撮影画像と同じ補正パラメータを使用するが、これに限らず適宜変更を施しても良い。しかし、ステップＳ３０４でのｉ枚目の撮影画像に対しての補正パラメータに近い補正パラメータであることが好ましい。光学シェーディング補正処理終了後、ステップＳ６０５ではＷＢ処理が行われる（ステップＳ６０２〜６０５：第２の画像処理ステップ）。この場合も、ベイヤー配列の各画素に乗じるゲイン量（ＷＢデータ）はステップＳ６０２で読みだされた撮影条件に基づくゲイン量を使用する。本実施形態では、ステップＳ３０４のｉ枚目の撮影画像と同一のゲインとなるゲインにするが、これに限らず適宜変更を施しても良い。ステップＳ６０６では、変数ｉの値を判定し、多重撮影枚数であるＮに達していなければ、ステップＳ６０７でカウントアップした後に、ステップＳ６０２へ戻り、次のダーク画像に対して同様の処理を行う。これにより、ステップＳ３０４で撮影されたＮ枚の露光画像のそれぞれと同一のパラメータで補正・ＷＢ処理されたＮ枚のダーク画像が生成される。

ステップＳ６０８では、画像合成部２０５にてＮ枚のダーク画像を加算する合成処理がなされ、合成ダーク画像データが生成される。

図６Ｂに、本実施形態における一連の画像に対する処理を示す。太枠で示したのが画像データである。例として、多重撮影枚数Ｎ＝３として示している。露光画像１〜３、ダーク画像１〜３はそれぞれダークシェーディング補正処理はなされた後のものとして示している。図６Ｂ中の光学シェーディング補正処理はいずれも光学シェーディング補正部２０２、ＷＢ補正処理はいずれもＷＢ処理部２０３にて行われる。また、減算処理は減算処理部２０４にて行われる。

以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成する。それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像データから減算する。

これらの一連の処理により、多重露出撮影の画像合成によって劣化する固定パターンノイズ（縦筋、横筋、キズ、シェーディングなど）を補正によって軽減し、高品位な多重露出画像を得ることが可能となる。

ダーク撮影は多重撮影枚数Ｎと同枚数でよいため、Ｎが小さい場合にはダーク撮影に要する時間も短くて済み、撮影者の操作性を著しく妨げずに済む。また、演算処理時間や演算の際のメモリ（ＲＡＭ１０９）の使用量についても、露光画像の合成処理と同程度の時間及びメモリ使用量をダーク画像の合成に要するのみで済む。

尚、過補正を防ぐため、ダーク補正値に補正係数ｋ（ｋは１以下）を掛けた後に合成露光画像からの減算処理を行うようにしても構わない。実施する場合には、ステップＳ６０８の画像合成処理後に、ゲイン処理部２０９で補正係数ｋを乗じるように構成すればよい。

さらに、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。

逆に、ダーク撮影における蓄積時間を露光画像と同一にしてもよい。その場合には、撮像素子１０２の暗電流に起因するノイズも含めて補正して軽減することが可能となる。

また、ダーク画像の合成は、露光画像の合成と同じ枚数（Ｎ）の画像を合成するとして説明したが、合成枚数は露光画像とダーク画像で異なるようにしても構わない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の合成処理から省くことができる。

（第２の実施形態）
第１の実施形態では、画素毎のランダムノイズ（時間的にノイズ信号レベルがランダムなノイズ）の影響により、補正後の多重露出画像のＳ／Ｎが劣化してしまう可能性がある。そこで、第２の実施形態では、取得するダーク画像に対して射影演算処理を行うことでランダムノイズの影響を軽減しＳ／Ｎの劣化を防ぐことを特徴とする。

第２の実施形態は、ＤＳＰ１０６の内部ブロック及びダーク補正値生成処理が第１の実施形態と異なる。図７は、本実施形態にかかわるＤＳＰ１０６の内部のブロック構成を示す図である。射影演算部２１０は、行列状の画素信号が並んだ画像データを列毎に垂直方向に平均処理して、１ライン分の射影データを作成する。

図８Ａは、本実施形態におけるステップＳ３１２のダーク補正値生成の詳細を示したフローチャートである。ステップＳ６０８で生成された合成ダーク画像データに対し射影演算部２１０で射影演算処理を行い、一度水平１ライン分の射影データとする（ステップＳ６２０）。次にステップＳ６２1で１次元データを画像のライン数分だけコピーすることで２次元データに展開しダーク補正値の生成を終了する。図８Ｂに本実施形態における画像に対する一連の処理を図示する。

本実施形態では、ステップＳ６２０の射影演算処理において列毎の平均値を算出するため、ランダムノイズの影響を軽減することができ、多重露出撮影画像のＳ／Ｎ劣化を抑制することが可能である。

以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算した画像を射影演算した基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。これにより、多重露出撮影時における縦筋や水平方向のダークシェーディングの劣化を軽減することができる。但し、第１の実施形態とは異なり、キズや横筋など垂直方向に変化のあるノイズ成分については軽減できない。

尚、ここではステップＳ６２０の射影演算処理を垂直方向の射影としたが、勿論、水平方向の射影としても構わない。この場合には、軽減できるノイズ成分は横筋や垂直方向のダークシェーディングとなる。

また、本実施形態においても、過補正を防ぐため、ダーク補正値に補正係数ｋ（ｋは１以下）を掛けた後に合成露光画像からの減算処理を行うようにしても構わない。実施する場合には、ステップＳ６０８の画像合成処理後に、ゲイン処理部２０９で補正係数ｋを乗じるように構成すればよい。

また、本実施形態では、ステップＳ６２０の射影演算処理を加算した合成後の合成ダーク画像データに対して適用している。しかしこれに限らず、ステップＳ６０５のＷＢ処理後の各ダーク画像データに対して行っても良いし、ステップＳ６０４の光学シェーディング補正処理を行う前の各ダーク画像データであってもよい。これらの場合、ステップＳ６０８の画像合成処理では、１次元データ（１次元の画像データ）となったダーク画像データが１画面のライン数分並んで１画面分のダーク画像データとなるように合成が行われる。これらの方法は、撮影枚数の分だけ射影演算処理が必要になるため演算負荷は大きくなる。しかし、特に光学シェーディング補正処理を行う前に射影演算処理を行うと、射影演算処理によって光学シェーディング補正処理の垂直な補正成分が損なわれることがないので、露光画像にかかる画像処理と等価な画像処理を掛けたダーク画像が生成できる。

例えば、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。

また、ダーク撮影枚数及び合成枚数は、露光画像の合成と同じ枚数（Ｎ）として説明したが、必ずしも同じである必要はない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の撮影や合成処理から省くことができる。

（第３の実施形態）
第１の実施形態では、画素毎のランダムノイズ（時間的にノイズ信号レベルがランダムなノイズ）の影響により、補正後の多重露出画像のＳ／Ｎが劣化してしまう可能性がある。そこで、第３の実施形態では、本撮影の露光画像の撮影枚数（Ｎ枚）とは独立してＭ枚のダーク画像を取得し、それらを加算合成してダーク基準画像を生成することでランダムノイズの影響を軽減しＳ／Ｎの劣化を防ぐことを特徴とする。

撮像装置全体の構成、ＤＳＰ１０６の内部は図２、図３に示す第１の実施形態と同様のものとする。第３の実施形態では、図１に示した一連のカメラ動作において、ステップＳ３１０の規定枚数を本撮影の露光画像の撮影枚数（Ｎ枚）とは独立したＭ枚と規定する。

また、ステップＳ３１２のダーク補正値生成処理が第１の実施形態と異なり、そのフローチャートを図９Ａに示す。

まず、ステップＳ６０１ではダーク撮影で撮影されたＭ枚の画像を画像合成部２０５において加算処理してダーク基準画像を生成する。ステップＳ６０２では、ステップＳ６０１で生成したダーク基準画像に対する処理回数をカウントするために変数ｉをクリアし、‘１’にする。

ステップＳ６０３では、ステップＳ３０４で撮影されたｉ枚目の画像の撮影条件やＷＢデータをＲＡＭ１０９から取得する。これらのデータは、ステップＳ４１２でＲＡＭ１０９に格納されている。ステップＳ６０４では、ダーク基準画像に対して光学シェーディング補正処理を実施するが、この際の補正パラメータはステップＳ６０３で読み出された撮影条件に応じたものを使用する。即ち、ステップＳ３０４でのｉ枚目の撮影画像と同じ補正パラメータを使用する。光学シェーディング補正処理終了後、ステップＳ６０５ではＷＢ処理が行われる。この場合も、ベイヤー配列の各画素に乗じるゲイン量（ＷＢデータ）はステップＳ６０３で取得したものを用い、ステップＳ３０４のｉ枚目の撮影画像と同一のゲインとなるようにする。ステップＳ６０６では、変数ｉの値を判定し、多重撮影枚数であるＮに達していなければ、ステップＳ６０７でカウントアップした後に、ステップＳ６０３へ戻り、再びステップＳ６０１で生成したダーク基準画像に対して同様の処理を繰り返す。これにより、ステップＳ３０４で撮影されたＮ枚の露光画像のそれぞれと同一のパラメータで補正・ＷＢ処理されたＮ枚のダーク画像が生成される。

ステップＳ６０８では、画像合成部２０５にてＮ枚のダーク画像を加算し合成処理が為される。続くステップＳ６０９では、合成処理後の画像データに対してゲイン処理部２０９にて１／Ｍを乗じ、ダーク補正値を生成する。

ここで、Ｍ枚加算したダーク基準画像データに対してステップＳ６０３〜Ｓ６０８の処理を行い、その後にＭで割り戻すことにより、実質的にＳ６０３〜Ｓ６０８の演算精度を高めることができ、多重露出撮影画像の補正精度を高めることができる。

図９Ｂに、本実施形態における一連の画像に対する処理を示す。太枠で示したのが画像データである。例として、多重撮影枚数Ｎ＝３、ダーク撮影枚数Ｍ＝４として示した。露光画像１〜３、ダーク画像１〜４はそれぞれダークシェーディング補正処理はなされた後のものとして示している。光学シェーディング補正処理はいずれも光学シェーディング補正部２０２、ＷＢ補正処理はいずれもＷＢ処理部２０３にて行われる。また、減算処理は減算処理部２０４にて行われる。

以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算して基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像データから減算する。
これにより、多重露出撮影の画像合成によって劣化する固定パターンノイズ（縦筋、横筋、キズ、シェーディングなど）を補正によって軽減し、高品位な多重露出画像を得ることが可能となる。

本実施形態ではＭ枚のダーク画像を加算した後に光学シェーディング補正やＷＢ処理のような画像補正を行い、その後にＭで割り戻すことで、ランダムノイズの影響を軽減することができ、また補正データの演算についても精度よく行うことが可能である。ダーク撮影枚数Ｍは多いほど、ランダムノイズの影響の軽減効果も大きく、補正データ演算精度も高くなる。

また、ダーク加算枚数である‘Ｍ’は多いほどランダムノイズ低減効果や演算精度向上の効果が得られるため望ましいが、Ｍ＝１として実施することも可能である。Ｍが少ない場合には、ダーク撮影に要する時間が少なく済むため、撮影者の待ち時間を短縮し操作性を向上することができる。

（第４の実施形態）
第３の実施形態では、ダーク撮影枚数Ｍが少ないと画素毎のランダムノイズの影響が排除しきれないため、補正後の多重露出画像のＳ／Ｎの向上が満足にできない可能性がある。そこで、第４の実施形態では、第３の実施形態での処理に加えて、取得するダーク基準画像に対して射影演算処理を行うことでランダムノイズの影響を軽減しＳ／Ｎの劣化を防ぐことを特徴とする。

撮像装置全体の構成は、図２に示す第１の実施形態と同様のものであり、ＤＳＰ１０６の内部は図７に示す第２の実施形態と同様のものとする。第４の実施形態でも、図１に示した一連のカメラ動作において、ステップＳ３１０の規定枚数を本撮影の露光画像の撮影枚数（Ｎ枚）とは独立したＭ枚と規定する。

また、ステップＳ３１２のダーク補正値生成処理が第１の実施形態と異なり、そのフローチャートを図１０Ａに示す。

ステップＳ６０１で生成されたダーク加算画像に対し射影演算部２１０で射影演算処理を行い、一度水平１ライン分の射影データ（１次元データ）とする（ステップＳ６２０）。そしてステップＳ６０２以降の処理を順次行う。１次元データを光学シェーディング補正部２０２に順次入力されると露光画像に掛かるライン毎に決められた補正ゲインが順次入力されるライン毎に掛けられる。ＷＢ処理部２０３における補正処理も同様に行われる。こうして１画面分の処理後のダーク画像データが生成されると、次に入力される１次元データは次の露光画像の１ライン目のパラメータに基づく補正処理が掛けられ、前の１ライン目の処理後のダーク画像データと加算される。これを繰り返して、多重枚数分の画像処理の施されたダーク画像データが合成された合成ダーク画像データが生成される。また、本実施形態はこれにかぎらず、一旦１次元データをライン数分コピーしてメモリ上で２次元の画像データにしてから光学シェーディング補正処理を行ってもよい。

図１０Ｂに本実施形態における画像に対する一連の処理を図示する。

以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算した画像を射影演算した基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。

これにより、多重露出撮影時における縦筋や水平方向のシェーディングの劣化を軽減することができる。但し、第３の実施形態とは異なり、キズや横筋など垂直方向に変化のあるノイズ成分については軽減できない。しかしながら、ダーク加算画像に射影演算を施すことによりダーク撮影枚数Ｍが少なくてもランダムノイズの影響を軽減し、補正後の画像のＳ／Ｎ劣化を防ぐことができる。尚且つ、射影データを２次元展開した像に対して光学シェーディング補正処理を実施することで、位置（座標）に応じて異なる補正が掛かる場合にも、精度よく固定パターンノイズの補正を行うことが可能となる。

尚、ここではステップＳ６２０の射影演算処理を垂直方向の射影としたが、勿論、水平方向の射影としても構わない。この場合には、軽減できるノイズ成分は横筋や垂直方向のシェーディングとなる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、ダーク加算枚数である‘Ｍ’は多いほどランダムノイズ低減効果や演算精度向上の効果が得られるため望ましいが、Ｍ＝１として実施することも可能である。Ｍが少ない場合には、ダーク撮影に要する時間が少なく済むため、撮影者の待ち時間を短縮し操作性を向上することができる。

更に、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。

（第５の実施形態）
第１の実施形態は水平方向、垂直方向いずれの固定パターンノイズも補正できるが、ランダムノイズの影響が大きい。第４の実施形態は、ダーク画像のＭ枚加算及び射影演算によってランダムノイズを補正できるものの、水平方向あるいは垂直方向の固定パターンノイズの補正を諦めなければならない。

そこで第５の実施形態では、多重露出撮影における撮影の設定に応じてダーク画像によるダーク補正値の生成処理を上記の２つの処理から選択することを特徴とする。

撮像装置全体の構成は、図２に示す第１の実施形態と同様のものであり、ＤＳＰ１０６の内部は図７に示す第２の実施形態と同様のものとする。すなわち、第１の実施形態と第４の実施形態におけるステップＳ３１２のダーク補正値生成処理のいずれも実現可能な構成となっている。

ダーク補正値の生成処理の選択に用いる具体的な撮影条件としては、多重枚数、ＩＳＯ感度、撮像素子１０２の温度などが挙げられる。例えば、多重枚数が所定枚数まではランダムノイズの補正に強い第１の実施形態におけるダーク補正値生成処理（処理Ａ）を選択する。一方、所定枚数を超えると垂直、水平方向の固定パターンノイズを補正可能な第４の実施形態におけるダーク補正値生成処理（処理Ｂ）を選択する。また、ＩＳＯ感度が所定値までは処理Ａを選択し、所定値を超えるＩＳＯ１６００からは処理Ｂを選択する。あるいは撮像素子１０２の温度が所定温度を超えるまでは処理Ａを選択し、所定温度を超えると処理Ｂを選択する。さらに、これらを組み合わせて処理の決定を行うことも可能である。例えば多重枚数、ＩＳＯ感度及び撮像素子の温度の３次元マトリックス上で処理Ａ、Ｂを決めるテーブルを作成し、処理の決定に用いても良い。なお、撮像素子１０２の温度は、不図示の温度計によって撮像素子近傍の気温を計測することで推定するなどすればよい。

ダーク補正値処理の選択はステップＳ３０１の撮影条件の設定時に行われる。すなわち、撮影条件として前述した多重枚数、ＩＳＯ感度、撮像素子１０２の温度などが設定されると設定される撮影条件に従って上記の判定が行われ、処理Ａ、Ｂいずれかが決定する。処理Ａ、Ｂのいずれかが決定すると、ダーク画像撮影の規定枚数及びダーク補正値処理が一意に決定される。

以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算した画像を射影演算した基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。あるいは、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、各ダーク画像から各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。上記２つの処理を撮影条件に応じて選択的に実行することで、各撮影条件に適したノイズ補正を行うことを可能としている。

また、過補正を防ぐため、ダーク補正値に補正係数ｋ（ｋは１以下）を掛けた後に合成露光画像からの減算処理を行うようにしても構わない。実施する場合には、ゲイン処理部２０９で乗じるゲインをｋ／Ｍとすればよい。

また、本実施形態では、ダーク補正値生成処理の切り替え対象の処理Ａ、Ｂとして第１の実施形態及び第４の実施形態の処理を挙げたが、本発明はこれに限らない。第１及び第２の実施形態に開示したダーク補正値生成処理は水平方向、垂直方向いずれの固定パターンノイズも補正できるが、ランダムノイズの影響が大きい。第３及び第４の実施形態に開示したダーク補正値生成処理は、ダーク画像のＭ枚加算によってランダムノイズを補正できるものの、水平方向あるいは垂直方向の固定パターンノイズの補正を諦めなければならない。すなわち上記の処理Ａとして第１または第２の実施形態に開示のダーク補正値生成処理を用いて、処理Ｂとして第３または第４の実施形態に開示のダーク補正値生成処理を用いるようにしても良い。
また、上記の各実施形態では、ダーク画像データを露光画像データの撮影時に撮影によって得ている。しかし、ダーク画像データの取得方法はこれに限らず、工場出荷時に予めメモリに記憶されたダーク画像データを取得しても良い。このダーク画像データは工場出荷時に予め撮影されたものであっても良いし、各種条件から算出されたものであっても良い。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

１００撮像装置
１０２撮像素子
１０４ＤＳＰ
１０９ＲＡＭ
１１３ＣＰＵ
２０１ダークシェーディング補正部
２０２光学シェーディング補正部
２０３ＷＢ処理部
２０４減算処理部
２０５画像合成部
２０６メモリ制御部
２０９ゲイン処理部
２１０射影演算部

Claims

被写体像を撮像し、画像データを出力する撮像手段と、
前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、
複数の画像データを合成する合成手段と、を有する撮像装置であって、
前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得し、
前記画像処理手段が、前記複数の露光画像データに画像処理を施し、
前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成し、
前記撮像手段が、前記撮像素子を遮光して撮像することでダーク画像データを取得し、
前記画像処理手段が、前記ダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理のパラメータに基づくパラメータを使用する画像処理を施して複数の処理後ダーク画像データを出力し、
前記合成手段が、前記画像処理手段から出力される前記複数の処理後ダーク画像データを合成して合成ダーク画像データを生成し、
補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する制御手段と、を有することを特徴とする撮像装置。
前記合成手段は、複数の画像データを加算することで合成することを特徴とする請求項１に記載の撮像装置。
前記画像処理手段の施す画像処理は、光学シェーディング補正処理を含むことを特徴とする請求項１または２に記載の撮像装置。
前記画像処理手段の施す画像処理は、ホワイトバランス補正処理を含むことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
前記補正手段は、前記合成ダーク画像データを前記合成露光画像データから減算することを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
前記補正手段は、画像データの垂直方向或いは水平方向に平均して射影データを得る射影演算手段を有し、
前記射影演算手段によって前記合成ダーク画像データを１次元データに変換し、該１次元データを１画面分コピーして１画面分の画像データに展開した画像データを前記合成露光画像データから減算することを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
前記画像処理手段は、撮影レンズ種別、レンズズーム位置、絞り、シャッタースピード、ＩＳＯ感度設定、温度の少なくとも１つを含む撮影条件によってパラメータを決定し、該パラメータで前記画像処理を行うことを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
前記制御手段は、
前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、前記画像処理手段が、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施し、前記合成手段が、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成し、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する第１の補正処理に加えて、
前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、前記合成手段が、前記複数のダーク画像データを用いて１つのダーク基準画像データを生成し、前記画像処理手段が、前記１つのダーク基準画像データに、前記複数の露光画像データそれぞれに施す画像処理のパラメータに基づくパラメータを使用する画像処理を施して前記複数の露光画像データに対応する複数の処理後ダーク画像データを出力し、前記合成手段が、前記画像処理手段から出力される前記複数の処理後ダーク画像データを合成して合成ダーク画像データを生成し、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する第２の補正処理を実行可能であり、
設定される撮影条件に応じて前記第１の補正処理及び前記第２の補正処理のいずれか１つを選択的に実行することを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
前記設定される撮影条件は、前記露光画像データを撮影する枚数、ＩＳＯ感度及び前記撮像素子の温度の少なくとも１つを含むことを特徴とする請求項８に記載の撮像装置。
被写体像を撮像し、画像データを出力する撮像手段と、
前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、
複数の画像データを合成する合成手段と、を有する撮像装置の制御方法であって、
前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得する第１の撮像ステップと、
前記画像処理手段が、前記複数の露光画像データに画像処理を施す第１の画像処理ステップと、
前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成する第１の合成ステップと、
前記撮像手段が、前記撮像素子を遮光して撮像することでダーク画像データを取得する第２の撮像ステップと、
前記画像処理手段が、前記ダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理のパラメータに基づくパラメータを使用する画像処理をそれぞれ施して複数の処理後ダーク画像データを出力する第２の画像処理ステップと、
前記合成手段が、前記画像処理手段から出力される前記複数の処理後ダーク画像データを合成して合成ダーク画像データを生成する第２の合成ステップと、
補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正する補正ステップと、を有することを特徴とする撮像装置の制御方法。
請求項１０に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
コンピュータに、請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。