JP6227084B2

JP6227084B2 - 画像処理装置、撮像装置及び画像処理方法

Info

Publication number: JP6227084B2
Application number: JP2016197282A
Authority: JP
Inventors: 明光吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-07-11
Filing date: 2016-10-05
Publication date: 2017-11-08
Anticipated expiration: 2032-06-25
Also published as: US9838625B2; CN102883108A; US20170034461A1; TW201304530A; EP2547091B1; TWI520606B; CN102883108B; JP2016226059A; EP2547091A2; EP2547091A3; JP2013038770A; JP6021465B2; US9491381B2; US20130016252A1

Description

本発明は、多重露光撮影が可能な画像処理装置及び画像処理装置の制御方法に関するものである。

従来、単純な加算だけでなく多様な処理を行う多重露光撮影装置が提案されている。例えば、特許文献１では多重露光撮影枚数に応じたゲインをかけることで加算平均処理を実現するデジタルカメラが開示されている。特許文献２では、演算回路を切り替えることで、加算平均処理だけでなく、合成する２枚の画像の画素の輝度値を比較して合成する多重露光撮影装置が開示されている。

特開２００３−６９８８８号公報特開平１１−２２５３０８号公報

しかしながら、上述の特許文献に開示された技術では、特許文献２に開示されているような輝度値を比較して合成する多重露光撮影モードに対して処理を最適化することはしていない。そこで、本発明の目的は、画素の値を比較して合成を行う多重露光撮影モードに対して適した処理を行う画像処理装置及び画像処理装置の制御方法を提供することである。

上記目的を達成するために、本発明における画像処理装置は、被写体像を撮像して得られた画像信号の黒レベルを補正する第１の補正手段と、前記第１の補正手段によって補正された複数の画像信号について、画像内の位置が対応する信号値を比較し、画像合成に使用する画像信号を所定の規則に従って選んで合成画像信号を生成する合成手段と、前記合成手段によって生成された合成画像信号の黒レベルを補正する第２の補正手段と、を有し、前記合成手段は、前記第１の補正手段によって補正された複数の画像信号を、画像内の位置が対応する信号値で加算あるいは加算平均して合成画像信号を生成可能であり、この場合は当該合成画像信号に前記第２の補正手段による補正を行わないことを特徴とする。

本発明によれば、画素の値を比較して合成を行う多重露光撮影モードに対して適した処理を行うことができる。

第１の実施形態における撮像装置のブロック図第１の実施形態における多重露光撮影のフロー撮像素子の内部の画素配列を模式的に示した構成図各多重露光撮影モードにおけるランダムノイズ量を模式的に表した図合成前のＲＡＷデータに対する処理フロー第２の実施形態における多重露光撮影のフロー第２の実施形態における合成後のＯＢクランプの条件を表した図ＲＡＷデータの合成フローにおけるブロック図

（第１の実施形態）
図１（ａ）に、第１の実施形態における画像処理装置の一例としての撮像装置１０の構成を示す。

不図示のシャッタースイッチＳＷ２が押下されると、撮影レンズ１００に入射した光線は、絞り１０１を通過し、撮像素子１０２に被写体像を結像する。撮像素子１０２はこの被写体像の光学像を電気信号に変換して画像信号とする。撮像素子１０２は、図１（ｂ）に示すようにＲ、Ｇ１、Ｇ２、Ｂの画素が規則的に配置されたベイヤー配列の構成となっている。撮像素子１０２からのアナログ信号出力はＡ／Ｄ変換部１０３によってデジタル信号（以下、ＲＡＷデータ）に変換され、メモリ１０６に一度保存される。図３は撮像素子１０２の内部の画素配列を模式的に示した構成図である。図３に示すように、撮像素子１０２は、光電変換素子であるフォトダイオードに光が照射される有効画素領域２００と、所定領域のフォトダイオードがアルミ薄膜等により遮光されたオプティカルブラック領域（以下、ＯＢ領域）２０１を備える。ＯＢ積分部１０４はＯＢ領域２０１の画素値をベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに積分し、ＯＢの平均値をそれぞれ出力する。ＯＢ積分部１０４の出力値をダークレベル（黒レベル）として、ＯＢクランプ部１０５でＯＢクランプを行う。このＯＢクランプ処理によって撮像素子１０２に生じる暗電流等に起因する黒浮きや色ずれ等の問題の発生を防ぐことができる。

メモリ１０６は、ＲＡＷデータや信号処理部１１０によって処理された画像データなどを保存する。シェーディング補正部１０７は、Ａ／Ｄ変換部１０３からのデジタル画像信号であるＲＡＷデータに対して撮影レンズ１００の特性や撮像素子１０２の収差等の特性に起因して生じるシェーディングを補正するように、画面内の輝度レベルの補正を行う。ＷＢ（ホワイトバランス）処理部１０８は、画面内の白基準を白に合わせるホワイトバランス処理をシェーディング補正部１０７からの出力の画像データに対して行う。本実施形態においては、シェーディング補正は撮像素子１０２内の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに異なるゲインをかける処理である。

合成部１０９は、多重露光撮影モードに応じて各種演算を行う。本実施形態では、加算モード、平均加算モード、比較明モード、比較暗モードの４つの多重露光撮影モードに応じた各種演算を合成部１０９で行う。合成部１０９での処理については、後述する実施例で示す。信号処理部１１０では、ＲＡＷデータや合成部１０９により合成されたＲＡＷデータに対して色マトリクス処理やガンマ処理等の現像処理を行う。１１１は記録部であり、ＲＡＷデータや合成部１０９により合成されたＲＡＷデータ、信号処理部１１０により現像処理された画像データ等を記録する。１１２は制御部であり、撮像装置１０の全般的な制御を行う。

図２は本実施形態における多重露光撮影のフローを説明するものであり、上述した本実施形態における多重露光撮影モード（加算モード、加算平均モード、比較明モード、比較暗モード）に共通するフローである。

ステップＳ１００において使用者の操作によって多重露光撮影が開始され、多重枚数Ｎが設定される（ステップＳ１０１）。ステップＳ１０２において、制御部１１２で撮影枚数を制御するための変数ｉを初期化する。使用者がシャッタースイッチＳＷ２を押下すると（ステップＳ１０３）、ステップＳ１０４において撮影されたＲＡＷデータに対して処理がなされる。撮影されたＲＡＷデータ１枚毎の処理について、図５を用いて説明する。ＲＡＷデータ１枚毎の処理が開始されると（ステップＳ２００）、ステップＳ２０１においてＯＢ積分部１０４で撮影されたＲＡＷデータのダークレベルを算出する（黒レベル算出）。算出されたダークレベルを基にＯＢクランプ部１０５にて有効画素領域の画素毎に、画素値からＲ、Ｇ１、Ｇ２、Ｂのうち対応する色のダークレベルを減算するＯＢクランプを実行する（ステップＳ２０２：第１の補正）。ステップＳ２０３において、画面内の輝度シェーディングや色シェーディングをシェーディング補正部１０７にて補正する。さらにステップＳ２０４において、ＷＢ処理部１０８にて、各色成分の信号レベルを調整するためのＷＢ（ホワイトバランス）処理を行う。ＲＡＷデータ１枚毎の処理を終了すると（ステップＳ２０５）、制御部１１２がステップＳ１０５で撮影枚数がＮ枚になったか判定する。Ｎ枚になった場合は、ステップＳ１０７の合成処理に移行し、Ｎ枚未満の場合は、ステップＳ１０６にて撮影枚数を制御するための変数ｉを制御部１１２がインクリメントし、ステップＳ１０３、ステップＳ１０４の処理をＮ回繰り返し行う。

次に、ステップＳ１０７における各多重露光撮影モードでの合成処理について説明する。本実施形態では、加算、加算平均、比較明、比較暗の４つの合成処理によって合成画像が生成可能である。合成前の画像のそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。ここで画素値としては、ＷＢ処理部１０８から出力されるベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂの各信号の値でもよいし、Ｒ、Ｇ１、Ｇ２、Ｂの信号のグループから得られる輝度信号の値（輝度値）でもよい。さらにこのとき、ベイヤー配列の信号を、画素毎にＲ、Ｇ、Ｂの信号が存在するように補間処理してから、画素毎に輝度値を算出しても良い。輝度値の演算式としては例えば、輝度値をＹとすると、Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×ＢというようにＲ、Ｇ、Ｂの信号を加重加算して算出する方法が挙げられる。このとき、加算モードは、
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
で表され、画素別にＮ枚の画像の画素値の加算処理がなされたものが合成画像データとなる。加算平均モードは、
Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
で表され、画素別にＮ枚の画像の画素値の平均値処理がなされたものが合成画像データとなる。比較明モードは、
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最大値が選択されたものが合成画像データとなる。比較暗モードは、
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最小値が選択されたものが合成画像データとなる。

なお、比較明モード、比較暗モードにおいて上述したように画素値を輝度値とした場合は、比較の上、選択された輝度値を算出するのに用いられたＲ、Ｇ１、Ｇ２、Ｂの値が、合成画像の各画素の信号値として選択されるものとする。

ここで、本実施形態では、上記の各多重露光撮影モードにおける合成処理は、図３に示した有効画素領域２００及びＯＢ領域２０１の両方に対して行われる。すなわち、合成処理後の合成画像としては、有効画素領域２００を各合成方法で合成された画像データと、ＯＢ領域２０１を各合成方法で合成された画像データが生成される。本実施形態では、有効画素領域２００及びＯＢ領域２０１を一つの画像データとして同時に処理しているが、有効画素領域２００、ＯＢ領域２０１でそれぞれ分けて合成処理を行っても良い。

ステップＳ１０７で合成処理が終わると、ステップＳ１０８で制御部１１２が多重露光撮影モードの判定を行う。加算モード、加算平均モードの場合は、そのままステップＳ１１０に移行する。比較明モード、比較暗モードでは、合成されたＲＡＷデータに対してＯＢ積分部１０４、ＯＢクランプ部１０５にてＯＢクランプを実行する（第２の補正）。上述したように、本実施形態では、鑑賞用の画像データである有効画素領域２００に対応する画像データと同様に、ＯＢ領域２０１に対応する画像データも保持し、合成処理を含めて有効画素領域２００に施す処理と同じ画像処理を施している。従って、Ｓ２０２にて１枚毎の画像データに対して行うＯＢクランプ処理と同様に、ＯＢ積分部１０４にて合成画像におけるＯＢ領域の画素についてＯＢの平均値（ダークレベル）を算出し、ＯＢクランプ部１０５でＯＢクランプを実行する（ステップＳ１０９）。ステップＳ１１０において信号処理部１１０にて現像処理を行い、現像処理された画像データを記録部１１１にて記録し（ステップＳ１１１）、多重露光撮影を終了する（ステップＳ１１２）。

ステップＳ１０８、Ｓ１０９において多重露光撮影モードに応じて処理を変える理由について以下に述べる。図４は、各多重露光撮影モードにおけるランダムノイズ量を模式的に表した図である。図４（１）は、合成前の画像のランダムノイズ量を表している。ランダムノイズは、平均値Ａｖｅ１を中心に上下方向に±δ１の範囲で分布している。図４（２）は、加算モード、加算平均モードにおけるランダムノイズ量を表している。加算モード、加算平均モードにおけるＮ枚の合成画像のランダムノイズの分散は、合成前の１枚の画像に対して１／ｓｑｒｔ（Ｎ）に減少するが、ランダムノイズの平均値Ａｖｅ２は変化しない（Ａｖｅ１＝Ａｖｅ２）。図４（３）、図４（４）はそれぞれ比較明モード、比較暗モードにおけるランダムノイズ量を表している。比較明モードでは、画素別に常に画素値が大きい方が選択されるため、ランダムノイズの分散としては小さくなるが、平均値Ａｖｅ３は合成前の１枚の画像に対して大きくなる（Ａｖｅ１＜Ａｖｅ３）。逆に、比較暗モードでは、画素別に常に画素値が小さい方が選択されるため、ランダムノイズの平均値Ａｖｅ４は合成前の１枚の画像に対して小さくなる（Ａｖｅ１＞Ａｖｅ４）。

ダークレベルに関しても同様である。合成前にＯＢクランプを実行しているため、合成前のＲＡＷデータは正しくダークレベルが補正される。加算モード、加算平均モードでは、ダークレベルは合成前のＲＡＷデータと変わらないため、ステップＳ１０９のＯＢクランプを省略しても問題はない。しかし、比較明モード、比較暗モードでは合成後にランダムノイズによってダークレベルが変化してしまうため、再度ＯＢクランプを行わないと黒浮きや黒沈みが発生してしまう。そのため、ステップＳ１０９でＯＢクランプを実行することで、変化してしまうダークレベルを補正することができ、合成後の画像を好ましい画質にすることができる。本実施形態の多重露光撮影モードにおけるデータフローを表したのが図８である。

撮影された各ＲＡＷデータ（ＲＡＷデータ１〜Ｎ）は、それぞれ合成前にＯＢ積分部１０４、ＯＢクランプ部１０５によってＯＢクランプ処理が施される。また、シェーディング補正部１０７によってシェーディング補正処理、ＷＢ処理部１０８によってＷＢ処理が施される。ここで、シェーディング補正部１０７における補正値は、絞り１０１や撮像素子１０２のＩＳＯ感度や露光時間などの撮影条件によって変化する。ＷＢ処理部におけるゲインも撮像装置１０に設定されているＷＢモードやＡＷＢ（オートホワイトバランス）設定であれば被写体に応じて変化する。そのため、１枚１枚のＲＡＷデータに対してＯＢクランプを実行して、それぞれのＲＡＷデータに対して適切なダークレベルの補正を行う必要がある。

ＷＢ処理までを終えた画像データ（Ｉ＿１〜Ｉ＿Ｎ）に対して、合成部１０９にて各多重露光撮影モードに応じた合成処理を順次施す。すなわち、加算モードでは、
Ｉ２（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ），
Ｉ３（ｘ，ｙ）＝Ｉ２（ｘ，ｙ）＋Ｉ＿３（ｘ，ｙ），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ＩＮ−１（ｘ，ｙ）＋Ｉ＿Ｎ（ｘ，ｙ）
となる。また、加算平均モードでは、
Ｉ２（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ））／２，
Ｉ３（ｘ，ｙ）＝Ｉ２（ｘ，ｙ）／３＋Ｉ＿３（ｘ，ｙ）／３，
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ＩＮ−１（ｘ，ｙ）／Ｎ＋Ｉ＿Ｎ（ｘ，ｙ）／Ｎ
となる。また、比較明モードでは、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
となる。また、比較暗モードでは、
Ｉ２（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍｉｎ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍｉｎ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ））
となる。合成処理の手法としてはこれに限らず、前述した式のように、Ｎ枚を一度に合成するなどしてもよい。

Ｉ＿１〜Ｉ＿Ｎまでの合成処理を終えた画像データ（Ｉ（ｘ，ｙ）：合成ＲＡＷ）は加算、加算平均モードではそのまま合成後の出力画像としてその後の表示、記録などを行うための各部に出力される。比較明、比較暗モードでは、合成ＲＡＷに対して、前述したようにＯＢ積分部１０４、ＯＢクランプ部１０５によってＯＢクランプ処理を施したものが合成後の出力画像として、その後の各部に出力される。

以上のように、本実施形態では、複数の画像データから画素を選んで合成される合成処理が行われる撮影モード（比較明、比較暗）において、合成後のＲＡＷデータに対してＯＢクランプを実行する。これによって当該合成処理によって生じる黒浮きや黒沈み等の問題を低減することができる。

本実施形態では、合成後の合成画像信号にＯＢクランプ（黒レベルの補正処理）が必要になる処理として比較明、比較暗の合成処理を挙げた。しかし、本発明の課題とするところの黒レベルのずれは、複数の画像信号から所定の規則をもって画素を選んで合成することで黒レベルのランダム性が損なわれることに起因するため、本発明を適用する画像の合成方法は上記に限らない。すなわち、複数の画像信号から画素を選んで合成される合成処理が行われた合成画像信号には、本発明のように黒レベルの補正処理を行うことが有効である。

また、本実施形態では、画像処理装置の一例として撮像装置の構成を示した。しかし、これに限らず、有効画素領域の情報とＯＢ領域の情報が関連付けられた状態で各撮影画像を取得する画像処理装置であれば、合成前の各画像についてのＯＢクランプ、本実施形態で挙げた合成処理及び合成画像についてのＯＢクランプが可能である。

また、本実施形態では、各画像信号及び合成画像信号のダークレベルの補正に、画像信号中に設けられたＯＢ領域の値を用いたＯＢクランプ処理を用いた。しかし、本発明はこれに限らず、各画像信号の撮影後に遮光して再度撮影を行ったダーク画像信号を生成し、各画像信号からダーク画像信号を引く、いわゆる黒引き処理を用いることでも達成できる。この場合、合成前のダークレベル補正は各画像信号について対応するダーク画像信号を減算することで行うことができる。そして、比較明、比較暗モード等で実行される合成後の画像信号へのダークレベル補正は、本実施形態におけるＯＢ領域と同様に、ダーク画像信号を通常の画像信号と同じ処理を掛け、同じ方法で合成し、得られる合成されたダーク画像信号を通常の合成画像信号から減算することで行うことができる。

（第２の実施形態）
第１の実施形態においては、合成後のＯＢクランプを行うかどうかを多重露光撮影モードのみで判定していたが、本実施形態では、その他の撮影条件でも判定を行う。以下、図６を用いて第２の実施形態について説明する。

ステップＳ１０７までは第１の実施形態と同じである。ステップＳ３０１で多重露光撮影モードの判定を行った後、ステップＳ３０２において合成後のＲＡＷデータに対してＯＢクランプを行うか否かを判定する。不要な場合はステップＳ１１０へ移行する、必要な場合はステップＳ３０３でＯＢクランプを実行する。

以下に、ステップＳ３０２の処理の詳細を図７を用いて説明する。図７は撮影時のＩＳＯ感度と露光時間Ｔｖと撮像素子の温度Ｔｅｍｐ．とＯＢクランプ処理の必要性の関係を表したテーブルである。○がＯＢクランプが必要な撮影条件、×が不要な撮影条件を表している。Ｎ枚の多重撮影のうち、１枚でもＯＢクランプが必要な撮影条件になった場合はＯＢクランプを行い、Ｎ枚ともＯＢクランプが不要な場合のみＯＢクランプを行わないものとする。通常、ＩＳＯ感度は高くなるほど、露光時間は長くなるほど、撮像素子の内部温度が高くなるほどランダムノイズが増えてくる。しかし、ランダムノイズ量はあらかじめ推定できるため、図７のようなテーブルを撮像装置１０内の不図示の不揮発性メモリに記憶させておくことができる。

以上のように、本実施形態では、複数の画像データから画素を選んで合成される合成処理が行われる撮影モード（比較明、比較暗）において、合成後のＲＡＷデータに対してＯＢクランプを実行する。これによって当該合成処理によって生じる黒浮きや黒沈み等の問題を低減することができる。また、この際に、撮影時のＩＳＯ感度と露光時間Ｔｖと撮像素子の温度Ｔｅｍｐ．に応じてＯＢクランプ処理の必要性を判定することで、ＯＢクランプを必要な場合のみ行うことができ、処理を高速化することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０撮像装置
１０４ＯＢ積分部
１０５ＯＢクランプ部
１０７シェーディング補正部
１０８ＷＢ処理部
１０９合成部

Claims

被写体像を撮像して得られた画像信号の黒レベルを補正する第１の補正手段と、
前記第１の補正手段によって補正された複数の画像信号について、画像内の位置が対応する信号値を比較し、画像合成に使用する画像信号を所定の規則に従って選んで合成画像信号を生成する合成手段と、
前記合成手段によって生成された合成画像信号の黒レベルを補正する第２の補正手段と、
を有し、
前記合成手段は、前記第１の補正手段によって補正された複数の画像信号を、画像内の位置が対応する信号値で加算あるいは加算平均して合成画像信号を生成可能であり、この場合は当該合成画像信号に前記第２の補正手段による補正を行わないことを特徴とする画像処理装置。
前記合成手段は、前記第１の補正手段によって補正された複数の画像信号から、信号値の大きい方の画像信号を選んで合成画像信号を生成することを特徴とする請求項１記載の画像処理装置。
前記合成手段は、前記第１の補正手段によって補正された複数の画像信号から、信号値の小さい方の画像信号を選んで合成画像信号を生成することを特徴とする請求項１記載の画像処理装置。
前記第１の補正手段によって補正された複数の画像信号にホワイトバランス、シェーディング補正のうちの少なくとも１つを施す処理手段を有し、
前記合成手段は、前記処理手段によって処理された複数の画像信号から前記合成画像信号を生成することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
前記撮像に用いられた撮像手段の撮像素子上の遮光された所定領域の画像信号から黒レベルを算出する黒レベル算出手段と、
前記第１の補正手段及び前記第２の補正手段は、前記黒レベル算出手段で算出された黒レベルに基づいて黒レベルの補正を行うことを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
前記複数の画像信号および合成画像信号は、ＲＡＷ画像信号であることを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
請求項１乃至６のいずれか１つに記載の画像処理装置と、
被写体像を撮影し、前記画像信号を前記画像処理装置に出力する撮像手段と、を有することを特徴とする撮像装置。
被写体像を撮像して得られた画像信号の黒レベルを補正する第１の補正ステップと、
前記第１の補正ステップで補正された複数の画像信号について、画像内の位置が対応する信号値を比較し、画像合成に使用する画像信号を所定の規則に従って選んで合成画像信号を生成する合成ステップと、
前記合成ステップで生成された合成画像信号の黒レベルを補正する第２の補正ステップと、
を有し、
前記合成ステップは、前記第１の補正ステップで補正された複数の画像信号を、画像内の位置が対応する信号値で加算あるいは加算平均して合成画像信号を生成可能であり、この場合は当該合成画像信号に前記第２の補正ステップの補正を行わないすることを特徴とする画像処理方法。