JP2024017296A - 画像処理装置及び方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】複数の画像を合成し合成後の画像にノイズリダクションをかける際に、効果的にノイズを低減することができる画像処理装置を提供する。【解決手段】複数枚の画像を取得する取得手段と、複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理手段と、複数枚の画像の中のいずれかの画像のＯＢ領域から暗電流ノイズ量を計測する計測手段と、計測した暗電流ノイズ量を補正する補正手段と、補正手段により補正した暗電流ノイズ量に基づいて、合成画像のノイズ低減処理を行うノイズ低減手段と、を備え、補正手段は、撮影条件に応じて暗電流ノイズ量を補正する。【選択図】 図３

Description

本発明は、複数の画像を合成して、ノイズ低減を行う画像処理装置に関する。

ノイズの少ない画像を得るために、複数の画像を合成することによりノイズを低減し、合成後の画像にノイズリダクションをかけることで更にノイズを低減する技術が知られている。

例えば、特許文献１では、複数の画像を合成する方法が提案されている。特許文献１では、合成処理を行う際に複数枚の画像を撮影し、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理を行っている。これにより、動きのぶれが無くノイズを低減した画像を得ることができる。

また、特許文献２では、合成後の画像に対してノイズリダクションをかける方法が提案されている。特許文献２では、合成に用いた各画像のＩＳＯ感度と各画像の使用割合とに基づいて合成後の画像のノイズ量を推定している。これにより、合成後の画像のノイズ量に応じた強度のノイズリダクションをかけることができる。

特開平９－２６１５２６号公報 特開２０１０－１２４４１２号公報

しかしながら、特許文献１の手法では、動きをキャンセルするように画像の位置合わせを行うため、合成処理に時間がかかるという課題がある。

また、特許文献２の手法では、画像のノイズ量を適切に推定できない場合がある。例えば、暗電流ノイズと呼ばれるノイズが存在するが、これは撮像素子に入射する光量には依存せず撮影時の撮像素子の温度に依存して変動する。特許文献２の手法では暗電流ノイズ量を適切に推定できず、合成後の画像に対するノイズリダクションの適切な強度を求められない課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、複数の画像を合成し合成後の画像にノイズリダクションをかける際に、効果的にノイズを低減することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、複数枚の画像を取得する取得手段と、前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理手段と、前記複数枚の画像の中のいずれかの画像のＯＢ領域から暗電流ノイズ量を計測する計測手段と、計測した前記暗電流ノイズ量を補正する補正手段と、前記補正手段により補正した暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減手段と、を備え、前記補正手段は、撮影条件に応じて前記暗電流ノイズ量を補正することを特徴とする。

本発明によれば、複数の画像を合成し合成後の画像にノイズリダクションをかける際に、効果的にノイズを低減することができる画像処理装置を提供することが可能となる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図。 デジタルカメラの動作を示すフローチャート。 デジタルカメラの動作を示すフローチャート。 デジタルカメラの動作を示すフローチャート。 画像処理部の機能構成を示すブロック図。 画像合成処理を説明する図。 ノイズ低減におけるフィルタ処理を説明する図。 暗電流ノイズ補正における補正係数を示す図。 ベースとなるノイズモデルを説明する図。 光ショットノイズの情報を示す図。 ノイズリダクションの閾値を説明する図。 第２の実施形態のデジタルカメラの動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
以下、本発明の第１の実施形態について、添付図面を参照して説明する。なお、以下に説明する実施形態では、デジタルカメラ内で複数枚撮影した画像を合成することでノイズ低減画像を生成する例について説明する。

図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図である。

図１において、光学系１０１は、被写体像を撮像部１０２に結像させる。撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等からなる撮像素子１０２ａを備え、光学系１０１により結像された光学像を光電変換して、アナログ画像信号を生成する。さらに、アナログ画像信号をＡ／Ｄ変換して、得られたデジタル画像データをＲＡＭ１０４に出力して記憶させる。

制御部１０６は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０５から読み出し、ＲＡＭ１０４に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。また、制御部１０６が光学系１０１にレンズ駆動量を指示することで異なる合焦位置で撮影することが可能である。また、ＲＯＭ１０５は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０４は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０３は、ＲＡＭ１０４に記憶されている画像データに対して、ホワイトバランス調整処理、色補間処理、縮小／拡大処理、フィルタリング処理など、様々な画像処理を適用する。また、後述する画像の合成も画像処理部１０３で実施される。

記録部１０７には、ＲＡＭ１０４に記憶されている画像処理部１０３で処理された画像が、記録画像や合成画像として記録される。表示部１０８は、例えば背面液晶であり、ＲＡＭ１０４に記録された画像を表示する。

上記の各構成は、内部バス１１０により、互いに通信可能に接続されている。

次に、図２から図９を用いて第１の実施形態のデジタルカメラの動作について説明する。

図２Ａは、複数枚の画像を撮影し、撮影画像を合成することでノイズを低減し、合成後の画像にノイズリダクション（ＮＲ：ノイズ低減処理））をかけることで更にノイズを低減した画像を生成する一連の処理を示すフローチャートである。

デジタルカメラ１００の制御部１０６は、ステップＳ２０１で、複数の画像を撮像し、ステップＳ２０２で、各画像を合成する。さらに、ステップＳ２０３で、合成画像のＯＢ領域から暗電量ノイズ量を計測し、ステップＳ２０４で、計測した暗電流ノイズ量を補正し、ステップＳ２０５で、合成画像にノイズリダクション処理（ＮＲ処理）を行う。これらの各ステップについて、以下、詳細に説明する。

図２Ｂは、図２ＡのステップＳ２０１における画像撮像動作を詳しく示すフローチャートである。

ステップＳ２１１において、制御部１０６は、光学系１０１、撮像部１０２に関する撮影条件を決定する。撮影条件はシャッタ速度、絞り値、ＩＳＯ感度であるが、これらは、デジタルカメラ１００の測光結果により制御部１０６が自動で決めるか、撮影者が撮影する被写体に応じて任意に設定することが可能である。また、動感や深度表現に関わるシャッタ速度や絞り値は撮影者が決めて、ＩＳＯ感度はデジタルカメラ１００の測光結果により制御部１０６が自動で決めることも可能である。

ステップＳ２１２では、制御部１０６は、撮影枚数（Ｎ）を決定する。この値は、例えば合成処理で何段分のノイズ低減効果を行うかに基づいて制御部１０６が決定してもよいし、撮影者が撮影する被写体に応じて任意に設定してもよい。なお、Ｎ枚の画像は全て同じ撮影条件で撮像するものとする。

ステップＳ２１３では、制御部１０６は、ステップＳ２１１で設定した撮影条件とステップＳ２１２で決定した撮影枚数とに基づいて撮像部１０２を動作させ、複数枚の画像を撮像する。

ステップＳ２１４では、制御部１０６は、撮像した枚数がステップＳ２１２で設定した撮影枚数（Ｎ）に達したか否かを判定する。制御部１０６は、撮影枚数（Ｎ）に達していなければ、撮影枚数（Ｎ）になるまで、ステップＳ２１３、ステップＳ２１４を繰り返す。また、撮影枚数（Ｎ）に達していれば、撮影を終了する。

次に、図２Ｃは、図２ＡのステップＳ２０２における画像合成動作を詳しく示すフローチャートである。なお、図３は、画像処理部１０３の機能構成を示すブロック図であり、以下では、図３も参照して、画像合成動作について説明する。

一般的に撮像素子には、人物や風景などの被写体を撮像する領域と物理的に遮光されているＯｐｔｉｃａｌＢｌｃａｋ領域（ＯＢ領域）が存在する。そして、複数枚の画像を合成する場合に、ＯＢ領域は合成処理の対象外とすることで処理時間を短縮することが可能である。

ステップＳ２２１において、制御部１０６は、撮像画像の中から合成の基準となる基準画像を画像処理部１０３に入力する。基準画像の選択は任意であるが、シャッタを押下したタイミングに近い先頭画像を選択するとよい。

ステップＳ２２２では、制御部１０６は、撮像画像の中から合成対象画像となる参照画像を画像処理部１０３に入力する。参照画像とは、ステップＳ２２１で決定した基準画像以外の画像のことである。

ステップＳ２２３では、制御部１０６は、画像処理部１０３を用いて、参照画像と基準画像の位置合わせを行う。一般的に、手振れや局所動体により基準画像と参照画像は位置がわずかにズレている。位置がズレた状態で画像の合成を行ってもノイズ低減効果は低いため、画像間の位置を合わせて合成を行う。

手振れによる画像間のズレを合わせる方法は例えば以下の方法を用いることができる。まず、基準画像と参照画像間で複数の動きベクトルを算出する。動きベクトルの算出はテンプレートマッチング等の公知の技術を用いればよい。次に、算出した複数の動きベクトルを満たすアフィン変換もしくは射影変換の変換係数を算出し、さらに変換係数による移動量と動きベクトルの誤差が最小となるように最小二乗法を用いて変換係数を最適化する。これにより精度の高い変換係数を算出することができる。最後に、変換係数を用いて参照画像を変形することで基準画像に位置を合わせることが可能となる。また、局所動体もなるべく位置を合わせて合成することが望ましいので、画像間の位置合わせを行った後に、さらにテンプレートマッチング技術等を使用して局所動体の位置合わせを行ってもよい。

ステップＳ２２４では、制御部１０６は、図３に示す画像処理部１０３の相関量算出部３０２を用いて、基準画像と参照画像間の相関量を算出する。相関量に限定はなく、例えば着目画素を中心とした所定範囲のブロックに対する差分や、当該ブロックを周波数空間上に変換した各周波数成分の差分等を用いることができる。図４（ａ）は、差分量と相関量の関係の一例を示した図であり、差分が少ないと相関量が高く、差分が大きいと相関量が低い関係性となる。また、差分量は入力信号のビット長に応じて値域が変わるため、図４（ａ）のように１．０に正規化するとよい。さらに、曲線４０１のように折れ線の特性とすることで、差分に対する相関量の調整を行っているが、この例に限定されるものではない。

ステップＳ２２５では、制御部１０６は、図３に示す画像処理部１０３の合成比率算出部３０４を用いて、相関量に基づいて合成比率を算出する。なお、合成比率とは、基準画像に対して参照画像を合成する割合を意味する。

図４（ｂ）の曲線４１１の様に、相関が高い場合（相関量が１．０に近い場合）は、ノイズの低減効果を高めるために、合成比率（mix_ratio）を高く（１．０に近い値に）設定する。相関が低い場合（相関量が０に近い場合）は、被写体の多重像（アーティファクト）を抑制するために、合成比率を低く（０に近い値に）設定する。しかし、合成比率の曲線は、図４（ｂ）に示す曲線に限定されるものではない。

ステップＳ２２６では、制御部１０６は、図３に示す画像処理部１０３の合成／積算部３０３を用いて、基準画像と参照画像を合成し積算する。合成比率は、ステップＳ２２５で算出した合成比率であり、合成は下記式（１）、積算は下記式（２）を用いて行われる。
合成画像[ｉ]＝(１．０－mix_ratio)＊基準画像＋mix_ratio＊参照画像[ｉ] …（１）

以下、式（１）、式（２）に基づいて４枚（１枚の基準画像［ｉ＝０］、及び３枚の参照画像［ｉ＝１，２，３］）を合成する場合を例に挙げて説明する。

基準画像と１枚目（ｉ＝１）の参照画像を合成する際、相関量が低く合成比率（mix_ratio）が０だとすると、合成画像[１]は基準画像が出力される。同様に、２枚目、３枚目もmix_ratioが０だとすると合成画像[２]、合成画像[３]も基準画像が出力される。そのため積算画像は基準画像を４枚積算することになる。同様に全ての参照画像で相関量が高く合成比率（mix_ratio）が１．０だとすると、１枚の基準画像と３枚の合成画像を加算した画像が出力される。合成比率が相関量によって変わることにより、合成によってノイズが低減される領域とされない領域（アーティファクトが発生しない領域）が生成されるようになる。

ステップＳ２２７では、制御部１０６は、全ての参照画像に対する合成と積算が行われたか否かを判定する。制御部１０６は、全ての画像に対して合成と積算が終了していればステップＳ２２９に処理を進める。一方、合成と積算を行っていない画像が存在すればステップＳ２２８に処理を進め、全ての画像に対して合成と積算が終了するまでステップＳ２２２からステップＳ２２６の処理を繰り返す。

ステップＳ２２９では、制御部１０６は、図３に示す画像処理部１０３の正規化部３０５を用いて、積算画像を下記式（３）で正規化する。積算画像は入力画像の枚数分を積算しただけなので入力の枚数Ｎで除算することで最終的な合成画像を得ることができる。

正規化画像＝積算画像／Ｎ …（３）
なお、前述したように、合成処理はＯＢ領域を除いた領域を対象としており、ＯＢ領域に関しては基準画像をそのまま合成画像として出力する。これにより合成処理の処理時間を短縮することが可能になる。以上が画像合成ステップＳ２０２の処理の詳細である。

次に、図２ＡのステップＳ２０３における暗電量ノイズの計測処理について説明する。暗電流ノイズの計測処理は、図３に示す画像処理部１０３の暗電流ノイズ計測部３０７を用いて行われる。

暗電流ノイズの計測処理は合成画像におけるＯＢ領域に対して行う。ＯＢ領域は遮光された領域であるため、ＯＢ領域の標準偏差を算出することで暗電流ノイズσｄａｒｋを計測することが可能である。なお、標準偏差の算出はＯＢ領域全体を対象としてもよいし、ＯＢ領域の一部を対象としてもよい。

次に、図２ＡのステップＳ２０４における暗電流ノイズの補正処理について説明する。暗電流ノイズの補正処理は、図３に示す画像処理部１０３の暗電流ノイズ補正部３０８を用いて行われる。

前述したとおり、暗電流ノイズは合成画像のＯＢ領域から計測しているが、本実施形態において合成画像のＯＢ領域は基準画像のＯＢ領域と同じであるため、ステップＳ２０３で計測された暗電流ノイズは１枚の画像の暗電流ノイズに相当する。そのため、このままの状態では、ステップＳ２０５で行う合成画像に対するＮＲ処理の適切な強度を求めることができない。そのため、ステップＳ２０４ではステップＳ２０３で計測した暗電流ノイズの補正処理を行う。

暗電流ノイズの補正処理は、式（４）のように、ステップＳ２０３で計測した暗電流ノイズσｄａｒｋに補正係数ｋを乗算して行う。

σｄａｒｋ’＝σｄａｒｋ×ｋ …（４）
ＯＢ領域は遮光されており、被写体が撮像されない領域のため、仮に第１の実施形態における合成処理を実施した場合、合成枚数に応じて暗電流ノイズの低減度合はほぼ一定となる。そのため、図６に示すように合成枚数Ｎが多いほど、補正係数ｋが小さくなるように標準偏差を補正するテーブルを用意しておき、実際の合成枚数に応じてテーブルから補正係数ｋを取得して用いる。

また、補正係数の決め方はこれに限定されず、暗電流ノイズの影響度合いに応じて決めてもよい。例えば、ＩＳＯ感度や画像の明るさに応じて決めてもよい。ＩＳＯ感度に関しては、ＩＳＯ感度が高いほど暗電流ノイズの絶対値が大きくなるため、１枚の画像の暗電流ノイズと合成画像の暗電流ノイズとの差が大きくなり影響度合いが大きくなる。そのため、ＩＳＯ感度が高いほど補正係数ｋを小さくするようにしてもよい。画像の明るさに関しては、画像が明るいほど光ショットノイズと呼ばれる入射光量に応じて増加するノイズの影響が大きくなり、暗電流ノイズの影響が小さくなる。そのため、撮影された被写体の明るさを別途計測しておき、被写体が明るいほど補正係数を大きくするようにしてもよい。また、ここで説明した複数の要素を組み合わせて補正係数を決めてもよい。以上が暗電流ノイズの補正処理の詳細である。

次に、図２ＡのステップＳ２０５におけるノイズリダクション処理（ＮＲ処理）について説明する。

ＮＲ処理としては、合成画像に対して、図３に示す画像処理部１０３の閾値付きローパスフィルタ（ＬＰＦ）３１０による処理及び、閾値付きＬＰＦ３１０で用いる閾値を算出するための閾値設定部３０９による処理を行う。

まず、閾値付きＬＰＦ３１０について図５を用いて説明する。閾値付きＬＰＦ３１０は、図５に示すように、着目画素５０１を中心とした所定範囲内の画素を用いてフィルタ処理を行う。その際、所定範囲内全ての画素を用いてフィルタ処理を行うと、エッジ成分等の解像感が失われてしまう。そのため、「着目画素と参照画素の差分値」を閾値と比較して、フィルタ処理の対象とする画素としない画素に分別するようにする。例えば、閾値を大きくすると、多くの画素でフィルタ処理が行われるためノイズは低減するが解像感も失いやすく、閾値を小さくすると、ノイズ低減効果は低下するが解像感は維持できるようになる。

次に、閾値設定部３０９について説明する。閾値設定では、まずステップＳ２０４で補正した暗電量ノイズσｄａｒｋ’、及び別途準備しておく光ショットノイズの情報を用いて、ベースとなるノイズモデルを生成する。これは、図７（ａ）に示すように、縦軸に分散、横軸に信号値Ｉをとるグラフ上において、画像上に含まれるノイズが暗電流ノイズ及び光ショットノイズを用いて線形に近似できるためである。数式で表すと式（５）のように表現できる。

Ｖ＝（σｄａｒｋ’）²＋ｇｒａｄ×Ｉ …（５）
ここではノイズ量を分散Ｖとして表現している。式（５）の右辺の第一項は暗電流ノイズに関する項であり、分散で表現するためにσｄａｒｋ’を２乗している。式（５）の右辺の第二項は光ショットノイズに関する項であり、信号値Ｉに比例する項となる。また、ｇｒａｄは撮影画像のＩＳＯ感度や合成枚数に応じて決まる。そのため、光ショットノイズの情報としては、図８に示すようなテーブルを用意しておき、ＩＳＯ感度や合成枚数に応じて該当するｇｒａｄの値を参照する。例えば、ＩＳＯ６４００で撮影した４枚の画像を合成する場合はｇｒａｄとして６４を取得する。

前述した図７（ａ）では、線形で近似ができ表現が容易であるという点で分散を用いたが、実際に画像に重畳されるノイズ量は標準偏差に応じたものになるので、ベースのノイズモデルとしては図７（ａ）の平方根をとった図７（ｂ）のようになる。これによって、各信号値に応じたノイズ量を表現することが可能になる。

次に、このベースのノイズモデルに基づいて閾値を設定する。閾値は例えば図９の曲線９０１，９０２，９０３のように設定する。ここでは、曲線９０１は、ベースのノイズモデルそのままに対応する閾値の曲線、曲線９０２は曲線９０１を縦軸方向に２倍した曲線、曲線９０３は曲線９０１を縦軸方向に１／２倍した曲線をそれぞれ表す。

曲線９０２は、曲線９０１と比較すると閾値が大きくなるため、前述したようにノイズの低減効果は増すが解像感を失いやすくなる。曲線９０３は、曲線９０１と比較すると閾値が小さくなるため、前述したようにノイズの低減効果は減るが解像感は維持できる。そのため、カメラのノイズの低減度合の設定項目として、例えば弱、中、強を選択できるようにしておき、弱ならば曲線９０３、中ならば曲線９０１、強ならば曲線９０２の閾値を使用するように対応づけておく。こうすることで、ユーザの好みに合わせて閾値を設定することが可能になる。以上がＮＲ処理の詳細動作であり、全動作が終了すると、図３の出力画像３１１が生成される。

なお、本実施形態では画素単位の処理を例に説明したが、計算量の削減のためにブロック単位で処理を行ってもよい。

また、画像処理部１０３への入力画像は現像前のＲＡＷ信号、現像処理後のＹＵＶ信号等であり、フォーマット、色空間、信号のビット長等に制約はないものとする。

以上説明したように、上記の実施形態によれば、ＯＢ領域を除いて画像を合成した場合でも、その後のノイズリダクション処理を適切に行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、ＯＢ領域について合成処理を行わない状態でＯＢ領域から計測した暗電流ノイズを補正する場合について説明した。第２の実施形態では、ＯＢ領域に対して合成処理ではなく簡易的な処理を行う場合について説明する。なお、第１の実施形態と同様の部分については、同じ符号を付して説明を省略する。

図１０は、第２の実施形態における一連の処理を示すフローチャートである。

デジタルカメラ１００の制御部１０６は、ステップＳ２０１で、複数の画像を撮像し、ステップＳ１００２で、各画像を合成する。さらに、ステップＳ２０３で、合成画像のＯＢ領域から暗電量ノイズ量を計測し、ステップＳ２０５で、合成画像にノイズリダクション処理（ＮＲ処理）を行う。これらの各ステップについて、以下、詳細に説明する。なお、ステップＳ２０１、２０３、２０５は第１の実施形態と同様のため説明を省略し、ステップＳ１００２について説明する。

ステップＳ１００２の画像合成処理では、ＯＢ領域には簡易処理を行い、ＯＢ領域以外には第１の実施形態で説明した合成処理を行う。そのため、ここではＯＢ領域に対する簡易処理について説明する。

簡易処理は、仮にＯＢ領域に対して合成処理を実施し暗電流ノイズ量を計測した場合と同程度の暗電流ノイズが計測できるように、ＯＢ領域に対して処理を行うことを目的としている。これによって処理時間を短縮することが可能になる。

第１の実施形態で説明したように、ＯＢ領域は遮光されており被写体が撮像されない領域のため、仮に第１の実施形態における合成処理を実施した場合、暗電流ノイズの低減度合はほぼ一定となる。そのため、簡易処理としては例えば複数画像のＯＢ領域を加算平均する処理でよい。

ただし、簡易処理としてはこれに限定されず、基準画像のＯＢ領域からＡＣ成分を抽出し、ＡＣ成分をゲインダウンする処理や、基準画像のＯＢ領域の各画素に対してその画素を中心とした所定範囲内の画素を用いて平均化する処理を行ってもよい。

以上が画像合成処理（ステップＳ１００２）の詳細である。

なお、本実施形態においては、暗電流ノイズ計測部３０７で計測される暗電流ノイズ量は合成画像の暗電流ノイズに相当している。そのため、第１の実施形態で実施していた暗電流ノイズ補正部３０８での補正処理は行わずに閾値設定部３０９での閾値設定を行うようにする。

また、出力画像３１１が記録部１０７によって記録画像として記録されるが、これ以外にも合成画像３０６を合成画像として記録してもよい。

本明細書の開示は、以下の画像処理装置、方法、プログラムおよび記憶媒体を含む。

（項目１）
複数枚の画像を取得する取得手段と、
前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理手段と、
前記複数枚の画像の中のいずれかの画像のＯＢ領域から暗電流ノイズ量を計測する計測手段と、
計測した前記暗電流ノイズ量を補正する補正手段と、
前記補正手段により補正した暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減手段と、を備え、
前記補正手段は、撮影条件に応じて前記暗電流ノイズ量を補正することを特徴とする画像処理装置。

（項目２）
前記補正手段は、撮影条件に応じて前記暗電流ノイズ量を補正する程度を変更することを特徴とする項目１に記載の画像処理装置。

（項目３）
前記合成処理手段は、周波数成分の差分に基づいて、前記複数枚の画像を合成することを特徴とする項目１または２に記載の画像処理装置。

（項目４）
前記撮影条件は、合成する画像の枚数、ＩＳＯ感度、画像の明るさの少なくとも１つを含むことを特徴とする項目１乃至３のいずれか１項目に記載の画像処理装置。

（項目５）
前記補正手段は、合成する画像の枚数が多いほど、前記暗電流ノイズ量を補正する程度を強めることを特徴とする項目２乃至４のいずれか１項目に記載の画像処理装置。

（項目６）
前記補正手段は、ＩＳＯ感度が高いほど、前記暗電流ノイズ量を補正する程度を強めることを特徴とする項目２乃至５のいずれか１項目に記載の画像処理装置。

（項目７）
前記補正手段は、画像が明るいほど、前記暗電流ノイズ量を補正する程度を弱めることを特徴とする項目２乃至６のいずれか１項目に記載の画像処理装置。

（項目８）
複数枚の画像を取得する取得手段と、
前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理手段と、
前記複数枚の画像におけるＯＢ領域に対して、合成処理よりも簡易な簡易処理を行い、該簡易処理を行ったＯＢ領域から暗電流ノイズ量を計測する計測手段と、
前記計測手段により計測された暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減手段と、
を備えることを特徴とする画像処理装置。

（項目９）
前記簡易処理は、ＯＢ領域に対して合成処理を実施し暗電流ノイズ量を計測した場合と同程度の暗電流ノイズを前記ＯＢ領域から計測できるようにする処理であることを特徴とする項目８に記載の画像処理装置。

（項目１０）
前記合成処理手段は、周波数成分の差分に基づいて、前記複数枚の画像を合成することを特徴とする項目８または９に記載の画像処理装置。

（項目１１）
前記簡易処理は、前記複数枚の画像のＯＢ領域を加算平均する処理、前記複数枚の画像のＯＢ領域の中のいずれかのＡＣ成分のゲインダウン、前記複数枚の画像のＯＢ領域の中のいずれかのフィルタ処理の少なくとも１つを含むことを特徴とする項目８乃至１０のいずれか１項目に記載の画像処理装置。

（項目１２）
前記合成画像を記録する記録手段をさらに備えることを特徴とする項目８乃至１１のいずれか１項目に記載の画像処理装置。

（項目１３）
複数枚の画像を取得する取得工程と、
前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理工程と、
前記複数枚の画像の中のいずれかの画像のＯＢ領域から暗電流ノイズ量を計測する計測工程と、
計測した前記暗電流ノイズ量を補正する補正工程と、
前記補正工程において補正した暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減工程と、を有し、
前記補正工程では、撮影条件に応じて前記暗電流ノイズ量を補正することを特徴とする画像処理方法。

（項目１４）
複数枚の画像を取得する取得工程と、
前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理工程と、
前記複数枚の画像におけるＯＢ領域に対して、合成処理よりも簡易な簡易処理を行い、該簡易処理を行ったＯＢ領域から暗電流ノイズ量を計測する計測工程と、
前記計測工程において計測された暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減工程と、
を有することを特徴とする画像処理方法。

（項目１５）
項目１３または１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

（項目１６）
項目１３または１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：光学系、１０２：撮像部、１０３：画像処理部、１０４：ＲＡＭ、１０５：ＲＯＭ、１０６：制御部、１０７：記録部、１０８：表示部、１１０：内部バス

Claims (16)

1. 複数枚の画像を取得する取得手段と、
   前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理手段と、
   前記複数枚の画像の中のいずれかの画像のＯＢ領域から暗電流ノイズ量を計測する計測手段と、
   計測した前記暗電流ノイズ量を補正する補正手段と、
   前記補正手段により補正した暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減手段と、を備え、
   前記補正手段は、撮影条件に応じて前記暗電流ノイズ量を補正することを特徴とする画像処理装置。
2. 前記補正手段は、撮影条件に応じて前記暗電流ノイズ量を補正する程度を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成処理手段は、周波数成分の差分に基づいて、前記複数枚の画像を合成することを特徴とする請求項１に記載の画像処理装置。
4. 前記撮影条件は、合成する画像の枚数、ＩＳＯ感度、画像の明るさの少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記補正手段は、合成する画像の枚数が多いほど、前記暗電流ノイズ量を補正する程度を強めることを特徴とする請求項２に記載の画像処理装置。
6. 前記補正手段は、ＩＳＯ感度が高いほど、前記暗電流ノイズ量を補正する程度を強めることを特徴とする請求項２に記載の画像処理装置。
7. 前記補正手段は、画像が明るいほど、前記暗電流ノイズ量を補正する程度を弱めることを特徴とする請求項２に記載の画像処理装置。
8. 複数枚の画像を取得する取得手段と、
   前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理手段と、
   前記複数枚の画像におけるＯＢ領域に対して、合成処理よりも簡易な簡易処理を行い、該簡易処理を行ったＯＢ領域から暗電流ノイズ量を計測する計測手段と、
   前記計測手段により計測された暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減手段と、
   を備えることを特徴とする画像処理装置。
9. 前記簡易処理は、ＯＢ領域に対して合成処理を実施し暗電流ノイズ量を計測した場合と同程度の暗電流ノイズを前記ＯＢ領域から計測できるようにする処理であることを特徴とする請求項８に記載の画像処理装置。
10. 前記合成処理手段は、周波数成分の差分に基づいて、前記複数枚の画像を合成することを特徴とする請求項８に記載の画像処理装置。
11. 前記簡易処理は、前記複数枚の画像のＯＢ領域を加算平均する処理、前記複数枚の画像のＯＢ領域の中のいずれかのＡＣ成分のゲインダウン、前記複数枚の画像のＯＢ領域の中のいずれかのフィルタ処理の少なくとも１つを含むことを特徴とする請求項８に記載の画像処理装置。
12. 前記合成画像を記録する記録手段をさらに備えることを特徴とする請求項８に記載の画像処理装置。
13. 複数枚の画像を取得する取得工程と、
    前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理工程と、
    前記複数枚の画像の中のいずれかの画像のＯＢ領域から暗電流ノイズ量を計測する計測工程と、
    計測した前記暗電流ノイズ量を補正する補正工程と、
    前記補正工程において補正した暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減工程と、を有し、
    前記補正工程では、撮影条件に応じて前記暗電流ノイズ量を補正することを特徴とする画像処理方法。
14. 複数枚の画像を取得する取得工程と、
    前記複数枚の画像におけるＯＢ領域以外の領域を合成して合成画像を生成する合成処理工程と、
    前記複数枚の画像におけるＯＢ領域に対して、合成処理よりも簡易な簡易処理を行い、該簡易処理を行ったＯＢ領域から暗電流ノイズ量を計測する計測工程と、
    前記計測工程において計測された暗電流ノイズ量に基づいて、前記合成画像のノイズ低減処理を行うノイズ低減工程と、
    を有することを特徴とする画像処理方法。
15. 請求項１３または１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１３または１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images