JP5185085B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、複数の画像データの合成を行う技術に関する。

近年、色処理が施された複数のカラー画像データを合成して、１つの画像に複数のシーンが写ったような画像を生成する多重露出機能を備えたデジタルカメラが知られている。特許文献１には、色処理が施されたカラー画像データを、色処理が施される前のカラー画像データに変換してから合成し、その後、再び色処理を施すことにより、ガンマ変換などの影響を排除した画像合成処理を実現する技術が開示されている。
特開２００４−４８８６６３号公報

しかしながら、特許文献１には、ノイズ量の異なる複数のＲＡＷ画像データを合成して得られる合成画像のノイズを効果的に低減する方法についての開示はなかった。

本発明のある態様に係る画像処理装置は、撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成する画像合成部と、ノイズ低減処理におけるノイズ低減の度合いを示すノイズ低減強度を制御するノイズ低減強度制御部と、前記ノイズ低減強度に基づいて、前記合成画像データのノイズを低減するノイズ低減部と、前記複数のＲＡＷ画像データ各々の撮影感度および前記複数のＲＡＷ画像データ各々の合成係数に基づいて、前記合成画像データのノイズ量を推定するノイズ量推定部と、を備え、前記ノイズ低減強度制御部は、前記ノイズ量推定部で推定されたノイズ量に基づいて、前記ノイズ低減強度を制御することを特徴とする。

本発明の別の態様に係る画像処理方法は、撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成するステップと、前記複数のＲＡＷ画像データ各々の撮影感度および前記合成係数に基づいて、前記合成画像データのノイズ量を推定するステップと、前記推定されたノイズ量に基づいて、ノイズ低減処理におけるノイズ低減の度合いを示すノイズ低減強度を制御するステップと、前記ノイズ低減強度に基づいて、前記合成画像データのノイズを低減するステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成するステップと、前記複数のＲＡＷ画像データ各々の撮影感度および前記合成係数に基づいて、前記合成画像データのノイズ量を推定するステップと、前記推定されたノイズ量に基づいて、ノイズ低減処理におけるノイズ低減の度合いを示すノイズ低減強度を制御するステップと、前記ノイズ低減強度に基づいて、前記合成画像データのノイズを低減するステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、ノイズを効果的に低減した合成画像データを生成することができる。

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、を有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、撮像素子は、ベイヤー配列のカラーフィルタが配置されたものではなく、例えば、ＦＯＶＥＯＮ（登録商標）イメージセンサのように、１画素でＲ、Ｇ、Ｂ全ての情報を取り込むことが可能なものであってもよい。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、ＪＰＥＧ処理部１１０において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、ガンマ・色再現処理部１０７４、カラーマトリクス演算部１０７５、エッジ強調処理部１０７６、および、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。

ＯＢ減算部１０７１は、画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。

ＷＢ補正部１０７２は、画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、晴天、曇天、電球、蛍光灯などの光源に応じて、ユーザが設定可能である。

同時化処理部１０７３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。ガンマ・色再現処理部１０７４は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

カラーマトリクス演算部１０７５は、画像データに対して、カラーマトリクスを乗じる線形変換を行って、画像データの色を補正する。エッジ強調処理部１０７６は、画像データから、エッジを抽出し、抽出したエッジのデータに所定のゲインを乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。ＮＲ処理部１０７７は、高周波を低減するフィルタを用いた処理や、コアリング処理等により、ノイズを低減する処理を行う。

画像処理部１０７は、必要に応じて、内部に備えた各部１０７１〜１０７７を選択して、各処理を行う。画像処理部１０７によって各処理が行われた後の画像データは、ＳＤＲＡＭ１０６に記憶される。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

ＪＰＥＧ処理部１１０は、画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。記録媒体１１２に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１１０は、記録媒体１１２に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１４へ出力して、画像の表示を行う。画像の表示には、静止画の表示だけでなく、ライブビュー表示画等の動画の表示も含まれる。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１１５は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。

ステップＳ２０１では、撮影を行うか否か、すなわち、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳ２０２に進み、撮影・記録動作を行う。撮影・記録動作については、図３に示すフローチャートを用いて後述する。

ステップＳ２０１でレリーズボタンが押されていないと判定すると、ステップＳ２０３に進む。ステップＳ２０３では、画像データの合成処理を行うか否かを判定する。ユーザが操作部１１６に含まれる入力キーを操作して、ＬＣＤ１１４に表示されている複数のメニューの中から、画像データの合成メニューを選択すると、画像データの合成処理を行うと判定して、ステップＳ２０４に進む。ステップＳ２０４では、画像データの合成処理を行う。画像データの合成処理の詳細な内容については、図４に示すフローチャートを用いて後述する。

画像データの合成処理を行わないと判定すると、ステップＳ２０５に進む。ステップＳ２０５では、画像データの現像処理を行うか否かを判定する。ユーザが操作部１１６に含まれる入力キーを操作して、ＬＣＤ１１４に表示されている複数のメニューの中から、画像データの現像メニューを選択すると、現像処理を行うと判定して、ステップＳ２０６に進む。ステップＳ２０６では、画像データの現像処理を行う。画像データの現像処理の詳細な内容については、図５に示すフローチャートを用いて後述する。

ステップＳ２０７では、デジタルスチルカメラの電源がオフになったか、すなわち、ユーザにより電源ボタンが押されて、電源がオフになったか否かを判定する。電源がオフになっていないと判定するとステップＳ２０１に戻り、電源がオフになったと判定すると、全ての動作を終了する。

図３は、図２に示すフローチャートのステップＳ２０２で行う撮影・記録動作についての詳しい処理内容を示すフローチャートである。ステップＳ３０１からステップＳ３０３までの処理は、ファーストレリーズにて行われる処理であり、ステップＳ３０４以後の処理は、セカンドレリーズにて行われる処理である。

ステップＳ３０１では、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。

ステップＳ３０２では、ＡＥ処理部１０９において、被写体輝度を算出する。ステップＳ３０３では、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出する。

ステップＳ３０４では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ３０５に進む。ステップＳ３０５では、レリーズボタンが戻されたか否かを判定する。レリーズボタンが半押しされている状態から戻されたと判定すると、撮影・記録動作を終了し、レリーズボタンが戻されていないと判定すると、ステップＳ３０４に戻る。

一方、ステップＳ３０４でセカンドレリーズスイッチがオンされたと判定すると、ステップＳ３０６に進む。ステップＳ３０６では、撮影を行う。撮影に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そして、算出したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、画像データを得る。

ステップＳ３０７では、画像の記録形式がＲＡＷ形式であるか否かを判定する。ユーザは、操作部１１６を操作することにより、撮影前に、画像の記録形式を選択することができる。画像の記録形式がＲＡＷ形式であると判定すると、ステップＳ３１７に進み、ＪＰＥＧ形式であると判定すると、ステップＳ３０８に進む。

ステップＳ３１７ではＲＡＷ形式のデータであるベイヤーデータを、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。ただし、ここでは、記録するベイヤーデータごとに、サムネイル画像データを作成して、ベイヤーデータとともに記録しておく。また、撮像時に得られたＯＢ値、ホワイトバランスモードに応じたホワイトバランスゲイン、ホワイトバランスモードに応じたカラーマトリクス、撮影時のＳｖ値も同一のファイルとして、ベイヤーデータと同時に記録しておく。なお、Ｓｖ値は、ＩＳＯ感度をＡＰＥＸ値で表現した値である。

なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。

一方、ステップＳ３０８では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。

ステップＳ３０９では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。

ステップＳ３１０では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ３１１では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ３１２では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

ステップＳ３１３では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。

ステップＳ３１４では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。ノイズ低減処理は、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。この時、撮影時のＳｖ値に応じたノイズ低減強度にて、ノイズ低減処理を行う。

図４は、撮影時のＳｖ値に対応するＩＳＯ感度と、コアリングパラメータおよびノイズ低減パラメータ（以下、ＮＲパラメータ）との関係の一例を示す図である。例えば、Ｓｖ値５に対応するＩＳＯ感度は１００、コアリングパラメータは６、ＮＲパラメータは６４である。コアリングパラメータが大きいほど、また、ＮＲパラメータが大きいほど、ノイズ低減の度合いは大きくなる。

一般的に、ＩＳＯ感度が大きくなるほど、ノイズは多くなる。従って、図４に示すように、Ｓｖ値が大きくなるほど、コアリングパラメータ、または、ＮＲパラメータを大きくして、ノイズ低減の度合いを大きくする。Ｆｌａｓｈメモリ１１７には、図４に示すような、Ｓｖ値と、コアリングパラメータまたはＮＲパラメータとの関係を定めたテーブルデータが記録されている。ＮＲ処理部１０７７は、Ｆｌａｓｈメモリ１１７からテーブルデータを読み出し、撮影時のＳｖ値に基づいて、読み出したテーブルデータを参照することにより、コアリングパラメータまたはＮＲパラメータを求めて、ノイズ低減処理を行う。この時、テーブルデータに対応するＳｖ値が無い場合には、線形補間等で補間したパラメータを用いて、ノイズ低減処理を行う。

ステップＳ３１５では、ＪＰＥＧ処理部１１０において、ノイズ低減処理が行われた画像データに対して、ＪＰＥＧ圧縮を行う。ステップＳ３１６では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮された画像データに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

図５は、図２に示すフローチャートのステップＳ２０４で行う合成処理についての詳しい処理内容を示すフローチャートである。ステップＳ４０１では、ユーザによる操作部１１６の操作に応じて、合成処理を行うベイヤーデータを２つ以上選択する。ここでは、まず、記録媒体１１２に記録した複数のサムネイル画像データをＬＣＤ１１４に表示する。そして、ユーザによって、合成処理を行うサムネイル画像データが２つ以上選択されると、記録媒体１１２に記録されている複数のベイヤーデータの中から、選択されたサムネイル画像データと対応するベイヤーデータを選択する。以下、選択したベイヤーデータがＮ（Ｎは、２以上の自然数）個あるものとして説明を続ける。

ステップＳ４０２では、選択されたＮ個のベイヤーデータのうち、ｉ番目のベイヤーデータを記録媒体１１２から読み出す。ただし、パラメータｉの初期値は１にセットされている。Ｎ個のベイヤーデータの中から読み出す順序は、ユーザによって選択された順序でもよいし、任意の順序としてもよい。

ステップＳ４０３では、ＯＢ減算部１０７１において、ステップＳ４０２で読み出したベイヤーデータに対して、読み出したベイヤーデータと同一のファイルに記録されているＯＢ値を用いたＯＢ減算処理を施す。ステップＳ４０４では、ＷＢ補正部１０７２により、ＯＢ減算処理が施されたベイヤーデータに対して、読み出したベイヤーデータと同一のファイルに記録されているホワイトバランスゲインを用いたホワイトバランス補正処理を施す。

ステップＳ４０５では、ホワイトバランス補正処理が施されたベイヤーデータを構成する各画素の画素値を１／Ｎ倍する。これは、Ｎ枚のベイヤーデータを合成して１枚の合成画像を生成する際に、適切な明るさを維持するために行う処理である。

なお、画素値に乗じる値は、１／Ｎに限定されることはない。例えば、４枚のベイヤーデータを合成する場合において、選択したベイヤーデータそれぞれが１段アンダー（露光量が適正露光量の半分）で撮影されていた場合には、係数として０．５（１／２）を用いた方がよい。

ステップＳ４０６では、パラメータｉに１を加算する。ステップＳ４０７では、パラメータｉが合成枚数Ｎより大きい値になったか否かを判定する。パラメータｉがＮより大きくなっていないと判定するとステップＳ４０２に戻り、ステップＳ４０２からステップＳ４０７までの処理を行う。一方、パラメータｉがＮより大きくなっていると判定すると、パラメータｉの値を初期値１にセットして、ステップＳ４０８に進む。これにより、合成対象の全てのベイヤーデータに対して、各ベイヤーデータのホワイトバランスモードに応じたホワイトバランス補正処理が施される。

ステップＳ４０８では、Ｎ枚のベイヤーデータを合成する処理を行う。ここでは、ベイヤーデータの同一座標値における各画素の画素値を加算して、１枚の合成画像データを生成する。

ステップＳ４０９では、生成した合成画像データのＳｖ値を算出する。ここでは、次式（１）により、合成画像データのＳｖ値を算出する。式（１）において、Ｇｉは、Ｎ枚の画像データを用いて合成画像データを生成する際に、ｉ（ｉ＝１〜Ｎ）番目の画像データを使用する程度を示す係数であり、Ｓｖｉは、ｉ番目の画像データのＳｖ値である。

式（１）では、複数のベイヤーデータごとに、ＩＳＯ感度に応じたＳｖ値に合成係数Ｇｉを乗じ、乗じて得られる全ての値を加算した合計値を平均して平均Ｓｖ値を算出し、算出した平均Ｓｖ値を、合成画像データのＳｖ値としている。

上述した説明では、Ｇｉ＝１／Ｎとしているため、合成画像データのＳｖ値は、次式（２）で表される。

ステップＳ４１０では、生成した合成画像データをメモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。ここで、合成画像データは画像処理前であるため、ベイヤーデータとして記録媒体１１２に記録する。この時、記録する合成画像データのサムネイル画像データを作成して、合成画像データとともに記録しておく。さらに、生成した合成画像データに対して現像処理を行う際に用いるＯＢ値、ホワイトバランスゲイン、カラーマトリクス、および、Ｓｖ値を、生成した合成画像データと同一のファイルに記録しておく。記録するＯＢ値は０、ホワイトバランスゲインは１．０、カラーマトリクスは、特定のカラーマトリクス（例えば、晴天時のカラーマトリクス）、Ｓｖ値は、ステップＳ４０９で算出した値とする。

図６は、図２に示すフローチャートのステップＳ２０６で行う現像処理についての詳しい処理内容を示すフローチャートである。ステップＳ５０１では、ユーザによる操作部１１６の操作に応じて、現像処理を行うベイヤーデータを選択する。ここでは、まず、記録媒体１１２に記録した複数のサムネイル画像データをＬＣＤ１１４に表示する。そして、ユーザによって、現像処理を行うサムネイル画像データが選択されると、記録媒体１１２に記録されている複数のベイヤーデータの中から、選択されたサムネイル画像データと対応するベイヤーデータを選択する。

ステップＳ５０２では、ステップＳ５０１で選択されたベイヤーデータを記録媒体１１２から読み出す。ステップＳ５０３では、ＯＢ減算部１０７１により、読み出したベイヤーデータに対して、読み出したベイヤーデータと同一のファイルに記録されているＯＢ値を用いたＯＢ減算処理を施す。合成画像データの現像処理を行う場合、記録されているＯＢ値は０であるため、実質的にＯＢ減算処理を行わないのと等しい。

ステップＳ５０４では、ＷＢ補正部１０７２により、ＯＢ減算処理が施されたデータに対して、読み出したベイヤーデータと同一のファイルに記録されているホワイトバランスゲインを用いたホワイトバランス補正処理を施す。合成画像データの現像処理を行う場合、記録されているホワイトバランスゲインは１．０であるため、実質的にホワイトバランス補正処理を行わないのと等しい。

なお、上述したように、合成画像データの現像処理を行う場合には、ＯＢ減算処理およびホワイトバランス補正処理を実質的に行わないのと等しいため、ステップＳ５０３およびステップＳ５０４の処理を行わないようにしてもよい。

ステップＳ５０５では、同時化処理部１０７３により、ホワイトバランス補正処理が施されたデータに対して、同時化処理を施す。ステップＳ５０６では、カラーマトリクス演算部１０７５により、同時化処理が施されたデータに対して、読み出したベイヤーデータと同一のファイルに記録されているカラーマトリクスを用いたカラーマトリクス演算を行う。

ステップＳ５０７では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われたデータに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。ステップＳ５０８では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われたデータに対して、エッジ強調処理を行う。

ステップＳ５０９では、ＮＲ処理部１０７７により、エッジ強調処理が行われたデータに対して、ノイズを低減する処理を行う。ここでも、図３に示すフローチャートのステップＳ３１４の処理と同様に、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。この時、合成画像データと同一のファイルに記録されているＳｖ値に応じたノイズ低減強度にて、ノイズ低減処理を行う。

上述したように、Ｆｌａｓｈメモリ１１７には、図４に示すような、Ｓｖ値と、コアリングパラメータまたはＮＲパラメータとの関係を定めたテーブルデータが記録されている。ＮＲ処理部１０７７は、Ｆｌａｓｈメモリ１１７からテーブルデータを読み出し、合成画像データと同一のファイルに記録されているＳｖ値に基づいて、読み出したテーブルデータを参照することにより、コアリングパラメータまたはＮＲパラメータを求めて、ノイズ低減処理を行う。この時、テーブルデータに対応するＳｖ値が無い場合には、線形補間等で補間したパラメータを用いて、ノイズ低減処理を行う。

ステップＳ５１０では、ＪＰＥＧ処理部１１０において、ノイズ低減処理が行われたデータに対して、ＪＰＥＧ圧縮を行う。ステップＳ５１１では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮されたデータに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

第１の実施形態における画像処理装置によれば、撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成する。この画像処理装置において、複数のＲＡＷ画像データ各々の撮影感度と、複数のＲＡＷ画像データ各々の合成係数とに基づいて、ノイズ低減の度合いを示すノイズ低減強度を制御し、制御したノイズ低減強度に基づいて、合成画像データのノイズを低減する。これにより、各ＲＡＷ画像データの撮影感度および合成係数に基づいて、合成画像データのノイズを効果的に低減することができる。

特に、第１の実施形態における画像処理装置によれば、複数のＲＡＷ画像データごとに、撮影感度に合成係数を乗じ、乗じて得られる全ての値を加算した合計値を平均して、平均撮影感度を算出し、算出した平均撮影感度に基づいて、ノイズ低減強度を制御する。これにより、合成画像データの撮影感度を簡易に求めて、合成画像データのノイズを効果的に低減することができる。

＜第２の実施形態＞
第１の実施形態における画像処理装置では、合成画像データのＩＳＯ感度を算出（推定）し、算出（推定）したＩＳＯ感度に基づいて、ノイズ低減の度合いを示すノイズ低減強度を決定した。第２の実施形態における画像処理装置では、合成画像データのノイズ量を推定し、推定したノイズ量に基づいて、ノイズ低減の度合いを示すノイズ低減強度を決定する。なお、第２の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。

図７は、第２の実施形態における画像処理装置によって行われる合成処理についての詳しい処理内容を示すフローチャートである。図５に示すフローチャートの処理と同一の処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。

ステップＳ４０５に続くステップＳ７０１では、処理対象であるｉ番目のベイヤーデータのＳｖ値に応じたノイズ量を算出する。

図８は、Ｓｖ値とノイズ量σとの関係を定めたテーブルデータの一例を示す図である。図８に示すように、Ｓｖ値が大きいほど、すなわち、ＩＳＯ感度が高いほど、ノイズ量σは大きくなる。Ｆｌａｓｈメモリ１１７には、図８に示すようなＳｖ値とノイズ量σとの関係を定めたテーブルデータが格納されており、マイクロコンピュータ１１５は、処理対象のｉ番目のベイヤーデータと同一のファイルに記録されているＳｖ値に基づいて、上記テーブルデータを参照することにより、ノイズ量σを算出する。ここでは、ｉ（ｉ＝１〜Ｎ）番目のベイヤーデータのノイズ量をσｉと表記する。なお、テーブルデータに対応するＳｖ値が無い場合には、線形補間等で補間したノイズ量を求める。

ステップＳ４０８に続くステップＳ７０２では、次式（３）より、合成画像データのノイズ量σを算出する。ただし、Ｇｉは、合成画像データを生成する際に、ｉ番目の画像データを使用する程度を示す係数であり、ここでは、Ｇｉ＝１／Ｎである。

ステップＳ７０３では、ステップＳ７０２で算出したノイズ量σを、対応するＳｖ値に変換する。ここでは、算出したノイズ量σに基づいて、ステップＳ７０１でノイズ量を算出する際に用いたテーブルデータを参照することにより、対応するＳｖ値を逆算する。この時、算出したノイズ量σと同一のノイズ量がテーブルデータに無い場合や、算出したノイズ量σがテーブルデータの範囲外の値であった場合には、線形補間により、Ｓｖ値を算出する。算出したＳｖ値は、第１の実施形態と同様に、ステップＳ４１０において、ＯＢ値、ホワイトバランスゲイン、カラーマトリクスとともに、合成画像データと同一のファイルに記録しておく。

合成画像データの現像処理については、図６に示すフローチャートの処理と同じである。

第２の実施形態における画像処理装置によれば、複数のＲＡＷ画像データ各々の撮影感度および合成係数に基づいて、合成画像データのノイズ量を推定し、推定したノイズ量に基づいて、ノイズ低減強度を制御する。これにより、合成画像データのノイズ低減強度を精度良く求めることができるので、合成画像データのノイズをより効果的に低減することができる。

＜第３の実施形態＞
第１および第２の実施形態における画像処理装置では、画像データの合成処理時に、合成画像データのＳｖ値を算出する処理を行った。第３の実施形態における画像処理装置では、合成処理時には、Ｓｖ値を算出せずに、合成画像データの現像処理時に、Ｓｖ値を算出する。

図９は、第３の実施形態における画像処理装置によって行われる合成処理についての詳しい処理内容を示すフローチャートである。図５に示すフローチャートの処理と同一の処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。図９に示すフローチャートの処理において、図５に示すフローチャートの処理と異なるのは、ステップＳ４０９で行うＳｖ値の算出処理が省略されていることである。

また、合成画像データのＳｖ値の算出処理を行わないので、ステップＳ４１０において、合成画像データと同一のファイルに記録するＳｖ値は、例えば、負の値のように、無効な値を記録する。また、合成画像データを生成する際に使用した全てのベイヤーデータそれぞれのＳｖ値と、ステップＳ４０５で乗じた係数Ｇｉも記録しておく。

図１０は、第３の実施形態における画像処理装置によって行われる現像処理についての詳しい処理内容を示すフローチャートである。図６に示すフローチャートの処理と同一の処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。

ステップＳ５０２に続くステップＳ１００１では、合成画像データと同一のファイルに記録されているＳｖ値が有効な値であるか否かを判定する。Ｓｖ値が有効な値であると判定すると、ステップＳ５０３に進み、負の値のように、無効な値であると判定すると、ステップＳ１００２に進む。すなわち、合成画像データを生成する処理を行った場合には、ステップＳ１００２に進むことになる。

ステップＳ１００２では、各ベイヤーデータとともに記録されている、合成時に用いたベイヤーデータそれぞれのＳｖ値および係数Ｇｉを用いて、合成画像データのＳｖ値を算出する。このため、まず、各ベイヤーデータとともに記録されているＳｖ値を用いて、Ｓｖ値に応じたノイズ量σを算出する。この処理は、図７に示すフローチャートのステップＳ７０１の処理と同じである。

続いて、各ベイヤーデータごとに算出したノイズ量σｉと係数Ｇｉとを用いて、上式（３）より、合成画像データのノイズ量σを算出する。この処理は、図７に示すフローチャートのステップＳ７０２の処理と同じである。

ステップＳ１００３では、ステップＳ１００２で算出したノイズ量σを、対応するＳｖ値に変換する。この処理は、図７に示すフローチャートのステップＳ７０３の処理と同じである。

ステップＳ５０３以後の処理は、図６に示すフローチャートと同じである。

第３の実施形態における画像処理装置によれば、合成画像データを生成する際に、合成画像データのＳｖ値を算出しないので、画像の合成処理を迅速に行うことができる。

なお、上述した各実施形態の説明では、画像表示装置をデジタルスチルカメラに適用した例を挙げて説明したが、デジタルスチルカメラ以外の電子機器に適用することもできるし、各実施形態で説明した処理を実現するためのプログラムをコンピュータが実行する構成とすることもできる。例えば、ＣＰＵ、ＲＡＭ等の主記憶装置、各実施形態で説明した処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えたコンピュータにおいて、ＣＰＵが上記記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像表示装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、第３の実施形態における画像処理装置において、合成画像データのＳｖ値を算出する方法を、第２の実施形態で説明した方法を用いたが、第１の実施形態で説明した方法を用いてもよい。

第２の実施形態における画像処理装置では、合成画像データのノイズ量を推定し、推定したノイズ量を対応する撮影感度に変換して、変換した撮影感度に基づいて、ノイズ低減強度を制御するためのコアリングパラメータまたはＮＲパラメータを求めた。しかし、推定したノイズ量から直接、コアリングパラメータまたはＮＲパラメータを求めるようにしてもよい。この場合、ノイズ量σとコアリングパラメータまたはＮＲパラメータとの関係を定めたテーブルデータを予め用意しておき、推定したノイズ量に基づいて、テーブルデータを参照することにより、コアリングパラメータまたはＮＲパラメータを求める。なお、図４に、Ｓｖ値とコアリングパラメータまたはＮＲパラメータとの関係を定めたテーブルデータの一例を示し、図８に、Ｓｖ値とノイズ量σとの関係を定めたテーブルデータの一例を示していることから、ノイズ量σとコアリングパラメータまたはＮＲパラメータとの関係は容易に理解できる。

上述した実施形態では、ＲＡＷ画像データの一例としてベイヤーデータを挙げて説明したが、未現像のデータであれば、ベイヤーデータに限定されることはない。

第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。 第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。 撮影・記録動作についての詳しい処理内容を示すフローチャートである。 撮影時のＳｖ値に対応するＩＳＯ感度と、コアリングパラメータおよびノイズ低減パラメータとの関係の一例を示す図である。 合成処理についての詳しい処理内容を示すフローチャートである。 現像処理についての詳しい処理内容を示すフローチャートである。 第２の実施形態における画像処理装置によって行われる合成処理についての詳しい処理内容を示すフローチャートである。 Ｓｖ値とノイズ量σとの関係を定めたテーブルデータの一例を示す図である。 第３の実施形態における画像処理装置によって行われる合成処理についての詳しい処理内容を示すフローチャートである。 第３の実施形態における画像処理装置によって行われる現像処理についての詳しい処理内容を示すフローチャートである。

符号の説明

１…カメラ本体、２…交換式レンズ、１０１…メカシャッター、１０２…撮像素子、１０３…アナログ処理部、１０４…アナログ/デジタル変換部、１０５…バス、１０６…ＳＤＲＡＭ、１０７…画像処理部、１０８…ＡＥ処理部、１０９…ＡＦ処理部、１１０…ＪＰＥＧ処理部、１１１…メモリインターフェース、１１２…記録媒体、１１３…ＬＣＤドライバ、１１４…ＬＣＤ、１１５…マイクロコンピュータ、１１６…操作部、１１７…Ｆｌａｓｈメモリ、９９９…Ｉ／Ｆ、１０１０…レンズ、１０１１…Ｆｌａｓｈメモリ、１０１２…マイクロコンピュータ、１０１３…ドライバ、１０１４…絞り、１０７１…ＯＢ減算部、１０７２…ホワイトバランス補正部、１０７３…同時化処理部、１０７４…ガンマ・色再現処理部、１０７５…カラーマトリクス演算部、１０７６…エッジ強調処理部、１０７７…ノイズ低減処理部

Claims (12)

1. 撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成する画像合成部と、
   ノイズ低減処理におけるノイズ低減の度合いを示すノイズ低減強度を制御するノイズ低減強度制御部と、
   前記ノイズ低減強度に基づいて、前記合成画像データのノイズを低減するノイズ低減部と、
   前記複数のＲＡＷ画像データ各々の撮影感度および前記複数のＲＡＷ画像データ各々の合成係数に基づいて、前記合成画像データのノイズ量を推定するノイズ量推定部と、
   を備え、
   前記ノイズ低減強度制御部は、前記ノイズ量推定部で推定されたノイズ量に基づいて、前記ノイズ低減強度を制御することを特徴とする画像処理装置。
2. 前記ノイズ低減強度制御部は、前記ノイズ量推定部で推定されたノイズ量に基づいて、前記ノイズ低減強度を制御するためのノイズ制御パラメータを算出し、
   前記ノイズ低減部は、前記ノイズ制御パラメータに基づいて、前記合成画像データのノイズを低減することを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ量推定部で推定されたノイズ量を、対応する撮影感度に変換する変換部をさらに備え、
   前記ノイズ低減強度制御部は、前記変換部で変換された撮影感度に基づいて、前記ノイズ低減強度を制御するためのノイズ制御パラメータを算出し、
   前記ノイズ低減部は、前記ノイズ制御パラメータに基づいて、前記合成画像データのノイズを低減することを特徴とする請求項１に記載の画像処理装置。
4. 前記ノイズ量推定部で推定されたノイズ量を含む付帯情報とともに、前記合成画像データを記録する記録部をさらに備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記変換部で変換された撮影感度を含む付帯情報とともに、前記合成画像データを記録する記録部をさらに備えることを特徴とする請求項３に記載の画像処理装置。
6. 前記複数のＲＡＷ画像データ各々の前記撮影感度および前記合成係数を含む付帯情報とともに、前記合成画像データを記録する記録部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
7. 撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成するステップと、
   前記複数のＲＡＷ画像データ各々の撮影感度および前記合成係数に基づいて、前記合成画像データのノイズ量を推定するステップと、
   前記推定されたノイズ量に基づいて、ノイズ低減処理におけるノイズ低減の度合いを示すノイズ低減強度を制御するステップと、
   前記ノイズ低減強度に基づいて、前記合成画像データのノイズを低減するステップと、
   を備えることを特徴とする画像処理方法。
8. 前記ノイズ低減強度を制御するステップでは、前記推定されたノイズ量に基づいて、前記ノイズ低減強度を制御するためのノイズ制御パラメータを算出し、
   前記ノイズを低減するステップでは、前記ノイズ制御パラメータに基づいて、前記合成画像データのノイズを低減することを特徴とする請求項７に記載の画像処理方法。
9. 前記推定されたノイズ量を、対応する撮影感度に変換するステップをさらに備え、
   前記ノイズ低減強度を制御するステップでは、前記変換された撮影感度に基づいて、前記ノイズ低減強度を制御するためのノイズ制御パラメータを算出し、
   前記ノイズを低減するステップでは、前記ノイズ制御パラメータに基づいて、前記合成画像データのノイズを低減することを特徴とする請求項７に記載の画像処理方法。
10. 撮像により得られた複数のＲＡＷ画像データを合成する際に、各ＲＡＷ画像データごとに設定された元のＲＡＷ画像データを使用する程度を示す係数である合成係数を、各ＲＡＷ画像データに対してそれぞれ乗じた後のＲＡＷ画像データを加算することで、合成画像データを生成するステップと、
    前記複数のＲＡＷ画像データ各々の撮影感度および前記合成係数に基づいて、前記合成画像データのノイズ量を推定するステップと、
    前記推定されたノイズ量に基づいて、ノイズ低減処理におけるノイズ低減の度合いを示すノイズ低減強度を制御するステップと、
    前記ノイズ低減強度に基づいて、前記合成画像データのノイズを低減するステップと、
    をコンピュータに実行させるための画像処理プログラム。
11. 前記ノイズ低減強度を制御するステップでは、前記推定されたノイズ量に基づいて、前記ノイズ低減強度を制御するためのノイズ制御パラメータを算出し、
    前記ノイズを低減するステップでは、前記ノイズ制御パラメータに基づいて、前記合成画像データのノイズを低減することを特徴とする請求項１０に記載の画像処理プログラム。
12. 前記推定されたノイズ量を、対応する撮影感度に変換するステップをさらに備え、
    前記ノイズ低減強度を制御するステップでは、前記変換された撮影感度に基づいて、前記ノイズ低減強度を制御するためのノイズ制御パラメータを算出し、
    前記ノイズを低減するステップでは、前記ノイズ制御パラメータに基づいて、前記合成画像データのノイズを低減することを特徴とする請求項１０に記載の画像処理プログラム。

Images