JP5642344B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、複数の画像データの合成を行う技術に関する。

近年、色処理が施された複数のカラー画像データを合成して、１つの画像に複数のシーンが写ったような画像を生成する多重露出機能を備えたデジタルカメラが知られている。特許文献１には、色処理が施されたカラー画像データを、色処理が施される前のカラー画像データに変換してから合成し、その後、再び色処理を施すことにより、ガンマ変換などの影響を排除した画像合成処理を実現する技術が開示されている。
特開２００４−４８８６６３号公報

しかしながら、ＲＡＷ画像データを用いて合成する場合、色再現などの画像処理が行われていないために、異なる光源下で撮影されたＲＡＷ画像データを単純に合成すると、ホワイトバランスが正しくない合成画像になるという問題があった。

本発明のある態様に係る画像処理装置は、撮影時に露光量を調整する露光量調整部と、撮影する毎に画像データに対するホワイトバランス補正処理のための、撮影時の光源に応じたホワイトバランスモードの設定を行うホワイトバランス設定部と、撮影する毎に得られた複数枚のＲＡＷ画像データの各々に対して、前記複数枚のＲＡＷ画像データがそれぞれ撮影時に設定されたホワイトバランスモードに対応して決定されたホワイトバランスゲインを乗じるホワイトバランス補正処理を行うホワイトバランス補正部と、合成後の画像データが適切な明るさとなるように、前記複数枚のＲＡＷ画像データの画素値を、撮影時の露光量を少なくとも考慮して補正する画素値補正部と、前記ホワイトバランス補正処理が行われ、かつ、前記画素値が補正された複数枚のＲＡＷ画像データを合成して、合成画像データを生成する画像合成部と、を備え、前記複数枚のＲＡＷ画像データは、前記ホワイトバランスモードが自動的に設定されるモードでの撮影により得られるか、または、前記ホワイトバランスモードをユーザが設定するモードでの撮影により得られることを特徴とする。

本発明の別の態様に係る画像処理方法は、撮影時に露光量を調整するステップと、撮影する毎に画像データに対するホワイトバランス補正処理のための、撮影時の光源に応じたホワイトバランスモードの設定を行うステップと、撮影する毎に得られた複数枚のＲＡＷ画像データの各々に対して、前記複数枚のＲＡＷ画像データがそれぞれ撮影時に設定されたホワイトバランスモードに対応して決定されたホワイトバランスゲインを乗じるホワイトバランス補正処理を行うステップと、合成後の画像データが適切な明るさとなるように、前記複数枚のＲＡＷ画像データの画素値を、撮影時の露光量を少なくとも考慮して補正するステップと、前記ホワイトバランス補正処理が行われ、かつ、前記画素値が補正された複数枚のＲＡＷ画像データを合成して、合成画像データを生成するステップと、を備え、前記複数枚のＲＡＷ画像データは、前記ホワイトバランスモードが自動的に設定されるモードでの撮影により得られるか、または、前記ホワイトバランスモードをユーザが設定するモードでの撮影により得られることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、撮影時に露光量を調整するステップと、撮影する毎に画像データに対するホワイトバランス補正処理のための、撮影時の光源に応じたホワイトバランスモードの設定を行うステップと、前記ホワイトバランスモードが自動的に設定されるモードでの撮影により得られるか、または、前記ホワイトバランスモードをユーザが設定するモードでの撮影により得られる複数枚のＲＡＷ画像データであって、撮影する毎に得られた複数枚のＲＡＷ画像データの各々に対して、前記複数枚のＲＡＷ画像データがそれぞれ撮影時に設定されたホワイトバランスモードに対応して決定されたホワイトバランスゲインを乗じるホワイトバランス補正処理を行うステップと、合成後の画像データが適切な明るさとなるように、前記複数枚のＲＡＷ画像データの画素値を、撮影時の露光量を少なくとも考慮して補正するステップと、前記ホワイトバランス補正処理が行われ、かつ、前記画素値が補正された複数枚のＲＡＷ画像データを合成して、合成画像データを生成するステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、ホワイトバランスが正しい合成画像を生成することができる。

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、を有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、撮像素子は、ベイヤー配列のカラーフィルタが配置されたものではなく、例えば、ＦＯＶＥＯＮ（登録商標）イメージセンサのように、１画素でＲ、Ｇ、Ｂ全ての情報を取り込むことが可能なタイプのものであってもよい。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、ＪＰＥＧ処理部１１０において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、ガンマ・色再現処理部１０７４、カラーマトリクス演算部１０７５、エッジ強調処理部１０７６、および、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。

ＯＢ減算部１０７１は、画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。

ＷＢ補正部１０７２は、画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、晴天、曇天、電球、蛍光灯などの光源に応じて、ユーザが設定可能である。

同時化処理部１０７３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。ガンマ・色再現処理部１０７４は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

カラーマトリクス演算部１０７５は、画像データに対して、カラーマトリクスを乗じる線形変換を行って、画像データの色を補正する。エッジ強調処理部１０７６は、画像データから、エッジを抽出し、抽出したエッジのデータに所定のゲインを乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。ＮＲ処理部１０７７は、高周波を低減するフィルタを用いた処理や、コアリング処理等により、ノイズを低減する処理を行う。

画像処理部１０７は、必要に応じて、内部に備えた各部１０７１〜１０７７を選択して、各処理を行う。画像処理部１０７によって各処理が行われた後の画像データは、ＳＤＲＡＭ１０６に記憶される。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

ＪＰＥＧ処理部１１０は、画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。記録媒体１１２に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１１０は、記録媒体１１２に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１４へ出力して、画像の表示を行う。画像の表示には、静止画の表示だけでなく、ライブビュー表示画等の動画の表示も含まれる。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１１５は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号等を記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。

ステップＳ２０１では、撮影を行うか否か、すなわち、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳ２０２に進み、撮影・記録動作を行う。撮影・記録動作については、図３に示すフローチャートを用いて後述する。

ステップＳ２０１でレリーズボタンが押されていないと判定すると、ステップＳ２０３に進む。ステップＳ２０３では、画像データの合成処理を行うか否かを判定する。ユーザが操作部１１６に含まれる入力キーを操作して、ＬＣＤ１１４に表示されている複数のメニューの中から、画像データの合成メニューを選択すると、画像データの合成処理を行うと判定して、ステップＳ２０４に進む。ステップＳ２０４では、画像データの合成処理を行う。画像データの合成処理の詳細な内容については、図４に示すフローチャートを用いて後述する。

画像データの合成処理を行わないと判定すると、ステップＳ２０５に進む。ステップＳ２０５では、画像データの現像処理を行うか否かを判定する。ユーザが操作部１１６に含まれる入力キーを操作して、ＬＣＤ１１４に表示されている複数のメニューの中から、画像データの現像メニューを選択すると、現像処理を行うと判定して、ステップＳ２０６に進む。ステップＳ２０６では、画像データの現像処理を行う。画像データの現像処理の詳細な内容については、図５に示すフローチャートを用いて後述する。

ステップＳ２０７では、デジタルスチルカメラの電源がオフになったか、すなわち、ユーザにより電源ボタンが押されて、電源がオフになったか否かを判定する。電源がオフになっていないと判定するとステップＳ２０１に戻り、電源がオフになったと判定すると、全ての動作を終了する。

図３は、図２に示すフローチャートのステップＳ２０２で行う撮影・記録動作についての詳しい処理内容を示すフローチャートである。ステップＳ３０１からステップＳ３０３までの処理は、ファーストレリーズにて行われる処理であり、ステップＳ３０４以後の処理は、セカンドレリーズにて行われる処理である。

ステップＳ３０１では、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。

ステップＳ３０２では、ＡＥ処理部１０９において、被写体輝度を算出する。ステップＳ３０３では、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出する。

ステップＳ３０４では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ３０５に進む。ステップＳ３０５では、レリーズボタンが戻されたか否かを判定する。レリーズボタンが半押しされている状態から戻されたと判定すると、撮影・記録動作を終了し、レリーズボタンが戻されていないと判定すると、ステップＳ３０４に戻る。

一方、ステップＳ３０４でセカンドレリーズスイッチがオンされたと判定すると、ステップＳ３０６に進む。ステップＳ３０６では、撮影を行う。撮影に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そして、算出したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、画像データを得る。

ステップＳ３０７では、画像の記録形式がＲＡＷ形式であるか否かを判定する。ユーザは、操作部１１６を操作することにより、撮影前に、画像の記録形式を選択することができる。画像の記録形式がＲＡＷ形式であると判定すると、ステップＳ３１７に進み、ＲＡＷ形式のデータであるベイヤーデータを、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。ただし、ここでは、記録するベイヤーデータごとに、サムネイル画像データを作成して、ベイヤーデータとともに記録しておく。また、撮像時に得られたＯＢ値、ホワイトバランスモードに応じたホワイトバランスゲイン、ホワイトバランスモードに応じたカラーマトリクスも同一のファイルとして、ベイヤーデータと同時に記録しておく。

なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。

一方、ステップＳ３０７で、画像の記録形式がＪＰＥＧ形式であると判定すると、ステップＳ３０８に進む。ステップＳ３０８では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。

ステップＳ３０９では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。

ステップＳ３１０では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ３１１では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ３１２では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

ステップＳ３１３では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。ステップＳ３１４では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。

ステップＳ３１５では、ＪＰＥＧ処理部１１０において、ノイズ低減処理が行われた画像データに対して、ＪＰＥＧ圧縮を行う。ステップＳ３１６では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮された画像データに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

図４は、図２に示すフローチャートのステップＳ２０４で行う合成処理についての詳しい処理内容を示すフローチャートである。ステップＳ４０１では、ユーザによる操作部１１６の操作に応じて、合成処理を行うベイヤーデータを２つ以上選択する。ここでは、まず、記録媒体１１２に記録した複数のサムネイル画像データをＬＣＤ１１４に表示する。そして、ユーザによって、合成処理を行うサムネイル画像データが２つ以上選択されると、記録媒体１１２に記録されている複数のベイヤーデータの中から、選択されたサムネイル画像データと対応するベイヤーデータを選択する。以下、選択したベイヤーデータがＮ（Ｎは、２以上の自然数）個あるものとして説明を続ける。

ステップＳ４０２では、選択されたＮ個のベイヤーデータのうち、ｉ番目のベイヤーデータを記録媒体１１２から読み出す。ただし、パラメータｉの初期値は１にセットされている。Ｎ個のベイヤーデータの中から読み出す順序は、ユーザによって選択された順序でもよいし、任意の順序としてもよい。

ステップＳ４０３では、ＯＢ減算部１０７１において、ステップＳ４０２で読み出したベイヤーデータに対して、読み出したベイヤーデータと同一のファイルに記録されているＯＢ値を用いたＯＢ減算処理を施す。ステップＳ４０４では、ＷＢ補正部１０７２により、ＯＢ減算処理が施されたベイヤーデータに対して、読み出したベイヤーデータと同一のファイルに記録されているホワイトバランスゲインを用いたホワイトバランス補正処理を施す。

ステップＳ４０５では、ホワイトバランス補正処理が施されたベイヤーデータを構成する各画素の画素値を１／Ｎ倍する。これは、Ｎ枚のベイヤーデータを合成して１枚の合成画像を生成する際に、適切な明るさを維持するために行う処理である。

なお、画素値に乗じる値は、１／Ｎに限定されることはない。例えば、４枚のベイヤーデータを合成する場合において、選択したベイヤーデータそれぞれが１段アンダー（露光量が適正露光量の半分）で撮影されていた場合には、係数として０．５（１／２）を用いた方がよい。

ステップＳ４０６では、パラメータｉに１を加算する。ステップＳ４０７では、パラメータｉが合成枚数Ｎより大きい値になったか否かを判定する。パラメータｉがＮより大きくなっていないと判定するとステップＳ４０２に戻り、ステップＳ４０２からステップＳ４０７までの処理を行う。一方、パラメータｉがＮより大きくなっていると判定すると、パラメータｉの値を初期値１にセットして、ステップＳ４０８に進む。これにより、合成対象の全てのベイヤーデータに対して、各ベイヤーデータのホワイトバランスモードに応じたホワイトバランス補正処理が施される。

ステップＳ４０８では、Ｎ枚のベイヤーデータを合成する処理を行う。ここでは、Ｎ枚のベイヤーデータの同一座標値における各画素の画素値を加算して、１枚の合成画像データを生成する。

ステップＳ４０９では、生成した合成画像データをメモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。ここで、合成画像データは画像処理前であるため、ベイヤーデータとして記録媒体１１２に記録する。この時、記録する合成画像データのサムネイル画像データを作成して、合成画像データとともに記録しておく。さらに、生成した合成画像データに対して現像処理を行う際に用いるＯＢ値、ホワイトバランスゲイン、および、カラーマトリクスを、生成した合成画像データと同一のファイルに記録しておく。記録するＯＢ値は０、ホワイトバランスゲインは１．０、カラーマトリクスは、特定のカラーマトリクス（例えば、晴天時のカラーマトリクス）とする。

図５は、図２に示すフローチャートのステップＳ２０６で行う現像処理についての詳しい処理内容を示すフローチャートである。ステップＳ５０１では、ユーザによる操作部１１６の操作に応じて、現像処理を行うベイヤーデータを選択する。ここでは、まず、記録媒体１１２に記録した複数のサムネイル画像データをＬＣＤ１１４に表示する。そして、ユーザによって、現像処理を行うサムネイル画像データが選択されると、記録媒体１１２に記録されている複数のベイヤーデータの中から、選択されたサムネイル画像データと対応するベイヤーデータを選択する。

ステップＳ５０２では、ステップＳ５０１で選択されたベイヤーデータを記録媒体１１２から読み出す。ステップＳ５０３では、ＯＢ減算部１０７１により、読み出したベイヤーデータに対して、読み出したベイヤーデータと同一のファイルに記録されているＯＢ値を用いたＯＢ減算処理を施す。合成画像データの現像処理を行う場合、記録されているＯＢ値は０であるため、実質的にＯＢ減算処理を行わないのと等しい。

ステップＳ５０４では、ＷＢ補正部１０７２により、ＯＢ減算処理が施されたデータに対して、読み出したベイヤーデータと同一のファイルに記録されているホワイトバランスゲインを用いたホワイトバランス補正処理を施す。合成画像データの現像処理を行う場合、記録されているホワイトバランスゲインは１．０であるため、実質的にホワイトバランス補正処理を行わないのと等しい。

なお、上述したように、合成画像データの現像処理を行う場合には、ＯＢ減算処理およびホワイトバランス補正処理を実質的に行わないのと等しいため、ステップＳ５０３およびステップＳ５０４の処理を行わないようにしてもよい。

ステップＳ５０５では、同時化処理部１０７３により、ホワイトバランス補正処理が施されたデータに対して、同時化処理を施す。ステップＳ５０６では、カラーマトリクス演算部１０７５により、同時化処理が施されたデータに対して、読み出したベイヤーデータと同一のファイルに記録されているカラーマトリクスを用いたカラーマトリクス演算を行う。

ステップＳ５０７では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われたデータに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

ステップＳ５０８では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われたデータに対して、エッジ強調処理を行う。ステップＳ５０９では、ＮＲ処理部１０７７により、エッジ強調処理が行われたデータに対して、ノイズを低減する処理を行う。

ステップＳ５１０では、ＪＰＥＧ処理部１１０において、ノイズ低減処理が行われたデータに対して、ＪＰＥＧ圧縮を行う。ステップＳ５１１では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮されたデータに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

第１の実施形態における画像処理装置によれば、撮像により得られた複数のＲＡＷ画像データの各々に対して、ホワイトバランス補正処理のための設定に応じたホワイトバランス補正処理を行い、ホワイトバランス補正処理が行われた複数の画像データを合成して、合成画像データを生成する。これにより、異なる光源下で撮影された複数のＲＡＷ画像データを合成する場合でも、ホワイトバランスの正しい合成画像データを生成することができる。

また、合成画像データに対して画像処理を施す場合、ホワイトバランス補正処理を行わないか、または、実質的に変化のないホワイトバランス補正処理を行うので、ホワイトバランス補正処理が重複して行われることを防ぐことができる。

＜第２の実施形態＞
第２の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。第２の実施形態における画像処理装置が第１の実施形態における画像処理装置と異なるのは、図２に示すフローチャートのステップＳ２０４で行う合成処理である。第２の実施形態における画像処理装置では、合成対象の複数のＲＡＷ画像データに対して、ホワイトバランス補正処理だけでなく、カラーマトリクス演算処理も行う。

図６は、第２の実施形態における画像処理装置によって行われる合成処理の詳細な内容を示すフローチャートである。図４に示すフローチャートの処理と同一の処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。

ステップＳ４０４でホワイトバランス補正処理を行うと、ステップＳ６０１に進む。ステップＳ６０１では、同時化処理部１０７３において、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。

ステップＳ６０２では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、処理対象のベイヤーデータと同一のファイルに記録されているカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ６０３では、カラーマトリクス演算が行われた画像データをベイヤーデータ化する処理を行う。すなわち、ステップＳ６０１で同時化処理が行われたデータは、１画素あたり、Ｒ、Ｇ、Ｂのデータが含まれているため、ベイヤーデータに戻すために、ベイヤー配列に基づいて、Ｒ、Ｇ、Ｂのうちの１つのデータを抜き出す処理を行う。

ステップＳ４０５以後の処理は、図４に示すフローチャートと同じである。ただし、ステップＳ４０９で合成画像データを記録媒体１１２に記録する際に、同一のファイルに記録するＯＢ値は０、ホワイトバランスゲインは１．０、カラーマトリクスは、単位行列とする。記録しておくカラーマトリクスを単位行列とすることにより、合成画像データに対して現像処理が行われる場合に、カラーマトリクス演算を行う前後において、合成画像データは変化しない。なお、合成画像データに対して現像処理を行う場合に、カラーマトリクス演算を行わないようにしてもよい。

第２の実施形態における画像処理装置によれば、撮像により得られた複数のＲＡＷ画像データの各々に対して、ホワイトバランス補正処理のための設定に応じたホワイトバランス補正処理を行うとともに、ホワイトバランス設定に応じたカラーマトリクス演算を行い、カラーマトリクス演算後の複数の画像データを合成して、合成画像データを生成する。これにより、ホワイトバランスだけではなく、色再現も正確な合成画像データを生成することができる。

また、合成画像データに対して画像処理を施す場合、カラーマトリクス演算を行わないか、または、実質的に変化のないカラーマトリクス演算を行うので、カラーマトリクス演算部が重複して行われるのを防ぐことができる。

＜第３の実施形態＞
上述した第１および第２の実施形態における画像処理装置では、複数のベイヤーデータを合成して得られる合成画像データに対して画像処理を行う場合、ホワイトバランスゲインを１．０としているので、ホワイトバランス補正処理を行わないのと同等である。第３の実施形態における画像処理装置では、例えば、撮影時と異なる光源に応じたホワイトバランス補正処理行う。なお、第３の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。

図７は、ホワイトバランスモードに応じたホワイトバランスゲインの一例を示す図である。ここでは、電球、晴天、曇天、日陰の４つのホワイトバランスモードが設定可能であるものとする。例えば、ホワイトバランスモードが電球の場合、ホワイトバランスゲインのＲゲインは１．０、Ｂゲインは２．５である。

合成画像データの現像処理を行う場合、ＷＢ補正部１０７２は、ユーザが設定したホワイトバランスモードのホワイトバランスゲインを、所定のホワイトバランスゲインで除算して得られるホワイトバランスゲインを用いて、ホワイトバランス補正処理を行う。所定のホワイトバランスゲインは、設定可能なホワイトバランスモード（図７に示す例では、電球、晴天、曇天、日陰）の中のいずれかのホワイトバランスモードに対応するホワイトバランスゲインとし、ここでは、晴天のホワイトバランスモードに対応するホワイトバランスゲインとする。ただし、所定のホワイトバランスゲインが、晴天のホワイトバランスモードに対応するホワイトバランスゲインに限定されることはない。

ユーザが設定したホワイトバランスモードが、例えば電球である場合、ホワイトバランス補正処理で用いるホワイトバランスゲインのＲゲインおよびＢゲインは、それぞれ、次式（１）、（２）で表される。
Ｒゲイン＝１．０／２．０ （１）
Ｂゲイン＝２．５／１．５ （２）
この場合、合成画像データのＲ信号にＲゲインを乗じ、Ｂ信号にＢゲインを乗じることにより、ホワイトバランス補正処理を行う。

第３の実施形態における画像処理装置によれば、合成画像データに対して画像処理を施す場合、ホワイトバランス補正処理の設定に応じたホワイトバランスゲインを、所定のホワイトバランスゲインで除算して得られるホワイトバランスゲインを用いて、ホワイトバランス補正処理を行う。これにより、合成画像データに対して、ユーザが希望するホワイトバランス補正処理を、適切に施すことができる。例えば、晴天下で撮影した複数のＲＡＷ画像データを合成して得られる合成画像データに対して、電球のホワイトバランスモードに対応するホワイトバランスゲインを用いたホワイトバランス補正処理を行うことにより、青みが強くなった合成画像を得ることができる。

また、所定のホワイトバランスゲインを、設定可能な複数のホワイトバランスゲインの中のいずれか一つとするので、各カメラのホワイトバランスゲインのバラツキの影響を受けることなく、適切なホワイトバランス補正処理を行うことができる。

なお、上述した各実施形態の説明では、画像表示装置をデジタルスチルカメラに適用した例を挙げて説明したが、デジタルスチルカメラ以外の電子機器に適用することもできるし、各実施形態で説明した処理を実現するためのプログラムをコンピュータが実行する構成とすることもできる。例えば、ＣＰＵ、ＲＡＭ等の主記憶装置、各実施形態で説明した処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えたコンピュータにおいて、ＣＰＵが上記記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像表示装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、デジタルスチルカメラで設定可能なホワイトバランスモードは、図７に示す電球、晴天、曇天、日陰の４つに限定されることはない。

上述した実施形態では、ＲＡＷ画像データの一例としてベイヤーデータを挙げて説明したが、未現像のデータであれば、ベイヤーデータに限定されることはない。

合成画像データと同一のファイルに記録しておくホワイトバランスゲインを１．０としたが、実質的にホワイトバランス補正を行わない略１倍のゲインであればよい。また、第２の実施形態において、合成画像データと同一のファイルに記録しておくカラーマトリクスを単位行列としたが、実質的にカラーマトリクス演算を行わない行列であればよい。

第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。 第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。 撮影・記録動作についての詳しい処理内容を示すフローチャートである。 合成処理についての詳しい処理内容を示すフローチャートである。 現像処理についての詳しい処理内容を示すフローチャートである。 第２の実施形態における画像処理装置によって行われる合成処理の詳細な内容を示すフローチャートである。 ホワイトバランスモードに応じたホワイトバランスゲインの一例を示す図である。

符号の説明

１…カメラ本体、２…交換式レンズ、１０１…メカシャッター、１０２…撮像素子、１０３…アナログ処理部、１０４…アナログ/デジタル変換部、１０５…バス、１０６…ＳＤＲＡＭ、１０７…画像処理部、１０８…ＡＥ処理部、１０９…ＡＦ処理部、１１０…ＪＰＥＧ処理部、１１１…メモリインターフェース、１１２…記録媒体、１１３…ＬＣＤドライバ、１１４…ＬＣＤ、１１５…マイクロコンピュータ、１１６…操作部、１１７…Ｆｌａｓｈメモリ、９９９…Ｉ／Ｆ、１０１０…レンズ、１０１１…Ｆｌａｓｈメモリ、１０１２…マイクロコンピュータ、１０１３…ドライバ、１０１４…絞り、１０７１…ＯＢ減算部、１０７２…ホワイトバランス補正部、１０７３…同時化処理部、１０７４…ガンマ・色再現処理部、１０７５…カラーマトリクス演算部、１０７６…エッジ強調処理部、１０７７…ノイズ低減処理部

Claims (12)

1. 撮影時に露光量を調整する露光量調整部と、
   撮影する毎に画像データに対するホワイトバランス補正処理のための、撮影時の光源に応じたホワイトバランスモードの設定を行うホワイトバランス設定部と、
   撮影する毎に得られた複数枚のＲＡＷ画像データの各々に対して、前記複数枚のＲＡＷ画像データがそれぞれ撮影時に設定されたホワイトバランスモードに対応して決定されたホワイトバランスゲインを乗じるホワイトバランス補正処理を行うホワイトバランス補正部と、
   合成後の画像データが適切な明るさとなるように、前記複数枚のＲＡＷ画像データの画素値を、撮影時の露光量を少なくとも考慮して補正する画素値補正部と、
   前記ホワイトバランス補正処理が行われ、かつ、前記画素値が補正された複数枚のＲＡＷ画像データを合成して、合成画像データを生成する画像合成部と、
   を備え、
   前記複数枚のＲＡＷ画像データは、前記ホワイトバランスモードが自動的に設定されるモードでの撮影により得られるか、または、前記ホワイトバランスモードをユーザが設定するモードでの撮影により得られることを特徴とする画像処理装置。
2. 前記ホワイトバランス補正処理が行われた複数枚のＲＡＷ画像データの各々に対して、前記ホワイトバランスモードに対応したカラーマトリクス演算を行うカラーマトリクス演算部をさらに備え、
   前記画像合成部は、前記カラーマトリクス演算が行われた複数枚のＲＡＷ画像データを合成して、合成画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記ホワイトバランス補正部は、前記合成画像データに対して画像処理を施す場合、前記ホワイトバランス補正処理を行わないか、または、処理の前後で実質的に変化のないホワイトバランス補正処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記ホワイトバランス補正部は、前記合成画像データに対して画像処理を施す場合、前記ホワイトバランス設定部における設定に応じたホワイトバランスゲインを、所定のホワイトバランスゲインで除算して得られるホワイトバランスゲインを用いて、前記ホワイトバランス補正処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記所定のホワイトバランスゲインは、前記ホワイトバランス設定部で設定可能な複数のホワイトバランスゲインの中のいずれか一つであることを特徴とする請求項４に記載の画像処理装置。
6. 前記カラーマトリクス演算部は、前記合成画像データに対して画像処理を施す場合、前記カラーマトリクス演算を行わないか、または、演算の前後で実質的に変化のないカラーマトリクス演算を行うことを特徴とする請求項２に記載の画像処理装置。
7. 前記合成画像データを記録する記録部をさらに備え、
   前記記録部は、前記ホワイトバランス補正処理を行う際に用いるホワイトバランスゲインを略１倍とした付帯情報を前記合成画像データと対応させて記録することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
8. 前記合成画像データを記録する記録部をさらに備え、
   前記記録部は、前記カラーマトリクス演算で用いるカラーマトリクスを単位行列とした付帯情報を前記合成画像データと対応させて記録することを特徴とする請求項２または請求項６に記載の画像処理装置。
9. 撮影時に露光量を調整するステップと、
   撮影する毎に画像データに対するホワイトバランス補正処理のための、撮影時の光源に応じたホワイトバランスモードの設定を行うステップと、
   撮影する毎に得られた複数枚のＲＡＷ画像データの各々に対して、前記複数枚のＲＡＷ画像データがそれぞれ撮影時に設定されたホワイトバランスモードに対応して決定されたホワイトバランスゲインを乗じるホワイトバランス補正処理を行うステップと、
   合成後の画像データが適切な明るさとなるように、前記複数枚のＲＡＷ画像データの画素値を、撮影時の露光量を少なくとも考慮して補正するステップと、
   前記ホワイトバランス補正処理が行われ、かつ、前記画素値が補正された複数枚のＲＡＷ画像データを合成して、合成画像データを生成するステップと、
   を備え、
   前記複数枚のＲＡＷ画像データは、前記ホワイトバランスモードが自動的に設定されるモードでの撮影により得られるか、または、前記ホワイトバランスモードをユーザが設定するモードでの撮影により得られることを特徴とする画像処理方法。
10. 前記ホワイトバランス補正処理が行われた複数枚のＲＡＷ画像データの各々に対して、前記ホワイトバランスモードに対応したカラーマトリクス演算を行うステップをさらに備え、
    前記合成画像データを生成するステップでは、前記カラーマトリクス演算が行われた複数枚のＲＡＷ画像データを合成して、合成画像データを生成することを特徴とする請求項９に記載の画像処理方法。
11. 撮影時に露光量を調整するステップと、
    撮影する毎に画像データに対するホワイトバランス補正処理のための、撮影時の光源に応じたホワイトバランスモードの設定を行うステップと、
    前記ホワイトバランスモードが自動的に設定されるモードでの撮影により得られるか、または、前記ホワイトバランスモードをユーザが設定するモードでの撮影により得られる複数枚のＲＡＷ画像データであって、撮影する毎に得られた複数枚のＲＡＷ画像データの各々に対して、前記複数枚のＲＡＷ画像データがそれぞれ撮影時に設定されたホワイトバランスモードに対応して決定されたホワイトバランスゲインを乗じるホワイトバランス補正処理を行うステップと、
    合成後の画像データが適切な明るさとなるように、前記複数枚のＲＡＷ画像データの画素値を、撮影時の露光量を少なくとも考慮して補正するステップと、
    前記ホワイトバランス補正処理が行われ、かつ、前記画素値が補正された複数枚のＲＡＷ画像データを合成して、合成画像データを生成するステップと、
    をコンピュータに実行させるための画像処理プログラム。
12. 前記ホワイトバランス補正処理が行われた複数枚のＲＡＷ画像データの各々に対して、前記ホワイトバランスモードに対応したカラーマトリクス演算を行うステップをさらに備え、
    前記合成画像データを生成するステップでは、前記カラーマトリクス演算が行われた複数枚のＲＡＷ画像データを合成して、合成画像データを生成することを特徴とする請求項１１に記載の画像処理プログラム。

Images