JP6521776B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、露光量の異なる複数枚の画像を合成して合成画像データを生成する画像処理装置、画像処理方法に関する。

例えば、窓から晴天の外の風景が見え、室内は比較的照明が暗い場合といった明暗差の大きいシーンでは、室外の風景に露出を合わせると室内が黒つぶれし、室内に露出を合わせると室外の風景が白飛びすることがある。

このような明暗差の大きいシーンにおいて、室内と室外風景の両方の階調をなるべく残した画像を得たいという要求に応えるために、１枚の画像よりもダイナミックレンジの広い合成画像（高ダイナミックレンジ画像）を作成するＨＤＲ合成の技術が採用されたデジタルカメラが提案されている。

こうしたデジタルカメラでは、露光量の異なる複数枚の画像、例えば、適正露光よりも明るい露光条件の画像と、適正露光よりも暗い露光条件の画像と、を含む複数枚の画像を撮影し、これらの露光量の異なる複数枚の画像をＨＤＲ合成して合成画像データを生成するようになっている。

このように得られた合成画像データに対しても、通常の１枚撮影の画像データと同様に、ホワイトバランス補正が行われる。ただし、合成画像データを生成する元となる画像データは複数であるために、どの画像データに基づいてホワイトバランス係数を算出するかについての提案がなされている。

例えば、特開２０１４−１７５７３４号公報には、露光量の異なる少なくとも２つの画像の内の、どの画像の評価結果をホワイトバランス補正値を算出するために用いるかを、予め定められた条件に基づいて選択する技術が記載されている。

ところで、１枚の画像におけるホワイトバランス補正値の算出に関して、特開２００３−２４４７２３号公報には、画像を複数の領域に分割する技術が記載されている。

特開２０１４−１７５７３４号公報 特開２００３−２４４７２３号公報

上述したようなＨＤＲ合成画像のホワイトバランス補正方法としては、例えば、次の２つの方法が考えられる。

第１の方法は、ＨＤＲ合成画像自体から、ホワイトバランス係数を算出して、ホワイトバランス補正を行うことである。しかし、この方法の場合には、ＨＤＲ合成画像を生成してからでないとホワイトバランス係数を算出することができず、ホワイトバランス補正に時間を要してしまう。さらに、ＨＤＲ合成画像は、画像内の領域によって露光量が異なるために、ホワイトバランスが良好な結果にならないことがある。

また、第２の方法は、ＨＤＲ合成前の複数画像のそれぞれについて、ホワイトバランス係数を算出してホワイトバランス補正を行い、ホワイトバランス補正後の複数画像をＨＤＲ合成することである。ここに、ＨＤＲ合成前の画像には、輝度がかなり低い黒つぶれ部分や輝度がかなり高い白飛び部分があるが、こうした部分ではホワイトバランスが崩れていることがある。従って、ＨＤＲ合成前の画像に基づいて算出したホワイトバランス係数を用いてホワイトバランス補正を行った画像を合成しても、良好にホワイトバランス補正されたＨＤＲ合成画像を得られないことがある。

同様に、上記特開２０１４−１７５７３４号公報に記載されたような、露光量の異なる複数枚の画像の内の、何れか１枚の画像に基づいて算出したホワイトバランス係数を用いてＨＤＲ合成画像をホワイトバランス補正する場合にも、ダイナミックレンジが広いシーンでは黒つぶれ部分や白とび部分の存在により適切なホワイトバランス係数が得られないことがあるために、ホワイトバランスが良好な結果にならないことがある。しかも、露光量の異なる複数枚の画像の内の、どの画像が採用されるかに応じてホワイトバランス係数が変化するために、ホワイトバランス補正結果が不安定になってしまう。

また、上記特開２００３−２４４７２３号公報は、１枚の画像におけるホワイトバランス補正値を算出する技術であるために、ＨＤＲ合成画像のホワイトバランス補正をどのように行うかについては記載されていない。

本発明は上記事情に鑑みてなされたものであり、合成画像に適したホワイトバランス検出を、高速かつ安定に行うことができる画像処理装置、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、適正露光画像データを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置において、上記複数枚の画像データの内の、上記適正露光画像データを含む２枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部と、上記２枚以上の画像データの位置ずれを検出する機能を有し、該位置ずれがある場合には、上記適正露光画像データをホワイトバランス調整に用いる画像データとして選択することを上記領域毎に行い、該位置ずれがない場合には、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記２枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する画像データ選択部と、上記画像データ選択部により上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出するホワイトバランスゲイン算出部と、上記ホワイトバランスゲイン算出部により算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正するホワイトバランス補正部と、を備えている。
本発明の他の態様による画像処理装置は、適正露光画像データとアンダー露光画像データとオーバー露光画像データとを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置において、上記複数枚の画像データの内の、上記適正露光画像データと上記アンダー露光画像データと上記オーバー露光画像データとを含む３枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部と、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記３枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する画像データ選択部と、上記画像データ選択部により上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出するホワイトバランスゲイン算出部と、上記ホワイトバランスゲイン算出部により算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正するホワイトバランス補正部と、を備え、上記画像データ選択部は、適正露光に対してマイナス露出補正を行う場合には、上記オーバー露光画像データがより低い割合で選択されるように上記閾値を設定し、適正露光に対してプラス露出補正を行う場合には、上記アンダー露光画像データがより低い割合で選択されるように上記閾値を設定する。

本発明のある態様による画像処理方法は、適正露光画像データを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理方法において、上記複数枚の画像データの内の、上記適正露光画像データを含む２枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する第１ステップと、上記２枚以上の画像データの位置ずれを検出して、該位置ずれがある場合には、上記適正露光画像データをホワイトバランス調整に用いる画像データとして選択することを上記領域毎に行い、該位置ずれがない場合には、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記２枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する第２ステップと、上記第２ステップにより上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出する第３ステップと、上記第３ステップにより算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正する第４ステップと、を有している。
本発明の他の態様による画像処理方法は、適正露光画像データとアンダー露光画像データとオーバー露光画像データとを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理方法において、上記複数枚の画像データの内の、上記適正露光画像データと上記アンダー露光画像データと上記オーバー露光画像データとを含む３枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する第１ステップと、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記３枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する第２ステップと、上記第２ステップにより上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出する第３ステップと、上記第３ステップにより算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正する第４ステップと、を有し、上記第２ステップは、適正露光に対してマイナス露出補正を行う場合には、上記オーバー露光画像データがより低い割合で選択されるように上記閾値を設定し、適正露光に対してプラス露出補正を行う場合には、上記アンダー露光画像データがより低い割合で選択されるように上記閾値を設定する。

本発明の画像処理装置、画像処理方法によれば、合成画像に適したホワイトバランス検出を、高速かつ安定に行うことができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置における撮影モードの処理を示すフローチャート。 上記実施形態１の図２のステップＳ６における評価値作成処理の詳細を示すフローチャート。 上記実施形態１において、ＨＤＲ合成モードにあるときの図３のステップＳ２５における画像データ選択処理の詳細を示すフローチャート。 上記実施形態１において、ＨＤＲ合成水中撮影モードにあるときの図３のステップＳ２５における画像データ選択処理の詳細を示すフローチャート。 上記実施形態１の図２のステップＳ９における基本画像処理の詳細を示すフローチャート。 上記実施形態１において、適正露光画像の輝度相当値と比較するための閾値を、撮影時の条件に応じて設定する例を示す図。 上記実施形態１において、撮影枚数が３枚であるときの領域毎の評価値を算出する際に、閾値の近傍において露光量が異なる画像を重み付け加算する例を示す線図。 上記実施形態１において、撮影枚数が２枚であるときの領域毎の評価値を算出する際に、閾値の近傍において露光量が異なる画像を重み付け加算する例を示す線図。 上記実施形態１において、画像全体の評価値を算出する際の領域に対する重みを、領域における適正露光画像の輝度相当値に応じて変化させる例を示す線図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１０は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。すなわち、本実施形態は、露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置を、撮像装置に適用したものとなっている。

なお、本実施形態においては、撮像装置としてレンズ交換式のデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、レンズ固定式のコンパクトデジタルカメラ、あるいはスマートフォン等の、撮像機能を備えた装置であれば任意の装置であって構わない。

この撮像装置は、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信できるように接続して構成されていて、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有している。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。

絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ５０と通信し、マイクロコンピュータ５０からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ５０へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ５０とを、双方向に通信できるように接続する。

次に、カメラ本体２は、シャッタ２１と、撮像素子２２と、アナログ処理部２３と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２４と、バス２５と、ＳＤＲＡＭ２６と、ＡＥ処理部２７と、ＡＦ処理部２８と、画像処理部３０と、画像圧縮部３７と、画像伸張部３８と、ＬＣＤドライバ４１と、ＬＣＤ４２と、メモリインタフェース（メモリＩ／Ｆ）４３と、記録媒体４４と、操作部４７と、フラッシュメモリ４８と、マイクロコンピュータ５０と、を備えている。

シャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ２１は、マイクロコンピュータ５０の指令により駆動されて、撮像素子２２への光束の到達時間、つまり撮像素子２２による被写体の露光時間を制御する。

撮像素子２２は、撮像面に所定の画素ピッチで２次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ５０の制御に基づき、レンズ１１および絞り１２からの光束を受光し撮像して（つまり、結像された被写体の光学像を光電変換して）アナログ画像信号を生成する撮像部である。ここに、撮像素子２２は、レンズ１１の光軸に垂直な面を受光面とするように配置されているために、複数の画素の２次元状配列方向は、レンズ１１の光軸に垂直な方向となる。

本実施形態の撮像素子２２は、例えば、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列（Ｒ（赤色）Ｇ（緑色）Ｂ（青色）ベイヤー配列）のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

アナログ処理部２３は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２４は、アナログ処理部２３から出力されたアナログ画像信号をデジタル画像信号（適宜、画像データという）に変換する。

バス２５は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２５は、Ａ／Ｄ変換部２４と、ＳＤＲＡＭ２６と、ＡＥ処理部２７と、ＡＦ処理部２８と、画像処理部３０と、画像圧縮部３７と、画像伸張部３８と、ＬＣＤドライバ４１と、メモリＩ／Ｆ４３と、マイクロコンピュータ５０と、に接続されている。

Ａ／Ｄ変換部２４から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２５を介して転送され、ＳＤＲＡＭ２６に一旦記憶される。

ＳＤＲＡＭ２６は、上述したＲＡＷ画像データ、あるいは画像処理部３０、画像圧縮部３７、画像伸張部３８等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

ＡＥ処理部２７は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる電子シャッタの制御）等に用いられる。

ＡＦ処理部２８は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦検出値を取得する。ここで取得された合焦検出値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。

画像処理部３０は、画像データに対して種々の画像処理を行うものであり、画像データ選択部３１、ホワイトバランスゲイン算出部３２、ＨＤＲ合成部３３、および基本画像処理部３４を含んでいる。

画像データ選択部３１は、露光量の異なる複数枚の画像データの内の２枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部として機能する。さらに、画像データ選択部３１は、輝度相当値と所定の閾値とを比較した結果に応じて、上述した２枚以上の画像データの中からホワイトバランス調整に用いる画像データを領域毎に１つ以上選択する。こうして、画像データ選択部３１は、ＨＤＲ合成処理を行う際に、分割した領域毎にどの露光条件で撮影された画像データを使用するかを選択するものとなっている。また、画像データ選択部３１が画像データを選択する際には、ＨＤＲ合成処理に用いる露光量の異なる複数枚の画像データの全てをホワイトバランス調整に用いる画像データの候補とする必要はなく、２枚以上を候補とすれば良い。

ホワイトバランスゲイン算出部３２は、画像データ選択部３１により領域毎に選択された画像データを用いて、合成画像データに適用するためのホワイトバランスゲインとして、ホワイトバランス係数を算出する。

ＨＤＲ合成部３３は、露光量の異なる複数枚の画像を合成して、高ダイナミックレンジ画像合成（ＨＤＲ画像合成）を生成する画像合成部である。このＨＤＲ合成部３３は、具体的には、例えば露光量の異なる複数枚の画像における同一画素位置の輝度相当値を比較して、輝度相当値が最適となる画像の画素値をＨＤＲ合成画像における画素値として採用する等を行う。

基本画像処理部３４は、ＯＢ減算、ホワイトバランス補正、同時化、カラーマトリクス演算、ガンマ変換、色補正、エッジ強調、ノイズ低減、等の各処理を行う。従って、基本画像処理部３４はホワイトバランス補正部としての機能を備えている。この画像処理部３０によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２６に再び記憶される。

画像圧縮部３７は、画像データを記録する際に、画像処理部３０により処理された画像データをＳＤＲＡＭ２６から読み出してＪＰＥＧ圧縮方式に従って圧縮し、ＪＰＥＧ画像データを生成する。このＪＰＥＧ画像データは、マイクロコンピュータ５０によりヘッダ等を付加されて、メモリＩ／Ｆ４３を介して記録媒体４４にＪＰＥＧファイルとして記録される。

画像伸張部３８は、圧縮画像データの伸張を行う。例えば記録済み画像の再生を行う場合には、マイクロコンピュータ５０の制御に基づき、メモリＩ／Ｆ４３を介して記録媒体４４から読み出されたＪＰＥＧファイル中のＪＰＥＧ画像データを、画像伸張部３８がＪＰＥＧ伸張方式に従って伸張する。

ＬＣＤドライバ４１は、ＳＤＲＡＭ２６に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ４２を駆動制御して映像信号に基づく画像をＬＣＤ４２に表示させる。

ＬＣＤ４２は、上述したようなＬＣＤドライバ４１の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ここに、ＬＣＤ４２において行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４４に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などがある。

メモリＩ／Ｆ４３は、記録媒体４４へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体４４からの画像データの読み出しも行う。

記録媒体４４は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体４４は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４４は、撮像装置に固有の構成である必要はない。

操作部４７は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（プログラム撮影モード、絞り優先撮影モード、シャッタ速度優先撮影モード、マニュアル撮影モード、ＨＤＲ合成モード、水中撮影モード、ＨＤＲ合成水中撮影モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）、再生モードなどが含まれている。この操作部４７に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ５０へ出力される。

フラッシュメモリ４８は、マイクロコンピュータ５０により実行される処理プログラムと、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４８が記憶する情報としては、例えば、画像処理に用いるパラメータ、カメラ本体２を特定するための機種名や製造番号、ユーザにより設定された設定値、などが幾つかの例として挙げられる。このフラッシュメモリ４８が記憶する情報は、マイクロコンピュータ５０により読み取られる。

マイクロコンピュータ５０は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ５０は、ユーザにより操作部４７から操作入力が行われると、フラッシュメモリ４８に記憶されている処理プログラムに従って、フラッシュメモリ４８から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

制御部であるマイクロコンピュータ５０は、ＨＤＲ合成モード（または、ＨＤＲ合成水中撮影モード、以下適宜同様）において、絞り１２やシャッタ２１やアナログ処理部２３のゲイン（ＩＳＯ感度）等を制御しながら撮像素子２２に撮像を行わせて、露光量の異なる複数枚の画像データを取得させる撮像制御部としても機能するようになっている。

次に、図２は、撮像装置における撮影モードの処理を示すフローチャートである。この処理（および、以下の各フローチャートに示す処理）は、制御部であるマイクロコンピュータ５０の制御に基づき行われる。

電源ボタンにより撮像装置の電源がオンされて図示しないメインルーチンの処理を行っているときに、操作部４７の操作により撮像装置が撮影モードに設定されると、この処理が実行される。

するとまず、撮影条件の設定を行う（ステップＳ１）。ここでは、ユーザが設定した各種の撮影条件を取得して、取得した撮影条件となるように設定を行う。具体的に、ユーザが撮影モードとして、プログラム撮影モード、絞り優先撮影モード、シャッタ速度優先撮影モード、マニュアル撮影モード、ＨＤＲ合成モード、水中撮影モード、ＨＤＲ合成水中撮影モード等の何れを設定したかを判定し、判定結果に応じて撮像装置のモード設定を行う。

なお、以下では、ＨＤＲ合成モードまたはＨＤＲ合成水中撮影モードが設定されているものとして説明する。

次に、例えばライブビューにおいて取得された画像に基づいて、ＡＥ処理部２７により測光演算を行い、ＡＦ処理部２８により測距演算を行って、露光条件を決定する（ステップＳ２）。

すなわち、測距演算結果に基づきレンズ１１のフォーカスレンズを駆動して被写体像が撮像素子２２上に合焦するように調整し、測光演算結果に基づき露光量を算出して設定する。ただし、ユーザが手動でフォーカス位置や露光量を設定した場合には、自動設定値に優先してこれらの手動設定値を用いる。

ここでは、ＨＤＲ合成モードまたはＨＤＲ合成水中撮影モードが設定されていることを想定しているために、測光演算結果に基づき適正露光画像を得るための露光条件と、適正露光画像よりも暗いアンダー露光画像を得るための露光条件と、適正露光画像よりも明るいオーバー露光画像を得るための露光条件と、を算出して、例えばまず適正露光画像を得るための露光条件となるように絞り値やシャッタ速度やＩＳＯ感度等を設定する（ただし、撮影順序は特に限定されないために、適正露光画像よりも先にアンダー露光画像またはオーバー露光画像を撮影する場合には、これらの画像を得るための露光条件をまず設定することになる）。ここに、適正露光画像に対するアンダー露光画像とオーバー露光画像の各露出補正量は、ユーザが設定した値がある場合にはその値を用い、ユーザ設定値がない場合には予め定められた値を用いれば良い。

そして、設定された露光条件により、１枚の画像を撮影する（ステップＳ３）。

続いて、ＨＤＲ合成モード（またはＨＤＲ合成水中撮影モード）における所定枚数の撮影が終了したか否かを判定する（ステップＳ４）。この撮影枚数も、ユーザが設定した枚数がある場合にはその枚数を用い、ユーザが設定した枚数がない場合には予め定められた枚数を用いれば良い。なお、本実施形態においては、基本的に、所定枚数が３枚（あるいは後で図７を参照して説明するように、動画またはスルー画などのＨＤＲ合成処理においては、撮影枚数が２枚（適正露光画像を撮影せず、アンダー露光画像およびオーバー露光画像だけを撮影する等）となることもある）である場合を説明する。

このステップＳ４において、所定枚数の撮影がまだ終了していないと判定された場合には、露光条件を次の画像用の露光条件に変更してから（ステップＳ５）、ステップＳ３へ戻って次の撮影を行う。

こうして、ステップＳ４において所定枚数の撮影が終了したと判定された場合には、画像データ選択部３１が評価値を作成する（ステップＳ６）。なお、評価値の作成に使用する画像として、撮影された全ての画像を用いても良いし、一部の画像を用いても良い。例えば、撮影された複数の画像の中の、適正露光画像と、最もオーバーな露光条件で撮影された画像と、最もアンダーな露光条件で撮影された画像と、を用いても良い。

ここで、図３は図２のステップＳ６における評価値作成処理の詳細を示すフローチャートである。

この処理を開始すると、まず、マイクロコンピュータ５０が、水中撮影判定部として機能して、水中撮影であるか否かを判定する（ステップＳ２１）。この判定は、ユーザによる手動の設定入力（ＨＤＲ合成水中撮影モードへ設定するための入力等）に基づき行っても良いし、撮影された画像の内の例えば適正露光画像を解析することにより自動判定として行っても構わない。自動判定の場合には、例えば、画像全体の色成分を解析して、青色成分の比率が高い場合に水中撮影と判定する方法などが挙げられる。

続いて、露光量が異なる複数枚の画像の内の２枚以上の画像データのそれぞれを、複数であるＮ個の領域に分割する（ステップＳ２２）。ここに、分割方法の一例を挙げれば、縦６４×横６４分割である。また、分割は、等間隔で（つまり、各領域の大きさを均等にして）行っても良いし、あるいは中央部と周辺部とで異なる間隔で行っても構わない。以下では適宜、分割した領域をｉ（ｉ＝１，…，Ｎ）により区別することにする。

さらに、画像データ選択部３１が、画像を選択する際に用いる閾値を設定する（ステップＳ２３）。ここに、露光量の異なる複数枚の画像データの内の２枚以上の画像データの枚数をｎ枚としたときに、画像データ選択部３１は、閾値を（ｎ−１）個設定するものである。具体例として、画像枚数が３枚であるときには、画像データ選択部３１は、閾値を２個設定する。

また、閾値は、領域ｉ毎に異ならせる必要はなく、全ての領域ｉに対して同一の値を用いて構わない。そして、閾値は、予め定められた値でも良いし、撮影時の条件に応じて調整した値でも構わない。画像データ選択部３１が、閾値を、撮影時の条件に応じて設定する例については、後で図７を参照して説明する。

次に、適正露光画像、オーバー露光画像、アンダー露光画像のそれぞれにおいて、領域ｉ毎に画像情報を算出する（ステップＳ２４）。ここで算出する画像情報は、輝度相当値を含み、この輝度相当値は、例えばＲＧＢベイヤー画像であるＲＡＷ画像の場合には、領域ｉ内のＧ画素の画素値の平均値（または積算値でも構わない、以下同様）、または、領域ｉ内のＲＧＢの各色成分毎の画素値の平均値をＹ値に変換した平均Ｙ値などが該当する。

具体的に、露光量の異なる画像をｅにより表し、特に、画像枚数が３枚であるときにおける、適正露光画像をｅ＝０、オーバー露光画像をｅ＝＋１、アンダー露光画像をｅ＝−１により表すものとする。

そして、画像ｅにおける、画素座標（ｘ，ｙ）が領域ｉに含まれる（つまり、（ｘ，ｙ）∈ｉとなる）色成分Ｒｅ（ｘ，ｙ），Ｇｅ（ｘ，ｙ），Ｂｅ（ｘ，ｙ）の平均値を、次の数式１に示すように、Ｒｅｉ，Ｇｅｉ，Ｂｅｉによりそれぞれ表すことにする。
［数１］

ここで算出した画像情報である色成分の領域平均値Ｒｅｉ，Ｇｅｉ，Ｂｅｉの内の、輝度成分を最も多く含む色成分の領域平均値Ｇｅｉが上述した輝度相当値に該当する。ただし、上述したように、各色成分の領域平均値Ｒｅｉ，Ｇｅｉ，Ｂｅｉに係数を掛けて加算することにより輝度成分の領域平均値Ｙｅｉを算出して、この輝度成分の領域平均値Ｙｅｉを輝度相当値として用いても構わない。

次に、ステップＳ２３において設定した閾値と、ステップＳ２４において算出した輝度相当値とを用いて、１つ以上のどの画像ｅをホワイトバランス調整に用いる画像として領域ｉ毎に選択するか、より具体的には、領域ｉ毎にどの画像ｅをどのような重みｗｅで使用するかを設定する（ステップＳ２５）。

ここに、重みｗｅは、次の数式２に示すような規格化条件を満たすものとする。
［数２］

この重みｗｅをどのような値とするかの具体例については、後で図４、図５、図８、図９等を参照して説明する。

こうして重みｗｅが設定されたら、画像データ選択部３１は、重みｗｅによりある領域ｉに対して選択された１つ以上の画像における該領域ｉの画像情報（色成分の領域平均値Ｒｅｉ，Ｇｅｉ，Ｂｅｉ）に基づき、領域ｉの重み付け色成分Ｒｉ，Ｇｉ，Ｂｉを、次の数式３に示すように算出する（ステップＳ２６）。ここで算出した重み付け色成分Ｒｉ，Ｇｉ，Ｂｉが、ホワイトバランス係数を算出する際に用いる領域ｉ毎の評価値である。
［数３］

こうして、ステップＳ２６の処理を行ったら、この処理からリターンする。

図２の説明に戻って、ホワイトバランスゲイン算出部３２が、画像データ選択部３１により算出された評価値に基づき、合成画像データに適用するためのホワイトバランス係数を算出する（ステップＳ７）。

具体的に、まず、領域ｉ毎の評価値Ｒｉ，Ｇｉ，Ｂｉに基づいて、例えば領域ｉ毎の重みαｉを用いて、画像全体の評価値＜Ｒ＞，＜Ｇ＞，＜Ｂ＞を、次の数式４に示すように算出する。
［数４］

ここに、全てのｉに対してαｉ＝１とおけば、領域ｉ毎の評価値Ｒｉ，Ｇｉ，Ｂｉの単純平均を画像全体の評価値＜Ｒ＞，＜Ｇ＞，＜Ｂ＞とすることになる。また、領域ｉ毎の輝度相当値に基づいて重みαｉを設定する例については、後で図１０を参照して説明する。さらに、これらの例に限らず、重みαｉをその他の適宜の方法により設定しても構わない。

そして、画像全体に対して適用するグローバルなホワイトバランス係数であって、ＨＤＲ合成画像のＲ成分に対して適用するホワイトバランス係数ｇｒ、およびＨＤＲ合成画像のＢ成分に対して適用するホワイトバランス係数ｇｂを、画像全体の評価値＜Ｒ＞，＜Ｇ＞，＜Ｂ＞に基づいて、次の数式５に示すように算出する。
［数５］

続いて、ＨＤＲ合成部３３が、露光量の異なる複数枚の画像を合成して、１枚の画像よりもダイナミックレンジの広い高ダイナミックレンジ画像を作成する（ステップＳ８）。ここに、ＨＤＲ合成部３３による合成処理は、複数枚の画像に位置ずれがある場合には、例えば、適正露光画像を基準として適正露光以外の画像を位置合わせしてから行われる。

なお、以下では、ＨＤＲ合成部３３による処理は、ＲＡＷ画像データに対して行われ、作成された高ダイナミックレンジ画像もＲＡＷ画像であることを想定して説明する。ただし、ＨＤＲ合成部３３による合成処理が、画像処理部３０によって画像処理が行われた画像データに対して行われるのを妨げるものではない。

次に、基本画像処理部３４が、作成された高ダイナミックレンジ画像であるＲＡＷ画像を画像処理（いわゆる現像処理）して、ＹＣ画像（輝度色差画像）、あるいはＲＧＢ画像を生成する（ステップＳ９）。

その後、画像圧縮部３７が現像処理された画像をＪＰＥＧ圧縮し、マイクロコンピュータ５０がメモリＩ／Ｆ４３を介して記録媒体４４にＪＰＥＧファイルとして記録して（ステップＳ１０）、この処理から図示しないメイン処理にリターンする。

続いて、図４はＨＤＲ合成モードにあるときの図３のステップＳ２５における画像データ選択処理の詳細を示すフローチャートである。この画像データ選択処理は、上述したように、領域ｉ毎に行われる。

まず、ある領域ｉに関して、適正露光画像の輝度相当値をＸ（０）、アンダー露光画像の輝度相当値をＸ（−１）、オーバー露光画像の輝度相当値をＸ（＋１）として記載し、画像枚数が３枚であるときに画像データ選択部３１が設定する２個の閾値がａ，ｂ（ここに、ａ＜ｂ）であるものとする。

上述した例においては、
Ｘ（０）＝Ｇｅｉ（ｅ＝０）、またはＸ（０）＝Ｙｅｉ（ｅ＝０）
Ｘ（−１）＝Ｇｅｉ（ｅ＝−１）、またはＸ（−１）＝Ｙｅｉ（ｅ＝−１）
Ｘ（＋１）＝Ｇｅｉ（ｅ＝＋１）、またはＸ（＋１）＝Ｙｅｉ（ｅ＝＋１）
である。

そして、この図４に示す処理を開始すると、まず、Ｘ（０）＜ａであるか否かを判定する（ステップＳ３１）。

ここでＸ（０）＜ａであると判定された場合には、画像データ選択部３１は、露光量の異なる複数枚の画像データの内の２枚以上の画像データの位置ずれを検出するために、さらに、Ｘ（０）＜Ｘ（＋１）であるか否かを判定する（ステップＳ３２）。一般に、位置ずれがない場合には輝度相当値は露光量に応じた値となる。しかし、位置ずれがあると、輝度相当値と露光量とに逆転した関係が生じる場合がある。そこで、このステップＳ３２および後述するステップＳ３４は、こうした逆転が生じているか否かを判定することで、位置ずれがあるか否かを判定する処理となっている。

また、ステップＳ３１においてＸ（０）≧ａであると判定された場合には、Ｘ（０）＞ｂであるか否かを判定する（ステップＳ３３）。

ここでＸ（０）＞ｂであると判定された場合には、画像データ選択部３１は、露光量の異なる複数枚の画像データの内の２枚以上の画像データの位置ずれを検出するために、Ｘ（０）＞Ｘ（−１）であるか否かを判定する（ステップＳ３４）。

ステップＳ３２において、Ｘ（０）＜Ｘ（＋１）であると判定された場合には、オーバー露光画像を選択する（ステップＳ３５）。ここでの選択は、重みｗｅ（ｅ＝−１，０，＋１）を、ｗｅ（ｅ＝−１）＝０、ｗｅ（ｅ＝０）＝０、ｗｅ（ｅ＝＋１）＝１として設定していることを意味する。

また、ステップＳ３４において、Ｘ（０）＞Ｘ（−１）であると判定された場合には、アンダー露光画像を選択する（ステップＳ３６）。ここでの選択は、重みｗｅ（ｅ＝−１，０，＋１）を、ｗｅ（ｅ＝−１）＝１、ｗｅ（ｅ＝０）＝０、ｗｅ（ｅ＝＋１）＝０として設定していることを意味する。

それ以外の場合、つまり、ステップＳ３２においてＸ（０）≧Ｘ（＋１）であり位置ずれがあると判定された場合、ステップＳ３３においてＸ（０）≦ｂであると判定された場合、ステップＳ３４においてＸ（０）≦Ｘ（−１）であり位置ずれがあると判定された場合には、適正露光画像を選択する（ステップＳ３７）。ここでの選択は、重みｗｅ（ｅ＝−１，０，＋１）を、ｗｅ（ｅ＝−１）＝０、ｗｅ（ｅ＝０）＝１、ｗｅ（ｅ＝＋１）＝０として設定していることを意味する。

そして、ステップＳ３５〜Ｓ３７の何れかにより画像ｅの重みｗｅを設定したら、この処理からリターンする。

このように、適正露光画像の輝度相当値Ｘ（０）が、ａ≦Ｘ（０）≦ｂの場合には適正露光画像を選択し、閾値ａよりも小さい場合には基本的にオーバー露光画像を選択し、閾値ｂよりも大きい場合には基本的にアンダー露光画像を選択している。ここで基本的な選択と述べたのは、露光量の異なる複数枚の画像データの内の２枚以上の画像データの位置ずれを考慮しない場合、つまりステップＳ３２およびステップＳ３４の処理を行わない場合を指している。

これに対して位置ずれを考慮する場合には、画像データ選択部３１が、位置合わせの規準となる適正露光画像データに対する適正露光以外の画像データの位置ずれを検出して、位置ずれがある場合には、適切な情報が得られないオーバー露光画像またはアンダー露光画像を選択するのに代えて、適正露光画像を選択するようにしている。

また、図５はＨＤＲ合成水中撮影モードにあるときの図３のステップＳ２５における画像データ選択処理の詳細を示すフローチャートである。この画像データ選択処理も、上述したように、領域ｉ毎に行われる。

この図５に示す処理は、図４に示した処理におけるステップＳ３２を省略したものとなっている。従って、ステップＳ３１においてＸ（０）＜ａであると判定された場合には、ステップＳ３５へ行ってオーバー露光画像を選択する。

従って、Ｘ（０）＜ａであるときには、Ｘ（０）とＸ（＋１）の大小関係に関わらずオーバー露光画像が選択され、適正露光画像が選択されることはない。

こうして、Ｒ成分の減衰が大きい水中撮影の場合は、画像中のＲ成分が比較的残っているオーバー露光画像を優先して選択するようにしている。

なお、図４および図５においては、輝度相当値の大小関係が露光量の大小関係と逆転しているか否かに応じて位置ずれが生じているか否かを判定したが、これに限るものではなく、例えば色に基づき判定するようにしても良い。

すなわち、取得される複数枚の画像は、位置ずれがない場合には露光量が異なるだけであるために、領域ｉにおける複数枚の画像間の色の違いは小さい（一方、色の違いが大きければ、画像の位置ずれがあると推定することができる）。そこで、色値に基づき位置ずれを判定しても良い。ここに色値としては、例えば、色信号値ＲＧＢを輝度色差信号値ＹＣ変換したときの、色差信号値Ｃを利用すれば良い。

具体的に、画像データ選択部３１は、領域ｉ毎の画像情報（色成分の領域平均値Ｒｅｉ，Ｇｅｉ，Ｂｅｉ）に基づいて、画像ｅのそれぞれにおいて、領域ｉ毎の色値を算出する。ある領域ｉに関して、こうして算出された適正露光画像（ｅ＝０）の色値をＣ（０）、アンダー露光画像（ｅ＝−１）の色値をＣ（−１）、オーバー露光画像（ｅ＝＋１）の色値をＣ（＋１）として記載し、色値の差分が大きいか否かを判定するための色差閾値がＣｔｈであるものとする。

この場合に、図４のステップＳ３２の処理に代えて、
｜Ｃ（＋１）−Ｃ（０）｜＜Ｃｔｈ
の判定を行えば良い。従って、この条件式が満たされればステップＳ３５へ行ってオーバー露光画像を選択し、満たされなければ（つまり、位置ずれがあると検出されれば）ステップＳ３７へ行って適正露光画像を選択することになる。

同様に、図４および図５のステップＳ３４の処理に代えて、
｜Ｃ（−１）−Ｃ（０）｜＜Ｃｔｈ
の判定を行えば良い。この条件式が満たされればステップＳ３６へ行ってアンダー露光画像を選択し、満たされなければ（つまり、位置ずれがあると検出されれば）ステップＳ３７へ行って適正露光画像を選択することになる。

次に、図６は図２のステップＳ９における基本画像処理の詳細を示すフローチャートである。

この処理を開始すると、暗時ノイズを低減するために、撮像素子２２の有効画素領域の画素値から、撮像素子２２のオプティカルブラック領域の画素値を減算するＯＢ減算処理を行う（ステップＳ４１）。

次に、ベイヤー配列の画像データにおける、Ｒ画素の画素値に対してステップＳ７において算出したＲゲインを乗算し、Ｂ画素の画素値に対してステップＳ７において算出したＢゲインを乗算することにより、ホワイトバランス補正を行う（ステップＳ４２）。すなわち、基本画像処理部３４は、ホワイトバランス補正部として機能して、ホワイトバランスゲイン算出部３２により上述したように算出されたホワイトバランス係数を用いて、合成画像データのホワイトバランスを補正する。

続いて、同時化処理として、１画素につきＲＧＢ成分の内の１色成分のみが存在するＲＧＢベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換するデモザイキング処理を行う（ステップＳ４３）。

さらに、設定されているホワイトバランスモード（例えば、太陽光モード、電球モード、蛍光灯モード等）に応じたカラーマトリクス係数を、カメラ本体２のフラッシュメモリ４８から読み出して画像データに乗算するカラーマトリクス演算を行う（ステップＳ４４）。

そして、予め設定されているガンマテーブルをカメラ本体２のフラッシュメモリ４８から読み出して、画像データをガンマ変換する（ステップＳ４５）。

その後、色信号ＲＧＢを輝度色差信号ＹＣｂＣｒに変換してから、自然な色再現になるように彩度や色相を補正する色再現処理を、色補正処理として行う（ステップＳ４６）。

次に、画像データにバンドパスフィルタを用いることでエッジ成分を抽出し、抽出したエッジ成分にエッジ強調度に応じた係数を乗算して増幅し、増幅したエッジ成分を画像データに加算することでエッジ強調処理を行う（ステップＳ４７）。

さらに、画像データに対して、高周波を低減するフィルタを用いる、あるいは空間周波数に応じたコアリング処理を行うなどにより、ノイズ低減処理を行う（ステップＳ４８）。なお、このノイズ低減処理は、ステップＳ４３の同時化処理の前に行っても構わない。

こうして、ステップＳ４８の処理を行ったら、この処理からリターンする。

続いて、図７は、適正露光画像の輝度相当値と比較するための閾値を、撮影時の条件に応じて設定する例を示す図である。この図７においては、輝度ダイナミックレンジが０〜２５５である場合を図示している。

図７の最上段には、撮影枚数が３枚であり、特に露出補正等を行うことなく適正露光画像を撮影する場合の、閾値ａ，ｂの例を示している。この例を、以下では標準設定例という。

図７の２段目には、撮影枚数が３枚であり、マイナスに露出補正して適正露光画像を撮影する場合の、閾値ａ，ｂの例を示している。この場合には、閾値ｂは標準設定例と同じであるが、閾値ａは標準設定例よりも低い値に設定されている。すなわち、ユーザが適正露光画像の露光条件を意図的にマイナス側に露出補正していた場合は、暗い領域でも適正露光画像が選択される割合が増えるように（オーバー露光画像がより低い割合で選択されるように）、低い方の閾値ａをより低く設定している。

図７の３段目には、撮影枚数が３枚であり、プラスに露出補正して適正露光画像を撮影する場合の、閾値ａ，ｂの例を示している。この場合には、閾値ａは標準設定例と同じであるが、閾値ｂは標準設定例よりも高い値に設定されている。すなわち、ユーザが適正露光画像の露光条件を意図的にプラス側に露出補正していた場合は、明るい領域でも適正露光画像が選択される割合が増えるように（アンダー露光画像データがより低い割合で選択されるように）、高い方の閾値ｂをより高く設定している。

図７の４段目には、撮影枚数が３枚であり、かつ水中静止画撮影である場合の、閾値ａ，ｂの例を示している。この場合には、閾値ｂは標準設定例と同じであるが、閾値ａは標準設定例よりも高い値に設定されている。水中撮影の場合には、画像中のＲ成分が著しく減少する。そこで、Ｒ成分が多く保持されているオーバー露光画像が水中撮影でない場合よりも高い割合で選択されるように（図５のステップＳ３１からステップＳ３５へ移行する割合が増えるように）、低い方の閾値ａをより高く設定している。

図７の５段目には、動画またはスルー画などのＨＤＲ合成処理であって、撮影枚数が２枚となる（適正露光画像を撮影せず、アンダー露光画像およびオーバー露光画像だけを撮影する）場合の（従って、閾値の個数は２−１＝１個である）、閾値ａの例を示している。この場合の閾値ａは、例えば、標準設定例における２つの閾値ａ，ｂの中間程度の値となるように設定されている。なお、この閾値ａは、図７の例では、４段目（水中静止画）の閾値ａと同等の値として示されているが、これに限るものではない。

なお、上述した図４および図５に示した例では、領域ｉに対して何れか１枚の画像にのみ重み１を与え、他の画像には重み０を与えていた。しかし、これに限らず、複数枚の画像に対してゼロでない重みを与えるようにしても良い。

ここに、図８および図９には、閾値の近傍で、２つの画像に重み付けを与える例を示している。図８は、撮影枚数が３枚であるときの領域ｉ毎の評価値を算出する際に、閾値ａ，ｂの近傍において露光量が異なる画像を重み付け加算する例を示す線図、図９は、撮影枚数が２枚であるときの領域ｉ毎の評価値を算出する際に、閾値ａの近傍において露光量が異なる画像を重み付け加算する例を示す線図である。

図８または図９に示すように、適正露光画像の輝度相当値Ｘ（０）が閾値ａまたは閾値ｂの近傍値である場合には、図４または図５の処理において閾値を挟んで選択が切り替わる２つの画像の両方に、非ゼロの重みｗｅを付けるようにしても良い。

具体的に、図８に示す例では、輝度相当値Ｘ（０）が、閾値ａの近傍であるときに、
ｗｅ（ｅ＝＋１）≠０ ， ｗｅ（ｅ＝０）≠０ ， ｗｅ（ｅ＝−１）＝０
となっていて、閾値ｂの近傍であるときに、
ｗｅ（ｅ＝＋１）＝０ ， ｗｅ（ｅ＝０）≠０ ， ｗｅ（ｅ＝−１）≠０
となっている。

また、図９に示す例では、輝度相当値Ｘ（０）が閾値ａの近傍であるときに、
ｗｅ（ｅ＝＋１）≠０ ， ｗｅ（ｅ＝−１）≠０
となっている。

図８、図９に示す何れの場合にも、重みｗｅは数式２に示した規格化条件を満たしながら、閾値ａ，ｂの近傍において非ゼロである重みの比率が輝度相当値Ｘ（０）に応じて変化し、閾値ａ，ｂの近傍以外は図４および図５に示した例と同様の重みとなっている。そして、これらの重みｗｅを用いて数式３に示すように領域ｉ毎の評価値Ｒｉ，Ｇｉ，Ｂｉが算出される。

続いて、図１０は、画像全体の評価値を算出する際の領域ｉに対する重みαｉを、領域ｉにおける適正露光画像の輝度相当値Ｘ（０）に応じて変化させる例を示す線図である。

領域ｉ毎の評価値Ｒｉ，Ｇｉ，Ｂｉに基づいて画像全体の評価値＜Ｒ＞，＜Ｇ＞，＜Ｂ＞を算出する際に用いる重みαｉは、上述したように、単純平均を得るために１とするに限るものではなく、領域ｉ毎に異ならせても構わない。

図１０は、領域ｉ毎の適正露光画像の輝度相当値Ｘ（０）に基づいて重みαｉを設定する例となっている。なお、この図１０においても、輝度ダイナミックレンジが０〜２５５である場合を図示している。

具体的に、この図１０に示す例では、重みαｉは、領域ｉの適正露光画像の輝度相当値Ｘ（０）が例えば閾値ｂよりも幾らか小さい値Ｘｐであるときにαｉ＝１をとり、輝度相当値Ｘ（０）がＸｐより小さくなるとαｉが減少してＸ（０）＝０でαｉ＝０となり、輝度相当値Ｘ（０）がＸｐより大きくなってもαｉが減少してＸ（０）＝２５５でαｉ＝０となるように設定されている。なお、図１０には増減が直線的となる例を示しているが、これに限定されるものではない。

このような設定を行うことにより、適正露光画像の輝度相当値Ｘ（０）が閾値ｂよりも大きく、適正露光画像において画素値が飽和する付近となる領域Ｒｕの、重みαｉを低下させることができる。さらに、適正露光画像の輝度相当値Ｘ（０）が閾値ｂ以下である領域Ｒｍにおいても、輝度相当値Ｘ（０）が０に近くて適正露光画像において画素が黒つぶれとなる付近の重みαｉを徐々に低下させることができる。

これにより、画像全体の評価値＜Ｒ＞，＜Ｇ＞，＜Ｂ＞に対する、カラーバランスが崩れる可能性のある画素飽和付近の寄与、およびカラーバランスが不鮮明となる黒つぶれ付近の寄与を、適切に抑圧することができ、カラーバランスを取得するのに適した中間の明るさの領域を重要視したホワイトバランス係数の算出が可能となる。

また、上述した例に限らず、領域ｉが画像全体の中央部分に位置する場合に重みαｉを大きくし、画像の周辺部分に位置する場合に重みαｉを小さくするようにしても構わない。この場合には、画面の中央部分に位置する被写体のカラーバランスを重要視することができる。

このような実施形態１によれば、露光量の異なる複数枚の内の２枚以上の画像データの画像データを複数の領域に分割して、分割した領域ｉ毎の輝度相当値と所定の閾値とを比較した結果に応じて、ホワイトバランス調整に用いる画像データを領域ｉ毎に１つ以上選択し、選択した画像データを用いて合成画像データに適用するためのホワイトバランス係数を算出するようにしたために、合成画像に適したホワイトバランス検出を、高速かつ安定に行うことができる。

また、閾値を撮影時の条件に応じて設定するようにしたために、露出補正が行われた場合や、水中撮影の場合、動画／スルー画撮影の場合などの、それぞれに適した閾値により、ホワイトバランス調整に用いる画像データを選択することが可能となる。

適正露光画像の輝度相当値Ｘ（０）が、適正範囲内である場合には適正露光画像を選択し、低い場合にはオーバー露光画像を選択し、高い場合にはアンダー露光画像を選択するようにしたために、ホワイトバランス係数を算出するのに適した明るさの画像データを、領域ｉ毎に適切に選択することができる。

また、位置ずれがある場合には、位置合わせの規準となる適正露光画像データを選択するようにしたために、位置ずれによって適切な情報が得られないオーバー露光画像またはアンダー露光画像が選択されるのを抑制することができる。

このとき、領域ｉ毎の輝度相当値に基づき位置ずれを検出する場合には、輝度相当値が画像データ選択に用いられる値であるために、他の値を算出する等の処理が不要となる。

一方、領域ｉ毎の色値の差分に基づき位置ずれを検出する場合には、画像データの選択を色の相違に基づいて適切に行うことができる。

さらに、規格化条件を満たす重みを用いて評価値を算出するようにしたために、任意の領域に対して、複数枚の画像を適切な割合で組み合わせることが可能となる。

そして、水中撮影の場合には、水中撮影でない場合よりもオーバー露光画像が高い割合で選択されるように画像データを選択するようにしたために、具体的には水中撮影でない場合よりもオーバー露光画像が高い割合で選択されるように閾値を設定したために、Ｒ成分が多く保持されているオーバー露光画像に基づきホワイトバランス係数を適切に算出することが可能となる。

また、適正露光画像にマイナス露出補正が行われている場合には、オーバー露光画像がより低い割合で選択されるように閾値を設定し、適正露光画像にプラス露出補正が行われている場合には、アンダー露光画像がより低い割合で選択されるように閾値を設定したために、撮影者の意図に沿った被写体部分を重視したホワイトバランス補正を行うことが可能となる。

さらに、輝度相当値として、輝度成分を最も多く含む色成分（例えばＧ成分）の値を用いる場合には、ＲＧＢ色成分から輝度成分Ｙを算出する処理を省略して、処理負荷を軽減することが可能となる。

なお、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行うための画像処理方法であっても良いし、コンピュータに画像処理装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…シャッタ
２２…撮像素子
２３…アナログ処理部
２４…Ａ／Ｄ変換部
２５…バス
２６…ＳＤＲＡＭ
２７…ＡＥ処理部
２８…ＡＦ処理部
３０…画像処理部
３１…画像データ選択部
３２…ホワイトバランスゲイン算出部
３３…ＨＤＲ合成部
３４…基本画像処理部
３７…画像圧縮部
３８…画像伸張部
４１…ＬＣＤドライバ
４２…ＬＣＤ
４３…メモリＩ／Ｆ
４４…記録媒体
４７…操作部
４８…フラッシュメモリ
５０…マイクロコンピュータ

Claims (12)

1. 適正露光画像データを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置において、
   上記複数枚の画像データの内の、上記適正露光画像データを含む２枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部と、
   上記２枚以上の画像データの位置ずれを検出する機能を有し、該位置ずれがある場合には、上記適正露光画像データをホワイトバランス調整に用いる画像データとして選択することを上記領域毎に行い、該位置ずれがない場合には、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記２枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する画像データ選択部と、
   上記画像データ選択部により上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出するホワイトバランスゲイン算出部と、
   上記ホワイトバランスゲイン算出部により算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正するホワイトバランス補正部と、
   を備えることを特徴とする画像処理装置。
2. 適正露光画像データとアンダー露光画像データとオーバー露光画像データとを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置において、
   上記複数枚の画像データの内の、上記適正露光画像データと上記アンダー露光画像データと上記オーバー露光画像データとを含む３枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部と、
   上記輝度相当値と所定の閾値とを比較した結果に応じて、上記３枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する画像データ選択部と、
   上記画像データ選択部により上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出するホワイトバランスゲイン算出部と、
   上記ホワイトバランスゲイン算出部により算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正するホワイトバランス補正部と、
   を備え、
   上記画像データ選択部は、適正露光に対してマイナス露出補正を行う場合には、上記オーバー露光画像データがより低い割合で選択されるように上記閾値を設定し、適正露光に対してプラス露出補正を行う場合には、上記アンダー露光画像データがより低い割合で選択されるように上記閾値を設定することを特徴とする画像処理装置。
3. 上記２枚以上の画像データは、上記適正露光画像データと、アンダー露光画像データと、オーバー露光画像データとを含み、
   上記画像データ選択部は、適正露光に対してマイナス露出補正を行う場合には、上記オーバー露光画像データがより低い割合で選択されるように上記閾値を設定し、適正露光に対してプラス露出補正を行う場合には、上記アンダー露光画像データがより低い割合で選択されるように上記閾値を設定することを特徴とする請求項１に記載の画像処理装置。
4. 上記２枚以上の画像データは、上記適正露光画像データと、アンダー露光画像データと、オーバー露光画像データと、の３枚であり、上記適正露光画像データのある領域における上記輝度相当値をＸ（０）とするときに、
   上記画像データ選択部は、２個の上記閾値をａ、およびａ＜ｂを満たすｂとして設定して、
   上記画像データの位置ずれがない場合には、
   Ｘ（０）＜ａである場合に上記オーバー露光画像データを選択し、
   ａ≦Ｘ（０）≦ｂである場合に上記適正露光画像データを選択し、
   Ｘ（０）＞ｂである場合に上記アンダー露光画像データを選択し、
   上記画像データの位置ずれがある場合には、
   Ｘ（０）＜ａであっても上記適正露光画像データを選択し、
   Ｘ（０）＞ｂであっても上記適正露光画像データを選択することを特徴とする請求項１に記載の画像処理装置。
5. 上記オーバー露光画像データの上記ある領域における上記輝度相当値をＸ（＋１）、上記アンダー露光画像データの上記ある領域における上記輝度相当値をＸ（−１）とするときに、
   上記画像データ選択部は、Ｘ（０）＜ａであってかつＸ（０）≧Ｘ（＋１）であるとき、または、Ｘ（０）＞ｂであってかつＸ（０）≦Ｘ（−１）であるときに、位置ずれがあると検出することを特徴とする請求項４に記載の画像処理装置。
6. 上記画像データ選択部は、上記領域毎の画像情報に基づいて該領域毎の色値を算出し、
   上記適正露光画像データのある領域における上記色値をＣ（０）、上記オーバー露光画像データの上記ある領域における上記色値をＣ（＋１）、上記アンダー露光画像データの上記ある領域における上記色値をＣ（−１）とするときに、色値の差分が大きいか否かを判定するための色差閾値Ｃｔｈを用いて、
   Ｘ（０）＜ａであってかつ｜Ｃ（＋１）−Ｃ（０）｜≧Ｃｔｈであるとき、または、Ｘ（０）＞ｂであってかつ｜Ｃ（−１）−Ｃ（０）｜≧Ｃｔｈであるときに、位置ずれがあると検出することを特徴とする請求項４に記載の画像処理装置。
7. 上記画像データ選択部は、上記画像データの位置ずれがない場合であって、ある領域に対して、ホワイトバランス調整に用いる画像データを複数枚選択した場合には、合計が１となるような規格化条件を満たす重みを用いて、選択した複数枚の画像データにおける該ある領域の画像情報に基づき評価値を算出し、
   上記ホワイトバランスゲイン算出部は、上記画像データ選択部により算出された評価値に基づき、上記合成画像データに適用するためのホワイトバランス係数を算出することを特徴とする請求項１に記載の画像処理装置。
8. 上記２枚以上の画像データはオーバー露光画像データを含み、
   上記画像データ選択部は、水中撮影である場合には、水中撮影でない場合よりも上記オーバー露光画像データが高い割合で選択されるように、上記閾値を設定することを特徴とする請求項１に記載の画像処理装置。
9. 上記２枚以上の画像データは、上記適正露光画像データと、アンダー露光画像データと、オーバー露光画像データと、の３枚であり、上記適正露光画像データのある領域における上記輝度相当値をＸ（０）とするときに、
   上記画像データ選択部は、２個の上記閾値をａ、およびａ＜ｂを満たすｂとして設定して、水中撮影である場合に、
   Ｘ（０）＜ａである場合に上記オーバー露光画像データを選択し、
   ａ≦Ｘ（０）≦ｂである場合に上記適正露光画像データを選択し、
   Ｘ（０）＞ｂである場合に、上記画像データの位置ずれがないときには上記アンダー露光画像データを選択し、該位置ずれがあるときには上記適正露光画像データを選択することを特徴とする請求項１に記載の画像処理装置。
10. 上記輝度相当値は、輝度成分を最も多く含む色成分の値であることを特徴とする請求項１または請求項２に記載の画像処理装置。
11. 適正露光画像データを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理方法において、
    上記複数枚の画像データの内の、上記適正露光画像データを含む２枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する第１ステップと、
    上記２枚以上の画像データの位置ずれを検出して、該位置ずれがある場合には、上記適正露光画像データをホワイトバランス調整に用いる画像データとして選択することを上記領域毎に行い、該位置ずれがない場合には、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記２枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する第２ステップと、
    上記第２ステップにより上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出する第３ステップと、
    上記第３ステップにより算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正する第４ステップと、
    を有することを特徴とする画像処理方法。
12. 適正露光画像データとアンダー露光画像データとオーバー露光画像データとを含む露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理方法において、
    上記複数枚の画像データの内の、上記適正露光画像データと上記アンダー露光画像データと上記オーバー露光画像データとを含む３枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する第１ステップと、
    上記輝度相当値と所定の閾値とを比較した結果に応じて、上記３枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に１つ以上選択する第２ステップと、
    上記第２ステップにより上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出する第３ステップと、
    上記第３ステップにより算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正する第４ステップと、
    を有し、
    上記第２ステップは、適正露光に対してマイナス露出補正を行う場合には、上記オーバー露光画像データがより低い割合で選択されるように上記閾値を設定し、適正露光に対してプラス露出補正を行う場合には、上記アンダー露光画像データがより低い割合で選択されるように上記閾値を設定することを特徴とする画像処理方法。

Images