JP4218723B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、入力画像データを処理する画像処理装置、この装置の機能を備える撮像装置、画像処理方法およびプログラムに関し、特に、比較的輝度レンジが広いシーンが撮像された画像データの処理に適する画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

固体撮像素子を用いたデジタルスチルカメラ（ＤＳＣ）では、撮像により取得した画像を、デジタル画像データとしてフラッシュメモリなどの記録媒体に記録することができる。また、記録されたデジタル画像データに基づいて、その画像をモニタに表示したり、あるいはプリンタから印刷することができる。

このようなＤＳＣでの撮像時には、ＤＳＣの内部において撮像画像に対してＡＥ（Auto Exposure）処理、ＡＷＢ（Auto White Balance）処理、階調補正処理などを施すことで、所望の画質を有する画像データを得ることができる。ここで、ＡＥ処理を行う場合には、例えば、撮像画像の画角を複数のエリアに分割し、各エリアにおける重み付け平均輝度を被写体の輝度とする、あるいは、フォーカス点の輝度値を被写体の輝度とするといった手法で、被写体の輝度を測定する。そして、その測定結果に基づいて露光時間や絞りの開口、ＩＳＯ（International Standards Organization）ゲインを調節することにより、露出量を決定している。

しかし、画角内の輝度レンジが広いシーンでは、ＡＥ処理の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。例えば、測光結果を基にブラケット撮像時の適切な条件を自動的に設定するようにした画像撮影方法が知られている（例えば、特許文献１参照）。

しかし、露光条件を適切に設定したとしても、そのシーンの輝度レンジに対して撮像素子出力のダイナミックレンジが不足している場合には、白飛びや黒つぶれが起こり、画質が悪化してしまうことがある。すなわち、ブラケット撮像により得られた個々の画像では、撮像素子出力のダイナミックレンジの範囲を超える輝度成分を再現することはできない。

そこで、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像（広ダイナミックレンジ画像）を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、１回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。なお、ブラケット撮像機能を用いる代わりに、撮像素子上に大小２種類の開口を設け、それぞれの開口の領域で検出された出力を合成することで広ダイナミックレンジ画像を得る手法も提案されている。
特開２００３−３４８４３８号公報（段落番号〔００４７〕〜〔００５０〕、図３）

しかしながら、効果的なブラケット撮像を行うため、特に、広ダイナミックレンジ画像の取得を前提としてブラケット撮像を行うためには、そのブラケット撮像時の露光条件を決定することが難しいという問題があった。また、ブラケット撮像により広ダイナミックレンジ画像を取得する場合、ブラケット撮像の際に、カメラがぶれていたり、被写体が動いていたりすると、得られた画像の合成を正しく行えず、広ダイナミックレンジ画像の品質が悪化するという問題もあった。これらの問題から、１回の露光により広ダイナミックレンジ画像を生成できるようにすることが要望されているが、そのような有効な手法は考えられていなかった。

また、撮像装置の内部で処理される画像データや、生成された広ダイナミックレンジ画像は、表示デバイスで取り扱い可能な画像データよりビット数が大きいことが多いため、階調レンジを圧縮する手順が必要になることが多い。このため、入力画像の画質を損なうことなく、階調レンジを適正化できるような処理手順が要求されていた。

本発明はこのような点に鑑みてなされたものであり、入力画像データの輝度レンジを適正化できるようにした画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

本発明では上記課題を解決するために、入力画像データを処理する画像処理装置において、前記入力画像データの撮像時における露出制御値を基準とした複数段階の露出補正値を取得する露出補正値取得部と、前記入力画像データに基づいて照明成分を生成する照明成分生成部と、前記露出補正値取得部により取得された前記露出補正値の段階数分だけ設定され、前記照明成分の同一位置の画素の明るさに応じて、同一位置の画素における合計値が１となるように設定された複数の重み係数のそれぞれに対して、対応する前記露出補正値に応じた乗算係数を乗算し、各乗算値を加算することでゲイン量を算出するゲイン量算出部と、前記ゲイン量算出部により算出された前記ゲイン量を前記入力画像データに対して画素ごとに印加するゲイン印加部とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、露出補正値取得部により、入力画像データの撮像時における露出制御値を基準とした複数段階の露出補正値が取得され、照明成分生成部により、入力画像データに基づいて照明成分が生成される。そして、ゲイン印加部において入力画像データに対して画素ごとに印加されるゲインのゲイン量が、ゲイン量算出部によって算出される。ゲイン量算出部は、露出補正値取得部により取得された露出補正値の段階数分だけ設定され、照明成分の同一位置の画素の明るさに応じて、同一位置の画素における合計値が１となるように設定された複数の重み係数のそれぞれに対して、対応する露出補正値に応じた乗算係数を乗算し、各乗算値を加算することでゲイン量を算出する。

本発明の画像処理装置によれば、複数段階の露出補正値に応じた乗算係数を入力画像データに対して適用することで、入力画像の露出量を調整した信号成分が擬似的に生成され、それらの信号成分の同一画素での合成比が重み係数によって与えられる。そして、その合成比が照明成分の明るさに応じて決定される。従って、照明成分の明るさ分布に応じて、入力画像データの輝度レンジを適正化できるようになる。

以下、本発明をデジタルスチルカメラ（ＤＳＣ）に適用した場合を例に挙げ、本発明の実施の形態について図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係るＤＳＣの内部構成を示すブロック図である。

図１に示すＤＳＣは、光学ブロック１１、撮像素子１２、Ａ／Ｄ（アナログ／デジタル）変換部１３、ＩＳＯゲイン調整部１４、バッファメモリ１５、合成処理部１６、現像処理部１７、記録部１８、表示部１９、マイクロコンピュータ２０、ローパスフィルタ（ＬＰＦ）２１、および検波部２２を備えている。

光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構（いずれも図示せず）、絞り１１ａ、シャッタ１１ｂなどを具備している。光学ブロック１１内のこれらの駆動機構は、マイクロコンピュータ２０からの制御信号に応じて駆動される。撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、被写体からの入射光を電気信号に変換する。

Ａ／Ｄ変換部１３は、撮像素子１２から出力された画像信号をデジタルデータに変換する。ＩＳＯゲイン調整部１４は、マイクロコンピュータ２０からのゲイン制御値に応じて、Ａ／Ｄ変換部１３からの画像データのＲＧＢ（Red，Green，Blue）各成分に対して一様のゲインをかける。なお、ＩＳＯゲインの調整は、Ａ／Ｄ変換部１３に入力される前のアナログ画像信号の段階で行われてもよい。

バッファメモリ１５は、ブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部１６は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ２０から受け、この露出補正値に基づいて、バッファメモリ１５内の複数枚の画像を１枚の画像に合成する。

現像処理部１７は、主に、合成処理部１６から出力されるＲＡＷ（生）画像データを、可視画像のデータに変換する、いわゆるＲＡＷ現像処理を実行するブロックである。この現像処理部１７は、ＲＡＷ画像データに対して、データ補間（デモザイク）処理、各種色調整・変換処理（ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など）、所定の符号化方式（ここでは、ＪＰＥＧ（Joint Photographic Experts Group）方式を適用する）に従った画像圧縮符号化処理などを実行する。

なお、以下の各実施の形態では、Ａ／Ｄ変換部１３から出力されるＲＡＷ画像データのビット数を１２ビットとし、現像処理部１７は、この１２ビットデータを処理できる仕様となっている。また、現像処理部１７は、現像処理の過程において、例えば高輝度ニー圧縮処理（あるいは下位ビットの切り捨てなどでもよい）によって、１２ビットデータを８ビットデータにビット圧縮し、この８ビットデータに対して圧縮符号化処理を施す。また、この８ビットデータを表示部１９に対して出力する。

記録部１８は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などとして実現される。なお、記録部１８には、現像処理部１７によって符号化されたＪＰＥＧデータの他に、合成処理部１６から出力されるＲＡＷ画像データをデータファイルとして記録することができる。また、記録部１８に記録されたＲＡＷ画像データを読み出して、現像処理部１７で処理し、記録部１８にＪＰＥＧデータファイルとして新たに記録できるようにしてもよい。

表示部１９は、ＬＣＤ（Liquid Crystal Display）などからなるモニタを備えている。表示部１９は、現像処理部１７において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子１２からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがＩＳＯゲイン調整部１４および合成処理部１６を介して現像処理部１７に供給されて、現像処理（ただし、符号化処理を除く）が施される。表示部１９は、このとき現像処理部１７から順次出力される画像（プレビュー画像）をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。

マイクロコンピュータ２０は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備え、ＲＯＭに記憶されたプログラムを実行することで、このＤＳＣ全体を統括的に制御する。例えば、本実施の形態では、検波部２２からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り１１ａやシャッタ１１ｂを制御することで、ＡＥ制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部１６に通知する。

ＬＰＦ２１は、ＩＳＯゲイン調整部１４から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部２２は、ＩＳＯゲイン調整部１４からＬＰＦ２１を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。

次に、このＤＳＣにおける撮像動作、特に、広ダイナミックレンジ撮像の動作について説明する。ここで、広ダイナミックレンジ撮像（以下、ＨＤＲ撮像と呼ぶ）とは、撮像素子１２により検出可能なシーン中の輝度レンジと比較して、より広い輝度レンジの階調情報を持つ画像（以下、ＨＤＲ画像と呼ぶ）を得ることを可能とした撮像手法である。以下では、ＨＤＲ撮像が必要か否かを撮像シーンに応じて自動的に判別する撮像動作モードに、ＤＳＣが設定されている場合について説明する。

図２は、第１の実施の形態に係るＤＳＣでの撮像動作全体の手順を示すフローチャートである。
［ステップＳ１０１］ＤＳＣは、電源が投入されると、ユーザからの撮像画像の記録要求を待機する状態、すなわち、表示部１９のモニタにプレビュー画像が表示される状態となる。この状態では、ＩＳＯゲイン調整部１４から出力された画像データが、ＬＰＦ２１でフィルタ処理されることなく検波部２２に入力され、マイクロコンピュータ２０は、検波部２２での輝度情報の検波値を基に、撮像素子１２による電子シャッタ速度と絞り１１ａの開度制御とを行うことで、ＡＥ制御を行う。なお、このとき検波部２２では、例えば、撮像画像の画角を所定数の測光領域に分割して輝度値を検出し、マイクロコンピュータ２０は、各測光領域の輝度平均値からパターン判別を行うことで、適正な露出制御値を推定する。

［ステップＳ１０２］上記のようなプレビュー画像撮像用のＡＥ制御は、ユーザによるシャッタボタンに対する操作が行われるまで実行される。そして、シャッタボタンが押下されると、画像記録のためのＡＥ処理が実行される。なお、実際の動作では、例えば、ステップＳ１０２においてシャッタボタンが半押しされた場合に、ステップＳ１０３以降の処理が実行され、その後にシャッタボタンの状態が解除されることなく、全押しされた場合に、ステップＳ１０５、または、ステップＳ１０８〜Ｓ１１０、または、ステップＳ１１１〜Ｓ１１４の処理が実行される。

［ステップＳ１０３］シャッタボタンに対する半押し操作が検出されると、まず、記録画像撮像用の検波処理が実行される。この処理では、ＩＳＯゲイン調整部１４から出力された画像データに対して、ＬＰＦ２１によりフィルタ処理が施される。そして、フィルタ処理後の画像データが検波部２２に供給され、輝度値が検出されて、マイクロコンピュータ２０に通知される。

このステップＳ１０３での輝度の検波値は、後述するように、ＨＤＲ撮像やブラケット撮像が必要か否かの判定や、その判定のためのシーンの輝度レンジの測定や露出補正値の演算に用いられる。ここで、ＬＰＦ２１によりフィルタ処理が施された画像から検波を行うことで、入力画像に極端に明るい小領域や極端に暗い小領域が含まれた場合にも、それによる上記判定や演算の誤差を低減して、判定結果や演算結果を安定化させることができる。

なお、ＬＰＦ２１を用いる代わりに、後の第３の実施の形態において説明する、レンズのデフォーカス状態における撮像画像を用いる手法により、ローパスフィルタ処理が近似的に施された画像を取得してもよい。これにより、ＬＰＦ２１を省略でき、回路規模を抑制できる。

ところで、このステップＳ１０３において、ステップＳ１０１のＡＥ制御時と同じ測光領域から検波した場合には、以後のステップにおいて、ステップＳ１０１で推定された適正な露出制御値を現在の露光条件としてそのまま用いる。ただし、以下のステップでは、撮像素子１２による電子シャッタ機能だけでなく、シャッタ１１ｂも用いて露光時間を制御した場合の露出制御値を、現在の露光条件とする。

また、ステップＳ１０１のＡＥ制御とは異なる測光領域から検波し、適正な露出制御値をあらためて求めてもよい。例えば、画角中央部の所定領域（例えば全体に対して３％の面積の領域）のみから、あるいは、分割した測光領域のうち画角の中央部分とその周辺領域のみから検波して、その検波値に基づいて適正な露出制御値を推定し、現在の露光条件とする。また、このような測光領域の設定を、ユーザ操作により任意に変更できるようにしてもよい。

［ステップＳ１０４］次に、マイクロコンピュータ２０は、ＨＤＲ画像の撮像を行う必要があるか否かを判定する。ここでは、ステップＳ１０３で検波された輝度値を基に、白飛びしている画素の画像内での割合（白飛び画素割合）、および黒つぶれが生じている画素の画像内での割合（黒つぶれ画素割合）が多いか否かを判定し、それらの割合のいずれかがそれぞれに設定されたしきい値より高ければ、シーンの輝度レンジを考慮したＨＤＲ撮像が必要であると判定する。具体的には、輝度値を基に、撮像素子１２の飽和電荷量Ｑｓ以上の画素の割合を白飛び画素割合とし、撮像素子１２のノイズレベルＮｆ以下の画素の割合を黒つぶれ画素割合として算出する。これらの割合は、例えば輝度値ごとの度数を示すヒストグラムから算出することができる。

［ステップＳ１０５］白飛び画素割合と黒つぶれ画素割合の両方が、それぞれに設定されたしきい値以下であれば、現在の露光条件（すなわち、ステップＳ１０１でのＡＥ制御で推定された露光条件）で撮像した状態で、シーンの輝度レンジが撮像素子１２の出力のダイナミックレンジの中に収まっていると考えられる。従って、マイクロコンピュータ２０は、現在の露光条件に基づいて、従来からの通常の手順で撮像動作を実行させる。すなわち、シャッタボタンの全押し検出をトリガとして、現在の露光条件に基づいて露光され、取り込まれた画像データが、ＪＰＥＧデータまたはＲＡＷ画像データとして記録部１８に記録される。

［ステップＳ１０６］一方、白飛び画素割合と黒つぶれ画素割合のいずれかが、それぞれに設定されたしきい値を超えていた場合には、現在の露光条件では、シーンの輝度レンジが撮像素子１２の出力のダイナミックレンジ内に収まっていないと考えられるので、ＨＤＲ撮像が必要であると判定される。この場合には、次に、シーンの輝度レンジ、すなわち最高輝度Ｙ_Hおよび最低輝度Ｙ_Lの測定が行われる。

まず、最高輝度Ｙ_Hの測定では、マイクロコンピュータ２０は、あらかじめ設定した露出補正値のマイナス側の限界値になるか、あるいは白飛び画素がなくなるまで、露出補正値を徐々に減少させてその都度露光条件を変えながら撮像を実行させ、シーンの高輝度側の輝度値が撮像素子１２の出力のダイナミックレンジに収まるような露出補正値ＥＶ_Hを測定する。そして、測定した露出補正値ＥＶ_Hと、所定の基準露光条件下で撮像したときの撮像信号のダイナミックレンジにおける最大輝度Ｙ_DHとを基に、次の式（１）により最高輝度Ｙ_Hを計算する。

同様に、最低輝度Ｙ_Lの測定では、あらかじめ設定した露出補正値のプラス側の限界値になるか、あるいは黒つぶれ画素がなくなるまで、露出補正値を徐々に増加させながら撮像を実行させ、シーンの低輝度側の輝度値が撮像素子１２の出力のダイナミックレンジに収まるような露出補正値ＥＶ_Lを測定する。そして、測定した露出補正値ＥＶ_Lと、上記の基準露光条件下で撮像したときの撮像信号のダイナミックレンジにおける最小輝度Ｙ_DLとを基に、次の式（２）により最低輝度Ｙ_Lを計算する。なお、ここでの黒つぶれ画素は、撮像素子１２のダークノイズのノイズレベルＮｆの平均値での電荷量、あるいは以下の電荷量を持つ画素について判定される。また、ノイズレベルＮｆは、露光時間や撮像素子１２の温度などに応じて変化する。

この式（１）および（２）において、Ｑｓは撮像素子１２の飽和電荷量を示す。また、Ｑ_MAX，Ｑ_MINはそれぞれ電荷量の最大値および最小値を示し、それぞれ白，黒と規定される輝度値（白レベル，黒レベル）の検波値から換算して求めることができる。また、輝度値Ｙ_DHおよびＹ_DLはそれぞれ、あらかじめ決められた基準露光条件下での撮像素子１２の出力のダイナミックレンジ内の最大、最小の輝度値を示している。

また、この最高輝度Ｙ_Hおよび最低輝度Ｙ_Lの計算では、特に、画角中に極端に高い輝度値を持つ画素が存在した場合に、計算結果が不安定になることがある。これに対して、上述したように、撮像により得られた画像データに対して、ＬＰＦ２１によりフィルタ処理を施した後、輝度値の検波を行うことにより、このような問題を解決できる。

［ステップＳ１０７］次に、マイクロコンピュータ２０は、上記の最高輝度Ｙ_Hおよび最低輝度Ｙ_Lの計算結果を基に、ブラケット撮像が必要か否かを判定する。具体的には、Ｙ_H／Ｙ_Lの値と、撮像素子１２の出力のダイナミックレンジの換算値Ｄ_SENSORとの比較結果を基に判定する。

［ステップＳ１０８］Ｙ_H／Ｙ_Lの値がダイナミックレンジの換算値Ｄ_SENSOR以下となった場合には、撮像素子１２の出力のダイナミックレンジの方がシーンの輝度レンジより広いと判断できるので、ブラケット撮像が不要と判定する。この場合、マイクロコンピュータ２０は、ステップＳ１０１で推定した露光条件での露出制御値（ただし、シャッタ１１ｂの制御も含む）を、白飛びおよび黒つぶれが生じないように露出補正値ＥＶｏｐｔだけシフトして補正し、補正された露出制御値を用いて１回の露光動作を実行させる。

［ステップＳ１０９］さらに、マイクロコンピュータ２０は、ＩＳＯゲイン調整部１４に対して、２の（−ＥＶｏｐｔ）乗のゲインを設定して、撮像により得られた画像データを明るさＬＶが復元されるように補正する。

［ステップＳ１１０］補正された画像データは、合成処理部１６を通過して現像処理部１７に供給され、ＨＤＲ画像のＪＰＥＧデータとして記録部１８に記録される。あるいは、現像処理部１７を介することなく、ＨＤＲ画像のＲＡＷ画像データとして記録部１８に記録されてもよい。

［ステップＳ１１１］一方、Ｙ_H／Ｙ_Lの値がダイナミックレンジの換算値Ｄ_SENSORを超えた場合には、ダイナミックレンジがシーンの輝度レンジより狭いと判断できるので、ブラケット撮像が必要と判定される。この場合、マイクロコンピュータ２０は、ステップＳ１０６で測定された最高輝度Ｙ_Hおよび最低輝度Ｙ_Lに基づく露出制御値を用いて、ブラケット撮像を実行させる。すなわち、シーンの高輝度側および低輝度側の領域がそれぞれ適正な露光条件で撮像された画像を個別に取得する。

ここで、図３は、ステップＳ１１１のブラケット撮像の処理手順を示すフローチャートである。
［ステップＳ２０１］マイクロコンピュータ２０は、ステップＳ１０６で測定された最高輝度Ｙ_Hおよび最低輝度Ｙ_Lを用いて、次の式（３）および（４）に従って、シーンの高輝度側および低輝度側での各露出補正値ＥＶ_UNDERおよびＥＶ_OVERを計算する。ただし、ＥＶ_UNDER≦０、ＥＶ_OVER≧０とする。
ＥＶ_UNDER＝−ｌｏｇ₂（Ｙ_H／Ｙ_DH） ……（３）
ＥＶ_OVER＝−ｌｏｇ₂（Ｙ_L／Ｙ_DL） ……（４）
［ステップＳ２０２］マイクロコンピュータ２０は、まず、ステップＳ１０１で推定した（またはステップＳ１０３であらためて推定した）露出制御値をそのまま補正せずに用いて、露光動作を実行させ、基準画像Ｐ₀を撮像する。撮像により得られた画像データは、バッファメモリ１５に一旦格納される。

［ステップＳ２０３］マイクロコンピュータ２０は、露出補正値ＥＶ_UNDERが０であるか否かを判定する。０である場合はステップＳ２０５の処理が実行され、０でない場合はステップＳ２０４の処理が実行される。

［ステップＳ２０４］露出補正値ＥＶ_UNDERが０でなければ、マイクロコンピュータ２０は、この露出補正値ＥＶ_UNDERを適用して、露光動作を実行させる。これにより、高輝度の被写体が白飛びしないように必要最小限の分だけ露出をアンダー側に補正したときの画像Ｐ_UNDERが得られ、その画像データがバッファメモリ１５に一旦格納される。

［ステップＳ２０５］マイクロコンピュータ２０は、露出補正値ＥＶ_OVERが０であるか否かを判定する。０である場合はステップＳ１１２の処理が実行され、０でない場合はステップＳ２０６の処理が実行される。

［ステップＳ２０６］露出補正値ＥＶ_OVERが０でなければ、マイクロコンピュータ２０は、この露出補正値ＥＶ_OVERを適用して、露光動作を実行させる。これにより、低輝度の被写体が黒つぶれしないように必要最小限の分だけ露出をオーバー側に補正したときの画像Ｐ_OVERが得られ、その画像データがバッファメモリ１５に一旦格納される。

なお、この図３の処理手順では、露出補正値ＥＶ_UNDER、ＥＶ_OVERのいずれかが０の場合には、その露出補正値を用いた撮像を行わないので、必要最小限の回数の露光が実行されるようになる。また、基準画像Ｐ₀を最初に撮像することで、シャッタラグを最小限に抑制している。さらに、２枚目以降の撮像については、露光時間の短い順に撮像する（すなわち、先にアンダー補正での撮像を行う）ことで、シャッタラグを抑制できる。また、３回の撮像動作の間の時間差が小さくなるので、被写体が多少動いた場合でもほぼ同じ画像を撮像できるようになり、次のステップＳ１１２において生成される合成画像の画質劣化を低減できる。

以下、図２に戻って説明する。
［ステップＳ１１２］次に、バッファメモリ１５に格納された各画像データは、合成処理部１６に読み出され、１枚のＨＤＲ画像として合成される。合成処理部１６は、マイクロコンピュータ２０から、高輝度側、低輝度側で露出補正値ＥＶ_UNDERおよびＥＶ_OVERを受け取り、それらを用いて、合成後の画像Ｐにおける空間位置（ｘ，ｙ）での画素の電荷量Ｐ（ｘ，ｙ）を次の式（５）に従って決定し、１枚のＨＤＲ画像を生成する。なお、この式（５）において、Ｐ₀（ｘ，ｙ），Ｐ_UNDER（ｘ，ｙ），Ｐ_OVER（ｘ，ｙ）はそれぞれ、基準画像Ｐ₀，画像Ｐ_UNDER，画像Ｐ_OVERにおける空間位置（ｘ，ｙ）の画素の電荷量を示す。

この式（５）では、基準画像Ｐ₀において電荷量が飽和していない画素のデータについては、画像Ｐに合成される。ただし、露出をオーバー側に補正した画像Ｐ_OVERにおいて電荷量が飽和していない画素については、基準画像Ｐ₀ではなく画像Ｐ_OVERの画素データが画像Ｐに合成される。これにより、基準画像Ｐ₀において黒つぶれが生じていた領域に、階調を残すことができる。また、上記条件以外の画素、すなわち基準画像Ｐ₀において電荷量が飽和している画素については、露出をアンダー側に補正した画像Ｐ_UNDERの画素データが画像Ｐに合成され、これにより、基準画像Ｐ₀において白飛びが生じていた領域に、階調を残すことができる。従って、合成後の画像Ｐは、基準画像Ｐ₀よりも広い輝度レンジの階調が表現されるＨＤＲ画像となる。

また、画像Ｐ_UNDERおよびＰ_OVERの画素データを適用する際には、それらの画素データに露出補正値ＥＶ_UNDERおよびＥＶ_OVERに応じた係数が乗じられる。このような演算による作用について、次の図４を用いて説明する。

図４は、合成される画像間の明るさの関係を説明するための図である。
図４において、直線Ｌ₀は、基準画像Ｐ₀に適用した露光条件でのシーンの輝度値と撮像素子１２の電荷量との関係を示している。また、直線Ｌ_OVERは、露出をオーバー側に補正した画像Ｐ_OVERに適用した露光条件でのシーンの輝度値と撮像素子１２の電荷量との関係を示している。さらに、直線Ｌ_UNDERは、露出をアンダー側に補正した画像Ｐ_UNDERに適用した露光条件でのシーンの輝度値と撮像素子１２の電荷量との関係を示している。

Ｐ_OVER（ｘ，ｙ）≦Ｑｓの条件により、基準画像Ｐ₀における輝度値Ｙ１以下の画素のデータは、画像Ｐ_OVERの画素のデータに置き換えられる。これにより、撮像素子１２の出力のダイナミックレンジより低い輝度レンジの階調情報を、合成後の画像データに取り入れることが可能になる。このとき、露出補正値ＥＶ_OVERに応じた係数（２の−ＥＶ_OVER乗）を適用することで、直線Ｌ_OVERの輝度値Ｙ１以下に対応する成分である直線Ｌ１_OVERは、直線Ｌ₀と同じ傾きを持ち、かつ、この直線Ｌ₀に連接する直線Ｌ２_OVERに変換される。

また、Ｐ₀（ｘ，ｙ）＞Ｑｓの条件により、基準画像Ｐ₀における輝度値Ｙ２以上の画素のデータは、画像Ｐ_UNDERの画素のデータに置き換えられる。これにより、撮像素子１２の出力のダイナミックレンジより高い輝度レンジの階調情報を、合成後の画像データに取り入れることが可能になる。このとき、露出補正値ＥＶ_UNDERに応じた係数（２の−ＥＶ_UNDER乗）を適用することで、直線Ｌ_UNDERの輝度値Ｙ２以上に対応する成分である直線Ｌ１_UNDERは、直線Ｌ₀と同じ傾きを持ち、かつ、この直線Ｌ₀に連接する直線Ｌ２_UNDERに変換される。

従って、画像合成の際に、露出制御値の異なる画像の画素が隣接する境界部を挟んで、明るさの変化が連続するように画素のデータを補正することができ、違和感のない自然な合成画像（ＨＤＲ画像）を生成できるようになる。

以下、図２に戻って説明する。
［ステップＳ１１３］ステップＳ１１２の処理により合成されたＨＤＲ画像は、現像処理部１７で現像処理（データ補間処理、各種の色調整・変換処理、圧縮符号化処理）を施すことが可能な画像データよりもビット数が多くなっている。例えば、現像処理部１７で処理可能なＲＡＷ画像データが１２ビットであるのに対して、合成処理部１６で合成されたＨＤＲ画像データは、階調レンジが拡大された１５ビットデータになっている。このため、現像処理部１７は、その前段において、合成処理部１６で合成されたＨＤＲ画像データに対してビット圧縮を行い、１２ビットのＲＡＷ画像データに変換することで、その後段の現像処理部１７内の構成を変更することなく処理することが可能になる。このとき、現像処理部１７は、以下で説明するように、合成処理部１６からのＨＤＲ画像の画質を良好に保てるような階調レンジの圧縮処理を施した後、ビット圧縮を行うようにする。

図５は、ＨＤＲ画像の階調レンジ圧縮のための機能を示すブロック図である。
ＨＤＲ画像の階調レンジ圧縮のために、現像処理部１７は、図５に示すように、照明成分抽出部１７１、階調レンジ圧縮部１７２、反射率成分抽出部１７３、階調レンジ伸張部１７４、合成部１７５、およびビット圧縮部１７６を具備している。

照明成分抽出部１７１は、入力されたＨＤＲ画像データに対してローパスフィルタ処理を施すことにより、照明成分を抽出する。なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタを用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、確率的な手法を用いることもできる。

階調レンジ圧縮部１７２は、入力された照明成分のみの画像データの各画素の輝度値を、例えば入出力レベルの対応を示すルックアップテーブル（ＬＵＴ）に従って変換し、階調レンジを圧縮する。具体的には、次の図６にも示すように、照明成分の低輝度側の領域に対してはゲインを１より大きくして増幅し、高輝度側の領域に対してはゲインを１未満としてレベルを低減する。

反射率成分抽出部１７３は、入力されたＨＤＲ画像から反射率成分を抽出する。例えば、入力されたＨＤＲ画像のデータから、照明成分抽出部１７１で抽出された照明成分のデータを減算することで、反射率成分を求める。あるいは、入力されたＨＤＲ画像のデータから照明成分のデータを除算してもよい。階調レンジ伸張部１７４は、抽出された反射率成分の輝度値を、例えば入出力レベルの対応を示すＬＵＴなどに従って画素ごとに変換し、階調レンジを伸張させる。

合成部１７５は、階調レンジ圧縮部１７２および階調レンジ伸張部１７４からそれぞれ出力された画像データを画素ごとに合成し、全体として階調レンジが圧縮されたＨＤＲ画像を出力する。例えば、反射率成分抽出部１７３において、入力画像データから照明成分のデータを減算することで反射率成分のデータが求められた場合、合成部１７５では、階調レンジ圧縮部１７２および階調レンジ伸張部１７４から出力された各画像データを加算することで合成処理を行う。また、反射率成分抽出部１７３において、入力画像データから照明成分のデータを除算することで反射率成分のデータが求められた場合、合成部１７５では、階調レンジ圧縮部１７２および階調レンジ伸張部１７４から出力された各画像データを乗算することで合成処理を行う。

ビット圧縮部１７６は、合成部１７５で合成されたＨＤＲ画像のデータのビット数を圧縮する。例えば、合成部１７５から出力されるＨＤＲ画像のデータが１５ビットデータであるとき、このＲＡＷ画像データを、現像処理部１７で処理可能な１２ビットデータに変換する。

図６は、ＨＤＲ画像の階調レンジ圧縮時に設定されるゲインカーブの例を示す図である。
図６において、ａ（ｘ，ｙ）は、照明成分抽出部１７１においてローパスフィルタ処理が施されて抽出された照明成分の画素ごとの輝度値を示す。階調レンジ圧縮部１７２は、図６（Ａ）に示すように、照明成分の各画素のデータに対して、輝度が低いほど入力レベルを増幅し、輝度が高いほど入力レベルを圧縮する。これにより、全体として階調レンジが圧縮される。

一方、階調レンジ伸張部１７４では、最も基本的には、照明成分の輝度値に応じて階調レンジ圧縮部１７２と同じゲインが反射率成分に対して与えられればよい。これにより、照明成分が暗い領域において反射率成分のレベル（振幅）が増幅されるので、この領域における反射率成分がゲイン印加前に対して相対的に強調され、結果的に階調レンジが伸張される。反射率成分は、ディテールの再現性に大きく寄与する成分であるので、上記のゲインが与えられることで、暗部に埋もれていたディテール成分が強調される。従って、ディテール成分をできるだけ失うことなく、全体の階調レンジを圧縮することが可能になり、このような階調レンジ圧縮後の画像データをビット圧縮部１７６においてビット圧縮したとき、その画質を向上させることができる。

さらに、図５に示した構成では、照明成分と反射率成分のそれぞれに対応する階調レンジ圧縮部１７２および階調レンジ伸張部１７４を個別に設けており、この構成により照明成分と反射率成分のそれぞれに個別のゲインカーブを適用できるようになっている。これにより、照明成分の明るさ分布の任意の領域において、ディテールの再現性を高めることも可能になる。

この場合の好適な例としては、反射率成分に対しては、照明成分の低輝度領域に対応する画素に対して照明成分より高いゲインを印加することで、低輝度領域におけるディテール成分をさらに強調することができる。図６では、反射率成分に対しては、まず図６（Ａ）に示す照明成分と共通のゲインカーブを印加した後、さらに図６（Ｂ）に示すゲインカーブを印加する例を示している。このようなゲインカーブを適用することにより、照明成分の階調レンジ圧縮量を必要最小限にして、画像全体のコントラスト感を維持しつつ、ディテールの再現性を高めることができる。

なお、図６に示したゲインカーブにおいて、輝度Ｙ１〜Ｙ３は固定値としてあらかじめ用意されていてもよいが、これらを入力画像の信号解析結果から演算により求めてもよい。例えば、輝度Ｙ１，Ｙ２，Ｙ３を、それぞれ後の図１３において説明する輝度Ｙｌ，Ｙｍ，Ｙｈとし、これらの値を照明成分の解析結果を基に演算してもよい。

なお、図５では、階調レンジの圧縮前のＨＤＲ画像における輝度ごとの度数を示すヒストグラム１７７と、圧縮後のＨＤＲ画像における同様のヒストグラム１７８の各例を示している。これらのヒストグラム１７７および１７８によれば、階調レンジ圧縮後のＨＤＲ画像データでは、データが存在する輝度のレンジ（すなわち階調レンジ）が狭くなっているとともに、中間から低域側領域の輝度成分を持つ画素が増加し、この輝度領域における階調性が豊かになっていることがわかる。

また、この図５の説明では、照明成分の抽出にローパスフィルタを用いているが、後の第３の実施の形態において説明する、レンズのデフォーカス状態における撮像画像を用いる手法により、画像の照明成分を抽出してもよい。これにより、照明成分抽出用のローパスフィルタ回路を省略でき、回路規模を抑制できる。この手法を用いる場合には、例えば、ブラケット撮像後にデフォーカス状態にして、そのときの画像（デフォーカス画像）を取得すればよい。また、ステップＳ１０１に対応するプレビュー状態において、定期的にデフォーカス状態の画像を取得し、最新のデフォーカス画像を常にバッファメモリ１５などに保持しておいて、シャッタボタン全押し後の階調レンジ圧縮処理時にこのデフォーカス画像を利用してもよい。あるいは、ステップＳ１０３でローパスフィルタ処理を施した画像をデフォーカス画像として取得した場合には、この画像データを保持しておいて、照明成分として利用してもよい。プレビュー状態において取得した画像データ、およびステップＳ１０３で取得した画像データのいずれを利用する場合も、シャッタラグを短縮することができる。

以下、図２に戻って説明する。
［ステップＳ１１４］階調レンジ圧縮後のＨＤＲ画像データは現像処理部１７で現像され、ＨＤＲ画像のＪＰＥＧデータとして記録部１８に保存される。上述したように、本実施の形態に適用している現像処理部１７の現像処理（データ補間、色調整・変換、圧縮符号化処理）の機能は、１回露光での撮像により得られた１枚の画像のデータを処理する仕様になっている。この画像データは例えば１２ビットデータとなっており、ステップＳ１０５およびＳ１０８においてそれぞれ得られる画像データ、および、ステップＳ１１１のブラケット撮像時に得られる各画像のデータに相当する。

これに対して、ステップＳ１１２の処理により合成されたＨＤＲ画像のデータは、現像処理部１７で現像処理可能な画像データよりもビット数が多くなっており、例えば１５ビットデータとなっている。しかし、ステップＳ１１３の処理により良好な画質を保ったまま階調レンジを圧縮して、１２ビットの画像データに変換することにより、現像処理部１７の回路構成を変更することなく、現像処理を施すことができるようになる。

なお、ここでは、図５における合成部１７５による合成後のＨＤＲ画像のデータを、ビット圧縮部１７６で低ビット化してから、現像処理を施すようにしているが、現像処理部１７における処理可能なビット数に余裕がある場合には、ビット圧縮を行わずに現像処理し、その処理の過程で表示デバイスなどに適合可能なビット数（ここでは８ビット）の画像データに変換してもよい。

また、この処理例では、撮像時にＨＤＲ画像をＪＰＥＧデータとして記録するようにしているが、その他に例えば、撮像時においては、合成処理部１６からのＨＤＲ画像データを、現像処理部１７を介することなく、ＲＡＷ画像データとして記録部１８に記録しておき、その後にこのＲＡＷ画像データを読み出して、現像処理部１７で階調レンジ圧縮・現像処理を施すようにしてもよい。

また、以上の処理例では、画角の変化や被写体の動きがある場合、ステップＳ１１２の合成処理により適切な画像を生成できない可能性がある。そこで、ステップＳ１１２で合成されたＨＤＲ画像のデータをＲＡＷ画像データとして記録部１８に保存する際に、それに加えて基準画像Ｐ₀のデータを通常のダイナミックレンジを持つＲＡＷ画像データとしてともに保存しておいてもよい。また、撮像時に合成後のＨＤＲ画像をＪＰＥＧデータとして保存する場合にも、同様に基準画像Ｐ₀のデータをＪＰＥＧデータとして保存しておいてもよい。

以上説明した第１の実施の形態では、露出補正値を徐々に変化させて露光し、得られた画像からその都度、白飛び画素や黒つぶれ画素の有無を判断して、シーンの最高輝度および最低輝度を測定し、その測定結果からブラケット時の露出補正値を決定するようにしたことで、輝度レンジが広く、露光条件を決めるのが困難なシーンでも、適正な露光条件を設定できる確率が高くなる。また、このようなシーンの状況に応じた適正な露出補正値をユーザ操作に依らず、自動的に決定できるようになり、ユーザの操作性が向上する。

さらに、最高輝度および最低輝度の測定結果から、ブラケット撮像が必要か否かの判断、および、ブラケット撮像時に必要な露光回数の判断をそれぞれ正確に行うことができるので、無駄な露光が防止され、シャッタラグを必要最小限に抑制することができる。また、各画像の撮像タイミングの時間差が最小限に抑えられるので、画像間の被写体の変化が最小限に留められ、合成後のＨＤＲ画像の画質劣化を抑制できる。

また、シーンの輝度レンジを測定する際に、ローパスフィルタ処理を施した後の撮像画像データからの検波値を用いることで、入力画像に極端に明るい小領域や極端に暗い小領域が含まれた場合にも、測定アルゴリズムが攪乱されて適正な画像を撮像できなくなる事態を防止できる。

また、ステップＳ１１２に示したＨＤＲ画像の合成手法により、ブラケット撮像により得られた複数の画像から、違和感のない自然なＨＤＲ画像を合成できる。特に、上記のように適正な露出補正値を用いてブラケット撮像を行うことで得られた画像から、１枚のＨＤＲ画像が合成されることで、一層高画質なＨＤＲ画像を生成することが可能になる。さらに、ステップＳ１１３の階調レンジ圧縮の手法により、その後に画像データのビット数を低減した際にも、画像のディテール成分を損なうことなく高い画質を維持できるようになる。以上の処理により、汎用フォーマットに変換された高画質のＨＤＲ画像を得ることができる。

〔第２の実施の形態〕
上述した第１の実施の形態では、図２のステップＳ１０６において、実際の露光条件を変化させることで、高輝度側および低輝度側での適正な露出補正値を計測し、その計測結果に応じて、ステップＳ１０７においてブラケット撮像が必要か否かを判定していた。これに対して、以下で説明する第２の実施の形態では、撮像動作を迅速に行ってシャッタラグを抑制するために、これらの手順に代えて、ステップＳ１０３での輝度値の検波結果を直接利用して、シーンの輝度レンジを推定する。この第２の実施の形態では、ステップＳ１０３で検波した輝度値と、輝度値ごとの度数を示すヒストグラム値を累積した累積ヒストグラムを基に、シーンの輝度レンジを推定する。

図７は、累積ヒストグラムから求められるパラメータを説明するための図である。
図７に示す累積ヒストグラムでは、すべての輝度に対応するヒストグラム値の累積値を、縦軸の最大値（１００％）としている。なお、図７において、Ｙ’_DL、Ｙ’_DHは、それぞれ撮像素子１２によって検出可能な最低、最高の輝度値を示す。本実施の形態では、このような累積ヒストグラムを基に、「キーレベル」、「ハイライトレベル」、および「シャドウレベル」の３種類のパラメータを用いて、推定されるシーンの状態を分類し、その分類結果に応じて露出補正の段数を決定する。

キーレベルとは、主要な被写体が存在している可能性の高い累積度数のレベル（割合）をしきい値Ｔｈ_Mとして設定したとき、累積ヒストグラムがどの輝度領域でしきい値Ｔｈ_Hに達するかを示すものである。この例では、輝度領域をＬｏｗ、Ｍｉｄ、Ｈｉｇｈの３段階に分割し、この３段階の領域によりキーレベルを表す。なお、このようなしきい値は通常、累積度数が５０％以上のレベルにあることが知られ、例えば６５％〜７５％程度に設定することができる。

ハイライトレベルとは、主要な被写体に対応する累積度数より高いレベルにしきい値Ｔｈ_Hを設定したとき、累積ヒストグラムがどの輝度領域でしきい値Ｔｈ_Hに達するかを示すものである。また、シャドウレベルとは、主要な被写体に対応する累積度数より低いレベルにしきい値Ｔｈ_Lを設定したとき、累積ヒストグラムがどの輝度領域でしきい値Ｔｈ_Lに達するかを示すものである。ハイライトレベルおよびシャドウレベルは、ともにＬｏｗ、Ｍｉｄ、Ｈｉｇｈの３段階に分割された輝度領域によって表される。

ここで、累積ヒストグラムに基づく各パラメータの組み合わせに応じて露出補正値を決定するためのテーブルの例を、以下に示す。ＥＶ_UNDER決定テーブルは、シーンの高輝度側での適正な露出補正値ＥＶ_UNDERを決めるためのテーブルである。また、ＥＶ_OVER決定テーブルは、シーンの低輝度側での適正な露出補正値ＥＶ_OVERを決めるためのテーブルである。マイクロコンピュータ２０は、上述した３つのパラメータを求めた後、これらの各テーブルに従って、ブラケット撮像時における露出補正値ＥＶ_UNDERおよびＥＶ_OVERを決定する。

上記の各テーブルでは、露出補正値を、基準画像Ｐ₀での露出制御値を基準とした補正段数で示しており、補正段数の１段に相当する露出補正値はあらかじめ決められているものとする。また、補正段数が０となる場合には、その補正段数を適用した露光動作を行わない。これにより、ブラケット撮像時の露光回数を必要最小限とし、シャッタラグを短縮できる。

さらに、これらのテーブルでは、高輝度側の適正補正段数の決定時、および低輝度側の適正補正段数の決定時において、それぞれ白飛び画素、黒つぶれ画素が存在しない場合には、ＨＤＲ画像の撮像の必要がないと判定して補正段数を０とし、その補正段数を適用した露光動作を行わないようにしている（図２のステップＳ１０４の判定処理に対応）。また、高輝度側および低輝度側の適正補正段数がともに０の場合には、ブラケット撮像の必要がないと判断する（図２のステップＳ１０７の判定処理に対応）。

図８は、キーレベルとハイライトレベルの組み合わせに対応する輝度値の度数を示すヒストグラムの代表的な例を示す図である。
この図８に示すように、キーレベルのしきい値Ｔｈ_Mと、それより高いしきい値Ｔｈ_Hとを用いてシーンを分類することで、輝度値の分布に偏りがある場合でも、適正な補正段数を簡単かつ正確に決定することができる。このことは、低輝度側での適正な補正段数を決定する際でも同様である。

以上の第２の実施の形態では、ブラケット撮像時の適正露出補正値を決定するために、第１の実施の形態のように、実際に露出補正値を変化させて露光してその都度検波値を得る必要がないので、適正露出補正値の決定に要する時間を短縮し、シャッタラグを短縮してユーザに快適な操作性をもたらすことができる。また、マイクロコンピュータ２０の演算処理が簡略化され、その処理負荷を軽減することができる。

なお、本実施の形態では、例として、シーンの分類のためのパラメータを、キーレベル以外に高輝度側、低輝度側についてそれぞれ１つずつ設定したが、それぞれに対して複数のパラメータを設定してさらにシーンを細かく分類し、それらの分類に応じて露出補正値をより細かく調整してもよい。これにより、適正露出補正値の推定精度を高めることができる反面、マイクロコンピュータ２０による処理負荷は高くなる。

〔第３の実施の形態〕
本発明の第３の実施の形態では、上記各実施の形態に示したブラケット撮像により得た複数の画像を基に、内挿補間を施すことによって、表示デバイスなどへ出力可能な画像データと同じビット数（ここでは８ビット）を持つＨＤＲ画像を直接的に生成する。

図９は、第３の実施の形態に係るＤＳＣの内部構成を示すブロック図である。なお、この図９では、図１に対応するブロックについては同じ符号を付して示し、その説明を省略する。

図９に示すＤＳＣは、図１に示したＤＳＣの構成に加えて、デフォーカス画像のデータを保持するためのバッファメモリ２３と、重み係数生成処理部２４と、補間処理部２５を備える。なお、図９において、現像処理部１７ａは、図１に示す現像処理部１７の機能のうち、画像圧縮符号化機能を除いた機能を持ち、その画像圧縮符号化機能は、符号化処理部１７ｂとして補間処理部２５の後段に接続される。また、バッファメモリ１５ａは、ブラケット撮像により得られた画像のデータを一時的に保持するが、この際に、ＩＳＯゲイン調整部１４ではなく現像処理部１７ａから出力された画像データの供給を受ける。

バッファメモリ２３は、デフォーカス状態で露光されたときに得られた画像データを、ＩＳＯゲイン調整部１４から受けて一時的に格納する。重み係数生成処理部２４は、バッファメモリ２３に格納された画像データを基に、ブラケット撮像により得られた画像の合成時に用いる重み係数を生成する。補間処理部２５は、ブラケット撮像により得られた画像データをバッファメモリ１５ａから読み出し、重み係数生成処理部２４から供給された重み係数を用いて、各画像データを合成する。このときに出力されるＨＤＲ画像のデータは、第１の実施の形態における合成後のＨＤＲ画像のデータとは異なり、現像処理部１７ａで処理された画像データと同じビット数（８ビット）を持つことになり、その後に表示部１９に供給してＨＤＲ画像を表示させたり、符号化処理部１７ｂに供給してＪＰＥＧデータとして出力することが可能になる。

図１０は、第３の実施の形態に係るＤＳＣでの撮像時の処理手順を示すフローチャートである。
本実施の形態においては、ＨＤＲ画像の撮像を行うか否か（図２のステップＳ１０４）、およびブラケット撮像が必要か否か（ステップＳ１０７）を判定する処理までは、第１の実施の形態の場合と同様の処理が行われる。従って、図１０では、ステップＳ１０７でブラケット撮像が必要と判定された場合以降の処理についてのみ示す。なお、シーンの輝度レンジの判別（ステップＳ１０６）およびブラケット撮像の要否の判定（ステップＳ１０７）の各処理では、第１の実施の形態の処理手順の代わりに、第２の実施の形態の処理手順を適用することも可能である。

［ステップＳ３０１］このステップでは、図３のステップＳ２０１と同じ処理が行われる。すなわち、マイクロコンピュータ２０は、ステップＳ１０６で測定された最高輝度Ｙ_Hおよび最低輝度Ｙ_Lを用いて、上記の式（３）および（４）に従って、シーンの高輝度側および低輝度側での各露出補正値ＥＶ_UNDERおよびＥＶ_OVERを計算する。

［ステップＳ３０２］マイクロコンピュータ２０は、図２のステップＳ１０１で推定した（またはステップＳ１０３であらためて推定した）露出制御値をそのまま補正せずに用いて、露光動作を実行させ、基準画像Ｐ₀を撮像する。また、得られた基準画像Ｐ₀のデータは、現像処理部１７ａで現像され、現像後の基準画像Ｐ’₀のデータはバッファメモリ１５ａに一旦格納される。

［ステップＳ３０３］マイクロコンピュータ２０は、露出補正値ＥＶ_UNDERが０であるか否かを判定する。０である場合はステップＳ３０５の処理が実行され、０でない場合はステップＳ３０４の処理が実行される。

［ステップＳ３０４］露出補正値ＥＶ_UNDERが０でなければ、マイクロコンピュータ２０は、この露出補正値ＥＶ_UNDERを適用して、露光動作を実行させる。また、得られた画像Ｐ_UNDERのデータは、現像処理部１７ａで現像され、現像後の画像Ｐ’_UNDERのデータがバッファメモリ１５ａに一旦格納される。

［ステップＳ３０５］マイクロコンピュータ２０は、露出補正値ＥＶ_OVERが０であるか否かを判定する。０である場合はステップＳ３０７の処理が実行され、０でない場合はステップＳ３０６の処理が実行される。

［ステップＳ３０６］露出補正値ＥＶ_OVERが０でなければ、マイクロコンピュータ２０は、この露出補正値ＥＶ_OVERを適用して、露光動作を実行させる。また、得られた画像Ｐ_OVERのデータは、現像処理部１７ａで現像され、現像後の画像Ｐ’_OVERのデータがバッファメモリ１５ａに一旦格納される。

なお、ステップＳ３０２，Ｓ３０４，Ｓ３０６における現像処理では、マイクロコンピュータ２０の処理により、それぞれ対象の画像から個別に推定された制御値が用いられればよい。

［ステップＳ３０７］次に、マイクロコンピュータ２０の制御により、補間処理部２５で適用される重み係数を得るために必要な、撮像画像の照明成分を生成する処理が実行される。

照明成分は、一般的に、撮像画像に対してカットオフ周波数を比較的低くしたローパスフィルタ処理を施すことで得ることができるが、このためにはタップ数の多いフィルタ回路が必要であり、演算量が膨大になってしまうという問題があった。これに対して、本実施の形態では、そのようなフィルタ回路を利用する代わりに、光学ブロック１１内のフォーカス調整レンズを制御してデフォーカス状態とし、その状態で露光して得た画像（デフォーカス画像）を、ローパスフィルタ処理された画像（ローパス画像）として利用する。これにより回路規模を削減する。

ここでは、まず、ステップＳ３０２，Ｓ３０４，Ｓ３０６でのブラケット撮像時の露光条件のうち、中央の露光条件となるように露光制御を行う。このとき、次の式（６）を満たすように、シャッタスピードＳとＩＳＯゲインＧとを決める。

ここで、Ｆ_MINは開放絞り値を表し、Ｓ₀，Ｆ₀，Ｇ₀は、上述したブラケット撮像時における中央の露光条件でのシャッタスピード、絞り値、ＩＳＯゲインをそれぞれ示す。この式（６）を適用することにより絞りが開放されるので、被写界深度が浅くなって、デフォーカス時のローパスフィルタ効果を強くすることができる。

次に、上記の手法で決められたシャッタスピードＳとＩＳＯゲインＧとを適用して露光を行い、デフォーカス画像を撮像する。ここでは、強いローパスフィルタ効果を確実に得るために、フォーカス調整レンズの位置を変えて２枚のデフォーカス画像を撮像し、後のステップＳ３０８の処理によりこれらの平均をとり、ローパス画像を生成する。

図１１は、デフォーカス画像の撮像時におけるフォーカス調整レンズの駆動手順を説明するための図である。
図１１では、光学ブロック１１における光学レンズ群１１ｃの構成例と、その中でのフォーカス調整レンズ１１ｄの位置の例とを示している。ここでは、マクロ撮像モードを備えた場合を例に挙げている。なお、各図では、右側を撮像素子１２の撮像面１２ａとしている。また、この光学レンズ群１１ｃのレンズ構成および各レンズの位置は、あくまで一例である。

同図（Ａ）では、無限遠側の撮像時におけるフォーカス調整レンズ１１ｄの位置の例を示している。また、同図（Ｂ）では、同様にマクロ側の撮像時におけるフォーカス調整レンズ１１ｄの位置の例を示している。ここで、無限遠側の撮像時とマクロ側の撮像時とでは、デフォーカス状態としたときに画像のボケの傾向が逆になることが知られている。このため、一方の撮像状態のみからデフォーカス状態としても、必ずしも強いローパスフィルタ効果が得られない場合がある。例えば、マクロ側の撮像でピントが合ってしまい、ローパスフィルタ効果が弱まるような被写体に対しては、無限遠側の撮像時にはピントのずれが大きくなり、強いローパスフィルタ効果が得られる。

そこで、本実施の形態では、マイクロコンピュータ２０の制御により、無限遠側の撮像時の状態とマクロ側の撮像時の状態の両方からデフォーカス状態を作り出し、各状態で露光して２枚のデフォーカス画像を得る。具体的には、まず、同図（Ｃ）のように、無限遠側の撮像時の状態から、フォーカス調整レンズ１１ｄをさらに遠端側に変位させて露光し、得られたデフォーカス画像のデータをバッファメモリ２３に格納する。次に、同図（Ｄ）のように、マクロ側の撮像時の状態から、フォーカス調整レンズ１１ｄをさらに近端側に変位させて露光し、得られたデフォーカス画像のデータをバッファメモリ２３に格納する。

次に、重み係数生成処理部２４（あるいはマイクロコンピュータ２０）の処理により、バッファメモリ２３から２つのデフォーカス画像のデータを読み出し、これらを平均してローパス画像のデータとする。このような処理により、ローパスフィルタ効果が弱まることが防止できる。なお、生成されたローパス画像のデータは、バッファメモリ２３に格納しておく。

以下、図１０に戻って説明する。
［ステップＳ３０８］重み係数生成処理部２４（あるいはマイクロコンピュータ２０）は、生成されたローパス画像のデータを解析し、このローパス画像に不要な高周波成分が残っているか否かを判定する。残っている場合はステップＳ３０９の処理が実行され、残っていない場合はステップＳ３１０の処理が実行される。

［ステップＳ３０９］ローパス画像に不要な高周波成分が残っている場合、重み係数生成処理部２４（あるいはマイクロコンピュータ２０）は、ローパス画像のデータに対して、例えば５タップ×５タップ程度の比較的小さなタップ数のローパスフィルタ処理を施す。処理後のデータは、バッファメモリ２３に格納しておく。

［ステップＳ３１０］重み係数生成処理部２４は、バッファメモリ２３に格納されたローパス画像のデータを基に重み係数を求め、補間処理部２５に供給する。このとき、重み係数生成処理部２４は、後の図１２に示すような、ローパス画像の輝度と重み係数との変換関数に従って、重み係数を求める。補間処理部２５は、その重み係数を用いて、ステップＳ３０２，Ｓ３０４，Ｓ３０６で得られ、バッファメモリ１５ａに格納されていた画像データを内挿補間により合成し、１枚のＨＤＲ画像のデータを生成する。

ここで、図１２は、ローパス画像の輝度を重み係数に変換するための変換関数の例を示す図である。
図１２において、重み係数ｗ₀は、ステップＳ３０２で現像された基準画像Ｐ’₀を補間処理部２５において内挿補間する際の補間係数である。同様に、重み係数ｗ_UNDERおよびｗ_OVERは、それぞれステップＳ３０４およびＳ３０６で現像された画像Ｐ’_UNDERおよびＰ’_OVERを補間処理部２５において内挿補間する際の補間係数である。

重み係数生成処理部２４は、バッファメモリ２３から読み出したローパス画像の各画素の輝度データａ（ｘ，ｙ）に応じて、上記の変換関数を参照して重み係数ｗ₀，ｗ_UNDER，ｗ_OVERを出力する。補間処理部２５は、重み係数生成処理部２４からの重み係数ｗ₀，ｗ_UNDER，ｗ_OVERを用いて、次の式（７）に従って、バッファメモリ１５ａ内の基準画像Ｐ’₀、画像Ｐ’_UNDERおよびＰ’_OVERの各データを合成する。

この式（７）において、Ｐ’（ｘ，ｙ）は、合成後の画像Ｐ’の各画素のデータを示し、Ｐ’_n（ｘ，ｙ）は、バッファメモリ１５ａに格納された画像Ｐ’_n（すなわち、基準画像Ｐ’₀、画像Ｐ’_UNDERおよびＰ’_OVER）のそれぞれの画素のデータを示す。また、ｗ_n（ａ（ｘ，ｙ））は、画像Ｐ’_nの各画素の合成時に適用される重み係数（すなわち、重み係数ｗ₀，ｗ_UNDER，ｗ_OVER）を示す。

このような処理により、被写体のうち、照明光が強く照射された部分に対しては、露出量を抑えた画像が高い比率で合成され、これにより、画像データの階調レンジを高輝度側に拡大することなく、基準画像Ｐ₀の撮像時に検出できない高輝度領域の階調情報を合成後の画像に取り込むことが可能になる。また、照明光が弱く照射された部分に対しては、露出量を増した画像が高い比率で合成され、これにより、同様に、画像データの階調レンジを低輝度側に拡大することなく、基準画像Ｐ₀の撮像時に検出できない低輝度領域の階調情報を合成後の画像に取り込むことが可能になる。その結果、現像処理部１７ａでの処理後の画像データと同じ階調レンジおよびデータビット数（８ビット）を持つＨＤＲ画像が生成される。

また、ブラケット撮像により得られた画像の合成比を、図１２の変換関数に従い、撮像画像の照明成分（すなわちローパス画像）の輝度に基づいて決定することにより、輝度レンジの広いシーンにおいて得られた画像データの階調レンジを圧縮するとともに、特にローパス画像の低輝度領域でのディテール成分を強調して、全体の画質を向上させる効果を得ることもできる。

ところで、図１２に示した変換関数については、ローパス画像の特性やブラケット撮像時の各種制御パラメータ、ブラケット撮像により得られた画像の特性などに応じて、設定を変化させることができる。以下、このような変換関数の設定手法について説明する。なお、ここでは例として、変換関数の設定を重み係数生成処理部２４が行うものとするが、この処理をマイクロコンピュータ２０で行うようにしてもよい。

図１３は、ローパス画像における輝度値の度数を示すヒストグラムの例である。
まず、重み係数生成処理部２４は、バッファメモリ２３に記憶されたローパス画像のデータを基に輝度値の度数を示すヒストグラムを計算する。図１３にはこのようなヒストグラムの例を示しているが、ここでは、ローパス画像の輝度値を、現像処理部１７ａで実行されるガンマ補正を施した場合の輝度値に換算してヒストグラムを求めている。重み係数生成処理部２４は、求めたヒストグラムから度数がピークとなる輝度ＹｈおよびＹｌを、輝度レベルの高い順に求める。さらに、輝度ＹｈおよびＹｌに対応するピーク間に存在するヒストグラムの谷を検出し、それに対応する輝度Ｙｍを求める。なお、ここでは、高輝度側から２番目のピークに対して輝度Ｙｌを対応させているが、それより低輝度側のピーク（例えば最も低輝度側のピーク）に輝度Ｙｌを対応させてもよい。

次に、重み係数生成処理部２４は、バッファメモリ２３に格納した基準画像Ｐ’₀、画像Ｐ’_UNDERおよびＰ’_OVERの各データを基に、各画像における輝度値の頻度を示すヒストグラムを計算する。ここで、これらのヒストグラムから検出されるパラメータを基に、次の式（８）および（９）に従って、基準画像Ｐ’₀と画像Ｐ’_UNDERとの合成画像Ｐ’_-と、基準画像Ｐ’₀と画像Ｐ’_OVERとの合成画像Ｐ’₊とを考える。ただし、０≦Ｋｈ≦１、０≦Ｋｌ≦１とする。
Ｐ’_-＝Ｋｈ×Ｐ’_UNDER＋（１−Ｋｈ）×Ｐ’₀ ……（８）
Ｐ’₊＝Ｋｌ×Ｐ’_OVER＋（１−Ｋｌ）×Ｐ’₀ ……（９）
図１４は、基準画像Ｐ’₀、画像Ｐ’_UNDERおよびＰ’_OVERの各輝度値に基づくヒストグラムの例を示す図である。

同図（Ａ）は、基準画像Ｐ’₀および画像Ｐ’_UNDERに対応するヒストグラムの例を示している。この（Ａ）において、輝度Ｙｈ＿０は、基準画像Ｐ’₀のヒストグラム上で高輝度側から１番目のピークが存在する輝度値であり、輝度Ｙｈ＿ｕｎｄｅｒは、画像Ｐ’_UNDERのヒストグラム上で高輝度側から１番目のピークが存在する輝度値である。また、同図（Ｂ）は、基準画像Ｐ’₀および画像Ｐ’_OVERに対応するヒストグラムの例を示している。この（Ｂ）において、輝度Ｙｌ＿０は、基準画像Ｐ’₀のヒストグラム上で高輝度側から２番目のピークが存在する輝度値であり、輝度Ｙｌ＿ｏｖｅｒは、画像Ｐ’_OVERのヒストグラム上で高輝度側から２番目のピークが存在する輝度値である。

ここで、基準画像Ｐ’₀および画像Ｐ’_UNDERを式（８）に従って合成した合成画像Ｐ’_-を考えると、図１４（Ａ）に示すように、合成画像Ｐ’_-のヒストグラムにおける高輝度側から１番目のピークの位置は、重み係数Ｋｈが大きいほど低輝度側に変位する。重み係数生成処理部２４は、このピークに対応する輝度値が、ローパス画像の輝度範囲（すなわち、ローパス画像中の最高輝度と最低輝度との範囲）の中間値となる輝度Ｙｒｍとなるように、重み係数Ｋｈを求める。

同様に、基準画像Ｐ’₀および画像Ｐ’_OVERを式（９）に従って合成した合成画像Ｐ’₊を考えると、図１４（Ｂ）に示すように、合成画像Ｐ’₊のヒストグラムにおける高輝度側から２番目のピークの位置は、重み係数Ｋｌが大きいほど高輝度側に変位する。重み係数生成処理部２４は、このピークに対応する輝度値が、ローパス画像の輝度範囲の中間値となる輝度Ｙｒｍとなるように、重み係数Ｋｌを求める。なお、ここでは例として、合成画像Ｐ’₊のヒストグラムにおける高輝度側から２番目のピークに対応する輝度値を用いているが、それより低輝度側のピーク（例えば最も低輝度側のピーク）に対応する輝度値を用いて演算を行ってもよい。

以上の演算により、基準画像Ｐ’₀に対する画像Ｐ’_UNDERおよびＰ’_OVERの適切な最大合成比率が求められる。この最大合成比率は、低輝度側および高輝度側の階調レンジの最大圧縮量を規定するものであり、輝度Ｙｒｍを基に演算することで、階調レンジの圧縮効果とコントラスト感とのバランスを良好に保つことができる。

次に、このように求めた重み係数ＫｈおよびＫｌを用い、ローパス画像の輝度に応じて、合成画像Ｐ’_-およびＰ’₊をブレンドすることを考える。このブレンド処理は、例えば、単調増加関数ｆ（Ｙ）を用いて、次の式（１０）に従って実行される。ただし、０≦Ｋｇ≦１とする。
Ｐ’＝（０．５＋Ｋｇ×ｆ（Ｙ））×Ｐ’_-＋（０．５−Ｋｇ×ｆ（Ｙ））×Ｐ’₊
……（１０）
ここで、図１５は、単調増加関数ｆ（Ｙ）の例を示す図である。

重み係数生成処理部２４は、この図１５に示すように、ｆ（Ｙｍ）が０となり、ｆ（Ｙｈ）およびｆ（Ｙｌ）での傾きがともに十分小さくなるように、単調増加関数ｆ（Ｙ）を定義する。この条件と、上述した重み係数ＫｈおよびＫｌの演算手法とにより、合成処理において、ヒストグラムのピークが存在する輝度領域（すなわち、ローパス画像内で多くの面積を占める輝度領域）に対する階調レンジ圧縮の影響を弱めることができ、その領域におけるグラデーションが失われることを防止して画質を高めることができる。

さらに、上記の式（１０）におけるパラメータＫｇを変化させることで、合成後の画像Ｐ’において表現されるコントラスト感を調節することができる。パラメータＫｇが１のとき、基準画像Ｐ’₀に対する画像Ｐ’_UNDERおよびＰ’_OVERの合成比率が最大になって、階調レンジ圧縮の効果が最大（すなわち、コントラストが最小）になり、パラメータＫｇが０のとき、コントラストが最大になる。このパラメータＫｇとしては、例えば、重み係数生成処理部２４により、ブラケット撮像時における露出補正量に応じて、あるいは輝度Ｙｈと輝度Ｙｌとの比に応じて、ＬＵＴなどを参照して最適な値を決めることができる。例えば、露出補正量が小さいほど、また、Ｙｈ／Ｙｌの値が小さいほど、パラメータＫｇを小さい値とする。また、ユーザの操作入力によりパラメータＫｇを調整できるようにしてもよい。

重み係数生成処理部２４は、以上のように求められた重み係数ＫｈおよびＫｌ、単調増加関数ｆ（Ｙ）、パラメータＫｇを用いて、式（８）〜（１０）から、重み係数ｗ_n（ａ（ｘ，ｙ））を求めるための変換関数を設定することができる。このような変換関数の設定手法によれば、各画像のヒストグラムのピークを基に設定することで、ローパス画像内で多くの面積を占める輝度領域において確実にグラデーションを残し、結果的に高い品質の画像を得ることが可能になる。また、ローパス画像の特性やブラケット撮像時の露出補正値を基に、さらにはユーザ設定に応じて、合成後の画像Ｐ’において再現されるコントラスト感を調節することもでき、画像を一層高画質化できるとともに、ユーザによる設定自由度を高めることもできる。

以下、図１０に戻って説明する。
［ステップＳ３１１］合成後のＨＤＲ画像データは符号化処理部１７ｂで圧縮符号化処理され、ＨＤＲ画像のＪＰＥＧデータとして記録部１８に記録される。

以上説明した第３の実施の形態では、基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVERを撮像するたびに、それらのデータを現像処理部１７ａで現像するので、ＨＤＲ画像を生成する際にも既存の現像処理部１７ａの回路をそのまま利用することができる。例えば、補間処理部２５による補間処理の際には、重み係数が正の値を持つ条件の下では、通常撮像時と同じビット幅の範囲で補間処理を実行できる。また、第１の実施の形態のように、現像処理部１７ａで処理される画像データ（例えば１２ビットデータ）より広いビット幅を持つ画像データ（合成処理部１６からの出力データに相当。例えば１５ビットデータ。）が生成されないので、現像処理部１７ａ以前の処理系についてもそのまま利用してＨＤＲ画像を生成することができる。従って、回路規模や製造コストを抑制しながらも、高品質なＨＤＲ画像を得ることが可能になる。

なお、本実施の形態で用いた、ブラケット撮像で得た画像の合成手法は、撮像装置における撮像時ではなく、記録媒体に記録された画像データに対して適用することも可能である。この場合、記録媒体には、ブラケット撮像により得た、露光条件の異なる複数の画像データと、それらの撮像時の露光条件の情報とを記録しておき、露光条件の情報を基に各画像データを合成して、１枚のＨＤＲ画像を生成する。また、このような合成処理機能は、撮像装置のみならず、例えばＰＣで実行される画像処理プログラムによって実現されてもよい。

また、ブラケット撮像時の露光条件は、本実施の形態と同様の手法で決められることが望ましいが、その他の手法で決められた露光条件を基に合成処理を行っても、ＨＤＲ画像を生成することが可能である。例えば、基準画像の撮像時の露光条件から、アンダー側およびオーバー側の両方に対してあらかじめ決められた補正段数分だけ露出制御値をシフトして、ブラケット撮像を行う手法が採られてもよい。従って、このような合成処理機能を実現するための画像処理プログラムは、ブラケット撮像を行った撮像装置の機種やそのメーカに依存しない汎用のプログラムとすることができる。

なお、このように撮像後の画像を合成する場合には、ローパス画像の取得に上記のような光学的手法を採ることができないので、ローパスフィルタ処理をデジタル演算によって実現する必要がある。

〔第４の実施の形態〕
ところで、輝度レンジが広いシーンでは、光源が複数存在することにより、ホワイトバランスを適正に自動調整することが難しい場合がある。例えば、室内の電球による照明と、屋外の太陽による照明とが、画角内に同時に含まれるような場合である。こういった複雑な条件下で撮像を行った場合に、ホワイトバランスのゲイン値が画角内で一定だと、被写体の見え方と撮像された画像の見え方とが異なってしまう。

上述した第３の実施の形態では、ブラケット撮像により得られた最大３枚の画像のデータは、それぞれ現像処理部１７ａにおいて現像処理が施され、バッファメモリ１５ａに格納される。ここで、現像処理部１７ａでのホワイトバランス調整においては、上記の各画像データから個別に光源の推定が行われて、その推定結果に応じたホワイトバランスゲインが算出される。本実施の形態では、この際に、重み係数生成処理部２４で生成される重み係数を基に、各画像データに対するホワイトバランスゲインを画素ごとに最適化することで、照明の条件が複雑な場合にも対応できるようにする。

本実施の形態に係るＤＳＣの構成は、図９に示したＤＳＣとほぼ同様の構成で実現されるが、ホワイトバランスゲインの算出をマイクロコンピュータ２０が行う場合には、重み係数生成処理部２４が生成する重み係数をマイクロコンピュータ２０が取得可能である必要がある。また、本実施の形態では、ブラケット撮像を行った際には、重み係数生成処理部２４において重み係数が生成されている必要があるので、ブラケット撮像を行う直前に、デフォーカス画像の撮像を行って、その画像データをバッファメモリ２３に格納しておくことが望ましい。あるいは、デフォーカス画像を一定時間ごとに取得するようにし、ブラケット撮像を行った後には、バッファメモリ２３に格納された最新のデフォーカス画像のデータを利用して重み係数を生成するようにしてもよい。また、デフォーカス画像の撮像を行う代わりに、ブラケット撮像により基準画像Ｐ₀を撮像した際に、そのデータに対してデジタル演算によりローパスフィルタ処理を施し、ローパス画像をバッファメモリ２３に格納してもよい。

マイクロコンピュータ２０は、重み係数生成処理部２４から得た重み係数を基に、次の式（１１−１）〜（１１−３）に従って、画像Ｐ_n（すなわち、基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVER）のＲ成分、Ｇ成分、Ｂ成分のそれぞれに対するオートホワイトバランス用の検波値を算出し、それらの検波値を用いて各成分に対するホワイトバランスゲインを算出する。そして、算出されたゲインを用いたホワイトバランス調整は、式（１２）に従って行われ、これにより、画素ごとに異なるゲインが適用される。

なお、式（１１−１）〜（１１−３）では、各成分の検波値、すなわち重み係数を乗じた画素データの積分値を、画像全体における重み係数の加算値で除算して平均化している。また、Ｒ_n、Ｇ_n、Ｂ_nは、それぞれ画像Ｐ_nのうちのＲ成分、Ｇ成分、Ｂ成分の値を示している。また、式（１２）において、ＷＢ_nは、各画像Ｐ_nに対応するゲイン係数を表す。

ブラケット撮像の際には、以上のようにホワイトバランス調整が施された基準画像Ｐ’₀、画像Ｐ’_UNDERおよびＰ’_OVERのデータがバッファメモリ１５ａに格納された後、それらの画像データが補間処理部２５において上記の式（７）に従って合成される。この結果、照明光の強さによってホワイトバランスゲインが画素ごとに滑らかに変化し、画像内の部分ごとの照明光に合わせたホワイトバランス調整を行うことが可能になる。特に、複数の照明光が存在するシーンで撮像した場合に、光源の推定を誤って画像が不自然になることが防止される。

例えば、シーンの比較的明るい領域に太陽光が多く照らされ、比較的暗い領域に電球光が多く照らされている場合、画像Ｐ’_UNDERに対しては光源を太陽光と推定したホワイトバランス調整が施され、画像Ｐ’_OVERに対しては光源を電球光と推定したホワイトバランス調整が施される。また、基準画像Ｐ’₀に対しては各光源をミックスした光源に合わせたホワイトバランス調整が施される。そして、これらの画像を上記の式（７）に従って合成すると、太陽光および電球光がそれぞれより多く照らされた領域には、それらの光源に合わせたホワイトバランス調整が施された画像が高い比率で合成され、各領域において光源が正確に推定される。また、照明成分の輝度に応じた重み係数が用いられることで、各光源に合わせて調整された画像同士を滑らかに違和感なく合成することができる。

なお、以上の実施の形態では、上記のホワイトバランス調整後の画像Ｐ’_nに対して補間処理部２５で補間処理が行うようにしていたが、現像前の画像Ｐ_n（ＲＡＷ画像）に対して、同様な画素ごとのホワイトバランス調整を行ってもよい。この場合の画素ごとのゲイン係数ＷＢ（ｘ，ｙ）は、次の式（１３）によって得られる。

なお、式（１３）では、現像処理部１７ａにおけるガンマ変換曲線を関数γ（Ａ）として表し、また、そのガンマ変換曲線の逆関数を関数γ^-1（Ａ）と表している。
〔第５の実施の形態〕
上記の各実施の形態では、シーンの輝度レンジの測定結果または推定結果からブラケット撮像が必要と判断した場合に、輝度レンジに応じた適正な露出補正値を用いてブラケット撮像を行い、ＨＤＲ画像を生成していた。しかし、このように求めた露出補正値を用いて１回だけ露光し、得られた１枚の画像からＨＤＲ画像を生成することもできる。例えば、上記のように複数回撮像して得た画像を合成する場合には、各撮像タイミングの間に被写体が動いてしまうと合成画像の画質が劣化してしまうが、１回の撮像であればこのような問題は生じない。以下、このような１回撮像によるＨＤＲ画像の生成手法について説明する。

まず、第５の実施の形態では、上記の第３の実施の形態で用いた画像補間手法を応用して、１回撮像によりＨＤＲ画像を生成するようにしたＤＳＣについて説明する。
図１６は、第５の実施の形態に係るＤＳＣの内部構成を示すブロック図である。なお、この図１６では、図１および図９に対応するブロックについては同じ符号を付して示し、その説明を省略する。

図１６に示すＤＳＣでは、図９に示したＤＳＣの構成に対して、補間処理部２５の代わりに、重み係数生成処理部２４からの重み係数を用いて画素ごとのゲイン調整を行うゲイン調整部２６が設けられている。また、現像処理部１７は、第１の実施の形態と同様に符号化処理機能までも含んでいる。

この実施の形態のＤＳＣは、上記の第１または第２の実施の形態で説明した手法により、シーンの輝度レンジを計測または推定し、ブラケット撮像が必要と判断した後、図１０のステップＳ３０１で計算される露出補正値のうち、最高輝度Ｙ_Hに合わせた露出補正値ＥＶ_UNDERのみを適用して露光を行う。得られた画像Ｐ_UNDERのデータ（ＲＡＷ画像データ）は、ゲイン調整部２６に供給され、重み係数生成処理部２４からの重み係数を用いたゲイン調整が施されることで、ＨＤＲ画像が生成される。

なお、上述した第４の実施の形態と同様に、本実施の形態でも、画像Ｐ_UNDERを撮像する前にデフォーカス画像の撮像を行って、その画像データをバッファメモリ２３に格納しておき、画像Ｐ_UNDERを撮像した際にバッファメモリ２３の画像データから重み係数を生成できるようにしておく必要がある。あるいは、撮像した画像Ｐ_UNDERのデータを一時的に格納するバッファメモリを設けておき、画像Ｐ_UNDERの撮像後にデフォーカス画像の撮像を行い、重み係数を生成する手順としてもよい。また、デフォーカス画像の撮像を行う代わりに、デジタル演算によりローパスフィルタ処理を行い、得られたローパス画像のデータをバッファメモリ２３に格納してもよい。この場合、ローパスフィルタ処理の対象とする画像は、新たな露光により得た基準画像Ｐ₀であることが望ましいが、画像Ｐ_UNDERで代用してもよい。

ゲイン調整部２６は、撮像により得られた画像Ｐ_UNDERに対して、次の式（１４）によって求めたゲインＧ（ｘ，ｙ）を画素ごとに適用する。

この式（１４）による演算は、画像Ｐ_UNDERを基準として、基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVERを撮像する際の露出制御値をそれぞれゲイン値に換算して、ゲインの印加量の変化に応じて基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVERを擬似的に取得し、それらの画像を、ローパス画像の明るさに応じて、上記の第３の実施の形態における変換関数（図１２参照）に基づく合成比で合成していることと等価である。従って、第３の実施の形態と同様に、被写体のうち、照明光のあたり方が強い部分に対しては、露出量を抑えた画像に相当する信号成分が高い比率で合成され、照明光のあたり方が弱い部分に対しては、露出量を増した画像に相当する信号成分が高い比率で合成される。なお、ゲイン調整後のＨＤＲ画像は、現像処理部１７でそのまま処理可能なビット数（例えば１２ビット）となる。

ただし、このような手順では、１回の撮像のみ行われるので、実際に撮像素子１２の出力のダイナミックレンジを超える、シーンの輝度レンジの情報が取り込まれる訳ではない。このため、再現できる輝度レンジやノイズの多さの点で、第３の実施の形態のようにブラケット撮像を行った場合より画質が劣ることになる。

なお、以上の第５の実施の形態では、画像Ｐ_UNDERの撮像時に式（１４）に従ってゲイン調整をし、ＨＤＲ画像を合成していたが、同様の手法を、過去に撮像され、記録媒体に記録されたＲＡＷ画像データを画像Ｐ_UNDERのデータと見なして、そのＲＡＷ画像データに対して適用することもできる。

この場合、画像Ｐ_UNDERを撮像した際における、基準画像Ｐ₀の撮像を基準とした露出補正値ＥＶ_UNDERと、画像Ｐ_OVERの撮像時の露出補正値ＥＶ_OVERとを取得できる必要がある。露出補正値ＥＶ_UNDERについては、例えば画像Ｐ_UNDERの撮像時にそのデータファイルのメタデータとして付加して記録しておくことで、取得することができる。

露出補正値ＥＶ_OVERについては、例えば、取得した露出補正値ＥＶ_UNDERから推定すればよい。この推定手法としては、例えば、第２の実施の形態で説明した累積ヒストグラムによる露出補正値の推定手法を用いることが可能である。すなわち、露出補正値ＥＶ_UNDERが得られている場合であれば、その値を基に画像Ｐ_UNDERを逆補正して基準画像Ｐ₀を求め、この基準画像Ｐ₀の輝度値の累積ヒストグラムを求める。そして、図７および表２のＥＶ_OVER決定テーブルに従って、露出補正値ＥＶ_OVERを推定することができる。

また、露出補正値ＥＶ_UNDERが取得できない場合には、入力画像データを解析して露出補正値ＥＶ_UNDERおよびＥＶ_OVERを推定してもよい。例えば、入力画像データにゲインを印加し、画像中での白飛びおよび黒つぶれの画素の割合が所定のしきい値以下となる限界のゲインの値を、それぞれ露出補正値ＥＶ_UNDERおよびＥＶ_OVERに換算することで推定することができる。また、上記の同様の累積ヒストグラムを用いた手法により入力画像を解析することで、露出補正値ＥＶ_UNDERおよびＥＶ_OVERを推定することもできる。また、画質の劣化が大きくなる可能性はあるものの、露出補正値ＥＶ_UNDERおよびＥＶ_OVERともに固定的な補正段数として決定してもよい。

なお、入力された基準画像Ｐ₀を解析して露出補正値ＥＶ_UNDERおよびＥＶ_OVERを推定した場合、上記の式（１４）において、ｗ_UNDER（ａ（ｘ，ｙ）），ｗ₀（ａ（ｘ，ｙ）），ｗ_OVER（ａ（ｘ，ｙ））に対して乗じる乗算係数を、それぞれγ（２＾ＥＶ_UNDER），１，γ（２＾ＥＶ_OVER）と変形することで、このゲインを入力画像に対してそのまま適用できるようになる（なお、「２＾Ｂ」は「２のＢ乗」を示す）。

また、式（１４）に従ってＨＤＲ画像を合成する際に必要なローパス画像は、露出補正値ＥＶ_UNDERを基に入力画像を逆補正して基準画像Ｐ₀を求め、その基準画像Ｐ₀にローパスフィルタ処理を施すことで取得すればよい。あるいは、処理を簡略化するために、入力画像にローパスフィルタ処理を施すことで取得してもよい。

以上の各手法により、撮像時に露出補正を行ったか否かに関係なく、記録媒体に記録されたいかなる画像データからでも、上記手法によりＨＤＲ画像を生成することが可能になる。このような既存の画像データに対するゲイン調整処理機能は、撮像装置の内部に搭載できるだけでなく、例えば、ＲＡＷ画像データを現像する画像処理プログラムとして実現することができる。

さらに、この第５の実施の形態でのＨＤＲ画像の生成処理は、第１の実施の形態の図５で説明した手法と同様に、入力画像の画質を良好に保ったまま階調レンジを圧縮できるという効果も奏する。このため、例えば、入力される画像Ｐ_UNDERのデータを、現像処理部１７で処理可能なビット数（１２ビット）ではなく、それより大きいビット数（例えば１５ビット）を持ち、階調レンジが拡大されたＲＡＷ画像データとして、このＲＡＷ画像データに対して上記ゲイン調整処理を施すようにしてもよい。この場合、ゲイン調整処理後にデータビット数を圧縮した際の画質をより向上させることができる。

すなわち、式（１４）によれば、プラス側の露出補正量に対応する重み係数ほど、その露出補正量に応じた大きい係数が乗じられている。例えば、ｗ_UNDER（ａ（ｘ，ｙ））よりｗ₀（ａ（ｘ，ｙ））に対して、またｗ₀（ａ（ｘ，ｙ））よりｗ_OVER（ａ（ｘ，ｙ））に対して、それぞれより大きい係数が乗じられている。一方、図１２の変換関数によれば、ローパス画像の明るさに関係なく、すべての重み係数の加算値である「ｗ_UNDER（ａ（ｘ，ｙ））＋ｗ₀（ａ（ｘ，ｙ））＋ｗ_OVER（ａ（ｘ，ｙ））」は「１」である。

このため、式（１４）によるゲイン値は、ローパス画像の低輝度領域において高い値となり、高輝度領域において低い値となって、基本的には図６（Ａ）に示したゲインカーブとほぼ同じように変化する。ここで、図６に示す輝度Ｙ１，Ｙ２，Ｙ３は、それぞれ図１３の輝度Ｙｌ，Ｙｍ，Ｙｈに対応させることができる。従って、図５および図６での説明と同様に、照明成分の階調レンジ圧縮効果と、低輝度領域における反射率成分の階調レンジ伸張効果（すなわち、ディテール成分の強調効果）とが生じ、ゲイン印加後にビット圧縮した際の画像の品質を向上させることができる。

また、図５の構成と同様に、入力画像の照明成分および反射率成分にそれぞれ個別のゲインを印加する構成とし、照明成分に対しては式（１４）によるゲインを印加し、反射率成分に対しては式（１４）のゲインに図６（Ｂ）のようなディテール成分強調のためのゲインをさらに乗じて、各成分を合成してもよい。

さらに、図１３〜図１５で説明した手法を用いて、式（１４）のゲインを適用する入力画像を解析し、適切な重み係数を算出することもできる。例えば、入力画像の信号を基に基準画像Ｐ₀をローパスフィルタ処理したローパス画像を演算により求めた後、ローパス画像のヒストグラムを算出して、そのピーク位置を基に輝度Ｙｌ，Ｙｍ，Ｙｈを求め、これらに応じて重み係数の変換関数を設定する。このとき、式（１４）のｗ_UNDER（ａ（ｘ，ｙ）），ｗ₀（ａ（ｘ，ｙ）），ｗ_OVER（ａ（ｘ，ｙ））に対してそれぞれ乗じる乗算係数を、入力画像データに対するゲインとして適用することで、基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVERを擬似的に求め、それらのヒストグラムを検出することができる。

これにより、ローパス画像内で多くの面積を示す輝度領域に対する階調レンジ圧縮の影響を弱め、この領域におけるグラデーションが失われることを防止できる。また、式（１０）のパラメータＫｇを任意に変化させて、ゲイン調整後の画像におけるコントラスト感を調整することもできる。

以上のようなビット圧縮の前処理機能としてのゲイン調整処理機能は、例えば撮像装置の内部に組み込んでおくことができる。撮像装置の内部において処理される画像データは、実際には、表示デバイスなどに適合した画像データ（上記例では８ビットデータ）と比較してビット数が大きい場合が多く（上記例では１２ビットデータまたは１５ビットデータ）、このような画像データのビット数を圧縮する前に、上記のゲイン調整処理機能により階調レンジ圧縮を行うようにすることが好ましい。

さらに、上記機能は、そのような撮像装置で得られたビット数の大きいＲＡＷ画像データをＰＣなどにおいて処理するための画像処理プログラムとしても実現できる。この場合、特定の機種の撮像装置やメーカに対して専用の画像処理プログラムとして実現できるだけでなく、そのような撮像装置の機種やメーカに依存しない汎用の画像処理プログラムとしても実現でき、そのプログラムを実行することでＲＡＷ現像処理後の画像の品質を向上させることができる。

〔第６の実施の形態〕
第６の実施の形態では、１回の撮像により得た画像に対して、ＩＳＯゲインおよびノイズリダクション（ＮＲ）処理の各調整量を変化させて複数枚の画像を生成した後、それらの画像を合成して１枚のＨＤＲ画像を生成する。

図１７は、第６の実施の形態に係るＤＳＣの内部構成を示すブロック図である。なお、この図１７では、図１に対応するブロックについては同じ符号を付して示し、その説明を省略する。

図１７に示すＤＳＣでは、図１に示したＤＳＣの構成に対して、ＲＡＷ画像データ用のバッファメモリ（ＲＡＷバッファメモリ）３１と、ＲＡＷ画像データ用のＮＲ処理部（ＲＡＷ・ＮＲ処理部）３２とが追加されている。ＲＡＷバッファメモリ３１には、シーンの高輝度側の輝度レンジが撮像素子１２の出力のダイナミックレンジより広いと判断された場合に、Ａ／Ｄ変換部１３から出力される撮像画像のデジタルデータ（ＲＡＷ画像データ）が格納される。ＲＡＷバッファメモリ３１内の画像データは、ＩＳＯゲイン調整部１４において画像全体のゲイン調整が施された後、さらにＲＡＷ／ＮＲ処理部３２においてＮＲ処理が施され、バッファメモリ１５に格納される。

図１８は、第６の実施の形態に係るＤＳＣでの撮像時の処理手順を示すフローチャートである。
本実施の形態のＤＳＣは、例えば上記の第１の実施の形態で説明した手法によりシーンの輝度レンジを計測し、その計測結果に応じて図１８の処理を開始するか否かを判定する。この判定処理は、図２のステップＳ１０７でのブラケット撮像の要否の判定処理に対応するが、本実施の形態では、シーンの高輝度側の輝度レンジが撮像素子１２の出力のダイナミックレンジより広いと判断した場合に、図１８の処理を開始する。

［ステップＳ４０１］マイクロコンピュータ２０は、計測された最高輝度Ｙ_Hに合わせた露出補正値ＥＶ_Eqを、次の式（１５）に従って算出する。また、このとき、次のステップＳ４０２の撮像時におけるシャッタスピードＳ（ただし、ここでは主としてシャッタ１１ｂの動作を制御する）と絞り値Ｆを、次の式（１６）に従って求める。なお、Ｓ₀，Ｆ₀，Ｇ₀は、上述した通り、図２のステップＳ１０１のＡＥ制御時に設定した（またはステップＳ１０３であらためて設定した）シャッタスピード（ただし、電子シャッタ機能による）、絞り値、ＩＳＯゲインである。

［ステップＳ４０２］マイクロコンピュータ２０は、ステップＳ４０１で求めた露出補正値ＥＶ_Eq、シャッタスピードＳ、絞り値Ｆを適用して、露光動作を実行させる。この動作によりＡ／Ｄ変換部１３から出力されたＲＡＷ画像データは、ＲＡＷバッファメモリ３１に一旦格納される。

［ステップＳ４０３］次に、マイクロコンピュータ２０は、ＩＳＯゲイン調整部１４でのＩＳＯゲインを「１」（すなわち、ゲインなし）、ＲＡＷ・ＮＲ処理部３２でのＮＲ強度を「弱」として、ＲＡＷバッファメモリ３１内の画像データをＩＳＯゲイン調整部１４およびＲＡＷ・ＮＲ処理部３２に順次処理させ、処理後の画像Ｐ_Hをバッファメモリ１５に格納する。

［ステップＳ４０４］次に、マイクロコンピュータ２０は、ＩＳＯゲイン調整部１４でのＩＳＯゲインを上げ、ＲＡＷ・ＮＲ処理部３２でのＮＲ強度を「中」の段階に上げて、ＲＡＷバッファメモリ３１内の画像データをＩＳＯゲイン調整部１４およびＲＡＷ・ＮＲ処理部３２に順次処理させ、処理後の画像Ｐ₀をバッファメモリ１５に格納する。

［ステップＳ４０５］次に、マイクロコンピュータ２０は、ＩＳＯゲイン調整部１４でのＩＳＯゲインをさらに上げ、ＲＡＷ・ＮＲ処理部３２でのＮＲ強度をさらに「強」の段階に上げて、ＲＡＷバッファメモリ３１内の画像データをＩＳＯゲイン調整部１４およびＲＡＷ・ＮＲ処理部３２に順次処理させ、処理後の画像Ｐ_Lをバッファメモリ１５に格納する。

ここで、ステップＳ４０３〜Ｓ４０５でのＩＳＯゲイン、ＮＲ強度の制御値を、以下に示す。これらのステップＳ４０３〜Ｓ４０５では、第１の実施の形態においてブラケット撮像により得た基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVERを、それぞれ画像Ｐ₀，Ｐ_H，Ｐ_Lとして擬似的に生成していると言える。

［ステップＳ４０６］合成処理部１６は、次の式（１７）に従って、バッファメモリ１５内の画像Ｐ_H，Ｐ₀，Ｐ_Lを合成し、ＨＤＲ画像を生成する。この式（１７）は、第１の実施の形態で示した式（５）に対応する。合成処理部１６は、式（１７）で必要となる露出補正値の代わりに、ステップＳ４０３〜Ｓ４０５で設定されたＩＳＯゲインの設定値をマイクロコンピュータ２０から受け取り、式（１７）に従った処理を実行する。なお、しきい値Ｔｈ１およびＴｈ２は、０≦Ｔｈ１＜Ｔｈ２の関係を満たし、例えばあらかじめ決められた値が使用される。

［ステップＳ４０７，Ｓ４０８］これらの各ステップの処理は、図２のステップＳ１１３およびＳ１１４にそれぞれ対応する。すなわち、ステップＳ４０６で生成されたＨＤＲ画像は、現像処理部１７で現像処理を施すことが可能な画像データよりもビット数が多くなっているため、現像処理部１７の入力段において、合成されたＨＤＲ画像データの階調レンジおよびデータビット数を圧縮し、圧縮後の画像データを現像する。

ここで、上記のステップＳ４０３〜Ｓ４０５では、第１の実施の形態においてブラケット撮像により得た基準画像Ｐ₀、画像Ｐ_UNDERおよびＰ_OVERを、それぞれ画像Ｐ₀，Ｐ_H，Ｐ_Lとして擬似的に生成していると言える。ただし、実際に露光制御を行う代わりにＩＳＯゲインを調整しており、ノイズが発生してしまうことから、ＩＳＯゲインを高くするほど、ＮＲ強度を強くしてノイズの発生量を抑えている。このような処理により、ステップＳ４０６で合成される画像においては、高輝度領域に対してはＮＲ処理が弱めにかけられ、ディテール成分が保たれる。逆に、低輝度領域に対しては、ＮＲ処理が強めにかけられることでノイズレベルが抑えられ、階調情報が残されるので、検出されるシーンの輝度レンジが拡大される。従って、高画質なＨＤＲ画像を得ることができる。

図１９は、生成される画像Ｐ₀，Ｐ_H，Ｐ_Lにおける明るさの特性を示す図である。
同図（Ａ）において、直線Ｌ_Hは、画像Ｐ_Hで再現されるシーンの輝度値と撮像素子１２の電荷量との関係を示している。また、直線Ｌ₀は、露出補正を行わずに撮像した場合（すなわち、図２のステップＳ１０１での露光条件またはステップＳ１０３であらためて設定された露光条件で撮像した場合）におけるシーンの輝度値と撮像素子１２の電荷量との関係を示している。通常の露光条件で撮像された画像の階調レンジは、輝度値Ｙ_DLから輝度値Ｙ_DHまでとなるが、露出をアンダー側に補正して得た画像Ｐ₀では、高輝度側の階調レンジが最高輝度Ｙ_Hまでの輝度差ＤＹｈだけ拡大される。一方、低輝度側の階調レンジについては、ＮＲ処理によりノイズレベルをＮｆからＮｓｕｐｐ＿ｈに低減することで、露出補正しない場合と同程度まで確保することができる。

また、同図（Ｂ）において、直線Ｌ₀は、画像Ｐ₀で再現されるシーンの輝度値と撮像素子１２の電荷量との関係を示している。この画像Ｐ₀はゲインアップにより得たものなので、本来のノイズレベルＮｆは高くなるが、ＮＲ強度を「中」に上げたことで実際のノイズレベルＮｓｕｐｐ＿０はノイズレベルＮｆより低くなる。例えば、ノイズレベルＮｓｕｐｐ＿０を、同図（Ａ）で示した露出補正なしの場合のノイズレベルＮｆ程度に抑えることができる。

また、同図（Ｃ）において、直線Ｌ_Lは、画像Ｐ_Lで再現されるシーンの輝度値と撮像素子１２の電荷量との関係を示している。この画像Ｐ_Lはゲインアップにより得たものなので、本来のノイズレベルＮｆはさらに高くなるが、ＮＲ強度を「強」に上げたことで実際のノイズレベルＮｓｕｐｐ＿ｌはノイズレベルＮｆより低くなる。

図２０は、合成された画像における明るさの特性を示す図である。
この図２０において、直線Ｌ₀としきい値Ｔｈ１およびＴｈ２とがそれぞれ交差している点の輝度値をＹ１およびＹ２とすると、合成後の画像には、輝度値Ｙ１以下では画像Ｐ_Lの画素データが用いられ、輝度値Ｙ２以上では画像Ｐ_Hの画素データが用いられる。ここで、式（１７）の演算により、輝度値Ｙ１以下、および輝度値Ｙ２以上の領域において、それぞれ直線Ｌ_LおよびＬ_Hの傾きが直線Ｌ₀と同じになることは、図４で説明した通りである。このように直線Ｌ_Lの傾きが緩やかになるように変換されることで、画像Ｐ_LにおけるノイズレベルＮｓｕｐｐ＿ｌも低下する。このとき、ＮＲ強度の違いから、変換後のノイズレベルＮｓｕｐｐ＿ｌは画像Ｐ₀のノイズレベルＮｓｕｐｐ＿０より低くなり、その結果、合成後の画像における低輝度側の階調レンジは、輝度差ＤＹｌの分だけ拡大されることになる。なお、上述したように、高輝度側の階調レンジも輝度差ＤＹｈの分だけ拡大される。従って、露出補正せずに撮像した画像よりも、シーン中のより広い輝度レンジの階調情報を持つＨＤＲ画像を生成することが可能になる。

なお、以上で説明した処理手順においては、ステップＳ４０７およびＳ４０８の処理の代わりに、第３の実施の形態で説明した内挿補間によるＨＤＲ画像の合成処理（図１０のステップＳ３０７〜Ｓ３１０に対応）が用いられてもよい。この場合、例えば、図９に示した構成において、Ａ／Ｄ変換後の画像（図１７のＲＡＷバッファメモリ３１内の画像に対応）から３枚の画像を生成する際に、現像処理部１７ａによる現像処理を施し、現像後の画像Ｐ’₀，Ｐ’_H，Ｐ’_Lの各データをバッファメモリ１５ａに格納して、補間処理により合成画像を生成すればよい。すなわち、図１７のＲＡＷ・ＮＲ処理部３２でのＮＲ処理を、現像処理部１７ａ内の機能により実行することができる。このため、図１７の構成により合成後のＨＤＲ画像に対して現像処理が行われる場合と比較して、最終的な画像の画質をさらに良好にでき、シーン内のより広い輝度レンジに対応する階調情報をその画像データに取り込むことができるようにもなる。

なお、この場合には、第２の実施の形態と同様に、露出補正なしで、かつ、デフォーカス状態として撮像することで、ローパス画像データを取得すればよい。あるいは、ＩＳＯゲイン調整処理およびＮＲ処理によって得られた３枚のうちの１つの画像（望ましくは画像Ｐ₀）のデータを演算によりローパスフィルタ処理することで、ローパス画像データを取得してもよい。

また、以上の第６の実施の形態における処理機能を、ＲＡＷ現像プログラムとして実現することも可能である。この場合、ステップＳ４０２で得たＲＡＷ画像データを記録媒体に保存しておき、後にＰＣなどにおいて、画像Ｐ₀，Ｐ_H，Ｐ_Lを生成し、ＨＤＲ画像を合成することが可能になる。特に、上記手法の撮像により得られたＲＡＷ画像データに限らず、他の撮像手法により得られたＲＡＷ画像データに対して上記処理を施し、低輝度側の階調レンジが拡大されたＨＤＲ画像を得ることも可能である。すなわち、すでに撮像された１つの画像データを基にブラケット撮像後の画像データを擬似的に生成し、それらの画像データを基にＨＤＲ画像を得ることができる。この場合、入力された１枚の画像のデータに対して、第２の実施の形態で説明した累積ヒストグラムを用いた手法を適用して、露出補正値ＥＶ_Eqを推定してもよい。

なお、以上の各実施の形態では、本発明をＤＳＣに適用した場合について説明したが、本発明はＤＳＣに限らず、画像撮像機能を持ついかなる電子機器に適用することも可能である。

また、上述したように、上記各実施の形態に係るＤＳＣの機能の一部は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の第１の実施の形態に係るＤＳＣの内部構成を示すブロック図である。 第１の実施の形態に係るＤＳＣでの撮像動作全体の手順を示すフローチャートである。 ステップＳ１１１のブラケット撮像の処理手順を示すフローチャートである。 合成される画像間の明るさの関係を説明するための図である。 ＨＤＲ画像の階調レンジ圧縮のための機能を示すブロック図である。 ＨＤＲ画像の階調レンジ圧縮時に設定されるゲインカーブの例を示す図である。 累積ヒストグラムから求められるパラメータを説明するための図である。 キーレベルとハイライトレベルの組み合わせに対応する輝度値の度数を示すヒストグラムの代表的な例を示す図である。 本発明の第３の実施の形態に係るＤＳＣの内部構成を示すブロック図である。 第３の実施の形態に係るＤＳＣでの撮像時の処理手順を示すフローチャートである。 デフォーカス画像の撮像時におけるフォーカス調整レンズの駆動手順を説明するための図である。 ローパス画像の輝度を重み係数に変換するための変換関数の例を示す図である。 ローパス画像における輝度値の度数を示すヒストグラムの例である。 撮像により得られる画像の輝度値に基づくヒストグラムの例を示す図である。 単調増加関数の例を示す図である。 本発明の第５の実施の形態に係るＤＳＣの内部構成を示すブロック図である。 本発明の第６の実施の形態に係るＤＳＣの内部構成を示すブロック図である。 第６の実施の形態に係るＤＳＣでの撮像時の処理手順を示すフローチャートである。 ゲイン補正により生成される画像における明るさの特性を示す図である。 合成された画像における明るさの特性を示す図である。

符号の説明

１１……光学ブロック、１１ａ……絞り、１１ｂ……シャッタ、１２……撮像素子、１３……Ａ／Ｄ変換部、１４……ＩＳＯゲイン調整部、１５，１５ａ，２３……バッファメモリ、１６……合成処理部、１７，１７ａ……現像処理部、１７ｂ……符号化処理部、１８……記録部、１９……表示部、２０……マイクロコンピュータ、２１……ローパスフィルタ（ＬＰＦ）、２２……検波部、２４……重み係数生成処理部、２５……補間処理部、２６……ゲイン調整部、３１……ＲＡＷバッファメモリ、３２……ＲＡＷ／ＮＲ処理部

Claims (27)

1. 入力画像データを処理する画像処理装置において、
   前記入力画像データの撮像時における露出制御値を基準とした複数段階の露出補正値を取得する露出補正値取得部と、
   前記入力画像データに基づいて照明成分を生成する照明成分生成部と、
   前記露出補正値取得部により取得された前記露出補正値の段階数分だけ設定され、前記照明成分の同一位置の画素の明るさに応じて、同一位置の画素における合計値が１となるように設定された複数の重み係数のそれぞれに対して、対応する前記露出補正値に応じた乗算係数を乗算し、各乗算値を加算することでゲイン量を算出するゲイン量算出部と、
   前記ゲイン量算出部により算出された前記ゲイン量を前記入力画像データに対して画素ごとに印加するゲイン印加部と、
   を有することを特徴とする画像処理装置。
2. 前記露出補正値取得部により取得される複数段階の前記露出補正値には、補正値０が含まれることを特徴とする請求項１記載の画像処理装置。
3. 前記ゲイン量算出部は、２を底とし、対応する前記露出補正値を指数としたべき乗を行うことで前記乗算係数を算出することを特徴とする請求項１記載の画像処理装置。
4. 前記ゲイン量算出部は、前記露出補正値取得部により取得された前記露出補正値のうち、露出オーバー側に補正する前記露出補正値に応じた前記乗算係数が乗算される前記重み係数ほど、前記照明成分が暗い領域で大きく、前記照明成分が明るい領域で小さくなるように設定し、露出アンダー側に補正する前記露出補正値に応じた前記乗算係数が乗算される前記重み係数ほど、前記照明成分が暗い領域で小さく、前記照明成分が明るい領域で大きくなるように設定することを特徴とする請求項１記載の画像処理装置。
5. 前記ゲイン量算出部は、さらに、前記露出補正値取得部により取得された前記露出補正値のうち、中間的な前記露出補正値に応じた前記乗算係数が乗算される前記重み係数については、前記照明成分の輝度が輝度レンジにおける中間領域で最も大きくなるように設定することを特徴とする請求項４記載の画像処理装置。
6. 前記ゲイン量算出部は、
   前記照明成分の輝度ごとの度数を示すヒストグラムから、当該ヒストグラムの最も高輝度側に存在する第１の度数ピークに対応する第１の輝度値と、それより低輝度側の領域に存在する第２の度数ピークに対応する第２の輝度値と、前記第１および第２の度数ピークの間における最低度数位置に対応する第３の輝度値とを検出し、
   前記露出補正値取得部により取得された前記露出補正値のうち、中間的な前記露出補正値に対応する前記重み係数を、前記照明成分が前記第３の輝度値となる輝度領域で最大となり、それより低輝度側および高輝度側でともに単純減少となるように設定し、
   前記露出補正値取得部により取得された前記露出補正値のうち、露出アンダー側に補正する前記露出補正値に対応する前記重み係数を、前記照明成分の輝度値の増加に従って単純増加して、前記第１の輝度値で略最大値に達するように設定し、
   前記露出補正値取得部により取得された前記露出補正値のうち、露出オーバー側に補正する前記露出補正値に対応する前記重み係数を、前記照明成分の輝度値の減少に従って単純増加して、前記第２の輝度値で略最大値に達するように設定する、
   ことを特徴とする請求項５記載の画像処理装置。
7. 前記露出補正値取得部により取得された前記露出補正値のうち、露出アンダー側および露出オーバー側にそれぞれ補正する前記露出補正値に対応する前記各重み係数の最大値を、ユーザ操作に応じて任意に設定可能にする重み係数設定部をさらに有することを特徴とする請求項６記載の撮像装置。
8. 前記ゲイン量算出部は、
   前記入力画像データに対して前記乗算係数を乗算することで、前記露出補正値取得部により取得された前記露出補正値のうち、中間的な前記露出補正値を適用した撮像動作により得られる基準補正画像データと、露出アンダー側に補正する前記露出補正値を適用した撮像動作によって得られるアンダー補正画像データと、露出オーバー側に補正する前記露出補正値を適用した撮像動作によって得られるオーバー補正画像データとを擬似的に算出し、
   前記アンダー補正画像データに適用した前記露出補正値に対応する前記重み係数の最大値を、前記基準補正画像データおよび前記アンダー補正画像データのそれぞれの輝度ごとの度数を示すヒストグラム上の最も高輝度側に存在する度数ピークの位置と、前記照明成分の輝度領域の中間値とに基づいて算出し、
   前記オーバー補正画像データに適用した前記露出補正値に対応する前記重み係数の最大値を、前記基準補正画像データおよび前記オーバー補正データのそれぞれの輝度ごとの度数を示すヒストグラム上の、最も高輝度側に存在する度数ピークより低輝度側の領域に存在する度数ピークの位置と、前記照明成分の輝度領域の中間値とに基づいて算出する、
   ことを特徴とする請求項６記載の画像処理装置。
9. 前記照明成分生成部は、前記露出補正値取得部により取得された前記露出補正値のうちの中間的な前記露出補正値を、前記入力画像データの撮像時において適用したときに得られる画像データを、前記入力画像データを基に推定して算出し、算出された画像データに対してローパスフィルタ処理を施すことで前記照明成分を生成することを特徴とする請求項１記載の画像処理装置。
10. 前記照明成分生成部は、前記入力画像データに対してローパスフィルタ処理を施すことで前記照明成分を生成することを特徴とする請求項１記載の画像処理装置。
11. 前記露出補正値取得部は、前記入力画像データの撮像時における前記露出制御値を、当該入力画像データに付加されたメタデータから取得することを特徴とする請求項１記載の画像処理装置。
12. 前記露出補正値取得部は、複数段階の前記露出補正値を、前記入力画像データの解析結果を基に算出することを特徴とする請求項１記載の画像処理装置。
13. 前記露出補正値取得部は、
    前記入力画像データを基に輝度ごとの度数を低輝度側から累積した累積ヒストグラムを算出し、前記累積ヒストグラムに基づき、主要な被写体が存在している可能性の高い所定の基準累積度数に対応する輝度領域と、前記基準累積度数より高い１つ以上の累積度数に対応する輝度領域と、前記基準累積度数より低い１つ以上の累積度数に対応する輝度領域とを検出して、検出した前記各輝度領域の組み合わせに応じて、複数段階の前記露出補正値を推定値として算出することを特徴とする請求項１２記載の画像処理装置。
14. 前記入力画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露出補正値取得部は、前記入力画像データに対して、前記フィルタ処理部によりローパスフィルタ処理が施された画像データを基に、前記累積ヒストグラムを算出することを特徴とする請求項１３記載の画像処理装置。
15. 前記露出補正値取得部は、前記入力画像データに対して解析用ゲインを印加し、画像中での白飛びおよび黒つぶれの画素の割合がそれぞれ所定のしきい値以下となる限界の前記解析用ゲインの値を基に、アンダー側およびオーバー側に対する前記各露出補正値を換算することを特徴とする請求項１２記載の画像処理装置。
16. 固体撮像素子を用いて画像を撮像する撮像装置において、
    所定の露出制御値を基準とした複数段階の露出補正値を設定する露出補正値設定部と、
    撮像動作により得られた画像データに基づいて照明成分を生成する照明成分生成部と、
    前記露出補正値取得部により取得された前記露出補正値の段階数分だけ設定され、前記照明成分の同一位置の画素の明るさに応じて、同一位置の画素における合計値が１となるように設定された複数の重み係数のそれぞれに対して、対応する前記露出補正値に応じた乗算係数を乗算し、各乗算値を加算することでゲイン量を算出するゲイン量算出部と、
    前記ゲイン量算出部により算出された前記ゲイン量を、前記所定の露出制御値を適用した撮像により得られた画像データに対して画素ごとに印加するゲイン印加部と、
    を有することを特徴とする撮像装置。
17. 基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定する露光状態判定部と、
    前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、シーンの高輝度側の輝度レンジが前記検出輝度レンジに収まるように前記基準露出制御値を補正したアンダー側露出制御値を算出する露出補正値算出部と、
    をさらに有し、
    前記露出補正値設定部は、前記アンダー側露出制御値を基準として、それより露出オーバー側に補正するような複数段階の前記露出補正値を設定することを特徴とする請求項１６記載の撮像装置。
18. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露光状態判定部および前記露出補正値算出部は、前記フィルタ処理部によりローパスフィルタ処理が施された画像データを基に、白飛びの検出、および、前記アンダー側露出制御値の算出をそれぞれ実行することを特徴とする請求項１７記載の撮像装置。
19. 前記露出補正値算出部は、
    前記基準露出制御値を基準としてアンダー側に徐々に補正した露出制御値を適用して、その都度撮像動作を実行させて得られた画像データを基に白飛びの発生状態を検出し、
    白飛びが発生しない最大の露出制御値と、あらかじめ決められた基準露光条件下での画素出力の輝度最大値と、前記固体撮像素子の各画素の飽和電荷量と、所定の白レベルに対応する前記固体撮像素子の画素の電荷量とを基にシーンの最高輝度を検出して、検出したシーンの最高輝度を基に、シーンの輝度レンジが前記検出輝度レンジより広いか否かを判定し、
    シーンの輝度レンジが前記検出輝度レンジより広いと判定した場合に、検出されたシーンの最高輝度が前記検出輝度レンジに収まるように前記基準露出制御値を補正した前記アンダー側露出制御値を算出する、
    ことを特徴とする請求項１７記載の撮像装置。
20. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露出補正値算出部は、前記基準露出制御値を基準としてアンダー側に徐々に補正した露出制御値を適用した撮像動作により得られた画像データに対して、前記フィルタ処理部によりローパスフィルタ処理を施した画像データを基に、白飛びの発生状態を検出することを特徴とする請求項１９記載の撮像装置。
21. 前記露出補正値算出部は、前記基準露出制御値を適用した撮像動作により得られた画像データから、輝度ごとの度数を低輝度側から累積した累積ヒストグラムを検出し、前記累積ヒストグラムに基づき、主要な被写体が存在している可能性の高い所定の基準累積度数に対応する輝度領域と、前記基準累積度数より高い１つ以上の累積度数に対応する輝度領域と、前記基準累積度数より低い１つ以上の累積度数に対応する輝度領域とを検出して、検出した前記各輝度領域の組み合わせに応じて、前記アンダー側露出制御値を推定して出力することを特徴とする請求項１７記載の撮像装置。
22. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露出補正値算出部は、前記基準露出制御値を適用した撮像動作により得られた画像データに対して、前記フィルタ処理部によりローパスフィルタ処理が施された画像データを基に、前記累積ヒストグラムを検出することを特徴とする請求項２１記載の撮像装置。
23. 前記基準露出制御値および前記アンダー側露出制御値をそれぞれ適用した撮像動作により得られた基準画像データおよびアンダー補正画像データに対して、所定の画素補間処理および所定の画質補正処理を含む信号処理を施し、表示デバイスに出力可能な階調ビット数を持つ非圧縮の画像データに変換するＲＡＷ現像処理部をさらに有し、
    前記照明成分生成部は、前記ＲＡＷ現像処理部によって変換された後の前記基準画像データに基づいて照明成分を生成し、
    前記ゲイン印加部は、前記ＲＡＷ現像処理部によって変換された後の前記アンダー補正画像データに対して画素ごとにゲインを印加する、
    ことを特徴とする請求項１７記載の撮像装置。
24. 前記照明成分生成部は、前記基準露出制御値を適用した撮像動作により得られた画像データに対してローパスフィルタ処理を施すことで、前記照明成分を生成することを特徴とする請求項１７記載の撮像装置。
25. 前記照明成分生成部は、撮像画像がデフォーカス状態となるようにフォーカス調整レンズの位置を調整し、かつ、前記基準露出制御値を適用して実行される撮像動作により得られた画像データを、前記照明成分として利用することを特徴とする請求項１７記載の撮像装置。
26. 入力画像データを処理するための画像処理方法において、
    照明成分生成部が、前記入力画像データに基づいて照明成分を生成し、
    露出補正値取得部が、前記入力画像データの撮像時における露出制御値を基準とした複数段階の露出補正値を取得し、
    ゲイン量算出部が、前記露出補正値取得部により取得された前記露出補正値の段階数分だけ設定され、前記照明成分の同一位置の画素の明るさに応じて、同一位置の画素における合計値が１となるように設定された複数の重み係数のそれぞれに対して、対応する前記露出補正値に応じた乗算係数を乗算し、各乗算値を加算することでゲイン量を算出し、
    ゲイン印加部が、前記ゲイン量算出部により算出された前記ゲイン量を前記入力画像データに対して画素ごとに印加する、
    ことを特徴とする画像処理方法。
27. 入力画像データを処理するための画像処理プログラムにおいて、
    コンピュータを、
    前記入力画像データの撮像時における露出制御値を基準とした複数段階の露出補正値を取得する露出補正値取得手段、
    前記入力画像データに基づいて照明成分を生成する照明成分生成手段、
    前記露出補正値取得手段により取得された前記露出補正値の段階数分だけ設定され、前記照明成分の同一位置の画素の明るさに応じて、同一位置の画素における合計値が１となるように設定された複数の重み係数のそれぞれに対して、対応する前記露出補正値に応じた乗算係数を乗算し、各乗算値を加算することでゲイン量を算出するゲイン量算出手段、
    前記ゲイン量算出手段により算出された前記ゲイン量を前記入力画像データに対して画素ごとに印加するゲイン印加手段、
    として機能させることを特徴とする画像処理プログラム。

Images