JP5633550B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、ハイダイナミックレンジ画像について、現実感を失わないレベルで輝度成分と色差成分を過度に強調した画像の生成方法が提案されている（例えば、特許文献１参照）。
この技術においては、２つの異なる周波数帯域（例えば、低域及び中域等）でアンシャープマスク処理をそれぞれ施して局所的にコントラストを強調するようになっている。

特開２０１２−０４４６３９号公報

しかしながら、上記特許文献１等の場合、ハイダイナミックレンジ画像に対して単に２つの異なる周波数帯域でコントラストの強調処理を施していたため、コントラストの違いが目立たない画像領域においては、適正な強調処理が施されずに、現実感が失われる虞があった。

そこで、本発明の課題は、コントラストの差の大小に拘わらず適正な画像処理を行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを取得する第１取得手段と、この第１取得手段によって取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する第１生成手段と、前記第１取得手段によって取得された画像データの画素値と前記第１生成手段により生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正する補正手段と、この補正手段によって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御する制御手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを取得するステップと、取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成するステップと、取得された画像データの画素値と生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正するステップと、補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御するステップと、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを取得する取得手段、この取得手段によって取得された画像データの画素値に対して繰り返し平滑化処理及び解像度変換処理を施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する生成手段、前記取得手段によって取得された画像データの画素値と前記生成手段により生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正する補正手段、この補正手段によって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御する制御手段、として機能させることを特徴としている。

本発明によれば、コントラストの差の大小に拘わらず適正な画像処理を行うことができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。 図２の撮像処理における画像強調処理に係る動作の一例を示すフローチャートである。 図２の撮像処理に係る画像の一例を模式的に示す図である。 図２の撮像処理に係る画像の一例を模式的に示す図である。 図３の画像強調処理における画素値の補正量の調整を説明するための図である。 図２の撮像処理に係る画像の一例を模式的に示す図である。 図２の撮像処理に係る画像の一例を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図９の撮像装置に備わる第２合成画像生成部の概略構成を示すブロック図である。 クリップテーブルを模式的に示す図である。 階調変換テーブルを模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、実施形態１の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、記録媒体制御部５と、画像処理部６と、表示部７と、操作入力部８と、中央制御部９とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、記録媒体制御部５、画像処理部６、表示部７及び中央制御部９は、バスライン１０を介して接続されている。

撮像部１は、所定の被写体（例えば、人等）を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。

レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズ部１ａを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。

また、撮像制御部（撮像制御手段）２は、撮像部１に対して露出条件を変えながら略等しい構図で複数回撮像するよう制御する。
即ち、撮像制御部２は、所謂、露出ブラケット撮像の実行を制御し、撮像部１による被写体の撮像の際の露出条件を逐次設定する。即ち、撮像制御部２は、所定のプログラム線図に基づいて、電子撮像部１ｃのシャッター速度（露光時間）や信号増幅率（ＩＳＯ感度）、絞りの絞り値等を調整する。そして、撮像制御部２は、例えば、適正露出を基準値として、この基準値に対してアンダー露出及びオーバー露出となるように、シャッター速度や信号増幅率や絞り値等を制御して、焦点距離を固定した状態で略等しい構図の複数枚の画像を撮像部１に連続して撮像させる（図４（ａ）〜（ｃ）参照）。つまり、撮像制御部２は、略等しい構図の画像について明るさを複数段階に変更させて、複数枚の画像を撮像部１に連続して撮像させる。
なお、略等しい構図の複数枚の画像の撮像は、例えば、三脚等を用いて装置本体を所定位置に固定した状態で行うのが好ましいが、手持ちの撮像であっても連続して撮像された複数枚の画像の位置合わせを行うようにしても良い。

なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部９等によって処理されるデータ等を一時的に格納する。

記録媒体制御部５は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部５は、所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式など）に従って符号化された静止画像の画像データや複数の画像フレームからなる動画像の画像データを記録媒体Ｍから読み出して画像処理部６に転送する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

画像処理部６は、第１合成画像生成部６ａと、画像取得部６ｂと、成分分離部６ｃと、第１生成部６ｄと、強調量取得部６ｅと、画素値補正部６ｆと、補正量調整部６ｇと、高周波成分取得部６ｈと、第１データ構成制御部６ｉと、第２生成部６ｊと、データ合成部６ｋとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

第１合成画像生成部６ａは、ダイナミックレンジを拡大させてなるＨＤＲ合成画像（図４（ｄ）参照）を生成する。
即ち、第１合成画像生成部（画素加算手段）６ａは、撮像制御部２によって制御されて得た複数の画像データを画素加算し、ダイナミックレンジを拡大させてなる画像データを生成するよう制御する。具体的には、第１合成画像生成部６ａは、略等しい構図で露出条件（例えば、適正露出、アンダー露出、オーバー露出等）を異ならせて複数回撮像された画像データをメモリ４から取得し、これら画像データの対応する画素の輝度成分どうしを加算することでダイナミックレンジを拡大させたＨＤＲ合成画像の画像データ（ＹＵＶデータ）を生成する。
なお、ＨＤＲ合成画像の画像データを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。

画像取得部６ｂは、画像強調処理（後述）の処理対象となる画像を取得する。
即ち、画像取得部（取得手段）６ｂは、処理対象となる画像の画像データを取得する。具体的には、画像取得部６ｂは、第１合成画像生成部６ａによって生成されたＨＤＲ合成画像の画像データを取得する。例えば、画像取得部６ｂは、第１合成画像生成部６ａによって生成されたＨＤＲ合成画像の画像データ（ＹＵＶデータ）の複製をメモリ４から取得したり、記録媒体Ｍに記録されているＨＤＲ合成画像の画像データの複製を取得したりする。
なお、後述する画像処理部６による各処理は、ＨＤＲ合成画像の画像データ自体に対して行われても良いし、必要に応じてＨＤＲ合成画像の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

成分分離部６ｃは、処理対象となる画像の成分を分離する。
即ち、成分分離部（分離手段）６ｃは、画像取得部６ｂにより取得された所定の色空間の画像データを成分毎に分離する。具体的には、成分分離部６ｃは、例えば、画像取得部６ｂにより取得されたＨＤＲ合成画像の画像データを、輝度成分（輝度値）Y_hdr（図５（ａ）参照）と色差成分U_hdr、V_hdrとに分離して出力する。
なお、輝度成分（輝度値）Y_hdrと色差成分U_hdr、V_hdrとに分離するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、ＲＧＢ色空間で各色成分毎に分離するようにしても良い。

第１生成部６ｄは、複数段階の各解像度で平滑化された複数段階の画素値を生成する。
即ち、第１生成部（第１生成手段）６ｄは、画像取得部６ｂによって取得された処理対象となる画像の画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する。具体的には、第１生成部６ｄは、ガウシアンピラミッドを用いて、画像取得部６ｂによって取得され成分分離部６ｃにより分離されたＨＤＲ合成画像の輝度成分（輝度値）Y_hdrに対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された複数段階の画素値を生成する。

例えば、第１生成部６ｄは、ＨＤＲ合成画像の輝度成分Y_hdrに対して、平滑化処理及び解像度縮小処理を逐次繰り返していき、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]を生成する。つまり、当該ガウシアンピラミッドは、上位の階層（より大きい値の段）に行くほどより小さく平滑化されていき、輝度成分Y_hdrの大局的なコントラストが表現される。
続けて、第１生成部６ｄは、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]の各段階毎にエッジ保存型フィルタを用いて平滑化し、n段の平滑化ガウシアンピラミッドY_G_pyramid_lpf[n]を生成する（図５（ｂ）参照）。ここで、エッジ保存型フィルタを用いることで、より小さい振幅のみを平滑化するようにする。
これにより、画素値補正部６ｆによる画素値の補正（後述）にて、平坦部については、周波数帯域がより低域のディテールが強調されることとなり、例えば、大きな雲の立体感の演出など、ダイナミックなコントラスト強調表現が可能となる。また、ガウシアンピラミッドの段数nが少なくても、周波数帯域が低域のディテールを強調させ易くすることができる。
なお、ガウシアンピラミッドを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。

強調量取得部６ｅは、複数段階の各解像度毎の画素値の強調量を取得する。
即ち、強調量取得部（第２取得手段）６ｅは、画像取得部６ｂによって取得された処理対象の画像の画像データの画素値と第１生成部６ｄにより生成された各段階毎の画素値との差分に基づいて、各段階毎の画素値の強調量を取得する。
具体的には、強調量取得部６ｅは、例えば、輝度成分Y_hdrのn段の平滑化ガウシアンピラミッドY_G_pyramid_lpf[n]の各々を元サイズに拡大して戻し、n段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]を生成する（図５（ｃ）参照）。そして、強調量取得部６ｅは、処理対象のＨＤＲ合成画像の各画素毎の輝度成分Y_hdrと当該輝度成分Y_hdrのn段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の各画素毎の輝度成分を「０」〜「１」の範囲の値でそれぞれ正規化し、それらの差分に基づいて輝度成分Y_hdrの各段階毎の強調量を取得する。

画素値補正部６ｆは、複数段階の各解像度毎の画素値を補正する。
即ち、画素値補正部（補正手段）６ｆは、画像取得部６ｂによって取得された処理対象の画像の画像データの画素値と第１生成部６ｄにより生成された各段階毎の画素値との差分に基づいて、当該各段階毎に取得された画像データの画素値を補正する。
具体的には、画素値補正部６ｆは、例えば、強調量取得部６ｅによって取得された輝度成分Y_hdrの複数段階の各段階毎の強調量で、当該各解像度毎に輝度成分Y_hdrの画素値を強調する補正を行い、輝度成分Yのディテールを強調したn段の強調輝度成分Y_detail_up[n]を生成する（図５（ｄ）参照）。これにより、画素値補正部６ｆは、例えば、n段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]のうち、高解像度で平滑化レベルの低い下位段を用いると、周波数帯域が高域のディテールを強調した結果となる一方で、低解像度で平滑化レベルの高い上位段を用いると、周波数帯域が低域から高域の広い帯域のディテールを強調した結果となる。

補正量調整部６ｇと、複数段階の各解像度毎の画素値の補正量を調整する。
即ち、補正量調整部（調整手段）６ｇは、画素値補正部６ｆによる複数段階の各解像度毎の画素値の補正量を調整する。具体的には、補正量調整部６ｇは、強調量取得部６ｅによって取得された輝度成分Y_hdrの複数段階の各段階毎の強調レベルを調整する（図６参照）。ここで、画素値の補正量の調整は、例えば、予め規定された複数の補正レベルの中で、ユーザによる操作入力部８の所定操作に基づいて指定された補正レベルで行われるようにしても良いし、ユーザにより任意に指定されたレベルで行われるようにしても良い。
例えば、図６は、入力画像の輝度値Ｙ_ｉｎと強調後の出力画像の輝度値Ｙ_ｏｕｔとの対応関係を示す図である。図６中、Detail設定幅Ｄの基準位置（例えば、中心）は、n段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の各画素毎の輝度成分の値によって決定される。そして、補正量調整部６ｇは、処理対象のＨＤＲ合成画像の各画素毎の輝度成分Y_hdrと当該輝度成分Y_hdrのn段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の各画素毎の輝度成分との差分が小さいほど強調レベル（ゲインレベル）を大きくするようにすることにより、輝度成分Yのうち、振幅が小さいディテール（高域成分を多く含まない部分）ほど強調される結果となり、ディテールを豊かに表現することができる。その一方で、輝度成分Yのうち、もともと振幅が大きいディテール（高域成分を多く含む部分）は強調されず、不要な強調を抑制することができる。
なお、Detail設定幅Ｄを広くすると、高域成分に対しても高い強調効果が得られるようになるが、明暗差が大きい部分でのオーバーシュートやアンダーシュート発生の原因となる。

高周波成分取得部６ｈは、複数段階の各段階毎の画素値について高周波成分を取得する。
即ち、高周波成分取得部（第３取得手段）６ｈは、画素値補正部６ｆによって補正された各段階毎の輝度成分Yについて、複数段階の解像度で高周波成分を取得する。具体的には、高周波成分取得部６ｈは、ラプラシアンピラミッドを用いて、複数段階の各段階毎の輝度成分Yについて高周波成分を取得する。
例えば、高周波成分取得部６ｈは、画素値補正部６ｆによって生成されたn段の強調輝度成分Y_detail_up[n]の各々について、n段のラプラシアンピラミッドを生成する。つまり、高周波成分取得部６ｈは、n段の強調輝度成分Y_detail_up[n]の各々を各群とする、n段×n群のラプラシアンピラミッドY_L_pyramid_detail_up[n][n]を生成する（図７（ａ）参照）。
なお、ラプラシアンピラミッドを生成する処理は、n段の強調輝度成分Y_detail_up[n]の各段についてガウシアンピラミッドを生成し、隣り合う段同士で差分をとる公知の技術であるので、ここでは詳細な説明を省略する。

第１データ構成制御部６ｉは、画素値が強調された画像データを構成する。
即ち、データ構成制御部（制御手段）６ｉは、画素値補正部６ｆによって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、取得された画像データの画素値が強調されたものを構成するよう制御する。具体的には、第１データ構成制御部６ｉは、高周波成分取得部６ｈによって取得された複数段階の高周波成分のうち、画素値補正部６ｆにより補正された画素値の解像度に応じた高周波成分を特定し、画素値が強調された画像データを構成するよう制御する。
例えば、第１データ構成制御部６ｉは、高周波成分取得部６ｈによって取得されたn段×n群のラプラシアンピラミッドY_L_pyramid_detail_up[n][n]の各群から１段ずつ階層画像（輝度成分Ｙ）を選択し、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する（図７（ｂ）参照）。ここで、選択方法としては、各群毎に群の値と同じ値の段の階層画像を選択する。例えば、第１データ構成制御部６ｉは、２群のY_L_pyramid_detail_up[n][2]からは、２段目の階層画像Y_L_pyramid_detail_up[2][2]を選択する。最後に、第１データ構成制御部６ｉは、n段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像の複製を取得して、最上位段に組み込んで、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する。
これにより、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]のうち、下位層には、画素値補正部６ｆによる画素値の補正にてn段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の下位層を用いて強調した周波数帯域が高域のディテール成分が格納される。また、中位層には、n段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の中位層を用いて強調した周波数帯域が中域〜高域のディテール成分の中から中域に対応する部分のみを抽出したディテール成分が格納される。また、上位層には、n段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の上位層を用いて強調した周波数帯域が低域〜高域のディテール成分の中から低域に対応する部分のみを抽出したディテール成分が格納される。つまり、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]には、画素値補正部６ｆによる画素値の補正にて強調した様々な周波数帯域のディテール成分が帯域を重複させることなく格納されることとなる。
また、第１データ構成制御部６ｉは、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を再構成して、輝度成分Ｙ_final（輝度画像データ）を生成する（図７（ｃ）参照）。例えば、第１データ構成制御部６ｉは、上位段の階層画像から順に「拡大」及び「足し込み」の手順を繰り返す一般的な手法を用いて、ラプラシアンピラミッドY_L_pyramid_final[n]を再構成して、輝度成分Y_finalを完成させる。

第２生成部６ｊは、色差成分を強調した色差画像データを生成する。
即ち、第２生成部（第２生成手段）６ｊは、第１データ構成制御部６ｉによって構成された画像データにおける輝度値の強調度合いに基づいて、成分分離部６ｃによって分離された色差成分U_hdr、V_hdrを強調した色差画像データを生成する。具体的には、第２生成部６ｊは、例えば、強調量取得部６ｅによって取得された輝度成分Y_hdrの強調量と略等しい度合いで色差成分U_hdr、V_hdrの値を増幅して、色差成分U_final、V_final（色差画像データ）を完成させる（図示略）。
ここで、輝度成分Y_hdrの強調量は、当該輝度成分Y_hdrの複数段階の各段階毎の強調量のうち、何れか一の段階に対応する強調量であっても良いし、複数段階に対応する強調量に基づいて所定の演算を行うことで算出された強調量であっても良い。

データ合成部６ｋは、輝度画像データと色差画像データとを合成する。
即ち、データ合成部（合成手段）６ｋは、第１データ構成制御部６ｉによって構成された輝度成分Y_finalと第２生成部６ｊによって生成された色差成分U_final、V_finalとを合成して、画像処理済み画像HDR_finalの画像データを生成する（図８（ａ）参照）。

表示部７は、表示パネル７ａと、表示制御部７ｂとを具備している。
表示パネル７ａは、表示画面内に画像を表示する。なお、表示パネル７ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

表示制御部７ｂは、メモリ４に一時的に格納されている表示用の画像データを読み出して、画像処理部６により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル７ａの表示画面に表示させる制御を行う。具体的には、表示制御部７ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなど（何れも図示略）を備えている。そして、デジタルビデオエンコーダは、画像処理部６により復号されてＶＲＡＭに記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示パネル７ａに出力する。
例えば、表示制御部７ｂは、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像Ｇを表示パネル７ａに表示させる。また、表示制御部７ｂは、静止画として記録される画像（レックビュー画像）を表示パネル７ａに表示させたり、動画として記録中の画像を表示パネル７ａに表示させたりする。

操作入力部８は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部８は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部９に出力する。

中央制御部９は、撮像装置１００の各部を制御するものである。具体的には、中央制御部９は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

＜撮像処理＞
次に、撮像装置１００による撮像処理について、図２〜図８を参照して説明する。
図２は、撮像処理に係る動作の一例を示すフローチャートである。

撮像処理は、ユーザによる操作入力部８の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から強調画像撮像モードが選択指示された場合に、中央制御部９の制御下にて当該撮像装置１００の各部により実行される処理である。

図２に示すように、先ず、中央制御部９のＣＰＵは、ユーザによる操作入力部８のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１）。ステップＳ１における撮像指示が入力されたか否かの判定は、当該撮像指示が入力されたと判定されるまで（ステップＳ１；ＹＥＳ）、所定の時間間隔で繰り返し実行される。

ステップＳ１にて、撮像指示が入力されたと判定されると（ステップＳ１；ＹＥＳ）、中央制御部９のＣＰＵは、撮像制御指令を撮像制御部２に対して出力し、撮像制御部２は、撮像部１を制御して露出条件を変えながら連続して複数枚の画像を撮像させる（ステップＳ２；図４（ａ）〜（ｃ）参照）。具体的には、撮像制御部２は、例えば、適正露出を基準値として、この基準値に対してアンダー露出及びオーバー露出となるように、シャッター速度や信号増幅率や絞り値等を制御して、焦点距離を固定した状態で略等しい構図の複数枚（例えば、３枚等）の画像を撮像部１に連続して撮像させる。そして、画像データ生成部３は、連続して撮像された各画像の画像データを生成して、メモリ４に出力する。

次に、画像処理部６の第１合成画像生成部６ａは、メモリ４から連続して撮像された各画像の画像データを取得して、これら画像データの対応する画素の輝度成分どうしを加算することでダイナミックレンジを拡大させたＨＤＲ合成画像の画像データ（ＹＵＶデータ）を生成する（ステップＳ３）。

続けて、画像処理部６は、ＨＤＲ合成画像のディテール及びコントラストを強調する画像強調処理（図３参照）を行う（ステップＳ４）。
以下に、画像強調処理について図３を参照して説明する。図３は、画像強調処理に係る動作の一例を示すフローチャートである。

図３に示すように、先ず、画像処理部６の画像取得部６ｂは、第１合成画像生成部６ａによって生成されたＨＤＲ合成画像の画像データの複製を取得して、成分分離部６ｃは、ＨＤＲ合成画像の画像データを輝度成分（輝度値）Y_hdr（図５（ａ）参照）と色差成分U_hdr、V_hdrとに分離する（ステップＳ１１）。
次に、第１生成部６ｄは、ＨＤＲ合成画像の輝度成分Y_hdrに対して、平滑化処理及び解像度縮小処理を逐次繰り返していき、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]を生成する（ステップＳ１２）。続けて、第１生成部６ｄは、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]の各段階毎に平滑化して、n段の平滑化ガウシアンピラミッドY_G_pyramid_lpf[n]を生成する（ステップＳ１３；図５（ｂ）参照）。

次に、強調量取得部６ｅは、第１生成部６ｄによって生成された輝度成分Y_hdrのn段の平滑化ガウシアンピラミッドY_G_pyramid_lpf[n]の各々を元サイズに戻し、n段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]を生成する（ステップＳ１４；図５（ｃ）参照）。続けて、強調量取得部６ｅは、ＨＤＲ合成画像の各画素毎の輝度成分Y_hdrと当該輝度成分Y_hdrのn段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の各画素毎の輝度成分を「０」〜「１」の範囲の値でそれぞれ正規化し、それらの差分に基づいて輝度成分Y_hdrの各段階毎の強調量を取得する（ステップＳ１５）。

次に、画素値補正部６ｆは、強調量取得部６ｅによって取得された輝度成分Y_hdrの複数段階の各段階毎の強調量に基づいて、輝度成分Y_hdrを各解像度毎に補正して、n段の強調輝度成分Y_detail_up[n]を生成する（ステップＳ１６；図５（ｄ）参照）。

次に、高周波成分取得部６ｈは、画素値補正部６ｆによって生成されたn段の強調輝度成分Y_detail_up[n]の各々を各群とする、n段×n群のラプラシアンピラミッドY_L_pyramid_detail_up[n][n]を生成する（ステップＳ１７；図７（ａ）参照）。

次に、第１データ構成制御部６ｉは、高周波成分取得部６ｈによって取得されたn段×n群のラプラシアンピラミッドY_L_pyramid_detail_up[n][n]の各群から１段ずつ階層画像（輝度成分Ｙ）を選択するとともに、n段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像の複製を最上位段に組み込んで、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する（ステップＳ１８；図７（ｂ）参照）。続けて、第１データ構成制御部６ｉは、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]の上位段の階層画像から順に「拡大」及び「足し込み」等を行って再構成し、輝度成分Y_finalを生成する（ステップＳ１９；図７（ｃ）参照）。

次に、第２生成部６ｊは、強調量取得部６ｅによって取得された輝度成分Y_hdrの強調量と略等しい度合いで色差成分U_hdr、V_hdrの値を増幅して、色差成分U_final、V_finalを生成する（ステップＳ２０）。
続けて、データ合成部６ｋは、輝度成分Y_finalと色差成分U_final、V_finalとを合成して、画像処理済み画像HDR_finalの画像データを生成する（ステップＳ２１；図８（ａ）参照）。そして、画像処理部６は、画像処理済み画像HDR_finalの画像データを所定の圧縮形式で符号化して、メモリ４に出力する。

図２に戻り、記録媒体制御部５は、メモリ４から符号化処理後の画像処理済み画像HDR_finalの画像データを取得して、記録媒体Ｍの所定の格納領域に記録させる（ステップＳ５）。
これにより、撮像処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、取得画像の画像データの画素値（例えば、輝度値）と取得画像の画像データが複数段階の各解像度で平滑化された複数段階の画素値との差分に基づいて、当該各段階毎に取得された画像データの画素値を補正して、補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、取得された画像データの画素値が強調されたものを構成することができる。
具体的には、ガウシアンピラミッドを用いて、取得画像の画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された複数段階の画素値を生成することができる。このとき、複数段階の各解像度でエッジ保存型フィルタを用いて平滑化することで、より少ない段数で低周波数域のコントラストを強調し易くすることができる。また、取得画像の画像データの画素値と取得画像の画像データが複数段階の各解像度で平滑化された複数段階の画素値との差分に基づいて、各段階毎の画素値の強調量を取得し、取得された強調量で、当該各段階毎に取得された画像データの画素値を強調する補正を行うことができる。また、ラプラシアンピラミッドを用いて、補正された各段階毎の画素値について、複数段階の解像度で高周波成分を取得することができ、取得された複数段階の高周波成分のうち、補正された画素値の解像度に応じた高周波成分を特定し、画素値が強調された画像データを構成することができる。
従って、取得画像に対する画像処理に係る周波数の分解レベルを高くして、取得画像の細部（図８（ｃ）及び図８（ｄ）参照）に対応する画像領域だけでなく、コントラストの違いが目立ち難い平坦部（例えば、雲；図８（ｅ）及び図８（ｆ）参照）に対応する画像領域に対しても従来よりも適正な強調処理を施すことができ、これにより、取得画像のコントラストの差の大小に拘わらず適正な画像処理を行うことができる。
なお、図８（ｃ）〜図８（ｆ）にあっては、図８（ｃ）及び図８（ｅ）が従来の画像処理が施された画像を示し、図８（ｄ）及び図８（ｆ）が本実施形態に係る画像強調処理が施された画像を示している。

また、平滑化された複数段階の画素値の補正量を調整することができるので、ユーザ所望の補正度合いで複数段階の画素値を補正することができ、画像処理済み画像のディテール及びコントラストの強調の度合いを変更させることができる。

また、輝度値の強調度合いに基づいて、色差成分を強調した色差画像データを生成して、輝度値が強調された輝度画像データと色差画像データとを合成するので、取得画像の輝度だけでなく彩度も強調させることができ、画像処理済み画像のディテール及びコントラストの表現力を向上させることができる。

また、取得画像の画像データとして、略等しい構図の画像について明るさを複数段階に変更したものを画素加算してダイナミックレンジを拡大させてなる画像データを用いることで、画像処理済み画像のダイナミックレンジの拡大に伴う表現をより適正に行うことができる。具体的には、撮像部１に対して露出条件を変えながら略等しい構図で複数回撮像するよう制御されて得た複数の画像データを画素加算し、ダイナミックレンジを拡大させてなる画像データを生成することができる。

［実施形態２］
以下に、実施形態２の撮像装置２００について説明する。
実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、詳細な説明は省略する。

図９は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
図９に示すように、実施形態２の撮像装置２００の画像処理部２０６は、第２合成画像生成部２０６ａと、画像取得部６ｂと、成分分離部６ｃと、第１生成部６ｄと、強調量取得部６ｅと、画素値補正部６ｆと、補正量調整部６ｇと、高周波成分取得部６ｈと、ハイライト領域情報取得部２０６ｌと、第２データ構成制御部２０６ｉと、第２生成部６ｊと、データ合成部６ｋとを具備している。
なお、画像取得部６ｂ、成分分離部６ｃ、第１生成部６ｄ、強調量取得部６ｅ、画素値補正部６ｆ、補正量調整部６ｇ、高周波成分取得部６ｈ、第２生成部６ｊ、データ合成部６ｋは、実施形態１の撮像装置１００に備わるものと略同様の構成及び処理をなし、ここでは詳細な説明は省略する。

第２合成画像生成部２０６ａは、実施形態１の撮像装置１００に備わる第１合成画像生成部６ａと同様に、ダイナミックレンジを拡大させてなるＨＤＲ合成画像（図４（ｄ）参照）を生成する。
以下に、図１０を参照して、第２合成画像生成部２０６ａについて詳細に説明する。
図１０は、第２合成画像生成部２０６ａの概略構成を示すブロック図である。

図１０に示すように、第２合成画像生成部２０６ａは、輝度色差分離部２０６１と、ＬＰＦ部２０６２と、εフィルタ部２０６３と、クランプ・ゲイン調整部２０６４と、合成用マップ生成部２０６５と、ＨＤＲ合成部２０６６とを具備している。

輝度色差分離部２０６１は、適正露出、アンダー露出及びオーバー露出の各画像データをメモリ４から取得して、輝度成分データと色差成分データとに分離して、ＨＤＲ合成部２０６６に出力する。
また、輝度色差分離部２０６１は、適正露出の画像データの輝度成分データの複製を生成して、ＬＰＦ部２０６２及びεフィルタ部２０６３に出力する。

ＬＰＦ部２０６２は、適正露出の画像データの輝度成分データに対してローパスフィルタをかける均し処理を行う。
即ち、ＬＰＦ部（情報画像生成手段）２０６２は、撮像制御部２によって制御されて得た複数の画像データのうちの何れか一の画像データ（本実施の形態では適正露出の画像データ）の大局的な輝度成分の傾向を示す情報画像（グラデーション画像）を生成する。具体的には、ＬＰＦ部２０６２は、適正露出の画像データの輝度成分データに対してローパスフィルタをかけて、当該画像全体の大局的な輝度勾配（明るさの傾向）に関するグラデーション画像を生成し、クランプ・ゲイン調整部２０６４及び合成用マップ生成部２０６５に出力する。

εフィルタ部２０６３は、適正露出の画像データの輝度成分データに対して、当該データを平滑化してノイズを取り除くためのεフィルタをかける処理を行う。そして、εフィルタ部２０６３は、平滑化された輝度成分データを合成用マップ生成部２０６５に出力する。

クランプ・ゲイン調整部２０６４は、グラデーション画像の所定輝度範囲について輝度値を引き上げる処理を行う。即ち、クランプ・ゲイン調整部２０６４は、輝度値のクランプ（減算）レベルを大きくするほどグラデーション画像のシャドウ部に対する影響を少なくする一方で、輝度値のゲインレベルを大きくするほどグラデーション画像のハイライト部に対する影響を大きくする処理を行う。
これにより、ＨＤＲ合成部２０６６により生成されるＨＤＲ合成画像についてのダイナミックなコントラスト強調表現が可能となる。

合成用マップ生成部２０６５は、適正露出、アンダー露出及びオーバー露出の各画像データの画素加算比率を調整する合成用マップを生成する。
即ち、合成用マップ生成部（比率調整手段）２０６５は、ＬＰＦ部２０６２によって生成された情報画像（グラデーション画像）を用いて、当該ＨＤＲ合成部（画素加算手段）２０６６による複数の画像データの画素加算比率を調整する。具体的には、合成用マップ生成部２０６５は、ＬＰＦ部２０６２により生成されたグラデーション画像の画像データ、εフィルタ部２０６３により平滑化された輝度成分データ及びクランプ・ゲイン調整部２０６４により所定輝度範囲について輝度値を引き上げる処理が施されたグラデーション画像の画像データをブレンディング（画素レベルで合成）して、合成用マップを生成する。

ＨＤＲ合成部２０６６は、合成用マップ生成部２０６５により生成された合成用マップに従って、適正露出、アンダー露出及びオーバー露出の各画像データを合成する。即ち、ＨＤＲ合成部２０６６は、輝度値の低い領域（黒領域）についてはオーバー露出の画像データが、また、グレー領域については適正露出の画像データが、また、輝度値の高い領域（白領域）についてはアンダー露出の画像データが、夫々主となるよう混合の割合を設定して、ダイナミックレンジを拡大させたＨＤＲ合成画像の画像データを生成する。
また、ＨＤＲ合成部２０６６における上記の生成は、適正露出、アンダー露出及びオーバー露出の各々の輝度成分データ及び色差成分データについて別個に行われ、その後、合成された輝度成分データと色差成分データとを合成する。

ハイライト領域情報取得部２０６ｌは、輝度成分データのハイライト領域をクリップするためのクリップテーブルＴ１（図１１参照）を取得する。
即ち、ハイライト領域情報取得部（情報取得手段）２０６ｌは、第１生成部６ｄによって生成された各段階毎の画素値のうちの一つから画像データのハイライト領域を特定する情報を取得する。具体的には、ハイライト領域情報取得部２０６ｌは、第１生成部６ｄにより生成された輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像、つまり、最も解像度の低いピラミッドから生成された輝度成分データのハイライト領域を特定するクリップテーブルＴ１を所定の格納手段（例えば、メモリ４等）から取得する。
クリップテーブルＴ１は、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像において、256段階で表される濃度（輝度レベル）のうちの127以上の明るさがある領域についてはそれ以上明るくならないように調整するためのテーブルである。
なお、クリップテーブルＴ１を用いたクリップ処理の対象として、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像を例示したが、一例であってこれに限られるものではなく、例えば、ｎ段目以外の階層画像など適宜任意に変更可能である。

第２データ構成制御部２０６ｉは、実施形態１の撮像装置１００に備わる第１データ構成制御部６ｉと同様に、画素値が強調された画像データを構成する。
即ち、第２データ構成制御部２０６ｉは、画素値補正部６ｆによって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分に加え更に、ハイライト領域情報取得部２０６ｌにより取得されたクリップテーブルＴ１を用いて輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像における所定以上の明るさの領域についてその明るさ減じたものを利用して、取得された画像データの画素値が強調されたものを構成するよう制御する。
具体的には、例えば、第２データ構成制御部２０６ｉは、第１データ構成制御部６ｉと同様に、高周波成分取得部６ｈによって取得されたn段×n群のラプラシアンピラミッドY_L_pyramid_detail_up[n][n]の各群から１段ずつ階層画像（輝度成分Ｙ）を選択し、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する（図７（ｂ）参照）。このとき、第２データ構成制御部２０６ｉは、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像の複製を取得し、クリップテーブルＴ１を用いて輝度値を変換する処理を行うことで、当該階層画像の所定以上（256段階のうちの127以上）の明るさがある領域の明るさを減じたハイライトクリップ画像を生成する。そして、第２データ構成制御部２０６ｉは、生成されたハイライトクリップ画像を最上位段に組み込んで、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する。
ハイライトクリップ画像は、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像に対して、輝度値が所定以上の領域の輝度値を低下させた画像である。これにより、第２データ構成制御部２０６ｉが、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を再構成する際に、輝度成分Ｙ_final（図７（ｃ）参照）が全体的に明るく強調されることを抑制することができる。

＜撮像処理＞
次に、実施形態２の撮像装置２００による撮像処理について、図２を参照して説明する。
当該撮像処理は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００による撮像処理と略同様であり、詳細な説明は省略する。

即ち、上記実施形態１の撮像処理と略同様に、ステップＳ１にて、撮像指示が入力されたと判定されると（ステップＳ１；ＹＥＳ）、中央制御部９のＣＰＵは、撮像制御指令を撮像制御部２に対して出力し、撮像制御部２は、撮像部１を制御して露出条件を変えながら連続して複数枚の画像を撮像させる（ステップＳ２；図４（ａ）〜（ｃ）参照）。

次に、画像処理部２０６の第２合成画像生成部２０６ａは、メモリ４から連続して撮像された各画像の画像データを取得して、これら画像データの対応する画素の輝度成分どうしを加算することでダイナミックレンジを拡大させたＨＤＲ合成画像の画像データ（ＹＵＶデータ）を生成する（ステップＳ３）。
具体的には、第２合成画像生成部２０６ａの輝度色差分離部２０６１は、適正露出、アンダー露出及びオーバー露出の各画像データをメモリ４から取得して、輝度成分データと色差成分データとに分離して、ＨＤＲ合成部２０６６に出力するとともに、適正露出の画像データの輝度成分データの複製を生成して、ＬＰＦ部２０６２及びεフィルタ部２０６３に出力する。
そして、ＬＰＦ部２０６２は、適正露出の画像データの輝度成分データに対してローパスフィルタをかける均し処理を行い、画像全体の大局的な輝度勾配に関するグラデーション画像を生成し、クランプ・ゲイン調整部２０６４及び合成用マップ生成部２０６５に出力する。
また、εフィルタ部２０６３は、適正露出の画像データの輝度成分データに対してεフィルタをかける処理を行い、平滑化された輝度成分データを合成用マップ生成部２０６５に出力する。
次に、クランプ・ゲイン調整部２０６４は、グラデーション画像の所定輝度範囲について輝度値を引き上げる処理を行う。
そして、合成用マップ生成部２０６５は、グラデーション画像の画像データ、平滑化された輝度成分データ及び所定輝度範囲について輝度値を引き上げる処理が施されたグラデーション画像の画像データをブレンディングして、合成用マップを生成する。
その後、ＨＤＲ合成部２０６６は、合成用マップ生成部２０６５により生成された合成用マップに従って、適正露出、アンダー露出及びオーバー露出の各画像データを合成して、ダイナミックレンジを拡大させたＨＤＲ合成画像の画像データを生成する。

続けて、画像処理部２０６は、ＨＤＲ合成画像のディテール及びコントラストを強調する画像強調処理（図３参照）を行う（ステップＳ４）。
画像強調処理は、以下に詳細に説明する以外の点で上記実施形態１の画像強調処理と略同様であり、詳細な説明は省略する。

即ち、画像処理部２０６は、上記実施形態１の画像強調処理と略同様に、ステップＳ１１〜Ｓ１７の各処理を行う。そして、ステップＳ１８にて、ハイライト領域情報取得部２０６ｌは、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像のハイライト領域を特定するクリップテーブルＴ１を取得した後、第２データ構成制御部２０６ｉは、輝度成分Y_hdrのn段のガウシアンピラミッドY_G_pyramid[n]のｎ段目の階層画像の複製を取得し、クリップテーブルＴ１を用いて輝度値を変換する処理を行うことで、当該階層画像の所定以上（256段階のうちの127以上）の明るさがある領域の明るさを減じたハイライトクリップ画像を生成する。そして、第２データ構成制御部２０６ｉは、高周波成分取得部６ｈによって取得されたn段×n群のラプラシアンピラミッドY_L_pyramid_detail_up[n][n]の各群から１段ずつ階層画像（輝度成分Ｙ）を選択するとともに、ハイライトクリップ画像を最上位段に組み込んで、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する。

その後、画像処理部２０６は、上記実施形態１の画像強調処理と略同様に、ステップＳ１９〜Ｓ２１の各処理を行うことで、画像処理済み画像HDR_finalの画像データを生成する。

図２に戻り、上記実施形態１の撮像処理と略同様に、記録媒体制御部５は、メモリ４から符号化処理後の画像処理済み画像HDR_finalの画像データを取得して、記録媒体Ｍの所定の格納領域に記録させる（ステップＳ５）。
これにより、実施形態２の撮像装置２００による撮像処理を終了する。

以上のように、実施形態２の撮像装置２００によれば、画像全体の大局的な輝度勾配（明るさの傾向）に関するグラデーション画像を用いて、複数の画像データの画素加算比率を調整するので、合成用マップのハイライト部に対してのみ画像全体の大局的なグラデーションを適用させることができる。また、補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分に加え更に、クリップテーブルＴ１を用いて画像データにおける所定以上の明るさの領域についてその明るさ減じたもの（ハイライトクリップ画像）を利用して、取得された画像データの画素値が強調されたものを構成することができ、画像処理済み画像HDR_finalにおけるハイライト部（例えば、空など）の明るさを低減させて当該ハイライト部の色の深みを強調させることができる。
従って、画像処理済み画像HDR_finalにおけるシャドウ部の黒つぶれによるダイナミックレンジの低下といった影響を最小限に抑えつつ、ハイライト部に対してよりダイナミックなコントラスト強調表現を施すことができ、結果として、ハイライト部とシャドウ部の明暗の逆転を発生させ易くして画像処理済み画像HDR_finalの非現実感をより適正に表現することができる。

なお、上記実施形態２にあっては、グラデーション画像を用いて、複数の画像データの画素加算比率を調整する処理と、ハイライトクリップ画像を最上位段に組み込んで、n段の最終的なラプラシアンピラミッドY_L_pyramid_final[n]を生成する処理の両方を行うようにしたが、一例であってこれに限られるものではなく、何れか一方のみを行うようにしても、画像処理済み画像HDR_finalにおけるシャドウ部への影響を最小限に抑えつつ、ハイライト部に対してよりダイナミックなコントラスト強調表現を施すことができる。

また、上記実施形態２にあっては、グラデーション画像を用いずに、適正露出の画像データの輝度成分データの階調変換後の画像データを用いて合成用マップを生成しても良い。即ち、図１２に示す階調変換テーブルＴ２を用いて、適正露出の画像データの輝度成分データの所定の閾値以下となる低〜中輝度領域を取り除き、所定の閾値よりも大きい中〜高輝度領域については情報量を半分にする階調変換を行う。そして、合成用マップ生成部２０６５は、適正露出の画像データの輝度成分データ、εフィルタ部２０６３により平滑化された輝度成分データ及び階調変換処理後の輝度成分データをブレンディング（画素レベルで合成）して、合成用マップを生成する。
これにより、合成用マップのハイライト部のエッジがきれいに整形されるため、明るい空に孤立して存在する木の細かい枝などのように明暗の分離が難しい被写体に対して、よりダイナミックなコントラスト強調表現を施すことができる。

また、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２では、ＨＤＲ合成画像の各画素毎の輝度成分Y_hdrとn段のリサイズ平滑化ガウシアンピラミッドY_G_pyramid_lpf_rsz[n]の各画素毎の輝度成分との差分が小さいほど強調レベルを大きくするようにするようにしたが、一例であってこれに限られるものではなく、例えば、差分が大きいほど強調レベルを大きくするようにしても良い。この場合、例えば、輝度成分Yのうち、振幅が大きいディテールほど強調され、その一方で、振幅が小さいディテールは強調されないようにすることができる。

さらに、撮像装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。例えば、外部の撮像手段により撮像された画像を取得して、画像強調処理を行うようにしても良い。

加えて、上記実施形態１、２にあっては、第１取得手段、第１生成手段、補正手段、制御手段としての機能を、中央制御部９の制御下にて、画像取得部６ｂ、第１生成部６ｄ、画素値補正部６ｆ、第１データ構成制御部６ｉが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部９によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、生成処理ルーチン、補正処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部９のＣＰＵを、画像データを取得する手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部９のＣＰＵを、取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部９のＣＰＵを、取得された画像データの画素値と生成された各段階毎の画素値との差分に基づいて、当該各段階毎に取得された画像データの画素値を補正する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部９のＣＰＵを、補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、取得された画像データの画素値が強調されたものを構成するよう制御する手段として機能させるようにしても良い。

同様に、第２取得手段、調整手段、分離手段、第２生成手段、合成手段、撮像制御手段、画素加算手段、第３取得手段、情報取得手段、情報画像生成手段、比率調整手段についても、中央制御部９のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像データを取得する第１取得手段と、
この第１取得手段によって取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する第１生成手段と、
前記第１取得手段によって取得された画像データの画素値と前記第１生成手段により生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正する補正手段と、
この補正手段によって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御する制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記第１取得手段によって取得された画像データの画素値と前記第１生成手段により生成された各段階毎の画素値との差分に基づいて、各段階毎の画素値の強調量を取得する第２取得手段を更に備え、
前記補正手段は、前記第２取得手段によって取得された強調量で、当該各段階毎に前記取得された画像データの画素値を強調する補正を行うことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記補正手段による補正量を調整する調整手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記第１生成手段によって生成された各段階毎の画素値のうちの一つから前記画像データのハイライト領域を特定する情報を取得する情報取得手段を更に備え、
前記制御手段は、前記各段階の解像度に応じた高周波数成分に加え更に、前記情報取得手段によって取得された情報を用いて前記画像データにおける所定以上の明るさの領域についてその明るさ減じたものを利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記画像データの画素値は、輝度値を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
予め前記画像データを輝度成分と色差成分とに分離する分離手段と、
前記制御手段によって構成された画像データにおける輝度値の強調度合いに基づいて、前記分離手段によって分離された色差成分を強調した色差画像データを生成する第２生成手段と、
前記制御手段によって構成された輝度画像データと前記第２生成手段によって生成された色差画像データとを合成する合成手段とを更に備えたことを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記画像データは、略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを含むことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
撮像手段と、
この撮像手段に対して露出条件を変えながら略等しい構図で複数回撮像するよう制御する撮像制御手段と、
この撮像制御手段によって制御されて得た複数の画像データを画素加算し、ダイナミックレンジを拡大させてなる画像データを生成するよう制御する画素加算手段と、を更に備え、
前記第１取得手段は、前記画素加算手段によって生成された画像データを取得することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記撮像制御手段によって制御されて得た複数の画像データのうちの何れか一の画像データの大局的な輝度成分の傾向を示す情報画像を生成する情報画像生成手段と、
この情報画像生成手段によって生成された情報画像を用いて、前記画素加算手段による前記複数の画像データの画素加算比率を調整する比率調整手段と、
を更に備えることを特徴とする請求項８に記載の画像処理装置。
＜請求項１０＞
前記第１生成手段は、ガウシアンピラミッドを用いて、前記第１取得手段によって取得された画像データの画素値に対して前記平滑化処理及び前記解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された複数段階の画素値を生成することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記補正手段によって補正された各段階毎の画素値について、複数段階の解像度で高周波成分を取得する第３取得手段を更に備え、
前記制御手段は、前記第３取得手段によって取得された複数段階の高周波成分のうち、前記補正手段により補正された画素値の解像度に応じた高周波成分を特定し、画素値が強調された画像データを構成するよう制御することを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
前記第３取得手段は、ラプラシアンピラミッドを用いて、前記補正手段によって補正された各段階毎の画素値について、複数段階の解像度で高周波成分を取得することを特徴とする請求項１１に記載の画像処理装置。
＜請求項１３＞
画像処理装置を用いた画像処理方法であって、
画像データを取得するステップと、
取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成するステップと、
取得された画像データの画素値と生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正するステップと、
補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御するステップと、
を含むことを特徴とする画像処理方法。
＜請求項１４＞
画像処理装置のコンピュータを、
画像データを取得する取得手段、
この取得手段によって取得された画像データの画素値に対して繰り返し平滑化処理及び解像度変換処理を施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する生成手段、
前記取得手段によって取得された画像データの画素値と前記生成手段により生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正する補正手段、
この補正手段によって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御する制御手段、
として機能させることを特徴とするプログラム。

１００、２００ 撮像装置
１ 撮像部
２ 撮像制御部
６、２０６ 画像処理部
６ａ 第１合成画像生成部
６ｂ 画像取得部
６ｃ 成分分離部
６ｄ 第１生成部
６ｅ 強調量取得部
６ｆ 補正量調整部
６ｇ 画素値補正部
６ｈ 高周波成分取得部
６ｉ 第１データ構成制御部
６ｊ 第２生成部
６ｋ データ合成部
２０６ａ 第２合成画像生成部
２０６２ ＬＰＦ部
２０６５ 合成用マップ生成部
２０６ｌ ハイライト領域情報取得部
２０６ｊ 第２データ構成制御部
９ 中央制御部

Claims (13)

1. 略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを取得する第１取得手段と、
   この第１取得手段によって取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する第１生成手段と、
   前記第１取得手段によって取得された画像データの画素値と前記第１生成手段により生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正する補正手段と、
   この補正手段によって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１取得手段によって取得された画像データの画素値と前記第１生成手段により生成された各段階毎の画素値との差分に基づいて、各段階毎の画素値の強調量を取得する第２取得手段を更に備え、
   前記補正手段は、前記第２取得手段によって取得された強調量で、当該各段階毎に前記取得された画像データの画素値を強調する補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段による補正量を調整する調整手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１生成手段によって生成された各段階毎の画素値のうちの一つから前記画像データのハイライト領域を特定する情報を取得する情報取得手段を更に備え、
   前記制御手段は、前記各段階の解像度に応じた高周波数成分に加え更に、前記情報取得手段によって取得された情報を用いて前記画像データにおける所定以上の明るさの領域についてその明るさを減じたものを利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記画像データの画素値は、輝度値を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 予め前記画像データを輝度成分と色差成分とに分離する分離手段と、
   前記制御手段によって構成された画像データにおける輝度値の強調度合いに基づいて、前記分離手段によって分離された色差成分を強調した色差画像データを生成する第２生成手段と、
   前記制御手段によって構成された輝度画像データと前記第２生成手段によって生成された色差画像データとを合成する合成手段とを更に備えたことを特徴とする請求項５に記載の画像処理装置。
7. 撮像手段と、
   この撮像手段に対して露出条件を変えながら略等しい構図で複数回撮像するよう制御する撮像制御手段と、を更に備え、
   前記画像データは、前記撮像制御手段によって制御されて得た複数の画像データを画素加算し、ダイナミックレンジを拡大させて生成されたものであることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
8. 前記撮像制御手段によって制御されて得た複数の画像データのうちの何れか一の画像データの大局的な輝度成分の傾向を示す情報画像を生成する情報画像生成手段と、
   この情報画像生成手段によって生成された情報画像を用いて、前記画素加算手段による前記複数の画像データの画素加算比率を調整する比率調整手段と、
   を更に備えることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１生成手段は、ガウシアンピラミッドを用いて、前記第１取得手段によって取得された画像データの画素値に対して前記平滑化処理及び前記解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された複数段階の画素値を生成することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
10. 前記補正手段によって補正された各段階毎の画素値について、複数段階の解像度で高周波成分を取得する第３取得手段を更に備え、
    前記制御手段は、前記第３取得手段によって取得された複数段階の高周波成分のうち、前記補正手段により補正された画素値の解像度に応じた高周波成分を特定し、画素値が強調された画像データを構成するよう制御することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
11. 前記第３取得手段は、ラプラシアンピラミッドを用いて、前記補正手段によって補正された各段階毎の画素値について、複数段階の解像度で高周波成分を取得することを特徴とする請求項１０に記載の画像処理装置。
12. 画像処理装置を用いた画像処理方法であって、
    略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを取得するステップと、
    取得された画像データの画素値に対して平滑化処理及び解像度変換処理を繰り返し施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成するステップと、
    取得された画像データの画素値と生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正するステップと、
    補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御するステップと、
    を含むことを特徴とする画像処理方法。
13. 画像処理装置のコンピュータを、
    略等しい構図の画像について明るさを複数段階に変更したものを画素加算し、ダイナミックレンジを拡大させてなる画像データを取得する取得手段、
    この取得手段によって取得された画像データの画素値に対して繰り返し平滑化処理及び解像度変換処理を施し、複数段階の各解像度で平滑化された、複数段階の画素値を生成する生成手段、
    前記取得手段によって取得された画像データの画素値と前記生成手段により生成された各段階毎の画素値との差分に基づいて、当該各段階毎に前記取得された画像データの画素値を補正する補正手段、
    この補正手段によって補正された画素値を有する各段階毎の画像データの、各段階の解像度に応じた高周波数成分を利用して、前記取得された画像データの画素値が強調されたものを構成するよう制御する制御手段、
    として機能させることを特徴とするプログラム。