JP5012333B2 - 画像処理装置および画像処理方法ならびに撮像装置 - Google Patents

Description

本発明は、入力画像のダイナミックレンジを圧縮するための画像処理装置および画像処理方法ならびにこれを用いた撮像装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラ等に適用される撮像装置では、その高画質化の要請に伴って被写体の輝度範囲（最低輝度と最高輝度との差、画像では最低濃度と最高濃度との差）、すなわち、ダイナミックレンジ（ＤＲ）を拡大させることが１つのテーマとなっている。このダイナミックレンジを拡大する技術は、様々な技術が研究、開発されている。

例えば、特許文献１には、露光量の異なる複数の画像を撮影し、これら複数の画像から適正レベルの画像部分を選択して複数の画像を合成することによって、ダイナミックレンジを拡大する技術が開示されている。また例えば、特許文献２には、１回の露光で得られた光電変換部の信号電荷を複数の容量で保持し、複数の容量のうちの異なる容量で複数の信号電荷を読み出してこれら読み出した複数の信号電荷を加算することによって、ダイナミックレンジを拡大する技術が開示されている。また例えば、特許文献３には、異なる電圧依存性を有する複数の容量から成る電荷電圧変換部で光電変換部から転送された信号電荷を信号電圧に変換することによって、ダイナミックレンジを拡大する技術が開示されている。

また例えば、特許文献４には、ダイナミックレンジを拡大するために、入射した光量に応じた光電流を発生し得る感光手段と、光電流を入力するＭＯＳトランジスタと、このＭＯＳトランジスタをサブスレッショルド電流が流れ得る状態にバイアスするバイアス手段とを備え、入射光量に対して自然対数的に光電変換された電気信号を出力する固体撮像装置が開示されている。そして、特許文献４では、ダイナミックレンジを拡大するためにＭＯＳトランジスタのサブスレッショルド特性を用いて光電流を対数電圧に変換する固体撮像素子において、前記ＭＯＳトランジスタに特定のリセット電圧を与えることによって、固体撮像素子本来の出力特性、すなわち入射光量に対して線形的に光電変換された電気信号を出力する線形動作状態と、上記対数動作状態とを自動的に切り換えることができる固体撮像素子が提案されている。

このように撮像装置におけるダイナミックレンジの拡大化が進展する一方で、現状では画像を伝送、蓄積または表示する装置におけるダイナミックレンジ（画素レベルを表現するビット数）は、撮像装置におけるダイナミックレンジに対して相対的に狭い場合がある。このような場合、撮像装置におけるダイナミックレンジが拡大化しても、得られた情報を全て取り扱うことが難しくなる。このため、広ダイナミックレンジの画像をそれよりも狭いダイナミックレンジの画像へ変換するダイナミックレンジ圧縮技術も研究、開発されている。

このダイナミックレンジ圧縮技術では、Ｒｅｔｉｎｅｘ理論（非特許文献１参照）を基本とした技術が多数報告されている。このＲｅｔｉｎｅｘ理論によれば、人の目に入る光は、照明光と物体の反射率との積とで決まるが、人の目の知覚は、反射率に強い相関を示す。このため、広ダイナミックレンジの画像において、照明光成分のダイナミックレンジだけを狭くすれば、人の目の知覚との相関の強い反射率成分は、維持され、高コントラストでダイナミックレンジの圧縮された画像を得ることができる。すなわち、画像の中間濃度部分の階調を維持しつつ明部および暗部の濃度を調整することによって、ダイナミックレンジを圧縮した画像が得られる。

例えば、特許文献５には、原画像の画像信号Ｓ０にローパスフィルタによるフィルタリング処理を施すことによって画像信号Ｓ０の低周波成分、すなわち穏やかに変動するボケ画像Ｓ１を作成し、このボケ画像信号Ｓ１をルックアップテーブルによって変換することによってボケ画像信号Ｓ１の値を反転し、ダイナミックレンジを圧縮した処理済画像信号Ｓ４を作成し、この処理済画像信号Ｓ４を原画像の画像信号Ｓ０に加算して画像信号Ｓ５を計算することによって、原画像のダイナミックレンジを圧縮する技術が開示されている。ここで、このダイナミックレンジ圧縮技術では、ダイナミックレンジの圧縮を強く施した場合に、例えば被写体と背景との境界のように輝度が急激に変化する境界において、境界（前記例では被写体の輪郭）に沿って一定の幅の帯状の擬輪郭が発生してしまう（ハロー効果）。このため、特許文献５には、原画像の画像信号から原画像のボケ画像を表す複数のボケ画像信号を作成し、この複数のボケ画像信号を合成することによって１つの合成ボケ画像信号を作成し、この合成ボケ画像信号に基づいて前記原画像の画像信号に対して前記原画像のダイナミックレンジの圧縮処理を施すことによって、前記擬輪郭の発生を抑制し得る画像処理方法が提案されている。ここで、この特許文献５に提案の画像処理方法におけるダイナミックレンジの圧縮処理に用いられる圧縮関数ｆｔｏｔａｌ（α）は、図１２に示すプロファイルを持つ全体的な圧縮率αを算出して圧縮関数ｆ（α）を設定し、これに暗部の圧縮関数ｆｌｉｇｈｔ（α）および暗部の圧縮関数ｆｄａｒｋ（α）で補正することによって生成されている。図１２に示すプロファイルを持つ全体的な圧縮率αは、ダイナミックレンジが閾値ＤＲｔｈよりも小さい場合には圧縮率αが０でダイナミックレンジが閾値ＤＲｍａｘ（＞ＤＲｔｈ）よりも大きい場合には圧縮率αが下限値αｍａｘで固定され、ダイナミックレンジが閾値ＤＲｔｈ以上閾値ＤＲｍａｘ以下の場合には圧縮率αが線形となっている。

また例えば、特許文献６には、入力された画像を、相対的にダイナミックレンジの小さい画像に変換するための画像処理方法であって、分割された複数の入力画像のそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑画像を生成する平滑化過程と、前記複数の平滑画像に基づいて、エッジ強度を算出するエッジ強度算出過程と、算出された前記エッジ強度に基づいて、前記複数の平滑画像を合成する合成過程と、前記複数の平滑画像を合成することによって生成された合成平滑画像に基づいて、前記入力画像の各画素値を変換するための係数を算出する係数算出過程と、算出された前記係数により、前記入力画像の各画素値の変換を行う画素値変換過程とを含む画像処理方法が開示されている。ここで、この特許文献６に開示の画像処理方法におけるダイナミックレンジの圧縮処理では、前記合成平滑画像Ｒの各画素値Ｒ（ｘ，ｙ）から図１３（Ａ）に示すプロファイルを持つ係数算出関数Ｆ（ｌ）を用いて係数Ｃ（ｘ，ｙ）（＝Ｆ（Ｒ（ｘ，ｙ）））が算出され、この係数Ｃ（ｘ，ｙ）に入力画像Ｉの画素値Ｉ（ｘ，ｙ）が乗算されることによってダイナミックレンジの圧縮が行われる。そして、この係数算出関数Ｆ（ｌ）は、図１３（Ｂ）に示すプロファイルを持つレベル変換関数Ｔ（ｌ）からＦ（ｌ）＝Ｔ（ｌ）／ｌによって算出され、係数Ｃの最小値Ｃｍｉｎがレベル変換関数Ｔ（ｌ）における入力レベルの最大値Ｌｍａｘと出力レベルの最大値Ｍｍａｘとの比Ｍｍａｘ／Ｌｍａｘで与えられる。またレベル変換関数Ｔ（ｌ）には、ガンマ関数Ｔ（ｌ）＝（ｌ／Ｌｍａｘ）^ｇ×Ｌｍａｘや、ＬＯＧ関数Ｔ（ｌ）＝（ｌｏｇ（ｌ）／ｌｏｇ（Ｌｍａｘ））×Ｌｍａｘや、入力画像の画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーション法を用いることもできる。
特開昭６３−３０６７７９号公報 特開２０００−１６５７５４号公報 特開２０００−１６５７５５号公報 特開２００２−７７７３３号公報 特開２００１−２９８６１９号公報 特許第３７５０７９７号明細書 E.H.Land,J.J.McCann,"Lightness and retinex theory",Journal of the Optical Society of America,61(1),1(1971)

ところで、これら特許文献５や特許文献６に開示のダイナミックレンジ圧縮では、上述の関数が用いられているため、入力画像によっては画質劣化が発生してしまう場合がある。例えば、特許文献６の場合では、係数Ｃの最小値Ｃｍｉｎがレベル変換関数Ｔ（ｌ）の最大値（Ｍｍａｘ，Ｌｍａｘ）で決まるため、入力画像中に飛び抜けて明るい画素が１点あるいは数点ある場合では、入力画像における大部分の画素が圧縮されずに暗くなってしまい、画質劣化が発生してしまう。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より簡素な構成で、より適切にダイナミックレンジの圧縮を行うことができる画像処理装置および画像処理方法ならびにこれを用いた撮像装置を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる画像処理装置は、入力画像から、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度の複数の平滑画像を生成する平滑画像生成部と、前記複数の平滑画像に基づいて前記入力画像の解像度と等しいベース成分画像を生成するベース成分画像生成部と、前記入力画像または前記ベース成分画像の空間周波数に基づいて前記複数の平滑画像のうちのいずれかの平滑画像を選択し、前記選択された平滑画像に基づいて前記ベース成分画像を圧縮するための圧縮特性を生成する圧縮特性生成部と、前記ベース成分画像に前記圧縮特性生成部で生成した圧縮特性を用いることによって、前記ベース成分画像よりもダイナミックレンジの小さい圧縮ベース成分画像を生成するベース成分画像圧縮部とを備え、前記圧縮特性は、両端の各点およびその間の点の３点で一意に決定される、連続する２本の直線または１本の対数曲線で表され、前記両端の各点およびその間の点の少なくとも１点の座標値が前記複数の平滑画像のうちの前記選択された平滑画像に基づいて設定されることを特徴とする。そして、本発明の他の一態様にかかる画像処理方法は、入力画像から、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度の複数の平滑画像を生成する平滑画像生成工程と、前記複数の平滑画像に基づいて、前記入力画像の解像度と等しいベース成分画像を生成するベース成分画像生成工程と、前記入力画像または前記ベース成分画像の空間周波数に基づいて前記複数の平滑画像のうちのいずれかの平滑画像を選択し、前記選択された平滑画像に基づいて、前記ベース成分画像を圧縮するための圧縮特性を生成する圧縮特性生成工程と、前記ベース成分画像に前記圧縮特性生成工程で生成された圧縮特性を用いることによって、前記ベース成分画像よりもダイナミックレンジの小さい圧縮ベース成分画像を生成するベース成分画像圧縮工程とを備え、前記圧縮特性は、両端の各点およびその間の点の３点で一意に決定される、連続する２本の直線または１本の対数曲線で表され、前記両端の各点およびその間の点の少なくとも１点の座標値が前記複数の平滑画像のうちの前記選択された平滑画像に基づいて設定されることを特徴とする。

このような構成の画像処理装置および画像処理方法では、入力画像から遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度（サイズ、画素数）の複数の平滑画像が生成され、ベース成分画像を圧縮するための圧縮特性が、前記入力画像または前記ベース成分画像の空間周波数に基づいて前記複数の平滑画像のうちのいずれかの平滑画像を選択し、前記選択された平滑画像に基づいて生成されるので、圧縮特性を生成する上で適切な平滑画像の選択が可能となり、より適切な圧縮特性が設定されるから、例えばいわゆる白飛びや黒つぶれ等の無い背景技術より高画質で入力画像のダイナミックレンジの圧縮が可能となる。そして、ベース成分画像生成部（ベース成分画像生成工程）と圧縮特性生成部（圧縮特性生成工程）とは、共に、この平滑画像を用いるので、平滑画像生成部（平滑画像生成工程）は、それら各構成の前処理部として兼用することができるから、入力画像やベース成分画像に基づいて圧縮特性を生成するよりも簡素に画像処理装置および画像処理方法を構成することが可能となる。

ここで、平滑画像生成部は、例えば、入力画像を予め設定された所定の遮断周波数でローパスフィルタ処理することによって前記遮断周波数よりも低い空間周波数成分から成る低空間周波数画像を生成するローパスフィルタ部と、前記低空間周波数画像を予め設定された所定の第１レートでダウンサンプリング処理することによって前記入力画像よりも解像度の小さい低解像度画像、すなわち平滑画像を生成するダウンサンプリング部とを備え、前記入力画像に対して前記ローパスフィルタ部によるローパスフィルタ処理と前記ダインサンプリング部によるダウンサンプリング処理とを所定の回数だけ繰り返すことによって前記複数の平滑画像を生成するように構成されてもよい。また例えば、ベース成分画像生成部は、前記平滑画像生成部で生成された複数の平滑画像が複数のボケ画像とされ、前記複数のボケ画像のうちの１つを前記所定の第１レートに対応する第２レートでアップサンプリング処理することによってアップ解像度画像を生成するアップサンプリング部と、前記アップサンプリング部でアップサンプリング処理によって得られたアップ解像度画像と該アップ解像度画像の解像度と等しい解像度のボケ画像とを合成することによって合成ボケ画像を生成するボケ画像合成部とを備え、前記複数のボケ画像に対して前記アップサンプリング部によるアップサンプリング処理と前記ボケ画像合成部による合成処理とを前記所定の回数だけ繰り返すことによって、前記ベース成分画像を生成するように構成されてもよい。このように平滑画像生成部は、ベース成分画像生成部の前処理部として働く。そして、このように構成することによって、入力画像を多段階でローパスフィルタ処理することによって入力画像を１段階でローパスフィルタ処理する場合よりも小さいローパスフィルタを利用することができ、ローパスフィルタにデジタルフィルタを採用した場合にその計算量が低減される。そして、ベース成分画像生成部のボケ画像合成部は、例えば、前記アップサンプリング部でアップサンプリング処理によって得られた画像のエッジ強度を検出し、前記アップサンプリング部でアップサンプリング処理によって得られたアップ解像度画像および該アップ解像度画像の解像度と等しい解像度のボケ画像のそれぞれに前記エッジ強度に応じた重みを付けて、前記アップサンプリング部でアップサンプリング処理によって得られたアップ解像度画像と該アップ解像度画像の解像度と等しい解像度のボケ画像とを合成（加算）するように構成されてもよい。このように合成処理することによってよりエッジ保存状態の良いベース成分画像を生成することができる。

また、上述の画像処理装置において、前記入力画像、前記ベース成分画像および前記圧縮ベース成分画像に基づいて、入力画像のダイナミックレンジを圧縮した圧縮画像を生成する圧縮画像生成部とをさらに備えることを特徴とする。

この構成によれば、圧縮画像生成部がさらに備えられるので、圧縮画像を生成する画像処理装置の提供が可能となる。

また、これら上述の画像処理装置において、前記圧縮特性生成部は、前記複数の平滑画像のうちのいずれかの平滑画像における画素値の最大値または最小値を用いることによって前記圧縮特性を生成することを特徴とする。

この構成によれば、圧縮特性生成部を簡素に構成することができ、また適切な圧縮特性の生成が可能となる。

そして、本発明の他の一態様では、被写体光像を光電変換して画像信号を生成する撮像部と、前記撮像部で生成された画像信号に所定の画像処理を施して画像を生成する画像処理部とを備える撮像装置において、前記画像処理部は、これら上述のいずれかの画像処理装置を備えることを特徴とする。

この構成によれば、より簡素な構成で、背景技術より高画質で撮像画像のダイナミックレンジを適切に圧縮することができる撮像装置の提供が可能となる。

本発明に係る画像処理装置および画像処理方法は、より適切な圧縮特性を設定することができ、このため、より簡素な構成で、背景技術より高画質で入力画像のダイナミックレンジを圧縮することができる。また、本発明に係る撮像装置は、より簡素な構成で、背景技術より高画質で撮像画像のダイナミックレンジを圧縮することができる。

以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
（実施形態の構成）
まず、実施形態における画像処理装置を備えた撮像装置の構成について説明する。図１は、実施形態における画像処理装置を備えた撮像装置の構成を示す図である。図１において、デジタルカメラ等に適用される撮像装置ＣＡは、レンズ部１と、撮像センサ２と、アンプ３と、ＡＤ変換部４と、画像処理部５と、制御部６と、画像メモリ７と、モニタ部８と、操作部９とを備えている。

レンズ部１は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光を撮像装置本体の内部に配置されている撮像センサ２の受光面に形成するように、この被写体光を撮像センサ２へ導くための光学系を構成するものである。レンズ部１は、例えば被写体光の光軸ＡＸに沿って直列的に配置される、例えばズームレンズ、フォーカスレンズおよびその他の固定レンズ等を備え、当該レンズ部１の透過光量を調節するための絞り（図略）やシャッタ（図略）をさらに備え、制御部６によってこれらズームレンズ、フォーカスレンズ、絞りおよびシャッタが駆動制御される構成となっている。

撮像センサ２は、２次元平面の受光面を形成するように配置された複数の光電変換素子を備え、レンズ部１によってその受光面に結像された被写体光像の光量に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の画像信号に光電変換して後段のアンプ３へ出力する素子である。撮像センサ２は、例えば、ＣＣＤ型イメージセンサ、ＭＯＳ型イメージセンサおよびＶＭＩＳ型イメージセンサ等である。

アンプ３は、撮像センサ２から出力された画像信号を増幅する回路である。アンプ３は、例えば、ＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ３は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。ＡＧＣ回路は、適正露出が得られなかった場合、例えば非常に低輝度の被写体を撮影する場合の撮影画像のレベル不足を補償する機能も有する。なお、ＡＧＣ回路に対するゲイン値は、制御部６によって設定される。

ＡＤ変換部４は、アンプ３によって増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するＡＤ変換処理を行う回路である。ＡＤ変換部４は、撮像センサ２の各画素で受光して得られる各画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部５は、ＡＤ変換部４のＡＤ変換処理によって得られた画像信号に対する各種画像処理を行う回路である。画像処理部５は、例えば、前処理部１１で黒レベル補正や固定パターンノイズ補正といった前処理を行い、ホワイトバランス補正処理部（ＷＢ処理部）１２でホワイトバランスの補正処理を行い、色処理部１３で色補間処理や色補正処理や色空間変換といった色処理を行い、ダイナミックレンジ圧縮部（ＤＲ圧縮部）１５でダイナミックレンジの圧縮処理を行い、そして、ガンマ補正部（γ補正部）１６でガンマ補正を行う。このようにダイナミックレンジ圧縮部１５は、撮像画像に対し輝度や色の各種調整がなされた後の画像に対してダイナミックレンジの圧縮を行うように、画像処理部５内に配置されることが好ましい。これら前処理、ホワイトバランス補正処理、色処理およびガンマ補正は、公知の処理方法によって処理される。

画像メモリ７は、画像処理部５によって画像処理される前のＲＡＷデータや、画像処理部５や制御部６における各種処理時または処理後の画像データ等のデータを保存（記憶）する回路である。画像メモリ７は、例えば、書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）や、揮発性の記憶素子であるＲＡＭ（Random Access Memory）等のメモリを備えて構成される。

モニタ部８は、撮像センサ２で撮影された画像、すなわち画像処理部５で処理された画像や画像メモリ７に保存されている画像等を表示する装置である。モニタ部８は、例えば、撮像装置本体に配設されたカラー液晶表示器（ＬＣＤ；Liquid Crystal Display）等を備えて構成される。

操作部９は、撮像装置ＣＡに対するユーザによる操作指示（指示入力）を行う装置である。操作部９は、例えば、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群（操作ボタン群）を備えて構成される。例えば、レリーズスイッチが押下（オン）されることによって、撮像動作すなわち撮像センサ２によってレンズ部１を介した被写体光が撮像され、これによって得られた撮影画像に対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の静止画や動画の撮影動作が実行される。

制御部６は、各部を当該機能に応じて制御することによって撮像装置ＣＡ全体の動作制御を司る回路である。制御部６は、撮像センサ２や操作部９等の各部からの各種信号に基づき、各部が必要とする制御パラメータ、例えば撮影時における最適な露光量に設定するための露光量制御パラメータ等を算出し、制御パラメータを各部に出力することによって各部の動作を制御する。例えば、制御部６は、制御パラメータに基づきレンズ部１や撮像センサ２に対する撮像動作の制御を行い、また画像処理部５における画像処理の制御を行い、また画像メモリ７に記憶される画像データ等のモニタ部８への表示の制御等を行う。制御部６は、例えば、各制御プログラム等を記憶する不揮発性の記憶素子であるＲＯＭ（Read Only Memory）、一時的に各種データを格納するＲＡＭおよび制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等を備えて構成される。

次に、ダイナミックレンジ圧縮部１５の構成について説明する。図２は、実施形態の撮像装置におけるダイナミックレンジ圧縮部の構成を示す図である。図３は、実施形態の撮像装置におけるダイナミックレンジ圧縮部の動作を示すフローチャートである。

図２において、ダイナミックレンジ圧縮部１５は、上述のＲｅｔｉｎｅｘ理論に基づいて入力画像Ｉのダイナミックレンジを圧縮するものであり、入力画像ぼかし処理部２１と、圧縮特性生成部２２と、ベース成分画像圧縮部２３と、除算部２４と、合成部２５とを備えて構成される。

入力画像ぼかし処理部２１は、入力画像Ｉから、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度（サイズ、画素数）の複数の平滑画像を生成すると共に、これら複数の平滑画像に基づいて入力画像Ｉの解像度と等しいベース成分画像Ｌを生成するものである。ベース成分画像Ｌは、平滑化され、穏やかに変化するぼけた画像であり、Ｒｅｔｉｎｅｘ理論における照明光成分の画像に相当する。本実施形態では、入力画像ぼかし処理部２１に平滑画像生成部とベース成分画像生成部とが組み込まれており、平滑画像生成部は、入力画像Ｉから複数の平滑画像を生成するものであり、ベース成分画像生成部は、これら複数の平滑画像に基づいてベース成分画像Ｌを生成するものである。

圧縮特性生成部２２は、入力画像ぼかし処理部２１の処理途中で生成される複数の平滑画像のうちのいずれかの平滑画像を圧縮特性生成用画像Ｓとし、圧縮特性生成用画像Ｓに基づいてベース成分画像Ｌを圧縮するための圧縮特性Ｘ（ｉｂ）を生成するものである。圧縮特性Ｘ（ｉｂ）は、入力画像Ｉのダイナミックレンジを圧縮するに当たって、圧縮前の画素値ｉｂと圧縮後の画素値ｉａとの対応関係を表すものである。圧縮特性Ｘ（ｉｂ）は、後述するように関数式によって表される。なお、圧縮特性Ｘ（ｉｂ）は、ルックアップテーブル等によって表されてもよい。

ベース成分画像圧縮部２３は、入力画像ぼかし処理部２１で生成されたベース成分画像Ｌに圧縮特性生成部２２で生成した圧縮特性Ｘ（ｉｂ）を用いることによって、ベース成分画像Ｌよりもダイナミックレンジの小さい圧縮ベース成分画像Ｌｓを生成するものである。

除算部２４は、入力画像Ｉをベース成分画像生成部２１で生成されたベース成分画像Ｌで除算することによって反射率成分画像Ｒを生成するものである。この反射率成分画像Ｒは、入力画像Ｉからベース成分画像を除去した入力画像Ｉにおける高周波成分の画像であり、Ｒｅｔｉｎｅｘ理論における物体の反射率成分の画像に相当する。

合成部２５は、ベース成分画像圧縮部２３で生成された圧縮ベース成分画像Ｌｓと除算部２４で生成された反射率成分画像Ｒとを合成するものである。

このような構成のダイナミックレンジ圧縮部１５では、入力画像Ｉが入力画像ぼかし処理部２１および除算部２４に入力される。入力画像ぼかし処理部２１では、入力画像Ｉから複数の平滑画像が生成され、これら複数の平滑画像を用いて入力画像Ｉのベース成分画像Ｌが生成され、このベース成分画像Ｌがベース成分画像圧縮部２３および除算部２４に入力される。また、入力画像ぼかし処理部２１では、入力画像Ｉからベース成分画像Ｌを生成する処理の途中で中間生成物として生成される複数の平滑画像のうちのいずれかの平滑画像が圧縮特性生成用画像Ｓとされ、この圧縮特性生成用画像Ｓが圧縮特性生成部２２に入力される。圧縮特性生成部２２では、この入力された圧縮特性生成用画像Ｓに基づいて圧縮特性Ｘ（ｉｂ）が生成され、この圧縮特性Ｘ（ｉｂ）がベース成分画像圧縮部２３に入力される。ベース成分画像圧縮部２３では、ベース成分画像生成部２１から入力されたベース成分画像Ｌが圧縮特性生成部２２から入力された圧縮特性Ｘ（ｉｂ）によって圧縮され、入力画像Ｉのベース成分画像Ｌを圧縮した圧縮ベース成分画像Ｌｓが生成される。すなわち、ベース成分画像圧縮部２３では、ベース成分画像Ｌの画素の画素値ｉｂがＸ（ｉｂ）（＝ｉａ）に変換され、圧縮ベース成分画像Ｌｓの画素の画素値ｉａとなる。この圧縮ベース成分画像Ｌｓは、ベース成分画像圧縮部２３から合成部２５へ出力される。一方、除算部２４では、入力画像Ｉがベース成分画像生成部２１から入力されたベース成分画像Ｌで除算され、反射率成分画像Ｒが生成される。この反射率成分画像Ｒは、除算部２４から合成部２５へ出力される。合成部２５では、このベース成分画像圧縮部２３から入力された圧縮ベース成分画像Ｌｓと除算部２４から入力された反射率成分画像Ｒとを合成（加算）し、入力画像Ｉのダイナミックレンジを圧縮した圧縮画像Ｉｓが生成される。

このようにダイナミックレンジ圧縮部１５は、まず、図３に示すように、第１工程では、入力画像Ｉからベース成分画像Ｌが生成されると共に、その生成処理の際に圧縮特性生成用画像Ｓが生成される（Ｓ１）。第２工程では、圧縮特性生成用画像Ｓに基づいて圧縮特性Ｘ（ｉｂ）が生成される（Ｓ２）。第３工程では、ベース成分画像Ｌに前記第２工程で生成された圧縮特性Ｘ（ｉｂ）を用いることによって圧縮ベース成分画像Ｌｓが生成される（Ｓ３）。一方、第４工程では、入力画像Ｉをベース成分画像Ｌで除算することによって反射率成分画像Ｒが生成される（Ｓ４）。そして、第５工程では、圧縮ベース成分画像Ｌｓと反射率成分画像Ｒとを合成することによって、入力画像Ｉの圧縮画像Ｉｓが生成される（Ｓ５）。ここで、第１ないし第３工程（Ｓ１〜Ｓ３）と第４工程（Ｓ４）とは、第５工程（Ｓ５）が実行される前に実行されればよく、同時に実行されても、順次に実行されてもよい。

次に、入力画像ぼかし処理部２１の構成について説明する。図４は、実施形態の撮像装置における３段構成の入力画像ぼかし処理部の構成を示す図である。図５は、実施形態の入力画像ぼかし処理部におけるボケ画像合成部の構成を示す図である。

図４に示す入力画像ぼかし処理部２１Ａは、ダイナミックレンジ圧縮部１５における入力画像ぼかし処理部２１の一例である。この入力画像ぼかし処理部２１Ａは、まず、予め設定された遮断周波数でローパスフィルタ処理することによって遮断周波数よりも低い空間周波数成分から成る低空間周波数画像を生成するローパスフィルタ部（ＬＰＦ部）３１と、この低空間周波数画像を予め設定された所定の第１レートでダウンサンプリング処理することによって入力画像Ｉよりも解像度の小さい低解像度画像を生成するダウンサンプリング部（ＤＳ部）３２とを備え、入力画像Ｉに対してＬＰＦ部３１によるローパスフィルタ処理とＤＳ部３２によるダウンサンプリング処理とを所定の回数ｎ（図４に示す例では３回）だけ繰り返すことによって、入力画像Ｉから、互いに異なる空間周波数成分であって互いに異なる解像度の複数のボケ画像を生成するように構成されている。そして、この入力画像ぼかし処理部２１Ａは、これら複数のボケ画像のうちの１つを上述の第１レートに対応する第２レートでアップサンプリング処理することによってアップ解像度画像を生成するアップサンプリング部（ＵＳ部）３３と、ＵＳ部３３でアップサンプリング処理によって得られたアップ解像度画像とこのアップ解像度画像の解像度と等しい解像度のボケ画像とを合成することによって合成ボケ画像を生成するボケ画像合成部（Ｍｉｘ部）３４とを備え、これら複数のボケ画像に対してＵＳ部３３によるアップサンプリング処理とＭｉｘ部３４による合成処理とを前述の所定の回数ｎ（図４に示す例では３回）だけ繰り返すことによって、ベース成分画像Ｌを生成するように構成されている。ベース成分画像Ｌは、最終段階の合成処理によって得られた合成ボケ画像である。

このように入力画像Ｉを多段階でローパスフィルタ処理することによって入力画像Ｉを１段階でローパスフィルタ処理する場合よりも小さいローパスフィルタを利用することができるので、より簡素に構成することができ、また、ローパスフィルタにデジタルフィルタを採用した場合にその計算量が低減される。

ここで、入力画像ぼかし処理部２１Ａの上記構成において、ＬＰＦ部３１と、ＤＳ部３２とを備え、入力画像Ｉに対してＬＰＦ部３１によるローパスフィルタ処理とＤＳ部３２によるダウンサンプリング処理とを所定の回数ｎだけ繰り返すことによって、入力画像Ｉを互いに異なる空間周波数成分（互いに異なる平滑化度合い、互いに異なるボケ度合い）であって互いに異なる解像度の複数のボケ画像を生成する構成が平滑画像生成部に相当し、前記複数の平滑画像は、これら複数のボケ画像であり、複数のボケ画像のいずれか１つの画像が圧縮特性生成用画像Ｓに対応する。このように、本実施形態では、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度の複数の平滑画像（ボケ画像）を生成するものであり、これら複数の平滑画像のうちのいずれか１つが圧縮特性生成用画像Ｓとして選択され、入力画像ぼかし処理部２１Ａから圧縮特性生成部２２へ出力される。このため、より適切な圧縮特性の生成が可能となる。

例えば、３段構成の入力画像ぼかし処理部２１Ａは、図４に示すように、その段数に応じて３個のＬＰＦ部３１−１〜３１−３と、３個のＤＳ部３２−１〜３２−３と、３個のＵＳ部３３−１〜３３−３と、３個のＭｉＸ部３４−１〜３４−３とを備える。そして、入力画像ぼかし処理部２１Ａは、ＬＰＦ部３１と、ＤＳ部３２と、ＵＳ部３３と、Ｍｉｘ部３４とを備えて成る構成を１段構成とし、上段構成のＤＳ部３２の出力を下段構成の入力画像Ｉと見なすと共に下段構成のＭｉｘ部３４の出力を上段構成のＵＳ部３３の入力と見なして、上段構成のＤＳ部３２とＵＳ部３３との間に下段構成が介在するように構成されている。

なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

入力画像Ｉ（＝Ｉ１）は、ＬＰＦ部３１−１およびＭｉｘ部３４−１に入力される。ＬＰＦ部３１−１では、例えばタップ（ｔａｐ）数７のフィルタサイズの２次元デジタルフィルタが用いられ、入力画像Ｉ１をローパスフィルタ処理することによって第１低空間周波数画像が生成され、この第１低空間周波数画像がＤＳ部３２−１に入力される。ＤＳ部３２−１では、第１低空間周波数画像の画素数を縦横ともに例えば１／２倍にする例えば画素間引きを行うことによって第１低空間周波数画像をダウンサンプリング処理して第１低解像度画像、すなわち、第１ボケ画像（第１平滑画像）Ｉ２が生成され、この第１ボケ画像Ｉ２が下段の入力画像ＩとしてＬＰＦ３１−２およびＭｉｘ部３４−２に入力される。この例では、第１レートは、１／２とされている。

ＬＰＦ部３１−２では、ＬＰＦ部３１−１と同様に第１ボケ画像Ｉ２をローパスフィルタ処理することによって第１底空間周波数画像よりも低い空間周波数成分から成る（よりも平滑化された、よりもぼけた）第２低空間周波数画像が生成され、この第２低空間周波数画像がＤＳ部３２−２に入力される。ＤＳ部３２−２では、ＤＳ部３２−１と同様に第２低空間周波数画像をダウンサンプリング処理することによって第１低解像度画像よりも解像度の小さい（サイズの小さい、画素数の少ない）第２低解像度画像、すなわち、第２ボケ画像（第２平滑画像）Ｉ３が生成され、この第２ボケ画像Ｉ３が下段の入力画像ＩとしてＬＰＦ３１−３およびＭｉｘ部３４−３に入力される。

ＬＰＦ部３１−３では、ＬＰＦ部３１−１と同様に第３ボケ画像Ｉ３をローパスフィルタ処理することによって第２底空間周波数画像よりも低い空間周波数成分から成る（よりも平滑化された、よりもぼけた）第３低空間周波数画像が生成され、この第３低空間周波数画像がＤＳ部３２−３に入力される。ＤＳ部３２−３では、ＤＳ部３２−１と同様に第３低空間周波数画像をダウンサンプリング処理することによって第２低解像度画像よりも解像度の小さい（サイズの小さい、画素数の少ない）第３低解像度画像、すなわち、第３ボケ画像（第３平滑画像）Ｉ４が生成される。最下段では、下段のＭｉｘ部３４がないので、第３ボケ画像Ｉ４は、当該最下段におけるＵＰ部３３−３に入力される。

そして、図４に示す入力画像ぼかし処理部２１Ａでは、第３ボケ画像（第３平滑画像）Ｉ４が圧縮特性生成用画像Ｓとされ、この第３ボケ画像Ｉ４は、ＤＳ部３２−３から図２に示す圧縮特性生成部２２へ出力される。なお、第３ボケ画像Ｉ４に代え、破線で示すように、例えば、第１ボケ画像（第１平滑画像）Ｉ２が圧縮特性生成用画像Ｓとされ、第１ボケ画像Ｉ２がＤＳ部３２−３から図２に示す圧縮特性生成部２２へ出力されてもよく、また例えば、第２ボケ画像（第２平滑画像）Ｉ３が圧縮特性生成用画像Ｓとされ、第２ボケ画像Ｉ３がＤＳ部３２−３から図２に示す圧縮特性生成部２２へ出力されてもよい。ここで、第１ないし第３ボケ画像（第１ないし第３平滑画像）Ｉ２〜Ｉ４のうちのいずれか１つを圧縮特性生成用画像Ｓとして選択する場合に、第１ないし第３ボケ画像Ｉ２〜Ｉ４の空間周波数に基づいて第１ないし第３ボケ画像Ｉ２〜Ｉ４のうちのいずれか１つが圧縮特性生成用画像Ｓとして選択されるように構成されてもよい。このように構成されることによって、適切な圧縮特性生成用画像Ｓに基づいて圧縮特性が生成されるので、より適切な圧縮特性の生成が可能となる。例えば、第１ないし第３ボケ画像Ｉ２〜Ｉ４のうちの空間周波数の最も高いボケ画像が圧縮特性生成用画像Ｓとして選択される。この場合、例えば、各ＤＳ部３２−１〜３２−３から第１ないし第３ボケ画像Ｉ２〜Ｉ４が入力され、各ボケ画像Ｉ２〜Ｉ４の空間周波数を求めて空間周波数の最も高いボケ画像を圧縮特性生成部２２へ出力するボケ画像選択部がダイナミックレンジ圧縮部１５にさらに設けられる。

そして、ＵＳ部３３−３では、上段の第２ボケ画像Ｉ３の解像度と一致するように第２レートがＤＳ部３２の第１レートに応じて２倍に設定され、第３ボケ画像Ｉ４の画素数を縦横ともに２倍にする例えば画素補間（例えば線形画素補間）を行うことによって第３ボケ画像Ｉ４をアップサンプリング処理して第３アップ解像度画像Ｊ３が生成され、この第３アップ解像度画像Ｊ３がＭｉｘ部３４−３に入力される。Ｍｉｘ部３４−３では、ＵＳ部３３−３から入力された第３アップ解像度画像Ｊ３と、この第３アップ解像度画像Ｊ３の解像度が等しい、上段のＤＳ部３２−２から入力された第２ボケ画像Ｉ３と、を合成（加算）することによって第３合成ボケ画像が生成され、この第３合成ボケ画像が上段のＵＳ部３３−２に入力される。

ＵＳ部３３−２では、ＵＳ部３３−３と同様に第３合成ボケ画像をアップサンプリング処理して第２アップ解像度画像Ｊ２が生成され、この第２アップ解像度画像Ｊ２がＭｉｘ部３４−２に入力される。Ｍｉｘ部３４−２では、Ｍｉｘ部３４−３と同様に、第２アップ解像度画像Ｊ２と第１ボケ画像Ｉ２とを合成（加算）することによって第２合成ボケ画像が生成され、この第２合成ボケ画像が上段のＵＳ部３３−１に入力される。

ＵＳ部３３−２では、ＵＳ部３３−３と同様に第２合成ボケ画像をアップサンプリング処理して第１アップ解像度画像Ｊ１が生成され、この第１アップ解像度画像Ｊ１がＭｉｘ部３４−１に入力される。Ｍｉｘ部３４−１では、Ｍｉｘ部３４−３と同様に、第１アップ解像度画像Ｊ１と入力画像Ｉ（＝Ｉ１）とを合成（加算）することによって第１合成ボケ画像が生成される。この第１合成ボケ画像がベース成分画像Ｌである。

このようにベース成分画像生成部２１Ａは、構成され、動作することによって入力画像Ｉから複数のボケ画像（平滑画像）を生成した後にベース成分画像Ｌを生成する。

そして、本実施形態のベース成分画像生成部２１におけるボケ画像合成部（Ｍｉｘ部）３４は、次のように構成され、動作している。

図５は、本実施形態の入力画像ぼかし処理部におけるボケ画像合成部を説明するための図である。図５（Ａ）は、ボケ画像合成部の構成を示し、図５（Ｂ）は、エッジ強度ｅと重みｗとの対応関係を表す重み付け関数を示す。図５（Ｂ）の横軸は、エッジ強度ｅであり、その縦軸は、重みｗである。

図５（Ａ）において、Ｍｉｘ部３４は、第１乗算器４１と、加算器４２と、第２乗算器４３と、エッジ部４４と、ルックアップテーブル部（ＬＵＴ部）４５とを備える。

エッジ部４４は、当該段構成におけるＵＳ部３３からアップ解像度画像Ｊｎが入力され、アップ解像度画像Ｊｎのエッジ強度ｅを求め、この求めたエッジ強度ｅをＬＵＴ部４５へ出力する。エッジ強度ｅは、例えば、ソベルフィルタ（Ｓｏｂｅｌフィルタ）やプレウィットフィルタ（Ｐｒｅｗｉｔｔフィルタ）等のエッジ抽出フィルタによって求められる。

ＬＵＴ部４５は、エッジ部４４から入力されたエッジ強度ｅに基づいて、当該Ｍｉｘ部３４で合成される前段構成のＤＳ部３２から入力されたボケ画像Ｉｎ−１および当該段構成のＵＳ部３３から入力されるアップ解像度画像Ｊｎのそれぞれに重み付ける各重みｗ、１−ｗを求め、これら求めた各重みｗ、１−ｗを第１および第２乗算器４１、４３へ出力する。

この重みｗは、次のように決定される。図５（Ｂ）に示すように、エッジ強度ｅが０以上であって予め設定された所定の第１エッジ保存閾値ｔｈ１以下である場合には重みｗが０とされ、エッジ強度ｅが予め設定された所定の第２エッジ保存閾値ｔｈ２以上である場合には重みｗが０とされ、そして、エッジ強度ｅが０第１エッジ保存閾値ｔｈ１以上であって第２エッジ保存閾値ｔｈ２以下である場合には重みｗが（ｅ−ｔｈ１）／（ｔｈ２−ｔｈ１）とされる。

図５（Ａ）に戻って、第１乗算器４１は、前段構成のＤＳ部３２から入力されたボケ画像Ｉｎ−１にＬＵＴ部４５から入力された重みｗを乗算し、この重みｗで重み付けされたボケ画像Ｉｎ−１を加算器４２へ出力する。

第２乗算器４３は、当該段構成のＵＳ部３３から入力されたアップ解像度画像ＪｎにＬＵＴ部４５から入力された重み１−ｗを乗算し、この重み１−ｗで重み付けされたアップ解像度画像Ｉｎを加算器４２へ出力する。

加算器４２は、第１乗算器４１から入力された重みｗで重み付けされたボケ画像Ｉｎ−１と第２乗算器４３から入力された重み１−ｗで重み付けされたアップ解像度画像Ｊｎとを加算することによって合成ボケ画像を生成し、この生成した合成ボケ画像を前段構成のＵＳ部３３へ出力する。

このような構成のＭｉｘ部３４では、当該段構成のＵＳ部３３で生成されたアップ解像度画像Ｊｎのエッジ強度ｅがエッジ部４４によって求められ、このエッジ強度ｅに基づいてＬＵＴ部４５によって各重みｗ、１−ｗが求められる。前段構成のＤＳ部３２から入力されたボケ画像Ｉｎ−１が第１乗算器４１によって重みｗで重み付けされ、当該段構成のＵＳ部３３から入力されたアップ解像度画像Ｊｎが第２乗算器４３によって重み１−ｗで重み付けされる。そして、これら各重みｗ、１−ｗで重み付けされたボケ画像Ｉｎ−１、アップ解像度画像Ｊｎが加算器４２によって加算され、合成ボケ画像が生成される。

第１および第２エッジ保存閾値ｔｈ１、ｔｈ２は、前段構成のＤＳ部３２から入力されたボケ画像Ｉｎ−１と当該段構成のＵＳ部３３から入力されたアップ解像度画像Ｊｎとの混合割合を制御する値である。第１エッジ保存閾値ｔｈ１は、各段構成で同一の値でも異なった値でもよく、また第１エッジ保存閾値ｔｈ２も各段構成で同一の値でも異なった値でもよい。

このようにＭｉｘ部３４が構成され、動作することによって、ベース成分画像Ｌのエッジ部分は、入力画像Ｉのエッジ部分の情報をより多く含むことなり、エッジが保存される。

なお、図４には、３段構成の入力画像ぼかし処理部２１Ａを示したが、入力画像ぼかし処理部２１Ａは、１段構成でも、２段構成でも、あるいは、４段構成以上であってもよく、任意の段数構成でよい。また、上述では、第１レートは、１／２とされたが、例えば、１／３や１／４等のように、任意のレートでよい。第２レートは、上述のように第１レートに応じて設定され、例えば第１レートが１／３の場合では３とされ、また例えば第１レートが１／４の場合では４とされる。

次に、圧縮特性生成部２２について説明する。図６は、実施形態のダイナミックレンジ圧縮部における圧縮特性を示す図である。図６の横軸は、圧縮前の画素値ｉｂ（ベース成分画像Ｌの画素値ｉｂ）であり、その縦軸は、圧縮後の画素値ｉａ（圧縮ベース成分画像Ｌｓの画素値ｉａ）である。

本実施形態の圧縮特性Ｘ（ｉｂ）は、連続する２つの第１および第２直線ＳＬ１、ＳＬ２で表され、両端点Ｏ、Ｑの座標値と連続点（接続点）Ｐの座標値によって一意に決定される。第１および第２直線ＳＬ１、ＳＬ２の各傾きおよび各切片をそれぞれａ１、ａ２およびｂ１、ｂ２とすると、第１直線ＳＬ１は、ｉａ＝ａ１×ｉｂ＋ｂ１で表され、第２直線ＳＬ２は、ｉａ＝ａ２×ｉｂ＋ｂ２で表される。

圧縮特性Ｘ（ｉｂ）が両端点Ｏ、Ｑの座標値と連続点Ｐの座標値によって一意に決定されるので、圧縮特性生成部２２は、これら各点Ｏ，Ｐ，Ｑの座標値を設定することによって圧縮特性Ｘ（ｉｂ）を生成するものである。そして、これら各点Ｏ，Ｐ，Ｑの座標点の設定に当たって、圧縮特性生成部２２は、これら各点Ｏ，Ｐ，Ｑのうちの少なくとも１つの点の座標値を入力画像ぼかし処理部２１から入力された圧縮特性生成用画像Ｓに基づいて設定する。

圧縮特性Ｘ（ｉｂ）の一方の端点Ｏの座標値は、例えば、図６に示すように座標原点（０，０）に設定され、固定される（ｂ１＝０）。なお、端点Ｏは、ｉａ軸上の点（０，ｂ１）（ｂ１≠０）に設定され、固定されてもよい。

圧縮特性Ｘ（ｉｂ）の他方の端点Ｑの座標値（ｑｉ，ｑｏ）において、その値ｑｉは、例えば、圧縮特性生成用画像Ｓの最大画素値Ｓｍａｘに設定される（ｑｉ＝Ｓｍａｘ）。また例えば、その値ｑｉは、圧縮特性生成用画像Ｓの最小画素値Ｓｍｉｘの定数倍に設定される（ｑｉ＝Ｓｍｉｎ×ｋ１、ｋ１は定数）。また例えば、その値ｑｉは、圧縮特性生成用画像Ｓにおける画素値の平均値Ｓａｖｅと圧縮特性生成用画像Ｓにおける画素値の標準偏差Ｓσの定数倍との和に設定される（ｑｉ＝Ｓａｖｅ＋Ｓσ×ｋ２、ｋ２は定数）。そして、その値ｑｏは、圧縮後のダイナミックレンジにおける画素値の最大値に設定される。

圧縮特性Ｘ（ｉｂ）の連続点（接続点）Ｐの座標値（ｐｉ，ｐｏ）において、各値ｐｉ、ｐｏは、例えば、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定される。また例えば、その値ｐｏは、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定されると共に、ｐｉは、圧縮特性生成用画像Ｓにおける画素値の平均値Ｓａｖｅと圧縮特性生成用画像Ｓにおける画素値の標準偏差Ｓσの定数倍との差に設定される（ｐｉ＝Ｓａｖｅ−Ｓσ×ｋ３、ｋ３は定数）。

第１直線ＳＬ１の傾きａ１および切片ｂ１は、点Ｏの座標値および点Ｐの座標値をｉａ＝ａ１×ｉｂ＋ｂ１に代入し、ａ１、ｂ１の連立方程式を解くことによって求められる。第２直線ＳＬ２の傾きａ２および切片ｂ２は、点Ｐの座標値および点Ｑの座標値をｉａ＝ａ２×ｉｂ＋ｂ２に代入し、ａ２、ｂ２の連立方程式を解くことによって求められる。

このように圧縮特性生成部２２は、圧縮特性生成用画像Ｓにおける画素値の最大値Ｓｍａｘまたは最小値Ｓｍｉｎを用いることによって圧縮特性Ｘ（ｉｂ）を生成するものである。あるいは、圧縮特性生成部２２は、圧縮特性生成用画像Ｓにおける画素値の平均値Ｓａｖｅおよびばらつき度合い、本実施形態では標準偏差Ｓσを用いることによって圧縮特性Ｘ（ｉｂ）を生成するものである。なお、標準偏差Ｓσに代え、圧縮特性生成用画像Ｓにおける画素値の分散を用いてもよい。

このように一般的な最大値や最小値や平均値や標準偏差等を用いることによって圧縮特性Ｘ（ｉｂ）が圧縮特性生成部２２によって生成されるので、圧縮特性生成部２２を簡素に構成することができ、また適切な圧縮特性Ｘ（ｉｂ）の生成が可能となる。

また、圧縮特性生成部２２は、次のように圧縮特性Ｘ（ｉｂ）を生成してもよい。図７は、実施形態のダイナミックレンジ圧縮部における他の圧縮特性を示す図である。図７の横軸は、圧縮前の画素値ｉｂ（ベース成分画像Ｌの画素値ｉｂ）であり、その縦軸は、圧縮後の画素値ｉａ（圧縮ベース成分画像Ｌｓの画素値ｉａ）である。

本実施形態の他の圧縮特性Ｘ（ｉｂ）は、曲線、例えば、対数曲線ＣＬで表され、両端点Ｏ、Ｑの座標値とその間の中間点Ｐの座標値によって一意に決定される。対数曲線ＣＬは、例えば、ｉａ＝ｅｘｐ（ｌｎ（ｉｂ）×ｃ）×ｄで表される（ｃ、ｄは、定数）。

圧縮特性Ｘ（ｉｂ）が両端点Ｏ、Ｑの座標値と中間点Ｐの座標値によって一意に決定されるので、圧縮特性生成部２２は、これら各点Ｏ，Ｐ，Ｑの座標値を設定することによって圧縮特性Ｘ（ｉｂ）を生成するものである。そして、これら各点Ｏ，Ｐ，Ｑの座標点の設定に当たって、圧縮特性生成部２２は、これら各点Ｏ，Ｐ，Ｑのうちの少なくとも１つの点の座標値を入力画像ぼかし処理部２１から入力された圧縮特性生成用画像Ｓに基づいて設定する。

圧縮特性Ｘ（ｉｂ）の一方の端点Ｏの座標値は、例えば、図７に示すように座標原点（０，０）に設定される。なお、端点Ｏは、ｉａ軸上の点に設定され、固定されてもよい。

圧縮特性Ｘ（ｉｂ）の他方の端点Ｑの座標値（ｑｉ，ｑｏ）において、その値ｑｉは、例えば、圧縮特性生成用画像Ｓの最大画素値Ｓｍａｘに設定される（ｑｉ＝Ｓｍａｘ）。また例えば、その値ｑｉは、圧縮特性生成用画像Ｓの最小画素値Ｓｍｉｘの定数倍に設定される（ｑｉ＝Ｓｍｉｎ×ｋ４、ｋ４は定数）。また例えば、その値ｑｉは、圧縮特性生成用画像Ｓにおける画素値の平均値Ｓａｖｅと圧縮特性生成用画像Ｓにおける画素値の標準偏差Ｓσの定数倍との和に設定される（ｑｉ＝Ｓａｖｅ＋Ｓσ×ｋ５、ｋ５は定数）。そして、その値ｑｏは、圧縮後のダイナミックレンジにおける画素値の最大値に設定される。

圧縮特性Ｘ（ｉｂ）の連続点（接続点）Ｐの座標値（ｐｉ，ｐｏ）において、各値ｐｉ、ｐｏは、例えば、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定される。また例えば、その値ｐｏは、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定されると共に、ｐｉは、圧縮特性生成用画像Ｓにおける画素値の平均値Ｓａｖｅと圧縮特性生成用画像Ｓにおける画素値の標準偏差Ｓσの定数倍との差に設定される（ｐｉ＝Ｓａｖｅ−Ｓσ×ｋ６、ｋ６は定数）。また例えば、その値ｐｏは、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定されると共に、ｐｉは、圧縮特性生成用画像Ｓにおける画素値の最小値Ｓｍｉｎの定数倍に設定される（ｐｉ＝Ｓｍｉｎ×ｋ７、ｋ７は定数）。

対数曲線ＣＬの定数ｃ、ｄは、点Ｐの座標値および点Ｑの座標値をｉａ＝ｅｘｐ（ｌｎ（ｉｂ）×ｃ）×ｄに代入し、ｃ、ｄの連立方程式を解くことによって求められる。

このように圧縮特性生成部２２は、圧縮特性生成用画像Ｓにおける画素値の最大値Ｓｍａｘまたは最小値Ｓｍｉｎを用いることによって圧縮特性Ｘ（ｉｂ）を生成するものである。あるいは、圧縮特性生成部２２は、圧縮特性生成用画像Ｓにおける画素値の平均値Ｓａｖｅおよびばらつき度合い、本実施形態では標準偏差Ｓσを用いることによって圧縮特性Ｘ（ｉｂ）を生成するものである。なお、標準偏差Ｓσに代え、圧縮特性生成用画像Ｓにおける画素値の分散を用いてもよい。

このように一般的な最大値や最小値や平均値や標準偏差等を用いることによって圧縮特性Ｘ（ｉｂ）が圧縮特性生成部２２によって生成されるので、圧縮特性生成部２２を簡素に構成することができ、また適切な圧縮特性Ｘ（ｉｂ）の生成が可能となる。

また、圧縮特性生成部２２は、次のように圧縮特性Ｘ（ｉｂ）を生成してもよい。図８は、実施形態のダイナミックレンジ圧縮部における他の圧縮特性を説明するための図である。図８（Ａ）は、圧縮特性Ｘ（ｉｂ）を示し、その横軸は、圧縮前の画素値ｉｂ（ベース成分画像Ｌの画素値ｉｂ）であり、その縦軸は、圧縮後の画素値ｉａ（圧縮ベース成分画像Ｌｓの画素値ｉａ）である。図８（Ｂ）は、圧縮特性生成用画像Ｓのヒストグラム（度数分布図）であり、その横軸は、画素値ｉｂの階級であり、その縦軸は、画素値ｉｂの度数である。

本実施形態の他の圧縮特性Ｘ（ｉｂ）は、圧縮特性生成用画像Ｓにおける画素値のヒストグラムを用いることによって生成される。例えば、圧縮特性Ｘ（ｉｂ）は、圧縮特性生成用画像Ｓに基づいてヒストグラム均等化（ヒストグラムイコライゼーション）法によって求められる。ヒストグラムイコライゼーション法は、大略、圧縮特性生成用画像Ｓのヒストグラムが求められ、この圧縮特性生成用画像Ｓのヒストグラムから累積度数分布が求められ、累積度数分布の縦軸が圧縮後の画素のとり得る値の範囲に正規化される。例えば、圧縮特性生成用画像Ｓのヒストグラムが図８（Ｂ）に示す分布の場合では、圧縮特性Ｘ（ｉｂ）は、図８（Ａ）に示す曲線となる。背景技術で前述した特許文献６では、入力画像Ｉに対してヒストグラムイコライゼーション法が適用されたが、本実施形態では、圧縮特性生成用画像Ｓに対してヒストグラムイコライゼーション法が適用される。

このように公知のヒストグラムイコライゼーション法を用いることによって圧縮特性Ｘ（ｉｂ）が圧縮特性生成部２２によって生成されるので、圧縮特性生成部２２を簡素に構成することができ、また適切な圧縮特性Ｘ（ｉｂ）の生成が可能となる。

ここで、ダイナミックレンジ圧縮部１５に入力される入力画像Ｉのダイナミックレンジは、任意でよいが、ダイナミックレンジ圧縮部１５は、広ダイナミックレンジの入力画像Ｉが入力される場合に好適に機能する。

この広ダイナミックレンジの入力画像Ｉは、例えば、次のように生成される。まず、制御部６がレンズ部１および撮像センサ２の露出を制御することによって、露出量（露光量）の異なる複数の画像（多重露光画像）が撮影される。そして、広ダイナミックレンジ画像生成部（広ＤＲ画像生成部）１４Ａで複数の画像に当該画像の露出に反比例したゲインをかけて複数の画像が加算され、広ダイナミックレンジの画像が生成される。例えば、露出１、１／２、１／４の３枚の画像が撮影され、露出１の画像にゲイン１がかけられ、露出１／２の画像にゲイン２がかけられ、露出１／４の画像にゲイン４がかけられ、そして、各ゲインをかけた各露出の画像が加算され、広ダイナミックレンジの画像が生成される。この広ＤＲ画像生成部１４Ａは、ＡＤ変換部４より後段であって画像処理部５のＤＲ圧縮部１５より前段に配置される。図１には、広ＤＲ画像生成部１４ＡがＤＲ圧縮部１５の前段に配置される例が示されている。

また例えば、この広ダイナミックレンジの入力画像Ｉは、次のように生成される。図９は、ニー特性の撮像センサにおける光電変換特性および光電変換特性の伸張を示す図である。図９の横軸は、被写体輝度であり、その縦軸は、画素値である。図９における実線は、撮像センサ２自体の光電変換特性を示し、その一点鎖線は、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換された光電変換特性を示す。まず、撮像センサ２には、光電変換特性がニー特性の撮像センサが用いられる。ニー特性の撮像センサでは、被写体輝度Ｄと撮像センサ２の画素値ｉとの対応関係を示す光電変換特性が予め設定された所定の閾値Ｄｔｈで低輝度範囲の第１光電変換特性と高輝度範囲の第２光電変換特性とに二分されている。被写体輝度Ｄが０から所定の閾値Ｄｔｈまでの低輝度範囲内である場合には、第１傾きで被写体輝度Ｄが画素値ｉに光電変換され、被写体輝度Ｄが所定の閾値Ｄｔｈから撮像センサの光電変換可能な最大値Ｄｍａｘまでの高輝度範囲内である場合には、被写体輝度Ｄｔｈで画素値ｉが連続するように、そして、第１傾きよりも小さい第２傾きで被写体輝度Ｄが画素値ｉに光電変換される。すなわち、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性よりも圧縮されている。図９に示す例では、第１傾きが１とされ、第２傾きがａ３（０＜ａ３＜１）とされている。このようなニー特性の撮像センサ２で撮影された画像は、広ダイナミックレンジ画像生成部（広ＤＲ画像生成部）１４Ｂで高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換され、伸張され、広ダイナミックレンジの画像が生成される。より具体的には、広輝度範囲の光電変換特性がｉ＝ａ３×Ｄ＋ｂ３（ｂ３＝ｉｔｈ−ａ３×Ｄｔｈ）で表される場合では、画素値ｉが０から所定の閾値Ｄｔｈに対応する画素値ｉｔｈまでは、撮像センサ２の画素値ｉがそのまま採用され、画素値ｉが画素値ｉｔｈから最大値Ｄｍａｘに対応する画素値ｉｍａｘまでは、撮像センサ２の画素値ｉが（ｉ−ｂ３）／ａ３に変換され、広ダイナミックレンジの画像が生成される。この広ＤＲ画像生成部１４Ｂは、ＡＤ変換部４より後段であって画像処理部５のＤＲ圧縮部１５より前段に配置される。図１には、広ＤＲ画像生成部１４ＢがＤＲ圧縮部１５の前段に配置される例が示されている。

また例えば、この広ダイナミックレンジの入力画像Ｉは、次のように生成される。図１０は、リニアログ特性の撮像センサにおける光電変換特性および光電変換特性の伸張を示す図である。図１０の横軸は、被写体輝度であり、その縦軸は、画素値である。図１０における実線は、撮像センサ２自体の光電変換特性を示し、その一点鎖線は、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換された光電変換特性を示す。まず、撮像センサ２には、光電変換特性がリニアログ特性の撮像センサが用いられる。リニアログ特性の撮像センサでは、被写体輝度Ｄと撮像センサ２の画素値ｉとの対応関係を示す光電変換特性が予め設定された所定の閾値Ｄｔｈで低輝度範囲の第１光電変換特性と高輝度範囲の第２光電変換特性とに二分されている。被写体輝度Ｄが０から所定の閾値Ｄｔｈまでの低輝度範囲内である場合には、被写体輝度Ｄが画素値ｉに線形で光電変換され、被写体輝度Ｄが所定の閾値Ｄｔｈから撮像センサの光電変換可能な最大値Ｄｍａｘまでの高輝度範囲内である場合には、被写体輝度Ｄｔｈで画素値ｉが連続するように、そして、被写体輝度Ｄが画素値ｉに対数で光電変換される。すなわち、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性よりも圧縮されている。図１０に示す例では、低輝度範囲における線形の第１光電変換特性がｉ＝Ｄとされ、高輝度範囲における対数の第２光電変換特性がｉ＝α×ｌｎ（Ｄ）＋β（β＝ｉｔｈ−α×ｌｎ（Ｄｔｈ））とされている。このようなリニアログ特性の撮像センサ２で撮影された画像は、広ダイナミックレンジ画像生成部（広ＤＲ画像生成部）１４Ｃで高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換され、伸張され、広ダイナミックレンジの画像が生成される。より具体的には、第１および第２光電変換特性が上記のように表される場合では、画素値ｉが０から所定の閾値Ｄｔｈに対応する画素値ｉｔｈまでは、撮像センサ２の画素値ｉがそのまま採用され、画素値ｉが画素値ｉｔｈから最大値Ｄｍａｘに対応する画素値ｉｍａｘまでは、撮像センサ２の画素値ｉがｅｘｐ（（ｉ−β）／α）に変換され、広ダイナミックレンジの画像が生成される。この広ＤＲ画像生成部１４Ｃは、ＡＤ変換部４より後段であって画像処理部５のＤＲ圧縮部１５より前段に配置される。図１には、広ＤＲ画像生成部１４ＣがＤＲ圧縮部１５の前段に配置される例が示されている。

広ダイナミックレンジの入力画像Ｉは、この他、公知の方法、例えば、前記特許文献１ないし特許文献４のいずれかに開示の方法で得られたものであってもよい。

以上のように、本実施形態における画像処理装置を備えた撮像装置ＣＡでは、入力画像Ｉから遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度（サイズ、画素数）の複数の平滑画像が生成され、圧縮特性Ｘ（ｉｂ）がこれら複数の平滑画像のうちのいずれかに基づいて生成されるので、より適切な圧縮特性Ｘ（ｉｂ）が設定されるから、例えばいわゆる白飛びや黒つぶれ等の無い背景技術より高画質で入力画像Ｉのダイナミックレンジの圧縮が可能となる。そして、ベース成分画像生成部（ベース成分画像生成工程（Ｓ１））と圧縮特性生成部２２（圧縮特性生成工程（Ｓ１））とは、共に、この平滑画像を用いるので、平滑画像生成部（平滑画像生成工程）は、それら各構成の前処理部として兼用することができるから、入力画像Ｉやベース成分画像Ｌに基づいて圧縮特性Ｘ（ｉｂ）を生成するよりも簡素に画像処理装置および画像処理方法を構成することが可能となる。

特に、本実施形態では、ダイナミックレンジ圧縮部１５は、入力画像Ｉの特徴を反映した、言い換えれば、ベース成分画像Ｌあるいはその生成過程の中間ベース成分画像の特徴を反映した圧縮特性生成用画像Ｓに基づいて圧縮特性Ｘ（ｉｂ）を生成し、この圧縮特性Ｘ（ｉｂ）を用いてベース成分画像Ｌを圧縮し、このベース成分画像Ｌを圧縮した圧縮ベース成分画像Ｌｓを用いて入力画像Ｉのダイナミックレンジを圧縮した画像を生成する。このため、ベース成分画像Ｌが適切に圧縮され、入力画像Ｉのダイナミックレンジを圧縮したより高画質な画像が得られる。

なお、上述の実施形態において、入力画像ぼかし処理部２１は、図２に示す構成に限定されるものではない。例えば、前記特許文献６に開示の画像処理装置を利用することも可能である。この特許文献６に開示の画像処理装置は、当該特許文献６に詳述されているが、大略、次のように構成され、動作する。

図１１は、実施形態のダイナミックレンジ圧縮における入力画像ぼかし処理部の他の構成を示す図である。図１１において、入力画像ぼかし処理部２１Ｂは、複数のイプシロンフィルタ１２０、１２０Ａ、１２０Ｂと、複数の線形ローパスフィルタ（線形ＬＰＦ）１２１Ａ、１２１Ｂと、複数のダウンサンプリング器１２２Ａ、１２２Ｂと、複数のアップサンプリング器１２３Ａ、１２３Ｂと、複数の補間器１２４Ａ、１２４Ｂと、複数の合成器１２５Ａ、１２５Ｂとを備えて構成されている。

入力画像Ｉ１は、第１イプシロンフィルタ１２０と第１線形ＬＰＦ１２１Ａとに分割入力される。第１イプシロンフィルタ１２０では、入力画像Ｉ１に対して所定の非線形フィルタリング処理を行い、最も平滑化の度合いが小さく、解像度の最も高い第１平滑画像ＲＨ０を生成し、この第１平滑画像ＲＨ０を第２合成器１２５Ｂに出力する。第１線形ＬＰＦ１２１Ａは、後段の第１ダウンサンプリング器１２２Ａでのダウンサンプリング処理においてエリアシングの発生を回避するためのものであり、ダウンサンプリングのレートに応じて適当なフィルタ処理を施す。第１ＬＰＦ１２１Ａの出力は、第１ダウンサンプリング器１２２Ａに入力され、第１ダウンサンプリング器１２２Ａで予め設定された所定のレートによりダウンサンプリング処理が施される。第１線形ＬＰＦ１２１Ａおよび第１ダウンサンプリング器１２２Ａによって縮小された画像Ｉ２は、第２イプシロンフィルタ１２０Ａおよび第２線形ＬＰＦ１２１Ｂに入力される。

第２イプシロンフィルタ１２０Ａおよび第２線形ＬＰＦ１２１Ｂは、入力画像Ｉの大きさが異なる以外、すなわち、入力画像Ｉとして第１ダウンサンプリング器１２２Ａからの画像Ｉ２が入力される以外、それぞれ、第１イプシロンフィルタ１２０および第１線形ＬＰＦ１２１Ａと実質的に同じ働きをする。すなわち、第２イプシロンフィルタ１２０Ａでは、第１ダウンサンプリング器１２２Ａからの入力画像Ｉ２に対して所定の非線形フィルタリング処理を行って第２平滑画像ＲＨ１を生成し、この第２平滑画像ＲＨ１を第１合成器１２５Ａに出力する。第２線形ＬＰＦ１２１Ｂでは、後段の第２ダウンサンプリング器１２２Ｂでのダウンサンプリングのレートに応じて適当なフィルタ処理を施す。第２ＬＰＦ１２１Ｂの出力は、第２ダウンサンプリング器１２２Ｂに入力され、第２ダウンサンプリング器１２２Ｂで予め設定されたレートによりダウンサンプリング処理が施される。これによって縮小された画像Ｉ３は、第３イプシロンフィルタ１２０Ｂに入力される。

第３イプシロンフィルタ１２０Ｂも第１イプシロンフィルタ１２０と実質的に同じ働きをする。すなわち、第３イプシロンフィルタ１２０Ｂでは、第２ダウンサンプリング器１２２Ｂからの入力画像Ｉ３に対して所定の非線形フィルタリング処理を行って第３平滑画像ＲＨ２を生成し、この第３平滑画像ＲＨ２を第１アップサンプリング器１２３Ａに出力する。

第１アップサンプリング器１２３Ａでは、第３平滑画像ＲＨ２に対して、第２ダウンサンプリング器１２２Ｂと同じレートでアップサンプリング処理を施す。すなわち、第２ダウンサンプリング器１２２Ｂにおけるダウンサンプリングレートが１／Ｎである場合、第１アップサンプリング器１２３Ａでは、隣接する画素の間に値が０であるＮ−１個の画素を挿入する処理を行う。第１補間器１２４Ａでは、アップサンプリング処理の施された画像に対して適当な補間処理を行うことによって中間合成画像を生成し、第１合成器１２５Ａに出力する。第１合成器１２５Ａでは、エッジ強度Ｇの算出を行い、それに基づいて第２イプシロンフィルタ１２０Ａからの第２平滑画像ＲＨ１と第１補間器１２４Ａからの中間合成画像とを合成して、第１合成平滑画像を生成し、第１合成平滑画像を第２アップサンプリング器１２３Ｂに出力する。

第２アップサンプリング器１２３Ｂおよび第２補間器１２４Ｂは、それぞれ、第１アップサンプリング器１２３Ａおよび第１補間器１２４Ａと実質的に同じ働きをする。これらによって生成された中間合成画像は、第２合成器１２５Ｂに出力される。第２合成器１２５Ｂは、第１合成器１２５Ａと実質的に同じ働きをする。すなわち、第２合成器１２５Ａは、第１イプシロンフィルタ１２０から出力された第１平滑画像ＲＨ０と第２補間器１２４Ｂから出力された中間合成画像とを合成して、ベース成分を表す最終的なベース成分画像Ｌとして第２合成平滑画像を生成し、出力する。

このように入力画像ぼかし処理部２１Ｂでは、入力画像Ｉ１を分割入力し、その分割された複数の入力画像Ｉのそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑画像ＲＨ０、ＲＨ１、ＲＨ２を生成する。そして、ベース成分画像生成部２１Ｂでは、これら複数の平滑画像ＲＨ０、ＲＨ１、ＲＨ２に基づいてエッジ強度Ｇを算出し、さらにこの算出されたエッジ強度Ｇに基づいて、複数の平滑画像ＲＨ０、ＲＨ１、ＲＨ２を合成することによって、ベース成分を表す最終的なベース成分画像Ｌを生成する。

そして、この入力画像ぼかし処理部２１Ｂでは、第３イプシロンフィルタ１２０Ｂの入力または出力が圧縮特性生成用画像Ｓとされる。あるいは、第１ダウンサンプリング器１２２Ａの出力が圧縮特性生成用画像Ｓとされる。このように複数の圧縮特性生成用画像Ｓのうちのいずれか１つが選択され、入力画像ぼかし処理部２１Ｂから圧縮特性生成部２２へ出力される。このため、より適切な圧縮特性の生成が可能となる。

また、上述の入力画像ぼかし処理部２１Ａと同様に、複数の圧縮特性生成用画像Ｓの空間周波数に基づいて複数の圧縮特性生成用画像Ｓのうちのいずれか１つが選択されるように構成されてもよい。このように構成されることによって、適切な圧縮特性生成用画像Ｓに基づいて圧縮特性が生成されるので、より適切な圧縮特性の生成が可能となる。

なお、上述の実施形態では、入力画像Ｉ、ベース成分画像Ｌおよび圧縮ベース成分画像Ｌｓに基づいて圧縮画像Ｉｓが生成される一構成例として、ＤＲ圧縮部１５において、入力画像Ｉとベース成分画像Ｌとに基づいて反射率成分画像Ｒが生成され、圧縮ベース成分画像Ｌｓと反射率成分画像Ｒとに基づいて圧縮画像Ｉｓが生成される構成を挙げたが、これに限定されるものではなく、他の構成でもよい。例えば、入力画像Ｉは、Ｉ＝Ｌ×Ｒであり、圧縮画像Ｉｓは、Ｉｓ＝Ｌｓ×Ｒであるから、Ｉｓ＝（Ｌｓ／Ｌ）×Ｉとなるので、ＤＲ圧縮部１５において、圧縮ベース成分画像Ｌｓがベース成分画像Ｌで除算され、その除算結果が入力画像Ｉと乗算される構成でもよい。この場合では、ＤＲ圧縮部１５は、入力画像ぼかし処理部２１と、圧縮特性生成部２２と、ベース成分画像圧縮部２３と、入力画像Ｉ、ベース成分画像Ｌおよび圧縮ベース成分画像Ｌｓが入力され、圧縮ベース成分画像Ｌｓをベース成分画像Ｌで除算した後に、その除算結果に入力画像Ｉを乗算する除乗算部とを備えて構成される。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。従って、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

実施形態における画像処理装置を備えた撮像装置の構成を示す図である。 実施形態の撮像装置におけるダイナミックレンジ圧縮部の構成を示す図である。 実施形態の撮像装置におけるダイナミックレンジ圧縮部の動作を示すフローチャートである。 実施形態の撮像装置における３段構成の入力画像ぼかし処理部の構成を示す図である。 実施形態の入力画像ぼかし処理部におけるボケ画像合成部の構成を示す図である。 実施形態のダイナミックレンジ圧縮部における圧縮特性を示す図である。 実施形態のダイナミックレンジ圧縮部における他の圧縮特性を示す図である。 実施形態のダイナミックレンジ圧縮部における他の圧縮特性を説明するための図である。 ニー特性の撮像センサにおける光電変換特性および光電変換特性の伸張を示す図である。 リニアログ特性の撮像センサにおける光電変換特性および光電変換特性の伸張を示す図である。 実施形態のダイナミックレンジ圧縮における入力画像ぼかし処理部の他の構成を示す図である。 特許文献５に開示の画像処理方法におけるダイナミックレンジの圧縮処理に用いられる圧縮率を説明するための図である。 特許文献６に開示の画像処理方法におけるダイナミックレンジの圧縮処理に用いられる係数を説明するための図である。

符号の説明

ＣＡ 撮像装置
Ｌ ベース成分画像
Ｌｓ 圧縮ベース成分画像
Ｒ 反射率成分画像
Ｓ 圧縮特性生成用画像
ＣＬ 対数曲線
ＳＬ１、ＳＬ２ 直線
１ レンズ部
２ 撮像センサ
５ 画像処理部
６ 制御部
７ 画像メモリ
１４、１４Ａ、１４Ｂ、１４Ｃ 広ダイナミックレンジ画像生成部（広ＤＲ画像生成部）
１５ ダイナミックレンジ圧縮部（ＤＲ圧縮部）
２１、２１Ａ、２１Ｂ 入力画像ぼかし処理部（平滑画像生成部、ベース成分画像生成部）
２２ 圧縮特性生成部
２３ ベース成分画像圧縮部
２４ 除算部
２５ 合成部
３１（３１−１〜３１−３） ローパスフィルタ部
３２（３２−１〜３２−３） ダウンサンプリング部
３３（３３−１〜３３−３） アップサンプリング部
３４（３４−１−〜３４−３） ボケ画像合成部（Ｍｉｘ部）
４１ 第１乗算器
４２ 加算器
４３ 第２乗算器
４４ エッジ部
４５ ルックアップテーブル部（ＬＵＴ部）
１２０、１２０Ａ、１２０Ｂ イプシロンフィルタ
１２２Ａ、１２２Ｂ ダウンサンプリング器
１２３Ａ、１２３Ｂ アップサンプリング器
１２４Ａ、１２４Ｂ 補間器
１２５Ａ、１２５Ｂ 合成器

Claims (5)

1. 入力画像から、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度の複数の平滑画像を生成する平滑画像生成部と、
   前記複数の平滑画像に基づいて前記入力画像の解像度と等しいベース成分画像を生成するベース成分画像生成部と、
   前記入力画像または前記ベース成分画像の空間周波数に基づいて前記複数の平滑画像のうちのいずれかの平滑画像を選択し、前記選択された平滑画像に基づいて前記ベース成分画像を圧縮するための圧縮特性を生成する圧縮特性生成部と、
   前記ベース成分画像に前記圧縮特性生成部で生成した圧縮特性を用いることによって、前記ベース成分画像よりもダイナミックレンジの小さい圧縮ベース成分画像を生成するベース成分画像圧縮部とを備え、
   前記圧縮特性は、両端の各点およびその間の点の３点で一意に決定される、連続する２本の直線または１本の対数曲線で表され、前記両端の各点およびその間の点の少なくとも１点の座標値が前記複数の平滑画像のうちの前記選択された平滑画像に基づいて設定されること
   を特徴とする画像処理装置。
2. 前記入力画像、前記ベース成分画像および前記圧縮ベース成分画像に基づいて、入力画像のダイナミックレンジを圧縮した圧縮画像を生成する圧縮画像生成部とをさらに備えること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記圧縮特性生成部は、前記選択された平滑画像における画素値の最大値または最小値を用いることによって前記圧縮特性を生成すること
   を特徴とする請求項１または請求項２に記載の画像処理装置。
4. 入力画像から、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度の複数の平滑画像を生成する平滑画像生成工程と、
   前記複数の平滑画像に基づいて、前記入力画像の解像度と等しいベース成分画像を生成するベース成分画像生成工程と、
   前記入力画像または前記ベース成分画像の空間周波数に基づいて前記複数の平滑画像のうちのいずれかの平滑画像を選択し、前記選択された平滑画像に基づいて、前記ベース成分画像を圧縮するための圧縮特性を生成する圧縮特性生成工程と、
   前記ベース成分画像に前記圧縮特性生成工程で生成された圧縮特性を用いることによって、前記ベース成分画像よりもダイナミックレンジの小さい圧縮ベース成分画像を生成するベース成分画像圧縮工程とを備え、
   前記圧縮特性は、両端の各点およびその間の点の３点で一意に決定される、連続する２本の直線または１本の対数曲線で表され、前記両端の各点およびその間の点の少なくとも１点の座標値が前記複数の平滑画像のうちの前記選択された平滑画像に基づいて設定されること
   を特徴とする画像処理方法。
5. 被写体光像を光電変換して画像信号を生成する撮像部と、前記撮像部で生成された画像信号に所定の画像処理を施して画像を生成する画像処理部とを備える撮像装置において、
   前記画像処理部は、請求項１ないし請求項３のいずれか１項に記載の画像処理装置を備えること
   を特徴とする撮像装置。

Images