上述したように画像データから作成されるヒストグラムは、画像中に含まれる全ての被写体や画像細部における様々な情報を含んでいることから形状が複雑なものとなり、その複雑な形状の中に人間が実際に画像を観察した際に知覚するコントラストの情報が埋もれてしまうため、人間が知覚するコントラスト感が必ずしも反映されていないものとなる。例えば、人間の顔を被写体とした画像の場合、この画像を観察する者がコントラストを知覚するのは顔の部分のみであり、画像に含まれる顔以外の被写体については、その画像から受けるコントラストとしては知覚しないものである。しかしながら、画像データから作成されたヒストグラムには、顔以外の被写体についての情報も含まれているため、このヒストグラムは、画像を観察する者が知覚しているコントラストを反映していないものとなる。したがって、このようなヒストグラムに基づいて画像データに対して画像処理を行ったのでは、必ずしも画像を観察する人が望むような処理済み画像を得ることができない。
また、画像に含まれる鮮やかな色と鮮やかでない色との対比によっても人間が知覚するコントラスト感が異なるものとなる。例えば、鮮やかな色が多く含まれる画像についてはコントラスト感があるものとして知覚されるが、鮮やかでない色が多く含まれている画像については、コントラスト感がないものとして知覚される。このように、画像に含まれる色によってもコントラスト感が異なるため、画像の色も考慮して画像処理を行う必要もある。
本発明は上記事情に鑑みなされたものであり、画像を実際に観察することにより人間が知覚するコントラストの感覚をコントラスト感として定量化し、さらにこのコントラストの感覚に基づいて画像に対して適切に画像処理を施すことができる画像処理方法および装置並びに画像処理をコンピュータに実行させるためのプログラムを提供することを目的とするものである。
また、本発明は、画像の色情報を用いて画像に対して適切に画像処理を施すことができる画像処理方法および装置並びに画像処理をコンピュータに実行させるためのプログラムを提供することをも目的とするものである。
人間が画像を観察してその画像のコントラストを判断する場合には、画像に含まれる全ての被写体を統合した明暗差のみならず、画像全体の大局的な明暗差、画像中における明部と暗部の分布、さらには注目する被写体のみの明暗の分布等、ヒストグラムに反映されない情報に基づいて、画像のコントラストを判断しているものである。本発明はこの点に着目してなされたものである。
すなわち、本発明による第1の画像処理方法は、変換手段が、画像データから該画像データにより表される画像の色情報を表す色データを算出し、
ボケ画像作成手段が、該色データのボケ画像データを作成し、
ヒストグラム作成手段が、該ボケ画像データの2次元の頻度分布を表すヒストグラムを作成し、
コントラスト感算出手段が、該ヒストグラムの分布面積をコントラスト感として算出し、
処理手段が、該コントラスト感に基づいて前記画像データに対して前記画像の輝度情報を変更する画像処理を施すことを特徴とするものである。
本発明による第1の画像処理装置は、画像データから該画像データにより表される画像の色情報を表す色データを算出する変換手段と、
該色データのボケ画像データを作成するボケ画像作成手段と、
該ボケ画像データの2次元の頻度分布を表すヒストグラムを作成するヒストグラム作成手段と、
該ヒストグラムの分布面積をコントラスト感として算出するコントラスト感算出手段と、
該コントラスト感に基づいて前記画像データに対して前記画像の輝度情報を変更する画像処理を施す処理手段とを備えたことを特徴とするものである。
本発明による第2の画像処理方法は、画像データに基づいて、該画像データにより表される画像のコントラスト感を定量化することを特徴とするものである。
ここで、「コントラスト感」とは、画像全体の大局的な明暗差、画像中における明部と暗部の分布、注目する被写体における明暗の分布等、画像そのもののヒストグラムには直接反映されていない、画像を観察した人間が実際に画像から受けるコントラストに関する主観的な感覚全般のことであり、具体的には画像データのボケ画像データのヒストグラム、ボケ画像データにより表されるボケ画像の明部および/または暗部の位置情報、画像データを多重解像度に変換することにより得られる周波数帯域毎の多重解像度画像データから得られたヒストグラム等に基づいて、定量化することができる。
なお、ボケ画像データからヒストグラムを作成するには、ボケ画像データそのものから作成してもよく、例えば画像データが8ビット(256)の情報を有するものである場合にボケ画像データを例えば32値化、16値化、8値化等し、この32値化等したボケ画像データからヒストグラムを作成してもよい。
また、画像データから画像の輝度情報および色情報を表す輝度データおよび色データを得、輝度データおよび/または色データのボケ画像データである輝度ボケ画像データおよび/または色ボケ画像データを作成し、輝度ボケ画像データおよび/または色ボケ画像データから輝度ヒストグラムおよび/または色ヒストグラムを作成し、輝度ヒストグラムおよび/または色ヒストグラムに基づいてコントラスト感を定量化してもよい。なお、「色情報」とは画像に含まれる色の鮮やかさを表す情報のことをいう。
なお、色ボケ画像データを作成した場合には、色ボケ画像データの2次元の頻度分布を表す色ヒストグラムを作成するようにしてもよい。
さらに、「明部および/または暗部の位置情報」としては、例えば画像の中央から明部および/または暗部までの距離の標準偏差を用いることができる。
さらに、「多重解像度画像データから得られたヒストグラム等に基づいて」とは、具体的には画像データから高周波帯数帯域、中周波数帯域および低周波数帯域の多重解像度画像データを作成した場合に、低周波数帯域の解像度画像データにより表される低周波数帯域画像から求められた画像の大まかな明度分布、中周波数帯域あるいは高周波数帯域の解像度画像データにより表される中周波数帯域画像あるいは高周波数帯域画像のヒストグラム等に基づいて、の意である。
また、画像データから画像の輝度情報および色情報を表す輝度データおよび色データを得、輝度データおよび/または色データを多重解像度に変換して複数の周波数帯域毎の輝度多重解像度画像データおよび/または色多重解像度画像データを得、各輝度多重解像度画像データおよび/または各色多重解像度画像データのヒストグラムである輝度ヒストグラムおよび/または色ヒストグラムを作成し、各輝度ヒストグラムおよび/または各色ヒストグラムに基づいてコントラスト感を定量化してもよい。
なお、本発明による第2の画像処理方法においては、前記コントラスト感に基づいて、前記画像データに対して画像処理を施すことが好ましい。
この場合、前記画像処理は階調変更処理、周波数強調処理、AE処理および彩度変更処理のうち少なくとも1つの処理であることが好ましい。
本発明による第3の画像処理方法は、画像データから該画像データにより表される画像の色情報に基づいて前記画像データに対して前記画像の輝度情報を変更する画像処理を施すことを特徴とするものである。
なお、本発明による第3の画像処理方法においては、前記画像データから前記画像の色情報を表す色データを得、
該色データのボケ画像データを作成し、
該ボケ画像データのヒストグラムを作成し、
該ヒストグラムに基づいて前記画像データに対して前記画像処理を施すことが好ましい。
この場合、前記ボケ画像データの2次元の頻度分布を表すヒストグラムを作成することが好ましい。
また、本発明による第3の画像処理方法においては、前記画像データから前記画像の色情報を表す色データを得、
該色データを多重解像度に変換して複数の周波数帯域毎の多重解像度画像データを得、
該各多重解像度画像データのうち最低周波数帯域の多重解像度データのヒストグラムを作成し、
該ヒストグラムに基づいて前記画像データに対して前記画像処理を施すことが好ましい。
本発明による第2の画像処理装置は、画像データに基づいて、該画像データにより表される画像のコントラスト感を定量化するコントラスト感定量化手段を備えたことを特徴とするものである。
なお、本発明による第2の画像処理装置においては、前記コントラスト感定量化手段は、前記画像データのボケ画像データを作成するボケ画像データ作成手段と、
該ボケ画像データのヒストグラムを作成するヒストグラム作成手段と、
該ヒストグラムに基づいて前記コントラスト感を定量化する定量化手段とを備えることが好ましい。
また、本発明による第2の画像処理装置においては、前記コントラスト感定量化手段は、前記画像データから前記画像の輝度情報および色情報を表す輝度データおよび色データを得る変換手段と、
該輝度データおよび/または該色データのボケ画像データである輝度ボケ画像データおよび/または色ボケ画像データを作成するボケ画像データ作成手段と、
該輝度ボケ画像データおよび/または該色ボケ画像データのヒストグラムである輝度ヒストグラムおよび/または色ヒストグラムを作成するヒストグラム作成手段と、
該輝度ヒストグラムおよび/または該色ヒストグラムに基づいて前記コントラスト感を定量化する定量化手段とを備えることが好ましい。
この場合、前記ボケ画像データ作成手段が前記色ボケ画像データを作成した場合、前記ヒストグラム作成手段は、前記色ボケ画像データの2次元の頻度分布を表す色ヒストグラムを作成する手段であることが好ましい。
さらに、前記コントラスト感定量化手段は、前記画像データのボケ画像データを作成するボケ画像データ作成手段と、
該ボケ画像データにより表されるボケ画像における明部および/または暗部の位置情報に基づいて前記コントラスト感を定量化する定量化手段とを備えることが好ましい。
さらに、前記コントラスト感定量化手段は、前記画像データを多重解像度に変換して複数の周波数帯域毎の多重解像度画像データを得る多重解像度変換手段と、
該各多重解像度画像データのヒストグラムを作成するヒストグラム作成手段と、
該各ヒストグラムに基づいて前記コントラスト感を定量化する定量化手段とを備えることが好ましい。
さらにまた、前記コントラスト感定量化手段は、前記画像データから前記画像の輝度情報および色情報を表す輝度データおよび色データを得る変換手段と、
該輝度データおよび/または該色データを多重解像度に変換して複数の周波数帯域毎の輝度多重解像度画像データおよび/または色多重解像度画像データを得る多重解像度変換手段と、
該各輝度多重解像度画像データおよび/または該各色多重解像度画像データのヒストグラムである輝度ヒストグラムおよび/または色ヒストグラムを作成するヒストグラム作成手段と、
該各輝度ヒストグラムおよび/または該各色ヒストグラムに基づいて前記コントラスト感を定量化する定量化手段とを備えることが好ましい。
なお、本発明による第2の画像処理装置においては、前記コントラスト感に基づいて、前記画像データに対して画像処理を施す処理手段をさらに備えることが好ましい。
この場合、前記処理手段は、前記画像処理として階調変更処理、周波数強調処理、AE処理および彩度変更処理のうち少なくとも1つの処理を行う手段であることが好ましい。
本発明による第3の画像処理装置は、画像データから該画像データにより表される画像の色情報に基づいて前記画像データに対して前記画像の輝度情報を変更する画像処理を施すことを特徴とするものである。
なお、本発明による第3の画像処理装置においては、前記画像データから前記画像の色情報を表す色データを得る変換手段と、
該色データのボケ画像データを作成するボケ画像データ作成手段と、
該ボケ画像データのヒストグラムを作成するヒストグラム作成手段と、
該ヒストグラムに基づいて前記画像データに対して前記画像処理を施す処理手段とを備えることが好ましい。
この場合、前記ヒストグラム作成手段は、前記ボケ画像データの2次元の頻度分布を表すヒストグラムを作成する手段であることが好ましい。
また、本発明による第3の画像処理装置においては、前記画像データから前記画像の色情報を表す色データを得る変換手段と、
該色データを多重解像度に変換して複数の周波数帯域毎の多重解像度画像データを得る多重解像度変換手段と、
該各多重解像度画像データのうち最低周波数帯域の多重解像度画像データのヒストグラムを作成するヒストグラム作成手段と、
該ヒストグラムに基づいて前記画像データに対して前記画像処理を施す処理手段とを備えることが好ましい。
なお、本発明による第1から第3の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、画像データにより表される画像のコントラスト感を定量化するようにしたため、画像そのもののヒストグラムから求められるコントラストのように、画像全体の種々の情報を含んだコントラストではなく、画像の大局的な明暗差、画像中における明部と暗部の分布や、注目する被写体における明暗の分布、画像に含まれる色情報などの人間が実際に画像を観察した際に画像から受ける主観的な感覚を定量化して求めることができる。
また、画像データにより表される画像中には、画像を観察する者が知覚する情報のみならず非常に多くの情報が含まれているため、画像データから作成されたヒストグラムには、画像の大局的な明暗の情報が埋もれてしまっていることとなる。一方、画像データからボケ画像データを作成することにより、このボケ画像データにより表される画像は、元の画像データのように被写体の詳細な画素値の変化が含まれないため、人間が画像を観察した際に実際に知覚する、画像全体の大局的な明暗差を明確に表すものとなる。したがって、画像データのボケ画像データ、あるいは画像データから得られた輝度データおよび/または色データのヒストグラムに基づくことにより、実際に画像を観察した際にその画像から受けるコントラスト感を良好に定量化することができる。
また、ボケ画像における明部および/または暗部の位置情報は、画像中における明るい被写体および/または暗い被写体の位置を表すものであるため、この位置情報に基づくことにより、画像中の明暗の分布状態をコントラスト感として得ることができる。
さらに、画像データを多重解像度画像データに変換して各解像度画像データのヒストグラムを作成した場合、低周波数帯域の解像度画像データのヒストグラムはボケ画像データのヒストグラムと同様に画像全体の明暗の分布を、中高周波数帯域の解像度画像データのヒストグラムは、その周波数帯域に応じた周波数成分の振幅を表すものとなる。例えば、鼻や目のくぼみによる顔の明暗、建物や被写体による陰影は中周波数成分により、木の枝や草花の細かさ、人物の服の模様、質感、物体間の境界(エッジ)等は高周波数成分により構成されている。このため、これら画像中の局所的なコントラストがある画像ほど、中高周波数帯域の解像度画像データのヒストグラムの分布幅が大きくなる。したがって、低周波数帯域の解像度画像データのヒストグラムにより画像データの全体的なコントラスト感を定量化することができ、さらに中高周波数帯域の解像度画像データのヒストグラムに基づいて画像中の局所的なコントラスト感を定量化することができ、これにより、画像の全体的な明暗の分布のみならず、局所的な明暗の分布をコントラスト感として求めることができる。
一方、画像データから輝度データおよび色データを得、輝度データおよび/または色データを多重解像度画像データに変換して各解像度画像データのヒストグラムである輝度ヒストグラムおよび/または色ヒストグラムを作成した場合、低周波数帯域の輝度ヒストグラムは画像全体の明暗の分布を、中高周波数帯域の輝度ヒストグラムは、その周波数帯域に応じた周波数成分の振幅を表すものとなる。したがって、低周波数帯域の輝度ヒストグラムに基づいて画像データの全体的なコントラスト感を定量化することができ、さらに中高周波数帯域の輝度ヒストグラムに基づいて画像中の局所的なコントラスト感を定量化することができる。
また、低周波数帯域の色ヒストグラムは画像全体の彩度の分布を、中高周波数帯域の色ヒストグラムは、その周波数帯域に応じた彩度の分布を表すものとなる。したがって、低周波数帯域の色ヒストグラムに基づいて、画像の色に基づく画像データの全体的なコントラスト感を定量化することができ、さらに中高周波数帯域の色ヒストグラムに基づいて画像中の局所的なコントラスト感を定量化することができる。
さらにまた、求められたコントラスト感に基づいて画像データに対して所定の画像処理を施すことにより、画像を観察する者が知覚するコントラスト感を反映させた処理済み画像データを得ることができる。
また、画像データからこの画像データにより表される画像の色情報に基づいて画像データに対して輝度情報を変更する画像処理を施すことにより、画像を観察する者が画像の色から知覚するコントラスト感を反映させた処理済み画像データを得ることができる。
以下図面を参照して本発明の実施形態について説明する。
図1は本発明の実施形態による画像処理装置の構成を示す概略ブロック図である。図1に示すように、本実施形態による画像処理装置は、画像データS0により表される画像におけるコントラスト感C0を定量化するコントラスト感定量化手段1と、コントラスト感定量化手段1において定量化されたコントラスト感C0に基づいて、画像データS0に対して画像処理を施して処理済み画像データS1を得る処理手段2と、処理済み画像データS1を可視像として出力するプリンタ、CRTモニタ等の出力手段3とを備える。
図2はコントラスト感定量化手段1の具体的な構成を示す概略ブロック図である。なお、図2に示すコントラスト感定量化手段1を第1の実施形態として説明する。図2に示すように、第1の実施形態によるコントラスト感定量化手段1は、画像データS0のボケ画像データSusを作成するボケ画像作成手段11と、ボケ画像データSusのヒストグラムHusを作成するヒストグラム作成手段12と、ヒストグラムHusに基づいて画像データS0により表される画像のコントラスト感C0を定量化して求める定量化手段13とを備える。
図2に示すコントラスト感定量化手段1においては下記のようにしてコントラスト感C0が定量化して求められる。まず、ボケ画像作成手段11において画像データS0のボケ画像データSusが作成される。このボケ画像データSusの作成は、例えば画像データS0に対してボケマスクフィルタによるフィルタリング処理を施すことにより行われる。画像データS0により表される画像およびボケ画像データSusにより表されるボケ画像の例を図3に示す。なお、図3においては画像データS0およびボケ画像データSusにより表される画像にはそれぞれ対応する符号S0およびSusを付している。また、このボケ画像データSusは画像データS0のナイキスト周波数に対して数%の周波数帯域が残る程度のものとなっており、具体的には画像データS0により表される画像中0.5〜3cycle/cm程度の周波数成分を表すものとなっている。
次に、ヒストグラム作成手段12において、ボケ画像データSusのヒストグラムHusが作成される。図4はボケ画像データSusのヒストグラムHusを画像データS0のヒストグラムH0とともに示す図である。なお、図4においては画素値は0−100に正規化してある。図4に示すように、ヒストグラムH0は、画像全体の明暗の分布のみならず、画像中に含まれる全ての被写体や画像細部における様々な情報を含んでいるため、複雑な形状を有するものとなり、ヒストグラムH0から求められる明暗差すなわちコントラストは、0−100という非常に広い範囲に亘っているものとなる。なお、図5は画像データS0とは異なる画像データS0′およびこれから作成されたボケ画像データSus′のヒストグラムH0′、Hus′を示す図である。図4と図5とを比較すると、ヒストグラムの形状は明らかに異なるが、図5のヒストグラムH0′から求められるコントラストは、図4のヒストグラムH0から求められるコントラストと同様に0−100という広い範囲に亘るものとなるため、画像によってコントラストの差異がないものとなってしまう。
一方、ヒストグラムHusは、その分布幅も27−92とヒストグラムH0より狭くなっているが、画像中に含まれる詳細な情報が除去されており、この分布幅は画像全体の大局的な明暗差すなわちコントラストを表すものとなる。また、図5に示すヒストグラムH0′から求められるコントラストは図4に示すヒストグラムと同一であったが、ヒストグラムHus′とヒストグラムHusとを比較すると、ヒストグラムHus′の分布幅は17−75となり、両者は明らかに分布幅およびその分布位置が異なるため、画像によりコントラストの差異が現れるものとなる。ここで、人間が画像を観察する際には、画像中の詳細な部分ではなく、まず画像全体を観察してコントラストを判断するものである。したがって、第1の実施形態においては、定量化手段13においてボケ画像データSusのヒストグラムHusの分布幅、すなわち、ヒストグラムHusの最大値Husmaxと最小値Husminとの差wを求め、これを人間が画像を観察した際に知覚する画像全体のコントラストを表すコントラスト感C0とするものである。
処理手段2においてはコントラスト感定量化手段1において定量化されたコントラスト感C0に基づいて、画像データS0に対して画像処理が施される。まず、コントラスト感C0、すなわちヒストグラムHusの最大値Husmaxと最小値Husminとの差wについて、これを予め設定した閾値Th1と比較して画像データS0により表される画像のコントラスト種別を求める。ここで、閾値Th1は図4および図5に示すように、ヒストグラム全体の画素値が1−100に分布する場合、例えば50程度の値に設定されるがこれに限定されるものではない。そして、C0≧Th1である場合は画像データS0により表される画像はハイコントラスト画像、C0<Th1である場合はローコントラスト画像という判別を行う。なお、この場合、0<Th2<Th1<100というように2つの閾値Th1,Th2を設定し、C0>Th1である場合はハイコントラスト画像、Th2≦C0≦Th1である場合は標準画像、C0<Th2である場合はローコントラスト画像というような判別を行ってもよい。この場合、Th1は80程度、Th2は40程度の値に設定されるがこれに限定されるものではない。
そして、このように画像のコントラスト種別が求められると、このコントラスト種別に応じて予め準備されている階調変換LUTが選択され、選択された階調変換LUTにより画像データS0に対して階調変換処理が施される。図6は階調変換LUTを示す図である。本実施形態においては、LUT1〜LUT5の5つの階調変換LUTを用意し、ハイコントラスト画像と判別された場合にはLUT5、ローコントラスト画像と判別された場合にはLUT1、標準画像と判別された場合にはLUT3の階調変換LUTを用いて画像データS0の階調を変換して処理済み画像データS1を得る画像処理を行う。なお、コントラスト感C0すなわち上記差wの値に応じてLUT1〜LUT5の階調変換LUTを選択するようにしてもよい。
なお、階調曲線を例えばyout=a・yin+b(yout:出力、yin:入力)というような関数により表現し、画像のコントラスト種別あるいはコントラスト感C0(差wの値)に応じてa,bのパラメータを変更して階調曲線を設定してもよい。
次いで、第1の実施形態の動作について説明する。
図7は第1の実施形態の動作を示すフローチャートである。なお、図7に示すフローチャートにおいては、コントラスト感C0は2つの閾値Th1,Th2と比較されるものとする。まず、コントラスト感定量化手段1のボケ画像作成手段11において、画像データS0のボケ画像データSusが作成され(ステップS1)、さらにヒストグラム作成手段12において、このボケ画像データSusのヒストグラムHusが作成される(ステップS2)。そして定量化手段13においてこのヒストグラムHusに基づいてコントラスト感C0が定量化されて求められる(ステップS3)。そして求められたコントラスト感C0は処理手段2に入力され、まず、C0>Th1であるか否かが判断される(ステップS4)。ステップS4が肯定された場合には、ハイコントラスト画像であるとして階調変換LUT5が選択され(ステップS5)、これに基づいて画像データS0に対して階調変換処理が施され(ステップS6)、処理済み画像データS1が得られる。得られた処理済み画像データS1は出力手段3において可視像として出力される(ステップS7)。
一方、ステップS4が否定された場合には、C0<Th2であるか否かが判断される(ステップS8)。ステップS8が肯定された場合には、ローコントラスト画像であるとして階調変換LUT1が選択され(ステップS9)、これに基づいて画像データS0に対して階調変換処理が施される(ステップS6)。さらに、ステップS8が否定された場合には、Th2≦C0≦Th1となる標準画像であるとして階調変換LUT3が選択され(ステップS10)、これに基づいて画像データS0に対して階調変換処理が施される(ステップS6)。
ここで、画像データS0により表される画像中には、画像を観察する者が知覚する情報のみならず非常に多くの情報が含まれているため、図4および図5に示すように、画像データS0から作成されたヒストグラムH0には、画像全体の明暗の情報が埋もれてしまっていることとなる。一方、画像データS0のボケ画像データSusにより表される画像は、画像データS0のように被写体の詳細な画素値の変化が含まれないため、人間が画像を観察した際に実際に知覚する、画像全体の大局的な明暗差を表すものとなる。したがって、ボケ画像データSusのヒストグラムHusに基づくことにより、実際に画像を観察した際にその画像から受けるコントラスト感C0を良好に定量化することができ、このコントラスト感C0に基づいて画像データS0に対して階調変換処理を施すことにより、画像を観察する者が知覚するコントラスト感C0を反映した画像を表す処理済み画像データS1を得ることができる。
なお、上記第1の実施形態においては、ボケ画像データSusそのものからヒストグラムH0を作成しているが、例えばボケ画像データSusが8ビット(0−255)のデータ値を有するものである場合に、ボケ画像データSusを16値化し、16値化したボケ画像データSusからヒストグラムを作成してもよい。この際、ボケ画像データSusには画像データS0のように画像中の詳細な情報は含まれないため、16値化した後にヒストグラムHusを作成したとしても、図8に示すようにその分布幅は8ビットのボケ画像データSusから作成した場合と比較してそれほど変化しないため、得られるコントラスト感C0としては16値化の前後でそれほど差異はないものとなる。また、16値化した方が画素値のデータ量が少なくなるため、ヒストグラムを簡易に作成することができる。したがって、ボケ画像データSusを16値化した後にヒストグラムを作成することにより、処理を高速に行うことができる。なお、この場合、ボケ画像データSusのデータ値を16値化しているが、8ビットよりも小さい値とするものであれば、例えば8値化、32値化等してからヒストグラムを作成してもよい。
また、上記第1の実施形態においてはヒストグラムHusの最大値Husmaxおよび最小値Husminとの差wをコントラスト感C0としているが、例えばヒストグラムHusの最大値Husmaxから(Husmax−Husmin)の10%値が小さい位置の値、およびヒストグラムHusの最小値Husminから(Husmax−Husmin)の10%値が大きい位置の値を求め、これらの位置における値の差をコントラスト感C0として求めるようにしてもよい。
さらに、上記第1の実施形態においては、画像データS0からボケ画像データSusを作成し、ボケ画像データSusのヒストグラムHusからコントラスト感C0を定量化しているが、画像データS0を画像データS0により表される画像の輝度情報および色情報を表す輝度データおよび色データに変換し、輝度データおよび/または色データのヒストグラムからコントラスト感C0を定量化してもよい。以下、これを第2の実施形態として説明する。
図9は、コントラスト感定量化手段1の第2の実施形態の構成を示す概略ブロック図である。図9に示すように、第2の実施形態によるコントラスト感定量化手段1は、第1の実施形態におけるボケ画像作成手段11、ヒストグラム作成手段12および定量化手段13に加えて、画像データS0を輝度データL*および色データC*に変換する変換手段15を備え、ボケ画像作成手段11において輝度データL*または色データC*のボケ画像データである輝度ボケ画像データLusまたは色ボケ画像データCusを作成し、ヒストグラム作成手段12において、輝度ボケ画像データLusのヒストグラムである輝度ヒストグラムHLus、または色ボケ画像データCusのヒストグラムである色ヒストグラムHCusを作成するようにしたものである。
変換手段15においては、画像データS0が以下のようにして、輝度データL*および色データC*に変換される。なお、第2の実施形態においては、画像データS0はITU−R BT.709(REC.709)に準拠したRGBの色データR0,G0,B0からなるものとする。変換手段15においては、下記の式(1)から(3)に基づいて画像データS0を構成する色データR0,G0,B0がCIE1931三刺激値X,Y,Zに変換される。
Pr=R0/255
Pg=G0/255 (1)
Pb=B0/255
R1′=((Pr+0.099)/1.099)2.222
G1′=((Pg+0.099)/1.099)2.222 (Pr,Pg,Pb≧0.081) (2)
B1′=((Pb+0.099)/1.099)2.222
R1′=Pr/4.5
G1′=Pg/4.5 (Pr,Pg,Pb<0.081) (2′)
B1′=Pb/4.5
X R0′
Y =|A|・ G0′ (3)
Z B0′
ここで、マトリクス|A|は、色データR0′,G0′,B0′を三刺激値X,Y,Zに変換するためのマトリクスであり、例えば以下のような値を用いることができる。
0.4124 0.3576 0.1805
|A| = 0.2126 0.7152 0.0722 (4)
0.0193 0.1192 1.0571
なお、マトリクス|A|に代えて、ルックアップテーブルにより三刺激値X,Y,Zを求めるようにしてもよい。
次に、三刺激値X,Y,Zから下記の式(5)〜(7)によりCIE1976L*、a*、b*を求める。
a*=500{f(X/Xn)−f(Y/Yn)} (5)
b*=200{f(Y/Yn)−f(Z/Zn)} (6)
L*=116(Y/Yn)1/3−16(Y/Yn>0.008856のとき)(7)
L*=903.25(Y/Yn)(Y/Yn≦0.008856のとき)
ここで、
X/Xn,Y/Yn,Z/Zn>0.008856のとき
f(a/an)=(a/an)1/3(a=X,Y,Z)
X/Xn,Y/Yn,Z/Zn≦0.008856のとき
f(a/an)=7.787(a/an)+16/116
なお、Xn,Yn,Znは白色に対する三刺激値であり、CIE−D65(色温度が6500Kの光源)に対応する三刺激値とする。さらに、下記の式(8)により彩度C*を求める。
C*=(a*2+b*2)1/2 (8)
そして、L*を輝度データ、C*を色データとして出力する。
輝度データL*または色データC*からは、ボケ画像作成手段11において第1の実施形態と同様に輝度データL*または色データC*のボケ画像データである輝度ボケ画像データLusまたは色ボケ画像データCusが作成される。なお、色データC*については、大局的な色の変化のみでなく、細かい草花のような中周波数成分からの影響をも考慮して輝度データL*よりもボケの程度を緩くするようにしてもよい。具体的には、色ボケ画像データCusが、画像データS0により表される画像中0.5〜10cycle/mm程度の周波数成分を表すものとすることが好ましい。
ヒストグラム作成手段12においては、第1の実施形態と同様に、輝度ボケ画像データLusから輝度ヒストグラムHLusが作成され、または色ボケ画像データCusから色ヒストグラムHCusが作成される。
そして、定量化手段13においては、輝度ヒストグラムHLusまたは色ヒストグラムHCusの分布幅を求め、これをコントラスト感C0として出力する。
このようにして求められたコントラスト感C0に基づいて、処理手段2において画像データS0に対して画像処理が施される。具体的には、上記第1の実施形態と同様にコントラスト感C0に基づいて画像データS0により表される画像のコントラストの種別を判別し、この判別結果に応じて予め準備されている階調変換LUTを選択し、選択した階調変換LUTにより画像データS0に対して階調変換処理を施す。
なお、第2の実施形態において色データC*からコントラスト感C0を求めた場合、このコントラスト感C0から求められたコントラスト種別がローコントラスト画像であった場合には、画像データS0により表される画像の彩度を高くする彩度変更処理を施すようにしてもよい。具体的には、上記式(8)により求められた彩度C*に強調係数αcを乗算して彩度を向上させる。なお、強調係数αcの値としては1.2程度であることが好ましいが、これに限定されるものではない。また、階調変換処理と彩度変更処理とを同時に行うようにしてもよい。
また、彩度を向上させる場合には、画像データS0により表される画像全体に一律の強調係数αcを乗じるのみならず、画像中の低彩度の部分ほどより彩度が向上されるように、強調係数αcを彩度の関数として設定してもよい。また、強調係数αcを色相角H(=tan-1(b*/a*))に応じて変化させてもよい。
なお、第2の実施形態においては、変換手段15において上記式(8)により彩度C*を求め、これを色データとしているが、式(5)、(7)により求めたa*,b*を色データとしてもよい。この場合、ボケ画像作成手段11においては、a*,b*の色ボケ画像データaus,busが求められ、ヒストグラム作成手段12においては、色ボケ画像データausおよびbusから2次元ヒストグラムHabが作成される。図10は2次元ヒストグラムHabの例を示す図である。図10においては、原点からの距離が彩度を表しており、鮮やかな色ほど原点から離れた座標に存在する。このため、画像データS0により表される画像に鮮やかな色が多いと、2次元ヒストグラムHabの分布が広がることとなる。例えば、図10(a)と図10(b)とでは、図10(b)の方が2次元ヒストグラムHabの分布が広がっているため、図10(b)に示す2次元ヒストグラムHabを得た画像ほど鮮やかな色が多く含まれていることとなる。
したがって、2次元ヒストグラムHabの分布面積Acを求め、この分布面積Acをコントラスト感C0とすることができる。そして、このコントラスト感C0に基づいて、上記第1の実施形態と同様に画像データS0により表される画像のコントラスト種別を判別し、画像データS0に対して階調処理、彩度強調処理等の画像処理を施すことができる。
なお、第2の実施形態において、色データC*が所定の閾値以上となる画素数Pをカウントし、この画素数と画像データS0により表される画像の全画素数Pallに対する比率R=P/Pallを求め、これをコントラスト感C0として求めてもよい。具体的には、図10に示すaus−bus平面において、原点を中心とする所定の半径(所定の閾値に応じた値を有する)円形領域を設定し、この円形領域内に含まれない画素数を画素数Pとし、この画素数Pの全画素数Pallに対する割合Rを求め、これをコントラスト感C0とするものである。
なお、上記第1の実施形態においては、画像データS0のボケ画像データSusのヒストグラムHusを作成し、このヒストグラムHusに基づいてコントラスト感C0を定量化しているが、画像中における明部および/または暗部の分布状態をコントラスト感C0として定量化して求めてもよい。以下、これを第3の実施形態として説明する。図11はコントラスト感定量化手段1の第3の実施形態の構成を示す概略ブロック図である。図11に示すように、第3の実施形態によるコントラスト感定量化手段1は、画像データS0のボケ画像データSusを作成するボケ画像作成手段21と、ボケ画像データSusを0−15の値に16値化して16値化ボケ画像データSus16を得る16値化手段22と、16値化ボケ画像データSus16により表される画像において、最大画素値である15の値を有する画素位置を検出する位置検出手段23と、図12に示すように、位置検出手段23において検出された画素の位置と画像中心Oとの距離を求め、この距離の標準偏差σを算出してこれをコントラスト感C0とする演算手段24とを備える。このように算出されるコントラスト感C0は、人間が画像を観察したときに明るい領域が画像上においてどのように分布しているかの知覚状態を定量化して表すものとなる。
ここで、演算手段24において算出された標準偏差σが比較的小さい場合は、明るい領域が画像の中央付近に集中している画像(例えばストロボを使用して撮影を行うことにより得られたストロボ画像)であるとして、これに適した画像処理を処理手段2において行う。第3の実施形態においては、処理手段2において、コントラスト感定量化手段1にて求められたコントラスト感C0すなわち標準偏差σが予め定められた所定の閾値Th5より小さいか否かが判断され、σ<Th5である場合には、画像の中央付近に明るい領域が集中したストロボ画像であると判断し、これに適した画像処理を画像データS0に対して施す。なお、σ≧Th5である場合には、標準的な画像としてこれに適した画像処理を画像データS0に対して施す。
ここで、ストロボ画像においては、被写体に強い光が照射されるためにコントラストが高くなり、被写体が白く飛んでしまったものとなっている。このため、処理手段2においては、σ<Th5と判断された場合には、画像データS0により表される画像から明るい領域を抽出し、この領域内の画像データS0に対して例えば図6に示すLUT5を用いてコントラストを抑制するように階調変換処理を施す。これにより、明るい領域の部分のコントラストを抑制して、飛びのない画像を表す処理済み画像データS1を得ることができる。
なお、上記第3の実施形態においては、位置検出手段23において検出された画素の位置と画像の中心Oとの距離を求め、この距離の標準偏差σをコントラスト感C0としているが、図13に示すように、画像の中心付近に所定の大きさを有する領域A1を設定し、この領域A1内において15の値を有する画素数をカウントし、この画素数をコントラスト感C0としてもよい。この場合、処理手段2においてはコントラスト感C0すなわち領域A1内の15の値を有する画素数が予め定められた所定の閾値Th6より大きいか否かが判断され、C0>Th6と判断された場合には、明るい領域が画像の中央付近に集中している画像であるとして、領域A1内についてはコントラストを抑制するように階調変換処理を施す。なお、C0≦Th6と判断された場合には、標準的な画像であるとして、これに適した画像処理を施す。これにより、上記と同様に明るい領域の部分のコントラストを抑制して、飛びのない画像を表す処理済み画像データS1を得ることができる。
また、上記第1の実施形態においては画像データS0のボケ画像データSusを作成し、このボケ画像データSusのヒストグラムを求め、これに基づいてコントラスト感C0を定量化して求めているが、画像データS0を複数の周波数帯域毎の多重解像度空間に変換し、各周波数帯域毎の解像度データのヒストグラムを作成し、これに基づいてコントラスト感C0を定量化してもよい。以下、これを第4の実施形態として説明する。
図14はコントラスト感定量化手段1の第4の実施形態の具体的な構成を示す概略ブロック図である。図14に示すように、第4の実施形態によるコントラスト感定量化手段1は、画像データS0をウェーブレット変換やラプラシアンピラミッドの手法等により多重解像度空間に変換して、低周波数帯域、中周波数帯域および高周波数帯域の多重解像度画像データ(以下解像度データとする)RL,RM,RHを得る多重解像度変換手段31と、低周波数帯域の解像度データRLから画素値が所定の閾値Th7以上の領域を明部領域M1として抽出する領域抽出手段32と、中高周波数帯域の解像度データRM,RHについて、明部領域M1に対応する領域のヒストグラムHM,HHを作成するヒストグラム作成手段33と、画像データS0により表される画像のコントラスト感C0を定量化して求める定量化手段34とを備える。
第4の実施形態によるコントラスト感定量化手段1においては下記のようにしてコントラスト感C0が定量化して求められる。まず、画像データS0が多重解像度変換手段31において多重解像度空間に変換されて、低中高周波数帯域の解像度データRL,RM,RHが得られる。なお、各周波数帯域の解像度データにおいて、低解像度解像度データRLは明暗の情報をも含むものであるが、中高解像度データRM,RHは周波数成分のみを表すものである。図15は各解像度データにより表される画像を模式的に示す図であり、図15(a)が低周波数帯域の解像度データRL、図15(b)が中周波数帯域の解像度データRM、図15(c)が高周波数帯域の解像度データRHにより表される画像を示すものである。
次いで、低周波数帯域の解像度データRLが領域抽出手段32に入力され、ここで画素値が所定の閾値Th7以上の領域が明部領域M1として抽出され、ヒストグラム作成手段33に入力される。一方、明部領域M1の画素数nが定量化手段34に入力される。そして、ヒストグラム作成手段33においては中高周波数帯域の解像度データRM,RHについて、明部領域M1に対応する領域のヒストグラムHM,HHが作成される。このヒストグラムHM,HHは定量化手段34に入力される。
ここで、低周波数帯域の解像度データRLのヒストグラムHLの分布幅BLは図16(a)に示すように画素値の分布を表し、図4および図5に示したヒストグラムと同様に画像の大局的な明暗を表すものであるが、中高周波数帯域の解像度データRM,RHの分布幅BM,BHは、図16(b)、(c)に示すように、0を中心とした周波数の振幅を表すものである。
一方、例えば鼻や目のくぼみによる顔の明暗、建物や被写体による陰影は、低周波数帯域より高い中周波数帯域の周波数成分により構成される。したがって、顔等の被写体に局所的なコントラストがある画像ほど局所的な陰影が大きくなり、その結果中周波数帯域の解像度データRMの振幅が大きくなる。また、例えば木の枝や草花の細かさ、人物の服の模様や質感、物体間の境界(エッジ)等の詳細な構造物は高周波数成分により構成されている。このため、詳細な構造物に対応する局所的な領域においてコントラストが大きい画像ほどこれらの詳細な構造物がはっきりと見えることから、高周波数帯域の解像度データRHの振幅が大きくなる。
定量化手段34においては、ヒストグラムHM,HHに基づいて、コントラスト感C0が定量化される。まず、中周波数帯域の解像度データRMのヒストグラムHMにおける分布幅BMが、所定の閾値Th8と比較される。そして、ヒストグラムHMの分布幅BMが所定の閾値Th8よりも大きい場合(BM>Th8)には、中周波数帯域の情報を比較的多く含む標準画像、所定の閾値Th8以下(BM≦Th8)である場合には中周波数帯域の情報をそれほど多く含まないローコントラスト画像と判別される。なお、ここで標準画像と判別された場合には、高周波数帯域の解像度データRHのヒストグラムHHにおける分布幅BHを所定の閾値Th9と比較し、分布幅BHが所定の閾値Th9よりも大きい場合(BH>Th9)には、高周波の情報を比較的多く含むハイコントラスト画像、所定の閾値Th9以下の場合(BH≦Th9)には高周波の情報をそれほど含まない標準画像であると判別してもよい。一方、領域抽出手段32において抽出された明部領域M1の画素数nを所定の閾値Th10と比較し、この画素数nが所定の閾値Th10よりも小さい場合(n<Th10)にはローコントラスト画像であると判別するようにしてもよい。この場合画素数nが所定の閾値Th10以上の場合には、中高周波数帯域の解像度データRM,RHを用いて上述したように判別を行うものとする。
このように画像のコントラストの種別が求められると、このコントラストの種別がコントラスト感C0として出力される。この場合、コントラスト感C0は、例えばローコントラスト画像は1、ハイコントラスト画像は2、標準画像は3のように、コントラスト種別に応じた値を有する信号となる。
そして、処理手段2においては、コントラスト感定量化手段1において定量化されたコントラスト感C0に基づいて、上記第1の実施形態と同様にして階調変換LUTを切り替えて、画像データS0に対して階調を変換する画像処理を施して処理済み画像データS1を得る。
なお、上記第4の実施形態において、上記第2の実施形態と同様に画像データS0の輝度データL*または色データC*を求め、輝度データL*または色データC*を多重解像度空間に変換して輝度データL*または色データC*についての解像度データを得、この解像度データからコントラスト感C0を定量化してもよい。以下、これを第5の実施形態として説明する。
図17はコントラスト感定量化手段1の第5の実施形態の具体的な構成を示す概略ブロック図である。図17に示すように、第5の実施形態によるコントラスト感定量化手段1は、第4の実施形態における多重解像度変換手段31、領域抽出手段32、ヒストグラム作成手段33および定量化手段34に加えて、上記第2の実施形態と同様の変換手段15を備え、多重解像度変換手段31において輝度データL*または色データC*を多重解像度空間に変換して低周波数帯域、中周波数帯域および高周波数帯域の輝度解像度データRLL,RML,RHLまたは色解像度データRLC,RMC,RHCを得るようにしたものである。
ここで、輝度解像度データRLL,RML,RHLのみを得た場合は、低周波数帯域の輝度解像度データRLLから上記第4の実施形態と同様に領域抽出手段32において明部領域M1を抽出し、中高周波数帯域の輝度解像度データRML,RHLについて、明部領域M1に対応する領域の輝度ヒストグラムHML,HHLをヒストグラム作成手段33において作成し、定量化手段34において、輝度ヒストグラムHML,HHLに基づいてコントラスト感C0を定量化する。
一方、色解像度データRLC,RMC,RHCのみを得た場合は、領域抽出手段32において低周波数帯域の色解像度データRLCにより表される画像から所定の閾値以上となる領域を高彩度領域M2として抽出する。
ここで、中周波数帯域の色解像度データRMCは、画像データS0の中周波数帯域の解像度データRMと同様に、例えば鼻や目のくぼみによる顔の明暗、建物や被写体による陰影を表すものとなる。また、高周波数帯域の色解像度データRHCも画像データS0の高周波数帯域の解像度データRHと同様に、例えば木の枝や草花の細かさ、人物の服の模様や質感、物体間の境界(エッジ)等の詳細な構造物を表すものとなる。
したがって、ヒストグラム作成手段33において、領域抽出手段32にて抽出された高彩度領域M2について、中高周波数帯域の色解像度データRMC,RHCの色ヒストグラムHMC,HHCを作成し、定量化手段34において上記第4の実施形態と同様に、これら色ヒストグラムHMC,HHCの振幅を所定の閾値と比較してコントラスト種別を判別し、判別結果をコントラスト感C0として得ることができる。
また、第5の実施形態において色データC*からコントラスト感C0を求めた場合、このコントラスト感C0から求められたコントラスト種別がローコントラスト画像であった場合には、画像データS0により表される画像の彩度を高くする彩度変更処理を施すようにしてもよい。具体的には、上記式(8)により求められた彩度C*に強調係数αcを乗算して彩度を向上させる。なお、強調係数αcの値としては1.2程度であることが好ましいが、これに限定されるものではない。
さらに、第5の実施形態において、輝度解像度データRLL,RML,RHLおよび色解像度データRLC,RMC,RHCを得た場合、低周波数帯域の輝度解像度データRLLに基づいて明部領域M1を抽出し、中高周波数帯域の色解像度データRMC,RHCについて、明部領域M1に対応する領域の色ヒストグラムHMC,HHCを作成し、色ヒストグラムHMC,HHCに基づいてコントラスト感C0を定量化して求めてもよい。また、低周波数帯域の色解像度データRLCに基づいて高彩度領域M2を抽出し、中高周波数帯域の輝度解像度データRML,RHLについて、高彩度領域M2に対応する領域の輝度ヒストグラムHML,HHLを作成してコントラスト感C0を定量化して求めてもよい。
なお、上記第1および第3の実施形態においては、画像データS0、輝度データL
*、色データC
*のヒストグラムの分布幅、第2の実施形態においては画像データS0の標準偏差をコントラスト感C0として求めているが、1つの画像データS0について画像データS0、輝度データL
*、色データC
*ヒストグラムの分布幅および標準偏差さらには画像データS0のコントラスト感を求めることが可能な種々の情報を特徴量として求め、下記の式(9)に示すように、各特徴量を重み付け加算してコントラスト感C0を定量化してもよい。
但し、vn:特徴量
an:重み係数
n:特徴量の数
なお、重み係数anは実験的に求めればよい。すなわち、重み係数を種々変更してコントラスト感C0を定量化し、このコントラスト感C0に応じて異なる画像処理を施した複数の画像を生成して視覚評価を行い、視覚的なコントラスト感と一致する画像を生成した際の重み係数を選択し、選択した重み係数anを式(9)の演算において用いればよい。
また、上記第1から第3の実施形態においては、コントラスト感C0を定量化して求めているが、第4および第5の実施形態と同様に画像のコントラストの種別をコントラスト感C0として求めてもよい。
さらにまた、上記第1から第3の実施形態において、下記の式(10)に示すように、特徴量vnの重み付け加算結果に応じて画像のコントラストの種別を判別し、この判別結果をコントラスト感C0としてもよい。
ここで、hn,sn,lnはPh,Ps,Plをそれぞれハイコントラスト画像、標準画像およびローコントラスト画像である確率を表す指標となるように算出する重み係数である。例えばある画像ではPh,Ps,Plが10%、30%、70%と算出され、他の画像では80%、40%、5%と算出された場合、前者はローコントラスト画像、後者はハイコントラスト画像であると判別することができる。この場合、コントラスト感C0は、例えばローコントラスト画像は1、ハイコントラスト画像は2、標準画像は3のように、コントラスト種別に応じた値を有する信号とすればよく、コントラスト感C0により表されるコントラスト種別に応じて階調変換LUTを選択して画像データS0に対して階調変換処理を施せばよい。
また、上記第4の実施形態においては、低周波数帯域の解像度データRLから得られる明部領域M1の画素数nおよび中高周波数帯域の解像度データRM,RHのヒストグラムHM,HHの分布幅BM,BHに基づいて、コントラスト感C0を定量化しているが、各周波数帯域の解像度データRL,RM,RHについて、明部領域の画素数、ヒストグラムの分布幅、あるいは上記第3の実施形態において求めたような標準偏差を各周波数帯域毎に特徴量として求め、この特徴量を上記式(9)により重み付け加算して各周波数帯域毎のコントラスト感C0を定量化してもよい。さらに、下記の式(11)に示すように各周波数帯域毎に個別に求められたコントラスト感をさらに重み付け加算することにより、コントラスト感C0を定量化してもよい。なお、特徴量には、上記第5の実施形態における低周波数帯域の輝度解像度データRLLから得られる明部領域M1の画素数nおよび中高周波数帯域の輝度解像度データRML,RHLの輝度ヒストグラムHML,HHLの分布幅、および/または低周波数帯域の色解像度データRLCから得られる高彩度領域M2内における中高周波数帯域の色解像度データRMC,RHCの色ヒストグラムHMC,HHCの分布幅を含めるようにしてもよい。
但し、li,mj,hk:各周波数帯域毎の特徴量
αi,βj,γk:上記式(9)におけるanに対応する重み係数
L,M,H:各周波数帯域毎の重み係数
i,j,k:各周波数帯域における特徴量の数
なお、重み係数αi,βj,γk,L,M,Hは、式(9)における重み係数anと同様に実験的に求めればよい。また、式(11)においてL=1,M=0,H=0とすれば、実質的に式(9)と等価となる。
さらに、この場合、上記式(9)、(11)において算出されたコントラスト感C0の値に応じて、画像をハイコントラスト画像、標準画像、ローコントラスト画像のような種別へ分類し、この分類結果をコントラスト感C0としてもよい。この場合、コントラスト感C0は、ハイコントラスト画像、標準画像、ローコントラスト画像を数値により表したものとすればよい。
また、第4および第5の実施形態において上記式(10)のようにコントラスト種別の確率を求め、この確率に基づいて画像のコントラスト種別を判別してその判別結果をコントラスト感C0として求めるようにしてもよい。
なお、上記各実施形態においては、処理手段2において、画像データS0に対してコントラスト感C0に応じて階調変換LUTを切り替えることによる階調変換処理および/または彩度変更処理を施しているが、画像処理としてはこれに限定されるものではない。例えば、コントラスト感C0を所定の閾値Th11と比較し、C0<Th11の場合には、図18に示すように斜線部分の周波数成分を下記の式(12)により強調することにより、コントラスト感を高めるような周波数処理を画像データS0に対して施すようにしてもよい。なお、図18においてはFx軸およびFy軸はフーリエ平面上における周波数を表すものであり、斜線部分は画像データS0における高周波成分に対応するものである。
但し、F(x,y):画像データS0
F′(x,y):処理済み画像データS1
d(C0):ボケの程度を定める関数
β:強調係数
さらに、画像データS0が人物の顔を含む画像を表すものである場合に、画像データS0から顔に対応する顔領域を抽出し、顔領域の濃度および定量化されたコントラスト感C0に応じて顔領域の明るさを変化させるようにAE処理(自動露出制御処理)を行って処理済み画像データS1を得るようにしてもよい。以下、このAE処理を行う処理手段について説明する。図19はAE処理を行う処理手段2の構成を示す概略ブロック図である。図19に示すように、この処理手段2は、画像データS0により表される画像から人物の顔領域を抽出する顔抽出手段41と、顔抽出手段41において抽出された顔領域の濃度tfaceを求める濃度算出手段42と、コントラスト感C0および顔領域の濃度tfaceに基づいて画像データS0に対してAE処理を施して処理済み画像データS1を得るAE処理手段43とを備える。
顔抽出手段41における顔領域の抽出方法としては、例えば特開平6−67320号公報に記載されているように、画像データS0により表される画像の色相および彩度値の分布に基づいて画像を領域分割して顔候補領域を抽出し、さらに顔候補領域の近傍に位置する近傍領域の形状から顔領域を検出して抽出する方法や、単純に抽出された顔候補領域に外接する楕円を求め、その楕円により囲まれる領域を顔領域とする方法等を採用することができる。さらには、例えば特開平5−274438号公報、同5−307605号公報などに記載されたニューラルネットワークにより顔領域を抽出する方法を用いてもよい。
濃度算出手段42においては、顔抽出手段41において抽出された顔領域内における画素値の平均値などを顔領域濃度tfaceとして算出する。
なお、AE処理を行う場合に、処理手段2に入力されるコントラスト感C0としては、上記第1の実施形態において定量化したようなヒストグラムHusの分布幅を表すものとする。
そして、顔抽出手段41においては画像データS0により表される画像から顔領域が抽出され、さらに濃度算出手段42において顔領域の濃度tfaceが算出される。AE処理手段43においてはコントラスト感C0および顔領域の濃度tfaceに基づいて、画像データS0に対してAE処理が施される。なお、AE処理手段43においては一旦画像データS0の全体に対してAE処理を施した後、さらに顔の濃度を適切なものとするために顔領域についてのみさらにAE処理が行われる。図20はAE処理を説明するための図である。AE処理手段43においては、まずコントラスト感C0を所定の閾値Th12およびTh14(Th12<Th14)と比較する。そして、C0<Th12である場合にはローコントラスト画像であるとして、さらに、顔領域濃度tfaceを所定の閾値Th13と比較する。そして、tface<Th13である場合には、顔領域が暗すぎるものとして、図20(a)に示すように顔領域濃度tfaceがTh13と一致するように画像データS0に対してAE処理を施して処理済み画像データS1を得る。
C0<Th12かつtface≧Th13の場合には、顔領域の明るさは適正なものであるとしてAE処理は行わない。
C0≧Th12かつtface<Th13の場合には、コントラスト感C0は適正であるが顔領域が暗すぎるものとして、顔領域濃度tfaceが(Th13+tface)/2となるように画像データS0に対してAE処理を施して処理済み画像データS1を得る。
C0≧Th12かつtface≧Th13の場合には、顔領域の明るさは適正なものであるとしてAE処理は行わない。
一方、C0>Th14である場合には、ハイコントラスト画像であるとして、さらに、顔領域濃度tfaceを所定の閾値Th15と比較する。そして、tface>Th15である場合には、顔領域が明るすぎるものとして、図20(b)に示すように顔領域濃度tfaceがTh15と一致するようにAE処理を施して処理済み画像データS1を得る。なお、この場合も顔領域についてのみAE処理を施すことが好ましい。
C0>Th14かつtface≦Th15の場合には、顔領域の明るさは適正なものであるとしてAE処理は行わない。
C0≦Th14かつtface>Th15の場合には、コントラスト感C0は適正であるが顔領域が明るすぎるものとして、顔領域濃度tfaceが(Th15+tface)/2となるように画像データS0に対してAE処理を施して処理済み画像データS1を得る。
C0≦Th14かつtface≦Th15の場合には、顔領域の明るさは適正なものであるとしてAE処理は行わない。
なお、上記第3の実施形態において、σ<Th5と判断された場合に顔領域が白く飛んでいるストロボ画像であるとして、顔領域の濃度tfaceが小さくなるようにAE処理を施すようにしてもよい。
また、上記各実施形態においては、処理手段2において、階調変換処理、彩度変更処理、周波数強調処理あるいはAE処理を施しているが、例えば階調変換処理とAE処理とのように、これらの処理を組み合わせて行うようにしてもよい。また、画像処理の内容は階調変換処理、彩度変更処理、周波数強調処理およびAE処理に限定されるものではなく、他の種々の画像処理を行うことが可能である。
次いで、本発明による他の実施形態について説明する。図21は本発明の他の実施形態による画像処理装置の構成を示す概略ブロック図である。図21に示すように本発明の他の実施形態による画像処理装置は、第2の実施形態における変換手段15と同様に画像データS0を輝度データL*および色データC*に変換する変換手段51と、輝度データL*および色データC*を多重解像度変換して低周波数帯域、中周波数帯域および高周波数帯域の輝度解像度データRLL,RML,RHLおよび色解像度データRLC,RMC,RHCを得る多重解像度変換手段31と、低周波数帯域の輝度解像度データRLLの輝度ヒストグラムHLLおよび低周波数帯域の色解像度データRLCの色ヒストグラムHLCを作成するヒストグラム作成手段53と、輝度ヒストグラムHLLおよび色ヒストグラムHLCに基づいて、画像データS0に施すべき画像処理のパターンJを設定する処理パターン設定手段54と、設定された処理パターンJにより画像データS0に対して画像処理を施して処理済み画像データS1を得る処理手段55と、処理済み画像データS1を可視像として出力する出力手段56とを備える。
なお、色データC*が彩度として得られる場合には1次元の色ヒストグラムHLCが作成され、色データがa*,b*として得られる場合には、図10に示すような2次元の色ヒストグラムHLCが作成される。
処理パターン設定手段54においては、図6に示す階調変換LUTおよび彩度C*を向上させるための強調係数αcの値が処理パターンJとして設定される。まず、輝度ヒストグラムHLLおよび色ヒストグラムHLCからヒストグラムの分布を表す特徴量が求められる。輝度ヒストグラムHLLについてはその分布幅が特徴量P1として求められる。また、色ヒストグラムHLCが1次元であればその分布幅が、色ヒストグラムHLCが2次元であればその分布面積が特徴量P2として求められる。そして、特徴量P2が予め定められた所定の閾値Th16と比較され、P2≧Th16であった場合には、例えば図6に示す階調変換LUTのうちLUT3が階調変換のためのLUTとして選択され、さらに強調係数αc=1.0と設定される。
一方、P2<Th16であった場合には、輝度ヒストグラムHLLから得られた特徴量P1が所定の閾値Th17と比較され、P1≧Th17であった場合には、ハイコントラスト画像であるとしてLUT5が選択され、強調係数αc=1.0と設定される。また、P1<Th17であった場合には、ローコントラスト画像であるとしてLUT1が選択され、強調係数αc=1.2と設定される。
このようにして設定された処理パターンJにより処理手段55において画像データS0に対して画像処理が施される。
次いで、他の実施形態の動作について説明する。図22は他の実施形態の動作を示すフローチャートである。まず、変換手段51において、画像データS0が輝度データL*および色データC*に変換され(ステップS11)、多重解像度変換手段52において、輝度データL*および色データC*が多重解像度変換されて低周波数帯域、中周波数帯域および高周波数帯域の輝度解像度データRLL,RML,RHLおよび色解像度データRLC,RMC,RHCが得られる(ステップS12)。ヒストグラム作成手段53においては、低周波数帯域の輝度解像度データRLLから輝度ヒストグラムHLLが、低周波数帯域の色解像度データRLCから色ヒストグラムHLCが作成される(ステップS13)。
そして、輝度ヒストグラムHLLおよび色ヒストグラムHLCの特徴量P1,P2が算出され(ステップS14)、P2≧Th16であるか否かが判断される(ステップS15)。ステップS15が肯定された場合には、LUT3が選択されるとともに強調係数αc=1.0に設定されて(ステップS16)、処理パターンJが設定される。ステップS15が否定された場合には、P1≧Th17であるか否かが判断され(ステップS17)、ステップS17が肯定された場合にはLUT5が選択されるとともに強調係数αc=1.0に設定されて(ステップS18)、処理パターンJが設定される。ステップS17が否定された場合には、LUT1が選択されるとともに強調係数αc=1.2に設定されて(ステップS19)、処理パターンJが設定される。そして、設定された処理パターンJにより画像データS0に対して画像処理が施され(ステップS20)、処理済み画像データS1が得られる。得られた処理済み画像データS1は出力手段56において可視像として出力される(ステップS21)。
なお、上記他の実施形態においては、輝度データL*および色データC*を多重解像度変換し、低周波数帯域の輝度解像度データRLLのヒストグラムHLLおよび低周波数帯域の色解像度データRLCのヒストグラムHLCを作成しているが、図23に示すように、多重解像度変換手段52に代えて、輝度データL*および色データC*のボケ画像データである輝度ボケ画像データLusおよび色ボケ画像データCusを作成するボケ画像作成手段57を設け、輝度ボケ画像データLusから輝度ヒストグラムHLusおよび色ボケ画像データCusから色ヒストグラムHCusを作成してもよい。