JP5901667B2 - 画像処理装置及び方法、画像処理プログラム、撮像装置 - Google Patents

Description

本発明は、例えば靄や霧等の影響によりコントラスト，色彩等の画質が損なわれた画像の補正を行う画像処理装置及び方法、画像処理プログラム、撮像装置に関する。

大気中に発生する靄や霧等の影響によって画像のコントラスト，色彩等の画質が失われることがある。例えば、屋外において遠方の山等の風景写真を撮影する場合がある。この撮影で遠方の山に霞が掛かっていると、この霞によって撮影した画像は、品位が損なわれ、遠方の山に対する視認性を低下させてしまうことがある。

このような問題を解決する技術として例えば特許文献１、２がある。特許文献１は、画像内から輝度の最大値、最小値を算出し、これら算出した最大値と最小値との間の差が大きくなるようにコントラスト補正を行って画像の視認性を向上させることを開示する。この特許文献１であれば、画像全体に一様に霞が掛かった画像に対して十分な効果が得られる。
特許文献２は、画像の局所領域毎に輝度の最大、最小を算出し、これら最大、最小の差が大きくなるように適応的なコントラスト補正を行うことを開示する。この特許文献２であれば、霞のない領域と霞のある領域とが混在する画像においても、十分なコントラスト補正を行うことができる。

特開２０１２−０５４６５９号公報 特開２０１０−１５２５３６号公報（特許第４９８２４７５号）

しかしながら、特許文献１は、画像全体の輝度の最大値、最小値を使用するため、画像内で霞のない領域と霞のある領域とが混在する場合には、輝度の最大値と最小値との差が元々大きくなる傾向があるために、画像の視認性を向上させるという効果を十分に得られない。

特許文献２は、霞の濃淡に関わらず、画像の局所領域内の輝度の最大値、最小値に基づいて処理を行うため、元々霞のない領域に対して過度なコントラスト補正が行われてしまうことがあり、補正後の画像の違和感が大きくなる。

本発明は、霞成分の濃淡を推定し、この霞成分の濃淡に応じた適応的な階調補正を行うことにより、霞の掛かった領域の視認性を向上できる画像処理装置及び方法、画像処理プログラム、撮像装置を提供することを目的とする。

本発明の主要な局面に係る画像処理装置は、画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する画像処理装置において、前記画像データの小領域毎に前記劣化度を検出する劣化度検出部と、前記画像データの前記小領域毎に階調補正のための補正係数を算出する補正係数算出部と、前記劣化度検出部により検出された前記劣化度と前記補正係数算出部により算出された前記補正係数とに基づいて前記画像データの前記劣化度に応じた適応的な階調補正を行う適応階調補正部とを具備し、前記補正係数算出部は、前記画像データの注目画素に対してコントラストを強調するためのゲイン係数を前記補正係数として算出し、前記適応階調補正部は、前記劣化度検出部により検出される前記劣化度に基づいて前記補正係数算出部により算出される前記補正係数に重み付けを行い、前記劣化度が大きいほど前記ゲイン係数の大きさが保持されるように前記補正係数に重み付けし、前記劣化度が小さいほど階調補正の効果が小さくなるように前記補正係数に重み付けする。

本発明の主要な局面に係る画像処理方法は、画像データの画質の劣化度を検出し、当該劣化度に応じて前記画像データを補正する画像処理方法において、前記画像データの小領域毎に前記劣化度を検出し、前記画像データの前記小領域毎の前記画像データの注目画素に対してコントラストを強調するためのゲイン係数を階調補正のための補正係数として算出し、前記劣化度と前記補正係数とに基づいて前記画像データの前記劣化度に応じて前記補正係数に重み付けを行い適応的な階調補正を行い、前記劣化度が大きいほど前記ゲイン係数の大きさが保持されるように前記補正係数に重み付けし、前記劣化度が小さいほど階調補正の効果が小さくなるように前記補正係数に重み付けする。

本発明の主要な局面に係る画像処理プログラムは、コンピュータに、画像データの画質の劣化度を検出し、当該劣化度に応じて前記画像データを補正させる画像処理プログラムにおいて、前記画像データの小領域毎に前記劣化度を検出させる劣化度検出機能と、前記画像データの前記小領域毎の前記画像データの注目画素に対してコントラストを強調するためのゲイン係数を階調補正のための補正係数として算出させる補正係数算出機能と、前記劣化度検出機能により検出された前記劣化度と前記補正係数算出機能により算出された前記補正係数とに基づいて前記画像データの前記劣化度に応じて前記補正係数に重み付けを行い適応的な階調補正を行わせ、前記劣化度が大きいほど前記ゲイン係数の大きさが保持されるように前記補正係数に重み付けし、前記劣化度が小さいほど階調補正の効果が小さくなるように前記補正係数に重み付けする適応階調補正機能とを含む。

本発明の主要な局面に係る撮像装置は、被写体からの光像を撮像する撮像素子と、前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する上記記載の画像処理装置と、前記画像処理装置により画像処理された前記画像データを出力する出力部とを具備する。

本発明によれば、霞の濃淡に応じて適切なコントラスト補正を行い、高品位な画像が得られる画像処理装置及び方法、画像処理プログラム、撮像装置を提供できる。

本発明に係る画像処理装置の第１の実施の形態を適用した撮像装置を示すブロック構成図。 同装置における霞補正部を示す具体的なブロック構成図。 同装置による入力画像の各画素の霞成分Ｈ（ｘ，ｙ）の推定を説明するための模式図。 同装置による取得される注目画素毎のｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を画像化した霞成分Ｈ（ｘ，ｙ）を示す図。 同装置における補正係数算出部による入力画像に対して局所領域のスキャンを示す図。 同装置における補正係数算出部により生成される局所領域ヒストグラムを示す図。 同装置における補正係数算出部により生成される累積ヒストグラムを示す図。 同装置におけるコントラスト補正部によるコントラスト補正動作を示す模式図。 同装置における撮影動作フローチャート。 同装置における霞成分補正動作フローチャート。 本発明に係る撮像装置の第２の実施の形態における霞補正部を示す具体的なブロック構成図。 同装置における霞補正部の処理に用いる輝度信号に対する重み値を示す図。 同装置における霞補正部の処理に用いる彩度信号に対する重み値を示す図。 本発明に係る撮像装置の第３の実施の形態における霞補正部を示す具体的なブロック構成図。 同装置における色補正部の彩度補正係数を示す図。

［第１の実施の形態］
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は画像処理装置を適用した撮像装置のブロック構成図を示す。レンズ系１００は、フォーカスレンズや絞り１０１等を有し、被写体からの光像を結像する。このレンズ系１００は、オートフォーカス用モータ（ＡＦモータ）１０３を備え、このＡＦモータ１０３の駆動によりフォーカスレンズが光軸に沿って移動する。なお、このＡＦモータ１０３は、レンズ制御部１０７により駆動制御される。

このレンズ系１００の光軸上には、撮像センサ１０２が設けられている。この撮像センサ１０２は、レンズ系１００からの光像を受光し、ＲＧＢのアナログ映像信号を出力する。この撮像センサ１０２の出力端には、Ａ／Ｄ変換器１０４を介してバッファ１０５と、信号処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１とが接続されている。
Ａ／Ｄ変換器１０４は、撮像センサ１０２から出力されたアナログ映像信号をデジタルに変換する。
バッファ１０５は、Ａ／Ｄ変換器１０４から転送されるデジタル映像信号を一時的に保存する。
測光評価部１０６は、バッファ１０５に保存されるデジタル映像信号の輝度情報や制御部１１２からの制御信号に基づいてレンズ系１００の絞り１０１を制御し、かつ撮像センサ１０２から出力されるアナログ映像信号の出力レベル等を調整する。

信号処理部１０８は、バッファ１０５に保存されているデジタル映像信号に対して公知の補間処理、ＷＢ補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後の映像信号を霞補正部１０９に転送する。

霞補正部１０９は、信号処理部１０８から転送された映像信号を入力し、この映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行い、この補正した映像信号を圧縮部１１０に転送する。
図２は霞補正部１０９の具体的な構成の一例のブロック構成図を示す。この霞補正部１０９は、霞成分推定部（劣化度検出部）２００と、補正係数算出部２０１と、コントラスト補正部（適応階調補正部）２０２とを有する。これら霞成分推定部２００と補正係数算出部２０１とコントラスト補正部２０２とには、それぞれ信号処理部１０８からの映像信号が入力する。これら霞成分推定部２００と補正係数算出部２０１とコントラスト補正部２０２とは、それぞれ制御部１１２によって制御される。霞成分推定部２００によって推定された霞成分と、補正係数算出部２０１によって算出された補正係数とは、それぞれコントラスト補正部２０２に転送される。

霞成分推定部２００は、信号処理部１０８から転送される映像信号を入力し、この映像信号から取得される画像データのコントラストや色彩等の画質を損ない、画像の認識性を劣化させる要因となる劣化度、例えば画像データ中に含まれる霞成分、靄成分、濁りとなる成分等の淡白色により画質を低下させる成分の濃淡を推定する。そして、この霞成分等の劣化度の推定では、霞成分が高輝度でかつ低彩度であるという特徴に基づいて行われる。これにより、劣化度は、高輝度でかつ低彩度である程、劣化が大きいことを示すものとなる。

この劣化度の推定は、画像データの各画素における複数のカラーチャンネル同士、すなわちＲ値，Ｇ値，Ｂ値同士の大きさを比較し、これらＲ値，Ｇ値，Ｂ値のうち最小値となるＲ値，Ｇ値又はＢ値を算出する。

具体的に霞成分推定部２００は、信号処理部１０８から転送される映像信号を入力し、この映像信号により得られる座標（ｘ，ｙ）の各画素におけるＲ値，Ｇ値，Ｂ値に基づいて当該各画素の霞成分（霞のかかり具合、霞の濃度等）の推定を行う。
ここで、信号処理部１０８から転送される映像信号により取得される入力画像Ｉ上において、座標（ｘ，ｙ）における霞成分をＨ（ｘ，ｙ）、座標（ｘ，ｙ）におけるＲ値，Ｇ値，Ｂ値をそれぞれＩｒ，Ｉｇ，Ｉｂとすると、座標（ｘ，ｙ）の各画素における霞成分Ｈ（ｘ，ｙ）は、次式（１）により推定される。
Ｈ（ｘ，ｙ）＝ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ） …（１）
図３Ａは各画素の霞成分Ｈ（ｘ，ｙ）の推定を説明するための模式図を示す。霞成分推定部２００は、信号処理部１０８から転送される映像信号により取得される入力画像Ｉに対して所定サイズのスキャン領域（小領域）Ｆをスキャンする。このスキャン領域Ｆは、マトリックス状に形成された所定サイズｎ×ｍ（ｎ，ｍは自然数）を有し、その中心を注目画素とする。このスキャン領域Ｆは、例えば５×５画素の領域を有する。なお、このスキャン領域Ｆは、１画素であってもよい。

霞成分推定部２００は、スキャン領域Ｆを入力画像Ｉの内部にてスキャンし、注目画素となる入力画像Ｉ上の画素のスキャン領域Ｆ毎にｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を算出し、このｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を霞成分Ｈ（ｘ，ｙ）とする。
より詳細には、霞成分推定部２００は、スキャン領域Ｆ毎に、当該スキャン領域Ｆの注目画素を含むｎ×ｍのマトリックス内において、スキャン領域Ｆ内の各画素のｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を全画素について算出し、そのうちの最小値を注目画素の霞成分Ｈ（ｘ，ｙ）＝ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）とする。
霞成分推定部２００は、注目画素の霞成分Ｈ（ｘ、ｙ）を注目画素の劣化度、またはスキャン領域（小領域）Ｆの劣化度として算出する。そして、後述するように霞成分Ｈ（ｘ、ｙ）が大きい程、劣化度が大きいものとなる。

図３Ｂは注目画素毎のｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を画像化した霞成分Ｈ（ｘ，ｙ）を示す。高輝度かつ低彩度な領域の画素値は、Ｒ値，Ｇ値，Ｂ値が同等かつ大きくなるので、上記式（１）の右辺ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）の値は大きくなる。すなわち、高輝度かつ低彩度な領域では、霞成分Ｈ（ｘ，ｙ）が大きな値となる。つまり劣化度が大きいものと見なすことができる。

これに対して低輝度または高彩度の領域の画素値は、Ｒ値，Ｇ値，Ｂ値のいずれかが小さくなるので、上記ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）の値は小さくなる。すなわち、低輝度や高彩度の領域では、霞成分Ｈ（ｘ，ｙ）が小さな値となる。つまり、劣化度が小さいものと見なすことができる。
しかるに、霞成分Ｈ（ｘ，ｙ）は、霞の濃度が濃いほど大きな値となり劣化度が大きいことを示し、霞の濃度が薄いほど小さな値となり劣化度が小さいことを示すという特徴を持つ。

補正係数算出部２０１は、画像データのスキャン領域（小領域）Ｆ毎に階調補正のための補正係数（ゲイン係数）を算出する。この補正係数算出部２０１は、信号処理部１０８から転送される映像信号により取得される入力画像Ｉにおいてコントラストが低い領域に対してコントラストを強調する補正を行うための補正係数を算出する。なお、補正係数算出部２０１では、霞成分を考慮しないで補正係数を算出する。

具体的に補正係数算出部２０１は、図４Ａに示すように入力画像Ｉに対して局所領域Ｅの内部をスキャンし、注目画素毎に、図４Ｂに示すような当該注目画素を中心とする局所領域Ｅ内のＲ値，Ｇ値，Ｂ値のヒストグラム（局所領域のヒストグラム）をそれぞれ生成する。図４Ｂのヒストグラムの横軸は、Ｒ値またはＧ値またはＢ値の輝度成分を示し、縦軸は度数（画素数）を示す。局所領域Ｅは、マトリックス状の所定サイズｋ×ｌ（ｋ，ｌは自然数）に形成され、その中心が注目画素となる。

補正係数算出部２０１は、入力画像Ｉにおける注目画素毎に生成された局所領域のヒストグラムを累積して図４Ｃに示すような累積ヒストグラムを生成する。図４Ｃに示す累積ヒストグラムの横軸は、Ｒ値またはＧ値またはＢ値の輝度成分を示し、縦軸は対応するカラー画素の累積度数（累積画素数）または、対応するカラー画素の階調補正（ヒストグラム平坦化）後の出力値を示す。累積ヒストグラムから階調補正（ヒストグラム平坦化）を行う手法は、公知の画像処理技術を用いればよい。
補正係数算出部２０１は、累積ヒストグラムに基づいて注目画素のＲ値，Ｇ値，Ｂ値に対する補正係数（ゲイン係数）gainＲ，gainＧ，gainＢを算出する。

ここで、注目画素（ｘ，ｙ）のＲ値，Ｇ値，Ｂ値をそれぞれＩ_r（x,y），Ｉ_g（x,y），Ｉ_b（x,y）とする。また、図４Ｃに示す累積ヒストグラムに基づき補正後の出力画像（補正画像）に対応して算出されるＲ値，Ｇ値，Ｂ値をそれぞれＩo_r（x,y），Ｉo_g（x,y），Ｉo_b（x,y）とすると、
補正係数gainＲ，gainＧ，gainＢは、
gainＲ＝Ｉo_r（x,y）／Ｉ_r（x,y） …（２）
gainＧ＝Ｉo_g（x,y）／Ｉ_g（x,y） …（３）
gainＢ＝Ｉo_b（x,y）／Ｉ_b（x,y） …（４）
により算出される。

すなわち、補正係数算出部２０１は、入力画像Ｉの画素毎に、局所領域のヒストグラムの平坦化のための補正係数gainＲ，gainＧ，gainＢを算出する。これら補正係数gainＲ，gainＧ，gainＢは、入力画像Ｉの画素の複数あるカラーチャンネルＲ，Ｇ，Ｂ毎に乗算するゲイン係数である。このように、これら補正係数gainＲ，gainＧ，gainＢは、注目画素を中心とする局所領域Ｅを指定し、この局所領域Ｅ内の画素情報（例えばヒストグラム、最大値・最小値など）を用いて算出される。
この補正係数算出部２０１は、算出した補正係数（ゲイン係数）gainＲ，gainＧ，gainＢをコントラスト補正部２０２に転送する。

コントラスト補正部（適応階調補正部）２０２は、霞成分推定部２００により推定された霞成分Ｈ（ｘ，ｙ）と補正係数算出部２０１により算出された補正係数gainＲ，gainＧ，gainＢとに基づいて画像データの霞成分Ｈ（ｘ，ｙ）に応じた適応的な階調補正（コントラスト補正）を行う。すなわち、このコントラスト補正部２０２は、霞成分推定部２００により推定される霞成分Ｈ（ｘ，ｙ）と、補正係数算出部２０１により算出される補正係数gainＲ，gainＧ，gainＢとを入力し、これら霞成分Ｈ（ｘ，ｙ）と補正係数gainＲ，gainＧ，gainＢとに基づいて入力画像Ｉの画素毎にゲイン乗算によるコントラスト補正を行う。
すなわち、コントラスト補正部２０２は、図５に示すように入力画像Ｉの画素毎の霞成分Ｈ（ｘ，ｙ）に応じて補正係数gainＲ，gainＧ，gainＢの調節を行い、これら調節後の補正係数gainＲ，gainＧ，gainＢを各画素の画素値に対して乗算を行い、コントラスト補正の行われた補正画像を得る。

コントラスト補正部２０２は、入力画像Ｉにおける霞の濃い領域すなわち高輝度でかつ低彩度な領域に対して補正係数gainＲ，gainＧ，gainＢを元の値を保持するように調整し、かつ霞の薄い領域すなわち低輝度または高彩度な領域に対して補正係数gainＲ，gainＧ，gainＢを１．０に近づけるように調整する。

具体的にコントラスト補正部２０２は、霞成分推定部２００により推定される霞成分Ｈ（ｘ，ｙ）に基づいて補正係数算出部２０１により算出される補正係数gainＲ，gainＧ，gainＢの正規化すなわち重み付けを行い、この重み付けにより調整された補正係数gainＲ’，gainＧ’，gainＢ’を用いて各画素に対するコントラスト補正を行うもので、正規化係数算出部２０２ａと、係数変換部２０２ｂとを有する。

正規化係数算出部２０２ａは、霞成分推定部２００により推定された霞成分Ｈ（ｘ，ｙ）を正規化した正規化係数を算出する。
係数変換部２０２ｂは、正規化係数算出部２０２ａにより算出される正規化係数に基づいて補正係数算出部２０１により算出される補正係数gainＲ，gainＧ，gainＢを重み付けされた補正係数gainＲ’，gainＧ’，gainＢ’に変換する。
この係数変換部２０２ｂは、補正係数算出部２０１により算出される補正係数gainＲ，gainＧ，gainＢを、正規化係数算出部２０２ａにより算出される正規化係数が大きい程、補正係数gainＲ，gainＧ，gainＢの値を保持するように変換し、かつ正規化係数が小さい程、補正係数gainＲ，gainＧ，gainＢの値を１．０に近づくように変換する。

具体的に、補正強度パラメータをStrengthとすると、重み付けにより調整された補正係数gainＲ’，gainＧ’，gainＢ’は、
gainＲ’＝1.0＋（gainＲ−1.0）＊Ｈ（ｘ，ｙ）／255＊Strength …（５）
gainＧ’＝1.0＋（gainＧ−1.0）＊Ｈ（ｘ，ｙ）／255＊Strength …（６）
gainＢ’＝1.0＋（gainＢ−1.0）＊Ｈ（ｘ，ｙ）／255＊Strength …（７）
により算出される。

これら補正係数gainＲ’，gainＧ’，gainＢ’によれば、霞成分Ｈ（ｘ，ｙ）となる高輝度かつ低彩度の領域では、霞成分Ｈ（ｘ，ｙ）が大きな値となるので、当該補正係数gainＲ’，gainＧ’，gainＢ’は、元の値gainＲ，gainＧ，gainＢの大きさが保持されるように調整される。
これに対して霞成分Ｈ（ｘ，ｙ）となる低輝度または高彩度の領域では、霞成分Ｈ（ｘ，ｙ）が小さな値となるので、当該補正係数gainＲ’，gainＧ’，gainＢ’は、１．０に近い値となるように調整される。

各画素に対するコントラスト補正は、重み付けにより調整された補正係数gainＲ’，gainＧ’，gainＢ’を用いて行われる。各画素に対するコントラスト補正は、
Ｉ’_r（x,y）＝Ｉ_r（x,y）＊gainＲ’ …（８）
Ｉ’_g（x,y）＝Ｉ_g（x,y）＊gainＧ’ …（９）
Ｉ’_b（x,y）＝Ｉ_b（x,y）＊gainＢ’ …（１０）
により算出される。

圧縮部１１０は、霞補正部１０９から転送された映像信号に対して公知のＪＰＥＧ、ＭＰＥＧ等の圧縮処理を行って出力部１１１に転送する。
出力部１１１は、圧縮部１１０から転送された圧縮処理後の映像信号をメモリーカード等に記録、保存する。又、出力部１１１は、圧縮部１１０から転送された映像信号を別途ディスプレイに表示してもよい。

制御部１１２は、マイクロコンピュータ等から成るもので、Ａ／Ｄ変換器１０４と、測光評価部１０６と、レンズ制御部１０７と、信号処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１との間でそれぞれデータ等の授受を行ってそれぞれ制御する。又、制御部１１２には、外部Ｉ／Ｆ部１１３が接続されている。この外部Ｉ／Ｆ部１１３は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備える。

次に、上記の通り構成された装置による撮影動作について図６に示す撮影動作フローチャートを参照して説明する。
外部Ｉ／Ｆ部１１３に対して操作が行われると、当該外部Ｉ／Ｆ部１１３は、ステップＳ１において、操作入力された撮影に関する各種設定や、例えば各種信号、ヘッダ情報等が制御部１１２に送られる。
又、外部Ｉ／Ｆ部１１３の記録ボタンが押下されると、制御部１１２は、撮影モードに切り替わる。

撮影モードにおいて、レンズ系１００からの光像が撮像センサ１０２に入射すると、この撮像センサ１０２は、レンズ系１００からの光像を受光し、アナログ映像信号を出力する。このアナログ映像信号は、Ａ／Ｄ変換器１０４に入力する。このＡ／Ｄ変換器１０４は、撮像センサ１０２から出力されたアナログ映像信号をデジタル映像信号に変換し、バッファ１０５に送る。このバッファ１０５は、Ａ／Ｄ変換器１０４から転送されるデジタル映像信号を一時的に保存する。

信号処理部１０８は、ステップＳ２において、バッファ１０５に保存されているデジタル映像信号に対して公知の補間処理、ＷＢ補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後の映像信号を霞補正部１０９に転送する。
この霞補正部１０９は、ステップＳ３において、信号処理部１０８から転送された映像信号を入力し、この映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行う。

具体的に、霞補正部１０９は、図７に示す霞成分補正動作フローチャートに従って霞成分の補正動作を行う。すなわち、霞成分推定部２００は、ステップＳ１０において、信号処理部１０８から転送される映像信号を入力し、この映像信号に基づいて霞成分の濃淡を推定する。具体的に霞成分推定部２００は、図３Ａに示すように映像信号により取得される入力画像Ｉに対して所定サイズのスキャン領域Ｆの内部をスキャンし、スキャン領域Ｆの注目画素となる入力画像Ｉ上の画素の各スキャン領域Ｆ毎に上記式（１）によりｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を算出し、このｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）を霞成分Ｈ（ｘ，ｙ）とする。

この霞成分Ｈ（ｘ，ｙ）は、霞の濃度が濃いほど大きな値となり、霞の濃度が薄いほど小さな値となる特徴を持つ。図３Ｂに示す画像化した霞成分Ｈ（ｘ，ｙ）のように霞の濃い高輝度かつ低彩度な領域では、霞成分Ｈ（ｘ，ｙ）が大きな値となる。又、霞の薄い低輝度または高彩度の領域では、霞成分Ｈ（ｘ，ｙ）が小さな値となる。

補正係数算出部２０１は、ステップＳ１１において、信号処理部１０８から転送される映像信号により取得される入力画像Ｉにおける高輝度でかつ低彩度な霞成分の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行うための補正係数を算出する。

具体的に補正係数算出部２０１は、図４Ａに示すように入力画像Ｉに対して局所領域Ｅの内部をスキャンし、注目画素毎に、図４Ｂに示すような当該注目画素を中心とする局所領域Ｅ内のＲ値，Ｇ値，Ｂ値のヒストグラム（局所領域のヒストグラム）を生成する。
この補正係数算出部２０１は、各注目画素毎に生成された局所領域のヒストグラムを累積して図４Ｃに示すような累積ヒストグラムを生成する。
補正係数算出部２０１は、この累積ヒストグラムに基づいて注目画素のＲ値，Ｇ値，Ｂ値に対する補正係数gainＲ，gainＧ，gainＢを上記各式（２）乃至（４）により算出する。
この補正係数算出部２０１は、算出した補正係数gainＲ，gainＧ，gainＢをコントラスト補正部２０２に転送する。

このコントラスト補正部２０２は、ステップＳ１２において、霞成分推定部２００により推定される霞成分Ｈ（ｘ，ｙ）と、補正係数算出部２０１により算出される補正係数gainＲ，gainＧ，gainＢとを入力し、これら霞成分Ｈ（ｘ，ｙ）と補正係数gainＲ，gainＧ，gainＢとに基づいて入力画像Ｉの画素毎にゲイン乗算によるコントラスト補正を行う。
例えば、コントラスト補正部２０２は、入力画像Ｉにおける霞の濃い領域すなわち高輝度でかつ低彩度な領域に対して補正係数gainＲ，gainＧ，gainＢの値を保持するように調整する。
コントラスト補正部２０２は、霞の薄い領域すなわち低輝度または高彩度な領域に対して補正係数gainＲ，gainＧ，gainＢを１．０に近づけるように調整する。

このようにコントラスト補正部２０２は、図５に示すように入力画像Ｉの画素毎の霞成分Ｈ（ｘ，ｙ）に応じて補正係数gainＲ，gainＧ，gainＢの調節を行い、これら調節後の補正係数gainＲ’，gainＧ’，gainＢ’を各画素の画素値に対して乗算を行い、霞成分Ｈ（ｘ、ｙ）に応じたコントラスト補正の行われた補正画像を得る。

具体的にコントラスト補正部２０２は、上記各式（５）乃至（７）に示すように補正係数gainＲ，gainＧ，gainＢに対して霞成分Ｈ（ｘ，ｙ）の値に応じた重み付けを行い、この重み付けにより調整された補正係数gainＲ’，gainＧ’，gainＢ’を用いて各画素に対するコントラスト補正を行う。
コントラスト補正部２０２は、重み付けにより調整された補正係数gainＲ’，gainＧ’，gainＢ’を用い、上記各式（８）乃至（１０）により各画素に対するコントラスト補正された画素値Ｉ’_r（x,y）、Ｉ’_g（x,y）、Ｉ’_b（x,y）を算出する。

圧縮部１１０は、ステップＳ４において、霞補正部１０９から転送されたコントラスト補正された映像信号、すなわち霞成分の補正がされた映像信号に対して公知のＪＰＥＧ、ＭＰＥＧ等の圧縮処理を行って出力部１１１に転送する。
出力部１１１は、ステップＳ５において、圧縮部１１０から転送された圧縮処理後の映像信号をメモリーカード等に記録、保存したり、又は圧縮部１１０から転送された映像信号を別途ディスプレイに表示する。

このように上記第１の実施の形態によれば、映像信号における例えば霞成分の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行う霞補正部１０９を設け、入力画像Ｉにおける霞成分の濃い領域すなわち高輝度でかつ低彩度な領域に対して補正係数gainＲ，gainＧ，gainＢの値を保持するように調整し、かつ霞成分の薄い領域すなわち低輝度または高彩度な領域に対して補正係数gainＲ，gainＧ，gainＢを１．０に近づけるように調整するので、霞の濃い又は薄い等の濃度に応じて霞の影響によるコントラストが低下した領域に対してコントラストを強調する補正を行うことができる。

この結果、上記第１の実施の形態によれば、霞成分の濃淡（劣化度）を推定し、この霞成分の濃淡（劣化度）に応じた適応的な階調補正を行うことにより、霞の掛かった領域（劣化度が大きい領域）の視認性を向上できる補正画像を取得できる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して説明する。第２の実施の形態は、第１の実施の形態の図１と同様の構成であり、霞補正部１０９の内部構成だけが異なる。なお、図２と同一部分には同一符号を付してその詳しい説明は省略する。
図８は画像処理装置を適用した撮像装置における霞補正部１０９のブロック構成図を示す。この霞補正部１０９は、上記第１の実施の形態における霞補正部１０９に、色空間変換部２０３を追加している。
この色空間変換部２０３の出力は、霞成分推定部２００に接続されている。この色空間変換部２０３は、制御部１１２に接続され、当該制御部１１２との間でデータ等の授受を行ってそれぞれ制御される。

この色空間変換部２０３は、信号処理部１０８から転送されるＲＧＢの映像信号をＹＣbＣr（輝度信号、色差信号）色空間又はＨＳＶ（色相信号、彩度信号、明度信号）色空間に変換し、この変換したＹＣbＣr色空間又はＨＳＶ色空間の映像信号を霞成分推定部２００に転送する。
霞成分推定部２００は、色空間変換部２０３から転送されるＹＣbＣr色空間又はＨＳＶ色空間の映像信号を入力し、これら映像信号における輝度信号Ｙ、色差信号（彩度信号）ＣbＣr等に基づいて霞成分を推定する。

図９は輝度Ｙに対する重み値Ｈ１を示す。この輝度Ｙに対する重み値Ｈ１は、０．０〜１．０の値を示し、高輝度になるに従って値が大きくなる。すなわち、重み値Ｈ１は、霞成分が多い（霞が濃い）程、大きな値になる。
図１０は彩度ＣbＣrに対する重み値Ｈ２を示す。この彩度ＣbＣrに対する重み値Ｈ２は、０．０〜１．０の値を示し、低彩度になるに従って値が大きくなる。すなわち、重み値Ｈ２は、霞成分が多い（霞が濃い）程、大きな値になる。

このような輝度Ｙと彩度ＣbＣrとの関係から霞成分推定部２００は、霞成分Ｈを例えば次式（１１）から算出する。
Ｈ＝Ｈ１＊Ｈ２ …（１１）
なお、輝度Ｙと彩度ＣbＣrとは、次のように算出する。
ＹＣbＣr色空間であれば、輝度はＹであり、彩度は√（Ｃb＾2＋Ｃr＾2）である。
ＨＳＶ色空間であれば、輝度はＶであり、彩度はＳである。

次に、上記の通り構成された霞補正部１０９による霞補正動作について説明する。
色空間変換部２０３は、信号処理部１０８から転送されるＲＧＢの映像信号をＹＣbＣr色空間又はＨＳＶ色空間に変換し、この変換したＹＣbＣr色空間及びＨＳＶ色空間の映像信号を霞成分推定部２００に転送する。
この霞成分推定部２００は、色空間変換部２０３から転送されるＹＣbＣr色空間又はＨＳＶ色空間の映像信号を入力し、これら映像信号における輝度信号Ｙ、色差信号（彩度信号）ＣbＣr等に基づいて霞成分を推定する。

補正係数算出部２０１は、信号処理部１０８から転送される映像信号により取得される入力画像Ｉにおいてコントラストが低い領域に対してコントラストを強調する補正を行うための補正係数gainＲ，gainＧ，gainＢを算出する。
コントラスト補正部２０２は、霞成分推定部２００により推定される霞成分Ｈと、補正係数算出部２０１により算出される補正係数gainＲ，gainＧ，gainＢとを入力し、第１の実施形態と同様に、上記各式（５）乃至（７）に示すように補正係数gainＲ，gainＧ，gainＢに対して霞成分Ｈ（ｘ，ｙ）の値に応じた重み付けを行う。そして、この重み付けにより調整された補正係数gainＲ’，gainＧ’，gainＢ’を入力画像Ｉの画素毎に乗算することによるコントラスト補正を行う。
このように上記第２の実施の形態によれば、信号処理部１０８から転送されるＲＧＢの映像信号をＹＣbＣr色空間又はＨＳＶ色空間に変換する色空間変換部２０３を設けても、上記第１の実施の形態と同様の効果を奏することができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について図面を参照して説明する。第３の実施の形態は、第１の実施の形態の図１と同様の構成であり、霞補正部１０９の内部構成だけが異なる。なお、図８と同一部分には同一符号を付してその詳しい説明は省略する。
図１１は画像処理装置を適用した撮像装置における霞補正部１０９のブロック構成図を示す。この霞補正部１０９は、上記第２の実施の形態における霞補正部１０９に、色補正部２０４と、第２色空間変換部２０５とを追加している。
コントラスト補正部２０２の出力は、色補正部２０４に接続され、さらにこの色補正部２０４の出力は、第２色空間変換部２０５に接続されている。これら色補正部２０４と第２色空間変換部２０５とは、制御部１１２に接続され、当該制御部１１２との間でデータ等の授受を行ってそれぞれ制御される。

補正係数算出部２０１は、色空間変換部２０３から転送されるＹＣbＣr色空間またはＨＳＶ色空間の映像信号のうち輝度信号Ｙ（Ｖ）を用いてコントラスト補正のための補正係数を算出する。具体的に補正係数算出部２０１は、例えば上記図４Ｂに示すような注目画素を中心とする所定サイズの局所領域における輝度ヒストグラムに基づいて各画素の輝度信号Ｙに対する補正係数gainＹを算出する。

コントラスト補正部２０２は、色空間変換部２０３から転送されるＹＣbＣr色空間及びＨＳＶ色空間の映像信号のうち輝度信号Ｙに対してコントラスト補正を行う。このコントラスト補正部２０２は、霞成分推定部２００から転送される霞成分Ｈ（ｘ，ｙ）と補正係数算出部２０１から転送される補正係数gainＹとに基づいて輝度信号Ｙに対してコントラスト補正を行う。
輝度信号Ｙに対するコントラスト補正は、以下の式に基づいて行う。
gainＹ’＝1.0＋（gainＹ−1.0）＊Ｈ（ｘ，ｙ）／255＊Strength …（１１）
により、調整された補正係数gainＹ‘を算出する。
下記の補正式によりコントラスト補正を行う。
Ｙ’（x,y）＝Ｙ（x,y）＊gainＹ’ …（１２）
このコントラスト補正部２０２は、コントラスト補正後の輝度信号Ｙ‘と、色差信号（彩度信号）ＣbＣrを、色補正部２０４に転送する。

色補正部２０４は、コントラスト補正部２０２により調整された後の補正係数gainＹ’に応じた彩度補正係数を算出し、各画素の色差信号（彩度信号）に対して彩度を強調する処理を行う。
図１２は補正係数gainＹ’に対する彩度補正係数を示す。この彩度補正係数は、gainＹ‘が小さい程、彩度強調を強くする。同図では、gainＹ’が小さくなるに従って彩度補正係数は１．０から２．０に大きくなっている。

なお、高輝度の画素に対して階調を広げる補正を行う場合、上記補正係数gainＹ’は、１．０よりも小さい値が掛かる傾向にある。１．０よりも小さいゲイン係数（補正係数gainＹ’）が乗算されることによりコントラスト補正後の画像の彩度は低下する。
このような事から色補正部２０４は、各画素の色差信号（彩度信号）に対する彩度の強調処理後、ゲイン係数（補正係数gainＹ’）に応じた彩度補正を行う。具体的に色補正部２０４は、補正係数gainＹ’が１．０よりも小さい場合、当該補正係数gainＹ’の値に応じて彩度ＣbＣr（又はＳ）に対して１．０よりも大きいゲイン係数（彩度補正係数）を乗算して彩度ＣbＣr(又はＳ)を強調する。
第２色空間変換部２０５は、ＹＣbＣr（輝度信号、色差信号）色空間又はＨＳＶ（色相信号、彩度信号、明度信号）色空間の映像信号をＲＧＢの映像信号に戻す。

このような霞補正部１０９の構成であれば、色補正部２０４は、コントラスト補正部２０２により調整された補正係数gainＹ’に応じた彩度補正係数を算出し、各画素の色差信号（彩度信号）に対して乗算して彩度を強調する。この彩度の強調では、補正係数gainＹ’が小さい程、彩度強調を強くする。
第２色空間変換部２０５は、ＹＣbＣr（輝度信号、色差信号）色空間又はＨＳＶ（色相信号、彩度信号、明度信号）色空間の映像信号をＲＧＢの映像信号に戻す。

このように上記第３の実施の形態によれば、コントラスト補正部２０２により調整後の補正係数に応じた彩度補正係数を算出し、各画素の色差信号（彩度信号）に対して彩度を強調する色補正部２０４を設けたので、霞成分Ｈ（ｘ，ｙ）に応じたコントラスト補正が可能になり、その結果、高品位なコントラスト補正画像を取得できる。

なお、本発明は、上記各実施の形態に限定されるものでなく、次のように変形してもよい。
上記各実施の形態では、劣化度として霞成分Ｈ（ｘ，ｙ）を推定しているが、これに限らず、画像データ中の靄成分や霧成分、白色成分に対してコントラスト補正を行うようにしてもよい。
上記各実施の形態は、ハードウェアによる処理を前提としているが、これに限定されるものでなく、例えば、信号処理部１０８から出力される映像信号を別途ソフトウェアにて処理する構成も可能である。

又、上記各実施の形態は、信号処理部１０８から入力される映像信号の各画素に対して霞成分推定や補正係数算出の処理を行っているが、これに限定されるものでなく、例えば映像信号のサイズを縮小した後に霞成分推定、補正係数算出の処理を行うことも可能である。
縮小画像に対して霞成分推定、補正係数算出の処理を行う場合は、コントラスト補正時に公知の補間処理（例えばバイリニア補間、バイキュービック補間など）にて霞成分と補正係数を元のサイズに拡大した後にコントラスト補正を行えばよい。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００：レンズ系、１０１：絞り、１０２：撮像センサ、１０３：オートフォーカス用モータ（ＡＦモータ）、１０４：Ａ／Ｄ変換器、１０５：バッファ、１０６：測光評価部、１０７：レンズ制御部、１０８：信号処理部、１０９：霞補正部、１１０：圧縮部、１１１：出力部、１１２：制御部、１１３：外部Ｉ／Ｆ部、２００：霞成分推定部、２０１：補正係数算出部、２０２：コントラスト補正部、２０３：色空間変換部、２０４：色補正部、２０５：第２色空間変換部。

Claims (16)

1. 画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する画像処理装置において、
   前記画像データの小領域毎に前記劣化度を検出する劣化度検出部と、
   前記画像データの前記小領域毎に階調補正のための補正係数を算出する補正係数算出部と、
   前記劣化度検出部により検出された前記劣化度と前記補正係数算出部により算出された前記補正係数とに基づいて前記画像データの前記劣化度に応じた適応的な階調補正を行う適応階調補正部と、
   を具備し、
   前記補正係数算出部は、前記画像データの注目画素に対してコントラストを強調するためのゲイン係数を前記補正係数として算出し、
   前記適応階調補正部は、前記劣化度検出部により検出される前記劣化度に基づいて前記補正係数算出部により算出される前記補正係数に重み付けを行い、前記劣化度が大きいほど前記ゲイン係数の大きさが保持されるように前記補正係数に重み付けし、前記劣化度が小さいほど階調補正の効果が小さくなるように前記補正係数に重み付けする
   ことを特徴とする画像処理装置。
2. 前記画像データは、画素データから成り、
   前記画素データは、複数のカラーチャンネルを有し、
   前記劣化度検出部は、前記画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度を比較して最小値を選択し、当該最小値に基づいて前記劣化度を検出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数のカラーチャンネルは、Ｒ値、Ｇ値、Ｂ値を含み、
   前記劣化度検出部は、前記Ｒ値、前記Ｇ値、前記Ｂ値のうち最小値となる前記Ｒ値、前記Ｇ値又は前記Ｂ値を選択する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記適応階調補正部は、前記劣化度検出部により検出される前記劣化度を正規化した正規化係数を算出する正規化係数算出部と、
   前記正規化係数算出部により算出される前記正規化係数に基づいて前記補正係数算出部により算出される前記補正係数を変換する係数変換部と、
   を有することを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
5. 前記劣化度は、前記画像データの前記小領域毎のコントラストと彩度とに関連する指標を含むことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
6. 前記劣化度は、霞成分又は靄成分を含む高輝度かつ低彩度の度合いを示すことを特徴とする請求項５に記載の画像処理装置。
7. 前記適応階調補正部は、前記補正係数算出部により算出された前記補正係数に対して前記霞成分、前記靄成分又は濁りとなる成分の値に応じた重み付けを行い、当該重み付けされた前記補正係数を用いて前記画像データの各画素に対するコントラスト補正を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記補正係数算出部は、前記画像データにおける局所領域内の各画素値の輝度成分のヒストグラムを生成し、当該ヒストグラムを累積して累積ヒストグラムを生成し、当該累積ヒストグラムに基づいて前記各画素値に対する前記補正係数を算出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像データをＹＣbＣr色空間又はＨＳＶ色空間に変換する色空間変換部を有し、
   前記劣化度検出部は、前記色空間変換部により変換された前記ＹＣbＣr色空間又は前記ＨＳＶ色空間における輝度、彩度に基づいて前記劣化度を検出する、
   ことを特徴とする請求項１乃至８のうちいずれか１項に記載の画像処理装置。
10. 前記劣化度検出部は、前記輝度に対する第１の重み値と、前記彩度に対する第２の重み値を含み、
    前記第１の重み値は、前記輝度が高くなるに従って値が大きくなり、前記第２の重み値は、前記彩度が低くなるに従って値が大きくなる関係を有し、
    前記輝度と前記彩度との関係から前記劣化度を算出する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記適応階調補正部により調整された前記補正係数に応じた彩度補正係数を算出し、当該彩度補正係数に基づいて前記画像データに対する彩度の強調を行う色補正部を含むことを特徴とする請求項１に記載の画像処理装置。
12. 前記色補正部は、前記補正係数が１．０よりも小さい場合、当該補正係数の値に応じて彩度に対して１．０よりも大きい前記彩度補正係数を乗算して前記彩度を強調することを特徴とする請求項１１に記載の画像処理装置。
13. 前記彩度補正係数は、前記補正係数が小さい程、彩度強調を強くすることを特徴とする請求項１１に記載の画像処理装置。
14. 画像データの画質の劣化度を検出し、当該劣化度に応じて前記画像データを補正する画像処理方法において、
    前記画像データの小領域毎に前記劣化度を検出し、
    前記画像データの前記小領域毎の前記画像データの注目画素に対してコントラストを強調するためのゲイン係数を階調補正のための補正係数として算出し、
    前記劣化度と前記補正係数とに基づいて前記画像データの前記劣化度に応じて前記補正係数に重み付けを行い適応的な階調補正を行い、前記劣化度が大きいほど前記ゲイン係数の大きさが保持されるように前記補正係数に重み付けし、前記劣化度が小さいほど階調補正の効果が小さくなるように前記補正係数に重み付けする
    ことを特徴とする画像処理方法。
15. コンピュータに、画像データの画質の劣化度を検出し、当該劣化度に応じて前記画像データを補正させる画像処理プログラムにおいて、
    前記画像データの小領域毎に前記劣化度を検出させる劣化度検出機能と、
    前記画像データの前記小領域毎の前記画像データの注目画素に対してコントラストを強調するためのゲイン係数を階調補正のための補正係数として算出させる補正係数算出機能と、
    前記劣化度検出機能により検出された前記劣化度と前記補正係数算出機能により算出された前記補正係数とに基づいて前記画像データの前記劣化度に応じて前記補正係数に重み付けを行い適応的な階調補正を行わせ、前記劣化度が大きいほど前記ゲイン係数の大きさが保持されるように前記補正係数に重み付けし、前記劣化度が小さいほど階調補正の効果が小さくなるように前記補正係数に重み付けする適応階調補正機能と、
    を実現させるための画像処理プログラム。
16. 被写体からの光像を撮像する撮像素子と、
    前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する請求項１乃至１３のうちいずれか１項に記載の画像処理装置と、
    前記画像処理装置により画像処理された前記画像データを出力する出力部と、
    を具備することを特徴とする撮像装置。