JP5558240B2 - 画像処理装置 - Google Patents

Description

本発明は入力画像のコントラストを補正する画像処理装置に関するものである。特に霧、霞、雨天などで撮影したコントラストの低い画像に対して被写体（人、動物、車両、道路標識など）の視認性を上げるために画像のコントラスト、先鋭性を改善する画像処理装置に関する。

従来から天候の悪い霧や、もやの中で撮像したコントラストの低く、被写体がぼけたような画像が得られたとき、コントラストを補正して鮮明な画像を生成するためにいくつかの技術が知られている。まず、撮像された画像に霧がかかった画像かどうかを判別する技術を用いてコントラストを補正する技術が提案されている（例えば特許文献１）。この技術では、霧を特定するためにはあらかじめ撮影された画像で上側が空、下が地面であるなど条件を満たすことが必要であり、適用対象について制約がある。また、霧を誤検出した際にコントラスト補正がかかると画質を損なうという問題も生じる。

次に、コントラスト補正の方法として、原色信号から輝度信号を生成し、生成した輝度信号に基づいて階調補正テーブルを算出し、各原色信号に同じ補正係数を乗算することにより色バランスの変化を抑制した階調補正装置が提案されている（例えば特許文献２）。

特開２００８−７０９７９号公報（段落００５１から００５５） 特開２００４−３４２０３０号公報（段落００３６から００６６）

特許文献１及び特許文献２の技術では、画像の一部のみにおいて霧などによりコントラストが低下している場合には、霧のかかっている低コントラスト部の補正が不十分であったり、逆に霧のかかっていない、コントラストが高い部分に過補正が生じるという問題があった。また、低コントラストの場合に補正を行うこととしているため、輝度信号が低く、そのために低コントラストである、路面や暗い箇所は、霧がかかっていなくてもコントラスト補正を行ってしまい、そのためにノイズが増幅して画質を損なうという問題があった。すなわち入力画像全体が補正の対象となるため意図しない領域にまで補正を加えてしまうという問題があった。

また、コントラストが低い空などの画像に関し、霧によってコントラストが下がっているのか、もともとコントラストがない空を撮像しているのかがわからないため、補正の必要のない空にもコントラスト補正を行ってしまい、ノイズを増幅させる結果となるという問題があった。

本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、霧などによりコントラストが低下した箇所のみ適切にコントラスト補正を行い高品位な画像を得ることができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、
補正対象画素の周辺領域の信号レベル値を検出する周辺領域レベル検出手段と、
前記補正対象画素の信号の値が、前記周辺領域の信号レベル値より大きい場合にその差が大きいほど前記補正対象画素の値がより大きくなるように補正し、前記補正対象画素の信号の値が前記周辺領域の信号レベル値より小さい場合にその差が大きいほど前記補正対象画素の値がより小さくなるように補正する局所階調補正手段と、
前記周辺領域の信号レベル値に応じて、予め定められた関係を用いて強調度係数を決定する強調度決定手段と、
前記補正対象画素の周辺領域における画像の高周波成分量を検出する周辺領域高周波成分検出手段と、
前記高周波成分量に応じて、予め定められた関係を用いて第１の強調度修正係数を決定する第１の強調度修正手段と、
前記補正対象画素の信号の値が、前記周辺領域レベル検出手段によって検出された前記周辺領域の信号レベル値より大きい場合にその差が大きいほど前記補正対象画素の値がより大きくなるように補正し、前記補正対象画素の信号の値が前記周辺領域の信号レベル値より小さい場合にその差が大きいほど前記補正対象画素の値がより小さくなるように補正する局所階調補正手段とを具備し、
前記局所階調補正手段は、前記強調度係数と前記第１の強調度修正係数により前記補正対象画素の信号の値と前記周辺領域の信号レベル値の差を大きくする度合いを決定する
ことを特徴とする。

本発明によれば、複雑な霧検出手段を必要とせず、霧やもやなどによりコントラストが低下した場所のみ局所的にコントラスト補正を行うことができる。

本発明の実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。 補正対象画素と周辺領域との位置関係を示す図である。 図１の周辺領域レベル検出手段１の構成例を示すブロック図である。 図１の周辺領域レベル検出手段１の他の構成例を示すブロック図である。 図１の局所階調補正手段４の入力信号と出力信号の関係を模式的に示す図である。 強調度決定手段２による、周辺領域レベル値に対する強調度係数の関係の一例を示す図である。 図１の強調度決定手段２の構成例を示すブロック図である。 本発明の実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。 図８の周辺領域高周波成分検出手段の一例を示すブロック図である。 図８の周辺領域高周波成分検出手段の他の例を示すブロック図である。 図８の周辺領域高周波成分検出手段のさらに他の例を示すブロック図である。 図９、図１０、図１１のハイパスフィルタのフィルタ係数の一例を示す図である。 周辺領域の高周波成分量に対する強調度修正係数の関係を示す図である。 本発明の実施の形態３に係る画像処理装置の構成を概略的に示すブロック図である。 図１４の周辺領域彩度検出手段の一例を示すブロック図である。 周辺領域の彩度成分量に対する強調度修正係数の関係を示す図である。

実施の形態１．
図１は本発明の実施の形態１に係る画像処理装置の構成を示す。
図示の画像処理装置は画像を構成する複数の画素の信号を受けて、画像のコントラストの補正を行うものである。各画素の信号（画素信号）は、複数の色成分の信号（色信号）から成る。複数の色信号は、例えば赤、緑、青の原色成分を表すものであり、それぞれ符号Ｒｉｎ、Ｇｉｎ、Ｂｉｎで表され、単に入力信号とも呼ばれる。画像処理装置は、複数の画素を順に補正対象画素として、当該画素のコントラスト補正後の信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを順に出力する。

図示の画像処理装置は、周辺領域レベル検出手段１と、強調度決定手段２と、遅延手段３と、局所階調補正手段４とを備える。

周辺領域レベル検出手段１は、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎから補正対象画素の周辺領域の信号レベル値Ａｖｅを画素ごとに検出する。例えば、補正対象画素の周辺領域の画素の信号の値（画素値）Ｒｉｎ、Ｇｉｎ、Ｂｉｎに対応する明るさの平均値を算出して周辺領域の信号レベル値として出力する。以下では、この周辺領域の信号レベル値を単に「周辺領域レベル値」と言うことがある。

強調度決定手段２は、周辺領域レベル検出手段１から出力される周辺領域レベル値Ａｖｅに応じた強調度係数Ｋａを画素ごとに出力する。

図１に戻り、遅延手段３は、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを遅延させる。遅延手段３の出力も、入力信号と同じ符号「Ｒｉｎ、Ｇｉｎ、Ｂｉｎ」で表す。遅延手段３による遅延の目的については後述する。

局所階調補正手段４は、画像を構成する複数の画素の各々を順に補正対象画素として、当該画素のコントラスト補正後の信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを順に出力するものであり、各画素の信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを順次入力とし、これとともに、当該画素について、周辺領域レベル検出手段１により算出された周辺領域レベル値Ａｖｅを入力とし、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅの差の絶対値が強調度係数Ｋａに応じてより大きくなるように、画素ごとに補正を行うものである。

図示の局所階調補正手段４は、減算器４１ｒ、４１ｇ、４１ｂと、乗算器４２ｒ、４２ｇ、４２ｂと、加算器４３ｒ、４３ｇ、４３ｂを備える。
減算器４１ｒ、４１ｇ、４１ｂは、補正対象画素の画素値（各色成分値）Ｒｉｎ、Ｇｉｎ、Ｂｉｎと、周辺領域レベル検出手段１から出力された周辺領域レベル値Ａｖｅとの差分ΔＲ、ΔＧ、ΔＢを算出する。
乗算器４２ｒ、４２ｇ、４２ｂは、減算器４１ｒ、４１ｇ、４１ｂから出力された差分値ΔＲ、ΔＧ、ΔＢを強調度係数Ｋａに応じて増幅して、増幅された差分Ｋａ・ΔＲ、Ｋａ・ΔＧ、Ｋａ・ΔＢを出力する。
加算器４３ｒ、４３ｇ、４３ｂは、乗算器４２ｒ、４２ｇ、４２ｂの出力値Ｋａ・ΔＲ、Ｋａ・ΔＧ、Ｋａ・ΔＢを、補正対象画素の画素値（色成分値）Ｒｉｎ、Ｇｉｎ、Ｂｉｎに加算し、加算結果を補正された、補正対象画素の画素値（色成分値）Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔとして出力する。

以下、より詳細に説明する。
周辺領域レベル検出手段１は図２に示すように補正対象画素Ｐ０の周辺領域ＮＡ内の画素の信号成分の平均値Ａｖｅを算出して、周辺領域レベル値として出力する。例えば、補正対象画素Ｐ０を中心とし、水平５画素、垂直５画素の領域を周辺領域ＮＡとし、該周辺領域ＮＡに含まれる２５画素の値を平均化する。例えば、各画素の輝度値Ｙを算出し、算出した２５画素分の輝度値の単純平均を求める。
輝度値Ｙは、例えば、簡便法として、
Ｙ＝（Ｒｉｎ＋２Ｇｉｎ＋Ｂｉｎ）／４ …（１）
により求めることとしても良い。
なお、より正確な方法として、
Ｙ＝０．３Ｒｉｎ＋０．５９Ｇｉｎ＋０．１１Ｂｉｎ …（２）
により、輝度値Ｙを求めることとしても良い。

図３に周辺領域レベル検出手段１の構成例を示す。図示の周辺領域レベル検出手段１は、輝度値算出手段１１と、平均値算出手段１２とを有する。輝度値算出手段１１は、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを入力とし、輝度値Ｙを算出する。平均値算出手段１２は、輝度値Ｙの平均値を算出し、算出した平均値を周辺領域レベル値Ａｖｅとして出力する。

輝度値算出手段１１は、例えば、上記の式（１）で表される輝度値Ｙを算出するものであり、ビットシフト手段１１１と、加算器１１２と、ビットシフト手段１１３とを有する。

ビットシフト手段１１１は、入力信号Ｇｉｎを１ビット左方にシフトし、右端のビット（ＬＳＢ）を０で埋めることで、入力された信号Ｇｉｎの２倍の値を持つ信号を出力する。
加算器１１２は、入力信号Ｒｉｎ、Ｇｉｎと、ビットシフト手段１１１の出力（２×Ｇｉｎ）を加算する。ビットシフト手段１１３は加算手段１１２の出力の下位２ビットを切り捨てることで１／４倍し、式（１）で表される輝度値Ｙを表す信号を出力する。

平均値算出手段１２は、輝度値Ｙを、補正対象画素の周辺領域、例えば補正対象画素を中心とする５画素×５画素の領域にわたって平均するものであり、直列接続された４つの画素遅延手段１２１ａ〜１２１ｄと、直列接続された４つのライン遅延手段１２３ａ〜１２３ｄと、加算器１２２、１２４と、除算器１２５とを有する。

画素遅延手段１２１ａ〜１２１ｄは、輝度値Ｙを表す信号（輝度信号Ｙ）を、各々１画素分（１画素期間）遅延させ、それぞれ１画素遅延信号、２画素遅延信号、３画素遅延信号、４画素遅延信号を出力する。

加算器１２２は、画素遅延手段１２１ａ〜１２１ｄの出力及びビットシフト手段１１３の出力を加算する。これにより、図２に示される水平方向５画素分の加算結果が得られる。

ライン遅延手段１２３ａ〜１２３ｄは、加算器１２２の出力を各々１ライン分（１ライン期間）遅延させ、それぞれ１ライン遅延信号、２ライン遅延信号、３ライン遅延信号、４ライン遅延信号を出力する。
加算器１２４は、ライン遅延手段１２３ａ〜１２３ｄの出力及び加算器１２２の出力を加算する。これにより、図２に示される水平５画素、垂直５画素の領域内の２５画素の加算結果が得られる。

除算器１２５は、加算器１２４の出力を２５（周辺領域内の画素の数）で割り、これにより、上記の２５画素の平均値Ａｖｅが得られる。

周辺領域レベル検出手段１で周辺領域レベル値を求める際に使用する周辺領域の画素数は必ずしも５画素×５画素に限定するものではなく、補正後の画質の好みに応じて、領域の大きさを定めればよい。領域を小さく設けると周波数特性の高いコントラスト感(高周波成分について高いコントラスト感)が得られ、領域を大きく設けると周波数特性の低いコントラスト感(低周波成分について高いコントラスト感)が得られる。

また、上記の例では、式（１）や式（２）により求められる輝度値を画像の明るさを反映した周辺領域レベル値として求めているが、本発明は、これに限定されず、画像の明るさを反映した値であれば、他の式で求められる値であっても良い。

また、輝度値の代りに、各画素についての入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎの最大値Ｍｘをその画素の代表値として求め、周辺領域の画素の代表値の平均値を求めることとしても良い。このようにすれば、コントラスト補正を行った際に、色の濃い箇所での彩度の飽和（３つの色の階調値の少なくとも一つが階調範囲の最大値になることを意味し、色つぶれとも称する）を避けることができる。

最大値を求める場合には、周辺領域レベル検出手段１は例えば図４に示されるように構成される。即ち、図４に示される周辺領域レベル検出手段１は、図３の輝度値算出手段１１の代りに、最大値選択手段１３を備える。
最大値選択手段１３は、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎの最大値Ｍｘをその画素の代表値として出力する。
図４の平均値算出手段１２は、最大値選択手段１３から出力される最大値Ｍｘの平均を算出して、周辺領域レベル値Ａｖｅとして出力するものであり、図３の平均値算出手段１２と同様に構成される。

遅延手段３は、周辺領域レベル検出手段１で算出した周辺領域レベル値Ａｖｅが出力されるタイミングと、補正対象画素の信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎが遅延信号として出力されるタイミングが一致するように、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎの遅延を行う。

図１に戻り、局所階調補正手段４の減算器４１ｒ、４１ｇ、４１ｂは遅延信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎから周辺領域レベル値Ａｖｅを差し引く。これにより、補正対象画素の信号（画素値）Ｒｉｎ、Ｇｉｎ、Ｂｉｎと、周辺領域レベル値Ａｖｅとの差ΔＲ、ΔＧ、ΔＢが算出される。その差が大きいほどその画素の画素値（個々の画素の信号レベル値）は周りの画素の信号レベルとの差が大きいことを意味する。

減算器４１ｒ、４１ｇ、４１ｂによって算出された、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅの差ΔＲ、ΔＧ、ΔＢは乗算器４２ｒ、４２ｇ、４２ｂによって係数Ｋａを乗算され、加算器４３ｒ、４３ｇ、４３ｂによって元の信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎに加算される。これにより、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅの差に応じてコントラストが補正された出力信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔが得られる。

このように、減算器４１ｒ、４１ｇ、４１ｂ、乗算器４２ｒ、４２ｇ、４２ｂ、及び加算器４３ｒ、４３ｇ、４３ｂで構成される局所階調補正手段４は、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎと、当該補正対象画素について、周辺領域レベル検出手段１により算出された周辺領域レベル値Ａｖｅを入力として、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎが周辺領域レベル値Ａｖｅより大きい場合にその差ΔＲ、ΔＧ、ΔＢが大きいほど補正対象画素の値がより大きくなるように補正し、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎが周辺領域レベル値Ａｖｅより小さい場合にその差ΔＲ、ΔＧ、ΔＢが大きいほど補正対象画素の値がより小さくなるように補正し、補正後の画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを出力する。

上記の処理において、補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅの差ΔＲ、ΔＧ、ΔＢを増幅して補正対象画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎに加算しているので、信号のレベル差が増幅されたこと、即ち元の画像のコントラストが強調されたことになる。

また、画面内の画素の各々を順に補正対象画素として、上記の処理を行うことで、画素ごとにその周囲の領域の信号レベルに応じてコントラストを補正することになり、画像が各部分ごとに異なる場合に、画像全体に同じの値で補正を加えるのではなく、局所的にコントラストを決めながら補正を行うことになる。

局所階調補正手段４は、補正対象画素の値Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅの差ΔＲ、ΔＧ、ΔＢの絶対値をより大きくする度合い（レベル差を増幅する度合い）、従って補正対象画素の値Ｒｉｎ、Ｇｉｎ、Ｂｉｎに対する補正の度合いを係数Ｋａにより制御することができる。

図５に局所階調補正手段４の入力信号と出力信号の関係を模式的に示す。以下の説明は、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎのいずれにも当てはまるが、代表としてＲｉｎについて説明する。「Ｒｏｕｔ＝Ｒｉｎ」の直線は入力信号Ｒｉｎがそのままの値で出力信号Ｒｏｕｔとして出力されるときの入出力特性を示している。

入力信号ＲｉｎがＡｖｅよりも大きいとき、例えばＲｉｎ＝Ｒｉｎ１（Ｒｉｎ１＞Ａｖｅ）の場合には、減算器４１ｒにて算出された正の値ΔＲ＝（Ｒｉｎ１−Ａｖｅ）は乗算器４２ｒによってＫａ倍され、乗算結果Ｋａ×（Ｒｉｎ１−Ａｖｅ）が元の信号に加算されることでＲｉｎ１よりも大きな値のＲｏｕｔ１の信号が出力される。
入力信号ＲｉｎがＡｖｅより小さいとき、例えばＲｉｎ＝Ｒｉｎ２（Ｒｉｎ２＜Ａｖｅ）の場合には、減算器４１ｒにて算出された負の値ΔＲ＝（Ｒｉｎ２−Ａｖｅ）が乗算器４２ｒによってＫａ倍され、乗算結果Ｋａ×（Ｒｉｎ２−Ａｖｅ）が元の信号に加算されることで、逆にＲｉｎ２よりも小さい値のＲｏｕｔ２が出力される。
上記の処理により、周辺画素とのコントラスト（信号差）が大きくなり、コントラストが強調される。

なお、局所階調補正手段４は、必ずしも減算器４１ｒ、４１ｇ、４１ｂ、乗算器４２ｒ、４２ｇ、４２ｂ、及び加算器４３ｒ、４３ｇ、４３ｂにより構成される必要はなく、補正対象画素の値が周辺領域レベル値より大きい場合にその差が大きいほど補正対象画素の値がより大きくなるように補正し、補正対象画素の値が周辺領域レベル値より小さい場合にその差が大きいほど補正対象画素の値がより小さくなるように補正するように構成されており、補正対象画素の値と周辺領域レベル値の差を大きくする度合いが強調度係数により制御できる構成であればよい。

以上のように、強調度決定手段２から乗算器４２ｒ、４２ｇ、４２ｂへ供給される係数Ｋａは、コントラストを強調する度合い（補正度）を決めるものである。強調度決定手段２は周辺領域レベル検出手段１から出力される周辺領域レベル値Ａｖｅに応じた値を係数Ｋａとして出力する。周辺領域レベル値Ａｖｅと係数Ｋａとの関係の一例を図６に示す。

一般に雨、霧、もやなどの天候などによって画像のコントラストが低くなるとき、画像が白っぽくなり、また、白っぽくなった箇所は日光などの散乱によりその箇所の画像が明るめになる。よって、元来撮像したい被写体が霧などによってコントラストが低下する箇所の明るさは輝度信号の最大値（８ビットの画像であれば最大階調値２５５）の１／２から３／４程度の箇所に集中している。一方、１／４以下の箇所は路面や、画像の暗部であり、主な撮像対象である被写体の情報は少なく、また、信号を増幅するとノイズが目立ちやすい箇所でもある。さらに、３／４以上の明るい箇所は空や一般被写体の白い部分であり、同じく霧などによって被写体情報が欠落することが少ない箇所である。また、空の部分は階調の変化がなだらかであり、コントラスト補正によって信号を増幅すると偽輪郭などが生じやすいという問題もある。

これらのことを総合的に考慮し、本発明では、図６に示すように、強調度係数ＫａをＡｖｅ＝０のときは０とし、Ａｖｅが０から第１の所定値Ａｖｅ１までの間は第１の傾きａ１で増加させ、Ａｖｅが第１の所定値Ａｖｅ１から第２の所定値Ａｖｅ２までの間では第２の傾きａ２（ａ２＞ａ１）で増加させ、Ａｖｅが第２の所定値Ａｖｅ２以上の間では第３の傾きａ３で減少させる特性とした。この特性は下記のように表される。

但し、ａ１、ａ２は正の値、ａ３は負の値である。

ここで、第２の所定値Ａｖｅ２は輝度信号の最大値の２／３程度とし、周辺領域レベル値Ａｖｅが第２の所定値Ａｖｅ２のときに強調度係数Ｋａが最大となるように設定している。これにより、画像中の明るさの低い箇所（暗い箇所）、即ち第１の所定値Ａｖｅ１以下では、コントラストの補正はあまり行われず、２／３程度、即ち第２の所定値Ａｖｅ２の近傍が最もコントラストの補正度が大きく、それより上の範囲、即ち第２の所定値Ａｖｅ２から第３の所定値（最大階調値）Ａｖｅ３までの範囲では、補正度は小さくなる。

図７に強調度決定手段２の構成の一例を示す。図示の強調度決定手段２は、選択器２１ａ〜２１ｃと、減算器２２ｂ、２２ｃと、乗算器２３ａ〜２３ｃと、加算器２４とを有する。

選択器２１ａ〜２１ｃでは、入力される周辺領域レベル値Ａｖｅと所定値Ａｖｅ１、Ａｖｅ２との大小関係を比較して、Ａｖｅ、Ａｖｅ１、Ａｖｅ２のいずれかの値を出力する。
選択器２１ａは、Ａｖｅ＜Ａｖｅ１のときＡｖｅを、Ａｖｅ≧Ａｖｅ１のときＡｖｅ１を出力する。
選択器２１ｂは、Ａｖｅ＜Ａｖｅ１のときＡｖｅ１を、Ａｖｅ１≦Ａｖｅ＜Ａｖｅ２のときＡｖｅを、Ａｖｅ≧Ａｖｅ２のときＡｖｅ２を出力する。
選択器２１ｃは、Ａｖｅ＜Ａｖｅ２のときＡｖｅ２を、Ａｖｅ≧Ａｖｅ２のときＡｖｅを出力する。

減算器２２ｂおよび２２ｃは、それぞれ選択器２１ｂおよび選択器２１ｃの出力からＡｖｅ１およびＡｖｅ２を減算する。
乗算器２３ａ〜２３ｃは、それぞれの入力信号の値に所定値ａ１、ａ２、ａ３を乗算する。
加算器２４は、乗算器２３ａ〜２３ｃの出力を加算する。
加算器２４の出力は、強調度係数Ｋａとして強調度決定手段２の出力となる。
このようにして図６および式（３）にて示した入出力特性を実現することができる。

以上の構成により、画像に対して局所的にコントラスト補正を行うと共に、霧のかかった箇所に対してはその補正度は強くなり、コントラスト補正が弊害となりやすい暗部や、空などの明るい部分は補正度が低いため、画像のそれぞれの部分に対して最適なコントラスト補正を行うことができる。

なお、図３に示した強調度係数Ｋａの特性は一例であり、折れ点の数も３に限らず、例えば折れ点の数は４であっても良い。さらに、図７に示す選択器、減算器、乗算器、及び加算器の組合せを用いず、ルックアップテーブルにより、折れ線や曲線（滑らかに変化する曲線）で表される特性を用いることとしても良い。さらに、対象とする画像の種類によって、特性を切り換えるようにしても良い。

上記のように局所的にかつ画像の明るさに応じてコントラスト補正を行うように構成しているため、霧などがかかった低コントラストの画像を補正して、コントラストの高い良好な画像を得ることができる。

実施の形態２．
図８は本発明の実施の形態２に係る画像処理装置を示す。図８に示される画像処理装置は、図１に示される実施の形態１の画像処理装置に対して、周辺領域高周波成分検出手段７と、強調度修正手段８とが付加されており、実施の形態１の乗算器４２ｒ、４２ｇ、４２ｂの代りに、乗算器４４ｒ、４４ｇ、４４ｂを備えている点で異なる。

周辺領域高周波成分検出手段７は、補正対象画素の周辺領域内の高周波成分量Ａｈｐｆを検出するものであり、例えば、図９に示すように、輝度値算出手段７１と、ハイパスフィルタ７２と、積算器７３とを有する。
輝度値算出手段７１は、各画素の画素値（入力信号）Ｒｉｎ、Ｇｉｎ、Ｂｉｎに基づいて、当該画素の輝度値Ｙｂを算出する。輝度値算出手段７１は、例えば図３の輝度値算出手段１１と同様に構成することができる。

ハイパスフィルタ７２は、輝度値Ｙｂの高周波成分値Ｙｂｈを抽出する。
積算器７３は、ハイパスフィルタ７２から出力される高周波成分値Ｙｂｈを、補正対象画素の周辺領域にわたり積算し、積算値を高周波成分量Ａｈｐｆとして出力する。

周辺領域レベル検出手段１が図３に示す輝度値算出手段１１を備え、周辺領域高周波成分検出手段７が輝度値算出手段７１を備える場合には、周辺領域レベル検出手段１と周辺領域高周波成分検出手段７とで、輝度値算出手段を兼用しても良い。例えば、輝度値算出手段７１を省略し、輝度値算出手段１１の出力をハイパスフィルタ７２に入力することとしても良い。

図９の輝度値算出手段７１の代りに、図１０に示すように、最大値選択手段７４を用いても良い。その場合、最大値選択手段７４は、図４の最大値選択手段１３と同様に、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎの最大値Ｍｘｂをその画素の代表値として、出力する。
ハイパスフィルタ７５は、ハイパスフィルタ７２と同様のものであり、最大値Ｍｘｂの高周波成分値Ｍｘｂｈを抽出する。
積算器７６は、ハイパスフィルタ７５から出力される高周波成分値Ｍｘｂｈを補正対象画素の周辺領域にわたり積算し、積算値を高周波成分量Ａｈｐｆとして出力する。

周辺領域レベル検出手段１が図４に示す最大値選択手段１３を備え、周辺領域高周波成分検出手段７が最大値選択手段７４を備える場合には、周辺領域レベル検出手段１と周辺領域高周波成分検出手段７とで、最大値選択手段を兼用しても良い。例えば、最大値選択手段７４を省略し、最大値選択手段１３の出力をハイパスフィルタ７５に入力することとしても良い。

図１１は、周辺領域高周波成分検出手段７の他の構成例を示す。図示の周辺領域高周波成分検出手段７は、ハイパスフィルタ７７ｒ、７７ｇ、７７ｂと、合成器７８と、積算器７９とを備える。
ハイパスフィルタ７７ｒ、７７ｇ、７７ｂは、それぞれ、補正対象画素の周辺領域内の画素の画素値Ｒｉｎ、Ｇｉｎ、Ｂｉｎの各色の高周波成分値Ｒｈ、Ｇｈ、Ｂｈを抽出する。
合成器７８は、ハイパスフィルタ７７ｒ、７７ｇ、７７ｂから出力された各色の高周波成分値Ｒｈ、Ｇｈ、Ｂｈを合成し、合成結果を高周波成分値Ｓｈとして出力する。この合成は例えば重み付け加算により行われる。高周波成分値Ｒｈ，Ｇｈ、Ｂｈに対する重み付け係数は例えばそれぞれ１／４、１／２、１／４とされる。
積算器７９は、合成器７８から出力される高周波成分値Ｓｈを、補正対象画素の周辺の領域にわたり積算し、積算結果を、高周波成分量Ａｈｐｆとして出力する。

周辺領域高周波成分検出手段７から出力される高周波成分量Ａｈｐｆは、補正対象画素の周辺領域に高周波成分が多く含まれていると大きい値となり、補正対象画素の周辺領域が平坦な画像で構成されていると小さい値となる。

ハイパスフィルタ７２、７５、７７ｒ、７７ｇ、７７ｂの各々による高周波成分の検出は、例えば図２に示すように補正対象画素の周辺領域内の各画素を中心とする所定の領域、例えば５画素×５画素の領域内の画素の信号に対し、例えば図１２に示すようなフィルタ係数にて重み付け加算を行い、その出力の絶対値をとることにより行うことができる。
なお、ハイパスフィルタ７２、７５ｒ、７５ｇ、７５ｂのフィルタ係数は図１２に示したものに限られず、フィルタ係数やタップ数の異なるフィルタを用いても良い。また、上記所定の領域の広さは、補正対象画素の周辺領域の広さと同じでなくても良い。

強調度修正手段８は、周辺領域高周波成分検出手段７から出力された高周波成分量Ａｈｐｆの値に応じた強調度修正係数Ｋｂを出力する。高周波成分量Ａｈｐｆの値と、強調度修正係数Ｋｂとの値の関係の一例を図１３に示す。
強調度修正係数Ｋｂは、高周波成分量Ａｈｐｆがある所定値Ａｈｐｆｔまでは１、それよりも大きい範囲では、１より小さくなるように定められる。さらに図示の例では、高周波成分量Ａｈｐｆが所定値Ａｈｐｆｔよりも大きい範囲では、高周波成分量Ａｈｐｆの増加に伴い係数Ｋｂが次第に小さくなるように定められている。強調度修正係数Ｋｂは乗算器４４ｒ、４４ｇ、４４ｂへ出力され、コントラストの補正度を調整する。

乗算器４４ｒ、４４ｇ、４４ｂは、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅとの差ΔＲ、ΔＧ、ΔＢに係数Ｋａと係数Ｋｂの積を乗算する。これは、係数Ｋａで決定されるコントラストの強調度を係数Ｋｂで修正していると見ることができる。但し、強調度修正係数Ｋｂは、１のときに修正度がゼロであり、１から離れるに従い修正の度合いが大きくなる。

このように、高周波成分が多い箇所では強調度修正係数Ｋｂを小さくすることで、コントラストの補正度を小さくしている。これは画像中、霧がかかっていても高周波成分が多い領域は霧の影響が少なく、被写体のコントラストが低下しておらず、コントラストの補正を行う必要がないためである。また、高周波成分の多い箇所でコントラスト補正を行うことで過補正となり画質の品位を劣化させないためである。上記のように構成することで、霧などによって生じた低コントラストの箇所だけ適正な補正を行うことができる。

実施の形態３．
図１４は本発明の実施の形態３に係る画像処理装置を示す。図１４に示される画像処理装置は、図８に示される実施の形態２の画像処理装置に対して、周辺領域高周波成分検出手段７及び強調度修正手段８の代りに、周辺領域彩度検出手段９及び強調度修正手段１０が設けられている点で異なる。

周辺領域彩度検出手段９は、補正対象画素の周辺領域内の彩度成分量Ａｒｍを検出するものであり、例えば図１５に示すように、演算器９１と、積算器９２とを有する。
演算器９１は、各画素の画素値（入力信号）Ｒｉｎ、Ｇｉｎ、Ｂｉｎに基づいて、当該画素の、色の濃さをあらわす彩度成分Ｓｒｍを算出する。

演算器９１は、例えば下記の式（４）で表される演算により、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎから彩度成分値Ｓｒｍを求める。

上記のようにして彩度成分値Ｓｒｍを求める代りに、下記に式（５ａ）、（５ｂ）、（５ｃ）で表される演算により、彩度成分値Ｓｒｍを求めることとしても良い。

上記に式において、Ｃｒ、Ｃｂは色差信号とも呼ばれるものである。

積算器９２は、上記の彩度成分値Ｓｒｍを、補正対象画素の周辺領域（図２）にわたり積算することで、積算結果を、彩度成分量Ａｒｍとして出力する。
出力される彩度成分量Ａｒｍは、補正対象画素の周辺領域に色の濃い（彩度が高い）画素が多く含まれていると大きい値となり、該周辺領域が色の薄い（彩度が低い）画像で構成されていると低い値となる。

強調度修正手段１０は、周辺領域彩度検出手段９から出力された彩度成分量Ａｒｍの値に応じた強調度修正係数Ｋｃを出力する。彩度成分量Ａｒｍの値と、強調度修正係数Ｋｃとの値の関係の一例を図１６に示す。
強調度修正係数Ｋｃは、彩度成分量Ａｒｍがある所定値Ａｒｍｔまでは１、それよりも大きい範囲では、１より小さくなるように定められる。さらに図示の例では、彩度成分量Ａｒｍが所定値Ａｒｍｔよりも大きい範囲では、彩度成分量Ａｒｍの増加に伴い係数Ｋｃが次第に小さくなるように定められている。強調度修正係数Ｋｃは乗算器４４ｒ、４４ｇ、４４ｂへ出力され、コントラストの補正度を調整する。

乗算器４４ｒ、４４ｇ、４４ｂは、入力信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎと周辺領域レベル値Ａｖｅとの差ΔＲ、ΔＧ、ΔＢに係数Ｋａと係数Ｋｃの積を乗算する。これは、係数Ｋａで決定しているコントラストの強調度を係数Ｋｃで修正していると見ることができる。但し、強調度修正係数Ｋｃは、１のときに修正度がゼロであり、１から離れるに従い修正の度合いが大きくなる。

このように、彩度成分が多い箇所では強調度修正係数Ｋｃを小さくすることで、コントラストの補正度を小さくしている。これは画像中、霧がかかっていても彩度が高い領域は霧の影響が少なく、被写体のコントラストが低下しておらず、コントラストの補正を行う必要がないためである。また、彩度成分の多い箇所でコントラスト補正を行うことで過補正となり画質の品位を劣化させないためである。上記のように構成することで、霧などによって生じた低コントラストの箇所だけ適正な補正を行うことができる。

１ 周辺領域レベル検出手段、 ２ 強調度決定手段、 ３ 遅延手段、 ４ 局所階調補正手段、 ４１ｒ、４１ｇ、４１ｂ 減算器、 ４２ｒ、４２ｇ、４２ｂ 乗算器、 ４３ｒ、４３ｇ、４３ｂ 加算器、 ７ 周辺領域高周波成分検出手段、 ８ 強調度修正手段、 ９ 彩度成分検出手段、 １０ 強調度修正手段。

Claims (9)

1. 補正対象画素の周辺領域の信号レベル値を検出する周辺領域レベル検出手段と、
   前記補正対象画素の信号の値が、前記周辺領域の信号レベル値より大きい場合にその差が大きいほど前記補正対象画素の値がより大きくなるように補正し、前記補正対象画素の信号の値が前記周辺領域の信号レベル値より小さい場合にその差が大きいほど前記補正対象画素の値がより小さくなるように補正する局所階調補正手段と、
   前記周辺領域の信号レベル値に応じて、予め定められた関係を用いて強調度係数を決定する強調度決定手段と、
   前記補正対象画素の周辺領域における画像の高周波成分量を検出する周辺領域高周波成分検出手段と、
   前記高周波成分量に応じて、予め定められた関係を用いて第１の強調度修正係数を決定する第１の強調度修正手段とを具備し、
   前記局所階調補正手段は、
   前記強調度係数と前記第１の強調度修正係数により前記補正対象画素の信号の値と前記周辺領域の信号レベル値の差を大きくする度合いを決定する
   ことを特徴とする画像処理装置。
2. 前記強調度決定手段は、前記周辺領域の信号レベル値が前記入力画像の信号レベル値が取りうる最大の値の略１／２から３／４の間で前記強調度係数の値が大きくなるように前記強調度係数を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の強調度修正手段は、前記高周波成分量が大きい場合に前記第１の強調度修正係数が小さくなるように前記第１の強調度修正係数を決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記周辺領域高周波成分検出手段は、
   前記補正対象画素の周辺領域の各画素についての高周波成分値を、前記周辺領域にわたり積算した値を、前記高周波成分量とする
   ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記局所階調補正手段は、
   前記強調度係数と前記第１の強調度修正係数の積により、前記補正対象画素の信号の値と前記周辺領域の信号レベル値の差を大きくする度合いを決定する
   ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記補正対象画素の周辺領域の複数の画素の各々の複数の色信号から求められる彩度値を用いて前記補正対象画素の周辺領域における画像の彩度成分量を検出する周辺領域彩度検出手段と、
   前記彩度成分量に応じた第２の強調度修正係数を決定する第２の強調度修正手段をさらに具備し、
   前記局所階調補正手段は、前記強調度係数と前記第１の強調度修正係数と前記第２の強調度修正係数により前記補正対象画素の値と前記周辺領域の信号レベル値との差を大きくする度合いを変化させる
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記第２の強調度修正手段は、前記彩度成分量が大きい場合に前記第２の強調度修正係数が小さくなるように前記第２の強調度修正係数を決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記周辺領域彩度成分検出手段は、
   前記補正対象画素の周辺領域の各画素についての彩度成分値を、前記周辺領域にわたり積算した値を、前記彩度成分量とする
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記局所階調補正手段は、
   前記強調度係数と前記第１の強調度修正係数と前記第２の強調度修正係数の積により、前記補正対象画素の信号の値と前記周辺領域の信号レベル値の差を大きくする度合いを変化させる
   ことを特徴とする請求項６乃至８のいずれかに記載の画像処理装置。

Images