JP4539674B2 - 画像処理装置および画像処理方法および画像処理に用いられるプロセッサ - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、デジタルカメラ等で得られたデジタル画像のコントラストや色かぶり現象を自動的に調整して、より鮮明な画像を得る技術に関するものである。

デジタルカメラで撮影されたカラー画像は、撮像素子であるＣＣＤ素子で得られたアナログ値におけるノイズ割合を表すＳＮレベルやアナログ値をデジタル値に変換する際の変換精度等の影響で、実際に撮影された自然画像の持つ画素濃度のダイナミックレンジよりも狭いレンジに制限されるため、影がかかった細部での情報が損失する現象が発生する傾向がある。特に、画像内に明るい領域と暗い領域が混在するようなサンプルを撮影しようとした場合にその傾向は大きい。

その改善として、デジタル画像の輝度等の範囲をより輝度の高い画像部分からより輝度の低い画像部分までに拡げるように、コントラスト強調を行う手法がまず考えられる。そのコントラスト強調の従来における手法としては、原画像を構成する全画素の輝度値の分布状態を示すヒストグラムを作成し、ヒストグラムの累積曲線を輝度変換曲線として原画像中の画素の輝度値を新な輝度値に変換し、画像のコントラストを強調するヒストグラム均等化手法がある。この手法は、原画像全領域の画素の輝度を同一の輝度変換曲線で新たな輝度に変換するために、部分的にはかえってコントラストが低下してしまう部分が生じることがある。このため、画像全体にわたってコントラスト強調を行いたい場合には、その領域に合ったコントラスト強調処理を行う必要がある。

この手法のさらなる改善として、画像を複数の矩形領域に分割し、各々の領域毎に上記ヒストグラム均等手法を適用する局所的ヒストグラム均等化手法も多く提案されており（例えば、特開２０００−２８５２３０公報）、その構成は図２９のようになる。

図２９は従来の画像処理装置の一例におけるコントラスト改善部を示すブロック図である。図示する画像処理装置は、画像データ入力手段２９０から入力された画像を矩形に分割する画像データ分割手段２９１、矩形ごとにヒストグラムを作成するヒストグラム作成手段２９２、および矩形ごとにコントラストの伸張を行って画像データ出力手段２９４へ出力するコントラスト伸張部２９３よりなる。

しかしながら、この手法を用いた場合、コントラストが強調されすぎる矩形領域が発生したり、隣接する矩形領域間の境界でコントラストが不連続になる可能性があるなどの問題点が指摘されている。

一方、ヒストグラムを利用しないでこのような問題を解決する技術として、フィールドごとにデジタルカメラのシャッタ時間や絞りを変えて、明るい部分と暗い部分を別々に撮像し、得られた各々の情報を１枚の画像に合成して中間調濃度を実現することで、実際に撮影された自然画像の持つ画素濃度度のダイナミックレンジに近づける手法も提案されている。

その例として、特開平６−１４１２２９号公報に参照されている技術があり、装置の構成は図３０のようになる。

図３０は従来の画像処理装置の他の一例を示すブロック図である。図示する画像処理装置は、被写体の光電効果を行う撮像素子３００、画像信号を記録するメモリ３０１、信号レベルを常数倍する乗算手段３０２、画像信号のレベルに応じて重みを付加するレベル重み手段３０３，３０８、信号を加算する加算手段３０４、画像信号の速度を変換する速度変換手段３０５、画像信号のレベルを圧縮するレベル圧縮手段３０６、各ブロックのタイミングを制御するタイミング制御手段３０７である。なお、メモリ３０１、乗算手段３０２、レベル重み手段３０３，３０８および加算手段３０４で画像合成部３０９が構成されている。

この装置は、撮像素子における電荷蓄積期間の異なる２枚以上の画像の信号レベルに応じて重み付け合成を行い、得られた合成画像出力を標準テレビ信号の速度に変換するとともに、テレビ信号での基準レベルに圧縮するテレビ撮像装置に関するものであるため、速度変換手段、レベル圧縮手段等を有する。そのため、デジタルカメラに当てはめえる場合、速度変換手段やレベル圧縮手段は必要な構成要素ではない。

しかし、この発明のように複数の電荷蓄積期間で得られた画像合成による手法の場合、合成された画像におけるコントラストの不連続性は生じにくいが、最低２枚の画像を続けて取るため、原理的に同じ画像を取ることができない。そのため、これらの画像を合成した場合、シャッタ速度にも影響されるが合成画像の細部がぼけたりずれたりする画像が作成される可能性がある。また、明るい部分を撮影する際の濃度レンジと暗い部分を撮影する際の濃度レンジで画像内の持つ濃度レンジ全域をカバーできていない場合、その２つの中間濃度レンジで不連続性が生じる危険もある。

ところで、このような影のかかった領域での細部および色を人間が観察した場合、人間の視覚は上記のような問題を発生させることなく、画像の持つ広い濃度のダイナミクスや色を知覚することができる。このような人間の視覚を中心とした中央視野／周辺視野レティネックスの概念は、Edwin Land により「An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision」,National Academy of Science,第８４巻、pp.３０７８からpp.３０８０（１９８６）の中で紹介されている。

この中では、人間の視覚のレティネックスの概念では、中央視野が２から４基礎単位分の直径を持ち、周辺視野が中央視野の約２００から２５０倍の直径を有する逆２乗関数で記述されている。そして、中央視野、周辺視野各々の視野内での信号強度の空間的平均が知覚される強度に関係するとして定義されている。これらの原理に従い、上記のような暗部における色と明度表現を改善する手法が近年提案されている。

図３１は従来の画像処理装置のさらに他の一例を示すブロック図である。上記の例は国際公開番号ＷＯ９７／４５８０９（特表２０００−５１１３１５公報）で記述されており、図３１はその構成を示す。なお、ここではグレースケール画像を例に説明するが、カラー画像に対しても拡張することができる。

ディジタル撮像装置３１０で取得された画像の（ｉ，ｊ）における画素値Ｉ（ｉ，ｊ）はプロセッサ３１１およびフィルタ３１２によって調整されフィルタリング処理が行われる。

画素ごとに、プロセッサ３１１は、（数１）のような調整画素値Ｉ’（ｉ，ｊ）を算出する。ここで、Ｆ（ｘ，ｙ）は周辺視野を表す周辺視野関数であり、「＊」は畳み込み演算処理を示す。

そして、Ｆ（ｘ，ｙ）が（数２）の条件を満足するように正規化係数Ｋが決定されており、これにより（数１）の第２項は、周辺視野における画素値の平均値に相当する。つまり、（数１）は大きな領域における画素値平均値に対する各画素の画素値の比率を対数変換したものに相当する。周辺視野関数Ｆ（ｉ，ｊ）は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いように設計されており、（数３）のようなガウス関数が適用される。ここでｃは各画素値Ｉ（ｉ，ｊ）の調整画素値Ｉ’（ｉ，ｊ）をコントロールするための定数である。

以上のように、この従来の発明では、周辺視野での平均画素値に対する対象画素値を調整された画素値Ｉ’（ｉ，ｊ）として算出し、この値に対して、ディスプレイ３１３によって使用されるレティネックス出力Ｒ（ｉ，ｊ）を生成するためのフィルタ処理がフィルタ３１２により行われる。フィルタ３１２はＩ’（ｉ，ｊ）を対数領域からディスプレイ３１３で扱われるＲ（ｉ，ｊ）の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセットおよび利得変換関数を適用する処理が用いられる。

しかしながら、この手法の場合、周辺視野関数を制御するｃによる影響を大きく受ける。例えば、このｃが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このｃが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。

このように扱う画像内の画素値のダイナミックスレンジに応じて適切なｃを考慮する必要があり画像依存性の問題が挙げられる。これを改善する技術として、複数の周辺視野領域を設ける手法も同じ文献内に提案されているが、いくつ周辺視野領域を用意するかが明確になっておらず、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。

次に、フィルタ３１２では、ディスプレイ３１３で使用される実際の画素値に変換する処理が行われているが、この発明ではどの画像に対しても同一のオフセットおよび利得変換関数処理をするように設定されており、この最適なオフセットおよび利得変換関数の設定には経験的知見を要する点も問題として挙げられる。さらに、複数の定数ｃにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値Ｉ’（ｉ，ｊ）は複数領域を用意してもＩ（ｉ，ｊ）に関係なく１．０近傍になる。このような場合、画素値変動の小さい対象画素でのＩ’（ｉ，ｊ）はその入力画像全体におけるＩ’（ｉ，ｊ）の平均近傍に位置する場合が多く、フィルタ３１２におけるオフセットおよび利得変換関数の如何を問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。

また、デジタルカメラで撮影された画像の問題点として、色かぶり現象が指摘されている。これは、撮影などの条件によって、適正状態よりも特定色が強く出すぎている状態を示すものである。人間の目の場合、光に順応できるので光源の違いによって色が異なって見えることはありえないが、デジタルカメラで撮影された写真では撮影時の光源によって微妙に色かぶりが生じることがよく起こる。例えば、色かぶりは晴天の日陰はやや青みがかり、朝日や夕日のもとでは赤みがかり、蛍光灯下では緑っぽい色に写る傾向がある。また、プールの水の反射で青かぶり、草木の色の反射で緑かぶり、など被写体周囲の物体の色が反射して色かぶりが生じることもある。

このような色かぶりの除去手段としては、緑（Ｇ＝Ｃ＋Ｙ）が強すぎる場合にはＣとＹの信号を弱めるようにトーンカーブや濃度レベル補正を行うことがマニュアルで行われる。

自動処理としては、例えば図３２のような構成が用いられる。この処理の基本は入力画像全体の平均がグレー（無彩色）になるように各色のバランスを調整するものであり、エバンスの原理といって、世の中の被写体を全て加算すると無彩色になるという仮説に基づくものである。入力画像分布検出手段３２０は画像入力手段１０から入力された入力画像１内のレッド、ブルー、グリーンの各信号の平均値を求めるものであり、基準色設定手段３２１は入力画像１内の輝度の平均値を導出し、この値を基準色とする。そして色バランス修正手段３２２において、入力画像分布検出手段３２０で得られたレッド、ブルー、グリーンの各信号の平均値が基準色になるように入力画像内のレッド、ブルー、グリーン信号を修正する。このようにすることで、入力画像全体の平均色はグレーになり、色かぶりが軽減される。この処理をオートホワイトバランス処理とも呼ぶ。

しかし、このような処理を用いた場合、色彩の鮮やかな色をもつ物体が大きな領域を占めた場合、その色が平均色になる傾向が強くなり、この色が無彩色に近づくような問題が生じる。つまり、芝生の緑が画像の大半を占めているような場合、従来処理では芝生の緑を無彩色にしてしまう（カラーフェイリア）現象を生じることが問題として発生する。
特開２０００−２８５２３０号公報 特開平６−１４１２２９号公報 国際公開第９７／４５８０９号パンフレット（特表２０００−５１１３１５号公報） Edwin Land ,「An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision」,National Academy of Science,第８４巻、pp.３０７８からpp.３０８０（１９８６）

このように、従来のヒストグラムに基づくコントラスト強調処理技術は、特定の部分のコントラストが強調されすぎたり、局所的に隣接する矩形領域境界で不連続性を示すことがあった。

また、複数の絞り条件等で撮像された複数画像を合成した場合、原理的には同じ被写体を撮像することができず、合成画像細部のぼけや色ずれを生じる可能性があった。さらに、デジタル撮影時の照明による色かぶりは何ら改善することができなかった。

従来の人間の視覚モデルをもとにしたコントラスト改善技術では、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。そのうえ、特に輝度の高く広い領域では、調整後の輝度が下がる方向に調整されやすい。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。単純に入力画像と強調画像の平均画像を導出することでこれらはある程度改善できるが、この視覚モデルの特徴の１つである不均一照明による色かぶりの低減を抑止してしまう問題があった。単純に照明の色かぶりを落とす手法として従来のように画像内の平均輝度にレッド、グリーン、ブルー信号の平均値を合わせた場合、一様に鮮やかな色彩が大きな領域を占めた場合、その色がグレー方向に修正されることで彩度が落ちることがあった。

そこで、本発明は、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができる画像処理技術を提供することを目的とする。

上記課題を解決するために、本発明の第１の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出する。

上記課題を解決するために、本発明の第２の画像処理技術は、第１の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものである。

上記課題を解決するために、本発明の第３の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出する。そして入力画像と強調画像の加重平均合成を行う際に、強調画像内の輝度分布を入力画像に合わせ合成する。

上記課題を解決するために、本発明の第４の画像処理技術は、入力画像のエッジ情報と輝度情報をもとに対象画素の属する領域を判定しその領域に合わせて用意された１つの比較領域サイズ内で対象画素の画素値とその周辺領域における平均画素値の比較を行いことでコントラスト改善量を求める。そして、それとともに領域ごとにコントラスト改善量の調整成分を求め、調整処理を行うようにしたものである。

上記課題を解決するために、本発明の第５の画像処理技術は、第４の画像処理技術において領域判定後に各領域に応じて用意された１つの比較領域サイズ内でコントラスト改善量を求めていたものを、複数の比較領域サイズで得られたコントラスト改善量の平均値に変更することで領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。

上記課題を解決するために、本発明の第６の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えたものである。このようにすることで実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができる。

上記課題を解決するために、本発明の第７の画像処理技術は、第６の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができる。

本発明の第１の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出し、入力画像におけるエッジ情報と輝度をもとに強調画像の占める割合と入力画像の占める割合を適応的に制御して加重平均合成を行っているので、一様なハイライト部での濃度レベル低下やシャドウ部における濃度レベルの急激な上昇を抑えることができるとともに、それ以外での領域における強調画像の占める割合を多くすることで、本来視覚モデルの特徴の１つである不均一照明成分を低減したコントラスト改善が可能となるという有効な効果が得られる。

本発明の第２の画像処理技術では、第１の発明で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張しているので、入力画像における画素値のダイナミックレンジや影のような暗部サイズに影響されることなく自動的に入力画像のコントラスト改善や色かぶりの低減化を行うことができるという有効な効果が得られる。

本発明の第３の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求め、そのうちで有効と思われるコントラスト改善量を抽出し、強調画像内の輝度分布を入力画像に合わせて修正しているので、強調画像内において発生したハイライト部における濃度低下やシャドウ部における過剰な濃度上昇のように大きく変化した部分を入力画像にある程度合わせることが可能となり、この修正された強調画像と入力画像の加重平均合成画像である出力画像においてもハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えることが可能となるという有効な効果が得られる。

本発明の第４の画像処理技術では、入力画像のエッジ情報と輝度情報をもとに対象画素の属する領域を判定しその領域に合わせて用意された１つの比較領域サイズ内で対象画素の画素値とその周辺領域における平均画素値の比較を行いことでコントラスト改善量を求め、それとともに領域ごとにコントラスト改善量の調整成分を求め、調整処理を行っているので、エッジ領域部をより鮮明化するとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることが可能となるとともに、処理回数の削減を図ることが可能となるという有効な効果が得られる。

本発明の第５の画像処理技術では、第４の画像処理技術において領域判定後に各領域に応じて用意された１つの比較領域サイズ内でコントラスト改善量を求めていたものを、複数の比較領域サイズで得られたコントラスト改善量の平均値に変更しているので、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができるという有効な効果が得られる。また、エッジ領域の画素に対して近傍のみでコントラスト改善量を導出した場合、強調度合いによってはエッジ付近にホワイトの色とびが生じることがあるが、複数の比較領域より得られたコントラスト改善量の加重平均を改めてこの画素におけるコントラスト改善量とすることでエッジ付近での色とびを低減することも可能となるという有効な効果が得られる。

本発明の第６の画像処理技術では、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えているので、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することが可能となるという有効な効果が得られる。この場合、入力画像との合成を行う装置と行わない装置が考えられ、入力画像との合成を行わない装置の場合、入力画像の持つ照明成分による色かぶりの影響を受けることなく視覚モデルで低減された強調画像が出力されるため、入力画像における色かぶりを低減することができるという有効な効果が得られる。

本発明の第７の画像処理技術では、第６の画像処理技術で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張しているので、入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができるという有効な効果が得られる。

そして、第６の画像処理技術と同様に、入力画像との合成を行わない装置の場合、入力画像の持つ照明成分による色かぶりが低減された強調画像のみが出力されるため、入力画像における色かぶりを低減することができるという有効な効果が得られる。

以下、本発明の実施の形態について、図１から図２８を用いて説明する。なお、これらの図面において同一の部材には同一の符号を付しており、重複した説明は省略されている。また、これ以降では、画素位置（ｉ，ｊ）の単位には全て画素単位が用いられることする。

（実施の形態１）
図１は本発明の実施の形態１である画像処理装置の全体構成を示すブロック図である。

図１に示すように、画像処理装置は、入力画像１を得るためのＣＣＤ素子のような画像入力手段１０、入力画像１よりエッジ情報４を検出するためのエッジ情報検出手段１１、画像入力手段１０で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善手段１２、デジタル入力画像１とコントラスト改善手段１２で得られた強調画像３を合成する画像合成手段１３、画像合成手段１３で得られた合成画像を最終処理後の出力画像２として所望のデバイス（プリンタ、ディスプレイ等）で出力するための画像出力手段１４を備えている。

図２は本発明の実施の形態１である画像処理装置におけるコントラスト改善手段の構成を示すブロック図である。

コントラスト改善手段１２は、図２に示すように、対象画素Ｐｉｊにおけるカラー３成分値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を広さｃのＰｉｊ周囲画素との比較によりコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する強調量導出手段２０、強調量導出手段２０で得られたコントラスト改善量ＶＲＰｉｊより有効となる範囲を限定し抽出する抽出手段２１、抽出手段２１で選択されたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段２２からなる。

図４は本発明の実施の形態１である画像処理装置における画像合成手段の構成を示すブロック図である。画像合成手段１３は、図４に示すように、入力画像１内の輝度とエッジ情報検出手段１１で得られたエッジ情報４をもとに入力画像１とコントラスト改善手段１２で得られた強調画像３に掛かる結合係数ｗｓ（ｓ＝１，３；ここでｗ１は入力画像１に掛かる結合係数であり、ｗ３は強調画像３に掛かる結合係数を示す）を決定する結合係数導出手段４０と、結合係数導出手段４０で得られた結合係数ｗ０、ｗ１を使って、入力画像１とコントラスト改善手段１２で得られた強調画像３の加重平均画像を生成する加重平均合成手段４１、そして加重平均合成手段４１で得られた加重平均合成画像と入力画像１、そして強調画像３を比較して出力画像の画素値を決定する出力値決定手段４２より構成される。

以上のように構成された実施の形態１である画像処理装置の動作について図５および図６に従い説明する。

図５は本発明の実施の形態１である画像処理方法における全体の動作を示すフローチャート（図５（ａ））とエッジ情報導出処理を示すフローチャート（図５（ｂ））である。図６は本発明の実施の形態１である画像処理方法おけるコントラスト改善処理を示すフローチャート（図６（ａ））と画像合成処理を示すフローチャート（図６（ｂ））である。

図５（ａ）において、先ず、画像入力手段１０を介して、カラーの入力画像１がデジタル入力される。画像入力手段１０では、カラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。そして、画像入力手段１０ではこの値を０．０から１．０の値に正規化する。

次に、デジタル入力画像１に対して、エッジ情報を検出する処理がエッジ情報検出手段１１で行われる。

この処理は、図５（ｂ）に示すように、まず入力画像全ての画素Ｐｉｊに対して輝度ｙ（ｉ，ｊ）を計算する。このように処理簡略化等の理由でエッジ情報検出は輝度成分に対してのみ行われる。

図７は本発明の実施の形態１である画像処理装置の情報検出手段で使用されるフィルタ係数例を示す説明図であり、本発明の実施の形態１〜７の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図である。

エッジ情報の検出としては様々な方法があるが、ここでは図７のような５画素×５画素のサイズをもつフィルタを適用する。画素Ｐｉｊを中心としてこのフィルタを適用して得られたｘ方向での成分量ｅｘ（ｉ，ｊ）とｙ方向での成分量ｅｙ（ｉ，ｊ）の二乗和の平方根を画素Ｐｉｊのエッジ情報ｅｄ（ｉ，ｊ）とする。

この定義は一義的ではなく、３画素×３画素サイズのソーベルフィルタと呼ばれるフィルタでも可能である。また、エッジ情報も輝度成分のみだけでなく、カラー３成分で図７のフィルタを適用して得られるベクトルとして取り扱うことも可能である。このようにして得られた全画素に対するエッジ情報ａｖｅ＿ｅｄと輝度の平均値ａｖｅ＿ｙを求める。

次に、デジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。

図９は本発明の実施の形態１〜７の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図である。コントラスト改善手段１２では図９のように行われる。

すなわち、人間の視覚では、図９に模式的に示されるように対象画素Ｐｉｊに対して知覚された画素値のみでＰｉｊの画素情報（色、コントラストなど）を認知するのではなく、対象画素Ｐｉｊをその周囲にある画素の情報との相対的な関係により、対象画素値Ｐｉｊの画素値を調整することでＰｉｊの画素情報を知覚している。

これは、従来例で説明したようにEdwin Landにより紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。

つまり、図６（ａ）において、まず、対象画素Ｐｉｊの画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））をＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。

そして、周辺視野における画素値の加重平均画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を求めるとともに、このＶＰｉｊとＶＰｉｊの間の相対的関係につながるコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。

このＶＡＰｉｊとして、従来例のように（数１）の第２項におけるｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））と（数２）、（数３）のようにガウス関数で定義された周辺視野関数Ｆ（ｘ，ｙ）の畳み込み積分値で定義することも可能であり、コントラスト改善量ＶＲＰｉｊも（数１）を３成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。

その例として、（数４）のようにＶＡＰｉｊはｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の平均値を定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））も（数５）のように各成分ごとの画素値ＶＰｉｊの加重平均画素値ＶＡＰｉｊに対する比として定義することができる。

また、（数６）、（数７）のようにｃ画素の周辺視野内における輝度ｙ（ｉ，ｊ）の平均値をＶＡＰｉｊの３成分として定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））は（数７）のように画素Ｐｉｊにおける各成分値の加重平均画素値ＶＡＰｉｊに対する比として定義することも可能である。

このようにすることで、比較対象となる周辺視野の画素値の加重平均画素値ＶＡＰｉｊは各成分とも同じ値になるため、（数４）、（数５）のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できる。そこで本発明では（数６）、（数７）による定義を採用することとした。

以上のような対象画素Ｐｉｊに対するコントラスト改善量ＶＲＰｉｊを入力画像内の全ての画像に対して行う。その後、コントラスト改善量ＶＲＰｉｊの成分ごとの平均値ＶａＲ（ａＲｒ，ａＲｇ，ａＲｂ）と標準偏差量ＶｄＲ（ｄＲｒ，ｄＲｇ，ｄＲｂ）を求め、その値を使ってコントラスト改善量ＶＲＰｉｊより抽出される際の最小値ｅｍｉｎと最大値ｅｍａｘを導出する。

この導出としても多くの方法があるが、ここでは、ｅｍａｘの候補としてａＲｒ＋α×ｄＲｒ、ａＲｇ＋α×ｄＲｇ、ａＲｂ＋α×ｄＲｂを求め、この３値の内の最大値をｅｍａｘとする。そして、ｅｍｉｎの候補としてａＲｒ−β×ｄＲｒ、ａＲｇ−β×ｄＲｇ、ａＲｂ−β×ｄＲｂを求め、この３値の内の最小値をｅｍｉｎとする。このようにすることで、抽出されたコントラスト改善量ＶＲＰｉｊの各成分のバランスが崩れないように、必要とする領域を抽出することとした。

次に、このｅｍａｘとｅｍｉｎを使って、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の各成分は０．０から１．０の範囲内の値に変換される処理が行われる。このようにして得られたコントラスト改善量ＶＲＰｉｊを対象画素Ｐｉｊにおけるコントラスト改善で得られた強調画像３の画素値と見なされ、コントラスト改善処理が終了する。

このような一連の処理により、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみは取り出され中心からの変動量は強調されるとともに、中心付近から大きく外れた比の値を持つ画素のコントラスト改善量ＶＲＰｉｊは１．０もしくは０．０になりやすくなる。そのため、中心視野である対象画素Ｐｉｊとその周辺視野における画素の差が少しでもある領域はその差が強調されやすくなりコントラスト強調が行われ、影内の細部や入力機器のレンジ不足で埋もれてしまった色情報を強調して表現することができるようになる。

この発明の場合、各画素におけるコントラスト調整量の導出が従来のレティネックス概念による手法よりも簡易な形で構成されている。そして、従来のレティネックス概念による手法では、各画素におけるコントラスト調整量から実際の画素値成分へ変換する際のフィルタ処理（オフセット、利得変換関数）の設定が経験的知識を要することが問題とされていたが、本発明ではその必要がないことが利点として挙げられる。

一方、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみを抽出し、その前後の領域を０．０もしくは１．０で飽和させることにより、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、ＣＣＤ等で入力時発生したシャドウ部における色ノイズを際立たせるようなことがあった。

図１０は本発明の実施の形態１または２である画像処理方法におけるエッジ情報と画像合成処理の関連を示す概念図である。図１１は本発明の実施の形態１または２である画像処理方法における入力画像と強調画像に掛かる重み係数を決めるファジィルールを示す概念図である。

本発明では、これらの問題を解決するために、入力画像１と視覚モデルで得られた強調画像３を適応的に合成することで（図１０）、入力画像１が本来持つ輝度レベルの低減や上昇を抑えることとしたのである。その手法としては多くの手法が考えられるが、ここでは入力画像のエッジ情報と輝度に注目して、入力画像１に掛かる結合係数ｗ１と強調画像３に掛かる結合係数ｗ３を制御することとした。

図６（ｂ）に画像合成手段における処理フローを表し、結合係数の制御関数を（数８）と図１１に示す。

強調画像３における輝度低下と輝度の急激な上昇による画質劣化が生じるのは、主に大きな領域で一律な色を持つハイライト部や大きな領域で一律な色を持つシャドウ部で見受けられる。

一方、単純に入力画像１と強調画像３を合成した場合、入力画像１で問題とされている照明光の影響で生じる色かぶりをそのまま引きずることになり、本来強調画像で低減されていた照明光による色かぶりの改善を阻害することになってしまうため、できるかぎり強調画像を優先した方が照明光による色かぶりの低減につながることとなる。

以上のような考察より、一様に色変化の小さいハイライト部とシャドウ部では、強調画像３よりも入力画像１の画素値を優先するようにし、それ以外の部分では強調画像３を優先するようにした方が出力画像の改善に効果的と思われる。

そこで、エッジ部分では強調画像を優先し、エッジ部分でなく輝度の高い部分と低い部分では入力画像を優先するように結合係数を制御するような手法を用いることとした。

その手法としては多くがあるが、本発明では（数８）のようなファジィルール１と２を用いることとした。その際に適用されるファジィ関数は図１１のようになる。

ルール１が入力画像でエッジでない部分で輝度の高い部分と低い部分に含まれる画素に対する合成出力画素値を決めるルールを表し、ルール２が入力画像でエッジ部分に含まれる画素に対する合成出力画素値を決めるルールを表す。

まず対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）とエッジ情報ｅｄ（ｉ，ｊ）をもとに、ルール１に対する信頼度ｍ１とルール２に対する信頼度ｍ２を計算する。ルール１に対する信頼度ｍ１は、図１１より明らかなように、エッジ情報が小さくて輝度の高い点と低い点に２つのピークを持つ山型関数（ガウス関数）で定義されており、ルール２に対する信頼度ｍ２はエッジ情報、輝度とも入力画像のエッジ情報の平均値ａｖｅ＿ｅｄと輝度の平均値ａｖｅ＿ｙを中心とした山型をしているガウス関数で定義されている。

このｍ１をｍ２をもとに強調画像３に掛かる結合係数ｗ３はｗ３＝ｍ２／（ｍ１＋ｍ２）で決定され、入力画像１にかかる結合係数ｗ１はｗ１＝１．０−ｗ３で決定される。このようにすることで、エッジでなく輝度の高い部分と低い部分における強調画像の影響を低減されるとともに、それ以外の部分での入力画像内の色かぶりを低減されるようにした。

そして、それとともに、単純にエッジ情報と輝度のしきい値関数処理でｗ１をｗ３を決定した際に発生する可能性のある合成画像内の不連続部分を抑えることも目的としている。この処理を結合係数導出手段４０が行い、このｗ１とｗ３に従い、対象画素Ｐｉｊの合成画像の画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））を加重平均合成手段４１が行う。

しかし、このようにして合成画像の画素値を決めても入力画像の対応する画素値と比較して輝度が低下する可能性がある。そこで、対象画素Ｐｉｊの入力画像における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））と合成画像における画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））を比較して、ＶＷＰｉｊがＶＰｉｊより小さい場合にはＶＷＰｉｊをＶＰｉｊで置き換える処理を出力値決定手段４２が行う。

以上の処理が全画素に対して終了した後、画像出力手段１４で出力画像２の画素値としてＶＷＰｉｊを所定の出力デバイスに出力することでコントラスト改善処理が終了する。

なお、結合係数導出手段４０の処理で、入力画像１の画素値ＶＰｉｊと強調画像３の画素値ＶＲＰｉｊを比較して、ＶＰｉｊが３成分ともＶＲＰｉｊより大きい場合にはｗ１＝１．０、ｗ３＝０．０とし、それ以外にはｗ１＝ｗ３＝０．５として合成画像の画素値ＶＷＰｉｊを求める手法も可能である。

この場合、処理の簡略化にはなるが、特にエッジでない部分において（数８）の場合よりもｗ１の値が大きくなり入力画像１が合成画像で占める割合が大きくなるため、より入力画像の持つ照明光の影響（色かぶり）を受けることになる。そのため、それを低減させる手段を別に考慮する必要がある。

以上のような構成や処理を行うことで、本発明の実施の形態１である画像処理装置および画像処理方法は、従来例の視覚モデルの利点を有効に生かすことで照明光による色かぶりを低減することができるとともに、ハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。

なお、これらの処理は、本発明の実施の形態１である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態１である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（実施の形態２）
本発明の実施の形態２である画像処理装置の全構成は本発明の実施の形態１と同様に図１のように構成されており、コントラスト改善手段１２は図３のような構成になる。

つまり、図３において、３０は強調量を導出する際の初期条件を設定する初期設定手段であり、主に中央視野である対象画素Ｐｉｊと比較する周辺視野部の大きさｃに初期周辺領域サイズｃ０を設定する処理を行う。

２０、２１、２２は本発明の実施の形態１と同様に強調量導出手段、抽出手段、画素値変換手段である。３１は、予め用意された複数の周辺視野領域すべてでコントラスト改善量が算出されたかどうかを判定する終了判定手段であり、３２は終了判定手段３１で終了判定と見なされなかった場合に現在処理している周辺視野の大きさｃを次の候補に変更する比較範囲変更手段である。なお、画像合成手段１３については本発明の実施の形態１と同様に図４のように構成されている。

以上のように構成された実施の形態２である画像処理装置の動作について説明する。図８は本発明の実施の形態２である画像処理方法におけるコントラスト改善処理を示すフローチャートである。

画像入力手段１０を介して、カラー画像１がデジタル入力される。画像入力手段１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。画像入力手段１０ではこの値を０．０から１．０の値に正規化する。

次に、デジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図８のように行われる。この発明の特徴は、本発明の実施の形態１に、複数用意された周辺視野領域でのコントラスト改善を行うことで、画像内に存在する暗部（影）の大きさによる影響を低減するようにした点である。エッジ情報検出手段１１、画像合成手段１３、そして画像出力手段１４は本発明の実施の形態１である画像処理装置と同様であるのでここでは省略する。

図８において、まず、入力画像内における画素Ｐｉｊの画素値ＶＰｉｊをＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。

その際、初期設定手段３０でまずｃ＝ｃ０というように、予め用意された複数の周辺視野領域サイズｃ［ｓ］（ｓ＝０，１,,,,Ｃｎｕｍ−１）のｃ０を周辺視野領域に設定する。この場合、ｃ［ｓ］は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。

ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。強調量導出手段２０では、現在設定されているｃ＝ｃｋの矩形域の周辺視野に対して、周辺視野における画素値の加重平均画素値ＶＡＰｉｊ［ｓ］（Ａｒ＿ｓ（ｉ，ｊ），Ａｇ＿ｓ（ｉ，ｊ），Ａｂ＿ｓ（ｉ，ｊ））が算出される。

そして、すべてのｃ［ｓ］で強調量導出手段２０での画素Ｐｉｊ周辺視野における加重平均画素値計算が終了したかどうかの判定を終了判定手段３１で行う。終了していないと判定された場合には比較範囲変更手段３２へ処理が移り、現在設定されている周辺視野領域ｃをつぎの候補に変更し再び強調量導出手段２０での加重平均画素値算出が行われる。

一方、終了判定手段３１で終了判定された場合には、各周辺視野領域ｃ［ｓ］に対するＰｉｊの加重平均画素値ＶＡＰｉｊ［ｓ］（Ａｒ＿ｓ（ｉ，ｊ），Ａｇ＿ｓ（ｉ，ｊ），Ａｂ＿ｓ（ｉ，ｊ））の重み付き平均値を求め、その値をＰｉｊの全加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））と設定する。

その際、周辺視野領域ｃ［ｓ］の大きさに応じた重み付けを各ｃ［ｓ］によるＰｉｊの加重平均画素値に付加することが考えられるが、ここでは簡易化のために、各ｃ［ｓ］による加重平均画素値ＶＡＰｉｊ［ｓ］の平均画素値をＰｉｊの全加重平均画素値として採用する。

これ以外にも、ｃ［ｓ］による加重平均画素値ＶＡＰｉｊ［ｓ］を各成分別に比較して最大値となる加重平均画素値をＰｉｊの全加重平均画素値とすることも可能である。

こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。そして、Ｐｉｊにおける各成分ごとの画素値Ｖｐｉｊの全加重平均画素値ＶＡＰｉｊに対する比をコントラスト調整量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））として算出する。

これ以降の処理は本発明の実施の形態１と同様に、まず、コントラスト改善量ＶＲＰｉｊより抽出される際の最小値ｅｍｉｎと最大値ｅｍａｘを導出する。次に、このｅｍａｘとｅｍｉｎを使って、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の各成分を０．０から１．０の範囲内の値に変換して得られたコントラスト改善量ＶＲＰｉｊを対象画素Ｐｉｊにおけるコントラスト改善後の画素値と見なして、コントラスト改善処理が終了する。

また、画像合成処理部１３も本発明の実施の形態１と同様に入力画像１のＰｉｊにおける輝度値ｙ（ｉ，ｊ）とエッジ情報ｅｄ（ｉ，ｊ）をもとに、強調画像３に掛かる結合係数ｗ３と入力画像１に掛かる結合係数ｗ１を導出する。

そして、この値を使って、Ｐｉｊにおける入力画像１の画素値ＶＰｉｊと強調画像３の画素値ＶＲＰｉｊの加重平均画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））が求められ、出力値決定手段４２で入力画像１の画素値と比較処理が行われ、出力画像２におけるＰｉｊの画素値ＶＷＰｉｊをして決定される。このような処理が全画素に対して行うことで、最終的に画像出力手段１４で出力される出力画像２が生成される。

以上のような構成や処理を行うことで、本発明の実施の形態２である画像処理装置および画像処理方法は、本発明の実施の形態１である画像処理装置および画像処理方法の特徴を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。

なお、これらの処理は、本発明の実施の形態２である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態２である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（実施の形態３）
図１２は本発明の実施の形態３である画像処理装置の全体構成を示すブロック図である。図１３は本発明の実施の形態３である画像処理装置における簡易画像合成手段の構成を示すブロック図である。

図１２に示すように、画像処理装置は、入力画像１を得るための画像入力手段１０、画像入力手段１０で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善手段１２、コントラスト改善手段１２で得られた強調画像３内の濃度分布を入力画像内の濃度分布に合うように修正する濃度修正手段１２１、濃度修正手段１２１で得られた修正画像５と入力画像１の合成を行う簡易画像合成手段１２０、簡易画像合成手段１２０で得られた合成画像を最終処理後の出力画像２として所望のデバイスで出力するための画像出力手段１４を備えている。

ここで、簡易画像合成手段１２０は、図１３に示すように、修正画像内の対象画素信号をもとに、入力画像と強調画像に掛かる結合係数を決定する簡易結合係数導出手段１３０、簡易結合係数導出手段で得られた各画像の結合係数を使って、入力画像と強調画像もしくは修正画像の加重平均画像を生成する加重平均合成手段４１、加重平均合成手段４１で得られた合成後の画像と入力画像をもとに、出力画像における画素値を決定する出力値決定手段４２より構成される。

この実施の形態３での特徴は、本発明の実施の形態１と同様な方法で算出された強調画像３の輝度分布を入力画像１に合わせて補正することで、入力画像１と強調画像３の合成時に発生するハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えるようにしたものである。

以上のように構成された実施の形態３である画像処理装置の動作について図１４および図１５に従い説明する。

ここで、図１４が本発明の実施の形態３である画像処理方法における全体の動作を示すフローチャート（図１４（ａ））と強調画像の濃度修正処理を示すフローチャート（図１４（ｂ））を表し、図１５が本発明の実施の形態３である画像処理方法における簡易画像合成手段の動作を示すフローチャートを表す。コントラスト改善処理におけるフローチャートは本発明の実施の形態１における図６（ａ）もしくは本発明の実施の形態２における図８と同様である。図１６は本発明の実施の形態３である画像処理方法における強調画像３の濃度修正処理の概要を示す図である。

画像入力手段１０、コントラスト改善手段１２、画像出力手段１３は本発明の実施の形態１もしくは本発明の実施の形態２と同様の動作を行うためここでは省略する。

濃度修正処理は図１４（ａ）のように行われる。つまり、強調画像３では、陰影で覆われた細部のコントラストを改善するだけでなく変動が少なく広範囲にわたるハイライト部の輝度低下と変動が少なく広範囲にわたるシャドウ部の急激な輝度上昇が生じてしまう。

この場合、問題とされる領域は広範囲にわたることで強調画像内の画像分布を検討した場合、平均輝度ａｖｅ＿Ｒｙに大きな影響をきたすことが考えられる。そこで、強調画像３の平均輝度ａｖｅ＿Ｒｙを入力画像の平均輝度ａｖｅ＿ｙに一致するように強調画像３内の画素値を変換させることで、上記問題を改善することができる。

図１４（ｂ）において、強調画像３に対して、Ｐｉｊにおける輝度Ｒｙ（ｉ，ｊ）、色差Ｒｕ（ｉ，ｊ），Ｒｖ（ｉ，ｊ）を算出する。次に、強調画像３の平均輝度ａｖｅ＿Ｒｙと入力画像１の平均輝度ａｖｅ＿ｙを算出する。

そして、各画素ごとに差分量ａｖｅ＿ｙ−ａｖｅ＿Ｒｙを強調画像３の画素Ｐｉｊの輝度値Ｒｙ（ｉ，ｊ）に加え改めて輝度Ｒｙ（ｉ，ｊ）とする。最後にこの補正後の輝度Ｒｙ（ｉ，ｊ）と色差Ｒｕ（ｉ，ｊ），Ｒｖ（ｉ，ｊ）より補正後の画素値ＶＤＰｉｊ（Ｄｒ（ｉ，ｊ），Ｄｇ（ｉ，ｊ），Ｄｂ（ｉ，ｊ））を算出することで処理を終える。

簡易画像合成手段１２１では、図１５に示すように、まず入力画像１と修正画像５の輝度より各々画像に掛かる結合係数ｗ１、ｗ３が導出される。前述した実施の形態１および２では、この導出に入力画像１のエッジ情報４も利用されているが、本実施の形態では濃度修正手段１２０である程度広範囲におけるハイライト部の輝度低下等が改善されていることを考え、ｗ１＝０．３、ｗ３＝０．７のように強調画像３を優先するような結合係数を設定した。

そして、加重平均合成手段４１がこの結合係数をもとに合成画像を生成し、出力値決定手段４２で対象画素Ｐｉｊの入力画像における画素値ＶＰｉｊと合成画像における画素値ＶＷＰｉｊの比較処理を行うのである。

このように強調画像３の濃度修正を行う処理を加えることで、実施の形態３である画像処理技術では、図１６に示すように、強調画像内において発生したハイライト部における濃度低下やシャドウ部における過剰な濃度上昇のように大きく変化した部分を入力画像にある程度合わせることが可能となり、結果として出力される出力画像における問題をより簡易な方法で改善することができる。

また、入力画像の占める割合が小さくなることで、強調画像で改善された色かぶり現象の特性もある程度出力画像に引き継がれ、色かぶりを低減したコントラスト改善が実現できる。

なお、これらの処理は、本発明の実施の形態３である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態３である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（実施の形態４）
図１７は本発明の実施の形態４である画像処理装置の全体構成を示すブロック図である。図１８は本発明の実施の形態４である画像処理装置における第２コントラスト改善手段の構成を示すブロック図である。図１９は本発明の実施の形態４である画像処理方法における全体の動作を示すフローチャート（図１９（ａ））と第２コントラスト改善処理を示すフローチャート（図１９（ｂ））である。

図１７に示すように、画像処理装置は、入力画像１を得るための画像入力手段１０、入力画像１よりエッジ情報４を検出するためのエッジ情報検出手段１１、第２コントラスト改善手段１７０、第２コントラスト改善手段１７０で得られた強調画像３と入力画像１の合成を行う簡易画像合成手段１２０、簡易画像合成手段１２０で得られた合成画像を最終処理後の出力画像２として所望のデバイスで出力するための画像出力手段１４を備えている。

ここで、第２コントラスト改善手段１７０は、図１８に示すように、エッジ情報４より対象画素Ｐｉｊの属する領域が判定される領域判定手段１８０、領域判定手段１８０で判定された領域に従い画素比較範囲を選択する比較範囲選択手段１８１、コントラスト改善量を導出する強調量導出手段２０、判定された領域に応じて強調量導出手段２０のコントラスト改善量を調整するための調整係数を求める調整係数導出手段１８２、調整係数導出手段１８２で得られた係数をもとに強調量導出手段２０のＰｉｊにおけるコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を調整する調整手段１８３、および抽出手段２１と画素値変換手段２２より構成されている。

ここでのポイントは、エッジ情報をもとに対象画素Ｐｉｊの属する領域を判定しその領域に応じて画素比較範囲を選択する点にある。

図１７および図１８のように構成された実施の形態４である画像処理装置における全体の処理の流れおよび第２コントラスト改善処理の流れは図１９（ａ）、（ｂ）のようになる。

つまり、画像入力手段１０で入力された入力画像１の画素Ｐｉｊに対してエッジ情報ｅｄ（ｉ，ｊ）が求められる。次に、領域判定手段１８０でｅｄ（ｉ，ｊ）と輝度ｙ（ｉ，ｊ）をもとにこの画素の属する領域が判定され、この判定に応じて１８１が比較範囲選択を行う。この画素比較範囲選択方法の概要を図２０に表す。図２０は本発明の実施の形態４である画像処理方法における比較領域の選択方法を示す概念図である。

この図２０で示すように、なだらかで輝度の低いシャドウ部では過剰強調を避けるために、画素比較範囲を大きくとるようにする。それに対し、エッジ付近ではそのエッジ部で埋もれているであろう変化を強調するために、対象画素近傍での比較によりコントラスト改善量を求めるようにする。一方、なだらかな変化で輝度の高い部分については、画素周囲の平均画素値に変化を生じさせることができるような大きな比較範囲を設けるか、それが不明の場合は中間での画素比較範囲を適用することとする。

次に、調整係数導出手段１８２では、判定された領域に応じて調整係数を決める。これは、領域判定手段１８０の領域判定に応じて予想されるコントラスト改善量を見越し、その調整を行うための係数を求めるものである。

なだらかに変化する輝度の高い領域では、強調量導出手段２０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））が１．０付近になりやすく入力画像よりも低い値になることが多いことを見越して、この値を大きくするように調整係数ｋ（ｉ，ｊ）が設定される。

ここでは、２０％増にするとしてｋ（ｉ，ｊ）＝１．２とする。エッジ付近では、コントラスト改善量は十分強調された値になるため、ｋ（ｉ，ｊ）＝１．０と設定される。

一方、なだらかに変化する輝度の低い領域では、２０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））が１．０付近になりやすく、入力画像よりも急激に高い値になることが多いことを見越して、この値を小さくするように調整係数ｋ（ｉ，ｊ）が設定される。

ここでは、２０％減にするとしてｋ（ｉ，ｊ）＝０．８とする。調整手段１８３では、この調整係数ｋ（ｉ，ｊ）を２０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の各成分に乗算して改めてコントラスト改善量ＶＲＰｉｊとする。

こうした処理が全画素に対して行われ、この後、本発明の実施の形態１と同様に抽出処理と画素値変換処理が行われ、強調画像３が生成されるのである。そして、この強調画像３と入力画像１の合成処理が簡易画像合成手段１３０で行われ、画像出力手段１４で出力画像として出力される。合成処理については本発明の実施の形態３と同様である。

以上のように、本実施の形態の画像処理技術では、エッジ情報で予め対象画素の属する領域を判定しその領域に応じた比較範囲と調整係数を設定する。そして、この画素比較範囲内の周囲画素の平均画素値との比較でコントラスト改善量を求めるとともに、その値の調整を行うことで強調画像３におけるハイライト部とシャドウ部の問題点を解消することをねらったものである。そのため、画像合成処理も単純に強調画像の占める割合を大きくする処理でも成果を得ることができる。そして、入力画像の占める割合が小さくなることで、出力画像でも色かぶり現象を改善することができる。

なお、よりハイライト部とシャドウ部の問題点を改善するために簡易画像合成手段１２０の代わりに本発明の実施の形態１もしくは実施の形態２で使用した画像合成手段を用いることも可能であり、この場合にはエッジ情報検出手段１１で得られたエッジ情報４がこの画像合成手段に加えられる。

さらに、これらの処理は本発明の実施の形態４であるカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態４である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（実施の形態５）
本発明の実施の形態５である画像処理装置の全構成は本発明の実施の形態４と同様に図１７のように構成されており、第２コントラスト改善手段１７０は図２１のような構成になる。図２１は本発明の実施の形態５である画像処理装置における第２コントラスト改善手段の構成を示すブロック図である。図２２は本発明の実施の形態５である画像処理方法における第２コントラスト改善処理を示すフローチャートである。

つまり、本発明の実施の形態４と異なる点は、図２１において、本実施の形態の第２コントラスト改善手段１７０では複数の画素比較範囲で得られたコントラスト改善量の平均値を導出され、第２コントラスト改善手段１７０の領域判定手段１８０で得られた領域情報はこのコントラスト改善量の平均値に掛かる調整係数を推定するために使用される点である。

これは、本発明の実施の形態４のように領域ごとに比較範囲を設定した場合、処理速度は速くなる。しかし、領域判定ミスによる比較範囲選択の誤りの影響を受ける可能性があること、エッジ部分において差を強調するために近傍のみの比較を行った場合、エッジ程度によっては過剰強調によりホワイト色による色とびが発生すること、陰影サイズによってはあまり近傍過ぎると周囲画素の平均画素値が対象画素値に近づいてしまい強調できないことがあること等の問題が考えられる。

そこで、本発明の実施の形態２と同様に複数の比較範囲を用意して各範囲で得られたコントラスト改善量の平均値で対象画素のコントラスト改善量ＶＲＰｉｊを導出するようにしたものである。

第２コントラスト改善処理の流れを表す図２２より明らかなように、まずエッジ情報４をもとに画素Ｐｉｊが一様に広いハイライト部分か一様に広いシャドウ部分かそれ以外の部分に属するかの判定を領域判定手段１８０が行う。

次に、この判定結果をもとに、各比較範囲で得られたコントラスト改善量の平均値と調整するための調整係数を調整係数導出手段１８１が決定する。この決め方については、例えば本発明の実施の形態４と同じようにすることができる。

また、初期設定手段３０から比較範囲変更手段３２では、本発明の実施の形態２と同様に、初期設定手段３０で初期設定された条件でまず強調量導出手段２０がコントラスト改善量ＶＲＰｉｊを求め、終了判定手段３１で全ての比較範囲で２０の処理が完了したかどうかの判定がされる。

この終了判定が満足されていない場合には、次に用意された画素比較範囲に設定し直して強調量導出手段２０での強調量導出処理が行われ、終了判定が満足された場合には、各比較範囲におけるコントラスト改善量の平均値を改めてこの画素におけるコントラスト改善量ＶＲＰｉｊと設定し、これに調整手段１８３が調整係数導出手段１８２で得られた調整係数と設定し、これに調整手段１８２が調整係数導出手段１８２で得られた調整係数ｋ（ｉ，ｊ）を乗算することでコントラスト改善量ＶＲＰｉｊを補正する。

その後、必要と思われる領域を抽出手段２１が抽出し画素値変換手段２２が実際の画素値（レッド、ブルー、グリーン信号）に変換することで強調画像３を生成するのである。

そして、この強調画像３と入力画像１の合成画像を簡易画像合成手段が生成する。この際、色かぶり解消を保つために強調画像の占める割合が大きくなるように、例えば、強調画像３に掛かる結合係数結合係数ｗ３＝０．７、入力画像１に掛かる結合係数ｗ１＝０．３のようにすることで画像合成を行い、画像出力手段１４で出力画像として出力デバイスに出力する。

以上のように、本実施の形態の画像処理技術では、実施の形態４において領域判定後に各領域に応じて用意された１つの比較領域サイズ内でコントラスト改善量を求めていたものを、実施の形態２と同様に複数の比較領域サイズで得られたコントラスト改善量の平均値に変更することで領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。

また、エッジ領域の画素に対して近傍のみでコントラスト改善量を導出した場合、強調度合いによってはエッジ付近にホワイトの色とびが生じることがあるが、複数の比較領域より得られたコントラスト改善量の加重平均を改めてこの画素におけるコントラスト改善量とすることでエッジ付近での色とびを低減することも可能となる。

なお、簡易画像合成手段１２０の代わりに本発明の実施の形態１もしくは実施の形態２で使用した画像合成手段を用いることも可能であり、この場合にはエッジ情報検出手段１１で得られたエッジ情報４がこの画像合成手段に加えられる。

さらに、これらの処理は本発明の実施の形態５である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態５である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（実施の形態６）
図２３は本発明の実施の形態６である画像処理装置の全体構成を示すブロック図であり、図示するように、本実施の形態の画像処理装置では、入力画像１と強調画像３の合成処理をしない場合（図２３（ａ））と、入力画像１と強調画像３の合成処理を経て出力画像２を生成する場合（図２３（ｂ））とがある。図２４は本発明の実施の形態６である画像処理装置における第３コントラスト改善手段の構成を示すブロック図である。図２５は本発明の実施の形態７である画像処理装置における第３コントラスト改善手段の構成を示すブロック図である。

どちらも、強調画像３の生成は第３コントラスト改善手段２３０が行い、この第３コントラスト改善手段２３０の構成は、入力画像１と強調画像３の合成処理をしない場合は図２４のようになり、入力画像１と強調画像３の合成処理を経て出力画像２を生成する場合は図２５のようになる。

まず図２３（ａ）の場合について説明する。

図２３（ａ）の場合は、画像入力手段１０、視覚モデルによりコントラスト改善量を導出する第３コントラスト改善手段２３０、そして第３コントラスト改善手段２３０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））をそのまま出力画像の画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））とする画像出力手段１４より構成される。

そして、図２４に示すように、第３コントラスト改善手段２３０は、強調量導出手段２０、強調量を算出する際の周囲の画素値を拘束する強調量導出濃度拘束手段２４０、強調量導出手段２０で得られたコントラスト改善量から必要な部分を抽出する抽出手段２１、そして抽出手段２１で抽出された値を実際のレッド、ブルー、グリーンの画素値に変換する画素値変換手段２２より構成される。

この場合の処理の流れは図２６のようになる。図２６（ａ）は本発明の実施の形態６である画像処理方法における全体の動作を示すフローチャートであり、第３コントラスト改善処理を示すフローチャートは図２６（ｂ）のようになる。

図示するように、本発明の実施の形態１におけるコントラスト改善処理とほぼ同じ処理がされるが、対象画素Ｐｉｊの周囲範囲内の画素値の上下限を抑制することが異なる点である。ここでは、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を（数６）、（数７）で計算する場合を考える。

その場合、強調量導出濃度拘束手段２４０では、対象画素Ｐｉｊの周囲範囲内の輝度値ｙ（ｉ，ｊ）をｔｈＬｏｗ＿ｙ≦ｙ（ｉ，ｊ）≦ｔｈＨｉｇｈ＿ｙのように上下限を抑えることとなる。この処理の概要は図２８で示される。図２８は本発明の実施の形態６または７の画像処理装置における強調量導出基準拘束手段での処理の概要を示す説明図である。

このように上限を抑えることで、一様に広いハイライト部分内の画素値のコントラスト改善量を求める際に、（数６）による周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））はＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））より抑えられ、結果としてＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））はコントラスト改善量の中心付近になる１．０より大きな値となる。

そのため、この値を画素値変換手段２２で実際の画素値に変換した場合、そのＶＲＰｉｊは輝度の高い値に戻るようになる。一方、一様に広いハイライト部分内の画素値のコントラスト改善量を求める際には（数６）による周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））はＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））より上昇させられ、結果としてＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））はコントラスト改善量の中心付近になる１．０より小さい値となる。そのため、この値を画素値変換手段２２で実際の画素値に変換した場合、そのＶＲＰｉｊは輝度の低い値に戻るようになる。

本発明のポイントは、このように強調量導出手段２０のコントラスト改善量を求める際の分母に相当する周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を意識的に抑えたり、上げたりすることでこのコントラスト改善量より得られる画素値を制御することにあり、非常に単純な処理である程度の効果を得ることができる。

次に、図２３（ｂ）の場合について説明する。

図２３（ｂ）の場合は、画像入力手段１０、視覚モデルによりコントラスト改善量を導出する第３コントラスト改善手段２３０、そして第３コントラスト改善手段２３０で得られたコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））と入力画像１の対応する画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の合成画像の画素値ＶＷＰｉｊ（Ｗｒ（ｉ，ｊ），Ｗｇ（ｉ，ｊ），Ｗｂ（ｉ，ｊ））を求める簡易画像合成手段１２０、簡易画像合成手段１２０で得られた画素値ＶＷＰｉｊを出力する画像出力手段１４より構成される。

図２３（ａ）の場合では、一様に広いハイライト部での輝度低下と、一様に広いシャドウ部での輝度の急激な上昇を十分改善できない場合が考えられるので、図２３（ｂ）では入力画像１との合成をすることでさらにその改善を図ったものである。その際、入力画像１に掛かる結合係数を抑え強調画像３にかかる結合係数を優先することで、出力画像２における色かぶりの低減も実現できるように簡易画像合成手段を適用した。

以上のように、本実施の形態６の画像処理技術は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、周辺領域内の平均画素値の上下限に制約を設け、その範囲内に抑えるような手段を加えたものである。このようにすることで、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することが可能となる。

なお、この発明ではコントラスト改善量として（数６）、（数７）による場合で説明したが、（数４）、（数５）の場合でも適用できる。この場合、３成分ともに上下限を一致させることも可能であるが、最終的に得られる出力画像のバランスを崩さないように周辺視野における画素の画素値ごとにその上下限を設定した方が効果的である。

さらに、これらの処理は本発明の実施の形態６である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態６である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（実施の形態７）
本発明の実施の形態７である画像処理装置の全構成は本発明の実施の形態６と同様に図２３のように構成されており、第３コントラスト改善手段２３０は図２５のような構成になる。

つまり、図２５において、第３コントラスト調整手段２３０は、初期設定手段３０、強調量導出手段２０、強調量を算出する際の周囲の画素値を拘束する強調量導出濃度拘束手段２４０、全比較範囲での処理が終了したかどうかの判定を行う終了判定手段３１、終了判定されない場合には比較範囲を変更する比較範囲変更手段３２、強調量導出手段２０で得られたコントラスト改善量から必要な部分を抽出する抽出手段２１、そして抽出手段２１で抽出された値を実際のレッド、ブルー、グリーンの画素値に変換する画素値変換手段２２より構成される。

本発明の実施の形態７である画像処理装置および画像処理方法における全体の処理の流れは本発明の実施の形態６と同様である。第３コントラスト改善処理における処理の流れは図２７のようになる。図２７は本発明の実施の形態７である画像処理方法における第３コントラスト改善処理を示すフローチャートである。

この図より明らかなように、本発明の第３コントラスト改善処理のポイントは、本発明の実施の形態１であるコントラスト改善処理のフローチャート図（図６（ａ））に各画素比較範囲で計算される各周辺視野領域ｃ［ｓ］に対するＰｉｊの加重平均画素値ＶＡＰｉｊ［ｓ］の上下限を抑制することにある。

対象画素Ｐｉｊに対して、初期比較範囲ｃ［０］でまずＰｉｊの加重平均画素値ＶＡＰｉｊ［ｓ］を（数６）、（数７）に従い求める。その際に、周囲範囲内の輝度値ｙ（ｉ，ｊ）をｔｈＬｏｗ＿ｙ≦ｙ（ｉ，ｊ）≦ｔｈＨｉｇｈ＿ｙのように上下限を抑えるが、このようにすることで本発明の実施の形態６と同様に、強調量導出手段２０のコントラスト改善量を求める際の分母に相当する周辺視野における画素値の加重平均画素値ＶＡＰｉｊ［ｓ］を意識的に抑えたり、上げたりすることでこのコントラスト改善量より得られる画素値を制御することにある。

終了判定手段３１では、Ｐｉｊに対して用意された全画素比較範囲ｃ［ｓ］に対して強調量導出手段２０の処理が終了したかどうかの判定を行う。この終了判定がされていない場合には比較範囲変更手段３２で次の画素比較範囲ｃ［ｓ］に変更して強調量導出手段２０へ処理が移る。

一方、終了判定された場合には、ＶＡＰｉｊ［ｓ］の重み付き平均値を求め、その値をＰｉｊの全加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））と設定する。

そして、この値をもとにＰｉｊにおけるコントラスト改善量ＶＲＰｉｊを（数７）で計算する。抽出手段２１はそのＶＲＰｉｊより必要とする領域を抽出し、画素値変換手段２２で実際のレッド、ブルー、グリーンの画素値に変換する処理を行うのである。この処理を全画素に対して行うことで第３コントラスト改善処理は完了する。

この処理の後、図２３（ａ）の場合はここで得られた強調画像３をそのまま出力画像の画素Ｐｉｊにおける画素値ＶＷＰｉｊとして画像出力手段１４が所定のデバイスに出力する。図２３（ｂ）の場合は、強調画像３と入力画像１の合成処理を簡易画像合成手段１２０が行う。その際、強調画像の持つ色かぶり低減の特徴をできるだけ生かすために、強調画像３にかかる結合係数を優先し、入力画像１にかかる結合係数を小さい値にすることで画像合成処理を行い、得られた合成画像を画像出力手段１４が出力するのである。

以上のように本実施の形態の画像処理技術は、実施の形態６で対象画素値とその周辺領域における平均画素値の比較により算出したコントラスト改善量を複数の周辺領域でのコントラスト改善量の加重平均値に拡張したものであり、このようにすることで入力画像における画素値のダイナミックレンジや影のような暗部サイズに大きく影響されることなく自動的に入力画像のコントラスト改善を行うことができる利点を持つ。

なお、この発明ではコントラスト改善量として（数６）、（数７）による場合で説明したが、（数４）、（数５）の場合でも適用できる。この場合、３成分ともに上下限を一致させることも可能であるが、最終的に得られる出力画像のバランスを崩さないように周辺視野における画素の画素値ごとにその上下限を設定した方が効果的である。

また、これらの処理は本発明の実施の形態７である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）およびデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の実施の形態７である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

以上のように、第１の画像処理技術によれば、入力画像におけるエッジ情報と輝度をもとに強調画像の占める割合と入力画像の占める割合を適応的に制御して加重平均合成を行うことで、一様なハイライト部やシャドウ部における濃度の問題を解消するとともに、入力画像における撮影時の照明成分を低減することができるようにしたものである。

尚、また、第２の画像処理技術によれば、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させるものである。

尚、また、第３の画像処理技術によれば、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑えるようにしたものである。

尚、また、第４の画像処理技術によれば、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えるようにできる。

尚、また、第５の画像処理技術によれば、領域判定誤りにより適正でない比較領域サイズが使用された際の影響を低減することができる。

尚、また、第６の画像処理技術によれば、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができる。

尚、また、本発明の第７の画像処理技術によれば、入力画像と周辺視野領域の大きさを示す定数の設定による影響を低減させることができる。

尚、また、本発明の画像処理の第１の局面によれば、入力画像の対象画素とその周辺領域に属する画素との比較によって入力画像にコントラスト改善処理を行うコントラスト改善ステップと、入力画像のエッジ情報を検出するエッジ情報検出ステップと前記エッジ情報検出ステップで得られたエッジ情報をもとに、前記コントラスト改善ステップで得られた強調画像と前記入力画像とを合成する画像合成ステップと、合成後の画像を出力するステップとを備え、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを改善するとともに色かぶりも低減することができるという作用を有する。

尚、また、本発明の画像処理の第１の局面によれば、入力画像のエッジ情報を検出するエッジ情報検出ステップと、前記エッジ情報検出ステップで得られた対象画素のエッジ情報と対象画素の輝度とをもとにした対象画素の属する領域の判定および対象画素とその周辺領域に属する画素との比較によって入力画像にコントラスト改善処理を行うコントラスト改善ステップと、前記コントラスト改善ステップで得られた強調画像と前記入力画像とを合成する画像合成ステップと、合成後の画像を出力するステップとを備え、出力画像で発生していたハイライト部における濃度低下やシャドウ部における過剰な濃度上昇を抑え、エッジ領域部のより鮮明化を図るとともに一様なシャドウ部に存在するノイズの強調やハイライト部における濃度低下を抑えることができるという作用を有する。

尚、また、本発明の画像処理の第２の局面によれば、入力画像における対象画素の周辺領域に属する画素の濃度を拘束した状態で、前記入力画像の対象画素とその周辺領域に属する画素との比較によって入力画像にコントラスト改善処理を行うコントラスト改善ステップと、前記コントラスト改善ステップで得られた強調画像と前記入力画像とを合成するステップと、合成後の画像を出力するステップとを備え、実際の画素値をコントラスト改善量に圧縮した際に発生する一様に広い領域にあるハイライト部内画素のコントラスト改善量の低下や、一様に広い領域にあるシャドウ部内画素のコントラスト改善量の急上昇を抑制することができるという作用を有する。

本発明の実施の形態１である画像処理装置の全体構成を示すブロック図 本発明の実施の形態１である画像処理装置におけるコントラスト改善手段の構成を示すブロック図 本発明の実施の形態２である画像処理装置におけるコントラスト改善手段の構成を示すブロック図 本発明の実施の形態１である画像処理装置における画像合成手段の構成を示すブロック図 （ａ）本発明の実施の形態１である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態１である画像処理方法におけるエッジ情報導出処理を示すフローチャート （ａ）本発明の実施の形態１である画像処理方法おけるコントラスト改善処理を示すフローチャート（ｂ）本発明の実施の形態１である画像処理方法おける画像合成処理を示すフローチャート 本発明の実施の形態１である画像処理装置の情報検出手段で使用されるフィルタ係数例を示す説明図 本発明の実施の形態２である画像処理方法におけるコントラスト改善処理を示すフローチャート 本発明の実施の形態１〜７の何れかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルを示す概念図 本発明の実施の形態１または２である画像処理方法におけるエッジ情報と画像合成処理の関連を示す概念図 本発明の実施の形態１または２である画像処理方法における入力画像と強調画像に掛かる重み係数を決めるファジィルールを示す概念図 本発明の実施の形態３である画像処理装置の全体構成を示すブロック図 本発明の実施の形態３である画像処理装置における簡易画像合成手段の構成を示すブロック図 （ａ）本発明の実施の形態３である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態３である画像処理方法における強調画像の濃度修正処理を示すフローチャート 本発明の実施の形態３である画像処理方法における簡易画像合成手段の動作を示すフローチャート 本発明の実施の形態３である画像処理方法における強調画像３の濃度修正処理の概要を示す図 本発明の実施の形態４である画像処理装置の全体構成を示すブロック図 本発明の実施の形態４である画像処理装置における第２コントラスト改善手段の構成を示すブロック図 （ａ）本発明の実施の形態４である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態４である画像処理方法における第２コントラスト改善処理を示すフローチャート 本発明の実施の形態４である画像処理方法における比較領域の選択方法を示す概念図 本発明の実施の形態５である画像処理装置における第２コントラスト改善手段の構成を示すブロック図 本発明の実施の形態５である画像処理方法における第２コントラスト改善処理を示すフローチャート 本発明の実施の形態６である画像処理装置の全体の構成を示すブロック図であり、（ａ）は入力画像と強調画像の重ね合わせを行わない場合の図（ｂ）は入力画像と強調画像の重ね合わせを行う場合の図 本発明の実施の形態６である画像処理装置における第３コントラスト改善手段の構成を示すブロック図 本発明の実施の形態７である画像処理装置における第３コントラスト改善手段の構成を示すブロック図 （ａ）本発明の実施の形態６である画像処理方法における全体の動作を示すフローチャート（ｂ）本発明の実施の形態６である画像処理方法における第３コントラスト改善処理を示すフローチャート 本発明の実施の形態７である画像処理方法における第３コントラスト改善処理を示すフローチャート 本発明の実施の形態６または７の画像処理装置における強調量導出基準拘束手段での処理の概要を示す説明図 従来の画像処理装置の一例におけるコントラスト改善部を示すブロック図 従来の画像処理装置の他の一例を示すブロック図 従来の画像処理装置のさらに他の一例を示すブロック図 従来の画像処理装置のさらに他の一例を示すブロック図

符号の説明

１ 入力画像
２ 出力画像
３ 強調画像
４ エッジ情報
５ 修正画像
１０ 画像入力手段
１１ エッジ情報検出手段
１２ コントラスト改善手段
１３ 画像合成手段
１４ 画像出力手段
２０ 強調量導出手段
２１ 抽出手段
２２ 画素値変換手段
３０ 初期設定手段
３１ 終了判定手段
３２ 比較範囲変更手段
４０ 結合係数導出手段
４１ 加重平均合成手段
４２ 出力値決定手段
１２０ 簡易画像合成手段
１２１ 濃度修正手段
１７０ 第２コントラスト改善手段
１８０ 領域判定手段
１８１ 比較範囲選択手段
１８２ 調整係数導出手段
１８３ 調整手段
２３０ 第３コントラスト改善手段
２４０ 強調量導出基準拘束手段
２９０ 画像データ入力手段
２９１ 画像データ分割手段
２９２ ヒストグラム作成手段
２９３ コントラスト伸張手段
２９４ 画像データ出力手段
３００ ＣＣＤ
３０１ メモリ
３０２ 乗算手段
３０３ レベル重み付加手段Ｈ
３０４ 加算手段
３０５ 速度変換手段
３０６ レベル圧縮手段
３０７ タイミング制御手段
３０８ レベル重み付加手段Ｌ
３０９ 画像合成部
３１０ ディジタル撮像装置
３１１ プロセッサ
３１２ フィルタ
３１３ ディスプレイ
３２０ 入力画像分布検出手段
３２１ 基準色設定手段
３２２ 色バランス修正手段

Claims (4)

1. 入力画像内の対象画素の画素値と前記対象画素の周辺領域に属する画素の画素値との比較によって対象画素のコントラスト改善量を導出する第１の工程と、
   前記コントラスト改善量に対する平均値と偏差量とを用いて、正規化するためのコントラスト改善量の最大値と最小値とを決定する第２の工程と、
   前記最小値から前記最大値までの範囲内の各画素のコントラスト改善量を、正規化時の所定最小値から正規化時の所定最大値までの値に正規化する第３の工程と、
   正規化されたコントラスト改善量を強調画像の画素値とする第４の工程と、
   前記強調画像と前記入力画像とを所定の優先度で合成する第５の工程と、を備え、
   前記第５の工程は、
   前記入力画像の対象画素のエッジ情報を抽出するエッジ情報検出工程と、
   前記強調画像の画素値と、前記入力画像の画素値とを適応的に合成して出力画像を得る画像合成工程と、を含み、
   前記画像合成工程は、
   前記エッジ情報検出工程の出力と、前記入力画像の画素値とに基づいて、前記対象画素の輝度値が小さくかつエッジ値が小さい場合、又は、前記対象画素の輝度値が大きくかつエッジ値が小さい場合に、前記入力画像の画素値を優先して合成する、
   ことを特徴とする画像処理方法。
2. 前記画像合成工程は、
   前記エッジ情報検出部の出力と、前記入力画像の画素値とに基づいて、前記対象画素の輝度値が大きくかつエッジ値が大きい場合、又は、前記対象画素の輝度値が、輝度値が大きい場合と、輝度値が小さい場合との間の中間値であり、かつ、エッジ値が、エッジ値が小さい場合と、エッジ値が大きい場合の間の中間値である場合に、前記強調画像の画素値を優先して合成する、
   ことを特徴とする請求項１に記載の画像処理方法。
3. 入力画像内の対象画素の画素値と前記対象画素の周辺領域に属する画素の画素値との比較によって対象画素のコントラスト改善量を導出する導出部と、
   前記コントラスト改善量に対する平均値と偏差量とを用いて、正規化するためのコントラスト改善量の最大値と最小値とを決定する決定部と、
   前記最小値から前記最大値までの範囲内の各画素のコントラスト改善量を、正規化時の所定最小値から正規化時の所定最大値までの値に正規化する正規化部と、
   正規化されたコントラスト改善量を強調画像の画素値とする強調画像導出部と、
   前記強調画像と前記入力画像とを所定の優先度で合成する合成部と、を備え、
   前記合成部は、
   前記入力画像の対象画素のエッジ情報を抽出するエッジ情報検出部と、
   前記強調画像の画素値と、前記入力画像の画素値とを適応的に合成して出力画像を得る画像合成部と、を含み、
   前記画像合成部は、
   前記エッジ情報検出部の出力と、前記入力画像の画素値とに基づいて、前記対象画素の輝度値が小さくかつエッジ値が小さい場合、又は、前記対象画素の輝度値が大きくかつエッジ値が小さい場合に、前記入力画像の画素値を優先して合成する、
   ことを特徴とする画像処理装置。
4. 入力画像内の対象画素の画素値と前記対象画素の周辺領域に属する画素の画素値との比較によって対象画素のコントラスト改善量を導出する第１のステップと、
   前記コントラスト改善量に対する平均値と偏差量とを用いて、正規化するためのコントラスト改善量の最大値と最小値とを決定する第２のステップと、
   前記最小値から前記最大値までの範囲内の各画素のコントラスト改善量を、正規化時の所定最小値から正規化時の所定最大値までの値に正規化する第３のステップと、
   正規化されたコントラスト改善量を強調画像の画素値とする第４のステップと、
   前記強調画像と前記入力画像とを所定の優先度で合成する第５のステップと、を備え、
   前記第５のステップは、
   前記入力画像の対象画素のエッジ情報を抽出するエッジ情報検出ステップと、
   前記強調画像の画素値と、前記入力画像の画素値とを適応的に合成して出力画像を得る画像合成ステップと、を含み、
   前記画像合成ステップは、
   前記エッジ情報検出ステップの出力と、前記入力画像の画素値とに基づいて、前記対象画素の輝度値が小さくかつエッジ値が小さい場合、又は、前記対象画素の輝度値が大きくかつエッジ値が小さい場合に、前記入力画像の画素値を優先して合成する、
   ことを特徴とするプロセッサ。

Images