JP4151225B2

JP4151225B2 - Apparatus, method and program for image processing

Info

Publication number: JP4151225B2
Application number: JP2001073967A
Authority: JP
Inventors: 述宏粟飯原
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2001-03-15
Filing date: 2001-03-15
Publication date: 2008-09-17
Anticipated expiration: 2021-03-15
Also published as: JP2002281312A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の処理、特にコントラスト補正に関する。
【０００２】
【従来の技術】
デジタルカラー画像について、逆光、露光過剰などの場合にコントラスト補正を行って画像を改善する。コントラスト補正には種々の手法があるが、たとえば、特開１９９９−４１５４１号公報に記載されたコントラスト補正では、画像の部分的な特徴（明るい、暗い、平坦など）を考慮して、画像全体のコントラスト補正の特性を決定する。
【０００３】
従来のデジタルカラー画像のコントラスト補正方法として、ヒストグラム均等化法というものがある。この手法では、図１に示すように、画像の明度情報に対するヒストグラムを求め、画素頻度の大きい階調領域に対してはコントラストを高くし、画素頻度の小さい階調領域に対してはコントラストを低くする。画素頻度の大きい階調領域には、比較的重要な要素が含まれていることが多いので、その領域の階調性を上げることによって画像の見栄えを良くする、というのがヒストグラム均等化法の考えである。
【０００４】
ヒストグラム均等化法を実現する方法としては、例えば、明度情報のヒストグラムから累積ヒストグラムを作成して正規化し、これを明度変換曲線とすることで、各画素の明度を変換する。ただし、実際には、累積ヒストグラムをそのまま明度変換曲線にすると、非常にコントラストが強くなる傾向にある。このため一般には、図２に示すように、明度ヒストグラムをある一定のクリップ値でクリッピングし、クリッピングされた画素を全明度に均等に振り分けることで、コントラスト明度変換曲線の傾きを緩やかにする。すなわち、このクリップ値の大きさを調整することにより、コントラストの強調量を変化させることが可能である。特開２０００−５７３３５号公報や特開２０００−５９６２９号公報には、画像の明度ヒストグラムのクリッピングレベルを変更することにより、画像の性質に応じた局所コントラスト補正を行うことが示されている。
【０００５】
【発明が解決しようとする課題】
ところが、従来のヒストグラム均等化法では、画像全体の明度情報を用いてコントラスト強調処理を行っている。このため、例えば注目する被写体が暗くなり、その周辺が明るくなっているような逆光画像では、好ましい補正処理が行われないことが多い。逆光画像では、暗い被写体領域よりも明るい周辺領域の方がより大きな面積を占めていることが多い。このような画像を対象に上述の方法で補正しようとすると、周辺の明るい領域のコントラストを強調するだけで、被写体領域に対するコントラスト改善効果がほとんど見られないからである。
【０００６】
一方で、こうした問題を解決するために、局所的ヒストグラム均等化法と呼ばれる方法がある。これの方法では、画像を予めいくつかの矩形領域に分割しておき、各領域毎にコントラスト補正処理を行う。この方法を使用すると、画像の部分的なコントラストを改善することができる。例えば、逆光画像内の暗いと判定された領域に対してのみコントラストの強調量を大きくしたり、人物画像内の肌と判定された領域に対してのみコントラストの強調量を控えめにしたりすることができ、より画像の性質に応じたコントラスト補正処理が可能である。
【０００７】
しかし、局所的ヒストグラム均等化法の問題は、コントラスト強調量を大きくしていくと、領域間の強調量に大きな差が生じ、明度に対するむらが発生することである。特に、元々コントラストが全体的に不足して、階調が平坦になっているような画像に対して、この傾向が強い。このため、こうした画像のコントラストを改善する際は、部分的なコントラストの強調量をそれほど大きくしない方がよい。
【０００８】
本発明の目的は、画像の性質に応じて画像により適したコントラスト補正処理を施すようにすることである。
【０００９】
【課題を解決するための手段】
本発明に係る第１と第２の画像処理装置は、カラー画像データを入力する入力部と、入力した画像データの性質（露光不足、逆光など）に基づいて、画像全体のコントラスト補正の重み付けと、局所的なコントラスト補正の重み付けをそれぞれ設定する重み付け設定手段と、前記重み付け設定手段により設定した画像全体のコントラスト補正の重み付けを用いて、入力カラー画像データについて全体的なコントラストを補正する第１コントラスト補正手段と、前記重み付け設定手段により設定した局所的なコントラスト補正の重み付けを用いて、前記第１コントラスト補正手段により補正された画像データについて局所的なコントラストを補正する第２コントラスト補正手段と、第１と第２のコントラスト補正手段により補正された画像データを出力する出力手段とからなる。ここで、第１の画像処理装置では、前記重み付け設定手段は、コントラスト補正の重み付けの設定において、前記画像の性質が露光不足、露光過剰または全体的にコントラスト不足であるときに、全体コントラスト補正の重み付けを予め設定した標準値より大きくし、局所コントラスト補正の重み付けを予め設定した標準値より小さくして、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けの和が一定量になるようにする。また、第１の画像処理装置では、前記重み付け設定手段は、前記画像の性質が逆光または部分的にコントラスト不足であるときに、全体コントラスト補正の重み付けを予め設定した標準値より小さくし、局所コントラスト補正の重み付けを予め設定した標準値より大きくして、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けの和が一定量になるようにする。
【００１０】
本発明に係る第１と第２の画像処理方法では、カラー画像データを入力し、入力した画像データの性質に基づいて、画像全体のコントラスト補正の重み付けと、局所的なコントラスト補正の重み付けをそれぞれ設定し、設定した画像全体のコントラスト補正の重み付けと、局所的なコントラスト補正の重み付けを用いて、入力カラー画像データについて全体的なコントラストを補正した後に、局所的なコントラストを補正し、補正後の画像データを出力する。ここで、第１の画像処理方法では、前記重み付けの設定において、前記画像の性質が露光不足、露光過剰または全体的にコントラスト不足であるときに、全体コントラスト補正の重み付けを予め設定した標準値より大きくし、局所コントラスト補正の重み付けを予め設定した標準値より小さくして、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けの和が一定量になるようにする。また、第２の画像処理方法では、前記重み付けの設定において、前記画像の性質が逆光または部分的にコントラスト不足であるときに、全体コントラスト補正の重み付けを予め設定した標準値より小さくし、局所コントラスト補正の重み付けを予め設定した標準値より大きくして、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けの和が一定量になるようにする。
【００１１】
本発明に係るコンピュータにより実行される第１と第２の画像処理プログラムは、カラー画像データを入力するステップと、入力した画像データの性質に基づいて、全体的なコントラスト補正の重み付けと局所的なコントラスト補正の重み付けとを設定するステップと、設定した画像全体のコントラスト補正の重み付けを用いて、入力カラー画像データについて全体的なコントラストを補正するステップと、設定した局所的なコントラスト補正の重み付けを用いて、全体的なコントラストが補正された画像データについて局所的なコントラストを補正するステップと、全体的なコントラスト補正を行った後に、局所的なコントラスト補正を行った画像データを出力するステップとからなる。ここで、第１の画像処理プログラムでは、前記重み付け設定のステップにおいて、前記の画像の性質が露光不足、露光過剰または全体的にコントラスト不足であるときに、全体コントラスト補正の重み付けを予め設定した標準値より大きくし、局所コントラスト補正の重み付けを予め設定した標準値より小さくして、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けの和が一定量になるようにする。また、第２の画像処理プログラムでは、前記重み付け設定のステップにおいて、前記の画像の性質が逆光または部分的にコントラスト不足であるときに、全体コントラスト補正の重み付けを予め設定した標準値より小さくし、局所コントラスト補正の重み付けを予め設定した標準値より大きくして、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けの和が一定量になるようにする。
【００１２】
前記重み付け設定のステップは、たとえば、画像データを色相、彩度、明度で表される各成分データに変換し、各成分のヒストグラムを作成し、ヒストグラムの分布を調べることにより前記の画像データの性質を決定するステップを含む。または、前記前記重み付け設定のステップは、たとえば、ユーザーによって指定された画像データの性質を入力するステップを含む。
【００１３】
また、前記の補正のステップにおいて、たとえば、全体的なコントラスト補正および局所的なコントラスト補正がヒストグラム均等化法を使用する。ここで、前記の補正のステップにおいて、全体的または局所的なコントラスト補正の重み付けを、ヒストグラム均等化法のクリップ値を変更することによって行える。
【００１４】
前記前記重み付け設定のステップにおけるコントラスト補正の重み付けの変更において、たとえば、前記の画像の性質が通常であるときに、全体コントラスト補正の重み付けと局所コントラスト補正の重み付けをそれぞれ予め設定した標準値と一致させる。
【００１５】
前記の補正のステップにおいて、コントラスト補正の重み付けの変更は、たとえば、ユーザーによって指定される。
【００１６】
本発明に係るコンピュータ読み出し可能な記録媒体は、前述の画像処理プログラムを記録する。
【００１７】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。
図３は、本発明の実施例における構成のブロック図を示したものである。デジタルカメラなどに代表される画像入力装置１００で読み取られた画像データは、コンピュータなどに代表される画像処理装置２００に送られ、そこで画像データに対して適切な処理（逆光、ハイコントラストなどの処理）が施された後、プリンタ、ディスプレイ装置などに代表される画像出力装置３００に送られ、出力される。画像処理装置２００は、通常のコンピュータとしての構成を備える。すなわち、ＣＰＵ２０２に、プログラムなどを記憶したＲＯＭ２０４，ワークエリアとしてのＲＡＭ２０６、記憶装置であるフレキシブルディスク装置２０８とハードディスク装置２１０，入力デバイスであるキーボード２１２とマウス２１４、ディスプレイ装置２１６、および、外部装置との接続のためのＩ／Ｏインターフェース２１８を備える。
【００１８】
画像処理装置２００は、たとえばデジタルカメラでの撮影またはカラースキャナでのスキャンにより得られたデジタルカラー画像に対して、適切な画像補正処理を施す。ここで、画像全体のコントラスト補正処理と局所的なコントラスト補正処理を併せて行い、この際に、画像の性質に応じて、画像全体に対するコントラスト強調の重み付けと画像の部分的な領域に対するコントラスト強調の重み付けをそれぞれ設定する。これにより、より適切なコントラスト補正処理を行う。たとえば、露光不足画像や露光過剰画像に対しては、画像全体のコントラスト強調に対する重みを、予め設定した標準値より大きくすることで、明度むらを発生させることなくコントラストを改善できる。また、逆光画像や部分的にコントラスト不足になっている画像に対しては、画像の局所的なコントラスト強調に対する重みを、予め設定した標準値より大きくすることで、注目する被写体領域に対するコントラスト補正処理が可能である。
【００１９】
図２は、図１のシステムにおいて、画像処理装置２００によるデータ処理の流れをより詳細に表したものである。画像入力装置１００から入力したＲＧＢ画像データは、まず色空間変換部２２０において、色相（Ｈ)、彩度（Ｓ)、明度（Ｌ）の各成分に変換される。次に、ＨＳＬ信号は、シーン判定処理部２３０に送られ、画像のシーン情報が判定される。具体的には、色相・彩度・明度ヒストグラム計算部２３２が色相・彩度・明度のそれぞれのヒストグラムを作成し、次に、ヒストグラムを基に、シーン情報判定部２３４がシーンを判定し、コントラスト強調量決定部２３６が、判定されたシーン情報に応じて、コントラスト補正における強調量を決定する。Ｌ信号と、決定されたコントラスト強調量とは、全体コントラスト補正処理部２４０に送られ、画像の全体的なコントラスト補正処理が行われる。ここで、明度変換曲線計算部２４２は明度変換曲線を計算し、明度変換処理部２４４は明度変換曲線を基に画像の全体的なコントラストを補正する。全体コントラスト補正が行われた後のＬ信号と、決定されたコントラスト強調量は、局所コントラスト補正処理部２５０に送られ、画像の部分的なコントラスト補正処理が行われる。ここで、領域分割部２５２は、画像を矩形領域に分割する。次に、明度ヒストグラム計算部２５４は、領域ごとに明度ヒストグラムを作成し、明度変換曲線計算部２５６は、領域ごとに明度変換曲線を計算し、明度変換処理部２５８は、明度変換曲線を用いて明度を変換して、部分的なコントラスト補正処理をする。Ｈ、Ｓ信号およびコントラスト補正処理が施された後のＬ信号は、色変換処理部２６０に送られ、出力装置３００に適した色成分で表される画像データに変換される。変換された画像データは画像出力装置３００に送られ、画像として出力される。なお、ここでの説明では、画像データにコントラスト補正処理のみ施すように記述しているが、これに限定する必要はない。色かぶり補正処理、シャープネス強調処理、彩度強調処理など一連の画像補正処理と組み合わせて、コントラスト補正処理を施すようにすることが望ましい。
【００２０】
図３は、画像処理装置２００における画像処理のフローチャートである。なお、コントラスト補正以外の画像処理については説明を省略している。まず、画像入力装置１００から画像が入力される（Ｓ１０１）と、色相、彩度、明度で表される色空間上の色信号に変換される（Ｓ１０２）。このような色空間としては、代表的なものとしてマンセル表色系で表される色空間がある。ただし、変換に使用される色空間はマンセル表色系の色空間に限る必要はなく、ＸＹＺ表色系で表される色空間であってもよく、均等色空間として知られるＬ＊ａ＊ｂ＊空間などであってもよい。
【００２１】
次に、変換された各色信号に対して色相、彩度、明度のヒストグラムを作成し（Ｓ３００）、このヒストグラム情報を基に画像のシーンを判定する（Ｓ１０４）。例えば、明度ヒストグラムの情報から、低明度領域に画素が偏っていれば露光不足画像と判定し、また、高明度領域に画素が偏っていれば露光過剰画像と判定する。また、中間調領域に画素が偏っていればコントラスト不足画像と判定する。
【００２２】
露光不足、露光過剰、コントラスト不足（全体）のいずれかであると判定すれば（Ｓ１０５でＹＥＳ）、全体コントラスト補正では、予め設定した標準値より重み付けを大きくし、局所コントラスト補正では、予め設定した標準値より重み付けを小さくする（Ｓ１０７）。露光不足画像、露光過剰画像、コントラスト不足画像は、画素が低明度領域や高明度領域に集中しているため、画像全体がコントラスト不足になっていることが多い。このような画像に対しては、全体コントラスト補正の強調量を予め設定した標準値より大きくし、局所コントラスト補正の強調量を予め設定した標準値より小さくする。これによって、部分的な明度むらの発生を小さくしながら、画像全体のコントラストが適切に改善される。
【００２３】
具体的には、図２に示すコントラスト補正のクリップ値を、標準値よりも大きくしたり小さくしたりすることで、コントラスト補正処理の重み付けを制御する。重み量は、便宜上０〜１００までの数字で表し、重み量が５０のときを標準値として、クリップ値を（全画素数）／（全階調数×２）にする。そして、重み量が０のときクリップ値を０に、重み量が１００のときクリップ値を（全画素数）／（全階調数）にする。そして、例えば、以下のような関係式を設定しておき、全体コントラスト補正の重み量Ｗ１と局所コントラスト補正の重み付けＷ２を制御する。
Ｗ１＋Ｗ２＝１００（１）
露光不足画像や露光過剰不足画像に対しては、全体コントラスト補正の重み量Ｗ１を８０、局所コントラスト補正の重み量Ｗ２を２０に設定することにより、全体コントラスト補正の重み付けを大きくする。
【００２４】
露光不足、露光過剰、コントラスト不足（全体）のいずれかでなければ（Ｓ１０５でＮＯ）、次に、逆光とコントラスト不足(局所）のいずれかであるを判定し（Ｓ１０６）、いずれかである判定すると、全体コントラスト補正では、重み付けＷ１を小さし、局所コントラスト補正では、重み付けＷ２を大きくする（Ｓ１０８）。明度ヒストグラムの暗い領域と明るい領域にある程度画素が集中し、画像の中心部が暗くその周辺領域が明るく、なおかつ画像全体の彩度が低いような場合、逆光画像と判定する。逆光画像と判定した場合には、比較的小さな領域単位で、明るくなっていたり暗くなっていたりするため、全体コントラスト補正よりも局所コントラスト補正の重み付けを大きくした方が、適切な補正結果が得られることが多い。一方、画像全体のコントラストは正常に近いが、領域単位でのコントラストが不足しているような画像に対しても、逆光画像と同様に局所コントラスト補正の重み付けＷ２を大きくした方が良い。このため、例えば、全体コントラスト補正の重み量Ｗ１を２０、局所コントラスト補正の重み量Ｗ２を８０に設定する。
【００２５】
また、露光不足、露光過剰、コントラスト不足（全体）、逆光、コントラスト不足(局所）のいずれでもなければ、全体コントラスト補正と局所コントラスト補正で、重み付けを標準値とする（Ｓ１０９）。すなわち、上記以外のノーマルな画像に対しては、全体コントラスト補正と局所コントラスト補正の重み付けＷ１，Ｗ２を同じ値とし、いずれも５０に設定する。
次に、画像全体の明度変換曲線を作成し（Ｓ１１０）、明度に対して全体コントラスト補正処理を行う（Ｓ１１１）。
【００２６】
次に、画像を矩形領域に分割し（Ｓ１１２）、領域毎に明度変換曲線を作成し（Ｓ１１３）、領域毎に局所コントラスト補正処理を行う（Ｓ１１４）。この局所コントラスト補正を全領域の処理が終了するまで行う（Ｓ３１５でＹＥＳ）。次に、色相、彩度、明度データを画像出力装置に対応した画像データに変換する（Ｓ１１６）。そして、明度成分に対して全体コントラスト補正、および局所コントラスト補正の各処理を施した後、元画像の色相、彩度成分と補正された明度成分を基に、出力装置で出力するための画像データに変換される。例えば、ディスプレイなどに表示するためにはＲＧＢで表される色成分に、プリンタなどに出力するためにはＣＭＹ(Ｋ)で表される色成分にそれぞれ変換される。
最後に、変換された画像データをディスプレイやプリンタなどの画像出力装置３００で出力する（Ｓ１１７）。
【００２７】
なお、この説明においては、画像のシーン情報を自動で判別するようにしている。しかし、予めいくつかのシーンを用意しておき、ユーザーがその中から任意に指定できるようにしてもよい。例えば、図５に示すようなシーン指定のためのＧＵＩを用意し、ユーザーに任意のシーンを選択してもらう。図５の画面では、補正前画像と補正後画像が示され、かつ、シーン（ノーマル、逆光、露光不足、露光過剰、コントラスト不足など）をユーザーが選択するための選択部が設けられる。この例では、逆光が設定されている。そして、選択されたシーンに適したコントラスト補正処理を行うようにする。この場合、図２のシーン判定処理部の代わりに、ユーザーによるシーン設定部が必要となる。
【００２８】
また、以上の説明においては、全体コントラスト補正と局所コントラスト補正の重みＷ１，Ｗ２が、常に一定の関係（式(１)）になるようにしているが、これに限定する必要は無い。たとえば、全体コントラスト補正の重み量Ｗ１を５０、局所コントラスト補正の重み量Ｗ２を８０などのように、それぞれ独立に重み量を設定するようにしても良い。また、この重み量の値は、予めシーンに応じて設定したものを使用しても良いし、スライドバーを設けてユーザーに後から任意に設定してもらうようにしても良い。
【００２９】
また、以上の説明においては、全体コントラスト補正処理の後に、局所コントラスト補正処理を行うようにしているが、この順序は逆にしてもよい。または、元画像に対して全体コントラスト補正処理を行った後の画像（第１画像）と、元画像に対して局所コントラスト補正処理を行った後の画像（第２画像）を用意して、その２枚の画像を設定した重みを用いて補間することにより、コントラスト補正処理後の画像を作成しても良い。たとえば、第１画像の特定の画素の値が１００、第２画像の対応する画素の値が２００、全体コントラスト補正の重み量Ｗ１を８０、局所コントラスト補正の重み量Ｗ２を２０とすると、最終的な画素の値は、１００×（８０／１００）＋２００×（２０／１００）＝１２０となる。
【００３０】
【発明の効果】
画像全体のコントラスト補正処理と局所的なコントラスト補正処理を併せて行い、この際に画像の性質に応じて各補正処理の重み付けを変更できるので、露光不足画像や露光過剰画像に対しては、画像全体のコントラスト強調に対する重みを標準値より大きくすることで、明度むらを発生させることなくコントラストを改善できる。また、逆光画像や部分的にコントラスト不足になっている画像に対しては、画像の局所的なコントラスト強調に対する重みを標準値より大きくすることで、注目する局所的な被写体領域に対するコントラストをより適切に補正できる。
【図面の簡単な説明】
【図１】ヒストグラム均等化処理の概念を説明するための図
【図２】コントラスト補正のためのヒストグラム均等化処理を行う手順を図式的に示す図
【図３】画像処理システム全体の構成を表すブロック図
【図４】画像処理装置の構成を表すブロック図
【図５】画像補正処理の流れを表すフローチャート
【図６】シーンをユーザーに指定させるためのＧＵＩの図
【符号の説明】
１００画像入力装置、２００画像処理装置、２０２ＣＰＵ、２１０ハードディスク装置、２２０色空間変換部、２３０シーン判定処理部、２４０全体コントラスト補正処理部、２５０局所コントラスト補正処理部、２６０色変換処理部、３００画像出力装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to digital image processing, and in particular to contrast correction.
[0002]
[Prior art]
For digital color images, contrast correction is performed in the case of backlight, overexposure, etc. to improve the image. There are various methods for contrast correction. For example, in the contrast correction described in Japanese Patent Application Laid-Open No. 1999-41541, the partial characteristics of the image (bright, dark, flat, etc.) are taken into consideration. Determine the characteristics of contrast correction.
[0003]
As a conventional digital color image contrast correction method, there is a histogram equalization method. In this method, as shown in FIG. 1, a histogram is obtained for lightness information of an image, and the contrast is increased for a gradation region with a high pixel frequency, and the contrast is decreased for a gradation region with a low pixel frequency. To do. The gradation equalization method often improves the appearance of the image by improving the gradation of the area because the gradation area with a high pixel frequency often contains relatively important elements. Is an idea.
[0004]
As a method for realizing the histogram equalization method, for example, a cumulative histogram is created from a histogram of brightness information, normalized, and this is used as a brightness conversion curve, thereby converting the brightness of each pixel. However, in practice, if the cumulative histogram is used as it is as a lightness conversion curve, the contrast tends to be very strong. For this reason, generally, as shown in FIG. 2, the brightness histogram is clipped with a certain clip value, and the clipped pixels are equally distributed to all the brightness, thereby making the slope of the contrast brightness conversion curve gentle. That is, the contrast enhancement amount can be changed by adjusting the size of the clip value. Japanese Patent Application Laid-Open No. 2000-57335 and Japanese Patent Application Laid-Open No. 2000-59629 show that local contrast correction according to the properties of an image is performed by changing the clipping level of the brightness histogram of the image.
[0005]
[Problems to be solved by the invention]
However, in the conventional histogram equalization method, contrast enhancement processing is performed using brightness information of the entire image. For this reason, for example, a preferable correction process is often not performed on a backlight image in which the subject of interest is dark and the surrounding area is bright. In a backlight image, a bright peripheral area often occupies a larger area than a dark subject area. This is because if such an image is to be corrected by the above-described method, only the contrast of a bright area in the vicinity is enhanced, and a contrast improving effect on the subject area is hardly seen.
[0006]
On the other hand, in order to solve such a problem, there is a method called a local histogram equalization method. In this method, an image is divided into several rectangular areas in advance, and contrast correction processing is performed for each area. Using this method, the partial contrast of the image can be improved. For example, the contrast enhancement amount may be increased only for a region determined to be dark in a backlight image, or the contrast enhancement amount may be conserved only for a region determined to be skin in a human image. Therefore, it is possible to perform a contrast correction process according to the properties of the image.
[0007]
However, the problem with the local histogram equalization method is that when the contrast enhancement amount is increased, a large difference occurs in the enhancement amount between regions, and unevenness in brightness occurs. In particular, this tendency is strong for an image that originally has an overall lack of contrast and has a flat gradation. For this reason, when improving the contrast of such an image, it is better not to increase the amount of partial contrast enhancement so much.
[0008]
An object of the present invention is to perform a contrast correction process more suitable for an image according to the properties of the image.
[0009]
[Means for Solving the Problems]
The first and second image processing apparatuses according to the present invention include an input unit for inputting color image data, and weighting for contrast correction of the entire image based on the properties (underexposure, backlight, etc.) of the input image data. A first contrast that corrects the overall contrast of the input color image data by using a weight setting unit that sets a weight for local contrast correction and a weight for the overall image contrast correction that is set by the weight setting unit. A correction unit; a second contrast correction unit that corrects a local contrast of the image data corrected by the first contrast correction unit using a weight of the local contrast correction set by the weight setting unit; Image data corrected by the first and second contrast correcting means Comprising a output means for outputting. Here, in the first image processing apparatus, the weight setting unit performs the overall contrast correction when the property of the image is underexposed, overexposed, or totally undercontrast in setting the contrast correction weighting. The weighting is set larger than the preset standard value, and the local contrast correction weighting is set smaller than the preset standard value so that the sum of the overall contrast correction weighting and the local contrast correction weighting becomes a constant amount. In the first image processing apparatus, the weight setting unit may reduce the weight of the overall contrast correction to be smaller than a preset standard value when the nature of the image is backlit or partially lacking in contrast, and the local contrast The correction weighting is set larger than a preset standard value so that the sum of the overall contrast correction weighting and the local contrast correction weighting becomes a constant amount.
[0010]
In the first and the second image processing method according to the present invention, and inputs the color image data, based on the nature of the input image data, respectively weighting the overall contrast of the image correction, the weighting of local contrast correction After setting the overall contrast of the input color image data using the set contrast correction weighting for the entire image and the local contrast correction weighting, the local contrast is corrected. Output image data. Here, in the first image processing method, when the property of the image is underexposure, overexposure, or overall contrast is insufficient in the setting of the weighting, the weighting for the overall contrast correction is set based on a preset standard value. The weight is increased and the local contrast correction weight is made smaller than a preset standard value so that the sum of the overall contrast correction weight and the local contrast correction weight becomes a constant amount. In the second image processing method, in the weighting setting, when the nature of the image is backlit or partially insufficient in contrast, the weighting of the overall contrast correction is made smaller than a preset standard value, and the local contrast is set. The correction weighting is set larger than a preset standard value so that the sum of the overall contrast correction weighting and the local contrast correction weighting becomes a constant amount.
[0011]
The first and second image processing programs executed by the computer according to the present invention include a step of inputting color image data, and weighting and local contrast correction based on the nature of the input image data. The step of setting the contrast correction weight, the step of correcting the overall contrast for the input color image data using the set contrast correction weight of the entire image, and the set local contrast correction weight Te, and correcting the local contrast for the image data overall contrast is corrected, after the overall contrast correction, and a step of outputting the image data subjected to the local contrast correction . Here, in the first image processing program, in the weighting setting step, when the property of the image is underexposed, overexposed, or overall insufficiently contrasted, a standard for which weighting for overall contrast correction is set in advance. The value is set larger than the value, and the weight of the local contrast correction is made smaller than a preset standard value so that the sum of the weight of the overall contrast correction and the weight of the local contrast correction becomes a constant amount. Further, in the second image processing program, in the weight setting step, when the property of the image is backlight or partial contrast is insufficient, the weight of the overall contrast correction is made smaller than a preset standard value, The local contrast correction weighting is set larger than a preset standard value so that the sum of the overall contrast correction weighting and the local contrast correction weighting becomes a constant amount .
[0012]
The weight setting step includes, for example, converting the image data into component data represented by hue, saturation, and brightness, creating a histogram of each component, and examining the distribution of the histogram to determine the properties of the image data. Determining the step. Alternatively, the weight setting step includes, for example, a step of inputting a property of image data designated by a user.
[0013]
In the correction step, for example, the overall contrast correction and the local contrast correction use a histogram equalization method. Here, in the correction step, weighting of overall or local contrast correction can be performed by changing the clip value of the histogram equalization method.
[0014]
In a variation of the weighting of the contrast correction in the step of said weighting setting, for example, when the nature of the previous SL image is generally consistent with the standard value set in advance, respectively weighted with a weighting of the local contrast correction of the entire contrast correction Let
[0015]
In the correction step, the change in the contrast correction weighting is designated by the user, for example.
[0016]
Computer-readable record medium according to the present invention records the above image processing program.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 3 shows a block diagram of a configuration in the embodiment of the present invention. Image data read by an image input device 100 typified by a digital camera or the like is sent to an image processing device 200 typified by a computer or the like, where appropriate processing (processing such as backlight and high contrast) is performed on the image data. ) Is sent to an image output device 300 typified by a printer, a display device, etc. and output. The image processing apparatus 200 has a configuration as a normal computer. That is, the CPU 202 has a ROM 204 storing programs and the like, a RAM 206 as a work area, a flexible disk device 208 and a hard disk device 210 as storage devices, a keyboard 212 and a mouse 214 as input devices, a display device 216, and an external device. I / O interface 218 for connection of
[0018]
The image processing apparatus 200 performs an appropriate image correction process on a digital color image obtained by, for example, photographing with a digital camera or scanning with a color scanner. Here, the overall image contrast correction process and the local contrast correction process are performed together. At this time, the contrast enhancement weighting for the entire image and the contrast enhancement for a partial area of the image are performed according to the property of the image. Set each weight. Thereby, more appropriate contrast correction processing is performed. For example, for an underexposed image or an overexposed image, the contrast can be improved without causing unevenness of brightness by making the weight for contrast enhancement of the entire image larger than a preset standard value. For a backlight image or an image that is partially insufficient in contrast, the contrast correction processing for the subject region of interest is performed by making the weight for local contrast enhancement of the image larger than a preset standard value. Is possible.
[0019]
FIG. 2 shows in more detail the flow of data processing by the image processing apparatus 200 in the system of FIG. The RGB image data input from the image input device 100 is first converted into components of hue (H), saturation (S), and lightness (L) by the color space conversion unit 220. Next, the HSL signal is sent to the scene determination processing unit 230, and the scene information of the image is determined. Specifically, the hue / saturation / lightness histogram calculation unit 232 creates the respective histograms of hue / saturation / lightness, and then, based on the histogram, the scene information determination unit 234 determines the scene, and the contrast The enhancement amount determination unit 236 determines the enhancement amount in the contrast correction according to the determined scene information. The L signal and the determined contrast enhancement amount are sent to the overall contrast correction processing unit 240, and the overall contrast correction processing of the image is performed. Here, the lightness conversion curve calculation unit 242 calculates a lightness conversion curve, and the lightness conversion processing unit 244 corrects the overall contrast of the image based on the lightness conversion curve. The L signal after the overall contrast correction and the determined contrast enhancement amount are sent to the local contrast correction processing unit 250, and a partial contrast correction process of the image is performed. Here, the area dividing unit 252 divides the image into rectangular areas. Next, the lightness histogram calculation unit 254 creates a lightness histogram for each region, the lightness conversion curve calculation unit 256 calculates a lightness conversion curve for each region, and the lightness conversion processing unit 258 uses the lightness conversion curve. The brightness is converted and a partial contrast correction process is performed. The H signal, the S signal, and the L signal after the contrast correction processing are sent to the color conversion processing unit 260 and converted into image data represented by color components suitable for the output device 300. The converted image data is sent to the image output device 300 and output as an image. In the description here, it is described that only the contrast correction processing is performed on the image data, but the present invention is not limited to this. It is desirable to perform contrast correction processing in combination with a series of image correction processing such as color cast correction processing, sharpness enhancement processing, and saturation enhancement processing.
[0020]
FIG. 3 is a flowchart of image processing in the image processing apparatus 200. Note that description of image processing other than contrast correction is omitted. First, when an image is input from the image input device 100 (S101), it is converted into a color signal in a color space represented by hue, saturation, and lightness (S102). A typical example of such a color space is a color space represented by the Munsell color system. However, the color space used for the conversion need not be limited to the Munsell color space, and may be a color space represented by an XYZ color system, and L * a * b known as a uniform color space. * It may be a space.
[0021]
Next, a histogram of hue, saturation, and brightness is created for each converted color signal (S300), and an image scene is determined based on the histogram information (S104). For example, from the information of the brightness histogram, if the pixel is biased in the low brightness area, it is determined as an underexposed image, and if the pixel is biased in the high brightness area, it is determined as an overexposed image. If the pixel is biased in the halftone area, the image is determined to be an image with insufficient contrast.
[0022]
If it is determined that the exposure is underexposure, overexposure, or undercontrast (overall) (YES in S105), in the overall contrast correction, the weight is set larger than the preset standard value, and in the local contrast correction, the weight is set in advance. The weighting is made smaller than the standard value (S107). An underexposed image, an overexposed image, and an undercontrast image often have insufficient contrast because the pixels are concentrated in a low brightness area or a high brightness area. For such an image, the enhancement amount of the overall contrast correction is made larger than a preset standard value, and the enhancement amount of the local contrast correction is made smaller than a preset standard value. This appropriately improves the contrast of the entire image while reducing the occurrence of partial brightness unevenness.
[0023]
Specifically, the weighting of the contrast correction process is controlled by making the clip value for contrast correction shown in FIG. 2 larger or smaller than the standard value. The weight amount is represented by a number from 0 to 100 for the sake of convenience, and the clip value is (total number of pixels) / (total number of gradations × 2) with the standard value when the weight amount is 50. When the weight amount is 0, the clip value is 0, and when the weight amount is 100, the clip value is (total number of pixels) / (total number of gradations). Then, for example, the following relational expression is set to control the weight amount W1 for overall contrast correction and the weight W2 for local contrast correction.
W1 + W2 = 100 (1)
For an underexposed image or an overexposed underexposed image, the overall contrast correction weighting W1 is set to 80, and the local contrast correction weighting W2 is set to 20, thereby increasing the overall contrast correction weighting.
[0024]
If it is not underexposed, overexposed, or undercontrast (overall) (NO in S105), then it is determined whether it is back light or undercontrast (local) (S106). Then, in the overall contrast correction, the weighting W1 is decreased, and in the local contrast correction, the weighting W2 is increased (S108). When the pixels are concentrated to some extent in the dark and bright areas of the brightness histogram, the center of the image is dark and the peripheral area is bright, and the saturation of the entire image is low, the image is determined to be a backlight image. If the image is determined to be a backlight image, it may be brighter or darker in units of a relatively small area, so that an appropriate correction result can be obtained by increasing the local contrast correction weighting rather than the overall contrast correction. There are many cases. On the other hand, for an image in which the contrast of the entire image is close to normal but the contrast in units of regions is insufficient, it is better to increase the local contrast correction weighting W2 as in the backlight image. For this reason, for example, the weight amount W1 for overall contrast correction is set to 20, and the weight amount W2 for local contrast correction is set to 80.
[0025]
Further, if it is not any of underexposure, overexposure, undercontrast (overall), backlight, undercontrast (local), weighting is set to a standard value in overall contrast correction and local contrast correction (S109). That is, for normal images other than those described above, the weights W1 and W2 of the overall contrast correction and the local contrast correction are set to the same value, and both are set to 50.
Next, a brightness conversion curve for the entire image is created (S110), and an overall contrast correction process is performed on the brightness (S111).
[0026]
Next, the image is divided into rectangular regions (S112), a brightness conversion curve is created for each region (S113), and local contrast correction processing is performed for each region (S114). This local contrast correction is performed until the processing of the entire region is completed (YES in S315). Next, the hue, saturation and brightness data are converted into image data corresponding to the image output device (S116). Then, after performing the overall contrast correction and the local contrast correction on the lightness component, image data to be output by the output device based on the hue and saturation components of the original image and the corrected lightness component Is converted to For example, it is converted into a color component represented by RGB for display on a display or the like, and converted into a color component represented by CMY (K) for output to a printer or the like.
Finally, the converted image data is output by the image output device 300 such as a display or a printer (S117).
[0027]
In this description, scene information of an image is automatically determined. However, some scenes may be prepared in advance so that the user can arbitrarily specify them. For example, a GUI for scene designation as shown in FIG. 5 is prepared, and the user selects an arbitrary scene. The screen of FIG. 5 shows a pre-correction image and a post-correction image, and a selection unit is provided for the user to select a scene (normal, backlight, underexposure, overexposure, undercontrast, etc.). In this example, backlight is set. Then, a contrast correction process suitable for the selected scene is performed. In this case, a scene setting unit by the user is required instead of the scene determination processing unit of FIG.
[0028]
In the above description, the weights W1 and W2 of the overall contrast correction and the local contrast correction are always in a constant relationship (formula (1)), but it is not necessary to limit to this. For example, the weight amount W1 for overall contrast correction may be set to 50, the weight amount W2 for local contrast correction may be set to 80, and the like. In addition, the weight value may be set in advance according to the scene, or a slide bar may be provided to allow the user to set it arbitrarily later.
[0029]
In the above description, the local contrast correction process is performed after the overall contrast correction process, but this order may be reversed. Alternatively, an image (first image) after performing the overall contrast correction process on the original image and an image (second image) after performing the local contrast correction process on the original image are prepared. An image after contrast correction processing may be created by interpolating two images with set weights. For example, if the value of a specific pixel in the first image is 100, the value of the corresponding pixel in the second image is 200, the weight amount W1 for overall contrast correction is 80, and the weight amount W2 for local contrast correction is 20, The pixel value is 100 × (80/100) + 200 × (20/100) = 120.
[0030]
【The invention's effect】
Contrast correction processing for the entire image and local contrast correction processing are performed together. At this time, the weight of each correction processing can be changed according to the properties of the image. By making the weight for the overall contrast enhancement larger than the standard value, the contrast can be improved without causing uneven brightness. Also, for backlight images and images that are partially lacking in contrast, the contrast for the local subject area of interest is more appropriate by increasing the weight for local contrast enhancement in the image above the standard value. Can be corrected.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the concept of histogram equalization processing. FIG. 2 is a diagram schematically showing a procedure for performing histogram equalization processing for contrast correction. FIG. 3 represents the configuration of the entire image processing system. Block diagram [FIG. 4] Block diagram showing the configuration of the image processing apparatus [FIG. 5] Flow chart showing the flow of image correction processing [FIG. 6] GUI diagram for allowing a user to specify a scene [Explanation of symbols]
100 image input device, 200 image processing device, 202 CPU, 210 hard disk device, 220 color space conversion unit, 230 scene determination processing unit, 240 overall contrast correction processing unit, 250 local contrast correction processing unit, 260 color conversion processing unit, 300 Image output device.

Claims

An input unit for inputting color image data;
Based on the nature of the input image data, weight setting means for setting the contrast correction weight for the entire image and the local contrast correction weight,
First contrast correction means for correcting the overall contrast of the input color image data using the weight of contrast correction for the entire image set by the weight setting means;
Second contrast correction means for correcting local contrast for the image data corrected by the first contrast correction means using the weight of local contrast correction set by the weight setting means;
First and Ri and output means for outputting the image data corrected Tona by the second contrast correction means,
The weighting setting means, when setting the contrast correction weighting, when the image property is underexposed, overexposed, or overall undercontrast, the overall contrast correction weighting is larger than a preset standard value, An image processing apparatus characterized in that the local contrast correction weighting is made smaller than a preset standard value so that the sum of the overall contrast correction weighting and the local contrast correction weighting is a constant amount .

An input unit for inputting color image data;
Based on the nature of the input image data, weight setting means for setting the contrast correction weight for the entire image and the local contrast correction weight,
First contrast correction means for correcting the overall contrast of the input color image data using the weight of contrast correction for the entire image set by the weight setting means;
Second contrast correction means for correcting local contrast for the image data corrected by the first contrast correction means using the weight of local contrast correction set by the weight setting means;
First and Ri and output means for outputting the image data corrected Tona by the second contrast correction means,
In the setting of the weight for contrast correction, the weight setting means sets the weight for the overall contrast correction to be smaller than a preset standard value when the nature of the image is backlit or partially lacks contrast, and performs local contrast correction. An image processing apparatus characterized in that the weighting is made larger than a preset standard value so that the sum of the weighting of the overall contrast correction and the weighting of the local contrast correction becomes a constant amount .

The weight setting means converts the image data into component data represented by hue, saturation, and brightness, creates a histogram of each component, and determines the properties of the image data by examining the distribution of the histogram characterized in that it comprises a image processing apparatus according to claim 1 or 2.

It said weight setting means is characterized in that it comprises a step of inputting the nature of the image data specified by the user, the image processing apparatus according to claim 1 or 2.

Overall contrast correction and local contrast correction in the first and second contrast correction means is characterized by the use of histogram equalization method, an image processing apparatus according to any one of claims 1-4 .

6. The image according to claim 5 , wherein, in the first and second contrast correction means, weighting of overall or local contrast correction is performed by changing a clip value of a histogram equalization method. Processing equipment.

The weight setting means is characterized in that, in the setting of the weight of contrast correction, when the nature of the image is normal, the weight of the overall contrast correction and the weight of the local contrast correction are respectively matched with preset standard values. to image processing apparatus according to any one of claims 1-6.

Enter color image data,
Based on the nature of the input image data, set the contrast correction weighting for the entire image and the local contrast correction weighting,
After correcting the overall contrast for the input color image data using the set contrast correction weighting for the entire image and the local contrast correction weighting, the local contrast is corrected,
An image processing method for outputting corrected image data ,
In the contrast correction weighting setting in the weighting setting, when the image property is underexposed, overexposed, or overall undercontrast, the overall contrast correction weighting is set larger than a preset standard value, An image processing method, wherein the contrast correction weighting is made smaller than a preset standard value so that the sum of the overall contrast correction weighting and the local contrast correction weighting is a constant amount .

Enter color image data,
Based on the nature of the input image data, set the contrast correction weighting for the entire image and the local contrast correction weighting,
After correcting the overall contrast for the input color image data using the set contrast correction weighting for the entire image and the local contrast correction weighting, the local contrast is corrected,
An image processing method for outputting image data after correction,
In the contrast correction weighting setting in the weighting setting, when the nature of the image is backlight or partial contrast is insufficient, the overall contrast correction weighting is made smaller than a preset standard value, and the local contrast correction weighting is performed. Is made larger than a preset standard value so that the sum of the weight of the overall contrast correction and the weight of the local contrast correction becomes a constant amount .

The weight setting includes converting image data into component data represented by hue, saturation, and brightness, creating a histogram of each component, and determining the properties of the image data by examining the distribution of the histogram. The image processing method according to claim 8 or 9, characterized by the above.

The image processing method according to claim 8 or 9, wherein the weighting setting includes inputting a property of image data designated by a user.

The image processing method according to claim 8 , wherein the correction uses a histogram equalization method for overall contrast correction and local contrast correction.

13. The image processing method according to claim 12, wherein in the correction, weighting of overall or local contrast correction is performed by changing a clip value of a histogram equalization method.

In the setting of the contrast correction weighting in the weighting setting, when the nature of the image is normal, the overall contrast correction weighting and the local contrast correction weighting are respectively matched with preset standard values, The image processing method according to claim 8 .

Inputting color image data;
Setting an overall contrast correction weighting and a local contrast correction weighting based on the nature of the input image data;
Correcting the overall contrast for the input color image data using the set contrast correction weighting for the entire image;
Using the set local contrast correction weighting to correct the local contrast for the image data with the overall contrast corrected;
An image processing program that is executed by a computer and includes a step of outputting image data that has undergone local contrast correction after performing overall contrast correction .
In the weight setting step, when the image property is under-exposure, over-exposure, or overall under-contrast in the contrast correction weight setting, the overall contrast correction weight is larger than a preset standard value. and, in less than the standard value set in advance the weighting of the local contrast correction, image processing program in which the sum of the weights of the weighting and the local contrast correction of the entire contrast correction is characterized in that to ensure a constant amount.

Inputting color image data;
Setting an overall contrast correction weighting and a local contrast correction weighting based on the nature of the input image data;
Correcting the overall contrast for the input color image data using the set contrast correction weighting for the entire image;
Using the set local contrast correction weighting to correct the local contrast for the image data with the overall contrast corrected;
An image processing program that is executed by a computer and includes a step of outputting image data that has undergone local contrast correction after performing overall contrast correction .
In the weighting setting step, when the contrast correction weighting is set such that the nature of the image is backlit or partially lacking in contrast, the overall contrast correction weighting is made smaller than a preset standard value, and the local contrast is set. An image processing program characterized in that the correction weight is set larger than a preset standard value so that the sum of the weight of the overall contrast correction and the weight of the local contrast correction becomes a constant amount .

The weight setting step converts the image data into component data represented by hue, saturation, and brightness, creates a histogram of each component, and determines the properties of the image data by examining the histogram distribution. The image processing program according to claim 15 , further comprising a step of:

The image processing program according to claim 15 or 16 , wherein the step of weight setting includes a step of inputting a property of image data designated by a user.

The image processing program according to any one of claims 16 to 18 , wherein in the correction step, the overall contrast correction and the local contrast correction use a histogram equalization method.

20. The image processing program according to claim 19 , wherein in the correcting step, weighting of overall or local contrast correction is performed by changing a clip value of a histogram equalization method.

In the weight setting step, when the image correction is normal in the contrast correction weighting setting, the overall contrast correction weighting and the local contrast correction weighting are made to coincide with preset standard values, respectively. The image processing program according to any one of claims 15 to 20 , wherein the image processing program is characterized.

The image processing program according to any one of claims 15 to 20 , wherein in the correction step, the weight setting for contrast correction is designated by a user.

A computer-readable recording medium for recording the image processing program according to any one of claims 15 to 22 .