JP3614692B2

JP3614692B2 - Image correction method

Info

Publication number: JP3614692B2
Application number: JP00191199A
Authority: JP
Inventors: 裕史児玉
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-01-07
Filing date: 1999-01-07
Publication date: 2005-01-26
Anticipated expiration: 2019-01-07
Also published as: JP2000201277A

Description

【０００１】
【産業上の利用分野】
この発明は、ディジタルスチルカメラ、イメージスキャナ又はビデオキャプチャ回路等において取得されたカラー静止画像のコントラスト及びホワイトバランスを補正するカラー静止画像の画像補正方法に関する。
【０００２】
【従来の技術】
映像信号をカラー静止ディジタル画像に変換する手段として、ＣＣＤ又はＣ−ＭＯＳエリアセンサ等の固体撮像素子を備えたディジタルスチルカメラ又はイメージスキャナ等を用いる方法、及び、ビデオカメラ等による撮像中のアナログ画像信号をリアルタイムにディジタルデータに変換するビデオキャプチャ回路を用いる方法がある。なかでも、近年の高画素密度ＣＣＤの低価格化を反映して、ＣＣＤを備えたディジタルスチルカメラにより、高画質の静止画像が容易に入手できる状況にある。
【０００３】
ところが、ＣＣＤは銀塩写真に比較して感度が低く、被写体の照度が十分でない場合には、ＣＣＤによって得られた画像のコントラストが不足したり、ホワイトバランスの不適正によって色調が極端に赤くなったり青くなる問題がある。また、イメージスキャナによって読み取られた画像においては、読取デバイス用ドライバの設定が適正でないと色調の崩れや明度が暗くなる問題がある。
【０００４】
このため、従来のディジタルスチルカメラ等の撮像装置では、内部のデータシグナルプロセッサにおいてホワイトバランス補正を行い、光源の色温度に応じてＲＢの増幅幅を調整し、適切なホワイトバランスの画像を得るようにしている。例えば、特開平９−５５９４８号公報には、ＣＣＤによって撮像した画像の高輝度部のディジタルデータに基づいてホワイトバランスを補正する構成が開示されている。
【０００５】
また、静止画像の場合には、画質を補正する手段として、ＲＧＢの各色について濃度ヒストグラムを作成し、濃度ヒストグラムにおける画素値の最小値及び最大値が拡大するように濃度ヒストグラムを伸張することにより、画像のコントラストを改善してホワイトバランスを補正する濃度ヒストグラム変換方法が用いられている。濃度ヒストグラムを伸張する方法としては、例えば、濃度ヒストグラムにおいて原画像のＲ成分及びＢ成分が画素値の全体に分布しており、かつ、Ｇ成分が低い画素値に分布しており、原画像が全体としてマゼンタががった色調である場合には、濃度ヒストグラムにおけるＧ成分の分布範囲を画素値の全体に伸張することにより、ＲＧＢの各色の成分のバランスを整わせて自然な色調の画像に変換する。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の濃度ヒストグラムの変換によるコントラスト及びホワイトバランスの補正方法では、原画像のホワイトバランスが著しく不適正でＲＧＢの各色の濃度ヒストグラムに大きな差異がある場合には有効であるが、原画像のホワイトバランスの崩れがさほど大きくなくＲＧＢの各色の濃度ヒストグラムにおける画素値の最大値に大きな差異がない場合には、ＲＧＢの各色についての濃度ヒストグラムの変換係数が略同一となり、コントラストは変化するものの、ＲＧＢの各色のバランスは殆ど変化せず、ホワイトバランスの補正を十分に行うことができない問題がある。
【０００７】
例えば、原画像内に輝度が著しく高いハイライトが存在し、このハイライト部分において濃度ヒストグラムの最大値を抽出した場合や、原画像の明度が十分である場合には、色調の崩れや偏りがあってもＲＧＢの各色の濃度ヒストグラムは画素値の略全域に分布することになり、濃度ヒストグラムを伸張しても色調を十分に改善することはできない。
【０００８】
この発明の目的は、濃度ヒストグラムの変換によっては十分なホワイトバランスの補正を行うことができない画像について、さらに、白画素のＲＧＢ平均値を等しくする別のホワイトバランス補正を実行することにより、原画像の状態に拘らず、常に、適正な色調の画像を得ることができるカラー静止画像の画像補正方法を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１に記載した発明は、カラー原画像に対してコントラストの改善及び第１のホワイトバランス補正のための濃度ヒストグラムの伸張を行う画像補正方法において、
カラー原画像におけるＲＧＢの各色の濃度ヒストグラムのピークの値域を比較するとともに、該各色の濃度ヒストグラムの最大値を基準値と比較し、ＲＧＢのいずれかの濃度ヒストグラムのピークの値域が他に比較して高く、かつ、ＲＧＢの各色の濃度ヒストグラムのそれぞれの最大値が基準値を越える場合に、濃度ヒストグラムの伸張後に、カラー原画像において白画素を抽出し、白画素のＲＧＢの各色の画素データの平均値を算出し、白画素のＲＧＢの各色の画素データの平均値の全てがカラー原画像の平均輝度に一致する変換係数をＲＧＢの各色について算出し、カラー原画像の全画素のＲＧＢの各色の画素データに変換係数を乗算する第２のホワイトバランス補正を行うことを特徴とする。
【００１０】
請求項１に記載した発明においては、濃度ヒストグラムの伸張のみによって色調を適正に補正することができないカラー原画像に対して、濃度ヒストグラムの伸張後に、カラー原画像における白画素の色調を基準として全画素データが変換される。したがって、例えば、ＲＧＢの各色の濃度ヒストグラムが値域の略全域に分布しているにも拘らず色調に偏りを有するカラー原画像のように、濃度ヒストグラムを伸長しても色調に十分な変化を与えることができない画像に対しては、白画素の色調を基準とした別のホワイトバランス補正が実行され、カラー原画像における色調の偏りが確実に補正される。
【００１２】
また、色調がＲＧＢのいずれかの色に偏っており、かつ、ＲＧＢの各色の濃度ヒストグラムのそれぞれの最大値が基準値を越えるカラー原画像が、濃度ヒストグラムの伸張のみによっては十分な色調の変化を与えることができない画像であると判断され、この画像について第２のホワイトバランス補正が実行される。したがって、濃度ヒストグラムを伸張しても十分な色調の変化を与えることができない画像のみに対して正確に第２のホワイトバランス補正が加重に実行され、濃度ヒストグラムの伸張によって十分な色調の変化を与えることができる画像については第２のホワイトバランス補正が加重して実行されることがなく、画像の特徴に拘らず常に最短時間で色調が適正に補正される。
【００１４】
さらに、濃度ヒストグラムを伸張しても十分な色調の変化を与えることができないカラー原画像から白画素が抽出され、抽出された白画素についてＲＧＢの各色の画素データの平均値が算出され、各色の画像データの平均値がカラー原画像の平均輝度に一致するように決定された変換係数により、カラー原画像の全画素におけるＲＧＢの各色の画素データが変換される。したがって、濃度ヒストグラムを伸張しても十分な色調の変化を与えることができないカラー原画像について、カラー原画像の輝度を変化させない範囲で白画素がより白くなるようにカラー原画像全体の色調が適正に補正される。
【００１５】
請求項２に記載した発明は、前記第２のホワイトバランス補正において、カラー原画像の周辺部に含まれる画素の平均輝度と中央部に含まれる画素の平均輝度とを比較し、比較結果に基づいて処理対象を変更することを特徴とする。
【００１６】
請求項２に記載した発明においては、カラー原画像の周辺部に含まれる画素の平均輝度と中央部に含まれる画素の平均輝度とを比較した結果に基づいて第２のホワイトバランス補正の対象となる範囲が変更される。したがって、画像の中央部に逆光部分を含む場合のように中央部の色調を優先的に補正する場合、及び、風景写真のように画像の全体を補正する場合とが正確に峻別され、中央部の色調を優先的に補正する場合には、周辺部の画素に対する補正は実行されず画像処理時間が短縮される。
【００１７】
請求項３に記載した発明は、前記第２のホワイトバランス補正の後にγ補正による階調変換処理を行うことを特徴とする。
【００１８】
請求項３に記載した発明においては、前記第２のホワイトバランス補正を施した後のカラー原画像に対してγ補正処理による明度の補正が行われる。したがって、コントラストの改善、第１のホワイトバランス補正及び第２のホワイトバランス補正によりコントラスト及び色調が適正にされた画像データについて、さらに明度の補正が行われ、より適正な状態で画像が出力される。
【００１９】
【実施の形態】
図１は、この発明の実施形態に係る画像補正方法が適用される画像処理システムの構成を示すブロック図である。画像補正装置１は、画像出力装置２及び画像形成装置３とともに画像処理システムを構成している。画像出力装置２は、例えば、ディジタルビデオカメラ、イメージスキャナ又はビデオキャプチャボード等であり、画像形成装置３は、例えば、ディジタル複写機の作像部やプリンタ等である。画像補正装置１は、画像出力装置２であるイメージスキャナ及び画像形成装置３である作像部とともに、画像処理システムとして１つのディジタル複写機を構成する場合もある。
【００２０】
画像補正装置１は、ＲＯＭ１２及びＲＡＭ１３を備えたＣＰＵ１１に、画像データ入力部１４、画像メモリ１５及び画像データ出力部１６を接続して構成されている。ＣＰＵ１１は、画像データ入力部１４を介して画像出力装置２から出力された画像データを読み取り、読み取った画像データを画像メモリ１５に一旦格納した後にＲＯＭ１２に予め書き込まれたプログラムにしたがって所定の画像処理を施し、画像メモリ１５を介して画像データ出力部１６から画像形成装置３に出力する。
【００２１】
図２は、上記画像補正方法の処理手順を示すフローチャートである。画像補正装置１のＣＰＵ１１は、ディジタルスチルカメラ、イメージスキャナ又はビデオキャプチャボード等の画像出力装置２において取り込まれたＷｉｎｄｏｗｓＢＭＰ、ＪＰＥＧ、ＧＩＦ又はＰＮＧ等の画像形式の画像ファイルを画像データ入力部１４を介して読み込み（ｓ１）、画像メモリ１５上にビットマップとして展開する。次いで、ＣＰＵ１１は、画像メモリ１５上に展開されたビットマップを縦方向及び横方向のそれぞれの範囲を５分割にし、図３（Ａ）に示すように、画像全体して２５個のエリアＧａ０〜Ｇａ２４に分割する（ｓ２）。
【００２２】
このように、原画像を所定数のエリアに分割することにより、輝度、ＲＧＢの各色の画素データの平均値、Ｉ，Ｑ値及び色差信号等の画像の属性を表す属性データから原画像における被写体の特徴を判別して最適な画像補正処理を選択する場合に、これらの属性データを一部のエリアについてのみ算出するようにして画像補正処理を短時間化することができる。
【００２３】
この後、ＣＰＵ１１は、２５個のエリアのうち、図３（Ｂ）に示す９個の中央部エリアＧａ６〜８，Ｇａ１１〜１３，Ｇａ１６〜１８の平均輝度Ｙｃを算出する（ｓ３）。この平均輝度Ｙｃは、９個の中央部エリアに含まれる全画素のそれぞれについて、各画素のＲＧＢ成分に基づいて人間の視感度特性を考慮した下記式１によって算出した画素毎の輝度Ｙを、９個の中央部エリアに含まれる画素数で除算して求められる。
【００２４】
【数１】

さらに、ＣＰＵ１１は、図３（Ｃ）に示す１６個の周辺部エリアＧａ０〜４，Ｇａ５，Ｇａ９，Ｇａ１０，Ｇａ１４，Ｇａ１５，Ｇａ１９，Ｇａ２０〜２４の平均輝度Ｙｓを平均輝度Ｙｃと同様にして算出し（ｓ４）、中央部エリアの平均輝度Ｙｃと周辺部エリアの平均輝度Ｙｓとを比較する（ｓ５）。中央部エリアの平均輝度Ｙｃが周辺部エリアの平均輝度Ｙｓよりも低い場合には、ＣＰＵ１１は、画像の中央に位置する被写体が逆光状態の画像であると判断して中央部エリアを後述する補正処理の対象として設定し（ｓ６）、中央部エリアの平均輝度Ｙｃが周辺部エリアの平均輝度Ｙｓ以上である場合には、風景画像や複数の人物の集合画像であると判断して画像全体を補正処理の対象として設定する（ｓ７）。
【００２５】
次に、ＣＰＵ１１は、ｓ６又はｓ７において設定した補正処理対象のエリアについて、ＲＧＢの各色についての濃度ヒストグラムを作成し、各濃度ヒストグラムにおける画素値の最大値Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ、及び、最小値Ｒｍｉｎ，Ｇｍｉｎ，Ｂｍｉｎを求める（ｓ８）。この後、ＣＰＵ１１は、各濃度ヒストグラムを伸張して画像のコントラスト補正及び第１のホワイトバランス補正を行う（ｓ９〜ｓ１１）。
【００２６】
この各濃度ヒストグラムの伸張処理は、一例として図４に示すように、原画像におけるＲＧＢのいずれか一色の濃度ヒストグラムが曲線Ａで表される場合、その最小画素値Ａｍｉｎ及び最小画素値Ａｍａｘを画素データの値域の最小値及び最大値に伸張することにより、濃度ヒストグラムを曲線Ｂに示す状態に変換する。この画素値の変換は、原画像の濃度ヒストグラム（図４に示す例では曲線Ａ）の画素値をｘ、伸張後の濃度ヒストグラム（図４に示す例では曲線Ｂ）の画素値をｙとして、図５に示すように、一般式ｙ＝ａｘ＋ｂを用いて行うことができる。
【００２７】
なお、画素データの値域の最小値及び最大値とは、例えば、画素毎にＲＧＢの各色について８ｂｉｔの解像度の場合、画素データは“０”〜“２５５”の値域をとり、画素データの値域の最小値は“０”であり、画素データの値域の最大値は“２５５”である。
【００２８】
この処理によって、画像としては、画素データの値域の最小値から最大値までの全域に画素の各色の値が分布することになり、コントラストが補正される。また、一例として図６に示すように、Ｇ成分の分布範囲が広く、Ｒ成分及びＢ成分の分布範囲が画素値の低い範囲に偏っており、全体的に赤い色調の画像である場合、ＲＧＢの各色の濃度ヒストグラムの分布範囲に差異を生じる。この場合にも上記の処理によってＲＧＢの各色の濃度ヒストグラムの分布範囲が一致することになり、画像の色調も補正される。
【００２９】
この後、ＣＰＵ１１は、各濃度ヒストグラムにおける画素値の最大値Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘを基準値Ｙｔｈと比較し（ｓ１２）、この比較結果に応じて第２のホワイトバランス補正処理を選択的に実行する。即ち、ＣＰＵ１１は、この比較において上記ｓ９〜ｓ１１における濃度ヒストグラムの伸張による第１のホワイトバランスの補正処理が有効でない画像を抽出する。したがって、基準値Ｙｔｈとしては、濃度ヒストグラムの伸張によっては十分に色調を補正できない画像に共通する特徴を表す値が選択される。例えば、画素データの値域が“０”〜“２５５”である場合には、基準値Ｙｔｈとして“２４５”を設定する。
【００３０】
ＣＰＵ１１は、ｓ１２の比較において、カラー原画像の色調に偏りを生じており、かつ、各濃度ヒストグラムにおける画素値の最大値Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘのいずれもが基準値Ｙｔｈよりも大きい場合には、濃度ヒストグラムの伸張による第１のホワイトバランスの補正処理が有効でない画像であると判断する。このような画像の例としては、例えば、図７（Ａ）に示すように、画像中に面積の大きいハイライト部分が存在し、全体の色調がＧに偏っているものの、ＲＧＢの各色の濃度ヒストグラムの最大値がいずれも“２５５”に近い画像や、図７（Ｂ）に示すように、ＲＧＢの各色の濃度ヒストグラムが値域の全域に分布し、かつ、それぞれの最大値がいずれも“２５５”に近いが、入力デバイスの特性等により若干Ｇに偏っている画像がある。
【００３１】
図７（Ａ）または（Ｂ）に示すようにな画像については、ＣＰＵ１１は、ｓ１３〜ｓ１５において第２のホワイトバランスの補正を行う。即ち、画像中において本来白色であるべき白画素を抽出し、抽出した白画素のＲＧＢの各色の画素データを個別に加算し、白画素の総数で除算することによって、白画素のＲＧＢの各色の画素データの平均値Ｗｒ，Ｗｇ，Ｗｂを算出する（ｓ１３）。ここに、白画素の抽出は、白画素では彩度が極めて低いことに着目し、下記式２及び式３により算出したＩ及びＱの値がともに基準値Ｓよりも小さい画素を白画素として選択する。
【００３２】
【数２】

次に、ＣＰＵ１１は、ｓ１３において算出した平均値Ｗｒ，Ｗｇ，Ｗｂを用いて、白画素をより白くするためのＲＧＢの各色についての変換係数Ｋｒ，Ｋｇ，Ｋｂを算出する（ｓ１４）。ここで、白画素の変換後において原画像の平均輝度Ｗｙを変化させないこととすると下記式４が成立し、この式４から下記式５に示す関係が得られる。
【００３３】
【数３】

さらに、ＣＰＵ１１は、ｓ１４において算出した変換係数Ｋｒ，Ｋｇ，Ｋｂを原画像の全画素のＲＧＢの各色の画素データのそれぞれに乗算する（ｓ１５）。この結果、本来白色である画素のＲＧＢの各色の画素データが一致するように、画像全体の色調が自然な状態に補正される。
【００３４】
ＣＰＵ１１は、上記ｓ１３〜ｓ１５の処理を選択定に実行した後に、ｓ１６〜ｓ１８においてγ補正処理を行う。γ補正は、ｓ９〜ｓ１１における濃度ヒストグラムの伸張処理後の画像において、濃度ヒストグラムのピークが低い値域にあり、画像全体が暗い場合の補正方法として有効である。このγ補正では、一般に、下記式６にしたがって、入力信号Ｘを補正係数γにより出力信号Ｙに補正する。
【００３５】
【数４】

式６において明らかなように、補正係数γの値が１よりも小さい場合には出力信号ｙは入力信号ｘよりも大きくなり、補正係数γの値が１よりも大きい場合には出力信号ｙは入力信号ｘよりも小さくなる。この関係を図７に示す。
【００３６】
ＣＰＵ１１は、ｓ１６〜ｓ１８におけるγ補正処理で、各画素の画素データを式６における入力信号Ｘとし、設定された補正係数γを用いて階調変換テーブルを作成する。ＲＧＢの各色の階調変換テーブルｔａｂｌｅＲ〔〕，ｔａｂｌｅＧ〔〕，ｔａｂｌｅＢ〔〕の配列は、ＲＧＢの各色の値域の分解能と同数の要素をもち、配列の各要素の値は下記式７により、ＲＧＢの値域においてとり得る値（ここでは“０”〜“２５５”）をｉに代入して求められる。
【００３７】
【数５】

ＣＰＵ１１は、上記式７によって作成された階調変換テーブルを用いて、各画素についてＲＧＢの各色の画素データｒ，ｇ，ｂの値を変換する。この例では、ＲＧＢの各色について同一の補正係数γを用いる。したがって、階調変換後におけるＲＧＢの各色の画素データｒ′，ｇ′，ｂ′は、下記式８によって表される。
【００３８】
【数６】

ＣＰＵ１１は、上記ｓ１６〜ｓ１８におけるγ補正処理を終了した後の各画素の画素データを補正処理後の画像データとして画像メモリ１５に一時保存し（ｓ１９）、所定の画像データの出力要求に応じて画像データ出力部１６を介して画像形成装置３に出力する（ｓ２０）。
【００３９】
以上の処理により、原画像の各画素の画素データは、濃度ヒストグラムの伸張処理によるコントラストの改善、及び、第１のホワイトバランス補正、並びに、γ補正処理による中間調の明度の補正を受けるとともに、原画像の特徴に応じて白画素におけるＲＧＢの各色の画素データの均一化による第２のホワイトバランス補正を受ける。即ち、濃度ヒストグラムの伸張による第１のホワイトバランス補正のみによっては原画像の色調を十分に補正することができない画像についてのみ、白画素におけるＲＧＢの各色の画素データの均一化による第２のホワイトバランス補正を行い、濃度ヒストグラムの伸張による第１のホワイトバランス補正のみによって色調を十分に補正できる画像については第２のホワイトバランス補正を行うことがなく、原画像の特徴に応じた最短の処理時間で原画像の色調を常に適正な状態に補正することができる。
【００４０】
また、原画像が画像の中央に位置する被写体が逆光状態の画像である場合には、ｓ５，ｓ６の処理によって画像補正処理の対象として中央部エリアのみが設定される。これによって、原画像の特徴に応じて画像補正処理の対象とする範囲を削減し、画像補正処理に要する時間をさらに短縮することができる。
【００４１】
【発明の効果】
請求項１に記載した発明によれば、濃度ヒストグラムの伸張のみによって色調を適正に補正することができないカラー原画像に対して、濃度ヒストグラムの伸張後に、カラー原画像における白画素の色調を基準として全画素データを変換することにより、例えば、ＲＧＢの各色の濃度ヒストグラムが値域の略全域に分布しているにも拘らず色調に偏りを有するカラー原画像のように、濃度ヒストグラムの伸張を施しても色調に十分な変化を与えることができない画像に対しては、白画素の色調を基準とした別のホワイトバランス補正を実行することができ、カラー原画像における色調の偏りを確実に補正することができる。
【００４２】
また、色調がＲＧＢのいずれかの色に偏っており、かつ、ＲＧＢの各色の濃度ヒストグラムのそれぞれの最大値が基準値を越えるカラー原画像を、濃度ヒストグラムの伸張のみによっては十分な色調の変化を与えることができない画像と判断し、この画像について第２のホワイトバランス補正処理を実行することにより、濃度ヒストグラムの伸張によって十分な色調の変化を与えることができる画像については第２のホワイトバランス補正を加重して実行することがなく、画像の特徴に拘らず常に最短時間で色調を適正に補正することができる。
【００４３】
さらに、濃度ヒストグラムを伸張しても十分な色調の変化を与えることができないカラー原画像から白画素を抽出し、抽出した白画素についてＲＧＢの各色の画素データの平均値を算出し、各色の画像データの平均値がカラー原画像の平均輝度に一致するように決定した変換係数により、カラー原画像の全画素におけるＲＧＢの各色の画素データを変換することにより、濃度ヒストグラムを伸張しても十分な色調の変化を与えることができないカラー原画像について、白画素がカラー原画像の輝度を変化させない範囲でより白くなるようにカラー原画像全体の色調を適正に補正することができる。
【００４４】
請求項２に記載した発明によれば、カラー原画像の周辺部に含まれる画素の平均輝度と中央部に含まれる画素の平均輝度とを比較した結果に基づいて第２のホワイトバランス補正の対象となる範囲を変更することにより、画像の中央部に逆光部分を含む場合のように中央部の色調を優先的に補正する場合、及び、風景写真のように画像の全体を補正する場合とを正確に峻別することができ、中央部の色調を優先的に補正する場合には、周辺部の画素に対する補正を実行することがなく、補正処理時間を短縮することができる。
【００４５】
請求項３に記載した発明によれば、前記第２のホワイトバランス補正を施した後のカラー原画像に対してγ補正による明度の補正を行うことにより、コントラストの改善、第１のホワイトバランス補正及び第２のホワイトバランス補正によりコントラスト及び色調を適正にした画像データについて、さらに明度の補正を行い、より適正な状態の画像を出力することができる。
【図面の簡単な説明】
【図１】この発明の実施形態に係る画像補正方法が適用される画像処理システムの構成を示すブロック図である。
【図２】上記画像補正方法の処理手順を示すフローチャートである。
【図３】上記画像補正方法における原画像の分割状態を示す図である。
【図４】上記画像補正方法におけるコントラストの改善及び第１のホワイトバランス補正のための濃度ヒストグラムの伸張を説明する図である。
【図５】上記濃度ヒストグラムの伸張に用いられる画素データの変換式を説明する図である。
【図６】上記濃度ヒストグラムの伸張による第１のホワイトバランス補正を受けるべき画像の濃度ヒストグラムの一例を示す図である。
【図７】上記画像補正方法における第２のホワイトバランス補正のための白画素の画素データの均一化処理を受けるべき原画像の濃度ヒストグラムの例を示す図である。
【図８】上記画像補正方法におけるγ補正に用いられる補正係数γを示す図である。
【符号の説明】
１−画像補正装置
２−画像出力装置
３−画像形成装置
１１−ＣＰＵ
１２−ＲＯＭ
１３−ＲＡＭ
１４−画像データ入力部
１５−画像メモリ
１６−画像データ出力部[0001]
[Industrial application fields]
The present invention relates to a color still image correction method for correcting the contrast and white balance of a color still image acquired by a digital still camera, an image scanner, a video capture circuit, or the like.
[0002]
[Prior art]
As a means for converting a video signal into a color still digital image, a method using a digital still camera or an image scanner equipped with a solid-state image sensor such as a CCD or C-MOS area sensor, and an analog image being captured by a video camera or the like There is a method using a video capture circuit that converts a signal into digital data in real time. In particular, reflecting the recent price reduction of high pixel density CCDs, high-quality still images can be easily obtained by digital still cameras equipped with CCDs.
[0003]
However, the sensitivity of the CCD is lower than that of a silver halide photograph, and when the illuminance of the subject is not sufficient, the contrast of the image obtained by the CCD is insufficient, or the color tone becomes extremely red due to inappropriate white balance. There is a problem of becoming blue. Further, in an image read by an image scanner, there is a problem that the color tone is lost or the brightness is dark unless the setting of the reading device driver is appropriate.
[0004]
For this reason, in a conventional imaging apparatus such as a digital still camera, white balance correction is performed in an internal data signal processor, and the RB amplification width is adjusted in accordance with the color temperature of the light source to obtain an image with an appropriate white balance. I have to. For example, Japanese Patent Laid-Open No. 9-55948 discloses a configuration in which white balance is corrected based on digital data of a high luminance portion of an image captured by a CCD.
[0005]
In the case of a still image, as a means for correcting the image quality, a density histogram is created for each color of RGB, and the density histogram is expanded so that the minimum value and the maximum value of the pixel value in the density histogram are expanded. A density histogram conversion method is used that corrects white balance by improving the contrast of an image. As a method for extending the density histogram, for example, the R component and the B component of the original image are distributed over the entire pixel value in the density histogram, and the G component is distributed over a low pixel value. When the color tone is magenta as a whole, the distribution range of the G component in the density histogram is extended to the entire pixel value, thereby adjusting the balance of the RGB color components to produce a natural tone image. Convert.
[0006]
[Problems to be solved by the invention]
However, the contrast and white balance correction method by conversion of the density histogram described above is effective when the white balance of the original image is extremely inappropriate and there is a large difference in the density histogram of each color of RGB. When the white balance is not so disrupted and the maximum value of the pixel value in the density histogram of each RGB color is not significantly different, the conversion coefficient of the density histogram for each color of RGB is substantially the same, and the contrast changes, The balance of each color of RGB hardly changes, and there is a problem that white balance cannot be corrected sufficiently.
[0007]
For example, if there is a highlight with extremely high luminance in the original image, and the maximum value of the density histogram is extracted in this highlight portion, or if the brightness of the original image is sufficient, the color tone may be lost or biased. Even if it exists, the density histogram of each color of RGB will be distributed over the substantially whole area of a pixel value, and even if it expands a density histogram, a color tone cannot fully be improved.
[0008]
An object of the present invention is to execute another white balance correction for equalizing the RGB average values of white pixels for an image that cannot be corrected for sufficient white balance by density histogram conversion. It is an object of the present invention to provide a color still image correction method capable of always obtaining an image having an appropriate color tone regardless of the state.
[0009]
[Means for Solving the Problems]
The invention described in claim 1 is an image correction method for performing contrast improvement and density histogram expansion for a first white balance correction on a color original image.
Compare the peak value range of the density histogram of each color of RGB in the original color image , compare the maximum value of the density histogram of each color with the reference value, and compare the peak value range of one of the RGB density histograms with the other. And when the maximum value of the density histogram of each RGB color exceeds the reference value, after the density histogram is expanded , white pixels are extracted from the original color image, and the pixel data of the RGB color data of the white pixels are extracted. An average value is calculated, a conversion coefficient in which all of the average values of the pixel data of each RGB color of the white pixel match the average luminance of the original color image is calculated for each RGB color, and each RGB color of all pixels of the original color image is calculated. The second white balance correction is performed by multiplying the pixel data by a conversion coefficient .
[0010]
According to the first aspect of the present invention, for a color original image in which the color tone cannot be properly corrected only by the expansion of the density histogram, after the expansion of the density histogram, all the white pixels in the color original image are used as a reference. Pixel data is converted. Therefore, for example, even if the density histogram is expanded, the color tone is sufficiently changed even when the density histogram is expanded, as in the case of a color original image having a bias in color tone despite the fact that the density histogram of each color of RGB is distributed over almost the entire value range. For an image that cannot be processed, another white balance correction based on the color tone of the white pixel is executed, and the color tone bias in the color original image is reliably corrected.
[0012]
Also , a color original image in which the color tone is biased to any of the RGB colors and the maximum value of the density histogram of each of the RGB colors exceeds the reference value is sufficient to change the color tone depending only on the expansion of the density histogram. Is determined to be an image that cannot be given, and the second white balance correction is performed on this image. Therefore, the second white balance correction is accurately performed on the weight only for an image that cannot give a sufficient tone change even if the density histogram is expanded, and a sufficient tone change is given by the extension of the density histogram. The second white balance correction is not performed with weighting on the image that can be performed, and the color tone is always appropriately corrected in the shortest time regardless of the feature of the image.
[0014]
Further , white pixels are extracted from the color original image that cannot give sufficient tone change even if the density histogram is expanded, and an average value of pixel data of each color of RGB is calculated for the extracted white pixels. The pixel data of each color of RGB in all the pixels of the color original image is converted by the conversion coefficient determined so that the average value of the image data matches the average luminance of the color original image. Therefore, for a color original image that cannot give a sufficient change in color tone even if the density histogram is expanded, the color tone of the entire color original image is appropriate so that the white pixels become whiter within the range that does not change the luminance of the color original image. It is corrected to.
[0015]
The invention as set forth in claim 2, in the second white balance correction, compares the average luminance of pixels included in the average luminance and the central portion of the pixel included in the peripheral portion of the color original image, based on the comparison result The processing target is changed.
[0016]
In the second aspect of the invention, the second white balance correction target is determined based on the result of comparing the average luminance of the pixels included in the peripheral portion of the color original image with the average luminance of the pixels included in the central portion. The range is changed. Therefore, the case where the central color tone is preferentially corrected as in the case where the center portion of the image includes a backlight portion and the case where the entire image is corrected as in the landscape photograph are distinguished from each other accurately. In the case where the color tone is preferentially corrected, the correction of the peripheral pixels is not executed and the image processing time is shortened.
[0017]
The invention described in claim 3 is characterized in that gradation conversion processing by γ correction is performed after the second white balance correction.
[0018]
According to the third aspect of the present invention, brightness correction is performed by γ correction processing on the color original image after the second white balance correction is performed. Accordingly, brightness correction is further performed on the image data in which the contrast and color tone are made appropriate by the improvement of the contrast, the first white balance correction, and the second white balance correction, and the image is output in a more appropriate state. .
[0019]
Embodiment
FIG. 1 is a block diagram showing a configuration of an image processing system to which an image correction method according to an embodiment of the present invention is applied. The image correction apparatus 1 constitutes an image processing system together with the image output apparatus 2 and the image forming apparatus 3. The image output device 2 is, for example, a digital video camera, an image scanner, or a video capture board, and the image forming device 3 is, for example, an image forming unit or a printer of a digital copying machine. The image correction apparatus 1 may constitute one digital copying machine as an image processing system together with an image scanner as the image output apparatus 2 and an image forming unit as the image forming apparatus 3.
[0020]
The image correction apparatus 1 is configured by connecting an image data input unit 14, an image memory 15, and an image data output unit 16 to a CPU 11 having a ROM 12 and a RAM 13. The CPU 11 reads the image data output from the image output device 2 via the image data input unit 14, temporarily stores the read image data in the image memory 15, and then performs predetermined image processing according to a program written in advance in the ROM 12. And output from the image data output unit 16 to the image forming apparatus 3 via the image memory 15.
[0021]
FIG. 2 is a flowchart showing a processing procedure of the image correction method. The CPU 11 of the image correction apparatus 1 receives an image file of an image format such as Windows BMP, JPEG, GIF, or PNG captured by the image output apparatus 2 such as a digital still camera, an image scanner, or a video capture board via the image data input unit 14. Is read (s1) and developed as a bitmap on the image memory 15. Next, the CPU 11 divides the range expanded in the vertical direction and the horizontal direction into 5 parts in the bitmap developed on the image memory 15, and as shown in FIG. Divide into Ga24 (s2).
[0022]
In this way, by dividing the original image into a predetermined number of areas, the subject in the original image can be obtained from the attribute data representing the attributes of the image, such as luminance, the average value of the pixel data of each color of RGB, the I, Q value, and the color difference signal. When the optimum image correction process is selected by discriminating these features, the image correction process can be shortened by calculating these attribute data only for some areas.
[0023]
Thereafter, the CPU 11 calculates the average luminance Yc of the nine central areas Ga6 to Ga8 to Ga11 to Ga16 to 18 shown in FIG. 3B among the 25 areas (s3). This average luminance Yc is the luminance Y for each pixel calculated by the following equation 1 that takes into account human visibility characteristics based on the RGB components of each pixel for all the pixels included in the nine central areas. It is obtained by dividing by the number of pixels included in the nine central areas.
[0024]
[Expression 1]

Further, the CPU 11 calculates the average luminance Ys of the 16 peripheral areas Ga0 to 4, Ga5, Ga9, Ga10, Ga14, Ga15, Ga19, and Ga20 to 24 shown in FIG. 3C in the same manner as the average luminance Yc. Then, the average luminance Yc in the central area is compared with the average luminance Ys in the peripheral area (s5). When the average luminance Yc of the central area is lower than the average luminance Ys of the peripheral area, the CPU 11 determines that the subject located at the center of the image is an image in the backlight state and corrects the central area as will be described later. When the average luminance Yc of the central area is equal to or higher than the average luminance Ys of the peripheral area, it is determined as a landscape image or a group image of a plurality of persons. It is set as a correction processing target (s7).
[0025]
Next, the CPU 11 creates a density histogram for each color of RGB for the area to be corrected set in s6 or s7, and the maximum value Rmax, Gmax, Bmax of the pixel value in each density histogram and the minimum value Rmin. , Gmin, Bmin are obtained (s8). Thereafter, the CPU 11 expands each density histogram to perform image contrast correction and first white balance correction (s9 to s11).
[0026]
For example, as shown in FIG. 4, when the density histogram of any one of RGB colors in the original image is represented by a curve A, the extension processing of each density histogram is performed by using the minimum pixel value Amin and the minimum pixel value Amax as a pixel. The density histogram is converted into the state shown by the curve B by expanding to the minimum value and the maximum value of the data range. In this pixel value conversion, the pixel value of the density histogram of the original image (curve A in the example shown in FIG. 4) is x, and the pixel value of the expanded density histogram (curve B in the example shown in FIG. 4) is y. As shown in FIG. 5, it can be performed using the general formula y = ax + b.
[0027]
Note that the minimum value and the maximum value of the pixel data range, for example, in the case of 8-bit resolution for each color of RGB for each pixel, the pixel data takes a value range of “0” to “255”. The minimum value is “0”, and the maximum value of the pixel data range is “255”.
[0028]
By this processing, the value of each color of the pixel is distributed over the entire area from the minimum value to the maximum value of the pixel data value range, and the contrast is corrected. As an example, as shown in FIG. 6, when the distribution range of the G component is wide, the distribution range of the R component and the B component is biased toward a low pixel value range, A difference occurs in the distribution range of the density histogram of each color. Also in this case, the distribution ranges of the density histograms of the RGB colors are matched by the above processing, and the color tone of the image is also corrected.
[0029]
Thereafter, the CPU 11 compares the maximum pixel values Rmax, Gmax, and Bmax in each density histogram with the reference value Yth (s12), and selectively executes the second white balance correction process according to the comparison result. . That is, in this comparison, the CPU 11 extracts an image in which the first white balance correction process by the expansion of the density histogram in the above s9 to s11 is not effective. Therefore, as the reference value Yth, a value representing a characteristic common to images whose color tone cannot be sufficiently corrected by expansion of the density histogram is selected. For example, when the value range of the pixel data is “0” to “255”, “245” is set as the reference value Yth.
[0030]
In the comparison of s12, the CPU 11 causes a bias in the color tone of the color original image, and when all of the maximum pixel values Rmax, Gmax, and Bmax in each density histogram are larger than the reference value Yth, It is determined that the first white balance correction process by expansion of the density histogram is not effective. As an example of such an image, for example, as shown in FIG. 7A, although there is a highlight portion with a large area in the image and the overall color tone is biased to G, the density of each color of RGB As shown in FIG. 7B, the maximum histogram values are all close to “255”, and density histograms of each color of RGB are distributed throughout the range of values, and each maximum value is “255”. Although there is an image that is close to "", it is slightly biased to G due to the characteristics of the input device.
[0031]
For an image as shown in FIG. 7A or 7B, the CPU 11 corrects the second white balance in s13 to s15. That is, by extracting white pixels that should originally be white in the image, adding the extracted white pixel RGB pixel data individually, and dividing by the total number of white pixels, the white pixel RGB colors Average values Wr, Wg, Wb of the pixel data are calculated (s13). Here, when extracting white pixels, paying attention to the fact that saturation is very low in white pixels, pixels whose I and Q values calculated by the following

equations

2 and 3 are both smaller than the reference value S are selected as white pixels. To do.
[0032]
[Expression 2]

Next, the CPU 11 uses the average values Wr, Wg, and Wb calculated in s13 to calculate conversion coefficients Kr, Kg, and Kb for RGB colors for making white pixels whiter (s14). Here, if the average luminance Wy of the original image is not changed after the conversion of the white pixels, the following equation 4 is established, and the relationship shown in the following equation 5 is obtained from this equation 4.
[0033]
[Equation 3]

Further, the CPU 11 multiplies each of the RGB pixel data of all the pixels of the original image by the conversion coefficients Kr, Kg, Kb calculated in s14 (s15). As a result, the color tone of the entire image is corrected to a natural state so that the pixel data of each RGB color of the pixel that is originally white matches.
[0034]
The CPU 11 executes γ correction processing in s16 to s18 after selectively executing the processing of s13 to s15. The γ correction is effective as a correction method when the peak of the density histogram is in a low value range in the image after the density histogram extension processing in s9 to s11, and the entire image is dark. In this γ correction, generally, the input signal X is corrected to the output signal Y by the correction coefficient γ according to the following equation (6).
[0035]
[Expression 4]

As apparent from Equation 6, when the value of the correction coefficient γ is smaller than 1, the output signal y is larger than the input signal x, and when the value of the correction coefficient γ is larger than 1, the output signal y is It becomes smaller than the input signal x. This relationship is shown in FIG.
[0036]
In the γ correction processing in s16 to s18, the CPU 11 uses the pixel data of each pixel as the input signal X in Expression 6 and creates a gradation conversion table using the set correction coefficient γ. The array of the RGB color conversion tables tableR [], tableG [], and tableB [] has the same number of elements as the resolution of each RGB color range, and the values of each element of the array are expressed by Can be obtained by substituting i for possible values (in this case, “0” to “255”).
[0037]
[Equation 5]

The CPU 11 converts the values of the pixel data r, g, and b of each color of RGB for each pixel by using the gradation conversion table created by the equation 7. In this example, the same correction coefficient γ is used for each color of RGB. Accordingly, the RGB pixel data r ′, g ′, b ′ after gradation conversion is expressed by the following equation (8).
[0038]
[Formula 6]

The CPU 11 temporarily stores the pixel data of each pixel after completion of the γ correction processing in s16 to s18 as image data after the correction processing in the image memory 15 (s19), and responds to an output request for predetermined image data. The image data is output to the image forming apparatus 3 via the image data output unit 16 (s20).
[0039]
Through the above processing, the pixel data of each pixel of the original image is subjected to the contrast improvement by the density histogram extension processing, the first white balance correction, and the halftone lightness correction by the γ correction processing, In accordance with the characteristics of the original image, the second white balance correction is performed by uniformizing the pixel data of each color of RGB in the white pixel. That is, the second white balance by uniformizing the pixel data of each color of RGB in the white pixel only for the image in which the color tone of the original image cannot be sufficiently corrected only by the first white balance correction by expansion of the density histogram. For images that can be corrected and the color tone can be sufficiently corrected only by the first white balance correction based on the expansion of the density histogram, the second white balance correction is not performed, and the shortest processing time according to the characteristics of the original image is used. The color tone of the original image can always be corrected to an appropriate state.
[0040]
When the subject whose original image is located at the center of the image is an image in the backlight state, only the central area is set as the target of the image correction processing by the processing of s5 and s6. As a result, the range to be subjected to the image correction process can be reduced according to the characteristics of the original image, and the time required for the image correction process can be further reduced.
[0041]
【The invention's effect】
According to the first aspect of the present invention, with respect to a color original image whose color tone cannot be properly corrected only by expansion of the density histogram, the color tone of the white pixel in the color original image is used as a reference after the expansion of the density histogram. By converting all pixel data, for example, the density histogram is expanded as in the case of a color original image having a bias in tone despite the fact that the density histogram of each color of RGB is distributed over almost the entire value range. However, it is possible to execute another white balance correction based on the color tone of the white pixel for an image that cannot change the color tone sufficiently, and to reliably correct the color tone bias in the original color image. Can do.
[0042]
In addition , a color original image in which the color tone is biased to any of RGB colors and the maximum value of each of the RGB color density histograms exceeds the reference value can be changed sufficiently by only the expansion of the density histogram. The second white balance correction is performed on an image that can be given a sufficient change in color tone by extending the density histogram by executing the second white balance correction process on the image. Therefore, the color tone can always be properly corrected in the shortest time regardless of the characteristics of the image.
[0043]
Further , white pixels are extracted from the color original image that cannot give a sufficient change in color tone even if the density histogram is expanded, and an average value of pixel data of each RGB color is calculated for the extracted white pixels, and each color image is calculated. By converting the pixel data of each color of RGB in all pixels of the color original image with the conversion coefficient determined so that the average value of the data matches the average luminance of the color original image, it is sufficient to extend the density histogram. For a color original image that cannot be changed in color tone, it is possible to appropriately correct the color tone of the entire color original image so that white pixels become whiter within a range in which the luminance of the color original image is not changed.
[0044]
According to the second aspect of the invention, the second white balance correction target is based on the result of comparing the average luminance of the pixels included in the peripheral portion of the color original image with the average luminance of the pixels included in the central portion. By changing the range, the color tone of the central part is preferentially corrected as in the case where the backlight part is included in the central part of the image, and the whole image is corrected as in landscape photographs. When the color tone of the central portion can be preferentially corrected, the correction processing time can be shortened without performing correction for the peripheral pixels.
[0045]
According to the third aspect of the present invention, the color original image that has been subjected to the second white balance correction is subjected to brightness correction by γ correction, thereby improving contrast and first white balance correction. Further, brightness correction is further performed on the image data in which the contrast and color tone are made appropriate by the second white balance correction, and an image in a more appropriate state can be output.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing system to which an image correction method according to an embodiment of the present invention is applied.
FIG. 2 is a flowchart showing a processing procedure of the image correction method.
FIG. 3 is a diagram illustrating a division state of an original image in the image correction method.
FIG. 4 is a diagram for explaining expansion of a density histogram for contrast improvement and first white balance correction in the image correction method.
FIG. 5 is a diagram for explaining a conversion formula of pixel data used for expansion of the density histogram.
FIG. 6 is a diagram illustrating an example of a density histogram of an image to be subjected to first white balance correction by the extension of the density histogram.
FIG. 7 is a diagram illustrating an example of a density histogram of an original image that is to be subjected to a process for equalizing pixel data of white pixels for the second white balance correction in the image correction method.
FIG. 8 is a diagram illustrating a correction coefficient γ used for γ correction in the image correction method.
[Explanation of symbols]
1-image correction apparatus 2-image output apparatus 3-image forming apparatus 11-CPU
12-ROM
13-RAM
14-Image data input unit 15-Image memory 16-Image data output unit

Claims

In an image correction method for performing contrast enhancement and density histogram expansion for a first white balance correction on a color original image,
Compares the peak value range of the density histogram of each color of RGB in the original color image , compares the maximum value of the density histogram of each color with the reference value, and compares the peak value range of one of the RGB density histograms with the other. If the maximum value of the density histogram of each RGB color exceeds the reference value , white pixels are extracted from the color original image after the density histogram is expanded, and the pixel data of each RGB color pixel of the white pixel is extracted. An average value is calculated, a conversion coefficient in which all of the average values of the pixel data of each RGB color of the white pixel match the average luminance of the original color image is calculated for each RGB color, and each RGB color of all the pixels of the original color image is calculated. And a second white balance correction for multiplying the pixel data by a conversion coefficient .

At the second white balance correction, compares the average luminance of pixels included in the average luminance and the central portion of the pixel included in the peripheral portion of the color original image, changes the processing target based on the comparison result The image correction method according to claim 1.

The image correction method according to claim 1, wherein gradation conversion by γ correction is performed after the second white balance correction.