JPWO2014119060A1 - 画像処理装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JPWO2014119060A1
JPWO2014119060A1 JP2014559494A JP2014559494A JPWO2014119060A1 JP WO2014119060 A1 JPWO2014119060 A1 JP WO2014119060A1 JP 2014559494 A JP2014559494 A JP 2014559494A JP 2014559494 A JP2014559494 A JP 2014559494A JP WO2014119060 A1 JPWO2014119060 A1 JP WO2014119060A1
Authority
JP
Japan
Prior art keywords
color
value
component
minimum value
maximum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014559494A
Other languages
English (en)
Other versions
JP5847341B2 (ja
Inventor
由佳 津田
由佳 津田
宣比古 山岸
宣比古 山岸
智教 福田
智教 福田
大塚 功
功 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014559494A priority Critical patent/JP5847341B2/ja
Application granted granted Critical
Publication of JP5847341B2 publication Critical patent/JP5847341B2/ja
Publication of JPWO2014119060A1 publication Critical patent/JPWO2014119060A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques

Abstract

画像処理装置において、色成分毎の階級の最大値(Ra、Ga、Ba)及び最小値(Ri、Gi、Bi)を算出し、色成分毎の最大値のうちで最も大きな値を全色最大値(Ta)として求め、色成分毎の最大値及び最小値と、全色最大値に基づいて、色成分毎の最大値が全色最大値に等しい色成分以外の色成分について、色補正カーブ(CV)を生成し、色補正カーブを用いて、色成分毎に画像信号の補正を行う。補正後の色成分毎の最大値が、全色最大値(Ta)にほぼ等しくなるような補正を行うための色補正カーブを生成する。或いは、補正後の色成分毎の最小値が、全色最小値(Ti)にほぼ等しくなるような補正を行うための色補正カーブを生成する。撮影時の照明の影響による色かぶりを補正し、画像のコントラストを高めることができる。

Description

本発明は、画像の階調を制御することが可能な画像処理装置及び画像処理方法に関する。本発明はまた、画像処理方法をコンピュータに実行させるプログラム、及びプログラムを記録する記録媒体に関する。
画像のコントラストを高めるために、その画像を形成する各画素に対応した複数の色成分の画像信号に対して色成分毎に階調の最大値及び最小値を算出し、それぞれの色成分毎に算出された最大値及び最小値を、補正画像の画像信号系における階調のダイナミックレンジの最大値及び最小値にそれぞれ設定して階調を補正することが行われている(例えば、特許文献1及び特許文献2参照)。
特開2006−128986号公報(6頁、図1、図9) 特許第4447035号公報(5頁、図4、図5)
従来のように色成分毎に階調の最大値を画像信号系の階調のダイナミックレンジの最大値に、色成分毎に階調の最小値を色成分毎の階調のダイナミックレンジの最小値にそれぞれ設定して階調を補正すると、画像の中に、ある色成分の階調の値は大きくなり、別の色成分の階調の値は小さくなる画素が存在し、色味の変化が統一されないという問題があった。例えば、画像の一部は赤味が取れ、一部はシアンがかり、また別の部分は黄味がかる。
これは、色成分の階調の値は大きくした場合と小さくした場合とで色の変化が異なるためである。例えば、R成分は大きくすると赤くなり、小さくすると赤の反対色であるシアン色になる。また、色成分の比率が変化しないよう、階調を補正するようにすると、画像全体の色かぶりを取ることができず、十分にコントラストを高めらないという問題があった。
本発明は上記の課題を解決するためになされたもので、その目的は画像の色かぶりに対する色の補正を行いつつ、画像のコントラストを高めることである。
本発明の一つの態様の画像処理装置は、
複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出部と、
色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出部と、
前記最大値・最小値算出部で算出された色成分毎の最大値のうちで最も大きな値を全色最大値として求め、前記色成分毎の最大値及び最小値と、前記全色最大値に基づいて、前記色成分毎の最大値が前記全色最大値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成部と、
前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正部とを備え、
前記色補正カーブ生成部は、前記補正後の色成分毎の最大値が、前記全色最大値にほぼ等しくなるような補正を行うための色補正カーブを生成する
ことを特徴とする。
本発明の他の態様の画像処理装置は、
複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出部と、
色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出部と、
前記最大値・最小値算出部で算出された色成分毎の最小値のうちで最も小さい値を全色最小値として求め、前記色成分毎の最大値及び最小値と、前記全色最小値に基づいて、前記色成分毎の最小値が前記全色最小値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成部と、
前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正部とを備え、
前記色補正カーブ生成部は、前記補正後の色成分毎の最小値が、前記全色最小値にほぼ等しくなるような補正を行うための色補正カーブを生成する
ことを特徴とする。
本発明によれば、色成分毎の階調ヒストグラムから色かぶりを補正する色補正カーブを生成しているので、撮影時の照明の影響による色かぶりを補正し、かつ画像のコントラストを高めることができる。
本発明の実施の形態1に係る画像処理装置のブロック図である。 図1の階調ヒストグラム算出部で算出されるR成分の階調ヒストグラムの例を示す図である。 (a)〜(c)は、実施の形態1の階調ヒストグラムで算出されるR、G、B成分の階調ヒストグラムの例を示す図である。 (a)及び(b)は、実施の形態1の色補正カーブ生成部で生成される色補正カーブの異なる例を示す。 (a)〜(c)は、実施の形態1の階調ヒストグラムで算出されるR、G、B成分の階調ヒストグラムの例を示す図である。 (a)及び(b)は、実施の形態1の色補正カーブ生成部で生成される色補正カーブの異なる例を示す。 本発明の実施の形態2に係る画像処理装置のブロック図である。 図7の補正要否判定部の一例を示すブロック図である。 図8の均一領域検出部の一例を示すブロック図である。 (a)及び(b)は、図8のR成分用の差分絶対値算出部で求められる、各階級及びそれに上側で隣接する階級との間の度数の差分絶対値の異なる例を示す図である。 (a)〜(c)は、図8のR成分、G成分及びB成分用の差分絶対値算出部で求められる、各階級及びそれに上側で隣接する階級との間の度数の差分絶対値の例を示す図である。 図8の色相偏り検出部の一例を示すブロック図である。 (a)〜(d)は、図12の色相ヒストグラム算出部で算出される色相ヒストグラムの異なる例を示す図である。 図8の均一領域検出部の他の例を示すブロック図である。
実施の形態1.
図1は、本発明の実施の形態1に係る画像処理装置の構成を示す。図示の画像処理装置は、階調ヒストグラム算出部1と、最大値・最小値算出部2と、色補正カーブ生成部3と、色補正部4とを備えている。
入力画像信号Dinは、1つの画像を形成する画像信号であり、複数の色成分を含む。
階調ヒストグラム算出部1は、入力画像信号Dinの色成分毎に階調分布情報としての階調ヒストグラムを算出して、この色成分毎の階調ヒストグラムを最大値・最小値算出部2へ出力する。
最大値・最小値算出部2は、階調ヒストグラム算出部1から入力された色成分毎の階調ヒストグラムを用いて、色成分毎の階調ヒストグラムにおける階調の最大値及び最小値を算出して色補正カーブ生成部3に出力する。
色補正カーブ生成部3は、最大値・最小値算出部2から入力された色成分毎の最大値及び最小値に基づき色補正カーブCVを生成し、この色補正カーブCVを色補正部4に出力する。
色補正部4は、入力画像信号Dinと色補正カーブ生成部3から入力された色補正カーブCVとを用いて入力画像信号Dinの階調を変換(補正)し、変換後の画像信号Doutを出力する。
以下、入力画像信号DinがR成分の信号(R信号)Rin、G成分の信号(G信号)Gin、及びB成分の信号(B信号)Binで構成され、補正後の画像信号がR信号Rout、G信号Gout、及びB信号Boutで構成される場合について説明する。また、各成分の強さは0〜255の256階調で表されるものとする。
入力画像信号Dinは、階調ヒストグラム算出部1と色補正部4とに入力される。
階調ヒストグラム算出部1は、入力された入力画像信号DinについてR、G、Bの色成分毎に階調ヒストグラムを作成する。階調ヒストグラムは1又は互いに連続する2以上の階調値から成る各階級の度数(1フレームの画像内における、当該階調値を有する画素の数)を示すものである。
階調ヒストグラムは色成分毎に作成されるため、階調ヒストグラム算出部1は色成分の数だけ階調ヒストグラムを算出する。
階調ヒストグラムの各階級に含まれる階調値の数(各階級の幅)を2以上とする場合、2、4、8、16など2のべき乗とするのが計算量を減らす上で有利である。
各階級の幅は、1に近い値の方がより入力画像に忠実な色補正ができるが、階調ヒストグラムを保存するためのメモリー容量を小さくし、また計算量を減らす上では、各階級の幅を大きくするのが有利である。
階調ヒストグラムの各階級は、当該階級に属する階調値の平均値、又は中央値を代表値とし、各階級の値(階級値)は当該階級の代表値によって表され、従って、より大きな階調値を含む階級がより大きな階級(より大きな階調値を有する階級)である。
階調ヒストグラム算出部1から出力された色成分毎の階調ヒストグラム、すなわち、R成分の階調ヒストグラムRh、G成分の階調ヒストグラムGh、及びB成分の階調ヒストグラムBhは、最大値・最小値算出部2に出力される。
最大値・最小値算出部2は、階調ヒストグラム算出部1から出力された色成分毎の階調ヒストグラムにおける、階調の最大値及び最小値を算出する。
R成分の階調ヒストグラムRhの一例を図2に示す。図2において、横軸は階級Cr、縦軸は度数(当該階級に属する階調値を有する画素の数或いは割合)Frである。
最大値・最小値算出部2は、R成分の階調ヒストグラムRhにおける階調の最大値Ra及び最小値Riを求めて出力する。
階調ヒストグラムRhにおける階調の最大値Ra及び最小値Riは以下のように求められる。
例えば、階調ヒストグラムRhにおいて、度数Frが1以上の階級のうち、値(階級の値)Crが最大のものの代表値Rapが、当該ヒストグラムRhにおける階調の最大値Raとして用いられる。
同様に、階調ヒストグラムRhにおいて、度数Frが1以上の階級のうち、値(階級の値)Crが最小のものの代表値Ripが、当該ヒストグラムRhにおける階調の最小値Riとして用いられる。
なお、上記の値Rapの代わりに、R成分の階調ヒストグラムRhにおいて、最大の階級からより最小の階級に向かって、階級毎の度数を累積し、累積値が、入力画像の画素数の所定の割合(予め定められた割合)、例えば、Qa%に達した階級の代表値Raqを階調の最大値Raとして用いても良い。
このようにすることで、信号Rinにノイズが含まれる場合でも、ノイズの影響を除去し、色成分の実質的な最大値を得ることができる。Qa%の値としては、例えば1〜5%の範囲で設定できる。Qaの値は大きくすればするほど、後述する色補正カーブの傾きが大きくなるため、色補正の改善効果が高まるが、Qaの値が大き過ぎると、色補正により階調潰れが発生する。
同様に、上記の値Ripの代わりに、R成分の階調ヒストグラムRhにおいて、最小の階級からより最大の階級に向かって、階級毎の度数を累積し、累積値が、入力画像の画素数の所定の割合(予め定められた割合)、例えば、Qi%に達した階級の代表値Riqを階調の最小値Riとして用いても良い。
このようにすることで、信号Rinにノイズが含まれる場合でも、ノイズの影響を除去し、色成分の実質的な最小値を得ることができる。Qi%の値としては、例えば1〜5%の範囲で設定できる。Qiの値は大きくすればするほど、後述する色補正カーブの傾きが大きくなるため、色補正の改善効果が高まるが、Qiの値が大き過ぎると、色補正により階調潰れが発生する。
最大値・最小値算出部2には、上記と同様にして、G成分最大値Ga及び最小値Gi、並びにB成分の最大値Ba及び最小値Biを生成する。これらの値は、色補正カーブ生成部3に出力される。
色補正カーブ生成部3は、最大値・最小値算出部2から入力された色成分毎の最大値Ra、Ga、Ba及び最小値Ri、Gi、Biに基づき、色補正カーブを次のような手順で生成する。
まず、色補正カーブ生成部3は、最大値・最小値算出部2から入力されたR成分の最大値Raと、G成分の最大値Gaと、B成分の最大値Baとを比較し、これらのうちのいずれか1つ以上が他よりも大きい場合、これらのうちの最も大きい値(最大値Ra、Ga、Baの最大値)
Ta=MAX(Ra,Ga,Ba)
を全色最大値Taとして算出し、全色最大値Taを基準として、色補正カーブを生成する。
一方、R成分の最大値Raと、G成分の最大値Gaと、B成分の最大値Baとが全て互いに等しい場合、色補正カーブ生成部3は、最大値・最小値算出部2から入力されたR成分の最小値Riと、G成分の最小値Giと、B成分の最小値Biとを比較し、これらのうちのいずれか1つ以上が他よりも小さい場合、これらのうちの最も小さい値(最小値Ri、Gi、Biの最小値)
Ti=MIN(Ri,Gi,Bi)
を全色最小値Tiとして算出し、全色最小値Tiを基準として、色補正カーブを生成する。
まず、全色最大値Taを基準として色補正カーブを生成する方法を図3(a)〜(c)及び図4(a)及び(b)を用いて説明する。
図3(a)〜(c)は、生成されるべき色補正カーブによる階調ヒストグラムの変化(変形)、即ち、入力画像信号についての階調ヒストグラムと、出力画像信号についてのヒストグラムを示す。但し、出力画像信号についての階調ヒストグラムは実際には生成されるわけではなく、仮に生成した場合に得られるものを示している。
図3(a)は階調ヒストグラム算出部1が算出するR成分の階調ヒストグラムRhと、最大値・最小値算出部2が算出したR成分の最大値Ra及び最小値Riを示す。
図3(b)は階調ヒストグラム算出部1が算出するG成分の階調ヒストグラムGhと、最大値・最小値算出部2が算出したG成分の最大値Ga及び最小値Giを示す。
図3(c)は階調ヒストグラム算出部1が算出するB成分の階調ヒストグラムBhと、最大値・最小値算出部2が算出したB成分の最大値Ba及び最小値Biを示す。
色補正カーブ生成部3は、図3(a)〜(c)で示される組合せの場合、R成分最大値Ra、G成分最大値Ga、及びB成分最大値Baから全色最大値Ta(=Ra)を算出する。
最も大きい最大値を持つ色成分(各色最大値Xa(XはR、G又はB)が全色最大値Taに等しい色成分)以外の色成分の各々について、変形後の階級ヒストグラムの最大値(最大階級の代表値)が全色最大値Taに等しくなるような色補正カーブを生成する。
具体的には、G成分の階級ヒストグラムGhを、その最大値が全色最大値Ta(=Ra)に等しくなるように変形する。変形後の階調ヒストグラムを符号Ghuで示し、その最大値を符号Gauで示す。
同様に、B成分の階級ヒストグラムBhを、その最大値が全色最大値Ta(=Ra)に等しくなるように変形する。変形後のヒストグラムを符号Bhuで示し、その最大値を符号Bauで示す。
色補正カーブとして、このようなヒストグラムの変形を行うものが生成される。
図4(a)及び(b)は、色補正カーブ生成部3が生成する色補正カーブの一例である。図4(a)及び(b)は、階調ヒストグラムを図3(a)〜(c)に示すように変形するための色補正カーブである。
図4(a)において、横軸は入力画像信号Dinに含まれるG成分Ginを示し、縦軸は出力画像信号Doutに含まれるG成分Goutの階調を示す。図4(b)において、横軸は入力画像信号Dinに含まれるB成分Binの階調を示し、縦軸は出力画像信号Doutに含まれるB成分Boutの階調を示す。
図4(a)の符号CV1はG成分の色補正カーブを示し、図4(b)の符号CV2はB成分の色補正カーブを示す。
図中の符号Ta、Ga、Gi、Ba、及びBiはそれぞれ、図3(a)〜(c)で説明した、全色最大値、G成分の最大値及び最小値、並びにB成分の最大値及び最小値を示す。また、図中のCV0で示す直線は傾き1の直線である。
G成分の色補正カーブCV1は、全色最大値Taと、G成分の最大値Ga及び最小値Giとを用いて生成される。即ち、G成分の色補正カーブCV1は、Ginの階調が0で、Goutの階調が0である点p0と、Ginの階調がGiで、Goutの階調がGiである点p2と、Ginの階調がGaで、Goutの階調がTa(=Ra)である点p3と、Ginの階調が255で、Doutの階調がTa(=Ra)である点p1とを結ぶ折れ線である。
入力画像信号のG成分Ginの階調に対する出力画像のG成分Goutの階調はこの折れ線CV1上の値である。このようにG成分の色補正カーブCV1は、G成分の最小値Gi及びG成分が取り得る値の最小値が変化しないように生成される。
即ち、色補正前のG成分Ginの最小値Giに対応する色補正カーブCV1上の点は点p2であり、色補正後のG成分Goutの最小値Giは、色補正前のG成分Ginの最小値Giに等しい。同様に、色補正前のG成分Ginが取り得る値の最小値(値0)に対応する色補正カーブCV1上の点は点p0であり、色補正後のG成分Goutが取り得る値の最小値(値0)は、色補正前のG成分Ginが取り得る値の最小値(値0)に等しい。
なお、最小値Giよりも小さい値を持つG成分Ginが存在しない場合には、最小値Giよりも小さい範囲の色補正カーブがどのように定められるかは実際上の意味を持たないが、最小値Giよりも小さい値を持つG成分Ginが存在する場合には、最小値Giよりも小さい範囲の色補正カーブがどのように定められるかが意味を持つ。例えば上記のように、ヒストグラムの階級毎の度数の累積値が予め定められた割合に達した階級の代表値を最小値Giとして用いる場合に、最小値Giよりも小さい値を持つG成分Ginが存在し得る。
なおまた、上記のように、G成分の最小値Gi及びG成分が取り得る値の最小値がともに変化しないような色補正カーブCV1を生成する代わりに、G成分の最小値Gi及びG成分が取り得る値の最小値のいずれか一方のみが変化しないような色補正カーブを生成することとしても良い。
B成分の色補正カーブCV2は、全色最大値Taと、B成分の最大値Ba及び最小値Biとを用いて生成される。即ち、B成分の色補正カーブCV2は、Binの階調が0で、Boutの階調が0である点p0と、Binの階調がBiで、Boutの階調がBiである点p4と、Binの階調がBaで、Boutの階調がTa(=Ra)である点p5と、Binの階調が255で、Boutの階調がTa(=Ra)である点p1とを結ぶ折れ線である。
入力画像信号のB成分Binの階調に対する出力画像信号のB成分Boutの階調はこの折れ線CV2上の値である。このようにB成分の色補正カーブCV2は、B成分の最小値Biが変化しないように生成される。
なお、図4(b)の色補正カーブCV2上の点p4は、色補正前のB成分が取り得る値の最小値に対応する点であり、図4(b)の色補正カーブCV2は、B成分が取り得る値の最小値が変化しないように生成されたものであるとも言える。
従って、B成分の色補正カーブCV2は、B成分の最小値Bi及びB成分が取り得る値の最小値が変化しないように生成されたものであるとも言える。
なおまた、上記のように、B成分の最小値Bi及びB成分が取り得る値の最小値がともに変化しないような色補正カーブCV2を生成する代わりに、B成分の最小値Bi及びB成分が取り得る値の最小値のいずれか一方のみが変化しないような色補正カーブを生成することとしても良い。
図4(b)のようにB成分の色補正カーブCV2が、点p4と点p5とを結ぶ線分と、点p5と点p1とを結ぶ線分となっているのは、Biの値が0であり、点p0と点p4は同一の点であるためである。色補正カーブに用いる点の数は、複数の点が重なる(例えば、点p5と点p1が同一の点になる、Baの値が255である場合など)場合は4点以下になる。
このようにして、色補正カーブ生成部3は、R、G、B成分の最大値Ra、Ga、Baのいずれか1つ以上が他の最大値より大きい場合、最も大きい最大値を持つ色成分(各色最大値Xaが全色最大値Taに等しい色成分)以外の色成分について、色成分毎に色補正カーブを生成する。すなわち、
R成分の最大値Raが全色最大値Taに等しい場合は、G成分の色補正カーブとB成分の色の色補正カーブを生成し、
G成分の最大値Gaが全色最大値Taに等しい場合は、B成分の色補正カーブとR成分の色の色補正カーブを生成し、
B成分の最大値Baが全色最大値Taに等しい場合は、R成分の色補正カーブとG成分の色の色補正カーブを生成し、
R成分の最大値RaとG成分の最大値Gaが等しく、B成分の最大値Baより大きい場合は、B成分の色補正カーブを生成し、
R成分の最大値GaとB成分の最大値Baが等しく、G成分の最大値Gaより大きい場合は、G成分の色補正カーブを生成し、
G成分の最大値GaとB成分の最大値Baが等しく、R成分の最大値Raより大きい場合は、R成分の色補正カーブを生成する。
なお、各色最大値(Xa)が、全色最大値Taに等しい色成分(X)について、色補正カーブ生成部3は色補正カーブを出力せず、色補正部4は、入力画像信号をそのまま(補正乃至階調変換を行うことなく)出力画像信号として出力しても良く、色補正カーブ生成部3が色補正カーブとして図4(a)及び(b)に示す傾き1の直線CV0を生成し、色補正部4が傾き1の直線CV0を用いて形の上でのみ補正を行う(実質的には補正は行われない)こととしても良い。傾き1の直線を用いることとすれば、色成分毎の階級の最大値の大小に関わらず、色補正カーブの数が常に同じになる。
また、R、G、B成分の最大値Ra、Ga、Baが全て互いに等しい場合、全色最小値Tiを基準として色補正カーブを生成する。
全色最小値Tiを基準として色補正カーブを生成する方法を図5(a)〜(c)及び図6(a)及び(b)を用いて説明する。
図5(a)〜(c)は、生成されるべき色補正カーブによる階調ヒストグラムの変化(変形)、即ち、入力画像信号についての階調ヒストグラムと、出力画像信号についてのヒストグラムを示す。但し、出力画像信号についての階調ヒストグラムは実際には生成されるわけではなく、仮に生成した場合に得られるものを示している。
図5(a)は階調ヒストグラム算出部1が算出するR成分の階調ヒストグラムRhと、最大値・最小値算出部2が算出したR成分の最大値Ra及び最小値Riを示す。
図5(b)は階調ヒストグラム算出部1が算出するG成分の階調ヒストグラムGhと、最大値・最小値算出部2が算出したG成分の最大値Ga及び最小値Giを示す。
図5(c)は階調ヒストグラム算出部1が算出するB成分の階調ヒストグラムBhと、最大値・最小値算出部2が算出したB成分の最大値Ba及び最小値Biを示す。
色補正カーブ生成部3は、図5(a)〜(c)で示される組合せの場合、最大値Ra、Ga、Baが全て同じ値であるため、最小値Ri、Gi、及びBiから全色最小値Ti(=Bi)を算出する。
最も小さい最小値を持つ色成分(各色最小値Xi(XはR、G又はB)が全色最小値Tiに等しい色成分)以外の色成分の各々について、変形後の階級ヒストグラムの最小値(最小階級の代表値)が全色最小値Tiに等しくなるような色補正カーブを生成する。
具体的には、R成分の階級ヒストグラムRhを、その最小値が全色最小値Ti(=Bi)に等しくなるように、変形する。変形後の階調ヒストグラムを符号Rhdで示し、その最小値を符号Ridで示す。
同様に、G成分の階級ヒストグラムGhを、その最小値が全色最小値Ti(=Bi)に等しくなるように、変形する。変形後の階調ヒストグラムを符号Ghdで示し、その最小値を符号Gidで示す。
色補正カーブとして、このようなヒストグラムの変形を行うものが生成される。
図6(a)及び(b)は、色補正カーブ生成部3が生成する色補正カーブの一例である。図6(a)及び(b)は、階調ヒストグラムを図5(a)〜(c)に示すように変形するための色補正カーブである。
図6(a)において、横軸は入力画像信号Dinに含まれるR成分Rinの階調を示し、縦軸は出力画像信号Doutに含まれるR成分Routの階調を示す。図6(b)において、横軸は入力画像信号Dinに含まれるG成分Ginの階調を示し、縦軸は出力画像信号Doutに含まれるG成分Goutの階調を示す。
図6(a)の符号CV3はR成分の色補正カーブを示し、図6(b)の符号CV4はG成分の色補正カーブを示す。
図中の符号Ti、Ra、Ri、Ga、及びGiはそれぞれ、図5(a)〜(c)で説明した、全色最小値、R成分の最大値及び最小値、並びにG成分の最大値及び最小値を示す。また、図中のCV0で示す直線は傾き1の直線である。
R成分の色補正カーブCV3は、全色最小値Tiと、R成分の最大値Ra及び最小値Riとを用いて生成される。即ち、R成分の色補正カーブCV3は、Rinの階調が0で、Routの階調がTi(=Bi)である点p10と、Rinの階調がRiで、Routの階調がTi(Bi)である点p12と、Rinの階調がRaで、Routの階調がRaである点p13と、Rinの階調が255で、Routの階調が255である点p11とを結ぶ折れ線である。
入力画像信号のR成分Rinの階調に対する出力画像信号のR成分Routの階調はこの折れ線CV3上の値である。このようにR成分の色補正カーブCV3は、R成分の最大値Ra及びR成分が取り得る値の最大値が変化しないように生成される。
即ち、色補正前のR成分Rinの最大値Raに対応する色補正カーブCV3上の点は点p13であり、色補正後のR成分Routの最大値Raは、色補正前のR成分Rinの最大値Raに等しい。同様に、色補正前のR成分Rinが取り得る値の最大値(値255)に対応する色補正カーブCV3上の点は点p11であり、色補正後のR成分Routが取り得る値の最大値(値255)は、色補正前のR成分Ginが取り得る値の最大値(値255)に等しい。
なお、最大値Raよりも大きい値を持つR成分Rinが存在しない場合には、最大値Raよりも大きい範囲の色補正カーブがどのように定められるかは実際上の意味を持たないが、最大値Raよりも大きい値を持つR成分Rinが存在する場合には、最大値Raよりも大きい範囲の色補正カーブがどのように定められるかが意味を持つ。例えば上記のように、ヒストグラムの階級毎の度数の累積値が予め定められた割合に達した階級の代表値を最大値Raとして用いる場合に、最大値Raよりも大きい値を持つR成分Rinが存在し得る。
なおまた、上記のように、R成分の最大値Ra及びR成分が取り得る値の最大値がともに変化しないような色補正カーブCV3を生成する代わりに、G成分の最大値Ga及びG成分が取り得る値の最大値のいずれか一方のみが変化しないような色補正カーブを生成することとしても良い。
G成分の色補正カーブCV4は、全色最小値Tiと、G成分の最大値Ga及び最小値Giとを用いて生成される。即ち、G成分の色補正カーブCV4は、Ginの階調が0で、Goutの階調がTi(=Bi)である点p10と、Ginの階調がGiで、Goutの階調がTi(=Bi)である点p14と、Ginの階調がGaで、Goutの階調がGaである点p15と、Ginの階調が255で、Goutの階調が255である点p11とを結ぶ折れ線である。
入力画像信号のG成分Ginの階調に対する出力画像信号のG成分Goutの階調はこの折れ線CV4上の値である。このようにG成分の色補正カーブCV4は、G成分の最大値Ga及びG成分が取り得る値の最大値が変化しないように生成される。
即ち、色補正前のG成分Ginの最大値Gaに対応する色補正カーブCV4上の点は点p15であり、色補正後のG成分Goutの最大値Gaは、色補正前のG成分Ginの最大値Gaに等しい。同様に、色補正前のG成分Ginが取り得る値の最大値(値255)に対応する色補正カーブCV4上の点は点p11であり、色補正後のG成分Goutが取り得る値の最大値(値255)は、色補正前のG成分Ginが取り得る値の最大値(値255)に等しい。
なお、最大値Gaよりも大きい値を持つG成分Ginが存在しない場合には、最大値Gaよりも大きい範囲の色補正カーブがどのように定められるかは実際上の意味を持たないが、最大値Gaよりも大きい値を持つG成分Ginが存在する場合には、最大値Gaよりも大きい範囲の色補正カーブがどのように定められるかが意味を持つ。例えば上記のように、ヒストグラムの階級毎の度数の累積値が予め定められた割合に達した階級の代表値を最大値Gaとして用いる場合に、最大値Gaよりも大きい値を持つG成分Ginが存在し得る。
なおまた、上記のように、G成分の最大値Ga及びG成分が取り得る値の最大値がともに変化しないような色補正カーブCV4を生成する代わりに、G成分の最大値Ga及びG成分が取り得る値の最大値のいずれか一方のみが変化しないような色補正カーブを生成することとしても良い。
このようにして、色補正カーブ生成部3は、R、G、B成分の最小値Ri、Gi、Biのいずれか1つ以上が他の最小値より小さい場合、最も小さい最小値を持つ色成分(各色最小値Xiが全色最小値Tiに等しい色成分)以外の色成分について、色成分毎に色補正カーブを生成する。すなわち、
R成分の最小値Riが全色最小値Tiに等しい場合は、G成分の色補正カーブとB成分の色の色補正カーブを生成し、
G成分の最小値Giが全色最小値Tiに等しい場合は、B成分の色補正カーブとR成分の色の色補正カーブを生成し、
B成分の最小値Biの全色最小値Tiに等しい場合は、R成分の色補正カーブとG成分の色の色補正カーブを生成し、
R成分の最小値RiとG成分の最小値Giが等しく、B成分の最小値Biより小さい場合は、B成分の色補正カーブを生成し、
R成分の最小値RiとB成分の最小値Biが等しく、G成分の最小値Giより小さい場合は、G成分の色補正カーブを生成し、
G成分の最小値GiとB成分の最小値Biが等しく、R成分の最小値Riより小さい場合は、R成分の色補正カーブを生成する。
なお、各色最小値(Xi)が、全色最小値Tiに等しい色成分(X)について、色補正カーブ生成部3は色補正カーブを出力せず、色補正部4は、入力画像信号をそのまま(補正を行うことなく)出力画像信号として出力しても良く、色補正カーブ生成部3が色補正カーブとして図6(a)及び(b)に示す傾き1の直線CV0を生成し、色補正部4が傾き1の直線CV0を用いて形の上でのみ補正を行う(実質的には補正は行われない)こととしても良い。傾き1の直線を用いることとすれば、色成分毎の階級の最大値の大小に関わらず、色補正カーブの数が常に同じになる。
以上のようにして、色補正カーブ生成部3で生成された色補正カーブCV(C0〜C4)は色補正部4に入力される。色補正部4は、色補正カーブ生成部3から入力された色補正カーブに基づき、色成分毎に対応する色補正カーブに基づいて、入力画像信号Din(Rin、Gin、Bin)の階調を変換乃至補正して、変換後の画像信号(出力画像信号)Dout(Rout、Gout、Bout)を出力する。色補正カーブCVは、例えばLUT(ルックアップテーブル)の形で提供され、色補正部4は、LUTを参照して補正を行う。
このように構成された本実施の形態に係る画像処理装置では、色成分毎の最大値相互間に差がある場合には、各色成分について、その最大値が全色最大値Taと等しくなるように、色成分毎に階調を補正することにより、補正後の画像において最も白(全色成分の階調がダイナミックレンジの最大値である255)に近い色を色かぶりのない無彩色にして、補正後の画像の色信号の最大値と最小値の差を広げることができ、色かぶりを補正しつつコントラストを高めることができるという効果がある。また、補正後の画像信号Doutは入力画像信号Dinよりも階調の値が大きくなるため、画像を明るくすることができるという効果が得られる。
全ての色成分の階調がダイナミックレンジの最大値になるよう補正してしまうと、白い部分が含まれない画像の場合に、無理矢理白色に変換するため、例えば、夕焼けの画像が白くなるなどの不具合が生じるが、本実施の形態に係る画像処理装置では、色成分の階調の最大値を基準に補正をしているため、このような不具合が生じない効果が得られる。
また、画像の全画素について、色成分の階調の値が元の値以上になる補正をしているため、正しく色を変化させることができ、色かぶりが補正されるという効果がある。階調の値が大きくなる画素と小さくなる画素が存在するような従来の補正方法では、例えば、赤味を抑えるために、緑と青の色を増やしたにもかかわらず、赤味も増す補正をしてしまい、逆効果になることがある。
上記の実施の形態では、色成分毎の最大値相互間に差がなく、色成分毎の最小値相互間に差がある場合に、色成分毎の最小値、及び最小値のうちの最も小さい値(全色最小値)Tiに基づいて色補正カーブを生成しているが、色成分毎の最大値相互間に差があるか否かに拘わらず、色成分毎の最小値相互間に差があることを条件として、色成分毎の最小値、及び全色最小値Tiに基づいて色補正カーブを生成することとしても良い。
色成分毎の最小値及び全色最小値に基づいて、各色成分の最小値が全色最小値Tiと等しくなるような色補正カーブを生成して、色成分毎に階調を補正することにより、補正後の画像において最も黒(全色成分の階調がダイナミックレンジの最小値である0)に近い色を、色かぶりのない無彩色にして、補正後の画像の色信号の最大値と最小値の差を広げることができ、色かぶりを補正しつつコントラストを高めることができるという効果が得られる。また、補正後の画像信号Doutは入力画像信号Dinよりも階調の値が小さくなるため、黒を再現できるという効果が得られる。例えば、ガラス越しに撮影した場合、画像が全体的に白い靄がかかったような画像が得られ、黒が灰色になっているが、これを黒にすることができる。
また、階調ヒストグラムの階級の最大から最小に向かって度数を累積し、累積値が1フレームの入力画像信号の総画素数に対する所定の割合に達した階級の代表値を最大値とする場合には、入力画像信号にノイズがある場合でも、ノイズの影響を除去して階調分布の実質的な最大値を色補正カーブの生成に用いることができ、従って、色補正カーブの生成をより適切に行うことができる。
同様に、階調ヒストグラムの階級の最小から最大に向かって度数を累積し、累積値が入力画像信号Dinの総画素数に対する所定の割合に達した階級の代表値を最小値とする場合には、入力画像信号Dinにノイズがある場合でも、ノイズの影響を除去して階調分布の実質的な最小値を、色補正カーブの生成に用いることができ、従って、色補正カーブの生成をより適切に行うことができる。
なお、色補正カーブ生成部3は、最も大きい最大値を持つ色成分(各色最大値Xaが全色最大値Taに等しい色成分)以外の色成分の各々について、変形後の階級ヒストグラムの最大値(Rau、Gau、Bau)が全色最大値Taに等しくなるような色補正カーブを生成しているが、変形後の階級ヒストグラムの最大値(Rau、Gau、Bau)が全色最大値Taと全く等しくなる必要はなく、全色最大値Taにほぼ等しくなればよく、例えば全色最大値Taに近い値、例えば、全色最大値Taの上下で所定の値未満の範囲にある値になるような色補正カーブを生成してもよい。所定の値は、例えば、4や8など、256階調に対し、十分小さい値とする。
このように、各色最大値が全色最大値Taに近い値になるよう色成分毎に階調を補正することにより、補正後の画像において最も白(全色成分の階調がダイナミックレンジの最大値である255)に近い色を、色かぶりのない無彩色にすることができ、色かぶりを補正しつつコントラストを高めるとともに、補正後の画像信号Doutは入力画像信号Dinよりも階調の値が大きくなり画像を明るくすることもできるという効果が得られる。
また、色補正カーブ生成部3は、最も大きい最大値を持つ色成分(各色最大値Xaが全色最大値Taに等しい色成分)以外の色成分の各々について、最小値(図4(a)、(b)の例ではGi、Bi)及び/又は色成分が取り得る値の最小値(図4(a)、(b)の例では「0」)が変化しないように色補正カーブを生成しているが、最小値及び/又は色成分が取り得る値の最小値が全く変化しないようにする必要はなく、ほぼ変化しないようにすればよく、例えば変化の幅が、所定の値未満であれば良い。所定の値は、例えば、4、8など、256階調に対し、十分小さい値であれば良い。
同様に、色補正カーブ生成部3は、最も小さい最小値を持つ色成分(各色最小値Xiが全色最小値Tiに等しい色成分)以外の色成分の各々について、変形後の階級ヒストグラムの最小値(Rid、Gid、Bid)が全色最小値Tiに等しくなるような色補正カーブを生成しているが、変形後の階級ヒストグラムの最小値(Rid、Gid、Bid)が全色最小値Tiと全く等しくなる必要はなく、全色最小値Tiにほぼ等しくなればよく、例えば全色最小値Tiに近い値、例えば、全色最小値Tiの上下で所定の値未満の範囲にある値になるような色補正カーブを生成してもよい。所定の値は、例えば、4や8など、256階調に対し、十分小さい値とする。
各色最小値が全色最小値Tiに近い値になるよう色成分毎に階調を補正することにより、補正後の画像において最も黒(全色成分の階調がダイナミックレンジの最小値である0)に近い色を、色かぶりのない無彩色にすることができ、色かぶりを補正しつつコントラストを高める効果が得られる。
また、色補正カーブ生成部3は、最も小さい最小値を持つ色成分(各色最小値Xiが全色最大値Tiに等しい色成分)以外の色成分の各々について、最大値(図6(a)、(b)の例ではRa、Ga)及び/又は色成分が取り得る値の最大値(図6(a)、(b)の例では「255」)が変化しないように色補正カーブを生成しているが、最大値及び/又は色成分が取り得る値の最大値が全く変化しないようにする必要はなく、ほぼ変化しないようにすればよく、例えば変化の幅が、所定の値未満であれば良い。所定の値は、例えば、4、8など、256階調に対し、十分小さい値であれば良い。
また、本実施の形態では、色成分をR、G、Bとして説明してきたが、色成分はこれに限るものではなく、印刷機等で使用されているC、M、Y、K(シアン、マゼンタ、イエロー、キー・プレート)でもよい。また、Lab色空間(明度L、補色次元a及びbで表される補色空間の一種)でも適用可能である。要するに、R、G、B、C、M、Yのうち2つ以上の色が変化する方向が直交している場合に適用可能である。
また、上記の実施の形態では、色補正部4は、入力された色補正カーブの傾きの大きさに関わらず色補正を行うが、色補正カーブの傾きが大きい場合に、補正後の画像信号Doutの色成分において階調飛びが発生し、画像の劣化の原因となる。そこで色補正カーブの傾きが、例えば2を超えるような大きい値の場合、色補正カーブにより色補正を施した後に、平滑化等の、一般的なノイズ補正処理を行い、階調飛びを軽減するようにしてもよい。
なお、色補正カーブ生成部3は、最大値・最小値算出部2で算出された色成分毎の最大値が互いに等しい場合に限らず、色成分毎の最大値相互間の差分が所定の値より小さい場合に、色成分毎の階級の最小値を用いて色補正カーブを生成することとしても良い。
このようにすれば、より明るく補正される処理を優先的に選択することができる。
また、色補正カーブ生成部3が、最大値・最小値算出部2で算出された色成分毎の最大値が互いに等しい、或いは色成分毎の最大値相互間の差分が所定の値より小さい場合に、色成分毎の階級の最小値を用いて色補正カーブを生成する代わりに、入力画像信号Dinの平均輝度を算出する手段を追加し、この手段が出力した平均輝度に応じて、色補正カーブの生成に色成分毎の階級の最大値を用いるか、それとも、色補正カーブの生成に色成分毎の階級の最小値を用いるかを決定するようにしてもよい。
決定方法の一例として、平均輝度が所定の値、例えば、ダイナミックレンジの中心に位置する値である128以上の場合に色成分毎の階級の最小値を用い、平均輝度が所定の値未満の場合に色成分の階級の最大値を用いる。
色成分の階級の最小値を用いた色補正カーブでは、補正後の画像は入力画像よりも暗くなるが、黒を再現することができるという効果がある。色成分の階級の最大値を用いた色補正カーブでは、補正後の画像は入力画像よりも明るくなるという効果がある。
この決定方法では、入力画像が明るい場合は黒の再現を優先し、入力画像が暗い場合は明るくすることを優先することになる。
実施の形態2.
図7は、本発明の実施の形態2に係る画像処理装置の構成を示す。図示の画像処理装置は、階調ヒストグラム算出部1と、最大値・最小値算出部2と、色補正カーブ生成部3と、色補正部4と、補正要否判定部5とを備えている。
図7において、階調ヒストグラム算出部1、最大値・最小値算出部2、色補正カーブ生成部3及び色補正部4は、実施の形態1で説明したのと同様のものである。
入力画像信号Dinは、階調ヒストグラム算出部1及び色補正部4のみならず、補正要否判定部5にも入力される。
階調ヒストグラム算出部1で算出された色成分毎の階調ヒストグラム、すなわち、R、G、B成分の階調ヒストグラムRh、Gh、Bhは、最大値・最小値算出部2のみならず、補正要否判定部5にも出力される。
補正要否判定部5は、階調ヒストグラム算出部1から入力された色成分毎の階調ヒストグラムRh、Gh、Bhを用いて、色成分毎に、階調値が属する階級が等しい画素から成る画像領域の面積が大きいか否かを判定するとともに、入力画像信号Dinを構成する、色成分を表す信号Rin、Gin、Binから色相値を算出して、1フレームの画像における色相分布(色相ヒストグラム)を算出し、色相分布の偏りが大きいか否かを判定する。
色補正カーブ生成部3は、最大値・最小値算出部2から入力された色成分毎の最大値及び最小値のみならず、補正要否判定部5から入力された判定結果にも基づいて色補正カーブを生成し、この色補正カーブを色補正部4に出力する。
以下、補正要否判定部5について詳しく説明する。
補正要否判定部5は、図8に示すように、均一領域検出部51と、色相偏り検出部52と、総合判定部53とを有する。
均一領域検出部51は、階調ヒストグラム算出部1から入力された色成分毎の階調ヒストグラムRh、Gh、Bhを用いて、色成分毎に、同じ階級に属する階調値を有する画素から成る画像領域の面積の割合が所定の値(予め定められた値)よりも大きいか否かを判定(推定)する。この判定は、階調ヒストグラムにおける隣接階級間の度数の差分絶対値が、所定の閾値(予め定められた値)よりも大きいか否かに基づいて行われる。
色相偏り検出部52は、入力画像信号Dinを用いて、入力画像信号Dinの色相分布を解析し、色相分布の偏りが大きいか否かの判定(推定)を行う。この判定は、所定の幅以上の、色相が欠落している範囲が存在するか否に基づいて行われる。
総合判定部53は、均一領域検出部51での判定結果と、色相偏り検出部52での判定結果に基づいて、補正の要否を判定する。
以下、均一領域検出部51の動作につき詳しく説明する。
均一領域検出部51は、図9に示すように、差分絶対値算出部511r、511g、511bと、差分絶対値比較部512r、512g、512bと、判定部513とを有する。
差分絶対値算出部511r、511g、511bは、それぞれ階調ヒストグラム算出部1から入力されたR、G、B成分の階調ヒストグラムRh、Gh、Bhについて、隣接する階級間の度数の差分絶対値(各階級と、該階級に上側で隣接する階級、即ち該階級よりも階級値が1つ大きい階級の間の度数の差分絶対値)を算出する。
即ち、R成分用の差分絶対値算出部511rは、R成分の階調ヒストグラムRhについて、隣り合う階級間の度数Frの差分絶対値を算出し、差分絶対値ADrを算出する。
図10(a)及び(b)は、R成分の階調ヒストグラムの、隣り合う階級間の度数の差分絶対値ADrを示したものである。横軸は階調ヒストグラムの、最大階級以外の階級Cr(=0〜254)を示し、縦軸は対応する階級と、それに上側で隣接する階級の差分絶対値ADrを示している。即ち、図10(a)及び(b)における横軸の階級の値Crと、縦軸の差分絶対値ADrの関係は下式で表される。
ADr=|Fr(Cr+1)−Fr(Cr)|
上記の式でFr(Cr)は階級Crにおける度数を表す。
階級間の差分絶対値ADrは階調ヒストグラムの階級Crの数より一つ少ない数だけ算出される。また、差分絶対値の総和ADrは、階調ヒストグラム全体における度数Frの総和(階調値の発生度数の総数)の2倍以下である。
図10(a)は、均一な色の領域の面積が大きい画像の差分絶対値の一例を示し、図10(b)は均一な色の領域の面積が小さい画像の差分絶対値の一例を示す。ここで、均一な色の領域とは、各色成分において、同じ階級に属する階調値を有する画素から成る画像領域である。
図10(a)に示すように、均一な色の領域の面積が大きい画像の差分絶対値は、差分絶対値の最大値が、均一な色の領域の面積が小さい画像の差分絶対値の最大値よりも、著しく大きいという特徴がある。また、均一な色の領域の面積が大きい画像には、アニメやロゴマークのように均一な色の領域のみで構成された画像があり、この場合、差分絶対値は、差分絶対値が0になる階調が、均一な色の領域の面積が小さい画像よりも多い、すなわち均一な色の領域の面積が大きい画像は、均一な色の領域の面積が小さい画像に比べて色の数が少ないという特徴がある。
G成分用の差分絶対値算出部511g及びB成分用の差分絶対値算出部511bは、R成分差分用の絶対値算出部511rと同様に、階調ヒストグラム算出部1から入力されたG成分の階調ヒストグラムGh及びB成分の階調ヒストグラムBhについて、隣り合う階級間の度数の差分絶対値ADg、ADbを算出する。
このようにして生成されたR、G、Bの各色成分の階調ヒストグラムの隣り合う階級間の度数の差分絶対値に基づいて、以下のようにして、入力画像に均一な色の領域の面積が大きい画像であるか否かの判定を行う。
例えば、階調ヒストグラムの差分絶対値に対する閾値ADrth、ADgth、ADbthを入力画像の総画素数の20%とする。
差分絶対値比較部512rは、R成分の階調ヒストグラムRhの隣接階級間の差分絶対値ADrを閾値ADrthと比較し、該閾値を上回る差分絶対値があるか否かの判定を行い、判定結果EXrを出力する。
同様に、差分絶対値比較部512gは、G成分の階調ヒストグラムGhの隣接階級間の差分絶対値ADgを閾値ADgthと比較し、該閾値を上回る差分絶対値があるか否かの判定を行い、判定結果EXgを出力する。
同様に、差分絶対値比較部512bは、B成分の階調ヒストグラムBhの隣接階級間の差分絶対値ADbを閾値ADbthと比較し、該閾値を上回る差分絶対値があるか否かの判定を行い、判定結果EXbを出力する。
判定部513は、差分絶対値比較部512r、512g、512bのいずれかで、「閾値を上回る差分絶対値がある」との比較結果が示された場合には、入力画像が均一な大きい面積の領域を含むとの判定結果を出力する。
この判定結果が出力されると、補正要否判定部5は、色補正は「不要」と判定する。
一方、差分絶対値比較部512r、512g、512bのいずれにおいても、「閾値を上回る差分絶対値がある」との比較結果が示されなかった場合には、入力画像は均一な色の大面積の領域を含まないとの判定結果を出力する。
ここで、入力画像が均一な色の領域の面積が大きい画像であるか否かの判定結果に基づいて色補正の要否を判定する理由を説明する。入力画像の種類には、デジタルカメラなどの電子機器により風景、人物などを被写体として撮影した画像(自然画像)と、絵画、CG、イラストなどの人の手によって色や形をデザインされた画像とがある。後者は作成者が意図する色の明るさで描かれているため、色補正などにより色や明るさが変化すると作成者の意図に反する画像になるという問題がある。また、その画像に描かれた対象物に人々の記憶色がある場合、記憶色に反する画像に変化してしまうという問題も生じる。
さらに、鉛筆のタッチで描いたイラストが色補正によりボールペンで描いたイラストのようになったり、水彩画が色補正により油絵のようになったり、灰色の動物の画像が色補正により白色の動物の画像になったりするなどの問題が生じる恐れがある。
そこで、階調を補正して色補正をする際は、色補正により不具合が生じる画像か否かを判定することが必要になる。色補正により不具合が生じる画像には、共通して画像内にベタ塗り(ある範囲内を単一色で塗りつぶすこと)の領域があるという特徴がある。したがって、本実施の形態では、ベタ塗りの領域がある画像か否か、すなわち均一な色の領域の面積が大きい画像か否かを判定し、均一な色の領域の面積が大きい画像の場合には色補正を行わないこととしている。
但し、上記のように、階調ヒストグラムの隣り合う階級間の度数の差分に基づいて、均一な領域の面積が大きい画像か否かの判定を行う場合、自然画像であっても、階調ヒストグラムの最大階級及び最小階級の度数が大きくなり、従って最大階級とその隣接階級、並びに最小階級とその隣接階級との差分絶対値が極めて大きくなる場合があることを考慮する必要がある。
図11(a)〜(c)は、風景画像のような均一な色の領域の面積が小さい画像についての、それぞれ、R成分、G成分、及びB成分の、階調ヒストグラムRh、Gh、Bhの、隣り合う階級間の度数の差分絶対値を示したものである。
図11(a)の例では最大階級とそれに隣接する階級との差分絶対値が極端に大きくなっており、図11(c)の例では最小階級とそれに隣接する階級との差分絶対値、並びに最大階級とそれに隣接する階級との差分絶対値がともに極端に大きくなっている。このように、最大階級とその隣接階級との間、並びに最小階級とその隣接階級との間で、差分絶対値が極端に大きくなる現象は、赤色成分、及び青色成分で生じる。
これは以下の理由による。即ち、人の目は色差よりも輝度に対する感度が高く、撮像機器は輝度の分布がダイナミックレンジの最大値と最小値に近づくよう設定し画像を取得していることが多い。R、G、Bの各色成分の輝度への寄与率が、それぞれ赤色成分が3割、緑色成分が6割、青色成分が1割であるため、緑色成分ではその階調ヒストグラムが最大階級や最小階級に偏って分布することは少ないが、赤色成分と青色成分ではその階調ヒストグラムが最大階級や最小階級に偏って分布することがあり、その結果、最大階級とその隣接階級の差分絶対値、或いは最小階級とその隣接階級の差分絶対値が極端に大きくなることがある。
そこで、最大階級、及び最小階級を除いた範囲内において、隣り合う階級間の差分絶対値が閾値を上回るか否かの判定を行うこととしても良い。
この場合、R成分、B成分についてのみ、最大階級及び最小階級を除いた範囲内において、隣り合う階級間の差分絶対値が閾値を上回るか否かの判定を行い、G成分については、最大階級及び最小階級を除くことなく、隣り合う階級間の差分絶対値が閾値を上回るか否かの判定を行うこととしても良い。
また、補正要否判定部5は、R成分及びB成分を用いずに、G成分のみの階調ヒストグラムを用いて、隣り合う階級間の差分絶対値が閾値を上回るか否かの判定を行っても良い。これは、均一な色の領域の面積が小さい画像であっても、階調ヒストグラムの差分絶対値が極端に多くなる現象は、R成分とB成分の階調ヒストグラムの差分絶対値に生じ、輝度成分に近いG成分の階調ヒストグラムの差分絶対値には生じないためである。
G成分の階調ヒストグラムのみを用いること(他の色成分の階調ヒストグラムの生成を省略すること)により、他の色成分の階調ヒストグラムも用いた場合に要する、差分絶対値の算出や閾値との比較などの演算を削減することができ、かつ、入力画像が均一な色の領域の面積が大きい画像か否かを正しく判定することが可能となる。
従って、他の色成分の解析にかかる演算量を削減しつつ、アニメやCGなどの補正が望ましくない画像か否かを正しく判定することができる。
次に、色相偏り検出部52の動作をより詳しく説明する。
色相偏り検出部52は、図12に示すように、色相算出部521と、色相ヒストグラム算出部522と、欠落範囲検出部523と、範囲幅比較部524とを有する。
色相算出部521は、色相偏り検出部52に入力された画像信号Dinの色成分の値に基づき画素毎に色相値(色相角)を算出する。この算出は、例えば、RGBからHSVへの変換のために一般に利用されている下記の式(1A)〜(1C)を利用して行い得る。
即ち、各画素のR、G、Bの各階調値(0〜255)のうち、最大のもの(各画素についての最大値)をMAX、最小のもの(各画素についての最小値)をMINとすると、色相H(0〜360)は、式(1A)〜(1C)で求まる。なお、MAX=MINの場合は無彩色と判断し、色相がないと判断する。
Figure 2014119060
式(1A)で、Hが0を下回った場合は、その値に360を加算した値をHとする。また、 式(1A)〜(1C)で算出された色相の値Hが、小数点以下の部分を含む場合には、四捨五入等による丸め処理を行っても良い。
色相ヒストグラム算出部522は、色相算出部521で算出された色相値を用いて、1フレームの画像信号について、色相ヒストグラムを生成する。
色相ヒストグラムの各階級は1つの色相値で構成されていても良く、連続する2以上の色相値で構成されていても良い。色相ヒストグラムの各階級が一つの色相値で構成される場合には、当該色相値が当該階級の代表値(階級値)となる。色相ヒストグラムの各階級が互いに連続する複数の色相値で構成される場合には、各階級に含まれる色相値の平均値又は中央値が当該階級の代表値とすることができる。
図13(a)〜(d)は、互いに異なる3つの入力画像信号Dinについて、色相ヒストグラム算出部522で算出された色相ヒストグラム(色相分布)の異なる例を示す。図13(a)〜(d)で横軸は階級Chであり、縦軸は度数(当該階級に属する色相値を有する画素の数或いは割合)Fhを示す。
図13(a)は全体的に青色が多い、空や海などの画像の色相分布を示し、図13(b)は全体的に赤色が多い、夕焼け等の画像の色相分布を示し、図13(c)は全ての色相成分を持つ色鮮やかな画像の色相分布を示し、図13(d)は一般的な画像の色相分布を示し、色相が欠落した部分が複数個所含まれる。
欠落範囲検出部523は、色相ヒストグラム算出部522で算出された1フレームの画像信号についての色相分布に基づいて、色相が存在しない範囲、即ち、当該色相を有する画素の数が所定の閾値以下である、互いに連続した複数の階級から成る範囲(欠落色相範囲)を検出する。
ここで、「所定の閾値」は、例えば、1階級当たりの画素数の平均値(総画素数を階級数で割った値)の所定割合、例えば1%に相当する値に設定される。
例えば、図13(a)では範囲a1と範囲a2、図13(b)では範囲b1、図13(d)では範囲d1と範囲d2と範囲d3が欠落色相範囲として検出される。一方、図13(c)の場合には、欠落色相範囲が存在しない。
次に、欠落範囲検出部523は、検出した欠落色相範囲の幅を求め、さらに、範囲の幅のうちの最大のもの(最大欠落範囲幅)Wmを求める。
まず、図13(a)の範囲a1のように0度を最小値とする範囲と、図13(a)の範囲a2のように360度を最大値とする範囲との両方を含む場合、この2つを連結して、一つの欠落範囲として扱う。具体的には範囲a1と範囲a2を合わせた範囲を欠落色相範囲とする。
欠落色相範囲の幅は、当該欠落色相範囲の中の最大の階級の代表値と、最小の階級の代表値の差を求めることで得られる。より厳密には、上記の差に1階級の幅(1階級に含まれる階調値の数)を加算した値を、欠落色相範囲の幅とする。図13(a)のように、0度以上の範囲と360度以下の範囲を連結した欠落色相範囲については、0度以上の階級の代表値に360を加算した上で、上記の差を求める必要がある。
欠落色相範囲が図13(a)、(b)のように、1個のみの場合には、当該欠落範囲を当該画像信号についての最大欠落範囲とする。
欠落色相範囲が図13(d)のように複数ある場合、最も大きい範囲を当該画像信号の最大欠落範囲として扱う。
このようにして、欠落範囲検出部523は、図13(a)、(b)、(d)に示す3つの色相ヒストグラムの場合、最大欠落範囲の幅として、それぞれ(a1+a2)、b1、d3を取得する。
範囲幅比較部524は、欠落範囲検出部523で算出された最大欠落範囲幅Wmを所定の閾値Wmthと比較し、最大欠落範囲幅が閾値よりも大きいか否かの判定を行い、判定結果を出力する。
閾値は、例えば、240度に相当する値である。
欠落範囲幅が閾値よりも大きいと判定された場合には、色補正は不要と判定される。
欠落範囲幅に基づいて色補正の要否を判定する理由は以下の通りである。
即ち、最大欠落範囲が狭い場合(最大欠落範囲幅が閾値、例えば240度以下の場合)、画像信号に含まれる色相は多いが、照明の演色性等により色かぶりをしている可能性が高いため、色補正が「必要」と判定する。
一方、最大欠落範囲が広い場合(最大欠落範囲の幅が所定値以上の場合)、色相の偏りがあり、画像信号に含まれる色相が少なく、被写体のアップの画像や、空や海のグラデーションや夕焼けのグラデーションの画像である可能性が高い。このような画像の色を補正すると、夕焼けの一部が黄色やマゼンタになるなどの色の変化が起きるという不具合が生じる。そこで、この場合は、色補正は「不要」と判定する。
総合判定部53は、均一領域検出部51による判定結果と、色相偏り検出部52による判定結果とに基づいて、補正の要否についての判定を行う。
即ち、均一領域検出部51による、均一領域が存在するとの判定結果、及び
色相偏り検出部52による、色相の偏りが存在するとの判定結果の一方又は双方が出力された場合、総合判定部53は、補正不要との判定(最終的判定)を行い、
一方、均一領域検出部51による、均一領域が存在するとの判定結果、及び色相偏り検出部52による、色相の偏りが存在するとの判定結果のいずれも出力されない場合には、総合判定部53は、補正必要との判定(最終的判定)を行う。
総合判定部53による最終判定結果は、補正要否判定部5の判定結果RJとして色補正カーブ生成部3に出力される。
色補正カーブ生成部3は、最大値・最小値算出部2から入力された色成分毎の最大値及び最小値と、補正要否判定部5から入力された補正要否の判定結果に基づき、色補正カーブを生成する。
補正要否判定部5から入力された判定結果が補正「必要」であった場合、色補正カーブ生成部3は、最大値・最小値算出部2から入力された色成分毎の最大値及び最小値を用いて色補正カーブを実施の形態1と同様の手順で生成し、色補正部4は、色補正カーブ生成部3で生成された色補正カーブを用いて入力画像Dinに対する補正を行う。
一方、補正要否判定部5から入力された判定結果が補正「不要」であった場合、色補正カーブ生成部3は色補正カーブを出力せず、色補正部4は、入力画像信号をそのまま(補正乃至階調変換を行うことなく)出力画像信号として出力しても良く、色補正カーブ生成部3が色補正カーブとして傾き1の直線CV0を生成し、色補正部4が傾き1の直線CV0を用いて形の上でのみ補正を行う(実質的には補正は行われない)こととしても良い。傾き1の直線を用いることとすれば、色成分毎の階級の最大値の大小に関わらず、色補正カーブの数が常に同じになる。
以上のように構成された本実施の形態に係る画像処理装置では、階調ヒストグラム及び色相ヒストグラムを用いて、補正すべき画像か否かを判定しているため、補正効果がある画像のみを補正し、補正すると不具合が生じる画像は補正しないよう制御することができる。
特に、上記の例では、階調ヒストグラムを用いて、隣り合う階級間の度数の差分絶対値を算出し、当該差分絶対値が所定の閾値を上回る階級が存在するか否かに基づいて、同じ階級に属する階調値を有する画素から成る画像領域の面積が所定の割合以上存在するか否かを判定し、同じ階級に属する階調値を有する画素から成る画像領域の面積が所定の割合以上存在すると判定された場合に入力画像信号を補正しないと判定しているため、入力画像がアニメやCGなどの補正が望ましくない画像か否かを正確に判定することができる。
また、色相ヒストグラムに基づいて、画像信号の色相成分の偏り(広い欠落色相範囲の存在)から色補正をするか否かを判定しているため、色かぶりが生じているか否かを正確に判定することが可能であり、色補正が望ましくない画像は補正せず、色かぶりしている画像のみを補正するよう制御することができる。
なお、上記の例では、補正要否判定部5の均一領域検出部51は、階調ヒストグラムの隣り合う階級間の差分絶対値と所定の閾値とを比較して、所定の閾値を上回る階級がある場合には、入力画像は均一な色の領域の面積が大きい画像であると判定したが、所定数以上の階級の各々において、当該階級とそれに隣接する階級との間において、上記差分絶対値が所定の閾値(差分絶対値に対する閾値)を上回る場合、言い換えると、階調ヒストグラムの隣り合う階級間の度数の差分絶対値のうちの、所定数以上の差分絶対値が所定の閾値を上回る場合に、画像信号を補正しないと判定し、入力画像は均一な色の領域の面積が大きい画像であると判定することとしても良い。この場合、上記の「所定数」は例えば5とされ、上記所定の閾値は、10%とされる。
この場合、均一領域検出部51は、図14に示すように構成される。
図14の差分絶対値算出部511r、511g、511b、及び差分絶対値比較部512r、512g、512bは、図9に示すものと同様のものであり、差分絶対値比較部512r、512g、512bは、各々対応する差分絶対値算出部511r、511g、511bで算出された、各階級と、それに上側で隣接する階級との差分絶対値を閾値ADrth、ADgth、ADbth(10%に相当する値)と比較し、差分絶対値が閾値を上回る場合に、そのことを示す信号を出力する。
計数部514r、514g、514bは、1フレームの入力画像信号についての差分絶対値の算出処理が始まるときに、リセット信号RSTによりその計数値NEr、NEg、NEbがゼロにリセットされ、差分絶対値比較部512r、512g、512bでの比較結果で、差分絶対値が閾値を上回ることが示される度に、計数値NEr、NEg、NEbを1ずつインクリメントする。
計数値比較部515r、515g、515bは、それぞれ対応する計数部514r、514g、514bの計数値NEr、NEg、NEbを上記の所定数(閾値)NErth、NEgth、NEbth(例えば「5」)と比較し、計数値が閾値に達したら、そのことを示す信号MEr、MEg、MEbを出力する。
従って、全ての階級についての差分絶対値について閾値との比較が終わるまでに、計数値が閾値に達したら、比較部515r、515g、515bがそのことを示す信号MEr、MEg、MEbを出力することになる。
判定部516は、比較部515r、515g、515bのいずれかから、計数値が閾値に達したことを示す信号MEr、MEg、MEbが出力されたら、均一な色の領域の面積が大きい画像であるとの判定結果を出力する。
このように判定することで、イラストなどの描画画像では色の数が少ないという特徴を利用することができ、より正確に判定することが可能となる。
図14の構成で、計数値比較部515r、515g、515bの閾値NErth、NEgth、NEbthを「1」とすれば、図9の構成と同じとなる。従って、図9の構成は、図14の構成の一形態と見ることもできる。
なお、図7の構成では、色補正カーブ生成部3が、補正要否判定部5から入力された判定結果に基づいて色補正カーブを色補正部4に出力し、色補正部4が、色補正カーブ生成部3から入力された色補正カーブを用いて色補正を行っているが、このように構成する代わりに、色補正カーブ生成部3が、補正要否判定部5から入力された判定結果とともに、色を補正する色補正カーブと色を変化させない傾き1の直線である色補正カーブとの両方を色補正部4に出力し、補正要否判定部5が判定結果を色補正部4に出力し、色補正部4が、補正要否判定部5から入力された判定結果に基づいて、色補正に使用する色補正カーブを選択する構成にしてもよい。この場合、判定結果が補正「必要」であった場合に色を補正する色補正カーブを選択し、判定結果が補正「不要」であった場合に傾き1の直線である色補正カーブを選択する。
なおまた、補正要否判定部5が入力画像を補正するか否かを判定する構成にしているが、補正要否判定部5を備えず、色補正カーブ生成部3に外部から補正要否を入力する構成にしてもよい。
また、図9の構成では、補正要否判定部5が均一領域検出部51と色相偏り検出部52の双方を有するが、いずれか一方のみを有する構成であっても良い。例えば、均一領域検出部51を有する場合には、均一領域の存在が推定された場合(差分絶対値が所定の閾値を上回ると判定された場合)に色補正をしないこととし、色相偏り検出部52のみを有する場合、色相の偏りが検出された(所定の幅以上の欠落色相範囲が検出された場合)に色補正をしないこととすれば良い。
以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置を構成する要素の一部又は全部、上記の画像処理方法を構成するステップの一部又は全部をソフトウエアで、即ちプログラムされたコンピュータで実現することができ、上記の画像処理装置における各構成要素の処理又は上記の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム、及び上記プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
1 階調ヒストグラム算出部、 2 最大値・最小値算出部、 3 色補正カーブ生成部、 4 色補正部、 5 補正要否判定部、 51 均一領域検出部、 52 色相偏り検出部、 53 総合判定部、 511r、511g、511b 差分絶対値算出部、 512r、512g、512b 差分絶対値比較部、 513 判定部、 514r、514g、514b 計数部、 515r、515g、515b 計数値比較部、 516 判定部、 521 色相算出部、 522 色相ヒストグラム算出部、 523 欠落範囲検出部、 524 範囲幅比較部。
本発明の一つの態様の画像処理装置は、
複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出部と、
色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出部と、
前記最大値・最小値算出部で算出された色成分毎の最大値のうちで最も大きな値を全色最大値として求め、前記色成分毎の最大値及び最小値と、前記全色最大値に基づいて、前記色成分毎の最大値が前記全色最大値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成部と、
前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正部とを備え、
前記色補正カーブ生成部は、前記補正後の色成分毎の最大値が、前記全色最大値にほぼ等しくなるような補正を行うための色補正カーブを生成し、
前記色補正カーブ生成部は、
前記最大値・最小値算出部で算出された色成分毎の前記最大値相互間の差が所定の値よりも小さい場合に、
前記最大値・最小値算出部で算出された色成分毎の最小値のうちで最も小さい値を全色最小値として求め、前記色成分毎の最大値及び最小値と、前記全色最小値に基づいて、前記色成分毎の最小値が前記全色最小値に等しい色成分以外の色成分について、前記補正後の色成分毎の最小値が、前記全色最小値にほぼ等しくなるような補正を行うための色補正カーブを生成する
ことを特徴とする。
即ち、色補正前のR成分Rinの最大値Raに対応する色補正カーブCV3上の点は点p13であり、色補正後のR成分Routの最大値Raは、色補正前のR成分Rinの最大値Raに等しい。同様に、色補正前のR成分Rinが取り得る値の最大値(値255)に対応する色補正カーブCV3上の点は点p11であり、色補正後のR成分Routが取り得る値の最大値(値255)は、色補正前のR成分Rinが取り得る値の最大値(値255)に等しい。
また、色補正カーブ生成部3は、最も小さい最小値を持つ色成分(各色最小値Xiが全色最小値Tiに等しい色成分)以外の色成分の各々について、最大値(図6(a)、(b)の例ではRa、Ga)及び/又は色成分が取り得る値の最大値(図6(a)、(b)の例では「255」)が変化しないように色補正カーブを生成しているが、最大値及び/又は色成分が取り得る値の最大値が全く変化しないようにする必要はなく、ほぼ変化しないようにすればよく、例えば変化の幅が、所定の値未満であれば良い。所定の値は、例えば、4、8など、256階調に対し、十分小さい値であれば良い。
階級間の差分絶対値ADrは階調ヒストグラムの階級Crの数より一つ少ない数だけ算出される。また、差分絶対値ADrの総和は、階調ヒストグラム全体における度数Frの総和(階調値の発生度数の総数)の2倍以下である。
図10(a)は、均一な色の領域の面積が大きい画像の差分絶対値の一例を示し、図10(b)は均一な色の領域の面積が小さい画像の差分絶対値の一例を示す。ここで、均一な色の領域とは、各色成分において、同じ階級に属する階調値を有する画素から成る画像領域である。
G成分用の差分絶対値算出部511g及びB成分用の差分絶対値算出部511bは、R成分差分用の差分絶対値算出部511rと同様に、階調ヒストグラム算出部1から入力されたG成分の階調ヒストグラムGh及びB成分の階調ヒストグラムBhについて、隣り合う階級間の度数の差分絶対値ADg、ADbを算出する。

Claims (21)

  1. 複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出部と、
    色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出部と、
    前記最大値・最小値算出部で算出された色成分毎の最大値のうちで最も大きな値を全色最大値として求め、前記色成分毎の最大値及び最小値と、前記全色最大値に基づいて、前記色成分毎の最大値が前記全色最大値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成部と、
    前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正部とを備え、
    前記色補正カーブ生成部は、前記補正後の色成分毎の最大値が、前記全色最大値にほぼ等しくなるような補正を行うための色補正カーブを生成する
    ことを特徴とする画像処理装置。
  2. 前記色補正カーブ生成部は、前記補正後の色成分毎の最小値、または、各色成分が取り得る値の最小値が、ほぼ変化しないような補正を行うための色補正カーブを生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記色補正カーブ生成部は、前記色成分毎の最大値及び最小値と、前記全色最大値に基づいて、前記色成分毎の最大値が前記全色最大値に等しい色成分についても、前記色補正カーブを生成することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記色補正カーブ生成部は、
    色成分毎の最大値が前記全色最大値に等しい色成分以外の色成分毎の階級の最大値が、前記全色最大値に近い値になるように前記色補正カーブを決定する
    ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出部と、
    色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出部と、
    前記最大値・最小値算出部で算出された色成分毎の最小値のうちで最も小さい値を全色最小値として求め、前記色成分毎の最大値及び最小値と、前記全色最小値に基づいて、前記色成分毎の最小値が前記全色最小値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成部と、
    前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正部とを備え、
    前記色補正カーブ生成部は、前記補正後の色成分毎の最小値が、前記全色最小値にほぼ等しくなるような補正を行うための色補正カーブを生成する
    ことを特徴とする画像処理装置。
  6. 前記色補正カーブ生成部は、前記補正後の色成分毎の最大値、または、各色成分が取り得る値の最大値が、ほぼ変化しないような補正を行うための色補正カーブを生成することを特徴とする請求項5に記載の画像処理装置。
  7. 前記色補正カーブ生成部は、前記色成分毎の最大値及び最小値と、前記全色最小値に基づいて、前記色成分毎の最小値が前記全色最小値に等しい色成分についても、前記色補正カーブを生成することを特徴とする請求項5又は6に記載の画像処理装置。
  8. 前記色補正カーブ生成部は、
    色成分毎の最小値が前記全色最小値に等しい色成分以外の色成分毎の階級の最小値が、前記全色最小値に近い値になるように前記色補正カーブを決定する
    ことを特徴とする請求項5から7のいずれか1項に記載の画像処理装置。
  9. 前記最大値・最小値算出部は、
    色成分毎の階調ヒストグラムの最大階調から最小階調に向かって度数を累積し、当該累積した値が前記階調ヒストグラムの総度数に対する所定の割合に達した階級の代表値を当該色成分の前記最大値として算出する
    ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
  10. 前記最大値・最小値算出部は、
    色成分毎の階調ヒストグラムの最小階調から最大階調に向かって度数を累積し、当該累積した値が当該階調ヒストグラムの総度数に対する所定の割合に達した階級の代表値を当該色成分の前記最小値として算出する
    ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記色補正カーブ生成部は、
    前記最大値・最小値算出部で算出された色成分毎の前記最大値相互間の差が所定の値よりも小さい場合に、
    前記最大値・最小値算出部で算出された色成分毎の最小値のうちで最も小さい値を全色最小値として求め、前記色成分毎の最大値及び最小値と、前記全色最小値に基づいて、前記色成分毎の最小値が前記全色最小値に等しい色成分以外の色成分について、前記補正後の色成分毎の最小値が、前記全色最小値にほぼ等しくなるような補正を行うための色補正カーブを生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  12. 前記画像信号と前記階調ヒストグラム算出部が算出した色成分毎の前記階調ヒストグラムとを用いて、前記画像を補正するか否かを判定する補正要否判定部をさらに有し、
    前記色補正カーブ生成部は、
    前記補正要否判定部での判定結果に基づいて前記色補正カーブを生成する
    ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
  13. 前記補正要否判定部は、
    前記階調ヒストグラムの隣り合う階級間の度数の差分絶対値を算出し、所定数以上の差分絶対値が所定の閾値を上回ると判定した場合に前記画像信号を補正しないと判定する
    ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記補正要否判定部は、
    前記階調ヒストグラムのうちの前記最小階級及び前記最大階級を除いた範囲について、前記隣り合う階級間の前記差分絶対値が前記所定の閾値を上回るか否かを判定する
    ことを特徴とする請求項13に記載の画像処理装置。
  15. 前記画像信号が、赤色成分の信号、緑色成分の信号及び青色成分の信号を含み、
    前記補正要否判定部は、前記赤色成分の信号、前記緑色成分の信号及び前記青色成分の信号のうち、前記緑色成分の階調ヒストグラムのみについて、前記隣り合う階級間の度数の差分絶対値が前記所定の閾値を上回るか否かの判定を行う
    ことを特徴とする請求項13又は14に記載の画像処理装置。
  16. 前記補正要否判定部は、前記画像信号の色相分布の偏りが大きいと判定したときに、前記画像信号を補正しないと判定することを特徴とする請求項12から15のいずれか1項に記載の画像処理装置。
  17. 前記補正要否判定部は、前記画像信号の色相分布において、所定の幅以上の、色相が欠落している範囲が検出されたときに、前記画像信号を補正しないと判定することを特徴とする請求項16に記載の画像処理装置。
  18. 複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出ステップと、
    色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出ステップと、
    前記最大値・最小値算出ステップで算出された色成分毎の最大値のうちで最も大きな値を全色最大値として求め、前記色成分毎の最大値及び最小値と、前記全色最大値に基づいて、前記色成分毎の最大値が前記全色最大値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成ステップと、
    前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正ステップとを備え、
    前記色補正カーブ生成ステップは、前記補正後の色成分毎の最大値が、前記全色最大値にほぼ等しくなるような補正を行うための色補正カーブを生成する
    ことを特徴とする画像処理方法。
  19. 複数の色成分を含み、1つの画像を形成する画像信号に対して、色成分毎の階調ヒストグラムを算出する階調ヒストグラム算出ステップと、
    色成分毎の前記階調ヒストグラムを用いて、色成分毎の階級の最大値及び最小値をそれぞれ算出する最大値・最小値算出ステップと、
    前記最大値・最小値算出ステップで算出された色成分毎の最小値のうちで最も小さい値を全色最小値として求め、前記色成分毎の最大値及び最小値と、前記全色最小値に基づいて、前記色成分毎の最小値が前記全色最小値に等しい色成分以外の色成分について、色補正カーブを生成する色補正カーブ生成ステップと、
    前記色補正カーブを用いて、色成分毎に前記画像信号の補正を行う色補正ステップとを備え、
    前記色補正カーブ生成ステップは、前記補正後の色成分毎の最小値が、前記全色最小値にほぼ等しくなるような補正を行うための色補正カーブを生成する
    ことを特徴とする画像処理方法。
  20. 請求項18又は19の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
  21. 請求項20のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
JP2014559494A 2013-01-31 2013-10-23 画像処理装置、画像処理方法、プログラム、及び記録媒体 Expired - Fee Related JP5847341B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014559494A JP5847341B2 (ja) 2013-01-31 2013-10-23 画像処理装置、画像処理方法、プログラム、及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013017241 2013-01-31
JP2013017241 2013-01-31
PCT/JP2013/078643 WO2014119060A1 (ja) 2013-01-31 2013-10-23 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2014559494A JP5847341B2 (ja) 2013-01-31 2013-10-23 画像処理装置、画像処理方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP5847341B2 JP5847341B2 (ja) 2016-01-20
JPWO2014119060A1 true JPWO2014119060A1 (ja) 2017-01-26

Family

ID=51261796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014559494A Expired - Fee Related JP5847341B2 (ja) 2013-01-31 2013-10-23 画像処理装置、画像処理方法、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US9449375B2 (ja)
EP (1) EP2953340B1 (ja)
JP (1) JP5847341B2 (ja)
WO (1) WO2014119060A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9478016B2 (en) * 2014-09-16 2016-10-25 National Taipei University Of Technology Image restoration method and image processing apparatus using the same
US20180035486A1 (en) * 2015-02-20 2018-02-01 Telefonaktiebolaget Lm Ericsson (Publ) Control of Radio Connections in a Cellular Network
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
US9734597B2 (en) 2015-12-18 2017-08-15 Intel Corporation Interpolated minimum-maximum compression/decompression for efficient processing of graphics data at computing devices
US10223774B2 (en) * 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
CN106228518B (zh) * 2016-07-18 2018-04-27 北京小米移动软件有限公司 可读性增强方法及装置
US20230186446A1 (en) * 2021-12-15 2023-06-15 7 Sensing Software Image processing methods and systems for low-light image enhancement using machine learning models

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151410A (en) 1996-11-19 2000-11-21 Seiko Epson Corporation Image processing apparatus, image processing method and medium for storing image-processing control program
JP3693086B2 (ja) 1997-01-24 2005-09-07 セイコーエプソン株式会社 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
JPH11266372A (ja) * 1998-03-18 1999-09-28 Minolta Co Ltd カラー画像処理装置
JP2000032287A (ja) * 1998-07-15 2000-01-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法
JP2001094810A (ja) 1999-09-22 2001-04-06 Toshiba Tec Corp 画像処理方法及び画像処理装置並びに画像形成装置
JP2001229374A (ja) 2000-02-17 2001-08-24 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
TW518882B (en) * 2000-03-27 2003-01-21 Hitachi Ltd Liquid crystal display device for displaying video data
JP4038976B2 (ja) 2000-09-26 2008-01-30 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP3948229B2 (ja) * 2001-08-01 2007-07-25 ソニー株式会社 画像撮像装置及び方法
JP3972192B2 (ja) 2002-06-26 2007-09-05 セイコーエプソン株式会社 画像処理装置および画像処理方法
CN1300744C (zh) * 2003-12-09 2007-02-14 香港中文大学 对数字图像曝光不足的缺陷进行自动修正的方法和系统
JP2006128986A (ja) 2004-10-28 2006-05-18 Matsushita Electric Ind Co Ltd 画像処理装置
JP4345648B2 (ja) 2004-11-24 2009-10-14 ノーリツ鋼機株式会社 写真画像処理方法及びその装置
JP4073477B2 (ja) 2005-03-25 2008-04-09 三菱電機株式会社 画像処理装置、及び画像表示装置
JP2008245116A (ja) 2007-03-28 2008-10-09 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5151708B2 (ja) 2008-06-10 2013-02-27 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
EP2913795B1 (en) 2012-10-25 2019-04-24 Mitsubishi Electric Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
US9449375B2 (en) 2016-09-20
EP2953340A1 (en) 2015-12-09
EP2953340A4 (en) 2016-09-07
JP5847341B2 (ja) 2016-01-20
EP2953340B1 (en) 2018-03-21
WO2014119060A1 (ja) 2014-08-07
US20150339808A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP5847341B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5889431B2 (ja) 画像処理装置及び画像処理方法
US8164649B2 (en) White balance adjusting device, imaging apparatus, and recording medium storing white balance adjusting program
US8780225B2 (en) Use of noise-optimized selection criteria to calculate scene white points
KR100467610B1 (ko) 디지털 화질 개선 방법 및 장치
JP2004159344A (ja) コントラスト補正装置及びその方法
US9307213B2 (en) Robust selection and weighting for gray patch automatic white balancing
CN107918928B (zh) 一种色彩还原方法
KR20170074909A (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
KR101113483B1 (ko) 컬러 영상의 가시성 향상 장치 및 방법
KR101854432B1 (ko) 역광 프레임을 검출하고, 보정하는 방법 및 장치
WO2022120799A9 (zh) 图像处理方法、装置、电子设备及存储介质
CN105791710A (zh) 一种信号灯图像增强处理方法
US8498332B2 (en) Chroma supression features
KR102525546B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
TW201401890A (zh) 影像的動態範圍壓縮方法與影像處理裝置
CN105631812B (zh) 一种对显示图像进行色彩增强的控制方法及控制装置
CN109600596B (zh) 一种非线性无色恒常的白平衡方法
JP5312171B2 (ja) 画像処理装置および方法
KR20130002700A (ko) 하이퍼볼릭 탄젠트 함수 곡선 및 이미지 히스토그램을 이용한 적응적 콘트라스트 개선 방법
CN111383180B (zh) 图像增强方法、装置以及计算机存储介质
Raksha et al. Color image enhancement using metamer mismatch through profile mapping
JP2010026690A (ja) 画像処理装置
JP4773739B2 (ja) 画像処理方法
JPH09163164A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151124

R150 Certificate of patent or registration of utility model

Ref document number: 5847341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees