JP5744431B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP5744431B2 JP5744431B2 JP2010162217A JP2010162217A JP5744431B2 JP 5744431 B2 JP5744431 B2 JP 5744431B2 JP 2010162217 A JP2010162217 A JP 2010162217A JP 2010162217 A JP2010162217 A JP 2010162217A JP 5744431 B2 JP5744431 B2 JP 5744431B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- reliability
- correction
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 85
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims description 135
- 238000004364 calculation method Methods 0.000 claims description 50
- 238000013459 approach Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 105
- 238000006243 chemical reaction Methods 0.000 description 88
- 238000001514 detection method Methods 0.000 description 48
- 238000010191 image analysis Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 43
- 238000004458 analytical method Methods 0.000 description 20
- 230000014509 gene expression Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 12
- 230000006978 adaptation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 8
- 230000002411 adverse Effects 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
以下より、本発明における好適な第一実施形態について説明する。なお、以下の記載はプリンタ本体内部の画像処理を想定して説明を行うが、これはあくまで実施の1つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。
図1に本発明の画像処理方法を実施可能なハードウェアの構成を示す。なお、図1は本実施形態における例であり、本発明は図1の構成に限定されることはない。図1において、画像処理装置100は、CPU101、RAM102、ROM103を有し、各機能ブロックがシステムバス112に接続されている。本発明の動作を実行するプログラムコードはROM103に格納され、動作時にRAM102に読み込まれ、CPU101によって実行される。
以下では、図2(A)を用いて、本実施形態における画像処理の全体構成について説明する。本実施形態において、入力画像200は、デジタルカメラで撮影されたデジタル画像か、あるはアナログカメラで撮影されたフィルムを光学的にスキャンして得られたデジタル画像であっても構わない。入力画像データのフォーマットについては、本発明を適用可能であれば特に限定しない。なお、本実施形態においては説明を簡単にするために、入力画像の色空間はsRGB(standard RGB)であり、各画素値が8bitのRGB成分値で構成されているものとする。
以下では、図2(A)に示した各部の動作について、フローチャート等を参照しながら処理の詳細を説明する。
画像縮小部201では、後段の画像解析部202の処理を効率化するために、入力画像200を所定解像度の画像に縮小する。例えば、入力画像が4000×3000画素の比較的高解像度画像であった場合、該解像度の全ての画素について、例えば明度や彩度値を算出すると、画像解析部202の処理時間が膨大になってしまう問題がある。そこで、本実施形態では、画像解析部202で必要とされる最低限の解像度、例えば640×480画素程度に縮小し、該縮小画像を画像解析部202に入力する。
図2(B)は、図2(A)に示す画像解析部202の詳細な処理のブロック図を示している。本実施形態では簡単のため、3つのブロックのみで構成されているが、本発明はこれに限定されるものではない。図2(B)に示すように、画像縮小部201で得られた縮小画像300を基に、HL色決定部301において、画像のHL色を算出する。また、縮小画像300はオブジェクト検出部302にも入力され、同部において、画像中の主要オブジェクトである人物の顔領域の検出を行う。ここでの主要オブジェクトとは、撮像された画像中において、主な撮像の目的とするものを指す。本実施形態では、人物を主なオブジェクトとしている画像であるため、主要オブジェクトは人の顔としている。さらに顔領域の位置情報に基づいて、オブジェクト色算出部303において、オブジェクトの色、すなわち肌の色を算出する。
オブジェクト検出部302においては、入力画像(ここでは縮小画像300)中の主要被写体を検出する処理が行われる。主要被写体の主なものとしては、人物の顔が挙げられる。このときに使用する人物の顔検出手法としては、すでに様々な手法が提案されている。特開2002−183731号公報によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。該顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値を、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較する。その時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
図2(B)に示すHL色決定部301では、入力画像のHL色を算出する。HL色決定部301により第2のハイライト色算出を行う。HL色の算出方法についても様々な方法が提案されており、本発明が適用可能であればいずれの方法を用いても構わない。本実施形態においては、図3に示すフローに基づいて、HL色を算出する方法について説明する。なお、図3に示すフローは、例えば、記憶部であるRAM102等に格納されたプログラムをCPU101が読み出して実行するものとする。
MeanCb[Y]+=Cb
MeanCr[Y]+=Cr
縮小画像300の全ての画素についてS401〜S404の処理が終了すると、輝度ヒストグラム配列HistYは、図4に示すような度数分布を格納している。そこで、S405において、HL色決定部301は、HistYを用いてハイライト輝度値HLYを決定する。本実施形態におけるHLYは、HistY[Y]の値を輝度の小さい方から累積していき、累積度数が縮小画像300全体の99%に到達した時点の輝度値Yを、ハイライト輝度値HLYとして決定する。なお、HLYを決定するための累積度数割合は、99%に限定されるものではない。また、累積を行う処理中において、輝度値が特定できるようであれば、その時点で輝度値を決定し、処理を終了してもよい。
HLCb=MeanCb[HLY]÷HistY[HLY]
HLCr=MeanCr[HLY]÷HistY[HLY]
以上説明した処理によって、第2のハイライト色決定を行う。算出したオブジェクト色、およびHL色(HLCb,HLCr値)は、画像解析結果修正部203に入力される。
画像解析結果修正部203は、画像解析部202で算出した解析結果の修正を行う処理部である。同部では、予め保持している分光分布に基づくHL色の黒体軌跡を用いて、画像解析部202で算出した入力画像のHL色を修正する。まず、HL色の黒体軌跡について以下で説明する。
LMax>Lの場合 R_dis=(LMax−L)/LMax
LMax≦Lの場合 R_dis=0.0
例えば、図5(A)に示す入力画像のHL色の色差成分HLCb,HLCr値の座標602を(HLCb,HLCr)=(−20,20)とする。また、図5(B)に示す入力画像のHL色の色差成分HLCb,HLCr値の座標702を(HLCb,HLCr)=(−20,4)とする。
HL色の座標702の信頼度:R_dis=(100−50)/100=0.5
次に、算出した信頼度R_disを用いて、入力画像から解析したHL色の色差成分HLCb,HLCr値の座標の座標変換を行う。座標変換方法は、入力画像から解析したHL色の色差成分HLCb,HLCr値の座標を、基準位置である原点(Cb,Cr)=(0,0)に近づける処理を行う。この座標変換式を以下に示す。ここで、変換後の座標を(Cb’,Cr’)として示す。
(Cb’,Cr’)=(HLCb×R_dis,HLCr×R_dis)
図5(A)、(B)に示した座標に対する各信頼度R_disを用いて、HL色の座標602とHL色の座標702を(Cb,Cr)=(0,0)に近づける座標変換した例を以下に示す。
座標702:(Cb’,Cr’)=(−20×0.5,4×0.5)=(−10,2)
次に、入力画像から解析したHL色の色差成分HLCb,HLCr値を変換後の座標の値に置き換える。
HLCb=Cb’
HLCr=Cr’
図5(A)において、入力画像のHL色の色差成分の座標602(HLCb,HLCr)は、(−20,20)から(−18,18)に修正される。また、図5(B)において、入力画像のHL色の色差成分の座標702(HLCb,HLCr)は、(−20,4)から(−10,2)に修正される。
LMax>Lの場合 R_dis=1.0
LMax≦Lの場合 R_dis=0.0
例えば、入力画像から解析したHL色の色差成分HLCb,HLCr値の座標とHL色の黒体軌跡との距離によって誤検出したHL色であるかを経験的に判断できる場合、図6(B)に示した一定の信頼度は、図6(A)に示した信頼度に比べ効果が出せる。例えば、距離Lの値が小さい場合は、積極的にカラーバランス補正を実行させることができ、また、距離Lの値が大きい場合は、カラーバランス補正をかなり強く抑制できる効果がある。
0≦L<L’の場合 R_dis=1.0
L’≦L<LMaxの場合 R_dis=(LMax−L)/LMax
LMax≦Lの場合 R_dis=0.0
図6(D)において、図6(A)と異なる部分として、L=0からLMaxまでをS字カーブの曲線で結び、信頼度R_disを滑らか変化させる。S字カーブの曲線は、入力画像から解析したHL色の色差成分HLCb,HLCr値の座標とHL色の黒体軌跡との距離Lの値が小さい場合には、信頼度R_disを0に近づけ、遠い場合には、信頼度R_disを1.0に近づける設定にする。
R_Vec=(1+((基準ベクトル・検出ベクトルの内積)/((基準ベクトルの大きさ)^2)))/2
図7(B)のような位置にオブジェクト色1304とHL色1305がある場合、基準ベクトル1303と検出ベクトル1306の向き、大きさがいずれも同じなので、内積は1となる。この時の信頼度は1となる。
s_HLCb=b_HLCb+(f_HLCb−b_HLCb)×R_Vec
s_HLCr=b_HLCr+(f_HLCr−b_HLCr)×R_Vec
ここで、信頼度が1の時には、HL色が信頼できるとして、第1HL色が第2HL色となる。次に、信頼度が0の時には、HL色が信頼できないとして、基準HL色が第2HL色となる。信頼度が0より大きく、1より小さい時には、重み係数に従って、基準HL色と第1HL色の間で第2HL色が決定される。
ここでは、光源推定部204の詳細について、図8のフローチャートを用いて説明する。本発明では、入力画像から撮影時光源の種類、あるいは色温度を推定する方法を、特に限定するものではない。ここでは一例として、特許文献1に開示されている技術を応用して処理の説明を行う。本処理は、例えば、本発明を実現可能な画像処理装置100が有する記憶部であるROM103等に格納されたプログラムをCPU101が読み出し、実行する。
ObjYmax=ObjY+Δh
ObjYmin=ObjY−Δh
ここで、Δhは、予め定められた定数であり、ObjYは、オブジェクト色算出部303で算出されたオブジェクト色の輝度成分である。
R’=R×r
G’=G×g
B’=B×b
ただし、本実施形態においては、特許文献1とは異なり、上述したグレー・肌色画素マップを参照し、S1503において注目画素がグレーあるいは肌色画素であると判断された場合にのみ、上記逆変換を行うものとする。ここで、グレー画素と判断された画素数をcount_g、肌色画素と判断された画素数をcount_hとする。
R_lse=(count_max)/(count_g+count_h)
式9は、count_max=(count_g+count_h)となった場合、R_lse=1.0となる。これはすなわち、S1503において、注目画素が肌色あるいはグレー画素と判断された全ての画素が、黒体軌跡近傍に含まれているということになり、その結果得られた光源推定値は信頼度が非常に高いと判断できる。以上が、光源推定部204の説明である。
次に、図2に示した第1の色変換部205について説明する。第1の色変換部205では、入力画像に対し、カメラ内部で施されたカラーバランス補正をキャンセルすることを目的とした第1の色変換処理を行う。本実施形態においては、上記記憶してある逆変換セット(r_max,g_max,b_max)を入力画像中の各画素のRGB成分値にそれぞれ乗じることで、実行することができる。
次に図2に示した第2の色変換部206において、第2の色変換処理を行う。第2の色変換処理の目的は、第1の色変換処理を行い、カメラ内部のカラーバランス補正をキャンセルした画像に対し、推定した撮影時光源の色温度に基づいて、人間の視覚特性を考慮したカラーバランス補正を行うことである。
FinY=(EsY+HLY)/2
FinCb=(EsCb+HLCb)/2
FinCr=(EsCr+HLCr)/2
式10は、最終白点を白点とHL色との両者の中点とすることを意味している。該最終白点を、公知の公式によってXYZ値に変換し、該XYZ値を用いて後述するカラーバランス補正を実行する。これの手法により、第3のハイライト色算出を行う。
FinY=EsY×W_a+HLY×W_b
FinCb=EsCb×W_a+HLCb×W_b
FinCr=EsCr×W_a+HLCr×W_b
式11において、以下の拘束条件を用いれば、最終白点は、両者の線分上に存在することになる。
例えば、光源推定部204の光源推定における処理精度が比較的信頼できる場合には、値をそれぞれ、W_a=0.6、W_b=0.4として、(EsY,EsCb,EsCr)値の重み係数を大きくして、最終白点を決定することも可能である。または、その逆として、性能が低い場合には、重み係数を減らしてもよい。つまり、光源推定部204の光源推定における処理に応じて重み係数の割合を変更することが可能である。
本実施形態では、画像解析結果修正部203で算出した信頼度R_Vecの設定方法として、更に例を挙げて説明する。第一実施形態で説明したように、HL色とオブジェクト色は光源が変わっても関係をほぼ一定に保っているという特徴がある。その特徴から信頼度R_Vecを設定する方法を図16(A)を用いて、以下で説明する。
第一実施形態では、画像解析結果修正部203において、第1のHL色を誤検出している場合の処理について説明した。本実施形態では、画像解析結果修正部203において、第1オブジェクト色を誤検出している場合の処理について図16(B)を用いて説明する。
s_ObjCb=b_ObjCb+(f_ObjCb−b_ObjCb)×R_vec×R_face
s_ObjCr=b_ObjCr+(f_ObjCr−b_ObjCr)×R_vec×R_face
[式13]
s_HLCb=b_HLCb+(f_HLCb−b_HLCb)×R_vec×R_face
s_HLCr=b_HLCr+(f_HLCr−b_HLCr)×R_vec×R_face
図16(B)に示すYCbCr空間のCbCr平面において、第1オブジェクト色2601、第1HL色2602、基準オブジェクト色2603、基準HL色2604を示す。この場合に、式12および式13の結果によって第2オブジェクト色は基準オブジェクト色と第1オブジェクトを結ぶ直線2605上に位置し、第2HL色は基準HL色と第1HLを結ぶ直線2606上に位置する。
第一実施形態では、図12のS2002における最終白点決定処理において、画像解析部202でHL色(HLY,HLCb,HLCr)を算出する。そして、算出したHL色と光源推定結果から得られた白点(EsY,EsCb,EsCr)の中点を、最終白点とする場合について説明している。しかし、本発明はこれに限定されるものではない。
FinY=EsY×R_lse+HLY×(1.0−R_lse)
FinCb=EsCb×R_lse+HLCb×(1.0−R_lse)
FinCr=EsCr×R_lse+HLCr×(1.0−R_lse)
また、顔が検出できた場合には、肌色の推定が正確に行われているので、その場合には、顔検出の信頼度R_faceを加味した重み係数W_mixを用いて、最終白点を決定することもできる。
FinY=EsY×W_mix+HLY×(1.0−W_mix)
FinCb=EsCb×W_mix+HLCb×(1.0−W_mix)
FinCr=EsCr×W_mix+HLCr×(1.0−W_mix)
式15において、重み係数W_mixは以下の式16で表される。
W_mix=(R_face+R_lse)/2.0
式16は、光源推定信頼度と顔検出信頼度が双方高い場合には(EsY,EsCb,EsCr)が重視され、どちらか一方が低い場合には、(HLY,HLCb,HLCr)が重視されることを表している。
第四実施形態では、最終白点は、(EsY,EsCb,EsCr)と(HLY,HLCb,HLCr)の所定の重み付けをした内分点として決定していた。本実施形態では別の方法として、オブジェクト検出部302で検出した肌の色が最も良化されるような白点を、最終白点として決定する方法について説明する。
CanY(N)=EsY×W_can(N)+HLY×(1.0−W_can(N))
CanCb(N)=EsCb×W_can(N)+HLCb×(1.0−W_can(N))
CanCr(N)=EsCr×W_can(N)+HLCr×(1.0−W_can(N))
式17において、W_can(N)は0.0から1.0まで1/Nずつ増加する重み係数となっており、N番目の候補点は、W_can(N)を重み係数として(EsY,EsCb,EsCr)と(HLY,HLCb,HLCr)を内分することを意味している。例えば、N=4の場合、W_canは0.25ずつ増加することにより、その際の候補点は、図18(A)の候補点2801として示される5つの候補点となる。これによりハイライト色候補算出を行う。
D_org=sqrt(SQ(ObjCb−IdeCb)+SQ(ObjCr−IdeCr))
D_n=sqrt(SQ(ObjCb’’−IdeCb)+SQ(ObjCr’’−IdeCr))
式18において、色変換前のオブジェクト色と理想オブジェクト色との距離D_org、N番目の白点候補を用いて算出した色変換後のオブジェクト色と理想オブジェクト色との距離D_nをそれぞれ表している。なお、式18では、SQ(x)はxの2乗を示し、sqrt(x)はxの平方根を示している。
条件2:D_min>D_n
条件1を満たさない場合は、色変換によって理想オブジェクト色との距離が遠くなることを意味しており、N番目の白点候補は候補から除外する。条件1を満たす場合、次に、条件2に基づいて判定を行う。もし条件2を満たしている場合、S2705において、現在の白点候補が最もオブジェクト色を良化することになり、D_minにD_nをセットして、最終白点(FinY,FinCb,FinCr)に現在の白点候補をセットする。つまり、以下の式のように定義される。
FinY=CanY(N)
FinCb=CanCb(N)
FinCr=CanCr(N)
S2701〜S2706までの処理を、全ての白点候補点について行うと、結果として、オブジェクト色を最も良化する白点候補が、最終白点として(FinY,FinCb,FinCr)に格納される。これにより第3のハイライト色決定を実現する。以上が、図17の処理フローの説明である。
これまでに述べた実施形態では、画像解析結果修正部203において、解析結果を修正することで、カラーバランス補正の強度を抑制する例を示したが、本発明はこれに限定されるものではない。本実施形態においては、図19のブロック図で示すように、解析信頼度算出部3001を新たに設ける。解析信頼度算出部3001において解析結果の信頼度を算出し、この信頼度をカラーバランス補正における補正値として用い、第2の色変換部206においてカラーバランス補正の強度(色の変換率)を変更する場合について説明する。なお、図19において、解析信頼度算出部3001および第2の色変換部3002以外については第一実施形態と同様の動作となるため、ここでの詳細な説明は割愛する。
図20は、解析信頼度算出部3001の処理のフローを示している。本処理フローは、本実施形態が実現可能な画像処理装置100が有する記憶部であるROM103等に記憶されたプログラムをCPU101が読み出して実行することにより、実現される。図20では、まずS3101において、解析信頼度算出部3001は、画像解析部202で解析したHL色の信頼度を算出する。また、S3102において、解析信頼度算出部3001は、同じく画像解析部202で解析したHL色とオブジェクト色(人物の肌の色)との相対位置に対する信頼度を算出する。図20において、S3101とS3102の処理は平行に処理するように示されているが、いずれかの処理を先に行い、その後、他方の処理を行うように順序だてて実施しても構わない。そして、最後にS3103において、S30101とS3102との処理の両者から得られた信頼度を用いて、最終的な信頼度を算出する。
R_fin=R_dis×R_vec
例えば、信頼度R_disが0.2で、信頼度R_vecが0.5の場合、最終信頼度R_finは、次のようになる。
本実施形態では、信頼度R_disと信頼度R_vecを掛け合わせることで、最終信頼度R_finを算出しているが、これに限らない。別の方法として、例えば、信頼度R_disと信頼度R_vecを足して2で割った値を最終信頼度として算出する。
R_fin=(R_dis+R_vec)/2
上記例の信頼度R_disと信頼度R_vecと条件が同じ場合、最終信頼度R_finは、次のようになる。
別の方法として、例えば、最終信頼度R_finの算出方法は、各信頼度に重みをつけて信頼度を掛け合わした値を最終信頼度とする。
R_fin=(R_dis×W_dis+R_vec×W_vec)/2
上記例の信頼度R_disと信頼度R_vecと条件が同じ場合で、信頼度R_disの重み係数W_disを1.0で、信頼度R_vecの重み係数W_vecを0.2とした場合、最終信頼度R_finは、次のようになる。
また、別の方法として、例えば、信頼度R_disと信頼度R_vecの内、信頼度の低い方を最終信頼度として算出する。
R_fin=(R_disもしくはR_vecのうち低い方)
上記例の信頼度R_disと信頼度R_vecと条件が同じ場合、最終信頼度R_finは、次のようになる。
以上のように、解析信頼度算出部3001では、HL色の信頼度R_disと肌の色とHLの相対位置信頼度R_vecを用いて、最終信頼度R_finを算出する。
上述した処理によって算出された最終的な信頼度R_finは、第2の色変換部3002に入力され、同部において、該信頼度に応じてカラーバランス補正の強度を抑制する。カラーバランス補正は、第一実施形態で説明したように、入力画像の各画素値(R,G,B)に対して、光源推定の結果得られた色温度値より基準白点の(Y,Cb,Cr)値を算出する。そして、該白点情報に基づいて、CIECAM02を適用することにより、カラーバランス補正後の(R’,G’,B’)値を得ることができる。
Y_fin=255−(255−Y)×R_fin
Cb_fin=Cb×R_fin
Cr_fin=Cr×R_fin
式24おいて、R_fin=1.0であれば最終白点は、光源推定の結果得られた白点そのものとなる。一方、R_fin=0.0であれば、最終白点は(Y,Cb,Cr)=(255,0,0)となる。後者の場合、カラーバランス補正は事実上動作しないことになり、補正量は実質0となる。
R’’=R’−(R’−R)×R_fin
G’’=G’−(G’−G)×R_fin
B’’=B’−(B’−B)×R_fin
<第七実施形態>
これまでの実施形態においては、図2(A)で示すように、入力画像に対して、まず第1の色変換を施した後、第2の色変換を施す処理例について説明した。しかし、このように異なる処理を直列に接続し、それぞれの処理において各画素単位に複雑な演算処理をしていたのでは、多くの処理時間を要してしまう。
R’=R×r_max
G’=G×g_max
B’=B×b_max
次に、S3303において、算出されたR’G’B’値を公知の変換式を用いてXYZ値に変換し、さらにS3304において、第一実施形態に説明したようにCIECAM02を用いてJCh空間に変換し、さらにS3305でXYZ空間に逆変換する。この際に用いられるのが、第2の色変換パラメータ3311である。
第一実施形態において、画像解析部202で算出した画像特徴量の修正は、黒体軌跡とHL色の距離からHL色を修正する方法と、オブジェクト色とHL色との相対関係からHL色、あるいは両者を修正する方法の2つを説明した。しかし、本発明は必ずしも両者を利用する必要はなく、どちらか一方のみを用いたとしても、本発明の範疇に含まれる。
Claims (5)
- 画像からハイライト色を取得する取得手段と、
色平面において、色温度の変化に対応するハイライト色の軌跡上の複数の色のうち、前記取得手段によって取得されたハイライト色に最も近い色と、前記取得手段によって取得されたハイライト色との距離を算出する算出手段と、
前記算出手段によって算出された距離に応じて、前記取得手段によって取得されたハイライト色を、前記色平面における原点に近づくように補正するハイライト色補正手段と、
前記ハイライト色補正手段によって補正されたハイライト色に基づき、前記画像のカラーバランス補正を行うカラーバランス補正手段と
を有し、
前記ハイライト色補正手段は、前記算出手段によって算出された距離が長いほど、前記取得手段によって取得されたハイライト色を前記色平面における原点に近づくように補正する量を大きくすることを特徴とする画像処理装置。 - 前記色平面は、色差成分の平面であることを特徴とする請求項1に記載の画像処理装置。
- 前記取得手段で取得されるハイライト色は、前記画像の輝度成分のヒストグラムを用いて取得されることを特徴とする請求項1または2に記載の画像処理装置。
- 画像からハイライト色を取得する取得工程と、
色平面において、色温度の変化に対応するハイライト色の軌跡上の複数の色のうち、前記取得工程によって取得されたハイライト色に最も近い色と、前記取得工程によって取得されたハイライト色との距離を算出する算出工程と、
前記算出工程によって算出された距離に応じて、前記取得工程によって取得されたハイライト色を、前記色平面における原点に近づくように補正するハイライト色補正工程と
を有し、
前記ハイライト色補正工程において、前記算出工程によって算出された距離が長いほど、前記取得工程によって取得されたハイライト色を前記色平面における原点に近づくように補正する量を大きくすることを特徴とする画像処理方法。 - コンピュータを請求項1乃至3のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010162217A JP5744431B2 (ja) | 2010-07-16 | 2010-07-16 | 画像処理装置、画像処理方法、プログラム |
US12/962,889 US8457397B2 (en) | 2010-07-16 | 2010-12-08 | Image processing apparatus, image processing method, and computer-readable medium |
US13/896,258 US8934712B2 (en) | 2010-07-16 | 2013-05-16 | Image processing apparatus, image processing method, and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010162217A JP5744431B2 (ja) | 2010-07-16 | 2010-07-16 | 画像処理装置、画像処理方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012023693A JP2012023693A (ja) | 2012-02-02 |
JP2012023693A5 JP2012023693A5 (ja) | 2013-08-29 |
JP5744431B2 true JP5744431B2 (ja) | 2015-07-08 |
Family
ID=45466671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010162217A Active JP5744431B2 (ja) | 2010-07-16 | 2010-07-16 | 画像処理装置、画像処理方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US8457397B2 (ja) |
JP (1) | JP5744431B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5222785B2 (ja) * | 2009-05-25 | 2013-06-26 | パナソニック株式会社 | カメラ装置および色補正方法 |
JP5744430B2 (ja) | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5744429B2 (ja) | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5744431B2 (ja) * | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5436389B2 (ja) | 2010-10-05 | 2014-03-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US8782558B1 (en) | 2012-11-28 | 2014-07-15 | Advanced Testing Technologies, Inc. | Method, program and arrangement for highlighting failing elements of a visual image |
JP6234098B2 (ja) | 2013-07-19 | 2017-11-22 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6142833B2 (ja) * | 2014-03-31 | 2017-06-07 | ブラザー工業株式会社 | 電子機器 |
US10805588B2 (en) | 2016-04-25 | 2020-10-13 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for image white balance adjustment |
CN106791758B (zh) * | 2016-12-07 | 2018-07-06 | 浙江大华技术股份有限公司 | 一种图像中自然光混合色温的判断方法及装置 |
CN111164642A (zh) * | 2017-10-02 | 2020-05-15 | 富士胶片株式会社 | 图像候选确定装置、图像候选确定方法、控制图像候选确定装置的程序以及存储该程序的记录介质 |
CN108156379A (zh) * | 2017-12-28 | 2018-06-12 | 努比亚技术有限公司 | 一种自动白平衡的优化方法、终端及计算机可读存储介质 |
CN112840636A (zh) * | 2019-02-28 | 2021-05-25 | 华为技术有限公司 | 一种图像处理方法和装置 |
EP3972243B1 (en) * | 2020-09-18 | 2024-05-08 | Beijing Xiaomi Mobile Software Co., Ltd. | A computer implemented method for temporally stabilizing white point information in an auto white balance process, a data processing apparatus, a computer program product, and a computer-readable storage medium |
CN112710397B (zh) * | 2020-12-16 | 2021-11-19 | 电子科技大学 | 一种基于温度替代的两点校正方法及系统 |
CN115655485B (zh) * | 2022-12-21 | 2023-04-07 | 浙江华感科技有限公司 | 一种测温方法、装置、电子设备和存储介质 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2541688B2 (ja) | 1990-05-21 | 1996-10-09 | 日産自動車株式会社 | 眼位置検出装置 |
JP2973676B2 (ja) | 1992-01-23 | 1999-11-08 | 松下電器産業株式会社 | 顔画像特徴点抽出装置 |
JP3557659B2 (ja) | 1994-08-22 | 2004-08-25 | コニカミノルタホールディングス株式会社 | 顔抽出方法 |
JPH0877334A (ja) | 1994-09-09 | 1996-03-22 | Konica Corp | 顔画像の特徴点自動抽出方法 |
JPH08154258A (ja) | 1994-11-28 | 1996-06-11 | Matsushita Electric Ind Co Ltd | 色補正装置 |
US6069981A (en) * | 1997-06-16 | 2000-05-30 | Dainippon Screen Mfg. Co., Ltd. | Image conversion method and record medium |
JPH1153525A (ja) | 1997-08-06 | 1999-02-26 | Matsushita Electric Ind Co Ltd | 顔器官検出装置及び媒体 |
JP4076248B2 (ja) | 1997-09-09 | 2008-04-16 | オリンパス株式会社 | 色再現装置 |
JP3549013B2 (ja) | 1998-03-05 | 2004-08-04 | 日本電信電話株式会社 | 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体 |
US6603885B1 (en) | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
JP3950551B2 (ja) | 1998-06-24 | 2007-08-01 | キヤノン株式会社 | 画像処理方法、装置および記録媒体 |
JP2000105829A (ja) | 1998-09-29 | 2000-04-11 | Matsushita Electric Ind Co Ltd | 顔パーツ検出方法及びその装置 |
JP2000132688A (ja) | 1998-10-29 | 2000-05-12 | Matsushita Electric Ind Co Ltd | 顔パーツ検出方法及びその装置 |
JP2000235648A (ja) | 1999-02-17 | 2000-08-29 | Fujitsu Ltd | 目の抽出装置および瞬き検出装置 |
JP3903083B2 (ja) * | 1999-03-11 | 2007-04-11 | 富士フイルム株式会社 | 画像処理装置、方法及び記録媒体 |
JP2001216515A (ja) | 2000-02-01 | 2001-08-10 | Matsushita Electric Ind Co Ltd | 人物の顔の検出方法およびその装置 |
US6717698B1 (en) | 2000-02-02 | 2004-04-06 | Eastman Kodak Company | Tone scale processing based on image modulation activity |
JP2002152772A (ja) | 2000-08-28 | 2002-05-24 | Fuji Photo Film Co Ltd | ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体 |
EP1211640A3 (en) | 2000-09-15 | 2003-10-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image |
US6895103B2 (en) | 2001-06-19 | 2005-05-17 | Eastman Kodak Company | Method for automatically locating eyes in an image |
US7057768B2 (en) * | 2001-07-02 | 2006-06-06 | Corel Corporation | Automatic color balance |
US7307763B2 (en) | 2001-09-26 | 2007-12-11 | Fujifilm Corporation | Image processing method |
US6844881B1 (en) | 2002-03-29 | 2005-01-18 | Apple Computer, Inc. | Method and apparatus for improved color correction |
JP2004070715A (ja) | 2002-08-07 | 2004-03-04 | Seiko Epson Corp | 画像処理装置 |
US7421118B2 (en) * | 2003-03-17 | 2008-09-02 | Sharp Laboratories Of America, Inc. | System and method for attenuating color-cast correction in image highlight areas |
JP2005079623A (ja) * | 2003-08-28 | 2005-03-24 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法および装置並びにプログラム |
JP2005175876A (ja) | 2003-12-11 | 2005-06-30 | Ricoh Co Ltd | 色信号処理方法および装置、カラープロファイル作成方法、プログラムおよび記録媒体 |
US7663788B2 (en) | 2004-06-29 | 2010-02-16 | Fujifilm Corporation | Image correcting apparatus and method, and image correction program |
US7570809B1 (en) * | 2004-07-03 | 2009-08-04 | Hrl Laboratories, Llc | Method for automatic color balancing in digital images |
US7286703B2 (en) | 2004-09-30 | 2007-10-23 | Fujifilm Corporation | Image correction apparatus, method and program |
US7599093B2 (en) | 2004-09-30 | 2009-10-06 | Fujifilm Corporation | Image processing apparatus, method and program |
US7593603B1 (en) * | 2004-11-30 | 2009-09-22 | Adobe Systems Incorporated | Multi-behavior image correction tool |
JP2007074557A (ja) | 2005-09-08 | 2007-03-22 | Canon Inc | 画像処理方法、画像処理装置、コンピュータプログラム、記憶媒体 |
US8103094B2 (en) | 2005-09-22 | 2012-01-24 | Adobe Systems Incorporated | Color correction based on skin color |
JP2007201582A (ja) * | 2006-01-24 | 2007-08-09 | Sony Corp | ホワイトバランス調整回路、その調整方法及びカメラ装置 |
JP4668956B2 (ja) | 2007-06-29 | 2011-04-13 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP5066398B2 (ja) | 2007-06-29 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP4906627B2 (ja) | 2007-07-31 | 2012-03-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP5116393B2 (ja) | 2007-07-31 | 2013-01-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5067852B2 (ja) | 2007-08-10 | 2012-11-07 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP5158100B2 (ja) | 2008-02-22 | 2013-03-06 | 日本電気株式会社 | カラー画像処理方法、装置およびプログラム |
JP4941370B2 (ja) * | 2008-03-18 | 2012-05-30 | 富士通株式会社 | 画像補正プログラム、画像補正装置および画像補正方法 |
JP5424712B2 (ja) | 2009-05-21 | 2014-02-26 | キヤノン株式会社 | 画像処理装置及びその制御方法とプログラム |
JP5744431B2 (ja) * | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5744429B2 (ja) | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2010
- 2010-07-16 JP JP2010162217A patent/JP5744431B2/ja active Active
- 2010-12-08 US US12/962,889 patent/US8457397B2/en active Active
-
2013
- 2013-05-16 US US13/896,258 patent/US8934712B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120013764A1 (en) | 2012-01-19 |
US8934712B2 (en) | 2015-01-13 |
US20130251259A1 (en) | 2013-09-26 |
US8457397B2 (en) | 2013-06-04 |
JP2012023693A (ja) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5744431B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5744429B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5744430B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US9129188B2 (en) | Image processing apparatus and control method thereof | |
US9036205B2 (en) | Image processing apparatus and method for correcting luminance and saturation of a pixel in an image or of a target lattice point in a lookup table | |
US7362895B2 (en) | Image processing apparatus, image-taking system and image processing method | |
CN102301392A (zh) | 彩色图像处理方法,彩色图像处理设备和记录介质 | |
US9398282B2 (en) | Image processing apparatus, control method, and computer-readable medium | |
JPWO2012001949A1 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
TW201325260A (zh) | 圖像處理裝置、圖像處理方法及程式 | |
WO2020066456A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US20150201173A1 (en) | Image processing apparatus, image pickup apparatus and image processing program for correcting color blur | |
US10742850B2 (en) | Image processing apparatus and control method thereof for white balance adjustment | |
US8346019B2 (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
US7514669B2 (en) | Imaging apparatus and light source estimating device for the imaging apparatus | |
TWI531246B (zh) | Color adjustment method and its system | |
JP2012028973A (ja) | 照明光推定装置、照明光推定方法および照明光推定プログラム | |
JP6696596B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
WO2013089051A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体 | |
JP2020115683A (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
KR20140019900A (ko) | 조명변화에 강인한 HCI (Hue-Chroma-Intensity) 컬러 모델 변환 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130711 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5744431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |