JP3848274B2 - White balance adjustment method, imaging apparatus, program, and storage medium - Google Patents
White balance adjustment method, imaging apparatus, program, and storage medium Download PDFInfo
- Publication number
- JP3848274B2 JP3848274B2 JP2003057217A JP2003057217A JP3848274B2 JP 3848274 B2 JP3848274 B2 JP 3848274B2 JP 2003057217 A JP2003057217 A JP 2003057217A JP 2003057217 A JP2003057217 A JP 2003057217A JP 3848274 B2 JP3848274 B2 JP 3848274B2
- Authority
- JP
- Japan
- Prior art keywords
- color temperature
- white balance
- image signal
- white
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラやデジタルビデオカメラなどにおける撮像装置のホワイトバランスを調整する技術に関する。
【０００２】
【従来の技術】
従来の撮像装置のホワイトバランス装置について説明する。
【０００３】
撮像素子から出力された画像信号は、Ａ／Ｄ変換器を通りデジタル信号となる。デジタル化された撮像素子出力信号は図３のような任意の複数のブロックに分割され、各ブロックごとに色評価値
Cx=（R-B）/Y
Cy=（R+B-２G）/Y
Y=（R+G+B）/２
が算出される（原色信号の場合の変換式の例）。
【０００４】
ここで、後述する予め設定した白検出エリアに色評価値（Cx,Cy）が含まれる場合に、そのブロックが白であると仮定し、白と仮定されたブロックのそれぞれの色画素の積分値（SumR、SumG、SumB）を算出する。その積分値から以下の式を用いてホワイトバランスゲインを算出している。
kWB_R=１.０/SumR
kWB_G=１.０/SumG
kWB_B=１.０/SumB
図２は、白検出エリアの例を示す図である。高色温度から低色温度の光源下で任意の色温度ステップ毎に白を撮影し、撮像素子から得られた信号値より色評価値を算出し、それをプロットする。これにより、図２に（ａ）で示すように、高色温度から低色温度までの白の判定ラインが作られる。実際には白でも分光に若干のばらつきがあるため、ラインから若干の幅をもたせる。
【０００５】
しかしながら、従来のホワイトバランス検出装置では以下のような欠点があった。
【０００６】
例えば、太陽光などの高色温度光源下で人肌アップなどを撮影した場合、太陽光源下の白色被写体の色評価値は（図２に示す「White」）のように分布するが、人肌の色評価値は（図２に示す「Skin」）のように低色温度光源下の白色とほぼ同一位置に分布する。このため、肌色の面積が大きい場合、実際より低い光源と誤判別してしまう問題点があった。
【０００７】
従来は、このような誤判別を避けるために、被写体照度が明るい場合は外光である可能性が高いという仮定で、白検出範囲をWhiteで示す範囲のように狭めて、低色温度の光源をひろわないように工夫していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来のホワイトバランス装置では、スタジオなどのタングステン光など色温度が低く照度が非常に大きい場合には対応できず、また、日陰や夕方などの被写体が暗い場合には、色温度の高い光源から低い光源まで検出する必要があるため、白検出範囲を広くしなければならず、これにより、肌色にひっぱられるという問題点を解消することはできなかった。
【０００９】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影条件によらず、常に正確なホワイトバランスを取ることができるようにすることである。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わるホワイトバランス調整方法は、撮像素子からの画像信号のうちの白検出範囲内の画像信号から第１の色温度を算出する第１の色温度算出工程と、前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出工程と、前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整工程とを具備し、前記ホワイトバランス調整工程では、前記第１の色温度と前記第２の色温度とを比較して、前記第１の色温度の方が前記第２の色温度より高い場合は、前記第１の色温度に基づいてホワイトバランスを調整し、前記第１の色温度よりも前記第２の色温度が高い場合は、前記第２の色温度に基づいてホワイトバランスを調整することを特徴としている。
【００１１】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００１２】
（第１の実施の形態）
図１は、本発明の実施形態に係わるホワイトバランス装置を備える撮像装置の概略構成を示すブロック図である。
【００１３】
図１において、レンズ１８を通過した光をＣＣＤ１９において受光し、ＣＣＤからの出力信号をＡ／Ｄ変換器２０においてデジタル信号にした後、本発明の実施形態のＷＢ回路６においてホワイトバランスをとり、色信号作成回路２１において色差信号Ｕ,Ｖを作成し、また、輝度信号作成回路において輝度信号Ｙを作成することで、カラー画像を得ることが可能である。
【００１４】
図２および図８は白検出範囲と肌色検出範囲を示した図である。本実施形態では原色フィルタを使用した撮像素子を例にあげて説明する。図２において、「Ｗｈｉｔｅ」,「Ｓｋｉｎ」で示した領域は、白色、肌色が、それぞれ、屋外など高色温度において撮影した場合に検出される領域を示している。図８において、「Ｗｈｉｔｅ」,「Ｓｋｉｎ」で示した領域は、白色、肌色が、それぞれ、タングステン光など低色温度において撮影した場合に検出される領域を示している。
【００１５】
白検出範囲は高色温度から低色温度まで、任意のステップで白色を撮影した撮像素子の出力値から、
Cx=（R-B）/Y
Cy=（R+B-２G）/Y
Y=（R+G+B）/２ …（１）
を計算し、２次元軸にプロットしたものである（図２に（ａ）で示す）。ここで、Ｘ軸が光源の色温度に対応し、Ｙ軸が緑方向補正量に対応している。このようにして白検出範囲（細かい点線が示す範囲）を作成しておく。
【００１６】
また、肌色に対しても同様に、各色温度毎に人肌を撮影し、軸にプロットしたものである（図２に（ｂ）で示す）。ここで、人肌は、白人、黒人、黄色人など様々いるが、各人肌における色相値はあまりかわらないので、ほぼ中間的な肌色を用いて肌検出軸を作成する。そして緑色補正を行うためにこの肌検出軸に対してＹ軸方向に検出範囲を広げたものが肌検出範囲（細かい点線が示す範囲）である。
【００１７】
以上の検出軸を用いて、本実施形態のホワイトバランスを検出する動作を図５に示すフローチャートを参照して説明する。
【００１８】
まず、図３に示す１画面を任意の大きさのブロックに分割する。そして、各ブロック毎において、撮像素子からの色信号に基づいて白評価値（Cx、Cy）を計算し、図の白検出範囲、肌検出範囲に入るか否かを判定する。
【００１９】
次に、白検出範囲内に含まれるブロックの各色フィルタの出力値の積分値SumRw、SumGw、SumBw及び総サンプル数SampleWNumを算出する。
SumRw=ΣR（i）
SumGw=ΣG（i）
SumBw=ΣB（i） …（２）
SampleWNum= ΣSample（i）
更に、上記積分値から白評価値SumCxW、SumCyWを算出する。
SumCxW=（SumRw-SumBw）/Yw
SumCyW=（SumRw+SumBw-２SumGw）/Yw …（３）
Yw=（SumRw+SumGr+SumBg）/２
この白評価値より、被写体（撮像画面内）の色温度（第１の色温度：CTempFromWhite）を予測する（ステップＳ１）。白検出軸のX軸は色温度に対応する軸であるので、SumCxWがわかれば光源色温度は計算可能である。
【００２０】
同様に、肌検出範囲内に含まれるブロックの各色フィルタの出力値の積分値及び総サンプル数を算出する。
SumRskin（赤）,SumGskin（緑）,SumBskin（青）,SampleSkinNum（総サンプル数）…（４）
また、上記積分値より肌評価値SumCxSkin、SumCySkinを算出する。
SumCxSkin=（SumRskin-SumBskin）/Yskin
SumCySkin=（SumRskin+SumBw-２SumGskin）/Yskin …（５）
Yskin= （SumRskin+SumGw+SumBskin）/２
この肌評価値より、被写体（撮像画面内）の色温度（第２の色温度：CTempFromSkin）を予測する（ステップＳ２）。
【００２１】
ここで、SumCxと色温度との関係を示す図６を用いてステップＳ１およびステップＳ２において求められたSumCxW, SumCxSkinから各色温度を予測する方法を説明する。
【００２２】
SumCxWから色温度CtempFromWhiteを求める場合、図６の式Ｌ１を用いる。式Ｌ１は、
Ｌ１：Ctemp=α×SumCx+m（但し、αは負の係数であり、mは4000K前後の値である） …（６）’
として表わされる。
【００２３】
また、SumCxSkinから色温度CtempFromSkinを求める場合、図６の式Ｌ２を用いる。式Ｌ２は、
Ｌ２：Ctemp=α×SumCx+n（但し、n＞mであり、mは人肌として定義した色相によって定められる） …（７）’
として表わされる。
【００２４】
なお、式Ｌ１は各色温度毎に白紙などを撮影したときの色温度をプロットすることによって予め求められているものとする。また、式Ｌ２においても各色温度毎に人肌を撮影したときの色温度をプロットすることによって予め求められているものとする。
【００２５】
そして、白評価値より算出した色温度と肌評価値より算出した色温度を比較する（ステップＳ３）。
【００２６】
白検出で正しい色温度が検出できていれば（高色温度下であってかつ肌色面積が少ない場合）、
CtempFromWhite≧CTempFromSkin …（６）
となる（ステップＳ３Ｙｅｓ）。よって白検出結果の色温度を最終的な光源の色温度と判定する（ステップＳ４）。なお、白検出結果の色温度が肌検出結果の色温度より高い場合も、白検出結果の色温度を最終的な光源の色温度と判定する。
【００２７】
しかしながら、色温度の高低に関わらず、肌色の面積が多いときには、白検出軸の低色温度側に肌色が多く分布するために、肌検出範囲から予測された色温度より低くなり、
CTempFromWhite＜CTempFromSkin …（７）
という結果になる（ステップＳ３Ｎｏ）。これが肌色のひっぱられをあらわしており、このような場合には、肌色の検出領域において予測された色温度CTempFromSkinを出力する（ステップＳ５）。また、タングステン光などの低色温度下において撮影された場合、肌色が存在しない場合においても白色が肌検出範囲に含まれることになるので、やはり式（７）の結果を用いることになる。この場合、後述のステップＳ５の処理によって白検出結果CTempFromWhite、肌検出結果CtempFromSkinが加重平均されるのでその影響はなくなる。
【００２８】
ここで、デジタル的に白検出結果CTempFromWhite、肌検出結果CTempFromSkinをきりかえてホワイトバランス補正に用いると、若干のシーンずれでホワイトバランスの切り替わりが発生してしまう場合がある。よって、これを防ぐ理由からも、肌検出されたサンプル数の割合によって、２つの係数を加重平均する処理（以下、この処理をサンプル数係数MIXと呼ぶ）を行うことがより好ましい。以下、例をあげてこのサンプル数係数MIX処理を説明する。
【００２９】
１画面を分割して得られるブロック数のトータルをAllSampleNumberとし、肌検出されたサンプルポイントの合計より、以下の式を用いて、肌が画面の何％を占めていたかを判断する。
SkinSamplePercent= SampleSkinNum×１００/AllSampleNumber …（８）
このSkinSamplePercentを用いて、以下の式を用いて最終的な被写体の色温度を算出する。
CTempResult=k×CTempFromSkin+（１−k）×CTempFromWhite …（９）
例えばSkinSamplePercentが１０％以上の場合は、肌検出結果を１００％（k=1）使用し、SkinPercentが１０％をきると徐々に白検出結果をまぜはじめる。SkinSamplePercentが５％で、肌検出結果を５０％（k=0.5）、白検出結果を５０％とし、SkinSamplePercentが０％で、肌検出結果が０％（k=0）、白検出結果が１００％になるように設定する。
【００３０】
このようにして求められた色温度に基づいてホワイトバランス係数を算出し、撮像信号のホワイトバランス補正処理を実行する（ステップ６）。
【００３１】
なお、本実施の形態においては、CTempFromWhite＜CtempFromSkinの場合にCtempFromWhiteおよびCtempFromSkinの加重平均を行っていたが、CtempFromWhite≧CTempFromSkinの場合にこれらの色温度の加重平均をおこなってもよい。この場合処理が簡略化するので応答性が向上する。
【００３２】
以上説明したように、光源の色温度の高低、および撮影画面内の肌色の有無に関わらず、適切なホワイトバランス補正が可能となる。
【００３３】
（第２の実施形態）
本実施形態では、第１の実施形態の白検出によって予測された色温度と肌検出によって予測された被写体色温度のミックス方法が異なる。図７は第２の実施の形態における撮像装置の動作処理フローチャートであり、図７を用いて本実施の形態の処理を説明する。
【００３４】
まず白検出からの色温度CtempFromWhite（第１の色温度）よりSumCxW及びSumCyWを求め、さらに、式（１）の連立方程式を解くことで撮像素子の色画素出力値Rw、Gw、Bw値を逆算する。
【００３５】
これより、ホワイトバランス係数WB_Rw、WB_Gw、WB_Bwを算出する（ステップＳ２１）。
WB_Rw=１.０/Rw
WB_Gw=１.０/Gw …（１０）
WB_Bw=１.０/Bw
次に、肌検出からの色温度CTempFromSkin（第２の色温度）より、肌検出軸でのCxFromSkin、CyFromSkinを算出する。この算出方法は第１の実施の形態と同様である。これから、先ほどと同様に連立方程式を解くことで、Rs、Gs、Bs値を求める。更にこれより、肌からのホワイトバランス係数WB_Rs、WB_Gs、WB_Bsを算出する（ステップＳ２２）。
WB_Rs=１.０/Rs
WB_Gs=１.０/Gs …（１１）
WB_Bs=１.０/Bs
画面の予め指定したブロック（図４のような画面中央部）内において得られる色信号に対して、上記２種類のWB係数のそれぞれに基づいてホワイトバランス補正を行い、その補正された信号より色差信号を作成し、色差信号の平均値を算出する（ステップＳ２３）。白からのホワイトバランス係数に基づいて補正された信号から色差信号を算出し、色差信号の絶対値の和を平均化したものを、
AveCrw、AveCbw …（１２）
とし、肌からのホワイトバランス係数に基づいて補正された信号から色差信号を算出し、色差信号の絶対値の和を平均したものを、
AveCrs、AveCbs …（１３）
とする。
【００３６】
これより彩度を算出すると、
ChromaW=sqrt（AveCrw１2+AveCbw１2）
ChromaS=sqrt（AveCrs１2+AveCbs１2） …（１４）
となる（ステップＳ２５）。
【００３７】
ここで、白検出から算出されたWB係数が正しければ（肌にひっぱられていなければ）
ChromaW=ChromaS …（１５）
となるが、白色を検出する際に人物の肌色にひっぱられると肌色を無彩色にするように（画面全体が青くなる方向に）動作してしまう。つまり、人肌が画面中央部にあって、肌色が白色検出領域に存在する場合には、
ChromaW＜ChromaS …（１６）
となる。
【００３８】
式（１５）のような状態になったとき、白検出からの色温度CtempFromWhiteを出力する（ステップＳ２７）。一方、式（１６）のような場合、肌検出からの色温度CTempFromSkinを用いてホワイトバランス係数を算出してもよいが、急激な画面のホワイトバランス補正の切換わりを防ぐため、第１の実施形態と同じような加重平均を用いて最終的な被写体の色温度を予測する（ステップＳ２６）。
CTempResult= k×CTempFromSkin+（１−k）×CTempFromWhite …（１７）
ただし、式（１７）において、k，CTempResult，CTempFromSkin，CTempFromWhiteは、第１の実施形態と同様の意味を表わすものとする。式（１７）は肌色が多く検出されればされるほど肌検出からの色温度CTempFromSkinを重視することを意味する。例えば、画面内の全てに肌色が検出された場合は肌検出からの色温度CTempFromSkinのみを採用することになるので、画面中から白色が検出されない場合においても適切なホワイトバランス補正を行うことができる。
【００３９】
このようにして得られた色温度からホワイトバランス補正を行うための係数を決定する（ステップＳ２８）。
【００４０】
なお、本実施の形態においては、ChromaW＜ChromaSの場合にCtempFromWhiteおよびCtempFromSkinの加重平均を行っていたが、ChromaW≧ChromaSの場合にこれらの色温度の加重平均をおこなってもよい。この場合処理が簡略化するので応答性が向上する。
【００４１】
なお、ステップＳ２５の処理では肌色の検出が少ないため、確度が低い可能性が考えられる。この場合、ステップＳ２５に進む前の処理において、肌検出範囲から検出されるサンプル数がある値より小さい場合には（例えば、SkinSamplePercentが１％以下）ステップＳ２７の処理に進み、それ以外の場合にはステップＳ２５の処理に進むようにしてもよい。
【００４２】
以上説明したように、本実施の形態においても適切なホワイトバランスの補正を行うことができる。
【００４３】
（第３の実施形態）
本実施形態では、第１の実施形態の白検出からの被写体色温度と肌検出からの被写体色温度のミックス方法（図５のステップ５）とは異なるミックス方法を示す。
【００４４】
白検出、肌検出の対象となった撮像素子の複数ブロックの総数を
AllBlockNum …（１８）
とする。
【００４５】
白検出範囲に含まれるブロック数SampleWNumとAllBlockNumを用いて、白と判別されたブロックの割合WBlockPercentを算出する。
WBlockPercent= SampleWNum/AllBlockNum×１００ …（１９）
この割合を用いて以下のような加重加算を用いて最終の被写体色温度（CTempResult）を算出する。
【００４６】
（例）
WBlockPercent＞１０％を満たす場合、
CTempResult=CTempFromWhite …（２０）
とする。
【００４７】
また、WBlockPercent＞１０％を満たさない場合、
CTempResult=WhiteRatio×CTempWhite＋(１-WhiteRatio)×CtempFromSkin
ここで、WhiteRatioは、WBlockPercent=１０％のときWhiteRatio=１.０、WBlockPercent=０％のときWhiteRatio=０.０となるように、WhiteRatio= a×WBlockPercent+b …（２１）
の１次関数で色温度が求まる。
【００４８】
本実施形態では、白検出と有彩色の検出として肌色を用いたが、肌色のみならず、葉っぱなどの緑、青空などの青を用いても効果は期待できる。
【００４９】
（第４の実施形態）
本実施形態では、第１の実施形態の白検出からの被写体色温度と肌検出からの被写体色温度のミックス方法が第１の実施の形態の方法（図５のステップ５）とは異なる形態を示す。
【００５０】
本実施形態では、カメラの撮影モードがポートレートモード（人物撮影モード）と指定されたときに、肌検出からの被写体色温度情報を用いてホワイトバランスをとる。
【００５１】
あるいは、カメラの撮影モードがポートレートモードのとき、ミックス時の式の係数kの割合を大きくする重みをつける。
【００５２】
以上説明したように、上記の第１乃至第４の実施形態によれば、従来のホワイトバランス装置に用いられる白検出手段からの色情報に加え、肌色を検出することによって求められる色情報を加味して最終の被写体色温度を特定する構成をとっているので、人顔アップなどのショットで白の面積が小さくなった場合でもより正確な色温度判別が可能となる。
【００５３】
また、従来肌色を白と誤判別し白く誤補正していた比較的低照度の被写体において、肌色のひっぱられを防ぐことが可能となる。
【００５４】
また、明るい被写体においても従来のように白検出範囲を狭める必要がなくなるため、スタジオなどの非常に高照度のタングステン光のホワイトバランス補正を適正に行うことができる。
【００５５】
【他の実施形態】
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００５８】
【発明の効果】
以上説明したように、本発明によれば、撮影条件によらず、常に正確なホワイトバランスを取ることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態のホワイトバランス装置を備える撮像装置の概略構成を示す図である。
【図２】白及び肌検出軸を示した図である。
【図３】色検出ブロックを示した図である。
【図４】肌判定ブロックを示した図である。
【図５】第１の実施の形態におけるホワイトバランス装置の動作を示すフローチャートである。
【図６】 SumCxWおよびSumCxSkinから色温度を求めるための式を示す図である。
【図７】第２の実施の形態におけるホワイトバランス装置の動作を示すフローチャートである。
【図８】白及び肌検出軸を示した図である。
【符号の説明】
６ ホワイトバランス回路
１８ レンズ
１９ 撮像素子
２０ Ａ／Ｄ変換器
２１ 色信号作成回路
２２ 輝度信号作成回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for adjusting white balance of an imaging apparatus in a digital camera, a digital video camera, or the like.
[0002]
[Prior art]
A white balance device of a conventional imaging device will be described.
[0003]
The image signal output from the image sensor passes through the A / D converter and becomes a digital signal. The digitized image sensor output signal is divided into a plurality of arbitrary blocks as shown in FIG. 3, and the color evaluation value for each block.
Cx = (RB) / Y
Cy = (R + B-2G) / Y
Y = (R + G + B) / 2
Is calculated (example of conversion formula for primary color signal).
[0004]
Here, when a color evaluation value (Cx, Cy) is included in a preset white detection area to be described later, it is assumed that the block is white, and the integrated value of each color pixel of the block assumed to be white Calculate (SumR, SumG, SumB). The white balance gain is calculated from the integrated value using the following equation.
kWB_R = 1.0 / SumR
kWB_G = 1.0 / SumG
kWB_B = 1.0 / SumB
FIG. 2 is a diagram illustrating an example of a white detection area. White is photographed for each arbitrary color temperature step under a light source having a high color temperature to a low color temperature, a color evaluation value is calculated from a signal value obtained from the image sensor, and plotted. As a result, as shown in FIG. 2A, a white determination line from a high color temperature to a low color temperature is created. Actually, even in white, there is a slight variation in the spectrum, so a slight width is given from the line.
[0005]
However, the conventional white balance detection apparatus has the following drawbacks.
[0006]
For example, when photographing human skin under a high color temperature light source such as sunlight, the color evaluation value of a white subject under the solar light source is distributed as shown in (White in FIG. 2). The color evaluation value is distributed at substantially the same position as the white color under the low color temperature light source as shown in (Skin shown in FIG. 2). For this reason, when the skin color area is large, there is a problem that the light source is erroneously determined to be lower than the actual light source.
[0007]
Conventionally, in order to avoid such misidentification, the white detection range is narrowed to the range indicated by White under the assumption that there is a high possibility of outside light when the subject illuminance is bright. It was devised not to spread.
[0008]
[Problems to be solved by the invention]
However, conventional white balance devices cannot cope with low light temperature such as tungsten light in studios, etc., and very high illuminance, and light sources with high color temperature when the subject is dark, such as shade or evening. Since it is necessary to detect light from a low light source to a low light source, the white detection range has to be widened, and thus the problem of being pulled by the skin color cannot be solved.
[0009]
Accordingly, the present invention has been made in view of the above-described problems, and an object of the present invention is to always ensure accurate white balance regardless of shooting conditions.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, a white balance adjustment method according to the present invention calculates a first color temperature from an image signal within a white detection range of image signals from an image sensor. A first color temperature calculating step, a second color temperature calculating step of calculating a second color temperature from an image signal within a chromatic color detection range of the image signals from the image sensor, and the first color temperature. And a white balance adjustment step of adjusting a white balance based on the second color temperature, and in the white balance adjustment step, the first color temperature and the second color temperature are compared, When the first color temperature is higher than the second color temperature, white balance is adjusted based on the first color temperature, and the second color temperature is higher than the first color temperature. If it is higher, it is based on the second color temperature. It is characterized by adjusting the white balance Te.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0012]
(First embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus including a white balance apparatus according to an embodiment of the present invention.
[0013]
In FIG. 1, the light passing through the
[0014]
2 and 8 are diagrams showing a white detection range and a skin color detection range. In the present embodiment, an image pickup device using a primary color filter will be described as an example. In FIG. 2, areas indicated by “White” and “Skin” indicate areas where white color and skin color are detected when shooting at a high color temperature such as outdoors. In FIG. 8, areas indicated by “White” and “Skin” indicate areas where white color and skin color are detected when shooting is performed at a low color temperature such as tungsten light.
[0015]
The white detection range is from the output value of the image sensor that captured white in any step, from high color temperature to low color temperature,
Cx = (RB) / Y
Cy = (R + B-2G) / Y
Y = (R + G + B) / 2 (1)
Is plotted on a two-dimensional axis (shown by (a) in FIG. 2). Here, the X axis corresponds to the color temperature of the light source, and the Y axis corresponds to the green direction correction amount. In this way, a white detection range (a range indicated by a fine dotted line) is created.
[0016]
Similarly, for human skin color, human skin is photographed for each color temperature and plotted on the axis (shown as (b) in FIG. 2). Here, there are various types of human skin, such as white people, black people, and yellow people, but since the hue value in each human skin does not change much, a skin detection axis is created using an almost intermediate skin color. A skin detection range (a range indicated by a fine dotted line) is obtained by expanding the detection range in the Y-axis direction with respect to the skin detection axis in order to perform green correction.
[0017]
The operation of detecting the white balance of the present embodiment using the above detection axes will be described with reference to the flowchart shown in FIG.
[0018]
First, one screen shown in FIG. 3 is divided into blocks of an arbitrary size. Then, for each block, a white evaluation value (Cx, Cy) is calculated based on the color signal from the image sensor, and it is determined whether the white detection range and the skin detection range in the figure are entered.
[0019]
Next, the integrated values SumRw, SumGw, SumBw and the total number of samples SampleWNum of the output values of the color filters of the blocks included in the white detection range are calculated.
SumRw = ΣR (i)
SumGw = ΣG (i)
SumBw = ΣB (i) (2)
SampleWNum = ΣSample (i)
Further, white evaluation values SumCxW and SumCyW are calculated from the integrated values.
SumCxW = (SumRw-SumBw) / Yw
SumCyW = (SumRw + SumBw-2SumGw) / Yw (3)
Yw = (SumRw + SumGr + SumBg) / 2
From this white evaluation value, the color temperature (first color temperature: CTempFromWhite) of the subject (in the imaging screen) is predicted (step S1). Since the X axis of the white detection axis is an axis corresponding to the color temperature, the light source color temperature can be calculated if SumCxW is known.
[0020]
Similarly, the integral value and the total number of samples of the output values of the color filters of the blocks included in the skin detection range are calculated.
SumRskin (red), SumGskin (green), SumBskin (blue), SampleSkinNum (total number of samples) ... (4)
Also, skin evaluation values SumCxSkin and SumCySkin are calculated from the integrated values.
SumCxSkin = (SumRskin-SumBskin) / Yskin
SumCySkin = (SumRskin + SumBw-2SumGskin) / Yskin (5)
Yskin = (SumRskin + SumGw + SumBskin) / 2
From this skin evaluation value, the color temperature (second color temperature: CTempFromSkin) of the subject (in the imaging screen) is predicted (step S2).
[0021]
Here, a method of predicting each color temperature from the SumCxW and SumCxSkin obtained in step S1 and step S2 will be described using FIG. 6 showing the relationship between SumCx and color temperature.
[0022]
When obtaining the color temperature CtempFromWhite from SumCxW, the equation L1 in FIG. 6 is used. Formula L1 is
L1: Ctemp = α × SumCx + m (where α is a negative coefficient and m is a value around 4000K) (6) ′
Is represented as
[0023]
Further, when the color temperature CtempFromSkin is obtained from SumCxSkin, the equation L2 in FIG. 6 is used. Formula L2 is
L2: Ctemp = α × SumCx + n (where n> m, m is determined by the hue defined as human skin) (7) ′
Is represented as
[0024]
It is assumed that the formula L1 is obtained in advance by plotting the color temperature when a blank sheet or the like is photographed for each color temperature. Also in the formula L2, it is assumed that it is obtained in advance by plotting the color temperature when human skin is photographed for each color temperature.
[0025]
Then, the color temperature calculated from the white evaluation value is compared with the color temperature calculated from the skin evaluation value (step S3).
[0026]
If the correct color temperature is detected by white detection (when the color temperature is high and the skin color area is small)
CtempFromWhite ≧ CTempFromSkin (6)
(Step S3 Yes). Therefore, the color temperature of the white detection result is determined as the final color temperature of the light source (step S4). Even when the color temperature of the white detection result is higher than the color temperature of the skin detection result, the color temperature of the white detection result is determined as the final color temperature of the light source.
[0027]
However, regardless of whether the color temperature is high or low, when the skin color area is large, since the skin color is distributed more on the low color temperature side of the white detection axis, it becomes lower than the color temperature predicted from the skin detection range,
CTempFromWhite <CTempFromSkin (7)
(Step S3 No). This indicates the flesh color pulling. In such a case, the color temperature CTempFromSkin predicted in the flesh color detection region is output (step S5). In addition, when the image is taken under a low color temperature such as tungsten light, white is included in the skin detection range even when there is no skin color, so the result of equation (7) is also used. In this case, since the white detection result CTempFromWhite and the skin detection result CtempFromSkin are weighted and averaged by the processing in step S5 described later, the influence is eliminated.
[0028]
Here, when the white detection result CTempFromWhite and the skin detection result CTempFromSkin are digitally used for white balance correction, white balance switching may occur with a slight scene shift. Therefore, for the reason of preventing this, it is more preferable to perform a process for weighted averaging of the two coefficients (hereinafter, this process is referred to as a sample number coefficient MIX) according to the ratio of the number of detected skin samples. Hereinafter, the sample number coefficient MIX processing will be described with an example.
[0029]
The total number of blocks obtained by dividing one screen is set to AllSampleNumber, and the following formula is used to determine what percentage of the screen the skin occupies based on the total number of detected sample points.
SkinSamplePercent = SampleSkinNum × 100 / AllSampleNumber (8)
Using this SkinSamplePercent, the final color temperature of the subject is calculated using the following equation.
CTempResult = k × CTempFromSkin + (1-k) × CTempFromWhite (9)
For example, when SkinSamplePercent is 10% or more, the skin detection result is used 100% (k = 1), and when the SkinPercent falls below 10%, the white detection result is gradually mixed. SkinSamplePercent is 5%, skin detection result is 50% (k = 0.5), white detection result is 50%, SkinSamplePercent is 0%, skin detection result is 0% (k = 0), white detection result is 100% Set to be.
[0030]
A white balance coefficient is calculated based on the color temperature thus obtained, and white balance correction processing of the image pickup signal is executed (step 6).
[0031]
In the present embodiment, the weighted average of CtempFromWhite and CtempFromSkin is performed when CTempFromWhite <CtempFromSkin, but the weighted average of these color temperatures may be performed when CtempFromWhite ≧ CTempFromSkin. In this case, since the process is simplified, the responsiveness is improved.
[0032]
As described above, appropriate white balance correction can be performed regardless of the color temperature of the light source and the presence or absence of skin color in the shooting screen.
[0033]
(Second Embodiment)
In the present embodiment, the color temperature predicted by white detection and the subject color temperature predicted by skin detection in the first embodiment are different. FIG. 7 is an operational process flowchart of the imaging apparatus according to the second embodiment. The process according to the present embodiment will be described with reference to FIG.
[0034]
First, SumCxW and SumCyW are obtained from the color temperature CtempFromWhite (first color temperature) from the white detection, and the color pixel output values Rw, Gw, and Bw of the image sensor are calculated back by solving the simultaneous equations of Equation (1). To do.
[0035]
From this, white balance coefficients WB_Rw, WB_Gw, and WB_Bw are calculated (step S21).
WB_Rw = 1.0 / Rw
WB_Gw = 1.0 / Gw (10)
WB_Bw = 1.0 / Bw
Next, CxFromSkin and CyFromSkin on the skin detection axis are calculated from the color temperature CTempFromSkin (second color temperature) from skin detection. This calculation method is the same as in the first embodiment. From this, the Rs, Gs, and Bs values are obtained by solving the simultaneous equations as before. Further, white balance coefficients WB_Rs, WB_Gs, and WB_Bs from the skin are calculated (step S22).
WB_Rs = 1.0 / Rs
WB_Gs = 1.0 / Gs (11)
WB_Bs = 1.0 / Bs
White balance correction is performed based on each of the above two types of WB coefficients for the color signal obtained in a block designated in advance on the screen (the center of the screen as shown in FIG. 4), and the color difference is determined based on the corrected signal. A signal is created, and an average value of the color difference signals is calculated (step S23). Calculate the color difference signal from the signal corrected based on the white balance coefficient from white, and average the sum of the absolute values of the color difference signal.
AveCrw, AveCbw (12)
The color difference signal is calculated from the signal corrected based on the white balance coefficient from the skin, and the sum of the absolute values of the color difference signals is averaged.
AveCrs, AveCbs (13)
And
[0036]
If you calculate the saturation from this,
ChromaW = sqrt (AveCrw1 2 + AveCbw1 2 )
ChromaS = sqrt (AveCrs1 2 + AveCbs1 2 ) (14)
(Step S25).
[0037]
Here, if the WB coefficient calculated from white detection is correct (unless it is pulled on the skin)
ChromaW = ChromaS (15)
However, when white is detected, if it is pulled by the skin color of a person, the operation is performed so that the skin color is achromatic (in the direction in which the entire screen becomes blue). In other words, if the human skin is in the center of the screen and the skin color is in the white detection area,
ChromaW <ChromaS (16)
It becomes.
[0038]
When the state shown in Expression (15) is reached, the color temperature CtempFromWhite from the white detection is output (step S27). On the other hand, in the case of the equation (16), the white balance coefficient may be calculated using the color temperature CTempFromSkin from the skin detection. However, in order to prevent sudden switching of the white balance correction of the screen, the first implementation is performed. The final color temperature of the subject is predicted using a weighted average similar to the form (step S26).
CTempResult = k × CTempFromSkin + (1-k) × CTempFromWhite (17)
However, in Expression (17), k, CTempResult, CTempFromSkin, and CTempFromWhite represent the same meaning as in the first embodiment. Equation (17) means that the more the skin color is detected, the more important is the color temperature CTempFromSkin from the skin detection. For example, when the skin color is detected in all of the screen, only the color temperature CTempFromSkin from the skin detection is adopted, so that an appropriate white balance correction can be performed even when white is not detected from the screen. .
[0039]
A coefficient for performing white balance correction is determined from the color temperature thus obtained (step S28).
[0040]
In the present embodiment, the weighted average of CtempFromWhite and CtempFromSkin is performed when ChromaW <ChromaS, but the weighted average of these color temperatures may be performed when ChromaW ≧ ChromaS. In this case, since the process is simplified, the responsiveness is improved.
[0041]
In addition, since there is little detection of skin color in the process of step S25, possibility that accuracy is low is considered. In this case, in the process before proceeding to step S25, if the number of samples detected from the skin detection range is smaller than a certain value (for example, SkinSamplePercent is 1% or less), the process proceeds to step S27, and otherwise. May proceed to step S25.
[0042]
As described above, appropriate white balance correction can also be performed in the present embodiment.
[0043]
(Third embodiment)
In the present embodiment, a mixing method different from the mixing method of the subject color temperature from the white detection and the subject color temperature from the skin detection (step 5 in FIG. 5) of the first embodiment is shown.
[0044]
The total number of multiple blocks of the image sensor that is the target of white detection and skin detection
AllBlockNum (18)
And
[0045]
Using the number of blocks SampleWNum and AllBlockNum included in the white detection range, the ratio WBlockPercent of blocks determined to be white is calculated.
WBlockPercent = SampleWNum / AllBlockNum × 100 (19)
The final subject color temperature (CTempResult) is calculated using the following weighted addition using this ratio.
[0046]
(Example)
If WBlockPercent> 10%,
CTempResult = CTempFromWhite (20)
And
[0047]
If WBlockPercent> 10% is not satisfied,
CTempResult = WhiteRatio × CTempWhite + (1-WhiteRatio) × CtempFromSkin
Here, WhiteRatio = a × WBlockPercent + b (21) so that WhiteRatio = 1.0 when WBlockPercent = 10% and WhiteRatio = 0.0 when WBlockPercent = 0%.
The color temperature is obtained by a linear function of
[0048]
In the present embodiment, skin color is used for white detection and chromatic color detection. However, not only the skin color but also green such as a leaf and blue such as a blue sky can be used for the effect.
[0049]
(Fourth embodiment)
In this embodiment, the method of mixing the subject color temperature from the white detection and the subject color temperature from the skin detection of the first embodiment is different from the method of the first embodiment (step 5 in FIG. 5). Show.
[0050]
In the present embodiment, when the shooting mode of the camera is designated as a portrait mode (portrait shooting mode), white balance is obtained using subject color temperature information from skin detection.
[0051]
Alternatively, when the shooting mode of the camera is the portrait mode, a weight is added to increase the ratio of the coefficient k in the equation for mixing.
[0052]
As described above, according to the first to fourth embodiments, in addition to the color information from the white detection means used in the conventional white balance device, the color information obtained by detecting the skin color is taken into account. Thus, since the final subject color temperature is specified, it is possible to more accurately determine the color temperature even when the white area is reduced in a shot such as a human face-up.
[0053]
Further, it is possible to prevent the skin color from being pulled in a relatively low illuminance subject that has been erroneously determined to be white and erroneously corrected to white.
[0054]
Further, since it is not necessary to narrow the white detection range as in the past even in a bright subject, white balance correction of tungsten light with very high illuminance in a studio or the like can be performed appropriately.
[0055]
[Other Embodiments]
In addition, an object of each embodiment is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU) of the system or apparatus Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) operating on the computer based on the instruction of the program code It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0056]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0057]
When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.
[0058]
【The invention's effect】
As described above, according to the present invention, it is possible to always obtain an accurate white balance regardless of shooting conditions.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a schematic configuration of an imaging apparatus including a white balance device according to an embodiment of the present invention.
FIG. 2 is a diagram showing white and skin detection axes.
FIG. 3 is a diagram illustrating a color detection block.
FIG. 4 is a diagram showing a skin determination block.
FIG. 5 is a flowchart showing the operation of the white balance apparatus in the first embodiment.
FIG. 6 is a diagram illustrating an equation for obtaining a color temperature from SumCxW and SumCxSkin.
FIG. 7 is a flowchart showing the operation of the white balance device according to the second embodiment.
FIG. 8 is a diagram showing white and skin detection axes.
[Explanation of symbols]
6
Claims (21)
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出工程と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整工程とを具備し、
前記ホワイトバランス調整工程では、前記第１の色温度と前記第２の色温度とを比較して、前記第１の色温度の方が前記第２の色温度より高い場合は、前記第１の色温度に基づいてホワイトバランスを調整し、前記第１の色温度よりも前記第２の色温度が高い場合は、前記第２の色温度に基づいてホワイトバランスを調整することを特徴とするホワイトバランス調整方法。 A first color temperature calculating step of calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
A second color temperature calculating step of calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
A white balance adjustment step of adjusting a white balance based on the first color temperature and the second color temperature,
In the white balance adjustment step, the first color temperature is compared with the second color temperature, and when the first color temperature is higher than the second color temperature, the first color temperature is compared with the first color temperature. A white balance is adjusted based on a color temperature, and when the second color temperature is higher than the first color temperature , the white balance is adjusted based on the second color temperature. Balance adjustment method.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出工程と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整工程とを具備し、
前記ホワイトバランス調整工程では、前記第１の色温度と前記第２の色温度とを比較して、前記第１の色温度の方が前記第２の色温度より高い場合は、前記第１の色温度に基づいてホワイトバランスを調整し、前記第１の色温度よりも前記第２の色温度が高い場合は、前記画像信号内に占める白色の範囲の比率と有彩色の範囲の比率に基づいて、前記第１の色温度と前記第２の色温度を加重平均した値に基づいてホワイトバランスを調整することを特徴とするホワイトバランス調整方法。 A first color temperature calculating step of calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
A second color temperature calculating step of calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
A white balance adjustment step of adjusting a white balance based on the first color temperature and the second color temperature,
In the white balance adjustment step, the first color temperature is compared with the second color temperature, and when the first color temperature is higher than the second color temperature, the first color temperature is compared with the first color temperature. A white balance is adjusted based on a color temperature, and when the second color temperature is higher than the first color temperature , based on a ratio of a white range and a chromatic color range in the image signal And adjusting the white balance based on a weighted average of the first color temperature and the second color temperature.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出工程と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整工程とを具備し、
前記ホワイトバランス調整工程では、前記第１の色温度から第１のホワイトバランス係数を算出し、該第１のホワイトバランス係数で前記画像信号を補正し、補正後の画像信号から第１の彩度値を算出すると共に、前記第２の色温度から第２のホワイトバランス係数を算出し、該第２のホワイトバランス係数で前記画像信号を補正し、補正後の画像信号から第２の彩度値を算出し、前記第１の彩度値と前記第２の彩度値を加重平均してホワイトバランス係数を決定することを特徴とするホワイトバランス調整方法。 A first color temperature calculating step of calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
A second color temperature calculating step of calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
A white balance adjustment step of adjusting a white balance based on the first color temperature and the second color temperature,
In the white balance adjustment step, a first white balance coefficient is calculated from the first color temperature, the image signal is corrected with the first white balance coefficient, and a first saturation is calculated from the corrected image signal. A second white balance coefficient is calculated from the second color temperature, the image signal is corrected with the second white balance coefficient, and a second saturation value is calculated from the corrected image signal. The white balance adjustment method is characterized in that a white balance coefficient is determined by calculating a weighted average of the first saturation value and the second saturation value.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出工程と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整工程とを具備し、
前記ホワイトバランス調整工程では、前記画像信号内に占める白色の範囲の比率を算出し、該白色の範囲の比率が所定値より大きいときには前記第１の色温度に基づいてホワイトバランスを調整し、前記白色の範囲の比率が所定値より小さいときには前記第１の色温度と前記第２の色温度を加重平均した値に基づいてホワイトバランスを調整することを特徴とするホワイトバランス調整方法。 A first color temperature calculating step of calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
A second color temperature calculating step of calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
A white balance adjustment step of adjusting a white balance based on the first color temperature and the second color temperature,
In the white balance adjustment step, a ratio of a white range occupied in the image signal is calculated, and when the white range ratio is larger than a predetermined value , the white balance is adjusted based on the first color temperature , A white balance adjustment method comprising: adjusting a white balance based on a weighted average of the first color temperature and the second color temperature when a ratio of a white range is smaller than a predetermined value.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を 算出する第２の色温度算出工程と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整工程とを具備し、
画像信号内に占める白色の範囲の比率に基づいて、前記第１の色温度と前記第２の色温度を加重平均した値に基づいてホワイトバランスを調整することを特徴とするホワイトバランス調整方法。 A first color temperature calculating step of calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
A second color temperature calculating step of calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor ;
A white balance adjustment step of adjusting a white balance based on the first color temperature and the second color temperature,
A white balance adjustment method comprising: adjusting a white balance based on a weighted average of the first color temperature and the second color temperature based on a ratio of a white range occupied in an image signal. .
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出手段と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整手段とを具備し、
前記ホワイトバランス調整手段は、前記第１の色温度と前記第２の色温度とを比較して、前記第１の色温度の方が前記第２の色温度より高い場合は、前記第１の色温度に基づいてホワイトバランスを調整し、前記第１の色温度よりも前記第２の色温度が高い場合は、前記第２の色温度に基づいてホワイトバランスを調整することを特徴とする撮像装置。 First color temperature calculating means for calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
Second color temperature calculating means for calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
White balance adjusting means for adjusting white balance based on the first color temperature and the second color temperature;
The white balance adjusting means compares the first color temperature with the second color temperature, and if the first color temperature is higher than the second color temperature, the first color temperature is compared with the first color temperature. The white balance is adjusted based on a color temperature, and when the second color temperature is higher than the first color temperature , the white balance is adjusted based on the second color temperature. apparatus.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出手段と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整手段とを具備し、
前記ホワイトバランス調整手段は、前記第１の色温度と前記第２の色温度とを比較して、前記第１の色温度の方が前記第２の色温度より高い場合は、前記第１の色温度に基づいてホワイトバランスを調整し、前記第１の色温度よりも前記第２の色温度が高い場合は、前記画像信号内に占める白色の範囲の比率と有彩色の範囲の比率に基づいて、前記第１の色温度と前記第２の色温度を加重平均した値に基づいてホワイトバランスを調整することを特徴とする撮像装置。 First color temperature calculating means for calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
Second color temperature calculating means for calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
White balance adjusting means for adjusting white balance based on the first color temperature and the second color temperature;
The white balance adjusting means compares the first color temperature with the second color temperature, and if the first color temperature is higher than the second color temperature, the first color temperature is compared with the first color temperature. A white balance is adjusted based on a color temperature, and when the second color temperature is higher than the first color temperature , based on a ratio of a white range and a chromatic color range in the image signal The white balance is adjusted based on a weighted average of the first color temperature and the second color temperature.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出手段と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整手段とを具備し、
前記ホワイトバランス調整手段は、前記第１の色温度から第１のホワイトバランス係数を算出し、該第１のホワイトバランス係数で前記画像信号を補正し、補正後の画像信号から第１の彩度値を算出すると共に、前記第２の色温度から第２のホワイトバランス係数を算出し、該第２のホワイトバランス係数で前記画像信号を補正し、補正後の画像信号から第２の彩度値を算出し、前記第１の彩度値と前記第２の彩度値を加重平均してホワイトバランス係数を決定することを特徴とする撮像装置。 First color temperature calculating means for calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
Second color temperature calculating means for calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
White balance adjusting means for adjusting white balance based on the first color temperature and the second color temperature;
The white balance adjustment means calculates a first white balance coefficient from the first color temperature, corrects the image signal with the first white balance coefficient, and calculates a first saturation from the corrected image signal. A second white balance coefficient is calculated from the second color temperature, the image signal is corrected with the second white balance coefficient, and a second saturation value is calculated from the corrected image signal. , And a white balance coefficient is determined by weighted averaging of the first saturation value and the second saturation value.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出手段と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整手段とを具備し、
前記ホワイトバランス調整手段は、前記画像信号内に占める白色の範囲の比率を算出し、該白色の範囲の比率が所定値より大きいときには前記第１の色温度に基づいてホワイトバランスを調整し、前記白色の範囲の比率が所定値より小さいときには前記第１の色温度と前記第２の色温度を加重平均した値に基づいてホワイトバランスを調整することを特徴とする撮像装置。 First color temperature calculating means for calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
Second color temperature calculating means for calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
White balance adjusting means for adjusting white balance based on the first color temperature and the second color temperature;
The white balance adjusting means calculates a ratio of a white range occupying in the image signal, and adjusts a white balance based on the first color temperature when the white range ratio is larger than a predetermined value. An image pickup apparatus comprising: adjusting a white balance based on a weighted average of the first color temperature and the second color temperature when a ratio of a white range is smaller than a predetermined value.
前記撮像素子からの画像信号のうちの有彩色検出範囲内の画像信号から第２の色温度を算出する第２の色温度算出手段と、
前記第１の色温度と前記第２の色温度に基づいてホワイトバランスを調整するホワイトバランス調整手段とを具備し、
画像信号内に占める白色の範囲の比率に基づいて、前記第１の色温度と前記第２の色温度を加重平均した値に基づいてホワイトバランスを調整することを特徴とする撮像装置。 First color temperature calculating means for calculating a first color temperature from an image signal within a white detection range of image signals from the image sensor;
Second color temperature calculating means for calculating a second color temperature from an image signal within a chromatic color detection range of the image signal from the image sensor;
White balance adjusting means for adjusting white balance based on the first color temperature and the second color temperature;
An image pickup apparatus, wherein white balance is adjusted based on a weighted average of the first color temperature and the second color temperature based on a ratio of a white range occupied in an image signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003057217A JP3848274B2 (en) | 2002-03-06 | 2003-03-04 | White balance adjustment method, imaging apparatus, program, and storage medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-60901 | 2002-03-06 | ||
| JP2002060901 | 2002-03-06 | ||
| JP2003057217A JP3848274B2 (en) | 2002-03-06 | 2003-03-04 | White balance adjustment method, imaging apparatus, program, and storage medium |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003333616A JP2003333616A (en) | 2003-11-21 |
| JP2003333616A5 JP2003333616A5 (en) | 2005-07-21 |
| JP3848274B2 true JP3848274B2 (en) | 2006-11-22 |
Family
ID=29713808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003057217A Expired - Fee Related JP3848274B2 (en) | 2002-03-06 | 2003-03-04 | White balance adjustment method, imaging apparatus, program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3848274B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4960597B2 (en) * | 2005-02-22 | 2012-06-27 | キヤノン株式会社 | White balance correction apparatus and method, and imaging apparatus |
| JP4217698B2 (en) * | 2005-06-20 | 2009-02-04 | キヤノン株式会社 | Imaging apparatus and image processing method |
| EP1906674A4 (en) | 2005-07-13 | 2011-06-22 | Nec Corp | Color correction method and color correction device |
| JP4702635B2 (en) | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | AUTO WHITE BALANCE CORRECTION VALUE CALCULATION DEVICE, METHOD, PROGRAM, AND IMAGING DEVICE |
| JP5113514B2 (en) * | 2007-12-27 | 2013-01-09 | キヤノン株式会社 | White balance control device and white balance control method |
| JP5166860B2 (en) * | 2007-12-28 | 2013-03-21 | キヤノン株式会社 | Image processing apparatus and method, and imaging apparatus |
| JP5066463B2 (en) * | 2008-03-03 | 2012-11-07 | 株式会社リコー | White balance control device, control method, and recording medium recording control processing program |
| JP5489411B2 (en) * | 2008-03-17 | 2014-05-14 | キヤノン株式会社 | White balance control device and white balance control method |
| JP5214749B2 (en) * | 2011-01-26 | 2013-06-19 | 富士フイルム株式会社 | AUTO WHITE BALANCE CORRECTION VALUE CALCULATION DEVICE, METHOD, PROGRAM, AND IMAGING DEVICE |
| JP5367140B2 (en) * | 2012-09-28 | 2013-12-11 | キヤノン株式会社 | White balance control device, imaging device using the same, and white balance control method |
| JP2014209681A (en) * | 2013-04-16 | 2014-11-06 | リコーイメージング株式会社 | Color tone adjustment device and color tone adjustment method |
| KR101964256B1 (en) * | 2013-06-24 | 2019-04-01 | 한화테크윈 주식회사 | Method for interpolating white balance |
| KR102126487B1 (en) | 2013-10-24 | 2020-06-24 | 삼성전자주식회사 | Method of adjusting auto white balance and image capturing device using thereof |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3554069B2 (en) * | 1995-04-07 | 2004-08-11 | キヤノン株式会社 | Imaging device |
| JP3838532B2 (en) * | 1998-02-09 | 2006-10-25 | 株式会社リコー | White balance control method and apparatus |
| JP3849834B2 (en) * | 1999-02-02 | 2006-11-22 | 富士写真フイルム株式会社 | Auto white balance control method |
| JP2001036924A (en) * | 1999-07-23 | 2001-02-09 | Victor Co Of Japan Ltd | Automatic white balance adjusting device and its method |
| JP4487342B2 (en) * | 1999-09-28 | 2010-06-23 | 株式会社ニコン | Digital camera |
-
2003
- 2003-03-04 JP JP2003057217A patent/JP3848274B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003333616A (en) | 2003-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0658058B1 (en) | White balance adjustment apparatus | |
| US8488015B2 (en) | Camera using preview image to select exposure | |
| EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
| US6906744B1 (en) | Electronic camera | |
| US7084907B2 (en) | Image-capturing device | |
| EP2426927B1 (en) | Image processing apparatus, image processing method and computer program | |
| US8614751B2 (en) | Image processing apparatus and image processing method | |
| US8743233B2 (en) | Sensitivity-settable image capture apparatus | |
| US9749546B2 (en) | Image processing apparatus and image processing method | |
| US9462247B2 (en) | Image processing and white balance controlling apparatus | |
| US7148921B2 (en) | White balance adjustment method, image sensing apparatus, program, and storage medium | |
| KR100478064B1 (en) | Illumination light color estimating method of obtaining white balance and image sensing apparatus | |
| JP5693271B2 (en) | Image processing apparatus and method | |
| JP3848274B2 (en) | White balance adjustment method, imaging apparatus, program, and storage medium | |
| US8810681B2 (en) | Image processing apparatus and image processing method | |
| US9036046B2 (en) | Image processing apparatus and method with white balance correction | |
| KR100967091B1 (en) | Method for adjusting white balance of digital image device | |
| JP7307541B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP2008005246A (en) | Imaging system and imaging program | |
| JP6148497B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP2002290988A (en) | Imaging device | |
| KR20100104498A (en) | Auto exposure and auto white-balance method for detecting high dynamic range conditions | |
| JP3958700B2 (en) | Digital camera | |
| JP2007267170A (en) | Electronic camera with chroma saturation regulating function and image processing program | |
| JP5791454B2 (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |