JP5677485B2 - ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 - Google Patents
ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 Download PDFInfo
- Publication number
- JP5677485B2 JP5677485B2 JP2013041264A JP2013041264A JP5677485B2 JP 5677485 B2 JP5677485 B2 JP 5677485B2 JP 2013041264 A JP2013041264 A JP 2013041264A JP 2013041264 A JP2013041264 A JP 2013041264A JP 5677485 B2 JP5677485 B2 JP 5677485B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- correction value
- image
- detected
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明はさらに、本発明のホワイトバランス制御装置を用いた撮像装置に関する。
撮像素子から出力された信号はAD変換によってデジタル化され、図2に示すように複数のブロックに分割される。
Cx[i] =(R[i]−B[i])/ Y[i] × 1024
Cy[i] =(R[i] + B[i]−2G[i])/ Y[i] × 1024 ・・・(1)
(ただし、iはブロックの番号、R[i],G[i],B[i]はブロックiに含まれるRGB画素の平均値、Y[i] = R[i] + 2G[i] + B[i])
WBCo_R = SumY × 1024 / sumR
WBCo_G = SumY × 1024 / sumG ・・・ (2)
WBCo_B = SumY × 1024 / sumB
ただし、SumY = (sumR + 2 × sumG + SumB) /4
太陽光源下において、白の色評価値は図3の領域A付近に分布する。また、太陽光源下における肌色の色評価値は、低色光源下における白点の色評価値とほぼ同等の領域である領域Bに分布する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係るホワイトバランス制御装置を適用可能な撮像装置の機能構成例を示すブロック図である。
具体的な例としては特開2002−251380号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
顔検出部114は、まず、メモリ102から取得した画像データを前処理する(S501)。前処理には、例えば画像特徴を抽出する際に用いるための輝度情報の生成などが含まれる。
図5において、顔検出部114が、画像データ603をメモリ102から取得したものとする。
図6は、第1の補正値算出手段としてのホワイトバランス制御部103の動作を、図7は、第2の補正値算出手段としてのホワイトバランス制御部103の動作を、それぞれ示している。
Cx[i] =(R[i] − B[i])/ Y[i] × 1024
Cy[i] =(R[i] + B[i] − 2G[i])/ Y[i] × 1024
ただし、Y[i] = R[i] + 2G[i] + B[i]、i=1...m
白検出範囲301は、白色物体を特性(色温度など)の異なる光源下で予め撮像し、算出した色評価値をプロットしたものである。
WBCol_R = sumY × 1024 / sumR
WBCol_G = sumY × 1024 / sumG ・・・(4)
WBCol_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB)/ 4
SR=FR × WBCol_R
SG=FG × WBCol_G
SB=FB × WBCol_B
として求める。
そして、ホワイトバランス制御部103は、肌色平均値(SR, SG, SB)が肌色補正対象領域(図8の領域(B))内にあるか否かを判断する。
ΔCx=Cx2−Cx1
ΔCy=Cy2−Cy1
となる。そして、この補正量(ΔCx,ΔCy)を第2のWB補正値ΔFWとする。
より具体的には、過去の第2のWB補正値(過去値)と、現在の第2のWB補正値(現在値)を加重加算して、最終的な第2のWB補正値(最終値)を求める。
図10において、顔が検出されない状態から検出される状態に遷移した場合、それから予め定めた期間(a)の間、ホワイトバランス制御部103は、現在の第2のWB補正値ΔFW(t)に対するゲイン値Bを増加させる。これにより、最終的な第2のWB補正値ΔFW’(t)の追従性を速くする。
あるいはホワイトバランス制御部103は、(d)に示すように、顔が検出されていた状態から検出されない状態に遷移した場合、直ちにゲイン値Bを減少(ゲイン値Aを増加)させ始めてもよい。
なお、この場合も、(c)と同様に、所定時間経過後にゲイン値Bを増加させ始めるようにしてもよいし、(d)と同様に、直ちにゲイン値Bを増加させ始めてもよい。
これは、前者の場合には、図11で説明したように、一時的に検出できない状態であり、直ちに検出できる状態に復帰する可能性があるため、第2のホワイトバランス補正値の変動抑制を優先させることが望ましいからである。一方で、後者の場合は、第2のホワイトバランス補正値の変動抑制よりも追従性を優先させる方が好ましい。
そして、ホワイトバランス制御部103は、このようにして決定したWB補正値を用いてホワイトバランス制御を行う。
Cx’=ΔCx’+Cx1
Cy’=ΔCy’+Cy1
となる。
また、顔検出が出来なかった場合も、第1のホワイトバランス補正値を用いるので、ホワイトバランス制御が可能である。
そのため、画像全体の情報に基づいて算出したホワイトバランス補正値のみを用いる場合よりも精度の良いホワイトバランス制御が可能である。
第1の実施形態では第1のホワイトバランス補正値を顔領域に適用した結果に基づいて肌色評価値(肌色平均値)を求め、色評価値が肌色領域からのズレが所定範囲内にある場合に第2のWB補正値を算出していた。
本実施形態のホワイトバランス制御装置を適用可能な撮像装置の機能構成は第1の実施形態と同様で良いため、各機能ブロックの詳細についての説明は省略する。
図12において、図7と同じ処理には同じ参照数字を付した。
一方、顔が検出されていれば、ホワイトバランス制御部103は、S203において顔領域に対応するブロック全体についての色平均値(FR、FG、FB)を取得する。
そして、ホワイトバランス制御部103は、予め設定した肌色中心値の座標と肌色平均値の座標との距離を算出する。
S305でホワイトバランス制御部103は、S304で求めた距離DisCx, DisCyと、予め用意した、距離−補正値の対応情報に基づいて、補正値を求める。
ここでは、2次元グラフの形式で、Cx成分の距離DisCxとCx成分の補正値ΔCxとの対応を示している。実際には、この対応関係を表す関数式を記憶してもよいし、代表的な距離と補正値との対応をルックアップテーブルとして記憶し、他の値は補間におり求めても良い。
Cy成分についても同様に、Cx成分の距離DisCxとCx成分の補正値ΔCxとの対応情報を用いて求めることができる。
S208においてホワイトバランス制御部103は、第1のWB補正値と、第2のWB補正値(最終値)との合計を、最終的なWB補正値に決定する。
次に、本発明の第3の実施形態について説明する。上述の第1及び第2の実施形態における第2のWB補正値の算出方法は、撮像素子101の駆動モードが変化した場合であっても実施可能である。
本実施形態では、EVF補正値の信頼度の一例として、顔の存在確率(顔累積確率)を求め、顔の存在確率に応じたゲイン値Aを設定する。
本実施形態において、顔累積確率F’(t)は、ホワイトバランス制御部103が、顔検出部114からの検出結果に基づいて以下のように算出する。
図16は、顔累積確率とゲイン値Aとの関係例を示す図である。
図16では、
・EVF補正値の信頼度が低く最終的な第2のWB補正値の算出に反映しない範囲(ゲイン値A=0)、
・EVF補正値の信頼度が高く、EVF補正値をそのまま最終的な第2のWB補正値として用いる範囲(ゲイン値A=1)
を決定する2つの閾値Th0、Th1を定めた例を示している。
また、顔累積確率が閾値Th0とTh1の間の領域では、顔累積確率に正比例するようにゲイン値Aを増加させている。
第1の実施形態では図7、第2の実施形態では図12のそれぞれS206において上述の処理によって最終的な第2のWB補正値を算出することができる。
なお、上述の実施形態においては、ホワイトバランス制御装置を適用した撮像装置について説明したが、本発明に係るホワイトバランス制御装置は、顔検出情報と画像データが取得可能であれば、撮像装置に限らず他の任意の画像処理装置に適用可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
Claims (15)
- 画像から検出された顔領域の色評価値に基づいてホワイトバランス補正値を算出する補正値算出手段と、
前記ホワイトバランス補正値を用いて画像を補正する補正手段と、を有し、
前記補正値算出手段は、ある時点において算出した前記ホワイトバランス補正値に対し、
前記ある時点よりも過去に算出した前記ホワイトバランス補正値を、前記顔領域の検出結果の遷移に応じた割合で反映させて、画像の補正に用いる前記ホワイトバランス補正値を算出し、顔領域が検出されない状態から検出される状態に遷移した場合は、前記顔領域が検出される状態が続いている場合よりも前記割合を小さくすることを特徴とするホワイトバランス制御装置。 - 前記補正値算出手段は、顔領域が検出される状態から検出されない状態に遷移した場合、前記割合を段階的に減少させることを特徴とする請求項1記載のホワイトバランス制御装置。
- 前記顔領域の検出結果の遷移とは、前記顔領域の検出結果の累積確率で表されることを特徴とする請求項1記載のホワイトバランス制御装置。
- 前記補正値算出手段は、前記顔領域について検出された肌色評価値を前記色評価値として取得し、該肌色評価値と予め定めた肌色目標値とのズレを補正するように前記ホワイトバランス補正値を算出することを特徴とする請求項1乃至請求項3のいずれか1項に記載のホワイトバランス制御装置。
- 前記補正値算出手段は、画像全体から得られるホワイトバランス補正値で補正された前記顔領域について検出された肌色評価値を前記色評価値として取得することを特徴とする請求項4に記載のホワイトバランス制御装置。
- 前記補正手段は、前記肌色評価値が予め定めた第1の肌色領域に含まれる場合、前記肌色評価値に基づかずに求められたホワイトバランス補正値を用いたホワイトバランス補正を行うことを特徴とする請求項4または請求項5に記載のホワイトバランス制御装置。
- 前記補正手段は、前記肌色評価値が予め定めた第1の肌色領域の周りの第2の肌色領域に含まれる場合、前記肌色評価値に基づいて求められた前記ホワイトバランス補正値を用いたホワイトバランス補正を行うことを特徴とする請求項4乃至請求項6のいずれか1項に記載のホワイトバランス制御装置。
- 前記補正手段は、前記肌色評価値が予め定めた前記第1及び第2の肌色領域と異なる第3の肌色領域に含まれる場合、前記肌色評価値に基づかずに求められた前記ホワイトバランス補正値を用いたホワイトバランス補正を行うことを特徴とする請求項7に記載のホワイトバランス制御装置。
- 画像から検出された顔領域の色評価値に基づいてホワイトバランス補正値を算出する補正値算出手段と、
前記ホワイトバランス補正値を用いて画像を補正する補正手段と、を有し、
前記補正値算出手段は、ある時点において算出した前記ホワイトバランス補正値に対し、
前記ある時点よりも過去に算出した前記ホワイトバランス補正値を、前記顔領域の検出結果の遷移に応じた割合で反映させて、画像の補正に用いる前記ホワイトバランス補正値を算出し、顔領域が検出されない状態から検出される状態に遷移した場合は、前記顔領域が検出される状態から検出されない状態に遷移した場合よりも前記割合を小さくすることを特徴とするホワイトバランス制御装置。 - 表示用の画像を撮像するためのEVF駆動モードと、記録用の画像を撮像するための本露光駆動モードとを有する撮像素子を備え、前記画像を撮像する撮像手段と、
前記画像から前記顔領域を検出する顔検出手段と、
請求項1乃至請求項9のいずれか1項に記載のホワイトバランス制御装置とを有することを特徴とする撮像装置。 - 前記補正値算出手段は、前記撮像素子が前記EVF駆動モードから前記本露光駆動モードに切り替えられて撮像された画像に対する前記ホワイトバランス補正値を算出する際には、前記切り替え前に前記EVF駆動モードで撮像された画像に対して算出した前記ホワイトバランス補正値を前記ある時点よりも過去に算出した前記ホワイトバランス補正値として用いることを特徴とする請求項10記載の撮像装置。
- 前記補正値算出手段は、前記撮像素子が前記EVF駆動モードから前記本露光駆動モードに切り替えられて撮像された画像に対する前記ホワイトバランス補正値を、
前記EVF駆動モードで撮像された画像に対する前記顔検出手段による検出結果の遷移に基づいて、前記切り替え前に前記EVF駆動モードで撮像された画像に対して算出した前記ホワイトバランス補正値の信頼度を算出し、
前記切り替え前に前記EVF駆動モードで撮像された画像に対して算出した前記ホワイトバランス補正値を前記信頼度に応じた割合で反映させて算出することを特徴とする請求項10または請求項11に記載の撮像装置。 - 補正値算出手段が、画像から検出された顔領域の色評価値に基づいてホワイトバランス補正値を算出する補正値算出工程と、
補正手段が、前記ホワイトバランス補正値を用いて補正する補正工程とを有し、
前記補正値算出工程において、前記補正値算出手段は、ある時点において算出した前記ホワイトバランス補正値に対し、前記ある時点よりも過去に算出した前記ホワイトバランス補正値を前記顔領域の検出結果の遷移に応じた割合で反映させて、画像の補正に用いる前記ホワイトバランス補正値を算出し、顔領域が検出されない状態から検出される状態に遷移した場合は、前記顔領域が検出される状態が続いている場合よりも前記割合を小さくすることを特徴とするホワイトバランス制御方法。 - 補正値算出手段が、画像から検出された顔領域の色評価値に基づいてホワイトバランス補正値を算出する補正値算出工程と、
補正手段が、前記ホワイトバランス補正値を用いて補正する補正工程とを有し、
前記補正値算出工程において、前記補正値算出手段は、ある時点において算出した前記ホワイトバランス補正値に対し、前記ある時点よりも過去に算出した前記ホワイトバランス補正値を前記顔領域の検出結果の遷移に応じた割合で反映させて、画像の補正に用いる前記ホワイトバランス補正値を算出し、顔領域が検出されない状態から検出される状態に遷移した場合は、前記顔領域が検出される状態から検出されない状態に遷移した場合よりも前記割合を小さくすることを特徴とするホワイトバランス制御方法。 - コンピュータを請求項1乃至請求項9のいずれか1項に記載のホワイトバランス制御装置の各手段として動作させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013041264A JP5677485B2 (ja) | 2013-03-01 | 2013-03-01 | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013041264A JP5677485B2 (ja) | 2013-03-01 | 2013-03-01 | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008212275A Division JP5215775B2 (ja) | 2008-08-20 | 2008-08-20 | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013138501A JP2013138501A (ja) | 2013-07-11 |
JP5677485B2 true JP5677485B2 (ja) | 2015-02-25 |
Family
ID=48913792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013041264A Active JP5677485B2 (ja) | 2013-03-01 | 2013-03-01 | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5677485B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102052723B1 (ko) | 2017-11-30 | 2019-12-13 | 주식회사 룰루랩 | 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4680639B2 (ja) * | 2005-03-16 | 2011-05-11 | 富士フイルム株式会社 | 画像処理装置およびその処理方法 |
JP2006295303A (ja) * | 2005-04-06 | 2006-10-26 | Fuji Photo Film Co Ltd | 画像処理方法および装置ならびにプログラム |
JP2007124112A (ja) * | 2005-10-26 | 2007-05-17 | Fujifilm Corp | 画像処理方法および装置ならびにプログラム |
-
2013
- 2013-03-01 JP JP2013041264A patent/JP5677485B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013138501A (ja) | 2013-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5113514B2 (ja) | ホワイトバランス制御装置およびホワイトバランス制御方法 | |
JP5089405B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP4217698B2 (ja) | 撮像装置及び画像処理方法 | |
USRE46232E1 (en) | Image processing method and apparatus for processing an image by using a face detection result | |
JP4914045B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
US10237488B2 (en) | Image capturing apparatus and image capturing method | |
JP5215775B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
JP6904788B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4971785B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
US20210274141A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5414216B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5677485B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
US10021314B2 (en) | Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source | |
JP5106311B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
JP5744945B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2007312099A (ja) | 撮像装置 | |
JP5367140B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
JP2015119436A (ja) | 撮像装置 | |
US11696044B2 (en) | Image capturing apparatus, control method, and storage medium | |
US11523064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5237480B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2014139738A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2008263320A (ja) | 撮像装置及び制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5677485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |