JP4887680B2

JP4887680B2 - ホワイトバランス調整装置、及びホワイトバランス調整方法

Info

Publication number: JP4887680B2
Application number: JP2005224822A
Authority: JP
Inventors: 剛松永
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-08-03
Filing date: 2005-08-03
Publication date: 2012-02-29
Anticipated expiration: 2025-08-03
Also published as: JP2007043439A

Description

本発明は、例えばデジタルカメラに用いて好適なホワイトバランス調整装置、及びホワイトバランス調整方法に関するものである。

従来、デジタルカメラ等におけるホワイトバランス調整においては、ＣＣＤ等の固体撮像素子から出力される撮像信号のＲゲイン、Ｂゲインを制御することにより行われている。また、ホワイトバランス調整を正確に行うための方法としては、ＣＣＤ等によって撮像した被写体画像における色成分情報（ＲＧＢ値やＣｂ，Ｃｒ値）から撮影時の光源の種類をいったん判定し、判定した光源に応じたゲイン制御を行う方法が公知である（例えば、下記特許文献１参照）。また、デジタルカメラでは、一般に、撮影用のモードにおいて逐次撮像した被写体像を液晶モニタにスルー画像として表示させている間にもホワイトバランス調整が、繰り返し行われている。
特開２０００−３０８０６９号公報

しかしながら、ホワイトバランス調整時に上記のように被写体画像の色成分に基づき光源判定を行う際には、光源色と物体（被写体）色との判別を正確に行うことが困難であるため、光源に誤判定が生ずることを完全に防止するができず、光源の判定精度には自ずと限界があるという問題があった。

また、上記のように光源の判定結果（判定光源）には物体（被写体）色が影響されるため、ホワイトバランス調整を繰り返し行っている間には、例えば同一の光源下であっても被写体や画角の移動等により物体（被写体）色が頻繁に変化するような状況下では、それに応じて光源の判定結果が頻繁に変わってしまう、つまり画像の色合いが頻繁に変化してしまうという問題もあった。

本発明は、かかる従来の課題に鑑みてなされたものであり、ホワイトバランス調整に際して光源をより高精度で判定したり、またホワイトバランス調整を繰り返し行う場合における判定光源の頻繁な変化を抑制したりすることによって、より良好なホワイトバランス調整を可能とするホワイトバランス調整装置、及びホワイトバランス調整方法と、それらを実現可能とするプログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、画像のホワイトバランスを調整するホワイトバランス調整装置において、前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段と、この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段と、この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段と、この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段とを備え、前記重み付け手段は、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数を乗じることにより所定の重み付けを行うものとした。

かかる構成においては、ホワイトバランス調整を繰り返し行う間には光源の判定が繰り返し判定されるが、その判定結果が他の光源に切り替わりにくく（その判定結果として同一の光源が再び判定され易く）なる。つまり判定光源の必要以上の切り替りをなくすことができ、しかも実際に必要な光源の切り替わり時間を最小限に止めることができる。

また、請求項２の発明にあっては、画像のホワイトバランスを調整するホワイトバランス調整装置において、前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段と、この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段と、この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段と、この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段と、前記画像における被写体の明るさを取得する明るさ取得手段と、前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する係数記憶手段とを備え、前記重み付け手段は、前記光源毎の比較データに対し、前記明るさ取得手段により取得された被写体の明るさに対応して前記係数記憶手段に記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段と、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段とを含むものとした。

かかる構成においては、ホワイトバランス調整時における光源の判定結果に、被写体の明るさによって異なる画像の色成分に対する相対的な影響力の違いを反映させることができるとともに、判定光源の必要以上の切り替りをなくすことができ、しかも実際に必要な光源の切り替わり時間を最小限に止めることができる。

また、請求項３の発明にあっては、画像のホワイトバランスを調整する方法において、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する工程と、取得した光源毎の比較データのうち少なくとも１つの比較データに所定の重み付けを行う工程と、重み付け後の比較データに基づき光源の種類を判定する工程と、判定した光源の種類に対応する内容のホワイトバランス調整を行う工程と、前記画像における被写体の明るさを取得する工程と、前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する工程と、を含み、前記重み付けを行う工程は、前記光源毎の比較データに対し、前記取得された被写体の明るさに対応して前記記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段と、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段とを含む方法とした。
また、請求項４の発明にあっては、画像のホワイトバランスを調整する方法において、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する工程と、取得した光源毎の比較データのうち少なくとも１つの比較データに所定の重み付けを行う工程と、重み付け後の比較データに基づき光源の種類を判定する工程と、判定した光源の種類に対応する内容のホワイトバランス調整を行う工程と、前記画像における被写体の明るさを取得する工程と、前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する工程と、を含み、前記重み付けを行う工程は、前記光源毎の比較データに対し、前記取得された被写体の明るさに対応して前記記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段と、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段とを含む方法とした。

また、請求項５の発明にあっては、画像のホワイトバランスを調整するホワイトバランス調整装置が有するコンピュータを、前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段、この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段、この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段、この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段として機能させ、前記重み付け手段は、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数を乗じることにより所定の重み付けを行うように機能させるためのプログラムとした。
また、請求項６の発明にあっては、画像のホワイトバランスを調整するホワイトバランス調整装置が有するコンピュータを、前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段、この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段、この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段、この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段、前記画像における被写体の明るさを取得する明るさ取得手段、前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する係数記憶手段として機能させ、前記重み付け手段は、前記光源毎の比較データに対し、前記明るさ取得手段により取得された被写体の明るさに対応して前記係数記憶手段に記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段としての機能を含むプログラムとした。

以上のように本発明においては、ホワイトバランス調整時には、画像の色成分における複数種の光源毎の影響度合を示す比較データの１つ又は複数又は全てに所定の重み付けが行われた後、重み付けが行われた後の光源毎の比較データに基づき光源の種類が判定され、判定された光源の種類に対応する内容のホワイトバランス調整が行われるようにした。よって、単に画像の色成分のみに基づいて光源の種類を判定するだけでは得ることができない、より良好なホワイトバランス調整を行うことが可能となる。

また、ホワイトバランス調整時における光源の判定結果に、被写体の明るさによって異なる画像の色成分に対する相対的な影響力の違いを反映させることができるようにした。よって、ホワイトバランス調整時における光源の判定精度を向上させることでき、同時に、それに伴いホワイトバランス調整を繰り返し行う間には、画像内容が頻繁に変化する状況下における色合いの頻繁な変化を抑制することができる。その結果、より良好なホワイトバランス調整を行うことが可能となる。

また、ホワイトバランス調整を繰り返し行う間に、判定光源の必要以上の切り替りをなくすことができ、しかも実際に必要な光源の切り替わり時間を最小限に止めることができるようにした。よって、画像（被写体）の変化に対するホワイトバランスの追従性を低下させることなく、画像における色合いの頻繁な変化を防止することができ、より良好なホワイトバランス調整を行うことが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るホワイトバランス調整装置を含むデジタルカメラ１の全体構成を示すブロック図である。このデジタルカメラ１は、光学レンズ群２と、光学レンズ群２を構成するズームレンズ及びフォーカスレンズ（絞り機構を含む）を駆動するためのレンズ駆動回路３、光学レンズ群２を介して被写体を撮像する撮像手段であるＣＣＤ４、キセノン管等の発光管、及び発光管を駆動する駆動回路等を含むストロボ回路５を備えている。

ＣＣＤ４は、ＴＧ（Timing Generator：タイミング発生器）６により所定の周期で走査駆動され、光学レンズ群２により集光された被写体の光学像を画素毎に光電変換し、アナログの撮像信号をアナログ処理部７に出力する。アナログ処理部７は、ＣＣＤ４から入力した撮像信号に含まれるノイズを除去するＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）と、ノイズ除去後の撮像信号を増幅するＡＧＣ（ゲイン調整アンプ）、増幅後の撮像信号をデジタル変換するＡＤ（Ａ／Ｄ変換器）からなり、デジタルデータ化した撮像信号（ベイヤーデータ）を制御部８に出力する。

制御部８は、図２に示したように、主としてデジタルカメラ１を制御するＣＰＵ８１と、後述する各種の画像処理を行う画像処理ブロック８２、及び図示しないデータの入出力インターフェース等を備えたＭＣＰ（Media Communications Processor）である。前記画像処理ブロック８２はバッファメモリ８２１と、ＲＧＢマトリクス回路８２２、ゲイン調整回路８２３、ガンマ補正回路８２４、ＹＣマトリクス回路８２５から構成されている。

前記アナログ処理部７から制御部８へ出力されたベイヤーデータは、画像処理ブロック８２内のバッファメモリ８２１に順次蓄積されるとともに、ＲＧＢマトリクス回路８２２によって画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）に変換された後、ゲイン調整回路８２３においてＲデータとＢデータとのゲイン調整によるホワイトバランス調整が行われる。ホワイトバランス調整後のＲＧＢデータはガンマ補正回路８２４によってガンマ特性（階調特性）の補正が行われ、ＹＣマトリクス回路８２５において輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）からなる画素毎のＹＵＶデータに変換されて出力される。

画像処理ブロック８２で生成されたＹＵＶデータは、メモリ９に一時記憶されるとともに画像表示装置１０に送られる。メモリ９は上記ＹＵＶデータ等の画像データが記憶されるとともに、必要に応じてＣＰＵ８１の作業用メモリとして使用されるＤＲＡＭ等である。画像表示装置１０はビデオエンコーダー、ＶＲＡＭ、液晶モニタ及びその駆動回路を含み、送られたＹＵＶデータに基づくビデオ信号をビデオエンコーダーによって生成し、それに基づく表示画像すなわちＣＣＤ４によって撮像された被写体のスルー画像が液晶モニタにより表示される。

また、記録モードでの撮影操作時にＣＣＤ４によって撮像され画像処理ブロック８２で生成されメモリ９に格納されたＹＵＶデータは、ＣＰＵ８１によって所定の方式で圧縮符号化された、圧縮画像データとして画像記録媒体１１に記録される。画像記録媒体１１に記録された圧縮画像データは、再生モードにおいてはＣＰＵ８１により伸張復号化され、前記メモリ９上に展開された後、画像表示装置１０において表示される。

また、制御部８には操作キー部１２が接続されている。操作キー部１２は、撮影用の記録モードと記録画像の表示用の再生モード等とを切り替えるためのモード切替キーや、シャッターキー、ズームキー、ストロボモード切替キー、各種の設定操作に用いられる設定キー等のスイッチ類から構成されており、各スイッチ類の操作状態がＣＰＵ８１により定期的にスキャンされる。

前記画像記録媒体１１（本発明の係数記憶手段）はフラッシュメモリ等であり、図３に示したように、前述した圧縮画像データを記憶する画像記憶領域１１ａとは別にプログラム領域１１ｂが確保されている。プログラム領域１１ｂには、ＣＰＵ８１に画像データの圧縮・伸張や、ＡＥ制御、ＡＦ制御、後述するホワイトバランス調整に関する制御等の各種制御を行わせるための制御プログラムと、それらの制御に際して使用される各種データが記憶されている。各種データは、ＡＥ制御に使用されるプログラム線図（スルー画像用、及び撮影用）や、ホワイトバランス制御に際して使用される色域データ、重み係数テーブル、ゲイン取得テーブルである。

上記色域データは、後述するホワイトバランス制御に際して光源の種類を判定するときに基準となるデータであって、色温度が異なる複数の光源に対応した、輝度成分のレベルが基準輝度レベル（Ybase）であるときのＣｂＣｒ座標上のＣｂ，Ｃｒ値の範囲（色域）を示すデータである。本実施の形態において光源の種類は、図４に示したように、シリアル番号（１〜５）が付されている晴天（色温度５２００Ｋ程度の太陽光）、曇天（同６０００Ｋ程度の太陽光）、蛍光灯、電球（タングステン）、日陰（同８０００Ｋ程度の太陽光）の５種類であり、各番号（ｉ）の光源に対応したＣｂの最大値及び最小値（Cb_i_upper，Cb_i_lower）と、Ｃｒの最大値及び最小値（Cb_i_upper，Cb_i_lower）が色域データ１００である。

また、前記重み係数テーブルは、図５に示したように被写体の明るさ（Ｌｖ値）に対応する第１の重み係数Ｋ１を示すテーブルである。第１の重み係数Ｋ１は、図中に丸付き数字１〜５で示した前記５種類の光源（光）別に、被写体の明るさ（Ｌｖ値）によって異なる画像の色成分に対する相対的な影響力の違いを考慮して予め決められた値であって、より具体的には、後述する色判定カウント値に対して以下のような重み付けを実現する値が設定されている。まず被写体の明るさがＬｖ０付近の暗い環境（夜景等）では、複数種の光が混合したＭＩＸ光下において色安定性に優れる「晴天」と、人工光のうちの蛍光灯、電球（タングステン）に同じ重みを持たせ、その明るさで一般的に存在しない他の光源の重みを"０"とする。また、明るさが上がるにつれて、日没後の色温度域をカバーする「日陰」の重みを増し、さらに明るくなると日没後の色温度域をカバーする「曇天」の重みが加わっていく。一般家庭の明るさであるＬｖ８を超える辺りから「電球」、「蛍光灯」の重みを順に下げ始め、ついでＬｖ１１辺りから「日陰」の重みを下げ始める。そして、Ｌｖ１３辺りから「曇天」の重みを下げ始めると同時に、「晴天」の重みを増して行くといった設定である。

また、前記ゲイン取得テーブルは、後述するホワイトバランス制御に際して前記ゲイン調整回路８２３に設定するＲデータ用のＲゲイン及びＢデータ用のＢゲインの値を、上述した５種類の光源毎に示すデータある。

そして、本実施の形態において、前記ＣＰＵ８１は、前述した制御プログラムに従い動作することにより本発明の明るさ取得手段、比較データ取得手段、重み付け手段（第１の重み付け手段、第２の重み付け手段）、光源判定手段、ホワイトバランス調整手段として機能する。

次に、前記デジタルカメラ１の本発明に係る動作について説明する。図６及び図７は、記録モードにおけるスルー画像の表示中、及び記録モードにおけるシャッターキーによる撮影操作に応答した静止画撮影時や、動画撮影モードによる動画撮影中に、制御部８のＣＰＵ８１が実施するホワイトバランス制御の内容を示したフローチャートである。

記録モードにおいてＣＰＵ８１は、撮像された画像、すなわちスルー画像の表示中や動画撮影中には所定のスルーレートや所定のフレームレートで逐次撮像された画像、静止画撮影時には、例えば撮影操作に応じて撮像された画像に基づき、被写体の明るさを示すＬｖ値を取得しメモリ９に一時記憶する（ステップＳ１）。なお、本実施の形態において、Ｌｖ値はＣＣＤデータすなわちベイヤーデータに基づき取得するが、例えばデジタルカメラ１に光量検出用を検出する測光センサが設けられている場合には、その測光センサの出力信号に基づき取得しても構わない。

次に、撮像された画像における複数の計測ポイント、すなわち所定の画素領域（例えば縦８画素×横８画素）毎に予め設定されている計測ポイントのうち、ｎ番目（当初は１番目）の計測ポイントの画素についてＲＧＢ値を計測してＹ，Ｃｂ，Ｃｒ値を算出する。つまりｎ番目の画素に対しＲＧＢデータからＹＵＶデータへの変換を行う（ステップＳ２）。引き続き、算出したＣｂ，Ｃｒ値を、いったん基準輝度レベル（Ybase）でのＣｂ値（Cb_ｎ_base），Ｃｒ値（Cr_ｎ_base）に変換する（ステップＳ３）。係る処理は、図８に示したように、例えば輝度レベルが"１０"のときのＣｂＣｒ座標２００ａでのＣｂ値が"０"、Ｃｒ値が"１０"である場合の色と、輝度レベルが"５"のときのＣｂＣｒ座標２００ｂでのＣｂ値が"０"、Ｃｒ値が"５"である場合の色とが同一であることに基づき、Ｃｂ，Ｃｒ値を前述した色域データ１００と同様の基準輝度レベル（Ybase）に対応する値に変換する処理である。なお、この変換処理は、算出したＹ，Ｃｂ，Ｃｒ値を用いた所定の演算を行うことにより実現されるものである。

次に、前記色域データ１００に基づき、変換後のＣｂ，Ｃｒ値（色）がｉ番目の光源（当初は１番目の「晴天」）のＣｂＣｒ座標上の範囲（色域）に含まれるか否かを判別し、ここで変換後のＣｂ，Ｃｒ値が上記範囲に含まれていれば（ステップＳ４でＹＥＳ）、ｉ番目の光源の色判定カウント値をインクリメントする（ステップＳ５）。そして、全ての光源について上記処理が終了するまでの間（ステップＳ６でＮＯ）、確認対象となる光源を切り替えた後（ステップＳ７）、ステップＳ４へ戻り次の光源についても上記判別を繰り返す。また、ステップＳ４の判別結果がＮＯであって、変換後のＣｂ，Ｃｒ値がｉ番目の光源のＣｂＣｒ座標上の範囲に含まれていなければ、直ちに確認対象となる光源を切り替えた後（ステップＳ６でＮＯ、ステップＳ７）、ステップＳ４へ戻る。

さらに、全ての光源について上記処理が終了したら（ステップＳ６でＹＥＳ）、全ての計測ポイント（画素）について上記処理が終了するまでの間（ステップＳ８でＮＯ）、処理対象の計測ポイントを切り替えた後（ステップＳ９）、ステップＳ２へ戻り、次の計測ポイントについても上記判別処理等を繰り返す。図９（ａ）は、その間にメモリ９内に記憶される各光源（番号ｉ）に対応した色判定カウント値（count_i）３０１を示す概念図である。なお、この色判定カウント値が本発明の比較データであるとともに、画像における光源毎の影響度合を面積の違いとして表すデータである。また、以上の処理は、前記画像処理ブロック８２において撮像信号（ベイヤーデータ）をＹＵＶデータに変換する一連の処理が行われる間にそれと並行して行われる。

しかる後、全ての画素について上述した処理を終了したら（ステップＳ８でＹＥＳ）、前記重み係数テーブル（図５）を参照して、ステップＳ１でメモリ９に記憶しておいたＬｖ値に対応する前記第１の重み係数Ｋ１を光源毎に取得し、それらをステップＳ５でカウントした光源毎の色判定カウント値（count_i）３０１にそれぞれ乗算することにより光源毎の光源評価値を取得する（ステップＳ１０）。つまり各光源の色判定カウント値に被写体の明るさに応じた異なる重み付けを行うことにより、光源毎の色判定カウント値（count_i）３０１を、各光源間における被写体の明るさに応じた画像の色成分に対する相対的な影響力の違いが反映された光源評価値に変換する。図９（ｂ）は、この時メモリ９内に記憶される各光源（番号ｉ）に対応した光源評価値（kogen_i_val）３０２を示す概念図である。

引き続き、図７に示したように、未だ光源を判定していないとき、つまり記録モードの設定に伴い処理を開始した直後においては（ステップＳ１１でＮＯ）、前記光源評価値３０２が最も大きな光源を特定し（ステップＳ１２）、その光源をその時点における環境光の光源として判定する（ステップＳ１３）。そして、ここで判定した光源（以下、判定光源という。）に対応するＲゲイン、及びＢゲインの値を前記ゲイン取得テーブルから取得し、取得した値で前記ゲイン調整回路８２３のＲゲイン及びＢゲインを調整する（ステップＳ１８）。その後はステップＳ１へ戻り、次の処理タイミングを待って前述した処理を繰り返す。

一方、ステップＳ１１の判別結果がＹＥＳであって、既に光源を判定しているときには、まず、その時点の判定光源であるいずれかの光源の光源評価値（kogen_x_val）３０２だけに、予め決められている履歴反映用の所定の第２の重み係数Ｋ２（例えば１．５）をいったん乗じてから（ステップＳ１４）、第２の重み係数Ｋ２を乗じた光源評価値を含む全ての光源の光源評価値を比較（確認）し、それが最も大きな光源を特定する（ステップＳ１５）。次に、ここで特定した光源が現在の判定光源と同一であるか否かを確認し、同一であれば（ステップＳ１６でＹＥＳ）、そのままステップＳ１８へ進み、既に判定中の光源に対応するゲイン調整を続行する。つまり、前回の処理と同じ内容のホワイトバランス調整を実施した後、ステップＳ１へ戻り、次の処理タイミングを待って前述した処理を繰り返す。逆に、特定した光源が現在の判定光源と同一でなければ（ステップＳ１６でＮＯ）、特定した光源をその時点における環境光の光源として新たに判定し、すなわち判定光源の切り替えを行い（ステップＳ１７）、その光源に対応するゲイン調整を行う（ステップＳ１８）。つまり、新たな判定光源に応じた、前回の処理とは内容の異なるホワイトバランス調整を実施した後、ステップＳ１へ戻り、次の処理タイミング（撮像タイミング）を待って前述した処理を繰り返す。

以上のように本実施の形態におけるホワイトバランス制御においては、光源の種類を判定するとき、その判定を、光源毎の色判定カウント値３０１に被写体の明るさに応じた異なる重み付けを行った後の光源評価値３０２に基づき、すなわち画像における各光源（光）の影響度合、さらには被写体の明るさによって異なる各光源（光）の相対的な影響力の違いが反映された値に基づき行う。

そのため、光源判定を単に色判定カウント値３０１、つまり画像の色成分に基づき行う場合に比べ、より現実的な光源の種類を高精度で判定することができる。したがって、静止画撮影モードや動画撮影モードでの撮影待機中に逐次表示するスルー画像、撮影操作に応じて記録する静止画像、及び動画撮影モードでの動画撮影中に逐次記録する動画像により適切なホワイトバランスを確保することができる。

同時に、光源判定を高精度で行うことができることから、例えば同一の光源下であっても被写体や画角の移動等により物体（被写体）色が頻繁に変化するような場合のように、判定光源が頻繁に切り替わるようなシーンであっても、判定光源の頻繁な切り替わりが抑制でき、撮影待機中のスルー画像や動画撮影モードで記録される動画像における色合いの頻繁な変化を防止することができる。

なお、本実施の形態では、第１の重み係数Ｋ１として光源毎に異なる値を用いたが、第１の重み係数Ｋ１は、以下のように簡略化しても構わない。例えば各々が太陽光系の光源である晴天・曇天・日陰をグループ化しておき、係るグループ内の光源については第１の重み係数Ｋ１を用いるようにしてもよい。また、第１の重み係数Ｋ１として同一の値を用いる光源のグループを光源の系統別に複数設定したり、さらには全ての光源を系統別に複数グループに分けておき、グループ毎に第１の重み係数Ｋ１を決めておくようにしてもよい。当然、光源の判定精度は、上記グループが増えるに従い本実施の形態に比べると低下することとなる。

一方、本実施の形態のホワイトバランス制御では、それを繰り返し行っている間に逐次光源判定を行うが、その際には、前回の処理で判定した光源の光源評価値３０２に第２の重み係数Ｋ２をいったん乗じてから、その結果を含む全ての光源の光源評価値に基づき光源を判定する。そのため、画像（被写体）が変化しても判定光源が切り替わりにくく（判定結果として同一の光源が再び判定され易く）、判定光源の必要以上の切り替りをなくすことができる。

したがって、記録モードにおける撮影待機中、及び動画撮影モードによる動画撮影中には、色判定カウント値３０１に基づいて光源を選択する場合には判定光源が頻繁に切り替わるようなシーンであっても、そのような判定光源の頻繁な切り替わりが抑制され、撮影待機中のスルー画像や動画撮影モードで記録される動画像における色合いの頻繁な変化を防止することができる。

しかも、判定光源の頻繁な切り替わり（変化）を、例えば光源の判定サイクルを時間軸方向に延ばすことによって抑制する場合に比べると、実際に必要な光源の切り替わり時間を最小限に止めることができる。したがって、被写体の変化に対するホワイトバランスの追従性を低下させることなく、画像における色合いの頻繁な変化を防止することができる。

なお、本実施の形態では、基本的な光源の判定を光源評価値３０２に基づいて行うとともに、光源の判定を繰り返し行っている間には、前回の処理で判定した光源の光源評価値３０２に第２の重み係数Ｋ２を乗じて、判定光源の必要以上の切り替りをなくすものとしたが、それを実現するだけならば以下のようにしてもよい。すなわち、前述した色判定カウント値３０１から光源評価値３０２への変換処理（ステップＳ１０）を削除するとともに、光源の判定を繰り返し行っている間には、前回の処理で判定した光源の色判定カウント値３０１に第２の重み係数Ｋ２を乗じることによって、最終的な光源の判定を行うようにしてもよい。その場合においても、スルー画像や動画像における色合いの頻繁な変化を防止することができる。

また、上記とは逆に、光源の判定を繰り返し行っている間についても、記録モードの設定に伴い処理を開始した直後（未だ光源を判定していない時点）と同様、光源評価値３０２から光源を直接判定するものとしてもよい。すなわち、前述したステップＳ１１からステップＳ１７の処理を廃止するようにしてもよい。その場合においても、より現実的な光源の種類を高精度で判定することができ、かつ高精度の光源判定を行うことによって、結果的にスルー画像や動画像における色合いの頻繁な変化を防止することができる。

また、本実施の形態においては、光源判定の基本となる色判定カウント値３０１（図９（ａ））を取得する際、撮像された画像における予め決められている複数の画素を計測ポイントとして用いるようにしたが、前記色判定カウント値３０１は、撮像された画像の全ての画素を計測ポイントとして用いて取得するようにしてもよい。

また、本実施の形態では、ステップＳ１０において、被写体の明るさ（ＬＶ値）と光源の種類とを考慮した重み付けを行うようにしたが、被写体の明るさを考慮せずに単純に光源毎に異なる重み付けを行なう、つまり光源の種類のみによって決まる重み付けを行なうようにしてもよい。

さらに、被写体の明るさ（ＬＶ値）と光源の種類との双方を考慮した重み付けを行う場合には、本実施の形態とは異なり、被写体の明るさによる重み付けと、光源毎の重み付けとを分けて行なう、例えば前述した重み係数テーブル（図５）に代えて、被写体の明るさ（Ｌｖ値）に対応する重み係数を示す重み係数テーブルと、光源の種類に対応する重み係数を示す重み係数テーブルとを個別に用意し、前記色判定カウント値３０１に被写体の明るさ（Ｌｖ値）に対応する重み係数を乗じる処理と、光源の種類に対応する重み係数を乗じる処理とを段階的に行うようにしてもよい。さらに、その場合、被写体の明るさ（Ｌｖ値）に対応する重み係数に"１"を含めてもよいし、また、被写体の明るさ（Ｌｖ値）に対応する重み係数を"１"とそれ以上のある値の２種類として、被写体の明るさ（Ｌｖ値）が"１"以上のある値であるときにだけ光源毎に異なる光源毎の重み付けが行われるようにしてもよい。

また、以上の説明においては、本発明をデジタルカメラに適用した場合について説明したが、これに限らず本発明はデジタルビデオカメラ等の他の撮像装置にも適用することができる。

本発明に係るデジタルカメラのブロック図である。同デジタルカメラの制御部の構成を示すブロック図である。画像記録媒体の記憶領域を示す概念図である。色域データを示す概念図である。重み係数テーブルを示す概念図である。本発明に係るホワイトバランス制御の内容を示したフローチャートである。図６に続くフローチャートである。輝度レベルとＣｂ値及びＣｒ値との関係を示す概念図である。メモリ内に記憶される色判定カウント値（ａ）、光源評価値（ｂ）を示す概念図である。

符号の説明

１デジタルカメラ
４ＣＣＤ
７アナログ処理部
８制御部
８１ＣＰＵ
８２画像処理ブロック
９メモリ
１０画像表示装置
１１画像記録媒体
１１ａ画像記憶領域
１１ｂプログラム領域
１００色域データ
３０１色判定カウント値
３０２光源評価値

Claims

画像のホワイトバランスを調整するホワイトバランス調整装置において、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段と、
この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段と、
この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段と、
この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段と
を備え、
前記重み付け手段は、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数を乗じることにより所定の重み付けを行うことを特徴とするホワイトバランス調整装置。
画像のホワイトバランスを調整するホワイトバランス調整装置において、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段と、
この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段と、
この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段と、
この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段と、
前記画像における被写体の明るさを取得する明るさ取得手段と、
前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する係数記憶手段と
を備え、
前記重み付け手段は、前記光源毎の比較データに対し、前記明るさ取得手段により取得された被写体の明るさに対応して前記係数記憶手段に記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段と、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段とを含む
ことを特徴とするホワイトバランス調整装置。
画像のホワイトバランスを調整する方法において、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する工程と、
取得した光源毎の比較データのうち少なくとも１つの比較データに所定の重み付けを行う工程と、
重み付け後の比較データに基づき光源の種類を判定する工程と、
判定した光源の種類に対応する内容のホワイトバランス調整を行う工程と、
を含み、
前記重み付けを行う工程は、前記光源の種類を判定する工程により直前に判定されていた種類の光源の比較データに対して所定の重み係数を乗じることにより所定の重み付けを行うことを特徴とすることを特徴とするホワイトバランス調整方法。
画像のホワイトバランスを調整する方法において、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する工程と、
取得した光源毎の比較データのうち少なくとも１つの比較データに所定の重み付けを行う工程と、
重み付け後の比較データに基づき光源の種類を判定する工程と、
判定した光源の種類に対応する内容のホワイトバランス調整を行う工程と、
前記画像における被写体の明るさを取得する工程と、
前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する工程と、
を含み、
前記重み付けを行う工程は、前記光源毎の比較データに対し、前記取得された被写体の明るさに対応して前記記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段と、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段とを含む
ことを特徴とするホワイトバランス調整方法。
画像のホワイトバランスを調整するホワイトバランス調整装置が有するコンピュータを、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段、
この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段、
この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段、
この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段
として機能させ、
前記重み付け手段は、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数を乗じることにより所定の重み付けを行うように機能させるためのプログラム。
画像のホワイトバランスを調整するホワイトバランス調整装置が有するコンピュータを、
前記画像の画素毎の色成分に基づいて、当該画像における複数種の光源毎の影響度合を示す比較データを取得する比較データ取得手段、
この比較データ取得手段により取得された光源毎の比較データのうち少なくとも１つの比較データに、所定の重み付けを行う重み付け手段、
この重み付け手段により重み付けが行われた後の光源毎の比較データに基づき光源の種類を判定する光源判定手段、
この光源判定手段により判定された光源の種類に対応する内容のホワイトバランス調整を行うホワイトバランス調整手段、
前記画像における被写体の明るさを取得する明るさ取得手段、
前記複数種の光源に決められている被写体の明るさに対応した第１の重み係数を記憶する係数記憶手段
として機能させ、
前記重み付け手段は、前記光源毎の比較データに対し、前記明るさ取得手段により取得された被写体の明るさに対応して前記係数記憶手段に記憶されている第１の重み係数をそれぞれ乗じる光源別の重み付けを行う第１の重み付け手段、この第１の重み付け手段により第１の重み係数が乗ぜられた後の光源毎の比較データのうち、前記光源判定手段により直前に判定されていた種類の光源の比較データに対して所定の重み係数をさらに乗じる重み付けを行う第２の重み付け手段
としての機能を含むことを特徴とするプログラム。