JP4702635B2 - オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 - Google Patents

Description

本発明は、顔検出機能を用いた画像のホワイトバランス調節に関する。

特許文献１では、画像内の肌色領域を特定し、肌領域の色味に応じて光源を特定し、ホワイトバランス（ＷＢ）補正値を求める。

特許文献２では、画像内の顔領域を特定し、顔領域内から代表肌色を抽出し、代表肌色に応じて光源を特定し、ＷＢ補正値を求める。
特開平１１−２８３０２５号公報 特表２００５−５３１１８９号公報

特許文献１および２では、彫像や石像など人以外の顔が検出された場合や、フェイスペイントして肌色でない人の顔が検出された場合、正しい光源を特定することができず、適切なホワイトバランス補正値を求めることができない。例えば、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう（いわゆるカラーフェリア現象）。

本発明は、顔検出機能を用いたオートホワイトバランス補正における誤補正を防ぐことを目的とする。

本発明に係るオートホワイトバランス補正値算出方法は、画像データを入力するステップと、入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、画像データから顔領域を特定するステップと、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、画像データから第１の特徴データを抽出するとともに、顔領域中の画像データから第２の特徴データを抽出するステップと、第１の特徴データと第２の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップと、を含む。

第１の特徴データは画像データに基づいて特定された光源色であり、第２の特徴データは顔領域に基づいて特定された光源色である。

この方法は、画像データの光源色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。

この方法は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含んでもよい。

第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含んでもよい。

第１の特徴データと第２の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。

顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。

この方法は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。

各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。

各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含んでもよい。

各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含んでもよい。

画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。

最終的なＡＷＢ補正値を表示するステップをさらに含んでもよい。

顔領域の特徴データと比較された特徴データの抽出されたエリアを表示するステップをさらに含んでもよい。

顔優先度の選択を受け付けるステップと、顔優先度に応じて最終的なＡＷＢ補正値の重みを変化させるステップと、をさらに含んでもよい。

上記のオートホワイトバランス補正値算出方法をコンピュータに実行させるオートホワイトバランス補正値算出プログラムも本発明に含まれる。

本発明に係るオートホワイトバランス補正値算出装置は、画像データを入力する画像データ入力部と、画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、画像データから顔領域を特定する顔領域特定部と、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、画像データから第１の特徴データを抽出するとともに、顔領域中の画像データから第２の特徴データを抽出する特徴データ抽出部と、第１の特徴データと第２の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択する最終ＡＷＢ補正値算出部と、を備える。

第１の特徴データは画像データに基づいて特定された光源色であり、第２の特徴データは顔領域に基づいて特定された光源色である。

この装置は、画像データの光源色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量に基づき、最終的なＡＷＢ補正値を算出してもよい。

最終ＡＷＢ補正値算出部は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択してもよい。

最終ＡＷＢ補正値算出部は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出してもよい。

第１の特徴データと第２の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終ＡＷＢ補正値算出部は、最終的な光源色に応じて最終的なＡＷＢ補正値を算出してもよい。

顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。

この装置は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量に基づき、最終的なＡＷＢ補正値を算出してもよい。

各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出してもよい。

最終ＡＷＢ補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択してもよい。

最終ＡＷＢ補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出してもよい。

画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終ＡＷＢ補正値算出部は、最終的な光源色に応じて最終的なＡＷＢ補正値を算出してもよい。

最終的なＡＷＢ補正値を表示する表示部をさらに備えてもよい。

顔領域の特徴データと比較された特徴データの抽出されたエリアを表示する表示部をさらに備えてもよい。

顔優先度の選択を受け付ける顔優先度選択部をさらに備え、最終ＡＷＢ補正値算出部は、顔優先度に応じて最終的なＡＷＢ補正値の重みを変化させてもよい。

本発明に係る撮像装置は、上記のオートホワイトバランス補正値算出装置と、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、アナログ画像信号をデジタル画像データに変換して画像データ入力部に出力する画像データ出力部と、オートホワイトバランス補正値算出装置の算出した最終的なＡＷＢ補正値に基づいて画像データのホワイトバランスを補正する補正部と、を備える。

この発明によると、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。

＜第１実施形態＞
図１はデジタルカメラ２の電気的構成を示す。撮像レンズ１０には、レンズモータ３０が接続されている。また、絞り３１には、アイリスモータ３２が接続されている。これらのモータ３０、３２はステッピングモータからなり、ＣＰＵ３３に接続されたモータドライバ３４、３５から送信される駆動パルスにより動作制御され、レリーズボタン１２の半押しに伴う撮影準備処理を行う。

レンズモータ３０は、ズーム操作ボタン２４の操作に連動して、撮像レンズ１０のズームレンズをワイド側、あるいはテレ側に移動させる。また、ズームレンズの変倍などに応じて撮像レンズ１０のフォーカスレンズ（図示せず）を移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ３２は、絞り３１を動作させ、露出調整を行う。

撮像レンズ１０の背後には、撮像レンズ１０を透過した被写体像が撮像されるＣＣＤ３６が配置されている。ＣＣＤ３６には、ＣＰＵ３３によって制御されるタイミングジェネレータ（ＴＧ）３７が接続され、このＴＧ３７から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。

ＣＣＤ３６から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）３８に入力され、ＣＣＤ３６の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。ＣＤＳ３８から出力された画像データは、増幅器（ＡＭＰ）３９で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４０でデジタルの画像データに変換される。

画像入力コントローラ４１は、バス４２を介してＣＰＵ３３に接続され、ＣＰＵ３３の制御命令に応じて、ＣＣＤ３６、ＣＤＳ３８、ＡＭＰ３９、およびＡ／Ｄ４０を制御する。Ａ／Ｄ４０から出力された画像データは、ＳＤＲＡＭ４３に一時記録される。

画像信号処理回路４４は、ＳＤＲＡＭ４３から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ４３に記録する。ＹＣ変換処理回路４５は、画像信号処理回路４４で各種処理を施された画像データをＳＤＲＡＭ４３から読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。

ＶＲＡＭ４６は、ＬＣＤ２２にスルー画像を出力するためのメモリであり、画像信号処理回路４４、ＹＣ変換処理回路４５を経た画像データが格納される。ＶＲＡＭ４６には、画像データの書き込みと読み出しを並行して行えるように、２フレーム分のメモリ４６ａ、４６ｂが確保されている。ＶＲＡＭ４６に格納された画像データは、ＬＣＤドライバ４７でアナログのコンポジット信号に変換され、ＬＣＤ２２にスルー画像として表示される。

圧縮伸長処理回路４８は、ＹＣ変換処理回路４５でＹＣ変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４９を経由してメモリカード５０に記憶される。

ＣＰＵ３３には、前述のレリーズボタン１２、受信部２０、操作部２３の他に、ＥＥＰＲＯＭ５１が接続されている。ＥＥＰＲＯＭ５１には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３３は、これらの情報をＥＥＰＲＯＭ５１から作業用メモリであるＳＤＲＡＭ４３に読み出して、各種処理を実行する。

バス４２には、露出量、すなわち電子シャッタのシャッタ速度、および絞り３１の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するＡＥ／ＡＷＢ検出回路５２と、撮像レンズ１０の焦点調整が撮影に適切か否かを検出するＡＦ検出回路５３と、ストロボ装置５４の動作を制御するストロボ制御回路５５とが接続されている。

ＡＥ／ＡＷＢ検出回路５２は、ＹＣ変換処理回路４５でＹＣ変換された画像データの輝度信号Ｙと色差信号Ｃｒ、Ｃｂとの積算値を元に、露出量、およびホワイトバランスの適否を検出し、この検出結果をＣＰＵ３３に送信する。ＣＰＵ３３は、ＡＥ／ＡＷＢ検出回路５２から送信された検出結果に基づいて、撮像レンズ１０、絞り３１、およびＣＣＤ３６の動作を制御する。

ＡＦ検出回路５３は、Ａ／Ｄ４０でデジタル化された画像データから画像の鮮鋭度を表すフォーカス評価値を算出し、この算出結果をＣＰＵ３３に送信する。フォーカス評価値は、画像の特定のエリア、例えば、撮影画角の中央部分の画像データに対して、バンドパスフィルタなどで輪郭抽出処理を施し、これにより抽出した輪郭信号、および中央部分の画像データの輝度値を積算することで得られる。ここで、フォーカス評価値が大きいほどその部分の高周波成分が多く、その部分が合焦状態にあることを表している。

ＣＰＵ３３は、レリーズボタン１２の半押しに伴う撮影準備処理時に、そのときのズームレンズの位置からフォーカスレンズの合焦位置の探索範囲を決定し、モータドライバ３４を介してレンズモータ３０の動作を制御して、決定した探索範囲内で、フォーカスレンズを例えば近点側から遠点側に移動させ、そのときＡＦ検出回路５３から順次送信されるフォーカス評価値の大小を比較することで、フォーカス評価値が最大となる位置、つまり合焦位置でフォーカスレンズを停止させる。

セルフ撮影モード下において、リモートコントローラ１６から受信部２０を介してレリーズ信号を受信し、且つＡＥ／ＡＷＢ検出回路５２による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合、画像信号処理回路４４は、ＳＤＲＡＭ４３から読み出した画像データから、レリーズ信号の送信時にリモートコントローラ１６の光源１９から発せられた光を表す画像データを抽出する。

光源１９から発せられた光を表す画像データの抽出は、具体的には、前フレームと現フレームの画像データの差分をとっておき、光源１９から発せられた光が撮像されているフレームと、されていないフレームの画像データの差分から、光が撮像されている部分を特定し、その部分、あるいはその部分を含む周囲を表す画像データを抽出する。なお、ＡＥ／ＡＷＢ検出回路５２による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合とは、焦点調整が困難な状況（暗所など）であることを意味する。

ＡＦ検出回路５３は、画像信号処理回路４４で抽出した光を表す画像データに対してフォーカス評価値の算出を行う。ＣＰＵ３３は、フォーカス評価値の波形が谷間となる点を合焦位置とし、モータドライバ３４を介してレンズモータの動作を制御して、この位置でフォーカスレンズを停止させる。

図２は第１実施形態に係る画像信号処理回路４４の要部ブロック構成を示す。この図に開示された各ブロックの詳細な機能は後述する。

顔領域特定部５２ａは、ＳＤＲＡＭ４３のデジタル画像データ（記録用の静止画像、スルー画像あるいは動画フレーム）から人物の顔部分を含む領域である顔領域を特定する。顔領域の検出方法としては、例えば本出願人による特許公開２００７−１２４１１２号公報において開示された技術を適用することができる。

すなわち、顔領域特定部５２ａは、撮影された画像の画像データＰ0′を読み込み、画像Ｐ0′中の顔部分Ｐ0f′を検出する。具体的には、特開２００５−１０８１９５号公報に記載されているように、画像Ｐ0′の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器に入力することによって画像Ｐ0′中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ0f′として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力する、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。

なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。ただし、人物の顔の色に依存しないような顔検出を可能とするため（例えば銅像の顔やフェイスペイントした顔も検出できるようにするため）、本願明細書の各実施形態では、人物の顔の色に依存した顔検出方法、例えば肌色検出を用いる方法は採用しないものとする。

顔ＡＷＢ補正値算出部５２ｂは、顔領域特定部５２ａが特定した顔領域の画像データに基づき、画像全体に施すホワイトバランスの補正値を決定する。

顔ＡＷＢ特徴データ抽出部５２ｃは、顔領域特定部５２ａが特定した顔領域内の画像データに基づいて特徴データを抽出する。特徴データとは、例えば、顔領域内の画像データから推定される光源の種類（太陽光、タングステン、蛍光など）、あるいは光源の色温度（例えば２５００Ｋ〜９４００Ｋの間で色温度を推定）である。あるいは顔領域の代表色でもよい。

通常ＡＷＢ補正値算出部５２ｄは、通常ホワイトバランス補正値決定用の特定領域である通常ＡＷＢ領域（例えば画像データの全体、あるいは、画像データ全体から所定の周縁領域を除いた残りの部分。ただし、特定領域は顔領域と同一ではない）に基づいて画像全体に施すホワイトバランスの補正値を決定する。

通常ＡＷＢ特徴データ抽出部５２ｅは、通常ＡＷＢ領域に基づいて特徴データを抽出する。特徴データとは、通常ＡＷＢ領域の画像データから推定される光源種、色温度、代表色などである。

ＷＢ補正部５２ｈは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。

特徴データ比較部５２ｆは、顔ＡＷＢ特徴データ抽出部５２ｃの得た特徴データと、通常ＡＷＢ特徴データ抽出部５２ｅの得た特徴データとを比較する。これは後述するが、例えば、各種の色空間における光源色Ｌ１と光源色Ｌ２との距離を求めることである。

最終ＷＢ補正値算出部５２ｇは、通常ＡＷＢ特徴データ抽出部５２ｅおよび顔ＡＷＢ特徴データ抽出部５２ｃからの２つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色Ｌ１とＬ２との距離が所定の閾値以上であるか未満であるかに基づいて、通常ＡＷＢ補正値算出部５２ｄの用いる補正値算出式および顔ＡＷＢ補正値算出部５２ｂの用いる補正値算出式のうちいずれか一方の補正値算出式を選択することである。

ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。

図３は第１実施形態に係る画像信号処理回路４４で実行されるホワイトバランス補正処理のフローチャートである。

Ｓ１では、通常ＡＷＢ補正値算出部５２ｄが、補正値を算出する。

Ｓ２では、顔領域特定部５２ａが、顔領域の特定を試みる。

Ｓ３では、顔領域特定部５２ａが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はＳ４、失敗した場合はＳ１０に進む。

Ｓ４では、顔ＡＷＢ補正値算出部５２ｂが、顔ＡＷＢ補正値を算出する。

Ｓ５では、顔ＡＷＢ特徴データ抽出部５２ｃ、通常ＡＷＢ特徴データ抽出部５２ｅが、それぞれ色空間における特徴データを抽出する。

Ｓ６では、特徴データ比較部５２ｆが、Ｓ５で抽出された２つの特徴データを比較する。例えば、通常ＡＷＢ領域、顔領域における２つの代表色を求め、所定の色空間または色度図上における両代表色の各色差（距離）を比較する。

Ｓ７では、最終ＷＢ補正値算出部５２ｇが、２つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法として適切なものを１つ、例えば、顔ＡＷＢ補正値算出部５２ｂによる算出方法および通常ＡＷＢ補正値算出部５２ｄによる算出方法のうちいずれか一方を選択する。顔ＡＷＢ補正値算出部５２ｂによる算出方法を選択した場合はＳ８、通常ＡＷＢ補正値算出部５２ｄによる算出方法を選択した場合はＳ９に進む。２つの特徴データの比較結果に基づいた算出方法の選択は、例えば、両代表色の各色差（距離）が所定の閾値未満であれば顔ＡＷＢの算出方法、所定の閾値であれば通常ＡＷＢの算出方法を選択する。

Ｓ８では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得られた最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

Ｓ９では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得られた最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

Ｓ１０では、ＷＢ補正部５２ｈは、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

すなわち、本実施形態では、通常ＡＷＢ領域の特徴データと、顔領域の特徴データとの比較結果に応じて補正値算出方法を選択する。

＜第２実施形態＞
図４は第２実施形態に係る画像信号処理回路４４の詳細ブロック構成を示す。ここでは図２における顔ＡＷＢ特徴データ抽出部５２ｃの一例として顔ＡＷＢ光源色抽出部５２ｃ−１が、通常ＡＷＢ特徴データ抽出部５２ｅの一例として通常ＡＷＢ光源色抽出部５２ｅ−１が、特徴データ比較部５２ｆの一例として光源色比較部５２ｆ−１が示されている。

顔ＡＷＢ光源色抽出部５２ｃ−１は、顔領域特定部５２ａが特定した顔領域内の画像データに基づいて光源色を抽出する。これは、例えば、ホワイトバランス調整のために画像データの一部から光源色を推定する各種の方法（例えば、特許公開２０００−２０９５９８号公報や、特許公開２００６−２２２９２８号公報に開示されたもの）を用いて光源色（Ｒ１、Ｇ１、Ｂ１）を推定し、この推定した光源色を、Ｒ／ＧおよびＢ／Ｇの比からなる色空間の座標Ｌ１＝（Ｒ１／Ｇ１，Ｂ１／Ｇ１）へ変換する（図５）。なお、光源色をプロットする色空間はＹＣｒＣｂなど各種のものであってもよい。

通常ＡＷＢ光源色抽出部５２ｅ−１は、通常ＡＷＢ領域の画像データに基づいて光源色を抽出する。これは例えば、ホワイトバランス調整のために画像データの全部から光源色を推定する各種の方法を用いて光源色（Ｒ２、Ｇ２、Ｂ２）を推定し、この推定した光源色を、Ｒ／ＧおよびＢ／Ｇの比からなる色空間の色空間の座標Ｌ２＝（Ｒ２／Ｇ２，Ｂ２／Ｇ２）へ変換する（図５）。

光源色比較部５２ｆ−１は、顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色Ｌ１と、通常ＡＷＢ光源色抽出部５２ｅ−１の得た光源色Ｌ２とを比較する。これは後述するが、例えば、光源色Ｌ１と光源色Ｌ２との色差（色空間における距離）を求めることである。

通常ＡＷＢ補正値算出部５２ｄは、画像全体に施すホワイトバランスの補正値を、通常ＡＷＢ領域の画像データに基づいて決定する。

ＷＢ補正部５２ｈは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。

最終ＷＢ補正値算出部５２ｇは、色空間における光源色Ｌ１とＬ２との比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色Ｌ１とＬ２との距離が所定の閾値以上であるか未満であるかに基づいて、通常ＡＷＢ補正値算出部５２ｄの算出した補正値および顔ＡＷＢ補正値算出部５２ｂの算出した補正値のうちいずれか一方の補正値を選択することである。

ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。

図６は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。

Ｓ１では、通常ＡＷＢ補正値算出部５２ｄが、補正値を算出する。

Ｓ２では、顔領域特定部５２ａが、顔領域の特定を試みる。

Ｓ３では、顔領域特定部５２ａが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はＳ４、失敗した場合はＳ１０に進む。

Ｓ４では、顔ＡＷＢ補正値算出部５２ｂが、顔ＡＷＢ補正値を算出する。

Ｓ５−１では、顔ＡＷＢ光源色抽出部５２ｃ−１、通常ＡＷＢ光源色抽出部５２ｅ−１が、それぞれ顔領域、通常ＡＷＢ領域における光源色Ｌ１、Ｌ２を抽出する。

Ｓ６−１では、光源色比較部５２ｆ−１が、光源色Ｌ１とＬ２とを比較する。

Ｓ７−１では、最終ＷＢ補正値算出部５２ｇが、光源色比較部５２ｆ−１による光源色Ｌ１とＬ２との比較結果に基づき、画像全体に対するホワイトバランス補正値算出方法として適切なものを１つ、例えば、顔ＡＷＢ補正値算出部５２ｂによる算出方法および通常ＡＷＢ補正値算出部５２ｄによる算出方法のうちいずれか一方を選択する。顔ＡＷＢ補正値算出部５２ｂによる算出方法を選択した場合はＳ８、通常ＡＷＢ補正値算出部５２ｄによる算出方法を選択した場合はＳ９に進む。

Ｓ８では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得た最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

Ｓ９では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得た最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

Ｓ１０では、ＷＢ補正部５２ｈは、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

すなわち、本実施形態では、通常ＡＷＢ領域の光源色と、顔領域の光源色との比較結果に応じて補正値算出方法を選択する。

＜第３実施形態＞
図７は第３実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは図２における光源色比較部５２ｆ−１の一例として、光源色の差分算出部５２ｆ−２が示されている。

光源色の差分算出部５２ｆ−２は、顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色Ｌ１と、通常ＡＷＢ光源色抽出部５２ｅ−１の得た光源色Ｌ２との差分を算出する。これは後述するが、例えば、図８に示すように、色空間における光源色Ｌ１と光源色Ｌ２との距離Ｌを求めることである。

図９は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。

Ｓ１１〜Ｓ１５はそれぞれ図３のＳ１〜Ｓ５と同様である。

Ｓ１６では、光源色の差分算出部５２ｆ−２が、光源色Ｌ１とＬ２との差分Ｌを算出する。差分Ｌとは、具体的には図８（ａ）に示すように、色空間における光源色Ｌ１とＬ２との距離（色差）を指す。その値は、図８（ｂ）に示すような数式で求めることができる。

Ｓ１７では、最終ＷＢ補正値算出部５２ｇが、光源色の差分算出部５２ｆ−２の算出した、光源色Ｌ１とＬ２との差分Ｌに基づき、最適な補正値算出方法（例えば第１・２実施形態と同様のもの）を選択する。顔ＡＷＢ補正値の算出方法を選択した場合はＳ１８、通常ＡＷＢ補正値の算出方法を選択した場合はＳ１９に進む。

Ｓ１８〜Ｓ２０は、Ｓ８〜Ｓ１０と同様である。

＜第４実施形態＞
図１０は第４実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは図２および図５における最終ＷＢ補正値算出部５２ｇの一例として、最終ＷＢ選択部５２ｇ−１が示されている。この機能は後述する。

図１１は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。

Ｓ２１〜Ｓ２６はそれぞれＳ１１〜Ｓ１６と同様である。

Ｓ２７では、最終ＷＢ補正値算出部５２ｇが、光源色Ｌ１とＬ２との差分Ｌが、所定の閾値Ｔ１以下であるか否かを判断する。Ｌ≦Ｔ１の場合はＳ２８、Ｌ＞Ｔ１の場合はＳ２９に進む。図１２は、Ｌ＞Ｔ１の場合を例示している。Ｔ１は、顔ＡＷＢ補正値と通常ＡＷＢ補正値のいずれを使用することが適切なホワイトバランス補正となるかを区別する値であるから、撮影条件に応じて経験的に定めるとよい。

Ｓ２８では、最終ＷＢ補正値算出部５２ｇは、顔ＡＷＢ補正値を最終ＷＢ補正値に決定する。ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの決定した最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

Ｓ２９では、最終ＷＢ補正値算出部５２ｇは、通常ＡＷＢ補正値を最終ＷＢ補正値に決定する。ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの決定した最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

Ｓ３０は、Ｓ１０と同様である。

図１３は、このホワイトバランス補正による具体的効果を例示する。

例えば、図１３（ａ）に示すように、太陽光が照射している白色系の石像を被写体とした画像データが取得されたものとする。

図１３（ｂ）に示すように、通常ＡＷＢ光源色抽出部５２ｅ−１は、画像データ全体の色分布などから光源色を推定する。図１３（ｃ）に示すように、ここでは太陽光と推定したとする。

図１３（ｄ）に示すように、顔ＡＷＢ光源色抽出部５２ｃ−１は、画像データ中の顔領域特定部５２ａが特定した顔領域の色分布などから光源色を推定する。図１３（ｅ）に示すように、ここでは、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう。

この場合、図１３（ｆ）に示すように、顔ＡＷＢ光源色抽出部５２ｃ−１の光源色Ｌ１と通常ＡＷＢ光源色抽出部５２ｅ−１の光源色Ｌ２との距離Ｌは、離れる傾向にある。この距離Ｌが所定の閾値Ｔ１を超えていれば、両者の食い違いが大きく、顔ＡＷＢ光源色抽出部５２ｃ−１の光源色Ｌ１の推定は信頼性が低く、通常ＡＷＢ光源色抽出部５２ｅ−１の光源色Ｌ２に基づいてＷＢ補正値を決める方がより適切といえる。そこでＬ＞Ｔ１の場合、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

一方、Ｌ≦Ｔ１の場合は、光源色Ｌ１の推定は信頼性が一定程度確保されているから、この場合、顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。

こうすることで、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。

＜第５実施形態＞
図１４は第５実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは重みα算出部５２ｉが追加されている。

例えば図１５（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）が、予め重みα算出部５２ｉに記憶されており、重みα算出部５２ｉは、差分Ｌの値に対応する重みαを該関数から特定することで、関数の重みαを算出する。

最終ＷＢ補正値算出部５２ｇは、例えば図１５（ｂ）のような、重みαで通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式により、最終ＷＢ補正値を算出する。

図１６は第５実施形態に係るホワイトバランス補正処理を示すフローチャートである。

Ｓ３１〜Ｓ３６はＳ１１〜Ｓ１６と同様である。

Ｓ３７では、差分Ｌが所定の閾値Ｔ２以下であるか否かを判断する。Ｌ≦Ｔ２の場合はＳ３８、Ｌ＞Ｔ２の場合はＳ４１に進む。

Ｓ３８では、重みα＝１００（％）とする。

Ｓ４０では、最終ＷＢ補正値を顔ＡＷＢ補正値とする。なおこの値は図１５（ｂ）の数式でα＝１００とした値である。

Ｓ４１では、差分Ｌが所定の閾値Ｔ３以上であるか否かを判断する。Ｌ≧Ｔ３の場合はＳ４２、Ｌ＜Ｔ３の場合はＳ４５に進む。

Ｓ４２では、重みα＝０（％）とする。

Ｓ４４では、最終ＷＢ補正値を通常ＡＷＢ補正値とする。なおこの値は図１５（ｂ）の数式でα＝０とした値である。

Ｓ４５では、差分Ｌに対応した重みα＝１〜９９（％）の値とする。例えば図１５（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定する。

Ｓ４７では、例えば図１５（ｂ）のような、重みαで通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式により、最終ＷＢ補正値を算出する。

Ｓ４８は、Ｓ１０と同様である。

＜第６実施形態＞
図１７は第６実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは最終光源色算出部５２ｊが追加されている。

例えば図１８（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め重みα算出部５２ｉに記憶しておき、重みα算出部５２ｉは、差分Ｌの値に対応する重みαを該関数から特定することで、光源色の重みαを算出する。

最終光源色算出部５２ｊは、例えば図１８（ｂ）のような重みαで通常ＡＷＢ光源色と顔ＡＷＢ光源色とを加重平均する数式により、最終光源色を算出する。

図１９は第６実施形態に係るホワイトバランス補正処理を示すフローチャートである。

Ｓ５１〜Ｓ５６はＳ３１〜Ｓ３６と同様である。

Ｓ５７では、差分Ｌが所定の閾値Ｔ４以下であるか否かを判断する。Ｌ≦Ｔ４の場合はＳ５８、Ｌ＞Ｔ４の場合はＳ６１に進む。

Ｓ５８では、重みα＝１００（％）とする。

Ｓ５９では、最終光源色を顔ＡＷＢ光源色抽出部５２ｃ−１の抽出した光源色とする。

Ｓ６０では、最終光源色である顔ＡＷＢ光源色抽出部５２ｃ−１の抽出した光源色を補正値の算出基準とし、最終ＷＢ補正値を顔ＡＷＢ補正値とする。

Ｓ６１では、差分Ｌが所定の閾値Ｔ５以上であるか否かを判断する。Ｌ≧Ｔ５の場合はＳ６２、Ｌ＜Ｔ５の場合はＳ６５に進む。

Ｓ６２では、重みα＝０（％）とする。

Ｓ６３では、最終光源色を通常ＡＷＢ光源色抽出部５２ｅ−１の抽出した光源色とする。

Ｓ６４では、最終光源色である通常ＡＷＢ光源色抽出部５２ｅ−１の抽出した光源色を補正値の算出基準とし、最終ＷＢ補正値を通常ＡＷＢ補正値とする。

Ｓ６５では、差分Ｌに対応した重みα＝１〜９９（％）の値とする。例えば図１８（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定する。

Ｓ６６では、例えば図１８（ｂ）のような、２つの光源色を重みαで加重平均する数式により、最終光源色を算出する。

Ｓ６７では、最終光源色を補正値の算出基準とし、最終ＷＢ補正値を算出する。

Ｓ６８は、Ｓ１０と同様である。

＜第７実施形態＞
図２０は第７実施形態に係る画像信号処理回路４４のブロック構成を示す。上記実施形態と同一のブロックには同一の符号を付しており、説明は省略する。ここではエリア分割部５２ｋ、エリア特徴データ抽出部５２ｌが追加されている。

エリア分割部５２ｋは、画像データ全体を所定の１または複数のエリアに分割する。

図２１は複数のエリアに分割した場合の一例である。複数のエリアへの区分の仕方は図示したものに限らず、これよりも多数あるいは少数の小領域に区分してもよい。また、分割面積は等面積、等間隔である必然性はなく、領域の特徴（例えば顔領域に包含される領域であるか否か）や重要度に応じてより精緻な領域分割を行ってもよい。あるいは、異なる色相ごとに画像を分割してもよい。なお、１つのエリアに分割するとは画像データ全体そのものを得ることと同じである。

図２２は第７実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ７１〜Ｓ７５はＳ１〜Ｓ５と同様である。

Ｓ７６では、エリア分割部５２ｋが画像データ全体を１または複数のエリアに分割する。

Ｓ７７では、エリア特徴データ抽出部５２ｌが各エリアの特徴データを抽出する。特徴データとは例えば各エリアの代表色である。エリアの代表色の求め方としては、例えば本出願人による特許公開２００７−３６４６２号公報、段落００３８に記載されるように、エリアの各画像データを用いて、各画素の色をＲ／Ｇ−Ｂ／Ｇ空間の座標にそれぞれ変換し、それら各座標の重心の座標を求め、これを代表色の座標とする。

Ｓ７８では、特徴データ比較部５２ｆが、各エリアの特徴データを顔領域からの特徴データと比較する。

Ｓ７９では、各エリアの特徴データを顔領域からの特徴データと比較した結果に応じて、適切な補正値算出式を選択する。例えば上述と同様、通常ＡＷＢ補正値算出部５２ｄの算出した補正値（通常ＡＷＢ補正値）および顔ＡＷＢ補正値算出部５２ｂの算出した補正値（顔ＡＷＢ補正値）のうちいずれか一方の最適な補正値を選択する。

Ｓ８０〜Ｓ８２は、Ｓ８〜Ｓ１０と同様である。

図２３は、このホワイトバランス補正による具体的効果を例示する。

例えば、図２３（ａ）に示すように、１つの画像データ中に、人には赤い光源が照らされており、背景には青い水槽が存在していたとする。

この場合、図２３（ｂ）に示すように、１画面を複数のエリアに分割し、かつ、図２３（ｃ）に示すように、各エリアの特徴データとして各エリアの代表色を算出する。この場合、水槽側のエリアでは青、光源側のエリアでは赤が代表色となる。

また、図２３（ｄ）に示すように、検出された顔領域から、光源色を推定する。この場合、図２３（ｅ）に示すように、顔色から赤い光源と推定される。

つまり、各エリアの特徴データと顔領域の特徴データの間では、食い違いが生じ、それぞれの特徴データに従ってホワイトバランス補正を行った場合、得られる画像データも異なってくる。従って、いずれか一方の特徴データを基準としたより適切なホワイトバランス補正を行う必要がある。

図２３（ｆ）に示すように、顔領域の特徴データ（代表色）および各エリアの特徴データ（代表色）を、Ｒ／Ｇ−Ｂ／Ｇ色空間にプロットすると、顔領域の特徴データの周辺には、赤い光源が支配的な光源近傍のエリアの特徴データが集中し、また、水槽近傍のエリアは青が支配的な位置に集中する。

この、顔領域を中心とした所定の閾値Ｔの近傍内に、一定程度の分割エリアの特徴データが存在していれば、これが正しい光源色を表していると判断でき、近傍外にある青の特徴データは、背景を支配する色であるということが識別でき、顔ＡＷＢによるホワイトバランス補正がよりよい補正方法であると識別できる。

この方式は図２４のように、本来の光源とは関係のない色で画像の大部分が支配されることで、通常ＡＷＢにおける光源推定が顔ＡＷＢにおける光源推定とかけ離れてしまうときに特に有効である。

＜第８実施形態＞
図２５は第８実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

図２６は第８実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ９１〜Ｓ９４はＳ７１〜Ｓ７４と同様である。

Ｓ９５では、顔ＡＷＢ特徴データ抽出部５２ｃが、顔領域から光源色を抽出する。そして、抽出した光源色を色空間にプロットする（例えば図２７を参照）。

Ｓ９６は、Ｓ７６と同様である。

Ｓ９７では、エリア特徴データ抽出部５２ｌが各エリアの代表色（例えばエリアごとの画素の平均色）を抽出する。そして、抽出した各エリアの代表色を色空間にプロットする（例えば図２７を参照）。

Ｓ９８では、特徴データ比較部５２ｆが、各エリアの代表色を顔領域からの光源色と比較する。

Ｓ９９は、Ｓ９８の比較結果に応じ、Ｓ１００またはＳ１０１に分岐する。

Ｓ１００〜Ｓ１０２は、Ｓ８０〜Ｓ８２と同様である。

＜第９実施形態＞
図２８は第９実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

光源色と特定のエリアの代表色との差分算出部５２ｆ−３は、図２９に例示するような数式により、色空間における各エリアの代表色と顔ＡＷＢ光源色抽出部５２の得た光源色との差分（距離）Ｌを算出する。

図３０は第９実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ１１１〜Ｓ１１７は、Ｓ９１〜Ｓ９７と同様である。

Ｓ１１８では、例えば図２９に例示する数式により、色空間における各エリアＲｉ（ｉはエリアに付与された添え字）の代表色と顔ＡＷＢ光源色抽出部５２の得た光源色との差分（距離）Ｌｉを算出する。そして、各エリアごとに求められた差分Ｌｉのうち最小値Ｌｍｉｎを確定する（図３１参照）。

Ｓ１１９では、最終ＷＢ補正値算出部５２ｇが、差分Ｌｍｉｎに基づき、適切な補正値算出方法を選択する。これは例えば上述と同様、差分Ｌｍｉｎとある所定の閾値との大小関係に応じて、通常ＡＷＢ補正値算出部５２ｄの算出した補正値（通常ＡＷＢ補正値）および顔ＡＷＢ補正値算出部５２ｂの算出した補正値（顔ＡＷＢ補正値）のうちいずれか一方の最適な補正値を選択する。顔ＡＷＢ補正値を選択した場合はＳ１２０、通常ＡＷＢ補正値を選択した場合はＳ１２１に進む。

Ｓ１２０〜Ｓ１２２は、Ｓ１００〜Ｓ１０２と同様である。

＜第１０実施形態＞
図３２は第１０実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

光源色とｎ個のエリアの代表色との差分算出部５２ｆ−４は、各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１からの光源色との差分を算出する。

例えば図３３に示すように、光源色の近傍に位置する所定個数（例えば総エリア個数の５〜２０％程度の個数）の代表色と光源色との距離を、代表色ごとにそれぞれ求める。

重みづけ平均部５２ｐは、各エリアと光源色との差分（距離）Ｌｉに対応する重みβｉを乗じることで、差分の加重平均を算出する（図３５）。各差分Ｌｉに対応する重みβｉは例えば図３４に示すような、差分量と重みの関係を規定する重みβｉ決定関数から特定する。

図３６は第１０実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ１３１〜１３７は、Ｓ１１１〜Ｓ１１７と同様である。

Ｓ１３８では、各エリアの代表色と光源色との差分（距離）Ｌｉを算出する。

Ｓ１３９〜Ｓ１４５は、各エリアの各差分Ｌｉに対応するに対応する重みβｉが全て（ｎ個）算出するまで繰り返される処理単位である。

Ｓ１４０では、差分Ｌｉが所定の閾値Ｔ６以下であるか否かを判断する。判断が“Ｙ”ならばＳ１４２、“Ｎ”ならばＳ１４１に進む。

Ｓ１４１では、差分Ｌｉが所定の閾値Ｔ７以上であるか否かを判断する。判断が“Ｙ”ならばＳ１４３、“Ｎ”ならばＳ１４４に進む。

Ｓ１４２では、図３４の重み決定関数に従い、重みβｉ＝１００％とする。

Ｓ１４３では、図３４の重み決定関数に従い、重みβｉ＝０％とする。

Ｓ１４４では、図３４の重み決定関数に従い、重みβｉ＝１〜９９％とする。

Ｓ１４５では、ｎ個の重みが算出されたか否かを判断し、算出されればＳ１４６に進む。算出されていなければＳ１４０に戻る。

Ｓ１４６では、各差分Ｌｉに対応する重みβｉで各差分Ｌｉを重みづけして平均した差分の加重平均Ｌ’を算出する（図３５参照）。

Ｓ１４７では、最終ＷＢ補正値算出部５２ｇが、差分加重平均Ｌ’に基づき、適切な補正値算出方法を選択する。これの具体例は上述と同様である。第１の算出方法（例えば顔ＡＷＢ補正値）を選択した場合はＳ１４８、第２の算出方法（例えば通常ＡＷＢ補正値）を選択した場合はＳ１４９に進む。

Ｓ１４８〜Ｓ１５０は、Ｓ１２０〜Ｓ１２２と同様である。

＜第１１実施形態＞
図３７は第１１実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

光源色と代表色との差分算出部５２ｆ−５は、各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１からの光源色との差分を算出する。

図３８は第１１実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ１６１〜Ｓ１６７は、Ｓ１３１〜Ｓ１３７と同様である。

Ｓ１６８では、顔ＡＷＢの光源色と各エリアの代表色との差分Ｌを算出する。どのような差分を用いるかは任意であり、例えば上述した差分最小値Ｌｍｉｎや重みづけ差分平均Ｌ’などである。

Ｓ１６９では、差分Ｌが所定の閾値Ｔ５以下であるか否かを判断する。Ｌ≦Ｔ５ならばＳ１７０，Ｌ＞Ｔ５ならばＳ１７１に進む。

Ｓ１７０〜Ｓ１７２はＳ２８〜Ｓ３０と同様である。

＜第１２実施形態＞
図３９は第１２実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

重みα算出部５２ｉは、例えば図４０のような差分Ｌと重みαとの関係を規定した関数を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定することで、重みαを算出する。

図４１は第１２実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ１８１〜１８８は、Ｓ１６１〜Ｓ１６８と同様である。

Ｓ１８９〜Ｓ２００は、Ｓ３７〜Ｓ４８（図１６）と同様である。ただし、Ｓ１８９、Ｓ１９３で用いられる閾値は、それぞれＴ６、Ｔ７である。

＜第１３実施形態＞
図４２は第１３実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

最終光源色算出部５２ｊは、例えば図４３のような差分Ｌと重みαとの関係を規定した重み決定関数を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定することで、重みαを算出する。

図４４は第１３実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ２１１〜Ｓ２１８は、Ｓ１８１〜Ｓ１８８と同様である。

Ｓ２１９〜Ｓ２３０は、Ｓ５７〜Ｓ６８（図１９）と同様である。ただし、Ｓ２１９、Ｓ２２３で用いられる閾値は、それぞれＴ８、Ｔ９である。

＜第１４実施形態＞
図４５は第１４実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

図４６に例示するように、表示アイコン作成部５２ｑは、重みα（）を示すアイコンＩＣの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともに表示させる。

図４７は第１４実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ２４１〜Ｓ２５７は、Ｓ１８１〜Ｓ２００（図４１）と同様である。

Ｓ２５８では、重みαを示すアイコンＩＣの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともにポストビュー（撮像後の画像ビュー）として表示させる。これにより、ユーザはどのような重みが加えられているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。

＜第１５実施形態＞
図４８は第１５実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

図４９に例示するように、表示枠作成部５２ｑは、顔ＡＷＢの光源色に最も近い代表色を有するエリアを示す枠Ｆの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともに表示させる。

図５０は第１５実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ２６１〜Ｓ２６７は、Ｓ１８１〜Ｓ２００と同様である。

Ｓ２７８では、顔ＡＷＢの光源色に最も近い代表色を有するエリアを示す枠Ｆの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともにポストビューとして表示させる。これにより、ユーザはどのエリアの特徴データがホワイトバランスの基準となっているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。

＜第１６実施形態＞
図５１は第１６実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

重みα’算出部５２ｓは、ＣＰＵ３３の指令に従って操作部２３から読み込まれた顔ＡＷＢの優先度に基づき、重みα’を算出する。

ここで、顔ＡＷＢの優先度とは、例えば、高（設定優先度が標準の優先度よりも高く、画像信号処理回路４４で算出した重みαよりも重みα’を大きくする）、中（設定優先度と標準の優先度が同じであり、画像信号処理回路４４で算出した重みαと重みα’を同じにする）、低（設定優先度が標準の優先度よりも低く、画像信号処理回路４４で算出した重みαよりも重みα’を小さくする）の３段階のレベルからなり、その中から、ユーザが所望のレベルを１つ選択できる。無論、高および低の段階は、さらに重みα’を所望の幅で増減可能にするため、さらに細分された段階を有していてもよい。

図５２は第１６実施形態に係るホワイトバランス補正処理のフローチャートである。

Ｓ２８１〜Ｓ２９５は、Ｓ２６１〜Ｓ２７５（図５０）と同様である。

Ｓ２９６では、操作部２３から、顔ＡＷＢの優先度の設定（重みα’）を読み込む。そして、設定された顔ＡＷＢの優先度（重みα’）と基準の顔ＡＷＢの優先度（重みα）が一致しているかを判断する。両者が一致する場合はＳ２９７、一致しない場合にはＳ２９８に進む。

Ｓ２９７では、Ｓ４７と同様、重みαに基づいて最終ＷＢ補正値を算出する。

Ｓ２９８では、設定された顔ＡＷＢの優先度（重みα’）が基準の顔ＡＷＢの優先度（重みα）よりも大きいかを判断する。“Ｙ”の場合はＳ２９９、“Ｎ”の場合場合にはＳ３０１に進む。

Ｓ２９９では、重みα’に基づいて最終ＷＢ補正値を算出する。この場合、結果的に顔ＡＷＢの重みが上がるから、顔ＡＷＢ補正値に近い最終補正値が得られる（Ｓ３００）。

Ｓ３０１では、重みα’に基づいて最終ＷＢ補正値を算出する。この場合、結果的に顔ＡＷＢの重みが下がるから、通常ＡＷＢ補正値に近い最終補正値が得られる（Ｓ３０２）。

Ｓ３０３は、Ｓ２７７と同様である。

このように、ユーザの好みに応じて顔ＡＷＢ、通常ＡＷＢの重みを変えることで、ユーザの意図通りの画像データを得ることができる。

デジタルカメラの電気的構成を示す図 第１実施形態に係る画像信号処理回路のブロック図 第１実施形態に係るホワイトバランス補正処理のフローチャート 第２実施形態に係る画像信号処理回路のブロック図 色空間（Ｒ／Ｇ，Ｂ／Ｇ）における光源色Ｌ１およびＬ２を例示した図 第２実施形態に係るホワイトバランス補正処理のフローチャート 第３実施形態に係る画像信号処理回路のブロック図 光源色Ｌ１およびＬ２の差分量（距離）の算出式の一例を示す図 第３実施形態に係るホワイトバランス補正処理のフローチャート 第４実施形態に係る画像信号処理回路のブロック図 第４実施形態に係るホワイトバランス補正処理のフローチャート 光源色Ｌ１とＬ２と閾値の関係を例示した図 本実施形態のホワイトバランス補正による具体的効果を例示した図 第５実施形態に係る画像信号処理回路のブロック図 重みα特定関数および通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式を例示した図 第５実施形態に係るホワイトバランス補正処理のフローチャート 第６実施形態に係る画像信号処理回路のブロック図 重みα特定関数および通常ＡＷＢ光源色と顔ＡＷＢ光源色とを加重平均する数式を例示した図 第６実施形態に係るホワイトバランス補正処理のフローチャート 第７実施形態に係る画像信号処理回路のブロック図 画像データ全体を所定の１または複数のエリアに分割した様子を例示した図 第７実施形態に係るホワイトバランス補正処理のフローチャート 本実施形態のホワイトバランス補正による具体的効果を例示した図 通常ＡＷＢにおける光源推定が、顔ＡＷＢにおける光源推定とかけ離れている画像データを例示した図 第８実施形態に係る画像信号処理回路のブロック図 第８実施形態に係るホワイトバランス補正処理のフローチャート 顔領域の光源色および各エリアの代表色が色空間にプロットされた様子を例示した図 第９実施形態に係る画像信号処理回路のブロック図 色空間における各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色との差分（距離）Ｌを算出する数式を例示した図 第９実施形態に係るホワイトバランス補正処理のフローチャート 各エリアの代表色ごとに求められた顔領域の光源色との差分Ｌｉのうち最小値Ｌｍｉｎを例示した図 第１０実施形態に係る画像信号処理回路のブロック図 光源色の近傍に位置する所定個数の代表色と光源色の色空間における位置を例示した図 重みβｉを特定するための差分量と重みの関係を規定する関数を例示した図 距離Ｌｉの加重平均Ｌを例示した図 第１０実施形態に係るホワイトバランス補正処理のフローチャート 第１１実施形態に係る画像信号処理回路のブロック図 第１１実施形態に係るホワイトバランス補正処理のフローチャート 第１２実施形態に係る画像信号処理回路のブロック図 差分Ｌの値に対応する重みαを特定するための差分量と重みの関係を規定する関数を例示した図 第１２実施形態に係るホワイトバランス補正処理のフローチャート 第１３実施形態に係る画像信号処理回路のブロック図 重みα決定関数を例示した図 第１３実施形態に係るホワイトバランス補正処理のフローチャート 第１４実施形態に係る画像信号処理回路のブロック図 重みαを画像データに重畳してポストビュー表示した一例を示す図 第１４実施形態に係るホワイトバランス補正処理のフローチャート 第１５実施形態に係る画像信号処理回路のブロック図 顔ＡＷＢの光源色と代表色が比較された分割エリアを示す枠を画像データに重畳してポストビュー表示した一例を示す図 第１５実施形態に係るホワイトバランス補正処理のフローチャート 第１６実施形態に係る画像信号処理回路のブロック図 第１６実施形態に係るホワイトバランス補正処理のフローチャート

符号の説明

４４：画像信号処理回路、５２ａ：顔領域特定部、５２ｂ：顔ＡＷＢ補正値算出部、５２ｃ：顔ＡＷＢ特徴データ抽出部、５２ｄ：通常ＡＷＢ補正値算出部、５２ｅ：通常ＡＷＢ特徴データ抽出部、５２ｆ：特徴データ比較部、５２ｇ：最終ＡＷＢ補正値算出部、５２ｈ：ＷＢ補正部

Claims (14)

1. 画像データを入力するステップと、
   入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、
   前記画像データから顔領域を特定するステップと、
   前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、
   前記画像データから第１の特徴データを抽出するとともに、前記顔領域中の画像データから第２の特徴データを抽出するステップと、
   前記第１の特徴データと前記第２の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔ＡＷＢ補正値または前記通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップと、
   を含むオートホワイトバランス補正値算出方法。
2. 前記第１の特徴データは前記画像データに基づいて特定された光源色であり、前記第２の特徴データは前記顔領域に基づいて特定された光源色である請求項１に記載のオートホワイトバランス補正値算出方法。
3. 前記画像データの光源色と前記顔領域の光源色との差分量を算出するステップと、
   前記差分量が前記所定の閾値以上であるか未満であるかに応じて、前記顔ＡＷＢ補正値または前記通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップと、
   をさらに含む請求項２に記載のオートホワイトバランス補正値算出方法。
4. 画像データを入力するステップと、
   入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、
   前記画像データから顔領域を特定するステップと、
   前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、
   前記画像データから第１の特徴データを抽出するとともに、前記顔領域中の画像データから第２の特徴データを抽出するステップと、
   前記第１の特徴データと前記第２の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップと、
   を含むオートホワイトバランス補正値算出方法。
5. 前記最終的なＡＷＢ補正値を表示するステップをさらに含む請求項１〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
6. 顔優先度の選択を受け付けるステップと、
   前記顔優先度に応じて前記重みを変化させるステップと、
   をさらに含む請求項４に記載のオートホワイトバランス補正値算出方法。
7. 請求項１〜６のいずれかに記載のオートホワイトバランス補正値算出方法をコンピュータに実行させるオートホワイトバランス補正値算出プログラム。
8. 画像データを入力する画像データ入力部と、
   前記画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、
   前記画像データから顔領域を特定する顔領域特定部と、
   前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、
   前記画像データから第１の特徴データを抽出するとともに、前記顔領域中の画像データから第２の特徴データを抽出する特徴データ抽出部と、
   前記第１の特徴データと前記第２の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔ＡＷＢ補正値または前記通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択する最終ＡＷＢ補正値算出部と、
   を備えるオートホワイトバランス補正値算出装置。
9. 前記第１の特徴データは前記画像データに基づいて特定された光源色であり、前記第２の特徴データは前記顔領域に基づいて特定された光源色である請求項８に記載のオートホワイトバランス補正値算出装置。
10. 前記画像データの光源色と前記顔領域の光源色との差分量を算出する差分量算出部をさらに備え、
    前記最終ＡＷＢ補正値算出部は、前記差分量が前記所定の閾値以上であるか未満であるかに応じて、前記顔ＡＷＢ補正値または前記通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択する請求項９に記載のオートホワイトバランス補正値算出装置。
11. 画像データを入力する画像データ入力部と、
    前記画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、
    前記画像データから顔領域を特定する顔領域特定部と、
    前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、
    前記画像データから第１の特徴データを抽出するとともに、前記顔領域中の画像データから第２の特徴データを抽出する特徴データ抽出部と、
    前記第１の特徴データと前記第２の特徴データとの差が所定の閾値以上であるか未満であるかに応じて、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、
    を備えるオートホワイトバランス補正値算出装置。
12. 前記最終的なＡＷＢ補正値を表示する表示部をさらに備える請求項８〜１１のいずれかに記載のオートホワイトバランス補正値算出装置。
13. 顔優先度の選択を受け付ける顔優先度選択部をさらに備え、
    前記最終ＡＷＢ補正値算出部は、前記顔優先度に応じて前記重みを変化させる請求項１１に記載のオートホワイトバランス補正値算出装置。
14. 請求項８〜１３のいずれかに記載のオートホワイトバランス補正値算出装置と、
    撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、
    前記アナログ画像信号をデジタル画像データに変換して前記画像データ入力部に出力する画像データ出力部と、
    前記オートホワイトバランス補正値算出装置の算出した最終的なＡＷＢ補正値に基づいて前記画像データのホワイトバランスを補正する補正部と、
    を備える撮像装置。

Images