JP5049490B2

JP5049490B2 - デジタルカメラ、ゲイン算出装置

Info

Publication number: JP5049490B2
Application number: JP2005364816A
Authority: JP
Inventors: 順三桜井
Original assignee: イーストマンコダックカンパニー
Priority date: 2005-12-19
Filing date: 2005-12-19
Publication date: 2012-10-17
Anticipated expiration: 2025-12-19
Also published as: US7830419B2; JP2007173933A; US20070139532A1

Description

本発明は、ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラ、当該ホワイトバランス処理で用いられるホワイトバランスゲインを算出するゲイン算出装置に関する。

デジタルカメラでは、環境光源の色温度が異なっていても、常に白色物を正確に白く映し出すように補正するホワイトバランス（ＷＢ）処理を行う。ＷＢ処理では、ユーザが環境光源の種類を指定するマニュアルホワイトバランス（ＭＷＢ）処理と、カメラ側で環境光源の種類を自動判定するオートホワイトバランス（ＡＷＢ）が存在する。このうち、ＡＷＢでは、撮像された画像を複数のブロックに分割するとともに、各ブロックを構成する複数のピクセルの色値の代表値を算出し、この代表値に基づいて各ブロックの光源種類を判定する。そして、光源種類ごとのブロック数等に基づいて環境光源を推定している。

ここで、ＡＷＢにおいて、適切にホワイトバランス処理を施すためには、正確な環境光源推定が不可欠である。そのため、従来から、正確に環境光源（環境光源の色）を推定するための技術が多数提案されている。

例えば、特許文献１では、ストロボ撮影を行う際における被写体に及ぼすフラッシュ光と定常光の影響、ひいては、環境光源の色を正確に推定するための技術が開示されている。特許文献１に記載の技術では、本撮影に先立って、予備発光しながら撮影した予備発光画像データと、予備発光することなく撮影した比較画像データと、を取得する。そして、この予備発光画像データと比較画像データとの輝度値の変化量、および、輝度値に及ぼす予備発光の影響度に基づいて、被写体に及ぼすフラッシュ光と定常光の影響を判断したうえで、本撮影画像のＷＢ処理を行う。

また、特許文献２には、各ブロック（ブロック）の光源判定の際に、蛍光灯や昼光などの想定光源の典型色差と各ブロックの代表色差成分との距離を求め、当該距離からそのブロックが想定光源で照明されている信頼度を求めることが記載されている。そして、得られた信頼度や典型色差等に基づき、その画像のシーンを照明する照明光の色（環境光源の色）を求め、これを打ち消すようにホワイトバランス調整を行っている。これにより、より安定的に適切なホワイトバランス処理が可能となる。

特開２００３−３０９８５４号公報特開２００１−１１２０１９号公報

ところで、ある種類の光源下における白色物の色と、他の種類の光源下における有色物の色が類似することが知られている。換言すれば、光源誤判定が生じやすい色範囲があることが知られている。例えば、昼光下での緑色物（例えば植物の葉など）の色は、蛍光灯下での白色物の色と類似していることが知られている。したがって、昼光下において緑色物が大部分を占める被写体を撮像した場合、当該緑色物部分のブロック光源種類を「蛍光灯光」と誤判定してしまい、結果として撮像画像全体の環境光源を誤判定する場合がある。

従来の技術では、この光源誤判定が生じやすい色範囲については考慮されていない。そのため、被写体が光源誤判定が生じやすい色を持っていた場合、環境光源の誤判定が生じ、結果として適切なＷＢ処理ができない場合があった。

そこで、本発明では、被写体の色に関わらず、適切なＷＢ処理が可能なデジタルカメラ、および、当該ＷＢ処理に用いられるＷＢゲインを算出するゲイン算出装置を提供することを目的とする。

本発明のデジタルカメラは、ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラであって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得手段と、ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得手段と、第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、推定された環境光源に応じて、本画像のホワイトバランスゲインを算出するゲイン算出手段と、を備え、色変化傾向取得手段は、第一画像および第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づき、色変化傾向を取得する、ことを特徴とする。

色変化傾向取得手段は、第一画像と第二画像との間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として取得することがより望ましい。また、色変化傾向取得手段は、第一画像と第二画像との間で、同一座標のブロックの代表値の変化量を色変化傾向として取得することも望ましい。また、色変化傾向取得手段は、第一画像および第二画像の間での、各光源ごとのブロック数の差を色変化傾向として取得することも望ましい。

他の好適な態様では、さらに、本画像撮像時にストロボ光を本照射するか否かを判断する手段を備え、本照射すると判断された場合、環境光源推定手段は、色変化傾向に基づいて非照射時の環境光源を推定し、非照射時の環境光源と本照射のストロボ光のミックス割合を求め、得られたミックス割合と非照射時の環境光源とに基づいて本画像撮像時の環境光源を推定する。

他の好適な態様では、環境光源推定手段は、被写界に対する予備照射の影響度を求める影響度取得手段を備えており、得られた影響度および色変化傾向に基づいて環境光源を推定する。この場合、影響度取得手段は、少なくとも、被写界輝度と被写界における予備照射の輝度との比率に基づいて予備照射の影響度を求めることが望ましい。また、影響度取得手段は、少なくとも、第一画像および第二画像の輝度値の変化量に基づいて予備照射の影響度を求めることが望ましい。

予備照射の影響度が所定の基準値未満の場合、環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定するとともに得られた仮の環境光源に基づいて各光源種類の重み係数を求め、本画像を複数のブロックに分割するとともに各ブロックの色値の代表値および各ブロックの光源種類を判定し、本画像における各光源種類ごとのブロック数に当該光源種類に応じた重み係数を乗じた値に基づいて環境光源を推定することが望ましい。

別の態様として、予備照射の影響度が所定の基準値未満の場合、環境光源推定手段は、色変化傾向に基づいて仮の環境光源を推定し、仮の環境光源と異なる光源下における白色物の色範囲として光源誤判定の生じやすい領域を除いた領域を設定し、本画像を複数のブロックに分割するとともに前記設定された白色物色範囲に基づいて各ブロックの光源種類を判定し、当該ブロックごとの光源種類判定結果に基づいて環境光源を推定することが望ましい。

他の好適な態様では、さらに、第二画像の取得の要否を判断する第二画像要否判断手段を備え、第二画像の取得が不要と判断された場合、第二画像の取得、色変化傾向の取得は行わず、環境光源推定手段は、本画像に基づいて環境光源を推定する。

ここで、第二画像要否判断手段は、少なくとも、本画像撮像時のストロボ光の照射の有無に基づいて第二画像の取得の要否を判断することが望ましい。また、第二画像要否判断手段は、少なくとも、第一画像に含まれる光源誤判定の生じやすい色部分の割合に基づいて第二画像の取得の要否を判断することも望ましい。また、第二画像要否判断手段は、被写界に対する予備照射の影響度に基づいて第二画像の取得の要否を判断することも望ましい。

他の好適な態様では、第一画像および第二画像は、電子ファインダに撮像可能画像として表示されるプレビュー画像である。

他の本発明であるゲイン算出装置は、ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出装置であって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像した第一画像およびストロボ光の予備照射をしながら本画像と同一被写界を撮像した第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づいて予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、推定された環境光源に応じて、本画像のＷＢゲインを算出するゲイン算出手段と、を備えることを特徴とする。

他の本発明であるゲイン算出方法は、ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出方法であって、ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得ステップと、ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得ステップと、第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得ステップと、少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定ステップと、推定された環境光源に応じて、本画像のＷＢゲインを算出するゲイン算出ステップと、を備えることを特徴とする。

なお、ここで、「環境光源の推定」とは、「蛍光灯光」や「昼光」といった光源種類の推定の他、環境光源の色範囲の推定や、環境光源と同種の光源下における白色物の色範囲の推定も含む。

本発明では、予備照射による被写界の色の変化傾向を取得し、当該色の変化傾向を考慮して本画像の環境光源を推定している。したがって、被写体が本来有している色に関わらず、正確な環境光源の推定、ひいては、適切なＷＢゲインの算出ができる。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の実施形態であるデジタルカメラ１０の構成を示すブロック図である。このデジタルカメラ１０は、通常のデジタルカメラと同様に、画像撮像した際の環境光源の種類（または環境光源の色温度）を推定し、推定された環境光源に応じたホワイトバランス（以下「ＷＢ」という）ゲインを算出するオートＡＷ機能を備えている。ここで、従来のオートＷＢでは、撮像画像データに基づいて環境光源を推定していた。しかし、後に詳説するが、撮像画像データに基づいて環境光源を推定した場合、被写体が持つ色によって誤推定が生じる場合があった。本実施形態のデジタルカメラは、かかる環境光源の誤推定、ひいては、不適切なＷＢゲインの算出を防止でき得る構成となっている。具体的には、本実施形態では、ユーザの意図する画像（以下「本画像」という）の撮像に先立って予備的に画像を二回撮像し、得られた二つの予備的な画像に基づいて環境光源を推定している。二つの予備的な画像とは、ストロボ照射をすることなく本画像と同一被写界を撮像した第一画像と、ストロボ照射をしながら本画像と同一被写界を撮像した第二画像である。この第一画像と第二画像との比較に基づき、ストロボ光の照射前後での被写界の色の変化傾向を取得し、この色変化傾向に基づいて環境光源を推定している。以下、このデジタルカメラ１０の構成について詳説する。

絞り部材１２およびレンズ１４を介して入力された被写界光は、撮像デバイスであるＣＣＤ１６で焦点を結ぶ。絞り部材１２の絞り量およびレンズ１４の移動量は、ＣＰＵ４８により制御される。ＣＣＤ１６は、入力された被写界光を電気信号に変換し、撮像データとして出力する。このＣＣＤ１６による光電変換のタイミングは、タイミングジェネレータ（ＴＧ）３６を介してＣＰＵ４８により制御される。通常、ＣＣＤ１６は、ＬＣＤ３４に表示されるプレビュー画像取得のために一定間隔で常時、電荷の蓄積および電荷の掃き出しを行う。また、ユーザから撮像指示があった場合には、プレビュー画像取得のため光電変換を一時中断し、本画像撮像に必要な露光時間をかけて電荷を蓄積した上で、電荷の掃き出しを行う。

ＣＣＤ１６から出力された電気信号は、二重相関サンプリング回路（ＣＤＳ）１８による所定のアナログ信号処理、増幅回路（ＡＭＰ）２０による増幅処理が施された後、Ａ／Ｄ変換器（Ａ／Ｄ）２２によりデジタルデータに変換される。デジタルデータは、画像データとして画像メモリ２４に一時記憶される。

画像メモリ２４に一時記憶された画像データは、画像処理部２５およびＷＢゲイン取得部５１に出力される。画像処理部２５において画像データは、ＲＧＢ分離部２６によりＲ成分、Ｇ成分、Ｂ成分の三つの色成分に分離される。分離されたデータは、ＷＢ処理部２８、γ補正部３０、色補正部３２に順次送られ、所定の画像処理が施される。このうち、ＷＢ処理部２８では、ＷＢゲイン取得部５１で算出された三種類のＷＢゲイン、すなわち、Ｒゲイン、Ｇゲイン、Ｂゲインを、対応する色成分データに乗算することによりＷＢ処理を行う。

画像処理が施された画像データは、ＬＣＤ３４および画像メモリ４０に出力される。ＬＣＤ３４は、画像処理が施された画像データを電気的に表示する。ここでＬＣＤ３４に表示される画像データはプレビュー画像と、後述する記録媒体４４に記録された撮像画像と、がある。プレビュー画像を表示している場合、ＬＣＤ３４は、撮像可能な被写界像を表示する電子ファインダとして機能する。また、記録媒体４４に記録された撮像画像を表示している場合、ＬＣＤ３４は、撮像済みの画像を再生表示する再生モニタとして機能する。

画像メモリ４０に一時記憶された画像データは、圧縮伸張回路４２により圧縮処理された後、記録媒体４４に記録される。この記録媒体４４に記録された画像データは、ユーザからの指示に応じて、圧縮伸張回路４２により伸張処理された後、ＬＣＤ３４に表示される。ユーザは、このＬＣＤ３４の表示を見ることにより、撮像画像の内容を確認することができる。メモリコントローラ３８は、二つの画像メモリ２４，４０の動作を制御する。

ストロボ装置４６は、被写界に向かってストロボ光を照射する装置である。本実施形態のストロボ装置４６は、キセノン管を光源としており、その照射光の色温度は約６５００Ｋ前後となっている。このストロボ装置４６の照射タイミングや照射量は、ＡＥ／ＡＦ／ストロボ制御部５０により制御されている。

ここで、ストロボ光は、被写界の光量不足を補うために照射される。また、本実施形態では、光量不足を補足するためだけでなく、環境光源推定のための参考画像である第二画像取得時にもストロボ光を照射する。すなわち、後に詳説するが、本実施形態では、正確な環境光源の推定、ひいては、適切なＡＷＢゲインの算出のために、本撮影に先立って、予備的な撮像を二回行う。予備的な撮像の一回目はストロボ非照射で行われ、予備的な撮像の二回目はストロボ照射しながら行われる。そして、ストロボ非照射状態で撮像された第一画像と、ストロボ照射を行いながら撮像された第二画像と、を比較し、ストロボ光の照射に伴う被写界の色の変化傾向を取得する。そして、得られた色の変化傾向に基づいて環境光源の推定を行っている。

ＡＥ／ＡＦ／ストロボ制御部５０は、図示しないＡＥセンサや、側距センサの検出値に基づいて、環境輝度や被写体距離を算出し、露光量、レンズ１４の駆動量、ストロボ照射のタイミングや照射量等を算出する。そして、得られた露光量等に基づいてＴＧ３６のタイミング制御を、レンズ駆動量に応じてレンズ１４の駆動を、ストロボ照射のタイミングや照射量に基づいてストロボ装置４６を、それぞれ制御する。

ＷＢゲイン取得部５１は、既述のＷＢゲイン処理で用いられるＷＢゲインを算出するもので、ブロック情報取得部５２、環境光源推定部５４、ゲイン算出部５６に大別される。ブロック情報取得部５２は、撮像により得られた画像を複数のブロック（ブロック）に分割したうえで、各ブロックの代表値および各ブロックの光源種類をブロック情報として算出する。環境光源推定部５４は、得られたブロック情報等に基づいて環境光源を推定する。ゲイン算出部５６は、推定された環境光源、および、ブロック情報等に基づいてＷＢゲインを算出する。算出されたＷＢゲインは、既述のＷＢ処理部２８に出力される。なお、環境光源をユーザが指定するマニュアルＷＢ設定の場合には、ブロック情報は、環境光源推定部５４に出力されることなく、直接、ゲイン算出部５６に出力される。また、ＡＥ／ＡＦ／ストロボ制御部５０およびＷＢゲイン取得部５１は、実際には、ＣＰＵ４８の一機能として実現されている。そして、説明を省略しているが、このＣＰＵ４８は、既述のＡＥ、ＡＦ、ストロボの制御やＷＢゲインの算出のほか、ユーザからの指示に応じて、デジタルカメラ１０全体を制御している。なお、ユーザからの指示は、操作部５８を介して入力される。

次に、このデジタルカメラ１０でのＡＷＢ処理の流れについて説明する。はじめに従来のＡＷＢ処理の流れについて簡単に説明する。従来のＡＷＢ処理では、ユーザからの撮影指示に従って本画像の撮像が実行されると、得られた本画像に基づいて環境光源を推定し、推定された環境光源に応じたＡＷＢゲインを算出する。ここで本画像に基づく環境光源の推定は次の手順で行われる。まず、画像メモリ２４に記憶された本画像を複数のブロック（ブロック）に分割する。続いて、各ブロックの色値の代表値、具体的には、各ブロックを構成する複数のピクセルの色値の平均値を算出する。各ブロックの代表値が算出できれば、当該代表値に基づき、各ブロックの光源種類を判定する。このブロックごとの光源種類の判定は、予め、規定された白色物色範囲に基づいて行われる。白色物色範囲は、各種光源下における白色物の色範囲を示すものである。すなわち、周知のとおり、同じ白色物であっても光源種類により実際に発する色は変化する。この光源種類に応じた白色物の色範囲を示したものが白色物色範囲である。

図２は、白色物色範囲の一例を示す図である。図２は、各種光源下における白色物の色範囲を、Ｔスペースと呼ばれるカラースペース上で表現したものである。ＲＧＢ値で表現された色をＴスペース上の座標値に変換する場合は、次式を用いる。

ここで、Ｔｌはブロックの輝度を表し、Ｔｇ，Ｔｉはブロックの色差を表す。Ｔスペースにおいては、このＴｇが縦軸、Ｔｉを横軸として色を表現している。なお、ここで用いた線形変換の行列はあくまで一例であり、別の行列を用いてももちろん良い。

図２において示された矩形は、各種光源下における白色物の色範囲を示している。すなわち、矩形Ｅｆは蛍光灯光下における白色物の色範囲を、矩形Ｅｄは昼光下における白色物の色範囲を、矩形Ｅｏは日陰光下における白色物の色範囲を、矩形Ｅｔはタングステン光下における白色物の色範囲を、それぞれ示している。

従来のＡＷＢ処理では、この白色物色範囲と本画像の各ブロックの代表値とを比較して、本画像の各ブロックの光源種類を判定していた。すなわち、Ｔスペースにおける各ブロックの代表値の座標値を求め、当該座標がいずれの白色物色範囲に含まれるかを判定する。例えば、代表値の座標値が矩形Ｅｆの内部に位置する場合、当該ブロックの光源種類は「蛍光灯光」であると判断できる。一方、いずれの白色物色範囲にも含まれない場合には、当該ブロックの光源は無し、と判断される。そして、本画像を構成する全てのブロックについて、代表値の算出、および、光源種類の判定が終了すれば、各光源種類ごとにブロック数をカウントする。カウントの結果、ブロック数が最多となる光源種類を、当該本画像全体の光源、すなわち、環境光源と判定する。本画像全体の環境光源が判定できれば、当該環境光源の本画像全体に対する寄与度を求め、当該寄与度に応じたＡＷＢゲインを算出する。

このように、従来のＡＷＢ処理では、本画像から環境光源を推定し、当該環境光源に応じたＡＷＢゲインを算出していた。ここで、適正なＡＷＢゲインを算出するためには、正確に環境光源を推定することが必須である。しかしながら、本画像のみに基づいて環境光源を推定する従来の方法では、正確に環境光源を推定することは困難であった。その原因として、ある光源下における有色物の色が、他の光源下における白色物色範囲に含まれることが挙げられる。例えば、昼光下における緑色物の色（例えば、植物の葉など）は、蛍光灯下における白色物の色と類似していることが知られている。他にも、昼光下におけるオレンジ色物の色は、タングステン光下における白色物の色と類似している。また、蛍光灯光下における水色物の色は、昼光下における白色物の色と類似していることが知られている。図２において破線で示した楕円は、かかる他光源下における白色物色範囲に含まれる有色物の色範囲を示している。すなわち、楕円Ａは昼光下における緑色物の色範囲を、楕円Ｂは蛍光灯光下における水色物の色範囲を、楕円Ｃは昼光下におけるオレンジ色物の色範囲を示している。各ブロックの代表値が、これら有色物の色範囲Ａ〜Ｃに含まれていた場合、各ブロックの光源を誤判定する恐れがあった。すなわち、代表値が楕円Ａ内に位置する場合、当該ブロックは蛍光灯下における白色物か、昼光下における緑色物であるかが判断できない。その結果、各ブロックの光源種類を誤判定してしまい、結果として画像全体の光源種類（環境光源）を誤推定する場合があった。

本実施形態は、かかる誤推定を防止し、より正確に環境光源を推定するために、本画像の撮影に先立って、予備的な画像である第一画像および第二画像を取得し、これら第一画像および第二画像に基づいて環境光源の推定を行っている。第一画像はストロボ光の予備照射をすることなく、第二画像はストロボ光の予備照射をしながら、それぞれ撮像する。そして、この第一画像および第二画像の色の変化傾向、換言すればストロボ光の予備照射前後での色の変化傾向に基づいて環境光源を推定している。以下、この第一画像および第二画像を利用したＡＷＢ処理の流れについて説明する。

図３は、ＷＢ設定としてＡＷＢが指示された状態での撮影処理の流れを示すフローチャートである。本実施形態では、通常の撮像動作と異なり、ユーザが意図した本画像の他に、予備的な画像、すなわち、第一画像および第二画像も撮像する。この第一画像および第二画像は、後に詳説するように環境光源推定に利用される。以下、本実施形態における撮像処理の流れについて説明する。

既述したように、デジタルカメラ１０は、ＬＣＤ３４に表示するためのプレビュー画像を常時取得している。取得されたプレビュー画像は、ＬＣＤ３４に表示された後、廃棄される。この状態で、デジタルカメラ１０のＣＰＵ４８は、レリーズスイッチの半押し（Ｓ１）を検出すると、プレビュー画像を第一画像として画像メモリに一時記録する（Ｓ１０、Ｓ１４）。

第一画像の取得後、次のプレビュー画像取得までの間にレリーズスイッチの全押し（Ｓ２）が検出されなければ、画像メモリに記録されている第一画像を廃棄し、代わりに、新たに取得したプレビュー画像を第一画像として画像メモリに記憶する（Ｓ１４，Ｓ１２）。レリーズスイッチＳ２が検出できるまで、この作業は繰り返される。

第一画像の取得後、次のプレビュー画像取得までの間にレリーズスイッチＳ２が検出できた場合、次のプレビュー画像を第二画像として取得する（Ｓ１８）。ここで、第二画像は、ストロボ光の予備照射をしながら撮像することで取得される。すなわち、レリーズスイッチＳ２が検出された時点で、ＡＥ／ＡＦ／ストロボ制御部５０は、ストロボ装置４６に対してストロボ光の照射を指示する。ストロボ光の予備照射をしながら撮像することにより得られたプレビュー画像は、第二画像として画像メモリに記憶される。

第二画像が取得できれば、続いて、本画像の撮像を行う（Ｓ２０）。本画像は、ユーザが意図した画像として、画像メモリ２４に記憶される。以上の流れで、第一画像、第二画像、および、本画像が得られれば、撮影処理は終了となる。

ここで、第一画像の取得を、レリーズスイッチＳ２の検知前に行っているのは、レリーズスイッチＳ２動作から本画像撮像までの時間を短くするためである。すなわち、レリーズスイッチＳ２はユーザからの画像撮像指示である。かかる画像撮像指示から本画像撮像までの時間が長いと、ユーザが意図する画像が得られない場合がある。そこで、本実施形態では、第一画像の取得をレリーズスイッチＳ２動作がなされる前に行っている。ただし、後に詳説するように、第一画像の被写体および第二画像の被写体は、本撮像画像の被写体とほぼ同じであることが必要である。換言すれば、第一画像撮像から本画像までに大きな時間差が無いことが望ましい。そこで、本実施形態では、既述したように、レリーズスイッチＳ１検知からレリーズスイッチＳ２検出までの間、第一画像の取得と廃棄を繰り返し、レリーズスイッチＳ２の直前に取得されたプレビュー画像を第一画像として記憶している。

ここで、レリーズスイッチＳ２動作から本画像撮像までの時間を短縮するためには、第二画像の取得もレリーズスイッチＳ２動作前に行うことが望ましい。しかし、レリーズスイッチＳ１からレリーズスイッチＳ２までの時間は、ユーザが決めることであり、カメラ側で予測することはできない。ストロボ光の予備照射を伴わない第一画像であれば、既述のとおり、プレビュー画像の取得と廃棄を繰り返すことにより、レリーズスイッチＳ２動作直前のプレビュー画像を第一画像として取得できる。これに対し、第二画像は、ストロボ光の予備照射を伴ったプレビュー画像であることが必要である。かかる第二画像の取得と廃棄を繰り返した場合、予備照射が繰り返し行われることになる。繰り返しの予備照射は、ユーザにとって不快であるばかりでなく、過度のバッテリ消費やユーザが故障と誤解するなどの問題を招く。そこで、本実施形態では、第二画像は、レリーズスイッチＳ２動作の直後に、１回だけ行うようにしている。

次に、このようにして得られた、第一画像および第二画像を利用したＡＷＢ処理について図４を用いて説明する。図４は、図３で図示した画像撮像処理と並行して行われるＡＷＢ処理の流れを示すフローチャートである。

ＡＷＢ処理を行う場合には、まず、第一画像を複数のブロックに分割し、当該第一画像のブロック情報を取得する（Ｓ２２）。ここで、ブロック情報とは、各ブロックの色値の代表値や、各ブロックの光源種類などの情報である。本実施形態では、各ブロックを構成する複数のピクセルの色値の平均値を代表値として取り扱う。ただし、各ブロックの持つ色情報を示すパラメータであれば、ピクセルの加算値等も代表値として取り扱える。各ブロックの光源種類は、当該ブロックの代表値と、予め規定された白色物色範囲と、に基づいて決定される。ここで使用される白色物色範囲は、従来の白色物色範囲、すなわち、図２に例示したような白色物色範囲と同じである。第一画像の各ブロックの代表値と白色物色範囲とを比較して、各ブロックの光源種類を判定する。そして、得られた各ブロックの代表値および光源種類を第一画像のブロック情報として一時記憶する。

第一画像のブロック情報を取得すれば、続いて、ストロボ光の予備照射をしながら撮像することにより得られた第二画像のブロック情報を取得する（Ｓ２４）。すなわち、第一画像と同様に、第二画像を複数のブロックに分割し、各ブロックの代表値を算出する。そして、第二画像の各ブロックの代表値と白色物色範囲とを比較し、各ブロックの光源種類を判定する。そして、得られた各ブロックの代表値および光源種類を第二画像のブロック情報として一時記憶する。

図５は、第一画像および第二画像の各ブロックの光源判定結果の一例を示す図である。この図５において、「Ｆｌ」は「蛍光灯光」と判定されたブロックを、「Ｄｙ」は「昼光」と判定されたブロックを、「Ｔｎ」は「タングステン光」と判定されたブロックを、それぞれ示している。また、記号が付されていないブロックは「光源無し」と判断されたブロックを示している。

次に、第一画像のブロック情報と第二画像のブロック情報とを比較して、ストロボ光の予備照射前後での色変化傾向を取得する（Ｓ２６）。色変化傾向としては、各種の算出方法が考えられるが、本実施形態では、第一画像および第二画像の間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として記憶する。

例えば、図５に図示した例であれば、太線で囲んだブロックＰ１，Ｐ２，Ｐ３が、第一画像および第二画像の間で光源種類が変化したブロックである。この図５において、第一画像において「Ｆｌ」であった五ブロックのうち三ブロックＰ１は第二画像において「Ｄｙ」に変化していることがわかる。すなわち、３／５の割合で「Ｆｌ」ブロックが「Ｄｙ」ブロックに変化している。同様に、４／１４の割合で「Ｄｙ」ブロックが「光源無し（白色物色範囲外）」に、２／４の割合で「Ｔｎ」ブロックが「光源無し（白色物色範囲外）」に変化していることがわかる。本実施形態では、この光源種類ごとのブロック変化割合および変化後の光源種類を色変化傾向として算出される。

色変化傾向が算出されれば、続いて、当該色変化傾向に基づいて環境光源を推定する（Ｓ２８）。ここで、予備照射の前後における色変化傾向に基づいて環境光源が推定できる原理について説明する。当然のことながら、予備照射を行った場合、被写体の色は、当該予備照射の影響を受けて変化する。この色の変化傾向が、（ストロボ光非照射時の）環境光源種類に応じて異なることが知られている。図６〜図８は、それぞれ、「蛍光灯光」、「タングステン光」、「昼光」の環境光源下でストロボ照射した場合の色の変化方向を示す図である。なお、図６〜図８では、参考のため、ストロボ光下における白色物色範囲Ｅｓも図示している。

図６に図示するとおり、蛍光灯光下でストロボ照射を行った場合、被写界の色は、青方向、かつ、マゼンタ方向に大きく移動する。したがって、予備照射によって、予備照射前に「蛍光灯光（Ｆｌ）」の白色物色範囲Ｅｆ内に位置した色は「昼光（Ｄｙ）」の白色物色範囲Ｅｄへ、予備照射前に「タングステン光（Ｔｎ）」の白色物色範囲Ｅｔ内に位置した色は白色物色範囲外へ、予備照射前に「昼光（Ｄｙ）」の白色物色範囲Ｅｄ内に位置した色は白色物色範囲外へ、それぞれ移動する。

また、図７に図示するとおり、環境光源が「タングステン光」の状態でストロボ照射を行った場合、被写界の色は、青方向にのみ大きく移動する。したがって、予備照射によって、予備照射前に「蛍光灯光（Ｆｌ）」の白色物色範囲Ｅｆ内に位置した色は白色物色範囲外方向へ、「タングステン光（Ｔｎ）」の白色物色範囲Ｅｔ内に位置した色は「昼光（Ｄｙ）」の白色物色範囲Ｅｄ方向へ、予備照射前に「昼光（Ｄｙ）」の白色物色範囲Ｅｄ内に位置した色は「日向日陰光（Ｏｓ）」の白色物色範囲Ｅｏ方向へ、それぞれ移動する。

また、図８に図示するとおり、環境光源が「昼光」の状態でストロボ照射を行った場合、被写界の色は、青方向にのみ僅かに移動する。したがって、予備照射を行っても、色の変化は殆ど生じない。

本実施形態では、以上の非照射時の環境光源種類に応じたストロボ照射に伴う色変化傾向の違いに基づいて、本画像の環境光源種類を推定している。すなわち、ストロボ照射することなく撮像された第一画像とストロボ照射しながら撮像された第二画像とを比較する。その結果、「Ｆｌ」ブロックの一部が「Ｄｙ」ブロックに、「Ｔｎ」ブロックの一部が「光源なし」ブロックに、「Ｄｙ」ブロックの一部が「光源無し」ブロックに変化した場合には、ストロボ光非照射時の環境光源を「蛍光灯（Ｆｌ）」と判断する。また、「Ｆｌ」ブロックの一部が「光源無し」ブロックに、「Ｔｎ」ブロックの一部が「Ｄｙ」ブロックに、「Ｄｙ」ブロックの一部が「光源なし」ブロックに、変化した場合には、ストロボ光非照射時の環境光源を「タングステン光（Ｔｎ）」と判断する。さらに、第一画像と第二画像との間での色変化が殆ど無かった場合には、ストロボ光非照射時の環境光源を「昼光（Ｄｙ）」と判断する。

図９は、第一画像および第二画像の間での色変化傾向と、当該色変化傾向に基づいて推定される環境光源種類と、の関係を示すテーブルである。本実施形態では、ステップＳ２６で得られた色変化傾向を、図９に図示するようなテーブルに当てはめて、環境光源種類を推定する。例えば、図５に例示した場合、第一画像から第二画像にかけて、３／５の「Ｆｌ」ブロックが「Ｄｙ」ブロックに、４／１４の「Ｄｙ」ブロックが「光源無し（白色物色範囲外）」に、２／４の「Ｔｎ」ブロックが「光源無し（白色物色範囲外）」に、それぞれ変化している。したがって、図５に例示した第一画像および第二画像が取得された場合、非照射時の環境光源は「蛍光灯光（Ｆｌ）」と推定することができる。

色変化傾向に基づく環境光源の推定ができれば、その後の流れは、従来のＡＷＢゲイン算出における環境光源推定後の流れと同様である。すなわち、本画像を複数のブロックに分割したうえで、各ブロックの代表値および光源種類を判定する。そして、推定された環境光源を同じ光源種類と判定されたブロックの数等に基づいて、当該環境光源の画像全体に対する寄与度を求める。そして、環境光源種類および寄与度等に基づいてＡＷＢゲインを算出する。ＡＷＢゲインが算出できれば、このＡＷＢゲインを本画像に乗算し、ＡＷＢ処理を終了する。

以上の説明から明らかなように、本実施形態では、ストロボ光の照射前後での被写界の色変化に基づいて環境光源を推定している。そのため、本画像に光源誤判定が生じやすい色（図２における楕円Ａ〜Ｃ）の部分が大量に含まれていたとしても、正確に環境光源を推定できる。その結果、被写体の持つ色に関わらず、常に適切なＡＷＢゲインを得ることができる。

なお、本実施形態では、色変化傾向として、第一画像および第二画像の間での、ブロック光源種類の変化割合と変化後の光源種類を取得している。しかし、ストロボ照射前後での被写体の色の変化傾向を示すパラメータであれば、当然、他のパラメータを色変化傾向として取得してもよい。例えば、第一画像および第二画像の間で、同一座標ブロックの代表値の変化量の平均値を色変化傾向として取得してもよい。すなわち、図１０に図示するように第一画像における各ブロックの代表値をＬｉ＝（Ｌ_ＴＩｉ，Ｌ_ＴＧｉ）、第二画像における各ブロックの代表値をＭｉ＝（Ｍ_ＴＩｉ，Ｍ_ＴＧｉ）とする。なお、ｉ（ｉ＝１，２，・・・ｎ）はブロックの座標値を示しており、Ｍ_ＴＩはＴスペース上の横軸座標値を、Ｍ_ＴＧはＴスペース上の縦軸座標値を示している。そして、この場合に、色変化傾向ＡＶを、ＡＶ＝（ＡＶ_ＴＩ，ＡＶ_ＴＧ）＝｛（Σ｜Ｌｉ−Ｍｉ｜）／ｎ｝として取得してもよい。その結果、Ｖ_ＴＩ、Ｖ_ＴＧのいずれもが小さい場合には非照射時の環境光源は「昼光」と判断できる。また、Ｖ_ＴＩ、Ｖ_ＴＧのいずれもが大きい値である場合には環境光源は「蛍光灯光」と判断できる。さらに、Ｖ_ＴＩのみが大きい値である場合、環境光源は「タングステン光」と判断できる。

また、ブロック光源種類の変化数だけを、色変化傾向として用いてもよい。例えば、図１１に例示するような第一画像および第二画像の光源判定結果が得られたとする。この場合、「Ｆｌ」ブロックは−３個、「Ｔｎ」ブロックは−３個、「Ｄｙ」ブロックは−２個、「Ｏｓ」ブロックは＋５個の変化数であることがわかる。換言すれば、「Ｆｌ」および「Ｔｎ」ブロックは減少傾向、「Ｏｓ」ブロックは増加傾向にあることがわかる。ストロボ照射によりかかる変化傾向となる環境光源種類は、「タングステン光（図７）」だけである。したがって、図１１の図示例における環境光源種類は「タングステン光」であることが分かる。

さらに、第一画像および第二画像をブロック分割することなく、色変化傾向を取得してもよい。すなわち、第一画像全体の色値の平均値、および、第二画像全体の色値の平均値を取得し、両平均値の差を色変化傾向として取得してもよい。いずにしても、第一画像および第二画像での色の変化傾向、換言すれば、ストロボ照射前後での被写界の色の変化傾向が推測できるパラメータであれば、どのようなパラメータでもよい。

次に、第二実施形態について図１２を用いて説明する。図１２は、第二実施形態におけるＡＷＢ処理の流れを示す図である。第二実施形態における撮像処理の流れは、第一実施形態と同じである。すなわち、レリーズスイッチＳ１の検知で予備照射をすることなく撮像して第一画像を取得し、レリーズスイッチＳ２の検知で予備照射しながら撮像して第二画像を取得し、その後、本画像を撮像する。

また、ＡＷＢ処理においても、第一画像および第二画像の色変化傾向の取得までの流れ（Ｓ２２〜Ｓ２６）は第一実施形態と同じである。本実施形態では、色変化傾向を取得した後の、環境光源の推定処理（Ｓ２８）が第一実施形態と異なっている。具体的には、本実施形態では、第一画像および第二画像での色変化傾向だけでなく、予備照射が被写界に与える影響度をも考慮して環境光源を推定している。以下、本実施形態におけるＡＷＢ処理の流れを環境光源の推定処理を中心に説明する。

まず、第一画像及び第二画像それぞれのブロック情報を取得し（Ｓ２２、Ｓ２４）、得られたブロック情報に基づき色変化傾向を取得する（Ｓ２６）。続いて、得られた色変化傾向に基づいて仮の環境光源を推定する（Ｓ３４）。仮の環境光源の推定方法は、第一実施形態における環境光源の推定方法と同じである。すなわち、第一画像および第二画像において色の変化が殆ど無ければ「昼光」と、青方向へ大きく変化していれば「タングステン光」と、青方向およびマゼンタ方向に大きく変化していれば「蛍光灯光」と判断する。この色変化傾向に基づく環境光源の推定結果は、「仮の環境光源」として一時記憶される。

続いて、第二画像撮像時に照射される予備照射の被写界に対する影響度を求める（Ｓ３６）。予備照射の影響度は、被写界における予備照射の輝度Ｐｅｖと環境輝度Ｅｅｖとの割合（Ｐｅｖ／Ｅｅｖ×１００％）とする。この予備照射の影響度が高いほど、予備照射に伴う色変化が大きいといえる。逆に予備照射の影響度が小さいと、被写界の色は予備照射の前後で殆ど変化しない。そのため、既述の色変化傾向から環境光源を推定することは困難となる。換言すれば、予備照射の影響度は、色変化傾向に基づいた環境光源の推定結果の信頼度を表すパラメータといえる。

ここで、環境輝度Ｅｅｖは、デジタルカメラに設けられた測光センサ等で検出される。一方、被写界における予備照射の輝度Ｐｅｖは、センサ等での検出が困難であるため、本実施形態では、被写体距離および予備照射量に基づいて予備照射輝度Ｐｅｖを求めている。具体的には、被写体距離が大きいほど、また、予備照射量が小さいほど、予備照射のストロボ光が被写体に届かなくなるため、予備照射輝度Ｐｅｖは小さくなると推定する。図１３は、予備照射の影響度の算出方法の一例を示す図である。図１３では、被写体距離および予備照射量の交点位置Ｃ１から予備照射輝度Ｐｅｖが求まる。続いて、求まった予備照射輝度Ｐｅｖと環境輝度Ｅｅｖとの交点位置Ｃ２から、予備照射の影響度である予備照射の輝度Ｐｅｖと環境輝度Ｅｅｖとの割合が求まる仕組みとなっている。

予備照射の影響度が取得できれば、続いて、当該影響度が所定の基準値以上か否かを判断する（Ｓ３８）。この基準値としては、予備照射前後で被写界の色が変化する程度の影響度以上の値が設定される。影響度が所定の基準値以上である場合には、既述の仮の環境光源を、ＡＷＢゲイン算出で使用する環境光源として決定する（Ｓ４０）。そして、それ以降の処理は、第一実施形態と同じになる。

一方、予備照射の影響度が所定の基準値未満である場合には、予備照射を行っても被写界の色変化が生じている可能性が低いといえる。換言すれば、予備照射の影響度が所定の基準値未満である場合には、色変化傾向のみから正確に環境光源を推定することは困難である。したがって、この場合は、本画像の色情報も考慮して環境光源を推定する。

具体的には、まず、本画像のブロック情報を取得する（Ｓ４２）。すなわち、本画像を複数のブロックに分割し、各ブロックの代表値を求め、当該代表値に基づいて各ブロックの光源種類を判定する。

次に、光源種類ごとのブロック数、すなわち、「蛍光灯光」と判定されたブロック数、「タングステン光」と判定されたブロック数、「昼光」と判定されたブロック数、「日向日陰光」と判定されたブロック数をそれぞれ算出する（Ｓ４４）。例えば、図１４に図示するようなブロック光源判定結果が得られたとする。この場合、蛍光灯ブロックは５個、昼光ブロックは１４個、タングステン光ブロックは７個とカウントされる。

続いて、仮の環境光源に基づいて、各光源種類の重み係数を決定する（Ｓ４６）。これは、仮の環境光源と同種の光源の重み係数が最も大きくなるようにする。例えば、仮の環境光源が「蛍光灯光」であった場合、「蛍光灯光」の重み係数を１、「昼光」の重み係数を０．３、「タングステン光」の重み係数を０．３、「日向日陰光」の重み係数を０．３とする。

そして、得られた光源種類ごとのブロック数と、対応する重み係数とを乗算し、その乗算値が最大の光源種類を環境光源として決定する（Ｓ４８）。例えば、図１４に図示した例では、「蛍光灯光」は５個×１＝５、「昼光」は１４個×０．３＝４．２、「タングステン光」は７個×０．３＝２．１、「日向日陰光」は０個×０．３＝０となる。この場合、乗算値が最も大きいのは「蛍光灯光」であるため、環境光源は「蛍光灯」と推定できる。

環境光源が推定できれば、従来のＡＷＢ処理と同様に、当該環境光源の画像全体に対する寄与度を求め、当該寄与度に応じたＡＷＢゲインを求める（Ｓ３０）。そして、得られたＡＷＢゲインを本画像に乗算することでＡＷＢ処理が終了となる（Ｓ３２）。

以上、説明したように本実施形態では、被写界に対する予備照射の影響度に応じて、適宜、環境光源の推定方法を変えている。そのため、予備照射の照射量が小さい場合や、被写体距離が遠い場合であっても信頼性の高い環境光源の推定が可能となる。その結果、より適切なＡＷＢゲインを得ることができる。

なお、本実施形態では、予備照射の影響度として、環境輝度と予備照射輝度の割合を用いたが、当然、他のパラメータを予備照射の影響度として用いてもよい。例えば、第一画像および第二画像の輝度変化量を予備照射の影響度として用いてもよい。輝度変化量が小さい場合には、予備照射のストロボ光が被写体に到達しておらず、予備照射の影響度が小さいと判断できる。また、環境輝度と予備照射輝度の割合と、輝度変化量と、に基づいて予備照射の影響度を求めてもよい。すなわち、環境輝度と予備照射輝度の割合から輝度変化量を予測し、実際の第一画像および第二画像の輝度変化量が予測値より小さい場合には、予備照射のストロボ光は被写体に到達しておらず、予備照射の影響度は低いと判断してもよい。例えば、予備照射輝度Ｐｅｖが環境輝度Ｅｅｖの５０％であった場合、第二画像の輝度値は第一画像の輝度値の１．５倍になることが予想される。この場合において、実際に得られた第二画像の輝度値が、第一画像の輝度値の１．５倍未満であった場合には、予備照射のストロボ光が被写体に十分に到達していないと判断できる。この場合は、ステップＳ４２〜Ｓ４８のように、本画像のブロック情報も利用して環境光源を推定する。

また、予備照射の影響度が低い場合の環境光源の推定手法も適宜変更してもよい。例えば、予備照射の影響度が低い場合には、従来のＡＷＢ処理を同様の手法で環境光源を推定してもよい。すなわち、色変化傾向を考慮することなく、本画像のみから環境光源を推定してもよい。また、仮の環境光源に応じて白色物色範囲を補正し、当該補正後の白色物色範囲および本画像のブロック情報に基づいて環境光源を推定してもよい。白色物色範囲の補正態様としては、仮の環境光源と異なる種類の光源種類における白色物色範囲から、光源誤判定が生じやすい領域を除くことが考えられる。図１５は、仮の環境光源が「蛍光灯光」であった場合の補正結果を示す図である。図１５において、一点鎖線の矩形Ｄｄ，Ｄｔ，Ｄｏは補正前の白色物色範囲を、破線の楕円Ａ〜Ｃは光源誤判定の生じやすい領域を、実線の矩形Ｅｄｎｅｗ，Ｅｔｎｅｗ，Ｅｔｏｎｅｗは補正後の白色物色範囲を示している。図１５から明らかなように、仮の環境光源が「蛍光灯光」である場合、「蛍光灯光」の白色物色範囲Ｅｆは変化させない。一方、仮の環境光源と異なる「タングステン光」、「昼光」「日向日陰」の白色物色範囲Ｅｔ，Ｅｄ，Ｅｏは、誤判定の生じやすい色範囲Ｂ，Ｃが避けられるように補正を行い、新たな白色物色範囲Ｅｔｎｅｗ，Ｅｄｎｅｗ，Ｅｏｎｅｗを算出する。そして、環境光源を推定する場合には、本画像を構成する各ブロックの光源種類を当該補正後の白色物色範囲に基づいて判定し、得られたブロック光源判定結果に基づいて環境光源を推定する。

次に、第三実施形態について図１６を用いて説明する。図１６は、第三実施形態におけるＡＷＢ処理の流れを示すフローチャートである。この第三実施形態では、本画像撮影時におけるストロボ照射（本照射）の有無に応じて環境光源の推定態様を変化させている。すなわち、本明細書において「環境光源」とは、本画像撮影時の環境光源を意味している。したがって、本画像撮影時にストロボ光を照射する場合、「環境光源」は、非照射時の光源と本照射のストロボ光とをあわせたミックス光を意味することになる。本実施形態では、このミックス光の白色物色範囲を推定することを、本画像撮影時の「環境光源」の推定としている。以下、これについて詳説する。

本実施形態では、まず、第一実施形態と同様に、第一画像および第二画像からブロック情報を取得し、当該ブロック情報の比較に基づき色変化傾向を求める（Ｓ２２〜Ｓ２６）。そして、得られた色変化傾向から仮の環境光源を推定する（Ｓ５０）。ここで、この仮の環境光源は、非照射時における環境光源（以下「非照射時光源」という）の推定結果といえる。

続いて、本照射の有無を判断する（Ｓ５２）。通常、本照射は、ユーザからの指示、または、環境輝度に基づいて実行の可否が決定される。したがって、ユーザから本照射の指示があったか否か、また、環境輝度が一定基準値未満か否かで本照射の有無が判断できる。

本照射が無いと判断された場合には、既述の非照射時光源を実際の環境光源とする（Ｓ５４）。そして、得られた環境光源に基づいてＡＷＢゲインの算出、および、ＡＷＢゲインの乗算を実行する（Ｓ３０、Ｓ３２）。

一方、本照射があると判断された場合には、非照射時光源に対する本照射のストロボ光のミックス割合Ｍを求める（Ｓ５６）。このミックス割合Ｍは、Ｍ＝（予備照射の影響度）×｛（本照射量）×（予備照射量）｝／｛（本画像の露光量）×（第二画像の露光量）｝の式で求める。なお、ここでの「予備照射の影響度」は、第二実施形態で説明した予備照射輝度Ｐｅｖと環境輝度Ｅｅｖの割合をいう。

続いて、得られた非照射時光源種類とミックス割合Ｍに基づいて、本画像撮像時、すなわち、本照射時の環境光源の白色物色範囲を求める（Ｓ５８）。ここで、通常、ストロボ光の色は既知であるため、ストロボ光の白色物色範囲も既知であるといえる。そして、本照射時の環境光源の白色物色範囲は、本照射のミックス割合Ｍが大きいほどストロボ光の白色物色範囲に近づき、本照射のミックス割合が小さいほど非照射時光源の白色物色範囲に近づくことになる。本実施形態では、この原理を利用して本照射時の環境光源の白色物色範囲を求める。

図１７は、仮の環境光源が蛍光灯光であった場合における環境光源の白色物色範囲Ｅｋの推定の様子を示す図である。本実施形態では、まず、ストロボ光の白色物色範囲Ｅｓの基準点Ｓｓを求める。ここで、基準点は、白色物色範囲Ｅｓの座標平均点とする。続いて、非照射時光源、図１７の図示例では蛍光灯光Ｅｆの白色物色範囲Ｅｆの基準点Ｓｆを求める。そして、両基準点Ｓｓ，Ｓｆを結ぶ接続線Ｌを求める。続いて、当該接続線Ｌをミックス割合に応じて分割した際の分割点Ｓｏを求める。図１７では、ミックス割合を５０％として、接続線Ｌを１：１に分割する点を分割点Ｓｏとしている。そして、得られた分割点Ｓｏを中心して本照射時の環境光源の白色物色範囲Ｅｋを規定する。ここで本照射時の環境光源の白色物色範囲Ｅｋの大きさ、形状（縦横比）は固定であってもよいし、適宜、変更してもよい。例えば、ミックス割合または仮の環境光源の種類に応じて、白色物色範囲Ｅｋの大きさ、形状（縦横比）を変更してもよい。例えば、ミックス割合が大きいほど、白色物色範囲Ｅｋを小さくしてもよい。また、白色物色範囲Ｅｋを、非照射時光源の白色物色範囲（図１７では矩形Ｅｆ）とストロボ光の白色物色範囲Ｅｓを平均した大きさ、形状としてもよい。

本照射時の環境光源の白色物色範囲Ｅｋが求まれば、当該白色物色範囲Ｅｋおよび本画像に基づいてＡＷＢゲインを求める（Ｓ３０）。すなわち、本画像を複数のブロックに分割し、各ブロックの代表値を求める。そして、求まった代表値が当該白色物色範囲Ｅｋに収まるブロックの数から、画像全体に対する本照射時の環境光源の寄与度を求め、当該寄与度に応じたＡＷＢゲインを算出する。ＡＷＢゲインが求まれば、当該ＡＷＢゲインを本画像に乗算しＡＷＢ処理を終了する（Ｓ３２）。

以上の説明から明らかなように本実施形態では、非照射時の環境光源（非照射時光源）と本照射光のミックス割合に基づいて、本照射時の環境光源の白色物色範囲Ｅｋを求めている。このとき、非照射時の環境光源は、色の変化傾向に基づいて求めている。したがって、より正確に本照射時の環境光源の白色物色範囲Ｅｋを求めることができ、結果として、より信頼性の高いＡＷＢゲインを得ることができる。

次に、第四実施形態について図１８、図１９を用いて説明する。図１８は第四実施形態における撮像処理の流れを、図１９は第四実施形態におけるＡＷＢ処理の流れを示すフローチャートである。

第四実施形態では、第二画像の取得の要否、換言すれば、予備照射の要否を判断する。そして、第二画像の取得が不要と判断された場合には、従来のＡＷＢ処理技術と同様に本画像に基づいて環境光源を推定する。一方、第二画像の取得が必要と判断された場合には、第一から第三実施形態のように第一画像および第二画像での色変化傾向を考慮して環境光源を推定する。以下、この第四実施形態について詳説する。

はじめに本実施形態における撮像処理の流れについて説明する。本実施形態でも第一実施形態と同様に、レリーズスイッチＳ１の検知からレリーズスイッチＳ２の検知までの間に、プレビュー画像の一時記録と廃棄を繰り返して第一画像を取得する（Ｓ１０、Ｓ１２，Ｓ１４）。後に詳説するように、ＡＷＢ処理では、この第一画像等に基づいて第二画像の取得の要否を判断する（Ｓ６２，Ｓ６４）。

要否判断の結果、第二画像の取得が必要と判断された場合には、予備照射を行いながらプレビュー画像を取得し、当該プレビュー画像を第二画像として一時記録する（Ｓ１８）。そして、第二画像取得した後に、本画像の撮像を実行する（Ｓ２０）。一方、第二画像の取得が不要と判断された場合には、レリーズスイッチＳ２の検知後、即座に本画像の撮像を実行する（Ｓ２０）。

次に、この撮像処理と並行して行われるＡＷＢ処理の流れについて図１９を用いて説明する。本実施形態では、まず、第一画像のブロック情報を取得する（Ｓ２２）。このブロック情報の取得方法は、第一実施形態と同様である。続いて、第二画像の取得の要否を判断する（Ｓ６２）。これは、予備照射によりユーザに何らかの誤解が生じるか否か、および、色変化傾向に基づく環境光源推定が有用であるか否かに基づいて判断する。

予備照射によりユーザに何らかの誤解が生じる場合としては、例えば、予備照射をカメラ側の故障と誤解される場合が考えられる。これまでの説明で明らかなように、予備照射は、ユーザの指示や環境輝度に関わらず行われる。換言すれば、予備照射は、ユーザの意図あるいは予測とは無関係に行われる照射である。かかる予備照射を行った場合、カメラが故障したとユーザが誤解する可能性がある。特に、本画像撮像時において本照射を行わない場合、すなわち、ユーザから指示がなく、かつ、環境輝度が十分に明るい場合に、予備照射を行うとユーザの誤解を招く可能性が高い。そこで、本照射が無い場合には、予備照射、ひいては、第二画像の取得が不要と判断してもよい。

また、色変化傾向に基づく環境光源推定が有用である場合としては、予備照射の影響度が十分に大きい場合が考えられる。予備照射の影響度が大きい場合は、色変化傾向に基づく環境光源の推定結果は信頼性が高く、有用性が高いといえる。逆に、予備照射の影響度が低い場合には、色変化傾向に基づく環境光源の推定結果の有用性は低いといえる。換言すれば予備照射の影響度が低い場合には、第二画像を取得して色変化傾向を取得する必要性が乏しい。したがって、予備照射の影響度が所定の基準値未満である場合には、第二画像の取得不要と判断してもよい。

また、色変化傾向に基づく環境光源推定が有用である場合としては、被写界に光源誤判定の生じやすい色範囲（図２における楕円Ａ〜Ｃ）の部分が多く含まれている場合が考えられる。記述したように、被写界に光源誤判定の生じやすい色範囲の部分が多く含まれている場合、本画像のみからは正確な環境光源を推定することは困難である。かかる場合には、色変化傾向に基づく環境光源推定は有用であるといえる。逆に、光源誤判定の生じやすい範囲の部分が少ない場合には、本画像のみからでも正確な環境光源を推定できる。したがって、第一画像のブロック情報に基づき、第一画像に光源誤判定の生じやすい色範囲のブロックの割合を求め、誤判定の生じやすいブロック数が少ない場合には第二画像の取得不要と判断してもよい。

本実施形態では、以上のような各種基準および各種基準の組み合わせに基づいて第二画像の取得の要否を判断する。そして、第二画像の取得が必要と判断された場合には、第二画像を取得するとともに、当該第二画像および第一画像の間での色変化傾向を取得する（Ｓ２４、Ｓ２６）。そして、得られた色変化傾向に基づいて環境光源を推定する（Ｓ２８）。この環境光源の推定には、第一から第三実施形態の技術を利用する。すなわち、必要に応じて、色変化傾向だけでなく、予備照射の影響度や本照射時のミックス割合等も勘案して環境光源を推定する。一方、第二画像の取得が不要と判断された場合には、従来ＡＷＢ処理と同様に、本画像に基づいて環境光源を推定する（Ｓ５８）。

環境光源が推定できれば、本画像全体に対する環境光源の寄与度を求め、当該寄与度に応じたＡＷＢゲインを算出する（Ｓ３０）。そして、このＡＷＢゲインを本画像に乗算することで、ＡＷＢ処理が終了となる（Ｓ３２）。

以上の説明から明らかなように、本実施形態では、第二画像の取得の要否を判断し、その判断結果に応じて、環境光源の推定態様を変えている。これにより、ユーザの誤解や不要な予備照射を防止しつつ、正確に環境光源を推定できる。

なお、以上の第一から第四実施形態では、いずれも、プレビュー画像を第一画像および第二画像としている。しかし、本画像を第一画像および第二画像として取り扱ってもよい。すなわち、本照射有りで本画像撮像を行う場合は、予備照射無しで取得されたプレビュー画像を第一画像、本画像を第二画像とし、本画像と第一画像の色変化傾向に基づいて環境光源を推定してもよい。逆に、本照射無しで本画像撮像を行う場合は、予備照射有りで取得されたプレビュー画像を第二画像、本画像を第一画像とし、本画像と第二画像の色変化傾向に基づいて環境光源を推定する。ただし、通常のプレビュー画像は、本画像に比べて、ノイズ除去処理が省略されていたり、画素数が異なっていたりすることが多い。つまり、本画像とプレビュー画像では品質が異なっていることが多い。かかる品質の異なる画像間の色変化傾向では、環境光源の推定精度が低下する。そこで、本画像を第一画像または第二画像として取り扱う場合には、プレビュー画像である第二画像または第一画像の品質を本画像に合わせることが望ましい。

また、第一から第四実施形態では、第一画像および第二画像を、本画像に先立って取得している。しかし、本画像とほぼ同じ被写体を撮像できるのであれば、本画像撮像の後に、第一画像よび第二画像を取得してもよい。

本発明の第一実施形態であるデジタルカメラの構成を示すブロック図である。白色物色範囲の一例を示す図である。ＡＷＢ設定時における撮像処理の流れを示すフローチャートである。ＡＷＢ処理の流れを示すフローチャートである。第一画像および第二画像の光源判定結果の一例を示す図である。蛍光灯光下でストロボ光照射した場合の色変化傾向を示す図である。タングステン光下でストロボ光照射した場合の色変化傾向を示す図である。昼光下でストロボ光照射した場合の色変化傾向を示す図である。色変化傾向と、推定される環境光源と、の関係を示す図である。色変化傾向の取得態様の一例を説明する図である。色変化傾向の取得態様の一例を説明する図である。第二実施形態におけるＡＷＢ処理の流れを示すフローチャートである。予備照射の影響度の取得態様の一例を説明する図である。本画像のブロックについて光源種類を判定した結果の一例を示す図である。白色物色範囲の補正態様の一例を示す図である。第三実施形態におけるＡＷＢ処理の流れを示すフローチャートである。本照射時の白色物色範囲を取得する様子を説明する図である。第四実施形態における撮像処理の流れを示すフローチャートである。第四実施形態におけるＡＷＢ処理の流れを示すフローチャートである。

符号の説明

１０デジタルカメラ、１４レンズ、１６ＣＣＤ、２５画像処理部、２８ホワイトバランス処理部、４６ストロボ装置、５０ＡＥ／ＡＦ／ストロボ制御部、５１ＷＢゲイン取得部、５２ブロック情報取得部、５４環境光源推定部、５６ゲイン算出部、Ｅｄ，Ｅｆ，Ｅｔ，Ｅｏ白色物色範囲、Ａ，Ｂ，Ｃ光源誤判定の生じやすい色範囲。

Claims

ユーザが意図する撮像画像である本画像に対してホワイトバランス処理を施すデジタルカメラであって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像して第一画像を取得する第一画像取得手段と、
ストロボ光の予備照射をしながら本画像と同一被写界を撮像して第二画像を取得する第二画像取得手段と、
第一画像および第二画像に基づいて、予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、
推定された環境光源に応じて、本画像のホワイトバランスゲインを算出するゲイン算出手段と、
を備え、
色変化傾向取得手段は、第一画像および第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づき、色変化傾向を取得する、
ことを特徴とするデジタルカメラ。
請求項１に記載のデジタルカメラであって、
色変化傾向取得手段は、色の変化傾向として被写界の色の変化方向および変化量を取得することを特徴とするデジタルカメラ。
請求項１または２に記載のデジタルカメラであって、
色変化傾向取得手段は、第一画像と第二画像との間で、光源種類が変化したブロック割合および変化前後の光源種類を色変化傾向として取得することを特徴とするデジタルカメラ。
ユーザが意図する撮像画像である本画像に対して施すホワイトバランス処理に用いられるゲインを算出するゲイン算出装置であって、
ストロボ光の予備照射をすることなく本画像と同一被写界を撮像した第一画像およびストロボ光の予備照射をしながら本画像と同一被写界を撮像した第二画像を複数のブロックに分割するとともに、各ブロックの色値の代表値および各ブロックの光源種類をブロック情報として取得するブロック情報取得手段を備え、取得された第一画像のブロック情報および第二画像のブロック情報の比較に基づいて予備照射による被写界の色の変化傾向を取得する色変化傾向取得手段と、
少なくとも、取得された色変化傾向に基づいて、被写界の環境光源を推定する環境光源推定手段と、
推定された環境光源に応じて、本画像のＷＢゲインを算出するゲイン算出手段と、
を備えることを特徴とするゲイン算出装置。