JP6533336B2 - ホワイトバランス調整装置及びその作動方法並びに作動プログラム - Google Patents

Description

本発明は、複数の補助光源を用いて撮影する時のホワイトバランスを調整するホワイトバランス調整装置及びその作動方法並びに作動プログラムに関する。

人間の視覚は色の恒常性を有する。このため、電灯、蛍光灯、太陽光など環境光の違いによらず、被写体が持つ本来の色を知覚することができる。これに対して、デジタルカメラ等の撮像装置による画像は環境光の影響を直接に受ける。このため、撮像装置は環境光の影響を補正して、人間にとって自然な画像に色変換するホワイトバランス調整機能を有する。

例えば補助光源としてフラッシュ装置を用いて撮像装置により撮影された画像では、主要被写体には環境光とフラッシュとの混合光が照射される。また、背景はフラッシュの影響は少なく環境光がメインとなる。

一般的なフラッシュ撮影時におけるオートホワイトバランス調整では、例えば特開２０１０−１９３０４８号公報に記載されているように、環境光とフラッシュとの比率（以下、混合光比率という）を算出し、混合光比率に応じてホワイトバランスを調整している。一つのフラッシュによる単灯フラッシュ撮影時には、主要被写体にフラッシュを強く当てる傾向がある。そのため、フラッシュが強く当たっている箇所での混合光比率に応じてオートホワイトバランス調整を行うことで、主要被写体が適切な色味になる。

しかしながら、複数の補助光源、例えば複数のフラッシュ装置を用いた撮影では、フラッシュが強く当たっている箇所が主要被写体とならないことが多い。例えば、主要被写体にフラッシュを当てるフラッシュ装置と、背景にフラッシュを当てるフラッシュ装置との複数の補助光源がある場合に、背景に当てるフラッシュ装置の方を強く発光させる場合がある。この場合には、フラッシュが強く当たっている箇所での混合光比率に応じてオートホワイトバランス調整を行うと、背景を重視した色味になってしまい、主要被写体の色味が悪くなる。

本発明は、上記事情に鑑み、複数の補助光源による撮影時に、主要被写体が適切な色味になるホワイトバランス調整装置及びその作動方法並びに作動プログラムを提供することを目的とする。

上記目的を達成するため、本発明のホワイトバランス調整装置は、非発光画像取得部と、発光画像取得部と、補助光照射エリア特定部と、優先エリア選択部と、ホワイトバランス調整値算出部と、ホワイトバランス調整部とを備える。非発光画像取得部は、複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する。発光画像取得部は、複数の補助光源を個別発光状態にして被写体をそれぞれ撮像し各補助光源の発光画像を取得する。補助光照射エリア特定部は、非発光画像及び各発光画像を複数の分割エリアに分割し、個別発光状態と非発光状態との各分割エリアの信号値の差分に基づき、各補助光源による補助光が当たっている補助光照射エリアを特定する。優先エリア選択部は、各補助光源の補助光照射エリアのうち、ホワイトバランス調整に用いる優先エリアを選択する。ホワイトバランス調整値算出部は、選択された優先エリアの信号値に基づきホワイトバランス調整値を算出する。ホワイトバランス調整部は、ホワイトバランス調整値による調整を行う。

各補助光源による補助光照射エリアから１つ又は複数の優先エリアの選択指示を優先エリア選択部に入力する選択入力部を有することが好ましい。

優先エリア選択部は、補助光照射エリア合算部と、顔エリア検出部と、優先エリア決定部とを有することが好ましい。補助光照射エリア合算部は、各補助光照射エリアを合算した合算エリアを算出する。顔エリア検出部は、非発光画像又は発光画像から顔エリアを検出する。優先エリア決定部は、顔エリア検出部により検出された顔エリアがいずれの補助光照射エリアにあるかを特定し、顔エリアが無い補助光照射エリアを合算エリアから除外し、除外により残ったエリアを優先エリアと決定する。

優先エリア選択部は、補助光照射エリア合算部と、優先エリア決定部とを有することが好ましい。補助光照射エリア合算部は、各補助光照射エリアを合算した合算エリアを算出する。優先エリア決定部は、予め記憶している補助光源による画素情報及び合算エリアに基づいて優先エリアを決定する。

優先エリア決定部は、予め記憶している補助光による光源色情報と、非発光画像から取得する環境光による光源色情報と、補助光照射エリアの非発光時の画素情報とから、色空間上の判定範囲を設定する。判定範囲外に発光画像に基づく画素情報が位置する場合に、補助光照射エリアを合算エリアから除外する。除外により残ったエリアを優先エリアと判定する。

優先エリアは、非発光時信号値平均、補助光源発光時の信号値平均予測値、及び発光時信号値平均に基づいて判定することが好ましい。補助光による光源色情報は、色空間における補助光の色を示す座標である。環境光による光源色情報は、非発光画像に基づき求められ、色空間における環境光の色を示す座標である。補助光照射エリアの非発光時の画素情報は、非発光画像に基づき求められ、色空間における補助光照射エリアの非発光時信号値平均を示す座標である。優先エリア決定部は、発光画像に基づき、色空間における補助光照射エリアの信号値平均である発光時信号値平均を算出する。そして、補助光の光源色情報と環境光の光源色情報との差である差ベクトルを算出し、非発光時信号値平均の座標に差ベクトルを加算して、補助光源発光時の信号値平均予測値を求める。

優先エリア決定部は、非発光時信号値平均及び補助光源発光時の信号値平均予測値を両端として含む判定範囲外に発光時信号値平均がある場合に、補助光照射エリアを合算エリアから除外し、除外によって残ったエリアを優先エリアとして選択することが好ましい。

優先エリア選択部は、補助光照射エリア合算部と、空間周波数算出部と、優先エリア決定部とを有することが好ましい。補助光照射エリア合算部は、各補助光照射エリアを合算した合算エリアを算出する。空間周波数算出部は、非発光画像における各補助光源による補助光照射エリアの空間周波数を算出する。優先エリア決定部は、各補助光源による補助光照射エリアの空間周波数が一定値以下の場合に、空間周波数が一定値以下の補助光照射エリアを合算エリアから除外する。除外により残る補助光照射エリアを優先エリアと決定する。

ホワイトバランス調整値算出部は、補助光源を発光状態にして被写体を撮像した本発光時の発光画像を取得し、発光画像の優先エリアにおける信号値、及び非発光画像の優先エリアにおける信号値に基づいてホワイトバランス調整値を算出することが好ましい。

ホワイトバランス調整部は、複数の補助光源を本発光時の発光量で発光状態にして被写体を撮像した本発光画像を取得し、本発光画像に対してホワイトバランス調整値によるホワイトバランス調整を行うことが好ましい。

本発明のホワイトバランス調整装置の作動方法は、非発光画像取得ステップと、発光画像取得ステップと、補助光照射エリア特定ステップと、優先エリア選択ステップと、ホワイトバランス調整値算出ステップと、ホワイトバランス調整ステップとを有する。また、本発明のホワイトバランス調整装置の作動プログラムも、上記各ステップをコンピュータに実行させることによりコンピュータをホワイトバランス調整装置として機能させる。非発光画像取得ステップは、複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する。発光画像取得ステップは、複数の補助光源を個別発光状態にして被写体をそれぞれ撮像し各補助光源の発光画像を取得する。補助光照射エリア特定ステップは、非発光画像及び各発光画像を複数の分割エリアに分割し、個別発光状態と非発光状態との各分割エリアの信号値の差分に基づき、各補助光源による補助光が当たっている補助光照射エリアを特定する。優先エリア選択ステップは、各補助光源の補助光照射エリアのうち、ホワイトバランス調整に用いる優先エリアを選択する。ホワイトバランス調整値算出ステップは、選択された優先エリアの信号値に基づきホワイトバランス調整値を算出する。ホワイトバランス調整ステップはホワイトバランス調整値による調整を行う。

本発明によれば、複数の補助光源による撮影時に、主要被写体が適切な色味になるホワイトバランス調整装置及びその作動方法並びに作動プログラムを提供することができる。

本発明のホワイトバランス調整装置の一実施形態が適用された撮影システムの全体を示す斜視図であり、カメラのフラッシュ発光部を点灯してプリ発光画像を撮影している状態を示している。 カメラ及びフラッシュ装置の機能ブロック図である。 主制御部及びデジタル信号処理部における機能ブロック図である。 複数のフラッシュ装置を用いた撮影におけるＷＢ調整を示すフローチャートである。 フラッシュ光照射エリアの特定を示す説明図である。 優先エリアの選択入力を示す説明図である。 第２フラッシュ装置を点灯させてプリ発光画像を撮影している状態を示す全体の斜視図である。 第２実施形態における優先エリア選択部を示す機能ブロック図である。 第２実施形態のＷＢ調整を示すフローチャートである。 顔エリアの検出を示す説明図である。 フラッシュ光照射エリアが一部重なる場合の優先エリアの決定の仕方を説明する図である。 第３実施形態における特殊効果フィルタを有するフラッシュ装置を示す側面図である。 第３実施形態の優先エリア選択部を示す機能ブロック図である。 第３実施形態におけるＷＢ調整を示すフローチャートである。 Ｒ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間における環境光の光源色情報、フラッシュ光の光源色情報、差ベクトルを示す線図である。 Ｒ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間における、各フラッシュ光照射エリアの非発光時の信号値平均、特殊効果フィルタが無い状態のフラッシュ光を照射した時の信号値平均予測を示す線図である。 Ｒ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間の判定範囲Ｈ１への、プリ発光時の信号値平均の有無に基づき、特殊効果フィルタが装着されたフラッシュ装置か否かの判定を示す線図である。 変形例１における判定範囲Ｈ２を示す線図である。 変形例２における判定範囲Ｈ３を示す線図である。 変形例３における判定範囲Ｈ４を示す線図である。 変形例４における判定範囲Ｈ５を示す線図である。 変形例５における判定範囲Ｈ６を示す線図である。 第４実施形態における優先エリア選択部を示す機能ブロック図である。 第４実施形態におけるＷＢ調整を示すフローチャートである。

［第１実施形態］
図１は、本発明のホワイトバランス（以下、ＷＢと言う）調整装置の一実施形態が適用された撮影システム１０の全体構成図である。撮影システム１０は、補助光源として複数のフラッシュ装置１２，１３を用い、例えば撮影スタジオ９において使用される。撮影システム１０は、デジタルカメラ（以下、単にカメラという）１１と、フラッシュ装置１２，１３とを有している。カメラ１１は、フラッシュ発光部１４（図２参照）を含むフラッシュ装置１２を内蔵している。内蔵のフラッシュ装置１２は、撮影システム１０において第１補助光源として機能する。フラッシュ装置１３はカメラ１１とは別に設けられており、撮影システム１０において、第２補助光源として機能する。

撮影システム１０において、複数照明撮影を行う場合には、カメラ１１が、第１補助光源（第１フラッシュ装置１２），第２補助光源（第２フラッシュ装置１３）に対して制御信号を送信することにより点灯タイミングを制御する。第１フラッシュ装置１２は被写体５のうちの主要被写体６に向けてフラッシュを照射し、第２フラッシュ装置１３は、被写体５のうちの、主要被写体６の背後に配される背景幕７にフラッシュを照射する。なお、本実施形態では、第１補助光源として、カメラ１１に内蔵されたフラッシュ装置１２を用いているが、これは第２補助光源と同じように、カメラ１１とは別体で設けたフラッシュ装置や、カメラ１１に着脱自在に装着されて一体化したフラッシュ装置でもよい。

図２に示すように、カメラ１１及びフラッシュ装置１３は、無線通信Ｉ／Ｆ（interface）１５，１６を備え、カメラ１１とフラッシュ装置１３の間で無線通信が可能になっている。なお、無線通信に代えて、有線通信であってもよい。

フラッシュ装置１３は、無線通信Ｉ／Ｆ１６の他にフラッシュ制御部１７、フラッシュ発光部１８を備えている。フラッシュ装置１３は、カメラ１１から送られる光量調節信号を無線通信Ｉ／Ｆ１６にて受ける。フラッシュ制御部１７はフラッシュ発光部１８を制御し、光量調節信号に応じてフラッシュ発光部１８を点灯させる。フラッシュ発光部１８の点灯は、発光時間がマイクロ秒のオーダの閃光発光である。カメラ１１のフラッシュ装置１２のフラッシュ発光部１４も同じである。

カメラ１１は、レンズ鏡筒２１、操作スイッチ２２、背面表示部２３等を備える。レンズ鏡筒２１は、カメラ本体１１ａ（図１参照）の前面に設けられており、撮影光学系２５や絞り２６を保持している。

操作スイッチ２２は、カメラ本体１１ａの上部や背面等に複数設けられる。操作スイッチ２２は、電源のＯＮ，ＯＦＦや、レリーズ操作、各種設定のための入力操作を受け付ける。背面表示部２３は、カメラ本体１１ａの背面に設けられており、各種撮影モードにて取得された画像やスルー画像、及び各種設定を行うためのメニュー画面を表示する。この背面表示部２３の表面には、タッチパネル２４が設けられている。タッチパネル２４は、タッチパネル制御部３８によって制御され、タッチ操作で入力される指示信号を主制御部２９に送信する。

撮影光学系２５及び絞り２６の背後には、撮影光学系２５の光軸ＬＡに沿って、シャッタ２７、撮像素子２８が順に配される。撮像素子２８は、例えば、ＲＧＢ(Red，Green，Blue)方式のカラーフィルタを有する単板カラー撮像方式のＣＭＯＳ(Complementary metal-oxide-semiconductor)型イメージセンサである。撮像素子２８は、撮影光学系２５によって撮像面に結像された被写体像を撮像して撮像信号を出力する。

撮像素子２８は、ノイズ除去回路、オートゲインコントローラ、Ａ／Ｄ（Analog/Digital）変換回路等の信号処理回路（いずれも図示せず）を備える。ノイズ除去回路は、撮像信号にノイズ除去処理を施す。オートゲインコントローラは、撮像信号のレベルを最適な値に増幅する。Ａ／Ｄ変換回路は、撮像信号をデジタル信号に変換して撮像素子２８から出力する。

撮像素子２８、主制御部２９、及びフラッシュ制御部３０は、バス３３に接続されている。フラッシュ制御部３０はフラッシュ発光部１４とともに、カメラ１１の内蔵のフラッシュ装置１２を構成する。この他にバス３３には、メモリ制御部３４、デジタル信号処理部３５、メディア制御部３６、背面表示制御部３７、タッチパネル制御部３８が接続されている。

メモリ制御部３４には、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)等の一時記憶用のメモリ３９が接続されている。メモリ制御部３４は、撮像素子２８から出力されたデジタルの撮像信号である画像データをメモリ３９に入力して記憶させる。また、メモリ制御部３４は、メモリ３９に記憶された画像データを、デジタル信号処理部３５に出力する。

デジタル信号処理部３５は、メモリ３９から入力された画像データに対して、マトリクス演算、デモザイク処理、ＷＢ調整、γ補正、輝度・色差変換、リサイズ処理、圧縮処理などの公知の画像処理を施す。

メディア制御部３６は、記録メディア４０への画像データの記録及び読み出しを制御する。記録メディア４０は、例えば、フラッシュメモリを内蔵したメモリカードである。メディア制御部３６は、デジタル信号処理部３５によって圧縮された画像データを所定のファイル形式で記録メディア４０に記録する。

背面表示制御部３７は、背面表示部２３への画像表示を制御する。具体的には、背面表示制御部３７は、デジタル信号処理部３５により生成された画像データに基づいて、ＮＴＳＣ（National Television System Committee）規格等に準拠した映像信号を生成して背面表示部２３に出力する。

主制御部２９は、カメラ１１の撮影処理を制御する。具体的には、レリーズ操作に応じてシャッタ駆動部４１を介してシャッタ２７を制御する。シャッタ２７の動作に同期して撮像素子２８の駆動を制御する。カメラ１１は、種々の撮影モードの設定が可能である。主制御部２９は、設定された撮影モードに応じて、絞り２６の絞り値、シャッタ２７の露光時間等を制御し、種々の撮影モードにおける撮影を可能にする。

本実施形態におけるカメラ１１では、通常の各種撮影モードの他に、複数照明撮影モードを備えている。複数照明撮影モードは、複数の補助光源を用いた撮影時に選択される。この複数照明撮影モードでは、ＷＢ調整値の算出に用いることのない不用補助光源である不用フラッシュ装置を特定し、この特定した不用フラッシュ装置のフラッシュ光の照射エリアを除外して、ＷＢ調整で優先する優先エリアを決定し、この優先エリアに基づきＷＢ調整値を算出する。そして、算出したＷＢ調整値を用いて、本発光時の画像である本発光画像の撮影により得られた本発光信号値に対してＷＢ調整を行う。

優先エリアを特定するために、主制御部２９は、優先エリア選択機能を有している。複数照明撮影モードが選択されると、優先エリア選択処理が行われる。本実施形態においては、優先エリア選択処理では、撮像素子２８の撮影範囲内における２つのフラッシュ装置１２，１３のそれぞれの個別照射エリアをユーザ（撮影者）に把握させて、ＷＢ調整値を算出する際の優先エリアをユーザに選択させる。

図３に示すように、複数証明撮影モードにおいて、主制御部２９は、照明制御部５２、画像取得部５３、フラッシュ光照射エリア特定部（補助光照射エリア特定部）５４、及び優先エリア選択部５５として機能する。これら各部は、カメラ１１の不揮発性メモリ（図示せず）に記憶された作動プログラム４５を起動することにより行われる。同様にして、デジタル信号処理部３５はＷＢ調整部５６として機能し、選択された優先エリアに基づきＷＢ調整値を算出して、ＷＢ調整を行う。

画像取得部５３は、非発光画像取得部５３ａと発光画像取得部５３ｂとを有する。また、ＷＢ調整部５６は、ＷＢ調整値算出部５９を有する。

図４は、複数照明撮影モードにおけるＷＢ調整を示すフローチャートである。先ず、非発光信号値取得ステップＳ１１では、撮像素子２８及び画像取得部５３の非発光画像取得部５３ａにより、各フラッシュ装置１２，１３が非発光の状態で被写体５（図１参照）の画像である非発光画像６０（図５（２）参照）が撮像される。この非発光画像６０に基づき非発光信号値が取得される。

プリ発光信号値取得ステップＳ１２では、撮像素子２８及び発光画像取得部５３ｂにより、各フラッシュ装置１２，１３を個別に発光させた状態（個別発光様態、図１及び図７参照）で被写体５の画像であるプリ発光画像６１，６２（図５（１）参照）が撮像され、これらプリ発光画像６１，６２に基づき発光信号値が取得される。この場合には、照明制御部５２は、フラッシュ制御部３０や無線通信Ｉ／Ｆ１５を介して、フラッシュ装置１２，１３の点灯タイミング及び光量を制御する。発光画像取得部５３ｂは、フラッシュ装置１２，１３を選択的に点灯させて、各フラッシュ光を個別に照射した被写体の画像であるプリ発光画像６１，６２を取得する。

図１は、スタジオ撮影において第１フラッシュ装置１２を点灯させた状態を示している。第１フラッシュ装置１２は、背景幕７の前に立っている主要被写体６に対してフラッシュが照射するように設定されている。この状態で、第１フラッシュ光発光時のプリ発光画像である第１プリ発光画像６１（図５（１）参照）が撮影される。

図７は、第２フラッシュ装置１３を点灯させた状態を示している。第２フラッシュ装置１３は、主要被写体６の背面にある背景幕７に対して例えば右側上方から第２フラッシュ光が照射するように設定されている。この状態で、第２フラッシュ光発光時のプリ発光画像である第２プリ発光画像６２（図５（１）参照）が撮像される。

図４において、フラッシュ光照射エリア特定ステップＳ１３では、フラッシュ光照射エリア特定部５４により、各フラッシュ装置１２，１３からの各フラッシュ光が当たっているフラッシュ光照射エリアを特定する。

図５は、フラッシュ光照射エリア特定ステップＳ１３におけるフラッシュ光照射エリア特定部５４のフラッシュ光照射エリア特定処理を示す説明図である。フラッシュ光照射エリア特定処理では、非発光画像６０とプリ発光画像６１，６２とを用いてフラッシュ光照射エリア特定画像６３，６４が作成される。

先ず、非発光画像６０とプリ発光画像６１，６２とを、例えば８×８の矩形状の分割エリア６５に分割する。分割エリア６５は、非発光画像６０とプリ発光画像６１，６２とを同じ区画で分割したものである。区画数や区画の形状は図示例のものに限られず、適宜変更してよい。次に、第１プリ発光画像６１から求めた各分割エリア６５の輝度値Ｙａから、非発光画像６０から求めた各分割エリア６５の輝度値Ｙ０を引いて、分割エリア６５毎に差分を求める。この差分が他の分割エリア６５のものよりも大きい場合に、この差分が大きい分割エリア６５の集合を第１フラッシュ光照射エリア６７として特定する。

非発光画像６０と第１プリ発光画像６１の取得に際しては、各画像６０，６１の撮影時に露出を揃えて（露出を同じにして）撮影する。あるいは、露出を揃える替わりに、各画像６０，６１の撮影時の露出差分に基づき非発光画像６０及び第１プリ発光画像６１の一方の輝度値に対して他方の輝度値を補正し、信号処理により露出差分を補正してもよい。

同様にして、第２フラッシュ装置１３の第２プリ発光画像６２から求めた各分割エリア６５の輝度値Ｙｂと、非発光画像６０から求めた各分割エリア６５の輝度値Ｙ０とに基づき、分割エリア６５毎に差分を求める。この差分が他の分割エリア６５のものよりも大きい分割エリア６５の集合を第２フラッシュ光照射エリア６８として特定する。この場合にも、両画像６０，６２の取得に際して露出を揃える事前処理、又は両画像６０，６２の撮影時の露出差分に基づき両画像６０，６２の一方の輝度値に対して他方の輝度値を補正する事後処理を行う。

輝度値Ｙａ、Ｙｂ、Ｙ０は、例えば、各分割エリア内の各画素の信号値Ｒ，Ｇ，Ｂを用いて、例えば次式の輝度変換式により各画素の輝度値を算出する。
Ｙ＝0.３Ｒ＋0.６Ｇ＋0.1Ｂ

次に、上記輝度変換式で算出した各分割エリア内の各画素の輝度値を平均した輝度値平均を算出する。なお、各分割エリアの明るさを代表し得る値であれば良く、用いる値は上記の輝度値に限定されることはなく、例えばＨＳＶ色空間の明度Ｖや、Ｌａｂ色空間の明度Ｌ等を用いてもよい。

第１プリ発光画像６１では、中央に主要被写体６が位置し、この主要被写体６に第１フラッシュ装置１２からのフラッシュ光（第１フラッシュ光）が主に当たる。このため、フラッシュ光照射エリア特定画像６３においてハッチングで示すように、第１フラッシュ光によるフラッシュ光照射エリア（第１フラッシュ光照射エリア）６７が特定される。

第２フラッシュ装置１３の第２プリ発光画像６２においても、第１フラッシュ光照射エリア６７の特定と同様にして、第２フラッシュ装置１３によるフラッシュ光照射エリア（第２フラッシュ光照射エリア）６８が特定される。第２プリ発光画像６２では、図７で示したように、背景幕７に第２フラッシュ光が当たるため、フラッシュ光照射エリア特定画像６４においてハッチングで示すように、第２フラッシュ光照射エリア６８が特定される。

フラッシュ光照射エリア特定部５４は、特定したフラッシュ光照射エリア６７，６８の撮影画面における位置を、座標情報として求める。座標情報は、優先エリア選択部５５に出力される。

図４において、優先エリア選択ステップＳ１４では、優先エリア選択部５５により、フラッシュ光照射エリア６７，６８の中から、ＷＢ調整の対象とする優先エリアを選択する。優先エリア選択ステップＳ１４は、背面表示部２３への照射エリア画像表示ステップＳ１５と、タッチパネル２４による優先エリア選択入力ステップＳ１６とを含む。

優先エリア選択部５５は、背面表示制御部３７を介して背面表示部２３を制御し、かつタッチパネル制御部３８を介してタッチパネル２４への選択入力を受け付ける。優先エリア選択部５５は、図６（４）に示すように、背面表示部２３に、各フラッシュ光照射エリア６７，６８の枠６７ａ，６８ａを画像合成した被写体画像６９を表示させる。具体的には、優先エリア選択部５５の制御の下、背面表示制御部３７は、フラッシュ光照射エリア特定部５４からの座標情報に基づき、被写体画像６９に各フラッシュ光照射エリア６７，６８の枠６７ａ，６８ａを画像合成する。被写体画像６９は、非発光画像６０及びプリ発光画像６１，６２と同じ撮影範囲を撮影した画像であり、例えば、本撮影前に撮像素子２８によって出力されるスルー画像（プレビュー画像やライブ画像とも呼ばれる）である。

被写体画像６９の各フラッシュ光照射エリア６７，６８内にはハッチングが表示される。ハッチングは各フラッシュ光照射エリア６７，６８の輝度値平均に応じて、例えば輝度値が高いほどハッチング密度が高く表示される。図６（５）に示すように、ユーザはハッチング密度や主要被写体６の位置を参考にして、ＷＢ調整で自らが優先したい優先エリア６６を指７０で触ることにより選択する。選択はタッチパネル２４を用いて行われる。例えば、各フラッシュ装置１２，１３の内、フラッシュ装置１２が優先すべきフラッシュ装置である場合には、このフラッシュ装置１２によるフラッシュ光照射エリア６７を指７０により触ることで指定する。これにより、図６（６）に示すように、優先エリア６６が決定される。すなわち、タッチパネル２４は優先エリア６６の選択指示を優先エリア選択部５５に入力する選択入力部に相当する。なお、ハッチング表示に代えて、各フラッシュ光照射エリア６７，６８の輝度値平均に応じた（例えば比例した）輝度値で各フラッシュ光照射エリア６７，６８を表示してもよい。また、タッチパネル２４で選択する優先エリア６６は、１つに限らず複数でもよい。

図６（４）に示される被写体画像６９の場合には、ハッチングの表示から、主要被写体６が含まれる第１フラッシュ光照射エリア６７の輝度に対して、背景幕７が主である第２フラッシュ光照射エリア６８の輝度が高いことが判る。このため、従来の複数照明撮影モードにおける自動ＷＢ処理では、輝度が高い第２フラッシュ光照射エリア６８の画素に基づきＷＢ調整が行われてしまう。従って、背景幕７の画素に基づきＷＢ調整が行われるため、主要被写体６の画像が本来の色味からずれてしまう。

これに対して、第１実施形態では、優先エリア選択部５５で優先エリア選択入力ステップＳ１６が行われる。優先エリア選択入力ステップＳ１６では、図６（５）に示すように、ユーザによる第１フラッシュ光照射エリア６７への指７０等のタッチ操作による指定により、主要被写体６のエリアである第１フラッシュ光照射エリア６７が優先エリア６６として確実に選択される。この主要被写体６のエリアである優先エリア６６に基づきＷＢ調整値が算出されるため、主要被写体６を適正な色味に仕上げることができる。

図４に示すように、デジタル信号処理部３５のＷＢ調整部５６では、ＷＢ調整値算出ステップＳ１７及びＷＢ調整ステップＳ１８を行う。ＷＢ調整値算出ステップＳ１７は、ＷＢ調整値算出部５９により実行される。

ＷＢ調整値算出ステップＳ１７は、以下のようにして実行される。先ず、記録画像を撮影するための本発光が行われる。この本発光時には、フラッシュ光照射エリアを求めるための個別発光であるプリ発光時のＫ倍の発光量で発光して、撮影が行われる。なお、倍率Ｋは、カメラの調光結果やユーザの設定により決定される。本発光時の輝度値の分布をＹexp(i,j)、環境光のみであるフラッシュ光非発光時の輝度値の分布をＹ0(i,j)とした場合に、これらの輝度値を用いて優先エリア６６内の値を平均などの処理で算出した代表値をＹexp#type、Ｙ0#typeとすると、優先エリア６６における輝度のうち、フラッシュ光の割合を示すαは次式で求められる。
α ＝ (Ｙexp#type − Ｙ0#type) ／ Ｙexp#type

環境光のＷＢ調整値をＧ0、カメラ内に記録されているフラッシュ光のみを発光した時のＷＢ調整値をＧflとすると、求めるＷＢ調整値Ｇwbは次式で求められる。
Ｇwb = (Ｇfl − Ｇ0)×α ＋ Ｇ0

本発光時は、第１フラッシュ装置１２、第２フラッシュ装置１３を両方発光させた状態で被写体５を撮像することにより、本発光画像を取得する。ＷＢ調整部５６では、図４に示すようにＷＢ調整ステップＳ１８を行い、本発光画像の信号値Ｒ，Ｇ，Ｂに対してＷＢ調整値Ｇwbを乗じてＷＢを調整する。これにより、光源色がキャンセルされる。なお、ＷＢ調整値Ｇwbは上記方法に限られず、種々の方法で求めてよい。

本実施形態では、ユーザが優先すべきエリアを優先エリア６６として選択入力するため、ユーザの意図に沿う優先エリア６６に基づきＷＢ調整値が算出されてＷＢ調整が行われる。これにより、複数の補助光源による撮影時に、主要被写体６の画像を適切な色味に仕上げることができる。

上記実施形態では、２個のフラッシュ装置１２，１３を用いる場合を例にとって説明したが、３個以上のフラッシュ装置を用いてもよい。この場合には、複数のフラッシュ光による優先エリアに対して上記同様の処理が行われて、ＷＢ調整値Ｇwbを求める。

なお、本実施形態では、記録画像を撮影するための本発光前に優先エリアの特定及びＷＢ調整値の算出を行っているが、優先エリアの特定及びＷＢ調整値の算出を行うタイミングはこれに限らず、例えば、本発光後に優先エリアの特定及びＷＢ調整値の算出を行ってもよい。

本実施形態では、タッチパネル２４を用いてＷＢ調整で優先エリアを選択及び特定しているが、優先エリアの特定方法はこれに限らず、例えば、操作スイッチ２２を用いたり、音声入力を用いたりして、優先エリアを選択及び特定してもよい。

［第２実施形態］
第１実施形態では、ユーザがタッチパネル２４で自ら優先エリア６６を選択することで、ＷＢ調整で用いる優先エリア６６を特定している。これに対して図８に示す第２実施形態では、優先エリア選択部７２は、フラッシュ光照射エリア合算部（補助光照射エリア合算部）７３、顔エリア検出部７４と、優先エリア決定部７５を有する。なお、以下の各実施形態において、第１実施形態と同一構成部材及び同一処理ステップには、同一符号を付して重複した説明を省略している。

図９は第２実施形態における処理手順を示すフローチャートである。なお、非発光信号値取得ステップＳ１１、プリ発光信号値取得ステップＳ１２、フラッシュ光照射エリア特定ステップＳ１３、ＷＢ調整値算出ステップＳ１７、及びＷＢ調整ステップＳ１８は第１実施形態と同じ処理であり、優先エリア選択ステップＳ２１のみが異なっている。優先エリア選択ステップＳ２１は、フラッシュ光照射エリア合算ステップＳ２２、顔エリア検出ステップＳ２３、優先エリア決定ステップＳ２４を含む。

フラッシュ光照射エリア合算ステップＳ２２では、図１０に示すように、各フラッシュ光照射エリア６７，６８を合算し、合算エリア７１を算出する。なお、合算とは、各フラッシュ光照射エリア６７，６８の論理和を求めるものであり、枠線７１ａに囲まれたエリアが合算エリア７１となる。

顔エリア検出ステップＳ２３では、顔エリア検出部７４が、図１０に示すように、第１プリ発光画像６１から人物の顔エリア７９を検出する。顔エリア７９の検出では、フラッシュ光照射エリア６７，６８を求める際に用いた分割エリア６５よりもサイズの小さい分割エリア（分割数を増やして分割エリア６５よりも細かい分割エリア）が好ましく用いられる。なお、非発光画像６０や第２プリ発光画像６２から、顔エリア７９を検出してもよい。

優先エリア決定ステップＳ２４では、顔エリア検出部７４により検出された顔エリア７９がいずれのフラッシュ光照射エリア６７，６８にあるかを優先エリア決定部７５が特定する。そして、顔エリア７９が無いフラッシュ光照射エリア６８を合算エリア７１から除外する。この除外により残ったフラッシュ光照射エリア６７を優先エリアと決定する。

優先エリア決定部７５は、顔エリア検出部７４が検出した顔エリア７９が第１フラッシュ光照射エリア６７にあるのか、第２フラッシュ光照射エリア６８にあるのかを、例えば画像に対して相互の位置を表す座標から求める。優先エリアの特定後は、第１実施形態と同様にして、ＷＢ調整を行う。

顔エリア７９は、人物の肌色を示す領域に基づき検出する。この他に、顔エリア７９の検出は、目、鼻、口等の形状認識による方法や、肌色領域と形状認識との組み合わせによる方法、その他の各種顔認識方法を用いてもよい。

本実施形態では、顔エリア７９を自動検出して優先エリアを特定することができ、第１実施形態のように、ユーザに優先エリアを選択させる必要がなくなり、使い勝手が向上する。

なお、図１１に示すように、複数のフラッシュ光照射エリア８０，８１が重複している場合には、ハッチングが付された合算エリア８２から、顔エリア７９が無いフラッシュ光照射エリア８１が除外され、残ったフラッシュ光照射エリア８０の一部が優先エリア６６となる。

［第３実施形態］
図１２に示すように、スタジオ撮影では、特殊効果フィルタ８３をフラッシュ装置１３の照射面に装着して、背景に色や絵柄を投影して撮影することがある。スタジオ撮影では、季節や行事などに応じて記念撮影する場合が多く、各季節や行事などに応じた背景色となるように特殊効果フィルタ８３が用いられる。例えば、４月の入学に際して入学記念の撮影をする場合には、満開の桜をイメージするように、背景をピンクにする特殊効果フィルタ８３や、桜の花びらが散っているような特殊効果フィルタ８３が用いられる。このような特殊効果フィルタ８３によるスタジオ撮影における優先エリアは、この背景用のフラッシュ装置による照射エリアを除くことにより、自動的に選択することができる。

図１３に示すように、第３実施形態では、優先エリア選択部８４は、フラッシュ光照射エリア合算部７３と、優先エリア決定部８５とを有する。優先エリア決定部８５は、環境光座標算出部８７と、フラッシュ光記録部８８と、差ベクトル算出部８９と、フラッシュ光照射エリアの非発光時の信号値の平均を算出する非発光時信号値平均算出部９０と、フラッシュ光照射エリアのプリ発光時の信号値の平均を算出するプリ発光時信号値平均算出部９１と、信号値平均予測値算出部９２と、特殊効果用途フラッシュ光判別部９３とを有する。優先エリア決定部８５は、特殊効果フィルタ８３によるフラッシュ光であることを識別し、この特殊効果フィルタ８３を用いたフラッシュ光が照射しているエリアを合算エリアから除外し、除外により残った合算エリアを優先エリアとして選択する。

図１４は第３実施形態における処理手順を示すフローチャートである。なお、非発光信号値取得ステップＳ１１、プリ発光信号値取得ステップＳ１２、フラッシュ光照射エリア特定ステップＳ１３、ＷＢ調整値算出ステップＳ１７、及びＷＢ調整ステップＳ１８は第１実施形態と同じ処理であり、優先エリア選択ステップＳ３１のみが異なっている。優先エリア選択ステップＳ３１は、優先エリア選択部８４により行われ、フラッシュ光照射エリア合算ステップＳ２２と、画像情報の判定により優先エリアを決定する優先エリア決定ステップＳ３２とを含む。優先エリア決定ステップＳ３２は、以下に示す処理を行い、優先エリアを決定する。

先ず、環境光座標算出部８７により、図１５に示すように、例えばＲ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間における環境光の光源色情報を表すＡ点の光源座標（R0/G0，B0/G0）を、非発光画像の信号値に基づき算出する。

次に、同じ色空間におけるフラッシュ光の光源色情報を表すＢ点の光源座標（Rf/Gf，Bf/Gf）を予め算出しておき、フラッシュ光記録部８８により、不揮発性メモリ等に記憶しておく。次に、差ベクトル算出部８９により、Ａ点の座標（R0/G0，B0/G0）及びＢ点の座標（Rf/Gf，Bf/Gf）に基づき、その差であるベクトルＣを算出する。ベクトルＣは信号値平均予測値算出部９２に出力される。

次に、非発光時信号値平均算出部９０により、図１６に示すように、各フラッシュ光照射エリアの非発光時の信号値平均Ｒ１，Ｇ１，Ｂ１（補助光照射エリアの非発光時の画素情報に相当）を算出し、色空間におけるＤ点の座標（R1/G1，B1/G1）を算出する。Ｄ点の座標（R1/G1，B1/G1）は、信号値平均予測値算出部９２及び特殊効果用途フラッシュ光判別部９３に出力される。

次に、信号値平均予測値算出部９２により、同じフラッシュ光照射エリアに、特殊効果フィルタ８３が無く環境光も無い状態でフラッシュ光のみを照射した時の信号値平均の予測値Ｒ２，Ｇ２，Ｂ２を示す、色空間におけるＥ点の座標（R2/G2，B2/G2）を次式から算出する。ここで、予測値Ｒ２，Ｇ２，Ｂ２は、補助光源発光時の信号値平均予測値に相当する。
（R2/G2，B2/G2）＝（R1/G1，B1/G1）＋Ｃ

次に、プリ発光時信号値平均算出部９１により、プリ発光画像のフラッシュ光照射エリアにおける信号値平均Ｒpre，Ｇpre，Ｂpre（発光画像に基づく画素情報に相当）を求め、図１７に示すように、このプリ発光時の信号値平均Ｒpre，Ｇpre，Ｂpreを示す、色空間におけるＦ点の座標（Rpre/Gpre，Bpre/Gpre）を算出する。Ｆ点の座標（Rpre/Gpre，Bpre/Gpre）は特殊効果用途フラッシュ光判別部９３に出力される。

次に、特殊効果用途フラッシュ光判別部９３により、Ｆ点の座標（Rpre/Gpre，Bpre/Gpre）に基づき特殊効果フィルタ８３を有するフラッシュ光か否かを判定する。非発光時信号値平均座標（R1/G1，B1/G1）で示されるＤ点と、フラッシュ発光時信号値平均予測座標（R2/G2，B2/G2）で示されるＥ点とを対角線の両端とする矩形の判定範囲Ｈ１に、Ｆ点の座標（Rpre/Gpre，Bpre/Gpre）が存在した場合、特殊効果用途フラッシュ光判別部９３は、特殊効果フィルタ８３が無い通常のフラッシュ光（色温度：５０００〜６０００Ｋ）であると判定する。逆に、判定範囲Ｈ１にＦ点の座標（Rpre/Gpre，Bpre/Gpre）が無い場合には、特殊効果フィルタ８３が装着されたフラッシュ装置であると判定する。従って、特殊効果フィルタ８３が装着されたフラッシュ装置である場合には、このフラッシュ装置による照射エリアは合算エリアから除外され、残った合算エリアが優先エリアと判定される。

特殊効果フィルタ８３を用いたフラッシュ光の照射エリアを優先エリアの選択対象から除外し、残った照射エリアを優先エリアであると選択するので、背景の照明に使われることが多い特殊効果フィルタ８３を用いたフラッシュ光の照射エリアが確実に優先エリアの選択候補から除外され、人物等の主要被写体６に発せられるフラッシュ光の照射エリアが優先エリアとして選択される。したがって、主要被写体６を適切な色味とすることができる。

なお、優先エリアであると判定されるフラッシュ光照射エリアが複数ある場合には、例えば輝度値平均が高い方のフラッシュ光照射エリアを優先エリアと決定する。また、これに代えて、ユーザの光量設定比率が大きい方を優先エリアと決定する。更には、上記のようにいずれか一方を選ぶ代わりに、複数のフラッシュ光照射エリアを優先エリアと決定してもよい。

優先エリアであると決定されるフラッシュ光照射エリアが複数ある場合には、以下のようにして、ＷＢ調整値Ｇwbを求める。

例えば優先エリアが２つある場合、先ず、第１優先フラッシュ光及び第２優先フラッシュ光をそれぞれ個別に発光させた時のｉ×ｊ個のブロック（分割エリア６５、本例ではｉ，ｊ＝１〜８）に分割された輝度値の分布をそれぞれYpre1(i,j)、Ypre2(i,j)、非発光時(=環境光のみ)の輝度値の分布をY0(i,j)とすると、第１、第２優先フラッシュ光によって増加した輝度値の分布ΔYpre1(i,j)、ΔYpre2(i,j)はそれぞれ次式で求められる。
ΔYpre1(i,j) ＝Ypre1(i,j) − Y0(i,j)
ΔYpre2(i,j) ＝ Ypre2(i,j) − Y0(i,j)

本発光時に第１優先フラッシュ光及び第２優先フラッシュ光のみによって増加すると予想される輝度値の分布ΔYexp(i,j)は、次式のようになる。なお、K1は第１優先フラッシュ光の（本発光時の発光量）／（プリ発光時の発光量）から求められ、K2は第２優先フラッシュ光の（本発光時の発光量）／（プリ発光時の発光量）から求められる。
ΔYexp(i,j) = K1×ΔYpre1(i,j)+ K2×ΔYpre2(i,j)

求めた増加分の輝度値の分布ΔYexp(i,j)に基づき、以下は優先エリアが１つの場合と同様にして、予想される輝度値の分布Ｙexp(i,j)、Ｙ0(i,j)、優先エリアの代表値をＹexp#type、Ｙ0#type、優先エリアにおける輝度のうち、優先フラッシュ光の割合を示すα等を算出して、最終的にＷＢ調整値Ｇwbが求められる。このＷＢ調整値Ｇwbに基づき、上記と同じようにしてＷＢ調整が行われる。

［変形例１］
上記第３実施形態において、図１７に示すように矩形の判定範囲Ｈ１を用いたが、図１８に示す変形例１では、Ｄ点とＥ点とを結ぶ線分に直交する方向に幅ｈで規定される矩形の判定範囲Ｈ２を用いている。幅ｈは例えば線分ＤＥの長さの３０％の長さを用いる。具体的には幅ｈはＷＢ性能が最も良くなる値に設定されている。

［変形例２］
また、図１９に示す変形例２では、Ｄ点とＥ点とを結ぶ線分に対してＤ点を基準にして所定角度θで振り分けたセクタ状（扇状）の判定範囲Ｈ３を用いている。角度θは、ＷＢ性能が最も良くなる値に設定されている。

［変形例３〜５］
図１７に示す判定範囲Ｈ１に対して、図２０に示す変形例３では、ベクトルＣの長さに縮小率β（β＜１）を乗じて、ベクトルＣよりも長さを短くした判定範囲Ｈ４を用いる。同様にして、図１８に示す変形例１の判定範囲Ｈ２に対して、図２１に示す変形例４では、線分ＤＥの長さに縮小率βを乗じて、線分ＤＥよりも長さを短くした判定範囲Ｈ５を用いる。同様にして、図１９に示す変形例２の判定範囲Ｈ３に対して、図２２に示す変形例５では、線分ＤＥの長さに縮小率βを乗じて、線分ＤＥよりも長さを短くしたセクタ状の判定範囲Ｈ６を用いる。

縮小率βは次式により求める。
β＝（Ｙpre−Ｙ0）／Ｙpre
なお、Ｙpreはフラッシュ光照射エリアのプリ発光時の輝度値平均であり、Ｙ0は、同じくフラッシュ光照射エリアの非発光時の輝度値平均である。なお、βに例えば１．２を乗じた値β１（＝β×１．２）を用いて縮小率βに余裕を持たせることが好ましい。

上記変形例１〜５のように、図１７に示す判定範囲Ｈ１よりも、判定範囲Ｈ２〜Ｈ６を狭めることにより、特殊効果フィルタ８３が装着されたフラッシュ装置のフラッシュ光であるか否かの判定をより厳しくすることができる。

なお、第３実施形態では、非発光時信号値平均及びフラッシュ光発光時の信号値平均予測値を両端として含む範囲内に発光時信号値平均がある場合に優先エリアと判定しているが、この判定方法に限定されない。例えば、予め記憶しているフラッシュ光による画素情報に基づいて優先エリアを決定してもよい。

［第４実施形態］
図２３に示すように、第４実施形態では、優先エリア選択部９５は、空間周波数算出部９６と優先エリア決定部９７とを有し、空間周波数算出部９６で算出した空間周波数に基づき、優先エリア決定部９７で背景を照射するフラッシュ光か否かを判定する。

図２４は第４実施形態における処理手順を示すフローチャートである。なお、非発光信号値取得ステップＳ１１、プリ発光信号値取得ステップＳ１２、フラッシュ光照射エリア特定ステップＳ１３、ＷＢ調整値算出ステップＳ１７、及びＷＢ調整ステップＳ１８は第１実施形態と同じ処理であり、優先エリア選択ステップＳ４１のみが異なっている。優先エリア選択ステップＳ４１では、フラッシュ光照射エリア合算ステップＳ２２、空間周波数算出ステップＳ４２、及び優先エリア決定ステップＳ４３を行う。

空間周波数算出ステップＳ４２では、空間周波数算出部９６により、非発光画像６０における各フラッシュ装置１２，１３によるフラッシュ光照射エリア６７，６８の空間周波数を算出する。優先エリア決定ステップＳ４３では、算出した各フラッシュ装置１２，１３によるフラッシュ光照射エリア６７，６８の空間周波数が一定値以下の場合に、優先エリア決定部９７が、一定値以下の空間周波数を有するフラッシュ光照射エリアを合算エリアから除外する。背景幕７は無地のスクリーンから構成されていることが多く、空間周波数が一定値以下となることが多い。従って、本例では背景幕７に当たるフラッシュ光照射エリア６８が除外され、この除外により残るフラッシュ光照射エリア６７が優先エリアとして選択される。

なお、除外により残されたフラッシュ光照射エリアが複数ある場合には、輝度値平均が高いフラッシュ光照射エリアが優先エリアとして決定される。また、優先エリアを１つだけ決定することに替えて、残された複数のフラッシュ光照射エリアの全てを優先エリアとして決定してもよい。

空間周波数が一定値以下のフラッシュ光照射エリアを優先エリアの選択候補から除外し、除外により残る照射エリアを優先エリアと決定するので、背景幕７を照射するフラッシュ光の照射エリアが優先エリアの選択対象から確実に除外され、主要被写体６を照射するフラッシュ光の照射エリアが優先エリアとして選択される。したがって、主要被写体６を適切な色味とすることができる。

上記各実施形態において、非発光画像取得部５３ａ、発光画像取得部５３ｂ、フラッシュ光照射エリア特定部（補助光照射エリア特定部）５４、優先エリア選択部５５、７２、８４、９５、ＷＢ調整値算出部５９、ＷＢ調整部５６、フラッシュ光照射エリア合算部（補助光照射エリア合算部）７３、顔エリア検出部７４、優先エリア決定部７５、８５、９７、空間周波数算出部９６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、あるいはＦＰＧＡ(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、さらにはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

以上の説明から、以下の付記項に示す発明を把握することができる。

［付記項１］
複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得プロセッサと、
複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得プロセッサと、
前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定プロセッサと、
各前記補助光源の前記補助光照射エリアのうち、ホワイトバランス調整に用いる優先エリアを選択する優先エリア選択プロセッサと、
選択された前記優先エリアの信号値に基づき前記ホワイトバランス調整値を算出するホワイトバランス調整値算出プロセッサと、
前記ホワイトバランス調整値による調整を行うホワイトバランス調整プロセッサと
を備えるホワイトバランス調整装置。

本発明は、上記各実施形態や変形例に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。例えば、上記各実施形態や変形例を適宜組み合わせることも可能である。

本発明は、カメラ１１以外に、携帯電話機、スマートフォン等の撮像装置に適用可能である。

５ 被写体
６ 主要被写体
７ 背景幕
９ 撮影スタジオ
１０ 撮影システム
１１ デジタルカメラ（カメラ）
１１ａ カメラ本体
１２ 第１フラッシュ装置（補助光源）
１３ 第２フラッシュ装置（補助光源）
１４ フラッシュ発光部
１５，１６ 無線通信Ｉ／Ｆ
１７ フラッシュ制御部
１８ フラッシュ発光部
２１ レンズ鏡筒
２２ 操作スイッチ
２３ 背面表示部
２４ タッチパネル
２５ 撮影光学系
２６ 絞り
２７ シャッタ
２８ 撮像素子
２９ 主制御部
３０ フラッシュ制御部
３３ バス
３４ メモリ制御部
３５ デジタル信号処理部
３６ メディア制御部
３７ 背面表示制御部
３８ タッチパネル制御部
３９ メモリ
４０ 記録メディア
４１ シャッタ駆動部
４５ 作動プログラム
５２ 照明制御部
５３ 画像取得部
５３ａ 非発光画像取得部
５３ｂ 発光画像取得部
５４ フラッシュ光照射エリア特定部
５５ 優先エリア選択部
５６ ＷＢ調整部（ホワイトバランス調整部）
５９ ＷＢ調整値算出部（ホワイトバランス調整値算出部）
６０ 非発光画像
６１，６２ 第１、第２プリ発光画像
６３，６４ フラッシュ光照射エリア特定画像
６５ 分割エリア
６６ 優先エリア
６７ 第１フラッシュ光照射エリア
６７ａ 枠
６８ 第２フラッシュ光照射エリア
６８ａ 枠
６９ 被写体画像
７０ 指
７１ 合算エリア
７１ａ 枠線
７２ 優先エリア選択部
７３ フラッシュ光照射エリア合算部（補助光照射エリア合算部）
７４ 顔エリア検出部
７５ 優先エリア決定部
７９ 顔エリア
８０，８１ フラッシュ光照射エリア
８２ 合算エリア
８３ 特殊効果フィルタ
８４ 優先エリア選択部
８５ 優先エリア決定部
８７ 環境光座標算出部
８８ フラッシュ光記録部
８９ 差ベクトル算出部
９０ 非発光時信号値平均算出部
９１ プリ発光時信号値平均算出部
９２ 信号値平均予測値算出部
９３ 特殊効果用途フラッシュ光判別部
９５ 優先エリア選択部
９６ 空間周波数算出部
９７ 優先エリア決定部
Ａ 環境光の光源座標
Ｂ フラッシュ光の光源座標
Ｃ ベクトル
Ｄ フラッシュ光照射エリアの非発光時の信号値平均
ＤＥ 線分
Ｅ フラッシュ光照射エリアのフラッシュのみ発光時の信号値平均予測値
Ｈ１〜Ｈ６ 判定範囲
ＬＡ 光軸
ｈ 幅
θ 角度
Ｓ１１ 非発光信号値取得ステップ
Ｓ１２ プリ発光信号値取得ステップ
Ｓ１３ フラッシュ光照射エリア特定ステップ（補助光照射エリア特定ステップ）
Ｓ１４ 優先エリア選択ステップ
Ｓ１５ 照射エリア画像表示ステップ
Ｓ１６ 優先エリア選択入力ステップ
Ｓ１７ ＷＢ調整値算出ステップ（ホワイトバランス調整値算出ステップ）
Ｓ１８ ＷＢ調整ステップ（ホワイトバランス調整ステップ）
Ｓ２１，Ｓ３１，Ｓ４１ 優先エリア選択ステップ
Ｓ２２ フラッシュ光照射エリア合算ステップ
Ｓ２３ 顔エリア検出ステップ
Ｓ２４ 優先エリア決定ステップ
Ｓ３２ 優先エリア決定ステップ
Ｓ４２ 空間周波数算出ステップ
Ｓ４３ 優先エリア決定ステップ

Claims (12)

1. 複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得部と、
   複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得部と、
   前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定部と、
   各前記補助光源の前記補助光照射エリアのうち、ホワイトバランス調整に用いる優先エリアを選択する優先エリア選択部と、
   選択された前記優先エリアの信号値に基づきホワイトバランス調整値を算出するホワイトバランス調整値算出部と、
   前記ホワイトバランス調整値による調整を行うホワイトバランス調整部と
   を備えるホワイトバランス調整装置。
2. 各前記補助光源による前記補助光照射エリアから１つ又は複数の前記優先エリアの選択指示を前記優先エリア選択部に入力する選択入力部を有する請求項１記載のホワイトバランス調整装置。
3. 前記優先エリア選択部は、
   各前記補助光照射エリアを合算した合算エリアを算出する補助光照射エリア合算部と、
   前記非発光画像又は前記発光画像から顔エリアを検出する顔エリア検出部と、
   前記顔エリア検出部により検出された前記顔エリアがいずれの前記補助光照射エリアにあるかを特定し、前記顔エリアが無い前記補助光照射エリアを前記合算エリアから除外し、除外により残ったエリアを前記優先エリアと決定する優先エリア決定部とを有する請求項１記載のホワイトバランス調整装置。
4. 前記優先エリア選択部は、
   各前記補助光照射エリアを合算した合算エリアを算出する補助光照射エリア合算部と、
   予め記憶している前記補助光源による画素情報及び前記合算エリアに基づいて前記優先エリアを決定する優先エリア決定部とを有する請求項１記載のホワイトバランス調整装置。
5. 前記優先エリア決定部は、
   予め記憶している前記補助光による光源色情報と、前記非発光画像から取得する環境光による光源色情報と、前記補助光照射エリアの非発光時の画素情報とから、色空間上の判定範囲を設定し、
   前記判定範囲外に発光画像に基づく画素情報が位置する場合に、前記補助光照射エリアを前記合算エリアから除外し、除外により残ったエリアを優先エリアと判定する請求項４記載のホワイトバランス調整装置。
6. 前記補助光による光源色情報は、色空間における前記補助光の色を示す座標であり、
   前記環境光による光源色情報は、前記非発光画像に基づき求められ、色空間における前記環境光の色を示す座標であり、
   前記補助光照射エリアの非発光時の画素情報は、前記非発光画像に基づき求められ、色空間における前記補助光照射エリアの非発光時信号値平均を示す座標であり、
   前記優先エリア決定部は、前記補助光の座標と前記環境光の座標との差である差ベクトルを算出し、
   前記非発光時信号値平均の座標に前記差ベクトルを加算して、前記補助光源を前記個別発光状態にする場合の前記補助光源発光時の信号値平均予測値を求め、
   前記発光画像に基づき、前記色空間における前記補助光照射エリアの信号値平均である発光時信号値平均を算出し、
   前記非発光時信号値平均、前記補助光源発光時の信号値平均予測値、及び発光時信号値平均に基づいて優先エリアを判定する請求項５記載のホワイトバランス調整装置。
7. 前記優先エリア決定部は、前記非発光時信号値平均及び前記補助光源発光時の信号値平均予測値を両端として含む前記判定範囲外に前記発光時信号値平均がある場合に、前記補助光照射エリアを前記合算エリアから除外し、除外によって残ったエリアを優先エリアとして選択する請求項６記載のホワイトバランス調整装置。
8. 前記優先エリア選択部は、
   各前記補助光照射エリアを合算した合算エリアを算出する補助光照射エリア合算部と、
   前記非発光画像における各前記補助光源による前記補助光照射エリアの空間周波数を算出する空間周波数算出部と、
   各前記補助光源による前記補助光照射エリアの空間周波数が一定値以下の場合に、空間周波数が一定値以下の前記補助光照射エリアを前記合算エリアから除外し、除外により残ったエリアを優先エリアと決定する優先エリア決定部と
   を有する請求項１記載のホワイトバランス調整装置。
9. 前記ホワイトバランス調整値算出部は、
   前記補助光源を発光状態にして前記被写体を撮像した本発光時の発光画像を取得し、前記発光画像の前記優先エリアにおける信号値、及び前記非発光画像の前記優先エリアにおける信号値に基づいてホワイトバランス調整値を算出する請求項１から８いずれか１項記載のホワイトバランス調整装置。
10. 前記ホワイトバランス調整部は、
    複数の前記補助光源を本発光時の発光量で発光状態にして前記被写体を撮像した本発光画像を取得し、
    前記本発光画像に対して前記ホワイトバランス調整値によるホワイトバランス調整を行う請求項１から９いずれか１項に記載のホワイトバランス調整装置。
11. 複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得ステップと、
    複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得ステップと、
    前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定ステップと、
    各前記補助光源の前記補助光照射エリアのうち、ホワイトバランス調整に用いる優先エリアを選択する優先エリア選択ステップと、
    選択された前記優先エリアの信号値に基づきホワイトバランス調整値を算出するホワイトバランス調整値算出ステップと、
    前記ホワイトバランス調整値による調整を行うホワイトバランス調整ステップと
    を有するホワイトバランス調整装置の作動方法。
12. 複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得ステップと、
    複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得ステップと、
    前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定ステップと、
    各前記補助光源の前記補助光照射エリアのうち、ホワイトバランス調整に用いる優先エリアを選択する優先エリア選択ステップと、
    選択された前記優先エリアの信号値に基づきホワイトバランス調整値を算出するホワイトバランス調整値算出ステップと、
    前記ホワイトバランス調整値による調整を行うホワイトバランス調整ステップとを
    コンピュータに実行させることによりコンピュータをホワイトバランス調整装置として機能させるホワイトバランス調整装置の作動プログラム。

Images