JP5489411B2 - ホワイトバランス制御装置及びホワイトバランス制御方法 - Google Patents

Description

本発明は、適切なホワイトバランス制御を行うホワイトバランス制御装置及びホワイトバランス制御方法に関する。

近年のビデオカメラに用いられるオートホワイトバランス制御方式は、外部センサを使用せず、撮像素子の出力を用いて行うものが主流となっている。このようなホワイトバランス制御装置として、特許文献１提案のものがある。

特許文献１提案のホワイトバランス制御装置では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）、輝度信号（Ｙ）を得るとともに、輝度及び色信号から白に近い色信号成分を抽出する。そして、抽出された白に近い色信号の平均値が目標とする白色（無彩色）と等しくなるように制御する。

また、白に近い信号成分が画面全体に対して少ない場合は、肌色等の有彩色を用いて光源の色温度を推定する技術がある（例えば、特許文献２参照）。

以下、図１３に基づき従来の技術について詳しく説明する。

図１３は、従来のホワイトバランス制御装置を備えた撮像装置の一例を示すブロック図である。

図１３において、撮像系１３０１は、被写体の光束を結像するレンズ及び入射した光を光電変換する撮像素子からなる。輝度・色信号生成部１３０２は、撮像系１３０１で生成された信号を輝度信号（Ｙ）と色信号（Ｒ、Ｇ、Ｂ）に変換する。

輝度処理部１３０３は、輝度信号に対して輪郭強調やガンマ処理を施す。ホワイトバランス増幅部１３０４は、輝度・色信号生成部１３０２から出力される色信号（Ｒ、Ｇ、Ｂ）をホワイトバランスゲインに従って増幅する。

色処理部１３０５は、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）の生成、カラーバランス調整等を行う。出力部１３０６は画像信号を出力する。白抽出部１３０７は、画像信号から白に近い信号を抽出する。

有彩色抽出部１３０８は、画像信号から所定の有彩色に近い信号を抽出する。ホワイトバランスゲイン制御部１３０９は、白抽出部１３０７及び有彩色抽出部１３０８の抽出結果に基づき、ホワイトバランス増幅部１３０４のホワイトバランスゲインを決定する。

次に、上記のような構成のシステムの動作について説明する。

撮像系１３０１では、光学系を通して入射された光を撮像素子で光電変換し、画像信号を輝度・色信号生成部１３０２に出力する。輝度・色信号生成部１３０２は、入力した画像信号から輝度信号（Ｙ）、色信号（Ｒ、Ｇ、Ｂ）を生成し、輝度信号は輝度処理部１３０３へ、色信号はホワイトバランス増幅部１３０４へ出力する。

輝度処理部１３０３は、輝度信号に対して輪郭強調やガンマ処理等を施す。一方、ホワイトバランス増幅部１３０４では、後に説明するホワイトバランスゲイン制御部１３０９から出力されるホワイトバランスゲインに基づき色信号（Ｒ、Ｇ、Ｂ）を増幅し、増幅された色信号を色処理部１３０５へ出力する。

色処理部１３０５では、色信号（Ｒ、Ｇ、Ｂ）から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を生成するとともに、カラーバランス調整等の色処理を施し、色差信号を出力部１３０６及び白抽出部１３０７、有彩色抽出部１３０８へ出力する。出力部１３０６では輝度信号、及び色差信号を外部に出力する。

白抽出部１３０７は、輝度信号（Ｙ）、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）から白色に近い信号を抽出する。

図１４（ａ）は、白として抽出する白抽出範囲を示した図である。図１４（ａ）は、色差（Ｒ−Ｙ、Ｂ−Ｙ）平面を示しており、白抽出範囲１４０１は、白（無彩色）に近い色の範囲である。

白抽出部１３０７は、所定の輝度範囲に含まれる信号であり、白抽出範囲１４０１内に含まれる信号を抽出する。また、白抽出部１３０７は、抽出した色信号の平均値（白抽出平均値）と白抽出した白色信号の量（白色量）を算出し、ホワイトバランスゲイン制御部１３０９に出力する。

有彩色抽出部１３０８は、輝度信号（Ｙ）、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）から肌色に近い信号を抽出する。

図１４（ｂ）は、肌色として抽出する肌色抽出範囲１４０２を示した図である。

有彩色抽出部１３０８は、所定の輝度範囲に含まれる信号であり、肌色抽出範囲１４０２内に含まれる信号を抽出する。また、有彩色抽出部１３０８は、抽出した色信号の平均値（肌色抽出平均値）と抽出した肌色信号の量（肌色量）を算出し、ホワイトバランスゲイン制御部１３０９に出力する。

ホワイトバランスゲイン制御部１３０９は、白抽出部１３０７及び有彩色抽出部１３０８の色信号抽出結果に基づき、ホワイトバランスゲインを制御する。

図１５は、図１３におけるホワイトバランスゲイン制御部１３０９によるホワイトバランスゲイン算出処理の手順を示すフローチャートである。

図１５において、ステップＳ１５０１では、白色量が所定の閾値以上あるかどうか判定する。即ち、ホワイトバランスを制御するために十分な白領域が画像中に含まれているかを判定する。白色量が閾値以上の場合はステップＳ１５０３に進み、白色量が閾値未満の場合はステップＳ１５０２に進む。

ステップＳ１５０２では、画像中の白色量が少ない場合に、肌色信号を使ってホワイトバランス制御を行うかを判定する。具体的には、ホワイトバランスを制御するために十分な肌色領域が画像中に含まれているか判定する。肌色量が所定の閾値以上ある場合はステップＳ１５０４に進み、肌色量が閾値未満の場合はステップＳ１５０５に進む。

ステップＳ１５０３では、白抽出平均値を利用してホワイトバランスゲインを算出する。具体的には、白抽出平均値を目標の白（色差平面の原点）に近づけるホワイトバランスゲインを算出する。

図１６（ａ）は、白抽出平均値を利用したホワイトバランスゲイン制御の様子を示した図である。白抽出平均値１６０１、色差平面の原点１６０２が示される。

ホワイトバランスゲイン制御部１３０９は、白抽出平均値１６０１が色差平面の原点（無彩色）１６０２に近づくように赤（Ｒ）及び青（Ｂ）信号のホワイトバランスゲインを決定し、ゲイン情報をホワイトバランス増幅部１３０４に出力する。

図１６（ａ）の例では、白抽出平均値１６０１の位置が図に示す状態から赤（Ｒ）のゲインを下げ、青（Ｂ）のゲインを上げるようにホワイトバランスゲインを決定する。

ステップＳ１５０４では、肌色抽出平均値を利用してホワイトバランスゲインを算出する。具体的には、肌色抽出平均値を肌色目標値に近づけるホワイトバランスゲインを算出する。

図１６（ｂ）は、肌色平均値を利用したホワイトバランスゲイン制御の様子を示した図である。肌色抽出平均値１６０３、肌色目標値１６０４が示される。

ホワイトバランスゲイン制御部１３０９は、肌色抽出平均値１４０３が所定の肌色目標値１４０４に近づくような赤（Ｒ）及び青（Ｂ）信号のホワイトバランスゲインを決定し、ゲイン情報をホワイトバランス増幅部１３０４に出力する。

図１６（ｂ）の例では、肌色抽出平均値１６０３が図に示す状態から肌色目標値１６０４に近づくように赤（Ｒ）のゲインを下げ、青（Ｂ）のゲインを上げるようにホワイトバランスゲインを決定する。

ステップＳ１５０５では、ホワイトバランスゲインを新たに算出せずに、現状のホワイトバランスゲインをそのまま用いる。これは、画像中に白領域も肌色領域も少なく判定できない場合の処理である。

ホワイトバランス増幅部１３０４では、次のフレーム以降の撮影画像に対して、ホワイトバランス制御部１３０９において新たに設定されたホワイトバランスゲインを用いて色信号の増幅を行う。

このように構成することで、画像中に白色信号が少なくホワイトバランスを制御することが困難な場合でも、肌色を利用することでホワイトバランス制御が可能となる。
特開平５−６４２１９号公報 特開２００３−３３３６１６号公報

上記従来の技術では、画像（画面）中に白に近い色が少ないとき肌色の情報を利用していた。しかし、画像中に常に白もしくは肌色が含まれているとは限らず、被写体中に白に近い色も肌色も含まれないような場合はホワイトバランスがうまく合わないという課題がある。

本発明の目的は、画面中に白が少ない場合であっても、被写体に応じた特定色を抽出し、ホワイトバランス制御を行うことが可能となるホワイトバランス制御装置及びホワイトバランス制御方法を提供することにある。

上記目的を達成するために、請求項１記載のホワイトバランス制御装置は、画像中の被写体を認識する認識手段と、前記認識手段により認識される被写体の優先度を設定する設定手段と、画像中の白抽出領域を無彩色に近づけることで画像のホワイトバランスを制御する第１のホワイトバランス制御手段と、画像中の白抽出領域が閾値未満である場合、前記認識手段の認識結果及び前記設定手段により設定された被写体の優先度に基づいて、特定の有彩色を所定の色目標値に近づけることで画像のホワイトバランスを制御する第２のホワイトバランス制御手段と、を備え、前記第２のホワイトバランス制御手段は、第１の優先度の被写体にかかる特定の有彩色の領域が閾値未満である場合、前記第１の優先度よりも優先度が低い第２の優先度の被写体にかかる特定の有彩色を所定の色目標値に近づけるようにホワイトバランスを制御することを特徴とする。

本発明の撮像装置によれば、画面中に白が少ない場合であっても、被写体に応じた特定色を抽出し、ホワイトバランス制御を行うことが可能となる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

（第１の実施の形態）
本発明の第１の実施の形態として、被写体の認識情報に従って、画像中に白に近い色が少ない場合に利用する特定色を選択する例について説明する。

図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。

図１において、撮像系１０１は、被写体の光束を結像するレンズ及び撮像素子からなる。輝度・色信号生成部１０２は、撮像系１０１で生成された信号を輝度信号（Ｙ）と色信号（Ｒ、Ｇ、Ｂ）に変換する。

輝度処理部１０３は、輝度信号に対して輪郭強調やガンマ処理を施す。ホワイトバランス増幅部１０４は、輝度・色信号生成部１０２から出力される色信号（Ｒ、Ｇ、Ｂ）をホワイトバランスゲインに従って増幅する。

色処理部１０５は、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）の生成、カラーバランス調整等を行う。出力部１０６は画像信号を出力する。白抽出部１０７は、画像信号から白に近い信号を抽出する。

有彩色抽出部１０８は、画像信号から所定の有彩色に近い信号を抽出する。ホワイトバランスゲイン制御部１０９は、白抽出部１０７及び有彩色抽出部１０８の抽出結果に基づき、ホワイトバランス増幅部１０４のホワイトバランスゲインを決定する。

被写体認識部１１０は撮影された被写体を認識する。有彩色抽出制御部１１１は、被写体認識部１１０の認識結果に応じて有彩色の抽出を制御する。

次に、上記のような構成のシステムの動作について説明する。

撮像系１０１から白抽出部１０７で白に近い信号を抽出するまでの処理は、図１３に示した従来例における撮像系１３０１から白抽出部１３０７までの処理と同様であるため、詳細な説明は省略する。

次に、被写体認識部１１０について説明する。被写体認識部１１０は、撮像された被写体が何であるかを認識する。本実施の形態では、被写体認識部１１０において、撮影画像中に「人物の顔」、「青空」、「緑の草木」が含まれているかを認識するものとする。

各被写体の例を図２に示す。図２（ａ）は人物の顔を含む画像、（ｂ）は青空を含む画像、（ｃ）は緑の草木を含む画像である。

尚、人物の顔等の被写体認識手段に関しては、従来から様々な手法が提案されており、それらのどのような方法を用いてもかまわない。被写体認識結果は有彩色抽出制御部１１１へ出力される。

有彩色抽出制御部１１１は、ホワイトバランスを制御するために有彩色抽出部１０８で抽出する有彩色を１種類選択する。

図３は、図１における有彩色抽出制御部１１１によって実行される抽出有彩色決定処理の手順を示すフローチャートである。

有彩色抽出制御部１１１は、被写体認識部１１０からの被写体認識結果を用いて抽出する有彩色を決定する。

図３において、ステップＳ３０１では撮影画像中に人物の顔があるか判定する。人物の顔がある場合はステップＳ３０４へ進み、顔がない場合はステップＳ３０２へ進む。

ステップＳ３０２では画像中に青空があるかを判定する。青空がある場合はステップＳ３０５へ進み、青空がない場合はステップＳ３０３へ進む。

ステップＳ３０３では画像中に緑の草木があるかを判定する。緑の草木がある場合はステップＳ３０６へ進み、草木がない場合はステップＳ３０７へ進む。

ステップＳ３０１乃至Ｓ３０３は、取得されたカメラ情報（撮影情報）（被写体）が何であるか認識する認識手段（被写体認識手段）として機能する。

ステップＳ３０４では抽出する有彩色として肌色を選択する。ステップＳ３０５では抽出する有彩色として青色を選択する。ステップＳ３０６では抽出する有彩色として緑色を選択する。ステップＳ３０７では有彩色を抽出しないことを決定する。そして、本処理を終了する。

ステップＳ３０４乃至Ｓ３０６は、認識手段の認識結果に基づいて抽出する特定の有彩色を複数の有彩色の中から選択する有彩色選択手段として機能する。

上記フローによって決定した撮影情報である被写体情報（以下、「被写体認識情報」とも呼称する）及び、抽出する有彩色の情報は有彩色抽出部１０８及びホワイトバランスゲイン制御部１０９に出力される。

有彩色抽出部１０８は、被写体認識情報と抽出有彩色情報に基づき有彩色を抽出する。例えば、抽出有彩色として肌色が選択された場合は、被写体認識情報に基づき画像中の顔がある領域から肌色の範囲にある色を抽出する。

図４に肌色の抽出例を示す。図４は人物の顔を含む被写体を撮影した画像を示している。図４において、人物の顔として認識した斜線部の領域が顔領域４０１である。有彩色抽出部１０８は、顔領域４０１の中から図１２（ｂ）に示すような肌色の抽出範囲に含まれる色を抽出する。

また、有彩色抽出部１０８は、抽出した肌色の色平均値及び抽出した肌色信号の量（肌色量）を算出し、ホワイトバランスゲイン制御部１０９に出力する。

上記は有彩色抽出制御部１１１において、抽出する有彩色として肌色が選択された場合の例であるが、青が抽出する有彩色として選択された場合は、青空として認識した領域から青色抽出範囲に含まれる色信号を抽出する。また、緑が抽出する有彩色として選択された場合は草木として認識した領域から緑色信号を抽出する。

図５は、色差平面における青及び緑の抽出範囲の例を示した図である。図５において、青色抽出範囲５０１と緑色抽出範囲５０２を示している。抽出した色信号の平均値と、抽出量（青色量あるいは緑色量）をホワイトバランスゲイン制御部１０９に出力する点は肌色の場合と同様である。

次に、ホワイトバランスゲイン制御部１０９の動作について説明する。ホワイトバランスゲイン制御部１０９は、白抽出部１０７及び有彩色抽出部１０８の色信号抽出結果に基づき、ホワイトバランスゲインを制御する。

図６は、図１におけるホワイトバランスゲイン制御部によって実行されるホワイトバランスゲイン算出（制御）処理の手順を示すフローチャートである。

図６において、ステップＳ６０１では白色量が所定の閾値以上あるかどうか判定する。即ち、ホワイトバランスを制御するために十分な白領域が画像中に含まれているかを判定する。

ステップＳ６０１は、カメラ情報（撮影情報）の白抽出領域が閾値以上であるか否か判定する第１の判定手段として機能する。

白色の量が閾値以上の場合にはステップＳ６０３に進み、白色の量が閾値未満の場合はステップＳ６０２に進む。

ステップＳ６０２では画像中に白色信号が少ない場合に、有彩色信号を使ってホワイトバランス制御ができるか判定する。即ち、有彩色抽出制御部１１１で選択された特定の有彩色（本例では肌色、青色、緑色のいずれか）の量が所定の閾値以上含まれているか判定する。

ステップＳ６０２は、第１の判定手段により白抽出領域が閾値未満であると判定された場合に有彩色選択手段により選択された特定の有彩色領域が閾値以上であるか否か判定する第２の判定手段として機能する。

画像中の特定有彩色の量が閾値以上の場合はステップＳ６０４に進み、特定有彩色の量が閾値未満の場合はステップＳ６０６に進む。

ステップＳ６０３では白抽出平均値を利用してホワイトバランスゲインを算出し、算出したゲイン情報をホワイトバランス増幅部１０４に出力する。この処理は従来例において図１３を用いて説明した制御と同様であるため詳細な説明は省略する。

ステップＳ６０３は、第１の判定手段により白抽出領域が閾値以上であると判定された場合に白抽出領域を無彩色に近づけることでホワイトバランスを制御する第１のホワイトバランス制御手段として機能する。

ステップＳ６０４では特定有彩色に対応する色目標値を取得する。例えば、有彩色抽出制御部１１１において、青空の青色を抽出することが決定した場合は、青色の色目標値を取得する。

図７に色目標値の例を示す。図７において、人物に対応する肌色目標値７０１、空の青色に対応する青色目標値７０２、草木の緑色に対応する緑色目標値７０３を示す。肌色目標値７０１に対して青色目標値７０２、緑色目標値７０３の範囲が大きい理由は、人物の肌色と比較して青空や草木の緑は広範囲の色分布を持っているためである。

ステップＳ６０５では有彩色抽出平均値を利用してホワイトバランスゲインを算出する。具体的には、抽出した有彩色の平均値がステップＳ６０４で取得した色目標値の範囲内に近づけるようなホワイトバランスゲインを算出する。このとき、各色目標値の中心に有彩色抽出平均値が合うように制御する必要はなく、色目標値の範囲内に入ればホワイトバランスの制御をストップする。

ステップＳ６０５は、第２の判定手段により特定の有彩色領域が閾値以上であると判定された場合に特定の有彩色領域を所定の色目標値に近づけることでホワイトバランスを制御する第２のホワイトバランス制御手段として機能する。

ステップＳ６０６ではホワイトバランスゲインを新たに算出せずに、これまでのホワイトバランスゲインをそのまま用いる。これは、画像中に白領域も被写体に応じた有彩色領域も少ない場合の処理である。ステップＳ６０３、Ｓ６０５、Ｓ６０６の処理の後に本フローを抜ける。

上記フローに基づき算出されたホワイトバランスゲイン情報は、ホワイトバランス増幅部１０４へ出力される。ホワイトバランス増幅部１０４では、次のフレーム以降の撮影画像に対して新たに設定されたホワイトバランスゲインを用いて色信号の増幅を行う。

以上説明したように、本実施の形態の撮像装置は、被写体認識手段（被写体認識部１１０）と、被写体認識手段の結果によって、白色以外に用いる特定の有彩色を選択する有彩色選択手段（有彩色抽出制御部１１１）を備える構成とした。

このように構成することで、撮影された被写体に白色の領域が少ない場合であっても、被写体に応じた色を抽出し、目標値に近づけることでホワイトバランスを合わせることが可能となる。

尚、本実施の形態では、抽出する有彩色の色を決定した後に、有彩色を抽出する例について述べたが、利用する有彩色を決定するタイミングは色の抽出後であってもかまわない。即ち、肌色や青色等複数の色抽出範囲に対応する色を全て抽出しておき、その後で、被写体認識情報に応じてどの有彩色を利用してホワイトバランスを制御するかを決定する構成を取ることも可能である。

また、本実施の形態では、被写体中に白に近い領域が少ないときに、有彩色を利用する制御を行ったが、白抽出平均と有彩色抽出平均のうち、目標値に近い方を採用する制御を行うことも可能である。例えば、被写体中に白領域が十分に含まれていても、肌色抽出結果が肌色目標値に近ければ、肌色抽出結果を用いてホワイトバランスゲインを算出する。

また、本実施の形態では、特定有彩色として、人物の肌色、青空の青、草木の緑色を例に説明したが、有彩色の種類をこれに限定するものではない。例えば、有彩色として夕焼けの赤色を用いることも可能である。この場合は被写体認識部１１０において被写体として夕焼けが含まれているかを検出する。

また、複数の被写体が同時に検出された場合、図３に示したフローでは人物の肌色、青空の青、草木の緑の順に優先して有彩色を選択したがこの優先順に限定するものではない。例えば、被写体に人物の顔が含まれるシーンでは主な被写体が人物である場合が多く、最重要有彩色は肌色となるが、肌色以外の青と緑に関しては、どちらを優先してもかまわない。また、空の青と草木の緑が画像中に占める領域の割合が大きい方を選択する等の制御を行うことも可能である。

また、本実施の形態では、有彩色の目標値は１つに固定している場合を例に説明したが有彩色の目標値を１つに限定するものではなく、複数の目標値を持つ構成を取ることも可能である。例えば、特定の人物にそれぞれ対応した肌色の目標値を複数持っていてもよい。その場合、被写体認識部１１０が特定の個人の認識を行い、人物毎に予め対応付けられた肌色の目標値を選択する。

また、メニュー操作等によってユーザが被写体の優先順位を設定する設定手段を備えていてもかまわない。その際、複数の被写体が同一画面上に検出された場合、優先順位の高い被写体の色を抽出有彩色として抽出する。

（第２の実施の形態）
第２の実施の形態として、画像撮影時の撮影モードに応じて抽出する有彩色を選択する例について説明する。

図８は、本発明の第２の実施の形態に係る撮像装置のブロック図である。

図８において、符号１０１から１０９及び１１１のブロックは、図１に示す第１の実施の形態の同符号の処理ブロックと同等のブロックである。本実施の形態では、第１の実施の形態の被写体認識部１１０の代わりに、ユーザからの操作入力を受け付ける操作部８０１、撮影モード情報を取得する撮影モード取得部８０２を備える。

次に、上記のような構成のシステムの動作について説明する。

撮像系１０１から白抽出部１０７で白に近い信号を抽出するまでの処理は、第１の実施の形態での処理と同様であるため説明は省略する。

操作部８０１は、ユーザによる撮影モードの設定入力を受け付ける。ここで、撮影モードとは「ポートレートモード」や「新緑モード」等、撮影する被写体やシーンを特定し、それぞれの被写体やシーンの特性に応じた画像処理を行うモードである。

操作部８０１に対するユーザからの操作によって撮影モードを切り替えることが可能である。撮影モード取得部８０２は、撮影モード情報を取得し、撮影モード情報を有彩色抽出制御部１１１へ出力する。

有彩色抽出制御部１１１は、撮影モードに応じてどの有彩色を抽出するのか選択する。

図９は、撮影モードと抽出有彩色の関係を示した図表である。撮影モードと有彩色の関係は、それぞれの撮影モードにおいて主な被写体であると考えられる被写体の色を抽出する。

例えば、「ポートレートモード」の場合は、人物が主な被写体として撮影されると考えられるため、抽出有彩色として肌色を選択する。同様に、「新緑モード」の場合は緑色、「紅葉モード」の場合は赤色、「青空モード」の場合は青色、「夕焼けモード」の場合は赤色を選択する。上記のように選択した抽出有彩色情報は有彩色抽出部１０８へ出力される。

有彩色抽出部１０８は、抽出有彩色情報に基づき有彩色を抽出する。例えば、抽出有彩色として肌色が選択された場合は、画像中から図１４（ｂ）の肌色抽出範囲１４０２内に含まれる色信号を抽出し、肌色抽出平均値及び肌色量を算出する。肌色以外の有彩色が選択された場合も同様に、色を抽出し有彩色抽出の平均値と有彩色量を算出し、ホワイトバランスゲイン制御部１０９へ出力する。

ホワイトバランスゲイン制御部１０９は、白抽出部１０７及び有彩色抽出部１０８の色信号抽出結果に基づき、ホワイトバランスゲインを制御する。ホワイトバランスゲインの算出フローに関しては、第１の実施の形態の図６に示したフローチャートと基本的に同じであるため詳細な説明は省略する。但し、図６のステップＳ６０４において、有彩色の目標値を得る場合には、撮影モードに応じた色目標値を取得する。

ホワイトバランスゲイン制御部１０９によって算出されたホワイトバランスゲイン情報は、ホワイトバランス増幅部１０４へ出力される。ホワイトバランス増幅部１０４では、次のフレーム以降の撮影画像に対して新たに設定されたホワイトバランスゲインを用いて色信号の増幅を行う点も第１の実施の形態と同様である。

以上説明したように、本実施の形態における撮像装置は、撮影モードに応じて、白色以外に用いる特定の有彩色を選択する有彩色選択手段（有彩色抽出制御部１１１）を備える構成とした。

このように構成することで、撮影された被写体に白色の領域が少ない場合であっても、モードに応じて被写体の色を抽出し、抽出した色を目標値に近づけることでホワイトバランスを合わせることが可能となる。

尚、本実施の形態では、画像全体から特定有彩色の抽出範囲に含まれる色を抽出したが、第１の実施の形態と同様に、被写体認識の情報を合わせて利用してもかまわない。例えば、「ポートレートモード」で抽出する有彩色として肌色が選択された場合、人物の顔を検出して、検出した顔領域から肌色の抽出範囲に含まれる色を抽出する制御を行うことも可能である。

また、撮影モードとしては、本実施の形態で挙げたものに限定するものではなく、被写体と対応しているモードであればどのようなモードでもかまわない。例えば、「紅葉モード」を追加する構成を取ることも可能である。

（第３の実施の形態）
第３の実施の形態として、被写体の有彩色領域から光源の色温度を推定し、ホワイトバランスを制御する場合の例について説明する。

図１０は、本発明の第３の実施の形態に係る撮像装置のブロック図である。

本実施の形態の撮像装置は、図１の第１の実施の形態の撮像装置の構成に、座標変換部１００１を付加したものである。

次に、上記のような構成のシステムの動作について説明する。

撮像系１０１で画像を撮像し出力部１０６で出力するまでの処理は、第１の実施の形態と同様であるため説明は省略する。

輝度・色信号生成部１０２からの色信号は、座標変換部１００１へ出力される。座標変換部１００１では、ＲＧＢの色信号を輝度（Ｙ）と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号に変換する。

変換された信号は、白抽出部１０７、有彩色抽出部１０８、被写体認識部１１０へそれぞれ入力される。被写体認識部１１０において被写体を認識し、有彩色抽出部１０８で抽出する有彩色を選択する処理は第１の実施の形態と同様である。

また、白抽出部１０７及び有彩色抽出部１０８での処理も第１の実施の形態１の処理と同様であるためここでの説明は省略する。

本実施の形態においては、色の抽出結果に基づき光源の色温度を推定する点が第１の実施の形態と異なる。色温度の推定はホワイトバランスゲイン制御部１０９において行う。

図１１は、図１０におけるホワイトバランスゲイン制御部によって実行されるホワイトバランスゲイン算出（制御）処理の手順を示すフローチャートである。

図１１において、ステップＳ１１０１では白抽出部１０７で抽出した白色量が所定の閾値以上あるかどうか判定する。即ち、ホワイトバランスを制御するために十分な白領域が画像中に含まれているかを判定する。白色の量が閾値以上の場合にはステップＳ１１０３に進み、白色の量が閾値未満の場合はステップＳ１１０２に進む。

ステップＳ１１０２では画像中に白色信号が少ない場合に、有彩色抽出制御部１１１で選択された特定の有彩色（肌色、青色、緑色等）の量が所定の閾値以上含まれているか判定する。画像中の特定有彩色の量が閾値以上の場合はステップＳ１１０４に進み、特定有彩色の量が閾値未満の場合はステップＳ１１０５に進む。

ステップＳ１１０３では白抽出平均値から光源の色温度を推定する。ステップＳ１１０３は、白抽出手段（白抽出部１０７）により抽出した色信号に基づき第１の色温度を推定する第１の推定手段として機能する。

図１２（ａ）は、色差平面における白抽出平均値と色温度の関係を示した図である。図１２において、白抽出範囲１２０１、黒体放射軸１２０２を示している。即ち、白色は色温度変化に応じて黒体放射軸１２０２の軸上を動く。符号１２０３、１２０４、１２０５は、色温度毎の白色の位置を示している。

色温度と白色の関係は、色温度毎に白紙等を撮影したときの色温度をプロットすることによって予め求められている。この色温度と白色の関係から、抽出した白抽出平均値が位置１２０３にある場合は、光源の色温度は２０００Ｋであることが推定できる。同様に、位置１２０４の場合は４０００Ｋ、位置１２０５の場合は６０００Ｋであると推定できる。

ステップＳ１１０４では有彩色抽出平均値から光源の色温度を推定する。ステップＳ１１０４は、有彩色抽出手段（有彩色抽出部１０８）により抽出した有彩色の色信号に基づき第２の色温度を推定する第２の推定手段として機能する。

ここでは、有彩色抽出制御部１１１において有彩色として肌色が選択された場合を例に説明する。

図１２（ｂ）は、色差平面における肌色抽出平均値と色温度の関係を示した図である。図１２（ｂ）において、肌色抽出範囲１２１１、光源の色温度変化における肌色変化軸１２１２を示す。また、符号１２１３、１２１４、１２１５は、各色温度における肌色の位置を示している。

色温度と肌色の関係は色温度毎に、人物の肌色を撮影したときの色温度をプロットすることによって予め求められている。この図の関係から、例えば、抽出した肌色平均値が位置１２１３にある場合は、光源の色温度は２０００Ｋであることが推定できる。同様に、位置１２１４の場合は４０００Ｋ、位置１２１５の場合は６０００Ｋであると推定できる。

また、肌色以外の青空の青色や、草木の緑色の場合も同様に、色温度と色の関係を予め求めておくことで色温度を推定することが可能となる。

ステップＳ１１０５は、色温度を算出するための白色もしくは有彩色領域が少ない場合の処理であり、この場合は所定の色温度（例えば日中の太陽光の色温度）であると推定する。

ステップ１１０６では推定した色温度に対応したホワイトバランスゲインを算出する。ステップ１１０６は、推定した第１、第２の色温度に基づきホワイトバランスのパラメータを算出する算出手段として機能する。

ここで、ホワイトバランスのパラメータとは、画像信号に含まれる複数の色信号をチャンネル毎に増幅するホワイトバランスのゲインである。このとき、推定した各色温度に対応したホワイトバランスゲインの値は予め求められているものとする。そして、本処理を終了する。

上記フローに基づき算出されたホワイトバランスゲイン情報は、ホワイトバランス増幅部１０４へ出力される。ホワイトバランス増幅部１０４では、設定されたホワイトバランスゲインを用いて色信号の増幅を行う。

以上説明したように、本実施の形態における撮像装置は、被写体認識手段の結果によって、白色以外に用いる特定の有彩色を選択する有彩色選択手段（有彩色抽出制御部１１１）を備え、選択した有彩色の色から光源を推定する構成とした。

このように構成することで、撮影された被写体に白色の領域が少ない場合であっても、被写体に応じた色を抽出し、光源の色温度を推定することが可能となる。

尚、上記実施の形態では、白抽出平均値から推定した色温度と有彩色抽出平均値から推定した色温度のどちらか一方を利用する場合について説明したが、２つの色温度の推定結果を混合して最終的な色温度を算出する制御を行うことも可能である。

本発明の第１の実施の形態に係る撮像装置のブロック図である。 図１の撮像装置における撮影画像の例を示す図である。 図１における有彩色抽出制御部によって実行される抽出有彩色決定処理の手順を示すフローチャートである。 図１の撮像装置における被写体の肌色領域を示す図である。 図１の撮像装置における有彩色の抽出範囲を示す図である。 図１におけるホワイトバランスゲイン制御部によって実行されるホワイトバランスゲイン算出（制御）処理の手順を示すフローチャートである。 図１の撮像装置における各有彩色の目標値を示す図である。 本発明の第２の実施の形態に係る撮像装置のブロック図である。 図８の撮像装置における撮影モードと抽出する有彩色の関係を示す図である。 本発明の第３の実施の形態に係る撮像装置のブロック図である。 図１０におけるホワイトバランスゲイン制御部によって実行されるホワイトバランスゲイン算出（制御）処理の手順を示すフローチャートである。 図１０の撮像装置における有彩色と色温度の関係を示す図である。 従来例に係る撮像装置の構成を示すブロック図である。 図１３の撮像装置における色の抽出範囲を示す図である。 図１３におけるホワイトバランスゲイン制御部によって実行されるホワイトバランスゲイン算出（制御）処理の手順を示すフローチャートである。 図１３の撮像装置における白抽出・有彩色平均と白・有彩色目標値を示す図である。

符号の説明

１０１ 撮像部
１０２ 輝度・色信号生成部
１０３ 輝度処理部
１０４ ホワイトバランス増幅部
１０５ 色信号処理部
１０６ 出力部
１０７ 白抽出部
１０８ 有彩色抽出部
１０９ ホワイトバランスゲイン制御部
１１０ 被写体認識部
１１１ 有彩色抽出制御部

Claims (6)

1. 画像中の被写体を認識する認識手段と、
   前記認識手段により認識される被写体の優先度を設定する設定手段と、
   画像中の白抽出領域を無彩色に近づけることで画像のホワイトバランスを制御する第１のホワイトバランス制御手段と、
   画像中の白抽出領域が閾値未満である場合、前記認識手段の認識結果及び前記設定手段により設定された被写体の優先度に基づいて、特定の有彩色を所定の色目標値に近づけることで画像のホワイトバランスを制御する第２のホワイトバランス制御手段と、を備え、
   前記第２のホワイトバランス制御手段は、第１の優先度の被写体にかかる特定の有彩色の領域が閾値未満である場合、前記第１の優先度よりも優先度が低い第２の優先度の被写体にかかる特定の有彩色を所定の色目標値に近づけるようにホワイトバランスを制御することを特徴とするホワイトバランス制御装置。
2. 前記設定手段は、前記被写体が画像中に占める割合が大きいほど前記優先度を高く設定することを特徴とする請求項１に記載のホワイトバランス制御装置。
3. 前記設定手段は、ユーザの操作に応じて前記被写体の優先度を設定することを特徴とする請求項１に記載のホワイトバランス制御装置。
4. 前記設定手段は、被写体として、人物を人物以外の被写体に比べて優先度を高く設定することを特徴とする請求項１に記載のホワイトバランス制御装置。
5. 画像中の白抽出領域が閾値より大きい場合には、前記第１のホワイトバランス制御手段によりホワイトバランスを制御し、
   画像中の白抽出領域が閾値未満である場合には、前記第２のホワイトバランス制御手段によりホワイトバランスを制御する
   ことを特徴とする請求項１乃至４のいずれか１項に記載のホワイトバランス制御装置。
6. 画像中の被写体を認識する認識ステップと、
   前記認識ステップにより認識される被写体の優先度を設定する設定ステップと、
   画像中の白抽出領域を無彩色に近づけることで画像のホワイトバランスを制御する第１のホワイトバランス制御ステップと、
   画像中の白抽出領域が閾値未満である場合、前記認識ステップでの認識結果及び前記設定ステップにより設定された被写体の優先度に基づいて、特定の有彩色を所定の色目標値に近づけることで画像のホワイトバランスを制御する第２のホワイトバランス制御ステップと、を備え、
   前記第２のホワイトバランス制御ステップでは、第１の優先度の被写体にかかる特定の有彩色の領域が閾値未満である場合、前記第１の優先度よりも優先度が低い第２の優先度の被写体にかかる特定の有彩色を所定の色目標値に近づけるようにホワイトバランスを制御することを特徴とするホワイトバランス制御方法。

Images