JP5464861B2 - ホワイトバランス制御装置及びホワイトバランス制御方法 - Google Patents

Description

本発明はホワイトバランス制御装置及びホワイトバランス制御方法に関し、特に、フィードフォワード制御及びフィードバック制御を併用する際に、ホワイトバランスの大きな崩れが生じることを防止するために用いて好適な技術に関する。

近年のビデオカメラ等で利用されるホワイトバランス制御は、外部センサを使用せず、撮像素子の出力を用いて行うものが主流となっている。例えば、赤(R)、緑(G)、青(B)の色信号から色差信号（R−Y、B−Y）及び輝度信号（Y）を得るとともに、画像データを細かなブロックに分割し、各分割ブロック内で信号を平均する処理を行い、各ブロックの平均値から白に近い色信号成分を抽出する。

次に、抽出した白に近い色信号の平均値が目標とする白色と等しくなるように各色信号用のホワイトバランスゲインを算出し、それに従って各色信号のゲインを増幅することにより、ホワイトバランスを制御するようにしている。

現在、一般に用いられているホワイトバランス制御の方式は、ホワイトバランスゲインの算出方法の違いによって、フィードフォワード（以下、ＦＦと略す）制御方式と、フィードバック（以下、ＦＢと略す）制御方式とに分類される。

ＦＦ制御方式では、ホワイトバランスゲイン増幅前の色信号から白に近い色信号を抽出し、その結果に基づいてホワイトバランスゲインを算出する。一方、ＦＢ制御方式では、ホワイトバランスゲイン増幅後の色信号から白に近い色信号を抽出する。そして、算出されたホワイトバランスゲインをフィードバックして、色信号の増幅を制御するようにしている。

ＦＦ制御方式を用いたホワイトバランス制御には、ホワイトバランス補正を短時間で行うことができる等の利点がある。しかし、色信号を増幅した後の結果を予測してホワイトバランスゲインを決めるため、補正に誤差が生じやすい問題点がある。

一方、ＦＢ制御方式を用いるホワイトバランス制御方式の場合、増幅後の色信号を基にホワイトバランスゲインを算出し、その結果をフィードバックするため、補正の精度を高めることができる利点がある。しかしながら、その反面において、補正を完了するまでに時間を要する問題点がある。

以上の特徴を考慮し、ＦＦ制御方式とＦＢ制御方式の両方式を併用する制御方式が提案されている。例えば、特許文献１では、ＦＦ制御方式を用いてホワイトバランスの初期状態を設定した後、制御方式を切り替えて、ＦＢ制御方式を用いてホワイトバランスの微調整を行うことによって、精度の高い補正を短時間で行うことを可能とする方法が開示されている。

特開平８−９４１４号公報

しかしながら、前記特許文献１において開示されている従来技術の場合は次のような課題があった。すなわち、ＦＦ制御方式を用いて設定したホワイトバランスの初期状態によっては、ＦＢ制御方式での白色抽出処理が困難になる場合があった。その場合、ＦＢ制御により行われる微調整が、初期状態でのホワイトバランスのずれをかえって拡大する方向に働き、結果としてホワイトバランスが大きく崩れることがあった。

以下、前記の問題について詳しく説明する。
図１５は、問題点を説明するための色差平面（Ｒ'−Ｙ、Ｂ'−Ｙ）上での色信号の分布の例を示す図である。なお、Ｒ'、Ｂ'はホワイトバランスゲインに従って増幅された後の色信号を表している。

ＦＢ制御方式では、図１５の領域１５０１のような色差平面（Ｒ'−Ｙ、Ｂ'−Ｙ）の原点を中心とする所定の範囲内にある色差信号を白色とみなして抽出する。以下、前記の範囲を白抽出範囲と呼ぶ。また、点１５０２は被写体の白色部分、点１５０３及び点１５０４は日中の薄い空色のような青みを帯びた色の部分に対応する色差信号を表している。

図１５（ａ）は、ＦＦ制御方式を用いて設定された、ＦＢ制御開始時の初期状態における色信号の分布の例を示している。ＦＦ制御方式では、補正後の結果を予測してホワイトバランスを制御するため、撮影時の光源や被写体の色によっては、補正結果に誤差が生じ、有彩色部分を本来より彩度の低い色に補正してしまう場合がある。

その場合、ホワイトバランスゲイン増幅後の色差信号の分布において、薄い有彩色部分の色差信号が色差平面の原点に近い位置に分布するようになる。そのため、薄い有彩色部分の色差信号が白抽出範囲に含まれてしまうことによる白抽出の誤りが生じやすくなる。その状態を表しているのが図１５（ａ）であり、点１５０２のような白色部分の色信号だけでなく、点１５０３のような薄い有彩色部分の色信号も白抽出範囲内に分布している。

図１５（ａ）の状態からＦＢ制御方式によるホワイトバランス制御を開始すると、点１５０２と点１５０３との平均値が白色になるよう補正がなされるため、白色は赤色方向にずれる。そして、補正後の色信号の分布は図１５（ｂ）のようになる。色信号の分布が変化したことに伴い、図１５（ａ）では白抽出範囲に含まれていなかった点１５０４が白抽出範囲１５０１に含まれるようになる。したがって、図１５（ｂ）の状態から、ＦＢ制御をもう一度繰り返し、ホワイトバランスを調整しようとすると、白色はさらに赤色方向にずれる結果となる。

以上説明したように、従来例においては、ＦＦ制御方式を用いて設定したホワイトバランスの初期状態に誤差が含まれており、有彩色を薄い色に補正してしまっている場合のホワイトバランス制御が課題となっていた。その場合、ＦＢ制御によるホワイトバランスの調整が有彩色の影響を受けるため、ＦＢ制御を繰り返すうちに、濃い有彩色が白抽出範囲内に徐々に含まれるようになり、ホワイトバランスが大きく崩れる結果となっていた。

本発明は前述の問題点に鑑み、ＦＦ制御方式とＦＢ制御方式を併用してホワイトバランス制御を行う際に、ホワイトバランスが大きく崩れることを防止できるようにすることを目的としている。

本発明のホワイトバランス制御装置は、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅手段と、前記ホワイトバランスゲイン増幅手段により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン増幅手段により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正手段と、前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅手段を制御するホワイトバランスゲイン制御手段とを有することを特徴とする。
また、本発明の他の特徴とするところは、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅手段と、前記ホワイトバランスゲイン増幅手段により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン増幅手段により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、前記第２のホワイトバランスゲイン算出手段に係るホワイトバランスゲイン制御情報に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正手段と、前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅手段を制御するホワイトバランスゲイン制御手段とを有を有し、前記ホワイトバランスゲイン制御情報とは、前記第２のホワイトバランスゲインの可変範囲内、前記第２のホワイトバランスゲインの変化量のうち、いずれか１つ以上を含むことを特徴とする。

本発明のホワイトバランス制御方法は、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、前記ホワイトバランスゲイン増幅工程において増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン増幅工程において増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程と、前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅工程を制御するホワイトバランスゲイン制御工程とを有することを特徴とする。
また、本発明の他の特徴とするところは、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、前記ホワイトバランスゲイン増幅工程により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン増幅工程により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、前記第２のホワイトバランスゲイン算出工程に係るホワイトバランスゲイン制御情報に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程とを有し、前記ホワイトバランスゲイン制御情報とは、前記第２のホワイトバランスゲインの可変範囲内、前記第２のホワイトバランスゲインの変化量のうち、いずれか１つ以上を含むことを特徴とする。

本発明のコンピュータプログラムは、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、前記ホワイトバランスゲイン増幅工程において増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン増幅工程において増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程と、前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅工程を制御するホワイトバランスゲイン制御工程とをコンピュータに実行させることを特徴とする。
また、本発明の他の特徴とするところは、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、前記ホワイトバランスゲイン増幅工程により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン増幅工程により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、前記第２のホワイトバランスゲイン算出工程に係るホワイトバランスゲイン制御情報に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程とをコンピュータに実行させることを特徴とするコンピュータプログラムであって、前記ホワイトバランスゲイン制御情報とは、前記第２のホワイトバランスゲインの可変範囲内、前記第２のホワイトバランスゲインの変化量のうち、いずれか１つ以上を含むことを特徴とする。

本発明によれば、撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅手段により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する。また、前記ホワイトバランスゲイン増幅手段により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する。さらに、前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する。そして、前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅手段を制御するようにした。これにより、ＦＢ制御開始時に有彩色を白色と混同する不都合を防止することができ、有彩色の影響を受けることなくＦＢ制御によるホワイトバランスの調整を行うことが可能となる。このため、ＦＦ制御方式からＦＢ制御方式へ制御方式を切り替えた時に、ホワイトバランスが大きく崩れることを防止することができる。

本発明の第１の実施形態を示し、ホワイトバランス制御装置を用いる撮像装置の構成例を示すブロック図である。 本発明の第１の実施形態を示し、ホワイトバランスゲイン算出処理を説明するためのフローチャートである。 本発明の第１の実施形態を示し、画面分割状態を表す図である。 本発明の第１の実施形態を示し、ＦＦ制御方式で用いる白抽出範囲を示した図である。 本発明の第１の実施形態を示し、ホワイトバランスゲインの制御範囲を示した図である。 本発明の第１の実施形態を示し、ＦＢ制御方式で用いる白抽出範囲を示した図である。 本発明の第２の実施形態を示し、ホワイトバランス制御装置を用いる撮像装置の構成例を示すブロック図である。 本発明の第２の実施形態を示し、ホワイトバランスゲイン算出処理を説明するためのフローチャートである。 第２の実施形態における信頼度の算出方法を説明するための、ホワイトバランスゲインの状態を示した図である。 本発明の第２の実施形態を示し、ホワイトバランスゲイン初期値の補正方法を説明するための、ホワイトバランスゲインの状態を示した図である。 本発明の第２の実施形態を示し、信頼度の算出方法の一例を説明するための、色信号の分布を示した図である。 本発明の第３の実施形態を示し、ホワイトバランス制御装置を用いる撮像装置の構成例を示すブロック図である。 本発明の第３の実施形態を示し、ホワイトバランスゲイン算出処理を説明するためのフローチャートである。 本発明の第３の実施形態を示し、信頼度の算出方法を説明するための、ホワイトバランスゲインの状態を示した図である。 色差平面（Ｒ'−Ｙ、Ｂ'−Ｙ）上での白抽出範囲と色信号の分布を示す図である。

（第１の実施形態）
以下、本発明の好適な実施形態について、添付図面を参照して詳しく説明する。以下に説明する各実施形態では、ＦＦ制御方式とＦＢ制御方式とを併用してホワイトバランスを制御する機能を備えた撮像装置を例に説明する。

図１は、本発明の実施形態を示し、ホワイトバランス装置を用いる撮像装置の構成例を示すブロック図である。
図１において、１００は撮像装置の全体動作を制御するＣＰＵである。１０１は被写体の光束を結像するレンズである。１０２はアイリスである。１０３は入射した光を光電変換する撮像素子である。１０４はＡＧＣアンプであり、撮像素子１０３からの信号を適正レベルに増幅する。

１０５は輝度・色信号生成部であり、撮像素子１０３で生成された信号を輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）に変換する。１０６はホワイトバランスゲイン増幅部であり、色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲインに従って増幅し、増幅された色信号（R'，G'，B'）を生成する。

１０７は増幅後色差信号生成部であり、ホワイトバランスゲイン増幅後の色信号（R'，G'，B'）と輝度信号（Ｙ）とから、増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）を生成する。１０８はエンコーダであり、輝度信号（Ｙ）及び増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）を標準テレビ信号等に変換する。１０９は増幅前色差信号生成部であり、ホワイトバランスゲイン増幅を行う前の色信号（Ｒ，Ｇ，Ｂ）と輝度信号（Ｙ）とから増幅前色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を生成する。

１１０は第１のホワイトバランスゲイン算出手段として機能し、ホワイトバランスゲイン増幅部１０６により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出するホワイトバランスゲイン初期値算出部である。ホワイトバランスゲイン初期値算出部１１０は、増幅前色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に基づいてホワイトバランスゲイン初期値を算出する。算出したホワイトバランスゲイン初期値は、ホワイトバランスゲイン増幅部１０６のゲインを制御する第１のホワイトバランスゲインとして用いられる。１１１はホワイトバランスゲイン補正部であり、ホワイトバランスゲイン初期値の補正を行う。本実施形態においては、補正手段として機能し、ホワイトバランスゲイン算出部１１６に係るホワイトバランスゲイン制御情報に基づいて第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを生成する。１１２は制御切り替え部であり、ホワイトバランス制御方式を切り替える。１１３〜１１５はホワイトバランス制御方式を切り替える第１のスイッチ〜第３のスイッチである。

ホワイトバランス制御方式は、第１のスイッチ１１３〜第３のスイッチ１１５がポジションＦＦ側にある場合はＦＦ制御方式となり、ＦＢ側にある場合ＦＢ制御方式となる。１１６は第２のホワイトバランスゲイン算出手段として機能し、ホワイトバランスゲイン増幅部１０６により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出するホワイトバランスゲイン算出部である。具体的には、増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）に基づいて第２のホワイトバランスゲインを算出する。

前述のような構成により、ＣＰＵ１００は、ホワイトバランスゲイン増幅部１０６を制御する制御手段として機能する。そして、第３のホワイトバランスゲインを用いてフィードフォワード制御を行なった後、前記第２のホワイトバランスゲインを用いてフィードバック制御を行う。

次に、第１の実施形態に係るホワイトバランス制御装置の処理動作について説明する。
レンズ１０１、アイリス１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３に入射した光は、光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５に出力される。

輝度・色信号生成部１０５は、輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）を生成する。そして、このうち色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲイン増幅部１０６、及び増幅前色差信号生成部１０９に出力する。また、輝度信号（Ｙ）を増幅前色差信号生成部１０９、ホワイトバランスゲイン初期値算出部１１０、増幅後色差信号生成部１０７、及びホワイトバランスゲイン算出部１１６に出力する。

増幅前色差信号生成部１０９は、輝度・色信号生成部１０５から入力される輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）から増幅前色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を生成し、ホワイトバランスゲイン初期値算出部１１０に出力する。

次に、図２を参照しながら、ホワイトバランスゲイン算出の処理動作について説明する。図２は、本実施形態におけるホワイトバランスゲイン算出の処理動作を説明するフローチャートである。

ホワイトバランス制御が開始されると、ステップＳ２０１において、ホワイトバランスゲイン初期値を算出する。ホワイトバランスゲイン初期値の算出は、ホワイトバランスゲイン初期値算出部１１０が、以下のような方法を用いて行う。すなわち、ホワイトバランスゲイン初期値算出部１１０は、ホワイトバランス制御を行う画像を、図３に示すような縦８×横８の６４個のブロックに分割し、ブロック毎の輝度信号（Ｙ）、増幅前色差信号（Ｒ−Ｙ、Ｂ−Ｙ）の平均値を算出する。次に、６４組の増幅前色差信号のうち、色差信号の値が後述の白抽出範囲内にあるブロックの信号のみを抽出する。

図４は、ホワイトバランスゲイン初期値算出部１１０で用いられる白抽出範囲の一例を示す特性図であり、縦軸はＲ−Ｙ，横軸はＢ−Ｙを表している。ここで、日中の日陰（色温度は約９０００Ｋ）において、または白熱電球（色温度は約３０００Ｋ）下において白色被写体を撮像した場合、増幅前色差信号（Ｒ−Ｙ、Ｂ−Ｙ）はそれぞれ点４０１、点４０２に位置する。

つまり、光源の色温度の変化に伴い、白色被写体のホワイトバランスゲイン増幅前の色差信号は領域４０３のような範囲内で変化する。このため、ホワイトバランスゲイン増幅前の色差信号が領域４０３内にある場合、その色信号に対応する被写体は白色であると仮定する。以下、領域４０３のことを白抽出範囲と呼ぶ。さらに、前記の色差信号の制限のほかに輝度信号（Ｙ）にも制限を加える。例えば、輝度信号（Ｙ）が標準の明るさの５０％である、５０ＩＲＥ以上である制限を加える。

ホワイトバランスゲイン初期値算出部１１０は、増幅前色差信号が前記の白抽出範囲４０３内にあり、かつ輝度信号（Ｙ）が閾値５０ＩＲＥ以上の信号のみを抽出した後、抽出された増幅前色差信号の平均値を演算する。そして、演算された増幅前色差信号の平均値が零になるようなＲＧＢ各色用のホワイトバランスゲイン初期値を算出し、ホワイトバランスゲイン補正部１１１へ出力する。前述のようにして、ホワイトバランスゲインの初期値が算出される。

次に、ステップＳ２０２では、ホワイトバランスゲイン制御情報を取得する処理が行われる。この処理は、ホワイトバランスゲイン補正部１１１が、ホワイトバランスゲイン算出部１１６からホワイトバランスゲイン制御情報を取得することにより行われる。ここで、ホワイトバランスゲイン制御情報とは、ホワイトバランスゲイン算出部１１６がＦＢ制御方式によりホワイトバランスゲインを算出する際に、その算出処理を制御するために用いられる閾値や設定値のことを指している。ここでは、ホワイトバランスゲインの可変範囲を定める閾値を用いる場合を例にして説明する。

図５に、ホワイトバランスゲインの可変範囲の例を示す。図５の縦軸は青色信号（Ｂ）に対するホワイトバランスゲインであるＢ−Ｇａｉｎ、横軸は赤色信号（Ｒ）に対するホワイトバランスゲインであるＲ−Ｇａｉｎを表している。なお、緑色信号（Ｇ）を基準にし、青色信号（Ｂ）と赤色信号（Ｒ）をそれぞれ増幅することによりホワイトバランスを制御する場合で説明する。

図５中の曲線は黒体放射軌跡を表しており、ホワイトバランスゲインはこの曲線上の値となるように制御される。また、点５０１及び点５０２は、ホワイトバランスゲインの低色温度側、高色温度側の閾値をそれぞれ示しおり、ホワイトバランスゲイン算出部１１６は、ホワイトバランスゲインがこの閾値の間の値となるようにホワイトバランスゲインを算出する。

ＦＢ制御方式によるホワイトバランス補正では、前述のように、ホワイトバランスゲインの可変範囲を制限する。これにより、ＦＢ制御を繰り返すうちに濃い有彩色を無彩色に徐々に合わせてしまい、ホワイトバランスが大きく崩れるという問題が生じることを防いでいる。

次に、ステップＳ２０３では、ホワイトバランスゲイン初期値を補正する処理が行われる。この処理は、ホワイトバランスゲイン補正部１１１が、ホワイトバランスゲイン算出部１１６から取得したホワイトバランスゲインの閾値に基づいて、以下のような方法により行われる。

まず、ホワイトバランスゲイン補正部１１１は、ホワイトバランスゲイン初期値が可変範囲内にあるか否かを判定する。この判定の結果、ホワイトバランスゲイン初期値が可変範囲内にある場合、ホワイトバランスゲイン補正部１１１は、ホワイトバランスゲイン初期値への補正を行わず、入力されたホワイトバランスゲイン初期値をそのまま出力する。一方、ホワイトバランスゲイン初期値が可変範囲外にある場合、ホワイトバランスゲイン補正部１１１は、ホワイトバランスゲイン初期値を閾値でクリップし、クリップした値を補正後のホワイトバランスゲイン初期値として出力する。

前述のホワイトバランスゲイン初期値に対する補正は、ＦＢ制御開始時の初期状態において、白色との混同が生じやすい有彩色、すなわち、高色温度光源下での青色や低色温度光源下での赤色が誤って薄い色に補正されることを防ぐために行われる。したがって、ＦＢ制御によるホワイトバランスの微調整を有彩色の影響を受けることなく行うことができ、ＦＢ制御を繰り返すうちにホワイトバランスが大きく崩れるという問題が生じることを防止することが可能となる。ホワイトバランスゲイン補正部１１１は、前述のような補正を行った後、補正後のホワイトバランスゲイン初期値を制御切り替え部１１２へ出力する。

次に、ステップＳ２０４では、制御切り替え部１１２が、第１のスイッチ１１３〜第３のスイッチ１１５をポジションＦＦ側に設定する。このため、ホワイトバランスゲイン補正部１１１で補正されたホワイトバランスゲイン初期値がホワイトバランスゲイン増幅部１０６へと出力される。

次に、ステップＳ２０５では、制御切り替え部１１２が、第１のスイッチ１１３〜第３のスイッチ１１５をポジションＦＢ側に切り替える。したがって、この後のホワイトバランス制御はＦＢ制御方式を用いて実行される。

次に、ステップＳ２０６では、ホワイトバランスゲイン増幅部１０６が、ホワイトバランスゲイン算出部１１６から入力されたホワイトバランスゲインに従って、輝度・色信号生成部１０５から入力された色信号（Ｒ，Ｇ，Ｂ）を増幅する。そして、増幅後の色信号（Ｒ'，Ｇ'，Ｂ'）を増幅後色差信号生成部１０７へ出力する。

増幅後色差信号生成部１０７は、入力された増幅後の色信号（R'，G'，B'）から増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）を生成し、エンコーダ１０８へ出力する。エンコーダ１０８は、増幅後色差信号生成部１０７から入力された増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）を標準テレビジョン信号に変換し、不図示のモニタや不図示の記録装置に出力する。また、増幅後色差信号生成部１０７で生成された増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）はホワイトバランスゲイン算出部１１６へも出力される。

次に、ステップＳ２０７では、ホワイトバランスゲイン算出部１１６が、入力された増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）を用いてホワイトバランスゲインを算出する。すなわち、ホワイトバランス制御を行う画像を図３に示すような縦８×横８の６４個のブロックに分割し、ブロック毎に輝度信号（Ｙ）、増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）の平均値を算出する。次に、ホワイトバランスゲイン算出部１１６は、６４組の増幅後色差信号（Ｒ'−Ｙ、Ｂ'−Ｙ）のうち、色差信号の値が後述の白抽出範囲内にあるブロックの信号のみを抽出する。

図６は、ホワイトバランスゲイン算出部１１６で用いられる白抽出範囲の一例を示す図である。図６において、縦軸はＲ'−Ｙ，横軸はＢ'−Ｙを表している。ここで、図６の原点が白色に対応している。このため、領域６０１のような、原点を含む所定の範囲内に含まれる色信号のみを抽出し、その平均値が色差平面の原点に一致するようにホワイトバランスゲインを算出してホワイトバランスの微調整を行うことが可能となる。以下、領域６０１を白抽出範囲と呼ぶ。さらに、前記の色差信号の制限のほかに輝度信号（Ｙ）にも制限を加える。例えば輝度信号が標準の明るさの５０％である５０ＩＲＥ以上である制限を加える。

ホワイトバランスゲイン算出部１１６は、前述の白抽出範囲６０１を用いて抽出した増幅後色差信号の平均値を算出し、算出した増幅後色差信号の平均値が零になるようなＲＧＢ各色用のホワイトバランスゲインを算出する。ただし、ホワイトバランスゲインは前述の可変範囲内の値となるよう制御される。ホワイトバランスゲイン算出部１１６は、算出したホワイトバランスゲインを制御切り替え部１１２に出力する。

次に、ステップＳ２０８では、ホワイトバランスゲイン算出部１１６において算出されたホワイトバランスゲインが、ホワイトバランスゲイン増幅部１０６へと出力される。
次に、ステップＳ２０９では、ＣＰＵ１００がホワイトバランス制御を終了するかを判定する。つまり、撮像素子１０３へ次のフレーム画像信号が入力されているかを判定する。この判定の結果、次のフレーム画像信号が入力されていない場合はホワイトバランス制御を終了する。また、次のフレーム画像信号が入力されている場合はステップＳ２０６に戻り、ＦＢ制御方式によるホワイトバランス制御を繰り返し行う。

以上説明したように、本実施形態では、ホワイトバランスゲイン初期値を補正した後、ホワイトバランスゲイン算出部１１６によるホワイトバランスゲイン算出開始時のホワイトバランスゲイン初期値として用いる。この補正により、ＦＢ制御開始時に有彩色を白色と混同することが無くなる。

したがって、ＦＢ制御によるホワイトバランスの調整を有彩色の影響を受けることなく行えるようになり、ＦＦ制御方式からＦＢ制御方式へ制御方式を切り替えた時に、ホワイトバランスが大きく崩れることを防ぐことが可能となる。

以上説明したように、本実施形態では、ホワイトバランスゲイン初期値を前述の可変範囲を定める閾値の値によりクリップすることで、ホワイトバランスゲイン初期値の補正を行った。しかしながら、本発明はホワイトバランスゲイン初期値の補正方法をこれに限定するものではない。つまり、ホワイトバランスゲイン制御情報に基づいてホワイトバランスゲイン初期値を補正する方法であればどのような方法を用いて構わない。

例えば、ホワイトバランスゲイン初期値が前述の可変範囲外にある場合に、予め設定された基準光源に対するホワイトバランスゲイン設定値を、補正後のホワイトバランスゲイン初期値として用いるようにしてもよい。これにより、撮影時の光源に応じたホワイトバランス制御を行うことが可能となる。

また、本実施形態では、ホワイトバランスゲイン制御情報としてホワイトバランスゲインの可変範囲を用いたが、本発明はホワイトバランスゲイン制御情報をこれに限定するものではない。

例えば、予め設定された基準光源に対するホワイトバランスゲイン基準値をホワイトバランスゲイン制御情報として用いてもよい。具体的には、ホワイトバランスゲイン基準値とホワイトバランスゲイン初期値との差が所定の閾値を超える場合に、その差が所定の閾値以下になるようホワイトバランスゲイン初期値を補正するようにしてもよい。

また、ＦＢ制御によるホワイトバランスの調整において、一回のＦＢ制御でホワイトバランスゲインを所定の変化量だけ変化させる場合には、その所定の変化量をホワイトバランスゲイン制御情報として用いてもよい。

すなわち、変化量が大きい場合には、ホワイトバランス初期状態でのずれがＦＢ制御によって大きく拡大されやすくなる。このため、変化量が所定の閾値より大きい場合にはホワイトバランスゲイン初期値に対する所定の補正を行い、所定の閾値より小さい場合には補正を行わないような制御方法を用いてもよい。また、前述のホワイトバランスゲイン制御情報が、被写体の色分布やＦＢ制御方式により算出されたホワイトバランスゲインの値などに応じて算出するようにしてもよい。

つまり、少なくともホワイトバランスゲイン算出部１１６におけるホワイトバランスゲイン算出に係るホワイトバランスゲイン制御情報であれば、どのような方法を用いても構わない。

前述したような方法を用いることにより、ＦＢ制御方式を用いたホワイトバランス制御の特性に応じて適切なホワイトバランスゲイン初期値を定めることができるようになる。これにより、ＦＦ制御方式とＦＢ制御方式を併用してホワイトバランス制御を行うに際して、ＦＦ制御方式からＦＢ制御方式へ制御方式を切り替えた時に、ホワイトバランスが大きく崩れてしまうのを防止することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第２の実施形態においては、ホワイトバランスゲイン増幅前の色信号を利用して信頼度を算出し、算出した信頼度に基づいてホワイトバランスゲイン初期値を補正する場合を説明する。

図７は、第２の実施形態に係るホワイトバランス制御装置を用いる撮像装置の構成例を示すブロック図である。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。

第１の実施形態では、ホワイトバランスゲイン補正部１１１に、ホワイトバランスゲイン算出部１１６からホワイトバランスゲイン制御情報を入力していた。それに対して、本実施形態では、信頼度算出部７０１が新たに追加されており、ホワイトバランスゲイン補正部１１１には信頼度算出部７０１が算出した信頼度を入力する。

次に、第２の実施形態に係るホワイトバランス制御装置の処理動作について説明する。
図８は、本実施形態におけるホワイトバランス制御の処理動作を説明するフローチャートである。

ホワイトバランス制御が開始されると、まず、ステップＳ８０１において、ホワイトバランスゲイン初期値を算出する。ここでの処理動作、すなわち、レンズ１０１へ被写体像が入力されてから、ホワイトバランスゲイン初期値算出部１１０がホワイトバランスゲイン初期値を算出するまでの一連の処理動作は第１の実施形態と同様である。このため、本実施形態では、その詳細な説明は省略する。ホワイトバランスゲイン初期値算出部１１０は、ホワイトバランスゲイン初期値を算出した後、算出したホワイトバランスゲイン初期値を信頼度算出部７０１、及びホワイトバランスゲイン補正部１１１へ出力する。

次に、ステップＳ８０２において、信頼度算出部７０１が、信頼度を算出する。
以下、信頼度算出部７０１により行われる信頼度の算出について詳しく説明する。本実施形態において、信頼度とは、ＦＢ制御方式によるホワイトバランス補正の信頼性を表す指標である。信頼度算出部７０１は、ＦＢ制御開始時の状態を表す情報であるホワイトバランスゲイン初期値に基づいて、ＦＢ制御方式による補正の信頼性を予測して信頼度を算出する。

具体的には、信頼度算出部７０１は、ホワイトバランスゲイン初期値が、高色温度光源、または低色温度光源に対応する値である場合には信頼度を低く算出し、その中間の色温度に対応する値である場合には信頼度を高く算出する。

前述のように、信頼度算出部７０１が信頼度を算出する理由を以下に説明する。
すなわち、撮影時の光源が高色温度光源や低色温度光源である場合、光源の色の影響により被写体の白色部分が色味を帯びるので、白色と薄い有彩色との判別が困難になるためである。

その場合、ホワイトバランスの初期状態を設定する際、有彩色を彩度の低い色に補正してしまうことがある。そのような初期状態からＦＢ制御を開始すると、ＦＢ制御によるホワイトバランスの調整が誤った方向にはたらく場合があるため、ＦＢ制御方式による補正の信頼性は低いと考えられる。

次に、信頼度算出の具体的な方法の例を説明する。
図９は、信頼度の算出方法を説明するためのホワイトバランスゲインの制御範囲を示した図である。図５と同様に、図９の縦軸はＢ−Ｇａｉｎ、横軸はＲ−Ｇａｉｎを表しており、図９中の曲線は黒体放射軌跡を表している。

また、点９０１及び点９０４はそれぞれ、ホワイトバランスゲイン初期値の低色温度側極限、高色温度側極限を示している。さらに、点９０２は基準光源（色温度は約６０００Ｋ）におけるホワイトバランスゲインを表しており、信頼度算出の際の基準として予め設定されている。点９０３はホワイトバランスゲイン初期値算出部１１０において算出されたホワイトバランスゲイン初期値を表し、線分９０５は点９０２と点９０３とを結ぶ長さＬの線分である。

ここで、以下の式を用いて信頼度Ｐを算出する。
Ｐ（％）＝（L０−L）／L０×１００
ただし、L０はＬの取り得る最大値、つまり、点９０３が点９０２より高色温度側にある時には点９０２と点９０４との間の距離であり、低色温度側にある時には点９０２と点９０１との間の距離である。信頼度算出部７０１は、前述のような方法を用いて信頼度を算出し、その後、算出した信頼度をホワイトバランスゲイン補正部１１１へ出力する。

次に、ステップＳ８０３では、ホワイトバランスゲイン補正部１１１が、ホワイトバランスゲイン初期値算出部１１０で算出されたホワイトバランスゲイン初期値を補正する。以下、図１０を参照しながら補正方法の具体的な例について説明する。

図１０は、ホワイトバランスゲインの制御範囲の一部を拡大して示した図であり、点９０２、点９０３、及び線分９０５は図９において同一の符号を付した要素と同一の内容を表している。また、点１００１は補正後のホワイトバランスゲイン初期値を表し、その値は次のような手順で算出される。

始めに、ホワイトバランスゲイン補正部１１１は以下の式を用いて補正量ΔLを算出する。
ΔＬ＝ΔＬ０×（１００−P ）
ただし、ΔＬ０は補正量を制御するための所定の定数であり、正の値が用いられる。また、Ｐは信頼度算出部７０１が算出した信頼度を表している。

次に、ホワイトバランスゲイン補正部１１１は、点９０３から黒体放射軌跡に沿って点９０２の方向へΔＬだけ進んだ位置の点１００１の座標を算出する。この座標が補正後のホワイトバランスゲイン初期値を表している。

このように、ホワイトバランスゲイン補正部１１１は、入力されたホワイトバランスゲイン初期値が、基準光源に対応するホワイトバランスゲインの値へ近づくように補正を行う。また、ホワイトバランスゲイン補正部１１１は、信頼度が高い時には補正量が小さく、信頼度が低い時には補正量が大きくなるように補正量を定める。

前述の補正は、第１の実施形態の場合と同様に、ＦＢ制御開始時の初期状態において、白色との混同が生じやすい有彩色、すなわち、高色温度光源下での青色や低色温度光源下での赤色が誤って薄い色に補正されることを防ぐことができる。ホワイトバランスゲイン補正部１１１は、前述のような補正を行った後、補正後のホワイトバランスゲイン初期値を制御切り替え部１１２へ出力する。

ステップＳ８０４〜ステップＳ８０９までの各ステップでは、図２に示したステップＳ２０４〜ステップＳ２０９までの各ステップにおける処理内容と同様の処理が行われる。つまり、ホワイトバランスゲイン補正部１１１での補正処理より後に行われる一連の処理動作は、第１の実施形態と同様であり、ここではその詳細な説明は省略する。

以上説明したように、本実施形態では、第１の実施形態と同様に、ホワイトバランスゲイン初期値算出部１１０が算出したホワイトバランスゲイン初期値に補正を加える。その補正後のホワイトバランスゲイン初期値を、ホワイトバランスゲイン算出部１１６がホワイトバランスゲインの算出を開始する時のホワイトバランスゲイン初期値として用いる。

これにより、ＦＢ制御開始時に有彩色を白色と混同する問題を解消することができる。したがって、有彩色の影響を受けることなくＦＢ制御によるホワイトバランスの調整を行うことが可能となり、ＦＦ制御方式からＦＢ制御方式へ制御方式を切り替えた時に、ホワイトバランスが大きく崩れることを防止することができる。

また、ホワイトバランスゲイン初期値に加える補正量を、ホワイトバランスゲイン補正部１１１が信頼度に基づいて算出することにより、信頼度が高い場合には、ホワイトバランス制御を短時間で行うことが可能となる。

なお、本実施形態では、ホワイトバランスゲイン初期値に基づいて信頼度を算出したが、本発明は信頼度の算出方法をこれに限定するものではない。つまり、少なくともホワイトバランスゲイン増幅前の色信号に基づいて信頼度を算出する手法であれば、どのような方法を用いても構わない。

例えば、ホワイトバランスゲイン増幅前の色信号のうち、白抽出範囲内に分布する色信号の割合が所定の閾値を下回る場合には信頼度を低く算出するようにしてもよい。また、光源の種類や色温度を推定する光源推定手段を設け、その推定結果に基づいて信頼度を算出する手法を用いても構わない。例えば、ホワイトバランスゲイン増幅前の色信号の分布に基づいて光源の色温度を推定し、推定した色温度が所定の閾値範囲を超える時に信頼度を低く算出するようにしてもよい。

以下の説明では、ホワイトバランスゲイン初期値に基づいて信頼度を算出する以外の例として、ホワイトバランスゲイン増幅前の色差信号に基づいて信頼度を算出する方法について、図１１を参照しながら説明する。

図１１（ａ）は、ホワイトバランスゲイン増幅前の色信号の色差平面上での分布の例を示した図であり、縦軸はＲ−Ｙ，横軸はＢ−Ｙを表し、領域１１０１はホワイトバランスゲイン初期値算出部１１０が用いる白抽出範囲を表している。

ここで、増幅前色差信号（Ｒ−Ｙ、Ｂ−Ｙ）は、主に領域１１０２のような範囲内に分布しているとする。点１１０３は白抽出範囲１１０１内に分布する色信号の平均値を表している。また、図１１（ｂ）は、色温度変化方向であるＲ−Ｂを横軸に取り、そのＲ−Ｂ値を持ち、かつ白抽出範囲内にある色信号の個数Ｎを縦軸に取り、色信号の分布をヒストグラムで表したものである。

ＦＦ制御方式を用いて設定したホワイトバランスの初期状態においては、色信号の平均値である点１１０３が白色に合わせられている。したがって、その初期状態からＦＢ制御を開始するときに、白色と混同しやすい有彩色の色信号は、色差平面上において点１１０３の周りに分布する。

これより、点１１０３の周りに色信号の分布があるとき、ＦＢ制御での白抽出の誤りが生じる場合があると考えられる。さらに、点１１０３の周りに色信号が広範囲に分布しているとき、ＦＢ制御を繰り返すうちに、濃い有彩色を白色に合わせてしまう場合があると考えられる。このような訳で、本実施形態においては、点１１０３の周りでの色信号の分布が広くなるに従って信頼度が低くなるように、信頼度を算出する。

例えば、以下の式を用いて信頼度Ｐを算出する。
P（％）＝（Ｗ０−Ｗ）／Ｗ０×１００
ただし、Ｗは、図１１（ｂ）のヒストグラムのうち、点１１０３を含む山の幅であり、Ｗ０は白抽出範囲１１０１のＲ−Ｂ方向の長さである。

この様にすることにより、被写体が薄い有彩色を多く含む場合でも、ホワイトバランスの大きな崩れの発生を防ぐことが可能となる。また、本実施形態では、ホワイトバランスゲイン初期値に、信頼度に応じた補正量を加えることにより、ホワイトバランスゲイン初期値の補正を行ったが、本実施形態はホワイトバランスゲイン初期値の補正方法をこれに限定するものではない。

つまり、少なくとも、信頼度に基づいてホワイトバランスゲイン初期値を補正する手法であれば、どのような方法を用いても構わない。例えば、信頼度が予め設定された閾値より低い場合に、予め設定された基準光源に対応するホワイトバランスゲインを、補正後のホワイトバランスゲイン初期値として用いてもよい。これにより、撮影時の光源に応じたホワイトバランス制御が可能となる。

（第３の実施形態）
次に、第３の実施形態として、ホワイトバランスゲイン増幅後の色信号を利用して信頼度を算出し、算出した信頼度に基づいてホワイトバランスゲイン初期値を補正する場合を説明する。

図１２は、第３の実施形態に係るホワイトバランス制御装置を用いる撮像装置の構成例を示すブロック図である。図７に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。

前述した第２の実施形態では、信頼度算出部７０１に、ホワイトバランスゲイン初期値算出部１１０で算出されたホワイトバランスゲイン初期値を入力していた。それに対して、本実施形態では、ホワイトバランスゲイン初期値算出部１１０で算出されたホワイトバランスゲイン初期値に加えて、ホワイトバランスゲイン算出部１１６で算出されたホワイトバランスゲインも信頼度算出部７０１に入力するようにしている。また、信頼度算出部７０１で算出された信頼度はＣＰＵ１００にも入力され、後述するように制御方式の切り替えを制御するために用いられる。

次に、第３の実施形態に係るホワイトバランス制御装置の処理動作について説明する。
図１３は、本実施形態におけるホワイトバランス制御の処理動作を説明するフローチャートである。

ホワイトバランス制御が開始されると、まず、ステップＳ１３０１において、ホワイトバランスゲイン初期値を算出する。ここでの処理動作、すなわち、レンズ１０１へ被写体像が入力されてから、ホワイトバランスゲイン初期値算出部１１０がホワイトバランスゲイン初期値を算出するまでの一連の処理動作は第１の実施形態と同様である。このため、本実施形態においては、その詳細な説明は省略する。ホワイトバランスゲイン初期値算出部１１０は、算出したホワイトバランスゲイン初期値を信頼度算出部７０１、及びホワイトバランスゲイン補正部１１１へ出力する。

次に、ステップＳ１３０２において、ＣＰＵ１００が、ホワイトバランス制御開始時であるかを判定する。つまり、ＣＰＵ１００は、ホワイトバランス制御が開始されてからの判定回数が１回目であるかを判定する。この判定の結果、ホワイトバランス制御開始時であればステップＳ１３０３へ進み、制御開始時でなければステップＳ１３０４へ進む。

ステップＳ１３０３では、信頼度算出部７０１が信頼度を算出し、算出した信頼度をホワイトバランスゲイン補正部１１１へ出力する。ステップＳ１３０３で行なわれる信頼度の算出方法は第１の実施形態と同様であるため、ここでは詳細な説明を省略する。

ステップＳ１３０４〜ステップＳ１３０８までの各ステップでは、図８に示したステップＳ８０３〜ステップＳ８０７までの各ステップにおける処理内容と同様の処理が行われる。つまり、ホワイトバランスゲイン補正部１１１での補正処理からホワイトバランスゲイン算出部１１６でのホワイトバランスゲイン算出処理までの一連の処理動作は、第２の実施形態と同様であり、ここではその詳細な説明は省略する。

ステップＳ１３０９では、ホワイトバランスゲイン算出部１１６が、算出したホワイトバランスゲインを制御切り替え部１１２及び信頼度算出部７０１へ出力する。ここで、第１のスイッチ１１３〜第３のスイッチ１１５は、ステップＳ１３０６において、ポジションＦＢ側へ切り替えられている。したがって、ホワイトバランスゲイン算出部１１６が出力したホワイトバランスゲインは、制御切り替え部１１２を通してホワイトバランスゲイン増幅部１０６へ出力される。

ステップＳ１３１０では、ＣＰＵ１００がホワイトバランス制御を終了するかを判定する。つまり、ＣＰＵ１００は撮像素子１０３へ次のフレーム画像信号が入力されているか否かを判定する。この判定の結果、次のフレーム画像信号が入力されていない場合はホワイトバランス制御を終了する。一方、次のフレーム画像信号が入力されている場合はステップＳ１３１１へ進む。

ステップＳ１３１１では、信頼度算出部７０１が信頼度を算出する。以下で説明するように、ステップＳ１３１１とステップＳ１３０３とでは信頼度の算出方法が異なる。すなわち、ステップＳ１３０３では、ホワイトバランスゲイン初期値算出部１１０が算出したホワイトバランスゲイン初期値に基づいて信頼度を算出した。

これに対し、ステップＳ１３１１では、ホワイトバランスゲイン算出部１１６により算出されたホワイトバランスゲインの、その初期値からの変化量に応じて信頼度を算出する。すなわち、ホワイトバランスゲインが、その初期値に近い値である場合はＦＢ制御によるホワイトバランスの微調整が正常に機能しているものと考えられるので、信頼度を高くする。逆に、初期値からの変化量が大きい場合には白色抽出の誤りによるホワイトバランスのずれが生じている場合が考えられるため、信頼度を低くするようにしている。

具体的には、次のような算出方式を用いて信頼度を算出している。
図１４は、信頼度の算出方法を説明するためのホワイトバランスゲインの制御範囲を示した図である。図５と同様に、図の縦軸はＢ−Ｇａｉｎ、横軸はＲ−Ｇａｉｎを、図１４中の曲線は黒体放射軌跡を表している。

また、点１４０１、点１４０４は、ホワイトバランスゲインの低色温度側極限、高色温度側極限をそれぞれ表している。また、点１４０２はホワイトバランスゲイン初期値算出部１１０において算出されたホワイトバランスゲインの初期値を表し、点１４０３はホワイトバランスゲイン算出部１１６で算出されたホワイトバランスゲインを表している。線分１４０５は点１４０２と点１４０３を結ぶ長さＬの線分である。

ここで、信頼度算出部７０１は、信頼度Ｐを以下の式を用いて算出する。
Ｐ（％）＝（Ｌ０−Ｌ）／Ｌ０×１００
ただし、Ｌ０はＬの取り得る最大値である。つまり、点１４０３が点１４０２より高色温度側にある場合には点１４０２と点１４０４の間の距離であり、低色温度側にある場合には点１４０２と点１４０１の間の距離である。信頼度算出部７０１は、前述のような方法を用いて信頼度を算出し、算出した信頼度をホワイトバランスゲイン補正部１１１、及びＣＰＵ１００へ出力する。

ステップＳ１３１２では、ＣＰＵ１００が、入力された信頼度を所定の閾値と比較する。この比較の結果、信頼度が閾値より低い場合はステップＳ１３１３へ進み、高い場合はステップＳ１３０７へ進む。

ステップＳ１３１３では、制御切り替え部１１２が、第１のスイッチ１１３〜第３のスイッチ１１５を操作し、ホワイトバランス制御方式をＦＢ制御方式からＦＦ制御方式へ切り替える。

次に、ステップＳ１３１４では、信頼度算出部７０１が、ステップＳ１３１４の実行回数に基づいてステップＳ１３１１において算出した信頼度を補正する。その後、信頼度算出部７０１は、補正した信頼度をホワイトバランスゲイン補正部１１１へ出力する。

具体的には、信頼度算出部７０１は、ステップＳ１３１４の実行回数が多くなるに従って、信頼度が低くなるように信頼度を補正する。信頼度を低くした場合、次にホワイトバランスゲイン初期値を補正する時の補正量が大きくなる。そのため、より確実に白色との混同が生じやすい有彩色の影響を除くことができる。

前述のように信頼度を補正した後、ステップＳ１３０１へ進む。この場合、次のフレーム画像に対してはＦＦ制御方式を用いたホワイトバランス制御が行われる。
一方、ステップＳ１３０７へ進んだ場合は、ＦＢ制御方式によるホワイトバランス制御が繰り返される。以上が、本実施形態におけるホワイトバランス制御の処理動作の特徴である。

以上説明したように、本実施形態では、信頼度が低くなった時に、一旦、制御方式をＦＦ制御方式に切り替えてホワイトバランスを制御し、その後、ＦＢ制御方式によるホワイトバランス制御を再開する。これにより、ＦＢ制御を繰り返すうちにホワイトバランスのずれが拡大することを防ぐことが可能となる。

また、本実施形態では、第１の実施形態と同様に、ホワイトバランスゲイン初期値算出部１１０が算出したホワイトバランスゲイン初期値に補正を加える。そして、補正したホワイトバランスゲイン初期値を、ホワイトバランスゲイン算出部１１６がホワイトバランスゲインの算出を開始する時のホワイトバランスゲイン初期値として用いている。これにより、ＦＢ制御開始時に有彩色を白色と混同することが無くなる。

したがって、ＦＢ制御によるホワイトバランスの調整を有彩色の影響を受けることなく行うことが可能となり、ＦＦ制御方式からＦＢ制御方式へ制御方式を切り替えた時に、ホワイトバランスが大きく崩れることを防止することができる。

本実施形態では、ホワイトバランスゲイン初期値算出部１１０により算出されたホワイトバランスゲイン初期値と、ホワイトバランスゲイン算出部１１６により算出されたホワイトバランスゲインとの比較によって信頼度を算出した。しかしながら、本発明は信頼度の算出方法をこれに限定するものではない。

つまり、少なくともホワイトバランスゲイン増幅後の色信号から算出されたホワイトバランスゲインに基づいて信頼度を算出する手法であれば、どのような方法を用いても構わない。例えば、ホワイトバランスゲイン算出部１１６により算出されたホワイトバランスゲインを予め設定された基準光源に対するホワイトバランスゲインと比較し、比較結果に基づいて信頼度を算出してもよい。

また、ホワイトバランスゲイン増幅後の色信号に基づいて信頼度を算出する手法を用いても構わない。例えば、ホワイトバランスゲイン増幅後の色信号のうち、白抽出範囲内に分布する色信号の割合が所定の閾値を下回る場合に信頼度を低く算出するようにしてもよい。このような方法を用いることで、被写体が白色をほとんど含まない場合でも、ホワイトバランスの大きな崩れが生じることを防ぐことが可能となる。

また、光源の種類や色温度を推定し、推定結果に基づいて信頼度を算出する手法を用いても構わない。例えば、ホワイトバランスゲイン増幅後の色信号の分布に基づいて光源の色温度を推定し、推定した色温度が所定の閾値範囲を超える時に信頼度を低く算出してもよい。

若しくは、ホワイトバランスゲイン増幅前の色信号とホワイトバランスゲイン増幅後の色信号との両方を用いて光源の種類を推定する。そして、推定した光源の種類が日中の日陰やハロゲンランプなどの高色温度光源や低色温度光源である場合に、信頼度を低く算出してもよい。このように構成することにより、撮影時の光源に応じたホワイトバランス制御が可能となる。

また、本実施形態では、信頼度が所定の閾値を下回る場合に、制御方式をＦＢ制御方式からＦＦ制御方式へと切り替えたが、本発明は制御方式の選択方法をこれに限定するものではない。つまり、少なくとも信頼度に基づいて、制御方式を選択する手法であれば、どのような方法を用いても構わない。

例えば、１フレーム毎に信頼度を算出し、各算出した複数フレーム分の信頼度を比較し、信頼度が低下する傾向がある場合にＦＦ制御方式に切り替えてもよい。このようにすることで、１フレームの被写体の光源状態に左右されない、より正確な信頼度算出結果を用いてホワイトバランス制御を行うことが可能となる。

（本発明に係る他の実施形態）
前述した本発明の実施形態におけるホワイトバランス制御装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述したホワイトバランス制御方法における各工程を実行するソフトウェアのプログラム（実施形態では図２、図８及び図１３に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

１００ ＣＰＵ
１０１ レンズ
１０２ アイリス
１０３ 撮像素子
１０４ ＡＧＣアンプ
１０５ 輝度・色信号生成部
１０６ ホワイトバランスゲイン増幅部
１０７ 増幅後色差信号生成部
１０８ エンコーダ
１０９ 増幅前色差信号生成部
１１０ ホワイトバランスゲイン初期値算出部
１１１ ホワイトバランスゲイン補正部
１１２ 制御切り替え部
１１３ 第１のスイッチ
１１４ 第２のスイッチ
１１５ 第３のスイッチ
１１６ ホワイトバランスゲイン算出部

Claims (22)

1. 撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅手段と、
   前記ホワイトバランスゲイン増幅手段により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、
   前記ホワイトバランスゲイン増幅手段により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、
   前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正手段と、
   前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅手段を制御するホワイトバランスゲイン制御手段とを有することを特徴とするホワイトバランス制御装置。
2. 前記第２のホワイトバランスゲインの信頼性を示す信頼度を算出する信頼度算出手段を備えることを特徴とする請求項１に記載のホワイトバランス制御装置。
3. 前記信頼度算出手段は、前記第１の色信号情報と前記第２の色信号情報のうち、少なくとも一方に基づいて前記信頼度を算出することを特徴とする請求項２に記載のホワイトバランス制御装置。
4. 光源の種類或いは色温度を推定する光源推定手段を備え、
   前記信頼度算出手段は、前記光源推定手段が推定した光源の種類或いは色温度に基づいて前記信頼度を算出することを特徴とする請求項２に記載のホワイトバランス制御装置。
5. 前記信頼度算出手段は、前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインののうち、少なくとも一方に基づいて前記信頼度を算出することを特徴とする請求項２に記載のホワイトバランス制御装置。
6. 予め設定されたホワイトバランスゲイン基準値を記憶する記憶手段を備え、
   前記信頼度算出手段は、前記第１のホワイトバランスゲインと前記ホワイトバランスゲイン基準値との差に基づいて前記信頼度を算出することを特徴とする請求項５に記載のホワイトバランス制御装置。
7. 前記信頼度算出手段は、前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとの差に基づいて前記信頼度を算出することを特徴とする請求項５に記載のホワイトバランス制御装置。
8. 予め設定されたホワイトバランスゲイン設定値を記憶する記憶手段を備え、
   前記補正手段は、前記第３のホワイトバランスゲインが前記第１のホワイトバランスゲインと前記ホワイトバランスゲイン設定値との間の値となるよう、前記第１のホワイトバランスゲインを補正することを特徴とする請求項１〜７の何れか１項に記載のホワイトバランス制御装置。
9. 前記補正手段は、信頼度が低くなるに従って、前記第３のホワイトバランスゲインが前記ホワイトバランスゲイン設定値に近づくように、前記第１のホワイトバランスゲインを補正することを特徴とする請求項８に記載のホワイトバランス制御装置。
10. 予め設定されたホワイトバランスゲイン設定値を記憶する記憶手段を備え、
    前記補正手段は、前記信頼度が予め設定された閾値より低い場合に、前記ホワイトバランスゲイン設定値を前記第３のホワイトバランスゲインとすることを特徴とする請求項２〜７の何れか１項に記載のホワイトバランス制御装置。
11. 撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅手段と、
    前記ホワイトバランスゲイン増幅手段により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン増幅手段により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、
    前記第２のホワイトバランスゲイン算出手段に係るホワイトバランスゲイン制御情報に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正手段と、
    前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅手段を制御するホワイトバランスゲイン制御手段とを有を有し、
    前記ホワイトバランスゲイン制御情報とは、前記第２のホワイトバランスゲインの可変範囲内、前記第２のホワイトバランスゲインの変化量のうち、いずれか１つ以上を含むことを特徴とするホワイトバランス制御装置。
12. 前記補正手段は、前記第１のホワイトバランスゲインが前記可変範囲を超える場合に、前記第１のホワイトバランスゲインを前記可変範囲内の値となるように補正することを特徴とする請求項１１に記載のホワイトバランス制御装置。
13. 前記ホワイトバランスゲイン制御手段は、前記第３のホワイトバランスゲインを用いてフィードフォワード制御を行なった後、前記第２のホワイトバランスゲインを用いてフィードバック制御を行うことを特徴とする請求項１〜１２の何れか１項に記載のホワイトバランス制御装置。
14. 前記ホワイトバランスゲイン制御手段は、前記第２のホワイトバランスゲイン算出手段が前記第２のホワイトバランスゲインの算出を開始する時のホワイトバランスゲインとして、前記第３のホワイトバランスゲインを選択することを特徴とする請求項１に記載のホワイトバランス制御装置。
15. 前記ホワイトバランスゲイン制御手段は、前記信頼度に基づいて、前記第２のホワイトバランスゲイン、または前記第３のホワイトバランスゲインのいずれか一方を選択することを特徴とする請求項２〜７、および１０のいずれか１項に記載のホワイトバランス制御装置。
16. 前記ホワイトバランスゲイン制御手段は、前記信頼度が所定の閾値より高い場合に前記第２のホワイトバランスゲインを選択し、低い場合に前記第３のホワイトバランスゲインを選択することを特徴とする請求項１５に記載のホワイトバランス制御装置。
17. 前記信頼度は、前記第２の色信号情報の白点の周りの分布が第１の広さである場合に、前記第１の広さよりも狭い第２の広さである場合に比べて信頼度が低くなることを特徴とする請求項１５または１６に記載のホワイトバランス制御装置。
18. 撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、
    前記ホワイトバランスゲイン増幅工程において増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、
    前記ホワイトバランスゲイン増幅工程において増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、
    前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程と、
    前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅工程を制御するホワイトバランスゲイン制御工程とを有することを特徴とするホワイトバランス制御方法。
19. 撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、
    前記ホワイトバランスゲイン増幅工程において増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、
    前記ホワイトバランスゲイン増幅工程において増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、
    前記第２のホワイトバランスゲインの信頼性に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程と、
    前記第２のホワイトバランスゲインまたは前記第３のホワイトバランスゲインに基づいて前記ホワイトバランスゲイン増幅工程を制御するホワイトバランスゲイン制御工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
20. 撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、
    前記ホワイトバランスゲイン増幅工程により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、
    前記ホワイトバランスゲイン増幅工程により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、
    前記第２のホワイトバランスゲイン算出工程に係るホワイトバランスゲイン制御情報に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程とを有し、
    前記ホワイトバランスゲイン制御情報とは、前記第２のホワイトバランスゲインの可変範囲内、前記第２のホワイトバランスゲインの変化量のうち、いずれか１つ以上を含むことを特徴とするホワイトバランス制御方法。
21. 撮像素子から出力される画像信号に含まれる色信号をホワイトバランスゲインに応じて増幅するホワイトバランスゲイン増幅工程と、
    前記ホワイトバランスゲイン増幅工程により増幅される前の第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、
    前記ホワイトバランスゲイン増幅工程により増幅された後の第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、
    前記第２のホワイトバランスゲイン算出工程に係るホワイトバランスゲイン制御情報に基づいて前記第１のホワイトバランスゲインを補正して第３のホワイトバランスゲインを算出する補正工程とをコンピュータに実行させることを特徴とするコンピュータプログラムであって、
    前記ホワイトバランスゲイン制御情報とは、前記第２のホワイトバランスゲインの可変範囲内、前記第２のホワイトバランスゲインの変化量のうち、いずれか１つ以上を含むことを特徴とするコンピュータプログラム。
22. 請求項１９または２１に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images