JP6274931B2 - マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 - Google Patents

Description

本発明は、複数の光源で照明されたシーンを撮影した画像におけるマルチエリアホワイトバランス画像処理において、複数のエリアに分割された画像に対して、ホワイトバランス補正ゲインをエリア毎に推定し、推定した全エリアのホワイトバランス補正ゲインを用いて、入力画像全体のホワイトバランス補正を行うことで、画像全体における違和感の無い色再現を実現するためのマルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置に関する。

撮影光源は、日中の屋外であれば太陽の高度・大気の状態などに依存してその色温度が変化する。また、日向と日陰でも色温度が異なる。
更に屋内では蛍光灯や白熱灯など様々な人工照明があり、それぞれの光源の色温度が異なる。
また、昼間の室外でフラッシュ撮影した場合、フラッシュ照明と外光の混合光が撮影光源となる。
また、夜の室外でフラッシュ撮影した場合、フラッシュ照明と背景の人工照明とは混合しないが、同じシーンの中の異なるエリアでは、光源の色温度が異なる。
また、室内でフラッシュ撮影した場合、フラッシュ照明と人工照明が混じりあった光が、撮影光源となる。

上記のような様々な撮影光源の下では、人間の眼は色順応する。つまり、人間の眼は、光源が太陽光、人工照明、それらのミックス光の如何を問わず、注目エリアの白い被写体を白く感じる。この人間の眼の特性に合わせて入力装置であるカメラも、ＲＧＢのゲインを調整して、いわゆるホワイトバランスを取るように構成されている。

しかし、カメラにとっては、撮影前まで撮影光源が未知であるため、一般的には撮影照明の種類（光源の色温度）を撮影した画像から推定したり、もしくはユーザーが指定することによって、その照明種類に合わせて撮影した画像全体のホワイトバランスを補正する。
そして、従来のデジタルカメラでは、撮影時の光源の種類が１つであると仮定して、ホワイトバランス補正ゲインを求め、それを用いて撮影した画像のホワイトバランスを補正するものが多い。

しかし、被写体のシーンが複数の光源によって照明された場合、画像全体のホワイトバランス処理を高精度に行うためには、取得した画像を複数のエリアに分割し、分割したエリア毎に異なるホワイトバランス処理を行う必要がある。

従来、複数の光源で照明されたシーンを撮影した画像のホワイトバランス処理を行う方法としては、例えば、特許文献１に、撮像画面内に異なる種類の光源の照射エリアが存在する場合、撮像画面全体に適切なホワイトバランスを掛けることは難しく、色ずれが生じた撮像画像になってしまうという問題を解決するために、撮像画面内を輝度情報と色情報とに応じて複数の領域に分割し、複数の領域のそれぞれに対して異なるホワイトバランス補正係数を設定し、複数の領域のそれぞれに対して設定されたホワイトバランス補正係数の差を、所定範囲内に収めるホワイトバランス補正係数リミットを設けて、全画面のホワイトバランス補正係数を生成することが開示されている。

特開２０１０−２１３２３２号公報

従来、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランス補正技術では、ホワイトバランスの補正に先立ち、入力された画像を複数のエリアに分割し、該分割されたエリアごとに、ホワイトバランス補正ゲインを算出している。
しかし、各分割エリアが入力画像の一部であり、光源色が無く、単一な色の被写体になり易いため、ホワイトバランス補正ゲインの推定を間違え易い。
更に、たとえホワイトバランス補正ゲイン推定の精度が高くても、多数のエリアにおいて１つでもホワイトバランス補正ゲインの推定を間違うと、画像全体のホワイトバランス補正に必ず悪影響を与える。そこで、個別の分割されたエリアのホワイトバランス補正ゲインの推定を間違えたとしても、画像全体のホワイトバランス補正に悪影響が生じないようにする必要がある。
また、推定したホワイトバランス補正ゲインがエリア間で異なると、それを用いてホワイトバランス補正された画像が、エリアの境界部分で輝度や色の不連続性を生じるため、斑模様の画像になりやすい。

しかるに、特許文献１に記載されている方法では、分割された複数のエリアのそれぞれのホワイトバランス補正ゲイン（ホワイトバランス補正係数）を設定しているが、ホワイトバランス補正ゲインの設定を間違うことが想定されていない。

本発明は、以上の従来技術における問題を鑑みてなされたものであり、撮影画像全体を複数のエリアに分割して、それぞれのエリアのホワイトバランス補正ゲインを推定する場合、個別のエリアでホワイトバランス補正ゲイン推定が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置を提供することを目的としている。

上記目的を達成するため、本発明によるマルチエリアホワイトバランス制御装置は、入力画像を複数のエリアに分割するエリア分割手段と、前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段と、前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段と、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段とを有し、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。

また、本発明によるマルチエリアホワイトバランス制御方法は、入力画像を複数のエリアに分割し、分割したエリア毎にホワイトバランス補正ゲインを推定し、推定した、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定したホワイトバランス補正ゲインが特異であるか否かを判定し、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正することにより、推定した全エリアのホワイトバランス補正ゲインのうち、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正した、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。

また、本発明によるマルチエリアホワイトバランス制御プログラムを記録したコンピュータは、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成するためのマルチエリアホワイトバランス制御プログラムを記録している。

また、本発明によるマルチエリアホワイトバランス制御プログラムは、マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。

本発明によれば、撮影画像全体を複数のエリアに分割して、それぞれのエリアのホワイトバランス補正ゲインを推定する場合、個別のエリアでホワイトバランス補正ゲイン推定が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置が得られる。

本発明の第１実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図１のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。 図１のマルチエリアホワイトバランス制御装置において、エリア分割手段が入力画像を複数のエリアに分割した一例を示す説明図である。 図１のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン推定手段が推定した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインの一例を示す説明図で、(a)はＲ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図、(b)はＢ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図である。 図１のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン修正手段が、ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップの一例を示す説明図で、(a)は修正済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図、(b)は修正済みのＢ／Ｇホワイトバランス補正ゲインマップを示す図である。 図１のマルチエリアホワイトバランス制御装置において、エリア分割手段による分割態様の変形例を示す説明図で、(a)はその一例を示す図、(b)はその他の例を示す図である。 図１のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン特異判定手段が当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定する方法の一変形例を示す説明図で、(a)は当該エリアの推定されたホワイトバランス補正ゲインと当該エリアに隣接する周辺エリアの夫々推定されたホワイトバランス補正ゲイン示す図、(b)は当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアとのホワイトバランス補正ゲインの差の一例として、ＸＹ座標上で当該エリアのＲ／Ｇホワイトバランス補正ゲインを一方の座標軸上、Ｂ／Ｇホワイトバランス補正ゲインを他方の座標軸上にとり、当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアのホワイトバランス補正ゲインを表す点同士の距離を示す図である。 本実施形態の変形例として、図１のマルチエリアホワイトバランス制御装置において、エリア分割手段が入力画像を図３の例とは異なるサイズの複数のエリアに分割したときの、ホワイトバランス補正ゲイン推定手段が推定した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲイン、及び、ホワイトバランス補正ゲイン修正手段が、ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップを示す説明図で、(a)は修正前のＲ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図、(b)は特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを修正済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図である。 本発明の第２実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図９のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。 図９のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン平滑化手段により、平滑化処理が行われた入力画像の全エリアに対応するホワイトバランス補正ゲインマップの一例を示す説明図で、(a)は平滑化処理済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図、(b)は平滑化処理済みのＢ／Ｇホワイトバランス補正ゲインマップを示す図である。 図１１の比較例として、推定された入力画像全体のホワイトバランス補正ゲインマップに対して、特異であると判定されうるエリアの推定されたホワイトバランス補正ゲインの修正を行わずに、図１１と同様の平滑化処理を行った場合のホワイトバランス補正ゲインマップの一例を示す説明図で、(a)は平滑化処理済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図、(b)は平滑化処理済みのＢ／Ｇホワイトバランス補正ゲインマップを示す図である。

実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、入力画像を複数のエリアに分割し、分割したエリア毎にホワイトバランス補正ゲインを推定し、推定した、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定したホワイトバランス補正ゲインが特異であるか否かを判定し、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正することにより、推定した全エリアのホワイトバランス補正ゲインのうち、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正した、前記入力画像全体のホワイトバランス補正ゲインマップを生成するようにしている。

本発明のように、推定した当該エリアのホワイトバランス補正ゲインが特異であるか否かを、当該エリアに隣接する推定した周辺エリアのホワイトバランス補正ゲインとの比較に基づき判定し、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正すれば、個別のエリアで当初推定したホワイトバランス補正ゲインが間違っていても、入力画像に対応する全エリアのホワイトバランス補正ゲインの値が適正なホワイトバランス補正ゲインマップを作成することができる。そして、この推定を間違ったエリアのホワイトバランス補正ゲインのみを修正済みの入力画像全体のホワイトバランス補正ゲインマップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体のホワイトバランス補正に悪影響が生じず、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。

また、本発明において、更に、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正済みのエリアを含む、入力画像全体における全エリアのホワイトバランス補正ゲインに対して、平滑化処理を行うようにすれば、複数の光源で照明されたシーンを撮影した画像に対し、エリア間での輝度や色の不連続性を抑えることができる。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。

第１実施形態
図１は本発明の第１実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御装置を備えたデジタルカメラのブロック図である。図１中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス画像処理装置に対応する構成である。図２は図１のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。

本実施形態のマルチエリアホワイトバランス制御装置１は、図１に示すように、エリア分割手段としての画像エリア分割部１１と、ホワイトバランス補正ゲイン推定手段としてのＷＢ（ホワイトバランス）補正ゲイン推定部１２と、ホワイトバランス補正ゲイン特異判定手段としてのＷＢ（ホワイトバランス）補正ゲイン特異判定部１３と、ホワイトバランス補正ゲイン修正手段としてのＷＢ（ホワイトバランス）補正ゲイン修正部１４を有している。図１中、１０はマルチエリアホワイトバランス画像処理装置、１５はホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）補正ゲインマップ生成部、１６はＷＢ（ホワイトバランス）ゲイン修正部１４が、特異であると判定されたエリアの推定されたエリアのホワイトバランス補正ゲインを修正済みの、入力画像全体のホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１７はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。なお、本実施形態のマルチエリアホワイトバランス画像処理装置１０を備えたデジタルカメラは、図示しない制御部を備えている。制御部は、撮影指示に基づきイメージセンサ２２が撮影した画像を画像記憶部２３に記憶する機能や、画像記憶部２３に記憶されている画像を入力する機能を、夫々別個に備えている。図１の例では、図示しない制御部の撮影指示により、レンズ２１を経てイメージセンサ２２に結像された画像が撮像されデジタル信号として画像記憶部２３に記憶されている。

画像エリア分割部１１は、入力画像を予め決められたサイズの複数のブロックに分割する。

ＷＢ補正ゲイン推定部１２は、画像エリア分割部１１により分割されたブロック毎に、ホワイトバランス補正ゲインＲ／Ｇ，Ｂ／Ｇを推定する。
なお、ホワイトバランス補正ゲインの推定方法の詳細については後述する。

ＷＢ補正ゲイン特異判定部１３は、ＷＢ補正ゲイン推定部１２によって推定された、ホワイトバランス補正ゲインマップの各ブロックのホワイトバランス補正ゲインが特異であるか否かを、推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき判定する。
なお、ホワイトバランス補正ゲインが特異であるか否かの判定方法の詳細については後述する。

ＷＢ補正ゲイン修正部１４は、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックのホワイトバランス補正ゲインのみを、特異であると判定されたブロックに隣接する周辺ブロックのホワイトバランス補正ゲインに基づき修正する。
なお、ホワイトバランス補正ゲインの修正方法の詳細については、後述する。

ＷＢゲイン補正部１７は、ＷＢ補正ゲイン修正部１４によって当該ブロックのホワイトバランス補正ゲインを修正済みのホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。ＷＢ補正ゲイン推定部１２によって推定された全ブロックのホワイトバランス補正ゲインのうち、ＷＢ補正ゲイン特異判定部１３により特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみがＷＢ補正ゲイン修正部１４によって修正された、入力画像全体のホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。

このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理の流れを図２から図５を用いて説明する。

まず、図示しないデジタルカメラの制御部が、イメージセンサ２２での出力を経て画像記憶部２３に記憶されている画像データを入力する（ステップＳ１）。
次いで、画像エリア分割部１１が、入力された画像データを予め決められたサイズの複数のブロックに分割する（ステップＳ２）。なお、便宜上、以下の説明では画像データは例えば図３に示すように、７×７のブロックに分割するものとする。

次いで、ＷＢ補正ゲイン推定部１２が、画像エリア分割部１１により分割された各ブロックの画像に対して、例えば、特開２００９−０３８７１２号公報に記載のような方法等、従来提案されているいずれかの方法を用いて、Ｒ／Ｇホワイトバランス補正ゲイン，Ｂ／Ｇホワイトバランス補正ゲインを推定する（ステップＳ３）。この推定は、全てのブロックに対して順次行い、全てのブロックに対する推定が終わるまで繰り返す。
その結果、ＷＢ補正ゲイン推定部１２の出力として、入力画像の全ブロックに対応するＷＢ補正ゲインマップが、例えば、図４に示すように得られる。
なお、特開２００９−０３８７１２号公報に記載の方法では、撮影シーンの特徴量ベクトルと、予め算出された判別基準に基づき、照明色の類似した特定グループに撮影シーンが属している確度を算出し、算出した確度と、撮影シーンで撮影された画像とに基づきホワイトバランス補正ゲインを取得する。また、ＷＢ補正ゲイン推定部１２がＲ／Ｇホワイトバランス補正ゲイン，Ｂ／Ｇホワイトバランス補正ゲインを推定する他の方法としては、本件出願人の提案による特願第２０１３−２３２３５０号や特願第２０１３−２４６４７５号の明細書に記載の、入力画像を複数に分割したエリア毎に色温度を取得し、取得した各エリアの色温度に基づきホワイトバランス補正ゲインを取得する方法がある。
特に特開２００９−０３８７１２号公報に記載の方法を用いると、撮影時に使用された照明の種類を特定せずに、当該画像のホワイトバランス補正ゲインが正確に、直接算出される。

次いで、ＷＢ補正ゲイン特異判定部１３が、ＷＢ補正ゲイン推定部１２によって推定された、ホワイトバランス補正ゲインマップの各ブロックのホワイトバランス補正ゲインが特異であるか否かを、当該ブロックと当該ブロックに隣接する周辺ブロックとの、推定されたホワイトバランス補正ゲインの比較に基づき判定する（ステップＳ４）。そして、当該ブロックの推定された補正ゲインが、当該ブロックに隣接する周辺ブロックの推定された補正ゲインのいずれに対しても所定以上の差がある場合に、当該ブロックの推定されたホワイトバランス補正ゲインを特異であると判定し、それ以外の場合には当該ブロックの推定されたホワイトバランス補正ゲインを特異でないと判定する。

図４は図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン推定部１２が推定した、入力画像の全ブロックに対応するホワイトバランス補正ゲインマップ及びＷＢ補正ゲイン特異判定部１３が特異であると判定したホワイトバランス補正ゲインの一例を示す説明図である。
図４の例では、ＷＢ補正ゲイン特異判定部１３が、当該ブロックの推定されたホワイトバランス補正ゲインが、当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインのいずれとも０．２以上の差がある場合に、当該ブロックの推定されたホワイトバランス補正ゲインを特異であると判定し、それ以外の場合には、当該ブロックの推定されたホワイトバランス補正ゲインを特異でないと判定するように構成されている例を示している。

詳しくは、図４(a)の例では、Ｒ／Ｇホワイトバランス補正ゲインマップにおいて、ブロック(１，５)の推定されたホワイトバランス補正ゲインが“０．７”であり、当該ブロックに隣接する３×３のブロックのいずれの推定されたホワイトバランス補正ゲイン“１．１”に対しても０．２以上の差がある。このため、ＷＢ補正ゲイン特異判定部１３は、ブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．７”を特異であると判定する。
一方、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲインは“０．８”であり、夫々当該ブロックに隣接する３×３のブロックの殆どの推定されたホワイトバランス補正ゲイン“１．１”に対して０．２以上の差があるが、互いに隣り合うブロック（３，４）（３，３）の推定されたホワイトバランス補正ゲイン“０．８”に対して差がない。この場合、ＷＢ補正ゲイン特異判定部１３は、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲイン“０．８”を特異でないと判定する。

また、図４(b)の例では、Ｂ／Ｇホワイトバランス補正ゲインマップにおいて、ブロック(１，５)の推定されたホワイトバランス補正ゲインが“０．８”であり、当該ブロックに隣接する３×３のブロックのいずれの推定されたホワイトバランス補正ゲイン“１．２”に対しても０．２以上の差がある。このため、ＷＢ補正ゲイン特異判定部１３は、ブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．８”を特異であると判定する。
一方、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲインは“１”であり、夫々当該ブロックに隣接する３×３のブロックの殆どの推定されたホワイトバランス補正ゲイン“１．２”に対して０．２以上の差があるが、互いに隣り合うブロック（３，４）（３，３）の推定されたホワイトバランス補正ゲイン“１”に対して差がない。この場合、ＷＢ補正ゲイン特異判定部１３は、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲイン“１”を特異でないと判定する。

なお、ＷＢ補正ゲイン特異判定部１３による、推定されたホワイトバランス補正ゲインが特異であるか否かの判定基準は、“当該ブロックに隣接する周辺ブロック”や、“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に応じて、様々に設定しうる。

“当該ブロックに隣接する周辺ブロック”に関する基準としては、例えば、次のような基準を用いることができる。
（基準１−１）当該ブロックに隣接する３×３のブロック。
（基準１−２）当該ブロックに隣接する上、下、左、右のブロック。
なお、図４の例においては、便宜上、基準１−１を用いている。

また、“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に関する基準としては、例えば、次のような基準を用いることができる。
（基準２−１）一つのホワイトバランス補正ゲインにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の単純な差。
（基準２−２）複数種類の推定されたホワイトバランス補正ゲインマップをｎ次の座標にプロットしたときの当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインをプロットした点同士のユークリッド距離。
（基準２−３）複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値。
なお、図４の例においては、便宜上、基準２−１を用いている。基準２−２、基準２−３の詳細については、後述する。

このＷＢ補正ゲイン特異判定部１３による、推定されたホワイトバランス補正ゲインが特異であるか否かの判定（ステップＳ４）は、全てのブロックに対して順次行い、全てのブロックに対する判定が終わるまで繰り返す。

ＷＢ補正ゲイン特異判定部１３による全てのブロックに対するホワイトバランス補正ゲインが特異であるか否かの判定が終わった後、ＷＢ補正ゲイン修正部１４が、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックの推定されたホワイトバランス補正ゲインを、特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインに基づき修正する（ステップＳ５）。

図５は図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン修正部１４が、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックの推定されたホワイトバランス補正ゲインを、特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全ブロックに対応するホワイトバランス補正ゲインマップの一例を示す説明図である。

図５(a)の例では、ＷＢ補正ゲイン修正部１４が、図４(a)に示すＲ／Ｇホワイトバランス補正ゲインマップにおいて、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．７”を、ブロック（１，５）の周辺３×３のブロックの推定されたホワイトバランス補正ゲインの平均値“１．１”に修正する。

また、図５(b)の例では、ＷＢ補正ゲイン修正部１４が、図４(b)に示すＢ／Ｇホワイトバランス補正ゲインマップにおいて、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．８”を、ブロック（１，５）の周辺３×３のブロックの推定されたホワイトバランス補正ゲインの平均値“１．２”に修正する。

なお、ＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインの修正に用いる、“特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン”の基準は、“特異であると判定されたブロックに隣接する周辺ブロック”に応じて、様々に設定しうる。

“特異であると判定されたブロックに隣接する周辺ブロック”に関する基準としては、例えば、次のような基準を用いることができる。
（基準３−１）特異であると判定されたブロックに隣接する３×３のブロック。
（基準３−２）特異であると判定されたブロックに隣接する上、下、左、右のブロック。
（基準３−３）特異であると判定されたブロックに隣接する周辺ブロック（基準３−１又は基準３−２に該当するブロック）を含む、特異であると判定されたブロックを基準とする所定半径範囲内の周辺ブロック。
なお、図５の例においては、便宜上、基準３−１を用いている。

このＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインの修正（ステップＳ５）は、全てのブロックに対して順次行い、全てのブロックに対する判定が終わるまで繰り返す。
その結果、図５に示すような、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインのみが修正された、入力画像全体のホワイトバランス補正ゲインマップが得られる。

得られたホワイトバランス補正ゲインマップは、記録部１６に記憶される。

そして、ＷＢゲイン補正部１７が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１６を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する。

本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、推定した当該ブロックのホワイトバランス補正ゲインが特異であるか否かを、当該ブロックに隣接する推定した周辺ブロックのホワイトバランス補正ゲインとの比較に基づき判定し、特異であると判定したブロックの推定したホワイトバランス補正ゲインのみを、特異であると判定したブロックに隣接する周辺ブロックの推定したホワイトバランス補正ゲインに基づき修正するようにしたので、個別のブロックで当初推定したホワイトバランス補正ゲインが間違っていても、入力画像に対応する全ブロックのホワイトバランス補正ゲインの値が適正なホワイトバランス補正ゲインマップを作成することができる。そして、この推定を間違ったブロックのホワイトバランス補正ゲインのみを修正済みの入力画像全体のホワイトバランス補正ゲインマップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体のホワイトバランス補正に悪影響が生じず、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。

なお、上記の例では、画像エリア分割部１１は、互いに隣り合うブロック同士が重ならないようにして、入力画像を複数のブロックに分割するように構成したが、画像エリア分割部１１は、図６(a)に破線で示すように、互いに隣り合うブロック同士が一部重なるようにして、入力画像を複数のブロックに分割するように構成してもよい。
あるいは、画像エリア分割部１１は、図６(b)に破線で示すように、互いに隣り合うブロック同士が離れるようにして、入力画像を複数のブロックに分割するように構成してもよい。

また、上述したように、図４の例では、ＷＢ補正ゲイン特異判定部１３が、ホワイトバランス補正ゲインが特異であるか否かを判定する基準における“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に関する基準として、基準２−１のＲ／Ｇホワイトバランス補正ゲイン、Ｒ／Ｂホワイトバランス補正ゲインの夫々について、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の単純な差を用いたが、基準２−２の当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインをプロットした点同士のユークリッド距離や、基準２−３の複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値を用いてもよい。

図７は図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン特異判定部１３が当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定する方法の一変形例として、“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に関する基準２−２を用いた例を示す説明図で、(a)は当該エリアの推定されたホワイトバランス補正ゲインと当該エリアに隣接する周辺エリアの夫々推定されたホワイトバランス補正ゲイン示す図、(b)は当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアとのホワイトバランス補正ゲインの差の一例として、ＸＹ座標上で当該エリアのＲ／Ｇホワイトバランス補正ゲインを一方の座標軸上、Ｂ／Ｇホワイトバランス補正ゲインを他方の座標軸上にとり、当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアのホワイトバランス補正ゲインを表す点同士の距離を示す図である。
なお、図７(a)は、真中の当該エリア[i,j]と、隣接する周辺８つのエリアの推定されたホワイトバランス補正ゲインrg[],bg[]を示している。
基準２−２を用いて、図７(a)の例において、当該エリアと周辺エリアの推定されたホワイトバランス補正ゲインの差に基づき、当該エリアの推定されたホワイトバランスが特異かどうかを判定する場合、まず、当該エリア[i,j]と周辺の８つのエリアのホワイトバランス補正ゲインの差をそれぞれ求める。
図７(a)における、rg[i,j]とbg[i,j]をそれぞれ当該エリア[i,j]の推定されたホワイトバランス補正ゲインとすると、当該エリアとその真上のエリアのホワイトバランス補正ゲインの差の一例として、図７(b)に示すＸＹ座標上で当該エリアのホワイトバランス補正ゲインを表す点（rg[i,j],bg[i,j]）と真上のエリアのホワイトバランス補正ゲインを表す点（rg[i,j-1],bg[i,j-1]）の間の距離であるユークリッド距離が算出される。
同様に、当該エリアと周辺８つのエリアのホワイトバランス補正ゲインの差をそれぞれ計算し、計算した値をそれらの差の最大値が予め決められた所定の閾値と比較することで、当該エリアのホワイトバランス補正ゲインが特異であるか否かを判定する。

ユークリッド距離ｄは、ｎ次元のベクトルｆとｇに対して、次式１で表すことができる。
（式１）


例えば、２次元のベクトルｆとｇに対しては、ユークリッド距離ｄは、次式２で表される。
（式２）


ここで、２次元のベクトルｆ（ｘ_１，ｙ_１）、ｇ（ｘ_２，ｙ_２）に対するユークリッド距離をＳとすると、ユークリッド距離Ｓは次式３で表すことができる。
（式３）

そこで、上記式３を用いた、図４(a)、図４(b)に示されたＲ／Ｇホワイトバランス補正ゲイン及びＢ／Ｇホワイトバランス補正ゲインについての当該ブロックと当該ブロックに隣接する周辺ブロックとのユークリッド距離Ｓの求め方の一例を説明する。
Ｒ／Ｇホワイトバランス補正ゲインをｘｙ座標系におけるｘ座標上の値、Ｂ／Ｇホワイトバランス補正ゲインをｘｙ座標系におけるｙ座標の値とする。そして、分割されたブロック毎に、図４(a)、図４(b)に示されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインマップをｘｙ座標系にプロットする。このとき、当該ブロックにおけるプロットした点のｘｙ座標上の位置ｆ（ｘ_１，ｙ_１）と当該ブロックに隣接する周辺ブロックにおけるプロットした点のｘｙ座標上の位置ｇ（ｘ_２、ｙ_２）との差を、ユークリッド距離Ｓとして上記式３で示すことができる。

例えば、ブロック（１，５）における推定されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインをｘｙ座標系にプロットした点のｘｙ座標上の位置ｆ（０．７、０．８）と、ブロック（１，５）に隣接する３×３のブロックのうちの一つのブロック（１．４）における推定されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインをｘｙ座標系にプロットした点のｘｙ座標上の位置ｇ（１．１、１．１）との差をユークリッド距離Ｓで示すと、
｛（０．７−１．１）^２＋（０．８−１．１）^２｝^１／２＝０．５
となる。
そして、ＷＢ補正ゲイン特異判定部１３は、予めユークリッド距離Ｓの閾値として任意の値を設定されており、上記のようにして求めた、当該ブロックと当該ブロックに隣接する各周辺ブロックとのユークリッド距離Ｓのいずれもが、ユークリッド距離Ｓの閾値を上回る場合に、当該ブロックの推定されたホワイトバランス補正ゲインが特異であると判定し、それ以外の場合は、当該ブロックの推定されたホワイトバランス補正ゲインが特異でないと判定する。

なお、図４(a)、図４(b)の例では、ＲＧＢの３色のカラー画像におけるＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの２種類のホワイトバランス補正ゲインを推定しており、ユークリッド距離を、それぞれのホワイトバランス補正ゲインを２次元座標上にプロットしてプロットした点の距離Ｓとして理解し易いが、推定しうるホワイトバランス補正ゲインは２種類に限定されるものではない。
例えば、マルチカラーの画像等におけるホワイトバランス補正ゲインを推定する場合には、推定するホワイトバランス補正ゲインの種類は多くなり、２次元座標上にプロットすることができない。
その場合でも、隣接するブロック同士のホワイトバランス補正ゲインの差を示す基準としてのユークリッド距離を、上記式１に基づいて算出することで、当該ブロックのホワイトバランス補正ゲインが特異であるか否かを判定できる。

図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン特異判定部１３が当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定する方法の他の変形例として、基準２−３を用いた例について説明する。
図７(a)に示したような、当該エリア[i,j]と周辺の８つのエリアのホワイトバランス補正ゲインの差を求める方法として、基準２−２のユークリッド距離の代わりに、基準２−３の当該エリアと周辺エリアのホワイトバランス補正ゲインとの差の絶対値を用いることもできる。
例えば、当該エリアと周辺エリアのホワイトバランス補正ゲインとの差の絶対値として｜rg[i,j]-rg[i,j-1]｜を用いる。
同様に、当該エリアと周辺８つのエリアのホワイトバランス補正ゲインの差をそれぞれ計算し、計算した値をそれらの差の最大値が予め決められた所定の閾値と比較することで、当該エリアのホワイトバランス補正ゲインが特異であるか否かを判別する。
なお、上記説明では、便宜上、rg[]の差の絶対値を用いたが、勿論、rg[]の差の絶対値の代わりにbg[]の差の絶対値を用いてもよい。

基準２−３の複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値の一例を、図４(a)、図４(b)に示されたＲ／Ｇホワイトバランス補正ゲイン及びＢ／Ｇホワイトバランス補正ゲインについての当該ブロックと当該ブロックに隣接する周辺ブロックとを用いて説明する。
例えば、図４(a)、図４(b)においてブロック（１，５）における推定されたＲ／Ｇホワイトバランス補正ゲインの値は“０．７”、Ｂ／Ｇホワイトバランス補正ゲインの値は“０．８”である。また、ブロック（１，５）に隣接する３×３のブロックのうちの一つのブロック（１，４）における推定されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの値は、いずれも“１．１”となっている。
この場合、基準２−３の複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値は、
｜０．７−１．１ |＋｜０．８−１．１｜＝０．７
となる。
そして、ＷＢ補正ゲイン特異判定部１３は、予め当該ブロックと当該ブロックに隣接する各周辺ブロックとの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値の閾値として任意の値を設定されており、上記のようにして求めた、当該ブロックと当該ブロックに隣接する各周辺ブロックとの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値のいずれもが、推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値の閾値を上回る場合に、当該ブロックのホワイトバランス補正ゲインが特異であると判定し、それ以外の場合は、当該ブロックのホワイトバランス補正ゲインが特異でないと判定する。

また、本実施形態における図３〜図５の例では、画像エリア分割部１１は、入力画像を７×７に分割したが、画像エリア分割部１１が分割するブロックのサイズ及び数は、どのようなサイズ及び数であってもよい。
図８は本実施形態の変形例として、図１のマルチエリアホワイトバランス制御装置１において、画像エリア分割部１１が入力画像を図３の例とは異なるサイズの複数のブロックに分割したときの、ＷＢ補正ゲイン推定部１２が推定した、入力画像の全ブロックに対応するホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲイン、及び、ホワイトバランス補正ゲイン修正部１４が、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックの推定されたホワイトバランス補正ゲインを、特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全ブロックに対応するＲ／Ｇホワイトバランス補正ゲインマップを示す説明図で、(a)は修正前のＲ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図、(b)は特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを修正済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図である。
本実施形態では、図８の例のように、入力画像の左上の領域と、右下の領域とで、光源が異なることが分かる場合、画像エリア分割部１１が、光源の境界に近い、左下から右上にかけての領域を小さなサイズのエリアに細かく分割し、それ以外の領域を大きなサイズのエリアに分割するようにすることもできる。

即ち、図８(a)の例では、画像エリア分割部１１が、入力画像を３×３のブロックに分割し、３×３に分割したブロックのうち、左下のブロック、中央のブロック、右上のブロックをさらに２×２に分割している。
ここで、右上のブロックをさらに２×２に分割してできた４つの小ブロックのうちの左下の小ブロックに対してＷＢ補正ゲイン推定部１２により推定されたホワイトバランス補正ゲインの値は“０．７”である。また、当該小ブロックの周辺のブロックの推定されたホワイトバランス補正ゲインの値“１．１”との差が“０．４”であって、ホワイトバランス補正ゲインの閾値を超えている。このため、ＷＢ補正ゲイン特異判定部１３が、当該小ブロックの推定されたホワイトバランス補正ゲインを特異であると判定する。
一方、中央のブロックをさらに２×２に分割してできた４つの小ブロックのうちの左下及び右下の小ブロックに対してＷＢ補正ゲイン推定部１２により推定されたホワイトバランス補正ゲインの値も“０．７”である。また、夫々の当該小ブロックの周辺の殆どのブロックの推定されたホワイトバランス補正ゲインの値“１．１”との差が“０．４” あって、ＷＢ補正ゲイン特異判定部１３が、ホワイトバランス補正ゲインの閾値を超えている。しかし、隣り合う当該小ブロック同士の推定されたホワイトバランス補正ゲインの値に差がない。このため、ＷＢ補正ゲイン特異判定部１３が、これらの小ブロックの推定されたホワイトバランス補正ゲインを特異でないものと判定する。

この場合、ＷＢ補正ゲイン修正部１４が、図８(a)に示すホワイトバランス補正ゲインマップにおいて、ＷＢ補正ゲイン特異判定部１３によって特異であると判定された、右上のブロックをさらに２×２に分割したブロックのうちの左下の小ブロックの推定されたホワイトバランス補正ゲイン“０．７”を当該小ブロックの周辺ブロックの推定されたホワイトバランス補正ゲインの平均値“１．１”に修正する。

第２実施形態
図９は本発明の第２実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御処理装置を備えたデジタルカメラのブロック図、図９中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス画像処理装置に対応する構成である。図１０は図９のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。

本実施形態のマルチエリアホワイトバランス制御装置１は、図９に示すように、エリア分割手段としての画像エリア分割部１１と、ホワイトバランス補正ゲイン推定手段としてのＷＢ（ホワイトバランス）補正ゲイン推定部１２と、ホワイトバランス補正ゲイン特異判定手段としてのＷＢ（ホワイトバランス）補正ゲイン特異判定部１３と、ホワイトバランス補正ゲイン修正手段としてのＷＢ（ホワイトバランス）補正ゲイン修正部１４と、ホワイトバランス補正ゲイン平滑化手段としてのＷＢ補正ゲイン平滑化部１８と、ホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部１７を有している。図９中、１０はマルチエリアホワイトバランス画像処理装置、１５はホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）補正ゲインマップ生成部、１６はＷＢ（ホワイトバランス）ゲイン補正部１７が当該エリアのホワイトバランス補正ゲインを修正済みの、入力画像全体のホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１７はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。

画像エリア分割部１１、ＷＢ補正ゲイン推定部１２、ＷＢ補正ゲイン特異判定部１３、ＷＢ補正ゲイン修正部１４の構成は、第１実施形態のマルチエリアホワイトバランス制御装置１０と略同じである。

ＷＢ補正ゲイン平滑化部１８は、ＷＢ補正ゲイン修正部１４によって当該ブロックのホワイトバランス補正ゲインのみが修正された、入力画像全体のホワイトバランス補正ゲインマップにおける全エリアのホワイトバランス補正ゲインに対して、平均化ＬＰＦ（ローパスフィルタ）等の平滑化処理を行う。
なお、平滑化処理の詳細については、後述する。

ＷＢゲイン補正部１７は、ＷＢ補正ゲイン平滑化部１８によって、全ブロックのホワイトバランス補正ゲインを平滑化処理済みの、入力画像全体のホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。

その他の構成は、第１実施形態のマルチエリアホワイトバランス制御装置１と略同じである。

このように構成された本実施形態のマルチエリアホワイトバランス制御処理装置を用いた入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理の流れを図１０、図１１を用いて説明する。

なお、図示しないデジタルカメラの制御部による画像データの入力（ステップＳ１１）〜ＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインのみの修正（ステップＳ１５）までの処理は、第１実施形態のマルチエリアホワイトバランス制御装置１０と略同じである。

ＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインのみの修正（ステップＳ１５）が終了後、ＷＢ補正ゲイン平滑化部１８が、入力画像全体のホワイトバランス補正ゲインマップにおける全ブロックのホワイトバランス補正ゲインに対して、平滑化処理を行う（ステップＳ１６）。
例えば、ＷＢ補正ゲイン平滑化部１８は、図５(a)、図５(b)に示された全ブロックを対象として、ブロックごとに、そのブロックを中心とする３×３のブロックのホワイトバランス補正ゲインの平均化ＬＰＦをかける。なお、中心とするブロックに隣接する周辺ブロックが３×３に満たない場合は、中心とするブロックに隣接する周辺ブロックの範囲において平均化ＬＰＦをかける。

より詳しくは、例えば、ＷＢ補正ゲイン平滑化部１８が、図５(a)に示すＲ／Ｇホワイトバランス補正ゲインマップにおけるブロック（３，１）に対し、ブロック（３，１）を中心とする３×３のブロックのＲ／Ｇホワイトバランス補正ゲインの平均化ＬＰＦをかける場合、ブロック（３，１）を中心とする３×３のブロック（２，０）〜（２，２），（３，０）〜（３，２），（４，０）〜（４，２）のＲ／Ｇホワイトバランス補正ゲインの値は、いずれも“１．１”である。この場合、平均化ＬＰＦをかけた後のブロック（３，１）のホワイトバランス補正ゲインの値は、平均化ＬＰＦをかける前の値と変わらない。
一方、ＷＢ補正ゲイン平滑化部１８が、ブロック（３，２）に対し、ブロック（３，２）を中心とする３×３のブロックのＲ／Ｇホワイトバランス補正ゲインの平均化ＬＰＦをかける場合、ブロック（３，２）を中心とする３×３のブロックのうち、ブロック（２，１）〜（２，３），（３，１），（３，２），（４，１）〜（４，３）のＲ／Ｇホワイトバランス補正ゲインの値は、“１．１”、ブロック（３，３）のＲ／Ｇホワイトバランス補正ゲインの値は、“０．８”である。この場合、平均化ＬＰＦをかけると、
（１．１×８＋０．８）÷９≒１．０７
となり、平均化ＬＰＦをかけた後のブロック（３，２）のＲ／Ｇホワイトバランス補正ゲインの値は、平均化ＬＰＦをかける前の“１．１”に比べて“０．０３”減少する。
また、ＷＢ補正ゲイン平滑化部１８が、ブロック（３，３）に対し、ブロック（３，３）を中心とする３×３のブロックのＲ／Ｇホワイトバランス補正ゲインの平均化ＬＰＦをかける場合、ブロック（３，３）を中心とする３×３のブロック（２，２）〜（２，４），（３，２），（４，２）〜（４，４）のＲ／Ｇホワイトバランス補正ゲインの値は、“１．１”、ブロック（３，３），（３，４）のＲ／Ｇホワイトバランス補正ゲインの値は、“０．８”である。この場合、平均化ＬＰＦをかけると、
（１．１×７＋０．８×２）÷９≒１．０３
となり、平均化ＬＰＦをかけた後のブロック（３，３）のＲ／Ｇホワイトバランス補正ゲインの値は、平均化ＬＰＦをかける前の“０．８”に比べて“０．２３”増加する。
上記と同様に、ＷＢ補正ゲイン平滑化部１８が、各ブロックのＲ／Ｇホワイトバランス補正ゲインに対して、平均化ＬＰＦをかけると、図１１(a)に示すように、ブロック（２，２）〜（２，５），（３，２）〜（３，５），（４，２）〜（４，５）のＲ／Ｇホワイトバランス補正ゲインの値が、“１．０３”〜“１．０７”の範囲の値となる。そして、（３，３）、（３、４）のブロックと、これらに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値が、１．０７−１．０３＝０．０４となり、平均化ＬＰＦをかける前の“０．３”に比べて“０．２６”減少する。一方、ブロック（２，２）〜（２，５），（３，２），（３，５），（４，２）〜（４，５）と、これらに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値は、１．１−１．０３＝０．０７となり、平均化ＬＰＦをかける前の“０”に比べて“０．０７”増加する。

同様に、ＷＢ補正ゲイン平滑化部１８が、図５(b)に示す各ブロックのＢ／Ｇホワイトバランス補正ゲインに対して、平均化ＬＰＦをかけると、図１１(b)に示すように、ブロック（２，２）〜（２，５），（３，２）〜（３，５），（４，２）〜（４，５）のＢ／Ｇホワイトバランス補正ゲインの値が、“１．１６”〜“１．１８”の範囲の値となる。そして、（３，３）、（３、４）のブロックは、隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインの差の最大値が、１．１８−１．１６＝０．０２となり、平均化ＬＰＦをかける前の“０．２”に比べて“０．１８”減少する。一方、ブロック（２，２）〜（２，５），（３，２），（３，５），（４，２）〜（４，５）と、隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインの差の最大値は、１．２−１．１６＝０．０４となり、平均化ＬＰＦをかける前の“０”に比べて“０．０４”増加する。

なお、図４(a)、図４(b)に示す、Ｒ／Ｇホワイトバランス補正ゲインマップ、Ｂ／Ｇホワイトバランス補正ゲインマップの夫々において、ＷＢ補正ゲイン特異判定部１３が、推定したホワイトバランス補正ゲインを特異であると判定したブロック（１，５）に隣接するブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）の夫々に対してＷＢ補正ゲイン平滑化部１８が平均化ＬＰＦをかける際には、図５(a)、図５(b)に示すように、ＷＢ補正ゲイン修正手段１４によりブロック（１，５）のＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの値が、ブロック（１，５）に隣接するブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）のＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの平均値（図４(a)の例では“１．１”、図４(b)の例では“１．２”）に修正されている。このため、ＷＢ補正ゲイン平滑化部１８が、ブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）の夫々に対して平均化ＬＰＦをかけても、これらのブロックのＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの値は平均化ＬＰＦをかける前の値との変動幅が極めて小さい（図１１(a)、図１１(b)の例では、変動幅が“０”となっている。）

これに対する比較例として、図４(a)、図４(b)に示すＲ／Ｇホワイトバランス補正ゲインマップ、Ｂ／Ｇホワイトバランス補正ゲインマップに対して、特異であると判定されうるブロックの推定されたホワイトバランス補正ゲインの修正を行わずに、上記と同様の平滑化処理（ブロックごとの、そのブロックを中心とする３×３のブロックのホワイトバランス補正ゲインの平均化ＬＰＦ）を行った場合のＲ／Ｇホワイトバランス補正ゲインマップ、Ｂ／Ｇホワイトバランス補正ゲインマップを図１２(a)、図１２(b)に示す。

特異であると判定されうるブロックの推定されたホワイトバランス補正ゲインの修正を行わずに、上記と同様の平均化ＬＰＦをかけると、特異でないと判定されうるブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）の推定されたホワイトバランス補正ゲインが、特異であると判定されうるブロック（１，５）の推定されたホワイトバランス補正ゲインの影響を受けて大きく変動する。

例えば、図１２(a)に示すように、特異であると判定されうるブロック（１，５）を中心とする３×３のブロック（０，４）〜（０，６），（１，４）〜（１，６），（２，４）〜（２，６）のＲ／Ｇホワイトバランス補正ゲインの値が、“０．９８”〜“１．０６”の範囲の値となる。そして、ブロック（１，５）と、これに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値が、１．０６−０．９８＝０．０８となり、平均化ＬＰＦをかける前の“０．４”に比べて“０．３２”減少する。一方、ブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）と、これらに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値は、１．１−１．０３＝０．０７となり、平均化ＬＰＦをかける前の“０．３”に比べて“０．２３”減少する。
しかし、ブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）のＲ／Ｇホワイトバランス補正ゲインは、図１１(a)に示す、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合のＲ／Ｇホワイトバランス補正ゲインに比べて、当初の推定値からの変動幅が大きくなる。例えば、ブロック（２，４）のＲ／Ｇホワイトバランス補正ゲインは、“０．９８”となり、当初の推定値“１．１”から“０．１２”も変動してしまう。一方、特異であると判定されたエリアの推定されたＲ／Ｇホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合、ブロック（２，４）のＲ／Ｇホワイトバランス補正ゲインは、“１．０３”であり、当初の推定値“１．１”からの変動幅が“０．０７”となり、特異であると判定されうるブロックの推定されたＲ／Ｇホワイトバランス補正ゲインの修正を行わずに、平均化ＬＰＦをかけた場合に比べて、小さく抑えることができる。

同様に、３×３のブロック（０，４）〜（０，６），（１，４）〜（１，６），（２，４）〜（２，６）のＢ／Ｇホワイトバランス補正ゲインの値が、“１．１１”〜“１．１６”の範囲の値となる。そして、ブロック（１，５）と、これに隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインとの差の最大値が、１．１６−１．１＝０．０６となり、平均化ＬＰＦをかける前の“０．４”に比べて“０．３４”減少する。一方、ブロック（０，４）〜（０，６），（１，４）〜（１，６），（２，４）〜（２，６）と、これらに隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインの差の最大値は、１．２−１．１３＝０．０７となり、平均化ＬＰＦをかける前の“０．２”に比べて“０．１３”減少する。
しかし、ブロック（０，４）〜（０，６），（１，４），（１，６），（２，４）〜（２，６）のＢ／Ｇホワイトバランス補正ゲインは、図１１(b)に示す、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合のＢ／Ｇホワイトバランス補正ゲインに比べて、当初の推定値からの変動幅が大きくなる。例えば、ブロック（２，４）のＢ／Ｇホワイトバランス補正ゲインは、“１．１１”となり、当初の推定値“１．２”から“０．０９”も変動してしまう。一方、特異であると判定されたエリアの推定されたＢ／Ｇホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合、ブロック（２，４）のＢ／Ｇホワイトバランス補正ゲインは、“１．１６”であり、当初の推定値“１．２”からの変動幅が“０．０４”となり、特異であると判定されうるブロックの推定されたＢ／Ｇホワイトバランス補正ゲインの修正を行わずに、平均化ＬＰＦをかけた場合に比べて、小さく抑えることができる。

図１２の比較例との比較からも明らかなように、図１１に示す本実施形態のマルチエリアホワイトバランス制御装置１では、ＷＢ補正ゲイン平滑化部１８が、平滑化処理を行うことにより、特異でないと判定されうるブロックに対する変動を極力抑えながら、隣接するエリア間のホワイトバランス補正ゲインの値の不連続性を抑えた、入力画像全体のマルチエリアホワイトバランス補正ゲインマップが生成される。

平滑化処理されたホワイトバランス補正ゲインマップは、記録部１６に記憶される。

そして、ＷＢゲイン補正部１７が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１６を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する。

本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、更に、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正済みの入力画像全体のホワイトバランス補正ホワイトバランス補正ゲインマップにおける全エリアのホワイトバランス補正ゲインに対して、平滑化処理を行うようにしたので、複数の光源で照明されたシーンを撮影した画像に対し、当初のホワイトバランス補正ゲインの推定を間違えたエリアのホワイトバランス補正ゲインのみを修正することによる、入力画像全体のホワイトバランス補正に悪影響が生じず、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができるという第１実施形態と同様の効果を保持しながら、更に、エリア間での輝度や色の不連続性を抑えることができる。

なお、本実施形態のマルチエリアホワイトバランス制御装置１においては、ＷＢ補正ゲイン平滑化部１８が行う平滑化処理として、単純に平均化ＬＰＦを用いたが、必要に応じて重み付けのあるＬＰＦを用いてもよい。また、半径の大きいＬＰＦを用いてもよい。また、ブロック間のホワイトバランス補正ゲインの差や、その方向性に応じて、ＬＰＦを用いる方向や、強さを異ならせてもよい。
その他の作用効果は、第１実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法と略同じである。

以上、本発明のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法を説明し、上記各実施形態のマルチエリアホワイトバランス制御装置１においては、エリア分割手段としての画像エリア分割部１１が、入力画像を縦横夫々の直線で区切られた形状及び面積の等しいブロックに分割した例で説明したが、本発明のマルチエリアホワイトバランス制御装置１におけるエリア分割手段が分割する各エリアの形状・大きさは本実施形態に限定されるものではなく、例えば、三角形状、湾曲形状等どのような形状でもよいし、各エリアの大きさが異なっていてもよい。

また、上記各実施形態のマルチエリアホワイトバランス制御装置１は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）として機能させるためのマルチエリアホワイトバランス制御プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
あるいは、本実施形態のマルチエリアホワイトバランス制御装置１は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス制御プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
さらに、上記各実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
さらに、あるいは、本実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。

本発明のマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置は、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランスを補正することが求められる分野に有用である。

１ マルチエリアホワイトバランス制御装置
１０ マルチエリアホワイトバランス画像処理装置
１１ エリア分割手段（画像エリア分割部）
１２ ホワイトバランス補正ゲイン推定手段（ＷＢ補正ゲイン推定部）
１３ ホワイトバランス補正ゲイン特異判定手段（ＷＢ補正ゲイン特異判定部）
１４ ホワイトバランス補正ゲイン修正手段（ＷＢ補正ゲイン修正部）
１５ ホワイトバランス補正ゲインマップ生成手段（ＷＢ補正ゲインマップ生成部）
１６ ゲインマップ記憶部
１７ ホワイトバランス処理手段（ＷＢゲイン補正部）
１８ ホワイトバランス補正ゲイン平滑化手段（ＷＢ補正ゲイン平滑化部）
２１ レンズ
２２ イメージセンサ
２３ 画像記憶部

Claims (13)

1. 入力画像を複数のエリアに分割するエリア分割手段と、
   前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段と、
   前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段と、
   前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段と
   を有し、
   推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とするマルチエリアホワイトバランス制御装置。
2. 更に、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを修正済みのエリアを含む、入力画像全体における全エリアのホワイトバランス補正ゲインに対して、平滑化処理を行うホワイトバランス補正ゲイン平滑化手段を有し、
   推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化処理された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
3. 前記ホワイトバランス補正ゲイン特異判定手段は、当該エリアの推定されたホワイトバランス補正ゲインが、当該エリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインのいずれとも所定以上の差がある場合に、当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定することを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
4. 前記ホワイトバランス補正ゲイン特異判定手段は、当該エリアの推定されたホワイトバランス補正ゲインが、当該エリアに隣接する上、下、左、右のエリアの推定されたホワイトバランス補正ゲインのいずれとも所定以上の差がある場合に、当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定することを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
5. 前記ホワイトバランス補正ゲイン特異判定手段は、当該エリアの推定されたホワイトバランス補正ゲインが、当該エリアに隣接する周辺エリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定されたホワイトバランス補正ゲインのいずれとも所定以上の差がある場合に、当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定することを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
6. ホワイトバランス補正ゲイン修正手段は、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する上、下、左、右のエリアを含む周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正することを特徴とする請求項１〜５のいずれかに記載のマルチエリアホワイトバランス制御装置。
7. ホワイトバランス補正ゲイン修正手段は、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアを含む、特異であると判定されたエリアを基準とする所定半径範囲内の周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正することを特徴とする請求項１〜５のいずれかに記載のマルチエリアホワイトバランス制御装置。
8. ホワイトバランス補正ゲイン修正手段は、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する上、下、左、右のエリアを含む、特異であると判定されたエリアを基準とする所定半径範囲内の周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正することを特徴とする請求項７に記載のマルチエリアホワイトバランス制御装置。
9. 請求項１〜８のいずれかに記載のマルチエリアホワイトバランス制御装置と、
   前記マルチエリアホワイトバランス制御装置によって生成された、前記入力画像全体のホワイトバランス補正ゲインマップに基づき、前記入力画像全体のホワイトバランス処理を行うホワイトバランス処理手段と
   を有することを特徴とするマルチエリアホワイトバランス画像処理装置。
10. 請求項９に記載のマルチエリアホワイトバランス画像処理装置を備えた撮像装置。
11. 入力画像を複数のエリアに分割し、
    分割したエリア毎にホワイトバランス補正ゲインを推定し、
    推定した、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定したホワイトバランス補正ゲインが特異であるか否かを判定し、
    特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正することにより、
    推定した全エリアのホワイトバランス補正ゲインのうち、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正した、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とするマルチエリアホワイトバランス制御方法。
12. マルチエリアホワイトバランス制御装置に備わるコンピュータであって、
    前記コンピュータを、
    入力画像を複数のエリアに分割するエリア分割手段、
    前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、
    前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、
    前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、
    推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成するためのマルチエリアホワイトバランス制御プログラムを記録したコンピュータ。
13. マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、
    前記コンピュータを、
    入力画像を複数のエリアに分割するエリア分割手段、
    前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、
    前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、
    前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、
    推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成するためのマルチエリアホワイトバランス制御プログラム。