JP5055569B2 - カラー撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、ディジタルカメラなどのカラー撮像装置、及び、ディジタルカメラなどで撮影したカラー画像を処理する画像処理プログラムに関する。

窓から太陽光の差し込む電球室内をディジタルカメラで撮影した場合など、被写界中が異なる色の２種類の照明光で照明されていた場合は、ディジタルカメラによる自動ホワイトバランス制御は難しいとされている。
このため、特許文献１には、２種類の照明光の加重平均色を被写界全域の照明色とみなし、その照明色に最適なホワイトバランス制御量でホワイトバランス制御を行う技術が開示されている。各照明色の加重は、その照明色で照明された物体の存在領域が広いほど大きく設定される。このように、２種類の照明光の中間色を被写界全体の照明色とみなせば、フレーミングを少しずつ変えながら撮影された複数の画像間に色の連続性を与えることができる。
特開平８−２５１６２０号公報

しかし、特許文献１に記載の技術では、被写界中にサイズ及び照明色の異なる２つの被写体が存在していた場合、仮に、ユーザが小さい方の被写体を重視していたとしても、大きい被写体の照明色が重視される可能性が高い。このため、ユーザの満足するホワイトバランス制御が行われないことがあった。
そこで本発明は、ホワイトバランス制御の成功率を高めることのできるカラー撮像装置及び画像処理プログラムを提供することを目的とする。

本発明のカラー撮像装置は、被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類部と、前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出部と、前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット部と、を含むカラー撮像装置であって、前記算出部は、前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、前記リミット部は、前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行うことを特徴とする。

なお、前記算出部は、前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定することが望ましい。
また、前記算出部は、前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定することが望ましい。

また、本発明の何れかのカラー撮像装置は、前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理部を更に含むことが望ましい。
また、本発明の画像処理プログラムは、被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類手順と、前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出手順と、前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット手順と、を含む画像処理プログラムであって、前記算出手順では、前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、前記リミット手順では、前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行うことを特徴とする。

なお、前記算出手順では、前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定することが望ましい。
また、前記算出手順では、前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定することが望ましい。

また、本発明の何れかの画像処理プログラムは、前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理手順を更に含むことが望ましい。

本発明によれば、ホワイトバランス制御の成功率を高めることのできるカラー撮像装置及び画像処理プログラムが実現する。

［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態は、ディジタルカメラシステムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの構成図である。図１に示すとおり、本システムは、一眼レフレックスタイプのディジタルカメラ本体１と、それに装着された交換レンズ２とからなる。

ディジタルカメラ本体１には、クイックリターンミラー１１、シャッタ１３、画像撮影用のカラー撮像素子１２、被写界監視用の測光部２０、本システムの各部を制御するＣＰＵ１５、ＣＰＵ１５の動作プログラムを格納したＲＯＭ１６、ＣＰＵ１５の動作中に用いられるＲＡＭ１７、レリーズ釦１９などの操作釦、少なくとも１フレーム分のカラー画像信号を格納可能なフレームメモリ１４、ディジタルカメラ本体１に装着されたカードメモリ１８Ａへデータの読み書きを行う記録部１８などが備えられる。

非撮影時、被写界からの光束は、交換レンズ２を介してクイックリターンミラー１１へ入射すると、そこで反射し、不図示のペンタプリズムや、測光部２０内のレンズ２０Ａを介して測光部２０内のカラー撮像素子２０Ｂに入射し、その撮像面近傍に被写界の像を形成する。このカラー撮像素子２０Ｂは、被写界監視用なので、画像撮影用のカラー撮像素子１２よりも解像度が低く、その画素数は、例えば１００５である。通常、このカラー撮像素子２０Ｂは、連続的に駆動され、その駆動中にカラー撮像素子２０Ｂから順次出力されるカラー画像信号（以下、「撮影前画像信号」という。）は、ＣＰＵ１５へと順次送出される。

撮影時、クイックリターンミラー１１が跳ね上がり、シャッタ１３が開放されると、被写界からの光束は、カラー撮像素子１２へ入射し、その撮像面近傍に被写界の像を形成する。このカラー撮像素子１２の画素数は、例えば１２００万である。この撮影時には、カラー撮像素子１２が駆動され、このときカラー撮像素子１２から出力される１フレーム分のカラー画像信号（以下、「撮影画像信号」という。）は、フレームメモリ１４へ一時的に格納される。この撮影画像信号には、ＣＰＵ１５によってホワイトバランス処理などの画像処理や圧縮処理などが施された後、記録部１８を介してカードメモリ１８Ａへと記録される。

なお、撮影に当たり、ＣＰＵ１５は、測光部２０や交換レンズ２などを介して、ユーザの設定したスポット測光エリアやＡＦ測距点などの各種の撮影情報を取り込む。その撮影情報についても、この撮影画像信号と共にカードメモリ１８Ａへ記録される。
また、上述した画像処理や圧縮処理の一部又は全部は、ＣＰＵ１５とは別に設けられた画像処理回路、圧縮処理回路が実行してもよいが、ここでは、ＣＰＵ１５が実行するものとして説明する。

次に、ホワイトバランス処理に関わるＣＰＵ１５の動作を説明する。
図２は、ホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。この動作プログラムは、ＲＯＭ１６に予め書き込まれている。
図２に示すとおり、ＣＰＵ１５は、測光部２０から撮影前画像信号を取り込み（ステップＳ１１）、その撮影前画像信号から被写界の配色を示す評価値を抽出し（ステップＳ１２）、その評価値と予め用意されたデータベースとに基づき被写界の照明種類が自然光である可能性が高いか、それとも人工光（蛍光灯や電球）である可能性が高いかを判定する（ステップＳ１３）。これらステップＳ１１，Ｓ１２，Ｓ１３による照明種類の判定は、レリーズ釦１４が全押しされない限り（ステップＳ１４ＮＯ）繰り返される。なお、この判定は、被写界を照明する照明光の種類が１つであるとの前提に立つ。前述したデータベースには、照明種類が既知である各種の画像の情報が含まれており、それら画像の配色と、被写界の配色との相関を調べることにより、被写界の照明種類を判定することが可能となる。この判定結果（自然光／人工光）は、後のステップＳ１８で利用される。

レリーズ釦１４が全押しされると（ステップＳ１４ＹＥＳ）、ＣＰＵ１５は、クイックリターンミラー１１、シャッタ１３、カラー撮像素子１２など、撮影に関する部分を駆動して被写界の撮影を行い、撮影画像信号を取得する（ステップＳ１５）。さらに、ＣＰＵ１５は、その撮影画像信号に基づき、撮影時における被写界の照明色を推定する（ステップＳ１６〜Ｓ１８）。この推定は、被写界を照明する照明光の種類が複数であるとの前提に立つ。この推定（ステップＳ１６〜Ｓ１８）の詳細は、後に詳述する。

さらに、ＣＰＵ１５は、推定した照明色に最適なホワイトバランスゲイン、すなわち、その照明色で照明された無彩色物体の色付きを無くすためのホワイトバランスゲインを算出し（ステップＳ１９）、そのホワイトバランスゲインを撮影画像信号に対し乗算してホワイトバランス処理を施す（ステップＳ２０）。ＣＰＵ１５は、このこのホワイトバランス処理後の撮影画像信号を、圧縮処理し、さらにカードメモリ１８Ａへ記録する（ステップＳ２１）。

次に、図３、図４を参照して上述した推定の手順（ステップＳ１６〜Ｓ１８）を詳しく説明する。
（ステップＳ１６）
図３上部に示すのは、撮影画像信号が示す被写界の画像（撮影画像Ｉ）の概念である。ＣＰＵ１５は、この撮影画像Ｉを等面積の小領域Ａ₁，Ａ₂，Ａ₃，…に分割し、それら小領域Ａ₁，Ａ₂，Ａ₃，…の各々の色Ｃ₁，Ｃ₂，Ｃ₃，…を算出する。小領域Ａ_iの色Ｃ_iは、小領域Ａ_i内の平均色である。なお、このとき、小領域Ａ₁，Ａ₂，Ａ₃，…の各々の輝度Ｙ₁，Ｙ₂，Ｙ₃…も算出される。小領域Ａ_iの輝度Ｙ_iは、小領域Ａ_i内の平均輝度である。

続いて、ＣＰＵ１５は、色Ｃ₁，Ｃ₂，Ｃ₃，…に基づき小領域Ａ₁，Ａ₂，Ａ₃，…の各々が無彩色領域であるか否かを判定すると共に、無彩色領域であるものについては、その照明種類が自然光、蛍光灯、電球の何れに該当するかを判定し、その該当する照明種類により小領域Ａ₁，Ａ₂，Ａ₃，…を３つの大きなグループ（自然光グループ、蛍光灯グループ、電球グループ）に分類する。その際には、小領域Ａ_iの色Ｃ_iが、自然光で照明された無彩色物体の色範囲Ｅ_n、蛍光灯で照明された無彩色物体の色範囲Ｅ_f、電球で照明された無彩色物体の色範囲Ｅ_lの何れかに属するか否か、また、何れかに属する場合には、色範囲Ｅ_n，Ｅ_f，Ｅ_lの何れに属するかが調べられる。

（ステップＳ１７）
ＣＰＵ１５は、自然光グループ（色範囲Ｅ_n）に属する各小領域を、その色によりさらに細かい小グループｅ₁，ｅ₂，ｅ₃，…に分類する。この分類の結果、図３（Ａ）に示すとおり、自然光グループ（色範囲Ｅ_n）の色ヒストグラムが作成される。図３（Ａ）の縦軸は、領域数Ｆである。

同様に、ＣＰＵ１５は、蛍光灯グループ（色範囲Ｅ_f）に属する各小領域を、その色によりさらに細かい小グループｅ₁，ｅ₂，ｅ₃，…に分類する。この分類の結果、図３（Ｂ）に示すとおり、蛍光灯グループ（色範囲Ｅ_f）の色ヒストグラムが作成される。
同様に、ＣＰＵ１５は、電球グループ（色範囲Ｅ_l）に含まれる各小領域を、その色によりさらに細かい小グループｅ₁，ｅ₂，ｅ₃，…に分類する。この分類の結果、図３（Ｃ）に示すとおり、電球グループ（色範囲Ｅ_l）の色ヒストグラムが作成される。

なお、本ステップにおける小グループへの分類は、ステップＳ１６における大きなグループへの分類と同時に行われてもよいが、ここでは、説明上、両者の分類が順番に行われることとした。
続いて、ＣＰＵ１５は、自然光グループのヒストグラム（図３（Ａ））から、領域数Ｆが第１位の第１小グループｅ_n1と、領域数Ｆが第２位の第２小グループｅ_n2とを見出し、第１小グループｅ_n1の色Ｃ_n1と、第２小グループｅ_n2の色Ｃ_n2とをそれぞれ算出する。第１小グループｅ_n1の色Ｃ_n1は、第１小グループｅ_n1に属する小領域の平均色であり、第２小グループｅ_n2の色Ｃ_n2は、第２小グループｅ_n2に属する小領域の平均色である。

そして、ＣＰＵ１５は、第１小グループｅ_n1の色Ｃ_n1と、第２小グループｅ_n2の色Ｃ_n2とを下式（１ｎ）で加重平均し、それによって得られた加重平均色Ｃ_nを、撮影時に被写界を照明した自然光の照明色とみなす（図３（Ａ’）参照）。
Ｃ_n＝Ｗ_n1Ｃ_n1＋Ｗ_n2Ｃ_n2 …（１ｎ）
但し、式（１ｎ）において、色Ｃ_n，Ｃ_n1，Ｃ_n2は、それぞれ２つの成分を持ったベクトルであり、加重Ｗ_n1，Ｗ_n2は、それぞれスカラーである。以下、色を表す２つの成分を、色温度成分（単位：ミレッド）と、黒体軌跡からの乖離成分との組み合わせとする。

また、加重Ｗ_n1，Ｗ_n2は、第１小グループｅ_n1の輝度Ｙ_n1及び領域数Ｆ_n1と、第２小グループｅ_n2の輝度Ｙ_n2及び領域数Ｆ_n2とに応じて設定される。
具体的に、第１小グループｅ_n1の色Ｃ_n1に付与すべき加重Ｗ_n1は、第１小グループｅ_n1の輝度Ｙ_n1が高いほど、また、第１小グループｅ_n1の領域数Ｆ_n1が多いほど、大きく設定される。

また、第２小グループｅ_n2の色Ｃ_n2に付与すべき加重Ｗ_n2は、第２小グループｅ_n2の輝度Ｙ_n2が高いほど、また、第２小グループｅ_n2の領域数Ｆ_n2が多いほど、大きく設定される。
したがって、本ステップで推定される自然光の照明色Ｃ_nには、自然光グループのうち、高輝度かつ多数派の小領域の色が反映される。

なお、上述した第１小グループｅ_n1の輝度Ｙ_n1は、第１小グループｅ_n1に属する小領域の平均輝度であり、第１小グループｅ_n1の領域数Ｆ_n1は、第１小グループｅ_n1に属する小領域の総数であり、第２小グループｅ_n2の輝度Ｙ_n2は、第２小グループｅ_n2に属する小領域の平均輝度であり、第２小グループｅ_n2の領域数Ｆ_n2は、第２小グループｅ_n2に属する小領域の総数である。

同様に、ＣＰＵ１５は、蛍光灯グループのヒストグラム（図３（Ｂ））から、領域数Ｆが第１位の第１小グループｅ_f1と、領域数Ｆが第２位の第２小グループｅ_f2とを見出し、第１小グループｅ_f1の色Ｃ_f1と、第２小グループｅ_f2の色Ｃ_f2とをそれぞれ算出する。第１小グループｅ_f1の色Ｃ_f1は、第１小グループｅ_f1に属する小領域の平均色であり、第２小グループｅ_f2の色Ｃ_f2は、第２小グループｅ_f2に属する小領域の平均色である。

そして、ＣＰＵ１５は、第１小グループｅ_f1の色Ｃ_f1と、第２小グループｅ_f2の色Ｃ_f2とを下式（１ｆ）で加重平均し、それによって得られた加重平均色Ｃ_fを、撮影時に被写界を照明した蛍光灯の照明色とみなす（図３（Ｂ’）参照）。
Ｃ_f＝Ｗ_f1Ｃ_f1＋Ｗ_f2Ｃ_f2 …（１ｆ）
但し、式（１ｆ）において、色Ｃ_f，Ｃ_f1，Ｃ_f2は、それぞれ２つの成分を持ったベクトルであり、加重Ｗ_f1，Ｗ_f2は、それぞれスカラーである。

また、加重Ｗ_f1，Ｗ_f2は、第１小グループｅ_f1の輝度Ｙ_f1及び領域数Ｆ_f1と、第２小グループｅ_f2の輝度Ｙ_f2及び領域数Ｆ_f2とに応じて設定される。
具体的に、第１小グループｅ_f1の色Ｃ_f1に付与すべき加重Ｗ_f1は、第１小グループｅ_f1の輝度Ｙ_f1が高いほど、また、第１小グループｅ_f1の領域数Ｆ_f1が多いほど、大きく設定される。

また、第２小グループｅ_f2の色Ｃ_f2に付与すべき加重Ｗ_f2は、第２小グループｅ_f2の輝度Ｙ_f2が高いほど、また、第２小グループｅ_f2の領域数Ｆ_f2が多いほど、大きく設定される。
したがって、本ステップで推定される蛍光灯の照明色Ｃ_fには、蛍光灯グループのうち、高輝度かつ多数派の小領域の色が反映される。

なお、上述した第１小グループｅ_f1の輝度Ｙ_f1は、第１小グループｅ_f1に属する小領域の平均輝度であり、第１小グループｅ_f1の領域数Ｆ_f1は、第１小グループｅ_f1に属する小領域の総数であり、第２小グループｅ_f2の輝度Ｙ_f2は、第２小グループｅ_f2に属する小領域の平均輝度であり、第２小グループｅ_f2の領域数Ｆ_f2は、第２小グループｅ_f2に属する小領域の総数である。

同様に、ＣＰＵ１５は、電球グループのヒストグラム（図３（Ｃ））から、領域数Ｆが第１位の第１小グループｅ_l1と、領域数Ｆが第２位の第２小グループｅ_l2とを見出し、第１小グループｅ_l1の色Ｃ_l1と、第２小グループｅ_l2の色Ｃ_l2とをそれぞれ算出する。第１小グループｅ_l1の色Ｃ_l1は、第１小グループｅ_l1に属する小領域の平均色であり、第２小グループｅ_l2の色Ｃ_l2は、第２小グループｅ_l2に属する小領域の平均色である。

そして、ＣＰＵ１５は、第１小グループｅ_l1の色Ｃ_l1と、第２小グループｅ_l2の色Ｃ_l2とを下式（１ｌ）で加重平均し、それによって得られた加重平均色Ｃ_lを、撮影時に被写界を照明した電球の照明色とみなす（図３（Ｂ’）参照）。
Ｃ_l＝Ｗ_l1Ｃ_l1＋Ｗ_l2Ｃ_l2 …（１ｌ）
但し、式（１ｌ）において、色Ｃ_l，Ｃ_l1，Ｃ_l2は、それぞれ２つの成分を持ったベクトルであり、加重Ｗ_l1，Ｗ_l2は、それぞれスカラーである。

また、加重Ｗ_l1，Ｗ_l2は、第１小グループｅ_l1の輝度Ｙ_l1及び領域数Ｆ_l1と、第２小グループｅ_l2の輝度Ｙ_l2及び領域数Ｆ_l2とに応じて設定される。
具体的に、第１小グループｅ_l1の色Ｃ_l1に付与すべき加重Ｗ_l1は、第１小グループｅ_l1の輝度Ｙ_l1が高いほど、また、第１小グループｅ_l1の領域数Ｆ_l1が多いほど、大きく設定される。

また、第２小グループｅ_l2の色Ｃ_l2に付与すべき加重Ｗ_l2は、第２小グループｅ_l2の輝度Ｙ_l2が高いほど、また、第２小グループｅ_l2の領域数Ｆ_l2が多いほど、大きく設定される。
したがって、本ステップで推定される自然光の照明色Ｃ_lには、電球グループのうち、高輝度かつ多数派の小領域の色が反映される。

なお、上述した第１小グループｅ_l1の輝度Ｙ_l1は、第１小グループｅ_l1に属する小領域の平均輝度であり、第１小グループｅ_l1の領域数Ｆ_l1は、第１小グループｅ_l1に属する小領域の総数であり、第２小グループｅ_l2の輝度Ｙ_l2は、第２小グループｅ_l2に属する小領域の平均輝度であり、第２小グループｅ_l2の領域数Ｆ_l2は、第２小グループｅ_l2に属する小領域の総数である。

（ステップＳ１８）
ＣＰＵ１５は、図４に示すとおり、ステップＳ１７で推定した自然光の照明色Ｃ_nと、蛍光灯の照明色Ｃ_fと、電球の照明色Ｃ_lとを下式（２）で加重平均し、それによって得られた加重平均色Ｃを、撮影時における被写界の照明色とみなす。
Ｃ＝Ｗ_nＣ_n＋Ｗ_fＣ_f＋Ｗ_lＣ_l …（２）
但し、式（２）において、色Ｃ，Ｃ_n，Ｃ_f，Ｃ_lは、それぞれ２つの成分を持ったベクトルであり、加重Ｗ_n，Ｗ_f，Ｗ_lは、それぞれスカラーである。

また、加重Ｗ_n，Ｗ_f，Ｗ_lは、自然光グループの輝度Ｙ_n及び領域数Ｆ_nと、蛍光灯グループの輝度Ｙ_f及び領域数Ｆ_fと、電球グループの輝度Ｙ_l及び領域数Ｆ_lと、ステップＳ１３における最新の判定結果（人工光／自然光）とに応じて設定される。
具体的に、自然光グループの加重Ｗ_nは、自然光グループの輝度Ｆ_nが高いほど、また、自然光グループの領域数Ｆ_nが多いほど、また、判定結果が「自然光」であるときほど、大きく設定される。

また、蛍光灯グループの加重Ｗ_fは、蛍光灯グループの輝度Ｆ_fが高いほど、また、蛍光灯グループの領域数Ｆ_fが多いほど、また、判定結果が「人工光」であるときほど、大きく設定される。
また、電球グループの加重Ｗ_lは、電球グループの輝度Ｆ_lが高いほど、また、電球グループの領域数Ｆ_kが多いほど、また、判定結果が「人工光」であるときほど、大きく設定される
なお、ここでは、自然光グループの輝度Ｙ_nを、自然光グループの第１小グループｅ_n1の輝度Ｙ_n1とし、自然光グループの領域数Ｆ_nを、自然光グループの第１小グループｅ_n1の領域数Ｆ_n1とする。また、蛍光灯グループの輝度Ｙ_fを、蛍光灯グループの第１小グループｅ_f1の輝度Ｙ_f1とし、蛍光灯グループの領域数Ｆ_fを、蛍光灯グループの第１小グループｅ_f1の領域数Ｆ_f1とする。また、電球グループの輝度Ｙ_lを、電球グループの第１小グループｅ_l1の輝度Ｙ_l1とし、電球グループの領域数Ｆ_lを、電球グループの第１小グループｅ_l1の領域数Ｆ_l1とする（ステップＳ１８の説明終了）。

以上、本システムのＣＰＵ１５は、撮影画像Ｉ中の無彩色の小領域を、その色により複数のグループに分類すると共に（ステップＳ１６，Ｓ１７）、自然光の照明色Ｃ_nと、蛍光灯の照明色Ｃ_fと、電球の照明色Ｃ_lとをそれぞれ推定し（ステップＳ１７）、それら照明色Ｃ_n，Ｃ_f，Ｃ_lの加重平均色Ｃを、撮影時における被写界の照明色とみなす（ステップＳ１８）。そして、ＣＰＵ１５は、照明色Ｃ_n，Ｃ_f，Ｃ_lの加重Ｗ_n，Ｗ_f，Ｗ_lを、各グループの輝度Ｙ_n，Ｙ_f，Ｙ_lと、各グループの領域数Ｆ_n，Ｆ_f，Ｆ_lとの双方に応じて設定する。

図５は、撮影時に被写界を照明する各照明光の支配度の一例を示す図である。図５の色平面は、各照明光の照明色を示している。色平面上の距離が短いほど、照明色の相関が高いことを示す。また、図５の縦軸は、各照明光の支配度、すなわち、被照明物体のサイズと輝度とを総合した値を示している。縦軸方向の高さが高いほど、支配度が強いことを示す。

本システムにおいて算出される被写界の照明色Ｃ（以下、「算出照明色Ｃ」と称す。）は、図５中に×印を付したように、各照明光の照明色Ｃ_n，Ｃ_f，Ｃ_lの中間色であり、しかも、支配度が１位である照明光（図では自然光）の照明色Ｃ_nとの相関が最も高く、支配度が２位である照明光（図では蛍光灯）の照明色Ｃ_fとの相関が次に高く、支配度が３位である照明光（図では電球）の照明色Ｃ_lとの相関が最も低くなる傾向にある。つまり、複数種類の照明光の各々の支配度が、算出照明色Ｃに対して的確に反映される。

例えば、図３上部に示したように、被写界中に、夕焼けで照らされた比較的大きな白い船と、蛍光灯で照らされた比較的大きな灰色のビルとが存在し、両者のサイズが同程度であり、かつ、前者の方が高輝度であったとする。このとき、被写界における支配度は、船の方が高い。この場合、本システムのホワイトバランス処理は、支配度の高い白い船をより白く再現する方向に働く。このように白い船の支配度が高ければ、ユーザも白い船を重要視している可能性が高いので、このホワイトバランス処理にユーザが満足する可能性も高い。

さらに、本システムのＣＰＵ１５は、ステップＳ１８において、照明色Ｃ_n，Ｃ_f，Ｃ_lの加重Ｗ_n，Ｗ_f，Ｗ_lに対し、撮影直前の照明判定（ステップＳ１３）の結果をも反映させる。したがって、撮影直前の被写界に大幅な変化（大きな物体が横切る等）が無い限り、ホワイトバランス制御に成功する確率は、より高まる。
なお、本システムのＣＰＵ１５は、ステップＳ１８において、自然光グループの輝度Ｙ_nを、自然光グループに属する第１小グループｅ_n1の輝度Ｙ_n1としたが、第１小グループｅ_n1の輝度Ｙ_n1と第２小グループｅ_n2の輝度Ｙ_n2とを両者の領域数Ｆ_n1，Ｆ_n2で加重平均したものとしてもよい。その場合、蛍光灯グループの輝度Ｙ_fは、第１小グループｅ_f1の輝度Ｙ_f1と第２小グループｅ_f2の輝度Ｙ_f2とを両者の領域数Ｆ_f1，Ｆ_f2で加重平均したものとなる。また、電球グループの輝度Ｙ_lは、第１小グループｅ_l1の輝度Ｙ_l1と第２小グループｅ_l2の輝度Ｙ_l2とを両者の領域数Ｆ_l1，Ｆ_l2で加重平均したものとなる。

また、本システムのＣＰＵ１５は、ステップＳ１８において、自然光グループの領域数Ｆ_nを、自然光グループに属する第１小グループｅ_n1の領域数Ｆ_n1としたが、自然光グループの総領域数としてもよい。その場合、蛍光灯グループの領域数Ｆ_fは、蛍光灯グループの総領域数となり、電球グループの領域数Ｆ_lは、電球グループの総領域数となる。
また、本システムのＣＰＵ１５は、照明色Ｃ_n，Ｃ_f，Ｃ_lを加重平均してからホワイトバランスゲインを算出したが、照明色Ｃ_n，Ｃ_f，Ｃ_lの各々に最適なホワイトバランスゲインを算出してから、それらを加重平均してもよい。その加重平均の加重の設定を、前述した設定と同様に行えば、同じ効果を得ることができる。

また、本システムのＣＰＵ１５は、カードメモリ１８Ａへ記録する情報を、ホワイトバランス処理後の撮影画像信号としたが、ホワイトバランス処理前の撮影画像信号にホワイトバランスゲインの情報を付加したものとしてもよい。
また、本システムのＣＰＵ１５は、以下の各処理の幾つかを実行し、ホワイトバランス制御の成功率を更に向上させてもよい。
（１）撮影画像Ｉに対し顔認識処理を施し、撮影画像Ｉ中に人物が存在するか否かを判定する。人物が存在した場合には、その存在領域やその周辺領域の色に基づき、その人物の照明色を判定し、さらに、その照明色の属する小グループを調べる。ステップＳ１７におけるヒストグラムの作成では、その小グループの領域数を大きめに計上する。
（２）（１）と同じ手順で人物の照明色を判定し、さらに、その照明色の属する大きなグループ（自然光グループ、蛍光灯グループ、電球グループ）を調べる。ステップＳ１８における加重の設定では、その大グループに対応する加重を、大きめに設定する。
（３）撮影情報（スポット測光エリア、ＡＦ測距点の位置など）に基づき、撮影画像Ｉにおける主要被写体位置を推定する。そして、その主要被写体やその周辺領域の色に基づき、その主要被写体の照明色を判定し、さらに、その照明色の属する小グループを調べる。ステップＳ１７におけるヒストグラムの作成では、その小グループの領域数を大きめに計上する。
（４）（３）と同じ手順で主要被写体の照明色を判定し、さらに、その照明色の属する大きなグループ（自然光グループ、蛍光灯グループ、電球グループ）を調べる。ステップＳ１８における加重の設定では、その大グループに対応する加重を大きめに設定する。
（５）撮影情報に基づき、被写界における主要被写体の輝度を認識する。そして、その輝度が所定の閾値以上であるか否か判定する。その輝度が閾値以上であった場合、ステップＳ１７における自然光グループのヒストグラムの作成では、色温度の高い小グループの領域数を、少なめに計上する。
（６）（５）と同じ手順で主要被写体の輝度を認識する。そして、ステップＳ１８における各加重の設定では、各加重を、その輝度に応じて調節する。具体的には、主要被写体の輝度が所定の閾値以上であったときには、自然光グループに対応する加重を大きめに設定し、輝度が所定の閾値未満であったときには、人工光グループ（蛍光灯グループ及び電球グループ）に対応する加重を大きめに設定する。

［第２実施形態］
以下、本発明の第２実施形態を説明する。本実施形態も、ディジタルカメラシステムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。
図６は、本実施形態のホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。図６に点線で示すとおり、第１実施形態との相違点は、ステップＳ１８とステップＳ１９との間に、算出照明色Ｃの色温度成分にリミッタをかける手順（ステップＳ１８’）が挿入された点にある。

図７は、ステップＳ１８’を説明する概念図である。
一般的に、算出照明色の色温度成分にリミッタをかける場合、その照明種類が自然光であるときには、図７（Ａ）に示すような自然光用のリミッタ特性（但し、リミット範囲は、被写体輝度によって異なる。）を使用し、その照明種類が蛍光灯であるときには、図７（Ｂ）に示すような蛍光灯用のリミッタ特性（但し、リミット範囲は、被写体輝度によって異なる。）を使用し、その照明種類が電球であるときには、図７（Ｃ）に示すような電球用のリミッタ特性（但し、リミット範囲は、被写体輝度によって異なる。）を使用する。これらの図７（Ａ），（Ｂ），（Ｃ）に明らかなとおり、被写体輝度が同じであっても、自然光と、蛍光灯と、電球との間では、リミット範囲（Ｔ_min，Ｔ_max）が互いに異なる。

本実施形態のＣＰＵ１５は、予め、これら３種類のリミッタ特性をそれぞれ認識している。そして、ステップＳ１８’において、ＣＰＵ１５は、これら３種類のリミッタ特性を加重平均し、それによって得られる特性をリミッタ特性として、算出照明色Ｃの色温度成分にリミッタをかける。その加重平均では、自然光用のリミッタ特性の加重、蛍光灯用のリミッタ特性の加重、電球用のリミッタ特性の加重を、それぞれステップＳ１８で設定した加重Ｗ_n，Ｗ_f，Ｗ_lと同等に設定する。

但し、リミッタ特性の全てを加重平均すると演算量が増えるので、実際の動作は、次のとおり行われる。
すなわち、ＣＰＵ１５は、先ず、撮影情報から認識した主要被写体の輝度Ｙ₀に応じて自然光用のリミッタ特性（図７（Ａ））を参照し、輝度Ｙ₀に対応するリミット範囲（Ｔ_nmin ，Ｔ_nmax）を認識する。また、その輝度Ｙ₀に応じて蛍光灯用のリミッタ特性（図７（Ｂ））を参照し、輝度Ｙ₀に対応するリミット範囲（Ｔ_fmin，Ｔ_fmax）を認識する。また、輝度Ｙ₀に応じて電球用のリミッタ特性（図７（Ｃ））を参照し、輝度Ｙ₀に対応するリミット範囲（Ｔ_lmin，Ｔ_lmax）を認識する。

ＣＰＵ１５は、それらのリミット範囲（Ｔ_nmin ，Ｔ_nmax），（Ｔ_fmin，Ｔ_fmax），（Ｔ_lmin，Ｔ_lmax）を式（３）で加重平均し、リミット範囲（Ｔ_min，Ｔ_max）を得る（図７（Ｄ）参照）。
Ｔ_max＝Ｗ_nＴ_nmax＋Ｗ_fＴ_fmax＋Ｗ_lＴ_lmax
Ｔ_min＝Ｗ_nＴ_nmin＋Ｗ_fＴ_fmin＋Ｗ_lＴ_lmin …（３）
なお、式（３）は、色温度Ｔ_max，Ｔ_nmax，Ｔ_lmax，Ｔ_min，Ｔ_nmin，Ｔ_fmin，Ｔ_lminの単位が、式（２）における色Ｃ，Ｃ_n，Ｃ_f，Ｃ_lの色温度成分の単位（ここでは、ミレッド）と同じであることを前提とした。この場合、式（３）における加重Ｗ_n，Ｗ_f，Ｗ_lの値は、式（２）における加重Ｗ_n，Ｗ_f，Ｗ_lの値と同じになる。しかし、単位を変えた場合は、加重Ｗ_n，Ｗ_f，Ｗ_lの値も変える必要がある。

そして、ＣＰＵ１５は、取得したリミット範囲（Ｔ_min，Ｔ_max）と、算出照明色Ｃの色温度成分とを比較し、その色温度成分が下限値Ｔ_minを下回っていた場合は、その色温度成分の値を下限値Ｔ_minと同じ値に置換（クリップ）し、上限値Ｔ_maxを上回っていた場合は、その色温度成分の値を上限値Ｔ_maxと同じ値に置換（クリップ）する（ステップＳ１８’の説明終了）。

以上、本実施形態によれば、自然光用のリミッタ特性（図７（Ａ））と、蛍光灯用のリミッタ特性（図７（Ｂ））と、電球用のリミッタ特性（図７（Ｃ））とを加重平均し、しかも、その加重を、ステップＳ１８で設定した加重と同じに設定するので、複数種類の照明光の各々の支配度が、リミット範囲（Ｔ_min，Ｔ_max）に対しても的確に反映される。したがって、ホワイトバランス処理が失敗に終わる可能性は、より小さく抑えられる。

なお、本実施形態のＣＰＵ１５は、リミットの対象を、算出照明色Ｃの色温度成分のみとしたが、色温度成分と乖離成分との双方としてもよい。
［その他の実施形態］
なお、上述した実施形態では、一眼レフレックスタイプのディジタルカメラ（少なくともクイックリターンミラーと被写体監視用のカラー撮像素子とを搭載。）を説明したが、コンパクトタイプのディジタルカメラ（クイックリターンミラーと被写体監視用のカラー撮像素子とを非搭載。）にも、本発明は適用可能である。その場合、撮影前画像信号の取得と、撮影画像信号の取得との双方を、画像撮影同一のカラー撮像素子（画像撮影用のカラー撮像素子）によって行うことになる。

本システムの構成図である。 第１実施形態のホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。 ステップＳ１６，Ｓ１７を説明する図である。 ステップＳ１８を説明する図である。 撮影時に被写界を照明する各照明光の支配度の一例を示す図である。 第２実施形態のホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。 ステップＳ１８’を説明する概念図である。

符号の説明

１…ディジタルカメラ本体、２…交換レンズ，１１…クイックリターンミラー，１３…シャッタ，１２…画像撮影用のカラー撮像素子，１３…シャッタ，２０…測光部，１５…ＣＰＵ

Claims (8)

1. 被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類部と、
   前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出部と、
   前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット部と、
   を含むカラー撮像装置であって、
   前記算出部は、
   前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、
   前記リミット部は、
   前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行う
   ことを特徴とするカラー撮像装置。
2. 請求項１に記載のカラー撮像装置において、
   前記算出部は、
   前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定する
   ことを特徴とするカラー撮像装置。
3. 請求項１又は請求項２に記載のカラー撮像装置において、
   前記算出部は、
   前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定する
   ことを特徴とするカラー撮像装置。
4. 請求項１〜請求項３の何れか一項に記載のカラー撮像装置において、
   前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理部を更に含む
   ことを特徴とするカラー撮像装置。
5. 被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類手順と、
   前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出手順と、
   前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット手順と、
   を含む画像処理プログラムであって、
   前記算出手順では、
   前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、
   前記リミット手順では、
   前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行う
   ことを特徴とする画像処理プログラム。
6. 請求項５に記載の画像処理プログラムにおいて、
   前記算出手順では、
   前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定する
   ことを特徴とする画像処理プログラム。
7. 請求項５又は請求項６に記載の画像処理プログラムにおいて、
   前記算出手順では、
   前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定する
   ことを特徴とする画像処理プログラム。
8. 請求項５〜請求項７の何れか一項に記載の画像処理プログラムにおいて、
   前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理手順を更に含む
   ことを特徴とする画像処理プログラム。

Images