JP4956581B2 - 撮像装置、撮像装置のホワイトバランス処理方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、複数種類の色フィルタを有する撮像素子を具備し、撮像信号の色合いに関する設定機能を有する撮像装置に関するものである。

従来、撮像装置において利用者が色合いに関する設定を行う例として、デジタルカメラにおけるホワイトバランス（以下、ＷＢとする）補正の設定方法について説明する。

従来のデジタルカメラにおいて、利用者が行うＷＢ補正に関する設定には、大別して、オートホワイトバランス（以下、ＡＷＢとする）モードとマニュアルモードの設定がある。前者のＡＷＢモードを設定すると、自動で光源または色温度を判定し、それに応じてＷＢ補正を行う。また、後者のマニュアルモードを設定すると、電球・蛍光灯といった光源を指定する方法や色温度を指定することによって所定のＷＢ補正を行う。更には、マニュアルモードを用いると光源自動判別が難しいシーンやあえて異なる色温度設定することもできる。

次に、上述したＡＷＢを行う手法について述べる。

色温度の変化に応じたＷＢ補正を自動で行う手法として、画像データから無彩色と見えるべき領域を判別（以下、無彩色判別処理）し、該判別領域が無彩色になるようにＷＢ補正を行う手法（第１の手法）や、撮像データ全体の撮像信号を各色成分毎に平均化し、該平均値を用いてＷＢ補正を行う手法（第２の手法）がある。尚、無彩色の判別には、所定の色度平面上において、無彩色と見えるべき領域を無彩色判別範囲として、その無彩色判別範囲内であるか否かを判別することにより無彩色と見えるべき領域の判別を行う。

しかしながら、上述したの第１の手法においては、撮像素子等から得られる映像信号中に無彩色に見えるべき物体（被写体）の画像データ内に占める領域（以下、単に領域とする）が十分に大きい場合には有効であるが、無彩色に見えるべき物体（被写体）の領域が無い場合や、領域があっても非常に小さい場合には、精度良くＷＢ補正を行うことは難しい。

また、無彩色に見えるべき物体の領域が大きく判別できたとしても、例えば、低色温度下の無彩色と高色温度下の肌色や、高色温度下の無彩色と低色温度下の青などは、お互いに無彩色判別処理の結果が近くなり、誤判別した無彩色判別を行う場合もある。特に、無彩色判別範囲を広めに設定を行った場合、広い範囲の光源に対してＡＷＢが対応可能になるが、その反面、上述したような無彩色判別処理の結果が近い場合において誤判別するケースが増える。

例えば、無彩色蛍光灯などは太陽光源に比べてグリーン成分が強い。そこで、色度図においてグリーン方向に対して広めに追従可能（＝無彩色判別範囲を広め）に設定することで、ほとんどの蛍光灯においてＡＷＢが追従されるが、逆に薄い色の芝生などにおいて蛍光灯であると誤判別してしまい、正確なＷＢ補正ができなくなる。逆に、追従範囲を狭めてしまうと、様々な光源に対して追従ができなくなる。

また、上述した第２の手法では、画像データ中の色成分を積分してその値を無彩色とするので、例えば夕焼けのシーンなど特定色に偏っている場合に、積分により求めた平均値に示される色が無彩色では無いのに、積分値を無彩色と判断してしまうので大幅な誤判別となってしまうといった問題点が指摘されている。

それに対し、上述した第１の手法および第２に手法の両手法を併用する第３の手法や、別途被写体の明るさの情報を用いて光源の色温度を推定する第４の手法が提案されている。

例えば、被写体の明るさを検出する検出手段と、少なくとも低色温度の被写体に対しホワイトバランスの補正範囲を制限する制限手段と、制限されたホワイトバランス補正範囲を前記検出手段の出力に応じて、暗いとき広げるよう変化させる補正範囲可変手段とを有する撮像装置について提案されている（例えば、特許文献１参照）。つまり、被写体が比較的明るい場合には、屋外である確率が高いと予測し屋外用の太陽光源としてホワイトバランス補正を行い、暗くなる毎に曇りや日陰、さらに暗くなると電球・蛍光灯といった屋内光源をＡＷＢ追従範囲（無彩色判別範囲）として組み入れるといった手法である。このような手法をとることによって、撮影状況に応じて記憶色や経験に基づく人間の感覚に近い色合いに自動的にホワイトバランスを補正することができる。

しかしながら、前記第３および第４の手法によって上記第１および第２の手法における問題はある程度軽減されるが、光源を判別できているわけではないので根本的な解決にはならない。

特開平７−２３４００号公報

つまりあらかじめ想定されている光源・環境の範囲であれば対応可能であるが、その想定範囲から外れるにしたがって適正なＷＢ補正を行うことができなくなる。例えば、非常に明るい電球光源下や、暗い場所で薄いグリーンなどを撮影した場合などではＡＷＢがうまく機能しないシステムとなってしまうという問題点がある。

また、ＷＢ補正を完全に光源の変化に対して追従させたい場合と、逆にあまり追従せずにＷＢ補正を行いその場の雰囲気を残すように描写したい場合とがあり、その選択は撮影者の好みや意図によっても異なる。例えば、電球光源下において、赤みを残した描写と完全にＷＢ補正した描写とは、撮影シーンに応じて両者共に良く用いられる。このように、最適な想定光源の追従範囲を決定することは困難であり、また撮影者の意図によっても異なるため、利用者にとって最適なＷＢ補正の設定を一律に求めることは非常に困難であるという問題点がある。また、従来、このＷＢ補正の設定を利用者が色味として視覚的に確認することは出来なかった。

また、撮像信号の色合い（色相）に関する設定を行う際に、例えば、ＲＧＢ空間であれば、ＲＧＢの各々独立したパラメータを利用者が設定する場合には、ＲＧＢ設定値を視覚的に捉えることが出来ないため、最適なカラーバランスを求めるのは困難である。また、ヒストグラム表示のように撮像画像の色合いを確認する際においても、ＲＧＢの各々独立したレベルを見るだけでは全体のカラーバランスを視覚的に把握することが出来ない。

上述した問題点を解決するために、本発明の撮像装置は、被写体からの光を撮像信号に変換する撮像素子と、前記撮像信号を処理する信号処理回路を有する撮像装置であって、利用者の操作入力に応じてホワイトバランスの追従強度を設定する追従強度設定手段と、前記追従度設定手段において設定された追従強度に応じて無彩色判別範囲を設定し、設定した無彩色判別範囲に基づいて前記撮像信号に対するホワイトバランス処理を行うホワイトバランス処理手段と、を具備することを特徴とする。

ホワイトバランスの無彩色判別範囲を設定するための追従強度に関する表示を行うので、利用者は好みや意図、場所に応じた最適な色合いの設定をすることが可能となる。

本発明の一実施形態における撮像装置の概略構成を示すブロック図である。 図１に示した撮像素子１０１の有する色フィルタの配列例を示す図である。 図１に示した撮像装置１００に表示されるＡＷＢ追従強度の選択画面例を示す図である。 本実施形態の色度図例および追従強度に応じた無彩色判別領域例を示す図である。 図１に示した撮像装置１００における追従範囲パラメータ決定の処理を示すフロー図である。 図１に示した信号処理回路１０２の内部構成例を示す図である。 図６に示したＷＢ回路５０２の詳細な構成を示した図である。 色評価値Ｅｘ、Ｅｙを横軸、縦軸とする色度図および複数種類の光源の座標を示す図である。 追従範囲決定回路５１２による色度図上の追従範囲（無彩色判別範囲）を設定する追従範囲パラメータ例を示す図である。 本実施形態におけるＡＷＢ追従範囲指定画面を表した例を示す図である。

＜第１の実施形態＞
（プリセット追従範囲の選択）
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。

図１において、１００は、撮像装置であり、具体的にはディジタルスチルカメラ等である。撮像装置１００は、複数の色フィルタを有する撮像素子を利用しているため、光源の違いによる色調の変化を自動補正するオートホワイトバランス（以下、ＡＷＢとする）機能を具備する。以下に、撮像装置１００の内部構成について説明する。

１０１は、撮像素子であり、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳセンサなどであり、各画素上に色フィルターを有する。図２に、撮像素子１０１の有する色フィルタの配列例を示す。図２に示すように撮像素子１０１の有する色フィルタは、Ｒ、Ｇ１、Ｒ、Ｇ１、…（以下、Ｒ行とする）の次の行がＧ２、Ｂ、Ｇ２、Ｂ、…（以下、Ｂ行とする）であり、その次の行は再びＲ行で次はＢ行と繰り返す配列である原色ベイヤ型フィルタ配列である。以上の構成により撮像素子１０１は、色フィルタを通過した光量に応じた撮像信号（ディジタル信号）を出力する。尚、撮像素子１０１は、必要であればＡ／Ｄ変換回路などを具備することで、ディジタル信号である撮像信号を出力する。

１０２は、信号処理回路であり、撮像素子１０１から出力される撮像信号を処理して画像データを生成する。また、信号処理回路１０２は、ＡＷＢ処理を行う機能も有する。尚、信号処理回路１０２の詳細な構成については後述する。１０３は、バッファメモリであり、信号処理回路１０２が出力する画像データを格納する。１０４は、圧縮回路であり、バッファメモリ１０３より画像データを読み出して、所定の圧縮方式で画像データを圧縮した圧縮画像を出力する。尚、所定の圧縮方式とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などであり、この時、圧縮回路１０４は画像データを圧縮したＪＰＥＧ画像（圧縮画像）を出力する。

また、画像記録が行われる場合には、圧縮回路１０４が出力する圧縮画像を、記録装置１０５が、記録媒体１０６に記録する処理を行う。また、ＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）時など画像記録を行わない場合にはバッファメモリ１０３に蓄えられた画像データは、表示制御回路１０８に入力される。表示制御回路１０８は、画像データをモニタ表示装置用に画像変換する。１０９は、Ｄ／Ａ変換器であり、表示制御回路１０８の出力するモニタ表示装置用のディジタル画像信号をＤ／Ａ（ディジタル／アナログ）変換した画像信号（アナログ）を出力する。１１０は、表示手段としてのモニタ装置であり、Ｄ／Ａ変換器１０９の出力する画像信号を基に画像を表示する。

１１１は、システムコントローラであり、圧縮回路１０４や記録装置１０５や表示制御回路１０８や後述する追従範囲決定回路５１２の動作の制御や撮像装置１００内におけるデータの流れの制御を行う。１１２は、ユーザインタフェース手段としてのユーザインタフェースであり、撮像装置１００を操作する利用者が入力する各種設定に関する変更指令や表示制御回路１０８における表示処理等をシステムコントローラ１１１へ伝達する。１１３は、データメモリであり、システムコントローラ１１１が読み出して実行可能なプログラムや、システムコントローラ１１１で処理するための種々のデータを格納する。

５１２は、追従範囲決定回路であり、後述する色度図において無彩色判別範囲を定めるパラメータである追従範囲パラメータを決定する回路である。この追従範囲決定回路５１２により定まる追従範囲パラメータはＡＷＢ補正における追従範囲を示すパラメータにもなる。例えば、色度図において無彩色判別範囲を広く定める追従範囲パラメータは、追従範囲が広く様々な光源に対応したＡＷＢ処理を行う設定であることを示す。逆に、無彩色判別範囲を狭く定める追従範囲パラメータは、追従範囲が狭く少ない種類の光源に対応したＡＷＢ処理を行う設定であることを示す。

無彩色の判別は、例えば、縦軸がマゼンタから無彩色を経てグリーンへの色相の変化を示す評価値の軸であり、横軸が色温度の変化を示す評価値の軸である座標平面から求められる。

ここでは、黒体放射軸に関する表示には、例えば色度図等を用いる。色度図とは、所定の色空間、色再現領域で表される色を２次元上にマッピングして色を座標として視覚的に表現した図である。また、色度図の軸は、例えば、一方に色温度方向、直交するもう一方の軸はグリーン、マゼンタ方向である。他に色度図の表現は、色空間の色空間の多次元的な表示であっても良いし、軸のパラメータは、色温度方向ではなく、Ｒ―Ｂ方向としても良い。

種々の光源の色温度および色は、この色度図の座標上で黒体放射軸（カーブ）特性に基づいてプロットを行なうことで表現されるので黒体放射軸を表現可能な色度図が適している。

５１３は、追従範囲パラメータ候補であり、追従範囲決定回路５１２が決定する追従範囲パラメータの候補を格納する。尚、追従範囲決定回路５１２および追従範囲パラメータ候補５１３については詳細を後述する。

以上に示す構成により、撮像装置１００は、ホワイトバランスのとれた圧縮画像を記録媒体１０６に記録したり、ホワイトバランスのとれた画像をモニタ装置１１０に表示したりすることができる。また、撮像装置１００は、所定の追従範囲を設定することで、設定された追従範囲に応じたＡＷＢ補正を行うことができる。

次に、上述した撮像装置１００におけるＡＷＢ補正の設定処理について説明する。

まず、ユーザインタフェース１１２によるＷＢ補正の追従範囲の設定について説明する。図３は、図１に示した撮像装置１００に表示されるＡＷＢ追従範囲の選択画面例を示す図である。図３に示す、モニタ装置１１０に表示された画像において、３１は、ＡＷＢ補正時の追従範囲設定欄であり、“高色温側追従範囲“、“低色温度側追従範囲”、“グリーン側追従範囲”、“マゼンタ側追従範囲”の４種類の追従範囲より所望の追従範囲を選択することができる欄である。具体的には、不図示の撮像装置１００が具備するカーソルや選択ボタンによる選択やモニタ装置１１０がタッチパネルであれば利用者の画面上のタッチによる選択などにより所望の追従範囲を指定する。また、上述したユーザインタフェースはユーザインタフェース１１２の処理により実現する。

また、図３においては、追従範囲設定欄３１の表示と同時に、選択された追従範囲に応じたモニタ装置１１０に表示する画像の色調の変化も示している。尚、図３においては、被写体の背景は白であり、光源は電球であるとする。ここで、図３（ａ）においては、低色温度追従範囲が“４０００ｋ”と設定され、電球が追従範囲に含まないように設定されているので、電球光源下においてあまりＷＢ補正の追従がおこなわれず、赤みがかった色調の背景である画像が表示されている。また、図３（ｂ）においては、低色温度追従範囲が“２５００Ｋ”に設定されている例で、ＷＢ補正の追従が完全に行われており、白い背景の画像が表示されている。また、グリーン・マゼンタ方向の追従範囲は、ポジフィルムで撮影する際に蛍光灯の緑かぶりを補正するためのグリーン補正フィルタ・マゼンタ補正フィルタというものが存在し、補正の強さに応じた番号が存在している。本実施例では、その補正強度に相当する黒体放射からのずれを番号で示し、その数値を指定させることでグリーン・マゼンタ方向の追従範囲を設定する例である。

また上記追従範囲は、ユーザインターフェース画面で黒体放射軸を表すための色度図を表示することによって色度図上で設定される。例えば図４は、前記図３（ａ）（ｂ）（ｃ）の数値で指定した追従範囲をユーザインターフェース画面上で表現されたものである。図４（ａ）、（ｂ）、（ｃ）の色度図において、縦軸はグリーンから白を経てマゼンタまでの色度の変化を示し、横軸は色温度の変化を示す。また、図４の色度図には各種光源の名称と共に記されている。

図４（ａ）のように色度図をユーザインターフェース画面として単独で表示している場合は、操作スイッチ（不図示）によって撮影画像とユーザインタフェース画面（ａ）を切り替えて、撮影画像の変化を確認する。また（ｂ）のように撮影画像上に透過表示（ス−パーインポーズ）をさせてもよい。また、（ｃ）のように色度図とともに撮影画像を表示し、設定された追従範囲の変化を撮像画像に反映させて表示するようにしても良い。これにより、利用者は、追従範囲の設定に伴って撮影画像の色度の変化をリアルタイムに確認できるようになる。

次に、上述した図３に示すＡＷＢ追従強度の選択画面において利用者が任意の追従範囲を設定する場合の撮像装置１００における追従範囲パラメータ決定の動作について説明する。図５（Ａ）は、図１に示した撮像装置１００における追従範囲パラメータ決定の処理を示すフロー図である。尚、図５（Ａ）に示す撮像装置１００の動作は、利用者がユーザインタフェース１１２を操作する等により開始する。

まず、利用者がユーザインタフェース１１２を操作すると、図３に示すようなＡＷＢ追従範囲の選択画面をモニタ装置１１０に表示させる（ステップＳ１０１）。このとき、撮像状態である場合には撮影画像のＥＶＦ表示から選択画面に切り替えるようにする。これにより、利用者へ追従範囲の設定を促す。次に、図３の選択画面において追従範囲が設定されていない場合（ステップＳ１０２のＮＯ）には、設定されるまで選択画面の表示を維持する（ループ処理）。また、図３の設定画面において追従範囲が設定された場合（ステップＳ１０２のＹＥＳ）には、ユーザインタフェース１１２より、設定された追従範囲に関する設定情報がシステムコントローラ１１１に伝達される。次に、システムコントローラ１１１は、伝達された追従範囲に応じたＡＷＢ追従範囲設定信号を追従範囲決定回路５１２へ出力する（ステップＳ１０３）。

次に、追従範囲決定回路５１２は、追従範囲パラメータ候補５１３より追従範囲パラメータを参照することで、入力されたＡＷＢ追従範囲設定信号に応じた追従範囲パラメータを決定し、該追従範囲パラメータを信号処理回路１０２へ送信する（ステップＳ１０４）。以上により、撮像装置１００は、ＡＷＢ追従範囲の設定画面において利用者が設定した追従範囲に応じた追従範囲パラメータを設定することができる。これにより、撮像装置１００は、利用者より設定された追従範囲に応じた追従範囲パラメータを用いてＡＷＢ補正を行うことができる。

尚、上述した撮像装置１００の内部構成は一実施形態であり、複数種類の色フィルタを有する撮像素子１００および上述したＡＷＢの処理を行うための構成があれば他の構成は任意の構成でよい。また、上述した実施形態においては、追従範囲設定は４種類であったがこの限りではなく、任意の数の種類を追従範囲として設定してもよい。また、追従範囲は、無彩色判別範囲内で定義され、追従範囲に対応する色度図上の無彩色判別判別領域においても上述した限りではなく、種々の大きさや形の無彩色判別領域であってもよい。

次に、上述した撮像装置１００におけるＷＢ補正処理の詳細について以下に説明する。

まず、図１に示した信号処理回路１０２の内部構成について説明する。図６は、図１に示した信号処理回路１０２の内部構成例を示す図である。図６において、５０２はＷＢ（ホワイトバランス）回路であり、撮像素子１０１からの撮像信号を受信して、人間に白く見える被写体が撮像装置１００の出力する画像中においても白色となるようＷＢ補正を行う。この時、ＷＢ回路５０２は、追従範囲決定回路５１２より入力される追従範囲パラメータに応じたＷＢ補正を行う。次に、色信号作成回路５０３は、ＷＢ補正がなされた画像データを基に、色差信号Ｕ、Ｖを作成して出力する。また、輝度信号作成回路５０４は、ＷＢ補正がなされた画像データを基に、輝度信号Ｙを作成して出力する。以上に示すように、信号処理回路１０２は、ＷＢ回路５０２と色信号作成回路５０３と輝度信号作成回路５０４とから構成される。これにより、信号処理回路１０２は、追従範囲パラメータに応じてＷＢ補正されたＹＵＶ形式の画像データを出力することができる。

次に、図６に示したのＷＢ回路５０２の詳細な構成について説明する。図７は、図６に示したＷＢ回路５０２の詳細な構成を示した図である。図７において、５１０は、ＷＢ補正係数決定回路であり、撮像素子１０１が出力する撮像信号と、追従範囲決定回路５１２より入力される追従範囲パラメータとを基にＷＢ補正係数を算出し出力する。また、５１１は、ＷＢ制御回路であり、ＷＢ補正係数決定回路５１０が出力するＷＢ補正係数で撮像素子１０１が出力する撮像信号に対し、それぞれの色信号に対応するＷＢ補正係数を乗算して、ＷＢ補正後の画像データを出力する。以上に示すように、ＷＢ回路５０２はＷＢ補正係数決定回路５１０とＷＢ制御回路５１１とから構成される。これにより、ＷＢ回路５０２は、撮像素子１０１からの撮像信号を基に、追従範囲パラメータに応じたＷＢ補正後の画像データを出力することができる。ＷＢ補正後の画像データは、モニタ装置１１０に出力されることにより、利用者は画像を確認することができる。

次に、上述した追従範囲パラメータについて説明する。本実施形態においては、利用者により設定される上述した追従範囲に応じて色度図における無彩色判別範囲を追従範囲パラメータの値に応じて変化させる。ここで、色度図および無彩色判別範囲について具体例を説明する。

図４に示した色度図の縦軸において、グリーンから白を経てマゼンタまでの色度の変化を、色評価値Ｅｙで表すことができる。また色度図の横軸において、色温度の変化を、色評価値Ｅｘで表すことができる。撮像素子１０１の色フィルタは図２に示した原色ベイヤ型フィルタ配列されている場合は、色評価値Ｅｘ、Ｅｙは以下の式で定義される。
Ｅｘ＝（Ｒ−Ｂ）／Ｙ
Ｅｙ＝（（Ｒ＋Ｂ）／２−（Ｇ１＋Ｇ２）／２）／Ｙ
ただし、Ｙ＝０．３Ｒ＋０．５９Ｇ（＝Ｇ１またはＧ２）＋０．１１Ｂである。また、上式のＲ、Ｇ１、Ｇ２、Ｂは図２の色フィルタ（Ｒ、Ｇ１、Ｇ２、Ｂ）と対応している。

図８は、色評価値Ｅｘ、Ｅｙを横軸、縦軸とする色度図および複数種類の光源の座標を示す図である。この複数種類の光源に対する座標の求め方は、例えば白色点を自然界に存在する複数種類の光源の色温度で撮影し、各色温度における色評価値Ｅｘ、Ｅｙを求めるという方法である。

また、上述した色評価値Ｅｘ、Ｅｙを縦軸、横軸とする色度図において、上述した無彩色判別範囲を追従強度パラメータに応じて設定する。また、この色度図上に上述したように複数種類の光源の座標をプロットしておくことで、設定した無彩色判別範囲が、どの種類の光源にまで対応したＷＢ補正の追従が可能であるかを把握することができる。以上に示すように、本実施形態における追従範囲パラメータは、色度図における無彩色判別範囲を特定する色評価値Ｅｘ、Ｅｙを特定するパラメータである。

次に、上述したＷＢ補正係数決定回路５１０がＷＢ補正係数を決定する方法の一例について述べる。
（１）．まず、システムコントローラ１１１は、利用者の設定した追従範囲に応じたＡＷＢ追従範囲信号を追従範囲決定回路５１２へ出力する。追従範囲決定回路５１２は、入力されたＡＷＢ追従範囲信号を基に追従範囲パラメータ候補５１３から、追従範囲パラメータを選択・決定して、ＷＢ補正係数決定回路５１０へ入力・設定する。次に、ＷＢ補正係数決定回路５１０は、設定された追従範囲パラメータを基に、色度図における無彩色判別範囲を設定する。以上により、利用者の設定した追従範囲に応じた無彩色判別範囲が設定される。
（２）．次に、ＷＢ補正係数決定回路５１０は、撮像素子１０１より入力される撮像信号を複数の小領域（以下、サンプルエリアとする）の信号に分割する。ここで、サンプルエリアとは、１画面をｍ個の領域に分割した内の１つの領域を示す。また、ＷＢ補正係数決定回路５１０は、各サンプルエリアに存在するＲ，Ｇ，Ｂの信号を画素毎に平均化した値を用いて色評価値Ｅｘ、Ｅｙを算出する。
（３）．次に、ＷＢ補正係数決定回路５１０は、各サンプルポイントにおいてそれぞれ求められた色評価値Ｅｘ、Ｅｙの座標が特定した白判別範囲に含まれるか否かを判別する。これにより、追従範囲に応じて設定した無彩色判別範囲に含まれるＷＢ補正係数を求める為に必要となるサンプルポイントを判別することができる。
（４）．上述した色評価値Ｅｘ、Ｅｙが色度図の白判別範囲に含まれると判別した場合は、ＷＢ補正係数決定回路５１０は、そのサンプルポイントより画素別に出力されるＲ，Ｇ，Ｂ値を各色ごとに加算する。
（５）．次に、ＷＢ補正係数決定回路５１０は、上述した（１）〜（４）の処理を画面上の全てのサンプルポイントに対して行う。
（６）．次に、ＷＢ補正係数決定回路５１０は、上述した（４）において加算されたＲＧＢ信号の平均値が同じレベルになるように色毎（ＲＧＢ毎）に利得を求めて、その利得をＷＢ補正係数とする。

以上に示した方法によりＷＢ補正係数決定回路５１０は、ＷＢ補正係数を求めることができる。すなわち、撮像装置１００は、ＡＷＢの追従範囲の設定に応じて色度図上の無彩色判別範囲を可変させることによって、ＡＷＢ補正の処理における色度図上の追従範囲を可変させている。

上述の実施形態に寄れば、利用者が任意に追従範囲を設定することが可能となり、設定した追従範囲に応じた追従範囲パラメータを用いて、利用者の意図に合ったオートホワイトバランス補正を行うことが可能となる。

＜第２の実施形態＞
（追従範囲を色度図で任意に指定）
第２の実施形態では、追従範囲パラメータの設定方法において、色度図（無彩色／白色判別範囲を含む）をモニタ装置１１０に表示して、利用者は色度図を見ながら表示された色度図上で無彩色判別範囲を任意の範囲に設定する設定方法について述べる。尚、撮像装置１００の概略構成は上述した実施形態と同一なので説明を割愛する。以下、上述した実施形態１と異なる部分についてのみ説明する。

まず、ユーザインタフェース１１２は、図１０に示すような無彩色判別範囲を任意の範囲に変更可能な色度図をモニタ装置１１０へ表示する。図１０は、ＡＷＢ追従範囲設定画面を表した例である。図１０に示すように、追従範囲は、この色度図上の無彩色判別範囲の上限あるいは下限となる四辺を特定するため以下の変数を用いて設定されている。すなわち、色度図における低色温度方向の追従範囲をＴ１、高色温度方向の追従範囲をＴ２、マゼンタ方向の追従範囲をＧｒ１、グリーン方向の追従範囲をＧｒ２として無彩色判別範囲を設定している。また、図１０には、各種光源の名称が各種光源の色評価値に応じた座標に記されている。この色度図における無彩色判別範囲は、図４（ｂ）のよう撮影画像上に透過表示を行っても良い。これにより、利用者は、設定する無彩色判別範囲とそれに伴う撮影画像における色度の変化もリアルタイムに確認することが可能となる。

次に、利用者により図１０の色度図上の無彩色判別範囲が設定されたら、ユーザインタフェース１１２は、その無彩色判別範囲の設定情報をシステムコントローラ１１１へ伝達する。次に、システムコントローラ１１１は、その設定情報に応じたＡＷＢ追従範囲設定信号を出力する。次に、追従範囲決定回路５１２は、入力されたＡＷＢ追従範囲設定信号を基に、上述したＴ１、Ｔ２、Ｇｒ１、Ｇｒ２の設定値（色評価値）を特定する。すなわち、追従範囲決定回路５１２は、追従範囲パラメータとしてＴ１、Ｔ２、Ｇｒ１、Ｇｒ２の設定値を決定する。その後の処理は上述した実施形態と同様であるので説明を省略する。

以上に示す撮像装置１００においては、利用者は色度図上で無彩色判別範囲を指定することによって、所望の追従範囲を容易に設定することができる。また、この色度図には各種光源の座標が記されているので、どの種類の光源まで追従させるかを簡便に設定することができる。

例えば、高色温度側の無彩色判別範囲を設定する追従範囲パラメータＴ１の値を変えることによって、高色温度側への追従範囲のみを変えることができる。逆に、低色温度側の無彩色判別範囲を設定する追従範囲パラメータＴ２を変えることによって、低色温度側への追従範囲のみを変えることができる。さらに、蛍光灯側であるグリーン方向の無彩色判別範囲を設定する追従範囲パラメータＧｒ１やＧｒ２を変えることによって、蛍光灯側への追従範囲のみを変えることが可能となる。

また、ここでは、Ｔ１、Ｔ２、Ｇｒ１、Ｇｒ２を利用者が任意に設定して定まる上限・下限の４辺で無彩色判別範囲を設定したが、色温度軸あるいはマゼンタ・グリーン軸のどちらか一方を任意に設定可能としても良いし、それぞれの上限・下限のどちらか一方が固定されている場合には、他方を利用者が任意に設定するようにしても良い。

これにより、撮像装置１００においては、追従範囲設定は色温度毎または色度毎に設定できるので、「高色温度に対しては追従するが低色温度では追従しない」といった自由なＷＢ補正への設定が可能となる。すなわち、ＡＷＢ追従範囲を利用者が任意に設定可能とすることによって、より自由度が高くなり、利用者の好み・意図・場所に応じた最適なＡＷＢ補正を実現可能となる。

また、上述した色度図上における各Ｔ１、Ｔ２、Ｇｒ１、Ｇｒ２の設定値（色評価値）である、色温度の関係及びグリーン方向の軸からの距離に関しては、例えば以下の方法で決定する。まず、図９や図１０に示したように、予め白色点を自然界に存在する複数の光源の色温度で撮影した撮影データから求めた色評価値をプロットする。それらの各種光源の座標（色温度及びグリーン方向の距離）との位置関係により、無彩色判別範囲で設定する色評価値を算出することができる。その際、その位置関係の特定は、マッピング手法などを行うことによって実現できる。また、回帰演算処理等によって演算によってその位置関係を捉えておき、その演算によって求めてもよい。

また、ここでは無彩色判別範囲を色度図上の各Ｔ１、Ｔ２、Ｇｒ１、Ｇｒ２の値（座標）で設定したが、例えば、モニタ装置に表示されている図１０の点線で囲まれた範囲を利用者が四角形に限らず、楕円、雲形等の形状などの閉領域やその大きさを変えたり、点線で囲まれた閉領域を任意の場所に移動させることによって無彩色判別範囲を設定するようにしてもよい。

尚、上述した実施形態においては、図１０に示したＡＷＢ補正用の追従範囲設定画面は、撮像装置１００に付属のモニタ装置１１０に表示したがこの限りではなく、撮像装置１００と通信可能なコンピュータ端末等で実行可能なアプリケーション等によりコンピュータ端末の画面に表示される設定画面であっても良い。すなわち、本発明の実施形態として撮像装置のみに限らず、撮像装置とコンピュータ端末から成る撮像システムであってもよい。

＜第３の実施形態＞
（追従強度）
尚、撮像装置１００の概略構成は上述した実施形態と同一なので説明を割愛する。以下、上述した実施形態と異なる部分についてのみ説明する。

第の１、２の実施例では、利用者が追従範囲を指定することによって無彩色判別範囲を変化させたが、第３の実施例では、利用者が無彩色判別範囲における追従度の強度を選択することによって無彩色判別範囲が設定される。

また、図３においては、追従強度選択欄３１の表示と同時に、選択された追従強度に応じたモニタ装置１１０に表示する画像の色調の変化も示している。尚、図３においては、被写体の背景は白であり、光源は電球であるとする。ここで、図３（ａ）においては、追従強度が“追従弱”に設定されているので、電球光源下においてあまりＷＢ補正の追従がおこなわれず、赤みがかった色調の背景である画像が表示されている。また、図３（ｂ）においては、追従強度が“追従強”に設定されているので、ＷＢ補正の追従が完全に行われており、白い背景の画像が表示されている。

また、上述した３つの追従強度は、例えば図４（Ｄ）に示す色度図の３種類の無彩色判別領域と対応している。図４（Ｄ）は、本実施形態における色度図例および追従強度に応じた無彩色判別領域例を示す図である。図４（Ｄ）の色度図において、縦軸はグリーンから白を経てマゼンタまでの色度の変化を示し、横軸は色温度の変化を示す。また、４１は、追従強度が“追従弱”に対応する無彩色判別領域を示す。４２は、追従強度が“追従中”に対応する無彩色判別領域を示す。４３は、追従強度が“追従強”に対応する無彩色判別領域を示す。また、図４（Ｄ）に示した無彩色判別領域４１〜４３は、追従パラメータに応じて特定される。また、図４（Ｄ）の色度図には各種光源の座標が光源の名称と共に記されている。

以上、図４（Ｄ）に示したように追従強度と追従パラメータは以下の関係があるといえる。
・追従強度が“追従弱”の場合には、日向の太陽光の近辺のみ追従する追従パラメータ
・追従強度が“追従中”の場合には、電球から日陰の近辺まで追従する追従パラメータ
・追従強度が“追従強”の場合には、ほとんどの光源で追従する追従パラメータ
次に、上述した図３（ｄ）に示すＡＷＢ追従強度の選択画面において利用者が任意の追従強度を選択する場合の撮像装置１００における追従範囲パラメータ決定の動作について説明する。図５（Ｂ）は、図１に示した撮像装置１００における追従範囲パラメータ決定の処理を示すフロー図である。尚、図５（Ｂ）に示す撮像装置１００の動作は、利用者がユーザインタフェース１１２を操作する等により開始する。

まず、ユーザインタフェース１１２は、図３（ｄ）に示すようなＡＷＢ追従強度の選択画面をモニタ装置１１０に表示させる（ステップＳ２０１）。これにより、利用者へ追従強度の選択を促す。次に、図３（ｄ）の選択画面において追従強度が選択されていない場合（ステップＳ２０２のＮＯ）には、選択されるまで選択画面の表示を維持する（ループ処理）。また、図３の選択画面において追従強度が選択された場合（ステップＳ２０２のＹＥＳ）には、ユーザインタフェース１１２より、選択された追従強度に関する設定情報がシステムコントローラ１１１に伝達される。次に、システムコントローラ１１１は、伝達された追従強度に応じたＡＷＢ追従強度設定信号を追従範囲決定回路５１２へ出力する（ステップＳ２０３）。

次に、追従範囲決定回路５１２は、追従範囲パラメータ候補５１３より追従範囲パラメータを参照することで、入力されたＡＷＢ追従強度設定信号に応じた追従範囲パラメータを決定し、該追従範囲パラメータを信号処理回路１０２へ送信する（ステップＳ２０４）。以上により、撮像装置１００は、ＡＷＢ追従強度の選択画面において利用者が選択した追従強度に応じた追従範囲パラメータを設定することができる。これにより、撮像装置１００は、利用者より選択された追従強度に応じた追従範囲パラメータを用いてＡＷＢ補正を行うことができる。

尚、上述した撮像装置１００の内部構成は一実施形態であり、複数種類の色フィルタを有する撮像素子１００および上述したＡＷＢの処理を行うための構成があれば他の構成は任意の構成でよい。また、上述した実施形態においては、追従強度は３種類であったがこの限りではなく、任意の数の種類を追従強度として設定してもよい。また、追従強度に対応する色度図上の無彩色判別領域においても上述した限りではなく、種々の大きさや形の無彩色判別領域であってもよい。

また、各光源に対応するスイッチ（不図示）を押して複数光源に対応した領域を組み合わせることによって無彩色判別領域を設定するようにしても、不図示の選択キーで光源の座標を指定できるようにしても、利用者が好みで数値で入力してもよい。

上述した撮像装置１００におけるＷＢ補正係数決定回路５１０がＷＢ補正係数を決定するＷＢ補正処理の詳細については前述と同様である。すなわち、撮像装置１００は、ＡＷＢの追従強度の設定に応じて色度図上の無彩色判別範囲を可変させることによって、ＡＷＢ補正の処理における色度図上の追従範囲を可変させている。

次に、追従範囲決定回路５１２が色度図上の追従範囲（無彩色判別範囲）を変化させる処理について具体例を示して説明する。

図１０は、追従範囲決定回路５１２による色度図上の追従範囲（無彩色判別範囲）を設定する追従範囲パラメータ例を示す図である。図９に示すように、追従範囲パラメータであるｘｓ＿１〜３、ｘｅ＿１〜３、ｙｓ＿１〜３、ｙｅ＿１〜３を用いて色度図上の無彩色判別範囲を設定している。

図１０に示すように、追従強度に応じた追従範囲パラメータが設定される。
追従強度＝追従弱の無彩色判別範囲
［ｘｓ＿１＜Ｅｘ＜ｘｅ＿１］，［ｙｓ＿１＜Ｅｙ＜ｙｅ＿１］
追従強度＝追従中の無彩色判別範囲
［ｘｓ＿２＜Ｅｘ＜ｘｅ＿２］，［ｙｓ＿２＜Ｅｙ＜ｙｅ＿２］
追従強度＝追従強の無彩色判別範囲
［ｘｓ＿３＜Ｅｘ＜ｘｅ＿３］，［ｙｓ＿３＜Ｅｙ＜ｙｅ＿３］
この時、図９からも明らかなように、追従強度に応じて各追従範囲パラメータの大小関係は以下の通りとなる。
ｘｓ＿１＞ｘｓ＿２＞ｘｓ＿３
ｘｅ＿１＜ｘｅ＿２＜ｘｅ＿３
ｙｓ＿１＞ｙｓ＿２＞ｙｓ＿３
ｙｅ＿１＜ｙｅ＿２＜ｙｅ＿３
すなわち、“追従強”の無彩色判別範囲＞“追従中”の無彩色判別範囲＞“追従弱”の無彩色判別範囲、という関係であるといえる。これは、無彩色判別範囲が広いほど、ＷＢ補正時の追従領域が広くなる為であり、ＷＢ補正時の追従強度と無彩色判別範囲の関係を示す不等号式である。

また、上述した追従範囲パラメータはそれぞれ独立に調整することが可能である。例えば、高色温度側の無彩色判別範囲を設定する追従範囲パラメータｘｓ＿１〜３の値を変えることによって、高色温度側への追従範囲のみを変えることができる。逆に、低色温度側の無彩色判別範囲を設定する追従範囲パラメータｘｅ＿１〜３を変えることによって、低色温度側への追従範囲のみを変えることができる。さらに、蛍光灯側であるグリーン方向の無彩色判別範囲を設定する追従範囲パラメータｙｅ＿１〜３を変えることによって、蛍光灯側への追従範囲のみを変えることが可能となる。

以上説明したように、上述の実施例によれば、ホワイトバランスの追従度を任意の強度に設定できる黒体放射軸を表示可能な設定画面を表示することにより、利用者はホワイトバランス補正の最適な設定を視覚的に色味を判断して選択することができる。

＜第４の実施形態＞
（明るさと撮影モードとの組合せ）
次に、本発明の第４の実施形態について説明する。
第２の実形態では無彩色判別範囲における利用者の設定によってオートホワイトバランスをすることについて、また第３の実施形態では利用者が設定した追従強度の設定から無彩色判別範囲を変化させることについて説明した。さらに、利用者の設定と撮影モードや被写体の明るさ等の撮影条件との組み合わせてよって無彩色判別範囲を設定する場合について説明する。

例えば、屋外モードのように、被写体が明るい場合には、高色温度側部分に設定可能な領域が限定されるので、利用者はその領域内で無彩色判別範囲を設定する。同様に屋内モードのように被写体が暗い時の撮影の場合には、低色温度側に設定可能な範囲が限定される。

その後、明るさに応じて所定の範囲に限定された無彩色判別領域において、さらに利用者が色度図は縦軸のグリーンからマゼンタ方向、横軸の色温度方向において任意の範囲を設定する。

上述の実施例により、明るさに応じて設定可能な領域が限定されることにより、利用者は、明るさが考慮された所望の無彩色判別範囲の設定を行うことが可能となる。ここでは、明るさによる撮影モードに応じて、設定可能な無彩色判別領域を限定することについて説明したが、他に明るさだけでなく、風景やポートレートなどの被写体の種類に応じたモード等の撮影条件に応じて設定可能な無彩色判別領域を変更するようにしてもよい。

実施例１〜４で、上述した色度図は縦軸がグリーンからマゼンタへ変化する色度を示し、横軸が色温度の変化を示したがこの限りではなく、色度座標を有するＣＩＥ色度図のｘｙ色度図、Ｌｕｖ色度図のｕｖ色度図、Ｌｕ’ｖ’色度図のｕ’ｖ’色度図、Ｌａｂ色度図のａｂ色度図、のような種々の色度図を用いてよい。例えば、黒体放射軸またはそれに相当する白軸を第一の座標軸とし、グリーンからマゼンタ方向に変化する色度の変化を第二の座標軸とする色度図であってもよい。また、上述した無彩色判別領域についても、色温度の変化を示す横軸に平行な線による領域に限らず、上述した実施形態の色平面に黒体放射軸（カーブ）またはそれに相当する白軸（カーブ）を描画し、そのカーブから縦軸方向に等距離の領域であってもよい。

また、３次元表示が可能なモニタ装置である場合には、色度図は、３次元あるいは多次元の色空間を示す図を表示しても良い。

また、図１に示すシステムコントローラ１１１が行う各処理は、専用のハードウェアにより実現されるものであってもよく、また、システムコントローラはメモリおよびＣＰＵにより構成され、各処理を実現する為のプログラムをメモリに読み込んで実行することによりその処理を実現させるものであってもよい。

また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。

以上の実施例についてデジタルカメラを例に説明をしたが、本発明はデジタルカメラに限定されること無く、デジタルビデオカメラやデジタルカメラ付き携帯電話、スキャナ等も含まれる。また、カメラとＰＣを有線或いは無線で接続した状態でＰＣからレリーズ指示を出すようなリモート操作によって撮像を行なうものも含まれる。

また、本発明の目的は、前述した実施形態の機能を実現するプログラムを記録した記録媒体（または記憶媒体）を、撮像システムまたは撮像装置に供給し、その撮像システムまたは撮像装置のコンピュータが記録媒体に格納されたプログラムを読み出し実行することによっても達成される。また、コンピュータが読み出したプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０１ 撮像装置
１０２ 信号処理回路
１１０ モニタ装置
１１２ ユーザインタフェース

Claims (8)

1. 被写体からの光を撮像信号に変換する撮像素子と、前記撮像信号を処理する信号処理回路を有する撮像装置であって、
   利用者の操作入力に応じてホワイトバランスの追従強度を設定する追従強度設定手段と、
   前記追従度設定手段において設定された追従強度に応じて無彩色判別範囲を設定し、設定した無彩色判別範囲に基づいて前記撮像信号に対するホワイトバランス処理を行うホワイトバランス処理手段と、
   を具備することを特徴とする撮像装置。
2. 前記追従強度に応じて無彩色判別範囲の大きさが設定されることを特徴とする請求項１の撮像装置。
3. 前記追従範囲の大きさを色度図とともに表示する表示手段を有することを特徴とする請求項２に記載の撮像装置。
4. 前記追従強度設定手段は、複数種類の追従強度より利用者が追従強度を選択可能な前記設定画面を表示することを特徴とする請求項１に記載の撮像装置。
5. 前記追従強度は色温度および色相の変化を座標軸とする色度図上の無彩色判別範囲の広さに対応し、前記追従強度設定手段は、前記無彩色判別範囲の広さを変更する追従強度の設定画面を表示することを特徴とする請求項３に記載の撮像装置。
6. 被写体からの光を撮像信号に変換する撮像素子を有する撮像装置のホワイトバランス処理方法であって、
   利用者の操作入力に応じてホワイトバランスの追従強度を設定する追従強度設定工程と、
   前記追従度設定工程において設定された追従強度に応じて無彩色判別範囲を設定し、設定した無彩色判別範囲に基づいて前記撮像信号に対するホワイトバランス処理を行うホワイトバランス処理工程と、
   を具備することを特徴とする撮像装置のホワイトバランス処理方法。
7. 撮像素子からの撮像信号を処理する撮像装置用のプログラムであって、請求項６に記載のホワイトバランス処理方法を前記撮像装置のコンピュータに実行させるプログラム。
8. 撮像素子からの撮像信号を処理する撮像装置用のプログラムであって、請求項６に記載のホワイトバランス処理方法を前記撮像装置のコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images