JP4396225B2 - ホワイトバランス制御装置及び電子機器 - Google Patents

Description

本発明は、ホワイトバランス制御装置及び電子機器に関する。

従来より、デジタルカメラには、撮像した白い被写体をヒトの見た目に合わせるように、被写体の出力信号を自動的に調整するホワイトバランス調整を行うものがある。
ホワイトバランス調整の方式には、大別して、外部測定方式とＴＴＬ（Through The Lens）方式とがあり、後者は、さらに、全画面平均方式と無彩色検出方式とに分けられる。

上記のうち、ＴＴＬの無彩色検出方式は、ホワイトバランス調整の主流となってきており、具体的には、画像中から白やグレー等の無彩色の領域を抽出して、その部分の色差が０「ゼロ」となるように補正する方式である。
ここで、無彩色検出方式として、例えば、色差信号Ｃｒ、Ｃｂを座標軸とする色空間において無彩色の領域を検出し、検出された無彩色の領域に含まれる画素のＲ、Ｇ、Ｂデータを画像データ内で積算して、積算値のＲＧＢがＲ：Ｇ：Ｂ＝１：１：１となるように色調補正を行うものが知られている（例えば、特許文献１参照。）。
特開２００１−３５９１１６号公報

しかしながら、上記特許文献１の場合、露出不足や画像の大部分が暗い夜景シーン、複数の異なる色温度の光源の影響を受け易い撮像状況下等において、画像内の輝度値の高い一部の被写体を無彩色と判断しやすいために、画像の大部分、即ち、主要被写体が色ずれしてしまうといった問題がある。例えば、所定の撮像装置を用いて、その撮像範囲外に存する水銀灯光源に照らされた被写体を撮像する場合、撮像装置の撮像範囲内に存する遠方の家屋の窓から漏れている室内の白熱灯にホワイトバランス調整が行われるが、主要被写体を含む画像の大部分は水銀灯光源の影響を受けて、画像全体が水銀灯の色温度である緑色に色ずれしてしまう（図３（ａ）参照）。

本発明の課題は、画像のホワイトバランス調整を適正に行うことができ、これにより、画像の色ずれを抑制することができるホワイトバランス制御装置及び電子機器を提供することである。

請求項１に記載の発明は、入力された画像情報のうちの色信号に基づいて画像のホワイトバランス調整量を設定する調整量設定手段を備えるホワイトバランス制御装置であって、
前記画像を複数のブロックに分割する画像分割手段と、
前記画像情報のうち、前記画像分割手段により分割された複数のブロックの各々に対応する部分の色信号を画像全体で積算して、該積算値から所定の色空間における色座標に変換した第一の色座標情報を算出する第一色座標情報算出手段と、
前記複数のブロックの各々に対応する前記色信号に基づいて、前記色空間における各ブロックの色座標を算出する色座標算出手段と、
前記色座標算出手段により算出された各ブロックの色座標を平均して第二の色座標情報を算出する第二色座標情報算出手段と、を備え、
前記調整量設定手段は、前記第一色座標情報算出手段により算出された第一の色座標情報と、前記第二色座標情報算出手段により算出された第二の色座標情報とに基づいて、前記ホワイトバランス調整量を設定することを特徴としている。

ここで、所定の色空間とは、所定の色度信号或いは色差信号を座標軸としたｎ次元（ｎは自然数）の空間のことである。

請求項１に記載の発明によれば、第一色座標情報算出手段により、画像情報のうち、複数のブロックの各々に対応する部分の色信号を画像全体で積算して、該積算値から所定の色空間における色座標に変換した第一の色座標情報を算出し、第二色座標情報算出手段により、色信号に基づいて算出された色空間における色座標を平均して第二の色座標情報を算出し、調整量設定手段により、第一の色座標情報と第二の色座標情報とに基づいて、画像のホワイトバランス調整量を設定する。従って、第一の色座標情報及び第二の色座標情報の両方を用いてホワイトバランス調整量を適正な値に設定することができ、画像の色ずれが生じ易い、例えば夜景シーンや色温度の異なる複数の光源下等においても、画像のホワイトバランス調整を従来よりも適正に行うことができることとなって、画像の色ずれを抑制することができる。

請求項２に記載の発明は、請求項１に記載のホワイトバランス制御装置において、
前記第一色座標情報算出手段は、前記第一の色座標情報として、色度空間における色度座標に変換した第一の色温度情報を算出し、
前記色座標算出手段は、前記色座標として、前記色度空間における各ブロックの色度座標を算出し、
前記第二色座標情報算出手段は、前記第二の色座標情報として、前記色座標算出手段により算出された各ブロックの色度座標に基づいて第二の色温度情報を算出し、
前記調整量設定手段は、前記第一色座標情報算出手段により算出された前記第一の色温度情報と、前記第二色座標情報算出手段により算出された前記第二の色温度情報とに基づいて、前記ホワイトバランス調整量を設定することを特徴としている。

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、積算された色信号の色度座標に基づいて算出された第一の色温度情報と、各ブロックの色度座標に基づいて算出された第二の色温度情報とに基づいて、調整量設定手段により画像のホワイトバランス調整量をより適正な値に設定することができる。

請求項３に記載の発明は、請求項２に記載のホワイトバランス制御装置において、
前記色度座標算出手段により算出された各ブロックの色度座標に基づいて、前記色度空間の無彩色点を判定する無彩色点判定手段を備え、
前記第一色座標情報算出手段は、前記無彩色点判定手段により判定された無彩色点に対応する前記ブロックの色信号に基づいて、前記第一の色温度情報を算出し、
前記第二色座標情報算出手段は、前記無彩色点判定手段により判定された無彩色点に対応する前記ブロックの前記色度座標に基づいて、前記第二の色温度情報を算出することを特徴としている。

請求項３に記載の発明によれば、請求項２に記載の発明と同様の効果が得られるのは無論のこと、特に、第一の色温度情報を画像の色度空間における無彩色点に対応するブロックの色信号に基づいて算出し、第二の色温度情報を無彩色点に対応するブロックの色度座標に基づいて算出するので、これら算出された第一の色温度情報及び第二の色温度情報に基づいて画像のホワイトバランス調整量の設定をより適正に行うことができる。

請求項４に記載の発明は、請求項２又は３に記載のホワイトバランス制御装置において、
前記画像情報のうちの色信号に基づいて、前記調整量設定手段により前記ホワイトバランス調整量を設定する場合における、前記第一の色温度情報と前記第二の色温度情報の寄与度に係る寄与度係数を設定する寄与度係数設定手段を備え、
前記調整量設定手段は、さらに、前記寄与度係数設定手段により設定された前記寄与度係数に応じた前記第一の色温度情報及び前記第二の色温度情報の寄与度に従って前記ホワイトバランス調整量を設定することを特徴としている。

請求項４に記載の発明によれば、請求項２又は３に記載の発明と同様の効果が得られるのは無論のこと、特に、寄与度係数設定手段により設定された寄与度係数に応じた第一の色温度情報及び第二の色温度情報の寄与度に従って画像のホワイトバランス調整量をさらに適正な値に設定することができる。

請求項５に記載の発明は、請求項４に記載のホワイトバランス制御装置において、
前記画像情報のうちの色信号に基づいて、前記画像の輝度値を算出する輝度値算出手段と、
前記画像の輝度値と前記寄与度係数とが対応付けられた寄与度係数設定テーブルを記憶する設定テーブル記憶手段と、を備え、
前記寄与度係数設定手段は、前記設定テーブル記憶手段に記憶された前記寄与度係数設定テーブルに基づいて、前記輝度値算出手段により算出された画像の輝度値に対応する前記寄与度係数を設定することを特徴としている。

請求項５に記載の発明によれば、請求項４に記載の発明と同様の効果が得られるのは無論のこと、特に、寄与度係数設定手段によって、画像の輝度値と寄与度係数とが対応付けられた寄与度係数設定テーブルに基づいて、輝度値算出手段により算出された画像の輝度値に対応する寄与度係数を設定するので、画像の輝度値を考慮して第一の色温度情報及び第二の色温度情報の寄与度を設定することができる。

請求項６に記載の発明は、請求項５に記載のホワイトバランス制御装置において、
前記寄与度係数設定テーブルは、前記画像の輝度値が低くなるに従って前記第二の色温度情報の寄与度が大きくなるように、前記寄与度係数が設定されていることを特徴としている。

請求項６に記載の発明によれば、請求項５に記載の発明と同様の効果が得られるのは無論のこと、特に、寄与度係数設定テーブルは、画像の輝度値が低くなるに従って第二の色温度情報の寄与度が大きくなるように、寄与度係数が設定されている。従って、画像の輝度値の低い、例えば夜景シーン等において、第二の色温度情報の寄与度が大きくなるようにして画像のホワイトバランス調整量を適正に設定することができる。

請求項７に記載の発明は、請求項４〜６の何れか一項に記載のホワイトバランス制御装置において、
前記画像を撮像する撮像手段と、
前記撮像手段により撮像された画像が露出不足であるか否かを判定する露出不足判定手段と、を備え、
前記寄与度係数設定手段は、さらに、前記露出不足判定手段により露出不足であると判定された場合に、前記第二の色温度情報の寄与度が大きくなるように前記寄与度係数を設定することを特徴としている。

請求項７に記載の発明によれば、請求項４〜６に記載の発明と同様の効果が得られるのは無論のこと、特に、撮像画像が露出不足である場合に、寄与度係数設定手段によって、第二の色温度情報の寄与度が大きくなるように寄与度係数が設定されるので、撮像画像の露出不足を考慮して第一の色温度情報及び第二の色温度情報の寄与度を設定することができる。即ち、画像が露出不足となる撮像状況下において、第二の色温度情報の寄与度が大きくなるようにして画像のホワイトバランス調整量を適正に設定することができる。

請求項８に記載の発明は、請求項４〜６の何れか一項に記載のホワイトバランス制御装置において、
前記画像を撮像する撮像手段と、
前記撮像手段による画像の撮像が、色温度の異なる複数の光源下にて行われたか否かを判定する撮像光源判定手段を備え、
前記寄与度係数設定手段は、さらに、前記撮像光源判定手段により色温度の異なる複数の光源下にて前記撮像手段による画像の撮像が行われたと判定された場合に、前記第二の色温度情報の寄与度が大きくなるように前記寄与度係数を設定することを特徴としている。

請求項８に記載の発明によれば、請求項４〜６に記載の発明と同様の効果が得られるのは無論のこと、特に、色温度の異なる複数の光源下にて画像の撮像が行われた場合に、寄与度係数設定手段によって、第二の色温度情報の寄与度が大きくなるように寄与度係数が設定されるので、複数の色温度の異なる光源の影響を考慮して第一の色温度情報及び第二の色温度情報の寄与度を設定することができる。即ち、色温度の異なる複数の光源下において、第二の色温度情報の寄与度が大きくなるようにして画像のホワイトバランス調整量を適正に設定することができる。

請求項９に記載の発明の電子機器は、請求項１〜８の何れか一項に記載のホワイトバランス制御装置を備えることを特徴としている。

請求項９に記載の発明の電子機器によれば、請求項１〜８に記載の発明と同様の効果を得ることができる。

請求項１に記載の発明によれば、第一の色座標情報及び第二の色座標情報の両方を用いてホワイトバランス調整量を適正な値に設定することができ、画像の色ずれが生じ易い、例えば夜景シーンや色温度の異なる複数の光源下等においても、画像のホワイトバランス調整を従来よりも適正に行うことができることとなって、画像の色ずれを抑制することができる。

請求項２に記載の発明によれば、積算された色信号の色度座標に基づいて算出された第一の色温度情報と、各ブロックの色度座標に基づいて算出された第二の色温度情報とに基づいて、調整量設定手段により画像のホワイトバランス調整量をより適正な値に設定することができる。

請求項３に記載の発明によれば、算出された第一の色温度情報及び第二の色温度情報に基づいて画像のホワイトバランス調整量の設定をより適正に行うことができる。

請求項４に記載の発明によれば、設定された寄与度係数に応じた第一の色温度情報及び第二の色温度情報の寄与度に従って画像のホワイトバランス調整量をさらに適正な値に設定することができる。

請求項５に記載の発明によれば、画像の輝度値を考慮して第一の色温度情報及び第二の色温度情報の寄与度を設定することができる。

請求項６に記載の発明によれば、画像の輝度値の低い、例えば夜景シーン等において、第二の色温度情報の寄与度が大きくなるようにして画像のホワイトバランス調整量を適正に設定することができる。

請求項７に記載の発明によれば、画像が露出不足となる撮像状況下において、第二の色温度情報の寄与度が大きくなるようにして画像のホワイトバランス調整量を適正に設定することができる。

請求項８に記載の発明によれば、色温度の異なる複数の光源下において、第二の色温度情報の寄与度が大きくなるようにして画像のホワイトバランス調整量を適正に設定することができる。

請求項９に記載の発明の電子機器によれば、請求項１〜８に記載の発明と同様の効果を得ることができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明に係るホワイトバランス制御装置を備える電子機器の好適な一例として例示するデジタルカメラの要部構成を示すブロック図である。

図１に示すように、デジタルカメラ１００は、撮像部１、Ａ／Ｄ変換回路２、画像用メモリ３、表示装置４、不揮発性メモリ５、ＲＡＭ６、ＲＯＭ７、ＣＰＵ８、電源スイッチ９、照明用光源１０、レリーズスイッチ１１等を備えて構成されている。

撮像部１は、光路上において被写体の光学像を結像する撮像レンズ１ａと、撮像レンズ１ａの合焦位置調整のために当該撮像レンズ１ａを光軸方向に移動させる駆動モータ１ｂと、撮像レンズ１ａにより結像された光学像を光電変換し、光電変換した画像信号（アナログ信号）をＡ／Ｄ変換回路２に出力する、例えばＣＣＤ（Charge Coupled Device）等の撮像素子１ｃ（撮像手段）と、ＣＰＵ８により開放量が制御されることで撮像素子１ｃに入射する光の量を調節する絞り部１ｄとを備えている。

Ａ／Ｄ変換回路２は、撮像素子１ｃから出力され入力されたアナログ信号をデジタル信号に変換し、変換したデジタル画像信号を画像用メモリ３に出力する。ここで、本実施の形態におけるＡ／Ｄ変換回路２は、撮像素子１ｃに入射した光の強度が大きいほど大きな値のデジタル画像信号に変換するものとする。

画像用メモリ３は、Ａ／Ｄ変換回路２を介して入力されたデジタル画像信号を一時的に格納する。
表示装置４は、例えばＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ等により構成され、ＣＰＵ８から出力され入力された表示信号に従って撮像画像Ｇや操作画面等を表示する。

不揮発性メモリ５は、例えばメモリカード等により構成され、画像用メモリ３に記憶されたデジタル画像信号のうち、ＣＰＵ８の制御下にて各種の画像処理が施されたデジタル画像信号を記憶する。

ＲＡＭ（Random Access Memory）６は、例えば、揮発性の半導体メモリであり、ＣＰＵ８が処理中のプログラムやデータ等の作業領域、各種データ等を一時的に格納する格納領域等を有している。

ＲＯＭ（Read Only Memory）７は、読み出し専用のメモリであり、ＣＰＵ８により実行されるデジタルカメラ１００としての各種の処理にかかるアプリケーションプログラムや、各種動作に使用するデータ等を記憶する。具体的には、ＲＯＭ７は、調整量設定プログラム７ａと、画像分割プログラム７ｂと、色度座標算出プログラム７ｃと、無彩色点判定プログラム７ｄと、第一色温度情報算出プログラム７ｅと、第二色温度情報算出プログラム７ｆと、輝度値算出プログラム７ｇと、露出不足判定プログラム７ｈと、撮像光源判定プログラム７ｉとを記憶している。

また、ＲＯＭ７は、設定テーブル記憶手段を構成しており、ホワイトバランス調整量の設定に係る、第一の色温度情報と第二の色温度情報の各々の寄与度に係る寄与度係数αと被写体の画像データの輝度値とが対応付けられた寄与度係数設定テーブルＴを記憶している。寄与度係数設定テーブルＴは、被写体の輝度値が低くなるに従って第二の色温度情報の寄与度が大きくなるように第二の色温度情報の寄与度係数αが設定されている。即ち、寄与度係数設定テーブルＴは、例えば、被写体の輝度値が３ＬＶ（Light Value）未満である場合には寄与度係数αが０以上０．３未満となり、被写体の輝度値が３ＬＶ以上８ＬＶ未満である場合には寄与度係数αが０．３以上０．７未満となり、被写体の輝度値が８ＬＶ以上である場合には寄与度係数αが０．７以上１．０未満となるように設定されている（図５参照）。

ＣＰＵ（Central Processing Unit）８は、ＲＯＭ７に記憶されているデジタルカメラ１００としての各種機能に関る各種アプリケーションプログラムを読み出してＲＡＭ６内の作業領域に展開し、当該プログラムに従って動画や静止画の撮像処理等の各種処理を実行する。
具体的には、撮像処理において、ＣＰＵ８は、調整量設定手段として、調整量設定プログラム７ａに従って、画像用メモリ３に格納されたデジタル画像信号のうちの色データ（色情報）に基づいて、撮像画像Ｇ（図３（ａ）参照）のホワイトバランス調整量を設定するホワイトバランス調整処理を行う。

また、ホワイトバランス調整処理にて、ＣＰＵ８は、画像分割手段として、画像分割プログラム７ｂに従って、画像用メモリ３に格納されたデジタル画像信号に基づいて、撮像画像Ｇを複数（例えば、横：６４×縦：４８）のブロックに分割する（図３（ｂ）参照）。
さらに、ＣＰＵ８は、色座標算出手段として、色度座標算出プログラム７ｃに従って、デジタル画像信号のうち、分割された複数のブロックの各々に対応する信号に含まれる色データに基づいて、色度平面Ｓにおける各ブロックの色度座標を算出する。
また、ＣＰＵ８は、無彩色点判定手段として、無彩色点判定プログラム７ｄに従って、分割された各ブロックの色度座標に基づいて、色度平面Ｓにおける無彩色点を判定する。ここで、無彩色点の判定方法としては、例えば、色度平面Ｓにおいて色度座標が黒体輻射軌跡ＢＬの近傍に位置するブロックを無彩色点と判定する方法（図４参照）や、色度平面Ｓを複数のセルに分割して、黒体輻射軌跡ＢＬからの距離に応じてセル毎に重み付け係数を設定し、加重積分することにより無彩色点を算出する方法（図６及び図７参照）等が挙げられる。

さらに、ＣＰＵ８は、第一色座標情報算出手段として、第一色温度情報算出プログラム７ｅに従って、分割された複数のブロックのうちの無彩色点に対応するブロックの色信号を、１フレーム全体で積分して、積算された色信号からそのフレームの色度座標に変換した第一の色温度情報（第一の色座標情報）を算出する。
また、ＣＰＵ８は、第二色座標情報算出手段として、第二色温度情報算出プログラム７ｆに従って、分割された複数のブロックのうちの無彩色点に対応する色度座標を、１フレームで平均して第二の色温度情報（第二の色座標情報）を算出する。

さらに、ＣＰＵ８は、輝度値算出手段として、輝度値算出プログラム７ｇに従って、画像データのうちの色データに基づいて、被写体の輝度値を算出する。
また、ＣＰＵ８は、寄与度係数設定手段として、ホワイトバランス調整量を設定する場合における、第一の色温度情報と第二の色温度情報の寄与度に係る寄与度係数αを設定する。具体的には、ＣＰＵ８は、例えば、ＲＯＭ７に記憶されている寄与度係数設定テーブルＴに基づいて、算出された被写体の輝度値に対応する寄与度係数αを設定する。

さらに、ＣＰＵ８は、露出不足判定手段として、露出不足判定プログラム７ｈに従って、撮像部１による撮像された画像Ｇが露出不足であるか否かを判定する。
即ち、ＣＰＵ８は、被写体の撮像の際に自動的に露出を調整する機能（ＡＥ：Auto Exposure）を有している。具体的には、ＣＰＵ８は、例えばレリーズスイッチ１１がユーザにより半押しされた状態において、Ａ／Ｄ変換回路２を介して取得した１フレームの画像Ｇ１の画像データの輝度値に基づいて、被写体の明るさ、フィルムや撮像素子１ｃの感度等の条件から撮像に必要な光量を算出し、算出した光量に対応した絞り部１ｄの絞り値や撮像部１のシャッター速度で露光を行って被写体の撮像を制御する。このとき、ＣＰＵ８は、露出不足判定プログラム７ｈに従って、絞り値やシャッター速度がデジタルカメラ１００の性能限界に達することにより画像Ｇの撮像に必要な光量を確保することができず、撮像画像Ｇが露出不足となるか否かを判定する。そして、撮像画像Ｇが露出不足となると判定された場合には、寄与度係数設定手段としてのＣＰＵ８は、第二の色温度情報の寄与度が大きくなるように寄与度係数αを設定するようになっている。
また、撮像画像Ｇが露出不足であるか否かの判定は、ＣＰＵ８の制御下にて、例えばレリーズスイッチ１１がユーザにより全押しされることによって撮像された被写体の画像データに基づいて行われても良い。即ち、ＣＰＵ８は、撮像画像Ｇの明度と、ＲＯＭ７に予め記憶された露出判定テーブル（図示略）における画像の輝度値と対応付けられた所定の明度とを比較して、撮像画像Ｇが露出不足であるか否かを判定するような構成であっても良い。このとき、撮像画像Ｇは、ＡＥを機能させずに露出が所定の値に固定された状態で撮像された画像であっても良い。

また、ＣＰＵ８は、撮像光源判定手段として、撮像光源判定プログラム７ｉに従って、撮像部１による画像Ｇの撮像が、色温度の異なる複数の光源下にて行われたか否かを判定する。ここで、ＣＰＵ８は、例えば、色度平面Ｓにおいて無彩色点と判定される箇所が色温度を異ならせて点在している場合に、撮像が色温度の異なる複数の光源下にて行われたと判定するようになっている。また、所定の色温度の光源に対応させた図示しない測光センサを複数設けて、これら測光センサからの所定の出力信号に基づいて、ＣＰＵ８により撮像光源の数等が判定されるような構成であっても良い。
そして、色温度の異なる複数の光源下にて撮像部１による画像Ｇの撮像が行われたと判定された場合に、寄与度係数設定手段としてのＣＰＵ８は、第二の色温度情報の寄与度が大きくなるように寄与度係数αを設定するようになっている。

また、ＣＰＵ８は、上記のようにして設定された寄与度係数αに応じた第一の色温度情報及び第二の色温度情報の寄与度に従って画像Ｇのホワイトバランス調整量を算出して、この値を最終的なホワイトバランス調整量として設定する。

電源スイッチ９は、ユーザの操作に基づいて、デジタルカメラ１００の電源を投入或いは遮断するための指示信号を出力する。
照明用光源１０は、ストロボ等により構成され、ＣＰＵ８から出力され入力された発光タイミング制御信号に従って照明補助用としての光を発光する。

レリーズスイッチ１１は、ユーザの操作に基づいて、ＣＰＵ８に撮像動作の開始を指示する指示信号を出力する。ここで、出力された指示信号がＣＰＵ８に入力されると、ＣＰＵ８は、シャッター装置（図示略）を駆動して画像Ｇの撮像を行うようになっている。

次に、ＣＰＵ８の制御下におけるホワイトバランス調整処理について、図２〜図７を参照して説明する。
ここで、図２は、デジタルカメラ１００によるホワイトバランス調整処理を説明するための図である。また、図３（ａ）は、デジタルカメラ１００による画像Ｇの撮像状況を模式的に示した図であり、図３（ｂ）は、撮像画像Ｇを複数のブロックに分割した状態を示すものである。また、図４は、色度平面Ｓにおける黒体輻射軌跡ＢＬ及び無彩色点と判定する領域Ｒを模式的に示した図であり、図５は、ホワイトバランス調整処理に係る寄与度係数設定テーブルＴを模式的に示した図である。また、図６は、ホワイトバランス調整処理に係る色度平面Ｓを複数のセルに分割した状態を模式的に示した図であり、図７は、複数のセルに分割された色度平面Ｓにおける黒体輻射軌跡ＢＬを模式的に示した図である。

本実施の形態にあっては、デジタルカメラ１００の撮像範囲Ｄ内に存する遠方の家屋の窓から室内の白熱灯Ｈ１の光が漏れ、且つ、撮像範囲Ｄ外に存する水銀灯光源Ｈ２に照らされた被写体の撮像処理を、ＣＰＵ８の制御下にて行って、その撮像処理中に、撮像画像Ｇ（図３（ａ）参照）のホワイトバランス調整処理を行うようになっている。
このホワイトバランス調整処理において、ＣＰＵ８は、ＲＯＭ７から調整量設定プログラム７ａを読み出してＲＡＭ６に展開し、この調整量設定プログラム７ａに従って、当該撮像処理において取得して画像用メモリ３に格納されたデジタル画像信号に基づいて、撮像画像Ｇのホワイトバランス調整量を設定する。
以下に、ＣＰＵ８の制御下におけるホワイトバランス調整量の算出方法について詳細に説明する。

先ず、ＣＰＵ８は、ＲＯＭ７から画像分割プログラム７ｂを読み出してＲＡＭ６に展開し、この画像分割プログラム７ｂに従って、画像用メモリ３に格納されたデジタル画像信号に基づく１フレームの画像Ｇ１を、例えば横：６４×縦：４８のブロックに分割する（図３（ｂ）参照）。

次に、ＣＰＵ８は、ＲＯＭ７から色度座標算出プログラム７ｃを読み出してＲＡＭ６に展開し、この色度座標算出プログラム７ｃに従って、各ブロックの色データに基づいて、色度平面Ｓ（図４参照）における各ブロックの色度座標を算出する。
具体的には、ＣＰＵ８は、先ず、図示しないＲＧＢ分離回路によってデジタル画像信号をＲ、Ｇ、Ｂの３成分に分離し、各ブロック毎にＲ、Ｇ、Ｂ信号の平均値（Ｒ、Ｇ、Ｂ）を算出する（信号算出処理；ステップＳ１；図２参照）。なお、このとき、飽和した画素を検出し、飽和画素については平均値の算出には用いないものとする。
続けて、ＣＰＵ８は、所定の演算プログラムに従って、算出したブロック毎のＲ、Ｇ、Ｂ平均値（Ｒ、Ｇ、Ｂ）に、色度座標を調整するための基準（例えば、Ｄ５０）のＲＧＢゲインを乗算して、各画素のＲ’、Ｇ’、Ｂ’データ（Ｒ’、Ｇ’、Ｂ’）を算出する（ゲイン乗算処理；ステップＳ２）。
ここで、
Ｒ’＝ｇＲ＿Ｄ５０×Ｒ
Ｇ’＝ｇＧ＿Ｄ５０×Ｇ
Ｂ’＝ｇＢ＿Ｄ５０×Ｂ
とする。

そして、ＣＰＵ８は、所定の演算プログラムに従って、各画素のＲ’、Ｇ’、Ｂ’データを用いて色度値を算出し、その値を各ブロック毎の色度座標とする（色度座標算出処理；ステップＳ３）。即ち、縦軸：ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、横軸：ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）の色度平面Ｓにおける色度値として、
ｒ＝Ｒ’／（Ｒ’＋Ｇ’＋Ｂ’）
ｇ＝Ｇ’／（Ｒ’＋Ｇ’＋Ｂ’）
を算出する。

次に、ＣＰＵ８は、ＲＯＭ７から無彩色点判定プログラム７ｄを読み出してＲＡＭ６に展開し、この無彩色点判定プログラム７ｄに従って、色度平面Ｓにおける無彩色点を判定する（無彩色判定処理；ステップＳ４）。
具体的には、ＣＰＵ８は、例えば図４に示すように、色度平面Ｓにおいて、所定の光源（例えば、太陽光）下にて表現される黒体輻射軌跡ＢＬの近傍に色度座標が位置するブロックを無彩色点と判定する。即ち、黒体輻射軌跡ＢＬの周辺に無彩色点と判定される領域Ｒを設け、その領域Ｒ内のブロックが無彩色点と判定されるようになっている。また、このとき、ＣＰＵ８は、例えば、色度平面Ｓを複数のセルに分割して（図６参照）、黒体輻射軌跡ＢＬからの距離に応じてセル毎に重み付け係数を設定し（図７参照）、加重積分することによって無彩色点を算出するようにしても良い。

次に、ＣＰＵ８は、ＲＯＭ７から第一色温度情報算出プログラム７ｅを読み出してＲＡＭ６に展開し、この第一色温度情報算出プログラム７ｅに従って、無彩色点に対応するブロックの色信号に基づいて、色度平面Ｓにおける各ブロックの色度座標に変換した第一の色温度情報を算出する（第一色温度情報算出処理；ステップＳ５）。具体的には、ＣＰＵ８は、先ず、無彩色点と判定されたブロックの（Ｒ’、Ｇ’、Ｂ’）データを１フレーム全体で積分する（信号積分処理；ステップＳ５１）。そして、ＣＰＵ８は、算出された積分値（Ｒ＿ｓｕｍ、Ｇ＿ｓｕｍ、Ｂ＿ｓｕｍ）を用いて、そのフレームの色度座標（ｒ＿ｓｕｍ、ｇ＿ｓｕｍ）を算出（変換）して、その値を第一の色温度情報とする（色度座標変換処理；ステップＳ５２）。
ここで、
ｒ＿ｓｕｍ＝Ｒ＿ｓｕｍ／（Ｒ＿ｓｕｍ＋Ｇ＿ｓｕｍ＋Ｂ＿ｓｕｍ）
ｇ＿ｓｕｍ＝Ｇ＿ｓｕｍ／（Ｒ＿ｓｕｍ＋Ｇ＿ｓｕｍ＋Ｂ＿ｓｕｍ）
とする。

次に、ＣＰＵ８は、ＲＯＭ７から第二色温度情報算出プログラム７ｆを読み出してＲＡＭ６に展開し、この第二色温度情報算出プログラム７ｆに従って、無彩色点に対応する色度座標に基づいて、第二の色温度情報を算出する（第二色温度情報算出処理；ステップＳ６）。具体的には、ＣＰＵ８は、無彩色点と判定されたブロックの色度座標（ｒ、ｇ）を１フレームで平均して、算出された色度座標（ｒ＿ａｖｅ、ｇ＿ａｖｅ）を第二の色温度情報とする。

なお、第一の色温度情報及び第二の色温度情報の算出を、図７の色度平面Ｓ内に示す色度座標に応じた重み付け係数を用いて行っても良い。具体的には、ＣＰＵ８は、例えば、第一の色温度情報を算出する場合には、重み付け係数を用いて重み付け積分し、また、第二の色温度情報を算出する場合には、重み付け係数を用いて重み付け平均を行うようになっている。

その後、ＣＰＵ８は、ＲＯＭ７から輝度値算出プログラム７ｇを読み出してＲＡＭ６に展開し、この輝度値算出プログラム７ｇに従って、画像データのうちの色データに基づいて、被写体の輝度値を算出する。
そして、ＣＰＵ８は、ＲＯＭ７に記憶されている寄与度係数設定テーブルＴに基づいて、算出された被写体の輝度値に対応する寄与度係数αを設定し（図５参照）、設定された寄与度係数αに応じた第一の色温度情報及び第二の色温度情報の寄与度に従って第一の色温度情報及び第二の色温度情報を加重平均する。
ここで、算出された色温度情報の平均値を、
ｒ＿ｔｏｔａｌ＝α×ｒ＿ｓｕｍ＋（１−α）×ｒ＿ａｖｅ
ｇ＿ｔｏｔａｌ＝α×ｇ＿ｓｕｍ＋（１−α）×ｇ＿ａｖｅ
とする。

なお、上記の寄与度係数αの設定において、ＣＰＵ８は、ＲＯＭ７から露出不足判定プログラム７ｈを読み出してＲＡＭ６に展開し、この露出不足判定プログラム７ｈに従って、撮像部１による撮像された画像Ｇが露出不足であるか否かを判定して、露出不足であると判定された場合に、第二の色温度情報の寄与度が大きくなるように寄与度係数αを設定しても良い。
さらに、ＣＰＵ８は、ＲＯＭ７から撮像光源判定プログラム７ｉを読み出してＲＡＭ６に展開し、この撮像光源判定プログラム７ｉに従って、撮像部１による画像Ｇの撮像が、色温度の異なる複数の光源下にて行われたか否かを判定して、色温度の異なる複数の光源下にて撮像部１による画像Ｇの撮像が行われたと判定された場合に、第二の色温度情報の寄与度が大きくなるように寄与度係数αを設定しても良い。

次に、ＣＰＵ８は、所定の演算プログラムに従って、算出された色温度情報の平均値（ｒ＿ｔｏｔａｌ、ｇ＿ｔｏｔａｌ）を用いて、画像Ｇのうちの無彩色点のＲＧＢ信号がＲ：Ｇ：Ｂ＝１：１：１となるようにホワイトバランス調整量を算出して、この値を最終的なホワイトバランス調整量（Ｒｇａｉｎ、Ｂｇａｉｎ）として設定する（ホワイトバランス（ＷＢ）補正量算出処理；ステップＳ７）。
ここで、算出されたホワイトバランス調整量を、
Ｒｇａｉｎ＝ｇ＿ｔｏｔａｌ／ｒ＿ｔｏｔａｌ
Ｂｇａｉｎ＝ｇ＿ｔｏｔａｌ／ｂ＿ｔｏｔａｌ
とする。なお、ｂ＿ｔｏｔａｌ＝１−ｇ＿ｔｏｔａｌ−ｒ＿ｔｏｔａｌとする。

そして、ＣＰＵ８は、上記のようにして設定されたホワイトバランス調整量（Ｒｇａｉｎ、Ｂｇａｉｎ）を用いて撮像画像Ｇにホワイトバランス調整処理を施して不揮発性メモリ５に記憶する。

以上のように、本実施の形態のデジタルカメラ１００によれば、分割された複数のブロックの各々に対応する部分の色データを積算して、積算された色信号から、そのフレームの色度座標に変換して算出された第一の色温度情報と、各ブロックの色度座標を平均して算出された第二の色温度情報とに基づいて、画像Ｇのホワイトバランス調整量を設定することができる。
即ち、第一の色温度情報を画像Ｇの色度平面Ｓにおける無彩色点に対応するブロックの色データに基づいて算出し、第二の色温度情報を無彩色点に対応するブロックの色度座標に基づいて算出する。そして、ホワイトバランス調整量を設定する場合における、第一の色温度情報と第二の色温度情報の寄与度に係る寄与度係数αを設定して、設定された寄与度係数αに応じた第一の色温度情報及び第二の色温度情報の寄与度に従って画像Ｇのホワイトバランス調整量の設定を適正に行う。具体的には、画像Ｇの輝度値と寄与度係数αとが対応付けられた寄与度係数設定テーブルＴに基づいて、画像Ｇの輝度値に対応する寄与度係数αを設定するので、画像Ｇの輝度値を考慮して第一の色温度情報及び第二の色温度情報の寄与度を設定することができる。ここで、寄与度係数設定テーブルＴは、画像Ｇの輝度値が低くなるに従って第二の色温度情報の寄与度が大きくなるように、寄与度係数αが設定されているので、画像Ｇの輝度値の低い、例えば夜景シーン等において、第二の色温度情報の寄与度を大きくして画像Ｇのホワイトバランス調整量を設定することができる。

また、撮像画像Ｇが露出不足である場合に、第二の色温度情報の寄与度が大きくなるように寄与度係数αが設定されるので、撮像画像Ｇが露出不足となる撮像状況下において、第二の色温度情報の寄与度が大きくなるようにして画像Ｇのホワイトバランス調整量を適正に設定することができる。
さらに、色温度の異なる複数の光源下にて画像Ｇの撮像が行われた場合に、第二の色温度情報の寄与度が大きくなるように寄与度係数αが設定されるので、複数の色温度の異なる光源の影響を考慮して、色温度の異なる複数の光源下において、第二の色温度情報の寄与度が大きくなるようにして画像Ｇのホワイトバランス調整量を適正に設定することができる
このように、第一の色温度情報及び第二の色温度情報の両方を用いてホワイトバランス調整量を適正な値に設定することができ、画像Ｇの色ずれが生じ易い、例えば夜景シーンや色温度の異なる複数の光源下等においても、画像Ｇのホワイトバランス調整を従来よりも適正に行うことができることとなって、画像Ｇの色ずれを抑制することができる。

なお、本発明は、上記実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、寄与度係数設定テーブルＴの具体的な値は、例えば画像Ｇ、光源等の種類や撮像系の特性等に応じて適宜任意に変更可能となっていることは勿論である。
さらに、設定テーブル記憶手段としてＲＯＭ７を例示したが、これに限られるものではなく、例えば、電気的に書き換え可能な記憶手段であっても良く、これにより、ユーザは必要に応じて寄与度係数設定テーブルＴの内容を変更することができる。

また、上記実施の形態では、寄与度係数設定テーブルＴを用いて寄与度係数αを設定するような構成としたが、これに限られるものではなく、例えば、ＣＰＵ８が、寄与度係数設定手段として、所定の演算プログラムを実行することに基づいて、寄与度係数αを算出して設定するような構成としても良い。

さらに、上記実施の形態では、画像Ｇの無彩色点の算出に用いられる色空間として色度平面Ｓを例示したが、これに限られるものではなく、図示は省略するが、例えば、色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を座標軸とする色空間や、色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）を座標軸とする色空間や、Ｒ信号とＧ信号との比Ｒ／Ｇ、Ｂ信号とＧ信号との比Ｂ／Ｇを座標軸とする色空間等であっても良いのは勿論である。

さらに、上記実施の形態では、電子機器としてデジタルカメラ１００を例示したが、これに限られるものではなく、画像Ｇを撮像する撮像手段を備える電子機器であれば如何なるものであっても良い。

本発明に係るホワイトバランス制御装置を備える電子機器の好適な一例として例示するデジタルカメラの要部構成を示したブロック図である。 図１のデジタルカメラによるホワイトバランス調整処理を説明するための図である。 図１のデジタルカメラにより撮像された画像を模式的に示した図である。 図２のホワイトバランス調整処理に係る色度平面における黒体輻射軌跡及び無彩色点と判定する領域を模式的に示した図である。 図２のホワイトバランス調整処理に係る寄与度係数設定テーブルを模式的に示した図である。 図２のホワイトバランス調整処理に係る色度平面を複数のセルに分割した状態を模式的に示した図である。 図６の複数のセルに分割された色度平面における黒体輻射軌跡を模式的に示した図である。

符号の説明

１００ デジタルカメラ（電子機器）
１ｃ 撮像素子（撮像手段）
７ ＲＯＭ（ホワイトバランス制御装置、設定テーブル記憶手段）
８ ＣＰＵ（ホワイトバランス制御装置、第一色座標情報算出手段、第二色座標情報算出手段、寄与度係数設定手段、画像分割手段、色座標算出手段、無彩色点判定手段、露出不足判定手段、撮像光源判定手段）
Ｇ 画像
Ｓ 色度平面（色度空間、色空間）
Ｔ 寄与度係数設定テーブル

Claims (9)

1. 入力された画像情報のうちの色信号に基づいて画像のホワイトバランス調整量を設定する調整量設定手段を備えるホワイトバランス制御装置であって、
   前記画像を複数のブロックに分割する画像分割手段と、
   前記画像情報のうち、前記画像分割手段により分割された複数のブロックの各々に対応する部分の色信号を画像全体で積算して、該積算値から所定の色空間における色座標に変換した第一の色座標情報を算出する第一色座標情報算出手段と、
   前記複数のブロックの各々に対応する前記色信号に基づいて、前記色空間における各ブロックの色座標を算出する色座標算出手段と、
   前記色座標算出手段により算出された各ブロックの色座標を平均して第二の色座標情報を算出する第二色座標情報算出手段と、を備え、
   前記調整量設定手段は、前記第一色座標情報算出手段により算出された第一の色座標情報と、前記第二色座標情報算出手段により算出された第二の色座標情報とに基づいて、前記ホワイトバランス調整量を設定することを特徴とするホワイトバランス制御装置。
2. 前記第一色座標情報算出手段は、前記第一の色座標情報として、色度空間における色度座標に変換した第一の色温度情報を算出し、
   前記色座標算出手段は、前記色座標として、前記色度空間における各ブロックの色度座標を算出し、
   前記第二色座標情報算出手段は、前記第二の色座標情報として、前記色座標算出手段により算出された各ブロックの色度座標に基づいて第二の色温度情報を算出し、
   前記調整量設定手段は、前記第一色座標情報算出手段により算出された前記第一の色温度情報と、前記第二色座標情報算出手段により算出された前記第二の色温度情報とに基づいて、前記ホワイトバランス調整量を設定することを特徴とする請求項１に記載のホワイトバランス制御装置。
3. 前記色度座標算出手段により算出された各ブロックの色度座標に基づいて、前記色度空間の無彩色点を判定する無彩色点判定手段を備え、
   前記第一色座標情報算出手段は、前記無彩色点判定手段により判定された無彩色点に対応する前記ブロックの色信号に基づいて、前記第一の色温度情報を算出し、
   前記第二色座標情報算出手段は、前記無彩色点判定手段により判定された無彩色点に対応する前記ブロックの前記色度座標に基づいて、前記第二の色温度情報を算出することを特徴とする請求項２に記載のホワイトバランス制御装置。
4. 前記画像情報のうちの色信号に基づいて、前記調整量設定手段により前記ホワイトバランス調整量を設定する場合における、前記第一の色温度情報と前記第二の色温度情報の寄与度に係る寄与度係数を設定する寄与度係数設定手段を備え、
   前記調整量設定手段は、さらに、前記寄与度係数設定手段により設定された前記寄与度係数に応じた前記第一の色温度情報及び前記第二の色温度情報の寄与度に従って前記ホワイトバランス調整量を設定することを特徴とする請求項２又は３に記載のホワイトバランス制御装置。
5. 前記画像情報のうちの色信号に基づいて、前記画像の輝度値を算出する輝度値算出手段と、
   前記画像の輝度値と前記寄与度係数とが対応付けられた寄与度係数設定テーブルを記憶する設定テーブル記憶手段と、を備え、
   前記寄与度係数設定手段は、前記設定テーブル記憶手段に記憶された前記寄与度係数設定テーブルに基づいて、前記輝度値算出手段により算出された画像の輝度値に対応する前記寄与度係数を設定することを特徴とする請求項４に記載のホワイトバランス制御装置。
6. 前記寄与度係数設定テーブルは、前記画像の輝度値が低くなるに従って前記第二の色温度情報の寄与度が大きくなるように、前記寄与度係数が設定されていることを特徴とする請求項５に記載のホワイトバランス制御装置。
7. 前記画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像が露出不足であるか否かを判定する露出不足判定手段と、を備え、
   前記寄与度係数設定手段は、さらに、前記露出不足判定手段により露出不足であると判定された場合に、前記第二の色温度情報の寄与度が大きくなるように前記寄与度係数を設定することを特徴とする請求項４〜６の何れか一項に記載のホワイトバランス制御装置。
8. 前記画像を撮像する撮像手段と、
   前記撮像手段による画像の撮像が、色温度の異なる複数の光源下にて行われたか否かを判定する撮像光源判定手段を備え、
   前記寄与度係数設定手段は、さらに、前記撮像光源判定手段により色温度の異なる複数の光源下にて前記撮像手段による画像の撮像が行われたと判定された場合に、前記第二の色温度情報の寄与度が大きくなるように前記寄与度係数を設定することを特徴とする請求項４〜６の何れか一項に記載のホワイトバランス制御装置。
9. 請求項１〜８の何れか一項に記載のホワイトバランス制御装置を備えることを特徴とする電子機器。

Images