JPH11262029A - 撮像装置および信号処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 光電変換素子を有した撮像装置のホワイトバ
ランス調整において、輝度信号レベルに依存せずに正確
な色温度を検出でき、正確なホワイトバランス制御を行
えるようにする。 【解決手段】 補色フィルタを備えた撮像素子１０１の
複数の画素から得られる色信号から色評価値を算出し、
その色評価値より色温度変化時における白色変化範囲を
設定し、その白色変化範囲を撮影条件と被写体条件によ
り変化させる。そして、上記白色変化範囲に入る色評価
値より各色信号の利得制御値を求め、その制御値により
色信号の利得を制御してホワイトバランス調整を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、色フィルタを持つ
撮像素子を有し、特にホワイトバランスの信号処理を改
善した撮像装置あるいは信号処理装置に関するものであ
る。

【０００２】

【従来の技術】図１０は従来の単板の撮像装置の信号処
理ブロック図である。ここでは、撮像素子４０１に図２
に示すような配列の補色フィルタが備え付けられている
場合について説明する。

【０００３】撮像素子４０１からのアナログ出力信号
は、プリプロセス回路４０２を経てＡ／Ｄ変換手段４０
３によりデジタル信号となり、ＯＢ回路４０４によって
黒レベルが揃えられ、メモリ４０５に一旦記憶される。
ここでのデジタル信号は、撮像素子４０１に対して汎用
の加算読み出しを行い、色フィルタ（Ｍａ，Ｇ，Ｃｙ，
Ｙｅ）の信号をそれぞれ加算した信号（Ｗｒ，Ｗｂ，Ｇ
ｒ，Ｇｂ）である。

【０００４】上記メモリ４０５から読み出された画像信
号は、ホワイトバランス回路４２０からの利得調整値に
より画素ゲイン調整回路４０６によりゲイン調整され
る。このゲイン調整された画像信号は、色分離色補間回
路４０７に送られ、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂの信号とし
て出力されて後段の色処理部に送られると同時に、撮像
素子４０１の読み出し信号配列のままの信号が輝度処理
部にそれぞれ送られる。

【０００５】上記色処理部においては、色分離色補間回
路４０７の出力により垂直ローパスフィルタ回路４０８
に送られ、マトリクス４０９でＲＧＢの色信号に変換さ
れる。このＲＧＢ信号は、水平ローパスフィルタ回路４
１０にて帯域制限され、ガンマ変換回路４１１にてガン
マ補正され、更に純色色差変換回路４１２によりＹ，Ｒ
−Ｙ，Ｂ−Ｙの色差信号に変換される。この色差信号
は、ホワイトバランス回路４２０とＣ＿ＳＵＰ回路４１
３に送られ、このＣ＿ＳＵＰ回路４１３にて飽和領域の
色消し処理が行われた後、Ｙ補正回路４１９，色補正回
路４１４に送られる。そして、色補正回路４１４にて微
妙な色調整が行われる。

【０００６】一方輝度処理部においては、色フィルタに
よる輝度段差補正のためのフィルタが垂直ローパスフィ
ルタ回路１０１５，水平ローパスフィルタ回路１０１６
によりかけられ、ＡＰＣ（輝度アパーチャ補正）回路４
１７によりエッジ強調が行われ、更にガンマ補正回路４
１８によってガンマ補正される。その後、Ｃ＿ＳＵＰ回
路４１３からの色差信号を用いてＹ補正回路４１９にて
輝度信号の微妙な輝度調整が実施される。

【０００７】そして、上記色処理部からの色差信号と輝
度処理部からの輝度信号は一旦メモリ４２３に記憶さ
れ、撮像素子４０１をフィールド読み出しした場合には
加算回路４２１で１フレーム信号とし、圧縮回路４２２
でＪＰＥＧなどの圧縮を行い、フラッシュメモリなどに
記録する。

【０００８】また、ホワイトバランス回路４２０は、色
差信号（Ｒ−Ｙ，Ｂ−Ｙ）を入力し同信号の振幅に対し
て所定値を越えた大きな振幅の入力を制限するクリップ
回路を有し、このクリップ回路を通過した色差信号と輝
度信号とを例えば一画面を複数ブロックに分割してその
分割ブロック毎に積分し、図１１に示すように（Ｒ−
Ｙ）と（Ｂ−Ｙ）とで作る座標において白色の色温度変
化時における変化範囲を白判別範囲５０１として設定
し、上記ブロック毎の積分値が同座標上において白判別
範囲内にあるか否かを判別し、白判別範囲内にある積分
値を用いてＲ信号とＢ信号のゲインを定める制御をシス
テム制御用ＣＰＵが行い、このゲインより撮像素子４０
１の出力の利得制御値を求め、該制御値で撮像素子４０
１の出力値のゲインを調整するようにしている。

【０００９】

【発明が解決しようとする課題】上記のように、（Ｒ−
Ｙ），（Ｂ−Ｙ）などで座標を作り同座標上に白判別範
囲を設定し、白判別範囲内での積分値を用いる従来のホ
ワイトバランス調整方法を用いた撮像装置にあっては、
例えば高色温度の照明での撮影時に、白判別範囲におい
て低彩度の赤系の被写体が低色温度の白と同じ領域に含
まれるため、そのような被写体の面積が大きいと、低色
温度照明と誤判別してしまう。同様に、低色温度の照明
での撮影時に、白色判別範囲において低彩度の青系の被
写体が高色温度の白と同じ領域に含まれるため、そのよ
うな被写体の面積が大きいと、高色温度照明と誤判別し
てしまう。

【００１０】また、従来では上記白判別範囲に含まれな
い色評価値は用いないか、もしくはその色評価値から最
も近い白判別範囲の縁の値に置き換え、それを新たな色
評価値として積分しているので、新たな計算回路を設け
る必要がある。

【００１１】また、従来では補色センサーを用いた場
合、ホワイトバランス後の画像信号をマトリクス演算で
純色信号に変換する際、色温度により最適なマトリクス
を用意しないと色再現が悪くなってしまう問題があっ
た。

【００１２】また、従来では撮像素子の読み出し方法に
よって色評価値が異なるため、白判別範囲を別々に設定
する必要があった。例えば、図２に示すような色フィル
タ配列の補色センサーにおいて、それを加算読み出しし
た場合の色評価値は、（Ｒ−Ｙ，Ｂ−Ｙ）もしくは
（（（Ｗｒ−Ｇｂ）−（Ｗｂ−Ｇｒ））／（Ｗｒ＋Ｇ
ｂ），（（Ｗｒ−Ｇｂ）＋（Ｗｂ−Ｇｒ））／（Ｗｂ＋
Ｇｒ））を用い、非加算読み出しの場合の色評価値は、
（（Ｙｅ−Ｃｙ）／Ｙ１，（Ｍａ−Ｇ）／Ｙ１）を用い
ているので、複数の色評価値が存在し、それに伴って複
数の白判別範囲を用意する必要があった。

【００１３】また、撮像素子の出力をそのままホワイト
バランス調整部に入力すると、画像にエッジが多く含ま
れている時はサンプルポイント数が少なくなってしまっ
たり、エッジを白色と誤判別する場合も生じ、正確な白
検出が行われないという問題点があった。

【００１４】本発明は、上記のような問題点に着目して
なされたもので、輝度信号レベルに依存することなく正
確な色温度を検出することができ、適正なホワイトバラ
ンス制御を行うことができ、また最適な色再現を実現す
ることが可能な撮像装置を提供することを目的としてい
る。

【００１５】

【課題を解決するための手段】上述した目的を達成する
ために、本願の請求項１に係る発明によれば、複数種類
の色フィルタを有する撮像素子と、前記撮像素子から出
力される色信号を評価する色信号評価手段と、前記色信
号評価手段によって評価された色信号が所定の評価範囲
に含まれるか否かを判別する判別手段と、前記判別手段
によって所定の評価範囲に含まれると判別された色信号
に基づいてホワイトバランス調整するホワイトバランス
調整手段と、前記判別手段の評価範囲を所定の条件に応
じて変化させる変化手段とを備えることを特徴とする。

【００１６】また、請求項２に係る発明によれば、請求
項１において、さらに、前記判別手段によって所定の評
価範囲に含まれると判別された色信号に基づいて撮像光
源の色温度を算出する色温度算出手段と、前記ホワイト
バランス調整手段によって調整された色信号をマトリク
スを用いて色変換するマトリクス変換手段とを備え、前
記マトリクス変換手段は、複数の異なるマトリクスを有
し、前記色温度算出手段によって算出された色温度に応
じて前記複数のマトリクスの中から１つを選択し、その
選択されたマトリクスを用いて色変換を行うことを特徴
とする。

【００１７】また、請求項３に係る発明によれば、請求
項２において、前記マトリクス変換手段は、Ｍａ，Ｇ，
Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号に色変換することを
特徴とする。

【００１８】また、請求項４に係る発明によれば、請求
項１において、前記撮像素子から出力される色信号の読
み出しにおいて、加算読み出しと非加算読み出しとを選
択する選択手段と、前記選択手段によって加算読み出し
が選択された場合、非加算読み出しのときに出力される
色信号に復元する復元手段とを備え、前記色信号評価手
段は、前記選択手段によって加算読み出しが選択された
場合、前記復元手段によって復元された色信号を評価す
ることを特徴とする。

【００１９】また、請求項５に係る発明によれば、請求
項１において、さらに、前記色信号評価手段の前段に設
けられ、前記撮像素子から出力される色信号を帯域制限
するローパスフィルタを備えることを特徴とする。

【００２０】また、請求項６に係る発明によれば、請求
項１において、さらに、前記判別手段によって所定の評
価範囲に含まれると判別された色信号に基づいて撮像光
源の色温度を算出する色温度算出手段と、前記ホワイト
バランス調整手段によって調整された色信号をマトリク
スを用いて色変換するマトリクス変換手段と、前記色温
度算出手段によって算出された色温度に基づいて前記マ
トリクス演算手段のマトリクスを作成する作成手段とを
備えることを特徴とする。

【００２１】また、請求項７に係る発明によれば、請求
項１において、前記変化手段は、光源の明るさ、被写体
への外光とフラッシュ光との影響度、およびシャッター
スピードの少なくともいずれか一つに応じて前記評価範
囲を変化させることを特徴とする。

【００２２】また、請求項８に係る発明によれば、複数
種類の色フィルタを有する撮像素子と、前記撮像素子か
ら出力される色信号を評価する第１の色信号評価手段
と、前記色信号評価手段によって評価された色信号が所
定の評価範囲に含まれるか否かを判別する第１の判別手
段と、前記第１の判別手段によって前記所定の評価範囲
に含まれると判別された色信号に基づいて第１の制御信
号を演算する第１の演算手段と、前記撮像素子から出力
される１画面分の信号を複数領域に分割し、分割された
それぞれの領域において、領域内の色信号を平均化し、
平均化された色信号を評価する第２の色信号評価手段
と、前記第２の色信号評価手段によって評価された色信
号がそれぞれ前記所定の評価範囲に含まれるか否かを判
別する第２の判別手段と、前記第２の判別手段によって
前記所定の評価範囲に含まれると判別された色信号に基
づいて第２の制御信号を演算する第２の演算手段と、前
記第１，第２の制御信号に基づいてホワイトバランス調
整するホワイトバランス調整手段とを備えることを特徴
とする。

【００２３】また、請求項９に係る発明によれば、請求
項８において、前記第２の色信号評価手段は、前記第１
の色信号評価手段よりも多い数の画素からの色信号に基
づいて色信号を評価することを特徴とする。

【００２４】また、請求項１０に係る発明によれば、請
求項８において、前記ホワイトバランス調整手段は、前
記第１の判別手段によって前記所定の範囲に含まれる色
信号と前記所定の範囲に含まれない色信号との比率に応
じて、前記第１，第２の制御信号を混成した信号に基づ
いてホワイトバランス調整することを特徴とする。

【００２５】また、請求項１１に係る発明によれば、請
求項８において、前記第２の色信号評価手段は、前記第
２の判別手段によって前記複数領域の平均化された色信
号がいずれも前記所定の範囲に含まれないことが判別さ
れた場合、分割する領域を広げることにより、該広げら
れた領域内の平均化された色信号を評価することを特徴
とする。

【００２６】また、請求項１２に係る発明によれば、複
数種類の色フィルタを有する撮像素子と、前記撮像素子
から出力される色信号を評価する色信号評価手段と、前
記色信号評価手段によって評価された色信号が複数の評
価範囲いずれかに含まれるか否かを判別する判別手段
と、前記判別手段によって複数の評価範囲のいずれかに
含まれると判別された場合、その含まれる評価範囲に応
じて前記色信号の重み付け補正を行う重み付け補正手段
と、前記重み付け補正手段によって補正された色信号に
基づいてホワイトバランス調整するホワイトバランス調
整手段とを備えることを特徴とする。

【００２７】また、請求項１３に係る発明によれば、請
求項１２において、前記重み付け補正手段は、光源の明
るさおよび被写体への外光とフラッシュ光との影響度の
少なくともいずれか一つに応じて重み付け補正を変化さ
せることを特徴とする。

【００２８】また、請求項１４に係る発明によれば、複
数種類の色フィルタを有する撮像素子から出力される色
信号を評価する色信号評価手段と、前記色信号評価手段
によって評価された色信号が所定の評価範囲に含まれる
か否かを判別する判別手段と、前記判別手段によって所
定の評価範囲に含まれると判別された色信号に基づいて
ホワイトバランス調整するホワイトバランス調整手段
と、前記判別手段の評価範囲を所定の条件に応じて変化
させる変化手段とを備えることを特徴とする。

【００２９】また、請求項１５に係る発明によれば、請
求項１４において、さらに、前記判別手段によって所定
の評価範囲に含まれると判別された色信号に基づいて撮
像光源の色温度を算出する色温度算出手段と、前記ホワ
イトバランス調整手段によって調整された色信号をマト
リクスを用いて色変換するマトリクス変換手段とを備
え、前記マトリクス変換手段は、複数の異なるマトリク
スを有し、前記色温度算出手段によって算出された色温
度に応じて前記複数のマトリクスの中から１つを選択
し、その選択されたマトリクスを用いて色変換を行うこ
とを特徴とする。

【００３０】また、請求項１６に係る発明によれば、請
求項１５において、前記マトリクス変換手段は、Ｍａ，
Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号に色変換するこ
とを特徴とする。

【００３１】また、請求項１７に係る発明によれば、請
求項１４において、前記撮像素子から出力される色信号
の読み出しにおいて、加算読み出しと非加算読み出しと
を選択する選択手段と、前記選択手段によって加算読み
出しが選択された場合、非加算読み出しのときに出力さ
れる色信号に復元する復元手段とを備え、前記色信号評
価手段は、前記選択手段によって加算読み出しが選択さ
れた場合、前記復元手段によって復元された色信号を評
価することを特徴とする。

【００３２】また、請求項１８に係る発明によれば、請
求項１４において、さらに、前記色信号評価手段の前段
に設けられ、前記撮像素子から出力される色信号を帯域
制限するローパスフィルタを備えることを特徴とする。

【００３３】また、請求項１９に係る発明によれば、請
求項１４において、さらに、前記判別手段によって所定
の評価範囲に含まれると判別された色信号に基づいて撮
像光源の色温度を算出する色温度算出手段と、前記ホワ
イトバランス調整手段によって調整された色信号をマト
リクスを用いて色変換するマトリクス変換手段と、前記
色温度算出手段によって算出された色温度に基づいて前
記マトリクス演算手段のマトリクスを作成する作成手段
とを備えることを特徴とする。

【００３４】また、請求項２０に係る発明によれば、請
求項１４において、前記変化手段は、光源の明るさ、被
写体への外光とフラッシュ光との影響度、およびシャッ
タースピードの少なくともいずれか一つに応じて前記評
価範囲を変化させることを特徴とする。

【００３５】また、請求項２１に係る発明によれば、複
数種類の色フィルタを有する撮像素子から出力される色
信号を評価する第１の色信号評価手段と、前記色信号評
価手段によって評価された色信号が所定の評価範囲に含
まれるか否かを判別する第１の判別手段と、前記第１の
判別手段によって前記所定の評価範囲に含まれると判別
された色信号に基づいて第１の制御信号を演算する第１
の演算手段と、前記撮像素子から出力される１画面分の
信号を複数領域に分割し、分割されたそれぞれの領域に
おいて、領域内の色信号を平均化し、平均化された色信
号を評価する第２の色信号評価手段と、前記第２の色信
号評価手段によって評価された色信号がそれぞれ前記所
定の評価範囲に含まれるか否かを判別する第２の判別手
段と、前記第２の判別手段によって前記所定の評価範囲
に含まれると判別された色信号に基づいて第２の制御信
号を演算する第２の演算手段と、前記第１，第２の制御
信号に基づいてホワイトバランス調整するホワイトバラ
ンス調整手段とを備えることを特徴とする。

【００３６】また、請求項２２に係る発明によれば、請
求項２１において、前記第２の色信号評価手段は、前記
第１の色信号評価手段よりも多い数の画素からの色信号
に基づいて色信号を評価することを特徴とする。

【００３７】また、請求項２３に係る発明によれば、請
求項２１において、前記ホワイトバランス調整手段は、
前記第１の判別手段によって前記所定の範囲に含まれる
色信号と前記所定の範囲に含まれない色信号との比率に
応じて、前記第１，第２の制御信号を混成した信号に基
づいてホワイトバランス調整することを特徴とする。

【００３８】また、請求項２４に係る発明によれば、請
求項２１において、前記第２の色信号評価手段は、前記
第２の判別手段によって前記複数領域の平均化された色
信号がいずれも前記所定の範囲に含まれないことが判別
された場合、分割する領域を広げることにより、該広げ
られた領域内の平均化された色信号を評価することを特
徴とする。

【００３９】また、請求項２５に係る発明によれば、複
数種類の色フィルタを有する撮像素子から出力される色
信号を評価する色信号評価手段と、前記色信号評価手段
によって評価された色信号が複数の評価範囲いずれかに
含まれるか否かを判別する判別手段と、前記判別手段に
よって複数の評価範囲のいずれかに含まれると判別され
た場合、その含まれる評価範囲に応じて前記色信号の重
み付け補正を行う重み付け補正手段と、前記重み付け補
正手段によって補正された色信号に基づいてホワイトバ
ランス調整するホワイトバランス調整手段とを備えるこ
とを特徴とする。

【００４０】また、請求項２６に係る発明によれば、請
求項２５において、前記重み付け補正手段は、光源の明
るさおよび被写体への外光とフラッシュ光との影響度の
少なくともいずれか一つに応じて重み付け補正を変化さ
せることを特徴とする。

【００４１】また、請求項２７に係る発明によれば撮像
素子の複数の画素から得られる色信号から色評価値を算
出する色評価値算出手段と、該色評価値より色温度変化
時における白色変化範囲を設定する設定手段と、該白色
変化範囲を撮影条件と被写体条件により変化させる変化
手段と、前記色評価値が前記白色変化範囲に入るか否か
を判別する判別手段を有し、該白色変化範囲に入る色評
価値より得られた各色信号の利得制御値により前記色信
号の利得を制御してホワイトバランス調整を行うように
した。

【００４２】また、請求項２８に係る発明によれば撮像
素子の複数の画素から得られる色信号から色評価値を算
出する色評価値算出手段と、該色評価値より色温度変化
時における白色変化範囲を設定する設定手段と、該白色
変化範囲を複数の白領域に分割する分割手段と、前記色
評価値が前記白領域に入るか否かを判別する判別手段
と、白領域に含まれる色評価値を該白領域毎に積分して
記憶する記憶手段と、撮影条件や被写体条件により前記
複数の白領域のうち有効な白領域を選択する選択手段を
有し、該有効な白領域の色評価値の積分値より得られた
各色信号の利得制御値により前記色信号の利得を制御し
てホワイトバランス調整を行うようにした。

【００４３】また、請求項２９に係る発明によれば撮像
素子の複数の画素から得られる色信号から色評価値を算
出する色評価値算出手段と、該色評価値より色温度変化
時における白色変化範囲を設定する設定手段と、該白色
変化範囲を複数の白領域に分割する分割手段と、前記色
評価値が前記白領域に入るか否かを判別する判別手段
と、白領域に含まれる色評価値を該白領域毎に積分して
記憶する記憶手段と、撮影条件や被写体条件により前記
複数の白領域の色評価値の積分値を補正する補正手段を
有し、該補正後の白領域の色評価値の積分値より得られ
た各色信号の利得制御値により前記色信号の利得を制御
してホワイトバランス調整を行うようにした。

【００４４】また、請求項３０に係る発明によれば、撮
像素子の複数の画素から得られる色信号から第１の色評
価値を算出する第１の色評価値算出手段と、第１の色評
価値より色温度変化時における第１の白色変化範囲を設
定する第１の設定手段と、第１の色評価値が第１の白色
変化範囲に入るか否かを判別する第１の判別手段と、第
１の白色変化範囲に入る第１の色評価値より各色信号の
第１の利得制御値を得る第１の演算手段と、前記第１の
色評価値を求めた画素数よりも多い数の画素から第２の
色評価値を算出する第２の色評価値算出手段と、前記第
１の白色変化範囲とは独立した範囲の第２の白色変化範
囲を設定する第２の設定手段と、第２の色評価値が第２
の白色変化範囲に入るか否かを判別する第２の判別手段
と、第２の白色変化範囲に入る第２の色評価値より前記
各色信号の第２の利得制御値を得る第２の演算手段と、
前記第１の白色変化範囲に入る画素数及び第１の白色変
化範囲に入らない画素数を検出する検出手段と、その検
出画素数に応じた混成比を算出する混成比算出手段を有
し、該算出した混成比に応じて前記第１の利得制御値と
第２の利得制御値を混成して得られた撮像素子の出力に
対する利得制御値により前記色信号の利得を制御してホ
ワイトバランス調整を行うようにした。

【００４５】また、請求項３１に係る発明によれば、撮
像素子の複数の画素から得られる色信号から第１の色評
価値を算出する第１の色評価値算出手段と、第１の色評
価値より色温度変化時における第１の白色変化範囲を設
定する第１の設定手段と、該第１の白色変化範囲を撮影
条件と被写体条件により変化させる第１の変化手段と、
第１の色評価値が第１の白色変化範囲に入るか否かを判
別する第１の判別手段と、第１の白色変化範囲に入る第
１の色評価値より各色信号の第１の利得制御値を得る第
１の演算手段と、前記第１の色評価値を求めた画素数よ
りも多い数の画素から第２の色評価値を算出する第２の
色評価値算出手段と、前記第１の白色変化範囲とは独立
した範囲の第２の白色変化範囲を設定する第２の設定手
段と、第２の色評価値が第２の白色変化範囲に入るか否
かを判別する第２の判別手段と、第２の白色変化範囲に
入る第２の色評価値より前記各色信号の第２の利得制御
値を得る第２の演算手段と、前記第１の白色変化範囲に
入る画素数及び第１の白色変化範囲に入らない画素数を
検出する検出手段と、その検出画素数に応じた混成比を
算出する混成比算出手段を有し、該算出した混成比に応
じて前記第１の利得制御値と第２の利得制御値を混成し
て得られた撮像素子の出力に対する利得制御値により前
記色信号の利得を制御してホワイトバランス調整を行う
ようにした。

【００４６】また、請求項３２に係る発明によれば、撮
像素子の複数の画素から得られる色信号から第１の色評
価値を算出する第１の色評価値算出手段と、第１の色評
価値より色温度変化時における第１の白色変化範囲を設
定する第１の設定手段と、該第１の白色変化範囲を複数
の白領域に分割する分割手段と、前記第１の色評価値が
前記白領域に入るか否かを判別する第１の判別手段と、
白領域に含まれる第１の色評価値を該白領域毎に積分し
て記憶する記憶手段と、撮影条件や被写体条件により前
記複数の白領域のうち有効な白領域を選択する選択手段
と、該有効な白領域の色評価値の積分値より各色信号の
第１の利得制御値を得る第１の演算手段と、前記第１の
色評価値を求めた画素数よりも多い数の画素から第２の
色評価値を算出する第２の色評価値算出手段と、前記第
１の白色変化範囲とは独立した範囲の第２の白色変化範
囲を設定する第２の設定手段と、第２の色評価値が第２
の白色変化範囲に入るか否かを判別する第２の判別手段
と、その第２の白色変化範囲に入る第２の色評価値より
前記各色信号の第２の利得制御値を得る第２の演算手段
と、前記第１の白色変化範囲に入る画素数及び第１の白
色変化範囲に入らない画素数を検出する検出手段と、そ
の検出画素数に応じた混成比を算出する混成比算出手段
を有し、該算出した混成比に応じて前記第１の利得制御
値と第２の利得制御値を混成して得られた撮像素子の出
力に対する利得制御値により前記色信号の利得を制御し
てホワイトバランス調整を行うようにした。

【００４７】また、請求項３３に係る発明によれば撮像
素子の複数の画素から得られる色信号から第１の色評価
値を算出する第１の色評価値算出手段と、第１の色評価
値より色温度変化時における第１の白色変化範囲を設定
する第１の設定手段と、該第１の白色変化範囲を複数の
白領域に分割する分割手段と、前記第１の色評価値が前
記白領域に入るか否かを判別する第１の判別手段と、白
領域に含まれる第１の色評価値を該白領域毎に積分して
記憶する記憶手段と、撮影条件や被写体条件により前記
複数の白領域の色評価値の積分値を補正する補正手段
と、該補正後の白領域の色評価値の積分値より各色信号
の第１の利得制御値を得る第１の演算手段と、前記第１
の色評価値を求めた画素数よりも多い数の画素から第２
の色評価値を算出する第２の色評価値算出手段と、前記
第１の白色変化範囲とは独立した範囲の第２の白色変化
範囲を設定する第２の設定手段と、該第２の色評価値が
第２の白色変化範囲に入るか否かを判別する第２の判別
手段と、その第２の白色変化範囲に入る第２の色評価値
より前記各色信号の第２の利得制御値を得る第２の演算
手段と、前記第１の白色変化範囲に入る画素数及び第１
の白色変化範囲に入らない画素数を検出する検出手段
と、その検出画素数に応じた混成比を算出する混成比算
出手段を有し、該算出した混成比に応じて前記第１の利
得制御値と第２の利得制御値を混成して得られた撮像素
子の出力に対する利得制御値により前記色信号の利得を
制御してホワイトバランス調整を行うようにした。

【００４８】また、請求項３４に係る発明によれば、請
求項２８または２９または３２または３３において、利
得が制御された各色信号をマトリクスを用いて色変換す
る変換手段と、白変化領域の分割数に応じた複数のマト
リクスを保持する保持手段を備え、ホワイトバランスの
利得制御値により該複数のマトリクスから１つのマトリ
クスを選択し、該選択されたマトリクスを用いて色変換
を行うようにした。

【００４９】また、請求項３５に係る発明によれば、請
求項２８または２９または３２または３３において、利
得が制御された各色信号をマトリクスを用いて色変換す
る変換手段と、白変化領域に対応する少なくとも２つ以
上のマトリクスを保持する保持手段と、ホワイトバラン
スの利得制御値と上記２つ以上のマトリクスから補間演
算によって新たなマトリクスを算出するマトリクス算出
手段を備え、該新たなマトリクスを用いて色変換を行う
ようにした。

【００５０】また、請求項３６に係る発明によれば、請
求項２７ないし３５何れかにおいて、分光特性の異なる
３種類以上の色フィルタを有する撮像素子を有し、異な
る２色フィルタの撮像素子の出力信号の差分を表す第１
の信号を得る処理手段と、前記２色フィルタ以外の組み
合わせの色フィルタの撮像素子の出力信号の差分を表す
第２の信号を得る処理手段と、輝度信号を作成する処理
手段とを有するとともに、前記第１の信号と輝度信号と
の比率を表す第１の比率信号と、前記第２の信号と輝度
信号との比率を表す第２の比率信号を作成する作成手段
を有し、前記第１の信号と第２の信号をホワイトバラン
ス調整のための色評価値とするようにした。

【００５１】また、請求項３７に係る発明によれば、分
光特性の異なる４種類の補色フィルタを備えた撮像素子
を有し、第１の色フィルタの信号と第２の色フィルタの
信号を加算して第５の信号を作成し、第２の色フィルタ
の信号と第３の色フィルタの信号を加算して第６の信号
を作成し、第３の色フィルタの信号と第４の色フィルタ
の信号を加算して第７の信号を作成し、第１の色フィル
タの信号と第４の色フィルタの信号を加算して第８の信
号を作成し、前記第５から第８の信号を用いて画像信号
を作成する信号処理装置を備えるとともに、前記第５か
ら第８の信号により前記第１から第４の４種類の補色信
号を復元する演算手段と、前記第４種類の補色信号より
色評価値を算出する色評価値算出手段と、該色評価値よ
り色温度変化時における白色変化範囲を設定する設定手
段と、前記色評価値が白色変化範囲に入るか否かを判別
する判別手段を備え、該白色変化範囲に入る色評価値よ
り得られた利得制御値により前記色信号の利得を制御し
てホワイトバランス調整を行うようにした。

【００５２】また、請求項３８に係る発明によれば、請
求項２７ないし３５何れかにおいて、分光特性の異なる
４種類の補色フィルタを備えた撮像素子を有し、第１の
色フィルタの信号と第２の色フィルタの信号を加算して
第５の信号を作成し、第２の色フィルタの信号と第３の
色フィルタの信号を加算して第６の信号を作成し、第３
の色フィルタの信号と第４の色フィルタの信号を加算し
て第７の信号を作成し、第１の色フィルタの信号と第４
の色フィルタの信号を加算して第８の信号を作成し、前
記第５から第８の信号を用いて画像信号を作成する信号
処理装置を備えるとともに、前記第５から第８の信号に
より前記第１から第４の４種類の補色信号を復元する演
算手段と、復元された異なる２色の信号の差分を表す第
９の信号を得る処理手段と、前記２色信号以外の組み合
わせの２色の差分を表す１０の信号を得る処理手段と、
輝度信号を作成する作成手段と、前記第９の信号と輝度
信号との比率を表す第１１の比率信号と前記第１０の信
号と輝度信号との比率を表す第１２の比率信号を作成す
る作成手段とを備え、前記第１１の信号と第１２の信号
をホワイトバランス調整のための色評価値とするように
した。

【００５３】また、請求項３９に係る発明によれば、請
求項２７ないし３５何れかにおいて、分光特性の異なる
色フィルタを備えた撮像素子を有し、この撮像素子から
の出力信号を各色毎に分離する色分離手段と、該色分離
手段からの各色信号の帯域を制限する第１の帯域制限手
段を備え、該第１の帯域制限手段からの色信号をホワイ
トバランス手段の入力信号とし、該ホワイトバランス手
段によりホワイトバランスがとられた色信号に第２の帯
域制限手段を用いて帯域制限するようにした。

【００５４】

【発明の実施の形態】以下、添付の図面に沿って本発明
の実施の形態を説明する。

【００５５】（第１の実施の形態）図１は第１の実施の
形態の撮像装置が有する信号処理装置の構成を示すブロ
ック図である。ここでは、撮像素子１０１に図２に示す
ような配列の補色フィルタが備え付けられている場合に
ついて説明する。

【００５６】撮像素子１０１の出力信号は、プリプロセ
ス回路１０２を経てＡ／Ｄ変換回路１０３に入り、ここ
でデジタル信号となり、ＯＢ回路１０４によって黒レベ
ルが揃えられ、メモリ１０５に一旦記憶される。メモリ
１０５から読み出された画像信号は、ホワイトバランス
回路１０６に送られ、後述する方法で決定された利得調
整値により色信号のゲインが調整されて出力される。こ
のホワイトバランス回路１０６の出力信号は、色分離色
補間回路１０８に送られ、ここでＭａ，Ｇ，Ｃｙ，Ｙｅ
の４信号が同時に色処理部に出力され、また輝度処理部
には撮像素子１０１のフィルタ配列のままの信号が送ら
れる。

【００５７】色処理部においては、垂直ローパスフィル
タ回路１０９にて垂直方向の帯域が制限され、マトリク
ス回路１１０でＲＧＢの色信号に変換される。ＲＧＢ信
号はガンマ変換回路１１１にてガンマ補正され、純色色
差変換回路１１２によりＹ，Ｒ−Ｙ，Ｂ−Ｙの各信号に
変換される。その後、Ｃ＿ＳＵＰ回路１１３にて飽和領
域の色消し処理が行われた色差信号は、水平ローパスフ
ィルタ回路１１４を通り、Ｙ補正回路１２０，色補正回
路１１５に送られる。

【００５８】一方輝度処理部においては、色フィルタに
よる輝度段差補正のためのフィルタが垂直ローパスフィ
ルタ回路１１６，水平ローパスフィルタ回路１１７によ
りかけられ、ＡＰＣ回路１１８によりエッジ強調が行わ
れ、ガンマ補正回路１１９によってガンマ補正される。
その後、Ｈ−ＬＰＦ回路１１４からの色差信号を用いて
Ｙ補正回路１２０にて輝度信号の微妙な輝度調整が実施
される。

【００５９】そして、上記色処理部からの色差信号と輝
度処理部からの輝度信号は圧縮回路１２１でＪＰＥＧな
どの圧縮が行われ、フラッシュメモリ等のメモリ１２２
に記憶される。

【００６０】次に、本実施例の主眼点であるホワイトバ
ランス回路１０６の動作について説明する。

【００６１】例えば、撮像素子１０１のＣＣＤ補色フィ
ルタが図２のように配列されている場合、同図の８画素
配列を単位ブロックとして、この単位ブロックの繰り返
しで全体が成り立っている。この８画素のうち上部また
は下部の４画素（Ｍａ，Ｇ，Ｃｙ，Ｙｅ）を白評価サン
プルポイントとして用い、各サンプルポイントにおいて
色評価値 （Ｍａ−Ｇ）／Ｙ，（Ｙｅ−Ｃｙ）／Ｙ （但しＹは輝
度信号） を算出し、予め設定した白判別範囲に含まれる点を白と
判別し、積分する。

【００６２】上記白判別範囲の設定方法は、予め白紙を
自然界に存在する複数の色温度で撮影し、各色温度で上
述の色評価値を求め、図３に示すように例えばＸ軸に
（Ｙｅ−Ｃｙ）／Ｙ、Ｙ軸に（Ｍａ−Ｇ）／Ｙをとって
プロットしたものを白判別範囲に設定する。

【００６３】以下に、ホワイトバランス回路１０６の処
理の流れを説明する。

【００６４】（１）被写体の撮影条件および／または被
写体条件から白判別範囲の修正をする。これは、実際の
色温度と大幅に異なる白判別範囲内の信号を検出するこ
とを防ぎ、かつデイライトでの撮影時にフラッシュをＯ
Ｎにした場合の白判別精度を向上させるものである。

【００６５】撮影条件及び／または被写体条件とは、明
るさを示すＥＶ値，シャッタースピードＴＶ値，絞り値
であるＦナンバー，被写体までの距離，フラッシュのＯ
Ｎ／ＯＦＦ情報，被写体への外光とフラッシュ光の影響
度などである。

【００６６】撮影時においてフラッシュがＯＦＦの時、
ＥＶ値がある程度以上大きいならば、屋外で撮影したと
憶測し、図４の（ａ）の右側部に示すように白判別範囲
内の低色温度側のリミッタ（Ｘ軸値 Ｘ軸は色温度の変
化方向）を高色温度側にシフトする（屋外光は多くの場
合５０００Ｋ付近）。経験ではＥＶ値が１０以上の場合
は屋外撮影の可能性が大きくなり、このことを利用し
て、リミッタはＥＶ値を入力として、次式（１−１）の
線形演算により移動させる。

【００６７】 limit Low Temp＝a1＊EV＋b1 （１−１） また、ＥＶ値がある程度大きい時は（約１３以上）、図
４の（ａ）の左側部に示すように高色温度側のリミッタ
も下記の式（１−２）を用いて低温度側にシフトする
（６０００Ｋ付近）。これは、空の淡い青を白と誤判別
するのを防ぐためである。また、日陰の色温度は６００
０Ｋを超える場合があるため、通常の場合は７０００Ｋ
位のリミットにしておくのが好ましい。

【００６８】 limit High Temp ＝a2＊EV＋b2 （１−２） 次に、フラッシュ撮影の場合、フラッシュ光の被写体に
対する影響度が低くなるにつれて外光の影響が強くなる
ため、白判別範囲の面積を広げ、外光追従可能とする。
そこで、フラッシュの被写体への影響度ｅｆｆｅｃｔＦ
ｌａｓｈを、主被写体までの距離，ＥＶ値，フラッシュ
の発光量などから求め、それにより図４の（ｂ）に示す
ように下記の式（１−３）を用いて白判別範囲を変化さ
せる。この式は上記の式１−１，１−２等と同様に一次
方程式であり、この場合は入力を影響度、出力をリミッ
タ値とするものである。

【００６９】 limit Flash Temp＝a3＊effectFlash ＋b3 （１−３） ここで、フラッシュの被写体への影響度は、ＵＳＰ５５
６８１８７号明細書（ＯＫＩＮＯパテント）記載の手法
等を用いて算出する。

【００７０】また、絞りＦ値が開放でシャッタースピー
ド値ＴＶがある程度長い時には、ほぼ屋内撮影と断定で
きるため、図４の（ｃ）に示すように高色温度側のリミ
ッタを蛍光燈の色温度までシフトする。この場合のリミ
ッタ設定も、入力がＴＶ値、出力がリミッタ値（Ｘ軸
値）の次式の線形演算を行う limit Tv Temp ＝a4＊TV＋b4 （１−４）

【００７１】次に、各色信号の利得を制御するための第
１，第２の利得制御値をそれぞれ算出する。

【００７２】第１の利得制御値は、上記（１）で定めら
れた白判別範囲に含まれるようなサンプルポイントの信
号に基づいて算出される。ここで、サンプルポイントと
は、上述したが、Fig.１２に示すように、Ｍａ，Ｇ，Ｃ
ｙ，Ｙｅの４画素を一組としたものである。

【００７３】また、第２の利得制御値は、上記（１）で
定められた白判別範囲に含まれるような小領域（サンプ
ルエリア）の信号を平均化して得られた信号に基づいて
算出される。ここで、小領域とは、１画面をｍ個の領域
に分割した内の１つの領域を示し、小領域の信号とは、
その小領域に存在するＭａ，Ｇ，Ｃｙ，Ｙｅを各画素ご
とに平均化して得られた信号のことを示す。

【００７４】初めに、第１の利得制御値の算出方法を示
す。

【００７５】（２）まず、Fig.１２に示すサンプルポイ
ントが以下の式をすべて満たすかどうか調べる。

【００７６】Dark Threshold＜（Ma＋G ＋Cy＋Ye）／４ Bright Threshold＞Ma Bright Threshold＞G Bright Threshold＞Cy Bright Threshold＞Ye

【００７７】（３）（２）の式のすべてを満たすサンプ
ルポイントにおいて、下記の式に基づいて算出される色
評価値ｗＸ，ｗＹを求める。

【００７８】wX=(Ye-Cy)/Ylow（Ｉ） wY=(Ma-G)/Ylow（ＩＩ） 但し、Ylow=(Ma+G+Cy+Ye)

【００７９】（４）（３）において各サンプルポイント
においてそれぞれ求められた色評価値が（１）において
定められた白判別範囲に含まれるか否かを判別する。色
評価値が（１）において定められた白判別範囲に含まれ
る場合は、そのサンプルポイントの画素から出力される
出力値を各色ごとに加算レジスタに加える。この処理を
画面上の全てのサンプルポイントで行う。

【００８０】reg1Ma=reg1Ma+Ma reg1G=reg1G+G reg1Cy=reg1Cy+Cy reg1Ye=reg1Ye+Ye

【００８１】（５）全てのサンプルポイントにおいて、
（４）の処理が終了した場合、（４）において白と判別
したサンプルポイントの総数がＳＮ１に、白でないと判
別されたサンプルポイントの総数がＳＮ２にそれぞれ後
述の式へ代入される。

【００８２】（６）第１の利得制御値を（４）の加算レ
ジスタから以下のように求める。

【００８３】 gmg1＝aveReg1 ／reg1Ma (aveReg1＝(reg1Ma ＋reg1G ＋reg1Cy＋reg1Ye)/4) gg1 ＝aveReg1 ／reg1G gcy1＝aveReg1 ／reg1Cy gye1＝aveReg1 ／reg1Ye

【００８４】次に、第２の利得制御値の算出方法を示
す。なお、第２の利得制御値の算出は、第１の利得制御
値の算出と平行に行われる。

【００８５】（７）まず、Fig.１２に示すように、１画
面がｍ個の小領域に分割され、その分割された各領域
（サンプルエリア）ごとにＭａ，Ｇ，Ｃｙ，Ｙｅの加算
値を格納する加算レジスタの初期化を行う。

【００８６】reg2Ma〔m〕 reg2G〔m〕 reg2Cy〔m〕 reg2Ye〔m〕

【００８７】（８）分割された各領域（サンプルエリ
ア）内において、サンプルエリア内のサンプルポイント
における画素の撮像素子出力値が以下の式をすべて満た
すかどうか、すなわち、サンプルポイントがホワイトバ
ランスデータとして計算できる明るさの範囲にあるかど
うかそれぞれ調べる。

【００８８】Dark Threshold＜（Ma＋G ＋Cy＋Ye）／４ Bright Threshold＞Ma Bright Threshold＞G Bright Threshold＞Cy Bright Threshold＞Ｙｅ

【００８９】各領域内において、これらの式を満たすサ
ンプルポイントのみ、各色の加算レジスタにそれぞれ画
素の撮像素子出力値を加えていく。

【００９０】ｒｅｇ２Ｍａ〔m〕= reg2Ma〔m〕+Ma reg2G〔m〕= reg2G〔m〕+G reg2Cy〔m〕= reg2Cy〔m〕+Cy reg2Ye〔m〕= reg2Ye〔m〕+Ye

【００９１】（９） 各領域内において、（８）の処理
によって得られた各色の加算レジスタの値は、各色の加
算レジスタごとに平均化される。平均化して得られた値
は、上記（Ｉ），（ＩＩ）に代入され、その領域（サン
プルエリア）における色の評価値が求められる。このよ
うにして得られた各領域の色評価値が（１）で定められ
た白判別範囲に含まれるかどうか判断する。そして、白
判別範囲内に含まれると判断された領域の加算レジスタ
の値のみ、下記の領域平均レジスタに加える。

【００９２】reg2Ma= reg2Ma+reg2Ma〔m〕 reg2G= reg2G+reg2G〔m〕 reg2Cy= reg2Cy+reg2Cy〔m〕 reg2Ye= reg2Ye+reg2Ye〔m〕

【００９３】（１０）第２の利得制御値を（９）におい
て求められた領域平均レジスタの値に基づいて下記の式
によって求める。

【００９４】 gmg2＝aveReg2 ／reg2Ma (aveReg2＝(reg2Ma ＋reg2G ＋reg2Cy＋reg2Ye)/4) gg2 ＝aveReg2 ／reg2G gcy2＝aveReg2 ／reg2Cy gye2＝aveReg2 ／ｒｅｇ２Ｙｅ

【００９５】なお、（９）において求められた各領域の
色の評価値のいずれも（１）で定められた白判別範囲に
含まれていない場合、各領域の色評価値のいずれか一つ
が（１）で定められた白判別範囲に含まれるまで画面の
各分割領域（サンプルエリア）の面積を段階的に広げ
る。

【００９６】（１１）（５）において得られたＳＮ１と
ＳＮ２の比率および（６）において得られた第１の利得
制御値、（１０）において得られた第２の利得制御値よ
り、ホワイトバランス調整データ（ｗｍｇ１，ｗｇ１，
ｗｃｙ１，ｗｙｅ１）を作る。

【００９７】例えば、以下のような処理を施す。

【００９８】（ＳＮ１／（SN1 ＋SN2 ））≧αの場合、 第１の利得制御値をそのままホワイトバランス調整デー
タとする wmg1＝gmg1 wg1 ＝gg1 wcy1＝gcy1 wye1＝gye1 β＜（SN1/（SN1 ＋SN2 ））＜αの場合、以下の条件式
で、入力ＳＮ１，出力Ｐの１次関数を作成する。

【００９９】（条件） ＳＮ１＝α→Ｐ＝１ ＳＮ１＝β→Ｐ＝０ となる （１次関数式） ｐ＝ａ×ＳＮ１＋ｂ

【０１００】

【外１】 wmg1＝p ＊gmg1＋(1−p)＊gmg2 wcy1 ＝p ＊gcy ＋(1−p)＊gcy2 wye1 =p *gye1 +(1-p)*gye2 （SN1/（SN1 ＋SN2 ））≦βの場合 wmg1＝gmg2 wg1 ＝gg2 wcy1＝gcy2 wye1＝gye2 （ただし、０＜β＜α＜１） そして、これらの値をホワイトバランス調整データとし
て記憶する。

【０１０１】以上のようにして、撮影条件と被写体条件
により白判別範囲を変化させることにより、実際の色温
度と大幅に異なる白判別範囲内の信号を検出することが
なくなり、より正確なホワイトバランス信号を得ること
が可能となる。

【０１０２】また、（１）で定められた白判別範囲に入
るサンプルポイントの数に応じて第１、第２の利得制御
値を用いてホワイトバランス調整データを求める演算方
法を変えているので、大きくホワイトバランスがくずれ
ることがない。

【０１０３】また、本実施例では図２に示すような補色
センサーを用いる場合について説明したが、純色センサ
ーの場合でも実施可能であり、その場合、例えば色評価
値をＲ−Ｙ，Ｂ−Ｙで設定すれば良い。

【０１０４】また、本実施例では、白判別領域の領域幅
を自動で決定したが、図９に示すようにマニュアルで設
定しても良い。例えば、白判別範囲を、太陽光の場合は
図９の（ａ），蛍光燈の場合は図９の（ｂ），タングス
テン光の場合は図９の（ｃ），フラッシュ光の場合は図
９の（ｄ）のように限定する。

【０１０５】（第２の実施の形態）第２の実施の形態に
おけるホワイトバランス処理は、上述の第１の実施例に
おける白判別範囲を図５に示すように色温度別に定めら
れた白判別領域に分割し、撮影条件と被写体条件により
適切な白判別領域を選択し、その領域内に存在する色評
価値を有するサンプルポイントおよび１画面をｍ個に分
割して得られた領域に基づいてホワイトバランス制御す
る点を特徴としている。また、色温度別に補色純色変換
マトリクスを備え、上記選択された白判別領域内の色評
価値を平均化することにより色温度を算出し、複数のマ
トリクスの中から色温度に対応する上記マトリクスを選
択する構成である。

【０１０６】以下に、ホワイトバランスの処理の流れを
説明するが、第２の利得制御値を求める手法は第１の実
施例と同様であるため説明は省略する。

【０１０７】（１）予め白判別範囲を図５に示すように
約８０００Ｋから２０００Ｋまで、１０００Ｋ毎に６個
の白判別領域に分割する。

【０１０８】最適な色再現の画像を得るためには、被写
体の色温度によって補色−純色変換用のマトリクスを変
化させることは必須である。よって予め、最適な色再現
を達成するために、照明光の色温度範囲内での必要な色
変換マトリクス数を検討しておく。そして、個々のマト
リクスで再生する色温度範囲に対応して白判別範囲を分
割する。

【０１０９】（２）第１の利得制御値を求めるために、
図１２に示すサンプルポイントがホワイトバランスデー
タとして計算できる明るさがあるかどうかを調べる（第
１の実施例と同じ）。

【０１１０】（３）サンプルポイントにおいて、色評価
値ｗＸ，ｗＹを求める。

【０１１１】 ｗＸ＝（Ｙｅ−Ｃｙ）／Ｙｌｏｗ （１） ｗＹ＝（Ｍａ−Ｇ）／Ｙｌｏｗ （２） 但しＹｌｏｗ＝（Ｍａ＋Ｇ＋Ｃｙ＋Ｙｅ）／４

【０１１２】（４）（３）における色評価値を、予め設
定した白判別領域の中で該当する白判別領域の加算レジ
スタに加える。

【０１１３】reg1Ma〔K 〕＝reg1Ma＋Ma reg1G 〔K 〕＝reg1G ＋G reg1Cy〔K 〕＝reg1Cy＋Cy reg1Ye〔K 〕＝reg1Ye＋Ye ０≦ｋ≦５

【０１１４】（５）全てのサンプルポイントにおいて
（４）の処理が終了したら、（４）において白と判別し
たサンプルの総数をＳＮ１に、白でないサンプルの総数
をＳＮ２に代入する。

【０１１５】（６）図５の６個の白判別領域の中から、
被写体の撮影条件と被写体条件から適切な白判別領域を
選択し、選択された白領域の加算レジスタから第１の利
得制御値を求める。そして第１の実施の形態と同様に第
１、第２の利得制御値に基づいてホワイトバランス調整
データを作成し、ホワイトバランス補正する。

【０１１６】第１の実施の形態と同様に、撮影条件及び
被写体条件とは、明るさを示すＥＶ値，シャッタースピ
ードＴＶ値，絞り値であるＦナンバー，被写体までの距
離，フラッシュのＯＮ／ＯＦＦ情報，被写体への外光と
フラッシュ光の影響度などである。

【０１１７】撮影時においてフラッシュがＯＦＦの時、
ＥＶ値がある程度以上大きいならば、屋外で撮影したと
憶測し、第１の実施の形態と同様の白判別範囲に相当す
る白判別領域を限定する。限定の結果、白判別領域内に
色評価値が存在するポイントの数が０になってしまった
ら白判別領域を１つ増やす。

【０１１８】同時に、ＥＶ値がある程度大きい時は（約
１３以上）、高色温度側の白判別領域は使用しない（６
０００Ｋ付近）。これは、空の淡い青を白と誤判別する
のを防ぐためである。

【０１１９】また、ストロボ装置によるフラッシュＯＮ
の時には、フラッシュの被写体への影響度を、主被写体
までの距離，ＥＶ値，フラッシュの発光量などから求
め、その結果により白判別領域が選択される。第１の実
施の形態と同様に、フラッシュ光の影響度が高い場合は
白判別領域をフラッシュ光の色温度の白判別領域のみ用
いる。また、フラッシュ光の影響度が低くなるにつれて
白判別領域の選択範囲を広げていき、外光まで追従させ
る。

【０１２０】また、絞りＦ値が開放でシャッタースピー
ド値ＴＶがある程度長い時には、ほぼ屋内撮影と断定で
きるため第１の実施の形態と同様に高色温度側の白判別
領域を徐々に使用しないようにする。

【０１２１】（７）（６）において選択された白判別領
域内の色評価価値の平均値により光源の色温度を算出
し、その色温度に対応する色変換マトリクスを選択す
る。例えば、図５において光源の色温度が５１００Ｋと
算出された場合は、この色温度に最も近い５０００Ｋの
色温度に対応するマトリクス４を選択する。

【０１２２】以上のようにして、白判別範囲を色温度別
に複数の白判別領域に分割し、被写体の撮影条件と被写
体条件により適切な白判別領域を選択するようにしてい
るため、実際の色温度と大幅に異なるサンプルポイント
を検出することがなくなり、より正確なホワイトバラン
ス信号を得ることが可能となる。また、算出された光源
の色温度選択に基づいて色変換マトリクスを選択するこ
とにより、例えば、光源の色温度が高い場合には赤色を
強調するようなマトリクスを選択し、光源の色温度が低
い場合には青色を強調するようなマトリクスを選択する
ため、その色温度において最適な色再現が実現できる。

【０１２３】また、本実施の形態では図２に示すような
補色センサーを用いる場合について説明したが、純色セ
ンサーの場合でも実施可能であり、その場合、例えば色
評価値をＲ−Ｙ，Ｂ−Ｙで設定すれば良い。

【０１２４】また第１の実施の形態と同様に、図５複数
の白判別領域の選択をマニュアルで決定しても良い。

【０１２５】（第３の実施の形態）第３の実施の形態に
おけるホワイトバランス処理は、第１の実施の形態にお
ける白判別範囲を予め所定の色温度別の白判別領域に分
割し、撮影条件と被写体条件により適切な白判別領域の
それぞれにおける加算レジスタの値を補正して重み付け
を行う点が特徴である。また、第２の実施の形態と同様
に、色温度別に補色純色変換マトリクスを備え、算出さ
れたホワイトバランス係数より色温度値を抽出し、複数
のマトリクスの中から色温度に対応するマトリクスを選
択する手段を備えている。

【０１２６】以下に、ホワイトバランスの処理の流れを
説明するが、第２の利得制御値を求める手法は第１の実
施の形態と同様であるため説明は省略する。

【０１２７】（１）予め白判別範囲を図５に示すよう
に、約８０００Ｋから２０００Ｋまで１０００Ｋ毎に６
個の白判別領域に分割する。

【０１２８】（２）第１の利得制御値を求めるために、
サンプルポイントがホワイトバランスデータとして計算
できる明るさがあるかどうかを調べる（第１の実施の形
態と同じ）。

【０１２９】（３）サンプルポイントにおいて、色評価
値ｗＸ，ｗＹを求め、予め設定された６個の白判別領域
のどれに当てはまるか判定する。

【０１３０】 ｗＸ＝（Ｙｅ−Ｃｙ）／Ｙｌｏｗ （１） ｗＹ＝（Ｍａ−Ｇ）／Ｙｌｏｗ （２） 但しＹｌｏｗ＝（Ｍａ＋Ｇ＋Ｃｙ＋Ｙｅ）／４

【０１３１】（４）（３）における色評価値を、予め設
定された白判別領域の中で適切な領域の加算レジスタに
加える。

【０１３２】reg1Ma〔K 〕＝reg1Ma＋Ma reg1G 〔K 〕＝reg1G ＋G reg1Cy〔K 〕＝reg1Cy＋Cy reg1Ye〔K 〕＝reg1Ye＋Ye ０≦ｋ≦５

【０１３３】（５）全てのサンプルポイントにおいて
（４）の処理が終了したら、（４）において白判別領域
に色評価値が存在すると判別されたサンプルポイントの
総数をＳＮ１に、白判別領域に色評価値が存在しないと
判別されたサンプルポイントの総数をＳＮ２に代入す
る。

【０１３４】（６）上記６個の白判別領域において、撮
影条件および／又は被写体条件から各白判別領域の加算
レジスタへの補正ゲインを図６の（ａ）に示すような色
温度−補正ゲイングラフより求め、ゲイン補正後の白判
別領域の加算レジスタの平均値より第１の利得制御値を
求める。そして第１の実施の形態と同様に第１、第２の
利得制御値に基づいてホワイトバランス調整データを作
成し、ホワイトバランス補正する。

【０１３５】撮影時においてフラッシュがＯＦＦの時、
ＥＶ値が例えば１３ならば、屋外で撮影したと憶測し、
図６の（ａ）の右側部に示すような予め設定した色温度
−補正ゲイングラフより、低色温度側の白判別領域の加
算レジスタの値のゲインを下げる。例えばＥＶ＝１３の
とき、２０００〜４０００Ｋ，７０００〜８０００Ｋの
白判別領域のゲインは０であるので各加算レジスタの値
が０となり４０００〜５０００Ｋの白判別領域の補正ゲ
インは０．２５であるのでその領域の加算レジスタの値
に０．２５が掛けられる。そして、５０００Ｋ〜７００
０Ｋの白判別領域の補正ゲインは１．０であるので各加
算レジスタの値に１．０が掛けられる。そして、このよ
うにそれぞれゲイン補正された加算レジスタの平均値よ
り第１の利得制御値を求める。ここで作成したグラフ
は、入力を色温度、出力を補正ゲインとしたものを適当
なＥＶ値分だけ用意する。本実施例の場合は、ＥＶ１３
からＥＶ１０までの４本のグラフを用意している。

【０１３６】同時に、図６の（ａ）の左側部のように高
色温度側の白判別領域の加算レジスタの値も補正を行
う。これは、空の淡い青を白と誤判別するのを防ぐため
である。

【０１３７】また、フラッシュＯＮの時には、フラッシ
ュの被写体への影響度を、主被写体までの距離，ＥＶ
値，フラッシュの発光量などから求め、それにより白判
別領域のゲインを変化させる。図６の（ｂ）に示すよう
に、フラッシュ光の影響度が高い場合は白判別領域の重
みをフラッシュ光の色温度の周辺部のみとし、フラッシ
ュ光の影響度が低くなるにつれて白判別領域の重み範囲
を広げていき、外光まで追従させる。

【０１３８】また、シャッタースピードによる重みも第
１の実施の形態と同様に、シャッタースピードが遅けれ
ば高色温度側の重みを減らすようにする。

【０１３９】（７）（６）において各白領域の加算レジ
スタを補正し、補正後の各レジスタの平均値により
（３）における式によって色評価値を算出し、算出され
た色評価値に対応する光源の色温度を図５のグラフから
求め、それに対応する色変換マトリクスを第２の実施の
形態と同様に選択する。

【０１４０】以上のようにして、白判別範囲を色温度別
に複数の白判別領域に分割し、被写体の撮影条件と被写
体条件に応じて各白判別領域の加算レジスタに重み付け
を施すようにしているため、より正確なホワイトバラン
ス信号を得ることが可能となる。また、上述のように算
出された光源の色温度に基づいてマトリクスを選択する
ため、その色温度において最適な色再現が実現できる。

【０１４１】また、本実施の形態では図２に示すような
補色センサーを用いる場合について説明したが、純色セ
ンサーの場合でも実施可能であり、その場合、例えば色
評価値をＲ−Ｙ，Ｂ−Ｙで設定すれば良い。

【０１４２】また第１の実施の形態と同様に、撮影時の
照明条件をマニュアルで設定し、それに応じた重みを設
定すれば、より効果的なホワイトバランスが可能とな
る。

【０１４３】（第４の実施の形態）図７は、本発明の第
４の実施の形態の撮像装置が有する信号処理装置の構成
を示すブロック図である。ここで、ホワイトバランス以
降の処理は第１の実施の形態と同様であるので説明は省
略する。本実施の形態は、撮像素子を加算読み出しした
場合でも、非加算読み出し時のホワイトバランスブロッ
クを使用できるように工夫したものである。

【０１４４】撮像素子２０１からの出力信号は、プリプ
ロセス回路２０２を経てＡ／Ｄ変換回路２０３によりデ
ジタル信号となり、更にＯＢ回路２０４によって黒レベ
ルが揃えられ、メモリ２０５に一旦記憶される。メモリ
２０５から読み出された画像信号は、演算部２０６にて
補色信号に復元され、ホワイトバランス回路２０７に送
られて利得調整値が算出される。また画像信号は、ホワ
イトバランス回路２０７からの利得制御値によりホワイ
トバランスが調整されて出力される。

【０１４５】上記演算部２０６の処理内容を説明する
と、加算信号（Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ）は次式で表さ
れる。

【０１４６】Ｗｒ＝Ｍａ＋Ｇ （４−１） Ｗｂ＝Ｍａ＋Ｃｙ （４−２） Ｇｂ＝Ｇ＋Ｃｙ （４−３） Ｇｒ＝Ｇ＋Ｙｅ （４−４） ４−１，４−２式よりＧ−Ｃｙが得られ、４−３式より
Ｇ信号が得られるのは明瞭である。このようにして、Ｍ
ａ，Ｇ，Ｃｙ，Ｙｅ信号を復元し、ホワイトバランス回
路２０７の入力信号とする。そして、その出力を色分離
色補間回路２０８に送る。

【０１４７】このようにして、補色フィルタを備えた撮
像素子２０１に対して非加算読み出しを行い、ホワイト
バランス回路２０７の白判別範囲を例えば補色信号によ
る利得制御値 （Ｍａ−Ｇ）／Ｙ （Ｙｅ−Ｃｙ）／Ｙ で設定した場合、上記撮像素子２０１を加算読み出した
出力値（Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ）の演算により（Ｍ
ａ，Ｇ，Ｃｙ，Ｙｅ）の信号に復元し、上記ホワイトバ
ランス回路２０７の入力信号とすることで、加算読み出
し，非加算読み出し時において、回路の共通化が可能と
なり、白判別範囲の設定値も一つで良くなる。

【０１４８】（第５の実施の形態）本発明の第５の実施
の形態の撮像装置のホワイトバランス回路は第１〜第３
の実施例の何れかを用いるが、ホワイトバランス装置の
入力信号を撮像素子からの画像信号を色分離して帯域制
限したものにした点が異なっている。

【０１４９】画像に多くのエッジが含まれていると、
エッジ部におけるサンプルポイントの色評価値は白判別
範囲の対象に入らず、ホワイトバランスを調整するため
のサンプル数が減少してしまう、またエッジ部を異な
る色温度の白と誤判別するという影響があり、好ましく
ない。そこで、予め画像信号にローパスフィルタを施し
て帯域を制限し、エッジをなくしてからホワイトバラン
ス装置に入力する。

【０１５０】図８は本実施の形態の撮像装置が有する信
号処理装置の構成を示すブロック図である。撮像素子３
０１の出力信号は、プリプロセス回路３０２，Ａ／Ｄ変
換回路３０３を通り、ＯＢ回路３０４により黒レベルが
揃えられる。ＯＢ回路３０４の出力は一旦メモリ３０５
に記憶され、色分離色補間回路３０６にて色分離と同時
に水平及び垂直方向に軽いローパスフィルタがかけられ
る。

【０１５１】色分離色補間回路３０６の出力は、ホワイ
トバランス回路３０７に送られる。そして、ホワイトバ
ランス回路３０７から補正ゲインが返され、それにより
各色の白レベルが合わせられると同時に、メモリ３０５
から信号は輝度信号生成部に入力され、垂直ローパスフ
ィルタ回路３１５の後に白レベルがゲイン補正回路３１
６にて補正される。

【０１５２】ホワイトバランス後の色処理部において
は、マトリクス回路３０８でＲＧＢの信号に変換され
る。このＲＧＢ信号は、ガンマ補正回路３０９にてガン
マ補正され、純色色差変換回路３１０によりＹ，Ｒ−
Ｙ，Ｂ−Ｙの信号に変換される。その後、Ｃ＿ＳＵＰ回
路３１１にて飽和領域の色消し処理が行われた色差信号
は、垂直ローパスフィルタ回路３１２及び水平ローパス
フィルタ回路３１３を通り、Ｙ補正回路３２０，色補正
回路３１４に送られる。

【０１５３】一方輝度処理部においては、水平ローパス
フィルタ回路３１７で輝度段差除去された画像信号は、
ＡＰＣ回路３１８によりエッジ強調が行われ、ガンマ補
正回路３１９によってガンマ補正される。その後、Ｈ−
ＬＰＦ回路３１３からの色差信号を用いてＹ補正回路３
２０にて輝度信号の微妙な輝度調整が実施される。

【０１５４】そして、色処理部からの色差信号と輝度処
理部からの輝度信号は圧縮回路３２１でＪＰＥＧ画像な
どに圧縮が行われ、フラッシュメモリ等のメモリ３２２
に記憶される。

【０１５５】このような構成をとることで、画像のエッ
ジ部などによるサンプル数の減少、色の誤判別を防ぐこ
とが可能となる。

【０１５６】（第６の実施の形態）本発明の第６の実施
の形態の信号処理装置に用いるホワイトバランス回路
は、第１〜第５の実施の形態のホワイトバランス算出回
路の何れかを用いるが、色変換に用いるマトリクスの求
め方が異なる。本実施の形態では、図５に示すように、
色温度の変化に対し予め数個のマトリクスを用意する。
同図では、８０００Ｋから２０００Ｋまで１０００Ｋ刻
みに７個のマトリクスを用意している。

【０１５７】補色センサーを用いた撮像素子に対して非
加算読み出しした場合、ホワイトバランス回路からの利
得制御値（ｗｂＭａ，ｗｂＧ，ｗｂＣｙ，ｗｂＹｅ）が
出力される。この値から、図５に対する色評価値のＸ軸
値ｗＸを求める。

【０１５８】 ｗＸ＝（１／ｗｂＹｅ−１／ｗｂＣｙ） （６−１） 次に、ｗＸに対応する白判別領域を求め、その領域の色
温度リミッタのマトリクス２つと、ｗＸとリミッタとの
距離を用いて次式のような線形演算で新たなマトリクス
を作成する。

【０１５９】 dis=limB-limA newMAT=((dis-(wX-limA))^*matA+(dis(limB-wX))^*matB)/dis (6-2) 本実施の形態によれば、ホワイトバランス回路からの利
得制御値を用いて色温度を表す色評価値を求め、その値
から色変換マトリクスを線形演算で求めることを特徴と
しており、これにより、マトリクスを切り替えることに
よって生じる色再現の変化をなめらかにすることができ
る。

【０１６０】

【発明の効果】以上説明したように、本発明によれば、
設定した白判別範囲を撮影時の撮影条件と被写体条件に
より変化させて色温度を検出する構成としたため、輝度
信号レベルに依存せず正確な検出が行え、実際の色温度
と大幅に異なる白判別範囲内の信号を検出することがな
くなり、より正確なホワイトバランス信号を得ることが
可能となる。

【０１６１】また、本発明によれば、予め色温度別に設
定された複数の白判別領域に分割し、その複数の白判別
領域毎に含まれる色評価値を有するサンプルポイントの
蓄積電荷を色ごとに積分し、被写体の撮影条件と被写体
条件により上記複数の白判別領域から適切な白判別領域
を選択し、前記積分値を用いて利得制御値および色温度
を求め、かつ、補色純色変換マトリクスを複数用意し、
上記利得制御値と白判別範囲から色温度を求め、それに
対応するマトリクスを選択する構成とすることにより、
適切なホワイトバランス補正が可能となる。また、算出
された色温度に基づいてマトリクスを選択するため、そ
の色温度において最適な色再現が実現できる。

【０１６２】また、本発明によれば、予め色温度別に設
定された複数の白判別領域に分割し、その複数の白判別
領域毎にそれぞれ含まれる色評価値を有するサンプルポ
イントの蓄積電荷を色ごとに積分し、被写体の撮影条件
と被写体条件により上記白判別領域の積分値のゲイン補
正を行い、その補正後の値を用いて利得制御値および色
温度を求め、補色純色変換マトリクスを複数用意し、算
出された色温度に対応するマトリクスを選択する構成と
する。すなわち、実際の色温度と大幅に異なる白判別範
囲内の信号については、その影響を小さくするゲインが
かかり、より正確なホワイトバランス信号を得ることが
可能となる。また、補正された積分値に基づいて算出さ
れた色温度に対応するマトリクスを選択するため、その
色温度において最適な色再現が実現できる。

【０１６３】また、本発明によれば、予め被写体条件お
よび／又は撮影条件に応じて定められた白判別領域に含
まれる色評価値を有するサンプルポイントの蓄積電荷を
色ごとに積分して第１の利得制御値を求めると同時に、
画面を任意の数に分割し、その分割領域毎に平均化され
た色評価値を求め、その色評価値が上記白判別範囲内に
入る色評価値に対応する積分値に基づいて第２の利得制
御値を求める。さらに上記白判別範囲に入る画素数及び
白判別範囲に入らない画素数を検出し、その検出画素数
に応じた混成比を算出し、該算出した混成比に応じて上
記第１の利得制御値と第２の利得制御値を混成して撮像
素子の出力に対する利得制御値を得る構成としている。
そのため、第１の利得制御値を求めるにあたって白判別
範囲に入る点が少ないかもしくはなく、第１の利得制御
値が正確に得られないとしても、前記白判別範囲に含ま
れる色評価値に対応する積分値に基づいて第２の利得制
御値を求めるため、大きくホワイトバランスがくずれる
ことがない。

【０１６４】また、本発明によれば、補色フィルタを備
えた撮像素子に対して非加算読み出しを行った場合で
も、撮像素子の加算読み出しの出力値を演算により復元
してホワイトバランス回路の入力信号とする構成とする
ことにより、加算読み出しと非加算読み出しにおいて回
路の共通化が可能となる。

【０１６５】また、本発明によれば、撮像素子の出力信
号を各色毎に分割し、ローパスフィルタをかけてからホ
ワイトバランス回路に入力する構成とすることにより、
画像のエッジ部などによるサンプル数の減少、色の誤判
別を防ぐことが可能となる。

【０１６６】また、本発明によれば、ホワイトバランス
回路からの利得制御値を用いて色温度を表す色評価値を
求め、その値から色変換マトリクスを線形演算で求める
構成とすることにより、マトリクスを切り替えることに
よって生じる色再現の変化をより一層なめらかにするこ
とができる。

【０１６７】上述した各実施の形態は、一例として、前
述した実施形態の機能を実現するソフトウェアのプログ
ラムコードを記録した記録媒体を、システムあるいは装
置に供給し、そのシステムあるいは装置のコンピュータ
（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプロ
グラムコードを読み出し実行することによって達成でき
る。

【０１６８】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は上述した各実施の形態を構成することになる。

【０１６９】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ
などを用いることができる。

【０１７０】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているＯＳ（オペ
レーティングシステム）などが実際の処理の一部または
全部を行い、その処理によって前述した実施形態の機能
が実現される場合も含まれる。

【０１７１】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示にもとづき、その機能拡張ボードや機能拡張ユニット
に備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる。上述した各実施の形態を上記記憶媒体に適用する
場合、その記録媒体には、先に説明したフローチャート
に対応するプログラムコードを格納することになるが、
簡単に説明すると、上述した各実施の形態のカメラ制御
システムに不可欠なモジュールを、記憶媒体に格納する
ことになる。

【図面の簡単な説明】

【図１】第１〜第３の実施の形態の撮像装置が有する信
号処理装置の構成を示すブロック図

【図２】色フィルタ配列例を示す図

【図３】第１の実施の形態における白判別範囲を示す説
明図

【図４】第１の実施の形態における白判別範囲のシフト
を示す説明図

【図５】第２、第３の実施の形態における白判別範囲の
色温度による分割を示す説明図

【図６】第３の実施の形態における色温度−補正ゲイン
グラフと白判別範囲の重み付けを示す説明図

【図７】第４の実施の形態の撮像装置が有する信号処理
装置の構成を示すブロック図

【図８】第５の実施の形態の撮像装置が有する信号処理
装置の構成を示すブロック図

【図９】白判別範囲を示す説明図

【図１０】従来の撮像装置の信号処理系の構成を示すブ
ロック図

【図１１】従来の白判別範囲を示す図

【図１２】本発明の実施の形態における１画面分の画素
の構成を示す概念図

Claims (39)

【特許請求の範囲】
1. 【請求項１】 複数種類の色フィルタを有する撮像素子
   と、 前記撮像素子から出力される色信号を評価する色信号評
   価手段と、 前記色信号評価手段によって評価された色信号が所定の
   評価範囲に含まれるか否かを判別する判別手段と、 前記判別手段によって所定の評価範囲に含まれると判別
   された色信号に基づいてホワイトバランス調整するホワ
   イトバランス調整手段と、 前記判別手段の評価範囲を所定の条件に応じて変化させ
   る変化手段とを備えることを特徴とする撮像装置。
2. 【請求項２】 請求項１において、さらに、前記判別手
   段によって所定の評価範囲に含まれると判別された色信
   号に基づいて撮像光源の色温度を算出する色温度算出手
   段と、 前記ホワイトバランス調整手段によって調整された色信
   号をマトリクスを用いて色変換するマトリクス変換手段
   とを備え、 前記マトリクス変換手段は、複数の異なるマトリクスを
   有し、前記色温度算出手段によって算出された色温度に
   応じて前記複数のマトリクスの中から１つを選択し、そ
   の選択されたマトリクスを用いて色変換を行うことを特
   徴とする撮像装置。
3. 【請求項３】 請求項２において、前記マトリクス変換
   手段は、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号
   に色変換することを特徴とする撮像装置。
4. 【請求項４】 請求項１において、前記撮像素子から出
   力される色信号の読み出しにおいて、加算読み出しと非
   加算読み出しとを選択する選択手段と、 前記選択手段によって加算読み出しが選択された場合、
   非加算読み出しのときに出力される色信号に復元する復
   元手段とを備え、 前記色信号評価手段は、前記選択手段によって加算読み
   出しが選択された場合、前記復元手段によって復元され
   た色信号を評価することを特徴とする撮像装置。
5. 【請求項５】 請求項１において、さらに、前記色信号
   評価手段の前段に設けられ、前記撮像素子から出力され
   る色信号を帯域制限するローパスフィルタを備えること
   を特徴とする撮像装置。
6. 【請求項６】 請求項１において、さらに、前記判別手
   段によって所定の評価範囲に含まれると判別された色信
   号に基づいて撮像光源の色温度を算出する色温度算出手
   段と、 前記ホワイトバランス調整手段によって調整された色信
   号をマトリクスを用いて色変換するマトリクス変換手段
   と、 前記色温度算出手段によって算出された色温度に基づい
   て前記マトリクス演算手段のマトリクスを作成する作成
   手段とを備えることを特徴とする撮像装置。
7. 【請求項７】 請求項１において、前記変化手段は、光
   源の明るさ、被写体への外光とフラッシュ光との影響
   度、およびシャッタースピードの少なくともいずれか一
   つに応じて前記評価範囲を変化させることを特徴とする
   撮像装置。
8. 【請求項８】 複数種類の色フィルタを有する撮像素子
   と、 前記撮像素子から出力される色信号を評価する第１の色
   信号評価手段と、 前記色信号評価手段によって評価された色信号が所定の
   評価範囲に含まれるか否かを判別する第１の判別手段
   と、 前記第１の判別手段によって前記所定の評価範囲に含ま
   れると判別された色信号に基づいて第１の制御信号を演
   算する第１の演算手段と、 前記撮像素子から出力される１画面分の信号を複数領域
   に分割し、分割されたそれぞれの領域において、領域内
   の色信号を平均化し、平均化された色信号を評価する第
   ２の色信号評価手段と、 前記第２の色信号評価手段によって評価された色信号が
   それぞれ前記所定の評価範囲に含まれるか否かを判別す
   る第２の判別手段と、 前記第２の判別手段によって前記所定の評価範囲に含ま
   れると判別された色信号に基づいて第２の制御信号を演
   算する第２の演算手段と、 前記第１，第２の制御信号に基づいてホワイトバランス
   調整するホワイトバランス調整手段とを備えることを特
   徴とする撮像装置。
9. 【請求項９】 請求項８において、前記第２の色信号評
   価手段は、前記第１の色信号評価手段よりも多い数の画
   素からの色信号に基づいて色信号を評価することを特徴
   とする撮像装置。
10. 【請求項１０】 請求項８において、前記ホワイトバラ
    ンス調整手段は、前記第１の判別手段によって前記所定
    の範囲に含まれる色信号と前記所定の範囲に含まれない
    色信号との比率に応じて、前記第１，第２の制御信号を
    混成した信号に基づいてホワイトバランス調整すること
    を特徴とする撮像装置。
11. 【請求項１１】 請求項８において、前記第２の色信号
    評価手段は、前記第２の判別手段によって前記複数領域
    の平均化された色信号がいずれも前記所定の範囲に含ま
    れないことが判別された場合、分割する領域を広げるこ
    とにより、該広げられた領域内の平均化された色信号を
    評価することを特徴とする撮像装置。
12. 【請求項１２】 複数種類の色フィルタを有する撮像素
    子と、 前記撮像素子から出力される色信号を評価する色信号評
    価手段と、 前記色信号評価手段によって評価された色信号が複数の
    評価範囲いずれかに含まれるか否かを判別する判別手段
    と、 前記判別手段によって複数の評価範囲のいずれかに含ま
    れると判別された場合、その含まれる評価範囲に応じて
    前記色信号の重み付け補正を行う重み付け補正手段と、 前記重み付け補正手段によって補正された色信号に基づ
    いてホワイトバランス調整するホワイトバランス調整手
    段とを備えることを特徴とする撮像装置。
13. 【請求項１３】 請求項１２において、前記重み付け補
    正手段は、光源の明るさおよび被写体への外光とフラッ
    シュ光との影響度の少なくともいずれか一つに応じて重
    み付け補正を変化させることを特徴とする撮像装置。
14. 【請求項１４】 複数種類の色フィルタを有する撮像素
    子から出力される色信号を評価する色信号評価手段と、 前記色信号評価手段によって評価された色信号が所定の
    評価範囲に含まれるか否かを判別する判別手段と、 前記判別手段によって所定の評価範囲に含まれると判別
    された色信号に基づいてホワイトバランス調整するホワ
    イトバランス調整手段と、 前記判別手段の評価範囲を所定の条件に応じて変化させ
    る変化手段とを備えることを特徴とする信号処理装置。
15. 【請求項１５】 請求項１４において、さらに、前記判
    別手段によって所定の評価範囲に含まれると判別された
    色信号に基づいて撮像光源の色温度を算出する色温度算
    出手段と、 前記ホワイトバランス調整手段によって調整された色信
    号をマトリクスを用いて色変換するマトリクス変換手段
    とを備え、 前記マトリクス変換手段は、複数の異なるマトリクスを
    有し、前記色温度算出手段によって算出された色温度に
    応じて前記複数のマトリクスの中から１つを選択し、そ
    の選択されたマトリクスを用いて色変換を行うことを特
    徴とする信号処理装置。
16. 【請求項１６】 請求項１５において、前記マトリクス
    変換手段は、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ
    信号に色変換することを特徴とする信号処理装置。
17. 【請求項１７】 請求項１４において、前記撮像素子か
    ら出力される色信号の読み出しにおいて、加算読み出し
    と非加算読み出しとを選択する選択手段と、 前記選択手段によって加算読み出しが選択された場合、
    非加算読み出しのときに出力される色信号に復元する復
    元手段とを備え、 前記色信号評価手段は、前記選択手段によって加算読み
    出しが選択された場合、前記復元手段によって復元され
    た色信号を評価することを特徴とする信号処理装置。
18. 【請求項１８】 請求項１４において、さらに、前記色
    信号評価手段の前段に設けられ、前記撮像素子から出力
    される色信号を帯域制限するローパスフィルタを備える
    ことを特徴とする信号処理装置。
19. 【請求項１９】 請求項１４において、さらに、前記判
    別手段によって所定の評価範囲に含まれると判別された
    色信号に基づいて撮像光源の色温度を算出する色温度算
    出手段と、 前記ホワイトバランス調整手段によって調整された色信
    号をマトリクスを用いて色変換するマトリクス変換手段
    と、 前記色温度算出手段によって算出された色温度に基づい
    て前記マトリクス演算手段のマトリクスを作成する作成
    手段とを備えることを特徴とする信号処理装置。
20. 【請求項２０】 請求項１４において、前記変化手段
    は、光源の明るさ、被写体への外光とフラッシュ光との
    影響度、およびシャッタースピードの少なくともいずれ
    か一つに応じて前記評価範囲を変化させることを特徴と
    する信号処理装置。
21. 【請求項２１】 複数種類の色フィルタを有する撮像素
    子から出力される色信号を評価する第１の色信号評価手
    段と、 前記色信号評価手段によって評価された色信号が所定の
    評価範囲に含まれるか否かを判別する第１の判別手段
    と、 前記第１の判別手段によって前記所定の評価範囲に含ま
    れると判別された色信号に基づいて第１の制御信号を演
    算する第１の演算手段と、 前記撮像素子から出力される１画面分の信号を複数領域
    に分割し、分割されたそれぞれの領域において、領域内
    の色信号を平均化し、平均化された色信号を評価する第
    ２の色信号評価手段と、 前記第２の色信号評価手段によって評価された色信号が
    それぞれ前記所定の評価範囲に含まれるか否かを判別す
    る第２の判別手段と、 前記第２の判別手段によって前記所定の評価範囲に含ま
    れると判別された色信号に基づいて第２の制御信号を演
    算する第２の演算手段と、 前記第１，第２の制御信号に基づいてホワイトバランス
    調整するホワイトバランス調整手段とを備えることを特
    徴とする信号処理装置。
22. 【請求項２２】 請求項２１において、前記第２の色信
    号評価手段は、前記第１の色信号評価手段よりも多い数
    の画素からの色信号に基づいて色信号を評価することを
    特徴とする信号処理装置。
23. 【請求項２３】 請求項２１において、前記ホワイトバ
    ランス調整手段は、前記第１の判別手段によって前記所
    定の範囲に含まれる色信号と前記所定の範囲に含まれな
    い色信号との比率に応じて、前記第１，第２の制御信号
    を混成した信号に基づいてホワイトバランス調整するこ
    とを特徴とする信号処理装置。
24. 【請求項２４】 請求項２１において、前記第２の色信
    号評価手段は、前記第２の判別手段によって前記複数領
    域の平均化された色信号がいずれも前記所定の範囲に含
    まれないことが判別された場合、分割する領域を広げる
    ことにより、該広げられた領域内の平均化された色信号
    を評価することを特徴とする信号処理装置。
25. 【請求項２５】 複数種類の色フィルタを有する撮像素
    子から出力される色信号を評価する色信号評価手段と、 前記色信号評価手段によって評価された色信号が複数の
    評価範囲いずれかに含まれるか否かを判別する判別手段
    と、 前記判別手段によって複数の評価範囲のいずれかに含ま
    れると判別された場合、その含まれる評価範囲に応じて
    前記色信号の重み付け補正を行う重み付け補正手段と、 前記重み付け補正手段によって補正された色信号に基づ
    いてホワイトバランス調整するホワイトバランス調整手
    段とを備えることを特徴とする信号処理装置。
26. 【請求項２６】 請求項２５において、前記重み付け補
    正手段は、光源の明るさおよび被写体への外光とフラッ
    シュ光との影響度の少なくともいずれか一つに応じて重
    み付け補正を変化させることを特徴とする信号処理装
    置。
27. 【請求項２７】 撮像素子の複数の画素から得られる色
    信号から色評価値を算出する色評価値算出手段と、該色
    評価値より色温度変化時における白色変化範囲を設定す
    る設定手段と、該白色変化範囲を撮影条件と被写体条件
    により変化させる変化手段と、前記色評価値が前記白色
    変化範囲に入るか否かを判別する判別手段を有し、該白
    色変化範囲に入る色評価値より得られた各色信号の利得
    制御値により前記色信号の利得を制御してホワイトバラ
    ンス調整を行うことを特徴とする撮像装置。
28. 【請求項２８】 撮像素子の複数の画素から得られる色
    信号から色評価値を算出する色評価値算出手段と、該色
    評価値より色温度変化時における白色変化範囲を設定す
    る設定手段と、該白色変化範囲を複数の白領域に分割す
    る分割手段と、前記色評価値が前記白領域に入るか否か
    を判別する判別手段と、白領域に含まれる色評価値を該
    白領域毎に積分して記憶する記憶手段と、撮影条件や被
    写体条件により前記複数の白領域のうち有効な白領域を
    選択する選択手段を有し、該有効な白領域の色評価値の
    積分値より得られた各色信号の利得制御値により前記色
    信号の利得を制御してホワイトバランス調整を行うこと
    を特徴とする撮像装置。
29. 【請求項２９】 撮像素子の複数の画素から得られる色
    信号から色評価値を算出する色評価値算出手段と、該色
    評価値より色温度変化時における白色変化範囲を設定す
    る設定手段と、該白色変化範囲を複数の白領域に分割す
    る分割手段と、前記色評価値が前記白領域に入るか否か
    を判別する判別手段と、白領域に含まれる色評価値を該
    白領域毎に積分して記憶する記憶手段と、撮影条件や被
    写体条件により前記複数の白領域の色評価値の積分値を
    補正する補正手段を有し、該補正後の白領域の色評価値
    の積分値より得られた各色信号の利得制御値により前記
    色信号の利得を制御してホワイトバランス調整を行うこ
    とを特徴とする撮像装置。
30. 【請求項３０】 撮像素子の複数の画素から得られる色
    信号から第１の色評価値を算出する第１の色評価値算出
    手段と、第１の色評価値より色温度変化時における第１
    の白色変化範囲を設定する第１の設定手段と、第１の色
    評価値が第１の白色変化範囲に入るか否かを判別する第
    １の判別手段と、第１の白色変化範囲に入る第１の色評
    価値より各色信号の第１の利得制御値を得る第１の演算
    手段と、前記第１の色評価値を求めた画素数よりも多い
    数の画素から第２の色評価値を算出する第２の色評価値
    算出手段と、前記第１の白色変化範囲とは独立した範囲
    の第２の白色変化範囲を設定する第２の設定手段と、第
    ２の色評価値が第２の白色変化範囲に入るか否かを判別
    する第２の判別手段と、第２の白色変化範囲に入る第２
    の色評価値より前記各色信号の第２の利得制御値を得る
    第２の演算手段と、前記第１の白色変化範囲に入る画素
    数及び第１の白色変化範囲に入らない画素数を検出する
    検出手段と、その検出画素数に応じた混成比を算出する
    混成比算出手段を有し、該算出した混成比に応じて前記
    第１の利得制御値と第２の利得制御値を混成して得られ
    た撮像素子の出力に対する利得制御値により前記色信号
    の利得を制御してホワイトバランス調整を行うことを特
    徴とする撮像装置。
31. 【請求項３１】 撮像素子の複数の画素から得られる色
    信号から第１の色評価値を算出する第１の色評価値算出
    手段と、第１の色評価値より色温度変化時における第１
    の白色変化範囲を設定する第１の設定手段と、該第１の
    白色変化範囲を撮影条件と被写体条件により変化させる
    第１の変化手段と、第１の色評価値が第１の白色変化範
    囲に入るか否かを判別する第１の判別手段と、第１の白
    色変化範囲に入る第１の色評価値より各色信号の第１の
    利得制御値を得る第１の演算手段と、前記第１の色評価
    値を求めた画素数よりも多い数の画素から第２の色評価
    値を算出する第２の色評価値算出手段と、前記第１の白
    色変化範囲とは独立した範囲の第２の白色変化範囲を設
    定する第２の設定手段と、第２の色評価値が第２の白色
    変化範囲に入るか否かを判別する第２の判別手段と、第
    ２の白色変化範囲に入る第２の色評価値より前記各色信
    号の第２の利得制御値を得る第２の演算手段と、前記第
    １の白色変化範囲に入る画素数及び第１の白色変化範囲
    に入らない画素数を検出する検出手段と、その検出画素
    数に応じた混成比を算出する混成比算出手段を有し、該
    算出した混成比に応じて前記第１の利得制御値と第２の
    利得制御値を混成して得られた撮像素子の出力に対する
    利得制御値により前記色信号の利得を制御してホワイト
    バランス調整を行うことを特徴とする撮像装置。
32. 【請求項３２】 撮像素子の複数の画素から得られる色
    信号から第１の色評価値を算出する第１の色評価値算出
    手段と、第１の色評価値より色温度変化時における第１
    の白色変化範囲を設定する第１の設定手段と、該第１の
    白色変化範囲を複数の白領域に分割する分割手段と、前
    記第１の色評価値が前記白領域に入るか否かを判別する
    第１の判別手段と、白領域に含まれる第１の色評価値を
    該白領域毎に積分して記憶する記憶手段と、撮影条件や
    被写体条件により前記複数の白領域のうち有効な白領域
    を選択する選択手段と、該有効な白領域の色評価値の積
    分値より各色信号の第１の利得制御値を得る第１の演算
    手段と、前記第１の色評価値を求めた画素数よりも多い
    数の画素から第２の色評価値を算出する第２の色評価値
    算出手段と、前記第１の白色変化範囲とは独立した範囲
    の第２の白色変化範囲を設定する第２の設定手段と、第
    ２の色評価値が第２の白色変化範囲に入るか否かを判別
    する第２の判別手段と、その第２の白色変化範囲に入る
    第２の色評価値より前記各色信号の第２の利得制御値を
    得る第２の演算手段と、前記第１の白色変化範囲に入る
    画素数及び第１の白色変化範囲に入らない画素数を検出
    する検出手段と、その検出画素数に応じた混成比を算出
    する混成比算出手段を有し、該算出した混成比に応じて
    前記第１の利得制御値と第２の利得制御値を混成して得
    られた撮像素子の出力に対する利得制御値により前記色
    信号の利得を制御してホワイトバランス調整を行うこと
    を特徴とする撮像装置。
33. 【請求項３３】 撮像素子の複数の画素から得られる色
    信号から第１の色評価値を算出する第１の色評価値算出
    手段と、第１の色評価値より色温度変化時における第１
    の白色変化範囲を設定する第１の設定手段と、該第１の
    白色変化範囲を複数の白領域に分割する分割手段と、前
    記第１の色評価値が前記白領域に入るか否かを判別する
    第１の判別手段と、白領域に含まれる第１の色評価値を
    該白領域毎に積分して記憶する記憶手段と、撮影条件や
    被写体条件により前記複数の白領域の色評価値の積分値
    を補正する補正手段と、該補正後の白領域の色評価値の
    積分値より各色信号の第１の利得制御値を得る第１の演
    算手段と、前記第１の色評価値を求めた画素数よりも多
    い数の画素から第２の色評価値を算出する第２の色評価
    値算出手段と、前記第１の白色変化範囲とは独立した範
    囲の第２の白色変化範囲を設定する第２の設定手段と、
    該第２の色評価値が第２の白色変化範囲に入るか否かを
    判別する第２の判別手段と、その第２の白色変化範囲に
    入る第２の色評価値より前記各色信号の第２の利得制御
    値を得る第２の演算手段と、前記第１の白色変化範囲に
    入る画素数及び第１の白色変化範囲に入らない画素数を
    検出する検出手段と、その検出画素数に応じた混成比を
    算出する混成比算出手段を有し、該算出した混成比に応
    じて前記第１の利得制御値と第２の利得制御値を混成し
    て得られた撮像素子の出力に対する利得制御値により前
    記色信号の利得を制御してホワイトバランス調整を行う
    ことを特徴とする撮像装置。
34. 【請求項３４】 利得が制御された各色信号をマトリク
    スを用いて色変換する変換手段と、白変化領域の分割数
    に応じた複数のマトリクスを保持する保持手段を備え、
    ホワイトバランスの利得制御値により該複数のマトリク
    スから１つのマトリクスを選択し、該選択されたマトリ
    クスを用いて色変換を行うことを特徴とする請求項２８
    または２９または３２または３３記載の撮像装置。
35. 【請求項３５】 利得が制御された各色信号をマトリク
    スを用いて色変換する変換手段と、白変化領域に対応す
    る少なくとも２つ以上のマトリクスを保持する保持手段
    と、ホワイトバランスの利得制御値と上記２つ以上のマ
    トリクスから補間演算によって新たなマトリクスを算出
    するマトリクス算出手段を備え、該新たなマトリクスを
    用いて色変換を行うことを特徴とする請求項２８または
    ２９または３２または３３記載の撮像装置。
36. 【請求項３６】 分光特性の異なる３種類以上の色フィ
    ルタを有する撮像素子を有し、異なる２色フィルタの撮
    像素子の出力信号の差分を表す第１の信号を得る処理手
    段と、前記２色フィルタ以外の組み合わせの色フィルタ
    の撮像素子の出力信号の差分を表す第２の信号を得る処
    理手段と、輝度信号を作成する処理手段とを有するとと
    もに、前記第１の信号と輝度信号との比率を表す第１の
    比率信号と、前記第２の信号と輝度信号との比率を表す
    第２の比率信号を作成する作成手段を有し、前記第１の
    信号と第２の信号をホワイトバランス調整のための色評
    価値とすることを特徴とする請求項２７ないし３５何れ
    か記載の撮像装置。
37. 【請求項３７】 分光特性の異なる４種類の補色フィル
    タを備えた撮像素子を有し、第１の色フィルタの信号と
    第２の色フィルタの信号を加算して第５の信号を作成
    し、第２の色フィルタの信号と第３の色フィルタの信号
    を加算して第６の信号を作成し、第３の色フィルタの信
    号と第４の色フィルタの信号を加算して第７の信号を作
    成し、第１の色フィルタの信号と第４の色フィルタの信
    号を加算して第８の信号を作成し、前記第５から第８の
    信号を用いて画像信号を作成する信号処理装置を備える
    とともに、前記第５から第８の信号により前記第１から
    第４の４種類の補色信号を復元する演算手段と、前記第
    ４種類の補色信号より色評価値を算出する色評価値算出
    手段と、該色評価値より色温度変化時における白色変化
    範囲を設定する設定手段と、前記色評価値が白色変化範
    囲に入るか否かを判別する判別手段を備え、該白色変化
    範囲に入る色評価値より得られた利得制御値により前記
    色信号の利得を制御してホワイトバランス調整を行うこ
    とを特徴とする撮像装置。
38. 【請求項３８】 分光特性の異なる４種類の補色フィル
    タを備えた撮像素子を有し、第１の色フィルタの信号と
    第２の色フィルタの信号を加算して第５の信号を作成
    し、第２の色フィルタの信号と第３の色フィルタの信号
    を加算して第６の信号を作成し、第３の色フィルタの信
    号と第４の色フィルタの信号を加算して第７の信号を作
    成し、第１の色フィルタの信号と第４の色フィルタの信
    号を加算して第８の信号を作成し、前記第５から第８の
    信号を用いて画像信号を作成する信号処理装置を備える
    とともに、前記第５から第８の信号により前記第１から
    第４の４種類の補色信号を復元する演算手段と、復元さ
    れた異なる２色の信号の差分を表す第９の信号を得る処
    理手段と、前記２色信号以外の組み合わせの２色の差分
    を表す１０の信号を得る処理手段と、輝度信号を作成す
    る作成手段と、前記第９の信号と輝度信号との比率を表
    す第１１の比率信号と前記第１０の信号と輝度信号との
    比率を表す第１２の比率信号を作成する作成手段とを備
    え、前記第１１の信号と第１２の信号をホワイトバラン
    ス調整のための色評価値とすることを特徴とする請求項
    ２７ないし３５何れか記載の撮像装置。
39. 【請求項３９】 分光特性の異なる色フィルタを備えた
    撮像素子を有し、この撮像素子からの出力信号を各色毎
    に分離する色分離手段と、該色分離手段からの各色信号
    の帯域を制限する第１の帯域制限手段を備え、該第１の
    帯域制限手段からの色信号をホワイトバランス手段の入
    力信号とし、該ホワイトバランス手段によりホワイトバ
    ランスがとられた色信号に第２の帯域制限手段を用いて
    帯域制限することを特徴とする請求項２７ないし３６何
    れか記載の撮像装置。