JP4707450B2 - 画像処理装置及びホワイトバランス調整装置 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置で撮影された画像のホワイトバランスを調整する技術に関する。

デジタルカメラ等においては、任意の光源下において白い被写体を白く再現するためにオートホワイトバランス調整が行われている。ホワイトバランス調整方式としては、画像全体の平均が無彩色となるように各画素の信号のＲＧＢ成分のバランスを調整する方式が用いられる。また、画像を複数のブロックに分割し、各ブロックのＲＧＢの平均値を算出し、その平均値が予め定められた範囲に属しているブロックのみを選択し、選択したブロック群のＲＧＢの平均値が無彩色となるようにＲＧＢ成分の調整を行う技術も知られている。下記の特許文献には、画像を複数のブロックに分割し、各ブロックの代表値を算出し、全てのブロックの代表値を用いてホワイトバランスゲインを算出する技術が開示されている。

図１０に、従来のホワイトバランス調整装置の構成ブロック図を示す。デジタルカメラ等の撮像装置１０は、撮影デジタル画像をブロック分割回路１２に出力する。ブロック分割回路１２は、入力画像を複数のブロックに等分割する。各ブロックは、ｎ×ｍ画素から構成される。ブロック分割回路１２は、各ブロックを順次、代表値計算回路１４に出力する。代表値計算回路１４は、各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、そのブロック平均値に対して、以下の線形変換を施して代表値（Ｔｌ，Ｔｇ，Ｔｉ）を算出する。

ここに、Ｔｌはブロックの輝度、ＴｇおよびＴｉはブロックの色差である。代表値計算回路１４は、算出した各ブロックの代表値（Ｔｌ，Ｔｇ，Ｔｉ）をホワイトバランス評価回路１６に出力する。

ホワイトバランス評価回路１６は、各ブロックの信頼度を評価し、信頼度に応じた重み係数を算出してホワイトバランスゲイン計算回路１８に出力する。ホワイトバランスゲイン計算回路１８は、各ブロックの代表値、およびホワイトバランス評価回路１６で算出された各ブロックの信頼度に基づく重み係数を用いて加重平均することによりホワイトバランスゲインを算出する。具体的には、以下の式によりホワイトバランスゲインを算出する。

ここに、ＴｌＭｉｘ、ＴｇＭｉｘ、ＴｉＭｉｘは、各ブロックの代表値の加重平均値である。これらの式で算出された（ＲＭｉｘ、ＧＭｉｘ、ＢＭｉｘ）が被写体を照明する光源の色であり、ホワイトバランスゲインＲｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎは、推定された光源色が白色物体で反射されたときの色をグレーに補正する（つまりＲ＝Ｇ＝Ｂ）ように設定される。ホワイトバランスゲイン計算回路１８は、算出したゲインをホワイトバランス調整回路２０に出力する。ホワイトバランス調整回路２０は、撮像装置１０から入力された画像構成する各画素のＲ，Ｇ，Ｂに対してホワイトバランスゲイン計算回路１８で算出したゲインを乗じることで画像のホワイトバランスを調整し、その結果を出力する。

特開２０００−９２５０９号公報

しかしながら、上記従来技術では、各ブロックを構成する全ての画素ｎ×ｍ個のＲ，Ｇ，Ｂの平均値を算出し、その平均値に対して（１）式を用いて各ブロックの代表値としているため、あるブロック内に光源色ではない特定の物体色が存在した場合に、そのブロックの平均値がその物体色の影響を受けてしまう問題があった。

図１１に、画像を複数のブロックに分割した場合における、あるブロック１００を示す。ブロック１００はｎ×ｍ個の画素から構成され、全画素のＲ，Ｇ，Ｂの平均値が算出されてそのブロックの平均値とされる。ところが、図に示すように、ブロック１００内に緑の葉の画像１０２が存在すると、背景色と緑色とが平均されることになるため、その平均値はブロックを照らしている光源色を反映しなくなり、本来であれば昼光（デイライト）と判定されるべきところを蛍光灯と誤って判定してしまう。このように、従来技術は、ブロック内に有彩色のものが存在する場合やブロック内が一様でない場合の対策が必ずしも十分ではなく（各ブロックの信頼度でその影響を軽減できるが、信頼度を正確に評価する必要が生じる）、ホワイトバランス調整の精度低下を招く一因となっていた。

本発明の目的は、ブロック内に有彩色のものが存在する場合やブロック内が一様ではない場合においても、簡易にかつ確実にホワイトバランス調整を実行できる装置を提供することにある。

本発明は、入力画像を複数のブロックに分割し、各ブロック毎に複数の画素のＲＧＢの平均値から代表値を算出するとともに、各ブロック毎に彩度が最大である特徴画素を抽出し、各ブロック毎に前記代表値の色差と前記特徴画素の色差とから色差空間上の光源色推定ベクトルを演算する手段と、各ブロック毎に演算された前記光源色推定ベクトルの収束点を光源色として推定してホワイトバランス補正を制御する制御手段とを有することを特徴とする。

また、本発明は、撮像装置のホワイトバランスを調整するホワイトバランス調整装置であって、入力画像を複数のブロックに分割する手段と、各ブロック毎に、複数の画素のＲＧＢの平均値から算出した代表値の色差空間上の座標を色差平均座標として算出するとともに、各ブロック毎に所定のしきい値よりも大なる色差を有する特徴画素の色差空間上の座標を色差大座標として検出する手段と、各ブロック毎に、前記色差平均座標及び色差大座標からベクトルを演算する手段と、前記入力画像を構成する、いずれか複数のブロックまたは全てのブロックの前記ベクトルの収束点座標を演算する手段と、前記収束点座標に基づいて前記入力画像の光源色を推定してホワイトバランスを調整する手段とを有することを特徴とする。

本発明では、色差平均値画素と色差最大値画素（あるいは色差）が所定のしきい値以上である色差大画素からベクトルを演算する。色差平均画素は物体色と光源色との光源色を反映し、色差大画素は物体色を反映しているから、これらの画素を用いて演算されるベクトルの方向（延長線上）に光源色が存在すると推定でき、推定された光源色を用いてホワイトバランスを調整する。

本発明によれば、複雑な解析アルゴリズムあるいは多数の解析パラメータを用いることなく、色差に基づいて演算されるベクトルを用いて簡易に、かつ高精度に光源色を推定し、ホワイトバランスを調整できる。

以下、図面に基づき本発明の実施形態について説明する。

図１に、本実施形態に係るホワイトバランス調整装置の構成ブロック図を示す。本実施形態のホワイトバランス調整装置は、プロセッサおよびメモリを有する画像処理ＩＣとしてデジタルカメラに内蔵される。図１０に示す従来の構成と異なり、代表値計算回路１４と並列的に特徴画素検出回路２２が設けられ、代表値計算回路１４の出力と特徴画素検出回路２２の出力が共にブロックベクトル計算回路２４に供給され、さらにブロックベクトル計算回路２４の出力がベクトル収束点計算回路２６に供給される。ベクトル収束点計算回路２６の出力はホワイトバランスゲイン計算回路１８に供給される。

ブロック分割回路１２は、撮像装置１０から入力した画像を複数のブロックに等分割し、各ブロックを順次、代表値計算回路１４及び特徴画素検出回路２２に出力する。

代表値計算回路１４は、従来と同様に各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、その平均値に対して（１）式に従いブロックの輝度Ｔｌ、ブロックの色差Ｔｇ、Ｔｉを算出する。代表値計算回路１４は、算出した各ブロックの代表値（Ｔｌ、Ｔｇ、Ｔｉ）をブロックベクトル計算回路２４に出力する。

一方、特徴画素検出回路２２は、各ブロックを構成するｎ×ｍ個の画素毎に（１）式に従い輝度Ｔｌおよび色差Ｔｇ、Ｔｉを算出する。ここで留意すべきは、代表値計算回路１４では各ブロックを構成する全画素のＲＧＢの平均値に対して（１）式を用いて輝度や色差を算出するのに対し、特徴画素検出回路２２は各画素のＲＧＢそれ自体の値を用いて輝度および色差を算出することである。特徴画素検出回路２２は、各ブロックを構成するｎ×ｍ個の画素の輝度および色差を算出した後、さらに、各画素毎に以下の式により輝度・色差空間における距離（色差距離）を算出する。

距離＝（Ｔｉ²＋Ｔｇ²）^1/2
各画素毎に輝度・色差空間における距離を算出した後、当該ブロックの全画素の距離を互いに大小比較し、当該ブロックにおいて最大の距離を有する画素（最大色差画素）を抽出し、当該ブロックにおける特徴画素としてブロックベクトル計算回路２４に出力する。

図２に、各ブロックを構成する画素の一例を示す。ブロックを構成する画素群２００のそれぞれはＲ画素、Ｇ画素およびＢ画素から構成される。本実施形態ではＲ画素、Ｇ画素、Ｂ画素をまとめて１つの画素２０２とする。特徴画素検出回路２２は、各画素を構成するＲ画素、Ｇ画素、Ｂ画素の各画素値を用いて輝度Ｔｌ、色差Ｔｇ、Ｔｉを算出する。そして、算出した色差Ｔｇ、Ｔｉを用いて輝度・色差空間上の距離を算出し、当該ブロックを構成する全ての画素について距離を算出した後に、最大距離（最大色差）を有する画素を特徴画素として抽出する。

図３に、あるブロック１００において抽出される特徴画素、すなわち最大色差画素３００を示す。ブロック１００には葉の像１０２が存在し、このエリアにおいて色差が最大値となる。図において、最大色素画素３００が葉像１０２の一部として示されている。

ブロックベクトル計算回路２４は、特徴画素検出回路２２からの特徴画素の色差、及び代表値計算回路１４からの代表値の色差を入力し、これら２つの色差データから光源色推定ベクトルを生成する。すなわち、色差空間上において、これら２つの色差座標点を互いに結ぶことで１つのベクトルが形成され、このベクトルをもって光源色推定ベクトルとする。

図４に、あるブロックの特徴画素及び代表画素を示す。画素Ｐがそのブロックで最大色差を有する特徴画素（Ｔｉ０、Ｔｇ０）であり、画素Ｑが代表値計算回路１４で算出された当該ブロックにおける代表値画素Ｑ（Ｔｉ１、Ｔｇ１）である。ブロックの代表画素Ｑの色差は、既述したように当該ブロック内に存在する物体の色と光源の色が混ざった混色を示し、特徴画素の色差は、当該ブロックにおける物体の色を示すと考えられる。従って、当該ブロックにおける特徴画素Ｐと代表画素Ｑから形成されるベクトルに着目すると、このベクトルはそのブロックにおける物体色と光源色との混色と、物体色との相互の関係を規定するベクトルとなり、従ってこのベクトルを含む直線上、すなわちベクトルの方向に光源色が存在する可能性が高いと推定される。図では、代表画素Ｑを始点、特徴画素Ｐを終点としたベクトルを示しているが、特徴画素Ｐを始点、代表画素Ｑを終点とするベクトルとしてもよい。特徴画素Ｐを始点とし、代表画素Ｑを終点とするベクトルの向きの延長上に光源色が存在する可能性が高いと推定できる。本実施形態では、以上の原理に基づき、ブロック分割回路１２から供給される全てのブロックに対して代表値計算回路１４で算出される代表値と特徴画素検出回路２２で算出される特徴画素から光源色ベクトルを算出し、各ブロック毎の光源色ベクトルに基づいて色差空間における光源の色を推定する。ブロックベクトル計算回路２４は、ブロック毎に算出した光源色推定ベクトルをベクトル収束点計算回路２６に出力する。

ベクトル収束点計算回路２６は、全てのブロックの光源色推定ベクトルの収束点を演算する。上記のとおり、光源色は光源色推定ベクトルの延長上に存在する可能性が高いから、全てのブロックの光源色推定ベクトルの収束点が、全てのブロックの光源色、すなわち入力画像シーンの光源色を示すことになる。

図５に、ベクトル収束点計算回路２６におけるベクトル収束点演算の様子を示す。複数のブロック毎に算出されたベクトル４００、ベクトル４０２、ベクトル４０４、ベクトル４０６、及びこれらのベクトルの収束点５００を示す。全ブロックの光源色推定ベクトルの収束点５００の色差座標を（Ｔｉα、Ｔｇα）とし、あるブロックにおける光源色推定ベクトルがａ_nＴｉ＋ｂ_nＴｇ＋ｃ_n＝０で与えられるものとすると、収束点５００と光源色推定ベクトルとの距離の二乗ｄは次の式で与えられる。

ｄ＝｛ａ_nＴｉα＋ｂ_nＴｇα＋ｃ_n｝²／（ａ_n ²＋ｂ_n ²）
理論的には、全ての光源色推定ベクトル４００、４０２、４０４、４０６に対してｄ＝０となる点が収束点５００であるが、実際には全てのブロックの光源色推定ベクトルがある一点に収束することは稀であるため（図では理想的な条件での収束を示している）、全てのブロックの光源色推定ベクトル４００〜４０６と収束点５００との距離の平均（あるいは距離の２乗ｄの平均）が最小となる点を収束点５００とすればよい。このような収束点５００は、例えば準ニュートン法で算出することができる。図６に、ある撮影画像に対して全てのブロックについて算出した光源色推定ベクトルの実例を示す。図に示すように、実際には全てのブロックはひとつの収束点に収束するわけではなくばらつきが存在する。図には、準ニュートン法で算出した１つの収束点５０２を示す。ベクトル収束点計算回路２６は、以上のようにして算出された収束点５００の色差座標を光源の色差として、また代表値計算回路１４で算出された全ブロックの輝度の平均値を光源の輝度として推定し、ホワイトバランスゲイン計算回路１８に出力する。ホワイトバランスゲイン計算回路１８は、（２）、（３）、（４）式に従ってホワイトバランスゲインを算出し、ホワイトバランス調整回路２０に出力する。もちろん、ホワイトバランスゲイン計算回路１８において、ベクトル収束点計算回路２６で得られた光源色の座標に基づいて光源色の種類（昼光か蛍光灯か等）を識別し、識別した種類をホワイトバランス調整回路２０に出力してもよい。ホワイトバランス調整回路２０は、予め光源の種類毎に定めたゲイン（例えばデイライト用ゲイン、蛍光灯用ゲイン等）に従ってホワイトバランスを調整できる。

図７に、色差空間における昼白（デイライト）の白エリア、蛍光灯の白エリア、及び葉のエリアを示す。ホワイトバランス調整の要諦は、得られた画像からこれらの光源色を互いに正しく識別することにある。図に示される通り、蛍光灯の白エリアと葉のエリアは色差空間においてその範囲が一部重複して存在するため、シーンに葉の像が存在すると、本来はデイライトであるにもかかわらずそのシーンの光源色を蛍光灯と誤判定してしまうおそれが生じる。

図８に、蛍光灯下における光源色推定ベクトルの様子を示し、図９にデイライト下における光源色推定ベクトルの様子を示す。蛍光灯下においては、光源色推定ベクトルは蛍光灯の白エリアに収束する。葉が存在していても同様である。一方、デイライト下では例え葉のエリアであっても光源色推定ベクトルは蛍光灯付近ではなくデイライトの白エリア方向に収束する。このことからも、例え葉の像が存在する場合においても、光源色推定ベクトルの収束点を探索することで、蛍光灯ではなくデイライトであると正しく判定することができる。

このように、本実施形態においては、各ブロック毎に代表値を算出する処理に加え、各ブロック毎に特徴画素を抽出して、これら２つの画素点から光源色推定ベクトルを計算するだけで光源色を高精度に推定してホワイトバランスを調整することが可能である。本実施形態においては、複雑なシーン解析アルゴリズムや多数の制御パラメータを新たに導入する必要がなく、画像の特徴を抽出するのみで光源色を推定できる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく種々の変更が可能である。

例えば、本実施形態では、入力画像を構成する全てのブロックについて光源色推定ベクトルを演算し、これら全ての光源色推定ベクトルから収束点を演算しているが、入力画像を構成する全ブロックのうちの選択されたブロックの光源色推定ベクトルを用いて収束点を演算してもよい。

また、本実施形態では、ブロック内において最大色差を有する画素を当該ブロックの特徴画素として抽出しているが、しきい値を定め、このしきい値以上の色差を有する画素群の中から特徴画素を選択してもよい。しきい値以上の色差を有する画素も、物体色をある程度反映した画素であるから、光源色を一定の精度で推定できる。しきい値を大きくするほど精度が向上する。

さらに、光源色推定ベクトルの大きさが所定値よりも小さい場合には、代表画素と特徴画素との間に相違がないとしてその光源色推定ベクトルを無視してもよい。

実施形態の構成ブロック図である。 入力画像の画素構成図である。 あるブロックにおける特徴画素説明図である。 色差空間における特徴画素と代表値画素から形成される光源色推定ベクトルの説明図である。 光源色推定ベクトルの収束の様子を示す説明図（理想条件）である。 光源色推定ベクトルの収束の様子を示す説明図である。 色差空間におけるデイライト、蛍光灯の白エリアと葉のエリアの関係を示す説明図である。 色差空間における光源色推定ベクトルの蛍光灯への収束の様子を示す説明図である。 色差空間における光源色推定ベクトルのデイライトへの収束の様子を示す説明図である。 従来装置の構成ブロック図である。 ブロック内に葉像が存在する説明図である。

符号の説明

１０ 撮像装置、１２ ブロック分割回路、１４ 代表値計算回路、１６ ホワイトバランス評価回路、１８ ホワイトバランスゲイン計算回路、２０ ホワイトバランス調整回路、２２ 特徴画素検出回路、２４ ブロックベクトル計算回路、２６ ベクトル収束点計算回路、３００ 特徴画素（最大色差画素）、４００，４０２，４０４，４０６ 光源色推定ベクトル、５００，５０２ 収束点。

Claims (3)

1. 入力画像を複数のブロックに分割し、各ブロック毎に複数の画素のＲＧＢの平均値から代表値を算出するとともに、各ブロック毎に彩度が最大である特徴画素を抽出し、各ブロック毎に前記代表値の色差と前記特徴画素の色差とから色差空間上の光源色推定ベクトルを演算する手段と、
   各ブロック毎に演算された前記光源色推定ベクトルの収束点を光源色として推定してホワイトバランス補正を制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. 入力画像を複数のブロックに分割し、各ブロック毎に複数の画素のＲＧＢの平均値から代表値を算出するとともに、各ブロック毎に彩度が最大である特徴画素を抽出し、各ブロック毎に前記代表値の色差と前記特徴画素の色差とから色差空間上の光源色推定ベクトルを演算する手段と、
   各ブロック毎に演算された前記光源色推定ベクトルまでの距離の平均が最小となる色差空間上の座標点を光源色として推定してホワイトバランス補正を制御する制御手段と、
   を有することを特徴とする画像処理装置。
3. 撮像装置のホワイトバランスを調整するホワイトバランス調整装置であって、
   入力画像を複数のブロックに分割する手段と、
   各ブロック毎に、複数の画素のＲＧＢの平均値から算出した代表値の色差空間上の座標を色差平均座標として算出するとともに、各ブロック毎に所定のしきい値よりも大なる色差を有する特徴画素の色差空間上の座標を色差大座標として検出する手段と、
   各ブロック毎に、前記色差平均座標及び色差大座標からベクトルを演算する手段と、
   前記入力画像を構成する、いずれか複数のブロックまたは全てのブロックの前記ベクトルの収束点座標を演算する手段と、
   前記収束点座標に基づいて前記入力画像の光源色を推定してホワイトバランスを調整する手段と、
   を有することを特徴とするホワイトバランス調整装置。