JP3466167B2 - 白バランスの光源色推定方法およびその推定方法を用いた撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、電子スチルカメ
ラやビデオムービー等で、照明光の色温度によらず良好
な画像が得られるようにするための白バランスの光源色
推定手法およびその推定方法を用いた撮像装置に関す
る。

【０００２】

【従来の技術】被写体を撮影して得た信号からそれぞれ
色差信号（ＥＲ−ＥＹ）および（ＥＢ−ＥＹ）を生成
し、各色差信号をそれぞれ画面全体にわたって積分し、
各積分平均値がそれぞれ所定の基準レベルになるように
赤・青の信号の利得を制御するようにした自動白バラン
ス調整方法では、飽和度の高い色信号があると各積分平
均値がその色信号に振られ白バランスがとれないという
問題があった。

【０００３】この問題を解決するために特開平1-46393
号公報では、各積分平均値を求める際に、各色差信号に
対してそれぞれ強色差信号検出用のスライスレベルを設
定し、各色差信号のうち設定されたスライスレベルを越
える強色差信号については該強色差信号に代えて前記ス
ライスレベルよりも弱い色差信号を示す所定のレベルに
置き換え、これを積分する。

【０００４】これにより、強色差信号をそのスライスレ
ベルよりも弱い色差信号で置き換えるので、飽和度の高
い色信号による大きな白バランスのずれは発生しなくな
るが、置き換える所定のレベル分だけ色が薄くなる。ま
た、同系色の色を撮影した場合にも色が薄くなるという
問題があった。

【０００５】

【発明が解決しようとする課題】上記した従来の自動白
バランスの光源色推定方法では、強色差信号をそのスラ
イスレベルよりも弱い色差信号で置き換えた所定のレベ
ル分だけ色が薄くなったり、同系色の色を撮影した場合
にも色が薄くなるという問題があった。

【０００６】この発明の目的は、色の薄くなりにくい白
バランスを実現するための自動白バランスの光源色推定
方法およびその推定方法を用いた撮像装置を提供するこ
とにある。

【０００７】

【課題を解決するための手段】上記した課題を解決する
ために、この発明の自動白バランスの光源色推定方法
は、被写体像を電気信号に変える撮像素子からの画像信
号から照明光を推定し、３原色信号に利得補正を施して
３原色信号のバランスをとる自動白バランス回路にあっ
て、所定色温度の照明光の３原色信号の信号レベルを同
一化した前記撮像素子からの３原色画像信号の平均値を
取り、これに基づき得られた赤信号と青信号のどちらか
大きなレベルの信号を、赤信号と青信号の乗算平均より
緑信号が大きい時は緑信号とともに同一割合で、緑信号
が小さいときは単独で、減少して求めた赤信号と青信号
の乗算平均と緑信号が同一レベルになる点を光源色と推
定することを特徴とする。

【０００８】上記したこの推定方法では、画像中の色か
ら３原色信号の強い色成分を減少させて、光源の色とす
るための色みが保存された白バランスが実現できる光源
色推定が可能となる。

【０００９】また、撮像素子から得られた映像信号から
３源色信号を作成し、前記３原色信号のうち赤および青
の信号利得を調整する自動白バランス機能を有した画像
入力部を有する撮像装置にあって、被写体像を電気信号
に変える撮像素子からの画像信号から照明光を推定し、
３原色信号に利得補正を施して３原色信号のバランスを
とる自動白バランス回路に、所定色温度の照明光の３原
色信号の信号レベルを同一化した前記撮像素子からの３
原色画像信号の平均値を取り、これに基づき得られた赤
信号と青信号のどちらか大きなレベルの信号を、赤信号
と青信号の乗算平均より緑信号が大きい時は緑信号とと
もに同一割合で、緑信号が小さいときは単独で、減少し
て求めた赤信号と青信号の乗算平均と緑信号が同一レベ
ルになる点を光源色と推定する手法により、推定した光
源色に基づいて赤および青の信号利得を決定する。

【００１０】これにより、画像中の色から３原色信号の
強い色成分を減少させて、光源の色とするための色みが
保存された白バランスを実現する光源色推定が可能とな
り、良好な白バランス機能を搭載した撮像装置が実現で
きる。

【００１１】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施の形態について詳細に説明する。

【００１２】図１は、この発明の第１の実施の形態につ
いて説明するためのブロック図である。レンズ１０１に
より取込まれた被写体像は、固体撮像素子１０２に結像
する。固体撮像素子１０２は、光電変換を行い、映像信
号を色分離回路１０３に出力する。色分離回路１０３
は、映像信号から３原色信号を分離して出力する。積分
回路１０４ａ、１０４ｂ、１０４ｃは、それぞれ赤
（Ｒ）、緑（Ｇ），青（Ｂ）信号を積分して、各信号の
平均値を出力する。

【００１３】マルチプレクサ１０５は、各原色信号を順
次選択し、マイクロコンピュータ１０６に各原色信号の
平均値を渡す。マイクロコンピュータ１０６は次に述べ
るアルゴリズムで、光源の色を推定し、Ｒ増幅器１０７
とＢ増幅器１０８の利得を制御する信号を出力し、白バ
ランスのとれたＲＧＢ信号をカメラプロセス回路１０９
に出力する。

【００１４】図２は、この発明の光源色の推定方法の説
明に使う色座標系を説明するための説明図である。

【００１５】照明光源としては、ローソクや白熱電球や
太陽光のように発光スペクトルが黒体輻射の式に従う光
源が一般的である。このような光源は色温度と呼ばれる
指標だけで、たとえば色温度が低いローソクは橙色っぽ
い照明であるし、色温度が高い青白い昼の太陽光などの
照明光の色が規定できる。

【００１６】このような光源で照明された白い被写体を
写した時の固体撮像素子出力のＲＧＢの信号量は、色温
度が低い場合Ｇ信号に対してＲ信号が大きく、Ｇ信号に
対してＢ信号が小さくなる。反対に色温度の高い光源で
白い被写体を写したときには、Ｇ信号に対してＲ信号が
小さく、Ｇ信号に対してＢ信号が大きくなる。より詳し
く調べると、Ｒ／ＧとＢ／Ｇの積は、白色光源の場合一
定になっている。

【００１７】従って、たとえば４５００Ｋの色温度の照
明光下でＲＧＢのレベルを同一にした場合には図２のよ
うに、横軸にＢ／Ｒの対数を、縦軸に（Ｂ／Ｇ・Ｒ／
Ｇ）の対数をとると、横軸は４５００Ｋを中心に右に行
くほど色温度が高くなる対応づけができ、縦軸は白色光
源に比べて緑成分が少なければ上に、多ければ下になる
色座標系ができる。

【００１８】平均色からこの色座標系の座標を、次のよ
うにして高速に求めることができる。まず、平均色のＲ
ＧＢレベルの対数をルックアップテーブルで求める。こ
の対数値にＲＧＢに対応した利得補正項を加えること
で、例えば４５００Ｋの色温度の照明光で対数変換値Ｌ
ＯＧ（Ｒ）、ＬＯＧ（Ｇ）、ＬＯＧ（Ｂ）を同一値にす
ることができる。この値をもとに、平均色の図２での色
座標は（ＬＯＧ（Ｂ）−ＬＯＧ（Ｒ），ＬＯＧ（Ｒ）＋
ＬＯＧ（Ｂ）−ＬＯＧ（Ｇ）−ＬＯＧ（Ｇ））で、ＬＯ
Ｇ変換さえすればあとは加減算だけで求めることがで
き、高速化が可能となる。

【００１９】この色座標系では、中央部に色温度の広が
りを持った横長の楕円領域が白い色の範囲となる。例え
ば、青は相対的に赤、緑が少なく青が多い色なので、こ
の色座標系では右上方向に配置され、原点から遠いほど
飽和度の高い色となっている。

【００２０】同様に、シアン系（空色系）の色は右下
に、緑系の色は原点の下方向に、黄系の色は左下に、橙
系の色は原点の左に、赤系の色は左上に、マゼンタ系
（紫系）の色は原点の上に、それぞれ配置され、どの色
も原点から遠ざかるほど色飽和度が高い色となる色座標
系となっている。

【００２１】図３は、この発明での照明光の色の推定方
法を説明するための説明図である。

【００２２】例えば、平均色が３０７で示される青の場
合には、この平均色から青成分を低減する。すなわち、
左下４５度方向に線を引き横軸と交わった点を、光源の
色として推定する。この手法によれば、光源はある色温
度の白色光源色と同じであり、しかもこの光源の色を白
としても平均色の青みはほとんど低減されないこととな
る。

【００２３】また、平均色が３０２で示されるシアンが
かった緑の場合には、この平均色からシアン成分を低減
してみる。すなわち、左上４５度方向に破線を引き横軸
との交点を求めると色温度軸の符号が負で、平均色の色
温度座標の符号と違ってしまう。これは、平均色の色味
と違う色味を低減させたことを意味する。この場合に
は、光源の推定色の横軸の値を０にする。

【００２４】このようにして求めた光源色の色座標を白
とした場合の平均色は、シアンよりの緑と正常に白バラ
ンスがとれた信号として出力できる。

【００２５】この光源色の推定手法を式で表すと次のよ
うになる。この色座標系での平均色の座標を（ｔ，ｍ）
とすると、光源の座標は ｔ＞０のとき （ｍａｘ（ｔ−ＡＢＳ（ｍ），０），０） ・・・ （１） ｔ＜０のとき （ｍｉｎ（ｔ＋ＡＢＳ（ｍ），０），０） ・・・ （２） で求められる。ここで、ＡＢＳ（）は引数の絶対値を返
す関数、ｍａｘ（）は最大値を求める関数、ｍｉｎ（）
は最少値を求める関数である。すなわち、ｔが０より大
きいときは、ｍの絶対値をｔが差し引いた結果が負にな
る場合は０にする。同様にｔが０より小さいときは、ｍ
の絶対値をｔに加え、正になる場合は０にする。

【００２６】このようにして推定した光源色の座標を
（Ｋｔ，Ｋｍ）として、４５００Ｋ色温度でのＲＢの白
バランス利得をそれぞれＡｒ_０、Ａｂ_０とおくと、Ｒ増
幅器１０７とＢ増幅器１０８の利得Ａｒ，Ａｂをそれぞ
れ、 Ａｒ＝Ｋｒ・ＥＸＰ（（Ｋｔ−Ｋｍ）／２） ・・・ （３） Ａｂ＝Ｋｂ・ＥＸＰ（（−Ｋｔ−Ｋｍ）／２） ・・・ （４） と制御することで、所定色温度範囲内の白色光源で照明
された白い被写体に対してＲＧＢ信号レベルの揃った信
号が得られる。

【００２７】一方、照明の雰囲気を残したい場合には、
光源色の色温度方向の座標値に低減率Ｃを乗じ、 Ａｒ＝Ｋｒ・ＥＸＰ（（Ｃ・Ｋｔ−Ｋｍ）／２） ・・・ （５） Ａｂ＝Ｋｂ・ＥＸＰ（（−Ｃ・Ｋｔ−Ｋｍ）／２） ・・・ （６） と白バランス利得を設定することもできる。低減率Ｃの
値としては、照明下の被写体とほぼ同じ色に見えるＣ＝
０．５から被写体色と同じに見えるＣ＝１．０の間の値
に設定する。

【００２８】このようにして、レベルの揃えられた信号
をカメラプロセス＆マトリクス回路１０９で、ガンマ補
正処理や輪郭補正処理や輝度・色差信号への変換が施す
ことで、自動白バランス機能を搭載した固体撮像装置が
実現できる。

【００２９】図４は、この発明の第２の実施の形態につ
いて説明するための説明図である。この実施の形態は、
白バランスのトラッキング色温度範囲に制限を付けた場
合を示している。例えば,夕焼け空の橙色や青空の色は
この座標系の横軸に近い色座標を持つため、図３に示さ
れるように光源色を推定しただけだと色が薄くなってし
まう。

【００３０】一般に用いられる白色の照明光源として
は、色温度が３０００Ｋ（スタジオライト）〜１０００
０Ｋ（曇り空）に限られていて、それよりも低い色温度
の照明（白熱電球やローソク）では温かみのあるやや赤
い照明光として写るほうが望ましく、色温度の高い青空
（色温度は約１５０００Ｋ）では青く写るほうが望まし
い。

【００３１】従って、光源色を推定する条件として、色
温度範囲を設定したほうが良い。４５００Ｋで白バラン
スをとった状態で、３０００Ｋ〜１００００Ｋの色温度
範囲のＲ信号およびＢ信号は反比例関係で、それぞれ約
１／２倍〜約２倍の変動量を持つので、Ｒ／Ｂとしては
１／４倍〜４倍となる。

【００３２】従って、平均色の座標を（ｔ，ｍ）とした
とき、光源の推定座標を、 ｔ＞０のとき （ｍｉｎ(ｍａｘ（ｔ−ＡＢＳ（ｍ），０），ＬＯＧ（４）)，０） … （７） ｔ＜０のとき （ｍａｘ（ｍｉｎ（ｔ＋ＡＢＳ（ｍ），０），−ＬＯＧ（４）），０） … （８） と制限することで、夕焼け空の橙色や青空の色も再現す
ることができる。すなわち、式（７）では式（１）に対
し、最大値をＬＯＧ（４）で制限し、白バランスの取れ
る光源の色温度の上限を規制している。式（８）では式
（２）に対し、最小限−ＬＯＧ（４）で制限し、白バラ
ンスの取れる光源の色温度の下限を規制している。

【００３３】図５は、この発明の第３の実施の形態につ
いて説明するための説明図である。図５は、照明光源と
して蛍光灯照明を考慮に入れて光源色を推定する方法で
ある。蛍光灯では、蛍光体の配合により発光色を決めて
いるが、昼光色や白色の蛍光灯では、同じ色温度の黒体
輻射より緑成分が多く設計されている。このため、蛍光
灯下で撮影すると緑がかった画像になる傾向がある。こ
れを避けるために、図５のように緑側から光源色を推定
する場合に、所定の色温度範囲（４０００Ｋ〜７０００
Ｋ）のものは、図中５０３に示した緑成分を残した状態
で光源色を推定する。これにより、緑がかった白を基準
に白バランスをとり、画面全体が緑っぽくなることを防
止することができる。

【００３４】図６は、この発明の第４の実施の形態につ
いて説明するためのブロック図であり、図６において、
図１と同じ機能を有するブロックには同じ符号を付して
説明する。

【００３５】積算値メモリー５１０は複数の画像ブロッ
クに対するＲＧＢの積算値を保持する。マルチプレクサ
１０５は、ＲＧＢ信号を順次選択し、積算器５０４は対
応する積算値メモリー５１０内の画像ブロックの各色信
号の積算値に順次加えることで、ブロック毎の平均色デ
ータを積算値メモリー５１０内に形成する。

【００３６】このため、メモリーを追加することが必要
となりハードウエア規模は大きくなるディメリットはあ
るものの、ブロック画像をもとに白バランスを決定する
メリットは、より白らしいブロックから求めた光源色を
優先する重み付けができる点にある。

【００３７】図７は明るさと重みの関係を示すための図
で、横軸は明るさであり、人間の視感度に近いＧ信号の
寄与率を上げるためＧは２回かけているが、ＲとＢも掛
けることにより色飽和度の低いブロックの方により大き
な重みを持たせられる。掛け算のＬＯＧ関数は、ＬＯＧ
関数をとったものの加算になるので、横軸の計算は光源
色の推定で用いたＲＧＢのＬＯＧ関数値の加算で求めら
れ簡単である。重みはＳ／Ｎの良くない暗いブロックで
は小さくし、Ｓ／Ｎの良い明るいブロックで大きくする
ことで、光源色の検出誤差を小さくできる。

【００３８】また、信号の直線性がなくなる固体撮像素
子の飽和レベルに近いブロックは、平均色が違う色にな
っている可能性が高いので重みを下げている。

【００３９】図８は色による重み付けの例を示し、図中
の数値は重みを示している。縦軸がＬＯＧ（ＲＢ／Ｇ
Ｇ）、横軸がＬＯＧ（Ｂ／Ｒ）の光源色の推定で用いた
色座標系と同じである。従って、この色座標系のブロッ
クの色座標の計算は完了しており、処理時間はほとんど
増加しない。この座標の原点は例えば色温度４５００Ｋ
の白色を示し、ここから遠ざかるにされて色飽和度が増
加する。従って、原点に近い色については重みを重くし
て遠ざかるに連れて重みを軽くする。これにより色飽和
度が低いブロックが優先的に光源色の推定に利用でき
る。

【００４０】このようにして各ブロック毎に光源推定色
を求め、重みを掛けた値を全ブロックで積算し、重みの
総計で割ることで、画面全体に対する光源色の推定がで
き、これをもとに白バランスをとることで、自然な白バ
ランスのとれた画像の選られる自動白バランス機能搭載
の固体撮像装置が実現できる。

【００４１】図９は、この発明の第５の実施の形態につ
いて説明するためのブロック図であり、図９において、
図６と同じ機能を有するブロックには同じ符号を付して
説明する。

【００４２】レンズ１０１により結像される光像は、色
分解光学系９０１により、３原色の光像として３個の固
体撮像素子１０２Ｒ、１０２Ｇ、１０３Ｂにそれぞれ結
像し、各固体撮像素子からＲＧＢ独立の画像信号を出力
する。この画像信号は、ＡＤ変換器９０２〜９０４の分
解能を有効に使えるよう信号レベルを揃えるために、Ｒ
増幅器１０７、Ｇ増幅器９０６、Ｂ増幅器１０８がＡＤ
変換器の前に設けている。Ｇ増幅器９０６は固定利得で
あり、Ｒ増幅器１０７とＢ増幅器１０８の利得をマイク
ロコンピュータ１０６により適切に制御することで、白
バランス機能を取ることができる。従って、Ｒ増幅器１
０７とＢ増幅器１０８の利得設定値Ａｒ _１とＡｂ_１はマ
イクロコンピュータ１０６内にある。マルチプレクサ１
０５、積算器５０４と積算メモリー５１０で求められた
ブロック毎の各色信号の積算値（Ｒ_ｉ、Ｇ_ｉ，Ｂ_ｉ）を
対数変換する際に、 ＬＯＧ（Ｒ）＝ＬＯＧ（Ｒ_ｉ／Ａｒ_１・Ａｒ_０） ＝ＬＯＧ（Ｒ_ｉ）＋ＬＯＧ（Ａｒ_０）−ＬＯＧ（Ａｒ_１） ＬＯＧ（Ｇ）＝ＬＯＧ（Ｇ_ｉ） ＬＯＧ（Ｂ）＝ＬＯＧ（Ｂ_ｉ／Ａｂ_１・Ａｂ_０） ＝ＬＯＧ（Ｂ_ｉ）＋ＬＯＧ（Ａｂ_０）―ＬＯＧ（Ａｂ_１） として利得補正をすることで、所定色温度での利得（Ａ
ｒ_０、Ａｂ_０）条件下でのＲＧＢレベルの対数値が求め
られ、これを基に光源色を推定し、利得制御すること
で、自動白バランス機能を搭載した固体撮像装置が実現
できる。

【００４３】

【発明の効果】以上説明したように、この発明の白バラ
ンスの光源色推定方法によれば、画像中の色から３原色
信号の強い色成分を減少させて、光源の色とするための
色みが保存された白バランスが実現できる光源色推定が
可能となる。

【００４４】また、この発明の白バランスの光源色推定
方法を用いた撮像装置によれば、画像中の色から３原色
信号の強い色成分を減少させて、光源の色とするための
色みが保存された白バランスを実現する光源色推定が可
能となることから良好な白バランス機能を有することが
できる。

【図面の簡単な説明】

【図１】この発明の第１の実施の形態について説明する
ためのブロック図。

【図２】この発明の光源色の推定方法の説明に使う色座
標系を説明するための説明図。

【図３】この発明での照明光の色の推定方法を説明する
ための説明図。

【図４】この発明の第２の実施の形態について説明する
ための説明図。

【図５】この発明の第３の実施の形態について説明する
ための説明図。

【図６】図５の光源色を推定する場合について説明する
ための説明図。

【図７】図５の明るさと重みの関係について説明するた
めの説明図。

【図８】図５の色による重み付けの一例について説明す
るための説明図。

【図９】この発明の第５の実施の形態について説明する
ためのブロック図。

【符号の説明】

１０１・・・レンズ １０２・・・固体撮像素子 １０３・・・色分離回路 １０４ａ〜１０４ｃ・・・積分回路 １０５・・・マルチプレクサ １０６・・・マイクロコンピュータ １０７・・・Ｒ増幅器 １０８・・・Ｂ増幅器 １０９・・・カメラプロセス回路 ５１０・・・積算値メモリー

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 被写体像を電気信号に変える撮像素子か
   らの画像信号から照明光の色を推定し、３原色信号に利
   得補正を施して３原色信号のバランスをとる自動白バラ
   ンスのための光源色推定方法において、照 明光に対し３原色信号の信号レベルを同一化した前記
   撮像素子からの３原色画像信号それぞれの平均値である
   平均赤信号Ｒ、平均緑信号Ｇ、平均青信号Ｂを算出する
   平均値算出ステップと、 前記算出された平均赤信号Ｒ、平均緑信号Ｇ、平均青信
   号Ｂから、ＬＯＧ（Ｂ／Ｒ）が０より大きいときは（ｍ
   ａｘ（ＬＯＧ（Ｂ／Ｒ）−ＡＢＳ（ＬＯＧ（ＲＢ／
   Ｇ ^２ ）），０），０）で表される式（１）、ＬＯＧ（Ｂ
   ／Ｒ）が０より小さいときは（ｍｉｎ（ＬＯＧ（Ｂ／
   Ｒ）＋ＡＢＳ（ＬＯＧ（ＲＢ／Ｇ ^２ ）），０），０）で
   表される式（２）に基づき、照明光の色座標の推定値
   （Ｋｔ，Ｋｍ）を算出する推定値算出ステップと、を具
   備するこ とを特徴とした白バランスの光源色推定方法。
2. 【請求項２】 前記算出された照明光の色座標の推定値
   （Ｋｔ，Ｋｍ）が所定範囲から外れている場合に、前記
   所定範囲内に納まるようクリップ処理を施すステップを
   さらに具備することを特徴とする請求項１記載の自動白
   バランスの光源色推定方法。
3. 【請求項３】 前記平均値算出ステップで、画像を区分
   するブロック毎に前記平均赤信号Ｒ、平均緑信号Ｇ、平
   均青信号Ｂを算出し、 前記推定値算出ステップで、前記ブロック毎に前記照明
   光の色座標の推定値（Ｋｔ，Ｋｍ）を算出することを特
   徴とする請求項１記載の自 動白バランスの光源色推定方
   法。
4. 【請求項４】 明るさ情報に基づく重みを持たせて、前
   記ブロック毎に算出された前記照明光の色座標の推定値
   を平均化するステップをさらに具備することを特徴とし
   た請求項３記載の白バランスの光源色推定方法。
5. 【請求項５】 色飽和度が低いほど大きくなる重みを持
   たせて、前記ブロッ ク毎に算出された前記照明光の色座
   標の推定値を平均化するステップをさらに具備すること
   を特徴とした請求項３記載の白バランスの光源色推定方
   法。
6. 【請求項６】 撮像素子から得られた映像信号から３原
   色信号を作成し、前記３原色信号のうち赤および青の信
   号利得を調整する自動白バランス機能を有した画像入力
   部と、 請求項１から５のいずれかの手法により前記照明光の色
   座標の推定値を算出する手段と、 前記算出された照明光の色座標の推定値に基づいて、前
   記赤 および青の信号利得を決定する手段と、を具備する
   ことを特徴とする撮像装置。