JPH07143513A - カラー撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】混合光に対してもその種類と混合割合を推定す
ることが可能なカラー撮像装置を提供する。 【構成】色信号ｒｇｂはブロック分割され、平均化され
た後、色差信号が生成される。そして距離算出部２４に
より色差信号と、メモリー２６より得られる予め想定し
た光源との色差平面上での距離を求め、距離の大小によ
り信頼度算出部２５において予め想定した各種光源を含
む可能性を表す値として信頼度を算出する。そして信頼
度を基に推定値算出部２８で光源の混合割合を算出し、
その結果により利得算出部２９で入力画像に対するホワ
イトバランス補正利得調整用の利得算出を行い、ホワイ
トバランス制御を行うことで、混合光に対しても最適な
ホワイトバランス補正を行うことが可能になる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオムービーなどの
カラー撮像装置に関する。

【０００２】

【従来の技術】人間の目には色順応の性質があり、様々
な光源下であっても同一物体の色はほぼ同じ色に見え
る。しかしビデオカメラなどでは色順応性を持たないた
め、光源の種類によっては同一物体であっても色再現が
異なる場合がある。したがって、ビデオカメラなどには
オートホワイトバランス補正が必須であり、従来より様
々な方式が提案されている。

【０００３】ここで従来のカラー撮像装置について説明
する。図１および図５を用い、従来のカラー撮像装置に
ついて説明する。図１はカラー撮像装置の全体構成図で
あり、１は撮像素子、２は色分離部、３は利得調整部、
４はホワイトバランス演算部、５はマトリクス、６はエ
ンコーダである。図５は図１におけるホワイトバランス
演算部４の従来構成を詳細に示したものであり、１１は
平均値演算部、１２はマトリクス、１３は光源選択部、
１４はメモリー、１５は利得選択部である。

【０００４】このような構成要素からなるカラー撮像装
置について、以下構成要素間の関係とその動作を説明す
る。まず、撮像素子１により得られた画像信号は、色分
離部２によりｒｇｂの基本色信号に分離される。そし
て、ｒｇｂ信号が色温度補償部である利得調整部３によ
り利得調整され、ｒ’ｇ’ｂ’信号となりマトリクス５
に送られる。マトリクス５では利得調整部３より出力さ
れたｒ’ｇ’ｂ’信号からｒ−ｙ、ｂ−ｙ色差信号を生
成する。そしてこの色差信号はこれらを複合カラー信号
に変換するための変調部であるエンコーダ６に入力さ
れ、ここでＮＴＳＣ方式などの標準色信号に変換された
後、出力される。

【０００５】また色分離部２より出力された色信号ｒｇ
ｂは、ホワイトバランス演算部４へも入力される。ここ
でホワイトバランス演算部４では、まず平均値演算部１
１でｒｇｂ画像信号を画面毎に平均化し、マトリクス１
２で色差信号ｒ−ｙ、ｂ−ｙに変換し、輝度信号Ｙによ
り正規化する。そして光源選択部１３では色差平面上に
おいて、図４に示すように、あらかじめメモリー１４に
記憶している各種光源の色差信号より決定される枠と、
求められた入力画像の位置とを比較し、入力画像が枠内
に入っているか否かで被写体に照射されていると予想さ
れる光源種を選択する。そして利得選択部１５により、
推定された光源に対応する色温度補償を行うための利得
値をメモリー１４より選択し出力することにより利得調
整部３でｒｇｂ信号の利得を調整し、画像信号のホワイ
トバランスをとるようになっている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来構成では、光源選択部では光源は単一であるというこ
とを前提にして、あらかじめ用意してある光源のうち一
つを選択するという光源推定を行っており、複数の光源
が被写体に照射されている場合はその種類と混合割合を
求めることができないという問題点があった。

【０００７】本発明は、上記従来の問題点を解決するも
ので、混合光源に対してもその種類と混合割合を推定す
ることが可能なカラー撮像装置を提供することを目的と
するものである。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
めに、本発明のカラー撮像装置は、光学系を介して被写
体像を結像するカラー撮像素子と、前記撮像素子からの
撮像信号を入力して基本色信号に色分離する色分離部
と、前記基本色信号を入力し、原色信号または色差と輝
度信号を被写体の照明光の色温度に応じた利得調整を行
って出力する色温度補償部と、前記色温度補償部の出力
に接続され複合カラー信号に変換する変調部と、前記基
本色信号を入力し、これより構成される空間上での各光
源間の距離を求める光源間距離算出部と、前記光源間距
離算出部の出力に接続され各光源間の距離の大小に応じ
て光源種を推定する光源種推定部と、光源種推定部出力
より色温度補償を行うための利得値を生成し前記色温度
補償部に出力する色温度補償利得値算出部から構成され
ている。

【０００９】

【作用】この構成によって、基本色信号により構成され
る空間上での各光源と入力画像の間の距離を求め、その
距離の大小により入力画像が各光源を含む割合を求める
ことができ、混合光に対しても光源種類とその混合割合
を求めることができる。

【００１０】

【実施例】以下本発明の一実施例を図面に基づいて説明
する。まず、本発明の原理を説明する。被写体に対して
複数の光源が照射されている場合、その種類と混合比率
を求めるためには、色差平面上において推定対象である
光源の位置と入射光の実測値の位置との距離関係により
求めるのが有効である。たとえば、ハロゲンランプと白
色蛍光灯の混合光が被写体に照射されている場合、この
混合光は色差平面上でハロゲンランプと白色蛍光灯の間
に位置し、その距離は２光源の混合比率に比例する。

【００１１】ここで、光源Ａと光源Ｂの混合光が存在す
る場合を考え、図３のように色差平面上での混合光と光
源Ａの距離をＰＡ、混合光と光源Ｂとの距離をＰＢ、光
源Ａと光源Ｂの距離をＰとするとき、混合光が光源Ａ、
光源Ｂを含む可能性を表す値としてそれぞれ信頼度Ｓ
Ａ、ＳＢを次の（１）式のように定義する。

【００１２】 ＳＡ＝１−ＰＡ／Ｐ （０≦ＰＡ≦Ｐ） ＳＡ＝０ （ＰＡ＞Ｐ） ＳＢ＝１−ＰＢ／Ｐ （０≦ＰＢ≦Ｐ） ＳＢ＝０ （ＰＢ＞Ｐ） …（１） 混合光の位置が光源Ａの位置に重なれば、その混合光は
光源Ａ１００％、光源Ｂ０％の信頼度であり、混合光の
位置が光源Ａと光源Ｂの位置の中間に位置するならば光
源Ａ５０％、光源Ｂ５０％の信頼度となる。

【００１３】実際の入射光では混合光の光源の種類は既
知ではないため、その種類を決定する必要がある。これ
は、あらかじめ光源の種類をいくつか想定しておき、色
差平面上で入射光の実測値の位置と前述の想定した光源
のうち最も近い距離にある光源と、次に近い光源を混合
光源の光源種類とみなすことにより求めることができ
る。この例は簡単のために光源の距離の大小により光源
種類を決定したが、あらかじめ想定した光源どうしを直
線で結び、その法線方向の距離の大小により決定する方
法などもあげることができ、その方法については任意に
選択できる。

【００１４】以下にこのような信頼度を用いた光源推定
法を実現するカラー撮像装置の一実施例について説明す
る。図１は本発明の一実施例のカラー撮像装置、特にそ
のホワイトバランス補正装置の全体構成図、図２は本発
明の一実施例のカラー撮像装置におけるホワイトバラン
ス演算部を示す構成図である。図２において、２１はブ
ロック分割部である。２２の平均値演算部、２３のマト
リクス、２６のメモリーについては従来例の構成と同じ
ものである。２４は光源間距離算出部、２５は信頼度算
出部、２７は信頼度判定部、２８は推定値算出部、２９
は利得算出部である。

【００１５】このような構成要素からなる本実施例のカ
ラー撮像装置について以下構成要素間の関係とその動作
を説明する。まず、図１において撮像素子より得られた
画像信号は、色分離部によりｒｇｂの基本色信号に分離
され、色温度補償部である利得調整部３により利得調整
されたのち、マトリクス５によりｒ−ｙ、ｂ−ｙ色差信
号に変換され、これを複合カラー信号に変換する変調部
であるエンコーダ６でＮＴＳＣ方式などの標準色信号に
変換され出力される。ここまでは従来例と同様である。

【００１６】ここでホワイトバランス演算部について図
２を参照しながら説明する。色分離部３より出力された
色信号ｒｇｂは、まず入力画像を複数のブロックに分割
するブロック分割部２１によりいくつかのブロックに分
割される。ここからの処理は各ブロックに共通のため、
１つのブロックについて説明する。まず平均値演算部２
２でｒｇｂ各データは平均化され、マトリクス２３で色
差信号ｒ−ｙ、ｂ−ｙに変換され、輝度信号Ｙにより正
規化される。そして光源間距離算出部２４では、色差平
面上において、上記で求められた入力画像の位置とあら
かじめメモリー２６に記憶している各種光源に対する色
差位置との距離を求める。

【００１７】そして信頼度算出部２５では、最も近い光
源と次に近い光源を選択し、それらに対する距離を基に
（１）式によりこれら光源を含む可能性を表す値として
の信頼度を算出する。このようにして、各ブロック毎に
各光源に対する信頼度が２種類ずつ求められるが、有彩
色などを撮像すると信頼度が０であるブロックが生じ
る。このようなブロックが多ければ正確な推定ができな
いため、信頼度判定部２７において信頼度が０であるブ
ロックが多ければ光源推定処理をうちきり、誤推定を防
止する。そしてある程度信頼度が得られれば、推定値算
出部２８で入力画像に対する光源の推定値Ｕを算出す
る。ここで、各光源毎に各ブロックの信頼度の総和を求
めこれを信頼度代表値Ｓｎとするとき、各光源に対する
信頼度代表値Ｓｎの光源全体に対する割合を求め、これ
を入力画像の各光源に対する混合割合として推定値Ｕｎ
を次の（２）式のように定義する。

【００１８】

【数１】

【００１９】上記の信頼度算出部２５、信頼度判定部２
７、判定値算出部２８は各光源間の距離の大小に応じて
光源種を推定する光源種推定部を構成している。このよ
うに光源種推定部により入力画像に対する光源の種類と
その混合割合が求められたので、次に利得算出部２９に
より入力画像に対するホワイトバランス補正利得調整用
の利得算出を行い、利得調整部３によりホワイトバラン
ス補正を行う。すなわち、利得算出部２９は光源種推定
部の出力である推定値算出部２８からの出力より色温度
補償を行うための利得値を生成し、これを色温度補償部
である利得調整部３に出力する色温度補償利得値算出部
として動作する。

【００２０】なお、利得算出法についてはファジィ制御
による方法、ニューラルネットワークシステムによる方
法などがあるが、本実施例はどの方法を用いても良い。
また、本実施例では撮像素子を１個とし、色分離部によ
り基本色信号に分離して光源推定を行ったが、撮像素子
を複数備えたもの（２板式、３板式カメラなど）であっ
ても同様の効果が得られる。また、撮像素子を別に設け
ることにより光源推定に基本色信号を３種類だけ使用す
るのではなく蛍光灯の輝線スペクトル成分や、赤外線成
分を検知することで通常の色差平面上で光源推定を行う
のではなく、もっと高次元の空間で光源推定を行えば、
より混合光に対する光源推定誤差を減少させることがで
きる。

【００２１】

【発明の効果】以上のように、本発明によれば、色差平
面上において各光源間の距離を基にした信頼度を導入す
ることにより入力画像から光源の種類とその混合割合を
求めることができ、高精度な光源推定を実現することが
できる。これにより色温度補償誤差の最小化を図ること
ができる。したがって、様々な光源下でのビデオカメラ
の色再現性の向上が図られ、その効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例のカラー撮像装置の全体構成
図

【図２】本発明の一実施例のカラー撮像装置におけるホ
ワイトバランス演算部を示す構成図

【図３】本発明の一実施例のカラー撮像装置における信
頼度空間を説明する図

【図４】従来のカラー撮像装置における光源選択ブロッ
クを説明する図

【図５】従来のカラー撮像装置におけるホワイトバラン
ス演算部の詳細構成図

【符号の説明】

１ 撮像素子 ２ 色分離部 ３ 利得調整部 ４ ホワイトバランス演算部 ５ マトリクス ６ エンコーダ ２１ ブロック分割部 ２２ 平均値演算部 ２３ マトリクス ２４ 距離算出部 ２５ 信頼部算出部 ２６ メモリー ２７ 信頼度判定部 ２８ 推定値算出部 ２９ 利得算出部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 光学系を介して被写体像を結像するカラ
   ー撮像素子と、前記撮像素子からの撮像信号を入力して
   基本色信号に色分離する色分離部と、前記基本色信号を
   入力し、原色信号または色差と輝度信号を被写体の照明
   光の色温度に応じた利得調整を行って出力する色温度補
   償部と、前記色温度補償部の出力に接続され複合カラー
   信号に変換する変調部と、前記基本色信号を入力し、こ
   れより構成される空間上での各光源間の距離を求める光
   源間距離算出部と、前記光源間距離算出部の出力に接続
   され各光源間の距離の大小に応じて光源種を推定する光
   源種推定部と、光源種推定部出力より色温度補償を行う
   ための利得値を生成し前記色温度補償部に出力する色温
   度補償利得値算出部からなることを特徴とするカラー撮
   像装置。