JP4724735B2 - 固体撮像装置及びデジタルカメラ - Google Patents

Description

本発明は固体撮像装置及びデジタルカメラに係り、特に、複数種類の光源下にある被写体を撮像したときのホワイトバランスを良好にとり色かぶりの少ない画像を得ることができる固体撮像装置及びデジタルカメラに関する。

デジタルスチルカメラ（携帯電話機に搭載されているものを含む。）やデジタルビデオカメラ等のデジタルカメラでは、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子によって被写体を撮像し、得られた画像データのホワイトバランスを、被写体の照明光源種類に応じて補正し、出力している。

光源としては、太陽光（Ｄ６５光源，Ｄ７５光源など），普通型白色蛍光灯（Ｆ６光源），３波長型蛍光灯（Ｆ１０光源，Ｆ１１光源，Ｆ１２光源その他），フラッシュライトなど代表的な種々の光源が予め想定されており、デジタルカメラが自動的にホワイトバランス補正を行う場合、撮像画像データを解析して光源種類を識別し、この光源種類に応じた補正値を使用する様になっている。

しかし、撮影を行う場合、１種類の光源によってのみ被写体が照明される場合の他、複数種類の光源によって被写体が照明されるシーンを撮影する場合がある。例えば、蛍光灯で照明されている室内に窓から太陽光が射し込んでいる状態で、室内シーンを撮影する場合などである。

複数種類の光源によって照明されている被写体を撮像して得た画像データをホワイトバランス補正する場合、従来は、メインとなる１種類の光源種類だけを判別し、画像全体をその光源種類に基づいて補正していた。このため、画像中のメインの被写体から外れた画像部分つまり他の種類の光源による照明が強い部分の画像が色かぶりを起こして黄色味や緑色味の強い画像になり、色の再現性（特にグレーや肌色の再現性）が低下するという問題があった。

そこで、例えば、特開平８-３４０５４２号公報（特許文献１）の段落番号〔００２６〕に記載された従来技術では、Ｆ６光源で照明されている室内でメインの被写体をフラッシュを焚いて撮影したとき、フラッシュ発光前に固体撮像素子から得られた画像データとフラッシュ発光後に固体撮像素子から得られた画像データとから、撮像画像の画像領域毎にフラッシュ光の影響量を求め、この影響量に応じて画像領域毎のホワイトバランス補正量を決め、画像全体でホワイトバランスのとれた画像を生成することを提案している。

特開平８-３４０５４２号公報（段落番号〔００２６〕）

しかしながら、上述した特許文献１の従来技術は、フラッシュ発光を行った場合のホワイトバランスだけを対象としており、フラッシュ発光前の画像データとフラッシュ発光後の画像データの２枚の画像データを用いなければならない構成となっている。

このため、この特許文献１の技術は、フラッシュ光以外の複数種類の光源下にある被写体を撮像した場合のホワイトバランス補正に適用することはできない。何故ならば、室内を蛍光灯で照明している室の窓から太陽光が射し込んでいる状態で室内シーンを撮影した場合、１枚の画像データが得られるだけであり、太陽光照射前の画像データと太陽光照射後の画像データの２枚の画像データを得ることができないからである。

本発明の目的は、蛍光灯による照明と他の光源による照明とが混合したときの撮影画像のホワイトバランス補正を良好に行い、色かぶりが少なく色再現性の高い固体撮像装置及びデジタルカメラを提供することにある。

上記目的を達成する本発明の固体撮像装置は、被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、前記複数の色信号のうちの少なくとも一色を検出する前記画素として分光感度の異なる二種類の画素を前記固体撮像素子に設けると共に該異なる分光感度の差を蛍光灯の放射ピーク近傍の感度とし、前記二種類の分光感度を有する画素によって得られた撮像画像データを用いて前記蛍光灯の照明光と該蛍光灯以外の他光源の照明光との混合比を求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする。

この構成により、被写体が複数種類の光源によって照明されている場合でも色かぶりが抑制され色再現性の優れた画像データを得ることができる。

本発明の固体撮像装置は、前記混合比及び前記ゲイン量を前記画素毎に求めることを特徴とする。

この構成により、画素単位に色再現性が向上する。

本発明の固体撮像装置の信号処理手段は、前記撮像画像データから求めた色差信号に対して色差マトリクスを乗算して色調補正する手段と、該色差マトリクスの係数を前記混合比に応じて補正する色差マトリクス補正手段とを備えることを特徴とする。

この構成により、自動的に光源種類やその混合比に応じたホワイトバランス補正、色差マトリクス補正が可能となる。

本発明の固体撮像装置の信号処理手段は、前記撮像画像データから光源種類を判別する光源種別判定手段を備えることを特徴とする。この構成により、自動的に光源種類やその混合比に応じたホワイトバランス補正、色差マトリクス補正が可能となる。

本発明のデジタルカメラは、上記のいずれかに記載の固体撮像装置を搭載したことを特徴とする。この構成によっても、被写体が複数種類の光源によって照明されている場合でも色かぶりが抑制され色再現性の優れた画像データを得ることができる。

本発明によれば、蛍光灯と他の光源とが混合した状態で撮影した画像のホワイトバランス補正を良好に行うことができ、更に色かぶりが少なく色再現性が高い撮像画像を得ることができる。また、この効果により、カメラに付属させるフラッシュ装置の発光パワーを必要最小限にとどめることができる。即ち、フラッシュ光量が小さいと、アベイラブルライトの光量が相対的に上がることになり色カブリが顕著となるが、本発明の効果によりその色カブリを補正できる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の後述する実施形態の基本的考えを説明する形態（以下、説明形態という。）に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。

また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサであるが、本説明形態では、ハニカム画素配置のＣＣＤ（図３参照）を用いる。

デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力された色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。

更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データを色信号毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。

図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。

図２は、各種光源の相対放射エネルギ分布を照度を揃えて比較したグラフである。光源としては、Ｄ５５（太陽光），Ｄ７５（太陽光），Ａ（タングステン光），Ｆ６（普通型白色蛍光灯），３波長型昼白色蛍光灯，Ｆ１２（３波長型電球色蛍光灯）の６種類を図示している。

この図２を見ると、以下のような波長の光を検出するセンサを設けることで、３波長型昼白色蛍光灯やＦ１２光源を、その他の光源（太陽光，Ａ光源，Ｆ６光源）から高精度に識別できることが分かる。

例えば、３波長型螢光灯の放射ピークがある６１０ｎｍ付近、或いは５４５ｎｍ付近を検出するセンサを設ける。別の例としては、蛍光灯の放射エネルギが小さい６４０ｎｍ以上の光を検出するセンサを設けたり、３波長型蛍光灯の放射エネルギが小さく且つ普通型蛍光灯（Ｆ６）の放射エネルギが高い５７０ｎｍ〜５８０ｎｍ付近の光を検出するセンサを設ける。その他、５２０ｎｍ付近など、前述した各種光源の放射分布を照度一定の条件にて比較した場合に、３波長型蛍光灯光が他の光源光と異なる波長であればどこであっても有効である。

センサを２種類設ける場合、各センサの検出波長がなるべく近いことが好ましい。具体的には、夫々のピーク感度波長が１００ｎｍ以内にあることが望ましい。例えば、波長５４５ｎｍを検出するセンサと、波長６１０ｎｍを検出するセンサを設ける。この場合のピーク感度とはカメラ感度でのピークを意味する。２種類のセンサのピーク感度波長が近いほど、被写体の色相に依存せずに、光源混合比を精度良く推定することができるからである。

これらのセンサは、ＣＣＤやＣＭＯＳと別個にカメラに設けることもできるし、また、ＣＣＤやＣＭＯＳなどの固体撮像素子に一体に組み込んで設けることもできる。

図３は、図１に示す固体撮像素子１１の一部表面を示す模式図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行，各列の各フォトダイオードに対して、１／２ピッチづつずらした位置に、青（Ｂ）と赤（Ｒ）の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。

図示する例では、「Ｒ」「Ｇ」「Ｂ」と記載された８角形の枠が夫々赤（Ｒ），緑（Ｇ），青（Ｂ）の色フィルタを示し、対応するフォトダイオードは、その下側（紙面の下側）に配置される。より正確には、８角形の枠がフォトダイオードの形を表し、赤，緑，青の色フィルタは、８角形の枠より大きなサイズ（例えば８角形や４角形）で設けられる。

光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印ａに示す様に各フォトダイオードの脇に形成されている垂直転送路６０に読み出され、この信号電荷は、矢印ｂに示す様に垂直転送路６０に沿って転送されて水平転送路６１に至り、今度は矢印ｃに示す様に水平転送路６１に沿って転送され、固体撮像素子から読み出される。各画素（フォトダイオード）から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。

固体撮像素子１１の各フォトダイオードの表面には色フィルタが重ねて設けられるが、このＲ，Ｇ，Ｂの色フィルタは、例えば顔料や染料を用いて製造される。この製造時に、本説明形態では、１０００画素程度に１つの割合で且つ固体撮像素子１１の表面に均等に分散するように、図３に示す様に、例えばＧの色フィルタの代わりに波長５８０ｎｍ付近の光を透過する色フィルタ（Ｓ５８０）を設け、例えばＲの色フィルタの代わりに波長６４０ｎｍ以上の光を透過する色フィルタ（ＳＬＲ）を設ける。Ｓ５８０とＳＬＲとは、隣接したペアとして設けるのがよい。

画素Ｓ５８０や画素ＳＬＲの蓄積電荷は、画素Ｇや画素Ｒから信号電荷を読み出すときに一緒に読み出され、光源種別や混合比を求めるときに使用される。画素Ｓ５８０，ＳＬＲ位置のＲ，Ｇ，Ｂ信号成分は、周りの画素Ｒ，Ｇ，Ｂの各信号電荷を補間演算して求めることになる。

図４は、上述した各色フィルタ（Ｒ，Ｇ，Ｂ，Ｓ５８０，ＳＬＲ）を設けた固体撮像素子１１を搭載したデジタルスチルカメラ（赤外線カットフィルタ１３やカメラレンズ１０等を組み合わせた後）の分光感度を示すグラフである。

各色フィルタＲ，Ｇ，Ｂは夫々赤色，緑色，青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、青色フィルタＢは、波長約４６０ｎｍ付近に透過光のピークを持ち、波長約４００ｎｍ以下の光と波長約５１０ｎｍ以上の光をカットする様に製造される。

また、緑色フィルタＧは、波長約４８０ｎｍ以下の光と波長約６００ｎｍ以上の光をカットし、両者間の光を透過する波形となっている。更に、赤色フィルタＲは、波長５８０ｎｍ以下の光をカットし、波長５８０ｎｍ以上の光を透過する。波長６６０ｎｍ以上の光は、赤外線カットフィルタ１３によってカットされる。

尚、本説明形態で用いることができるＲ，Ｇ，Ｂの各色フィルタの分光特性に関する上記の記載は、厳密なものではない。例えば、Ｒの「５８０ｎｍ以下の光をカットし」とは、例えば５５０ｎｍから６１０ｎｍにかけてのなだらかなカットであってもよく、あるいは、青色光波長域に洩れがあっても良い。これはＧやＢの色フィルタについても同様である。

本説明形態における色フィルタＳ５８０は、図２に示す様に、普通型蛍光灯（Ｆ６光源）の放射エネルギが高く、３波長型蛍光灯（特に、３波長型昼白色蛍光灯，Ｆ１２光源）の放射エネルギが低い波長５７０ｎｍ〜５８０ｎｍの光を透過する様に製造され、色フィルタＳＬＲは、蛍光灯（Ｆ６，３波長型昼白色蛍光灯，Ｆ１２光源）の放射エネルギが小さい波長６４０ｎｍ以上の光を透過する様に製造される。

図５は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、デジタルシグナルプロセッサ上で動作するソフトウェアにて構成することも可能である。

図示する例のデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるＲ，Ｇ，Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整を後述のホワイトバランスゲイン量算出回路５３で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路４３とを備える。

Ａ／Ｄ変換回路２３から出力される色信号は、Ｒ，Ｇ，Ｂの３色でなる画像信号であり、オフセット補正回路４１は、これらの画像信号を取り込んでオフセット処理を行い、次のゲイン補正回路４２は、取り込んだ画像信号Ｒ，Ｇ，Ｂに対して夫々ホワイトバランス補正処理を施す。

デジタル信号処理部２６は更に、ガンマ補正回路４３から出力されるＲ，Ｇ，Ｂの画像信号を補間演算して各画素位置におけるＲＧＢ３色の信号成分を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクス（Ｃ―ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８とを備える。

更に、デジタル信号処理２６は、積算部２８から出力される信号Ｒ，Ｇ，Ｂ，Ｓ５８０，ＳＬＲ毎の積算値ΣＲ，ΣＧ，ΣＢ，ΣＳ５８０，ΣＳＬＲを取り込んで光源種別を判定する光源種別判定回路５１と、画素Ｓ５８０と画素ＳＬＲの検出信号及び赤色信号Ｒとを取り込んで光源混合比を推定する光源混合比推定回路５２と、ホワイトバランスゲイン量算出回路５３とを備える。

ホワイトバランスゲイン量算出回路５３は、光源種別判定回路５１と、光源混合比推定回路５２の出力信号を受け、被写体照明光源が１種類の場合にはその光源種類に応じたホワイトバランスのゲイン量をゲイン補正回路４２に出力し、被写体照明光源が特定光源と他光源との混合であった場合には夫々の光源種類の光源混合比に応じたホワイトバランスゲイン量を算出し、ゲイン補正回路４２に出力する。

色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路５１が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス〔Ｃ―ＭＴＸ〕を、入力してくる色差信号Ｃｒ，Ｃｂに、次の数１に示す様に乗算し、色調補正された色差信号Ｃｒ’，Ｃｂ’を出力する。

この色差マトリクス回路４８は、光源種別判定回路５１と、光源混合比推定回路５２の出力信号を受け、光源種類が複数種類ある場合には、光源種類毎の照明光混合比に応じて、色差マトリクスの係数を次の様に補正する。

今、光源Ｌ１の照明光が１００％のときの色差マトリクス〔Ｃ１―ＭＴＸ〕と、光源Ｌ２の照明光が１００％のときの色差マトリクス〔Ｃ２―ＭＴＸ〕の係数が夫々次の数２で、

と表される。

そして、光源Ｌ１と光源Ｌ２の混合比がｍ：（１−ｍ）のとき、色差マトリクス回路４８で使用する色差マトリクスの係数ａ，ｂ，ｃ，ｄを、
ａ＝ｍ×ａ１＋（１−ｍ）×ａ２
ｂ＝ｍ×ｂ１＋（１−ｍ）×ｂ２
ｃ＝ｍ×ｃ１＋（１−ｍ）×ｃ２
ｄ＝ｍ×ｄ１＋（１−ｍ）×ｄ２
として求める。

あるいは、上式以外の任意の式やルックアップテーブルによってＣ１―ＭＴＸからＣ２―ＭＴＸへｍに依存して連続的に変化させることもできる。

尚、光源Ｌ１，Ｌ２に対応する夫々の色差マトリクスは、ホワイトバランスの補正込みで最適な値に決めたものを使用するのがよい。特に、肌色の色相が良好で、かつ光源種にかかわらず同じであるように決めるのが好ましい。同時に、一般色の再現性も、基準光源で撮影した時の状態になるべく近づけて決めるのが良い。

積算部２８は、固体撮像素子１１で撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域における信号電荷のΣＲ，ΣＧ，ΣＢの値を積算して出力するため、光源種別判定回路５１は各積算値ΣＲ，ΣＧ，ΣＢを取り込んで、ΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。

この分布の形状が、ある種類の光源による分布の形状と、別の種類の光源による分布の形状の両方にまたがる分布を示す場合、光源種類が２つあると判断し、光源種類を判別する。また、ユーザが、図１に示す操作部２１から光源種別を入力した場合には、その光源種別を使用する。

以下、光源混合比推定回路５２で行う混合比推定処理について説明する。同一照度にて光源Ｌ１，光源Ｌ２の放射エネルギを比較すると、波長５７０ｎｍから５８０ｎｍの波長域と、波長６４０ｎｍ以上の波長域で、いずれも光源Ｌ１の方が低い。そこで、センサ用の画素Ｓ５８０，ＳＬＲの各検出信号を「Ｓ５８０」，「ＳＬＲ」とし、画素Ｒからの出力値を「Ｒ」と表したとき、

なる比Ｘの値を算出する。

この比の値Ｘは、どんな色の被写体であっても、光源Ｌ１が３波長型蛍光灯であり光源Ｌ２が太陽光ないしＡ光源であるとすると、光源Ｌｌの比率ｌ００％から光源Ｌ２の比率１００％に向かって単調に増大する。しかも、Ｘの絶対値は、光源Ｌｌと光源Ｌ２の混合比率が同じとき被写体の色（自然色）に関わらずかなり近い値となる。即ち、自然色が被写体である限り、光源の混合比を良い精度で推定できる。

この現象は、次のように説明できる。Ｒの分光感度は、図４から分かるように、Ｓ５８０やＳＬＲを含む形になっている。このため、（Ｓ５８０＋ｋ×ＳＬＲ）をＲで割った値Ｘは、赤色波長域において５８０ｎｍ付近の入射光の割合Ａと６４０ｎｍ以上の入射光の割合Ｂの合計を意味している。蛍光灯光の比率が多いほど、ＡもＢも小さな値となるが，その絶対値は、被写体の色に依存して様々である。

しかし、自然色の分光反射率特性は、狭い波長域（およそ１００ｎｍ程度の範囲）においては、概略、平坦になるか、右上がりになるか、右下がりになるかの３通りしかないので、ＡとＢを合計し、Ｒで除すれば、どんな色の場合でも近い値になる。

比Ｘの値を用い、本説明形態では、次の数４により、混合比ｍの値を算出する。

ここで、ｋ_１，ｋ_２，ｋ_３は夫々係数であり、各係数ｋ_１，ｋ_２，ｋ_３は、光源Ｌ１，Ｌ２の色温度で表した式で求める。これらの式は、予めカメラに記憶させておく。あるいは、予め計算した値をテーブルデータとして記憶させておく。

次に、具体例について述べる。今、Ｆ１２光源と太陽光Ｄ６５との混合光源下で被写体を撮影したとする。この場合には、
ｍ＝−０．０７９４Ｘ^２＋０．７８６Ｘ−０．４９４
Ｘ＝（Ｓ５８０＋１．５６４×ＳＬＲ）／Ｒ
但し、ｍ＞１の時は、ｍ＝１とし、
ｍ＜１の時は、ｍ＝０とし、
Ｒ＝０の時は、ｍ＝０とする。
と計算する。ここで、ｍ＝１は、Ｄ６５が１００％を意味する。

上記の場合、Ｒ，Ｓ５８０，ＳＬＲの値は、固体撮像素子１１の出力値に、Ｄ６５用のホワイトバランス（ＷＢ）係数（これはディフォルト値としてカメラに予め設定されている。）を掛けた値である。

図６は、この具体例における補正効果を示す図であり、図６（ａ）に補正前の状態、図６（ｂ）にホワイトバランス補正及び色差マトリクス補正後の状態を示す。図６（ａ）の各○印はＤ６５光源下での各色の測色点を示し、各○印付近から延びる線は、Ｄ６５光源にＦ１２光源の照明光を混ぜていったときの再現色の軌跡を示している。

補正前の図６（ａ）では、ほとんど全ての色で、再現色の軌跡が縦軸の上方向すなわちｂ＊方向に延びている。この方向は黄色方向を示し、Ｆ１２光源の照明光が太陽光（Ｄ６５光源）に混じると、全ての色が黄色に色かぶりしてしまうことを示している。

これに対し、推定混合比ｍを用いてホワイトバランス補正及び色差マトリクス補正を行うと、図６（ｂ）に示す様に、特にグレイや肌色において、Ｆ１２光源の照明光が太陽光（Ｄ６５光源）に混じっても、黄色の色かぶりが抑制されることが分かる。

この様な推定混合比ｍを用いた補正効果は、図示は省略するが、３波長型蛍光灯（Ｆ１２，Ｆ１１，Ｆ１０光源や昼光色等の各種光源）と、太陽光（Ｄ７５，Ｄ６５，Ｄ５０）やフラッシュライトとの組み合わせでも、同様に得られる。

図７はＦ１２光源とＡ光源とを混合した場合の補正効果を示す図であり、図７（ａ）は補正前、図７（ｂ）は補正後を示す図である。推定混合比ｍは、
ｍ＝０．０３８３Ｘ^２＋０．３５６−０．２５８
（ｍ＝１はＡ光源が１００％）
で求め、Ｘは、上記と同様に、係数ｋ＝１．５６４としている。

図７（ａ）の各○印はＡ光源下での各色の測色点を示し、各○印付近から延びる線は、Ａ光源にＦ１２光源の照明光を混ぜていったときの再現色の軌跡を示している。

補正前の図７（ａ）では、かなりの色で、再現色の軌跡が北西方向に延び、緑色に色かぶりしてしまっている。これに対し、推定混合比ｍを用いてホワイトバランス補正及び色差マトリクス補正を行うと、図７（ｂ）に示す様に、特にグレイにおいて、Ｆ１２光源の照明光がＡ光源に混じっても、緑色の色かぶりが抑制されることが分かる。

図８は、Ｆ６光源とＤ６５光源（太陽光）とが混合した場合における補正効果を示す図である。推定混合比ｍは
ｍ＝０．１７７Ｘ^２＋１．１１５Ｘ−１．０６８
（ｍ＝１はＤ６５が１００％）
で求め、比Ｘの値は、
Ｘ＝（ＳＬＲ＋０．４９９Ｇ）／Ｒ
但し、 ｍ＞１の時は、ｍ＝１とし、
ｍ＜０の時は、ｍ＝０とし、
Ｒ＝０の時は、ｍ＝１とする。
で求めている。

図８（ａ）の各○印はＤ６５光源下での各色の測色点を示し、各○印付近から延びる線は、Ｄ６５光源にＦ６光源の照明光を混ぜていったときの再現色の軌跡を示している。

補正前の図８（ａ）では、ほとんど全ての色で、再現色の軌跡が縦軸の上方向すなわちｂ＊方向に延び、殆ど全ての色が黄色に色かぶりしてしまっている。これに対し、推定混合比ｍを用いてホワイトバランス補正及び色差マトリクス補正を行うと、図８（ｂ）に示す様に、殆ど全ての色において、Ｄ６５光源の照明光がＦ６光源が混じっても、黄色の色かぶりが抑制されることが分かる。

（発明の実施形態）
次に、本発明の実施形態に係るデジタルスチルカメラについて説明する。本実施形態に係るデジタルスチルカメラの構成は、前述した説明形態における図１と同じであり、デジタル信号処理部２６の構成も図５と同様である。

上述した説明形態では、５８０ｎｍ付近の波長域の光を検出するセンサＳ５８０と、６４０ｎｍ以上の波長域の光を検出するセンサＳＬＲとを固体撮像素子１１に設けているため、これらのセンサ位置においては画素抜けが生じ、このため、センサ位置における色信号成分は周りの画素の色信号成分を用いて補間演算する必要が生じる。

そこで、本実施形態のデジタルスチルカメラに搭載する固体撮像素子１１では、画素抜けが生じないように、Ｒ，Ｇ，Ｂの分光感度を工夫し、実質的にセンサを設けたのと同等の効果を得ることができる様にしている。

図９は、本実施形態に係る固体撮像素子１１の表面を示す一部模式図である。本実施形態では、赤色Ｒを検出する画素の分光感度として、Ｒ１，Ｒ２の二種類を設けている。図１０は、本実施形態に係る分光感度（カメラの分光感度）を示すグラフである。分光感度Ｒ１と分光感度Ｒ２とを、
Ｒ１−Ｒ２＝Ｓ５８０＋ＳＬＲ
となるように設計している。見方を変えると、分光感度Ｒ２は、ピークが３波長型蛍光灯の放射ピーク６１０ｎｍ近傍となるようにしている。

尚、この実施形態では、Ｒ１，Ｒ２を設けているが、Ｇ１，Ｇ２を設けたり、Ｂ１，Ｂ２を設けることで、波長５２０ｎｍやその他の波長域の光を検出できるようにすることも可能である。

本実施形態では、Ｒ１，Ｒ２，Ｇ，Ｂの色信号が検出されるため、これらの色信号を用い、画素抜け無く、画像データを生成することが可能になると共に、Ｓ５８０やＳＬＲのセンサ検出信号も同時に得られる。Ｒ１，Ｒ２からＲの色信号を求める方法は種々あり、単にＲ１とＲ２の色信号を加算平均するだけでもよい。

以下、本実施形態で、３波長型蛍光灯の照明光と太陽光（色温度５０００Ｋ（Ｄ５０）から７５００Ｋ（Ｄ７５））とが混合した場合の補正について説明する。

本実施形態では、混合比ｍを、
ｍ＝−２８．８４Ｘ^２＋６３．８１Ｘ−３３．９７
（ｍ＝１はＤ６５が１００％）
として求め、
Ｘ＝Ｒ１／Ｒ２
但し、ｍ＞１の時は、ｍ＝１とし、
ｍ＜１の時は、ｍ＝０とし、
Ｒ２＝０の時は、ｍ＝０とする。
としている。

図１１は、Ｆ１２光源とＤ６５光源（太陽光）とが混合した場合における補正効果を示す図であり、図１１（ａ）の各○印はＤ６５光源下での各色の測色点を示し、各○印付近から延びる線は、Ｄ６５光源にＦ１２光源の照明光を混ぜていったときの再現色の軌跡を示している。

図１２は、Ｆ１２光源とＤ７５光源（太陽光）とが混合した場合における補正効果を示す図であり、図１２（ａ）の各○印はＤ７５光源下での各色の測色点を示し、各○印付近から延びる線は、Ｄ７５光源にＦ１２光源の照明光を混ぜていったときの再現色の軌跡を示している。

図１３は、Ｆ１２光源とＤ５０光源（太陽光）とが混合した場合における補正効果を示す図であり、図１３（ａ）の各○印はＤ５０光源下での各色の測色点を示し、各○印付近から延びる線は、Ｄ５０光源にＦ１２光源の照明光を混ぜていったときの再現色の軌跡を示している。

いずれの場合にも、補正前には殆ど全ての色で再現色の軌跡が縦軸の上方向すなわちｂ＊方向に延び、Ｆ１２光源が混じることで殆ど全ての色が黄色に色かぶりしてしまっているが、推定混合比ｍを用いてホワイトバランス補正及び色差マトリクス補正を行うことで、殆ど全ての色において、黄色の色かぶりが抑制されることが分かる。

上記の混合比推定式は、グレーを被写体としたときのＦ１２光源とＤ６５光源の混合比を精度良く推定する式であり、Ｆ１２光源以外の３波長型蛍光灯の場合は、夫々、別の混合比推定式を用いれば、高精度のグレー補正が可能となる。しかし、このＦ１２光源用の混合比推定式を他の３波長型蛍光灯の場合に適用しても、十分な補正効果が得られる。Ｆ１２光源以外の３波長型蛍光灯は、Ｄ６５光源に対してより色味（色温度）が近いので、ホワイトバランスの補正量が小さく、その分だけ、誤差も小さくなるためと考えられる。

図１４は、３波長型昼光色蛍光灯とＡ光源とが混合した場合における本実施形態の補正効果を示す図であり、図１５は、３波長型蛍光灯のうちＦ１０光源とＡ光源とが混合した場合の補正効果を示す図であり、図１６は、同様にＦ１２光源とＡ光源とが混合した場合の補正効果を示す図である。

３波長型蛍光灯とＡ光源とが混合した場合における混合比ｍは、
ｍ＝３８．３７Ｘ^２−６４．５Ｘ＋２６．９６
（ｍ＝１はＡ光源が１００％）
Ｘ＝Ｒ１／Ｒ２
但し、ｍ＞１の時は、ｍ＝１とし、
ｍ＜１の時は、ｍ＝０とし、
Ｒ２＝０の時は、ｍ＝１とする。
として求める。

各図１４（ｂ），図１５（ｂ），図１６（ｂ）に示される通り、３波長型蛍光灯とＡ光源とが混合した場合、上記の混合比推定式で求めた混合比ｍを用いてホワイトバランスや色差マトリクスを補正することで、グレーや肌色の色かぶりが抑制されることが分かる。

尚、上述した３波長型蛍光灯とＡ光源とが混合した場合における混合比推定式は、３波長型昼光色蛍光灯とＡ光源とが混合したときにグレーを高精度に補正する式である。昼光色以外の３波長型蛍光灯（Ｆ１０，Ｆ１１，Ｆ１２光源）の場合には、夫々、別の式を用いれば、完璧なグレー補正ができるが、上記の混合比推定式をそのまま使用しても十分な補正効果が得られる。昼光色以外の３波長型蛍光灯はＡ光源により色味（色温度）が近いため、その分だけ誤差が小さくなるためと考えられる。

尚、光源混合比に応じたホワイトバランスや色差マトリクスの補正量は、画素毎に求めるのが良いが、説明形態の様にセンサを固体撮像素子表面に離散的に均等配置した場合には各センサ配置箇所を中心とした所定領域毎にこれらの補正量を求め、所定領域内の画素に対しては同一補正量を用いることもできる。

あるいは、離散的に配置された補正量のうち、近隣の補正量からの内挿にて画素毎の補正量を決めても良い。画素毎の補正量に含まれるノイズを減らす目的で、周辺画素の補正量との平均値をその画素の補正量とすることもできる。

上述した実施形態ではデジタルスチルカメラを例にしたが、動画撮影用のデジタルビデオカメラ等の他のデジタルカメラ一般に本発明を適用可能である。

本発明によれば、固体撮像装置やデジタルカメラに適用すると有用である。

本発明の説明形態に係るデジタルスチルカメラの構成図である。 各種撮影光源の分光放射分布を示すグラフである。 図１に示す固体撮像素子の表面模式図である。 図１に示すデジタルスチルカメラの分光感度を示すグラフである。 図１に示すデジタル信号処理部の詳細構成図である。 （ａ）Ｄ６５光源にＦ１２光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本説明形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ａ光源にＦ１２光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）説明形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ｄ６５光源にＦ６光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）説明形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 本発明の実施形態に係る固体撮像素子の表面模式図である。 本発明の実施形態に係るデジタルカメラの分光感度を示すグラフである。 （ａ）Ｄ６５光源にＦ１２光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ｄ７５光源にＦ１２光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ｄ５０光源にＦ１２光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ａ光源に３波長型昼光色蛍光灯を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ａ光源にＦ１０光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。 （ａ）Ａ光源にＦ１２光源を混合していった場合における再現色の軌跡を示す図である。 （ｂ）本実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。

符号の説明

１０ 撮影レンズ
１１ 固体撮像素子
１５ ＣＰＵ
２６ デジタル信号処理部
２８ 積算部
４８ 色差マトリクス回路
５１ 光源種別判定回路
５２ 光源混合比推定回路
５３ ホワイトバランスゲイン量算出回路

Claims (5)

1. 被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、前記複数の色信号のうちの少なくとも一色を検出する前記画素として分光感度の異なる二種類の画素を前記固体撮像素子に設けると共に該異なる分光感度の差を蛍光灯の放射ピーク近傍の感度とし、前記二種類の分光感度を有する画素によって得られた撮像画像データを用いて前記蛍光灯の照明光と該蛍光灯以外の他光源の照明光との混合比を求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする固体撮像装置。
2. 前記混合比及び前記ゲイン量を前記画素毎に求めることを特徴とする請求項１に記載の固体撮像装置。
3. 前記信号処理手段は前記撮像画像データから求めた色差信号に対して色差マトリクスを乗算して色調補正する手段と、該色差マトリクスの係数を前記混合比に応じて補正する色差マトリクス補正手段とを備えることを特徴とする請求項１または請求項２に記載の固体撮像装置。
4. 前記信号処理手段は、前記撮像画像データから光源種類を判別する光源種別判定手段を備えることを特徴とする請求項１乃至請求項３のいずれかに記載の固体撮像装置。
5. 請求項１乃至請求項４のいずれかに記載の固体撮像装置を搭載したことを特徴とするデジタルカメラ。

Images