JP4681792B2

JP4681792B2 - デジタルカメラ

Info

Publication number: JP4681792B2
Application number: JP2002260163A
Authority: JP
Inventors: 康夫青塚
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-09-05
Filing date: 2002-09-05
Publication date: 2011-05-11
Anticipated expiration: 2022-09-05
Also published as: JP2004104231A

Description

【０００１】
【発明の属する技術分野】
本発明はＣＣＤやＣＭＯＳセンサ等のカラー画像撮像用固体撮像素子を搭載したデジタルカメラに係り、特に、感度が高く撮影光源種によらず色再現性の優れたデジタルカメラに関する。
【０００２】
【従来の技術】
図１５は、例えば特開平１０―１３６３９１号公報に記載されている従来の固体撮像素子の平面図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑（Ｇ）の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行，各列の各フォトダイオードに対して、１／２ピッチづつずらした位置に、青（Ｂ）と赤（Ｒ）の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。図示する例では、「Ｒ」「Ｇ」「Ｂ」と記載された８角形の枠が夫々赤，緑，青の色フィルタを示し、対応するフォトダイオードは、その下側（紙面の下側）に配置される。より正確には、８角形の枠がフォトダイオードの形を表し、赤，緑，青の色フィルタは、８角形の枠より大きなサイズ（例えば８角形や４角形）で設けられる。
【０００３】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印ａに示す様に各フォトダイオードの脇に形成されている垂直転送路６０に読み出され、この信号電荷は、矢印ｂに示す様に垂直転送路６０に沿って転送されて水平転送路６１に至り、今度は矢印ｃに示す様に水平転送路６１に沿って転送され、固体撮像素子から読み出される。各画素（フォトダイオード）から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【０００４】
この様に、固体撮像素子の各フォトダイオードの表面には色フィルタが重ねて設けられるが、この色フィルタは、例えば顔料や染料を用いて製造される。図１６は、従来の各色フィルタを設けたフォトダイオードの分光感度、但し、赤外線カットフィルタやカメラのレンズ等を組み合わせた分光感度を示し、各色フィルタＲ，Ｇ，Ｂは夫々赤色，緑色，青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、従来の赤色フィルタＲは、図１６に示すように、波長５８０ｎｍ以上の光を透過し、それより低い波長の光は一律にカットする様に製造されている。
【０００５】
この様な固体撮像素子を搭載したデジタルカメラでは、固体撮像素子の感度を高めるために、図１６に破線で示す特性線Ｇ’や特性線Ｒ’の様に、緑色の分光感度を長波長側にブロード化し、また、赤色の分光感度を短波長側にブロード化するのが有効である。
【０００６】
【特許文献１】
特開平１０―１３６３９１号公報
【０００７】
【発明が解決しようとする課題】
上述したように、固体撮像素子の感度を上げるために、ＲやＧの分光感度をブロード化するのが有効である。しかしその一方で、ＲやＧの分光感度をブロード化すると、色が汚くなり色の再現性が低下してしまうという問題がある。
【０００８】
特に、Ｆ６光源（普通型白色蛍光灯）のもとで人間の肌色を撮像した場合、Ｇの分光感度を長波長側にブロード化していると、肌色が黄緑（ＹＧ）味になってしまい、好ましくない。図１７に示す様に、Ｆ６光源からの放射エネルギが５８０ｎｍ付近に偏っていることが大きな原因であり、Ｇの分光感度がブロード化されてこの波長域にかかっている程、肌色はＹＧ味が強くなる。また、Ｆ１２光源（３波長型電球色蛍光灯）においても、その赤色光領域での放射ピーク（約６１０ｎｍ）にＧの感度がかかっている程、肌色がＹＧ味になってしまう。
【０００９】
具体的には、Ｇのピーク感度を“１００”としたときに６００ｎｍでの感度が“１０”以上となる様にＧの分光感度を長波長側にブロード化すると、肌色のＹＧ味が強くなる。また、Ｒのピーク感度を“１００”としたときに５７５ｎｍでのＲの感度が“１０”以上となる様にＲの分光感度を短波長側にブロード化すると、Ｆ６光源下での肌色がＹＧ味になってしまう。
【００１０】
このため、従来のデジタルカメラでは、ＲやＧの分光感度をあまりブロード化することができず、デジタルカメラの感度を上げることができないという問題がある。
【００１１】
本発明の目的は、感度を高めるために分光感度をブロード化した場合でも肌色の色再現性に優れたデジタルカメラを提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するデジタルカメラは、被写体のカラー画像のうち緑色を該緑色のピーク感度に対し波長６００ｎｍでの感度が２７／１００ある緑色フィルタを通して撮像するカラー画像撮像手段と、該カラー画像撮像手段から出力される色信号を輝度信号と色差信号とに分離し該色差信号に対して色差マトリクスを乗算して色調補正を行う信号処理手段とを備えるデジタルカメラにおいて、光源対応に設けられた複数種類の色差マトリクスと、撮影光源が太陽光のとき該光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択し撮影光源が太陽光以外の特定光源のとき該撮影光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択して前記色調補正を行う色差マトリクスの切替手段とを備えることを特徴とする。
また、上記目的を達成するデジタルカメラは、被写体のカラー画像のうち赤色を該赤色のピーク感度に対し波長５７５ｎｍでの感度が６１／１００ある赤色フィルタを通して撮像するカラー画像撮像手段と、該カラー画像撮像手段から出力される色信号を輝度信号と色差信号とに分離し該色差信号に対して色差マトリクスを乗算して色調補正を行う信号処理手段とを備えるデジタルカメラにおいて、光源対応に設けられた複数種類の色差マトリクスと、撮影光源が太陽光のとき該光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択し撮影光源が太陽光以外の特定光源のとき該撮影光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択して前記色調補正を行う色差マトリクスの切替手段とを備えることを特徴とする。
【００１３】
この構成により、光源種別に依存せずに色の再現性が良好となり、奇麗な色の画像を撮像することが可能となる。
【００１４】
好適には、前記特定光源がＦ６光源であることを特徴とする。この構成により、Ｆ６光源下での撮像画像の良好な色再現性と、カメラ感度の高感度化の両方が達成できる。
【００１５】
更に好適には、前記特定光源がＦ１２光源であることを特徴とする。この構成により、Ｆ１２光源下での撮像画像の良好な色再現性と、カメラ感度の高感度化の両方が達成できる。
【００１６】
更に好適には、前記特定光源がＦ６光源とＦ１２光源であり、前記特定光源のときの色差マトリクスとしてＦ６光源用とＦ１２光源用の夫々の色差マトリクスを用意し、前記切替手段は、前記特定光源がＦ６光源であるかＦ１２光源であるかによって色差マトリクスを切り替えて色調補正を行うことを特徴とする。
【００１７】
この構成により、特定光源がＦ６光源であってもＦ１２光源であっても、色の再現性が良く、しかも、カメラ感度の高感度化も図れる。
【００１８】
更に好適には、光源種識別センサを備え、前記切替手段は、前記光源種識別センサの検出結果により自動的に色差マトリクスの自動切り替えを行うことを特徴とする。
【００１９】
この構成により、高精度に光源種別の判定が可能となり、良好なカラー画像の撮像を行うことが可能となる。
【００２０】
更に好適には、前記光源種識別センサは、前記カラー画像撮像手段に一体に組み込まれていることを特徴とする。この構成により、部品点数を減らすことができ、デジタルカメラの低価格化を図ることが可能となる。
【００２１】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２２】
（第１実施形態）
図１は、本発明の第１実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例にしているが、デジタルビデオカメラ、カメラ付携帯電話機等の他の種類のデジタルカメラにも本発明を適用可能である。
【００２３】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００２４】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００２５】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２６】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データをＲ，Ｇ，Ｂ毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２７】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２８】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。
【００２９】
図示する例のデジタル信号処理部２６は、図１に示す積算部２８の出力データを取り込んでホワイトバランス調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ａ／Ｄ変換回路２３から出力されるＲ，Ｇ，Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路４３とを備える。
【００３０】
デジタル信号処理部２６は更に、ガンマ補正回路４３から出力されるＲＧＢの色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクス（Ｃ―ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８と、積算部２８から出力される積算値を取り込んで光源種別を判定し色差マトリクス回路４８に色差マトリクス選択信号を出力する光源種別判定回路４９とを備える。
【００３１】
ＲＧＢ補間演算部４４は、固体撮像素子１１が３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００３２】
光源種別判定回路４９は、固体撮像素子１１で撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域における信号電荷のΣＲ，ΣＧ，ΣＢの値を積算値から求め、ΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。
【００３３】
色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路４９が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス（Ｃ―ＭＴＸ）を、入力してくる色差信号Ｃｒ，Ｃｂに、次の数１に示す様に乗算し、色調補正された色差信号Ｃｒ’，Ｃｂ’を出力する。
【００３４】
【数１】

【００３５】
図３は、このデジタルスチルカメラにおける各色Ｒ，Ｇ，Ｂの分光感度を示すグラフである。緑色の分光感度としては、Ｇ１とＧ２の２種類を用意し、Ｒ，Ｇ１，Ｂの固体撮像素子と、Ｒ，Ｇ２，Ｂの固体撮像素子を用いて比較している。緑色のピーク感度を“１００”としたときの６００ｎｍでの感度は、Ｇ１で“１０”、Ｇ２で“２７”である。トータルのＧ感度としては、Ｇ２はＧ１に対して約２４％アップしている。
【００３６】
Ｒ，Ｇ１，Ｂの分光感度を持つデジタルスチルカメラで、太陽光（Ｄ６５）の下での撮影で色再現性が良好になるように色差マトリクス（Ｃ―ＭＴＸ）を最適化して求めた色差マトリクス（Ｃ―ＭＴＸ（Ｇ１））が次の数２である。
【００３７】
【数２】

【００３８】
この色差マトリクスＣ―ＭＴＸ（Ｇ１）のまま、各種光源（Ｄ７５，Ｄ６５，Ｄ５０，Ａ光源（タングステン），Ｆ６光源，３波長型昼光色蛍光灯，Ｆ１２光源）で撮影したときの肌色の撮影光源依存性（色相角差）を、図４に三角印で示す。
【００３９】
また、Ｒ，Ｇ２，Ｂの分光感度を持つデジタルスチルカメラで、太陽光（Ｄ６５）の下での撮影で色再現性が良好になるように色差マトリクス（Ｃ―ＭＴＸ）を最適化して求めた色差マトリクス（Ｃ―ＭＴＸ（Ｇ２））が次の数３である。
【００４０】
【数３】

【００４１】
この色差マトリクスＣ―ＭＴＸ（Ｇ２）のまま、各種光源（Ｄ７５，Ｄ６５，Ｄ５０，Ａ光源（タングステン），Ｆ６光源，３波長型昼光色蛍光灯，Ｆ１２光源）で撮影したときの肌色の撮影光源依存性（色相角差）を、図４に×印で示す。
【００４２】
分光感度Ｇ１に対して分光感度Ｇ２は更に長波長側にブロード化され、カメラとしてはかなり高感度になっているが、図４に示す様に、特に、Ｆ６光源とＦ１２光源で、肌色の色相角差が大きくなっており、色相がＹＧ味になっていることが分かる。
【００４３】
そこで、本実施形態では、図４に鑑み、光源種を、Ｆ６光源と、Ｆ１２光源と、それ以外の光源の３種類に分け、この３種類に対応して３つの色差マトリクスを次の表１の様に用意する。
【００４４】
【表１】

【００４５】
そして、図２の光源種判定回路４９が３種類の光源種を判別し、光源種に対応した色差マトリクスを使用する様に色差マトリクス回路４８に選択信号を出力して、色差マトリクスを切り替える構成としている。
【００４６】
本実施形態に係るデジタルスチルカメラでは、色差マトリクスを光源種毎に設ける構成としたため、Ｒ，Ｇ２，Ｂの分光感度を持つ固体撮像素子を用いてカメラを高感度にしても、図４に○印で示す様に、いずれの光源種であっても、肌色の色相角差が小さくなり、良好な色再現性を実現することが可能となる。
【００４７】
また、次の表２は、Ｄ６５，Ｆ６，Ｆ１２の各光源下における撮影時の一般色の色相再現忠実度を示し、色差マトリクスを固定した場合と切り替えた場合を比較している。この表２からも分かる通り、Ｆ６光源，Ｆ１２光源の両方とも、Ｄ６５光源に最適化した色差マトリクスで色調補正を行うよりも、色差マトリクスを切り替える方が色再現性の忠実度が良いことが判る。
【００４８】
【表２】

【００４９】
（第２実施形態）
図５は、本発明の第２実施形態に係るデジタルスチルカメラの緑色（Ｇ）に対する分光感度を示すグラフである。この実施形態では、分光感度Ｇ３と、これを長波長側にブロード化した分光感度Ｇ４の２種類を作成した。Ｇ３，Ｇ４は、図３の分光感度Ｇ１，Ｇ２に対して、短波長側の特性線の立ち上がり特性を改善しており、ＲとＢの分光感度は、図１と同じであり、図５では図示を省略している。
【００５０】
ピーク感度を“１００”としたとき、６００ｎｍでの感度は、Ｇ３で“１０”、Ｇ４で“３１”であり、トータルのＧ感度としては、Ｇ４はＧ３に対して約２７％アップしている。
【００５１】
この分光感度にて、太陽光（Ｄ６５）撮影での色再現性が良好になるようにそれぞれ色差マトリクスＣ―ＭＴＸを最適化し、このＣ―ＭＴＸ固定にて、各種光源（Ｄ７５，Ｄ６５，Ｄ５０，Ａ光源（タングステン），Ｆ６光源，３波長型昼光色蛍光灯，Ｆ１２光源）で撮影したときの肌色の撮影光源依存性（色相角差）を調べた結果が図６の三角印と×印である。
【００５２】
この図６によれば、分光感度を長波長側に更にブロード化してトータルのＧ感度をアップさせたＧ４では、Ｆ６光源とＦ１２光源での肌色がＹＧ味になっており、肌色の再現性が低下している。
【００５３】
そこで、本実施形態でも、Ｆ６光源用の色差マトリクスとＦ１２光源用の色差マトリクスを、上記のＤ６５光源用に最適化した色差マトリクスの他に用意し、Ｆ６光源やＦ１２光源が光源種別判定回路４９によって検出されたとき色差マトリクス回路４８で用いる色差マトリクスを切り替える様にした。
【００５４】
この結果が、図６に○印で示され、分光感度Ｇ４であっても、肌色の再現性が改善されるのが分かる。また、次の表３に示す様に、一般色の色相再現忠実度も良好になるのが分かる。
【００５５】
【表３】

【００５６】
（第３実施形態）
図７は、本発明の第３実施形態に係るデジタルスチルカメラの赤色に対する分光感度を示すグラフである。この実施形態では、普通の分光感度Ｒ（図３のＲと同じ）に対して、点線で示す様に、短波長側にブロード化した分光感度Ｒ２を用いている。緑色の分光感度としては、第２実施形態の分光感度Ｇ４（図５参照）を用い、青色の分光感度Ｂは図３の分光感度Ｂと同じである。
【００５７】
赤色のピーク感度を“１００”としたとき、５７５ｎｍでの感度は、分光感度Ｒ２で“６１”、分光感度Ｒで“１０”である。
【００５８】
これらの分光感度Ｒ２，Ｇ４，Ｂで、太陽光（Ｄ６５）撮影での色再現性が良好になるように色差マトリクスＣ―ＭＴＸを最適化し、このＣ―ＭＴＸ固定にて、各種光源（Ｄ７５，Ｄ６５，Ｄ５０，Ａ光源（タングステン），Ｆ６光源，３波長型昼光色蛍光灯，Ｆ１２光源）で撮影したときの肌色の撮影光源依存性（色相角差）を調べた結果が図８の×印である。
【００５９】
この図８によれば、赤色の短波長側へのブロード化を図った分光感度Ｒ２と、緑色の長波長側へのブロード化を図った分光感度Ｇ４との組み合わせでは、特にＦ６光源において肌色のＹＧ味が酷くなっているのが分かる。
【００６０】
そこで、本実施形態でも、Ｆ６光源用の色差マトリクスとＦ１２光源用の色差マトリクスを、上記のＤ６５光源用に最適化した色差マトリクスの他に用意し、Ｆ６光源やＦ１２光源が光源種別判定回路４９によって検出されたとき色差マトリクス回路４８で用いる色差マトリクスを切り替える様にした。
【００６１】
この結果が、図８に○印で示され、分光感度Ｇ４，Ｒ２の組み合わせでは、肌色の再現性が改善され、特に肌色は太陽光で撮影した場合と同様に良好となる。また、次の表４に示す様に、一般色の色相再現忠実度も良好になる。
【００６２】
【表４】

【００６３】
（第４実施形態）
上述した各実施形態では、固体撮像素子で撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域におけるΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組の分布から、光源種別を求めている。しかし、斯かる従来方法で高精度にＦ６光源，Ｆ１２光源を識別するのが困難な場合がある。例えば、薄暗い森陰での葉緑いっぱいのシーンは、Ｆ６光源下の通常のシーンと区別するのが困難な場合がある。
【００６４】
そこで本実施形態では、光源種識別センサをカメラに設け、Ｆ６光源やＦ１２光源を高精度に識別することで、上述した実施形態と同様に、ＲやＧの分光感度のブロード化を図ってカメラ感度を高感度にした場合でも、色再現性が低下しないようにしている。
【００６５】
前述した図１７は、各種光源の相対放射エネルギ分布を照度を揃えて比較したグラフである。光源としては、Ｄ５５（太陽光），Ｄ７５（太陽光），Ａ（タングステン光），Ｆ６（普通型白色蛍光灯），３波長型昼白色蛍光灯，Ｆ１２（３波長型電球色蛍光灯）の６種類を図示している。
【００６６】
この図１７を見ると、太陽光（およびＡ光源）と、Ｆ６光源やＦ１２光源を高精度に識別するには、以下のようなセンサを設けるのが良いことが分かる。
【００６７】
▲１▼ 蛍光灯と太陽光（およびＡ光源）を識別する赤外センサあるいは主として６４０ｎｍ以長に感度を有するセンサ（以下、このセンサをＳＬＲと表す）。
【００６８】
▲２▼ 太陽光（およびＡ光源）と、Ｆ６光源と、３波長型蛍光灯とを識別する主として５８０ｎｍ付近に感度を有するセンサ（以下、このセンサをＳ５８０と表す）。
【００６９】
▲３▼ 太陽光（およびＡ光源）と、Ｆ６光源と、３波長型蛍光灯とを識別する主として５２０ｎｍ付近に感度を有するセンサ（以下、このセンサをＳ５２０と表す）。
【００７０】
▲４▼ 上記の▲１▼▲２▼▲３▼の任意の組合わせ
などがある。
【００７１】
これらのセンサは、ＣＣＤやＣＭＯＳと別個にカメラに設けることもできるし、また、ＣＣＤやＣＭＯＳなどの固体撮像素子に一体に組み込んで設けることもできる。本実施形態のデジタルスチルカメラは図１の構成をとるが、固体撮像素子は、光源種識別センサが一体に組み込まれている。
【００７２】
図９は、本実施形態に係る固体撮像素子の概略平面図である。この固体撮像素子１１は、図１５で説明したハニカム配置のＲ，Ｇ，Ｂ画素が縦横に多数搭載されているが、本発明の固体撮像素子はハニカム配置に限定されるものではなく、ベイヤー方式の固体撮像素子にも適用できるものである。
【００７３】
固体撮像素子１１は、カラー画像を撮像する有効画素領域２が中央の大部分を占めており、その周囲に、有効画像領域２の周辺画素における同時化処理などを行うための無効画素領域３が設けられ、無効画素領域３の周囲に、撮影光が入射しない暗ノイズ検出用画素領域４が設けられ、これらの各領域２，３，４の画素から垂直転送路に読み出された信号電荷が水平転送路５に転送され、水平転送路５から固体撮像素子１１の外部に出力される様になっている。
【００７４】
本実施形態に係る固体撮像素子１１では、無効画素領域３の周辺領域３ａ（斜線で示す領域）すなわち暗ノイズ検出用画素領域４より内側で撮影光が入射する矩形の領域３ａの全周に渡る画素に、Ｒ，Ｇ，Ｂとは異なる色フィルタを設けている。この色フィルタは撮影光源種を識別するためのものであり、この色フィルタが設けられた画素の分光感度を、以下、Ｒ，Ｇ，Ｂの次の第４分光感度ということにする。
【００７５】
光源種識別センサからの出力を単独で用いても光源種別は識別できない。他の画素のＲ，Ｇ，Ｂ出力との比較演算によって識別を行なう。具体的には、光源種識別センサからの出力をＸ４とし、Ｒ，Ｇ，Ｂの出力をＸｒ，Ｘｇ，Ｘｂとすると、
Ｍ＝Ｘ４／（ｋｒ・Ｘｒ＋ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ）
なる比の値Ｍを計算するのである。ｋｒ，ｋｇ，ｋｂは係数であり、予め最適な値に決めてカメラに設定しておく。
【００７６】
また、必要に応じて、分子のＸ４の代わり、
（Ｘ４−ｋｒ2・Ｘｒ−ｋｇ2・Ｘｇ−ｋｂ2・Ｘｂ）
を用いることもできる。ｋｒ2，ｋｇ2，ｋｂ2は係数である。
【００７７】
分子にこのような引き算を導入するのは、光源種識別センサの分光感度がブロードであったり、余分な波長域での感度がある場合に、その余分な感度をキャンセルするのに有効だからである。
【００７８】
このようにして求めた比の値Ｍによる光源種別の判定と、従来からの判定方法とを組合わせて用いると、３波長型蛍光灯のなかの色温度の違いも高精度に識別でき、より好ましい。
【００７９】
図１０は、光源種識別センサとして第４分光感度を固体撮像素子の無効画素領域３ａに設けたときのカメラ感度を示す図である。緑色の感度は図示を省略しているが、第２実施形態のＧ４と同じである。
【００８０】
第４の分光感度の出力Ｘ４と、その近傍のＲ，Ｇ，Ｂのピクセルの出力Ｘｒ，Ｘｇ，Ｘｂを用い、次式に示す比の値Ｍ

を算出した。
【００８１】
図１１は、この比の値Ｍが、撮影光源種毎にどのような値となるかを示す図である。ここで、ｋｒ2＝０．６６，ｋｇ2＝０，ｋｂ2＝０．１７，ｋｒ＝０．３，ｋｇ＝１，ｋｂ＝０である。
【００８２】
一般に、撮影した画像の画素を多数混合するとその色はグレーになる傾向があり、図１１にて○印で示すグレーのデータは、一般撮影シーンを代表しているといえる。また、緑いっぱいのシーン（×印）は、撮影光源の識別が困難とされているが、この第４分光感度を用いると、比の値Ｍの違いによって精度良く識別できることが分かる。さらに、人間の肌色のアップ撮影においても、図１１の四角印に示す通り蛍光灯の種別を識別できることが分かる。
【００８３】
本実施形態では、この比の値Ｍと、従来の光源種の識別方法とを組合わせ、撮影光源がＦ６光源であるかＦ１２光源であるか、それ以外の光源であるかを図２の光源種判定回路に自動的に判断させる。そして、予めカメラに記憶させているＦ６光源用色差マトリクス、Ｆ１２光源用色差マトリクス、その他の光源用の色差マトリクスを光源種別に合わせて切り替え、色差マトリクス回路４８で色調補正を行う構成とする。
【００８４】
これにより、本実施形態では、Ｒ感度やＧ感度をブロード化してカメラ感度を向上させても、高精度に光源種を識別して色調補正で使用する色差マトリクスを的確に選択できるため、色の再現性を良好に保つことが可能となる。
【００８５】
本実施形態では、第４分光感度の一例として図１０に点線で示す例を上げたが、第４分光感度はこの例に限られるものではなく、種々のものが考えられる。例えば図１２に点線で示す第４分光感度は、分光感度Ｒと第４分光感度とから上記のセンサＳ５８０を構成する例である。また、図１３に示す第４分光感度は、上記のセンサＳＬＲである。
【００８６】
更に、図１４は、６種類の顔料（ＰＹ１３９，ＰＹ１８５，ＰＢ１５：６，ＰＧ７，ＰＲ１２２，ＰＲ２２４）を混合して製造した第４分光感度を示す図である。上記の６種類の顔料を混合することで、特性線Ｉに示す分光感度が得られ、５２０ｎｍ付近の感度以外に余分な感度を有している。しかし、上述した様に、Ｒ，Ｇ，Ｂの分光感度を差し引くことで、特性線IIに示す分光感度が得られる。
【００８７】
この特性線IIを見て分かるとおり、この実施形態の光源種識別用フィルタは、５２０ｎｍ前後の波長範囲の他に、６４０ｎｍ以長の波長を透過する様になっている。図１７によれば、６４０ｎｍ以長の波長が蛍光灯に含まれないため、本実施形態では、主に２つの波長域（５２０ｎｍ前後と６４０ｎｍ以長）で光源種の識別を行うことができる。
【００８８】
以上述べた各実施形態に係るデジタルカメラによれば、Ｒ，Ｇの各分光感度をブロード化してカメラ感度を高感度にしても、光源種に対応した色差マトリクスを用いて色調補正を行うため、色の再現性を良好に保つことが可能となる。
【００８９】
尚、上述した比の値Ｍの計算で用いるＲ，Ｇ，Ｂの出力値は、光源種識別用の画素の近傍のＲ，Ｇ，Ｂ画素から求めるのが好ましい。比の値Ｍの分子の値を求める光と、分母の値を求める光とが同じ箇所から発した光となり、より高精度に光源種の識別が可能になるためである。
【００９０】
また、光源種識別用の画素すなわち、図９に示す領域３ａは、上記実施形態では無効画素領域の全周に渡って連続的に設けたが、必ずしもこれに限るものではなく、離散的位置に設けたり、ある箇所に集合的に設けることでもよい。比の値Ｍの分母となるＲ，Ｇ，Ｂの画素混合を行う領域の設定も任意である。例えば、無効画素領域全体のＲ，Ｇ，Ｂ画素の出力を１つに混合して用いても良い。
【００９１】
更にまた、上述した実施形態では、固体撮像素子のフォトダイオードに設けるＲ，Ｇ，Ｂの色フィルタの代わりに光源種識別用フィルタを設けることで光源種識別センサを製造したが、固体撮像素子のチップ加工時にチップのカバーガラス上の一部に必要な分光特性を有する顔料等を塗布したり貼り付けたりして光源種識別用フィルタを設けることでもよい。
【００９２】
また、Ｂの分光感度のブロード化も本発明に組み合わせて実施することができる。更には、Ｇの分光感度の短波長側へのブロード化や、Ｒの分光感度の長波長側へのブロード化等も任意に本発明に組み合わせて用いることが可能である。いずれにしても、光源種毎に最適化したＣ―ＭＴＸを用いることで、色再現性を良好にすることができる。
【００９３】
【発明の効果】
本発明によれば、カメラ感度の高感度化と色再現性の良好化を共に図ることができるデジタルカメラを提供可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るデジタルカメラのブロック構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】図１に示すデジタルカメラの赤色，緑色，青色の各分光感度を示すグラフである。
【図４】図１に示すデジタルカメラにおける肌色の撮影光源依存性を示すグラフである。
【図５】本発明の第２実施形態に係るデジタルカメラの緑色の分光感度を示すグラフである。
【図６】本発明の第２実施形態に係るデジタルカメラにおける肌色の撮影光源依存性を示すグラフである。
【図７】本発明の第３実施形態に係るデジタルカメラの赤色の分光感度を示すグラフである。
【図８】本発明の第２実施形態に係るデジタルカメラにおける肌色の撮影光源依存性を示すグラフである。
【図９】本発明の第４実施形態に係るデジタルカメラで使用する固体撮像素子の概略平面図である。
【図１０】本発明の第４実施形態に係るデジタルカメラに設けた光源種識別センサの第４分光感度を示すグラフである。
【図１１】本発明の第４実施形態に係るデジタルカメラにおける光源種識別結果を示すグラフである。
【図１２】光源種識別センサの第４分光感度の別例を示すグラフである。
【図１３】光源種識別センサの第４分光感度の更に別例を示すグラフである。
【図１４】光源種識別センサの第４分光感度の更に別例を示すグラフである。
【図１５】固体撮像素子の一例の画素配置図である。
【図１６】固体撮像素子のＲ，Ｇ，Ｂ画素の分光感度とそのブロード化を説明するグラフである。
【図１７】各種光源の相対放射エネルギ分布を照度を揃えて比較したグラフである。
【符号の説明】
２有効画素領域
３無効画素領域
３ａ光源種識別用の画素領域
４暗ノイズ検出用画素領域
５水平転送路
１０レンズ
１１固体撮像素子
１５ＣＰＵ
２６デジタル信号処理部
２８積算部
４８色差マトリクス回路
４９光源種別判定回路

Claims

被写体のカラー画像のうち緑色を該緑色のピーク感度に対し波長６００ｎｍでの感度が２７／１００ある緑色フィルタを通して撮像するカラー画像撮像手段と、該カラー画像撮像手段から出力される色信号を輝度信号と色差信号とに分離し該色差信号に対して色差マトリクスを乗算して色調補正を行う信号処理手段とを備えるデジタルカメラにおいて、光源対応に設けられた複数種類の色差マトリクスと、撮影光源が太陽光のとき該光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択し撮影光源が太陽光以外の特定光源のとき該撮影光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択して前記色調補正を行う色差マトリクスの切替手段とを備えることを特徴とするデジタルカメラ。
被写体のカラー画像のうち赤色を該赤色のピーク感度に対し波長５７５ｎｍでの感度が６１／１００ある赤色フィルタを通して撮像するカラー画像撮像手段と、該カラー画像撮像手段から出力される色信号を輝度信号と色差信号とに分離し該色差信号に対して色差マトリクスを乗算して色調補正を行う信号処理手段とを備えるデジタルカメラにおいて、光源対応に設けられた複数種類の色差マトリクスと、撮影光源が太陽光のとき該光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択し撮影光源が太陽光以外の特定光源のとき該撮影光源に対応する色差マトリクスを前記複数種類の色差マトリクスの中から選択して前記色調補正を行う色差マトリクスの切替手段とを備えることを特徴とするデジタルカメラ。
前記特定光源がＦ６光源であることを特徴とする請求項１または請求項２に記載のデジタルカメラ。
前記特定光源がＦ１２光源であることを特徴とする請求項１または請求項２に記載のデジタルカメラ。
前記特定光源がＦ６光源とＦ１２光源であり、前記特定光源のときの色差マトリクスとしてＦ６光源用とＦ１２光源用の夫々の色差マトリクスを用意し、前記切替手段は、前記特定光源がＦ６光源であるかＦ１２光源であるかによって色差マトリクスを切り替えて色調補正を行うことを特徴とする請求項１または請求項２に記載のデジタルカメラ。
光源種識別センサを備え、前記切替手段は、前記光源種識別センサの検出結果により自動的に色差マトリクスの自動切り替えを行うことを特徴とする請求項１乃至請求項５のいずれかに記載のデジタルカメラ。
前記光源種識別センサは、前記カラー画像撮像手段に一体に組み込まれていることを特徴とする請求項６に記載のデジタルカメラ。