JP4303922B2

JP4303922B2 - Solid-state imaging device and imaging apparatus

Info

Publication number: JP4303922B2
Application number: JP2002219843A
Authority: JP
Inventors: 康生青塚
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-07-29
Filing date: 2002-07-29
Publication date: 2009-07-29
Anticipated expiration: 2022-07-29
Also published as: JP2004064413A

Description

【０００１】
【発明の属する技術分野】
本発明はＣＣＤやＣＭＯＳセンサ等のカラー画像撮像用固体撮像素子に係り、特に、撮影光源種を精度良く識別して良好なホワイトバランスでカラー画像を記録することができる固体撮像素子とこの固体撮像素子を搭載した撮像装置に関する。
【０００２】
【従来の技術】
図９は、例えば特開平１０―１３６３９１号公報に記載されている従来の固体撮像素子の平面図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑（Ｇ）の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行，各列の各フォトダイオードに対して、１／２ピッチづつずらした位置に、青（Ｂ）と赤（Ｒ）の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。図示する例では、「Ｒ」「Ｇ」「Ｂ」と記載された８角形の枠が夫々赤，緑，青の色フィルタを示し、対応するフォトダイオードは、その下側（紙面の下側）に配置される。より正確には、８角形の枠がフォトダイオードの形を表し、赤，緑，青の色フィルタは、８角形の枠より大きなサイズ（例えば８角形や４角形）で設けられる。
【０００３】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印ａに示す様に各フォトダイオードの脇に形成されている垂直転送路２０に読み出され、この信号電荷は、矢印ｂに示す様に垂直転送路２０に沿って転送されて水平転送路２１に至り、今度は矢印ｃに示す様に水平転送路２１に沿って転送され、固体撮像素子から読み出される。各画素（フォトダイオード）から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【０００４】
この様に、固体撮像素子の各フォトダイオードの表面には色フィルタが重ねて設けられるが、この色フィルタは、例えば顔料や染料を用いて製造される。図１０は、従来の各色フィルタを設けたフォトダイオードの分光感度を示し、各色フィルタＲ，Ｇ，Ｂは夫々赤色，緑色，青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、従来の赤色フィルタＲは、図１０に示すように、波長５８０ｎｍ以上の光を透過し、それより低い波長の光は一律にカットする様に製造されている。
【０００５】
固体撮像素子を搭載したデジタルスチルカメラやデジタルビデオカメラ等の撮像装置で各種シーンを撮影する場合、様々な照明光源の下で撮影が行われる。このため、どの様な光源の下で撮影されてもホワイトバランスが合うように、撮像装置が自動的にＲ，Ｇ，Ｂ信号のゲイン調整を行う様にするのが好ましい。しかし、撮影光源種によらずにホワイトバランスを合わせるには、撮像装置が撮影光源種を精度良く検出できなければならない。
【０００６】
そこで従来から、撮像装置には色温度検出回路が搭載され、固体撮像素子で撮影した一画面を例えば８×８＝６４の領域に分割して各分割領域における信号電荷のΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する様にしている。
【０００７】
【発明が解決しようとする課題】
上述した従来技術に係る色温度検出回路によれば、撮影光源種の大まかな識別を行うことができる。しかし、例えば、薄暗い太陽光下における葉緑と、普通型白色蛍光灯（Ｆ６光源）あるいは３波長型蛍光灯下における白色との識別が困難であるという問題がある。
【０００８】
撮像装置できめ細かな自動ホワイトバランス調整を行うには、太陽光と蛍光灯との高精度な識別、種類の異なる蛍光灯間の高精度な識別（例えば、普通型白色蛍光灯，３波長型昼光色蛍光灯，３波長型昼白色蛍光灯，３波長型電球色蛍光灯の識別）を行う必要があり、これらの撮影光源種の高精度な識別を低コストで実現する技術の開発が望まれている。
【０００９】
本発明の目的は、太陽光と蛍光灯との高精度な識別、種類の異なる蛍光灯間の高精度な識別を低コストで実現することができる固体撮像素子および撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成する固体撮像素子は、有効画素領域と、該有効画素領域の周囲を囲む無効画素領域とを備える固体撮像素子において、前記無効画素領域のうち撮影光が入射する領域に設けられ出力信号と前記有効画素領域の画素から読み出された信号との比によって光源種を識別する複数の光源種識別用画素と、該光源種識別用画素の各々に設けられ波長５０５ｎｍ〜５３０ｎｍの光を透過する光源種識別用の色フィルタとを備えることを特徴とする。この構成により、太陽光と蛍光灯との識別および蛍光灯の種類の識別を高精度に行うことが可能となる。
【００１１】
好適には、前記複数の光源種識別用画素は、前記無効画素領域のうち撮影光が入射する領域の全周に渡って設けられることを特徴とし、また、前記複数の光源種識別用画素の各々の出力信号を加算した値と前記有効画素領域の画素から読み出された信号との比から光源種を識別することを特徴とする。
【００１２】
更に好適には、前記比を求める信号を読み出す前記有効画素領域の画素は、前記光源種識別用画素の近傍にある画素とすることを特徴とする。
【００１３】
上記目的を達成する撮像装置は、光学レンズ系と、該光学レンズ系を通して入射した光信号を電気信号に変換する請求項１乃至請求項４のいずれかに記載の固体撮像素子と、該固体撮像素子の前記有効画素領域にある画素と前記光源種識別用画素とから信号を読み出して信号処理を行い撮影光源種を識別し前記有効画素領域の画素から読み出したカラー撮像画像のホワイトバランスを自動調整する制御手段とを備えることを特徴とする。この構成により、撮影光源が異なる如何なる状況であっても常に良好なホワイトバランスのとれたカラー画像を記録することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態に係る撮像装置に搭載される固体撮像素子の概略平面図である。この固体撮像素子１は、図９で説明したハニカム配置のＲ，Ｇ，Ｂ画素が縦横に多数搭載されているが、本発明の固体撮像素子はハニカム配置に限定されるものではなく、ベイヤー方式の固体撮像素子にも適用できるものである。
【００１６】
固体撮像素子１は、カラー画像を撮像する有効画素領域２が中央の大部分を占めており、その周囲に、有効画素領域２の周辺画素における同時化処理などを行うための無効画素領域３が設けられ、無効画素領域３の周囲に、撮影光が入射しない暗ノイズ検出用画素領域４が設けられ、これらの各領域２，３，４の画素から垂直転送路に読み出された信号電荷が水平転送路５に転送され、水平転送路５から固体撮像素子１の外部に出力される様になっている。
【００１７】
本実施形態に係る固体撮像素子１では、無効画素領域３の周辺領域３ａ（斜線で示す領域）すなわち暗ノイズ検出用画素領域４より内側で撮影光が入射する矩形の領域３ａの全周に渡る画素に、Ｒ，Ｇ，Ｂとは異なる色フィルタを設けることを特徴とする。この色フィルタは撮影光源種を識別するためのものであり、この色フィルタが設けられた画素の分光感度を、以下、Ｒ，Ｇ，Ｂの次の第４分光感度ということにする。
【００１８】
図２は、各種光源の波長と相対放射エネルギを照度を揃えて比較したグラフである。光源としては、Ｄ５５（太陽光），Ｄ７５（太陽光），Ａ（タングステン光），Ｆ６（普通型白色蛍光灯），３波長型昼白色蛍光灯，３波長型電球色蛍光灯の６種類を図示している。
【００１９】
このグラフを見ると、波長５００ｎｍ〜５３５ｎｍの範囲において、放射エネルギが、
（大）Ｄ７５，Ｄ５５，Ａ＞Ｆ６＞３波長型蛍光灯（小）
の順になっていることが分かる。また、この図２には３波長型昼光色蛍光灯のグラフは図示を省略しているが、波長５００ｎｍ〜５３５ｎｍの範囲で、
（大）昼光色＞昼白色＞電球色（小）
の順になっている。
【００２０】
即ち、この波長５００ｎｍ〜５３５ｎｍの光を透過する色フィルタを画素（フォトダイオード）に設けることにより、この画素から読み出した信号電荷量によって、以下に述べる様に、光源種別を高精度に識別可能となる。そこで、本実施形態では、上述した領域３ａの画素（光源種識別用画素）に、波長５００ｎｍ〜５３５ｎｍの光を透過する色フィルタ（以下、光源種識別用フィルタという。）を設け、上記の第４分光感度を持たせることを特徴とする。図３は、この第４の分光感度を、図１０に示したＲ，Ｇ，Ｂ分光感度と共に図示したグラフである。
【００２１】
以下、光源種識別フィルタを搭載した画素の信号電荷から光源種を精度良く識別する方法について説明する。
【００２２】
任意の色は、任意の分光特性（Ｐ（λ））を有するので、その色を或る光源下（Ｌ（λ））で或る分光感度（Ｓ（λ））によって撮影したときの出力値Ｘｓは、
Ｘｓ＝∫Ｐ（λ）・Ｌ（λ）・Ｓ（λ）・ｄλ
となる。
【００２３】
Ｘｓの添え字ｓが分光感度の種類を表すものとすると、第４分光感度はＸ4と表され、Ｒ，Ｇ，Ｂの分光感度は夫々Ｘｒ，Ｘｇ，Ｘｂと表される。
【００２４】
撮影光源種を識別する場合、撮影光源の照度を揃える必要がある。照度を揃えるということは、Ｘ4を、主としてＸｇで除することで近似的に達成できる。Ｘ4／Ｘｇ（あるいは、Ｘ4／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）：ここで、ｋｇ，ｋｂ，ｋｒは係数）の値は、撮影した色によって全く異なる値となる。
【００２５】
しかし、一般に、撮影したシーンの全画素の色を混合すると、その色はグレー（Ｇ）に近づくという傾向があるため、撮影したシーンの複数の画素の色を混合して上記の比の値Ｍ＝Ｘ4／Ｘｇを計算すると、

となる。ここで、「Ｇ」はグレーの反射率を表し定数であるため、上記比の値Ｍは、Ｌ（λ）すなわち光源特有の値となる。
【００２６】
上記の結論は、各画素の色を混合したときグレーＧになるという前提の上に成り立つものであったが、撮影シーンによってはグレーＧにならない場合もある。例えば、森林の中で撮影した葉緑いっぱいのシーンや、人物のアップシーンの様に肌色いっぱいのシーンでは、各画素の色を混合してもグレーＧにはならない。しかし、この様な場合でも、係数ｋｒ，ｋｇ，ｋｂを調整することで、上記の比の値Ｍを、グレーＧのときの値に揃えることができる。
【００２７】
これらの係数ｋｒ，ｋｇ，ｋｂの値は、光源毎にＭが異なる値となるように決めるのがよい。これら係数の値は、撮像装置の出荷時に設定すること、特に、撮像装置の個体差であるカラーバランスのずれを補正するゲインを出荷時に決める際にそのゲインに応じて最適な値に設定することが好ましい。
【００２８】
以上述べた様に、第４分光感度の画素（光源種識別用画素）から読み出した信号電荷量を、Ｂ，ＧあるいはＲの分光感度を有する画素からの出力で除した比の値Ｍから、撮影光源種を識別することができる。
【００２９】
図３に示す分光感度は、撮像装置の分光感度であり、赤外線カットフィルタやカメラレンズの分光透過特性と組み合わせた分光感度である。Ｒ，Ｇ，Ｂは５５００Ｋの太陽光（Ｄ５５）にホワイトバランスを合わせてあり、各種光源下で、グレー，人間の肌色，葉緑の各シーンを撮影したときのＸ4，Ｘｒ，Ｘｇ，Ｘｂを求め、Ｍ＝Ｘ4／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）が撮影光源でどう変わるかを求めた結果が図４である。この例では、ｋｒ＝０．５，ｋｇ＝１，ｋｂ＝０としている。
【００３０】
図４から分かるとおり、縦軸である比の値Ｍ＝Ｘ4／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）＝Ｘ4／（０．５Ｘｒ＋Ｘｇ）は、撮影シーンがグレー，人間の肌色，葉緑のいずれであっても、撮影光源毎に、
（大）太陽光，Ａ光源＞Ｆ６光源＞３波長型昼光色蛍光灯＞３波長型昼白色蛍光灯＞３波長型電球色蛍光灯（小）
となり、これにより、撮影光源種を精度良く識別できることが分かる。太陽光とＡ光源との識別はこの例では難しいが、太陽光とＡ光源とは、従来の色温度検出回路で精度良く識別できるため問題はない。
【００３１】
上述した実施形態における光源種識別フィルタは、５００ｎｍ〜５３０ｎｍの光を透過するものであるが、図２から分かるとおり、透過範囲を狭め、５０５ｎｍ〜５３０ｎｍの光を透過するフィルタを用いることで、より識別能が高くなることが期待できる。そこで、光源種識別フィルタを製造する顔料として、ＰＹ１３９，ＰＲ１２２，ＰＢ１５：６を混合することで、図５に示す第４分光感度を有する光源種識別用画素を製造した。この第４分光感度は、撮像装置の分光感度である（赤外線カットフィルタやカメラレンズの特性込みの分光感度）。
【００３２】
このような狭い範囲だけ透過する色フィルタを製造することは困難であるが、例えば裾野が広がった第４分光感度であっても、その裾野部分がＲ，Ｇ，Ｂの分光感度とキャンセルできる様な場合、光源種識別用画素の出力からＲ，Ｇ，Ｂの画素の出力を引くことで、実質的に図５に示す第４分光感度を得ることができればよい。
【００３３】
図５に示す第４分光感度（Ｒ，Ｇ，Ｂの分光感度は図３と同じ）は、その相対感度（縦軸）の値が小さいが、例えば１００万画素の固体撮像素子では一辺１０００個の光源種識別用画素が図１の領域３ａに並ぶため、計４０００個の出力を加算して上記比の値を算出することになり、個々の画素の感度が小さくても問題はない。
【００３４】
図６は、図５に示す第４分光感度の光源種識別用画素を用い、係数ｋｒ＝０，ｋｇ＝１，ｋｂ＝０．８としたときの上記の比の値Ｍ＝Ｘ4／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）＝Ｘ4／（Ｘｇ＋０．８Ｘｂ）を光源種毎に求めた結果を示す図である。撮影シーンがグレー，肌色，葉緑のいずれであっても、上記比の値は
（大）太陽光，Ａ光源＞Ｆ６光源＞３波長型昼光色蛍光灯＞３波長型昼白色蛍光灯＞３波長型電球色蛍光灯（小）
の順になっており、撮影光源種を５群に精度良く識別できることが分かる。
【００３５】
図７は、６種類の顔料（ＰＹ１３９，ＰＹ１８５，ＰＢ１５：６，ＰＧ７，ＰＲ１２２，ＰＲ２２４）を混合して製造した第４分光感度を示す図である。Ｒ，Ｇ，Ｂの分光感度は、図３と同じである。上記の６種類の顔料を混合することで、特性線Ｉに示す分光感度が得られ、５２０ｎｍ付近の感度以外に余分な感度を有している。しかし、上述した様に、Ｒ，Ｇ，Ｂの分光感度を差し引くことで、特性線IIに示す分光感度が得られる。即ち、
比の値Ｍ＝（Ｘ4−ｋｒ２・Ｘｒ−ｋｇ２・Ｘｇ−ｋｂ２・Ｘｂ）／（ｋｒ１・Ｘｒ＋ｋｇ１・Ｘｇ＋ｋｂ１・Ｘｂ）
によって光源種が識別可能となる。
【００３６】
この特性線IIを見て分かるとおり、この実施形態の光源種識別用フィルタは、５２０ｎｍ前後の波長範囲の他に、６４０ｎｍ以長の波長を透過する様になっている。図２によれば、６４０ｎｍ以長の波長が蛍光灯に含まれないため、本実施形態では、主に２つの波長域（５２０ｎｍ前後と６４０ｎｍ以長）で光源種の識別を行う様になっている。
【００３７】
上記の比の値Ｍの式において、ｋｒ１＝ｋｇ１＝ｋｂ１＝１とし、ｋｒ２＝０．１２３，ｋｇ２＝０．１４１，ｋｂ２＝０．０６８としたときのＭ＝（Ｘ4−０．１２３Ｘｒ−０．１４１Ｘｇ−０．０６８Ｘｂ）／（Ｘｒ＋Ｘｇ＋Ｘｂ）の値を光源種毎に求めた結果を示す図が図８である。撮影シーンがグレー，肌色，葉緑のいずれであっても、上記比の値Ｍは
（大）太陽光，Ａ光源＞Ｆ６光源＞３波長型昼光色蛍光灯＞３波長型昼白色蛍光灯＞３波長型電球色蛍光灯（小）
の順になっており、この実施形態でも撮影光源種を５群に精度良く識別できることが分かる。
【００３８】
図２に示すグラフによれば、５８０ｎｍの波長域でも、光源種を識別できることが分かる。このため、５８０ｎｍ付近でもシャープな感度を有する光源種識別用画素を製造すれば、より識別能を上げることができる。しかし、この場合、５８０ｎｍ付近の感度をあまり上げすぎると、太陽光やＡ光源とＦ６光源との識別が困難になるため、注意が必要である。また、比の値Ｍを求める係数ｋｒ，ｋｇ，ｋｂも最適値に調整し直すのが望ましい。
【００３９】
上述した比の値Ｍの計算で用いるＲ，Ｇ，Ｂの出力値は、光源種識別用の画素の近傍のＲ，Ｇ，Ｂ画素から求めるのが好ましい。比の値Ｍの分子の値を求める光と、分母の値を求める光とが同じ箇所から発した光となり、より高精度に光源種の識別が可能になるためである。
【００４０】
また、光源種識別用の画素すなわち、図１に示す領域３ａは、上記実施形態では無効画素領域の全周に渡って連続的に設けたが、必ずしもこれに限るものではなく、離散的位置に設けたり、ある箇所に集合的に設けることでもよい。比の値Ｍの分母となるＲ，Ｇ，Ｂの画素混合を行う領域の設定も任意である。例えば、無効画素領域全体のＲ，Ｇ，Ｂ画素の出力を１つに混合しても良い。
【００４１】
更にまた、上述した実施形態では、固体撮像素子のフォトダイオードに設けるＲ，Ｇ，Ｂの色フィルタの代わりに光源種識別用フィルタを設けることで光源種識別用画素を製造したが、固体撮像素子の画素加工時にチップのカバーガラス上の一部に必要な分光特性を有する顔料等を塗布したり貼り付けたりして光源種識別用フィルタを設けることでもよい。
【００４２】
【発明の効果】
本発明によれば、撮影光源種の識別精度が高まり、撮像装置の自動ホワイトバランスの調整精度が向上し、常に良好なカラー画像を記録することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像素子の概略平面図である。
【図２】各種光源の波長と相対放射エネルギを照度を揃えて比較したグラフである。
【図３】本発明の一実施形態に係る第４分光感度の一例とＲ，Ｇ，Ｂ分光感度とを示すグラフである。
【図４】図３に示す第４分光感度を有する光源種識別用画素を用いた識別結果を示す図である。
【図５】本発明の一実施形態の別例に係る第４分光感度を示すグラフである。
【図６】図５に示す第４分光感度を有する光源種識別用画素を用いた識別結果を示す図である。
【図７】本発明の一実施形態の更に別例に係る第４分光感度を示すグラフである。
【図８】図７に示す第４分光感度を有する光源種識別用画素を用いた識別結果を示す図である。
【図９】固体撮像素子の一例の画素配置図である。
【図１０】固体撮像素子のＲ，Ｇ，Ｂ画素の分光感度を示すグラフである。
【符号の説明】
１固体撮像素子
２有効画素領域
３無効画素領域
３ａ光源種識別用の画素領域
４暗ノイズ検出用画素領域
５水平転送路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a solid-state image pickup device for color image pickup such as a CCD or a CMOS sensor, and in particular, a solid-state image pickup device capable of accurately identifying a photographing light source type and recording a color image with a good white balance and the solid-state image pickup device. The present invention relates to an imaging device equipped with an element.
[0002]
[Prior art]
FIG. 9 is a plan view of a conventional solid-state imaging device described in, for example, Japanese Patent Laid-Open No. 10-136391. This solid-state imaging device is called a so-called honeycomb pixel arrangement, and photodiodes having a large number of green (G) color filters are arranged vertically and horizontally at predetermined intervals, and for each photodiode in each row and each column, Photodiodes having blue (B) and red (R) color filters are alternately arranged at positions shifted by ½ pitch. In the illustrated example, octagonal frames described as “R”, “G”, and “B” indicate red, green, and blue color filters, respectively, and the corresponding photodiode is on the lower side (the lower side of the paper). Placed in. More precisely, the octagonal frame represents the shape of the photodiode, and the red, green, and blue color filters are provided in a larger size (for example, an octagon or a quadrangle) than the octagonal frame.
[0003]
The signal charge accumulated in each photodiode as light enters through each color filter is read out to the vertical transfer path 20 formed beside each photodiode as indicated by an arrow a, and this signal charge is It is transferred along the vertical transfer path 20 as shown by the arrow b and reaches the horizontal transfer path 21, and this time, it is transferred along the horizontal transfer path 21 as shown by the arrow c and read out from the solid-state imaging device. The amount of signal charge read from each pixel (photodiode) is a value corresponding to the amount of light received by each photodiode.
[0004]
As described above, a color filter is provided on the surface of each photodiode of the solid-state image sensor, and the color filter is manufactured using, for example, a pigment or a dye. FIG. 10 shows the spectral sensitivity of a conventional photodiode provided with each color filter. Each color filter R, G, B transmits light of wavelengths corresponding to red, green, and blue, and transmits light of other wavelengths. It is supposed to cut. For example, as shown in FIG. 10, the conventional red filter R is manufactured so as to transmit light having a wavelength of 580 nm or more and to uniformly cut light having a wavelength lower than that.
[0005]
When shooting various scenes with an imaging device such as a digital still camera or a digital video camera equipped with a solid-state imaging device, shooting is performed under various illumination light sources. For this reason, it is preferable that the imaging apparatus automatically adjusts the gains of the R, G, and B signals so that the white balance is matched regardless of the light source taken. However, in order to adjust the white balance regardless of the photographic light source type, the imaging apparatus must be able to detect the photographic light source type with high accuracy.
[0006]
Therefore, a color temperature detection circuit is conventionally mounted in an image pickup apparatus, and one screen shot with a solid-state image pickup device is divided into, for example, 8 × 8 = 64 areas, and ΣR / ΣG data of signal charges in each divided area A set of ΣB / ΣG data is obtained, and these 64 sets of data are plotted in a two-dimensional space spanned by the R / G axis and the B / G axis, and the photographing light source type is detected from the shape of the distribution.
[0007]
[Problems to be solved by the invention]
According to the above-described color temperature detection circuit according to the related art, it is possible to roughly identify the type of photographing light source. However, for example, there is a problem that it is difficult to distinguish between leaf green under dim sunlight and white under ordinary white fluorescent lamp (F6 light source) or three-wavelength fluorescent lamp.
[0008]
In order to perform fine automatic white balance adjustment with an imaging device, high-precision discrimination between sunlight and fluorescent lamps and high-precision discrimination between different types of fluorescent lamps (for example, ordinary white fluorescent lamps, three-wavelength daylight colors) Fluorescent lamps, three-wavelength daylight white fluorescent lamps, and three-wavelength-type bulb-color fluorescent lamps), and it is desired to develop a technology for realizing high-precision identification of these photographing light source types at low cost. Yes.
[0009]
An object of the present invention is to provide a solid-state imaging device and an imaging apparatus capable of realizing high-precision discrimination between sunlight and fluorescent lamps and high-precision discrimination between different types of fluorescent lamps at low cost. .
[0010]
[Means for Solving the Problems]
A solid-state imaging device that achieves the above object is an output provided in a region where imaging light is incident in the invalid pixel region in a solid-state imaging device including an effective pixel region and an invalid pixel region surrounding the effective pixel region. A plurality of light source type identifying pixels for identifying a light source type based on a ratio of a signal and a signal read from a pixel in the effective pixel region, and light having a wavelength of 505 nm to 530 nm provided in each of the light source type identifying pixels. And a color filter for identifying a transmitting light source type. With this configuration, it is possible to perform the identification and identification of types of fluorescent lamps and sunlight and fluorescent light with high precision.
[0011]
Preferably, the plurality of light source type identification pixels are provided over the entire circumference of the invalid pixel region where the photographing light is incident, and the plurality of light source type identification pixels are provided. A light source type is identified from a ratio between a value obtained by adding each output signal and a signal read from a pixel in the effective pixel region.
[0012]
More preferably, the pixel in the effective pixel region from which the signal for obtaining the ratio is read out is a pixel in the vicinity of the light source type identification pixel.
[0013]
An imaging apparatus that achieves the above object includes an optical lens system, a solid-state imaging device according to any one of claims 1 to 4 that converts an optical signal incident through the optical lens system into an electrical signal, and the solid-state imaging. Signals are read from the pixels in the effective pixel area of the element and the light source type identifying pixels, signal processing is performed to identify the photographic light source type, and white balance of the color captured image read from the pixels in the effective pixel area is automatically adjusted. And a control means. With this configuration, it is possible to always record a color image with good white balance in any situation where the photographing light source is different.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0015]
FIG. 1 is a schematic plan view of a solid-state imaging device mounted on an imaging apparatus according to an embodiment of the present invention. The solid-state image pickup device 1 has a large number of R, G, and B pixels having the honeycomb arrangement described in FIG. 9 mounted in the vertical and horizontal directions. However, the solid-state image pickup device of the present invention is not limited to the honeycomb arrangement. The present invention can also be applied to the solid-state imaging device.
[0016]
The solid-state imaging device 1, the effective pixel region 2 for capturing a color image occupies most of the center, on its periphery, the invalid pixel region 3 for performing such synchronization processing in the peripheral pixels of the effective picture element region 2 And a dark noise detection pixel area 4 in which photographing light is not incident is provided around the invalid pixel area 3, and signal charges read out from the pixels of these

areas

2, 3, and 4 to the vertical transfer path Are transferred to the horizontal transfer path 5 and output from the horizontal transfer path 5 to the outside of the solid-state imaging device 1.
[0017]
In the solid-state imaging device 1 according to the present embodiment, the entire area of the peripheral area 3a of the invalid pixel area 3 (the area indicated by hatching), that is, the rectangular area 3a on which the photographing light is incident is located inside the pixel area 4 for detecting dark noise. The pixel is provided with a color filter different from R, G, and B. This color filter is used to identify the photographic light source type, and the spectral sensitivity of the pixel provided with this color filter is hereinafter referred to as the fourth spectral sensitivity next to R, G, and B.
[0018]
FIG. 2 is a graph comparing the wavelength and relative radiant energy of various light sources with uniform illuminance. There are six types of light sources: D55 (sunlight), D75 (sunlight), A (tungsten light), F6 (normal white fluorescent light), three-wavelength daylight white fluorescent light, and three-wavelength light bulb color fluorescent light. It is shown.
[0019]
Looking at this graph, in the wavelength range of 500 nm to 535 nm, the radiant energy is
(Large) D75, D55, A>F6> 3-wavelength fluorescent lamp (Small)
It turns out that it is in order. Further, in FIG. 2, the graph of the three-wavelength daylight fluorescent lamp is omitted, but in the wavelength range of 500 nm to 535 nm,
(Large) Daylight color> Daylight white> Light bulb color (Small)
It is in the order.
[0020]
In other words, by providing the pixel (photodiode) with a color filter that transmits light having a wavelength of 500 nm to 535 nm, the light source type can be identified with high accuracy according to the signal charge amount read from the pixel as described below. Become. Therefore, in the present embodiment, a color filter (hereinafter referred to as a light source type identification filter) that transmits light having a wavelength of 500 nm to 535 nm is provided in the pixel (light source type identification pixel) in the region 3a described above, and the above-described first. It is characterized by having 4 spectral sensitivity. FIG. 3 is a graph showing the fourth spectral sensitivity together with the R, G, B spectral sensitivity shown in FIG.
[0021]
Hereinafter, a method for accurately identifying the light source type from the signal charge of the pixel on which the light source type identification filter is mounted will be described.
[0022]
Since an arbitrary color has an arbitrary spectral characteristic (P (λ)), an output value when the color is photographed with a certain spectral sensitivity (S (λ)) under a certain light source (L (λ)). Xs is
Xs = ∫P (λ) · L (λ) · S (λ) · dλ
It becomes.
[0023]
If the subscript s of Xs represents the type of spectral sensitivity, the fourth spectral sensitivity is represented as X4, and the spectral sensitivities of R, G, and B are represented as Xr, Xg, and Xb, respectively.
[0024]
When identifying the photographic light source type, it is necessary to make the illuminance of the photographic light source uniform. Making the illuminance uniform can be achieved approximately by dividing X4 mainly by Xg. The value of X4 / Xg (or X4 / (kg · Xg + kb · Xb + kr · Xr): where kg, kb, and kr are coefficients) is completely different depending on the photographed color.
[0025]
However, in general, when the colors of all the pixels of the photographed scene are mixed, the color tends to approach gray (G). Therefore, the color value of the ratio M described above is obtained by mixing the colors of a plurality of pixels of the photographed scene. = X4 / Xg is calculated,

It becomes. Here, since “G” is a constant representing the reflectance of gray, the value M of the ratio is L (λ), that is, a value specific to the light source.
[0026]
The above conclusion is based on the premise that when the colors of the respective pixels are mixed, the result is gray G. However, depending on the shooting scene, there is a case where the color does not become gray G. For example, in a scene full of leafy greens taken in a forest or a scene full of flesh like a person's upscene, even if the colors of each pixel are mixed, it does not become gray G. However, even in such a case, by adjusting the coefficients kr, kg, and kb, the value M of the ratio can be made equal to the value for gray G.
[0027]
The values of these coefficients kr, kg, and kb are preferably determined so that M is different for each light source. The values of these coefficients should be set at the time of shipment of the imaging device, and in particular, when determining the gain for correcting the color balance deviation, which is an individual difference of the imaging device, at the time of shipment, the optimal value should be set according to the gain. Is preferred.
[0028]
As described above, from the ratio value M obtained by dividing the signal charge amount read from the pixel having the fourth spectral sensitivity (light source type identification pixel) by the output from the pixel having the B, G, or R spectral sensitivity, The type of imaging light source can be identified.
[0029]
The spectral sensitivity shown in FIG. 3 is the spectral sensitivity of the imaging apparatus, and is the spectral sensitivity combined with the spectral transmission characteristics of the infrared cut filter and camera lens. R, G, and B have 5500K sunlight (D55) with white balance, and X4, Xr, Xg, and Xb when shooting scenes of gray, human skin color, and leafy green under various light sources. FIG. 4 shows the result of determining how M = X 4 / (kg · Xg + kb · Xb + kr · Xr) varies depending on the imaging light source. In this example, kr = 0.5, kg = 1, kb = 0.
[0030]
As can be seen from FIG. 4, the ratio value M = X4 / (kg · Xg + kb · Xb + kr · Xr) = X4 / (0.5Xr + Xg) on the vertical axis indicates whether the shooting scene is gray, human skin color, or leafy green Even if there is,
(Large) Sunlight, A light source> F6 light source> Three-wavelength daylight fluorescent lamp> Three-wavelength daylight fluorescent lamp> Three-wavelength fluorescent lamp (small)
Thus, it can be seen that the photographic light source type can be accurately identified. Although discrimination between sunlight and A light source is difficult in this example, there is no problem because sunlight and A light source can be accurately identified by a conventional color temperature detection circuit.
[0031]
The light source type identification filter in the above-described embodiment transmits light of 500 nm to 530 nm, but as can be seen from FIG. 2, the transmission range is narrowed and a filter that transmits light of 505 nm to 530 nm is used. It can be expected that the discrimination ability is improved. Therefore, PY139, PR122, and PB15: 6 were mixed as pigments for manufacturing the light source type identification filter, thereby manufacturing a light source type identification pixel having the fourth spectral sensitivity shown in FIG. The fourth spectral sensitivity is the spectral sensitivity of the imaging apparatus (spectral sensitivity including characteristics of the infrared cut filter and camera lens).
[0032]
Although it is difficult to manufacture such a color filter that transmits only a narrow range, for example, even if the fourth spectral sensitivity has a wide base, the base portion can be canceled as the spectral sensitivity of R, G, B. In this case, it is only necessary that the fourth spectral sensitivity shown in FIG. 5 can be substantially obtained by subtracting the output of the R, G, and B pixels from the output of the light source type identification pixel.
[0033]
The fourth spectral sensitivity shown in FIG. 5 (the spectral sensitivities of R, G, and B are the same as those in FIG. 3) has a small value of the relative sensitivity (vertical axis). 1 are arranged in the region 3a of FIG. 1, and the total of 4000 outputs are added to calculate the value of the above ratio. Even if the sensitivity of each pixel is small, there is no problem.
[0034]
FIG. 6 shows the value M = X4 / (kg) when the light source type identification pixel having the fourth spectral sensitivity shown in FIG. 5 is used and the coefficients kr = 0, kg = 1, kb = 0.8. It is a figure which shows the result of having calculated | required Xg + kb * Xb + kr * Xr) = X4 / (Xg + 0.8Xb) for every light source kind. Regardless of whether the shooting scene is gray, flesh color, or leaf green, the value of the above ratio is (large) Sunlight, A light source> F6 light source> Three-wavelength daylight fluorescent lamp> Three-wavelength daylight fluorescent lamp> Three wavelengths Type bulb fluorescent light (small)
It can be seen that the photographing light source types can be accurately classified into five groups.
[0035]
FIG. 7 is a diagram showing the fourth spectral sensitivity produced by mixing six types of pigments (PY139, PY185, PB15: 6, PG7, PR122, PR224). The spectral sensitivities of R, G, and B are the same as those in FIG. By mixing the above six types of pigments, the spectral sensitivity shown in the characteristic line I is obtained, and it has extra sensitivity in addition to the sensitivity in the vicinity of 520 nm. However, as described above, the spectral sensitivity indicated by the characteristic line II can be obtained by subtracting the spectral sensitivities of R, G, and B. That is,
Ratio value M = (X4−kr2 · Xr−kg2 · Xg−kb2 · Xb) / (kr1 · Xr + kg1 · Xg + kb1 · Xb)
The light source type can be identified.
[0036]
As can be seen from this characteristic line II, the light source type identification filter of this embodiment is adapted to transmit wavelengths longer than 640 nm in addition to the wavelength range around 520 nm. According to FIG. 2, since the wavelength of 640 nm or longer is not included in the fluorescent lamp, in this embodiment, the light source type is identified mainly in two wavelength ranges (around 520 nm and 640 nm or longer). Yes.
[0037]
In the above formula of the ratio value M, when kr1 = kg1 = kb1 = 1, kr2 = 0.123, kg2 = 0.141, kb2 = 0.068, M = (X4−0.123Xr−0) .141Xg−0.068Xb) / (Xr + Xg + Xb) is obtained for each light source type as shown in FIG. Whether the shooting scene is gray, flesh color, or leaf green, the value M of the ratio is (large) sunlight, A light source> F6 light source> three-wavelength daylight fluorescent lamp> three-wavelength daylight white fluorescent lamp> 3 Wavelength type fluorescent light bulb (small)
It can be seen that even in this embodiment, the photographing light source types can be accurately classified into five groups.
[0038]
According to the graph shown in FIG. 2, it can be seen that the light source type can be identified even in the wavelength region of 580 nm. For this reason, if a light source type identification pixel having a sharp sensitivity even in the vicinity of 580 nm is manufactured, the discrimination ability can be further improved. However, in this case, if the sensitivity in the vicinity of 580 nm is excessively increased, it is difficult to distinguish between sunlight, the A light source, and the F6 light source. Further, it is desirable that the coefficients kr, kg, and kb for obtaining the ratio value M are readjusted to optimum values.
[0039]
The R, G, and B output values used in the calculation of the ratio value M described above are preferably obtained from the R, G, and B pixels in the vicinity of the light source type identification pixel. This is because the light for obtaining the numerator value of the ratio value M and the light for obtaining the denominator value are emitted from the same location, and the light source type can be identified with higher accuracy.
[0040]
Further, the light source type identification pixels, that is, the region 3a shown in FIG. 1 is continuously provided over the entire circumference of the invalid pixel region in the above embodiment, but the present invention is not limited to this, and is not limited to this. It may be provided or may be provided collectively at a certain location. The setting of the region where the R, G, and B pixel mixture serving as the denominator of the ratio value M is also arbitrary. For example, the output of R, G, and B pixels in the entire invalid pixel area may be mixed into one.
[0041]
Furthermore, in the above-described embodiment, the light source type identifying pixel is manufactured by providing the light source type identifying filter instead of the R, G, B color filters provided in the photodiode of the solid state imaging device. It is also possible to provide a light source type identification filter by applying or pasting a pigment or the like having a necessary spectral characteristic to a part of the chip cover glass at the time of pixel processing.
[0042]
【The invention's effect】
According to the present invention, the identification accuracy of the photographic light source type is increased, the adjustment accuracy of the automatic white balance of the imaging apparatus is improved, and it is possible to always record a good color image.
[Brief description of the drawings]
FIG. 1 is a schematic plan view of a solid-state imaging device according to an embodiment of the present invention.
FIG. 2 is a graph comparing wavelengths and relative radiant energy of various light sources with uniform illuminance.
FIG. 3 is a graph showing an example of fourth spectral sensitivity and R, G, B spectral sensitivity according to an embodiment of the present invention.
4 is a diagram showing an identification result using a light source type identification pixel having the fourth spectral sensitivity shown in FIG. 3; FIG.
FIG. 5 is a graph showing fourth spectral sensitivity according to another example of the embodiment of the present invention.
6 is a diagram showing a discrimination result using a light source type discrimination pixel having the fourth spectral sensitivity shown in FIG.
FIG. 7 is a graph showing fourth spectral sensitivity according to still another example of the embodiment of the present invention.
8 is a diagram showing an identification result using a light source type identification pixel having the fourth spectral sensitivity shown in FIG. 7; FIG.
FIG. 9 is a pixel arrangement diagram of an example of a solid-state imaging device.
FIG. 10 is a graph showing spectral sensitivities of R, G, and B pixels of a solid-state image sensor.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Solid-state image sensor 2 Effective pixel area 3 Invalid pixel area 3a Pixel area for light source type identification 4 Pixel area for dark noise detection 5 Horizontal transfer path

Claims

In a solid-state imaging device including an effective pixel region and an invalid pixel region surrounding the effective pixel region, an output signal provided in a region where photographing light is incident out of the invalid pixel region is read from a pixel in the effective pixel region. A plurality of light source type identifying pixels for identifying a light source type based on a ratio to the output signal, and a light source type identifying color filter that is provided in each of the light source type identifying pixels and transmits light having a wavelength of 505 nm to 530 nm. a solid-state imaging device, characterized in that it comprises a.

2. The solid-state imaging device according to claim 1, wherein the plurality of light source type identification pixels are provided over an entire circumference of a region where photographing light is incident in the invalid pixel region .

The light source type is identified from a ratio between a value obtained by adding the output signals of each of the plurality of light source type identification pixels and a signal read from a pixel in the effective pixel region. 2. A solid-state imaging device according to 2.

4. The solid-state imaging device according to claim 1 , wherein a pixel in the effective pixel region from which a signal for obtaining the ratio is read out is a pixel in the vicinity of the light source type identification pixel . 5.

An optical lens system, a solid-state image sensor according to any one of claims 1 to 4 that converts an optical signal incident through the optical lens system into an electric signal, and pixels in the effective pixel region of the solid-state image sensor And control means for automatically adjusting the white balance of the color captured image read from the pixels in the effective pixel region by reading out signals from the light source type identifying pixels and performing signal processing to identify the photographic light source type. An imaging device.