JP3649055B2

JP3649055B2 - Solid-state imaging device

Info

Publication number: JP3649055B2
Application number: JP26506099A
Authority: JP
Inventors: 崇雄戸井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-09-20
Filing date: 1999-09-20
Publication date: 2005-05-18
Anticipated expiration: 2019-09-20
Also published as: JP2001094880A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置に係わり、特に、固体撮像素子の非線形性特性を用いてダイナミックレンジを拡大した場合の飽和ばらつきを抑制するための固体撮像装置に関する。
【０００２】
【従来の技術】
通常のビデオカメラやディジタルスチルカメラなどの固体撮像素子では、固体撮像素子の入射輝度と出力電圧間の特性が線形関係にある輝度領域を処理の対象としている。垂直オーバーフロードレイン構造をもつ固体撮像素子では、飽和した後の非線形関係にある輝度領域も活用することでダイナミックレンジを拡大することができる。
【０００３】
垂直オーバーフロードレイン構造をもつ固体撮像素子の駆動方法に関して、半導体基板に印可する電圧を段階的または線形に引き上げることによって蓄積する電荷量を制御してダイナミックレンジを拡大する方法として、特願平９−６５２１７号に記載されたものがある。但し、本従来技術においては非線形入出力感度特性は利用してはいない。
【０００４】
ダイナミックレンジを拡大する固体撮像装置については、前記の方法以外にもシャッター時間の異なる２フレーム以上の画像を合成してダイナミックレンジを拡大する方法として、次の文献に記載されたものが知られている。
菰淵：”広ダイナミックレンジＣＣＤ「Ｈｙｐｅｒ−ＤＣＣＤ」”，ＯＰＴＲＯＮＩＣＳ，Ｎｏ３，１９９９．
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の従来技術における固体撮像装置には次のような解決すべきいくつかの問題点があった。まず、固体撮像素子の線形領域のダイナミックレンジを拡大することが困難である。
【０００６】
その理由は、固体撮像素子の暗電流などのノイズ成分を抑制することが困難なためである。特に、製造コスト低減のために画素サイズを小さくした場合には、蓄積される電荷量が減るためダイナミックレンジは狭くなる可能性がある。
【０００７】
また、垂直オーバーフロードレイン構造をもつ固体撮像素子の半導体基板に印加する電圧を変えることによって蓄積する電荷量を制御する場合や、飽和した後の非線形特性を用いる場合には、飽和ばらつきが大きいという問題点がある。
【０００８】
その理由は、次の通りである。固体撮像素子のフォトダイオード容量には画素毎にばらつきが存在する。線形領域のみを用いる場合には飽和に達しておらず、蓄積された電荷をすべて転送するためこのような問題は発生しない。しかし、飽和した場合には、これが蓄積して転送する電荷量のばらつきとなるため、固定パターンノイズとして画質を低下させる原因となる。また、非線形領域では平均的に線形領域と比べて傾きが小さいため、信号成分に対する前記のノイズ成分が大きくなってしまい相対的にＳＮ比が低下する。
【０００９】
また、前記飽和ばらつきを低減する方法としてメディアンフィルタをノイズ除去回路として設けた方法が特願平７−８９２８３号に記載されている。しかし、このノイズ除去回路は解像度が低下するという問題がある。
【００１０】
その理由は、メディアンフィルタは飽和した画素以外の隣接画素を用いて信号処理を行うためである。
【００１１】
更に、シャッター時間の異なる２フレーム以上の画像を合成してダイナミックレンジを拡大する方法では、動きの速い被写体を撮像する場合に被写体にブレが生じてしまうといった問題点がある。
【００１２】
その理由は、ある時間間隔をおいて撮像した複数の画像を合成するためである。
【００１３】
本発明は、上記の問題点に鑑みてなされたものであり、撮像素子の飽和後の非線形特性を使ってダイナミックレンジを広げた場合において、飽和ばらつきを抑制することによって良好な画質を得る固体撮像装置およびその駆動方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
本発明は、固体撮像素子の入射輝度と出力電圧間の特性が線形関係および非線形関係にある輝度領域を処理の対象とした固体撮像装置において、固体撮像素子の半導体基板に印加する電圧を下げ、電荷を半導体基板からフォトダイオードに逆注入し、フォトダイオードを飽和させ、フォトダイオードを非線形特性の輝度領域とし、フォトダイオード内の電荷を垂直レジスタへ転送し、非線形特性の飽和ばらつきを含む画像信号を取得する取得手段と、取得した飽和ばらつきを含む画像信号の平均輝度信号を算出する平均輝度算出手段と、取得した飽和ばらつきを含む画像信号と、平均輝度算出手段により算出した平均輝度信号と、の差分となる差分信号を算出する算出手段と、固体撮像装置において非線形特性の飽和ばらつきを含む画像信号が発生した際に、該発生した非線形特性の飽和ばらつきを含む画像信号に、算出した差分信号を加算し、飽和ばらつきを含む画像信号のノイズが抑制された信号を画素毎に取得し、固体撮像装置において発生した非線形特性の飽和ばらつきを抑制する抑制手段と、を有することを特徴とするものである。
【００１５】
また、本発明にかかる個体撮像装置において、固体撮像素子の半導体基板に印加する電圧を０Ｖ付近まで下げ、電荷を半導体基板からフォトダイオード及び垂直レジスタに逆注入し、フォトダイオード及び垂直レジスタを強制的に飽和させ、垂直レジスタ内の電荷を転送し、ゲート領域を介してフォトダイオード内の電荷を垂直レジスタへ転送し、非線形特性の飽和ばらつきを含む画像信号を取得することを特徴とするものである。
【００１６】
また、本発明にかかる個体撮像装置において、電荷の逆注入は、１フレーム以上の間隔をおいて行うことを特徴とするものである。
【００１７】
また、本発明にかかる個体撮像装置において、電荷の逆注入は、固体撮像装置の起動時に行うことを特徴とするものである。
【００１８】
また、本発明にかかる個体撮像装置において、半導体基板に印加する電圧を下げた後に、再び印加電圧を上げてフォトダイオード内の不要電荷を半導体基板に引き抜くことを特徴とするものである。
【００１９】
また、本発明にかかる個体撮像装置は、外光を隠蔽する光学的シャッター手段を備え、電荷の逆注入中に、光学的シャッター手段を用いて光学的に光を隠蔽し、フォトダイオードにおいて光電変換が起こらないようにすることを特徴とする。
【００２０】
また、本発明は、固体撮像素子の入射輝度と出力電圧間の特性が線形関係および非線形関係にある輝度領域を処理の対象とした固体撮像装置において、固体撮像素子の受光面の前段に、光を発光する発光手段を備え、発光手段を発光させることにより固体撮像素子のフォトダイオードを飽和させ、フォトダイオードを非線形特性の輝度領域とし、フォトダイオード内の電荷を垂直レジスタへ転送し、非線形特性の飽和ばらつきを含む画像信号を取得する取得手段と、取得した飽和ばらつきを含む画像信号の平均輝度信号を算出する平均輝度算出手段と、取得した飽和ばらつきを含む画像信号と、平均輝度算出手段により算出した平均輝度信号と、の差分となる差分信号を算出する算出手段と、固体撮像装置において非線形特性の飽和ばらつきを含む画像信号が発生した際に、該発生した非線形特性の飽和ばらつきを含む画像信号に、算出した差分信号を加算し、飽和ばらつきを含む画像信号のノイズが抑制された信号を画素毎に取得し、固体撮像装置において発生した非線形特性の飽和ばらつきを抑制する抑制手段と、を有することを特徴とするものである。
【００２１】
また、本発明にかかる個体撮像装置において、発光手段の発光は、１フレーム以上の間隔をおいて行うことを特徴とする。
【００２２】
また、本発明にかかる個体撮像装置において、発光手段の発光は、固体撮像装置の起動時に行うことを特徴とする。
【００２３】
また、本発明にかかる個体撮像装置は、発光以外の外光を遮蔽する光学的シャッター手段を発行手段の前段に有することを特徴とする。
【００２４】
また、本発明にかかる個体撮像装置は、発光手段の光量を変化させ、固体撮像素子の出力電圧を検出し、個体撮像素子の入射輝度と出力電圧の感度特性を取得することを特徴とする。
【００２５】
また、本発明にかかる固体撮像装置は、取得した飽和ばらつきを含む画像信号を記憶する第１の記憶手段を有し、平均輝度算出手段は、第１の記憶手段に記憶された飽和ばらつきを含む画像信号の平均輝度信号を算出し、算出手段は、第１の記憶手段に記憶された飽和ばらつきを含む画像信号と、平均輝度算出手段により算出した平均輝度信号と、の差分となる差分信号を算出することを特徴とするものである。
【００２６】
また、本発明にかかる固体撮像装置は、飽和ばらつきを含む画像信号を第１の記憶手段に記憶する場合に、動画像の出力が途切れることを防ぐために当該画像信号の１フレーム前の画像信号を保存しておく第２の記憶手段を有することを特徴とするものである。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００２８】
図３には、垂直オーバーフロードレイン付きの固体撮像素子の断面図が示されている。Ｎ型半導体基板３００上にあるＰ型不純物ウェル層３０１の表面側に、入射光の光量に応じた電荷量の信号電荷に光電変換し、且つ、その信号電荷を蓄積するＮ型不純物からなるフォトダイオード３０５や、暗電流の発生を抑制するためのＰ⁺型不純物層３０４が形成されている。また、Ｐ型不純物層３０２及びその上部のＮ型不純物層３０３にて垂直レジスタが形成されている。フォトダイオード３０５から垂直レジスタへはゲート領域を介して電荷が読み出される。半導体基板の上面には絶縁膜３０６が形成されており、さらに、その上部にポリシリコン膜などからなる垂直転送電極３０７が形成されている。
【００２９】
図４は、フォトダイオード３０５を含む位置の垂直方向の半導体基板のポテンシャルを示した図である。図３の半導体基板の深さ方向（下向き）が図４の水平方向（右向き）に示されている。左からＰ⁺型不純物層３０４、Ｎ型フォトダイオード３０５、Ｐ型不純物ウェル層３０１、Ｎ型半導体基板のポテンシャルが示されている。
【００３０】
固体撮像素子に光が入射すると、フォトダイオード３０５で光電変換され電荷が蓄積される。この蓄積された電荷によってフォトダイオード３０５の電位は図４の矢印方向へ低下する。強い光が入射した場合には、電荷が垂直レジスタに流入してブルーミングが発生する可能性がある。このブルーミングを避けるための構造が垂直オーバーフロードレインである。これは、基板電圧（図中のＮＳｕｂ）を上げることによってＰ型不純物ウェル層３０１のポテンシャル電位を上げてバリアを低くして、過剰な電荷をＮ型半導体基板３００に掃き出されるようにする構造である。
【００３１】
図６は、垂直オーバーフロードレイン構造をもつ固体撮像素子の線形特性および非線形特性の入射輝度と出力電圧間の関係を示した図である。固体撮像素子が飽和するまでは、入射輝度と出力電圧間の特性は線形である。しかし、蓄積された電荷がＰ型不純物ウェル層３０１によるバリアを超え始めると、入射輝度と出力電圧間の特性は非線形となる。これは、Ｐ型不純物ウェル層３０１によるバリアの高さが、フォトダイオード３０５に蓄積された電荷量に応じて変化するためである。以上をまとめると固体撮像素子が飽和するまでの輝度領域では、下記の式１に示されるような線形特性を有する。
【００３２】
【数１】

【００３３】
但し、ｘを入射輝度、ｙを出力電圧とする。また、入射輝度が大きくなり飽和する非線形領域（対数領域）では、下記の式２に示されるような対数特性を有する。尚、垂直オーバーフロードレインの飽和後の対数特性の参考文献としては、次の文献がある。
Ｋａｗａｉ，ｅｔ．ａｌ：”ＰｈｏｔｏＲｅｓｐｏｎｓｅＡｎａｌ＿ｙ＿ｓｉｓｉｎＣＣＤＩｍａｇｅＳｅｎｓｏｒｗｉｔｈａＶＯＤｓｔｒｕｃｔｕｒｅ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＥｌｅｃｔｒｏｎＤｅｖｉｃｅｓ，Ｖｏｌ．４２，Ｎｏ．４，Ａｐｒ．１９９５．
【００３４】
【数２】

【００３５】
線形領域においては、フォトダイオード３０５に蓄積された電荷がすべて垂直レジスタへ転送されるため画素毎のばらつきは少ない。しかし、非線形領域では、Ｐ型不純物ウェル層３０１によるバリアの高さが製造上画素毎に異なる場合が多い。この場合、撮像した画像には飽和ばらつきが固定パターンノイズとして表れるため画質が低下する。本発明では、電荷逆注入や光学的な光源を用いて画素を飽和させておいて飽和ばらつきを含む画像を取得し、ノイズキャンセル回路によって画素ばらつきを抑制する。
【００３６】
図２には、通常の固体撮像素子の通常駆動タイミングの一例が示されている。上段には垂直転送パルスを示しており、下段には半導体基板に印加する電圧を示している。電子シャッター期間においてフォトダイオード３０５内の不要な電荷をＮ型半導体基板３００に掃き出す。次に、電荷蓄積期間においてフォトダイオード３０５に電荷が蓄積され、図４の矢印に示されるようなポテンシャル電位の変化が起こる。蓄積された電荷は読み出し期間において垂直レジスタに転送する。電荷転送期間において垂直レジスタ内の電荷は水平レジスタを経由して出力される。
【００３７】
図１には、本発明の実施形態における逆注入時の固体撮像素子の駆動タイミングの一例が示されている。上段には垂直転送パルスが示されており、下段には半導体基板に印加する電圧を示している。以下では、図３の垂直オーバーフロードレイン付きの固体撮像素子の断面図、及び、図５の逆注入時のポテンシャルを用いて説明する。電荷逆注入期間において基板電圧を下げることによって、Ｎ型半導体基板３００よりフォトダイオード３０５に電荷を逆注入する。逆注入を行うと図４のようなポテンシャル電位は図５に示されるようなポテンシャル電位に変わる。
【００３８】
更に、注入された電荷の面内均一性、つまり全体のＣＣＤにおける均一性をよくするために電子シャッター期間において基板電圧を上げることによって過剰な電荷を掃き出す。但し、全ての電荷を掃き出すわけではないので、通常の駆動の電子シャッター期間における基板電圧２２Ｖ程度よりも低い１５Ｖ程度を印加する。この電子シャッターにより印加された電圧によって図５の矢印のようなポテンシャル電圧の変化が起きる。次に、電荷蓄積期間において蓄積された電荷は、読み出し期間において垂直レジスタに転送する。電荷転送期間において垂直レジスタ内の電荷は水平レジスタを経由して出力される。
【００３９】
次に、このようにして取得した飽和ばらつき画像を用いたノイズキャンセル回路を含む固体撮像装置について解説する。
【００４０】
図７は、本実施形態における固体撮像装置の一構成例を示したブロック図である。ここでいう固体撮像装置とは動画用のビデオカメラや静止画用のディジタルスチルカメラを含むものとする。レンズなどの光学手段を透過した光は、固体撮像素子７００において光電変換される。この固体撮像素子７００はアナログの映像出力信号は、Ａ／Ｄ変換手段７０１によってディジタル信号ＲＡＷｉｎへ変換する。Ａ／Ｄ変換手段７０１のディジタル映像出力は、ノイズ抑制手段７０２によって飽和ばらつきを抑制した信号ＲＡＷｏｕｔへ変換する。
【００４１】
図８は、図７で示したノイズ抑制手段７０２の一構成例を示したブロック図である。フレームメモリ８０１は飽和ばらつきを含む画像を保存するためのフレームメモリである。積分手段８０２及び平均値算出手段８０３は、フレームメモリ８０１内の画像の平均値を算出するための積分手段及び平均値算出手段である。減算回路８０４はフレームメモリ８０１と平均値算出手段８０３からの信号の差を算出してノイズを抑制するための信号を算出する。この信号は加算回路８０５においてＲＡＷｉｎ入力信号に加算されることによってノイズが抑制された信号ＲＡＷｏｕｔを得る。
【００４２】
フレームメモリ８００は、フレームメモリ８０１の更新時、つまりフレームメモリ８０１が飽和ばらつきを含む画像を取得する場合において動画像が途切れることを防ぐために、現在の画像の１フレーム前の画像を保存しておく。フレームメモリ８０１更新時においては、入力信号ＲＡＷｉｎがフレームメモリ８０１や積分手段８０２に接続されるように切り替え手段８０７を操作する。
【００４３】
但し、通常状態においては、切り替え手段８０６、８０７は本図に示されるように接続されているものとする。尚、図１にて説明した電荷の逆注入は少なくとも１フレーム以上の間隔で、或いは固体撮像装置の起動時に行われ、このようなタイミングにおいて切り替え手段８０６はフレームメモリ８０１側に接続され、切り替え手段８０７は加算回路８０５側に接続される。
【００４４】
飽和ばらつき画像の取得については電荷の逆注入を行う前述の方法以外にも次のような発光手段を用いる実施形態がある。
【００４５】
図９は、光学的シャッター手段と発光手段とを備えた固体撮像装置の一構成例を示したブロック図である。基本的な構成は上記の実施形態と同様である。
【００４６】
レンズ９０１は固体撮像素子９００に焦点が合うように配置されている。固体撮像素子９００を飽和させてばらつき画像を取得するために、光軸にあうように面内の輝度が均一な面発光体９０３を置く。飽和ばらつき画像の取得時には面発光体９０３を発光させ、この時の画像をフレームメモリ８０１で取得する。尚、面発光体の発光は少なくとも１フレーム以上の間隔で、或いは固体撮像装置の起動時に行われ、この時に外光の影響を受けないようにするために光を遮蔽する光学的シャッター手段９０２を設ける。
【００４７】
図１の電荷逆注入時においても、前記と同様な光学的シャッター手段９０２を設けることによって外光の影響も避けることができる。これは、逆注入時においても固体撮像素子に入射する光によってフォトダイオード３０５で光電変換が起こる。このため、飽和ばらつき画像に外光の影響を受けることを避けるため逆注入を行うフィールドの１フィールド期間中、光学的に光を遮蔽する。但し、この場合、面発光体９０３は設置しない。
【００４８】
また、本実施形態においては、面発光体から固体撮像素子へ入射する光量を制御し、その光量における固体撮像素子の出力電圧を検出することによって、固体撮像素子の感度特性を取得することができる。この感度特性を取得することによって、例えば、線形領域と非線形領域の境界点を検出することが可能となり、取得した画像の線形性を向上させることができる。
【００４９】
【発明の効果】
以上の説明より明らかなように、本発明の第１の効果として飽和ばらつきを抑制することができる。
【００５０】
その理由は、予め取得した飽和ばらつきを含む画像とその平均値を用いて、これらの差分信号に画素毎に加算することによって飽和ばらつきを抑制する回路を設けたためである。この回路によって、固体撮像素子が飽和した場合における固定パターンノイズを出力電圧換算で３ｄＢ以上（実験値）抑制することができる。
【００５１】
また、本発明の第２の効果として、光学的な手段を用いることなくフォトダイオードを飽和させて飽和ばらつきを含む画像を取得できることである。
【００５２】
その理由は、電荷の逆注入を行う固体撮像素子の駆動方法では、フォトダイオードにＮ型半導体基板より電荷を逆注入することによって飽和させるため、発光手段が不要になるためである。
【００５３】
また、本発明の第３の効果として、発光手段を用いる場合には、固体撮像素子の入射輝度と出力電圧の感度特性を取得できることにある。
【００５４】
その理由は、固体撮像素子へ入射する光量を制御して、その光量における出力電圧を検出することによって、感度特性を得ることができるためである。この感度特性を取得することによって、例えば、線形領域と非線形領域の境界点を検出することが可能となり、取得した画像の線形性を向上させることができるようになる。
【００５５】
また、本発明の第４の効果として、外光の影響を受けずに飽和ばらつきを含む画像を取得できる。
【００５６】
その理由は、飽和ばらつきを含む画像を取得するときに外光の影響を受けることがないようにするために、光学的なシャッターを備えたためである。固体撮像素子に外光が入射すると、均一な入射輝度における飽和が実現できないため、固体撮像素子の出力電圧画素から画素が飽和したかどうかの判別が困難になる。
【００５７】
さらに、本発明の第５の効果として、動画像を撮像中に途切れることがなくなることである。
【００５８】
その理由は、１フレーム以上前の画像を保存しておく記憶手段を備えることによって、ある任意のフレーム間隔で固体撮像素子の飽和ばらつきを含む画像を取得するときに、出力する画像が途切れることがないように記憶手段から画像を用いて補うことができるためである。飽和ばらつきを含む画像を含む画像を取得するときには、光学的なシャッターを閉じる或いは電荷の逆注入を行うなど通常とは異なった駆動を行うため撮像することができない。
【図面の簡単な説明】
【図１】本発明の実施形態における固体撮像装置の駆動タイミングを示した図である。
【図２】従来技術における固体撮像装置の駆動タイミングの一例を示した図である。
【図３】本発明の実施形態における固体撮像素子の断面図の一例を示した図である。
【図４】本発明の実施形態における光電変換時の固体撮像素子のポテンシャル電位の一例を示した図である。
【図５】本発明の実施形態における逆注入時の固体撮像素子のポテンシャル電位の一例を示した図である。
【図６】本発明の実施形態における入射輝度に対する固体撮像素子の出力電圧の特性の一例を示した図である。
【図７】本発明の実施形態における固体撮像装置の一構成例を示した図である。
【図８】本発明の実施形態におけるノイズ抑制手段の一構成例を示した図である。
【図９】本発明の他の実施形態における光学的シャッター手段と発光手段とを備えた固体撮像装置の一構成例を示した図である。
【符号の説明】
３００Ｎ型半導体基板
３０１Ｐ型不純物ウェル層
３０２Ｐ型不純物層
３０３Ｎ型不純物層
３０４Ｐ⁺型不純物層
３０５Ｎ型フォトダイオード
３０６絶縁膜
３０７垂直転送電極
７００固体撮像素子
７０１ＡＤ変換手段
７０２ノイズ抑制手段
８００、８０１フレームメモリ
８０２積分手段
８０３平均値算出手段
８０４減算手段
８０５加算回路
８０６、８０７切り替え手段
９００固体撮像素子
９０１レンズ
９０２光学的シャッター手段
９０３面発光体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a solid-state imaging device, and more particularly to a solid-state imaging device for suppressing variation in saturation when a dynamic range is expanded using a nonlinear characteristic of a solid-state imaging device.
[0002]
[Prior art]
In a solid-state imaging device such as a normal video camera or a digital still camera, a luminance region in which a characteristic between an incident luminance and an output voltage of the solid-state imaging device has a linear relationship is a processing target. In a solid-state imaging device having a vertical overflow drain structure, the dynamic range can be expanded by utilizing a luminance region having a nonlinear relationship after saturation.
[0003]
Regarding a method for driving a solid-state imaging device having a vertical overflow drain structure, as a method for expanding the dynamic range by controlling the amount of accumulated charge by stepwise or linearly raising the voltage applied to the semiconductor substrate, Japanese Patent Application No. 9- There is what is described in 65217. However, this conventional technique does not use the nonlinear input / output sensitivity characteristics.
[0004]
As for the solid-state imaging device that expands the dynamic range, the method described in the following document is known as a method for expanding the dynamic range by synthesizing images of two or more frames having different shutter times in addition to the above method. Yes.
Note: “Wide dynamic range CCD“ Hyper-D CCD ””, OPTRONICS, No. 3, 1999.
[0005]
[Problems to be solved by the invention]
However, the above-described solid-state imaging device in the prior art has several problems to be solved as follows. First, it is difficult to expand the dynamic range of the linear region of the solid-state imaging device.
[0006]
This is because it is difficult to suppress noise components such as dark current of the solid-state imaging device. In particular, when the pixel size is reduced in order to reduce manufacturing costs, the dynamic range may be narrowed because the amount of accumulated charge is reduced.
[0007]
In addition, when controlling the amount of charge accumulated by changing the voltage applied to the semiconductor substrate of a solid-state imaging device having a vertical overflow drain structure, or when using nonlinear characteristics after saturation, there is a problem of large saturation variation There is a point.
[0008]
The reason is as follows. There is variation for each pixel in the photodiode capacitance of the solid-state imaging device. When only the linear region is used, saturation is not reached and all accumulated charges are transferred, so that such a problem does not occur. However, when it is saturated, this causes variations in the amount of charge accumulated and transferred, which causes the image quality to deteriorate as fixed pattern noise. In addition, since the slope in the nonlinear region is smaller than that in the linear region on average, the noise component with respect to the signal component becomes large, and the SN ratio is relatively lowered.
[0009]
Japanese Patent Application No. 7-89283 discloses a method of reducing the saturation variation by providing a median filter as a noise removal circuit. However, this noise removal circuit has a problem that the resolution is lowered.
[0010]
The reason is that the median filter performs signal processing using adjacent pixels other than saturated pixels.
[0011]
Furthermore, in the method of expanding the dynamic range by combining images of two or more frames with different shutter times, there is a problem that the subject is blurred when capturing a fast-moving subject.
[0012]
The reason is to synthesize a plurality of images taken at certain time intervals.
[0013]
The present invention has been made in view of the above problems, and in the case where the dynamic range is expanded using the nonlinear characteristics after saturation of the image sensor, solid-state imaging that obtains good image quality by suppressing saturation variation An object is to provide an apparatus and a driving method thereof.
[0014]
[Means for Solving the Problems]
In order to achieve this object, the present invention has the following features.
The present invention lowers the voltage applied to the semiconductor substrate of the solid-state imaging device in a solid-state imaging device intended for processing in a luminance region in which the characteristics between the incident luminance and the output voltage of the solid-state imaging device are linear and non-linear. Charge is back-injected from the semiconductor substrate into the photodiode, saturates the photodiode, makes the photodiode a non-linear luminance region, transfers the charge in the photodiode to the vertical register, and outputs an image signal including non-linear saturation saturation. An acquisition means for acquiring, an average luminance calculation means for calculating an average luminance signal of an image signal including the acquired saturation variation, an image signal including the acquired saturation variation, and an average luminance signal calculated by the average luminance calculation means A calculation means for calculating a difference signal as a difference, and an image signal including saturation variation of nonlinear characteristics in the solid-state imaging device When generated, the calculated difference signal is added to the image signal including the saturation variation of the generated nonlinear characteristic, and a signal in which noise of the image signal including the saturation variation is suppressed is obtained for each pixel, and the solid-state imaging device And suppressing means for suppressing the saturation variation of the non-linear characteristic generated in the above.
[0015]
In the solid-state imaging device according to the present invention, the voltage applied to the semiconductor substrate of the solid-state imaging device is lowered to around 0 V, the charge is reversely injected from the semiconductor substrate into the photodiode and the vertical register, and the photodiode and the vertical register are forced. And the charge in the vertical register is transferred, the charge in the photodiode is transferred to the vertical register via the gate region, and an image signal including a saturation variation of nonlinear characteristics is obtained. .
[0016]
In the individual imaging apparatus according to the present invention, the reverse charge injection is performed at intervals of one frame or more.
[0017]
In the individual imaging device according to the present invention, reverse charge injection is performed when the solid-state imaging device is activated.
[0018]
In the solid-state imaging device according to the present invention, the voltage applied to the semiconductor substrate is lowered, and then the applied voltage is raised again to draw unnecessary charges in the photodiode to the semiconductor substrate.
[0019]
The solid-state imaging device according to the present invention includes an optical shutter unit that conceals external light , optically conceals light using the optical shutter unit during reverse charge injection, and performs photoelectric conversion in the photodiode. It is characterized by preventing that from occurring.
[0020]
Further, the present invention provides a solid-state image pickup device in which a luminance region in which a characteristic between an incident luminance and an output voltage of a solid-state image pickup device has a linear relationship and a non-linear relationship is a target of processing. The light emitting means emits light to saturate the photodiode of the solid-state imaging device, make the photodiode a non-linear luminance region, transfer the charge in the photodiode to the vertical register, Calculated by an acquisition unit that acquires an image signal including saturation variation, an average luminance calculation unit that calculates an average luminance signal of the acquired image signal including saturation variation, an image signal including the acquired saturation variation, and an average luminance calculation unit A calculation means for calculating a difference signal that is a difference between the average luminance signal and the non-linear characteristic saturation variation in the solid-state imaging device When an image signal including the non-linear characteristic is generated, the calculated difference signal is added to the image signal including the saturation variation of the generated nonlinear characteristic, and a signal in which noise of the image signal including the saturation variation is suppressed is obtained for each pixel. And suppression means for suppressing variation in saturation of nonlinear characteristics generated in the solid-state imaging device.
[0021]
In the individual imaging apparatus according to the present invention, the light emission of the light emitting means is performed at intervals of one frame or more.
[0022]
The solid-state imaging device according to the present invention is characterized in that the light emitting means emits light when the solid-state imaging device is activated.
[0023]
The solid-state imaging device according to the present invention is characterized in that an optical shutter means for shielding outside light other than light emission is provided in front of the issuing means .
[0024]
The individual imaging device according to the present invention is characterized in that the light intensity of the light emitting means is changed , the output voltage of the solid-state imaging device is detected, and the sensitivity characteristics of the incident luminance and the output voltage of the individual imaging device are acquired.
[0025]
The solid-state imaging device according to the present invention includes a first storage unit that stores the acquired image signal including the saturation variation, and the average luminance calculation unit includes the saturation variation stored in the first storage unit. An average luminance signal of the image signal is calculated, and the calculation unit calculates a difference signal that is a difference between the image signal including the saturation variation stored in the first storage unit and the average luminance signal calculated by the average luminance calculation unit. It is characterized by calculating.
[0026]
In addition, the solid-state imaging device according to the present invention, when storing the image signal including the saturation variation in the first storage unit, stores the image signal one frame before the image signal in order to prevent the output of the moving image from being interrupted. It has the 2nd memory | storage means to preserve | save. It is characterized by the above-mentioned.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0028]
FIG. 3 shows a cross-sectional view of a solid-state imaging device with a vertical overflow drain. On the surface side of the P-type impurity well layer 301 on the N-type semiconductor substrate 300, a photo-electric conversion is made of an N-type impurity that photoelectrically converts to a signal charge having a charge amount corresponding to the amount of incident light and accumulates the signal charge A diode 305 and a P ⁺ -type impurity layer 304 for suppressing generation of dark current are formed. A vertical register is formed by the P-type impurity layer 302 and the N-type impurity layer 303 formed thereon. The charge is read from the photodiode 305 to the vertical register through the gate region. An insulating film 306 is formed on the upper surface of the semiconductor substrate, and a vertical transfer electrode 307 made of a polysilicon film or the like is further formed thereon.
[0029]
FIG. 4 is a diagram showing the potential of the semiconductor substrate in the vertical direction at the position including the photodiode 305. The depth direction (downward) of the semiconductor substrate of FIG. 3 is shown in the horizontal direction (rightward) of FIG. From the left, the potentials of the P ⁺ -type impurity layer 304, the N-type photodiode 305, the P-type impurity well layer 301, and the N-type semiconductor substrate are shown.
[0030]
When light is incident on the solid-state image sensor, photoelectric conversion is performed by the photodiode 305 and electric charges are accumulated. Due to this accumulated charge, the potential of the photodiode 305 decreases in the direction of the arrow in FIG. When intense light is incident, charge may flow into the vertical register and blooming may occur. A structure for avoiding this blooming is a vertical overflow drain. This is a structure in which by raising the substrate voltage (NSub in the figure), the potential potential of the P-type impurity well layer 301 is raised to lower the barrier so that excess charges are swept out to the N-type semiconductor substrate 300. It is.
[0031]
FIG. 6 is a diagram showing a relationship between the incident luminance and the output voltage of the linear characteristics and nonlinear characteristics of the solid-state imaging device having the vertical overflow drain structure. Until the solid-state imaging device is saturated, the characteristic between the incident luminance and the output voltage is linear. However, when the accumulated charge starts to exceed the barrier formed by the P-type impurity well layer 301, the characteristic between the incident luminance and the output voltage becomes nonlinear. This is because the height of the barrier formed by the P-type impurity well layer 301 changes according to the amount of charge accumulated in the photodiode 305. In summary, the luminance region until the solid-state imaging device is saturated has a linear characteristic as shown in Equation 1 below.
[0032]
[Expression 1]

[0033]
Where x is the incident luminance and y is the output voltage. In addition, the non-linear region (logarithmic region) where the incident luminance increases and becomes saturated has logarithmic characteristics as shown in Equation 2 below. As a reference document of logarithmic characteristics after saturation of the vertical overflow drain, there is the following document.
Kawai, et. al: “Photo Response Anal_y_sis in CCD Image Sensor with a VOD structure”, IEEE Transactions on Electron Devices, Vol. 42, no. 4, Apr. 1995.
[0034]
[Expression 2]

[0035]
In the linear region, since all charges accumulated in the photodiode 305 are transferred to the vertical register, there is little variation for each pixel. However, in the nonlinear region, the height of the barrier formed by the P-type impurity well layer 301 is often different for each pixel in manufacturing. In this case, since the variation in saturation appears as fixed pattern noise in the captured image, the image quality deteriorates. In the present invention, the pixel is saturated using reverse charge injection or an optical light source, an image including a saturation variation is acquired, and the pixel variation is suppressed by a noise cancellation circuit.
[0036]
FIG. 2 shows an example of normal drive timing of a normal solid-state image sensor. The upper part shows the vertical transfer pulse, and the lower part shows the voltage applied to the semiconductor substrate. Unnecessary charges in the photodiode 305 are swept out to the N-type semiconductor substrate 300 during the electronic shutter period. Next, charges are accumulated in the photodiode 305 during the charge accumulation period, and the potential potential changes as shown by the arrows in FIG. The accumulated charge is transferred to the vertical register in the reading period. During the charge transfer period, the charges in the vertical register are output via the horizontal register.
[0037]
FIG. 1 shows an example of the driving timing of the solid-state imaging device at the time of reverse injection in the embodiment of the present invention. The upper part shows a vertical transfer pulse, and the lower part shows a voltage applied to the semiconductor substrate. The following description will be made using the cross-sectional view of the solid-state imaging device with the vertical overflow drain in FIG. 3 and the potential at the time of reverse injection in FIG. By lowering the substrate voltage during the charge reverse injection period, charge is reversely injected from the N-type semiconductor substrate 300 into the photodiode 305. When reverse injection is performed, the potential potential shown in FIG. 4 changes to the potential potential shown in FIG.
[0038]
Furthermore, in order to improve the in-plane uniformity of the injected charge, that is, the uniformity of the entire CCD, excess charge is swept out by raising the substrate voltage during the electronic shutter period. However, since not all charges are swept out, about 15 V, which is lower than the substrate voltage of about 22 V in the normal driving electronic shutter period, is applied. The voltage applied by the electronic shutter causes a change in potential voltage as shown by the arrow in FIG. Next, the charge accumulated in the charge accumulation period is transferred to the vertical register in the read period. During the charge transfer period, the charges in the vertical register are output via the horizontal register.
[0039]
Next, a solid-state imaging device including a noise cancellation circuit using the saturation variation image acquired in this way will be described.
[0040]
FIG. 7 is a block diagram illustrating a configuration example of the solid-state imaging device according to the present embodiment. The solid-state imaging device here includes a video camera for moving images and a digital still camera for still images. Light that has passed through optical means such as a lens is photoelectrically converted in the solid-state imaging device 700. In the solid-state imaging device 700, an analog video output signal is converted into a digital signal RAWin by an A / D conversion means 701. The digital video output of the A / D conversion unit 701 is converted into a signal RAWout in which saturation variation is suppressed by the noise suppression unit 702.
[0041]
FIG. 8 is a block diagram illustrating a configuration example of the noise suppression unit 702 illustrated in FIG. The frame memory 801 is a frame memory for storing an image including saturation variation. The integrating unit 802 and the average value calculating unit 803 are an integrating unit and an average value calculating unit for calculating the average value of the image in the frame memory 801. The subtraction circuit 804 calculates a signal for suppressing noise by calculating a difference between signals from the frame memory 801 and the average value calculation means 803. This signal is added to the RAWin input signal in the adder circuit 805 to obtain a signal RAWout in which noise is suppressed.
[0042]
The frame memory 800 stores an image one frame before the current image in order to prevent the moving image from being interrupted when the frame memory 801 is updated, that is, when the frame memory 801 acquires an image including saturation variation. . When the frame memory 801 is updated, the switching unit 807 is operated so that the input signal RAWin is connected to the frame memory 801 and the integrating unit 802.
[0043]
However, in the normal state, the switching means 806 and 807 are connected as shown in the figure. The reverse charge injection described with reference to FIG. 1 is performed at an interval of at least one frame or when the solid-state imaging device is started. At such timing, the switching unit 806 is connected to the frame memory 801 side, and the switching unit Reference numeral 807 is connected to the adder circuit 805 side.
[0044]
For obtaining the saturation variation image, there is an embodiment using the following light emitting means in addition to the above-described method of performing reverse charge injection.
[0045]
FIG. 9 is a block diagram showing a configuration example of a solid-state imaging device including an optical shutter unit and a light emitting unit. The basic configuration is the same as in the above embodiment.
[0046]
The lens 901 is disposed so as to focus on the solid-state image sensor 900. In order to saturate the solid-state imaging device 900 and acquire a variation image, a surface light emitter 903 having a uniform in-plane luminance is placed so as to match the optical axis. When acquiring the saturation variation image, the surface light emitter 903 emits light, and the image at this time is acquired by the frame memory 801. The surface light emitter emits light at an interval of at least one frame or when the solid-state imaging device is started. At this time, an optical shutter unit 902 that shields light is used to prevent the influence of external light. Provide.
[0047]
Even during reverse charge injection in FIG. 1, the influence of external light can be avoided by providing the same optical shutter means 902 as described above. This is because photoelectric conversion occurs in the photodiode 305 by light incident on the solid-state imaging device even during reverse injection. For this reason, light is optically shielded during one field period of the field where reverse injection is performed in order to avoid the influence of external light on the saturation variation image. However, in this case, the surface light emitter 903 is not installed.
[0048]
In this embodiment, the sensitivity characteristic of the solid-state image sensor can be acquired by controlling the amount of light incident on the solid-state image sensor from the surface light emitter and detecting the output voltage of the solid-state image sensor at that light amount. . By acquiring this sensitivity characteristic, for example, a boundary point between a linear region and a nonlinear region can be detected, and the linearity of the acquired image can be improved.
[0049]
【The invention's effect】
As is apparent from the above description, saturation variation can be suppressed as the first effect of the present invention.
[0050]
The reason is that a circuit for suppressing saturation variation is provided by adding an image including saturation variation acquired in advance and an average value thereof to the difference signal for each pixel. With this circuit, fixed pattern noise when the solid-state imaging device is saturated can be suppressed by 3 dB or more (experimental value) in terms of output voltage.
[0051]
A second effect of the present invention is that an image including saturation variation can be acquired by saturating a photodiode without using optical means.
[0052]
The reason is that the solid-state imaging device driving method that reversely injects charges saturates the photodiode by reversely injecting charges from the N-type semiconductor substrate, so that no light emitting means is required.
[0053]
Further, as a third effect of the present invention, when the light emitting means is used, it is possible to acquire the sensitivity characteristics of the incident luminance and the output voltage of the solid-state imaging device.
[0054]
The reason is that sensitivity characteristics can be obtained by controlling the amount of light incident on the solid-state imaging device and detecting the output voltage at that amount of light. By acquiring this sensitivity characteristic, for example, a boundary point between a linear region and a nonlinear region can be detected, and the linearity of the acquired image can be improved.
[0055]
Further, as a fourth effect of the present invention, an image including saturation variation can be acquired without being affected by external light.
[0056]
The reason is that an optical shutter is provided so as not to be affected by external light when an image including saturation variation is acquired. When external light is incident on the solid-state imaging device, it is difficult to determine whether the pixel is saturated from the output voltage pixel of the solid-state imaging device because saturation at uniform incident luminance cannot be realized.
[0057]
Furthermore, as a fifth effect of the present invention, there is no interruption during moving image capturing.
[0058]
The reason for this is that by providing a storage unit that stores an image one frame or more before, an image to be output may be interrupted when an image including saturation variation of the solid-state imaging device is acquired at an arbitrary frame interval. This is because it can be compensated by using an image from the storage means. When an image including an image including saturation variation is acquired, imaging cannot be performed because the drive is different from usual, such as closing the optical shutter or performing reverse charge injection.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating drive timing of a solid-state imaging device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of driving timing of a solid-state imaging device according to a conventional technique.
FIG. 3 is a diagram illustrating an example of a cross-sectional view of a solid-state imaging device according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of a potential potential of the solid-state imaging device during photoelectric conversion in the embodiment of the present invention.
FIG. 5 is a diagram showing an example of the potential potential of the solid-state imaging device at the time of reverse injection in the embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a characteristic of an output voltage of a solid-state imaging device with respect to incident luminance in the embodiment of the present invention.
FIG. 7 is a diagram illustrating a configuration example of a solid-state imaging device according to an embodiment of the present invention.
FIG. 8 is a diagram showing a configuration example of noise suppression means in the embodiment of the present invention.
FIG. 9 is a diagram illustrating a configuration example of a solid-state imaging device including an optical shutter unit and a light emitting unit according to another embodiment of the present invention.
[Explanation of symbols]
300 N-type semiconductor substrate 301 P-type impurity well layer 302 P-type impurity layer 303 N-type impurity layer 304 P ⁺ -type impurity layer 305 N-type photodiode 306 Insulating film 307 Vertical transfer electrode 700 Solid-state imaging device 701 AD conversion means 702 Noise suppression Means 800, 801 Frame memory 802 Integration means 803 Average value calculation means 804 Subtraction means 805

Addition circuit

806, 807 Switching means 900 Solid-state imaging device 901 Lens 902 Optical shutter means 903 Surface emitter

Claims

In a solid-state imaging device for processing a luminance region in which the characteristics between the incident luminance and the output voltage of the solid-state imaging device have a linear relationship and a nonlinear relationship,
The voltage applied to the semiconductor substrate of the solid-state imaging device is lowered, charges are back-injected from the semiconductor substrate into the photodiode, the photodiode is saturated, the photodiode is set to a non-linear characteristic luminance region, and the photodiode Acquisition means for transferring charge to a vertical register and acquiring an image signal including saturation variation of the nonlinear characteristic;
Average luminance calculating means for calculating an average luminance signal of the image signal including the obtained saturation variation;
A calculation unit that calculates a difference signal that is a difference between the acquired image signal including saturation variation and the average luminance signal calculated by the average luminance calculation unit;
When an image signal including a saturation variation of nonlinear characteristics is generated in the solid-state imaging device, the calculated difference signal is added to the generated image signal including the saturation variation of nonlinear characteristics, and an image including the saturation variation is generated. A suppression unit that acquires a signal in which noise of the signal is suppressed for each pixel, and suppresses a variation in saturation of nonlinear characteristics generated in the solid-state imaging device;
A solid-state imaging device.

The voltage applied to the semiconductor substrate of the solid-state imaging device is lowered to around 0 V, charges are back-injected from the semiconductor substrate into the photodiode and the vertical register, the photodiode and the vertical register are forcibly saturated, and to transfer the charges in the vertical register, the charges in the photodiode is transferred to the vertical register via a gate region, according to claim 1, characterized in that to obtain an image signal comprising a saturated dispersion of the nonlinear characteristics Solid-state imaging device.

The reverse injection of charges, the solid-state imaging device according to claim 1 or 2, wherein the performing at intervals of more than one frame.

The solid-state imaging device according to claim 1, wherein the reverse injection of the charge is performed when the solid-state imaging device is activated.

2. The solid-state imaging device according to claim 1, wherein after the voltage applied to the semiconductor substrate is lowered, the applied voltage is raised again to draw unnecessary charges in the photodiode to the semiconductor substrate.

An optical shutter means for concealing external light; and optical concealment of light using the optical shutter means during the reverse injection of charge so that photoelectric conversion does not occur in the photodiode. The solid-state imaging device according to claim 1, wherein the solid-state imaging device is characterized.

In a solid-state imaging device for processing a luminance region in which the characteristics between the incident luminance and the output voltage of the solid-state imaging device have a linear relationship and a nonlinear relationship,
A light emitting unit that emits light is provided in front of the light receiving surface of the solid-state imaging device, the photodiode of the solid-state imaging device is saturated by causing the light-emitting unit to emit light, and the photodiode is used as a luminance region of a nonlinear characteristic, An acquisition means for transferring an electric charge in the photodiode to a vertical register and acquiring an image signal including saturation variation of the nonlinear characteristic;
Average luminance calculating means for calculating an average luminance signal of the image signal including the obtained saturation variation;
A calculation unit that calculates a difference signal that is a difference between the acquired image signal including saturation variation and the average luminance signal calculated by the average luminance calculation unit;
When an image signal including a saturation variation of nonlinear characteristics is generated in the solid-state imaging device, the calculated difference signal is added to the generated image signal including the saturation variation of nonlinear characteristics, and an image including the saturation variation is generated. A suppression unit that acquires a signal in which noise of the signal is suppressed for each pixel, and suppresses a variation in saturation of nonlinear characteristics generated in the solid-state imaging device;
A solid-state imaging device.

The solid-state imaging device according to claim 7, wherein the light emitting means emits light at intervals of one frame or more.

The solid-state imaging device according to claim 7 or 8 , wherein the light emitting means emits light when the solid-state imaging device is activated.

10. The solid-state imaging device according to claim 7, further comprising an optical shutter unit that blocks outside light other than the light emission, in front of the issuing unit.

11. The sensitivity characteristic of the incident luminance and the output voltage of the solid-state image sensor is obtained by changing the light amount of the light emitting means, detecting the output voltage of the solid-state image sensor. The solid-state imaging device described.

First storage means for storing the acquired image signal including saturation variation;
The average luminance calculating means calculates an average luminance signal of an image signal including saturation variation stored in the first storage means,
The calculation means calculates a difference signal that is a difference between the image signal including the saturation variation stored in the first storage means and the average luminance signal calculated by the average luminance calculation means. The solid-state imaging device according to claim 1 or 7.

When storing the image signal including the saturation variation in the first storage unit, the second storage unit stores the image signal one frame before the image signal in order to prevent the output of the moving image from being interrupted. The solid-state imaging device according to claim 12, further comprising: