JP3755175B2 - 固体撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ダイナミックレンジが高く高輝度の被写体を撮像するのに好適な固体撮像装置に関する。
【０００２】
【従来の技術】
固体撮像装置は、カメラ一体型ビデオテープレコーダやスチルカメラ等に広く用いられ、屋内外で広く使用される。しかしながら、固体撮像装置は、固体撮像素子が例えば銀塩写真システムに比較してダイナミックレンジが狭いため、逆光で撮像すると、高輝度レベルがダイナミックレンジを超えて飽和してしまうことがある。そこで、固体撮像装置は、被写体に対する露光量が適正になるように絞りを調整して、適正な再生画像を得ていたが、背景等には依然としていわゆる白とび等が発生し、背景画像は白色になってしまう。
【０００３】
したがって、固体撮像装置は、図１３に示すように、ニー処理（ｋｎｅｅ）を施すことにより、被写体の輝度レベルがダイナミックレンジの範囲内になるようにレベル圧縮して、固体撮像素子の標準光に対するダイナミックレンジを４〜５倍に拡大し、高輝度の被写体でも撮像できるようになっている。
【０００４】
【発明が解決しようとする課題】
ところが、固体撮像装置は、近年、撮像環境によらず常に高品質の画像を提供することが望まれているため、被写体の高輝度レベルによってはニー処理による固体撮像素子のダイナミックレンジの拡張だけでは不十分な事態も生じてしまった。
【０００５】
また、このような事態を回避するため、フレーム及び露光期間の異なる画像信号を合成してダイナミックレンジの拡大を図る固体撮像装置も考えられている。しかし、このような固体撮像装置は、フィールドの異なる画像信号を合成するため、高速で動く被写体を撮像するのには不向きであった。
【０００６】
本発明は、このような実情を鑑みてなされたものであり、固体撮像素子のダイナミックレンジを拡大し、かつ、高速移動する物体の撮像にも適した固体撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る固体撮像装置は、有効電荷の蓄積を同時に開始し、蓄積した有効電荷を垂直転送レジスタに読み出すタイミングが異なる２つのフィールド信号を、水平転送レジスタを介して、全画素出力する固体撮像素子と、上記固体撮像素子から出力された２つのフィールド信号が同じタイミングで読み出されるように、少なくとも１つのフィールド信号の遅延を施す遅延手段と、上記固体撮像素子に蓄積された上記有効電荷を垂直転送レジスタに読み出すタイミングを制御し、また、上記遅延手段によって上記少なくとも１つのフィールド信号の遅延するタイミングを制御する制御手段と、上記２つのフィールド信号をフレーム信号に合成する信号合成手段とを備える。
【０００８】
本発明に係る固体撮像装置において、上記遅延手段は、上記固体撮像素子に内蔵され、上記制御手段は、上記固体撮像素子から上記２つのフィールド信号が同時に出力するように、上記固体撮像素子の出力のタイミングを制御する。
また、本発明に係る固体撮像装置において、上記遅延手段は、上記固体撮像素子の外部に設けられた、少なくとも１つのフィールド信号を記憶するフィールドメモリであり、制御手段は、上記フィールドメモリからフィールド信号を読み出すタイミングを制御する。
【０００９】
したがって、上記固体撮像装置は、同一フレームにおける露光時間の異なる２つのフィールド信号をそれぞれ一のフレーム信号に合成することにより、露光間の長いフレーム信号がダイナミックレンジを超えても、露光期間の短いフレーム信号により高輝度の信号レベルを補うことができ、固体撮像素子のダイナミックレンジを拡大することができる。
【００１０】
【発明の実施の形態】
本発明に係る固体撮像装置の実施の形態について、図面を参照しながら説明する。本発明は例えばカメラ装置に適用して好適な固体撮像装置であり、以下、カメラ装置を例にして詳細に説明する。
【００１１】
第１の実施の形態に係るカメラ装置１は、例えば図１に示すように、有効電荷の蓄積を同時に行い、有効電荷の読み出すタイミングが異なる２つのフィールド信号を全画素出力するＣＣＤイメージセンサ１０と、ＣＣＤイメージセンサ１０から２ラインに出力されたフィールド信号をそれぞれ記憶する記憶部３０と、記憶部３０から２ライン同時に出力されたフィールド信号を一のフレーム信号に合成する信号合成回路５０と、ＣＣＤイメージセンサ１０に蓄積された上記有効電荷の読み出すタイミングを制御し、また、記憶部３０に記憶された２つのフィールド信号を、フレーム毎に同時に読み出す制御をする制御部７０とを備える。
【００１２】
具体的には、ＣＣＤイメージセンサ１０は、例えば図２に示すように、マトリックス状に配列され、入射光に応じた光電変換による電荷を蓄積するフォトダイオード１１と、蓄積電荷を垂直方向に転送する垂直転送レジスタ１２と、垂直転送レジスタ１２からの電荷を画像信号として出力する水平転送レジスタ１３とを備える。
【００１３】
フォトダイオード１１には、奇数行に配列された奇数フォトダイオード１１ａと偶数行に配列された偶数フォトダイオード１１ｂがあり、これらに蓄積された電荷は、全画素同時に垂直転送レジスタ１２に読み出される。
【００１４】
垂直転送レジスタ１２は、図２に示すように、転送電極部Ｖ１，Ｖ２，Ｖ３からなる垂直転送部１２ａと、転送電極部Ｖ４，Ｖ５，Ｖ６からなる垂直転送部１２ｂとが交互にあり、垂直転送部１２ａで奇数フォトダイオード１１ａの有効電荷が読み出され、垂直転送部１２ｂで偶数フォトダイオード１１ｂの有効電荷が読み出される。垂直転送レジスタ１２内の電荷は、通常、１Ｈ周期（１水平走査周期）毎に、垂直転送部１２ａ，１２ｂを２つ移動するようになっている。
【００１５】
ＣＣＤイメージセンサ１０は、例えば図３に示すように、同一フレームにおける有効電荷蓄積期間（露光期間）がＴ１，Ｔ２と異なる、偶数・奇数フィールド信号を出力することができる。
【００１６】
すなわち、ＣＣＤイメージセンサ１０は、不要電荷を一度全部廃棄し、フォトダイオード１１に所定期間有効電荷が蓄積されると、制御部７０からの読出パルスに基づいて、例えば奇数フォトダイオード１１ａの蓄積電荷（以下、電荷 odd１という）を垂直転送レジスタ１２に読み出す。電荷 odd１は、例えば図４に示すように、既に垂直転送レジスタ１２によって転送されている電荷even１とともに、Ｈ周期毎に垂直転送部を２つずつ移動する。
【００１７】
垂直転送レジスタ１２は、電荷even１が全部水平転送レジスタ１３に転送されると、図５に示すように、電荷 odd１を垂直転送部１２ｂに１つ転送した後、図６に示すように、垂直転送部１２ａで電荷 odd２読み出す。そして、垂直転送レジスタ１２は、図７に示すように、電荷 odd１及び電荷 odd２を１つだけ転送した後、図８に示すように、それぞれ２つずつ転送する。そして、垂直転送レジスタ１２は、電荷even２の読出も同様に行うことができる。
【００１８】
すなわち、垂直転送レジスタ１２は、奇数フォトダイオード１１ａ又は偶数フォトダイオード１１ｂの有効電荷を読み出す際には、その内部に残っている電荷を１つだけ転送してから上記電荷を読み出し、再び全電荷を１つ転送した後、全電荷を２つずつ転送する。これにより、ＣＣＤイメージセンサ１０は、各フォトダイオード１１の有効電荷を混合しないでそれぞれ独立に読み出し、同一フレームにおける有効電荷蓄積期間がＴ１，Ｔ２と異なる、偶数・奇数フィールド信号を出力すことが可能となる。
【００１９】
ＣＣＤイメージセンサ１０から、２つの水平転送レジスタ１３を介して、２ラインに出力されたフィールド信号は、それぞれ相関二重サンプリング（以下、ＣＤＳという）回路２１，２４に供給される。ＣＤＳ回路２１，２４は、ランダム雑音を低減して、フィールド信号をそれぞれ自動利得変換（以下、ＡＧＣという）回路２２，２５に供給する。ＡＧＣ回路２２，２５は、供給されたフィールド信号の歪をなくし、一定の信号レベルとなったフィールド信号をアナログ／ディジタル変換器（以下、Ａ／Ｄ変換器という）２３，２６に供給する。Ａ／Ｄ変換器２３，２６は、フィールド信号をディジタルに変換し、フィールドデータとして記憶部３０に供給する。
【００２０】
記憶部３０は、例えば２つのフィールドメモリ３１，３２で構成され、Ａ／Ｄ変換器２３からのフィールドデータはフィールドメモリ３１に記憶され、Ａ／Ｄ変換器２６からのフィールドデータはフィールドメモリ３２に記憶される。記憶部３０に記憶されたそれぞれのフィールドデータは、メモリコントローラ７４の読出制御に基づき、同時に読み出されるようになっている。
【００２１】
記憶部３０から読み出されたフィールドデータは、それぞれＤ／Ａ変換器４１，４２によりアナログのフィールド信号に変換され、信号合成回路５０に供給される。信号合成回路５０は、供給されたフィールド信号を合成してフレーム信号を生成し、このフレーム信号をプロセス回路６１に供給する。プロセス回路６１は、供給されたフレーム信号に、ブランキング挿入，ガンマ補正，ブラッククリップ等のいわゆるプロセス処理を施した後、出力ドライバ６２を介して、端子６３から画像信号を出力する。
【００２２】
一方、制御部７０は、垂直同期信号ＶＤ及び水平同期信号ＨＤを発生するシグナルジェネレータ７１と、上記同期信号の基づいて読出パルスを発生するタイミングジェネレータ７２と、ＣＣＤイメージセンサ１０に蓄積された電荷の読み出等し等を行うＣＣＤ駆動回路７３と、記憶部３０に記憶されているフィールド信号の読出を制御するメモリコントローラ７４とを備える。
【００２３】
シグナルジェネレータ７１は、例えば内部クロックに基づいて、垂直同期信号ＶＤ及び水平同期信号ＨＤを発生し、これら同期信号をタイミングジェネレータ７２及びメモリコントローラ７４に供給する。
【００２４】
タイミングジェネレータ７２は、例えば垂直同期信号ＶＤが供給されると、水平同期信号ＨＤを所定数カウントした後、読出パルスをＣＣＤ駆動回路７３を介して、ＣＣＤイメージセンサ１０に供給する。
【００２５】
また、メモリコントローラ７４は、例えばシグナルジェネレータ７１からの垂直同期信号ＶＤが供給されると、水平同期信号ＨＤを所定数カウントし、記憶部３０に信号読出パルスを供給し、フィールドメモリ３１，３２内のフィールドデータを同時に読み出している。
【００２６】
以上のように構成されたカメラ装置１では、例えば高輝度の被写体を撮像すると、ＣＣＤイメージセンサ１０からダイナミックレンジを超えたフレーム信号と高輝度部分を大きく圧縮したフレーム信号とが出力され、これらのフレーム信号を合成することにより、例えば高速で移動する高輝度の物体を撮像する。
【００２７】
すなわち、ＣＣＤイメージセンサ１０は、上記シグナルジェネレータ７１により発生する垂直同期信号ＶＤ及び水平同期信号ＨＤに同期して上記タイミングジェネレータ７２で生成する読み出しパルスに応じて駆動するＣＣＤ駆動回路７３により駆動され、上述の図２に示すように同時に露光が開始されたフレームにおいて、例えば偶数フィールドは露光期間Ｔ１で、奇数フィールドは露光期間Ｔ２（＞Ｔ１）で蓄積電荷が読み出され、奇数・偶数フィールド信号を出力する。
【００２８】
ＣＣＤイメージセンサ１０から出力された奇数・偶数フィールド信号は、ＣＤＳ回路２１，２２等を介して記憶部３０に記憶され、上記メモリコントローラ７４の読出制御に基づいて、同時に読み出される。そして、同時に読み出された奇数・偶数フィールド信号は、信号合成回路５０で互いに合成され、フレーム信号として出力される。
【００２９】
したがって、上記カメラ装置１は、図９に示すように、タイミングジェネレータ７２による読出パルスの調整が１Ｈ（約６４μｓ）毎に可能であるとすると、例えばΔＴ＝１０Ｈとおくと、Ｔａ＝１１〜２５０Ｈ、Ｔｂ＝１〜２４０Ｈとなり、露光期間の比はＴａ／Ｔｂ＝１．０４〜１１となる。つまり、上記カメラ装置１は、奇数フォトダイオード１１ａの露光期間と偶数フォトダイオード１１ｂの露光期間との差を１０Ｈに設定すると、ダイナミックレンジを最大で１０倍まで拡大することができる。
【００３０】
また、上記カメラ装置１では、例えば水平転送レジスタ１３ｂから出力されるフレーム信号の露光期間Ｔｂを１Ｈ〜２５０Ｈまで調整可能であるため、例えば図１０に示すように、高輝度の圧縮をほぼ連続的に１〜数千分の１倍、すなわちダイナミックレンジを数千倍にまで拡大することができる。
【００３１】
さらに、カメラ装置１は、露光開始の時間が異なるフィールド信号を合成してフレーム信号を出力するのではなく、上述の図２に示すように、露光開始の時間が同一であって１フィールド期間で１フレーム信号を出力しているため、比較的高速で移動する物体を撮像してもで画質の良好な画像信号を提供することができる。
【００３２】
つぎに、本発明に係る固体撮像装置の第２の実施の形態について、図１１を参照しながら詳細に説明する。なお、第１の実施の形態に係る回路等と同一のものには同一の符号を付し、詳細な説明は省略する。
【００３３】
第２の実施の形態に係るカメラ装置２は、上記カメラ装置１では記憶部３０から読み出されたフィールドデータをアナログに変換して信号合成回路５０でフレーム信号に合成していたが、例えば図１１に示すように、記憶部３０から読み出されたフレームデータをそのままディジタル信号処理回路（以下、ＤＳＰ回路という）５１において合成するようになっている。
【００３４】
すなわち、上記ＤＳＰ回路を有するカメラ装置２は、有効電荷の蓄積を同時に行い、有効電荷の読み出すタイミングが異なる２つのフィールド信号を、２ラインに全画素出力するＣＣＤイメージセンサ１０と、ＣＣＤイメージセンサ１０からの２つのフィールド信号を記憶する記憶部３０と、記憶部３０から読み出された２つのフィールドデータを一のフレームデータに合成等するディジタル信号処理回路５１と、ＣＣＤイメージセンサ１０に蓄積された上記有効電荷の読み出すタイミングを制御し、また、記憶部３０に記憶された２つのフィールド信号を、フレーム毎に同時に読み出す制御をする制御部７０とを備える。
【００３５】
このように構成されたカメラ装置２では、ＣＣＤイメージセンサ１０から出力された奇数・偶数フィールド信号は、ＣＤＳ回路２１，２４等を介して記憶部３０に供給される。記憶部３０に記憶された上記フィールドデータは、メモリコントローラ７４の読出制御により、それぞれ同時に読み出される。記憶部３０から読み出されたフィールドデータは、ＤＳＰ回路５１に供給され、例えばそれぞれ供給されたフィールドデータをフレームデータに合成する一方、ガンマ補正，輪郭補正，レンズムラや暗部信号レベルムラを補正するシェーディング補正，エンコーダ，オートアイリス等のレベル検出等のディジタル処理が施される。そして、記憶部３０から読み出されたフレームデータは、Ｄ／Ａ変換器５２でアナログに変換され、出力ドライバ６２，端子６３を介して外部に出力される。
【００３６】
すなわち、カメラ装置２は、ＤＳＰ回路５１により、ダイナミックレンジの拡大が可能となるだけではなく、記憶部３０から出力されるフィールドデータをそのままディジタル処理することができるため、プロセス処理では厳格に行うことができない例えばガンマ補正等の安定度・均一性を格段に向上することができる。
【００３７】
つぎに、本発明に係る固体撮像装置の第３の実施の形態について、詳細に説明する。なお、第１，第２の実施の形態に係る回路等と同一のものには同一の符号を付し、詳細な説明は省略する。
【００３８】
第３の実施の形態に係るカメラ装置は、上記カメラ装置１，２では上記記憶部３０が２つのフィールドメモリ３１，３２を用いることにより時間差が生じて供給された奇数・偶数フィールド信号を同時に読み出していたが、例えばフィールドメモリ３１を取り除いて構成されている。
【００３９】
具体的には、上記カメラ装置１からフィールドメモリ３１を除いたカメラ装置は、有効電荷の蓄積を同時に行い、有効電荷の読み出すタイミングが異なる２つのフィールド信号を、２ラインに全画素出力するＣＣＤイメージセンサ１０と、ＣＣＤイメージセンサ１０からの１つのフィールド信号を記憶する記憶部３０と、記憶部３０からの２つのフィールド信号を１フレーム信号に合成する信号合成回路５０と、ＣＣＤイメージセンサ１０に蓄積された上記有効電荷の読み出すタイミングを制御し、また、記憶部３０に記憶された一のフィールド信号を、ＣＣＤイメージセンサ１０から出力された他のフィールド信号と同期して読み出す制御をする制御部７０とを備える。
【００４０】
このように構成されたカメラ装置では、ＣＣＤイメージセンサ１０から出力されたフィールド信号は、ＣＤＳ回路２１，２４等を介して記憶部３０に供給される。ここで、例えば水平転送レジスタ１３ｂから出力されるフィールド信号は、水平転送レジスタ１３ａから出力されるフィールド信号に比べてΔＴだけ早く読み出され、フィールドメモリ３２に記憶される。フィールドメモリ３２は、メモリコントローラ７４の読出制御に基づいて、水平転送レジスタ１３ａから出力されるフィールド信号に同期して、記憶されているフィールド信号を読み出す。そして、信号合成回路５０には、奇数・偶数フィールド信号が同時に供給され、フレーム信号の合成処理が施される。
【００４１】
すなわち、上記カメラ装置は、ダイナミックレンジの拡大を可能とするだけではなく、記憶部３０におけるフィールドメモリが１つで済むため、コストの削減及び軽量化を図ることが可能となる。
【００４２】
つぎに、本発明に係る固体撮像装置の第４の実施の形態について、図１２を参照しながら詳細に説明する。なお、第１の実施の形態に係る回路等と同一のものには同一の符号を付し、詳細な説明は省略する。
【００４３】
第４の実施の形態に係るカメラ装置４は、上記カメラ装置１等のようにフィールドメモリを設けてないが、各フィールド信号が同時に信号合成回路５０に供給されるようになっている。
【００４４】
カメラ装置４は、図１２に示すように、有効電荷の蓄積を同時に行い、有効電荷の読み出すタイミングが異なる２つのフィールド信号を、それぞれ２つの水平転送レジスタを介して、２ライン同時に全画素出力するＣＣＤイメージセンサ１０ａと、ＣＣＤイメージセンサ１０ａに蓄積された上記有効電荷の読み出すタイミングを制御する制御部８０と、上記２ラインに出力されたフィールド信号をフレーム信号に合成する信号合成回路５０とを備える。
【００４５】
ＣＣＤイメージセンサ１０ａは、上述のＣＣＤイメージセンサ１０の水平転送レジスタ１３ａと水平転送レジスタ１３ｂの間に露光期間の短い有効電荷を一時保管するための蓄積用ＣＣＤ１４を設け、水平転送レジスタ１３ａ及び水平転送レジスタ１３ｂからフィールド信号が同時に出力されるようになっている。
【００４６】
このように構成されたカメラ装置４では、ＣＣＤイメージセンサ１０ａから２ラインに出力されたフィールド信号は、ＣＤＳ回路２１，２４等を介して、信号合成回路５０に供給される。信号合成回路５０は、奇数・偶数フィールド信号が同時に供給され、フレーム信号の合成処理がなされる。そして、フレーム信号は、プロセス回路６１，出力ドライバ６２を介して、端子６３から出力される。
【００４７】
すなわち、カメラ装置４は、ダイナミックレンジの拡大を可能とすることだけではなく、フィールド信号を一度記憶しておくフィールドメモリを全く必要としないので、本体の軽量化を図ることができ、コストの削減にも寄与する。
【００４８】
以上詳細に説明したように、本発明に係る技術的思想は、同一フレームにおける露光期間の異なる２つのフィールド信号を合成することにより、固体撮像素子のダイナミックレンジを拡大することにある。従って、当該技術的思想を逸脱しない範囲であれば、上述の実施の形態にとらわれず回路構成の変更等が可能であるのは勿論である。
【００４９】
【発明の効果】
以上詳細に説明したように、本発明に係る固体撮像装置によると、同一フレームにおける露光時間の異なる２つのフィールド信号をそれぞれ一のフレーム信号に合成することにより、露光間の長いフレーム信号がダイナミックレンジを超えても、露光期間の短いフレーム信号により高輝度の信号レベルを補うことができ、固体撮像素子のダイナミックレンジを拡大することができる。
【００５０】
また、上記固体撮像装置は、１フィールド期間で一のフレーム信号を得ることができるため、比較的高速で動く被写体を撮像しても画質の良い画像信号を出力することができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置を適用したカメラ装置の具体的な構成を示すブロック図である。
【図２】同カメラ装置に組み込まれたＣＣＤイメージセンサの構成を説明するための図である。
【図３】同ＣＣＤイメージセンサが出力するフィールド信号を説明するためのタイミングチャートである。
【図４】同ＣＣＤイメージセンサに蓄積された有効電荷の状態を説明するための図である。
【図５】同ＣＣＤイメージセンサに蓄積された有効電荷の状態を説明するための図である。
【図６】同ＣＣＤイメージセンサに蓄積された有効電荷の状態を説明するための図である。
【図７】同ＣＣＤイメージセンサに蓄積された有効電荷の状態を説明するための図である。
【図８】同ＣＣＤイメージセンサに蓄積された有効電荷の状態を説明するための図である。
【図９】同ＣＣＤイメージセンサの露光期間とダイナミックレンジとの関係を説明するための図である。
【図１０】同ＣＣＤイメージセンサの露光期間とダイナミックレンジとの関係を説明するための図である。
【図１１】他の実施の形態に係るカメラ装置の具体的な構成を示すブロック図である。
【図１２】他の実施の形態に係るカメラ装置の具体的な構成を示すブロック図である。
【図１３】ニー処理を施して固体撮像素子のダイナミックレンジを拡大したときの状態を説明するための図である。
【符号の説明】
１０ ＣＣＤイメージセンサ
３０ 記憶部
５０ 信号合成回路
７０ 制御部

Claims (3)

1. 有効電荷の蓄積を同時に開始し、蓄積した有効電荷を垂直転送レジスタに読み出すタイミングが異なる２つのフィールド信号を、水平転送レジスタを介して、全画素出力する固体撮像素子と、
   上記固体撮像素子から出力された２つのフィールド信号が同じタイミングで読み出されるように、少なくとも１つのフィールド信号の遅延を施す遅延手段と、
   上記固体撮像素子に蓄積された上記有効電荷を垂直転送レジスタに読み出すタイミングを制御し、また、上記遅延手段によって上記少なくとも１つのフィールド信号の遅延するタイミングを制御する制御手段と、
   上記２つのフィールド信号をフレーム信号に合成する信号合成手段とを備えることを特徴とする固体撮像装置。
2. 上記遅延手段は、上記固体撮像素子に内蔵され、上記制御手段は、上記固体撮像素子から上記２つのフィールド信号が同時に出力するように、上記固体撮像素子の出力のタイミングを制御することを特徴とする請求項１記載の固体撮像装置。
3. 上記遅延手段は、上記固体撮像素子の外部に設けられた、少なくとも１つのフィールド信号を記憶するフィールドメモリであり、制御手段は、上記フィールドメモリからフィールド信号を読み出すタイミングを制御することを特徴とする請求項１記載の固体撮像装置。

Images