JP3847389B2

JP3847389B2 - Imaging device

Info

Publication number: JP3847389B2
Application number: JP31096396A
Authority: JP
Inventors: 英寿福田; 修稲垣; 実柿沼
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1996-11-21
Filing date: 1996-11-21
Publication date: 2006-11-22
Anticipated expiration: 2016-11-21
Also published as: JPH10155112A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、詳しくは、固体撮像素子を用いたダイナミックレンジが広くとれる撮像装置に関する。
【０００２】
【従来の技術】
従来、一般にテレビカメラ等の撮像装置において、撮像ダイナミックレンジ（撮像することができる輝度範囲）の上限は撮像素子の飽和レベル、下限は撮像素子及び周辺回路のノイズレベルで決定している。この撮像ダイナミックレンジは一般に被写体の輝度範囲よりも狭いため、高輝度部分での白とびや低輝度部分の黒つぶれが生じてしまう。
【０００３】
このような問題を解決する方法として、例えば、特開昭５７−３９６７３号公報には以下に示す技術手段が開示されている。すなわち、シャッタースピードの制御あるいはＮＤフィルタ等によって撮像素子の露光量を変化させ、得られた露光量の異なる２つの画像を合成することによって撮像ダイナミックレンジを拡大する技術手段が開示されている。
【０００４】
また、特開平７−７５０２６号公報には、光量の異なる２つ以上の画像を合成して得られる広ダイナミックレンジ信号の接続点における特性を適正にする技術手段が開示されている。
【０００５】
一方、広ダイナミックレンジ信号を圧縮するために、図１６に示すようなｋｎｅｅ特性を持たせる技術手段が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特開昭５７−３９６７３号公報、特開平７−７５０２６号公報において開示された技術手段には、接続点でノイズレベルが急激に変化するという問題については考慮されていない。露光量の異なる２つの画像を合成する際、図１５に示すように露光量の少ない画像信号に露光量の多い画像信号との露光量比を掛けるためノイズも同時に増幅される。
【０００７】
たとえば、露光量をシャッタースピードが１／６０秒と１／２０００秒で撮影した画像を合成する場合には、シャッタースピードが１／２０００秒の信号を３２倍に増幅して合成するが、ノイズレベルも３２倍に増幅される。実際に撮像する画像のダイナミックレンジがさほど広くない場合であってもノイズレベルが３２倍に増幅されるため、接続点でノイズレベルが急激に大きくなり画質が著しく低下してしまう。この問題は撮像ダイナミックレンジを拡大するために露光量比を大きくするほど顕著になる。
【０００８】
一方、露光量の異なる２つの画像を合成する方法として、図１６に示した、合成した広ダイナミックレンジ信号にｋｎｅｅ特性を持たせる方法においては、ｋｎｅｅ特性を実現するために露光量の異なる２つの画像信号を加算してもよいが、Ｓ／Ｎが約３ｄＢ劣化するため、露光量の異なる２つの画像信号を切り換えることが望ましい。例えば、露光量をシャッタースピードが１／６０秒と１／２０００秒に固定して撮影した画像を合成した場合を考える。実際に撮像する被写体のダイナミックレンジがさほど広くなく、高速シャッタースピードの適正値が例えば１／２００秒の場合であっても１／２０００秒に固定しているため、高輝度部のコントラストが必要以上に低い画像になってしまう。
【０００９】
本発明はかかる問題点に鑑みてなされたものであり、露光量の異なる複数の画像を合成することによって撮像ダイナミックレンジを拡大する撮像装置において、接続点におけるノイズレベルの増加を最小にすることを第１の目的とする。
【００１０】
さらに、本発明は、露光量の異なる２つの画像を合成することによって撮像ダイナミックレンジを拡大する撮像装置において、実際に撮像する被写体のダイナミックレンジに応じて、高輝度部のコントラスト低下を最小にすることを第２の目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため本発明の第１の撮像装置は、撮像手段と、
該撮像手段の出力信号のレベルを検出する検出手段と、
該検出手段の検出出力に基づいて、第１の信号蓄積時間で上記撮像手段によって撮像した出力信号が飽和レベルになるように当該第１の信号蓄積時間を決定する決定手段と、
上記第１の信号蓄積時間で露光された第１の画像信号と上記第１の信号蓄積時間より長い第２の信号蓄積時間で撮像された第２の画像信号とを合成する合成手段と、
を具備している。
【００１２】
本発明の第２の撮像装置は、上記第１の撮像装置において、上記検出手段は、上記撮像手段の出力信号の最大値が飽和レベルに達したかを検出し、
上記決定手段は、上記撮像手段の出力信号の最大値が飽和レベルに達したときに上記第１の信号蓄積時間を短くして、上記撮像信号の出力信号の最大値が飽和レベルに達していないときに上記第１の信号蓄積時間を長くすることで、上記第１の信号蓄積時間で撮像した出力信号が飽和レベルになるように当該第１の信号蓄積時間を決定する。
【００１３】
上記の目的を達成するために本発明の第３の撮像装置は、上記第１の撮像装置において、上記撮像手段は、非破壊読み出し可能な撮像素子であることを特徴とする。
【００１４】
上記第１の撮像装置は、撮像手段の出力信号のレベルを検出手段で検出し、該検出手段の検出出力に基づいて、第１の信号蓄積時間で上記撮像手段によって撮像した出力信号が飽和レベルになるように当該第１の信号蓄積時間を決定手段で決定する。そして、上記第１の信号蓄積時間で撮像された第１の画像信号と上記第１の信号蓄積時間より長い第２の信号蓄積時間で撮像された第２の画像信号とを合成手段で合成する。
【００１５】
上記第２の撮像装置は、上記第１の撮像装置において、上記検出手段は、上記撮像手段の出力信号の最大値が飽和レベルに達したかを検出し、上記決定手段は、上記撮像手段の出力信号の最大値が飽和レベルに達したときに上記第１の信号蓄積時間を短くして、上記撮像手段の出力信号の最大値が飽和レベルに達していないときに上記第１の信号蓄積時間を長くすることで、上記第１の信号蓄積時間で撮像した出力信号が飽和レベルになるように当該第１の信号蓄積時間を決定する。
【００１６】
上記第３の撮像装置は、上記第１の撮像装置において、上記撮像手段は、非破壊読み出し可能な撮像素子である。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１８】
図１は、本発明の第１の実施形態である撮像装置の構成を示したブロック図である。
【００１９】
図に示すように、この第１の実施形態の撮像装置は、非破壊読み出し可能な撮像素子１と、後述する最大値検出回路７からの信号に基づき上記撮像素子１を制御する撮像素子駆動回路２（ＴＧ）と、上記撮像素子１からの出力信号をＡ／Ｄ変換するまでのアナログ回路３と、該アナログ回路３からのアナログ信号をＡ／Ｄ変換するＡ／Ｄ変換器４と、このＡ／Ｄ変換器４からの信号により露光量の異なる２つの画像信号のタイミングを一致させる同時化回路５と、この同時化回路５からの露光量の異なる２つの画像信号を合成する合成回路６と、上記同時化回路５から出力される信号を入力し、該入力信号の最大値検出結果に応じて上記撮像素子駆動回路２，同時化回路５，合成回路６に対して制御信号を出力する最大値検出回路７と、上記合成回路６からの信号を階調変換する階調変換回路８と、この階調変換回路８からのデジタル信号をＤ／Ａ変換し外部装置に出力するＤ／Ａ変換器９とを備えている。
【００２０】
次に、本実施形態の動作を簡単に説明する。図１に示すように、撮像素子１は撮像素子駆動回路２（ＴＧ）によって露光時間が異なる２つの画像が得られるように駆動される。そして、撮像素子１から出力される、結像した画像に応じた信号は、アナログ回路３で適正に増幅された後、Ａ／Ｄ変換器４でデジタル信号に変換される。デジタル信号に変換された信号は、同時化回路５で露光量の異なる２つの画像信号（長時間露光信号、短時間露光信号）に分離されると共にそのタイミングが同時化された後出力される。そして、この後、合成回路６で広ダイナミックレンジ信号が合成される。上記広ダイナミックレンジ信号は階調変換回路８で階調変換され、Ｄ／Ａ変換器９からビデオ信号として出力される。
【００２１】
次に、本実施形態の撮像装置の主要動作を図２に示すタイミングチャートを参照して説明する。図２は、本実施形態の撮像装置において、信号電荷蓄積から合成回路６までの動作タイミングを示したタイミングチャートである。
【００２２】
図２（ａ）は、垂直同期信号（ＶＤ）を示している。また、図２（ｂ）は撮像素子１の蓄積電荷の信号レベルの時間的推移を示している。この図２（ｂ）においては、Ｓi (i=0,1,2,…)は短時間露光信号に対応する画像信号を読み出すタイミングを表し、Ｌi (i=0,1,2,…)は長時間露光信号に対応する画像信号を読み出すタイミングを表している。ここで、Ｓi のタイミングにおいては、画像信号は非破壊で読み出され、Ｌi において画像信号が読み出された直後に画像信号は初期値にリセットされ再び信号の蓄積を開始し、同様の動作を繰り返す。
【００２３】
上記同時化回路５においては、上記において撮像素子１から出力された画像信号Ｓi ，Ｌi を入力し、図２（ｃ），（ｄ）に示すようにＳi ，Ｌi を同期化する。たとえば、図２（ｂ）の画素信号蓄積のタイミングＳ2 ，Ｌ2 を含む区間においてはその前に蓄積されＳ1 ，Ｌ1 で出力された画像信号が同時化される。そして、合成回路６においては、図２（ｅ）に示すように上記同時化された画像信号が合成される。なお、図２（ｃ），（ｄ），（ｅ）には、便宜上Ｓi ，Ｌi のタイミングで読み出された画像信号を同符号で示している。
【００２４】
図３は、本実施形態における非破壊読み出しのタイミングを示した線図であり、図４は、本実施形態における上記合成回路６の特性を示した線図である。なお、これら図３，図４に示す特性は、信号蓄積時間が１／６０秒、１／２００秒、１／２０００秒のときの特性をそれぞれ（ａ）,（ｂ）,（ｃ）で示しており、共に５０ｄＢのダイナミックレンジを持つものとする。
【００２５】
図４に示すように、合成回路６では信号蓄積時間が１／６０秒と１／２００秒に対応する信号、すなわち（ａ）と（ｂ）、あるいは信号蓄積時間が１／６０秒と１／２０００秒に対応する信号、すなわち（ａ）と（ｃ）を合成する。そして、信号蓄積時間１／６０秒に対応する信号（ａ）と１／２０００秒に対応する信号（ｃ）とを合成する場合には（ａ）が飽和したときに（ｃ）を、１／６０秒と１／２０００秒の比、すなわち約３２倍に増幅して用いることにより、８０ｄＢのダイナミックレンジを得ることができるようになっている。しかしながら、接続点ではノイズレベルも急激に３２倍も大きくなってしまい、画質を劣化させる虞がある。
【００２６】
一方、信号蓄積時間１／６０秒に対応する信号（ａ）と１／２００秒に対応する信号（ｂ）とを合成した場合には、ダイナミックレンジは６０ｄＢとあまり大きく拡大されないが接続点でのノイズレベルは約３倍にしかならないため画質上殆ど問題にならない。
【００２７】
本実施形態ではかかる事情を考慮し、最大値検出回路７において信号蓄積時間が短い方の信号の最大値を検出し、最大値が飽和レベルに達したならば信号蓄積時間を短くし、最大値が飽和レベルに達していないならば信号蓄積時間を長くする制御信号を撮像素子駆動回路２に出力するようにしている。
【００２８】
具体的な制御方法としては、たとえば、最大値検出回路７は最大値が飽和レベルに達したならば“１”、達していないならば“０”を出力する。ここで、“１”ならばＴＧは露光量を所定量だけ少なくするために露光時間を所定時間短くする。また、“０”ならば露光量が所定量だけ多くするために露光時間を所定時間長くする。すなわち、上記最大値検出回路７の出力に応じてどれだけ露光量を多くしたり少なくするかにより、露光量が最適値に収束するまでの時間が決まる。
【００２９】
なお、上記露光量の制御は非破壊読み出し可能な撮像素子１の出力信号を１フィールド期間内で逐次読み出しつつリアルタイムで制御しても良いし、通常のＣＣＤ等の撮像素子では複数フィールドの信号を読み出し上記のような露光制御を行っても良い。
【００３０】
上記撮像素子駆動回路２は上記制御信号に従って、信号蓄積時間が短い方の信号がちょうど飽和レベルになるように信号蓄積時間を制御する。また、最大値検出回路７は、信号蓄積時間によって信号出力のタイミングが変化するため同時化回路５、信号蓄積時間によって信号蓄積時間の比すなわち信号蓄積時間が短い方の信号に対する利得が異なるため合成回路６に対しても制御信号を出力する。
【００３１】
また、上記撮像素子駆動回路２は、信号蓄積時間が短い方の信号の最大値が飽和しない範囲で信号蓄積時間ができるだけ長くなるように制御されるので、２つの画像を合成する時に信号蓄積時間が短い方の画像信号に掛ける露光量の比を最小にすることが可能となり、ノイズ成分を必要最小限に抑えることができる。
【００３２】
次に、本発明の第２の実施形態について説明する。
【００３３】
図５は、本発明の第２の実施形態である撮像装置の構成を示したブロック図である。
【００３４】
図に示すように、この第２の実施形態の撮像装置は、ＣＣＤ等の撮像素子１と、後述する最大値検出回路７からの信号に基づき上記撮像素子１を制御する撮像素子駆動回路２（ＴＧ）と、上記撮像素子１からの出力信号をＡ／Ｄ変換するまでのアナログ回路３と、該アナログ回路３からのアナログ信号をＡ／Ｄ変換するＡ／Ｄ変換器４と、このＡ／Ｄ変換器４からの信号により露光量の異なる２つの画像信号のタイミングを一致させる同時化回路５と、この同時化回路５からの露光量の異なる２つの画像信号を合成する合成回路６と、上記同時化回路５から出力される信号を入力し、該入力信号の最大値検出結果に応じて上記撮像素子駆動回路２，合成回路６に対して制御信号を出力する最大値検出回路７と、上記合成回路６からの信号を階調変換する階調変換回路８と、この階調変換回路８からのデジタル信号をＤ／Ａ変換し外部装置に出力するＤ／Ａ変換器９とを備えている。
【００３５】
すなわち、本第２の実施形態は、上記第１の実施形態に対して、撮像素子１の構成と、最大値検出回路７の出力信号により制御されるブロックが異なっている。
【００３６】
次に、本実施形態の撮像装置の主要動作を図６に示すタイミングチャートおよび図７を参照して説明する。図６は、本第２の実施形態の撮像装置において、信号電荷蓄積から合成回路６までの動作タイミングを示したタイミングチャートであり、図７は、本実施形態の撮像装置において、撮像素子駆動回路２の制御を受けた撮像素子１内の電荷蓄積の様子を示した説明図である。
【００３７】
まず、図６に示すタイミングチャートを参照して信号電荷蓄積から合成回路６までの動作を説明する。
【００３８】
垂直同期信号（ａ）、長時間露光信号（ｃ）と短時間露光信号（ｄ）および合成画像（ｅ）の生成については、上記第１に実施形態（図２に示すタイミングチャート参照）の場合と基本的には同様であるので、ここでの詳しい説明は省略する。
【００３９】
本第２の実施形態においては、図６に示すように、信号蓄積時間（ｂ）の生成方法が上記第１の実施形態と異なっている。すなわち、図６においては、（ｂ）に示すように長時間露光に対応する信号Ｌi (i=0,1,2,…)は通常のフィールド期間内で露光され、短時間露光信号に対応する信号Ｓi (i=0,1,2,…)は、垂直ブランキング期間で露光される。
【００４０】
次に、図７を参照して上述したように露光された長時間露光信号及び短時間露光信号の撮像素子１内における電荷蓄積と転送の動作について説明する。
【００４１】
図７において、(1),(3)は、通常のフィールド期間に蓄積された信号の蓄積及び転送動作を示す。図７(1)においてＰＤ１，ＰＤ３の画素に蓄積された信号は垂直転送路（以下、「ＶＣＣＤ」と呼称する）に転送される。次に、上記ＶＣＣＤに転送された信号は垂直方向に１画素分シフトされる（図７(2)）。次に、ＰＤ２，ＰＤ４の画素に蓄積された信号は上記図７(1)と同様にＶＣＣＤに転送されることにより上記ＰＤ１の画素の信号と上記ＰＤ２の画素の信号及び上記ＰＤ３の画素の信号と上記ＰＤ４の画素の信号が加算される（図７(3)）。
【００４２】
次に、垂直ブランキングの期間で蓄積された画素ＰＤ１，ＰＤ３の信号がＶＣＣＤに転送される（図７(4)）。次に、図７(2)と同様に上記ＶＣＣＤに転送された信号は垂直方向に１画素分転送される（図７(5)）。次に、図７(3)と同様にして上記ＰＤ１の画素の信号と上記ＰＤ２の画素の信号及び上記ＰＤ３の画素の信号と、上記ＰＤ４の画素の信号が加算される（図７(6)）。
【００４３】
上述した動作により上記ＶＣＣＤには、２つの画素の信号が加算された通常のフィールド期間で蓄積された長時間露光信号と垂直ブランキング期間で蓄積された短時間露光信号が交互に転送され、図示しない周知の方法により水平転送路（ＨＣＣＤ）に転送されることにより、信号が読み出される。
【００４４】
ところで、上述したようにして、撮像素子１から出力される結像した画像に応じた信号をアナログ回路３で適当に増幅してＡ／Ｄ変換器４でデジタル信号に変換する。デジタル信号に変換された信号を同時化回路５で露光量の異なる２つの画像信号に分離すると共にそのタイミングを一致させ、合成回路６で広ダイナミックレンジ信号を合成する。広ダイナミックレンジ信号を階調変換回路８で適当に階調変換し、Ｄ／Ａ変換器９からビデオ信号を出力する。
【００４５】
図８は、本第２の実施形態における撮像素子１の読み出しのタイミングを示した線図であり、図９は、本第２の実施形態における上記合成回路６の特性を示した線図である。なお、これらの図８，図９において、符号（ａ），（ｂ），（ｃ）は、それぞれ、信号蓄積時間が１／６５秒、１／１０００秒、１／２０００秒のときの特性を示す。
【００４６】
本第２の実施形態においては、露光量の異なる２つの画像に対して、図９に示すように合成した信号に光量対出力特性の傾きを変える、いわゆるｋｎｅｅ特性を持たせている。なお、該ｋｎｅｅ特性を実現するために露光量の異なる２つの画像信号を単純に加算してもよいが、低輝度部のＳ／Ｎ比が劣化するため露光量の異なる２つの画像信号を切り換えることが望ましい。この点を考慮し本実施形態では信号蓄積時間が長い方の信号が飽和したときに信号蓄積時間が短い方の信号をレベルシフトして加算することで低輝度部のＳ／Ｎ比の劣化を防止している。
【００４７】
また、最大値検出回路７で信号蓄積時間が短い方の信号の最大値を検出し、最大値が飽和レベルに達したならば信号蓄積時間を短くし、最大値が飽和レベルに達していないならば信号蓄積時間を長くする制御信号を撮像素子駆動回路２に出力する。撮像素子駆動回路２は該制御信号に従って、信号蓄積時間が短い方の信号がちょうど飽和レベルになるように信号蓄積時間を制御する。また、最大値検出回路７は、信号蓄積時間によって合成時のレベルシフト量が異なるため合成回路６に対しても制御信号を出力する。
【００４８】
このように、上記撮像素子駆動回路２は、信号蓄積時間が短い方の信号の最大値が飽和しない範囲で信号蓄積時間ができるだけ長くなるように制御されるので、２つの画像を合成したときの高輝度部のコントラスト低下を最小にすることができる。
【００４９】
なお、この第２の実施形態における各構成要素は、各種の変形、変更が可能である。例えば、本実施形態においては、上記撮像素子１はＣＣＤにより構成しているが、上記第１の実施形態と同様に非破壊読み出しが可能な撮像素子を採用してもよい。本実施形態では、信号蓄積時間が短い信号を垂直ブランキング期間で得ているため、最大でも１／８００秒程度である。非破壊読み出しが可能な撮像素子であれば信号蓄積時間が短い方の信号蓄積時間を最大約１／６０秒まで設定できるのでより大きな効果が得られる。
【００５０】
また、露光量の異なる２つの画像をｋｎｅｅ特性を持たせて合成した場合には、高輝度部のコントラスト低下を最小にすることができる。
【００５１】
次に、本発明の第３の実施形態について説明する。
【００５２】
図１０は、本発明の第３の実施形態である撮像装置の構成を示したブロック図である。
【００５３】
この第３の実施形態の撮像装置は、その基本的な構成は上記第１の実施形態と同様であり、第１の実施形態では露光量の異なる２つの画像を合成しているのに対して、本第３の実施形態では３つ以上の複数の画像（本実施形態では４つ）を合成している点のみが異なっている。すなわち、これに伴って、同時化回路５は露光量の異なる４つの画像信号のタイミングを一致させ、合成回路６は露光量の異なる４つの画像信号を合成するようになっている。その他の構成は、上記第１の実施形態と同様であり、また、動作タイミングも第１の実施形態と同様であるので、ここでの詳しい説明は省略する。
【００５４】
次に、本第３の実施形態の撮像装置の主要動作を図１１，図１２を参照にして説明する。
【００５５】
図１１は、本実施形態における非破壊読み出しのタイミングを示した線図であり、図１２は、本実施形態における上記合成回路６の特性を示した線図である。なお、これら図１１，図１２に示す特性は、信号蓄積時間が１／６０秒、１／２５０秒、１／１０００秒、１／４０００秒のときの特性をそれぞれ（ａ）,（ｂ）,（ｃ），（ｄ）で示しており、共に５０ｄＢのダイナミックレンジを持つものとする。
【００５６】
また、上記信号蓄積時間（ｂ）、（ｃ）、（ｄ）はそれぞれ（ａ）から光量に対して１２ｄＢ、２４ｄＢ、３６ｄＢシフトした特性になる。合成回路６では光量が０〜５０ｄＢまでは（ａ）、５０〜６２ｄＢまでは（ｂ）を１／６０秒と１／２５０秒の比すなわち約４倍に増幅して用い、６２〜７４ｄＢまでは（ｃ）を１／６０秒と１／１０００秒の比すなわち約１６倍に増幅して用い、７４〜８６ｄＢまでは（ｄ）を１／６０秒と１／４０００秒の比すなわち約６４倍に増幅して用いることで８６ｄＢの広ダイナミックレンジ信号を得ている。そして、４つの画像を合成することで、２つの画像の合成では実現不可能なダイナミックレンジの拡大が可能になる。
【００５７】
また、撮影する被写体のダイナミックレンジがあまり広くない場合には、最大値検出回路７で信号蓄積時間が最も短い信号の最大値を検出し、最大値が飽和レベルに達したならば信号蓄積時間を短くし、最大値が飽和レベルに達していないならば信号蓄積時間を長くするように非破壊読み出しタイミングの制御する制御信号を撮像素子駆動回路２に出力する。撮像素子駆動回路２は制御信号に従って、信号蓄積時間が最も短い信号がちょうど飽和レベルになるように信号蓄積時間を制御する。信号蓄積時間が１／６０秒と最も短い信号との間の非破壊読み出しは対数的に間隔がほぼ同じになるように決定する。
【００５８】
例えば被写体のダイナミックレンジが７０ｄＢ程度のときには、図１３のような非破壊読み出しのタイミングで信号を読み出す。このときの合成回路６の特性を図１４に示す。図中、符号（ａ）、（ｂ）、（ｃ）、（ｄ）はそれぞれ信号蓄積時間が１／６０秒、１／１２０秒、１／２５０秒、１／５００秒であり、５０ｄＢのダイナミックレンジを持つものとする。（ｂ）、（ｃ）、（ｄ）はそれぞれ（ａ）から光量に対して６ｄＢ、１２ｄＢ、１８ｄＢシフトした特性になる。合成回路６では光量が０〜５０ｄＢまでは（ａ）、５０〜５６ｄＢまでは（ｂ）を１／６０秒と１／１２０秒の比すなわち約２倍に増幅して用い、５６〜６２ｄＢまでは（ｃ）を１／６０秒と１／２５０秒の比すなわち約４倍に増幅して用い、６２〜６８ｄＢまでは（ｄ）を１／６０秒と１／５００秒の比すなわち約８倍に増幅して用いることで６８ｄＢのダイナミックレンジ信号を得る。
【００５９】
このように、本実施形態では、撮像素子駆動回路２は、信号蓄積時間が短い方の信号の最大値が飽和しない範囲で信号蓄積時間ができるだけ長くなるように制御されるので、画像を合成する際に信号蓄積時間が短い非破壊読み出し信号に掛ける露光量の比を最小にすることが可能となり、ノイズ成分を必要最小限に抑えることができる。
【００６０】
なお、本実施形態は合成回路６で光量に対して出力が線形になるように合成しているが、ｋｎｅｅ特性を数段階持たせた特性で合成してもよく、その場合には高輝度部のコントラスト低下を最小に抑えるという効果が得られる。
【００６１】
このように、本第３の実施形態は、撮像手段と、この撮像手段から複数の異なる露光量の画像を読み出す制御手段と、得られた複数の画像を合成する合成手段とを備え、上記制御手段は撮像信号に応じて上記撮像手段の信号蓄積時間を可変するように制御することを特徴とする。すなわち、上記制御手段は撮像手段に応じて、該撮像手段が飽和しない範囲で露光量ができるだけ多くなるように制御するので、ノイズ成分を必要最小限に抑えたＳ／Ｎ比が良好な画像を得ることができる。
【００６２】
【発明の効果】
以上説明したように請求項１に記載の発明によれば、露光量の異なる複数の画像を合成することによって撮像ダイナミックレンジを拡大する撮像装置において、ノイズレベルの増加を最小にすることができる。
【００６３】
また、請求項２に記載の発明によれば、露光量の異なる２つの画像を合成することによって撮像ダイナミックレンジを拡大する撮像装置において、実際に撮像する被写体のダイナミックレンジに応じて、高輝度部のコントラスト低下を最小にすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である撮像装置の構成を示したブロック図である。
【図２】上記第１の実施形態の撮像装置において、信号電荷蓄積から合成回路までの動作タイミングを示したタイミングチャートである。
【図３】上記第１の実施形態の撮像装置における、撮像素子の非破壊読み出しのタイミングを示した線図である。
【図４】上記第１の実施形態の撮像装置における、合成回路の特性を示した線図である。
【図５】本発明の第２の実施形態である撮像装置の構成を示したブロック図である。
【図６】上記第２の実施形態の撮像装置において、信号電荷蓄積から合成回路までの動作タイミングを示したタイミングチャートである。
【図７】上記第２の実施形態の撮像装置において、撮像素子駆動回路の制御を受けた撮像素子内の電荷蓄積の様子を示した説明図である。
【図８】上記第２の実施形態の撮像装置における撮像素子の読み出しのタイミングを示した線図である。
【図９】上記第２の実施形態の撮像装置における合成回路の特性を示した線図である。
【図１０】本発明の第３の実施形態である撮像装置の構成を示したブロック図である。
【図１１】上記第３の実施形態の撮像装置における、撮像素子の非破壊読み出しのタイミングを示した線図である。
【図１２】上記第３の実施形態の撮像装置における、合成回路の特性を示した線図である。
【図１３】上記第３の実施形態の撮像装置における、撮像素子の非破壊読み出しのタイミングの他の例を示した線図である。
【図１４】上記図１３に示した第３の実施形態の撮像装置における、合成回路の特性の他の例を示した線図である。
【図１５】従来の撮像装置において、露光量の異なる２つの画像を合成する際の光量と出力の関係の一例を示した線図である。
【図１６】従来の撮像装置において、露光量の異なる２つの画像を合成する際、合成した信号にｋｎｅｅ特性を持たせた場合の、光量と出力の関係の一例を示した線図である。
【符号の説明】
１…撮像素子
２…撮像素子駆動回路
３…アナログ回路
４…Ａ／Ｄ変換器
５…同時化回路
６…合成回路
７…最大値検出回路
８…階調変換回路
９…Ｄ／Ａ変換器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus having a wide dynamic range using a solid-state imaging element.
[0002]
[Prior art]
Conventionally, generally in an imaging apparatus such as a television camera, the upper limit of the imaging dynamic range (luminance range in which imaging can be performed) is determined by the saturation level of the imaging device, and the lower limit is determined by the noise levels of the imaging device and peripheral circuits. Since this imaging dynamic range is generally narrower than the luminance range of the subject, overexposure in high luminance portions and blackout in low luminance portions occur.
[0003]
As a method for solving such a problem, for example, JP-A-57-39673 discloses the following technical means. That is, technical means for expanding the imaging dynamic range by changing the exposure amount of the image sensor by controlling the shutter speed or by using an ND filter or the like and synthesizing two images having different exposure amounts are disclosed.
[0004]
Japanese Patent Application Laid-Open No. 7-75026 discloses technical means for optimizing the characteristics at the connection point of a wide dynamic range signal obtained by combining two or more images having different light amounts.
[0005]
On the other hand, in order to compress a wide dynamic range signal, a technical means for giving a knee characteristic as shown in FIG. 16 is known.
[0006]
[Problems to be solved by the invention]
However, the technical means disclosed in Japanese Patent Laid-Open Nos. 57-39673 and 7-75026 do not consider the problem that the noise level changes suddenly at the connection point. When two images having different exposure amounts are combined, as shown in FIG. 15, noise is also amplified at the same time because an image signal with a small exposure amount is multiplied by an exposure amount ratio with an image signal with a large exposure amount.
[0007]
For example, when synthesizing images shot with an exposure amount of 1/60 seconds and 1/2000 seconds, a signal with a shutter speed of 1/2000 seconds is amplified by 32 times and synthesized with a noise level. Is also amplified 32 times. Even when the dynamic range of an image to be actually captured is not so wide, the noise level is amplified by 32 times, so that the noise level suddenly increases at the connection point and the image quality is significantly lowered. This problem becomes more prominent as the exposure amount ratio is increased in order to expand the imaging dynamic range.
[0008]
On the other hand, as a method of synthesizing two images having different exposure amounts, in the method of giving a knee characteristic to the combined wide dynamic range signal shown in FIG. Although the image signals may be added, since the S / N deteriorates by about 3 dB, it is desirable to switch between two image signals having different exposure amounts. For example, consider a case in which images shot with the exposure amount fixed at a shutter speed of 1/60 seconds and 1/2000 seconds are combined. Even if the dynamic range of the subject to be actually imaged is not so wide and the appropriate value of the high-speed shutter speed is 1/200 sec, for example, it is fixed at 1/2000 sec. Will result in a low image.
[0009]
The present invention has been made in view of such problems, and in an imaging apparatus that expands an imaging dynamic range by combining a plurality of images having different exposure amounts, an increase in noise level at a connection point is minimized. The first purpose.
[0010]
Furthermore, according to the present invention, in an imaging apparatus that expands an imaging dynamic range by combining two images having different exposure amounts, the contrast reduction of the high-luminance portion is minimized according to the dynamic range of the subject that is actually imaged This is the second purpose.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a first imaging device of the present invention includes an imaging unit,
Detecting means for detecting a level of an output signal of the imaging means;
Based on the detection output of the detection means, the first Signal accumulation time Determining means for determining the first signal accumulation time so that the output signal imaged by the imaging means becomes a saturation level;
The first Signal accumulation time And the first image signal exposed in step Signal integration time Than long Second Signal accumulation time Combining means for combining the second image signal imaged at,
It has.
[0012]
In the second imaging device of the present invention, in the first imaging device, the detection means detects whether a maximum value of an output signal of the imaging means has reached a saturation level,
The determining means is configured to output the first signal when the maximum value of the output signal of the imaging means reaches a saturation level. Signal integration time When the maximum value of the output signal of the imaging signal does not reach the saturation level, the first signal Signal integration time By increasing the length of the first Signal integration time The first signal so that the output signal imaged at Signal integration time To decide.
[0013]
In order to achieve the above object, according to a third imaging device of the present invention, in the first imaging device, the imaging means is an image sensor capable of nondestructive reading.
[0014]
The first imaging device detects the level of the output signal of the imaging means by the detection means, and based on the detection output of the detection means, the first imaging device Signal accumulation time The first signal so that the output signal imaged by the imaging means becomes a saturation level. Signal accumulation time Is determined by the determining means. And the first Signal accumulation time And the first image signal captured in step Signal accumulation time Than long Second Signal accumulation time The second image signal picked up in (2) is combined by the combining means.
[0015]
In the first imaging device, the detection unit detects whether the maximum value of the output signal of the imaging unit has reached a saturation level, and the determination unit When the maximum value of the output signal reaches the saturation level, the first Signal accumulation time When the maximum value of the output signal of the imaging means has not reached the saturation level, the first Signal accumulation time By increasing the length of the first Signal integration time The first signal so that the output signal imaged at Signal accumulation time To decide.
[0016]
The third imaging device is the first imaging device, wherein the imaging means is an image sensor capable of nondestructive reading.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0018]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to the first embodiment of the present invention.
[0019]
As shown in the figure, the image pickup apparatus according to the first embodiment includes a non-destructive read-out image pickup device 1 and an image pickup device drive circuit that controls the image pickup device 1 based on a signal from a maximum value detection circuit 7 described later. 2 (TG), an analog circuit 3 until the output signal from the image sensor 1 is A / D converted, an A / D converter 4 for A / D converting the analog signal from the analog circuit 3, and this A synchronization circuit 5 that matches the timings of two image signals having different exposure amounts by a signal from the A / D converter 4 and a synthesis circuit 6 that combines the two image signals having different exposure amounts from the synchronization circuit 5. Then, a signal output from the synchronization circuit 5 is input, and a control signal is output to the image sensor driving circuit 2, the synchronization circuit 5, and the synthesis circuit 6 in accordance with the maximum value detection result of the input signal. Maximum value detection circuit 7 and the above A gradation conversion circuit 8 that performs gradation conversion on a signal from the generation circuit 6 and a D / A converter 9 that D / A converts the digital signal from the gradation conversion circuit 8 and outputs it to an external device are provided. .
[0020]
Next, the operation of this embodiment will be briefly described. As shown in FIG. 1, the image sensor 1 is driven by an image sensor drive circuit 2 (TG) so that two images having different exposure times can be obtained. A signal corresponding to the image formed from the image sensor 1 is appropriately amplified by the analog circuit 3 and then converted into a digital signal by the A / D converter 4. The signal converted into the digital signal is separated into two image signals (long exposure signal and short exposure signal) having different exposure amounts by the synchronization circuit 5 and output after the timings are synchronized. Thereafter, a wide dynamic range signal is synthesized by the synthesis circuit 6. The wide dynamic range signal is subjected to gradation conversion by the gradation conversion circuit 8 and output from the D / A converter 9 as a video signal.
[0021]
Next, main operations of the imaging apparatus according to the present embodiment will be described with reference to a timing chart shown in FIG. FIG. 2 is a timing chart showing the operation timing from signal charge accumulation to the synthesis circuit 6 in the imaging apparatus of the present embodiment.
[0022]
FIG. 2A shows the vertical synchronization signal (VD). FIG. 2B shows the temporal transition of the signal level of the accumulated charge of the image sensor 1. In FIG. 2B, Si (i = 0, 1, 2,...) Represents the timing for reading an image signal corresponding to the short-time exposure signal, and Li (i = 0, 1, 2,...) Represents The timing for reading the image signal corresponding to the long exposure signal is shown. Here, at the timing of Si, the image signal is read non-destructively, immediately after the image signal is read at Li, the image signal is reset to the initial value, and accumulation of the signal is started again. repeat.
[0023]
In the synchronization circuit 5, the image signals Si and Li output from the image pickup device 1 are input, and Si and Li are synchronized as shown in FIGS. 2 (c) and 2 (d). For example, in the interval including the pixel signal accumulation timings S2 and L2 in FIG. 2B, the image signals accumulated before and output at S1 and L1 are synchronized. Then, the synthesizing circuit 6 synthesizes the synchronized image signals as shown in FIG. 2C, 2D, and 2E, the image signals read at the timings Si and Li are indicated by the same reference numerals for convenience.
[0024]
FIG. 3 is a diagram showing the timing of nondestructive reading in the present embodiment, and FIG. 4 is a diagram showing the characteristics of the synthesis circuit 6 in the present embodiment. The characteristics shown in FIGS. 3 and 4 are indicated by (a), (b), and (c) when the signal accumulation time is 1/60 seconds, 1/200 seconds, and 1/2000 seconds, respectively. Both have a dynamic range of 50 dB.
[0025]
As shown in FIG. 4, in the synthesis circuit 6, signals corresponding to signal accumulation times of 1/60 seconds and 1/200 seconds, that is, (a) and (b), or signal accumulation times of 1/60 seconds and 1/60 seconds. The signals corresponding to 2000 seconds, that is, (a) and (c) are synthesized. When the signal (a) corresponding to the signal accumulation time 1/60 seconds and the signal (c) corresponding to 1/2000 seconds are combined, (c) is changed to 1 / when (a) is saturated. A dynamic range of 80 dB can be obtained by amplifying and using the ratio between 60 seconds and 1/2000 seconds, that is, about 32 times. However, the noise level suddenly increases 32 times at the connection point, which may degrade the image quality.
[0026]
On the other hand, when the signal (a) corresponding to the signal accumulation time 1/60 seconds and the signal (b) corresponding to 1/200 seconds are combined, the dynamic range is not so large as 60 dB, but at the connection point. Since the noise level is only about three times, there is almost no problem in image quality.
[0027]
In the present embodiment, in consideration of such circumstances, the maximum value detection circuit 7 detects the maximum value of the signal whose signal accumulation time is shorter, and if the maximum value reaches the saturation level, the signal accumulation time is shortened, and the maximum value is detected. If the signal does not reach the saturation level, a control signal for extending the signal accumulation time is output to the image sensor driving circuit 2.
[0028]
As a specific control method, for example, the maximum value detection circuit 7 outputs “1” if the maximum value reaches the saturation level, and outputs “0” if it does not reach the saturation level. Here, if “1”, the TG shortens the exposure time by a predetermined time in order to reduce the exposure amount by a predetermined amount. If “0”, the exposure time is increased by a predetermined time in order to increase the exposure amount by a predetermined amount. That is, the time until the exposure amount converges to the optimum value is determined by how much the exposure amount is increased or decreased according to the output of the maximum value detection circuit 7.
[0029]
Note that the exposure amount may be controlled in real time while sequentially reading the output signal of the image sensor 1 capable of non-destructive readout within one field period. In an image sensor such as a normal CCD, signals of a plurality of fields may be controlled. The exposure control as described above may be performed.
[0030]
The image sensor driving circuit 2 controls the signal accumulation time according to the control signal so that the signal having the shorter signal accumulation time is just at the saturation level. Further, the maximum value detection circuit 7 synthesizes the synchronization circuit 5 because the signal output timing changes depending on the signal accumulation time, and the signal accumulation time ratio, that is, the gain for the signal having the shorter signal accumulation time differs depending on the signal accumulation time. A control signal is also output to the circuit 6.
[0031]
Further, the image sensor driving circuit 2 is controlled so that the signal accumulation time becomes as long as possible within a range where the maximum value of the signal having the shorter signal accumulation time is not saturated. It is possible to minimize the ratio of the exposure amount applied to the shorter image signal, and to suppress the noise component to the minimum necessary.
[0032]
Next, a second embodiment of the present invention will be described.
[0033]
FIG. 5 is a block diagram illustrating a configuration of an imaging apparatus according to the second embodiment of the present invention.
[0034]
As shown in the figure, the image pickup apparatus according to the second embodiment includes an image pickup element 1 such as a CCD and an image pickup element driving circuit 2 that controls the image pickup element 1 based on a signal from a maximum value detection circuit 7 to be described later. TG), the analog circuit 3 until the output signal from the image sensor 1 is A / D converted, the A / D converter 4 for A / D converting the analog signal from the analog circuit 3, and this A / D A synchronization circuit 5 for matching the timings of two image signals having different exposure amounts according to a signal from the D converter 4; a synthesis circuit 6 for synthesizing two image signals having different exposure amounts from the synchronization circuit 5; A maximum value detection circuit 7 for inputting a signal output from the synchronization circuit 5 and outputting a control signal to the image sensor driving circuit 2 and the synthesis circuit 6 in accordance with a maximum value detection result of the input signal; The signal from the synthesis circuit 6 is A gradation conversion circuit 8 for converting, and a D / A converter 9 for outputting a digital signal from the gradation conversion circuit 8 to an external device to convert D / A.
[0035]
That is, the second embodiment is different from the first embodiment in the configuration of the image sensor 1 and the blocks controlled by the output signal of the maximum value detection circuit 7.
[0036]
Next, main operations of the imaging apparatus according to the present embodiment will be described with reference to a timing chart shown in FIG. 6 and FIG. FIG. 6 is a timing chart showing the operation timing from signal charge accumulation to the synthesis circuit 6 in the imaging apparatus of the second embodiment, and FIG. 7 is an imaging element driving circuit in the imaging apparatus of the present embodiment. 2 is an explanatory diagram showing a state of charge accumulation in the image pickup device 1 that has been controlled by No. 2; FIG.
[0037]
First, the operation from signal charge accumulation to the synthesis circuit 6 will be described with reference to the timing chart shown in FIG.
[0038]
Regarding the generation of the vertical synchronization signal (a), the long exposure signal (c), the short exposure signal (d), and the composite image (e), the case of the first embodiment (see the timing chart shown in FIG. 2). Since this is basically the same, detailed description thereof is omitted here.
[0039]
In the second embodiment, as shown in FIG. 6, the method for generating the signal accumulation time (b) is different from that in the first embodiment. That is, in FIG. 6, as shown in FIG. 6B, the signal Li (i = 0, 1, 2,...) Corresponding to the long exposure is exposed within the normal field period and corresponds to the short exposure signal. The signal Si (i = 0, 1, 2,...) Is exposed during the vertical blanking period.
[0040]
Next, charge accumulation and transfer operations in the image sensor 1 of the long exposure signal and the short exposure signal exposed as described above will be described with reference to FIG.
[0041]
In FIG. 7, (1) and (3) show the accumulation and transfer operations of signals accumulated in a normal field period. In FIG. 7A, signals accumulated in the pixels of PD1 and PD3 are transferred to a vertical transfer path (hereinafter referred to as “VCCD”). Next, the signal transferred to the VCCD is shifted by one pixel in the vertical direction (FIG. 7 (2)). Next, the signals accumulated in the pixels of PD2 and PD4 are transferred to the VCCD in the same manner as in FIG. 7 (1), so that the signal of the pixel of PD1, the signal of the pixel of PD2, and the signal of the pixel of PD3 And the signal of the pixel of PD4 are added (FIG. 7 (3)).
[0042]
Next, the signals of the pixels PD1 and PD3 accumulated during the vertical blanking period are transferred to the VCCD (FIG. 7 (4)). Next, as in FIG. 7 (2), the signal transferred to the VCCD is transferred by one pixel in the vertical direction (FIG. 7 (5)). Next, in the same manner as in FIG. 7 (3), the PD1 pixel signal, the PD2 pixel signal, the PD3 pixel signal, and the PD4 pixel signal are added (FIG. 7 (6)). ).
[0043]
By the above-described operation, the VCCD is alternately transferred with the long exposure signal accumulated in the normal field period in which the signals of the two pixels are added and the short exposure signal accumulated in the vertical blanking period. The signal is read out by being transferred to a horizontal transfer path (HCCD) by a known method.
[0044]
By the way, as described above, a signal corresponding to the image formed from the image sensor 1 is appropriately amplified by the analog circuit 3 and converted into a digital signal by the A / D converter 4. The signal converted into the digital signal is separated into two image signals having different exposure amounts by the synchronization circuit 5 and the timings thereof are matched, and the wide dynamic range signal is synthesized by the synthesis circuit 6. The wide dynamic range signal is appropriately subjected to gradation conversion by the gradation conversion circuit 8, and a video signal is output from the D / A converter 9.
[0045]
FIG. 8 is a diagram showing the readout timing of the image sensor 1 in the second embodiment, and FIG. 9 is a diagram showing the characteristics of the synthesis circuit 6 in the second embodiment. . In FIGS. 8 and 9, the symbols (a), (b), and (c) indicate the characteristics when the signal accumulation time is 1/65 seconds, 1/1000 seconds, and 1/2000 seconds, respectively. Show.
[0046]
In the second embodiment, two images having different exposure amounts have a so-called knee characteristic that changes the slope of the light amount versus the output characteristic in the combined signal as shown in FIG. In order to realize the knee characteristic, two image signals having different exposure amounts may be simply added. However, since the S / N ratio of the low luminance portion deteriorates, the two image signals having different exposure amounts are switched. It is desirable. In consideration of this point, in this embodiment, when the signal having the longer signal accumulation time is saturated, the signal having the shorter signal accumulation time is level-shifted and added to reduce the S / N ratio of the low luminance portion. It is preventing.
[0047]
Further, the maximum value detection circuit 7 detects the maximum value of the signal having the shorter signal accumulation time, and if the maximum value reaches the saturation level, the signal accumulation time is shortened, and if the maximum value does not reach the saturation level. For example, a control signal for extending the signal accumulation time is output to the image sensor driving circuit 2. In accordance with the control signal, the image sensor driving circuit 2 controls the signal accumulation time so that the signal having the shorter signal accumulation time is just at the saturation level. The maximum value detection circuit 7 also outputs a control signal to the synthesis circuit 6 because the level shift amount during synthesis differs depending on the signal accumulation time.
[0048]
As described above, the image sensor driving circuit 2 is controlled so that the signal accumulation time is as long as possible within a range in which the maximum value of the signal having the shorter signal accumulation time is not saturated. It is possible to minimize the decrease in contrast in the high luminance part.
[0049]
In addition, each deformation | transformation element in this 2nd Embodiment can be variously changed and changed. For example, in the present embodiment, the image sensor 1 is constituted by a CCD, but an image sensor capable of nondestructive readout may be employed as in the first embodiment. In the present embodiment, since a signal having a short signal accumulation time is obtained in the vertical blanking period, the maximum is about 1/800 seconds. In the case of an image sensor capable of non-destructive readout, the signal accumulation time with the shorter signal accumulation time can be set up to about 1/60 seconds at the maximum, so that a greater effect can be obtained.
[0050]
In addition, when two images having different exposure amounts are combined with a knee characteristic, the contrast reduction in the high luminance portion can be minimized.
[0051]
Next, a third embodiment of the present invention will be described.
[0052]
FIG. 10 is a block diagram illustrating a configuration of an imaging apparatus according to the third embodiment of the present invention.
[0053]
The basic configuration of the imaging apparatus of the third embodiment is the same as that of the first embodiment. In the first embodiment, two images with different exposure amounts are combined. The third embodiment is different only in that three or more images (four in this embodiment) are combined. That is, along with this, the synchronization circuit 5 matches the timing of four image signals with different exposure amounts, and the synthesis circuit 6 synthesizes four image signals with different exposure amounts. Other configurations are the same as those of the first embodiment, and the operation timing is also the same as that of the first embodiment, and thus detailed description thereof is omitted here.
[0054]
Next, main operations of the imaging apparatus according to the third embodiment will be described with reference to FIGS.
[0055]
FIG. 11 is a diagram showing the timing of nondestructive reading in the present embodiment, and FIG. 12 is a diagram showing the characteristics of the synthesis circuit 6 in the present embodiment. The characteristics shown in FIGS. 11 and 12 are the characteristics when the signal accumulation time is 1/60 seconds, 1/250 seconds, 1/1000 seconds, and 1/4000 seconds, respectively (a), (b), These are indicated by (c) and (d), and both have a dynamic range of 50 dB.
[0056]
The signal accumulation times (b), (c), and (d) have characteristics shifted from 12 (a) by 12 dB, 24 dB, and 36 dB with respect to the light amount, respectively. In the synthesis circuit 6, the light intensity is 0 to 50 dB (a), 50 to 62 dB (b) is amplified by a ratio of 1/60 seconds to 1/250 seconds, that is, about 4 times, and 62 to 74 dB. (C) is used after being amplified to a ratio of 1/60 seconds and 1/1000 seconds, that is, approximately 16 times, and from 74 to 86 dB, (d) is increased to a ratio of 1/60 seconds and 1/4000 seconds, that is, approximately 64 times. Amplified and used, a wide dynamic range signal of 86 dB is obtained. By synthesizing the four images, the dynamic range that cannot be realized by synthesizing the two images can be expanded.
[0057]
If the dynamic range of the subject to be photographed is not so wide, the maximum value detection circuit 7 detects the maximum value of the signal with the shortest signal accumulation time, and if the maximum value reaches the saturation level, the signal accumulation time is set. If the maximum value does not reach the saturation level, a control signal for controlling the nondestructive readout timing is output to the image sensor driving circuit 2 so as to increase the signal accumulation time. The image sensor drive circuit 2 controls the signal accumulation time according to the control signal so that the signal having the shortest signal accumulation time is just at the saturation level. The nondestructive readout between the signal accumulation time of 1/60 seconds and the shortest signal is determined so that the interval is logarithmically approximately the same.
[0058]
For example, when the dynamic range of the subject is about 70 dB, the signal is read at the nondestructive reading timing as shown in FIG. The characteristics of the synthesis circuit 6 at this time are shown in FIG. In the figure, symbols (a), (b), (c), and (d) are signal accumulation times of 1/60 seconds, 1/120 seconds, 1/250 seconds, and 1/500 seconds, respectively, and dynamics of 50 dB. It shall have a range. (B), (c), and (d) have characteristics shifted from (a) by 6 dB, 12 dB, and 18 dB with respect to the light amount, respectively. In the synthesis circuit 6, (a) is used for the light quantity from 0 to 50 dB, (b) is used from 50 to 56 dB, and the ratio (b) is amplified by a ratio of 1/60 seconds to 1/120 seconds, that is, approximately doubled, and from 56 to 62 dB. (C) is amplified and used at a ratio of 1/60 seconds to 1/250 seconds, that is, approximately 4 times, and from 62 to 68 dB, (d) is increased to a ratio of 1/60 seconds to 1/500 seconds, that is, approximately 8 times. Amplified and used, a 68 dB dynamic range signal is obtained.
[0059]
As described above, in the present embodiment, the image sensor driving circuit 2 is controlled so that the signal accumulation time is as long as possible within a range in which the maximum value of the signal having the shorter signal accumulation time is not saturated. In this case, it is possible to minimize the ratio of the amount of exposure applied to the non-destructive readout signal with a short signal accumulation time, and the noise component can be minimized.
[0060]
In the present embodiment, the synthesis circuit 6 performs synthesis so that the output is linear with respect to the amount of light. However, the synthesis may be performed with characteristics having several stages of knee characteristics. The effect of minimizing the decrease in contrast is obtained.
[0061]
As described above, the third embodiment includes an imaging unit, a control unit that reads out images having a plurality of different exposure amounts from the imaging unit, and a combining unit that combines the plurality of obtained images. The means controls the signal storage time of the imaging means to be variable according to the imaging signal. That is, the control means controls the exposure amount to be as large as possible within a range where the imaging means is not saturated according to the imaging means, so that an image with a good S / N ratio with a minimum noise component can be obtained. Obtainable.
[0062]
【The invention's effect】
As described above, according to the first aspect of the present invention, an increase in noise level can be minimized in an imaging apparatus that expands the imaging dynamic range by combining a plurality of images having different exposure amounts.
[0063]
According to the second aspect of the present invention, in the imaging device that expands the imaging dynamic range by synthesizing two images having different exposure amounts, the high-luminance portion is selected according to the dynamic range of the subject that is actually imaged. Contrast reduction can be minimized.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a timing chart showing operation timings from signal charge accumulation to a synthesis circuit in the imaging apparatus of the first embodiment.
FIG. 3 is a diagram showing the timing of nondestructive reading of the image sensor in the imaging apparatus of the first embodiment.
FIG. 4 is a diagram illustrating characteristics of a synthesis circuit in the imaging apparatus according to the first embodiment.
FIG. 5 is a block diagram illustrating a configuration of an imaging apparatus according to a second embodiment of the present invention.
FIG. 6 is a timing chart showing operation timing from signal charge accumulation to a synthesis circuit in the image pickup apparatus according to the second embodiment.
FIG. 7 is an explanatory diagram showing a state of charge accumulation in the image sensor under the control of the image sensor drive circuit in the image pickup apparatus of the second embodiment.
FIG. 8 is a diagram showing the readout timing of the image sensor in the imaging apparatus of the second embodiment.
FIG. 9 is a diagram illustrating characteristics of a synthesis circuit in the imaging apparatus according to the second embodiment.
FIG. 10 is a block diagram illustrating a configuration of an imaging apparatus according to a third embodiment of the present invention.
FIG. 11 is a diagram illustrating the timing of nondestructive reading of the image sensor in the imaging apparatus of the third embodiment.
FIG. 12 is a diagram showing characteristics of a synthesis circuit in the image pickup apparatus according to the third embodiment.
FIG. 13 is a diagram showing another example of the timing of nondestructive reading of the image sensor in the imaging apparatus of the third embodiment.
14 is a diagram showing another example of the characteristics of the combining circuit in the imaging apparatus according to the third embodiment shown in FIG.
FIG. 15 is a diagram illustrating an example of a relationship between light amount and output when two images having different exposure amounts are combined in a conventional imaging apparatus.
FIG. 16 is a diagram illustrating an example of a relationship between light amount and output when a combined signal is given a knee characteristic when two images with different exposure amounts are combined in a conventional imaging apparatus.
[Explanation of symbols]
1 ... Image sensor
2 ... Image sensor drive circuit
3. Analog circuit
4 ... A / D converter
5 ... Synchronization circuit
6 ... Synthesis circuit
7. Maximum value detection circuit
8 ... gradation conversion circuit
9 ... D / A converter

Claims

Imaging means;
Detecting means for detecting a level of an output signal of the imaging means;
Determining means for determining the first signal accumulation time based on the detection output of the detection means so that the output signal imaged by the imaging means at a first signal accumulation time is at a saturation level;
Synthesizing means for synthesizing the second image signal captured by the first image signal and the longer than the first signal storage time a second signal storage time which is exposed in the first signal storage time,
An imaging apparatus comprising:

The detection means detects whether the maximum value of the output signal of the imaging means has reached a saturation level,
The determining means shortens the first signal accumulation time when the maximum value of the output signal of the imaging means reaches the saturation level, and the maximum value of the output signal of the imaging signal does not reach the saturation level. by lengthening the first signal storage time to time, claims, characterized in that output signals captured by the first signal storage time is determined the first signal storage time so that the saturation level Item 2. The imaging device according to Item 1.

The imaging apparatus according to claim 1, wherein the imaging unit is an imaging element capable of nondestructive reading.