JP6302217B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関する。

撮像装置に用いられる撮像素子としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下「ＣＣＤセンサ」という。）が一般的であった。しかし近年では、撮像素子の多画素化が進むにつれ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下「ＣＭＯＳセンサ」という。）が注目されている。

ＣＭＯＳセンサなどの撮像素子は、画素の光電変換素子が入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、ＣＭＯＳセンサなどの撮像素子は、電子シャッタ機能を備えている。電子シャッタ機能は、画素の光電変換素子をリセットすることにより露光を開始し、光電変換素子に蓄積した電荷を読み出すことにより露光を終了させる。このように、撮像素子の機能だけで露光の始まりと終わりを制御するので、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現することが可能である。

さらに、ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作（フォーカルプレーンシャッタ動作とも呼ばれる。）がある。ローリングシャッタ動作では、ＣＣＤセンサと異なり、２次元配列された複数の画素を１ライン毎に順次走査して画素の電荷のリセットを実施する。そして所定の露光時間経過後に、１ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。

このように、ローリングシャッタ動作は、ライン毎に電荷読み出しと信号出力のための時間差を持った動作となっている。これにより、１回の撮像動作の中で、ライン毎に露光時間がずれてしまうことになる。

ところで、このようなＣＭＯＳセンサなどの撮像素子を用いた撮像装置においては、明るいところと暗いところが混在するような被写体の撮像を行う場合に、ダイナミックレンジが不足しがちであるという問題がある。例えば、明るいところに合わせて露光時間を短く制御すると、暗い部分で十分な露光時間がとれないために、黒つぶれやＳ／Ｎの劣化による画質の低下が発生する。逆に、暗いところに合わせて露光時間を長く制御すると、光電変換素子の蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域が飽和した輝度レベルに設定される白とびが発生する。

明るい部分、暗い部分の階調を正確に再現する手法として、ダイナミックレンジ拡大処理がある。ダイナミックレンジ拡大処理は、撮像素子上での入射光量が少ない画素では露光時間を長く制御して高いＳ／Ｎを実現し、入射光量が多い画素では飽和を回避する。

ダイナミックレンジ拡大処理の一方式として、同一の撮像素子で連続的に露光時間の異なる複数の画像を撮像して合成する複数回露光方式が知られている。複数回露光方式では、長時間露光画像と短時間露光画像が連続的に個別に撮影される。暗い画像領域には長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域には短時間露光画像を利用して、合成処理が行われる。こうして、ダイナミックレンジが拡大された１つの画像が生成される。

しかしながら、複数回露光方式では、長時間露光と短時間露光を交互に行い、それぞれの露光から得られた信号を交互に読み出す必要がある。また、複数回露光方式を動画撮影に応用した場合には、フレームレートを均一にするために長時間露光時の１フレーム期間と短時間露光時の１フレーム期間を同一にする必要がある。すると、長時間露光の露光時間が最大で１フレーム期間となり、通常の撮像素子の動作においても、露光時間は最大で１フレーム期間に設定できるため、長時間露光によるＳ／Ｎの改善効果は期待できない。さらに、短時間露光の露光時間は、露光時間の比を２：１とした場合では、最大で１フレーム期間の半分に設定されてしまうため、露光に寄与しない無駄時間も発生してしまう。

また、複数回露光方式では、長時間露光と短時間露光の間に１フレーム期間の時間差が生じている。そのため、移動する被写体が存在すると、長時間露光の画像と短時間露光の画像が同一にならない。その結果、ダイナミックレンジを拡大処理された画像において、移動する被写体がぶれたり、偽色が発生するという問題もある。

こうした複数回露光方式の問題に対応して、ダイナミックレンジ拡大処理の別の手法が、特許文献１、２に開示されている。特許文献１、２では、２ライン毎に２つにグループ化した画素に対して、それぞれ異なる露光時間が設定される。そして、例えば長時間露光画素から高感度画素情報を取得し、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいてダイナミックレンジを拡大した画像を生成する。この方法によれば、１つの撮影画像に基づいてダイナミックレンジを拡大した画像を生成することができる。

また、特許文献２は、長時間露光と短時間露光の露光時間の中心を合わせることで、複数回露光方式の問題である移動する被写体のぶれを解消する手法も提案している(特許文献２の図１３）。

特開２０１２−１０５２２５号公報 特開２０１１−２４４３０９号公報

しかしながら、特許文献１の図６や特許文献２の図９に記載された方法においては、２ライン毎に露光時間の異なる画素の信号を、同時期に全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、２ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。

また、特許文献２の図１３に記載された方法では、短時間露光の中心が常に長時間露光の中心に合っていることが必要である。そうすると、露光時間が変更されることによって長時間露光のリセット及び読み出しのタイミングが変更されるたびに、短時間露光の中心を合わせるためのリセット及び読み出しのタイミングを変更する必要がある。したがってこのような手法では、タイミング制御が複雑になるという課題がある。

本発明は、ダイナミックレンジ拡大処理のためのローリングシャッタ動作の改良であり、画素信号の読み出しにかかる処理負荷の平準化とタイミング制御の単純化を両立した手法を実現する。

本発明の一側面によれば、光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、短時間露光用の垂直同期信号である短期垂直同期信号と、１周期が前記短期垂直同期信号のＮ周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段と、前記同期信号発生手段により発生された前記短期垂直同期信号及び前記長期垂直同期信号に従い、前記撮像素子の色フィルタ周期行単位で複数のラインごとに短時間露光及び長時間露光を実施する露光制御手段とを有し、前記露光制御手段は、長時間露光用のラインについては、前記長期垂直同期信号に同期して画素信号の読み出しを開始し、短時間露光用のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して画素信号の読み出しを開始することを特徴とする撮像装置が提供される。

本発明によれば、ダイナミックレンジ拡大処理のためのローリングシャッタ動作における画素信号の読み出しにかかる処理負荷の平準化とタイミング制御の単純化が図られる。

実施形態に係る撮像装置の構成を示す図。 実施形態に係る撮像素子の概略構成を示す図。 第１の実施形態に係る撮像素子の制御タイミングを示す図。 第１の実施形態に係る撮像素子の制御タイミングを示す図。 第２の実施形態に係る撮像素子の制御タイミングを示す図。 第２の実施形態に係る撮像素子の制御タイミングを示す図。 第３の実施形態に係る撮像素子の制御タイミングを示す図。 第３の実施形態に係る撮像素子の制御タイミングを示す図。 第１の実施形態の変形例に係る画素特性及び画像信号特性を示す図。

以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。なお、以下に説明する実施形態は、本発明の実施構成の一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

＜第１の実施形態＞
第１の実施形態においては、ダイナミックレンジ拡大処理（以下「ＨＤＲ処理」という。）に用いるために、２ライン毎に露光時間の異なる画素の信号を出力するように制御された撮像素子の動作について説明する。

図１は、本実施形態に係る撮像装置の構成を示す図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。図１に示す撮像装置は、光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７、及び画像記録部１８を備えている。光学系１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。

撮像素子１２は、光電変換素子を持つ複数の画素がマトリクス状に配置されたＸＹアドレス方式のＣＭＯＳセンサである。撮像素子１２は、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Auto Gain Control）回路、Ａ／Ｄ変換器等を含み、同期制御部１５からの制御信号により制御される。ここで、ＣＭＯＳセンサは、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセットなどの撮像動作を実施する。そして、ＣＤＳ回路によるノイズ除去、ＡＧＣ回路による利得制御、及び、Ａ／Ｄ変換器によるアナログ−デジタル変換を経て、デジタル化された画像信号を出力する。

信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）等の信号処理を施す。本実施形態においては、この信号処理部１３において、ＨＤＲ処理を実施する。

ＨＤＲ処理の方法としては、例えば、特許文献１の図４のように、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成する方法がある。あるいは、特許文献２の図７のように、明るさに応じて、長時間露光画素の信号と短時間露光画素の信号のどちらかを選択する方法を採用してもよい。

圧縮伸張部１４は、同期制御部１５の制御の下で、信号処理部１３からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）等の所定の静止画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部１４は、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理も行う。さらに、圧縮伸張部１４は、ＭＰＥＧ（Moving Picture Experts Group）等により動画像の圧縮符号化／伸張復号化処理も実行可能となっている。

同期制御部１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されるマイクロコントローラであり、ＲＯＭ等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

操作部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤル等から構成され、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。

画像表示部１７は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスや、これに対するインタフェース回路等を含む。画像表示部１７は、同期制御部１５から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

画像記録部１８は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現される。画像記録部１８は、圧縮伸張部１４により符号化された画像データファイルを同期制御部１５から受け取って記憶する。画像記録部１８はまた、同期制御部１５からの制御信号を基に指定されたデータを読み出し、同期制御部１５に出力する。

本実施形態における撮像装置の構成は概ね以上のようなものである。次に、本実施形態における撮像装置の基本的な動作について説明する。

静止画像の撮像前には、撮像素子１２から出力された画像信号が信号処理部１３に順次供給される。信号処理部１３は、撮像素子１２からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２からの１フレーム分の撮像信号が、信号処理部１３に取り込まれる。信号処理部１３は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部１５を通じて画像記録部１８に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１８に記録される。

一方、画像記録部１８に記録された静止画像のデータファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部１５を介して画像表示部１７に供給され、これにより静止画像が再生表示される。

また、動画像を記録する場合には、信号処理部１３で順次処理された画像信号に圧縮伸張部１４で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部１８に転送して記録する。また、画像記録部１８から動画像のデータファイルを読み出して圧縮伸張部１４に供給し、伸張復号化処理させて、画像表示部１７に供給することで、動画像が表示される。

図２は、本実施形態に係る撮像素子１２の構成を示す図である。図２に示す撮像素子１２（ＣＭＯＳセンサ）は、複数の画素からなる画素領域２００を備える。撮像素子１２はまた、垂直選択部２２０、画素それぞれに接続する画素制御線２３０及び垂直信号線２４０を有する。撮像素子１２は更に、列信号処理部２５０、水平メモリ部２６０、水平選択部２７０、出力部２８０、及び、ＴＧ２９０（Timing Generator）を備える。

画素領域２００は、不図示の光電変換素子とトランジスタを持つＣＭＯＳセンサの画素で構成され、各画素は、水平方向・垂直方向にマトリクス状に配置されている。図２において、各画素は、上位２ケタを行番号、下位２ケタを列番号として、Ｐ（０１０１）からＰ（１６１６）で示される。図２には、１６×１６配列の例が示されているが本発明は特定の行列数に限定されるものではない。

垂直選択部２２０は、画素領域２００の画素配列を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線２３０は、画素行毎に共通に接続され、垂直選択部２２０による行単位の制御信号を伝達する。垂直信号線２４０は、画素列毎に共通に接続され、画素制御線２３０により選択された行の画素の信号がそれぞれ対応する垂直信号線２４０に読み出される。列信号処理部２５０は、垂直信号線２４０の各々に設けられる不図示のＣＤＳ回路、ＡＧＣ回路、及びＡ／Ｄ変換器を含む。垂直信号線２４０を通して送られてくる行単位の画素の信号それぞれに対して、ＣＤＳ回路は、画素回路内のトランジスタのしきい値のばらつきに起因する固定パターンノイズを除去して、Ｓ／Ｎを良好に保つようにサンプルホールドを行う。ＡＧＣ回路は利得制御を実施する。Ａ／Ｄ変換器はアナログ−デジタル変換を実施する。

水平メモリ部２６０は、垂直信号線２４０毎に設けられ、それぞれ対応する列信号処理部２５０においてデジタル化された行単位の画素信号を記憶する。水平選択部２７０は、それぞれ対応する水平メモリ部２６０を列毎に選択し、記憶しているデジタル化された画素信号を出力部２８０を介して信号処理部１３へ出力する。ＴＧ２９０は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号などを出力する。

以下、実施形態における撮像素子１２の露光及び読み出しタイミングの制御について詳しく説明する。前述したように、特許文献１の図６や特許文献２の図９に記載された方法においては、２ライン毎に露光時間の異なる画素の信号を、同時期に全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、２ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。

加えて、ＨＤＲ処理を行う場合には、上記画素に対する補正処理及び信号処理と同時に、２ライン毎の長時間露光画素と短時間露光画素との位置ずれ補正処理とともにＨＤＲ処理を実施することになる。そうすると、撮像装置全体のシステムへの負担は更に大きくなる。

さらに、この方法では、ローリングシャッタ動作を用いて、２ライン毎に露光時間の異なる画素の信号を全ライン読み出すため、最初のラインから最後のラインまで読み出す時間がかかる。このため、ライン毎に露光時間がずれた分だけ移動する被写体が歪んでしまう、ローリング歪という現象が発生しやすくなるという課題もある。

また、特許文献２の図１３に記載された方法では、短時間露光の中心が常に長時間露光の中心に合っていることが必要である。そうすると、露光時間が変更されることによって長時間露光のリセット及び読み出しのタイミングが変更されるたびに、短時間露光の中心を合わせるためのリセット及び読み出しのタイミングを変更する必要がある。したがってこのような手法では、タイミング制御が複雑になるという課題がある。

さらに、この方法では、露光時間が短くなった場合、短時間露光を行うラインを全て読み出すことにかかる時間が、長時間露光と短時間露光の差の半分を超える場合が考えられる。この場合、短時間露光を行うラインの読み出し終了が、長時間露光を行うラインの読み出し開始とぶつかってしまうため、ライン毎に読み出すことができなくなるという課題もある。

そこで本実施形態では、以下に説明する処理によって、タイミング制御の単純化を図りつつ、画素信号の読み出しにかかる処理負荷の平準化を実現する。

図３は、本実施形態に係る撮像素子１２の制御タイミングを示す図である。本実施形態では、ＨＤＲ処理のために、画素領域２００の画素行は、所定数のライン（例えば２ライン）毎に、長時間露光用のライン（以下「長時間露光ライン」という。）と短時間露光用のライン（以下「短時間露光ライン」という。）が交互になるように設定される。

図３において、ＶＤＬは、長時間露光フレームの垂直同期信号（長期垂直同期信号）を示し、その１周期にあたる長期垂直同期期間がＴｆｒｌで示されている。ＶＤＳは、短時間露光フレームの垂直同期信号（短期垂直同期信号）を示し、その垂直同期期間がＴｆｒｓで示されている。長期垂直同期信号の１周期にあたる垂直同期期間Ｔｆｒｌは、短期垂直同期信号のＮ周期分（＝Ｎ・Ｔｆｒｓ。ただしＮは２以上の自然数。）に等しい。図３の例では、Ｎ＝２、すなわち２周期分である。本実施形態では、これらの短期垂直同期信号、長期垂直同期信号は、同期信号発生手段としてのＴＧ２９０によって発生される。

ＨＤは、水平同期信号を示し、画素のリセット動作や読み出し動作を行単位で実施する期間となる。

Ｌｉｎｅ０１からＬｉｎｅ１６は、画素領域２００の画素行Ｐ（０１−−）からＰ（１６−−）の動作の状態を示す。行番号で画素行を表すために列番号は「−−」と表示している。ここでは、２ライン毎に露光時間が異なるように、長時間露光ラインを０１、０２、０５、０６、０９、１０、１３、１４ラインとし、短時間露光ラインを０３、０４、０７、０８、１１、１２、１５、１６ラインとする。

各ラインの画素の信号を列信号処理部２５０に読み出した後、１ライン分の画素の信号を出力部２８０から出力する期間として、対応する１ＨＤ期間をＲＯと表示する。ここで、各ラインの画素の信号を列信号処理部２５０に読み出す期間は、１ライン分の画素の信号を出力部２８０から出力する期間に比べて十分短いので、次の露光フレームはＲＯ期間から始まるものとする。また、２ライン毎に露光時間が異なる信号からＨＤＲ処理を実施しやすいように、それぞれの画素はベイヤ配列のような２×２配列の色フィルタを備えているものとする。

ＲｅａｄＯｕｔは、画素から読み出した長時間露光フレーム信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔと短時間露光フレーム信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔが出力部２８０から出力するタイミングを示す。

まず、タイミングｔ００において、第１の長期垂直同期信号ＶＤＬに同期して、０１ラインと０３ラインの読み出しを実施することで、画素をリセットし、０１ラインと０３ラインの露光を開始する。
タイミングｔ０１において、０２ラインと０４ラインの読み出しを実施することで、画素をリセットし、０２ラインと０４ラインの露光を開始する。
タイミングｔ０２において、０５ラインと０７ラインの読み出しを実施することで、画素をリセットし、０５ラインと０７ラインの露光を開始する。
タイミングｔ０３において、０６ラインと０８ラインの読み出しを実施することで、画素をリセットし、０６ラインと０８ラインの露光を開始する。
同様の方法で、０９ラインから１６ラインまでをリセットして、０９ラインから１６ラインまでの露光を開始する。

このように、１ＨＤ経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を開始する。

次に、タイミングｔ００からＴｆｒｓ経過後のｔ０５において、ＶＤＳに同期して、０３ラインの画素の信号をＲＯ期間に出力する。この時、０１ラインは露光を継続する。
タイミングｔ０６において、０４ラインの画素の信号をＲＯ期間に出力する。この時、０２ラインは露光を継続する。
タイミングｔ０７において、０７ラインの画素の信号をＲＯ期間に出力する。この時、０５ラインは露光を継続する。
タイミングｔ０８において、０８ラインの画素の信号をＲＯ期間に出力する。この時、０６ラインは露光を継続する。
同様の方法で、１１、１２、１５、１６ラインの画素の信号をＲＯ期間に出力する。この時、０９、１０、１３、１４ラインは露光を継続する。

このように、１ＨＤ経過する毎に、短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインを読み出すことで、短時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の短時間露光フレームの出力がＦｒ＿Ｓ Ｒｅａｄｏｕｔとなる。ここで、この短時間露光フレームにおいては、画素の読み出しをすることで画素をリセットしているので、最長の露光時間は、短時間露光フレームの垂直同期期間（短期垂直同期期間）のＴｆｒｓとなっている。

続くタイミングｔ００からＴｆｒｌ経過後のｔ１０において、第２の長期垂直同期信号ＶＤＬに同期して、０１ラインの画素の信号をＲＯ期間に出力する。
タイミングｔ１１において、０２ラインの画素の信号をＲＯ期間に出力する。
タイミングｔ１２において、０５ラインの画素の信号をＲＯ期間に出力する。
タイミングｔ１３において、０６ラインの画素の信号をＲＯ期間に出力する。
同様の方法で、０９、１０、１３、１４ラインの画素の信号をＲＯ期間に出力する。

このように、１ＨＤ経過する毎に、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインを読み出すことで、長時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の長時間露光フレームの出力がＦｒ＿Ｌ Ｒｅａｄｏｕｔとなる。ここで、この長時間露光フレームにおいては、画素の読み出しをすることで画素をリセットしているので、最長の露光時間は、長期垂直同期期間Ｔｆｒｌとなっている。

さらに、長期垂直同期期間Ｔｆｒｌは、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔを含む短期垂直同期期間Ｔｆｒｓの２倍の期間となっている。また、２ライン毎に短時間露光フレームと長時間露光フレームに分けて読み出しているので、全ラインを一度に読み出す動作に比べて、それぞれのフレームの読み出し時間は約半分になっている。

図４は、本実施形態に係る長時間露光フレームと短時間露光フレームの制御タイミングを示す図である。図４においては、図３のライン毎の動作をフレーム毎の動作で示すとともに、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。そこで、連続撮影を可能にするために、タイミングｔ２４以降の制御タイミングは、ｔ２０に戻って繰り返すものとする。また、図３と同じ動作や構成のものは、同じ符号で示す。

タイミングｔ２０からｔ２４までが、第１の長期垂直同期期間Ｔｆｒｌ１である。また、タイミングｔ２４からｔ２８までが、第２の長期垂直同期期間Ｔｆｒｌ２である。タイミングｔ２０からｔ２３までが、第１の短期垂直同期期間Ｔｆｒｓ１である。タイミングｔ２３からｔ２４までが、第２の短期垂直同期期間Ｔｆｒｓ２である。タイミングｔ２４からｔ２６までが、第３の短期垂直同期期間Ｔｆｒｓ３である。そして、タイミングｔ２６からｔ２８までが、第４の短期垂直同期期間Ｔｆｒｓ４である。

Ｆｒ＿Ｌが、長時間露光フレームを構成する０１、０２、０５、０６、０９、１０、１３、１４ラインの動作の状態を示す。Ｆｒ＿Ｓが、短時間露光フレームを構成する０３、０４、０７、０８、１１、１２、１５、１６ラインの動作の状態を示す。

長時間露光フレームＦｒ＿Ｌでは、長期垂直同期信号ＶＤＬに同期して、その長期垂直同期期間Ｔｆｒｌ毎に連続してローリングシャッタ動作が実施される。

また、短時間露光フレームＦｒ＿Ｓでは、長期垂直同期信号ＶＤＬに同期してローリングシャッタ動作の露光を開始し、次の短期垂直同期信号ＶＤＳに同期してローリングシャッタ動作の読み出しを開始する。

これは、次のように説明することもできる。すなわち、短時間露光ラインについては、長時間露光ラインの画素信号の読み出し期間と重複しない短期垂直同期信号ＶＤＳに同期して画素信号の読み出しを開始する。従って、短時間露光ラインの読み出し期間が長時間露光ラインの画素信号の読み出し期間と重複してしまうことになる短時間露光ラインの露光は行わない。

具体的には、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第１の短期垂直同期期間Ｔｆｒｓ１で、一巡前のタイミングに露光を開始した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１が出力される。次に、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第２の短期垂直同期期間Ｔｆｒｓ２で、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２が出力される。同様に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第３の短期垂直同期期間Ｔｆｒｓ３で、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ３が出力される。次に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第４の短期垂直同期期間Ｔｆｒｓ４で、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ４が出力される。

これにより、本実施形態では、短期垂直同期信号ＶＤＳに同期して、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔと短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔが交互に出力される。そのため、従来の長時間露光終了後に全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しにかかる処理負荷が平準化されることになる。

次に、電子シャッタを用いた露光制御について説明する。
第１の長期垂直同期期間Ｔｆｒｌ１においては、長時間露光フレームの露光時間が短期垂直同期期間Ｔｆｒｓを超えて制御された場合の長時間露光フレーム及び短時間露光フレームの電子シャッタ動作となっている。

まず、第１の長期垂直同期期間Ｔｆｒｌ１における短時間露光フレームＦｒ＿Ｓにおいて、タイミングｔ２１で、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作が破線４１０で示される。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ２１から露光時間Ｔｆｒｓ＿ｅｘｐｌ経過後のｔ２３において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間Ｔｆｒｓ＿ｅｘｐｌは、７ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｌとなる信号を出力することになる。この時の短時間露光フレームＦｒ＿Ｓの出力信号が、第２の短期垂直同期期間Ｔｆｒｓ２におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ２となる。

この時、第１の長期垂直同期期間Ｔｆｒｌ１における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ２２において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットして０１ラインの露光を開始する。この時のリセット動作が破線４２０で示される。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ２２から露光時間Ｔｆｒｌ＿ｅｘｐｌ経過後のｔ２４において、ＶＤＬに同期して、０１ラインの読み出しを実施する。連続撮影では、タイミングｔ２４以降はｔ２０に戻って繰り返すが、ここでは長時間露光フレームＦｒ＿Ｌの動作終了まで連続して説明する。この時、露光時間Ｔｆｒｌ＿ｅｘｐｌは、１４ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。

これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐｌとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、第３の短期垂直同期期間Ｔｆｒｓ３におけるＦｒ＿Ｌ Ｒｅａｄｏｕｔ３となる。

以上が、第１の長期垂直同期期間Ｔｆｒｌ１で実施される電子シャッタを用いた露光制御の動作である。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｌと長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｌの比は、７ＨＤ：１４ＨＤ＝１：２となっている。

次に、第２の長期垂直同期期間Ｔｆｒｌ２で実施される電子シャッタを用いた露光制御の動作を説明する。第２の長期垂直同期期間Ｔｆｒｌ２においては、露光時間が短期垂直同期期間Ｔｆｒｓ内で制御された場合の長時間露光フレームと短時間露光フレームの電子シャッタ動作となっている。さらに、上記した先行フレームの第１の長期垂直同期期間Ｔｆｒｌ１に対して露出条件が変更された場合を想定している。

まず、第２の長期垂直同期期間Ｔｆｒｌ２における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ２５において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作が破線４３０で示される。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ２５から露光時間Ｔｆｒｓ＿ｅｘｐｓ経過後のｔ２６において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間Ｔｆｒｓ＿ｅｘｐｓは、２ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｓとなる信号を出力することになる。この時の短時間露光フレームＦｒ＿Ｓの出力信号が、第４の短期垂直同期期間Ｔｆｒｓ４におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ４となる。

この時、第２の長期垂直同期期間Ｔｆｒｌ２における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ２７において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットして０１ラインの露光を開始する。この時のリセット動作が破線４４０で示される。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ２７から露光時間Ｔｆｒｌ＿ｅｘｐｓ経過後のｔ２８において、ＶＤＬに同期して、０１ラインの読み出しを実施する。この時、露光時間Ｔｆｒｌ＿ｅｘｐｓは、４ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。

これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐｓとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、タイミングｔ２８以降のＲｅａｄＯｕｔとなる。

以上が、第２の長期垂直同期期間Ｔｆｒｌ２で実施される電子シャッタを用いた露光制御の動作である。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｓと長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｓの比は、２ＨＤ：４ＨＤ＝１：２となっている。

これらの電子シャッタ動作により、短時間露光と長時間露光における露光時間の比が各フレームで一定（１：２）となるように制御される。このため、感度比を補償するゲイン値は、短時間露光画素の信号に対して２倍に設定する。そして、長時間露光画素の信号と短時間露光画素の信号を合成することでＨＤＲ処理を実行すればよい。

次に、本実施形態における撮影動作とＨＤＲ処理について説明する。ＨＤＲ処理では、長時間露光により得られた第１の画像データと短時間露光により得られた第２の画像データとを合成して、第１及び第２の画像データに対してダイナミックレンジが拡大された第３の画像データを作成する。ＨＤＲ処理は、図１の信号処理部１３において実施される。

信号処理部１３においては、撮像素子１２から出力される画素信号に対して、画素信号補正処理、位置ずれ補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。ここでは、短時間露光フレームＦｒ＿Ｓの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２と長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ３を用いた場合について説明する。

まず、短期垂直同期信号ＶＤＳに同期して出力される短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２に対して、画素信号補正処理を行う。画素信号補正処理としては例えば、キズ補正、固定パターン補正、シェーディング補正等の補正処理を行う。次に、長時間露光ラインと短時間露光ラインが２ライン毎に位置がずれているため、後に出力される長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ３に合うように位置ずれ補正処理を行う。図２の画素領域２００には１６ラインしか示されていないが、実際には、９６０ラインあるいは２０４８ライン程度を備えている。したがって、画素領域２００を短時間露光フレームと長時間露光フレームに分割したとしても十分な解像度を維持したまま位置ずれ補正を実施することができる。位置ずれ補正処理は、短時間露光フレームの０３、０４、０７、０８、１１、１２、１５、１６ラインを用いて、０１、０２、０５、０６、０９、１０、１３、１４ラインの位置の短時間露光時の画素信号を求める。例えば、短時間露光フレームの０３、０４、０７、０８ラインを用いて、短時間露光時の０５、０６ラインを補間して求める方法がある。さらに、ＨＤＲ処理の一部として、短時間露光フレームと長時間露光フレームの露光時間の比１：２を補償するため、２倍のゲイン値をかけておく。

こうして求められた短時間露光フレームに相当する０１、０２、０５、０６、０９、１０、１３、１４ラインの画素信号は、信号処理部１３に設けられた不図示のメモリに記憶される。そして、次の長期垂直同期信号ＶＤＬに同期して出力される長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ３に対して、同様の画素信号補正処理を行う。

次に、記憶されている短時間露光フレームに相当する０１、０２、０５、０６、０９、１０、１３、１４ラインの画素信号と長時間露光フレームの０１、０２、０５、０６、０９、１０、１３、１４ラインの画素信号との間で、ＨＤＲ処理を実施する。短時間露光フレームの画素信号には露光時間を補償するゲイン値がすでにかけてあるので、ここでのＨＤＲ処理としては、明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成することになる。明るさに応じた合成の方法としては、例えば次のような方法がある。まず、長時間露光画素の信号の重み付け係数と短時間露光画素の信号の重み付け係数の和を一定値１とする。そして、画像が明るい場合には、短時間露光画素の信号の重み付け係数を大きする。一方、画像が暗い場合には、長時間露光画素の信号の重み付け係数を大きくする。ここまでは、全て画素毎の信号処理になっているので、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。画像信号処理としては、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行う。

このようにして、短時間露光フレームの信号出力時には、短時間露光フレームだけに画素信号補正処理、位置ずれ補正処理、露光時間を補償するゲイン補正を実施する。また、長時間露光フレームの信号出力時には、長時間露光フレームだけの画素信号補正処理、ＨＤＲ処理、画像信号処理を実施する。これにより、処理負荷の分散化が図られる。

さらに、動画撮影においては、第２の短期垂直同期期間Ｔｆｒｓ２の画像は、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１及び短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２を用いて作成される。また、次の第３の短期垂直同期期間Ｔｆｒｓ３の画像は、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２および長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ３を用いて作成される。このように、新たに出力される画像信号を使ってＨＤＲ処理を実施することで、動画撮影時の動画解像度の向上を図ってもよい。

また、連続する２つの露光フレームの出力信号から静止画像を作成する場合は、露光時間の重なりが大きい短時間露光フレーム及び長時間露光フレームの順番に出力する出力信号を用いればよい。例えば、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２及びＦｒ＿Ｌ Ｒｅａｄｏｕｔ３、あるいは、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ４及び不図示のＦｒ＿Ｌ Ｒｅａｄｏｕｔ５を用いればよい。これにより、ブレの少ないダイナミックレンジが拡大された静止画像を作成することができる。

以上説明した第１の実施形態では、短時間露光時のフレーム周期に同期して、短時間露光ラインと長時間露光ラインを別々のフレームで読み出す。また、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ラインを読み出す。これにより、読み出し制御システムの簡略化と読み出し時及び信号処理時の処理負荷の低減及び平準化を実現できる。

また、本実施形態の画素信号の露光動作は長期垂直同期信号又は短期垂直同期信号に同期して行われる。したがって、短時間露光の中心と長時間露光の中心とを合わせるといったような複雑な処理を行う必要がなく、画素信号の読み出しのタイミング制御が単純化される。さらに、長時間露光と短時間露光の露光時間の中心を合わせた場合に発生しうる、短時間露光ラインの読み出し終了と長時間露光ラインの読み出し開始とが干渉してしまうという課題も避けることができる。

また、上述の実施形態では、短時間露光フレームと長時間露光フレームの露光時間の比１：２に合わせて、長期垂直同期期間が短期垂直同期期間の２倍になっている。このため、長時間及び短時間露光フレームの露光時間を有効に利用できるとともに、露光時間制御の複雑化を避けることが可能となっている。

さらに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ラインを読み出すことで、長時間露光と短時間露光を重ねて実行できる。そのため、フレームレートを均一にした場合でも、短時間露光時の１フレームを超える長時間露光を実現できる。加えて、複数回露光方式にみられた露光に寄与しない無駄時間の発生を避けることもできる。

そして、短時間露光ラインと長時間露光ラインを別々のフレームで読み出すことで、ローリング歪の発生を半分に低減することができる。

次に、本実施形態の変形例について説明する。上述の位置ずれ補正処理においては、短時間露光ラインを用いて長時間露光ラインの位置の短時間露光時の画素信号を求めた。しかしこのかわりに、短時間露光フレームとして、０１ラインから１６ラインまでの全ラインを用いてもよい。その時は、長時間露光フレームの０１、０２、０５、０６、０９、１０、１３、１４ラインを用いて、長時間露光フレーム相当の０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号を計算する。そして、長時間露光フレームとして、０１ラインから１６ラインまでの全ラインを用いる。これにより、１６×１６全画素を用いたダイナミックレンジが拡大された画像を生成することができる。

次に、本実施形態の他の変形例について説明する。本実施形態の画像信号処理においては、ＨＤＲ処理後に、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行ったが、画像信号処理を分散してもよい。その時は、露光時間を補償するゲイン値をかけた後の短時間露光フレームの出力信号に対して、ホワイトバランス調整処理と色補正処理を行い、メモリに記憶しておく。そして、画素信号補正処理を行った長時間露光フレームの出力信号に対して、ホワイトバランス調整処理と色補正処理を行う。その後、ＨＤＲ処理を実施し、最後に、画像信号処理としてのガンマ補正処理を行う。こうして、ダイナミックレンジが拡大された画像が生成される。

次に、図９を用いて、本実施形態のさらに他の変形例について説明する。図９（ａ）は、画素領域２００の撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表した画素特性の図である。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表す。それぞれ、露光フレーム期間が、それぞれＴｆｒｓ、２Ｔｆｒｓ、３Ｔｆｒｓ、４Ｔｆｒｓで、かつ、電子シャッタによる露光時間の比が１：２：３：４に制御されている場合の特性を示している。これにより、画素特性Ｅｘｐ１を基準にすると、画素特性Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４の傾きはそれぞれ、２倍、３倍、４倍となる。ＰＳＡＴは、画素の飽和信号量を示している。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４はそれぞれ、撮像面照度Ｅ１、Ｅ２、Ｅ３、Ｅ４において飽和信号量ＰＳＡＴに達するので、それ以上の照度では出力信号は増加しない。破線は、画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４が飽和しないと仮定した場合の表示である。

図９（ｂ）は、画素特性Ｅｘｐ１についての撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。図９（ａ）において、撮像面の照度Ｅ１にて画素が飽和するため、画像信号もＳＳＡＴにて飽和した特性となっている。そして、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。これが、ＨＤＲ処理を行わなかった場合の画素特性である。

図９（ｃ）は、画素特性Ｅｘｐ１及びＥｘｐ２を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態においては、画素特性Ｅｘｐ１及びＥｘｐ２がそれぞれ、短時間露光フレームの出力信号及び長時間露光フレームの出力信号に相当する。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１及びＥｘｐ２を加算して、最大飽和信号がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ２までは、図９（ａ）における画素特性Ｅｘｐ１及びＥｘｐ２を加算することで、Ｅｘｐ１の３倍の感度に相当する画素特性となる。撮像面照度Ｅ２からＥ１までは、図９（ａ）において画素特性Ｅｘｐ２が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図９（ａ）において画素特性Ｅｘｐ１及びＥｘｐ２がともに飽和しているので、最大飽和信号量となる２ＰＳＡＴとなっている。

このように加算した画素特性に対して、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化することで、図９（ｃ）のＨＤＲ処理が実現する。そして、撮像素子１２を図４のように動作させるとともに、信号処理部１３において図９（ｃ）となるようにＨＤＲ処理を実施するように撮像装置を制御すればよい。

これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、撮像面照度０からＥ２の画像信号特性の傾きを、図９（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度３倍相当）／（最大飽和信号量２倍）＝１．５倍になっていることより、ダイナミックレンジは、１．５倍に拡大されていることになる。

ただし、画像信号特性の飽和信号ＳＳＡＴが２ＳＳＡＴまで利用可能であれば、ダイナミックレンジは、３倍まで拡大することができる。図９（ｃ）は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大することが可能である。

＜第２の実施形態＞
第１の実施形態においては、２ライン毎に露光時間が異なるようにして長時間露光フレームと短時間露光フレームの２つのフレームを設定した。第２の実施形態では、さらに異なる露光時間を持つフレームを加えることで、よりダイナミックレンジの広い画像を生成する。以下、２ライン毎に露光時間が異なるフレームとして、長時間露光フレーム及び短時間露光フレームに加え、中時間露光フレームを設定した場合について説明する。なお、本実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第１の実施形態と同様である。したがって本実施形態にも図１及び図２を援用し、以下に示す図５、図６においても図３、図４と同じ要素には同じ参照符号を用いる。

図５は、本実施形態に係る撮像素子１２の制御タイミングを示す図である。本実施形態では、ＨＤＲ処理のために、画素領域２００には、２ライン単位で、長時間露光ライン及び短時間露光ラインに加え、中時間露光用のライン（以下「中時間露光ライン」という。）が設定される。中時間露光の露光時間は、長時間露光の露光時間と短時間露光の露光時間の中間の時間長に設定される。

図５において、ＶＤＭは、中時間露光フレームの垂直同期信号（中期垂直同期信号）を示し、その１周期にあたる中期垂直同期期間がＴｆｒｍで示されている。中期垂直同期期間Ｔｆｒｍは、短期垂直同期信号のＮ周期分（＝Ｎ・Ｔｆｒｓ。ただしＮは２以上の自然数）に等しい。図５の例では、Ｎ＝２である。長期垂直同期期間Ｔｆｒｌは、短期垂直同期信号のＭ周期分（＝Ｍ・Ｔｆｒｓ。ただしＭはＮより大きい自然数）に等しい。図５の例では、Ｍ＝３、つまり３周期分である。本実施形態では、これらの短期垂直同期信号、長期垂直同期信号、長期垂直同期信号は、同期信号発生手段としてのＴＧ２９０によって発生される。

ここでは、２ライン毎に露光時間が異なるように、長時間露光ラインを０１、０２、０７、０８、１３、１４ラインとし、中時間露光ラインを０３、０４、０９、１０、１５、１６ラインとし、短時間露光ラインを０５、０６、１１、１２ラインとする。そして、各ラインの画素の信号を列信号処理部２５０に読み出した後、１ライン分の画素の信号を出力部２８０から出力する期間として、対応する１ＨＤ期間をＲＯと表示する。ここで、各ラインの画素の信号を列信号処理部２５０に読み出す期間は、１ライン分の画素の信号を出力部２８０から出力する期間に比べて十分短いので、次の露光フレームはＲＯ期間から始まるものとする。また、２ライン毎に露光時間が異なる信号からＨＤＲ処理を実施しやすいように、それぞれの画素はベイヤ配列のような２ｘ２配列の色フィルタを備えているものとする。ＲｅａｄＯｕｔは、読み出した画素信号が出力部２８０から出力されるタイミングを示す。ＲｅａｄＯｕｔには以下の３種類がある。
（１）画素から読み出した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ。
（２）中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ。
（３）短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ。

まず、タイミングｔ００において、ＶＤＬ、ＶＤＭ及びＶＤＳに同期して、０１ライン、０３ライン及び０５ラインの読み出しを実施することで、画素をリセットし、０１ライン、０３ライン及び０５ラインの露光を開始する。
タイミングｔ０１において、０２ライン、０４ライン及び０６ラインの読み出しを実施することで、画素をリセットし、０２ライン、０４ライン及び０６ラインの露光を開始する。
タイミングｔ０２において、０７ライン、０９ライン及び１１ラインの読み出しを実施することで、画素をリセットし、０７ライン、０９ライン及び１１ラインの露光を開始する。
タイミングｔ０３において、０８ライン、１０ライン及び１２ラインの読み出しを実施することで、画素をリセットし、０８ライン、１０ライン及び１２ラインの露光を開始する。
同様の方法で、１３ラインから１６ラインまでをリセットして、１３ラインから１６ラインまでの露光を開始する。

このように、１ＨＤ経過する毎に、リセットすることで、ライン順次のローリングシャッタ動作を開始する。

次に、タイミングｔ００からＴｆｒｓ経過後のｔ０５において、ＶＤＳに同期して、０５ラインの画素の信号をＲＯ期間に出力する。この時、０１ライン及び０３ラインは露光を継続する。
タイミングｔ０６において、０６ラインの画素の信号をＲＯ期間に出力する。この時、０２ライン及び０４ラインは露光を継続する。
タイミングｔ０７において、１１ラインの画素の信号をＲＯ期間に出力する。この時、０７ライン及び０９ラインは露光を継続する。
タイミングｔ０８において、１２ラインの画素の信号をＲＯ期間に出力する。この時、０８ライン及び１０ラインは露光を継続する。
同様に、１３、１４、１５、１６ラインは露光を継続する。

このように、１ＨＤ経過する毎に、短時間露光ラインである０５、０６、１１、１２ラインを読み出すことで、短時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の短時間露光フレームの出力がＦｒ＿Ｓ Ｒｅａｄｏｕｔとなる。ここで、この短時間露光フレームにおいては、画素の読み出しをすることで画素をリセットしているので、最長の露光時間は、短期垂直同期期間のＴｆｒｓとなっている。

続くタイミングｔ００からＴｆｒｍ経過後のｔ１０において、ＶＤＭに同期して、０３ラインの画素の信号をＲＯ期間に出力する。この時、０１ラインは露光を継続する。
タイミングｔ１１において、０４ラインの画素の信号をＲＯ期間に出力する。この時、０２ラインは露光を継続する。
タイミングｔ１２において、０９ラインの画素の信号をＲＯ期間に出力する。この時、０７ラインは露光を継続する。
タイミングｔ１３において、１０ラインの画素の信号をＲＯ期間に出力する。この時、０８ラインは露光を継続する。
同様の方法で、１５、１６ラインの読み出しも実施する。この時、１３、１４ラインは露光を継続する。

このように、１ＨＤ経過する毎に、中時間露光ラインである０３、０４、０９、１０、１５、１６ラインを読み出すことで、中時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の中時間露光フレームの出力がＦｒ＿Ｍ Ｒｅａｄｏｕｔとなる。ここで、この中時間露光フレームにおいては、画素の読み出しをすることで画素をリセットしているので、最長の露光時間は、中期垂直同期期間Ｔｆｒｍとなっている。

さらに、中期垂直同期期間Ｔｆｒｍは、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔを含む短期垂直同期期間Ｔｆｒｓの２倍の期間となっている。

続く、タイミングｔ００からＴｆｒｌ経過後のｔ１５において、ＶＤＬに同期して、０１ラインの画素の信号をＲＯ期間に出力する。
タイミングｔ１６において、０２ラインの画素の信号をＲＯ期間に出力する。
タイミングｔ１７において、０７ラインの画素の信号をＲＯ期間に出力する。
タイミングｔ１８において、０８ラインの画素の信号をＲＯ期間に出力する。
同様の方法で、１３、１４ラインの読み出しも実施する。

このように、１ＨＤ経過する毎に、長時間露光ラインである０１、０２、０７、０８、１３、１４ラインを読み出すことで、長時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の長時間露光フレームの出力がＦｒ＿Ｌ Ｒｅａｄｏｕｔとなる。ここで、この長時間露光フレームにおいては、画素の読み出しをすることで画素をリセットしているので、最長の露光時間は、長期垂直同期期間Ｔｆｒｌとなっている。

さらに、長期垂直同期期間Ｔｆｒｌは、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔを含む短期垂直同期期間Ｔｆｒｓの３倍の期間となっている。また、２ライン毎に長時間露光ライン、中時間露光ライン、及び短時間露光ラインに分けて読み出しているので、全ラインを一度に読み出す動作に比べて、それぞれのフレームの読み出し時間は約３分の１になっている。

図６は、本実施形態に係る長時間露光フレーム、中時間露光フレーム、及び短時間露光フレームの制御タイミングを示す図である。図６においては、図５のライン毎の動作をフレーム毎の動作で示すとともに、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。そこで、連続撮影を可能にするために、タイミングｔ３６以降の制御タイミングは、ｔ３０に戻って繰り返すものとする。また、図５と同じ動作や構成のものは、同じ符号で示す。

タイミングｔ３０からｔ３６までが、第１の長期垂直同期期間Ｔｆｒｌ１である。また、タイミングｔ３６からｔ４２までが、第２の垂直同期期間Ｔｆｒｌ２である。
タイミングｔ３０からｔ３５までが、第１の中期垂直同期期間Ｔｆｒｍ１である。また、タイミングｔ３６からｔ４０までが、第２の中期垂直同期期間Ｔｆｒｍ２である。
タイミングｔ３０からｔ３４までが、第１の短期垂直同期期間Ｔｆｒｓ１である。
タイミングｔ３４からｔ３５までが、第２の短期垂直同期期間Ｔｆｒｓ２である。
タイミングｔ３５からｔ３６までが、第３の短期垂直同期期間Ｔｆｒｓ３である。
タイミングｔ３６からｔ３８までが、第４の短期垂直同期期間Ｔｆｒｓ４である。
タイミングｔ３８からｔ４０までが、第５の短期垂直同期期間Ｔｆｒｓ５である。
タイミングｔ４０からｔ４２までが、第６の短期垂直同期期間Ｔｆｒｓ６である。

Ｆｒ＿Ｌが、長時間露光フレームを構成する０１、０２、０７、０８、１３、１４ラインの動作の状態を示す。Ｆｒ＿Ｍが、中時間露光フレームを構成する０３、０４、０９、１０、１５、１６ラインの動作の状態を示す。Ｆｒ＿Ｓが、短時間露光フレームを構成する０５、０６、１１、１２ラインの動作の状態を示す。

長時間露光フレームＦｒ＿Ｌでは、長期垂直同期信号ＶＤＬに同期して、その長期垂直同期期間Ｔｆｒｌ毎に、長時間露光ラインに対して連続してローリングシャッタ動作を実施する。

また、中時間露光フレームＦｒ＿Ｍでは、長期垂直同期信号ＶＤＬに同期して第１の中期垂直同期期間Ｔｆｒｍ１及び第２の中期垂直同期期間Ｔｆｒｍ２で、中時間露光ラインに対してローリングシャッタ動作を開始する。その後、次の中期垂直同期信号ＶＤＭに同期して、中時間露光ラインについての画素信号の読み出しを開始する。これは、次のように説明することもできる。すなわち、中時間露光ラインについては、長時間露光ラインの画素信号の読み出し期間と重複しない中期垂直同期信号ＶＤＭに同期して画素信号の読み出しを開始する。

さらに、短時間露光フレームＦｒ＿Ｓでは、長期垂直同期信号ＶＤＬに同期して、短時間露光ラインに対してローリングシャッタ動作の露光を開始する。その後、次の短期垂直同期信号ＶＤＳに同期して、短時間露光ラインについての画素信号の読み出しを開始する。ここでは、短時間露光ラインについては、長時間露光ラインの画素信号の読み出し期間と重複せず、中時間露光ラインの画素信号の読み出し期間とも重複しない短期垂直同期信号ＶＤＳに同期して画素信号の読み出しを開始する。

具体的には、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第１の短期垂直同期期間Ｔｆｒｓ１で、一巡前のタイミングに露光を開始した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１が出力される。次に、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第２の短期垂直同期期間Ｔｆｒｓ２で、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２が出力される。次に、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第３の短期垂直同期期間Ｔｆｒｓ３で、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３が出力される。

同様に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第４の短期垂直同期期間Ｔｆｒｓ４で、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４が出力される。次に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第５の長期垂直同期期間Ｔｆｒｓ５で、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ５が出力される。次に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第６の短期垂直同期期間Ｔｆｒｓ６において、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ６が出力される。

これにより、本実施形態では、ＶＤＳに同期して、出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔが順番に繰り返し出力されることになる。そのため、長時間露光終了後に全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化されることになる。

次に、電子シャッタを用いた露光制御について説明する。
第１の長期垂直同期期間Ｔｆｒｌ１においては、長時間露光フレームの露光時間が短期垂直同期期間Ｔｆｒｓを超えて制御された場合の長時間露光フレーム、中時間露光フレーム、及び短時間露光フレームの電子シャッタ動作となっている。

まず、第１の長期垂直同期期間Ｔｆｒｌ１における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ３１で、水平同期信号ＨＤに同期して、０５ラインの画素をリセットして０５ラインの露光を開始する。この時のリセット動作が破線６１０で示される。続けて、１ＨＤ経過する毎に、０６、１１、１２ラインをそれぞれリセットすることで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３１から露光時間Ｔｆｒｓ＿ｅｘｐｌ経過後のｔ３４において、ＶＤＳに同期して、０５ラインの読み出しを実施する。この時、露光時間Ｔｆｒｓ＿ｅｘｐｌは、６ＨＤとなっている。続けて、１ＨＤ経過する毎に、０６、１１、１２ラインをそれぞれ読み出すことで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｌとなる信号を出力することになる。この時の短時間露光フレームＦｒ＿Ｓの出力信号が、第２の短期垂直同期期間Ｔｆｒｓ２におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ２となる。

この時、第１の長期垂直同期期間Ｔｆｒｌ１における中時間露光フレームＦｒ＿Ｍにおいては、タイミングｔ３２において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作が破線６２０で示される。続けて、１ＨＤ経過する毎に、０４、０９、１０、１５、１６ラインをそれぞれリセットすることで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３２から露光時間Ｔｆｒｍ＿ｅｘｐｌ経過後のｔ３５において、ＶＤＭに同期して、０３ラインの読み出しを実施する。この時、露光時間Ｔｆｒｍ＿ｅｘｐｌは、１２ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０９、１０、１５、１６ラインをそれぞれ読み出すことで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を終了する。これにより、中時間露光フレームＦｒ＿Ｍは、すべてのラインで露光時間Ｔｆｒｍ＿ｅｘｐｌとなる信号を出力することになる。この時の中時間露光フレームＦｒ＿Ｍの出力信号が、短時間露光フレームの第３の垂直同期期間Ｔｆｒｓ３におけるＦｒ＿Ｍ Ｒｅａｄｏｕｔ３となる。

この時、第１の長期垂直同期期間Ｔｆｒｌ１における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ３３において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットして０１ラインの露光を開始する。この時のリセット動作が破線６３０で示される。続けて、１ＨＤ経過する毎に、０２、０７、０８、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３３から露光時間Ｔｆｒｌ＿ｅｘｐｌ経過後のｔ３６において、ＶＤＬに同期して、０１ラインの読み出しを実施する。連続撮影では、タイミングｔ３６以降はｔ３０に戻って繰り返すが、ここでは長時間露光フレームＦｒ＿Ｌの動作終了まで連続して説明する。この時、露光時間となるＴｆｒｌ＿ｅｘｐｌは、１８ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０７、０８、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。

これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐｌとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、短時間露光フレームの第４の垂直同期期間Ｔｆｒｓ４におけるＦｒ＿Ｌ Ｒｅａｄｏｕｔ４となる。

以上が、第１の長期垂直同期期間Ｔｆｒｌ１で実施される電子シャッタを用いた露光制御の動作である。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｌ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐｌと長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｌの比は、６ＨＤ：１２ＨＤ：１８ＨＤ＝１：２：３となっている。

次に、第２の長期垂直同期期間Ｔｆｒｌ２で実施される電子シャッタを用いた露光制御の動作を説明する。
第２の長期垂直同期期間Ｔｆｒｌ２においては、露光時間が短期垂直同期期間Ｔｆｒｓ内で制御された場合の長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの電子シャッタ動作となっている。さらに、上記した先行フレームの第１の長期垂直同期期間Ｔｆｒｌ１に対して露出条件が変更された場合を想定している。

まず、第２の長期垂直同期期間Ｔｆｒｌ２における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ３７において、水平同期信号ＨＤに同期して、０５ラインの画素をリセットして０５ラインの露光を開始する。この時のリセット動作が破線６４０で示される。続けて、１ＨＤ経過する毎に、０６、１１、１２ラインをそれぞれリセットすることで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３７から露光時間Ｔｆｒｓ＿ｅｘｐｓ経過後のｔ３８において、ＶＤＳに同期して、０５ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｓは、２ＨＤとなっている。続けて、１ＨＤ経過する毎に、０６、１１、１２ラインをそれぞれ読み出すことで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｓとなる信号を出力することになる。この時の短時間露光フレームＦｒ＿Ｓの出力信号が、第５の短期垂直同期期間Ｔｆｒｓ５におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ５となる。

この時、第２の長期垂直同期期間Ｔｆｒｌ２における中時間露光フレームＦｒ＿Ｍにおいては、タイミングｔ３９において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作が破線６５０で示される。続けて、１ＨＤ経過する毎に、０４、０９、１０、１５、１６ラインをそれぞれリセットすることで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３９から露光時間Ｔｆｒｍ＿ｅｘｐｓ経過後のｔ４０において、ＶＤＭに同期して、０３ラインの読み出しを実施する。この時、露光時間Ｔｆｒｍ＿ｅｘｐｓは、４ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０９、１０、１５、１６ラインをそれぞれ読み出すことで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を終了する。

これにより、中時間露光フレームＦｒ＿Ｍは、すべてのラインで露光時間Ｔｆｒｍ＿ｅｘｐｓとなる信号を出力することになる。この時の中時間露光フレームＦｒ＿Ｍの出力信号が、第６の短期垂直同期期間Ｔｆｒｓ６におけるＦｒ＿Ｍ Ｒｅａｄｏｕｔ６となる。

この時、第２の長期垂直同期期間Ｔｆｒｌ２における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ４１において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットして０１ラインの露光を開始する。この時のリセット動作が破線６６０で示される。続けて、１ＨＤ経過する毎に、０２、０７、０８、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ４１から露光時間Ｔｆｒｌ＿ｅｘｐｓ経過後のｔ４２において、ＶＤＬに同期して、０１ラインの読み出しを実施する。この時、露光時間Ｔｆｒｌ＿ｅｘｐｓは、６ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０７、０８、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。

これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐｓとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、タイミングｔ４２以降のＲｅａｄＯｕｔとなる。

以上が、第２の長期垂直同期期間Ｔｆｒｌ２で実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｓ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐｓ、及び長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｓの比は、２ＨＤ：４ＨＤ：６ＨＤ＝１：２：３となっている。

これらの電子シャッタ動作により、短時間露光、中時間露光、及び長時間露光の露光時間の比が各フレームで一定（１：２：３）となるように制御される。このため、感度比を補償するゲイン値は、短時間露光画素の信号に対して３倍、中時間露光画素の信号に対して１．５倍に設定する。そして、長時間露光画素の信号、中時間露光画素の信号及び短時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。

次に、本実施形態における撮影動作とＨＤＲ処理について説明する。ＨＤＲ処理では、長時間露光により得られた第１の画像データと中時間露光により得られた第２の画像データと短時間露光により得られた第３の画像データとを合成する。これにより、第１、第２、第３の画像データに対してダイナミックレンジが拡大された第４の画像データを作成する。ＨＤＲ処理は、図１の信号処理部１３において実施される。

信号処理部１３においては、撮像素子１２から出力される画素信号に対して、画素信号補正処理、位置ずれ補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。ここでは、短時間露光フレームＦｒ＿Ｓの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２、中時間露光フレームＦｒ＿Ｍの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３、及び長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４を用いた場合について説明する。

まず、短期垂直同期信号ＶＤＳに同期して出力される短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２に対して、画素信号補正処理を行う。画素信号補正処理としては例えば、キズ補正、固定パターン補正、シェーディング補正等の補正処理を行う。次に、長時間露光ラインと短時間露光ラインが２ライン毎に位置がずれているため、後に出力される長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４に合うように位置ずれ補正処理を行う。図２の画素領域２００には１６ラインしか示されていないが、実際には、１４４０ラインあるいは３０７２ライン程度を備えている。したがって画素領域２００を短時間露光フレーム、中時間露光フレーム、長時間露光フレームに分割したとしても十分な解像度を維持したまま位置ずれ補正を実施することができる。位置ずれ補正処理は、短時間露光フレームの０５、０６、１１、１２ラインを用いて、０１、０２、０７、０８、１３、１４ラインの位置の短時間露光時の画素信号を求める。例えば、短時間露光フレームの０５、０６、１１、１２ラインを用いて、短時間露光時の０７、０８ラインを補間して求める方法がある。さらに、ＨＤＲ処理の一部として、短時間露光フレームと長時間露光フレームの露光時間の比１：３を補償するため、３倍のゲイン値をかけておく。

こうして求められた短時間露光フレームに相当する０１、０２、０７、０８、１３、１４ラインの画素信号は、信号処理部１３に設けられた不図示のメモリに記憶される。そして、次の中期垂直同期信号ＶＤＭに同期して出力される中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３に対して、同様の画素信号補正処理を行う。

次に、長時間露光ラインと中時間露光ラインが２ライン毎に位置がずれているため、後から出力される長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４に合うように位置ずれ補正処理を行う。位置ずれ補正処理は、中時間露光フレームの０３、０４、０９、１０、１５、１６ラインを用いて、０１、０２、０７、０８、１３、１４ラインの位置の中時間露光時の画素信号を求める。例えば、中時間露光フレームの０３、０４、０９、１０ラインを用いて、中時間露光時の０７、０８ラインを補間して求める方法がある。さらに、ＨＤＲ処理の一部として、中時間露光フレームと長時間露光フレームの露光時間の比２：３を補償するため、１．５倍のゲイン値をかけておく。

こうして求められた中時間露光フレームに相当する０３、０４、０９、１０、１５、１６ラインの画素信号は、信号処理部１３に設けられた不図示のメモリに記憶される。そして、次の長期垂直同期信号ＶＤＬに同期して出力される長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４に対して、同様の画素信号補正処理を行う。

その後、以下の（１）〜（３）の画素信号の間でＨＤＲ処理を実施する。
（１）記憶されている短時間露光フレームに相当する０１、０２、０７、０８、１３、１４ラインの画素信号。
（２）記憶されている中時間露光フレームに相当する０１、０２、０７、０８、１３、１４ラインの画素信号。
（３）長時間露光フレームの０１、０２、０７、０８、１３、１４ラインの画素信号。
短時間露光フレームの画素信号及び中時間露光フレームの画素信号には露光時間を補償するゲイン値がすでにかけてある。したがって、ここでのＨＤＲ処理としては、明るさに応じた重み付け係数を用いて、長時間露光画素の信号、中時間露光画素の信号及び短時間露光画素の信号を合成することになる。明るさに応じた合成の方法としては、例えば以下のような方法がある。まず、長時間露光画素の信号の重み付け係数、中時間露光画素の信号の重み付け係数及び短時間露光画素の信号の重み付け係数の和を一定値１とする。そして、画像が明るい場合には、短時間露光画素の信号の重み付け係数を大きくする。一方、画像が暗い場合には、長時間露光画素の信号の重み付け係数を大きくしてやればよい。ここまでは、すべて画素ごとの信号処理になっているので、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。画像信号処理としては、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行う。

このようにして、短時間露光フレームの信号出力時には、短時間露光フレームだけに画素信号補正処理、位置ずれ補正処理、露光時間を補償するゲイン補正を実施する。また、中時間露光フレームの信号出力時には、中時間露光フレームだけに画素信号補正処理、位置ずれ補正処理、露光時間を補償するゲイン補正を実施する。そして、長時間露光フレームの信号出力時には、長時間露光フレームだけの画素信号補正処理、ＨＤＲ処理、画像信号処理を実施する。これにより、処理負荷の分散化が図られる。

さらに、動画撮影においては、Ｔｆｒｓ３の画像が、出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３を用いて作成される。また、次のＴｆｒｓ４の画像が、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４を用いて作成される。このように、新たに出力される画像信号を使ってＨＤＲ処理を実施することで、動画撮影時の動画解像度の向上を図ってもよい。

また、連続する３つの露光フレームの出力信号から静止画像を作成する場合は、露光時間の重なりが大きい中時間露光フレーム、長時間露光フレームおよび短時間露光フレームの順番に出力する出力信号を用いればよい。例えば、出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ５を用いる。あるいは、出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ６、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ７、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ８を用いてもよい。これにより、ブレの少ないダイナミックレンジが拡大された静止画像を作成することができる。

また、位置ずれ補正処理についても、第１の実施形態の変形例と同様にして、１６ｘ１６全画素を用いたダイナミックレンジが拡大された画像を生成することができる。さらに、画像信号処理についても、第１の実施形態の他の変形例と同様に、処理の分散が可能である。

以上のように、本実施形態においては、短時間露光時のフレーム周期に同期して、短時間露光ライン、中時間露光ライン、長時間露光ラインを別々のフレームで読み出す。また、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ライン及び中時間露光ラインを別々のフレームで読み出す。これにより、読み出し制御システムの簡略化と、読み出し時及び信号処理時の処理負荷の低減及び平準化とを実現することができる。

また、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比１：２：３に合わせて、長期及び中期垂直同期期間をそれぞれ短期垂直同期期間の３倍、２倍に設定している。このため、長時間、中時間、短時間露光フレームの露光時間及を有効に利用できるとともに、露光時間制御の複雑化を避けることが可能となっている。

さらに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間及び中時間露光ラインを読み出すことで、長時間露光、中時間露光、短時間露光を重ねて実行できる。そのため、フレームレートを均一にした場合でも、短時間露光時の１フレームを超える中時間、長時間露光を実現するとともに、複数回露光方式にみられた露光に寄与しない無駄時間の発生を避けることもできる。

そして、短時間露光ライン、中時間露光ライン及び長時間露光ラインを別々のフレームで読み出すことで、ローリング歪の発生を約３分の１に低減することができる。

次に、図９を用いて、本実施形態の変形例について説明する。ＨＤＲ処理の基本的な動作は、第１の実施形態のさらに他の変形例と同様であるので、図および符号を流用する。
図９（ｄ）は、画素特性Ｅｘｐ１、Ｅｘｐ２、及びＥｘｐ３を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態においては、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３がそれぞれ、短時間露光フレームの出力信号、中時間露光フレームの出力信号及び長時間露光フレームの出力信号に相当する。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３を加算して、最大飽和信号がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ３までは、図９（ａ）における画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３を加算することで、Ｅｘｐ１の６倍の感度に相当する画素特性となる。撮像面照度Ｅ３からＥ２までは、図９（ａ）において画素特性Ｅｘｐ３が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１およびＥｘｐ２を加算する。撮像面照度Ｅ２からＥ１までは、図９（ａ）において画素特性Ｅｘｐ２及びＥｘｐ３がともに飽和しているので、２ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図９（ａ）において画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３がすべて飽和しているので、最大飽和信号量となる３ＰＳＡＴとなっている。

このように加算した画素特性に対して、最大飽和信号量３ＰＳＡＴがＳＳＡＴになるように正規化することで、図９（ｄ）のＨＤＲ処理が実現する。そして、撮像素子１２を図６のように動作させるとともに、信号処理部１３において図９（ｄ）となるようにＨＤＲ処理を実施するように撮像装置を制御すればよい。

これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、撮像面照度０からＥ３の画像信号特性の傾きを、図９（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度６倍相当）／（最大飽和信号量３倍）＝２倍になっていることより、ダイナミックレンジは、２倍に拡大されてることになる。

ただし、画像信号特性の飽和信号ＳＳＡＴが３ＳＳＡＴまで利用可能であれば、ダイナミックレンジは、６倍まで拡大することができる。図９（ｄ）は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大することが可能である。

＜第３の実施形態＞
次に、図１、図２、及び図７から図９を参照して、本発明の第３の実施形態について説明する。なお、本実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第１の実施形態と同様であるので、図および符号を流用して説明する。

第１の実施形態においては、２ライン毎に露光時間が異なるようにして長時間露光フレームと短時間露光フレームの２つのフレームを設定してダイナミックレンジの広い画像を生成した。本実施形態においては、長時間露光フレーム中に複数の短時間露光フレームを設定した場合について説明する。

図７は、本実施形態に係る長時間露光ラインと短時間露光ラインの制御タイミングを示す図である。図７において、ＶＤＬは、長時間露光フレームの垂直同期信号（長期垂直同期信号）を示し、その１周期にあたる長期垂直同期期間がＴｆｒｌとなっている。ＶＤＳは、短時間露光フレームの垂直同期信号（短期垂直同期信号）を示し、その垂直同期期間がＴｆｒｓとなっている。

長期垂直同期信号の１周期にあたる垂直同期期間Ｔｆｒｌ（第１の撮像期間）は、短期垂直同期期間（第２の撮像期間）のＮ周期分（＝Ｎ・Ｔｆｒｓ。ただしＮは３以上の自然数。）に等しい。図７の例では、Ｎ＝３、すなわち３周期分である。本実施形態では、これらの短期垂直同期信号、長期垂直同期信号は、同期信号発生手段としてのＴＧ２９０によって発生される。

ＨＤは、水平同期信号を示し、画素のリセット動作や読み出し動作を行単位で実施する期間となる。

Ｌｉｎｅ０１からＬｉｎｅ１６は、画素領域２００の画素行Ｐ（０１−−）からＰ（１６−−）の動作の状態を示す。行番号で画素行を表すために列番号は「−−」と表示している。２ライン毎に露光時間が異なるように、長時間露光ラインを０１、０２、０５、０６、０９、１０、１３、１４ラインとし、短時間露光ラインを０３、０４、０７、０８、１１、１２、１５、１６ラインとする。

本実施形態においては、長時間露光を実施する長期垂直同期期間Ｔｆｒｌ中に、短時間露光を２回実施するものとする。そして、各ラインの画素の信号を列信号処理部２５０に読み出した後、１ライン分の画素の信号を出力部２８０から出力する期間として、対応する１ＨＤ期間をＲＯと表示する。ここで、各ラインの画素の信号を列信号処理部２５０に読み出す期間は、１ライン分の画素の信号を出力部２８０から出力する期間に比べて十分短いので、次の露光フレームはＲＯ期間から始まるものとする。また、２ライン毎に露光時間が異なる信号からＨＤＲ処理を実施しやすいように、それぞれの画素はベイヤ配列のような２ｘ２配列の色フィルタを備えているものとする。

ＲｅａｄＯｕｔは、画素から読み出した短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔおよび長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔが出力部２８０から出力するタイミングを示す。

まず、タイミングｔ００において、ＶＤＬおよびＶＤＳに同期して、０１ラインと０３ラインの読み出しを実施することで、画素をリセットし、０１ラインと０３ラインの露光を開始する。
タイミングｔ０１において、０２ラインと０４ラインの読み出しを実施することで、画素をリセットし、０２ラインと０４ラインの露光を開始する。
タイミングｔ０２において、０５ラインと０７ラインの読み出しを実施することで、画素をリセットし、０５ラインと０７ラインの露光を開始する。
タイミングｔ０３において、０６ラインと０８ラインの読み出しを実施することで、画素をリセットし、０６ラインと０８ラインの露光を開始する。
ｔ０４以降も同様の方法で、０９ラインから１６ラインをリセットして、それぞれのラインの露光を開始する。

このように、１ＨＤ経過する毎に、ライン単位で画素をリセットすることで、長時間露光フレームと１回目の短時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。

次に、タイミングｔ００からＴｆｒｓ経過後のｔ０５において、ＶＤＳに同期して、０３ラインの画素の信号をＲＯ期間に出力する。これにより、画素がリセットされ、０３ラインの２回目の短時間露光が開始される。続いてタイミングｔ０６において、０４ラインの画素の信号をＲＯ期間に出力する。これにより、画素がリセットされ、０４ラインの２回目の短時間露光が開始される。ｔ０７以降も同様の方法で、０７、０８、１１、１２、１５、１６ラインの画素の信号をそれぞれのＲＯ期間で出力する。これにより、それぞれの画素がリセットされ、０７、０８、１１、１２、１５、１６ラインの２回目の短時間露光が開始される。

このように、１ＨＤ経過する毎に、１回目の短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインを読み出す。これにより、１回目の短時間露光フレームのライン順次のローリングシャッタ動作が終了するとともに短時間露光ラインに対して２回目の短時間露光を実施する、ライン順次のローリングシャッタ動作を開始することができる。

この時に、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインは露光を継続している。この時の短時間露光フレームの出力信号が１回目のＦｒ＿Ｓ Ｒｅａｄｏｕｔとなる。

ここで、この短時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、短期垂直同期期間のＴｆｒｓとなっている。そして、タイミングｔ００から２Ｔｆｒｓ経過後のｔ１０において、ＶＤＳに同期して、２回目の短時間露光フレームのライン順次の読み出しを実施することで、ライン順次のローリングシャッタ動作が終了する。２回目の短時間露光フレームの読み出しは、１回目の短時間露光フレームのライン順次の読み出しと同じなので説明は省略する。この時も、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインは露光を継続している。この時の短時間露光フレームの出力信号が２回目のＦｒ＿Ｓ Ｒｅａｄｏｕｔとなる。この短時間露光フレームにおいても、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、短期垂直同期期間のＴｆｒｓとなっている。

次に、タイミングｔ００からＴｆｒｌとなる３Ｔｆｒｓ経過後のｔ１５において、ＶＤＳに同期して、０１ラインの画素の信号をＲＯ期間に出力する。続いてタイミングｔ１６において、０２ラインの画素の信号をＲＯ期間に出力する。ｔ１７以降も同様の方法で、０５、０６、０９、１０、１３、１４ラインの画素の信号をそれぞれのＲＯ期間で出力する。

このように、１ＨＤ経過する毎に、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインを読み出すことで、長時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の長時間露光フレームの出力信号がＦｒ＿Ｌ Ｒｅａｄｏｕｔとなる。ここで、この長時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、長期垂直同期期間のＴｆｒｌとなっている。

図７の動作においては、長時間露光フレームの最長の露光時間Ｔｆｒｌは、短時間露光フレームの最長の露光時間Ｔｆｒｓの３倍の期間となっている。また、短時間露光を実施する２回の短時間露光フレームを長時間露光フレームに重ねて実施するように制御されていることがわかる。さらに、２ライン毎に短時間露光ラインと長時間露光ラインに分けて読み出しているので、全ラインを一度に読み出す動作に比べて、それぞれのフレームの読み出し時間は約半分になっている。

図８は、本実施形態に係る長時間露光フレームと短時間露光フレームの制御タイミングを示す図である。図８においては、図７のライン毎の動作をフレーム毎の動作で示すとともに、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするためには、タイミングｔ３６以降の制御タイミングは、ｔ３０に戻って繰り返すものとする。また、図７と同じ動作や構成のものは、同じ符号で示すものとする。タイミングｔ３０からｔ３６まで、及び、タイミングｔ３６からｔ４２までが、第１の長期垂直同期期間Ｔｆｒｌ１及び第２の長期垂直同期期間Ｔｆｒｌ２を示す。

タイミングｔ３０からｔ３３までが、第１の短期垂直同期期間Ｔｆｒｓ１である。
タイミングｔ３３からｔ３５までが、第２の短期垂直同期期間Ｔｆｒｓ２である。
タイミングｔ３５からｔ３６までが、第３の短期垂直同期期間Ｔｆｒｓ３である。
タイミングｔ３６からｔ３８までが、第４の短期垂直同期期間Ｔｆｒｓ４である。
タイミングｔ３８からｔ４０までが、第５の短期垂直同期期間Ｔｆｒｓ５である。
タイミングｔ４０からｔ４２までが、第６の短期垂直同期期間Ｔｆｒｓ６を示す。

Ｆｒ＿Ｌが、長時間露光フレームを構成する０１、０２、０５、０６、０９、１０、１３、１４ラインの動作の状態を示す。
Ｆｒ＿Ｓが、短時間露光フレームを構成する０３、０４、０７、０８、１１、１２、１５、１６ラインの動作の状態を示す。

ここで、長時間露光フレームＦｒ＿Ｌは、長期垂直同期信号ＶＤＬに同期して、長期垂直同期期間のＴｆｒｌ毎に連続してローリングシャッタ動作を実施するものとする。また、短時間露光フレームＦｒ＿Ｓでは、長期垂直同期信号ＶＤＬに同期して１回目のローリングシャッタ動作の露光を開始する。そのＴｆｒｓ後の短期垂直同期信号ＶＤＳに同期して、１回目のローリングシャッタ動作の読み出しを開始するとともに、２回目のローリングシャッタ動作の露光を開始する。さらに、そのＴｆｒｓ後の短期垂直同期信号ＶＤＳに同期して、２回目のローリングシャッタ動作の読み出しを開始する。ここでは、短時間露光ラインについては、長時間露光ラインの画素信号の読み出し期間と重複しないＶＤＳに同期して短時間露光と画素信号の読み出しを複数回実行する。そして、この動作を長期垂直同期信号ＶＤＬに同期して繰り返し実施するものとする。

具体的には、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第１の短期垂直同期期間Ｔｆｒｓ１で、一巡前に露光を開始した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１が出力される。次に、第２の短期垂直同期期間Ｔｆｒｓ２で、１回目の短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２が出力される。次に、第３の短期垂直同期期間Ｔｆｒｓ３で、２回目の短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３が出力される。

同様に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第４の短期垂直同期期間Ｔｆｒｓ４で、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４が出力される。次に、第５の短期垂直同期期間Ｔｆｒｓ５で、１回目の短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ５が出力される。次に、第６の短期垂直同期期間Ｔｆｒｓ６で、２回目の短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ６が出力される。

これにより、短期垂直同期信号ＶＤＳに同期して、出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔが繰り返し出力されることになる。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化されることになる。

次に、電子シャッタを用いた露光制御について説明する。
第１の長期垂直同期期間Ｔｆｒｌ１においては、長時間露光フレームの露光時間が短期垂直同期期間Ｔｆｒｓを超えて制御された場合の長時間露光フレームおよび短時間露光フレームの電子シャッタ動作となっている。

まず、Ｔｆｒｌ１におけるＦｒ＿Ｓにおいては、タイミングｔ３１において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作は破線６１０で示される。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、１回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３１からＴｆｒｓ＿ｅｘｐｌ経過後のｔ３３において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｌは、６ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、１回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｌとなる信号を出力することになる。この時の１回目の短時間露光フレームＦｒ＿Ｓの出力信号が、第２の短期垂直同期期間Ｔｆｒｓ２におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ２となる。

次に、第１の長期垂直同期期間Ｔｆｒｌ１における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ３４において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作は破線６３０で示される。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、２回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３４からＴｆｒｓ＿ｅｘｐｌ経過後のｔ３５において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｌは、６ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、２回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｌとなる信号を出力することになる。この時の２回目の短時間露光フレームＦｒ＿Ｓの出力信号が、第３の短期垂直同期期間Ｔｆｒｓ３におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ３となる。

そして、第１の長期垂直同期期間Ｔｆｒｌ１における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ３２において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットして０１ラインの露光を開始する。この時のリセット動作は破線６２０で示される。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３２からＴｆｒｌ＿ｅｘｐｌ経過後のｔ３６において、ＶＤＳに同期して、０１ラインの読み出しを実施する。連続撮影では、タイミングｔ３６以降はｔ３０に戻って繰り返すが、ここでは長時間露光フレームＦｒ＿Ｌの動作終了まで連続して説明する。この時、露光時間となるＴｆｒｌ＿ｅｘｐｌは、１８ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。

これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐｌとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、第４の短期垂直同期期間Ｔｆｒｓ４におけるＦｒ＿Ｌ Ｒｅａｄｏｕｔ４となる。

以上が、第１の長期垂直同期期間Ｔｆｒｌ１に実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｌおよび長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｌの比は、６ＨＤ：１８ＨＤ＝１：３となっている。

次に、第２の長期垂直同期期間Ｔｆｒｌ２で実施される電子シャッタを用いた露光制御の動作を説明する。
第２の長期垂直同期期間Ｔｆｒｌ２においては、露光時間が短期垂直同期期間Ｔｆｒｓ内で制御された場合の長時間露光フレームおよび短時間露光フレームの電子シャッタ動作となっている。さらに、上記した先行フレームの第１の長期垂直同期期間Ｔｆｒｌ１に対して露出条件が変更された場合を想定している。

まず、第２の長期垂直同期期間Ｔｆｒｌ２における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ３７において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作は破線６４０で示すものとする。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、１回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３７からＴｆｒｓ＿ｅｘｐｓ経過後のｔ３８において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｓは、２ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、１回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｓとなる信号を出力することになる。この時の１回目の短時間露光フレームＦｒ＿Ｓの出力信号が、第５の短期垂直同期期間Ｔｆｒｓ５におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ５となる。

次に、第２の長期垂直同期期間Ｔｆｒｌ２における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ３９において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットして０３ラインの露光を開始する。この時のリセット動作は破線６５０で示される。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、２回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ３９からＴｆｒｓ＿ｅｘｐｓ経過後のｔ４０において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｓは、２ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、２回目の短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。

これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐｓとなる信号を出力することになる。この時の２回目の短時間露光フレームＦｒ＿Ｓの出力信号が、第６の短期垂直同期期間Ｔｆｒｓ６におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ６となる。

そして、第２の長期垂直同期期間Ｔｆｒｌ２における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ４１において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットして０１ラインの露光を開始する。この時のリセット動作は破線６６０で示される。

続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ４１からＴｆｒｌ＿ｅｘｐｓ経過後のｔ４２において、ＶＤＳに同期して、０１ラインの読み出しを実施する。この時、露光時間となるＴｆｒｌ＿ｅｘｐｓは、６ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。

これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐｓとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、タイミングｔ４２以降のＲｅａｄＯｕｔとなる。

以上が、第２の長期垂直同期期間Ｔｆｒｌ２に実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｓおよび長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｓの比は、２ＨＤ：６ＨＤ＝１：３となっている。

これらの電子シャッタ動作により、短時間露光と長時間露光における露光時間の比が各フレームで一定（１：３）となるように制御される。このため、感度比を補償するゲイン値は、短時間露光画素の信号に対して３倍に設定する。そして、長時間露光画素の信号と短時間露光画素の信号を合成することでＨＤＲ処理を実行すればよい。

本実施形態における撮影動作とＨＤＲ処理については、感度比を補償するゲイン値を短時間露光画素の信号に対して３倍に設定して、第１の実施形態と同様に実施すればよい。ここで、本実施形態においては、ＨＤＲ処理に先立ち、１回目と２回目の短時間露光フレームＦｒ＿Ｓの出力信号の間で演算を行ってもよい。例えば、１回目と２回目の短時間露光フレームＦｒ＿Ｓの出力信号を加算平均する。

これにより、ノイズを低減した短時間露光フレームＦｒ＿Ｓの出力信号を用いたＨＤＲ処理が実施できるので、良好な画像を得ることができる。さらに、同じ露光条件である１回目と２回目の短時間露光フレームＦｒ＿Ｓの出力信号から動きベクトルを求めて、手ぶれ補正を実施してもよい。この時、読み出しフレームレートが一定であること、及び、Ｆｒ＿ＳとＦｒ＿Ｌの露光時間の比が一定となっていることから、Ｆｒ＿Ｌの出力信号の重心位置を求めることも容易である。したがって、Ｆｒ＿Ｓの出力信号から求めた動きベクトルをもとに、Ｆｒ＿Ｌの手ぶれ補正を実施することも可能である。

また、１回目と２回目の短時間露光フレームＦｒ＿Ｓの出力信号、あるいは、短時間露光フレームＦｒ＿Ｓと長時間露光フレームＦｒ＿Ｌの出力信号から被写体を抽出する。そして、同じ露光条件である１回目と２回目の短時間露光フレームＦｒ＿Ｓの出力信号から、抽出した被写体の動きベクトルを求めて、被写体ぶれ補正を実施してもよい。

さらに、動画撮影においては、Ｔｆｒｓ３の画像を、出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３を用いて作成する。また、次のＴｆｒｓ４の画像を、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ２、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４を用いて作成する。このように、新たに出力される画像信号を使ってＨＤＲ処理を実施することで、動画撮影時の動画解像度の向上を図ってもよい。

また、連続する３つの露光フレームの出力信号から静止画像を作成する場合は、露光時間の重なりが大きい２回目の短時間露光フレーム、長時間露光フレーム及び１回目の短時間露光フレームの順番に出力する出力信号を用いればよい。例えば、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ５を用いればよい。あるいは、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ６、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ７、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ８を用いればよい。これにより、ブレの少ないダイナミックレンジが拡大された静止画像を作成することができる。

さらに、位置ずれ補正処理についても、第１の実施形態の変形例と同様にして、１６ｘ１６全画素を用いたダイナミックレンジが拡大された画像を生成することができる。そして、画像信号処理についても、第１の実施形態の他の変形例と同様に、処理の分散が可能である。

ここで、本実施形態においては、長期垂直同期期間を短期垂直同期期間の３倍（Ｎ＝３）に設定したが、Ｎ＝４としてもよい。この時、短時間露光フレームを２回のままにして、長期垂直同期期間内に信号の読み出しのない短期垂直同期期間を設けることで、長期垂直同期期間内の平均データレートを低減することができる。あるいは、短時間露光フレームを３回にして、３回分の短時間露光フレームの出力信号を加算平均することで、ノイズをさらに低減してもよい。同様に、Ｎを５以上で、短時間露光フレームの回数を２回からＮ−１回までのどれかを選択して、平均データレートの低減と加算平均によるノイズの低減を図ってもよい。

以上のように、本実施形態においては、短時間露光時のフレーム周期に同期して、短時間露光ラインと長時間露光ラインを別々のフレームで読み出す。また、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ラインを２回読み出す。これにより、短時間露光フレームの出力信号のノイズを低減するとともに、読み出し制御システムの簡略化と読み出し時及び信号処理時の処理負荷の低減及び平準化を実現できる。

また、本実施形態の画素信号の露光動作は長期垂直同期信号又は短期垂直同期信号に同期して行われる。したがって、短時間露光の中心と長時間露光の中心とを合わせるといったような複雑な処理を行う必要がなく、画素信号の読み出しのタイミング制御が単純化される。

さらに、長時間露光と短時間露光の露光時間の中心を合わせた場合に発生しうる、短時間露光ラインの読み出し終了と長時間露光ラインの読み出し開始とが干渉してしまうという課題も避けることができる。

また、上述の実施形態では、短時間露光フレームと長時間露光フレームの露光時間の比１：３に合わせて、長期垂直同期期間が短期垂直同期期間の３倍になっている。このため、長時間及び短時間露光フレームの露光時間を有効に利用できるとともに、露光時間制御の複雑化を避けることが可能となっている。

さらに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ラインを読み出すことで、長時間露光と短時間露光を重ねて実行できる。そのため、フレームレートを均一にした場合でも、短時間露光時の１フレームを超える長時間露光を実現できる。加えて、複数回露光方式にみられた露光に寄与しない無駄時間の発生を避けることもできる。

そして、短時間露光ラインと長時間露光ラインを別々のフレームで読み出すことで、ローリング歪の発生を半分に低減することができる。

次に、図９を用いて、本実施形態の変形例について説明する。ＨＤＲ処理の基本的な動作は、第１の実施形態のさらに他の変形例と同様であるので、図および符号を流用する。

図９（ｅ）は、画素特性Ｅｘｐ１及びＥｘｐ３を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態においては、画素特性Ｅｘｐ１及びＥｘｐ３が、それぞれ短時間露光フレームの出力信号および長時間露光フレームの出力信号に相当する。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１及びＥｘｐ３を加算して、最大飽和信号がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ３までは、図９（ａ）における画素特性Ｅｘｐ１およびＥｘｐ３を加算することで、Ｅｘｐ１の４倍の感度に相当する画素特性となる。撮像面照度Ｅ３からＥ１までは、図９（ａ）において画素特性Ｅｘｐ３が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図９（ａ）において画素特性Ｅｘｐ１およびＥｘｐ３がともに飽和しているので、最大飽和信号量となる２ＰＳＡＴとなっている。

このように加算した画素特性に対して、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化することで、図９（ｅ）のＨＤＲ処理が実現する。そして、撮像素子１２を図８のように動作させるとともに、信号処理部１３において図９（ｅ）となるようにＨＤＲ処理を実施するように撮像装置を制御すればよい。

これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、撮像面照度０からＥ３の画像信号特性の傾きを、図９（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度４倍相当）／（最大飽和信号量２倍）＝２倍になっていることより、ダイナミックレンジは、２倍に拡大されていることになる。

ただし、画像信号特性の飽和信号ＳＳＡＴが２ＳＳＡＴまで利用可能であれば、ダイナミックレンジは、４倍まで拡大することができる。図９（ｅ）は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大することが可能である。

＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、
   短時間露光用の垂直同期信号である短期垂直同期信号と、１周期が前記短期垂直同期信号のＮ周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段と、
   前記同期信号発生手段により発生された前記短期垂直同期信号及び前記長期垂直同期信号に従い、前記撮像素子の色フィルタ周期行単位で複数のラインごとに短時間露光及び長時間露光を実施する露光制御手段と、
   を有し、
   前記露光制御手段は、
   長時間露光用のラインについては、前記長期垂直同期信号に同期して画素信号の読み出しを開始し、
   短時間露光用のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して画素信号の読み出しを開始する
   ことを特徴とする撮像装置。
2. 前記長期垂直同期信号は、前記短期垂直同期信号の２周期分に等しく、
   前記露光制御手段は、
   長時間露光用のラインについてのローリングシャッタ動作と、短時間露光用のラインについてのローリングシャッタ動作とを、第１の長期垂直同期信号に同期して開始し、
   前記短時間露光用のラインについての画素信号の読み出しを、前記第１の長期垂直同期信号の次の短期垂直同期信号に同期して開始し、
   前記長時間露光用のラインについての画素信号の読み出しを、前記第１の長期垂直同期信号の次の第２の長期垂直同期信号に同期して開始する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記露光制御手段は、長時間露光と短時間露光における露光時間の比を各フレームで一定とすることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記長時間露光により得られた第１の画像データと前記短時間露光により得られた第２の画像データとを合成して、前記第１及び第２の画像データに対してダイナミックレンジが拡大された第３の画像データを作成する信号処理手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記同期信号発生手段は、前記短期垂直同期信号と、１周期が前記短期垂直同期信号の３周期分に等しい前記長期垂直同期信号と、１周期が前記短期垂直同期信号の２周期分に等しい中時間露光用の中期垂直同期信号とを発生し、
   前記露光制御手段は、前記同期信号発生手段により発生された前記短期垂直同期信号、前記中期垂直同期信号、及び前記長期垂直同期信号に従い、前記撮像素子の色フィルタ周期行単位で複数のラインごとに短時間露光、中時間露光、及び長時間露光とを実施するものであり、
   前記露光制御手段は、
   長時間露光用のラインについては、前記長期垂直同期信号に同期して画素信号の読み出しを開始し、
   中時間露光用のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない中期垂直同期信号に同期して画素信号の読み出しを開始し、
   短時間露光用のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複せず、前記中時間露光用のラインの画素信号の読み出し期間とも重複しない短期垂直同期信号に同期して画素信号の読み出しを開始する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記露光制御手段は、
   長時間露光用のラインについてのローリングシャッタ動作と、中時間露光用のラインについてのローリングシャッタ動作と、短時間露光用のラインについてのローリングシャッタ動作とを、第１の長期垂直同期信号に同期して開始し、
   前記短時間露光用のラインについての画素信号の読み出しを、前記第１の長期垂直同期信号の次の短期垂直同期信号に同期して開始し、
   前記中時間露光用のラインについての画素信号の読み出しを、前記第１の長期垂直同期信号の次の中期垂直同期信号に同期して開始し、
   前記長時間露光用のラインについての画素信号の読み出しを、前記第１の長期垂直同期信号の次の第２の長期垂直同期信号に同期して開始する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記露光制御手段は、長時間露光、中時間露光、及び短時間露光における露光時間の比を各フレームで一定とすることを特徴とする請求項５又は６に記載の撮像装置。
8. 前記長時間露光により得られた第１の画像データと前記中時間露光により得られた第２の画像データと前記短時間露光により得られた第３の画像データとを合成して、前記第１、第２、第３の画像データに対してダイナミックレンジが拡大された第４の画像データを作成する信号処理手段を更に有することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 前記長期垂直同期信号は、前記短期垂直同期信号の少なくとも３周期分に等しく、
   前記露光制御手段は、
   短時間露光用のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して短時間露光と画素信号の読み出しとを複数回実行する
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記露光制御手段は、
    第１の長期垂直同期信号に同期して、長時間露光用のラインについてのローリングシャッタ動作の長時間露光と、短時間露光用のラインについてのローリングシャッタ動作の短時間露光とを開始し、
    前記第１の長期垂直同期信号の次の第２の長期垂直同期信号に同期して、前記長時間露光用のラインについてのローリングシャッタ動作の画素信号の読み出しを開始し、
    前記第１の長期垂直同期信号と前記第２の長期垂直同期信号との間にある複数の短期垂直同期信号にそれぞれ同期して、前記短時間露光用のラインについてのローリングシャッタ動作の画素信号の読み出しを開始するとともに次のローリングシャッタ動作の短時間露光を開始することを複数回実行する
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記露光制御手段は、長時間露光と短時間露光における露光時間の比を各フレームで一定とすることを特徴とする請求項９又は１０に記載の撮像装置。
12. 前記長時間露光により得られた第１の画像データと前記長時間露光の間に複数回実行された前記短時間露光により得られた複数の第２の画像データを加算平均して得られる画像データとを合成して、前記第１及び第２の画像データに対してダイナミックレンジが拡大された第３の画像データを作成する信号処理手段を更に有することを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
13. 光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、短時間露光用の垂直同期信号である短期垂直同期信号と、１周期が前記短期垂直同期信号のＮ周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段とを有する撮像装置の制御方法であって、
    露光制御手段が、前記同期信号発生手段により発生された前記短期垂直同期信号及び前記長期垂直同期信号に従い、前記撮像素子の色フィルタ周期行単位で複数のラインごとに短時間露光及び長時間露光を実施する露光制御工程を有し、
    前記露光制御工程は、
    長時間露光用のラインについては、前記長期垂直同期信号に同期して画素信号の読み出しを開始し、
    短時間露光用のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して画素信号の読み出しを開始する
    ことを特徴とする撮像装置の制御方法。
14. コンピュータに請求項１３に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images