JP6771944B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等、撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存することができる撮像装置が普及している。このような撮像装置に用いる撮像素子としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下ＣＣＤセンサという）が一般的であった。近年では、撮像素子の一層の多画素化が進むのに従って、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下ＣＭＯＳセンサという）が注目されている。ＣＭＯＳセンサ等の撮像素子は、画素の光電変換素子が入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、ＣＭＯＳセンサ等の撮像素子は、電子シャッタ機能を備えている。電子シャッタ機能は、画素の光電変換素子をリセットすることにより露光を開始し、光電変換素子に蓄積した電荷を読み出すことにより露光を終了させる。このように、撮像素子の機能だけで、露光の始まりと終わりを制御するので、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現することが可能である。

また、ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作がある。ローリングシャッタ動作では、ＣＣＤセンサと異なり、２次元配列された複数の画素を１ライン毎に順次走査して画素の電荷のリセットを実施し、所定の露光時間経過後に、１ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。このように、ローリングシャッタ動作は、ライン毎に電荷読み出しと信号出力を行うため、ライン毎に時間差を持った動作となっている。これにより、１回の撮像動作の中で、ライン毎に露光時間がずれてしまうことになる。

このようなＣＭＯＳセンサ等の撮像素子を用いた撮像装置においては、明るいところと暗いところが混在するような被写体の撮像を行う場合に、ダイナミックレンジが不足しがちであるという課題がある。例えば、明るいところに合わせて露光時間を短く制御すると、暗い部分で十分な露光時間がとれないために、黒つぶれやＳ／Ｎの劣化による画質の低下が発生する。逆に、暗いところに合わせて露光時間を長く制御すると、光電変換素子の蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域が飽和した輝度レベルに設定される白とびが発生する。

明るい部分及び暗い部分の階調を正確に再現する手法として、ダイナミックレンジ拡大処理（ＨＤＲ処理）がある。ダイナミックレンジ拡大処理は、撮像素子上での入射光量が少ない画素では露光時間を長く制御して高いＳ／Ｎを実現し、入射光量が多い画素では露光時間を短く制御して飽和を回避する。こうしたダイナミックレンジ拡大処理の方式が、特許文献１及び２に開示されている。特許文献１及び２では、２ライン毎に２つにグループ化した画素に対して、それぞれ異なる露光時間が設定される。そして、例えば長時間露光画素から高感度画素情報を取得し、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいてダイナミックレンジを拡大した画像を生成する。この方法によれば、１つの撮像画像に基づいてダイナミックレンジを拡大した画像を生成することができる。

また、特許文献３の図９の方法では、長時間露光と短時間露光を繰り返し、一つの出力手段から、長時間露光ラインと短時間露光ラインを交互に時分割で出力することで、露光時間差を低減する。そして、こうして得られた長時間露光画像と短時間露光画像を利用して、ダイナミックレンジを拡大した画像を生成する。

また、特許文献３の図３の方法では、短時間露光と長時間露光を繰り返し、垂直信号線に複数の出力手段を設け、短時間露光ラインと長時間露光ラインを同時に出力することで、露光時間差を低減する。そして、こうして得られた短時間露光画像と長時間露光画像を利用して、ダイナミックレンジを拡大した画像を生成する。

特開２０１２−１０５２２５号公報 特開２０１１−２４４３０９号公報 特開２００６−３３３０３５号公報

しかし、特許文献１の図６や特許文献２の図９に記載された方法においては、２ライン毎に露光時間の異なる画素の信号を、連続して全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、２ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。また、この方法では、ローリングシャッタ動作を用いてライン毎に連続して全ラインを読み出すため、最初のラインから最後のラインまでの読み出し時間がかかる。これにより、ライン毎に露光時間がずれた分だけ移動する被写体が歪んでしまうローリング歪みという現象が発生しやすくなるという課題がある。

特許文献３の図９の方法では、一つの出力手段から長時間露光ラインと短時間露光ラインを交互に時分割で出力するため、長時間露光信号に対する補正処理及び信号処理と、短時間露光信号に対する補正処理及び信号処理とを、１ライン毎に切り換える。このような処理では、信号処理回路の負担が大きいという課題がある。特許文献３の図９の方法では、ローリングシャッタ動作を用いて、長時間露光ラインと短時間露光ラインを交互に連続して全ラインを読み出すため、長時間露光画像及び短時間露光画像それぞれの最初のラインから最後のラインまでの読み出し時間が２倍かかる。これにより、ライン毎に露光時間がずれた分だけ移動する被写体が歪んでしまうローリング歪みが発生しやすくなるという課題が発生する。

特許文献３の図３の方法では、垂直信号線に設けられた２つの出力手段から、短時間露光ラインと長時間露光ラインを同時に出力することで、ローリング歪みの発生を抑えることができる。しかし、この方法では、撮像素子上のあるラインの短時間露光信号と長時間露光信号を一方の出力手段から出力し、別なラインの短時間露光信号と長時間露光信号を他方の出力手段から出力している。これにより、２つの出力手段それぞれにおいて、短時間露光ラインと長時間露光ラインが交互に出力さるため、短時間露光信号に対する補正処理及び信号処理と、長時間露光信号に対する補正処理及び信号処理とを、１ライン毎に切り換えて実施する必要がある。このようにライン毎に切り換える処理を２つの出力手段それぞれに対して実施するため、信号処理回路の負担がさらに大きくなるという課題がある。また、特許文献２の図３の方法では、先に短時間露光を行い、後から長時間露光を行って、短時間露光ラインと長時間露光ラインを同時に出力しているが、２つの露光の間の時間差を低減する度合いが小さいという課題がある。

本発明の目的は、ローリング歪みを低減することができる撮像装置及び撮像装置の制御方法を提供することである。

本発明の撮像装置は、行列状に配列され、各々が光電変換による画素信号を生成する複数の画素と、前記複数の画素のうちの奇数行目の画素の画素信号を出力する第１の出力部と、前記複数の画素のうちの偶数行目の画素の画素信号を出力する第２の出力部とを有し、前記複数の画素は、第１の露光時間で露光された画素信号を生成する画素の行と、前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を生成する画素の行とを有する。

本発明によれば、ローリング歪みを低減することができる。

第１の実施形態に係る撮像装置の構成例を示す図である。 第１の実施形態に係る撮像素子の構成例を示す図である。 第１の実施形態に係る出力部の構成例を示す図である。 第１の実施形態に係る撮像素子の動作タイミングを示す図である。 第１の実施形態に係る信号処理部の入力部分の構成例を示す図である。 第１の実施形態に係る撮像素子の動作タイミングを示す図である。 第１の実施形態に係る撮像素子の動作タイミングを示す図である。 第１の実施形態に係る画素特性及び画像信号特性を示す図である。 第２の実施形態に係る撮像素子の動作タイミングを示す図である。 第２の実施形態に係る撮像素子の動作タイミングを示す図である。 第３の実施形態に係る撮像素子の構成例を示す図である。 第３の実施形態に係る撮像素子の動作タイミングを示す図である。 第３の実施形態に係る信号処理部の入力部分の構成例を示す図である。 第３の実施形態に係る撮像素子の動作タイミングを示す図である。 第３の実施形態に係る撮像素子の動作タイミングを示す図である。 第３の実施形態に係る撮像素子の動作タイミングを示す図である。 第４の実施形態に係る撮像素子の動作タイミングを示す図である。 第４の実施形態に係る撮像素子の動作タイミングを示す図である。 第５の実施形態に係る撮像素子の動作タイミングを示す図である。 第５の実施形態に係る撮像素子の動作タイミングを示す図である。 第５の実施形態に係る撮像素子の動作タイミングを示す図である。 第７の実施形態に係る撮像素子の動作タイミングを示す図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示す図である。本実施形態では、ダイナミックレンジ拡大処理（以下ＨＤＲ処理という）のために、２ライン毎に露光時間の異なる画素の信号を出力するように制御された撮像素子の動作について説明する。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等に適用可能である。撮像装置は、光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７及び画像記録部１８を有する。光学系１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、及び絞り機構等を有する。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。撮像素子１２は、光電変換素子を持つ複数の画素が２次元行列状に配置されたＸＹアドレス方式のＣＭＯＳセンサである。撮像素子１２は、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Auto Gain Control）回路、及びＡ／Ｄ変換器等を含み、同期制御部１５からの制御信号により制御される。ここで、撮像素子１２は、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセット等の撮像動作を実施し、光電変換により画像信号を生成する。そして、撮像素子１２は、ＣＤＳ回路によるノイズ除去、ＡＧＣ回路による利得制御、及び、Ａ／Ｄ変換器によるアナログデジタル変換を経て、デジタル化された画像信号を出力する。

信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正、自動焦点調節（ＡＦ）、自動露出調節（ＡＥ）等の信号処理を施す。信号処理部１３は、ＨＤＲ処理を実施する。ＨＤＲ処理の方法としては、例えば、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成することにより画像を生成する。またＨＤＲ処理の他の方法として、明るさに応じて、長時間露光画素の信号と短時間露光画素の信号のどちらかを選択することにより画像を生成する。

圧縮伸張部１４は、同期制御部１５の制御の下で、信号処理部１３からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）等の所定の静止画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部１４は、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理を行う。さらに、圧縮伸張部１４は、ＭＰＥＧ（Moving Picture Experts Group）等により動画像の圧縮符号化／伸張復号化処理を行う。

同期制御部１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されるマイクロコントローラであり、ＲＯＭ等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部１６は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル等を有し、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。画像表示部１７は、液晶ディスプレイ等の表示デバイスや、これに対するインタフェース回路等を有し、同期制御部１５から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部１８は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープ等であり、圧縮伸張部１４により符号化された画像データファイルを同期制御部１５から受け取って記憶する。また、画像記録部１８は、同期制御部１５からの制御信号を基に、指定されたデータを読み出し、同期制御部１５に出力する。

次に、本実施形態における撮像装置の動作について説明する。静止画像の撮像前には、撮像素子１２は、デジタル画像信号を信号処理部１３に順次出力する。信号処理部１３は、撮像素子１２からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。画像表示部１７は、カメラスルー画像を表示し、ユーザは表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２は、１フレーム分の画像信号を信号処理部１３に出力する。信号処理部１３は、１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部１５を通じて画像記録部１８に供給する。画像記録部１８は、撮像された静止画像の符号化データファイルを記録する。

一方、画像記録部１８に記録された静止画像の符号化データファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。圧縮伸張部１４は、復号化された画像信号を、同期制御部１５を介して画像表示部１７に供給する。画像表示部１７は、静止画像を再生表示する。

また、動画像を記録する場合には、信号処理部１３は、順次処理した画像信号を圧縮伸張部１４に出力する。圧縮伸張部１４は、圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部１８に転送する。画像記録部１８は、動画像の符号化データファイルを記録する。また、画像記録部１８は、動画像のデータファイルを読み出して圧縮伸張部１４に供給する。圧縮伸張部１４は、動画像のデータファイルを伸張復号化処理して画像表示部１７に供給する。画像表示部１７は、動画像を表示する。

図２は、本実施形態に係る撮像素子（ＣＭＯＳセンサ）１２の構成例を示す図である。撮像素子１２は、画素領域１０１、垂直走査部１０２、第１信号選択部１０５ａ、第２信号選択部１０５ｂ、第１列信号処理部１０６ａ、第２列信号処理部１０６ｂ、第１列ＡＤ部１０７ａ、及び第２列ＡＤ部１０７ｂを有する。さらに、撮像素子１２は、第１水平メモリ部１０８ａ、第２水平メモリ部１０８ｂ、第１水平走査部１０９ａ、第２水平走査部１０９ｂ、第１出力部１１０ａ、第２出力部１１０ｂ、及びＴＧ（Timing Generator）１１２を有する。画素領域１０１は、行方向（水平方向）及び列方向（垂直方向）に行列状（マトリクス状）に配列されている複数の画素１００（Ｐ１１〜Ｐ１６４）を有する。複数の画素１００の各々は、光電変換素子とトランジスタとを有し、光電変換による画素信号を生成する。例えば、画素Ｐ１１〜Ｐ１４は１行目の４画素を示し、画素Ｐ１６１〜Ｐ１６４は１６行目の４画素を示す。本実施形態では、１６×４配列（１６行４列）の画素領域１０１を例として説明するが、画像領域１０１における画素配列は、この数に限定されるものではない。また、複数の画素１００には、奇数行目がＲ（赤）フィルタとＧ（緑）フィルタの繰り返し、偶数行目がＧ（緑）フィルタとＢ（青）フィルタの繰り返しとなる２×２配列の色フィルタが配置されている。

垂直走査部１０２は、画素領域１０１に配列されている画素１００を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線１０３は、画素行毎に配置されて同一行の画素１００に共通して接続され、垂直走査部１０２による行単位の制御信号を伝達する。垂直信号線１０４は、画素列毎に配置されて同一列の画素１００に共通して接続され、画素制御線１０３により選択された行の画素１００の信号がそれぞれ対応する垂直信号線１０４に読み出される。垂直信号線１０４は、第１信号選択部１０５ａを介して第１列信号処理部１０６ａに接続可能であるとともに、第２信号選択部１０５ｂを介して第２列信号処理部１０６ｂに接続可能である。すなわち、信号選択部１０５ａ及び１０５ｂは、垂直信号線１０４を第１列信号処理部１０６ａあるいは第２列信号処理部１０６ｂのどちらか一方に選択的に接続するスイッチとして機能する。

列信号処理部１０６ａ及び１０６ｂは、それぞれ、垂直信号線１０４毎に設けられるＣＤＳ回路やＡＧＣ回路を有する。列信号処理部１０６ａ及び１０６ｂは、垂直信号線１０４を通して送られてくる行単位の各列の画素１００の信号に対して、ＣＤＳ処理により固定パターンノイズを除去して、Ｓ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行う。固定パターンノイズは、画素１００内のトランジスタのしきい値のばらつきに起因するノイズである。また、列信号処理部１０６ａ及び１０６ｂは、必要であれば、ＡＧＣ回路による利得制御を実施する。

列ＡＤ部１０７ａ及び１０７ｂは、垂直信号線１０４毎に設けられるＡＤ変換器を有する。列ＡＤ部１０７ａ及び１０７ｂは、それぞれ、対応する列信号処理部１０６ａ及び１０６ｂから送られてくる行単位の各列の画素１００の信号のそれぞれをアナログからデジタルに変換する。ここで、列ＡＤ部１０７ａ及び１０７ｂは、すべて８ビット（ｂｉｔ）精度のＡＤ変換器を有するものとするが、ビット精度においては、１０ビット、１２ビット、１４ビット等のさらに高精度なＡＤ変換器を用いてもよい。

水平メモリ部１０８ａ及び１０８ｂは、それぞれ、対応する列ＡＤ部１０７ａ及び１０７ｂにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部１０８ａ及び１０８ｂは、対応する列ＡＤ部１０７ａ及び１０７ｂにあわせて各列毎に８ビットのデジタル信号を記憶できるものとするが、ＡＤ変換器のビット精度に応じたビット数のデジタル信号を記憶できればよい。

水平走査部１０９ａ及び１０９ｂは、それぞれ対応する水平メモリ部１０８ａ及び１０８ｂに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ａ及び１１０ｂに列毎に選択して転送するように水平メモリ部１０８ａ及び１０８ｂを制御する。出力部１１０ａ及び１１０ｂは、デジタル化された行単位の画素信号の前あるいは前後に同期信号を付加する。また、出力部１１０ａ及び１１０ｂは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子１１１ａ及び１１１ｂを介して、信号処理部１３へ出力する。ＴＧ１１２は、制御端子１１３を介した同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。

図３は、本実施形態に係る第１出力部１１０ａの構成例を示す図である。第１出力部１１０ａのみを説明するが、第２出力部１１０ｂも第１出力部１１０ａと同じ構成を有する。第１出力部１１０ａは、第１信号変換部２０１ａ、第１同期信号付加部２０２ａ及び差動送信バッファ２０３ａを有する。第１信号変換部２０１ａには、８ビットに対応する８本の水平信号線を介して、第１水平メモリ部１０８ａから送られてくる画素信号Ｄ０ａ、Ｄ１ａ、Ｄ２ａ、Ｄ３ａ、Ｄ４ａ、Ｄ５ａ、Ｄ６ａ及びＤ７ａが入力される。また、第１信号変換部２０１ａには、ＴＧ１１２から画素クロック信号Ｓｃｋａが入力される。画素クロック信号Ｓｃｋａは、第１水平走査部１０９ａの転送と同じ周期の信号である。第１信号変換部２０１ａは、画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。第１信号変換部２０１ａは、さらに、例えば黒レベル調整、列ばらつき補正、信号増幅、及び色関係処理等を実施してもよい。黒レベル調整は、画素領域１０１の周辺に配置されて遮光された画素の信号レベルが、予め同期制御部１５によって設定されたレベルになるように、すべての画素信号のレベルを同じだけシフトする処理である。列ばらつき補正は、画素領域１０１の上部あるいは下部に配置されて遮光された画素の信号から列毎のばらつき補正データを作成し、列信号処理部１０６ａ，１０６ｂ及び列ＡＤ部１０７ａ，１０７ｂで発生する画素信号における列毎のばらつきを補正する処理である。信号増幅は、画像処理において適正な信号レベルとなるように、画素信号にゲインをかける処理である。例えば、信号処理部１３は、事前に撮像された画像から適切なゲイン量を算出し、同期制御部１５は、ゲインを設定する制御が可能である。色関係処理は、例えばホワイトバランス（ＷＢ）処理である。

画素領域１０１の各画素１００に対して、ＲＧＢの色フィルタが、例えばベイヤ配列等の配列に従って設けられている。例えば、信号処理部１３は、事前に撮像された画像から適切なＷＢ処理を施す色毎のゲイン量を算出し、同期制御部１５は、色毎のゲインを設定する制御が可能である。第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、画素信号Ｄ０ａ〜Ｄ７ａのそれぞれに対して、スタート同期信号、及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２から出力される制御信号により制御される。第１差動送信バッファ２０３ａは、同期信号を付加した画素信号Ｄ０ａ〜Ｄ７ａ及び画素クロック信号Ｓｃｋａのそれぞれに対して設けられ、それぞれの信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。すなわち、第１差動送信バッファ２０３ａは、正転画素信号Ｄ０Ｐａ〜Ｄ７Ｐａ、反転画素信号Ｄ０Ｎａ〜Ｄ７Ｎａ、正転画素クロック信号ＳｃｋＰａ、及び反転画素クロック信号ＳｃｋＮａを出力する。

ここで、出力部１１０ａ，１１０ｂに入力される画素クロック信号は、同じ信号がＴＧ１１２から送られてくるものとするが、ＴＧ１１２から出力部１１０ａ，１１０ｂのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部１１０ａ，１１０ｂにそれぞれ入力される画素クロック信号Ｓｃｋａ，Ｓｃｋｂは区別して用いるものとする。また、図３に示す第１出力部１１０ａの第１差動送信バッファ２０３ａは、電流モードで差動動作をさせるＬＶＤＳ（Low Voltage Differential Signaling）を利用することができる。こうすることで、耐ノイズ性や不要輻射に対して有利になる。すなわち、正転信号に相当するパルス信号のみの単相（シングル）出力では、高速になるほどパルス波形に鈍りやリンギング等の成分が発生し易くなり、その影響を直接に被る。これに対して、差動動作をさせるＬＶＤＳにおいては、差動出力信号の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、画素信号に限らず、画素クロック信号についても同様の効果が得られる。

さらに、正転信号に相当するパルス信号のみの単相出力では、パルスの変化に対応して送信側である出力回路と受信側である入力回路の間で電流が行き来するので、そのたびに不要輻射の原因となる電磁界が発生し、周辺回路や撮像装置の外部に影響を与える。これに対して、電流モードで差動動作をさせるＬＶＤＳでは、送信側出力回路と受信側入力回路の間で電流が行き来するものの、常に正転信号と反転信号における切り換わりのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、不要輻射の原因となる電磁界の発生が大幅に低減されることになる。なお、この効果をより高めるには、差動信号における正転信号と反転信号の２つの出力線を近接して配置するとともに、差動送信バッファと差動受信バッファの間の接続距離が極力同じになるように回路設計をする必要がある。

図４は、第１の実施形態に係る撮像素子１２の読み出し動作を示すタイミングチャートである。信号ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となり、期間Ｔｈｄが１つの水平同期期間となっている。信号ＨＳは、水平同期信号ＨＤのサブ水平同期信号を示し、立ち下がりで有効となり、期間Ｔｈｓが１つのサブ水平同期期間となっている。ここで、サブ水平同期信号ＨＳは、撮像素子１２がＮ個（Ｎは２以上の整数）の出力部１１０ａ，１１０ｂを有する場合、１水平同期期間ＴｈｄにＮ行の画素の信号を読み出すように、１水平同期期間ＴｈｄをＮ分割した周期（間隔毎）で立ち下がるよう作られている。これらの水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、同期信号発生手段としてのＴＧ１１２によって供給される。本実施形態に係る撮像素子１２は、第１出力部１１０ａ及び第２出力部１１０ｂの２つの出力部を有するため、２行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを２等分した周期で立ち下がるよう作られている。このため、水平同期期間Ｔｈｄが、サブ水平同期期間Ｔｈｓの２倍の長さとなっている。

動作Ｏｐｒ１は、第１信号選択部１０５ａが選択したときの第１の読み出し動作を示し、動作Ｏｐｒ２は、第２信号選択部１０５ｂが選択したときの第２の読み出し動作を示す。第１の読み出し動作Ｏｐｒ１は、水平同期信号ＨＤに同期して、あるいは、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して動作を開始する。第２の読み出し動作Ｏｐｒ２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して動作を開始する。ここで、画素領域１０１に配列されている画素のうち、第１の読み出し動作Ｏｐｒ１では、奇数行目の画素の信号を読み出し、第２の読み出し動作Ｏｐｒ２では、偶数行目の画素の信号を読み出す。すなわち、第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、複数の画素１００のうちの第１のグループに属する行（奇数行目）の画素の画素信号を出力する。第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、複数の画素１００のうちの第２のグループに属する行（偶数行目）の画素の画素信号を出力する。

まず、第１の読み出し動作Ｏｐｒ１について説明する。時刻ｔ００では、撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して第１の読み出し動作Ｏｐｒ１を開始する。次に、時刻ｔ００〜ｔ０１では、期間Ｒｄ１ｒにおいて、画素領域１０１は、第１信号選択部１０５ａが選択した状態で、垂直走査部１０２からの駆動制御信号により、１行目の画素の信号をそれぞれ対応する垂直信号線１０４に読み出す。このとき、画素領域１０１は、最初に画素をリセットした状態の画素の信号をＮ信号として出力し、第１列信号処理部１０６ａは、そのＮ信号をサンプルホールドする。続いて、画素領域１０１は、画素が光電変換した信号をＳ信号として出力し、第１列信号処理部１０６ａは、そのＳ信号をサンプルホールドする。次に、時刻ｔ０１〜ｔ０２では、期間ＣＤＳ１ｒにおいて、第１列信号処理部１０６ａは、ＣＤＳ回路でＳ信号からＮ信号を減算することによってＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する。次に、時刻ｔ０２〜ｔ０３では、期間ＡＤ１ｒにおいて、第１列ＡＤ部１０７ａは、ノイズ除去された１行目の画素の信号をアナログデジタル変換して、第１水平メモリ部１０８ａへ記憶させる。ここまでの時刻ｔ００〜ｔ０３での処理が、１行目の各画素の信号に対する列毎の並列処理になる。

続いて、時刻ｔ０３〜ｔ０４では、期間ＳＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する。このとき、スタート同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。第１同期信号付加部２０２ａは、黒レベル調整後の黒レベルが０より高い値に設定されている場合には、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、スタート同期信号として“１１１１００００”を付加することで実現できる。具体的には、期間ＳＤ１ｒには、画素クロック信号Ｓｃｋａの８クロックを割り当てる。そして、期間ＳＤ１ｒの間に、８ビットの正転画素信号Ｄ０Ｐａ〜Ｄ７Ｐａのそれぞれが、Ｄ０Ｐａ＝１１１１００００からＤ７Ｐａ＝１１１１００００になるように出力される。同様に、期間ＳＤ１ｒの間に、８ビットの反転画素信号Ｄ０Ｎａ〜Ｄ７Ｎａのそれぞれが、Ｄ０Ｎａ＝００００１１１１からＤ７Ｎａ＝００００１１１１になるように出力される。このとき、第１同期信号付加部２０２ａは、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、スタート同期信号を付加しない。

次に、時刻ｔ０４以降の期間ＳｉｇＯｕｔ１ｒでは、第１水平走査部１０９ａは、第１水平メモリ部１０８ａを列毎に選択し、第１水平メモリ部１０８ａに記憶されているデジタル化された８ビットの画素信号Ｄ０ａ〜Ｄ７ａを第１出力部１１０ａに転送する。そして、第１信号変換部２０１ａは、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。その後、第１差動送信バッファ２０３ａは、８ビットのそれぞれの信号に対応する正転信号と反転信号に変換して、第１出力端子１１１ａから出力する。さらに、続けて、期間ＥＤ１ｒ（時刻ｔ０７まで）では、第１出力部１１０ａ内の第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する。このとき、エンド同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、第１同期信号付加部２０２ａは、スタート同期信号と区別するために、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、エンド同期信号として“１１００１１００”を付加することで実現できる。具体的には、期間ＥＤ１ｒには、画素クロック信号Ｓｃｋａの８クロックを割り当てる。そして、期間ＥＤ１ｒの間に、８ビットの正転画素信号Ｄ０Ｐａ〜Ｄ７Ｐａのそれぞれが、Ｄ０Ｐａ＝１１００１１００からＤ７Ｐａ＝１１００１１００になるように出力される。同様に、期間ＥＤ１ｒの間に、８ビットの反転画素信号Ｄ０Ｎａ〜Ｄ７Ｎａのそれぞれが、Ｄ０Ｎａ＝００１１００１１からＤ７Ｎａ＝００１１００１１になるように出力される。このとき、第１同期信号付加部２０２ａは、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、エンド同期信号を付加しない。ここまでの時刻ｔ０３〜ｔ０７の期間が、スタート同期信号及びエンド同期信号を付加した１行目の各画素の信号の出力期間になる。

第１の読み出し動作Ｏｐｒ１では、画素領域１０１は、１行目の画素の信号の出力後、３行目の画素の信号を出力する。時刻ｔ０８〜ｔ１１では、撮像素子１２は、３行目の各画素の信号について、時刻ｔ００〜ｔ０３と同様に、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶の列毎の並列処理を実施する。次に、時刻ｔ１１〜ｔ１５では、撮像素子１２は、時刻ｔ０３〜ｔ０７と同様に、スタート同期信号及びエンド同期信号を付加した３行目の各画素の信号を出力する。さらに、時刻ｔ１６以降では、撮像素子１２は、画素領域１０１に配列されている画素１００が１６行であるため、５行目以降の奇数行目の画素の信号を同様に読み出す。

次に、第２の読み出し動作Ｏｐｒ２について説明する。時刻ｔ０４では、撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して第２の読み出し動作Ｏｐｒ２を開始する。ここで、撮像素子１２では、垂直信号線１０４が垂直方向の画素１００の列に共通に配線されているため、第２の読み出し動作Ｏｐｒ２は、１行目の画素の信号を読み出す期間Ｒｄ１ｒ終了以降（時刻ｔ０１以降）に動作を開始する必要がある。本実施形態では、水平同期期間Ｔｈｄを２分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ１ｒより長く設定されているので、２回目のサブ水平同期信号ＨＳは、期間Ｒｄ１ｒ終了後、十分に時間が経過した後に設けられている。

まず、時刻ｔ０４〜ｔ０５では、期間Ｒｄ２ｒにおいて、画素領域１０１は、第２信号選択部１０５ｂが選択した状態で、垂直走査部１０２からの駆動制御信号により、２行目の画素の信号をそれぞれ対応する垂直信号線１０４に読み出す。上記と同様に、画素領域１０１は、２行目の画素の信号のＮ信号とＳ信号をそれぞれ対応する垂直信号線１０４を介して第２列信号処理部１０６ｂに読み出す。次に、時刻ｔ０５〜ｔ０６では、期間ＣＤＳ２ｒにおいて、第２列信号処理部１０６ｂは、ＣＤＳ回路でＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する。次に、時刻ｔ０６〜ｔ０７では、期間ＡＤ２ｒにおいて、第２列ＡＤ部１０７ｂは、２行目の画素の信号をアナログデジタル変換して、第２水平メモリ部１０８ｂへ記憶させる。ここまでの時刻ｔ０４〜ｔ０７での処理が、２行目の各画素の信号に対する列毎の並列処理になる。

次に、時刻ｔ０７〜ｔ０８では、期間ＳＤ２ｒにおいて、第２出力部１１０ｂ内の第２同期信号付加部は、画素クロック信号Ｓｃｋｂの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する。このとき、スタート同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要があり、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、スタート同期信号として“１１１１００００”を付加することで実現できる。具体的な８ビットのそれぞれの信号に対するスタート同期信号は、第１の読み出し動作Ｏｐｒ１におけるスタート同期信号と同様である。ここで、第２の読み出し動作Ｏｐｒ２では、期間Ｒｄ１ｒの開始から１サブ水平同期期間Ｔｈｓ後に、期間Ｒｄ２ｒが開始している。そのため、スタート同期信号を付加する期間ＳＤ２ｒも期間ＳＤ１ｒから１サブ水平同期期間Ｔｈｓに相当する時間だけ遅れて開始する必要がある。

次に、時刻ｔ０８の期間ＳｉｇＯｕｔ２ｒでは、第２水平走査部１０９ｂは、第２水平メモリ部１０８ｂを列毎に選択し、第２水平メモリ部１０８ｂに記憶されているデジタル化された８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂを第２出力部１１０ｂに転送する。そして、第２出力部１１０ｂ内の第２信号変換部は、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋｂの位相と同期するように、８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂの位相を調整する。その後、第２出力部１１０ｂ内の第２差動送信バッファは、８ビットのそれぞれの信号に対応する正転信号と反転信号に変換して、第２出力端子１１１ｂから出力する。

次に、期間ＥＤ２ｒ（時刻ｔ１１まで）では、第２出力部１１０ｂ内の第２同期信号付加部は、画素クロック信号Ｓｃｋｂの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する。このとき、エンド同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、エンド同期信号として“１１００１１００”を付加することで実現できる。具体的な８ビットのそれぞれの信号に対するエンド同期信号は、第１の読み出し動作Ｏｐｒ１におけるエンド同期信号と同様である。ここまでの時刻ｔ０７〜ｔ１１の期間が、スタート同期信号及びエンド同期信号を付加した２行目の各画素の信号の出力期間になる。

第２の読み出し動作Ｏｐｒ２では、画素領域１０１は、２行目の画素の信号の出力後、４行目の画素の信号を出力する。時刻ｔ１２〜ｔ１５では、撮像素子１２は、時刻ｔ０４〜ｔ０７と同様に、４行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶の列毎の並列処理を実施する。次に、時刻ｔ１５以降では、撮像素子１２は、時刻ｔ０７〜ｔ１１と同様に、スタート同期信号及びエンド同期信号を付加した４行目の各画素の信号を出力する。さらに、撮像素子１２は、画素領域１０１に配列されている画素１００が１６行であるため、４行目の各画素の信号の出力後に、６行目以降の偶数行目の画素の信号を同様に読み出す。

このように、第１の実施形態では、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２を、１サブ水平同期期間Ｔｈｓに相当する時間だけずらして動作させる。このため、ＴＧ１１２は、期間Ｒｄ１ｒ、期間ＣＤＳ１ｒ、期間ＡＤ１ｒの間に実施する１行目の画素の信号の読み出しから第１水平メモリ部１０８ａへの記憶までの列毎の並列処理動作を制御することが可能である。また、ＴＧ１１２は、同時に、１サブ水平同期期間Ｔｈｓに相当する時間だけずらして、２行目の画素の信号の読み出しから第２水平メモリ部１０８ｂへの記憶までの列毎の並列処理動作を制御することが可能である。さらに、ＴＧ１１２は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した１行目の画素の信号及び２行目の画素の信号の出力動作をそれぞれ制御することが可能である。

ここで、１行目の画素の信号に付加したスタート同期信号の出力動作は、１行目の画素の信号の並列処理動作の終了後で、３行目の画素に係る期間Ｒｄ３ｒの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでもよい。また、２行目の画素の信号に付加したスタート同期信号の出力動作も、２行目の画素の信号の並列処理動作の終了後で、４行目の画素に係る期間Ｒｄ４ｒの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでもよい。さらに、１行目の画素の信号に付加したスタート同期信号と２行目の画素の信号に付加したスタート同期信号の出力開始タイミングの差も、期間Ｒｄ３ｒの開始及び期間Ｒｄ４ｒの開始に影響しなければ、１サブ水平同期期間Ｔｈｓである必要はない。これら期間Ｒｄ１ｒの開始タイミング、期間Ｒｄ２ｒの開始タイミング、期間ＳＤ１ｒの開始タイミング及び期間ＳＤ２ｒの開始タイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２が個別にかつ適宜設定できる。

以上の説明は、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２の関係について述べたものである。読み出し動作が繰り返される場合には、２行目の画素の信号を読み出す第２の読み出し動作Ｏｐｒ２と３行目の画素の信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行に適応可能である。また、スタート同期信号及びエンド同期信号は、それぞれ“１１１１００００”及び“１１００１１００”に設定したが、これに限定されるものではない。スタート同期信号及びエンド同期信号が区別でき、かつ、８ビットの画素信号が取り得ない値の組み合わせであればよいので、例えば、スタート同期信号が“１１００１１００”、エンド同期信号が“１１１１００００”のように逆にしてもよい。また、例えば、スタート同期信号が“１１１１１１１１００００００００”、エンド同期信号が“１１１１００００１１１１００００”のように長さを長くしてもよい。さらに、撮像素子１２の出力信号の画素数は、予め決まっているので、同期制御部１５が信号処理部１３に対して、１行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。

図５は、本実施形態に係る信号処理部１３の入力部分の構成例を示す図であり、信号処理部１３での信号処理が可能となるように、撮像素子１２から出力される行単位でタイミングがずれたデジタル画素信号を入力することが可能である。信号処理部１３の入力部分は、第１入力部４０１ａ、第２入力部４０１ｂ、同期信号解読部４０３及び内部メモリ４０４を有する。第１入力部４０１ａ及び第２入力部４０１ｂには、第１出力部１１０ａ及び第２出力部１１０ｂからの画素の信号及び画素クロック信号が、それぞれ第１入力端子４０２ａ及び第２入力端子４０２ｂを介して入力される。信号処理部１３に入力される信号は、図３を用いて説明した正転画素信号及び反転画素信号からなる差動信号であるので、第１入力部４０１ａ及び第２入力部４０１ｂは、差動受信バッファにより受信し、通常のパルス信号に変換する。このとき、第１入力部４０１ａ及び第２入力部４０１ｂは、同時に入力される画素クロック信号と信号処理部１３の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部１３の信号処理クロック信号の位相に同期させる処理も行う。同期信号解読部４０３は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に記憶させる。内部メモリ４０４は、行単位の画素信号を記憶する。内部メモリ４０４は、１行目から１６行目までの画素信号を記憶する領域ｍＰ０１ｒ〜ｍＰ１６ｒを有する。

ここで、図４に示した読み出し動作が実施された場合について説明する。同期信号解読部４０３は、第１入力部４０１ａから１行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に出力する。ここで、内部メモリ４０４内のメモリ入力部４０７は、画素信号の振り分けを行い、１行目の画素の信号を領域ｍＰ０１ｒに記憶する。次に、並列的に、同期信号解読部４０３は、第２入力部４０１ｂから２行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に出力する。１行目と同じく、内部メモリ４０４内のメモリ入力部４０７は、画素信号の振り分けを行い、２行目の画素の信号を領域ｍＰ０２ｒに記憶する。このとき、内部メモリ４０４は、１行目の画素の信号の記憶動作と２行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ４０４の異なる領域に対する記憶動作なので、制御可能となっている。内部メモリ４０４は、１行目及び２行目の画素の信号の記憶動作に続いて、３行目及び４行目の画素の信号をそれぞれ領域ｍＰ３ｒ及びｍＰ４ｒに記憶する記憶動作を同様に行う。また、内部メモリ４０４は、５行目から１６行目までの画素の信号の記憶動作も同様に行う。そして、メモリ出力部４０８は、領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶された１行目〜１６行目の画素の信号を、同期制御部１５からの制御信号に基づいて、読み出す。後段の信号処理は、Ｒ・Ｇ行とＧ・Ｂ行の両方を同時に処理可能であるため、メモリ出力部４０８は、第１内部メモリ端子４０５ａに１行目を含む奇数行目の画素信号を出力し、同時に第２内部メモリ端子４０５ｂに２行目を含む偶数行目の画素信号を出力する。これにより、後段では、２行単位で信号処理させることができる。また、内部メモリ４０４が出力した画素信号を後段で処理する際に、信号処理が１行毎の処理に適している場合がある。その場合には、メモリ出力部４０８は、第１内部メモリ端子４０５ａ及び第２内部メモリ端子４０５ｂのどちらかを選択し、１行目から１行毎に画素信号を出力して信号処理させればよい。この時、内部メモリ４０４では、２行毎の入力に対して１行毎の出力となるので、２倍の速度で出力し、その時の信号処理も２倍の速度で行うことで、撮像装置としての撮像動作の同期が取れることになる。

図６は、第１の実施形態に係る撮像素子１２の基本の撮像動作を示すタイミングチャートである。信号ＶＤは、撮像素子１２を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Ｔｆｒが１つの垂直同期期間である。水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、図４と同じである。これらの垂直同期信号ＶＤ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、同期信号発生手段としてのＴＧ１１２によって供給される。信号Ｓｉｇ０１〜Ｓｉｇ１６は、垂直信号線１０４に読み出される画素信号の順番を示し、その時の画素領域１０１の画素の１行目〜１６行目の動作の状態を示す。そして、期間ｅＰ０１ｒ〜ｅＰ１６ｒは、それぞれ、１行目〜１６行目の画素の露光時間を示す。期間Ｒｏは、各行の画素の信号が列信号処理部１０６ａあるいは１０６ｂに入力されてから、１ライン分の画素の信号がそれに対応する出力部１１０ａあるいは１１０ｂから出力されるまでの期間である。例えば、１行目の画素の信号については、図４の時刻ｔ００〜ｔ０７までの期間が期間Ｒｏに対応する。２行目以降についても図４の読み出し動作を実施する。

まず、時刻Ｓ００では、画素領域１０１は、垂直同期信号ＶＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の読み出しを実施することで、画素をリセットし、１行目の画素の露光を開始する。次に、時刻Ｓ０１では、画素領域１０１は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の読み出しを実施することで、画素をリセットし、２行目の画素の露光を開始する。時刻Ｓ０２以降では、画素領域１０１は、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜１６行目の画素の読み出しをそれぞれ実施することで、画素をリセットし、３行目〜１６行目の画素のそれぞれの露光を開始する。このように、１ＨＳ経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を開始する。

時刻Ｓ０５は、時刻Ｓ００からＴｆｒ経過後の時刻である。時刻Ｓ０５では、撮像素子１２は、垂直同期信号ＶＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の信号をそれに対応する期間Ｒｏに出力する。次に、時刻Ｓ０６では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の信号をそれに対応する期間Ｒｏに出力する。時刻Ｓ０７以降では、撮像素子１２は、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜１６行目の画素の信号をそれぞれに対応する期間Ｒｏに出力する。このように、１ＨＳ経過する毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。

撮像素子１２は、垂直同期信号ＶＤに同期して１行目の画素のリセットを開始し、読み出しのための垂直同期信号ＶＤに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Ｔｆｒとなっている。これにより、露光時間Ｔｆｒのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮像動作が実施される。ここで、１行目の画素のリセットを、時刻Ｓ００〜Ｓ０５の間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｄｓ単位の露光時間制御が可能となる。このようにして、第１の読み出し動作Ｏｐｒ１により、奇数行目の画素の信号が読み出され、撮像素子１２の第１出力部１１０ａから出力される。そして、第２の読み出し動作Ｏｐｒ２により、偶数行目の画素の信号が並列的に読み出され、撮像素子１２の第２出力部１１０ｂから並列的に出力される。それらは、対応する信号処理部１３の入力部分である第１入力部４０１ａ及び第２入力部４０１ｂにそれぞれ入力され、内部メモリ４０４内の領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶される。その後、メモリ出力部４０８は、第１内部メモリ端子４０５ａに１行目を含む奇数行目の画素信号を出力し、同時に、第２内部メモリ端子４０５ｂに２行目を含む偶数行目の画素信号を出力する。これにより、後段では、２行単位で信号処理させることができる。

図７は、第１の実施形態に係る撮像素子１２のハイダイナミックレンジ（ＨＤＲ）撮像動作を示すタイミングチャートであり、撮像装置の制御方法を示す。ＨＤＲ処理のために、画素領域１０１は、所定行数（例えば２行）毎に、長時間露光用の行の画素（以下、長時間露光ラインという）と短時間露光用の行の画素（以下、短時間露光ラインという）が交互になるように設定される。信号ＶＤＬは、図６の垂直同期信号ＶＤと同様に、撮像素子１２を駆動するための垂直同期信号を示しているが、ＨＤＲ撮像動作における長時間露光フレームの垂直同期信号（長期垂直同期信号）を示し、その１周期は長期垂直同期期間がＴｆｒｌである。信号ＶＤＳは、ＨＤＲ撮像動作における短時間露光フレームの垂直同期信号（短期垂直同期信号）を示し、立ち下がりで有効となり、その１周期は短期垂直同期期間Ｔｆｒｓである。これらの長期垂直同期信号ＶＤＬ及び短期垂直同期信号ＶＤＳは、同期信号発生手段としてのＴＧ１１２によって供給される。ここで、長期垂直同期信号ＶＤＬの１周期である長期垂直同期期間Ｔｆｒｌは、短期垂直同期信号ＶＤＳのＭ周期分（＝Ｍ×Ｔｆｒｓ。ただしＭは２以上の自然数）に等しい。ＨＤＲ処理においては、長時間露光と短時間露光の露光時間の比に応じて、ＨＤＲの効果が異なる。図７の例では、長期垂直同期期間Ｔｆｒｌと短期垂直同期期間Ｔｆｒｓの露光時間の比が２：１であるので、Ｍ＝２、すなわち、長期垂直同期期間Ｔｆｒｌは、短期垂直同期期間Ｔｆｒｓの２周期分となる。例えば、Ｍ＝３あるいはＭ＝４の場合は、長期垂直同期期間Ｔｆｒｌ内に、それぞれ３回あるいは４回の短期垂直同期期間Ｔｆｒｓが設定されるが、実際の短時間露光の露光時間は、それぞれ最後の短期垂直同期期間Ｔｆｒｓに設定すればよい。ここで、長時間露光ラインを、１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目のように２行毎に設定し、短時間露光ラインを、３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目のように２行毎に設定する。すなわち、画素領域１０１は、長時間露光の露光時間（第１の露光時間）で露光された画素信号を生成する画素の行と、短時間露光の露光時間（第２の露光時間）で露光された画素信号を生成する画素の行とを有する。具体的には、画素領域１０１は、長時間露光の露光時間で露光された画素信号を生成する２行の画素と、短時間露光の露光時間で露光された画素信号を生成する２行の画素とが交互に配置されている。また、信号Ｓｉｇ０１〜Ｓｉｇ１６は、垂直信号線１０４に読み出される画素信号の順番を示し、その時の画素領域１０１の画素の１行目〜１６行目の動作の状態を示す。そして、期間ｅＰ０１ｒ〜ｅＰ１６ｒは、それぞれ、１行目〜１６行目の画素の露光時間を示す。時刻Ｓ２０以降では、図６と同様に、図４の読み出し動作を実施する。また、２ライン毎の露光時間が異なる信号からＨＤＲ処理を実施しやすいように、それぞれの画素は、ベイヤ配列のような２×２配列の色フィルタを備えている。

まず、時刻Ｓ１０では、画素領域１０１は、長期垂直同期信号ＶＤＬ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の読み出しを実施することで、画素をリセットし、長時間露光ラインの１行目の画素の露光を開始する。次に、時刻Ｓ１１では、画素領域１０１は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の読み出しを実施することで、画素をリセットし、長時間露光ラインの２行目の画素の露光を開始する。次に、時刻Ｓ１２では、画素領域１０１は、長期垂直同期信号ＶＤＬに同期する３回目の水平同期信号ＨＤ及びその時のサブ水平同期信号ＨＳに同期して、５行目の画素の読み出しを実施することで、画素をリセットする。これにより、長時間露光ラインの５行目の画素の露光を開始する。このように、読み出し動作から逆算して露光を開始することと、短時間露光ラインである３行目及び４行目を飛ばして露光を開始することにより、５行目の画素のリセットは長期垂直同期信号ＶＤＬに同期する３回目の水平同期信号ＨＤに同期することになる。次に、時刻Ｓ１３では、画素領域１０１は、次のサブ水平同期信号ＨＳに同期して、６行目の画素の読み出しを実施することで、画素をリセットし、長時間露光ラインの６行目の画素の露光を開始する。時刻Ｓ１４以降では、画素領域１０１は、同様の方法で、サブ水平同期信号ＨＳに同期して、９行目、１０行目、１３行目及び１４行目の画素の読み出しをそれぞれ実施することで、画素をリセットする。これにより、長時間露光ラインの９行目、１０行目、１３行目及び１４行目の画素のそれぞれの露光を開始する。このように、短時間露光ラインを飛ばしながら、行毎にリセットすることで、長時間露光ラインのライン順次のローリングシャッタ動作を開始する。

時刻Ｓ１６は、時刻Ｓ１５の短期垂直同期信号ＶＤＳに同期する２回目の水平同期信号ＨＤの時刻である。時刻Ｓ１６では、画素領域１０１は、水平同期信号ＨＤ及びその時のサブ水平同期信号ＨＳに同期して、３行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの３行目の画素の露光を開始する。この時に、長時間露光ラインの１行目及び２行目は、すでに露光中であるので飛ばしている。次に、時刻Ｓ１７では、画素領域１０１は、次のサブ水平同期信号ＨＳに同期して、４行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの４行目の画素の露光を開始する。時刻Ｓ１８は、時刻Ｓ１５の短期垂直同期信号ＶＤＳに同期する４回目の水平同期信号ＨＤの時刻である。時刻Ｓ１８では、画素領域１０１は、水平同期信号ＨＤ及びその時のサブ水平同期信号ＨＳに同期して、７行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの７行目の画素の露光を開始する。読み出し動作から逆算して露光を開始することと、すでに露光中である長時間露光ラインの５行目及び６行目を飛ばして露光を開始することにより、７行目の画素のリセットは短期垂直同期信号ＶＤＳに同期する４回目の水平同期信号ＨＤに同期することになる。次に、時刻Ｓ１９では、次のサブ水平同期信号ＨＳに同期して、８行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの８行目の画素の露光を開始する。時刻Ｓ２０以降では、画素領域１０１は、同様の方法で、サブ水平同期信号ＨＳに同期して、１１行目、１２行目、１５行目及び１６行目の画素の読み出しをそれぞれ実施することで、画素をリセットする。これにより、短時間露光ラインの１１行目、１２行目、１５行目及び１６行目の画素のそれぞれの露光を開始する。このように、長時間露光ラインを飛ばしながら、行毎にリセットすることで、短時間露光ラインのライン順次のローリングシャッタ動作を開始する。

そして、時刻Ｓ２０では、撮像素子１２は、長期垂直同期信号ＶＤＬ、短期垂直同期信号ＶＤＳ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、図６と同様に、１行目の画素の信号をそれに対応する期間Ｒｏに出力する。２行目以降についても、図６と同様である。このように、１ＨＳ経過する毎に全行をライン毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。長時間露光の撮像動作では、長期垂直同期信号ＶＤＬに同期して１行目の画素のリセットを開始し、読み出しのための長期垂直同期信号ＶＤＬに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、長期垂直同期期間Ｔｆｒｌとなる。これにより、露光時間Ｔｆｒｌのローリングシャッタ動作をすべての長時間露光ラインに実施することで、長時間露光ラインの露光時間をそろえた撮像動作が実施される。短時間露光の撮像動作では、短期垂直同期信号ＶＤＳの次の水平同期信号ＨＤに同期して３行目の画素のリセットを開始し、読み出しのための短期垂直同期信号ＶＤＳの次の水平同期信号ＨＤに同期して３行目の画素の読み出しを実施している。そのため、最長の露光時間は、短期垂直同期期間Ｔｆｒｓとなる。これにより、露光時間Ｔｆｒｓのローリングシャッタ動作をすべての短時間露光ラインに実施することで、短時間露光ラインの露光時間をそろえた撮像動作が実施される。

撮像素子１２は、第１の読み出し動作Ｏｐｒ１により、奇数行目の画素を読み出し、撮像素子１２の第１出力部１１０ａから出力する。また、撮像素子１２は、第２の読み出し動作Ｏｐｒ２により、偶数行目の画素を並列的に読み出し、撮像素子１２の第２出力部１１０ｂから並列的に出力する。第１入力部４０１ａ及び第２入力部４０１ｂは、それぞれ、奇数行目及び偶数行目の画素信号を入力し、内部メモリ４０４は、画素信号を領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶する。内部メモリ４０４は、長時間露光ラインの１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目の画素信号をそれぞれ領域ｍＰ０１ｒ〜ｍＰ８ｒに記憶する。また、内部メモリ４０４は、短時間露光ラインの３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目の画素信号をそれぞれ領域ｍＰ０９ｒ〜ｍＰ１６ｒに記憶する。その後、メモリ出力部４０８は、第１内部メモリ端子４０５ａに長時間露光ラインの画素信号を出力し、同時に第２内部メモリ端子４０５ｂに短時間露光ラインの画素信号を出力する。これにより、後段では、長時間露光信号と短時間露光信号を同時かつ別々に信号処理させることができる。

ここで、本実施形態では、長時間露光と短時間露光の露光時間の比を２：１にする必要がある。例えば、長時間露光ラインである１行目の画素のリセットを、時刻Ｓ１０〜Ｓ２０までの間にある水平同期信号ＨＤのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、短時間露光ラインである３行目の画素のリセットを、常に長時間露光ラインの半分の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。具体的には、長時間露光ラインの露光時間を１水平同期期間Ｔｈｄ増減させる毎に、対応する短時間露光ラインの露光時間をそれぞれ１サブ水平同期期間Ｔｈｄｓ増減させることで実現できる。これにより、長時間露光と短時間露光の露光時間の比を２：１に保ったまま露光時間制御が可能となる。このため、ＨＤＲ処理では、感度比を補償するゲイン値は、短時間露光画素の信号に対して２倍に設定する。そして、信号処理部１３は、長時間露光画素の信号と短時間露光画素の信号を合成することでＨＤＲ処理を実行すればよい。また、撮像素子１２の基本の撮像動作とＨＤＲ撮像動作の切り換えに関して説明する。これに関しては、例えば、撮像装置の操作部１６が、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力し、同期制御部１５の制御により、ＴＧ１１２が撮像素子１２の全体を制御するタイミングを発生させることにより実現させている。

次に、本実施形態における撮像動作とＨＤＲ処理について説明する。ＨＤＲ処理では、信号処理部１３は、長時間露光の露光時間で露光された複数の行の画素信号を含む第１の画像データと、短時間露光の露光時間で露光された複数の行の画素信号を含む第２の画像データとを合成することにより、第３の画像データを生成する。第３の画像データは、第１及び第２の画像データに対してダイナミックレンジが拡大された画像データである。信号処理部１３は、撮像素子１２から出力される画素信号に対して、画素信号補正処理、位置ずれ補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。ここでは、長時間露光信号と短時間露光信号を用いた信号処理について説明する。信号処理部１３の信号処理では、撮像素子１２の画素領域１０１と区別するため、行毎の画素信号をラインと表現する。信号処理部１３は、第１内部メモリ端子４０５ａから長時間露光ラインを入力し、同時に第２内部メモリ端子４０５ｂから短時間露光ラインを入力し、同時かつ別々に信号処理する。

まず始めに、信号処理部１３は、長時間露光信号と短時間露光信号に対して、それぞれ別々に画素信号補正処理を行う。画素信号補正処理は、例えば、キズ補正、固定パターン補正、シェーディング補正等の補正処理である。次に、信号処理部１３は、長時間露光ラインと短時間露光ラインが２ライン毎に位置がずれているため、短時間露光ラインを基準として、長時間露光ラインの位置ずれ補正処理を行う。撮像素子１２の画素領域１０１は、１６ラインしか示していないが、実際の撮像装置では、９６０ラインあるいは２０４８ライン程度を備える。したがって、画素領域１０１を長時間露光ラインと短時間露光ラインに分割したとしても十分な解像度を維持したまま位置ずれ補正を実施することができる。位置ずれ補正処理は、長時間露光信号の１、２、５、６、９、１０、１３、１４ラインを用いて、長時間露光信号相当の３、４、７、８、１１、１２、１５、１６ラインの位置の画素信号を求める。例えば、信号処理部１３は、長時間露光信号の１、２、５、６ラインを用いて、短時間露光時の３、４ラインを補間して求めることができる。信号処理部１３は、Ｒ・Ｇ信号である１、５ラインから、同じくＲ・Ｇ信号である３ラインを補間し、Ｇ・Ｂ信号である２、６ラインから、同じくＧ・Ｂ信号である４ラインを補間する。こうして求められた長時間露光信号の１、２、５、６、９、１０、１３、１４ラインの画素信号は、信号処理部１３に設けられたメモリに記憶される。信号処理部１３は、同時に、短時間露光信号の３、４、７、８、１１、１２、１５、１６ラインに対しては、ＨＤＲ処理の一部として、２倍のゲイン値をかけてから、同じく信号処理部１３に設けられたメモリに記憶する。これにより、長時間露光と短時間露光の露光時間の比２：１を補償することができる。

次に、信号処理部１３は、記憶されている長時間露光信号に相当する３、４、７、８、１１、１２、１５、１６ラインの画素信号と短時間露光信号の３、４、７、８、１１、１２、１５、１６ラインの画素信号との間で、ＨＤＲ処理を実施する。短時間露光信号には露光時間を補償するゲイン値がすでにかけてあるので、ここでのＨＤＲ処理としては、明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成することになる。明るさに応じた合成の方法としては、例えば次のような方法がある。まず、長時間露光画素の信号の重み付け係数と短時間露光画素の信号の重み付け係数の和を一定値とする。そして、画像が明るい場合には、短時間露光画素の信号の重み付け係数を大きくする。一方、画像が暗い場合には、長時間露光画素の信号の重み付け係数を大きくする。ここまでは、全て画素毎の信号処理になっているので、信号処理部１３は、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。この画像信号処理は、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理である。このようにして、信号処理部１３は、長時間露光信号に対しては、長時間露光信号だけの画素信号補正処理と位置ずれ補正処理を実施する。また、同時に、信号処理部１３は、短時間露光信号に対しては、短時間露光信号だけに画素信号補正処理、露光時間を補償するゲイン補正を実施する。

以上のように、信号処理部１３は、長時間露光信号と短時間露光信号を同時かつ別々に補正処理及び信号処理することができるので、露光時間に合わせて２ライン毎に切り換えて補正処理及び信号処理を実施する必要がないため、負担軽減が図られる。そして、信号処理部１３は、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力するので、撮像装置における高速読み出し動作を実現している。本実施形態では、２行同時に出力することが可能となるので、２倍のフレームレートが実現できることになる。これにより、本実施形態では、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も半分に低減させることができる。

なお、上述の位置ずれ補正処理では、長時間露光ラインを用いて短時間露光ラインの位置の長時間露光相当の画素信号を求めた。しかし、信号処理部１３は、短時間露光信号の３、４、７、８、１１、１２、１５、１６ラインを用いて、短時間露光相当の１、２、５、６、９、１０、１３、１４ラインの位置の画素信号を計算してもよい。そして、信号処理部１３は、短時間露光信号として、１ラインから１６ラインまでの全ラインを用いる。これにより、信号処理部１３は、１６×１６の全画素を用いたダイナミックレンジが拡大された画像を生成することができる。

図８（ａ）〜（ｅ）は、他のＨＤＲ処理を説明するための図である。このＨＤＲ処理でも、長時間露光により得られた第１の画像データと短時間露光により得られた第２の画像データとを合成して、第１及び第２の画像データに対してダイナミックレンジが拡大された第３の画像データを生成することは上記と同じである。図８（ａ）は、画素領域１０１の撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表した画素特性の図である。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表す。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、露光フレーム期間が、それぞれＴｆｒｓ、２Ｔｆｒｓ、３Ｔｆｒｓ、４Ｔｆｒｓであり、かつ、電子シャッタによる露光時間の比が、それぞれ１：２：３：４に制御されている場合の特性を示している。これにより、画素特性Ｅｘｐ１を基準にすると、画素特性Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４の傾きはそれぞれ、２倍、３倍、４倍となる。出力信号ＰＳＡＴは、画素の飽和信号量を示している。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、それぞれ、撮像面照度Ｅ１、Ｅ２、Ｅ３、Ｅ４において飽和信号量ＰＳＡＴに達するので、それ以上の照度では出力信号は増加しない。破線は、画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４が飽和しないと仮定した場合の特性である。

図８（ｂ）は、画素特性Ｅｘｐ１についての撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。撮像面の照度Ｅ１にて、図８（ａ）の画素の出力信号Ｐｓｉｇが飽和信号量ＰＳＡＴで飽和するため、図８（ｂ）の画像信号Ｓｓｉｇも飽和信号量ＳＳＡＴで飽和した特性となっている。そして、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。これが、撮像素子１２を図６のように動作させ、ＨＤＲ処理を行わなかった場合の基本の撮像動作における画素特性である。

図８（ｃ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１及びＥｘｐ２を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態では、画素特性Ｅｘｐ１及びＥｘｐ２は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、Ｍ＝２の場合である。ＨＤＲ処理は、画素特性Ｅｘｐ１及びＥｘｐ２を加算して、最大飽和信号量がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ２までは、図８（ａ）における画素特性Ｅｘｐ１及びＥｘｐ２を加算することで、Ｅｘｐ１の３倍の感度に相当する画素特性となる。撮像面照度Ｅ２からＥ１までは、図８（ａ）において画素特性Ｅｘｐ２が飽和しているので、飽和信号量ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１及びＥｘｐ２がともに飽和しているので、最大飽和信号量となる２×ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２×ＰＳＡＴが飽和信号量ＳＳＡＴになるように正規化することで、図８（ｃ）のＨＤＲ処理が実現する。撮像素子１２は図７のように動作するとともに、信号処理部１３は図８（ｃ）のＨＤＲ処理を実施する。これにより、撮像面照度０からＥ１に対応して、画像信号Ｓｓｉｇが０からＳＳＡＴまで階調を持って出力していることがわかる。また、撮像面照度がＥ２からＥ１に拡張されているので、ダイナミックレンジは、２倍に拡大されていることになる。さらに、撮像面照度０からＥ２の画像信号特性の傾きは、図８（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度３倍相当）／（最大飽和信号量２倍）＝１．５倍になっていることより、感度は１．５倍に拡大されていることになる。ただし、画像信号特性の飽和信号量ＳＳＡＴが２×ＳＳＡＴまで利用可能であれば、感度は３倍まで拡大することができる。図８（ｃ）は、ガンマ特性として知られている入出力特性であり、これによりダイナミックレンジを拡大することが可能である。

図８（ｄ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１及びＥｘｐ３を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態では、画素特性Ｅｘｐ１及びＥｘｐ３は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、Ｍ＝３の場合である。ＨＤＲ処理は、画素特性Ｅｘｐ１及びＥｘｐ３を加算して、最大飽和信号量がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ３までは、図８（ａ）における画素特性Ｅｘｐ１及びＥｘｐ３を加算することで、画素特性Ｅｘｐ１の４倍の感度に相当する画素特性となる。撮像面照度Ｅ３からＥ１までは、図８（ａ）において画素特性Ｅｘｐ３が飽和しているので、飽和信号量ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１及びＥｘｐ３がともに飽和しているので、最大飽和信号量となる２×ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２×ＰＳＡＴが飽和信号量ＳＳＡＴになるように正規化することで、図８（ｄ）のＨＤＲ処理が実現する。撮像素子１２はＭ＝３に相当するように動作するとともに、信号処理部１３は図８（ｄ）のＨＤＲ処理を実施する。これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。また、撮像面照度がＥ３からＥ１に拡張されているので、ダイナミックレンジは、３倍に拡大されていることになる。さらに、撮像面照度０からＥ３の画像信号特性の傾きは、図８（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度４倍相当）／（最大飽和信号量２倍）＝２倍になっていることより、感度は２倍に拡大されていることになる。ただし、画像信号特性の飽和信号量ＳＳＡＴが２×ＳＳＡＴまで利用可能であれば、感度は４倍まで拡大することができる。図８（ｄ）は、図８（ｃ）と同じく、ガンマ特性として知られている入出力特性であり、これによりダイナミックレンジを拡大することが可能である。

図８（ｅ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１及びＥｘｐ４を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態では、画素特性Ｅｘｐ１及びＥｘｐ４は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、Ｍ＝４の場合である。ＨＤＲ処理は、画素特性Ｅｘｐ１及びＥｘｐ４を加算して、最大飽和信号量がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ４までは、図８（ａ）における画素特性Ｅｘｐ１及びＥｘｐ４を加算することで、Ｅｘｐ１の５倍の感度に相当する画素特性となる。撮像面照度Ｅ４からＥ１までは、図８（ａ）において画素特性Ｅｘｐ４が飽和しているので、飽和信号量ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１及びＥｘｐ４がともに飽和しているので、最大飽和信号量となる２×ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２×ＰＳＡＴがＳＳＡＴになるように正規化することで、図８（ｅ）のＨＤＲ処理が実現する。撮像素子１２はＭ＝４に相当するように動作するとともに、信号処理部１３は図８（ｅ）のＨＤＲ処理を実施する。これにより、撮像面照度０からＥ１に対応して、画像信号Ｓｓｉｇが０からＳＳＡＴまで階調を持って出力していることがわかる。また、撮像面照度がＥ４からＥ１に拡張されているので、ダイナミックレンジは、４倍に拡大されていることになる。さらに、撮像面照度０からＥ４の画像信号特性の傾きは、図８（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度５倍相当）／（最大飽和信号量２倍）＝２．５倍になっていることより、感度は２．５倍に拡大されていることになる。ただし、画像信号特性の飽和信号量ＳＳＡＴが２×ＳＳＡＴまで利用可能であれば、感度は５倍まで拡大することができる。図８（ｅ）も、図８（ｃ）と同じく、ガンマ特性として知られている入出力特性であり、これによりダイナミックレンジを拡大することが可能である。

（第２の実施形態）
次に、図１〜図６及び図８に加えて、図９及び図１０を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、撮像装置の基本的な構成及び動作は、第１の実施形態と同様である。第１の実施形態の図４の読み出し動作では、第１の読み出し動作Ｏｐｒ１で奇数行目の画素の信号を読み出し、第２の読み出し動作Ｏｐｒ２では、偶数行目の画素の信号を読み出している。そのため、読み出し動作から逆算して露光を開始すると、図７のＨＤＲ撮像動作において、例えば、長時間露光ラインの露光開始時刻が時刻Ｓ１０、Ｓ１１、Ｓ１２、Ｓ１３のようになり、露光開始時刻の時間差が均等にならないことになる。そこで、以下に説明する第２の実施形態では、読み出し動作の変更により、露光開始時刻の時間差が均等になるＨＤＲ撮像動作を実現する。

図９は、第２の実施形態に係る撮像素子１２の読み出し動作を示すタイミングチャートである。図４の読み出し動作では、第１の読み出し動作Ｏｐｒ１で奇数行目の画素の信号を読み出し、第２の読み出し動作Ｏｐｒ２で偶数行目の画素の信号を読み出していた。しかし、図９においては、第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、画素領域１０１の画素信号を１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目の順番に出力する。そして、第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、画素領域１０１の画素信号を３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目の順番に出力する。すなわち、第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、長時間露光の露光時間で露光された長時間露光ラインの画素信号を出力する。第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、短時間露光の露光時間で露光された短時間露光ラインの画素信号を出力する。これにより、図９の時刻ｔ００において、第１の読み出し動作Ｏｐｒ１で１行目の画素信号を読み出し、時刻ｔ０４において、第２の読み出し動作Ｏｐｒ２で３行目の画素信号を読み出す。そして、時刻ｔ０８において、第１の読み出し動作Ｏｐｒ１で２行目の画素信号を読み出し、時刻ｔ１２において、第２の読み出し動作Ｏｐｒ２で４行目の画素信号を読み出す。これ以降も、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２を繰り返しながら、５行目、７行目、６行目、８行目、９行目、１１行目、１０行目、１２行目、１３行目、１５行目、１４行目、１６行目の順番に画素信号を読み出す。読み出す行の変更に関しては、同期制御部１５の制御により、ＴＧ１１２が垂直走査部１０２を制御するタイミングを発生して実現させている。ここで、図９においては、読み出す行が入れ替わっていること以外のタイミングや動作については、図４と同じである。

図１０は、第２の実施形態に係る撮像素子１２のＨＤＲ撮像動作を示すタイミングチャートである。本実施形態においても、ＨＤＲ処理のために、画素領域１０１の画素行は、所定行数（例えば２行）毎に、長時間露光ラインと短時間露光ラインが交互になるように設定される。本実施形態では、図７と同様に、長時間露光ラインは、１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目のように２行毎に設定される。そして、短時間露光ラインは、３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目のように２行毎に設定される。また、信号Ｓｉｇ０１からＳｉｇ１６は、垂直信号線１０４に読み出される画素信号の順番を示し、その時の画素領域１０１の画素の１行目〜１６行目の動作の状態を示す。そして、期間ｅＰ０１ｒ〜ｅＰ１６ｒは、それぞれ、１行目〜１６行目の画素の露光時間を示す。第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目の長時間露光ラインの画素信号を順番に出力する。第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目の短時間露光ラインの画素信号を順番に出力する。時刻Ｓ４０以降の読み出し動作は、図９の動作と同じである。すなわち、時刻Ｓ４０以降は、長時間露光ラインを読み出す第１の読み出し動作Ｏｐｒ１と短時間露光ラインを読み出す第２の読み出し動作Ｏｐｒ２を繰り返す。これにより、１行目、３行目、２行目、４行目、５行目、７行目、６行目、８行目、９行目、１１行目、１０行目、１２行目、１３行目、１５行目、１４行目、１６行目の順番に画素信号を読み出すことになる。その他は、図７と同様である。また、２ライン毎に露光時間が異なる画素信号からＨＤＲ処理を実施しやすいように、それぞれの画素はベイヤ配列のような２×２配列の色フィルタを備えている。

まず、時刻Ｓ３０では、画素領域１０１は、長期垂直同期信号ＶＤＬ及び水平同期信号ＨＤに同期して、１行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの１行目の画素の露光を開始する。次に、時刻Ｓ３１では、画素領域１０１は、次の水平同期信号ＨＤに同期して、２行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの２行目の画素の露光を開始する。このように、読み出し動作から逆算して露光を開始することと、短時間露光ラインである３行目を飛ばして露光を開始することにより、２行目の画素のリセットは長期垂直同期信号ＶＤＬに同期する２回目の水平同期信号ＨＤに同期することになる。そして、時刻Ｓ３２では、画素領域１０１は、時刻Ｓ３０の長期垂直同期信号ＶＤＬに同期する３回目の水平同期信号ＨＤに同期して、短時間露光ラインである４行目を飛ばして５行目の画素信号の読み出しを実施することで、画素をリセットする。これにより、長時間露光ラインの５行目の画素の露光を開始する。時刻Ｓ３３以降では、画素領域１０１は、同様の方法で、水平同期信号ＨＤに同期して、６行目、９行目、１０行目、１３行目及び１４行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、長時間露光ラインの６行目、９行目、１０行目、１３行目及び１４行目のそれぞれの画素の露光を開始する。このように、画素領域１０１は、短時間露光ラインを飛ばしながら、行毎にリセットすることで、長時間露光ラインのライン順次のローリングシャッタ動作を開始する。

時刻Ｓ３５は、時刻Ｓ３４の短期垂直同期信号ＶＤＳに同期する水平同期信号ＨＤ及びサブ水平同期信号ＨＳに対して、その時の２回目のサブ水平同期信号ＨＳとなる時刻である。時刻Ｓ３５では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、３行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの３行目の画素の露光を開始する。この時に、長時間露光ラインの１行目は、すでに露光中であるので飛ばしている。時刻Ｓ３６は、時刻Ｓ３４の短期垂直同期信号ＶＤＳに同期する２回目の水平同期信号ＨＤに対して、その時の２回目サブ水平同期信号ＨＳとなる時刻である。時刻Ｓ３６では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、長時間露光ラインである２行目を飛ばして４行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの４行目の画素の露光を開始する。時刻Ｓ３８は、時刻Ｓ３４の短期垂直同期信号ＶＤＳに同期する３回目の水平同期信号ＨＤに対して、その時の２回目のサブ水平同期信号ＨＳとなる時刻である。時刻Ｓ３８では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、長時間露光ラインである５行目を飛ばして７行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの７行目の画素の露光を開始する。時刻Ｓ３９以降では、画素領域１０１は、同様の方法で、２回のサブ水平同期信号ＨＳが経過する毎に、８行目、１１行目、１２行目、１５行目及び１６行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、短時間露光ラインの８行目、１１行目、１２行目、１５行目及び１６行目のそれぞれの画素の露光を開始する。このように、長時間露光ラインを飛ばしながら、行毎にリセットすることで、短時間露光ラインのライン順次のローリングシャッタ動作を開始する。

そして、時刻Ｓ４０では、撮像素子１２は、長期垂直同期信号ＶＤＬ、短期垂直同期信号ＶＤＳ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の信号をそれに対応する期間Ｒｏに出力する。次に、時刻Ｓ４１では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、３行目の画素の信号をそれに対応する期間Ｒｏに出力する。続いて、時刻Ｓ４２では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の信号をそれに対応する期間Ｒｏに出力する。さらに、時刻Ｓ４３では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、４行目の画素の信号をそれに対応する期間Ｒｏに出力する。時刻Ｓ４４以降では、撮像素子１２は、同様に、サブ水平同期信号ＨＳに同期して、画素の信号を５行目、７行目、６行目、８行目、９行目、１１行目、１０行目、１２行目、１３行目、１５行目、１４行目、１６行目の順番で、それぞれの期間Ｒｏに出力する。このように、１ＨＳ経過する毎に全行を所定の順番でライン毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。

長時間露光の撮像動作では、長期垂直同期信号ＶＤＬに同期して１行目の画素のリセットを開始し、読み出しのための長期垂直同期信号ＶＤＬに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、長期垂直同期期間Ｔｆｒｌとなっている。これにより、露光時間Ｔｆｒｌのローリングシャッタ動作をすべての長時間露光ラインに実施することで、長時間露光ラインの露光時間をそろえた撮像動作が実施される。短時間露光の撮像動作では、短期垂直同期信号ＶＤＳの次のサブ水平同期信号ＨＳに同期して３行目の画素のリセットを開始し、読み出しのための短期垂直同期信号ＶＤＳの次のサブ水平同期信号ＨＳに同期して３行目の画素の読み出しを実施している。そのため、最長の露光時間は、短期垂直同期期間Ｔｆｒｓとなっている。これにより、露光時間Ｔｆｒｓのローリングシャッタ動作をすべての短時間露光ラインに実施することで、短時間露光ラインの露光時間をそろえた撮像動作が実施される。このようにして、第１の読み出し動作Ｏｐｒ１により、長時間露光ラインを所定の順番で読み出し、撮像素子１２の第１出力部１１０ａから出力する。また、第２の読み出し動作Ｏｐｒ２により、短時間露光ラインを所定の順番で読み出し、撮像素子１２の第２出力部１１０ｂから出力する。

そして、信号処理部１３の入力部分である第１入力部４０１ａ及び第２入力部４０１ｂは、それぞれ、長時間露光ライン及び短時間露光ラインの画素信号を入力する。内部メモリ４０４は、長時間露光ライン及び短時間露光ラインの画素信号を領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶する。この時、図１０のＨＤＲ撮像動作では、長時間露光ラインの１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目の画素信号は、それぞれ領域ｍＰ０１ｒ〜ｍＰ８ｒに記憶される。短時間露光ラインの３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目の画素信号は、それぞれ領域ｍＰ０９ｒ〜ｍＰ１６ｒに記憶される。その後、メモリ出力部４０８は、第１内部メモリ端子４０５ａに長時間露光ラインの画素信号を出力し、同時に第２内部メモリ端子４０５ｂに短時間露光ラインの画素信号を出力する。これにより、後段では、長時間露光信号と短時間露光信号を同時かつ別々に信号処理することができる。

ここで、本実施形態では、長時間露光と短時間露光の露光時間の比を２：１にする必要がある。例えば、長時間露光ラインである１行目の画素のリセットを、時刻Ｓ３０からＳ４０までの間にある水平同期信号ＨＤのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、短時間露光ラインである３行目の画素のリセットを、常に長時間露光ラインの半分の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。具体的には、長時間露光ラインの露光時間を１水平同期期間Ｔｈｄ増減させる毎に、それに対応する短時間露光ラインの露光時間をそれぞれ１サブ水平同期期間Ｔｈｄｓ増減させることで実現できる。これにより、長時間露光と短時間露光の露光時間の比を２：１に保ったまま露光時間制御が可能となる。このため、ＨＤＲ処理では、感度比を補償するゲイン値は、短時間露光画素の信号に対して２倍に設定する。そして、長時間露光画素の信号と短時間露光画素の信号を合成することでＨＤＲ処理を実行すればよい。本実施形態におけるＨＤＲ処理は、第１の実施形態と同様に実施すればよい。また、ＨＤＲ処理は、Ｍ＝２である図８（ｃ）を用いて実施可能である。また、本実施形態における撮像素子１２の基本の撮像動作とＨＤＲ撮像動作の切り換えに関して説明する。これに関しては、例えば、撮像装置の操作部１６は、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力し、同期制御部１５の制御により、ＴＧ１１２が撮像素子１２の全体を制御するタイミングを発生させることにより実現させている。

本実施形態では、長時間露光信号と短時間露光信号を同時かつ別々に補正処理及び信号処理させることができるので、露光時間に合わせて２ライン毎に切り換えて補正処理及び信号処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となるので、撮像装置における高速読み出し動作を実現している。本実施形態では、２行同時に画素信号を出力することが可能となるので、２倍のフレームレートが実現できることになる。これにより、本実施形態では、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になっている。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪の発生も半分に低減させることができる。さらに、本実施形態では、露光時間の開始となるリセット動作が、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の２×Ｔｈｄｓである１水平同期期間Ｔｈｄの時間差を持って実施されている。そして、露光時間の終了となる読み出し動作も、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の２×Ｔｈｄｓである１水平同期期間Ｔｈｄの時間差を持って実施されている。これにより、長時間露光と短時間露光の両方について、露光時間の時間差が均等になるため、第１の実施形態の図７において長時間露光と短時間露光のそれぞれに起きていた、露光時間の時間差の不均等が解消される。このため、本実施形態では、ローリング歪みが低減し、その影響がなめらかになり、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができるという効果がある。

（第３の実施形態）
次に、図１、図３及び図８に加えて、図１１〜図１６を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、撮像装置の基本的な構成及び動作は、第１の実施形態及び第２の実施形態と同様である。第１の実施形態における撮像素子１２は、水平メモリ部１０８ａ，１０８ｂ及び出力部１１０１，１１０ｂをそれぞれ２組ずつ備えることで、２行同時出力による高速読み出し動作を実現している。以下に説明する第３の実施形態においては、水平メモリ部及び出力部をそれぞれ４組ずつ備えることで、さらなる高速読み出し動作とローリング歪みの低減を実現する。

図１１は、本実施形態に係る撮像素子１２の構成例を示す図である。図１１の撮像素子１２は、図２の撮像素子１２に対して、第３水平メモリ部１０８ｃ、第４水平メモリ部１０８ｄ、第３出力部１１０ｃ、第４出力部１１０ｄ、出力端子１１１ｃ，１１１ｄ、第１メモリ選択部１１４ａ及び第２メモリ選択部１１４ｂを追加している。画素領域１０１、垂直走査部１０２、画素制御線１０３、垂直信号線１０４、信号選択部１０５ａ、１０５ｂ、列信号処理部１０６ａ、１０６ｂ、及び、列ＡＤ部１０７ａ、１０７ｂは、図２に示した第１の実施形態における撮像素子と同じ動作を行う。第１メモリ選択部１１４ａは、第１列ＡＤ部１０７ａにおいてアナログデジタル変換された行単位の画素の信号を、第１水平メモリ部１０８ａあるいは第３水平メモリ部１０８ｃのどちらか一方に選択的に記憶させるスイッチである。第２メモリ選択部１１４ｂは、第２列ＡＤ部１０７ｂにおいてアナログデジタル変換された行単位の画素の信号を、第２水平メモリ部１０８ｂあるいは第４水平メモリ部１０８ｄのどちらか一方に選択的に記憶させるスイッチである。第１水平メモリ部１０８ａ及び第３水平メモリ部１０８ｃは、第１列ＡＤ部１０７ａにおいてデジタル化された行単位の各列の画素信号を記憶する。第２水平メモリ部１０８ｂ及び第４水平メモリ部１０８ｄは、第２列ＡＤ部１０７ｂにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部１０８ａ、１０８ｂ、１０８ｃ、１０８ｄは、それらに対応する列ＡＤ部１０７ａ、１０７ｂにあわせて各列毎に８ビットのデジタル信号を記憶できるものとするが、ＡＤ変換器のビット精度に応じたビット数のデジタル信号が記憶できればよい。第１水平走査部１０９ａは、水平メモリ部１０８ａ、１０８ｃに記憶しているデジタル化された画素信号を、それぞれに対応する出力部１１０ａ、１１０ｃに列毎に選択して転送するように、水平メモリ部１０８ａ、１０８ｂを制御する。第２水平走査部１０９ｂは、水平メモリ部１０８ｂ、１０８ｄに記憶しているデジタル化された画素信号を、それぞれに対応する出力部１１０ｂ、１１０ｄに列毎に選択して転送するように、水平メモリ部１０８ｂ、１０８ｄを制御する。出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、デジタル化された行単位の画素信号の前あるいは前後に同期信号を付加する。また、出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、同期信号付きのデジタル画素信号を、それぞれに対応する出力端子１１１ａ、１１１ｂ、１１１ｃ及び１１１ｄを介して信号処理部１３へ出力する。ＴＧ１１２は、制御端子１１３を介した同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。本実施形態に係る出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、図３に示した第１の実施形態における第１出力部１１０ａと同じ構成と同じ動作である。

図１２は、第３の実施形態に係る撮像素子１２の読み出し動作を示すタイミングチャートである。信号ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となり、期間Ｔｈｄが１つの水平同期期間となっている。また、信号ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、期間Ｔｈｓが１つのサブ水平同期期間となっている。ここで、サブ水平同期信号ＨＳは、撮像素子１２がＮ個（Ｎは２以上の整数）の出力部を有する場合、１水平同期期間ＴｈｄにＮ行の画素の信号を読み出すよう、１水平同期期間ＴｈｄをＮ分割した周期（間隔毎）で立ち下がるよう作られている。これらの水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、同期信号発生手段としてのＴＧ１１２によって供給される。本実施形態に係る撮像素子１２は、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄの４つの出力部を有するため、４行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを４等分した周期で立ち下がるよう作られている。このため、水平同期期間Ｔｈｄが、サブ水平同期期間Ｔｈｓの４倍の長さとなっている。

動作Ｏｐｒ１は、第１信号選択部１０５ａが選択し、かつ、第１メモリ選択部１１４ａが第１水平メモリ部１０８ａに接続したときの第１の読み出し動作を示す。動作Ｏｐｒ２は、第２信号選択部１０５ｂが選択し、かつ、第２メモリ選択部１１４ｂが第２水平メモリ部１０８ｂに接続したときの第２の読み出し動作を示す。動作Ｏｐｒ３は、第１信号選択部１０５ａが選択し、かつ、第１メモリ選択部１１４ａが第３水平メモリ部１０８ｃに接続したときの第３の読み出し動作を示す。動作Ｏｐｒ４は、第２信号選択部１０５ｂが選択し、かつ、第２メモリ選択部１１４ｂが第４水平メモリ部１０８ｄに接続したときの第４の読み出し動作を示す。画素領域１０１に配列されている画素のうち、第１出力部１１０ａは、１行目、５行目、９行目及び１３行目の画素の信号を第１の読み出し動作Ｏｐｒ１により出力する。そして、第２出力部１１０ｂは、２行目、６行目、１０行目及び１４行目の画素の信号を第２の読み出し動作Ｏｐｒ２により出力する。また、第３出力部１１０ｃは、３行目、７行目、１１行目及び１５行目の画素の信号を第３の読み出し動作Ｏｐｒ３により出力する。第４出力部１１０ｄは、４行目、８行目、１２行目及び１６行目の画素の信号を第４の読み出し動作Ｏｐｒ４により出力する。すなわち、第１出力部１１０ａは、第１のグループに属する行の画素の画素信号を出力する。第２出力部１１０ｂは、第２のグループに属する行の画素の画素信号を出力する。第３出力部１１０ｃは、第３のグループに属する行の画素の画素信号を出力する。第４出力部１１０ｄは、第４のグループに属する行の画素の画素信号を出力する。第１〜第４出力部１１０ａ〜１１０ｄは、画素領域１０１の隣接する４行の画素の画素信号を並列に出力する。

まず、第１の読み出し動作Ｏｐｒ１について説明する。時刻ｔ２０では、撮像素子１２は、水平同期信号ＨＤに同期する１回目のサブ水平同期信号ＨＳに同期して、第１の読み出し動作Ｏｐｒ１を開始する。まず、時刻ｔ２０〜ｔ２１の期間Ｒｄ１ｒでは、撮像素子１２は、第１信号選択部１０５ａが選択した状態で、垂直走査部１０２からの駆動制御信号により、１行目の画素の信号をそれぞれに対応する垂直信号線１０４に読み出す。このとき、最初に画素をリセットした状態のＮ信号が、第１列信号処理部１０６ａでサンプルホールドされ、続いて光電変換された状態のＳ信号が、第１列信号処理部１０６ａでサンプルホールドされる。次に、時刻ｔ２１〜ｔ２２の期間ＣＤＳ１ｒでは、第１列信号処理部１０６ａは、ＣＤＳ回路でＳ信号からＮ信号を減算することによってＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する。次に、時刻ｔ２２〜ｔ２３の期間ＡＤ１ｒでは、第１列ＡＤ部１０７ａは、ノイズ除去された１行目の画素の信号をアナログデジタル変換する。第１の読み出し動作Ｏｐｒ１では、第１メモリ選択部１１４ａが第１水平メモリ部１０８ａに接続しているので、デジタル信号に変換された１行目の画素の信号は、第１水平メモリ部１０８ａに記憶される。ここまでの時刻ｔ２０〜ｔ２３での処理が、１行目の各画素の信号に対する列毎の並列処理になる。

次に、時刻ｔ２３〜ｔ２４の期間ＳＤ１ｒでは、第１出力部１１０ａ内の第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する。ここで付加されるスタート同期信号は、第１の実施形態におけるスタート同期信号と同じものを用いることができる。このとき、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、スタート同期信号を付加しない。次に、時刻ｔ２４の期間ＳｉｇＯｕｔ１ｒでは、第１水平走査部１０９ａは、第１水平メモリ部１０８ａを列毎に選択し、第１水平メモリ部１０８ａに記憶されているデジタル化された８ビットの画素信号Ｄ０ａ〜Ｄ７ａを第１出力部１１０ａに転送する。そして、第１信号変換部２０１ａは、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。その後、第１差動送信バッファ２０３ａは、８ビットのそれぞれの信号に対応する正転信号と反転信号に変換して、第１出力端子１１１ａから出力する。次に、期間ＥＤ１ｒ（時刻ｔ２７まで）では、第１出力部１１０ａ内の第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する。ここで付加されるエンド同期信号は、第１の実施形態におけるエンド同期信号と同じものを用いることができる。このとき、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、エンド同期信号を付加しない。ここまでの時刻ｔ２３〜ｔ２７の期間が、スタート同期信号及びエンド同期信号を付加した１行目の各画素の信号の出力期間になる。

第１の読み出し動作Ｏｐｒ１では、１行目の画素の信号の出力後、続けて５行目の画素の信号を出力する。時刻ｔ２８〜ｔ３１の期間は、５行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶の列毎の並列処理を実施する期間である。そして、時刻ｔ３１〜ｔ３５の期間は、スタート同期信号及びエンド同期信号を付加した５行目の各画素の信号の出力期間である。さらに、第３の実施形態では、画素領域１０１に配列されている画素１００は１６行であるため、時刻ｔ３６以降で、９行目及び１３行目の画素の信号を同様に読み出す。

次に、第２の読み出し動作Ｏｐｒ２について説明する。時刻ｔ２２では、撮像素子１２は、水平同期信号ＨＤに同期する２回目のサブ水平同期信号ＨＳに同期して、第２の読み出し動作Ｏｐｒ２を開始する。ここで、撮像素子１２では、垂直信号線１０４が垂直画素列に共通に配線されているため、第２の読み出し動作Ｏｐｒ２は、１行目の画素の信号を読み出す期間Ｒｄ１ｒの終了以降（時刻ｔ２１以降）に動作を開始する必要がある。本実施形態では、水平同期期間Ｔｈｄを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ１ｒより長く設定されているので、２回目のサブ水平同期信号ＨＳは、期間Ｒｄ１ｒ終了後、十分に時間が経過した後に設けられている。第２の読み出し動作Ｏｐｒ２では、第２信号選択部１０５ｂが選択し、かつ、第２メモリ選択部１１４ｂが第２水平メモリ部１０８ｂに接続した状態で、２行目の画素の信号がそれぞれに対応する垂直信号線１０４に読み出される。この時の時刻ｔ２２〜ｔ２９の期間Ｒｄ２ｒから期間ＥＤ２ｒまでの動作は、第１の読み出し動作Ｏｐｒ１の期間Ｒｄ１ｒから期間ＥＤ１ｒまでの動作と同じである。第２の読み出し動作Ｏｐｒ２においては、２行目の画素の信号の出力後、時刻ｔ３０以降で、６行目、１０行目及び１４行目の画素の信号を同様に読み出す。

次に、第３の読み出し動作Ｏｐｒ３について説明する。時刻ｔ２４では、撮像素子１２は、水平同期信号ＨＤに同期する３回目のサブ水平同期信号ＨＳに同期して、第３の読み出し動作Ｏｐｒ３を開始する。本実施形態では、水平同期期間Ｔｈｄを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ２ｒより長く設定されているので、３回目のサブ水平同期信号ＨＳは、期間Ｒｄ２ｒ終了後、十分に時間が経過した後に設けられている。第３の読み出し動作Ｏｐｒ３では、第１信号選択部１０５ａが選択し、かつ、第１メモリ選択部１１４ａが第３水平メモリ部１０８ｃに接続した状態で、３行目の画素の信号がそれぞれに対応する垂直信号線１０４に読み出される。この時の時刻ｔ２４〜ｔ３１の期間Ｒｄ３ｒから期間ＥＤ３ｒまでの動作は、第１の読み出し動作Ｏｐｒ１の期間Ｒｄ１ｒから期間ＥＤ１ｒまでの動作と同じである。第３の読み出し動作Ｏｐｒ３では、３行目の画素の信号の出力後、時刻ｔ３２以降で、７行目、１１行目及び１５行目の画素の信号を同様に読み出す。

次に、第４の読み出し動作Ｏｐｒ４について説明する。時刻ｔ２６では、撮像素子１２は、水平同期信号ＨＤに同期する４回目のサブ水平同期信号ＨＳに同期して、第４の読み出し動作Ｏｐｒ４を開始する。本実施形態では、水平同期期間Ｔｈｓを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ３ｒより長く設定されているので、４回目のサブ水平同期信号ＨＳは、期間Ｒｄ３ｒ終了後、十分に時間が経過した後に設けられている。第４の読み出し動作Ｏｐｒ４では、第２信号選択部１０５ｂが選択し、かつ、第２メモリ選択部１１４ｂが第４水平メモリ部１０８ｄに接続した状態で、４行目の画素の信号がそれぞれに対応する垂直信号線１０４に読み出される。この時の時刻ｔ２６〜ｔ３３の期間Ｒｄ４ｒから期間ＥＤ４ｒまでの動作は、第１の読み出し動作Ｏｐｒ１の期間Ｒｄ１ｒから期間ＥＤ１ｒまでの動作と同じである。第４の読み出し動作Ｏｐｒ４では、４行目の画素の信号の出力後、時刻ｔ３４以降で、８行目、１２行目及び１６行目の画素の信号を同様に読み出す。

このように、第３の実施形態では、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３、及び第４の読み出し動作Ｏｐｒ４を、それぞれ１サブ水平同期期間Ｔｈｓに相当する時間だけずらして動作させる。このため、ＴＧ１１２は、期間Ｒｄ１ｒ、期間ＣＤＳ１ｒ、期間ＡＤ１ｒの間に実施する１行目の画素の信号の読み出しから第１水平メモリ部１０８ａへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、同時に、１サブ水平同期期間Ｔｈｓだけずらして、２行目の画素の信号の読み出しから第２水平メモリ部１０８ｂへの記憶までの列毎の並列処理動作を制御することが可能となっている。ＴＧ１１２は、同様に１サブ水平同期期間Ｔｈｓだけずらして、３行目の画素の信号の読み出しから第３水平メモリ部１０８ｃへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、同様に１サブ水平同期期間Ｔｈｓだけずらして、４行目の画素の信号の読み出しから第４水平メモリ部１０８ｄへの記憶までの列毎の並列処理動作も制御することが可能となっている。さらに、ＴＧ１１２は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した行単位での画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、スタート同期信号の出力動作は、それぞれの行の信号の並列処理動作の終了後で、それぞれに対応する次の行の読み出し動作の開始前にそれぞれ対応するエンド同期信号の出力が完了するのであれば、その間のどこでもよい。これらの期間ＳＤ１ｒ、期間ＳＤ２ｒ、期間ＳＤ３ｒ、及び期間ＳＤ４ｒのそれぞれの開始タイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２が個別にかつ適宜設定できる。以上の説明は、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３、及び第４の読み出し動作Ｏｐｒ４の関係について述べたものである。読み出し動作が繰り返される場合には、４行目の画素信号を読み出す第４の読み出し動作Ｏｐｒ４と５行目の画素信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行に対しても適応可能である。

図１３は、本実施形態に係る信号処理部１３の入力部分の構成を示す図である。信号処理部１３は、信号処理が可能となるように、撮像素子１２から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能である。図１３に示す入力部分は、第１入力部４０１ａ、第２入力部４０１ｂ、第３入力部４０１ｃ、第４入力部４０１ｄ、同期信号解読部４０３及び内部メモリ４０４を有する。第１入力部４０１ａ及び第２入力部４０１ｂには、第１出力部１１０ａ及び第２出力部１１０ｂからの画素の信号が、それぞれ、第１入力端子４０２ａ及び第２入力端子４０２ｂを介して入力される。また、第３入力部４０１ｃ及び第４入力部４０１ｄには、第３出力部１１０ｃ及び第４出力部１１０ｄからの画素の信号が、それぞれ、第３入力端子４０２ｃ及び第４入力端子４０２ｄを介して入力される。信号処理部１３に入力される信号は、図３を用いて説明した１つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、入力部４０１ａ〜４０１ｄは、差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、入力部４０１ａ〜４０１ｄは、同時に入力される画素クロック信号と信号処理部１３の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部１３の信号処理クロック信号の位相に同期させる処理を行う。同期信号解読部４０３は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に記憶させる。内部メモリ４０４は、行単位の１行目から１６行目までの画素信号を、それぞれ、領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶する。

ここで、図１２に示した読み出し動作が実施された場合について説明する。同期信号解読部４０３は、第１入力部４０１ａから１行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に送る。内部メモリ４０４内のメモリ入力部４０７は、画素信号の振り分けを行い、１行目の画素信号を領域ｍＰ０１ｒに記憶する。次に、同期信号解読部４０３は、並列的に第２入力部４０１ｂから２行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に送る。１行目と同じく、内部メモリ４０４内のメモリ入力部４０７は、画素信号の振り分けを行い、２行目の画素信号を領域ｍＰ０２ｒに記憶する。このとき、内部メモリ４０４は、１行目の画素の信号の記憶動作と２行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ４０４の異なる領域に対する記憶動作なので、制御可能となっている。内部メモリ４０４は、１行目及び２行目の画素の信号の記憶動作と同時に、３行目及び４行目の画素の信号をそれぞれ領域ｍＰ３ｒ及びｍＰ４ｒに記憶する記憶動作も同様に行う。また、内部メモリ４０４は、５行目以降１６行目までの画素の信号の記憶動作も同様に行う。メモリ出力部４０８は、内部メモリ４０４の領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶された１行目〜１６行目の画素の信号を、同期制御部１５からの制御信号に基づいて、読み出す。

本実施形態では、後段の信号処理部が、Ｒ・Ｇ行とＧ・Ｂ行の両方を同時に処理可能である。そのため、メモリ出力部４０８は、第１内部メモリ端子４０５ａに１行目を含む奇数行目の画素信号を出力し、同時に第２内部メモリ端子４０５ｂに２行目を含む偶数行目の画素信号を出力する。これにより、後段では、２行単位で信号処理することができる。この時、内部メモリ４０４は、４行毎の入力に対して２行毎の出力となるので、２倍の速度で出力し、その時の信号処理も２倍の速度で行うことで、撮像装置としての撮像動作の同期が取れることになる。また、内部メモリ４０４が出力した画素信号を後段で処理する際に、信号処理が１行毎の処理に適している場合がある。その場合には、メモリ出力部４０８は、第１内部メモリ端子４０５ａ及び第２内部メモリ端子４０５ｂのどちらかを選択し、１行目から１行毎に出力することができる。この時、内部メモリ４０４は、４行毎の入力に対して１行毎の出力となるので、４倍の速度で出力し、その時の信号処理も４倍の速度で行うことで、撮像装置としての撮像動作の同期が取れることになる。

図１４は、第３の実施形態に係る撮像素子１２の基本の撮像動作を示すタイミングチャートである。信号ＶＤは、撮像素子１２を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Ｔｆｒが１つの垂直同期期間である。水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、図１２と同じである。これらの垂直同期信号ＶＤ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、同期信号発生手段としてのＴＧ１１２によって供給される。信号Ｓｉｇ０１〜Ｓｉｇ１６は、垂直信号線１０４に読み出される画素信号の順番を示し、その時の画素領域１０１の１行目〜１６行目の画素の動作の状態を示す。そして、期間ｅＰ０１ｒ〜ｅＰ１６ｒは、それぞれ、１行目〜１６行目の画素の露光時間を示す。期間Ｒｏは、各行の画素の信号を列信号処理部１０６ａあるいは１０６ｂに読み出してから、１ライン分の画素の信号をそれに対応する出力部１１０ａ〜１１０ｄから出力するまでの期間である。例えば、１行目の画素の信号については、図１２の時刻ｔ２０〜ｔ２７までの期間が期間Ｒｏに対応する。２行目以降についても、図１２の読み出し動作を実施する。

まず、時刻Ｓ５０では、画素領域１０１は、垂直同期信号ＶＤ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素信号の読み出しを実施することで、画素をリセットし、１行目の画素の露光を開始する。次に、時刻Ｓ５１では、画素領域１０１は、次のサブ水平同期信号ＨＳに同期して、２行目の画素信号の読み出しを実施することで、画素をリセットし、２行目の画素の露光を開始する。時刻Ｓ５２以降では、画素領域１０１は、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜１６行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットし、３行目〜１６行目のそれぞれの画素の露光を開始する。このように、１ＨＳ経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を開始する。

時刻Ｓ６０は、時刻Ｓ５０からＴｆｒ経過後の時刻である。時刻Ｓ６０では、撮像素子１２は、垂直同期信号ＶＤ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の信号をそれに対応する期間Ｒｏに出力する。次に、時刻Ｓ６１では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の信号をそれに対応する期間Ｒｏに出力する。時刻Ｓ６２以降では、撮像素子１２は、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜１６行目の画素の信号をそれぞれに対応する期間Ｒｏに出力する。このように、１ＨＳ経過する毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。

この基本の撮像動作では、垂直同期信号ＶＤに同期して１行目の画素のリセットを開始し、読み出しのための垂直同期信号ＶＤに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Ｔｆｒである。これにより、露光時間Ｔｆｒのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮像動作が実施される。ここで、１行目の画素のリセットを、時刻Ｓ５０〜Ｓ６０までの間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｄｓ単位の露光時間制御が可能となる。このようにして、第１の読み出し動作Ｏｐｒ１により、１行目、５行目、９行目及び１３行目の画素信号が読み出され、撮像素子１２の第１出力部１１０ａから出力される。また、第２の読み出し動作Ｏｐｒ２により、２行目、６行目、１０行目及び１４行目の画素信号が並列的に読み出され、撮像素子１２の第２出力部１１０ｂから並列的に出力される。さらに、第３の読み出し動作Ｏｐｒ３により、３行目、７行目、１１行目及び１５行目の画素信号が並列的に読み出され、撮像素子１２の第３出力部１１０ｃから並列的に出力される。そして、第４の読み出し動作Ｏｐｒ４により、４行目、８行目、１２行目及び１６行目の画素信号が並列的に読み出され、撮像素子１２の第４出力部１１０ｄから並列的に出力される。それらは、対応する信号処理部１３の入力部分である入力部４０１ａ〜４０１ｄにそれぞれ入力され、内部メモリ４０４内の領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶される。その後、メモリ出力部４０８は、第１内部メモリ端子４０５ａに１行目を含む奇数行目の画素信号を出力し、同時に第２内部メモリ端子４０５ｂに２行目を含む偶数行目の画素信号を出力する。後段では、２行単位で信号処理をすることができる。

図１５は、第３の実施形態に係る撮像素子１２の他の読み出し動作を示すタイミングチャートである。図１２の読み出し動作では、第１の読み出し動作Ｏｐｒ１で１行目、５行目、９行目及び１３行目の画素信号を読み出し、第２の読み出し動作Ｏｐｒ２で２行目、６行目、１０行目及び１４行目の画素信号を読み出す。また、第３の読み出し動作Ｏｐｒ３で３行目、７行目、１１行目及び１５行目の画素信号を読み出し、第４の読み出し動作Ｏｐｒ４で４行目、８行目、１２行目及び１６行目の画素信号を読み出す。

しかし、図１５では、第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、画素領域１０１の画素信号を１行目、５行目、９行目及び１３行目の順番で出力する。第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、画素信号を３行目、７行目、１１行目及び１５行目の順番で出力する。第３の読み出し動作Ｏｐｒ３では、第３出力部１１０ｃは、画素信号を２行目、６行目、１０行目及び１４行目の順番で出力する。第４の読み出し動作Ｏｐｒ４では、第４出力部１１０ｄは、画素信号を４行目、８行目、１２行目及び１６行目の順番で出力する。すなわち、第１の読み出し動作Ｏｐｒ１及び第３の読み出し動作Ｏｐｒ３では、第１出力部１１０ａ及び第３出力部１１０ｃは、長時間露光ラインの画素信号を出力する。第２の読み出し動作Ｏｐｒ２及び第４の読み出し動作Ｏｐｒ４では、第２出力部１１０ｂ及び第４出力部１１０ｄは、短時間露光ラインの画素信号を出力する。これにより、図１５の時刻ｔ２０では、第１の読み出し動作Ｏｐｒ１で１行目の画素信号を読み出し、時刻ｔ２２では、第２の読み出し動作Ｏｐｒ２で３行目の画素信号を読み出す。そして、時刻ｔ２４では、第３の読み出し動作Ｏｐｒ３で２行目の画素信号を読み出し、時刻ｔ２６では、第４の読み出し動作Ｏｐｒ４で４行目の画素信号を読み出す。そして、時刻ｔ２８では、第１の読み出し動作Ｏｐｒ１で５行目の画素信号を読み出す。こうして、読み出し動作Ｏｐｒ１〜Ｏｐｒ４を繰り返しながら、１行目、３行目、２行目、４行目、５行目、７行目、６行目、８行目、９行目、１１行目、１０行目、１２行目、１３行目、１５行目、１４行目、１６行目の順番に画素信号を読み出す。読み出す行の変更に関しては、同期制御部１５の制御により、ＴＧ１１２が垂直走査部１０２を制御するタイミングを発生して実現させている。ここで、図１５では、読み出す行が入れ替わっていること以外のタイミングや動作については、図１２と同じである。

図１６は、第３の実施形態に係る撮像素子１２のＨＤＲ撮像動作を示すタイミングチャートである。本実施形態でも、ＨＤＲ処理のために、画素領域１０１の画素行は、所定行数（例えば２行）毎に、長時間露光ラインと短時間露光ラインが交互になるように設定される。信号ＶＤＬは、撮像素子１２を駆動するための垂直同期信号を示しているが、ＨＤＲ撮像動作における長時間露光フレームの垂直同期信号（長期垂直同期信号）を示し、立ち下がりで有効となり、その１周期にあたる長期垂直同期期間がＴｆｒｌで示されている。信号ＶＤＳは、ＨＤＲ撮像動作における短時間露光フレームの垂直同期信号（短期垂直同期信号）を示し、立ち下がりで有効となり、その１周期にあたる短期垂直同期期間がＴｆｒｓで示されている。これらの長期垂直同期信号ＶＤＬ及び短期垂直同期信号ＶＤＳは、同期信号発生手段としてのＴＧ１１２によって供給される。ここで、長期垂直同期信号の１周期にあたる長期垂直同期期間Ｔｆｒｌは、短期垂直同期信号のＭ周期分（＝Ｍ×Ｔｆｒｓ。ただしＭは２以上の自然数）に等しい。ＨＤＲ処理では、長時間露光と短時間露光の露光時間の比に応じて、ＨＤＲの効果が異なる。図１６の例では、長期垂直同期期間Ｔｆｒｌと短期垂直同期期間Ｔｆｒｓの露光時間の比が３：１であるので、Ｍ＝３、すなわち、長期垂直同期期間Ｔｆｒｌは短期垂直同期期間Ｔｆｒｓの３周期分となる。例えば、Ｍ＝２あるいはＭ＝４の場合は、長期垂直同期期間Ｔｆｒｌ内に、それぞれ２回あるいは４回の短期垂直同期期間Ｔｆｒｓが設定されるが、実際の短時間露光の露光時間は、それぞれ最後の短期垂直同期期間Ｔｆｒｓに設定すればよい。

本実施形態では、長時間露光ラインは、１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目のように２行毎に設定される。短時間露光ラインは、３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目のように２行毎に設定される。また、信号Ｓｉｇ０１〜Ｓｉｇ１６は、垂直信号線１０４に読み出される画素信号の順番を示し、その時の画素領域１０１の１行目〜１６行目の画素の動作の状態を示す。そして、期間ｅＰ０１ｒ〜ｅＰ１６ｒは、それぞれ、１行目〜１６行目の画素の露光時間を示す。第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、１行目、５行目、９行目及び１３行目の長時間露光の露光時間で露光された行の画素信号を出力する。第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、３行目、７行目、１１行目及び１５行目の短時間露光の露光時間で露光された行の画素信号を出力する。第３の読み出し動作Ｏｐｒ３では、第３出力部１１０ｃは、２行目、６行目、１０行目及び１４行目の長時間露光の露光時間で露光された他の行の画素信号を出力する。第４の読み出し動作Ｏｐｒ４では、第４出力部１１０ｄは、４行目、８行目、１２行目及び１６行目の短時間露光の露光時間で露光された他の行の画素信号を出力する。

時刻Ｓ９０以降の読み出し動作は、図１５の動作と同じである。時刻Ｓ９０以降では、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３及び第４の読み出し動作Ｏｐｒ４を繰り返す。第１の読み出し動作Ｏｐｒ１では、長時間露光ラインを読み出す。第２の読み出し動作Ｏｐｒ２では、短時間露光ラインを読み出す。第３の読み出し動作Ｏｐｒ３では、長時間露光ラインを読み出す。第４の読み出し動作Ｏｐｒ４では、短時間露光ラインを読み出す。これにより、１行目、３行目、２行目、４行目、５行目、７行目、６行目、８行目、９行目、１１行目、１０行目、１２行目、１３行目、１５行目、１４行目、１６行目の順番に画素信号を読み出す。その他は、図１４と同様である。また、２ライン毎に露光時間が異なる画素信号からＨＤＲ処理を実施しやすいように、それぞれの画素はベイヤ配列のような２×２配列の色フィルタを備えている。

まず、時刻Ｓ７０では、画素領域１０１は、長期垂直同期信号ＶＤＬ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの１行目の画素の露光を開始する。時刻Ｓ７１は、時刻Ｓ７０の長期垂直同期信号ＶＤＬに同期する水平同期信号ＨＤ及びサブ水平同期信号ＨＳに対して、その時の３回目のサブ水平同期信号ＨＳとなる時刻である。時刻Ｓ７１では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、２行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの２行目の画素の露光を開始する。このように、読み出し動作から逆算して露光を開始することと、短時間露光ラインである３行目を飛ばして露光を開始することにより、２行目の画素のリセットは長期垂直同期信号ＶＤＬに同期する３回目のサブ水平同期信号ＨＳに同期することになる。時刻Ｓ７２は、時刻Ｓ７０の長期垂直同期信号ＶＤＬに同期する２回目の水平同期信号ＨＤとなる時刻である。時刻Ｓ７２では、画素領域１０１は、水平同期信号ＨＤ及びその時のサブ水平同期信号ＨＳに同期して、短時間露光ラインである４行目を飛ばして５行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの５行目の画素の露光を開始する。時刻Ｓ７３以降では、画素領域１０１は、同様の方法で、２回のサブ水平同期信号ＨＳが経過する毎に、サブ水平同期信号ＨＳに同期して、６行目、９行目、１０行目、１３行目及び１４行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、長時間露光ラインの６行目、９行目、１０行目、１３行目及び１４行目のそれぞれの画素の露光を開始する。このように、短時間露光ラインを飛ばしながら、行毎にリセットすることで、長時間露光ラインのライン順次のローリングシャッタ動作を開始する。

時刻Ｓ８１は、時刻Ｓ８０の短期垂直同期信号ＶＤＳに同期する水平同期信号ＨＤ及びサブ水平同期信号ＨＳに対して、その時の２回目のサブ水平同期信号ＨＳとなる時刻である。時刻Ｓ８１では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、３行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの３行目の画素の露光を開始する。この時に、長時間露光ラインの１行目は、すでに露光中であるので飛ばしている。時刻Ｓ８２は、時刻Ｓ８０の短期垂直同期信号ＶＤＳに同期する水平同期信号ＨＤに対して、その時の４回目のサブ水平同期信号ＨＳとなる時刻である。時刻Ｓ８２では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、長時間露光ラインである２行目を飛ばして４行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの４行目の画素の露光を開始する。時刻Ｓ８３は、時刻Ｓ８０の短期垂直同期信号ＶＤＳに同期する２回目の水平同期信号ＨＤに対して、その時の２回目のサブ水平同期信号ＨＳとなる時刻である。時刻Ｓ８３では、画素領域１０１は、サブ水平同期信号ＨＳに同期して、長時間露光ラインである５行目を飛ばして７行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの７行目の画素の露光を開始する。時刻Ｓ８４以降では、同様の方法で、２回のサブ水平同期信号ＨＳが経過する毎に、８行目、１１行目、１２行目、１５行目及び１６行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、短時間露光ラインの８行目、１１行目、１２行目、１５行目及び１６行目のそれぞれの画素の露光を開始する。このように、長時間露光ラインを飛ばしながら、行毎にリセットすることで、短時間露光ラインのライン順次のローリングシャッタ動作を開始する。

次に、時刻Ｓ９０では、撮像素子１２は、長期垂直同期信号ＶＤＬ、短期垂直同期信号ＶＤＳ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の信号をそれに対応する期間Ｒｏに出力する。次に、時刻Ｓ９１では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、３行目の画素の信号をそれに対応する期間Ｒｏに出力する。次に、時刻Ｓ９２では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の信号をそれに対応する期間Ｒｏに出力する。次に、時刻Ｓ９３では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、４行目の画素の信号をそれに対応する期間Ｒｏに出力する。時刻Ｓ９４以降では、撮像素子１２は、同様の方法で、サブ水平同期信号ＨＳに同期して、画素の信号を５行目、７行目、６行目、８行目、９行目、１１行目、１０行目、１２行目、１３行目、１５行目、１４行目、１６行目の順番で、それぞれの期間Ｒｏに出力する。このように、１ＨＳ経過する毎に全行を所定の順番でライン毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。

長時間露光の撮像動作では、長期垂直同期信号ＶＤＬに同期して１行目の画素のリセットを開始し、読み出しのための長期垂直同期信号ＶＤＬに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、長期垂直同期期間Ｔｆｒｌとなる。これにより、露光時間Ｔｆｒｌのローリングシャッタ動作をすべての長時間露光ラインに実施することで、長時間露光ラインの露光時間をそろえた撮像動作が実施される。短時間露光の撮像動作では、短期垂直同期信号ＶＤＳの次のサブ水平同期信号ＨＳに同期して３行目の画素のリセットを開始し、読み出しのための短期垂直同期信号ＶＤＳの次のサブ水平同期信号ＨＳに同期して３行目の画素の読み出しを実施している。そのため、最長の露光時間は、短期垂直同期期間Ｔｆｒｓとなる。これにより、露光時間Ｔｆｒｓのローリングシャッタ動作をすべての短時間露光ラインに実施することで、短時間露光ラインの露光時間をそろえた撮像動作が実施される。

このようにして、第１の読み出し動作Ｏｐｒ１及び第３の読み出し動作Ｏｐｒ３により、長時間露光ラインの画素信号を所定の順番で読み出し、撮像素子１２の第１出力部１１０ａ及び第３出力部１１０ｃから並列的に出力する。そして、第２の読み出し動作Ｏｐｒ２及び第４の読み出し動作Ｏｐｒ４により、短時間露光ラインの画素信号を所定の順番で読み出し、撮像素子１２の第２出力部１１０ｂ及び第４出力部１１０ｄから並列的に出力する。信号処理部１３の入力部分である入力部４０１ａ〜４０１ｄは、長時間露光ライン及び短時間露光ラインの画素信号をそれぞれ入力し、内部メモリ４０４内の領域ｍＰ０１ｒ〜ｍＰ１６ｒに記憶する。この時、図１６のＨＤＲ撮像動作では、長時間露光ラインの１行目、２行目、５行目、６行目、９行目、１０行目、１３行目及び１４行目の画素信号は、それぞれ、領域ｍＰ０１ｒ〜ｍＰ８ｒに記憶される。短時間露光ラインの３行目、４行目、７行目、８行目、１１行目、１２行目、１５行目及び１６行目の画素信号は、それぞれ、領域ｍＰ０９ｒ〜ｍＰ１６ｒに記憶される。その後、メモリ出力部４０８は、第１内部メモリ端子４０５ａに長時間露光ラインの画素信号を出力し、同時に第２内部メモリ端子４０５ｂに短時間露光ラインの画素信号を出力する。後段では、長時間露光信号と短時間露光信号を同時かつ別々に信号処理することができる。

ここで、本実施形態では、長時間露光と短時間露光の露光時間の比を３：１にする必要がある。例えば、長時間露光ラインである１行目の画素のリセットを、時刻Ｓ７０からＳ９０までの間にある、長期垂直同期信号ＶＤＬに同期する３回のサブ水平同期信号ＨＳ毎のいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、短時間露光ラインである３行目の画素のリセットを、常に長時間露光ラインの１／３の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。具体的には、長時間露光ラインの露光時間を３サブ水平同期期間Ｔｈｄｓ増減させる毎に、対応する短時間露光ラインの露光時間をそれぞれ１サブ水平同期期間Ｔｈｄｓ増減させることで実現できる。これにより、長時間露光と短時間露光の露光時間の比を３：１に保ったまま露光時間制御が可能となる。このため、ＨＤＲ処理では、感度比を補償するゲイン値は、短時間露光画素の信号に対して３倍に設定する。そして、長時間露光画素の信号と短時間露光画素の信号を合成することで、ＨＤＲ処理を実行すればよい。本実施形態におけるＨＤＲ処理は、第１の実施形態と同様に実施すればよい。また、ＨＤＲ処理は、Ｍ＝３である図８（ｄ）を用いて実施可能である。

本実施形態における撮像素子１２の基本の撮像動作とＨＤＲ撮像動作の切り換えに関して説明する。これに関しては、例えば、撮像装置の操作部１６は、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力し、同期制御部１５の制御により、ＴＧ１１２が撮像素子１２の全体を制御するタイミングを発生させることにより実現させている。以上のように、本実施形態では、長時間露光信号と短時間露光信号を同時かつ別々に補正処理及び信号処理させることができるので、露光時間に合わせて２ライン毎に切り換えて補正処理及び信号処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となるので、撮像装置における高速読み出し動作を実現している。本実施形態では、４行同時に出力することが可能となるので、４倍のフレームレートが実現できることになる。これにより、本実施形態では、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は１／４になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も１／４に低減させることができる。

さらに、本実施形態では、露光時間の開始となるリセット動作が、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の２×Ｔｈｄｓの時間差を持って実施されている。そして、露光時間の終了となる読み出し動作も、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の２×Ｔｈｄｓの時間差を持って実施されている。これにより、長時間露光と短時間露光の両方について、露光時間の時間差が均等になるため、第１の実施形態の図７において長時間露光と短時間露光のそれぞれに起きていた、露光時間の時間差の不均等が解消される。このため、本実施形態では、ローリング歪みが低減し、その影響がなめらかになり、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができるという効果がある。

（第４の実施形態）
次に、本発明の第４の実施形態に係る撮像装置について説明する。本実施形態の撮像装置は、上記の図１の撮像装置と同じ構成を有する。撮像素子１２は、図２の撮像素子１２と同じ構成を有する。以下、本実施形態が第１の実施形態と異なる点を説明する。

図１７は、第４の実施形態に係る撮像素子１２の基本の撮影動作を示すタイミングチャートである。信号ＶＤは、撮像素子１２を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Ｔｆｒが１つの垂直同期期間である。水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、図４と同じである。水平同期信号ＨＤ２は、水平同期信号ＨＤの２倍の周期の有する。信号Ｓｉｇ０１〜Ｓｉｇ１６は、垂直信号線１０４に読み出される画素信号の順番を示し、その時の画素領域１０１の１行目〜１６行目の画素の動作の状態を示す。そして、期間ｅＰ０１ｒ〜ｅＰ１６ｒは、それぞれ、１行目〜１６行目の画素の露光時間を示す。水平動作期間Ｒｏは、各行の画素の信号を垂直信号線１０４を介して列信号処理部１０６ａあるいは１０６ｂに読み出してから、１ライン分の画素の信号をそれに対応する出力部１１０ａあるいは１１０ｂから出力するまでの期間である。例えば、１行目の画素の信号については、図４の時刻ｔ００〜ｔ０７までの期間が水平動作期間Ｒｏに対応し、２行目の画素の信号については、時刻ｔ０４〜ｔ１１までの期間が水平動作期間Ｒｏに対応する。３行目以降についても、図４の読み出し動作を実施する。

まず、時刻Ｕ００では、画素領域１０１は、垂直同期信号ＶＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素信号の読み出しを実施することで、画素をリセットし、１行目の画素の露光を開始する。次に、時刻Ｕ０１では、画素領域１０１は、次のサブ水平同期信号ＨＳに同期して、２行目の画素信号の読み出しを実施することで、画素をリセットし、２行目の画素の露光を開始する。時刻Ｕ０２以降では、画素領域１０１は、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜１６行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットし、３行目〜１６行目のそれぞれの画素の露光を開始する。このように、１ＨＳ経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を行い露光を開始する。

時刻Ｕ１１は、時刻Ｕ００からＴｆｒ経過後の時刻である。時刻Ｕ１１では、撮像素子１２は、垂直同期信号ＶＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素の信号をそれに対応する水平動作期間Ｒｏに出力する。次に、時刻Ｕ１２では、撮像素子１２は、次のサブ水平同期信号ＨＳに同期して、２行目の画素の信号をそれに対応する水平動作期間Ｒｏに出力する。時刻Ｕ１３以降では、撮像素子１２は、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜１６行目の画素の信号をそれぞれに対応する水平動作期間Ｒｏに出力する。このように、１ＨＳ経過する毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。

本実施形態では、垂直同期信号ＶＤに同期して１行目の画素のリセットを開始し、読み出しのための垂直同期信号ＶＤに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Ｔｆｒである。これにより、露光時間Ｔｆｒのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮影動作が実施される。ここで、１行目の画素のリセットを、時刻Ｕ００からＵ１１までの間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。

時刻Ｕ１０のリセット５０１、時刻Ｕ０９のリセット５０２、時刻Ｕ０４のリセット５０３は、電子シャッタ動作によるリセットの開始となる１行目の画素に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット５０１のタイミングでは、画素領域１０１は、１行目の画素の読み出しを実施することで、画素をリセットし、１行目の画素の露光を開始する。２行目以降では、画素領域１０１は、同様の方法で、１ＨＳ経過する毎にサブ水平同期信号ＨＳに同期して、２行目〜１６行目の画素のリセットをそれぞれ実施することで、２行目〜１６行目のそれぞれの画素の露光を開始する。そして、時刻Ｕ１１以降では、撮像素子１２は、１行目〜１６行目の画素の信号をそれぞれに対応する水平動作期間Ｒｏに出力すると、図４の水平同期期間で１Ｔｈｄあるいはサブ水平同期期間で２Ｔｈｓの露光時間を設定することができる。

同様に、画素領域１０１は、リセット５０２のタイミングで画素のリセット動作を開始すると、図４のサブ水平同期期間で５Ｔｈｓの露光時間を設定することができる。同じく、画素領域１０１は、リセット５０３のタイミングで画素のリセット動作を開始すると、水平同期期間で８Ｔｈｄあるいはサブ水平同期期間で１６Ｔｈｓの露光時間を設定することができる。このようにして、第１の読み出し動作Ｏｐｒ１により、奇数行目の画素信号が読み出され、撮像素子１２の第１出力部１１０ａから出力される。また、第２の読み出し動作Ｏｐｒ２により、偶数行目の画素信号が並列的に読み出され、撮像素子１２の第２出力部１１０ｂから並列的に出力される。そして、第１出力部１１０ａ及び第２出力部１１０ｂから並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。

図１８は、本実施形態に係る撮像素子１２のＨＤＲ撮影動作を示すタイミングチャートである。図１８では、図１７で説明した各行の動作、すなわち、同期信号ＶＤ、ＨＤ及びＨＳに同期したリセット動作、露光時間ｅＰ０１ｒ〜ｅＰ１６ｒ、水平動作期間Ｒｏ及び電子シャッタ動作については同じ動作をする。本実施形態では、ＨＤＲ撮影のために、長時間露光用の撮影動作に続けて、短時間露光用の撮影動作が設定される。ここで、長時間露光用のフレームの１周期は、短時間露光用のフレームのＭ周期分（＝Ｍ×Ｔｆｒｓ。ただしＭは２以上の自然数）に等しい。ＨＤＲ処理は、長時間露光と短時間露光の露光時間の比に応じて、ＨＤＲの効果が異なる。図１８の例では、短時間露光フレーム期間として、１垂直同期期間のＴｆｒ期間を当て、長時間露光フレーム期間として、２垂直同期期間の２Ｔｆｒ期間を当てている。長時間露光と短時間露光の露光時間の比が２：１であるので、Ｍ＝２となる。例えば、Ｍ＝３あるいはＭ＝４の場合は、長時間露光フレーム期間として、それぞれ３垂直同期期間の３Ｔｆｒ期間あるいは４垂直同期期間の４Ｔｆｒ期間を設定すればよい。

長時間露光フレームにおいて、時刻Ｕ３０から開始されるリセット動作及び時刻Ｕ４３から開始される水平動作期間Ｒｏについては、図１７と同様の動作である。ここで、長時間露光用の水平動作期間Ｒｏの初めに実施される画素の信号読み出し動作は、画素のリセット動作を実施したことになるので、短時間露光フレームのリセット動作は、時刻Ｕ４３から開始される水平動作期間Ｒｏと同時に実施されることになる。そして、時刻Ｕ５１から開始される短時間露光フレームの水平動作期間Ｒｏについては、図１７と同様の動作である。撮像素子１２は、長時間露光フレームのための１〜１６行目の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒの処理及び水平動作期間Ｒｏの処理を行単位で順に行う。続いて、撮像素子１２は、短時間露光フレームのための１〜１６行目の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒの処理及び水平動作期間Ｒｏの処理を行単位で順に行う。露光時間ｅＰ０１ｒ〜ｅＰ１６ｒは、リセット動作により開始される。

図１８のＨＤＲ撮影動作では、長時間露光フレーム及び短時間露光フレームのどちらにおいても、それぞれの垂直同期信号ＶＤに同期して１行目の画素のリセットを開始し、読み出しのための垂直同期信号ＶＤに同期して１行目の画素の読み出しを実施している。そのため、最長の露光時間は、長時間露光フレームが２Ｔｆｒであり、短時間露光フレームがＴｆｒである。これにより、露光時間の比が２：１となる長時間露光の画像と短時間露光の画像を用いてＨＤＲ処理が実施できる。

ここで、短時間露光フレームの１行目の画素のリセットを、時刻Ｕ４３からＵ５１までの間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。また、長時間露光フレームの１行目の画素のリセットを、時刻Ｕ３０からＵ４３までの間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。ただし、ＨＤＲ撮影動作では、長時間露光フレームの露光時間が、常に短時間露光フレームの露光時間のＭ倍となる必要がある。

短時間露光フレームでは、時刻Ｕ５０のリセット６０１、時刻Ｕ４９のリセット６０２、時刻Ｕ４８のリセット６０３、時刻Ｕ４７のリセット６０４を有する。リセット６０１〜６０４は、電子シャッタ動作によるリセットの開始となる１行目の画素に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット６０１のタイミングでリセット動作を開始すると、水平同期期間で２Ｔｈｄの露光時間を設定することができる。同様に、リセット６０２、６０３、６０４のタイミングでリセット動作を開始すると、それぞれ、水平同期期間で４Ｔｈｄ、６Ｔｈｄ、８Ｔｈｄの露光時間を設定することができる。このようにして、短時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。

この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻Ｕ４１のリセット６１１、時刻Ｕ３９のリセット６１３、時刻Ｕ３７のリセット６１４、時刻Ｕ３５のリセット６１５に設定する。これにより、リセット６１１、６１３、６１４、６１５のタイミングでリセット動作を開始すると、それぞれ、水平同期期間で４Ｔｈｄ、８Ｔｈｄ、１２Ｔｈｄ、１６Ｔｈｄの露光時間を設定することができる。こうして、常に短時間露光フレームの２倍の長時間露光フレームの露光時間を設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。

例えば、時刻Ｕ４１では、垂直走査部１０２は、第１のリセット走査部であり、画素領域１０１の複数の画素１００を行毎にリセット６１１のタイミングでリセットする。これにより、行毎の長時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが開始する。その後に、時刻Ｕ４３では、垂直走査部１０２は、第１の読み出し走査部であり、画素領域１０１の複数の画素１００の行毎に長時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒで露光された画素信号を垂直信号線１０４に読み出す。これにより、行毎の長時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが終了する。長時間露光の露光時間ｅＰ０１ｒは、時刻Ｕ４１のリセット６１１により開始し、時刻Ｕ４３の読み出しにより終了する。

その後に、時刻Ｕ５０では、垂直走査部１０２は、第２のリセット走査部であり、画素領域１０１の複数の画素１００を行毎にリセット６０１のタイミングでリセットする。これにより、行毎の短時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが開始する。その後に、時刻Ｕ５１では、垂直走査部１０２は、第２の読み出し走査部であり、画素領域１０１の複数の画素１００の行毎に短時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒで露光された画素信号を垂直信号線１０４に読み出す。これにより、行毎の短時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが終了する。短時間露光の露光時間ｅＰ０１ｒは、時刻Ｕ５０のリセット６０１により開始し、時刻Ｕ５１の読み出しにより終了する。

第１の読み出し動作Ｏｐｒ１により、奇数行目の画素信号が読み出され、撮像素子１２の第１出力部１１０ａは、その奇数行目の画素の画素信号を出力する。また、第２の読み出し動作Ｏｐｒ２により、偶数行目の画素信号が読み出され、撮像素子１２の第２出力部１１０ｂは、その偶数行目の画素の画素信号を出力する。そして、第１出力部１１０ａ及び第２出力部１１０ｂから並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。

次に、ＨＤＲ撮影動作における長時間露光と短時間露光の露光時間の比が３：１となる場合の長時間露光と短時間露光の動作について説明する。短時間露光フレームのリセット動作の開始を時刻Ｕ５０のリセット６０１、時刻Ｕ４９のリセット６０２、時刻Ｕ４８のリセット６０３とすると、露光時間はそれぞれ水平同期期間で２Ｔｈｄ、４Ｔｈｄ、６Ｔｈｄの露光時間を設定することができる。この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻Ｕ４０のリセット６１２、時刻Ｕ３７のリセット６１４、時刻Ｕ３４のリセット６１６に設定する。これにより、リセット６１２、６１４、６１６のタイミングでリセット動作を開始すると、それぞれ水平同期期間で６Ｔｈｄ、１２Ｔｈｄ、１８Ｔｈｄの露光時間を設定することができる。こうして、常に短時間露光フレームの３倍の長時間露光フレームの露光時間を設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。

次に、ＨＤＲ撮影動作における長時間露光と短時間露光の露光時間の比が４：１となる場合の長時間露光と短時間露光の動作について説明する。短時間露光フレームのリセット動作の開始を時刻Ｕ５０のリセット６０１、時刻Ｕ４９のリセット６０２とすると、露光時間はそれぞれ水平同期期間で２Ｔｈｄ、４Ｔｈｄの露光時間を設定することができる。この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻Ｕ３９のリセット６１３、時刻Ｕ３５のリセット６１５に設定する。これにより、リセット６１３、６１５のタイミングでリセット動作を開始すると、それぞれ水平同期期間で８Ｔｈｄ、１６Ｔｈｄの露光時間を設定することができる。こうして、常に短時間露光フレームの４倍の長時間露光フレームの露光時間を設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。

これらの長時間露光フレーム及び短時間露光フレームにおける電子シャッタを用いた露光時間制御は、同期制御部１５からの制御信号に基づいて、同期信号発生手段としてのＴＧ１１２によって実施される。ＨＤＲ処理では、信号処理部１３は、長時間露光された複数の画素の画素信号を含む第１の画像データと短時間露光された複数の画素の画素信号を含む第２の画像データとを合成することにより、第３の画像データを生成する。第３の画像データは、第１及び第２の画像データに対してダイナミックレンジが拡大された画像データである。信号処理部１３は、第１の実施形態と同様に、撮像素子１２から出力される長時間露光信号と短時間露光信号に対して、画素信号補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。また、信号処理部１３は、図８（ａ）〜（ｅ）に示したＨＤＲ処理を行うことができる。以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームを連続して設定し、かつ、電子シャッタ動作を用いて、ＨＤＲ撮影動作に適したな露光時間制御を実施しているので、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。

また、本実施形態では、２行同時に出力することが可能となるので、２倍の読み出しレートが実現できることになる。これにより、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になっている。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も半分に低減させることができる。

（第５の実施形態）
図１９は、本発明の第５の実施形態に係る撮像素子１２のＨＤＲ撮影動作を示すタイミングチャートである。以下、本実施形態が第４の実施形態と異なる点を説明する。図１９では、図１８で説明した各行の動作、すなわち、同期信号ＶＤ、ＨＤ及びＨＳに同期したリセット動作、露光時間ｅＰ０１ｒ〜ｅＰ１６ｒ、水平動作期間Ｒｏ及び電子シャッタ動作については同じ動作である。また、図１９では、信号ＶＤは、撮像素子１２を駆動するための垂直同期信号であるが、図１８と異なり、長時間露光フレームと短時間露光フレームを合わせた垂直同期信号となっている。この時の垂直同期期間はＴｆｒである。また、信号ＶＳは、垂直同期信号ＶＤのサブ垂直同期信号を示し、立ち下がりで有効となり、長時間露光フレームを示す長時間露光フレーム期間Ｔｆｒｌと短時間露光フレームを示す短時間露光フレーム期間Ｔｆｒｓとを有する。これらの垂直同期信号ＶＤ及びサブ垂直同期信号ＶＳは、同期信号発生手段としてのＴＧ１１２によって供給される。

本実施形態では、ＨＤＲ撮影のために、長時間露光用の撮影動作を行い、続けて、短時間露光用の撮影動作を行う。長時間露光フレームでは、時刻ｒ００から開始されるリセット動作及び時刻ｒ０８から開始される水平動作期間Ｒｏについては、図１８と同様の動作である。ただし、時刻ｒ０１以降の２行目〜１６行目のリセット動作及び時刻ｒ０９以降の２行目〜１６行目の水平動作期間Ｒｏについては、水平同期信号ＨＤに同期する１回目のサブ水平同期信号ＨＳに同期して動作を開始する。ここで、長時間露光用の水平動作期間Ｒｏの初めに実施される画素の信号読み出し動作は、画素のリセット動作を実施したことになる。短時間露光フレームのリセット動作は、時刻ｒ０８から開始される長時間露光フレームの水平動作期間Ｒｏの動作と同時に実施されることになる。すなわち、長時間露光フレームの水平動作期間Ｒｏの動作により、短時間露光フレームの露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが開始する。そして、時刻ｒ１３から開始される短時間露光フレームの水平動作期間Ｒｏについては、図１８と同様の動作である。ただし、時刻ｒ１５以降の２行目〜１６行目の水平動作期間Ｒｏについては、水平同期信号ＨＤに同期する２回目のサブ水平同期信号ＨＳに同期して動作を開始する。

ＨＤＲ撮影動作における短時間露光フレームの露光については、時刻ｒ０８から１行目の露光時間ｅＰ０１ｒが開始され、短時間露光フレーム期間Ｔｆｒｓを過ぎた時刻ｒ１３の水平動作期間Ｒｏで１行目の露光時間ｅＰ０１ｒが終了する。これにより、短時間露光フレームの露光時間ｅＰ０１ｒは、時刻ｒ０８〜ｒ１３までのサブ水平同期信号の９ＨＳとなる。

また、長時間露光フレームの時刻ｒ０６のリセット７１１、時刻ｒ０５のリセット７１２、時刻ｒ０２のリセット７１３は、電子シャッタ動作によるリセットの開始となる１行目の画素に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット７１１のタイミングでリセット動作を開始すると、水平同期期間で９Ｔｈｄあるいはサブ水平同期期間で１８Ｔｈｓの露光時間を設定することができる。この時、短時間露光フレームの露光時間はサブ水平同期信号の９ＨＳであるため、長時間露光と短時間露光の露光時間の比が２：１となる。この長時間露光の画像と短時間露光の画像を用いてＨＤＲ処理を実施することができる。

例えば、時刻ｒ０６では、垂直走査部１０２は、第１のリセット走査部であり、画素領域１０１の複数の画素１００を行毎にリセット７１１のタイミングでリセットする。これにより、行毎の長時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが開始する。その後に、時刻ｒ０８では、垂直走査部１０２は、第１の読み出し走査部であり、画素領域１０１の複数の画素１００の行毎に長時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒで露光された画素信号を垂直信号線１０４に読み出す。これにより、行毎の長時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが終了し、それと共に、行毎の短時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが開始する。長時間露光の露光時間ｅＰ０１ｒは、時刻ｒ０６のリセット７１１により開始し、時刻ｒ０８の読み出しにより終了する。その後に、時刻ｒ１３では、垂直走査部１０２は、第２の読み出し走査部であり、画素領域１０１の複数の画素１００の行毎に短時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒで露光された画素信号を垂直信号線１０４に読み出す。これにより、行毎の短時間露光の露光時間ｅＰ０１ｒ〜ｅＰ１６ｒが終了する。短時間露光の露光時間ｅＰ０１ｒは、時刻ｒ０８の読み出しにより開始し、時刻ｒ１３の読み出しにより終了する。

また、長時間露光フレームにおいて、リセット７１２のタイミングでリセット動作を開始すると、サブ水平同期期間で２７Ｔｈｓの露光時間を設定することができる。この時、短時間露光フレームの露光時間はサブ水平同期信号の９ＨＳであるため、長時間露光と短時間露光の露光時間の比が３：１となる。この長時間露光の画像と短時間露光の画像を用いてＨＤＲ処理を実施することができる。

同様に、長時間露光フレームにおいて、リセット７１３のタイミングでリセット動作を開始すると、水平同期期間で１８Ｔｈｄあるいはサブ水平同期期間で３６Ｔｈｓの露光時間を設定することができる。この時、短時間露光フレームの露光時間はサブ水平同期信号の９ＨＳであるため、長時間露光と短時間露光の露光時間の比が４：１となる。この長時間露光の画像と短時間露光の画像を用いてＨＤＲ処理を実施することができる。以下、ＨＤＲ撮影動作における長時間露光フレーム及び短時間露光フレームの水平動作タイミングについて説明する。

図２０は、本実施形態に係る撮像素子１２の水平動作タイミングを示す図である。図２０では、図１９で説明した同期信号ＶＤ、ＶＳ、ＨＤ及びＨＳについては同じ動作をする。また、図２０では、図１９の時刻ｒ０８からｒ３３までの動作を同じ時刻を用いて示すとともに、第１の読み出し動作Ｏｐｒ１及び第２の読み出し動作Ｏｐｒ２に対する水平動作期間を示している。第１の読み出し動作Ｏｐｒ１では、長時間露光された画素を行毎に読み出すため、１行目〜１６行目の水平動作期間ＲｏをＲｏ０１Ｌ〜Ｒｏ１６Ｌで示す。第１の読み出し動作Ｏｐｒ１では、撮像素子１２の第１出力部１１０ａは、１行目〜１６行目の水平動作期間Ｒｏ０１Ｌ〜Ｒｏ１６Ｌの長時間露光の画素信号を行毎に順番に出力するため、水平動作期間Ｒｏ０１Ｌ〜Ｒｏ１６Ｌの重なりはない。そして、第２の読み出し動作Ｏｐｒ２では、短時間露光された画素信号を行毎に読み出すため、１行目〜１６行目の水平動作期間ＲｏをＲｏ０１Ｓ〜Ｒｏ１６Ｓで示す。第２の読み出し動作Ｏｐｒ２では、撮像素子１２の第２出力部１１０ｂは、１行目〜１６行目の水平動作期間Ｒｏ０１Ｓ〜Ｒｏ１６Ｓの短時間露光の画素信号を行毎に順番に出力するため、水平動作期間Ｒｏ０１Ｓ〜Ｒｏ１６Ｓの重なりはない。この時、水平動作期間であることをＲｏで示し、各行を０１〜１６で示し、長時間露光されたことをＬで示し、短時間露光されたことをＳで示している。また、画素信号の読み出しを行わない水平動作期間をＤｍｍｙで示すものとする。

時刻ｒ１２〜ｒ２９では、第１の読み出し動作Ｏｐｒ１における水平動作期間Ｒｏ０５Ｌ〜Ｒｏ１６Ｌと、第２の読み出し動作Ｏｐｒ２における水平動作期間Ｒｏ０１Ｓ〜Ｒｏ１２Ｓを並列的に読み出すことで、短時間露光フレームの短縮を実現している。そして、第１の読み出し動作Ｏｐｒ１により、長時間露光された画素信号が行毎に読み出され、撮像素子１２の第１出力部１１０ａから出力される。また、第２の読み出し動作Ｏｐｒ２により、短時間露光された画素信号が行毎に並列的に読み出され、撮像素子１２の第２出力部１１０ｂから並列的に出力される。そして、第１出力部１１０ａ及び第２出力部１１０ｂから並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。このようにして、短時間露光フレームの２倍、３倍、４倍の長時間露光フレームの露光時間が設定できるため、長時間露光フレームの電子シャッタによる露光時間制御によるＨＤＲ撮影動作が可能である。

第１の読み出し動作Ｏｐｒ１で読み出される長時間露光された画素の画素信号を含む第１の画像データと第２の読み出し動作Ｏｐｒ２で読み出される短時間露光された画素の画素信号を含む第２の画像データが同時並列的に信号処理部１３にそれぞれ入力される。信号処理部１３は、ＨＤＲ処理では、長時間露光された画素の画素信号を含む第１の画像データと短時間露光された画素の画素信号を含む第２の画像データを合成し、第１及び第２の画像データに対してダイナミックレンジが拡大された第３の画像データを生成する。信号処理部１３は、撮像素子１２から出力される長時間露光信号と短時間露光信号に対して、画素信号補正処理、ＨＤＲ処理、画像信号処理を実施するため、画素信号補正処理回路を２つ持つ必要がある。まず、信号処理部１３は、長時間露光信号に対して、画素信号補正処理を行い、信号処理部１３に設けられたメモリに記憶する。次に、信号処理部１３は、同時並列的に読み出される短時間露光信号に対しても、同様に画素信号補正処理を行う。そして、同時に、信号処理部１３は、短時間露光信号に対しては、ＨＤＲ処理の一部として、長時間露光と短時間露光の露光時間の比、例えば２：１を補償するため、２倍のゲイン値をかけてから、同じく信号処理部１３に設けられたメモリに記憶する。次に、信号処理部１３は、記憶されている長時間露光信号と短時間露光信号との間で、ＨＤＲ処理を実施する。ここまでは、全て画素毎の信号処理になっているので、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。また、信号処理部１３は、上記のＭ＝２、３、４である図８（ｃ）、（ｄ）、（ｅ）を用いて、ＨＤＲ処理を実施可能である。

以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームの画素信号を連続して読み出し、かつ、電子シャッタ動作を用いて、ＨＤＲ撮影動作に適したな露光時間制御を実施している。そのため、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となる。そのため、撮像装置における高速読み出し動作を実現するとともに、短時間露光フレームの短縮により、さらに長時間露光と短時間露光の間の時間差の低減を実現できる。本実施形態では、２行同時に出力することが可能となるので、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になる。このため、長時間露光と短時間露光の間の時間差の低減とライン毎に発生する露光時間の時間差が原因となるローリング歪みの低減を両立させることができる。

図２１は、本実施形態に係る撮像素子１２の他のＨＤＲ撮影動作を示すタイミングチャートである。図２１においては、図１９で説明した各行の動作、すなわち、同期信号ＶＤ、ＶＳ、ＨＤ及びＨＳに同期したリセット動作、露光時間ｅＰ０１ｒ〜ｅＰ１６ｒ、水平動作期間Ｒｏ及び電子シャッタ動作については同じ動作をする。撮像素子１２は、上記と同様に、ＨＤＲ撮影のために、長時間露光用の撮影動作を行い、続けて、短時間露光用の撮影動作を行う。また、図２１においては、短時間露光フレーム期間Ｔｆｒｓを水平同期期間の６Ｔｈｄに設定している。そして、短時間露光フレームの露光については、時刻ｒ４７から１行目の露光時間ｅＰ０１ｒが開始され、短時間露光フレーム期間Ｔｆｒｓを過ぎた時刻ｒ５５の水平動作期間Ｒｏで１行目の露光時間ｅＰ０１ｒが終了する。これにより、短時間露光フレームの露光時間ｅＰ０１ｒは、時刻ｒ４７〜ｒ５５までのサブ水平同期信号の１３ＨＳとなる。図１９における短時間露光フレームの露光時間は、サブ水平同期信号の９ＨＳであったので、図２１の短時間露光フレーム期間Ｔｆｒｓを変更することで、短時間露光フレームの露光時間制御が可能であることがわかる。

長時間露光フレームの露光時間は、１行目の画素のリセットを、時刻ｒ４０〜ｒ４７までの間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による、水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御を実施すればよい。ただし、ＨＤＲ撮影動作においては、長時間露光フレームの露光時間が、常に短時間露光フレームの露光時間のＭ倍となる必要がある。以下、長時間露光と短時間露光の露光時間の比が３：１の場合、すなわち、Ｍ＝３を例として説明する。

短時間露光フレームのリセット動作の開始を時刻ｒ５３のリセット８０１、時刻ｒ５１のリセット８０２、時刻ｒ４９のリセット８０３とすると、露光時間はそれぞれサブ水平同期期間で４Ｔｈｓ、７Ｔｈｓ、１０Ｔｈｓの露光時間を設定することができる。この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻ｒ４６のリセット８１１、時刻ｒ４５のリセット８１２、時刻ｒ４３のリセット８１３に設定する。これにより、長時間露光フレームでは、リセット８１１、８１２、８１３のタイミングでリセット動作を開始すると、それぞれサブ水平同期期間で１２Ｔｈｓ、２１Ｔｈｓ、３０Ｔｈｓの露光時間を設定することができる。こうして、常に短時間露光フレームの３倍の長時間露光フレームの露光時間を設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。

（第６の実施形態）
次に、本発明の第６の実施形態に係る撮像装置について説明する。本実施形態の撮像素子１２は、上記の図１１の構成を有し、上記の図１２の動作を行う。すなわち、撮像素子１２は、４組の水平メモリ部１０８ａ〜１０８ｄ及び出力部１１１ａ〜１１１ｄを設けることで、さらなる高速読み出し動作とローリング歪みの低減を実現する。

次に、図１７を用いて、本実施形態での基本の撮影動作を説明する。本実施形態では、図１７の水平同期信号ＨＤの代わりに水平同期信号ＨＤ２を用いることで、図１２で説明した１水平同期期間Ｔｈｄを４分割したサブ水平同期信号ＨＳが実現可能となる。すなわち、図１２の水平同期信号ＨＤは、図１７の水平同期信号ＨＤ２に対応する。これにより、垂直同期信号ＶＤ、水平同期信号ＨＤ２及びサブ水平同期信号ＨＳを同期信号として、図１７の動作タイミングを図１１の撮像素子１２に対して実施することができる。そして、水平動作期間Ｒｏとしては、図１２で説明した水平動作を実施する。この時、２行毎に同時並列的に出力する図４においては、１つの水平動作が、サブ水平同期信号の２Ｔｈｓかかっていたが、４行毎に同時並列的に出力する図１２においては、サブ水平同期期間の４Ｔｈｓにわたって動作する。そのため、本実施形態における水平動作期間Ｒｏは、図１２に示した４Ｔｈｓにわたる水平動作に置き換えるものとする。

また、図１７においては、時刻Ｕ００からサブ水平同期信号ＨＳに同期してリセット動作が開始されることで、ライン順次のローリングシャッタ動作を行い露光を開始する。そして、時刻Ｕ１１からサブ水平同期信号ＨＳに同期して水平動作期間Ｒｏが開始されることで、ライン順次のローリングシャッタ動作が終了する。これにより、露光時間Ｔｆｒのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮影動作が実施される。さらに、１行目の画素のリセットを、時刻Ｕ００からＵ１１までの間にある水平同期信号ＨＤ２あるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。このようにして、４行毎に第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄから並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。

次に、図１８を用いて、本実施形態のＨＤＲ撮影動作を説明する。本実施形態では、図１８の水平同期信号ＨＤの代わりに水平同期信号ＨＤ２を用いることで、図１２で説明した１水平同期期間Ｔｈｄを４分割したサブ水平同期信号ＨＳによる撮像動作が実現可能である。本実施形態では、４行毎に、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄから並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。本実施形態でも、図１８のＨＤＲ撮影動作や露光制御動作が可能である。また、信号処理部１３は、図８（ｃ）〜（ｅ）のＨＤＲ処理が可能である。

以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームの画素信号を連続して読み出し、かつ、電子シャッタ動作を用いて、ＨＤＲ撮影動作に適したな露光時間制御を実施している。そのため、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。

そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となるので、撮像装置における高速読み出し動作を実現できる。本実施形態では、４行同時に出力することが可能となるので、４倍の読み出しレートが実現できることになる。これにより、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は１／４になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も１／４に低減させることができる。

（第７の実施形態）
次に、本発明の第７の実施形態に係る撮像装置について説明する。本実施形態では、撮像装置の基本的な構成及び動作は、第５の実施形態及び第６の実施形態と同様である。すなわち、図１１に示す撮像素子１２は、図１２に示す水平同期信号に対応させた水平動作を実施する。本実施形態では、第６の実施形態と同様に、図１７の水平同期信号ＨＤの代わりに水平同期信号ＨＤ２を用いることで、図１２で説明した１水平同期期間Ｔｈｄを４分割したサブ水平同期信号ＨＳによる撮像動作を実施可能としている。

本実施形態の撮像素子１２は、上記の図１９のＨＤＲ撮影動作を行うことができる。この際、撮像素子１２は、水平同期信号ＨＤの代わりに水平同期信号ＨＤ２を用いることで、図１２で説明した１水平同期期間Ｔｈｄを４分割したサブ水平同期信号ＨＳによる撮像動作が実現可能である。この時、本実施形態でも、水平動作期間Ｒｏを図１２に示した４Ｔｈｓにわたる水平動作に置き換える。

時刻ｒ０１以降の２行目〜１６行目のリセット動作及び時刻ｒ０９以降の２行目〜１６行目の水平動作期間Ｒｏについては、水平同期信号ＨＤ２に同期する１回目及び３回目のサブ水平同期信号ＨＳに同期して動作を開始する。また、時刻ｒ１５以降の２行目〜１６行目の水平動作期間Ｒｏについては、水平同期信号ＨＤ２に同期する２回目及び４回目のサブ水平同期信号ＨＳに同期して動作を開始する。以下、図１９に示すＨＤＲ撮影動作における長時間露光フレーム及び短時間露光フレームの水平動作タイミングについて説明する。

図２２は、第７の実施形態に係る撮像素子１２の水平動作タイミングを示す図である。図２２では、図１９で説明した同期信号ＶＤ、ＶＳ、ＨＤ２及びＨＳについては同じ動作をする。また、図２２では、図１９の時刻ｒ０８からｒ３３までの動作を同じ時刻を用いて示すとともに、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３及び第４の読み出し動作Ｏｐｒ４に対する水平動作期間を示している。図２２では、長時間露光された１行目〜１６行目の水平動作期間ＲｏをＲｏ０１Ｌ〜Ｒｏ１６Ｌで示し、短時間露光された１行目〜１６行目の水平動作期間ＲｏをＲｏ０１Ｓ〜Ｒｏ１６Ｓで示す。第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、垂直走査部１０２により読み出された画素信号の一部を出力する。第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、垂直走査部１０２により読み出された画素信号の他の一部を出力する。第３の読み出し動作Ｏｐｒ３では、第３出力部１１０ｃは、垂直走査部１０２により読み出された画素信号のさらに他の一部を出力する。第４の読み出し動作Ｏｐｒ４では、第４出力部１１０ｄは、垂直走査部１０２により読み出された画素信号のさらに他の一部を出力する。

具体的には、第１の読み出し動作Ｏｐｒ１では、第１出力部１１０ａは、長時間露光された奇数行目の画素信号を出力するため、１行目Ｒｏ０１Ｌ、３行目Ｒｏ０３Ｌ、５行目Ｒｏ０５Ｌ・・・１３行目Ｒｏ１３Ｌ、１５行目Ｒｏ１５Ｌの画素信号を出力する。この時、撮像素子１２の第１出力部１１０ａは、行毎に順番に画素信号を出力されるため、水平動作期間Ｒｏ０１Ｌ〜Ｒｏ１５Ｌの重なりはない。

第３の読み出し動作Ｏｐｒ３では、第３出力部１１０ｃは、長時間露光された偶数行目の画素信号を出力するため、２行目Ｒｏ０２Ｌ、４行目Ｒｏ０４Ｌ、６行目Ｒｏ０６Ｌ・・・１４行目Ｒｏ１４Ｌ、１６行目Ｒｏ１６Ｌの画素信号を出力する。この時、撮像素子１２の第３出力部１１０ｃは、行毎に順番に画素信号を出力するため、水平動作期間Ｒｏ０２Ｌ〜Ｒｏ１６Ｌの重なりはない。

第２の読み出し動作Ｏｐｒ２では、第２出力部１１０ｂは、短時間露光された奇数行目の画素信号を出力するため、１行目Ｒｏ０１Ｓ、３行目Ｒｏ０３Ｓ、５行目Ｒｏ０５Ｓ・・・１３行目Ｒｏ１３Ｓ、１５行目Ｒｏ１５Ｓの画素信号を出力する。この時、撮像素子１２の第２出力部１１０ｂは、行毎に順番に画素信号を出力するため、水平動作期間Ｒｏ０１Ｓ〜Ｒｏ１５Ｓの重なりはない。

第４の読み出し動作Ｏｐｒ４では、第４出力部１１０ｄは、短時間露光された偶数行目の画素信号を出力するため、２行目Ｒｏ０２Ｓ、４行目Ｒｏ０４Ｓ、６行目Ｒｏ０６Ｓ・・・１４行目Ｒｏ１４Ｓ、１６行目Ｒｏ１６Ｓの画素信号を出力する。この時、撮像素子１２の第４出力部１１０ｄは、行毎に順番に画素信号を出力するため、水平動作期間Ｒｏ０２Ｓ〜Ｒｏ１６Ｓの重なりはない。

時刻ｒ１２〜ｒ２９では、読み出し動作Ｏｐｒ１及びＯｐｒ３における水平動作期間Ｒｏ０５Ｌ〜Ｒｏ１６Ｌと、読み出し動作Ｏｐｒ２及びＯｐｒ４における水平動作期間Ｒｏ０１Ｓ〜Ｒｏ１２Ｓを並列的に出力することで、短時間露光フレームの短縮を実現する。

第１の読み出し動作Ｏｐｒ１及び第３の読み出し動作Ｏｐｒ３により、長時間露光された画素信号が行毎に並列的に読み出され、撮像素子１２の第１出力部１１０ａ及び第３出力部１１０ｃから出力される。また、第２の読み出し動作Ｏｐｒ２及び第４の読み出し動作Ｏｐｒ４により、短時間露光された画素信号が行毎に並列的に読み出され、撮像素子１２の第２出力部１１０ｂ及び第４出力部１１０ｄから並列的に出力される。そして、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄから並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。このようにして、短時間露光フレームの２倍、３倍、４倍の長時間露光フレームの露光時間を設定できるため、長時間露光フレームの電子シャッタによる露光時間制御によるＨＤＲ撮影動作が可能である。

撮像素子１２は、読み出し動作Ｏｐｒ１及びＯｐｒ３で読み出される長時間露光された画素信号を含む第１の画像データと読み出し動作Ｏｐｒ２及びＯｐｒ４で読み出される短時間露光された画素信号を含む第２の画像データを並列に信号処理部１３に出力する。信号処理部１３は、２つの画素信号補正処理回路を有し、第６の実施形態と同様に、画素信号補正処理を行い、ＨＤＲ処理を行う。また、信号処理部１３は、図８（ｃ）、（ｄ）、（ｅ）のＨＤＲ処理を行うことができる。また、撮像素子１２は、上記の図２１の処理により、ＨＤＲ撮影動作と短時間露光フレームの露光時間制御が可能である。

以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームの画素信号を連続して読み出し、かつ、電子シャッタ動作を用いて、ＨＤＲ撮影動作に適したな露光時間制御を実施している。そのため、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。

そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となる。そのため、撮像装置における高速読み出し動作を実現するとともに、短時間露光フレームの短縮により、さらに長時間露光と短時間露光の間の時間差の低減を実現している。本実施形態では、４行同時に出力することが可能となるので、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は１／４になる。このため、長時間露光と短時間露光の間の時間差の低減とライン毎に発生する露光時間の時間差が原因となるローリング歪みの低減を両立させることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 画素、１１０ａ 第１出力部、１１０ｂ 第２出力部

Claims (16)

1. 行列状に配列され、各々が光電変換による画素信号を生成する複数の画素と、
   前記複数の画素のうちの奇数行目の画素の画素信号を出力する第１の出力部と、
   前記複数の画素のうちの偶数行目の画素の画素信号を出力する第２の出力部とを有し、
   前記複数の画素は、第１の露光時間で露光された画素信号を生成する画素の行と、前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を生成する画素の行とを有することを特徴とする撮像装置。
2. 前記複数の画素は、前記第１の露光時間で露光された画素信号を生成する２行の画素と、前記第２の露光時間で露光された画素信号を生成する２行の画素とが交互に配置されていることを特徴とする請求項１記載の撮像装置。
3. 前記第１の出力部は、前記第１の露光時間で露光された画素信号を出力し、
   前記第２の出力部は、前記第２の露光時間で露光された画素信号を出力することを特徴とする請求項１又は２記載の撮像装置。
4. 行列状に配列され、各々が光電変換による画素信号を生成する複数の画素と、
   前記複数の画素のうちの第１のグループに属する行の画素の画素信号を出力する第１の出力部と、
   前記複数の画素のうちの第２のグループに属する行の画素の画素信号を出力する第２の出力部と、
   前記複数の画素のうちの第３のグループに属する行の画素の画素信号を出力する第３の出力部と、
   前記複数の画素のうちの第４のグループに属する行の画素の画素信号を出力する第４の出力部とを有し、
   前記複数の画素は、第１の露光時間で露光された画素信号を生成する画素の行と、前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を生成する画素の行とを有することを特徴とする撮像装置。
5. 前記複数の画素は、前記第１の露光時間で露光された画素信号を生成する２行の画素と、前記第２の露光時間で露光された画素信号を生成する２行の画素とが交互に配置されていることを特徴とする請求項４記載の撮像装置。
6. 前記第１〜第４の出力部は、前記複数の画素のうちの隣接する４行の画素の画素信号を並列に出力することを特徴とする請求項４又は５記載の撮像装置。
7. 前記第１の出力部は、前記第１の露光時間で露光された行の画素信号を出力し、
   前記第２の出力部は、前記第２の露光時間で露光された行の画素信号を出力し、
   前記第３の出力部は、前記第１の露光時間で露光された他の行の画素信号を出力し、
   前記第４の出力部は、前記第２の露光時間で露光された他の行の画素信号を出力することを特徴とする請求項４又は５記載の撮像装置。
8. さらに、前記第１の露光時間で露光された複数の行の画素信号を含む第１の画像データと、前記第２の露光時間で露光された複数の行の画素信号を含む第２の画像データとを合成することにより第３の画像データを生成する信号処理部を有することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 行列状に配列され、各々が光電変換による画素信号を生成する複数の画素と、
   前記複数の画素を行毎にリセットする第１のリセット走査部と、
   前記第１のリセット走査部のリセットの後に、前記複数の画素の行毎に第１の露光時間で露光された画素信号を読み出す第１の読み出し走査部と、
   前記第１の読み出し走査部の読み出し後に、前記複数の画素の行毎に前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を読み出す第２の読み出し走査部と、
   前記第１又は第２の読み出し走査部により読み出された画素信号の一部を出力する第１の出力部と、
   前記第１又は第２の読み出し走査部により読み出された画素信号の他の一部を出力する第２の出力部と、
   前記第１又は第２の読み出し走査部により読み出された画素信号のさらに他の一部を出力する第３の出力部と、
   前記第１又は第２の読み出し走査部により読み出された画素信号のさらに他の一部を出力する第４の出力部とを有し、
   前記第１の露光時間は、前記第１のリセット走査部のリセットにより開始し、前記第１の読み出し走査部の読み出しにより終了し、
   前記第２の露光時間は、前記第２の読み出し走査部の読み出しにより終了することを特徴とする撮像装置。
10. さらに、前記第１の読み出し走査部の読み出し後、かつ前記第２の読み出し走査部の読み出し前に、前記複数の画素を行毎にリセットする第２のリセット走査部を有し、
    前記第２の露光時間は、前記第２のリセット走査部のリセットにより開始することを特徴とする請求項９記載の撮像装置。
11. 前記第２の露光時間は、前記第１の読み出し走査部の読み出しにより開始することを特徴とする請求項９記載の撮像装置。
12. 前記第１の出力部は、前記複数の画素のうちの奇数行目の画素が前記第１の露光時間で露光された画素信号を出力し、
    前記第２の出力部は、前記複数の画素のうちの奇数行目の画素が前記第２の露光時間で露光された画素信号を出力し、
    前記第３の出力部は、前記複数の画素のうちの偶数行目の画素が前記第１の露光時間で露光された画素信号を出力し、
    前記第４の出力部は、前記複数の画素のうちの偶数行目の画素が前記第２の露光時間で露光された画素信号を出力することを特徴とする請求項９記載の撮像装置。
13. さらに、前記第１の露光時間で露光された複数の画素の画素信号を含む第１の画像データと、前記第２の露光時間で露光された複数の画素の画素信号を含む第２の画像データとを合成することにより第３の画像データを生成する信号処理部を有することを特徴とする請求項９〜１２のいずれか１項に記載の撮像装置。
14. 行列状に配列され、各々が光電変換による画素信号を生成する複数の画素を有し、前記複数の画素は、第１の露光時間で露光された画素信号を生成する画素の行と、前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を生成する画素の行とを有する撮像装置の制御方法であって、
    第１の出力部により、前記複数の画素のうちの奇数行目の画素の画素信号を出力し、
    第２の出力部により、前記複数の画素のうちの偶数行目の画素の画素信号を出力することを特徴とする撮像装置の制御方法。
15. 行列状に配列され、各々が光電変換による画素信号を生成する複数の画素を有し、前記複数の画素は、第１の露光時間で露光された画素信号を生成する画素の行と、前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を生成する画素の行とを有する撮像装置の制御方法であって、
    第１の出力部により、前記複数の画素のうちの第１のグループに属する行の画素の画素信号を出力し、
    第２の出力部により、前記複数の画素のうちの第２のグループに属する行の画素の画素信号を出力し、
    第３の出力部により、前記複数の画素のうちの第３のグループに属する行の画素の画素信号を出力し、
    第４の出力部により、前記複数の画素のうちの第４のグループに属する行の画素の画素信号を出力することを特徴とする撮像装置の制御方法。
16. 行列状に配列され、各々が光電変換による画素信号を生成する複数の画素を有する撮像装置の制御方法であって、
    第１のリセット走査部により、前記複数の画素を行毎にリセットし、
    第１の読み出し走査部により、前記第１のリセット走査部のリセットの後に、前記複数の画素の行毎に第１の露光時間で露光された画素信号を読み出し、
    第２の読み出し走査部により、前記第１の読み出し走査部の読み出し後に、前記複数の画素の行毎に前記第１の露光時間とは異なる第２の露光時間で露光された画素信号を読み出し、
    第１の出力部により、前記第１又は第２の読み出し走査部により読み出された画素信号の一部を出力し、
    第２の出力部により、前記第１又は第２の読み出し走査部により読み出された画素信号の他の一部を出力し、
    第３の出力部により、前記第１又は第２の読み出し走査部により読み出された画素信号のさらに他の一部を出力し、
    第４の出力部により、前記第１又は第２の読み出し走査部により読み出された画素信号のさらに他の一部を出力し、
    前記第１の露光時間は、前記第１のリセット走査部のリセットにより開始し、前記第１の読み出し走査部の読み出しにより終了し、
    前記第２の露光時間は、前記第２の読み出し走査部の読み出しにより終了することを特徴とする撮像装置の制御方法。

Images