JP6750852B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等、撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存することができる撮像装置が広く普及している。このような撮像装置に用いる撮像素子としては、ＸＹアドレス方式で各画素信号を読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下、ＣＭＯＳセンサという）がある。ＣＭＯＳセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下、ＣＣＤセンサという）と比較して読み出しが高速で、高感度、低消費電力といった特徴がある。ＣＭＯＳセンサ等の撮像素子は、画素の光電変換素子が入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、ＣＭＯＳセンサ等の撮像素子は、電子シャッタ機能を備えている。電子シャッタ機能は、画素の光電変換素子をリセットすることにより露光を開始し、光電変換素子に蓄積した電荷を読み出すことにより露光を終了させる。このように、撮像素子の機能だけで、露光の始まりと終わりを制御するので、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現することが可能である。

さらに、ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作（フォーカルプレーンシャッタ動作とも呼ばれる）がある。ローリングシャッタ動作では、ＣＣＤセンサと異なり、２次元配列された複数の画素を１ライン毎に順次走査して画素の電荷のリセットを実施する。そして、所定の露光時間経過後に、１ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。このように、ローリングシャッタ動作は、ライン毎に電荷読み出しと信号出力のための時間差を持った動作となっている。これにより、１回の撮影動作の中で、ライン毎に露光する期間がずれてしまうことになる。

ところで、このようなＣＭＯＳセンサ等の撮像素子を用いた撮像装置においては、明るいところと暗いところが混在するような被写体の撮像を行う場合に、ダイナミックレンジが不足しがちであるという課題がある。例えば、明るいところに合わせて露光時間を短く制御すると、暗い部分で十分な露光時間がとれないために、黒つぶれやＳ／Ｎの劣化による画質の低下が発生する。逆に、暗いところに合わせて露光時間を長く制御すると、光電変換素子の蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域が飽和した輝度レベルに設定される白とびが発生する。明るい部分と暗い部分の階調を正確に再現する手法として、ダイナミックレンジ拡大処理（以下、ＨＤＲ処理という）がある。ＨＤＲ処理は、撮像素子上での入射光量が少ない画素では露光時間を長く制御して高いＳ／Ｎを実現し、入射光量が多い画素では露光時間を短く制御して飽和を回避する。

ＨＤＲ処理の一方式として、撮像素子において、２ライン毎に露光時間の異なる画素を用いて画像を撮像して合成する方式が知られている（例えば、特許文献１参照）。しかし、この方法においては、２ライン毎に位置の異なる画素の信号を用いるため、合成した画像の重心がずれるという課題がある。また、水平２画素、垂直２画素の４画素を同色画素として構成し、交差する斜め方向の２画素毎に異なる露光時間を設定して画像を撮像して合成する方式が知られている（例えば、特許文献２参照）。この方法によれば、露光時間の異なる画素がそれぞれ交差する位置に配置されているので、画像の重心ずれを低減することができる。

特開２０１１−２４４３０９号公報 特開２０１２−１０４９７９号公報

しかし、特許文献１及び特許文献２に記載された方法では、露光時間の異なる画素を所定の順番で、ライン毎に連続して読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、２ライン毎や画素毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。また、この方法では、ローリングシャッタ動作を用いてライン毎に連続して全ラインを読み出すため、最初のラインから最後のラインまでの読み出し時間が長くなる。これにより、ライン毎に露光時間がずれた分だけ移動する被写体が歪んでしまうローリング歪みという現象が発生しやすくなるという課題がある。

本発明の目的は、ローリング歪みを低減することができる撮像装置及び撮像装置の制御方法を提供することである。

本発明の撮像装置は、行列状に配列され、各々が光を電荷に変換する複数の光電変換素子を含む複数の画素と、前記複数の画素の各列に１本ずつ設けられ、各列に配置された前記複数の画素がそれぞれ共通に接続される複数の信号線と、前記複数の信号線の各々に１つずつ接続され、前記複数の光電変換素子のうちの第１のグループに属する複数の光電変換素子の電荷に基づく信号を処理する第１の列信号処理部と、前記複数の信号線の各々に１つずつ接続され、前記複数の光電変換素子のうちの第２のグループに属する複数の光電変換素子の電荷に基づく信号を処理する第２の列信号処理部と、前記第１の列信号処理部により処理した信号を外部に出力する第１の出力部と、前記第２の列信号処理部により処理した信号を外部に出力する第２の出力部とを有し、前記複数の画素の各々は、前記複数の光電変換素子のうちの前記第１のグループに属する複数の光電変換素子を第１の露光時間で露光し、前記第１の露光時間で露光した前記第１のグループに属する複数の光電変換素子の電荷を合成し、前記複数の光電変換素子のうちの前記第２のグループに属する複数の光電変換素子を前記第１の露光時間とは異なる第２の露光時間で露光し、前記第２の露光時間で露光した前記第２のグループに属する複数の光電変換素子の電荷を合成し、前記複数の信号線の各々には、前記第１の露光時間で露光した前記第１のグループに属する複数の光電変換素子の電荷に基づく前記画素の信号が第１のタイミングで出力され、前記複数の信号線の各々には、前記第２の露光時間で露光した前記第２のグループに属する光電変換素子の電荷に基づく前記画素の信号が前記第１のタイミングとは異なる第２のタイミングで出力される。

本発明によれば、ローリング歪みを低減することができる。

第１の実施形態に係る撮像装置の構成例を示す図である。 第１の実施形態に係る撮像素子の構成例を示す図である。 第１の実施形態に係る画素の回路構成例を示す図である。 第１の実施形態に係る画素の概略構成例を示す図である。 第１の実施形態に係る列信号処理部の回路構成例を示す図である。 第１の実施形態に係る撮像素子の動作タイミングを示す図である。 第１の実施形態に係る連続読み動作を示す図である。 第１の実施形態に係る同期読み動作を示す図である。 第１の実施形態に係る第１の撮影動作を示す図である。 第１の実施形態に係る撮像素子の動作タイミングを示す図である。 第１の実施形態に係る第２の撮影動作を示す図である。 第１の実施形態の変形例に係る同期読み出し動作を示す図である。 第２の実施形態に係る画素特性及び画像信号特性を示す図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示す図である。第１の実施形態においては、ダイナミックレンジ拡大処理（以下、ＨＤＲ処理という）に用いるために、露光時間の異なる光電変換素子の画素の信号を出力するように制御された撮像素子の動作について説明する。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像装置は、光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７及び画像記録部１８を有する。光学系１１は、被写体を結像させるためのレンズ、ズームや合焦を行うためのレンズ駆動機構、メカニカルシャッタ機構、絞り機構等を有し、これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。撮像素子１２は、ＸＹアドレス方式のＣＭＯＳセンサであり、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセット等の撮像動作を実施する。そして、撮像素子１２は、アナログデジタル変換回路（以下、ＡＤ変換回路という）によるアナログデジタル変換（以下、ＡＤ変換という）を行い、デジタル化された画像信号を出力する。信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正等の信号処理や、自動焦点調節（ＡＦ）、自動露出調節（ＡＥ）等の制御情報を検出する。また、信号処理部１３は、ＨＤＲ処理を実施する。ＨＤＲ処理として、例えば、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、長時間露光素子の加算信号と短時間露光素子の加算信号を合成する。また、他のＨＤＲ処理として、明るさに応じて、長時間露光素子の加算信号と短時間露光素子の加算信号のどちらかを選択してもよい。

圧縮伸張部１４は、同期制御部１５の制御の下で、信号処理部１３で信号処理された画像信号に対して圧縮符号化処理を実施したり、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理する。また、圧縮伸張部１４は、動画像の圧縮符号化／伸張復号化処理を実行してもよい。同期制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラである。同期制御部１５は、ＲＯＭ等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部１６は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル等を有し、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。画像表示部１７は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスや、これに対するインタフェース回路等を有し、同期制御部１５から供給された画像信号を基に表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部１８は、例えば、可搬型の半導体メモリ等からなる記録媒体が接続され、圧縮伸張部１４により圧縮符号化された画像データファイルを同期制御部１５から入力して記憶する。また、画像記録部１８は、同期制御部１５からの制御信号を基に指定されたデータを読み出し、同期制御部１５に出力する。

次に、本実施形態に係る撮像装置の動作について説明する。静止画像の撮像前には、撮像素子１２は、画像信号を信号処理部１３に順次供給する。信号処理部１３は、撮像素子１２からの画像信号に対して信号処理を施し、カメラスルー画像の信号として、同期制御部１５を介して画像表示部１７に供給する。画像表示部１７は、カメラスルー画像を表示し、ユーザが表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２は、１フレーム分の画像信号を信号処理部１３に出力する。信号処理部１３は、その１フレーム分の画像信号に信号処理を施し、処理後の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部１５を介して画像記録部１８に供給する。画像記録部１８は、撮像された静止画像のデータファイルを記録する。一方、画像記録部１８に記録された静止画像のデータファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み出し、圧縮伸張部１４に供給する。圧縮伸張部１４は、データファイルに対して伸張復号化処理を行い、復号化された画像信号を同期制御部１５を介して画像表示部１７に供給する。画像表示部１７は、静止画像を再生表示する。また、動画像を記録する場合には、信号処理部１３は、順次処理した画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、画像信号を圧縮符号化処理し、生成された動画像の符号化データを順次、画像記録部１８に転送する。画像記録部１８は、動画像の符号化データファイルを記録する。また、画像記録部１８は、動画像のデータファイルを読み出して圧縮伸張部１４に供給する。圧縮伸張部１４は、動画像のデータファイルを伸張復号化処理し、画像表示部１７に供給する。画像表示部１７は、動画像を表示する。

図２は、本実施形態に係る撮像素子１２の構成例を示す図である。撮像素子（ＣＭＯＳセンサ）１２は、画素領域２０１、垂直走査部２０２、第１列信号処理部２０３ａ、第２列信号処理部２０３ｂ、第１水平走査部２０４ａ、第２水平走査部２０４ｂ、第１出力部２０５ａ、第２出力部２０５ｂ及びタイミング部２０６を有する。画素領域２０１は、行列状に配列された複数の画素２００を有する。複数の画素２００は、画素Ｐ１１〜Ｐ８６で示すように、水平方向及び垂直方向に行列状に配列されている。１行目の画素２００は、画素Ｐ１１〜Ｐ１６で表され、８行目の画素２００は、画素Ｐ８１〜Ｐ８６で表される。本実施形態では、８×６配列（８行６列）を例として説明するが、画素領域２０１の画素２００の配列は、この数に限定されるものではない。また、複数の画素２００は、画素２００毎に色フィルタが設けられる。複数の画素２００は、奇数行にはＲ（赤）フィルタとＧ（緑）フィルタが交互に繰り返し配置され、偶数行にはＧ（緑）フィルタとＢ（青）フィルタが交互に繰り返し配置され、２×２配列の色フィルタが配置されている。垂直走査部２０２は、画素領域２０１の画素２００の配列を１行ずつ選択し、選択した画素２００の行のリセット動作や読み出し動作を駆動制御する。画素制御線２２１は、画素２００の行毎に共通に接続され、垂直走査部２０２による行単位の駆動制御信号を伝達する。複数の列信号線（垂直信号線）２３１は、複数の画素２００の各列に共通に接続され、画素制御線２２１により選択された画素２００の行の画素信号が、それぞれに対応する列信号線２３１に読み出される。

第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、それぞれ、複数の列信号線２３１に接続され、列信号線２３１を通して出力される行単位の画素２００の信号のそれぞれに対して、後述する列信号処理を実施する。第１水平走査部２０４ａは、それぞれに接続される第１列選択線２４１ａを介して第１列信号処理部２０３ａを列毎に選択する。選択された第１列信号処理部２０３ａは、記憶しているデジタル化された画素信号を第１出力線２５１ａを介して第１出力部２０５ａに転送する。第２水平走査部２０４ｂは、それぞれに接続される第２列選択線２４１ｂを介して第２列信号処理部２０３ｂを列毎に選択する。選択された第２列信号処理部２０３ｂは、記憶しているデジタル化された画素信号を第２出力線２５１ｂを介して第２出力部２０５ｂに転送する。第１出力部２０５ａ及び第２出力部２０５ｂは、デジタル化された行単位の画素信号を信号処理部１３へ出力する。タイミング部２０６は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。制御線２６１、２７１ａ、２７１ｂ、２８１ａ及び２８１ｂは、それぞれ、タイミング部２０６から、垂直走査部２０２、第１列信号処理部２０３ａ、第２列信号処理部２０３ｂ、第１水平走査部２０４ａ及び第２水平走査部２０４ｂへの制御線である。

図３は、本実施形態に係る撮像素子１２の１個の画素２００の回路構成例を示す図である。画素２００は、画素制御線２２１及び列信号線２３１により他の回路と接続される。列信号線２３１は、負荷回路の負荷トランジスタＴｌｏｄ、第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂに接続されると共に、垂直１列の複数の画素２００に共通に接続され、画素２００の信号を出力する。画素制御線２２１は、垂直走査部２０２に接続されると共に、水平１行の複数の画素２００に共通に接続され、水平１行の複数の画素２００を同時に制御することで、行単位のリセットや信号読み出しが可能になっている。画素制御線２２１は、リセット制御線ｐＲ、転送制御線ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄ、垂直選択線ｐＳＥＬを有する。複数の画素２００の各々は、光を電荷に変換する複数の光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄと、フローティングディフュージョン（ＦＤ）容量Ｃｆｄと、複数の転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄとを有する。ＦＤ容量Ｃｆｄは、電荷を蓄積する電荷蓄積部である。複数の転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄは、複数の光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷をＦＤ容量Ｃｆｄにそれぞれ転送する。光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄは、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄは、ＰＮ接合のＰ側（アノード）が接地され、Ｎ側（カソード）がそれぞれ転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄのソースに接続される。転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄは、ゲートがそれぞれ転送制御線ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄに接続され、ドレインがＦＤ容量Ｃｆｄに接続される。転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄは、それぞれ、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷をＦＤ容量Ｃｆｄへ転送する。ＦＤ容量Ｃｆｄは、一方の端子が接地され、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄから転送された電荷を電圧に変換する際に電荷を蓄積する。この時、転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄのドレインとＦＤ容量Ｃｆｄの他方の端子の接続点をＦＤノード３０１と呼ぶ。

リセットトランジスタ（リセットスイッチ）Ｔ２は、ゲートがリセット制御線ｐＲに接続され、ドレインが電源電圧Ｖｄｄのノードに接続され、ソースがＦＤ容量Ｃｆｄに接続され、ＦＤノード３０１の電位を電源電圧Ｖｄｄにリセットする。駆動トランジスタ（増幅部）Ｔｄｒｖは、画素内アンプを構成するトランジスタであり、ゲートがＦＤ容量Ｃｆｄに接続され、ドレインが電源電圧Ｖｄｄのノードに接続され、ソースが選択トランジスタ（選択スイッチ）Ｔ３のドレインに接続される。駆動トランジスタＴｄｒｖは、ＦＤ容量Ｃｆｄの電圧に応じた電圧を出力する。選択トランジスタ（選択スイッチ）Ｔ３は、ゲートが垂直選択線ｐＳＥＬに接続され、ソースが列信号線２３１に接続され、駆動トランジスタＴｄｒｖの出力信号を画素２００の出力信号として、列信号線２３１に出力する。列信号線２３１毎に設けられている負荷回路の負荷トランジスタＴｌｏｄは、ソースとゲートが接地され、ドレインが列信号線２３１に接続される。そして、負荷トランジスタＴｌｏｄは、列信号線２３１に接続されている列の画素２００の駆動トランジスタＴｄｒｖとともに画素内アンプとなるソースフォロア回路を構成している。通常、画素２００の信号を出力する時は、負荷トランジスタＴｌｏｄをゲート接地の定電流源として動作させる。本実施形態では、駆動トランジスタＴｄｒｖ及び負荷トランジスタＴｌｏｄ以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御線がハイレベルの時に導通（オン）し、ローレベルの時に遮断（オフ）する。

図４（ａ）及び（ｂ）は、本実施形態に係る撮像素子１２の画素２００の構成例を示す図である。図４（ａ）は、２×２に配列された画素２００の平面図を示し、図４（ｂ）は、図４（ａ）のｘ−ｘ’の断面図を示す。光電変換素子４０１ａ、４０１ｂ、４０１ｃ、４０１ｄは、それぞれ、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄのＰＮ接合のＮ側に対応し、基板は光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄのＰＮ接合のＰ側に対応する。ＦＤ容量４０２は、ＦＤノード３０１を含む画素２００のＦＤ容量Ｃｆｄに対応する。４つの光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄは、水平及び垂直方向に配置されているため、ＦＤノード３０１を含む画素２００のＦＤ容量Ｃｆｄ（４０２）は、それらの中心に配置されている。マイクロレンズ４０３は、画素２００毎に設けられる。色フィルタ４０４は、画素２００毎に設けられ、４つの光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄを均等に覆っている。画素２００毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちの１つの色フィルタ４０４が配置されている。図４（ａ）及び（ｂ）のように、１つの色フィルタ４０４を４つの光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄが共有する構成となっている。そのため、異なる光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄから得られる複数の撮影画像を基にしたＨＤＲが可能となっている。同一の画素２００内の複数の光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄは、同一色の色フィルタを介して受光する。

図５は、本実施形態に係る撮像素子１２の列信号処理部２０３の回路構成例を示す図である。第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、同じ回路構成と動作となっているので、列信号処理部２０３として説明する。水平走査部２０４、出力部２０５、列選択線２４１、出力線２５１、制御線２７１、２８１についても同様の表現を用いる。列信号処理部２０３は、サンプルホールド回路５０１、比較器５０２、カウンタ回路５０３、ラッチ回路５０４及びメモリ回路５０５を有する。サンプルホールド回路５０１は、信号選択制御線ｐＳＨに接続され、信号選択制御線ｐＳＨを介したタイミング部２０６からの制御により、列信号線２３１から入力した画素信号を保持して出力するサンプルホールド部である。比較器５０２は、サンプルホールド回路５０１の出力信号とランプ波信号線Ｖｒｍｐ（図６のＶｒｍｐ１又はＶｒｍｐ２）のランプ波信号を比較し、その比較結果を出力する。例えば、比較器５０２は、２つの入力信号の大小関係が逆転した時に、ハイレベルからローレベルに出力信号が変化することで、比較結果を出力する。カウンタ回路５０３は、カウンタ制御線ｐＣＮＴに接続され、カウンタ制御線ｐＣＮＴから供給されるクロック信号を基にカウンタを動作させるとともに、比較器５０２の出力信号がハイレベルからローレベルに変化した時のカウント値を出力する。また、カウンタ回路５０３は、カウンタ制御線ｐＣＮＴにより、ダウンカウントとアップカウントの切り換えが可能となっており、これを用いて、ノイズ低減を実現している。この時のカウント値は、列信号線２３１の画素信号をデジタル化した信号である。

ラッチ回路５０４は、ラッチ制御線ｐＬＴＣに接続され、カウンタ回路５０３が出力するカウント値を一時的に保持するとともに、ラッチ制御線ｐＬＴＣを介した制御信号により、保持しているカウント値を出力する。メモリ回路５０５は、メモリ制御線ｐＭＥＭに接続され、メモリ制御線ｐＭＥＭを介した制御信号により、ラッチ回路５０４が出力するカウント値を画素のデジタル信号として記憶する。また、メモリ回路５０５は、それに対応するメモリ選択線ｐＨを介した制御信号により、記憶している画素のデジタル信号を、デジタル出力線ＤＳｉｇに出力する。このように、列信号処理部２０３では、比較器５０２、カウンタ回路５０３、ラッチ回路５０４及びランプ波信号線Ｖｒｍｐを用いてＡＤ変換回路が構成され、列信号線２３１の画素信号をアナログからデジタルに変換する。ここで、タイミング部２０６に接続される制御線２７１は、信号選択制御線ｐＳＨ、ランプ波信号線Ｖｒｍｐ、カウンタ制御線ｐＣＮＴ、ラッチ制御線ｐＬＴＣ及びメモリ制御線ｐＭＥＭを有する。水平走査部２０４に接続される列選択線２４１は、メモリ選択線ｐＨに対応する。出力部２０５に接続される出力線２５１は、デジタル出力線ＤＳｉｇに対応する。

図６は、本実施形態に係る撮像素子１２の重ね読み動作のための動作タイミングを示す図であり、撮像装置の制御方法を示す。図６では、画素領域２０１に配列された画素２００内の連続する２行（例えば列方向に連続する画素Ｐ１１とＰ２１を含む行）を読み出す場合を例にして説明する。図６の画素の動作では、ＦＤノード３０１のリセットを実施した後に、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷を同時に読み出している。この時、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄは、同じ動作で読み出すので、転送制御線ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄを転送制御線ｐＴａｌｌで表す。信号ＨＤは、画素領域２０１に配列された画素２００を行毎に読み出す時の水平同期信号を示す。制御線ｐＲ１、ｐＴａｌｌ１、ｐＳＥＬ１は、それぞれ、画素Ｐ１１を含む１行目の画素制御線２２１であるリセット制御線ｐＲ、転送制御線ｐＴａｌｌ、垂直選択線ｐＳＥＬの制御パルスを示す。制御線ｐＲ２、ｐＴａｌｌ２、ｐＳＥＬ２は、それぞれ、画素Ｐ２１を含む２行目の画素制御線２２１であるリセット制御線ｐＲ、転送制御線ｐＴａｌｌ、垂直選択線ｐＳＥＬの制御パルスを示す。制御線ｐＳＨ１、ｐＭＥＭ１は、それぞれ、１列目の列信号線２３１に読み出された画素Ｐ１１の信号をそれに対応する第１列信号処理部２０３ａが信号処理する時の制御線２７１ａの内の信号選択制御線ｐＳＨ、メモリ制御線ＭＥＭの制御パルスを示す。制御線ｐＳＨ２、ｐＭＥＭ２は、それぞれ、１列目の列信号線２３１に読み出された画素Ｐ２１の信号をそれに対応する第２列信号処理部２０３ｂが信号処理する時の制御線２７１ｂの内の信号選択制御線ｐＳＨ、メモリ制御線ｐＭＥＭの制御パルスを示す。制御線ｐＨｒ１は、第１列信号処理部２０３ａのメモリ回路５０５の信号出力を制御する制御線であり、第１水平走査部２０４ａからメモリ選択線２４１ａに順番に発生させる制御線２８１ａの制御パルスを示す。制御線ｐＨｒ２は、第２列信号処理部２０３ｂのメモリ回路５０５の信号出力を制御する制御線であり、第２水平走査部２０４ｂからメモリ選択線２４１ｂに順番に発生させる制御線２８１ｂの制御パルスを示す。信号Ｖｓｉｇは、１列目の列信号線２３１に読み出された画素Ｐ１１及び画素Ｐ２１の信号を示す。ランプ波信号線Ｖｒｍｐ１は、第１列信号処理部２０３ａの比較器５０２に入力される制御線２７１ａの内のランプ波信号線Ｖｒｍｐの信号を示す。ランプ波信号線Ｖｒｍｐ２は、第２列信号処理部２０３ｂの比較器５０２に入力される制御線２７１ｂの内のランプ波信号線Ｖｒｍｐの信号を示す。

次に、図６を用いて、本実施形態に係る撮像素子１２の重ね読み動作のための第１の読み出し動作を説明する。第１の読み出し動作では、各画素２００について、ＦＤノード３０１をリセットした信号（Ｎ信号）、及び、ＦＤノード３０１において光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷を合成（加算）した信号（Ａｌｌ信号）の読み出しを行う。撮像素子１２は、列毎に共通の列信号線２３１を用いて、時間差を付けて読み出された画素Ｐ１１を含む１行目の画素の信号及び画素Ｐ２１を含む２行目の画素の信号にＡＤ変換を実施して、デジタル化した画素信号を出力する。この時に、奇数行の画素２００と偶数行の画素２００に対して、第１の読み出し動作を繰り返し、画素領域２０１の画素２００の信号を読み出すことで、１回の撮影動作を実施することができる。ここで、画素Ｐ１１のＮ信号の振幅をＶｎ１で表現し、Ａｌｌ信号の振幅をＶａｌｌ１で表現し、Ｎ信号を含むＡｌｌ信号の振幅をＶｎａｌｌ１で表現する。また、画素Ｐ２１のＮ信号の振幅をＶｎ２で表現し、Ａｌｌ信号の振幅をＶａｌｌ２で表現し、Ｎ信号を含むＡｌｌ信号の振幅をＶｎａｌｌ２で表現する。

時刻ｔ０１では、水平同期信号ＨＤが発生し、電子シャッタ動作を行う水平同期期間が開始する。時刻ｔ０２〜ｔ０５は、電子シャッタ動作としての画素Ｐ１１を含む１行目の画素２００のリセット動作のタイミングを示す。まず、時刻ｔ０２では、リセット制御線ｐＲ１がハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。次に、時刻ｔ０３では、転送制御線ｐＴａｌｌ１（ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄ）がハイレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオンする。すると、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄに蓄積されている電荷は、ＦＤノード３０１に転送され、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄがリセットされる。続いて、時刻ｔ０４では、転送制御線ｐＴａｌｌ１がローレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオフすることで、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの露光が開始される。次に、時刻ｔ０５では、リセット制御線ｐＲ１がローレベルになり、リセットトランジスタＴ２がオフする。

時刻ｔ０６〜ｔ０９は、電子シャッタ動作としての画素Ｐ２１を含む２行目の画素２００のリセット動作のタイミングを示す。まず、時刻ｔ０６では、リセット制御線ｐＲ２がハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。次に、時刻ｔ０７では、転送制御線ｐＴａｌｌ２（ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄ）がハイレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオンする。すると、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄに蓄積されている電荷は、ＦＤノード３０１に転送され、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄがリセットされる。続いて、時刻ｔ０８では、転送制御線ｐＴａｌｌ２がローレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオフすることで、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの露光が開始される。次に、時刻ｔ０９では、リセット制御線ｐＲ２がローレベルになり、リセットトランジスタＴ２がオフする。最後に、時刻ｔ１０では、水平同期信号ＨＤにより、電子シャッタ動作を行う水平同期期間が終了する。

このように、図６では、画素Ｐ１１を含む１行目の画素２００の電子シャッタ動作と画素Ｐ２１を含む２行目の画素２００の電子シャッタ動作は、同じ水平同期期間において実施される。この時、時刻ｔ１１以前の信号選択制御線ｐＳＨ１、ｐＳＨ２、メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２、水平走査制御線ｐＨｒ１、ｐＨｒ２、列信号線２３１に読み出された画素信号Ｖｓｉｇ、ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２は、点線で表す。この点線は、画素Ｐ１１及び画素Ｐ２１以外の画素の信号を処理していることを示す。

時刻ｔ１１は、水平同期信号ＨＤにより、設定された露光時間経過後の水平同期期間の始まりを示す。時刻ｔ１１〜ｔ３３の１水平同期期間において、画素Ｐ１１を含む１行分の画素２００の信号が出力される。１行分の画素２００の信号は、画素読み動作により、それぞれに対応する列信号線２３１を介して第１列信号処理部２０３ａに出力される。第１列信号処理部２０３ａは、列信号処理動作により、信号をデジタル信号に変換した後、水平出力動作により、所定の順番でデジタル出力線ＤＳｉｇ１を介して信号を第１出力線２５１ａに出力する。まず、時刻ｔ１２では、リセット制御線ｐＲ１がハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。同時に、垂直選択線ｐＳＥＬ１がハイレベルになり、選択トランジスタＴ３がオンすることで、ソースフォロア回路を動作させ、ＦＤノード３０１の電位に対応する電圧が列信号線２３１に出力される。また、同時に、信号選択制御線ｐＳＨ１がハイレベルになることで、サンプルホールド回路５０１は、列信号線２３１に出力された画素信号の保持動作を開始する。次に、時刻ｔ１３では、リセット制御線ｐＲ１がローレベルなり、リセットトランジスタＴ２がオフする。その後、列信号線２３１に出力された信号が安定するのを待つ。この時、画素Ｐ１１から出力される信号Ｖｓｉｇは、ＦＤノード３０１がリセットされたＮ信号Ｖｎ１である。そして、列信号線２３１に出力されたＮ信号Ｖｎ１が安定した時刻ｔ１４では、信号選択制御線ｐＳＨ１がローレベルになることで、サンプルホールド回路５０１は、Ｎ信号Ｖｎ１を保持する。この時の時刻ｔ１２〜ｔ１４は、Ｎ信号Ｖｎ１の保持動作期間Ｔｎ１である。

そして、時刻ｔ１４以降では、第１列信号処理部２０３ａは、Ｎ信号Ｖｎ１のＡＤ変換を実施する。比較器５０２は、Ｎ信号Ｖｎ１に対応するサンプルホールド回路５０１の出力信号を入力する。次に、時刻ｔ１４では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ１にランプ波信号を出力する。比較器５０２は、すでに入力されているＮ信号Ｖｎ１とランプ波信号線Ｖｒｍｐ１のランプ波信号を比較する。さらに、ランプ波信号線Ｖｒｍｐ１への出力と同時に、カウンタ制御線ｐＣＮＴ１を介したタイミング部２０６の制御により、カウンタ回路５０３は、ダウンカウントを開始する。そして、時刻ｔ１５では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ１へのランプ波信号の出力を終了する。この時、発生させるランプ波信号の振幅は、比較器５０２に入力されるＮ信号Ｖｎ１の振幅に対して十分な余裕があればよいので、あらかじめ測定しておき、タイミング部２０６で生成できるように設定しておく。時刻ｔ１４〜ｔ１５のどこかで、比較器５０２は、ランプ波信号線Ｖｒｍｐ１のランプ波信号とＮ信号Ｖｎ１との一致を検出する。ランプ波信号線Ｖｒｍｐ１のランプ波信号とＮ信号Ｖｎ１が一致した時点で、比較器５０２は、比較結果信号をカウンタ回路５０３に出力する。カウンタ回路５０３は、比較結果信号を入力した時点で、カウントを停止するとともに、カウント値を保持する。時刻ｔ１４〜ｔ１５は、Ｎ信号Ｖｎ１のＡＤ変換期間ＴＡｎ１である。このＡＤ変換期間ＴＡｎ１は、同時に、Ｎ信号Ｖｎ１をサンプルホールド回路５０１に保持しておかなければならない保持期間でもある。

次に、時刻ｔ１６では、転送制御線ｐＴａｌｌ１がハイレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオンする。これにより、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄに蓄積されている電荷がＦＤノード３０１に転送され、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの加算信号として列信号線２３１に出力される。また、同時に、信号選択制御線ｐＳＨ１がハイレベルになることで、サンプルホールド回路５０１は、列信号線２３１に出力された画素信号の保持動作を開始する。続いて、時刻ｔ１７では、転送制御線ｐＴａｌｌ１がローレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオフする。その後、列信号線２３１に出力された信号が安定するのを待つ。この時に、画素Ｐ１１から出力される信号Ｖｓｉｇは、Ｎ信号Ｖｎ１に光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷を読み出した信号Ｖａｌｌ１が加算されたＡｌｌ信号Ｖｎａｌｌ１である。そして、時刻ｔ１８では、列信号線２３１に出力されたＡｌｌ信号Ｖｎａｌｌ１が安定し、信号選択制御線ｐＳＨ１がローレベルになることで、サンプルホールド回路５０１はＡｌｌ信号Ｖｎａｌｌ１を保持する。この時、時刻ｔ１６〜ｔ１８は、Ａｌｌ信号Ｖｎａｌｌ１の保持動作期間Ｔａｌｌ１である。以上が、１行目の画素読み動作となり、画素Ｐ１１を含む１行目の画素２００の信号が読み出され、それぞれに対応する第１列信号処理部２０３ａのサンプルホールド回路５０１に保持される。

１行目の画素２００の動作は、以下を実施して終了となる。時刻ｔ１９では、リセット制御線ｐＲ１がハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。これにより、列信号線２３１の信号Ｖｓｉｇもリセットされる。そして、時刻ｔ２０では、ＦＤノード３０１の電位が十分にリセットされ、リセット制御線ｐＲ１がローレベルになり、リセットトランジスタＴ２がオフする。同時に、垂直選択線ｐＳＥＬ１がローレベルになり、選択トランジスタＴ３がオフすることで、画素Ｐ１１を含む１行目の画素２００とそれぞれに対応する列信号線２３１が電気的に切り離される。

そして、時刻ｔ１８以降では、列信号処理動作として、第１列信号処理部２０３ａは、Ａｌｌ信号Ｖｎａｌｌ１のＡＤ変換を実施する。比較器５０２は、Ａｌｌ信号Ｖｎａｌｌ１に対応するサンプルホールド回路５０１の出力信号を入力する。時刻ｔ１８では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ１にランプ波信号を出力する。比較器５０２は、ランプ波信号線Ｖｒｍｐ１のランプ波信号とＡｌｌ信号Ｖｎａｌｌ１とを比較する。さらに、ランプ波信号線Ｖｒｍｐ１へのランプ波信号の出力と同時に、カウンタ制御線ｐＣＮＴ１を介したタイミング部２０６の制御により、カウンタ回路５０３は、Ｎ信号Ｖｎ１のＡＤ変換時に停止したカウント値からアップカウントを開始する。そして、時刻ｔ２７では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ１のランプ波信号の出力を終了する。この時、発生させるランプ波信号は、Ｎ信号Ｖｎ１のＡＤ変換を実施した時と同じ傾きを持つが、Ａｌｌ信号Ｖｎａｌｌ１の振幅に対して十分余裕がある振幅でなければならないので、あらかじめ測定しておき、タイミング部２０６で生成できるように設定しておく。時刻ｔ１８〜ｔ２７のどこかで、比較器５０２は、ランプ波信号線Ｖｒｍｐ１のランプ波信号とＡｌｌ信号Ｖｎａｌｌ１との一致を検出する。ランプ波信号線Ｖｒｍｐ１のランプ波信号とＡｌｌ信号Ｖｎａｌｌ１が一致した時点で、比較器５０２は、比較結果信号をカウンタ回路５０３に出力する。カウンタ回路５０３は、比較結果信号を入力した時点で、カウント値とラッチ信号をラッチ回路５０４に出力する。カウンタ回路５０３は、予めダウンカウントしておいたＮ信号Ｖｎ１のカウント値を、Ｎ信号を含んだＡｌｌ信号Ｖｎａｌｌ１に応じてアップカウントしているので、Ｎ信号Ｖｎ１がキャンセルされたＡｌｌ信号Ｖａｌｌ１のみをカウント値としてカウントする。ラッチ回路５０４は、ラッチ信号を入力すると、その時点でのカウント値を一時的に保持する。この時、時刻ｔ１８〜ｔ２７は、Ａｌｌ信号Ｖｎａｌｌ１のＡＤ変換期間ＴＡａｌｌ１である。このＡＤ変換期間ＴＡａｌｌ１は、同時に、Ａｌｌ信号Ｖｎａｌｌ１をサンプルホールド回路５０１に保持しておかなければならない保持期間でもある。また、時刻ｔ２７のランプ波信号線Ｖｒｍｐ１へのランプ波信号の出力の終了にともなって、メモリ制御線ｐＭＥＭ１がハイレベルになる。それとともに、ラッチ制御線ｐＬＴＣ１を介したタイミング部２０６の制御により、ラッチ回路５０４は、保持するカウント値をメモリ回路５０５に転送する。メモリ回路５０５は、そのカウント値をＰ１１画素のデジタルＡｌｌ信号Ｖａｌｌ１として記憶する。そして、時刻ｔ２８では、メモリ制御線ｐＭＥＭ１がローレベルになり、記憶動作が終了する。以上が、１行目の画素２００の列信号処理動作となり、それぞれに対応する第１列信号処理部２０３ａに読み出された画素２００の信号が、ＡＤ変換後、メモリ回路５０５にデジタル信号として記憶される。

次に、時刻ｔ２９〜ｔ３３は、メモリ回路５０５に記憶された１行目の画素のデジタルＡｌｌ信号Ｖａｌｌ１を出力する１行目の水平出力動作期間である。時刻ｔ２９〜ｔ３３では、タイミング部２０６は、制御線２８１ａである水平走査制御線ｐＨｒ１を介して制御パルスを第１水平走査部２０４ａに出力する。この時、第１水平走査部２０４ａは、水平走査制御線ｐＨｒ１の制御パルスに同期して、第１列選択線２４１ａであるメモリ選択線ｐＨ１を介して、それぞれに接続される第１列信号処理部２０３ａを所定の順番で選択する。１行目の水平出力動作では、メモリ選択線ｐＨ１は、それぞれに対応するメモリ回路５０５を選択する。そして、選択されたメモリ回路５０５は、記憶しているデジタル化された画素信号であるデジタルＡｌｌ信号Ｖａｌｌ１を、第１出力線２５１ａであるデジタル出力線ＤＳｉｇ１に所定の順番で出力する。このようにして、所定の順番で選択された１行分の第１列信号処理部２０３ａは、１行分の画素２００のデジタルＡｌｌ信号Ｖａｌｌ１を、デジタル出力線ＤＳｉｇ１を介して第１出力部２０５ａに出力し、１行分の画素の信号の出力が完了する。ここまでが、１行目の画素２００の水平出力動作期間ＴＤａｌｌ１である。１行目の画素信号の出力が完了した後、時刻ｔ３３の水平同期信号ＨＤにより、３行目の画素２００の読み出し動作が開始される。以上の動作が、水平同期信号ＨＤに同期して、第１列信号処理部２０３ａにより、１行目から１水平同期期間ずつ遅延して行われ、奇数行の画素信号が順次出力される。従って、奇数行の露光時間は、１行毎にずれていくことになる。

ここで、第１の読み出し動作においては、画素Ｐ１１を含む１行目の画素２００のＡｌｌ信号Ｖｎａｌｌ１をＡＤ変換している途中の時刻ｔ２１では、画素Ｐ２１を含む２行目の画素２００の読み動作が開始される。時刻ｔ２１〜ｔ３４の１水平同期期間に相当する期間では、画素Ｐ２１を含む１行分の画素２００の信号が出力される。２行目の画素２００は、１行分の画素の信号を、画素読み動作により、それぞれに対応する列信号線２３１を介して第２列信号処理部２０３ｂに出力する。第２列信号処理部２０３ｂは、列信号処理動作により、２行目の画素信号をデジタル信号に変換し、水平出力動作により、所定の順番でデジタル出力線ＤＳｉｇ２を介して第２出力線２５１ｂに出力する。まず、時刻ｔ２１では、リセット制御線ｐＲ２がハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。同時に、垂直選択線ｐＳＥＬ２がハイレベルになり、選択トランジスタＴ３がオンすることで、ソースフォロア回路が動作し、ＦＤノード３０１の電位に対応する電圧が列信号線２３１に出力される。また、同時に、信号選択制御線ｐＳＨ２がハイレベルになることで、サンプルホールド回路５０１は、列信号線２３１に出力された画素信号の保持動作を開始する。次に、時刻ｔ２２では、リセット制御線ｐＲ２がローレベルになり、リセットトランジスタＴ２がオフする。その後、列信号線２３１に出力された信号が安定するのを待つ。この時、画素Ｐ２１から出力される信号Ｖｓｉｇは、ＦＤノード３０１をリセットした信号となるＮ信号Ｖｎ２である。そして、列信号線２３１に出力されたＮ信号Ｖｎ２が安定した時刻ｔ２３では、信号選択制御線ｐＳＨ２がローレベルになることで、サンプルホールド回路５０１はＮ信号Ｖｎ２を保持する。この時、時刻ｔ２１〜ｔ２３は、Ｎ信号Ｖｎ２の保持動作期間Ｔｎ２である。

そして、時刻ｔ２３以降では、第２列信号処理部２０３ｂは、Ｎ信号Ｖｎ２のＡＤ変換を実施する。比較器５０２は、Ｎ信号Ｖｎ２に対応するサンプルホールド回路５０１の出力信号を入力する。時刻ｔ２３では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ２にランプ波信号を出力する。比較器５０２は、ランプ波信号線Ｖｒｍｐ２のランプ波信号とＮ信号Ｖｎ２とを比較する。さらに、ランプ波信号線Ｖｒｍｐ２へのランプ波信号の出力と同時に、カウンタ制御線ｐＣＮＴ２を介したタイミング部２０６の制御により、カウンタ回路５０３は、ダウンカウントを開始する。そして、時刻ｔ２４では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ２へのランプ波信号の出力を終了する。この時、発生させるランプ波信号は、Ｎ信号Ｖｎ１のＡＤ変換を実施した時と同じ傾きを持つ必要がある。また、ランプ波信号の振幅は、Ｎ信号Ｖｎ２の振幅に対して十分な余裕があればよいので、あらかじめ測定しておき、タイミング部２０６で生成できるように設定しておく。時刻ｔ２３〜ｔ２４のどこかで、比較器５０２は、ランプ波信号線Ｖｒｍｐ２のランプ波信号とＮ信号Ｖｎ２との一致を検出する。ランプ波信号線Ｖｒｍｐ２のランプ波信号とＮ信号ｎ２が一致した時点で、比較器５０２は、比較結果信号をカウンタ回路５０３に出力する。カウンタ回路５０３は、比較結果信号を入力した時点で、カウントを停止するとともに、カウント値を保持する。この時の時刻ｔ２３〜ｔ２４は、Ｎ信号Ｖｎ２のＡＤ変換期間ＴＡｎ２である。このＡＤ変換期間ＴＡｎ２は、同時に、Ｎ信号Ｖｎ２をサンプルホールド回路５０１に保持しておかなければならない保持期間でもある。

次に、時刻ｔ２５では、転送制御線ｐＴａｌｌ２がハイレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオンする。すると、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄに蓄積されている電荷は、ＦＤノード３０１に転送され、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの加算信号として列信号線２３１に出力される。また、同時に、信号選択制御線ｐＳＨ２がハイレベルになることで、サンプルホールド回路５０１は、列信号線２３１に出力された画素信号の保持動作を開始する。続いて、時刻ｔ２６では、転送制御線ｐＴａｌｌ２がローレベルになり、転送トランジスタＴ１ａ、Ｔ１ｂ、Ｔ１ｃ、Ｔ１ｄがオフする。その後、列信号線２３１に出力された信号が安定するのを待つ。この時、画素Ｐ２１から出力される信号Ｖｓｉｇは、Ｎ信号Ｖｎ２に光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷を読み出した信号Ｖａｌｌ２が加算されたＡｌｌ信号Ｖｎａｌｌ２である。そして、列信号線２３１に出力されたＡｌｌ信号Ｖｎａｌｌ２が安定した時刻ｔ２７では、信号選択制御線ｐＳＨ２がローレベルになることで、サンプルホールド回路５０１にＡｌｌ信号Ｖｎａｌｌ２を保持する。この時の時刻ｔ２５〜ｔ２７は、Ａｌｌ信号Ｖｎａｌｌ２の保持動作期間Ｔａｌｌ２である。以上が、２行目の画素読み動作となり、画素Ｐ２１を含む２行目の画素２００の信号が読み出され、それぞれに対応する第２列信号処理部２０３ｂのサンプルホールド回路５０１に保持される。

２行目の画素２００の動作は、以下を実施して終了となる。時刻ｔ２８では、リセット制御線ｐＲ２がハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。これにより、列信号線２３１の信号Ｖｓｉｇもリセットされる。そして、ＦＤノード３０１の電位が十分にリセットされた時刻ｔ２９では、リセット制御線ｐＲ２がローレベルになり、リセットトランジスタＴ２がオフする。同時に、垂直選択線ｐＳＥＬ２がローレベルになり、選択トランジスタＴ３がオフすることで、画素Ｐ２１を含む２行目の画素２００とそれぞれに対応する列信号線２３１が電気的に切り離される。

そして、時刻ｔ２７以降では、第２列信号処理部２０３ｂは、列信号処理動作としてＡｌｌ信号Ｖｎａｌｌ２のＡＤ変換を実施する。比較器５０２は、Ａｌｌ信号Ｖｎａｌｌ２に対応するサンプルホールド回路５０１の出力信号を入力する。時刻ｔ２７では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ２にランプ波信号を出力する。比較器５０２は、ランプ波信号線Ｖｒｍｐ２のランプ波信号とＡｌｌ信号Ｖｎａｌｌ２とを比較する。さらに、ランプ波信号線Ｖｒｍｐ２へのランプ波信号の出力と同時に、カウンタ制御線ｐＣＮＴ２を介したタイミング部２０６の制御により、カウンタ回路５０３は、Ｎ信号Ｖｎ２のＡＤ変換時に停止したカウント値からアップカウントを開始する。そして、時刻ｔ３０では、タイミング部２０６は、ランプ波信号線Ｖｒｍｐ２へのランプ波信号の出力を終了する。この時、発生させるランプ波信号は、Ｎ信号Ｖｎ２のＡＤ変換を実施した時と同じ傾きを持つが、Ａｌｌ信号Ｖｎａｌｌ２の振幅に対して十分余裕がある振幅でなければならないので、あらかじめ測定しておき、タイミング部２０６で生成できるように設定しておく。時刻ｔ２７〜ｔ３０のどこかで、比較器５０２は、ランプ波信号線Ｖｒｍｐ２のランプ波信号とＡｌｌ信号Ｖｎａｌｌ２との一致を検出する。ランプ波信号線Ｖｒｍｐ２のランプ波信号とＡｌｌ信号Ｖｎａｌｌ２が一致した時点で、比較器５０２は、比較結果信号をカウンタ回路５０３に出力する。カウンタ回路５０３は、比較結果信号を入力した時点で、カウント値とラッチ信号をラッチ回路５０４に出力する。この時、カウンタ回路５０３は、あらかじめダウンカウントしておいたＮ信号Ｖｎ２のカウント値を、Ｎ信号を含んだＡｌｌ信号Ｖｎａｌｌ２に応じてアップカウントしているので、Ｎ信号Ｖｎ２がキャンセルされたＡｌｌ信号Ｖａｌｌ２のみがカウントされる。ラッチ回路５０４は、ラッチ信号を入力した時点で、カウント値を一時的に保持する。この時の時刻ｔ２７〜ｔ３０は、Ａｌｌ信号Ｖｎａｌｌ２のＡＤ変換期間ＴＡａｌｌ２である。このＡＤ変換期間ＴＡａｌｌ２は、同時に、Ａｌｌ信号Ｖｎａｌｌ２をサンプルホールド回路５０１に保持しておかなければならない保持期間でもある。また、時刻ｔ３０のランプ波信号線Ｖｒｍｐ２へのランプ波信号の出力の終了にともなって、メモリ制御線ｐＭＥＭ２がハイレベルになる。それとともに、ラッチ制御線ｐＬＴＣ２を介したタイミング部２０６の制御により、ラッチ回路５０４は、保持するカウント値をメモリ回路５０５に転送する。メモリ回路５０５は、そのカウント値を画素Ｐ２１のデジタルＡｌｌ信号Ｖａｌｌ２として記憶する。そして、時刻ｔ３１では、メモリ制御線ｐＭＥＭ２がローレベルになり、記憶動作が終了する。以上が、２行目の画素２００の列信号処理動作となり、それぞれに対応する第２列信号処理部２０３ｂに読み出された画素２００の信号が、ＡＤ変換後、メモリ回路５０５にデジタル信号として記憶される。

次に、時刻ｔ３２〜ｔ３４は、メモリ回路５０５に記憶された２行目の画素２００のデジタルＡｌｌ信号Ｖａｌｌ２を出力する２行目の水平出力動作期間である。時刻ｔ３２〜ｔ３４では、タイミング部２０６は、制御線２８１ｂである水平走査制御線ｐＨｒ２を介して制御パルスを第２水平走査部２０４ｂに出力する。この時、第２水平走査部２０４ｂは、水平走査制御線ｐＨｒ２の制御パルスに同期して、第２列選択線２４１ｂであるメモリ選択線ｐＨ２を介して、それぞれに接続される第２列信号処理部２０３ｂを所定の順番で選択する。２行目の水平出力動作では、メモリ選択線ｐＨ２は、それぞれに対応するメモリ回路５０５を選択する。そして、選択されたメモリ回路５０５は、記憶しているデジタル化された画素信号であるデジタルＡｌｌ信号Ｖａｌｌ２を、第２出力線２５１ｂであるデジタル出力線ＤＳｉｇ２に所定の順番で出力する。このようにして、所定の順番で選択された１行分の第２列信号処理部２０３ｂは、１行分の画素のデジタルＡｌｌ信号Ｖａｌｌ２を、デジタル出力線ＤＳｉｇ２を介して第２出力部２０５ｂに出力し、１行分の画素の信号の出力が完了する。ここまでが、２行目の画素２００の水平出力動作期間ＴＤａｌｌ２である。

２行目の画素信号の出力が完了した後、時刻ｔ３４以降では、４行目の画素２００の読み出し動作が開始される。以上の動作が、第２列信号処理部２０３ｂにより、水平同期信号ＨＤに同期して２行目から１水平同期期間ずつ遅延して行われ、偶数行の画素信号が順次出力される。従って、偶数行の露光時間は１行毎にずれていくことになる。この時、時刻ｔ３３以降の信号選択制御線ｐＳＨ１、ｐＳＨ２、メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２、列信号線２３１に読み出された画素信号Ｖｓｉｇ、ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２は、図６では点線で表す。この点線は、画素Ｐ１１及び画素Ｐ２１に続く、画素Ｐ３１及び画素Ｐ４１の信号を処理していることを示す。第１の読み出し動作では、画素Ｐ１１を含む１行目の画素２００と画素Ｐ２１を含む２行目の画素２００が、共通の列信号線２３１を時分割で利用することで、画素読み動作を実施している。また、列信号処理部２０３ａ及び２０３ｂを用いると、２系統のＡＤ変換が可能となっているので、１行目の画素信号と２行目の画素信号の画素読み動作の時間差をもって、２系統のＡＤ変換が実施される。そして、列信号処理部２０３ａ及び２０３ｂのそれぞれに接続される、第１出力線２５１ａであるデジタル出力線ＤＳｉｇ１、及び、第２出力線２５１ｂあるデジタル出力線ＤＳｉｇ２も、２系統になっている。そのため、メモリ回路５０５のそれぞれが記憶している１行目の画素２００と２行目の画素２００のデジタル画素信号も、同様に時間差をもって２系統で出力することができる。所定の順番で選択された列信号処理部２０３ａ及び２０３ｂは、時間差を持った２行分のデジタル画素信号を、デジタル出力線ＤＳｉｇ１、ＤＳｉｇ２を介してそれぞれ出力部２０５ａ及び２０５ｂに並列に出力し、２行分の画素の信号の出力が完了する。ここまでが、第１の読み出し動作となり、画素Ｐ１１を含む１行目の画素２００と画素Ｐ２１を含む２行目の画素２００が重ね読み動作を実現していることがわかる。

第１の読み出し動作における重ね読み動作では、１行目の画素２００のＡｌｌ信号Ｖｎａｌｌ１をＡＤ変換している途中の時刻ｔ２１において、２行目の画素２００のＮ信号Ｖｎ２を列信号線２３１に出力している。この時、１行目の画素２００のＡｌｌ信号Ｖｎａｌｌ１の保持期間でもあるＡＤ変換期間ＴＡａｌｌ１と２行目の画素２００のＮ信号Ｖｎ２の保持動作期間Ｔｎ２が共通期間を持つことで重なっている。また、１行目の画素２００のＡｌｌ信号Ｖｎａｌｌ１の保持期間でもあるＡＤ変換期間ＴＡａｌｌ１と２行目の画素のＮ信号Ｖｎ２のＡＤ変換期間ＴＡｎ２が共通期間を持つことで重なっている。さらに、１行目の画素２００のＡｌｌ信号Ｖｎａｌｌ１をＡＤ変換している途中の時刻ｔ２５において、２行目の画素２００のＡｌｌ信号Ｖｎａｌｌ２を列信号線２３１に出力している。この時、１行目の画素２００のＡｌｌ信号Ｖｎａｌｌ１の保持期間でもあるＡＤ変換期間ＴＡａｌｌ１と２行目の画素２００のＡｌｌ信号Ｖｎａｌｌ２の保持動作期間Ｔａｌｌ２が共通期間を持つことで重なっている。そのため、１行毎に順番に実施する場合に比べて時間を短縮できる。すなわち、１行目の画素２００のＮ信号Ｖｎ１の読み出しとＡＤ変換、Ａｌｌ信号Ｖｎａｌｌ１の読み出しとＡＤ変換、及び、２行目の画素２００のＮ信号Ｖｎ２の読み出しとＡＤ変換、Ａｌｌ信号Ｖｎａｌｌ２の読み出しとＡＤ変換の時間を短縮できる。そのため、重ね読み動作におけるフレームレートの向上が実現できる。

１行目の画素信号の出力が完了した後、時刻ｔ３３の水平同期信号ＨＤにより、３行目の読み出し動作が開始され、２行目の画素信号の出力が完了した時刻ｔ３４以降に続けて、４行目の読み出し動作が開始される。その動作は、１行目及び２行目と同様である。以上の動作が、水平同期信号ＨＤに同期して開始行から２行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光時間は行毎にずれていくことになる。そして、２行毎に１水平同期期間に同期して時刻ｔ１１〜ｔ３４の動作を繰り返すことで、画素領域２０１の画素２００を２行毎に読み出すことができる。

図７は、本実施形態に係る撮像素子１２の連続読み動作を示す図である。以下、図７を用いて、重ね読みを実現する図６の第１の読み出し動作を連続読み動作に対応させた場合について説明する。動作Ｏｐｒ１は、第１列信号処理部２０３ａの動作であり、奇数行の画素２００の読み出しからデジタル出力線ＤＳｉｇ１を介した奇数行のデジタル画素信号の出力までの読み出し動作を示す。動作Ｏｐｒ２は、第２列信号処理部２０３ｂの動作であり、偶数行の画素２００の読み出しからデジタル出力線ＤＳｉｇ２を介した偶数行のデジタル画素信号の出力までの読み出し動作を示す。また、ｋを画素領域２０１の読み出し画素の行番号とする。図６のｋ行目のＮ信号Ｖｎｋの保持動作期間Ｔｎｋ及びＡＤ変換期間ＴＡｎｋは、図７のｎｋ及びＡｎｋとして表す。図６のｋ行目のＡｌｌ信号Ｖｎａｌｌｋの保持動作期間Ｔａｌｌｋ及びＡＤ変換期間ＴＡａｌｌｋは、図７のｓｋ及びＡｓｋとして表す。図６のｋ行目の水平出力動作期間ＴＤａｌｌｋは、図７のＤｏｕｔｋとして表す。図７において、動作Ｏｐｒ１の時刻ｓ０１〜ｓ０４は、１行目の画素２００の信号が列信号線２３１に読み出される画素読み動作期間である。動作Ｏｐｒ２の時刻ｓ０４〜ｓ０７は、２行目の画素２００の信号が列信号線２３１に読み出される画素読み動作期間である。これは、図６において説明したように、１行目の画素２００と２行目の画素２００が、共通の列信号線２３１を時分割で利用した画素読み動作を実施することで実現している。そこで、水平同期信号ＨＤのタイミングを時刻ｓ０１、ｓ０９、ｓ１３として動作させると、動作Ｏｐｒ１では、水平同期信号ＨＤに同期して奇数行の画素２００を読み出すことになる。そして、動作Ｏｐｒ２では、奇数行の画素２００が列信号線２３１に読み出される動作期間の時間差を付けたタイミングの時刻ｓ０４、ｓ１０、ｓ１４から偶数行の画素２００を読み出すことができる。これにより、画素領域２０１の画素２００を２行毎に読み出す重ね読み動作を連続して実施できることがわかる。

図８は、本実施形態に係る撮像素子１２の同期読み動作を示す図である。以下、図８を用いて、図７の連続読み動作を水平同期信号ＨＤに対応させた場合について説明する。なお、図８の動作Ｏｐｒ１及び動作Ｏｐｒ２は、図７で説明した動作Ｏｐｒ１及び動作Ｏｐｒ２の動作と同じである。すなわち、Ｎ信号Ｖｎｋの保持動作期間Ｔｎｋ及びＡＤ変換期間ＴＡｎｋとしてのｎｋ及びＡｎｋ、Ａｌｌ信号Ｖｎａｌｌｋの保持動作期間Ｔａｌｌｋ及びＡＤ変換期間ＴＡａｌｌｋとしてのｓｋ及びＡｓｋは、図７のものと同じである。また、Ａｌｌ信号Ｖａｌｌｋの水平出力動作期間ＴＤａｌｌｋとしてのＤｏｕｔｋは、図７のものと同じである。図８において、信号ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となる。期間Ｔｈｄは、１つの水平同期期間である。また、信号ＨＳは、水平同期信号ＨＤのサブ水平同期信号を示し、立ち下がりで有効となる。期間Ｔｈｓは、１つのサブ水平同期期間である。ここで、サブ水平同期信号ＨＳは、撮像素子１２がＮ個（Ｎは２以上の整数）の出力部を有する場合、１水平同期期間ＴｈｄにＮ行の画素２００の信号を読み出せるように、１水平同期期間ＴｈｄをＮ分割した周期（間隔毎）で立ち下がるよう生成されている。これらの水平同期信号ＨＤ、サブ水平同期信号ＨＳは、同期信号発生手段としてのタイミング部２０６によって供給される。本実施形態に係る撮像素子１２は、第１出力部２０５ａ及び第２出力部２０５ｂの２つの出力部を有するため、２行分の画素２００を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを２等分した周期で立ち下がるように生成されている。このため、水平同期期間Ｔｈｄは、サブ水平同期期間Ｔｈｓの２倍の長さとなっている。

動作Ｏｐｒ１は、水平同期信号ＨＤに同期して、あるいは、水平同期信号ＨＤに同期する１回目のサブ水平同期信号ＨＳに同期して動作を開始する。これより、時刻ｓ２１、ｓ２９、ｓ３５では、１行目、３行目、５行目の画素２００の信号の読み出しが開始され、それ以降においても奇数行の画素２００の信号の読み出し動作が継続される。動作Ｏｐｒ２は、水平同期信号ＨＤに同期する２回目のサブ水平同期信号ＨＳに同期して動作を開始する。ここで、撮像素子１２は、列信号線２３１が垂直画素列共通に配線されているため、動作Ｏｐｒ２は、１行目の画素信号Ｖｎａｌｌ１のサンプルホールドが完了した保持動作期間ｓ１終了以降（ｓ２４以降）に動作を開始する必要がある。図８では、水平同期期間Ｔｈｄを２分割したサブ水平同期期間Ｔｈｓが、１行目の画素読み動作期間（ｓ２１〜ｓ２４）より長く設定されている。そのため、２回目のサブ水平同期信号ＨＳは、画素信号Ｖｎａｌｌ１の保持動作期間ｓ１終了後、十分に時間が経過した後に設けられている（ｓ２５）。これにより、時刻ｓ２５、ｓ３３では、２行目、４行目の画素２００の信号の読み出しが開始され、それ以降においても偶数行の画素２００の信号の読み出し動作が継続される。

このように、図８では、動作Ｏｐｒ１と動作Ｏｐｒ２を１サブ水平同期期間Ｔｈｓに相当する時間だけずらして動作させる。このため、タイミング部２０６は、動作Ｏｐｒ１における第１列信号処理部２０３ａを用いた１行目の画素の読み出しからデジタル出力線ＤＳｉｇ１を介した１行目のデジタル画素信号の出力までの列毎の並列処理動作を制御することが可能である。この制御は、画素読み動作期間、列信号処理動作期間、水平出力動作期間に対して実施される。また、タイミング部２０６は、動作Ｏｐｒ１に対して、１サブ水平同期期間Ｔｈｓに相当する時間だけずらして、動作Ｏｐｒ２を動作させる。タイミング部２０６は、動作Ｏｐｒ２における第２列信号処理部２０３ｂを用いた２行目の画素の読み出しからデジタル出力線ＤＳｉｇ２を介した２行目のデジタル画素信号の出力までの列毎の並列処理動作を制御することが可能である。これら１行目の画素読み動作期間及び２行目の画素読み動作期間の開始タイミングは、同期制御部１５からの制御信号に基づいて、タイミング部２０６が個別にかつ適宜設定できる。以上の説明は、１行目の画素２００の信号を読み出す動作Ｏｐｒ１と２行目の画素２００の信号を読み出す動作Ｏｐｒ２の関係について述べたものである。読み出し動作が繰り返される場合には、２行目の画素２００の信号を読み出す動作Ｏｐｒ２と３行目の画素２００の信号を読み出す動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行の関係にも適応可能である。このようにして、第１列信号処理部２０３ａは、動作Ｏｐｒ１により、奇数行の画素２００の信号を読み出し、撮像素子１２の第１出力部２０５ａから出力する。また、第２列信号処理部２０３ｂは、動作Ｏｐｒ２により、偶数行の画素２００の信号読み出し、撮像素子１２の第２出力部２０５ｂから出力する。動作Ｏｐｒ１及びＯｐｒ２は、同時並列的に行われる。出力部２０５ａ及び２０５ｂから同時並列的に出力された画素２００の信号は、信号処理部１３にそれぞれ入力される。

図９は、本実施形態に係る撮像素子１２の第１の撮影動作を示すタイミングチャートである。信号ＶＤは、撮像素子１２を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Ｔｆｒは１つの垂直同期期間である。水平同期信号ＨＤ、サブ水平同期信号ＨＳは、図８と同じである。これらの垂直同期信号ＶＤ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳは、同期信号発生手段としてのタイミング部２０６によって供給される。動作状態Ｓｉｇ０１〜Ｓｉｇ０８は、列信号線２３１に読み出される画素信号の順番を示し、その時の画素領域２０１の画素２００の１行目〜８行目の動作の状態を示す。期間ｅＰ０１ｒ〜ｅＰ０８ｒは、それぞれ、１行目〜８行目の画素２００の露光時間である。水平動作期間Ｒｏは、各行の画素２００の信号を列信号線２３１を介して列信号処理部２０３ａあるいは２０３ｂに読み出してから、１行分の画素２００の信号を対応する出力部２０５ａあるいは２０５ｂから出力するまでの期間である。例えば、１行目の画素２００の信号は、図８の時刻ｓ２１〜ｓ２９の期間が水平動作期間Ｒｏに対応し、２行目の画素２００の信号は、時刻ｓ２５〜ｓ３３の期間が水平動作期間Ｒｏに対応する。３行目以降の水平動作期間Ｒｏについても図８の読み出し動作を実施する。

まず、時刻ｒ０１では、垂直同期信号ＶＤ及び水平同期信号ＨＤに同期する１回目のサブ水平同期信号ＨＳに同期して、１行目の画素２００の光電変換素子Ｄ１ａ〜Ｄ１ｄの電荷が転送されることで、画素２００がリセットされる。これにより、１行目の露光時間ｅＰ０１ｒの露光が開始される。次に、時刻ｒ０２では、次のサブ水平同期信号ＨＳに同期して、２行目の画素２００の光電変換素子Ｄ１ａ〜Ｄ１ｄの電荷が転送されることで、画素２００がリセットされ、２行目の露光時間ｅＰ０２ｒの露光が開始される。時刻ｒ０３以降、サブ水平同期信号ＨＳに同期して、３行目〜８行目の画素２００の光電変換素子Ｄ１ａ〜Ｄ１ｄの電荷がそれぞれ転送されることで、画素２００がリセットされ、３行目〜８行目のそれぞれの露光時間ｅＰ０３ｒ〜ｅＰ０８ｒの露光が開始される。このように、１ＨＳ経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を行い、露光を開始する。

次に、時刻ｒ０１からＴｆｒ経過後の時刻ｒ０８では、垂直同期信号ＶＤ及び水平同期信号ＨＤに同期する１回目のサブ水平同期信号ＨＳに同期して、１行目の画素２００の信号が対応する水平動作期間Ｒｏに出力される。そして、時刻ｒ０９では、次のサブ水平同期信号ＨＳに同期して、２行目の画素２００の信号が対応する水平動作期間Ｒｏに出力される。時刻ｒ１０以降も、同様の方法で、サブ水平同期信号ＨＳに同期して、３行目〜８行目の画素２００の信号がそれぞれに対応する水平動作期間Ｒｏに出力される。このように、１ＨＳ経過する毎に読み出すことで、ライン順次のローリングシャッタ動作が終了する。この第１の撮影動作では、垂直同期信号ＶＤに同期して１行目の画素２００のリセットを開始し、読み出しのための垂直同期信号ＶＤに同期して１行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Ｔｆｒである。これにより、露光時間Ｔｆｒのローリングシャッタ動作を全行に実施することで、全画素２００の露光時間をそろえた第１の撮影動作が実施される。ここで、１行目の画素２００のリセットを、時刻ｒ０１〜ｒ０８の間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による、水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。

時刻ｒ０７のリセット６０１及び時刻ｒ０６のリセット６０２は、電子シャッタ動作によるリセットの開始となる１行目の画素２００に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット６０１のタイミングにおいて、１行目の画素２００の読み出しを実施することで、画素２００をリセットし、１行目の露光時間ｅＰ０１ｒの露光を開始する。２行目以降も、同様の方法で、１ＨＳ経過する毎にサブ水平同期信号ＨＳに同期して、２行目〜８行目のリセットをそれぞれ実施することで、２行目〜８行目のそれぞれの露光時間ｅＰ０２ｒ〜ｅＰ０８ｒの露光を開始する。そして、時刻ｒ０８以降で、１行目〜８行目の画素２００の信号をそれぞれに対応する水平動作期間Ｒｏに出力すると、水平同期期間の２Ｔｈｄあるいはサブ水平同期期間の４Ｔｈｓの露光時間ｅＰ０１ｒ〜ｅＰ０８ｒを設定することができる。同様に、リセット６０２のタイミングでリセット動作を開始すると、サブ水平同期期間の１３Ｔｈｓの露光時間ｅＰ０１ｒ〜ｅＰ０８ｒを設定することができる。このようにして、第１列信号処理部２０３ａは、動作Ｏｐｒ１により、奇数行の画素２００の信号を読み出し、撮像素子１２の第１出力部２０５ａから出力する。また、第２列信号処理部２０３ｂは、動作Ｏｐｒ２により、偶数行の画素２００の信号を読み出し、撮像素子１２の第２出力部２０５ｂから出力する。動作Ｏｐｒ１及びＯｐｒ２は、同時並列的に行われる。そして、出力部２０５ａ及び２０５ｂから同時並列的に出力された画素２００の信号は、信号処理部１３にそれぞれ入力される。こうして、２行毎に１水平同期期間Ｔｈｄに同期して第１の読み出し動作を繰り返すことで、画素領域２０１の画素２００を２行毎に同時並列的に読み出すことができる。

ここで、正確な露光時間に関しては、図６に示す水平同期期間内の画素読み動作のタイミングに合わせて、補正が必要になる。図６の画素Ｐ１１を含む１行目の画素２００の場合、１行目のリセット動作において、時刻ｔ０４から時刻ｔ１７までが、正確な露光時間となる。時刻ｔ０４は、転送制御線ｐＴａｌｌ１がローレベルになり、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの露光が開始される時刻である。時刻ｔ１７は、１行目の画素読み動作において、転送制御線ｐＴａｌｌ１がローレベルになり、光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの電荷読み出しが終了する時刻である。そこで、図９のように、水平同期信号ＨＤやサブ水平同期信号ＨＳを用いた露光時間制御においては、時刻ｔ１１〜ｔ１７の期間からｔ０１〜ｔ０４の期間を減算した期間だけ、常に加算して、露光時間を補正する必要がある。同様に、図６の画素Ｐ２１を含む２行目の画素２００の場合の補正期間は、時刻ｔ１１〜ｔ２６の期間から時刻ｔ０１〜ｔ０８の期間を減算した期間となり、通常は、１行目の補正期間に等しくなるように設定される。しかし、図９においては、この露光時間の補正期間を省略して説明をしたが、正確な露光時間制御が必要な場合は、この露光時間の補正期間を考慮すればよい。

図１０は、本実施形態に係る撮像素子１２のＨＤＲ撮影動作のための動作タイミングを示す図であり、撮像装置の制御方法を示す。図１０では、画素領域２０１に配列された画素２００の内の１つの行（例えば画素Ｐ１１を含む１行目）を読み出す場合を例にして説明する。第１のモードでは、画素２００は、第１のグループに属する光電変換素子Ｄ１ａ及びＤ１ｄの電荷をＦＤノード３０１に転送して合成（加算）して、第１列信号処理部２０３ａに出力する。第２のモードでは、画素２００は、第２のグループに属する光電変換素子Ｄ１ｂ、Ｄ１ｃの電荷をＦＤノード３０１に転送して合成（加算）して、第２列信号処理部２０３ｂに出力する。この時、図４（ａ）において明らかなように、光電変換素子Ｄ１ａ、Ｄ１ｄと光電変換素子Ｄ１ｂ、Ｄ１ｃは、それぞれ１つの画素２００の中で互いに対角の位置にある。第１のグループに属する光電変換素子４０１ａ（Ｄ１ａ）及び４０１ｄ（Ｄ１ｄ）は、ＦＤ容量４０２（Ｃｆｄ）に対して対称に設けられる。第２のグループに属する光電変換素子４０１ｂ（Ｄ１ｂ）及び４０１ｃ（Ｄ１ｃ）は、ＦＤ容量４０２（Ｃｆｄ）に対して対称に設けられる。第１のグループに属する光電変換素子４０１ａ及び４０１ｄの重心と第２のグループに属する光電変換素子４０１ｂ及び４０１ｃの重心は略同じである。そこで、光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号の重心位置と光電変換素子Ｄ１ｂ、Ｄ１ｃの加算信号の重心位置は一致することになる。また、図６の第１の読み出し動作において、加算された光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの加算信号の重心位置とも一致することになる。

信号ＨＤは、画素領域２０１に配列された画素２００を行毎に読み出す時の水平同期信号を示す。制御線ｐＲ、ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄ、ｐＳＥＬは、それぞれ、画素Ｐ１１を含む１行目の画素制御線２２１であるリセット制御線、転送制御線、垂直選択線の制御パルスを示す。制御線ｐＳＨ１、ＭＥＭ１は、画素Ｐ１１が接続される１列目の列信号線２３１に読み出された光電変換素子Ｄ１ａ及びＤ１ｄの加算信号を第１列信号処理部２０３ａが信号処理する時の制御線２７１ａ内の信号選択制御線、メモリ制御線の制御パルスを示す。制御線ｐＳＨ２、ＭＥＭ２は、画素１１が接続される１列目の列信号線２３１に読み出された光電変換素子Ｄ１ｂ及びＤ１ｃの加算信号を第２列信号処理部２０３ｂが信号処理する時の制御線２７１ｂ内の信号選択制御線、メモリ制御線の制御パルスを示す。信号Ｖｓｉｇは、１列目の列信号線２３１に読み出された画素Ｐ１１の光電変換素子Ｄ１ａ及びＤ１ｄの加算信号及び光電変換素子Ｄ１ｂ及びＤ１ｃの加算信号を示す。制御線ｐＨｒ１、ｐＨｒ２は、列信号処理部２０３のメモリ回路５０５の信号出力を制御するパルスを水平走査部２０４からメモリ選択線ｐＨ１、ｐＨ２に順番に発生させる制御線２８１である水平走査制御線の制御パルスを示す。ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２は、列信号処理部２０３の比較器５０２に入力される制御線２７１の内のランプ波信号線を示す。

ここで、図１０を用いて、本実施形態に係る撮像素子１２のＨＤＲ撮影動作のための第２の読み出し動作を説明する。第２の読み出し動作では、各画素２００について、ＦＤノード３０１をリセットした信号（Ｎ信号）の読み出しを行う。そして、ＦＤノード３０１において光電変換素子Ｄ１ａ及びＤ１ｄの電荷を合成（加算）した信号（ＡＤ信号）、及び、ＦＤノード３０１において光電変換素子Ｄ１ｂ及びＤ１ｃの電荷を合成（加算）した信号（ＢＣ信号）の読み出しを行う。そして、列毎に共通の列信号線２３１を用いて、時間差を付けて読み出された画素Ｐ１１を含む１行目の画素２００のＡＤ信号及びＢＣ信号にＡＤ変換を実施して、デジタル化した画素信号を出力する。この時に、１行毎の画素２００のＡＤ信号及びＢＣ信号に対して、第２の読み出し動作を繰り返し、画素領域２０１の画素２００の信号を読み出すことで、１回の撮影動作を実施することができる。ここで、画素Ｐ１１のＡＤ信号を読み出す時のＮ信号、ＡＤ信号の振幅は、それぞれＶｎ１、Ｖａｄ１と表現し、Ｎ信号を含むＡＤ信号の振幅は、Ｖｎａｄ１と表現する。また、画素Ｐ１１のＢＣ信号を読み出す時のＮ信号、ＢＣ信号の振幅は、それぞれＶｎ２、Ｖｂｃ２と表現し、Ｎ信号を含むＢＣ信号の振幅は、Ｖｎｂｃ２と表現する。

時刻ｔ４１では、水平同期信号ＨＤは、画素Ｐ１１のＡＤ信号に対応する電子シャッタ動作を行う水平同期期間の始まりを示す。時刻ｔ４２〜ｔ４５では、リセット制御線ｐＲのハイレベル期間は、電子シャッタ動作としての画素Ｐ１１を含む１行目のＡＤ信号に対応するリセット動作のタイミングを示す。まず、時刻ｔ４２では、リセット制御線ｐＲがハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。次に、時刻ｔ４３では、転送制御線ｐＴａ、ｐＴｄがハイレベルになり、転送トランジスタＴ１ａ、Ｔ１ｄがオンして、光電変換素子Ｄ１ａ、Ｄ１ｄに蓄積されている電荷がＦＤノード３０１に転送されることで、光電変換素子Ｄ１ａ、Ｄ１ｄがリセットされる。続いて、時刻ｔ４４では、転送制御線ｐＴａ、ｐＴｄがローレベルになり、転送トランジスタＴ１ａ、Ｔ１ｄがオフすることで、光電変換素子Ｄ１ａ、Ｄ１ｄの露光が開始される。そして、時刻ｔ４５では、リセット制御線ｐＲがローレベルになり、リセットトランジスタＴ２がオフする。最後に、時刻ｔ５０では、画素Ｐ１１のＡＤ信号に対応する電子シャッタ動作を行う水平同期期間が終了する。

時刻ｔ６１では、水平同期信号ＨＤは、画素Ｐ１１のＢＣ信号に対応する電子シャッタ動作を行う水平同期期間の始まりを示す。時刻ｔ６２〜ｔ６５では、リセット制御線ｐＲのハイレベル期間は、電子シャッタ動作としての画素Ｐ１１を含む１行目のＢＣ信号に対応するリセット動作のタイミングを示す。まず、時刻ｔ６２では、リセット制御線ｐＲがハイレベルになり、リセットトランジスタＴ２がオンすることで、ＦＤノード３０１の電位が電源電圧Ｖｄｄにリセットされる。次に、時刻ｔ６３では、転送制御線ｐＴｂ、ｐＴｃがハイレベルになり、転送トランジスタＴ１ｂ、Ｔ１ｃがオンして、光電変換素子Ｄ１ｂ、Ｄ１ｃに蓄積されている電荷がＦＤノード３０１に転送されることで、光電変換素子Ｄ１ｂ、Ｄ１ｃがリセットされる。続いて、時刻ｔ６４では、転送制御線ｐＴｂ、ｐＴｃがローレベルになり、転送トランジスタＴ１ｂ、Ｔ１ｃがオフすることで、光電変換素子Ｄ１ｂ、Ｄ１ｃの露光が開始される。そして、時刻ｔ６５では、リセット制御線ｐＲがローレベルになり、リセットトランジスタＴ２がオフする。最後に、時刻ｔ７０では、画素Ｐ１１のＢＣ信号に対応する電子シャッタ動作を行う水平同期期間が終了する。このように、図１０では、画素Ｐ１１を含む１行目のＡＤ信号に対応する電子シャッタ動作とＢＣ信号に対応する電子シャッタ動作は、異なる水平同期期間において実施される。これにより、ＡＤ信号に対応する露光時間とＢＣ信号に対応する露光時間に、ＨＤＲ撮影動作のための露光時間差を設定させることが可能となるが、詳細は後述する。この時、時刻ｔ１１以前の信号選択制御線ｐＳＨ１、ｐＳＨ２、メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２、水平走査制御線ｐＨｒ１、ｐＨｒ２、列信号線に読み出された画素信号Ｖｓｉｇ、ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２は、点線で表現している。この点線は、画素Ｐ１１以外の画素２００の信号を処理していることを示す。

時刻ｔ１１では、水平同期信号ＨＤは、設定された露光時間経過後の水平同期期間の始まりを示す。この時、時刻ｔ４１〜ｔ１１は、画素Ｐ１１を含む１行目のＡＤ信号に対応する露光時間であり、時刻ｔ６１〜ｔ１１は、画素Ｐ１１を含む１行目のＢＣ信号に対応する露光時間である。時刻ｔ１１〜ｔ３３の１水平同期期間では、画素Ｐ１１を含む１行分のＡＤ信号が出力される。また、時刻ｔ２１〜ｔ３４の１水平同期期間に相当する期間では、画素Ｐ１１を含む１行分のＢＣ信号が出力される。時刻ｔ１１以降の第２の読み出し動作は、図６の第１の読み出し動作では、画素Ｐ１１を含む１行分の画素２００の信号を、画素Ｐ１１を含む１行分のＡＤ信号と読み替え、画素Ｐ２１を含む１行分の画素の信号を、画素Ｐ１１を含む１行分のＢＣ信号と読み替える。これにより、同様の動作となる。

時刻ｔ１６では、転送制御線ｐＴａ、ｐＴｄがハイレベルになり、転送トランジスタＴ１ａ、Ｔ１ｄがオンする。転送トランジスタＴ１ａ、Ｔ１ｄは、第１のグループに属する光電変換素子Ｄ１ａ、Ｄ１ｄに蓄積されている電荷をＦＤ容量Ｃｆｄに転送し、光電変換素子Ｄ１ａ、Ｄ１ｄに蓄積されている電荷を合成（加算）する。第１列信号処理部２０３ａは、第１のグループに属する光電変換素子Ｄ１ａ、Ｄ１ｄの電荷の合成に基づく信号をアナログからデジタルに変換し、デジタルの信号を第１出力部２０５ａに出力する。

時刻ｔ２５では、転送制御線ｐＴｂ、ｐＴｃがハイレベルになり、転送トランジスタＴ１ｂ、Ｔ１ｃがオンする。転送トランジスタＴ１ｂ、Ｔ１ｄは、第２のグループに属する光電変換素子Ｄ１ｂ、Ｄ１ｃに蓄積されている電荷をＦＤ容量Ｃｆｄに転送し、光電変換素子Ｄ１ｂ、Ｄ１ｃに蓄積されている電荷を合成（加算）する。第２列信号処理部２０３ｂは、第２のグループに属する光電変換素子Ｄ１ｂ、Ｄ１ｃの電荷の合成に基づく信号をアナログからデジタルに変換し、デジタルの信号を第２出力部２０５ｂに出力する。

第２の読み出し動作では、画素Ｐ１１を含む１行目のＡＤ信号は、画素読み動作により、それぞれに対応する列信号線２３１を介して第１列信号処理部２０３ａに入力される。第１列信号処理部２０３ａは、列信号処理動作により、１行目のＡＤ信号をデジタル信号に変換し、メモリ回路５０５に転送して、画素Ｐ１１のデジタルＡＤ信号Ｖａｂ１として記憶する。この時、図１０の第２の読み出し動作では、時刻ｔ１２〜ｔ１４は、Ｎ信号Ｖｎ１の保持動作期間Ｔｎ１である。時刻ｔ１４〜ｔ１５は、Ｎ信号Ｖｎ１の保持期間でもあるＡＤ変換期間ＴＡｎ１である。時刻ｔ１６〜ｔ１８は、ＡＤ信号Ｖｎａｄ１の保持動作期間Ｔａｄ１である。時刻ｔ１８〜ｔ２７は、ＡＤ信号Ｖｎａｄ１の保持期間でもあるＡＤ変換期間ＴＡａｄ１である。次に、第１列信号処理部２０３ａは、水平出力動作により、それぞれに対応するメモリ回路５０５に記憶された１行目の画素のデジタルＡＤ信号Ｖａｄ１を、所定の順番でデジタル出力線ＤＳｉｇ１を介して第１出力部２０５ａに出力する。この時、図１０の第２の読み出し動作では、時刻ｔ２９〜ｔ３３は、ＡＤ信号Ｖａｄ１の水平出力動作期間ＴＤａｄ１である。

ここで、第２の読み出し動作では、画素Ｐ１１画素を含む１行目のＡＤ信号Ｖｎａｄ１をＡＤ変換している途中の時刻ｔ２１において、画素Ｐ１１を含む１行目のＢＣ信号の画素読み動作を開始する。画素Ｐ１１を含む１行目のＢＣ信号は、画素読み動作により、それぞれに対応する列信号線２３１を介して第２列信号処理部２０３ｂに入力される。第２列信号処理部２０３ｂは、列信号処理動作により、１行目のＢＣ信号をデジタル信号に変換し、メモリ回路５０５に転送して、画素Ｐ１１のデジタルＢＣ信号Ｖｂｃ２として記憶する。この時、図１０の第２の読み出し動作では、時刻ｔ２１〜ｔ２３は、Ｎ信号Ｖｎ２の保持動作期間Ｔｎ２である。時刻ｔ２３〜ｔ２４は、Ｎ信号Ｖｎ２の保持期間でもあるＡＤ変換期間ＴＡｎ２である。時刻ｔ２５〜ｔ２７は、ＢＣ信号Ｖｎｂｃ２の保持動作期間Ｔｂｃ２である。時刻ｔ２７〜ｔ３０は、ＢＣ信号Ｖｎｂｃ２の保持期間でもあるＡＤ変換期間ＴＡｂｃ２である。次に、第２列信号処理部２０３ｂは、水平出力動作により、それぞれに対応するメモリ回路５０５に記憶された１行目の画素のデジタルＢＣ信号Ｖｂｃ２を、所定の順番でデジタル出力線ＤＳｉｇ２を介して第２出力部２０５ｂに出力する。この時、図１０の第２の読み出し動作では、時刻ｔ３２〜ｔ３４は、ＢＣ信号Ｖｂｃ２の水平出力動作期間ＴＤｂｃ２である。ここで、時刻ｔ３３以降の信号選択制御線ｐＳＨ１、ｐＳＨ２、メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２、列信号線に読み出された画素信号Ｖｓｉｇ、ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２は、画素Ｐ２１の信号を処理しているため、図１０では点線で表現している。

第２の読み出し動作では、画素Ｐ１１を含む１行目の画素２００のＡＤ信号及びＢＣ信号は、共通の列信号線２３１を時分割で利用することで、画素読み動作を実施している。そして、列信号処理部２０３ａ及び２０３ｂを用いた２系統のＡＤ変換、デジタル出力線ＤＳｉｇ１及びＤＳｉｇ２を介した２系統のデジタル信号出力が可能となっている。このようにして、第２の読み出し動作では、画素Ｐ１１を含む１行目の画素２００のＡＤ信号及びＢＣ信号の重ね読み動作を実現している。さらに、第２の読み出し動作における重ね読み動作では、１行目の画素２００のＡＤ信号Ｖｎａｄ１をＡＤ変換している途中の時刻ｔ２１において、１行目の画素２００のＢＣ信号に対応するＮ信号Ｖｎ２を列信号線２３１に出力している。この時、１行目の画素２００のＡＤ信号Ｖｎａｄ１の保持期間でもあるＡＤ変換期間ＴＡａｄ１と、１行目の画素のＢＣ信号に対応するＮ信号Ｖｎ２の保持動作期間Ｔｎ２及びＮ信号Ｖｎ２のＡＤ変換期間ＴＡｎ２のそれぞれが共通期間を持つことで重なっている。さらに、１行目の画素２００のＡＤ信号Ｖｎａｄ１をＡＤ変換している途中の時刻ｔ２５において、１行目の画素２００のＢＣ信号Ｖｎｂｃ２を列信号線２３１に出力している。この時、１行目の画素２００のＡＤ信号Ｖｎａｄ１の保持期間でもあるＡＤ変換期間ＴＡａｄ１と、１行目の画素２００のＢＣ信号Ｖｎｂｃ２の保持動作期間Ｔｂｃ２が共通期間を持つことで重なっている。これにより、１行毎に順番に実施する場合に比べて、読み出し動作が短縮される。１行目の画素２００のＡＤ信号に対応するＮ信号Ｖｎ１の読み出しとＡＤ変換、ＡＤ信号Ｖｎａｄ１の読み出しとＡＤ変換、及び、１行目の画素のＢＣ信号に対応するＮ信号Ｖｎ２の読み出しとＡＤ変換、ＢＣ信号Ｖｎｂｃ２の読み出しとＡＤ変換が時間短縮される。そのため、重ね読み動作におけるフレームレートの向上が実現できる。

次に、図７を用いて、ＨＤＲ撮影動作を実現する図１０の第２の読み出し動作を連続読み動作に対応させた場合について説明する。動作Ｏｐｒ１では、第１列信号処理部２０３ａは、各画素行の光電変換素子Ｄ１ａ、Ｄ１ｄの読み出しからデジタル出力線ＤＳｉｇ１を介したデジタルＡＤ信号Ｖａｄ１の出力までの読み出し動作を行う。動作Ｏｐｒ２では、第２列信号処理部２０３ｂは、各画素行の光電変換素子Ｄ１ｂ、Ｄ１ｃの読み出しからデジタル出力線ＤＳｉｇ２を介したデジタルＢＣ信号Ｖｂｃ２の出力までの読み出し動作を行う。また、第２の読み出し動作では、動作Ｏｐｒ１の動作を奇数番号のｋ、動作Ｏｐｒ２の動作を偶数番号のｋとした読み出し番号ｋとして設定する。そして、動作Ｏｐｒ１では、図１０に対応する各行の画素の光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号のＮ信号Ｖｎ１の保持動作期間Ｔｎ１及びＡＤ変換期ＴＡｎ１は、奇数番号のｋを用いて、図７のｎｋ及びＡｎｋとして表す。また、ＡＤ信号Ｖｎａｄ１の保持動作期間Ｔａｄ１及びＡＤ変換期間ＴＡａｄ１は、奇数番号のｋを用いて、図７のｓｋ及びＡｓｋとして表す。また、水平出力動作期間ＴＤａｄ１は、奇数番号のｋを用いて、図７のＤｏｕｔｋとして表す。

また、動作Ｏｐｒ２では、各行の画素２００の光電変換素子Ｄ１ｂ、Ｄ１ｃの加算信号のＮ信号Ｖｎ２の保持動作期間Ｔｎ２及びＡＤ変換期ＴＡｎ２は、偶数番号のｋを用いて、図７のｎｋ及びＡｎｋとして表す。また、ＢＣ信号Ｖｎｂｃ２の保持動作期間Ｔｂｃ２及びＡＤ変換期間ＴＡｂｃ２は、偶数番号のｋを用いて、図７のｓｋ及びＡｓｋとして表す。また、水平出力動作期間ＴＤｂｃ２は、偶数番号のｋを用いて、図７のＤｏｕｔｋとして表す。図７において、動作Ｏｐｒ１の時刻ｓ０１〜ｓ０４は、１行目の画素２００の光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号が列信号線２３１に読み出される画素読み動作期間である。動作Ｏｐｒ２の時刻ｓ０４〜ｓ０７は、１行目の画素２００の光電変換素子Ｄ１ｂ、Ｄ１ｃの加算信号が列信号線２３１に読み出される画素読み動作期間である。これは、図１０において説明したように、１行目の画素２００の光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号と光電変換素子Ｄ１ｂ、Ｄ１ｃの加算信号が、共通の列信号線２３１を時分割で利用した画素読み動作を実施することで実現している。そこで、水平同期信号ＨＤのタイミングを時刻ｓ０１、ｓ０９、ｓ１３で動作させると、動作Ｏｐｒ１では、水平同期信号ＨＤに同期して各画素行の光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号が読み出されることになる。そして、動作Ｏｐｒ２では、光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号が列信号線２３１に読み出される動作期間の時間差を付けたタイミングの時刻ｓ０４、ｓ１０、ｓ１４から各画素行の光電変換素子Ｄ１ｂ、Ｄ１ｃの加算信号を読み出すことができる。これにより、画素領域２０１の画素２００を行毎に読み出す重ね読み動作を連続して実施できる。ここで、第２の読み出し動作に対応させた図７の連続読み動作を、図８の水平同期信号に対応させた場合については、読み出し番号ｋに対するｎｋ、Ａｎｋ、ｓｋ、Ａｓｋ、Ｄｏｕｔｋとして表すことで、第１の読み出し動作を説明する図８と同様である。

図１１は、本実施形態に係る撮像素子１２のＨＤＲ撮影動作を示す第２の撮影動作を示す図であり、撮像装置の制御方法を示す。図１１では、ＨＤＲ処理のために、画素領域２０１の画素２００においては、長時間露光用の光電変換素子（以下、長時間露光素子という）Ｄ１ａ、Ｄ１ｄと短時間露光用の光電変換素子（以下、短時間露光素子という）Ｄ１ｂ、Ｄ１ｃが設定される。信号ＶＤＬは、図９の信号ＶＤと同様に撮像素子１２を駆動するための垂直同期信号を示し、ＨＤＲ撮影動作における長時間露光フレームの垂直同期信号（以下、長期垂直同期信号という）を示し、その１周期にあたる長期垂直同期期間がＴｆｒｌで示されている。信号ＶＤＳは、ＨＤＲ撮影動作における短時間露光フレームの垂直同期信号（以下、短期垂直同期信号という）を示し、立ち下がりで有効となり、その１周期にあたる短期垂直同期期間がＴｆｒｓで示されている。これらの長期垂直同期信号ＶＤＬ、短期垂直同期信号ＶＤＳは、同期信号発生手段としてのタイミング部２０６によって供給される。ここで、長期垂直同期信号の１周期にあたる長期垂直同期期間Ｔｆｒｌは、Ｍを２以上の自然数として短期垂直同期信号のＭ周期分（すなはちＴｆｒｌ＝Ｍ・Ｔｆｒｓ）に等しい。ＨＤＲ処理では、長時間露光と短時間露光の露光時間の比に応じて、ＨＤＲの効果が異なる。図１１の例では、長期垂直同期期間Ｔｆｒｌと短期垂直同期期間Ｔｆｒｓの露光時間の比が３：１であるので、Ｍ＝３、すなわち、長期垂直同期期間Ｔｆｒｌは短期垂直同期期間Ｔｆｒｓの３周期分となる。例えば、Ｍ＝２あるいはＭ＝４の場合は、長期垂直同期期間Ｔｆｒｌ内に、それぞれ２回あるいは４回の短期垂直同期期間Ｔｆｒｓが設定されるが、実際の短時間露光の露光時間は、それぞれ最後の短期垂直同期期間Ｔｆｒｓに設定すればよい。図１１では、１行の画素２００を長時間露光素子Ｄ１ａ、Ｄ１ｄの読み出し行と短時間露光素子Ｄ１ｂ、Ｄ１ｃの読み出し行に分けて実施する。そのため、動作状態Ｓｉｇ０１、Ｓｉｇ０３、Ｓｉｇ０５、Ｓｉｇ０７、Ｓｉｇ０９、Ｓｉｇ１１、Ｓｉｇ１３、Ｓｉｇ１５は、それぞれ、１行目〜８行目の長時間露光素子Ｄ１ａ、Ｄ１ｄの動作の状態を示す。動作状態Ｓｉｇ０２、Ｓｉｇ０４、Ｓｉｇ０６、Ｓｉｇ０８、Ｓｉｇ１０、Ｓｉｇ１２、Ｓｉｇ１４、Ｓｉｇ１６は、それぞれ、１行目〜８行目の短時間露光素子Ｄ１ｂ、Ｄ１ｃの動作の状態を示す。露光時間ｅＰ０１ｒ〜ｅＰ１６は、それぞれ、動作状態Ｓｉｇ０１〜Ｓｉｇ１６に対応する露光時間である。水平動作期間Ｒｏは、各行の画素２００の信号を列信号線２３１を介して列信号処理部２０３ａあるいは２０３ｂに読み出してから、１行分の画素２００の信号を対応する出力部２０５ａあるいは２０５ｂから出力するまでの期間である。例えば、１行目の画素２００の光電変換素子Ｄ１ａ、Ｄ１ｄの加算信号については、図８の時刻ｓ２１〜ｔ２９の期間が水平動作期間Ｒｏに対応する。１行目の画素２００の光電変換素子Ｄ１ｂ、Ｄ１ｃの加算信号については、図８の時刻ｓ２５〜ｔ３３の期間が水平動作期間Ｒｏに対応する。

まず、動作状態Ｓｉｇ０１の時刻ｒ２１では、長期垂直同期信号ＶＤＬ及び水平同期信号ＨＤに同期して、１行目の画素２００の光電変換素子Ｄ１ａ、Ｄ１ｄの電荷が転送されることで、光電変換素子がリセットされる。これにより、１行目の長時間露光素子Ｄ１ａ、Ｄ１ｄの露光が開始する。次に、動作状態Ｓｉｇ０３の時刻ｒ２２では、長期垂直同期信号ＶＤＬに同期する２回目の水平同期信号ＨＤに同期して、２行目の画素２００の光電変換素子Ｄ１ａ、Ｄ１ｄの電荷が転送されることで、画素がリセットされる。これにより、２行目の長時間露光素子Ｄ１ａ、Ｄ１ｄの露光が開始する。時刻ｒ２３以降も、同様の方法で、水平同期信号ＨＤに同期して、３行目〜８行目の画素２００の光電変換素子Ｄ１ａ、Ｄ１ｄの電荷がそれぞれ転送されることで、光電変換素子がリセットされる。これにより、３行目〜８行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄのそれぞれの露光が開始する。このように、短時間露光素子Ｄ１ｂ、Ｄ１ｃの露光を飛ばしながら、行毎にリセットすることで、長時間露光素子Ｄ１ａ、Ｄ１ｄのライン順次のローリングシャッタ動作が開始する。

時刻ｒ３３は、時刻ｒ３２の短期垂直同期信号ＶＤＳ及び水平同期信号ＨＤに同期する２回目のサブ水平同期信号ＨＳとなる動作状態Ｓｉｇ０２の露光開始時刻である。時刻ｒ３３では、サブ水平同期信号ＨＳに同期して、１行目の画素２００の光電変換素子Ｄ１ｂ、Ｄ１ｃの電荷が転送されることで、光電変換素子がリセットされる。これにより、１行目の短時間露光素子Ｄ１ｂ、Ｄ１ｃの露光が開始する。時刻ｒ３４は、次の水平同期信号ＨＤに同期する２回目のサブ水平同期信号ＨＳとなる動作状態Ｓｉｇ０４の露光開始時刻である。時刻ｒ３４では、サブ水平同期信号ＨＳに同期して、２行目の画素２００の光電変換素子Ｄ１ｂ、Ｄ１ｃの電荷が転送されることで、光電変換素子がリセットされる。これにより、２行目の短時間露光素子Ｄ１ｂ、Ｄ１ｃの露光が開始する。時刻ｒ３６以降も、同様の方法で、水平同期信号ＨＤに同期する２回目のサブ水平同期信号ＨＳに同期して、３行目〜８行目の画素２００の光電変換素子Ｄ１ｂ、Ｄ１ｃの電荷がそれぞれ転送されることで、光電変換素子がリセットされる。これにより、３行目〜８行目の画素２００の短時間露光素子Ｄ１ｂ、Ｄ１ｃのそれぞれの露光が開始する。このように、行毎にリセットすることで、短時間露光素子Ｄ１ｂ、Ｄ１ｃのライン順次のローリングシャッタ動作が開始する。

次に、動作状態Ｓｉｇ０１の時刻ｒ４４では、第１列信号処理部２０３ａは、長期垂直同期信号ＶＤＬ、短期垂直同期信号ＶＤＳ、水平同期信号ＨＤ及びサブ水平同期信号ＨＳに同期して、１行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号を出力する。第１列信号処理部２０３ａは、１行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号をそれに対応する期間Ｒｏに出力する。そして、動作状態Ｓｉｇ０２の時刻ｒ４５では、第２列信号処理部２０３ｂは、次のサブ水平同期信号ＨＳに同期して、１行目の画素２００の短時間露光素子Ｄ１ｂ、Ｄ１ｃの加算信号をそれに対応する水平動作期間Ｒｏに出力する。動作状態Ｓｉｇ０３の時刻ｒ４６では、第１列信号処理部２０３ａは、次のサブ水平同期信号ＨＳに同期して、２行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号をそれに対応する水平動作期間Ｒｏに出力する。動作状態Ｓｉｇ０４の時刻ｒ４７では、第２列信号処理部２０３ｂは、次のサブ水平同期信号ＨＳに同期して、２行目の画素２００の短時間露光素子Ｄ１ｂ、Ｄ１ｃの加算信号をそれに対応する水平動作期間Ｒｏに出力する。時刻ｒ４８以降も、列信号処理部２０３ａ，２０３ｂは、サブ水平同期信号ＨＳに同期して、３行目〜８行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号及び短時間露光素子Ｄ１ｂ、Ｄ１ｃの加算信号をそれぞれ対応する水平動作期間Ｒｏに出力する。このように、１ＨＳ経過する毎に長時間露光素子の加算信号及び短時間露光素子の加算信号読み出すことで、ライン順次のローリングシャッタ動作が終了する。

長時間露光素子の撮影動作では、露光のための長期垂直同期信号ＶＤＬに同期して１行目の画素２００の長時間露光素子のリセットを開始し、読み出しのための長期垂直同期信号ＶＤＬに同期して１行目の画素の長時間露光素子の加算信号の読み出しを行う。そのため、最長の露光時間は、長期垂直同期期間のＴｆｒｌである。これにより、露光時間Ｔｆｒｌのローリングシャッタ動作を行毎に長時間露光素子について実施することで、行毎の長時間露光素子の露光時間をそろえた撮影動作が実施される。

短時間露光素子の撮影動作では、露光のための短期垂直同期信号ＶＤＳの次のサブ水平同期信号ＨＳに同期して１行目の画素２００の短時間露光素子のリセットを開始する。そして、読み出しのための長期垂直同期信号ＶＤＬの次のサブ水平同期信号ＨＳに同期して１行目の画素２００の短時間露光素子の加算信号の読み出しを実施しているので、最長の露光時間は、短期垂直同期期間のＴｆｒｓである。これにより、露光時間Ｔｆｒｓのローリングシャッタ動作を行毎に短時間露光素子について実施することで、行毎の短時間露光素子の露光時間をそろえた撮影動作が実施される。このようにして、第１列信号処理部２０３ａは、動作Ｏｐｒ１により、長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号を読み出し、撮像素子１２の第１出力部２０５ａから出力する。また、第２列信号処理部２０３ｂは、動作Ｏｐｒ２により、短時間露光素子Ｄ１ｂ、Ｄ１ｃの加算信号を読み出し、撮像素子１２の第２出力部２０５ｂから出力する。動作Ｏｐｒ１及びＯｐｒ２は、同時並列的に行われる。出力部２０５ａ及び２０５ｂから同時並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。

第１のグループに属する長時間露光素子Ｄ１ａ、Ｄ１ｄが長時間露光の露光時間（第１の露光時間）で露光される期間と、第２のグループに属する短時間露光素子Ｄ１ｂ、Ｄ１ｃが短時間露光の露光時間（第２の露光時間）で露光される期間とは、一部が重なる。第２のグループに属する短時間露光素子Ｄ１ｂ、Ｄ１ｃが短時間露光の露光時間で露光されている期間に、第１列信号処理部２０３ａは、第１のグループに属する長時間露光素子Ｄ１ａ、Ｄ１ｄの電荷の合成に基づく信号を処理する。

ここで、図１１においては、長時間露光と短時間露光の露光時間の比を３：１にする必要がある。例えば、１行目の画素２００の短時間露光素子のリセットを、時刻ｒ３３〜ｒ４５の間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、１行目の画素２００の長時間露光素子のリセットを、常に短時間露光素子の露光時間の３倍の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。これにより、長時間露光と短時間露光の露光時間の比を３：１に保ったまま露光時間制御が可能となる。このため、ＨＤＲ処理では、長期間露光素子の感度比を補償するゲイン値は、短時間露光素子の信号に対して３倍に設定する。そして、長時間露光素子の信号と短時間露光素子の信号を合成することでＨＤＲ処理を実行する。また、本実施形態における撮像素子１２の第１の撮影動作とＨＤＲ撮影動作を実現する第２の撮影動作の切り換えに関しては、例えば、撮像装置の操作部１６が、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。同期制御部１５の制御により、タイミング部２０６は、撮像素子１２の全体を制御するタイミングを発生させる。

ここで、正確な露光時間に関しては、図１０に示す水平同期期間内の画素読み動作のタイミングに合わせて、補正が必要になる。図１０の１行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄの場合、リセット動作において、時刻ｔ４４から時刻ｔ１７までが、正確な露光時間である。時刻ｔ４４は、転送制御線ｐＴａ、ｐＴｄがローレベルになり、長時間露光素子Ｄ１ａ、Ｄ１ｄの露光が開始される時刻である。時刻ｔ１７は、１行目の画素２００の長時間露光素子Ｄ１ａ、Ｄ１ｄの画素読み動作において、転送制御線ｐＴａ、ｐＴｄがローレベルになり、長時間露光素子Ｄ１ａ、Ｄ１ｄの電荷読み出しが終了する時刻である。そこで、図１１のように、水平同期信号ＨＤやサブ水平同期信号ＨＳを用いた露光時間制御においては、時刻ｔ１１〜ｔ１７の期間から時刻ｔ４１〜ｔ４４の期間を減算した期間だけ、常に加算して露光時間を補正する必要がある。同様に、図１０の１行目の画素２００の短時間露光素子Ｄ１ｂ、Ｄ１ｃの場合の補正期間は、時刻ｔ１１〜ｔ２６の期間から時刻ｔ６１〜ｔ６４の期間を減算した期間となり、通常は、長時間露光素子の補正期間に等しくなるように設定される。図１１においては、この露光時間の補正期間を省略して説明をしたが、正確な露光時間制御が必要な場合は、この露光時間の補正期間を考慮すればよい。

次に、図１１における撮影動作とＨＤＲ処理について説明する。図１の信号処理部１３は、ＨＤＲ処理により、長時間露光により得られた第１の画像データと短時間露光により得られた第２の画像データとを合成して、第３の画像データを生成する。第１の画像データは、長時間露光の露光時間で露光された長時間露光素子Ｄ１ａ、Ｄ１ｄの電荷の合成に基づく複数の画素２００の信号を含む画像データである。第２の画像データは、短時間露光の露光時間で露光された短時間露光素子Ｄ１ｂ、Ｄ１ｃの電荷の合成に基づく複数の画素２００の信号を含む画像データである。第３の画像データは、第１及び第２の画像データに対してダイナミックレンジが拡大された画像データである。本実施形態では、長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号を基に第１の画像データが生成され、短時間露光素子Ｄ１ｂ、Ｄ１ｃの加算信号を基に第２の画像データが生成される。信号処理部１３は、撮像素子１２から出力される長時間露光素子の加算信号と短時間露光素子の加算信号に対して、画素信号補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。まず、信号処理部１３は、撮像素子１２の出力部２０５ａ、２０５ｂから同時並列的に出力される長時間露光素子の加算信号と短時間露光素子の加算信号に対して、それぞれ別々に画素信号補正処理を行い、信号処理部１３に設けられたメモリに記憶する。画素信号補正処理は、例えば、キズ補正、固定パターン補正、シェーディング補正等の補正処理である。信号処理部１３は、同時に、短時間露光素子の加算信号に対しては、ＨＤＲ処理の一部として、長時間露光と短時間露光の露光時間の比、例えば３：１を補償するため、３倍のゲイン値をかけてから、信号処理部１３に設けられたメモリに記憶する。次に、信号処理部１３は、記憶されている長時間露光素子の加算信号と短時間露光素子の加算信号との間で、ＨＤＲ処理を実施する。信号処理部１３は、短時間露光素子の加算信号には露光時間を補償するゲイン値がすでにかけてあるので、ここでのＨＤＲ処理としては、明るさに応じた重み付け係数を用いて、長時間露光素子の加算信号と短時間露光素子の加算信号を合成する。

明るさに応じた合成の方法としては、例えば次のような方法がある。まず、長時間露光素子の加算信号の重み付け係数と短時間露光素子の加算信号の重み付け係数の和を一定値の１とする。そして、画像が明るい場合には、短時間露光素子の加算信号の重み付け係数を大きくする。一方、画像が暗い場合には、長時間露光素子の加算信号の重み付け係数を大きくする。ここまでは、全て画素毎の信号処理になっているので、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。画像信号処理としては、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理である。

以上のように、本実施形態では、長時間露光フレーム内に短時間露光フレームを設定し、かつ、電子シャッタ動作を用いて、ＨＤＲ撮影動作に適した露光時間制御を実施しているので、長時間露光と短時間露光の間の時間差を低減することができる。また、図４（ａ）において明らかなように、長時間露光素子Ｄ１ａ、Ｄ１ｄと短時間露光素子Ｄ１ｂ、Ｄ１ｃは、それぞれ１つの画素２００の中で互いに対角の位置にある。そこで、長時間露光素子Ｄ１ａ、Ｄ１ｄの加算信号の重心位置と短時間露光素子Ｄ１ｂ、Ｄ１ｃの加算信号の重心位置は一致することになる。これにより、ＨＤＲ撮影動作において、時間的な露光中心の差の低減と空間的な露光中心の一致を実現している。そして、複数の画素２００あるいは光電変換素子の信号に対して読み出し時間差を利用した共通の読み出し手段の垂直走査部２０２と異なる出力部２０５ａ，２０５ｂを用いて同時並列的に出力することが可能となる。これにより、撮像装置における高速読み出し動作を実現している。本実施形態では、２行の画素２００、あるいは、２行相当の光電変換素子を同時に出力することが可能となるので、２倍の読み出しレートが実現できる。これにより、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も半分に低減させることができる。また、長時間露光素子の加算信号と短時間露光素子の加算信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。

図１２は、本実施形態の他の重ね読み動作を示す図である。以下、図１２が図８と異なる点を説明する。第１の読み出し動作と第２の読み出し動作は、読み出し番号ｋに対するｎｋ、Ａｎｋ、ｓｋ、Ａｓｋ、Ｄｏｕｔｋとして表し、図８と同じ動作である。以下、ＨＤＲ撮影動作を実現する第２の読み出し動作のみ説明する。図１２では、図８と同様に、動作Ｏｐｒ１では、第１列信号処理部２０３ａは、１行目の画素２００の長時間露光素子の加算信号についてＡＤ変換を実施する。すなわち、動作Ｏｐｒ１の時刻ｓ４１〜ｓ４４では、１行目の画素２００の長時間露光素子の加算信号が列信号線２３１に読み出される画素読み動作が行われる。時刻ｓ４４〜ｓ４７では、１行目の画素２００の長時間露光素子の加算信号が第１列信号処理部２０３ａでＡＤ変換される。そして、時刻ｓ４７では、ＡＤ変換を実施した１行目の画素２００の長時間露光素子の加算信号が第１列信号処理部２０３ａのメモリ回路５０５に記憶される。第１列信号処理部２０３ａのＡＤ変換回路を構成する比較器５０２、カウンタ回路５０３及びラッチ回路５０４は、１行目の画素２００の長時間露光素子の加算信号の列信号処理動作から解放され、２行目の画素読み動作と列信号処理動作を開始することができる。そこで、時刻ｓ４７〜ｓ５１では、１行目の画素２００の長時間露光素子の加算信号の水平出力動作Ｄｏｕｔ１と２行目の画素２００の長時間露光素子の加算信号の画素読み動作と列信号処理動作が同時に実施される。時刻ｓ５１では、２行目の画素２００の長時間露光素子の加算信号を第１列信号処理部２０３ａのメモリ回路５０５に転送する前に、１行目の画素２００の長時間露光素子の加算信号の水平出力動作Ｄｏｕｔ１が終了する。この処理は、タイミング部２０６がタイミングを制御する。同様に、時刻ｓ５１以降では、２行目の画素２００の長時間露光素子の加算信号の水平出力動作Ｄｏｕｔ３と３行目の画素の長時間露光素子の画素読み動作と列信号処理動作を同時に実施することができる。

また、図８と同様に、動作Ｏｐｒ２では、第２列信号処理部２０３ｂは、１行目の画素２００の短時間露光素子の加算信号についてＡＤ変換を実施する。すなわち、動作Ｏｐｒ２において、時刻ｓ４４〜ｓ４７では、１行目の画素２００の短時間露光素子の加算信号が列信号線２３１に読み出される画素読み動作が行われる。時刻ｓ４７〜ｓ５０では、１行目の画素２００の短時間露光素子の加算信号が第２列信号処理部２０３ｂによりＡＤ変換される。そして、時刻ｓ５０では、ＡＤ変換を実施した１行目の画素２００の短時間露光素子の加算信号が第２列信号処理部２０３ｂのメモリ回路５０５に記憶される。第２列信号処理部２０３ｂのＡＤ変換回路を構成する比較器５０２、カウンタ回路５０３及びラッチ回路５０４は、１行目の画素２００の短時間露光素子の加算信号の列信号処理動作から解放され、２行目の画素読み動作と列信号処理動作を開始することができる。そこで、時刻ｓ５０〜ｓ５２では、１行目の画素２００の短時間露光素子の加算信号の水平出力動作Ｄｏｕｔ２と２行目の画素の短時間露光素子の加算信号の画素読み動作と列信号処理動作が同時に実施される。時刻ｓ５２では、２行目の画素２００の短時間露光素子の加算信号を第２列信号処理部２０３ｂのメモリ回路５０５に転送する前に、１行目の画素２００の短時間露光素子の加算信号の水平出力動作Ｄｏｕｔ２が終了する。この処理は、タイミング部２０６がタイミングを制御する。同様に、時刻ｓ５２以降では、２行目の画素２００の短時間露光素子の加算信号の水平出力動作Ｄｏｕｔ４と３行目の画素２００の短時間露光素子の画素読み動作と列信号処理動作を同時に実施することができる。

これは、図８において説明したように、動作Ｏｐｒ１と動作Ｏｐｒ２が、共通の列信号線２３１を時分割で利用した画素読み動作を実施することで実現している。そこで、水平同期信号ＨＤのタイミングを時刻ｓ４１、ｓ４７、ｓ５１、ｓ５３、ｓ５５で動作させると、動作Ｏｐｒ１では、水平同期信号ＨＤに同期して各行の画素２００の長時間露光素子の加算信号を読み出し、ＡＤ変換を実施する。動作Ｏｐｒ２では、長時間露光素子の加算信号の画素読み動作期間の時間差を付けたタイミングの時刻ｓ４４、ｓ５０、ｓ５２、ｓ５４、ｓ５６で各行の画素２００の短時間露光素子の加算信号を読み出し、ＡＤ変換を実施する。これにより、画素領域２０１の画素２００を行毎に読み出し、第２の読み出し動作を実現する重ね読み動作を連続して実施できる。さらに、画素読み動作と列信号処理動作を前の行の水平出力動作と同時に実施することで、図８の重ね読み動作のさらに２倍のフレームレートが実現できる。

図１２でも、長時間露光フレーム内に短時間露光フレームを設定することで、時間的な露光中心の差を低減するとともに、対角の位置にある長時間露光素子の信号と短時間露光素子の信号をそれぞれ加算することで、空間的な露光中心の一致が実現できる。さらに、列信号線２３１毎に設けられた列信号処理部２０３ａ，２０３ｂを用いて、画素読み動作と列信号処理動作を前の行の水平出力動作と重ねることで、フレームレートのさらなる向上を実現できる。これにより、１ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は４分の１になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生もさらに低減させることができる。

複数の画素２００の各々は、複数の光電変換素子のうちの第１のグループに属する光電変換素子Ｄ１ａ及びＤ１ｄを第１の露光時間で露光し、第１の露光時間で露光した第１のグループに属する光電変換素子Ｄ１ａ及びＤ１ｄの電荷を合成し、画素信号を出力する。複数の画素２００の各々は、複数の光電変換素子のうちの第２のグループに属する光電変換素子Ｄ１ｂ及びＤ１ｃを第２の露光時間で露光し、第２の露光時間で露光した第２のグループに属する光電変換素子Ｄ１ｂ及びＤ１ｃの電荷を合成し、画素信号を出力する。第２の露光時間は、第１の露光時間とは異なる。第１出力部２０５ａは、第１の露光時間で露光した第１のグループに属する光電変換素子Ｄ１ａ及びＤ１ｄの電荷の合成に基づく画素２００の信号を出力する。第２出力部２０５ｂは、第２の露光時間で露光した第２のグループに属する光電変換素子Ｄ１ｂ及びＤ１ｃの電荷の合成に基づく画素２００の信号を出力する。

（第２の実施形態）
次に、本発明の第２の実施形態に係る撮像装置について説明する。本実施形態では、ＨＤＲ撮影動作を示す第２の撮影動作の露光制御と、それに基づくＨＤＲ処理について説明する。なお、本実施形態では、撮像装置の基本的な構成と動作は、第１の実施形態と同様である。以下、図１１を参照しながら、本実施形態に係る撮像素子１２のＨＤＲ撮影動作を示す第２の撮影動作を説明する。本実施形態では、第１の実施形態の図１１で説明した動作状態Ｓｉｇ０１〜Ｓｉｇ１６の動作は、同じ動作である。すなわち、同期信号ＶＤＬ、ＶＤＳ、ＨＤ及びＨＳに同期したリセット動作、露光時間ｅＰ０１ｒ〜ｅＰ１６ｒ及び水平動作期間Ｒｏについては、同じ動作である。第１の実施形態の図１１のＨＤＲ撮影動作では、露光のための長期垂直同期信号ＶＤＬに同期して１行目の画素２００の長時間露光素子のリセットを開始する。そして、露光のための短時間露光フレームの短期垂直同期信号ＶＤＳに同期して１行目の画素２００の短時間露光素子のリセットを開始する。そして、読み出しのための長期垂直同期信号ＶＤＬに同期して１行目の画素２００の長時間露光素子の加算信号と短時間露光素子の加算信号の読み出しを順次実施している。このため、最長の露光時間は、長時間露光フレームが３Ｔｆｒｓであり、短時間露光フレームがＴｆｒｓとなる。

第１の実施形態の図１１では、長期垂直同期期間Ｔｆｒｌと短期垂直同期期間Ｔｆｒｓの露光時間の比が３：１であるので、Ｍ＝３、すなわち、長期垂直同期期間Ｔｆｒｌは短期垂直同期期間Ｔｆｒｓの３周期分であった。これにより、露光時間の比が３：１となる長時間露光の画像と短時間露光の画像を用いてＨＤＲ処理が実施できる。ここで、短時間露光フレームの１行目の画素２００のリセットを、時刻ｒ３３〜ｒ４５の間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。また、長時間露光フレームの１行目の画素２００のリセットを、時刻ｒ２１〜ｒ４４の間にある水平同期信号ＨＤあるいはサブ水平同期信号ＨＳのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Ｔｈｄ単位あるいはサブ水平同期期間Ｔｈｓ単位の露光時間制御が可能となる。ただし、ＨＤＲ撮影動作においては、長時間露光フレームの露光時間が、常に短時間露光フレームの露光時間のＭ倍となる必要がある。また、ＨＤＲ処理においては、長時間露光と短時間露光の露光時間の比に応じて、ＨＤＲの効果が異なる。以下、本実施形態では、図１１を用いてＨＤＲ撮影動作を示す第２の撮影動作の露光制御について説明する。

図１１における短時間露光フレームの時刻ｒ４３のリセット７０１、時刻ｒ４１のリセット７０２、時刻ｒ３９のリセット７０３、時刻ｒ３６のリセット７０４は、１行目の画素２００の短時間露光素子の露光時間の開始タイミングを示す。リセット７０１〜７０４は、電子シャッタ動作によるリセットの開始となる１行目の画素２００の短時間露光素子に対して、異なる露光時間のリセットを実施した時のタイミングを示す。例えば、リセット７０１のタイミングでリセット動作を開始すると、水平同期期間の２Ｔｈｄの露光時間を設定することができる。同様に、リセット７０２、７０３、７０４のタイミングでリセット動作を開始すると、それぞれ、短時間露光素子は、水平同期期間の４Ｔｈｄ、６Ｔｈｄ、８Ｔｈｄの露光時間を設定することができる。このようにして、短時間露光フレームの電子シャッタによる露光時間制御が可能である。

この時に、対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻ｒ４０のリセット７１１、時刻ｒ３５のリセット７１３、時刻ｒ３１のリセット７１４、時刻ｒ３０のリセット７１５に設定する。これにより、リセット７１１、７１３、７１４、７１５のタイミングでリセット動作を開始すると、それぞれ、長時間露光素子は、水平同期期間の４Ｔｈｄ、８Ｔｈｄ、１２Ｔｈｄ、１６Ｔｈｄの露光時間を設定することができる。こうして、長時間露光フレームの露光時間は、常に短時間露光フレームの２倍の露光時間が設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能である。第１列信号処理部２０３ａは、動作Ｏｐｒ１により、長時間露光素子の加算信号を読み出し、撮像素子１２の第１出力部２０５ａから出力する。第２列信号処理部２０３ｂは、動作Ｏｐｒ２により、短時間露光素子の加算信号を読み出し、撮像素子１２の第２出力部２０５ｂから出力する。出力部２０５ａ及び２０５ｂから同時並列的に出力された画素２００の信号は、信号処理部１３にそれぞれ入力される。

次に、図１１を用いて、ＨＤＲ撮影動作における露光時間の比が３：１となる場合の長時間露光と短時間露光の動作について説明する。短時間露光フレームのリセット動作の開始を時刻ｒ４３のリセット７０１、時刻ｒ４１のリセット７０２、時刻ｒ３９のリセット７０３、時刻ｒ３６のリセット７０４とする場合を説明する。リセット７０１、７０２、７０３、７０４が露光開始時刻となると、短時間露光フレームの露光時間はそれぞれ水平同期期間の２Ｔｈｄ、４Ｔｈｄ、６Ｔｈｄ、８Ｔｈｄの露光時間を設定することができる。この時、長時間露光フレームのリセット動作の開始をそれぞれ時刻ｒ３８のリセット７１２、時刻ｒ３１のリセット７１４、時刻ｒ２９のリセット７１６、時刻ｒ２６のリセット７１７に設定する。これにより、リセット７１２、７１４、７１６、７１７のタイミングでリセット動作を開始すると、それぞれ、長時間露光フレームは、水平同期期間の６Ｔｈｄ、１２Ｔｈｄ、１８Ｔｈｄ、２４Ｔｈｄの露光時間を設定することができる。こうして、長時間露光フレームの露光時間は、常に短時間露光フレームの３倍の露光時間に設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能である。

さらに、図１１を用いて、ＨＤＲ撮影動作における露光時間の比が４：１となる場合の長時間露光と短時間露光の動作について説明する。短時間露光フレームのリセット動作の開始を時刻ｒ４３のリセット７０１、時刻ｒ４１のリセット７０２、時刻ｒ３９のリセット７０３とすると、長時間露光フレームの露光時間は、それぞれ水平同期期間の２Ｔｈｄ、４Ｔｈｄ、６Ｔｈｄの露光時間を設定できる。この時、長時間露光フレームのリセット動作の開始をそれぞれ時刻ｒ３５のリセット７１３、時刻ｒ３０のリセット７１５、時刻ｒ２６のリセット７１７に設定する。これにより、リセット７１３、７１５、７１７のタイミングでリセット動作を開始すると、それぞれ、長時間露光フレームの露光時間は、水平同期期間の８Ｔｈｄ、１６Ｔｈｄ、２４Ｔｈｄの露光時間を設定することができる。こうして、長時間露光フレームの露光時間は、常に短時間露光フレームの４倍の露光時間に設定できるため、ＨＤＲ撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能である。そして、これらの長時間露光フレーム及び短時間露光フレームにおける電子シャッタを用いた露光時間制御は、同期制御部１５からの制御信号に基づいて、同期信号発生手段としてのタイミング部２０６によって実施される。

図１３（ａ）〜（ｅ）は、本実施形態によるＨＤＲ処理を示す図である。本実施形態のＨＤＲ処理では、信号処理部１３は、長時間露光により得られた第１の画像データと短時間露光により得られた第２の画像データとを合成して、第３の画像データを生成する。第３の画像データは、第１及び第２の画像データに対してダイナミックレンジが拡大された画像データである。第１の画像データは、長時間露光素子の加算信号を基に生成され、第２の画像データは、短時間露光素子の加算信号を基に生成される。信号処理部１３は、撮像素子１２から出力される長時間露光素子の加算信号と短時間露光素子の加算信号に対して、画素信号補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。

図１３（ａ）は、画素領域２０１の撮像面照度Ｅｐｌｘと画素２００の出力信号Ｐｓｉｇの関係を表した画素特性の図である。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、撮像面照度Ｅｐｌｘと画素２００の出力信号Ｐｓｉｇの関係を表す。短時間露光フレーム期間をＴｆｒｓとした時、長時間露光フレーム期間が、それぞれＴｆｒｓ、２Ｔｆｒｓ、３Ｔｆｒｓ、４Ｔｆｒｓに設定されている場合、あるいは、電子シャッタによる露光時間の比が１：２：３：４に制御されている場合の特性を示している。これにより、画素特性Ｅｘｐ１を基準にすると、画素特性Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４の傾きはそれぞれ、２倍、３倍、４倍となる。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、それぞれ、長時間露光フレームと短時間露光フレームの露光時間の比が１：２：３：４である。飽和信号量ＰＳＡＴは、画素２００の飽和信号量を示している。画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４は、それぞれ、撮像面照度Ｅ１、Ｅ２、Ｅ３、Ｅ４において飽和信号量ＰＳＡＴに達するので、それ以上の照度では、画素２００の出力信号は増加しない。破線は、画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４が飽和しないと仮定した場合の特性を示す。

図１３（ｂ）は、画素特性Ｅｘｐ１についての撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。図１３（ａ）において、撮像領域２０１の照度Ｅ１にて画素２００の出力信号Ｐｓｉｇが飽和するため、図１３（ｂ）の画像信号Ｓｓｉｇも飽和信号量ＳＳＡＴにて飽和した特性となる。そして、撮像面照度０からＥ１に対応して、画像信号Ｓｓｉｇが０からＳＳＡＴまで階調を持って出力していることがわかる。これが、撮像素子１２を図９のように動作させ、ＨＤＲ処理を行わなかった場合の基本の撮影動作における画素特性である。

図１３（ｃ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１及びＥｘｐ２を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。本実施形態では、画素特性Ｅｘｐ１及びＥｘｐ２は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、Ｍ＝２の場合である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１及びＥｘｐ２を加算して、最大飽和信号がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ２までは、図１３（ａ）における画素特性Ｅｘｐ１及びＥｘｐ２を加算することで、Ｅｘｐ１の３倍の感度に相当する画素特性となる。撮像面照度Ｅ２からＥ１までは、図１３（ａ）において画素特性Ｅｘｐ２が飽和しているので、飽和信号量ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図１３（ａ）において画素特性Ｅｘｐ１及びＥｘｐ２がともに飽和しているので、最大飽和信号量となる２ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化することで、図１３（ｃ）のＨＤＲ処理が実現する。

そして、撮像素子１２を図１１のように動作させるとともに、信号処理部１３は、図１３（ｃ）となるようにＨＤＲ処理を実施するように制御すればよい。これにより、撮像面照度０からＥ１に対応して、画像信号Ｓｓｉｇが０からＳＳＡＴまで階調を持って出力するようになる。また、撮像面照度がＥ２からＥ１に拡張されているので、ダイナミックレンジは、２倍に拡大されていることになる。さらに、撮像面照度０からＥ２の画像信号特性の傾きを、図１３（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度３倍相当）／（最大飽和信号量２倍）＝１．５倍になっていることより、感度は１．５倍に拡大されていることになる。ただし、画像信号特性の飽和信号量ＳＳＡＴが２ＳＳＡＴまで利用可能であれば、感度は３倍まで拡大することができる。図１３（ｃ）は、ガンマ特性としての入出力特性で、これによりダイナミックレンジを拡大することが可能である。

図１３（ｄ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１及びＥｘｐ３を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。画素特性Ｅｘｐ１及びＥｘｐ３は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、Ｍ＝３の場合である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１及びＥｘｐ３を加算して、最大飽和信号がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ３までは、図１３（ａ）における画素特性Ｅｘｐ１及びＥｘｐ３を加算することで、画素特性Ｅｘｐ１の４倍の感度に相当する画素特性となる。撮像面照度Ｅ３からＥ１までは、図１３（ａ）において画素特性Ｅｘｐ３が飽和しているので、飽和信号量ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図１３（ａ）において画素特性Ｅｘｐ１及びＥｘｐ３がともに飽和しているので、最大飽和信号量となる２ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化することで、図１３（ｄ）のＨＤＲ処理が実現する。

そして、撮像素子１２をＭ＝３に相当するように動作させるとともに、信号処理部１３は、図１３（ｄ）となるようにＨＤＲ処理を実施するように制御すればよい。これにより、撮像面照度０からＥ１に対応して、画像信号Ｓｓｉｇが０からＳＳＡＴまで階調を持って出力する。また、撮像面照度がＥ３からＥ１に拡張されているので、ダイナミックレンジは、３倍に拡大されていることになる。さらに、撮像面照度０からＥ３の画像信号特性の傾きを、図１３（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度４倍相当）／（最大飽和信号量２倍）＝２倍になっていることより、感度は２倍に拡大されていることになる。ただし、画像信号特性の飽和信号ＳＳＡＴが２ＳＳＡＴまで利用可能であれば、感度は４倍まで拡大することができる。図１３（ｄ）は、図１３（ｃ）と同じく、ガンマ特性としての入出力特性で、これによりダイナミックレンジを拡大することが可能である。

図１３（ｅ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１及びＥｘｐ４を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。画素特性Ｅｘｐ１及びＥｘｐ４は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、Ｍ＝４の場合である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１及びＥｘｐ４を加算して、最大飽和信号がＳＳＡＴとなるように正規化することで実現する。撮像面照度０からＥ４までは、図１３（ａ）における画素特性Ｅｘｐ１及びＥｘｐ４を加算することで、画素特性Ｅｘｐ１の５倍の感度に相当する画素特性となる。撮像面照度Ｅ４からＥ１までは、図１３（ａ）において画素特性Ｅｘｐ４が飽和しているので、飽和信号量ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図１３（ａ）において画素特性Ｅｘｐ１及びＥｘｐ４がともに飽和しているので、最大飽和信号量となる２ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化することで、図１３（ｅ）のＨＤＲ処理が実現する。

そして、撮像素子１２をＭ＝４に相当するように動作させるとともに、信号処理部１３は、図１３（ｅ）となるようにＨＤＲ処理を実施するように制御すればよい。これにより、撮像面照度０からＥ１に対応して、画像信号Ｓｓｉｇが０からＳＳＡＴまで階調を持って出力する。また、撮像面照度がＥ４からＥ１に拡張されているので、ダイナミックレンジは、４倍に拡大されていることになる。さらに、撮像面照度０からＥ４の画像信号特性の傾きを、図１３（ｂ）の画素特性Ｅｘｐ１の画像信号特性と比較すると、（感度５倍相当）／（最大飽和信号量２倍）＝２．５倍になっていることより、感度は２．５倍に拡大されていることになる。ただし、画像信号特性の飽和信号ＳＳＡＴが２ＳＳＡＴまで利用可能であれば、感度は５倍まで拡大することができる。図１３（ｅ）も、ガンマ特性としての入出力特性で、これによりダイナミックレンジを拡大することが可能である。

この時、本実施形態における撮像素子１２の第１の撮影動作とＨＤＲ撮影動作を実現する第２の撮影動作の切り換えに関しては、例えば、撮像装置の操作部１６は、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。そして、同期制御部１５の制御により、タイミング部２０６は、撮像素子１２の全体を制御するタイミングを発生させる。さらに、本実施形態において説明した、長時間露光と短時間露光の露光時間の比が異なるＨＤＲ撮影動作とＨＤＲ処理については、操作部１６において、ユーザが直接選択するようにしてもよい。また、信号処理部１３で実施するホワイトバランス調整、色補正、ガンマ補正、ＡＦ、ＡＥ等の各種信号処理に応じて、同期制御部１５が適宜選択するようにしてもよい。

以上のように、本実施形態では、長時間露光フレーム内に短時間露光フレームを設定し、かつ、電子シャッタ動作を用いて、ＨＤＲ撮影動作に適した露光時間制御を実施しているので、長時間露光と短時間露光の間の時間的な露光中心の差を低減することができる。また、対角の位置にある長時間露光素子の信号と短時間露光素子の信号をそれぞれ加算することで、空間的な露光中心を一致させることができる。そして、複数の画素２００あるいは光電変換素子の信号に対して読み出し時間差を利用した共通の読み出し手段の垂直走査部２０２と異なる出力部２０５ａ，２０５ｂを用いて同時並列的に出力することが可能となる。これにより、撮像装置における高速読み出し動作を実現している。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も低減させることができる。さらに、本実施形態では、ＨＤＲ撮影動作に適した露光時間制御を実施しているので、長時間露光と短時間露光の露光時間の比を簡単に変更することができるため、被写体に応じて、ＨＤＲの効果が異なる撮影を実現することが可能となっている。また、長時間露光素子の加算信号と短時間露光素子の加算信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部１３の負担軽減が図られる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２００ 画素、２０１ 画素領域、２０２ 垂直走査部、２０３ａ 第１列信号処理部、２０３ｂ 第２列信号処理部、２０５ａ 第１出力部、２０５ｂ 第２出力部、Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄ 光電変換素子

Claims (11)

1. 行列状に配列され、各々が光を電荷に変換する複数の光電変換素子を含む複数の画素と、
   前記複数の画素の各列に１本ずつ設けられ、各列に配置された前記複数の画素がそれぞれ共通に接続される複数の信号線と、
   前記複数の信号線の各々に１つずつ接続され、前記複数の光電変換素子のうちの第１のグループに属する複数の光電変換素子の電荷に基づく信号を処理する第１の列信号処理部と、
   前記複数の信号線の各々に１つずつ接続され、前記複数の光電変換素子のうちの第２のグループに属する複数の光電変換素子の電荷に基づく信号を処理する第２の列信号処理部と、
   前記第１の列信号処理部により処理した信号を外部に出力する第１の出力部と、
   前記第２の列信号処理部により処理した信号を外部に出力する第２の出力部とを有し、
   前記複数の画素の各々は、
   前記複数の光電変換素子のうちの前記第１のグループに属する複数の光電変換素子を第１の露光時間で露光し、前記第１の露光時間で露光した前記第１のグループに属する複数の光電変換素子の電荷を合成し、
   前記複数の光電変換素子のうちの前記第２のグループに属する複数の光電変換素子を前記第１の露光時間とは異なる第２の露光時間で露光し、前記第２の露光時間で露光した前記第２のグループに属する複数の光電変換素子の電荷を合成し、
   前記複数の信号線の各々には、前記第１の露光時間で露光した前記第１のグループに属する複数の光電変換素子の電荷に基づく前記画素の信号が第１のタイミングで出力され、
   前記複数の信号線の各々には、前記第２の露光時間で露光した前記第２のグループに属する光電変換素子の電荷に基づく前記画素の信号が前記第１のタイミングとは異なる第２のタイミングで出力されることを特徴とする撮像装置。
2. 前記第１のグループに属する光電変換素子の重心と前記第２のグループに属する光電変換素子の重心は略同じであることを特徴とする請求項１記載の撮像装置。
3. 前記複数の画素の各々は、
   電荷を蓄積する電荷蓄積部と、
   前記複数の光電変換素子の電荷を前記電荷蓄積部にそれぞれ転送する複数の転送スイッチとを有することを特徴とする請求項１又は２記載の撮像装置。
4. 前記第１のグループに属する光電変換素子は、前記電荷蓄積部に対して対称に設けられ、
   前記第２のグループに属する光電変換素子は、前記電荷蓄積部に対して対称に設けられることを特徴とする請求項３記載の撮像装置。
5. 前記第１及び第２の列信号処理部は、それぞれ、信号をアナログからデジタルに変換することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記第１及び第２の列信号処理部は、それぞれ、サンプルホールド部を有することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記第１のグループに属する光電変換素子が前記第１の露光時間で露光される期間と、前記第２のグループに属する光電変換素子が前記第２の露光時間で露光される期間とは、一部が重なることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記第２のグループに属する光電変換素子が前記第２の露光時間で露光されている期間
   に、前記第１の列信号処理部は、前記第１のグループに属する光電変換素子の電荷の合成に基づく信号を処理することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記複数の画素は、画素毎に色フィルタが設けられ、
   同一の画素内の複数の光電変換素子は、同一色の色フィルタを介して受光することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. さらに、前記第１の露光時間で露光された前記第１のグループに属する光電変換素子の電荷の合成に基づく前記複数の画素の信号を含む第１の画像データと、前記第２の露光時間で露光された前記第２のグループに属する光電変換素子の電荷の合成に基づく前記複数の画素の信号を含む第２の画像データとを合成することにより第３の画像データを生成する信号処理部を有することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 行列状に配列され、各々が光を電荷に変換する複数の光電変換素子を含む複数の画素と、
    前記複数の画素の各列に１本ずつ設けられ、各列に配置された前記複数の画素がそれぞれ共通に接続される複数の信号線と、
    前記複数の信号線の各々に１つずつ接続され、前記複数の光電変換素子のうちの第１のグループに属する複数の光電変換素子の電荷に基づく信号を処理する第１の列信号処理部と、
    前記複数の信号線の各々に１つずつ接続され、前記複数の光電変換素子のうちの第２のグループに属する複数の光電変換素子の電荷に基づく信号を処理する第２の列信号処理部と、
    前記第１の列信号処理部により処理した信号を外部に出力する第１の出力部と、
    前記第２の列信号処理部により処理した信号を外部に出力する第２の出力部とを有する撮像装置の制御方法であって、
    前記複数の画素の各々により、前記複数の光電変換素子のうちの前記第１のグループに属する複数の光電変換素子を第１の露光時間で露光し、前記第１の露光時間で露光した前記第１のグループに属する複数の光電変換素子の電荷を合成するステップと、
    前記複数の画素の各々により、前記複数の光電変換素子のうちの前記第２のグループに属する複数の光電変換素子を前記第１の露光時間とは異なる第２の露光時間で露光し、前記第２の露光時間で露光した前記第２のグループに属する複数の光電変換素子の電荷を合成するステップと、
    前記複数の信号線の各々には、前記第１の露光時間で露光した前記第１のグループに属する複数の光電変換素子の電荷に基づく前記画素の信号を第１のタイミングで出力するステップと、
    前記複数の信号線の各々には、前記第２の露光時間で露光した前記第２のグループに属する光電変換素子の電荷に基づく前記画素の信号を前記第１のタイミングとは異なる第２のタイミングで出力するステップと
    を有することを特徴とする撮像装置の制御方法。

Images