(第1実施形態)
図1は、撮像装置100の外観図である。本実施形態では撮像装置100の一例として静止画および動画の撮影が可能なデジタルカメラについて説明するが、これに限られるものではない。また、本実施形態では、撮像装置本体とレンズが一体となった撮像装置の例を説明するがこれに限られるものではなく、例えば、レンズ交換式のデジタル一眼カメラであってもよい。また、撮像素子184から出力される画像信号を処理する画像処理部は、必ずしも撮像装置100の一部として構成される必要はなく、撮像素子184や撮影光学系152とは別のハ-ドウェアにより構成されていてもよい。また、画像処理部の機能の全部又は一部を、撮像素子184に搭載するようにしてもよい。
図1(A)は撮像装置100の正面図を示す図であり、図1(B)は撮像装置100の背面図を示す図である。撮像装置100は、筐体151、筐体151の正面部に撮影光学系152、筐体151の上面部にスイッチST154を備える。また、撮像装置100は筐体151の背面部に、表示部153、スイッチMV155、選択レバ-156、メニュ-ボタン157、アップスイッチ158、ダウンスイッチ159、ダイアル160、再生ボタン161を備える。
筐体151は、撮像素子184やシャッタ-装置等の撮像装置100を構成する種々の機能部品を収納する撮像装置100の本体部である。撮影光学系152は、被写体の光学像を結像するための光学系である。表示部153は、撮影情報や映像を表示するための表示装置である。表示部153は、ダイナミックレンジの広い映像の輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、表示部153は、必要に応じて画面の向きを変えるための可動機構を設けてもよい。
スイッチST154は、主に静止画の撮影を行うために使用するシャッタ-ボタンである。スイッチMV155は、動画撮影の開始および停止を行うためのボタンである。選択レバ-156は、撮影モ-ドを選択するための切り替えスイッチである。メニュ-ボタン157は、撮像装置100の機能設定を行う機能設定モ-ドへ移行するためのボタンである。アップスイッチ158およびダウンスイッチ159は、各種の設定値を変更する際に用いるアップダウンスイッチである。ダイアル160は、各種の設定値を変更するためのダイアルである。再生ボタン161は、撮像装置100内の記録媒体193に記録されている映像を表示部153上で再生する再生モ-ドへ移行するためのボタンである。
図2は、撮像装置100の構成例を示すブロック図である。撮像装置100は、フォ-カスレンズ181、フォ-カスレンズ駆動部182、光学フィルタ183、撮像素子184、ブレ補正レンズ185およびブレ補正駆動部186を備える。また、撮像装置100は、デジタル信号処理部187、アナログフロントエンド188、タイミング発生部189、システム制御CPU178、スイッチ入力手段179および映像メモリ190を備える。また、撮像装置100は、表示I/F191、表示部153、記録I/F192、記録媒体193、プリントI/F194、外部I/F196および無線I/F198を備える。
光軸180は、撮像光学系152の光軸である。フォ-カスレンズ181は、撮影光学系152の焦点状態を調整するための光学レンズである。フォ-カスレンズ駆動部182は、フォ-カスレンズ181を駆動させる。ブレ補正レンズ185は、像ブレを補正するための光学レンズである。ブレ補正駆動部186は、ブレ補正レンズ185を駆動させる。光学フィルタ183は、撮像素子184に入射する光の波長および撮像素子184に伝達する空間周波数を制限する。
撮像素子184は、撮像光学系152を介して結像された被写体の光学像を電気的な画像信号に変換する。アナログフロントエンド188は、撮像素子184から出力される画像信号のアナログ処理とアナログ-デジタル変換を行う。アナログフロントエンド188は、読み出し回路と、アナログ信号をデジタル化するA/D変換器等を有する。読み出し回路の詳細は、後述する。
デジタル信号処理部187は、撮像素子184より出力されたデジタル映像デ-タに各種の補正を行った後に、映像デ-タを圧縮する。また、デジタル信号処理部187は、画像生成手段および画像合成手段の機能を有する。タイミング発生部189は、撮像素子184およびデジタル信号処理部187に各種タイミング信号を出力し、各種タイミングを制御する。
システム制御CPU178は、各種演算を行い、撮像装置100全体を制御するCPU(Central Processing Unit)である。すなわち、システム制御CPU178はタイミング発生部189とともに、撮像素子184における信号電荷の転送や蓄積、読み出しのタイミングを制御する制御手段の機能を有する。また、システム制御CPU178は、デジタル信号処理部187により取得した複数の画像信号を比較する位相差検出により、撮影光学系152の焦点状態を検出する焦点検出手段の機能も有している。また、システム制御CPU178はブレ補正算出手段の機能も有しており、複数の画像信号から動きベクトルを検出し、動きベクトルの検出結果に基づきブレ補正信号を生成し、ブレ補正信号をブレ補正駆動部186に送出する。
映像メモリ190は、映像デ-タを一時的に記憶する。表示インタ-フェ-ス部(表示I/F)191は、撮影された映像を表示部153に表示するためのインタ-フェ-スである。表示部153は、液晶ディスプレイ等の表示部である。記録インタ-フェ-ス部(記録I/F)は、記録媒体193に記録または読み出しを行うためのインタ-フェ-スである。記録媒体193は、映像デ-タや付加デ-タ等を記録するためのメモリ等の記録媒体である。記録媒体193は、撮像装置100に備え付けられていてもよいし着脱可能でもよい。
プリントI/F194は、撮影された映像を外部のプリンタ195に出力し印刷するためのインタ-フェ-スである。プリンタ195は、小型インクジェットプリンタ等のプリンタである。外部I/F196は、外部装置197等と通信するためのインタ-フェ-スである。外部装置197は、コンピュ-タやテレビなどの画像を表示可能な装置である。無線I/F198は、外部のネットワ-ク199と通信するためのインタ-フェ-スである。ネットワ-ク199は、インタ-ネットなどのコンピュ-タネットワ-クである。スイッチ入力部179は、ユ-ザからの操作を受け付ける各種スイッチである。スイッチ入力部179は、スイッチST154やスイッチMV155や各種モ-ドの切り替えを行う複数のスイッチを含む。
図3および図4を用いて撮像素子184の構成について説明する。図3は、撮像素子184の1つの画素を説明する図である。図4は、撮像素子184の回路構成を示す図である。撮像素子184は、2次元配列された多数の画素(画素部)を有している。図3および図4では、撮像素子184の複数の画素のうち、1行1列目(1,1)の画素303を例に説明する。すなわち、撮像素子184には、画素303と同様の構成の複数の画素がアレイ状に配されている。
画素303は、2つの光電変換部を有している。2つの光電変換部は、例えば、フォトダイオ-ド500Aおよびフォトダイオ-ド500Bである。1つの画素303に対して2つの光電変換部を備えているため、撮像光学系152を介して入射した光を分割して露光することができる。フォトダイオ-ド500Aとフォトダイオ-ド500Bは、撮像光学系152の互いに異なる瞳領域を通過した光束に対応する。そして、フォトダイオ-ド500Aから出力された信号群とフォトダイオ-ド500Bから出力された信号群を用いて、位相差による焦点検出を行うことができる。なお、本実施形態では光電変換部にフォトダイオ-ドを用いる例を説明するがこれに限られるものではなく、光電変換が行える素子であれば有機薄膜など、その他の素子を用いても構わない。
画素303は複数の電荷保持部を有しており、本実施形態では3つの電荷保持部(電荷保持部507A1、電荷保持部507B1、電荷保持部507-2)を有する例について説明する。電荷保持部を有する撮像素子184の基本構造は特開2017-153069号公報にて開示されているので、詳細な説明は省略する。なお、図中では電荷保持部をMemと記す。
また、画素303は、9つの転送部である転送トランジスタ(501A1、501B1、501A2、501B2、502A1、502B1、502-2、503A、503B)を有している。また、画素303は、2つのリセットトランジスタ(504-1、504-2)、2つの増幅トランジスタ(505-1、505-2)、2つの選択トランジスタ(506-1、506-2)を有している。なお、図中では転送トランジスタをTx、リセットトランジスタをRES、選択トランジスタをSELと記す。
フォトダイオ-ド500Aおよびフォトダイオ-ド500Bのアノ-ドは、接地線に接続されている。フォトダイオ-ド500Aのカソ-ドは、転送トランジスタ501A1、転送トランジスタ501A2、転送トランジスタ503Aのソ-スに、それぞれ接続されている。フォトダイオ-ド500Bのカソ-ドは、転送トランジスタ501B1、転送トランジスタ501B2、転送トランジスタ503Bのソ-スに、それぞれ接続されている。
転送トランジスタ501A1のドレインは、転送トランジスタ502A1のソ-スに接続されている。転送トランジスタ501A1のドレインと転送トランジスタ502A1のソ-スの間の接続ノ-ドが、電荷保持部507Aを構成する。同様に、転送トランジスタ501B1のドレインは、転送トランジスタ502B1のソ-スに接続されている。転送トランジスタ501B1のドレインと転送トランジスタ502B1のソ-スの間の接続ノ-ドが電荷保持部507Bを構成する。また、転送トランジスタ501A2および501B2のドレインは、転送トランジスタ502-2のソ-スと接続されている。転送トランジスタ501A2および501B2のドレインと転送トランジスタ502-2のソ-スとの間の接続ノ-ドが、電荷保持部507-2を構成する。
転送トランジスタ502A1のドレインおよび転送トランジスタ502B1のドレインは、リセットトランジスタ504-1のソ-スおよび増幅トランジスタ505-1のゲ-トに接続されている。転送トランジスタ502A1のドレイン、転送トランジスタ502B1のドレイン、リセットトランジスタ504-1のソ-ス、増幅トランジスタ505-1のゲ-トの接続ノ-ドは、フロ-ティングディフュ-ジョン領域(以下FD領域)508-1を構成する。同様に、転送トランジスタ502-2のドレインは、リセットトランジスタ504-2のソ-スおよび増幅トランジスタ505-2のゲ-トに接続されている。転送トランジスタ502-2のドレイン、リセットトランジスタ504-2のソ-スおよび増幅トランジスタ505-2のゲ-トの接続ノ-ドは、FD領域508-2を構成する。
増幅トランジスタ505-1のソ-スは、選択トランジスタ506-1のドレインに接続されている。リセットトランジスタ504-1のドレインおよび増幅トランジスタ505のドレインは、電源線520に接続されている。同様に、増幅トランジスタ505-2のソ-スは、選択トランジスタ506-2のドレインに接続されている。リセットトランジスタ504-2のドレインおよび増幅トランジスタ505-2のドレインは、電源線520に接続されている。
また、転送トランジスタ503Aのドレインおよび転送トランジスタ503Bのドレインは、電源線521に接続されている。選択トランジスタ506-1のソ-スは、信号出力線523に接続されている。同様に、選択トランジスタ506-2のソ-スは、信号出力線523に接続されている。信号出力線523は、読み出し回路308に接続されている。
撮像素子184の複数の画素は、行単位で、垂直走査回路307から行方向に配された制御線に接続されている。各行の制御線は、各転送トランジスタ(501A1、501A2、501B1、501B2、502A1、502A2、502-2、503A、503B)のゲ-トにそれぞれ接続された複数の制御線を含む。また、各行の制御線は、各リセットトランジスタ(504-1、504-2)および各選択トランジスタ(506-1、506-2)のゲ-トにそれぞれ接続された複数の制御線を含む。垂直走査回路307から各トランジスタに、システム制御CPU178からの制御信号に基づいて各制御パルスが送出される。各トランジスタは、制御パルスがハイレベルのときにオンとなり、制御パルスがローレベルのときにオフとなる。
具体的には、転送トランジスタ501A1は、転送パルスφTX1A1で制御される。転送トランジスタ501B1は、転送パルスφTX1B1で制御される。転送トランジスタ501A2は、転送パルスφTX1A2で制御される。転送トランジスタ501B2は、転送パルスφTX1B2で制御される。転送トランジスタ502A1は、転送パルスφTX2A1で制御される。転送トランジスタ502B1は、転送パルスφTX2B2で制御される。転送トランジスタ502-2は、転送パルスφTX2-2で制御される。
リセットトランジスタ504-1は、リセットパルスφRES1で制御される。リセットトランジスタ504-2は、リセットパルスφRES2で制御される。選択トランジスタ506-1は、選択パルスφSEL1で制御される。選択トランジスタ506-2は、選択パルスφSEL2で制御される。
本実施形態の撮像素子184は、2つのフォトダイオ-ド500Aおよびフォトダイオード500Bに対して3つの電荷保持部507A、電荷保持部507B、電荷保持部507-2を有している。本実施形態では、電荷保持部507A1および電荷保持部507B1に保持される信号(A像信号、B像信号)を加算合成して第1の画像である静止画像信号を生成する。そして、電荷保持部507-2に保持される信号を用いて第2の画像である動画像信号を生成する。さらに電荷保持部507A1に保持される信号(A像信号)と、電荷保持部507B1に保持される信号(B像信号)を用いて、位相差により焦点状態を検出する焦点検出動作を行うことが可能である。
電荷保持部507A1は、フォトダイオ-ド500Aでの蓄積電荷を保持する。電荷保持部507B1は、フォトダイオ-ド500Bでの蓄積電荷を保持する。一方、電荷保持部507-2は、フォトダイオ-ド500Aおよびフォトダイオ-ド500Bでの蓄積電荷を同時に保持する。そのため、図3に示すように、電荷保持部507-2は、他の電荷保持部(電荷保持部507A1、電荷保持部507B2)よりも多くの電荷を保持することができるよう、広く設計されている。
図5および図6は、従来の撮像素子の構成について説明する図である。図5は、従来の撮像素子の1つの画素を説明する図である。図6は、従来の撮像素子の回路構成を示す図である。ここで説明する従来の撮像素子は、撮影光学系を介し入射した光を分割し電荷に変換し蓄積する第1の光電変換部および第2の光電変換部と、一つの光電変換部に対し2つずつの電荷保持部を有している。なお、図3および図4と同じ機能を有するものには同じ符号を付している。
本実施形態と従来例との違いについて説明する。従来例では、本実施形態の電荷保持部507-2の代わりに、電荷保持部507A2および電荷保持部507B2が配され、さらに、転送トランジスタ502-2の代わりに転送トランジスタ502A2および転送トランジスタ502B2が配されている。さらに、従来例では、本実施形態の信号出力線523の代わりに、選択トランジスタ506-1のソ-スが接続される信号出力線523-1と選択トランジスタ506-1のソ-スが接続される信号出力線523-2が配されている。従来例のように、入射した光を分割するのに2つの光電変換部を配し、光電変化部1つに対し電荷保持部を2つ設ける場合、電荷保持部は4つ必要となる。また、従来例では電荷保持部の数に合わせて転送トランジスタや信号出力線が増え、回路構成が煩雑になる。一方、本実施形態の撮像素子184は、従来例の撮像素子に比べ、回路の構成を簡易化することができる。
次に、図7を用いて、本実施形態における撮像素子184の制御方法を説明する。図7は、撮像素子184の駆動シーケンスを示すタイミングチャートである。以下の説明では、図3に示される画素303を例に、撮像素子184の制御のタイミングを説明する。なお、図7のタイミングチャートでは時間の間隔を模式的に示しており、実際の制御の時間間隔とは異なる。例えば、実際は、転送パルスφTX1Aがハイレベルになっている時刻t5からt6の間隔に対し、フォトダイオ-ド500Aおよびフォトダイオード500Bでの蓄積期間である時刻t1からt6や、時刻t7からt19はもっと長く設定されている。
撮像素子184は、第1の期間と第2の期間を交番的に制御することで、第1の画像である静止画像信号と、第2の画像である動画像信号の両方を取得する。第1の期間に光電変換され取得される第1の画像の信号は、フォトダイオ-ド500Aとフォトダイオ-ド500Bのそれぞれで光電変換し蓄積された信号が別々にA像信号、B像信号として取得される。システム制御CPU178は、A像信号とB像信号を用いて位相差を利用した焦点検出動作を行う。第1の画像は、同じ画素に相当するA像信号とB像信号を加算合成して生成される。
時刻t1において、垂直走査回路307から供給される転送パルスφTX3Aおよび転送パルスφTX3Bがハイレベルからロ-レベルへと遷移する。これにより、画素303の転送トランジスタ503Aおよび転送トランジスタ503Bがオフとなり、画素303のフォトダイオ-ド500Aおよびフォトダイオ-ド500Bのリセットが解除される。そして、画素303のフォトダイオ-ド500Aおよびフォトダイオ-ド500Bにおいて、第1の画像である静止画像に対応する信号電荷の蓄積が開始される。
時刻t2において、選択パルスφSEL1がロ-レベルからハイレベルへと遷移する。これにより、画素303の選択トランジスタ506-1がオンとなり、画素303からの画像信号の読み出しが可能となる。
時刻t3において、リセットパルスφRES1がロ-レベルからハイレベルへと遷移する。これにより、リセットトランジスタ504-1がオンとなり、FD領域508-1がリセット状態となる。
時刻t4において、リセットパルスφRES1がハイレベルからロ-レベルへ遷移する。これにより、リセットトランジスタ504-1がオフとなり、FD領域508-1のリセット状態が解除される。この際、FD領域508-1に存在する残留ノイズ成分による電位に応じた信号が、増幅トランジスタ505-1および選択トランジスタ506-1を介して信号出力線523に読み出される。ノイズの補正動作については、詳細を後述する。
時刻t5において、転送パルスφTX1A1および転送パルスφTX1B1がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ501A1および転送トランジスタ501B1がオンとなり、フォトダイオ-ド500Aおよびフォトダイオ-ド500Bに蓄積された信号電荷がそれぞれ電荷保持部507A1および電荷保持部507B1に転送される。
時刻t6において、転送パルスφTX1A1および転送パルスφTX1B1がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ501A1および転送トランジスタ501B1がオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bに蓄積された信号電荷の電荷保持部507A1および電荷保持部507B1への転送が終了する。同じく、時刻t6において、転送パルスφTx3Aおよび転送パルスφTx3Bがロ-レベルからハイレベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ503Bがオンとなり、フォトダイオ-ド500Aおよびフォトダイオ-ド500Bがリセット状態になる。本実施形態において、時刻t1から時刻t6までの期間が第1の画像に対応する信号を取得するための第1の期間にあたる。
時刻t7において、転送パルスφTx3Aおよび転送パルスφTx3Bがハイレベルからロ-レベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ503Bがオフとなり、フォトダイオ-ド500Aおよびフォトダイオ-ド500Bにおいて、第2の画像である動画画像に対応する信号電荷の蓄積が開始される。
時刻t8において、転送パルスφTX2A1がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ502A1がオンとなり、電荷保持部507A1に蓄積された信号電荷がFD領域508-1に転送される。そして、FD領域508-1の電位の変化に応じた信号が、増幅トランジスタ505-1および選択トランジスタ506-1を介して信号出力線523に読み出される。
時刻t9において、転送パルスφTX2A1がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ502A1がオフとなり、電荷保持部507A1に蓄積された信号電荷のFD領域508-1への転送が終了する。
時刻t10において、リセットパルスφRES1がロ-レベルからハイレベルへと遷移する。これにより、リセットトランジスタ504-1がオンとなり、FD領域508-1がリセット状態となる。この際、FD領域508-1に存在するノイズ成分による電位に応じた信号が、増幅トランジスタ505-1および選択トランジスタ506-1を介して信号出力線523に読み出される
時刻t11において、リセットパルスφRES1がハイレベルからロ-レベルへ遷移する。これにより、リセットトランジスタ504-1がオフとなり、FD領域508-1のリセット状態が再度解除される。
時刻t12において、転送パルスφTX2B1がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ502B1がオンとなり、電荷保持部507B1に蓄積された信号電荷がFD領域508-1に転送される。そして、FD領域508-1の電位の変化に応じた信号が、増幅トランジスタ505-1および選択トランジスタ506-1を介して信号出力線523に読み出される。
時刻t8に信号出力線523で読み出された信号(A像信号)と、時刻t12に信号出力線523で読み出された信号(B像信号)を用いて、位相差による焦点検出動作を行うことができる。また、時刻t4に信号出力線523で読み出された信号(A像信号)と、時刻t12に信号出力線523で読み出された信号(B像信号)を加算合成することで、第1の画像である静止画像信号を生成することができる。
時刻t13において、転送パルスφTX2B1がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ502B1がオフとなり、電荷保持部507B1に蓄積された信号電荷のFD領域508-1への転送が終了する。
時刻t14において、選択パルスφSEL1がハイレベルからロ-レベルへと遷移する。これにより、選択トランジスタ506-1がオフとなり、非選択の状態となる。
時刻t15において、選択パルスφSEL2がロ-レベルからハイレベルへと遷移する。これにより、選択トランジスタ506-2がオンとなり、画素303からの画像信号の読み出しが可能となる。
時刻t16において、リセットパルスφRES2がロ-レベルからハイレベルへと遷移する。これにより、FD領域508-2がリセット状態となる。この際、FD領域508-2に存在するノイズ成分による電位に応じた信号が、増幅トランジスタ505-2および選択トランジスタ506-2を介して信号出力線523に読み出される。
時刻t17において、リセットパルスφRES1がハイレベルからロ-レベルへ遷移する。これにより、リセットトランジスタ504-1がオフとなり、FD領域508-1のリセット状態が解除される。
時刻t18において、転送パルスφTX1A2および転送パルスφTX1B2がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ501A2および転送トランジスタ501B2がオンとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bに蓄積された信号電荷が電荷保持部507-2に転送される。
時刻t19において、転送パルスφTX1A2および転送パルスφTX1B2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ501A2および転送トランジスタ501B2がオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bに蓄積された信号電荷が電荷保持部507-2への転送が終了する。同じく、時刻t19において、転送パルスφTx3Aおよび転送パルスφTx3Bがロ-レベルからハイレベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ503Bがオンとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bがリセット状態になる。本実施形態において、時刻t7から時刻t19までの期間が第2の画像に対応する信号を取得するための第2の期間にあたる。
時刻t20において、転送パルスφTx3Aおよび転送パルスφTx3Bがハイレベルからロ-レベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ500Bがオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bにおいて、再度、第1の画像に対応する信号電荷の蓄積が開始される。
時刻t21において、転送パルスφTX2-2がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ502-2がオンとなり、電荷保持部507-2に蓄積された信号電荷がFD領域508-2に転送される。そして、FD領域508-2の電位の変化に応じた信号が、増幅トランジスタ505-2および選択トランジスタ506-2を介して信号出力線523に読み出される。
時刻t22において、転送パルスφTX2-2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ502-2がオフとなり、電荷保持部507-2に蓄積された信号電荷のFD領域508-2への転送が終了する。
時刻t23において選択パルスφSEL2がハイレベルからロ-レベルへと遷移する。これにより、選択トランジスタ506-2がオフとなり、非選択の状態となる。
時刻t24において、選択パルスφSEL1がロ-レベルからハイレベルへと遷移する。以下、時刻t2からt23の動作が撮影の終了まで順次繰り返される。
本実施形態の撮像素子184は、第1の期間と第2の期間を交互に制御することで、第1の画像である静止画用画像信号と、第2の画像である動画用画像信号の両方を取得することができる。また、撮像素子184は、第1の期間にフォトダイオ-ド500Aとフォトダイオード500Bのそれぞれで光電変換し蓄積された信号を別々に取得することができる。そのため、システム制御CPU178は、第1の期間に取得したフォトダイオ-ド500Aおよびフォトダイオード500Bで光電変換された第1の画像に対応する信号を用いて、位相差を利用した焦点検出動作を行うことができる。
次に、図8および図9を用いて、FD領域508-1、FD領域508-2のリセット動作によるノイズ成分の補正について説明する。図8は、ノイズ成分の補正を行うことができる撮像素子184の読み出し回路308の構成例を示す図である。読み出し回路308は、第1のスイッチ414、第2のスイッチ415、第3のスイッチ418、第4のスイッチ419、第1の容量410、第2の容量411、第1の水平出力線424、第2の水平出力線425、出力アンプ421を含む。
第1のスイッチ414は、容量410への画素信号の書き込みを制御するスイッチである。第1のスイッチ414は、信号Tsで制御されるスイッチであり、信号Tsがハイレベルのときにオン状態となり、信号出力線523の出力端子と容量410とを接続する。第2のスイッチ415は、容量411への画素信号の書き込みを制御するスイッチである。第2のスイッチ415は、信号Tnで制御されるスイッチであり、信号Tnがハイレベルのときにオン状態となり、信号出力線523の出力端子と容量411とを接続する。
第3のスイッチ418は、容量410に保持されている画素信号の出力アンプ421への出力を制御するスイッチである。第4のスイッチ419は、容量411に保持されている画素信号の出力アンプ421への出力を制御するスイッチである。第3のスイッチ418および第4のスイッチ419は、水平シフトレジスタ431からの制御信号に応じてオン状態になる。これにより、容量410に書き込まれた信号は、第3のスイッチ418および水平出力線424を介して出力アンプ421に出力される。また、容量411に書き込まれた信号は、第4のスイッチ419および水平出力線425を介して出力アンプ421に出力される。
出力アンプ421は、水平出力線424と水平出力線425からの信号の差動信号を出力する。出力アンプ421の出力はアナログフロントエンド188が有するA/D変換器でデジタル信号に変換され、デジタル信号処理部187に送られる。信号Ts、信号Tnおよび水平シフトレジスタ431からの信号は、システム制御CPU178による制御に基づいて、タイミング発生部189から供給される信号である。
次に、図9を用いてノイズ成分の補正処理のタイミングについて説明する。図9は、ノイズ成分の補正処理のタイミングを示すタイミングチャートである。ノイズ成分の補正処理について、リセットトランジスタ504-2、選択トランジスタ506-2、転送トランジスタ502-2、FD領域508-2を例に説明する。
時刻t81において、選択パルスφSEL2がロ-レベルからハイレベルへと遷移する。これにより、選択トランジスタ506-2がオンとなり、画素303からの画像信号の読み出しが可能となる。
時刻t82において、リセットパルスφRES2がロ-レベルからハイレベルへと遷移する。これにより、FD領域508-2がリセット状態となる。この際、FD領域508-2に存在する残留ノイズ成分による電位に応じた信号が、増幅トランジスタ505-2および選択トランジスタ506-2を介して信号出力線523に読み出される。
時刻t83において、リセットパルスφRES2がハイレベルからロ-レベルへ遷移する。これにより、リセットトランジスタ504-2がオフとなり、FD領域508-2のリセット状態が解除される。
時刻t84において、信号Tnがロ-レベルからハイレベルに遷移する。これにより、第2のスイッチ415がオンになり、信号出力線523からの出力信号が容量411に書き込まれる。
時刻t85において、信号Tnがハイレベルからロ-レベルに遷移する。これにより、第2のスイッチ415をオフ状態とし、容量411への書き込みを終了する。容量411には、時刻t82において信号出力線523で読み出されたFD領域508の残留ノイズに応じた信号が書き込まれる。
時刻t86において、転送パルスφTX2-2がロ-レベルからハイレベルへと遷移する。これにより、電荷保持部507-2に蓄積された信号電荷がFD領域508-1に転送される。そして、FD領域508-1の電位の変化に応じた信号が、増幅トランジスタ505-2および選択トランジスタ506-2を介して信号出力線523に読み出される。
時刻t87において、転送パルスφTX2-2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ502-2がオフとなり、電荷保持部507-2に蓄積された信号電荷のFD領域508-2への転送が終了する。
時刻t88において、信号Tsがロ-レベルからハイレベルに遷移する。これにより、第1のスイッチ414がオンになり、信号出力線523からのノイズ成分の重畳する出力信号が容量410に書き込まれる。
時刻t89において、信号Tsをハイレベルからロ-レベルへ遷移する。これにより、第1のスイッチ414をオフ状態とし、容量410への書き込みを終了する。容量410には、時刻t86において信号出力線523で読み出されたFD領域508-2の信号が書き込まれる。
同時に、時刻t89において、水平シフトレジスタ431からの信号によりスイッチ418と419をオンの状態にする。これにより、容量410に書き込まれた信号は水平出力線424を介して出力アンプ421に出力される。同様に、容量411に書き込まれた信号は水平出力線425を介して出力アンプ421に出力される。出力アンプ421は、水平出力線424と水平出力線425からの信号の差動信号を出力する。これにより、FD領域508-2に存在する残留ノイズ成分を取り除いた画像信号を取り出すことが可能となる。
時刻t90において、選択パルスφSEL2がハイレベルからロ-レベルへと遷移する。これにより、選択トランジスタ506-2がオフとなり、非選択の状態となる。
以上のようにノイズ成分の補正処理を行うことで、第2の画像のための信号から残留ノイズを取り除いた画像信号を取りだすことができる。なお、第1の期間である第1の画像の信号を得る場合も同様の処理を行うが、この際には、選択パルスφSEL1がハイレベルの間にリセットパルスφRES1が2度ハイレベルとなりロ-レベルとなる遷移を行う。これにより、電荷保持部507A1と電荷保持部507B1で蓄積された電荷に対応する信号であるA像信号とB像信号を取り出す際に、それぞれの信号についてノイズ成分の補正処理を行うことができる。
次に、図10を用いて撮影動作のフロ-について説明する。図10は、本実施形態における撮影動作を示すフローチャートである。本実施形態の撮像装置100は、撮影光学系152に光学系の焦点状態を調整するフォ-カスレンズ181とフォ-カスレンズ181を駆動するフォ-カスレンズ駆動部182とを有している。本実施形態では、第1の期間で得られたA像信号およびB像信号を用いて位相差による焦点検出動作を行い、検出結果に基づきフォ-カスレンズ181を移動させて焦点状態を調整する。
本処理は、ユーザによりスイッチST154が押下され静止画撮影の指示が下されることにより開始する。ステップS101において、フォトダイオード500Aおよびフォトダイオード500Bでの静止画信号の露光蓄積動作を開始する。具体的には、スイッチST154の押下に応じて、システム制御CPU178およびタイミング発生部189で構成される信号制御手段からの制御パルス信号により、転送トランジスタ503Aおよび転送トランジスタ503Bをオフの状態とする。これにより、フォトダイオード500Aおよびフォトダイオード500Bでの静止画信号の露光蓄積動作を開始する。ステップS101の動作が、図7のタイミングチャ-トの時刻t1に相当する。なお、以下の各ステップにおいても、各種トランジスタの状態の切り替えは、システム制御CPU178およびタイミング発生部189で構成される信号制御手段からの制御信号により制御される。
ステップS102において、静止画信号を電荷保持部507Aおよび電荷保持部507Bへ転送する。具体的には、転送トランジスタ501A1および転送トランジスタ501Bをオンの状態とする。これにより、ステップS101でフォトダイオ-ド500Aとフォトダイオ-ド500Bでの蓄積を行った静止画信号をそれぞれ電荷保持部507A1と電荷保持部507B1へ転送する。その後、転送トランジスタ501A1および転送トランジスタ501B1をオフの状態とし、転送を終了する。ステップS102の動作が、図7のタイミングチャ-トの時刻t5~時刻t6の動作に相当する。
ステップS103において、フォトダイオード500Aおよびフォトダイオード500Bでの動画像信号の露光蓄積動作を開始する。具体的には、転送トランジスタ503Aおよび転送トランジスタ503Bをオンの状態とし、フォトダイオ-ド500Aおよびフォトダイオード500Bでの動画像信号の蓄積動作を開始する。ステップS103の動作が、図7のタイミングチャ-トの時刻t7に相当する。
ステップS104において、静止画信号のうちA像信号を読み出す。具体的には、転送トランジスタ502A1をオンの状態とし、ステップS102において電荷保持部507A1で保持された電荷信号をFD領域508-1へ転送し、読み出し回路308にてA像信号として読み出す。ステップS104の動作が、図7のタイミングチャ-トの時刻t8~時刻t9に相当する。
ステップS105において、静止画信号のうちB像信号を読み出す。具体的には、転送トランジスタ502B1をオンの状態とし、ステップS102において電荷保持部507B1で保持された電荷信号をFD領域508-1へ転送し、読み出し回路308にてB像信号として読み出す。ステップS105の動作が、図7のタイミングチャ-トの時刻t12~13に相当する。
ステップS106において、システム制御CPU178は、ステップS104およびステップS105で読み出されたA像信号およびB像信号を用いて、位相差検出による焦点検出動作を行う。焦点検出動作の詳細な原理については、公知の技術のため詳細は割愛する。A像信号とB像信号は同じ時刻にそれぞれのフォトダイオ-ド500Aとフォトダイオード500Bで光電変換された信号であるので、精度の高い焦点検出動作を行うことができる。システム制御CPU178は、焦点検出動作により撮影光学系152を通過してくる被写体像の焦点状態を検出し、被写体像が非合焦状態であれば合焦状態にするためのフォ-カスレンズ181の移動量を算出する。
ステップS107において、システム制御CPU178は、ステップS106で焦点検出動作の検出結果に基づきフォ-カスレンズ駆動部182によりフォ-カスレンズ181を駆動させる。
ステップS108において、デジタル信号処理部187は、ステップS104およびステップS105で読み出したA像信号とB像信号とを加算合成して、1枚の静止画像を生成する。
ステップS109において、動画像信号を第1の電荷保持部507Aおよび電荷保持部507Bへ転送する。具体的には、転送トランジスタ501A2および転送トランジスタ501B2をオンの状態とする。これにより、フォトダイオ-ド500Aおよびフォトダイオード500BにおいてステップS103から蓄積された動画像信号を電荷保持部507-2へ転送する。その後、転送トランジスタ501A2および転送トランジスタ501B2をオフの状態とし、転送を終了する。ステップS109の動作が、図7のタイミングチャ-トの時刻t18~時刻t19の動作に相当する。
ステップS110において、再度、フォトダイオード500Aおよびフォトダイオード500Bでの静止画信号の露光蓄積動作を開始する。具体的には、転送トランジスタ503A、503Bをオンの状態とし、フォトダイオ-ド500Aおよびフォトダイオード500Bでの静止画像信号の蓄積動作を再度開始する。
ステップS111において、動画像信号を読み出す。具体的には、転送トランジスタ502-2をオンの状態とし、ステップS109において電荷保持部507-2で保持された電荷信号をFD領域508-2へ転送し、読み出し回路308にて動画像信号として読み出す。ステップS111の動作が、図7のタイミングチャ-トの時刻t21~時刻t22に相当する。
ステップS112において、システム制御CPU178は、撮影終了か否かを判定する。撮影者から撮影終了の命令が下されていると判定した場合はステップS113に進む。一方、撮影終了の命令が下されていないと判定した場合はステップS102に戻りフロ-を繰り返す。
ステップS113において、ステップS108で加算合成し生成された静止画像とステップS111で読み出された動画像を、所定の記録フォ-マットで映像メモリに記録し、フロ-を終了する。
以上説明したように本実施形態によると、動画像信号と静止画像を同時に記録することができ、さらに撮像面位相差による焦点検出動作を行うことができる。また、本実施形態の撮像装置100は、2つの異なる蓄積時間の映像信号を同時に撮影するこができ、かつ、回路を複雑化することなく焦点検出を行うことができる。
なお、本実施形態では、動画像の蓄積露光時間である第2の期間の長さより静止画像の蓄積露光時間である第1の期間の長の方が短く設定されている。つまり、動画像のシャッタ-スピ-ドよりもの静止画像のシャッタ-スピ-ドの方が短秒に設定されている。これは、焦点検出動作を行うための静止画像(A像信号とB像信号の画像)に、手ブレや被写体の移動による像ブレが発生してしまうことを抑制するためである。また、一般に動画像撮影時のシャッタ-スピ-ドが速いと、再生時にコマ送りのようないわゆるジャ-キネスが現れて映像の滑らかさが失われてしまう。こういったジャ-キネスを抑えた滑らかな映像を得るためには、一連の撮影において、1フレ-ム期間に近い蓄積時間を設定する必要がある。すなわち、フレ-ムレ-トが30fpsであれば、1/30秒や1/60秒といった比較的長い蓄積時間が適切となる。また、高フレ-ムレ-トの動画では1フレ-ム期間が短いので、例えばフレ-ムレ-トが120fpsであれば、1/125秒や1/250秒といった比較的短い蓄積時間を設定することになる。一方、静止画像においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモ-ション効果のある映像を撮影することが求められる。このため、静止画像の撮影においては、例えば1/1000秒程度の短い蓄積時間を設定する必要がある。そこで、蓄積時間の短い第1の期間に蓄積されるA像信号とB像信号を加算合成して静止画像を生成し、第1の期間より蓄積時間の長い第2の期間に蓄積される信号を用いて動画像を生成している。
また、本実施形態では1度の撮影において静止画像信号と動画像信号を取得していたが、蓄積期間の異なる静止画像信号と動画像信号をデジタル信号処理部187において合成して、ダイナミックレンジが拡大した画像を生成してもよい。静止画像信号と動画像信号では蓄積時間が異なるために、加算合成時にそれぞれを所定の割合で合成し記録ビット数を上げて記録することで、ダイナミックレンジが拡大した画像を得ることができる。露光量の異なる複数の画像を用いたダイナミックレンジ拡大の画像処理については、公知の技術のため説明を割愛する。
また、本実施形態では図8に示した読み出し回路308により、ノイズ成分の補正と読み出しを行っていたが、信号出力線523を直接A/D変換器に接続しておき、A/D変換後の信号デ-タでノイズ成分を差し引いて補正を行っても良い。その場合は、ノイズ成分の取得を1回行えばよいので、図7のタイミングチャ-トの第1の期間である時刻t2から時刻t14の間のリセットパルスφRES1のオンオフ動作を2回から1回にすることができる。
また、本実施形態では、第1の期間と第2の期間を交互に制御しているが、そのほかのタイミングで制御を行ってもよい。例えば、ある第2の期間と次の第2の期間の間に、第1の期間が2回発生するように制御することも可能である。つまり、動画像信号が1フレ-ム分を取得すると、静止画像信号は2回蓄積され2つの画像信号を得るような動作となる。この場合、動画像信号の1フレ-ムに対し2回取得される静止画像信号であるA像信号、B像信号の1回分のみを用いて焦点検出動作を行ってもよいし、2回分の信号を用いて焦点検出動作を行ってもよい。なお、動画像信号が1フレ-ム分を取得する間に取得する静止画像信号は2回に限らず、複数回分の静止画像信号を得るような制御を行ってもよい。
(第2実施形態)
第1実施形態では、撮影時に焦点検出動作を行いつつ、第1の期間に蓄積した信号から静止画像を、第2の期間の蓄積した信号から動画像を取得した。しかしながら、第1実施形態では動画像と静止画像で蓄積時間が異なるため、動画像と静止画像の露出が異なり、静止画像信号のゲインを調整するなどしなければ、好適な動画像と静止画像を得られない。そこで、本実施形態では、第2の期間における蓄積を断続的に分割して行うことで、蓄積期間を調整して静止画と動画の露出を揃える。本実施形態における撮像装置100および撮像素子184の構成は、第1実施形態と同様のため説明を省略する。本実施形態と第1実施形態では、信号制御手段による制御のタイミングが異なる。
図11を用いて、本実施形態における撮像素子184の制御方法を説明する。図11は、第2実施形態における撮像素子184の駆動シーケンスを示すタイミングチャートである。第1実施形態の図7との違いである断続的に分割して蓄積を行う第2の期間について主に説明する。第2実施形態では、動画像信号の蓄積期間である第2の期間が静止画像信号の蓄積時間である第1の期間の2倍の長さに設定されている。
時刻t31から時刻t36における動作は、第1実施形態の時刻t1から時刻t6の動作と同様である。
時刻t37において、転送パルスφTx3Aおよび転送パルスφTx3Bがハイレベルからロ-レベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ503Bがオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bで、第2の画像である動画画像の信号電荷の蓄積が開始される。
時刻t38において、転送パルスφTX2A1がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ502A1がオンとなり、電荷保持部507A1に蓄積された信号電荷がFD領域508-1に転送される。そして、FD領域508-1の電位の変化に応じた信号が、増幅トランジスタ505-1および選択トランジスタ506-1を介して信号出力線523に読み出される。
時刻t39において、転送パルスφTX2A1がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ502A1がオフとなり、電荷保持部507A1に蓄積された信号電荷のFD領域508-1への転送が終了する。
時刻t40において、転送パルスφTX1A2および転送パルスφTX1B2がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ501A2および転送トランジスタ501B2がオンとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bに蓄積された信号電荷が電荷保持部507-2に転送される。
時刻t41において、転送パルスφTX1A2および転送パルスφTX1B2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ501A2および転送トランジスタ501B2がオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bに蓄積された信号電荷の電荷保持部507-2への転送が終了する。同じく、時刻t41において、転送パルスφTx3Aおよび転送パルスφTx3Bがロ-レベルからハイレベルに遷移する。これにより、フォトダイオ-ド500Aおよびフォトダイオード500Bはリセット状態となる。
時刻t42において、リセットパルスφRES1がロ-レベルからハイレベルへと遷移する。これにより、リセットトランジスタ504-1がオンとなり、FD領域508-1がリセット状態となる。
時刻t43において、リセットパルスφRES1がハイレベルからロ-レベルへ遷移する。これにより、リセットトランジスタ504-1がオフとなり、FD領域508-1のリセット状態が解除される。
時刻t44において、転送パルスφTx3Aおよび転送パルスφTx3Bがハイレベルからロ-レベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ503Bがオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bで、第2の画像である動画画像の信号電荷の蓄積が再度開始される。
時刻t45において、転送パルスφTX2B1がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ502B1がオンとなり、電荷保持部507B1に蓄積された信号電荷がFD領域508-1に転送される。そして、FD領域508-1の電位の変化に応じた信号が、増幅トランジスタ505-1および選択トランジスタ506-1を介して信号出力線523に読み出される。
時刻t46において、転送パルスφTX2B1がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ502B1がオフとなり、電荷保持部507B1に蓄積された信号電荷のFD領域508-1への転送が終了する。
時刻t47において、転送パルスφTX1A2および転送パルスφTX1B2がロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ501A2および転送トランジスタ501B2がオンとなる。そして、フォトダイオ-ド500Aおよびフォトダイオ-ド500Bに蓄積された信号電荷が電荷保持部507-2に転送され、時刻t37から41で蓄積された信号電荷に加えられる。
時刻t48において、転送パルスφTX1A2および転送パルスφTX1B2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ501A2および転送トランジスタ501B2がオフとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bに蓄積された信号電荷の電荷保持部507-2への転送が終了する。同じく、時刻t48において、転送パルスφTx3Aおよび転送パルスφTx3Bがロ-レベルからハイレベルに遷移する。これにより、転送トランジスタ503Aおよび転送トランジスタ503Bがオンとなり、フォトダイオ-ド500Aおよびフォトダイオード500Bがリセット状態になる。
時刻t49から時刻t50まで、転送トランジスタ501A2、転送トランジスタ501B2、転送トランジスタ503A、転送トランジスタ503Bでは時刻37から時刻t44の動作が繰り返される。つまり、フォトダイオ-ド500Aおよびフォトダイオード500Bでの蓄積と、電荷保持部507-2への転送が断続的に複数回繰り返され、電荷保持部507-2に信号電荷が加算されていく。
時刻t51において、転送パルスφTX2-2がロ-レベルからハイレベルへと遷移する。これにより、電荷保持部507-2に断続的に複数回にわたって蓄積された信号電荷がFD領域508-2に転送される。そして、FD領域508-2の電位の変化に応じた信号が、増幅トランジスタ505-2および選択トランジスタ506-2を介して信号出力線523に読み出される。
時刻t52において、転送パルスφTX2-2がハイレベルからロ-レベルへと遷移する。これにより、電荷保持部507-2に蓄積された信号電荷がFD領域508-2の転送が終了する。
時刻t53において、選択パルスφSEL2がハイレベルからロ-レベルへと遷移する。以下、第1実施形態と同様に、撮影が終了するまで時刻t32からの動作が繰り返される。
本実施形態では、第2の期間における動画像信号の蓄積を断続的に分割して行っている。第2の期間である時刻t37から時刻t51において、フォトダイオ-ド500Aおよびフォトダイオード500Bでの蓄積期間の積算時間はt37からt51の期間の半分に設定されている。そして、本実施形態では、第2の期間は第1の期間の2倍に設定されている。よって、第1の期間での蓄積期間と第2の期間での蓄積期間の積算は同じとなり、静止画像と動画像の露出を揃えることができる。さらに、第2の期間では断続的に蓄積を繰り返すので、蓄積される露光時間が短くても、NDフィルタを用いたような露出の制御が行え、ジャ-キネスの影響を低減した好適な動画像を得ることができる。
また、本実施形態では、時刻t31から時刻t53までが動画像の1フレ-ムに相当し、第1の期間と第2の期間を1フレ-ム内で最大まで取っているが、第1の期間をより短く設定しても良い。例えば、露出量が高い被写体を撮影する際は、静止画像の第1の期間を図10の1/4など短くして、適正な露出で静止画の撮影をする。その場合は、第2の期間において、例えば時刻t37から41などである蓄積を行う時間を、時刻41からt44などである蓄積を行わない時間の1/8に設定し、静止画像と動画像の露出を揃える。なお、第1の期間においても断続的に蓄積を行うことで、静止画像においても不図示の撮影光学系152の絞りを絞ることなく、いわゆるNDフィルタを用いたような撮影を行うことができる。
また、図11を用いて第2の期間の断続的な複数回の蓄積を4回行っている例について説明したが、分割回数はこれに限られるものではない。例えば、第2の期間の蓄積をより多数に分割して行っても構わない。第2の期間に対し蓄積の回数を増やして多分割にした方が、よりジャ-キネスの影響を低減することができる。
(第3実施形態)
第2実施形態では、第2の期間の蓄積を複数回行う例について説明した。本実施形態では、第2の期間の蓄積を複数回行いつつ、さらに、フォトダイオ-ド500Aとフォトダイオード500Bでの蓄積を交互に行う例について説明する。フォトダイオ-ド500Aとフォトダイオード500Bでの蓄積を交互に行うことにより、第2の期間での蓄積による露出量は半分にしながらも、第2の期間の全期間で蓄積を行うことができ、よりジャ-キネスの影響を低減した画像を取得することができる。
図12は、第3実施形態における撮像素子184の駆動シーケンスを示すタイミングチャートである。第2の期間について、図11と異なる箇所についてのみ説明する。
時刻t61において、時刻t37と同様に転送パルスφTx3Aがハイレベルからロ-レベルに遷移する。一方、転送パルスφTx3Bはハイレベルのままにしておく。これにより、フォトダイオ-ド500Aのみで、第2の画像である動画画像の信号電荷の蓄積が開始される。
時刻t62において、転送パルスφTX1A2のみがロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ501A2がオンとなり、フォトダイオ-ド500Aに蓄積された信号電荷が電荷保持部507-2に転送される。
時刻t63において、転送パルスφTX1A2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ501A2がオフとなり、フォトダイオ-ド500Aに蓄積された信号電荷の電荷保持部507-2への転送が終了する。同じく時刻t63において、転送パルスφTx3Aがロ-レベルからハイレベルに遷移し、転送パルスφTx3Bがハイレベルからロ-レベルに遷移する。これにより、フォトダイオ-ド500Aはリセット状態となり、一方で、フォトダイオ-ド500Bでは第2の画像である動画画像の信号電荷の蓄積が開始される。
時刻t64において、転送パルスφTX1B2のみがロ-レベルからハイレベルへと遷移する。これにより、転送トランジスタ501B2がオンとなり、フォトダイオ-ド500Bに蓄積された信号電荷が電荷保持部507-2に転送される。
時刻t65において、転送パルスφTX1B2がハイレベルからロ-レベルへと遷移する。これにより、転送トランジスタ501B2がオフとなり、フォトダイオ-ド500Bに蓄積された信号電荷の電荷保持部507-2への転送が終了する。同じく時刻t65において、転送パルスφTx3Aがハイレベルからロ-レベルに遷移し、転送パルスφTx3Bがロ-レベルからハイレベルに遷移する。これにより、フォトダイオ-ド500Bはリセット状態となり、一方で、フォトダイオ-ド500Aでは第2の画像である動画画像の信号電荷の蓄積が再度開始される。
以下、時刻t65から時刻t66の間、フォトダイオ-ド500Aとフォトダイオード500Bで交互に断続的な蓄積が繰り返される。これにより、本実施形態では、第2の期間での蓄積による露出量は半分にしながらも、第2の期間の全期間で蓄積を行うことができ、よりジャ-キネスの影響を低減した画像を生成することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワ-ク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュ-タにおける1つ以上のプロセッサ-がプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。