JP6808473B2 - 撮像装置及びその駆動方法 - Google Patents

Description

本発明は、撮像装置及びその駆動方法に関する。

動画と静止画を一台のカメラで同時に撮影できれば、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画として楽しむことも可能となり、撮影された映像の価値を大きく高めることができる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影できれば、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しむことも可能となり、視聴者に対して動感を豊かに伝えることができる。

また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（ハイ・ダイナミックレンジ）技術がある。これは、感度の異なる２つの画素群からの出力を合成することで、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。

このような映像を撮影するための撮像装置として、受光効率の異なる複数の光電変換部を含む画素を有する撮像素子を用いた撮像装置が提案されている。特許文献１には、各画素に非対称な瞳形状を有する一対のフォトダイオードを備えた撮像装置が開示されている。特許文献１記載の撮像装置では、一対のフォトダイオードのうち、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなっている。この一対のフォトダイオードからの２つの信号を別々の映像データとして用いることで、２つの映像を同時に撮影することができる。

特開２０１４−０４８４５９号公報 特開２０１３−１７２２１０号公報

しかしながら、２つの映像の同時撮影を行う撮像装置においては、一のフレーム期間内に蓄積時間の異なる信号に基づく複数の映像を読み出す必要がある。これら信号の読み出しに時間を要することになれば、一のフレーム期間に必要な時間が長くなり、ひいてはフレームレートを低下することにもなる。

本発明の目的は、フレームレートを犠牲にすることなく蓄積期間の異なる信号に基づく複数の映像の読み出しを容易にし得る撮像装置及びその駆動方法を提供することにある。

本発明の一観点によれば、第１の光電変換部と、前記第１の光電変換部よりも感度の低い第２の光電変換部と、前記第１の光電変換部又は前記第２の光電変換部で発生した信号電荷に基づく信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、前記複数の画素の各々から信号が読み出される信号出力線と、前記複数の画素から前記第１の光電変換部において第１の蓄積期間の間に生成された信号電荷に基づく第１の信号と、前記第２の光電変換部において前記第１の蓄積期間よりも長い第２の蓄積期間の間に生成された信号電荷に基づく第２の信号とを前記信号出力線に読み出す場合に、前記第１の信号の前記信号出力線への読み出しが前記第２の蓄積期間中に行われるように制御する制御部とを有する撮像装置が提供される。

また、本発明の他の一観点によれば、１つの光電変換部と、前記１つの光電変換部で発生した信号電荷に基づく信号をそれぞれ保持する第１及び第２の信号保持部と、前記第１の信号保持部又は前記第２の信号保持部により保持された信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、前記複数の画素の各々から信号が読み出される信号出力線と、前記複数の画素から、一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される第１の信号と、前記一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される第２の信号とを前記信号出力線に読み出す場合に、前記第１の信号の前記信号出力線への読み出しが前記第２の信号の蓄積期間中に行われるように制御する制御部とを有する撮像装置が提供される。

また、本発明の更に他の一観点によれば、第１の光電変換部と、前記第１の光電変換部よりも感度の低い第２の光電変換部と、前記第１の光電変換部又は前記第２の光電変換部で発生した信号電荷に基づく信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、前記複数の画素の各々から信号が読み出される信号出力線と、を有する撮像素子を含む撮像装置の駆動方法であって、前記複数の画素から前記第１の光電変換部において第１の蓄積期間の間に生成された信号電荷に基づく第１の信号を前記信号出力線に読み出すステップと、前記複数の画素から前記第２の光電変換部において前記第１の蓄積期間よりも長い第２の蓄積期間の間に生成された信号電荷に基づく第２の信号を前記信号出力線に読み出すステップとを有し、前記第１の信号を読み出すステップは、前記第２の蓄積期間中に行う撮像装置の駆動方法が提供される。

また、本発明の更に他の一観点によれば、１つの光電変換部と、前記１つの光電変換部で発生した信号電荷に基づく信号をそれぞれ保持する第１及び第２の信号保持部と、前記第１の信号保持部又は前記第２の信号保持部により保持された信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、前記複数の画素の各々から信号が読み出される信号出力線と、を有する撮像素子を含む撮像装置の駆動方法であって、前記複数の画素から、一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される第１の信号を前記信号出力線に読み出すステップと、前記複数の画素から、前記一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される第２の信号を前記信号出力線に読み出すステップとを有し、前記第１の信号を読み出すステップは、前記第２の信号の蓄積期間中に行う撮像装置の駆動方法が提供される。

本発明によれば、１つの撮像素子を用いて蓄積期間の異なる信号に基づく複数の映像を同時に撮影する際に、フレームレートを犠牲にすることなく、これら複数の映像を読み出すことができる。

本発明の第１実施形態による撮像装置を示す外観図である。 本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の内部構造を示す断面図である。 画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。 本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。 撮像素子から出力される映像信号を説明する概略図である。 本発明の第１実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その１）である。 本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その２）である。 本発明の第１実施形態による撮像装置の撮像素子の読み出し回路の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。 図９のＡ−Ｂ線に沿った画素のポテンシャル図である。 撮像素子の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の撮影条件の設定画面を説明する図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のＩＳＯ感度範囲の関係を示す図である。 本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。 本発明の第１実施形態による撮像装置における蓄積制御方法を示すフローチャート図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピードの差異を撮像シーケンス上で説明する図である。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。 スイッチＳＴ、スイッチＭＶを操作して取得された映像のうちの１フレームを示す図である。 クロストーク補正を含む一連の処理手順を示すフローチャートである。 デジタル信号処理部において行われるクロストーク補正処理を説明する図である。 クロストーク補正関数の具体例を示す図である。 クロストーク補正を施した後の映像の一例を示す図である。 表示部上に「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を並べて表示した様子を示す図である。 ストレージに格納された「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の活用例を説明する図である。 本発明の第２実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。 第２実施形態による撮像装置における撮像素子の駆動方法を説明するための図である。 第２実施形態による撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。

［第１実施形態］
本発明の第１実施形態による撮像装置について、図１乃至図２７を用いて説明する。本実施形態では、撮像のための撮影光学系と、撮像素子と、撮像素子から出力される映像信号を処理するための映像処理装置と、を有する撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。
本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、デジタル信号処理部１８７、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。

デジタル信号処理部１８７は、撮像素子１８４から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。デジタル信号処理部１８７が行う補正には、後述するクロストーク補正が含まれる。タイミング発生部１８９は、撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、タイミング発生部１８９とともに、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。

映像メモリ１９０は、映像データを一時的に記憶するためのものである。表示インターフェース部（表示Ｉ／Ｆ）１９１は、撮影された映像を液晶ディスプレイ等の表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部（記録Ｉ／Ｆ）１９２は、記録媒体１９３に記録又は記録媒体から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部（外部Ｉ／Ｆ）１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部（プリントＩ／Ｆ）１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部（無線Ｉ／Ｆ）１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８及びタイミング制御回路３０９を含む。

画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４が設けられている。各列の信号出力線３０４は、当該列に属する画素要素３０３Ａ及び画素要素３０３Ｂに接続されている。信号出力線３０４には、画素要素３０３Ａからの信号と、画素要素３０３Ｂからの信号とが出力される。画素アレイ３０２の各列には、また、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置されている。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号を出力する。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，φＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８は、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８は、各列の信号出力線３０４に接続されている。読み出し回路３０８は、各列の信号出力線３０４を順次選択的に活性化することで、各列の信号出力線３０４の信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８は、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９は、垂直走査回路３０７及び読み出し回路３０８に接続されている。タイミング制御回路３０９は、垂直走査回路３０７及び読み出し回路３０８の駆動タイミングを制御する制御信号を出力する。

図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。

ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。さらに、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。

図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性とを示している。

図５に示すように、特性２６１及び特性２６２は、ともに光線の入射角度ゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、特性２６２のピーク強度ＰＢは、特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。

次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。

撮像素子１８４は、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２から射出される光束を何れの画素においても高効率で受光することが可能となっている。

図７は、撮像素子から出力される映像信号を説明する概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色とを模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、画素要素３０３Ａからの出力と画素要素３０３Ｂからの出力との２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに第１の映像信号「ｐｉｃｔｕｒｅ Ａ」となる。また、出力データ２８３は、所定の信号処理の後に第２の映像信号「ｐｉｃｔｕｒｅ Ｂ」となる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅ Ａ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅ Ｂ」と表記するものとする。なお、「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」は、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についても「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」と表記することがある。

図８は、画素３０３の構成例を示す回路図である。画素３０３は、上述のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３と、リセットトランジスタ３１４と、増幅トランジスタ３１５と、選択トランジスタ３１７とにより構成されている。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３と、リセットトランジスタ３１４と、増幅トランジスタ３１５と、選択トランジスタ３１７とにより構成されている。フローティングディフュージョン領域３１３、リセットトランジスタ３１４、増幅トランジスタ３１５及び選択トランジスタ３１７は、画素要素３０３Ａと画素要素３０３Ｂとで共用されている。これにより、フォトダイオード領域の面積を広くとることが可能となっている。フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応する。

フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ａ，３１１Ｂのドレインは、リセットトランジスタ３１４のソース及び増幅トランジスタ３１５のゲートに接続されている。転送トランジスタ３１１Ａ，３１１Ｂのドレイン、リセットトランジスタ３１４のソース及び増幅トランジスタ３１５のゲートの接続ノードが、フローティングディフュージョン領域３１３を構成する。リセットトランジスタ３１４のドレイン及び増幅トランジスタ３１５のドレインは、電圧ＶＲＥＳが供給される電源線３０５に接続されている。増幅トランジスタ３１５のソースは、選択トランジスタ３１７のドレインに接続されている。画素信号出力部３１６を構成する選択トランジスタ３１７のソースは、信号出力線３０４に接続されている。

各列の画素３０３は、行毎に、垂直走査回路３０７から行方向に配された選択信号線３１８、リセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。選択信号線３１８は、選択トランジスタ３１７のゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４のゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４のゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸ１Ｂを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。

フォトダイオード３１０Ａは光電変換により電荷を生成する第１の光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成する第２の光電変換部である。フローティングディフュージョン領域３１３は、電荷を蓄積する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３に転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３に転送するためのものである。

垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３とが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３とが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４がオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３がリセットされる。

垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａが蓄積する信号電荷はフローティングディフュージョン領域３１３に転送される。すると、増幅トランジスタ３１５は、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３の電圧を増幅する。垂直走査回路３０７からハイレベルの選択パルスφＳＥＬｎが出力されると、選択トランジスタ３１７がオン状態となり、増幅トランジスタ３１５により増幅された電圧が、選択トランジスタ３１７を介して信号出力線３０４に出力される。

同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂが蓄積する信号電荷はフローティングディフュージョン領域３１３に転送される。すると、増幅トランジスタ３１５は、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３の電圧を増幅する。垂直走査回路３０７からハイレベルの選択パルスφＳＥＬｎが出力されると、選択トランジスタ３１７がオン状態となり、増幅トランジスタ３１５により増幅された電圧が、選択トランジスタ３１７を介して信号出力線３０４に出力される。

図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３を示している。リセットトランジスタ３１４、増幅トランジスタ３１５及び選択トランジスタ３１７を含むその他の回路要素は、図面において読み出し回路３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。

図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。

転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。

本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積時間の設定で撮影しつつ、２つの画素要素においては同程度の信号電荷を得て、どちらもＳＮ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。

図１１は、撮像素子１８４の読み出し回路３０８の構成例を示す回路図である。
読み出し回路３０８は、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４に接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８は、また、スイッチ４１４Ａ，４１５Ａ，４１４Ｂ，４１５Ｂ，４１８Ａ，４１８Ｂ，４１９Ａ，４１９Ｂ、容量ＣＴＳＡ，ＣＴＮＡ，ＣＴＳＢ，ＣＴＮＢ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４Ａ，４１５Ａ，４１４Ｂ，４１５Ｂは、それぞれ、容量ＣＴＳＡ，ＣＴＮＡ，ＣＴＳＢ，ＣＴＮＢへの画素信号の書き込みを制御するスイッチである。スイッチ４１４Ａは、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５Ａは、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。スイッチ４１４Ｂは、信号ＰＴＳＢで制御されるスイッチであり、信号ＰＴＳＢがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＢとを接続する。スイッチ４１５Ｂは、信号ＰＴＮＢで制御されるスイッチであり、信号ＰＴＮＢがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＢとを接続する。

スイッチ４１８Ａ，４１９Ａ，４１８Ｂ，４１９Ｂは、容量ＣＴＳＡ，ＣＴＮＡ，ＣＴＳＢ，ＣＴＮＢに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８Ａ，４１９Ａ，４１８Ｂ，４１９Ｂは、水平シフトレジスタからの制御信号に応じてオン状態になる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８Ａ及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９Ａ及び水平出力線４２５を介して出力アンプ４２１に出力される。同様に、容量ＣＴＳＢに書き込まれた信号は、スイッチ４１８Ｂ及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＢに書き込まれた信号は、スイッチ４１９Ｂ及び水平出力線４２５を介して出力アンプ４２１に出力される。

信号ＰＣ０Ｒ、信号ＰＴＮＡ、信号ＰＴＳＡ、信号ＰＴＮＢ、信号ＰＴＳＢは、制御手段であるシステム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

次に、本実施形態による撮像装置の駆動方法について、図１２のタイミングチャートを用いて説明する。ここでは、撮像素子１８４がｍ行の画素アレイ３０２を有する場合を想定する。図１２は、同一のラインに配置された画素３０３の画素要素３０３Ａを構成するフォトダイオード３１０Ａと画素要素３０３Ｂを構成するフォトダイオード３１０Ｂとの蓄積開始タイミングが同一になるように制御する場合の例である。

まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに供給する転送パルスφＴＸ１Ａ，φＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態になる。このとき、垂直走査回路３０７からリセット制御線３１９にはハイレベルのリセットパルスφＲＥＳ１が供給されており、リセットトランジスタ３１４もオン状態である。これにより、第１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態になる。この際、フローティングディフュージョン領域３１３も、リセット状態になる。

次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態となり、第１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂでは光電変換による信号電荷の蓄積が開始する。すなわち、時刻ｔ２が、第１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂの蓄積期間の始期となる。
次いで、同様の手順を繰り返し行い、第２行目から第ｍ−１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂにおける信号電荷の蓄積を、順次開始する。

次いで、時刻ｔ３において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに供給する転送パルスφＴＸｍＡ，φＴＸｍＢを、ローレベルからハイレベルへと遷移する。これにより、第１行目と同様に、第ｍ行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂをリセットする。

次いで、時刻ｔ４において、垂直走査回路３０７は、転送パルスφＴＸｍＡ，φＴＸｍＢをハイレベルからローレベルへと遷移する。これにより、第ｍ行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂでの信号電荷の蓄積を開始する。すなわち、時刻ｔ４が、第ｍ行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂの蓄積期間の始期となる。

次いで、時刻ｔ５において、垂直走査回路３０７は、選択信号線に供給する選択パルスφＳＥＬ１をローレベルからハイレベルへと遷移し、第１行目の画素３０３の選択トランジスタ３１７をオン状態にする。これにより、第１行目の画素３０３を選択する。

次いで、時刻ｔ６において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、第１行目の画素３０３のリセットトランジスタ３１４をオフ状態とし、フローティングディフュージョン領域３１３のリセットを解除する。これにより、フローティングディフュージョン領域３１３の電位が、リセット信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。

時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８にはハイレベルの信号ＰＣ０Ｒが供給されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８には、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態でリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。これにより、読み出し回路３０８では、リセット信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ８において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５Ａをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。

次いで、時刻ｔ９において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５Ａをオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。

次いで、時刻ｔ１０において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３に転送する。

次いで、時刻ｔ１１において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３への読み出しを終了する。すなわち、時刻ｔ１１が、第１行目の画素３０３のフォトダイオード３１０Ａの蓄積期間の終期となる。第１行目の画素３０３のフォトダイオード３１０Ａの蓄積期間は、時刻ｔ２から時刻ｔ１１である。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３の電位が、光信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。そして、読み出し回路３０８では、光信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ１２において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４Ａをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。

次いで、時刻ｔ１３において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４Ａをオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。

次いで、時刻ｔ１４において、垂直走査回路３０７は、選択パルスφＳＥＬ１をハイレベルからローレベルへと遷移し、第１行目の画素３０３の選択トランジスタ３１７をオフ状態にし、第１行目の画素３０３の選択を解除する。

この後、水平シフトレジスタからの信号を受けてスイッチ４１８Ａ，４１９Ａが列毎に順次オン状態になる。これにより、容量ＣＴＳＡに書き込まれた信号は水平出力線４２４を介して、また、容量ＣＴＮＡに書き込まれた信号は水平出力線４２５を介して、それぞれ出力アンプ４２１に入力される。

このようにして、第１行目の各列の画素３０３の画素要素３０３Ａからの読み出しを行う。

次いで、上述した第１行目の各列の画素３０３の画素要素３０３Ａからの読み出しと同様にして、第２行目から第ｍ−１行目の各列の画素３０３の画素要素３０３Ａからの読み出しを行う。

次いで、時刻ｔ１５において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４をオン状態にする。これにより、フローティングディフュージョン領域３１３は、リセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態となる。

次いで、時刻ｔ１６において、タイミング発生部１８９は、信号ＰＣ０Ｒをローレベルからハイレベルへと遷移し、スイッチ４２３をオン状態にする。これにより、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態になる。

次いで、時刻ｔ１７において、垂直走査回路３０７は、選択パルスφＳＥＬｍをローレベルからハイレベルへと遷移し、第ｍ行目の画素３０３の選択トランジスタ３１７をオン状態にする。これにより、第ｍ行目の画素３０３を選択する。

次いで、時刻ｔ１８において、垂直走査回路３０７は、リセットパルスφＲＥＳｍをハイレベルからローレベルへと遷移する。これにより、第ｍ行目の画素３０３のリセットトランジスタ３１４をオフ状態とし、フローティングディフュージョン領域３１３のリセットを解除する。これにより、フローティングディフュージョン領域３１３の電位が、リセット信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。

時刻ｔ１８において、タイミング発生部１８９から読み出し回路３０８にはハイレベルの信号ＰＣ０Ｒが供給されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８には、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態でリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ１９において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。これにより、読み出し回路３０８では、リセット信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ２０において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５Ａをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。

次いで、時刻ｔ２１において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５Ａをオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。

次いで、時刻ｔ２２において、垂直走査回路３０７は、転送パルスφＴＸｍＡをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３に転送する。

次いで、時刻ｔ２３において、垂直走査回路３０７は、転送パルスφＴＸｍＡをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３への読み出しを終了する。すなわち、時刻ｔ２３が、第ｍ行目の画素３０３のフォトダイオード３１０Ａの蓄積期間の終期となる。第ｍ行目の画素３０３のフォトダイオード３１０Ａの蓄積期間は、時刻ｔ４から時刻ｔ２３である。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３の電位が、光信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。そして、読み出し回路３０８では、光信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ２４において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４Ａをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。

次いで、時刻ｔ２５において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４Ａをオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。

次いで、時刻ｔ２６において、垂直走査回路３０７は、選択パルスφＳＥＬｍをハイレベルからローレベルへと遷移し、第ｍ行目の画素３０３の選択トランジスタ３１７をオフ状態にし、第ｍ行目の画素３０３の選択を解除する。

この後、水平シフトレジスタからの信号を受けてスイッチ４１８Ａ，４１９Ａが列毎に順次オン状態になる。これにより、容量ＣＴＳＡに書き込まれた信号は水平出力線４２４を介して、また、容量ＣＴＮＡに書き込まれた信号は水平出力線４２５を介して、それぞれ出力アンプ４２１に入力される。

このようにして、第ｍ行目の各列の画素３０３の画素要素３０３Ａからの読み出しを行う。

上述した第１行目から第ｍ行目までの画素３０３の画素要素３０３Ａからの読み出しは、画素要素３０３Ｂの蓄積期間中に行われる。つまり、以降に実施する画素要素３０３Ｂからの読み出しの前に、画素要素３０３Ａからの読み出しは終了する。したがって、画素要素３０３Ａの読み出し動作が画素要素３０３Ｂの読み出しのフレームレートに影響を与えることはない。

次いで、時刻ｔ２７において、垂直走査回路３０７は、リセットパルスφＲＥＳｍをローレベルからハイレベルへと遷移し、リセットトランジスタ３１４をオン状態にする。これにより、フローティングディフュージョン領域３１３は、リセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態になる。

次いで、時刻ｔ２８において、タイミング発生部１８９は、信号ＰＣ０Ｒをローレベルからハイレベルへと遷移し、スイッチ４２３をオン状態にする。これにより、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態になる。

次いで、画素要素３０３Ａからの読み出しが終了し、画素要素３０３Ｂの蓄積時間に応じた所定の時間が経過した後、画素要素３０３Ｂからの読み出しを開始する。

所定の時間が経過した後の時刻ｔ２９において、垂直走査回路３０７は、選択パルスφＳＥＬ１をローレベルからハイレベルへと遷移し、第１行目の画素３０３の選択トランジスタ３１７をオン状態にする。これにより、第１行目の画素３０３を選択する。

次いで、時刻ｔ３０において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、第１行目の画素３０３のリセットトランジスタ３１４をオフ状態とし、フローティングディフュージョン領域３１３のリセットを解除する。これにより、フローティングディフュージョン領域３１３の電位が、リセット信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。

時刻ｔ３０において、タイミング発生部１８９から読み出し回路３０８にはハイレベルの信号ＰＣ０Ｒが供給されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８には、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態でリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ３１において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。これにより、読み出し回路３０８では、リセット信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ３２において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５Ｂをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ３３において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５Ｂをオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

次いで、時刻t３４において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３に転送する。

次いで、時刻ｔ３５において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３への読み出しを終了する。すなわち、時刻ｔ３５が、第１行目の画素３０３のフォトダイオード３１０Ｂの蓄積期間の終期となる。第１行目の画素３０３のフォトダイオード３１０Ｂの蓄積期間は、時刻ｔ２から時刻ｔ３５である。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３の電位が、光信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。そして、読み出し回路３０８では、光信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対し反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

本実施形態による撮像装置の駆動方法では、画素要素３０３Ｂのフォトダイオード３１０Ｂの蓄積時間は一定とする。フォトダイオード３１０Ｂの蓄積時間は、後述するように、コマ送りのような、いわゆるジャーキネスが抑制された高品位な動画が得られるように、適宜設定される。

画素要素３０３Ａのフォトダイオード３１０Ａの蓄積タイミングを制御するためのパラメータである第２の設定時間Ｔ２は、例えば画素要素３０３Ｂのフォトダイオード３１０Ｂの蓄積時間の半分、すなわち、Ｔ２＝（ｔ３５−ｔ２）／２、に設定される。第２の設定時間Ｔ２を用いた画素要素３０３Ａのフォトダイオード３１０Ａの蓄積タイミングの制御方法については、後述する。

次いで、時刻ｔ３６において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４Ｂをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ３７において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４Ｂをオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ３８において、垂直走査回路３０７は、選択パルスφＳＥＬ１をハイレベルからローレベルへと遷移し、第１行目の画素３０３の選択トランジスタ３１７をオフ状態にし、第１行目の画素３０３の選択を解除する。

この後、水平シフトレジスタからの信号を受けてスイッチ４１８Ｂ，４１９Ｂが列毎に順次オン状態になる。これにより、容量ＣＴＳＢに書き込まれた信号は水平出力線４２４を介して、また、容量ＣＴＮＢに書き込まれた信号は水平出力線４２５を介して、それぞれ出力アンプ４２１に入力される。

このようにして、第１行目の各列の画素３０３の画素要素３０３Ｂからの読み出しを行う。

次いで、時刻ｔ３９において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４をオン状態にする。これにより、フローティングディフュージョン領域３１３は、リセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態になる。

次いで、時刻ｔ４０において、タイミング発生部１８９は、信号ＰＣ０Ｒをローレベルからハイレベルへと遷移し、スイッチ４２３をオン状態にする。これにより、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態になる。

次いで、時刻ｔ４１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに供給する転送パルスφＴＸ１Ａ，φＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態になる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が供給されており、リセットトランジスタ３１４もオン状態である。これにより、第１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態になる。この際、フローティングディフュージョン領域３１３も、リセット状態になる。

次いで、時刻ｔ４２において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態となり、第１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂでは光電変換による信号電荷の蓄積が開始する。さらに、各行の画素３０３のフォトダイオード３１０Ａ，３１０Ｂの蓄積を順次開始する。すなわち、時刻ｔ４２が、第１行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂの次フレームの蓄積期間の始期となる。

次いで、上述した第１行目の各列の画素３０３の画素要素３０３Ｂからの読み出しと同様にして、第２行目から第ｍ−１行目の各列の画素３０３の画素要素３０３Ｂからの読み出しを行う。

次いで、時刻ｔ４３において、垂直走査回路３０７は、選択パルスφＳＥＬｍをローレベルからハイレベルへと遷移し、第ｍ行目の画素３０３の選択トランジスタ３１７をオン状態にする。これにより、第１行目の画素３０３を選択する。

次いで、時刻ｔ４４において、垂直走査回路３０７は、リセットパルスφＲＥＳｍをハイレベルからローレベルへと遷移する。これにより、第ｍ行目の画素３０３のリセットトランジスタ３１４をオフ状態とし、フローティングディフュージョン領域３１３のリセットを解除する。これにより、フローティングディフュージョン領域３１３の電位が、リセット信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。

時刻ｔ４４において、タイミング発生部１８９から読み出し回路３０８にはハイレベルの信号ＰＣ０Ｒが供給されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８には、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態でリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ４５において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。これにより、読み出し回路３０８では、リセット信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ４６において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５Ｂをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ４７において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５Ｂをオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

時刻ｔ４８において、垂直走査回路３０７は、転送パルスφＴＸｍＢをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３に転送する。

次いで、時刻ｔ４９において、垂直走査回路３０７は、転送パルスφＴＸｍＢをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３への読み出しを終了する。すなわち、時刻ｔ４９が、第ｍ行目の画素３０３のフォトダイオード３１０Ｂの蓄積期間の終期となる。第ｍ行目の画素３０３のフォトダイオード３１０Ｂの蓄積期間は、時刻ｔ４から時刻ｔ４９である。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３の電位が、光信号レベルとして、増幅トランジスタ３１５及び選択トランジスタ３１７を介して信号出力線３０４に読み出され、読み出し回路３０８に入力される。そして、読み出し回路３０８では、光信号レベルの画素信号に対してクランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対し反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ５０において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４Ｂをオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ５１において、タイミング発生部１８９から読み出し回路３０８に供給する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４Ｂをオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ５２において、垂直走査回路３０７は、選択パルスφＳＥＬｍをハイレベルからローレベルへと遷移し、第ｍ行目の画素３０３の選択トランジスタ３１７をオフ状態にし、第ｍ行目の画素３０３の選択を解除する。

この後、水平シフトレジスタからの信号を受けてスイッチ４１８Ｂ，４１９Ｂが列毎に順次オン状態になる。これにより、容量ＣＴＳＢに書き込まれた信号は水平出力線４２４を介して、また、容量ＣＴＮＢに書き込まれた信号は水平出力線４２５を介して、それぞれ出力アンプ４２１に入力される。

このようにして、第ｍ行目の各列の画素３０３の画素要素３０３Ｂからの読み出しを行う。

次いで、時刻ｔ５３において、垂直走査回路３０７は、リセットパルスφＲＥＳｍをローレベルからハイレベルへと遷移し、リセットトランジスタ３１４をオン状態にする。これにより、フローティングディフュージョン領域３１３は、リセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態になる。

次いで、時刻ｔ５４において、タイミング発生部１８９は、信号ＰＣ０Ｒをローレベルからハイレベルへと遷移し、スイッチ４２３をオン状態にする。これにより、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態になる。

次いで、時刻ｔ５５において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに供給する転送パルスφＴＸｍＡ，φＴＸｍＢを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態になる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳｍが出力されており、リセットトランジスタ３１４もオン状態である。これにより、第ｍ行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４を介して電源線３０５に接続され、リセット状態になる。この際、フローティングディフュージョン領域３１３も、リセット状態になる。

次いで、時刻ｔ５６において、垂直走査回路３０７は、転送パルスφＴＸｍＡ，φＴＸｍＢをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態となり、第ｍ行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂでは光電変換による信号電荷の蓄積が開始する。すなわち、時刻ｔ５６が、第ｍ行目の画素３０３のフォトダイオード３１０Ａ，３１０Ｂの次フレームの蓄積期間の始期となる。

画素要素３０３Ａのフォトダイオード３１０Ａの蓄積タイミングを制御するためのパラメータである第１の設定時間Ｔ１は、例えば総ての画素要素３０３Ｂを読み出す期間に相当する時間、すなわち、Ｔ１＝ｔ５６−ｔ３５、に設定される。第１の設定時間Ｔ１を用いた画素要素３０３Ａのフォトダイオード３１０Ａの蓄積タイミングの制御方法については、後述する。

図１３は、図９のＡ−Ｂ線に沿った画素３０３のポテンシャル図である。図１３（ａ）は図１２の時刻ｔａにおけるポテンシャル図、図１３（ｂ）は図１２の時刻ｔｂにおけるポテンシャル図、図１３（ｃ）は図１２の時刻ｔｃにおけるポテンシャル図である。

時刻ｔａにおいては、図１３（ａ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、フォトダイオード３１０Ａ，３１０Ｂには、それぞれ信号蓄積レベル３２３Ａ，３２３Ｂの信号電荷が蓄積されている。前述のように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとでは受光効率が異なるため、同時刻における信号蓄積レベル３２３Ａは信号蓄積レベル３２３Ｂよりも高い。

時刻ｔｂにおいては、図１３（ｂ）に示すように、転送トランジスタ３１１Ａはオン状態である。この場合、転送トランジスタ３１１Ａのポテンシャル障壁が低くなり、フォトダイオード３１０Ａに蓄積されていた信号電荷はフローティングディフュージョン領域３１３に転送される。このとき、転送トランジスタ３１１Ａのポテンシャル障壁の低下によって、分離部３２２のポテンシャル障壁も低くなる。しかしながら、転送トランジスタ３１１Ａのポテンシャル障壁が十分小さくなっているため、このタイミングでフォトダイオード３１０Ａに蓄積された信号電荷が分離部３２２を介して隣接するフォトダイオード３１０Ｂへ漏れる現象はほとんど生じない。

時刻ｔｃにおいては、図１３（ｃ）に示すように、転送トランジスタ３１１Ｂはオン状態である。この場合、転送トランジスタ３１１Ｂのポテンシャル障壁が低くなり、フォトダイオード３１０Ｂに蓄積されていた信号電荷がフローティングディフュージョン領域３１３に転送される。このとき、フォトダイオード３１０Ａに蓄積されていた信号電荷は、読み出し回路３０８に読み出されている。また、転送トランジスタ３１１Ｂのポテンシャル障壁の低下によって、分離部３２２のポテンシャル障壁も低くなる。しかしながら、転送トランジスタ３１１Ｂのポテンシャル障壁が十分小さくなっているため、このタイミングでフォトダイオード３１０Ｂに蓄積された信号電荷が分離部３２２を介して隣接するフォトダイオード３１０Ａへ漏れる現象はほとんど生じない。

図１４は、撮像素子１８４の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。画素３０３に入射する光束４５１は、まずカラーフィルタ２５６に入射して所定の波長成分がここで吸収され、絶縁層２５４の最上部にあたる界面不活性化膜（図示せず）を通過し、ライトガイド２５５に入射する。ライトガイド２５５内では、図５を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束４５１は、ライトガイド２５５と絶縁層２５４との屈折率差によってライトガイド２５５の内部に閉じ込められたままシリコン基板２５１側に進み、ライトガイド２５５の底部分に達する。ライトガイド２５５の底部分はシリコン基板２５１に隣接し、ライトガイド２５５を射出した光束はシリコン基板２５１に入射する。シリコン基板２５１内に隣接して設けられたフォトダイオード３１０Ａとフォトダイオード３１０Ｂとは、ライトガイド２５５に対して大きく偏心して配置されている。このため、ライトガイド２５５を射出した光束のうちの大部分の光束４５２がフォトダイオード３１０Ａへ入射し、ライトガイド２５５を射出した光束のうちの残りの一部分の光束４５３がフォトダイオード３１０Ｂへ入射する。フォトダイオード３１０Ａ，３１０Ｂでは、入射した光子が信号電荷へと変換される。

この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３１０Ａで発生した信号電荷４５４は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また。フォトダイオード３１０Ｂで発生した信号電荷４５５は、拡散によってフォトダイオード３１０Ａに漏れ込む。この現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。

図１５は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との間のＩＳＯ感度範囲には、３段の差がある。図１６に示すように、「ｐｉｃｔｕｒｅ Ａ」はＩＳＯ１００〜ＩＳＯ１０２４００、「ｐｉｃｔｕｒｅ Ｂ」はＩＳＯ１２〜ＩＳＯ１２８００となっている。

図１７は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡＶ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。「ｐｉｃｔｕｒｅ Ａ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、「ｐｉｃｔｕｒｅ Ｂ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図１７において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図１７を用いて説明する。

まず、Ｂｖ１３のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度はＩＳＯ１００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。

Ｂｖ１０のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。

Ｂｖ６のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度はＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

Ｂｖ５のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ２５に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、「ｐｉｃｔｕｒｅ Ａ」、「ｐｉｃｔｕｒｅ Ｂ」ともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において「ｐｉｃｔｕｒｅ Ａ」は１／１０００以上のシャッタースピードを保ち、「ｐｉｃｔｕｒｅ Ｂ」は多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、「ｐｉｃｔｕｒｅ Ａ」ではストップモーション効果を得つつ、「ｐｉｃｔｕｒｅ Ｂ」ではコマ送りのような、いわゆるジャーキネスが抑制された高品位な動画を得ることができる。

一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが現れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することになる。

単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

図１８は、本実施形態による撮像装置の駆動方法を示すフローチャートである。本実施形態による撮像装置の駆動方法では、画素要素３０３Ａの蓄積時間に応じて、画素要素３０３Ａの読み出しの有無や、画素要素３０３Ａの蓄積開始タイミング又は蓄積終了タイミングを変更する。具体的には、図１８に示すステップＳ１０１からステップＳ１０８の手順に従い、画素要素３０３Ａ，３０３Ｂの蓄積及び読み出しを実施する。

まず、被写体の輝度が検出されると、ステップＳ１０１において、検出された被写体の輝度に応じて、画素要素３０３Ａの蓄積時間Ｔｋが設定される。

次いで、ステップＳ１０２において、設定された画素要素３０３Ａの蓄積時間Ｔｋが、第２の設定時間Ｔ２よりも長いかどうかを判定する。ここでは、第２の設定時間Ｔ２は、画素要素３０３Ｂの蓄積時間の半分の時間に設定するものとする。第２の設定時間Ｔ２は、必ずしも画素要素３０３Ｂの蓄積時間の半分の時間である必要はなく、一例では、ストップモーション効果を期待できる最長の蓄積時間として規定することができる。

画素要素３０３Ａの蓄積時間Ｔｋが第２の設定時間Ｔ２よりも長い場合（図１８中、「ｙｅｓ」）、ステップＳ１０３へ移行する。この場合、画素要素Ａの出力から得られる「ｐｉｃｔｕｒｅ Ａ」にはストップモーション効果を期待できないため、画素要素３０３Ａからの読み出しを中止し（ステップＳ１０３）、ステップＳ１０８へ移行する。

一方、画素要素３０３Ａの蓄積時間Ｔｋが第２の設定時間Ｔ２以下の場合（図１８中、「ｎｏ」）、ステップＳ１０４へ移行する。

ステップＳ１０４では、画素要素３０３Ａの蓄積時間Ｔｋが第１の設定時間Ｔ１以下であるかどうかを判定する。ここでは、第１の設定時間Ｔ１は、撮像素子１８４の総ての画素要素３０３Ｂを読み出すのに要する期間（例えば、時刻ｔ３５から時刻ｔ５６の期間）に相当する時間に設定するものとする。

画素要素３０３Ａの蓄積時間ＴＫが第１の設定時間Ｔ１以下の場合（図１８中、「ｙｅｓ」）、ステップＳ１０５へ移行する。ステップＳ１０５において、制御手段は、画素要素３０３Ａの蓄積期間が、前フレームの画素要素３０３Ｂの読み出し期間よりも後に終了するように、画素要素３０３Ａの蓄積期間を設定する。一例では、第１行目の画素要素３０３Ａの蓄積期間の終了するタイミングが、第ｍ行目の画素要素３０３Ｂの蓄積期間の開始するタイミングと一致するように、画素要素３０３Ａの蓄積期間を設定する。すなわち、画素要素３０３Ａの蓄積期間の終了タイミングを、画素要素３０３Ｂの蓄積期間に応じた所定時刻に固定するように、画素要素３０３Ａの蓄積期間を設定する。

一方、画素要素３０３Ａの蓄積時間ＴＫが第１の設定時間Ｔ１よりも長い場合（図１８中、「ｎｏ」）、ステップＳ１０６へ移行する。ステップＳ１０６において、制御手段は、画素要素３０３Ａの蓄積期間が、前フレームの画素要素３０３Ｂの読み出し期間中に終了しないように、画素要素３０３Ａの蓄積期間を設定する。一例では、第１行目の画素要素３０３Ａの蓄積期間の開始するタイミングが、第１行目の画素要素３０３Ｂの蓄積期間の開始するタイミングと一致するように、画素要素３０３Ａの蓄積期間を設定する。すなわち、画素要素３０３Ａの蓄積期間の開始タイミングを、画素要素３０３Ｂの蓄積期間に応じた所定時刻に固定するように、画素要素３０３Ａの蓄積期間を設定する。

このようにして、ステップＳ１０５又はステップＳ１０６において画素要素３０３Ａの蓄積期間を設定した後、ステップＳ１０７へ移行する。

画素要素３０３Ａの蓄積タイミングが設定されると、制御手段は、ステップＳ１０７において、画素要素３０３Ａの蓄積及び読み出しを実行する。画素要素３０３Ａの蓄積及び読み出しが終了した後、ステップＳ１０８へ移行する。

次いで、ステップＳ１０８において、制御手段は、画素要素３０３Ｂの蓄積及び読み出しを実行する。

ステップＳ１０５及びステップＳ１０６における画素要素３０３Ａの蓄積期間の設定手法について、図１９を用いてより詳細に説明する。図１９は、画素要素３０３Ａの出力である「ｐｉｃｔｕｒｅ Ａ」と画素要素３０３Ｂの出力である「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、Ｖ同期信号４８１、「ｐｉｃｔｕｒｅ Ａ」の蓄積期間４８２，４８３、「ｐｉｃｔｕｒｅ Ｂ」の蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。

図１９（ａ）は、画素要素３０３Ａの蓄積時間Ｔｋが第１の設定時間Ｔ１以下の場合（Ｔｋ≦Ｔ１）における撮像シーケンスの一例である。図１９（ａ）において、蓄積期間４８２は、「ｐｉｃｔｕｒｅ Ａ」の画面上端ライン（第１ライン）の蓄積期間であり、蓄積期間４８３は、「ｐｉｃｔｕｒｅ Ａ」の画面下端ライン（第ｍライン）の蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると、信号電荷は読み出し回路３０８により順次読み出される。時刻ｔ６０から時刻ｔ４までが蓄積期間４８２であり、時刻ｔ６１から時刻ｔ２３が蓄積期間４８３である。

また、蓄積期間４８４は、「ｐｉｃｔｕｒｅ Ｂ」の画面上端ライン（第１ライン）の蓄積期間であり、蓄積期間４８５は、「ｐｉｃｔｕｒｅ Ｂ」の画面下端ライン（第ｍライン）の蓄積期間である。「ｐｉｃｔｕｒｅ Ｂ」においても「ｐｉｃｔｕｒｅ Ａ」と同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると、信号電荷は読み出し回路３０８により順次読み出される。時刻ｔ２から時刻ｔ３５までが蓄積期間４８４であり、時刻ｔ４から時刻ｔ４９までが蓄積期間４８５である。本実施形態による撮像装置の駆動方法において、「ｐｉｃｔｕｒｅ Ｂ」の蓄積時間は固定である。

ここで、Ｔｋ≦Ｔ１の場合に、例えば画素要素３０３Ａの蓄積期間と画素要素３０３Ｂの蓄積期間の開始タイミングを同じにすると、前フレームの画素要素３０３Ｂの読み出しが終了する前に画素要素３０３Ａの読み出しが開始する虞がある。例えば、蓄積期間４８２を時刻ｔ２に開始すると、時刻ｔ４よりも前に蓄積期間４８２が終了する。この場合、画素要素３０３Ａの読み出し期間と前フレームの画素要素３０３Ｂの読み出し期間とが重なり、画素要素３０３Ｂの読み出しのフレームレートに影響を与えることになる。

そこで、本実施形態による撮像装置の駆動方法では、ステップＳ１０６において、画素要素３０３Ａの蓄積期間の終了タイミングを、画素要素３０３Ｂの蓄積期間の開始タイミングに応じて設定する。一例では、図１９（ａ）に示すように、第１行目の画素要素３０３Ａの蓄積期間の終了タイミングが、第ｍ行目の画素要素３０３Ｂの蓄積期間の開始タイミングと同じになるように、画素要素３０３Ａの蓄積期間を設定する。なお、第ｍ行目の画素要素３０３Ｂの蓄積期間の開始のタイミングは、画素要素３０３Ｂの前フレームの読み出し期間の終了のタイミングでもある。こうすることで、画素要素３０３Ａの蓄積期間が前フレームの画素要素３０３Ｂの読み出し期間よりも後に終了するようになり、画素要素３０３Ｂの読み出しのフレームレートに影響を与えることを防止することができる。

なお、第１行目の画素要素３０３Ａの蓄積期間の終了タイミングは、第ｍ行目の画素要素３０３Ａの読み出しが時刻ｔ３５までに終了するタイミングであれば、第ｍ行目の画素要素３０３Ｂの蓄積期間の開始タイミング以降でもよい。例えば、画素要素３０３Ａの蓄積期間が、画素要素３０３Ｂの蓄積期間の中間近傍に終了するように、画素要素３０３Ａの蓄積期間の終了タイミングを設定することも有効である。こうすることには、画素要素３０３Ａの蓄積時間の重心位置と、画素要素３０３Ｂの蓄積時間の重心位置とを近づける効果がある。

図１９（ｂ）は、画素要素３０３Ａの蓄積時間Ｔｋが第１の設定時間Ｔ１よりも長い場合（Ｔｋ＞Ｔ１）における撮像シーケンスの一例である。図１９（ｂ）において、蓄積期間４８２は、「ｐｉｃｔｕｒｅ Ａ」の画面上端ライン（第１ライン）の蓄積期間であり、蓄積期間４８３は、「ｐｉｃｔｕｒｅ Ａ」の画面下端ライン（第ｍライン）の蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると、信号電荷は読み出し回路３０８により順次読み出される。時刻ｔ２から時刻ｔ１１までが蓄積期間４８２であり、時刻ｔ４から時刻ｔ２３までが蓄積期間４８３である。

また、蓄積期間４８４は、「ｐｉｃｔｕｒｅ Ｂ」の画面上端ライン（第１ライン）の蓄積期間であり、蓄積期間４８５は、「ｐｉｃｔｕｒｅ Ｂ」の画面下端ライン（第ｍライン）の蓄積期間である。「ｐｉｃｔｕｒｅ Ｂ」においても「ｐｉｃｔｕｒｅ Ａ」と同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると、信号電荷は読み出し回路３０８により順次読み出される。時刻ｔ２から時刻ｔ３５までが蓄積期間４８４であり、時刻ｔ４から時刻ｔ４９までが蓄積期間４８５である。本実施形態による撮像装置の駆動方法において、「ｐｉｃｔｕｒｅ Ｂ」の蓄積時間は固定である。

ここで、Ｔｋ＞Ｔ１の場合に、画素要素３０３Ａの蓄積期間を画素要素３０３Ｂの蓄積期間よりも先に開始すると、前フレームの画素要素３０３Ｂの読み出しが終了する前に画素要素３０３Ａの読み出しが開始する虞がある。例えば、蓄積期間４８２を時刻ｔ２よりも前に開始すると、時刻ｔ４よりも前に蓄積期間４８２が終了する時刻ｔ１１が到来することが考えられる。この場合、画素要素３０３Ａの読み出し期間と前フレームの画素要素３０３Ｂの読み出し期間とが重なり、画素要素３０３Ｂの読み出しのフレームレートに影響を与えることになる。

そこで、本実施形態による撮像装置の駆動方法では、ステップＳ１０５において、画素要素３０３Ａの蓄積期間の開始タイミングを、画素要素３０３Ｂの蓄積期間の開始タイミングに応じて設定する。一例では、図１９（ｂ）に示すように、画素要素３０３Ａの蓄積期間の開始タイミングが、画素要素３０３Ｂの蓄積期間の開始タイミングと同じになるように、画素要素３０３Ａの蓄積期間を設定する。こうすることで、画素要素３０３Ａの蓄積期間が前フレームの画素要素３０３Ｂの読み出し期間よりも後に終了するようになり、画素要素３０３Ｂの読み出しのフレームレートに影響を与えることを防止することができる。

なお、第１行目の画素要素３０３Ａの蓄積期間の開始タイミングは、第ｍ行目の画素要素３０３Ａの読み出しが時刻ｔ３５までに終了するタイミングであれば、第１行目の画素要素３０３Ｂの蓄積期間の開始タイミング以降でもよい。例えば、画素要素３０３Ａの蓄積期間が、画素要素３０３Ｂの蓄積期間の中間近傍に終了するように、画素要素３０３Ａの蓄積期間の開始タイミングを設定することも有効である。こうすることには、画素要素３０３Ａの蓄積時間の重心位置と、画素要素３０３Ｂの蓄積時間の重心位置とを近づける効果がある。

このように、本実施形態による撮像装置の駆動方法では、画素要素３０３Ａの読み出し期間と画素要素３０３Ｂの読み出し期間とが重ならないように、画素要素３０３Ａの蓄積期間を制御している。より具体的には、画素要素３０３Ａの読み出しを、画素要素３０３Ｂの蓄積時間中であって、画素要素３０３Ｂの読み出しを行う前に終了する。これにより、画素要素３０３Ａの読み出しが画素要素３０３Ｂの読み出しのフレームレートに影響を与えることはない。

図２０は、撮像装置１００に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでの「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。

図２１は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得し映像のうちの１フレームを示したものである。図２１（ａ）は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ａ」の映像である。図２１（ｂ）は、シャッタースピード１／６０、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ｂ」の映像である。図２１（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてジャーキネスが抑制された滑らかな高品位な映像となる。一方、図２１（ａ）に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図１４を用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図２１（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図２１（ｂ）に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。

そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子１８４から出力された映像信号に対してクロストーク補正を施す。

図２２は、クロストーク補正を含む一連の処理手順を示すフローチャートである。本実施形態による撮像装置１００における撮像から記録までの処理は、例えば図２２に示すステップＳ１５１〜ステップＳ１５５により実行される。

ステップＳ１５１においては、スイッチＭＶ１５５の操作に応じて、図１２を用いて説明したシーケンスに従い、フォトダイオード３１０Ａ，３１０Ｂへの信号電荷の蓄積と信号電荷の読み出しとを行う。

ステップＳ１５３では、シリコン基板内部で発生した信号電荷が隣接画素要素に漏れ込んだことにより生じたクロストークを低減するための補正（クロストーク補正）を行う。クロストーク補正は、デジタル信号処理部１８７において行われる。すなわち、デジタル信号処理部１８７は、クロストーク補正部として機能する。

ステップＳ１５４では、現像と、必要に応じて圧縮処理を行う。なお、現像処理では、一連の処理のうちの１つとしてガンマ補正が行われる。ガンマ補正とは、入力された光量分布に対してガンマ関数を施す処理である。この結果、入力された光量分布に対してその出力は線形性が保たれず、クロストークの比もその時の光量によって変わってきてしまう。このため、クロストーク補正は、図２１に示すように、ステップＳ１５４よりも前段階で行うことが望ましい。なお、現像後にクロストーク補正を行うばあいには、光量の大きさによってクロストーク処理を変更し、或いは、映像信号そのものを逆ガンマ補正してからクロストーク補正を行うようにすればよい。

ステップＳ１５５では、記録媒体１９３への映像の記録を行う。記録媒体１９３に記録する代わりに或いは記録媒体１９３への記録とともに、無線インターフェース部１９８を介してネットワーク上の記録装置等に保存するようにしてもよい。

図２３は、ステップＳ１５３でデジタル信号処理部１８７において行われるクロストーク補正処理を説明するための図である。実際の処理は、デジタル信号処理として実行される。

デジタル信号処理部１８７において、Ａ／Ｄ変換処理が施された後の信号４７１Ａは、クロストーク量補正部４７３Ａに入力され、また、クロストーク量演算部４７２Ａを介してクロストーク量補正部４７３Ｂに入力される。同様に、デジタル信号処理部１８８において、Ａ／Ｄ変換処理が施された後の信号４７１Ｂは、クロストーク量補正部４７３Ｂに入力され、また、クロストーク量演算部４７２Ｂを介してクロストーク量補正部４７３Ａに入力される。

クロストーク量補正部４７３Ａでは、信号４７１Ａと、クロストーク量演算部４７２Ｂにおいてクロストーク補正関数ｇｉｊ（ｎ）により所定の演算が施された後の信号４７１Ｂとに基づき、信号４７１Ａのクロストーク補正を行い、出力信号４７４Ａを得る。出力信号４７４Ａに対しては、デジタル信号処理部１８７における後段の処理である現像や圧縮処理が施される。

クロストーク量補正部４７３Ｂでは、信号４７１Ｂと、クロストーク量演算部４７２Ａにおいてクロストーク補正関数ｆｉｊ（ｎ）により所定の演算が施された後の信号４７１Ａとに基づき、信号４７１Ｂのクロストーク補正を行い、出力信号４７４Ｂを得る。出力信号４７４Ｂに対しては、デジタル信号処理部１８８における後段の処理である現像や圧縮処理が施される。

クロストークは生成される信号電荷の量に依存するため、クロストーク量補正部４７３Ａ，４７３Ｂにより、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。これにより、他方の画素の出力信号から、これに重畳している一方の画素要素からのクロストーク成分を除去することができる。

ここで、ｎフレーム目の「ｐｉｃｔｕｒｅ Ａ」の画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ａｉｊ（ｎ）、ｎフレーム目の「ｐｉｃｔｕｒｅ Ｂ」の画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ｂｉｊ（ｎ）、補正係数をαとする。クロストークは入力光量に依存することから、ｎフレーム目の「ｐｉｃｔｕｒｅ Ａ」の画素アドレスｉｊの補正されたデータをＣ＿ＤＡＴＡ＿Ａｉｊ（ｎ）は、式（４）のように表すことができる。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）−α×ＤＡＴＡ＿Ｂｉｊ（ｎ） …（４）
クロストーク補正関数ｆｉｊ（ｎ）を、
ｆｉｊ（ｎ）＝−α×ＤＡＴＡ＿Ｂｉｊ（ｎ）
とすると、式（４）は、
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）＋ｆｉｊ（ｎ）
と表すことができる。

同様に、ｎフレーム目の「ｐｉｃｔｕｒｅ Ｂ」の画素アドレスｉｊにおける補正されたデータＣ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）は、補正係数をβとして、式（５）のように表すことができる。
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−β×ＤＡＴＡ＿Ａｉｊ（ｎ） …（５）

クロストーク補正関数ｇｉｊ（ｎ）を、
ｇｉｊ（ｎ）＝−β×ＤＡＴＡ＿Ａｉｊ（ｎ）
とすると、式（５）は、
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）＝ＤＡＴＡ＿Ｂｉｊ（ｎ）＋ｇｉｊ（ｎ） …（６）
と表すことができる。

前述したように、「ｐｉｃｔｕｒｅ Ｂ」でもクロストークは発生しているが、元々ぶれた映像であるためにほとんど目立たないので、式（５）〜式（６）に示した処理は省略してもよい。比較的短い蓄積時間の映像に対してはクロストーク補正を行い、比較的長い蓄積時間の映像に対してはクロストーク補正を行わないようにすれば、演算負荷を低減することも可能である。

図２４は、クロストーク補正関数ｆｉｊ（ｎ），ｇｉｊ（ｎ）の具体例を示す図である。同図において、横軸が入力データの大きさを示し、縦軸が補正すべきクロストーク補正量を示している。クロストーク補正関数ｆｉｊ（ｎ），ｇｉｊ（ｎ）は、いずれも、入力データに比例したクロストーク補正量を得る関数である。厳密には、画素構造に依存して異なるものの、補正係数αと補正係数βとは同程度の数値となる。ただし、画素要素への光の入射角に依存してシリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込む度合いは異なる。このことから、絞り１８１を開けてＦナンバーが大きくなっているときほどクロストークは大きく、クロストーク補正量の絶対値も大きくなる。一方、絞り１８１を絞ってＦナンバーが小さくなっているときほどクロストークは小さく、クロストーク補正量の絶対値も小さくなる。図において、特性５９１はＦ２．８のときのクロストーク補正関数であり、特性５９２はＦ５．６のときのクロストーク補正関数であり、特性５９３はＦ１１のときのクロストーク補正関数である。特性５９１、特性５９２、特性５９３の順に傾きが小さくなっている。なお、撮影光学系１５２のＦナンバーは連続的に変化させることができるので、補正係数α及び補正係数βをＦナンバーの関数とすれば、より高精度なクロストーク補正を実現することができる。

また、補正係数αと補正係数βは、相対的に短く設定した「ｐｉｃｔｕｒｅ Ａ」用のフォトダイオードの蓄積時間の関数とするとよい。さらに、像高によってもクロストーク補正量を変えることで、より正確なクロストーク補正を実現することができる。ライトガイド２５５への光の入射が斜めになることでクロストークは増加するので、画素アドレスｉｊを基に光軸１８０から画素までの距離ＺＫを算出し、距離ＺＫに比例して絶対値が増加するようにクロストーク補正を加えればよい。さらに、ライトガイド２５５への光の入射角の変化は、撮影光学系１５２の射出瞳と撮像素子１８４との距離ＨＫにも依存するので、クロストーク補正関数を距離ＨＫの関数とすることでより高精度な補正を行うことができる。

図２５は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ａ」の映像（図２１（ａ））に対してクロストーク補正を施した後の「ｐｉｃｔｕｒｅ Ａ」の映像である。図２１（ａ）の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図２１（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図２５の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２６に示すように、「ｐｉｃｔｕｒｅ Ａ」４９６と「ｐｉｃｔｕｒｅ Ｂ」４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図２７は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納された「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の活用例を説明するための図である。

「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群５８１は、ＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅ Ａ」のフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅ Ｂ」のフレーム群である。これらのＭＰ４ファイルには撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

まず、動画の再生をスタートすると、「ｐｉｃｔｕｒｅ Ｂ」のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。「ｐｉｃｔｕｒｅ Ｂ」は、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はジャーキネスが抑制された高品位なものである。

ここで、「ｐｉｃｔｕｒｅ Ｂ」の動画の提示中に、使用者から再生モードの切り替え指示があった場合を想定する。例えば、フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に「ｐｉｃｔｕｒｅ Ｂ」に対応する「ｐｉｃｔｕｒｅ Ａ」のデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。「ｐｉｃｔｕｒｅ Ａ」は、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅ Ａ」についてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となっている。

ここで、印刷の指示を行うと、「ｐｉｃｔｕｒｅ Ａ」のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、「ｐｉｃｔｕｒｅ Ａ」を反映したストップモーション効果がある迫力のあるものとなる。

使用者が一時停止を解除すると、自動的に「ｐｉｃｔｕｒｅ Ｂ」のフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はジャーキネスが抑制された高品位なものである。

このように、本実施形態によれば、１つの撮像素子を用いて蓄積期間の異なる信号に基づく複数の映像を同時に撮影する際に、フレームレートを犠牲にすることなく、これら複数の映像を読み出すことができる。

［第２実施形態］
本発明の第２実施形態による撮像装置について、図２８乃至図３０を用いて説明する。図１乃至図２７に示す第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

第１実施形態では、受光効率（感度）の異なる２つのフォトダイオード３１０Ａ，３１０Ｂを蓄積時間に応じて使い分けることで様々な撮影シーン適した映像の撮影を可能にした。本実施形態では、１つのフォトダイオードの蓄積時間を制御することによって第１実施形態と同様の効果を実現する例を説明する。

本実施形態による撮像装置は、撮像素子１８４の画素３０３の回路構成が異なるほかは、第１実施形態による撮像装置と同様である。

図２８は、本実施形態による撮像装置の撮像素子１８４の画素３０３の回路構成を示す回路図である。図２８には、画素アレイ３０２を構成する複数の画素３０３のうち、第１列、第１行の画素３０３と、第１列、第ｍ行の画素３０３とを示している。それぞれの画素３０３は、図２８に示すように、フォトダイオード６００、転送トランジスタ６０１Ａ，６０１Ｂ，６０２Ａ，６０２Ｂ，６０３、リセットトランジスタ６０４、増幅トランジスタ６０５及び選択トランジスタ６０６を含む。

フォトダイオード６００のアノードは、接地線に接続されている。フォトダイオード６００のカソードは、転送トランジスタ６０１Ａのソース、転送トランジスタ６０１Ｂのソース及び転送トランジスタ６０３のソースに、それぞれ接続されている。転送トランジスタ６０１Ａのドレインは、転送トランジスタ６０２Ａのソースに接続されている。転送トランジスタ６０１Ａのドレインと転送トランジスタ６０２Ａのソースとの間の接続ノードは、信号保持部６０７Ａを構成する。転送トランジスタ６０１Ｂのドレインは、転送トランジスタ６０２Ｂのソースに接続されている。転送トランジスタ６０１Ｂのドレインと転送トランジスタ６０２Ｂのソースとの間の接続ノードは、信号保持部６０７Ｂを構成する。

転送トランジスタ６０２Ａのドレイン及び転送トランジスタ６０２Ｂのドレインは、リセットトランジスタ６０４のソース及び増幅トランジスタ６０５のゲートに接続されている。転送トランジスタ６０２Ａのドレイン、転送トランジスタ６０２Ｂのドレイン、リセットトランジスタ６０４のソース及び増幅トランジスタ６０５のゲートの接続ノードは、フローティングディフュージョン領域６０８を構成する。増幅トランジスタ６０５のソースは、選択トランジスタ６０６のドレインに接続されている。リセットトランジスタ６０４のドレイン及び増幅トランジスタ６０５のドレインは、電源線６２０に接続されている。転送トランジスタ６０３のドレインは、電源線６２１に接続されている。選択トランジスタ６０６のソースは、信号出力線６２３に接続されている。

このように、本実施形態による撮像装置の撮像素子１８４の画素３０３は、１つのフォトダイオード６００に対して、２つの信号保持部６０７Ａ，６０７Ｂを有している。なお、信号保持部を有するＣＭＯＳ型撮像素子の基本構造は、例えば同一出願人による特許文献２に開示されているため、ここでの詳細な説明は省略する。

画素アレイ３０２の複数の画素３０３は、行単位で、垂直走査回路３０７から行方向に配された制御線に接続されている。各行の制御線は、転送トランジスタ６０１Ａ，６０２Ａ，６０１Ｂ，６０２Ｂ，６０３、リセットトランジスタ６０４及び選択トランジスタ６０６のゲートにそれぞれ接続された複数の制御線を含む。転送トランジスタ６０１Ａは転送パルスφＴＸ１Ａで制御され、転送トランジスタ６０２Ａは転送パルスφＴＸ２Ａで制御される。転送トランジスタ６０１Ｂは転送パルスφＴＸ１Ｂで制御され、転送トランジスタ６０２Ｂは転送パルスφＴＸ２Ｂで制御される。リセットトランジスタ６０４はリセットパルスφＲＥＳで制御され、選択トランジスタ６０６は選択パルスφＳＥＬで制御される。転送トランジスタ６０３は転送パルスφＴＸ３で制御される。各制御パルスは、撮像装置のシステム制御ＣＰＵ１７８からの制御信号に基づいて不図示の垂直走査回路３０７から送出される。各トランジスタは、制御パルスがハイレベルのときにオンとなり、制御パルスがローレベルのときにオフとなる。

本実施形態の撮像装置を構成する撮像素子１８４は、１つのフォトダイオード６００に対して２つの信号保持部６０７Ａ，６０７Ｂを有している。これにより、第１の映像信号である静止画と第２の映像信号である動画とを同時に撮影することが可能となっている。そのため、Ｓ／Ｎ比の低下を伴わずに蓄積期間の異なる二つの映像信号を読み出すことが可能となっている。

図２９は、本実施形態の撮像装置において、第１の映像信号である静止画と第２の映像信号である動画とを同時に撮影する際の、撮像素子１８４の蓄積及び読み出しタイミングを説明する図である。ここでいう蓄積とは、フォトダイオード６００で発生した電荷を信号保持部６０７Ａ，６０７Ｂに転送して蓄積する動作である。また読み出しとは、信号保持部６０７Ａ，６０７Ｂに保持された電荷に基づく信号を、フローティングディフュージョン領域６０８を介して撮像素子１８４の外部に出力する動作である。

図２９には、横軸を時間として、垂直同期信号６５０、水平同期信号６５１、静止画蓄積期間６６１、静止画転送期間６６２、静止画読み出し期間６６５、動画蓄積期間６６３、動画転送期間６６４、動画読み出し期間６６６を示している。ここで、静止画蓄積期間６６１とは、静止画のための信号電荷のフォトダイオード６００への蓄積期間を示している。静止画転送期間６６２とは、静止画のための信号電荷をフォトダイオード６００から信号保持部６０７に転送する期間を示している。静止画読み出し期間６６５とは、静止画の読み出し期間である。動画蓄積期間６６３とは、動画のための信号電荷のフォトダイオード６００への蓄積期間を示している。動画転送期間６６４とは、動画のための信号電荷をフォトダイオード６００から信号保持部６０７に転送する期間を示している。動画読み出し期間６６６とは、動画の読み出し期間である。

本駆動例では、垂直同期信号６５０の１周期の間に静止画と動画とを読み出すようになっている。また、図２９には便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有する。図２９では、最終行を第ｍ行としている。

第１の映像信号である静止画は、垂直同期信号６５０の１周期（時間Ｔｆ）の間に全行同時に実施される１回の蓄積期間（静止画蓄積期間６６１）の間に生じた信号電荷に基づいて生成される。また、第２の映像信号である動画は、Ｎｐ回（Ｎｐは２以上の整数（Ｎｐ＞１））に分割された蓄積期間（動画蓄積期間６６３）の間にそれぞれ生じた信号電荷を加算した信号電荷に基づいて生成される。本実施形態では第２の映像信号である動画の１撮影周期中に行われる蓄積期間の回数Ｎｐは、例えば１６回であり、これら蓄積期間は均等な時間間隔で行われる。垂直同期信号６５０の間隔Ｔｆ（時間Ｔｆ）は動画のフレームレートに相当し、例えば本実施形態では１／６０秒である。

このようにすることで、動画と静止画とを同時に撮影することが可能である。また、静止画として、撮影者の意図する蓄積時間の短いブレのない画像を取得可能である、一方、動画として、ジャーキネスの抑制された滑らかな画像を取得することが可能である。

図２９に記載の最初の撮影周期（Ｔｆ）において、静止画の蓄積時間（静止画蓄積期間６６１）は、撮影者によって設定されたシャッタースピードＴ１に相当する時間に設定されている。本駆動例では、シャッタースピードＴ１は、１／２０００秒である。静止画の蓄積期間は全行同時であり、静止画の第１行目の読み出し（静止画読み出し期間６６５）の開始直前に終了するように設定されている。静止画の蓄積期間の終了時刻は、垂直同期信号６５０から時間Ｔａの経過後の時刻である。時間Ｔａは、垂直同期信号６５０の間隔Ｔｆの半分以下に設定される。静止画の蓄積期間（静止画蓄積期間６６１）の終了時刻は全行同時のため、垂直同期信号６５０に対する静止画の蓄積期間の開始時刻は、静止画のシャッタースピードＴ１に応じて設定されるようになっている。第１の映像信号である静止画の読み出し（静止画読み出し期間６６５）は、第２の映像信号である動画の蓄積期間（動画蓄積期間６６３）中に実行される。

一方、動画の蓄積期間（動画蓄積期間６６３）は、１周期中に均等な時間間隔で複数回行われる。本駆動例では、各行の読み出し（動画読み出し期間６６６）の開始直前までに１６回に分割された蓄積期間が終了するように時間間隔が設定される。動画の蓄積期間の時間間隔は、水平同期信号６５１の間隔Ｔｈの整数倍に設定される。これにより、動画の各行の蓄積タイミングは同じになっている。図２９では、動画の蓄積期間の時間間隔は、便宜的に水平同期信号６５１の間隔Ｔｈの２倍になるように図示されている。通常は、動画の蓄積期間の時間間隔は、撮像素子１８４の行数をｍ、１周期中の動画の蓄積期間の回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号６５１の間隔Ｔｈを掛けた値に設定される。

また、動画の１回の蓄積時間は、Ｔ１／Ｎｐ（＝１／３２０００秒）に設定される。動画の各行の蓄積期間の開始時刻は、垂直同期信号６５０に対して固定である。動画の１回の蓄積期間の終了時刻は、撮影者によって設定された静止画のシャッタースピードＴ１に応じて、垂直同期信号６５０に対して設定されるようになっている。

一方、被写体輝度が低いときに撮影者が静止画のシャッタースピードＴ２を長めに設定（例えば、Ｔ２＝１／５００秒）した例を示したのが、図２９の時刻ｔ１から開始する２番目の撮影周期（Ｔｆ）である。

最初の撮影周期において説明したように、静止画の蓄積期間の終了時刻は全行同時（垂直同期信号６５０から時間Ｔａの経過後の時刻）であり、静止画の第１行目の読み出し（静止画読み出し期間６６５）の開始直前に終了するように設定されている。静止画の蓄積期間の終了時刻は全行同時のため、静止画のシャッタースピードＴ１に応じて、垂直同期信号６５０に対する静止画の蓄積期間の開始時刻が設定されるようになっている。第１の映像信号である静止画の読み出し（静止画読み出し期間６６５）は、第２の映像信号である動画の蓄積期間（動画蓄積期間６６３）中に実行される。

最初の撮影周期の場合と同様に、動画の蓄積期間は、１周期中に均等な時間間隔で複数回行われる。本駆動例では、各行の読み出し（動画読み出し期間６６６）の開始直前までに１６回に分割された蓄積期間が終了するように時間間隔が設定される。動画の蓄積期間の時間間隔は、水平同期信号６５１の間隔Ｔｈの整数倍に設定される。これにより、動画の各行の蓄積タイミングは同じになっている。また、動画の１回の蓄積時間は、Ｔ２／Ｎｐ（＝１／８０００秒）に設定される。動画の各行の蓄積期間の開始時刻は、垂直同期信号６５０に対して固定である。動画の１回の蓄積期間の終了時刻は、撮影者によって設定された静止画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対して設定されるようになっている。

次に、図３０のタイミングチャートを用いて、図２９の時刻ｔ１から開始する２番目の撮影周期における撮像素子１８４の制御方法の一例を説明する。図３０において、垂直同期信号φＶが立ち上がる時刻ｔ１は、図２９において垂直同期信号６５０が立ち上がる時刻ｔ１と同じである。

ここでは、撮像素子１８４が垂直方向にｍ行の画素列を有している場合を想定する。図３０には、これらのうち第１行と最終行の第ｍ行のタイミングを示している。図３０において、信号φＶは垂直同期信号であり、信号φＨは水平同期信号である。

まず、時刻ｔ１において、タイミング発生部１８９から供給される垂直同期信号φＶ及び水平同期信号φＨがローレベルからハイレベルへと遷移する。

次いで、垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ２において、垂直走査回路３０７から供給される第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ３において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（時刻ｔ１に終了する撮影周期）中に信号保持部６０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第１行の画像信号として外部に出力される（図２９の動画読み出し期間６６６に相当）。

次いで、時刻ｔ４において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）及び全行の転送パルスφＴＸ２Ａ（φＴＸ２Ａ（１），φＴＸ２Ａ（ｍ））がローレベルからハイレベルとへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂ及び全行の画素３０３の転送トランジスタ６０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（φＲＥＳ（１），φＲＥＳ（ｍ））はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、全行の画素３０３のフローティングディフュージョン領域６０８、全行の画素３０３の信号保持部６０７Ａ、第１行の画素３０３の信号保持部６０７Ｂは、リセットされる。このとき、第１行の選択パルスφＳＥＬ（１）はローレベルに遷移しており、第１行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ５において、垂直走査回路３０７から供給される全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除される。そして、全行の画素３０３のフォトダイオード６００において、動画の信号電荷の蓄積が開始される（図２９の動画蓄積期間６６３に相当）。

ここで、垂直同期信号φＶがハイレベルになる時刻ｔ１と全行の画素３０３のフォトダイオード６００で動画の信号電荷の蓄積が開始する時刻ｔ５との時間間隔Ｔｂは、固定である。

なお、図３０の時刻ｔ５における動画の第１行の蓄積期間の開始は、図２９の時刻ｔ１から開始する撮影周期における動画の蓄積期間の開始を表している。また、時刻ｔ５における動画の第ｍ行の蓄積期間の開始は、図２９の時刻ｔ１に終了する撮影周期における動画の蓄積期間の開始を表している。

図２９において、時刻ｔ１に終了する撮影周期と時刻ｔ１から開始する撮影周期とでは、静止画及び動画の蓄積時間が異なっている。時刻ｔ１に終了する撮影周期における蓄積時間は、時刻ｔ１から開始する撮影周期における蓄積時間より短いため、時刻ｔ１に終了する撮影周期における動画の第ｍ行の蓄積期間が先に終了する。

次いで、時刻ｔ６の直前に、第ｍ行の転送パルスφＴＸ１Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０１Ｂがオンとなり、第ｍ行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ｂに転送される（図２９の動画転送期間６６４に相当）。

次いで、時刻ｔ６において、第ｍ行の転送パルスφＴＸ１Ｂ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０１Ｂがオフとなり、フォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ｂへの転送が終了する。

時刻ｔ５から時刻ｔ６までの時間が、図２９の時刻ｔ１に終了する撮影周期における動画のためのＮｐ回の蓄積期間のそれぞれにおける蓄積時間（＝Ｔ１／１６）に相当する。

同じく時刻ｔ６において、第ｍ行の転送パルスφＴＸ３（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０３がオンとなり、第ｍ行の画素３０３のフォトダイオード６００がリセット状態になる。

次いで、時刻ｔ７の直前に、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ１Ｂ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０１Ｂがオンとなり、第１行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ｂに転送される。

次いで、時刻ｔ７において、第１行の転送パルスφＴＸ１Ｂ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０１Ｂがオフとなり、第１行の画素３０３のフォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ｂへの転送が終了する。

時刻ｔ５から時刻ｔ７までの時間が、図２９の時刻ｔ１から開始する撮影周期における動画のためのＮｐ回の蓄積期間のそれぞれにおける蓄積時間（＝Ｔ２／１６）に相当する。

同じく時刻ｔ７において、第１行の転送パルスφＴＸ３（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０３がオンとなり、第１行の画素３０３のフォトダイオード６００がリセット状態になる。

時刻ｔ１から開始する撮影周期における動画の第１回目の蓄積期間の開始の時刻ｔ５から水平同期信号φＨの間隔Ｔｈの２倍の時間が経過した時刻ｔ８に、動画の第２回目の蓄積期間が開始される。

時刻ｔ８から始まり時刻ｔ１０に終了する動画の第２回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

ここで、動画の第１回目及び第２回目の蓄積期間の動作において、これら２回の蓄積期間の間に生じた動画の信号電荷は、信号保持部６０７Ｂにおいて加算して保持される。

次いで、時刻ｔ１０から時刻ｔ１１の間に、前述の時刻ｔ５から時刻ｔ７までの期間と同様にして、動画の第３回目から第５回目の蓄積期間が行われる。

次いで、時刻ｔ１１から、動画の第６回目の蓄積期間が開始される。ここで、動画の第６回目の蓄積期間の開始の時刻ｔ１１は、垂直同期信号φＶがハイレベルになる時刻ｔ１から時間Ｔ（＝６×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。ここで、Ｔｈは水平同期信号φＨの時間間隔であり、Ｔｂは垂直同期信号φＶがハイレベルになる時刻ｔ１とフォトダイオード６００で動画の第１回目の蓄積期間が開始される時刻ｔ５との時間間隔である。

時刻ｔ１１から始まり時刻ｔ１３に終了する動画の第６回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので説明は省略する。

次いで、時刻ｔ１４から、第１の映像信号である静止画の蓄積期間が開始される。本駆動例では、１撮影周期中における静止画の蓄積期間の回数は１回である。垂直同期信号φＶに対する静止画の読み出し期間（図２９の静止画読み出し期間６６５に相当）の開始時刻は固定されている。そのため、垂直同期信号φＶに対する静止画の蓄積期間の終了時刻は、開始時刻から時間Ｔａの経過後の時刻に固定され、静止画の蓄積時間は時刻ｔ１９に終了するように設定されている。撮影者によって静止画のシャッタースピードＴ２が設定されると、本実施形態の撮像装置では静止画の蓄積期間の開始時刻が制御される。

静止画の蓄積期間の終了の時刻ｔ１９より時間Ｔ２だけ遡った時刻ｔ１４において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除される。そして、全行の画素３０３のフォトダイオード６００において、静止画の信号電荷の蓄積期間が開始される（図２９の静止画蓄積期間６６１に相当）。

また、静止画の信号電荷の蓄積期間中に、時刻ｔ１に終了する１つ前の撮影周期の動画の第ｍ行の読み出し期間が終了する。

まず、時刻ｔ１５において、垂直走査回路３０７から供給される第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ１６において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、時刻ｔ１に終了する１つ前の撮影周期中に信号保持部６０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第ｍ行の画像信号として外部に出力される（図２９の動画読み出し期間６６６に相当）。

これにより、時刻ｔ１に終了する１つ前の撮影周期の第２の映像信号である動画の読み出しが完了し、次に、時刻ｔ１から開始する撮影周期の第１の映像信号である静止画の読み出しが行われる（図２９の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ１７において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、第ｍ行の画素３０３のフローティングディフュージョン領域６０８、第ｍ行の画素３０３の信号保持部６０７Ｂは、リセットされる。このとき、第ｍ行の選択パルスφＳＥＬ（ｍ）もローレベルに遷移しており、第ｍ行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ１８において、第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ１９の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ａに転送される（図２９の静止画転送期間６６２に相当）。

次いで、時刻ｔ１９において、全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオフとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ａへの転送が終了する。

時刻ｔ１４から時刻ｔ１９までの時間が、時刻ｔ１から開始する撮影周期における静止画の蓄積時間Ｔ２に相当する。

次いで、時刻ｔ２０において、第１行の転送パルスφＴＸ２Ａ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第１行の画素３０３の信号保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第１行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第１行の画像信号として外部に出力される（図２９の静止画読み出し期間６６５に相当）。このように、第１の映像信号である静止画の第１行の画像信号は、第２の映像信号である動画の第１行の画像信号の蓄積期間（時刻ｔ５から時刻ｔ２６の間）に読み出される。

次いで、時刻ｔ２１から、動画の第７回目の蓄積期間が開始される。ここで、動画の第７回目の蓄積期間の開始の時刻ｔ２１は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から時間Ｔ（＝（７＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。本駆動例では、動画の２回の蓄積期間が静止画の蓄積期間（図２９の静止画蓄積期間６６１に相当）と重なっている。このため、動画の第７回目の蓄積期間の開始の時刻ｔ２１は、時刻ｔ１に開始する撮影周期の動画の第９回目の蓄積期間の開始の時刻と同等になっている。

時刻ｔ２１から始まり時刻ｔ２３に終了する動画の第７回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

次いで、時刻ｔ２３から時刻ｔ２４の間に、前述の時刻ｔ５から時刻ｔ７までの期間と同様にして、動画の第８回目から第１３回目の蓄積期間が行われる。

次いで、時刻ｔ２４から、時刻ｔ１から開始する撮影周期における動画の最後の第１４回目の蓄積期間が開始される。ここで、動画の第１４回目の蓄積期間の開始の時刻ｔ２４は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から時間Ｔ（＝（１４＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。

時刻ｔ２４から始まり時刻ｔ２６に終了する動画の第１４回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので説明は省略する。

次いで、時刻ｔ２７において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ２８において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第ｍ行の画素３０３の信号保持部６０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第ｍ行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第ｍ行の画像信号として外部に出力される（図２９の静止画読み出し期間６６５に相当）。このように、第１の映像信号である静止画の第ｍ行の画像信号は、第２の映像信号である動画の第ｍ行の画像信号の蓄積期間に読み出される。

次いで、時刻ｔ２９において、タイミング発生部１８９から供給される垂直同期信号φＶがローレベルからハイレベルへと遷移し、次の撮影周期が開始される。

以上のように、本駆動例では、静止画の蓄積期間の終了時刻を垂直同期信号に対して固定とし、１撮影周期中に複数回行われる動画の蓄積期間の開始の時刻は垂直同期信号に対して固定にしている。これにより、同一撮影周期内に動画と静止画とを読み出すことを可能にしている。

これにより、動画のシャッタースピードＴ１が所定のシャッタースピードＴｔｈよりも遅い場合に、１撮影周期中に、蓄積時間が短くブレのない静止画と、蓄積期間が長くジャーキネスの抑制された動画と、を同時に撮影することができる。

このように、本実施形態によれば、１つの撮像素子を用いて蓄積期間の異なる信号に基づく複数の映像を同時に撮影する際に、フレームレートを犠牲にすることなく、これら複数の映像を読み出すことができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図８、図１１、図２８等に示した構成に限定されるものではない。

例えば、図８に示す画素回路では２つの画素要素３０３Ａ，３０３Ｂにおいてリセットトランジスタ３１４、増幅トランジスタ３１５及び選択トランジスタ３１７を共用しているが、これらトランジスタを画素要素３０３Ａ，３０３Ｂにそれぞれ設けてもよい。また、図８に示す画素回路において、１つの画素を構成する画素要素は２つに限定されるものではなく、３つ以上でもよい。

また、図８に示すサンプルホールド回路では、画素要素３０３Ａからの画素信号を保持する容量と、画素要素３０３Ｂからの画素信号を保持する容量とを別々にしているが、これら容量は共用するようにしてもよい。

また、上記第２実施形態では、静止画の蓄積期間を１回、動画の蓄積期間を１６回としたが、これら蓄積期間の回数は、撮影条件等に応じて適宜選択されるものであり、これらに限定されるものではない。例えば、静止画の蓄積回数は、少なくとも１回行えばよく、２回以上であってもよい。また、動画の蓄積回数は、少なくとも２回以上であればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
３０３…画素
３０３Ａ，３０３Ｂ…画素要素
３１０Ａ，３１０Ｂ…フォトダイオード（光電変換部）

Claims (13)

1. 第１の光電変換部と、前記第１の光電変換部よりも感度の低い第２の光電変換部と、前記第１の光電変換部又は前記第２の光電変換部で発生した信号電荷に基づく信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、
   前記複数の画素の各々から信号が読み出される信号出力線と、
   前記複数の画素から前記第１の光電変換部において第１の蓄積期間の間に生成された信号電荷に基づく第１の信号と、前記第２の光電変換部において前記第１の蓄積期間よりも長い第２の蓄積期間の間に生成された信号電荷に基づく第２の信号とを前記信号出力線に読み出す場合に、前記第１の信号の前記信号出力線への読み出しが前記第２の蓄積期間中に行われるように制御する制御部と
   を有することを特徴とする撮像装置。
2. 前記制御部は、前記第１の蓄積期間の長さが、前記第２の信号を読み出す第２の読み出し期間の長さよりも長い場合に、前記第１の蓄積期間の開始のタイミングを、前記第２の蓄積期間の開始のタイミング以降に制御する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記第１の蓄積期間の開始のタイミングと、前記第２の蓄積期間の開始のタイミングとが同じである
   ことを特徴とする請求項２記載の撮像装置。
4. 前記制御部は、前記第１の蓄積期間の長さが、前記第２の信号を読み出す第２の読み出し期間の長さ以下の場合に、前記第１の蓄積期間の終了のタイミングを、前記第２の読み出し期間の終了のタイミング以降に制御する
   ことを特徴とする請求項１記載の撮像装置。
5. 前記第１の蓄積期間の終了のタイミングと、前記第２の読み出し期間の終了のタイミングとが同じである
   ことを特徴とする請求項４記載の撮像装置。
6. 前記第１の蓄積期間の終了のタイミングが、前記第２の蓄積期間の中間近傍である
   ことを特徴とする請求項２又は４記載の撮像装置。
7. 前記制御部は、前記第１の蓄積期間の長さが、前記第２の蓄積期間の半分の長さよりも長い場合に、前記第１の信号の読み出しを実施しないように制御する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の蓄積期間は、被写体の輝度に応じて設定される
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第２の蓄積期間は固定されている
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. １つの光電変換部と、前記１つの光電変換部で発生した信号電荷に基づく信号をそれぞれ保持する第１及び第２の信号保持部と、前記第１の信号保持部又は前記第２の信号保持部により保持された信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、
    前記複数の画素の各々から信号が読み出される信号出力線と、
    前記複数の画素から、一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される第１の信号と、前記一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される第２の信号とを前記信号出力線に読み出す場合に、前記第１の信号の前記信号出力線への読み出しが前記第２の信号の蓄積期間中に行われるように制御する制御部と
    を有することを特徴とする撮像装置。
11. 前記第１の信号の蓄積期間の終了のタイミングが、前記第２の信号の前記蓄積期間の中間近傍である
    ことを特徴とする請求項１０記載の撮像装置。
12. 第１の光電変換部と、前記第１の光電変換部よりも感度の低い第２の光電変換部と、前記第１の光電変換部又は前記第２の光電変換部で発生した信号電荷に基づく信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、前記複数の画素の各々から信号が読み出される信号出力線と、を有する撮像素子を含む撮像装置の駆動方法であって、
    前記複数の画素から前記第１の光電変換部において第１の蓄積期間の間に生成された信号電荷に基づく第１の信号を前記信号出力線に読み出すステップと、
    前記複数の画素から前記第２の光電変換部において前記第１の蓄積期間よりも長い第２の蓄積期間の間に生成された信号電荷に基づく第２の信号を前記信号出力線に読み出すステップとを有し、
    前記第１の信号を読み出すステップは、前記第２の蓄積期間中に行う
    ことを特徴とする撮像装置の駆動方法。
13. １つの光電変換部と、前記１つの光電変換部で発生した信号電荷に基づく信号をそれぞれ保持する第１及び第２の信号保持部と、前記第１の信号保持部又は前記第２の信号保持部により保持された信号を出力する共通の出力部と、をそれぞれが含む複数の画素と、前記複数の画素の各々から信号が読み出される信号出力線と、を有する撮像素子を含む撮像装置の駆動方法であって、
    前記複数の画素から、一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される第１の信号を前記信号出力線に読み出すステップと、
    前記複数の画素から、前記一の撮影周期中に前記１つの光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される第２の信号を前記信号出力線に読み出すステップとを有し、
    前記第１の信号を読み出すステップは、前記第２の信号の蓄積期間中に行う
    ことを特徴とする撮像装置の駆動方法。