JP6758946B2 - 撮像装置及び再生装置 - Google Patents

Description

本発明は、画像再生機能を備えた撮像装置及び再生装置に関する。

動画と静止画を一台のカメラで同時に撮影できれば、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画として楽しむことも可能となり、撮影された映像の価値を大きく高めることができる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影できれば、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しむことも可能となり、視聴者に対して動感を豊かに伝えることができる。

ところで、一般に、再生された動画に一種のコマ送りのような現象（パラパラ感）、いわゆるジャーキネスが発生すると、映像品位が大きく失われてしまう。ジャーキネスを抑制するためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては一瞬を写し止めた鮮鋭さが求められるため、ストップモーション効果を得るために、例えば１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することとなる。

単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画といった２つの映像を同時に撮影するということは、それらの撮影で使用される絞り値は同一ということである。このときにも、２つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

特許文献１には、各画素に非対称な瞳形状を有する一対のフォトダイオードを備えた撮像装置が開示されている。特許文献１に記載の撮像装置では、一対のフォトダイオードのうち、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなっている。一対のフォトダイオードからの２つの信号を別々の映像データとして用いることで、２つの画像を同時に撮影することができる。

また、特許文献２には、動画撮影中に高精細な画像（静止画としての鑑賞に堪える画像）を撮影する撮像装置と、撮影した画像の処理方法が開示されている。特許文献２では、動画再生においてはプログレッシブ方式で所定の解像度まで（高精細画像を動画と同じ解像度まで）再生することで動画としての鑑賞を可能とするとともに、静止画アプリケーションの際には高精細画像を静止画として抜き出して転送している。

特開２０１４−０４８４５９号公報 特開２００３−１２５３４４号公報 特開２０１３−１７２２１０号公報

しかしながら、特許文献１に記載されたような２つの画像の同時撮影が可能な撮像装置では、２つの画像を適切に提示することで利便性の向上を期待できるが、有用な提示方法に関しては具体的な示唆はなされていなかった。

また、特許文献２には、任意の時間で動画と静止画とを行き来するような再生を行う場合の好ましい形態は提示されていなかった。

本発明の目的は、動画及び静止画のそれぞれの鑑賞に適した画像を取得しうる撮像装置並びに取得した画像を適切に提示しうる画像再生装置を提供することにある。

本発明の一観点によれば、第１の蓄積時間の間に生成された信号電荷に基づく第１の画像と、前記第１の蓄積時間を含む同期期間に、前記第１の蓄積時間よりも相対的に長い第２の蓄積時間の間に生成された信号電荷に基づく画像であって、前記第１の画像と同期して記録される第２の画像とを取得する撮像素子と、前記第１の画像に基づく第１の動画と、前記第２の画像に基づく第２の動画と、前記第１の動画と前記第２の動画とをフレーム単位で同期させる同期情報とを含む動画ファイルを生成する動画ファイル生成部と、を有し、前記撮像素子は、それぞれが１つの光電変換部と第１及び第２の信号保持部とを有する複数の画素を有し、一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される前記第１の画像と、前記一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される前記第２の画像とを取得する撮像装置が提供される。

また、本発明の他の一観点によれば、第１の蓄積時間の間に生成された信号電荷に基づく第１の画像と、前記第１の蓄積時間を含む同期期間に、前記第１の蓄積時間よりも相対的に長い第２の蓄積時間の間に生成された信号電荷に基づく画像であって、前記第１の画像と同期して記録される第２の画像とを取得する撮像装置により撮像された動画ファイルを再生する再生手段を備え、前記再生手段は、動画ファイルを再生するモードとして、時間に応じて提示画像を変化しない第１の提示モードと、時間に応じて提示画像を変化する第２の提示モードとを有し、前記第１の提示モードでは、前記動画ファイルから前記第１の画像に基づく第１の動画を選択して提示し、前記第２の提示モードでは、前記動画ファイルから前記第２の画像に基づく第２の動画を選択して提示するし、前記撮像装置は、それぞれが１つの光電変換部と第１及び第２の信号保持部とを有する複数の画素を有し、一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される前記第１の画像と、前記一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される前記第２の画像とを取得する再生装置が提供される。

また、本発明の更に他の一観点によれば、第１の蓄積時間の間に生成された信号電荷に基づく第１の画像と、前記第１の蓄積時間を含む同期期間に、前記第１の蓄積時間よりも相対的に長い第２の蓄積時間の間に生成された信号電荷に基づく画像であって、前記第１の画像と同期して記録される第２の画像とを取得する撮像装置により撮影された動画ファイルを再生する再生方法であって、時間に応じて提示画像を変化しない第１の提示モードでの再生の指示に応じて、前記動画ファイルから前記第１の画像に基づく第１の動画を選択して提示し、時間に応じて提示画像を変化する第２の提示モードでの再生の指示に応じて、前記動画ファイルから前記第２の画像に基づく第２の動画を選択して提示し、前記撮像装置は、それぞれが１つの光電変換部と第１及び第２の信号保持部とを有する複数の画素を有し、一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される前記第１の画像と、前記一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される前記第２の画像とを取得する再生方法が提供される。

本発明によれば、動画及び静止画のそれぞれの鑑賞に適した画像を取得しうる撮像装置並びに取得した画像を適切に提示しうる画像再生装置を実現することができる。

本発明の第１実施形態による撮像装置を示す外観図である。 本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の内部構造を示す断面図である。 画素に入射する光線の角度とフォトダイオードからの出力との関係を示す図である。 本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。 撮像素子から出力される映像信号を説明する概略図である。 本発明の第１実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その１）である。 本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その２）である。 本発明の第１実施形態による撮像装置の撮像素子の読み出し回路構成例を示す回路図である。 撮像素子の駆動シーケンスを示すタイミングチャートである。 フォトダイオードにおける信号電荷の時間的な変化を示すグラフである。 図９のＡ−Ｂ線に沿った画素のポテンシャル図である。 撮像素子の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。 本発明の第１実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。 動画データの各フレームに付加されるタイムコードの値の一例を示す図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のファイル構造の一例を示す図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の撮影条件の設定画面を説明する図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のＩＳＯ感度範囲の関係を示す図である。 本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピードの差異を撮像シーケンス上で説明する図である。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を示す図である。 スイッチＳＴ、スイッチＭＶを操作して取得された映像のうちの１フレームを示す図である。 クロストーク補正を含む一連の処理手順を示すフローチャートである。 デジタル信号処理部において行われるクロストーク補正処理を説明する図である。 クロストーク補正関数の具体例を示す図である。 クロストーク補正を施した後の映像の一例を示す図である。 表示部上に「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を並べて表示した様子を示す図である。 本発明の第１実施形態による画像再生方法を示す図である。 「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を格納するファイルフォーマットを説明する図である。 本発明の第３実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。 本発明の第３実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。 本発明の第３実施形態による撮像装置の駆動方法を示すフローチャートである。 第１の動画静止画撮影モードにおける撮像素子の駆動方法を説明するための図である。 第１の動画静止画撮影モードにおける撮像素子の駆動シーケンスを示すタイミングチャートである。 第２の動画静止画撮影モードにおける撮像素子の駆動方法を説明するための図である。 第２の動画静止画撮影モードにおける撮像素子の駆動シーケンスを示すタイミングチャートである。

［第１実施形態］
本発明の第１実施形態による撮像装置について、図１乃至図３０を用いて説明する。本実施形態では、撮像のための撮像素子や撮影光学系等と、画像再生装置とを備えた撮像装置を、本発明の好適な実施の形態の一例として説明する。ただし、画像再生装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、画像再生装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。

本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な画像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される画像信号のアナログ信号処理及びアナログ−デジタル変換処理を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。デジタル信号処理部１８７，１８８が行う補正には、後述するクロストーク補正が含まれる。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

本実施形態で説明する撮像装置１００のような画像再生装置を備えた撮像装置では、撮影した映像データを表示部１５３や外部モニタ等を用いて再生することができる。映像データの再生時には、記録媒体１９３から映像データや付加データが読み出される。読み出されたデータは、システム制御ＣＰＵ１７８の指示によりデジタル信号処理部１８７，１８８で復調され、表示インターフェース部１９１を介して表示部１５３に画像として提示される。また、再生時の動作は、撮像装置１００の背面に備えられた操作部（メニューボタン１５７、アップダウンスイッチ１５８，１５９、ダイアル１６０など）をユーザが操作することによって制御することができる。ユーザの操作には、動画の再生、停止、一時停止などが含まれる。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。

画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、また、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号を出力する。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号を出力する。

図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。

ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。

図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。

図５に示すように、特性２６１及び特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、特性２６２のピーク強度ＰＢは、特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。

次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。

撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２から射出される光束を何れの画素においても高効率で受光することが可能となっている。

図７は、撮像素子から出力される映像信号を説明する概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅ Ａ」となる。また、出力データ２８３は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅ Ｂ」となる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅ Ａ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅ Ｂ」と表記するものとする。なお、「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」は、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についても「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」と表記することがある。

図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応する。

フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、第１のフローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。

同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、第２のフローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。

各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。

フォトダイオード３１０Ａは光電変換により電荷を生成する第１の光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成する第２の光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を蓄積する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。

垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ，３１４Ｂがオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂがリセットされる。

垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧を増幅して信号出力線３０４Ａに出力する。

同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧を増幅して信号出力線３０４Ｂに出力する。

図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路部３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。

図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。

転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。

本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像が異なる蓄積時間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。

図１１は、撮像素子１８４の読み出し回路３０８Ａ，３０８Ｂの構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。

読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。

スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

読み出し回路３０８Ｂも、読み出し回路３０８Ａと同等の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。

次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。

まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに出力する転送パルスφＴＸ１Ａ，ＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ，３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ，３１３Ｂも、リセット状態となる。

次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ３において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ，３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ，３１３Ｂのリセットを解除する。

これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ｂに入力される。

時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。
次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

次いで、時刻ｔ８において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン３１Ｂに転送する。

時刻ｔ８において転送パルスφＴＸ１Ａ，φＴＸ１Ｂを同時にハイレベルにすることで、フォトダイオード３１０Ａ，３１０Ｂの蓄積期間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、「ｐｉｃｔｕｒｅ Ａ」のデータを用いて「ｐｉｃｔｕｒｅ Ｂ」のデータを補正する、「ｐｉｃｔｕｒｅ Ｂ」のデータを用いて「ｐｉｃｔｕｒｅ Ｂ」のデータを補正する、といったクロストーク補正が非常に簡単な演算で実現できるようになる。

次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ，３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ，３１３Ｂは、リセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。

図１３は、フォトダイオード３１０Ａ，３１０Ｂにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図１２に示した時刻ｔ１から時刻ｔ１２を表示している。

時刻ｔ２において、転送パルスφＴＸ１Ｂをローレベルとして転送トランジスタ３１１Ｂをオフ状態にし、フォトダイオード３１０Ｂにおける信号電荷の蓄積を開始すると、フォトダイオード３１０Ｂが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ｂをハイレベルにして転送トランジスタ３１１Ｂをオン状態にし、フォトダイオード３１０Ｂの信号電荷をフローティングディフュージョン領域３１３Ｂへ転送するまで継続する。

また、時刻ｔ３において、転送パルスφＴＸ１Ａをローレベルとして転送トランジスタ３１１Ａをオフ状態にし、フォトダイオード３１０Ａにおける信号電荷の蓄積を開始する。これにより、フォトダイオード３１０Ａが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ａをハイレベルにして転送トランジスタ３１１Ａをオン状態にし、フォトダイオード３１０Ａの信号電荷をフローティングディフュージョン領域３１３Ａへ転送するまで継続する。

時刻ｔ８において、フォトダイオード３１０Ｂが保持する信号電荷量ＬＢとフォトダイオード３１０Ａが保持する信号電荷量ＬＡとは、受光効率の差を蓄積時間の差によって相殺することにより、ほぼ同程度となっている。

転送パルスφＴＸ１Ｂと転送パルスφＴＸ１Ａがともにローレベルである期間ＴＭ１において、フォトダイオード３１０Ａとフォトダイオード３１０Ｂの間のクロストークが発生する。期間ＴＭ１は、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積時間のうちの短い方の値である。クロストーク量は、信号電荷の量にほぼ比例するので、信号電荷量が大きくなる期間ＴＭ１の後半の期間ＴＭ２において、相対的に多くのクロストークが発生する。

フォトダイオード３１０Ａからフォトダイオード３１０Ｂへのクロストーク量ＣＴＡＢは、右下がりの斜影線を付した領域９５３の面積に比例する。また、フォトダイオード３１０Ｂからフォトダイオード３１０Ａへのクロストーク量ＣＴＢＡは、左下がりの斜影線を付した領域９５４の面積に比例する。これらの比例定数をそれぞれｋ，ｇと定義すると、クロストーク量ＣＴＡＢ，ＣＴＢＡは、
ＣＴＡＢ＝ｋ×（ＬＡ×ＴＭ１）／２ …（１）
ＣＴＢＡ＝ｇ×（ＬＡ＋ＬＢＳ）×ＴＭ１／２ …（２）
と表すことができる。ここで、ＬＢＳは、時刻ｔ３におけるフォトダイオード３１０Ｂの信号電荷量である。また、この図には表現していないが、時刻ｔ２から時刻ｔ３までの期間が期間ＴＭ１に対して十分に小さいと仮定すると、ＬＢ＝ＬＢＳと近似することができる。したがって、式（２）は、
ＣＴＢＡ＝ｇ×ＬＢ×ＴＭ１ …（３）
と変形することができる。

したがって、式（１）及び式（３）から、クロストーク量ＣＴＡＢは、信号電荷量ＬＡと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積時間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。また、クロストーク量ＣＴＢＡは、信号電荷量ＬＢと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積時間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。

図１４は、図９のＡ−Ｂ線に沿った画素３０３のポテンシャル図である。図１４（ａ）は図１２の時刻ｔａにおけるポテンシャル図、図１４（ｂ）は図１２の時刻ｔｂにおけるポテンシャル図、図１４（ｃ）は図１２の時刻ｔｃにおけるポテンシャル図である。

時刻ｔａにおいては、図１４（ａ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、フォトダイオード３１０Ａ，３１０Ｂには、それぞれ信号蓄積レベル３２３Ａ，３２３Ｂの信号電荷が蓄積されている。前述のように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとでは受光効率が異なるが、蓄積時間の差によって受光効率の差を相殺することで、信号蓄積レベル３２３Ａ，３２３Ｂは同程度になっている。この状態は比較的長く続くため、フォトダイオード３１０Ａの蓄積電荷が隣接するフォトダイオード３１０Ｂに漏れる現象及びフォトダイオード３１０Ｂの蓄積電荷が隣接するフォトダイオード３１０Ａに漏れる現象が、無視できないレベルで発生する。

時刻ｔｂにおいては、図１４（ｂ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオン状態であり、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁が低くなっている。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ａに転送され、フォトダイオード３１０Ｂに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。この際、分離部３２２のポテンシャル障壁も低くなるが、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード３１０Ａ，３１０Ｂの蓄積電荷が分離部３２２を介して隣接するフォトダイオード３１０Ｂ，３１０Ａへ漏れる現象はほとんど生じない。

時刻ｔｃにおいては、図１４（ｃ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、ポテンシャルは図１４（ａ）の状態に戻る。

図１５は、撮像素子１８４の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。図において、矢印４５１は画素３０３に入射する光束である。光束４５１は、まずカラーフィルタ２５６に入射して所定の波長成分がここで吸収され、絶縁層２５４の最上部にあたる界面不活性化膜（図示せず）を通過し、ライトガイド２５５に入射する。ライトガイド２５５内では、先に図５を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束４５１は、ライトガイド２５５と絶縁層２５４との屈折率差によってライトガイド２５５の内部に閉じ込められたままシリコン基板２５１側に進み、ライトガイド２５５の底部分に達する。ライトガイド２５５の底部分はシリコン基板２５１に隣接し、ライトガイド２５５を射出した光束はシリコン基板２５１に入射する。シリコン基板２５１内に隣接して設けられたフォトダイオード３１０Ａとフォトダイオード３１０Ｂとは、ライトガイド２５５に対して大きく偏芯して配置されている。このため、ライトガイド２５５を射出した光束のうちの大部分の光束４５２がフォトダイオード３１０Ａへ入射し、ライトガイド２５５を射出した光束のうちの残りの一部分の光束４５３がフォトダイオード３１０Ｂへ入射する。フォトダイオード３１０Ａ，３１０Ｂでは、入射した光子が信号電荷へと変換される。

この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３１０Ａで発生した信号電荷４５４は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また。フォトダイオード３１０Ｂで発生した信号電荷４５５は、拡散によってフォトダイオード３１０Ａに漏れ込む。この現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。

図１６は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は、「時：分：秒：フレーム」を表している。

時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、「ｐｉｃｔｕｒｅ Ｂ」の撮像及び「ｐｉｃｔｕｒｅ Ａ」の撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、「ｐｉｃｔｕｒｅ Ｂ」については、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。

なお、「ｐｉｃｔｕｒｅ Ｂ」の撮像だけでなく「ｐｉｃｔｕｒｅ Ａ」の撮像も同時に行っているのは、後述するクロストーク補正を常に有効にするためである。図１３に示した転送パルスφＴＸ１Ａがローレベルにならなければ、転送トランジスタ３１１Ａはオン状態であるため、フォトダイオード３１０Ａで発生した信号電荷は蓄積されることはない。しかし、仮にスイッチＳＴ１５４が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチＳＴ１５４の操作タイミングにおいて記録された「ｐｉｃｔｕｒｅ Ｂ」に微妙な輝度変化や色相の変化が生じることとなる。

時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、「ｐｉｃｔｕｒｅ Ａ」についても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。なお、「ｐｉｃｔｕｒｅ Ａ」の映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、「ｐｉｃｔｕｒｅ Ｂ」の映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。

「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の何れについても、記録媒体１９３に記録された各映像データは、同一フレームレート、例えば６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１７に示すようになる。

図１８は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオおよびオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。

スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、また、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘに格納されているので、汎用のビューアで再生する際に影響を与えない。

「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行うことができるようになる。

図１９は、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」の撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との間のＩＳＯ感度範囲には、３段の差がある。図２０に示すように、「ｐｉｃｔｕｒｅ Ａ」はＩＳＯ１００〜ＩＳＯ１０２４００、「ｐｉｃｔｕｒｅ Ｂ」はＩＳＯ１２〜ＩＳＯ１２８００となっている。

図２１は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。「ｐｉｃｔｕｒｅ Ａ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、「ｐｉｃｔｕｒｅ Ｂ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図２１において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図２１を用いて説明する。

まず、Ｂｖ１３のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度はＩＳＯ１００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００秒、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００秒、絞り値Ｆ１１と定まる。

Ｂｖ１０のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００秒、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

Ｂｖ６のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度はＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

Ｂｖ５のときは、「ｐｉｃｔｕｒｅ Ａ」では、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。「ｐｉｃｔｕｒｅ Ａ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ａ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅ Ｂ」では、ＩＳＯ感度はＩＳＯ２５に設定される。「ｐｉｃｔｕｒｅ Ｂ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅ Ｂ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、「ｐｉｃｔｕｒｅ Ａ」、「ｐｉｃｔｕｒｅ Ｂ」ともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において「ｐｉｃｔｕｒｅ Ａ」は１／１０００秒以上のシャッタースピードを保ち、「ｐｉｃｔｕｒｅ Ｂ」は多くの輝度範囲で１／６０秒のシャッタースピードを保っている。これにより、「ｐｉｃｔｕｒｅ Ａ」ではストップモーション効果を得つつ、「ｐｉｃｔｕｒｅ Ｂ」ではジャーキネスの抑制された高品位な動画を得ることができる。

図２２は、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、Ｖ同期信号４８１、「ｐｉｃｔｕｒｅ Ａ」の蓄積期間４８２，４８３、「ｐｉｃｔｕｒｅ Ｂ」の蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。

蓄積期間４８２は、「ｐｉｃｔｕｒｅ Ａ」の画面上端ラインの蓄積期間であり、蓄積期間４８３は、「ｐｉｃｔｕｒｅ Ａ」の画面下端ラインの蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ５３から時刻ｔ５４までが蓄積期間４８２であり、時刻ｔ５５から時刻ｔ５６までが蓄積期間４８３である。

また、蓄積期間４８４は、「ｐｉｃｔｕｒｅ Ｂ」の画面上端ラインの蓄積期間であり、蓄積期間４８５は、「ｐｉｃｔｕｒｅ Ｂ」の画面下端ラインの蓄積期間である。「ｐｉｃｔｕｒｅ Ｂ」においても「ｐｉｃｔｕｒｅ Ａ」と同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ５１から時刻ｔ５４までが蓄積期間４８４であり、時刻ｔ５２から時刻ｔ５６までが蓄積期間４８５である。

「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅ Ａ」についてゲインアップするのではなく、撮像素子１８４において同程度のレベルの信号電荷を得ている。このため、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

図２３は、撮像素子１８４に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでの「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」のシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。

図２４（ａ），（ｂ）は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得された映像のうちの１フレームを示したものである。図２４（ａ）は、シャッタースピード１／１０００秒、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ａ」の映像である。図２４（ｂ）は、シャッタースピード１／６０秒、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ｂ」の映像である。図２４（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてジャーキネスの抑制された滑らかな高品位な映像となる。一方、図２４（ａ）に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図１５を用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図２４（ｂ）に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。

そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子１８４から出力された映像信号に対して以下に説明するクロストーク補正を施す。

図２５は、クロストーク補正を含む一連の処理手順を示すフローチャートである。本実施形態による撮像装置１００における撮像から記録までの処理は、例えば図２５に示すステップＳ１５１〜ステップＳ１５５により実行される。

ステップＳ１５１においては、図１６を用いて説明した時刻ｔ３２におけるスイッチＭＶ１５５の操作に応じて、図１２を用いて説明したシーケンスに従い、フォトダイオード３１０Ａ，３１０Ｂへの信号電荷の蓄積と信号電荷の読み出しとを行う。

ステップＳ１５２では、撮像素子１８４から読み出された信号がアナログフロントエンド１８５，１８６に入力され、ここでアナログ信号がデジタル化される。

ステップＳ１５３では、シリコン基板内部で発生した信号電荷が隣接画素要素に漏れ込んだことにより生じたクロストークを低減するための補正（クロストーク補正）を行う。クロストーク補正は、デジタル信号処理部１８７，１８８において行われる。すなわち、デジタル信号処理部１８７，１８８は、クロストーク補正部として機能する。

ステップＳ１５４では、現像と、必要に応じて圧縮処理を行う。なお、現像処理では、一連の処理のうちの１つとしてガンマ補正が行われる。ガンマ補正とは、入力された光量分布に対してガンマ関数を施す処理である。この結果、入力された光量分布に対してその出力は線形性が保たれず、クロストークの比もその時の光量によって変わってきてしまう。このため、クロストーク補正は、図２５に示すように、ステップＳ１５４よりも前段階で行うことが望ましい。なお、現像後にクロストーク補正を行う場合には、光量の大きさによってクロストーク処理を変更し、或いは、画像信号そのものを逆ガンマ補正してからクロストーク補正を行なうようにすればよい。

ステップＳ１５５では、記録媒体１９３への映像の記録を行う。記録媒体１９３に記録する代わりに或いは記録媒体１９３への記録とともに、無線インターフェース部１９８を介してネットワーク１９９上の記憶装置等に保存するようにしてもよい。

図２６は、ステップＳ１５３においてデジタル信号処理部１８７，１８８において行われるクロストーク補正処理を説明するための図である。実際の処理は、デジタル信号処理として実行される。

デジタル信号処理部１８７において、Ａ／Ｄ変換処理が施された後の信号４７１Ａは、クロストーク量補正部４７３Ａに入力され、また、クロストーク量演算部４７２Ａを介してクロストーク量補正部４７３Ｂに入力される。同様に、デジタル信号処理部１８８において、Ａ／Ｄ変換処理が施された後の信号４７１Ｂは、クロストーク量補正部４７３Ｂに入力され、また、クロストーク量演算部４７２Ｂを介してクロストーク量補正部４７３Ａに入力される。

クロストーク量補正部４７３Ａでは、信号４７１Ａと、クロストーク量演算部４７２Ｂにおいてクロストーク補正関数ｇｉｊ（ｎ）により所定の演算が施された後の信号４７１Ｂとに基づき、信号４７１Ａのクロストーク補正を行い、出力信号４７４Ａを得る。出力信号４７４Ａに対しては、デジタル信号処理部１８７における後段の処理である現像や圧縮処理が施される。

クロストーク量補正部４７３Ｂでは、信号４７１Ｂと、クロストーク量演算部４７２Ａにおいてクロストーク補正関数ｆｉｊ（ｎ）により所定の演算が施された後の信号４７１Ａとに基づき、信号４７１Ｂのクロストーク補正を行い、出力信号４７４Ｂを得る。出力信号４７４Ｂに対しては、デジタル信号処理部１８８における後段の処理である現像や圧縮処理が施される。

クロストークは生成される信号電荷の量に依存するため、クロストーク量補正部４７３Ａ，４７３Ｂにより、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。これにより、他方の画素の出力信号から、これに重畳している一方の画素要素からのクロストーク成分を除去することができる。

ここで、ｎフレーム目の「ｐｉｃｔｕｒｅ Ａ」の画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ａｉｊ（ｎ）、ｎフレーム目の「ｐｉｃｔｕｒｅ Ｂ」の画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ｂｉｊ（ｎ）、補正係数をαとする。クロストークは入力光量に依存することから、ｎフレーム目の「ｐｉｃｔｕｒｅ Ａ」の画素アドレスｉｊの補正されたデータＣ＿ＤＡＴＡ＿Ａｉｊ（ｎ）は、式（４）のように表すことができる。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）−α×ＤＡＴＡ＿Ｂｉｊ（ｎ） …（４）
クロストーク補正関数ｆｉｊ（ｎ）を、
ｆｉｊ（ｎ）＝−α×ＤＡＴＡ＿Ｂｉｊ（ｎ）
とすると、式（４）は、
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）＋ｆｉｊ（ｎ）
と表すことができる。

同様に、ｎフレーム目の「ｐｉｃｔｕｒｅ Ｂ」の画素アドレスｉｊにおける補正されたデータＣ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）は、補正係数をβとして、式（５）のように表すことができる。
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−β×ＤＡＴＡ＿Ａｉｊ（ｎ） …（５）
クロストーク補正関数ｇｉｊ（ｎ）を、
ｇｉｊ（ｎ）＝−β×ＤＡＴＡ＿Ａｉｊ（ｎ）
とすると、式（５）は、
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）＝ＤＡＴＡ＿Ｂｉｊ（ｎ）＋ｇｉｊ（ｎ） …（６）
と表すことができる。

前述したように、「ｐｉｃｔｕｒｅ Ｂ」でもクロストークは発生しているが、元々ぶれた映像であるためにほとんど目立たないので、式（５）〜式（６）に示した処理は省略してもよい。比較的短い蓄積時間の映像に対してはクロストーク補正を行い、比較的長い蓄積時間の映像に対してはクロストーク補正を行わないようにすれば、演算負荷を低減することも可能である。

図２７は、クロストーク補正関数ｆｉｊ（ｎ），ｇｉｊ（ｎ）の具体例を示す図である。同図において、横軸が入力データの大きさを示し、縦軸が補正すべきクロストーク補正量を示している。クロストーク補正関数ｆｉｊ（ｎ），ｇｉｊ（ｎ）は、いずれも、入力データに比例したクロストーク補正量を得る関数である。厳密には、画素構造に依存して異なるものの、補正係数αと補正係数βとは同程度の数値となる。ただし、画素要素への光の入射角に依存してシリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込む度合いは異なる。このことから、絞り１８１を開けてＦナンバーが大きくなっているときほどクロストークは大きく、クロストーク補正量の絶対値も大きくなる。一方、絞り１８１を絞ってＦナンバーが小さくなっているときほどクロストークは小さく、クロストーク補正量の絶対値も小さくなる。図において、特性５９１はＦ２．８のときのクロストーク補正関数であり、特性５９２はＦ５．６のときのクロストーク補正関数であり、特性５９３はＦ１１のときのクロストーク補正関数である。特性５９１、特性５９２、特性５９３の順に傾きが小さくなっている。なお、撮影光学系１５２のＦナンバーは連続的に変化させることができるので、補正係数α及び補正係数βをＦナンバーの関数とすれば、より高精度なクロストーク補正を実現することができる。

また、図１３を用いて先に説明したように、補正係数αと補正係数βは、相対的に短く設定した「ｐｉｃｔｕｒｅ Ａ」用のフォトダイオードの蓄積時間の関数とするとよい。

さらに、像高によってもクロストーク補正量を変えることで、より正確なクロストーク補正を実現することができる。ライトガイド２５５への光の入射が斜めになることでクロストークは増加するので、画素アドレスｉｊを基に光軸１８０から画素までの距離ＺＫを算出し、距離ＺＫに比例して絶対値が増加するようにクロストーク補正を加えればよい。さらに、ライトガイド２５５への光の入射角の変化は、撮影光学系１５２の射出瞳と撮像素子１８４との距離ＨＫにも依存するので、クロストーク補正関数を距離ＨＫの関数とすることでより高精度な補正を行うことができる。

図２８は、シャッタースピード１／１０００秒、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅ Ａ」の映像（図２４（ａ））に対してクロストーク補正を施した後の「ｐｉｃｔｕｒｅ Ａ」の映像である。図２４（ａ）の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図２８の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２９に示すように、「ｐｉｃｔｕｒｅ Ａ」４９６と「ｐｉｃｔｕｒｅ Ｂ」４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図３０は、ストレージに格納された「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を含むデータファイルの画像再生装置における再生方法を説明する図である。画像再生装置としては、本実施形態で説明した撮像装置１００が有する画像再生装置のみならず、タブレット端末、パーソナルコンピュータ、テレビモニタなどを活用することができる。タブレット端末、パーソナルコンピュータ、テレビモニタ等の装置には、ＭＰ４ファイル等の動画ファイルを再生するための構成（ＣＰＵ、復調部、表示部など）が設けられており、画像再生装置として動作する。本実施形態の撮像装置１００では、画像再生部としての機能は、主にシステム制御ＣＰＵ１７８が実施する。

ここで、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群５８１は、ＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅ Ａ」のフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅ Ｂ」のフレーム群である。これらのＭＰ４ファイルには、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

動画の再生をスタートすると、「ｐｉｃｔｕｒｅ Ｂ」のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。「ｐｉｃｔｕｒｅ Ｂ」は、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はジャーキネスの抑制された高品位なものである。なお、本明細書では、撮影時のフレームレート以上のフレームレートで動画の再生を行う場合の動画ファイルの再生モードを、時間に応じて提示画像を変化する提示モードと表現することがある。

ここで、「ｐｉｃｔｕｒｅ Ｂ」の動画の提示中に、使用者から再生モードの切り替え指示があった場合を想定する。例えば、フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に「ｐｉｃｔｕｒｅ Ｂ」に対応する「ｐｉｃｔｕｒｅ Ａ」のデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。「ｐｉｃｔｕｒｅ Ａ」は、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅ Ａ」についてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、「ｐｉｃｔｕｒｅ Ａ」のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、「ｐｉｃｔｕｒｅ Ａ」を反映したストップモーション効果がある迫力のあるものとなる。

使用者が一時停止を解除すると、自動的に「ｐｉｃｔｕｒｅ Ｂ」のフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はジャーキネスの抑制された高品位なものである。

なお、図３０の例では「ｐｉｃｔｕｒｅ Ｂ」の再生を一時停止したときに「ｐｉｃｔｕｒｅ Ａ」のフレーム提示に遷移したが、「ｐｉｃｔｕｒｅ Ｂ」をコマ送り再生にしたときに「ｐｉｃｔｕｒｅ Ａ」のフレーム提示に遷移してもよい。本明細書では、一時停止やコマ送り再生を行う場合の動画ファイルの再生モードを、時間に応じて提示画像を変化しない提示モードと表現することがある。或いは、一定以上フレームレートを下げて連続的に一コマごと画像を確認しながら再生を行うようなモードにしたときに「ｐｉｃｔｕｒｅ Ａ」のフレーム提示に遷移してもよい。すなわち、通常の再生フレームレート（撮影時のフレームレート）よりもコマの送り速度が十分に小さい場合は、提示モードの切り替え指示の有無にかかわらず「ｐｉｃｔｕｒｅ Ａ」を提示すると都合がよい。

再生画像に現れる上記のような効果の違いは、時間に応じて提示画像を変化するような提示と、時間に応じて提示画像を変化しない提示（コマ送り再生も含む）という、画像の提示方法の違いによって生じていると考えられる。つまり、ジャーキネスの抑制された映像に対する要求とストップモーション効果の高い映像に対する要求という、相反する要求のどちらが重要であるかという提示条件によって異なっている。

本実施形態では、撮像装置での画像取得の特長に鑑みて、時間に応じて提示画像を変化するような提示（動提示）においては、相対的に蓄積時間が長い画素からの信号に基づく画像を提示する。一方、時間に応じて提示画像を変化しないような提示（静止提示）においては、相対的に蓄積時間が短い画素からの信号に基づく画像を提示する。これにより、ジャーキネスの抑制された映像とストップモーション効果の高い映像という、相反する要求に応じた映像の提供を可能にしている。この効果は非常に大きいといえる。
本実施形態に示したような画像の提示方法を用いることで、単一の撮像素子を用いて複数の映像を同時に撮影し鑑賞する際に、動画／静止画のそれぞれの鑑賞に適した画像を提供することができる。

このように、本実施形態によれば、動画及び静止画の双方の鑑賞に適した画像を取得し再生することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置について、図３１を用いて説明する。図１乃至図３０に示す第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

第１実施形態では、従来のファイルフォーマットとの互換性を重視して、複数の動画ファイルを生成し、これら複数の動画ファイルについて機械的に関連付けを行う方法を示した。

本実施形態では、別の好ましいファイルフォーマットの例と、その際の「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との関連付けについて説明する。なお、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」を得るための撮像装置の構成は、第１実施形態と同様である。

図３１（ａ）は、第１実施形態において説明した方法を示す模式図である。図３１（ｂ）は、本実施形態で説明する方法を示す模式図である。図３１（ｃ），（ｄ），（ｅ）は、本実施形態における画像の格納方法を具体的に説明するための図である。

第１実施形態の方法では、図３１（ａ）に示すように、システム制御ＣＰＵ１７８が、「ｐｉｃｔｕｒｅ Ａ」の動画ファイルであるファイル６００１と、「ｐｉｃｔｕｒｅ Ｂ」の動画ファイルであるファイル６００２とを、別々に生成した。システム制御ＣＰＵ１７８は、動画ファイル生成部としての機能を備える。ファイル６００１とファイル６００２は、第１実施形態で説明したように、ＣＬＩＰ―ＵＭＩＤを使って関連付けを行っている。すなわち、ファイル６００１は、「ｐｉｃｔｕｒｅ Ａ」の動画と、「ｐｉｃｔｕｒｅ Ａ」の動画と「ｐｉｃｔｕｒｅ Ｂ」の動画とをフレーム単位で同期させる同期情報とを含む。また、ファイル６００２は、「ｐｉｃｔｕｒｅ Ｂ」の動画と、「ｐｉｃｔｕｒｅ Ａ」の動画と「ｐｉｃｔｕｒｅ Ｂ」の動画とをフレーム単位で同期させる同期情報とを含む。

これに対し、本実施形態の方法では、図３１（ｂ）に示すように、システム制御ＣＰＵ１７８は、「ｐｉｃｔｕｒｅ Ａ」の動画データ及び「ｐｉｃｔｕｒｅ Ｂ」の動画データから、１つのファイル６００３を生成する。ファイル６００３への具体的な格納方法の例を、図３１（ｃ）乃至図３１（ｅ）に示す。

図３１（ｃ）に示す方法は、いわゆるサイドバイサイドと呼ばれるステレオ画像のフォーマットを利用した例である。図５を用いて示したように、第１実施形態の撮像装置により得られる「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」との間には視差がないため、ステレオ画像のフォーマットを利用しているからといって立体感を得るような画像になっているわけではない。ステレオ画像のフォーマットを利用して情報を格納しているだけである。

すなわち、ステレオ画像においては、右目に提示する画像と左目に提示する画像とを記録する方法の１つとして、これら画像を左右に並べた１つの画像として記憶する方法（サイドバイサイド）が提案されている。図３１（ｃ）の例では、この方法を利用して、「ｐｉｃｔｕｒｅ Ａ」の画像と「ｐｉｃｔｕｒｅ Ｂ」の画像とを図示するように並べた１つの画像のデータとして格納する。１つの画像として格納する「ｐｉｃｔｕｒｅ Ａ」の画像と「ｐｉｃｔｕｒｅ Ｂ」の画像とは、同期期間に同期して取得されたものである。このときの特定のフレーム６００４に着目すると、フレーム６００４のデータは、「ｐｉｃｔｕｒｅ Ａ」からなる画像６００５と「ｐｉｃｔｕｒｅ Ｂ」からなる画像６００６とが隣り合って、横方向に２倍の大きさを持つ画像となっている。すなわち、ファイル６００３は、「ｐｉｃｔｕｒｅ Ａ」の動画のフレームの画像と、これに同期して取得された「ｐｉｃｔｕｒｅ Ｂ」の動画のフレームの画像とを、各フレームが含む動画ファイルである。

動画の再生をスタートすると、「ｐｉｃｔｕｒｅ Ｂ」のフレーム群の先頭フレームから決められたフレームレートで順次フレームの画像が再生される。つまり、再生装置においては、ステレオ画像フォーマットでいうところの片方の目に提示すべき画像のみを連続して提示する。サイドバイサイドの方式においては「ｐｉｃｔｕｒｅ Ｂ」に対応する領域を切り出して提示すればよい。「ｐｉｃｔｕｒｅ Ｂ」はシャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はジャーキネスの抑制された高品位なものである。

例えばフレーム６００４まで再生が進んだ時点で使用者が一時停止の操作を行うと、「ｐｉｃｔｕｒｅ Ｂ」からなる画像６００６に対応する「ｐｉｃｔｕｒｅ Ａ」からなる画像６００５が自動的に表示される。すなわち、ステレオ画像フォーマットでいうところの他方の目に提示すべき画像に切り替わる。「ｐｉｃｔｕｒｅ Ａ」はストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅ Ａ」についてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、「ｐｉｃｔｕｒｅ Ａ」及び「ｐｉｃｔｕｒｅ Ｂ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

図３１（ｄ）に示す方法は、ステレオ画像の別のフォーマット、いわゆる液晶シャッター式の再生装置に適したステレオ画像のフォーマットを活用した例である。液晶シャッターを利用した再生装置では、右目に提示する画像と左目に提示する画像とを時分割的に切り替えて提示する。このフォーマットを利用することによっても、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」とを１つのファイルに格納することができる。例えば、撮影時の画像のフレームレートが６０ｆｐｓと指定された場合には、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」とを、倍の１２０ｆｐｓの動画のフレームとして交互に格納する。例えば、同期して取得された「ｐｉｃｔｕｒｅ Ａ」の画像と「ｐｉｃｔｕｒｅ Ｂ」の画像の組を、フレーム６００７，６００８のデータとして格納する。そして、次のタイミングで同期して取得された 「ｐｉｃｔｕｒｅ Ａ」の画像と「ｐｉｃｔｕｒｅ Ｂ」の画像の組をフレーム６００９，６０１０のデータとして格納する。このように格納されたデータは、「ｐｉｃｔｕｒｅ Ａ」又は「ｐｉｃｔｕｒｅ Ｂ」の一方のデータのみに着目すると、撮影時のフレームレートと同じ６０ｆｐｓの動画である。すなわち、ファイル６００３は、「ｐｉｃｔｕｒｅ Ａ」の動画のフレームと「ｐｉｃｔｕｒｅ Ｂ」の動画のフレームとが交互に提示されるように記録された動画ファイルである。そして、この動画ファイルには、同期した「ｐｉｃｔｕｒｅ Ａ」の動画のフレームと「ｐｉｃｔｕｒｅ Ｂ」の動画のフレームとが連続して記録されている。

動画の再生をスタートすると、「ｐｉｃｔｕｒｅ Ｂ」のフレーム群の先頭フレームから決められたフレームレートで順次フレームの画像が再生される。つまり、再生装置においては、ステレオ画像フォーマットでいうところの片方の目に提示すべき画像のみを連続して提示する。図３１（ｄ）の例では、「ｐｉｃｔｕｒｅ Ｂ」のみになるように１コマおきに再生すればよい。

例えばフレーム６００８まで再生が進んだ時点で使用者が一時停止の操作を行うと、フレーム６００８の「ｐｉｃｔｕｒｅ Ｂ」の画像に対応するフレーム６００７の「ｐｉｃｔｕｒｅ Ａ」の画像が表示される。このようにすることで、動画／静止画のそれぞれの鑑賞に適した画像を提供することができる。

図３１（ｅ）に示す方法は、複数の動画をマルチトラックの動画として１つのファイルに格納するフォーマットを利用した例である。図３１（ｅ）のフォーマットは、補助画像や視差画像などを複数のトラックとして格納できるフォーマットとなっている。「ｐｉｃｔｕｒｅ Ｂ」をトラック１の主画像６０１２として記録し、「ｐｉｃｔｕｒｅ Ａ」をトラック２の補助画像６０１１として記録するとともに、メタデータ記録部に撮像装置の情報などを格納する。複数のトラックの動画は、１つのタイムコードと対応している。すなわち、ファイル６００３は、「ｐｉｃｔｕｒｅ Ａ」の動画と同期情報とを含む第１の動画トラックと、「ｐｉｃｔｕｒｅ Ｂ」の動画と同期情報とを含む第２の動画トラックとを含む動画ファイルである。

動画の再生をスタートすると、「ｐｉｃｔｕｒｅ Ｂ」のフレーム群の先頭フレームから決められたフレームレートで順次フレームの画像が再生される。つまり、再生装置においては、トラック１の画像を提示する。使用者が一時停止の操作を行ったときには、同じタイムコードに対応するトラック２の画像を提示すればよい。このようにすることで、動画／静止画のそれぞれの鑑賞に適した画像を提供することができる。

［第３実施形態］
本発明の第３実施形態による撮像装置について、図３２乃至図３８を用いて説明する。図１乃至図３１に示す第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

第１及び第２実施形態では、受光効率（感度）の異なる２つのフォトダイオード３１０Ａ，３１０Ｂを蓄積時間に応じて使い分けることで様々な撮影シーン適した動画撮影を可能にした。本実施形態では、１つのフォトダイオードの蓄積時間を制御することによって第１及び第２の実施形態と同様の効果を実現する例を説明する。

本実施形態による撮像装置は、撮像素子１８４の画素３０３の回路構成が異なるほかは、第１実施形態による撮像装置と同様である。

図３２は、本実施形態による撮像装置の撮像素子１８４の画素３０３の回路構成を示す回路図である。図３２には、画素アレイ３０２を構成する複数の画素３０３のうち、第１列、第１行の画素３０３と、第１列、第ｍ行の画素３０３とを示している。それぞれの画素３０３は、図３２に示すように、フォトダイオード６００、転送トランジスタ６０１Ａ，６０１Ｂ，６０２Ａ，６０２Ｂ，６０３、リセットトランジスタ６０４、増幅トランジスタ６０５及び選択トランジスタ６０６を含む。

フォトダイオード６００のアノードは、接地線に接続されている。フォトダイオード６００のカソードは、転送トランジスタ６０１Ａのソース、転送トランジスタ６０１Ｂのソース及び転送トランジスタ６０３のソースに、それぞれ接続されている。転送トランジスタ６０１Ａのドレインは、転送トランジスタ６０２Ａのソースに接続されている。転送トランジスタ６０１Ａのドレインと転送トランジスタ６０２Ａのソースとの間の接続ノードは、信号保持部６０７Ａを構成する。転送トランジスタ６０１Ｂのドレインは、転送トランジスタ６０２Ｂのソースに接続されている。転送トランジスタ６０１Ｂのドレインと転送トランジスタ６０２Ｂのソースとの間の接続ノードは、信号保持部６０７Ｂを構成する。

転送トランジスタ６０２Ａのドレイン及び転送トランジスタ６０２Ｂのドレインは、リセットトランジスタ６０４のソース及び増幅トランジスタ６０５のゲートに接続されている。転送トランジスタ６０２Ａのドレイン、転送トランジスタ６０２Ｂのドレイン、リセットトランジスタ６０４のソース及び増幅トランジスタ６０５のゲートの接続ノードは、フローティングディフュージョン領域６０８を構成する。増幅トランジスタ６０５のソースは、選択トランジスタ６０６のドレインに接続されている。リセットトランジスタ６０４のドレイン及び増幅トランジスタ６０５のドレインは、電源線６２０に接続されている。転送トランジスタ６０３のドレインは、電源線６２１に接続されている。選択トランジスタ６０６のソースは、信号出力線６２３に接続されている。

このように、本実施形態による撮像装置の撮像素子１８４の画素３０３は、１つのフォトダイオード６００に対して、２つの信号保持部６０７Ａ，６０７Ｂを有している。なお、信号保持部を有するＣＭＯＳ型撮像素子１８４の基本構造は、例えば同一出願人による特許文献３に開示されているため、ここでの詳細な説明は省略する。

画素アレイ３０２の複数の画素３０３は、行単位で、垂直走査回路３０７から行方向に配された制御線に接続されている。各行の制御線は、転送トランジスタ６０１Ａ，６０２Ａ，６０１Ｂ，６０２Ｂ，６０３、リセットトランジスタ６０４及び選択トランジスタ６０６のゲートのそれぞれに接続された複数の制御線を含む。転送トランジスタ６０１Ａは転送パルスφＴＸ１Ａで制御され、転送トランジスタ６０２Ａは転送パルスφＴＸ２Ａで制御される。転送トランジスタ６０１Ｂは転送パルスφＴＸ１Ｂで制御され、転送トランジスタ６０２Ｂは転送パルスφＴＸ２Ｂで制御される。リセットトランジスタ６０４はリセットパルスφＲＥＳで制御され、選択トランジスタ６０６は選択パルスφＳＥＬで制御される。転送トランジスタ６０３は転送パルスφＴＸ３で制御される。各制御パルスは、垂直走査回路３０７から送出される。各トランジスタは、制御パルスがハイレベルのときにオンとなり、制御パルスがローレベルのときにオフとなる。

本実施形態の撮像装置を構成する撮像素子１８４は、１つのフォトダイオード６００に対して２つの信号保持部６０７Ａ，６０７Ｂを有している。これにより、ストップモーション効果を得られる第１の動画と、ジャーキネスの抑制された第２の動画とを同時に撮影することが可能となっている。そのため、Ｓ／Ｎ比の低下を伴わずに蓄積期間の異なる二つの画像を読み出すことが可能となっている。

撮像装置における第１の動画（「ｐｉｃｔｕｒｅ Ａ」に相当）及び第２の動画（「ｐｉｃｔｕｒｅ Ｂ」に相当）の撮影条件の設定は、第１及び第２実施形態と同様に行えばよい。

図３３は、デュアル映像モードにおけるプログラムＡＥ線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。第１の動画（「ｐｉｃｔｕｒｅ Ａ」）のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、第２の動画（「ｐｉｃｔｕｒｅ Ｂ」）のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図３３において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図３３を用いて説明する。本実施形態の撮像装置は第１の動画と第２の動画とを同時に撮影するため、プログラムＡＥ線図は同じ被写体輝度に対して同じ絞り値になるように設定されている。

まず、Ｂｖ１４のときは、第１の動画では、ＩＳＯ感度はＩＳＯ１００に設定される。第１の動画の等Ｂｖ線は、第１の動画のプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００秒、絞り値Ｆ１１と定まる。一方、第２の動画では、ＩＳＯ感度はＩＳＯ１に設定される。第２の動画の等Ｂｖ線は、第２の動画のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

Ｂｖ１１のときは、第１の動画では、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。第１の動画の等Ｂｖ線は、第１の動画のプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００秒、絞り値Ｆ１１と定まる。一方、第２の動画では、ＩＳＯ感度はＩＳＯ１２に設定される。第２の動画の等Ｂｖ線は、第２の動画のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

Ｂｖ７のときは、第１の動画では、ＩＳＯ感度はＩＳＯ２００に設定される。第１の動画の等Ｂｖ線は、第１の動画のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、第２の動画では、ＩＳＯ感度はＩＳＯ１２に設定される。第２の動画の等Ｂｖ線は、第２の動画のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

Ｂｖ６のときは、第１の動画では、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。第１の動画の等Ｂｖ線は、第１の動画のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、第２の動画では、ＩＳＯ感度はＩＳＯ２５に設定される。第２の動画の等Ｂｖ線は、第２の動画のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、第１の動画、第２の動画ともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において第１の動画は１／１０００秒以上のシャッタースピードを保ち、第２の動画は全輝度範囲で１／６０秒のシャッタースピードを保っている。これにより、第１の動画ではストップモーション効果を得つつ、第２の動画ではジャーキネスの抑制された高品位な動画を得ることができる。

ところで、同じ絞り値で同時に撮影される第１の動画と第２の動画はＩＳＯ感度が異なるように制御されるが、第１の動画が適正露出になるように露出制御を行うと、第２の動画の信号は飽和してしまいＩＳＯ感度の制御ができなくなる。そこで、本実施形態による撮像装置では、第２の動画のフレームレートに相当するシャッタースピード１／６０秒の間、均等な時間間隔で短い蓄積期間をＮｐ回（Ｎｐは２以上の整数（Ｎｐ＞１））行う。そして、Ｎｐ回の蓄積期間のそれぞれの間に蓄積された電荷を加算して画像を生成することにより、実質的にＩＳＯ感度が小さくなるようにしている。

本実施形態では、第２の動画のシャッタースピード１／６０秒に対応する期間を、第２の動画のためのＮｐ回の短い蓄積期間を実施する期間とする。また、第１の動画のシャッタースピード１／１０００秒に対応する期間を、第１の動画のための蓄積期間（第１の動画のための蓄積時間は１／１０００秒）とする。そして、第２の動画のためのトータルの蓄積時間が第１の動画の蓄積時間と同じになるように、第２の動画のための短い蓄積期間の時間を制御する。

すなわち、第２の動画のシャッタースピードに対応する期間中にＮｐ回実施する短い蓄積期間の間に蓄積された電荷を加算することにより生成された第２の動画のためのトータルの蓄積時間は、第１の動画のための蓄積時間と同じになるように制御する。また、一の第２の動画のＩＳＯ感度が当該一の撮影周期に撮影される第１の動画のＩＳＯ感度と同じになるように、第２の動画のためのＮｐ回の蓄積期間のそれぞれの蓄積時間を制御する。

一例として、輝度Ｂｖ７のときに、シャッタースピード１／６０秒に対応する期間中に１６回に分けて蓄積加算を行うことによって第２の動画を生成することを考える。この場合、第２の動画のＩＳＯ感度を第１の動画のＩＳＯ感度（ＩＳＯ２００）と同等に制御するために、第２の動画を生成するためのＮｐ回の蓄積期間のそれぞれの蓄積時間を１／１６０００秒に設定する。

図３４は、第１の動画と第２の動画とを同時に撮影するデュアル映像モードにおける撮影動作のフローチャートである。なお、第１の動画はストップモーション効果が得られ静止画としての鑑賞に適しているため、以下の説明において第１の動画と第２の動画とを区別する際に、第１の動画を「静止画」、第２の動画を「動画」と表記することがある。また、本実施形態における撮影モードを、便宜的に「動画静止画撮影モード」と呼ぶことがある。

本実施形態の撮像装置は、第１の動画と第２の動画とを同時に撮影する際、滑らかな動画が撮影できる動画撮影モード及びＣＭＯＳ型撮像素子で一般的に生じるローリング歪みが発生しない動画撮影モードのいずれかで撮影を行うことができる。そこで、本実施形態では、第１の動画のシャッタースピードから滑らかな動画が撮影できる第１の動画静止画撮影モードか、ローリング歪みが発生しない動画が撮影できる第２の動画静止画撮影モードかを選択するようにしている。以下、図３４のフローチャートを用いて、デュアル映像モードにおける撮影動作を説明する。

まず、ステップＳ５０１において、撮像装置の制御手段であるシステム制御ＣＰＵ１７８は、撮影者により設定された動画・静止画撮影モードを確認する。システム制御ＣＰＵ１７８は、撮影モードが第１の動画と第２の動画とを同時撮影するデュアル映像モードであることを確認すると、ステップＳ５０２へと移行する。

次いで、ステップＳ５０２において、システム制御ＣＰＵ１７８は、設定された第２の動画の撮影周期を確認する。

次いで、ステップＳ５０３において、システム制御ＣＰＵ１７８は、撮影者により設定された第１の動画のシャッタースピード（静止画シャッタースピード）を確認する。

次いで、ステップＳ５０４において、システム制御ＣＰＵ１７８は、設定された第１の動画のシャッタースピードが所定値よりも速いかどうかを判定する。第１の動画のシャッタースピードが、動きの速い被写体に対してストップモーション効果のある画像を得るために所定のシャッタースピードＴｔｈよりも速いシャッタースピードに設定されたと判定された場合（ｙｅｓ）、ステップＳ５０５へと移行する。ステップＳ５０５において、システム制御ＣＰＵ１７８は、動画静止画撮影モードをローリング歪みが発生しない第２の動画静止画撮影モード（歪み無し動画撮影モード）に設定し、ステップＳ５０７へと移行する。

一方、第１のシャッタースピードが所定のシャッタースピードＴｔｈよりも遅いシャッタースピードに設定されたと判定された場合（ｎｏ）、ステップＳ５０６へと移行する。ステップＳ５０６において、システム制御ＣＰＵ１７８は、動画静止画撮影モードを滑らかな動画が撮影できる第１の動画静止画撮影モード（滑らか動画撮影モード）へと設定し、ステップＳ５０７へと移行する。

ステップＳ５０５又はステップＳ５０６において動画静止画撮影モードが設定されると、ステップＳ５０７において、システム制御ＣＰＵ１７８は、設定された動画静止画撮影モードに応じた撮像素子１８４の制御方法を設定する。第１の動画静止画撮影モード及び第２の動画静止画撮影モードにおける撮像素子１８４の制御方法については、後述する。

次いで、ステップＳ５０８において、システム制御ＣＰＵ１７８は、スイッチ入力手段１７９を介して、動画撮影の開始及び停止を行うためのボタンであるスイッチＭＶ１５５の状態を確認し、撮影を開始するかどうかを判定する。スイッチＭＶ１５５で動画の撮影開始が指示されていない場合（ｎｏ）には、ステップＳ５０１に戻り、動画・静止画撮影モードの確認から繰り返す。一方、スイッチＭＶ１５５で動画の撮影開始が指示されている場合（ｙｅｓ）には、ステップＳ５０９へと移行する。

ステップＳ５０９において、システム制御ＣＰＵ１７８は、それ以前に撮像された画像のＡＥ情報と設定された第１の動画のシャッタースピードとに基づき、撮影光学系１５２の絞り１８１を絞り制御部１８２を介して制御する。

次いで、ステップＳ５１０において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を介して撮像素子１８４を駆動し、撮影を実行する。本実施形態では、第１の動画と第２の動画とを同時撮影するデュアル映像モードであることより、動画撮影の開始及び停止を行うためのボタンであるスイッチＭＶ１５５によって撮影動作が実行される。撮影動作の実行は、ステップＳ５０７で設定された撮像素子１８４の制御方法に従う。撮像素子１８４の制御方法については、後述する。 次いで、ステップＳ５１１において、システム制御ＣＰＵ１７８は、スイッチ入力手段１７９を介して、動画撮影の開始及び停止を行うためのボタンスイッチＭＶ１５５の状態を確認し、撮影が終了したかどうかを判定する。スイッチＭＶ１５５が撮影状態に設定されている場合（ｎｏ）には、ステップＳ５０９に戻り、撮影を続行する。一方、スイッチＭＶ１５５が撮影停止状態に設定されている場合（ｙｅｓ）には、ステップＳ５１２に移行し、撮影を停止する。

図３５は、本実施形態の撮像装置において、滑らかな動画の撮影ができる第１の動画静止画撮影モードで第１の動画と第２の動画とを同時に撮影する際の、撮像素子１８４の蓄積及び読み出しタイミングを説明する図である。ここでいう蓄積とは、フォトダイオード６００で発生した電荷を信号保持部６０７Ａ，６０７Ｂに転送して蓄積する動作である。また、読み出しとは、信号保持部６０７Ａ，６０７Ｂに保持された電荷に基づく信号を、フローティングディフュージョン領域６０８を介して撮像素子１８４の外部に出力する動作である。

図３５には、横軸を時間として、垂直同期信号６５０、水平同期信号６５１、静止画蓄積期間６６１、静止画転送期間６６２、静止画読み出し期間６６５、動画蓄積期間６６３、動画転送期間６６４、動画読み出し期間６６６を示している。ここで、静止画蓄積期間６６１とは、第１の動画のための信号電荷のフォトダイオード６００への蓄積期間を示している。静止画転送期間６６２とは、第１の動画のための信号電荷をフォトダイオード６００から信号保持部６０７Ａに転送する期間を示している。静止画読み出し期間６６５とは、第１の動画の読み出し期間である。動画蓄積期間６６３とは、第２の動画のための信号電荷のフォトダイオード６００への蓄積期間を示している。動画転送期間６６４とは、第２の動画のための信号電荷をフォトダイオード６００から信号保持部６０７Ｂに転送する期間を示している。動画読み出し期間６６６とは、第２の動画の読み出し期間である。

本駆動例では、垂直同期信号６５０の１周期の間に第１の動画と第２の動画とを読み出すようになっている。また、図３５には便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有する。図３５では、最終行を第ｍ行としている。

第１の動画は、垂直同期信号６５０の１周期（時間Ｔｆ）の間に全行同時に実施される１回の蓄積期間（静止画蓄積期間６６１）の間に生じた信号電荷に基づいて生成される。また、第２の動画は、Ｎｐ回（Ｎｐは２以上の整数（Ｎｐ＞１））に分割された蓄積期間（動画蓄積期間６６３）の間にそれぞれ生じた信号電荷を加算した信号電荷に基づいて生成される。１撮影周期の間に行われる第２の動画の蓄積期間の回数Ｎｐは、例えば１６回であり、これら蓄積期間は均等な時間間隔で行われる。垂直同期信号６５０の間隔（時間Ｔｆ）は、１／６０秒であり、第１の動画静止画撮影モードでは、おおよそ第２の動画のＮｐ回の蓄積期間を行う期間に相当する。第１の動画の蓄積は、１撮影周期中の第２の動画の読み出し（動画読み出し期間６６６）中に行う。

このようにすることで、第１の動画と第２の動画とを同時に撮影することが可能である。また、第１の動画として、撮影者の意図する蓄積時間の短いブレのない画像を取得することが可能である。また、Ｎｐ回の蓄積期間を均等な時間間隔で行うことは、実質的には第１回目の蓄積期間の開始時刻からＮｐ回目の蓄積期間の終了時刻までが１つの長い蓄積期間である。したがって、第２の動画として、ジャーキネスの抑制された滑らかな画像を取得することが可能である。

図３５において、第１の動画の蓄積期間（静止画蓄積期間６６１）は、撮影者によって設定されたシャッタースピードＴ１に相当する時間に設定されている。本駆動例では、シャッタースピードＴ１は、１／５００秒とする。第１の動画の蓄積期間は、全行同時であり、第１の動画の第１行目の読み出し（静止画読み出し期間６６５）の開始直前に終了するように設定されている。第１の動画の蓄積期間の終了時刻は、垂直同期信号６５０から時間Ｔａの経過後の時刻である。時間Ｔａは、垂直同期信号６５０の間隔Ｔｆの半分以下に設定される。第１の動画の蓄積期間（静止画蓄積期間６６１）の終了時刻は全行同時のため、垂直同期信号６５０に対する第１の動画の蓄積期間の開始時刻は、第１の動画のシャッタースピードＴ１に応じて設定されるようになっている。

一方、第２の動画の蓄積期間（動画蓄積期間６６３）は、１周期中に均等な時間間隔で複数回行われる。本駆動例では、各行の読み出し（動画読み出し期間６６６）の開始直前までに１６回に分割された蓄積期間が終了するように時間間隔が設定されている。第２の動画の蓄積期間の時間間隔は、水平同期信号６５１の間隔Ｔｈの整数倍に設定される。これにより、第２の動画の各行の蓄積タイミングは同じになっている。図３５では、第２の動画の蓄積期間の時間間隔は、便宜的に水平同期信号６５１の間隔Ｔｈの２倍になるように図示されている。通常は、第２の動画の蓄積期間の時間間隔は、撮像素子１８４の行数をｍ、１周期中の第２の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号６５１の間隔Ｔｈを掛けた値に設定される。

また、第２の動画の１回の蓄積時間は、Ｔ１／Ｎｐ（＝１／８０００秒）に設定される。第２の動画の各行の蓄積期間の開始時刻は、垂直同期信号６５０に対して固定である。第２の動画の１回の蓄積期間の終了時刻は、撮影者によって設定された静止画のシャッタースピードＴ１に応じて、垂直同期信号６５０に対して設定されるようになっている。

なお、図３５では、第１の動画の蓄積時間（Ｔ１）が長いため、１周期中における第２の動画の蓄積回数Ｎｐは１４回になっている。そのため、１撮影周期で生成された第２の動画は、同一撮影周期で生成された第１の動画を用いて補正を行っている。

次に、図３６のタイミングチャートを用いて、図３５の時刻ｔ１から開始する撮影周期における撮像素子１８４の制御方法の一例を説明する。図３６において垂直同期信号φＶが立ち上がる時刻ｔ１は、図３５において垂直同期信号６５０が立ち上がる時刻ｔ１と同じである。

ここでは、撮像素子１８４が垂直方向にｍ行の画素列を有している場合を想定する。図３６には、これらのうち第１行と最終行の第ｍ行のタイミングを示している。図３６において、信号φＶは垂直同期信号であり、信号φＨは水平同期信号である。

まず、時刻ｔ１において、タイミング発生部１８９から供給される垂直同期信号φＶ及び水平同期信号φＨがローレベルからハイレベルへと遷移する。

次いで、垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ２において、垂直走査回路３０７から供給される第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ３において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（時刻ｔ１に終了する撮影周期）中に信号保持部６０７Ｂに蓄積された第２の動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第２の動画の第１行の画像信号として外部に出力される（図３５の動画読み出し期間６６６に相当）。

次いで、時刻ｔ４において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）及び全行の転送パルスφＴＸ２Ａ（φＴＸ２Ａ（１），φＴＸ２Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂ及び全行の画素３０３の転送トランジスタ６０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（φＲＥＳ（１），φＲＥＳ（ｍ））はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、全行の画素３０３のフローティングディフュージョン領域６０８、全行の画素３０３の信号保持部６０７Ａ、第１行の画素３０３の信号保持部６０７Ｂは、リセットされる。このとき、第１行の選択パルスφＳＥＬ（１）もローレベルに遷移しており、第１行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ５において、垂直走査回路３０７から供給される全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオフとなり、全行のフォトダイオード６００のリセットが解除され、全行の画素３０３のフォトダイオード６００で第２の動画の信号電荷の蓄積が開始される（図３５の動画蓄積期間６６３に相当）。

ここで、垂直同期信号φＶがハイレベルになる時刻ｔ１と全行の画素３０３のフォトダイオード６００で第２の動画の信号電荷の蓄積が開始する時刻ｔ５との時間間隔Ｔｂは、固定である。

なお、図３６の時刻ｔ５での第２の動画の第１行の蓄積期間の開始は、図３５の時刻ｔ１からの撮影周期における第２の動画の蓄積期間の開始を表している。また、時刻ｔ５での第２の動画の第ｍ行の蓄積期間の開始は、図３５の時刻ｔ１より前の撮影周期における第２の動画の蓄積期間の開始を表している。

次いで、時刻ｔ７の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ｂに転送される（図３５の動画転送期間６６４に相当）。

次いで、時刻ｔ７において、全行の転送パルスφＴＸ１Ｂ （φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオフとなり、フォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ｂへの転送が終了する。

時刻ｔ５から時刻ｔ７までの時間が、第２の動画のためのＮｐ回の蓄積期間のそれぞれにおける蓄積時間（＝Ｔ１／１６）に相当する。

同じく時刻ｔ７において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオンとなり、全行の画素３０３のフォトダイオード６００がリセット状態になる。

時刻ｔ１から始まる撮影周期における第２の動画の第１回目の蓄積期間の開始の時刻ｔ５から水平同期信号φＨの間隔Ｔｈの２倍の時間が経過した時刻ｔ８に、第２の動画の第２回目の蓄積期間が開始される。

時刻ｔ８から始まり時刻ｔ１０に終了する第２の動画の第２回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第２の動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

ここで、第２の動画の第１回目及び第２回目の蓄積期間の動作において、これら２回の蓄積期間の間に生じた第２の動画の信号電荷は、信号保持部６０７Ｂにおいて加算して保持される。

次いで、時刻ｔ１０から時刻ｔ１１の間に、前述の時刻ｔ５から時刻ｔ７までの期間と同様にして、第２の動画の第３回目から第５回目の蓄積期間が行われる。

次いで、時刻ｔ１１から、第２の動画の第６回目の蓄積期間が開始される。ここで、第２の動画の第６回目の蓄積期間の開始の時刻ｔ１１は、垂直同期信号φＶがハイレベルになる時刻ｔ１から時間Ｔ（＝６×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。ここで、Ｔｈは水平同期信号φＨの時間間隔であり、Ｔｂは垂直同期信号φＶがハイレベルになる時刻ｔ１とフォトダイオード６００で第２の動画の第１回目の蓄積期間が開始される時刻ｔ５との時間間隔である。

時刻ｔ１１から始まり時刻ｔ１３に終了する第２の動画の第６回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第２の動画の第１回目の蓄積期間の動作と同様なので説明は省略する。

次いで、時刻ｔ１４から、第１の画像である第１の動画の蓄積期間が開始される。本駆動例では、１撮影周期中における第１の動画の蓄積期間の回数は１回である。垂直同期信号φＶに対する第１の動画の読み出し期間（図３５の静止画読み出し期間６６５に相当）の開始時刻は固定されている。そのため、垂直同期信号φＶに対する第１の動画の蓄積期間の終了時刻は、開始時刻から時間Ｔａの経過後の時刻に固定され、第１の動画の蓄積期間は時刻ｔ１９に終了するように設定されている。ここで、時刻ｔ１から時刻ｔ１９の間の時間間隔が、図３５の時間Ｔａに相当する。撮影者によって設定された第１の動画のシャッタースピードＴ１に基づいて、第１の動画の蓄積期間の開始の時間が制御される。

第１の動画の蓄積期間の終了の時刻ｔ１９より時間Ｔ１だけ遡った時刻ｔ１４において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除される。そして、全行の画素３０３のフォトダイオード６００において、第１の動画の信号電荷の蓄積期間が開始される（図３５の静止画蓄積期間６６１に相当）。

また、第１の動画の信号電荷の蓄積期間中に、時刻ｔ１に終了する１つ前の撮影周期の第ｍ行の第２の動画の読み出し期間が終了する。

まず、時刻ｔ１５において、垂直走査回路３０７から供給される第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ１６において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、時刻ｔ１に終了する１つ前の撮影周期中に信号保持部６０７Ｂに蓄積された第２の動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第２の動画の第ｍ行の画像信号として外部に出力される（図３５の動画読み出し期間６６６に相当）。

これにより、時刻ｔ１に終了する１つ前の撮影周期の第２の動画の読み出しが完了し、次に、時刻ｔ１から開始する撮影周期の第１の動画の読み出しが行われる（図３５の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ１７において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、第ｍ行の画素３０３のフローティングディフュージョン領域６０８、第ｍ行の画素３０３の信号保持部６０７Ｂは、リセットされる。このとき、第ｍ行の選択パルスφＳＥＬ（ｍ）もローレベルに遷移しており、第ｍ行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ１８において、第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルに遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ１９の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ａに転送される（図３５の静止画転送期間６６２に相当）。

時刻ｔ１９において、全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオフとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ａへの転送が終了する。

時刻ｔ１４から時刻ｔ１９までの時間が、時刻ｔ１から開始する撮影周期における第１の動画の蓄積時間（Ｔ１）に相当する。本駆動例では、１撮影周期中の第１の動画の蓄積期間の回数は１回のため、第１の動画の蓄積時間と蓄積期間に相当する時間とは同じである。

次いで、時刻ｔ２０において、第１行の転送パルスφＴＸ２Ａ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第１行の画素３０３の信号保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第１行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第１の動画の第１行の画像信号として外部に出力される（図３５の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ２１から、第２の動画の第７回目の蓄積期間が開始される。ここで、第２の動画の第７回目の蓄積期間の開始の時刻ｔ２１は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から時間Ｔ（＝（７＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。本駆動例では、第２の動画の２回の蓄積期間が第１の動画の蓄積期間（図３５の静止画蓄積期間６６１に相当）と重なっている。このため、第２の動画の第７回目の蓄積期間の開始の時刻ｔ２１は、時刻ｔ１に開始する撮影周期の第２の動画の第９回目の蓄積期間の開始の時刻と同等になっている。

時刻ｔ２１から始まり時刻ｔ２３に終了する第２の動画の第７回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第２の動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

次いで、時刻ｔ２３から時刻ｔ２４の間に、前述の時刻ｔ５から時刻ｔ７までの期間と同様にして、第２の動画の第８回目から第１３回目の蓄積期間が行われる。

次いで、時刻ｔ２４から、時刻ｔ１から開始する撮影周期における第２の動画の最後の第１４回目の蓄積期間が開始される。ここで、第２の動画の第１４回目の蓄積期間の開始の時刻ｔ２４は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から時間Ｔ（＝（１４＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。

時刻ｔ２４から始まり時刻ｔ２６に終了する第２の動画の第１４回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第２の動画の第１回目の蓄積期間の動作と同様なので説明は省略する。本撮影モードにおいて、第２の動画のＮｐ回の蓄積期間を行う期間は、時刻ｔ５から時刻ｔ２６である。

次いで、時刻ｔ２７において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへとする。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ２８において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第ｍ行の画素３０３の信号保持部６０７Ａに蓄積された第１の動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第ｍ行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第１の動画の第ｍ行の画像信号として外部に出力される（図３５の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ２９において、タイミング発生部１８９から供給される垂直同期信号φＶがローレベルからハイレベルへと遷移し、次の撮影周期が開始される。

以上のように、第１の動画静止画撮影モードでは、第１の動画の蓄積期間の終了時刻を垂直同期信号に対して固定とし、１撮影周期中に複数回行われる第２の動画の蓄積期間の開始の時刻は垂直同期信号に対して固定にしている。これにより、同一撮影周期内に第１の動画と第２の動画とを読み出すことを可能にしている。

これにより、第１の動画のシャッタースピードＴ１が所定のシャッタースピードＴｔｈよりも遅い場合、１撮影周期中に、蓄積時間が短くブレのない第１の動画と、蓄積期間が長くジャーキネスの抑制された第２の動画と、を同時に撮影することができる。

図３７は、本実施形態の撮像装置において、ローリング歪みが発生しない動画の撮影ができる第２の動画静止画撮影モードで第１の動画と第２の動画とを同時に撮影する際の、撮像素子１８４の蓄積及び読み出しタイミングを説明する図である。ここでいう蓄積とは、フォトダイオード６００で発生した電荷を信号保持部６０７Ａ，６０７Ｂに転送して蓄積する動作である。また、読み出しとは、信号保持部６０７Ａ，６０７Ｂに保持された電荷に基づく信号を、フローティングディフュージョン領域６０８を介して撮像素子１８４の外部に出力する動作である。

図３７には、横軸を時間として、垂直同期信号６５０、水平同期信号６５１、静止画蓄積期間６６１、静止画転送期間６６２、静止画読み出し期間６６５、動画蓄積期間６６３、動画転送期間６６４、動画読み出し期間６６６を示している。本駆動例では、垂直同期信号６５０の１周期の間に第１の動画と第２の動画とを読み出すようになっている。また、図３７では便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有する。図３７では、最終行を第ｍ行としている。

第１の動画は、垂直同期信号６５０の１周期（時間Ｔｆ）の間に全行同時に実施される１回の蓄積期間（静止画蓄積期間６６１）の間に生じた信号電荷に基づいて生成される。また、第２の動画は、Ｎｐ回（Ｎｐは２以上の整数（Ｎｐ＞１））に分割された蓄積期間（動画蓄積期間６６３）の間にそれぞれ生じた信号電荷を加算した信号電荷に基づいて生成される。１撮影周期の間に行われる第２の動画の蓄積期間の回数Ｎｐは、例えば８回であり、第１の動画の読み出し期間（静止画読み出し期間５６５）中に全行において均等な時間間隔で行われる。垂直同期信号６５０の間隔（時間Ｔｆ）は、動画のフレームレートに相当し、本駆動例では１／６０秒である。また、第１の動画の蓄積は、１撮影周期中の第２の動画の読み出し（動画読み出し期間６６６）中行う。

このようにすることで、第１の動画と第２の動画とを同時に撮影することが可能である。また、第１の動画として、撮影者の意図する蓄積時間の短いブレのない画像を取得することが可能である。また、Ｎｐ回の蓄積期間を均等な時間間隔で行うことは、実質的には第１回目の蓄積期間の開始時刻からＮｐ回目の蓄積期間の終了時刻までが１つの長い蓄積期間である。したがって、第２の動画として、ジャーキネスが抑制されローリング歪みのない画像を取得することが可能である。

図３７の時刻ｔ５１に終了する１つ前の撮影周期において、第１の動画の蓄積期間（静止画蓄積期間６６１）は、撮影者によって設定されたシャッタースピードＴ２に相当する時間に設定されている。本駆動例では、シャッタースピードＴ２は、１／２０００秒とする。第１の動画の蓄積期間の中心時刻は全行同じ（垂直同期信号６５０から時間Ｔｃの経過後の時刻）であり、第１の動画の第１行の読み出し期間（静止画読み出し期間６６５）の前に蓄積期間が終了するように設定されている。ここで、第１の動画の蓄積期間の中心時刻までの時間Ｔｃは全行同じのため、第１の動画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対する第１の動画の蓄積期間の開始時刻と終了時刻とが設定されるようになっている。第１の動画の蓄積期間の中心時刻までの時間Ｔｃは、第２の動画の読み出し期間（動画読み出し期間６６６）の中心になるように設定され、垂直同期信号６５０の間隔に相当する時間Ｔｆの約１／４に設定される。

一方、第２の動画の蓄積期間（動画蓄積期間６６３）は、第１の動画の読み出し期間（静止画読み出し期間６６５）中に均等な時間間隔で複数回行われる。本駆動例では、第２の動画の第１行の読み出し期間（動画読み出し期間６６６）の開始直前までに８回に分割された蓄積期間が終了するように時間間隔が設定されている。第２の動画の蓄積期間の時間間隔は、水平同期信号６５１の間隔Ｔｈの整数倍に設定される。これにより、第２の動画の全行のＮｐ回の蓄積期間が同じになっている。図３７では、第２の動画の蓄積期間の時間間隔は、便宜的に水平同期信号６５１の間隔Ｔｈの２倍になるように図示されている。通常は、第２の動画の蓄積期間の時間間隔は、撮像素子１８４の行数をｍ、１周期中の第２の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号６５１の間隔Ｔｈを掛けた値に設定される。

また、第２の動画の１回の蓄積時間は、Ｔ２／Ｎｐ（＝１／１６０００秒）に設定される。第２の動画の全行の蓄積期間の開始時刻は、垂直同期信号６５０に対して固定である。第２の動画の１回の蓄積期間の終了時刻は、撮影者によって設定された第１の動画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対して設定されるようになっている。

時刻ｔ５１に終了する１つ前の撮影周期で生成された第２の動画は、この撮影周期で生成された第１の動画を用いて欠落時間の補正を行うのも有効である。

このように、第２の動画の蓄積期間は、静止画の読み出し期間（静止画読み出し期間６６５）中に全行同じタイミングで行うことにより、ローリング歪みが発生しない動画を取得することができるようになっている。

次に、図３８のタイミングチャートを用いて、図３７の時刻ｔ５１から開始する撮影周期における撮像素子１８４の制御方法の一例を説明する。図３８において垂直同期信号φＶが立ち上がる時刻ｔ５１は、図３７において垂直同期信号６５０が立ち上がる時刻ｔ５１と同じである。

ここでは、撮像素子１８４が垂直方向にｍ行の画素列を有している場合を想定する。図３８には、これらのうち第１行と最終行の第ｍ行のタイミングを示している。図３８において、信号φＶは垂直同期信号であり、信号φＨは水平同期信号である。

まず、時刻ｔ５１において、タイミング発生部１８９から供給される垂直同期信号φＶ及び水平同期信号φＨがローレベルからハイレベルへと遷移する。

次いで、垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ５２において、垂直走査回路３０７から供給される第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ５３において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（時刻ｔ５１に終了する撮影周期）中に信号保持部６０７Ｂに蓄積された第２の動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第２の動画の第１行の画像信号として外部に出力される（図３７の動画読み出し期間６６６に相当）。

次いで、時刻ｔ５４において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）及び全行の転送パルスφＴＸ２Ａ（φＴＸ２Ａ（１），φＴＸ２Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂ及び全行の画素３０３の転送トランジスタ６０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（φＲＥＳ（１），φＲＥＳ（ｍ））はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、全行の画素３０３のフローティングディフュージョン領域６０８、全行の画素３０３の信号保持部６０７Ａ、第１行の画素３０３の信号保持部６０７Ｂは、リセットされる。このとき、第１行の選択パルスφＳＥＬ（１）もローレベルに遷移しており、第１行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ５５から第１の動画の蓄積期間が実行される。本駆動例では、１撮影周期中の第１の動画の蓄積期間の回数は１回である。第１の動画の蓄積期間の中心時刻は全行同じ（垂直同期信号６５０から時間Ｔｃの経過後の時刻）であり、第１の動画の第１行の読み出し期間（静止画読み出し期間６６５）の前に蓄積が終了するように設定されている。ここで、第１の動画の蓄積期間の中心時刻までの時間Ｔｃは全行同じのため、撮影者によって設定された第１の動画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対する第１の動画の蓄積期間の開始時刻と終了時刻とが設定される。

第１の動画の蓄積期間の中心時刻である時刻ｔ５６より時間Ｔ２／２だけ遡った時刻ｔ５５において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除される。そして、全行の画素３０３のフォトダイオード６００において、第１の動画の信号電荷の蓄積期間が開始される（図３７の静止画蓄積期間６６１に相当）。ここで、時刻ｔ５１から時刻ｔ５６までの時間が、図３７の時間Ｔｃに相当する。また、時刻ｔ５１までの撮影周期における第２の動画の第ｍ行の読み出し期間（図３７の動画読み出し期間６６６に相当）が終わる前に、第１の動画の信号電荷の蓄積が終了するようになっている。

次いで、時刻ｔ５７の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ａに転送される（図３７の静止画転送期間６６２に相当）。

次いで、時刻ｔ５７において、全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオフとなり、フォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ａへの転送が終了する。

時刻ｔ５５から時刻ｔ５７までの時間が、図３７の時刻ｔ５１から開始する撮影周期における第１の動画の蓄積時間（シャッタースピードＴ２）に相当する。本駆動例では１撮影周期中の第１の動画の蓄積期間の回数は１回であるため、１撮影周期中の第１の動画の蓄積時間と蓄積期間とは同じである。

次いで、時刻ｔ５８において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ５９において、垂直走査回路３０７から供給される第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（図３７の時刻ｔ５１までの撮影周期）中に信号保持部６０７Ｂに蓄積された第２の動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第２の動画の第ｍ行の画像信号として外部に出力される（図３７の動画読み出し期間６６６に相当）。

次いで、時刻ｔ６０において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルとへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、第ｍ行の画素３０３のフローティングディフュージョン領域６０８、第ｍ行の画素３０３の信号保持部６０７Ｂは、リセットされる。このとき、第ｍ行の選択パルスφＳＥＬ（ｍ）もローレベルに遷移しており、第ｍ行の画素３０３は非選択の状態に戻っている。

時刻ｔ５１に終了する１つ前の撮影周期の第２の画像である動画の読み出しが完了すると、時刻ｔ５１から開始する撮影周期の第１の動画の読み出し（図３７の静止画読み出し期間６６５に相当）が開始される。また、第２の動画の蓄積（図３７の動画蓄積期間６６３に相当）が開始される。

時刻ｔ６１において、第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ６２において、第１行の転送パルスφＴＸ２Ａ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第１行の画素３０３の信号保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第１行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第１の動画の第１行の画像信号として外部に出力される（図３７の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ６３において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除され、フォトダイオード６００での信号電荷の蓄積が開始される（図３７の動画蓄積期間６６３に相当）。

ここで、垂直同期信号φＶがハイレベルになる時刻ｔ５１と全行の画素３０３のフォトダイオード６００で信号電荷の蓄積が開始する時刻ｔ６３との時間間隔Ｔｂは固定である。

次いで、時刻ｔ６４の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が信号保持部６０７Ｂに転送される（図３７の動画転送期間６６４に相当）。

次いで、時刻ｔ６４において、全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオフとなり、フォトダイオード６００に蓄積された信号電荷の信号保持部６０７Ｂへの転送が終了する。

時刻ｔ６３から時刻ｔ６４までの時間が、第２の動画のための１回の蓄積期間における蓄積時間（＝Ｔ２／８）に相当する。

同じく時刻ｔ６４において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０３がオンとなり、全行の画素３０３のフォトダイオード６００がリセット状態になる。

時刻ｔ５１から始まる撮影周期における第２の動画の第１回目の蓄積期間の開始の時刻ｔ６３から水平同期信号φＨの間隔Ｔｈの２倍の時間が経過した時刻ｔ６５に、第２の動画の第２回目の蓄積期間が開始される。

時刻ｔ６５から始まり時刻ｔ６６に終了する第２の動画の第２回目の蓄積期間の動作は、前述の時刻ｔ６３から始まり時刻ｔ６４に終了する第２の動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

ここで、第２の動画の第１回目及び第２回目の蓄積期間の動作において、これら２回の蓄積期間の間に生じた第２の動画のための信号電荷は、信号保持部６０７Ｂにおいて加算して保持される。

次いで、時刻ｔ６６から時刻ｔ６７の間に、前述の時刻ｔ６３から時刻ｔ６４までの期間と同様にして、第２の動画の第３回目から第７回目の蓄積期間が行われる。

次いで、時刻ｔ６７から、１撮影周期中の最後となる第２の動画の第８回目の蓄積期間が開始される。ここで第２の動画の第８回目の蓄積期間の開始の時刻ｔ６７は、垂直同期信号φＶがハイレベルになる時刻ｔ５１から時間Ｔ（＝８×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。ここで、Ｔｈは水平同期信号φＨの時間間隔であり、Ｔｂは垂直同期信号φＶがハイレベルになる時刻ｔ５１とフォトダイオード６００で第２の動画の第１回目の蓄積期間が開始される時刻ｔ６３との時間間隔である。

時刻ｔ６７から始まり時刻ｔ６８に終了する第２の動画の第８回目の蓄積期間の動作は、前述の時刻ｔ６３から始まり時刻ｔ６４に終了する第２の動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

時刻ｔ６３から時刻ｔ６８までが本撮影モードにおける第２の動画のための信号電荷を蓄積するための期間であり、第１の動画の読み出し期間（時刻ｔ６２から時刻ｔ７０までの期間）中に行われる。

第２の動画の蓄積期間が終了している時刻ｔ６９において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの画像信号の読み出しが可能となる。

次いで、時刻ｔ７０において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第ｍ行の画素３０３の信号保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第ｍ行の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて第１の動画の第ｍ行の画像信号として外部に出力される（図３７の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ７１において、タイミング発生部１８９から供給される垂直同期信号φＶがローレベルからハイレベルへと遷移し、次の撮影周期が開始される。

このように、第２の動画静止画撮影モードでは、第２の動画の蓄積期間は、第１の動画の読み出し期間（静止画読み出し期間６６５）中に全行同じタイミングで行う。これにより、ローリング歪みが発生しない動画を取得することができる。また、第１の動画の蓄積期間に対して第２の動画の蓄積期間が長くなるようにしているため、ジャーキネスの抑制された画像を取得することができる。

このように、本実施形態によれば、ストップモーション効果が得られる「ｐｉｃｔｕｒｅ Ａ」と、ジャーキネスを抑制した「ｐｉｃｔｕｒｅ Ｂ」とを同時に取得することができる。このような特性の異なる２つの動画に対して、第１実施形態で示したような画像の提示方法を用いることで、単一の撮像素子１８４を用いて複数の映像を同時に撮影し鑑賞する際に、動画／静止画のそれぞれの鑑賞に適した画像を提供することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図８、図１１、図３２等に示した構成に限定されるものではない。

また、上記第１実施形態では、より好適な態様として、「ｐｉｃｔｕｒｅ Ａ」，「ｐｉｃｔｕｒｅ Ｂ」に対してクロストーク補正を実施する例を示したが、クロストーク補正は必ずしも実施する必要はない。

また、上記第１実施形態では、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」とを同じフレームレートで撮影する例を示したが、「ｐｉｃｔｕｒｅ Ａ」と「ｐｉｃｔｕｒｅ Ｂ」は、必ずしも同じフレームレートである必要はない。この場合、例えば「ｐｉｃｔｕｒｅ Ｂ」の１フレーム期間内に撮影される「ｐｉｃｔｕｒｅ Ａ」の複数のフレームのうち少なくとも１つのフレームを「ｐｉｃｔｕｒｅ Ｂ」のフレームに対応づければよい。

また、上記第３実施形態では、第１の動画の蓄積期間を１回、第２の動画の蓄積期間を１６回又は８回としたが、これら蓄積期間の回数は、撮影条件等に応じて適宜選択されるものであり、これらに限定されるものではない。例えば、第１の動画の蓄積回数は、少なくとも１回行えばよく、２回以上であってもよい。また、第２の動画の蓄積回数は、少なくとも２回以上であればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
３０３…画素
３０３Ａ，３０３Ｂ…画素要素
３１０Ａ，３１０Ｂ，６００…フォトダイオード（光電変換部）

Claims (15)

1. 第１の蓄積時間の間に生成された信号電荷に基づく第１の画像と、前記第１の蓄積時間を含む同期期間に、前記第１の蓄積時間よりも相対的に長い第２の蓄積時間の間に生成された信号電荷に基づく画像であって、前記第１の画像と同期して記録される第２の画像とを取得する撮像素子と、
   前記第１の画像に基づく第１の動画と、前記第２の画像に基づく第２の動画と、前記第１の動画と前記第２の動画とをフレーム単位で同期させる同期情報とを含む動画ファイルを生成する動画ファイル生成部と、を有し、
   前記撮像素子は、それぞれが１つの光電変換部と第１及び第２の信号保持部とを有する複数の画素を有し、一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される前記第１の画像と、前記一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される前記第２の画像とを取得する
   ことを特徴とする撮像装置。
2. 前記撮像素子は、第１の光電変換部と第２の光電変換部とをそれぞれが含む複数の画素を有し、前記第１の光電変換部において生成された信号電荷に基づく前記第１の画像と、前記第２の光電変換部において生成された信号電荷に基づく前記第２の画像とを取得する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記動画ファイル生成部は、前記第１の動画と前記同期情報とを含む第１の動画ファイルと、前記第２の動画と前記同期情報とを含む第２の動画ファイルとを生成する
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記動画ファイル生成部は、前記第１の動画と前記同期情報とを含む第１の動画トラックと、前記第２の動画と前記同期情報とを含む第２の動画トラックとを含む１つの前記動画ファイルを生成する
   ことを特徴とする請求項１又は２記載の撮像装置。
5. 前記動画ファイル生成部は、前記第１の動画のフレームの画像と、前記第１の動画の前記フレームに同期した前記第２の動画のフレームの画像とを各フレームが含む前記動画ファイルを生成する
   ことを特徴とする請求項１又は２記載の撮像装置。
6. 前記動画ファイル生成部は、前記第１の動画のフレームと前記第２の動画のフレームとが交互に提示されるように記録され、同期した前記第１の動画のフレームと前記第２の動画のフレームとが連続する前記動画ファイルを生成する
   ことを特徴とする請求項１又は２記載の撮像装置。
7. 前記動画ファイルに基づいて画像を提示する画像再生部であって、
   前記動画ファイルを再生するモードとして、時間に応じて提示画像を変化しない第１の提示モードと、時間に応じて提示画像を変化する第２の提示モードとを有し、
   前記第１の提示モードでは、前記動画ファイルから前記第１の動画を選択して提示し、
   前記第２の提示モードでは、前記動画ファイルから前記第２の動画を選択して提示する画像再生部を更に有する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画像再生部は、前記第２の提示モードで前記第２の動画を提示中に前記第１の提示モードへの切り替えを指示された場合には、提示している前記第２の動画のフレームと同期して取得された前記第１の動画のフレームの提示に切り替える
   ことを特徴とする請求項７記載の撮像装置。
9. 前記画像再生部は、再生時のフレームレートが撮影時のフレームレートよりも低い場合には、前記第２の提示モードへの切り替え指示の有無にかかわらず、前記第２の動画を提示する
   ことを特徴とする請求項７又は８記載の撮像装置。
10. 第１の蓄積時間の間に生成された信号電荷に基づく第１の画像と、前記第１の蓄積時間を含む同期期間に、前記第１の蓄積時間よりも相対的に長い第２の蓄積時間の間に生成された信号電荷に基づく画像であって、前記第１の画像と同期して記録される第２の画像とを取得する撮像装置により撮像された動画ファイルを再生する再生手段を備え、
    前記再生手段は、動画ファイルを再生するモードとして、時間に応じて提示画像を変化しない第１の提示モードと、時間に応じて提示画像を変化する第２の提示モードとを有し、前記第１の提示モードでは、前記動画ファイルから前記第１の画像に基づく第１の動画を選択して提示し、前記第２の提示モードでは、前記動画ファイルから前記第２の画像に基づく第２の動画を選択して提示し、
    前記撮像装置は、それぞれが１つの光電変換部と第１及び第２の信号保持部とを有する複数の画素を有し、一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される前記第１の画像と、前記一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される前記第２の画像とを取得する
    こと特徴とする再生装置。
11. 前記撮像装置は、第１の光電変換部と第２の光電変換部とをそれぞれが含む複数の画素を有し、前記第１の光電変換部において生成された前記第１の画像と、前記第２の光電変換部において生成された前記第２の画像とを取得する
    ことを特徴とする請求項１０記載の再生装置。
12. 前記第２の提示モードで前記第２の動画を提示中に前記第１の提示モードへの切り替えを指示された場合には、提示している前記第２の動画のフレームと同期して取得された前記第１の動画のフレームの提示に切り替える
    ことを特徴とする請求項１０又は１１記載の再生装置。
13. 再生時のフレームレートが撮影時のフレームレートよりも低い場合には、前記第２の提示モードへの切り替え指示の有無にかかわらず、前記第２の動画を提示する
    ことを特徴とする請求項１０乃至１２のいずれか１項に記載の再生装置。
14. 第１の蓄積時間の間に生成された信号電荷に基づく第１の画像と、前記第１の蓄積時間を含む同期期間に、前記第１の蓄積時間よりも相対的に長い第２の蓄積時間の間に生成された信号電荷に基づく画像であって、前記第１の画像と同期して記録される第２の画像とを取得する撮像装置により撮影された動画ファイルを再生する再生方法であって、
    時間に応じて提示画像を変化しない第１の提示モードでの再生の指示に応じて、前記動画ファイルから前記第１の画像に基づく第１の動画を選択して提示し、
    時間に応じて提示画像を変化する第２の提示モードでの再生の指示に応じて、前記動画ファイルから前記第２の画像に基づく第２の動画を選択して提示し、
    前記撮像装置は、それぞれが１つの光電変換部と第１及び第２の信号保持部とを有する複数の画素を有し、一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも１回、前記第１の信号保持部に転送して生成される前記第１の画像と、前記一の撮影周期中に前記光電変換部で発生した信号電荷を少なくとも２回以上、前記第２の信号保持部に転送し加算することにより生成される前記第２の画像とを取得する
    ことを特徴とする再生方法。
15. 前記撮像装置は、第１の光電変換部と第２の光電変換部とをそれぞれが含む複数の画素を有し、前記第１の光電変換部において生成された信号電荷に基づく前記第１の画像と、前記第２の光電変換部において生成された信号電荷に基づく前記第２の画像とを取得する
    ことを特徴とする請求項１４記載の再生方法。