JP6855251B2 - 撮像装置及び再生装置 - Google Patents

Description

本発明は、単一の撮像素子から出力される蓄積期間の長さが異なる２つの映像信号に基づく画像の撮像装置及び再生装置に関する。

動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴しながら、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光効率の異なる２つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。

特許文献１では、受光効率の異なる２つの光電変換部から第１映像信号及び第２映像信号を読み出す撮像装置が提案されている。このような構成により、単一の撮影レンズを通して動画と静止画を同時に撮影したり、通常フレームレート動画と高フレームレート動画とを同時に撮影したりすることができる。

特開２０１４−０４８４５９号公報 特開２０１３−１７２２１０号公報

しかしながら、特許文献１では、単一の撮像素子から出力される蓄積期間の長さが異なる２つの映像信号を用いることから以下のような課題が存在する。
特許文献１の撮像装置では、第１映像信号と第２映像信号とで蓄積期間の終了時刻が一致するように撮影が行われる。この場合、第１映像信号と第２映像信号とで蓄積期間の開始時刻と終了時刻の中間時刻が異なることから、被写体の撮影タイミングが両者で異なってしまう。特に、被写体が動いているような場合には、第１映像信号の画像と第２映像信号の画像とで、画像上の被写体の位置が異なってしまう。

このため、第１映像信号と第２映像信号のいずれか一方を用いて他方を補正しようとすると、被写体の画像上の位置が異なることから正しく補正することができないという課題があった。また、第１映像信号と第２映像信号のいずれか一方を用いて生成した映像の１部のフレーム画像を、他方を用いて生成したフレーム画像で置き換えると、映像再生時に被写体の動作がフレーム落ちしたように不自然となってしまうという課題があった。

本発明に係る別の撮像装置は、光電変換部と、光電変換部に生じた信号電荷を保持する第１電荷保持部及び第２電荷保持部と、光電変換部から第１電荷保持部へ信号電荷を転送する第１転送トランジスタと、光電変換部から第２電荷保持部へ信号電荷を転送する第２転送トランジスタと、光電変換部に蓄積された信号電荷を排出するオーバーフロートランジスタと、を含む画素を有する画素アレイと、第１蓄積期間において光電変換部に生じ、第１電荷保持部に保持された信号電荷に基づく第１映像信号、及び、複数の第２蓄積期間において光電変換部に生じ、第２電荷保持部に保持された信号電荷に基づく第２映像信号、を読み出す読み出し部と、第１転送トランジスタ、第２転送トランジスタ、及びオーバーフロートランジスタを制御して、第１蓄積期間の中間時刻と複数の第２蓄積期間の中間時刻とが一致するように画素を駆動する走査部と、蓄積期間の中間時刻が互いに一致する第１映像信号及び第２映像信号を用いて画像を生成する生成部と、を備えることを特徴とする。

また、本発明に係る再生装置は、本発明に係る撮像装置により生成又は記録された映像を再生する再生装置であって、蓄積期間の中間時刻が一致する第１画像と第２画像とを互いに関連付けて再生する再生部を備えることを特徴とする。

本発明によれば、単一の撮像素子から出力される蓄積期間の長さが異なる２つの映像信号を用いて生成される画像を、高品位に再生することが可能となる。

本発明の第１実施形態に係る撮像装置を示す外観図である。 本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態に係る撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第１実施形態に係る撮像装置における撮像素子の内部構造を示す断面図である。 画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。 本発明の第１実施形態に係る撮像装置における撮影光学系と撮像素子との関係を示す図である。 撮像素子から出力される映像信号を説明するための概略図である。 本発明の第１実施形態に係る撮像装置における画素の構成例を示す回路図である。 本発明の第１実施形態に係る撮像装置における画素の要部を示す平面レイアウト図である。 本発明の第１実施形態に係る撮像装置における画素のライトガイドを含む要部を示す平面レイアウト図である。 本発明の第１実施形態に係る撮像装置における読み出し回路の構成を示す回路図である。 本発明の第１実施形態に係る撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。 本発明の第１実施形態に係る撮像装置の撮像シーケンスを説明するためのタイミングチャートである。 動画及び静止画撮影データの各フレームに付加されるタイムコードの一例を示す図である。 動画及び静止画の撮影データのファイル構造の一例を示す図である。 動画及び静止画の撮影条件の設定画面を説明するための図である。 受光効率の異なる２つのフォトダイオードを用いて撮影した映像信号のＩＳＯ感度範囲の例を示す図である。 本発明の第１実施形態に係る撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。 第１実施形態に係る撮像装置によって蓄積期間の中間時刻が一致するように撮影を行う場合の蓄積及び転送タイミングを示す図である。 第１実施形態に係る撮像装置によって蓄積期間の中間時刻が一致するように撮影したｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの画像の例を示す図である。 従来の撮像装置によって蓄積期間の終了時刻が一致するように撮影したｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの画像の例を示す図である。 タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。 従来の撮像装置によって蓄積期間の終了時刻が一致するように撮影された映像の１フレーム画像を置き換えた場合の例を示す図である。 第１実施形態に係る撮像装置によって蓄積期間の中間時刻が一致するように撮影された映像の１フレーム画像を置き換えた場合の例を示す図である。 第１実施形態に係る撮像装置におけるクロストークの影響を説明する図である。 第２実施形態に係る撮像装置による２つの映像信号のフレームレートが異なる場合の蓄積及び転送タイミングを示す図である。 第３実施形態に係る撮像装置における撮像素子の概略構成を示すブロック図である。 第３実施形態に係る撮像装置における読み出し回路の概略構成を示すブロック図である。 第３実施形態に係る撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。 第４実施形態に係る撮像装置によってＨＤＲ撮影を行うときの蓄積及び転送タイミングを示す図である。 本発明の第５実施形態に係る撮像装置における画素の構成例を示す回路図である。 本発明の第５実施形態に係る撮像装置における画素の駆動シーケンスを示すタイミングチャートである。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１実施形態）
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積期間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積期間を設定することとなる。

単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積期間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（High Dynamic Range）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。

このような背景から、撮像装置内の撮像素子に感度の異なる２つの画素群を設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、２つの画素群のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。

本実施形態では、まず、単一の撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

図１は、本実施形態に係る撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。本実施形態に係る撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。

画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された不図示の制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎＡ，φＲＥＳｎＢ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号が出力される。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号が出力される。

図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。

ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。

図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。

図５に示すように、出力特性２６１及び出力特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性２６２のピーク強度ＰＢは、出力特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。

次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。

撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２からの光束を何れの画素においても高効率で受光することが可能となっている。

図７は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタ２５６が配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタ２５６の色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタ２５６が配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＡとなる。また、出力データ２８３は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＢとなる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することがある。また、映像信号ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢに基づいて得られた画像を、それぞれｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することもある。

図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応している。

フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、フローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。映像信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。

同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、フローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。映像信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。

各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９Ａ，３１９Ｂ、及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９Ａは、リセットトランジスタ３１４Ａのゲートに接続されている。同様に、リセット制御線３１９Ｂは、リセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。同様に、転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９Ａは、リセットトランジスタ３１４Ａのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎＡを供給する。同様に、リセット制御線３１９Ｂは、リセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎＢを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。同様に、転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎＡ及びφＲＥＳｎＢ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。

フォトダイオード３１０Ａは光電変換により電荷を生成及び蓄積する第１光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成及び蓄積する第２光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を保持する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。

垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎＡが出力されると、リセットトランジスタ３１４Ａがオン状態となり、フォトダイオード３１０Ａ、フローティングディフュージョン領域３１３Ａがリセットされる。同様に、垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎＢが出力されると、リセットトランジスタ３１４Ｂがオン状態となり、フォトダイオード３１０Ｂ、フローティングディフュージョン領域３１３Ｂがリセットされる。

垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧値に基づく入力を増幅して信号出力線３０４Ａに出力する。

同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧値に基づく入力を増幅して信号出力線３０４Ｂに出力する。

図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。

図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。

転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。

本実施形態に係る撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積期間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。

図１１は、撮像素子１８４の読み出し回路の構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。

読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０ＲＡで制御されるスイッチであり、信号ＰＣ０ＲＡがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの映像信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。

スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている映像信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０ＲＡ、ＰＴＮＡ及びＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

読み出し回路３０８Ｂも、読み出し回路３０８Ａと同様の構成を有している。また、以下の説明における信号ＰＣ０ＲＢ、ＰＴＮＢ及びＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。読み出し回路３０８Ｂでの信号ＰＣ０ＲＢ、ＰＴＮＢ及びＰＴＳＢは、読み出し回路３０８Ａでの信号ＰＣ０ＲＡ、ＰＴＮＡ及びＰＴＳＡと同等の役割を担っている。

次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。

まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ｂに出力する転送パルスφＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９ＢにハイレベルのリセットパルスφＲＥＳ１Ｂが出力されており、リセットトランジスタ３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ｂは、転送トランジスタ３１１Ｂ及びリセットトランジスタ３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ｂも、リセット状態となる。

次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ３において、垂直走査回路３０７は、転送制御線３２０Ａに出力する転送パルスφＴＸ１Ａを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９ＡにハイレベルのリセットパルスφＲＥＳ１Ａが出力されており、リセットトランジスタ３１４Ａもオン状態である。これにより、フォトダイオード３１０Ａは、転送トランジスタ３１１Ａ及びリセットトランジスタ３１４Ａを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａも、リセット状態となる。

次いで、時刻ｔ４において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ５において、垂直走査回路３０７は、リセットパルスφＲＥＳ１Ａをハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａはオフ状態となり、フローティングディフュージョン領域３１３Ａのリセットを解除する。

これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルの映像信号として読み出され、読み出し回路３０８Ａに入力される。

時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａには、ハイレベルの信号ＰＣ０ＲＡが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの映像信号が入力される。

次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａに出力する信号ＰＣ０ＲＡをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。

次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。

次いで、時刻ｔ８において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。

次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送する。

次いで、時刻ｔ１０において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出しを終了する。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。

そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。

次いで、時刻ｔ１２において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。

次いで、時刻ｔ１３において、垂直走査回路３０７は、リセットパルスφＲＥＳ１Ａをローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａは、リセットトランジスタ３１４Ａを介して電源線３０５に接続され、リセット状態となる。

次いで、時刻ｔ１４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１Ｂをハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ｂのリセットを解除する。

これにより、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの映像信号として読み出され、読み出し回路３０８Ｂに入力される。

時刻ｔ１４において、タイミング発生部１８９から読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０ＲＢが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ｂには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ｂからリセット信号レベルの映像信号が入力される。

次いで、時刻ｔ１５において、タイミング発生部１８９から読み出し回路３０８Ｂに出力する信号ＰＣ０ＲＢをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。

次いで、時刻ｔ１６において、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ１７において、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

次いで、時刻ｔ１８において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。

これにより、フォトダイオード３１０Ａの蓄積期間の開始時刻と終了時刻の中間時刻（以下「蓄積期間の中間時刻」という）とフォトダイオード３１０Ｂの蓄積期間の中間時刻とは、時刻ｔｃで一致する。

次いで、時刻ｔ１９において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
そして、読み出し回路３０８Ｂでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ２０において、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ２１において、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ２２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１Ｂをローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ｂは、リセットトランジスタ３１４Ｂを介して電源線３０５に接続され、リセット状態となる。

図１３は、本実施形態に係る撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は「時：分：秒：フレーム」を表している。

時刻ｔ３１は、撮像装置１００の電源投入時刻である。時刻ｔ３２において、動画撮影ボタンであるであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、ｐｉｃｔｕｒｅＢの撮像及びｐｉｃｔｕｒｅＡの撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、ｐｉｃｔｕｒｅＢについては、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。

時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、ｐｉｃｔｕｒｅＡについても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。ここで、ｐｉｃｔｕｒｅＡの映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、ｐｉｃｔｕｒｅＢの映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの何れについても、記録媒体１９３に記録された各映像データは同一フレームレートで、例えば、６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１４に示すようになる。

図１５は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。

スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘ５０４に格納されているので、汎用のビューアで再生する際に影響を与えない。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。

図１６は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のＩＳＯ感度範囲には３段の差がある。図１７に示すように、ｐｉｃｔｕｒｅＡはＩＳＯ１００〜ＩＳＯ１０２４００、ｐｉｃｔｕｒｅＢはＩＳＯ１２〜ＩＳＯ１２８００となっている。

図１８は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。ｐｉｃｔｕｒｅＡのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、ｐｉｃｔｕｒｅＢのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図１８において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図１８を用いて説明する。

まず、Ｂｖ１３のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ１００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。

Ｂｖ１０のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。

Ｂｖ６のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

Ｂｖ５のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ２５に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲においてｐｉｃｔｕｒｅＡは１／１０００以上のシャッタースピードを保ち、ｐｉｃｔｕｒｅＢは多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、ｐｉｃｔｕｒｅＡではストップモーション効果を得つつ、ｐｉｃｔｕｒｅＢではコマ送り的なジャーキネスのない高品位な動画を得ることができる。

図１９は、撮像装置に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。図１９では、撮影モード選択レバー１５６が、図１（ｂ）の状態から９０度時計方向に回動した位置に設定されたデュアル映像モードとなっている。このため、表示部１５３には、ｐｉｃｔｕｒｅＡの蓄積期間１６４、ｐｉｃｔｕｒｅＢの蓄積期間１６５、及びＦナンバー１６６が表示されている。

図２０は、第１実施形態に係る撮像装置によって蓄積期間の中間時刻が一致するように撮影を行う場合の蓄積及び転送タイミングを示す図である。図２０には、Ｖ同期信号６８１を示している。また、本発明の技術的特徴であるｐｉｃｔｕｒｅＡの蓄積期間６８２及び６８３、ｐｉｃｔｕｒｅＢの蓄積期間６８６及び６８７を示している。図２０の横軸は時間であり、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積期間の上には、フレーム番号を示している。

時刻ｔ５２から時刻ｔ５４までの蓄積期間６８２は、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間であり、時刻ｔ５７から時刻ｔ５９までの蓄積期間６８３は、ｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間である。また、蓄積期間６８２の直後に点線で示す転送期間６８４は、画面上端ラインの画素３０３のフローティングディフュージョン領域３１３ＡからｐｉｃｔｕｒｅＡを読み出す期間を表している。また、蓄積期間６８６の直後に点線で示す転送期間６８８は、画面上端ラインの画素３０３のフローティングディフュージョン領域３１３ＢからｐｉｃｔｕｒｅＢを読み出す期間を表している。

撮像素子１８４は、ローリング電子シャッター方式で露光動作を行うため、ｐｉｃｔｕｒｅＡの蓄積期間は、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次開始し、当該時間間隔で順次終了する。蓄積期間が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。

同様に、時刻ｔ５１から時刻ｔ５６までの蓄積期間６８６は、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間であり、時刻ｔ５５から時刻ｔ６０までの蓄積期間６８７は、ｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間である。フォトダイオード３１０Ａはフォトダイオード３１０Ｂと比べて感度が高いため、ｐｉｃｔｕｒｅＡの蓄積期間はｐｉｃｔｕｒｅＢの蓄積期間と比較して短く設定される。ｐｉｃｔｕｒｅＢの蓄積期間もｐｉｃｔｕｒｅＡと同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次開始し、当該時間間隔で順次終了する。蓄積期間が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。

このように、受光効率が高いフォトダイオード３１０ＡによるｐｉｃｔｕｒｅＡの蓄積期間を短く設定し、受光効率が低いフォトダイオード３１０ＢによるｐｉｃｔｕｒｅＢの蓄積期間を長く設定することにより、同程度の強度の映像信号を得ることができる。これにより、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢともゲインアップすることなく、Ｓ／Ｎ比の良好なノイズ感の無い映像を得ることができる。

また、図２０に細い実線で示す中間時刻６８５は、太い実線で示すｐｉｃｔｕｒｅＡの蓄積期間６８２、６８３等の中間時刻を結んだ線である。同様に、細い実線で示す中間時刻６８９は、太い実線で示すｐｉｃｔｕｒｅＢの蓄積期間６８６、６８７等の中間時刻を結んだ線である。ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間６８２の中間時刻ｔ５３は、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間６８６の中間時刻ｔ５３と一致している。同様に、ｐｉｃｔｕｒｅＡのその他のラインの蓄積期間の中間時刻は、対応するｐｉｃｔｕｒｅＢのラインの蓄積期間の中間時刻と一致している。このように、本実施形態では、それぞれのラインの蓄積期間の中間時刻が一致するように、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積期間の開始タイミングと終了タイミングを制御している。

図２１は、第１実施形態に係る撮像装置によって蓄積期間の中間時刻が一致するように撮影したｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの画像の例を示す図である。図２１（ａ）は、撮影対象である被写体１を示している。

被写体１は、図２１（ａ）に示すように矢印の方に動いているため、蓄積期間の長いｐｉｃｔｕｒｅＢには被写体ブレが発生する。一方、蓄積期間の短いｐｉｃｔｕｒｅＡには被写体ブレがほとんど発生しない。図２１（ｂ）は、被写体ブレが発生したｐｉｃｔｕｒｅＢの画像を示し、図２１（ｃ）は、被写体ブレが発生していないｐｉｃｔｕｒｅＡの画像を示している。

図２１（ｂ）には、被写体１の被写体ブレを被写体像１ａ〜１ｃとして模式的に示している。被写体像１ａ〜１ｃは、それぞれｐｉｃｔｕｒｅＢの蓄積期間の開始時刻、中間時刻、終了時刻における被写体１の像を表している。また、図２１（ｂ）の被写体像１ａ〜１ｃは、図２１（ｃ）の被写体１ｅよりも細い線で表すことにより、フォトダイオードの受光効率が低いことを表している。

図２１（ｂ）及び図２１（ｃ）に示す画像は、蓄積期間の中間時刻が一致するように撮影されているので、ｐｉｃｔｕｒｅＢにおける被写体ブレの中心の被写体像１ｂの画像上の位置と、ｐｉｃｔｕｒｅＡにおける被写体１ｅの画像上の位置が一致している。これにより、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの一方を用いて他方を正しく補正することできる。また、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのいずれか一方を用いて生成した映像の１部のフレーム画像を、他方を用いて生成したフレーム画像で置き換えても、再生時の被写体の動きは滑らかであり、映像を高品位に再生することが可能となる。具体的な再生方法と画像処理方法については後述する。

図２２は、従来の撮像装置によって蓄積期間の終了時刻が一致するように撮影したｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの画像の例を示す図である。図２２（ａ）は、矢印方向に移動している被写体１を示している。図２２（ｂ）は、図２１（ｂ）と同様に、被写体ブレが発生したｐｉｃｔｕｒｅＢの画像を示している。図２２（ｃ）は、図２１（ｃ）と同様に、被写体ブレが発生していないｐｉｃｔｕｒｅＡの画像を示している。

図２２（ｂ）及び図２２（ｃ）に示す画像は、蓄積期間の終了時刻が一致するように撮影されている。このため、図２１とは異なり、ｐｉｃｔｕｒｅＡにおける被写体１ｄは、ｐｉｃｔｕｒｅＢにおける被写体ブレの中心の被写体像１ｂではなく、ｐｉｃｔｕｒｅＢにおける被写体ブレの端の被写体像１ｃと画像上の位置が一致している。このため、ｐｉｃｔｕｒｅＡ又はｐｉｃｔｕｒｅＢの一方を用いて他方を補正しようとしても、被写体の画像上の位置が異なることから正しく補正することができない。また、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの一方を用いて生成した映像の１部のフレーム画像を、他方を用いて生成したフレーム画像で置き換えると、映像再生時に被写体の動作がフレーム落ちしたように不自然となってしまう。

一方、本実施形態では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで、蓄積期間の中間時刻が一致するように撮影されているので、図２１に示すように、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを用いて生成される画像を、高品位に再生することが可能となる。

図２３は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図２３において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルは、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定されて互いに関連付けがなされている。

まず、動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。図２３ではフレーム５７３の被写体周囲をぼかしてジャーキネスが出ない程度の被写体の動きを表現している。

フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＡのデータファイルから、ｐｉｃｔｕｒｅＢと同一タイムコードのフレーム５８２が検索されて表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。

このように、ｐｉｃｔｕｒｅＢを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、ｐｉｃｔｕｒｅＡを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら２つの効果を１つの撮像素子を用いて実現できる。

また、本実施形態においては、再生時の操作性向上のために、静止画用のファイルと動画用のファイルとを分けて、記録媒体１９３の別々のフォルダにファイルしている。例えば、前述したように、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢとも、同一フレームレート且つ同一のＭＰ４フォーマットで、動画用のフォルダと静止画用のフォルダに分けて記録する。そして、再生ボタン１６１が操作されると、動画用のファイルデータとして記録されたｐｉｃｔｕｒｅＢが、動画として連続再生される。また、静止画用のファイルデータとして記録されたｐｉｃｔｕｒｅＡが、画像送り操作とともに一枚ずつ静止画として再生される。

動画再生中の静止画の表示については、スイッチＳＴ１５４が操作されたタイミングで、再生中の動画のｐｉｃｔｕｒｅＢと同一タイムコードの静止画ｐｉｃｔｕｒｅＡを表示するようにしてもよい。また、アップダウンスイッチ１５８、１５９を操作してその前後の静止画を表示してもよい。動画撮影及び静止画撮影に用いるｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの組み合わせは撮影時に決定される。そして、撮影されたｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの各々が動画用、静止画用のフォルダにファイルされる。

ここで、図２３で説明した、動画の一時停止中において静止画を表示する活用例を、蓄積期間の終了時刻が一致するように撮影したｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを用いて行う場合について、先の図２２を用いて説明する。図２２（ｂ）のｐｉｃｔｕｒｅＢの画像を動画として再生中に一時停止を押すと、対応するフレームとして図２２（ｃ）のｐｉｃｔｕｒｅＡの画像が表示される。しかし、図２２（ｃ）に示すように、ｐｉｃｔｕｒｅＡにおける被写体１ｄは、ｐｉｃｔｕｒｅＢにおける被写体ブレの中心の被写体像１ｂとは異なる位置に表示されてしまう。

特に、スポーツシーン等の映像を再生中に、一瞬を写しとめた所望の画像を一時停止して表示しようとする場合には、このような画像のずれはユーザにとって意図するものではなく、映像の価値を大きく低下させてしまう。そこで、本実施形態では、図２０に示すように、蓄積期間の中間時刻が一致するようにｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積期間の開始タイミングと終了タイミングを制御する。これにより、図２３に示すような、動画の一時停止中において静止画を表示する活用例においても、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを用いて生成されたずれのない画像を、高品位に再生することが可能となる。

次に、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのいずれか一方に、いわゆる白とび（オーバー）等の画像ノイズが生じた場合に、画像ノイズが発生している映像信号を画像ノイズが発生していない映像信号を用いて補正する場合について考える。例えば、ｐｉｃｔｕｒｅＡの蓄積期間外であるがｐｉｃｔｕｒｅＢの蓄積期間内であるタイミングにおいて一瞬の閃光が生じた場合などである。このような場合には、ｐｉｃｔｕｒｅＢのダイナミックレンジを超えて白とびが発生するので、ｐｉｃｔｕｒｅＢのフレーム画像をｐｉｃｔｕｒｅＡのフレーム画像で置き換えることが有効である。しかし、ｐｉｃｔｕｒｅＡのフレーム画像とｐｉｃｔｕｒｅＢのフレーム画像との差異が大きいと、以下のような問題が生じてしまう。

図２４は、従来の撮像装置によって蓄積期間の終了時刻が一致するように撮影された映像の１フレーム画像を置き換えた場合の例を示す図である。図２４（ａ）〜（ｄ）は、移動する被写体１を、蓄積期間の終了時刻が一致するように撮影した映像の４枚のフレーム画像を示している。図２４（ａ）、（ｂ）、（ｄ）に示す画像はｐｉｃｔｕｒｅＢによる画像である。一方、図２４（ｃ）に示す画像は、そのｐｉｃｔｕｒｅＢの撮影タイミングにおいて白とびが発生したため、対応するｐｉｃｔｕｒｅＡの画像に置き換えられている。

このような一連のフレーム画像を再生する場合について考える。図２４（ａ）〜（ｄ）に示す一点鎖線は、被写体１の像の重心を示しており、移動量１０ａ〜１０ｃは各フレーム画像間の被写体１の重心の移動量を表している。図２４では、移動量１０ｂ＞１０ａ＞１０ｃとなっている。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢで蓄積期間の終了時刻を一致させて撮影した映像では、図２２で説明したように、対応するフレーム画像間の差異が大きくなってしまうので、被写体１の重心の移動量がフレーム画像間で異なってしまう。このような映像を再生すると、被写体１の動作がフレーム落ちしたように不自然となってしまう。

図２５は、第１実施形態に係る撮像装置によって蓄積期間の中間時刻が一致するように撮影された映像の１フレーム画像を置き換えた場合の例を示す図である。図２４と同様に、図２５（ａ）、（ｂ）、（ｄ）に示す画像はｐｉｃｔｕｒｅＢによる画像であり、図２５（ｃ）に示す画像はｐｉｃｔｕｒｅＡによる画像である。

このような一連のフレーム画像を再生する場合について考える。図２４と同様に、図２５（ａ）〜（ｄ）に示す一点鎖線は、被写体１の像の重心を示しており、移動量１１ａ〜１１ｃは各フレーム画像間の被写体１の重心の移動量を表している。図２５では、移動量１０ａ＝１０ｂ＝１０ｃとなっている。これにより、図２５（ａ）〜（ｄ）に示す映像を再生すると、被写体１の動きは滑らかであり、ユーザの意図に沿った形で映像を高品位に再生することが可能である。

なお、図２４及び図２５では白とび（オーバー）したフレーム画像を置き換える場合について説明したが、黒つぶれ（アンダー）や、その他の画像ノイズが発生したフレーム画像を置き換える場合であっても同様の効果が得られる。

次に、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの間にクロストークノイズが発生する場合においても、蓄積期間の中間時刻を一致させて撮影することが有効であることを説明する。本実施形態のような、単一の撮像素子が２つのフォトダイオード３１０Ａ，３１０Ｂを有する撮像装置においては、一方のフォトダイオードの光電変換により発生した信号電荷が、他方のフォトダイオードに漏れこむクロストークノイズが発生することがある。

図２６は、第１実施形態に係る撮像装置におけるクロストークの影響を説明する図である。図２６（ａ）は、従来の撮像装置によって蓄積期間の終了時刻を一致させて撮影したｐｉｃｔｕｒｅＢの画像の例を示している。一方、図２６（ｂ）は、本実施形態の撮像装置によって蓄積期間の中間時刻を一致させて撮影したｐｉｃｔｕｒｅＢの画像の例を示している。

図２６（ａ）は、図２２（ｃ）に示すｐｉｃｔｕｒｅＡの被写体１ｄの像が、図２２（ｂ）に示すｐｉｃｔｕｒｅＢの画像にクロストークした場合の例を示している。図２６（ａ）では、クロストークの影響によるムラが被写体ブレの端の被写体像１ｃ´において発生しており目立ってしまう。

一方、図２６（ｂ）は、図２１（ｃ）に示すｐｉｃｔｕｒｅＡの被写体１ｅの像が、図２１（ｂ）に示すｐｉｃｔｕｒｅＢの画像にクロストークした場合の例を示している。図２６（ｂ）では、クロストークの影響によるムラが被写体ブレの中心の被写体像１ｂ´において発生するので、図２６（ａ）と比較すると、クロストークの影響が左右の被写体像１ａ及び１ｃと重なりあって目立たない。このように、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの間にクロストークノイズの影響がある場合においても、蓄積期間の中間時刻を一致させて撮影することが有効である。

以上のように、本実施形態の走査部（垂直走査回路）は、第１光電変換部（フォトダイオード３１０Ａ）の蓄積期間と第２光電変換部（フォトダイオード３１０Ｂ）の蓄積期間の中間時刻が一致するように画素を駆動する。また、本実施形態の読み出し部（読み出し回路）は、第１光電変換部から第１映像信号（ｐｉｃｔｕｒｅＡ）を読み出し、第２光電変換部から第２映像信号（ｐｉｃｔｕｒｅＢ）を読み出す。また、本実施形態の生成部（システム制御ＣＰＵ）は、蓄積期間の中間時刻が互いに一致する第１映像信号及び第２映像信号を用いて画像を生成する。

これにより、単一の撮像素子から出力される蓄積期間の長さが異なる２つの映像信号を用いて生成される画像を、高品位に再生することが可能となる。

なお、ｐｉｃｔｕｒｅＡによる第１画像とｐｉｃｔｕｒｅＢによる第２画像とを互いに関連付けて記録する記録部（記録インターフェース部１９２）を備えてもよいし、互いに関連付けられた第１画像と第２画像を、撮像装置の外部に送信するようにしてもよい。また、第１画像と第２画像とを互いに関連付けて再生する再生部（表示インターフェース部１９１）を備えてもよいし、互いに関連付けられた第１画像と第２画像を、撮像装置の外部の再生装置により再生するようにしてもよい。

（第２実施形態）
以下、第２実施形態に係る撮像装置について図２７を用いて説明する。第１実施形態では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢでフレームレートが等しい場合について説明したが、本実施形態では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢでフレームレートが異なる場合について説明する。

第１実施形態では、ｐｉｃｔｕｒｅＢの１回の蓄積期間中にｐｉｃｔｕｒｅＡの蓄積を１回しか行わなかったが、ｐｉｃｔｕｒｅＢの１回の蓄積期間中にｐｉｃｔｕｒｅＡの蓄積を複数回行うことも可能である。本実施形態では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢでフレームレートが異なる場合においても、蓄積期間の中間時刻を一致させて撮影することが有効であることを説明する。この場合、垂直走査回路３０７は、ｐｉｃｔｕｒｅＢの蓄積期間に含まれるｐｉｃｔｕｒｅＡの複数の蓄積期間のうちの１つの蓄積期間の中間時刻が、ｐｉｃｔｕｒｅＢの蓄積期間の中間時刻と一致するように画素を駆動する。

図２７は、第２実施形態に係る撮像装置による２つの映像信号のフレームレートが異なる場合の蓄積及び転送タイミングを示す図である。図２７に示すタイミングシーケンスは、図２０に示す第１実施形態のタイミングシーケンスと比較して、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢでフレームレートが異なっている。その他については図２０と同じであるので説明は省略する。

図２７に太い実線で示す蓄積期間６０２、蓄積期間６０３は、それぞれｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間、画面下端ラインの蓄積期間である。同様に、太い実線で示す蓄積期間６０４、蓄積期間６０５は、それぞれｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間、画面下端ラインの蓄積期間である。図２７では、時刻ｔ６１〜ｔ６３のｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間６０４に、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間が３回含まれている。その他のラインについても同様である。

また、ｐｉｃｔｕｒｅＢの蓄積期間６０４の中間時刻ｔ６２は、ｐｉｃｔｕｒｅＡの蓄積期間６０２の中間時刻ｔ６２と一致している。また、ｐｉｃｔｕｒｅＢの蓄積期間６０５の中間時刻ｔ６４は、ｐｉｃｔｕｒｅＡの蓄積期間６０３の中間時刻ｔ６４と一致している。その他のラインについても同様である。

以上のように、本実施形態では、第２光電変換部の蓄積期間に含まれる第１光電変換部の複数の蓄積期間のうちの１つの蓄積期間の中間時刻が、第２光電変換部の蓄積期間の中間時刻と一致するように画素を駆動する。これにより、第１実施形態と同様の効果を得るとともに、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢでフレームレートを独立して設定することができるので、例えばｐｉｃｔｕｒｅＡを用いて高フレームレートのスロー再生を行うことができる。

（第３実施形態）
以下、第３実施形態に係る撮像装置について、図２８〜図３０を用いて説明する。第１実施形態では、読み出し回路３０８ＡがｐｉｃｔｕｒｅＡを読み出し、読み出し回路３０８ＢがｐｉｃｔｕｒｅＢを読み出す構成について説明した。これに対して、本実施形態では、共通化された１つの読み出し回路３０８がｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの両方を読み出す構成について説明する。

第１実施形態の図２０では、フローティングディフュージョン３１３からｐｉｃｔｕｒｅＡ又はｐｉｃｔｕｒｅＢを読み出す転送期間を点線で示した。図２０では、蓄積期間の中間時刻が一致するように蓄積及び転送タイミングを制御しており、この結果として、同一ラインのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢで読み出しタイミングが異なっている。本実施形態でも、第１実施形態と同様に、蓄積期間の中間時刻が一致するように蓄積及び転送タイミングを制御するため、図２０に示すように、同一ラインのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢで読み出しタイミングが異なる。このため、本実施形態では、ｐｉｃｔｕｒｅＡを読み出す読み出し回路３０８Ａと、ｐｉｃｔｕｒｅＢを読み出す読み出し回路３０８Ｂが同時に動作することがないので、読み出し回路を共通化することができる。

一方、従来のように蓄積期間の終了時刻が一致するように蓄積及び転送タイミングを制御する場合は、映像信号の読み出しタイミングがｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの対応するラインで一致してしまうので、読み出し回路を共通化することはできない。

図２８は、第３実施形態に係る撮像装置における撮像素子１８４の概略構成を示すブロック図である。図２８に示す撮像素子１８４は、図３に示す第１実施形態の撮像素子１８４と比較して、読み出し回路３０８Ａ及び３０８Ｂが、１つの読み出し回路３０８に共通化されている。また、信号出力線３０４Ａ、３０４Ｂは両方とも共通化された読み出し回路３０８に接続されている。その他については図３と同じであるので説明は省略する。

図２９は、第３実施形態に係る撮像装置における読み出し回路３０８の概略構成を示すブロック図である。図２９に示す読み出し回路３０８は、図１１に示す第１実施形態の読み出し回路３０８と比較して、入力切り替えスイッチ４３０Ａ、４３０Ｂが追加されている。また、入力切り替えスイッチ４３０Ａ、４３０Ｂには、それぞれ信号出力線３０４Ａ、３０４Ｂが接続されている。その他については図１１と同じであるので説明は省略する。

図２８に示したように、本実施形態では、信号出力線３０４Ａ、３０４Ｂの両方が読み出し回路３０８に接続されている。入力切り替えスイッチ４３０Ａ、４３０Ｂは、いずれか一方のみがＯＮされることにより、読み出し回路３０８と接続される信号出力線３０４Ａ、３０４Ｂを選択する。入力切り替えスイッチ４３０Ａ、４３０Ｂは、それぞれ信号ＰＳＷＡ、ＰＳＷＢにより制御される。

図３０は、第３実施形態に係る撮像装置における撮像素子１８４の駆動シーケンスを示すタイミングチャートである。図３０に示すタイミングチャートは、図１２に示す第１実施形態のタイミングチャートと比較して、入力切り替えスイッチ４３０Ａ、４３０Ｂを制御するための信号ＰＳＷＡ、ＰＳＷＢが追加されている。また、時刻ｔ５と時刻ｔ６の間に時刻ｔａが追加され、時刻ｔ１４と時刻ｔ１５の間に時刻ｔｂが追加されている。その他については図１２と同じであるので説明は省略する。以下、図３０を用いて、本実施形態の撮像装置における入力切り替えスイッチ４３０Ａ、４３０Ｂの制御方法について説明する。

時刻ｔ１において、信号ＰＳＷＡ、ＰＳＷＢは共にローレベルの状態にあり、入力切り替えスイッチ４３０Ａ、４３０ＢはＯＦＦであり、読み出し回路３０８は信号出力線３０４Ａ、３０４Ｂのどちらとも接続されていない状態である。

時刻ｔ１から時刻ｔ５までは第１実施形態の図１２と同じである。時刻ｔａにおいて信号ＰＳＷＡをハイレベルとして、入力切り替えスイッチ４３０ＡをＯＮとし、読み出し回路３０８を信号出力線３０４Ａに接続する。

時刻ｔ６において、信号ＰＣ０ＲＡをローレベルとするところから時刻ｔ１２までは第１実施形態の図１２と同じである。時刻ｔ１３において、リセットパルスφＲＥＳ１Ａをハイレベルにし、信号ＰＣ０ＲＡをハイレベルにする。そして、信号ＰＳＷＡをローレベルとして、入力切り替えスイッチ４３０ＡをＯＦＦにする。

時刻ｔ１４において、リセットパルスφＲＥＳ１Ｂをローレベルとして、フローティングディフュージョン領域３１３Ｂのリセット状態を解除する。そして、時刻ｔｂにおいて信号ＰＳＷＢをハイレベルとして、入力切り替えスイッチ４３０ＢをＯＮとし、読み出し回路３０８を信号出力線３０４Ｂに接続する。

時刻ｔ１５において、信号ＰＣ０ＲＢをローレベルとするところから時刻ｔ２１までは第１実施形態の図１２と同じである。時刻ｔ２２において、リセットパルスφＲＥＳ１Ｂをハイレベルにし、信号ＰＣ０ＲＢをハイレベルにする。そして、信号ＰＳＷＢをローレベルとして、入力切り替えスイッチ４３０ＡをＯＦＦにする。

以上のように、本実施形態では、第１映像信号及び第２映像信号を、同一の読み出し回路を用いて異なるタイミングで読み出す。これにより、第１実施形態と同様の効果を得るとともに、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢで読み出し回路を共通化することができる。つまり、対応する一対のｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの画素に対し、読み出し回路を一つのみ有することで、読み出し回路の回路規模を縮小して撮像装置を小型化することができる。

（第４実施形態）
以下、第４実施形態に係る撮像装置について、図３１を用いて説明する。本実施形態では、諧調を拡大したいわゆるＨＤＲ（High Dynamic Range）画像を合成する方法について説明する。本実施形態の撮像装置の構成は、第１実施形態と同じである。

本実施形態に係る撮像素子１８４では、第１実施形態と同様に、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比が８：１程度、すなわち感度の差が３段程度に設定されているものとする。この場合、両者に同一の蓄積期間を設定すると、ｐｉｃｔｕｒｅＢはｐｉｃｔｕｒｅＡに対して３段アンダーとなる。

したがって、ｐｉｃｔｕｒｅＡが低輝度領域を十分に再現可能なときは、ｐｉｃｔｕｒｅの高輝度領域は多くの場合に白とびしてしまうが、ｐｉｃｔｕｒｅＢはその高輝度領域においても白とびせずに輝度情報を残すことができる。ただし、ｐｉｃｔｕｒｅＢは低輝度領域においては黒つぶれを起こしているので、多くの場合は使用することはできない。

ＨＤＲ映像を得るためには、まず、アンダー画像とオーバー画像を適切にゲイン調整し、アンダー画像の輝度が閾値より暗い領域はオーバー画像の対応する領域で置き換え、アンダー画像の輝度が閾値より明るい領域はアンダー画像をそのままに合成する。アンダー画像としてｐｉｃｔｕｒｅＢを用い、オーバー映像としてｐｉｃｔｕｒｅＡを用いればよい。ただし、輝度閾値付近の明るさの中間領域は映像の合成比率を徐々に変化させるなど、ユーザにとってより自然な見え方となるようにする必要がある。

ｐｉｃｔｕｒｅＢをｐｉｃｔｕｒｅＡに対して何段アンダーに設定するかは、被写体の輝度分布の広さに依存する。輝度分布の範囲が広く、アンダー画像としてのｐｉｃｔｕｒｅＢの信号レベルを３段アンダーよりも低くするときは、ｐｉｃｔｕｒｅＢの蓄積期間をｐｉｃｔｕｒｅＡよりも短くする。一方、輝度分布の範囲が狭く、アンダー映像としてのｐｉｃｔｕｒｅＢの信号レベルを３段アンダーよりも高くするには、ｐｉｃｔｕｒｅＢの蓄積期間をｐｉｃｔｕｒｅＡよりも長くすればよい。

このような撮影方法及び画像処理によってＨＤＲ画像を得ることができる。上述のようなＨＤＲ画像を生成する際に、ｐｉｃｔｕｒｅＢの蓄積期間を、第１実施形態の場合よりも長く、ｐｉｃｔｕｒｅＡの蓄積期間よりも短くする場合でも、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積期間の中間時刻を一致させることは有効である。ｐｉｃｔｕｒｅＡの画像とｐｉｃｔｕｒｅＢの画像で差異が大きいと、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを用いて画像を正確に合成することが難しくなるためである。

図３１は、第４実施形態に係る撮像装置によってＨＤＲ撮影を行うときの蓄積及び転送タイミングを示す図である。図３１に示すタイミングシーケンスは、図２０に示す第１実施形態のタイミングシーケンスと比較して、ｐｉｃｔｕｒｅＡの各ラインの蓄積期間の長さが４倍になっている点が異なっている。その他については図２０と同じであるので説明は省略する。

図３１に太い実線で示した蓄積期間６１２はｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間であり、太い実線で示した蓄積期間６１３はｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間である。同様に、太い実線で示した蓄積期間６１４はｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間であり、太い実線で示した蓄積期間６１５はｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間である。

第１実施形態と比較すると、ｐｉｃｔｕｒｅＡの各ラインの蓄積期間は４倍の長さになっている。そこで、本実施形態ではｐｉｃｔｕｒｅＡは蓄積期間の開始時刻を早め、終了時刻を遅らせることで、ｐｉｃｔｕｒｅＡの蓄積期間の中間時刻とｐｉｃｔｕｒｅＢの蓄積期間の中間時刻とが一致するように制御する。このような撮影を行うことにより、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢを用いてＨＤＲ撮影を行う場合でも、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの差異を低減して、階調を拡大した高品位なＨＤＲ画像を生成することができる。

以上のように、本実施形態では、第１映像信号（ｐｉｃｔｕｒｅＡ）がオーバーするとき又は第２映像信号（ｐｉｃｔｕｒｅＢ）がアンダーするときは、第１映像信号及び第２映像信号を用いてＨＤＲ画像を合成する。これにより、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢを用いてＨＤＲ撮影を行う場合でも、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの差異を低減して、高品位のＨＤＲ画像を生成することができる。

（第５実施形態）
以下、第５実施形態に係る撮像装置について、図３２及び図３３を用いて説明する。先の第１実施形態では、受光効率の異なる２つのフォトダイオードを有する画素３０３を用いて、蓄積期間が異なる２つの映像信号を得る方法について説明した。これに対し、本実施形態では、１つのフォトダイオードに対して２つの電荷保持部を有する画素３０３ｂを用いて、蓄積期間が異なる２つの映像信号を得る方法について説明する。本実施形態の撮像装置は、画素３０３ｂの構成が第１実施形態と異なっている。その他の構成については概ね第１実施形態と同じであるので説明は省略する。

図３２は、本発明の第５実施形態に係る撮像装置における画素３０３ｂの構成例を示す回路図である。図３２に示す本実施形態の画素３０３ｂは、図８に示す第１実施形態の画素３０３に対応するものである。図３２には、行列状に配置された複数の画素３０３ｂのうち、第１行第１列（１、１）の画素３０３ｂと、第ｍ行第１列（ｍ、１）の画素３０３ｂを示し、その他の画素３０３ｂについては記載を省略している。第ｍ行は画素アレイ３０２の最下行を表し、典型的には数千程度である。画素アレイ３０２を構成する各画素３０３ｂは、概ね同一の構成を有している。このため、図３２に示す第１行第１列（１、１）の画素３０３ｂと第ｍ行第１列（ｍ、１）の画素３０３ｂには同一の符号を付している。

本実施形態の画素３０３ｂは、１つのフォトダイオード７００に対して２つの電荷保持部７０７Ａ、７０７Ｂを有することを特徴としている。例えば特許文献２には、１つのフォトダイオード７００に対して１つの電荷保持部を有する画素の構成が開示されているため、電荷保持部の詳細については説明を省略する。以下では、画素３０３ｂが、１つのフォトダイオード７００に対して２つの電荷保持部７０７Ａ、７０７Ｂを有する構成について説明する。

図３２に示す画素３０３ｂは、フォトダイオード７００、電荷保持部７０７Ａ、７０７Ｂ、第１転送トランジスタ７０１Ａ、第２転送トランジスタ７０１Ｂ、フローティングディフュージョン領域７０８を少なくとも有している。画素３０３ｂは更に、リセットトランジスタ７０４、増幅トランジスタ７０５、選択トランジスタ７０６、第３転送トランジスタ７０２Ａ、第４転送トランジスタ７０２Ｂ、オーバーフロートランジスタ７０３等を有してもよい。

以下、第１行第１列（１、１）の画素３０３ｂの構成について説明するが、その他の行及び列の画素３０３ｂの構成についても概ね同じである。画素３０３ｂは、垂直走査回路３０７が出力する制御信号であるφＴＸ１Ａ、φＴＸ２Ａ、φＴＸ１Ｂ、φＴＸ２Ｂ、φＴＸ３、φＲＥＳ、φＳＥＬにより制御される。信号出力線７２３には、画素３０３ｂからの映像信号が出力される。電源線７２０、７２１は、各トランジスタに電源を供給する。

フォトダイオード７００は、被写体からの入射光を光電変換し、生じた信号電荷を蓄積する。第１転送トランジスタ７０１Ａは転送パルスφＴＸ１Ａにより制御され、フォトダイオード７００に蓄積された信号電荷を電荷保持部７０７Ａへ転送する。電荷保持部７０７Ａは、フォトダイオード７００から転送された信号電荷を保持する。第３転送トランジスタ７０２Ａは転送パルスφＴＸ２Ａにより制御され、電荷保持部７０７Ａが保持する信号電荷をフローティングディフュージョン領域７０８へ転送する。

同様に、第２転送トランジスタ７０１Ｂは転送パルスφＴＸ１Ｂにより制御され、フォトダイオード７００に蓄積された信号電荷を電荷保持部７０７Ｂへ転送する。電荷保持部７０７Ｂは、フォトダイオード７００から転送された信号電荷を保持する。第４転送トランジスタ７０２Ｂは転送パルスφＴＸ２Ｂにより制御され、電荷保持部７０７Ｂが保持する信号電荷をフローティングディフュージョン領域７０８へ転送する。

増幅トランジスタ７０５はフローティングディフュージョン領域７０８へ転送された信号電荷量に基づく映像信号を出力する。選択トランジスタ７０６は選択パルスφＳＥＬにより制御され、増幅トランジスタ７０５が出力する映像信号を信号出力線７２３に出力する。リセットトランジスタ７０４はリセットパルスφＲＥＳにより制御され、フローティングディフュージョン領域７０８に転送された信号電荷をリセットする。

このような画素３０３ｂの構成により、第１映像信号用の蓄積期間に生じた信号電荷を電荷保持部７０７Ａへ転送して保持しつつ、第２映像信号用の蓄積期間に生じた信号電荷を電荷保持部７０７Ｂへ転送して保持することができる。すなわち、蓄積期間が異なる２つの映像信号用の信号電荷を、２つの電荷保持部７０７Ａ、７０７Ｂにおいて独立に保持することができる。

更に、図３２に示す画素３０３ｂは、オーバーフロートランジスタ７０３を備えている。オーバーフロートランジスタ７０３は転送パルスφＴＸ３により制御され、フォトダイオード７００に蓄積されている信号電荷を電源線７２１を介して排出する。これにより、フォトダイオード７００には、オーバーフロートランジスタ７０３がオフである間にだけ信号電荷が蓄積されるため、フォトダイオード７００における信号電荷の蓄積期間をより自由に制御することができる。

以後の説明では、電荷保持部７０７Ａに保持した信号電荷に基づく第１映像信号を「ｐｉｃｔｕｒｅＡ」、電荷保持部７０７Ｂに保持した信号電荷に基づく第２映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢと表記することがある。また、映像信号ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢに基づいて得られた画像を、それぞれｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することもある。

次に、図３２に示した画素３０３ｂの制御方法について説明する。図３３は、本発明の第５実施形態に係る撮像装置における画素３０３ｂの駆動シーケンスを示すタイミングチャートである。図３３に示すタイミングチャートは、第１映像信号（ｐｉｃｔｕｒｅＡ）を用いて静止画を生成し、第２映像信号（ｐｉｃｔｕｒｅＢ）を用いて動画を生成する場合の、画素３０３ｂにおける信号電荷の蓄積期間、転送期間、及び読み出し期間の一例を示している。

ここで、蓄積期間とは、フォトダイオード７００に発生した信号電荷を、フォトダイオード７００で蓄積している期間をいう。また、転送期間とは、フォトダイオード７００に蓄積された信号電荷を、電荷保持部７０７Ａ又は電荷保持部７０７Ｂへ転送している期間をいう。また、読み出し期間とは、電荷保持部７０７Ａ又は電荷保持部７０７Ｂが保持する信号電荷量に応じた映像信号を読み出している期間をいう。図３３ではこれらの期間を、例えば「Ａ１」のように１つの文字と１つの数字で表記している。この表記のうち文字はｐｉｃｔｕｒｅ「Ａ」又はｐｉｃｔｕｒｅ「Ｂ」のいずれに関するものであるかを示し、数字は、蓄積期間「１」、転送期間「２」、読み出し期間「３」のいずれであるかを示している。

垂直同期信号６５０と水平同期信号６５１は、垂直走査回路３０７からそれぞれ周期Ｔｆと周期Ｔｈで出力される。図３３では、垂直同期信号６５０の周期Ｔｆである１フレーム期間を、１／６０秒とした。図３３には、１フレーム期間において、静止画用及び動画用の映像信号を各画素３０３ｂからそれぞれ１回ずつ読み出す場合の、各行の蓄積期間、転送期間、及び読み出し期間を示している。なお、図３３では、画素アレイ３０２の最下行である第ｍ行を便宜的にｍ＝６としたが、実際の画素アレイ３０２はより多くの行を有している。

まず、第１映像信号（ｐｉｃｔｕｒｅＡ）を用いて静止画を撮影する方法について説明する。画素３０３ｂのフォトダイオード７００は、図３３に示す蓄積期間Ａ１において静止画用の信号電荷を蓄積する。蓄積期間Ａ１の開始時刻及び終了時刻は、第１転送トランジスタ７０１Ａ及びオーバーフロートランジスタ７０３を用いて制御される。静止画の蓄積期間Ａ１の長さＴＡは、撮影者によって予め設定されたシャッタースピードに基づいて決定される。図３３に示す静止画の蓄積期間Ａ１の長さＴＡは１／２０００秒であるが、便宜上、図３３にはこの期間をより長く描いている。

静止画用の蓄積期間Ａ１が終了すると、続く転送期間Ａ２において、フォトダイオード７００から電荷保持部７０７Ａへ信号電荷が転送される。その後、読み出し期間Ａ３において、電荷保持部７０７Ａが保持する信号電荷に基づく第１映像信号が読み出される。本実施形態では、同一列の画素３０３ｂで１つの読み出し回路が共用されているため、読み出し期間Ａ３における読み出し処理は、図３３に示すように第１行から最下行の第ｍ行まで２Ｔｈずつ遅延させながら順に行われる。

図３３に示した画素３０３ｂの駆動シーケンスでは、静止画用の第１映像信号の蓄積期間Ａ１が行毎に２Ｔｈだけ遅延した、いわゆるローリング電子シャッター動作となる。しかし、蓄積期間Ａ１を全行同時とすることで、静止画用の第１映像信号の蓄積期間Ａ１が全行で一致した、いわゆるグローバル電子シャッター動作とすることも可能である。

なお、本実施形態において全行同時というときの同時性は、実用上問題のない程度であればよい。例えば、複数の画素３０３ｂを完全に同時に駆動するとドライバーに負荷がかかるため、この負荷を軽減するために一部の画素３０３ｂで小さな時間差を設ける構成としてもよい。

次に、第２映像信号（ｐｉｃｔｕｒｅＢ）を用いて動画を撮影する方法について説明する。画素３０３ｂのフォトダイオード７００は、１フレーム期間中に概ね均等に配置された回数Ｎｐ＝８の蓄積期間Ｂ１のそれぞれにおいて動画用の信号電荷を蓄積する。なお１フレーム期間中の蓄積期間Ｂ１の回数Ｎｐは８回に限定されず、２以上の自然数であればよい。蓄積期間Ｂ１の開始時刻及び終了時刻は、第２転送トランジスタ７０１Ｂ及びオーバーフロートランジスタ７０３を用いて制御される。

回数Ｎｐ＝８のそれぞれの蓄積期間Ｂ１の間隔（周期）は、水平同期信号６５１の周期Ｔｈの整数倍とすることで、各蓄積期間Ｂ１の開始時刻及び終了時刻を各行で一致させることが容易となる。例えば図３３では、蓄積期間Ｂ１の間隔を、水平同期信号６５１の周期Ｔｈの２倍の２Ｔｈとしている。なお蓄積期間Ｂ１の間隔はこれに限定されず、均等でなくてもよい。典型的には、蓄積期間Ｂ１の間隔は、画素アレイ３０２の行数ｍを回数Ｎｐで割った値ｍ／Ｎｐを超えない自然数を、水平同期信号６５１の周期Ｔｈに対して乗算した値に設定される。

動画の蓄積期間Ｂ１の長さＴＢは、静止画の蓄積期間Ａ１の長さＴＡと同様に、撮影者によって予め設定されたシャッタースピードに基づいて決定される。例えば図３３に示す１フレーム期間の回数Ｎｐ＝８の蓄積期間Ｂ１を合計した長さ８×ＴＢは、静止画の蓄積期間Ａ１の長さＡ１と同じ１／２０００秒である。すなわち、１回当りの蓄積期間Ｂ１の長さＴＢは１／１６０００秒である。便宜上、図３３にはこの期間をより長く描いている。

動画用の蓄積期間Ｂ１が終了すると、続く転送期間Ｂ２において、フォトダイオード７００から電荷保持部７０７Ｂへ信号電荷が転送される。その後、読み出し期間Ｂ３において、電荷保持部７０７Ｂが保持する信号電荷に基づく第２映像信号が読み出される。本実施形態では、同一列の画素３０３ｂで１つの読み出し回路が共用されているため、読み出し期間Ｂ３における読み出し処理は、図３３に示すように第１行から最下行の第ｍ行まで２Ｔｈずつ遅延させながら順に行われる。

なお、本実施形態では蓄積期間が異なる２つの映像信号用の信号電荷を、２つの電荷保持部７０７Ａ、７０７Ｂにおいて独立に保持することができるため、蓄積期間Ｂ１における蓄積動作は、読み出し期間Ａ３における読み出し動作と並行して行われる。また、本実施形態では、動画用の第２映像信号を取得するための回数Ｎｐの蓄積期間Ｂ１を、１フレーム期間内に分散させて配置しているため、露光期間を１フレーム期間に分散させてシャッタースピードを擬似的に遅らせることができる。これにより、いわゆるジャーキネスを抑えた滑らかな動画を撮影することができる。

図３３に示した駆動シーケンスでは、動画用の第１映像信号の各蓄積期間Ｂ１の開始及び終了時刻については全行で同時であるが、読み出し期間Ｂ３の直前の転送期間Ｂ２のタイミングが各行で異なるため、ローリング電子シャッター動作となる。しかし、読み出し期間Ｂ３の直前の転送期間Ｂ２のタイミングを全行同時とすることで、静止画の場合と同様に動画の撮影をグローバル電子シャッター動作とすることも可能である。

再度、図３２及び図３３を参照しながら、図３２に示した本実施形態の画素３０３ｂの駆動シーケンスについてより詳細に説明する。まず、動画用の第２映像信号（ｐｉｃｔｕｒｅＢ）を取得する際の画素３０３ｂの駆動シーケンスについて説明する。

時刻ｔ８０において、第１行の転送パルスφＴＸ２Ｂ、及び全行の転送パルスφＴＸ２Ａがハイレベルとなると、第１行の第４転送トランジスタ７０２Ｂ、及び全行の第３転送トランジスタ７０２Ａがオンとなる。このとき既に、全行のリセットパルスφＲＥＳがハイレベルになり、リセットトランジスタ７０４がオンとなっている。これにより、全行のフローティングディフュージョン領域７０８、第１行の動画用の電荷保持部７０７Ｂ、及び全行の静止画用の電荷保持部７０７Ａに保持された信号電荷がリセットされる。なお、このときの第１行の選択パルスφＳＥＬはローレベルになっている。

時刻ｔ８１において、全行の転送パルスφＴＸ３がローレベルとなると、全行のオーバーフロートランジスタ７０３がオフとなる。これにより、全行のフォトダイオード７００が信号電荷を蓄積できるようになり、蓄積期間Ｂ１において全行のフォトダイオード７００に動画用の信号電荷が蓄積される。

時刻ｔ８２において、第１行の転送パルスφＴＸ１Ｂがハイレベルとなると、第１行の第２転送トランジスタ７０１Ｂがオンとなる。これにより、第１行のフォトダイオード７００に蓄積された信号電荷が、転送期間Ｂ２において、第１行の電荷保持部７０７Ｂに転送される。その後、第１行の転送パルスφＴＸ１Ｂがローレベルとなると、第１行の第２転送トランジスタ７０１Ｂがオフとなる。

時刻ｔ８３において、時刻ｔ８１と同様に、フォトダイオード７００で第２回の動画用の信号電荷の蓄積が行われる。また時刻ｔ８４において、時刻ｔ８２と同様に、フォトダイオード７００から電荷保持部７０７Ｂへの第２回の動画用の信号電荷の転送が行われる。この第２回の蓄積及び転送による信号電荷は、先の時刻ｔ８２で電荷保持部７０７Ｂへ転送された信号電荷に加算されて保持される。その後、同様にして、第３回〜第８回の電荷信号の蓄積及び転送が間欠的に繰り返され、先に電荷保持部７０７Ｂへ転送された信号電荷に加算されて保持される。

第２行以降においても、第１行と同様に、期間２Ｔｈずつ遅延させながら順に動画用の信号電荷の蓄積及び転送が行われる。図３３では、動画用の信号電荷の一回の蓄積期間Ｂ１の長さ（例えば時刻ｔ８１〜時刻ｔ８２）は、全て同一の長さＴＢに設定される。また、動画の蓄積開始時間から次の蓄積開始時間までの間隔（例えば時刻ｔ８１〜時刻ｔ８３）についても、同一の長さ２Ｔｈに設定される。

時刻ｔ９２において、第１行の第８回の電荷保持部７０７Ｂへの信号電荷の転送が終了すると、第１行のリセットパルスφＲＥＳがローレベルとなり、第１行のリセットトランジスタ７０４がオフとなる。これにより、フローティングディフュージョン領域７０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬがハイレベルとなると、第１行の選択トランジスタ７０６がオンとなる。これにより、第１行の映像信号の読み出しが可能となる。そして、第１行の転送パルスφＴＸ２Ｂがハイレベルとなると、第１行の第４転送トランジスタ７０２Ｂがオンとなる。これにより、第１回〜第８回の各蓄積期間Ｂ１においてフォトダイオード７００に生じた動画用の信号電荷が、電荷保持部７０７Ｂからフローティングディフュージョン領域７０８に転送される。

時刻ｔ９３からの読み出し期間Ｂ３において、フローティングディフュージョン領域７０８の電位に応じた出力が、増幅トランジスタ７０５及び選択トランジスタ７０６を介して信号出力線７２３に読み出される。そして、不図示の読み出し回路に供給されて第１行の動画用の映像信号として外部に出力される。時刻ｔ９４以降の次フレームにおいても、時刻ｔ８０から行われた前フレームと同様の動作を繰り返して行い、第１行の動画用の映像信号を取得する。

一方、第１行の読み出し期間Ｂ３が開始する時刻ｔ９３から更に期間２Ｔｈが経過した時刻ｔ９５において、第１行と同様に、第２行のフローティングディフュージョン領域７０８からの読み出し期間Ｂ３が開始される。第３行以降においても、同様の動作が期間２Ｔｈずつ遅延させながら順に行われ、時刻ｔ９７からの読み出し期間Ｂ３において最下行の第ｍ行までの映像信号が得られると、動画用の１フレーム分の映像信号を得ることができる。

図３３には、動画用の第１行の映像信号を取得するための計８回の蓄積期間Ｂ１（時刻ｔ８１〜時刻ｔ９２）の中間時刻を時刻ｔ８６で示している。そして、第２行以降の蓄積期間の中間時刻を繋げた線を点線Ｃで示している。各行の計８回の蓄積期間Ｂ１のうちの最初の蓄積期間は、期間２Ｔｈずつ遅延させながら開始されるので、各行の計８回の蓄積期間Ｂ１の中間時刻も同様に、期間２Ｔｈずつ遅延していく。

次に、静止画用の第１映像信号（ｐｉｃｔｕｒｅＡ）を取得する際の画素３０３ｂの駆動シーケンスについて説明する。

時刻ｔ８５において、全行の転送パルスφＴＸ３がローレベルとなると、第１行のオーバーフロートランジスタ７０３がオフとなる。これにより、第１行のフォトダイオード７００が信号電荷を蓄積できるようになり、蓄積期間Ａ１において第１行のフォトダイオード７００に静止画用の信号電荷が蓄積される。

時刻ｔ８８において、第１行のリセットパルスφＲＥＳがローレベルとなると、第１行のリセットトランジスタ７０４がオフとなる。これにより、フローティングディフュージョン領域７０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬがハイレベルとなると、第１行の選択トランジスタ７０６がオンとなる。これにより、第１行の映像信号の読み出しが可能となる。更に、第１行の転送パルスφＴＸ１Ａがハイレベルとなると、第１行の第１転送トランジスタ７０１Ａがオンとなる。これにより、第１行のフォトダイオード７００に蓄積された静止画用の信号電荷が、転送期間Ａ２において、第１行の電荷保持部７０７Ａに転送される。

時刻ｔ８９において、第１行の転送パルスφＴＸ１Ａがローレベルとなると、第１行の第１転送トランジスタ７０１Ａがオフとなる。これにより、第１行のフォトダイオード７００から電荷保持部７０７Ａへの信号電荷の転送が終了する。続いて、第１行の転送パルスφＴＸ２Ａがハイレベルとなると、第１行の第３転送トランジスタ７０２Ａがオンとなる。これにより、第１行の電荷保持部７０７Ａに蓄積された静止画用の信号電荷が、フローティングディフュージョン領域７０８に転送される。その後、読み出し期間Ａ３において、フローティングディフュージョン領域７０８の電位に応じた出力が、第１行の増幅トランジスタ７０５、選択トランジスタ７０６、及び信号出力線７２３を介して不図示の読み出し回路により読み出される。不図示の読み出し回路は、読み出した信号を第１行の静止画用の映像信号として外部に出力する。

次に、第１行の蓄積期間Ａ１が開始する時刻ｔ８５から更に期間２Ｔｈが経過した時刻ｔ８７において、第１行の蓄積期間Ａ１と同様に、第２行の蓄積期間Ａ１が開始される。すなわち、第２行のオーバーフロートランジスタ７０３がオフとなり、第２行のフォトダイオード７００が信号電荷を蓄積できるようになり、第２行のフォトダイオード７００において静止画用の信号電荷の蓄積が開始される。

時刻ｔ９０において、第２行のフォトダイオード７００に蓄積された静止画用の信号電荷が、電荷保持部７０７Ａに転送される。続いて、時刻ｔ９１において、電荷保持部７０７Ａへの信号電荷の転送が終了すると、第２行の電荷保持部７０７Ａからフローティングディフュージョン領域７０８へ信号電荷が転送される。その後、フローティングディフュージョン領域７０８の電位に応じた出力が第２行の増幅トランジスタ７０５、選択トランジスタ７０６、及び信号出力線７２３を介して不図示の読み出し回路により読み出される。不図示の読み出し回路は、読み出した信号を第２行の静止画用の映像信号として外部に出力する。

以下、第３行以降においても同様の動作が期間２Ｔｈずつ遅延させながら順に行われ、時刻ｔ９６からの読み出し期間Ａ３において最下行の第ｍ行までの映像信号が得られると、動画用の１フレーム分の映像信号を得ることができる。なお、静止画用の蓄積期間Ａ１においては動画用の電荷信号の蓄積動作や転送動作は中断され、静止画用の蓄積期間Ａ１が終了した後で再開される。

このように、本実施形態の画素３０３ｂ駆動シーケンスでは、Ｎｐ回の動画用の蓄積期間Ｂ１を１フレーム期間中に分散させて配置している。そして、静止画用の蓄積期間Ａ１の中間時刻ｔ８６よりも前に半数Ｎｐ／２回の蓄積期間Ｂ１を配置し、中間時刻ｔ８６よりも後に半数Ｎｐ／２回の蓄積期間Ｂ１を配置している。この結果、１フレーム期間中のＮｐ回の動画用の蓄積期間Ｂ１の中間時刻と、１フレーム期間中の静止画用の蓄積期間Ａ１の中間時刻とが各行において一致する。各行の中間時刻の推移は図３３に点線Ｃで示される。静止画用の第１映像信号の蓄積期間の中間時刻と、動画用の第２映像信号の蓄積期間の中間時刻とは、垂直走査回路３０７により制御される。

なお、以上の説明では、１フレームの動画用の蓄積期間Ｂ１の回数Ｎｐを８とし、１フレームの静止画用の蓄積期間Ａ１の回数を１としたが、これに限定されない。１フレームの動画用及び静止画用の映像信号の蓄積期間の回数は、撮影条件等に応じて設定され得る。また以上の説明では、第１電荷保持部に保持された信号電荷に基づいて静止画を生成し、第２電荷保持部に保持された信号電荷に基づいて動画を生成したが、逆にしてもよく、フレーム期間ごとに第１電荷保持部と第２電荷保持部を切り替えて用いてもよい。

以上のように、本実施形態の撮像装置は、第１電荷保持部に保持された信号電荷に基づく第１映像信号、及び、第２電荷保持部に保持された信号電荷に基づく第２映像信号を読み出す読み出し部（読み出し回路）を備えている。これにより、第１実施形態と同様に、蓄積期間が異なる２つの映像信号を同時に得ることができる。

また、本実施形態の撮像装置は、１フレーム期間中に第３光電変換部（フォトダイオード）から第２電荷保持部へ信号電荷を転送する回数を、１フレーム期間中に第３光電変換部から第１電荷保持部へ信号電荷を転送する回数よりも多くしている。これにより、第２映像信号の蓄積期間が、１フレーム期間中により分散して配置されるため、第２映像信号ではジャーキネスを抑えた滑らかな動画を得ることができる。

また、第１映像信号の蓄積期間の中間時刻と第２映像信号の蓄積期間の中間時刻とが一致するように画素を駆動する走査部（垂直走査回路）と、第１映像信号及び第２映像信号を用いて画像を生成する生成部（システム制御ＣＰＵ）と、を備えている。これにより、第１実施形態と同様に、単一の撮像素子から出力される蓄積期間の長さが異なる２つの映像信号を用いて生成される画像を、高品位に再生することが可能となる。

また、本実施形態の構成は、上述の実施形態の構成と組み合わせることも可能である。例えば、第２実施形態と同様に、第２映像信号の蓄積期間に含まれる第１映像信号の複数の蓄積期間のうちの１つの蓄積期間の中間時刻が、第２映像信号の蓄積期間の中間時刻と一致するように画素を駆動してもよい。これにより、第１実施形態と同様の効果を得るとともに、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢでフレームレートを独立して設定することができるので、例えばｐｉｃｔｕｒｅＡを用いて高フレームレートのスロー再生を行うことができる。

また、第３実施形態と同様に、第１映像信号及び第２映像信号を、同一の読み出し回路を用いて異なるタイミングで読み出してもよい。これにより、第１実施形態と同様の効果を得るとともに、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢで読み出し回路を共通化することができる。つまり、対応する一対のｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの画素に対し、読み出し回路を一つのみ有することで、読み出し回路の回路規模を縮小して撮像装置を小型化することができる。

また、第４実施形態と同様に、第１映像信号（ｐｉｃｔｕｒｅＡ）がオーバーするとき又は第２映像信号（ｐｉｃｔｕｒｅＢ）がアンダーするときは、第１映像信号及び第２映像信号を用いてＨＤＲ画像を合成してもよい。これにより、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢを用いてＨＤＲ撮影を行う場合でも、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの差異を低減して、高品位のＨＤＲ画像を生成することができる。

（変形実施形態）
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は一例を示したものであり、本発明を適用可能な撮像装置はこのような構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ（生成部）
１８４…撮像素子
１８７，１８８…デジタル信号処理部
１９１…表示インターフェース部（再生部）
１９２…記録インターフェース部（記録部）
２５５…ライトガイド
３０２…画素アレイ
３０３，３０３ｂ…画素
３０７…垂直走査回路（走査部）
３０３Ａ，３０３Ｂ…画素要素
３０８Ａ、３０８Ｂ…読み出し回路（読み出し部）
３１０Ａ，３１０Ｂ，７００…フォトダイオード（光電変換部）
３１３Ａ，３１３Ｂ，７０８…フローティングディフュージョン領域
７０７Ａ，７０７Ｂ…電荷保持部

Claims (6)

1. 光電変換部と、前記光電変換部に生じた信号電荷を保持する第１電荷保持部及び第２電荷保持部と、前記光電変換部から前記第１電荷保持部へ信号電荷を転送する第１転送トランジスタと、前記光電変換部から前記第２電荷保持部へ信号電荷を転送する第２転送トランジスタと、前記光電変換部に蓄積された信号電荷を排出するオーバーフロートランジスタと、を含む画素を有する画素アレイと、
   第１蓄積期間において前記光電変換部に生じ、前記第１電荷保持部に保持された信号電荷に基づく第１映像信号、及び、複数の第２蓄積期間において前記光電変換部に生じ、前記第２電荷保持部に保持された信号電荷に基づく第２映像信号、を読み出す読み出し部と、
   前記第１転送トランジスタ、前記第２転送トランジスタ、及び前記オーバーフロートランジスタを制御して、前記第１蓄積期間の中間時刻と前記複数の第２蓄積期間の中間時刻とが一致するように前記画素を駆動する走査部と、
   蓄積期間の中間時刻が互いに一致する前記第１映像信号及び前記第２映像信号を用いて画像を生成する生成部と、
   を備えることを特徴とする撮像装置。
2. 前記読み出し部は、前記第１映像信号及び前記第２映像信号を、同一の読み出し回路を用いて異なるタイミングで読み出す
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記生成部は、前記第１映像信号から第１画像を生成し、前記第２映像信号から第２画像を生成し、蓄積期間の中間時刻が一致する前記第１画像と前記第２画像とを互いに関連付けて映像を生成し、
   前記映像を記録する記録部と、
   前記映像を再生する再生部と、
   を更に備えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記再生部は、前記第２画像を前記映像として再生中に一時停止したときは、前記第２画像と関連付けられた前記第１画像を表示する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記再生部は、互いに関連付けられた前記第１画像又は前記第２画像の一方にノイズが発生しているときには、前記ノイズが発生している画像を、前記ノイズが発生していない画像で置き換えて表示する
   ことを特徴とする請求項３に記載の撮像装置。
6. 請求項３から５のいずれか１項に記載された撮像装置により生成又は記録された前記映像を再生する再生装置であって、
   蓄積期間の中間時刻が一致する前記第１画像と前記第２画像とを互いに関連付けて再生する再生部を備える
   ことを特徴とする再生装置。

Images