JP6732587B2

JP6732587B2 - 撮像装置

Info

Publication number: JP6732587B2
Application number: JP2016148738A
Authority: JP
Inventors: 木村　正史; 正史木村; 晃一鷲巣; 須田　康夫; 康夫須田; 長野　明彦; 明彦長野; 文裕梶村; 剛内藤; 山▲崎▼　亮; 亮山▲崎▼; 真追川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-13
Filing date: 2016-07-28
Publication date: 2020-07-29
Anticipated expiration: 2036-07-28
Also published as: JP2017076954A

Description

本発明は、受光効率の異なる２つの光電変換部を有する撮像装置に関する。

動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画として楽しむことができるため、撮影された映像の価値を大きく高めることができる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影することにより、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しめるとともに、視聴者に対して動感を豊かに伝えることができる。

ところで、一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においてはブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することとなる。

単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

特許文献１には、各画素に非対称な瞳形状を有する一対のフォトダイオード（光電変換部）を備えた撮像装置が開示されている。特許文献１に記載の撮像装置では、一対のフォトダイオードのうち、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなっている。一対のフォトダイオードからの２つの信号を別々の映像データとして用いることで、２つの映像を同時に撮影することができる。

特開２０１４−０４８４５９号公報

しかしながら、受光効率の異なる２つの光電変換部を有する１つの撮像素子を用いて、２つの映像を同時に撮影しようとすると、絞りが共通であるために２つの映像の露出を同時に適正化することが難しい。特に２つの映像で異なるシャッタースピードが設定されている場合には、２つの映像の一方の露出を適正化すると他方の露出がオーバーまたはアンダーとなってしまう。そこで、本発明は、１つの撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する際に、２つの映像の露出をより適正化することができる撮像装置を得ることを目的とする。

本発明に係る撮像装置は、第１の光電変換部及び第１の光電変換部よりも受光効率が低い第２の光電変換部を有する撮像素子と、撮像素子に被写体からの光束を導く光学系と、被写体の明るさに応じて、動画撮影及び静止画撮影に用いる第１及び第２の光電変換部の組み合わせを選択する制御手段と、を備えることを特徴とする。

本発明によれば、１つの撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する際に、２つの映像の露出をより適正化できる撮像装置を得ることができる。

本発明の第１実施形態による撮像装置を示す外観図である。本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。本発明の第１実施形態による撮像装置における撮像素子の内部構造を示す断面図である。画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。撮像素子から出力される映像信号を説明する概略図である。本発明の第１実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図である。本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図である。本発明の第１実施形態による撮像装置の撮像素子の読み出し回路の構成例を示す回路図である。撮像素子の駆動シーケンスを示すタイミングチャートである。本発明の第１実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。動画及び静止画の撮影データの各フレームに付加されるタイムコードの値の一例を示す図である。動画及び静止画の撮影データのファイル構造の一例を示す図である。動画及び静止画の撮影条件の設定画面を説明するための図である。受光効率の異なる２つのフォトダイオードを用いて撮影した映像信号のＩＳＯ感度範囲の関係を示す図である。本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。受光効率の異なる２つのフォトダイオードを用いて撮影した映像のシャッタースピードの差異を撮像シーケンス上で説明する図である。撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。受光効率の異なる２つのフォトダイオードを用いて撮影した動画及び静止画のうちの１フレームを示す図である。受光効率の異なる２つのフォトダイオードを用いて撮影した動画及び静止画を表示部上に並べて表示した様子を示す図である。ストレージに格納された「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」の活用例を説明するための図である。本発明の第２実施形態による撮像装置における、動画と静止画の両方を短い蓄積期間で撮影するシーン１の例を示す図である。本発明の第２実施形態による撮像装置における、動画と静止画の両方を長い蓄積期間で撮影するシーン２の例を示す図である。本発明の第２実施形態による撮像装置における、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影するシーン３の例を示す図である。本発明の第２実施形態による撮像装置における、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影するシーン４の例を示す図である。本発明の第３実施形態による撮像装置における、被写体の明るさを第１、第２のフォトダイオードを用いて検出する方法のフローチャートである。本発明の第３実施形態による撮像装置における、動画及び静止画を適正化する方法を示すフローチャートである。本発明の第３実施形態による撮像装置における、撮影条件優先モードでない場合に、静止画を優先させてフォトダイオードを選択する方法を示すフローチャートである。本発明の第３実施形態による撮像装置における、撮影条件優先モードでない場合に、動画を優先させてフォトダイオードを選択する方法を示すフローチャートである。本発明の第３実施形態による撮像装置における、撮影条件優先モードの場合に、動画を優先させてフォトダイオードを選択する方法を示すフローチャートである。本発明の第２実施形態による撮像装置における、撮影条件優先モードの場合に、静止画を優先させてフォトダイオードを選択する方法を示すフローチャートである。本発明の第４実施形態による撮像装置における、被写体の動きの大きさに応じて動画の蓄積期間を調整する方法のフローチャートである。本発明の第５実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法を説明するための図である。本発明の第５実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法のフローチャートである。本発明の第６実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法を説明するための図である。本発明の第６実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法のフローチャートである。本発明の第７実施形態による撮像装置における撮像素子の等価回路を示す概略図である。本発明の第７実施形態による撮像装置における、動画と静止画の両方を短い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第７実施形態による撮像装置における、動画と静止画の両方を長い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第７実施形態による撮像装置における、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第７実施形態による撮像装置における、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第８実施形態による撮像装置における撮像素子の等価回路を示す概略図である。本発明の第８実施形態による撮像装置における、動画と静止画の両方を短い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第８実施形態による撮像装置における、動画と静止画の両方を長い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第８実施形態による撮像装置における、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影する場合の制御方法を示す図である。本発明の第８実施形態による撮像装置における、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影する場合の制御方法を示す図である。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

［第１実施形態］
本発明の第１実施形態による撮像装置について、図１乃至図２３を用いて説明する。本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加してなる撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。

本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。
画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号が出力される。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号が出力される。

図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。

ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。

図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。

図５に示すように、出力特性２６１及び出力特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性２６２のピーク強度ＰＢは、出力特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。

次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。

撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２からの光束を何れの画素においても高効率で受光することが可能となっている。

図７は、撮像素子から出力される映像信号を説明する概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅＡ」となる。また、出力データ２８３は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅＢ」となる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、「ｐｉｃｔｕｒｅＡ」，「ｐｉｃｔｕｒｅＢ」は、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についても「ｐｉｃｔｕｒｅＡ」，「ｐｉｃｔｕｒｅＢ」と表記することがある。

図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応している。

フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、第１のフローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。

同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、第２のフローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。

各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。

フォトダイオード３１０Ａは光電変換により電荷を生成する第１の光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成する第２の光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を蓄積する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。

垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ，３１４Ｂがオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂがリセットされる。

垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧値に基づく入力を増幅して信号出力線３０４Ａに出力する。

同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧を増幅して信号出力線３０４Ｂに出力する。

図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路部３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。

図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。

転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。

本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積時間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。

図１１は、撮像素子１８４の読み出し回路の構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。

読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。

スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

読み出し回路３０８Ｂも、読み出し回路３０８Ａと同様の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。

次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。

まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに出力する転送パルスφＴＸ１Ａ，ＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ，３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ，３１３Ｂも、リセット状態となる。

次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻ｔ３において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ，３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ，３１３Ｂのリセットを解除する。

これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ｂに入力される。

時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。
次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

次いで、時刻ｔ８において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。
時刻ｔ８において転送パルスφＴＸ１Ａ，φＴＸ１Ｂを同時にハイレベルにすることで、フォトダイオード３１０Ａ，３１０Ｂの蓄積時間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。

次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ，３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ，３１３Ｂは、リセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。

図１３は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は「時：分：秒：フレーム」を表している。

時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、「ｐｉｃｔｕｒｅＢ」の撮像及び「ｐｉｃｔｕｒｅＡ」の撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、「ｐｉｃｔｕｒｅＢ」については、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。

時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、「ｐｉｃｔｕｒｅＡ」についても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。なお、「ｐｉｃｔｕｒｅＡ」の映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、「ｐｉｃｔｕｒｅＢ」の映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。

「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」の何れについても、記録媒体１９３に記録された各映像データは同一フレームレートで、例えば、６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１４に示すようになる。

図１５は、「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」の映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ１４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘに格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。

スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘに格納されているので、汎用のビューアで再生する際に影響を与えない。

「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」のそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行うことができるようになる。

図１６は、「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」の撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」のそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」のそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、「ｐｉｃｔｕｒｅＡ」と「ｐｉｃｔｕｒｅＢ」との間のＩＳＯ感度範囲には３段の差がある。図１７に示すように、「ｐｉｃｔｕｒｅＡ」はＩＳＯ１００〜ＩＳＯ１０２４００、「ｐｉｃｔｕｒｅＢ」はＩＳＯ１２〜ＩＳＯ１２８００となっている。

図１８は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。「ｐｉｃｔｕｒｅＡ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、「ｐｉｃｔｕｒｅＢ」のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図１８において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図１８を用いて説明する。

まず、Ｂｖ１３のときは、「ｐｉｃｔｕｒｅＡ」では、ＩＳＯ感度はＩＳＯ１００に設定される。「ｐｉｃｔｕｒｅＡ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＡ」のプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅＢ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅＢ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＢ」のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。

Ｂｖ１０のときは、「ｐｉｃｔｕｒｅＡ」では、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅＡ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＡ」のプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、「ｐｉｃｔｕｒｅＢ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅＢ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＢ」のプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。

Ｂｖ６のときは、「ｐｉｃｔｕｒｅＡ」では、ＩＳＯ感度はＩＳＯ２００に設定される。「ｐｉｃｔｕｒｅＡ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＡ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅＢ」では、ＩＳＯ感度はＩＳＯ１２に設定される。「ｐｉｃｔｕｒｅＢ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＢ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

Ｂｖ５のときは、「ｐｉｃｔｕｒｅＡ」では、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。「ｐｉｃｔｕｒｅＡ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＡ」のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、「ｐｉｃｔｕｒｅＢ」では、ＩＳＯ感度はＩＳＯ２５に設定される。「ｐｉｃｔｕｒｅＢ」の等Ｂｖ線は、「ｐｉｃｔｕｒｅＢ」のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、「ｐｉｃｔｕｒｅＡ」、「ｐｉｃｔｕｒｅＢ」ともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において「ｐｉｃｔｕｒｅＡ」は１／１０００以上のシャッタースピードを保ち、「ｐｉｃｔｕｒｅＢ」は多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、「ｐｉｃｔｕｒｅＡ」ではストップモーション効果を得つつ、「ｐｉｃｔｕｒｅＢ」ではコマ送り的なジャーキネスのない高品位な動画を得ることができる。

図１９は、「ｐｉｃｔｕｒｅＡ」と「ｐｉｃｔｕｒｅＢ」との間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、Ｖ同期信号４８１、「ｐｉｃｔｕｒｅＡ」の蓄積期間４８２，４８３、「ｐｉｃｔｕｒｅＢ」の蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。

蓄積期間４８２は、「ｐｉｃｔｕｒｅＡ」の画面上端ラインの蓄積期間であり、蓄積期間４８３は、「ｐｉｃｔｕｒｅＡ」の画面下端ラインの蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ５３から時刻ｔ５４までが蓄積期間４８２であり、時刻ｔ５５から時刻ｔ５６が蓄積期間４８３である。

また、蓄積期間４８４は、「ｐｉｃｔｕｒｅＢ」の画面上端ラインの蓄積期間であり、蓄積期間４８５は「ｐｉｃｔｕｒｅＢ」の画面下端ラインの蓄積期間である。「ｐｉｃｔｕｒｅＢ」においても「ｐｉｃｔｕｒｅＡ」と同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ５１から時刻ｔ５４までが蓄積期間４８４であり、時刻ｔ５２から時刻ｔ５６が蓄積期間４８５である。

「ｐｉｃｔｕｒｅＡ」と「ｐｉｃｔｕｒｅＢ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅＡ」についてゲインアップするのではなく、撮像素子１８４において同程度のレベルの信号電荷を得ている。このため、「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」のどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

図２０は、撮像素子１８４に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでの「ｐｉｃｔｕｒｅＡ」と「ｐｉｃｔｕｒｅＢ」のシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。

図２１（ａ），（ｂ）は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得された映像のうちの１フレームを示したものである。図２１（ａ）は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅＡ」の映像である。図２１（ｂ）は、シャッタースピード１／６０、絞り値Ｆ４．０で撮影された「ｐｉｃｔｕｒｅＢ」の映像である。図２１（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにブレている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このブレがむしろ良い方向に働いてコマ送り的なパラパラ間のない滑らかな高品位な映像となる。

一方、図２１（ａ）に示した映像はシャッタースピードが速く、ストップモーション効果が現れる。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２２に示すように、「ｐｉｃｔｕｒｅＡ」４９６と「ｐｉｃｔｕｒｅＢ」４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図２３は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納された「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」の活用例を説明するための図である。

「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」のデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群５８１は、ＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅＡ」のフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納された「ｐｉｃｔｕｒｅＢ」のフレーム群である。これらのＭＰ４ファイルには撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

まず、動画の再生をスタートすると、「ｐｉｃｔｕｒｅＢ」のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。「ｐｉｃｔｕｒｅＢ」は、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。図２３ではフレーム５７３の被写体周囲をぼかしてジャーキネスが出ない程度の被写体の動きを表現している。

フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に「ｐｉｃｔｕｒｅＢ」に対応する「ｐｉｃｔｕｒｅＡ」のデータファイルから同一タイムコードのフレーム５８２が検索されて表示される。「ｐｉｃｔｕｒｅＡ」は、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。「ｐｉｃｔｕｒｅＡ」，「ｐｉｃｔｕｒｅＢ」の２つの映像は、異なる蓄積時間の設定で撮影されるが、「ｐｉｃｔｕｒｅＡ」についてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、「ｐｉｃｔｕｒｅＡ」及び「ｐｉｃｔｕｒｅＢ」のどちらもＳＮ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、「ｐｉｃｔｕｒｅＡ」のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、「ｐｉｃｔｕｒｅＡ」を反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的に「ｐｉｃｔｕｒｅＢ」のフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。

このように、「ｐｉｃｔｕｒｅＢ」を、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、「ｐｉｃｔｕｒｅＡ」を、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら２つの効果を１つの撮像素子を用いて実現できる。

また、本実施形態においては、再生時の操作性向上のために、静止画用のファイルと動画用のファイルとを分けて、記録媒体１９３の別々のフォルダにファイルしている。例えば、前述したように、「ｐｉｃｔｕｒｅＡ」、「ｐｉｃｔｕｒｅＢ」とも、同一フレームレート且つ同一のＭＰ４フォーマットで、動画用のフォルダと静止画用のフォルダに分けて記録する。そして、再生ボタン１６１が操作されると、動画用のファイルデータとして記録された「ｐｉｃｔｕｒｅＢ」が、動画として連続再生される。また、静止画用のファイルデータとして記録された「ｐｉｃｔｕｒｅＡ」が、画像送り操作と共に一枚ずつ静止画として再生される。

動画再生中の静止画の表示については、スイッチＳＴ１５４が操作されたタイミングで、再生中の動画の「ｐｉｃｔｕｒｅＢ」と同一タイムコードの静止画「ｐｉｃｔｕｒｅＡ」を表示するようにしてもよい。また、アップダウンスイッチ１５８、１５９を操作してその前後の静止画を表示してもよい。

動画撮影及び静止画撮影に用いる「ｐｉｃｔｕｒｅＡ」、「ｐｉｃｔｕｒｅＢ」の組み合わせは、後述するように撮影時に決定される。そして、撮影された「ｐｉｃｔｕｒｅＡ」、「ｐｉｃｔｕｒｅＢ」の各々が動画用、静止画用のフォルダにファイルされる。

以上のように、本実施形態では、第１の光電変換部（第１のフォトダイオード）と第１の光電変換部よりも受光効率が低い第２の光電変換部（第２のフォトダイオード）とを有する撮像素子を備えている。また、動画及び静止画撮影の蓄積期間を含む撮影条件を設定する撮影条件設定手段（スイッチ入力手段、システム制御ＣＰＵ）を備えている。これにより、撮影条件に応じて、動画撮影及び静止画撮影に用いる第１及び第２のフォトダイオードの組み合わせを選択することができる。例えば、被写体が暗い場合には、動画も静止画も高受光効率の第１のフォトダイオードの画像「ｐｉｃｔｕｒｅＡ」を用いる事で画像信号のＳ／Ｎ劣化を軽減することができる。あるいは、被写体が明るい場合には、動画も静止画も低受光効率の第２のフォトダイオードの画像「ｐｉｃｔｕｒｅＢ」を用いる事で画像信号のＳ／Ｎ劣化を軽減することができる。

また、本実施形態では、静止画撮影された映像データと動画撮影された映像データとを分けて記録媒体に記録している。これにより、同時に撮像された動画と静止画を個別に再生するばかりではなく、異なる撮影条件で撮像された動画と静止画とを連動させて表示させることができる。

［第２実施形態］
本発明の第２実施形態による撮像装置について、図２４乃至図２７を用いて説明する。本実施形態では、動画撮影及び静止画撮影の蓄積期間を含む撮影条件に応じて、動画撮影及び静止画撮影に用いる第１、第２のフォトダイオードを選択する方法について、シーン１〜４の例を用いて具体的に説明する。
シーン１：波がダイナミックに打ち寄せる岸壁の静止画（蓄積期間：１／１０００秒）
シーン２：糸の様に流れる滝の静止画（蓄積期間：１／１５秒）
シーン３：躍動感あふれるスケートボードのジャンプ動画（蓄積期間：１／３０秒）
シーン４：バレエのしなやかな動きを伝える動画（蓄積期間：１／３０秒）
ここで、「蓄積期間」とは、シャッタースピードのことを意味する。シーン１〜４それぞれで設定された各蓄積期間の撮影条件において、Ｓ／Ｎ比劣化や信号飽和のない画像信号を得るためには、被写体の明るさに応じて、動画と静止画のそれぞれの撮影に使用する第１、第２のフォトダイオードを選択する必要がある。

図２４は、本発明の第２実施形態による撮像装置における、動画と静止画の両方を短い蓄積期間で撮影するシーン１の例を示す図である。例えば、ダイナミックな波しぶきを撮影したいときのように、動画も静止画も蓄積期間を短くしたい場合には、動画及び静止画の両方を第１のフォトダイオードを用いて撮影する。但し、被写体が非常に明るく画素信号が飽和するような撮影条件では、動画も静止画も第２のフォトダイオードを用いる。

図２４では、動画及び静止画の両方の映像信号として「ｐｉｃｔｕｒｅＡ」を用いる。具体的には、蓄積期間１／２５０秒の撮影条件で、ジャーキネスのある波しぶきの動画を撮影する。そして、静止画撮影の操作が行われたタイミングのフレーム３００２ａに対しては、蓄積期間を１／１０００秒に変更して、よりストップモーション効果のある波３００１ａを撮影する。撮影した「ｐｉｃｔｕｒｅＡ」の映像は、動画用及び静止画用の両方のフォルダにファイルする。このように、デュアル映像モードにおいて動画用と静止画用の蓄積期間が異なるシーン１では、スイッチＭＶ１５５が操作されると動画を撮影する。そして、動画撮影中にスイッチＳＴ１５４が操作されると、その操作が行われた時点のフレームのみ静止画用の蓄積期間で撮影する。このとき得られたフレーム３００２ａは、静止画フォルダにもファイルされる。

図２５は、本発明の第２実施形態による撮像装置における、動画と静止画の両方を長い蓄積期間で撮影するシーン２の例を示す図である。例えば、糸の様に流れる滝を撮影したいときのように、動画も静止画も蓄積期間を長くしたい場合には、動画及び静止画の両方を第２のフォトダイオードを用いて撮影する。但し、被写体が非常に暗く画素信号が不足するような撮影条件では、動画も静止画も第１のフォトダイオードを用いる。

図２５では、動画及び静止画の両方の映像信号として「ｐｉｃｔｕｒｅＢ」を用いる。具体的には、蓄積期間１／３０秒の撮影条件で、ジャーキネスの無い滝の動画を撮影する。そして、静止画撮影の操作が行われたタイミングのフレーム３００２ｂに対しては、蓄積期間を１／１５秒に変更して、糸の様に流れる滝の被写体３００１ｃを撮影する。なお、図２５では、被写体３００１ｃ及び被写体３００１ｄの周囲には、被写体像の動きを表現するためにぼかしを入れている。撮影した「ｐｉｃｔｕｒｅＢ」の映像は、動画用及び静止画用の両方のフォルダにファイルする。このように、デュアル映像モードにおいて動画用と静止画用の蓄積期間が異なるシーン２では、スイッチＭＶ１５５が操作されると動画を撮影する。そして、動画撮影中にスイッチＳＴ１５４が操作されると、その操作が行われた時点のフレームのみ静止画用の蓄積期間で撮影する。このとき得られたフレーム３００２ｂは、静止画フォルダにもファイルされる。

図２６は、本発明の第２実施形態による撮像装置における、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影するシーン３の例を示す図である。例えば、スケートボードの動きをぶらして撮影したいときのように、動画の蓄積期間を短くして、静止画の蓄積期間を長くしたい場合には、動画は第１のフォトダイオードを用い、静止画は第２のフォトダイオードを用いる。

図２６では、「ｐｉｃｔｕｒｅＡ」を用いて、蓄積期間１／２５０秒の撮影条件でジャーキネスのあるスケートボードの動画を撮影する。また、「ｐｉｃｔｕｒｅＢ」を用いて、蓄積期間１／３０秒の撮影条件でぶらした躍動感のあるスケートボードの静止画を撮影する。「ｐｉｃｔｕｒｅＡ」は動画用のフォルダにファイルされ、「ｐｉｃｔｕｒｅＢ」は静止画用のフォルダにファイルされる。但し、被写体が非常に明るく画素信号が飽和するような撮影条件では、動画も第２のフォトダイオードを用いる。
そして、撮影者が「ｐｉｃｔｕｒｅＡ」の動画を再生中に、例えば好みのフレーム３００２ｃの被写体３００１ｅを選択すると、被写体３００１ｆの画像が静止画として再生される。

図２７は、本発明の第２実施形態による撮像装置における、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影するシーン４の例を示す図である。例えば、バレエをストップモーションで撮影したいときのように、動画の蓄積期間を長くして、静止画の蓄積期間を短くしたい場合には、動画は第２のフォトダイオードを用い、静止画は第１のフォトダイオードを用いる。

図２７では、「ｐｉｃｔｕｒｅＢ」を用いて、蓄積期間１／３０秒の撮影条件でジャーキネスの無い滑らかなバレエを撮影する。また、「ｐｉｃｔｕｒｅＡ」を用いて、蓄積期間１／２５０秒の撮影条件でストップモーション効果のあるバレエを撮影する。「ｐｉｃｔｕｒｅＢ」は動画用のフォルダにファイルされ、「ｐｉｃｔｕｒｅＡ」は静止画用のフォルダにファイルされる。但し、被写体が非常に明るく画素信号が飽和するような撮影条件では、静止画も第２のフォトダイオードを用いる。
そして、撮影者が「ｐｉｃｔｕｒｅＢ」の動画を再生中に、例えば好みのフレーム３００２ｄの被写体３００１ｇを選択すると、被写体３００１ｈの画像が静止画として再生される。

以上のように、本実施形態では、動画撮影及び静止画撮影の蓄積期間を含む撮影条件に応じて、動画撮影及び静止画撮影に用いる第１及び第２のフォトダイオードの組み合わせを選択している。これにより、シーンに応じて最適化された品位の高い映像を撮影することができる。また、第１、第２のフォトダイオードのいずれか一方のみを用いて撮影する場合に、静止画撮影のタイミングに合わせて動画を静止画撮影の蓄積期間で撮影している。これにより、被写体が明るすぎる場合や暗すぎる場合でも、露出を適正化してＳ／Ｎ比の劣化を抑制することができる。

［第３実施形態］
本発明の第３実施形態による撮像装置について、図２８乃至図３３を用いて説明する。第２実施形態では、蓄積期間を含む撮影条件に応じて、動画撮影及び静止画撮影に用いるフォトダイオードを選択する方法について説明した。更に本実施形態では、被写体の明るさに応じて、動画撮影及び静止画撮影に用いるフォトダイオードを選択する方法について説明する。

本実施形態による撮像装置の概略構成は、第１実施形態による撮像装置の概略構成を示す図２と同じである。図２に示すアナログフロントエンド１８５には、第１のフォトダイオード３１０Ａの信号が入力され、アナログフロントエンド１８６には、第２のフォトダイオード３１０Ｂの信号が入力される。一般的な撮影条件においては、静止画撮影はストップモーション効果を得るために高受光効率の第１のフォトダイオード３１０Ａが用いられる。このとき、第１のフォトダイオード３１０Ａからの信号は、スイッチＳＴ１５４の操作に基づいてアナログフロントエンド１８５を介して取り込まれる。また、動画撮影はジャーキネスをなくすために低受光効率の第２のフォトダイオード３１０Ｂが用いられる。このとき、第２のフォトダイオード３１０Ｂからの信号は、スイッチＭＶ１５５の操作に基づいてアナログフロントエンド１８６を介して取り込まれる。

一方、撮影モード選択レバー１５６を時計方向に回転させたデュアル映像モードにおいては、第１のフォトダイオード３１０Ａ及び第２のフォトダイオード３１０Ｂの信号を、同時にアナログフロントエンド１８５、１８６に取り込む。なお、図２４、図２５で説明したシーン１、２の例のように、デュアル撮影モードにおいても撮影者が設定する蓄積期間によっては、第１のフォトダイオードの画像或いは第２のフォトダイオードの画像のうちの一方のみを用いる場合もある。アナログフロントエンド１８５、１８６に取り込んだ画像信号は、前述のように、デジタル信号処理部１８７、１８８で処理され、動画と静止画とで別々に記録媒体１９３のフォルダに記録される。再生時には、動画と静止画を個別に再生するばかりではなく、図２３を用いて説明したように、動画の所定フレームに対応する静止画をストップモーション効果のある映像として再生する。

システム制御ＣＰＵ１７８は、デジタル信号処理部１８７、１８８の画像信号に基づいて撮影被写体の明るさを検出する。このとき、デジタル信号処理部１８７からの第１のフォトダイオード信号が非常に大きくて飽和に近い場合には、デジタル信号処理部１８８からの第２のフォトダイオード信号に基づいて被写体の明るさを検出する。逆に、デジタル信号処理部１８８からの第２のフォトダイオード信号が非常に小さい場合には、デジタル信号処理部１８７からの第１のフォトダイオード信号に基づいて被写体の明るさを検出する。また、第１、第２のフォトダイオード信号のいずれにも飽和や劣化がない場合には、蓄積期間の短いデジタル信号処理部１８７からの第１のフォトダイオード信号を用いて被写体の明るさを検出する。このように、被写体の明るさを検出するフォトダイオードを、被写体の明るさに応じて第１、第２のフォトダイオードから選択することにより、被写体ブレや手ブレの無い画像信号から被写体の明るさを精度よく検出することができる。

図２８は、本発明の第３実施形態による撮像装置における、被写体の明るさを第１、第２のフォトダイオードを用いて検出する方法のフローチャートである。図２８に示すフローチャートは、撮像素子１８４が動作を開始してから終了するまでの間、システム制御ＣＰＵ１７８により繰り返して実行される。なお、このフローチャートでは本発明に関係の無い動作は省いて、アルゴリズムを分かりやすく示している。

ステップＳ３００１では、被写体の明るさ（以下では「被写体輝度」ともいう）が、第１のフォトダイオード信号が飽和しているか否かを検出する。第１のフォトダイオードが飽和している場合はステップＳ３００３に進み、そうでない場合はステップＳ３００２に進む。ステップＳ３００２では、第１のフォトダイオード信号が飽和していないので、第１のフォトダイオードを用いて被写体輝度を検出する。これは、受光効率の高い第１のフォトダイオードを用いる方が、受光効率の低い第２のフォトダイオードを用いるよりも短い蓄積期間で、手ブレや被写体ブレの影響の少ない被写体輝度を検出できるためである。一方、ステップＳ３００３では、第１のフォトダイオード信号が飽和しており被写体輝度を正確に検出できないため、第２のフォトダイオードを用いて被写体輝度を検出する。

なお、ステップＳ３００１では、第１のフォトダイオード信号の飽和を判定することによりその後のフローを分けたが、このような方法に限定されるものではない。例えば、第１、第２のフォトダイオードのいずれが被写体輝度の検出に適しているか否かを判定することによりその後のフローを分けてもよい。具体的には、第１のフォトダイオードの蓄積電荷が３／４程度まで飽和しており、第２のフォトダイオードを用いた方が被写体輝度の検出リニアリティが高い場合には、第２のフォトダイオードを用いて被写体輝度を検出する。このように、図２８のフローチャートに従うことによって被写体の明るさを正確に検出することができる。

次に、検出した被写体の明るさに応じて、動画撮影及び静止画撮影に用いるフォトダイオードを選択する方法について説明する。第２実施形態で説明したように、動画及び静止画の蓄積期間を含む撮影条件は、撮影者による好みで、スイッチ入力手段１７９を用いて設定され、システム制御ＣＰＵ１７８に入力される。撮影条件を優先する撮影条件優先モードにおいては、撮影者が設定した撮影条件は変更されることなく維持される。一方、撮影条件優先モードでない場合には、撮影者が設定した撮影条件は露出等を適正化するために変更されることがある。撮影条件優先モードとは、例えば前述したシーン１〜４のように、波やせせらぎ、スケートボードやバレエの撮影効果を得るために、動画及び静止画の蓄積期間を含む撮影条件（シーン）を、撮影者が予め指定するモードのことである。

ここで、被写体の明るさに応じて露出を適正化する場合には、動画と静止画とで絞りが共通である点に注意する必要がある。すなわち、本実施形態では、動画と静止画とを同時に撮影することが可能なので、撮影者が設定した蓄積期間を含む撮影条件の値によっては、動画または静止画のうちの一方の露出を適正化すると他方が適正でなくなってしまう場合がある。例えば、動画撮影と静止画撮影で得たい撮影効果が異なるような場合には、動画と静止画で異なる蓄積時間が設定されることがある。撮影者は、図１に示したデジタルスチルモーションカメラにおいて、アップダウンスイッチ１５８、１５９、及びダイアル１６０を用いて、動画及び静止画の蓄積期間をそれぞれ独立に設定できる。例えば、静止画に用いる第１のフォトダイオードの蓄積期間を１／２５０秒とし、動画に用いる第２のフォトダイオードの蓄積期間を３段低い１／３０秒とし、共通の絞り値をＦ５．６とした場合に、動画、静止画とも適正露出が得られるものとする。このとき、撮影者が、静止画の蓄積期間をより速く設定したいと考え、例えば第１のフォトダイオードの蓄積期間を１／１０００秒に設定すると、共通の絞り値Ｆ５．６では静止画の露出が２段アンダーになってしまう。

そこで、本実施形態の撮影条件優先モードでは、動画または静止画の一方を他方に優先させて露出を適正化する。例えば、動画優先モードでは、動画は蓄積期間１／３０秒、Ｆ５．６で適正露出とし、静止画は蓄積期間１／１０００秒、Ｆ５．６で露出２段アンダーとする。一方、静止画優先モードでは、動画は蓄積期間１／３０秒、Ｆ２．８で露出２段オーバーとするが、静止画は蓄積期間１／１０００秒、Ｆ２．８で適正露出とする。露出がアンダー或いはオーバーになった分は、デジタル信号処理部１８７、１８８によるゲイン調整により補う。

一方、撮影条件優先モードでない場合は、撮影者によって設定された蓄積期間が変更される。例えば、動画優先モードでは、動画は蓄積期間１／３０秒、Ｆ５．６で適正蓄積期間とし、静止画は蓄積期間１／２５０秒、Ｆ５．６で静止画のストップモーション効果を低下させる。一方、静止画優先モードでは、動画は蓄積期間１／１２５秒、Ｆ２．８で動画の滑らかさを犠牲にするが（ジャーキネスが残る）、静止画は蓄積期間１／１０００秒、Ｆ２．８で適正蓄積期間にする。なお、撮影条件優先モードでない場合のカメラ任せの撮影条件設定は、画質の評価が厳しい静止画優先モードのみを有して動画優先モードについては省略し、撮影条件の設定操作を簡略化するようにしてもよい。

図２９は、本発明の第３実施形態による撮像装置における、動画及び静止画を適正化する方法を示すフローチャートである。図２９に示すフローチャートは撮像素子１８４が動作を開始してからその動作を終了するまでの間、システム制御ＣＰＵ１７８により繰り返して実行される。なお、このフローチャートでは本発明に関係のない動作は省いて、アルゴリズムを分かりやすく示している。

ステップＳ３１０１では、スイッチ入力手段１７９により撮影者が撮影条件の設定を行ったことを検出するまで待機する。ステップＳ３１０２では、撮影モードが撮影条件優先モードの場合にはステップＳ３１０４に進む。一方、撮影モードが撮影条件優先モードでない場合にはステップＳ３１０３に進む。ステップＳ３１０４では、動画、静止画ともに、それぞれ撮影者が設定した蓄積期間で第１、第２のフォトダイオードの蓄積を行う。このとき、前述したように、第１、第２のフォトダイオードのそれぞれの受光効率、及び感度差（３段）は予め決まっている。したがって、動画或いは静止画のうちの一方の露出を適正化するように被写体の明るさに応じて絞り値を決めると、他方の露出はアンダー或いはオーバーとなってしまう。ステップＳ３１０４では、動画優先モードの場合はステップＳ３１０７に進み、静止画優先モードの場合にはステップＳ３１０８に進む。

ステップＳ３１０７では、撮影者が設定した蓄積期間で動画が適正露出になるように絞り値を設定する。その結果、撮影者が設定した蓄積期間では静止画の露出がアンダー或いはオーバーとなるが、ゲインを調整する事で静止画の露出補正を行う。ステップＳ３１０８では、撮影者が設定した蓄積期間で静止画が適正露出になるように絞り値を設定する。その結果、撮影者が設定した蓄積期間では動画の露出はアンダー或いはオーバーとなるが、ゲインを調整する事で動画の露出補正を行う。

ステップＳ３１０３では、撮影条件優先モードではないため、撮影者が設定した撮影条件の変更が許容される。このような、露出の適正化を撮影条件に優先させるモードでは、被写体の明るさに応じて蓄積期間等の撮影条件を調整する。前述のように、第１、第２のフォトダイオードのそれぞれの受光効率、及び両者の感度差（３段）は予め決まっている。したがって、動画或いは静止画のうちの一方の露出を適正化するように、被写体の明るさに応じて絞り値を決めると、他方の露出はアンダー或いはオーバーとなってしまう。そこで、撮影条件優先モードではない場合には、適正露出を得るために動画或いは静止画の蓄積期間を変更する。ステップＳ３１０３では、動画優先モードの場合はステップＳ３１０６に進む。一方、静止画優先モードの場合はステップＳ３１０５に進む。

ステップＳ３１０６では、撮影者が設定した蓄積期間で動画が適正露出となるように絞り値を設定する。その結果、撮影者が設定した蓄積期間において、静止画の露出がアンダー或いはオーバーとなるような場合には、静止画の蓄積期間を調整して静止画の露出を適正化する。即ち、動画の蓄積期間は撮影者が設定した初期値と同じであるが、静止画の蓄積期間は撮影者が設定した初期値とは異なってくる場合がある。ステップＳ３１０５では、撮影者が設定した蓄積期間で静止画が適正露出となるように絞り値を設定する。その結果、撮影者が設定した蓄積期間において、動画の露出がアンダー或いはオーバーとなるような場合には、動画の蓄積期間を調整して動画の露出を適正化する。即ち、静止画の蓄積期間は撮影者が設定した初期値と同じであるが、動画の蓄積期間は撮影者が設定初期値とは異なってくる場合がある。

このように、（ａ）蓄積期間を含む撮影条件、（ｂ）撮影条件優先モードか否か、（ｃ）動画優先モード／静止画優先モード、について予め設定しておけば、図２９に示すフローチャートに従って動画及び静止画を最適化することができる。

図２８、図２９を用いて説明したように、本実施形態では、撮影者等が設定した静止画撮影及び動画撮影の蓄積期間を含む撮影条件を、撮像素子１８４により検出される被写体の明るさ応じて適正化しながら撮影を行う。このように、第１のフォトダイオードと第２のフォトダイオードを、被写体の明るさや撮影条件に応じて使い分けることで、動画及び静止画の露出をより適正化することができる。また、様々な撮影シーンに適した撮影条件で、第１、第２のフォトダイオードを使い分けることで、撮影者の求める撮影を行うことができる。

次に、動画撮影及び静止画撮影に用いる第１、第２のフォトダイオードを、撮影条件及び被写体の明るさに応じて選択する方法について、いくつかの撮影条件の例を挙げて説明する。

１．撮影条件優先モードでない場合
これは、図２９に示すフローチャートのステップＳ３１０３に相当し、被写体の明るさに応じて蓄積期間或いは絞り値が自動で適正化される場合である。例えば、被写体が適度に明るくて、第２のフォトダイオードにおいて蓄積期間１／３０秒、最大絞りＦ２．０としたときに適正露出が得られる場合には、第２のフォトダイオードを用いて動画撮影を行う。また、第１のフォトダイオードは蓄積期間１／１２５秒、絞りＦ２．０として静止画撮影に用いる。

また、被写体が非常に暗い場合、例えば、第２のフォトダイオードにおいて蓄積期間１／３０秒、最大絞りＦ２．０としても露出が３段アンダーとなる場合には、動画、静止画とも、第１のフォトダイオードを用いて撮影を行う。逆に、被写体が非常に明るい場合、例えば、第１のフォトダイオードにおいて蓄積期間１／２５０秒、最小絞りＦ１６としても露出が３段オーバーになる場合には、動画、静止画とも、第２のフォトダイオードを用いて撮影を行う。

２．撮影条件優先モードの場合
これは、図２９に示すフローチャートのステップＳ３１０４に相当し、撮影者が設定した動画及び静止画の蓄積期間を含む撮影条件を優先する場合である。

シーン１（ダイナミックな波）：動画と静止画の両方を短い蓄積期間で撮影する場合
例えば、動画と静止画の両方の蓄積期間を１／１０００秒に設定し、絞り値をＦ５．６に設定する。この撮影条件で適正露出となる場合には、動画、静止画とも第１のフォトダイオードを用いる。但し、被写体が非常に明るくて、蓄積期間１／１０００秒、最小絞りＦ１６としても画素信号が飽和する（露出オーバーとなる）場合には、動画、静止画とも第２のフォトダイオードを用いる。

シーン２（せせらぎ）：動画と静止画の両方を長い蓄積期間で撮影する場合
例えば、動画と静止画の両方の蓄積期間を１／６秒に設定し、絞り値を最小のＦ１６に設定する。この撮影条件で適正露出となる場合には、動画、静止画とも第２のフォトダイオードを用いる。但し、被写体が暗くて、蓄積期間１／６秒、最大絞りＦ２．０としても露出アンダーとなる場合には、動画、静止画とも第１のフォトダイオードを用いる。

シーン３（スケートボードの動きをぶらして撮影）：動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影する場合
例えば、動画の蓄積期間を短く１／２５０秒に設定し、静止画の蓄積期間を長く１／３０秒に設定する。動画は第１のフォトダイオードを用い、静止画は第２のフォトダイオードを用いる。但し、被写体が非常に明るくて、第１のフォトダイオードの画素信号が飽和する（露出オーバーとなる）場合には、動画も第２のフォトダイオードを用いる。

シーン４（バレエをストップモーション）：動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影する場合
例えば、動画の蓄積期間を長く１／３０秒に設定し、静止画の蓄積期間を短く１／２５０秒に設定する。動画は第２のフォトダイオードを用い、静止画は第１のフォトダイオードを用いる。但し、被写体が非常に明るくて、第１のフォトダイオードにおいて、蓄積期間１／２５０秒、最小絞りＦ１６としても画素信号が飽和する（露出オーバーとなる）場合には、静止画も第２のフォトダイオードを用いる。

図３０は、本発明の第３実施形態による撮像装置における、撮影条件優先モードでない場合に、静止画を優先させてフォトダイオードを選択する方法を示すフローチャートである。図３０は、図２９に示すフローチャートのステップＳ３１０５のサブルーチンである。図３０では、静止画撮影の蓄積期間を動画撮影の蓄積期間に優先させて第１、動画撮影及び静止画撮影に用いる第１、第２のフォトダイオードを選択する。

ステップＳ３１０５１では、静止画撮影及び動画撮影に用いる第１、第２のフォトダイオードの初期値を設定する。例えば、静止画には第１のフォトダイオード（蓄積期間１／２５０秒）を用い、動画には第２のフォトダイオード（蓄積期間１／３０秒）を用いる。

ステップＳ３１０５２では、被写体の明るさに応じてフォトダイオードの選択を行う。静止画の蓄積期間を、初期値１／２５０秒よりも短い最小蓄積期間１／１０００秒とし、絞りを最小絞り値（Ｆ１６）としても、被写体が明るすぎて静止画の露出がオーバーするような場合には、ステップＳ３１０５３に進む。一方、１／１０００秒より長い蓄積期間でも適正露出が得られる場合には、本フローチャートを抜けて図２９のフローチャートに戻る。ステップＳ３１０５３では、静止画撮影も動画撮影と同様に第２のフォトダイオードを用いるよう設定する。そして、本フローチャートを終了して図２９のフローチャートに戻る。

即ち、図３０に示すフローチャートでは、被写体が明るすぎる場合には、第１、第２のフォトダイオードのうちの第２のフォトダイオードのみを用いる。このように、動画及び静止画の両方を第２のフォトダイオードを用いて撮影する事により、露出を３段分抑えて画像の飽和を防ぐ事ができる。

図３１は、本発明の第３実施形態による撮像装置における、撮影条件優先モードでない場合に、動画を優先させてフォトダイオードを選択する方法を示すフローチャートである。図３１は、図２９に示すフローチャートのステップＳ３１０６のサブルーチンである。図３１では、動画撮影の蓄積期間を静止画撮影の蓄積期間に優先させて第１、動画撮影及び静止画撮影に用いる第１、第２のフォトダイオードを選択する。

ステップＳ３１０６１では、静止画撮影及び動画撮影に用いる第１、第２のフォトダイオードの初期値を設定する。例えば、静止画には第１のフォトダイオード（蓄積期間１／２５０秒）を用い、動画には第２のフォトダイオード（蓄積期間１／３０秒）を用いる。

ステップＳ３１０６２では、被写体の明るさに応じてフォトダイオードの選択を行う。動画の蓄積期間を、初期値１／３０秒よりも長い、手ブレ限界である最大蓄積期間１／１５秒とし、絞りを最大絞り値（Ｆ２．０）としても、被写体が暗すぎて動画の露出がアンダーになるような場合には、ステップＳ３１０６３に進む。一方、１／１５秒より短い蓄積期間でも適正露出が得られる場合には、本フローチャートを抜けて図２９のフローチャートに戻る。ステップＳ３１０６３では、動画撮影も静止画撮影と同様に第１のフォトダイオードを用いるよう設定する。そして、本フローチャートを終了して図２９のフローチャートに戻る。

即ち、図３１に示すフローチャートでは、被写体が暗すぎる場合には、第１、第２のフォトダイオードのうちの第１のフォトダイオードのみを用いる。このように、動画及び静止画の両方を第１のフォトダイオードを用いて撮影する事により、露出を３段分高くして画像に重畳するノイズを抑える事ができる。

図３２は、本発明の第３実施形態による撮像装置における、撮影条件優先モードの場合に、動画を優先させてフォトダイオードを選択する方法を示すフローチャートである。図３２は、図２９に示すフローチャートのステップＳ３１０７のサブルーチンである。図３２では、動画撮影の露出を静止画撮影の露出に優先させて第１、動画撮影及び静止画撮影に用いる第１、第２のフォトダイオードを選択する。

ステップＳ３１０７１では、静止画は第１のフォトダイオード、動画は第２のフォトダイオードとし、それぞれ撮影者が設定した蓄積期間で撮影するものとする。ステップＳ３１０７２では、被写体の明るさに応じて動画に用いるフォトダイオードの選択を行う。最大絞り値（Ｆ２．０）としても、被写体が暗くて動画の露出がアンダーになるような場合にはステップＳ３１０７３に進む。一方、最大絞り値未満でも適正露出が得られる場合にはステップＳ３１０７４に進む。ステップＳ３１０７３では、動画撮影を第１のフォトダイオードを用いて行う設定に変更する。そして、動画の露出が適正になるように絞り値を設定する。

ステップＳ３１０７４でも、ステップＳ３１０７２と同様に、被写体の明るさに応じて静止画に用いるフォトダイオードの選択を行う。ステップＳ３１０７３で設定された絞り値と撮影者が指定した蓄積期間で静止画の露出がオーバーになるような場合にはステップＳ３１０７５に進む。一方、ステップＳ３１０７３で設定された絞り値と撮影者が指定した蓄積期間でも適正露出が得られる場合にはステップＳ３１０７６に進む。ステップＳ３１０７５では、静止画撮影を第２のフォトダイオードを用いて行う設定に変更する。ステップＳ３１０７６では、動画、静止画で適正露出が得られない場合には信号のゲイン補正を行う。そして、本フローチャートを終了して図２９のフローチャートに戻る。

即ち、図３２に示すフローチャートでは、被写体が暗すぎる場合には、高受光効率の第１のフォトダイオードを用いて動画を撮影する。また、被写体が明るすぎる場合には、低受光効率の第２のフォトダイオードを用いて静止画を撮影する。

図３３は、本発明の第３実施形態による撮像装置における、撮影条件優先モードの場合に、静止画を優先させてフォトダイオードを選択する方法を示すフローチャートである。図３３は、図２９に示すフローチャートのステップＳ３１０８のサブルーチンである。図３３では、静止画撮影の露出を動画撮影の露出に優先させて第１、動画撮影及び静止画撮影に用いる第１、第２のフォトダイオードを選択する。

ステップＳ３１０８１では、静止画は第１のフォトダイオード、動画は第２のフォトダイオードとし、それぞれ撮影者が設定した蓄積期間で撮影するものとする。ステップＳ３１０８２では、被写体の明るさに応じて静止画に用いるフォトダイオードの選択を行う。最小絞り値（Ｆ１６）としても、被写体が明るくて静止画の露出がオーバーになるような場合にはステップＳ３１０８３に進む。一方、最小絞り値より大きくても適正露出が得られる場合にはステップＳ３１０８４に進む。ステップＳ３１０８３では、静止画撮影を第２のフォトダイオードを用いて行う設定に変更する。そして、静止画の露出が適正になるように絞り値を設定する。

ステップＳ３１０８４でも、ステップＳ３１０８２と同様に、被写体の明るさに応じて動画に用いるフォトダイオードの選択を行う。ステップＳ３１０８３で設定された絞り値と撮影者が指定した蓄積期間で動画の露出がアンダーになるような場合にはステップＳ３１０８５に進む。一方、ステップＳ３１０８３で設定された絞り値と撮影者が指定した蓄積期間でも適正露出が得られる場合にはステップＳ３１０８６に進む。ステップＳ３１０８５では、動画撮影を第１のフォトダイオードを用いて行う設定に変更する。ステップＳ３１０８６では動画、静止画で適正露出が得られない場合には信号のゲイン補正を行う。そして、本フローチャートを終了して図２９のフローチャートに戻る。

即ち、図３３に示すフローチャートでは、被写体が明るすぎる場合には、低受光効率の第２のフォトダイオードを用いて静止画を撮影する。また、被写体が暗すぎる場合には、高受光効率の第１のフォトダイオードを用いて動画を撮影する。

以上のように、本実施形態では、被写体の明るさに応じて、動画撮影及び静止画撮影に用いる第１及び第２のフォトダイオードの組み合わせを選択している。これにより、動画、静止画とも露出の適正化が図れ、単一の撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する際に、動画及び静止画の露出をより適正化することができる。また、本実施形態では、第１、第２のフォトダイオードの両方を用いる場合に、被写体の明るさ及び第１、第２のフォトダイオードの受光効率に応じて、第１、第２のフォトダイオード信号の利得（ゲイン）を補正している。これにより、動画撮影及び静止画撮影の一方の蓄積期間を優先させるだけでなく、他方の露出についても適正化することができる。なお、撮影条件優先モードでない場合には、必ずしも撮影者によって蓄積期間を含む撮影条件が設定されている必要はない。この場合、撮影条件は被写体の明るさに応じて自動的に設定される。

［第４実施形態］
本発明の第４実施形態による撮像装置について、図３４を用いて説明する。第３実施形態においては、例えば図３０に示すステップＳ３１０５１、図３１に示すＳ３１０６１で、動画の蓄積期間を１／３０秒に設定した。これは、動画の蓄積期間１／３０秒が、ジャーキネスが少なく、且つ手ブレの影響も少ない蓄積期間であるからである。しかしながら、ジャーキネスの大きさは被写体の動きに依存し、被写体の動きがゆっくりしている場合にはより短い蓄積期間であってもジャーキネスが少ない場合もある。例えば、静止している被写体の動画では蓄積期間を１／３０秒よりも短い１／１２５秒等に設定することも可能である。そこで、本実施形態では、被写体の動きの大きさに応じて動画の蓄積時間を調整する方法について説明する。

図３４は、本発明の第４実施形態による撮像装置における、被写体の動きの大きさに応じて動画の蓄積期間を調整する方法のフローチャートである。図３４に示すフローチャートは撮像素子１８４の動作を開始してからその動作を終了するまでの間、システム制御ＣＰＵ１７８により繰り返して実行される。なお、このフローチャートでは本発明に関係のない動作は省いてアルゴリズムを分かりやすく示している。

ステップＳ３２０１では、スイッチ入力手段１７９により撮影者が撮影条件の設定を行ったことを検出するまで待機する。ステップＳ３２０２では、被写体の動きを検出する。被写体の動きは、例えば撮像素子からの画像信号の時間比較で得られる動きベクトルなどを利用して検出することができる。動きベクトルが小さく、その向きが頻繁に変化しない場合は被写体の動きが小さいと判定する。そして、被写体の動きが小さい場合にはステップＳ３２０４に進み、そうでない場合にはステップＳ３２０３に進む。ステップＳ３２０３では、動画の撮影蓄積期間の初期値を１／３０秒に設定する。一方、ステップＳ３２０４では、ステップＳ３２０３で設定した動画の撮影蓄積期間の初期値１／３０秒を、被写体の明るさに応じて最小で１／１２５秒まで短く設定する。

これにより、動画の蓄積期間として設定可能な下限値がより小さくなるので、適正露出で撮影できる動画の蓄積期間の領域が広がる。なお、図３４では、被写体の動きが小さい場合に動画撮影の蓄積期間の下限値を調整する例を示したが、同様に、被写体の動きが大きい場合に動画撮影の蓄積期間の上限値を調整することも可能である。

以上のように、本実施形態では、被写体の動きの大きさに応じて動画撮影の蓄積期間を調整している。これにより、適正露出で撮影できる動画の蓄積期間の領域が広がるため、動画及び静止画の露出をより適正化することができる。

また、被写体の明るさや、撮影者が設定した蓄積期間に応じて第１、第２のフォトダイオードを選択し、撮影されたデータをそれぞれ動画、静止画のデータとして記録することで、様々な撮影条件においてノイズの少ない映像を得ることができる。更に、動画と静止画を同時撮影する場合においても、撮影条件に応じて第１、第２のフォトダイオードを動画と静止画に各々組み合わせることで、高品位な画像を得ることができる。

また、適正露出を優先するか蓄積期間を優先するか（ジャーキネスをなくす、ストップモーション効果）を、動画と静止画における第１のフォトダイオードと第２のフォトダイオードの選択に加えることで、簡単な操作で高品位な撮影を進めることができる。更に、撮影条件を設定する場合においても、第１、第２のフォトダイオードを適宜選択して被写体輝度を検出することで、精度のよい撮影条件設定が可能となる。

［第５実施形態］
本発明の第５実施形態による撮像装置について、図３５及び図３６を用いて説明する。第３実施形態では、被写体の明るさに応じて、動画撮影及び静止画撮影に用いるフォトダイオードを切り替える方法について説明した。本実施形態では、フォトダイオードを切り替える際に映像の変化が目立たないようにする方法について説明する。

被写体の明るさは撮影中常に一定であるとは限らない。そのため、動画撮影中に被写体が暗くなって、第２のフォトダイオードによる動画撮影から第１のフォトダイオードによる動画撮影に切り替わることがある。逆に、被写体が明るくなって、第１のフォトダイオードから第２のフォトダイオードによる動画撮影に切り替わることもある。そこで、本実施形態では、このような場合に撮影中の画素切り替えを高品位に行う方法について説明する。

例えば、動画撮影中に被写体が急に暗くなり、第２のフォトダイオードよる撮影から第１のフォトダイオードによる撮影に切り替える場合を考える。今、第２のフォトダイオードは、１フレーム期間の自然数倍となる最大蓄積期間１／１５秒で動画撮影を行っているものとする。そして、被写体が暗くなったために、より長い蓄積期間（例えば１／４秒）が必要になったとする。このとき、蓄積期間を長くすることなく光量を確保するために、第２のフォトダイオードによる撮影から第１のフォトダイオードによる撮影に切り替える。第１のフォトダイオードは第２のフォトダイオードよりも３段分感度が高いので、蓄積期間は、１／３０秒まで小さくすることが可能である。しかし、これまでの蓄積期間１／１５秒と蓄積期間が異なると撮影者の意図する動画とならないので、第１のフォトダイオードの蓄積期間も１／１５秒として撮影する。このとき、適正露出を得るためには、絞り値を更に一段絞りこむことになる。このように蓄積期間を揃えたまま、且つ絞りを変化させることで動画露出を適正化しても、それまでの動画とは被写体深度が変化するために動画表現が異なってくる。そこで、デジタル信号処理部１８８は、第１のフォトダイオードで得られた信号に対して、更に一段ゲインを下げる事で第２のフォトダイオードから第１のフォトダイオードに切り替わったときの露出を補正する。

上記の処理により、動画表現は変化させずにＳ／Ｎ比劣化の無い動画が継続できる。しかし、第１、第２のフォトダイオードの感度ばらつきがあるために、フォトダイオードを一気に切り替えると映像の変化が生じ動画品位を落としてしまう。そこで、本実施形態においては、フォトダイオードを予め定めた時定数で徐々に切り替える。

図３５は、本発明の第５実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法を説明するための図である。図３５は、フォトダイオードを切り替える際の１０フレーム分の映像を示している。図３５には、各フレームの下にフレーム番号を示している。例えば「（１）」は第１フレームを示している。以下の説明では第ｎフレームのことを「フレーム（ｎ）」と記載する。

フレーム（１）は、第２のフォトダイオード（「ｐｉｃｔｕｒｅＢ」）を用いて蓄積期間１／１５で撮影している。フレーム（１）では、被写体である走行車両３００３ａが、その近傍の照明３００４ａによって明るく照らされている。走行車両３００３ａが画面の中心になるように撮影を続けたあと、フレーム（２）は、フレーム（１）と同じ第２のフォトダイオード（「ｐｉｃｔｕｒｅＢ」）を用いて蓄積期間１／１５で撮影している。フレーム（２）では、走行車両３００３ｂに対して照明３００４ｂの位置が変化している。その後、フレーム（３）からは、照明３００４ｂがフレームアウトして、走行車両３００３ｃ〜３００３ｊが暗くなっている。

そこで、本実施形態では、撮影に用いるフォトダイオードを第１のフォトダイオード（「ｐｉｃｔｕｒｅＡ」）に切り替える。これにより、画像のＳ／Ｎ比劣化を防ぐ。上述したように、第２のフォトダイオードを第１のフォトダイオードに切り替える際には、露出を補う必要があるため、デジタル信号処理部１８８は、第１のフォトダイオード信号のゲインを一段下げる。この場合、ゲインを下げる方向のためにＳ／Ｎ比の劣化は大きくない。フレーム（３）以降は被写体が暗いままなので、第１のフォトダイオードを用いて撮影することが望ましい。しかし、本実施形態では、フォトダイオードを切り替えたことによる映像の変化が目立たなくなるように、フレーム（４）（５）では、再び第２のフォトダイオード（「ｐｉｃｔｕｒｅＢ」）を用いて撮影する。露出が不足する分は第２のフォトダイオード信号のゲインを二段上げる事で対応する。この場合、ゲインを二段上げるためにＳ／Ｎ比は劣化することになる。

フレーム（６）（７）では、第１のフォトダイオード（「ｐｉｃｔｕｒｅＡ」）を用いて撮影しており、露出がオーバーになる分は、第１のフォトダイオード信号のゲインを一段下げる事で対応する。フレーム（８）では、再び第２のフォトダイオード（「ｐｉｃｔｕｒｅＢ」）を用いて撮影しており、露出が不足する分は第２のフォトダイオード信号のゲインを二段上げる事で対応する。フレーム（９）以降は、第１のフォトダイオード（「ｐｉｃｔｕｒｅＡ」）を用いて撮影しており、露出がオーバーになる分は第１のフォトダイオード信号のゲインを一段上げる事で対応する。
このように、所定の時間をかけてフォトダイオードの切り替えを行うために被写体の明るさが変わっても画質が急に変わることがなく高品位の動画撮影を続行できる。

図３６は、本発明の第５実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法のフローチャートである。図３６は、撮影動作を開始してからその動作を終了するまでの間、システム制御ＣＰＵ１７８により繰り返して実行される。なお、図３６のフローチャートは、本発明に関係のない動作は省いてアルゴリズムを分かりやすく示している。

ステップＳ３３０１では、被写体の明るさが所定以上変化したか否かを判定する。被写体の明るさが所定以上変化していない間は、ステップＳ３３０１を繰り返す。被写体の明るさが所定以上変化した場合にはステップＳ３３０２に進む。ステップＳ３３０２では、被写体の明るさに応じて第１或いは第２のフォトダイオードに切り替える。

例えば、図３５を用いて説明したように、撮影被写体が暗くなった場合には第１のフォトダイオードに切り替えるとともに必要に応じて信号ゲインを調整する。逆に、被写体が明るくなった場合には、第２のフォトダイオードに切り替えるとともに必要に応じて信号ゲインを調整する。現在、第２のフォトダイオードで撮影しており、被写体が更に明るくなった場合には、フォトダイオードは切り替えず、信号のゲインを下げる。また、現在、第１のフォトダイオードで撮影しており、被写体が更に暗くなった場合も、フォトダイオードは切り替えず、信号のゲインを上げる。

ステップＳ３３０３では、図３５のフレーム（３）からフレーム（８）で説明したように、撮影フレームが進むごとに（時間と共に）、切り替えるフレームを徐々に増やしていく。

ステップＳ３３０４では、フォトダイオードの切り替えが完了したか否かを判定する。切り替え後のフォトダイオードで撮影したフレームの比率が１００％になるまでは、ステップＳ３３０３に戻って切り替え処理を繰り返す。そして、フォトダイオードの切り替えが完了するとステップＳ３３０１に戻る。

以上のように、本実施形態では、動画に用いるフォトダイオードを切り替える際に、切り替え後のフォトダイオードを用いて撮影したフレームの比率を予め定めた時定数で徐々に増やしている。これにより、フォトダイオードを切り替えることによる映像の変化が目立たないようにできる。

［第６実施形態］
本発明の第６実施形態による撮像装置について、図３７及び図３８を用いて説明する。第５実施形態では、フォトダイオードを切り替える際に、切り替え後のフォトダイオードを用いて撮影したフレームの比率を徐々に増やしていく方法について説明した。これに対し、本実施形態では、切り替え後のフォトダイオードを用いて撮影したフレーム内の画素領域（単に「領域」という）を徐々に拡大していく方法について説明する。

図３７は、本発明の第６実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法を説明するための図である。図３７は、フォトダイオードを切り替える際の１０フレーム分の映像を示している。図３７には、各フレームの下にフレーム番号を示している。例えば「（１）」は第１フレームを示している。以下の説明では第ｎフレームのことを「フレーム（ｎ）」と記載する。

そこで、本実施形態では、フレーム内の一部の領域３００６ｃを第１のフォトダイオード（「ｐｉｃｔｕｒｅＡ」）を用いた撮像に切り替える。これにより、その領域３００６ｃにおける画像のＳ／Ｎ比劣化を防ぐ。上述したように、第２のフォトダイオードを第１のフォトダイオードに切り替える際には、露出を補う必要があるため、デジタル信号処理部１８８は、第１のフォトダイオード信号のゲインを一段下げる。領域３００６ｃ以外の領域は、第２のフォトダイオードを継続して用いて撮像しており、被写体が暗くなった分だけゲインを２段上げて露出を補正する。フレーム（４）では、領域３００６ｄを第１のフォトダイオードを用いて撮像し、その他の領域は第２のフォトダイオードを用いて撮像する。そして、同様にフレーム（５）からフレーム（８）まで、領域３００６ｅから３００６ｈに示すように、第１のフォトダイオードを用いる領域を増やしていく。フレーム（９）からは、すべての領域を第１のフォトダイオードを用いて撮影する。

このように、所定の時間をかけてフォトダイオードの切り替えを行うために被写体の明るさが変わっても画質が急に変わることがなく高品位の動画撮影を続行できる。
なお、図３７では、画面の左より徐々に第１のフォトダイオードの領域を増やしていく場合の例を示した。これは、被写体を追尾してカメラをパンさせてゆく時に、パンの方向とフォトダイオード切り替えの方向が合っている方が画質の変化が目立たないためである。したがって、フレーム画角内における被写体の動きに応じて、切り替える領域の始点及び方向を決定することが好ましい。例えば、被写体を追う方向が図３７に示す場合と異なる場合は、被写体を追う方向に合わせてフォトダイオードを切り替える領域の始点を変更する。一方、被写体が静止しているような場合は、主要被写体の中心を始点にして放射状にフォトダイオードを切り替えてゆく。

図３８は、本発明の第６実施形態による撮像装置における、動画撮影に用いるフォトダイオードを徐々に切り替える方法のフローチャートである。図３８は、撮影動作を開始してからその動作を終了するまでの間、システム制御ＣＰＵ１７８により繰り返して実行される。なお、図３８のフローチャートは、本発明に関係のない動作は省いてアルゴリズムを分かりやすく示している。

ステップＳ３４０１では、被写体の明るさが所定以上変化したか否かを判定する。被写体の明るさが所定以上変化していない間は、ステップＳ３４０１を繰り返す。被写体の明るさが所定以上変化した場合にはステップＳ３４０２に進む。ステップＳ３４０２では、被写体の明るさに応じて第１或いは第２のフォトダイオードに切り替える。

例えば、図３７を用いて説明したように、撮影被写体が暗くなった場合には第１のフォトダイオードに切り替えるとともに必要に応じて信号ゲインを調整する。逆に、被写体が明るくなった場合には、第２のフォトダイオードに切り替えるとともに必要に応じて信号ゲインを調整する。現在、第２のフォトダイオードで撮影しており、被写体が更に明るくなった場合には、フォトダイオードは切り替えず、信号のゲインを下げる。また、現在、第１のフォトダイオードで撮影しており、被写体が更に暗くなった場合も、フォトダイオードは切り替えず、信号のゲインを上げる。

ステップＳ３４０３では、フォトダイオードを切り替え始める領域を設定する。前述したように、カメラをパンして被写体を撮影している場合には、そのカメラの方向変化をジャイロや撮像素子の動きベクトルで検出し、その方向や動きに応じて画面端を切り替え始める領域を設定する。一方、カメラがパンしていない場合にはコントラストの高い領域（例えばピントの合っている主被写体）を切り替え始める領域として設定する。

ステップＳ３４０４では、図３７のフレーム（３）からフレーム（８）で説明したように、撮影フレームが進むごとに（時間と共に）、フォトダイオードを切り替える領域を拡大していく。ここもカメラがパンしている場合のように、カメラが動いている時にはステップＳ３４０１で設定した切り替え領域の始点からパン方向に沿って切り替え領域を拡大する。一方、カメラがパンしていない場合には、主被写体を中心に放射状に切り替え領域を拡大する。ここで、切り替える画素領域の始点及び方向は、カメラの動きではなく画面で捉えられる被写体の動きで判定してもよい。

ステップＳ３４０５では、フォトダイオードの切り替えがすべての領域で完了したか否かを判定する。フォトダイオードの切り替えがすべての領域で切り替わるまではステップＳ３４０４に戻って切り替え処理を繰り返す。そして、フォトダイオードの切り替えが完了するとステップＳ３４０１に戻る。

以上のように、本実施形態では、動画に用いるフォトダイオードを切り替える際に、切り替え後のフォトダイオードを用いて撮影したフレーム画素領域を予め定めた時定数で徐々に拡大している。これにより、フォトダイオードを切り替えることによる映像の変化が目立たないようにできる。

［第７実施形態］
本発明の第７実施形態による撮像装置について、図３９乃至図４３を用いて説明する。第１実施形態では、受光効率の異なる２つのフォトダイオードを、動画撮影用及び静止画撮影用の撮影条件に応じて使い分ける方法について説明した。これに対し、本実施形態では、１つのフォトダイオードの蓄積期間の長さを、動画撮影用及び静止画撮影用の撮影条件に応じて制御することにより、概ね第１実施形態と同様の効果を得る方法について説明する。

図３９は、本発明の第７実施形態による撮像装置における撮像素子１８４の等価回路を示す概略図である。本実施形態の撮像素子１８４は、フォトダイオード３１０、オーバーフロートランジスタ３１７、転送トランジスタ３１１Ｃ、電荷保持部３１８Ｃ、読み出し回路３０８Ｃ、及びデジタル信号処理部１８７、１８８を有して構成される。

フォトダイオード３１０は、被写体からの光束を光電変換するとともに、光電変換によって生じた電荷を蓄積する。転送トランジスタ３１１Ｃは、フォトダイオード３１０に蓄積された電荷を、電荷保持部３１８Ｃへ転送する。電荷保持部３１８Ｃは、フォトダイオード３１０から転送された電荷を保持する。読み出し回路３０８Ｃは、電荷保持部３１８Ｃが保持する電荷量に応じた画素信号を読み出す。デジタル信号処理部１８７、１８８は、読み出し回路３０８Ｃが読み出した画素信号を処理する。

本実施形態の撮像素子１８４は、オーバーフロートランジスタ３１７を有することを特徴としている。オーバーフロートランジスタ３１７は、図３に示す垂直走査回路３０７により制御され得る。オーバーフロートランジスタ３１７がオンされると、フォトダイオード３１０に蓄積されている電荷が、電源ノード等のオーバーフロードレインへ排出される。このため、オーバーフロートランジスタ３１７を制御することで、フォトダイオード３１０に電荷が蓄積される期間である蓄積期間を制御することができる。

具体的には、垂直走査回路３０７は、オーバーフロートランジスタ３１７をオンからオフへ制御して、フォトダイオード３１０による電荷の蓄積を開始する。そして所望の蓄積期間が経過した後に、垂直走査回路３０７は、転送トランジスタ３１１Ｃをオンして、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｃへ転送する。これにより、オーバーフロートランジスタ３１７がオフである期間に電荷保持部３１８Ｃに蓄積された電荷が、電荷保持部３１８Ｃへ転送される。同時に、垂直走査回路３０７は、オーバーフロートランジスタ３１７をオフからオンへ制御して、フォトダイオード３１０による電荷の蓄積を終了する。その後、読み出し回路３０８Ｃは、電荷保持部３１８Ｃが保持する電荷量に応じた画素信号を読み出す。

以下、図３９に示す本実施形態の撮像素子１８４における撮像方法の一例として、図２４乃至図２７に示す各シーンの動画及び静止画を撮影する場合のフォトダイオード３１０の蓄積期間の制御方法について説明する。なお、以下の説明では、デジタル信号処理部１８７が静止画を生成し、デジタル信号処理部１８８が動画を生成するものとするが、逆にしてもよいし、フレーム期間ごとにデジタル信号処理部１８７、１８８を切り替えて用いてもよい。

図４０は、本発明の第７実施形態による撮像装置における、動画と静止画の両方を短い蓄積期間で撮影する場合の制御方法を示す図である。図４０には、図２４に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

垂直走査回路３０７は、まず、オーバーフロートランジスタ３１７を制御して、蓄積期間Ｔ_Ｓ＝１／１０００秒の撮影条件でフォトダイオード３１０に電荷を蓄積する。次に、垂直走査回路３０７は、転送トランジスタ３１１Ｃを制御して、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｃへ転送する。デジタル信号処理部１８７は、電荷保持部３１８Ｃに転送された電荷量に基づく画素信号を、読み出し回路３０８Ｃを介して読み出し、図２４に示す静止画を生成する。

続いて、垂直走査回路３０７は、まず、オーバーフロートランジスタ３１７を制御して、蓄積期間Ｔ_Ｍ＝１／２５０秒の撮影条件でフォトダイオード３１０に電荷を蓄積する。次に、垂直走査回路３０７は、転送トランジスタ３１１Ｃを制御して、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｃへ転送する。デジタル信号処理部１８８は、電荷保持部３１８Ｃに転送された電荷量に基づく画素信号を、読み出し回路３０８Ｃを介して読み出し、図２４に示す動画を生成する。

この結果、短い蓄積期間１／２５０秒の撮影条件でジャーキネス効果のある動画を撮影しつつ、短い蓄積期間１／１０００秒の撮影条件でストップモーション効果のある静止画を撮影することができる。

図４１は、本発明の第７実施形態による撮像装置における、動画と静止画の両方を長い蓄積期間で撮影する場合の制御方法を示す図である。図４１には、図２５に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

図４１に示す制御方法は、動画と静止画の両方をより長い蓄積期間で撮影する点を除いて、図４０に示す制御方法と同じである。具体的には、蓄積期間Ｔ_Ｓ＝１／１５秒の撮影条件でフォトダイオード３１０に蓄積した電荷量に基づく画素信号を読み出して、図２５に示す静止画を生成する。同様に、蓄積期間Ｔ_Ｍ＝１／３０秒の撮影条件でフォトダイオード３１０に蓄積した電荷量に基づく画素信号を読み出して、図２５に示す動画を生成する。この結果、長い蓄積期間１／１５秒の撮影条件で、ブレ感のある静止画を撮影しつつ、長い蓄積期間１／３０秒の撮影条件で、ジャーキネスを抑えた動画を撮影することができる。

図４２は、本発明の第７実施形態による撮像装置における、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影する場合の制御方法を示す図である。図４２には、図２６に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

図４２に示す制御方法は、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影する点を除いて、図４０に示す制御方法と基本的に同じである。但し、１／３０秒の１フレーム期間内に４回の蓄積期間Ｔ_Ｓを分散して配置させることで、実質的に、静止画撮影用の蓄積期間を１／３０秒相当としている。

具体的には、垂直走査回路３０７は、まず、オーバーフロートランジスタ３１７を制御して、蓄積期間Ｔ_Ｍ＝１／２５０秒の撮影条件でフォトダイオード３１０に電荷を蓄積する。次に、垂直走査回路３０７は、転送トランジスタ３１１Ｃを制御して、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｃへ転送する。デジタル信号処理部１８８は、電荷保持部３１８Ｃに転送された電荷量に基づく画素信号を、読み出し回路３０８Ｃを介して読み出し、図２６に示す動画を生成する。

続いて、垂直走査回路３０７は、まず、オーバーフロートランジスタ３１７を制御して、蓄積期間Ｔ_Ｓ＝１／１０００秒の撮影条件でフォトダイオード３１０に電荷を蓄積する。次に、垂直走査回路３０７は、転送トランジスタ３１１Ｃを制御して、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｃへ転送する。垂直走査回路３０７は、この処理を１フレーム期間内に４回繰り返す。その後、デジタル信号処理部１８７は、電荷保持部３１８Ｃに転送された４回の蓄積期間Ｔ_Ｓ分の電荷量に基づく画素信号を、読み出し回路３０８Ｃを介して読み出し、図２６に示す静止画を生成する。

この結果として生成される静止画の蓄積期間は、実際には１／１０００秒×４回＝１／２５０秒であり、図２６に示す静止画の蓄積期間１／３０秒よりも短い。しかし、図４２に示すように、４回の蓄積期間Ｔ_Ｓを１／３０秒の１フレーム期間内に分散して配置していることで、図２６と同様に蓄積期間が実質的に１／３０秒相当の静止画を得ることができる。これによりブレ感のある躍動感のある静止画を撮影することができる。

図４３は、本発明の第７実施形態による撮像装置における、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影する場合の制御方法を示す図である。図４３には、図２７に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

図４３に示す制御方法は、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影する点を除いて、図４２に示す制御方法と同じである。具体的には、蓄積期間Ｔ_Ｓ＝１／２５０秒の撮影条件でフォトダイオード３１０に蓄積した電荷量に基づく画素信号を読み出して、図２７に示す静止画を生成する。続いて、蓄積期間Ｔ_Ｍ＝１／１０００秒の撮影条件でフォトダイオード３１０に蓄積した４回の蓄積期間Ｔ_Ｍ分の電荷量に基づく画素信号を読み出して、図２７に示す動画を生成する。

この結果として生成される動画の蓄積期間は、実際には１／１０００秒×４回＝１／２５０秒であり、図２７に示す動画の蓄積期間１／３０秒よりも短い。しかし、図４３に示すように、４回の蓄積期間Ｔ_Ｍを１／３０秒の１フレーム期間内に分散して配置していることで、図２７と同様に蓄積期間が実質的に１／３０秒相当の動画を得ることができる。これによりジャーキネスを抑えた動画を撮影することができる。

以上のように、本実施形態の撮像素子は、被写体からの光束を光電変換して生じた電荷を蓄積する第３の光電変換部（フォトダイオード３１０）と、第３の光電変換部に蓄積された電荷を排出するオーバーフロートランジスタとを有している。そして、本実施形態の制御手段（垂直走査回路、システム制御ＣＰＵ）は、オーバーフロートランジスタを制御して、第３の光電変換部における動画撮影用の蓄積期間及び静止画撮影用の蓄積期間を制御する。これにより、撮影条件に応じて動画撮影用及び静止画撮影用の蓄積期間の長さを制御することが可能となり、第１実施形態と概ね同様の効果を得ることができる。なお、図４２及び図４３では、１フレーム期間内に４回の蓄積期間を分散して配置したが、蓄積期間の回数は４回には限定されず、１フレーム期間内に更に多くの蓄積期間を配置した場合であっても同様の効果を得ることが可能である。

［第８実施形態］
本発明の第８実施形態による撮像装置について、図４４乃至図４８を用いて説明する。第７実施形態では、１つの撮像素子１８４が１つの電荷保持部３１８Ｃを有する構成について説明した。これに対し、本実施形態では、１つの撮像素子１８４が２つの電荷保持部３１８Ｃ、３１８Ｄを有する構成について説明する。以下、第７実施形態と異なる構成を中心に説明し、第７実施形態と同様の構成については説明を省略することもある。

図４４は、本発明の第８実施形態による撮像装置における撮像素子１８４の等価回路を示す概略図である。本実施形態の撮像素子１８４は、２つの電荷保持部３１８Ｃ、３１８Ｄを有することを特徴としている。また、これに伴い、撮像素子１８４は、フォトダイオード３１０に蓄積された電荷を、電荷保持部３１８Ｃ、３１８Ｄへそれぞれ転送する転送トランジスタ３１１Ｃ、３１１Ｄを有している。また、撮像素子１８４は、電荷保持部３１８Ｃ、３１８Ｄが保持する電荷量に応じた画素信号をそれぞれ読み出す読み出し回路３０８Ｃ、３０８Ｄを有している。

このような構成により、本実施形態の撮像素子１８４は、電荷保持部３１８Ｃ、３１８Ｄの一方に保持された電荷量に応じた画素信号を読み出している間であっても、電荷保持部３１８Ｃ、３１８Ｄの他方へ電荷を転送して保持することができる。また、２つの転送トランジスタ３１１Ｃ、３１１Ｄを独立に制御して、電荷保持部３１８Ｃ、３１８Ｄへ電荷をそれぞれ独立に転送することができる。また、２つの読み出し回路３０８Ｃ、３０８Ｄを独立に制御して、電荷保持部３１８Ｃ、３１８Ｄから画素信号をそれぞれ独立に読み出すこともできる。これにより、図４０乃至図４３に示すような、前の蓄積期間が終了してから次の蓄積期間が開始するまでに設けられた、電荷保持部３１８Ｃ、３１８Ｄから画素信号を読み出すための待機期間をなくすことができる。

以下、図４４に示す本実施形態の撮像素子１８４における撮像方法の一例として、図２４乃至図２７に示す各シーンの動画及び静止画を撮影する場合のフォトダイオード３１０の蓄積期間の制御方法について説明する。なお、以下の説明では、静止画撮影用の電荷を電荷保持部３１８Ｃに保持し、動画撮影用の電荷を電荷保持部３１８Ｄに保持するものとするが、逆にしてもよいし、フレーム期間ごとに電荷保持部３１８Ｃ、３１８Ｄを切り替えて用いてもよい。

図４５は、本発明の第８実施形態による撮像装置における、動画と静止画の両方を短い蓄積期間で撮影する場合の制御方法を示す図である。図４５には、図２４に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

本実施形態の撮像装置は、２つの電荷保持部３１８Ｃ、３１８Ｄを有しているので、電荷保持部３１８Ｃ、３１８Ｄに保持された電荷量に応じた画素信号を読み出すための、蓄積期間の待機期間を設ける必要がない。このため、図４５に示すように、静止画の蓄積期間Ｔ_Ｓが終了した後すぐに、動画の蓄積期間Ｔ_Ｍを開始することができる。

図４５に示す制御方法は、静止画の蓄積期間Ｔ_Ｓが終了してから動画の蓄積期間Ｔ_Ｍが開始するまでに、蓄積期間の待機期間を設けていない点を除いて、図４０に示す制御方法と同じである。具体的には、デジタル信号処理部１８７は、蓄積期間Ｔ_Ｓ＝１／１０００秒の撮影条件でフォトダイオード３１０に蓄積した電荷量に基づく画素信号を読み出して、図２４に示す静止画を生成する。続いて、デジタル信号処理部１８８は、蓄積期間Ｔ_Ｓの終了後すぐに、蓄積期間Ｔ_Ｍ＝１／２５０秒の撮影条件でフォトダイオード３１０に蓄積を開始し、蓄積された電荷量に基づく画素信号を読み出して、図２４に示す動画を生成する。これにより、第７実施形態と同様の効果に加え、動画撮影用及び静止画撮影用の蓄積期間を、撮影条件に応じてより柔軟に制御することができる。

図４６は、本発明の第８実施形態による撮像装置における、動画と静止画の両方を長い蓄積期間で撮影する場合の制御方法を示す図である。図４６には、図２５に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

図４６に示す制御方法は、動画と静止画の両方を長い蓄積期間で撮影する点を除いて、図４５に示す制御方法と同じである。具体的には、デジタル信号処理部１８７は、蓄積期間Ｔ_Ｓ＝１／１５秒の撮影条件でフォトダイオード３１０に蓄積した電荷量に基づく画素信号を読み出して、図２５に示す静止画を生成する。続いて、デジタル信号処理部１８８は、蓄積期間Ｔ_Ｓの終了後すぐに、蓄積期間Ｔ_Ｍ＝１／３０秒の撮影条件でフォトダイオード３１０に蓄積を開始し、蓄積された電荷量に基づく画素信号を読み出して、図２５に示す動画を生成する。これにより、第７実施形態と同様の効果に加え、動画撮影用及び静止画撮影用の蓄積期間を、撮影条件に応じてより柔軟に制御することができる。

図４７は、本発明の第８実施形態による撮像装置における、動画を短い蓄積期間で撮影し、静止画を長い蓄積期間で撮影する場合の制御方法を示す図である。図４７には、図２６に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。

本実施形態の撮像装置は、２つの電荷保持部３１８Ｃ、３１８Ｄを有しているので、図４７に示すように、前フレームの静止画の蓄積期間Ｔ_Ｓが終了した後すぐに、次フレームの静止画の蓄積期間Ｔ_Ｓを開始することができる。また、1フレーム期間内においても、前の蓄積期間Ｔ_Ｓ、Ｔ_Ｍが終了してから次の蓄積期間Ｔ_Ｓ、Ｔ_Ｍを開始するまでの待機期間を短くすることができる。

具体的には、垂直走査回路３０７は、前フレームの蓄積期間Ｔ_Ｓの終了後すぐに、蓄積期間Ｔ_Ｓ＝１／１０００秒の撮影条件でフォトダイオード３１０による電荷の蓄積を開始する。垂直走査回路３０７は、１フレーム期間内に蓄積期間Ｔ_Ｓの蓄積を分散させて４回行い、それぞれの蓄積期間Ｔ_Ｓが終了するたびごとに、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｃへ転送する。その後、デジタル信号処理部１８７は、電荷保持部３１８Ｃが保持する４回の蓄積期間Ｔ_Ｓ分の電荷量に基づく画素信号を読み出して、図２６に示す静止画を生成する。

並行して、垂直走査回路３０７は、静止画用の蓄積が行われていない１フレーム期間内の中央の期間において、蓄積期間Ｔ_Ｍ＝１／２５０秒の撮影条件で蓄積を行い、フォトダイオード３１０に蓄積された電荷を電荷保持部３１８Ｄへ転送する。その後、デジタル信号処理部１８８は、電荷保持部３１８Ｄが保持する蓄積期間Ｔ_Ｍ分の電荷量に基づく画素信号を読み出して、図２６に示す動画を生成する。

この結果、図４７に示す制御方法では、第７実施形態と比較して、静止画撮影用の４回の蓄積期間が１／３０秒の１フレーム期間内に更に分散して配置されるので、よりブレ感のある躍動感のある静止画を撮影することができる。また、動画撮影用の蓄積期間を１フレーム期間内の中央に配置させることができるので、同一フレーム期間に撮影された静止画と動画とで時間重心が一致し、被写体が高速で動いている場合であっても画像上の被写体の位置を両者で一致させることができる。

図４８は、本発明の第８実施形態による撮像装置における、動画を長い蓄積期間で撮影し、静止画を短い蓄積期間で撮影する場合の制御方法を示す図である。図４８には、図２７に示す動画及び静止画を撮影する場合の１フレーム期間におけるフォトダイオード３１０の蓄積期間の制御方法を示している。具体的な処理は、静止画の蓄積期間Ｔ_Ｓと動画の蓄積期間Ｔ_Ｍとが逆になっている点が図４７に示す制御方法と異なる他は、図４７と同じであるので説明は省略する。

以上のように、本実施形態の撮像素子は、第３の光電変換部（フォトダイオード３１０）から転送された電荷を保持する２つの電荷保持部を有している。そして、本実施形態の制御手段（垂直走査回路、システム制御ＣＰＵ）は、２つの電荷保持部のうちの一方に保持された電荷量に基づく画素信号を読み出している間は、２つの電荷保持部のうちの他方に電荷を転送して保持する。これにより、動画撮影用及び静止画撮影用の蓄積期間を、撮影条件に応じてより柔軟に制御することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図８、図１１、図３９、図４４等に示した構成に限定されるものではない。また、光電変換部は必ずしも図４に示すようなフォトダイオードに限定されるものではなく、光電変換機能を有するものであればどのようなものであってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
２５５…ライトガイド、
３０３Ａ，３０３Ｂ…画素要素
３１０Ａ，３１０Ｂ，３１０…フォトダイオード（光電変換部）

Claims

第１の光電変換部及び前記第１の光電変換部よりも受光効率が低い第２の光電変換部を有する撮像素子と、
前記撮像素子に被写体からの光束を導く光学系と、
前記被写体の明るさに応じて、動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択する制御手段と、
を備えることを特徴とする撮像装置。
動画撮影及び静止画撮影の蓄積期間を含む撮影条件を設定する撮影条件設定手段を更に備え、
前記制御手段は、前記撮影条件設定手段により設定された前記撮影条件及び前記被写体の明るさに応じて、動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択する
ことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、静止画撮影された映像データと動画撮影された映像データとを分けて記録媒体に記録することを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記第１及び前記第２の光電変換部の両方を用いる場合に、前記被写体の明るさ、前記第１及び前記第２の光電変換部の受光効率に応じて、前記第１又は前記第２の光電変換部からの信号の利得を補正することを特徴とする請求項２または３に記載の撮像装置。
前記制御手段は、前記第１又は前記第２の光電変換部のいずれか一方のみを用いる場合に、静止画撮影のタイミングに合わせて動画を静止画撮影の蓄積期間で撮影することを特徴とする請求項２または３に記載の撮像装置。
前記制御手段は、前記被写体の動きの大きさに応じて動画撮影の蓄積期間を調整することを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
前記制御手段は、前記撮影条件を優先する撮影条件優先モードにおいて、前記撮影条件を変更しないで維持したまま、動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
前記制御手段は、動画撮影の蓄積期間と静止画撮影の蓄積期間のうちの一方を他方に優先させて、動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
前記制御手段は、動画撮影の露出の適正化と静止画撮影の露出の適正化のうちの一方を他方に優先させて、動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
前記制御手段は、前記被写体の明るさを検出する光電変換部を、前記被写体の明るさに応じて前記第１又は前記第２の光電変換部から選択することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
前記制御手段は、切り替え後の光電変換部を用いて撮影した映像の比率を予め定めた時定数で大きくしていくことにより前記第１及び前記第２の光電変換部を切り替えることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
前記制御手段は、切り替え後の光電変換部を用いて撮影したフレームの比率を予め定めた時定数で増やしていくことにより前記第１及び前記第２の光電変換部を切り替えることを特徴とする請求項１１に記載の撮像装置。
前記制御手段は、切り替え後の光電変換部を用いて撮影したフレーム画素領域を予め定めた時定数で拡大していくことにより前記第１及び前記第２の光電変換部を切り替えることを特徴とする請求項１１に記載の撮像装置。
前記制御手段は、前記被写体の動きに応じて、切り替える画素領域の始点及び方向を決定することを特徴とする請求項１３に記載の撮像装置。
第１の光電変換部及び前記第１の光電変換部よりも受光効率が低い第２の光電変換部を有する撮像素子により生成された映像信号を処理する撮像装置において用いられる撮像方法であって、被写体の明るさに応じて動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択するステップを有することを特徴とする撮像方法。
第１の光電変換部及び前記第１の光電変換部よりも受光効率が低い第２の光電変換部を有する撮像素子により生成された映像信号を処理する撮像装置において、コンピュータを、被写体の明るさに応じて動画撮影及び静止画撮影に用いる前記第１及び前記第２の光電変換部の組み合わせを選択する手段として機能させるプログラム。
請求項１６に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。