JP7146022B2 - 半導体装置、撮像装置、および撮像装置が実行する方法 - Google Patents

Description

本発明は、半導体装置、撮像装置、および撮像装置が実行する方法に関する。

従来、静止画撮影時と動画撮影時とで半導体装置である撮像素子から読み出す画素数を異ならせる撮像装置が知られている。そのような撮像装置においては、動画撮影中に静止画撮影を行う場合、動画のフレームレート周期内に撮像素子から静止画を読み出すことができないため、動画撮影を中断する必要があった。

そのため、静止画と動画をそれぞれ別個の撮像素子で撮影することにより、動画撮影中に静止画撮影を行う場合でも動画撮影を中断する必要のない撮像装置が提案されている（特許文献１）。

特開２０１４－１２２９５７号公報

しかしながら、特許文献１に開示された撮像装置は、複数の撮像素子や、被写体光学像を複数の撮像素子に供給するためのハーフミラーなどが必要なため、部品コストの低減や装置の小型化という観点において不利である。

本願発明はこのような従来技術の課題に鑑みてなされたものである。本発明の目的の１つは、動画撮影中の静止画撮影を行う場合に、動画フレームの欠落を抑制可能な撮像装置を提供することにある。

上述の目的は、受光量に応じた電荷を発生する光電変換素子と、光電変換素子で発生した電荷に基づく静止画用の画像データ 、および、動画用の画像データを読み出す読み出し手段と、読み出し手段が読み出した静止画用の画像データを出力する第１の出力部と、読み出し手段が読み出した動画用の画像データを出力する第２の出力部と、読み出し手段が読み出した静止画用の画像データを、動画用の画像データに変換する変換手段と、第２の出力部から出力された動画用の画像データに対して画像処理を適用して、表示用の画像データを生成する画像処理手段と、を有し、動画の撮影中に静止画の撮影を行う場合に、第１の出力部が、読み出し手段が読み出した静止画用の画像データを出力し、第２の出力部が、読み出し手段が読み出した動画用の画像データ、および、変換手段が静止画用の画像データから変換した動画用の画像データを出力することを特徴とする撮像装置によって達成される。

本発明によれば、動画撮影中の静止画撮影を行う場合に、動画フレームの欠落を抑制可能な撮像装置を提供することができる。

実施形態に係るデジタルカメラの機能構成例を示す図 実施形態に係る撮像素子の構成例を示す図 実施形態に係る撮像素子の構成例を示す図 実施形態に係る撮像素子の動作に関するタイミングチャート 実施形態に係る撮像素子の動作に関するタイミングチャート 実施形態に係る読み出しモードに関する図 実施形態における位相差ＡＦの原理を説明するための図 実施形態における位相差ＡＦの原理を説明するための図 第１実施形態におけるＤＦＥの機能構成例を示すブロック図 第１実施形態のデジタルカメラの動作に関するフローチャート 第１実施形態のデジタルカメラの動作に関するタイミングチャート 第１実施形態のデジタルカメラの動作に関するタイミングチャート 第２実施形態におけるＤＦＥの機能構成例を示すブロック図 第２実施形態のデジタルカメラの動作に関するフローチャート 第２実施形態のデジタルカメラの動作に関するタイミングチャート 第２実施形態のデジタルカメラの動作に関するタイミングチャート 第３実施形態におけるＤＦＥの機能構成例を示すブロック図 第３実施形態のデジタルカメラの動作に関するタイミングチャート 第４実施形態におけるデジタルカメラの機能構成例を示すブロック図 第４実施形態における撮像素子の構成に関する図 第４実施形態のデジタルカメラの動作に関するフローチャート 第４実施形態のデジタルカメラの動作に関するタイミングチャート

以下、本発明の例示的な実施形態について、添付の図面に基づいて詳細に説明する。なお、以下では本発明の実施形態に係る撮像装置の一例としてのデジタルカメラについて説明するが、本発明は動画および静止画の撮影機能を有し、動画撮影中に静止画撮影の実行が可能な任意の電子機器において実施可能である。このような電子機器には、パーソナルコンピュータ、携帯電話機（スマートフォンを含む）、タブレット端末、ゲーム機、ドライブレコーダ、ロボット、家電製品などが含まれるが、これらに限定されない。

●（第１実施形態）
図１は、第１の実施形態に係る撮像装置であるデジタルカメラ１０００の機能構成例を示すブロック図である。デジタルカメラ１０００はレンズユニット（撮像光学系）がカメラ本体に固定された構成を有するものとするが、レンズユニットが交換可能な構成であってもよい。

ＣＰＵ１０１は、例えばＲＯＭ１０５に記憶されているプログラムをＲＡＭ１０４にロードして実行することにより、デジタルカメラ１０００の制御部として機能する。したがって、ＣＰＵ１０１は、デジタルカメラ１０００の各部を制御し、デジタルカメラ１０００の機能を実現する。なお、ＣＰＵ１０１は実際には複数のマイクロプロセッサから構成されていてもよい。

半導体装置である撮像素子１００は、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサであり、２次元状に配置された複数の光電変換素子や、マイクロレンズアレイを有する。レンズユニットが形成する被写体光学像を複数の光電変換素子により、複数のアナログ画素信号に変換する。個々のアナログ画素信号は撮像素子１００が有するＡ／Ｄ変換機能により、デジタル画素信号（画素データ）に変換された後、順次出力される。電荷のリセット、蓄積、読み出し、Ａ／Ｄ変換、画素データの出力といった撮像素子１００の動作はＣＰＵ１０１によって制御される。なお、撮像素子１００がＡ／Ｄ変換機能を有しない場合、撮像素子１００からアナログ画素信号を出力し、外部のＡ／Ｄ変換器でデジタル画素信号に変換してもよい。

デジタルフロントエンド（ＤＦＥ）１１９は、画素データをＣＰＵ１０１に供給するデータ転送制御機能を有する。ＤＦＥ１１９に接続されたＲＡＭ１２０は、ＤＦＥ１１９がデータ転送処理で用いるメモリ（バッファメモリ）である。
撮影制御部１１８はＣＰＵ１０１の制御にしたがい、撮像素子１００およびＤＦＥ１１９について、設定を行ったり、動作のタイミングを制御する信号を供給したりする。撮影制御部１１８およびＤＦＥ１１９の動作の詳細については後述する。

画像処理部１０６は、１画面もしくは１フレーム分の画素データ（画像データ）に対して、さまざまな画像処理を適用する。例えば、画像処理部１０６は、デモザイク、ホワイトバランス調整、各種の補正、被写体検出および認識、動き検出、符号化および復号に関する画像処理を適用することができるが、これらに限定されない。画像処理部１０６はまた、自動露出制御（ＡＥ）および自動焦点検出（ＡＦ）に用いる評価値や信号の生成に関する画像処理を適用することができる。以下では特に説明しないが、ＣＰＵ１０１は、（ライブビュー表示もしくは記録を目的とした）動画撮影中に得られる評価値に基づいて適宜ＡＥ処理やＡＦ処理を実行し、レンズユニットの合焦距離や、撮像素子１００の撮影条件を制御する。ＡＥ処理やＡＦ処理を行う頻度や条件に特に制限はなく、従前知られている任意の手法に基づくことができる。

ＲＡＭ１０４は、ＤＦＥ１１９を通じてＣＰＵ１０１が供給される画像データや、画像処理部１０６で処理された画像データを記憶するための画像メモリとして用いられる。ＲＡＭ１０４はまた、ＣＰＵ１０１がプログラムを実行するためのワークメモリとしても用いられる。

ＲＯＭ１０５は、例えば電気的に書き換え可能であり、ＣＰＵ１０１が実行可能なプログラム、各種の設定値や初期値、デジタルカメラ１０００の固有情報、ＧＵＩデータなどが記憶されている。

記録部１０８は、例えば、不揮発性メモリまたはハードディスクである。記録部１０８には、撮影によって得られたデータ（静止画データ、動画データ、音声データ）が記録される。記録部１０８または記録部１０８が用いる記録媒体は着脱可能であってよい。

操作部１０２は、ボタン、スイッチ、タッチパネルなど、ユーザーがデジタルカメラ１０００に対して指示を与えるための入力デバイス群の総称である。シャッターボタン、動画撮影開始・停止ボタン、再生モード・撮影モード切り替えボタン、メニューボタン、方向キー、決定ボタンは操作部１０２を構成する代表的な入力デバイスである。操作部１０２に対する操作はＣＰＵ１０１が検出し、操作に応じた動作を実行する。

表示部１０３は、例えばデジタルカメラ１０００の外表面に設けられたカラーＬＣＤであり、ＣＰＵ１０１の制御により、静止画、動画、メニュー画面、各種設定値などを表示する。動画を撮影しながら、撮影された動画を実質的にリアルタイムに表示部１０３に表示させることで、表示部１０３を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部１０３をＥＶＦとして機能させるために表示する画像をライブビュー画像もしくはスルー画像と呼ぶ。ライブビュー画像は所定のフレームレートを有する動画である。

ＡＦ演算部１０７は、画像処理部１０６が生成するＡＦ評価値（本実施形態では位相差検出方式に用いる１対の焦点検出信号）に基づいて焦点検出処理を行い、例えばレンズユニットのデフォーカス量および方向を算出する。ＡＦ演算部１０７の処理の詳細については後述する。

レンズユニットに入射した光は、第１レンズ群１１４、絞り１１５、第２レンズ群１１６、第３レンズ群１１７、フォーカルプレーンシャッタ１０９を通過して撮像素子１００に入射する。第１レンズ群１１４は、光軸方向に進退可能に保持される。絞り１１５は、絞りアクチュエータ１１３によって開口径が調節可能である。絞り１１５及び第２レンズ群１１６は一体で光軸方向に進退可能であり、第１レンズ群１１４との連動によって変倍機能（ズーム機能）を実現する。第３レンズ群（フォーカスレンズ）１１７は、光軸方向の進退により、レンズユニットの合焦距離を調節する。

フォーカルプレーンシャッタ１０９は、静止画撮影時に露光期間を調節するメカニカルシャッタである。なお、本実施形態では静止画撮影時の露光期間を電子シャッタで調節するものとするが、フォーカルプレーンシャッタ１０９を用いてもよい。フォーカルプレーンシャッタ１０９の動作はＣＰＵ１０１が制御する。
フォーカス駆動回路１１０は、ＡＦ演算部１０７の焦点検出結果に基づいてフォーカスアクチュエータ１１２を駆動し、第３レンズ群１１７を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１１は、ＡＥ処理を実行するＣＰＵ１０１の制御にしたがって絞りアクチュエータ１１３を駆動し、絞り１１５の開口径を調節する。

次に、本実施形態における撮像素子１００の構成例について図２、図３を用いてより詳細に説明する。図２（ａ）は、撮像素子１００が有する画素アレイ２３４を模式的に示した図である。画素アレイ２３４は、１つのマイクロレンズ２３６を、２つの光電変換素子２０１ａ、２０１ｂが共有する構成を有する。以下、１つのマイクロレンズ２３６に対応する構成を「画素」とし、１つの画素が有する２つの光電変換素子２０１ａ、２０１ｂをそれぞれ「副画素」とする。したがって、図２（ａ）に示す撮像素子１００は、水平方向にｎ画素、垂直方向にｍ画素を有するとともに、水平方向に２ｎ副画素を有する。図２（ａ）では便宜上ｎ＝９、ｍ＝６の構成を記載しているが、実際には数十万～数千万の画素が配置されている。

なお、１つの画素が有する光電変換素子の数は３つ以上であってもよい。１つの画素からは、副画素ごとに電荷を読み出すことと、２つの副画素の電荷をまとめて読み出すことができる。この構成により、撮像素子１００からは、焦点検出用信号と、画像信号とを取得することができる。

図２（ｂ）は、１つの画素２００の構成例を示す回路図である。画素２００は、光電変換素子（フォトダイオード、以下ＰＤ）２０１ａ，２０１ｂ、転送スイッチ２０２ａ，２０２ｂ、フローティングディフュージョン（ＦＤ）領域２０３、増幅部２０４、リセットスイッチ２０５、及び選択スイッチ２０６を有する。なお、各スイッチはＭＯＳトランジスタ等により構成される。以下の説明では各スイッチは一例としてＮ型のＭＯＳトランジスタであるものとするが、各スイッチはＰ型のＭＯＳトランジスタであってもよく、その他のスイッチング素子であってもよい。

ＰＤ２０１ａ，２０１ｂは、同一のマイクロレンズ２３６を通過した光を受光し、光電変換によりその受光量に応じた電荷を生成する。ＰＤ２０１ａから得られる電荷に基づく信号をＡ信号、ＰＤ２０１ｂから得られる電荷に基づく信号をＢ信号と呼ぶこととする。

転送スイッチ２０２ａはＰＤ２０１ａとＦＤ領域２０３との間に接続され、転送スイッチ２０２ｂはＰＤ２０１ｂとＦＤ領域２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂは、それぞれＰＤ２０１ａ，２０１ｂで発生した電荷を共通のＦＤ領域２０３に転送する素子である。転送スイッチ２０２ａ，２０２ｂは、垂直走査回路２０９から供給される制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

ＦＤ領域２０３は、ＰＤ２０１ａ，２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷―電圧変換部として機能する。増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、ＦＤ領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源に接続される。増幅部２０４は、ＦＤ領域２０３に保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。

リセットスイッチ２０５は、ＦＤ領域２０３と共通電源との間に接続される。リセットスイッチ２０５は、ＦＤ領域２０３の電位を共通電源の電位ＶＤＤにリセットする機能を有し、そのゲートは、垂直走査回路２０９から供給される制御信号ＲＥＳによって制御される。選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、垂直走査回路２０９から供給される制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画素信号を垂直出力線２０７に出力する。

図３は、撮像素子１００の画素および周辺回路の構成例を示す図である。撮像素子１００は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２、補正回路２３３、及びデータ出力部２３７を有する。

画素アレイ２３４には原色ベイヤー配列のカラーフィルタが設けられている。そのため、図３では個々の画素２００について、設けられているカラーフィルタの色が、Ｒ（赤色）、Ｇ（緑色）、もしくはＢ（青色）と示されている。なお、図３においても画素アレイ２３４が有する画素のごく一部のみを記載している。また、画素アレイ２３４の一部は、遮光された領域（オプティカルブラック（ＯＢ）領域）を有し、ＯＢ領域内の画素を遮光画素と呼ぶ。

垂直走査回路２０９は、画素アレイ２３４の行ごとに設けられた駆動信号線２０８を介して、行単位で画素２００に制御信号を出力する。なお、図３では説明を分かりやすくするため、駆動信号線２０８を行ごとに１本ずつ図示しているが、実際には行ごとに複数の駆動信号線２０８が接続される。

また、列ごとに設けられた垂直出力線２０７は、１列分の画素２００に接続される。行ごとに画素２００から読み出された画素信号は、垂直出力線２０７を通じて読み出し回路２３５に入力される。読み出し回路２３５は、画素信号をＡ／Ｄ変換して画素データを生成する。また、垂直出力線２０７ごとに電流源負荷２１０が接続される。

水平走査回路２３２は、制御信号ｈｓｒ（０）～ｈｓｒ（ｎ－１）を出力することにより、ｎ個の読み出し回路２３５を１つずつ順番に選択する。選択された読み出し回路２３５は、生成した画素データを共通出力線２２８，２２９を通じて補正回路２３３に出力する。

補正回路２３３は、画素データに後述する補正処理を適用した後、データ出力部２３７に出力する。データ出力部２３７は、補正回路２３３から供給される画素データをシリアルデータに変換し、差動信号として後段の回路に転送する。データ出力部２３７は差動シリアル伝送方式以外の方式でデータを出力してもよい。

次に、読み出し回路２３５の具体的な回路構成について説明する。読み出し回路２３５は、クランプ容量２１１、フィードバック容量２１４～２１６、オペアンプ２１３、基準電圧源２１２及びスイッチ２１７～２２０を有する。また、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３、スイッチ２２６，２２７を有する。個々の読み出し回路２３５はＡ／Ｄ変換機能を有する。

垂直出力線２０７により読み出し回路２３５に入力された画素信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４～２１６はオペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７はオペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４～２１６の両端をショートさせる機能を有する。スイッチ２１７は撮影制御部１１８が供給する制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８～２２０は撮影制御部１１８が供給する制御信号ＧＡＩＮ０～２により制御される。

比較器２２１にはオペアンプ２１３の出力端子と、ランプ信号発生器２３０から出力されるランプ信号２２４が接続される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿Ｓ２２３はＡまたはＢ信号と、Ａ信号とＢ信号との加算信号（ＡＢ信号）とをＳ信号として保持するための記憶素子である。比較器２２１の出力端子からの信号と、カウンタ２３１から出力されるカウンタ値２２５がＬａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３はそれぞれ、撮影制御部１１８からの設定に基づき、不図示のＴＧ（タイミングジェネレーター）が供給する制御信号ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３の出力端子はスイッチ２２６，２２７を介してそれぞれ共通出力線２２８，２２９に接続される。共通出力線２２８，２２９は補正回路２３３に接続される。

スイッチ２２６，２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号（０≦ｈ≦ｎ－１）を示す。Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号は共通出力線２２８，２２９を介して出力され、補正回路２３３へ入力される。

本実施形態では、撮像素子１００の画素２００から、Ａ信号とＢ信号との加算信号（ＡＢ信号）だけを読み出す第１の読み出しモードと、Ａ信号とＡＢ信号の２つを読み出す第２の読み出しモードとを有する。第２の読み出しモードで読み出されたＡ信号、ＡＢ信号は焦点検出および／または画像生成に利用され、第１の読み出しモードで読み出されたＡＢ信号は画像生成に利用される。

図４Ａおよび図４Ｂは、撮像素子１００の読み出し動作に関するタイミングチャートである。以下、図３、図４Ａ、および図４Ｂを参照して、１行分の画素信号の読み出し動作について説明する。なお、各スイッチは制御信号がＨ（レベル）のときにオン、Ｌ（レベル）のときにオフするものとする。

まず、第１の読み出しモードにおける読み出し動作について、図４Ａを用いて説明する。
時刻Ｔａ１において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＨになり、転送スイッチ２０２ａ，２０２ｂがオンする。この時、信号ＲＥＳ＿ＣはＨであり、リセットスイッチ２０５はオンしているため、ＰＤ２０１ａ，２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ，２０２ｂ、リセットスイッチ２０５を介して共通電源に転送され、ＰＤ２０１ａ，２０１ｂはリセットされる。

時刻Ｔａ２において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＬになると、転送スイッチ２０２ａ，２０２ｂがオフし、ＰＤ２０１ａ，２０１ｂで発生した光電荷が蓄積され始める。

時刻Ｔａ２から所定の電荷蓄積時間が経過した時刻Ｔａ３において、選択スイッチ２０６の制御信号ＳＥＬがＨになり、増幅部２０４のソースが垂直出力線２０７に接続される。
時刻Ｔａ４において、リセットスイッチ２０５の制御信号ＲＥＳがＬになり、ＦＤ領域２０３のリセットが解除される。このとき、ＦＤ領域２０３の電位に応じたリセット信号レベルの電位（ノイズ（Ｎ）信号）が増幅部２０４を介して垂直出力線２０７に読み出され、読み出し回路２３５に入力される。

その後、時刻Ｔａ５において、制御信号ＲＥＳ＿ＣがＬになると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。撮像素子１００には予め、操作部１０２により設定されたＩＳＯ感度に基づき、ＣＰＵ１０１が撮影制御部１１８を通じて制御信号ＧＡＩＮ０～ＧＡＩＮ２の１つをＨにする。ここでは一例として、ＩＳＯ感度１００、２００、４００に対応して制御信号ＧＡＩＮ０、ＧＡＩＮ１、ＧＡＩＮ２をＨにするものとする。そして、スイッチ２１８～２２０のうち、Ｈになった制御信号ＧＡＩＮｎに対応する対応するスイッチがオンする。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４～２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。ここでオペアンプ２１３までの回路で発生するランダムノイズ成分も増幅するため、ＩＳＯ感度１００、２００、４００ではそれぞれ出力される信号のランダムノイズ量が異なる。

次に、時刻Ｔａ６において、ランプ信号発生器２３０は経過時間に比例して信号レベルが変化するランプ信号の出力を開始する。また、カウンタ２３１はリセット状態からカウントアップを開始する。さらに、制御信号ＬＡＴＥＮ＿ＮがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。

時刻Ｔａ７で、ランプ信号のレベルがオペアンプ２１３の出力信号の値を上回ると、比較器２２１は、Ｌａｔｃｈ＿Ｎ２２２に出力する信号をＬからＨに反転させる。Ｌａｔｃｈ＿Ｎ２２２は制御信号ＬＡＴＥＮ＿ＮがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時点でカウンタ２３１から出力されているカウンタ値を記憶する。つまり、Ｌａｔｃｈ＿Ｎ２２２は、ノイズ信号（Ｎ信号）のディジタル値（Ｎ信号データ）を記憶する。
その後時刻Ｔａ８において、ランプ信号の変化が終了し、制御信号ＬＡＴＥＮ＿ＮがＬとなる。

時刻Ｔａ９で、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＨになり、転送スイッチ２０２ａ，２０２ｂがオンする。この時、信号ＲＥＳ＿ＣはＬであり、リセットスイッチ２０５はオフしているため、ＰＤ２０１ａ，２０１ｂに蓄積された電荷は、ＦＤ領域２０３へ転送され始める。

その後、時刻Ｔａ１０において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＬになると、光電荷の転送が終了する。ＦＤ領域２０３に転送された電荷がＦＤ領域２０３で電圧に変換され、電圧が画素信号として増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４～２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻Ｔａ１１において、ランプ信号発生器２３０はランプ信号の出力を開始する。また、カウンタ２３１はリセット状態からカウントアップを開始し、制御信号ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。

時刻Ｔａ１２で、ランプ信号のレベルがオペアンプ２１３の出力信号の値を上回ると、比較器２２１は、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる。Ｌａｔｃｈ＿Ｓ２２３は制御信号ＬＡＴＥＮ＿ＳがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時点でカウンタ２３１から出力されているカウンタ値を記憶する。つまり、Ｌａｔｃｈ＿Ｓ２２３は、加算信号（ＡＢ信号）のディジタル値（ＡＢ信号データ）を記憶する。
その後時刻Ｔａ１３において、ランプ信号の変化が終了し、制御信号ＬＡＴＥＮ＿ＳがＬとなる。

その後、時刻Ｔａ１４～Ｔａ１５の間に、水平走査回路２３２から出力される制御信号ｈｓｒ（ｈ）がｈ＝０から順次、一定期間ずつＨになる。制御信号ｈｓｒ（ｈ）がＨとなった読み出し回路２３５のスイッチ２２６，２２７が一定期間オンずつになり、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡＢ信号データが共通出力線２２８，２２９へそれぞれ読み出される。補正回路２３３は、読み出されたＡＢ信号データとＮ信号データの差（像信号データＰａｂ）を算出した後、像信号データＰａｂに後述する補正処理を適用する。補正回路２３３は、補正処理を適用したその後データ出力部から外部へデータが出力される。

時刻Ｔａ１６において制御信号ＲＥＳ＿ＣがＨとなり、スイッチ２１７がオンする。
時刻Ｔａ１７に制御信号ＲＥＳがＨとなり、リセットスイッチ２０５がオンする。
時刻Ｔａ１８において制御信号ＳＥＬがＬになり、第１の読み出しモードにおける１行分の読み出し動作が完了する。

次に、第２の読み出しモードにおける読み出し動作について、図４Ｂを用いて説明する。
時刻Ｔｂ１からＴｂ８までの動作は、図４Ａの時刻Ｔａ１からＴａ８までの動作と同様のため、説明を省略する。
時刻Ｔｂ９で、制御信号ＴＸ＿ＢはＬのままで、制御信号ＴＸ＿ＡだけがＨになり、ＰＤ２０１ａで時刻Ｔｂ２からＴｂ３までの間に蓄積された光電荷が転送トランジスタ２０２ａを通じてＦＤ領域２０３へ転送され始める。

その後、時刻Ｔｂ１０において、制御信号ＴＸ＿ＡがＬになり、転送トランジスタ２０２ａがオフして電荷の転送が終了する。ＦＤ領域２０３に転送された電荷がＦＤ領域２０３で電圧に変換され、電圧が画素信号として増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４～２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻Ｔｂ１１において、ランプ信号発生器２３０はランプ信号の出力を開始する。また、カウンタ２３１はリセット状態からカウントアップを開始し、制御信号ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。

時刻Ｔｂ１２で、ランプ信号のレベルがオペアンプ２１３の出力信号の値を上回ると、比較器２２１は、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる。Ｌａｔｃｈ＿Ｓ２２３は制御信号ＬＡＴＥＮ＿ＳがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時点でカウンタ２３１から出力されているカウンタ値を記憶する。つまり、Ｌａｔｃｈ＿Ｓ２２３は、Ａ信号のディジタル値（Ａ信号データ）を記憶する。
その後時刻Ｔｂ１３において、ランプ信号の変化が終了し、制御信号ＬＡＴＥＮ＿ＳがＬとなる。

その後、時刻Ｔｂ１４～Ｔｂ１５の間に、水平走査回路２３２から出力される制御信号ｈｓｒ（ｈ）がｈ＝０から順次、一定期間ずつＨになる。制御信号ｈｓｒ（ｈ）がＨとなった読み出し回路２３５のスイッチ２２６，２２７が一定期間オンずつになり、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ信号データが共通出力線２２８，２２９へそれぞれ読み出される。補正回路２３３は、読み出されたＡ信号データとＮ信号データの差（像信号データＰａ）を算出した後、像信号データＰａに後述する補正処理を適用する。補正回路２３３は、補正処理を適用したその後データ出力部から外部へデータが出力される。

次に、時刻Ｔｂ１６で、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＨになり、転送スイッチ２０２ａ，２０２ｂがオンする。そして、ＰＤ２０１ａ，２０１ｂに蓄積された電荷は、ＦＤ領域２０３へ転送され始める。

その後、時刻Ｔｂ１７において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＬになると、光電荷の転送が終了する。ＦＤ領域２０３に転送された電荷がＦＤ領域２０３で電圧に変換され、電圧が画素信号として増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４～２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻Ｔｂ１８において、ランプ信号発生器２３０はランプ信号の出力を開始する。また、カウンタ２３１はリセット状態からカウントアップを開始し、制御信号ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。

時刻Ｔｂ１９で、ランプ信号のレベルがオペアンプ２１３の出力信号の値を上回ると、比較器２２１は、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる。Ｌａｔｃｈ＿Ｓ２２３は制御信号ＬＡＴＥＮ＿ＳがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時点でカウンタ２３１から出力されているカウンタ値を記憶する。つまり、Ｌａｔｃｈ＿Ｓ２２３は、加算信号（ＡＢ信号）のディジタル値（ＡＢ信号データ）を記憶する。
その後時刻Ｔｂ２０において、ランプ信号の変化が終了し、制御信号ＬＡＴＥＮ＿ＳがＬとなる。

その後、時刻Ｔｂ２１～Ｔｂ２２の間に、水平走査回路２３２から出力される制御信号ｈｓｒ（ｈ）がｈ＝０から順次、一定期間ずつＨになる。制御信号ｈｓｒ（ｈ）がＨとなった読み出し回路２３５のスイッチ２２６，２２７が一定期間オンずつになり、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡＢ信号データが共通出力線２２８，２２９へそれぞれ読み出される。補正回路２３３は、読み出されたＡＢ信号データとＮ信号データの差（像信号データＰａｂ）を算出した後、像信号データＰａｂに後述する補正処理を適用する。補正回路２３３は、補正処理を適用したその後データ出力部から外部へデータが出力される。

時刻Ｔｂ２３において制御信号ＲＥＳ＿ＣがＨとなり、スイッチ２１７がオンする。
時刻Ｔｂ２４に制御信号ＲＥＳがＨとなり、リセットスイッチ２０５がオンする。
時刻Ｔｂ２５において制御信号ＳＥＬがＬになり、第２の読み出しモードにおける１行分の読み出し動作が完了する。

デジタルカメラ１０００は、撮像素子１００から読み出す画素に関して静止画モードと動画モードを有する。静止画モードでは、図５（ａ）に斜線を付した画素から画素データを読み出す。すなわち、撮像素子１００の画素アレイ２３４の有効画素領域（ＯＢ領域以外）から全ての画素データを読み出す。一方、動画モードでは図５（ｂ）に斜線を付した画素から画素データを読み出す。すなわち、画素アレイ２３４の有効画素領域のうち、一部の画素から画素データを読み出す。ここでは一例として、３行ごとに画素データ読み出すことで、静止画モードより読み出す行数が少ない構成とする。なお、行内でも画素を間引いてもよい。動画モードで読み出す画像データの解像度は、ライブビュー表示用の動画であれば表示部１０３におけるライブビュー画像の表示解像度、記録用の動画であれば、設定された解像度に基づいて決定することができる。通常、記録用の動画の方がライブビュー表示用の動画よりも解像度が高い。したがって記録用の動画の方がライブビュー表示用の動画よりもデータレートが大きい。

静止画モードでは第１の読み出しモードで静止画用の画像データを読み出し、動画モードでは第２の読み出しモードで動画用の画像データを読み出す。したがって、本実施形態では動画モードの１フレーム分の画像データは、静止画モードの１フレーム分の画像データよりもデータ量が少ない。

また、本実施形態では、静止画モード、動画モードともに、スリットローリングシャッタ動作により露光制御を行う。蓄積期間に関して記載がない場合には、蓄積開始のＰＤリセットと読み出し動作との前後関係が変わらないように走査されていることとする。

次に、撮像素子１００から得られるＡ信号およびＢ信号を用いた位相差検出方式の焦点検出（位相差ＡＦ）の原理について説明する。なお、Ｂ信号は第２の読み出しモードにおいて読み出されるＡＢ信号およびＡ信号を用い、ＡＢ信号からＡ信号を減算することにより得ることができる。

まず、図６を用いて、Ａ信号とＢ信号の位相差と、デフォーカス量との関係について説明する。
図６（ａ）は、被写体６００に合焦している場合における撮像レンズ６０２、光軸６０１、および画素アレイ２３４の位置関係と光束を示している。また、図６（ｂ）は被写体に合焦していない場合について同様の位置関係と光束を示している。図６において、画素アレイ２３４は紙面の左右方向が撮像素子の厚み方向に相当するように図示してある。

図２（ａ）に示したように、画素アレイ２３４の各画素にはマイクロレンズ２３６が１つ設けられ、ＰＤ２０１ａ，２０１ｂは、同一のマイクロレンズ２３６を通過した光を受光する。ＰＤ２０１ａ，２０１ｂの視点は異なるため、ＰＤ２０１ａで得られるＡ信号と、ＰＤ２０１ｂで得られるＢ信号とは視差信号である。

撮像レンズ６０２は、図１に示す第１レンズ群１１４、第２レンズ群１１６、第３レンズ群１１７をまとめて１つのレンズで表している。被写体６００からの入射光は、光軸３０１を中心として、撮像レンズ６０２の各領域を通過し、撮像素子１００の画素アレイ２３４に結像される。なお、ここでは射出瞳の位置と撮像レンズ６０２の中心位置は同一としている。

図６（ａ）に示すように、各画素において、ＰＤ２０１ａとＰＤ２０１ｂとは、撮像光学系の射出瞳のうち、異なる部分瞳領域からの光束を受光する。したがって、焦点検出領域内の複数の画素について、ＰＤ２０１ａから得られるＡ信号群（Ａ像）と、ＰＤ２０１ｂから得られるＢ信号群（Ｂ像）との位相差を検出することにより、撮像レンズ６０２のデフォーカス量を得ることができる。また、画素ごとのＡＢ信号は画像信号として用いることができる。

被写体６００の１点から入射する光束は、ＰＤ２０１ａに対応する部分瞳領域を通ってＰＤ２０１ａに入射する光束ΦＬａと、ＰＤ２０１ｂに対応する部分瞳領域を通ってＰＤ２０１ｂに入射する光束ΦＬｂとに分割される。これら２つの光束ΦＬａ、ΦＬｂは、被写体６００の同一点から入射しているため、撮像レンズ６０２が被写体６００に合焦した状態（図６（ａ））では撮像素子上の１点に到達する。したがって、Ａ像とＢ像とは互いに一致する。

しかしながら、光軸方向にＹだけ合焦位置がずれている状態（図６（ｂ））では、光束ΦＬａ，ΦＬｂのマイクロレンズ２３６への入射角の変化分だけ光束ΦＬａ、ΦＬｂの到達位置が光軸と垂直方向に互いにずれる。したがって、Ａ像とＢ像には位相差が生じる。Ａ像とＢ像の位相差を検出することで、撮像レンズ６０２のデフォーカス量および方向を得ることができる。

本実施形態では、動画モード時には第２の読み出しモードで画像データを読み出す。所定の焦点検出領域内に含まれる複数の画素から得られるＡ像とＡＢ像がＡＦ演算部１０７へ入力され、ＡＢ像からＡ像が減算される。これによりＢ像が生成され、Ａ像とともにＡＦ処理に使用される。

なお、本実施形態では、１つのマイクロレンズあたり複数の光電変換素子が配置された構成を示したが、他の画素構成でもＡ像およびＢ像を得ることができる。例えば、マイクロレンズあたり１つの光電変換素子を配置し、遮光層などを用いて光電変換素子の一部を遮光し、ＰＤ２０１ａ相当の光電変換素子を有する画素と、ＰＤ２０１ｂ相当の光電変換素子を有する画素とを形成することができる。この場合、画像データを取得する場合には一部が遮光された画素は欠陥画素として取り扱う。

ＡＦ演算部１０７ではＡ像とＢ像の位相差を検出し、撮像レンズ６０２のデフォーカス量および方向を求める。図７（ａ）は撮像レンズ６０２が被写体に合焦している状況におけるＡ像とＢ像の強度分布を示す図である。横軸は画素位置を、縦軸は信号強度を表す。ピントが合っている場合はＡ像とＢ像は一致する。一方、図７（ｂ）は撮像レンズ６０２が被写体に合焦していない状況におけるＡ像とＢ像の強度分布を示す図である。この場合は、Ａ像とＢ像とは前述した理由により位相差を持ち、強度のピーク位置がずれ量Ｘだけずれている。ＡＦ演算部１０７では、動画モードで順次読み出されるフレームごとにずれ量Ｘを算出し、撮像レンズ６０２のデフォーカス量、すなわち図６（ｂ）におけるＹ値を算出する。ＡＦ演算部１０７は算出したＹ値をＣＰＵ１０１を通じてフォーカス駆動回路１１０に転送する。

フォーカス駆動回路１１０はＡＦ演算部１０７から取得したＹ値に基づき第３レンズ群１１７の駆動量および駆動方向を決定し、対応する駆動信号をフォーカスアクチュエータ１１２に出力する。第３レンズ群１１７は、フォーカスアクチュエータ１１２の駆動により合焦位置まで移動する。

次に、撮像素子１００から読み出した画像データの転送動作に関して説明する。図８は、画像データの転送に関わる構成要素とその接続関係、並びにＤＦＥ１１９の機能構成例を示している。ＤＦＥ１１９は、ＲＡＭ制御回路３００、データフロー制御回路３０１、データ出力部３０２を有する。ＤＦＥ１１９は例えばＡＳＩＣやＦＰＧＡなどのハードウェア回路により実現することができるが、プログラマブルプロセッサによってプログラムを実行することによって実現してもよい。

ＣＰＵ１０１は静止画または動画の撮影時に、撮影制御部１１８に対して読み出しモードおよび撮影開始を指示する制御信号を出力する。撮影制御部１１８はＣＰＵ１０１からの制御信号に基づいて、撮像素子１００に対して読み出しモードや撮影感度（ＧＡＩＮ＃）などの撮影情報を設定する。撮影制御部１１８はまた、図３～図４Ｂで説明した制御信号を撮像素子１００およびＤＦＥ１１９のデータフロー制御回路３０１に供給する。また、撮影制御部１１８は、ＤＦＥ１１９のデータフロー制御回路３０１に対して読み出しモードやデータサイズ（解像度）を設定する。

撮像素子１００は、撮影制御部１１８から入力される制御信号と設定に従って図４を用いて説明したようにリセット、露光、読み出しを行い、画像データを出力する。撮像素子１００から出力される画像データは、ＤＦＥ１１９に入力される。データフロー制御回路３０１は、撮影制御部１１８から供給される制御信号と、読み出しモードやデータサイズの設定に基づき、ＲＡＭ制御回路３００に対し、画像データをＲＡＭ１２０に書き込むためのアドレス、データサイズ、タイミングなどを設定する。ＲＡＭ制御回路３００はデータフロー制御回路３０１による設定に基づき、ＲＡＭ１２０に対する画像データの書き込み制御を行う。これにより、撮像素子１００から出力された画像データがＲＡＭ１２０に書き込まれる。

また、データフロー制御回路３０１は後述するタイミングでＲＡＭ制御回路３００に対して、読み出しアドレス、データサイズ（解像度）、タイミングなどを設定する。ＲＡＭ制御回路３００は設定に基づきＲＡＭ１２０に対して読み出し制御を行い、ＲＡＭ１２０から画像データを読み出す。読み出された画像データは、データ出力部３０２を通じてＣＰＵ１０１へ入力される。データ出力部３０２は、差動シリアル伝送方式を用い、複数のデータレーンで構成されている。ＲＡＭ１２０から読み出される画像データをシリアルデータに変換し、差動信号として後段の回路にデータを転送する。本実施形態では差動シリアル伝送方式としたが、この限りでない。

また、本実施形態では、データ出力部３０２の出力データレートは、撮像素子１００が有するデータ出力部２３７の出力データレートよりも低いものとする。よって後述するように同じデータサイズのデータを転送する場合、撮像素子１００から出力する場合よりもＤＦＥ１１９から出力する場合の方が所要時間が長くなる。ただし、出力データレートの関係はこれに限定されず、ＤＦＥ１１９から出力する場合よりも撮像素子１００から出力する場合の方が所要時間が長い構成でもよい。

次に、本実施形態におけるデジタルカメラ１０００の動作について、図９～図１１を用いて説明する。図１０（ａ）、（ｂ）は後述する静止画撮影モードが表示優先モードの時の、静止画撮影タイミングが異なる場合のタイミングチャートである。また、図１１（ａ）、（ｂ）は後述する静止画撮影モードがレリーズ優先モードの時の、静止画撮影タイミングが異なる場合のタイミングチャートである。

ユーザーが操作部１０２を操作し、デジタルカメラ１０００の電源をＯＮにすると、ＣＰＵ１０１は初期化などの起動処理を実行し、撮影スタンバイ状態になる。

Ｓ１００で、ＣＰＵ１０１は、撮影スタンバイ状態でライブビュー表示を行うために、フォーカルプレーンシャッタ１０９を開き、撮像素子１００を露光状態とする。
Ｓ１０１で撮影制御部１１８は、ＣＰＵ１０１の制御に基づき、撮像素子１００に対してライブビュー表示用の動画撮影条件を設定する。撮影制御部１１８は、例えば、動画モード、ＩＳＯ感度や露光時間を設定する。また、撮影制御部１１８はＣＰＵ１０１の制御に基づき、データフロー制御回路３０１に対し、動画データのデータサイズ（解像度）と、時間差（後述するｔ＿ｄｅｌａｙ０、ｔ＿ｄｅｌａｙ１）を設定する。この時間差は、ライブビュー画像データをＲＡＭ１２０に書き込んでから読み出すまでの時間である。
撮影制御部１１８は、後述する表示優先モードの時にｔ＿ｄｅｌａｙ０を、レリーズ優先モードの時にｔ＿ｄｅｌａｙ１を時間差として設定する。

Ｓ１０２で、撮像素子１００は、設定された撮影条件に従って動画の撮影を開始する。最初のフレームの撮影が行われると、図１０（ａ）のＴｃ０、図１０（ｂ）のＴｄ０、図１１（ａ）のＴｅ０、図１１（ｂ）のＴｆ０に示すように、撮像素子１００から０フレーム目のライブビュー（ＬＶ）画像データＬＶ０が出力される。

撮像素子１００から出力された画像データＬＶ０は直接ＲＡＭ１２０へ書き込まれる。そして、データフロー制御回路３０１は、撮影制御部１１８に設定された設定に基づき、所定の時間ｔ＿ｄｅｌａｙ０が経過すると、ＲＡＭ制御回路３００に対して読み出し開始信号を送信する。それによりＲＡＭ制御回路３００がＲＡＭ１２０から画像データを読み出す（図１０（ａ）のＴｃ１、図１０（ｂ）のＴｄ１、図１１（ａ）のＴｅ１、図１１（ｂ）のＴｆ１）。ＲＡＭ１２０から出力されたＬＶデータはデータ出力部３０２からＣＰＵ１０１へ出力される。

ＣＰＵ１０１へ出力されたＬＶデータは、ＣＰＵ１０１により画像処理部１０６に転送される。画像処理部１０６は、ＬＶデータに対して予め定められた画像処理を適用した後、表示部１０３にライブビュー画像として表示する。ＣＰＵ１０１は、画像処理部１０６が生成する評価値に基づいてＡＥ処理を実施し、初期値として設定した動画撮影条件を変更してもよい。

なお、動画撮影は予め設定された所定のフレームレートでライブビュー表示するためのｔ＿ｆｒａｍｅ０の間隔で周期的に実施され、その後、所定の時間ｔ＿ｄｅｌａｙ０後にＬＶデータがＲＡＭ１２０から出力され、表示される。これにより、表示部１０３の表示周期に同期して表示することができる。

Ｓ１０３でＣＰＵ１０１は、ＲＡＭ１２０内に静止画データが存在するかを確認する。ここでは、ＣＰＵ１０１が操作部１０２から受け付けた静止画撮影命令の回数を記憶しておき、ＲＡＭ１２０に静止画データが何フレーム分格納されているかを管理するものとするが、他の方法を用いてもよい。例えば、ＲＡＭ１２０の状態を示すレジスタをＤＦＥ１１９内に設け、レジスタの値をＣＰＵ１０１が読み出してＲＡＭ１２０の状態を確認する方法であってもよい。ＣＰＵ１０１は、ＲＡＭ１２０内に静止画データが存在することが確認された場合にはＳ１０４へ進め、存在が確認できない場合にはＳ１０７へ、処理を進める。

Ｓ１０４でＣＰＵ１０１は撮影制御部１１８に対して静止画データの要求を送信する。本実施形態では、１フレームのＬＶデータの転送を終了してから次のフレームのＬＶデータの転送を開始するまでの間に１フレーム分の静止画データの全体を転送するにはデータ出力部３０２の出力データレートが不足している。そのため、静止画データを複数（ここでは３つ）に分割し、ＬＶデータを転送していない期間に転送する。

ＣＰＵ１０１から静止画データの要求を受信した撮影制御部１１８は、データフロー制御回路３０１に対して、読み出す静止画データのデータサイズ（解像度）と分割数を設定し、読み出し開始命令を送信する。データフロー制御回路３０１は、ＲＡＭ１２０からＬＶデータを読み出しているか否か判定し、読み出している場合には読み出しが終わるまで待機する。読み出していない場合、データフロー制御回路３０１はＲＡＭ制御回路３００を制御して静止画データを読み出す。静止画データの読み出しは、図１０（ａ）のＴｃ５、図１０（ｂ）のＴｄ５、図１１（ａ）のＴｅ５、図１１（ｂ）のＴｆ７から開始される。その後データフロー制御回路３０１はＬＶデータをＲＡＭ１２０から読み出すタイミングで、読み出すデータを静止画データからＬＶデータに切り替える。図１０（ａ）のＴｃ６、Ｔｃ７、図１０（ｂ）のＴｄ６、Ｔｃ７、図１１（ａ）のＴｅ６、Ｔｅ７、図１１（ｂ）のＴｆ８、Ｔｆ９で示すように、分割された静止画データとＬＶデータを交互にＲＡＭ１２０から読み出す。これにより、ＬＶデータのフレームレートを維持したまま、１フレーム分の静止画データをＤＦＥ１１９から出力することができる。

Ｓ１０５でＣＰＵ１０１は、１フレーム分の静止画データがＣＰＵ１０１に対して転送済みかを判断し、転送済みであればＳ１０６へ、転送済みでなければＳ１０７へ、処理を進める。

Ｓ１０６でＣＰＵ１０１は、１フレーム分の静止画データを画像処理部１０６に転送する。画像処理部１０６では静止画データに対して記録時に適用する画像処理（現像や符号化処理など）を適用し、記録部１０８に静止画データファイルとして記録する。ＣＰＵ１０１は、記録が終了すると処理をＳ１０７に進める。

Ｓ１０７でＣＰＵ１０１は、操作部１０２に含まれる電源スイッチがオフされたか否かを判断し、オフされていれば電源断処理を実行し、オフされていなければ処理をＳ１０１に戻す。

次に、Ｓ１００からＳ１０７を実行中に、静止画撮影の実行が指示された場合の動作について説明する。静止画撮影の実行指示は、例えば操作部１０２に含まれるシャッターボタンの操作であってよい。

シャッターボタンが押されると、ＣＰＵ１０１は割り込み処理として静止画撮影を開始する。このとき、ＣＰＵ１０１は、直近に撮影した動画フレームに対する評価値にしたがってＡＥ処理を実施し、静止画撮影時の撮影条件を決定することができる。本実施形態のデジタルカメラ１０００では、静止画撮影に関するモードとして、表示優先モードとレリーズ優先モードを有する。Ｓ１０８でＣＰＵ１０１は、表示優先モードが設定されているか否かを判断し、表示優先モードが設定されていれば処理をＳ１０９に、設定されていなければＳ１１８に、処理を進める。

表示優先モードにおいて、撮像素子１００からの静止画データ出力と、ＲＡＭ１０２からのＬＶデータ出力とのタイミングが重複しない場合のタイミングチャートを図１０（ａ）に、重複する場合のタイミングチャートを図１０（ｂ）に示す。
また、レリーズ優先モードにおいて、撮像素子１００からの静止画データ出力と、ＲＡＭ１０２からのＬＶデータ出力とのタイミングが重複しない場合のタイミングチャートを図１１（ａ）に、重複する場合のタイミングチャートを図１１（ｂ）に示す。

Ｓ１０９でＣＰＵ１０１は、ＬＶデータを撮像素子１００から読み出し中であるかを判断し、読み出し中であればＳ１１３に、読み出し中でなければＳ１１０に、処理を進める。

Ｓ１１３でＣＰＵ１０１は、ＬＶデータの読み出しが完了するまで待機し、完了すると処理をＳ１１４へ進める。

Ｓ１１４でＣＰＵ１０１は静止画撮影処理を実行する。図１０（ｂ）のＴｄ２においてシャッターボタンが押されたとすると、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度や露光時間（蓄積時間）を撮像素子１００に設定する。その後、図１０（ｂ）Ｔｄ３で撮影制御部１１８は、撮像素子１００に対して撮影開始の制御信号（撮影トリガ）を送信する。これにより、撮像素子１００の画素は蓄積動作を開始する。この時の蓄積時間はＴａｃｃであるとする。

Ｓ１１５で撮影制御部１１８は、撮像素子１００に読み出し制御信号（読み出しトリガ）を送信し、撮像素子１００が静止画データを出力する（図１０（ｂ）Ｔｄ４）。データフロー制御回路３０１の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ１０１へ戻す。

このように、表示優先モードでは、静止画データとＬＶデータとの読み出しタイミング（期間）が重複する場合には、ＬＶデータの読み出しが完了してから静止画撮影を行う。そのため、図１０（ｂ）に示すように、動画の撮影周期はｔ＿ｆｒａｍｅ０で一定となっている。また、ＤＦＥ１１９からのＬＶデータもｔ＿ｆｒａｍｅ０の周期で出力され、表示部１０３で表示される。つまり、表示優先モードでは、ＬＶ画像の更新周期も一定に持され、撮影されてから表示されるまでの遅延を小さくしながら、静止画撮影がなされる。

Ｓ１０９にて、ＬＶデータの読み出し中でない場合、Ｓ１１０でＣＰＵ１０１は、静止画撮影を開始した場合、静止画データの読み出し期間がＬＶデータの読み出し期間と重複するか否かを判定する。この際ＣＰＵ１０１は、露光時間Ｔａｃｃおよび時間差ｔ＿ｄｅｌａｙ０を考慮して判定する。ＣＰＵ１０１は、期間が重複すると判定されればＳ１１１へ、判定されなければＳ１１６へ、処理を進める。

Ｓ１１１で撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し、動画撮影条件を設定する。撮影制御部１１８は、動画モード、ＩＳＯ感度や露光時間を設定する。また、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、データフロー制御回路３０１に対しＬＶデータのデータサイズと、ＬＶデータをＲＡＭ１２０に書き込んでから読み出すまでの時間差ｔ＿ｄｅｌａｙ０を設定する。

Ｓ１１２で撮像素子１００は、設定された撮影条件に従って１フレーム分の動画撮影を実施する。そして、ＣＰＵ１０１からの制御に基づき撮影制御部１１８は撮像素子１００に読み出しトリガを送信し、撮像素子１００からＬＶデータを読み出す。

撮像素子１００から出力されたＬＶデータは直接ＲＡＭ１２０へ書き込まれる。そして、データフロー制御回路３０１は撮影制御部１１８に設定された設定に基づき、所定の時間ｔ＿ｄｅｌａｙ０経過後に、ＲＡＭ制御回路３００に対して読み出し開始信号を送信する。それにより、ＲＡＭ１２０に書き込まれたＬＶデータの読み出しが開始される。ＲＡＭ１２０から読み出したＬＶデータは、データ出力部３０２がＣＰＵ１０１へ出力する。Ｓ１１３以降の処理は上述した通りであるため説明を省略する。

Ｓ１１６でＣＰＵ１０１は、静止画撮影処理を実行する。図１０（ａ）のＴｃ２において、シャッターボタンが押されたとすると、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対して静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度、露光時間などを設定する。その後レリーズタイムラグｔ＿ｒｅｌｅａｓｅ０後に撮影制御部１１８は撮像素子１００に対し撮影トリガを送信することにより、撮像素子１００は蓄積動作を開始する（図１０（ａ）のＴｃ３）。この時の蓄積時間はＴａｃｃである。

Ｓ１１７では、撮影制御部１１８は撮像素子１００に読み出しトリガを送信し、撮像素子１００から静止画データを読み出す（図１０（ａ）Ｔｃ４）。データフロー制御回路３０１の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ１０１へ戻す。

一方、表示優先モードが設定されていない（レリーズ優先モードが設定されている）場合、Ｓ１１８でＣＰＵ１０１は、撮像素子１００からＬＶデータを読み出し中であるかを判断する。ＣＰＵ１０１は、ＬＶデータが読み出し中の場合はＳ１１９に、読み出し中でない場合にはＳ１２０に、処理を進める。

Ｓ１１９で撮影制御部１１８はＣＰＵ１０１の制御に基づき、撮像素子１００からのＬＶデータの読み出しを中断する。撮影制御部１１８は撮像素子１００に対して終了設定と終了トリガを送信する。撮像素子１００は終了設定と終了トリガに基づき、ＬＶデータの出力を中断する。

Ｓ１２０でＣＰＵ１０１は静止画撮影を実行する。図１１（ａ）のＴｅ２、図１１（ｂ）のＴｆ２において、シャッターボタンが押されたとする。撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し静止画の撮影条件を設定する。ここでは撮影制御部１１８は、静止画モード、ＩＳＯ感度や露光時間を設定する。その後レリーズタイムラグｔ＿ｒｅｌｅａｓｅ０後に撮影制御部１１８は撮像素子１００に対し撮影トリガを送信することにより、撮像素子１００は蓄積動作を開始する（図１１（ａ）のＴｅ３、図１１（ａ）のＴｆ３）。ここでも蓄積時間はＴａｃｃであるとする。

Ｓ１２１で撮影制御部１１８は、ＣＰＵ１０１からの制御に基づき撮像素子１００に読み出しトリガを送信し、撮像素子１００から静止画データを読み出す（図１１（ａ）のＴｅ４、図１１（ａ）のＴｆ４）。データフロー制御回路３０１の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。

Ｓ１２２でＣＰＵ１０１は、撮像素子１００からの静止画データの読み出し期間が、ＬＶデータの読み出し期間と重複したか否かを判定する。ＣＰＵ１０１は、重複している場合にはＳ１２３に処理を進め、重複していない場合にはＳ１０１に処理を戻す。ここでもＣＰＵ１０１は、蓄積時間Ｔａｃｃおよび時間差ｔ＿ｄｅｌａｙ０を考慮して判定する。

Ｓ１２３で撮影制御部１１８は、ＣＰＵ１０１からの制御に基づき、撮像素子１００に対して動画撮影条件を設定する。ここでは、撮影制御部１１８は、動画モード、ＩＳＯ感度や露光時間を設定する。また、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、データフロー制御回路３０１に対しＬＶデータのデータサイズ、またＬＶデータをＲＡＭ１２０に書き込んでから読み出すまでの時間差ｔ＿ｄｅｌａｙ１を設定する。

次にＳ１２４で撮像素子１００は、設定された撮影条件に従って１フレーム分の動画撮影を行う。ＣＰＵ１０１からの制御に基づき撮影制御部１１８は、撮像素子１００に読み出しトリガを送信し、撮像素子１００からＬＶデータが読み出される。

撮像素子１００から出力されたデータは直接ＲＡＭ１２０へ書き込まれる。データフロー制御回路３０１は撮影制御部１１８に設定された設定に基づき、所定の時間ｔ＿ｄｅｌａｙ１の経過後、ＲＡＭ制御回路３００に対して読み出し開始信号を送信する。それにより、ＲＡＭ１２０に書き込まれたＬＶデータが読み出される。つまり、先に書き込まれた静止画データよりも後に書き込まれたＬＶデータがＲＡＭ１２０から先に読み出される。ＲＡＭ１２０から読み出されたＬＶデータはデータ出力部３０２からＣＰＵ１０１へ出力される。ＣＰＵ１０１は、処理をＳ１０１へ戻す。

Ｓ１２３で撮影されたフレームを除き、ＬＶデータの撮影周期は予め設定されているｔ＿ｆｒａｍｅ０である。したがって、動画撮影および表示とも、ｔ＿ｆｒａｍｅ０の周期で実行される。

Ｓ１２３では、静止画データの読み出し期間とＬＶデータの読み出し期間とが重複した場合に、静止画データの読み出しを行ってから動画撮影を行う。そのため、動画撮影のタイミングは図１１（ｂ）に示すように、ｔ＿ｆｒａｍｅ０とは異なるｔ＿ｆｒａｍｅ１／２となっている。一方で、ＲＡＭ１２０から読み出されてＤＦＥ１１９から出力されるＬＶデータの周期はｔ＿ｆｒａｍｅ０で一定であり、表示部１０３で使用される。このような動作は、ｔ＿ｄｅｌａｙ１が動画撮影のタイミングがずれた場合でも、ＤＦＥ１１９から出力されるタイミングが一定周期になるような長さで設定されているために実現されている。

これにより、レリーズ優先モードでは、一定のレリーズタイムラグｔ＿ｒｅｌｅａｓｅ０で静止画撮影が実行されつつ、ライブビュー画像の表示の周期も一定に保持される。

以上に述べた構成により、本実施形態の撮像装置では、ライブビュー表示などを目的とした動画撮影と、静止画撮影とを両立することができる。動画撮影中に静止画を撮影した場合でも、動画のフレーム周期は一定に保たれ、表示の停止やフレーム抜けが生じない。

また、表示優先モードとレリーズ優先モードを設けることにより、ＬＶ撮影の周期性を優先することができるモードと、レリーズタイムラグを一定にすることを優先するモードを用途に合わせて選択することができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は第１実施形態で説明した図１に示すデジタルカメラ１０００とほぼ同じ構成で実施可能であるため、共通する構成に関する説明を省略する。

図１２に示す様に、本実施形態におけるデジタルカメラ１０００は、ＤＦＥ１１９の構成とＣＰＵ１０１との接続関係が第１実施形態と異なる。なお、図１２において、第１実施形態における図８と同じ構成には同じ符号を付し、説明を省略する。

撮像素子１００は、撮影制御部１１８から入力される制御信号（撮影同期信号）と設定に基づき撮影を実行し、画像データを読み出して出力する。撮像素子１００から出力される画像データは、ＤＦＥ１１９に入力される。

本実施形態のデジタルカメラ１０００は、静止画モード、動画モード（ＬＶモード）、およびもう１つの動画モード（８Ｋモード）を備える。ここで、静止画モードと動画モードにおいて撮像素子１００から読み出す画素は第１実施形態と同じ、図５（ａ）および（ｂ）における斜線を付した画素であるため、説明を省略する。８Ｋモードでは図５（ｃ）に斜線を付した画素のように、水平ｈ画素、垂直ｉ画素の部分領域に含まれる画素から画素データを読み出す。また、８Ｋモード時の読み出しは第２の読み出しモードに従って実行する。なお、８Ｋモードでデータを読み出す画素領域の解像度（データサイズ）は、静止画モードよりは小さいが、動画モードよりは大きいものとする。なお、静止画モード、動画モード、８Ｋモードの構成や読み出しはこれに限定されるものではない。

データフロー制御回路３０１は、撮影制御部１１８から供給される撮影同期信号と設定とに基づき、ＲＡＭ制御回路３００に対して書き込みアドレス、データサイズ（解像度）、タイミングなどを設定する。ＲＡＭ制御回路３００は設定に基づいてＲＡＭ１２０に対して書き込み制御を行い、撮像素子１００から出力された画像データがＲＡＭ１２０に書き込まれる。

また、データフロー制御回路３０１は、後述するタイミングでＲＡＭ制御回路３００に対して、読み出しアドレス、データサイズ、タイミングなどを設定する。ＲＡＭ制御回路３００は設定に基づきＲＡＭ１２０に対して読み出し制御を行い、ＲＡＭ１２０から画像データが出力される。

本実施形態のＤＦＥ１１９が有するデータ振り分け回路３０４には、撮像素子１００およびＲＡＭ１２０から画像データが入力される。データ振り分け回路３０４は、データフロー制御回路３０３の制御に基づき、画像データを２つのデータ出力部３０５および３０６に分割して出力する。

データ振り分け回路３０４からデータ出力部３０５、３０６に出力された画像データは、データ出力部３０５、３０６によってＣＰＵ１０１へ入力される。データ出力部３０５、３０６は差動シリアル伝送方式でデータを転送し、それぞれ複数のデータレーンを有している。データ出力部３０５、３０６は、データ振り分け回路３０４から供給される画像データをシリアルデータに変換し、差動信号としてＣＰＵ１０１に転送する。なお、差動シリアル伝送方式の使用は必須ではない。

以下、データ出力部３０５から出力される画像データを出力Ａ、データ出力部３０６から出力される画像データを出力Ｂとする。

本実施形態のデジタルカメラ１０００は、ライブビュー用の動画撮影中もしくは８Ｋ解像度の動画撮影中の静止画撮影が可能である。ＤＦＥ１１９からＣＰＵ１０１への画像データの転送は、ＬＶデータは出力Ａのみから転送され、８Ｋデータは出力Ａと出力Ｂに分割して転送される。また、静止画データは、ＬＶモード中の場合には出力Ｂのみから転送され、８Ｋモード中の場合は出力ＡとＢに分割して転送される。ＬＶモードではＬＶデータと静止画データを別個のデータレーンを用いて転送するため、ＬＶデータと静止画データを並列に出力することができる。

次に、本実施形態におけるデジタルカメラ１０００の動作について、図１３～図１５を用いて説明する。図１４（ａ）～（ｃ）はＬＶモードの時の、静止画撮影タイミングがそれぞれ異なる場合のタイミングチャートである。また、図１５（ａ）および（ｂ）は、８Ｋモードの時の、静止画撮影タイミングがそれぞれ異なる場合のタイミングチャートである。

ユーザーが操作部１０２を操作し、デジタルカメラ１０００の電源をＯＮにすると、ＣＰＵ１０１は初期化などの起動処理を実行し、撮影スタンバイ状態になる。

Ｓ１００で、ＣＰＵ１０１は、撮影スタンバイ状態でライブビュー表示を行うために、フォーカルプレーンシャッタ１０９を開き、撮像素子１００を露光状態とする。

Ｓ２０１でＣＰＵ１０１は、予め設定されている動画モードが、ＬＶモードか８Ｋモードであるかを判定し、ＬＶモードであればＳ２０２へ、８ＫモードであればＳ２１０へ、処理を進める。

Ｓ２０２で撮影制御部１１８は、ＣＰＵ１０１からの制御に基づき、撮像素子１００に対しライブビューの撮影条件設定をする。ここで撮影制御部１１８は、ＬＶモード、ＩＳＯ感度、露光時間などを設定する。また、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、データフロー制御回路３０３に対しＬＶデータのデータサイズを設定する。

Ｓ２０３で撮像素子１００は、設定された撮影条件に従って１フレーム分の動画撮影を行う。撮影が行われると、図１４（ａ）のＴｇ０、図１４（ｂ）のＴｈ０、図１４（ｃ）のＴｉ０に示すように、撮像素子１００から０フレーム目のＬＶデータＬＶ０が出力される。この時、撮像素子１００からの読み出し時間は、ＤＦＥ１１９からＬＶデータが出力されるデータレートに合わせて調整されている。これにより、ＤＦＥ１１９内でＲＡＭ１２０などのバッファを使用しなくても、ＤＦＥ１１９からＬＶデータを出力できる。なお、本実施形態ではＬＶデータをＲＡＭ１２０などのバッファに格納しない構成としたが、一度バッファに格納してから出力するように構成してもよい。

撮像素子１００から出力された画像データはデータ振り分け回路３０４へ入力される。データフロー制御回路３０３は撮影制御部１１８に設定された設定に基づき、データ振り分け回路３０４に、撮像素子１００から入力された画像データをデータ出力部３０５へ出力するように設定する。それにより、ライブビュー表示用の画像データがＤＦＥ１１９の出力ＡからＣＰＵ１０１へ出力される。

ＣＰＵ１０１へ出力されたＬＶデータは、ＣＰＵ１０１により画像処理部１０６に転送される。画像処理部１０６は、ＬＶデータに対して予め定められた画像処理を適用した後、表示部１０３にライブビュー画像として表示する。

ここで、ＬＶモードにおける動画撮影は予め設定されたフレームレートを実現するためのｔ＿ｆｒａｍｅ０の間隔で周期的に実施され、かつ同じ周期でＬＶデータが表示される。これにより、表示部１０３の表示周期に同期してＬＶ画像を表示することができる。

Ｓ２０４でＣＰＵ１０１は、静止画データをＤＦＥ１１９からＣＰＵ１０１に転送中か否かを判定し、転送中でなければＳ２０８に、転送中であればＳ２０５に、処理を進める。

Ｓ２０８でＣＰＵ１０１は、ＲＡＭ１２０内に静止画データが存在するか確認する。ここでは、ＣＰＵ１０１が操作部１０２から受け付けた静止画撮影命令の回数を記憶しておき、ＲＡＭ１２０に静止画データが何フレーム分格納されているかを管理するものとするが、他の方法を用いてもよい。例えば、ＲＡＭ１２０の状態を示すレジスタをＤＦＥ１１９内に設け、レジスタの値をＣＰＵ１０１が読み出してＲＡＭ１２０の状態を確認する方法であってもよい。ＣＰＵ１０１は、ＲＡＭ１２０内に静止画データが存在することが確認された場合にはＳ２０９へ、存在が確認できない場合にはＳ２０５へ、処理を進める。

Ｓ２０９でＤＦＥ１１９は、ＣＰＵ１０１への静止画データの転送を開始する。ＣＰＵ１０１から静止画データの要求を受信した撮影制御部１１８は、データフロー制御回路３０３に対し、読み出す静止画データのデータサイズ（解像度）を設定し、読み出し開始命令を送信する。データフロー制御回路３０３はＲＡＭ制御回路３００を制御し、図１４（ａ）のＴｇ４、図１４（ｂ）のＴｈ４、図１４（ｃ）のＴｉ４に示すように静止画データを読み出す。この時、データフロー制御回路３０１は、データ振り分け回路３０４に、ＲＡＭ１２０から読み出された静止画データをデータ出力部３０６へ出力するように設定する。それにより、出力部３０６を通じて静止画データが出力ＢとしてＣＰＵ１０１へ出力される。本実施形態では、撮像素子１００の出力レートより出力部３０６のデータレートが低く、静止画データをＤＦＥ１１９からＣＰＵ１０１へ転送するのに必要な時間が、撮像素子１００から静止画データをＤＦＥ１１９に転送するのに要する転送よりも長い。ただし、このようなデータレートの関係は必須ではない。

Ｓ２０５でＣＰＵ１０１は、１フレーム分の静止画データがＣＰＵ１０１に対して転送済みかを判断し、転送済みであればＳ１０６へ、転送済みでなければＳ１０７へ、処理を進める。

Ｓ２０６でＣＰＵ１０１は、１フレーム分の静止画データを画像処理部１０６に転送する。画像処理部１０６では静止画データに対して記録時に適用する画像処理（現像や符号化処理など）を適用し、記録部１０８に静止画データファイルとして記録する。ＣＰＵ１０１は、記録が終了すると処理をＳ２０７に進める。

Ｓ２０７でＣＰＵ１０１は、操作部１０２に含まれる電源スイッチがオフされたか否かを判断し、オフされていれば電源断処理を実行し、オフされていなければ処理をＳ２０１に戻す。

一方、８Ｋモードが選択されていた場合、Ｓ２１０で撮影制御部１１８は、ＣＰＵ１０１からの制御に基づき、撮像素子１００に対し撮影条件を設定する。ここでは、撮影制御部１１８は、８Ｋモード、ＩＳＯ感度や露光時間を撮像素子１００に設定する。また、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、データフロー制御回路３０１に対しデータサイズ、８ＫデータをＲＡＭ１２０に書き込んでから読み出すまでの時間差ｔ＿ｄｅｌａｙ０を設定する。

Ｓ２１１で撮像素子１００は、設定された撮影条件に従って８Ｋ動画の１フレームを撮影する。そして、図１５（ａ）のＴｊ０、図１５（ｂ）のＴｋ０に示すように、撮像素子１００から０フレーム目の８Ｋ動画データ８Ｋ０が出力される。

撮像素子１００から出力された画像データは直接ＲＡＭ１２０へ書き込まれる。データフロー制御回路３０３は撮影制御部１１８に設定された設定に基づき、所定の時間ｔ＿ｄｅｌａｙ０の経過後、ＲＡＭ制御回路３００に対して読み出し開始信号を送信する。それにより、ＲＡＭ１２０に書き込まれた画像データが読み出される（図１５（ａ）のＴｊ１、図１５（ｂ）のＴｋ１）。

データフロー制御回路３０３は撮影制御部１１８に設定された設定に基づき、データ振り分け回路３０４に、撮像素子１００から入力された８Ｋ動画データをデータ出力部３０５、３０６へ出力するように設定する。この設定に従って、データ振り分け回路３０４は、ＲＡＭ１２０から読み出された８Ｋ動画データを２分割して８Ｋ０（Ａ）、８Ｋ０（Ｂ）としてデータ出力部３０５、３０６に出力する。そして、分割された８Ｋ動画データがデータ出力部３０５、３０６を通じてＣＰＵ１０１へ出力される。

Ｓ２１２でＣＰＵ１０１は、Ｓ２０８と同様に、ＲＡＭ１２０内に静止画データが存在するか確認する。ＣＰＵ１０１は、ＲＡＭ１２０内に静止画データが存在することが確認された場合にはＳ２１３へ、存在が確認できない場合にはＳ２０７へ、処理を進める。

Ｓ２１３でＣＰＵ１０１は撮影制御部１１８に対して静止画データの要求を送信する。本実施形態では、１フレーム分の８Ｋ動画データの転送を終了してから次のフレームの８Ｋ動画データの転送を開始するまでの間に１フレーム分の静止画データの全体を転送するにはデータ出力部３０５、３０６の出力データレートが不足している。そのため、静止画データを複数（ここでは３つ）に分割して、８Ｋ動画データを転送していない期間に転送する。

ＣＰＵ１０１から静止画の要求を受信した撮影制御部１１８は、データフロー制御回路３０３に対して、読み出す静止画データのデータサイズ（解像度）と分割数を設定し、読み出し開始命令を送信する。データフロー制御回路３０３は、ＲＡＭ１２０から８Ｋ動画データを読み出しているか否か判定し、読み出している場合には読み出しが終わるまで待機する。読み出していない場合、データフロー制御回路３０３はＲＡＭ制御回路３００を制御し、図１５（ａ）のＴｊ５、図１５（ｂ）のＴｋ５に示すように静止画データを読み出す。その後データフロー制御回路３０３は８Ｋ動画データをＲＡＭ１２０から読み出すタイミングで、読み出すデータを静止画データから８Ｋ動画データに切り替える。図１５（ａ）のＴｊ６、Ｔｊ７、図１５（ｂ）のＴｋ６、Ｔｋ７で示すように、分割された静止画データと８Ｋ動画データを交互にＲＡＭ１２０から読み出す。これにより、８Ｋ動画データのフレームレートを維持したまま、１フレーム分の静止画データをデータ出力部３０５、３０６を通じて出力Ａ、出力ＢとしてＣＰＵ１０１に出力することができる。

Ｓ２１４でＣＰＵ１０１は、１フレーム分の静止画データがＣＰＵ１０１に対して転送済みかを判断し、転送済みであればＳ２１５へ、転送済みでなければＳ２０７へ、処理を進める。

Ｓ２１５でＣＰＵ１０１は、１フレーム分の静止画データを画像処理部１０６に転送する。画像処理部１０６では静止画データに対して記録時に適用する画像処理（現像や符号化処理など）を適用し、記録部１０８に静止画データファイルとして記録する。ＣＰＵ１０１は、記録が終了すると処理をＳ２０７に進める。

次に、Ｓ２００からＳ２１５を実行中に、静止画撮影の実行が指示された場合の動作について説明する。静止画撮影の実行指示は、例えば操作部１０２に含まれるシャッターボタンの操作であってよい。

シャッターボタンが押されると、ＣＰＵ１０１は割り込み処理として静止画撮影を開始する。このとき、ＣＰＵ１０１は、直近に撮影した動画フレームに対する評価値にしたがってＡＥ処理を実施し、静止画撮影時の撮影条件を決定することができる。

Ｓ２１６でＣＰＵ１０１は、現在実行中の動画撮影がＬＶモードで行われているか否か判定し、ＬＶモードであればＳ２１７へ、ＬＶモードでなければ（８Ｋモードであれば）Ｓ２３１へ、処理を進める。

第１実施形態と同様、本実施形態のデジタルカメラ１０００では、静止画撮影に関するモードとして、表示優先モードとレリーズ優先モードを有する。Ｓ２１７でＣＰＵ１０１は、表示優先モードが設定されているか否かを判断し、表示優先モードが設定されていれば処理をＳ１０９に、設定されていなければ（レリーズ優先モードが設定されていれば）Ｓ１１８に、処理を進める。

表示優先モードにおいて、撮像素子１００からの静止画データ出力と、ＲＡＭ１０２からのＬＶデータ出力とのタイミングが重複しない場合のタイミングチャートを図１４（ａ）に、重複する場合のタイミングチャートを図１４（ｂ）に示す。
また、レリーズ優先モードにおいて、撮像素子１００からの静止画データ出力と、ＲＡＭ１０２からのＬＶデータ出力とのタイミングが重複する場合のタイミングチャートを図１４（ｃ）に示す。

Ｓ２１８でＣＰＵ１０１は、ＬＶデータを撮像素子１００から読み出し中であるかを判断し、読み出し中であればＳ２２２に、読み出し中でなければＳ２１９に、処理を進める。

Ｓ２２２でＣＰＵ１０１は、ＬＶデータの読み出しが完了するまで待機し、完了すると処理をＳ２２３へ進める。

Ｓ２２３でＣＰＵ１０１は静止画撮影処理を実行する。図１４（ｂ）のＴｈ１においてシャッターボタンが押されたとすると、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度や露光時間（蓄積時間）を撮像素子１００に設定する。その後、図１４（ｂ）Ｔｈ２で撮影制御部１１８は、撮像素子１００に対して撮影開始の制御信号（撮影トリガ）を送信する。これにより、撮像素子１００の画素は蓄積動作を開始する。この時の蓄積時間はＴａｃｃであるとする。

Ｓ２２４で撮影制御部１１８は、撮像素子１００に読み出し制御信号（読み出しトリガ）を送信し、撮像素子１００が静止画データを出力する（図１４（ｂ）Ｔｈ３）。データフロー制御回路３０３の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ２０１へ戻す。

このように、表示優先モードでは、静止画データとＬＶデータとの読み出しタイミング（期間）が重複する場合には、ＬＶデータの読み出しが完了してから静止画撮影を行う。そのため、図１４（ｂ）に示すように、動画の撮影周期はｔ＿ｆｒａｍｅ０で一定となっている。また、ＤＦＥ１１９からのＬＶデータもｔ＿ｆｒａｍｅ０の周期で出力され、表示部１０３で表示される。つまり、表示優先モードでは、ＬＶ画像の更新周期も一定に持され、撮影されてから表示されるまでの遅延を小さくしながら、静止画撮影がなされる。

Ｓ２１８にて、ＬＶデータの読み出し中でない場合、Ｓ２１９でＣＰＵ１０１は、静止画撮影を開始した場合に、静止画データの読み出し期間がＬＶデータの読み出し期間と重複するか否かを判定する。この際ＣＰＵ１０１は、露光時間Ｔａｃｃおよび時間差ｔ＿ｄｅｌａｙ０を考慮して判定する。ＣＰＵ１０１は、期間が重複すると判定されればＳ２２０へ、判定されなければＳ２２５へ、処理を進める。

Ｓ２２０で撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し、ＬＶ撮影条件を設定する。撮影制御部１１８は、動画モード、ＩＳＯ感度や露光時間を設定する。また、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、データフロー制御回路３０３に対しＬＶデータのデータサイズを設定する。

Ｓ２２１で撮像素子１００は、設定された撮影条件に従って１フレーム分の動画撮影を実施する。そして、ＣＰＵ１０１からの制御に基づき撮影制御部１１８は撮像素子１００に読み出しトリガを送信し、撮像素子１００からＬＶデータを読み出す。

撮像素子１００から出力されたＬＶデータは直接データ振り分け回路３０４に入力される。そして、データフロー制御回路３０３は撮影制御部１１８に設定された設定に基づき、撮像素子１００から入力されたＬＶデータをデータ出力部３０５に出力するようにデータ振り分け回路３０４を設定する。それにより、ＬＶデータが、ＤＦＥ１１９の出力Ａとしてデータ出力部３０５からＣＰＵ１０１に出力される。そして、ＣＰＵ１０１は処理をＳ２２２に進める。

一方、Ｓ２２５でＣＰＵ１０１は、静止画撮影処理を実行する。図１４（ａ）のＴｇ１において、シャッターボタンが押されたとすると、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対して静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度、露光時間などを設定する。その後レリーズタイムラグｔ＿ｒｅｌｅａｓｅ０後に撮影制御部１１８は撮像素子１００に対し撮影トリガを送信することにより、撮像素子１００は蓄積動作を開始する（図１４（ａ）のＴｇ２）。この時の蓄積時間はＴａｃｃである。

Ｓ２２６では、撮影制御部１１８は撮像素子１００に読み出しトリガを送信し、撮像素子１００から静止画データを読み出す（図１４（ａ）のＴｇ３）。データフロー制御回路３０３の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ２０１へ戻す。

一方、表示優先モードが設定されていない（レリーズ優先モードが設定されている）場合、Ｓ２２７でＣＰＵ１０１は、撮像素子１００からＬＶデータを読み出し中であるかを判断する。ＣＰＵ１０１は、ＬＶデータが読み出し中の場合はＳ２２９に、読み出し中でない場合にはＳ２２８に、処理を進める。

Ｓ２２８で撮影制御部１１８はＣＰＵ１０１の制御に基づき、撮像素子１００からのＬＶデータの読み出しを中断する。撮影制御部１１８は撮像素子１００に対して終了設定と終了トリガを送信する。撮像素子１００は終了設定と終了トリガに基づき、ＬＶデータの出力を中断する。読み出しを中断したフレームは表示されない。ＣＰＵ１０１は、処理をＳ２２９に進める。

Ｓ２２９でＣＰＵ１０１は静止画撮影を実行する。図１４（ｃ）のＴｉ１において、シャッターボタンが押されたとする。撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し静止画の撮影条件を設定する。ここでは撮影制御部１１８は、静止画モード、ＩＳＯ感度や露光時間を設定する。その後レリーズタイムラグｔ＿ｒｅｌｅａｓｅ０後に撮影制御部１１８は撮像素子１００に対し撮影トリガを送信することにより、撮像素子１００は蓄積動作を開始する（図１４（ｃ）のＴｉ２）。ここでも蓄積時間はＴａｃｃであるとする。

Ｓ２３０で撮影制御部１１８は、ＣＰＵ１０１からの制御に基づき撮像素子１００に読み出しトリガを送信し、撮像素子１００から静止画データを読み出す（図１４（ｃ）のＴｉ３）。データフロー制御回路３０３の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。書き込みが終了したら、ＣＰＵ１０１は処理をＳ２０１へ進める。

次に、８Ｋモード時の静止画撮影動作について説明する。
Ｓ２３１でＣＰＵ１０１は、８Ｋデータを撮像素子１００から読み出し中であるかを判断し、読み出し中であればＳ２３５に、読み出し中でなければＳ２３２に、処理を進める。

Ｓ２３５でＣＰＵ１０１は、８Ｋデータの読み出しが完了するまで待機し、完了すると処理をＳ２３６へ進める。

Ｓ２３６でＣＰＵ１０１は静止画撮影処理を実行する。撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度や露光時間（蓄積時間）を撮像素子１００に設定する。その後、撮影制御部１１８は、撮像素子１００に対して撮影開始の制御信号（撮影トリガ）を送信する。これにより、撮像素子１００の画素は蓄積動作を開始する。

Ｓ２３７で撮影制御部１１８は、撮像素子１００に読み出し制御信号（読み出しトリガ）を送信し、撮像素子１００が静止画データを出力する。データフロー制御回路３０３の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ２０１へ戻す。

このように、８ｋモードでは、静止画データと８ｋデータとの読み出しタイミング（期間）が重複する場合には、８ｋデータの読み出しが完了してから静止画撮影を行う。そのため、動画の撮影周期は一定である。また、ＤＦＥ１１９からの８ｋデータも一定周期で出力され、画像処理部１０６において記録用の画像処理を適用したのち、動画データファイルとして記録部１０８に記録される。また、画像処理部１０６は８ｋデータからＬＶデータを生成する。ＣＰＵ１０１はＬＶデータを表示部１０３に表示する。その後、ＣＰＵ１０１は処理をＳ２０１に戻す。

Ｓ２３１にて、８Ｋデータの読み出しがされていない場合、Ｓ２３２でＣＰＵ１０１は、静止画撮影を開始した場合に、静止画データの読み出し期間が８ｋデータの読み出し期間と重複するか否かを判定する。この際ＣＰＵ１０１は、露光時間Ｔａｃｃおよび時間差ｔ＿ｄｅｌａｙ０を考慮して判定する。ＣＰＵ１０１は、期間が重複すると判定されればＳ２３３へ、判定されなければＳ２３８へ、処理を進める。

Ｓ２３３で撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し、８Ｋ撮影条件を設定する。撮影制御部１１８は、８Ｋモード、ＩＳＯ感度や露光時間を設定する。また、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、データフロー制御回路３０３に対し８Ｋデータのデータサイズを設定する。

Ｓ２３４で撮像素子１００は、設定された撮影条件に従って１フレーム分の動画撮影を実施する。そして、ＣＰＵ１０１からの制御に基づき撮影制御部１１８は撮像素子１００に読み出しトリガを送信し、撮像素子１００から８Ｋデータを読み出す。

撮像素子１００から出力された８Ｋデータは直接データ振り分け回路３０４に入力される。そして、データフロー制御回路３０３は撮影制御部１１８に設定された設定に基づき、撮像素子１００から入力された８Ｋデータをデータ出力部３０５に出力するようにデータ振り分け回路３０４を設定する。それにより、８Ｋデータが、ＤＦＥ１１９の出力Ａとしてデータ出力部３０５からＣＰＵ１０１に出力される。そして、ＣＰＵ１０１は処理をＳ２３５に進める。

Ｓ２３５で８ｋデータの読み出し完了を確認すると、Ｓ２３６でＣＰＵ１０１は静止画撮影処理を実行する。図１５（ｂ）のＴｋ２においてシャッターボタンが押されたとすると、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対し静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度や露光時間（蓄積時間）を撮像素子１００に設定する。その後レリーズタイムラグｔ＿ｒｅｌｅａｓｅ３後に、撮影制御部１１８は、撮像素子１００に対して撮影開始の制御信号（撮影トリガ）を送信する（図１５（ａ）Ｔｋ３）。これにより、撮像素子１００の画素は蓄積動作を開始する。この時の蓄積時間はＴａｃｃであるとする。

Ｓ２３７で撮影制御部１１８は、撮像素子１００に読み出し制御信号（読み出しトリガ）を送信し、撮像素子１００が静止画データを出力する（図１５（ｂ）Ｔｋ４）。データフロー制御回路３０３の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ２０１へ戻す。

このように、８ｋモードでは、静止画データと８ｋデータとの読み出しタイミング（期間）が重複する場合には、８ｋデータの読み出しが完了してから静止画撮影を行う。そのため、図１５（ｂ）に示すように、動画の撮影周期はｔ＿ｆｒａｍｅ０で一定となっている。また、ＤＦＥ１１９からの８ｋデータもｔ＿ｆｒａｍｅ０の周期で出力され、画像処理部１０６において記録用の画像処理を適用したのち、動画データファイルとして記録部１０８に記録される。また、画像処理部１０６は８ｋデータからＬＶデータを生成する。ＣＰＵ１０１はＬＶデータを表示部１０３に表示する。その後、ＣＰＵ１０１は処理をＳ２０１に戻す。

Ｓ２３２にて、撮像素子１００からの静止画データの読み出しタイミングが、８Ｋデータ読み出しタイミングと重複しない場合、Ｓ２３８でＣＰＵ１０１は、静止画撮影処理を実行する。図１５（ａ）のＴｊ２において、シャッターボタンが押されたとすると、撮影制御部１１８はＣＰＵ１０１からの制御に基づき、撮像素子１００に対して静止画の撮影条件を設定する。ここでは、撮影制御部１１８は、静止画モード、ＩＳＯ感度、露光時間などを設定する。その後レリーズタイムラグｔ＿ｒｅｌｅａｓｅ０後に撮影制御部１１８は撮像素子１００に対し撮影トリガを送信することにより、撮像素子１００は蓄積動作を開始する（図１５（ａ）のＴｊ３）。この時の蓄積時間はＴａｃｃである。

Ｓ２３９では、撮影制御部１１８は撮像素子１００に読み出しトリガを送信し、撮像素子１００から静止画データを読み出す（図１５（ａ）のＴｊ４）。データフロー制御回路３０３の制御に基づいてＲＡＭ制御回路３００がＲＡＭ１２０に、読み出された静止画データを書き込む。その後、ＣＰＵ１０１は処理をＳ２０１へ戻す。

本実施形態によっても、第１実施形態と同様に、ライブビュー表示を目的とした動画撮影中に静止画を撮影した場合でも、ライブビュー表示のフレーム周期は一定に保たれ、表示の停止やフレーム抜けが生じない。また、８Ｋ動画記録を目的とした動画撮影中の静止画撮影であっても、同様の効果を実現することができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は第１実施形態で説明した図１に示すデジタルカメラ１０００とほぼ同じ構成で実施可能であるため、共通する構成に関する説明を省略する。

図１６に示す様に、本実施形態におけるデジタルカメラ１０００は、ＤＦＥ１１９の構成が第２実施形態と異なる。なお、図１６において、第２実施形態における図１２と同じ構成には同じ符号を付し、説明を省略する。

本実施形態のＤＦＥ１１９は、ＡＦデータ圧縮回路３０９を有する。ＡＦデータ圧縮回路３０９にはＲＡＭ１２０から読み出された画像データが入力される。また、ＡＦデータ圧縮回路３０９の出力は、データ振り分け回路３０８に入力される。データ振り分け回路３０８は、第２実施形態におけるデータ振り分け回路３０４の機能に加え、ＡＦデータ圧縮回路３０９の出力をデータ出力部３０６に出力する機能を有する。なお、ＡＦデータ圧縮回路３０９は設けなくてもよいが、設けることにより、静止画データを出力可能な期間を増加させることができる。

図１７に本実施形態におけるデータ転送動作に関するタイミングチャートを示す。先に述べた様に、動画モードではＡＢ像（画像データ）に加え、Ａ像のデータを含んだＬＶデータが読み出される（第２の読み出しモード）。そして、本実施形態では、撮像素子１００から読み出されるＬＶデータのうち、Ａ像のデータＡＦｘはＡＦデータ圧縮回路３０９に、ＡＢ像のデータＡＢｘは直接データ振り分け回路３０８に入力される。ＬＶデータを分離してＡＦデータ圧縮回路３０９とデータ振り分け回路３０８に入力する方法は任意である。例えば、データフロー制御回路３０７が読み出されるＬＶデータの構造に基づいて、ＡＦデータ圧縮回路３０９とデータ振り分け回路３０８とに、データを受け取るタイミングを指示することができる。

Ａ像のデータはＡＦデータ圧縮回路３０９により、予め定められた方法でデータ量を削減（圧縮）された後、データ振り分け回路３０８に入力される。そして、データ振り分け回路３０８は、ＡＦデータ圧縮回路３０９から入力されたＡ像のデータを出力部３０６に出力する。そして、出力部３０６は、ＤＦＥ１１９の出力Ｂとして、Ａ像のデータ（ＡＦデータ）をＣＰＵ１０１に出力する。一方、ＬＶデータに含まれるＡＢ像については、ＲＡＭ１２０から直接データ振り分け回路３０８に入力される。データ振り分け回路３０８は、ＡＢ像の画像データをデータ出力部３０５に出力する。そして、出力部３０５は、ＤＦＥ１１９の出力Ａとして、ＡＢ像のデータ（画像データ）をＣＰＵ１０１に出力する（図１７のＴＩ０）。

例えば図１７のＴＩ１における静止画撮影指示に基づく静止画撮影がＴＩ２から開始された場合、ＲＡＭ１２０に書き込まれた静止画データの読み出し期間と、ＡＦデータの出力期間が重複する。この場合、データフロー制御回路３０７は、ＴＩ４から開始された静止画データの読み出しおよび出力部３０６からの出力を、ＡＦデータの出力タイミングになった時点（ＴＩ５）で中断し、出力部３０６の出力をＡＦデータに切り替える。データフロー制御回路３０７は、ＲＡＭ制御回路３００に読み出しを中断させ、データ振り分け回路３０８の設定を、ＲＡＭ１２０の出力ではなく、ＡＦデータ圧縮回路３０９の出力を出力部３０６に供給するように切り替える。ＡＦデータの出力が終わると（ＴＩ６）、データフロー制御回路３０７は、ＲＡＭ１２０からの静止画データの読み出しおよび出力部３０６からの出力を再開させる。以後、時刻ＴＩ７、ＴＩ８でも同様の制御が行われる。

本実施形態では、ＬＶデータをＡＦ用データと画像データとに分離し、別個の出力系統でＣＰＵに転送するようにした。そのため、ＡＦ用データの分だけデータ量が減少するため、出力部のデータレートが低い場合でも、ライブビュー表示に用いる画像データの送信周期を維持することができる。一方、静止画データとＡＦ用データとは１つの出力系統を共用して出力する。この際、ＡＦデータの出力を優先させることで、ＡＦデータを一定周期で出力することができる。本実施形態は、表示部１０３の解像度より大きい解像度の動画データを安定した周期で出力する際にも有用である。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。図１８は、本実施形態に係るデジタルカメラ２０００の機能構成例を示すブロック図であり、図１と同様の構成については同じ参照数字を付してある。本実施形態は、ＤＦＥの機能を撮像素子４００が有している。

図１９（ａ）は、本実施形態の撮像素子４００の構成例を示す。図３および図１２と同様の構成には同じ参照数字を付し、説明を省略する。なお、撮像素子４００は、図１９（ｂ）に模式的に示す様に、２枚の半導体基板４０１、４０２を有する半導体パッケージとして構成されており、図１９（ａ）における４０１、４０２はそれぞれの半導体基板に実装される範囲の一例を示している。つまり、ＤＦＥ１１９およびＲＡＭ３１０が、撮像素子と同じ半導体パッケージに収容された構成を有する。

データフロー制御回路３１１は、ＲＡＭ制御回路３００とセレクタ３１３を制御する。データ変換回路３１２は、ＲＡＭ３１０から読み出した静止画データを例えばスケーリングして、１フレームのＬＶデータに変換する。

本実施形態のデジタルカメラ２０００の動作に関するフローチャートを図２０に示す。図２０において、図１３と同じ処理を行うステップには同じ参照数字を付し、説明を省略する。図２１（ａ）は、撮像素子（補正回路２３３）からＬＶデータを読み出す期間と静止画を読み出す期間とが重複しない場合のタイミングチャートである。

本実施形態においては、ＲＡＭ３１０から読み出される画像データのうち、ＬＶデータについてはセレクタ３１３の一方の入力と、データ変換回路３１２に入力される。また、静止画データについてはデータ出力部３０６に直接入力される。撮像素子１００からＬＶデータを読み出す期間に静止画を読み出す期間が重複しない場合、撮像素子１００からのＬＶデータの読み出しは中断されない。そのため、データフロー制御回路３１１は、ＲＡＭ３１０から入力ａに直接入力されるＬＶデータを出力するように、セレクタ３１３を制御する。なお、ＲＡＭ３１０からＬＶデータと静止画データとの両方を読み出す期間は、データ出力部３０５、３０６の出力レートを考慮した時分割読み出しを行うものとする。

図２１（ｂ）は、撮像素子からＬＶデータを読み出す期間に静止画を読み出す期間が重複しない場合のタイミングチャートである。以下、図２０のＳ３１２以降の動作について図２１（ｂ）のタイミングチャートを参照しながら説明する。

本実施形態では、静止画撮影を優先し、ＬＶデータの読み出し中に静止画撮影指示（図２１（ｂ）、Ｔｎ２）があった場合、動画撮影（ＬＶデータの読み出し）を中止して静止画撮影を実施する（図２１（ｂ）、Ｔｎ３）。この場合、読み出しが中止されたＬＶデータの代わりに、ＬＶデータの読み出しタイミング（図２１（ｂ）、Ｔｎ５）でＲＡＭ３１０から静止画データを読み出す（Ｓ３１２）。

Ｓ３１３でデータ変換回路３１２は、読み出された静止画データからＬＶデータを生成する。時刻Ｔｎ５でデータフロー制御回路３１１は、データ変換回路３１２から入力ｂに入力されるＬＶデータを出力するようにセレクタ３１３を切り替える。これにより、撮像素子４００の出力Ａから、静止画データから生成されたＬＶデータが出力され、ライブビュー表示に用いられる。

その後、時刻Ｔｎ６で再びＲＡＭ１２０から静止画データの読み出しを行い（Ｓ３１７）、撮像素子４００の出力Ｂから、静止画データが出力される。この静止画データは、画像処理部１０６により画像処理を適用され、静止画データファイルとして記録部１０８に記録される。

本実施形態によれば、ＤＦＥ１１９を撮像素子に内蔵させることにより、装置の小型化に有利である。また、ＬＶデータの転送よりも静止画撮影を優先することで、タイムラグの少ない動画撮影中の静止画撮影が可能になる。さらに、静止画撮影を実行するために失われたＬＶデータについては、撮影された静止画から生成するようにしたので、ＬＶ表示が欠けたり更新間隔が変動したりすることを防止できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、４００…撮像素子、１０１…ＣＰＵ、１１９…ＤＦＥ、１２０、３１０…ＲＡＭ、３００…ＲＡＭ制御回路、３０１、３０３、３０７、３１１…データフロー制御回路、３０４、３０８…データ振り分け回路

Claims (7)

1. 受光量に応じた電荷を発生する光電変換素子と、
   前記光電変換素子で発生した電荷に基づく第１の解像度の画像データ 、および、前記第１の解像度よりも低い第２の解像度の画像データを読み出す読み出し手段と、
   前記読み出し手段が読み出した前記第１の解像度の画像データを、前記第２の解像度の画像データに変換する変換手段と、
   前記読み出し手段が読み出した前記第１の解像度の画像データを、外部に出力する第１の出力部と、
   前記読み出し手段が読み出した前記第２の解像度の画像データ、および、前記変換手段が、前記第１の解像度の画像データから変換した前記第２の解像度の画像データを、前記外部に出力する第２の出力部と、を有することを特徴とする半導体装置。
2. 前記読み出し手段が読み出した前記第１の解像度の画像データを記憶するメモリを更に有し、
   前記変換手段は、前記メモリから読み出した前記第１の解像度の画像データを、前記第２の解像度の画像データに変換することを特徴とする請求項１に記載の半導体装置。
3. 前記読み出し手段が読み出した前記第２の解像度の画像データ、および、前記変換手段が前記第１の解像度の画像データから変換した前記第２の解像度の画像データのうちの一方を、前記第２の出力部に出力するためのセレクタを更に有することを特徴とする請求項１または２に記載の半導体装置。
4. 前記半導体装置は、第１の半導体基板と第２の半導体基板を有し、
   前記光電変換素子が前記第１の半導体基板に設けられ、前記変換手段が前記第２の半導体基板に設けられていることを特徴とする請求項１乃至３のいずれか1項に記載の半導体装置。
5. 前記読み出し手段が前記第２の半導体基板に設けられていることを特徴とする請求項４に記載の半導体装置。
6. 前記半導体装置は、第１の半導体基板と第２の半導体基板を有し、
   前記光電変換素子が前記第１の半導体基板に設けられ、前記メモリが前記第２の半導体基板に設けられていることを特徴とする請求項２に記載の半導体装置。
7. 前記半導体装置は、第１の半導体基板と第２の半導体基板を有し、
   前記光電変換素子が前記第１の半導体基板に設けられ、前記セレクタが前記第２の半導体基板に設けられていることを特徴とする請求項３に記載の半導体装置。

Images