JP6821723B2

JP6821723B2 - 撮像装置およびその制御方法

Info

Publication number: JP6821723B2
Application number: JP2019027408A
Authority: JP
Inventors: 甲斐原　博志; 博志甲斐原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-07
Filing date: 2019-02-19
Publication date: 2021-01-27
Anticipated expiration: 2039-02-19
Also published as: JP2019216406A

Description

本発明は、静止画撮影と動画撮影を同時期に行う制御に関する。

静止画および動画の撮影が可能な撮像装置において一般的には、静止画と動画の撮影はそれぞれ個別に行われるため、新たな映像表現を簡単な操作で実現できる技術が求められている。特許文献１には、静止画の撮影指示があった場合に、撮像後の静止画データを保存するとともに、静止画データの生成前に撮像された動画データをショートムービーとして、所定の時間に亘って記録する技術が開示されている。

また特許文献２には、撮像素子の回路層内にフレームメモリやラインメモリを有する装置が開示されている。画素層内の画像データは一旦メモリに保存され、当該画像データに対し、駆動モードに応じて最適な画像サイズへのリサイズ変換や部分切出し等が回路層で行われてデータが出力される。

特開２０１６−１４４１３７号公報特開２０１６−２２５９７０号公報

従来の技術では、撮影された動画像は静止画撮影前の画像であるので、実際に静止画撮影が行われた瞬間の動画像や静止画撮影の終了後の動画像のデータを保存することができない。
本発明の目的は、同時期に静止画および動画の撮影が可能であって、静止画撮影に対して動画撮影のタイミングが時間的に依存しない撮像装置を提供することである。

本発明の一実施形態の装置は、複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置であって、静止画撮影および動画撮影を指示する指示手段と、前記静止画撮影に対する前記動画撮影のタイミングを選択する選択手段と、静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する取得手段と、前記動画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する決定手段と、前記決定手段により決定された動画像に用いるフレームの画像信号を、保存先に出力する制御を行う制御手段と、を備え、前記選択手段は前記動画撮影のタイミングを、前記静止画撮影の撮影前、撮影中、または撮影後から選択する。

本発明によれば、同時期に静止画および動画の撮影が可能であって、静止画撮影に対して動画撮影のタイミングが時間的に依存しない撮像装置を提供することができる。

本発明の実施形態における撮像素子の概略構造を示す図である。画素部およびカラムＡＤＣブロックの構成を示す図である。本実施形態における撮像素子の構造例を示す図である。本実施形態における撮像素子の断面を示す模式図である。本実施形態における撮像システムの概要を示すブロック図である。比較例を説明するタイミングチャートである。本実施形態の撮像素子の出力タイミングを示す図である。本実施形態の撮像素子の画素出力パターンの説明図である。本実施形態の撮像素子の画素出力サイズの説明図である。本実施形態の処理例を示すフローチャートである。動画保存位置情報の取得処理を説明するフローチャートである。図１１に続く処理を説明するフローチャートである。本実施形態における撮像信号処理回路の構成を示す概要図である。本実施形態における撮像信号処理回路の処理を説明する状態遷移図である。第２実施形態における動画保存位置情報の取得処理を説明するタイミングチャートである。

以下に、本発明の好ましい実施形態について、添付図面を参照して詳細に説明する。実施形態ではデジタルカメラへの適用例を説明するが、これに限定されない。本発明は、携帯電話端末や携帯型の画像表示装置、カメラを備えるテレビジョン装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー等、撮像機能を有する各種の装置に適用可能である。

［第１実施形態］
図１は、本実施形態における撮像素子の概略的な構成を示すブロック図である。撮像素子５０６は、撮像部を構成する多数の画素部１０１を２次元アレイ状に配置した構成である。例えば、積層型構成の撮像素子５０６は、撮像部を構成する第１のチップ１０と、信号処理部を構成する第２のチップ１１を有する。撮像素子５０６は、撮像信号処理回路５０７と全体制御演算部５０９に接続されている。撮像信号処理回路５０７は撮像素子５０６の出力信号を処理する。全体制御演算部５０９は、撮像素子５０６および撮像装置内のその他の構成部を制御する中枢部である。本実施形態において、撮像信号処理回路５０７と全体制御演算部５０９とは別の構成であるがこれに限られるものではなく、ＣＰＵ（中央演算処理装置）を含む同じ回路上で構成してもよい。

第１のチップ１０において複数の画素部１０１はマトリクス状に配列されている。各画素部１０１は水平方向（行方向）において転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続されている。各画素部１０１は垂直方向（列方向）において垂直出力線１０２に接続されている。なお、垂直出力線１０２の各々は読み出し行単位に応じて接続先が異なる。

第２のチップ１１は、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４等の画素駆動回路を備える。また第２のチップ１１は、切り替え部１１６、フレームメモリ１１７、素子内演算部１１８、リサイズ変換部１１９、パラレル／シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１２０を備える。

カラムＡＤＣブロック１１１は、画素部１０１に接続された垂直出力線１０２から出力される信号に対し、Ａ（アナログ）／Ｄ（デジタル）変換した信号を出力する。行走査回路１１２は転送信号線１０３、リセット信号線１０４、行選択信号線１０５により画素部１０１に接続される。複数の列走査回路１１３は、水平信号線１１５−ａ，１１５−ｂにより、複数のカラムＡＤＣブロック１１１に接続される。タイミング制御回路１１４は、カラムＡＤＣブロック１１１、列走査回路１１３にそれぞれタイミング制御信号を出力して制御を行う。

切り替え部１１６は、チャンネルごとの水平信号線１１５−ａと１１５−ｂからの各画像信号を切り替えて、順次に画像信号をフレームメモリ１１７へ出力する。フレームメモリ１１７は、切り替え部１１６から出力された画像信号を取得して、画像データを一時的に記憶する。素子内演算部１１８はフレームメモリ１１７から画像データを読み出し、駆動モードに応じてリサイズおよび圧縮用の演算を行う。なお、本実施形態においては複数の水平信号線の出力を切り替え部１１６で受ける構成としたが、これに限られるものではなく、フレームメモリ１１７以降の構成要素を各水平信号線の出力ごとに設ける構成としてもよい。

リサイズ変換部１１９は、素子内演算部１１８による算出結果を基づいて、フレームメモリ１１７に保存された画像データに対して必要な画角へのリサイズ処理を行う。リサイズ変換部１１９は、リサイズ処理した画像データをＰ／Ｓ変換部１２０に出力する。Ｐ／Ｓ変換部１２０はパラレル／シリアル変換を行い、変換後の信号を撮像素子５０６外部の撮像信号処理回路５０７へ送信する。なお、リサイズ処理や圧縮処理が不要な場合には、切り替え部１１６から直接にＰ／Ｓ変換部１２０への転送が行われる。

撮像素子５０６と撮像信号処理回路５０７は複数のレーン１２１，１２２で接続されている。本実施形態ではメインレーン１２１およびサブレーン１２２を示す。駆動モードに応じて、異なる画素の信号や同一の画素の信号がメインレーン１２１およびサブレーン１２２に振り分けて転送され、或いはメインレーンのみから転送される。

撮像素子５０６は第２のチップ１１上に第１のチップ１０が積層された構成である。第１のチップ１０はマトリクス状に配列された複数の画素部１０１を有する。第１のチップ１０は光入射側、つまり光学像の受光側に位置している。このように、第１のチップ１０に画素部１０１を形成し、第２のチップ１１に画素駆動回路やメモリ回路や演算回路等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。その結果、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。撮像素子５０６の具体的な構造については、図３を用いて後述する。

図２は、撮像素子５０６の画素部１０１およびカラムＡＤＣブロック１１１の構成を詳細に示す図である。先ず画素部１０１について説明すると、フォトダイオード（以下、ＰＤと表記する）２０１は、受光した被写体からの光をその光量に応じた電荷量の電荷に光電変換する。ＰＤ２０１はアノードが接地され、そのカソードは転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。増幅トランジスタ２０４のゲートと電気的に繋がったノードは、フローティングディフュージョン部（以下、ＦＤ部という）２０６を構成する。図示のトランジスタ２０２〜２０５は、例えばＮチャネルのＭＯＳ（Metal Oxide Semiconductor）トランジスタである。

転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に接続されている。転送トランジスタ２０２は、そのゲートに転送信号線１０３（図１参照）を介して転送パルスφＴＲＳが与えられることによってオン状態となり、ＰＤ２０１で光電変換された電荷がＦＤ部２０６に転送される。

リセットトランジスタ２０３は、そのドレインが画素電源Ｖｄｄに接続され、そのソースがＦＤ部２０６に接続されている。リセットトランジスタ２０３は、そのゲートにリセット信号線１０４（図１参照）を介してリセットパルスφＲＳＴが与えられることによってオン状態となる。次にＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに移送することによってＦＤ部２０６がリセットされる。

増幅トランジスタ２０４は、そのゲートがＦＤ部２０６に接続され、そのドレインが画素電源Ｖｄｄに接続されている。リセットトランジスタ２０３によるリセット後のＦＤ部２０６の電位はリセットレベルとして出力される。転送トランジスタ２０２によって信号を転送した後のＦＤ部２０６の電位が信号レベルとして出力される。

選択トランジスタ２０５は、例えば、そのドレインが増幅トランジスタ２０４のソースに接続され、そのソースが垂直出力線１０２に接続されている。選択トランジスタ２０５は、そのゲートに行選択信号線１０５（図１参照）を介して選択パルスφＳＥＬが与えられることによってオン状態となる。次に画素部１０１を選択状態として増幅トランジスタ２０４から出力される信号は、垂直出力線１０２に中継される。なお、選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。また、画素部１０１としては、図２に示す４つのトランジスタを用いた構成に限られる訳ではなく、増幅トランジスタ２０４と選択トランジスタ２０５を兼用した３つのトランジスタを用いた構成でもよい。

画素部１０１から垂直出力線１０２を介して出力される画像信号は、カラムＡＤＣブロック１１１に伝送される。カラムＡＤＣブロック１１１は比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと略記する）２１４を備える。

比較器２１１は一対の入力端子を有する。その一方である第１の入力端子は垂直出力線１０２に接続され、他方の第２の入力端子にはＤＡＣ２１４が接続されている。ＤＡＣ２１４は、タイミング制御回路１１４から入力される基準信号に基づいてランプ信号を出力する。ランプ信号は時間経過につれて所定の傾きでレベルが変化する信号である。タイミング制御回路１１４は全体制御演算部５０９からの指令に基づいてＤＡＣ２１４へ基準信号を出力する。

比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、垂直出力線１０２から入力される画像信号のレベルとを比較し、比較結果を表す比較信号を出力する。例えば比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合、ハイ（Ｈ）レベルの比較信号を出力する。また比較器２１１は、画像信号のレベルがランプ信号のレベルより高い場合、ロー（Ｌ）レベルの比較信号を出力する。

アップダウンカウンタ２１２は比較器２１１の出力端子と接続され、比較信号が入力される。アップダウンカウンタ２１２は、例えば比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素部１０１の出力信号はデジタル値へ変換される。なお、比較器２１１とアップダウンカウンタ２１２との間にＡＮＤ（論理積）回路を設け、ＡＮＤ回路にパルス信号を入力して、パルス信号の個数をアップダウンカウンタ２１２によりカウントする構成でもよい。

メモリ２１３は、アップダウンカウンタ２１２の出力端子と接続されており、アップダウンカウンタ２１２によりカウントされた値（カウント値）を記憶する。なお、カラムＡＤＣブロック１１１は、画素部１０１のリセット時の画像信号に基づいてリセットレベルに対応した第１のカウント値を計数する。またカラムＡＤＣブロック１１１は、所定の撮像時間の経過後の画像信号に基づいて第２のカウント値を計数する。第１のカウント値と第２のカウント値との差分値をメモリ２１３に記憶させてもよい。その後、メモリ２１３に記憶された信号は、列走査回路１１３からの信号に同期して水平信号線１１５−ａおよび１１５−ｂへ伝送される。

図３は、本実施形態の撮像素子５０６の外観構成を模式的に示す図である。図３（Ａ）は撮像素子５０６を光の入射側の斜め上方から見た場合の斜視図である。図３（Ｂ）は撮像素子５０６の概略断面図である。第１のチップ１０は撮像層を形成し、第２のチップ１１は回路層を形成する。第１のチップ１０と第２のチップ１１はそれぞれ、複数のマイクロパッド３０２を有しており、複数のマイクロバンプ３０１を介して電気的に接続することで一体化される。

図４は撮像素子５０６の断面構造の詳細を示す図である。図４では、下側に第１のチップ１０を示し、上側に第２のチップ１１を示す。つまり、撮像部を構成する撮像層４０１が第１のチップ１０に該当し、回路層４０２が第２のチップ１１に該当する。

撮像層４０１は、Ｓｉ（シリコン）基板４０３に配線層４０４が形成された構成を有する。Ｓｉ基板４０３には、ＰＤ２０１としてのｎ拡散領域４０７が形成され、裏面照射型の構造をとっている。ＰＤ２０１の表面部、つまり配線層４０４との境界部にはｐ^＋拡散領域４０８が形成されている。Ｓｉ基板４０３の表面部には、ＦＤ部のｎ^＋拡散領域４０９と、スイッチ用トランジスタのｎ^＋拡散領域４１０とが複数形成されている。

配線層４０４には、ＳｉＯ_２（二酸化珪素）等の絶縁層内に、各トランジスタのゲート配線４１１と、信号伝搬用配線４１２が形成されている。配線層４０４の表面部には、Ｃｕ等により形成されるマイクロパッド４１３が形成されている。ｎ^＋拡散領域４０９、ｎ^＋拡散領域４１０とトランジスタのゲート配線４１１により、転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５が構成される。配線層４０４には、ｎ^＋拡散領域４１０をマイクロパッド４１３と接続するためのビア（ＶＩＡ）４１４が形成されている。

回路層４０２は、Ｓｉ基板４０５に配線層４０６が形成された構成を有する。Ｓｉ基板４０５には、その表面部にトランジスタの拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ_２等の絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が形成されている。配線層４０６の表面部にはＣｕ等により形成されるマイクロパッド４１９が形成されている。マイクロパッド４１９はマイクロバンプ４１５でマイクロパッド４１３と接続される。配線層４０６には、トランジスタの拡散領域４１６等をマイクロパッド４１９と接続するためのビア４２０が形成されている。トランジスタの拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８等から各種の回路が構成される。それらの詳細については本発明にかかわる本質的な事項ではないため、説明を省略する。

図４では、撮像層４０１と回路層４０２との接続を、積層接続端子としてのマイクロバンプ４１５を用いて行う構成例を示したが、マイクロバンプを用いることなく撮像層４０１と回路層４０２を直接に接続する実施形態も可能である。

次に図５を参照して、本実施形態の撮像システムを説明する。一例として動画像データおよび静止画像データを取得するデジタルカメラを示すが、これに限られるものではない。例えば監視カメラやスマートフォン等の携帯機器や車載カメラ等にも適用可能である。

図５は、撮像素子５０６を用いた撮像装置の概要を示すブロック図である。レンズ部５０１は、撮像光学系を構成する複数のレンズを備える。レンズ部５０１はカメラ本体部に装着可能な交換レンズ装置、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部５０２は、撮像光学系を構成する可動レンズを駆動する。可動レンズは変倍動作を行うズームレンズ、焦点調節動作を行うフォーカスレンズ、像ブレ補正用のシフトレンズ等である。メカニカルシャッタ（図にはメカシャッタと表記する）５０３は露光時間の制御に用いられ、絞り５０４は露光量の制御に用いられる。メカニカルシャッタ・絞り駆動部（図にはシャッタ・絞り駆動部と表記する）５０５は、メカニカルシャッタ５０３および絞り５０４を駆動する。なお、露光量を制御するための手段としてＮＤ（Neutral Density）フィルタ等の光学フィルタを設けてもよい。

撮像素子５０６は、撮像光学系を通して結像される被写体からの光を受光して光電変換を行い、電気信号を出力する。撮像信号処理回路５０７は撮像素子５０６の出力信号を処理し、処理後の画像信号を出力する。第１のメモリ部（図にはメモリ部Ｉと表記する）５０８はバッファ機能をもち、撮像信号処理回路５０７が処理した画像信号等を記憶する。

全体制御演算部５０９は撮像システム全体の制御を司る中枢部であり、ＣＰＵ（中央演算処理部）を備える。ＣＰＵは第２のメモリ部（図にはメモリ部ＩＩと表記する）５１４から読み出したプログラムを実行することにより、各部の動作を制御する。第２のメモリ部５１４はプログラム以外に、ＣＰＵの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等を記憶する。記録媒体制御インターフェース（Ｉ／Ｆ）部５１０は、全体制御演算部５０９の制御指令にしたがって、画像信号等を記録媒体５１２に記録し、また記録媒体５１２から情報を読み出す処理を行う。記録媒体５１２は撮像装置の本体部に着脱可能である。表示部５１１は液晶表示パネル等の表示デバイスを備え、全体制御演算部５０９の制御指令にしたがって画像データ等を画面に表示する。外部インターフェース（Ｉ／Ｆ）部５１３は、有線または無線通信を用いてコンピュータ等の外部装置との間で情報を送受し合う通信処理部である。操作部５１５はスイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部５０９に出力する。操作部５１５を用いてユーザが設定した撮像装置の駆動条件等に関する情報は全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。全体制御演算部５０９は撮像素子５０６内の素子内演算部１１８に対して、撮像素子５０６の各構成要素を制御するための制御信号を出力して制御を行う。制御信号には、撮像同期信号、駆動モード設定、露出設定情報等が含まれる。

レンズ部５０１を通った被写体からの光は絞り５０４によって適切な光量に調整され、撮像素子５０６の撮像面上に結像される。撮像素子５０６の画素部１０１を構成する光電変換部は被写体の光学像に対して光電変換を行い、電気信号を出力する。電気信号は更にゲイン制御が行われ、Ａ／Ｄ変換によってアナログ信号からデジタル信号へ変換された上で、撮像信号処理回路５０７に送られる。図１３を参照して撮像信号処理回路５０７の詳細を説明する。図１３は撮像信号処理回路５０７の構成例を示すブロック図である。撮像素子５０６と撮像信号処理回路５０７は幾つかのレーン（Ｌａｎｅ）で結線されている。撮像データ取込み部２００１により取り込まれた撮像データはＲ、Ｇｒ、Ｇｂ、Ｂの信号に変換される。撮像素子５０６の素子内演算部１１８において撮像データが圧縮処理を施されている場合には、撮像データ伸長部２００２がＲ、Ｇｒ、Ｇｂ、Ｂ信号の伸長処理を行う。その後、撮像データ補正部２００３は撮像データの補正を行う。この補正は撮像素子５０６内のカラムＡＤＣブロックのバラつき補正や、撮像素子５０６の欠陥データの補正、レンズ部５０１の光量の補正等である。撮像データ現像部２００４は補正されたデータを取得し、ノイズを低減するローパスフィルタ処理やホワイトバランス処理等の各種現像処理を行い、画像信号の符号化圧縮等を行う。撮像データの簡易補正現像部２００５は撮像データ伸長部２００２の出力を取得し、撮像データ補正部２００３および撮像データ現像部２００４とは別に、表示部５１１でのライブビュー表示を行うための簡易補正および現像を行う。これにより、静止画や動画の補正および現像と同時にライブビュー表示の実施が可能となっている。勿論、通常処理系統の撮像データ補正部２００３と撮像データ現像部２００４を使用してより詳細なライブビュー表示を行うことも可能である。なお、撮像信号処理回路５０７は第１のメモリ部５０８への直接のアクセスが可能である。また図１３の各部２００１〜２００５のいずれからも第１のメモリ部５０８に一旦データを記憶する処理や、処理のタイミングを遅らせる処理等が可能である。

撮影中のレンズ部５０１は、レンズ駆動部５０２によってズーム駆動およびフォーカス駆動等の制御が行われる。メカニカルシャッタ５０３と絞り５０４はそれぞれ、全体制御演算部５０９に制御指令にしたがってメカニカルシャッタ・絞り駆動部５０５により駆動される。全体制御演算部５０９は撮像装置全体の制御と各種演算を行う。第１のメモリ部５０８は撮像後の画像信号を一時的に記憶する。記録媒体制御Ｉ／Ｆ部５１０は、記録媒体５１２に画像信号を記録する処理を行う。表示部５１１は撮像された画像を画面に表示する。なお、本実施形態において記録媒体５１２を撮像システム内に設ける構成としたが、これに限られるものではない。データの保存先または出力先に関して、例えば外部インターフェース（Ｉ／Ｆ）部５１３経由で外部装置に画像信号を出力してもよい。また、外部装置としては撮像装置に直接接続されたパーソナルコンピュータやスマートフォン等でもよいが、ネットワークを介して接続されたクラウドサーバー等の複数機器であってもよい。

図６を参照して、比較例を説明する。以下では撮像装置において、静止画撮影の際に動画像データを所定時間に亘って保存する機能を、ＰＭＡモードと呼ぶ。図６はＰＭＡモードにおいて、撮像素子５０６とメカニカルシャッタ５０３の状態遷移を表している。時間軸の方向を図６の矢印方向（左から右の方向）とし、ユーザの撮影指示のタイミングを示す。撮像素子５０６の状態として、動画モードおよび静止画モードの各状態と、モードの切り替え状態を示す。メカニカルシャッタ５０３の状態として、ＯＰＥＮ（開状態）とＣＬＯＳＥ（閉状態）を示す。

図６にて動画モードにあるときの撮像素子５０６は動画像の撮像状態であり、その際のメカニカルシャッタ５０３は開状態である。比較例では、撮影指示前の４秒間の動画像データを動画ファイルとして保存している状態を示す。ユーザの撮影指示があった場合には、撮像素子５０６のモードが静止画モードに変更される。それに伴ってメカニカルシャッタ５０３が閉状態となり、静止画撮影が行われる。静止画撮影の終了後に撮像素子５０６のモードは再度、動画モードに復帰し、メカニカルシャッタ５０３が開状態となる。静止画の撮影期間に動画像データを保存する場合、撮像素子５０６のモードが静止画モードになるためにはモード変更の期間が存在すること、および移行するモードが静止画モードであること等が問題となる。静止画モードにてメカニカルシャッタ５０３は閉じているので、動画像データを保存したとしても暗い動画像のデータとなってしまうという問題がある。

本実施形態では上記のＰＭＡモードにおける問題に対して、撮像層と回路層が積層されている撮像素子で動画像用と静止画像用のデータを同時に出力することで解決する。以下、動画像と静止画像の各データの同時出力を実現するための撮像素子の駆動モードを、動画および静止画モードと呼ぶ。

図７は、動画および静止画モードにおける撮像素子５０６の動作例を説明するタイミングチャートである。ＸＶＳは全体制御演算部５０９から撮像素子５０６へ入力される垂直同期信号である。撮像素子５０６と撮像信号処理回路５０７は、撮像素子５０６から撮像信号処理回路５０７への８本の出力線（Ｌａｎｅ０−７）で結線されている。メインレーン１２１でのメインストリームについてはＬａｎｅ０とＬａｎｅ１の２本の出力線が使用される。サブレーン１２２でのサブストリームについてはＬａｎｅ２から７の６本の出力線が使用される。図７では４つの動作状態（状態ＡからＤ）を例示する。

撮像装置がＰＭＡモードに移行した場合、撮像素子５０６の動画および静止画モードにおいて通常、メインストリームのＬａｎｅ０、Ｌａｎｅ１の２本のみが動作している。この２本のレーンからフレームデータ（データ１、データ２参照）が出力される（状態Ａ）。ここで出力されるデータは動画像用のデータであり、静止画像用画素の出力を加算間引き処理した画素値が出力される。加算間引きによる画素出力については、図８を用いて後述する。

撮像装置に対して静止画撮影の指示があった場合、撮像素子５０６のメインストリームは動作したままで（データ３、データ４参照）、サブストリームが同時に動作する（状態Ｂ）。サブストリームからは、静止画像用の画素すなわち全画素の出力が行われる。この場合、撮像素子５０６の内部動作では、全ての画素から信号が読み出され（データ７からデータ１２参照）、フレームメモリ１１７に記憶される。メインストリームに対しては、全画素の画素信号を素子内演算部１１８が部分的に加算間引きした後に圧縮し、データ量を削減してから出力する。比較例（図６参照）のように暗い動画像のデータとなることはない。一方、サブストリームに対しては、素子内演算部１１８が全画素の画素信号の圧縮を行ってから出力する。静止画について１フレーム分の信号読み出しが終了した後、サブストリームの動作を停止する。この場合、メインストリームだけ（データ５、データ６参照）が動作する状態に戻る（状態Ｃ）。圧縮された静止画データの伸長処理の際には、撮像信号処理回路５０７のモードが一時的に非圧縮の加算モードに変更される（状態Ｄ）。つまり、モードの切り替えが行われ、メインストリームだけ（データ１３参照）が動作する状態であり、この状態において動画データを取得することはできない。なお、サブストリームに出力する全画素の画素信号については、複数フレームの信号を加算した信号を用いてもよい。

図８を参照して、加算間引き処理を説明する。図８は加算間引き処理を模式的に示す画素図である。ベイヤー配列の画素群においてＲ，Ｇｒ，Ｇｂ，Ｂはそれぞれカラーフィルタの色を表す。水平方向および垂直方向の４画素について、画素値をＲｊ，Ｇｒｊ，Ｇｂｊ，Ｂｊ（ただし、ｊ＝１〜４）と表記し、演算後の画素値をＲ^＊，Ｇｒ^＊，Ｇｂ^＊，Ｂ^＊と表記する。加算間引き処理は、下記式を用いて行われる。

重み付け加算処理に用いる各係数値の和は６であり、それぞれの割合で加算間引き処理が行われた画素値が４画素について出力される。この例では１６画素が４画素へと間引きされる。

図９はメインストリーム出力およびサブストリーム出力の例を示す模式図である。メインストリーム出力は水平方向にて２７３６ピクセルで垂直方向にて１５３８ピクセルの画素出力である。サブストリーム出力は、水平方向にて５４７２ピクセルで垂直方向にて３６４８ピクセルの画素出力である。動画撮影時には静止画撮影時の水平方向５４７２ピクセル、垂直方向３６４８ピクセルの画素出力に対する加算間引き処理により、４分の１未満の画素出力となる。すなわち水平方向においては２分の１に加算間引き処理された２７３６ピクセルで、垂直方向においては２分の１に加算間引き処理されて上下カットされた１５３８ピクセルのデータ量に削減されて、動画像データが出力される。つまり、動画像データは静止画データに対して解像度または画素数が少ないデータとなる。

メインストリーム出力の動画データは、撮像信号処理回路５０７により伸長、補正、現像の処理が施され、動画ファイルとして記録媒体制御Ｉ／Ｆ部５１０を介して記録媒体５１２に保存される。図１４を参照して、撮像信号処理回路５０７の動作について、図７に示す各状態ＡからＤと併せて説明する。撮像信号処理回路５０７はメインストリーム、サブストリームの伸長処理を同時に行わないが、補正や現像については簡易的な処理であれば、同時に実行できる構成になっている。

状態Ａでの処理を、図１４の「２１−１」から「２１−７」、「２１−２９」に示す。撮像素子５０６のメインストリームから圧縮された動画像データのみが出力され、サブストリームについては動作していない状態である（２１−１）。出力された動画像データは撮像データ取込み部２００１でＲＧＢ信号に変換され（２１−２）、次の撮像データ伸長部２００２にて伸長処理を施される（２１−３）。その後、撮像データ補正部２００３はデータに対する各種補正処理を行い（２１−４）、撮像データ現像部２００４は動画ファイル、ライブビュー用の表示画像として現像処理を行う（２１−５）。処理後のデータは動画ファイルとして記録媒体５１２に保存されるとともに、表示部５１１の画面上にライブビュー表示が行われる（２１−２９）。

状態Ｂでの処理を、図１４の「２１−８」から「２１−１４」、「２１−３０」に示す。撮像素子５０６のメインストリームから圧縮された動画像データと、サブストリームから圧縮された静止画像データが出力される。つまり、両ストリームともに動作している状態である（２１−８）。メインストリームから出力された動画像データは撮像データ取込み部２００１でＲＧＢ信号に変換され（２１−９）、次に撮像データ伸長部２００２にて伸長処理を施される（２１−１０）。その後、撮像データ補正部２００３はデータに対する各種補正処理を行い（２１−１１）、撮像データ現像部２００４は動画ファイル、ライブビュー用の表示画像として現像処理を行う（２１−１２）。処理後のデータは動画ファイルとして記録媒体５１２に保存されるとともに、表示部５１１の画面上にライブビュー表示が行われる（２１−３０）。一方、サブストリームから出力された静止画像データは、動画像データと同時に撮像データ取込み部２００１でＲＧＢ信号に変換され（２１−９）、そのまま第１のメモリ部５０８に保存される（２１−１４）。なお、状態Ｂにおいては、メインストリームから出力される動画像データとサブストリームから出力される静止画像データは同一のタイミングにおける画素から信号を含むこととなる。つまり、両ストリームから出力されるフレームには、露光期間が重複しているフレームが含まれることになる。動画像に用いるフレームの露光期間の一部は、静止画撮影が指示されたタイミングに対応する静止画に用いるフレームの露光期間と重なっている。

状態Ｃでの撮像信号処理回路５０７の処理は、図１４の「２１−１５」から「２１−２１」、「２１−３１」に示すとおり、状態Ａの場合と同様であるので、説明を省略する。

状態Ｄでの処理を、図１４の「２１−２２」から「２１−２８」、「２１−３２」、「２１−３４」に示す。撮像素子５０６の動作は、メインストリームとサブストリームの両方を動作させるマルチストリームモードの動作ではなく、メインストリームのみが動作できるシングルストリームモードの動作である。撮像素子５０６から非圧縮のライブビュー用の画像を取得できるモードで動作が行われる（２１−２２）。出力されたライブビュー用画像データは撮像データ取込み部２００１でＲＧＢ信号に変換され（２１−２３）、簡易補正現像部２００５に送られる。簡易補正現像部２００５は各種補正処理および現像処理を行い（２１−２７）、表示部５１１の画面上にライブビュー表示が行われる（２１−３２）。一方、状態Ｂで第１のメモリ部５０８に保存された静止画データ（２１−２８）は、撮像データ伸長部２００２に送られ、伸長処理を施される（２１−３４）。その後、撮像データ補正部２００３は各種補正処理を行い（２１−２５）、撮像データ現像部２００４が静止画用のファイルとして現像処理を行う（２１−２６）。現像処理されたデータは、静止画ファイルとして記録媒体５１２に保存される（２１−３２）。

図１０を参照して、本実施形態における処理を説明する。図１０は処理例を示すフローチャートである。Ｓ１００１においてＰＭＡモードが選択された場合に処理を開始する。Ｓ１００２にて全体制御演算部５０９は、撮像素子５０６の駆動モードを動画および静止画モードに切り替える。次のＳ１００３にて全体制御演算部５０９は、メインストリームのみを駆動させる処理を実行する。メインストリームが駆動されると、動画エンコードが開始する（Ｓ１００４）。

Ｓ１００５にて全体制御演算部５０９は、ユーザ操作により静止画撮影の指示があったかどうかを判断する。静止画撮影の指示があったと判断された場合、Ｓ１００６の処理に進む。静止画撮影の指示がないと判断された場合には、Ｓ１００５の判断処理が繰り返され、静止画撮影の指示があるまで待機する。Ｓ１００６で全体制御演算部５０９は撮像素子５０６のサブストリームを駆動させる処理を行い、次にＳ１００７で静止画の撮像が行われる。静止画の撮像後、直ちにサブストリームが停止する（Ｓ１００８）。全体制御演算部５０９は撮影終了後にＳ１００９で動画保存位置情報を取得する。なお、動画保存位置とは、静止画撮影の指示に対応する動画の保存タイミングであって、メインストリームで取得した複数の動画用のフレームに対していずれのフレームを開始フレームとするかを表す位置に相当する。より詳細には、静止画撮影の指示を基準としてもよいし、当該指示に最も近いIフレームを基準としてIフレームを取得するタイミングから決定してもよい。動画保存位置情報は、例えば保存先である記録媒体に動画像の画像信号を出力して保存する場合の位置を表す情報である。その取得処理については図１１および図１２を用いて後述する。

Ｓ１０１０にて全体制御演算部５０９は、Ｓ１００９で取得した動画保存位置情報に基づいて、動画撮影時間が終了したかどうかを判断する。動画撮影時間が終了した場合、Ｓ１０１１に進み、動画撮影時間が終了していない場合にはＳ１０１０の判断処理が繰り返し実行される。Ｓ１０１１で動画エンコードが停止し、Ｓ１０１２で全体制御演算部５０９は動画像データを記録媒体５１２に保存する処理を行う。

Ｓ１０１３にて全体制御演算部５０９は、撮像装置のＰＭＡモードが終了したかどうかを判断する。ＰＭＡモードが終了していない場合、Ｓ１００４に戻り、再度動画エンコードを開始する。ＰＭＡモードが終了した場合、Ｓ１０１４で処理を終了する。

図１１および図１２を参照して、図１０のＳ１００９（動画保存位置情報の取得）について説明する。図１１および図１２は、静止画撮影に対して、どの時点で動画像データを保存するのかを判定する処理を示すフローチャートである。静止画撮影前の動画像データを保存するのか、静止画撮影時を含む期間中の動画像データを保存するのか、または静止画撮影後の動画像データを保存するのかが決定される。

Ｓ１１０１にて動画保存位置情報の取得処理を開始する。Ｓ１１０２にて全体制御演算部５０９は、メニュー画面での動画像データの保存位置の設定情報を取得する。ユーザは表示部５１１および操作部５１５を使用して、メニュー画面を表示させてＰＭＡモードにおける動画像データの保存位置を予め設定することができる。本実施形態にて動画像データの保存位置は、撮像された動画像データを記録媒体へ保存するタイミングに対応する位置である。本実施形態では、ユーザが静止画撮影の「前」（撮影前）、「中」（撮影中）、「後」（撮影後）、および「ＡＵＴＯ」（自動設定）を選択することができる例を示す。表示部５１１はメニュー画面上で動画像データの保存位置に関する選択肢を表示し、ユーザ操作によって指示された設定情報にしたがって動画像データの保存処理が行われる。選択肢の１つであるＡＵＴＯが選択された場合には、撮像装置が自動的に各種情報から動画像データの保存位置を判断する。設定情報は第２のメモリ部５１４に記憶される。

Ｓ１１０３で全体制御演算部５０９はメニュー画面上で選択された設定情報がＡＵＴＯであるか否かを判定する。ＡＵＴＯが選択されている場合、Ｓ１１０４の処理に進み、ＡＵＴＯ以外、つまり、「前」、「中」、「後」のいずれかが選択された場合、図１２のＳ１１０５の処理に進む。

Ｓ１１０４で全体制御演算部５０９はフラグ設定を行う。中フラグ、前フラグ、後フラグがいずれもＯＮに設定される。これらのフラグがＯＦＦにされている箇所については動画像データを残さないことを意味する。例えば、静止画撮影中に対応する中フラグがＯＦＦに設定されている場合、静止画撮影中の動画像データを残さないという判断が下される。静止画撮影前に対応する前フラグ、静止画撮影後に対応する後フラグについても同様である。

Ｓ１１０８で全体制御演算部５０９は、静止画撮影においてストロボ発光が行われたか否かを判定する。ストロボ発光が行われたこと（ストロボ撮影モード時）が判定された場合、Ｓ１１０９の処理に進み、ストロボ発光が行われていないと判定された場合にはＳ１１１０の処理に進む。Ｓ１１０９で全体制御演算部５０９は中フラグをＯＦＦに設定し、Ｓ１１１０の処理に進む。

Ｓ１１１０で全体制御演算部５０９は、静止画撮影時点の前４秒間にＡＦ（自動焦点調節）スキャンが行われていたかどうかを判定する。ＡＦスキャンは被写体に焦点を合わせるためにフォーカスレンズを駆動する探索動作である。静止画撮影時点の前４秒間に焦点調節動作のためにＡＦスキャンが行われていたと判定された場合、Ｓ１１１１の処理に進み、ＡＦスキャンが行われていないと判定された場合にはＳ１１１２の処理に進む。Ｓ１１１１で全体制御演算部５０９は前フラグをＯＦＦに設定し、Ｓ１１１２の処理に進む。

Ｓ１１１２で全体制御演算部５０９は静止画撮影時点の前４秒間に撮像装置のパンニングが行われていたか、つまり撮像装置が大きく動いていたかどうかを判定する。パンニングの判定処理は、撮像装置が備える角速度センサ、加速度センサ等の振れ検出部の出力を用いて行われる。例えば撮像装置の振れ量（動き量）が閾値以上である状態が所定の閾値時間以上に亘って継続した場合に、パンニングが行われたと判定される。静止画撮影時点の前４秒間に撮像装置のパンニングが行われていたと判定された場合、Ｓ１１１３の処理に進み、パンニングが行われていないと判定された場合、Ｓ１１１４の処理に進む。Ｓ１１１３で全体制御演算部５０９は、前フラグをＯＦＦに設定し、Ｓ１１１４の処理に進む。

Ｓ１１１４で全体制御演算部５０９は、静止画撮影の終了後において被写体に対して撮像装置が大きく動いていたかどうかを、撮像画像データから判定する。このときの動き量は撮像画像の動きベクトルから算出することができ、算出された動きベクトルは閾値と比較される。静止画撮影の終了後に撮像装置が大きく動いていたこと、つまり動きベクトルが閾値より大きいと判定された場合、Ｓ１１１５の処理に進む。また、静止画撮影の終了後に撮像装置が大きく動いていないこと、つまり動きベクトルが閾値以下であると判定された場合、図１２のＳ１１１６の処理に進む。Ｓ１１１５で全体制御演算部５０９は、後フラグをＯＦＦに設定し、Ｓ１１１６の処理に進む。

図１２のＳ１１１６にて全体制御演算部５０９は中フラグがＯＮであるかどうかを判断する。中フラグがＯＮである場合、Ｓ１１２０の処理に進む。中フラグがＯＦＦである場合、Ｓ１１１７に進み、全体制御演算部５０９は前フラグがＯＮであるかどうかを判断する。前フラグがＯＮである場合、Ｓ１１２１の処理に進む。前フラグがＯＦＦである場合、Ｓ１１１８の処理に進む。

Ｓ１１１８にて全体制御演算部５０９は後フラグがＯＮであるかどうかを判断する。後フラグがＯＮである場合、Ｓ１１２２の処理に進む。後フラグがＯＦＦである場合、Ｓ１１１９の処理に進む。中フラグ、前フラグ、後フラグがすべてＯＦＦである場合、記録する価値のある動画像はないと判断されて、動画像データは保存されない（Ｓ１１１９）。Ｓ１１２３で動画保存位置情報の取得処理を終了する。

一方、ＡＵＴＯ設定でない場合、図１２のＳ１１０５で全体制御演算部５０９はメニュー画面上で選択された設定情報が「中」であるかどうかを判定する。設定情報が「中」であると判定された場合、中フラグをＯＮに設定してＳ１１２０の処理に進み、「中」でないと判定された場合、Ｓ１１０６の処理に進む。Ｓ１１０６で全体制御演算部５０９はメニュー画面上で選択された設定情報が「前」であるかどうかを判定する。設定情報が「前」であると判定された場合、前フラグをＯＮに設定してＳ１１２１の処理に進み、「前」でないと判定された場合、Ｓ１１０７の処理に進む。Ｓ１１０７で全体制御演算部５０９はメニュー画面上で選択された設定情報が「後」であると判定し、後フラグをＯＮに設定してＳ１１２２の処理に進む。Ｓ１１０５、Ｓ１１０６、Ｓ１１０７においては、ユーザがメニュー画面上で選択した「前」、「中」、「後」にそれぞれ対応するフラグがＯＮに設定される。

Ｓ１１２０では中フラグがＯＮであるので、全体制御演算部５０９は動画保存位置を、静止画撮影中の位置と決定し、Ｓ１１２３へ移行する。またＳ１１２１では前フラグがＯＮであるので、全体制御演算部５０９は動画保存位置を、静止画撮影前の位置と決定し、Ｓ１１２３へ移行する。またＳ１１２２では後フラグがＯＮであるので、全体制御演算部５０９は動画保存位置を、静止画撮影後の位置と決定し、Ｓ１１２３へ移行する。Ｓ１１２３で動画保存位置情報の取得処理を終了する。

本実施形態では動画保存位置を決めるための情報として、ストロボ発光を行う撮影モードであるかどうか、ＡＦスキャン中であるかどうか、パンニングが行われたかどうか、静止画撮影の直後に撮像装置が動いたかどうかに関わる情報を使用した。これらの情報は例示であり、任意の情報を取得して複数の情報の組み合わせにより、動画保存位置を決定可能である。

［第２実施形態］
次に図１５を参照して、本発明の第２実施形態を説明する。本実施形態では、ＡＦおよび撮影指示情報、所定の被写体（人物や顔等）の検出の有無もしくは検出状態を示す情報、音声入力情報、ＡＦ補助光源の点灯期間を示す情報を使用して、動画保存位置を決定する処理を示す。なお、第１実施形態と同様の事項の説明を省略し、第１実施形態との相違点を説明する。

図１５は、本実施形態にて図１０のＳ１００９（動画保存位置情報の取得）の処理について説明するタイミングチャートである。図１５では左から右へ時間経過を示しており、操作部５１５からのＡＦ指示のタイミングをＳＷ１で示し、撮影指示のタイミングをＳＷ２で示す。例えばＳＷ１はユーザによるレリーズボタンの半押し操作で第１スイッチがオンになった時点であり、ＳＷ２はさらにレリーズボタンが押し込まれた全押し操作で第２スイッチがオンになった時点である。その下側には、撮像素子５０６のメインストリームおよびサブストリームの各状態と、顔情報、音声情報、ＡＦ補助光の状態をそれぞれ示す。被写体の顔情報は、撮像素子５０６からの信号に基づいて撮像信号処理回路５０７と全体制御演算部５０９により算出され、被写体の顔が撮像装置に対して正面を向いている正面状態と、側面を向いている横顔状態を例示する。また音声情報（音声入力情報）についてはマイクロホンにより集音されて取得される音声信号を示す。取得された音声信号は同時期に取得された動画像データに同期させた上で動画ファイル内に格納される。ＡＦ補助光は暗中でＡＦ精度を高めるために使用され、ＡＦ補助光源の発光のＯＮ状態（点灯期間）とＯＦＦ状態（消灯期間）を表している。

ＳＷ１のタイミングでＡＦ動作が開始し、この時点からしばらくの間はＡＦ補助光がＯＮ状態となる。ＡＦ補助光のＯＮ期間を（２２−ａ）に示す。顔情報として、被写体の顔が正面状態から一時的に横顔状態、つまり、正面を向いていない状態となった期間を（２２−ｂ）に示す。その後、横顔状態から正面状態に戻っている。また、音声情報については音声信号のレベルが所定の閾値未満となった、音声小期間を（２２−ｃ）に示す。（２２−ｄ）と（２２−ｅ）は、上記の期間の何れにも属さない期間であり、ＰＭＡモードに適する期間である。つまり全体制御演算部５０９は、（２２−ｄ）で示すＰＭＡ保存適期間Ａと（２２−ｅ）で示すＰＭＡ保存適期間Ｂから、ＰＭＡモードで動画の保存を行う最適な期間を判断する。一例として、ＰＭＡ保存適期間Ｂの長さが所定の閾値時間（例えば４秒間）以上であり、ＰＭＡ保存適期間Ａの長さが所定の閾値時間未満である場合、ＰＭＡ保存適期間ＢにおいてＰＭＡモードで動画を保存する処理が行われる。あるいは、この判断結果と第１実施形態の例に基づく決定とを組み合わせて最適なＰＭＡ保存適期間の判断を行ってもよい。またＰＭＡ保存適期間が複数存在する場合、全体制御演算部５０９はどの期間を最適とするかを判断する際の基準を任意に設定可能である。例えば、サブストリームに係る静止画の期間に近い動画部分での期間や、相対的に長い動画部分が存在する期間、時間的により前側（過去）の期間を優先するといった判断基準等にしたがって決定処理が実行される。

本実施形態の全体制御演算部５０９は動画および静止画モードにてＡＦおよび撮影指示が行われる場合、以下の条件を満たす期間を、ＰＭＡモードで動画の保存を行う最適な期間の候補として取得する処理を行う。
・撮像装置に対して被写体の顔が正面を向いていること。
・音声入力情報（音声信号の大きさ）が所定の閾値以上であること。
・焦点調節におけるＡＦ補助光源の発光がＯＦＦ状態であること。
全体制御演算部５０９は、これらの条件を満たす期間の候補から、あらかじめ定められた判断基準にしたがって動画保存位置を決定する。なお、撮影指示としてはユーザによる指示のみに限られるものではない。例えば、所定のイベントが発生した場合や、赤外線等の外部センサを用いる場合、取得画像に基づいて所定の被写体が撮影された場合または撮影画像に差分が生じた場合等に、全体制御演算部５０９等により自動的に指示するようにしもよい。なお、本実施形態として一つの撮像素子５０６から複数の画像データを取得する構成に基づいて説明したが、同一画角を含む複数の撮像素子を用いる複眼の構成において本発明を適用することが可能である。

前記実施形態では、同時期に行われる動画撮影と静止画撮影との時間的な依存関係をなくし、静止画撮影のタイミングに対して動画像データを独立したタイミングで取得して記録媒体に保存することが可能である。前記実施形態によれば、動画像と静止画像を同時期に取得可能な撮像装置において、動画像に用いるフレームを適切に決定することができる。また、静止画撮影のタイミングにおいて動画像データがコマ落ちしたり、音声信号が途切れたりすることを防止することもできる。

１０１画素部
１１７フレームメモリ
１１８素子内演算部
５０６撮像素子
５０７撮像信号処理回路
５０８第１のメモリ部
５０９全体制御演算部
５１５操作部
２００１撮像データ取込み部
２００２撮像データ伸長部
２００３撮像データ補正部
２００４撮像データ現像部
２００５撮像データの簡易補正現像部

Claims

複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置であって、
静止画撮影および動画撮影を指示する指示手段と、
前記静止画撮影に対する前記動画撮影のタイミングを選択する選択手段と、
静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する取得手段と、
前記動画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する決定手段と、
前記決定手段により決定された動画像に用いるフレームの画像信号を、保存先に出力する制御を行う制御手段と、を備え、
前記選択手段は前記動画撮影のタイミングを、前記静止画撮影の撮影前、撮影中、または撮影後から選択する
ことを特徴とする撮像装置。
前記動画撮影のタイミングとして前記静止画撮影の撮影前、撮影中、および撮影後を示す選択肢を表示する表示手段を備え、
前記選択手段は、ユーザ操作に応じて、前記選択肢から前記動画撮影のタイミングを選択することを特徴とする請求項１に記載の撮像装置。
複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置であって、
静止画撮影および動画撮影を指示する指示手段と、
静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する取得手段と、
前記静止画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する決定手段と、
前記決定手段により決定された動画像に用いるフレームの画像信号を、保存先に出力する制御を行う制御手段と、を備え、
前記決定手段は、前記静止画撮影の撮影前に焦点調節動作が行われた場合、前記動画像に用いるフレームとして、前記静止画撮影の撮影前に対応するフレームを決定しない
ことを特徴とする撮像装置。
複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置であって、
静止画撮影および動画撮影を指示する指示手段と、
静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する取得手段と、
前記静止画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する決定手段と、
前記決定手段により決定された動画像に用いるフレームの画像信号を、保存先に出力する制御を行う制御手段と、を備え、
前記決定手段は、前記静止画撮影の撮影前または撮影後に撮像装置の動き量が閾値より大きい場合、前記動画像に用いるフレームとして、前記静止画撮影の撮影前または撮影後に対応するフレームを決定しない
ことを特徴とする撮像装置。
複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置にて実行される制御方法であって、
静止画撮影および動画撮影を指示する工程と、
前記静止画撮影に対する前記動画撮影のタイミングを選択する工程と、
静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する工程と、
前記動画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する工程と、
決定された前記動画像に用いるフレームの画像信号を、保存先に出力する制御を行う工程と、を有し、
前記動画撮影のタイミングは、前記静止画撮影の撮影前、撮影中、または撮影後から選択される
ことを特徴とする制御方法。
複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置にて実行される制御方法であって、
静止画撮影および動画撮影を指示する工程と、
静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する工程と、
前記静止画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する工程と、
決定された前記動画像に用いるフレームの画像信号を、保存先に出力する制御を行う工程と、を有し、
前記静止画撮影の撮影前に焦点調節動作が行われた場合、前記静止画撮影の撮影前に対応するフレームは、前記動画像に用いるフレームとして決定されない
ことを特徴とする制御方法。
複数の画素部のデータを第１のストリームにより出力する撮像部と、前記データに基づく複数のフレームの画像信号を記憶するバッファ機能をもつメモリ部とを有する撮像装置にて実行される制御方法であって、
静止画撮影および動画撮影を指示する工程と、
静止画撮影が指示されたタイミングに対応する静止画データを、前記撮像部における前記第１のストリームとは異なる第２のストリームにより取得する工程と、
前記静止画撮影のタイミングに対応する動画像に用いるフレームを、前記メモリ部に記憶された複数のフレームから決定する工程と、
決定された前記動画像に用いるフレームの画像信号を、保存先に出力する制御を行う工程と、を有し、
前記静止画撮影の撮影前または撮影後に撮像装置の動き量が閾値より大きい場合、前記静止画撮影の撮影前または撮影後に対応するフレームは、前記動画像に用いるフレームとして決定されない
ことを特徴とする制御方法。