JP6775386B2 - 撮像装置、その制御方法、プログラムならびに記録媒体 - Google Patents

Description

本発明は、撮像装置、その制御方法、プログラムならびに記録媒体に関する。

近年、動画の撮影中に静止画を撮影することが可能な撮像装置が知られている。特許文献１は、静止画撮影のタイミングで撮影中の動画撮影を一旦停止して静止画を取得し、欠落したフレームを静止画で補間する技術を開示している。また、特許文献２は、動画の複数のフレームの中からユーザー操作によって１つのフレームを選択し、選択したフレームを静止画として切り出すことにより、動画で撮影していたシーンを含む静止画を提供する画像処理装置を開示している。

特開２００７−２２１４５１号公報 特開２００８−１６０１７１号公報

しかしながら、特許文献１に開示された技術では、静止画撮影と動画撮影の設定の違いによる補間の違和感を低減するものの、動画の撮影を中断して再開するため被写体の変化等により補間後の動画に違和感が残る場合がある。また、特許文献２に開示された技術では、動画撮影ではシャッタースピードが例えば１／６０秒など比較的低速に設定され、動画から静止画を切り出した場合には動きのある被写体がぶれてしまう場合がある。

本発明は、上述の問題点に鑑みてなされたものである。すなわち、動画を撮影する際に動画の撮影を中断することなく、動きのある被写体のぶれを低減した静止画を撮影することが可能な撮像装置、その制御方法、プログラムならびに記録媒体を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、動画用の画像データと、動画の撮影の合間に撮影した静止画用の画像データとのいずれかを１つフレームとして順次出力する撮像手段と、静止画を撮影するときのシャッタースピードである第１のシャッタースピードを、動画を撮影するためのシャッタースピードである第２のシャッタースピードよりも高速にして撮影するように撮像手段を制御する制御手段と、を有し、制御手段は、動画用の画像データと静止画用の画像データとを記録するように制御するとともに、動画用の画像データの数に対する静止画用の画像データの数の割合が、動画用の画像データの数に対する静止画用の画像データの数が少なくなる所定の割合となるように、静止画用の画像データの出力を制御し、制御手段は、所定の割合を変更可能であり、撮影条件を変更している間は、静止画用の画像データの出力が低減するように所定の割合を変更する、ことを特徴とする。

本発明によれば、動画を撮影する際に動画の撮影を中断することなく、動きのある被写体のぶれを低減した静止画を撮影することが可能になる。

実施形態１に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る撮影処理の一連の動作を示すフローチャート 実施形態１に係る撮像処理の撮像タイミングを模式的に示す図 実施形態１に係る静止画ファイルの構成を模式的に示す図 実施形態１に係る現像処理の一連の動作を示すフローチャート 実施形態２に係るデジタルカメラの背面を模式的に示す図 実施形態２に係る撮像処理の一連の動作を示すフローチャート 実施形態３に係るフレーム選択の操作とユーザーインターフェイスを説明する図 実施形態３に係るフレーム選択処理の一連の動作を示すフローチャート 実施形態３に係る、フレーム選択処理を行った動画ファイルを携帯機器に転送し携帯機器で表示する例を説明する図 実施形態３に係る動画ファイルの構成を模式的に示す図

（実施形態１）
以下、例示的な実施形態について、図面を参照して詳細に説明する。特に、動画用フレーム撮影時と静止画用フレーム撮影時とに異なるシャッタースピードを設定して交互に撮影し、各々を動画ファイル及び静止画ファイルとして順次記録する撮像装置を例に説明する。

なお、以降の説明では、低速シャッタースピードを低速Ｔｖ、高速シャッタースピードを高速Ｔｖともいい、動く被写体に発生するぶれのことを被写体ブレともいう。また、固体撮像素子を用いて光学像を読み出して生成する１面の画像データを１フレームともいう。そして、毎秒Ｎフレームで再生や記録等の制御をすることを、Ｎ ｆｐｓと表す。

また、以降の説明では、各フレームの撮像時のシャッタースピード、絞り値、ＩＳＯ感度、焦点距離など撮像装置の設定を撮影時設定ともいい、圧縮方法、データサイズ、１フレームの幅高さの画素数などの画像データ再生時に必要な情報を再生時情報ともいう。また、再生時情報と撮影時設定の両方を含む情報を属性情報ともいう。

以下では撮像装置の一例として、動画及び静止画を撮影可能な任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、動画及び静止画を撮影することが可能な任意の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラ１０の構成）
図１は、本実施形態のデジタルカメラ１０の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、制御部やＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

１００は撮像部であり、固体撮像素子を含む。光電変換素子を有する画素が複数、２次元的に配列された構成を有する。固体撮像素子は、不図示の撮影光学系により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を出力する。出力された画像データは、後述する圧縮処理を除く画像処理がほとんど行われない画像データ（ＲＡＷデータともいう）として扱われる。

１０１はデジタルカメラ１０全体の制御を司る制御部である。制御部１０１は、例えば、ＣＰＵあるいはＭＰＵを含み、ＲＯＭ１０２等に記憶されたプログラムを実行してデジタルカメラ１０の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。１０２は、制御部１０１の動作処理手順（例えばデジタルカメラ１０の電源をＯＮしたときの処理や基本入出力処理等のプログラム）を記憶しているＲＯＭである。

１０３はＲＡＭであり、制御部１０１のメインメモリとして機能する。ＲＡＭ１０３には、後述の処理を実現するための制御プログラムを含む各種プログラムがＲＯＭ１０２等からロードされ、制御部１０１によって実行される。また、ＲＡＭ１０３は制御部１０１が各種処理を実行する際のワークエリアを提供する。

１０４は、例えばＬＣＤディスプレイ等の表示部であり、制御部１０１の指示に応じて、メニュー画面や記憶媒体に記憶された画像、動画等を表示する。１０５は、例えばデジタルカメラ１０の上部に位置するレリーズボタン等の各種操作を行うためのボタンやタッチパネル等の入力装置である。

１０６はメディアドライブであり、着脱可能な記憶媒体を装着し、データを記憶し、記憶されたデータを読み出すことを可能とする。１０７はネットワークインターフェイスであり、通信回線１０９を介してコンピュータネットワーク１１０と接続される。このネットワークインターフェイスによりコンピュータネットワーク１１０と接続されたサーバコンピュータやパーソナルコンピュータとデータを送受信する。１０８は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。

１１１は、画像処理部である。画像処理部１１１は、制御部１０１が撮像部１００で生成した画像データおよびその際の属性情報を一旦ＲＡＭ１０３に記憶すると、必要に応じて人の視覚特性にあった画像データになるよう一連の画像処理を行う。なお、この一連の画像処理のことを現像処理ともいう。本実施形態に係る現像処理については、図５を参照して後述する。

１１２は動画ファイル生成部である。動画ファイル生成部は、制御部１０１の指示に応じて、画像処理部１１１から出力された画像データを、汎用的な動画フォーマットに準拠したデータに変換し、動画ファイルを構成するデータを生成する。本実施形態において汎用的な動画フォーマットに準拠したデータは、例えば、映像についてはＨ２６４圧縮、音声についてはＡＡＣ圧縮されたデータである。動画ファイル生成部１１２における撮像から動画ファイルの記録までの一連の処理については、図２を参照して後述する。

１１３はＲＡＷファイル生成部である。ＲＡＷファイル生成部１１３は、制御部１０１の指示に応じて、ＲＡＷデータを圧縮処理しＲＡＷファイルを構成するデータを生成する。本実施形態では、ＲＡＷデータの圧縮には例えばランレングス法を用いて、圧縮による画質劣化のない可逆圧縮を行う。撮像からＲＡＷファイル記録までの一連の処理については、図２を参照して後述する。

１１４は静止画ファイル生成部である。静止画ファイル生成部は、制御部１０１の指示に応じて、撮像部１００から出力された画像データを汎用的な静止画フォーマットに変換する。本実施形態では汎用的な静止画フォーマットを例えばＪＰＥＧとする。撮像から静止画ファイル記録までの一連の処理については、実施形態２にて後述する。

（撮像処理に係る一連の動作）
次に、図２を参照して、本実施形態に係る撮像処理の一連の動作について説明する。なお、本処理は、制御部１０１がＲＡＭ１０３にロードされた制御プログラムを実行することにより実行される。制御部１０１は、ユーザーが入力装置１０５のひとつであるレリーズボタン（あるいは録画ボタン）を押下したときに、ユーザーから撮像開始の操作があったと判断して、以下の撮像処理を実行する。なお、本実施形態では、撮像素子から秒間１２０フレームで等間隔に画像データが読み出されるものとして説明する。

Ｓ２０１にて、制御部１０１は撮像部１００から出力された画像データをカウントするためのカウンタｉに初期値０を代入する。Ｓ２０２にて、制御部１０１はメディアドライブ１０６を介して着脱可能な記録媒体に動画ファイルを生成し、書き込み可能状態にする。このとき、時間に応じて変化しない再生時情報を動画ファイルのヘッダに書き込むと共に、動画用の再生時情報としてＲＡＭ１０３に保持する。

Ｓ２０３にて、制御部１０１はメディアドライブ１０６を介して着脱可能な記録媒体に静止画ファイルを生成し、書き込み可能状態にする。このとき、時間に応じて変化しない再生時情報について静止画ファイルのヘッダに書き込むと共に、静止画用の再生時情報としてＲＡＭ１０３に保持する。

Ｓ２０４にて、制御部１０１は、撮像部１００から出力された画像データをカウントするためのカウンタｉが偶数か否かを判定する。ｉが偶数の場合には、動画を処理するためにＳ２０５へと進む。奇数の場合には、静止画を処理するためにＳ２１０へと進む。

Ｓ２０５にて、制御部１０１は動画像としての処理を行うためにシャッタースピードを可能な範囲で低速に設定する。これは、動く被写体をＮ ｆｐｓの動画として撮影する場合には、１／（２×Ｎ）秒のシャッタースピードであれば滑らかな動画となるためである。これに対し、１／（２×Ｎ）秒よりもシャッタースピードが高速になればなるほど、非露光時間が増え、時間軸上に隣接するフレームの被写体像の違いが大きくなり、パラパラとした不快な動画になってしまう。そこで、制御部１０１は、撮像素子からの読み出しスピードが秒間１２０フレームであるため、シャッタースピードを、読み出しスピードの中で可能な限り長秒であるＴｖ１／１２０に設定する。

Ｓ２０６にて、制御部１０１は、Ｓ２０５において決定したシャッタースピードで撮像部１００により撮像し、ＲＡＷデータおよび撮影時設定をＲＡＭ１０３に保持する。Ｓ２０７にて、制御部１０１は、画像処理部１１１を用いて、ＲＡＭ１０３に保持されたＲＡＷデータに対して画像処理を行う。そして、得られた画像処理結果をＲＡＭ１０３に保持する。Ｓ２０８にて、制御部１０１は、Ｓ２０７において生成されたＲＡＭ１０３内の画像データを動画ファイル生成部１１２により圧縮し、動画ファイルを構成するデータを生成する。Ｓ２０９にて、制御部１０１は、Ｓ２０２にて生成したデータおよび撮影時設定を動画ファイルに順次書き込む。

Ｓ２１０にて、制御部１０１は、静止画としての処理を行うためにシャッタースピードをＳ２０５において設定するスピード（Ｔｖ１／１２０）よりも高速に設定する。これは、動く被写体を静止画として撮影する場合には、（像面上の移動スピードにもよるが）Ｔｖ１／１０００前後まで高速Ｔｖになると被写体ブレが抑えられた静止画が得られるためである。Ｔｖ１／１２０以上の低速Ｔｖである場合には被写体ブレが多くなり、何を撮影しているかさえ分からないような静止画になる可能性が高くなる可能性がある。このため、例えば動く被写体が存在しても被写体ブレの発生しにくいＴｖ１／１０００に設定する。

Ｓ２１１にて、制御部１０１はＳ２１０で決定したシャッタースピードで撮像部１００により撮像し、ＲＡＷデータおよび撮影時設定をＲＡＭ１０３に保持する。Ｓ２１２にて、制御部１０１は、ＲＡＭ１０３に保持されたＲＡＷデータをＲＡＷファイル生成部１１３により圧縮処理する。そして圧縮処理後のデータをＲＡＭ１０３に保持する。更にＳ２１３にて、制御部１０１は、Ｓ２０３にて生成した静止画ファイルにＳ２１２の圧縮後のデータおよび撮影時設定を順次書き込む。

Ｓ２２０にて、制御部１０１は、ファイルへの書き込みによって不要になったＲＡＭ１０３内の画像データおよびその画像データに対応する撮影時設定を破棄する。そして、Ｓ２２１にて、制御部１０１は、画像データに対する１サイクルの処理が終了したことを示すため、カウンタｉをインクリメント（＋１）する。

Ｓ２２２にて、制御部１０１は撮影終了操作があるか否かを判定する。ユーザーが入力装置１０５のひとつであるレリーズボタン（或いは録画停止ボタン）を押下した場合、制御部１０１は、ユーザーから撮像終了の操作があったと判定し、Ｓ２２３へと進む。終了操作がないと判定した場合には、再びＳ２０４へと戻る。

Ｓ２３２にて、制御部１０１は動画用フレームおよび静止画フレームの撮影を終了する。更に、Ｓ２２４にて、制御部１０１は動画ファイルの末尾に終わりを示す情報を付与し、ファイル読み込みの際に参照するヘッダの情報を更新して動画ファイルへの書き込みを終了する。また、制御部１０１は、Ｓ２２５にて、静止画ファイルの末尾に終わりを示す情報を付与し、ファイル読み込みの際に参照するヘッダの情報を更新して静止画ファイルへの書き込みを終了する。制御部１０１は、静止画ファイルへの書き込みを終了すると、撮像処理の一連の動作を終了する。

上述した撮像処理における動画用フレームと静止画用フレームの撮像タイミングは、図３に示すようになる。図３に示す期間３００、３０２、３０４、３０６は、Ｓ２０６における動画用フレーム撮像時の露光期間を示すものである。制御部１０１は、３００、３０２、３０４、３０６の露光期間で撮像された各フレームを順次動画ファイルとして記録する。

一方、図３に示す期間３０１、３０３、３０５、３０７は、ステップ２１１における静止画用フレーム撮像時の露光期間を示すものである。制御部１０１は、３０１、３０３、３０５、３０７の露光期間で撮像された各フレームを順次静止画ファイルとして記録する。図３の期間３０８、３０９、３１０は非露光期間であり、撮像素子からの読みとりが時間軸上に等間隔で行われる場合に発生するものである。

（静止画ファイルの構成）
次に、図４を参照して、本実施形態に係る静止画ファイルの構成を説明する。

図４に示すヘッダ４００は、データの構成など再生時情報を保持する。メタデータ４０１、４０３、４０５、４０７はＳ２１１における撮影時設定を保持する撮影時情報記憶部である。撮影するその時々で被写体の明るさや距離が変化するため、静止画フレームごとに個別に保持する。

フレーム４０２、４０４、４０６、４０８は、Ｓ２１１において撮像されると共にＳ２１２にて圧縮処理された画像データである。４０２の画像データは４０１の撮影時設定で撮像したものであり、４０４の画像データは４０３の撮影時設定で撮像したものとして対応付けられている。同様に４０６の画像データは４０５の撮影時設定に、４０８の画像データは４０７の撮影時設定に対応付けられている。４０９は、Ｓ２２５にて記録される情報であり、ファイルの末尾を示す情報である。

（現像処理に係る一連の動作）
更に、図５を参照して、本実施形態に係る現像処理の一連の動作について説明する。なお、本処理は、制御部１０１がＲＡＭ１０３にロードされた制御プログラムを実行することにより実行される。また、本処理は、上述した撮像処理の一部である、動画用フレームに対して画像処理を行うＳ２０７の処理として実行される。もしくは、ユーザーが図４にて説明したＲＡＷデータで構成された静止画ファイルを再生する操作をした場合に、表示部１０４に画像データを表示するために実行される。この場合、制御部１０１は着脱可能な記憶媒体からメディアドライブ１０６を介して処理対象となる静止画ファイルをＲＡＭ１０３へと読み込むものとする。

Ｓ５０１にて、制御部１０１はＲＡＭ１０３から属性情報を読み込む。静止画ファイルから読み込む場合には、ヘッダ情報と、処理対象とするフレームに対応する撮影時設定を読み込む。Ｓ５０２にて、制御部１０１はＲＡＭ１０３から処理対象とするＲＡＷデータを読み込む。Ｓ５０３にて、制御部１０１は属性情報から圧縮されたデータか否かを判定する。圧縮されていると判定した場合には、Ｓ５０４へと進む。圧縮されていない場合には、Ｓ５１０へと進む。Ｓ５０４にて、制御部１０１は圧縮されているデータの解凍処理を行う。

Ｓ５１０にて、制御部１０１はＲＡＷデータに対して色の補間処理を行う。本実施形態においてＲＡＷデータはＲＧＢ三原色のカラーフィルタが互い違いに配置されているベイヤー配列であるものとする。ベイヤー配列の場合、各画素に色信号が一色分しかないため、残りの色信号を算出するために補間処理を行う。制御部１０１は、例えば線形補間による補間処理を行う。

Ｓ５１１にて、制御部１０１は属性情報に応じて、ホワイトバランス処理を行う。ホワイトバランス処理は、色々な光源下で撮影された無彩色の被写体が無彩色になるように色味を変換する処理である。動画用のフレームを現像する場合には、色味が時間軸上に滑らかに変化するように前後のフレームの色味を考慮したホワイトバランス処理を行う。静止画用のフレームを現像する場合には、個々のフレームの色味が最適になるようにホワイトバランス処理を行う。

Ｓ５１２にて、制御部１０１はＲＧＢの色信号をＹＵＶの信号に変換する。Ｓ５１３にて、制御部１０１は画像信号に対するノイズ除去の補正値、及び輝度補正用の補正を算出する。すなわち、撮影時設定のＩＳＯ感度がＩＳＯ８００未満である場合、ノイズ除去処理用のパラメータを０とする。ＩＳＯ８００以上である場合には、ＩＳＯ感度が高い程にノイズ除去処理を強く実行するようにパラメータを決定する。制御部１０１は、例えば、ＩＳＯ８００なら１、ＩＳＯ１６００なら２、ＩＳＯ３２００なら４と感度に応じてパラメータも線形に変化するように決定する。また、画像データ全体の輝度平均Ｙ＿ａｖｅ、目標とする輝度信号Ｙ＿ｔａｒｇｅｔとして、輝度補正パラメータＹ＿ｇａｉｎを式１に従って算出する。

Ｙ＿ｇａｉｎ＝Ｙ＿ａｖｅ÷Ｙ＿ｔａｒｇｅｔ ・・・式１

動画用のフレームを現像する場合には、輝度が時間軸上に滑らかに変化するように目標とする輝度信号を決定する。静止画用フレームを現像する場合には、個々のフレームの輝度が一番見栄えが良くなるように目標とする輝度信号を決定する。

Ｓ５１４にて、制御部１０１は属性情報に応じて、色調整処理を行う。動画用のフレームを現像する場合には、色味が時間軸上に滑らかに変化するように色調整処理を行う。静止画用のフレームを現像する場合には、個々のフレームの色味が最適になるように色調整処理を行う。

Ｓ５１５にて、制御部１０１はＳ５１３において算出した輝度補正パラメータを用いて、輝度を調整する。Ｓ５１６にて、制御部１０１はＳ５１３において算出したノイズ除去処理用のパラメータを用いて、ノイズ除去処理をする。動画用フレームを現像する場合には、短時間で処理するために、簡易的なノイズ除去処理を行う。静止画用のフレームを現像する場合には、個々のフレームのノイズが無くなるように必要に応じてノイズ除去のための平滑フィルタの入力画素を増やす。

Ｓ５１７にて、制御部１０１は、例えば被写体のエッジの強さを調整するような、シャープネス調整処理を行う。動画用フレームを現像する場合には、短時間で処理するために、簡易的なシャープネス調整処理を行う。静止画用のフレームを現像する場合には、必要に応じてエッジ強調のためのフィルタの入力画素数を増やす。

Ｓ５２０にて、制御部１０１はＹＵＶで出力するか否かを判定する。本実施形態において、動画用のフレーム出力の場合は、ＹＵＶ出力であるものとする。静止画用のフレームを表示部１０４へ出力する場合には、ＲＧＢ出力であるのとする。ＹＵＶ出力すると判定した場合には、Ｓ５２１へと進む。ＹＵＶ出力しないと判定した場合には、Ｓ５２２へと進む。

Ｓ５２１にて、制御部１０１は動画用のフレーム出力としてＹＵＶの画像データをＲＡＭ１０３へ出力し、本処理に係る一連の動作を終了する。また、Ｓ５２２にて、制御部１０１は、静止画用のフレームとして出力するため、ＹＵＶの信号をＲＧＢの色信号に変換する。更に、Ｓ５２３にて、制御部１０１はＲＧＢの画像データをＲＡＭ１０３へ出力し、本処理に係る一連の動作を終了する。

なお、上述したノイズ除去処理において、静止画用のフレームを現像する場合には、平滑フィルタの入力画素を増やす例を説明したが、時間軸上の近傍に存在する動画用フレームもしくは静止画用フレームを合成してノイズ除去処理をしてもよい。

また、本実施形態では、撮像素子から秒間１２０フレームで等間隔に画像データを読み出す場合を例に説明したが、撮像素子からの読み出しスピードを変更してもよく、その場合当該スピードに応じてフレームレートやシャッタースピードを決定すればよい。例えば、読み出しスピードを２倍にした場合、秒間２４０フレームで等間隔に画像データを読みとるようにしてもよい。その場合、動画ファイルは１２０ｆｐｓの動画となり、静止画ファイルは１２０ｆｐｓの静止画用フレームで構成されるファイルとなる。その際、動画用フレームは一番低速Ｔｖで撮影しても１／２４０となる。読み出しスピードが１／２倍になれば、秒間６０フレームで等間隔に画像データをよみとるようにしてもよい。この場合、動画ファイルは３０ｆｐｓの動画となり、静止画ファイルは３０ｆｐｓの静止画用フレームで構成されるファイルとなる。３０ｆｐｓの動画を撮影する場合、動画用フレームは最も低速Ｔｖで撮影してもＴｖ１／６０となる。

更に、本実施形態では、撮像素子から秒間１２０フレームで等間隔に画像データを読み出す例を説明した。しかし、等間隔ではない読み出しが可能である場合、動画用フレームの読み出しをシャッタースピードに応じてゆっくりと、静止画用フレームの読み出しをシャッタースピードに応じて高速に行ってもよい。このようにすれば、動画用フレーム撮像時の露光時間の調整幅を広げ、よりなめらかな動画フレームを取得することができる。

また、本実施形態では、動画用フレームと静止画用フレームとが交互に撮像素子から順次出力される場合を説明した。しかし、動画用フレームの数に対して静止画用フレームの数が所定の割合（例えば動画用フレーム２に対して静止画用フレーム１）で等間隔に出力されるようにしてもよい。このようにすれば各瞬間の静止画をそれほど大量に必要としない場合に静止画によるデータ量を低減することができる。更に、撮影された静止画用フレームの出力される間隔を可変にして、例えば静止画フレームを記録する適切な撮影環境が整った場合に静止画フレームが出力されるように制御部１０１が制御してもよい。このようにすれば、（撮影条件を変更している間等の）品質の高くない静止画用フレームが蓄積される弊害を低減することができる。

以上説明したように本実施形態では、撮像素子から単位時間あたり所定の枚数の画像データを読み出し可能な場合に、動画撮影のためのシャッタースピードを読み出しスピードの中で可能な範囲で低速に設定し、静止画撮影のためのシャッタースピードを可能な範囲で高速に設定するようにした。すなわち、両シャッタースピードの間の差が広がるようにシャッタースピードを設定するようにした。撮像素子からの読み出しスピードが秒間１２０フレームである場合、動画ファイルは６０ｆｐｓの動画となり、その際の動画用のフレームは、Ｔｖ１／１２０で撮影できる。一方、静止画ファイルは６０ｆｐｓの静止画用フレームで構成されるファイルとなり、静止画用のフレームはＴｖ１／１０００で撮影できる。従って、動画を撮影する際に動画の撮影を中断することなく滑らかな動画を得つつ、動きのある被写体のぶれを低減した静止画を撮影することができる。

また、本実施形態では、撮像素子から読み出した画像データは、動画用と静止画用とで独立したデータとし、それぞれの画像データに独立して画像処理を適用するようにした。このようにすることで、静止画ファイルを構成するＲＡＷデータは、静止画用に適した現像処理が施される。換言すれば、動画用に適した現像処理をして記録された動画フレームを切り出して出力する場合と比較して、高品質な静止画を得ることができる。

同様に、静止画ファイルを構成するＲＡＷデータには静止画に適した圧縮を適用するようにした。このようにすることで、Ｈ２６４圧縮されたＭＰ４など汎用的な形式の動画ファイルからフレーム切り出しした結果と比較して、圧縮による劣化を受けることなく、高品質な静止画を得ることができる。

更に、本実施形態では、動画用フレームの撮影の合間に静止画用フレームを定期的に撮影（すなわち静止画用フレームと動画用フレームとを交互に撮影）するようにした。このため、ユーザーが撮影操作を開始してから終了するまで連続して記録することとなる。このようにすることで、決定的な瞬間が動画撮影期間中のどこにあっても、１／６０秒の間隔で、かつ高品質な静止画を得ることができる。

また、本実施形態では、静止画用のフレームを個別に静止画ファイルとして記録するのではなく、まとまった１つの静止画ファイルとして記録し、併せて各フレームに関するメタデータを付与するようにした。このようすることで、ファイル管理が容易になり、また閲覧時に所望の条件に合致するメタデータの検索が容易になることが期待できる。

（実施形態２）
次に実施形態２について説明する。実施形態１では、ユーザーが撮影操作を開始してから終了するまで、動画用フレームと静止画用フレームを交互に撮影し各々ファイルに記録し続ける構成について説明した。これに対して実施形態２では、記録した動画及び静止画を再生する構成を備える。また、撮影時においては、部分的期間のみ静止画用フレームをファイルとして記録する構成を備える。すなわち、本実施形態は、表示部１０４、入力装置１０５、及び撮像処理の一部が実施形態１と異なるが、デジタルカメラ１０の他の構成は実施形態１と同一である。このため、同一の構成や同一の処理については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（動画及び静止画を再生するためのユーザーインターフェイス）
図６は、本実施形態に係るデジタルカメラ１０を背面から見た様子を示しており、当該背面には、入力装置１０５に含まれるユーザーインターフェイス（タッチメニューや各種ボタン）が含まれている。本実施形態で説明するデジタルカメラ１０は、３種類の動作モードを切り替え可能であり、制御部１０１は各モードに応じて動作する。３種類の動作モードは、それぞれ、撮影を行う「撮影モード」、記憶媒体内の画像データを表示する「再生モード」、各種設定を行う「設定モード」である。電源ボタン６０２以外の全てのボタンに関しては、デジタルカメラ１０に電源が入っている場合の動作を説明する。

６００は、レリーズボタンである。制御部１０１は、撮影モードにおいてユーザーがレリーズボタン６００を押下している期間がある場合、当該期間は連続して静止画を撮像する指示があったものと判定して、図７において後述する撮像処理を実行する。

６０１は、上述した表示部１０４に含まれるディスプレイである。ディスプレイ６０１は、表示機能と共にタッチパネル機能を含み、入力装置１０５の機能の一部を果たす。ユーザーが指で画面上の任意の点を押下した場合、制御部１０１はユーザーからの入力指示があったと判定して、押下された位置から操作の内容を判定し、表示更新などの表示制御を行う。なお、図６に示す例は、再生モードにおいて、ディスプレイ６０１が再生対象としての動画ファイルを表示している状態を示している。

６０２は、電源のＯＮ／ＯＦＦを切り替える電源ボタンである。デジタルカメラ１０の電源が入っていない状態でユーザーが電源ボタン６０２を押下すると、制御部１０１は信号変化を検知してデジタルカメラ１０を起動する。デジタルカメラ１０に電源が入っている状態でユーザーが電源ボタン６０２を押下すると、制御部１０１はユーザーから電源を切る指示があったと判定し、デジタルカメラ１０の電源を切る。

６０３は、撮影モードボタンである。ユーザーが撮影モードボタン６０３を押下すると、制御部１０１はユーザーから撮影モードへの切り替え指示があったと判定して、撮影モードへと切り替え、撮像部１００による撮影の準備を行う。そして、被写体光学象を結像して読み出した画像データに画像処理を施し、ディスプレイ６０１に表示する。

６０４は、再生ボタンである。ユーザーが再生ボタン６０４を押下すると、制御部１０１はユーザーから再生モードへの切り替え指示があったと判定し、記憶媒体から動画ファイルや静止画ファイルを読み込んでディスプレイ６０１に画像を表示する。６０５は、設定ボタンである。設定ボタン６０５をユーザーが押下すると、制御部１０１がユーザーから設定モードへの切り替え指示があったと判定し、設定画面をディスプレイ６０１に表示する。

６０６は、ＲＥＣボタンである。ユーザーが撮影モードにおいてＲＥＣボタン６０６を押下すると、制御部１０１はユーザーから動画撮影の開始指示があったと判定し、動画の撮影を開始する。ユーザーが動画の撮影中にＲＥＣボタン６０６を押下すると、制御部１０１は動画撮影の終了指示があったと判定して動画の撮影を終了する。

６０７は、前へコマ送りボタンである。再生モードにおいて再生対象となる動画が一時停止されている際に、ユーザーが前へコマ送りボタン６０７を押下すると、制御部１０１は今表示しているフレームよりも、ひとつ前のフレームを表示する操作がユーザーからなされたと判定する。そして、ひとつ前のフレームをディスプレイ６０１に表示する。このとき、対象の動画フレームに対応する静止画に関する情報がある場合、制御部１０１は、当該静止画に関する情報を用いて対応するＪＰＧファイルを特定し、特定したＪＰＥＧファイルを再生する。関連付けられた静止画に関する情報は、図７の説明にて後述する。動画フレームに対応する静止画に関する情報が無い場合には、動画フレームをそのまま表示する。動画の先頭のフレームを表示している場合には、制御部１０１は、前へコマ送りボタンをＤｉｓａｂｌｅ（不活性）にし、ユーザーが押下しても表示を更新しないようにする。

６０８は、再生／一時停止トグルボタンである。再生モードにおいて再生対象となる動画が一時停止している場合には、再生を表すマーク（例えば右矢印）を表示し、ユーザーがこのボタンを押下すると、制御部１０１がユーザーから再生操作があったと判定し、動画ファイルを再生する。同時に記録したＪＰＧファイルを表示している場合には、制御部１０１は、そのＪＰＧファイルのヘッダに記録されている動画に関する情報を参照し、対応する動画のフレームを特定する。そして、特定した動画のフレームから動画再生を開始する。動画に関する情報は、図７の説明にて後述する。制御部１０１は、動画を再生している場合には、一次停止を表すマーク（例えば２本の縦線印）を表示し、ユーザーがボタンを押下すると、ユーザーから一時停止操作があったと判定し、動画ファイルの再生を一時停止する。その際、一時停止した動画フレームに対応する静止画に関する情報がある場合、制御部１０１は、当該静止画に関する情報を用いて対応するＪＰＧファイルを特定し、特定したＪＰＥＧファイルを再生する。

６０９は、後ろへコマ送りボタンである。再生モードにおいて再生対象となる動画が一時停止されている際に、ユーザーが後ろへコマ送りボタン６０７を押下すると、制御部１０１はユーザーから今表示しているフレームよりも、ひとつ後ろのフレームを表示する操作があったものと判定する。そして、当該ひとつ後ろのフレームを表示する。その際に、動画フレームに対応する静止画に関する情報がある場合、制御部１０１は、当該静止画に関する情報を用いて対応するＪＰＧファイルを特定し、特定したＪＰＥＧファイルを再生する。動画フレームに対応する静止画に関する情報が無い場合には、動画フレームをそのまま表示する。動画の最後尾のフレームを表示している場合には、制御部１０１は、後ろへコマ送りボタンをＤｉｓａｂｌｅにし、ユーザーが押下しても表示を更新しないようにする。

（撮像処理に係る一連の動作）
次に、図７を参照して、本実施形態における撮像処理に係る一連の動作について説明する。なお、本処理は、制御部１０１がＲＡＭ１０３にロードされた制御プログラムを実行することにより実行される。また、本処理は、撮影モードの状態で例えばＲＥＣボタン６０６が押下された場合に、制御部１０１がユーザーから撮影開始の操作があったと判断して、撮像処理を実行する。

制御部１０１は、実施形態１と同様にＳ２０１〜Ｓ２０２を実行して、Ｓ７０１へ進む。なお、実施形態２では、この時点では静止画ファイルを開かない。

Ｓ７０１において、制御部１０１は、撮像部１００から順次出力された画像データをカウントするためのカウンタｉが偶数か否かを判定する。ｉが偶数の場合には、動画を処理するためにＳ２０５へと進む。奇数の場合には、静止画を処理するためにＳ２１０へと進む。

制御部１０１は、実施形態１と同様にＳ２０５〜Ｓ２０８の処理を行い、低速シャッタースピードにおいて撮影した動画に対して動画圧縮処理を行う。一方、制御部１０１は、静止画を撮影するために、Ｓ２１０と同様に高速シャッタースピードを設定する。

Ｓ７０２にて、制御部１０１は動画用フレームと略同一の輝度（明るさ）になるように、式２に従ってＩＳＯ感度を算出する。

ｓＩＳＯ ＝ ｍＴｖ×ｍＩＳＯ÷ｓＴｖ ・・・式２

ここで、動画用フレーム撮影時のシャッタースピードをｍＴｖ、ＩＳＯ感度の値をｍＩＳＯ、静止画用フレーム撮影時のシャッタースピードをｓＴｖとして、静止画用フレーム撮影時のＩＳＯ感度の値をｓＩＳＯとする。或いは、制御部１０１は、静止画用フレームの輝度（明るさ）が動画用フレームの輝度（明るさ）に近づくようにＩＳＯ感度を変更してもよい。

Ｓ７０３にて、制御部１０１はＳ２１０で決定したシャッタースピードおよびＳ７１０で決定したＩＳＯ感度で撮像部１００にて撮影し、ＲＡＷデータおよび撮影時設定をＲＡＭ１０３に保持する。Ｓ７０４にて、制御部１０１は入力装置１０５のひとつであるレリーズボタン６００が押下されているか判定する。押下されていると判定した場合、Ｓ７０５へと進む。押下していないと判定した場合、Ｓ７１０へと進む。

Ｓ７０５にて、制御部１０１はＲＡＭ１０３に保持されたＲＡＷデータに対して、画像処理部１１１により画像処理を行う。この画像処理では、図５にて説明した静止画フレーム用の現像処理を行う。その後、制御部１０１は、得られた画像処理結果をＲＡＭ１０３に保持する。

Ｓ７０６にて、制御部１０１は、Ｓ７０５において生成されたＲＡＭ１０３内の画像データを静止画ファイル生成部１１４により圧縮する。Ｓ７０７にて、制御部１０１は同時に記録している動画に関する情報をＲＡＭ１０３に記憶する。同時に記録している動画に関する情報とは、Ｓ２０２にて生成した動画ファイルを一意に特定するための情報と、カウンタｉの情報である。カウンタｉの情報を記憶することによって、動画用フレームに対する静止画用フレーム位置が再生時に特定できる。

Ｓ７０８にて、制御部１０１はＳ７０６にて圧縮したＪＰＧファイルを、メディアドライブ１０６を介して着脱式記録媒体に書き込む。また、その際に、ＲＡＭ１０３内の撮影時設定とＳ７０７にて記憶した動画に関する情報とを合わせてヘッダに書き込む。Ｓ７０９にて、制御部１０１は静止画記録が行われていることを示す静止画記録フラグをＯＮにする。静止画記録フラグはＲＡＭ１０３に保持される。一方、Ｓ７１０では、制御部１０１は静止画記録が行われていることを示す静止画記録フラグをＯＦＦにする。

再び動画の撮影処理に説明を戻すと、Ｓ７１１にて、制御部１０１はＲＡＭ１０３内の静止画記録フラグがＯＮか否かを判定する。ＯＮであると判定した場合には、Ｓ７１２へと進む。ＯＦＦであると判定した場合には、Ｓ７１３へと進む。

Ｓ７１２にて、制御部１０１は同時記録している静止画に関する情報をＲＡＭ１０３に記憶する。同時記録している静止画に関する情報とは、Ｓ７０８にて生成したＪＰＧファイルを一意に特定するための情報である。例えば、Ｓ７１２において処理対象とする動画用フレームがｉ番目のフレームである際、ｉ−１番目のフレームに対応するＪＰＧファイルの情報である。ｉが０だった場合には、対応するＪＰＧファイルが生成されていないため、同時記録している静止画に関する情報は記憶しない。

Ｓ７１３にて、制御部１０１は撮影時設定とＳ７０７にて生成したデータを動画ファイルに順次書き込む。ＲＡＭ１０３内に同時記録の静止画に関する情報が存在する場合には、撮影時設定に付与するものとする。その後、Ｓ７１４にて、制御部１０１はＲＡＭ１０３内の画像データ、その画像データに対応する撮影時設定、同時記録の動画に関する情報、及び同期記録の静止画に関する情報を破棄する。

制御部１０１は、その後、実施形態１と同様に、Ｓ２２１〜Ｓ２２４の処理を行い、次の画像データを読み出す場合にはＳ７０１に進み、そうでない場合には撮影を終了して動画ファイルをクローズする。

なお、本実施形態では、静止画ファイルをＪＰＧファイルとしたが、現像処理済みの画像データであれば、ＪＰＧファイルでなくＢＭＰファイルやＴＩＦなど圧縮による画質劣化がない形式で保存してもよい。また、ＪＰＧファイルが個々に大量に生成されると、ファイル管理などの点で煩雑になってしまう場合には、ＪＰＧを連番の動画ファイルとしたＭｏｔｉｏｎＪＰＧの形式で記録してもよい。この場合、音声情報は静止画ファイルを記録する期間だけ付与すればよい。

以上説明したように本実施形態では、ユーザーが所望する期間だけ静止画用のフレームを静止画ファイルとして記録するようにした。このようにすることで、決定的な瞬間が静止画記録期間中のどこにあっても、１／６０秒の間隔で静止画を得ることができる上、必要な期間だけ静止画ファイルを生成することにより、ファイル容量を最小限に抑えることができる。

また、本実施形態では、静止画ファイル及び動画ファイルの生成において、同時記録の動画及び静止画に関する情報を記録するようにした。このようにすることで、静止画ファイル記録期間が動画撮影期間よりも短くても、どの期間に静止画ファイルが撮影されたか、また、個々の動画フレームに対して対応する静止画フレームを特定することができる。すなわち、動画ファイルから、静止画ファイル記録期間を特定することも可能になる。また静止画ファイル記録期間については、ユーザーが動画ファイルから所望のフレームを決定した場合に、対応するフレームの高品質な静止画を得ることができる。また、反対に、静止画ファイルに対応する動画ファイルのフレームを特定することもできるため、所望の静止画ファイルから、同時に記録した動画の再生を開始することができる。

更に、本実施形態では、レリーズボタンが押下されている期間に動画用フレームと静止画用フレームとを交互に取得し、その際に動画撮影のためのシャッタースピードを低速に設定し、静止画撮影のためのシャッタースピードを高速に設定するようにした。このため、実施形態１と同様、滑らかな動画と被写体ブレのない静止画とを同時に得ることができる。このとき、静止画用フレームは、シャッタースピードを高速にすることによって露光時間が短くなる分、ＩＳＯ感度を上げて撮影することができる。従って、現像処理において、大きく輝度調整しなくても、高品質な静止画を得ることができる利点がある。

更に、本実施形態では、静止画ファイルに対し、静止画用に適した現像処理を行うようにした。従って、動画用に適した現像処理をして記録された動画フレームを切り出して出力する場合と比較して高品質な静止画を得ることができる。

（実施形態３）
次に実施形態３について説明する。実施形態２では、前へコマ送りボタン６０７や後ろへコマ送りボタン６０９を操作した場合に、（表示する動画フレームに対応する静止画に関する情報があるときは、その情報を用いて）静止画として撮影したＪＰＧファイルを表示する例を説明した。実施形態３では、代表画像とするフレームをユーザーに選択可能にし、かつ、選択された代表画像を動画ファイルに追加して記憶させる処理について説明する。なお、代表画像とするフレームを選択する処理は、例えば、ユーザーが動画からお気に入りのフレームを選択する場合や、動画サムネイルとして代表サムネイルを決定する処理を行う場合に実行される。

また、本実施形態では、代表画像として選択されたフレームが静止画ファイルのフレームである場合、当該静止画ファイルを動画ファイルに追加して記録できるようにする。このようにすることで、動画ファイルを例えば携帯端末等の他の装置に転送する場合に、静止画ファイルを別途わざわざ転送しなくても、動画ファイルを受信した携帯端末では代表画像としての静止画フレームを表示することができるようになる。

（代表画像を決定するためのユーザーインターフェイス）
図８（ａ）〜図８（ｃ）を参照して、本実施形態に係るフレーム選択操作時のフレーム表示処理とユーザーインターフェイスについて説明する。

まず、図８（ａ）は、動画フレームと静止画フレームの撮影タイミングを示している。図３で説明した期間３００、３０２、３０４、３０６の露光期間で撮像された各フレームは、動画フレームＡ、動画フレームＣ、動画フレームＥ、動画フレームＧとして動画ファイルに記録される。また、期間３０１、３０３、３０５、３０７の露光期間で撮像された各フレームは、静止画フレームＢ、静止画フレームＤ、静止画フレームＦ、静止画フレームＨとして静止画ファイルに記録される。

図８（ｂ）は、デジタルカメラ１０の背面を示しており、操作部材の６００〜６０７、６０９は図６に示したものと共通である。ユーザーが操作中のフレーム選択処理を開始する場合、設定ボタン６０５でメニューを選択してフレーム選択処理の開始指示を行う。制御部１０１は、フレーム選択処理の開始指示があったと判定した場合、操作中の動画フレームをディスプレイ６０１に表示する。

例えば、ディスプレイ６０１に動画フレームＡを表示している場合、ユーザーにより前へコマ送りボタン６０７が押下されると、制御部１０１は静止画フレームＢを表示する。更に、ユーザーにより前へコマ送りボタン６０７が押下された場合、更に動画フレームＣを表示する。以降、同様に静止画フレームＤ、動画フレームＥ、静止画フレームＦ、動画フレームＧ、静止画フレームＨを順次表示する。

同様に、静止画フレームＨを表示している場合、後ろへコマ送りボタン６０９を押下すると押下するごとに動画フレームＧ、静止画フレームＦ、動画フレームＥと順次表示する。一方、８０１はフレーム決定ボタンである。フレーム決定ボタンは、フレーム選択処理中に押下されると、ディスプレイ６０１に表示中のフレームを代表画像として設定する。例えば、ディスプレイ６０１に静止画フレームＤが表示されているときに決定ボタンを押下した場合、静止画フレームＤを動画ファイルの代表画像として設定する。静止画フレームＤは動画ファイルに存在しないため、静止画フレームＤを動画フィアル内に記録し、代表画像として設定する。代表画像として設定する具体的な処理は、図１１の動画ファイル構成にて後述する。

（フレーム選択処理に係る一連の動作）
次に、図９を参照して、本実施形態に係るフレーム選択処理の一連の動作について説明する。なお、本処理は、制御部１０１がＲＡＭ１０３にロードされた制御プログラムを実行することにより実行される。図８で説明した設定ボタン６０５でメニュー選択してフレーム選択処理の開始指示を行い、ユーザーからフレーム選択開始の操作があったと判断し、以降に説明するコマ送り処理とフレーム選択処理を実行する。

Ｓ９０１にて、制御部１０１はフレーム選択操作を開始した時に表示されている動画フレームを表示する。Ｓ９０２にて、カウンタｉに表示中のフレーム番号（動画静止画フレーム番号）のｉを代入する。動画表示中に表示操作を停止した場合の表示フレームは動画フレームとなり、図２を参照して上述したようにフレーム番号は偶数番（０，２，４，・・）のフレームで表示される。

Ｓ９０３にて、制御部１０１は、フレーム選択中の操作を検出する。フレーム選択中は、コマ送りの表示中で表示フレームを１コマ進める順方向のコマ送りか、１コマ戻る逆方向のコマ送りか、そのフレームを代表画像フレームとして決定するかの操作が実施される。

Ｓ９０４にて、制御部１０１は、フレーム選択中の操作が順方向のコマ送りかどうかを判定する。順方向のコマ送りであると判定した場合、Ｓ９０５に進み、順方向のコマ送りでないと判定した場合、Ｓ９０９へ進む。Ｓ９０５にて、制御部１０１は、表示中の動画静止画のフレーム番号が偶数かどうか判定する。表示中の動画静止画フレーム番号が偶数でない場合、表示中のフレームは奇数番号で静止画フレームであるので、Ｓ９０６にて次の動画フレームを表示する。一方、Ｓ９０５にて、制御部１０１は、表示中の動画静止画フレーム番号が偶数である場合、Ｓ９０７に進む。Ｓ９０７にて、表示中のフレームは偶数番号で動画フレームであるため、制御部１０１は、同時記録した静止画フレームを表示する。Ｓ９０８にて、制御部１０１は、順方向にフレーム番号が進んだことを示すように、カウンタｉをインクリメントする。

一方、Ｓ９０９にて、制御部１０１は、フレーム選択中の操作が順方向のコマ送りでなかったため、逆方向のコマ送りかどうかを判定する。逆方向のコマ送りであると判定した場合、Ｓ９１０に進み、逆方向のコマ送りでないと判定した場合はＳ９１４に進む。Ｓ９１０にて、制御部１０１は、表示中の動画静止画フレーム番号が偶数かどうか判定する。制御部１０１は、表示中の動画静止画フレーム番号が偶数でないと判定した場合、表示中のフレームは奇数番号で静止画フレームであるので、Ｓ９１１で静止画の同時記録に対応した（時系列では表示中静止画の直前に記録した）動画フレームを表示する。一方、Ｓ９１０で表示中の動画静止画フレーム番号が偶数である場合、表示中のフレームは偶数番号で動画フレームであるので、Ｓ９１２にて、表示中の動画フレームの前の動画フレームに対応して同時記録した静止画フレームを表示する。そして、Ｓ９１３にて、カウンタｉをデクリメント（−１）する。

Ｓ９１４にて、制御部１０１は、Ｓ９０９でフレーム選択中の操作が逆方向のコマ送りでないと判定された場合、代表画像フレームの決定指示か判定する。代表画像フレームの決定指示である場合、Ｓ９１５に進み、代表画像フレームの決定指示でない場合、Ｓ９２１へ進む。Ｓ９１５にて、制御部１０１は、表示中の動画静止画フレーム番号が偶数かどうか判定する。表示中の動画静止画フレーム番号が偶数でない場合、表示中のフレームは静止画フレームであるので、Ｓ９１６で静止画フレームのデータを動画ファイルに追加して記録する。そして、Ｓ９１７にて、追加した静止画データの情報を代表画像情報に記録する。代表画像情報の詳細は図１１で後述する。

制御部１０１は、Ｓ９１５で表示中の動画静止画フレーム番号が偶数であると判定した場合、表示中のフレームは動画フレームであるので、Ｓ９２０にて、代表画像情報に動画フレーム番号を記録する。詳細は図１１で後述する。

Ｓ９２１にて、制御部１０１は、フレーム選択処理の終了操作がされたかどうか判定する。フレーム選択処理の終了操作が行われていないと判定した場合はＳ９０３に戻り処理を繰り返す。フレーム選択処理の終了操作が行われていないと判定した場合、Ｓ９２２でフレーム選択操作終了処理を行う。具体的には通常の動画表示の画面表示を行うなどの処理を行う。その後、制御部１０１は本処理に係る一連の動作を終了する。

（携帯機器への動画転送処理）
次に、代表画像を記録した動画を携帯機器へ転送する処理について説明する。

仮に、実施形態１において交互に撮像した動画ファイルと静止画ファイルとをスマートフォンやタブレット端末などの携帯機器へ転送する場合、転送速度やファイルサイズを考慮して、静止画ファイルを送信せずに動画ファイルのみを送る場合が考えられる。しかし、上述のフレーム選択処理で説明したように、代表画像として選択したフレームが静止画フレームである場合、動画ファイルに静止画フレームのデータを記録されている。このため、当該動画ファイルを携帯機器に転送するだけで、動画ファイルの代表画像として選択した静止画フレームを携帯機器で表示することができる。

図１０は、フレーム選択処理を行った動画ファイルを携帯機器に転送する場合の動画ファイルを概念的に説明するとともに、撮像装置と携帯機器のユーザーインターフェイスの一例を示している。

図１０（ａ）は、デジタルカメラ内のファイルの構成を示している。１００１は図８で説明したユーザーインターフェイスである。１００６は、実施形態１で説明した、交互に撮像した動画ファイルである。１００７は交互に撮像した静止画ファイルである。そして、１００８は、本実施形態で説明した、代表画像として静止画ファイルを選択して静止画データを追加して記録した動画ファイルである。なお、この例では代表画像として静止画フレームＤと静止画フレームＦが選択された場合の動画ファイルである。

図１０（ｂ）は携帯機器のインターフェイスとファイルの構成を示している。１００２及び１００４は携帯機器のユーザーインターフェイスの一例である。１００９は、代表画像として静止画ファイルを選択した場合に静止画データを追加して記録した動画ファイルであり、撮像装置の動画ファイル１００８が転送されたことを示す。

１００２は携帯機器で本動画ファイルが選択された場合の動画表示のユーザーインターフェイスであり、動画データに代表画像データが存在するため、１００３の「代表画像表示に移る」メニューが表示される。

１００４は携帯機器で「代表画像表示に移る」メニューが押下された場合の代表画像フレームを表示するユーザーインターフェイスであり、代表画像として選択されたフレームのみを順次表示する。ここでは静止画フレームＤと静止画フレームＦが表示される例を示しているが、動画フレームが代表画像として選択されている場合は動画フレームも追加して表示される。

１００５は代表画像フレームを表示するユーザーインターフェイスから動画表示のユーザーインターフェイス１００２に切り替える「動画表示に移る」メニューである。

（動画ファイルの構成）
更に、図１１を参照して、本実施形態に係る動画ファイルの構成について説明する。１１０１は構成などのファイル情報を保持するヘッダ部である。ヘッダ部１１０１には動画ファイル名１１０２、撮影時の情報などがあるメタデータ部１１０３、代表画像の情報である代表画像リスト１１０４が含まれる。

１１０５は、動画データを記録する動画データ部である。１１０６、１１０８、１１１０はＳ２０６における各フレームの撮影時情報を保持するフレームデータ部である。その時々で被写体の明るさや距離が変わるため、各動画フレームに対応して個別に記録される。

１１０７、１１０９、１１１１はＳ２０６において撮像されてＳ２０８にて圧縮処理された動画データである。１１０７の動画データは１１０６の撮影時情報で撮像したものであり、１１０９の動画データは１１０８の撮影時情報で撮像したものに対応付けられている。同様に動画の最終フレームである１１１１の動画データは１１１０の撮影時情報に対応付いている。またデータの番号ｎは動画フレームのフレーム番号で昇順に付される。

１１１２は静止画データを記録する静止画データ部で、Ｓ９１６で最初の静止画フレームを代表画像として決定した際に静止画データを動画ファイルに追加して記録する場合に作成される。１１１４、１１１６は静止画フレームの撮影時情報と動画フレーム番号など同時記録した動画の情報を保持するメタデータ部である。１１１５、１１１７は静止画のフレームデータ部で４０２等と同一である。また静止画データ部の番号ｍは静止画データのデータ番号で昇順に付される。静止画のメタデータ部１１１４、１１１６とフレームデータ部１１１５、１１１７とは、代表画像として決定された静止画フレームの数だけ作成され記録される。１１１８は、Ｓ２２４にて記録される情報であり、ファイルの末尾を示す情報である。

１１２１〜１１２３は代表画像リスト１１０４の構成を更に詳細に説明するリストである。この代表画像リストの一例では、代表画像として動画フレームを選択して決定し、次に静止画フレームを２つ選択して決定した場合のデータを表している。１１２１は代表画像番号で代表画像の番号を示す。１１２２は代表画像が動画フレームか静止画フレームかの種別を示す情報である。また１１２３は代表画像の位置を示し、代表画像が動画フレームである代表画像１の場合は、動画データ部のフレーム番号を記録する。また、代表画像が静止画フレームである代表画像２，代表画像３の場合は静止画データ部のデータ番号を記録する。

以上説明したように本実施形態では、代表画像とするフレームを選択するユーザーインターフェイスを用いて所望のフレームを代表画像として動画ファイルに記録し、代表画像を記録した動画ファイルを携帯端末等に転送できるようにした。このようにすることで、動画ファイルのみを転送するだけで、携帯端末において動画と共に代表画像として選択されたフレームを表示することができるようになる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像部、１０１…制御部、１０４…表示部、１０５…入力装置、１０６…メディアドライブ、１１１…画像処理部、１１２…動画ファイル生成部、１１４…静止画ファイル生成部、１０７…ネットワークインターフェイス

Claims (13)

1. 動画用の画像データと、前記動画の撮影の合間に撮影した静止画用の画像データとのいずれかを１つフレームとして順次出力する撮像手段と、
   前記静止画を撮影するときのシャッタースピードである第１のシャッタースピードを、前記動画を撮影するためのシャッタースピードである第２のシャッタースピードよりも高速にして撮影するように前記撮像手段を制御する制御手段と、を有し、
   前記制御手段は、前記動画用の画像データと前記静止画用の画像データとを記録するように制御するとともに、前記動画用の画像データの数に対する前記静止画用の画像データの数の割合が、前記動画用の画像データの数に対する前記静止画用の画像データの数が少なくなる所定の割合となるように、前記静止画用の画像データの出力を制御し、
   前記制御手段は、前記所定の割合を変更可能であり、撮影条件を変更している間は、前記静止画用の画像データの出力が低減するように前記所定の割合を変更する、ことを特徴とする撮像装置。
2. 前記制御手段は、更に、前記第１のシャッタースピードで撮影される前記静止画用の画像データの明るさが、前記第２のシャッタースピードで撮影される前記動画用の画像データの明るさに近づくようにしたＩＳＯ感度で撮影するように、前記撮像手段を制御する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記動画用の画像データに第１の画像処理を適用し、前記静止画用の画像データに前記第１の画像処理と異なる第２の画像処理を適用する画像処理手段を更に備える、ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像手段から出力された動画用の画像データに基づいて動画ファイルを生成する動画ファイル生成手段と、
   前記撮像手段から出力された静止画用の画像データに基づいて静止画ファイルを生成する静止画ファイル生成手段と、を更に有することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記動画ファイル又は前記静止画ファイルの少なくともいずれかが、前記静止画用の画像データと隣接するフレームの前記動画用の画像データとを対応付けた情報を含む、ことを特徴とする請求項４に記載の撮像装置。
6. 前記静止画用の画像データを撮影する指示を与える指示手段を更に有し、
   前記指示手段によって前記指示が与えられている期間の前記静止画用の画像データが前記静止画ファイルに記録される、ことを特徴とする請求項４又は５に記載の撮像装置。
7. 前記静止画ファイル生成手段は、前記撮像手段から出力された複数の前記静止画用の画像データが１つのファイルに含まれるように前記静止画ファイルを生成する、ことを特徴とする請求項４から６のいずれか１項に記載の撮像装置。
8. 前記静止画ファイルと前記動画ファイルとに含まれる画像データを表示する表示手段を更に有し、
   前記表示手段は、前記静止画ファイルと前記動画ファイルとに含まれる画像データの少なくとも１つを、前記撮像手段が出力した順又は前記撮像手段が出力した順と逆の順に表示する、ことを特徴とする請求項４から７のいずれか１項に記載の撮像装置。
9. 前記表示手段に表示された前記静止画用の画像データを、前記動画ファイルの代表画像の１つとして選択する選択手段を更に備える、ことを特徴とする請求項８に記載の撮像装置。
10. 前記動画ファイル生成手段は、前記選択手段によって選択された前記代表画像を、前記動画ファイルに追加する、ことを特徴とする請求項９に記載の撮像装置。
11. 動画用の画像データと、前記動画の撮影の合間に撮影した静止画用の画像データとのいずれかを１つフレームとして順次出力する撮像手段を有する撮像装置の制御方法であって、
    制御手段が、前記静止画を撮影するときのシャッタースピードである第１のシャッタースピードを、前記動画を撮影するためのシャッタースピードである第２のシャッタースピードよりも高速にして撮影するように前記撮像手段を制御する制御工程を有し、
    前記制御工程では、前記動画用の画像データと前記静止画用の画像データとを記録するように制御するとともに、前記動画用の画像データの数に対する前記静止画用の画像データの数の割合が、前記動画用の画像データの数に対する前記静止画用の画像データの数が少なくなる所定の割合となるように、前記静止画用の画像データの出力を制御し、
    前記制御工程では、前記所定の割合を変更可能であり、撮影条件を変更している間は、前記静止画用の画像データの出力が低減するように前記所定の割合を変更する、ことを特徴とする撮像装置の制御方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
13. 請求項１から１０のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラムを記録する記録媒体。

Images