JP7060703B2 - 撮影装置、撮影方法、及びプログラム - Google Patents

Description

本発明は動画を撮影する撮影装置、撮影方法、及びプログラムに関し、特に動画を構成するフレームを静止画として抽出する撮影装置、撮影方法、及びプログラムに関する。

動画を構成するフレームを静止画として抽出する技術が知られている。例えば特許文献１では、動画の撮影中にユーザの指示により静止画取得タイミングで動画にマーキングし、動画撮影終了後にマーキング箇所及びその前後のフレームを動画から抽出及び表示することで、ユーザが動画からの静止画抽出のタイミングを選択し、そのタイミングの動画フレームを静止画として抽出できる旨が記載されている。

特開２０１６－１６７８５５号公報

しかしながら上述した特許文献１では、動画撮影中はマーキング情報が記録されるが、ユーザがマーキングを指示しても静止画が保存されるわけではなく、静止画保存するには動画撮影後に別途ユーザが抽出指示を行う必要がある。また、特許文献１ではマーキング情報が記録されるだけなので、マーキングしたフレームを抽出及び表示する度に動画のデコード（静止画処理）が必要であり、撮像装置への処理負荷が高い。このように、従来の技術は動画から容易に静止画を抽出できるものではなかった。

本発明はこのような事情に鑑みてなされたもので、動画から容易に静止画を抽出できる撮影装置、撮影方法、及びプログラムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮影装置は、動画を撮影する動画撮影部と、動画撮影部で撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成部と、動画から第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成部と、動画ファイル、第１の静止画ファイル、及び、動画ファイルにおける第１のフレームの位置を示す付加情報を記憶する記憶部と、を備える。

第１の態様によれば、動画ファイルに加えて静止画ファイル（第１の静止画ファイル）と付加情報を記憶するので、別途静止画の抽出を行うことは必須ではない。また、抽出の度に必ずデコード（静止画処理）を行うものではないので、デコードの頻度が減る分だけ撮影装置に対する負荷を軽減することができる。また、静止画の抽出を行う場合、動画における静止画ファイルの位置を付加情報に基づいて容易に特定することができる。これにより第１の態様では動画から容易に静止画を抽出することができる。なお、第１の態様及び以下の各態様において、第１の静止画ファイル及び付加情報の記憶処理を動画ファイルの処理（撮影、記憶）と並行して行うことが好ましい。また、記憶する動画ファイルは撮影した動画の一部についてのファイル（部分的な動画ファイル）でもよく、記憶時間を調節することで記憶容量を削減することができる。

なお、第１の態様及び以下の各態様において「動画ファイルにおける第１のフレームの位置を示す付加情報」とは、例えば先頭フレームを基準とした第１のフレームの番号、動画の記憶開始から第１のフレームを取得するまでの経過時間等、動画ファイルを構成する複数のフレームにおいて第１のフレームを特定できる情報であればよい。また、付加情報は動画ファイル及び／または静止画ファイル内に記憶させてもよいし、これらファイルとは別に記憶させてもよい。

第２の態様に係る撮影装置は第１の態様において、付加情報は、さらに動画ファイルと第１の静止画ファイルとの関係を示す情報であって、第１の静止画ファイルと動画ファイルとのうち一方を特定することにより情報を参照して他方が特定される情報を含む。第２の態様によれば、第１の静止画ファイル及び動画ファイルを互いに参照することができ、静止画を抽出したい動画（抽出元の動画）を特定できなくても、付加情報に基づいて静止画から動画を特定することができる。

第３の態様に係る撮影装置は第１または第２の態様において、付加情報は、さらに動画ファイルのファイル名と第１の静止画ファイルのファイル名を含む。第３の態様によれば、動画ファイルと第１の静止画ファイルとの対応関係を容易に把握することができる。なお、動画ファイルと第１の静止画ファイルのファイル名を同一にしてもよい（この場合、拡張子を変えることでファイルを識別することができる）。

第４の態様に係る撮影装置は第１から第３の態様のいずれか１つにおいて、記憶部は、動画ファイルに付加情報を記憶する。付加情報は、例えば動画ファイルのヘッダあるいはフッタに記憶することができる。

第５の態様に係る撮影装置は第１から第４の態様のいずれか１つにおいて、記憶部は、第１の静止画ファイルに付加情報を記憶する。付加情報は、例えば第１の静止画ファイルのヘッダあるいはフッタに記憶することができる。

第６の態様に係る撮影装置は第１から第５の態様のいずれか１つにおいて、記憶部は第１の静止画ファイルを動画ファイルと同じフォルダに記憶する。第６の態様によれば、第１の静止画ファイルと動画ファイルとの対応関係が明確であり、ファイル管理が容易である。

第７の態様に係る撮影装置は第１から第６の態様のいずれか１つにおいて、動画ファイルを指定する動画ファイル指定部と、動画ファイルが指定されると、付加情報を参照して第１の静止画ファイルの画像データを表示装置に表示させる表示制御部と、を備える。これによりユーザは記憶させた静止画（第１の静止画ファイルに対応する画像）を視認することができる。

第８の態様に係る撮影装置は第７の態様において、表示制御部は、第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを示す情報を画像データに重畳表示させる。第８の態様によれば、ユーザは第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを重畳表示により容易に識別することができる。

第９の態様に係る撮影装置は第７または第８の態様において、表示された少なくとも１つ以上の第１の静止画ファイルの画像データから基準画像を選択する操作を受け付ける画像選択部と、選択された基準画像に基づいて、動画ファイルを構成する複数のフレームから第２のフレームを抽出し第２の静止画ファイルを生成する静止画抽出部と、をさらに備える。基準画像のフレームと第２の静止画ファイルはタイミングが同じでもよいし、違っていてもよい。

第１０の態様に係る撮影装置は第９の態様において、表示制御部は、動画ファイルを構成する複数のフレームから基準画像のフレームを含む時間範囲に記憶されたフレームの画像データを表示装置に表示させ、画像選択部は表示された画像データから静止画抽出用画像データを選択する操作を受け付け、静止画抽出部は、複数のフレームのうち選択された静止画抽出用画像データに対応するフレームを第２のフレームとして抽出して第２の静止画ファイルを生成する。ユーザが抽出を希望する静止画の撮影タイミングは基準画像の撮影タイミングとずれている場合があるが、第１０の態様によればユーザは所望のタイミングのフレーム（第２のフレーム）を静止画（第２の静止画ファイル）として抽出することができる。

第１１の態様に係る撮影装置は第９または第１０の態様において、第１の静止画ファイルの画像データは、動画ファイルを構成する複数のフレームの画像データより高画質であり、静止画抽出部は、第２のフレームが記憶された時間と第１のフレームが記憶された時間との差がしきい値以下の場合は、第１の静止画ファイルを用いて第２の静止画ファイルを生成する。動画撮影中に記憶された静止画は動画圧縮がかかっておらず静止画用画像処理も適用可能なため、動画圧縮後の各フレームよりも高画質である。このため、そのような高画質の静止画（第１の静止画ファイル）を用いることにより、高画質な第２の静止画ファイルを生成することができる。なお、記憶時間（記憶タイミング）の差が大きくなると第２の静止画ファイルの画質が低下する可能性があるので、要求される画質に応じてしきい値を設定することが好ましい。また、「高画質」の例としては解像度が高いこと、圧縮率が低い（ゼロすなわち非圧縮でもよい）こと等を挙げることができるが、これらの例に限定されるものではない。静止画ファイルの画像データはＲＡＷデータでもよい。

第１２の態様に係る撮影装置は第９から第１１の態様のいずれか１つにおいて、静止画抽出部は、動画ファイルの第１のフレームと第２のフレームの画像データの差分を第１の静止画ファイルの画像データに加えて第２の静止画ファイルを生成する。第１２の態様は第２の静止画ファイル生成手法の一例を規定するものである。

第１３の態様に係る撮影装置は第１から第６の態様のいずれか１つにおいて、第１の静止画ファイルを指定する静止画ファイル指定部と、第１の静止画ファイルが指定されると、付加情報を参照して動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御部と、をさらに備える。第１３の態様によれば、ユーザは第１のフレームを含む複数のフレームを視認することができる。

第１４の態様に係る撮影装置は第１３の態様において、表示された画像データから１つ以上の画像データを選択する操作を受け付ける画像選択部と、画像選択部で選択された画像データに対応する動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出部と、をさらに備える。第１４の態様によれば、選択された画像データ（ユーザが所望の画像データ）に対応する静止画ファイルを生成することができる。

第１５の態様に係る撮影装置は第１から第１４の態様のいずれか１つにおいて、静止画ファイル生成部は外部からの指示を入力する指示入力部からの入力に応じて第１の静止画ファイルを記憶する。静止画ファイル生成部は、例えばレリーズボタンの押し下げ等のユーザの操作があった場合に「外部からの指示が入力された」と判断して第１の静止画ファイルを記憶することができる。

第１６の態様に係る撮影装置は第１から第１５の態様のいずれか１つにおいて、動画を構成する複数のフレームよりイベントが発生したフレームを検出するイベント検出部をさらに備え、静止画ファイル生成部は検出に応じて第１の静止画ファイルを生成する。第１６の態様ではイベントの検出に応じて第１の静止画ファイルを生成するので、長時間撮影や無人撮影の場合等に好適である。

第１７の態様に係る撮影装置は第１から第１６の態様のいずれか１つにおいて、静止画ファイル生成部は、第１の静止画ファイルを動画ファイルとは少なくとも一部が独立した電気回路で処理する。第１７の態様によれば、第１の静止画ファイルと動画ファイルとを少なくとも一部が独立した電気回路で処理する分、同時処理による負荷を軽減することができる。

上述した目的を達成するため、本発明の第１８の態様に係る撮影方法は、動画を撮影する動画撮影ステップと、動画撮影ステップで撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成ステップと、動画から第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成ステップと、動画ファイル、第１の静止画ファイル、及び、動画ファイルにおける第１のフレームの位置を示す付加情報を記憶する記憶ステップと、を有する。第１８の態様によれば、第１の態様と同様に動画から容易に静止画を抽出することができる。

第１９の態様に係る撮影方法は第１８の態様において、付加情報は、動画ファイルと第１の静止画ファイルとの関係を示す情報であって、第１の静止画ファイルと動画ファイルとのうち一方を特定することにより情報を参照して他方が特定される情報を含む。第１９の態様によれば、付加情報により第１の静止画ファイル及び動画ファイルを互いに参照することができる。

第２０の態様に係る撮影方法は第１８または第１９の態様において、記憶ステップでは、動画ファイルに付加情報を記憶する。付加情報は、例えば動画ファイルのヘッダあるいはフッタに記憶することができる。

第２１の態様に係る撮影方法は第１８から第２０の態様のいずれか１つにおいて、記憶ステップでは、第１の静止画ファイルに付加情報を記憶する。付加情報は、例えば第１の静止画ファイルのヘッダあるいはフッタに記憶することができる。

第２２の態様に係る撮影方法は第１８から第２１の態様のいずれか１つにおいて、動画ファイルを指定する動画ファイル指定ステップと、動画ファイルが指定されると、付加情報を参照して第１の静止画ファイルの画像データを表示装置に表示させる表示制御ステップと、をさらに有する。第２２の態様によれば、第７の態様と同様にユーザは記憶させた静止画（第１の静止画ファイルに対応する画像）を視認することができる。

第２３の態様に係る撮影方法は第２２の態様において、表示制御ステップでは、第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを示す情報を画像データに重畳表示させる。第２３の態様によれば、第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを、重畳表示により容易に識別することができる。

第２４の態様に係る撮影方法は第１８から第２１の態様のいずれか１つにおいて、第１の静止画ファイルを指定する静止画ファイル指定ステップと、第１の静止画ファイルが指定されると、付加情報を参照して動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御ステップと、をさらに有する。第２４の態様によれば、第１３の態様と同様にユーザは第１のフレームを含む複数のフレームを視認することができる。

第２５の態様に係る撮影方法は第２４の態様において、表示された画像データから１つ以上の画像データを選択する操作を受け付ける画像選択ステップと、画像選択ステップで選択された画像データに対応する動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出ステップと、をさらに有する。第２５の態様によれば、第１４の態様と同様に、選択された画像データに対応する静止画ファイルを生成することができる。

上述した目的を達成するため、本発明の第２６の態様に係るプログラムは、第１８から第２５の態様のいずれか１つに係る撮影方法をコンピュータに実行させる。また、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。なお、「コンピュータ」は撮影装置、画像処理装置等の装置において各種プロセッサ等の電気回路により構成することができる。

以上説明したように、本発明の撮影装置、撮影方法、及びプログラムによれば、動画から容易に静止画を抽出することができる。

図１は、第１の実施形態に係るカメラシステムの構成を示す図である。 図２は、画像処理装置の機能構成を示す図である。 図３は、動画及び静止画の記録処理を示すフローチャートである。 図４は、動画及び静止画の記録の様子を示す図である。 図５は、動画と静止画を並行して処理する様子を示す図である。 図６は、静止画抽出処理を示すフローチャートである。 図７は、基準画像を選択する様子を示す図である。 図８は、基準画像を含む時間範囲の画像を表示する様子を示す図である。 図９は、差分による静止画ファイル生成の処理を示すフローチャートである。 図１０は、静止画抽出処理を示す他のフローチャートである。 図１１は、第２の実施形態に係るスマートフォンの外観図である。 図１２は、第２の実施形態に係るスマートフォンの構成を示すブロック図である。

以下、添付図面を参照しつつ、本発明に係る撮影装置、撮影方法、及びプログラムを実施するための形態について詳細に説明する。

＜第１の実施形態＞

＜撮影装置の全体構成＞

図１は第１の実施形態に係るカメラシステム１０（撮影装置）の構成を示す図である。カメラシステム１０は交換レンズ１００（撮影部、撮影装置）及び撮影装置本体２００（撮影装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮影装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

＜交換レンズの構成＞

交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｋ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌを有する。

＜撮影装置本体の構成＞

撮影装置本体２００は、撮像素子２１０（撮影部、動画撮影部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮影部、動画撮影部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮影部、動画撮影部）、及び画像処理装置２４０を備える。撮影装置本体２００は、撮像素子２１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

＜画像処理装置の構成＞

図２は、画像処理装置２４０の機能構成を示す図である。画像処理装置２４０は、動画撮影部２４０Ａ（動画撮影部）、動画ファイル生成部２４０Ｂ（動画ファイル生成部）、動画ファイル指定部２４０Ｃ（動画ファイル指定部）、静止画ファイル生成部２４０Ｄ（静止画ファイル生成部）、静止画ファイル指定部２４０Ｅ（静止画ファイル指定部）、イベント検出部２４０Ｆ（イベント検出部）、画像選択部２４０Ｇ（画像選択部）、静止画抽出部２４０Ｈ（静止画抽出部）、記憶部２４０Ｉ（記憶部）、表示制御部２４０Ｊ（表示制御部）、及びレンズ駆動制御部２４０Ｋ（レンズ駆動制御部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて動画の撮影及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置２４０による処理の詳細は後述する。

画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。

各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

なお、動画ファイル生成部２４０Ｂと静止画ファイル生成部２４０Ｄは、少なくとも一部が独立した電気回路で構成し、静止画ファイル（第１の静止画ファイル）の生成処理を少なくとも一部は動画ファイルの生成処理から独立して行うことが好ましい。これにより処理負荷を軽減することができる（後述）。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮影方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の撮影、記録、表示等に必要なプログラム（本発明に係る撮影方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードを記録することができる。

＜操作部＞

操作部２５０（指示入力部）は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、動画撮影指示、静止画抽出指示等、各種の操作を行うことができる。なお、モニタ２７０（タッチパネル型）を操作部２５０として使用してもよい。

＜記憶装置＞

記憶装置２６０（記憶装置、記憶部）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮影装置本体２００に対し着脱できるタイプを用いることができる。

＜モニタ及びファインダ＞

モニタ２７０（表示装置）はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、撮影条件や付加情報等を表示することができる。モニタ２７０は撮影装置本体２００の背面側、天面側等に配置することができる。また、カメラシステム１０はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、撮影条件や付加情報等を視認することができる。ファインダとしては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。

＜カメラシステムの撮影モード＞

カメラシステム１０は撮影モードとして静止画撮影モード、通常動画撮影モード（第１の動画撮影モード）、静止画抽出用動画撮影モード（第２の動画撮影モード）のいずれかを設定することができる。静止画撮影モード、通常動画撮影モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮影モードでは通常動画撮影モードと撮影条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画）を撮影する。具体的には、静止画抽出用動画撮影モードでは、通常動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または通常動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートはカメラシステム１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮影モードより高くする。

例えばシャッタースピードに関しては、通常動画撮影モードでは記録する動画のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮影モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮影モードではシャッタースピードを通常動画撮影モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮影モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。

上述した静止画抽出用動画撮影モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過とともに状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。

＜静止画抽出用動画撮影モードにおける処理＞

上述した構成のカメラシステム１０における撮影方法について説明する。図３は、静止画抽出用動画撮影モードにおける処理を示すフローチャートである。例えば操作部２５０の図示せぬモードダイヤルの操作によりカメラシステム１０が静止画抽出用動画撮影モードに設定されると、図３の処理が開始される。

＜動画記録指示＞

動画撮影部２４０Ａ（動画撮影部）は動画撮影指示がされたか否かを判断する（ステップＳ１００：動画撮影ステップ、動画ファイル生成ステップ）。例えば操作部２５０の図示せぬレリーズボタンが押し下げされた場合に「動画撮影指示がされた」と判断することができる。判断が肯定されるとステップＳ１１０へ進む。なお、図４の例では時刻０からｔ３まで静止画抽出用動画撮影モードによる撮影が行われるものとしている。

＜動画の撮影及び圧縮記録＞

ステップＳ１１０で、動画撮影部２４０Ａは動画の撮影を開始し（動画撮影ステップ）、動画ファイル生成部２４０Ｂ（動画ファイル生成部）は撮影した動画を圧縮して新たな動画ファイルを生成し（動画ファイル生成ステップ）、記憶部２４０Ｉ（記憶部）は生成された動画ファイルの記憶装置２６０（記憶装置）への記憶を開始する（記憶ステップ）。カメラシステム１０に設けられた図示せぬマイクロフォンにより音声を合わせて収録及び記憶してもよい。動画の圧縮はＭＰＥＧ形式（ＭＰＥＧ２、ＭＰＥＧ４等）で行うことができ、この場合、動画のフレームはＩフレーム、Ｐフレーム、Ｂフレームに分けられる。また、これらのフレームのうち少なくともＩフレームによりＧＯＰ（Group of Picture）が形成される。Ｉフレームはフレームの全ての情報を保持したフレームであり、Ｐフレームは前のＩフレームを参照しないと差分しか表現できないフレームである。Ｂフレームは前後のＩフレーム、Ｐフレーム、Ｂフレームを参照しないと差分しか表現できないフレームである。

＜静止画生成指示＞

静止画ファイル生成部２４０Ｄ（静止画ファイル生成部）は静止画記録指示（静止画ファイルの生成指示）がされたか否かを判断する（ステップＳ１２０：静止画ファイル生成ステップ）。静止画記録指示の判断はＧＯＰ単位で、外部からの指示の入力（ユーザの指示等）に応じて、あるいはイベントの検出に応じて行うことができる。ＧＯＰ単位で判断する場合は、例えば新たなＧＯＰを記録するごとに「静止画記録指示がされた」と判断することができる。外部からの指示の入力に応じて判断する場合、例えば操作部２５０の図示せぬレリーズボタンが押し下げられた場合やモニタ２７０を介した操作がされた場合に「静止画記録指示がされた」と判断することができる。イベント検出に応じて判断する場合は、イベント検出部２４０Ｆ（イベント検出部）が動画を構成するフレームから人物の顔などの特定の被写体を検出した場合、被写体の動きや輝度の変化を検出した場合等に「静止画記録指示がされた」と判断することができる。また、ジャイロや加速度センサ等によりカメラシステム１０の動きを検出しその検出結果に基づいてイベントの発生（及びイベントの検出に応じた静止画記録指示）を判断してもよい。静止画記録指示がされると（ステップＳ１２０の判断が肯定されると；図４の時刻ｔ１，ｔ２）、静止画ファイル生成部２４０Ｄは動画撮影部２４０Ａで撮影した動画を構成する複数のフレームから静止画用フレーム（第１のフレーム）を抽出し第１の静止画ファイルを生成する（ステップＳ１３０：静止画ファイル生成ステップ）。

静止画生成指示をＧＯＰ単位で判断する場合は、高画質な静止画を定期的に取得できるため、記録メディアの容量や静止画処理による消費電力増加が許容できる場合は画質の観点からは最良の選択肢となる。ユーザ指示に応じて判断する場合は、ユーザの意思により静止画を記録するためユーザが静止画抽出の際等に画像を検索しやすい。なお、特定の場合（例えばレリーズボタンを押し続けている場合）に限りＧＯＰ単位の判断とすることにより、上述した容量や消費電力増加への影響を最小限に抑えることができる。イベント検出に応じて判断する場合は、静止画生成を自動で行うことができるため長時間の撮影や無人での撮影に適している。

＜高画質な静止画の生成＞

ステップＳ１３０において、静止画ファイル生成部２４０Ｄは動画を構成するフレームよりも高画質な静止画の静止画ファイルを生成することが好ましい。「高画質な静止画」の例としては解像度が高い画像、動画よりも圧縮率が低い画像（ゼロでもよい）等を挙げることができるが、これらの例に限定されるものではない。また、静止画ファイル生成部２４０Ｄは、静止画ファイルをＲＡＷ画像形式で生成してもよい。「ＲＡＷ画像」とは撮像素子から出力されたデータをデジタル変換して未加工、未圧縮（あるいは可逆圧縮）の状態で記録した画像である。色補間やエンハンスに必要なフィルタ処理を行う必要がなく、記録周期も長いので、ＲＡＷ画像の記録による動画処理への影響は少ない。ＲＡＷ画像はＧＯＰごとに（例えば、ＧＯＰの開始時に）記録してもよい。なお、静止画ファイル生成部２４０Ｄは、静止画ファイルをＲＡＷ画像形式で生成すると場合は、ＲＡＷ画像の簡易表示等を目的にＲＡＷ画像よりも低画質の静止画像（ＪＰＥＧ等）を同時に生成してもよい。

ステップＳ１３０でＲＡＷ画像等の「高画質の静止画」を生成することにより、詳細を後述するように動画や動画から抽出する静止画を高画質化することができる。

＜静止画ファイル及び付加情報の記録＞

記憶部２４０Ｉ（記憶部）は、静止画ファイル（第１の静止画ファイル）を記憶装置２６０に記憶する（ステップＳ１４０：記憶ステップ、図４の時刻ｔ１，ｔ２）。ステップＳ１４０では、また、動画ファイルにおける第１のフレームの位置を示す付加情報を静止画ファイルに記憶する。静止画ファイルのヘッダやフッタに付加情報を記憶することができる。「付加情報」は動画ファイルにおける静止画フレーム（第１のフレーム）の位置を示す情報である。例えば先頭フレームを基準とした第１のフレームの番号、動画の記憶開始から第１のフレームを取得するまでの経過時間等、動画ファイルを構成する複数のフレームにおいて第１のフレームを特定できる情報であればよい。また、付加情報は動画ファイルと第１の静止画ファイルとの関係を示す情報であって、第１の静止画ファイルと動画ファイルとのうち一方を特定することにより情報を参照して他方が特定される情報を含んでいてもよい。例えば、動画ファイルのファイル名と静止画ファイルのファイル名とを表の１つの列と他の列とにそれぞれ割り当てた情報を含んでいてもよい。

動画ファイル、静止画ファイル、及び付加情報の記憶の際に、動画ファイルに時系列順を示す連続番号を含むファイル名（例えば（撮影日＋連続番号））を付して記憶し、静止画ファイルは動画ファイルとファイル名を同じにして拡張子を変えてもよい（例えば、“.mpg”と“.raw”）。また、動画ファイルと、その動画の撮影中に記憶された静止画ファイル（第１の静止画ファイル）とを同じフォルダに記憶してもよい。

第１の実施形態では、このように動画ファイルに加えて静止画ファイル（第１の静止画ファイル）を記憶するので、別途静止画の抽出を行うことは必須ではない。また、抽出の度に必ずデコード（静止画処理）を行うものではないので、デコードの頻度が減る分だけ撮影装置に対する負荷を軽減することができる。また、動画から静止画を抽出する場合、動画における静止画ファイルの位置を付加情報に基づいて容易に特定することができる。

＜付加情報の記憶及び動画の撮影終了＞

動画撮影部２４０Ａ、動画ファイル生成部２４０Ｂ、及び静止画ファイル生成部２４０Ｄ、記憶部２４０Ｉ（イベント検出に応じて静止画記録指示を行う場合はイベント検出部２４０Ｆも）は、動画撮影終了指示があるまで（ステップＳ１５０でＹＥＳになるまで）、ステップＳ１２０からステップＳ１４０までの処理をくり返す。例えば、操作部２５０の図示せぬレリーズボタンが押し下げられた場合にステップＳ１５０の判断を肯定することができる。ステップＳ１５０の判断が肯定されたら、記憶部２４０Ｉが付加情報を動画ファイルに記憶する（ステップＳ１６０：記憶ステップ）。図４の例では時刻ｔ３である。なお、撮影終了時に付加情報を記憶する場合であっても、必ずしも動画ファイルの末尾に記憶する必要はない。記憶するのは動画ファイルのヘッダでもフッタでもよい。付加情報が記憶されたら、動画撮影部２４０Ａ、動画ファイル生成部２４０Ｂ、及び記憶部２４０Ｉは動画の撮影、動画ファイルの生成及び記憶を終了する（ステップＳ１７０）。

＜動画を分割する場合の処理＞

静止画抽出用動画撮影モードでは、動画ファイル生成部２４０Ｂは動画を分割しそれぞれ別の動画ファイルとして保存してもよい。分割は、一定時間間隔（例えば２分間隔）の分割、ＧＯＰ単位での分割、ユーザが設定した時間間隔での分割、ユーザの静止画生成指示に応じた分割、あるいはイベント検出に応じた自動分割でもよい。動画を分割保存する場合、分割に係る動画ファイルの内の第１のフレームを含む動画ファイルと静止画ファイル（第１の静止画ファイル）とを付加情報により参照可能とすることが好ましい。この場合、付加情報は、例えば、「動画の記憶開始からの経過時間」と「分割された動画の内の第１のフレームを含む動画ファイルと静止画ファイルとの関係を特定する情報」でもよい。また、付加情報は、「分割された動画の内の第１のフレームを含む動画ファイルの記憶開始からの経過時間（もしくは第１のフレームを含む動画ファイルにおける第１のフレームのフレーム位置を特定する情報）」等、第１のフレームを含む動画ファイルと静止画ファイルとの関係を特定する情報でもよい。なお、動画を分割保存する場合、分割された動画の内の第１のフレームを含む動画ファイルと、静止画ファイル（第１の静止画ファイル）と静止画ファイルが記憶されていない動画ファイルと、を別フォルダに保存してもよい。なお、複数の静止画ファイル（複数の第１の静止画ファイル）を生成する場合、各静止画ファイルと、各静止画ファイルに対応する各フレーム（第１のフレーム）を含む動画ファイルとを付加情報により参照可能とすることが好ましい。

＜フレーム入替処理＞

動画ファイル生成部２４０Ｂは、ステップＳ１４０でＲＡＷ画像等の高画質な静止画の静止画ファイルが記録されている場合は、その静止画ファイルの画像データを静止画処理（いわゆる「現像処理」等）してＩフレームと同一の形式の画像データに変換し（静止画変換ステップ）、変換した画像データを対応するＧＯＰのＩフレームと入れ替えてもよい（第１の入替ステップ）。動画ファイル生成部２４０Ｂは、上述した付加情報に基づいて入れ替えを行うことができる。

上述した処理を行うことにより、Ｉフレームの入れ替えにより動画のＩフレーム部分が高画質化する。また、被写体が合焦しており動きが少ないものの場合、Ｐフレーム部分及びＢフレーム部分についてもＩフレームを介して高画質化することができる。なお、表示制御部２４０Ｊは入れ替えを実行した状態の動画をモニタ２７０（表示装置）に再生表示させることができ、これによりユーザは高画質化した動画を鑑賞することができる。

＜フレーム入替処理の他の態様＞

動画ファイル生成部２４０Ｂは、入れ替え前のＩフレームと入れ替え後のＩフレームとの差分を算出し（差分算出ステップ）、ＧＯＰを構成するＰフレーム及び／またはＢフレーム（ＧＯＰの構成に依存する）に対し算出した差分を加算する（差分加算ステップ）。このような態様によれば、微少な動きがある被写体について、動いている部分についての差分により、高画質の静止画（ステップＳ１４０で記録され入れ替え用のＩフレームに変換される画像）と入れ替え前のＩフレームとの解像度の差に起因する補正誤差を低減することができる。

動画ファイル生成部２４０Ｂは、Ｐフレーム及び／またはＢフレームの動き情報（例えば、動きベクトル）を算出し（動き情報算出ステップ）、動き情報に基づいて入替後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成することができる（画像生成ステップ）。例えば算出した動き情報（動きベクトル）により「隣接する複数のマクロブロックが同一またはほぼ同一の方向に移動している（動きベクトルが同一またはほぼ同一である）」と判断された場合、動画ファイル生成部２４０Ｂは入れ替え後のＩフレーム（高画質静止画に対応するフレーム）から被写体を抽出し、動きベクトルに合わせて被写体を移動、拡大または縮小、変形等する。このような態様によれば、被写体の動きが大きい場合は、入れ替えにより高画質化したＩフレームを加工することにより、動きのあるＰフレーム及び／またはＢフレームを高画質化することができる。

＜動画と静止画の並行処理＞

上述した動画ファイル、静止画ファイル、及び付加情報の撮影及び記憶に関し、動画ファイル生成部２４０Ｂと静止画ファイル生成部２４０Ｄを少なくとも一部が独立した電気回路で構成し、静止画ファイル（第１の静止画ファイル）の生成処理を少なくとも一部は動画ファイルの生成処理から独立して行うことが好ましい（図５を参照）。なお図５において実線で示す矩形は１フレーム分の処理を示す。このような並行処理により処理負荷を軽減することができる。

＜静止画の抽出＞

以下に説明するように、カメラシステム１０では動画を構成するフレームを静止画として抽出することができる。

＜動画ファイルの指定による静止画の表示＞

図６は静止画抽出処理を示すフローチャートである。動画ファイル指定部２４０Ｃ（動画ファイル指定部）は動画ファイルを指定する操作があったか否か判断する（ステップＳ２００：動画ファイル指定ステップ）。例えば、操作部２５０を介したユーザの指示入力があった場合に「指定操作があった」と判断することができる。ステップＳ２００の判断が肯定されたら（ＹＥＳになったら）、動画ファイル指定部２４０Ｃは操作対象の動画ファイルを静止画抽出元の動画ファイルとして指定し（ステップＳ２１０：動画ファイル指定ステップ）、表示制御部２４０Ｊ（表示制御部）は付加情報を参照して、指定された動画ファイルについて記憶されている静止画ファイル（第１の静止画ファイル）の画像データをモニタ２７０（表示装置）に表示させる（ステップＳ２２０：表示制御ステップ）。なお、静止画抽出の元となる動画は上述したフレームの入れ替えにより高画質化した動画でもよい。また、表示制御部２４０Ｊ（表示制御部）は静止画ファイルがＲＡＷ画像形式の場合は、ＲＡＷ画像と同時に生成されたＲＡＷ画像を簡易表示するための静止画像（ＪＰＥＧ等）をモニタ２７０（表示装置）に表示させてもよい。

図７はモニタ２７０における画像データの表示例を示す図である。図７の例では、４つの画像データについて動画撮影開始から静止画取得までの経過時間を表示している。表示制御部２４０Ｊは、付加情報（動画ファイルにおける静止画フレーム（第１のフレーム）の位置を示す情報）に基づいて経過時間を求めることができる。また、画像データの表示の際に、表示制御部２４０Ｊは静止画ファイル（第１の静止画ファイル）が動画ファイルを構成する複数のフレームから抽出されたことを示す情報を画像データに重畳表示させる。図７の例では「動画ファイル“20180801-1.mpg”（動画ファイルのファイル名）から抽出された静止画です」とのメッセージ１０１０を画像データに重畳表示している。静止画抽出部２４０Ｈ（静止画抽出部）は、表示された基準画像を静止画として抽出してよいか判断する。具体的には、表示された画像データの中に所望のものがある場合、ユーザが表示された基準画像を選択して図７の「決定」ボタンを操作すると、静止画抽出部２４０Ｈは「表示された基準画像を静止画として抽出してよい」と判断し、以下の処理をキャンセルしてその画像を静止画として抽出（印刷、別フォルダに保存等）する。これに対し、「希望の画像に近い基準画像があるが、撮影タイミングが若干ずれている」という場合（ユーザが基準画像に対し不満がある場合）は、以下のように、動画ファイルから静止画ファイルのフレームを含む前後のフレームを表示して、表示したフレームの中から所望のフレームをユーザに選択させることで、基準画像と異なるタイミングにおける静止画を動画から抽出することができる。図７の例では、ユーザが「経過時間が５００ｓｅｃ、１２００ｓｅｃ、２０００ｓｅｃのフレームは被写体の向きが傾いている、一部が映っていない等の理由で見栄えが良くないから、経過時間が７５０ｓｅｃのフレームを基準画像として、その経過時間の近辺でベストなフレームを探そう」と考えた場合について説明する。

＜基準画像の選択＞

画像選択部２４０Ｇは、表示された静止画ファイルの画像データから基準画像を選択する操作を受け付けたか否かを判断し（ステップＳ２３０：基準画像選択ステップ）、受け付けた操作にしたがって基準画像を選択する（ステップＳ２４０：基準画像選択ステップ）。例えば、操作部２５０を介したユーザの指示入力があった場合（図７の例では、画像が選択されて「基準画像として選択」のボタンが操作された場合）に「操作を受け付けた」と判断することができる。

＜静止画抽出用フレームの表示＞

ステップＳ２４０で基準画像が選択されたら、表示制御部２４０Ｊは動画ファイルを構成する複数のフレームのうち基準画像のフレームを含む時間範囲に記憶されたフレームの画像データをモニタ２７０（表示装置）に表示させる（ステップＳ２６０：表示制御ステップ）。図７の例において経過時間が７５０ｓｅｃのフレームが基準画像として選択されたとした場合、表示制御部２４０Ｊは経過時間が７５０±Δｔ（ｓｅｃ）のフレームの画像データを表示させる。例えば、図８のように基準画像１０３０（フレーム番号：Ｎ）とその前後のフレーム１０２０（フレーム番号：Ｎ－１）及びフレーム１０４０（フレーム番号：Ｎ＋１）を表示させる。表示は「基準画像のフレーム及び基準画像より前に記憶されたフレームを含める」態様でもよいし、「基準画像のフレーム及び基準画像より後に記憶されたフレームを含める」態様でもよい。表示する静止画抽出用フレームの範囲はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。また、表示するフレームの範囲を時間で規定（例えば、基準画像のフレームの前後０．５秒ずつ）してもよいし、フレーム数で規定（例えば、基準画像のフレームの前後１０フレームずつ）してもよい。

＜静止画抽出用画像データの選択＞

画像選択部２４０ＧはステップＳ２６０で表示された画像データから静止画抽出用画像データを選択する操作を受け付けて（ステップＳ２７０：画像選択ステップ）、受け付けた操作にしたがって静止画抽出用画像データを選択する（ステップＳ２８０：画像選択ステップ）。ステップＳ２８０では１つ以上の画像データを選択することができ、複数の画像データを選択してもよい。

＜静止画の抽出＞

静止画抽出部２４０Ｈ（静止画抽出部）は、動画を構成する複数のフレームのうちステップＳ２８０で選択された画像データに対応するフレームを第２のフレームとして抽出し静止画ファイル（第２の静止画ファイル）を生成する（ステップＳ２９０：静止画抽出ステップ）。このような処理により、ユーザは、動画から所望のタイミング（動画撮影時の静止画記憶タイミングと異なっていてもよい）で容易に静止画を抽出することができる。また、表示制御部２４０Ｊに選択された基準画像によって決定される範囲の動画ファイルのフレームの画像をモニタ２７０（表示装置）に表示させることで、フレーム間において圧縮されている動画ファイルを構成するフレームの画像をモニタ２７０に表示させる際の画像処理の負荷を低減することが出来る。

なお、動画ファイルはＭＰＥＧ形式等の動画用フォーマットで記憶されている（例えばフレーム間圧縮がされている）ので、静止画抽出部２４０Ｈは静止画ファイル生成の際に第２のフレームのデータを静止画用のフォーマット（ＪＰＥＧ形式等）に変換する。

＜差分処理による静止画ファイルの生成＞

図３について上述した処理で動画撮影中に静止画ファイル（第１の静止画ファイル）が記憶されている場合、その静止画ファイルは動画圧縮がかかっておらず、図５について上述した画像処理も適用可能なため、動画圧縮後の各フレームよりも高画質である。そこで撮影及び記憶された動画からフレームの切り出し（静止画の抽出）を行う際に、記憶された静止画ファイルを用いた画像処理を行うことで、所望のタイミングのフレームの画質を向上させることができる。具体的には、図６のステップＳ２８０で抽出画像が選択された状態で、静止画抽出部２４０Ｈは第２のフレームが記憶された時間と第１のフレームが記憶された時間との差がしきい値以下であるか否か判断する（図９のステップＳ２９２：静止画抽出ステップ）。判断が肯定された場合（時間差がしきい値以下である場合）は、静止画抽出部２４０Ｈは動画ファイルの第１のフレームと第２のフレームの画像データの差分を第１の静止画ファイルの画像データに加えて第２の静止画ファイルを生成する（ステップＳ２９４：静止画抽出ステップ）。一方、ステップＳ２９２の判断が否定された場合は、静止画抽出部２４０Ｈは、ステップＳ２８０で選択された画像データに対応するフレームを第２のフレームとして抽出し第２の静止画ファイルを生成する（ステップＳ２９６：静止画抽出ステップ）。図９に示すような時間差に基づく処理を行う場合、記憶時間（記憶タイミング）の差が大きくなると第２の静止画ファイルの画質が低下する可能性があるので、要求される画質に応じてしきい値を設定することが好ましい。なお、本態様に限定されず、判断が肯定された場合（時間差がしきい値以下である場合）、静止画抽出部２４０Ｈは、静止画ファイル生成部２４０Ｄで生成された静止画ファイル（第１の静止画ファイル）と、動画ファイル生成部２４０Ｂで生成された動画ファイルを構成するフレームの画像（第２のフレームの画像）と、を公知の方法で合成し、第２の静止画ファイルを生成してもよい。また、静止画ファイル生成部２４０Ｄで生成された静止画ファイル（第１の静止画ファイル）がＲＡＷ画像形式の場合は、ＲＡＷ画像形式の静止画ファイルを静止画処理（いわゆる「現像処理」等）した静止画ファイルと、動画ファイル生成部２４０Ｂで生成された動画ファイルを構成するフレームの画像（第２のフレームの画像）と、を公知の方法で合成し、第２の静止画ファイルを生成してもよい。

＜静止画ファイルの指定に基づく静止画の抽出＞

図６に示す態様では、動画ファイルを指定し、指定された動画ファイルについて付加情報を参照して静止画ファイル（第１の静止画ファイル）を表示して静止画として抽出するフレームを決定しているが、第１の実施形態に係るカメラシステム１０では、以下に説明するように静止画ファイルを指定して抽出フレームを決定することも可能である。具体的には、図１０のフローチャートに示すように静止画ファイル指定部２４０Ｅ（静止画ファイル指定部）は静止画ファイルを指定する操作がされたか否かを判断し（ステップＳ２０２：静止画ファイル指定ステップ）、操作がされた場合は操作内容にしたがって静止画ファイルを指定する（ステップＳ２１２：静止画ファイル指定ステップ）。静止画ファイル（第１の静止画ファイル）が指定されると、表示制御部２４０Ｊ（表示制御部）は付加情報を参照して動画ファイルを特定し、図８の例と同様に動画ファイルを構成する複数のフレームの画像データをモニタ２７０（表示装置）に表示させる（ステップＳ２２２：表示制御ステップ）。ステップＳ２２２では、指定された静止画ファイルに対応するフレームを含む時間範囲に記憶されたフレームの画像データを表示することができる。静止画として抽出する画像データの選択操作がされたら（ステップＳ２５２でＹＥＳ：静止画抽出ステップ）、静止画抽出部２４０Ｈは選択された画像データに対応する動画ファイルのフレームを抽出し第２の静止画ファイルを生成する（ステップＳ２９０：静止画抽出ステップ）。

＜付加情報記録のその他の態様＞

上述した第１の実施形態では付加情報を動画ファイル及び静止画ファイル（第１の静止画ファイル）に記憶する態様について説明したが、付加情報の記憶はこのような態様に限定されるものではない。付加情報は動画ファイルと静止画ファイルとのうち一方に対して記憶させてもよいし、動画及び静止画とは独立して（記憶装置２６０に）記憶させてもよい。

＜第２の実施形態＞

第１の実施形態では、デジタルカメラであるカメラシステム１０について説明したが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１１は、本発明の撮影装置の一実施形態であるスマートフォン１（撮影装置）の外観を示すものである。図１１に示すスマートフォン１は、平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、係る筐体２は、スピーカ３１と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１（動画撮影部、動画ファイル生成部、動画ファイル指定部、静止画ファイル生成部、静止画ファイル指定部、イベント検出部、画像選択部、静止画抽出部、記憶部、表示制御部、レンズ駆動制御部）とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

図１２は、図１１に示すスマートフォン１の構成を示すブロック図である。図１２に示すように、スマートフォン１の主たる構成要素として、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Global Positioning System）と、モーションセンサ部８０と、電源部９０と、主制御部１０１（動画撮影部、動画ファイル生成部、動画ファイル指定部、静止画ファイル生成部、静止画ファイル指定部、イベント検出部、画像選択部、静止画抽出部、記憶部、表示制御部、レンズ駆動制御部）とを備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

表示パネル２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

図１１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１１に示すように、例えば、スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ及びビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

ＧＰＳ受信部７０は、主制御部１０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１の位置（緯度、経度、高度）を検出する。ＧＰＳ受信部７０は、無線通信部１１や外部入出力部６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

さらに、主制御部１０１は、表示パネル２１に対する表示制御と、操作部４０、操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンやスクロールバーなどのソフトウェアキー、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部４０を通じたユーザ操作を検出したり、操作パネル２２を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１０１は、操作パネル２２に対する操作位置が、表示パネル２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラ（撮影装置）である。また、カメラ部４１は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１は、主制御部１０１の制御により、動画の分割及び結合、高画質な静止画（ＲＡＷ画像等）の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図１１に示すにスマートフォン１において、カメラ部４１は表示入力部２０と同じ面に搭載されているが、カメラ部４１の搭載位置はこれに限らず、表示入力部２０の背面に搭載されてもよいし、あるいは、複数のカメラ部４１が搭載されてもよい。なお、複数のカメラ部４１が搭載されている場合には、撮影に供するカメラ部４１を切り替えて単独にて撮影することもできるし、あるいは、複数のカメラ部４１を同時に使用して撮影することもできる。

また、カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば、表示パネル２１にカメラ部４１で取得した画像を表示することや、操作パネル２２の操作入力のひとつとして、カメラ部４１の画像を利用することができる。また、ＧＰＳ受信部７０が位置を検出する際に、カメラ部４１からの画像を参照して位置を検出することもできる。さらには、カメラ部４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。その他、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することもできる。

上述した構成のスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様に本発明に係る撮影方法の処理（動画の撮影及び記録、静止画の記録、静止画抽出等）を実行することができる。具体的には、第１の実施形態において画像処理装置２４０（図２に示す各部）が実行する処理をスマートフォン１ではカメラ部４１及び主制御部１０１が実行することにより、本発明に係る撮影方法の処理を行うことができる。その他、第１の実施形態における操作部２５０、記憶装置２６０、モニタ２７０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２によりそれぞれ実現することができる。これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様の効果（動画から容易に静止画をできること等）を得ることができる。

１ スマートフォン

２ 筐体

１０ カメラシステム

１１ 無線通信部

２０ 表示入力部

２１ 表示パネル

２２ 操作パネル

３０ 通話部

３１ スピーカ

３２ マイクロフォン

４０ 操作部

４１ カメラ部

５０ 記憶部

５１ 内部記憶部

５２ 外部記憶部

６０ 外部入出力部

７０ ＧＰＳ受信部

８０ モーションセンサ部

９０ 電源部

１００ 交換レンズ

１０１ 主制御部

１１０ ズームレンズ

１２０ フォーカスレンズ

１３０ 絞り

１４０ レンズ駆動部

２００ 撮影装置本体

２１０ 撮像素子

２２０ ＡＦＥ

２３０ Ａ／Ｄ変換器

２４０ 画像処理装置

２４０Ａ 動画撮影部

２４０Ｂ 動画ファイル生成部

２４０Ｃ 動画ファイル指定部

２４０Ｄ 静止画ファイル生成部

２４０Ｅ 静止画ファイル指定部

２４０Ｆ イベント検出部

２４０Ｇ 画像選択部

２４０Ｈ 静止画抽出部

２４０Ｉ 記憶部

２４０Ｊ 表示制御部

２４０Ｋ レンズ駆動制御部

２４２ ＲＯＭ

２５０ 操作部

２６０ 記憶装置

２７０ モニタ

１０１０ メッセージ

１０２０ フレーム

１０３０ 基準画像

１０４０ フレーム

Ｌ 光軸

Ｓ１００～Ｓ２９６ 撮影方法の各ステップ

ＳＴ１～ＳＴｎ ＧＰＳ衛星

Claims (17)

1. 動画を撮影する動画撮影部と、
   前記動画撮影部で撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成部と、
   前記動画から前記第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成部と、
   前記動画ファイル、前記第１の静止画ファイル、及び、前記動画ファイルにおける前記第１のフレームの位置を示す付加情報を記憶する記憶部と、
   表示された少なくとも１つ以上の前記第１の静止画ファイルの画像データから基準画像を選択する操作を受け付ける画像選択部と、
   前記選択された前記基準画像に基づいて、前記動画ファイルを構成する前記複数のフレームから第２のフレームを抽出し第２の静止画ファイルを生成する静止画抽出部と、
   を備える撮影装置。
2. 前記付加情報は、前記動画ファイルと前記第１の静止画ファイルとの関係を示す情報であって、前記第１の静止画ファイルと前記動画ファイルとのうち一方を特定することにより前記情報を参照して他方が特定される情報を含む請求項１に記載の撮影装置。
3. 前記付加情報は、さらに前記動画ファイルのファイル名と前記第１の静止画ファイルのファイル名を含む請求項１または２に記載の撮影装置。
4. 前記記憶部は、前記動画ファイルに前記付加情報を記憶する請求項１から３のいずれか１項に記載の撮影装置。
5. 前記記憶部は、前記第１の静止画ファイルに前記付加情報を記憶する請求項１から４のいずれか１項に記載の撮影装置。
6. 前記記憶部は前記第１の静止画ファイルを前記動画ファイルと同じフォルダに記憶する請求項１から５のいずれか１項に記載の撮影装置。
7. 前記動画ファイルを構成する前記複数のフレームから前記基準画像のフレームを含む時間範囲に記憶されたフレームの画像データを表示装置に表示させる表示制御部をさらに備え、
   前記画像選択部は前記表示された画像データから静止画抽出用画像データを選択する操作を受け付け、
   前記静止画抽出部は、前記複数のフレームのうち前記選択された前記静止画抽出用画像データに対応するフレームを前記第２のフレームとして抽出して前記第２の静止画ファイルを生成する請求項１から６のいずれか１項に記載の撮影装置。
8. 前記第１の静止画ファイルの画像データは、前記動画ファイルを構成する前記複数のフレームの画像データより高画質であり、
   前記静止画抽出部は、前記第２のフレームが記憶された時間と前記第１のフレームが記憶された時間との差がしきい値以下の場合は、前記第１の静止画ファイルを用いて前記第２の静止画ファイルを生成する請求項１から７のいずれか１項に記載の撮影装置。
9. 前記静止画抽出部は、前記動画ファイルの前記第１のフレームと前記第２のフレームの画像データの差分を前記第１の静止画ファイルの画像データに加えて前記第２の静止画ファイルを生成する請求項１から８のいずれか１項に記載の撮影装置。
10. 前記第１の静止画ファイルが前記動画ファイルを構成する前記複数のフレームから抽出されたことを示す情報を前記画像データに重畳表示させる表示制御部をさらに備える請求項１から６のいずれか１項に記載の撮影装置。
11. 前記第１の静止画ファイルを指定する静止画ファイル指定部と、
    前記第１の静止画ファイルが指定されると、前記付加情報を参照して前記動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御部と、
    をさらに備える請求項１から６のいずれか１項に記載の撮影装置。
12. 前記表示された前記画像データから１つ以上の画像データを選択する操作を受け付ける画像選択部と、
    前記画像選択部で選択された画像データに対応する前記動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出部と、
    をさらに備える請求項１１に記載の撮影装置。
13. 前記静止画ファイル生成部は外部からの指示を入力する指示入力部からの入力に応じて前記第１の静止画ファイルを記憶する請求項１から１２のいずれか１項に記載の撮影装置。
14. 前記動画を構成する複数のフレームよりイベントが発生したフレームを検出するイベント検出部をさらに備え、
    前記静止画ファイル生成部は前記検出に応じて前記第１の静止画ファイルを生成する請求項１から１３のいずれか１項に記載の撮影装置。
15. 前記静止画ファイル生成部は、前記第１の静止画ファイルを前記動画ファイルとは少なくとも一部が独立した電気回路で処理する請求項１から１４のいずれか１項に記載の撮影装置。
16. 動画を撮影する動画撮影ステップと、
    前記動画撮影ステップで撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成ステップと、
    前記動画から前記第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成ステップと、
    前記動画ファイル、前記第１の静止画ファイル、及び、前記動画ファイルにおける前記第１のフレームの位置を示す付加情報を記憶する記憶ステップと、
    表示された少なくとも１つ以上の前記第１の静止画ファイルの画像データから基準画像を選択する操作を受け付ける画像選択ステップと、
    前記選択された前記基準画像に基づいて、前記動画ファイルを構成する前記複数のフレームから第２のフレームを抽出し第２の静止画ファイルを生成する静止画抽出ステップと、
    を有する撮影方法。
17. 請求項１６に係る撮影方法をコンピュータに実行させるプログラム。

Images