JP7003286B2 - 撮影装置、撮影方法、及びプログラム - Google Patents

Description

本発明は動画を撮影する撮影装置、撮影方法、及びプログラムに関し、特に動画を構成するフレームを静止画として抽出する撮影装置、撮影方法、及びプログラムに関する。

動画を構成するフレームを静止画として抽出する技術が知られている。例えば特許文献１では、動画の撮影中にユーザの指示により静止画取得タイミングで動画にマーキングし、動画撮影終了後にマーキング箇所及びその前後の動画フレームを抽出及び表示することで、ユーザが動画からの静止画抽出のタイミングを選択し、そのタイミングの動画フレームを静止画として抽出できる旨が記載されている。

特開２０１６－３２３０３号公報

しかしながら上述した特許文献１のような従来の技術では、動画と動画のフレームから抽出した静止画との関連が把握しづらかった。このような問題は、動画の記録時間が長くなるほど顕著になる。

本発明はこのような事情に鑑みてなされたもので、動画と動画のフレームから抽出した静止画との関係を容易に把握することができる撮影装置、撮影方法、及びプログラムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮影装置は、動画を撮影する撮影部と、動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成部と、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する動画ファイル生成部と、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶部と、を備える。

第１の態様によれば、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成し、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶するので、動画の記録時間が長い場合でも動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。なお第１の態様及び以下の各態様において、静止画ファイルが生成されるタイミングに取得されるフレーム、またはそれ以降に生成されるフレームであって静止画ファイルが生成されるタイミングの近傍で取得されるフレームを第１の動画ファイルの先頭のフレームとして動画を分割することが好ましい。

第２の態様に係る撮影装置は第１の態様において、撮影部は、第１の動画撮影モード、または、第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、動画ファイル生成部は、第２の動画撮影モードが選択された場合に、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する。第２の動画撮影モードでは、静止画に合わせて動画が分割されているため、動画ファイルにおいて、静止画を抽出したフレームを参照することが容易となる。

第３の態様に係る撮影装置は第２の態様において、第２の動画撮影モードは、第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または第１の動画撮影モードに対してフレームレートが高く設定される。第３の態様は、第２の態様における第１，第２の動画撮影モードの撮影条件の相違の一例を具体的に規定するものである。

第４の態様に係る撮影装置は第１から第３の態様のいずれか１つにおいて、静止画ファイル生成部は、静止画ファイルをＲＡＷ画像形式で生成する。「ＲＡＷ画像」とは撮像素子から出力されたデータをデジタル変換して未加工、未圧縮（あるいは可逆圧縮）の状態で記録した画像である。ＲＡＷ画像は圧縮による画質低下がなく、また画像処理が少ないので動画処理への影響が少ない。

第５の態様に係る撮影装置は第１から第４の態様のいずれか１つにおいて、動画ファイル生成部は動画をＭＰＥＧ形式で圧縮し、記憶部は静止画ファイルを第１の動画ファイルのＩフレームに関連付けて記憶する。

第６の態様に係る撮影装置は第１から第５の態様のいずれか１つにおいて、動画ファイル生成部はＩフレーム、Ｐフレーム、及びＢフレームで構成されるＧＯＰごとに動画ファイルを生成する。ＧＯＰ（Group of Picture）は少なくともＩフレームを含む。

第７の態様に係る撮影装置は第６の態様において、動画ファイル生成部は、静止画ファイルをＩフレームと同一の形式の画像データに変換し、変換した画像データを第１のフレームに対応するＧＯＰのＩフレームと入れ替える。

第８の態様に係る撮影装置は第７の態様において、動画ファイル生成部は、ＧＯＰを構成するＰフレーム及び／またはＢフレームに対し、入れ替え前のＩフレームと入れ替え後のＩフレームとの差分を加算する。

第９の態様に係る撮影装置は第７または第８の態様において、動画ファイル生成部は、ＧＯＰを構成するＰフレーム及び／またはＢフレームの動き情報に基づいて入れ替え後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成し、ＧＯＰを構成するＰフレーム及び／またはＢフレームを生成したＰフレーム及び／またはＢフレームで入れ替える。Ｐフレーム及び／またはＢフレームの生成に際して、入れ替え後のＩフレームから被写体を抽出し、動きベクトルに合わせて被写体を移動（平行移動、回転移動）、拡大及び／または縮小、変形してもよい。

第１０の態様に係る撮影装置は第７から第９の態様のいずれか１つにおいて、入れ替えを実行した状態の動画ファイルを表示装置に再生表示させる表示制御部をさらに備える。第１０の態様によれば、ユーザは入れ替えを実行した状態の動画を鑑賞することができる。

第１１の態様に係る撮影装置は第７から第１０の態様のいずれか１つにおいて、入れ替えを実行した状態の動画ファイルを構成するフレームを静止画として抽出する静止画抽出部をさらに備える。第１１の態様によれば、入れ替えを実行した状態の動画から静止画を抽出することができる。静止画を抽出するタイミングは、動画撮影中の静止画記録タイミングと同じでもよいし、違っていてもよい。

第１２の態様に係る撮影装置は第１１の態様において、静止画抽出部は、動画を構成する複数のフレームのうち第１のフレームに対応する静止画抽出用フレームを表示装置に表示させ、表示された静止画抽出用フレームから選択されたフレームを静止画として抽出する。ユーザは所望のタイミングのフレームを静止画として抽出することができる。なお、第１のフレームに対応するフレームの時間的に前及び／または後ろのフレームをさらに表示してもよい。

第１３の態様に係る撮影装置は第１から第１２の態様のいずれか１つにおいて、動画ファイル生成部は、第１のフレームを先頭フレームとして動画を分割する。

第１４の態様に係る撮影装置は第１から第１３の態様のいずれか１つにおいて、動画ファイル生成部は、第１のフレームの動画ファイルを生成せず、２つの動画ファイルの間に静止画ファイルを挿入して動画ファイルと静止画ファイルとを連結する。第１４の態様によれば、動画と静止画とを同時処理することによる負荷を軽減することができる。

第１５の態様に係る撮影装置は第１から第１４の態様のいずれか１つにおいて、記憶部は、第１の動画ファイルと静止画ファイルのファイル名を同一にして記憶する。第１５の態様によれば、動画ファイルと静止画ファイルとの対応が明確で両者の関係を容易に把握することができる。なお動画ファイルと静止画ファイルとで拡張子を異なるものにしてもよい。

第１６の態様に係る撮影装置は第１から第１５の態様のいずれか１つにおいて、静止画ファイル生成部はユーザの静止画生成指示に応じて静止画ファイルを生成する。第１６の態様によれば、ユーザは所望のタイミングで静止画を記録することができる。

第１７の態様に係る撮影装置は第１から第１６の態様のいずれか１つにおいて、動画を構成する複数のフレームからイベントを検出するイベント検出部をさらに備え、静止画ファイル生成部はイベントの検出に応じて静止画ファイルを生成する。第１７の態様ではイベントの検出に応じて静止画を記録するので、長時間撮影、無人撮影の場合等に好適である。

上述した目的を達成するため、本発明の第１８の態様に係る撮影方法は、動画を撮影する撮影ステップと、動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成ステップと、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する動画ファイル生成ステップと、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶ステップと、を有する。第１８の態様によれば、第１の態様と同様に、動画の記録時間が長くても動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。なお第１８の態様及び以下の各態様において、静止画ファイルが生成されるタイミングに取得されるフレーム、またはそれ以降に生成されるフレームであって静止画ファイルが生成されるタイミングの近傍で取得されるフレームを第１の動画ファイルの先頭のフレームとして動画を分割することが好ましい。

第１９の態様に係る撮影方法は第１８の態様において、撮影ステップでは、第１の動画撮影モード、または、第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、動画ファイル生成ステップでは、第２の動画撮影モードが選択された場合に、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する。

第２０の態様に係る撮影方法は第１９の態様において、第２の動画撮影モードは、第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または第１の動画撮影モードに対してフレームレートが高く設定される。

第２１の態様に係る撮影方法は第１８から第２０の態様のいずれか１つにおいて、静止画ファイル生成ステップでは、静止画ファイルをＲＡＷ画像形式で生成する。

第２２の態様に係る撮影方法は第１８から第２１の態様のいずれか１つにおいて、動画ファイル生成ステップでは動画をＭＰＥＧ形式で圧縮し、記憶ステップでは、静止画ファイルを第１の動画ファイルのＩフレームに関連付けて記憶する。

上述した目的を達成するため、本発明の第２３の態様に係るプログラムは、第１８から第２２の態様のいずれか１つに係る撮影方法を撮影装置に実行させる。また、このプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

以上説明したように、本発明の撮影装置、撮影方法、及びプログラムによれば、動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。

図１は、第１の実施形態に係るカメラシステムの構成を示す図である。 図２は、画像処理装置の機能構成を示す図である。 図３は、動画及び静止画の記録処理を示すフローチャートである。 図４は、動画及び静止画の記録の様子を示す概念図である。 図５は、動画合成処理を示すフローチャートである。 図６は、動画合成処理の様子を示す概念図である。 図７は、動画合成処理を示す他のフローチャートである。 図８は、動画合成処理を示すさらに他のフローチャートである。 図９は、被写体の動きに応じた処理を行う様子を示す図である。 図１０は、動画ファイル間に静止画ファイルを挿入して連結する様子を示す概念図である。 図１１は、静止画抽出用フレームを表示した様子を示す図である。 図１２は、第２の実施形態に係るスマートフォンの外観図である。 図１３は、第２の実施形態に係るスマートフォンの構成を示すブロック図である。

以下、添付図面を参照しつつ、本発明に係る撮影装置、撮影方法、及びプログラムを実施するための形態について詳細に説明する。

＜第１の実施形態＞

＜撮影装置の全体構成＞

図１は第１の実施形態に係るカメラシステム１０（撮影装置）の構成を示す図である。カメラシステム１０は交換レンズ１００（撮影部、撮影装置）及び撮影装置本体２００（撮影装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮影装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

＜交換レンズの構成＞

交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｇ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌ１を有する。

＜撮影装置本体の構成＞

撮影装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮像部）、及び画像処理装置２４０を備える。撮影装置本体２００は、撮像素子２１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

＜画像処理装置の構成＞

図２は、画像処理装置２４０の機能構成を示す図である。画像処理装置２４０は、撮影部２４０Ａ（撮影部）、動画ファイル生成部２４０Ｂ（動画ファイル生成部）、静止画ファイル生成部２４０Ｃ（静止画ファイル生成部）、イベント検出部２４０Ｄ（イベント検出部）、表示制御部２４０Ｅ（表示制御部）、静止画抽出部２４０Ｆ（静止画抽出部）、及びレンズ駆動制御部２４０Ｇ（レンズ駆動制御部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて動画の撮影及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置２４０による処理の詳細は後述する。

画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮影方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の撮影、記録、表示等に必要なプログラム（本発明に係る撮影方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。

＜操作部＞

操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、動画撮影指示、静止画抽出指示等、各種の操作を行うことができる。なお、モニタ２７０（タッチパネル型）を操作部２５０として使用してもよい。

＜記憶部＞

記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮影装置本体２００に対し着脱できるタイプを用いることができる。

＜モニタ及びファインダ＞

モニタ２７０（表示装置）はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ２７０は撮影装置本体２００の背面側、天面側等に配置することができる。カメラシステム１０はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、静止画抽出用フレーム等を視認することができる。ファインダとしては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。

＜カメラシステムの撮影モード＞

カメラシステム１０は撮影モードとして静止画撮影モード、通常動画撮影モード（第１の動画撮影モード）、静止画抽出用動画撮影モード（第２の動画撮影モード）のいずれかを設定することができる。静止画撮影モード、通常動画撮影モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮影モードでは通常動画撮影モードと撮影条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画）を撮影する。具体的には、静止画抽出用動画撮影モードでは、通常動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または通常動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートはカメラシステム１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮影モードより高くする。

例えばシャッタースピードに関しては、通常動画撮影モードでは記録する動画のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮影モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮影モードではシャッタースピードを通常動画撮影モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮影モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。

上述した静止画抽出用動画撮影モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。

＜動画及び静止画の記憶＞

上述した構成のカメラシステム１０における撮影方法について説明する。図３は、静止画抽出用動画撮影モードにおける処理を示すフローチャートである。例えば操作部２５０の図示せぬモードダイヤルの操作によりカメラシステム１０が静止画抽出用動画撮影モードに設定されると、図３の処理が開始される。

＜動画記録指示＞

撮影部２４０Ａ及び動画ファイル生成部２４０Ｂは動画撮影指示がされたか否かを判断する（ステップＳ１００：撮影ステップ、動画ファイル生成ステップ）。例えば操作部２５０の図示せぬレリーズボタンが押し下げされた場合に「動画撮影指示がされた」と判断することができる。判断が肯定されるとステップＳ１１０へ進む。

＜動画の撮影及び圧縮記録＞

ステップＳ１１０で、撮影部２４０Ａは動画の撮影を開始し（撮影ステップ）、動画ファイル生成部２４０Ｂは撮影した動画を圧縮して新たな動画ファイルとして記憶を開始する（動画ファイル生成ステップ）。カメラシステム１０に設けられた図示せぬマイクロフォンにより音声を合わせて収録及び記憶してもよい。動画の圧縮はＭＰＥＧ形式（ＭＰＥＧ２、ＭＰＥＧ４等）で行うことができ、この場合、動画のフレームはＩフレーム、Ｐフレーム、Ｂフレームに分けられる。またこれらのフレームのうち少なくともＩフレームによりＧＯＰ（Group of Picture）が形成される。Ｉフレームはフレームの全ての情報を保持したフレームであり、Ｐフレームは前のＩフレームを参照しないと差分しか表現できないフレームである。Ｂフレームは前後のＩフレーム、Ｐフレーム、Ｂフレームを参照しないと差分しか表現できないフレームである。

＜静止画生成指示＞

静止画ファイル生成部２４０Ｃは静止画生成指示（静止画ファイルの生成指示）がされたか否かを判断する（ステップＳ１２０：静止画ファイル生成ステップ）。静止画生成指示の判断はＧＯＰ単位で、ユーザの指示に応じて、あるいはイベントの検出に応じて行うことができる。ＧＯＰ単位で判断する場合は、例えば新たなＧＯＰを記録するごとに「静止画生成指示がされた」と判断することができる。ユーザ指示に応じて判断する場合、例えば操作部２５０の図示せぬレリーズボタンが押し下げられた場合やモニタ２７０を介した操作がされた場合に「ユーザ指示により静止画生成指示がされた」と判断することができる。イベント検出に応じて判断する場合は、イベント検出部２４０Ｄが動画を構成するフレームから人物の顔などの特定の被写体を検出した場合、被写体の動きや輝度の変化を検出した場合等に「静止画生成指示がされた」と判断することができる。また、ジャイロや加速度センサ等によりカメラシステム１０の動きを検出しその検出結果に基づいてイベントの発生（及びイベントの検出に応じた静止画生成指示）を判断してもよい。

静止画生成指示をＧＯＰ単位で判断する場合は、高画質な静止画を定期的に取得できるため、記録メディアの容量や静止画処理による消費電力増加が許容できる場合は画質の観点からは最良の選択肢となる。ユーザ指示に応じて判断する場合は、ユーザの意思により静止画を記録するためユーザが静止画抽出の際等に画像を検索しやすい。なお、特定の場合（例えばレリーズボタンを押し続けている場合）に限りＧＯＰ単位の判断とすることにより、上述した容量や消費電力増加への影響を最小限に抑えることができる。イベント検出に応じて判断する場合は、静止画生成を自動で行うことができるため長時間の撮影や無人での撮影に適している。

＜動画の分割＞

静止画生成指示がされた場合、動画ファイル生成部２４０Ｂは動画ファイルの記憶をいったん終了する（ステップＳ１３０：動画ファイル生成ステップ）。そして静止画ファイルの生成に合わせて分割動画ごとにファイルを新たに生成することにより、静止画ファイルに対応する動画のフレーム（第１のフレーム）を先頭フレームとして動画を分割する（後述する図４を参照）。動画の分割においては、静止画ファイルに対応するフレーム以降に取得されるフレームであって静止画ファイルが生成されるタイミングの近傍で取得されるフレームを新たな動画ファイルの先頭のフレームとしてもよい。また、静止画ファイルに対応するフレーム以降に取得されるフレームであって、静止画ファイルが生成されるタイミングに最も近いＩフレームを動画ファイルの先頭のフレームとしてもよい。また、動画をＭＰＥＧ形式で圧縮する場合、ＧＯＰ単位で動画ファイルを生成してもよい。

図４は動画の分割記録の様子を示す図である。動画のフレームがフレーム１００１，１００２，１００３，１００４，１００５…（フレーム番号がＮ－２、Ｎ－１、Ｎ、Ｎ＋１、…）のように連続している状況において静止画の生成タイミングがフレーム１００３（フレーム番号Ｎ）のタイミングである場合、動画ファイル生成部２４０Ｂは動画ファイル１０１０の記録をフレーム１００２（フレーム番号Ｎ－１）まで終了して動画を分割し、フレーム番号Ｎからのフレームを新たな動画ファイル１０２０（第１の動画ファイル）として圧縮して記憶する。すなわち、フレーム１００３（フレーム番号Ｎ；第１のフレーム）が分割に係る新たな動画ファイル１０２０の先頭フレームとなり、新たな動画ファイル１０２０（第１の動画ファイル）にはフレーム１００３（フレーム番号Ｎ；第１のフレーム）が含まれる。一方、静止画ファイル生成部２４０Ｃは、動画を構成する複数のフレームからフレーム１００３（フレーム番号Ｎ；第１のフレーム）を抽出し、静止画ファイル１００６を生成する（後述）。なお、本態様では、静止画ファイルが生成される度に動画が分割されることから、分割された複数の動画ファイルが生成されることとなる。そして記憶部は生成された複数の動画ファイルと複数の静止画ファイル（複数の第１のフレーム）をそれぞれ後述の方法で関連付けて記憶する。

動画の分割方法には、ヘッダやフッタが付加された形式の汎用的なフォーマットとする方法、及び分割前後で連続して再生することを前提にした動画フォーマット中のフレームの切れ目で動画を分割する方法がある。前者の方法では分割した動画のファイルのみ読み込んで再生することができるために高速に再生を開始できる。また、必要な動画ファイル以外を削除しても再生が可能である。一方、後者の方法では、ヘッダやフッタの処理が必要ないため連続動画記録と同じリアルタイム処理で対応可能である。

＜高画質な静止画の記録＞

静止画ファイル生成部２４０Ｃは、１つの動画ファイル（上述した分割動画の動画ファイル；動画ファイル１０２０）の生成及び記憶に要する時間より短い時間内に、動画を構成するフレーム（例えば、フレーム１００３）よりも高画質な静止画の静止画ファイルを生成する。このような静止画の記録処理により静止画の生成及び記憶に対して動画の１フレーム分よりも長い時間を掛けられ、処理負荷が高い高画質の静止画を記憶することができる。「高画質な静止画」の例としては解像度が高い画像、動画よりも圧縮率が低い画像（ゼロでもよい）等を挙げることができるが、これらの例に限定されるものではない。また、静止画ファイル生成部２４０Ｃは、静止画ファイル１００６をＲＡＷ画像形式で生成してもよい。「ＲＡＷ画像」とは撮像素子から出力されたデータをデジタル変換して未加工、未圧縮（あるいは可逆圧縮）の状態で記録した画像である。色補間やエンハンスに必要なフィルタ処理を行う必要がなく、記録周期も長いので、ＲＡＷ画像の記録による動画処理への影響は少ない。ＲＡＷ画像はＧＯＰごとに（例えば、ＧＯＰの開始時に）記録してもよい。また、静止画ファイル生成部２４０Ｃは、静止画ファイル１００６に対し静止画処理（いわゆる「現像処理」等）を行ってもよい。静止画ファイル生成部２４０Ｃは、静止画処理において、動画ファイル生成部２４０Ｂとは異なる色補正処理（ホワイトバランス補正等）を行ってもよく、例えば、ユーザが予め設定した静止画用の色補正の設定に基づいて色補正処理を行うことが出来る。

なお、上述したＲＡＷ画像等の「高画質の静止画」は、詳細を後述するように動画から抽出する静止画の高画質化に用いることができる。

＜静止画ファイルと動画ファイルとの関連付け＞

静止画ファイル生成部２４０Ｃは上述した静止画ファイル１００６（高画質の静止画についての静止画ファイル）を動画ファイル１０２０（第１の動画ファイル）に関連付けて記憶する（ステップＳ１４０：記憶ステップ）。動画の圧縮及び記憶をＭＰＥＧ形式で行う場合は、静止画ファイル１００６をＧＯＰの先頭のＩフレーム（フレーム１００３）に関連付けて記憶してもよい。関連づけの方法としては、（１）ファイル名による関連付け、（２）タイムスタンプによる関連付け、（３）ヘッダにファイル名を記録して関連付け、（４）ヘッダにヘッダ記載ＩＤ番号を記載して関連付け、等を挙げることができる。また、動画ファイル（第１の動画ファイル）を構成するフレームにおけるＩフレームであって、上述した静止画ファイル（第１のフレームに基づく高画質の静止画についての静止画ファイル）の記憶タイミングと最も近いタイミングで取得されたＩフレームの位置を示す情報を上述した方法により静止画ファイルと関連付けて記憶してもよい。これにより動画からのフレーム抽出が容易になる。（１）のファイル名による関連付けを行う場合、動画ファイル生成部２４０Ｂは分割動画の動画ファイルに対し時系列順を示す連続番号を含むファイル名（例えば（撮影日＋連続番号）とすることができるが、これに限定されない）を付して記録し、静止画ファイル生成部２４０Ｃは静止画ファイルのファイル名を関連付けがされる動画ファイルのファイル名と同一にして記録することができる。この場合、拡張子を変えればよい（例えば、“.mpg”と“.raw”）。関連づけの際に、一連の分割動画と、その動画の撮影中に記憶された静止画とを同一フォルダに記憶してもよい。

上述した関連付けにより、ユーザは動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。

撮影部２４０Ａ、動画ファイル生成部２４０Ｂ、及び静止画ファイル生成部２４０Ｃ（イベント検出に応じて静止画記録指示を行う場合はイベント検出部２４０Ｄも）は、動画記録終了指示があるまで（ステップＳ１５０でＹＥＳになるまで）ステップＳ１２０からステップＳ１４０までの処理をくり返す。例えば、操作部２５０の図示せぬレリーズボタンが押し下げられた場合にステップＳ１５０の判断を肯定することができる。ステップＳ１５０の判断が肯定されたら、撮影部２４０Ａ及び動画ファイル生成部２４０Ｂは動画の撮影及び動画ファイルの記憶を終了する（ステップＳ１６０）。

＜動画合成処理＞

上述した動画及び静止画の記憶処理により記憶された動画の合成処理について説明する。図５は動画の合成処理を示すフローチャートである。動画ファイル生成部２４０Ｂは、ステップＳ１４０で記録されたＲＡＷ画像等の静止画ファイル１００６（高画質な静止画）を静止画処理（いわゆる「現像処理」等）してＩフレームと同一の形式の画像データに変換し（ステップＳ２００：静止画変換ステップ、動画合成ステップ）、変換した静止画を対応するＧＯＰのＩフレーム（フレーム１００３）と入れ替える（ステップＳ２１０：第１の入替ステップ、動画合成ステップ）。そして動画ファイル生成部２４０Ｂは分割して記録した動画のファイル（Ｉフレームの入れ替え後）を時系列順に連結して記憶する。

例えば、図６に示すようにフレーム番号Ｎ－１までのフレームで構成される動画ファイル１０１０とフレーム番号Ｎから始まるフレームで構成される動画ファイル１０２０が存在する場合、動画ファイル生成部２４０Ｂはフレーム番号Ｎの記憶タイミングで記憶されたＲＡＷ画像（静止画ファイル１００６）をＩフレームと同一の形式に変換してフレーム番号ＮのＩフレーム（フレーム１００３；ＧＯＰの先頭）と入れ替え、動画ファイル１０１０と入れ替え後の動画ファイル１０２０とを連結する。動画ファイル生成部２４０Ｂは、上述した関連付けの情報（ファイル名、ヘッダ、フッタ、タイムスタンプ等）に基づいて入れ替え及び連結を行うことができる。

上述した処理を行うことにより、Ｉフレームの入れ替えにより動画のＩフレーム部分が高画質化する。また、被写体が合焦しており動きが少ないものの場合、Ｐフレーム部分及びＢフレーム部分についてもＩフレームを介して高画質化することができる。なお、表示制御部２４０Ｅは入れ替え及び連結を実行した状態の動画をモニタ２７０（表示装置）に再生表示させることができ、これによりユーザは高画質化した動画を鑑賞することができる。

＜動画合成処理の他の態様＞

図７は動画合成処理の他の態様を示すフローチャートである。図５と同様の処理を行うステップについては同一のステップ番号を付し、詳細な説明を省略する。動画ファイル生成部２４０Ｂは、ステップＳ２００に続いて入れ替え前のＩフレームと入れ替え後のＩフレームとの差分を算出し（ステップＳ２０２：差分算出ステップ、動画合成ステップ）、ＧＯＰを構成するＰフレーム及び／またはＢフレーム（ＧＯＰの構成に依存する）に対し算出した差分を加算する（ステップＳ２１２：差分加算ステップ、動画合成ステップ）。加算後は、図５の場合と同様に動画ファイルを連結する。このような態様によれば、微少な動きがある被写体について、動いている部分についての差分により、高画質の静止画（ステップＳ１４０で記録され入れ替え用のＩフレームに変換される画像）と入れ替え前のＩフレームとの解像度の差に起因する補正誤差を低減することができる。

図８は動画合成処理のさらに他の態様を示すフローチャートである。図５，７と同様の処理を行うステップについては同一のステップ番号を付し、詳細な説明を省略する。動画ファイル生成部２４０Ｂは、Ｐフレーム及び／またはＢフレームの動き情報（例えば、動きベクトル）を算出し（ステップＳ２０４：動き情報算出ステップ、動画合成ステップ）、動き情報に基づいて入替後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成する（ステップＳ２１４：画像生成ステップ、動画合成ステップ）。ステップＳ２１４では、例えば算出した動き情報（動きベクトル）により「隣接する複数のマクロブロックが同一またはほぼ同一の方向に移動している（動きベクトルが同一またはほぼ同一である）」と判断された場合、動画ファイル生成部２４０Ｂは入れ替え後のＩフレーム（高画質静止画に対応するフレーム）から被写体を抽出し、動きベクトルに合わせて被写体を移動、拡大または縮小、変形等する。図９の（ａ）部分は同一の動きベクトルに合わせて被写体の移動を行う様子を示す図であり、図９の（ｂ）部分は被写体の移動と変形を行う様子を示す図である。なお、図９中の点線は移動、変形等をする前の被写体を示しており、矢印は各部分における動きベクトルを示している。動画ファイル生成部２４０Ｂは、ＧＯＰを構成するＰフレーム及び／またはＢフレーム（ＧＯＰの構成に依存する）を、加工により生成したＰフレーム及び／またはＢフレームで入れ替える（ステップＳ２１６：第２の入替ステップ、動画合成ステップ）。このような態様によれば、被写体の動きが大きい場合は、入れ替えにより高画質化したＩフレームを加工することにより、動きのあるＰフレーム及び／またはＢフレームを高画質化することができる。

＜動画ファイル連結の他の態様＞

動画ファイルの連結については、動画ファイルを時系列順に連結して記録する態様について説明した（図５，６を参照）が、他の態様により動画ファイルを連結することもできる。例えば図１０に示すように、動画ファイル生成部２４０Ｂは静止画ファイル１００６を記録するタイミング（図１０の例ではフレーム番号Ｎ）では動画のフレームを記録せず、分割動画の２つの動画ファイル（フレーム番号Ｎ－１までの動画ファイル１０１０と、フレーム番号Ｎ＋１から始まる動画ファイル１０３０）の間に静止画ファイル１００６を挿入して動画ファイル１０１０，１０３０と静止画ファイル１００６とを連結してもよい。

＜静止画の抽出＞

以下に説明するように、カメラシステム１０では動画を構成するフレームを静止画として抽出することができる。

＜静止画抽出用フレームの表示＞

具体的には、静止画抽出部２４０Ｆは動画を構成するフレームのうち、記憶した静止画ファイルに対応するフレームを含む静止画抽出用フレームを表示装置に表示させる。例えば図４のように動画のフレーム番号Ｎに対応して高画質の静止画が記憶された場合、静止画抽出部２４０Ｆは上述の処理（Ｉフレーム、Ｐフレーム、Ｂフレームの入れ替え等）により高画質化した動画を構成するフレームのうち、フレーム番号Ｎのフレームを含むフレームを、静止画抽出用フレームとしてモニタ２７０（表示装置）に表示させる。図１１はそのような表示の例であり、フレーム番号Ｎのフレーム１０５２を含む５つのフレーム１０５１～１０５５（フレーム番号Ｎ－１～Ｎ＋３）が表示されている。また、静止画が記録されたフレーム１０５２（フレーム番号Ｎ）については、静止画抽出部２４０Ｆによりカメラ状のアイコン１０６０が付されており、ユーザは静止画が記録されたフレームであることを把握することができる。

なお、表示する静止画抽出用フレームの範囲は「記録した静止画ファイルに対応するフレーム」（図１１の例ではフレーム番号Ｎのフレーム１０５２）に対し時間的に前のフレーム（フレーム１０５１）及び後のフレーム（フレーム１０５３～１０５５）を含めてもよいし、「時間的に前のフレームだけを含める」態様あるいは「時間的に後のフレームだけを含める」態様でもよい。表示する静止画抽出用フレームの範囲はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。また、表示するフレームの範囲を時間で規定（例えば、静止画が記録されたフレームの前後１秒ずつ）してもよいし、フレーム数で規定（例えば、静止画が記録されたフレームの前後の１０フレームずつ）してもよい。また、初期状態では静止画として記録されたフレームのみを一覧表示し、その中から選択されたフレームについて時間的に前及び／または後ろのフレームを表示してもよい。表示制御部２４０Ｅに初期状態で静止画として記録されたフレームのみを表示させ、選択されたフレームから動画ファイルの表示するフレームを決定することにより、フレーム間圧縮されている動画ファイルをモニタ２７０（表示装置）に表示する際の処理負荷を軽減することができる。

＜抽出するフレームの選択＞

ユーザは、表示された静止画抽出用フレームからフレームを選択することができる。図１１の例では、ユーザは操作部２５０及び／またはモニタ２７０を介して所望のフレームに対するチェックボックス１０７０をチェックすることによりフレームを選択することができ、複数のフレームを選択することもできる。なお、静止画が記録されたフレームが必ずしもベストのタイミングで記録されたとは限らず、ユーザが他のフレームを選択したいと思う場合もあるので、静止画が記録されたフレームに加えてその前及び／または後ろのフレームから選択できるようにすることが好ましい。図１１では、静止画が記録されたフレーム（アイコン１０６０が付されたフレーム１０５２）と異なるフレーム１０５３をユーザが選択した状態を示している。

＜静止画の抽出＞

静止画抽出部２４０Ｆは、モニタ２７０に表示された静止画抽出用フレームから選択されたフレームを静止画として抽出する。なお、動画ファイルはＭＰＥＧ形式等の動画用フォーマットで記憶されているので、静止画抽出部２４０Ｆは選択されたフレームのデータを静止画用のフォーマット（ＪＰＥＧ形式等）に変換する。ユーザは、上述した動画合成処理により高画質化した動画から、所望のタイミングで高画質な静止画を抽出することができる。

＜第２の実施形態＞

第１の実施形態では、デジタルカメラであるカメラシステム１０について説明したが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１２は、本発明の撮影装置の一実施形態であるスマートフォン１（撮影装置）の外観を示すものである。図１２に示すスマートフォン１は、平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、係る筐体２は、スピーカ３１と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１（撮影装置、撮影部、動画ファイル生成部、静止画ファイル生成部、イベント検出部、表示制御部、静止画抽出部、レンズ駆動制御部）とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

図１３は、図１２に示すスマートフォン１の構成を示すブロック図である。図１３に示すように、スマートフォン１の主たる構成要素として、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Global Positioning System）と、モーションセンサ部８０と、電源部９０と、主制御部１０１（撮影部、動画ファイル生成部、静止画ファイル生成部、イベント検出部、表示制御部、静止画抽出部、レンズ駆動制御部）とを備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

表示パネル２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１２に示すように、例えば、スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ及びビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

ＧＰＳ受信部７０は、主制御部１０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１の位置（緯度、経度、高度）を検出する。ＧＰＳ受信部７０は、無線通信部１１や外部入出力部６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

さらに、主制御部１０１は、表示パネル２１に対する表示制御と、操作部４０、操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンやスクロールバーなどのソフトウェアキー、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部４０を通じたユーザ操作を検出したり、操作パネル２２を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１０１は、操作パネル２２に対する操作位置が、表示パネル２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラ（撮影装置）である。また、カメラ部４１は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１は、主制御部１０１の制御により、動画の分割及び結合、高画質な静止画（ＲＡＷ画像等）の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図１２に示すにスマートフォン１において、カメラ部４１は表示入力部２０と同じ面に搭載されているが、カメラ部４１の搭載位置はこれに限らず、表示入力部２０の背面に搭載されてもよいし、あるいは、複数のカメラ部４１が搭載されてもよい。なお、複数のカメラ部４１が搭載されている場合には、撮影に供するカメラ部４１を切り替えて単独にて撮影することもできるし、あるいは、複数のカメラ部４１を同時に使用して撮影することもできる。

また、カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば、表示パネル２１にカメラ部４１で取得した画像を表示することや、操作パネル２２の操作入力のひとつとして、カメラ部４１の画像を利用することができる。また、ＧＰＳ受信部７０が位置を検出する際に、カメラ部４１からの画像を参照して位置を検出することもできる。さらには、カメラ部４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。その他、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することもできる。

上述した構成のスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様に本発明に係る撮影方法の処理（動画の撮影及び記録、静止画の記録、動画合成、静止画抽出等）を実行することができる。具体的には、第１の実施形態において画像処理装置２４０（図２に示す各部）が実行する処理をスマートフォン１ではカメラ部４１及び主制御部１０１が実行することにより、本発明に係る撮影方法の処理を行うことができる。その他、第１の実施形態における操作部２５０、記憶部２６０、モニタ２７０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２によりそれぞれ実現することができる。これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様の効果（動画撮影中に高画質の静止画を記録できること、動画を分割して記録できること、静止画抽出用の動画と動画撮影中に記録した静止画との関係を容易に把握することができること、処理負荷が高い高画質の静止画を記録することができること、動画を高画質化できること、動画ファイルを連結できること、ユーザが所望のタイミングのフレームを静止画として抽出できること等）を得ることができる。

１ スマートフォン

２ 筐体

１０ カメラシステム

１１ 無線通信部

２０ 表示入力部

２１ 表示パネル

２２ 操作パネル

３０ 通話部

３１ スピーカ

３２ マイクロフォン

４０ 操作部

４１ カメラ部

５０ 記憶部

５１ 内部記憶部

５２ 外部記憶部

６０ 外部入出力部

７０ ＧＰＳ受信部

８０ モーションセンサ部

９０ 電源部

１００ 交換レンズ

１０１ 主制御部

１１０ ズームレンズ

１２０ フォーカスレンズ

１３０ 絞り

１４０ レンズ駆動部

２００ 撮影装置本体

２１０ 撮像素子

２２０ ＡＦＥ

２３０ Ａ／Ｄ変換器

２４０ 画像処理装置

２４０Ａ 撮影部

２４０Ｂ 動画ファイル生成部

２４０Ｃ 静止画ファイル生成部

２４０Ｄ イベント検出部

２４０Ｅ 表示制御部

２４０Ｆ 静止画抽出部

２４０Ｇ レンズ駆動制御部

２４２ ＲＯＭ

２５０ 操作部

２６０ 記憶部

２７０ モニタ

１００１ フレーム

１００２ フレーム

１００３ フレーム

１００４ フレーム

１００５ フレーム

１００６ 静止画ファイル

１０１０ 動画ファイル

１０２０ 動画ファイル

１０３０ 動画ファイル

１０５１ フレーム

１０５２ フレーム

１０５３ フレーム

１０５４ フレーム

１０５５ フレーム

１０６０ アイコン

１０７０ チェックボックス

Ｌ１ 光軸

Ｓ１００～Ｓ２２０ 撮影方法の各ステップ

ＳＴ１～ＳＴｎ ＧＰＳ衛星

Claims (21)

1. 動画を撮影する撮影部と、
   静止画ファイル生成指示に基づいて、前記動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成部と、
   前記静止画ファイル生成指示に基づいて、前記動画を分割して複数の動画ファイルを生成する動画ファイル生成部と、
   前記静止画ファイルを前記複数の動画ファイルのうち前記第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶部と、を備え、
   前記撮影部は、第１の動画撮影モード、または、前記第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、
   前記動画ファイル生成部は、前記第２の動画撮影モードが選択された場合に、前記静止画ファイル生成指示に基づいて前記動画を分割して複数の動画ファイルを生成する撮影装置。
2. 前記第２の動画撮影モードは、前記第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または前記第１の動画撮影モードに対してフレームレートが高く設定される請求項１に記載の撮影装置。
3. 前記静止画ファイル生成部は、前記静止画ファイルをＲＡＷ画像形式で生成する請求項１または２に記載の撮影装置。
4. 前記動画ファイル生成部は前記動画をＭＰＥＧ形式で圧縮し、
   前記記憶部は前記静止画ファイルを前記第１の動画ファイルのＩフレームに関連付けて記憶する請求項１から３のいずれか１項に記載の撮影装置。
5. 前記動画ファイル生成部はＩフレーム、Ｐフレーム、及びＢフレームで構成されるＧＯＰごとに前記動画ファイルを生成する請求項１から４のいずれか１項に記載の撮影装置。
6. 前記動画ファイル生成部は、前記静止画ファイルを前記Ｉフレームと同一の形式の画像データである入替Ｉフレームに変換し、前記入替Ｉフレームを前記第１のフレームに対応する前記ＧＯＰの前記Ｉフレームと入れ替える請求項５に記載の撮影装置。
7. 前記動画ファイル生成部は、前記ＧＯＰを構成するＰフレーム及び／またはＢフレームに対し、前記Ｉフレームと前記入替Ｉフレームとの差分を加算する請求項６に記載の撮影装置。
8. 前記動画ファイル生成部は、前記ＧＯＰを構成するＰフレーム及び／またはＢフレームの動き情報に基づいて前記入替Ｉフレームを加工してＰフレーム及び／またはＢフレームを生成し、前記ＧＯＰを構成するＰフレーム及び／またはＢフレームを前記生成したＰフレーム及び／またはＢフレームで入れ替える請求項６または７に記載の撮影装置。
9. 前記Ｉフレームから前記入替Ｉフレームへの入れ替えを実行した状態の前記動画ファイルを表示装置に再生表示させる表示制御部をさらに備える請求項６から８のいずれか１項に記載の撮影装置。
10. 前記Ｉフレームから前記入替Ｉフレームへの入れ替えを実行した状態の前記動画ファイルを構成する前記フレームを静止画として抽出する静止画抽出部をさらに備える請求項６から９のいずれか１項に記載の撮影装置。
11. 前記静止画抽出部は、前記動画を構成する前記複数のフレームのうち前記第１のフレームに対応する静止画抽出用フレームを表示装置に表示させ、前記表示された前記静止画抽出用フレームから選択されたフレームを前記静止画として抽出する請求項１０に記載の撮影装置。
12. 前記動画ファイル生成部は、前記第１のフレームを先頭フレームとして前記動画を分割する請求項１から１１のいずれか１項に記載の撮影装置。
13. 前記動画ファイル生成部は、前記第１のフレームの動画ファイルを生成せず、２つの前記動画ファイルの間に前記静止画ファイルを挿入して前記動画ファイルと前記静止画ファイルとを連結する請求項１から１２のいずれか１項に記載の撮影装置。
14. 前記記憶部は、前記第１の動画ファイルと静止画ファイルのファイル名を同一にして記憶する請求項１から１３のいずれか１項に記載の撮影装置。
15. 前記静止画ファイル生成部はユーザの静止画生成指示に応じて前記静止画ファイルを生成する請求項１から１４のいずれか１項に記載の撮影装置。
16. 前記動画を構成する前記複数のフレームからイベントを検出するイベント検出部をさらに備え、
    前記静止画ファイル生成部は前記イベントの検出に応じて前記静止画ファイルを生成する請求項１から１５のいずれか１項に記載の撮影装置。
17. 動画を撮影する撮影ステップと、
    静止画ファイル生成指示に基づいて、前記動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成ステップと、
    前記静止画ファイル生成指示に基づいて、前記動画を分割して複数の動画ファイルを生成する動画ファイル生成ステップと、
    前記静止画ファイルを前記複数の動画ファイルのうち前記第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶ステップと、を有し、
    前記撮影ステップでは、第１の動画撮影モード、または、前記第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、
    前記動画ファイル生成ステップでは、前記第２の動画撮影モードが選択された場合に、前記静止画ファイル生成指示に基づいて前記動画を分割して複数の動画ファイルを生成する撮影方法。
18. 前記第２の動画撮影モードは、前記第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または前記第１の動画撮影モードに対してフレームレートが高く設定される請求項１７に記載の撮影方法。
19. 前記静止画ファイル生成ステップでは、前記静止画ファイルをＲＡＷ画像形式で生成する請求項１７または１８に記載の撮影方法。
20. 前記動画ファイル生成ステップでは前記動画をＭＰＥＧ形式で圧縮し、
    前記記憶ステップでは、前記静止画ファイルを前記第１の動画ファイルのＩフレームに関連付けて記憶する請求項１７から１９のいずれか１項に記載の撮影方法。
21. 請求項１７から２０のいずれか１項に記載の撮影方法を撮影装置に実行させるプログラム。

Images