WO2020116102A1

WO2020116102A1 - 撮像装置、撮像方法、及びプログラム

Info

Publication number: WO2020116102A1
Application number: PCT/JP2019/044379
Authority: WO
Inventors: 和田　哲; 林　健吉; 田中　康一; 幸徳西山; 哲也藤川
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2018-12-05
Filing date: 2019-11-12
Publication date: 2020-06-11
Anticipated expiration: 2021-06-05
Also published as: JPWO2020116102A1; JP7150053B2

Abstract

本発明は、動画から静止画を抽出する際に、ユーザが所望の構図の動画フレームを迅速かつ容易に選択することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。本発明の第１の態様に係る撮像装置は、撮像装置であって、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、制御部と、を備え、制御部は、撮影部が撮影した動画の動画ファイルを生成し、動画ファイルから静止画を抽出可能な第１動画モードを有し、制御部は、第１動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第１動画と第２動画を生成し、制御部は、第１動画の第１動画ファイルと第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存する。

Description

撮像装置、撮像方法、及びプログラム

　本発明は動画を撮影する撮像装置、撮像方法、及びプログラムに関し、特に動画を構成するフレームを静止画として抽出可能な撮像装置、撮像方法、及びプログラムに関する。

　撮影後に静止画を抽出することを目的として動画を撮影する技術が知られている。この技術では、例えばいつ起こるか分からない一瞬の事象（イベント）を捉えるために動画を撮影及び記録しておき、撮影後にユーザが所望のフレームを選択するが、動画撮影中にいつイベントが発生するかは予測が難しい。そのため、ある程度の時間にわたって動画を撮影し続ける必要があり、記録メディアの残容量が切迫する、あるいは長時間の動画から所望のフレームをユーザが選択するのに非常に大きな労力を要する、といった課題がある。

　そこで、上述した課題に対応する技術が提案されている。例えば特許文献１には、動画の撮影中にユーザの指示により静止画取得タイミングで動画にマーキングし、動画撮影終了後にマーキング箇所及びその前後の動画フレームを抽出及び表示することで、ユーザが動画における静止画抽出のタイミングを選択することを可能にする旨が記載されている。

特開２０１６－３２３０３号公報

　しかしながら、上述した特許文献１に記載の技術ではマーキング情報が記録されるだけなので、マーキングしたフレームを抽出及び表示する度に画像ファイルの検索処理が必要であり、撮像装置への処理負荷が高い。また、特許文献１に記載の技術では撮影した動画全体に対して処理を行うため、抽出するフレームの選択に手間が掛かり、動画の撮影時間が長い場合はこの問題が顕著になる。さらに、特許文献１では静止画抽出用の動画を撮影している間の構図変化について考慮されていなかった。このため、従来の技術は、動画から静止画を抽出する際にユーザが所望の構図の動画フレームを迅速かつ容易に選択できるものではなかった。

　本発明はこのような事情に鑑みてなされたもので、動画から静止画を抽出する際に、ユーザが所望の構図の動画フレームを迅速かつ容易に選択することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、撮像装置であって、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、制御部と、を備え、制御部は、撮影部が撮影した動画の動画ファイルを生成し、動画ファイルから静止画を抽出可能な第１動画モードを有し、制御部は、第１動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第１動画と第２動画を生成し、制御部は、第１動画の第１動画ファイルと第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存する。

　通常、静止画撮影においては、ユーザは所望の構図に応じてカメラ（撮像装置）を横向き（カメラ底面が地面と平行）になるように、あるいは縦向き（カメラ底面が重力方向と平行）になるように構えて撮影する。これに対し動画撮影においては、撮影中に縦と横を切り替えることは少ない。一方、静止画の抽出を行うための動画撮影においては、事後的にフレーム切り出しを行うという特性上、動画撮影中にもカメラの構え方が縦と横で変化することが想定される。このような観点から、第１の態様では、重力方向に対する方向変化（撮像装置の姿勢の変化）が起きた場合に動画を分割して第１動画と第２動画を生成し、第１動画の第１動画ファイルと第２動画の第２動画ファイルを記憶部の同一のフォルダに保存する。この「同一のフォルダ」内において第１動画と第２動画とが別ファイルになっているので、各動画を撮影した際の撮像装置の姿勢を容易に識別でき、ユーザは所望の構図のフレームを含む動画を撮像装置の姿勢を手がかりにして迅速かつ容易に選択することができる。

　また、第１動画ファイルと第２動画ファイルとを同一のフォルダに保存することで、連続したシーンを同一フォルダに保存することができ、フォルダ内でファイル情報のみからシーンの絞り込みを行うことができる。このため動画ファイルの検索処理に長時間を要することがない。また、動画ファイルの途中で姿勢が切り替わっている場合は表示方向の切り替えをファイルデコード中に行わなければならず、処理時間が不連続となり表示がスムーズに切り替わらないが、第１の態様では姿勢が変化したら動画を分割するので、ファイルを開く際に縦横方向の属性が分かり、ファイル先頭より一定間隔で表示の更新が可能となる。

　また、静止画として抽出するフレームは分割され記録時間が短くなった動画の中で探せばよいので、所望のフレームを迅速に探すことができる。このように、第１の態様によれば、動画から静止画を抽出する際に、ユーザが所望の構図の動画フレームを迅速かつ容易に選択することができる。さらに、第１の態様ではタグやマーキング等の情報を用いる必要がないので、第１の態様で記録された動画に基づくと、フレームの選択や静止画の抽出を、他の撮像装置や画像再生装置、画像処理装置でも行うことができる。なお、動画ファイルを保存する記憶部は撮像装置に備えられたものでもよいし、外部の装置でもよい。

　第２の態様に係る撮像装置は第１の態様において、制御部は、重力方向に対する撮像装置の方向に関する情報に基づいて、第１動画ファイルと第２動画ファイルを保存する。例えば、ファイル名もしくはその一部、動画ファイルのヘッダやフッタ等に情報を付与して保存することができる。

　第３の態様に係る撮像装置は第１又は第２の態様において、制御部は、時間において、第１動画と第２動画の間にある第３動画を生成し、第３動画は、方向変化が起きた第１期間の動画を含む。第３の態様では、方向変化が起きている期間（第１期間）を第１，第２動画とは別の動画（第３動画）にして、方向変化が起きている期間をユーザが容易に識別できるようにしている。

　第４の態様に係る撮像装置は第３の態様において、制御部は、第３動画を記憶部に保存をしない。第４の態様によれば、方向変化が起きている期間（第１期間）の動画を保存しないことで、記憶部の容量を節約することができる。

　第５の態様に係る撮像装置は第３の態様において、制御部は、第３動画を同一のフォルダとは別のフォルダに保存する。第５の態様では、方向変化が起きている期間の動画（第３動画）を第１，第２動画を保存するフォルダとは別のフォルダにすることにより、第１，第２動画と第３動画とをユーザが容易に識別できるようにしている。

　第６の態様に係る撮像装置は第３ないし第５の態様のいずれか１つにおいて、第３動画は、方向変化が終了した後の第２期間の動画も含む。方向変化が終了しても構図の変化に伴い撮影条件が安定していない可能性があるため、第６の態様では、方向変化が終了した後も第２期間においては第３動画に含めている。

　第７の態様に係る撮像装置は第６の態様において、第２期間は、撮像装置が、動画の露出、動画のホワイトバランス、又は、動画中の被写体のフォーカスを調整している期間である。第７の態様は、第２期間の内容を具体的に規定するものである。

　第８の態様に係る撮像装置は第１ないし第７の態様のいずれか１つにおいて、第１動画ファイルおよび第２動画ファイルは、ファイル名の拡張子を除く少なくとも一部が共通している。これにより、ユーザは第１動画ファイルと第２動画ファイルとが１つの動画を分割して生成されたファイルであることを容易に識別することができる。

　第９の態様に係る撮像装置は第１ないし第８の態様のいずれか１つにおいて、制御部は、第１動画モードと撮影条件が異なる第２動画モードを有し、制御部は、第２動画モードにおいて、方向検出部が方向変化を検出した場合、動画を分割しない。例えば、動画からの静止画の抽出を前提としない通常の動画モードを第２動画モードとすることができる。

　第１０の態様に係る撮像装置は第９の態様において、第１動画モードは、第２動画モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または第２動画モードに対してフレームレートが高く設定される。第１０の態様は、第１動画モードと第２動画モードとの撮影条件の違いの一態様を規定するものであり、第１動画モードの撮影条件をこのように設定することで、動画から高画質な静止画を抽出することができる。

　上述した目的を達成するため、本発明の第１１の態様に係る撮像装置は撮像装置であって、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、制御部と、を備え、制御部は、撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モードと、第１動画モードと撮影条件が異なる第２動画モードを有し、制御部は、第１動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第１動画と第２動画を生成し、制御部は、第２動画モードにおいて、方向検出部が、方向変化が起きたと判断した場合、動画を分割しない。第１１の態様では、第１動画モードにおいて、重力方向に対する方向変化（撮像装置の姿勢の変化）が起きた場合に動画を分割して第１動画と第２動画を生成する。これにより各動画を撮影した際の撮像装置の姿勢を容易に識別でき、ユーザは静止画として抽出したいフレームを含む動画を撮像装置の姿勢を手がかりにして容易に選択することができる。なお、例えば動画からの静止画の抽出を前提としない通常の動画モードを第２動画モードとすることができる。

　第１２の態様に係る撮像装置は第１１の態様において、制御部は、重力方向に対する撮像装置の方向に関する情報に基づいて、第１動画の第１動画ファイルと第２動画の第２動画ファイルを保存する。例えば、ファイル名もしくはその一部、動画ファイルのヘッダやフッタ等に情報を付与して保存することができる。

　第１３の態様に係る撮像装置は第１１又は第１２の態様において、制御部は、時間において、第１動画と第２動画の間にある第３動画を生成し、第３動画は、方向変化が起きている第１期間の動画を含む。第１３の態様では、方向変化が起きている期間（第１期間）を第１，第２動画とは別の動画（第３動画）にして、ユーザが容易に識別できるようにしている。

　第１４の態様に係る撮像装置は第１３の態様において、制御部は、第３動画を保存しない。第１４の態様によれば、方向変化が起きている期間（第１期間）の動画を保存しないことで、記憶部の容量を節約することができる。

　第１５の態様に係る撮像装置は第１３の態様において、制御部は、第３動画を第１動画を保存するフォルダ及び第２動画を保存するフォルダとは別のフォルダに保存する。第１５の態様では、方向変化が起きている期間の動画（第３動画）を第１，第２動画を保存するフォルダとは別のフォルダにすることにより、第１，第２動画と第３動画とをユーザが容易に識別できるようにしている。

　第１６の態様に係る撮像装置は第１３又は第１４の態様において、第３動画は、方向変化が終了した後の第２期間の動画も含む。第１６の態様は、方向変化が終了しても構図の変化に伴い撮影条件が安定していない可能性があるため、方向変化が終了した後も第２期間においては第３動画に含めている。

　第１７の態様に係る撮像装置は第１６の態様において、第２期間は、撮像装置が、動画の露出、動画のホワイトバランス、又は、動画中の被写体のフォーカスを調整している期間である。第１７の態様は、第２期間の内容を具体的に規定するものである。

　第１８の態様に係る撮像装置は第１１ないし第１７の態様のいずれか１つにおいて、第１動画の第１動画ファイルおよび第２動画の第２動画ファイルのファイル名は、少なくとも一部が共通している。これにより、ユーザは第１動画ファイルと第２動画ファイルとが１つの動画を分割して生成されたファイルであることを容易に識別することができる。

　第１９の態様に係る撮像装置は第２又は第１２の態様において、制御部は、第１動画ファイルと第２動画ファイルに重力方向に対する撮像装置の方向に関する情報を付与する。

　上述した目的を達成するため、本発明の第２０の態様に係る撮像方法は、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モードを有する制御部とを備える撮像装置の撮像方法であって、第１動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたか否か判断する判断ステップと、方向検出部により、方向変化が起きたと判断された場合は、動画を分割して第１動画と第２動画を生成する生成ステップと、第１動画の第１動画ファイルと第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存する保存ステップと、を備える。第２０の態様によれば、第１の態様と同様に、第１動画モードにおいて重力方向に対する方向変化（撮像装置の姿勢の変化）が起きた場合に動画を分割して第１動画と第２動画を生成する。これにより各動画を撮影した際の撮像装置の姿勢を容易に識別でき、ユーザは動画から静止画を抽出する際に、ユーザが所望の構図の動画フレームを迅速かつ容易に選択することができる。なお、第２０の態様において、第２～第１０の態様と同様の構成をさらに備えていてもよい。

　上述した目的を達成するため、本発明の第２１の態様に係る撮像方法は、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モード及び第１動画モードと撮影条件が異なる第２動画モードを有する制御部とを備える撮像装置の撮像方法であって、第１動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたか否か判断する判断ステップと、方向検出部により、方向変化が起きたと判断された場合は、第１動画モードにおいて動画を分割して第１動画と第２動画を生成し、第２動画モードにおいて動画を分割しない動画生成ステップと、を有する。第２１の態様によれば、第１１の態様と同様に、第１動画モードにおいて重力方向に対する方向変化（撮像装置の姿勢の変化）が起きた場合に動画を分割して第１動画と第２動画を生成する。これにより各動画を撮影した際の撮像装置の姿勢を容易に識別でき、ユーザは動画から静止画を抽出する際に、ユーザが所望の構図の動画フレームを迅速かつ容易に選択することができる。なお、例えば動画からの静止画の抽出を行わない通常の動画モードを第２動画モードとすることができる。なお、第２１の態様において、第１２～第１８の態様と同様の構成をさらに備えていてもよい。

　上述した目的を達成するため、本発明の第２２の態様に係るプログラムは、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、撮影部が撮影した動画のファイルから静止画を抽出可能な第１動画モードを有する制御部とを備える撮像装置に用いられるプログラムであって、第１動画モードにおいて、方向検出部に撮像装置の重力方向に対する方向変化が起きたか否か判断させ、方向検出部により、第１動画モードにおいて方向変化が起きたと判断された場合、制御部に動画を分割させて第１動画と第２動画を生成させ、制御部に、第１動画の第１動画ファイルと第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存させる。第２１の態様により得られる効果は第２０の態様と同様である。なお、第２２の態様において、第２～第１０の態様と同様の構成をさらに備えていてもよい。また、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。

　上述した目的を達成するため、本発明の第２３の態様に係るプログラムは、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、撮影部が撮影した動画のファイルから静止画を抽出可能な第１動画モード及び第１動画モードと撮影条件が異なる第２動画モードを有する制御部とを備える撮像装置に用いられるプログラムであって、第１動画モードにおいて、方向検出部に撮像装置の重力方向に対する方向変化が起きたか否か判断させ、方向検出部により、第１動画モードにおいて方向変化が起きたと判断された場合、制御部に動画を分割させて第１動画と第２動画を生成させ、方向検出部により、第２動画モードにおいて方向変化が起きたと判断された場合、動画を分割させない。第２３の態様により得られる効果は第２１の態様と同様である。なお、第２３の態様において、第１２～第１８の態様と同様の構成をさらに備えていてもよい。また、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。

　以上説明したように、本発明の撮像装置、撮像方法、及びプログラムによれば、動画から静止画を抽出する際に、ユーザが所望の構図の動画フレームを迅速かつ容易に選択することができる。

図１は、第１の実施形態に係るカメラの構成を示す図である。図２は、画像処理装置の機能構成を示す図である。図３は、カメラの座標系を示す図である。図４は、姿勢判定と動画分割の例を示す図である。図５は、撮像方法の処理を示すフローチャートである。図６は、動画の分割記録の様子を示す図である。図７は、カメラの姿勢変化と動画の分割及び保存の様子を示す図である。図８は、フォルダ構成の例を示す図である。図９は、フォルダ構成の例を示す他の図である。図１０は、動画ファイルのアイコン表示の例を示す図である。図１１は、動画ファイルのアイコンにサムネイル画像を付した様子を示す図である。図１２は、ファイル情報によるシーン絞り込み表示の例を示す図である。図１３は、撮像方法の処理を示す他のフローチャートである。図１４は、姿勢判定と動画分割の他の例を示す図である。図１５は、姿勢判定と動画分割のさらに他の例を示す図である。図１６は、姿勢判定と動画分割のさらに他の例を示す図である。図１７は、姿勢判定と動画分割のさらに他の例を示す図である。図１８は、撮像方法の処理を示すさらに他のフローチャートである。図１９は、撮像方法の処理を示すさらに他のフローチャートである。図２０は、動画ファイルのサイズを変更して再生する様子を示す図である。図２１は、動画ファイルのサイズを変更して再生する様子を示す他の図である。図２２は、第１モード及び第２モードにおける動画記録の処理を示すフローチャートである。図２３は、第１モード及び第２モードにおける動画記録の処理を示すフローチャート（図２２の続き）である。図２４は、第１モード及び第２モードに関するフォルダ構成の例を示す図である。図２５は、静止画として抽出するフレームを選択する様子を示す図である。図２６は、第２の実施形態に係るスマートフォンの外観図である。図２７は、第２の実施形態に係るスマートフォンの構成を示すブロック図である。図２８は、第２の実施形態に係るスマートフォンの姿勢を示す図である。図２９は、角度によるスマートフォンの姿勢判定の様子を示す図である。

　以下、添付図面を参照しつつ、本発明に係る撮像装置、撮像方法、及びプログラムを実施するための形態について詳細に説明する。

　＜第１の実施形態＞

　＜撮像装置の全体構成＞

　図１は第１の実施形態に係るカメラ１０（撮像装置）の構成を示す図である。カメラ１０は交換レンズ１００（撮影部、撮像装置）及び撮像装置本体２００（撮影部、撮像装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

　＜交換レンズの構成＞

　交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｆ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌを有する。

　＜撮像装置本体の構成＞

　撮像装置本体２００は、撮像素子２１０（撮影部）、ＡＦＥ２２０（ＡＦＥ：ＡｎａｌｏｇＦｒｏｎｔＥｎｄ、撮影部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：ＡｎａｌｏｇｔｏＤｉｇｉｔａｌ、撮影部）、画像処理装置２４０、操作部２５０、記憶部２６０、モニタ２７０、及び姿勢センサ２８０（方向検出部）を備える。撮像装置本体２００は、撮像素子２１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そして、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），又はＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。

　なお、撮像素子２１０としては、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ－ＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

　＜画像処理装置の構成＞

　図２は、画像処理装置２４０の機能構成を示す図である。画像処理装置２４０は、画像取得部２４０Ａ、方向検出部２４０Ｂ（方向検出部）、制御部２４０Ｃ（制御部）、イベント検出部２４０Ｄ（イベント検出部）、静止画抽出部２４０Ｅ（静止画抽出部）、及びレンズ駆動制御部２４０Ｆ（レンズ駆動制御部）を備える。そして、画像処理装置２４０は、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて動画の撮影及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置２４０による処理の詳細は後述する。

　画像処理装置２４０の機能は、各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などのプログラマブルロジックデバイス（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＰＬＤ）も含まれる。プログラマブルロジックデバイスは、製造後に回路構成を変更可能なプロセッサである。さらに、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の非一時的記録媒体に記憶しておく。そして、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮像方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（ＥｌｅｃｔｒｏｎｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）に記憶されたデータを参照することもできる。

　画像処理装置２４０は、上述の各部の他にＲＯＭ２４２を備える。ＲＯＭ２４２には、画像の撮影、記録、表示等に必要なプログラム（本発明に係る撮像方法を実行するためのプログラム（本発明に係るプログラム）を含む）のコンピュータ読み取り可能なコードが記録される。

　＜操作部＞

　操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Ｑｕｉｃｋボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、動画撮影指示、静止画抽出指示等、各種の操作を行うことができる。なお、モニタ２７０（タッチパネル型）を操作部２５０として使用してもよい。

　＜記憶部＞

　記憶部２６０（記憶部）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を保存する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。撮影した画像（動画、静止画）を例えば無線通信により外部の記録媒体（記憶部）に送信して保存してもよい。

　＜モニタ及びファインダ＞

　モニタ２７０（表示装置）はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。また、カメラ１０はファインダを備えていてもよい。

　＜撮影モード＞

　カメラ１０は撮影モードとして静止画撮影モード、静止画抽出用動画撮影モード（第１動画モード）、通常動画撮影モード（第２動画モード）のいずれかを設定することができる。静止画撮影モード及び通常動画撮影モードは通常のデジタルカメラと同様のモードである。一方、静止画抽出用動画撮影モードは動画のファイルから静止画を抽出可能なモードであり、通常動画撮影モードと撮影条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画）を撮影する。具体的には、静止画抽出用動画撮影モードでは、通常動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／又は通常動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートはカメラ１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮影モードより高くする。

　例えばシャッタースピードに関しては、通常動画撮影モードでは記録する動画のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定される。一方、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮影モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮影モードではシャッタースピードを通常動画撮影モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。

　同様に、ＩＳＯ感度（ＩＳＯ：ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ）の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮影モードよりも高速に設定される。これによって、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。

　上述した静止画抽出用動画撮影モードによれば、動画を構成するフレームを事後的に静止画として抽出することができる。よって、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できる。よって、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。なお、このような静止画の事後的抽出に加えて、静止画抽出用動画撮影モード及び通常動画撮影モードにおいては、動画撮影中に静止画を撮影（保存）することができる。

　＜カメラの姿勢＞

　図３はカメラ１０に対して規定される座標系の例を示す図である。図３に示す例では、Ｘ軸が光軸方向（被写体に向かう方向）、Ｚ軸が撮像装置本体２００の上方に向かう方向であり、（Ｘ軸，Ｙ軸，Ｚ軸）で右手系の座標系を構成する。カメラ１０が縦位置（カメラ１０の上面及び底面が鉛直方向と平行）であるか横位置（カメラ１０の上面及び底面が地面と平行）であるかは、例えばＸ軸周りの角度（撮像装置本体２００の上面及び底面が地面と平行の状態で０ｄｅｇとする）で判断することができる。図４はＸ軸周りの角度と姿勢（縦又は横）の関係の例を示す図である。方向検出部２４０Ｂ（方向検出部）は角度が（－４５ｄｅｇ以上＋４５ｄｅｇ以下）、及び（＋１３５ｄｅｇ以上＋２２５ｄｅｇ以下）の範囲である場合に「横」と判定し、それ以外の場合に「縦」と判定することができる。上述のようにカメラ１０は姿勢センサ２８０（例えば、３軸方向の加速度を測定する加速度センサ；図１参照）を備えているので、方向検出部２４０Ｂは、姿勢センサ２８０の測定結果に基づいてカメラ１０の姿勢（重力方向に対する方向）を検出することができる。

　なお、図４に示す角度の範囲は一例であり、これと異なる範囲で姿勢を判定してもよい。例えば方向検出部２４０Ｂは角度が（－３０ｄｅｇ以上＋３０ｄｅｇ以下）、及び（＋１５０ｄｅｇ以上＋２１０ｄｅｇ以下）の範囲である場合に「横」と判定し、それ以外の場合に「縦」と判定してもよい。

　＜静止画抽出用動画撮影モードにおける処理＞

　上述した構成のカメラ１０における撮像方法について説明する。図５は、静止画抽出用動画撮影モード（第１動画モード）における処理を示すフローチャートである。図５のフローチャートは本発明に係る撮像方法の１つの態様を示しており、本発明に係るプログラムを用いて実行することができる（後述する他のフローチャートについても同様である）。例えば操作部２５０の図示せぬモードダイヤルの操作によりカメラ１０が静止画抽出用動画撮影モードになる。そして、制御部２４０Ｃは、撮影部（交換レンズ１００、撮像素子２１０、ＡＦＥ２２０、Ａ／Ｄ変換器２３０）を第１動画モードに設定する。そして、図５の処理が開始され、制御部２４０Ｃはカメラ１０の状態を初期化（ライブビュー画像の取得及び表示、姿勢の初期化、姿勢判定の開始等）する（ステップＳ１００：初期化ステップ）。

　＜動画記録開始指示＞

　制御部２４０Ｃは動画記録開始指示がされたか否かを判断する（ステップＳ１１０：撮影ステップ、動画生成ステップ）。制御部２４０Ｃは、例えば操作部２５０の図示せぬレリーズボタンが押し下げされた場合に「動画記録開始指示がされた」と判断することができる。判断が肯定されるとステップＳ１２０へ進む。

　＜姿勢の判定＞

　方向検出部２４０Ｂは、姿勢センサ２８０の出力に基づいてカメラ１０（撮像装置）の姿勢（重力方向に対する方向）を検出する（ステップＳ１２０：姿勢検出ステップ、判断ステップ）。図３，４について上述したように、方向検出部２４０Ｂは、Ｘ軸周りの角度により姿勢が「縦」、「横」、「不定」のいずれであるかを判定する。姿勢が「不定」には、ユーザがカメラ１０を地面や空に向けて構えている場合のように、Ｙ軸周りの角度が大きく「縦」又は「横」を特定できない状態を含めることができる。なお、方向検出部２４０Ｂは、カメラ１０の「不定」状態を検出しなくてもよい。

　＜姿勢に応じたフォルダへの記録＞

　ステップＳ１２０でカメラ１０の姿勢が「横」又は「不定」と判断された場合、制御部２４０Ｃは撮影部が撮影した動画を圧縮して新たな動画ファイルを生成する。そして制御部２４０Ｃは、記憶部２６０の縦横動画用フォルダ（第１フォルダ）に横動画ファイルの記録（保存）を開始する（ステップＳ１３０：動画保存ステップ）。制御部２４０Ｃは、例えばＭＰＥＧ形式（ＭＰＥＧ２、ＭＰＥＧ４等）で動画の圧縮を行うことができる。一方、カメラ１０の姿勢が「縦」と判断された場合、制御部２４０Ｃは撮影部が撮影した動画を圧縮して新たな動画ファイルを生成する。そして制御部２４０Ｃは、横動画と同一の縦横動画用フォルダ（第１フォルダ）に縦動画ファイルの記録（保存）を開始する（ステップＳ１４０：動画保存ステップ）。制御部２４０Ｃは、カメラ１０に設けられた図示せぬマイクロフォンにより音声を合わせて収録及び保存してもよい。なお、「横動画」、「縦動画」は、それぞれ姿勢が横又は不定の場合、縦の場合の動画であり、「縦横動画用フォルダ」は縦動画及び横動画を保存するフォルダである。

　＜姿勢が不定の場合の扱い＞

　なお、図５のフローチャートでは「姿勢が横から不定に変化した場合」及び「不定から横に変化した場合」は同一ファイルでの記録を継続する。そして、「姿勢が縦から不定に変化した場合」及び「不定から縦に変化した場合」は「姿勢が変化した」と判断して動画の分割（別ファイルでの記録）を行う態様について説明している。しかしながら、姿勢が不定の場合に縦横動画用フォルダとは別のフォルダに記録してもよいし、記録（保存）をしなくてもよい（後述する他の態様を参照）。

　方向検出部２４０Ｂは動画の撮影と並行してカメラ１０の姿勢検出を継続し、「カメラ１０（撮像装置）の重力方向に対する方向変化が起きたか否か」を判断する（ステップＳ１７０：判断ステップ）。「方向変化が起きたか否か」は姿勢センサ２８０の出力（例えば、３軸方向の加速度）に基づいて判断することができる。方向検出部２４０Ｂが「方向変化が起きた」と判断した場合、具体的には「カメラ１０の姿勢が「横又は不定」と「縦」との間で変化した」と判断した場合（ステップＳ１７０でＹｅｓ）は、制御部２４０Ｃは記録中の動画ファイルをクローズして動画を分割する（ステップＳ１８０：動画生成ステップ）。この場合、制御部２４０ＣはステップＳ１９０の判断を否定してステップＳ１２０に戻る。

　戻ってきたステップＳ１２０では、制御部２４０Ｃは動画ファイルの記録開始時と同様にカメラ１０の姿勢が「縦」、「横」、及び、「不定」のいずれであるかを判断する。そして、制御部２４０Ｃは、その結果に応じて、分割に係る新たな動画ファイル（分割前とは別の動画ファイル）を記憶部２６０の縦横動画用フォルダ（分割前と同一のフォルダ）に保存する。例えば、カメラ１０の姿勢が記録開始時の「横」から「縦」に変化した場合、制御部２４０Ｃは、記録開始時は縦横動画用フォルダに横動画ファイル（第１動画の第１動画ファイル）を保存し、姿勢変化に起因して生成された新たな縦動画ファイル（第２動画の第２動画ファイル）も縦横動画用フォルダに保存する。なお、ステップＳ１７０において、カメラの姿勢が再度変化した場合（ステップＳ１７０でＹｅｓ）に、動画はクローズしなくてもよい。カメラの姿勢変化が起きるたびに、繰り返して動画を分割すると、動画のファイル数が増えすぎてしまう場合があるからである。

　画像取得部２４０Ａ、方向検出部２４０Ｂ、及び制御部２４０Ｃは、このようなカメラ１０の姿勢に応じた動画の分割及び動画ファイルの保存を、動画撮影終了まで（ステップＳ１９０の判断がＮｏの間）継続して行う。方向検出部２４０Ｂ及び制御部２４０Ｃは、第１動画ファイル及び第２動画ファイルに対しカメラ１０の姿勢（重力方向に対する方向）に関する情報を付与しておき、動画ファイルのアイコン表示や動画再生の際等に参照できるようにすることが好ましい。方向検出部２４０Ｂ及び制御部２４０Ｃは、カメラ１０の姿勢に関する情報（重力方向に対する方向に関する情報）をヘッダやフッタに記録することができる。例えば、縦の場合は“０１”、横の場合は“０２”、その他（斜め、不定等）は“０３”とすることができる。

　図６は動画の分割記録の様子を示す図である。同図の上部は動画のフレーム１００１～１００５が順次記録されていく様子を示している。この状況で、フレーム１００２（フレーム番号：Ｎ－１）まで記録した時点でカメラ１０の姿勢が「横又は不定」から「縦」に切り替わった（ステップＳ１７０でＹｅｓ）ものとする。この場合、制御部２４０Ｃは記録中の動画ファイル１０１０（第１動画ファイル）をクローズして動画を分割する（ステップＳ１８０：動画生成ステップ）。そして制御部２４０Ｃは、フレーム１００３（フレーム番号：Ｎ）から始まる動画を新たな動画ファイル１０２０（第２動画ファイル）として記録開始する（ステップＳ１４０）。制御部２４０Ｃは、動画ファイル１０１０，１０２０を記憶部２６０の同一のフォルダ（縦横動画用フォルダ）に保存する。

　図７はＸ軸周りの角度に基づく方向変化の判断例を示す図である。図７の例では、経過時間がゼロからｔ１の間は姿勢が「横」、経過時間ｔ１の時点で角度が４５ｄｅｇ（しきい値）を超えて「縦」と判断されており、これにより経過時間ｔ１で動画が分割されている。制御部２４０Ｃは経過時間がゼロからｔ１までの第１動画の動画ファイル（第１動画ファイル）を縦横動画用フォルダ（第１フォルダ）に保存し、経過時間ｔ１以降の第２動画の動画ファイル（第２動画ファイル）も縦横動画用フォルダ（第１フォルダ）に保存する。なお、カメラ１０の姿勢は細かく変動する可能性があるので、制御部２４０Ｃは姿勢が変化した状態が決められた時間以上継続した時点で「姿勢が変化した」と判断してもよい。また、図７ではカメラ１０の姿勢が横から縦に変化する例を示しているが、縦から横に変化する場合も同様に処理することができる（この場合、縦動画が第１動画、横動画が第２動画となる。他の態様についても同様である）。

　制御部２４０Ｃは、カメラ１０の姿勢が変化した場合（ステップＳ１７０でＹｅｓ）の他、ステップＳ１５０で「動画記録終了指示（動画撮影終了指示）があった」と判断した場合、及びステップＳ１６０で「記録メディアの残容量が十分でない」と判断した場合にも動画ファイルをクローズする（ステップＳ１８０）。しかしながら制御部２４０Ｃは、これらの場合は動画の撮影も終了させる（ステップＳ１９０でＹｅｓ）。ステップＳ１５０では、制御部２４０Ｃは操作部２５０の図示せぬレリーズボタンが押し下げされた場合、モニタ２７０を介した終了指示がされた場合等に「動画記録終了指示がされた」と判断することができる。

　なお、図７の例のようにカメラ１０が横状態から縦状態に移行し縦状態で動画の撮影を終了する場合、第２動画（縦動画；縦状態での動画）の終了タイミングは、ユーザの第２動画終了指示又は動画撮影終了指示に対応する。同様に、縦状態から再度横状態に移行し横状態で動画の撮影を終了する場合、第１動画（横動画；横状態での動画）の終了タイミングは、ユーザの第１動画終了指示又は動画撮影終了指示に対応する。これらの動画終了タイミングは、後述する態様においても同様である。

　第１の実施形態では、このように「静止画抽出用動画撮影モード（第１動画モード）においてカメラ１０（撮像装置）の重力方向に対する方向（姿勢）が変化した」と判断された場合は動画を分割して横動画（第１動画）と縦動画（第２動画）を生成する。生成した横動画の動画ファイル（第１動画ファイル）及び縦動画の動画ファイル（第２動画ファイル）は、縦横動画用フォルダ（第１フォルダ）に保存する。

　これによりユーザは各動画を撮影した際のカメラ１０の姿勢を容易に識別でき、静止画として抽出したいフレームを含む動画をカメラ１０の姿勢を手がかりにして容易に選択することができる。また、ユーザは静止画として抽出するフレームを分割され記録時間が短くなった動画の中で探せばよいので、所望のフレームを迅速に探すことができる。このように、第１の実施形態によれば、ユーザは所望の構図の動画フレームを迅速かつ容易に選択することができる。

　＜フォルダ構成の例＞

　図８は動画を保存するフォルダ構成の例を示す図である。同図の例では、制御部２４０Ｃにより撮影日ごとにフォルダが生成され、撮影日ごとのフォルダ内には撮影番号ごとにフォルダが生成されている。例えば、図５のフローチャートにおいて、ステップＳ１１０で動画記録開始が指示されてからステップＳ１９０で動画撮影を終了するまでを１つの撮影番号とすることができる。各撮影番号のフォルダに対し、動画の分割に応じた数の縦横動画が保存される。このようなフォルダ構成は、制御部２４０Ｃによりモニタ２７０（表示装置）に表示することができる。図９は、撮影番号が異なる縦横動画用フォルダ（第１フォルダ）を、各フォルダを示すアイコンによりモニタ２７０に表示した様子を示している。

　＜動画ファイルのアイコン表示及びファイル名＞

　図１０は動画ファイルのアイコン表示の例を示す図である。同図は、制御部２４０Ｃが横動画の動画ファイルについて横型アイコンに「横動画」の文字を付し、縦型アイコンに「縦動画」の文字を付して表示した様子を示している。アイコン中の記号はファイルの指定により再生可能であることを示す。図１０の例では、制御部２４０Ｃは横動画及び縦動画の動画ファイル（第１動画ファイル、第２動画ファイル）を記憶部２６０の同一のフォルダに保存している。また、図１０の例において、ファイル名はファイル作成日（２０１８年１０月２３日）、撮影番号（００１）、縦横識別情報（横動画はＨ（Ｈｏｒｉｚｏｎｔａｌ）、縦動画はＶ（Ｖｅｒｔｉｃａｌ））、ファイル番号（００１，００２，・・・）、ファイルサイズ（１０ＭＢ等）、拡張子（ここでは“．ｍｐｇ”）から構成されている。また、横動画の動画ファイル（第１動画ファイル）と縦動画の動画ファイル（第２動画ファイル）はファイル名の拡張子を除く一部が共通している。なお、縦横識別情報はカメラ１０（撮像装置）の重力方向に対する方向に関する情報の一例である。

　制御部２４０Ｃは、ファイルの種類を示す情報、ファイル作成日時、及び縦横識別情報をファイル名に含めてもよい。例えば、制御部２４０Ｃは、２０１８／１／１１２：３０に作成した横動画のファイルに対し“ＩＭＧ２０１８０１０１１２３０＿Ｈ．ＭＯＶ”というファイル名を付与し、２０１８／１／１１２：４０にファイル名を作成した縦動画のファイルに対し“ＩＭＧ２０１８０１０１１２４０＿Ｖ．ＭＯＶ”というファイル名を付与することができる。ファイル名中、“ＩＭＧ”は画像ファイルであることを示す情報の一例である。この場合においても、ファイル名はファイルサイズを示す情報を含んでいてもよい。

　図１１は動画ファイルのアイコンにサムネイル画像を表示した様子を示す図である。同図の（ａ）部分は横動画の場合の例であり、（ｂ）部分は縦動画の場合の例である。表示する画像は横動画又は縦動画の最初のフレームでもよいし、途中のフレーム（例えば、イベントが発生したフレーム等）でもよい。

　以上に例示した動画ファイルのアイコン表示、サムネイル表示、ファイル名の付与により、ユーザは縦動画と横動画とを容易に識別でき、所望のフレームを含む動画を迅速かつ容易に選択することができる。なお、動画ファイルのアイコン表示、サムネイル表示、ファイル名の付与は制御部２４０Ｃが行うことができる。

　＜ファイル情報によるシーン絞り込み表示例＞

　図１２はファイル情報によるシーン絞り込み表示の例を示す図である。同図の（ａ）部分は、経過時間ｔ６からｔ７まで、経過時間ｔ７からｔ８まで、経過時間ｔ８からｔ９まで、経過時間ｔ９からｔ１０までをそれぞれ横動画ファイル１０３０、縦動画ファイル１０３２、横動画ファイル１０３４、縦動画ファイル１０３６として記録した様子を示している。制御部２４０Ｃは、ファイル名等のファイル情報を参照して、記録時間の長さに応じた幅を有する矩形等の図形により、各動画ファイルをモニタ２７０（又は外部の表示装置）に表示する。制御部２４０Ｃは、動画ファイルを示す図形に対し、縦動画と横動画とで異なる色彩を付す等の識別表示を行ってもよい。

　図１２の（ａ）部分に示す例では、横動画ファイル１０３０及び縦動画ファイル１０３６の記録時間が長いことが分かる。なお、表示された動画ファイルをユーザがモニタ２７０及び／又は操作部２５０を介して選択すると、制御部２４０Ｃは、選択された動画ファイル又はその動画ファイルを構成する一部のフレームをモニタ２７０あるいは外部の表示装置に表示することができる。これによりユーザは静止画として抽出したい所望のフレームを選択することができる（後述する「静止画の抽出」の項及び図２５を参照）。

　シーン絞り込み表示の際に、制御部２４０Ｃは、イベントが発生したタイミングを併せて表示してもよい。図１２の（ｂ）部分に示す例では、イベント検出部２４０Ｄがイベントを検出したタイミングを、動画ファイルを示す矩形内に点線で示している。図１２に例示するシーン絞り込み表示を参照することにより、ユーザは、動画から静止画を抽出する際に所望の構図（横動画か縦動画か）の動画フレームを迅速かつ容易に選択することができる。

　＜動画の分割及び記録の他の態様＞

　動画の分割及び記録（保存）の他の態様について説明する。なお、以下で説明するフローチャートのうち図５と同じ処理には同じステップ番号を付し、詳細な説明を省略する。

　（態様１：姿勢変化中の期間を独立した動画ファイルとする態様）

　図５について説明した態様ではカメラ１０の姿勢（Ｘ軸周りの角度）がしきい値を超えたら「方向変化が起きた」と判断している。しかし、図１３に示す態様１では姿勢変化中の動画は横動画及び縦動画とは別の動画ファイルとして別のフォルダに保存する。図１３は態様１での処理を示すフローチャートであり、方向検出部２４０Ｂは、カメラ１０の姿勢（重力方向に対する方向）が「横」、「縦」、「変化中」のいずれであるかを判断する（ステップＳ１２２：姿勢検出ステップ）。

　制御部２４０Ｃは、姿勢が「横」である場合は横動画（第１動画）として縦横動画用フォルダ（第１フォルダ）に動画ファイル（第１動画ファイル）の記録（保存）を開始する（ステップＳ１３０）。制御部２４０Ｃは、姿勢が「縦」である場合は縦動画（第２動画）として縦横動画用フォルダ（第１フォルダ）に記録を開始し（ステップＳ１４０）、「変化中」である場合は変化中動画（第３動画）として変化中動画用フォルダ（第３フォルダ）に記録を開始する（ステップＳ１２４）。態様１においては、制御部２４０Ｃは、各撮影番号のフォルダの下位の階層に、縦横動画用フォルダに加えて変化中動画用フォルダを作成することができる。

　態様１では、方向検出部２４０Ｂが「カメラ１０の姿勢変化が開始又は完了した」と判断した場合（ステップＳ１７２（判断ステップ）でＹｅｓ）に動画を分割（動画ファイルのクローズ、新たな動画ファイルの生成）する。この際、カメラ１０の姿勢は手振れその他により細かく変動する場合があるので、方向検出部２４０ＢはＸ軸周りの角度が一定時間に決められた値以上変化したら「姿勢変化が開始した」と判断する。同様に、方向検出部２４０Ｂは、角度の変動が決められた範囲内に収まる時間が一定時間以上継続したら「姿勢変化が完了した」と判断することが好ましい。例えば、図１４に示す例では、経過時間ｔ１とｔ２の間で角度が大きく変化しており、経過時間ｔ３とｔ４の間で角度が安定している。

　よって、方向検出部２４０Ｂは経過時間ｔ２からｔ４まで「姿勢が変化中である」と判断し、経過時間ｔ４において「姿勢変化が完了した」と判断する（カメラ１０の実際の姿勢と姿勢の判定結果が変化するまでの時間ズレを考慮している）。この判断に対応して、制御部２４０Ｃは経過時間ｔ２からｔ４までの間、時間において横動画（第１動画；経過時間ゼロからｔ２まで）と縦動画（第２動画；経過時間ｔ４以降）の間にある変化中動画（第３動画）を生成する。図１４に示すように、変化中動画（第３動画）は、カメラ１０の姿勢が変化中である（方向変化が起きている）第１期間の動画を含む。

　（態様２：姿勢変化中は前の期間の動画ファイルに継続して記録する態様）

　上述した態様１では姿勢変化中（第１期間）は独立した動画（第３動画）として記録している。しかし、態様２では、姿勢変化中は変化開始前の期間についての動画ファイルに継続して記録する。具体的には、図１５に示すように、方向検出部２４０Ｂはカメラ１０（撮像装置）が第１状態（カメラ１０の底面が水平方向に沿っている状態；横状態）、第２状態（カメラ１０の底面が重力方向に沿っている状態；縦状態）、又は第３状態（第１状態と第２状態との間で変化している状態）のいずれであるかを検出する。そして、制御部２４０Ｃは、カメラ１０が第３状態（姿勢が変化中）である期間の動画を第１動画に含めて縦横動画用フォルダ（第１フォルダ）に記録する。

　（態様３：姿勢変化終了後の期間の一部を変化中の期間の動画ファイルに継続して記録する態様）

　カメラ１０の姿勢が変化した状況では、モニタ２７０の画面における構図が大きく変化している場合がある。その場合、カメラ１０（撮像装置）が動画の露出（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅ）、動画のホワイトバランス（ＡＷＢ：ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）、又は動画中の被写体のフォーカス（ＡＦ：ＡｕｔｏＦｏｃｕｓ）等を調整する期間が必要になる可能性がある。そこで態様３では、姿勢変化終了後の決められた期間（第２期間）は、カメラ１０の姿勢が安定していても姿勢が変化中である場合と同様に扱う。具体的には、例えば図１６に示すように、方向検出部２４０Ｂは経過時間ｔ２からｔ４までの期間（第１期間）に加えて経過時間ｔ４からｔ５までの期間（第２期間）についても「カメラ１０の姿勢が変化している」として扱う。

　そして、これら第１期間及び第２期間については第３動画として記録（保存）する。すなわち、第３動画は方向変化が終了した後の第２期間の動画も含む。なお、制御部２４０Ｃは動画を分割して第３動画を横動画（第１動画）及び縦動画（第２動画）とは別の動画ファイル（第３動画ファイル）とし、縦横動画用フォルダ（第１フォルダ）に記録することができる。しかし、第３動画は独立した変化中動画用フォルダ（第３フォルダ）に記録してもよい。姿勢変化中や撮影条件が不安定な期間の画像は重要性が低い場合があるが、態様３ではそのような期間は横動画及び縦動画とは別の動画として保存するので、静止画として抽出したいフレームの選択や動画ファイル、フォルダの整理を容易に行うことができる。

　（態様４：姿勢変化終了後の期間の一部までを当初の動画ファイルに継続して記録する態様）

　上述した態様３では、カメラ１０の姿勢変化中（第１期間）及び姿勢変化が終了してから決められた期間（第２期間）については「第３動画」としている。しかし、態様４では、図１７に示すように第１期間（経過時間ｔ２からｔ４まで）及び第２期間（経過時間ｔ４からｔ５まで）については「第１動画」として縦横動画用フォルダ（第１フォルダ）に記録する。

　（態様５：姿勢変化中は動画を記録しない態様）

　上述した態様１から態様４では姿勢変化中の期間（及びその後姿勢が安定するまでの期間）について動画を記録しているが、姿勢変化中は動画を記録しない態様も採用することができる。具体的には、図１８のフローチャートに示すように、方向検出部２４０Ｂが「カメラ１０の姿勢が横（第１状態）、縦（第２状態）、又は変化中（第３状態）のいずれであるか」を検出する（ステップＳ１２２）。そして、姿勢が変化中の場合は動画ファイルの記録を開始しない（ステップＳ１２２に戻る）。

　また、カメラ１０の姿勢が横又は縦であり動画の記録を開始（ステップＳ１３０、ステップＳ１４０）した後にカメラ１０の姿勢変化が開始すると（ステップＳ１７４でＹｅｓ）、制御部２４０ＣはステップＳ１８０で動画ファイルをクローズしてステップＳ１２２に戻る。そして、カメラ１０の姿勢が横又は縦となってから動画の記録を再開する（ステップＳ１３０、ステップＳ１４０）。姿勢変化中の画像は重要性が低い場合があるが、態様５ではそのような期間は動画を保存しないので記録メディアの残容量を節約することができる。また、またユーザは静止画として抽出したいフレームの選択や動画ファイル、フォルダの整理を容易に行うことができる。

　（態様６：姿勢変化があった場合でもイベント発生の直後は動画を分割しない態様）

　図１９のフローチャートに示す態様６は、カメラ１０の姿勢変化が開始もしくは完了した場合の態様である。この態様では、カメラ１０の姿勢変化が開始もしくは完了したタイミングから決められた時間（ステップＳ１７６では“Ｔ秒前”と記載）前までの間に特定のイベントが発生していた場合、制御部２４０Ｃは動画ファイルをクローズしない（ステップＳ１７６でＹｅｓとなりステップＳ１８０に進まない）。したがってこの場合、動画の分割を行わない。また、一定時間前までに特定イベントが発生していた場合だけではなく、特定のイベントの発生中（継続中）である場合も同様である。

　制御部２４０Ｃは、操作部２５０を介したユーザの操作に応じて、あるいはユーザの操作によらずにＴの値（例えば３０秒とすることができるが、他の値でもよい）を設定することができる。特定のイベントが発生したかどうかはイベント検出部２４０Ｄ（図２を参照）が周知の画像処理によって被写体の動き量、大きさや形の変化、明るさの変化等を自動的に検出して判断してもよい。また、特定のイベントが発生したかどうかは、操作部２５０（モニタ２７０をタッチパネルとして使用する場合を含む）を介したユーザの指示により判断してもよい。また、ユーザが動画撮影中に静止画の撮影を指示した場合に「イベントが発生した」と判断してもよい。イベント検出部２４０Ｄ及び制御部２４０Ｃは、イベントを検出した場合、イベント検出タイミングを示す情報を動画ファイルに付与する（例えば、ヘッダやフッタに記録する）ことが好ましい。この情報を参照することで、ユーザは静止画として抽出したいフレームを迅速かつ容易に選択することができる（後述）。

　上述のように、カメラ１０の姿勢変化があった場合でも姿勢変化前にイベントが発生していた場合は動画を分割しないことで、ユーザはイベントに関連した一連の流れを１つの動画で確認することができ、撮影した動画から所望のフレームを迅速かつ容易に選択することができる。なお、図１９のフローチャートは図１３（姿勢変化中の動画は横動画及び縦動画とは別動画とし、別フォルダに保存する態様）をベースとしているが、図５、１８のフローチャートをベースとしてもよい。

　なお、制御部２４０Ｃは、上述した態様１から態様６を含めたいずれの態様で動画の分割及び記録（保存）を行うかを、操作部２５０を介したユーザの操作に応じて決定してもよい。

　＜画像の縦横サイズを変更して表示する例＞

　カメラ１０では、保存した動画（又は動画から抽出した静止画）をモニタ２７０等の表示装置に表示することができる。この際、動画は横撮り（カメラ１０の姿勢が「横」の状態での撮影）される場合と縦撮り（カメラ１０の姿勢が「縦」の状態での撮影）される場合があるので、撮影画像のサイズを維持しつつ撮影時と異なる向きで表示すると、「画像の一部が表示されない」等の問題が生じる場合がある。そこで、制御部２４０Ｃは、画像（動画、静止画）を表示する際に、撮影時及び表示時におけるカメラ１０の姿勢との関係に基づいて、画像の縦方向及び／又は横方向のサイズを変更することができる。撮影時のカメラ１０の姿勢は、ファイル名やヘッダ内の情報等のファイル情報を参照することにより把握することができる。

　図２０は画像のサイズ変更の例を示す図である。同図の（ａ）部分は、横撮りした画像１０４０を、カメラ１０が横向きの状態でモニタ２７０（表示装置）に表示した例（撮影時と同じ向きで表示）である。この場合、画像１０４０のサイズを変更する必要はない。一方、同図の（ｂ）部分は、カメラ１０が縦向きの状態で画像を表示した例（撮影時と異なる向きで表示）である。この場合、画像１０４０をそのまま表示すると、画像の全てを表示することができない。このため、制御部２４０Ｃは、画像１０４０の縦方向及び横方向のサイズを変更（縮小）し、画像１０４２として表示する。この際、制御部２４０Ｃは、サイズ変更の前後で画像のアスペクト比（例えば横：縦＝１６：９）を維持している。

　図２１は、画像のサイズ変更の他の例を示す図である。同図の（ａ）部分は、縦撮りした画像１０４４を、カメラ１０が縦向きの状態で表示した例である。この場合、画像１０４４のサイズを変更する必要はない。一方、同図の（ｂ）部分は、カメラ１０が横向きの状態で画像を表示した例（撮影時と異なる向きで表示）である。この場合、そのまま表示すると、画像１０４４の全てを表示することができない。このため、制御部２４０Ｃは、画像１０４４の縦方向及び横方向のサイズを変更（縮小）し、画像１０４６として表示する。この際、制御部２４０Ｃは、サイズ変更の前後で画像のアスペクト比（例えば横：縦＝１６：９）を維持している。

　図２０，２１に例示するサイズの変更は、縦方向及び横方向のうち一方でもよいし、両方でもよい。

　＜第１モード及び第２モードを考慮した場合の処理＞

　図５，１３，１８，１９に示すフローチャートでは第１動画モードにおける処理について説明したが、第１動画モード及び第２動画モードを考慮した場合の処理について、図２２，２３を参照しつつ説明する。なお、図５，１３，１８，１９と同様の処理については同一のステップ番号を付し、詳細な説明を省略する。

　制御部２４０Ｃは、カメラ１０が第１動画モード（静止画抽出用動画モード）か第２動画モード（通常の動画モード）かを判断する（ステップＳ１１２）。第１動画モードの場合、制御部２４０Ｃは、第１動画モードに適した撮影条件を設定する（ステップＳ１１４）。ステップＳ１１４で設定する撮影条件は、「撮影モード」の項で上述したように、動画自体の鑑賞よりも静止画の抽出を重視した撮影条件である。第１動画モードにおけるステップＳ１１４以降の処理は図５のフローチャートと同様であるので、詳細な説明を省略する。

　一方、ステップＳ１１２での判断の結果が第２動画モードであった場合、制御部２４０Ｃは、第２動画モードに適した撮影条件を設定する（図２３のステップＳ１９１）。方向検出部２４０Ｂはカメラ１０の姿勢を判定し（ステップＳ１９２）、制御部２４０Ｃは、記憶部２６０の縦横動画用フォルダ（第１フォルダ）に動画ファイルの生成、記録（保存）を開始する（ステップＳ１９３：動画保存ステップ）。ステップＳ１９４，Ｓ１９５の処理は第１動画モードについてのステップＳ１５０，Ｓ１６０の処理と同様である。動画記録終了指示があった場合（ステップＳ１９４でＹｅｓ）及び記録メディア残容量が十分でない場合（ステップＳ１９５でＮｏ）は、制御部２４０Ｃは動画ファイルをクローズして（ステップＳ１９７）、図２２のステップＳ１９０（動画撮影終了か否かの判定）へ戻る。

　動画記録終了指示がなく（ステップＳ１９４でＮｏ）、記録メディア残容量が十分である（ステップＳ１９５でＹｅｓ）場合、制御部２４０Ｃは動画の記録を継続する。しかし、第２動画モードにおいては、第１動画モードの場合と異なり、方向検出部２４０Ｂが「カメラ１０の姿勢の変化（方向変化）が起きた」と判断しない場合（ステップＳ１９６でＮｏ）も、「姿勢の変化が起きた」と判断した場合（ステップＳ１９６でＹｅｓ）も動画を分割しない。第２動画モードにおいてカメラ１０の姿勢が変化しても動画を分割しないのは、第２動画モードは静止画の抽出を目的とした動画を撮影するモードではなく、第１動画モードのように動画を分割して特定のシーンを探しやすくしなくてもよいからである。

　＜第１モード及び第２モードを考慮した場合のフォルダ構成＞

　図２４は第１モード及び第２モードを考慮した場合のフォルダ構成の例を示す図である。同図の例では、制御部２４０Ｃにより撮影日ごとにフォルダが生成され、撮影日ごとのフォルダ内に第１動画モードのフォルダと第２動画モードのフォルダが生成される。制御部２４０Ｃは、第１動画モードのフォルダ内には撮影番号ごとにフォルダを生成し、各撮影番号のフォルダに対し、動画の分割に応じた数の横動画及び縦動画を保存する。一方、第２動画モードでは姿勢の変化に応じた動画の分割を行わないので、制御部２４０Ｃは、第２動画モードのフォルダ内に動画ファイルを記録する。なお、図２４の例では撮影日のフォルダの下位に第１，第２動画モードのフォルダを設けているが、第１，第２動画モードのフォルダを上位とし、その下位に撮影日のフォルダを設けてもよい。このようなフォルダ構成は、制御部２４０Ｃによりモニタ２７０（表示装置）に表示することができる。

　＜静止画の抽出＞

　以下の例で説明するように、カメラ１０では動画を構成するフレームを静止画として抽出することができる。なお、カメラ１０で記録した動画ファイルを用いて、パーソナルコンピュータ等の他の装置で静止画の抽出を行ってもよい。

　（例１）

　制御部２４０Ｃは横動画、縦動画、又は変化中動画（第１動画、第２動画、第３動画）の動画ファイルのうち、ユーザが選択したファイルをモニタ２７０に再生表示させる。連続的な再生ではなくコマ送りで再生（ユーザの操作に応じて１フレームずつ表示）してもよい。制御部２４０Ｃはユーザの操作により再生を停止し、停止した時点で表示されているフレームの選択をユーザの操作に応じて確定することで、静止画抽出部２４０Ｅがそのフレームを静止画として抽出する。

　（例２）

　動画ファイルにイベントの検出を示す情報が付与されている場合、制御部２４０Ｃは、その情報を参照してイベントが検出されたフレームを含む複数のフレームをモニタ２７０に表示してもよい。図２５はそのような表示の例であり、フレーム１０５２を含む５つのフレーム１０５１～１０５５が表示されている。また、静止画が記録されたフレーム１０５２（静止画の記録はイベント発生の一例である）については、静止画抽出部２４０Ｅによりカメラ状のアイコン１０６０が付されている。アイコン１０６０により、ユーザは静止画が記録されたフレームであることを把握することができる。

　なお、表示する静止画抽出用フレームの範囲は「記録した静止画ファイルに対応するフレーム」（図２５の例ではフレーム１０５２）に対し時間的に前のフレーム（フレーム１０５１）及び後のフレーム（フレーム１０５３～１０５５）を含めてもよい。また、表示する静止画抽出用フレームの範囲は、「時間的に前のフレームだけを含める」態様あるいは「時間的に後のフレームだけを含める」態様でもよい。表示する静止画抽出用フレームの範囲はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。また、表示するフレームの範囲を時間で規定（例えば、静止画が記録されたフレームの前後１秒ずつ）してもよいし、フレーム数で規定（例えば、静止画が記録されたフレームの前後の１０フレームずつ）してもよい。また、初期状態では静止画として記録されたフレームのみを一覧表示し、その中から選択されたフレームについて時間的に前及び／又は後ろのフレームを表示してもよい。

　＜抽出するフレームの選択＞

　ユーザは、表示された静止画抽出用フレームからフレームを選択することができる。図２５の例では、ユーザは操作部２５０及び／又はモニタ２７０を介して所望のフレームに対するチェックボックス１０７０をチェックすることによりフレームを選択することができ、複数のフレームを選択することもできる。なお、ユーザによって指定された静止画が記録されたフレームが、必ずしもベストのタイミングで記録されたとは限らない。他の関連フレームを合わせて表示することで、ユーザが他のフレームを選択したいと思う場合もある。よって、静止画が記録されたフレームに加えてその前及び／又は後ろのフレームから選択できるようにすることが好ましい。図２５では、静止画が記録されたフレーム（アイコン１０６０が付されたフレーム１０５２）と異なるフレーム１０５３をユーザが選択した状態を示している。

　静止画抽出部２４０Ｅは、選択されたフレームを静止画として抽出する（静止画抽出ステップ）。なお、動画ファイルはＭＰＥＧ形式等の動画用フォーマットで記憶されているので、静止画抽出部２４０Ｅは選択されたフレームのデータを静止画用のフォーマット（ＪＰＥＧ形式等）に変換する。ユーザは、動画（第１動画、第２動画、第３動画）から所望のタイミングにおける静止画を抽出することができる。

　＜第２の実施形態＞

　第１の実施形態では、デジタルカメラであるカメラ１０について説明したが、撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ（ＰＣ：ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

　本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　図２６は本発明の撮像装置の一実施形態であるスマートフォン１（撮像装置）の外観を示す図であり、同図の（ａ）部分は正面図、（ｂ）部分は背面図である。図２６に示すスマートフォン１は平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、筐体２は、スピーカ３１と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１，４２（撮像装置、撮影部、イベント検出部、制御部、静止画抽出部、レンズ駆動制御部）、ストロボ４３とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

　図２７は、図２６に示すスマートフォン１の構成を示すブロック図である。図２７に示すように、スマートフォン１の主たる構成要素として、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１，４２と、ストロボ４３と、記憶部５０（記憶部）と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）と、モーションセンサ部８０と、電源部９０と、主制御部１０１とを備える。主制御部１０１は、撮影部、動画ファイル生成部、静止画ファイル生成部、イベント検出部、表示制御部、静止画抽出部、レンズ駆動制御部として機能する。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行う。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／又は動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

　表示パネル２１としては、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＯＥＬＤ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ－ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）などが表示デバイスとして用いられる。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等の導体によって操作される１又は複数の座標を検出するデバイスである。斯かるデバイスをユーザの指やペン等の導体によって操作すると、操作パネル２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

　図２６に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆う配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図２６に示すように、例えばスピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

　操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図２６に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５０は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、公知の格納媒体を用いて実現される。

　外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン１は、外部入出力部６０を介して他の外部機器に通信等により直接的又は間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス（ＵＳＢ：ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＩＥＥＥ１３９４、ネットワーク（例えば、インターネット、無線ＬＡＮ）を挙げることができる。この他、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（ＵｌｔｒａＷｉｄｅＢａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）なども通信等の手段として挙げることができる。

　スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙｃａｒｄ）やＳＩＭ(ＳｕｂｓｃｒｉｂｅｒＩｄｅｎｔｉｔｙＭｏｄｕｌｅＣａｒｄ)／ＵＩＭ(ＵｓｅｒＩｄｅｎｔｉｔｙＭｏｄｕｌｅＣａｒｄ)カードが挙げられる。また、オーディオ及びビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

　モーションセンサ部８０は、例えば、３軸の加速度センサや傾斜センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度、姿勢が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給する。

　主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御する。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

　カメラ部４１，４２は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮影するデジタルカメラ（撮像装置）である。また、カメラ部４１，４２は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧなどの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１は、主制御部１０１の制御により、動画の分割及び結合、高画質な静止画（ＲＡＷ画像等）の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図２６，２７に示すスマートフォン１において、カメラ部４１，４２の一方を用いて撮影することもできるし、カメラ部４１，４２を同時に使用して撮影することもできる。カメラ部４２を用いる場合はストロボ４３を使用することができる。

　また、カメラ部４１，４２はスマートフォン１の各種機能に利用することができる。例えば、表示パネル２１にカメラ部４１，４２で取得した画像を表示することや、操作パネル２２の操作入力のひとつとして、カメラ部４１，４２の画像を利用することができる。また、ＧＰＳ受信部７０が位置を検出する際に、カメラ部４１，４２からの画像を参照して位置を検出することもできる。さらには、カメラ部４１，４２からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４１，４２からの画像をアプリケーションソフトウェア内で利用することもできる。その他、静止画又は動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することもできる。

　＜スマートフォンの姿勢＞

　図２８の（ａ）部分はスマートフォン１に対して規定される座標系の例を示す図であり、この例ではＸ軸周りの角度で姿勢を決める。（ａ）部分は角度０ｄｅｇの縦状態（スマートフォン１（撮像装置）が重力方向に沿っている第２状態）を示し、同図の（ｂ）部分は角度９０ｄｅｇの横状態（スマートフォン１（撮像装置）が水平方向に沿っている第１状態）を示す。また、図２９はＸ軸周りの角度とスマートフォン１の姿勢（縦又は横）との関係の例を示す図である。なお、第１の実施形態に係るカメラ１０の場合（図４を参照）と同様に、横状態（図２８の（ｂ）部分に示す状態）を基準（角度０ｄｅｇ）として姿勢及び状態（第１状態、第２状態、第３状態）を規定してもよい。

　上述した構成のスマートフォン１においても、第１の実施形態に係るカメラ１０と同様に本発明に係る撮像方法の処理（動画の撮影、分割、及び記録、静止画の記録、静止画抽出等）を実行することができる。具体的には、第１の実施形態（態様１から態様６の処理を含む）において画像処理装置２４０（図２に示す各部）が実行する処理をスマートフォン１では主としてカメラ部４１，４２及び主制御部１０１が実行することにより、本発明に係る撮像方法の処理を行うことができる。その他、第１の実施形態における操作部２５０、記憶部２６０、モニタ２７０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２によりそれぞれ実現することができる。

　これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラ１０と同様の効果（ユーザが、所望の構図のフレームを含む動画を迅速かつ容易に選択することができること等）を得ることができる。

　以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した実施形態及び態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１　　　　スマートフォン

２　　　　筐体

１０　　　カメラ

１１　　　無線通信部

２０　　　表示入力部

２１　　　表示パネル

２２　　　操作パネル

３０　　　通話部

３１　　　スピーカ

３２　　　マイクロフォン

４０　　　操作部

４１　　　カメラ部

４２　　　カメラ部

４３　　　ストロボ

５０　　　記憶部

５１　　　内部記憶部

５２　　　外部記憶部

６０　　　外部入出力部

７０　　　ＧＰＳ受信部

８０　　　モーションセンサ部

９０　　　電源部

１００　　交換レンズ

１０１　　主制御部

１１０　　ズームレンズ

１２０　　フォーカスレンズ

１３０　　絞り

１４０　　レンズ駆動部

２００　　撮像装置本体

２１０　　撮像素子

２２０　　ＡＦＥ

２３０　　Ａ／Ｄ変換器

２４０　　画像処理装置

２４０Ａ　画像取得部

２４０Ｂ　方向検出部

２４０Ｃ　制御部

２４０Ｄ　イベント検出部

２４０Ｅ　静止画抽出部

２４０Ｆ　レンズ駆動制御部

２４２　　ＲＯＭ

２５０　　操作部

２６０　　記憶部

２７０　　モニタ

２８０　　姿勢センサ

１００１　フレーム

１００２　フレーム

１００３　フレーム

１００４　フレーム

１００５　フレーム

１０１０　動画ファイル

１０２０　動画ファイル

１０３０　横動画ファイル

１０３２　縦動画ファイル

１０３４　横動画ファイル

１０３６　縦動画ファイル

１０４０　画像

１０４２　画像

１０４４　画像

１０４６　画像

１０５１　フレーム

１０５２　フレーム

１０５３　フレーム

１０５４　フレーム

１０５５　フレーム

１０６０　アイコン

１０７０　チェックボックス

Ｌ　　　　光軸

Ｓ１００～Ｓ１９６　撮像方法の各ステップ

ＳＴ１　ＧＰＳ衛星

ＳＴｎ　ＧＰＳ衛星

Claims

　撮像装置であって、

　重力方向に対する前記撮像装置の方向を検出する方向検出部と、

　動画を撮影する撮影部と、

　制御部と、

　を備え、

　前記制御部は、前記撮影部が撮影した動画の動画ファイルを生成し、前記動画ファイルから静止画を抽出可能な第１動画モードを有し、

　前記制御部は、前記第１動画モードにおいて、前記方向検出部が前記撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第１動画と第２動画を生成し、

　前記制御部は、前記第１動画の第１動画ファイルと前記第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存する、撮像装置。
　前記制御部は、重力方向に対する前記撮像装置の方向に関する情報に基づいて、前記第１動画ファイルと前記第２動画ファイルを保存する、請求項１に記載の撮像装置。
　前記制御部は、時間において、前記第１動画と前記第２動画の間にある第３動画を生成し、

　前記第３動画は、前記方向変化が起きた第１期間の動画を含む、請求項１又は２に記載の撮像装置。
　前記制御部は、前記第３動画を前記記憶部に保存をしない、請求項３に記載の撮像装置。
　前記制御部は、前記第３動画を前記同一のフォルダとは別のフォルダに保存する、請求項３に記載の撮像装置。
　前記第３動画は、前記方向変化が終了した後の第２期間の動画も含む、請求項３ないし５のいずれか１項に記載の撮像装置。
　前記第２期間は、前記撮像装置が、動画の露出、動画のホワイトバランス、又は、動画中の被写体のフォーカスを調整している期間である、請求項６に記載の撮像装置。
　前記第１動画ファイルおよび前記第２動画ファイルは、ファイル名の拡張子を除く少なくとも一部が共通している、請求項１ないし７のいずれか１項に記載の撮像装置。
　前記制御部は、前記第１動画モードと撮影条件が異なる第２動画モードを有し、

　前記制御部は、前記第２動画モードにおいて、前記方向検出部が前記方向変化を検出した場合、動画を分割しない、請求項１ないし８のいずれか１項に記載の撮像装置。
　前記第１動画モードは、前記第２動画モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または前記第２動画モードに対してフレームレートが高く設定される請求項９に記載の撮像装置。
　撮像装置であって、

　重力方向に対する前記撮像装置の方向を検出する方向検出部と、

　動画を撮影する撮影部と、

　制御部と、

　を備え、

　前記制御部は、前記撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モードと、前記第１動画モードと撮影条件が異なる第２動画モードを有し、

　前記制御部は、前記第１動画モードにおいて、前記方向検出部が前記撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第１動画と第２動画を生成し、

　前記制御部は、前記第２動画モードにおいて、前記方向検出部が、前記方向変化が起きたと判断した場合、動画を分割しない、撮像装置。
　前記制御部は、重力方向に対する前記撮像装置の方向に関する情報に基づいて、前記第１動画の第１動画ファイルと前記第２動画の第２動画ファイルを保存する、請求項１１に記載の撮像装置。
　前記制御部は、時間において、前記第１動画と前記第２動画の間にある第３動画を生成し、

　前記第３動画は、前記方向変化が起きている第１期間の動画を含む、請求項１１又は１２に記載の撮像装置。
　前記制御部は、前記第３動画を保存しない、請求項１３に記載の撮像装置。
　前記制御部は、前記第３動画を前記第１動画を保存するフォルダ及び前記第２動画を保存するフォルダとは別のフォルダに保存する、請求項１３に記載の撮像装置。
　前記第３動画は、前記方向変化が終了した後の第２期間の動画も含む、請求項１３又は１４に記載の撮像装置。
　前記第２期間は、前記撮像装置が、動画の露出、動画のホワイトバランス、又は、動画中の被写体のフォーカスを調整している期間である、請求項１６に記載の撮像装置。
　前記第１動画の第１動画ファイルおよび前記第２動画の第２動画ファイルのファイル名は、少なくとも一部が共通している、請求項１１ないし１７のいずれか１項に記載の撮像装置。
　前記制御部は、前記第１動画ファイルと前記第２動画ファイルに前記重力方向に対する前記撮像装置の方向に関する情報を付与する、請求項２又は１２に記載の撮像装置。
　重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、前記撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モードを有する制御部とを備える撮像装置の撮像方法であって、

　前記第１動画モードにおいて、前記方向検出部が前記撮像装置の重力方向に対する方向変化が起きたか否か判断する判断ステップと、

　前記方向検出部により、前記方向変化が起きたと判断された場合は、動画を分割して第１動画と第２動画を生成する生成ステップと、

　前記第１動画の第１動画ファイルと前記第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存する保存ステップと、を備える撮像方法。
　重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、前記撮影部が撮影した動画のファイルから静止画を抽出可能な第１動画モード及び前記第１動画モードと撮影条件が異なる第２動画モードを有する制御部とを備える撮像装置の撮像方法であって、

　前記第１動画モードにおいて、前記方向検出部が前記撮像装置の重力方向に対する方向変化が起きたか否か判断する判断ステップと、

　前記方向検出部により、前記方向変化が起きたと判断された場合は、前記第１動画モードにおいて動画を分割して第１動画と第２動画を生成し、前記第２動画モードにおいて動画を分割しない動画生成ステップと、

　を有する撮像方法。
　重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、前記撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モードを有する制御部とを備える撮像装置に用いられるプログラムであって、

　前記第１動画モードにおいて、前記方向検出部に前記撮像装置の重力方向に対する方向変化が起きたか否か判断させ、

　前記方向検出部により、前記第１動画モードにおいて前記方向変化が起きたと判断された場合、前記制御部に動画を分割させて第１動画と第２動画を生成させ、

　前記制御部に、前記第１動画の第１動画ファイルと前記第２動画の第２動画ファイルを、記憶部の同一のフォルダに保存させる、プログラム。
　重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、前記撮影部が撮影した動画の動画ファイルから静止画を抽出可能な第１動画モード及び前記第１動画モードと撮影条件が異なる第２動画モードを有する制御部とを備える撮像装置に用いられるプログラムであって、

　前記第１動画モードにおいて、前記方向検出部に前記撮像装置の重力方向に対する方向変化が起きたか否か判断させ、

　前記方向検出部により、前記第１動画モードにおいて前記方向変化が起きたと判断された場合、前記制御部に動画を分割させて第１動画と第２動画を生成させ、

　前記方向検出部により、前記第２動画モードにおいて前記方向変化が起きたと判断された場合、動画を分割させない、プログラム。