JP7337526B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、動画ファイルを編集する画像処理装置、画像処理装置を備える撮像装置、画像処理方法、およびプログラムに関する。

近年、動画の撮影に関し、動画を構成する単位画像（フレーム）に対して、撮影時に得られる撮影情報を付加して動画ファイルに記録することが行われている。加えて、動画に付加された撮影情報を解析して、動画内に含まれる注目箇所（ハイライト）を検出することも行われている。

また、特許文献１では、動画ファイルの編集に関し、動画の編集点に対応するＧＯＰ（Group Of Picture）の位置情報とそのＧＯＰ内のフレーム番号とを管理情報に記録する技術が提案されている。以上の構成によれば、ＧＯＰの位置情報とフレーム番号とを併せて用いることで、編集後の動画ファイルを編集点から再生することが可能になる。

特開２００８－１６６８８９号公報

動画に付加される撮影情報には、複数の種別の情報、例えば被写体情報およびブロック積分情報が含まれる。一般的に、ブロック積分情報の情報量は、被写体情報の情報量よりも多い。動画ファイルのデータ容量を低減するために、より情報量の多い情報（例えば、ブロック積分情報）の記録周期を、より情報量の少ない情報（例えば、被写体情報）の記録周期よりも長くした構成が採用される場合がある。また、データフォーマットに関しては、ハイライト検出等の種々の解析に適用可能であるように、撮影情報が固定的なデータ構造を有することが好ましい。

異なる周期で取得された複数の種別の撮影情報を記録した動画ファイルの一部を抽出するように編集する際、抽出期間内のフレームおよび撮影情報を新たな動画ファイルに格納すると、格納された撮影情報の配置が不適切になる可能性がある。

以上の事情に鑑み、本発明の目的は、異なる周期で記録された撮影情報を含む動画ファイルを適切に編集できる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、時系列に並べられた複数のフレームを含む動画と前記動画に関連付けられた撮影情報とが記録された動画ファイルに対する編集処理を実行する画像処理装置であって、前記撮影情報は、前記時系列において第１周期で記録された長周期撮影情報と前記時系列において前記第１周期より短い第２周期で記録された短周期撮影情報とを配置したデータ構造を有しており、前記動画ファイルから編集対象のフレーム範囲をユーザに選択させる選択手段と、前記編集処理を実行する際に、前記選択手段により編集対象として選択されたフレーム範囲に対応する第１期間のフレーム画像及び撮影情報を含む編集後動画ファイルを生成する制御部を備え、前記制御部は、前記第１期間の先頭フレームが前記長周期撮影情報を有さないフレームの場合には、前記第１期間を含み、かつ、前記長周期撮影情報を有するフレームが先頭フレームとなる第２期間の撮影情報を含む編集後動画ファイルを生成する、ことを特徴とする。

本発明によれば、異なる周期で記録された撮影情報を含む動画ファイルを適切に編集できる。

本発明の実施形態に係るデジタルカメラの外観図である。 本発明の実施形態に係るデジタルカメラの構成ブロック図である。 本発明の実施形態に係る動画ファイルのファイル構造を示す図である。 本発明の実施形態における動画の記録処理のフローチャートである。 本発明の実施形態における動画ファイルに対する処理のフローチャートである。 本発明の実施形態における画像と撮影情報との時系列的対応を示す説明図である。 本発明の実施形態における画像と撮影情報との時系列的対応を示す説明図である。

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の実施形態は、本発明が適用される装置の構成や各種条件に応じて適宜に修正または変更することが可能である。したがって、本発明の範囲は、以下の実施形態に記載される構成によって限定されるものではない。以下の実施形態に係る画像処理装置は、後述されるデジタルカメラの他、監視カメラ、工業用カメラ、医療用カメラ等の種々の電子カメラ装置に適用できる。以下の実施形態に係る画像処理装置は、スマートフォン、タブレット端末等の種々の情報処理装置に適用することも可能である。他に、以下の実施形態に係る画像処理装置の動画編集に関する部分を、パーソナルコンピュータ等の撮像機能を有さない装置に適用することも可能である。

＜画像処理装置の構成＞
図１に、本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ２００の外観図を示す。デジタルカメラ２００は、蓋１０１と表示部２２０とシャッターボタン２２４と操作部２２６と外部記録媒体２２９と動画撮影ボタン２３０と信号出力部２４１とを備える。

表示部２２０は、画像や各種の情報を表示する表示部材であって、例えばＴＦＴ（Thin Film Transistor）液晶ディスプレイである。シャッターボタン２２４は、ユーザが静止画の撮影指示を行うための操作部材である。動画撮影ボタン２３０は、ユーザが動画の撮影指示を行うための操作部材である。本実施形態における動画は、時系列的に並べられた複数の単位画像（フレーム）によって構成される。操作部２２６は、デジタルカメラ２００に対するユーザからの各種操作を受け付ける操作部材である。操作部２２６は、例えば、電源オン状態と電源オフ状態とを切り替える電源スイッチ、各種モードを切り替えるモード切替えスイッチ、メニュー設定を指示するメニューボタン、種々の設定や指示を選択する十字キーボタン等の操作部材を含む。なお、タッチパネル等の表示および入力が可能な部材によって、表示部２２０と操作部２２６とが一体的に構成されてもよい。また、操作部２２６が、視線検知によるポインティング装置や音声認識装置を有してもよい。

外部記録媒体２２９は、デジタルカメラ２００に対して着脱可能な記録媒体であり、例えば、メモリカードやハードディスクドライブを用いることができる。蓋１００を閉じることによって、外部記録媒体２２９がデジタルカメラ２００の内部に収納される。信号出力部２４１は、ＴＶモニタ等の外部表示装置にデジタルカメラ２００内の画像を表示させるインターフェイスである。

図２に、本発明の実施形態に係るデジタルカメラ２００の構成ブロック図を示す。

撮影レンズ２０２は、フォーカスレンズおよびズームレンズを含むレンズ群である。バリア２０１は、撮影レンズ２０２を含む撮像系を覆うことによって汚れや破損を防止する保護手段である。撮像系は、デジタルカメラ２００と一体的に形成されてよいし、デジタルカメラ２００に着脱可能に装着されてもよい。シャッター２０３は、絞り機能を有するシャッターである。

撮像素子２０４は、入射した光学像を電気信号に変換するＣＣＤセンサまたはＣＭＯＳセンサを含む固体撮像素子である。Ａ／Ｄ変換部２０５は、撮像素子２０４が出力したアナログ信号をデジタル信号（画像データ）に変換する変換回路である。タイミング発生器２０９は、撮像素子２０４、Ａ／Ｄ変換部２０５、Ｄ／Ａ変換部２１０等の要素にクロック信号と制御信号とを供給するタイミング発生回路である。

画像処理部２１２は、種々の画像処理を実行する論理回路である。画像処理部２１２は、Ａ／Ｄ変換部２０５から出力された画像データまたはメモリ制御部２１３から供給された画像データに対して、現像処理、顔検出処理、物体検出処理、ブロック積分情報の取得処理等の画像処理を実行する。例えば、画像処理部２１２は、所定の顔検出アルゴリズムに従って画像データに含まれる被写体人物の顔を検出することで、顔の向きやサイズ等を示す顔検出情報および画像データ内の顔の位置を示す顔座標情報等の顔情報を取得する。他に、画像処理部２１２は、画像データを分割して得られる複数の領域毎（ブロック毎）に被写体輝度を積分することで、ブロック輝度積分値を示すブロック積分情報を取得する。

また、画像処理部２１２は、撮像した画像データを用いて相関演算処理等の所定の演算処理を実行し、演算結果をシステム制御部（制御部）２１４に出力する。画像処理部２１２は、メモリ２１７に格納された画像データを読み込んで圧縮処理または伸長処理を実行し、処理を終えたデータをメモリ２１７に書き込む。圧縮処理および伸長処理の方式として、例えば、ＪＰＥＧ方式やＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４方式を適用可能である。画像処理部２１２は、動画の撮影時に取得された撮影情報ＰＩ（被写体情報、ブロック積分情報、カメラ操作情報等）を解析することによって、動画内に含まれる注目箇所（ハイライト）を取得することができる。

メモリ２１７は、撮影した静止画および動画を格納可能な記録媒体であって、所定枚数の静止画像および所定時間の動画を格納するのに十分な記憶容量を有する。また、メモリ２１７は、システム制御部２１４の作業領域（ワーキングメモリ）としても使用できる。不揮発性メモリ２２３は、電気的に記録および消去が可能な不揮発性メモリであって、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。不揮発性メモリ２２３は、システム制御部２１４等が用いる制御用プログラムおよび種々の文字情報等を格納している。

メモリ制御部２１３は、Ａ／Ｄ変換部２０５、タイミング発生器２０９、Ｄ／Ａ変換部２１０、画像処理部２１２、およびメモリ２１７を制御する制御回路である。撮像素子２０４からの出力をＡ／Ｄ変換部２０５が変換して得られた画像データは、画像処理部２１２を経た後にメモリ制御部２１３を介して、または直接的にメモリ制御部２１３を介して、メモリ２１７に書き込まれる。なお、メモリ制御部２１３は、不揮発性メモリ２２３を制御してもよく、カードコントローラ２２７を介して外部記録媒体２２９を制御してもよい。

カードコントローラ２２７は、着脱可能な外部記録媒体２２９とのデータの送受信（読み書き）を実行する。

システム制御部２１４は、デジタルカメラ２００の各部を統合的に制御する制御回路であって、例えば１つ以上のＣＰＵ（Central Processing Unit）によって構成される。システム制御部２１４は、不揮発性メモリ２２３内のプログラムをメモリ２１７に展開して実行することにより、デジタルカメラ２００の各部を制御する。

露光制御部２１５はシャッター２０３を個別に制御する。測距制御部２１６は撮影レンズ２０２（フォーカスレンズ）のフォーカシングを個別に制御する。ズーム制御部２２１は撮影レンズ２０２（ズームレンズ）を個別に制御する。バリア制御部２２２は保護手段であるバリア２０１の動作を制御する。なお、上記したシステム制御部２１４以外の各制御部は、専用に設計された論理回路でもよく、プログラムされたプロセッサでもよく、システム制御部２１４が不揮発性メモリ２２３内の制御プログラムを実行することによって実現される機能ブロックでもよい。また、各制御部は、制御対象の状態を示す情報をシステム制御部２１４に出力する。例えば、ズーム制御部２２１は、ズーム位置を示すズーム情報をシステム制御部２１４に出力する。

また、システム制御部２１４は、画像処理部２１２が画像データを用いて取得した演算結果に基づいて、露光制御部２１５および測距制御部２１６等を制御する。以上の制御によって、自動焦点（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理、顔検出処理、個人認証処理等の撮像関連処理が実行される。

表示部２２０は、レイヤ合成部２１９によって合成されたレイヤを表示する。撮像された画像データを表示部２２０に逐次に表示することによって、ライブビュー画像を表示する電子ファインダ機能を実現できる。信号出力部２４１は、画像データを映像信号に変換して外部の表示装置に対して送出する。

シャッターボタン２２４、操作部２２６、および動画撮影ボタン２３０は、ユーザがシステム制御部２１４に対して各種の指示を入力するのに用いられる操作手段である。

シャッタースイッチ２２４ａは、シャッターボタン２２４の操作途中、いわゆる半押し（撮影準備指示）でＯＮ状態となることで、第１シャッタースイッチ信号ＳＷ１を生成する。第１シャッタースイッチ信号ＳＷ１によって、自動焦点（ＡＦ）処理、自動露出（ＡＥ）処理、オートホワイトバランス（ＡＷＢ）処理、フラッシュプリ発光（ＥＦ）処理等の撮影準備処理の開始がシステム制御部２１４に指示される。

シャッタースイッチ２２４ｂは、シャッターボタン２２４の操作完了、いわゆる全押し（撮影指示）でＯＮ状態となることで、第２シャッタースイッチ信号ＳＷ２を生成する。第２シャッタースイッチ信号ＳＷ２によって、一連の撮影処理の開始がシステム制御部２１４に指示される。一連の撮影処理には、以下の処理が含まれる。

－撮像素子２０４での露光処理および信号読出し処理
－Ａ／Ｄ変換部２０５による読み出された信号のＡ／Ｄ変換処理
－メモリ制御部２１３によるメモリ２１７への画像データ書込み処理
－画像処理部２１２等による現像処理および圧縮処理
－カードコントローラ２２７を介した外部記録媒体２２９への画像データ書込み処理
操作部２２６は、例えば、以下の操作部材を有する。

－電源ボタン
－メニューボタン
－撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ
－十字キー
－セットボタン
－マクロボタン
－マルチ画面再生改ページボタン
－フラッシュ設定ボタン
－単写／連写／セルフタイマー切替えボタン
－メニュー移動＋（プラス）ボタン
－メニュー移動－（マイナス）ボタン
－再生画像移動＋（プラス）ボタン
－再生画像移動－（マイナス）ボタン
－撮影画質選択ボタン
－露出補正ボタン
－日付／時間設定ボタン
電源部８０は、アルカリ電池もしくはリチウム電池等の一次電池、または、ＮｉＣｄ電池、ＮｉＭＨ電池、もしくはＬｉ電池等の二次電池、およびＡＣアダプター等から構成される。電源制御部２２８は、電池検出回路、ＤＣ－ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、および電池残量の検出を実行する。

ジャイロ部２４０は、デジタルカメラ２００のピッチ方向およびヨー方向の角速度を検出してジャイロ情報としてシステム制御部２１４に出力する。回転角度検出部２４２は、デジタルカメラ２００の回転角度を検出して回転角度情報としてシステム制御部２１４に出力する。

図３に、本発明の実施形態に係る動画ファイル３００のファイル構造を示す。動画ファイル３００は、所定のファイルフォーマット、例えばＭＰ４コンテナファイルフォーマットに準拠している。動画ファイル３００は、ｆｔｙｐボックス３０１、ｍｏｏｖボックス３０２、ｍｄａｔボックス３０３、ｓｋｉｐボックス３０４、およびｕｕｉｄボックス３０５を含む。

ｆｔｙｐボックス３０１は、ファイル形式（準拠規格）を識別する互換性情報（ブランド情報）を格納する領域であって、複数のボックスの先頭に位置する。ｍｏｏｖボックス３０２は、動画ファイル３００内の動画を構成する複数の画像の格納状態を示す管理情報（メタデータ）を格納する領域であって、ｍｖｈｄボックス等の複数の子ボックスを含み得る。管理情報は、符号化データのフレームサイズおよびデータ格納位置を示すアドレス情報を含む。ｍｄａｔボックス３０３は、符号化された動画データ自体をフレーム単位で時系列的に格納する領域である。ｍｄａｔボックス３０３は、音声データをさらに含んでもよい。ｓｋｉｐボックス３０４は、任意のデータを格納可能な領域であって、ｕｕｉｄボックス３０５を含む。なお、ｕｕｉｄボックス３０５はｍｏｏｖボックス３０２に含まれてもよい。

ｕｕｉｄボックス３０５は、ユニークな情報を格納する領域であって、動画を撮影する際に取得され、撮影された動画に関連付けられた撮影情報（被写体情報、ブロック積分情報、カメラ操作情報等）ＰＩを格納する撮影情報ボックス３１０を含む。撮影情報ボックス３１０は、ヘッダ部３１１と長周期撮影情報部３１２と短周期撮影情報部３１３とを含む。長周期撮影情報部３１２は、動画のｎフレーム（ｎは２以上の整数、例えばｎ＝１５）周期（第２周期）で記録される情報である長周期撮影情報ＬＴを格納する。短周期撮影情報部３１３は、動画の１フレーム周期（第１周期）で記憶される情報である短周期撮影情報ＳＴを格納する。図３に示すように、１個の長周期撮影情報ＬＴおよびｎ個の短周期撮影情報ＳＴは、１つの組として扱われるので、固定された順番で撮影情報ボックス３１０内に格納される。

ヘッダ情報ＨＩは、撮影情報ＰＩを用いる際に必要な情報であって、格納頻度情報３２０、フレーム情報３２１、編集情報３２２を含む。格納頻度情報３２０は、長周期撮影情報ＬＴが、ｍｄａｔボックス３０３内の動画の何フレーム単位で格納されるかを示す情報（２以上の整数である頻度値ｎ）であって、例えば「１５」である。フレーム情報３２１は、長周期撮影情報ＬＴおよび短周期撮影情報ＳＴが何フレーム分に亘って格納されているかを示すフレーム数情報を含む。編集情報３２２は、ｍｄａｔボックス３０３内の動画が記録または編集された時に格納される情報であって、詳細は後述される。

長周期撮影情報ＬＴは、動画のｎフレーム毎に取得される撮影情報ＰＩであるブロック積分情報３３０と回転角度情報３３１とを含む。

短周期撮影情報ＳＴは、動画の１フレーム毎に取得される撮影情報ＰＩである顔検出情報３４０と顔座標情報３４１とジャイロ情報３４２とズーム情報３４３とを含む。

１単位の長周期撮影情報ＬＴが有する情報量（データ容量）は、１単位の短周期撮影情報ＳＴが有する情報量よりも大きい。

＜動画の記録処理＞
図４は、本発明の実施形態に係るデジタルカメラ２００が実行する動画の記録処理を示すフローチャートである。概略的には、動画と併せて撮影情報ＰＩが動画ファイル３００に記録される。

ステップＳ４００において、システム制御部２１４は、動画撮影ボタン２３０が押下されたか否かを判定する。動画撮影ボタン２３０が押下されていない場合（Ｓ４００：ＮＯ）、システム制御部２１４はステップＳ４００を繰り返す。すなわち、ステップＳ４００は動画撮影ボタン２３０の押下操作の待ちループである。動画撮影ボタン２３０が押下された場合（Ｓ４００：ＹＥＳ）、システム制御部２１４は処理をステップＳ４１０に進める。

ステップＳ４０１において、システム制御部２１４は、エンコードされ動画ファイル３００内に記録された画像の枚数を示す変数Ｅｎｃを「０」に初期化する（Ｅｎｃ＝０）。変数Ｅｎｃは、画像枚数（すなわち、フレーム数）のカウンタである。

ステップＳ４０２において、システム制御部２１４は、動画を構成する複数の画像を記録すべき動画ファイル３００を書込み可能な状態にするオープン処理を、外部記録媒体２２９に対して実行する。

ステップＳ４０３において、システム制御部２１４は、撮像画像を取得するための露光処理を実行するように撮像素子２０４を制御する。

ステップＳ４０４において、システム制御部２１４は、撮像素子２０４から出力された信号に対してキャプチャ処理を実行し、キャプチャした画像データ（フレーム）を画像処理部２１２を介してメモリ２１７に格納する。画像処理部２１２は、システム制御部２１４から供給された画像データに対して顔検出処理および輝度積分情報の取得処理を実行することによって、顔検出情報３４０、顔座標情報３４１、およびブロック積分情報３３０を取得して、メモリ２１７に格納する。

ステップＳ４０５において、システム制御部２１４は、ステップＳ４０４にてメモリ２１７に格納した画像データを画像処理部２１２に読み込ませる。画像処理部２１２は、読み込んだ画像データをＨ．２６４方式に従って符号化する。

ステップＳ４０６において、システム制御部２１４は、画像の記録枚数を示す変数Ｅｎｃが頻度値ｎ（例えば「１５」）の倍数であるか否か（Ｅｎｃのｎによる剰余が０であるか否か）を判定する（Ｅｎｃ ｍｏｄ ｎ＝＝０）。システム制御部２１４は、変数Ｅｎｃが頻度値ｎの倍数であれば処理をステップＳ４０７へ進める一方、頻度値ｎの倍数でなければ処理をステップＳ４０９へ進める。すなわち、ステップＳ４０６は、現在のフレームが長周期撮影情報ＬＴを記録すべきフレームであるか否かの判定ステップである。

ステップＳ４０７において、システム制御部２１４は、ステップＳ４０４にて画像処理部２１２がメモリ２１７に格納したブロック積分情報３３０を取得する。

ステップＳ４０８において、システム制御部２１４は、回転角度検出部２４２が出力するデジタルカメラ２００の回転方向を示す回転角度情報３３１を取得する。

以上のように、現在のフレームが長周期撮影情報ＬＴを記録すべきである場合にステップＳ４０７およびステップＳ４０８が実行されることによって、長周期撮影情報ＬＴに必要なブロック積分情報３３０および回転角度情報３３１が取得される。

ステップＳ４０９において、システム制御部２１４は、ステップＳ４０４にて画像処理部２１２がメモリ２１７に格納した顔検出情報３４０および顔座標情報３４１を取得する。また、システム制御部２１４は、ジャイロ部２４０が出力するデジタルカメラ２００の角速度を示すジャイロ情報３４２と、ズーム制御部２２１が出力する撮像系（ズームレンズ）のズーム位置を示すズーム情報３４３とを取得する。ステップＳ４０９は全てのフレームにおいて実行される。

ステップＳ４１０において、システム制御部２１４は、キャプチャされメモリ２１７に格納されている画像データを、外部記録媒体２２９内の動画ファイル３００（ｍｄａｔボックス３０３）に記録する。

ステップＳ４１１において、システム制御部２１４は、ステップＳ４０７からステップＳ４０９にて取得した撮影情報ＰＩを、外部記録媒体２２９内の動画ファイル３００（撮影情報ボックス３１０）に記録する。

ステップＳ４１２において、システム制御部２１４は、動画の記録処理が停止されたか否かを判定する。記録処理が停止されていない場合（Ｓ４１２：ＮＯ）、システム制御部２１４は、変数Ｅｎｃをインクリメントする（Ｅｎｃ＋＋）と共に処理をステップＳ４０３に戻して記録処理を継続する。すなわち、ステップＳ４０３～Ｓ４１２の処理はフレーム毎に繰り返される。他方、記録処理が停止された場合（Ｓ４１２：ＹＥＳ）、システム制御部２１４は処理をステップＳ４１３に進める。

ステップＳ４１３において、システム制御部２１４は、ステップＳ４０２においてオープン処理した動画ファイル３００への書込みを終了するクローズ処理を、外部記録媒体２２９に対して実行する。以上のクローズ処理において、システム制御部２１４は、格納頻度情報３２０とフレーム情報３２１と編集情報３２２とを撮影情報ボックス３１０のヘッダ部３１１に格納する。本例においては、上述したように、格納頻度情報３２０は頻度値ｎ（例えば「１５」）であり、フレーム情報３２１に含まれるフレーム数情報は「Ｅｎｃ」である。また、編集情報３２２は、通常構成であることを示すフラグ値（例えば「０」）である。

＜動画ファイルの第１の編集処理＞
図５（ａ）は、本発明の実施形態に係るデジタルカメラ２００が実行する動画ファイル３００の第１の編集処理を示すフローチャートである。概略的には、ユーザの操作等によって指定された動画ファイル３００内の一部の範囲が抽出される（トリミングされる）。

ステップＳ５００において、システム制御部２１４は、操作部２２６へのユーザ操作によって編集開始時点であるｅｄｉｔＳｔａｒｔが選択されたか否かを判定する。図６（ａ）に示すように、ｅｄｉｔＳｔａｒｔは、ユーザが動画編集をしようとする動画ファイル３００内の範囲に含まれる最初の１フレームを指し示す。システム制御部２１４は、ｅｄｉｔＳｔａｒｔが選択されていなければステップＳ５００の待ちループを繰り返し（Ｓ５００：ＮＯ）、ｅｄｉｔＳｔａｒｔが選択されていれば処理をステップＳ５０１に進める（Ｓ５００：ＹＥＳ）。

ステップＳ５０１において、システム制御部２１４は、操作部２２６へのユーザ操作によって編集終了時点であるｅｄｉｔＥｎｄが選択されたか否かを判定する。図６（ａ）に示すように、ｅｄｉｔＥｎｄは、ユーザが動画編集をしようとする動画ファイル３００内の範囲に含まれる最後の１フレームを指し示す。システム制御部２１４は、ｅｄｉｔＥｎｄが選択されていなければステップＳ５０１の待ちループを繰り返し（Ｓ５０１：ＮＯ）、ｅｄｉｔＥｎｄが選択されていれば処理をステップＳ５０２に進める（Ｓ５０１：ＹＥＳ）。

なお、ステップＳ５００，Ｓ５０１が並列的に実行され、双方において判定がＹＥＳとなった後にシステム制御部２１４が処理をステップＳ５０２に進めてもよい。いずれにしても、システム制御部２１４は、ステップＳ５００，Ｓ５０１において、編集対象のフレーム範囲をユーザに選択させる選択手段として機能する。

ステップＳ５０２において、システム制御部２１４は、外部記録媒体２２９に記録されている編集対象の動画ファイル３００に対してオープン処理を実行する。

ステップＳ５０３において、システム制御部２１４は、オープン処理を実行した動画ファイル３００（撮影情報ボックス３１０）に含まれる撮影情報ＰＩをメモリ２１７に展開し、格納頻度情報３２０を取得する。本フローでは、上記で例示したように、格納頻度情報３２０が「１５」を示すと想定する。

ステップＳ５０４において、システム制御部２１４は、以下のように期間ｄｕｒａｔｉｏｎ１（第１期間）、期間ｄｕｒａｔｉｏｎ２（第２期間）、およびＳｔａｒｔＣｕｔＦｒａｍｅ（オフセット値）を取得する。

図６（ａ）に示すように、動画ファイル３００に含まれる画像（フレーム）と短周期撮影情報ＳＴとは時系列において１対１に対応するように配置され、ｎ個（１５個）の短周期撮影情報ＳＴ毎に１個の長周期撮影情報ＬＴが配置される。また、図６（ｂ）に示すように、期間ｄｕｒａｔｉｏｎ１は、ｅｄｉｔＳｔａｒｔを開始時点としｅｄｉｔＥｎｄを終了時点とする期間であって、元の動画から抽出されて（トリミングされて）編集後の動画ファイル３００に残される動画に対応する期間である。以下、編集期間である期間ｄｕｒａｔｉｏｎ１に含まれる動画を構成するフレームを「抽出フレーム（抽出画像）」と称する場合がある。また、期間ｄｕｒａｔｉｏｎ１は、編集対象のフレーム範囲に相当する。ＳｔａｒｔＣｕｔＦｒａｍｅは、期間ｄｕｒａｔｉｏｎ１以前（第１期間以前、ｅｄｉｔＳｔａｒｔ以前）であってｅｄｉｔＳｔａｒｔに最も近い長周期撮影情報ＬＴの位置（先頭フレーム）を示す値（オフセット値）である。本例では、期間ｄｕｒａｔｉｏｎ１の始点フレームよりも３フレーム前に長周期撮影情報ＬＴが位置しているので、ＳｔａｒｔＣｕｔＦｒａｍｅは「３」である。ＳｔａｒｔＣｕｔＦｒａｍｅは、期間ｄｕｒａｔｉｏｎ１の開始時点と期間ｄｕｒａｔｉｏｎ２の開始時点（先頭フレーム）との差分を示す値でもある。なお、期間ｄｕｒａｔｉｏｎ１の開始時点に長周期撮影情報ＬＴが位置する場合、ＳｔａｒｔＣｕｔＦｒａｍｅは「０」である。期間ｄｕｒａｔｉｏｎ２は、ＳｔａｒｔＣｕｔＦｒａｍｅにて示される長周期撮影情報ＬＴに対応する時点を開始時点としｅｄｉｔＥｎｄを終了時点とする期間であって、編集後の動画ファイル３００に残される撮影情報ＰＩに対応する期間である。すなわち、期間ｄｕｒａｔｉｏｎ２は、期間ｄｕｒａｔｉｏｎ１内の動画（複数のフレーム）に必要な撮影情報ＰＩ（短周期撮影情報ＳＴおよび長周期撮影情報ＬＴ）を含む期間である。

ステップＳ５０５において、システム制御部２１４は、メモリ２１７に展開された撮影情報ＰＩから期間ｄｕｒａｔｉｏｎ２に対応する撮影情報ＰＩ（短周期撮影情報ＳＴおよび長周期撮影情報ＬＴ）を抽出して動画ファイル３００に書き込む。さらに、システム制御部２１４は、動画ファイル３００のフレーム情報３２１内に、期間ｄｕｒａｔｉｏｎ２に含まれるフレーム数をフレーム数情報として書き込むと共に、ＳｔａｒｔＣｕｔＦｒａｍｅの値をオフセット値として書き込む。期間ｄｕｒａｔｉｏｎ２は、解析期間ＡｎａｌａｙｚｅＤｕｒａｔｉｏｎとして動画ファイル３００内に格納される。

ステップＳ５０６において、システム制御部２１４は、期間ｄｕｒａｔｉｏｎ１に対応する動画（抽出フレーム）を再エンコードして順次に動画ファイル３００のｍｄａｔボックス３０３内に書き込む。期間ｄｕｒａｔｉｏｎ１は、再生期間ＰｌａｙＤｕｒａｔｉｏｎとして動画ファイル３００内に格納される。

ステップＳ５０７において、システム制御部２１４は、オープンされていた動画ファイル３００に対してクローズ処理を実行する。クローズ処理の実行後、本フローの処理が終了する。

図６（ｃ）は、以上のステップＳ５００～Ｓ５０７の編集処理によって得られた動画ファイル３００の時系列的な構造を示す。図６（ｃ）に示すように、再生期間ＰｌａｙＤｕｒａｔｉｏｎに対応する画像フレームと、解析期間ＡｎａｌａｙｚｅＤｕｒａｔｉｏｎに対応する撮影情報ＰＩ（短周期撮影情報ＳＴおよび長周期撮影情報ＬＴ）とが、編集後の動画ファイル３００内に残る。

編集処理において以上のようにＳｔａｒｔＣｕｔＦｒａｍｅおよび期間ｄｕｒａｔｉｏｎ２（解析期間ＡｎａｌａｙｚｅＤｕｒａｔｉｏｎ）が設定されることで、編集後の動画ファイル３００を後述の解析処理に対応したフォーマットに準拠させることができる。より具体的には以下の通りである。仮に、期間ｄｕｒａｔｉｏｎ１内（すなわち、ｅｄｉｔＳｔａｒｔ以降）の撮影情報ＰＩのみを編集後の動画ファイル３００に残すとすると、対応する長周期撮影情報ＬＴが存在しないフレーム（ｅｄｉｔＳｔａｒｔより前）が生じる。以上の場合、対応する長周期撮影情報ＬＴが存在しないフレームに対して長周期撮影情報ＬＴを必要とする処理（例えば、後述されるハイライト解析処理）を実行することが困難である。本例では、編集処理において長周期撮影情報ＬＴの時系列的位置を示すＳｔａｒｔＣｕｔＦｒａｍｅが設定されることで、編集後の動画ファイル３００内の全フレーム（抽出フレーム）に対応する長周期撮影情報ＬＴが動画ファイル３００に格納される。したがって、以上のように編集された後の動画ファイル３００の抽出フレームの冒頭から長周期撮影情報ＬＴを必要とする処理を実行することが可能となる。

特に、長周期撮影情報部３１２と短周期撮影情報部３１３とが固定された順番で格納されるデータ構造を有する本実施形態の撮影情報ボックス３１０（図３）においては、上記のように設定しないと下記の問題が生じる。図６（ｃ）に示すように、本来、長周期撮影情報ＬＴ１は、短周期撮影情報ＳＴ１を開始時点とする１５個の短周期撮影情報ＳＴに対応しており、長周期撮影情報ＬＴ２は短周期撮影情報ＳＴ１６を開始時点とする１５個の短周期撮影情報ＳＴに対応している。ところが、期間ｄｕｒａｔｉｏｎ１（再生期間ＰｌａｙＤｕｒａｔｉｏｎ）では、長周期撮影情報ＬＴ１が含まれておらず、また、長周期撮影情報ＬＴ１の開始時点（短周期撮影情報ＳＴ１）と異なる短周期撮影情報ＳＴ４から短周期撮影情報ＳＴが開始している。図３に示すように、撮影情報ボックス３１０のデータ構造は固定されているので、１個の長周期撮影情報ＬＴと１５個の短周期撮影情報ＳＴとがシーケンシャルに格納される。したがって、期間ｄｕｒａｔｉｏｎ１内の撮影情報ＰＩのみを編集後の動画ファイル３００に残した場合、１個の長周期撮影情報ＬＴ２と１５個の短周期撮影情報ＳＴ４～ＳＴ１８（図６（ｃ））とが１つの組として連続的に撮影情報ボックス３１０に格納される。換言すると、当初の順番（対応関係）が変化した状態で１個の長周期撮影情報ＬＴ２および１５個の短周期撮影情報ＳＴ４～ＳＴ１８がシーケンシャルに撮影情報ボックス３１０に格納される。すなわち、期間ｄｕｒａｔｉｏｎ１内（第１期間内）の撮影情報ＰＩのみを編集後の動画ファイル３００に残した場合には、長周期撮影情報ＬＴと短周期撮影情報ＳＴとの時系列的な並び（対応関係）が編集前と編集後とで変化してしまうという問題が生じる。上記した図５（ａ）の編集処理によれば、長周期撮影情報ＬＴと短周期撮影情報ＳＴとの編集前の時系列的な並び（対応関係）が維持された状態で編集後の動画ファイル３００に格納される。換言すると、上記した図５（ａ）の編集処理によれば、編集後の動画ファイル３００において、長周期撮影情報ＬＴの開始時点と短周期撮影情報ＳＴの開始時点とが一致する。結果として、長周期撮影情報ＬＴと短周期撮影情報ＳＴとを用いる解析処理が編集後の動画ファイル３００においても適切に実行可能となる。

＜動画ファイルの解析処理＞
図５（ｂ）は、本発明の実施形態に係るデジタルカメラ２００が実行する動画ファイル３００の解析処理を示すフローチャートである。概略的には、ユーザの操作等によって指定された動画ファイル３００を解析することで、注目すべきハイライト期間が特定される。

ステップＳ５５０において、システム制御部２１４は、操作部２２６へのユーザ操作によって既存の動画ファイル３００に対する解析開始が指示されたか否かを判定する。解析開始が指示されていない場合（Ｓ５５０：ＮＯ）、システム制御部２１４はステップＳ５５０を繰り返す。すなわち、ステップＳ５５０は解析開始の指示待ちループである。解析開始が指示された場合（Ｓ５５０：ＹＥＳ）、システム制御部２１４は処理をステップＳ５５１に進める。

ステップＳ５５１において、システム制御部２１４は、外部記録媒体２２９に記録されている解析対象の動画ファイル３００に対してオープン処理を実行する。本例では、図５（ａ）の編集処理によって取得され図６（ｃ）にて示される動画ファイル３００がユーザに選択されたと想定する。

ステップＳ５５２において、システム制御部２１４は、オープン処理を実行した動画ファイル３００（撮影情報ボックス３１０）に含まれる撮影情報ＰＩをメモリ２１７に展開する。

ステップＳ５５３において、システム制御部２１４は、メモリ２１７に展開された撮影情報ＰＩに基づいてハイライト解析処理を実行するように画像処理部２１２を制御する。画像処理部２１２は、動画ファイル３００内の動画に関連付けられた撮影情報ＰＩを解析することによって、動画において注目すべき箇所であるハイライト部分を取得する。画像処理部２１２は、例えば、顔検出情報３４０および顔座標情報３４１に基づいて、特定の人物の顔が含まれる箇所をハイライト部分として取得する。なお、撮影情報ＰＩ内の長周期撮影情報ＬＴに含まれるブロック積分情報３３０および回転角度情報３３１を用いることによって、ハイライト部分をより精度良く検出することが可能となる。

ステップＳ５５４において、システム制御部２１４は、ステップＳ５５３の解析結果に従って、ハイライト部分が含まれるハイライト期間ＨｉｇｈＬｉｇｈｔの開始時点ＨｉｇｈＬｉｇｈｔＳｔａｒｔおよび終了時点ＨｉｇｈＬｉｇｈｔＥｎｄを取得する。図６（ｄ）は、ハイライト期間ＨｉｇｈＬｉｇｈｔ、ハイライト開始時点ＨｉｇｈＬｉｇｈｔＳｔａｒｔ、およびハイライト終了時点ＨｉｇｈＬｉｇｈｔＥｎｄの例を示す。図６（ｄ）に示すように、ハイライト開始時点ＨｉｇｈＬｉｇｈｔＳｔａｒｔおよびハイライト終了時点ＨｉｇｈＬｉｇｈｔＥｎｄは、解析期間ＡｎａｌａｙｚｅＤｕｒａｔｉｏｎと関連付けられて取得される値である。

ステップＳ５５５において、システム制御部２１４は、再生時の、つまり再生期間ＰｌａｙＤｕｒａｔｉｏｎにおける再生ハイライト開始時点ＰｌａｙＨｉｇｈＬｉｇｈｔＳｔａｒｔおよび再生ハイライト終了時点ＰｌａｙＨｉｇｈＬｉｇｈｔＥｎｄを取得する。再生ハイライト開始時点ＰｌａｙＨｉｇｈＬｉｇｈｔＳｔａｒｔおよび再生ハイライト終了時点ＰｌａｙＨｉｇｈＬｉｇｈｔＥｎｄを取得するための算定式は以下の通りである。

ＰｌａｙＨｉｇｈＬｉｇｈｔＳｔａｒｔ＝ＨｉｇｈＬｉｇｈｔＳｔａｒｔ―ＳｔａｒｔＣｕｔＦｒａｍｅ
ＰｌａｙＨｉｇｈＬｉｇｈｔＥｎｄ＝ＨｉｇｈＬｉｇｈｔＥｎｄ―ＳｔａｒｔＣｕｔＦｒａｍｅ
システム制御部２１４は、上記したステップＳ５５３～Ｓ５５５において取得されたハイライトに関する各種のパラメータを動画ファイル３００に格納してもよい。

以上のように、解析期間ＡｎａｌａｙｚｅＤｕｒａｔｉｏｎと再生期間ＰｌａｙＤｕｒａｔｉｏｎとの差分値（オフセット値）を示すＳｔａｒｔＣｕｔＦｒａｍｅを用いることによって、ハイライト開始時点およびハイライト終了時点が再生用に調整される。

システム制御部２１４は、ステップＳ５５５で算定した再生ハイライト開始時点ＰｌａｙＨｉｇｈＬｉｇｈｔＳｔａｒｔが再生期間ＰｌａｙＤｕｒａｔｉｏｎの開始時点より先に到来する場合、再生ハイライト開始時点を再生期間の開始時点に修正してよい。

＜動画ファイルの第２の編集処理＞
図５および図６を参照して説明した第１の編集処理を、以下のように変形することも可能である。第１の編集処理を変形した第２の編集処理について、図７（ａ），（ｂ）を参照して説明する。

図５（ａ）のステップＳ５００～Ｓ５０４の動作については、第１の編集処理と同様である。したがって、第２の編集処理のステップＳ５０４において、システム制御部２１４が、前述のように期間ｄｕｒａｔｉｏｎ１、期間ｄｕｒａｔｉｏｎ２、およびＳｔａｒｔＣｕｔＦｒａｍｅを取得する。

システム制御部２１４は、取得されたＳｔａｒｔＣｕｔＦｒａｍｅが、頻度値ｎ（例えば「１５」）を２で除算した商で示される基準値（ｎ／２、例えば「７．５」）以上であるか否かを判定する。なお、上記判定の基準値は、以上のような実数値（ｎ／２）の他に、実数値を丸めた整数値（例えば、実数値を切上げ、切捨て、または四捨五入した値）であってもよい。すなわち、基準値は、頻度値ｎに基づく値である。基準値を整数値とした場合には、基準値の情報量が低減されると共に基準値に基づく判定処理の動作負荷が軽減される。

ＳｔａｒｔＣｕｔＦｒａｍｅが基準値未満である場合（図７（ａ）では３）、システム制御部２１４は、期間ｄｕｒａｔｉｏｎ１以前（ｅｄｉｔＳｔａｒｔ以前）であってｅｄｉｔＳｔａｒｔに最も近い長周期撮影情報ＬＴ１を動画ファイル３００に格納する。以上の動作は、図５（ａ）のステップＳ５０５と同様である。したがって、短周期撮影情報ＳＴ等の撮影情報ＰＩおよび抽出フレームも第１の編集処理（ステップＳ５０５，Ｓ５０６）と同様に動画ファイル３００に格納される。

他方、ＳｔａｒｔＣｕｔＦｒａｍｅが基準値以上である場合（図７（ｂ）では９）、ステップＳ５０５において、システム制御部２１４は、期間ｄｕｒａｔｉｏｎ１内にあって最初に到来する長周期撮影情報ＬＴ２を動画ファイル３００に格納する。さらに、システム制御部２１４は、ＳｔａｒｔＣｕｔＦｒａｍｅが長周期撮影情報ＬＴ１に代えて長周期撮影情報ＬＴ２を指し示すようにＳｔａｒｔＣｕｔＦｒａｍｅを修正する（例えば、９から６に修正する）。この修正によって得られたＳｔａｒｔＣｕｔＦｒａｍｅを「修正オフセット値」と称する場合がある。システム制御部２１４は、期間ｄｕｒａｔｉｏｎ２の開始時点を、長周期撮影情報ＬＴ１に対応するフレームから長周期撮影情報ＬＴ２に対応するフレームに修正する。システム制御部２１４は、修正後の期間ｄｕｒａｔｉｏｎ２（修正第２期間）に含まれる短周期撮影情報ＳＴを動画ファイル３００に格納する。システム制御部２１４は、以上の変形構成（ＳｔａｒｔＣｕｔＦｒａｍｅが期間ｄｕｒａｔｉｏｎ１内の最初の長周期撮影情報ＬＴ２を示す構成）であることを示す負のフラグ値（例えば「－１」）に編集情報３２２の値を修正する。ステップＳ５０６において、システム制御部２１４は、編集情報３２２が示すフラグ値に従って、期間ｄｕｒａｔｉｏｎ２を再生期間ＰｌａｙＤｕｒａｔｉｏｎに設定し、期間ｄｕｒａｔｉｏｎ２に対応する動画（フレーム）を動画ファイル３００に格納する。なお、ステップＳ５０６において、システム制御部２１４は、第１の編集処理と同様に、期間ｄｕｒａｔｉｏｎ１を再生期間ＰｌａｙＤｕｒａｔｉｏｎに設定し、期間ｄｕｒａｔｉｏｎ１に対応する動画（フレーム）を動画ファイル３００に格納してもよい。さらに、システム制御部２１４は、動画ファイル３００に、期間ｄｕｒａｔｉｏｎ１に対応するフレームを格納するか、期間ｄｕｒａｔｉｏｎ２に対応するフレームを格納するかをユーザに選択させてもよい。

以上のように、第２の編集処理では、ＳｔａｒｔＣｕｔＦｒａｍｅの大きさに基づいて、動画ファイル３００に残す撮影情報ＰＩおよびフレームが修正される。以上の構成によれば、ＳｔａｒｔＣｕｔＦｒａｍｅが基準値以上である場合、すなわちｅｄｉｔＳｔａｒｔと長周期撮影情報ＬＴとが相対的に離間している場合に、残すべき撮影情報ＰＩおよびフレームが削減される。結果として、第１の編集処理と同様、編集後の動画ファイル３００においても解析処理を適切に実行可能である上、編集後の動画ファイル３００の容量の削減も実現できる。

＜動画ファイルの第３の編集処理＞
図５および図６を参照して説明した第１の編集処理を、以下のように変形することも可能である。第１の編集処理を変形した第３の編集処理について、図７（ｃ），（ｄ）を参照して説明する。

図５（ａ）のステップＳ５００～Ｓ５０４の動作については、第１の編集処理と同様である。したがって、第２の編集処理のステップＳ５０４において、システム制御部２１４が、前述のように期間ｄｕｒａｔｉｏｎ１、期間ｄｕｒａｔｉｏｎ２、およびＳｔａｒｔＣｕｔＦｒａｍｅを取得する。

第３の編集処理では、ステップＳ５０５に先立ち図５（ｂ）と同様にステップＳ５５３，Ｓ５５４が実行されることで、ハイライト期間ＨｉｇｈＬｉｇｈｔ、開始時点ＨｉｇｈＬｉｇｈｔＳｔａｒｔ、および終了時点ＨｉｇｈＬｉｇｈｔＥｎｄが取得される。なお、ステップＳ５５３，Ｓ５５４の処理はステップＳ５０５の直前でなくてよく、ステップＳ５０５より前の任意の時点で実行されればよい。

ステップＳ５０５において、システム制御部２１４は、ハイライト期間の終了時点ＨｉｇｈＬｉｇｈｔＥｎｄが、編集期間である期間ｄｕｒａｔｉｏｎ１に含まれる（ｅｄｉｔＳｔａｒｔ以降である）か否かを判定する。すなわち、システム制御部２１４は、期間ｄｕｒａｔｉｏｎ１とハイライト期間ＨｉｇｈＬｉｇｈｔとに重なり合う期間が存在するか否かを判定する。

図７（ｃ）のように、ハイライト期間の終了時点ＨｉｇｈＬｉｇｈｔＥｎｄがｅｄｉｔＳｔａｒｔより前である（期間ｄｕｒａｔｉｏｎ１に含まれない）場合、システム制御部２１４は、第２の編集処理の図７（ｂ）に関する説明と同様に編集処理を実行する。すなわち、システム制御部２１４は、期間ｄｕｒａｔｉｏｎ１内にあって最初に到来する長周期撮影情報ＬＴ２を動画ファイル３００に格納する。他の情報要素（ＳｔａｒｔＣｕｔＦｒａｍｅ、期間ｄｕｒａｔｉｏｎ２、短周期撮影情報ＳＴ、編集情報３２２等）に関しても、図７（ｂ）に関する説明と同様に編集処理が実行される。

他方、図７（ｄ）のように、ハイライト期間の終了時点ＨｉｇｈＬｉｇｈｔＥｎｄがｅｄｉｔＳｔａｒｔ以降である（期間ｄｕｒａｔｉｏｎ１に含まれる）場合、システム制御部２１４は、第２の編集処理の図７（ａ）に関する説明と同様に編集処理を実行する。すなわち、システム制御部２１４は、期間ｄｕｒａｔｉｏｎ１以前（ｅｄｉｔＳｔａｒｔ以前）であってｅｄｉｔＳｔａｒｔに最も近い長周期撮影情報ＬＴ１を動画ファイル３００に格納する。他の情報要素（ＳｔａｒｔＣｕｔＦｒａｍｅ、期間ｄｕｒａｔｉｏｎ２、短周期撮影情報ＳＴ、編集情報３２２等）に関しても、図７（ａ）に関する説明と同様に、すなわち、第１の編集処理と同様に、編集処理が実行される。

以上のように、第３の編集処理では、動画の編集期間である期間ｄｕｒａｔｉｏｎ１とハイライト期間ＨｉｇｈＬｉｇｈｔとの重複状態に基づいて、動画ファイル３００に残す撮影情報ＰＩおよびフレームが修正される。以上の構成によれば、ハイライト期間ＨｉｇｈＬｉｇｈｔがｅｄｉｔＳｔａｒｔより前に終了する場合に、残すべき撮影情報ＰＩおよびフレームが削減される。結果として、第１の編集処理と同様、編集後の動画ファイル３００においても解析処理を適切に実行可能である上、編集後の動画ファイル３００の容量の削減も実現できる。

＜変形例＞
以上の各実施形態は多様に変形される。具体的な変形の態様を以下に例示する。以上の実施形態および以下の例示から任意に選択された２以上の態様は、相互に矛盾しない限り適宜に併合され得る。

上記した実施形態においては、短周期撮影情報ＳＴが１フレーム毎に記録されているが、短周期撮影情報ＳＴが、長周期撮影情報ＬＴが記録される周期より短い複数フレーム毎に記録される構成も採用可能である。例えば、短周期撮影情報ＳＴが２フレーム毎に記録されてもよい。

上記した実施形態において、１個の長周期撮影情報ＬＴと１５個の短周期撮影情報ＳＴとが１つの組として連続的に撮影情報ボックス３１０に格納されているが、１つの組に複数の長周期撮影情報ＬＴが含まれてもよい。すなわち、第１周期で記録されたｐ個の長周期撮影情報ＬＴと、第１周期より短い第２周期で記録されたｑ個の短周期撮影情報ＳＴとが１つの組として連続的に撮影情報ボックス３１０に格納されてもよい。なお、ｐは１以上の整数であり、ｑは２以上の整数かつｑはｐより大きい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現できる。以上の記憶媒体は、コンピュータ読み取り可能な記憶媒体であると好適である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 撮像装置（画像処理装置）
２１２ 画像処理部
２１４ システム制御部（制御部）
３００ 動画ファイル
ＬＴ 長周期撮影情報
ＳＴ 短周期撮影情報

Claims (17)

1. 時系列に並べられた複数のフレームを含む動画と前記動画に関連付けられた撮影情報とが記録された動画ファイルに対する編集処理を実行する画像処理装置であって、
   前記撮影情報は、前記時系列において第１周期で記録された長周期撮影情報と前記時系列において前記第１周期より短い第２周期で記録された短周期撮影情報とを配置したデータ構造を有しており、
   前記動画ファイルから編集対象のフレーム範囲をユーザに選択させる選択手段と、
   前記編集処理を実行する際に、前記選択手段により編集対象として選択されたフレーム範囲に対応する第１期間のフレーム画像及び撮影情報を含む編集後動画ファイルを生成する制御部を備え、
   前記制御部は、前記第１期間の先頭フレームが前記長周期撮影情報を有さないフレームの場合には、前記第１期間を含み、かつ、前記長周期撮影情報を有するフレームが先頭フレームとなる第２期間の撮影情報を含む編集後動画ファイルを生成する、ことを特徴とする画像処理装置。
2. 前記第２周期は、１フレーム周期であることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影情報は、前記長周期撮影情報および前記短周期撮影情報を時系列に配置したデータ構造を有しており、
   前記長周期撮影情報は、前記短周期撮影情報と共に時系列に配置されていることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記長周期撮影情報は、前記短周期撮影情報よりも１フレームあたりの情報量が多い情報であることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記制御部は、前記第１期間以前かつ前記第１期間の開始時点に最も近い前記長周期撮影情報に対応するフレームが、前記第２期間の先頭フレームとなるように、前記第２期間を決定する、ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記制御部は、
   前記第１期間のフレーム画像と、
   前記第１期間の開始時点と前記第２期間の開始時点との差分を示すオフセット値と、
   前記第２期間の前記長周期撮影情報および前記短周期撮影情報とを編集後動画ファイルに格納する、ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記オフセット値が前記第１周期を示す頻度値に基づく基準値以上である場合、前記制御部は、
   前記第１期間の前記開始時点と前記第１期間内にあって最初に到来する前記長周期撮影情報に対応する時点との差分を示すように修正した修正オフセット値と、
   前記修正オフセット値に示される前記長周期撮影情報に対応する時点から前記動画の編集終了時点までの期間である修正第２期間に含まれる前記長周期撮影情報および前記短周期撮影情報と、
   を編集後動画ファイルに格納する、ことを特徴とする請求項６に記載の画像処理装置。
8. 前記基準値は、前記第１周期を２で除算した商を丸めた整数値である、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記動画に含まれる複数の前記フレームを解析してハイライト部分を取得する画像処理部をさらに備え、
   前記制御部は、
   前記ハイライト部分が含まれるハイライト期間に対応するハイライト開始時点およびハイライト終了時点を前記第２期間に関連付けて取得し、
   前記ハイライト開始時点と前記オフセット値とに基づいて前記動画の再生時にハイライトを開始すべき再生ハイライト開始時点を取得すると共に、前記ハイライト終了時点と前記オフセット値とに基づいて前記動画の再生時にハイライトを終了すべき再生ハイライト終了時点を取得する、ことを特徴とする請求項６に記載の画像処理装置。
10. 前記制御部は、
    前記再生ハイライト開始時点が前記第１期間の前記開始時点よりも先に到来する場合、前記再生ハイライト開始時点を前記第１期間の前記開始時点に修正する、ことを特徴とする請求項９に記載の画像処理装置。
11. 前記ハイライト終了時点が前記動画の編集開始時点より前である場合、前記制御部は、
    前記第１期間の前記開始時点と前記第１期間内にあって最初に到来する前記長周期撮影情報に対応する時点との差分を示すように修正した修正オフセット値と、
    前記修正オフセット値に示される前記長周期撮影情報に対応する時点から前記動画の編集終了時点までの期間である修正第２期間に含まれる前記長周期撮影情報および前記短周期撮影情報と、
    を編集後動画ファイルに格納する、ことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記長周期撮影情報は、前記フレームを分割して得られる複数の領域毎に被写体輝度を積分したブロック輝度積分値を示すブロック積分情報を含む、ことを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記短周期撮影情報は、前記フレームから検出した顔に関する顔検出情報を含むことを特徴とする請求項１から請求項１２のいずれか１項に記載の画像処理装置。
14. 前記撮影情報は、ｐ個（ｐは１以上の整数）の前記長周期撮影情報とｑ個（ｑは２以上の整数かつｑはｐより大きい）の前記短周期撮影情報とを含む、ことを特徴とする請求項１から請求項１３のいずれか１項に記載の画像処理装置。
15. 前記動画が含む複数の前記フレームを構成する画像データの取得に用いられる撮像素子と、
    請求項１から請求項１４のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
16. 時系列に並べられた複数のフレームを含む動画と前記動画に関連付けられた撮影情報とが記録された動画ファイルを編集する画像処理方法であって、
    前記撮影情報は、前記時系列において第１周期で記録された長周期撮影情報と前記時系列において前記第１周期より短い第２周期で記録された短周期撮影情報とを配置したデータ構造を有しており、
    前記動画ファイルから編集対象のフレーム範囲をユーザに選択させる選択工程と、
    前記動画ファイルを編集する際に、前記選択工程にて編集対象として選択されたフレーム範囲に対応する第１期間のフレーム画像及び撮影情報を含む編集後動画ファイルを生成する制御工程を有し、
    前記制御工程は、前記第１期間の先頭フレームが前記長周期撮影情報を有さないフレームの場合には、前記第１期間を含み、かつ、前記長周期撮影情報を有するフレームが先頭フレームとなる第２期間の撮影情報を含む編集後動画ファイルを生成する、ことを特徴とする画像処理方法。
17. 時系列に並べられた複数のフレームを含む動画と前記動画に関連付けられた撮影情報とが記録された動画ファイルを編集する画像処理方法をコンピュータに実行させるプログラムであって、
    前記撮影情報は、前記時系列において第１周期で記録された長周期撮影情報と前記時系列において前記第１周期より短い第２周期で記録された短周期撮影情報とを配置したデータ構造を有しており、
    前記画像処理方法は、
    前記動画ファイルから編集対象のフレーム範囲をユーザに選択させる選択工程と、
    前記動画ファイルを編集する際に、前記選択工程にて編集対象として選択されたフレーム範囲に対応する第１期間のフレーム画像及び撮影情報を含む編集後動画ファイルを生成する制御工程を有し、
    前記制御工程は、前記第１期間の先頭フレームが前記長周期撮影情報を有さないフレームの場合には、前記第１期間を含み、かつ、前記長周期撮影情報を有するフレームが先頭フレームとなる第２期間の撮影情報を含む編集後動画ファイルを生成する、ことを特徴とするプログラム。

Images