JP5724203B2 - 動画ファイル生成装置、動画ファイル生成方法、及び動画ファイル生成プログラム - Google Patents

Description

本発明は、動画ファイル生成装置、動画ファイル生成方法、及び動画ファイル生成プログラムに関する。

従来より、動画像データから切り出されたオブジェクトを背景画像に合成してストロボ画像を生成する技術が知られている（特許文献１参照）。
ところで、このように切り出されたオブジェクトと背景画像が合成された動画データとを、どのような再生装置でも再生できるように汎用性をもたせるためには標準形式の動画データとして記録する必要がある。

特開２００５−３３８２１２号公報

しかしながら、標準形式の動画ファイルとして記録した場合には、合成条件や再生条件などの自由度が低下してしまう。また、合成条件や再生条件などの自由度を高くするために独自形式の動画データとして記録すると汎用性が低くなってしまうという課題があった。

そこで、本発明は、従来の課題に鑑み、合成条件や再生条件の自由度及び汎用性を向上させて、複数の画像を合成した動画ファイルを生成することが可能な動画ファイル生成装置、動画ファイル生成方法及び動画ファイル生成プログラムを提供することを目的とする。

本発明の一態様によると、第１画像を表す第１画像データと第２画像を表す第２画像データとを取得する取得手段と、前記第１画像と前記第２画像とを合成する条件を変えながら複数回の合成を行うともに、この合成によって生成された複数の合成画像を所定の順番で再生する合成画像再生処理を制御する制御手段と、前記合成画像再生処理における再生する順番の条件であって、前記第１画像と前記第２画像とを合成して生成した複数の合成画像を順番に再生する際の、繰り返し開始位置、繰り返し終了位置、繰り返し回数を含む処理条件を任意に指定する条件指定手段と、前記取得手段により取得された第１画像データおよび第２画像データと、前記条件指定手段により指定された処理条件とに基づいて、当該処理条件が示す再生する順番の条件に従って前記合成画像再生処理を行うことが可能な動画ファイルを生成する動画ファイル生成手段と、を備え、前記合成画像再生処理には、前記動画ファイル内における前記複数の画像の各々の記録位置を示す複数のインデックスが前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数で指定される再生の順番に並べられた複数のインデックスデータを生成するインデックスデータ生成処理を含み、前記動画ファイル生成手段は、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータを含むファイル形式と、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータは含まないが、このインデックスデータ生成処理を実行する際の補助データとして前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数の情報が含まれるファイル形式と、を含む複数のファイル形式の動画ファイルを生成可能であり、前記制御手段は、前記動画ファイル生成手段により動画ファイルを生成することにより、この動画ファイルに基づいて実行される前記合成画像再生処理を制御することを特徴とする動画ファイル生成装置、または動画ファイル生成方法、動画ファイル生成プログラムを提供する。

本発明の一態様によると、上述した本発明の一態様に係る動画ファイル生成装置に対応する動画ファイル生成方法及び動画ファイル生成プログラムの各々を提供する。

本発明によれば、合成条件や再生条件の自由度及び汎用性を向上させて、複数の画像を合成した動画ファイルを生成することができる。

本発明の画像処理装置の一実施の形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。 図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。 図２のデータ処理部が実行する合成ファイル生成処理の流れの一例を示すフローチャートである。 図３の合成ファイル生成処理の概要を説明する図である。 図３の合成ファイル生成処理の概要を説明する図である。 図２のデータ処理部が実行する合成条件編集処理の流れの一例を示すフローチャートである。 図２のデータ処理部が実行する再生条件編集処理の流れの一例を示すフローチャートである。 図２のデータ処理部が実行する再生処理の流れの一例を示すフローチャートである。 図２のデータ処理部が実行するファイル生成処理の流れの一例を示すフローチャートである。 Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成されたＥｘｉｆ規格に準じたＡＶＩファイルのフォーマットの概略図である。 Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成された一般的なＡＶＩファイルのフォーマットの概略図である。 図１１に示す一般的なＡＶＩファイルに対する処理の概要を説明する図である。 図２のデータ処理部が実行する合成ファイル再生処理の流れの一例を示すフローチャートである。 図１０に示すＥｘｉｆ規格に準じたＡＶＩファイルの合成ファイル再生処理に対する処理の概要を説明する図である。

以下、本発明の一実施の形態を図面に基づいて説明する。
図１は、本発明の動画ファイル生成装置の一実施の形態に係るデジタルカメラ１のハードウェアの構成を示す図である。

デジタルカメラ１は、撮像部１１と、データ処理部１２と、ユーザインタフェース部１４と、を備える。

撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。

光学レンズ部２１は、規定された画角（以下、「正規の画角」と呼ぶ）に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。

イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）などから構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１２に供給される。

データ処理部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、メモリ３４と、出力制御部３５と、画像処理部３６と、を備えている。

ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

本実施の形態では、後述する図２の画像取得部６１乃至ファイル化部６５の各機能、及び、後述する、初期合成条件及び初期再生条件、合成ファイル生成処理を含む各処理を実現するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、画像取得部６１乃至ファイル化部６５の各機能を実現することができる。

メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、イメージセンサ２２から出力された画像データや、必要に応じて、図示されていない音声入力部から出力された音声データを一時記憶する。また、メモリ３４は、各種画像処理や音声処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値なども記憶する。また、メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。

出力制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１４の表示部４２に表示させる。例えば、出力制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４２に供給することにより、表示画像を表示部４２に表示させる。なお、出力制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１４の通信部４４によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。

出力制御部３５はまた、メモリ３４に記憶された音声データを読み出し、Ｄ／Ａ変換などの信号処理を実行してアナログの音声信号を生成し、当該アナログの音声信号を音声出力部４１に供給することにより、当該音声信号により表現される音声を音声出力部４１から出力させる。

画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理、及びＭｏｔｉｏｎ−ＪＰＥＧ方式のデータ圧縮処理などの各種画像処理を実行する。本実施の形態では、後述する図２の画像取得部６１乃至ファイル化部６５が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施の形態では、後述する図２の画像取得部６１乃至ファイル化部６５は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。

ユーザインタフェース部１４は、スピーカなどで構成される音声出力部４１と、液晶ディスプレイなどで構成される表示部４２と、ユーザの指示操作を受け付ける操作部４３と、外部機器との間での通信を制御する通信部４４と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４５と、を備えている。

図２は、このような合成動画生成処理を実行するためのデータ処理部１２の機能的構成を示す機能ブロック図である。

データ処理部１２は、画像取得部６１と、合成再生条件決定部６３と、合成処理部６４と、ファイル化部６５と、を備えている。

また、データ処理部１２のＲＯＭ３２、ＲＡＭ３３、又はメモリ３４（図１）内には、インデックス記憶部７１と、前景動画記憶部７２と、合成再生処理内容記憶部７３と、背景画像記憶部７４と、合成動画記憶部７５と、が設けられている。

画像取得部６１は、撮像部１１により撮像された動画の画像データを取得する。例えば、画像取得部６１は、所定のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から順次供給される、複数の画像の画像データを取得する。即ち、本実施の形態では、このようにして画像取得部６１により取得された複数の画像の画像データが、前景動画の画像データとして取得される。なお、このように動画を構成する複数の静止画像の各々を、以下、「フレーム」と称する。即ち、１つの動画は、複数のフレームから構成される。

本実施の形態において画像取得部６１は、このようにして取得した前景動画の画像データに、Ｍｏｔｉｏｎ−ＪＰＥＧ方式のデータ圧縮処理を行い、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）規格に準じたＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）形式でファイル化して前景動画記憶部７２に記憶させる。即ち、前景動画の画像データを含む画像ファイルがＡＶＩ形式の動画ファイル、即ち、ＡＶＩファイルとして生成され、前景動画記憶部７２に記憶される。

ＡＶＩファイルは、後に図１０を参照して詳述するが、ファイルヘッダと、ビデオフレームデータと、インデックスデータを含む。ファイルヘッダは、動画データの撮像レートと動画データを構成する静止画データの数などの基本情報が記録されたヘッダ部である。ビデオフレームデータは、動画を構成する複数の静止画のデータであるフレーム画像データが格納されるデータ部である。インデックスデータは、データ部に格納された複数のフレーム画像データに対応する複数のインデックス情報が格納されるインデックス部である。Ｅｘｉｆ規格に準じたＡＶＩファイルは、さらに、ファイルヘッダに、メーカーノート領域を含む。このメーカーノート領域には、動画ファイルを合成する場合の合成条件、動画ファイルを再生する際の条件である再生条件などを記録することができる。このように、前景動画記憶部７２に記憶されるＡＶＩ形式の動画ファイルには、メーカーノートとインデックス情報が格納されたインデックス部が含まれる。これにより、ユーザが撮影した動画を、前景動画として合成動画を作成することが容易に可能になり、生成する場合の合成条件や再生条件などの自由度や汎用性を向上させることができる。

また、画像取得部６１は、当該前景動画の画像データに対して、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する合成条件の決定の際にユーザに提示するインデックス画像データを生成し、これを前景動画記憶部７２に記憶される画像データと対応付けるようにインデックス記憶部７１に記憶させる。

さらに、画像取得部６１は、背景用に撮像部１１により撮像された静止画の画像データを取得する。取得した背景用の静止画の画像データは、背景画像記憶部７４に記憶される。画像取得部６１は、当該静止画の画像データに対しても、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する合成条件の決定の際にユーザに提示するインデックス画像データを生成し、これを背景が背景画像記憶部７４に記憶される画像データと対応付けるようにインデックス記憶部７１に記憶させる。本実施の形態では、背景に静止画の画像データを用いるが、動画の画像データを用いることも可能である。前景動画についても、予め与えられているものを用いてもよい。静止画像の画像データも同様である。換言すると、当該静止画又は前景動画の画像データは、所定のファイル形式でそれぞれ、前景動画記憶部７２又は背景画像記憶部７４に予め記憶されていてもよい。また、当該所定の画像ファイルには、ファイル形式を特定する情報、再生条件に関する情報、必要に応じて、合成条件に関する情報や、透過情報領域に関する透過情報なども含まれているものとする。また、当該画像のインデックス画像データは、透過情報などと対応付けて、前景動画記憶部７２に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。

合成再生条件決定部６３は、合成動画の生成及び再生のための各種合成条件及び再生条件を決定する。合成条件としては、例えば、複数の前景動画のうちの何れの動画を合成対象とするのか、複数の背景画像の画像データのうちの何れの画像データを合成対象とするのかという条件や、前景動画の画像データと背景画像の画像データとを合成する際の合成位置及び拡大縮小倍率、合成する場合のファイル形式、などという条件などが存在する。合成する場合のファイル形式として、例えば、第１の合成ファイル形式、第２の合成ファイル形式、第３の合成ファイル形式、第４の合成ファイル形式がある。第１の合成ファイル形式、第２の合成ファイル形式、第３の合成ファイル形式、第４の合成ファイル形式については、後に詳述する。再生条件は、前景動画の画像データと背景画像の画像データとを合成して生成した合成画像データのフレーム画像データを順番に再生する際の、繰り返し開始位置、繰り返し終了位置、繰り返し回数を含む。

本実施の形態では、前景動画の画像データと背景画像の画像データとを合成する場合のファイル形式を含め、合成条件及び再生条件の多くはユーザによる設定が可能になっている。このようなユーザによる設定を支援すべく、インデックス記憶部７１には複数のインデックス画像データが記憶されている。そこで、合成再生条件決定部６３は、所定のインデックス画像データをインデックス記憶部７１から読み出して、出力制御部３５に供給する。すると、出力制御部３５は、当該インデックス画像データにより表現される画像を、表示部４２に表示させる。ユーザは、このインデックス画像データの画像を見ながら操作部４３を操作することで、所定の合成条件に対する指示操作を行うことができる。合成再生条件決定部６３は、当該指示操作に従って、当該所定の合成条件及び再生条件を決定又は編集する。なお、インデックス画像データの具体例や、合成条件及び再生条件の決定又は編集の具体例については、図３以降の図面を参照して後述する。操作部４３は、画像指定手段に相当する。

なお、合成再生条件決定部６３は、前景動画記憶部７２に記憶されている前景動画の画像データや、背景画像記憶部７４に記憶されている背景画像の画像データから直接、インデックス画像データを生成してもよい。この場合には、インデックス記憶部７１は省略してもよい。

このようにして、合成再生条件決定部６３により、合成条件として少なくとも、合成する場合のファイル形式、合成対象の背景画像の画像データ及び前景動画の画像データが決定される。こうして生成される合成動画の編集条件も決定される。

合成再生条件決定部６３は、合成条件編集部６３Ａ、再生条件編集部６３Ｂ、再生処理部６３Ｃと、を有する。
合成条件編集部６３Ａは、ユーザによる操作部４３の操作に従って、背景となる静止画の画像データを切り取る位置とサイズ、及び前景となる動画の切り抜き画像の画像データを合成する位置と拡大、縮小率を含む合成条件を編集する。操作部４３と合成条件編集部６３Ａは合成条件指定手段に相当する。特に指定がなければ、合成条件編集部６３Ａは、前景となる動画の切り抜き画像の画像データを、背景となる静止画の画像データに合成する際、切り抜き画像を切り出した位置に対応する静止画の位置に合成されるように、前景動画の画像データから切り抜いた部分画像のデータを静止画の画像データに合成する。
再生条件編集部６３Ｂは、ユーザによる操作部４３の操作に従って再生条件を編集する。再生条件とは、ユーザによる操作部４３の操作に従って、背景画像の画像データと前景動画の画像データを合成して生成した合成画像データのフレーム画像データを順番に再生する際の条件であり、例えば、繰り返し開始位置、繰り返し終了位置、繰り返し回数を含む。操作部４３と再生条件編集部６３Ｂは再生条件指定手段に相当する。
再生処理部６３Ｃは、編集された再生条件に従って、合成動画の再生を行う。ユーザが合成条件編集部３Ａを用いて合成条件の編集をしている際、又は再生条件編集部６３Ｂを用いて再生条件を編集している際、再生処理部６３Ｃはユーザからの指示に応じて合成動画の再生を行うことができる。

ここで、合成再生処理内容記憶部７３には、合成再生条件決定部６３で編集された最新の合成条件と再生条件、及び、後述する合成処理部６４の処理内容が記憶される。具体的には、合成処理部６４は、この処理内容情報を適宜参照して、上述した前景動画と背景画像をフレームの画像データごとに合成する処理、又は、処理内容情報を補助情報として、前景動画の画像データと背景画像の画像データに添付する処理を実行する。このように、処理内容情報を予め保持しておくことで、合成処理部６４の処理内容を決定するために要する時間を短縮することが可能になり、ひいては、合成動画生成処理の処理時間を短縮することが可能になる。なお、処理内容情報の具体例については、図７乃至図１２を参照して後述する。

合成処理部６４は、合成再生条件決定部６３において最終的に編集された合成条件に、背景画像の画像データと前景動画の画像データの合成処理が含まれる場合、合成条件に従って背景画像の画像データと前景動画の画像データの合成処理を行う。これにより、背景画像と前景動画が合成された合成動画の画像データが生成される。一方で、合成再生条件決定部６３において最終的に編集された合成条件に、背景画像の画像データと前景動画の画像データの合成処理が含まれない場合には、合成処理部６４は、背景画像の画像データと前景動画の画像データの合成処理を行わない。

ファイル化部６５は、合成再生条件決定部６３において最終的に編集された合成条件に背景画像の画像データと前景動画の画像データの合成処理が含まれる場合は、背景画像の画像データと前景動画の画像データとに合成条件再生条件を補助情報として付与して動画ファイルを生成する。ファイル化部６６は、第１の動画ファイル生成手段に相当し、合成処理部６４とファイル化部６６は、第２の動画ファイル生成手段に相当する。
一方で、ファイル化部６５は、合成再生条件決定部６３において最終的に編集された合成条件に、背景画像の画像データと前景動画の画像データの合成処理が含まれない場合には、合成処理部６４で生成された合成動画のデータに、合成再生条件決定部６３において最終的に編集された合成条件と再生条件とを補助情報として付与して動画ファイルを生成する。

合成動画記憶部７５には、このようにしてファイル化部６５で生成された動画ファイルが記憶される。出力制御部３５が動画ファイルを再生する時には、合成動画記憶部７５に記憶された動画ファイルに含まれる画像データのうち、表示対象のフレームの画像データが、再生条件、必要に応じて合成条件とともに、メモリ３４の表示メモリ領域に表示画像データとして格納される。すると、出力制御部３５は、当該表示画像データと再生条件、必要に応じて合成条件を読み出し、必要に応じて合成条件に従って合成処理を行った後、再生条件に従って、表示対象のフレームを表示部４２に表示させる。さらに、合成動画ファイルに音声データが含まれている場合には、出力制御部３５は、当該音声データにより表現される音声を、音声出力部４１から出力させる。

次に、図３のフローチャートを参照して、このような機能的構成を有するデータ処理部１２が実行する合成ファイル生成処理について説明する。その際、合成ファイル生成処理の理解を容易なものとすべく、図４又は図５を適宜参照する。

図３は、合成ファイル生成処理の流れの一例を示すフローチャートである。図４及び図５は、合成ファイル生成処理の概略を示す図である。

図３のステップＳ１０１において、Ｍｏｔｉｏｎ Ｊｐｅｇ形式で動画データを取得する。具体的には、画像取得部６１は、撮像部１１により撮像された動画の画像データを取得し、Ｍｏｔｉｏｎ−ＪＰＥＧ方式のデータ圧縮処理を行い、Ｅｘｉｆ規格に準じたＡＶＩ形式でファイル化して前景動画記憶部７２に記憶させる。

ステップＳ１０１において、撮像部１１によって撮像される動画の動画データには、図４（１）に示すように、フレームＦ１、Ｆ２、Ｆ３、Ｆ４、・・からなる、連続する静止画の画像フレームとして撮像部１１により撮像される。さらに、画像取得部６１によって生成されるＡＶＩ形式の動画データは、図４（２）に示すように、ヘッダ部と、動画を構成する複数の静止画のデータであるフレーム画像データが格納されるデータ部と、データ部に格納された複数のフレーム画像データのそれぞれに対応する複数のインデックス情報が格納されるインデックス部とにより構成される。

ステップＳ１０２において、静止画データを取得する。具体的には、画像取得部６１は、撮像部１１により撮像された静止画の画像データを背景画像記憶部７４に記憶させる。このようにして背景画像記憶部７４に記憶される静止画の一例を、図４（３）に静止画１２１、１２２として示す。

ステップＳ１０３において、前景となる動画を選択する。具体的には、合成再生条件決定部６３は、インデックス記憶部７１を参照し、出力制御部３５を制御することによって、前景動画記憶部７２に記憶されている動画データに対応するインデックス画像データの画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、合成再生条件決定部６３は、選択の指示操作が検出されたか否かを判定する。

ステップＳ１０３の処理では、動画の画像データの画像は表示部４２に、例えば、図４（１）に示すように、フレームＦ１、Ｆ２、Ｆ３、Ｆ４、・・とフレームごとに連続的に表示される。ユーザは、このようにして表示される動画を見ながら、表示するインデックス画像データを切り替えて、所望とする画像データを前景動画として選択することができる。

ステップＳ１０４において、背景となる静止画を選択する。具体的には、合成再生条件決定部６３は、インデックス記憶部７１を参照し、出力制御部３５を制御することによって、背景画像記憶部７４に記憶されている静止画の画像データに対応するインデックス画像データの画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、合成再生条件決定部６３は、選択の指示操作が検出されたか否かを判定する。

ステップＳ１０４の処理では、背景の画像データの画像は表示部４２に、例えば、図４（１）に示すように、静止画１２１、静止画１２２として、ユーザの指示に応じて表示される。ユーザは、表示される静止画を見ながら、表示するインデックス画像データを切り替えて、所望とする画像データを背景画像として選択することができる。

ステップＳ１０５において、データ処理部１２は、前景動画の画像データと背景画像の画像データを合成するための合成条件を編集する合成条件編集処理を行う。前景動画の画像データと背景画像の画像データとの合成は、例えば、図５に示すように、前景動画の画像データを構成する複数のフレームのそれぞれから、対象とする動体部分を切り抜き、選択した静止画の上に合成して行う。合成条件編集処理の詳細については、図６のフローチャートを参照して後述する。ステップＳ１０５の合成条件編集処理が終了すると、処理はステップＳ１０６に進む。

ステップＳ１０６において、データ処理部１２は、前景動画の画像データと背景画像の画像データを合成して生成した合成動画の画像データを再生するための再生条件を編集する再生条件編集処理を行う。再生条件編集処理の詳細については、図７のフローチャートを参照して後述する。ステップＳ１０６の合成条件編集処理が終了すると、処理はステップＳ１０７に進む。

ステップＳ１０７において、データ処理部１２は、合成条件と基づいて前景動画の画像データと背景画像の画像データを合成し、再生条件に基づいて再生することができるファイル生成処理を行う。ファイル生成処理の詳細については、図９のフローチャートを参照して後述する。ステップＳ１０７のファイル生成処理が終了すると、合成ファイル生成処理は終了する。

次に、合成ファイル生成処理のうち、合成条件編集処理について説明する。図６は、合成条件編集処理の一例を示すフローチャートである。合成ファイル生成処理の理解を容易なものとすべく、図５を適宜参照して説明を進める。

上述したように、ステップＳ１０４とステップＳ１０４において動画の画像データと静止画の画像データが選択されると、ステップＳ１０５の合成条件編集処理が開始される。合成条件編集処理は、合成条件編集部６３Ａによって実行される。

ステップＳ２０１において、合成条件編集部６３Ａは、合成条件として初期合成条件を設定する。合成条件とは、背景となる静止画をトリミングする位置とサイズ、及び前景となる動画の切り抜き画像を合成する位置と拡大、縮小率を含み、初期合成条件とは、これらの初期値である。初期合成条件は予めＲＯＭ３２に記憶されている。ステップＳ２０１において、合成条件編集部６３Ａは、ＲＯＭ３２に記憶されている初期合成条件を合成条件として設定する。

ステップＳ２０２において、合成条件編集部６３Ａは、処理開始フレーム番号を初期化する。具体的には、データ処理部１２は、前景画像として選択された前景動画記憶部７２に記憶されている、前景動画の画像データを構成する最新の画像フレームの各々に対して再生順にフレーム番号を付し、先頭フレームのフレーム番号を１とする。このようにして付番したフレームＧ１、Ｇ２、Ｇ３、・・・、を図５（１）に示す。

ステップＳ２０３において、合成条件編集部６３Ａは、現在の処理対象のフレーム番号に対応する動画のフレーム画像を前景動画記憶部７２から取得する。ステップＳ２０４において、合成条件編集部６３Ａは、前回取得したフレーム画像と前後のフレーム画像との比較により、動体部分の画像データを切り抜く。こうして、現在のフレーム番号が１とすると、動体部分Ｍ１が、現在のフレーム番号が２とすると、動体部分Ｍ２が抽出されていく。

ステップＳ２０５において、合成条件編集部６３Ａは、背景画像の画像データとして選択されて背景画像記憶部７４に記憶されている背景となる静止画の画像データを、合成条件で指定された条件でトリミングするとともに、規定のサイズに拡大する。ここでは、一例として、図４（３）に示す静止画１２２が背景となる静止画として選択されたものとする。この静止画１２２の画像データから必要な部分がトリミングされ、規定のサイズに拡大される。

ステップＳ２０６において、合成条件編集部６３Ａは、ステップＳ２０５でトリミングを施した静止画に対してステップＳ２０４において生成した動画の切り抜き画像の画像データを、合成条件で指定された条件で合成する。具体的には、合成条件編集部６３Ａは、現在のフレーム番号が１とすると、トリミングを施した静止画１２２の画像データに対して動体部分Ｍ１の画像データを貼り付け、現在のフレーム番号が２とすると、トリミングを施した静止画１２２の画像データに対して動体部分Ｍ２の画像データを貼り付けていく。特に指定がなければ、図５（２）に示すように、合成条件編集部６３Ａは、トリミングした画像を、トリミングする前の前景動画における位置に対応する静止画１２２の位置に合成されるように、前景動画の画像データのからトリミングした部分画像のデータを静止画の画像データに合成する。

ステップＳ２０７において、合成条件編集部６３Ａは、ステップＳ２０６において合成された合成画像を表示する。具体的には、合成条件編集部６３Ａは再生処理部６３Ｃを制御して、ステップＳ２０６において合成された合成画像を再生して表示する。例えば、現在のフレーム番号が１とすると、トリミングを施した静止画１２２の画像データに対して動体部分Ｍ１の画像データを貼り付けた合成画像の画像フレームＨ１の画像データが、現在のフレーム番号が２とすると、トリミングを施した静止画１２２の画像データに対して動体部分Ｍ２の画像データを貼り付けた合成画像の画像フレームＨ２の画像データが表示部４２に表示されていく。

ステップＳ２０８において、合成条件編集部６３Ａは、編集を終了するか否かを判断する。具体的には、操作部４３から、ユーザによる合成条件編集処理を終了する指示操作が検出されたか否かを判定する。合成条件編集処理を終了する指示操作が検出された場合は、終了すると判断し、ステップＳ２１１に進む。一方で、合成条件編集を終了する指示操作が検出されていない場合は、終了しないと判断し、ステップＳ２０９に進む。

ステップＳ０９において、ユーザの操作に応じて、合成条件を変更する。具体的には、ユーザが操作部４３を操作して、合成条件を変更する指示をする。合成条件編集部６３Ａは、操作部４３からの指示信号に応じて、合成条件を変更する。

ステップＳ２１０において、合成条件編集部６３Ａは、ユーザ操作に応じて現フレーム番号を前後に移動する。具体的には、ユーザが操作部４３を操作して、合成条件を編集するフレームの番号を指定する。例えば、現在合成条件を編集しているフレームがＧ４で、ユーザが操作部４３を操作して、合成条件を編集するフレームとしてフレームＧ３を指定したとすると、合成条件編集部６３Ａは、操作部４３からの指示信号に応じて、編集対象のフレームの画像データをＧ４からＧ３に移動する。
ステップＳ２１１において、合成条件編集部６３Ａは、このようにして編集された合成条件を最終的な合成条件として合成再生処理内容記憶部７３に記憶する。

次に、合成ファイル生成処理のうち、再生条件編集処理について説明する。図７は、再生条件編集処理の一例を示すフローチャートである。

上述したように、ステップＳ１０５において合成条件編集処理が終了すると、ステップＳ１０６の処理で再生条件編集処理が開始される。再生条件編集処理は、再生条件編集部６３Ｂによって実行される。

ステップＳ３０１において、再生条件編集部６３Ｂは、再生条件として初期再生条件を設定する。再生条件とは、繰り返し開始フレーム番号、繰り返し終了フレーム番号、繰り返し回数を含み、初期再生条件とは、これらの初期値である。初期再生条件は予めＲＯＭ３２に記憶されている。ステップＳ３０１において、再生条件編集部６３Ｂは、ＲＯＭ３２に記憶されている初期再生条件を再生条件として設定する。

ステップＳ３０２において、再生条件編集部６３Ｂは、再生処理部６３Ｃを制御して、再生処理を実行する。再生処理部６３Ｃが実行する再生処理の具体例については、図８を参照して後述する。

ステップＳ３０３において、再生条件編集部６３Ｂは、編集を終了するか否か判定する。具体的には、再生条件編集部６３Ｂは、操作部４３から、ユーザによる再生条件編集を終了する指示操作が検出されたか否かを判定する。再生条件編集を終了する指示操作が検出された場合は、終了すると判断し、ステップＳ３０５に進む。一方で、再生条件編集を終了する指示操作が検出されていない場合は、終了しないと判断し、ステップＳ３０４に進む。

ステップＳ３０４において、再生条件編集部６３Ｂは、ユーザの操作に応じて、再生条件を変更する。具体的には、ユーザが操作部４３を操作して、繰り返し回数、繰り返し開始位置、繰り返し終了位置などの再生条件を変更する指示をした場合、再生条件編集部６３Ｂは、操作部４３からの指示信号に応じて、再生条件を変更する。その後、再びステップＳ３０２に戻り、再生処理を実行する。

ステップＳ３０５において、再生条件編集部６３Ｂは、このようにして編集された再生条件を最終的な再生条件として合成再生処理内容記憶部７３に記憶する。

次に、再生条件編集処理のうち、再生処理について説明する。図８は、再生処理の一例を示すフローチャートである。

上述したように、再生条件編集処理のステップＳ３０１において初期再生条件が設定されると、ステップＳ３０２の処理で再生処理が開始される。再生処理は、再生処理部６３Ｃによって実行される。

ステップＳ４０１において、再生処理部６３Ｃは、処理開始フレーム番号を初期化する。具体的には、再生処理部６３Ｃは、選択されて前景動画記憶部７２に記憶されている前景動画を構成する最新の画像フレームの各々に対して、最新の合成条件及び再生条件を反映させた再生順にフレーム番号を付し、先頭フレームのフレーム番号を１とする。このようにして新たに付番したフレームが、例えば、図５（２）のフレームＨ１、Ｈ２、Ｈ３、・・・、のように生成されていく。

ステップＳ４０２において、再生処理部６３Ｃは、合成条件と再生条件に基づいて、前景動画と背景画像とから合成画像を生成して再生表示する。具体的には、データ処理部１２は、合成再生処理内容記憶部７３に記憶された最新の合成条件に基づいて、前景動画記憶部７２に記憶された前景動画と、背景画像記憶部７４に記憶された背景画像とを合成して合成画像を生成し、さらに、再生条件に従って再生し、出力制御部３５を制御して、表示部４２に合成画像を表示させる。

ステップＳ４０３において、再生処理部６３Ｃは、現在のフレーム番号が繰り返し終了フレーム番号かを判定する。現在のフレーム番号が、再生条件で指定された繰り返し終了フレームであると判定された場合は、処理はステップＳ４０５に進む。一方で、現在のフレーム番号が、繰り返し終了フレームでないと判定された場合は、ステップＳ４０７に進む。

ステップＳ４０５において、再生処理部６３Ｃは、再生条件で指定された指定回数分だけ繰り返して再生を行ったか否かを判定する。指定回数分だけ繰り返し再生が行われたと判定された場合は、処理はステップＳ４０７に進み、指定回数分だけ繰り返し再生が行われていないと判定された場合は、処理はステップＳ４０６に進む。

ステップＳ４０６において、再生処理部６３Ｃは、現在のフレーム番号を繰り返し、再生条件が指定する繰り返し開始フレーム番号に移動する。

ステップＳ４０７において、再生処理部６３Ｃは、現在のフレーム番号に１を加える。

ステップＳ４０８において、再生処理部６３Ｃは、現在のフレームの画像データが最終フレームか否かを判定する。現在のフレームの画像データが最終フレームの画像データでないと判定された場合は、処理はステップＳ４０２に戻る。一方で、現在のフレームの画像データが最終フレームの画像データであると判定された場合は、再生処理は終了する。

次に、合成ファイル生成処理のうち、ファイル生成処理について説明する。図９は、ファイル生成処理の一例を示すフローチャートである。以下に説明するファイル生成処理において、第１の合成ファイル形式と第２の合成ファイル形式の動画ファイルは、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成されたＥｘｉｆ規格に準じたＡＶＩファイルフォーマットを適用したものである。第３の合成ファイル形式と第４の合成ファイル形式の動画ファイルは、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成された一般的なＡＶＩファイルフォーマットを適用したものである。

そこで、図１０に、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成されたＥｘｉｆ規格に準じたＡＶＩファイルの概略のフォーマットを、図１１及び図１２に、Ｍｏｔｉｏｎ ＪＰＥＧ形式で形成された一般的なＡＶＩファイルの概略のフォーマット及び処理を説明する図を示す。ファイル生成処理の理解を容易なものとすべく、図１０から１２を適宜参照して説明を進める。

上述したように、ステップＳ１０６において再生条件編集処理が終了すると、ステップＳ１０７の処理でファイル生成処理が開始される。ファイル生成処理は、合成処理部６４とファイル化部６６によって実行される。

ステップＳ５０１において、合成処理部６４は、第１の合成ファイル形式で保存するか否かを判定する。具体的には、動画データに記録された合成条件に基づいて、ファイル形式を判別し、合成条件に記録された合成条件から第１の合成ファイル形式であると判別される場合は、ステップＳ５０２に進む。一方で、合成条件に記録された合成条件から、第１の合成ファイル形式でないと判断された場合は、ステップＳ５０３に進む。

ステップＳ５０２において、合成処理部６４は、前景となる動画データ名、背景となる静止画データ名に加え、合成条件と再生条件とを補助情報として記録し、前景となる動画データと背景となる画像データとを合成せずに再生対象画像データとして、ファイル化部６６に送出する。続いて、ファイル化部６６は、合成処理部から送られた前景動画データと背景画像データとを補助情報とともに、ファイル化して、第１の合成ファイル形式の動画ファイルを生成する。

以下に説明する第１の合成ファイル形式と第２の合成ファイル形式の動画ファイルは、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成されたＥｘｉｆ規格に準じたＡＶＩファイルフォーマットを適用したものである。
一例として図１０に、Ｍｏｔｉｏｎ―ＪＰＥＧ形式に形成されたＥｘｉｆ規格に準じたＡＶＩファイル１００のファイルフォーマットの概略を示す。図１０のＡＶＩファイルは、３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）の撮像レートで１５秒間撮影して得られた動画データから生成されたものである。

図１０（１）に示すように、Ｅｘｉｆ規格に準じたＡＶＩ動画ファイル１００は、ヘッダ部１０１と、データ部１０２と、インデックス部１０３とにより構成されている。
ヘッダ部１０１は、動画ファイル１００の先頭に形成され、動画データの撮像レートと動画データを構成する静止画データの数などの基本情報の他、動画ファイル１００を再生する際の条件である再生条件を記録したメーカーノート領域１０５などを含む。
データ部１０２には、動画を構成する複数の静止画のデータであるフレーム画像データが格納される。インデックス部１０３には、データ部１０２に格納された複数のフレーム画像データに対応する複数のインデックス情報が格納される。

ステップＳ５０２において、合成処理部６４は、前景動画データのＡＶＩファイルに設けられたこのメーカーノート領域１０５に補助情報を記録する。図１０（２）の例では、繰り返し回数を３回、開始フレーム番号を６１、終了フレーム番号を９０と設定している。さらに、図示していないが、前景動画となる動画ファイル名、背景画像となる静止画ファイル名に加え、また、第１の合成ファイル形式では、合成処理部６４は、前景動画と背景画像とを合成する際の合成位置及び拡大縮小倍率の少なくとも一つなどの合成条件もメーカーノート領域１０５に記録する。なお、合成処理及び再生処理を行う場合、指定されていない条件については、初期合成条件及び初期再生条件に従うものとする。

ステップＳ５０３において、合成処理部６４は、合成条件に基づいて前景動画の画像データと背景画像の画像データを合成してＭｏｔｉｏｎ ＪＰＥＧ形式でＥｘｉｆ規格に準じたＡＶＩファイルを生成する。こうして生成されたＡＶＩファイルはデータ処理部１２のメモリ３４に一時的に記憶される。

ステップＳ５０４において、ファイル化部６６は、合成処理部６４によって生成された合成画像データのＡＶＩファイルに対して、第２の合成ファイル形式で保存するか否かを判定する。具体的には、動画データに記録された、前景動画と背景画像とを合成する際の合成位置及び拡大縮小倍率の少なくとも一つの合成条件に基づいて、ファイル形式を判別し、合成条件に記録された合成条件から第２の合成ファイル形式であると判別される場合は、ステップＳ５０５に進む。一方で、合成条件に記録された合成条件から、第２の合成ファイル形式でないと判断された場合は、ステップＳ５０６に進む。

ステップＳ５０５において、ファイル化部６６は、Ｍｏｔｉｏｎ ＪＰＥＧ形式に変換された合成画像データのＡＶＩファイルのメーカーノート領域１０５に、再生条件が示す、開始フレーム番号、終了フレーム番号、繰り返し回数の情報を追記して、第２の合成ファイル形式の動画ファイルを生成する。ファイル化部６６によって生成された第２の合成ファイル形式の動画ファイルは、合成動画記憶部７５に記憶される。

ステップＳ５０６において、合成処理部６４は、第３の合成ファイル形式で保存するか否かを判定する。具体的には、動画データに記録された合成条件に基づいて、ファイル形式を判別し、合成条件に記録された合成条件から第３の合成ファイル形式であると判別される場合は、ステップＳ５０７に進む。一方で、合成条件に記録された合成条件から、第３の合成ファイル形式でないと判断された場合は、ステップＳ５０８に進む。

ステップＳ５０７において、ファイル化部６６は、Ｍｏｔｉｏｎ ＪＰＥＧ形式に変換された動画ファイルのインデックスデータを再生条件に従って複製して書き換えて、第３の合成ファイル形式の動画ファイルを生成する。

以下に説明する第３の合成ファイル形式と第４の合成ファイル形式の動画ファイルは、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成された一般的なＡＶＩファイルフォーマットを適用したものである。メーカーノート領域は使用しないため、Ｅｘｉｆ規格に準じてなくてもよい。

一例として図１１に、Ｍｏｔｉｏｎ ＪＰＥＧ形式で形成された一般的なＡＶＩファイルの概略のファイルフォーマットを示す。

図１１に示すように、一般的なＡＶＩファイルは、複数の静止画データに対応する複数のフレームが格納されたデータ部と、データ部に格納された各フレーム画像のそれぞれに対応する複数のインデックス情報が格納されたインデックス部とを用いる。データ部には、ｎフレーム分のフレームがフレーム番号１、２、３・・・、ｎに示すように配置される。図１１の例では、２０フレーム分のフレーム画像が、これら静止画像の再生順に配置されている。インデックス部には、データ部に格納されている各フレームを再生する際の再生回数を含む再生方法の情報を示すインデックス情報が格納されている。これらインデックス情報は、基本的には動画の再生順が順方向となるように配置されている。

動画データファイルの再生時には、インデックス情報の並び順に従って対応するフレーム画像が再生される。例えば、図１１に示すように、インデックス部においてデータ部に格納されている複数のフレーム画像のうち１番目のフレーム１に対応するフレーム１指定情報、及び２番目のフレーム２に対応するフレーム２指定情報を順番に配置することにより、フレーム１、フレーム２の順番に再生される動画データファイルを生成することができる。また、これらインデックス部に同一フレームを指定するインデックス情報を繰り返して配置することにより、少なくとも１つのフレーム画像を繰り返して再生することも可能である。また、これらインデックス情報を逆方向や、往復方向、又は間引いて配置することにより、動画像を逆方向や往復方向、又は間引いて再生することも可能である。

具体的には、図１２に示すように、ファイル化部６６は、まず、矢印Ａ１に示すように、メモリ３４に記憶されている合成画像データのＡＶＩファイルのインデックス部に格納されている各インデックス情報（フレーム１指定情報〜フレーム２０指定情報）をＲＡＭ３３に読み込む。次に、ファイル化部６６は、Ａ２に示すように、ＲＡＭ３３に読み込まれた各インデックス情報のうち、指定部分のインデックス情報（図１２の例では、フレーム１指定情報〜フレーム２０指定情報の全てのフレーム指定情報）をメモリ３４に記憶されている動画データファイルのインデックス部に再度書き込む。このように、１回書き込むことにより繰り返し再生回数を１回増加させることができる。そして、設定された繰り返し回数に基づいて、矢印のＡ１とＡ２に示すように指定部分のインデックス情報の書き込みを繰り返すことにより、複数回繰り返し再生が行われる動画像ファイルを生成することができる。図１２の例では、インデックス情報の書き込みは１回としているが、複数回繰り返すようにしてもよい。

次に、ファイル化部６６は、インデックス部へのインデックス情報の書き込みが終了した段階で、繰り返し処理を行った回数に応じて動画データファイルのヘッダ部に記す総フレーム数を更新する。次に、ファイル化部６６は、データ部の各フレーム（画像データ）と、インデックス部とを結合し、動画データのファイルを生成することができる。

このようにして、ファイル化部６６は、図１２の下方に示すように、ステップＳ５０７の処理後においては、インデックス情報の複製のみで繰り返し再生を実現しているので、データ部の各フレームと、インデックス情報とを共に複製して動画データを生成するよりも、処理工数の削減を図ることができ、大幅に高速な処理で同一フレームの繰り返し再生を行う動画ファイルを生成することができる。

また、動画データファイル生成処理後の動画像のファイルサイズは、データ部を構成する各フレームのデータ量については、１回再生分のデータ量であり、インデックス部の各インデックス情報のみを追加すれば足りることとなる。したがって、動画データの個別のファイルサイズを縮小し、再生回数の増加に伴うファイルサイズ量の増大を抑えることができる。

このようにして、ファイル化部６６によって生成されたＡＶＩファイルは、第３のファイル化形式の動画ファイルとして合成動画記憶部７５に記憶される。

ステップＳ５０８において、ファイル化部６６は、第４の合成ファイル形式で保存するか否かを判定する。具体的には、動画データに記録された合成条件に基づいて、ファイル形式を判別し、合成条件に記録された合成条件から第４の合成ファイル形式であると判別された場合は、ステップＳ５０９に進む。一方で、合成条件に記録された合成条件から、第４の合成ファイル形式でないと判断された場合は、ファイル生成処理を終了する。
ステップＳ５０９において、ファイル化部６６は、ファイル化部６６は、Ｍｏｔｉｏｎ ＪＰＥＧ形式に変換された動画ファイルを構成する静止画のフレームデータを再生条件に従って複製して編集して書き換えて、第４の合成ファイル形式の動画ファイルを生成する。

次に、このようにして生成された合成ファイルを再生する処理について説明する。
図１３は、出力制御部３５が実行する合成ファイル再生処理の一例を示すフローチャートである。図１４は、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成されたＥｘｉｆ規格に準じたＡＶＩファイルの再生処理の概要を説明する図である。ファイル生成処理の理解を容易なものとすべく、図１２及び図１４を適宜参照して説明を進める。

ステップＳ６０１において、動画ファイルが第１の合成ファイル形式であるか否かを判定する。具体的には、出力制御部３５は、動画ファイルに記録された情報に基づいて、ファイル形式を判断し、第１の合成ファイル形式であると判別される場合は、ステップＳ６０２に進む。一方で、合成条件に記録された合成条件から、第１の合成ファイル形式でないと判断された場合は、ステップＳ６０３に進む。

ステップＳ６０２において、出力制御部３５は表示部４２を制御して、動画ファイルのメーカーノート領域１０５から、指定された動画ファイルと静止画ファイルと指定された合成条件及び再生条件とを読み取り、指定された動画ファイルのフレーム画像データと静止画ファイルのフレーム画像データとを指定された合成条件のうち、合成位置又は拡大縮小倍率の少なくとも一つに従ってリアルタイムに合成しながら、再生条件に従って指定された順番で表示する。

ステップＳ６０３において、動画ファイルが第２の合成ファイル形式であるか否かを判定する。具体的には、出力制御部３５は、動画ファイルに記録された情報に基づいて、ファイル形式を判断し、第２の合成ファイル形式であると判別される場合は、ステップＳ６０４に進む。一方で、合成条件に記録された合成条件から、第２の合成ファイル形式でないと判断された場合は、ステップＳ６０５に進む。

ステップＳ６０４において、出力制御部３５は表示部４２を制御して、動画ファイルのメーカーノート領域１０５から指定された再生条件を読み取り、図１４に示すように、動画ファイルのインデックスデータを、メーカーノート領域に記憶されている開始フレーム番号、終了フレーム番号、繰り返し回数に従ってリアルタイムに複製しながらＲＡＭ３３上に展開する。出力制御部３５は表示部４２を制御して、このＲＡＭ３３上に展開されたインデックス情報に従って各フレーム画像を表示する。

ステップＳ６０５において、動画ファイルが第３の合成ファイル形式又は第４の合成ファイル形式であるか否かを判定する。具体的には、出力制御部３５は、動画ファイルに記録された情報に基づいて、ファイル形式を判断し第３の合成ファイル形式又は第４の合成ファイル形式であると判別される場合は、ステップＳ６０６に進む。一方で、動画ファイルに記録された情報から、第３の合成ファイル形式又は第４の合成ファイル形式でないと判断された場合は、合成ファイル生成処理を終了する。

ステップＳ６０６において、Ｍｏｔｉｏｎ Ｊｐｅｇ形式の動画ファイルとして通常再生を行う。具体的には、出力制御部３５は表示部４２を制御して、Ｍｏｔｉｏｎ Ｊｐｅｇ形式の動画ファイルとして通常の再生処理を実行する。

ステップＳ６０２、Ｓ６０４、Ｓ６０６において、再生処理が終了すると、合成ファイル生成処理は終了する。

以上説明したように、本実施の形態の動画ファイル生成装置に係るデジタルカメラ１は、
複数の原画像データから、第１画像を表す第１画像データと第２画像を表す第２画像データとを指定し、さらに、第１画像データから第１画像の部分画像を表す部分画像データを指定する、操作部４３と、
部分画像データと第２画像データとを合成して合成画像を生成するための合成条件を指定する合成条件編集部６３Ａと、
前記合成画像を構成する複数のフレーム画像データを再生する順番を示す再生条件を指定する再生条件編集部６３Ｂと、
第１画像データと第２画像データとに基づく再生対象画像データと、少なくとも前記再生条件を含む補助データと、を含む第１のファイル形式の動画ファイルを生成するファイル化部６６と、
前記合成条件指定手段によって指定された前記合成条件に従って生成された前記合成画像の前記複数のフレーム画像を表す複数のフレーム画像データと、各フレーム画像データの位置を示すインデックスが前記再生条件で指定される順番に並べられた複数のインデックスデータと、を含む第２のファイル形式の動画ファイルを生成するファイル化部６６と、を備える。

第１の合成ファイル形式と第２の合成ファイル形式の動画ファイルを再生するためにはＥｘｉｆ規格に準じたＡＶＩファイルに対応する再生機能を備えた装置が必要となる。上述の第１のファイル形式の動画ファイルは、第１の合成ファイル形式と第２の合成ファイル形式の動画ファイルを含む。さらに、第１の合成ファイル形式の動画ファイルは、メーカーノート領域に書き込んだ合成条件に従って、対応する前景動画データと背景画像データを合成することを必要とするため、さらに、専用の再生機能を備えた装置が必要となる。

一方で、第３の合成ファイル形式と第４の合成ファイル形式の動画ファイルは、一般的なＡＶＩファイルフォーマットに準ずるため、通常の再生機能を備えた装置で十分に再生可能である。上述の第２のファイル形式の動画ファイルは、第３の合成ファイル形式と第４の合成ファイル形式の動画ファイルを含む。特に第４の合成ファイル形式の動画ファイルは、インデックスデータを参照しないため、ＡＶＩファイルフォーマットに準じない再生機能を備えた装置であっても再生可能である。

このため、第１の合成ファイル形式と第２の合成ファイル形式は専用の機能を備えた装置を対象とする処理であり、以下に説明する第３の合成ファイル形式と第４の合成ファイル形式は、より汎用性が高い。このように本実施の形態に係るデジタルカメラ１は、合成条件や再生条件の自由度及び汎用性を向上させて、複数の画像を合成した動画ファイルを生成又は再生することが可能である。

本実施の形態では、第１の合成ファイル形式の動画ファイルを、一例として、Ｅｘｉｆ規格に準じたＡＶＩファイルフォーマットを適用したものとし、メーカーノート領域に前景となる動画データ名、背景となる静止画データ名に加え、合成条件と再生条件とを補助情報として記録するものとして説明したが本発明はこれに限定されない。具体的には、前景となる動画データ、背景となる静止画データに加え、合成条件と再生条件とを補助情報として記録した合成ファイル形式の動画ファイルであって、再生機能を備えた装置が対応する形式であれば、如何なる形式の動画ファイルであってもよい。

また、１台の装置が必ずしも、第１の合成ファイル形式、第２の合成ファイル形式、第３の合成ファイル形式、第４の合成ファイル形式の動画ファイルを全て生成、又は再生できる機能を有する必要はなく、用途に応じて、２以上の合成ファイル形式の生成又は再生を行う機能を有するようにすればよい。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。

なお、本実施の形態では、合成ファイル生成処理のステップＳ１０１及びステップＳ１０２において、撮像部１１により撮像して動画データ及び静止画データを取得し、ステップＳ１０３及びステップＳ１０４において、撮像部１１によって撮像された動画データ又は静止画データから前景用の動画データ及び背景用の静止画データを選択するものとして説明したが、本発明はこれに限定されない。

例えば、撮像部１１によって撮像された動画データ又は静止画データ以外の動画データ又は静止画データを前景動画記憶部７２及び背景画像記憶部７４に記憶しておいてもよい。具体的には、合成再生条件決定部６３は、ステップＳ１０３及びステップＳ１０４において、前景動画記憶部７２及び背景画像記憶部７４に記憶されている、撮像部１１によって撮像された動画データ又は静止画データ以外の動画データ又は静止画データから、前景用の動画データ及び背景用の静止画データを選択するようにしてもよい。また、かかる動画データ又は静止画データは、通信部４４を制御して、無線通信ネットワークを介して入手してもよく、リムーバブル記憶媒体５１を介して入手してもよい。

例えば、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・デジタルカメラ、１１・・・撮像部、１２・・・データ処理部、１４・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・出力制御部、３６・・・画像処理部、６１・・・画像取得部、６３・・・合成再生条件決定部、６４・・・合成処理部、６６・・・ファイル化部、７１・・・インデックス記憶部、７２・・・前景動画記憶部、７３・・・合成再生処理内容記憶部、７４・・・背景画像記憶部、７５・・・合成動画記憶部

Claims (8)

1. 第１画像を表す第１画像データと第２画像を表す第２画像データとを取得する取得手段と、
   前記第１画像と前記第２画像とを合成する条件を変えながら複数回の合成を行うともに、この合成によって生成された複数の合成画像を所定の順番で再生する合成画像再生処理を制御する制御手段と、
   前記合成画像再生処理における再生する順番の条件であって、前記第１画像と前記第２画像とを合成して生成した複数の合成画像を順番に再生する際の、繰り返し開始位置、繰り返し終了位置、繰り返し回数を含む処理条件を任意に指定する条件指定手段と、
   前記取得手段により取得された第１画像データおよび第２画像データと、前記条件指定手段により指定された処理条件とに基づいて、当該処理条件が示す再生する順番の条件に従って前記合成画像再生処理を行うことが可能な動画ファイルを生成する動画ファイル生成手段と、
   を備え、
   前記合成画像再生処理には、前記動画ファイル内における前記複数の画像の各々の記録位置を示す複数のインデックスが前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数で指定される再生の順番に並べられた複数のインデックスデータを生成するインデックスデータ生成処理を含み、
   前記動画ファイル生成手段は、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータを含むファイル形式と、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータは含まないが、このインデックスデータ生成処理を実行する際の補助データとして前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数の情報が含まれるファイル形式と、を含む複数のファイル形式の動画ファイルを生成可能であり、
   前記制御手段は、前記動画ファイル生成手段により動画ファイルを生成することにより、この動画ファイルに基づいて実行される前記合成画像再生処理を制御することを特徴とする動画ファイル生成装置。
2. 前記インデックスデータ生成処理の実行により生成された複数のインデックスデータを含むファイル形式で記録された動画ファイルの再生が指示された場合に、この動画ファイル内の複数のインデックスデータが示す順番で、この動画ファイル内の複数の合成画像を再生し、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータは含まないが、前記補助データを含むファイル形式で記録された動画ファイルの再生が指示された場合に、この動画ファイルに含まれる補助データである前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数で指定される再生の順番に並べられた複数のインデックスデータを生成し、この生成された複数のインデックスデータが示す順番で、この動画ファイル内の複数のフレーム画像データを再生する再生制御手段と、
   を更に備えることを特徴とする請求項１に記載の動画ファイル生成装置。
3. 前記条件指定手段は、前記合成画像再生処理における合成の条件を更に含む処理条件を任意に指定し、
   前記動画ファイル生成手段は、前記取得手段により取得された第１画像データおよび第２画像データと、前記条件指定手段により指定された処理条件とに基づいて、当該処理条件が示す合成の条件に従って前記合成画像再生処理を行うことが可能な動画ファイルを生成し、
   前記動画ファイル生成手段は、前記処理条件で指定される合成の条件に従って前記第１画像データで表される前記第１画像と前記第２画像データで表される前記第２画像とを複数回合成する複数合成処理が実行済みであるファイル形式と、この複数合成処理は未実行であるが、この複数合成処理が実行される前の前記第１画像データと前記第２画像データ、およびこの複数合成処理を実行する際の補助データとして前記処理条件が含まれるファイル形式と、を含む複数のファイル形式の動画ファイルを生成可能であることを特徴とする請求項２に記載の動画ファイル生成装置。
4. 前記処理条件が示す合成の条件は、前記第１画像と前記第２画像とを合成する際の合成位置または拡大縮小倍率を含み、
   前記複数合成処理は、前記処理条件が示す前記合成位置または拡大縮小倍率に基づいて前記第１画像と前記第２画像とを合成する処理を含み、
   前記再生制御手段は、前記複数合成処理が未実行であるファイル形式で記録された動画ファイルの再生が指示された場合に、前記補助データに含まれる前記合成位置または拡大縮小倍率に従って、前記第１画像と前記第２画像とを合成する複数合成処理を行って複数の合成画像を生成してから、この生成された複数の合成画像を指定された順番で再生することを特徴とする請求項３に記載の動画ファイル生成装置。
5. 前記動画ファイル生成手段は、前記複数合成処理が未実行であるファイル形式として、前記第１画像内の部分画像が切り抜かれた後の部分画像データと、前記第２画像データと、前記補助データとして、この部分画像データが示す部分画像と前記第２画像とを合成する際の合成位置の情報を含む動画データを生成することを特徴とする請求項３または４に記載の動画ファイル生成装置。
6. 複数の原画像データから、第１画像データと第２画像データとを任意に指定する画像指定手段を更に備え、
   前記取得手段は、前記画像指定手段により指定された前記第１画像データと前記第２画像データとを取得することを特徴とする請求項１乃至５のいずれかに記載の動画ファイル生成装置。
7. 第１画像を表す第１画像データと第２画像を表す第２画像データとを取得する取得処理と、
   前記第１画像と前記第２画像とを合成する条件を変えながら複数回の合成を行うともに、この合成によって生成された複数の合成画像を所定の順番で再生する合成画像再生処理を制御する制御処理と、
   前記合成画像再生処理における再生する順番の条件であって、前記第１画像と前記第２画像とを合成して生成した複数の合成画像を順番に再生する際の、繰り返し開始位置、繰り返し終了位置、繰り返し回数を含む処理条件を任意に指定する条件指定処理と、
   前記取得処理により取得された第１画像データおよび第２画像データと、前記条件指定処理により指定された処理条件とに基づいて、当該処理条件が示す合成の条件または再生する順番の条件に従って前記合成画像再生処理を行うことが可能な動画ファイルを生成する動画ファイル生成処理と、
   を含み、
   前記合成画像再生処理には、前記動画ファイル内における前記複数の画像の各々の記録位置を示す複数のインデックスが前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数で指定される再生の順番に並べられた複数のインデックスデータを生成するインデックスデータ生成処理を含み、
   前記動画ファイル生成処理は、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータを含むファイル形式と、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータは含まないが、このインデックスデータ生成処理を実行する際の補助データとして前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数の情報が含まれるファイル形式と、を含む複数のファイル形式の動画ファイルを生成可能であり、
   前記制御処理は、前記動画ファイル生成処理により動画ファイルを生成することにより、この動画ファイルに基づいて実行される前記合成画像再生処理を制御することを特徴とする動画ファイル生成方法。
8. コンピュータを、
   第１画像を表す第１画像データと第２画像を表す第２画像データとを取得する取得手段と、
   前記第１画像と前記第２画像とを合成する条件を変えながら複数回の合成を行うともに、この合成によって生成された複数の合成画像を所定の順番で再生する合成画像再生処理を制御する制御手段と、
   前記合成画像再生処理における再生する順番の条件であって、前記第１画像と前記第２画像とを合成して生成した複数の合成画像を順番に再生する際の、繰り返し開始位置、繰り返し終了位置、繰り返し回数を含む処理条件を任意に指定する条件指定手段と、
   前記取得手段により取得された第１画像データおよび第２画像データと、前記条件指定手段により指定された処理条件とに基づいて、当該処理条件が示す合成の条件または再生する順番の条件に従って前記合成画像再生処理を行うことが可能な動画ファイルを生成する動画ファイル生成手段と、
   として機能させ、
   前記合成画像再生処理には、前記動画ファイル内における前記複数の画像の各々の記録位置を示す複数のインデックスが前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数で指定される再生の順番に並べられた複数のインデックスデータを生成するインデックスデータ生成処理を含み、
   前記動画ファイル生成手段は、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータを含むファイル形式と、前記インデックスデータ生成処理の実行により生成された複数のインデックスデータは含まないが、このインデックスデータ生成処理を実行する際の補助データとして前記処理条件に含まれる繰り返し開始位置、繰り返し終了位置、繰り返し回数の情報が含まれるファイル形式と、を含む複数のファイル形式の動画ファイルを生成可能であり、
   前記制御手段は、前記動画ファイル生成手段により動画ファイルを生成することにより、この動画ファイルに基づいて実行される前記合成画像再生処理を制御することを特徴とする動画ファイル生成プログラム。

Images