JP4742324B2 - 動画像を記録する記録装置、記録方法及びプログラム - Google Patents

Description

本発明は、動画データを記録する記録装置、記録方法及びプログラムに関し、例えば、再生速度の異なる二つの動画を二画面表示する動画データを生成して記録する記録装置、記録方法及びプログラムに関する。

近年、デジタルカメラ等で、被写体を高速撮影して高フレームレートの動画データを生成するものが提供されている。かかるデジタルカメラで高フレームレートで生成された動画データは、通常のフレームレートで処理すると動きぼけの少ないスローモーション動画として再生される。例えば３００〔ｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ〕の高フレームレートで撮影した動画データを、通常のフレームレートである３０〔ｆｐｓ〕で処理すると、１／１０倍速のスローモーションの動画データとして再生される。

また、動画データを早送り再生する際に、早送り速度に対応する第１系列の時間軸と、第１系列より一定時間だけ先行する第２系列の時間軸とに分けて動画データを読み出し、これら２系列の動画データを、通常サイズの画面である親画面と、親画面の中に小画面として表示される子画面とに別々に再生する、いわゆるピクチャーインピクチャーという画像再生方法が提案されている（特許文献１参照）。

特開２００６−３２４８５０号公報

上述のデジタルカメラで高速撮像された高フレームレートの動画データは、通常のフレームレートで再生すると、動きぼけは少ないが、スローモーションの動画像として再生されるため、全体の動きを把握する、あるいは、特定の場面から再生しようとすると、早送り再生が必要になり、頭出し等の操作も煩雑になる。このように、高フレームレートの動画データは、未だに利便性の点で課題がある。

本発明は上述の従来の課題を考慮してなされたものであり、高フレームレートの動画データの利便性を向上する動画データを記録する記録装置、記録方法及びプログラムを提供することを目的とする。

上記の課題を解決するため請求項１の発明に係わる記録装置にあっては、動画データを入力する動画入力部と、前記動画データをフレーム間引きしてフレームレートを低下させた低フレームレート動画データを生成する画像間引き部と、前記画像間引き部によって生成された前記低フレームレート動画データと、前記動画データとを二画面に合成した合成動画データを生成する動画合成部と、前記動画合成部によって合成された合成動画データを記録媒体に記録する記録部と、を備え、前記動画合成部は、前記動画データを複数の区間に分割し、当該複数の区間の各動画データと、対応する前記低フレームレート動画データとを各フレームごとに合成し、前記画像間引き部は、前記低フレームレート動画データの先頭フレームを、対応する前記複数の区間の先頭フレームと同一フレームとすることで、前記複数の区間の各動画データに同期する各低フレームレート動画データを生成することを特徴とする。

また、請求項２の発明に係わる記録装置にあっては、前記動画合成部が分割した前記複数の区間の各々に含まれる前記動画データのフレーム数は同一であることを特徴とする。

また、請求項３の発明に係わる記録装置にあっては、前記動画入力部は、撮像した動画像を変換して撮像信号を出力する固体撮像素子と、前記撮像信号を処理して前記動画データを出力する信号処理部と、を有し、前記記録装置は、ユーザからの指示を入力するための指示入力部と、前記指示入力部で入力されたユーザからの指示に応じて、前記動画データのフレームレート、前記低フレームレート動画データのフレームレート、及び前記複数の区間の各々に含まれる前記動画データのフレーム数の、少なくとも一つを設定する設定部と、を更に備えることを特徴とする。

また、請求項４の発明に係わる記録装置にあっては、前記動画合成部は、前記動画データを親画面に表示し、前記低フレームレート動画データを子画面に表示するように生成することを特徴とする。

また、請求項５の発明に係わる記録装置にあっては、前記動画合成部は、前記低フレームレート動画データの一部を切り出して、前記子画面に表示する前記合成動画データを生成することを特徴とする。

また、請求項６の発明に係わる記録装置にあっては、前記画像間引き部は、前記動画データを前方向にフレーム間引きし、且つ、逆順に並べた前記低フレームレート動画データを生成することを特徴とする。

また、請求項７の発明に係わる記録方法にあっては、動画テータを記録する記録装置の記録方法において、動画データを入力する動画像入力ステップと、前記動画データをフレーム間引きしてフレームレートを低下させた低フレームレート動画データを生成する画像間引きステップと、前記画像間引きステップによって生成された前記低フレームレート動画データと、前記動画データとを、二画面に合成した合成動画データを生成する動画合成ステップと、前記動画合成ステップによって合成された合成動画データを記録媒体に記録する記録ステップと、を含み、前記動画合成ステップは、前記動画データを複数の区間に分割し、当該複数の区間の各動画データと、対応する前記低フレームレート動画データとを各フレームごとに合成し、前記画像間引きステップは、前記低フレームレート動画データの先頭フレームを、対応する前記複数の区間の先頭フレームと同一フレームとすることで、前記複数の区間の各動画データに同期する各低フレームレート動画データを生成することを特徴とする。

また、請求項８の発明に係わるプログラムにあっては、動画テータを記録する記録装置を制御するコンピュータに、動画データを入力する動画像入力機能と、前記動画データをフレーム間引きしてフレームレートを低下させた低フレームレート動画データを生成する画像間引き機能と、前記画像間引き機能によって生成された前記低フレームレート動画データと、前記動画データとを、二画面に合成した合成動画データを生成する動画合成機能と、前記動画合成機能によって合成された合成動画データを記録媒体に記録する記録機能と、を実現させるためのプログラムであって、前記動画合成機能は、前記動画データを複数の区間に分割し、当該複数の区間の各動画データと、対応する前記低フレームレート動画データとを各フレームごとに合成し、前記画像間引き機能は、前記低フレームレート動画データの先頭フレームを、対応する前記複数の区間の先頭フレームと同一フレームとすることで、前記複数の区間の各動画データに同期する各低フレームレート動画データを生成することを特徴とする。

本発明によれば、高フレームレートの動画像等に関する利便性を向上することができる。

本発明の第１の実施の形態に係るデジタルカメラのブロック図である。 図１のデジタルカメラの動作を説明するための図である。 図１のデジタルカメラの主要部の機能構成図である。 図１のデジタルカメラによって記録された合成動画データを再生した一例を示す図である。 図１のデジタルカメラのフレームバッファの構成を示す図である。 図１のデジタルカメラにおける「初期設定処理」を説明するフローチャートである。 図１のデジタルカメラにおける「録画処理」を説明するフローチャートである。 図７の「録画処理」で実行される「子画面合成処理」を説明するフローチャートである。 図１のデジタルカメラにおけるフレームバッファのアドレス制御を説明するフローチャートである。 図１のデジタルカメラにおけるフレームバッファの動作を説明する図である。 図１０の続く、フレームバッファの動作を説明する図である。 本発明の第２の実施の形態に係るデジタルカメラの主要部の機能構成図である。 本発明の第３の実施の形態に係るデジタルカメラの主要部の機能構成図である。

以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
（１）第１の実施の形態
（１−１）第１の実施の形態の構成
（１−１−１）全体構成
図１は、本発明の第１の実施の形態に係るデジタルカメラのブロック図である。このデジタルカメラ１は、撮像系２、メモリカード３、バス４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５、フレームバッファ６、画像表示部７、メモリ８、キー入力部９等を有し、撮像系２で取得した動画データＤ１をメモリカード３に記録する。

撮像系２は、本実施の形態のデジタルカメラ１で動画入力部として機能し、レンズ駆動ブロック１０、レンズ１１、絞り１２、固体撮像素子１３、ドライバ１４、タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１５、信号処理部１６等を有する。

レンズ駆動ブロック１０は、バス４を介したＣＰＵ５の制御により、レンズ１１のフォーカス、倍率、絞り１２を変化させる。レンズ１１は、絞り１２を介して固体撮像素子１３の撮像面に入射光を集光し、被写体の光学像を固体撮像素子１３の撮像面に形成する。

固体撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子でもよい。固体撮像素子１３は、ドライバ１４から出力される各種駆動信号に従って動作し、撮像面に形成された光学像の撮像を撮像信号として出力する。固体撮像素子１３が撮像するフレームレート、電荷蓄積時間等はＣＰＵ５が制御する。撮像系２においてドライバ１４は、タイミングジェネレータ１５から出力される各種タイミング信号に従って固体撮像素子１３の駆動信号を生成する。ＣＰＵ５はバス４を介してタイミングジェネレータ１５を制御する。従って、ドライバ１４に出力するタイミング信号もＣＰＵ５によって制御される。

信号処理部１６は、固体撮像素子１３から出力される撮像信号を相関二重サンプリング処理（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）した後、自動利得調整（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、アナログデジタル変換処理（ＡＤ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）し、撮像した動画像による動画データＤ１をバス４に出力する。

フレームバッファ６は、信号処理部１６、すなわち撮像系２から出力される動画データＤ１を一時格納する作業用メモリである。撮像時、フレームバッファ６は、撮像系２からバス４を介して入力される動画データＤ１を一時格納する。ＣＰＵ５は動画データＤ１をこのフレームバッファ６との間で入出力して処理した後、画像表示部７に出力して表示させる。またユーザから記録開始の指示を受けると、ＣＰＵ５は、動画データＤ１に圧縮等の処理を行う。ＣＰＵ５は再生時には、メモリカード３から動画データＤ３を読み出して伸張し、伸張したデータＤ３をフレームバッファ６に一次保持した後、画像表示部７に出力して表示させる。圧縮及び伸張処理には、種々の手法が適用可能であるが、本実施の形態では一例として、ＭＰＥＧ２に準拠するものとする。

画像表示部７は、液晶表示パネル等により構成される表示部であり、撮像時、ＣＰＵ５の制御により、フレームバッファ６からバス４を介して動画データＤ１を取得して表示する。画像表示部７は、再生時にも同様に、ＣＰＵ５の制御により、フレームバッファ６からバス４を介して動画データを取得して表示する。

ＣＰＵ５は、本実施の形態のデジタルカメラ１の動作を制御するコントローラであり、メモリ８に格納したプログラムを実行して、キー入力部９で検出されるユーザの操作に応動して、本実施の形態のデジタルカメラ１の各部の動作を制御し、さらにフレームバッファ６に格納された動画データの処理等を行う。なお、本実施の形態では、このプログラムは、メモリ８に事前に格納されて提供されるものとして説明するが、本発明はこれに限定されない。例えば、このプログラムをメモリカード等の記録媒体に記録して提供するようにしてもよく、ネットワークを介したダウンロードにより提供するようにしてもよい。キー入力部９は、本実施の形態のデジタルカメラ１で、ユーザから各種の指示を受ける指示入力部として機能する。以後、ユーザからの指示は、特に記載がない限り、キー入力部９を介して入力されるものとする。

ユーザからメモリカード３に記録した動画像の再生の指示を受けると、ＣＰＵ５は、メモリカード３から対応する動画データを順次取得し、この動画データを伸張してフレームバッファ６に格納する。さらに、ＣＰＵ５は、動画データをこのフレームバッファ６から画像表示部７に順次転送して画像表示部７に表示させる。こうして、ＣＰＵ５は、メモリカード３に記録した動画データを再生して画像表示部７で表示させる。

また、ユーザから撮影の指示を受けると、ＣＰＵ５は、撮像系２を制御して取得した動画データＤ１を順次フレームバッファ６に格納する。また、ＣＰＵ５は、この動画データＤ１に対して、ガンマ補正処理、デモザイク処理、ホワイトバランス処理等を実行してフレームバッファ６に格納し直し、この格納し直した動画データを画像表示部７に転送して表示させる。これによりＣＰＵ５は、撮像したモニタ画像を画像表示部７で表示する。

撮像した動画像をモニタに表示している状態で、ユーザから撮像した動画像の記録の指示を受けると、ＣＰＵ５は、フレームバッファ６に格納した動画データＤ１を順次読み出して圧縮処理し、メモリカード３に記録する。これによりＣＰＵ５は、撮像した動画像をメモリカード３に記録する。

これら撮影時、ユーザからノーマルモードでの撮影の指示を受けている場合、ＣＰＵ５は、タイミングジェネレータ１５等を制御して通常のフレームモード、例えば、３０〔ｆｐｓ〕のフレームレートで撮像した動画像を取得し、こうして撮像した動画データＤ１をフレームバッファ６に格納する。ＣＰＵ５は、このフレームバッファ６に格納した動画データＤ１を構成する連続するフレームを順次再生して画像表示部７に表示させる。ユーザから動画像の記録の指示を受けると、この動画データＤ１を構成する連続するフレームを順次圧縮してメモリカード３に記録する。

これに対して、ユーザから高速モードでの撮影の指示を受けている場合、ＣＰＵ５は、所定の高フレームレート、あるいは、ユーザが指示したフレームレートによる撮影を撮像系２に指示し、撮像系２は、所定の高フレームレート、あるいは、ユーザが指示したフレームレートで撮影を行う。本実施の形態では、高フレームレートを３００〔ｆｐｓ〕とする。ＣＰＵ５は、こうして撮像した高フレームレートの動画データＤ１をフレームバッファ６に格納する。ＣＰＵ５は、フレームバッファ６を制御して動画データＤ１を読み出し、フレームバッファ６に格納した高フレームレートの動画データＤ１をフレーム間引きしてフレームレート３０〔ｆｐｓ〕で順次画像表示部７で表示させるようにしてもよい。

また、高速モードで撮影している状態で、ユーザからの記録の指示を受けると、ＣＰＵ５は、フレームバッファ６から動画データＤ１を連続するフレームとして順次読み出して圧縮し、メモリカード３に記録する。

（１−１−２）実速モードの動画データとの合成記録
ＣＰＵ５は、この高速モードで撮影された動画データＤ１を記録する際、ユーザから実速モードの動画と合成して記録する指示を受けると、フレームバッファ６に一時格納した動画データＤ１をフレーム間引きして実速モードの動画データＤ２を生成する。また、この実速モードの動画データＤ２と高速モードの動画データＤ１とをピクチャーインピクチャー手法により高速モードの動画データＤ１を親画面用、実速モードの動画データＤ２を子画面用に画像合成してメモリカード３に記録する。すなわち、動画データＤ１とＤ２は合成された状態で同時にメモリカード３に記録される。これによりＣＰＵ５は、例えば、通常のフレームレートで再生した場合に、親画面には高速モードで撮影した動画データＤ１を用いてスローモーションの動画を表示し、子画面には実速モードの動画データＤ２を用いて動きの早い動画を表示することができる。

ＣＰＵ５は、例えば、動画データＤ１を構成する複数のフレームを所定の処理単位、例えば、所定のフレーム数毎に複数の区間に分割し、分割した動画データの各々を、先頭から順に低フレームレートの動画データと合成する。ここで、ＣＰＵ５は、複数の区間に分割した動画データＤ１の各々に先頭から順に合成する低フレームレート動画データの各々を、区間に分割された動画データの各々の先頭から順に所定の間隔ずつ遅延して、フレーム間引きして生成する。

すなわち図２に示すように、本実施の形態においてＣＰＵ５は、例えば、３００〔ｆｐｓ〕で撮影した高フレームレートの動画データＤ１をフレームレート３０〔ｆｐｓ〕にフレーム間引きした動画データＤ２を合成して合成動画データＤ３を生成する。動画データＤ１を分割する間隔は同一であることが好ましい。図２において動画データＤ１を分割する間隔は、動画データＤ１の３０フレーム分となっている。この場合、ＣＰＵ５は、合成動画データＤ３の先頭フレームＦ０を、フレーム番号０の動画データＤ１にフレーム番号０の動画データＤ１を合成して生成する。また、続くフレームＦ１では、フレーム番号１の動画データＤ１に、合成する低フレームレート、すなわち、実速モードの動画データＤ２を構成する動画フレームとしてフレーム番号１０の動画データＤ１を合成し、さらに続くフレームＦ２では、フレーム番号２の動画データＤ１に、合成する実速モードの動画データＤ２を構成する動画フレームとしてフレーム番号２０の動画データＤ１を合成して生成する。このように、本実施の形態で、フレーム番号３、４、５、６、７、８‥‥の動画データＤ１にはそれぞれ、合成する実速モードの動画データＤ２を構成する動画フレームとしてフレーム番号３０、４０、５０、６０、７０、８０‥‥の動画データＤ１を合成して合成動画データＤ３を生成していく。

この画像合成を繰り返して、フレーム番号２９の動画データＤ１にフレーム番号２９０の動画データＤ１を合成すると、続くフレームＦ３０では、合成する実速モードの動画データＤ２を構成する動画フレームとして、動画データＤ１の先頭から３０フレーム分遅延させた、フレーム番号３０の動画データＤ１をフレーム番号３０の動画データＤ１に合成する。また、続くフレームＦ３１では、フレーム番号３１の動画データＤ１に、合成する実速モードの動画データＤ２を構成する動画フレームとしてフレーム番号４０の動画データＤ１を合成する。フレーム番号５９の動画データＤ１に、合成する実速モードの動画データＤ２を構成する動画フレームとしてフレーム番号３２０の動画データＤ１を合成する。続くフレームＦ６０では、フレーム番号６０の動画データＤ１に、実速モードの動画データＤ２の動画フレームとして、動画データＤ１の先頭から６０フレーム分遅延させてフレーム番号６０の動画データＤ１を合成する。このように、ＣＰＵ５は、動画データを複数の区間Ｆ０〜Ｆ２９、Ｆ３０〜Ｆ５９、Ｆ６０〜Ｆ８９、・・・に分割し、複数の区間に分割した動画データの各々を、先頭から順に実速モードの動画データＤ２と合成する。すなわち、ＣＰＵ５は、複数の区間Ｆ０〜Ｆ２９、Ｆ３０〜Ｆ５９、Ｆ６０〜Ｆ８９、・・・に分割された動画データの各々に先頭から順に合成する実速モードの動画データＤ２の各々を、動画データＤ１の先頭Ｆ０から順に所定の間隔、すなわち、３０フレームずつ遅延して、フレーム間引きして生成している。

ＣＰＵ５は、この一連の処理を繰り返して順次入力される動画データＤ１と実速モードの動画データＤ２とを画像合成してメモリカード３に記録する。このようにして合成されてメモリカード３に記録された合成動画像Ｄ３を再生した画像の一例を図４に示す。親画面には高フレームレートの動画データＤ１を再生した画像が、子画面には低フレームレートの動画データＤ２を再生した画像が表示される。なお、動画データＤ１と合成する動画データのフレームレートを実速としたが、本発明はこれに限定されず、動画データＤ１のフレームレートよりも低いフレームレートであれば、実装に応じて決定してもよい。動画データＤ１のフレームレート、間引きした動画像のフレームレート、動画データＤ１を分割する間隔、高フレームレートと合成する低フレームレートの動画データを遅延する間隔などのうち少なくとも一つは、ユーザの指示に応じて決定するようにしてもよい。

図３は、本実施の形態のデジタルカメラ１の主要部の機能構成図である。図３に示すように、本実施の形態のデジタルカメラ１の主要部はフレームバッファ６と、フレームバッファ６のアドレス制御を行うための選択回路６ａと、子画面合成部５Ａ、エンコード部５Ｂ、ファイル化部５Ｃ、及びメモリカード３から構成されている。選択回路６ａ、子画面合成部５Ａ、エンコード部５Ｂ、ファイル化部５Ｃの機能は、ＣＰＵ５が実現する。

ＣＰＵ５が合成動画データＤ３を生成する原理について、図３を参照して説明する。図３に示すように、ＣＰＵ５は、フレームバッファ６のアドレス制御により、上述した、動画データＤ１を分割するフレーム数に対応する段数のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）のリングバッファとしてフレームバッファ６を機能させる。

こうして、ＣＰＵ５は、順次撮像系２から入力される動画データＤ１を所定のフレーム数だけ遅延させる。図３では、動画データＤ１を構成する連続するフレームをｎ、ｎ＋１、ｎ＋２、‥‥で表す。フレームバッファ６には、矢印Ａに示す方向に順次動画データＤ１が入力され、動画データＤ１を構成するフレームも順次更新されていく。

図３に示すように、フレームバッファ６は選択回路６ａを有する。ＣＰＵ５はこの選択回路６ａを制御してフレームバッファ６にアドレス制御を行い、このフレームバッファ６の所定段から動画データＤ１を選択的に取得し、低レートの動画データＤ２としてピクチャーインピクチャーの手法で親画面用の高速モードの動画データに割り当てる。具体的には、ＣＰＵ５は、フレームバッファ６の所定の段を基準にして所定の段数、本実施の形態では、符号Ｂに示すように、所定のフレーム数毎に実速モードの動画用のタップ出力を設定し、このタップ出力を、例えば、ｔ＝１０として順次選択して実速モードの動画データＤ２を生成する。ＣＰＵ５は、このタップ出力の切り替えを動画データＤ１のフレーム毎に実行し、動画データＤ１からフレーム間引きした実速モードの動画データＤ２を生成する。

ＣＰＵ５は選択回路６ａを制御して、選択的なタップ出力を行い、１秒目では、フレーム番号０〜２９までの動画データＤ１を出力するとともに、フレームを１／１０に間引いた０〜２９０までの動画データＤ２を出力し、２秒目では、フレーム番号３０〜５９までの動画データＤ１を出力するとともに、フレームを１／１０に間引いた３０〜３２０までの動画データＤ２を出力する、という動作を順次繰り返す。動画データＤ１のフレーム番号が２９から３０に移行する動画データＤ１の分割した区間の切り替え時には、実速モードの動画データＤ２のフレームは動画データＤ１の先頭フレームであるフレーム番号０からフレーム番号３０フレーム遅延し、動画データＤ１のフレーム番号が５９から６０フレームに移行する動画データＤ１の区間の切り替え時には、実速モードの動画データＤ２のフレームはさらにフレーム番号３０からフレーム番号６０に３０フレーム遅延する、この動作を順次繰り返していく。

図５は、フレームバッファ６の構成を示す図である。後述する初期設定時に、ＣＰＵ５はフレームバッファ６に、動画データＤ１を格納するデータエリアＡＲ１を所定データ量だけ確保する。さらに、ＣＰＵ５は、フレームバッファ６にこのデータエリアＡＲ１の管理情報を記録する管理情報エリアＡＲ２も確保する。フレームバッファ６のサイズは、少なくとも実速再生を繰り返す時間のフレーム分を一時的に格納できるサイズとする。本実施の形態では、動画データＤ１、Ｄ２のフレームレートＳ、Ｒをそれぞれ３００〔ｆｐｓ〕及び３０〔ｆｐｓ〕、一致周期Ｃ〔秒〕を１秒とするので、ＣＰＵ５は、フレームバッファ６にデータエリアＡＲ１を、親画面用のフレームと子画面用のフレームが最も乖離した場合を想定して少なくとも２６２フレーム（２９０−２９＋１フレーム）分を確保する。図５で、フレームデータは、動画データＤ１のフレームデータを表し、括弧内の数字はフレーム番号を示す。管理情報エリアＡＲ２は、データエリアＡＲ１のサイズ（バッファサイズ）Ｘ、データエリアＡＲ１に格納された先頭フレームの位置を指し示すポインタの位置情報（バッファ先頭位置）Ｙ、データエリアＡＲ１に記録された動画データＤ１のフレーム数（バッファフレーム数）ｍ、データエリアＡＲ１に記録された動画データＤ１の先頭フレーム番号（バッファ先頭フレーム番号）ｎ等が記録される。

ＣＰＵ５は、この管理情報エリアＡＲ２の記録を逐次更新しながらデータエリアＡＲ１に順次循環的に動画データＤ１を格納する。また、管理情報エリアＡＲ２の記録に基づいて、親画面用の動画データＤ１、子画面用の動画データＤ２を順次読み出して一連の処理を実行する。このようにしてフレームバッファ６はリングバッファとして機能する。

本実施の形態では、このＦＩＦＯの段数（処理単位である所定のフレーム数）は初期設定時に設定され、さらに、親画面出力用にはＦＩＦＯの最終段が設定される。この事前の設定で、子画面用のタップ出力段、子画面として切り出す領域等が設定される。以下、この設定処理について説明する。

＜初期設定処理＞
図６は、この初期設定の処理に係るＣＰＵ５の処理手順を示すフローチャートである。ＣＰＵ５は、キー入力部９に設けられた所定の操作子が操作されるとこの処理手順を開始する（ステップＳ１）。まず、ＣＰＵ５は、画像表示部７に所定のメニュー画面を表示する（ステップＳ２）。ユーザはこのメニュー画面から所定の操作によって撮影速度を選択する（ステップＳ３）。さらに、ＣＰＵ５は、撮影の際にここで選択された撮影速度に従うフレームレートで撮像系２に撮像させる動画像を、子画面を有する動画データに合成して記録するか、又は子画面のない動画データとして記録するかを設定する（ステップＳ４）。

続いて、子画面合成の指示があったか否かを判定する（ステップＳ５）、子画面合成の指示がないと判定されるとステップＳ６に進む。一方で、子画面合成の指示があったと判定されるとステップＳ８に進み、ＣＰＵ５は、子画面用に切り出す領域を設定する。なお、この領域の設定は、例えば、大きさの異なる複数の枠を画像表示部７に表示して、ユーザからの選択を受け付けることにより実行してもよい。

続いてＣＰＵ５は、子画面位置を設定する（ステップＳ９）。この子画面位置の設定は、例えば、画像表示部７に子画面を表示して、ユーザからの選択を受け付けることにより実行してもよい。子画面を表示する位置として、例えば、親画面の右上、左上、右下、左下など、ユーザが様々な選択をできるように示してもよい。続いて、子画面速度を設定する（ステップＳ１０）。この子画面速度の設定も、画像表示部７に選択可能な複数の速度を表示して、ユーザからの選択を受け付けることにより実行してもよい。

続いてＣＰＵ５は、親画面用の動画データＤ１と子画面用の動画データＤ２とのフレーム番号を一致させる周期、具体的には図２で説明した子画面と親画面用のフレームのフレーム番号を一致させる周期を、例えば、１秒、２秒などと設定する。続いて、ステップＳ６に進み、ユーザの設定を設定情報として記録した後、この処理手順を終了する（ステップＳ７）。

＜録画処理＞
図７は、高速モードの動画Ｄ１と実速モードの動画Ｄ２とを合成して記録する録画に係るＣＰＵ５の処理手順を示すフローチャートである。まず、ＣＰＵ５は、画像表示部７にライブビュー表示をする（ステップＳ２１）。次に、撮影開始するか否かを判定する（ステップＳ２２）。具体的には、ＣＰＵ５は、ユーザからからの撮影開始の指示を受けたか否かを判定し、撮影開始の指示を受けたと判定すると、設定情報に基づいてフレームバッファ６を初期化する（ステップＳ２３）。本実施の形態では、フレームバッファ６をリングバッファとして構成して上述したようにＦＩＦＯとして機能させるための領域の確保などを実行する。

続いて、撮影を行う。具体的には、ＣＰＵ５は、動画データＤ２の生成に十分なフレーム数だけ動画データＤ１をフレームバッファ６に格納する（ステップＳ２４）。続いて、バッファの更新を行う（ステップＳ２５）。具体的には、ＣＰＵ５は、新たに撮影した画像をバッファに格納しながら、バッファに格納された最も古いフレームを出力する。子画面合成処理を実行し（ステップＳ２６）、動画データＤ３を生成する。

続いてＣＰＵ５は、生成した動画データＤ３を圧縮処理する（ステップＳ２７）。ユーザから記録終了の指示を受けたか否か判断する（ステップＳ２８）。記録終了の指示を受けていないと判定すると、制御はステップＳ２５に戻る。

これに対してステップＳ２８で記録終了の指示を受けたと判定すると、子画面合成処理を行う。具体的には、ＣＰＵ５は、フレームバッファ６に格納済みの動画データＤ１を用いて、その時点で画像表示部７で表示しているフレームまで子画面合成処理を実行する。この場合に、フレームバッファ６に格納済みの動画データＤ１に子画面に割り当てる動画データＤ１が存在しない場合、それまでに子画面に割り当てた最後のフレームを繰り返し子画面に割り当てる。

続いてＣＰＵ５は、生成した動画データＤ３を圧縮する（ステップＳ３０）し、ファイル化を実行し（ステップＳ３１）、ファイル化された動画データＤ３はメモリカード３に記録され、録画処理を終了する（ステップＳ３２）。

図８は、ＣＰＵ５が実行する図７の子画面合成処理の詳細を説明するフローチャートである。ＣＰＵ５は、この子画面合成処理を開始すると（ステップＳ４１）、フレームバッファ６から親画面用の動画データＤ１を取得する（ステップＳ４２）。続いて、親画面用のフレームと子画面用のフレームとが一致するか否か判断する（ステップＳ４３）。

図２を参照して説明したように、先頭フレームの親画面と子画面には動画データＤ１の同一のフレームを割り当てるものとする。子画面と親画面用のフレームが一致するケースは、ＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＝０で表すことができる。ここで、Ｒは、撮影時に換算した動画データＤ２のフレームレート〔ｆｐｓ〕であり、Ｎは画像合成に供する親画面用のフレームのフレーム番号である。Ｃは、ステップＳ１１で取得した周期〔秒〕であり、ＭＯＤは、剰余演算子である。例えば、図２の場合、Ｒは３０〔ｆｐｓ〕、Ｃは１〔秒〕であり、親画面用のフレームのフレーム番号Ｎが０、３０、６０などでＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＝０となる。換言すると、ＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＝０の場合の子画面用のフレームのフレーム番号は親画面用のフレームのフレーム番号と一致する。一方、ＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＞０の場合、子画面用のフレームのフレーム番号は、Ｎ＋ＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＊（Ｓ／Ｒ）＊Ｋで表すことができる。ここで、Ｓは撮像した動画像のフレームレート〔ｆｐｓ〕であり、Ｋはステップ１０で設定された子画面の速度である。例えば、図２の場合、Ｒは３０〔ｆｐｓ〕、Ｃは１〔秒〕、Ｓは３００〔ｆｐｓ〕、Ｋは１〔倍〕（実速度）であって、親画面用のフレームのフレーム番号Ｎが０、１、２のとき、子画面用のフレームのフレーム番号はそれぞれ０、１０、２０である。

ステップＳ４３で親画面と子画面用のフレームが一致していないと判定されると、子画面用の動画データＤ２をフレームバッファ６から取得する（ステップＳ４４）。具体的には、ＣＰＵ５は、親画面と子画面用のフレームとが一致しない場合、すなわち、ＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＞０と判定された場合、Ｎ＋ＭＯＤ｛Ｎ／（Ｒ・Ｃ）｝＊（Ｓ／Ｒ）＊Ｋで表されるフレーム番号のフレームを動画データＤ１から取得する。これに対して、ステップＳ４３で親画面と子画面用のフレームらが一致していると判定されると、ＣＰＵ５はステップＳ４２で取得した親画面用の動画データＤ１を子画面用の動画データに割り当てる（ステップＳ４５）。

なお、図３を参照した説明で、符号ｎ＋（ｘ−１）ｔにより示す親画面と同一のタップ出力は、選択回路６ａによって選択的に出力されるものとして説明したが、実際のＣＰＵ５の処理において、このタップ出力は、親画面用の動画データを流用する。ＣＰＵ５は、続いてステップＳ８で設定された領域を設定情報から特定して切り出し（ステップＳ４６）、切り出したサイズの動画データＤ２を子画面用の動画データとして生成する（ステップＳ４７）。こうして生成した子画面用の動画データを、親画面用の動画データの図６のステップＳ９で設定された位置に貼り付け（ステップＳ４８）、これによりピクチャーインピクチャーの合成動画データＤ３を生成し、この処理手順を終了する(ステップＳ４９）。また、子画面を貼り付ける際に、ＣＰＵ５は、併せて動画データＤ２の解像度変換処理を実行する。

図９は、図７について上述したＣＰＵ５の処理手順のステップＳ２４からステップＳ３２の処理について、ＣＰＵ５が実行するフレームバッファ６のアドレス制御に係る処理を詳細に説明するフローチャートである。図１０と図１１は、フレームバッファ６に格納される動画データのフレームを詳細に説明する図である。図９〜図１１及び図３を参照して、ＣＰＵ５が実行するフレームバッファ６の制御に係る処理について詳細に説明する。

ＣＰＵ５は、この録画処理を開始すると（ステップＳ５０）、管理情報エリアＡＲ２のバッファフレーム数ｍを値０に初期化し（ステップＳ５１）。続いて、ＣＰＵ５は、それぞれ親画面及び子画面用のフレームのフレーム番号を初期化する（ステップＳ５２）。ＣＰＵ５は、動画データＤ１を１フレーム分フレームバッファ６に格納し、これに対応してバッファフレーム数ｍを１インクリメントして管理情報エリアＡＲ２の記録を更新する（ステップＳ５３）。続いてＣＰＵ５は、子画面用の動画データＤ２の生成に十分なフレーム数だけフレームバッファ６に動画データＤ１が格納されたか否か判定し（ステップＳ５４）、十分なフレーム数だけ格納されていないと判定されると、ステップＳ５３に戻る。動画データＤ２の生成に十分なフレーム数だけフレームバッファ６に動画データＤ１が格納されるまで、ステップＳ５３とステップＳ５４は繰り返される。こうして、フレームバッファ６に所定フレーム数の動画データＤ１が格納される。

動画データＤ１、Ｄ２のフレームレートＳ、Ｒ〔ｆｐｓ〕がそれぞれ３００〔ｆｐｓ〕及び３０〔ｆｐｓ〕であって、一致周期Ｃ〔秒〕が１秒、フレームバッファ６に２６２フレーム分の領域を確保した場合の例を図１０に示す。図１０において、「撮影フレーム」とは、撮影の開始が指示された時点からのフレームバッファ６に格納される動画データＤ１のフレームのフレーム番号である。「合成フレーム（子）」及び「合成フレーム（親）」は、子画面及び親画面に割り当てられるフレームのフレーム番号であり、「バッファ」は、フレームバッファ６に格納されている動画データＤ１のフレームのフレーム番号である。図１０の例では、撮影開始から動画データＤ１のフレーム番号２６０のフレームを格納するまでの間、ＣＰＵ５は、ステップＳ５３とＳ５４の処理を繰り返す。フレーム番号２６１の動画データＤ１を格納すると、ステップＳ５４で、子画面用の動画データＤ２の生成に十分なフレーム数だけフレームバッファ６に動画データＤ１が格納されたと判定されてステップＳ５５に進む。

ステップＳ５５では、ＣＰＵ５は、親フレーム番号及び子フレーム番号の動画データをフレームバッファ６から読み出して画像合成し、エンコード（圧縮）、ファイル化の処理を実行する。すなわち、動画Ｄ１とＤ２は合成された状態で同時にエンコードされてファイル化される。続いて、ＣＰＵ５は、ユーザから記録終了の指示を受けたか否か判定し（ステップＳ５６）、記録終了の指示を受けたと判定すると、この処理手順を終了する（ステップＳ５７）。

これに対してステップＳ５６で、記録終了の指示を受けていないと判定されると、ＣＰＵ５は、親フレーム番号を１インクリメントし、子フレーム番号を間引くフレーム数に応じて更新する（ステップＳ５８）。続いてＣＰＵ５は、親フレーム番号が、分割した区間を切り替える切替値に達したか否か判定し（ステップＳ５９）、切替値に達したと判定した場合、ＣＰＵ５は、子フレーム番号を、親フレーム番号にセットして（ステップＳ６０）、ステップＳ６１に移る。ステップＳ５９で、切替値に達していないと判定した場合も、ステップＳ６１に移る。

このステップＳ６１において、ＣＰＵ５は、動画データＤ１を１フレーム分フレームバッファ６に格納し、管理情報エリアＡＲ２の記録を更新した後、ステップＳ５５に戻る。

なお、この図９のフローチャートでは、ユーザからの記録の指示を受けて即座に画像合成等の一連の処理を終了するものとして記載しているが、実際には、図７のステップＳ２９を参照して説明したように、ユーザから記録終了の指示を受けた後、フレームバッファ６に格納済みの動画データＤ１を用いて、その時点で画像表示部７で表示しているフレームが親画面となるまで子画面合成処理を実行する。図１１は、この記録終了時のフレームバッファ６の動作を示す図である。図１１では、例えばフレーム番号３２７、３２８、３２９の親画面に対して、フレームバッファ６に子画面に割り当てるべき画像データが存在していない。このため、直前の子画面用の画像データ（フレーム番号５６０）を繰り返し割り当てている。

（１−２）本実施の形態の動作
以上説明したように、本実施の形態のデジタルカメラ１（図１）は、レンズ１１によって結像した光学像を固体撮像素子１３により光電変換処理して、撮像した動画像である撮像信号を生成し、この撮像信号を信号処理部１６により処理して動画データを生成する。ＣＰＵ５は、この動画データをフレームバッファ６を介して入力して、圧縮等の処理を行ってメモリカード３に記録する。これに対してユーザから再生の指示を受けると、メモリカード３に記録された動画データを順次再生して伸張した後、画像表示部７に表示する。

これらの処理において、ユーザから高速モードでの撮影の指示を受けている場合には、所定の高フレームレート、又はユーザが指示したフレームレート、例えば、フレームレート３００〔ｆｐｓ〕で、撮影を行い、高フレームレートの動画データを信号処理部１６から出力する。ＣＰＵ５は、この動画データを圧縮してメモリカード３に記録する。高速モードで撮影した動画データを再生する場合、ユーザから通常の再生速度であるフレームレート３０〔ｆｐｓ〕による再生の指示を受けている場合には、例えば、フレームレート３００〔ｆｐｓ〕の動画データをフレームレート３０〔ｆｐｓ〕で再生して画像表示部７に表示する。この結果、このデジタルカメラ１では、通常の撮影速度（フレームレート３０〔ｆｐｓ〕）で撮影した場合と比較して、格段的に動きぼけの少ないスローモーション画像をユーザに提供することができ、ユーザの利便性を向上することができる。

しかしながらこのような高速モードで撮影された動画データにあっては、通常のフレームレートで再生するとスローモーションの動画像として再生されることから、大まかな動きや全体の動きを把握し難いという課題がある。そのため例えば頭出しする場合には、結局、早送り再生に動作を切り替えることが必要になり、結局、処理が煩雑になる。

そこで本実施の形態のデジタルカメラ１は図２〜図４に示すように、高速モードで撮影する場合にユーザから、高速モードよりも低い速度、例えば、実速モードの動画との合成記録の指示を受けると、撮像した動画像である動画データＤ１をフレーム間引きし、動画データＤ１よりフレームレートの低い、例えば、実速モードの動画データＤ２を生成する。さらに、この実速モードの動画データＤ２を子画面に割り当てて元の動画データＤ１と画像合成し、得られた合成動画データＤ３を圧縮処理してメモリカード３に記録する。

これによりデジタルカメラ１では、高速モードで撮影された動画データを通常の再生速度で再生して、親画面には動きぼけの少ないスローモーション動画を表示しながらも、子画面には、例えば、通常の速度で撮影した動画を表示することができる。例えば、図２の例において、フレームレート３０〔ｆｐｓ〕で再生する場合、親画面では１／１０倍速のスローモーション動画を表示し、子画面にはフレームレート３０〔ｆｐｓ〕で撮影した通常速度の動画を表示することができる。それによって、ユーザは、スローモーションの動画を表示している場合でも、子画面の表示から全体の動きを把握することができるので、ユーザの利便性を向上することができる。

しかしながら、単純にフレーム間引きして実速モードの動画データＤ２を作成し、元の動画データＤ１と画像合成する場合、フレーム間引きした分、画像合成に使用する子画面用のフレームのフレーム数は不足することがある。また、親画面と比較して子画面の速度が速いことから、除々に親画面と子画面との乖離が大きくなり、親画面と子画面との関係を把握し難くなる可能性がある。

そこで、本実施の形態のデジタルカメラ１では、動画データＤ１を複数の区間に分割し、複数の区間に分割した動画データＤ１の各々を、先頭から順に実速モードの動画データＤ２と合成する。複数の区間に分割された動画データＤ１の各々に先頭から順に合成する実速モードの動画データＤ２の各々は、複数の区間に分割された動画データＤ１の各々の先頭からフレーム間引きして生成する。

その結果、親画面に対して子画面用のフレームが一定フレーム以上、乖離しなくなるので、親画面と子画面との関係を把握しやすくなる。

さらに、本実施の形態のデジタルカメラ１では、ユーザの操作により、動画データＤ１のフレームレートの設定（図６、ステップＳ３）、及び低フレームモード、本実施の形態では実速モードの動画データＤ２の速度の設定（図６、ステップＳ１０）を行うことができる。また、親画面用のフレームと子画面用のフレームが一致する周期を設定することができる（図６、ステップＳ１１）。このため、高フレームモード、低フレームモードの動画データの再生速度、フレーム間引きの処理、動画データＤ１を分割する区間などを詳細に設定することができる。このように、ユーザの使い勝手に合わせて親画面と子画面の各種パラメータを設定できる。

また、本実施の形態のデジタルカメラ１では、フレームバッファ６をリングバッファにより構成して、子画面用の画像データを生成する処理、親画面用の画像データを生成する処理を実行している。これによりデジタルカメラ１では、フレームバッファ６のアドレス制御により、子画面用の画像データ及び親画面用の画像データを生成することができるので、構成を簡略化することができる。

（１−３）実施の形態の効果
以上、本実施の形態のデジタルカメラによれば、動画データをフレーム間引きして子画面用の動画データを生成し、この子画面用の動画データを元の動画データとピクチャーインピクチャーにより画像合成して記録するので、高フレームレートの動画データの利便性を向上することができる。

また、動画データＤ１を複数の区間に分割し、複数の区間に分割した動画データＤ１の各々を、先頭から順に実速モードの動画データＤ２と合成する。複数の区間に分割された動画データＤ１の各々に先頭から順に合成する実速モードの動画データＤ２の各々は、複数の区間に分割された動画データＤ１の各々の先頭からフレーム間引きして生成しているで、再生する動画データＤ１の区間が切り替わる都度、再生する実速モードの動画データＤ２も順次更新される。したがって、動画データＤ１に基づいて表示する親画面の内容と実速モードの動画データＤ２に基づいて表示する子画面の内容が乖離しないようにしているので、親画面と子画面との関係が把握しやすくなっている。

また、ユーザの操作に応じて、入力動画データのフレームレート、子画面用の動画データの速度、処理単位の大きさを設定可能に構成しているので、ユーザの操作性を向上している。

さらに、フレームバッファをリングバッファにより構成して、子画面用の画像データを生成する処理、親画面用の画像データを生成する処理を実行しているので、簡単な構成で実現できる。

（２）第２の実施の形態
図１２は、本発明の第２の実施の形態に係るデジタルカメラの主要部の機能構成図である。本実施の形態のデジタルカメラ２１は、ユーザの操作に応じてフレームバッファ６に動画データＤ１を格納した後、出力するまでの遅延時間を変更する。図１２では、フレーム番号ｎ＋２ｔの出力段から親画面用の動画データを出力する。このデジタルカメラ２１は、この出力段の設定が異なる点を除いて、第１の実施の形態のデジタルカメラ１と同一である。第１の実施の形態のデジタルカメラ１と同様の構成については同様の符号を付して省略を説明する。なお、この親画面用の動画データの出力段は、子画面用の動画データのタップ出力段の１つに設定してもよく、あるいは子画面用の動画データのタップ出力段の間に設定しても良い。この構成によって、本実施の形態のデジタルカメラ２１は、任意のフレーム番号から親画面を再生することができる。

本実施の形態のデジタルカメラ２１では、この出力段の変更により、子画面に対する親画面の表示を種々に変更することができるので、上述の実施の形態の特徴に加えて、利便性を一層向上することができる。

（３）第３の実施の形態
図１３は、本発明の第３の実施の形態に係るデジタルカメラの主要部を説明する機能構成図である。本実施の形態のデジタルカメラ３１は、ユーザの操作に応じてフレームバッファ６のアドレス制御を切り替え、矢印Ｃにより示すように、選択回路６ａにおける接点の切り替え順序をフレーム番号が増大する方向と減少する方向との何れかに切り替えることもできる。この切り替えは、１つ又は複数の処理周期、例えば、子画面と親画面用のフレームのフレーム番号を一致させる周期毎に実行してもよく、順方向又は逆方向の何れか１方に設定して再生する方向を固定してもよい。このデジタルカメラ３１は、このアドレス制御の構成が異なる点を除いて、第１の実施の形態のデジタルカメラ１、又は第２の実施の形態のデジタルカメラ２１と同一である。同一の構成には同一の符号を付して説明を省略する。一定周期で接点の切り替え順序を切り替える場合には、併せてタップ出力段を切り替えるようにしても良い。

本実施の形態のデジタルカメラ３１では、アドレス制御の切り替えにより子画面に割り当てるフレーム番号の順番を切り替えて、親画面に対する子画面の表示を種々に変更することができるので、上述の実施の形態の特徴に加えて、利便性を一層向上することができる。

（４）他の実施の形態
上述の実施の形態では、ユーザの操作により、入力動画データのフレームレート、子画面用の動画データの速度、処理単位の大きさ、親画像データの生成に係る遅延時間を設定する場合について述べたが、本発明はこれに限定されず、これらの全部又は何れかを固定値に設定しても良い。

上述の実施の形態では、子画面用の動画データを一部切り出して子画面に割り当てる場合について述べたが、本発明はこれに限定されず、子画面用の動画データの全てを子画面に割り当ててもよい。

さらに、例えば、子画面合成部５Ａにおいて、動画データＤ１を子画面用に割り当て、動画データＤ２を親画面用に割り当てるようにして画像合成するようにしてもよい。また、動画データＤ１と合成する動画データのフレームレートを実速として説明したが、本発明はこれに限定されず、動画データＤ１と合成する動画データのフレームレートは、動画データＤ１のフレームレートよりも低いフレームレートであればよく、実装に応じて決定してもよい。

さらに、上述の実施の形態では、フレームバッファを用いて子画面用及び親画面用の動画データを生成する場合について説明したが、本発明はこれに限定されず、例えば、動画データをフレーム間引きする場合等、広く適用することができる。

上述の実施の形態では、高フレームレートの動画データから子画面用の動画データを生成して画像合成する場合について述べたが、本発明はこれに限定されず、例えば通常のフレームレートであるフレームレート３０〔ｆｐｓ〕の動画データからスローモーションの動画データを子画面用に生成し、これらを合成して記録する場合にも広く適用することができる。

上述の実施の形態では、本発明をデジタルカメラに適用して、撮像系２から入力する動画データを処理する場合について述べたが、本発明はこれに限定されず、例えばネットワーク、各種記録媒体により提供される動画データをハードディスク等の記録媒体に記録する場合等にも広く適用することができる。また、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させるプログラムによって動作させることができる。プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態を種々に組み合わせ、さらには上述の実施の形態に種々に変形を加えた形態とすることができる。

１、２１、３１・・・デジタルカメラ、２・・・撮像系（動画入力部）、３・・・メモリカード（記録部）、５・・・ＣＰＵ（画像間引き部、データ遅延部、動画合成部、記録部）、６・・・フレームバッファ（データ遅延部）、９・・・キー入力部（指示入力部）、１３・・・固体撮像素子、１６・・・信号処理部

Claims (8)

1. 動画データを入力する動画入力部と、
   前記動画データをフレーム間引きしてフレームレートを低下させた低フレームレート動画データを生成する画像間引き部と、
   前記画像間引き部によって生成された前記低フレームレート動画データと、前記動画データとを二画面に合成した合成動画データを生成する動画合成部と、
   前記動画合成部によって合成された合成動画データを記録媒体に記録する記録部と、
   を備え、
   前記動画合成部は、前記動画データを複数の区間に分割し、当該複数の区間の各動画データと、対応する前記低フレームレート動画データとを各フレームごとに合成し、
   前記画像間引き部は、前記低フレームレート動画データの先頭フレームを、対応する前記複数の区間の先頭フレームと同一フレームとすることで、前記複数の区間の各動画データに同期する各低フレームレート動画データを生成する
   記録装置。
2. 前記動画合成部が分割した前記複数の区間の各々に含まれる前記動画データのフレーム数は同一である、請求項１記載の記録装置。
3. 前記動画入力部は、
   撮像した動画像を変換して撮像信号を出力する固体撮像素子と、
   前記撮像信号を処理して前記動画データを出力する信号処理部と、を有し、
   前記記録装置は、
   ユーザからの指示を入力するための指示入力部と、
   前記指示入力部で入力されたユーザからの指示に応じて、前記動画データのフレームレート、前記低フレームレート動画データのフレームレート、及び前記複数の区間の各々に含まれる前記動画データのフレーム数の、少なくとも一つを設定する設定部と、を更に備える、請求項２記載の記録装置。
4. 前記動画合成部は、前記動画データを親画面に表示し、前記低フレームレート動画データを子画面に表示するように生成する、請求項１記載の記録装置。
5. 前記動画合成部は、前記低フレームレート動画データの一部を切り出して、前記子画面に表示する前記合成動画データを生成する、請求項４記載の記録装置。
6. 前記画像間引き部は、前記動画データを前方向にフレーム間引きし、且つ、逆順に並べた前記低フレームレート動画データを生成する、請求項１記載の記録装置。
7. 動画テータを記録する記録装置の記録方法において、
   動画データを入力する動画像入力ステップと、
   前記動画データをフレーム間引きしてフレームレートを低下させた低フレームレート動画データを生成する画像間引きステップと、
   前記画像間引きステップによって生成された前記低フレームレート動画データと、前記動画データとを、二画面に合成した合成動画データを生成する動画合成ステップと、
   前記動画合成ステップによって合成された合成動画データを記録媒体に記録する記録ステップと、を含み、
   前記動画合成ステップは、前記動画データを複数の区間に分割し、当該複数の区間の各動画データと、対応する前記低フレームレート動画データとを各フレームごとに合成し、
   前記画像間引きステップは、前記低フレームレート動画データの先頭フレームを、対応する前記複数の区間の先頭フレームと同一フレームとすることで、前記複数の区間の各動画データに同期する各低フレームレート動画データを生成する
   記録方法。
8. 動画テータを記録する記録装置を制御するコンピュータに、
   動画データを入力する動画像入力機能と、
   前記動画データをフレーム間引きしてフレームレートを低下させた低フレームレート動画データを生成する画像間引き機能と、
   前記画像間引き機能によって生成された前記低フレームレート動画データと、前記動画データとを、二画面に合成した合成動画データを生成する動画合成機能と、
   前記動画合成機能によって合成された合成動画データを記録媒体に記録する記録機能と、を実現させるためのプログラムであって、
   前記動画合成機能は、前記動画データを複数の区間に分割し、当該複数の区間の各動画データと、対応する前記低フレームレート動画データとを各フレームごとに合成し、
   前記画像間引き機能は、前記低フレームレート動画データの先頭フレームを、対応する前記複数の区間の先頭フレームと同一フレームとすることで、前記複数の区間の各動画データに同期する各低フレームレート動画データを生成する
   プログラム。

Images