JP6066712B2 - 記録装置、記録方法およびプログラム - Google Patents

Description

本発明は記録装置に関し、特に、動画や音声を符号化して記録する装置に関する。

従来、動画像信号や音声信号を記録媒体に記録する記録装置が知られている。この種の記録装置においては、記録した動画や音声を所定のファイルシステムに従ってファイルとして管理する。動画や音声を記録するためのファイル形式として、ＭＰ４ファイルフォーマットが知られている（例えば、特許文献１参照）。

特開２００８−２８３２３２号公報

ＭＰ４ファイル形式で記録される動画と音声を符号化するための符号化の単位時間が互いに異なる。そのため、１シーンの終端部分において、動画と音声のサンプルのタイミングが一致することは希で、ほとんどの場合、動画と音声の終端のサンプル位置が異なる。

そのため、二つのＭＰ４ファイルに格納された動画と音声を結合し、新たにＭＰ４ファイルを作成する編集処理を行った場合、サンプル位置がずれた状態で結合されてしまう。

ＭＰ４形式では、データの途中に再生しない時間を設定する仕組みがなく、全てのデータはファイルの先頭から連続して再生される。そのため、シーン境界で動画と音声のサンプル位置がずれていた場合、境界部分以降の動画と音声の再生タイミングがずれてしまうという問題があった。

本発明は前述の問題点に鑑み、符号化された動画データと音声データを格納したファイルに対して、別の動画データと音声データを結合した場合に、動画と音声の再生タイミングのずれによる不自然な再生となることを防ぐことを目的とする。

本発明においては、動画取得手段で取得された動画データと音声取得手段で取得された音声データを動画ファイルとして記録媒体に記録する記録装置は、第１の期間に対応した動画サンプルを符号化単位として取得された動画データを符号化し、第２の期間に対応した音声サンプルを符号化単位として取得された音声データを符号化する符号化手段と、符号化手段により符号化された動画データと音声データとを動画ファイルに格納して記録媒体に記録する記録手段と、取得された動画データの記録開始位置に基づいて、取得された音声データの記録開始位置を、取得された動画データの記録開始位置よりも、少なくとも第２の期間に対応した音声サンプルだけ前の位置に決定し、記録された音声データの再生開始位置を、記録された音声データの先頭から音声データの符号化単位だけ後の位置と決定する制御手段とを備える。

符号化された動画データと音声データを格納したファイルに対して、別の動画データと音声データを結合した場合に、動画と音声の再生タイミングのずれによる不自然な再生となることを防ぐことができる。

本発明の実施形態に係る記録装置の構成例を示すブロック図である。 動画ファイルの構成を示す図である。 管理情報と動画データ、音声データとの対応を示す図である。 結合された動画データと音声データの構成を示す図である。 図４に示す動画ファイルの管理情報を示す図である。 結合された動画データと音声データの再生時間の時間差を示す図である。 本発明の実施形態に係る記録装置における記録モードでの動作のフローチャートを示す図である。 本発明の実施形態に係る、記録された動画ファイルと結合された動画データと音声データの動画ファイルの構成を示す図である。 本発明の実施例に係わる、結合された動画データと音声データの再生時間の時間差を示す図である。 本発明の実施形態に係る動画データと音声データの結合動作のフローチャートを示す図である。 動画ファイルに追記された動画データと音声データの構成を示す図である。 図１１に示す動画ファイルの管理情報を示す図である。 動画ファイルに追記された動画データと音声データの再生時間を示す図である。 本発明の実施形態に係る記録装置における同時記録モードでの動作のフローチャートを示す図である。 本発明の実施形態に係る同時記録モードでの音声データの先頭位置の決定動作を説明するための図である。 本発明の実施形態に係る同時記録モードで記録された動画データと音声データの構成を示す図である。 本実施形態に係る部分削除動作における接続パターンを示す図である。 本発明の実施形態に係る記録装置における部分削除の動作のフローチャートを示す図である。 本発明の実施形態に係る記録装置における追記モードでの動作のフローチャートを示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本実施形態に係る記録装置１００の構成例を示すブロック図である。本実施形態は例えばビデオカメラなどの撮像装置に本発明を適用した例であるが、カメラとマイクロフォンを有する、あるいは接続されたＰＣ、またはスマートフォンなどの携帯機器などの動画撮影が可能な装置にも適用可能である。
図１において、撮像部１０１は、公知の撮像素子やＡＤ変換器などを備える動画取得部として機能し、被写体を撮影して動画データを出力する。音声取得部１０２は、マイクロフォンやＡＤ変換器などを備え、被写体の周辺の音声を取得し、音声データを出力する。

メモリ１０３は、動画データや音声データを記憶する。記録装置１００の各ブロックは、メモリ１０３対してアクセスすることにより、動画データや音声データを処理する。また、メモリ１０３は、動画データや音声データの他に、ファイルシステムの情報や、管理情報など、各種の情報を記憶し、更に、制御部１０６による制御のためのワークメモリ等の役割を果たす。また、後述のように同時記録モードが設定された場合、記録待機状態において、所定時間分の動画データと音声データが繰り返しメモリ１０３に記憶される。

表示部１０４は、撮影時においては撮像部１０１により得られた動画を表示し、再生時においては、再生された動画を表示する。また、表示部１０４は、メニュー画面等の各種の情報を表示する。

信号処理部１０５は、動画の記録時においては、撮像部１０１により得られた動画データと音声取得部により得られた音声データを公知の符号化形式に従って符号化して、その情報量を圧縮する。また、動画データや音声データを記録するために必要な処理を施す。本実施形態では、動画データはＨ．２６４／ＡＶＣ方式に従って符号化され、音声データはＡＡＣ（Advanced Audio Coding）方式に従って符号化される。また、信号処理部１０５は、再生時においては、再生された動画データや音声データを復号し、その情報量を伸張する。

また、信号処理部１０５は、静止画の記録時においては、撮像部１０１により得られた１画面の静止画データをＪＰＥＧなどの公知の符号化方式に従って符号化する。また、静止画の再生時においては、再生された静止画データを復号する。

制御部１０は６、操作部１０７からの入力に応じて記録装置１００の動作全体を制御する。制御部１０６はマイクロコンピュータ（ＣＰＵ）やメモリ等を含み、不図示の不揮発メモリに記憶されたコンピュータプログラム（ソフトウェア）に従って記録装置１００を制御する。また、制御部１０６は、記録再生部１０８との間でデータやコマンドを通信するための記録媒体インターフェイスを内蔵している。操作部１０７は、ユーザにより操作可能な各種のスイッチを含む。そして、操作部１０７は、ユーザによる各種の指示などを受理して制御部１０６へ通知する。また、操作部１０７は、電源スイッチや記録の開始、停止を指示するためのスイッチ、記録装置１００のモードを切り替えるためのスイッチ等を含む。

記録再生部１０８は、記録媒体１０９に対し、動画データや音声データ、或いは、各種の情報を書き込み、或いは、読み出す。記録再生部１０８は、記録時においては、メモリ１０３に蓄積された動画データや音声データを記録媒体１０９に書き込む。また、記録再生部１０８は、再生時においては、記録媒体１０９から動画データや音声データを読み出し、メモリ１０３に記憶する。本実施形態では、記録媒体１０９ハードディスク（ＨＤＤ）、フラッシュメモリカード等、ランダムアクセスの記録媒体である。

また、記録再生部１０８は、記録媒体１０９に記録する動画、音声データや、各種の情報を、ＦＡＴ（File Allocation Table）等のファイルシステムに従い、ファイルとして管理する。また、記録再生部１０８は、ＡＴＡ（AT Attachment）等の公知のインターフェイス（ＩＦ）を有し、制御部１０６における記録媒体ＩＦとの間でデータや各種のコマンドを通信する。また、不図示の装着、排出機構により、記録装置１００に対して記録媒体１０９を容易に装着、排出することができるように構成するが、記録装置１００に記録媒体１０９が内蔵される構成でもよい。

制御部１０６は、記録媒体１０９に対して動画データや音声データを含む動画ファイルの書き込み、読み出しを行う場合、記録再生部１０８を制御して、記録媒体１０９から、ファイルシステムデータ（管理データ）を再生してメモリ１０３に記憶する。このファイルシステムデータは、記録媒体１０９に記録されたデータのファイル名やファイルのサイズ、データの記録アドレスなどを示すデータであり、ファイルを管理するための情報である。そして、制御部１０６は、読み出したファイルシステムデータに従ってファイルの書き込み、読み出しを制御する。制御部１０６は、記録媒体１０９へのファイルの書き込みに応じて、メモリ１０３に記憶されたファイルシステムデータを更新する。そして、更新したファイルシステムデータを、記録再生部１０８により記録媒体１０９に記録する。

データバス１１０は、記録装置１００の各部の間でデータや各種の制御コマンドなどを送受信するために用いられる。

本実施形態では、記録媒体１０９に対し、ＭＰ４ファイル形式で動画データと音声データを記録する。図２（ａ）は、ＭＰ４ファイルの基本構成を示している。ＭＰ４ファイル２００はボックスと呼ばれる格納単位により構成される。一つのＭＰ４ファイルを構成する最上位のボックスには、ｆｔｙｐボックス２０１、ｍｏｏｖボックス２０２、ｍｄａｔボックス２０３が含まれる。ｆｔｙｐ２０１はファイルの互換性情報、ｍｏｏｖ２０２は動画データ、音声データに関する管理情報が格納される。また、ｍｄａｔ２０３には符号化された動画データ、音声データの実データが格納される。

図２（ｂ）はｍｏｏｖボックス２０２の構成例を示す図である。ｔｒａｋボックスは一つの動画データ、音声データを定義するためのボックスである。図２（ｂ）では、動画データと音声データをそれぞれ定義するための二つのｔｒａｋが格納される。各ｔｒａｋにおいて、ｅｄｔｓにはトラックの再生出力開始タイミングの情報が格納される。ｓｔｓｄには、トラックがビデオ（動画）かオーディオかを判定するための情報が格納される。ｓｔｔｓには、ビデオ、オーディオデータの１サンプルの継続時間（再生時間、duration）の情報が格納される。ｓｔｓｚには、各チャンク（ｃｈｕｎｋ）内のサンプルのサイズを示す情報が格納される。また、ｓｔｃｏには、ファイル先頭からの各チャンクのオフセット（データサイズ）の情報が格納される。ＭＰ４では、ｍｄａｔに格納された動画データと音声データをそれぞれチャンクと呼ばれる単位で管理する。このようなｍｏｏｖのデータにより、ｍｄａｔに格納された各データのファイル内での位置が特定される。

図３は、ｍｏｏｖに格納されたｓｔｓｚとｓｔｃｏが示す情報と、ｍｄａｔに格納されたデータのオフセットとの対応を示している。ｍｏｏｖ３０１のトラック１、トラック２はそれぞれ、ビデオデータのトラックと音声データのトラックである。また、各トラックは三つのチャンクから構成されている。ｓｔｓｚは、ｍｄａｔ３０２に格納されたビデオ、オーディオデータに含まれるサンプルの数とサイズを示し、ｓｔｃｏは、各ビデオチャンク、オーディオチャンクのオフセット３０３を示している。

次に、本実施形態における通常の記録モードにおける記録動作について説明する。記録装置１００は、通常の記録モード(第１の記録モード)において、動画データと静止画データとを記録可能である。なお、後述するように、本実施形態の記録装置は、本記録モードの他に、静止画の記録と供に所定時間の動画データと音声データを記録する同時記録モード、記録されている動画ファイルに動画及び音声データを追記する追記モードを有する(第２の記録モード)。また、これらの記録モードで記録された動画ファイルを再生する再生モードを有し、再生モードでは動画ファイルの結合の指示、同時記録モードで記録された動画ファイルの部分削除の指示が可能である。

制御部１０６は、操作部１０７から通常の記録モードの指示を受けた場合、記録装置１００を記録待機状態へ遷移し、記録開始の指示を待つ。そして、記録待機状態において、撮像部１０１から入力された動画データに係る動画を表示部１０４に表示する。操作部１０７から記録開始の指示が入力されると、制御部１０６は、信号処理部１０５による符号化を開始するように指示する。信号処理部１０５は、撮像部１０１により得られた動画データと、音声取得部１０２により得られた音声データをメモリ１０３より読み出して、符号化を開始する。そして、信号処理部１０５は、符号化されたデータをメモリ１０３に記憶する。

記録再生部１０８は、メモリ１０３から符号化データを読み出して、記録媒体１０９に記録する。このとき、ファイルを開いていない場合は、新規に符号化データを記録するファイルを作成して開き、符号化データを動画ファイルとして記録する。

このように動画の記録を開始した後、操作部１０７から記録停止の指示を受けた場合は、制御部１０６は信号処理部１０５による動画データと音声データの符号化を停止し、記録再生部１０８により記録中のファイルを閉じる。また、制御部１０６は、ファイルシステムデータの内容を変更し、記録媒体に記録するよう、記録再生部１０８に指示する。

本実施形態では、通常の記録モードにおいて、記録開始の指示から記録停止の指示までの間に記録された動画データと音声データは、一つのＭＰ４形式の動画ファイルに格納される。

次に、静止画記録について説明する。前述のように、通常の記録モードが設定されると、制御部１０６は、記録装置１００を記録待機状態に設定する。この状態で、操作部１０７より静止画記録の指示が出力された場合、制御部１０６は、撮像部１０１に対し、静止画記録の指示に応じた１画面の静止画を撮影するように指示する。撮像部１０１は、制御部１０６からの指示に応じて１画面の静止画データを撮影し、メモリ１０３に出力する。信号処理部１０５は、制御部１０６からの指示により、メモリ１０３より静止画データを読み出して符号化し、記録再生部１０８に送る。記録再生部１０８は、信号処理部１０５からの静止画データを記録媒体１０９に記録する。

次に、本実施形態の記録装置１００の動画ファイルの結合動作について説明する。記録装置１００は、記録媒体１０９に記録された複数の動画ファイルから選択された二つの動画ファイルを結合する機能を持つ。結合動作では、ユーザに選択された二つの動画ファイルに格納された動画データと音声データ同士が符号化された状態で結合される。そして、結合された動画データと音声データを格納した動画ファイルが新たに生成され、記録媒体１０９に記録される。

図４は、二つの動画ファイルの動画データと音声データとが結合され、新たに生成された動画ファイルを示す図である。図４において、元の動画ファイル４０１の動画データＶ１、音声データＡ１と、動画ファイル４０２の動画データＶ２、音声データＡ２が結合され、新たに動画ファイル４０３が生成される。動画ファイル４０３において、動画データと音声データの先頭のチャンクのオフセットＯ１−Ｏ４が算出され、ｍｏｏｖに格納される。結合後の動画ファイル４０３の動画データと音声データのオフセット情報を図５（ａ）に示す。

図６は、二つの動画ファイルを結合した際の、動画データと音声データの再生タイミングを示す図である。図６において、６０１、６０３はそれぞれ各動画ファイルの動画データＶ１とＶ２であり、６０２、６０４はそれぞれ各動画ファイルの音声データＡ１とＡ２である。なお、図の水平方向は時間の経過方向になっていて、データの異なる位置間の差は再生時の時間差に対応する。

また、ｖ１−ｖｎ、ｖ１−ｖｎ’はそれぞれ各動画データの符号化単位を示している。本実施形態では、同時記録モードにおいては、動画データの１フレームの動画サンプルを一つの符号化単位として符号化し、各フレームをフレーム内符号化により符号化する。動画データのフレームレート（単位時間あたりのフレーム数、ここでは１秒あたりのフレーム数を示す）を２９．９７フレーム／秒とした場合、符号化単位は３３．３ミリ秒に対応する(第１の期間)。

また、ａ１−ａｍ、ａ１−ａｍ’はそれぞれ音声データの符号化単位を示している。本実施形態では、音声データの１０２４の音声サンプルを一つの符号化単位として符号化する。音声データのサンプリング周波数を４８ｋＨｚとした場合、一つの音声データの符号化単位は２１．３ミリ秒に対応する(第２の期間)。また、音声データの１符号化単位を、以下、ＡＡＵ（Audio Access Unit）と呼ぶ。

また、音声データは動画データの記録時間に合わせて記録されるが、前記の様に、動画データと音声データの符号化単位の長さが異なるので、音声データの記録時間が動画と同じになることはほとんどない。そのため、例えば、音声データの再生時間が動画データの再生時間を超えないように、１回に記録される音声データの符号化単位の数が決められる。

また、本実施形態では、動画データと音声データにおける一つの符号化単位をそれぞれ動画ファイルにおける動画と音声の１チャンクとする。

このように、動画データと音声データの符号化単位に対応した時間長が異なるため、各シーンの終端部において、動画と音声の終了部分に時間差が発生する。更に、この終端部分の時間差は、記録される動画と音声の長さにより異なるため、動画ファイル毎に異なる。例えば、動画データ６０１と音声データ６０２の終端部分の時間差はｇ１であり、動画データ６０３と音声データ６０４の終端部分の時間差はｇ２である。

そのため、このように時間差を持つ二つの動画ファイルの動画データと音声データをＶ１とＡ１に対し、別の動画ファイルの動画Ｖ２と音声Ａ２がそのまま続けて結合された場合、結合後の動画データが６０４となり、音声データが６０５となる。

このように結合されたＭＰ４形式の動画ファイルを再生する際、動画データ６０４と音声データ６０５はそれぞれ先頭から連続して再生される。そのため、Ｖ２の先頭フレームｖ１よりも、Ａ２の先頭の符号化単位ａ１の方がｇ１だけ早く再生されることになる。従って、例えば、人物の口が動くよりも先に声が聞こえてしまう、といった不自然な再生となってしまう。更に、Ｖ２の最後の動画データｖｎ’よりも、Ａ２の最後の音声データａｍ’の方がｇ１＋ｇ２の分だけ、早く再生が終了してしまう。

そこで、本実施形態では、元の動画ファイルを記録する際に、音声の記録開始タイミングを動画のそれよりも先にして記録しておき、動画ファイルを結合した際に、結合位置以降の部分において、動画よりも音声の方が先に再生されてしまうのを防ぐようにした。

図７は、本実施形態に係る記録モードにおける記録装置の動作のフローチャートを示す図である。図７の動作は、制御部１０６が各部を制御することにより実行される。前述の様に、記録装置１００の電源が投入され、記録待機状態となると、図７の処理が開始される。

制御部１０６は、音声取得部１０２からの音声データのメモリ１０３への記憶を開始する（Ｓ７０１）。このとき、制御部１０６は、音声データを符号化せずに、音声取得部１０２から出力された状態でメモリ１０３に記憶する。

このように音声データをメモリ１０３に順次記憶し、所定時間分の音声データが記憶されると、最も古いデータは消去（上書き）される。具体的には、１ＡＡＵに対応した時間期間（サンプル数）より長い時間期間（第３の期間）の音声データをメモリ１０３に記憶しておく。

このように音声データを繰り返しメモリ１０３に記憶しながら、制御部１０６は、操作部１０７より記録開始の指示が出力されるのを待つ（Ｓ７０２）。記録開始の指示が出力された場合、制御部１０６は、メモリ１０３に記憶されている音声データにおける記録先頭位置を決定する。具体的には、制御部１０６は、メモリ１０３に記憶された音声データのうち、記録開始の指示が出力された時点から１０２４サンプル前の位置を先頭位置として決定する。そして、制御部１０６は、動画データの符号化を開始すると共に、メモリ１０３に記憶された音声データの決定された先頭位置から符号化を開始するように、信号処理部１０５に指示する。信号処理部１０５は、撮像部１０１からの動画データの符号化を開始すると共に、決定された符号化開始位置から音声データの符号化を開始する（Ｓ７０４）。そして、記録再生部１０８は、符号化された動画データと音声データとを記録媒体１０９に記録する（Ｓ７０５）。

このように記録を開始した後、記録停止の指示が出力された場合、制御部１０６は、メモリ１０３に対する動画データと音声データの記憶を停止して（Ｓ７０７）、符号化を停止する（Ｓ７０８）。この際、音声の符号化単位は動画とは異なるので、制御部１０６は、音声の再生時間が動画の再生時間を超えない範囲で符号化を停止するように信号処理部１０５に指示する。そして、制御部１０６は、記録再生部１０８に対し記録停止を指示し、記録再生部１０８は、動画データと音声データの記録を停止する（Ｓ７０９）。更に、制御部１０６は、ｍｏｏｖを生成して、記録再生部１０８により記録媒体１０９に記録する（Ｓ７１０）。

この際、制御部１０６は、音声データの先頭チャンクのオフセットの情報として、先頭のＡＡＵ（以下、追加音声と呼ぶ）ではなく、２番目のＡＡＵのオフセットの情報を格納しておく。また、制御部１０６は、追加音声のファイル先頭からのオフセット位置の情報を、付加情報として動画ファイルのｍｏｏｖに格納しておく。

このように、音声トラックの先頭チャンクのオフセット(再生開始位置)として２番目のＡＡＵのオフセット位置を記録しておくことで、動画ファイルを再生した場合に、対応する音声の追加音声が再生されず、符号化単位で動画と音声の再生タイミングが一致する。

図８（ａ）はこのように記録された動画データと音声データを示す図である。図８（ａ）において、８０１と８０２はそれぞれ、１回に記録された動画データＶ１と音声データＡ１を示している。また、記録開始の指示が出力された時間８０３よりも所定時間分前の追加音声８０４が記録される。

動画ファイル８０５において、動画データの先頭チャンクのオフセットＯ１と、音声データの先頭チャンクのオフセットＯ２がｍｏｏｖに格納される。また、追加音声のオフセットＯ２１もｍｏｏｖに格納される。動画ファイル８０５を再生した場合、音声データは先頭チャンクのオフセット位置であるＯ２のデータから再生される。動画ファイル８０５の動画データと音声データの先頭チャンクのオフセット情報を図５（ｂ）に示す。

次に、このように追加音声が記録された異なる動画ファイルの結合動作について説明する。本実施形態の記録装置においては、再生モードにおいて、ユーザが操作部１０７を操作することにより動画ファイルの結合を指示することができる。

図９は結合時の動画データと音声データを示す図である。図９において、９０１−９０４はそれぞれ、図６の６０１−６０４と同様、二つの動画ファイルの動画データと音声データを示している。ただし、音声データ９０２と９０４には、先頭のＡＡＵａ０が追加音声として記録されている。この追加音声ａ０の再生時間をｔａとする。なお、図の水平方向は時間の経過方向になっていて、データの異なる位置間の差は再生時の時間差に対応する。

そして、動画Ｖ１と音声Ａ１に対し、動画Ｖ２と音声Ａ２を結合し、動画９０５と音声９０６が生成される。この際、結合後の音声トラックに、Ａ２の先頭のＡＡＵａ０のオフセット位置を格納することで、Ａ１の最後の音声ａｍに続いてＡ２の追加音声ａ０を再生させるようにする。こうすることで、Ｖ２の先頭の動画ｖ１よりも、ｔａ−ｇ１だけ、それに対応するａ１の方が後に再生されることになり、対応する動画よりも音声の方が先に再生されることを防ぐことができる。

また、この結果、Ａ２の最後の音声ａｍ’がＶ２の最後の動画ｖｎ’よりも後に再生されることになるため、例えば、このａｍ’のオフセットを、結合後の動画ファイルの音声トラックから削除し、付加情報として結合後の動画ファイルのｍｏｏｖに格納しておく。ただし、追加音声の再生を有効にした場合でも、音声の再生終了時間が動画の再生終了時間よりも早い場合は、最後の音声のオフセットを音声トラックから削除しない。

図１０は、本実施形態に係る記録装置１００の結合動作のフローチャートを示す図である。図１０の動作は制御部１０６が各部を制御することにより実行される。

記録媒体１０９に記録された複数の動画ファイルから、ユーザにより二つの動画ファイルが選択され、結合が指示された場合、図１０の処理が開始する。ユーザは二つの動画ファイルのうち、先に再生する方の動画ファイルを指定する。先に再生される動画ファイルを前半シーン、後に再生される動画ファイルを後半シーンとする。

制御部１０６は、後半シーンのｍｏｏｖに格納されたビデオトラックのオフセット情報に基づいて、結合後の動画ファイルにおける、後半シーンの動画データの各チャンクオフセットを算出する（Ｓ１００１）。続いて、制御部１０６は、後半シーンのｍｏｏｖに格納された付加情報に基づいて、結合後の動画ファイルにおける、追加音声データのオフセットを算出する（Ｓ１００２）。また、制御部１０６は、後半シーンのｍｏｏｖに格納された音声トラックのオフセット情報に基づいて、結合後の動画ファイルにおける、後半シーンの動画データの各チャンクオフセットを算出する（Ｓ１００３）。

そして、制御部１０６は、記録再生部１０８に対し、前半シーンと後半シーンを結合するように指示する（Ｓ１００４）。具体的には、記録再生部１０８は、前半シーンの動画データと音声データ及び、後半シーンの動画データと音声データをそれぞれ記録媒体１０９の別の記録領域にコピーする。

次に、制御部１０６は、前述のように算出したビデオトラックと音声トラックのオフセット情報を含む、結合後の動画ファイルのｍｏｏｖを作成する（Ｓ１００５）。このとき、前半シーンのオフセット情報については、結合前の前半シーンのｍｏｏｖに格納されたオフセット情報をそのまま用いる。そして、制御部１０６は、記録再生部１０８により、生成したｍｏｏｖと、結合された動画データ、音声データを含む結合後の動画ファイルを記録媒体１０９に記録する（Ｓ１００６）。

図８（ｂ）は、このように結合された動画ファイルを示している。図８（ｂ）において、８０６は結合後の動画ファイルであり、Ｏ１、Ｏ２はそれぞれ、前半シーンの動画、音声の先頭チャンクのオフセット情報である。また、Ｏ２１は、前半シーンの追加音声のオフセットである。また、Ｏ３。Ｏ４はそれぞれ、結合後の動画ファイルにおける、後半シーンの動画、音声の先頭チャンクのオフセット情報である。また、Ｏ４１は、結合後の動画ファイルにおける、後半シーンの追加音声のオフセットである。

そして、図９にて説明したように、後半シーンの追加音声が再生されるように、この追加音声のオフセットＯ４１が、結合後の動画ファイルの音声トラックに格納される。結合後の動画ファイルのオフセット情報を図５（ｃ）に示す。

このように、本実施形態では、動画と音声を記録する際に、記録開始の指示よりも所定時間だけ前から音声を記録している。そして、通常の再生時においては、この先頭の音声データが再生されないようにオフセットを記録しておき、二つの動画ファイルを結合する際に、結合先の動画ファイルの終端部分の動画と音声の時間差に従って、追加音声を再生させるようにする。

これにより、結合部分以降の動画よりも音声が先に再生されることがなく、不自然な再生となることを防ぐことができる。また、結合部分において、無音のデータを挿入しないので、結合後の動画ファイルの再生中に音声が途切れてしまうことがない。

次に、同時記録モードについて説明する。記録装置１００は、静止画の記録指示があった場合に、静止画と共に、静止画記録の指示の直前のｎ秒（ｎは所定値）分の動画と、このｎ秒分の動画に対応した音声を記録する同時記録モードを持つ。また、同時記録モードで記録された動画データと音声データは、一つの動画ファイルに追記されて記録される。なお、同時記録モードでは、動画データの各フレームがフレーム内予測符号化により符号化されて記録されるものとする。

操作部１０７より同時記録モードの指示が出力された場合、制御部１０６は、記録装置１００を同時記録モードに設定し、記録待機状態とする。同時記録モードの記録待機状態では、制御部１０６は、後述のように、撮像部１０１から出力されたｎ秒分の動画データと、このｎ秒に対応した、音声取得部１０２により得られた音声データをメモリ１０３に繰り返し記憶する。この際、後述のように、ｎ秒分の動画データは、信号処理部１０５により符号化された状態でメモリ１０３に記憶される。また、ｎ秒分の動画に対応した音声データも、信号処理部１０５により符号化された状態でメモリ１０３に格納される。

また、制御部１０６は、同時記録モードが設定された場合、記録再生部１０８を制御して、記録媒体１０９から、同時記録モードで記録された動画ファイルを検出する。同時記録モードで記録された動画ファイルが記録媒体１０９に記録されていた場合、この動画ファイルのファイル名の情報を検出し、メモリ１０３に記憶しておく。

このように、同時記録モードの記録待機状態において、静止画記録の指示が出力された場合、制御部１０６は、メモリ１０３に対する符号化された動画データと音声データのメモリ１０３への記憶を停止する。また、制御部１０６は、静止画記録の指示に応じた１画面の静止画を撮影するように指示し、前述の静止画記録モードのときと同様に、符号化された静止画データが記録再生部１０８により記録媒体１０９に記録される。

制御部１０６は、記録再生部１０８に対し、メモリ１０３に記憶されたｎ秒分の動画データと音声データを記録するように指示する。このとき、制御部１０６は、同時記録モードで記録された動画ファイルが既に記録媒体１０９に記録されていた場合、この動画ファイルに対し、今回の記録による動画データと音声データを追加して記録するように指示する。また、同時記録モードで記録された動画ファイルが記録媒体１０９に記録されてなかった場合、制御部１０６は、新たに動画ファイルを作成して、動画データと音声データを記録するように指示する。なお、新たに動画ファイルを作成する場合、制御部１０６は、この動画ファイルが同時記録モードで記録されたものであることを識別するための付加情報を、動画ファイルに付加して記録する。

図１１は、同時記録モードで記録された動画データと音声データと、各データが格納される動画ファイルを示す図である。図１１において、時間１１０１、１１０２、１１０３でそれぞれ静止画記録の指示が出力され、その直前の動画と音声であるＶ１、Ａ１、Ｖ２、Ａ２、Ｖ３、Ａ３がそれぞれ記録される。また、これらの動画と音声データは、一つの動画ファイル１１０４に対し、追加して記録される。また、各動画データ、音声データの先頭チャンクのオフセットが、図１２に示すように、ｍｏｏｖに格納される。図１２に示すように、ビデオトラックのｓｔｃｏには、各動画データの先頭チャンクのオフセットであるＯ１、Ｏ３、Ｏ５が格納され、音声トラックのｓｔｃｏには、各音声データの先頭チャンクのオフセットであるＯ２、Ｏ４、Ｏ６が格納される。

図１３は、同時記録モードにより記録された三つのシーンの動画データと音声データの様子を示す図である。図１３において、Ｖ１−Ｖ３はそれぞれ、記録開始の指示からｎ秒分である１シーンの動画データであり、Ａ１−Ａ３はそれぞれ１シーンの音声データである。なお、図の水平方向は時間の経過方向になっていて、データの異なる位置間の差は再生時の時間差に対応する。

また、図６と同様に、ｖ１−ｖ１５はそれぞれ動画データの符号化単位を示し、ａ１−ａ２３（ａ２４）はそれぞれ音声データの符号化単位を示している。図１３では、説明を簡単にするため、１回の同時記録により記録される動画データの時間を１５フレームに対応した期間としている。また、音声データは動画データの記録時間に合わせて記録しているが、前記の様に、動画データと音声データの符号化単位の長さが異なるので、音声データの記録時間が動画と同じになることはほとんどない。更に、同時記録モードでは、動画データと音声データはそれぞれ順次符号化されてメモリ１０３に繰り返し記憶されている。そのため、本実施形態では、静止画撮影の指示があった場合に、この静止画撮影指示に応じた動画のフレームを最後のフレームとし、この最後のフレームの直前の所定期間、ここでは１５フレームの動画を記録するものとする。また、音声データの再生時間が、動画データの最後のフレームよりも後にならないように、音声データの最後のＡＡＵが決められる。そして、メモリ１０３に記憶された音声データのうち、記録される所定時間（１５フレーム）の動画の先頭フレームに対応したサンプルを含むＡＡＵが、記録される先頭のＡＡＵとして決められる。この先頭のＡＡＵから最後のＡＡＵまでの、符号化された音声データが、１回に記録される音声データとなる。例えば、図１３では、最後のフレームであるＶ１５の再生時間を超えないように、ａ２３が最後のＡＡＵとなる。そして、Ｖ１に対応したサンプルを含むａ１が、記録される音声データの先頭のＡＡＵとなる。このａ１からａ２３までが記録される。

このように、動画データと音声データの符号化単位に対応した時間長が異なるため、各シーンの終端部において、動画と音声の終了部分に時間差が発生する。例えば、図１３では、Ｖ１とＡ１の終端部の時間差はｇ１である。同時記録モードにおいては、一つの動画ファイルに動画データと音声データが追加して記録される。そのため、このように時間差を持つＶ１とＡ１に対し、次のシーンの動画Ｖ２と音声Ａ２が追記される。

このように記録された図１３のＭＰ４形式の動画ファイルを再生する際、動画データと音声データはそれぞれ先頭から連続して再生される。そのため、Ｖ２の先頭フレームｖ１よりも、Ａ２の先頭の符号化単位ａ１の方がｇ１だけ早く再生されることになる。

そこで、本実施形態では、同時記録モードにおいても、音声データの先頭に追加音声を記録する。そして、同時記録モードにおいて、追記先の動画ファイルにおける先頭から動画データと音声データを再生した場合の、終端部分の動画と音声の時間差に基づいて、この追加音声を再生させるかどうかを制御することにより、不自然な再生になることを防ぐようにした。具体的には、追記先の動画ファイルにおける先頭から動画データと音声データを再生した場合の、終端部分の動画と音声の時間差が、１ＡＡＵの再生時間を超える場合は、追加音声を再生させるようにする。また、そうでない場合は、追加音声を再生させないようにしておく。これにより、音声の再生タイミングが動画よりも大幅に先行されるのを防ぐ。
更に、同時記録モードにより記録された動画データを、ｎ秒単位で一部を削除する編集処理を行った結果、編集後の動画ファイルを再生した際に、この追加音声を再生させるようにすることで、対応する動画よりも音声の方が先に再生されるのを防ぐようにする。

図１４は、本実施形態に係る記録装置の同時記録モードでの動作のフローチャートを示す図である。図１４の動作は、制御部１０６が各部を制御することにより実行される。前述の様に、記録待機状態で同時記録モードが設定されると、図１４の処理が開始される。

制御部１０６は、信号処理部１０５に対し、撮像部１０１からの動画データと音声取得部１０２からの音声データの符号化を開始するように指示する（Ｓ１４０１）。信号処理部１０５は、メモリ１０３から順次動画データを読み出し、符号化した後、再度メモリ１０３に記憶する（Ｓ１４０２）。

このように符号化された動画データと音声データとをメモリ１０３に順次記憶し、ｎ秒分の動画データが記憶されると、最も古いデータは消去（上書き）される。また、音声データについては、ｎ秒よりも所定時間だけ余計にメモリ１０３に記憶する。具体的には、現時点からｎ秒よりも、二つ分のＡＡＵだけ前のデータからメモリ１０３に記憶しておく。

以上のように、符号化された動画データと、音声データとを繰り返しメモリ１０３に記憶しながら、制御部１０６は、操作部１０７より静止画撮影の指示が出力されるのを待つ（Ｓ１４０３）。静止画撮影の指示が出力された場合、制御部１０６は、前述のように、１画面の静止画データを生成し、記録媒体１０９に記録する（Ｓ１４０４）。

そして、制御部１０６は、動画データと音声データの符号化を停止して、新たに符号化された動画データと音声データとがメモリ１０３に記憶されるのを停止する（Ｓ１４０５）。次に、制御部１０６は、メモリ１０３に記憶された動画データのうち、記録される先頭フレームと最終フレームを前述のように決定する。また、制御部１０６は、記録される音声データの先頭のＡＡＵと最終のＡＡＵとを前述のように決定する（Ｓ１４０６）。
御部１０６は、記録再生部１０８に対し、符号化された動画データと音声データとを、記録媒体１０９に既に記録されている同時記録モードの動画ファイルに追記するように指示する。記録再生部１０８は、指定された動画ファイルに対し、メモリ１０３に記憶された動画データと音声データとを追加して記録する（Ｓ１４０７）。
次に、制御部１０６は、同時記録モードで記録された動画ファイルが既に記録媒体１０９に記録されていた場合、この動画ファイルを先頭から再生した場合の、動画データと音声データの終端部における動画と音声の時間差を検出する（Ｓ１４０８）。終端部分(再生終了位置)の時間差は以下のように求められる。

時間差＝ビデオトラックの再生終了時間−音声トラックの再生終了時間
ビデオトラックの再生終了時間＝ビデオ再生開始タイミング（ｅｄｔｓ）＋ビデオサンプルの再生時間（ｓｔｓｃ）×ビデオサンプル数（ｓｔｓｚ）
音声トラックの再生終了時間＝音声再生開始タイミング（ｅｄｔｓ）＋音声サンプルの再生時間（ｓｔｓｃ）×音声サンプル数（ｓｔｓｚ）
このように、ファイルの先頭から再生した場合の、終端部分の動画と音声の時間差が求められる。
更に、本実施形態では、同時記録モードでの１回の記録が終了する毎に、この１回の記録により記録される動画データと音声データの先頭と終端部それぞれにおける動画と音声の時間差を検出し、付加情報としてｍｏｏｖに格納する。以下、１回の記録により記録される動画と音声を１シーンと呼ぶ。本実施形態では、各シーンについて、先頭と終端部分それぞれについての時間差の情報がｍｏｏｖに格納される。この際、追加音声と動画の先頭との時間差ではなく、追加音声の次のＡＡＵと動画の先頭との時間差が、先頭部分の時間差として記録される。
本実施形態では、時間差を示す情報として、所定の周波数のクロックのカウント値を記録する。例えば、ＭＰＥＧ符号化では、決められた周波数のクロックをカウントするカウンタのカウント値に基づき、復号タイミングや、復号された画像、音声の出力タイミングが管理される。そこで、この復号のための所定周波数のクロックのカウント値が時間差の情報として記録される。なお、これ以外にも、動画と音声の時間差を示す情報であれば、他の形式でもよい。

なお、同時記録モードで記録された動画ファイルが記録媒体１０９に記録されていない場合、制御部１０６は、時間差が無いものとして処理を行う。

次に、制御部１０６は、記録再生部１０８に対し、この追記された動画ファイルの管理情報ｍｏｏｖの内容を更新するように指示する（Ｓ１４０９）。この際、制御部１０６は、追記先の動画ファイルの終端部分の動画と音声の時間差が、１ＡＡＵの再生時間よりも長い場合か否かを判別する。そして、終端部分の時間差が、１ＡＡＵの再生時間以下の場合、制御部１０６は、追加して記録する音声データの先頭ＡＡＵのオフセット情報を音声トラックには格納せず、２番目のＡＡＵのオフセット情報を音声トラックに格納する。そして、制御部１０６は、この先頭のＡＡＵ（追加音声）のオフセット情報を、付加情報としてｍｏｏｖに格納する。
一方、終端部分の時間差が、１ＡＡＵの再生時間よりも大きい場合、制御部１０６は、追加して記録する音声データの先頭ＡＡＵのオフセット情報を音声トラックに格納する。このように、新たに記録された動画データと音声データの情報がｍｏｏｖに追加される。更に、制御部１０６は、今回記録したシーンについて、先頭部分と終端部分の動画と音声の時間差の情報を付加情報としてｍｏｏｖに格納する。

この後、引き続き同時記録モードが設定されている場合、制御部１０６は、Ｓ７１０でｍｏｏｖの更新が終了すると、再度Ｓ７０１に戻り、動画データと音声データのメモリ１０３への記憶を開始する。

図１５は、同時記録モードにおいて記録される動画データと音声データを示す図である。図１５において、ｖ１−ｖ１５は符号化された動画データの符号化単位を示し、ａ０−ａ２３は音声データの符号化単位を示している。前述のように、本実施形態では、同時記録モードでは、動画データの各フレームがフレーム内予測符号化により符号化される。そのため、ｖ１−ｖ１５の各符号化単位は１フレームに対応する。なお、図の水平方向は時間の経過方向になっていて、データの異なる位置間の差は再生時の時間差に対応する。

図１５のように、時間１５０１において静止画記録の指示があった場合、動画データの最終位置（フレーム）ｖ１５と、先頭位置（フレーム）ｖ１５が決定される。そして、最終位置よりも再生時間が後にならないように、音声データの最終位置ａ２３が決定される。また、動画データの先頭位置１５０２に対応したサンプルを含むＡＡＵであるａ１よりも一つ前のａ０が音声データの先頭の符号化単位として決定される。

先頭のＡＡＵａ０は付加音声として記録される。そして、追記先の動画ファイルを先頭から再生した場合の、終端部分の動画と音声の時間差が、１ＡＡＵの再生時間以下の場合、音声トラックには、追加した音声データの先頭のチャンクオフセットとして、ａ１のオフセット情報が格納され、ａ０のオフセット情報は、付加情報としてｍｏｏｖに格納される。

一方、終端部分の動画と音声の時間差が、１ＡＡＵの再生時間を超える場合、先頭の追加音声であるａ０のオフセットがｍｏｏｖに格納される。

図１６は、同時記録モードで記録された動画データと音声データと、各データが格納される動画ファイルを示す図であり、前記のように追加音声を記録した場合の動画ファイルを示している。なお、図の水平方向は時間の経過方向になっていて、データの異なる位置間の差は再生時の時間差に対応する。

図１６において、時間１６０１、１６０２、１６０３でそれぞれ静止画記録の指示が出力され、その直前の動画と音声であるＶ１、Ａ１、Ｖ２、Ａ２、Ｖ３、Ａ３がそれぞれ記録される。更に、各シーンの音声データに対し、１ＡＡＵ分の追加音声１６０４、１６０５、１６０６が記録される。これらの動画と音声データは、一つの動画ファイル１６０７に対し、追加して記録される。それぞれのシーンを追加した際に、追記先の動画ファイルにおける、終端部分の時間差が１ＡＡＵを超えていない場合は、動画ファイル１６０７における各動画データ、音声データの先頭チャンクのオフセットが、図１２に示すように、ｍｏｏｖに格納される。図１２に示すように、ビデオトラックのｓｔｃｏには、各動画データの先頭チャンクのオフセットであるＯ１、Ｏ３、Ｏ５が格納され、音声トラックのｓｔｃｏには、各音声データの先頭チャンクのオフセットであるＯ２、Ｏ４、Ｏ６が格納される。また、追加音声のオフセット情報Ｏ２１、Ｏ４１、Ｏ６１が付加情報としてｍｏｏｖに格納される。

そのため、同時記録モードにより記録された動画ファイル１６０７を再生した場合、追加音声１６０４、１６０５、１６０６は再生されない。

次に、同時記録モードで記録された動画ファイルの部分削除の処理について説明する。記録装置１００は、同時記録モードで記録された動画ファイルの一部を、ｎ秒を単位として削除し、削除後の残りのデータを一つのファイルとして記録する、部分削除の機能を持つ。部分削除においては、削除された部分の前後の動画データと音声データが、符号化された状態で結合される。そして、削除部分の前後の動画データと音声データの再生時間の差に基づいて、各シーンの追加音声を有効に再生させるかどうかを制御することで、削除部分以降の動画と音声が不自然な再生とならないように再生タイミングを調整する。

例えば、動画ファイル１６０７において、ｎ秒分の動画Ｖ２と対応した音声Ａ２を削除した場合、その前後の動画Ｖ１とＶ３を結合し、音声Ａ１とＡ３を結合する。

図１７は、部分削除の処理における削除部分の前後の動画、音声データと、その接続パターンを示す図である。図１７（ａ）において、動画１と音声１は、削除部分の直前の動画、音声データであり、動画２と音声２は、削除部分の直後の動画、音声データである。また、ｘ１は動画１と音声１の先頭部分の時間差、ｙ１は動画１と音声１の後端部分の時間差、ｘ２は動画２と音声２の先頭部分の時間差、ｙ２は動画２と音声２の後端部分の時間差をそれぞれ示している。

そして、部分削除の後、削除部分前後の動画と音声を接続する際、これらの時間差に基づいて、結合後の動画ファイルにおける音声データの再生タイミングを制御する。

まず、ｙ１＝ｘ２の場合、図１７（ｂ）に示すように、前後の動画と音声はそのまま接続する。この場合、接続部分以降の動画と音声のチャンクオフセットについては、削除前のオフセットから、削除部分のサイズを削除することにより求められる。また、図１７（ｂ）において、再生位置１７０１と１７０２は、動画２と音声２において、互いに対応する動画と音声の再生位置を示している。ｙ１＝ｘ２の場合、接続後において、再生位置１７０１と１７０２の再生タイミングは同じタイミングとなる。

次に、「ｙ１＞ｘ２で、且つ、（ｙ１−ｘ２）＋ｙ２≧１ＡＡＵ分の時間」である場合、図１７（ｃ）に示すように、音声２の追加音声である符号化単位ａ０の再生を有効に設定する。即ち、この場合、ｙ１の方がｘ２よりも大きいので、動画１、２と音声１、２をそのまま接続すると、音声２の再生タイミングが動画２よりも早くなってしまう。そのため、音声２の追加音声である、先頭のＡＡＵａ０の再生を有効にする。具体的には、このａ０のオフセットを算出して音声トラックに格納する。これにより、音声２の再生タイミングがａ０の分だけ遅れるので、不自然な再生となることがない。

また、追加音声の時間だけ音声２の再生タイミングが遅れるが、「（ｙ１−ｘ２）＋ｙ２≧１ＡＡＵ分の時間」である場合、音声２の再生終了時間よりも動画２の再生終了時間の方が遅いので、音声２の最後の符号化単位まで再生させる。

次に、「ｙ１＞ｘ２で、且つ、（ｙ１−ｘ２）＋ｙ２＜１ＡＡＵ分の時間」である場合、図１７（ｄ）に示すように、音声２の追加音声である符号化単位ａ０の再生を有効に設定する。この場合も、ｙ１の方がｘ２よりも大きいので、音声２の追加音声である、先頭の符号化単位ａ０の再生を有効にする。

また、「（ｙ１−ｘ２）＋ｙ２＜１ＡＡＵ分の時間」である場合、追加音声の時間だけ音声２の再生タイミングが遅れることにより、動画２の再生終了時間よりも音声２の再生終了時間の方が遅くなってしまう。そのため、音声２の最後の符号化単位ａｍを再生させないように、このａｍのオフセットをｍｏｏｖから削除する。そして、この最後の符号化単位ａｍのオフセットと、ａｍの再生を禁止した場合の、動画２と音声２の終端部分における時間差の情報を、付加情報としてｍｏｏｖに格納する。

次に、「ｙ１＜ｘ２で、且つ、（ｘ２−ｙ１）−ｙ２＞０」の場合、図１７（ｅ）に示すように、音声２の追加音声であるａ０の再生を有効に設定せず、動画１、２と音声１、２をそのまま接続する。即ち、この場合、ｘ２の方がｙ１よりも大きいので、動画１、２と音声１、２を接続した結果、動画２よりも音声２の再生タイミングが遅くなる。従って、追加音声を再生させる必要がない。

また、「（ｘ２−ｙ１）−ｙ２＞０」である場合、動画２の再生終了時間よりも音声２の再生終了時間の方が遅くなってしまう。そのため、音声２の最後の符号化単位ａｍを再生させないように、この符号化単位ａｍのオフセットをｍｏｏｖから削除する。そして、ａｍのオフセットと、ａｍの再生を禁止した場合の、動画２と音声２の終端部分における時間差の情報を、付加情報としてｍｏｏｖに格納する。

次に、「ｙ１＜ｘ２で、且つ、（ｘ２−ｙ１）−ｙ２≦０」の場合、図１７（ｆ）に示すように、音声２の追加音声である符号化単位ａ０の再生を有効に設定せず、動画１、２と音声１、２をそのまま接続する。

また、「（ｘ２−ｙ１）−ｙ２≦０の」場合、動画２の再生タイミングよりも音声２の再生タイミングが遅れるが、音声２の再生終了時間よりも動画２の再生終了時間の方が遅いので、音声２の最後の符号化単位まで再生させる。
制御部１０６は、以上のように部分削除の処理を実行した後、削除部分以降の各シーンについて、動画ファイルを先頭から再生した場合の、動画データと音声データの各シーンにおける終端部分の時間差を前述の様に算出する。
そして、終端部分の時間差が１ＡＡＵの再生時間を超える場合、制御部１０６は、その次のシーンの先頭のＡＡＵである追加音声を再生させるように、先頭のＡＡＵのオフセットをｍｏｏｖに追加する。

図１８は、本実施形態に係る同時記録モードで記録された動画ファイルにおける部分削除動作のフローチャートを示す図である。図１８の動作は、制御部１０６が各部を制御することにより行なわれる。

ユーザは再生モードにおいて、操作部１０７を操作することにより、同時記録モードで記録された動画ファイルの部分削除を指示する。制御部１０６は、部分削除が指示されると、各部を制御して、指定された動画ファイルにおける先頭からｎ秒ごとの画面の縮小画像を表示部１０４に表示する。具体的には、制御部１０６は、指定された動画ファイルのｍｏｏｖに格納されたオフセット情報から、ｎ秒毎の動画データの位置を検出する。そして、制御部１０６は、検出したｎ秒毎の動画データを再生し、縮小画像を生成するように記録再生部１０８と信号処理部１０５に指示する。

記録再生部１０８は、指定された位置の動画データを読み出してメモリ１０３に記憶する。信号処理部１０５は、読み出された動画データを復号し、復号された動画データの各画面を縮小し、表示部１０４に表示する。

ユーザは表示部１０４に表示されたｎ秒毎の縮小画像から、削除したい部分に対応した縮小画像を選択し、削除を指示する。なお、このとき、削除部分として、ｎ秒単位の動画データを一つ以上選択できるようにしてもよい。このように削除部分が指定されると、図１８の処理が開始される。

制御部１０６は、元の動画ファイルから、図１７（ａ）に示すような、削除部分お前後の動画と音声の時間差を検出する（Ｓ１８０１）。前述のように、同時記録モードで動画ファイルを記録する際に、ｎ秒毎のシーンそれぞれについて、先頭部分と終端部分の動画と音声の時間差の情報が付加情報としてｍｏｏｖに格納されている。制御部１０６は、この時間差の情報に基づいて時間差を検出する。次に、制御部１０６は、元の動画ファイルのｍｏｏｖに格納されたオフセット情報に基づき、削除部分以降の動画と音声のオフセットを算出する（Ｓ１８０２）。

次に、制御部１０６は、図１７に示したように、削除部分の前後の動画と音声の時間差が、ｙ１＝ｘ２となっているか否かを判別する（Ｓ１８０３）。ｙ１＝ｘ２であった場合、制御部１０６は、削除部分以降の各シーンの終端部分の動画と音声の時間差を算出する（Ｓ１８０４）。終端部分の時間差が１ＡＡＵの再生時間を超える場合、制御部１０６は、その次のシーンの先頭のＡＡＵである追加音声を再生させるように、先頭のＡＡＵのオフセットをｍｏｏｖに追加する（Ｓ１８０５）。次に、制御部１０６は、このように算出、及び変更したオフセット情報を、部分削除後の動画ファイルのｍｏｏｖに格納する（Ｓ１８０６）。これにより、削除部分の前後の動画と音声が接続される。

また、Ｓ１８０３で、ｙ１＝ｘ２でなかった場合、制御部１０６は、ｙ１＞ｘ２となっているか否かを判別する（Ｓ１８０７）。ｙ１＞ｘ２であった場合、制御部１０６は、削除部分の直後の音声データの先頭符号化単位である追加音声のオフセットを算出する（Ｓ１８０８）。そして、制御部１０６は、この追加音声のオフセットをｍｏｏｖに格納する（Ｓ１８０９）。

更に、制御部１０６は、（ｙ１−ｘ２）＋ｙ２≧１ＡＡＵ時間となっているか否かを判別し、（ｙ１−ｘ２）＋ｙ２≧１ＡＡＵ時間の場合、Ｓ１８０４に進む（Ｓ１８１０）。また、（ｙ１−ｘ２）＋ｙ２≧１ＡＡＵ時間でない場合、即ち、（ｙ１−ｘ２）＋ｙ２＜１ＡＡＵである場合、削除部分の直後のｎ秒分の音声データの最後の符号化単位のオフセットを、Ｓ１８０２で算出したオフセットから削除する（Ｓ１８１１）。また、制御部１０６は、この最後の符号化単位のオフセット情報を、付加情報としてｍｏｏｖに格納し（Ｓ１８１２）、Ｓ１８０４に進む。

また、Ｓ１８０７で、ｙ１＞ｘ２でない場合、ｙ１＜ｘ２であるので、制御部１０６は、（ｘ２−ｙ１）−ｙ２＞０であるか否かを判別する（Ｓ１８１３）。（ｘ２−ｙ１）−ｙ２＞０の場合、削除部分の直後のｎ秒分の音声データの最後の符号化単位のオフセットを、Ｓ１８０２で算出したオフセットから削除する（Ｓ１８１１）。また、制御部１０６は、この最後の符号化単位のオフセット情報を、付加情報としてｍｏｏｖに格納し（Ｓ１８１２）、Ｓ１８０４に進む。

また、（ｘ２−ｙ１）−ｙ２＞０でない場合、即ち、（ｘ２−ｙ１）−ｙ２≦０の場合、制御部１０６は、Ｓ１８０４に進む。

なお、制御部１０６は、部分削除の処理の後に記録される残りの動画と音声について、それぞれｎ秒毎の先頭部分と終端部分の時間差、並びに、追加音声のオフセットの情報はそのままｍｏｏｖに格納しておく。

このように、同時記録モードで記録された動画ファイルからｎ秒を単位として動画データと対応する音声データを削除した場合に、削除部分以降の動画と音声が不自然な再生となることを防ぐことができる。

次に、本実施形態に係るか記録装置の再生時の動作を説明する。操作部１０７より再生モードの指示が出力された場合、制御部１０６は、記録再生部１０８に対し、記録媒体１０９に記録された各動画ファイルのサムネイル画像を読みだしてメモリ１０３に記憶するように指示する。なお、本実施形態では、制御部１０６が、動画ファイルを新たに作成して記録する際に、動画データの先頭のフレームを縮小した画像データを生成し、サムネイル画像データとして動画ファイルに格納して記録する。

信号処理部１０５はメモリ１０３に記憶された各サムネイル画像データを用いて、各動画ファイルのインデックス画面を生成し、表示部１０４に表示する。ユーザは、操作部１０７を操作し、表示されたインデックス画面から何れかを選択し、再生を指示する。

制御部１０６は、再生指示が出力された場合、選択された動画ファイルを再生するように、記録再生部１０８に指示する。記録再生部１０８は、指定された動画ファイルを再生し、メモリ１０３に記憶する。信号処理部１０５は、メモリ１０３より符号化された動画データと音声データを読み出し、これらを復号して再度メモリ１０３に記憶する。復号された動画データは表示部１０４に送られ、表示される。また、復号された音声データは不図示の出力部などから出力される。

このように、本実施形態では、同時記録モードにおいて、一つの動画ファイル対して動画と音声を追加して記録する場合に、動画の先頭に対応した音声データの先頭位置よりも所定時間だけ前から音声を記録している。そして、シーンの終端部分における動画と音声の時間差が所定時間以下の場合、この先頭の音声データが再生されないようにオフセットを記録し、部分削除の後、動画と音声を接続する際に、接続部分の前後の動画と音声の時間差に基づいて、追加音声を再生させるようにする。また、終端部分の動画と音声の時間差が所定時間を超える場合、先頭の音声データを再生させるように記録する。

これにより、同時記録モードにより追加されて記録されるシーンにおいて、動画よりも音声が大幅に先行して再生されることがない。また、部分削除を行った場合、削除部分の前後のシーンの結合部分以降の動画よりも音声が先に再生されることがなく、不自然な再生となることを防ぐことができる。また、結合部分において、無音のデータを挿入しないので、部分削除後の動画ファイルの再生中に音声が途切れてしまうことがない。

なお、本実施形態では、音声データの再生時間が動画データの再生時間を超えない様に記録していたが、動画データの終端に対応した音声データの符号化単位までを記録する構成としてもよい。

また、本実施形態では、同時記録モードでは、動画データの各フレームをフレーム内予測符号化により符号化したが、通常の記録モードと同じく、フレーム内符号化と、フレーム間符号化とを用いて動画データを符号化してもよい。

この場合、動画データは、ＧＯＰと呼ばれる単位で復号が可能となるため、動画データの記録先頭、及び終了位置を、ＧＯＰの単位で決定する。従って、Ｓ１４０５で動画と音声の符号化を停止した後、動画の記録先頭位置を以下の様に決める。即ち、制御部１０６は、静止画記録の指示の時点からｎ秒前のフレームを含むＧＯＰを検出する。そして、このＧＯＰの先頭のフレームを動画データの記録開始位置として設定する。また、静止画記録の指示に対応したフレームを含むＧＯＰを動画データの記録終了位置として設定ｓ得る。

また、このように動画データの記録開始位置が決定された場合、制御部１０６は、この動画データの記録開始位置に対応した、音声データのサンプル位置を検出し、このサンプルを含む音声符号化単位（ＡＡＵ）よりも一つ前のＡＡＵを音声の記録開始位置として決定する。

また、本実施形態では、同時記録モードでは、静止画撮影指示のｎ秒前の動画と音声を記録するが、静止画を記録せずに、ユーザによる記録指示の直前のｎ秒分の動画と音声を一つのファイルに追加して記録するようにしてもよい。また、これ以外にも、既に記録媒体１０９に記録されている動画ファイルに新たに動画と音声を追記する場合、同じように処理を行うことが可能である。

以下、このような追記モードについて説明する。追記モードでは、ユーザによる記録開始の指示からｎ秒分の動画と音声を記録した後、記録が停止される。そして、追記モードで記録媒体１０９に記録されている一つの動画ファイルに対し、このｎ秒分の動画と音声が追加して記録される。

図１９は本実施形態に係る追記モードでの動作のフローチャートを示す図である。図１９の動作は、制御部１０６が各部を制御することにより実行される。前述の様に、記録待機状態で追記モードが設定されると、図１９の処理が開始される。

制御部１０６は、まず、記録媒体１０９から、追記モードで記録された動画ファイルを検出し、この動画ファイルを先頭から再生した場合の、動画データと音声データの終端部における動画と音声の時間差を検出する（Ｓ１９０１）。ここで、時間差は、Ｓ１４０６の処理と同様の方法により検出される。

次に、制御部１０６は、音声取得部１０２からの音声データのメモリ１０３への記憶を開始する（Ｓ１９０２）。ここでは、少なくとも二つの音声データの符号化単位に対応したサンプル数の音声データを記憶しておけばよく、この２符号化単位分の音声データが繰り返しメモリ１０３に記憶される。

この状態で、制御部１０６は、記録開始の指示が出力されたか否かを判別する（Ｓ１９０３）。記録開始の指示が出力された場合、制御部１０６は、Ｓ１９０１で検出した時間差に基づき、記録開始の指示に対応した音声サンプルよりも、Ｓ１９０１で検出した時間差だけ前のサンプルを記録開始位置として決定する（Ｓ１９０４）。次に、このように音声データの記録先頭位置が決定されると、制御部１０６は、動画と音声のシーン境界におけるオフセットを算出して、メモリ１０３に記憶する（Ｓ１９０５）。具体的には、制御部１０６は、Ｓ１９０１で算出された時間差が、１ＡＡＵの再生時間以下であるか否かを判別する。そして、時間差が１ＡＡＵの再生時間以下の場合、制御部１０６は、記録先頭位置のＡＡＵの次のＡＡＵのオフセットをｍｏｏｖに格納することで、先頭のＡＡＵを再生させないようにする。そして、先頭のＡＡＵのオフセット情報は、付加情報としてｍｏｏｖに格納される。一方、時間差が１ＡＡＵの再生時間を超える場合、制御部１０６は、記録先頭位置のＡＡＵをｍｏｏｖに格納することで、先頭のＡＡＵを再生させるようにする。

そして、制御部１０６は、撮像部１０１から出力された動画データのメモリ１０３への記憶を開始すると共に、信号処理部１０５に対し、動画データと音声データの符号化を開始するように指示する（Ｓ１９０６）。このとき、制御部１０６は、動画データについては、記録開始の指示に対応したフレームから符号化を開始するように指示し、音声データについては、Ｓ１９０４で決定した先頭位置から符号化する様に指示する。次に、制御部１０６は、記録再生部１０８に対し、符号化された動画データと音声データとを、指定された動画ファイルに追加して記録する様に指示する。記録再生部１０８は、メモリ１０３から符号化された動画データと音声データとを読み出し、追記先の動画ファイルに追加して記録する（Ｓ１９０７）。

このように記録を開始した後、制御部１０６は、記録開始からｎ秒が経過したか否かを判別する（Ｓ１９０８）。記録開始の指示からｎ秒か経過した場合、制御部１０９は、動画データと音声データの符号化、及び記録を停止する（Ｓ１９０９）。このとき、動画データの再生停止位置よりも音声の再生停止位置が前になるように、動画データと音声データの記録停止位置が決定される。

次に、制御部１０６は、記録再生部１０８に対し、この追記された動画ファイルの管理情報ｍｏｏｖの内容を更新するように指示する（Ｓ１９１０）。これにより、新たに記録された動画データと音声データの情報がｍｏｏｖに追加される。また、Ｓ１９０５でメモリ１０３に記憶された、シーン境界の動画と音声のオフセット情報がｍｏｏｖに格納される。また、先頭のＡＡＵを再生させない場合には、この先頭のＡＡＵのオフセット情報が付加情報としてｍｏｏｖに格納される。また、各シーンの先頭、終端部分の動画と音声の時間差の情報は、ｍｏｏｖに格納される。

なお、上述した追記モードで記録した動画ファイルの一部を削除することができる。この場合、ｍｏｏｖに格納されたシーン境界のオフセット情報に基づいて、シーン境界部分の縮小画像を表示部１０４に表示し、ユーザにより選択された縮小画像に対応するシーンの先頭から終端までが動画ファイルから削除される。削除後、削除部分の前後の動画と音声を、図１７、図１８に示す動作に従って接続する。

上述した本発明の動画ファイルの記録構成によれば、たとえ記録後に動画ファイルの結合や一部削除を行なったとしても、その動画ファイルの再生において動画と音声の再生タイミングのずれによる不自然な再生となることを防ぐことが可能となる。
なお、追記モードにおいて、ユーザが記録開始と停止を指示する構成とし、ユーザによる記録開始から記録停止の指示までの動画と音声を記録するようにしてもよい。また、追記モードにおいて、記録媒体１０９に記録済みの動画ファイルの中から、ユーザが選択した動画ファイルに対して動画と音声を追記する構成としてもよい。また、追記モードが設定される直前に記録された動画ファイルを選択する等、その他の構成とすることも可能である。

（その他の実施形態）
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

Claims (12)

1. 動画データを取得する動画取得手段と、
   音声データを取得する音声取得手段と、
   第１の期間に対応した動画サンプルを符号化単位として前記取得された動画データを符号化し、第２の期間に対応した音声サンプルを符号化単位として前記取得された音声データを符号化する符号化手段と、
   前記符号化手段により符号化された動画データと音声データとを動画ファイルに格納して記録媒体に記録する記録手段と、
   前記取得された動画データの記録開始位置に基づいて、前記取得された音声データの記録開始位置を決定する制御手段とを備え、
   前記制御手段は、前記取得された動画データの記録開始位置よりも、少なくとも前記第２の期間に対応した音声サンプルだけ前の位置を前記取得された音声データの記録開始位置として決定し、前記記録された音声データの再生開始位置を、前記記録された音声データの先頭から前記音声データの符号化単位だけ後の位置と決定することを特徴とする記録装置。
2. 前記記録手段は、記録指示に応じて新たな動画ファイルを生成して記録し、前記制御手段は、前記取得された音声データの記録開始位置を、前記取得された動画データの記録開始位置よりも前記第２の期間に対応した音声サンプルだけ前の位置と決定することを特徴とする請求項１に記載の記録装置。
3. 前記記録手段は、前記記録媒体に既に記録されている所定の動画ファイルに対し、記録指示に応じて前記記録媒体に記録された動画データと音声データとを追加し、前記制御手段は、前記所定の動画ファイルにおける動画データの再生終了位置と音声データの再生終了位置との時間差だけ前の位置を、前記取得した音声データの記録開始位置と決定することを特徴とする請求項１に記載の記録装置。
4. 前記制御手段は、前記時間差が前記第２の期間よりも大きいか否かを判別し、前記時間差が前記第２の期間より小さい場合、前記記録された音声データの再生開始位置を、前記記録された音声データの先頭から前記音声データの符号化単位だけ後の位置とし、前記時間差が前記第２の期間よりも大きい場合、前記記録された音声データの先頭を再生開始位置とすることを特徴とする請求項３に記載の記録装置。
5. 前記符号化手段により符号化された動画データと音声データとを記憶するメモリを備え、
   前記符号化手段は、記録待機状態において、前記動画取得手段により取得された動画データと前記音声取得手段により取得された音声データとを順次符号化しながら、少なくとも所定期間の前記符号化した動画データと前記符号化した音声データとを前記メモリに記憶し、
   前記記録手段は、前記記録待機状態における記録指示に応じて、前記メモリに記憶された、前記所定期間の符号化された動画データと、前記所定期間の符号化された動画データに対応した期間の符号化された音声データとを、前記記録媒体に記録し、前記記録指示に応じて記録した動画データと音声データとを、前記記録媒体に既に記録されている所定の動画ファイルに対して追加し、
   前記制御手段は、前記記録指示に応じた前記動画サンプルから前記所定期間だけ前の動画サンプルに対応した音声サンプルを含む前記音声データの符号化単位の一つ前の符号化単位の先頭の音声サンプルを、前記音声データの記録開始位置とすることを特徴とする請求項１に記載の記録装置。
6. 前記制御手段は、前記所定の動画ファイルの動画データの再生終了位置と音声データの再生終了位置との時間差が、前記第２の期間よりも大きいか否かを判別し、前記時間差が前記第２の期間以下である場合、前記記録指示に応じて記録された音声データの再生開始位置を、前記記録指示に応じて記録された音声データの先頭から前記音声データの符号化単位だけ後の位置とし、前記時間差が前記第２の期間よりも大きい場合、前記記録指示に応じて記録された音声データの先頭を再生開始位置とすることを特徴とする請求項５に記載の記録装置。
7. 前記制御手段は、前記取得された動画データの記録開始位置を前記記録指示に応じて決定し、前記記録指示があるまで前記符号化手段を制御して、前記符号化された音声データの少なくとも前記第２の期間より長い第３の期間に対応した音声サンプルを前記メモリに繰り返し記憶することを特徴とする請求項５に記載の記録装置。
8. 前記制御手段は、前記符号化された音声データの再生開始位置を示す管理情報を生成して前記記録手段が記録する前記動画ファイルに格納するとともに、前記取得された動画データの記録開始位置を前記符号化された動画データの再生開始位置とする管理情報を生成して前記動画ファイルに格納することを特徴とする請求項１に記載の記録装置。
9. 前記制御手段は、前記記録媒体に記録されている一つの動画ファイルに格納された符号化された動画データおよび音声データに、前記記録媒体に記録されている他の動画ファイルに格納された符号化された動画データおよび音声データを結合したときは、前記他の動画ファイルの符号化された音声データの再生開始位置を、前記一つの動画ファイルの符号化された動画データの再生終了位置と前記一つの動画ファイルの符号化された音声データに結合された前記他の動画ファイルの音声データの再生開始位置との時間差に従って変更することを特徴とする請求項８に記載の記録装置。
10. 前記制御手段は、結合された複数の符号化された動画データと音声データから一つの符号化された動画データと音声データを削除して、前記削除した符号化された動画データと音声データの直前と直後の符号化された動画データと音声データをそれぞれ結合する時は、前記削除した符号化された動画データおよび音声データの直前の符号化された動画データと音声データの再生終了位置の時間差と前記削除した符号化された動画データおよび音声データの直後の符号化された動画データと音声データの再生終了位置の時間差とに従って、前記直前の符号化された音声データに結合された前記直後の符号化された音声データの再生開始位置を変更することを特徴とする請求項８又は９に記載の記録装置。
11. 前記動画取得手段は、撮像手段を含むことを特徴とする請求項１から１０のいずれか一項に記載の記録装置。
12. 動画データを取得するステップと、
    音声データを取得するステップと、
    第１の期間に対応した動画サンプルを符号化単位として前記取得された動画データを符号化し、第２の期間に対応した音声サンプルを符号化単位として前記取得された音声データを符号化するステップと、
    前記符号化された動画データと音声データとを動画ファイルに格納して記録媒体に記録するステップと、
    前記取得された動画データの記録開始位置に基づいて、前記取得された音声データの記録開始位置を決定するステップとを備え、
    前記決定するステップは、前記取得された動画データの記録開始位置よりも、少なくとも前記第２の期間に対応した音声サンプルだけ前の位置を前記取得された音声データの記録開始位置として決定し、前記記録された音声データの再生開始位置を、前記記録された音声データの先頭から前記音声データの符号化単位だけ後の位置と決定することを特徴とする記録方法。

Images