JP6112852B2 - 記録装置、記録方法およびプログラム - Google Patents

Description

本発明は記録装置に関し、特に、動画や音声を符号化して記録する装置に関する。

従来、動画像信号や音声信号を記録媒体に記録する記録装置が知られている。この種の記録装置においては、記録した動画や音声を所定のファイルシステムに従ってファイルとして管理する。動画や音声を記録するためのファイル形式として、ＭＰ４ファイルフォーマットが知られている（例えば、特許文献１参照）。

ところで、ＭＰ４ファイルフォーマットでは、複数のファイルどうしを連続して再生させるための仕組みは用意されていない。しかし、一方で、複数のシーンを連続して再生させたいというニーズが存在する。このニーズに応えるため、一つのＭＰ４ファイルに対し、複数のシーンの動画と音声を追記していくことにより、複数のシーンの連続再生を可能にすることが考えられる。

特開２００８−２８３２３２号公報

ＭＰ４ファイル形式で記録される動画と音声を符号化するための符号化の単位時間が互いに異なる。そのため、１シーンの終端部分において、動画と音声のサンプルのタイミングが一致することは希で、ほとんどの場合、動画と音声の終端のサンプル位置が異なる。

前記のように一つのＭＰ４ファイルに対して動画と音声を追記する場合、追記先の動画と音声の終端のサンプル位置がずれている場合、サンプル位置がずれた状態で追記されてしまう。

ＭＰ４形式では、データの途中に再生しない時間を設定する仕組みがなく、全てのデータはファイルの先頭から連続して再生される。そのため、シーン境界で動画と音声のサンプル位置がずれていた場合、動画と音声の再生タイミングがずれてしまうという問題があった。

本発明は前述の問題点に鑑み、符号化された動画データと音声データのファイルに新たに動画データと音声データを追加する場合に、追加の境界部分における動画と音声の再生タイミングのずれがなくなる記録構成の提供を目的とする。

本発明の一態様によれば、メモリと、動画データを取得する動画取得手段と、音声データを取得して前記メモリに記憶する音声取得手段と、第１の時間長に対応したサンプルを符号化単位として前記取得された動画データを符号化して前記メモリに記憶し、第２の時間長に対応したサンプルを符号化単位として前記取得されて前記メモリに記憶された音声データを符号化する符号化手段と、前記メモリに記憶された前記符号化された動画データと前記符号化された音声データとを記録媒体に記録し、記録された動画データと音声データとを前記記録媒体に既に記録されている所定の動画ファイルに追加する記録手段と、前記記録媒体に記録された前記所定の動画ファイルに格納されている符号化された動画データと符号化された音声データとの間の終端部の時間差を検出する検出手段と、記録待機状態において、所定の時間長の符号化された動画データと、前記所定の時間長と前記第２の時間長との和に等しい時間長の前記取得された音声データとを、前記メモリに繰り返し記憶するように前記メモリを制御し、前記検出された時間差に基づいて、前記取得された音声データの符号化の開始位置を決定し、前記決定された符号化の開始位置から前記取得された音声データを符号化するように前記符号化手段を制御する制御手段と、を備えることを特徴とする記録装置が提供される。
本発明の他の態様によれば、動画データを取得する動画取得手段と、音声データを取得する音声取得手段と、前記取得された音声データを記憶するメモリと、第１の時間長に対応したサンプルを符号化単位として前記取得された動画データを符号化し、第２の時間長に対応したサンプルを符号化単位として前記取得されて前記メモリに記憶された音声データを符号化する符号化手段と、前記符号化された動画データと前記符号化された音声データとを記録媒体に記録し、記録された動画データと音声データとを前記記録媒体に既に記録されている所定の動画ファイルに追加する記録手段と、前記記録媒体に記録された前記所定の動画ファイルに格納されている符号化された動画データと符号化された音声データとの間の終端部の時間差を検出する検出手段と、記録待機状態において、少なくとも前記第２の時間長の前記取得された音声データを前記メモリに繰り返し記憶するように前記メモリを制御し、前記検出された時間差に基づいて、記録指示より前記検出された時間差だけ前に取得されて前記メモリに記憶された音声データの位置を前記取得された音声データの符号化の開始位置として決定し、前記決定された符号化の開始位置から前記取得された音声データを符号化するように前記符号化手段を制御し、前記記録指示から記録停止の指示までの期間に取得された、前記符号化された動画データと、前記符号化の開始位置から前記記録停止の指示に対応した位置までの、前記符号化された音声データとを前記記録媒体に記録するように前記記録手段を制御する制御手段と、を備えることを特徴とする記録装置が提供される。

本発明によれば、符号化された動画データと音声データを格納したファイルに対して新たに動画データと音声データを追加する場合に、追加された動画と音声の再生タイミングのずれをなくすことが可能となる。

本発明の実施形態に係る記録装置の構成例を示すブロック図である。 動画ファイルの構成を示す図である。 管理情報と動画データ、音声データとの対応を示す図である。 動画ファイルに追記された動画データと音声データの構成を示す図である。 図４に示す追記された動画ファイルの管理情報を示す図である。 動画ファイルに追記された動画データと音声データの再生時間の時間差を示す図である。 本発明の実施形態に係る記録装置における同時記録モードでの動作のフローチャートを示す図である。 本発明の実施形態に係る記録装置における同時記録モードにおける音声データの記録開始位置の決定動作を説明するための図である。 本発明の実施形態に係る記録装置における追記モードでの動作のフローチャートを示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本実施形態に係る記録装置１００の構成例を示すブロック図である。本実施形態は例えばビデオカメラなどの撮像装置に本発明を適用した例であるが、カメラとマイクロフォンを有する、あるいはそれらが接続されたＰＣ、またはスマートフォンなどの携帯機器などの動画撮影が可能な装置にも適用可能である。

図１において、撮像部１０１は、公知の撮像素子やＡＤ変換器などを備え、被写体を撮影して動画データを出力する（動画取得手段）。音声取得部１０２は、マイクロフォンやＡＤ変換器などを備え、被写体の周辺の音声を取得し、音声データを出力する。

メモリ１０３は、動画データや音声データを記憶する。記録装置１００の各ブロックは、メモリ１０３対してアクセスすることにより、動画データや音声データを処理する。また、メモリ１０３は、動画データや音声データの他に、ファイルシステムの情報や、管理情報など、各種の情報を記憶し、更に、制御部１０６による制御のためのワークメモリ等の役割を果たす。また、後述のように同時記録モードが設定された場合、記録待機状態において、所定時間分の動画データと音声データが繰り返しメモリ１０３に記憶される。

表示部１０４は、撮影時においては撮像部１０１により取得された動画を表示し、再生時においては、再生された動画を表示する。また、表示部１０４は、メニュー画面等の各種の情報を表示する。

信号処理部１０５は、動画の記録時においては、撮像部１０１により得られた動画データと音声取得部により得られた音声データを公知の符号化形式に従って符号化して、その情報量を圧縮する。また、動画データや音声データを記録するために必要な処理を施す。本実施形態では、動画データはＨ．２６４／ＡＶＣ方式に従って符号化され、音声データはＡＡＣ（Advanced Audio Coding）方式に従って符号化される。また、信号処理部１０５は、再生時においては、再生された動画データや音声データを復号し、その情報量を伸張する。

また、信号処理部１０５は、静止画の記録時においては、撮像部１０１により得られた１画面の静止画データをＪＰＥＧなどの公知の符号化方式に従って符号化する。また、静止画の再生時においては、再生された静止画データを復号する。

制御部１０は６、操作部１０７からの入力に応じて記録装置１００の動作全体を制御する。制御部１０６はマイクロコンピュータ（ＣＰＵ）やメモリ等を含み、不図示の不揮発メモリに記憶されたコンピュータプログラム（ソフトウェア）に従って記録装置１００を制御する。また、制御部１０６は、記録再生部１０８との間でデータやコマンドを通信するための記録媒体インターフェイスを内蔵している。操作部１０７は、ユーザにより操作可能な各種のスイッチを含む。そして、操作部１０７は、ユーザによる各種の指示などを受理して制御部１０６へ通知する。また、操作部１０７は、電源スイッチや記録の開始、停止を指示するためのスイッチ、記録装置１００のモードを切り替えるためのスイッチ等を含む。

記録再生部１０８は、記録媒体１０９に対し、動画データや音声データ、或いは、各種の情報を書き込み、或いは、読み出す。記録再生部１０８は、記録時においては、メモリ１０３に蓄積された動画データや音声データを記録媒体１０９に書き込む。また、記録再生部１０８は、再生時においては、記録媒体１０９から動画データや音声データを読み出し、メモリ１０３に記憶する。本実施形態では、記録媒体１０９ハードディスク（ＨＤＤ）、フラッシュメモリカード等、ランダムアクセスの記録媒体である。

また、記録再生部１０８は、記録媒体１０９に記録する動画、音声データや、各種の情報を、ＦＡＴ（File Allocation Table）等のファイルシステムに従い、ファイルとして管理する。また、記録再生部１０８は、ＡＴＡ（AT Attachment）等の公知のインターフェイス（ＩＦ）を有し、制御部１０６における記録媒体ＩＦとの間でデータや各種のコマンドを通信する。また、不図示の装着、排出機構により、記録装置１００に対して記録媒体１０９を容易に装着、排出することができるように構成するが、記録装置１００に記録媒体１０９が内蔵される構成でもよい。

制御部１０６は、記録媒体１０９に対して動画データや音声データを含む動画ファイルの書き込み、読み出しを行う場合、記録再生部１０８を制御して、記録媒体１０９から、ファイルシステムデータ（管理データ）を再生してメモリ１０３に記憶する。このファイルシステムデータは、記録媒体１０９に記録されたデータのファイル名やファイルのサイズ、データの記録アドレスなどを示すデータであり、ファイルを管理するための情報である。そして、制御部１０６は、読み出したファイルシステムデータに従ってファイルの書き込み、読み出しを制御する。制御部１０６は、記録媒体１０９へのファイルの書き込みに応じて、メモリ１０３に記憶されたファイルシステムデータを更新する。そして、更新したファイルシステムデータを、記録再生部１０８により記録媒体１０９に記録する。

データバス１１０は、記録装置１００の各部の間でデータや各種の制御コマンドなどを送受信するために用いられる。

本実施形態では、記録媒体１０９に対し、ＭＰ４ファイル形式で動画データと音声データを記録する。図２（ａ）は、ＭＰ４ファイルの基本構成を示している。ＭＰ４ファイル２００はボックスと呼ばれる格納単位により構成される。一つのＭＰ４ファイルを構成する最上位のボックスには、ｆｔｙｐボックス２０１、ｍｏｏｖボックス２０２、ｍｄａｔボックス２０３が含まれる。ｆｔｙｐ２０１はファイルの互換性情報、ｍｏｏｖ２０２は動画データ、音声データに関する管理情報が格納される。また、ｍｄａｔ２０３には符号化された動画データ、音声データの実データが格納される。

図２（ｂ）はｍｏｏｖボックス２０２の構成例を示す図である。ｔｒａｋボックスは一つの動画データ、音声データを定義するためのボックスである。図２（ｂ）では、動画データと音声データをそれぞれ定義するための二つのｔｒａｋが格納される。各ｔｒａｋにおいて、ｅｄｔｓにはトラックの再生出力開始タイミングの情報が格納される。ｓｔｓｄには、トラックがビデオ（動画）かオーディオかを判定するための情報が格納される。ｓｔｔｓには、ビデオ、オーディオデータの１サンプルの継続時間（再生時間、duration）の情報が格納される。ｓｔｓｚには、各チャンク（ｃｈｕｎｋ）内のサンプルのサイズを示す情報が格納される。また、ｓｔｃｏには、ファイル先頭からの各チャンクのオフセット（データサイズ）の情報が格納される。ＭＰ４では、ｍｄａｔに格納された動画データと音声データをそれぞれチャンクと呼ばれる単位で管理する。このようなｍｏｏｖのデータにより、ｍｄａｔに格納された各データのファイル内での位置が特定される。

図３は、ｍｏｏｖに格納されたｓｔｓｚとｓｔｃｏが示す情報と、ｍｄａｔに格納されたデータのオフセットとの対応を示している。ｍｏｏｖ３０１のトラック１、トラック２はそれぞれ、ビデオデータのトラックと音声データのトラックである。また、各トラックは三つのチャンクから構成されている。ｓｔｓｚは、ｍｄａｔ３０２に格納されたビデオ、オーディオデータに含まれるサンプルの数とサイズを示し、ｓｔｃｏは、各ビデオチャンク、オーディオチャンクのオフセット３０３を示している。

次に、本実施形態における通常の記録モードにおける記録動作について説明する。記録装置１００は、通常の記録モード(第１の記録モード)において、動画データと静止画データとを記録可能である。なお、後述するように、本実施形態の記録装置は、本記録モードの他に、静止画の記録と供に所定時間の動画データと音声データを記録する同時記録モード、記録されている動画ファイルに動画及び音声データを追記する追記モードを有する(第２の記録モード)。また、これらの記録モードで記録された動画ファイルを再生する再生モードを有し、再生モードでは動画ファイルの結合、部分削除等の編集が可能である。

制御部１０６は、操作部１０７から通常の記録モードの指示を受けた場合、記録装置１００を記録待機状態へ遷移し、記録開始の指示を待つ。そして、記録待機状態において、撮像部１０１から入力された動画データに係る動画を表示部１０４に表示する。操作部１０７から記録開始の指示が入力されると、制御部１０６は、信号処理部１０５による符号化を開始するように指示する。信号処理部１０５は、撮像部１０１により得られた動画データと、音声取得部１０２により得られた音声データをメモリ１０３より読み出して、符号化を開始する。そして、信号処理部１０５は、符号化されたデータをメモリ１０３に記憶する。

記録再生部１０８は、メモリ１０３から符号化データを読み出して、記録媒体１０９に記録する。このとき、ファイルを開いていない場合は、新規に符号化データを記録するファイルを作成して開き、符号化データを動画ファイルとして記録する。

このように動画の記録を開始した後、操作部１０７から記録停止の指示を受けた場合は、制御部１０６は信号処理部１０５による動画データと音声データの符号化を停止し、記録再生部１０８により記録中のファイルを閉じる。また、制御部１０６は、ファイルシステムデータの内容を変更し、記録媒体に記録するよう、記録再生部１０８に指示する。

本実施形態では、通常の記録モードにおいて、記録開始の指示から記録停止の指示までの間に記録された動画データと音声データは、一つのＭＰ４形式の動画ファイルに格納される。

次に、静止画記録について説明する。前述のように、通常の記録モードが設定されると、制御部１０６は、記録装置１００を記録待機状態に設定する。この状態で、操作部１０７より静止画記録の指示が出力された場合、制御部１０６は、撮像部１０１に対し、静止画記録の指示に応じた１画面の静止画を撮影するように指示する。撮像部１０１は、制御部１０６からの指示に応じて１画面の静止画データを撮影し、メモリ１０３に出力する。信号処理部１０５は、制御部１０６からの指示により、メモリ１０３より静止画データを読み出して符号化し、記録再生部１０８に送る。記録再生部１０８は、信号処理部１０５からの静止画データを記録媒体１０９に記録する。

次に、同時記録モードについて説明する。記録装置１００は、静止画の記録指示があった場合に、静止画と共に、静止画記録の指示の直前のｎ秒（ｎは０より大きい所定値）分の動画と、このｎ秒分の動画に対応した音声を記録する同時記録モードを持つ。また、同時記録モードで記録された動画データと音声データは、一つの動画ファイルに追記されて記録される。本実施形態では、ｎを数秒程度としている。

操作部１０７より同時記録モードの指示が出力された場合、制御部１０６は、記録装置１００を同時記録モードに設定し、記録待機状態とする。同時記録モードの記録待機状態では、制御部１０６は、後述のように、撮像部１０１から出力されたｎ秒分の動画データと、このｎ秒に対応した、音声取得部１０２により得られた音声データをメモリ１０３に繰り返し記憶する。この際、後述のように、ｎ秒分の動画データは、信号処理部１０５により符号化された状態でメモリ１０３に記憶される。また、ｎ秒分の動画に対応した音声データは、信号処理部１０５により符号化されずにメモリ１０３に格納される。

また、制御部１０６は、同時記録モードが設定された場合、記録再生部１０８を制御して、記録媒体１０９から、同時記録モードで記録された動画ファイルを検出する。同時記録モードで記録された動画ファイルが記録媒体１０９に記録されていた場合、この動画ファイルのファイル名の情報を検出し、メモリ１０３に記憶しておく。

このように、同時記録モードの記録待機状態において、静止画記録の指示が出力された場合、制御部１０６は、メモリ１０３に対する動画データと音声データの記憶を停止する。また、制御部１０６は、静止画記録の指示に応じた１画面の静止画を撮影するように指示し、前述の静止画記録モードのときと同様に、符号化された静止画データが記録再生部１０８により記録媒体１０９に記録される。

制御部１０６は、音声データの符号化が完了した後、記録再生部１０８に対し、ｎ秒分の動画データと音声データを記録するように指示する。このとき、制御部１０６は、同時記録モードで記録された動画ファイルが既に記録媒体１０９に記録されていた場合、この動画ファイルに対し、今回の記録による動画データと音声データを追加して記録するように指示する。また、同時記録モードで記録された動画ファイルが記録媒体１０９に記録されてなかった場合、制御部１０６は、新たに動画ファイルを作成して、動画データと音声データを記録するように指示する。なお、新たに動画ファイルを作成する場合、制御部１０６は、この動画ファイルが同時記録モードで記録されたものであることを識別するための付加情報を、動画ファイルに付加して記録する。

図４は、同時記録モードで記録された動画データと音声データと、各データが格納される動画ファイルを示す図である。

図４において、時間４０１、４０２、４０３でそれぞれ静止画記録の指示が出力され、その直前の動画と音声であるＶ１、Ａ１、Ｖ２、Ａ２、Ｖ３、Ａ３がそれぞれ記録される。また、これらの動画と音声データは、一つの動画ファイル４０４に対し、追加して記録される。また、各動画データ、音声データの先頭チャンクのオフセットが、図５に示すように、ｍｏｏｖに格納される。図４では、説明を簡単にするため、ｎ秒分の動画データと音声データをそれぞれ１チャンクとするが、１チャンクをｎ秒とは異なる期間にすることも可能である。その場合、同時記録モードでの１回の記録により記録される動画と音声はそれぞれ複数のチャンクから構成される。図５に示すように、ビデオトラックのｓｔｃｏには、各動画データの先頭チャンクのオフセットであるＯ１、Ｏ３、Ｏ５が格納され、音声トラックのｓｔｃｏには、各音声データの先頭チャンクのオフセットであるＯ２、Ｏ４、Ｏ６が格納される。

図６は、同時記録モードにより記録された三つのシーンの動画データと音声データの様子を示す図である。図６において、Ｖ１−Ｖ３はそれぞれ１シーンの動画データであり、Ａ１−Ａ３はそれぞれ１シーンの音声データである。なお、図の水平方向は、再生における時間の経過方向に対応し、データの異なる位置間の差は再生時の時間差に対応する。

また、ｖ１−ｖｎはそれぞれ動画データの符号化単位を示している。本実施形態では、同時記録モードにおいては、動画データの１フレームを一つの符号化単位として符号化し、各フレームをフレーム内符号化により符号化する。動画データのフレームレート（単位時間あたりのフレーム数、ここでは１秒あたりのフレーム数を示す）を２９．９７フレーム／秒とした場合、各符号化単位は３３．３ミリ秒に対応する（第１の時間長）。

また、ａ１−ａｎはそれぞれ音声データの符号化単位を示している。同時記録モードにおいては、音声データの１０２４サンプルを一つの符号化単位として符号化する。音声データのサンプリング周波数を４８ｋＨｚとした場合、一つの音声データの符号化単位は２１．３ミリ秒に対応する（第２の時間長）。

また、音声データは動画データの記録時間に合わせて記録しているが、前記の様に、動画データと音声データの符号化単位の長さが異なるので、音声データの記録時間が動画と同じになることはほとんどない。そのため、例えば、音声データの再生時間が動画データの再生時間より長くならないように、１回に記録される音声データの符号化単位の数が決められる。

このように、動画データと音声データの符号化単位に対応した時間長が異なるため、各シーンの終端部において、動画と音声の終了部分に時間差が発生する。例えば、図６では、Ｖ１とＡ１の終端部の時間差はｇ１である。同時記録モードにおいては、一つの動画ファイルに動画データと音声データが追加して記録される。そのため、このように時間差を持つＶ１とＡ１に対し、次のシーンの動画Ｖ２と音声Ａ２が追記される。

このように記録された図６のＭＰ４形式の動画ファイルを再生する際、動画データと音声データはそれぞれ先頭から連続して再生される。そのため、Ｖ２の先頭フレームｖ１よりも、Ａ２の先頭の符号化単位ａ１の方がｇ１だけ早く再生されることになる。従って、例えば、人物の口が動くよりも先に声が聞こえてしまう、といった不自然な再生となってしまう。また、三つ目のシーンのＶ３とＡ３についても同様に、追記先であるＶ２とＡ２の終端部の時間差ｇ２の分だけ、再生タイミングが異なってしまうことになる。

そこで、本実施形態では、同時記録モードにおいては、追記先の動画データと音声データの終端部分の時間差に基づいて音声データの符号化の先頭サンプル位置を決めることにより、不自然な再生になることを防ぐようにした。

図７は、本実施形態に係る記録装置の同時記録モードでの動作のフローチャートを示す図である。図７の動作は、制御部１０６が各部を制御することにより実行される。前述の様に、記録待機状態で同時記録モードが設定されると、図７の処理が開始される。

制御部１０６は、撮像部１０１からの動画データと音声取得部１０２からの音声データのメモリ１０３への記憶を開始する（Ｓ７０１）。そして、制御部１０６は、信号処理部１０５に対し、メモリ１０３に記憶された動画データの符号化を開始するように指示する。信号処理部１０５は、メモリ１０３から順次動画データを読み出し、符号化した後、再度メモリ１０３に記憶する（Ｓ７０２）。

一方、音声データについては、符号化せずに、音声取得部１０２から出力された状態でメモリ１０３に記憶される。

このように符号化された動画データと、符号化されていない音声データとをメモリ１０３に順次記憶し、ｎ秒分の動画データが記憶されると、最も古いデータは消去（上書き）される。また、音声データについては、ｎ秒よりも所定時間だけ余計にメモリ１０３に記憶する。具体的には、現時点からｎ秒前の位置よりも、更に一つの音声データの符号化単位に対応した時間（サンプル数）だけ前のデータからメモリ１０３に記憶しておく。

このように符号化された動画データと音声データを繰り返しメモリ１０３に記憶しながら、制御部１０６は、操作部１０７より静止画撮影の指示が出力されるのを待つ（Ｓ７０３）。静止画撮影の指示が出力された場合、制御部１０６は、前述のように、１画面の静止画データを生成し、記録媒体１０９に記録する（Ｓ７０４）。また、制御部１０６は、メモリ１０３に記憶されている、静止画記録の指示からｎ秒前の符号化された動画データに対応した音声データを符号化するように、信号処理部１０５に指示する。この音声データの符号化処理については後述する。信号処理部１０５は、メモリ１０３より音声データを読み出して符号化し、符号化された音声データをメモリ１０３に記憶する。

そして、制御部１０６は、新たに動画データと音声データがメモリ１０３に記憶されるのを停止する（Ｓ７０５）。次に、制御部１０６は、同時記録モードで記録された動画ファイルが既に記録媒体１０９に記録されていた場合、この動画ファイルに格納された動画データと音声データの終端部における動画と音声の時間差を検出する（Ｓ７０６）。

時間差は以下のように求められる。
時間差＝ビデオトラックの再生終了時間−音声トラックの再生終了時間
ビデオトラックの再生終了時間＝ビデオ再生開始タイミング（ｅｄｔｓ）＋ビデオサンプルの再生時間（ｓｔｓｃ）×ビデオサンプル数（ｓｔｓｚ）
音声トラックの再生終了時間＝音声再生開始タイミング（ｅｄｔｓ）＋音声サンプルの再生時間（ｓｔｓｃ）×音声サンプル数（ｓｔｓｚ）

なお、検出において、同時記録モードで記録された動画ファイルが記録媒体１０９に記録されていない場合は、制御部１０６は、検出結果としての時間差を０(時間差が無い)として以下の処理を行う。

次に、制御部１０６は、Ｓ７０６で検出した時間差に基づき、記録する音声データの先頭位置を決定する（Ｓ７０７）。ここでは、まず、制御部１０６は、メモリ１０３に記憶された音声データのうち、静止画撮影指示の時点からｎ秒前のサンプルの位置（アドレス）を検出し、これを暫定的に先頭位置とする。次に、制御部１０６は、この暫定の先頭位置から、Ｓ７０６で検出した時間差に対応した分だけ前のサンプルを、記録する音声データの先頭位置として決定する。

次に、制御部１０６は、この先頭位置から、１０２４サンプルを単位として音声データを符号化するように信号処理部１０５に指示する（ＳＳ７０８）。ここで、音声の符号化単位は動画とは異なるので、制御部１０６は、音声の再生時間が動画の再生時間を超えない範囲での符号化単位の最大個数を符号化するように、信号処理部１０５に指示する。

信号処理部１０５は音声データを符号化し、メモリ１０３に記憶する。制御部１０６は、記録再生部１０８に対し、符号化された動画データと音声データとを、記録媒体１０９に既に記録されている同時記録モードの動画ファイルに追記するように指示する。記録再生部１０８は、指定された動画ファイルに対し、メモリ１０３に記憶された動画データと音声データとを追加して記録する（Ｓ７０９）。

次に、制御部１０６は、記録再生部１０８に対し、この追記された動画ファイルの管理情報ｍｏｏｖの内容を更新するように指示する（Ｓ７１０）。これにより、新たに記録された動画データと音声データの情報がｍｏｏｖに追加される。

この後、引き続き同時記録モードが設定されている場合、制御部１０６は、Ｓ７１０でｍｏｏｖの更新が終了すると、再度Ｓ７０１に戻り、動画データと音声データのメモリ１０３への記憶を開始する。

図８は、同時記録モードにおいて記録される動画データと音声データを示す図である。図８において、ｖ１−ｖｎは符号化された動画データの符号化単位を示し、ａ１−ａｍは音声データの符号化単位を示している。なお、同図においても、水平方向は再生時の時間の経過方向に対応し、データの異なる位置間の差は再生時の時間差に対応する。

図８（ａ）のように、時間８０１において静止画記録の指示があった場合、それまでにメモリ１０３に記憶された音声データのうち、静止画撮影指示の時点８０１からｎ秒前のサンプル位置８０２が暫定の先頭位置として決まる。

次に、制御部１０６は、図８（ｂ）に示す様に、追記先の動画と音声の終端部分の時間差８０３が検出された場合、この暫定の先頭位置８０２から時間差８０３だけ前の位置８０４を、記録する音声データの先頭位置として決定する。

そして、制御部１０６は、図８（ｃ）に示す様に、この先頭位置８０４を符号化の開始として音声データの符号化を行った場合に、動画データの再生範囲を超えない、最終の符号化単位の終端であるサンプル位置８０５までを記録音声データの範囲として決定する。

次に、本実施形態に係る記録装置の再生時の動作を説明する。操作部１０７より再生モードの指示が出力された場合、制御部１０６は、記録再生部１０８に対し、記録媒体１０９に記録された各動画ファイルのサムネイル画像を読みだしてメモリ１０３に記憶するように指示する。なお、本実施形態では、制御部１０６が、動画ファイルを新たに作成して記録する際に、動画データの先頭のフレームを縮小した画像データを生成し、サムネイル画像データとして動画ファイルに格納して記録する。

信号処理部１０５はメモリ１０３に記憶された各サムネイル画像データを用いて、各動画ファイルのインデックス画面を生成し、表示部１０４に表示する。ユーザは、操作部１０７を操作し、表示されたインデックス画面から何れかを選択し、再生を指示する。

制御部１０６は、再生指示が出力された場合、選択された動画ファイルを再生するように、記録再生部１０８に指示する。記録再生部１０８は、指定された動画ファイルを再生し、メモリ１０３に記憶する。信号処理部１０５は、メモリ１０３より符号化された動画データと音声データを読み出し、これらを復号して再度メモリ１０３に記憶する。復号された動画データは表示部１０４に送られ、表示される。また、復号された音声データは不図示の出力部などから出力される。

このように、本実施形態では、追記先の動画と音声の終端部の時間差に基づき、追記する音声データの先頭位置を決める。そのため、動画ファイルの先頭から連続して動画と音声を再生した場合に、追記されたシーンにおいて動画と音声の再生タイミングがずれることがなく、不自然な再生となることがない。

なお、本実施形態では、音声データの再生時間が動画データの再生時間を超えない様に記録していたが、動画データの終端に対応した音声データの符号化単位までを記録する構成としてもよい。

この場合、動画と音声の終端部においては、音声の再生時間よりも動画の再生時間の方が短くなる。そのため、音声データの記録開始位置は、図８（ｂ）のように、位置８０２から時間差８０３だけ前ではなく、位置８０２から時間差８０３だけ後の位置となる。

また、本実施形態では、同時記録モードでは、動画データの各フレームをフレーム内符号化により符号化したが、通常の記録モードと同じく、フレーム内符号化と、フレーム間符号化とを用いて動画データを符号化してもよい。

この場合、動画データは、ＧＯＰと呼ばれる単位で復号が可能となるため、動画データの記録先頭位置を、ＧＯＰの単位で決定する。従って、Ｓ７０５で動画と音声の記憶を停止した後、動画の記録先頭位置を以下の様に決める。即ち、制御部１０６は、静止画記録の指示の時点からｎ秒前のフレームを含むＧＯＰを検出する。そして、このＧＯＰの先頭のフレームを動画データの記録開始位置として設定する。

また、このように動画データの記録開始位置が決定された場合、制御部１０６は、この動画データの記録開始位置に対応した、音声データのサンプル位置を検出し、これを暫定の開始位置として設定する。そして、この暫定の開始位置から、Ｓ７０６で検出した時間差だけ前の位置を音声の記録開始位置として決定する。

また、本実施形態では、図７のＳ７０６において、追記先の動画ファイルのｍｏｏｖに格納された管理情報に基づいて、終端部における動画と音声の時間差を算出したが、時間差の情報を付加情報として動画ファイルに格納しておくことも可能である。

即ち、同時記録モードにおいて、記録を停止した場合に、制御部１０６により、終端部における動画と静止画の時間差を算出し、付加情報として動画ファイルに格納しておく。これにより、Ｓ７０６において、付加情報により時間差を検出することが可能となる。追記先の動画および音声データがなく、付加情報がない場合、上述したいように時間差の検出結果を０とする。

また、本実施形態では、静止画撮影指示のｎ秒前の動画と音声を記録する同時記録モードについて説明した。これ以外にも、既に記録媒体１０９に記録されている動画ファイルに新たに動画と音声を追記する場合、同じように処理を行うことが可能である。

以下、このような追記モードについて説明する。追記モードでは、記録媒体１０９に記録されている動画ファイルの何れかに対し、これから記録する任意の時間期間の動画と音声を追記する。例えば、本実施形態では、ユーザが選択した動画ファイルに対して動画と音声を追記する構成とするが、これ以外にも、例えば、追記モードが設定される直前に記録された動画ファイルを選択する等、その他の構成とすることも可能である。

図９は本実施形態に係る記録装置における追記モードでの動作のフローチャートを示す図である。図９の動作は、制御部１０６が各部を制御することにより実行される。前述の様に、記録待機状態で追記モードが設定されると、図９の処理が開始される。

制御部１０６は、まず、追記先として指定された動画ファイルに格納された動画データと音声データの終端部における動画と音声の時間差を検出する（Ｓ９０１）。ここで、時間差は、Ｓ７０６の処理と同様の方法により検出される。

次に、制御部１０６は、音声取得部１０２からの音声データのメモリ１０３への記憶を開始する（Ｓ９０２）。ここでは、少なくとも一つの音声データの符号化単位に対応したサンプル数の音声データを記憶しておけばよく、この１符号化単位分の音声データが繰り返しメモリ１０３に記憶される。

この状態で、制御部１０６は、記録開始の指示が出力されたか否かを判別する（Ｓ９０３）。記録開始の指示が出力された場合、制御部１０６は、Ｓ９０１で検出した時間差に基づき、記録(符号化)する音声データの先頭位置を決定する（Ｓ９０４）。即ち、制御部１０６は、メモリ１０３に記憶された音声データのうち、記録開始の指示が出力された時点から、Ｓ９０１で検出された時間差に応じた数のサンプル数だけ前の位置（アドレス）を検出し、これを記録される音声データの先頭位置とする。

そして、制御部１０６は、撮像部１０１から出力された動画データのメモリ１０３への記憶を開始すると共に、信号処理部１０５に対し、動画データと音声データの符号化を開始するように指示する（Ｓ９０５）。このとき、制御部１０６は、動画データについては、記録開始の指示に対応したフレームから符号化を開始するように指示し、音声データについては、Ｓ９０４で決定した先頭位置から符号化する様に指示する。次に、制御部１０６は、記録再生部１０８に対し、符号化された動画データと音声データとを、指定された動画ファイルに追加して記録する様に指示する。記録再生部１０８は、メモリ１０３から符号化された動画データと音声データとを読み出し、記録媒体１０９における指定された動画ファイルに追加して記録する（Ｓ９０６）。

このように記録を開始した後、制御部１０６は、操作部１０７からの記録停止の指示を待つ（Ｓ９０７）。記録停止の指示が出力された場合、制御部１０９は、メモリ１０３に対する動画データと音声データの記憶を停止し（Ｓ９０９）、更に動画データと音声データの符号化、及び記録を停止する（Ｓ９０９、Ｓ９１０）。このとき、音声データについては、前述のように、動画の再生時間を超えないように、符号化の停止位置を決める。

次に、制御部１０６は、記録再生部１０８に対し、この追記された動画ファイルの管理情報ｍｏｏｖの内容を更新するように指示する（Ｓ９１１）。これにより、新たに記録された動画データと音声データの情報がｍｏｏｖに追加される。この後、引き続き追記モードが設定されている場合、制御部１０６は、Ｓ９１１でｍｏｏｖの更新が終了すると、再度Ｓ９０１に戻る。

このように、本実施形態では、追記先の動画と音声の終端部の時間差に基づき、追記する音声データの先頭位置を決める。そのため、動画ファイルの先頭から連続して動画と音声を再生した場合に、追記されたシーンにおいて動画と音声の再生タイミングがずれることがなく、不自然な再生となることがない。

なお、本実施形態では、音声データの再生時間が動画データの再生時間を超えない様に記録しているが、動画データの終端に対応した音声データの符号化単位までを記録する構成としてもよい。

この場合、動画と音声の終端部においては、音声の再生時間よりも動画の再生時間の方が短い。そのため、記録待機状態において、Ｓ９０２のように、予め音声データをメモリに記憶する必要は無い。そして、音声データの記録開始位置（符号化開始位置）は、記録開始の指示の時点から、Ｓ９０１で検出された時間差だけ後の位置となる。

（その他の実施形態）
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図７、図９に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (10)

1. メモリと、
   動画データを取得する動画取得手段と、
   音声データを取得して前記メモリに記憶する音声取得手段と、
   第１の時間長に対応したサンプルを符号化単位として前記取得された動画データを符号化して前記メモリに記憶し、第２の時間長に対応したサンプルを符号化単位として前記取得されて前記メモリに記憶された音声データを符号化する符号化手段と、
   前記メモリに記憶された前記符号化された動画データと前記符号化された音声データとを記録媒体に記録し、記録された動画データと音声データとを前記記録媒体に既に記録されている所定の動画ファイルに追加する記録手段と、
   前記記録媒体に記録された前記所定の動画ファイルに格納されている符号化された動画データと符号化された音声データとの間の終端部の時間差を検出する検出手段と、
   記録待機状態において、所定の時間長の符号化された動画データと、前記所定の時間長と前記第２の時間長との和に等しい時間長の前記取得された音声データとを、前記メモリに繰り返し記憶するように前記メモリを制御し、前記検出された時間差に基づいて、前記取得された音声データの符号化の開始位置を決定し、前記決定された符号化の開始位置から前記取得された音声データを符号化するように前記符号化手段を制御する制御手段と、を備えることを特徴とする記録装置。
2. 前記制御手段は、記録指示から前記所定の時間長だけ前の位置から更に前記検出された時間差だけ前の位置を前記音声データの符号化の開始位置と決定し、前記記録指示から前記所定の時間長だけ前から前記記録指示までの期間に取得された、前記符号化された動画データと、前記決定された符号化の開始位置から前記記録指示に対応した位置までの、前記符号化された音声データを、前記記録媒体に記録するように前記記録手段を制御することを特徴とする請求項１に記載の記録装置。
3. 前記制御手段は、前記記録待機状態において、前記取得された音声データを符号化しない状態で前記メモリに繰り返し記憶するように前記メモリを制御することを特徴とする請求項１に記載の記録装置。
4. 前記制御手段は、前記所定の動画ファイルに格納されている符号化された動画データの再生時間を符号化された音声データの再生時間よりも長くするときは、前記音声データの符号化の開始位置を記録指示よりも前記検出された時間差の分だけ前の位置に決定し、前記所定の動画ファイルに格納されている符号化された動画データの再生時間を符号化された音声データの再生時間よりも短くするときは、前記音声データの符号化の開始位置を前記記録指示よりも前記検出された時間差の分だけ後の位置に決定することを特徴とする請求項１に記載の記録装置。
5. 動画データを取得する動画取得手段と、
   音声データを取得する音声取得手段と、
   前記取得された音声データを記憶するメモリと、
   第１の時間長に対応したサンプルを符号化単位として前記取得された動画データを符号化し、第２の時間長に対応したサンプルを符号化単位として前記取得されて前記メモリに記憶された音声データを符号化する符号化手段と、
   前記符号化された動画データと前記符号化された音声データとを記録媒体に記録し、記録された動画データと音声データとを前記記録媒体に既に記録されている所定の動画ファイルに追加する記録手段と、
   前記記録媒体に記録された前記所定の動画ファイルに格納されている符号化された動画データと符号化された音声データとの間の終端部の時間差を検出する検出手段と、
   記録待機状態において、少なくとも前記第２の時間長の前記取得された音声データを前記メモリに繰り返し記憶するように前記メモリを制御し、前記検出された時間差に基づいて、記録指示より前記検出された時間差だけ前に取得されて前記メモリに記憶された音声データの位置を前記取得された音声データの符号化の開始位置として決定し、前記決定された符号化の開始位置から前記取得された音声データを符号化するように前記符号化手段を制御し、前記記録指示から記録停止の指示までの期間に取得された、前記符号化された動画データと、前記符号化の開始位置から前記記録停止の指示に対応した位置までの、前記符号化された音声データとを前記記録媒体に記録するように前記記録手段を制御する制御手段と、を備えることを特徴とする記録装置。
6. 前記制御手段は、前記所定の動画ファイルに格納されている符号化された動画データの再生時間を符号化された音声データの再生時間よりも短くするときは、記録指示から前記検出された時間差だけ後に取得された音声データの位置を前記符号化の開始位置と決定する請求項５に記載の記録装置。
7. 前記検出手段は、前記所定の動画ファイルが前記記録媒体に記録されていない場合、前記検出された時間差を０とすることを特徴とする請求項１または５に記載の記録装置。
8. 前記動画取得手段は撮像手段を含むことを特徴とする請求項１から７のいずれか一項に記載の記録装置。
9. 動画データを取得するステップと、
   音声データを取得してメモリに記憶するステップと、
   第１の時間長に対応したサンプルを符号化単位として前記取得された動画データを符号化して前記メモリに記憶し、第２の時間長に対応したサンプルを符号化単位として前記取得されて前記メモリに記憶された音声データを符号化するステップと、
   前記メモリに記憶された前記符号化された動画データと前記符号化された音声データとを記録媒体に記録し、記録された動画データと音声データとを前記記録媒体に既に記録されている所定の動画ファイルに追加するステップと、
   前記記録媒体に記録された前記所定の動画ファイルに格納されている符号化された動画データと符号化された音声データとの間の終端部の時間差を検出するステップと、
   記録待機状態において、所定の時間長の符号化された動画データと、前記所定の時間長と前記第２の時間長との和に等しい時間長の前記取得された音声データとを、前記メモリに繰り返し記憶するように前記メモリを制御するステップと、を備え、
   前記符号化するステップは、前記検出された時間差に基づいて、前記取得された音声データの符号化の開始位置を決定し、前記決定された符号化の開始位置から前記取得された音声データを符号化することを特徴とする記録方法。
10. 動画データを取得するステップと、
    音声データを取得してメモリに記憶するステップと、
    第１の時間長に対応したサンプルを符号化単位として前記取得された動画データを符号化し、第２の時間長に対応したサンプルを符号化単位として前記取得されて前記メモリに記憶された音声データを符号化するステップと、
    前記メモリに記憶された前記符号化された動画データと前記符号化された音声データとを記録媒体に記録し、記録された動画データと音声データとを前記記録媒体に既に記録されている所定の動画ファイルに追加するステップと、
    前記記録媒体に記録された前記所定の動画ファイルに格納されている符号化された動画データと符号化された音声データとの間の終端部の時間差を検出するステップと、
    記録待機状態において、少なくとも前記第２の時間長の前記取得された音声データを前記メモリに繰り返し記憶するように前記メモリを制御するステップと、を備え、
    前記符号化するステップでは、前記検出された時間差に基づいて、記録指示より前記検出された時間差だけ前に取得されて前記メモリに記憶された音声データの位置を前記取得された音声データの符号化の開始位置として決定し、前記決定された符号化の開始位置から前記取得された音声データを符号化し、
    前記符号化された動画データと前記符号化された音声データとを前記記録媒体に記録するステップでは、前記記録指示から記録停止の指示までの期間に取得された、前記符号化された動画データと、前記符号化の開始位置から前記記録停止の指示に対応した位置までの、前記符号化された音声データとを前記記録媒体に記録する
    ことを特徴とする記録方法。

Images