JPWO2004008759A1 - データ処理装置 - Google Patents

Abstract

本発明のデータ処理装置は、映像・音声データを受け取る受信部１００、１０２と、受け取った映像・音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成する圧縮部１０１と、符号化データを参照する参照情報、および、符号化データのＶＯＢＵをサンプル単位とし、サンプル単位の属性を記述した属性情報を含む付属情報を生成する付属情報生成部１０３と、符号化データをデータファイルとして記録媒体に記録し、付属情報を付属情報ファイルとして記録媒体に記録する記録部１２０とを備えている。符号化データは、付属情報ファイルおよびＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。

Description

本発明は、光ディスク等の記録媒体に動画ストリームのストリームデータを記録するデータ処理装置および方法等に関する。

映像データを低いビットレートで圧縮し符号化する種々のデータストリームが規格化されている。そのようなデータストリームの例として、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ １３８１８−１）のシステムストリームが知られている。システムストリームは、プログラムストリーム（ＰＳ）、トランスポートストリーム（ＴＳ）、およびＰＥＳストリームの３種類を包含する。
近年、新たにＭＰＥＧ４システム規格（ＩＳＯ／ＩＥＣ １４４９６−１）のデータストリームを規定する動きが進んでいる。ＭＰＥＧ４システム規格のフォーマットでは、ＭＰＥＧ２映像ストリームまたはＭＰＥＧ４映像ストリームを含む映像ストリーム、および、各種音声ストリームが多重化され、動画ストリームのデータとして生成される。さらにＭＰＥＧ４システム規格のフォーマットでは付属情報が規定される。付属情報と動画ストリームとは１つのファイル（ＭＰ４ファイル）として規定される。ＭＰ４ファイルのデータ構造は、Ａｐｐｌｅ（登録商標）社のクイックタイム（ＱｕｉｃｋＴｉｍｅ）ファイルフォーマットをベースにして、そのフォーマットを拡張して規定されている。なお、ＭＰＥＧ２システム規格のシステムストリームには、付属情報（アクセス情報、特殊再生情報、記録日時等）を記録するデータ構造は規定されていない。ＭＰＥＧ２システム規格では、付属情報はシステムストリーム内に設けられているからである。
映像データおよび音声データは、従来、磁気テープに記録されることが多かった。しかし、近年は磁気テープに代わる記録媒体として、ＤＶＤ−ＲＡＭ、ＭＯ等に代表される光ディスクが注目を浴びている。
図１は、従来のデータ処理装置３５０の構成を示す。データ処理装置３５０は、ＤＶＤ−ＲＡＭディスクにデータストリームを記録し、ＤＶＤ−ＲＡＭディスクに記録されたデータストリームを再生することができる。データ処理装置３５０は、映像信号入力部３００および音声信号入力部３０２において映像データ信号および音声データ信号を受け取り、それぞれＭＰＥＧ２圧縮部３０１に送る。ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データを、ＭＰＥＧ２規格および／またはＭＰＥＧ４規格に基づいて圧縮符号化し、ＭＰ４ファイルを生成する。より具体的に説明すると、ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データをＭＰＥＧ２ビデオ規格に基づいて圧縮符号化して映像ストリームおよび音声ストリームを生成した後で、さらにＭＰＥＧ４システム規格に基づいてそれらのストリームを多重化してＭＰ４ストリームを生成する。このとき、記録制御部３４１は記録部３２０の動作を制御する。連続データ領域検出部３４０は、記録制御部３４１の指示によって、論理ブロック管理部３４３で管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。そして記録部３２０は、ピックアップ３３０を介してＭＰ４ファイルをＤＶＤ−ＲＡＭディスク３３１に書き込む。
図２は、ＭＰ４ファイル２０のデータ構造を示す。ＭＰ４ファイル２０は、付属情報２１および動画ストリーム２２を有する。付属情報２１は、映像データ、音声データ等の属性を規定するアトム構造２３に基づいて記述されている。図３は、アトム構造２３の具体例を示す。アトム構造２３は、映像データおよび音声データの各々について、独立してフレーム単位のデータサイズ、データの格納先アドレス、再生タイミングを示すタイムスタンプ等の情報が記述されている。これは映像データおよび音声データが、それぞれ別個のトラックアトムとして管理されていることを意味する。
図２に示すＭＰ４ファイルの動画ストリーム２２には、映像データおよび音声データがそれぞれ１つ以上のフレーム単位で配置され、ストリームを構成している。例えば動画ストリームがＭＰＥＧ２規格の圧縮符号化方式を利用して得られたとすると、動画ストリームには、複数のＧＯＰが規定されている。ＧＯＰは、単独で再生され得る映像フレームであるＩピクチャと、次のＩピクチャまでのＰピクチャおよびＢピクチャを含む複数の映像フレームをまとめた単位である。動画ストリーム２２の任意の映像フレームを再生するとき、まず動画ストリーム２２内のその映像フレームを含むＧＯＰが特定される。
なお、以下では、図２のＭＰ４ファイルのデータ構造に示すように、動画ストリームと付属情報とを有する構造のデータストリームを「ＭＰ４ストリーム」と称する。
図４は、動画ストリーム２２のデータ構造を示す。動画ストリーム２２は、映像トラックと音声トラックとを含み、各トラックには識別子（ＴｒａｃｋＩＤ）が付されている。トラックは各１つ存在するとは限らず、途中でトラックが切り替わる場合もある。図５は、途中でトラックが切り替わった動画ストリーム２２を示す。
図６は、動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１の記録単位（セクタ）との対応を示す。記録部３２０は、動画ストリーム２２をＤＶＤ−ＲＡＭディスクにリアルタイムで記録する。より具体的には、記録部３２０は、最大記録レート換算で１１秒分以上の物理的に連続する論理ブロックを１つの連続データ領域として確保し、この領域へ映像フレームおよび音声フレームを順に記録する。連続データ領域は、各々が３２ｋバイトの複数の論理ブロックから構成され、論理ブロックごとに誤り訂正符号が付与される。論理ブロックはさらに、各々が２ｋバイトの複数のセクタから構成される。なお、データ処理装置３５０の連続データ領域検出部３４０は、１つの連続データ領域の残りが最大記録レート換算で３秒分を切った時点で、次の連続データ領域を再び検出する。そして、１つの連続データ領域が一杯になると、次の連続データ領域に動画ストリームを書き込む。ＭＰ４ファイル２０の付属情報２１も、同様にして確保された連続データ領域に書き込まれる。
図７は、記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す。例えばＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｋ Ｆｏｒｍａｔ）ファイルシステム、またはＩＳＯ／ＩＥＣ １３３４６（Ｖｏｌｕｍｅ ａｎｄ ｆｉｌｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｗｒｉｔｅ−ｏｎｃｅ ａｎｄ ｒｅｗｒｉｔａｂｌｅ ｍｅｄｉａ ｕｓｉｎｇ ｎｏｎ−ｓｅｑｕｅｎｔｉａｌ ｒｅｃｏｒｄｉｎｇ ｆｏｒ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｒｃｈａｎｇｅ）ファイルシステムが利用される。図７では、連続して記録された１つのＭＰ４ファイルがファイル名ＭＯＶ０００１．ＭＰ４として記録されている。このファイルは、ファイル名およびファイルエントリの位置が、ＦＩＤ（Ｆｉｌｅ Ｉｄｅｎｔｉｆｉｅｒ Ｄｅｓｃｒｉｐｔｏｒ）で管理されている。そして、ファイル名はファイル・アイデンティファイア欄にＭＯＶ０００１．ＭＰ４として設定され、ファイルエントリの位置は、ＩＣＢ欄にファイルエントリの先頭セクタ番号として設定される。
なお、ＵＤＦ規格はＩＳＯ／ＩＥＣ １３３４６規格の実装規約に相当する。また、ＤＶＤ−ＲＡＭドライブを１３９４インタフェースおよびＳＢＰ−２（Ｓｅｒｉａｌ Ｂｕｓ Ｐｒｏｔｏｃｏｌ）プロトコルを介してコンピュータ（ＰＣ等）へ接続することにより、ＵＤＦに準拠した形態で書きこんだファイルをＰＣからも１つのファイルとして扱うことができる。
ファイルエントリは、アロケーションディスクリプタを使ってデータが格納されている連続データ領域（ＣＤＡ：Ｃｏｎｔｉｇｕｏｕｓ Ｄａｔａ Ａｒｅａ）ａ、ｂ、ｃおよびデータ領域ｄを管理する。具体的には、記録制御部３４１は、ＭＰ４ファイルを連続データ領域ａへ記録している最中に不良論理ブロックを発見すると、その不良論理ブロックをスキップして連続データ領域ｂの先頭から書き込みを継続する。次に、記録制御部３４１がＭＰ４ファイルを連続データ領域ｂへ記録している最中に、書き込みができないＰＣファイルの記録領域の存在を検出したときには、連続データ領域ｃの先頭から書き込みを継続する。そして、記録が終了した時点でデータ領域ｄに付属情報２１を記録する。この結果、ファイルＶＲ＿ＭＯＶＩＥ．ＶＲＯは連続データ領域ａ、ｂ、ｃ、ｄから構成される。
図７に示すように、アロケーションディスクリプタａ、ｂ、ｃ、ｄが参照するデータの開始位置は、セクタの先頭に一致する。そして、最後尾のアロケーションディスクリプタｄ以外のアロケーションディスクリプタａ、ｂ、ｃが参照するデータのデータサイズは１セクタの整数倍である。このような記述規則は予め規定されている。
ＭＰ４ファイルを再生するとき、データ処理装置３５０は、ピックアップ３３０および再生部３２１を経由して受け取った動画ストリームを取り出し、ＭＰＥＧ２復号部３１１で復号して映像信号と音声信号を生成し、映像信号出力部３１０および音声信号出力部３１２から出力する。ＤＶＤ−ＲＡＭディスクからのデータの読み出しと読み出したデータのＭＰＥＧ２復号部３１１への出力は同時に行われる。このとき、データの出力速度よりもデータの読出速度を大きくし、再生すべきデータが不足しないように制御する。したがって、連続してデータを読み出し、出力を続けると、データ読み出し速度とデータ出力速度との差分だけ出力すべきデータを余分に確保できることになる。余分に確保できるデータをピックアップのジャンプによりデータ読み出しが途絶える間の出力データとして使うことにより、連続再生を実現することができる。
具体的には、ＤＶＤ−ＲＡＭディスク３３１からのデータ読み出し速度が１１Ｍｂｐｓ、ＭＰＥＧ２復号部３１１へのデータ出力速度が最大８Ｍｂｐｓ、ピックアップの最大移動時間が３秒とすると、ピックアップ移動中にＭＰＥＧ２復号部３１１へ出力するデータ量に相当する２４Ｍビットのデータが余分な出力データとして必要になる。このデータ量を確保するためには、８秒間の連続読み出しが必要になる。すなわち、２４Ｍビットをデータ読み出し速度１１Ｍｂｐｓとデータ出力速度８ＭｂｐＳの差で除算した時間だけ連続読み出しする必要がある。
したがって、８秒間の連続読み出しの間に８８Ｍビット分、すなわち１１秒分の出力データを読み出すことになるので、１１秒分以上の連続データ領域を確保することで、連続データ再生を保証することが可能となる。
なお、連続データ領域の途中には、数個の不良論理ブロックが存在していてもよい。ただし、この場合には、再生時にかかる不良論理ブロックを読み込むのに必要な読み出し時間を見越して、連続データ領域を１１秒分よりも少し多めに確保する必要がある。
記録されたＭＰ４ファイルを削除する処理を行う際には、記録制御部３４１は記録部３２０および再生部３２１を制御して所定の削除処理を実行する。ＭＰ４ファイルは、付属情報部分に全フレームに対する表示タイミング（タイムスタンプ）が含まれる。したがって、例えば動画ストリーム部分の途中を部分的に削除する際には、タイムスタンプに関しては付属情報部分のタイムスタンプのみを削除すればよい。なお、ＭＰＥＧ２システムストリームでは、部分削除位置において連続性を持たせるために動画ストリームを解析する必要がある。タイムスタンプがストリーム中に分散しているからである。
ＭＰ４ファイルフォーマットの特徴は、映像・音声ストリームの映像フレームまたは音声フレームを、ひとつの集合として記録する点にある。同時に、国際標準としては初めて、各フレームへのランダムアクセスを可能とするアクセス情報を規定している。アクセス情報はフレーム単位で設けられ、例えばフレームサイズ、フレーム周期、フレームに対するアドレス情報を含む。すなわち、映像フレームに対しては表示時間にして１／３０秒ごと、音声フレームに対しては、例えば、ＡＣ−３音声の場合であれば合計１５３６個のサンプルを１単位（すなわち１音声フレーム）とし、単位ごとにアクセス情報が格納される。これにより、例えば、ある映像フレームの表示タイミングを変更したい場合には、アクセス情報の変更のみで対応でき、映像・音声ストリームを必ずしも変更する必要がない。このようなアクセス情報の情報量は１時間当り約１Ｍバイトである。
アクセス情報の情報量に関連して、例えば「リライタブル／再記録可能なディスクのためのＤＶＤ規格パート３ビデオレコーディング規格バージョン１．１」，ＤＶＤフォーラム発行，ＶＲ４，ｐ．３１〜３５によれば、ＤＶＤビデオレコーディング規格のアクセス情報に必要な情報量は１時間当り７０キロバイトである。ＤＶＤビデオレコーディング規格のアクセス情報の情報量は、ＭＰ４ファイルの付属情報に含まれるアクセス情報の情報量の１０分の１以下である。図８はＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す。図９は、図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す。
また、例えば特開２００１−９４９３３号公報（第３図）に記載されている光ディスク装置は、映像フレームを１フレーム単位ではなく１ＧＯＰ単位で記録し、同時に音声フレームを１ＧＯＰに相当する時間長で連続的に記録する。そして、ＧＯＰ単位でアクセス情報を規定する。これによりアクセス情報に必要な情報量を低減している。
また、ＭＰ４ファイルは、ＭＰＥＧ２ビデオ規格に基づいて動画ストリームを記述しているものの、ＭＰＥＧ２システム規格のシステムストリームと互換性がない。よって、現在ＰＣ等で用いられているアプリケーションの動画編集機能を利用して、ＭＰ４ファイルを編集することはできない。多くのアプリケーションの編集機能は、ＭＰＥＧ２システム規格の動画ストリームを編集の対象としているからである。また、ＭＰ４ファイルの規格には、動画ストリーム部分の再生互換性を確保するためのデコーダモデルの規定も存在しない。これでは、現在極めて広く普及しているＭＰＥＧ２システム規格に対応したソフトウェアおよびハードウェアを全く活用できない。

本発明の目的は、アクセス情報の情報量が小さく、かつ、従来のフォーマットに対応するアプリケーション等でも利用可能なデータ構造を提供すること、および、そのデータ構造に基づく処理が可能なデータ処理装置等を提供することである。
本発明によるデータ処理装置は、映像データおよび音声データを受け取る受信部と、受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成する圧縮部と、前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成する付属情報生成部と、前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録する記録部とを備えている。前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。
ある好ましい実施形態において、前記参照情報は、前記記録媒体に記録された前記データファイルのファイル名および格納位置を示している。
ある好ましい実施形態において、前記圧縮部は、複数の符号化データを生成し、前記付属情報生成部は、前記複数の符号化データの各々を参照する前記参照情報を生成する。
ある好ましい実施形態において、前記圧縮部は、複数の符号化データを生成し、前記付属情報生成部は、前記複数の符号化データを連続的に配列して１つのストリームデータを生成し、再生タイミングごとの符号化データのデータサイズが一定でない場合の符号化データの記録位置を特定する位置情報をさらに記述した付属情報を生成する。
ある好ましい実施形態において、前記圧縮部は、ＭＰＥＧ２プログラムストリームおよびＭＰＥＧ２トランスポートストリームの一方に準拠した符号化データを生成する。
ある好ましい実施形態において、前記付属情報生成部は、前記符号化データのうち、前記音声データに対応する符号化音声データの音声フレームを、さらに他のサンプル単位として前記属性情報に記述する。
ある好ましい実施形態において、前記圧縮部は、第１〜第３のデータファイルを生成し、前記第２のデータファイルは、前記第１のデータファイルの符号化データと前記第３のデータファイルの符号化データとを時間的に連続して復号するために必要なフレームデータを含む。
ある好ましい実施形態において、付属情報生成部は、ＭＰ４フォーマットにしたがって記述された付属情報ファイルを生成する。
ある好ましい実施形態において、付属情報生成部は、ＱｕｉｃｋＴｉｍｅフォーマットにしたがって記述された付属情報ファイルを生成する。
本発明のストリームデータは、データファイルに含まれる符号化データと、付属情報ファイルに含まれる付属情報とによって構成される。前記符号化データは、映像データおよび音声データがＭＰＥＧ２システム規格にしたがって符号化され、かつ、前記付属情報および前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。前記付属情報は、前記符号化データを参照する参照情報および前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位として前記サンプル単位の属性を記述した属性情報を含む。本発明の記録媒体には、上述のストリームデータが記録されている。
本発明の他のデータ処理装置は、上述のストリームデータから前記付属情報ファイルを読み出し、さらに制御信号に基づいて前記データファイルを読み出す再生部と、前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する信号を前記制御信号として生成する再生制御部と、読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号する復号部と、復号された前記映像データおよび前記音声データを出力する出力部とを備えている。
本発明のデータ記録方法は、映像データおよび音声データを受け取るステップと、受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成するステップと、前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成するステップと、前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録するステップと、を包含する。前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。
本発明のデータ記録プログラムは、データ処理装置において実行可能なコンピュータプログラムである。データ記録プログラムは、映像データおよび音声データを受け取るステップと、受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成するステップと、前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成するステップと、前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録するステップと、を包含する。前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。
本発明のデータ再生方法は、上述のストリームデータから前記付属情報ファイルを読み出すステップと、前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する制御信号を生成するステップと、前記制御信号に基づいて前記データファイルを読み出すステップと、読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号するステップと、復号された前記映像データおよび前記音声データを出力するステップとを包含する。
本発明のデータ再生プログラムは、データ処理装置において実行可能なコンピュータプログラムである。データ再生プログラムは、上述のストリームデータから前記付属情報ファイルを読み出すステップと、前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する制御信号を生成するステップと、前記制御信号に基づいて前記データファイルを読み出すステップと、読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号するステップと、復号された前記映像データおよび前記音声データを出力するステップとを包含する。
本発明のさらに他のデータ処理装置は、映像データおよび音声データを受け取る受信部と、受け取った前記映像データおよび前記音声データを所定の符号化形式で符号化して、前記映像データに対応するデータと前記音声データに対応するデータとがインターリーブされた符号化データを生成する圧縮部と、付属情報を生成する付属情報生成部であって、前記付属情報は、符号化データを参照する参照情報およびサンプル単位の属性を記述した属性情報を含む付属情報生成部とを備えている。前記サンプルは、前記映像データの再生時間に基づいて構成された前記符号化データの集合であり、前記符号化データは、前記付属情報に基づく復号化、および、前記所定の符号化方式に対応する復号化方式のいずれに基づいても復号化することが可能である。

図１は、従来のデータ処理装置３５０の構成を示す図である。
図２は、ＭＰ４ファイル２０のデータ構造を示す図である。
図３は、アトム構造２３の具体例を示す図である。
図４は、動画ストリーム２２のデータ構造を示す図である。
図５は、途中でトラックが切り替わった動画ストリーム２２を示す図である。
図６は、動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１のセクタとの対応を示す図である。
図７は、記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す図である。
図８は、ＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す図である。
図９は、図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す図である。
図１０は、本発明によるデータ処理を行うポータブルビデオコーダ１０−１、ムービーレコーダ１０−２およびＰＣ１０−３の接続環境を示す図である。
図１１は、データ処理装置１０における機能ブロックの構成を示す図である。
図１２は、本発明によるＭＰ４ストリーム１２のデータ構造を示す図である。
図１３は、ＭＰＥＧ２−ＰＳ１４の音声データの管理単位を示す図である。
図１４は、プログラムストリームとエレメンタリストリームとの関係を示す図である。
図１５は、付属情報１３のデータ構造を示す図である。
図１６は、アトム構造を構成する各アトムの内容を示す図である。
図１７は、データ参照アトム１５の記述形式の具体例を示す図である。
図１８は、サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す図である。
図１９は、サンプル記述アトム１７の記述形式の具体例を示す図である。
図２０は、サンプル記述エントリ１８の各フィールドの内容を示す図である。
図２１は、ＭＰ４ストリームの生成処理の手順を示すフローチャートである。
図２２は、本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２ Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。
図２３は、１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す図である。
図２４は、１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。
図２５は、１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す図である。
図２６は、１つの付属情報ファイルに対して２つのＰＳファイルが存在するＭＰ４ストリーム１２の例を示す図である。
図２７は、１つのＰＳファイル内に不連続なＭＰＥＧ２−ＰＳが複数存在する例を示す図である。
図２８は、シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを設けたＭＰ４ストリーム１２を示す図である。
図２９は、不連続点において不足する音声（オーディオ）フレームを示す図である。
図３０は、本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。
図３１は、本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。
図３２は、ＭＴＦファイル３２のデータ構造を示す図である。
図３３は、各種のファイルフォーマット規格の相互関係を示す図である。
図３４は、ＱｕｉｃｋＴｉｍｅストリームのデータ構造を示す図である。
図３５は、ＱｕｉｃｋＴｉｍｅストリームの付属情報１３における各アトムの内容を示す図である。
図３６は、記録画素数が変化する場合の動画ストリームのフラグ設定内容を説明する図である。

以下、添付の図面を参照しながら、本発明の実施形態を説明する。
図１０は、本発明によるデータ処理を行うポータブルビデオコーダ１０−１、ムービーレコーダ１０−２およびＰＣ１０−３の接続関係を示す。
ポータブルビデオコーダ１０−１は、付属のアンテナを利用して放送番組を受信し、放送番組を動画圧縮してＭＰ４ストリームを生成する。ムービーレコーダ１０−２は、映像を録画するとともに、映像に付随する音声を録音し、ＭＰ４ストリームを生成する。ＭＰ４ストリームでは、映像・音声データは、所定の圧縮符号化方式によって符号化され、本発明によるデータ構造にしたがって記述されている。ポータブルビデオコーダ１０−１およびムービーレコーダ１０−２は、生成したＭＰ４ストリームをＤＶＤ−ＲＡＭ等の記録媒体１３１に記録し、またはＩＥＥＥ１３９４、ＵＳＢ等のディジタルインターフェースを介して出力する。なお、ポータブルビデオコーダ１０−１、ムービーレコーダ１０−２等はより小型化が必要とされているため、記録媒体１３１は直径８ｃｍの光ディスクに限られず、それよりも小径の光ディスク等であってもよい。
ＰＣ１０−３は、記録媒体または伝送媒体を介してＭＰ４ストリームを受け取る。各機器がディジタルインターフェースを介して接続されていると、ＰＣ１０−３は、ムービーレコーダ１０−２等を外部記憶装置として制御して、各機器からＭＰ４ストリームを受け取ることができる。
ＰＣ１０−３が本発明によるＭＰ４ストリームの処理に対応したアプリケーションソフトウェア、ハードウェアを有する場合には、ＰＣ１０−３は、ＭＰ４ファイル規格に基づくＭＰ４ストリームとしてＭＰ４ストリームを再生することができる。一方、本発明によるＭＰ４ストリームの処理に対応していない場合には、ＰＣ１０−３は、ＭＰＥＧ２システム規格に基づいて動画ストリーム部分を再生することができる。なお、ＰＣ１０−３はＭＰ４ストリームの部分削除等の編集に関する処理を行うこともできる。本明細書においては「再生」という語は編集に関する処理を含む。以下では、図１０のポータブルビデオコーダ１０−１、ムービーレコーダ１０−２およびＰＣ１０−３を「データ処理装置」と称して説明する。
図１１は、データ処理装置１０における機能ブロックの構成を示す。以下では、本明細書では、データ処理装置１０は、ＭＰ４ストリームの記録機能と再生機能の両方を有するとして説明する。具体的には、データ処理装置１０は、ＭＰ４ストリームを生成して記録媒体１３１に書き込むことができ、かつ、記録媒体１３１に書き込まれたＭＰ４ストリームを再生することができる。記録媒体１３１は例えばＤＶＤ−ＲＡＭディスクであり、以下、「ＤＶＤ−ＲＡＭディスク１３１」と称する。
まず、データ処理装置１０のＭＰ４ストリーム記録機能を説明する。この機能に関連する構成要素として、データ処理装置１０は、映像信号入力部１００と、ＭＰＥＧ２−ＰＳ圧縮部１０１と、音声信号入力部１０２と、付属情報生成部１０３と、記録部１２０と、光ピックアップ１３０と、記録制御部１４１とを備えている。
映像信号入力部１００は映像信号入力端子であり、映像データを表す映像信号を受け取る。音声信号入力部１０２は音声信号入力端子であり、音声データを表す音声信号を受け取る。例えば、ポータブルビデオコーダ１０−１（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれチューナ部（図示せず）の映像出力部および音声出力部と接続され、それぞれから映像信号および音声信号を受け取る。また、ムービーレコーダ１０−２（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれカメラのＣＣＤ（図示せず）出力およびマイク出力から映像信号および音声信号を受け取る。
ＭＰＥＧ２−ＰＳ圧縮部（以下「圧縮部」と称する）１０１は、映像信号および音声信号を受け取ってＭＰＥＧ２システム規格のＭＰＥＧ２プログラムストリーム（以下、「ＭＰＥＧ２−ＰＳ」と称する）を生成する。生成されたＭＰＥＧ２−ＰＳは、ＭＰＥＧ２システム規格に基づいて、ストリームのみに基づいて復号することができる。ＭＰＥＧ２−ＰＳの詳細は後述する。
付属情報生成部１０３は、ＭＰ４ストリームの付属情報を生成する。付属情報は、参照情報および属性情報を含む。参照情報は、圧縮部１０１により生成されたＭＰＥＧ２−ＰＳを特定する情報であって、例えばＭＰＥＧ２−ＰＳが記録される際のファイル名およびＤＶＤ−ＲＡＭディスク１３１上の格納位置である。一方、属性情報は、ＭＰＥＧ２−ＰＳのサンプル単位の属性を記述した情報である。「サンプル」とは、ＭＰ４ファイル規格の付属情報に規定されるサンプル記述アトム（Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ａｔｏｍ；後述）における最小管理単位であり、サンプルごとのデータサイズ、再生時間等を記録している。１サンプルは、例えばランダムにアクセスすることが可能なデータ単位である。換言すれば、属性情報とはサンプルを再生するために必要な情報である。特に後述のサンプル記述アトム（Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ａｔｏｍ）は、アクセス情報とも称される。
属性情報は、具体的には、データの格納先アドレス、再生タイミングを示すタイムスタンプ、符号化ビットレート、コーデック等の情報である。属性情報は、各サンプル内の映像データおよび音声データの各々に対して設けられ、以下に明示的に説明するフィールドの記述を除いては、従来のＭＰ４ストリーム２０の付属情報の内容に準拠している。
後述のように、本発明の１サンプルは、ＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）である。なお、ＶＯＢＵはＤＶＤビデオレコーディング規格の同名のビデオオブジェクトユニットを意味する。付属情報の詳細は後述する。
記録部１２０は、記録制御部１４１からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ−ＲＡＭディスク１３１の特定の位置（アドレス）にデータを記録する。より具体的には、記録部１２０は、圧縮部１０１において生成されたＭＰＥＧ２−ＰＳおよび付属情報生成部１０３において生成された付属情報を、それぞれ別個のファイルとしてＤＶＤ−ＲＡＭディスク１３１上に記録する。
なお、データ処理装置１０は、データの記録に際して動作する連続データ領域検出部（以下、「検出部」）１４０および論理ブロック管理部（以下、「管理部」）１４３を有している。連続データ領域検出部１４０は、記録制御部１４１からの指示に応じて論理ブロック管理部１４３において管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。記録制御部１４１は、この空き領域に対して記録部１２０にデータの記録を指示する。データの具体的な記録方法は、図７を参照しながら説明した記録方法と同様であり特に差異はないので、その詳細な説明は省略する。なお、ＭＰＥＧ２−ＰＳおよび付属情報は、それぞれ別個のファイルとして記録されるので、図７におけるファイル・アイデンティファイア欄には、それぞれのファイル名が記述される。
次に、図１２を参照しながらＭＰ４ストリームのデータ構造を説明する。図１２は、本発明によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（”ＭＯＶ００１．ＭＰ４”）と、ＭＰＥＧ２−ＰＳ１４のデータファイル（”ＭＯＶ００１．ＭＰＧ”）（以下「ＰＳファイル」と称する）とを備えている。これら２つのファイル内のデータによって、１つのＭＰ４ストリームを構成する。本明細書では、同じＭＰ４ストリームに属することを明確にするため、付属情報ファイルおよびＰＳファイルに同じ名（”ＭＯＶ００１“）を付し、拡張子を異ならせている。具体的には、付属情報ファイルの拡張子は従来のＭＰ４ファイルの拡張子と同じ“ＭＰ４”を採用し、ＰＳファイルの拡張子は従来のプログラムストリームの一般的な拡張子“ＭＰＧ”を採用する。
付属情報１３は、ＭＰＥＧ２−ＰＳ１４を参照するための参照情報（”ｄｒｅｆ”）を有する。さらに、付属情報１３はＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）ごとの属性を記述した属性情報を含む。属性情報はＶＯＢＵごとの属性を記述しているので、データ処理装置１０はＶＯＢＵ単位でＭＰＥＧ２−ＰＳ１４に含まれるＶＯＢＵの任意の位置を特定して再生・編集等をすることができる。
ＭＰＥＧ２−ＰＳ１４は、映像パック、音声パック等がインターリーブされて構成されたＭＰＥＧ２システム規格に基づく動画ストリームである。映像パックは、パックヘッダと符号化された映像データとを含む。音声パックは、パックヘッダと符号化された音声データとを含む。ＭＰＥＧ２−ＰＳ１４では、映像の再生時間に換算して０．４〜１秒に相当する動画データを単位とするビデオオブジェクトユニット（ＶＯＢＵ）によりデータが管理されている。動画データは、複数の映像パックおよび音声パックを含む。データ処理装置１０は、付属情報１３において記述されている情報に基づいて、任意のＶＯＢＵの位置を特定しそのＶＯＢＵを再生することができる。なお、ＶＯＢＵは１以上のＧＯＰを含む。
本発明によるＭＰ４ストリーム１２の特徴の一つは、ＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ４システム規格で規定されるＭＰ４ストリームのデータ構造に従った属性情報１３に基づいて復号化することが可能であるとともに、ＭＰＥＧ２システム規格に基づいても復号化することが可能な点にある。付属情報ファイルおよびＰＳファイルが別々に記録されているため、データ処理装置１０がそれぞれを独立して解析、処理等することが可能だからである。例えば、本発明のデータ処理を実施可能なＭＰ４ストリーム再生装置等は、属性情報１３に基づいてＭＰ４ストリーム１２の再生時間等を調整し、ＭＰＥＧ２−ＰＳ１４の符号化方式を特定して、対応する復号化方式によって復号化できる。また、ＭＰＥＧ２−ＰＳを復号化することができる従来の装置等においては、はＭＰＥＧ２システム規格にしたがって復号化できる。これにより、現在広く普及しているＭＰＥＧ２システム規格にのみ対応したソフトウェアおよびハードウェアであっても、ＭＰ４ストリームに含まれる動画ストリームを再生することができる。
なお、ＶＯＢＵ単位のサンプル記述アトム（Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ａｔｏｍ）を設けると同時に、図１３に示すように、ＭＰＥＧ２−ＰＳ１４の音声データの所定時間のフレーム分を管理単位としたサンプル記述アトム（Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ａｔｏｍ）を設けてもよい。所定時間とは、例えば０．１秒である。図中「Ｖ」は図１２の映像パックを示し、「Ａ」は音声パックを示す。０．１秒分の音声フレームは１個以上の複数のパックから構成される。１音声フレームは、例えばＡＣ−３の場合、サンプリング周波数を４８ｋＨｚとしたとき、サンプリング個数にして１５３６サンプルの音声データを含む。このとき、サンプル記述アトムは、トラックアトム内のユーザデータアトム内に設けるか、または独立したトラックのサンプル記述アトムとして設けてもよい。また、他の実施例としては、付属情報１３は、ＶＯＢＵに同期する０．４〜１秒分の音声フレームを単位として、その単位毎の合計データサイズ、先頭パックのデータアドレス、および出力タイミングを示すタイムスタンプ等の属性を保持してもよい。
次に、ＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）のデータ構造を説明する。図１４は、プログラムストリームとエレメンタリストリームとの関係を示す。ＭＰＥＧ２−ＰＳ１４のＶＯＢＵは、複数の映像パック（Ｖ＿ＰＣＫ）および音声パック（Ａ＿ＰＣＫ）を含む。なお、より厳密には、ＶＯＢＵはシーケンスヘッダ（図中のＳＥＱヘッダ）から、次のシーケンスヘッダの直前のパックまでによって構成される。すなわち、シーケンスヘッダはＶＯＢＵの先頭に配置される。一方、エレメンタリストリーム（Ｖｉｄｅｏ）は、Ｎ個のＧＯＰを含む。ＧＯＰは、各種のヘッダ（シーケンス（ＳＥＱ）ヘッダおよびＧＯＰヘッダ）および映像データ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を含む。エレメンタリストリーム（Ａｕｄｉｏ）は、複数の音声フレームを含む。
ＭＰＥＧ２−ＰＳ１４のＶＯＢＵに含まれる映像パックおよび音声パックは、それぞれエレメンタリストリーム（Ｖｉｄｅｏ）／（Ａｕｄｉｏ）の各データを用いて構成されており、それぞれのデータ量が２キロバイトになるように構成されている。なお、上述のように各パックにはパックヘッダが設けられる。
なお、字幕データ等の副映像データに関するエレメンタリストリーム（図示せず）が存在するときは、ＭＰＥＧ２−ＰＳ１４のＶＯＢＵはさらにその副映像データのパックも含む。
次に、図１５および図１６を参照しながら、ＭＰ４ストリーム１２における付属情報１３のデータ構造を説明する。図１５は、付属情報１３のデータ構造を示す。このデータ構造は「アトム構造」とも呼ばれ、階層化されている。例えば、“Ｍｏｖｉｅ Ａｔｏｍ”は、“Ｍｏｖｉｅ Ｈｅａｄｅｒ Ａｔｏｍ”、“Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ Ａｔｏｍ”および“Ｔｒａｃｋ Ａｔｏｍ”を含む。さらに“Ｔｒａｃｋ Ａｔｏｍ”は、“Ｔｒａｃｋ Ｈｅａｄｅｒ Ａｔｏｍ”、“Ｅｄｉｔ Ｌｉｓｔ Ａｔｏｍ”、“Ｍｅｄｉａ Ａｔｏｍ”および“Ｕｓｅｒ Ｄａｔａ Ａｔｏｍ”を含む。図示された他のＡｔｏｍも同様である。
本発明では、特にデータ参照アトム（“Ｄａｔａ Ｒｅｆｅｒｅｎｃｅ Ａｔｏｍ”；ｄｒｅｆ）１５およびサンプルテーブルアトム（“Ｓａｍｐｌｅ Ｔａｂｌｅ Ａｔｏｍ”；ｓｔｂｌ）１６を利用して、サンプル単位の属性を記述する。上述のように、１サンプルはＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）に対応する。サンプルテーブルアトム１６は、図示される６つの下位アトムを含む。
図１６は、アトム構造を構成する各アトムの内容を示す。データ参照アトム（“Ｄａｔａ Ｒｅｆｅｒｅｎｃｅ Ａｔｏｍ”）は、動画ストリーム（ＭＰＥＧ２−ＰＳ）１４のファイルを特定する情報をＵＲＬ形式で格納する。一方、サンプルテーブルアトム（“Ｓａｍｐｌｅ Ｔａｂｌｅ Ａｔｏｍ”）は、下位のアトムによってＶＯＢＵ毎の属性を記述する。例えば、“Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ ｔｏ Ｓａｍｐｌｅ Ａｔｏｍ”においてＶＯＢＵ毎の再生時間を格納し、“Ｓａｍｐｌｅ Ｓｉｚｅ Ａｔｏｍ”においてＶＯＢＵ毎のデータサイズを格納する。また“Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ａｔｏｍ”は、ＭＰ４ストリーム１２を構成するＰＳファイルのデータがＭＰＥＧ２−ＰＳ１４であることを示すとともに、ＭＰＥＧ２−ＰＳ１４の詳細な仕様を示す。以下では、データ参照アトム（“Ｄａｔａ Ｒｅｆｅｒｅｎｃｅ Ａｔｏｍ）によって記述される情報を「参照情報」と称し、サンプルテーブルアトム（“Ｓａｍｐｌｅ Ｔａｂｌｅ Ａｔｏｍ”）において記述される情報を「属性情報」と称する。
図１７は、データ参照アトム１５の記述形式の具体例を示す。ファイルを特定する情報は、データ参照アトム１５を記述するフィールドの一部（ここでは“ＤａｔａＥｎｔｒｙＵｒｌＡｔｏｍ”）において記述される。ここでは、ＵＲＬ形式により、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置が記述されている。データ参照アトム１５を参照することにより、その付属情報１３とともにＭＰ４ストリーム１２を構成するＭＰＥＧ２−ＰＳ１４を特定できる。なお、ＭＰＥＧ２−ＰＳ１４がＤＶＤ−ＲＡＭディスク１３１に記録される前であっても、図１１の付属情報生成部１０３は、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置を特定することができる。ファイル名は予め決定でき、かつ、ファイルの格納位置もファイルシステムの階層構造の表記によって論理的に特定できるからである。
図１８は、サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す。各アトムは、フィールド名、繰り返しの可否およびデータサイズを規定する。例えば、サンプルサイズアトム（Ｓａｍｐｌｅ Ｓｉｚｅ Ａｔｏｍ”）は、３つのフィールド（“ｓａｍｐｌｅ−ｓｉｚｅ”、“ｓａｍｐｌｅ ｃｏｕｎｔ”および“ｅｎｔｒｙ−ｓｉｚｅ”）を有する。このうち、サンプルサイズ（“ｓａｍｐｌｅ−ｓｉｚｅ”）フィールドには、ＶＯＢＵのデフォルトのデータサイズが格納され、エントリサイズ（“ｅｎｔｒｙ−ｓｉｚｅ”）フィールドには、ＶＯＢＵのデフォルト値とは異なる個別のデータサイズが格納される。なお、図中の「設定値」欄のパラメータ（“ＶＯＢＵ＿ＥＮＴ”等）にはＤＶＤビデオレコーディング規格の同名のアクセスデータと同じ値が設定される。
図１８に示すサンプル記述アトム（“Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ａｔｏｍ”）１７は、サンプル単位の属性情報を記述する。以下、サンプル記述アトム１７に記述される情報の内容を説明する。
図１９は、サンプル記述アトム１７の記述形式の具体例を示す。サンプル記述アトム１７は、そのデータサイズ、各ＶＯＢＵを１サンプルとするサンプル単位の属性情報等を記述する。属性情報は、サンプル記述アトム１７の“ｓａｍｐｌｅ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｅｎｔｒｙ”１８に記述される。
図２０は、“ｓａｍｐｌｅ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｅｎｔｒｙ”１８の各フィールドの内容を示す。エントリ１８は、対応するＭＰＥＧ２−ＰＳ１４の符号化形式を指定するデータフォーマット（“ｄａｔａ−ｆｏｒｍａｔ”）を含む。図中の“ｐ２ｓｍ”は、ＭＰＥＧ２−ＰＳ１４がＭＰＥＧ２ Ｖｉｄｅｏを含むＭＰＥＧ２プログラムストリームであることを示す。
エントリ１８は、そのサンプルの表示開始時刻（“開始Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ”）および表示終了時刻（“終了Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ”）を含む。これらは、最初および最後の映像フレームのタイミング情報を格納する。また、エントリ１８は、そのサンプル内の映像ストリームの属性情報（“映像ＥＳ属性”）および音声ストリームの属性情報（“音声ＥＳ属性”）を含む。図１９に示すように、映像データの属性情報は、映像のＣＯＤＥＣ種別（例えば、ＭＰＥＧ２ビデオ）、映像データの幅（“Ｗｉｄｔｈ”）、高さ（“ｈｅｉｇｈｔ”）等を特定する。同様に、音声データの属性情報は、音声のＣＯＤＥＣ種別（例えば、ＡＣ−３）、音声データのチャネル数（“ｃｈａｎｎｅｌ ｃｏｕｎｔ”）、音声サンプルのサイズ（“ｓａｍｐｌｅｓｉｚｅ”）、サンプリングレート（“ｓａｍｐｌｅｒａｔｅ”）等を特定する。
さらにエントリ１８は、不連続点開始フラグおよびシームレス情報を含む。これらの情報は、後述のように、１つのＭＰ４ストリーム１２内に複数のＰＳストリームが存在するときに記述される。例えば、不連続点開始フラグの値が“０”のときは、前の動画ストリームと現在の動画ストリームとが完全に連続したプログラムストリームであることを示し、値が“１”のときは、それらの動画ストリームは不連続のプログラムストリームであることを示す。そして不連続の場合には、動画や音声等の不連続点においても途切れ無く動画、音声等を再生するためのシームレス情報の記述が可能である。シームレス情報は、再生時に音声不連続情報およびＳＣＲ不連続情報を含む。音声不連続情報の無音声区間（すなわち図３１のオーディオギャップ）の有無、開始タイミングおよび時間長を含む。ＳＣＲ不連続情報には不連続点の直前と直後のパックのＳＣＲ値を含む。
不連続点開始フラグを設けることにより、Ｓａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｅｎｔｒｙの切り替えと動画ストリームの連続性の切り替え箇所を独立して指定できる。図３６に示すように、例えば、記録画素数が途中で変化する際にはＳａｍｐｌｅ Ｄｅｓｃｒｉｐｔｉｏｎを変化させるが、このとき、動画ストリーム自体が連続しているのであれば不連続点開始フラグを０に設定してもよい。不連続点開始フラグが０であることにより、情報ストリームを直接編集する場合に、ＰＣ等は、２つの動画ストリームの接続点を再編集しなくてもシームレスな再生が可能であることを把握することができる。なお、図３６では水平画素数が変化した場合を例にしているが、その他の属性情報が変化した場合であってもよい。例えば、アスペクト情報に関して４：３のアスペクト比が１６：９に変化した場合や、音声のビットレートが変化した場合等である。
以上、図１２に示すＭＰ４ストリーム１２の付属情報１３およびＭＰＥＧ２−ＰＳ１４のデータ構造を説明した。上述のデータ構造においては、ＭＰＥＧ２−ＰＳ１４の部分削除を行う際には、付属情報１３内のタイムスタンプ等の属性情報を変更するだけでよく、ＭＰＥＧ２−ＰＳ１４に設けられているタイムスタンプを変更する必要がない。よって従来のＭＰ４ストリームの利点を活かした編集処理が可能である。さらに、上述のデータ構造によれば、ＭＰＥＧ２システム規格のストリームに対応したアプリケーションやハードウェアを用いてＰＣ上で動画編集するときは、ＰＳファイルのみをＰＣにインポートすればよい。ＰＳファイルのＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ２システム規格の動画ストリームだからである。このようなアプリケーションやハードウェアは広く普及しているので、既存のソフトウェアおよびハードウェアを有効に活用できる。同時に、付属情報をＩＳＯ規格に準拠したデータ構造で記録できる。
次に、図１１および図２１を参照しながら、データ処理装置１０がＭＰ４ストリームを生成し、ＤＶＤ−ＲＡＭディスク１３１上に記録する処理を説明する。図２１は、ＭＰ４ストリームの生成処理の手順を示すフローチャートである。まずステップ２１０において、データ処理装置１０は、映像信号入力部１００を介して映像データを受け取り、音声信号入力部１０２を介して音声データを受け取る。そしてステップ２１１において、圧縮部１０１は受け取った映像データおよび音声データをＭＰＥＧ２システム規格に基づいて符号化する。続いて圧縮部１０１は、ステップ２１２において映像および音声の符号化ストリームを利用して、ＭＰＥＧ２−ＰＳを構成する（図１４）。
ステップ２１３において、記録部１２０は、ＭＰＥＧ２−ＰＳをＤＶＤ−ＲＡＭディスク１３１に記録する際のファイル名および記録位置を決定する。ステップ２１４において、付属情報生成部１０３は、ＰＳファイルのファイル名および記録位置を取得して参照情報（Ｄａｔａ Ｒｅｆｅｒｅｎｃｅ Ａｔｏｍ；図１７）として記述すべき内容を特定する。図１７に示すように、本明細書では、ファイル名と記録位置とを同時に指定できる記述方式を採用した。
次に、ステップ２１５において、付属情報生成部１０３はＭＰＥＧ２−ＰＳ１４に規定されるＶＯＢＵ毎に、再生時間、データサイズ等を表すデータを取得して属性情報（Ｓａｍｐｌｅ Ｔａｂｌｅ Ａｔｏｍ；図１８〜２０）として記述すべき内容を特定する。属性情報をＶＯＢＵ単位で設けることにより、任意のＶＯＢＵの読み出しおよび復号化が可能になる。これは、１ＶＯＢＵを１サンプルとして取り扱うことを意味する。
次に、ステップ２１６において、付属情報生成部１０３は参照情報（Ｄａｔａ Ｒｅｆｅｒｅｎｃｅ Ａｔｏｍ）および属性情報（Ｓａｍｐｌｅ Ｔａｂｌｅ Ａｔｏｍ）等に基づいて、付属情報を生成する。
ステップ２１７において、記録部１２０は、付属情報１３およびＭＰＥＧ２−ＰＳ１４をＭＰ４ストリーム１２として出力し、ＤＶＤ−ＲＡＭディスク１３１上にそれぞれ付属情報ファイルおよびＰＳファイルとして別々に記録する。以上の手順にしたがって、ＭＰ４ストリームが生成され、ＤＶＤ−ＲＡＭディスク１３１に記録される。
次に、再び図１１および図１２を参照しながら、データ処理装置１０のＭＰ４ストリーム再生機能を説明する。ＤＶＤ−ＲＡＭディスク１３１には、上述のデータ構造を有する付属情報１３およびＭＰＥＧ２−ＰＳ１４を有するＭＰ４ストリーム１２が記録されているとする。データ処理装置１０は、ユーザの選択によりＤＶＤ−ＲＡＭディスク１３１に記録されたＭＰＥＧ２−ＰＳ１４を再生および復号化する。再生機能に関連する構成要素として、データ処理装置１０は、映像信号出力部１１０と、ＭＰＥＧ２−ＰＳ復号部１１１と、音声信号出力部１１２と、再生部１２１と、ピックアップ１３０と、再生制御部１４２とを備えている。
まず、再生部１２１は、再生制御部１４２からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ−ＲＡＭディスク１３１からＭＰ４ファイルを読み出して付属情報１３を取得する。再生部１２１は、取得した付属情報１３を再生制御部１４２に出力する。また、再生部１２１は、後述の再生制御部１４２から出力された制御信号に基づいて、ＤＶＤ−ＲＡＭディスク１３１からＰＳファイルを読み出す。制御信号は、読み出すべきＰＳファイル（“ＭＯＶ００１．ＭＰＧ”）を指定する信号である。
再生制御部１４２は、再生部１２１から付属情報１３を受け取り、そのデータ構造を解析することにより、付属情報１３に含まれる参照情報１５（図１７）を取得する。再生制御部１４２は、参照情報１５において指定されたＰＳファイル（“ＭＯＶ００１．ＭＰＧ”）を、指定された位置（“．／”：ルートディレクトリ）から読み出すことを指示する制御信号を出力する。
ＭＰＥＧ２−ＰＳ復号部１１１は、ＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３に含まれる属性情報に基づいて、ＭＰＥＧ２−ＰＳ１４から映像データおよび音声データを復号する。より具体的に説明すると、ＭＰＥＧ２−ＰＳ復号部１１１は、サンプル記述アトム１７（図１９）のデータフォーマット（“ｄａｔａ−ｆｏｒｍａｔ”）、映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を読み出し、それらの情報に指定された符号化形式、映像データの表示サイズ、サンプリング周波数等に基づいて、映像データおよび音声データを復号する。
映像信号出力部１１０は映像信号出力端子であり、復号化された映像データを映像信号として出力する。音声信号出力部１１２は音声信号出力端子であり、復号化された音声データを音声信号として出力する。
データ処理装置１０がＭＰ４ストリームを再生する処理は、従来のＭＰ４ストリームファイルの再生処理と同様、まず拡張子が“ＭＰ４”のファイル（“ＭＯＶ００１．ＭＰ４”）の読み出しから開始される。具体的には以下のとおりである。まず再生部１２１は付属情報ファイル（“ＭＯＶ００１．ＭＰ４”）を読み出す。次に、再生制御部１４２は付属情報１３を解析して参照情報（Ｄａｔａ Ｒｅｆｅｒｅｎｃｅ Ａｔｏｍ）を抽出する。再生制御部１４２は、抽出された参照情報に基づいて、同じＭＰ４ストリームを構成するＰＳファイルの読み出しを指示する制御信号を出力する。本明細書では、再生制御部１４２から出力された制御信号は、ＰＳファイル（“ＭＯＶ００１．ＭＰＧ”）の読み出しを指示している。
次に、再生部１２１は、制御信号に基づいて、指定されたＰＳファイルを読み出す。次に、ＭＰＥＧ２−ＰＳ復号部１１１は、読み出されたデータファイルに含まれるＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３を解析して属性情報を抽出する。そしてＭＰＥＧ２−ＰＳ復号部１１１は、属性情報に含まれるサンプル記述アトム１７（図１９）に基づいて、ＭＰＥＧ２−ＰＳ１４のデータフォーマット（“ｄａｔａ−ｆｏｒｍａｔ”）、ＭＰＥＧ２−ＰＳ１４に含まれる映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を特定して、映像データおよび音声データを復号する。以上の処理により、付属情報１３に基づいてＭＰＥＧ２−ＰＳ１４が再生される。
なお、ＭＰＥＧ２システム規格のストリームを再生可能な従来の再生装置、再生ソフトウェア等であれば、ＰＳファイルのみを再生することによってＭＰＥＧ２−ＰＳ１４を再生することができる。このとき、再生装置等はＭＰ４ストリーム１２の再生に対応していなくてもよい。ＭＰ４ストリーム１２は付属情報１３およびＭＰＥＧ２−ＰＳ１４を別個のファイルによって構成されているので、例えば拡張子に基づいてＭＰＥＧ２−ＰＳ１４が格納されているＰＳファイルを容易に識別し、再生することができる。
図２２は、本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２ Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。図において、本発明（１）のカラムがこれまで説明した１ＶＯＢＵを１サンプルとする例に相当する。従来例では、１映像フレーム（Ｖｉｄｅｏ ｆｒａｍｅ）を１サンプルとして各サンプルにサンプルテーブルアトム（Ｓａｍｐｌｅ Ｔａｂｌｅ Ａｔｏｍ）等の属性情報（アクセス情報）を設けていた。本発明によれば、映像フレームを複数含むＶＯＢＵをサンプル単位としてサンプル毎にアクセス情報を設けたので、属性情報の情報量を大幅に低減できる。したがって本発明による１ＶＯＢＵを１サンプルとすることが好適である。
図２２の本発明（２）のカラムは、本発明（１）に示すデータ構造の変形例を示す。本発明（２）と本発明（１）との相違点は、本発明（２）の変形例では１チャンク（ｃｈｕｎｋ）に１ＶＯＢＵを対応させてチャンク毎にアクセス情報を構成する点である。ここで、「チャンク」とは、複数のサンプルによって構成された単位である。このとき、ＭＰＥＧ２−ＰＳ１４のパックヘッダを含む映像フレームが、１サンプルに対応する。図２３は、１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す。図１２の１サンプルを１チャンクに置き換えた点が相違する。なお、従来例では１サンプルに１映像フレームを対応させ、１チャンクに１ＧＯＰを対応させている。
図２４は、１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。図１５に示す１サンプルに１ＶＯＢＵを対応させたときのデータ構造と比較すると、付属情報１３の属性情報に含まれるサンプルテーブルアトム１９に規定される内容が異なっている。図２５は、１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す。
次に、ＭＰ４ストリーム１２を構成するＰＳファイルに関する変形例を説明する。図２６は、１つの付属情報ファイル（“ＭＯＶ００１．ＭＰ４”）に対して２つのＰＳファイル（”ＭＯＶ００１．ＭＰＧ”および”ＭＯＶ００２．ＭＰＧ”）が存在するＭＰ４ストリーム１２の例を示す。２つのＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ１４のデータが別々に記録されている。各ＰＳファイル内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）およびＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）は連続している。しかし、ＰＳファイル相互間（各ＰＳファイルに含まれるＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）には、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないとする。２つのＰＳファイルは別々のトラック（図）として取り扱われる。
付属情報ファイルには、各ＰＳファイルのファイル名および記録位置を特定する参照情報（ｄｒｅｆ；図１７）が記述されている。例えば、参照情報は参照すべき順序に基づいて記述されている。図では、参照＃１により特定されたＰＳファイル”ＭＯＶ００１．ＭＰＧ”が再生され、その後、参照＃２により特定されたＰＳファイル”ＭＯＶ００２．ＭＰＧ”が再生される。このように複数のＰＳファイルが存在していても、付属情報ファイル内に各ＰＳファイルの参照情報を設けることにより、各ＰＳファイルを実質的に接続して再生することができる。
図２７は、１つのＰＳファイル内に不連続のＭＰＥＧ２−ＰＳが複数存在する例を示す。ＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ＃１および＃２のデータが連続的に配列されている。「不連続のＭＰＥＧ２−ＰＳ」とは、２つのＭＰＥＧ２−ＰＳ間（ＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）では、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないことを意味する。すなわち、再生タイミングに連続性がないことを意味する。不連続点は、２つのＭＰＥＧ２−ＰＳの境界に存在する。なお各ＭＰＥＧ２−ＰＳ内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ、ＰＴＳおよびＤＴＳは連続している。
付属情報ファイルには、ＰＳファイルのファイル名および記録位置を特定する参照情報（ｄｒｅｆ；図１７）が記述されている。付属情報ファイルにはそのＰＳファイルを指定する参照情報が１つ存在する。しかしＰＳファイルを順に再生すると、ＭＰＥＧ２−ＰＳ＃１と＃２との不連続点においては再生できなくなる。ＳＣＲ、ＰＴＳ、ＤＴＳ等が不連続になるからである。そこで、この不連続点に関する情報（不連続点の位置情報（アドレス）等）を付属情報ファイルに記述する。具体的には、不連続点の位置情報は、図１９における「不連続点開始フラグ」として記録する。例えば、再生時には再生制御部１４２は不連続点の位置情報を算出して、不連続点の後に存在するＭＰＥＧ２−ＰＳ＃２の映像データを先読み等することにより、少なくとも映像データの連続的な再生が途切れないように再生を制御する。
図２６を参照しながら、互いに不連続なＭＰＥＧ２−ＰＳを含む２つのＰＳファイルに対して、２つの参照情報を設けて再生する手順を説明した。しかし、図２８に示すように、２つのＰＳファイルに対してシームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを新たに挿入し、シームレスに当初の２つのＰＳファイルを再生することができる。図２８は、シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイル（“ＭＯＶ００２．ＭＰＧ”）を設けたＭＰ４ストリーム１２を示す。ＰＳファイル（“ＭＯＶ００２．ＭＰＧ”）は、ＭＰＥＧ２−ＰＳ＃１とＭＰＥＧ２−ＰＳ＃３との不連続点において不足する音声フレームを含む。以下、図２９を参照しながらより詳しく説明する。
図２９は、不連続点において不足する音声（オーディオ）フレームを示す。図では、ＭＰＥＧ２−ＰＳ＃１を含むＰＳファイルを「ＰＳ＃１」と表記し、ＭＰＥＧ２−ＰＳ＃３を含むＰＳファイルを「ＰＳ＃３」と表記する。
まず、ＰＳ＃１のデータが処理され、次にＰＳ＃３のデータが処理されるとする。上から２段目のＤＴＳビデオフレームおよび３段目のＰＴＳビデオフレームは、それぞれ映像フレームに関するタイムスタンプを示す。これらから明らかなように、ＰＳファイル＃１および＃３は、映像が途切れることなく再生される。しかし、オーディオフレームに関しては、ＰＳ＃１の再生が終了した後ＰＳ＃３が再生されるまでの間、一定区間データが存在しない無音区間が発生する。これでは、シームレス再生を実現できない。
そこで、新たにＰＳ＃２を設け、シームレス接続のための音声フレームを含むＰＳファイルを設けて、付属情報ファイルから参照するようにした。この音声フレームは、無音区間を埋める音声データを含み、例えばＰＳ＃１末尾の動画に同期して記録されている音声データがコピーされる。図２９に示すように、オーディオフレームの段にはシームレス接続用オーディオフレームがＰＳ＃１の次に挿入されている。ＰＳ＃２の音声フレームは、ＰＳ＃３の開始前１フレーム以内になるまで設けられる。これに伴って、付属情報１３に新たなＰＳ＃２を参照する参照情報（図２８のｄｒｅｆ）を設け、ＰＳ＃１の次に参照されるように設定する。
なお、図２９には「オーディオギャップ」として示される１音声フレーム分以下の無データ区間（無音区間）が存在しているが、ＰＳ＃２内にあと１音声フレーム相当分のデータを余分に含め、無音区間が発生しないようにしてもよい。この場合には、例えばＰＳ＃２とＰＳ＃３に同じ音声データサンプルを含む部分、すなわちオーディオフレームがオーバーラップする部分が含まれることになる。しかし、特に問題は生じない。オーバーラップする部分はいずれのデータを再生しても同じ音声が出力されるからである。
以上の処理により、不連続な複数のＰＳファイルを再生する際には、時間的に連続して復号し再生することができる。
なお、図２９では参照情報（ｄｒｅｆ）を用いてＰＳファイルを参照するとして説明したが、ＰＳ＃２ファイルに限っては他のアトム（例えば独自に定義した専用アトム）、または第２のＰＳトラックからＰＳ＃２を参照してもよい。換言すれば、ＤＶＤビデオレコーディング規格に準拠するＰＳファイルのみ、“ｄｒｅｒ”アトムから参照するようにしてもよい。または、ＰＳ＃２ファイル内の音声フレームをエレメンタリストリームの独立ファイルとして記録し、付属情報ファイルに設けた独立した音声トラックアトムより参照し、さらに、ＰＳ＃１の末尾に並列して再生するように付属情報ファイルに記述してもよい。ＰＳ＃１と音声のエレメンタリストリームの同時再生のタイミングは、付属情報のエディットリストアトム（例えば図１５）によって指定可能である。
これまでは、動画ストリームはＭＰＥＧ２プログラムストリームであるとして説明した。しかし、ＭＰＥＧ２システム規格で規定されたＭＰＥＧ２−トランスポートストリーム（以下、「ＭＰＥＧ２−ＴＳ」）によって動画ストリームを構成することもできる。
図３０は、本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（”ＭＯＶ００１．ＭＰ４”）と、ＭＰＥＧ２−ＴＳ１４のデータファイル（“ＭＯＶ００１．Ｍ２Ｔ”）（以下「ＴＳファイル」と称する）とを備えている。
ＭＰ４ストリーム１２において、ＴＳファイルが付属情報１３内の参照情報（ｄｒｅｆ）によって参照される点は、図１２のＭＰ４ストリームと同様である。
ＭＰＥＧ２−ＴＳ１４にはタイムスタンプが付加されている。より詳しく説明すると、ＭＰＥＧ２−ＴＳ１４には、送出時に参照される４バイトのタイムスタンプが１８８バイトのトランスポートパケット（以下「ＴＳパケット」）の前に付加されている。その結果、映像を含むＴＳパケット（Ｖ＿ＴＳＰ）および音声を含むＴＳパケット（Ａ＿ＴＳＰ）は１９２バイトで構成されている。なおタイムスタンプはＴＳパケットの後ろに付加されていてもよい。
図３０に示すＭＰ４ストリーム１２では、図１２におけるＶＯＢＵと同様、映像にして約０．４〜１秒に相当する映像データを含むＴＳパケットを１サンプルとして付属情報１３に属性情報を記述することができる。さらに図１３と同様、１フレームの音声データのデータサイズ、データアドレスおよび再生タイミング等を付属情報１３に記述してもよい。
また、１フレームを１サンプルに対応させ複数のフレームを１チャンクに対応させてもよい。図３１は、本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す。このとき、図２３と同様、映像にして約０．４〜１秒に相当する映像データを含む複数のＴＳパケットを１チャンクに対応させ、１チャンク毎にアクセス情報を設定することにより、図１２に示す構成のＭＰ４ストリーム１２と全く同様の利点が得られる。
なお、上述の図３０および３１のデータ構造を利用するときの各ファイルの構成およびデータ構造に基づく処理は、図１２、１３および２３に関連して説明した処理と類似する。それらの説明は、図１２、１３および２３における映像パックおよび音声パックに関する説明を、それぞれ図３０に示すタイムスタンプを含めた映像用ＴＳパケット（Ｖ＿ＴＳＰ）および音声用ＴＳパケット（Ａ＿ＴＳＰ）に置き換えて読めばよい。
次に、図３２を参照しながら、これまで説明したデータ処理を適用可能な他のデータフォーマットのファイル構造を説明する。図３２は、ＭＴＦファイル３２のデータ構造を示す。ＭＴＦ３２は、動画の記録および編集結果の格納に用いられるファイルである。ＭＴＦファイル３２は複数の連続したＭＰＥＧ２−ＰＳ１４を含んでおり、また、一方、各ＭＰＥＧ２−ＰＳ１４は、複数のサンプル（“Ｐ２Ｓａｍｐｌｅ”）を含む。サンプル（“Ｐ２Ｓａｍｐｌｅ”）はひとつの連続したストリームである。例えば、図１２に関連して説明したように、サンプル単位で属性情報を設けることができる。これまでの説明では、このサンプル（“Ｐ２Ｓａｍｐｌｅ”）がＶＯＢＵに相当する。各サンプルは、各々が一定のデータ量（２０４８バイト）で構成された複数の映像パックおよび音声パックを含む。また、例えば、２つのＭＴＦをひとつにまとめると、ＭＴＦは２つのＰ２ｓｔｒｅａｍから構成される。
ＭＴＦ３２内で前後するＭＰＥＧ２−ＰＳ１４が連続したプログラムストリームのときは、連続する範囲において１つの参照情報を設け、１つのＭＰ４ストリームを構成できる。前後するＭＰＥＧ２−ＰＳ１４が不連続のプログラムストリームであるときは、図２７に示すように不連続点のデータアドレスを属性情報に設けてＭＰ４ストリーム１２を構成できる。よってＭＴＦ３２においても、これまで説明したデータ処理を適用できる。
これまでは、２００１年に標準化されたＭＰ４ファイルフォーマットを拡張してＭＰＥＧ２システムストリームを取り扱う例を説明したが、本発明は、ＱｕｉｃｋＴｉｍｅファイルフォーマットおよびＩＳＯ Ｂａｓｅ Ｍｅｄｉａファイルフォーマットを同様に拡張してもＭＰＥＧ２システムストリームを取り扱うことができる。ＭＰ４ファイルフォーマットおよびＩＳＯ Ｂａｓｅ Ｍｅｄｉａファイルフォーマットの大部分の仕様はＱｕｉｃｋＴｉｍｅファイルフォーマットをベースとして規定されており、その仕様の内容も同じだからである。図３３は、各種のファイルフォーマット規格の相互関係を示す。「本発明」と、「ＭＰ４（２００１）」と、「ＱｕｉｃｋＴｉｍｅ」とが重複するアトム種別（ｍｏｏｖ，ｍｄａｔ）では、上述した本発明によるデータ構造を適用することができる。これまでにも説明しているように、アトム種別“ｍｏｏｖ”は付属情報の最上位階層の“Ｍｏｖｉｅ Ａｔｏｍ”として図１５等において示しているとおりである。
図３４は、ＱｕｉｃｋＴｉｍｅストリームのデータ構造を示す。ＱｕｉｃｋＴｉｍｅストリームもまた、付属情報１３を記述したファイル（“ＭＯＶ００１．ＭＯＶ”）と、ＭＰＥＧ２−ＰＳ１４を含むＰＳファイル（“ＭＯＶ００１．ＭＰＧ“）とによって構成される。図１５に示すＭＰ４ストリーム１２と比較すると、ＱｕｉｃｋＴｉｍｅストリームの付属情報１３に規定されている“Ｍｏｖｉｅ Ａｔｏｍ”の一部が変更される。具体的には、ヌルメディアヘッダアトム（”Ｎｕｌｌ Ｍｅｄｉａ Ｈｅａｄｅｒ Ａｔｏｍ”）に代えて、ベースメディアヘッダアトム（“Ｂａｓｅ Ｍｅｄｉａ Ｈｅａｄｅｒ Ａｔｏｍ”）３６が新たに設けられていること、および、図１５の３段目に記載されているオブジェクト記述アトム（“Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ Ａｔｏｍ”）が図３４の付属情報１３では削除されていることである。図３５は、ＱｕｉｃｋＴｉｍｅストリームの付属情報１３における各アトムの内容を示す。追加されたベースメディアヘッダアトム（“Ｂａｓｅ Ｍｅｄｉａ Ｈｅａｄｅｒ Ａｔｏｍ”）３６は、各サンプル（ＶＯＢＵ）内のデータが、映像フレームおよび音声フレームのいずれでもない場合に、このアトムによりその旨が示される。図３５に示す他のアトム構造およびその内容は、上述のＭＰ４ストリーム１２を用いて説明した例と同じであるので、それらの説明は省略する。
以上、本発明の実施形態を説明した。図１２のＭＰＥＧ２−ＰＳ１４は０．４〜１秒分の動画データ（ＶＯＢＵ）から構成されるとしたが、時間の範囲は異なっていてもよい。また、ＭＰＥＧ２−ＰＳ１４は、ＤＶＤビデオレコーディング規格のＶＯＢＵから構成されるとしたが、他のＭＰＥＧ２システム規格に準拠したプログラムストリームや、ＤＶＤビデオ規格に準拠したプログラムストリームであってもよい。
図１１に示すデータ処理装置１０では、記録媒体１３１をＤＶＤ−ＲＡＭディスクであるとして説明したが、特にこれに限定されることはない。例えば記録媒体１３１は、ＭＯ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光記録媒体やハードディスク等の磁性記録媒体である。また、記録媒体１３１は、半導体メモリ等の半導体記録媒体であってもよい。
データ処理装置１０は、コンピュータプログラムに基づいてデータストリームの生成、記録および再生処理を行う。例えば、データストリームを生成し、記録する処理は、図２１に示すフローチャートに基づいて記述されたコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録することができる。なお、光ディスク装置１００は、記録媒体を介してのみならず、インターネット等の電気通信回線を介してもコンピュータプログラムを取得できる。

本発明によれば、付属情報のデータ構造をＩＳＯ規格に準拠させて現在の最新の規格に適合しつつ、従来のフォーマットと同等のデータストリームのデータ構造およびそのようなデータ構造に基づいて動作するデータ処理装置が提供される。データストリームは従来のフォーマットにも対応するので、既存のアプリケーション等もデータストリームを利用できる。よって既存のソフトウェアおよびハードウェアを有効に活用できる。

本発明は、光ディスク等の記録媒体に動画ストリームのストリームデータを記録するデータ処理装置および方法等に関する。

映像データを低いビットレートで圧縮し符号化する種々のデータストリームが規格化されている。そのようなデータストリームの例として、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ １３８１８−１）のシステムストリームが知られている。システムストリームは、プログラムストリーム（ＰＳ）、トランスポートストリーム（ＴＳ）、およびＰＥＳストリームの３種類を包含する。

近年、新たにＭＰＥＧ４システム規格（ＩＳＯ／ＩＥＣ １４４９６−１）のデータストリームを規定する動きが進んでいる。ＭＰＥＧ４システム規格のフォーマットでは、ＭＰＥＧ２映像ストリームまたはＭＰＥＧ４映像ストリームを含む映像ストリーム、および、各種音声ストリームが多重化され、動画ストリームのデータとして生成される。さらにＭＰＥＧ４システム規格のフォーマットでは付属情報が規定される。付属情報と動画ストリームとは１つのファイル（ＭＰ４ファイル）として規定される。ＭＰ４ファイルのデータ構造は、Apple（登録商標）社のクイックタイム（QuickTime）ファイルフォーマットをベースにして、そのフォーマットを拡張して規定されている。なお、ＭＰＥＧ２システム規格のシステムストリームには、付属情報（アクセス情報、特殊再生情報、記録日時等）を記録するデータ構造は規定されていない。ＭＰＥＧ２システム規格では、付属情報はシステムストリーム内に設けられているからである。

映像データおよび音声データは、従来、磁気テープに記録されることが多かった。しかし、近年は磁気テープに代わる記録媒体として、ＤＶＤ−ＲＡＭ、ＭＯ等に代表される光ディスクが注目を浴びている。

図１は、従来のデータ処理装置３５０の構成を示す。データ処理装置３５０は、ＤＶＤ−ＲＡＭディスクにデータストリームを記録し、ＤＶＤ−ＲＡＭディスクに記録されたデータストリームを再生することができる。データ処理装置３５０は、映像信号入力部３００および音声信号入力部３０２において映像データ信号および音声データ信号を受け取り、それぞれＭＰＥＧ２圧縮部３０１に送る。ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データを、ＭＰＥＧ２規格および/またはＭＰＥＧ４規格に基づいて圧縮符号化し、ＭＰ４ファイルを生成する。より具体的に説明すると、ＭＰＥＧ２圧縮部３０１は、映像データおよび音声データをＭＰＥＧ２ビデオ規格に基づいて圧縮符号化して映像ストリームおよび音声ストリームを生成した後で、さらにＭＰＥＧ４システム規格に基づいてそれらのストリームを多重化してＭＰ４ストリームを生成する。このとき、記録制御部３４１は記録部３２０の動作を制御する。連続データ領域検出部３４０は、記録制御部３４１の指示によって、論理ブロック管理部３４３で管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。そして記録部３２０は、ピックアップ３３０を介してＭＰ４ファイルをＤＶＤ−ＲＡＭディスク３３１に書き込む。

図２は、ＭＰ４ファイル２０のデータ構造を示す。ＭＰ４ファイル２０は、付属情報２１および動画ストリーム２２を有する。付属情報２１は、映像データ、音声データ等の属性を規定するアトム構造２３に基づいて記述されている。図３は、アトム構造２３の具体例を示す。アトム構造２３は、映像データおよび音声データの各々について、独立してフレーム単位のデータサイズ、データの格納先アドレス、再生タイミングを示すタイムスタンプ等の情報が記述されている。これは映像データおよび音声データが、それぞれ別個のトラックアトムとして管理されていることを意味する。

図２に示すＭＰ４ファイルの動画ストリーム２２には、映像データおよび音声データがそれぞれ１つ以上のフレーム単位で配置され、ストリームを構成している。例えば動画ストリームがＭＰＥＧ２規格の圧縮符号化方式を利用して得られたとすると、動画ストリームには、複数のＧＯＰが規定されている。ＧＯＰは、単独で再生され得る映像フレームであるＩピクチャと、次のＩピクチャまでのＰピクチャおよびＢピクチャを含む複数の映像フレームをまとめた単位である。動画ストリーム２２の任意の映像フレームを再生するとき、まず動画ストリーム２２内のその映像フレームを含むＧＯＰが特定される。

なお、以下では、図２のＭＰ４ファイルのデータ構造に示すように、動画ストリームと付属情報とを有する構造のデータストリームを「ＭＰ４ストリーム」と称する。

図４は、動画ストリーム２２のデータ構造を示す。動画ストリーム２２は、映像トラックと音声トラックとを含み、各トラックには識別子（TrackID）が付されている。トラックは各１つ存在するとは限らず、途中でトラックが切り替わる場合もある。図５は、途中でトラックが切り替わった動画ストリーム２２を示す。

図６は、動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１の記録単位（セクタ）との対応を示す。記録部３２０は、動画ストリーム２２をＤＶＤ−ＲＡＭディスクにリアルタイムで記録する。より具体的には、記録部３２０は、最大記録レート換算で１１秒分以上の物理的に連続する論理ブロックを１つの連続データ領域として確保し、この領域へ映像フレームおよび音声フレームを順に記録する。連続データ領域は、各々が３２ｋバイトの複数の論理ブロックから構成され、論理ブロックごとに誤り訂正符号が付与される。論理ブロックはさらに、各々が２ｋバイトの複数のセクタから構成される。なお、データ処理装置３５０の連続データ領域検出部３４０は、１つの連続データ領域の残りが最大記録レート換算で３秒分を切った時点で、次の連続データ領域を再び検出する。そして、１つの連続データ領域が一杯になると、次の連続データ領域に動画ストリームを書き込む。ＭＰ４ファイル２０の付属情報２１も、同様にして確保された連続データ領域に書き込まれる。

図７は、記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す。例えばＵＤＦ（Universal Disk Format）ファイルシステム、またはＩＳＯ／ＩＥＣ １３３４６（Volume and file structure of write-once and rewritable media using non-sequential recording for information interchange）ファイルシステムが利用される。図７では、連続して記録された１つのＭＰ４ファイルがファイル名ＭＯＶ０００１．ＭＰ４として記録されている。このファイルは、ファイル名およびファイルエントリの位置が、ＦＩＤ（File Identifier Descriptor）で管理されている。そして、ファイル名はファイル・アイデンティファイア欄にＭＯＶ０００１．ＭＰ４として設定され、ファイルエントリの位置は、ＩＣＢ欄にファイルエントリの先頭セクタ番号として設定される。

なお、ＵＤＦ規格はＩＳＯ／ＩＥＣ １３３４６規格の実装規約に相当する。また、ＤＶＤ−ＲＡＭドライブを１３９４インタフェースおよびＳＢＰ−２（Serial Bus Protocol）プロトコルを介してコンピュータ（ＰＣ等）へ接続することにより、ＵＤＦに準拠した形態で書きこんだファイルをＰＣからも１つのファイルとして扱うことができる。

ファイルエントリは、アロケーションディスクリプタを使ってデータが格納されている連続データ領域（ＣＤＡ：Contiguous Data Area）ａ、ｂ、ｃおよびデータ領域ｄを管理する。具体的には、記録制御部３４１は、ＭＰ４ファイルを連続データ領域ａへ記録している最中に不良論理ブロックを発見すると、その不良論理ブロックをスキップして連続データ領域ｂの先頭から書き込みを継続する。次に、記録制御部３４１がＭＰ４ファイルを連続データ領域ｂへ記録している最中に、書き込みができないＰＣファイルの記録領域の存在を検出したときには、連続データ領域ｃの先頭から書き込みを継続する。そして、記録が終了した時点でデータ領域ｄに付属情報２１を記録する。この結果、ファイルＶＲ＿ＭＯＶＩＥ．ＶＲＯは連続データ領域ａ、ｂ、ｃ、ｄから構成される。

図７に示すように、アロケーションディスクリプタａ、ｂ、ｃ、ｄが参照するデータの開始位置は、セクタの先頭に一致する。そして、最後尾のアロケーションディスクリプタｄ以外のアロケーションディスクリプタａ、ｂ、ｃが参照するデータのデータサイズは１セクタの整数倍である。このような記述規則は予め規定されている。

ＭＰ４ファイルを再生するとき、データ処理装置３５０は、ピックアップ３３０および再生部３２１を経由して受け取った動画ストリームを取り出し、ＭＰＥＧ２復号部３１１で復号して映像信号と音声信号を生成し、映像信号出力部３１０および音声信号出力部３１２から出力する。ＤＶＤ-ＲＡＭディスクからのデータの読み出しと読み出したデータのＭＰＥＧ２復号部３１１への出力は同時に行われる。このとき、データの出力速度よりもデータの読出速度を大きくし、再生すべきデータが不足しないように制御する。したがって、連続してデータを読み出し、出力を続けると、データ読み出し速度とデータ出力速度との差分だけ出力すべきデータを余分に確保できることになる。余分に確保できるデータをピックアップのジャンプによりデータ読み出しが途絶える間の出力データとして使うことにより、連続再生を実現することができる。

具体的には、ＤＶＤ−ＲＡＭディスク３３１からのデータ読み出し速度が１１Ｍｂｐｓ、ＭＰＥＧ２復号部３１１へのデータ出力速度が最大８Ｍｂｐｓ、ピックアップの最大移動時間が３秒とすると、ピックアップ移動中にＭＰＥＧ２復号部３１１へ出力するデータ量に相当する２４Ｍビットのデータが余分な出力データとして必要になる。このデータ量を確保するためには、８秒間の連続読み出しが必要になる。すなわち、２４Ｍビットをデータ読み出し速度１１Ｍｂｐｓとデータ出力速度８Ｍｂｐｓの差で除算した時間だけ連続読み出しする必要がある。

したがって、８秒間の連続読み出しの間に８８Ｍビット分、すなわち１１秒分の出力データを読み出すことになるので、１１秒分以上の連続データ領域を確保することで、連続データ再生を保証することが可能となる。

なお、連続データ領域の途中には、数個の不良論理ブロックが存在していてもよい。ただし、この場合には、再生時にかかる不良論理ブロックを読み込むのに必要な読み出し時間を見越して、連続データ領域を１１秒分よりも少し多めに確保する必要がある。

記録されたＭＰ４ファイルを削除する処理を行う際には、記録制御部３４１は記録部３２０および再生部３２１を制御して所定の削除処理を実行する。ＭＰ４ファイルは、付属情報部分に全フレームに対する表示タイミング（タイムスタンプ）が含まれる。したがって、例えば動画ストリーム部分の途中を部分的に削除する際には、タイムスタンプに関しては付属情報部分のタイムスタンプのみを削除すればよい。なお、ＭＰＥＧ２システムストリームでは、部分削除位置において連続性を持たせるために動画ストリームを解析する必要がある。タイムスタンプがストリーム中に分散しているからである。

ＭＰ４ファイルフォーマットの特徴は、映像・音声ストリームの映像フレームまたは音声フレームを、ひとつの集合として記録する点にある。同時に、国際標準としては初めて、各フレームへのランダムアクセスを可能とするアクセス情報を規定している。アクセス情報はフレーム単位で設けられ、例えばフレームサイズ、フレーム周期、フレームに対するアドレス情報を含む。すなわち、映像フレームに対しては表示時間にして１／３０秒ごと、音声フレームに対しては、例えば、ＡＣ−３音声の場合であれば合計１５３６個のサンプルを１単位（すなわち１音声フレーム）とし、単位ごとにアクセス情報が格納される。これにより、例えば、ある映像フレームの表示タイミングを変更したい場合には、アクセス情報の変更のみで対応でき、映像・音声ストリームを必ずしも変更する必要がない。このようなアクセス情報の情報量は１時間当り約１Ｍバイトである。

アクセス情報の情報量に関連して、例えば「リライタブル/再記録可能なディスクのためのＤＶＤ規格パート３ ビデオレコーディング規格 バージョン1.1」，ＤＶＤフォーラム発行，VR4，p.31〜35 によれば、ＤＶＤビデオレコーディング規格のアクセス情報に必要な情報量は１時間当り７０キロバイトである。ＤＶＤビデオレコーディング規格のアクセス情報の情報量は、ＭＰ４ファイルの付属情報に含まれるアクセス情報の情報量の１０分の１以下である。図８はＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す。図９は、図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す。

また、例えば特開２００１−９４９３３号公報（第３図）に記載されている光ディスク装置は、映像フレームを１フレーム単位ではなく１ＧＯＰ単位で記録し、同時に音声フレームを１ＧＯＰに相当する時間長で連続的に記録する。そして、ＧＯＰ単位でアクセス情報を規定する。これによりアクセス情報に必要な情報量を低減している。

ＭＰ４ファイルは、ＭＰＥＧ２ビデオ規格に基づいて動画ストリームを記述しているものの、ＭＰＥＧ２システム規格のシステムストリームと互換性がないため、現在ＰＣ等で用いられているアプリケーションの動画編集機能を利用して、ＭＰ４ファイルを編集することはできない。多くのアプリケーションの編集機能は、ＭＰＥＧ２システム規格の動画ストリームを編集の対象としているからである。また、ＭＰ４ファイルの規格には、動画ストリーム部分の再生互換性を確保するためのデコーダモデルの規定も存在しない。これでは、現在極めて広く普及しているＭＰＥＧ２システム規格に対応したソフトウェアおよびハードウェアを全く活用できない。

本発明の目的は、アクセス情報の情報量が小さく、かつ、従来のフォーマットに対応するアプリケーション等でも利用可能なデータ構造を提供すること、および、そのデータ構造に基づく処理が可能なデータ処理装置等を提供することである。

本発明によるデータ処理装置は、映像データおよび音声データを受け取る受信部と、受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成する圧縮部と、前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成する付属情報生成部と、前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録する記録部とを備えている。前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。

ある好ましい実施形態において、前記参照情報は、前記記録媒体に記録された前記データファイルのファイル名および格納位置を示している。

ある好ましい実施形態において、前記圧縮部は、複数の符号化データを生成し、前記付属情報生成部は、前記複数の符号化データの各々を参照する前記参照情報を生成する。

ある好ましい実施形態において、前記圧縮部は、複数の符号化データを生成し、前記付属情報生成部は、前記複数の符号化データを連続的に配列して１つのストリームデータを生成し、再生タイミングごとの符号化データのデータサイズが一定でない場合の符号化データの記録位置を特定する位置情報をさらに記述した付属情報を生成する。

ある好ましい実施形態において、前記圧縮部は、ＭＰＥＧ２プログラムストリームおよびＭＰＥＧ２トランスポートストリームの一方に準拠した符号化データを生成する。

ある好ましい実施形態において、前記付属情報生成部は、前記符号化データのうち、前記音声データに対応する符号化音声データの音声フレームを、さらに他のサンプル単位として前記属性情報に記述する。

ある好ましい実施形態において、前記圧縮部は、第１〜第３のデータファイルを生成し、前記第２のデータファイルは、前記第１のデータファイルの符号化データと前記第３のデータファイルの符号化データとを時間的に連続して復号するために必要なフレームデータを含む。

ある好ましい実施形態において、付属情報生成部は、ＭＰ４フォーマットにしたがって記述された付属情報ファイルを生成する。

ある好ましい実施形態において、付属情報生成部は、QuickTimeフォーマットにしたがって記述された付属情報ファイルを生成する。

本発明のストリームデータは、データファイルに含まれる符号化データと、付属情報ファイルに含まれる付属情報とによって構成される。前記符号化データは、映像データおよび音声データがＭＰＥＧ２システム規格にしたがって符号化され、かつ、前記付属情報および前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。前記付属情報は、前記符号化データを参照する参照情報および前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位として前記サンプル単位の属性を記述した属性情報を含む。本発明の記録媒体には、上述のストリームデータが記録されている。

本発明の他のデータ処理装置は、上述のストリームデータから前記付属情報ファイルを読み出し、さらに制御信号に基づいて前記データファイルを読み出す再生部と、前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する信号を前記制御信号として生成する再生制御部と、読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号する復号部と、復号された前記映像データおよび前記音声データを出力する出力部とを備えている。

本発明のデータ記録方法は、映像データおよび音声データを受け取るステップと、受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成するステップと、前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報 を含む付属情報を生成するステップと、前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録するステップと、を包含する。前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。

本発明のデータ記録プログラムは、データ処理装置において実行可能なコンピュータプログラムである。データ記録プログラムは、映像データおよび音声データを受け取るステップと、受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成するステップと、前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報 を含む付属情報を生成するステップと、前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録するステップと、を包含する。前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。

本発明のデータ再生方法は、上述のストリームデータから前記付属情報ファイルを読み出すステップと、前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する制御信号を生成するステップと、前記制御信号に基づいて前記データファイルを読み出すステップと、読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号するステップと、復号された前記映像データおよび前記音声データを出力するステップとを包含する。

本発明のデータ再生プログラムは、データ処理装置において実行可能なコンピュータプログラムである。データ再生プログラムは、上述のストリームデータから前記付属情報ファイルを読み出すステップと、前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する制御信号を生成するステップと、前記制御信号に基づいて前記データファイルを読み出すステップと、読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号するステップと、復号された前記映像データおよび前記音声データを出力するステップとを包含する。

本発明のさらに他のデータ処理装置は、映像データおよび音声データを受け取る受信部と、受け取った前記映像データおよび前記音声データを所定の符号化形式で符号化して、前記映像データに対応するデータと前記音声データに対応するデータとがインターリーブされた符号化データを生成する圧縮部と、付属情報を生成する付属情報生成部であって、前記付属情報は、符号化データを参照する参照情報およびサンプル単位の属性を記述した属性情報を含む付属情報生成部とを備えている。前記サンプルは、前記映像データの再生時間に基づいて構成された前記符号化データの集合であり、前記符号化データは、前記付属情報に基づく復号化、および、前記所定の符号化方式に対応する復号化方式のいずれに基づいても復号化することが可能である。

本発明によれば、付属情報のデータ構造をＩＳＯ規格に準拠させて現在の最新の規格に適合しつつ、従来のフォーマットと同等のデータストリームのデータ構造およびそのようなデータ構造に基づいて動作するデータ処理装置が提供される。データストリームは従来のフォーマットにも対応するので、既存のアプリケーション等もデータストリームを利用できる。よって既存のソフトウェアおよびハードウェアを有効に活用できる。

以下、添付の図面を参照しながら、本発明の実施形態を説明する。

図１０は、本発明によるデータ処理を行うポータブルビデオコーダ１０−１、ムービーレコーダ１０−２およびＰＣ１０−３の接続関係を示す。

ポータブルビデオコーダ１０−１は、付属のアンテナを利用して放送番組を受信し、放送番組を動画圧縮してＭＰ４ストリームを生成する。ムービーレコーダ１０−２は、映像を録画するとともに、映像に付随する音声を録音し、ＭＰ４ストリームを生成する。ＭＰ４ストリームでは、映像・音声データは、所定の圧縮符号化方式によって符号化され、本発明によるデータ構造にしたがって記述されている。ポータブルビデオコーダ１０−１およびムービーレコーダ１０−２は、生成したＭＰ４ストリームをＤＶＤ−ＲＡＭ等の記録媒体１３１に記録し、またはＩＥＥＥ１３９４、ＵＳＢ等のディジタルインターフェースを介して出力する。なお、ポータブルビデオコーダ１０−１、ムービーレコーダ１０−２等はより小型化が必要とされているため、記録媒体１３１は直径８ｃｍの光ディスクに限られず、それよりも小径の光ディスク等であってもよい。

ＰＣ１０−３は、記録媒体または伝送媒体を介してＭＰ４ストリームを受け取る。各機器がディジタルインターフェースを介して接続されていると、ＰＣ１０−３は、ムービーレコーダ１０−２等を外部記憶装置として制御して、各機器からＭＰ４ストリームを受け取ることができる。

ＰＣ１０−３が本発明によるＭＰ４ストリームの処理に対応したアプリケーションソフトウェア、ハードウェアを有する場合には、ＰＣ１０−３は、ＭＰ４ファイル規格に基づくＭＰ４ストリームとしてＭＰ４ストリームを再生することができる。一方、本発明によるＭＰ４ストリームの処理に対応していない場合には、ＰＣ１０−３は、ＭＰＥＧ２システム規格に基づいて動画ストリーム部分を再生することができる。なお、ＰＣ１０−３はＭＰ４ストリームの部分削除等の編集に関する処理を行うこともできる。本明細書においては「再生」という語は編集に関する処理を含む。以下では、図１０のポータブルビデオコーダ１０−１、ムービーレコーダ１０−２およびＰＣ１０−３を「データ処理装置」と称して説明する。

図１１は、データ処理装置１０における機能ブロックの構成を示す。以下では、本明細書では、データ処理装置１０は、ＭＰ４ストリームの記録機能と再生機能の両方を有するとして説明する。具体的には、データ処理装置１０は、ＭＰ４ストリームを生成して記録媒体１３１に書き込むことができ、かつ、記録媒体１３１に書き込まれたＭＰ４ストリームを再生することができる。記録媒体１３１は例えばＤＶＤ−ＲＡＭディスクであり、以下、「ＤＶＤ−ＲＡＭディスク１３１」と称する。

まず、データ処理装置１０のＭＰ４ストリーム記録機能を説明する。この機能に関連する構成要素として、データ処理装置１０は、映像信号入力部１００と、ＭＰＥＧ２−ＰＳ圧縮部１０１と、音声信号入力部１０２と、付属情報生成部１０３と、記録部１２０と、光ピックアップ１３０と、記録制御部１４１とを備えている。

映像信号入力部１００は映像信号入力端子であり、映像データを表す映像信号を受け取る。音声信号入力部１０２は音声信号入力端子であり、音声データを表す音声信号を受け取る。例えば、ポータブルビデオコーダ１０−１（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれチューナ部（図示せず）の映像出力部および音声出力部と接続され、それぞれから映像信号および音声信号を受け取る。また、ムービーレコーダ１０−２（図１０）の映像信号入力部１００および音声信号入力部１０２は、それぞれカメラのＣＣＤ（図示せず）出力およびマイク出力から映像信号および音声信号を受け取る。

ＭＰＥＧ２−ＰＳ圧縮部（以下「圧縮部」と称する）１０１は、映像信号および音声信号を受け取ってＭＰＥＧ２システム規格のＭＰＥＧ２プログラムストリーム（以下、「ＭＰＥＧ２−ＰＳ」と称する）を生成する。生成されたＭＰＥＧ２−ＰＳは、ＭＰＥＧ２システム規格に基づいて、ストリームのみに基づいて復号することができる。ＭＰＥＧ２−ＰＳの詳細は後述する。

付属情報生成部１０３は、ＭＰ４ストリームの付属情報を生成する。付属情報は、参照情報および属性情報を含む。参照情報は、圧縮部１０１により生成されたＭＰＥＧ２−ＰＳを特定する情報であって、例えばＭＰＥＧ２−ＰＳが記録される際のファイル名およびＤＶＤ−ＲＡＭディスク１３１上の格納位置である。一方、属性情報は、ＭＰＥＧ２−ＰＳのサンプル単位の属性を記述した情報である。「サンプル」とは、ＭＰ４ファイル規格の付属情報に規定されるサンプル記述アトム（Sample Description Atom；後述）における最小管理単位であり、サンプルごとのデータサイズ、再生時間等を記録している。１サンプルは、例えばランダムにアクセスすることが可能なデータ単位である。換言すれば、属性情報とはサンプルを再生するために必要な情報である。特に後述のサンプル記述アトム（Sample Description Atom）は、アクセス情報とも称される。

属性情報は、具体的には、データの格納先アドレス、再生タイミングを示すタイムスタンプ、符号化ビットレート、コーデック等の情報である。属性情報は、各サンプル内の映像データおよび音声データの各々に対して設けられ、以下に明示的に説明するフィールドの記述を除いては、従来のＭＰ４ストリーム２０の付属情報の内容に準拠している。

後述のように、本発明の１サンプルは、ＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）である。なお、ＶＯＢＵはＤＶＤビデオレコーディング規格の同名のビデオオブジェクトユニットを意味する。付属情報の詳細は後述する。

記録部１２０は、記録制御部１４１からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ-ＲＡＭディスク１３１の特定の位置（アドレス）にデータを記録する。より具体的には、記録部１２０は、圧縮部１０１において生成されたＭＰＥＧ２−ＰＳおよび付属情報生成部１０３において生成された付属情報を、それぞれ別個のファイルとしてＤＶＤ−ＲＡＭディスク１３１上に記録する。

なお、データ処理装置１０は、データの記録に際して動作する連続データ領域検出部（以下、「検出部」）１４０および論理ブロック管理部（以下、「管理部」）１４３を有している。連続データ領域検出部１４０は、記録制御部１４１からの指示に応じて論理ブロック管理部１４３において管理されるセクタの使用状況を調べ、物理的に連続する空き領域を検出する。記録制御部１４１は、この空き領域に対して記録部１２０にデータの記録を指示する。データの具体的な記録方法は、図７を参照しながら説明した記録方法と同様であり特に差異はないので、その詳細な説明は省略する。なお、ＭＰＥＧ２−ＰＳおよび付属情報は、それぞれ別個のファイルとして記録されるので、図７におけるファイル・アイデンティファイア欄には、それぞれのファイル名が記述される。

次に、図１２を参照しながらＭＰ４ストリームのデータ構造を説明する。図１２は、本発明によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（"MOV001.MP4"）と、ＭＰＥＧ２−ＰＳ１４のデータファイル（”MOV001.MPG”）（以下「ＰＳファイル」と称する）とを備えている。これら２つのファイル内のデータによって、１つのＭＰ４ストリームを構成する。本明細書では、同じＭＰ４ストリームに属することを明確にするため、付属情報ファイルおよびＰＳファイルに同じ名（”MOV001“）を付し、拡張子を異ならせている。具体的には、付属情報ファイルの拡張子は従来のＭＰ４ファイルの拡張子と同じ“ＭＰ４”を採用し、ＰＳファイルの拡張子は従来のプログラムストリームの一般的な拡張子“ＭＰＧ”を採用する。

付属情報１３は、ＭＰＥＧ２−ＰＳ１４を参照するための参照情報（"dref"）を有する。さらに、付属情報１３はＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）ごとの属性を記述した属性情報を含む。属性情報はＶＯＢＵごとの属性を記述しているので、データ処理装置１０はＶＯＢＵ単位でＭＰＥＧ２−ＰＳ１４に含まれるＶＯＢＵの任意の位置を特定して再生・編集等をすることができる。

ＭＰＥＧ２−ＰＳ１４は、映像パック、音声パック等がインターリーブされて構成されたＭＰＥＧ２システム規格に基づく動画ストリームである。映像パックは、パックヘッダと符号化された映像データとを含む。音声パックは、パックヘッダと符号化された音声データとを含む。ＭＰＥＧ２−ＰＳ１４では、映像の再生時間に換算して０．４〜１秒に相当する動画データを単位とするビデオオブジェクトユニット（ＶＯＢＵ）によりデータが管理されている。動画データは、複数の映像パックおよび音声パックを含む。データ処理装置１０は、付属情報１３において記述されている情報に基づいて、任意のＶＯＢＵの位置を特定しそのＶＯＢＵを再生することができる。なお、ＶＯＢＵは１以上のＧＯＰを含む。

本発明によるＭＰ４ストリーム１２の特徴の一つは、ＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ４システム規格で規定されるＭＰ４ストリームのデータ構造に従った属性情報１３に基づいて復号化することが可能であるとともに、ＭＰＥＧ２システム規格に基づいても復号化することが可能な点にある。付属情報ファイルおよびＰＳファイルが別々に記録されているため、データ処理装置１０がそれぞれを独立して解析、処理等することが可能だからである。例えば、本発明のデータ処理を実施可能なＭＰ４ストリーム再生装置等は、属性情報１３に基づいてＭＰ４ストリーム１２の再生時間等を調整し、ＭＰＥＧ２−ＰＳ１４の符号化方式を特定して、対応する復号化方式によって復号化できる。また、ＭＰＥＧ２−ＰＳを復号化することができる従来の装置等においては、はＭＰＥＧ２システム規格にしたがって復号化できる。これにより、現在広く普及しているＭＰＥＧ２システム規格にのみ対応したソフトウェアおよびハードウェアであっても、ＭＰ４ストリームに含まれる動画ストリームを再生することができる。

なお、ＶＯＢＵ単位のサンプル記述アトム（Sample Description Atom）を設けると同時に、図１３に示すように、ＭＰＥＧ２−ＰＳ１４の音声データの所定時間のフレーム分を管理単位としたサンプル記述アトム（Sample Description Atom）を設けてもよい。所定時間とは、例えば０．１秒である。図中「Ｖ」は図１２の映像パックを示し、「Ａ」は音声パックを示す。０．１秒分の音声フレームは１個以上の複数のパックから構成される。１音声フレームは、例えばＡＣ−３の場合、サンプリング周波数を４８ｋＨｚとしたとき、サンプリング個数にして１５３６サンプルの音声データを含む。このとき、サンプル記述アトムは、トラックアトム内のユーザデータアトム内に設けるか、または独立したトラックのサンプル記述アトムとして設けてもよい。また、他の実施例としては、付属情報１３は、ＶＯＢＵに同期する０．４〜１秒分の音声フレームを単位として、その単位毎の合計データサイズ、先頭パックのデータアドレス、および出力タイミングを示すタイムスタンプ等の属性を保持してもよい。

次に、ＭＰＥＧ２−ＰＳ１４のビデオオブジェクトユニット（ＶＯＢＵ）のデータ構造を説明する。図１４は、プログラムストリームとエレメンタリストリームとの関係を示す。ＭＰＥＧ２−ＰＳ１４のＶＯＢＵは、複数の映像パック（Ｖ＿ＰＣＫ）および音声パック（Ａ＿ＰＣＫ）を含む。なお、より厳密には、ＶＯＢＵはシーケンスヘッダ（図中のＳＥＱヘッダ）から、次のシーケンスヘッダの直前のパックまでによって構成される。すなわち、シーケンスヘッダはＶＯＢＵの先頭に配置される。一方、エレメンタリストリーム（Ｖｉｄｅｏ）は、Ｎ個のＧＯＰを含む。ＧＯＰは、各種のヘッダ（シーケンス（ＳＥＱ）ヘッダおよびＧＯＰヘッダ）および映像データ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を含む。エレメンタリストリーム（Ａｕｄｉｏ）は、複数の音声フレームを含む。

ＭＰＥＧ２−ＰＳ１４のＶＯＢＵに含まれる映像パックおよび音声パックは、それぞれエレメンタリストリーム（Ｖｉｄｅｏ）／（Ａｕｄｉｏ）の各データを用いて構成されており、それぞれのデータ量が２キロバイトになるように構成されている。なお、上述のように各パックにはパックヘッダが設けられる。

なお、字幕データ等の副映像データに関するエレメンタリストリーム（図示せず）が存在するときは、ＭＰＥＧ２−ＰＳ１４のＶＯＢＵはさらにその副映像データのパックも含む。

次に、図１５および図１６を参照しながら、ＭＰ４ストリーム１２における付属情報１３のデータ構造を説明する。図１５は、付属情報１３のデータ構造を示す。このデータ構造は「アトム構造」とも呼ばれ、階層化されている。例えば、“Movie Atom”は、“Movie Header Atom”、“Object Descriptor Atom”および“Track Atom”を含む。さらに“Track Atom”は、“Track Header Atom”、“Edit List Atom”、“Media Atom”および“User Data Atom”を含む。図示された他のAtomも同様である。

本発明では、特にデータ参照アトム（“Data Reference Atom";dref）１５およびサンプルテーブルアトム（“Sample Table Atom”；stbl）１６を利用して、サンプル単位の属性を記述する。上述のように、１サンプルはＭＰＥＧ２−ＰＳの１ビデオオブジェクトユニット（ＶＯＢＵ）に対応する。サンプルテーブルアトム１６は、図示される６つの下位アトムを含む。

図１６は、アトム構造を構成する各アトムの内容を示す。データ参照アトム（“Data Reference Atom"）は、動画ストリーム（ＭＰＥＧ２−ＰＳ）１４のファイルを特定する情報をＵＲＬ形式で格納する。一方、サンプルテーブルアトム（“Sample Table Atom”）は、下位のアトムによってＶＯＢＵ毎の属性を記述する。例えば、“Decoding Time to Sample Atom”においてＶＯＢＵ毎の再生時間を格納し、“Sample Size Atom”においてＶＯＢＵ毎のデータサイズを格納する。また“Sample Description Atom”は、ＭＰ４ストリーム１２を構成するＰＳファイルのデータがＭＰＥＧ２−ＰＳ１４であることを示すとともに、ＭＰＥＧ２−ＰＳ１４の詳細な仕様を示す。以下では、データ参照アトム（“Data Reference Atom）によって記述される情報を「参照情報」と称し、サンプルテーブルアトム（“Sample Table Atom”）において記述される情報を「属性情報」と称する。

図１７は、データ参照アトム１５の記述形式の具体例を示す。ファイルを特定する情報は、データ参照アトム１５を記述するフィールドの一部（ここでは“DataEntryUrlAtom”）において記述される。ここでは、ＵＲＬ形式により、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置が記述されている。データ参照アトム１５を参照することにより、その付属情報１３とともにＭＰ４ストリーム１２を構成するＭＰＥＧ２−ＰＳ１４を特定できる。なお、ＭＰＥＧ２−ＰＳ１４がＤＶＤ−ＲＡＭディスク１３１に記録される前であっても、図１１の付属情報生成部１０３は、ＭＰＥＧ２−ＰＳ１４のファイル名およびファイルの格納位置を特定することができる。ファイル名は予め決定でき、かつ、ファイルの格納位置もファイルシステムの階層構造の表記によって論理的に特定できるからである。

図１８は、サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す。各アトムは、フィールド名、繰り返しの可否およびデータサイズを規定する。例えば、サンプルサイズアトム（Sample Size Atom”）は、３つのフィールド（“sample-size”、“sample count”および“entry-size”）を有する。このうち、サンプルサイズ（“sample-size”）フィールドには、ＶＯＢＵのデフォルトのデータサイズが格納され、エントリサイズ（“entry-size”）フィールドには、ＶＯＢＵのデフォルト値とは異なる個別のデータサイズが格納される。なお、図中の「設定値」欄のパラメータ（“VOBU＿ENT”等）にはＤＶＤビデオレコーディング規格の同名のアクセスデータと同じ値が設定される。

図１８に示すサンプル記述アトム（“Sample Description Atom”）１７は、サンプル単位の属性情報を記述する。以下、サンプル記述アトム１７に記述される情報の内容を説明する。

図１９は、サンプル記述アトム１７の記述形式の具体例を示す。サンプル記述アトム１７は、そのデータサイズ、各ＶＯＢＵを１サンプルとするサンプル単位の属性情報等を記述する。属性情報は、サンプル記述アトム１７の“sample_description_entry”１８に記述される。

図２０は、“sample_description_entry”１８の各フィールドの内容を示す。エントリ１８は、対応するＭＰＥＧ２−ＰＳ１４の符号化形式を指定するデータフォーマット（“data-format”）を含む。図中の“ｐ２ｓｍ”は、ＭＰＥＧ２−ＰＳ１４がＭＰＥＧ２ Ｖｉｄｅｏを含むＭＰＥＧ２プログラムストリームであることを示す。

エントリ１８は、そのサンプルの表示開始時刻（“開始Presentation Time”）および表示終了時刻（“終了Presentation Time”）を含む。これらは、最初および最後の映像フレームのタイミング情報を格納する。また、エントリ１８は、そのサンプル内の映像ストリームの属性情報（“映像ＥＳ属性”）および音声ストリームの属性情報（“音声ＥＳ属性”）を含む。図１９に示すように、映像データの属性情報は、映像のＣＯＤＥＣ種別（例えば、ＭＰＥＧ２ビデオ）、映像データの幅（“Width”）、高さ（“height”）等を特定する。同様に、音声データの属性情報は、音声のＣＯＤＥＣ種別（例えば、ＡＣ−３）、音声データのチャネル数（“channel count”）、音声サンプルのサイズ（“samplesize”）、サンプリングレート（“samplerate”）等を特定する。

さらにエントリ１８は、不連続点開始フラグおよびシームレス情報を含む。これらの情報は、後述のように、１つのＭＰ４ストリーム１２内に複数のＰＳストリームが存在するときに記述される。例えば、不連続点開始フラグの値が“０”のときは、前の動画ストリームと現在の動画ストリームとが完全に連続したプログラムストリームであることを示し、値が“１”のときは、それらの動画ストリームは不連続のプログラムストリームであることを示す。そして不連続の場合には、動画や音声等の不連続点においても途切れ無く動画、音声等を再生するためのシームレス情報の記述が可能である。シームレス情報は、再生時に音声不連続情報およびＳＣＲ不連続情報を含む。音声不連続情報の無音声区間（すなわち図３１のオーディオギャップ）の有無、開始タイミングおよび時間長を含む。ＳＣＲ不連続情報には不連続点の直前と直後のパックのＳＣＲ値を含む。

不連続点開始フラグを設けることにより、Sample Description Entry の切り替えと動画ストリームの連続性の切り替え箇所を独立して指定できる。図３６に示すように、例えば、記録画素数が途中で変化する際にはSample Description を変化させるが、このとき、動画ストリーム自体が連続しているのであれば不連続点開始フラグを０に設定してもよい。不連続点開始フラグが０であることにより、情報ストリームを直接編集する場合に、ＰＣ等は、２つの動画ストリームの接続点を再編集しなくてもシームレスな再生が可能であることを把握することができる。なお、図３６では水平画素数が変化した場合を例にしているが、その他の属性情報が変化した場合であってもよい。例えば、アスペクト情報に関して４：３のアスペクト比が１６：９に変化した場合や、音声のビットレートが変化した場合等である。

以上、図１２に示すＭＰ４ストリーム１２の付属情報１３およびＭＰＥＧ２−ＰＳ１４のデータ構造を説明した。上述のデータ構造においては、ＭＰＥＧ２−ＰＳ１４の部分削除を行う際には、付属情報１３内のタイムスタンプ等の属性情報を変更するだけでよく、ＭＰＥＧ２−ＰＳ１４に設けられているタイムスタンプを変更する必要がない。よって従来のＭＰ４ストリームの利点を活かした編集処理が可能である。さらに、上述のデータ構造によれば、ＭＰＥＧ２システム規格のストリームに対応したアプリケーションやハードウェアを用いてＰＣ上で動画編集するときは、ＰＳファイルのみをＰＣにインポートすればよい。ＰＳファイルのＭＰＥＧ２−ＰＳ１４は、ＭＰＥＧ２システム規格の動画ストリームだからである。このようなアプリケーションやハードウェアは広く普及しているので、既存のソフトウェアおよびハードウェアを有効に活用できる。同時に、付属情報をＩＳＯ規格に準拠したデータ構造で記録できる。

次に、図１１および図２１を参照しながら、データ処理装置１０がＭＰ４ストリームを生成し、ＤＶＤ−ＲＡＭディスク１３１上に記録する処理を説明する。図２１は、ＭＰ４ストリームの生成処理の手順を示すフローチャートである。まずステップ２１０において、データ処理装置１０は、映像信号入力部１００を介して映像データを受け取り、音声信号入力部１０２を介して音声データを受け取る。そしてステップ２１１において、圧縮部１０１は受け取った映像データおよび音声データをＭＰＥＧ２システム規格に基づいて符号化する。続いて圧縮部１０１は、ステップ２１２において映像および音声の符号化ストリームを利用して、ＭＰＥＧ２−ＰＳを構成する（図１４）。

ステップ２１３において、記録部１２０は、ＭＰＥＧ２−ＰＳをＤＶＤ−ＲＡＭディスク１３１に記録する際のファイル名および記録位置を決定する。ステップ２１４において、付属情報生成部１０３は、ＰＳファイルのファイル名および記録位置を取得して参照情報（Data Reference Atom；図１７）として記述すべき内容を特定する。図１７に示すように、本明細書では、ファイル名と記録位置とを同時に指定できる記述方式を採用した。

次に、ステップ２１５において、付属情報生成部１０３はＭＰＥＧ２−ＰＳ１４に規定されるＶＯＢＵ毎に、再生時間、データサイズ等を表すデータを取得して属性情報（Sample Table Atom；図１８〜２０）として記述すべき内容を特定する。属性情報をＶＯＢＵ単位で設けることにより、任意のＶＯＢＵの読み出しおよび復号化が可能になる。これは、１ＶＯＢＵを１サンプルとして取り扱うことを意味する。

次に、ステップ２１６において、付属情報生成部１０３は参照情報（Data Reference Atom）および属性情報（Sample Table Atom）等に基づいて、付属情報を生成する。

ステップ２１７において、記録部１２０は、付属情報１３およびＭＰＥＧ２−ＰＳ１４をＭＰ４ストリーム１２として出力し、ＤＶＤ−ＲＡＭディスク１３１上にそれぞれ付属情報ファイルおよびＰＳファイルとして別々に記録する。以上の手順にしたがって、ＭＰ４ストリームが生成され、ＤＶＤ−ＲＡＭディスク１３１に記録される。

次に、再び図１１および図１２を参照しながら、データ処理装置１０のＭＰ４ストリーム再生機能を説明する。ＤＶＤ−ＲＡＭディスク１３１には、上述のデータ構造を有する付属情報１３およびＭＰＥＧ２−ＰＳ１４を有するＭＰ４ストリーム１２が記録されているとする。データ処理装置１０は、ユーザの選択によりＤＶＤ−ＲＡＭディスク１３１に記録されたＭＰＥＧ２−ＰＳ１４を再生および復号化する。再生機能に関連する構成要素として、データ処理装置１０は、映像信号出力部１１０と、ＭＰＥＧ２−ＰＳ復号部１１１と、音声信号出力部１１２と、再生部１２１と、ピックアップ１３０と、再生制御部１４２とを備えている。

まず、再生部１２１は、再生制御部１４２からの指示に基づいてピックアップ１３０を制御し、ＤＶＤ-ＲＡＭディスク１３１からＭＰ４ファイルを読み出して付属情報１３を取得する。再生部１２１は、取得した付属情報１３を再生制御部１４２に出力する。また、再生部１２１は、後述の再生制御部１４２から出力された制御信号に基づいて、ＤＶＤ−ＲＡＭディスク１３１からＰＳファイルを読み出す。制御信号は、読み出すべきＰＳファイル（“MOV001.MPG”）を指定する信号である。

再生制御部１４２は、再生部１２１から付属情報１３を受け取り、そのデータ構造を解析することにより、付属情報１３に含まれる参照情報１５（図１７）を取得する。再生制御部１４２は、参照情報１５において指定されたＰＳファイル（“MOV001.MPG”）を、指定された位置（“．／”：ルートディレクトリ）から読み出すことを指示する制御信号を出力する。

ＭＰＥＧ２−ＰＳ復号部１１１は、ＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３に含まれる属性情報に基づいて、ＭＰＥＧ２−ＰＳ１４から映像データおよび音声データを復号する。より具体的に説明すると、ＭＰＥＧ２−ＰＳ復号部１１１は、サンプル記述アトム１７（図１９）のデータフォーマット（“data-format”）、映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を読み出し、それらの情報に指定された符号化形式、映像データの表示サイズ、サンプリング周波数等に基づいて、映像データおよび音声データを復号する。

映像信号出力部１１０は映像信号出力端子であり、復号化された映像データを映像信号として出力する。音声信号出力部１１２は音声信号出力端子であり、復号化された音声データを音声信号として出力する。

データ処理装置１０がＭＰ４ストリームを再生する処理は、従来のＭＰ４ストリームファイルの再生処理と同様、まず拡張子が“ＭＰ４”のファイル（“MOV001.MP4”）の読み出しから開始される。具体的には以下のとおりである。まず再生部１２１は付属情報ファイル（“MOV001.MP4”）を読み出す。次に、再生制御部１４２は付属情報１３を解析して参照情報（Data Reference Atom）を抽出する。再生制御部１４２は、抽出された参照情報に基づいて、同じＭＰ４ストリームを構成するＰＳファイルの読み出しを指示する制御信号を出力する。本明細書では、再生制御部１４２から出力された制御信号は、ＰＳファイル（“MOV001.MPG”）の読み出しを指示している。

次に、再生部１２１は、制御信号に基づいて、指定されたＰＳファイルを読み出す。次に、ＭＰＥＧ２−ＰＳ復号部１１１は、読み出されたデータファイルに含まれるＭＰＥＧ２−ＰＳ１４および付属情報１３を受け取り、付属情報１３を解析して属性情報を抽出する。そしてＭＰＥＧ２−ＰＳ復号部１１１は、属性情報に含まれるサンプル記述アトム１７（図１９）に基づいて、ＭＰＥＧ２−ＰＳ１４のデータフォーマット（“data-format”）、ＭＰＥＧ２−ＰＳ１４に含まれる映像ストリームの属性情報（“映像ＥＳ属性”）、音声ストリームの属性情報（“音声ＥＳ属性”）等を特定して、映像データおよび音声データを復号する。以上の処理により、付属情報１３に基づいてＭＰＥＧ２−ＰＳ１４が再生される。

なお、ＭＰＥＧ２システム規格のストリームを再生可能な従来の再生装置、再生ソフトウェア等であれば、ＰＳファイルのみを再生することによってＭＰＥＧ２−ＰＳ１４を再生することができる。このとき、再生装置等はＭＰ４ストリーム１２の再生に対応していなくてもよい。ＭＰ４ストリーム１２は付属情報１３およびＭＰＥＧ２−ＰＳ１４を別個のファイルによって構成されているので、例えば拡張子に基づいてＭＰＥＧ２−ＰＳ１４が格納されているＰＳファイルを容易に識別し、再生することができる。

図２２は、本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２ Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。図において、本発明（１）のカラムがこれまで説明した１ＶＯＢＵを１サンプルとする例に相当する。従来例では、１映像フレーム（Video frame）を１サンプルとして各サンプルにサンプルテーブルアトム（Sample Table Atom）等の属性情報（アクセス情報）を設けていた。本発明によれば、映像フレームを複数含むＶＯＢＵをサンプル単位としてサンプル毎にアクセス情報を設けたので、属性情報の情報量を大幅に低減できる。したがって本発明による１ＶＯＢＵを１サンプルとすることが好適である。

図２２の本発明（２）のカラムは、本発明（１）に示すデータ構造の変形例を示す。本発明（２）と本発明（１）との相違点は、本発明（２）の変形例では１チャンク（chunk）に１ＶＯＢＵを対応させてチャンク毎にアクセス情報を構成する点である。ここで、「チャンク」とは、複数のサンプルによって構成された単位である。このとき、ＭＰＥＧ２−ＰＳ１４のパックヘッダを含む映像フレームが、１サンプルに対応する。図２３は、１チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す。図１２の１サンプルを１チャンクに置き換えた点が相違する。なお、従来例では１サンプルに１映像フレームを対応させ、１チャンクに１ＧＯＰを対応させている。

図２４は、１チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。図１５に示す１サンプルに１ＶＯＢＵを対応させたときのデータ構造と比較すると、付属情報１３の属性情報に含まれるサンプルテーブルアトム１９に規定される内容が異なっている。図２５は、１チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す。

次に、ＭＰ４ストリーム１２を構成するＰＳファイルに関する変形例を説明する。図２６は、１つの付属情報ファイル（“MOV001.MP4”）に対して２つのＰＳファイル（”MOV001.MPG”および”MOV002.MPG”）が存在するＭＰ４ストリーム１２の例を示す。２つのＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ１４のデータが別々に記録されている。各ＰＳファイル内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ（System Clock Reference）、ＰＴＳ（Presentation Time Stamp）およびＤＴＳ（Decoding Time Stamp）は連続している。しかし、ＰＳファイル相互間（各ＰＳファイルに含まれるＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）には、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないとする。２つのＰＳファイルは別々のトラック（図）として取り扱われる。

付属情報ファイルには、各ＰＳファイルのファイル名および記録位置を特定する参照情報（dref；図１７）が記述されている。例えば、参照情報は参照すべき順序に基づいて記述されている。図では、参照＃１により特定されたＰＳファイル”MOV001.MPG”が再生され、その後、参照＃２により特定されたＰＳファイル”MOV002.MPG”が再生される。このように複数のＰＳファイルが存在していても、付属情報ファイル内に各ＰＳファイルの参照情報を設けることにより、各ＰＳファイルを実質的に接続して再生することができる。

図２７は、１つのＰＳファイル内に不連続のＭＰＥＧ２−ＰＳが複数存在する例を示す。ＰＳファイルには、別個の動画シーンを表すＭＰＥＧ２−ＰＳ＃１および＃２のデータが連続的に配列されている。「不連続のＭＰＥＧ２−ＰＳ」とは、２つのＭＰＥＧ２−ＰＳ間（ＭＰＥＧ−ＰＳ＃１の末尾とＭＰＥＧ−ＰＳ＃２の先頭の間）では、ＳＣＲ、ＰＴＳおよびＤＴＳはそれぞれ連続していないことを意味する。すなわち、再生タイミングに連続性がないことを意味する。不連続点は、２つのＭＰＥＧ２−ＰＳの境界に存在する。なお各ＭＰＥＧ２−ＰＳ内では動画ストリームは連続し、ＭＰＥＧ２システム規格に基づくＳＣＲ、ＰＴＳおよびＤＴＳは連続している。

付属情報ファイルには、ＰＳファイルのファイル名および記録位置を特定する参照情報（dref；図１７）が記述されている。付属情報ファイルにはそのＰＳファイルを指定する参照情報が１つ存在する。しかしＰＳファイルを順に再生すると、ＭＰＥＧ２−ＰＳ＃１と＃２との不連続点においては再生できなくなる。ＳＣＲ、ＰＴＳ、ＤＴＳ等が不連続になるからである。そこで、この不連続点に関する情報（不連続点の位置情報（アドレス）等）を付属情報ファイルに記述する。具体的には、不連続点の位置情報は、図１９における「不連続点開始フラグ」として記録する。例えば、再生時には再生制御部１４２は不連続点の位置情報を算出して、不連続点の後に存在するＭＰＥＧ２−ＰＳ＃２の映像データを先読み等することにより、少なくとも映像データの連続的な再生が途切れないように再生を制御する。

図２６を参照しながら、互いに不連続なＭＰＥＧ２−ＰＳを含む２つのＰＳファイルに対して、２つの参照情報を設けて再生する手順を説明した。しかし、図２８に示すように、２つのＰＳファイルに対してシームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを新たに挿入し、シームレスに当初の２つのＰＳファイルを再生することができる。図２８は、シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイル（“MOV002.MPG”）を設けたＭＰ４ストリーム１２を示す。ＰＳファイル（“MOV002.MPG”）は、ＭＰＥＧ２−ＰＳ＃１とＭＰＥＧ２−ＰＳ＃３との不連続点において不足する音声フレームを含む。以下、図２９を参照しながらより詳しく説明する。

図２９は、不連続点において不足する音声（オーディオ）フレームを示す。図では、ＭＰＥＧ２−ＰＳ＃１を含むＰＳファイルを「ＰＳ＃１」と表記し、ＭＰＥＧ２−ＰＳ＃３を含むＰＳファイルを「ＰＳ＃３」と表記する。

まず、ＰＳ＃１のデータが処理され、次にＰＳ＃３のデータが処理されるとする。上から２段目のＤＴＳビデオフレームおよび３段目のＰＴＳビデオフレームは、それぞれ映像フレームに関するタイムスタンプを示す。これらから明らかなように、ＰＳファイル＃１および＃３は、映像が途切れることなく再生される。しかし、オーディオフレームに関しては、ＰＳ＃１の再生が終了した後ＰＳ＃３が再生されるまでの間、一定区間データが存在しない無音区間が発生する。これでは、シームレス再生を実現できない。

そこで、新たにＰＳ＃２を設け、シームレス接続のための音声フレームを含むＰＳファイルを設けて、付属情報ファイルから参照するようにした。この音声フレームは、無音区間を埋める音声データを含み、例えばＰＳ＃１末尾の動画に同期して記録されている音声データがコピーされる。図２９に示すように、オーディオフレームの段にはシームレス接続用オーディオフレームがＰＳ＃１の次に挿入されている。ＰＳ＃２の音声フレームは、ＰＳ＃３の開始前１フレーム以内になるまで設けられる。これに伴って、付属情報１３に新たなＰＳ＃２を参照する参照情報（図２８のdref）を設け、ＰＳ＃１の次に参照されるように設定する。

なお、図２９には「オーディオギャップ」として示される１音声フレーム分以下の無データ区間（無音区間）が存在しているが、ＰＳ＃２内にあと１音声フレーム相当分のデータを余分に含め、無音区間が発生しないようにしてもよい。この場合には、例えばＰＳ＃２とＰＳ＃３に同じ音声データサンプルを含む部分、すなわちオーディオフレームがオーバーラップする部分が含まれることになる。しかし、特に問題は生じない。オーバーラップする部分はいずれのデータを再生しても同じ音声が出力されるからである。

以上の処理により、不連続な複数のＰＳファイルを再生する際には、時間的に連続して復号し再生することができる。

なお、図２９では参照情報（dref）を用いてＰＳファイルを参照するとして説明したが、ＰＳ＃２ファイルに限っては他のアトム（例えば独自に定義した専用アトム）、または第２のＰＳトラックからＰＳ＃２を参照してもよい。換言すれば、ＤＶＤビデオレコーディング規格に準拠するＰＳファイルのみ、“dref”アトムから参照するようにしてもよい。または、ＰＳ＃２ファイル内の音声フレームをエレメンタリストリームの独立ファイルとして記録し、付属情報ファイルに設けた独立した音声トラックアトムより参照し、さらに、ＰＳ＃１の末尾に並列して再生するように付属情報ファイルに記述してもよい。ＰＳ＃１と音声のエレメンタリストリームの同時再生のタイミングは、付属情報のエディットリストアトム（例えば図１５）によって指定可能である。

これまでは、動画ストリームはＭＰＥＧ２プログラムストリームであるとして説明した。しかし、ＭＰＥＧ２システム規格で規定されたＭＰＥＧ２−トランスポートストリーム（以下、「ＭＰＥＧ２−ＴＳ」）によって動画ストリームを構成することもできる。

図３０は、本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す。ＭＰ４ストリーム１２は、付属情報１３を含む付属情報ファイル（"MOV001.MP4"）と、ＭＰＥＧ２−ＴＳ１４のデータファイル（“MOV001.M2T”）（以下「ＴＳファイル」と称する）とを備えている。

ＭＰ４ストリーム１２において、ＴＳファイルが付属情報１３内の参照情報（dref）によって参照される点は、図１２のＭＰ４ストリームと同様である。

ＭＰＥＧ２−ＴＳ１４にはタイムスタンプが付加されている。より詳しく説明すると、ＭＰＥＧ２−ＴＳ１４には、送出時に参照される４バイトのタイムスタンプが１８８バイトのトランスポートパケット（以下「ＴＳパケット」）の前に付加されている。その結果、映像を含むＴＳパケット（Ｖ＿ＴＳＰ）および音声を含むＴＳパケット（Ａ＿ＴＳＰ）は１９２バイトで構成されている。なおタイムスタンプはＴＳパケットの後ろに付加されていてもよい。

図３０に示すＭＰ４ストリーム１２では、図１２におけるＶＯＢＵと同様、映像にして約０．４〜１秒に相当する映像データを含むＴＳパケットを１サンプルとして付属情報１３に属性情報を記述することができる。さらに図１３と同様、１フレームの音声データのデータサイズ、データアドレスおよび再生タイミング等を付属情報１３に記述してもよい。

また、１フレームを１サンプルに対応させ複数のフレームを１チャンクに対応させてもよい。図３１は、本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す。このとき、図２３と同様、映像にして約０．４〜１秒に相当する映像データを含む複数のＴＳパケットを１チャンクに対応させ、１チャンク毎にアクセス情報を設定することにより、図１２に示す構成のＭＰ４ストリーム１２と全く同様の利点が得られる。

なお、上述の図３０および３１のデータ構造を利用するときの各ファイルの構成およびデータ構造に基づく処理は、図１２、１３および２３に関連して説明した処理と類似する。それらの説明は、図１２、１３および２３における映像パックおよび音声パックに関する説明を、それぞれ図３０に示すタイムスタンプを含めた映像用ＴＳパケット（Ｖ＿ＴＳＰ）および音声用ＴＳパケット（Ａ＿ＴＳＰ）に置き換えて読めばよい。

次に、図３２を参照しながら、これまで説明したデータ処理を適用可能な他のデータフォーマットのファイル構造を説明する。図３２は、ＭＴＦファイル３２のデータ構造を示す。ＭＴＦ３２は、動画の記録および編集結果の格納に用いられるファイルである。ＭＴＦファイル３２は複数の連続したＭＰＥＧ２−ＰＳ１４を含んでおり、また、一方、各ＭＰＥＧ２−ＰＳ１４は、複数のサンプル（“P2Sample”）を含む。サンプル（“P2Sample”）はひとつの連続したストリームである。例えば、図１２に関連して説明したように、サンプル単位で属性情報を設けることができる。これまでの説明では、このサンプル（“P2Sample”）がＶＯＢＵに相当する。各サンプルは、各々が一定のデータ量（２０４８バイト）で構成された複数の映像パックおよび音声パックを含む。また、例えば、２つのＭＴＦをひとつにまとめると、ＭＴＦは２つのP2streamから構成される。

ＭＴＦ３２内で前後するＭＰＥＧ２−ＰＳ１４が連続したプログラムストリームのときは、連続する範囲において１つの参照情報を設け、１つのＭＰ４ストリームを構成できる。前後するＭＰＥＧ２−ＰＳ１４が不連続のプログラムストリームであるときは、図２７に示すように不連続点のデータアドレスを属性情報に設けてＭＰ４ストリーム１２を構成できる。よってＭＴＦ３２においても、これまで説明したデータ処理を適用できる。

これまでは、２００１年に標準化されたＭＰ４ファイルフォーマットを拡張してＭＰＥＧ２システムストリームを取り扱う例を説明したが、本発明は、QuickTimeファイルフォーマットおよびISO Base Mediaファイルフォーマットを同様に拡張してもＭＰＥＧ２システムストリームを取り扱うことができる。ＭＰ４ファイルフォーマットおよびISO Base Mediaファイルフォーマットの大部分の仕様はQuickTimeファイルフォーマットをベースとして規定されており、その仕様の内容も同じだからである。図３３は、各種のファイルフォーマット規格の相互関係を示す。「本発明」と、「ＭＰ４（２００１）」と、「QuickTime」とが重複するアトム種別（moov, mdat）では、上述した本発明によるデータ構造を適用することができる。これまでにも説明しているように、アトム種別“moov”は付属情報の最上位階層の“Movie Atom”として図１５等において示しているとおりである。

図３４は、QuickTimeストリームのデータ構造を示す。QuickTimeストリームもまた、付属情報１３を記述したファイル（“MOV001.MOV”）と、ＭＰＥＧ２−ＰＳ１４を含むＰＳファイル（“MOV001.MPG“）とによって構成される。図１５に示すＭＰ４ストリーム１２と比較すると、QuickTimeストリームの付属情報１３に規定されている“Movie Atom”の一部が変更される。具体的には、ヌルメディアヘッダアトム（"Null Media Header Atom"）に代えて、ベースメディアヘッダアトム（“Base Media Header Atom”）３６が新たに設けられていること、および、図１５の３段目に記載されているオブジェクト記述アトム（“Object Descriptor Atom”）が図３４の付属情報１３では削除されていることである。図３５は、QuickTimeストリームの付属情報１３における各アトムの内容を示す。追加されたベースメディアヘッダアトム（“Base Media Header Atom”）３６は、各サンプル（ＶＯＢＵ）内のデータが、映像フレームおよび音声フレームのいずれでもない場合に、このアトムによりその旨が示される。図３５に示す他のアトム構造およびその内容は、上述のＭＰ４ストリーム１２を用いて説明した例と同じであるので、それらの説明は省略する。

以上、本発明の実施形態を説明した。図１２のＭＰＥＧ２−ＰＳ１４は０．４〜１秒分の動画データ（ＶＯＢＵ）から構成されるとしたが、時間の範囲は異なっていてもよい。また、ＭＰＥＧ２−ＰＳ１４は、ＤＶＤビデオレコーディング規格のＶＯＢＵから構成されるとしたが、他のＭＰＥＧ２システム規格に準拠したプログラムストリームや、ＤＶＤビデオ規格に準拠したプログラムストリームであってもよい。

図１１に示すデータ処理装置１０では、記録媒体１３１をＤＶＤ−ＲＡＭディスクであるとして説明したが、特にこれに限定されることはない。例えば記録媒体１３１は、ＭＯ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光記録媒体やハードディスク等の磁性記録媒体である。また、記録媒体１３１は、半導体メモリ等の半導体記録媒体であってもよい。

データ処理装置１０は、コンピュータプログラムに基づいてデータストリームの生成、記録および再生処理を行う。例えば、データストリームを生成し、記録する処理は、図２１に示すフローチャートに基づいて記述されたコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録することができる。なお、光ディスク装置１００は、記録媒体を介してのみならず、インターネット等の電気通信回線を介してもコンピュータプログラムを取得できる。

本発明によれば、付属情報のデータ構造をＩＳＯ規格に準拠させて現在の最新の規格に適合しつつ、従来のフォーマットと同等のデータストリームのデータ構造およびそのようなデータ構造に基づいて動作するデータ処理装置が提供される。データストリームは従来のフォーマットにも対応するので、既存のアプリケーション等もデータストリームを利用できる。よって既存のソフトウェアおよびハードウェアを有効に活用できる。

従来のデータ処理装置３５０の構成を示す図である。 ＭＰ４ファイル２０のデータ構造を示す図である。 アトム構造２３の具体例を示す図である。 動画ストリーム２２のデータ構造を示す図である。 途中でトラックが切り替わった動画ストリーム２２を示す図である。 動画ストリーム２２とＤＶＤ−ＲＡＭディスク３３１のセクタとの対応を示す図である。 記録されたデータがＤＶＤ−ＲＡＭのファイルシステムにおいて管理されている状態を示す図である。 ＤＶＤビデオレコーディング規格のアクセス情報として利用されるフィールド名と、フィールド名が表すピクチャ等との対応関係を模式的に示す図である。 図８に記載されたアクセス情報のデータ構造、データ構造に規定されるフィールド名、その設定内容およびデータサイズを示す図である。 本発明によるデータ処理を行うポータブルビデオコーダ１０−１、ムービーレコーダ１０−２およびＰＣ１０−３の接続環境を示す図である。 データ処理装置１０における機能ブロックの構成を示す図である。 本発明によるＭＰ４ストリーム１２のデータ構造を示す図である。 ＭＰＥＧ２−ＰＳ１４の音声データの管理単位を示す図である。 プログラムストリームとエレメンタリストリームとの関係を示す図である。 付属情報１３のデータ構造を示す図である。 アトム構造を構成する各アトムの内容を示す図である。 データ参照アトム１５の記述形式の具体例を示す図である。 サンプルテーブルアトム１６に含まれる各アトムの記述内容の具体例を示す図である。 サンプル記述アトム１７の記述形式の具体例を示す図である。 サンプル記述エントリ１８の各フィールドの内容を示す図である。 ＭＰ４ストリームの生成処理の手順を示すフローチャートである。 本発明による処理に基づいて生成されたＭＰＥＧ２−ＰＳと、従来のＭＰＥＧ２ Ｖｉｄｅｏ（エレメンタリストリーム）との相違点を示す表である。 １チャンクに１ＶＯＢＵを対応させたときのＭＰ４ストリーム１２のデータ構造を示す図である。 １チャンクに１ＶＯＢＵを対応させたときのデータ構造を示す図である。 １チャンクに１ＶＯＢＵを対応させたときの、サンプルテーブルアトム１９に含まれる各アトムの記述内容の具体例を示す図である。 １つの付属情報ファイルに対して２つのＰＳファイルが存在するＭＰ４ストリーム１２の例を示す図である。 １つのＰＳファイル内に不連続なＭＰＥＧ２−ＰＳが複数存在する例を示す図である。 シームレス接続用のＭＰＥＧ２−ＰＳを含むＰＳファイルを設けたＭＰ４ストリーム１２を示す図である。 不連続点において不足する音声（オーディオ）フレームを示す図である。 本発明の他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。 本発明のさらに他の例によるＭＰ４ストリーム１２のデータ構造を示す図である。 ＭＴＦファイル３２のデータ構造を示す図である。 各種のファイルフォーマット規格の相互関係を示す図である。 QuickTimeストリームのデータ構造を示す図である。 QuickTimeストリームの付属情報１３における各アトムの内容を示す図である。 記録画素数が変化する場合の動画ストリームのフラグ設定内容を説明する図である。

Claims (17)

1. 映像データおよび音声データを受け取る受信部と、
   受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成する圧縮部と、
   前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成する付属情報生成部と、
   前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録する記録部と
   を備え、前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能であるデータ処理装置。
2. 前記参照情報は、前記記録媒体に記録された前記データファイルのファイル名および格納位置を示す、請求項１に記載のデータ処理装置。
3. 前記圧縮部は、複数の符号化データを生成し、
   前記付属情報生成部は、前記複数の符号化データの各々を参照する前記参照情報を生成する、請求項１に記載のデータ処理装置。
4. 前記圧縮部は、複数の符号化データを生成し、
   前記付属情報生成部は、前記複数の符号化データを連続的に配列して１つのストリームデータを生成し、再生タイミングごとの符号化データのデータサイズが一定でない場合に、前記符号化データの記録位置を特定する位置情報をさらに記述した付属情報を生成する、請求項１に記載のデータ処理装置。
5. 前記圧縮部は、ＭＰＥＧ２プログラムストリームおよびＭＰＥＧ２トランスポートストリームの一方に準拠した符号化データを生成する、請求項１に記載のデータ処理装置。
6. 前記付属情報生成部は、前記符号化データのうち、前記音声データに対応する符号化音声データの音声フレームを、さらに他のサンプル単位として前記属性情報に記述する、請求項１に記載のデータ処理装置。
7. 前記圧縮部は、第１〜第３のデータファイルを生成し、前記第２のデータファイルは、前記第１のデータファイルの符号化データと前記第３のデータファイルの符号化データとを時間的に連続して復号するために必要なフレームデータを含む、請求項３に記載のデータ処理装置。
8. 付属情報生成部は、ＭＰ４フォーマットにしたがって記述された付属情報ファイルを生成する、請求項１に記載のデータ処理装置。
9. 付属情報生成部は、ＱｕｉｃｋＴｉｍｅフォーマットにしたがって記述された付属情報ファイルを生成する、請求項１に記載のデータ処理装置。
10. データファイルに含まれる符号化データと、付属情報ファイルに含まれる付属情報とによって構成されるストリームデータであって、
    前記符号化データは、映像データおよび音声データがＭＰＥＧ２システム規格にしたがって符号化され、かつ、前記付属情報および前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能であり、
    前記付属情報は、前記符号化データを参照する参照情報および前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位として前記サンプル単位の属性を記述した属性情報を含む、ストリームデータ。
11. 請求項１０に記載のストリームデータが記録された記録媒体。
12. 請求項１０に記載のストリームデータから前記付属情報ファイルを読み出し、さらに制御信号に基づいて前記データファイルを読み出す再生部と、
    前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する信号を前記制御信号として生成する再生制御部と、
    読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号する復号部と、
    復号された前記映像データおよび前記音声データを出力する出力部と
    を備えたデータ処理装置。
13. 映像データおよび音声データを受け取るステップと、
    受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成するステップと、
    前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成するステップと、
    前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録するステップと、
    を包含するデータ記録方法であって、前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である、データ記録方法。
14. データ処理装置において実行可能なコンピュータプログラムであって、
    映像データおよび音声データを受け取るステップと、
    受け取った前記映像データおよび前記音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成するステップと、
    前記符号化データを参照する参照情報、および、前記符号化データのビデオオブジェクトユニット（ＶＯＢＵ）をサンプル単位とし、前記サンプル単位の属性を記述した属性情報を含む付属情報を生成するステップと、
    前記符号化データをデータファイルとして記録媒体に記録し、前記付属情報を付属情報ファイルとして前記記録媒体に記録するステップと、
    を包含し、前記符号化データは、前記付属情報ファイルおよび前記ＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である、データ記録プログラム。
15. 請求項１０に記載のストリームデータから前記付属情報ファイルを読み出すステップと、
    前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する制御信号を生成するステップと、
    前記制御信号に基づいて前記データファイルを読み出すステップと、
    読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号するステップと、
    復号された前記映像データおよび前記音声データを出力するステップと
    を包含するデータ再生方法。
16. データ処理装置において実行可能なコンピュータプログラムであって、
    請求項１０に記載のストリームデータから前記付属情報ファイルを読み出すステップと、
    前記付属情報ファイルの前記付属情報に規定される前記参照情報に基づいて、前記データファイルの読み出しを指示する制御信号を生成するステップと、
    前記制御信号に基づいて前記データファイルを読み出すステップと、
    読み出された前記データファイルの符号化データおよび前記付属情報を受け取り、前記付属情報に含まれる前記属性情報に基づいて、前記符号化データから前記映像データおよび前記音声データを復号するステップと、
    復号された前記映像データおよび前記音声データを出力するステップと
    を包含するデータ再生プログラム。
17. 映像データおよび音声データを受け取る受信部と、
    受け取った前記映像データおよび前記音声データを所定の符号化形式で符号化して、前記映像データに対応するデータと前記音声データに対応するデータとがインターリーブされた符号化データを生成する圧縮部と、
    付属情報を生成する付属情報生成部であって、前記付属情報は、符号化データを参照する参照情報およびサンプル単位の属性を記述した属性情報を含む付属情報生成部と
    を備え、前記サンプルは、前記映像データの再生時間に基づいて構成された前記符号化データの集合であり、
    前記符号化データは、前記付属情報に基づく復号化、および、前記所定の符号化方式に対応する復号化方式のいずれに基づいても復号化することが可能である、データ処理装置。

Images