JPH1023401A

JPH1023401A - データ多重化方法及び多重データ再生方法、多重データ再生装置

Info

Publication number: JPH1023401A
Application number: JP17470896A
Authority: JP
Inventors: Hiroaki Toida; 博明樋田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-07-04
Filing date: 1996-07-04
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】符号化した装置に依存しない複数オブジェク
トデータの同期再生が行なえるオブジェクトデータの多
重化方法及び多重化装置、再生装置を提供すること。【解決手段】画像データもしくはオーディオデータも
しくはデジタルデータが多重化されたN個のオブジェク
トデータo1、o2、o3、・・・、oNを多重化して、１つの
オブジェクトデータを得る場合において、オブジェクト
データo2、o3、・・・、oNの画像データ、オーディオデ
ータ、デジタルデータを抽出した後、前記オブジェクト
データo2、o3、・・・、oNの画像データ、オーディオデ
ータ、デジタルデータを、前記オブジェクトデータo1の
時間情報t1に基づいた基準クロックで多重化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像、オ
ーディオ、デジタルデータ等を多重して伝送または蓄積
する際のデータ多重化方法及び多重したデータを同期再
生するための復号化方法、および装置に関するものであ
る。

【０００２】

【従来の技術】圧縮技術の進歩に伴い、近年、放送、Ｃ
ＡＴＶなどでデジタル画像、オーディオサービスが実用
化されている。デジタル画像、オーディオまたその他の
データを伝送する際には圧縮技術と共に、それらのデー
タの多重化方法も重要な課題である。

【０００３】以下図面を参考にしながら、上述したデー
タ多重化方法の国際規格であるＭＰＥＧ２（ＩＳＯ／Ｉ
ＥＣＪＴＣ／ＳＣ２９Ｎ８０１,"ISO/IEC CD 13818-
1:Information technology-Generic coding of moving
pictures and associated audio:Systems",1994.11）。

【０００４】図１０は従来のＭＰＥＧ２データ多重化方
法の説明図である。図１２はＭＰＥＧ２データ多重化方
式で多重されたデータを復号する多重データ復号装置の
ブロック図である。図１２において、１２１は分離部で
１２１１のバッファ、１２１２のＣＰＵより構成され
る。また１２２は制御部、１２３は画像デコーダ、１２
４はオーディオデコーダである。図１３は制御１２２の
動作を示すフローチャートである。

【０００５】以上のように構成された従来のＭＰＥＧ２
データ同期多重化方法及び多重データ同期再生装置につ
いて、以下その動作を説明する。

【０００６】画像データ、オーディオデータは、画像で
あればフレーム、オーディオであれば１０２４などの一
定のサンプル数（ＭＰＥＧではオーディオの場合もこれ
をフレームと呼ぶ）毎に圧縮符号化し、１フレームある
いは複数フレームをまとめてＰＥＳパケットと称するパ
ケットを作る。図１１（ａ）（ｂ）（ｃ）はＰＥＳパケ
ットを含むＴＳパケットのフォーマットの概略である。
ＰＥＳパケットにはヘッダがつくが、ヘッダ中には後続
のデータエリアが画像データか、オーディオデータか、
あるいはその他のデータかを示すストリームＩＤ、画像
とオーディオを同期再生するための時間情報、ＤＴＳ
（デコーディングタイムスタンプ、デコード時間情
報）、ＰＴＳ（プレゼンテーションタイムスタンプ、提
示時間情報）などを含んでいる。ＰＥＳパケットは複数
個の１８８バイト長のＴＳパケットに分割して伝送また
は蓄積される。

【０００７】図１１（ｄ）、（ｅ）は各種の情報が入る
アダプテーションフィールドを含むＴＳパケットのフォ
ーマットの概略である。ＰＣＲ（プログラムクロックリ
ファレンス、プログラム時間基準）は画像、オーディオ
などのデータが符号化された際のタイムベースでありＰ
ＴＳ、ＤＴＳと同じタイムベースを持つ。

【０００８】図１０はＴＳパケットのフォーマットの概
略である。ＴＳパケットにはそれぞれＰＩＤと呼ぶパケ
ット固有の番号がついている、ＰＩＤはＴＳパケット毎
に異なるのでなく同じＰＥＳパケットは同じＰＩＤを持
つ。ＴＳパケットは、図１０（ｂ）に示すようにヘッダ
に続きアダプテーションフィールドまたはデータを送
る。ＴＳパケットのＰＩＤは図１０（ｃ）のようにヘッ
ダの一部となる。

【０００９】ＴＳパケットのデータ領域には図１０に示
すＰＥＳパケットの他にＰＳＩと呼ぶ番組選択の情報を
入れることができる。このＰＳＩには、プログラムの番
号とそれに対応する画像データＰＥＳ、オーディオデー
タＰＥＳ、データＰＥＳパケットを含むＴＳパケットの
ＰＩＤが記述してある。

【００１０】図１２は以上のように多重化したデータを
受信してデータを同期再生する従来の多重データ再生装
置の一例である。受信した多重データはまずバッファ１
２１１に記憶する。ＣＰＵ１２１２は所望のプログラム
番号に対応した画像ＰＥＳ、オーディオＰＥＳをＰＳＩ
を用いて抽出し、画像デコーダ１２４、オーディオデコ
ーダ１２４に振り分ける。

【００１１】制御部１２２は図１３に示したフローチャ
ートに基づいて動作する。まず、ＴＳパケット内のＰＣ
Ｒから復号化装置のタイムベースであるＳＴＣ（システ
ムタイムクロック）を再生する。このＳＴＣの再生によ
り復号化装置のタイムベースは符号化装置のタイムベー
スと一致する。次に、画像デコーダ１２３及びオーディ
オデコーダ１２４からＰＴＳまたはＤＴＳを抽出し、Ｓ
ＴＣとの比較を行なう。この比較にＰＴＳ、ＤＴＳの両
方を用いる必要は必ずしもない。画像のＰＴＳがＳＴＣ
と一致した場合には、画像デコーダ１２３にデコード開
始を通知し、オーディオのＤＴＳがＳＴＣと一致した場
合にはオーディオデコーダ１２４にデコード開始を通知
する。

【００１２】以上により、画像デコーダ１２３とオーデ
ィオデコーダ１２４は同じタイムベースを持ち、同期再
生、表示する。

【００１３】

【発明が解決しようとする課題】しかしながら、上記の
ような構成では以下の問題が生ずる。

【００１４】画像符号化において、画像を構成するコン
ポーネント、すなわち背景、人物、動いている物体な
ど、いわゆるオブジェクト毎に別々に符号化を行なう、
オブジェクト符号化方法が注目されている。オブジェク
ト符号化では物体毎に符号化するため、特定の物体など
を置き換えるといった編集が行なえる。しかし編集する
各オブジェクトは全て同一の符号化装置により符号化さ
れるとは限らないため、同一のタイムベースを持つとは
限らない。このような場合、従来の方法では、各オブジ
ェクト間の同期再生ができないという問題があった。

【００１５】

【課題を解決するための手段】上記問題点を解決するた
めに本発明の第１のデータ多重化方法は、画像データも
しくはオーディオデータもしくはデジタルデータが多重
化されたN個のオブジェクトデータo1、o2、o3、・・
・、oNを多重化して、１つのオブジェクトデータを得る
場合において、オブジェクトデータo2、o3、・・・、oN
の画像データあるいはオーディオデータあるいはデジタ
ルデータを抽出した後、前記オブジェクトデータo2、o
3、・・・、oNの画像データ、オーディオデータ、デジ
タルデータを、前記オブジェクトデータo1の時間情報t1
に基づいた基準クロックで多重化するものである。

【００１６】また、第２のデータ多重化方法は、画像デ
ータもしくはオーディオデータもしくはデジタルデータ
が多重化されたN個のオブジェクトデータo1、o2、o3、
・・・、oNを多重化して、１つのオブジェクトデータを
得る場合において、前記オブジェクトデータo1とオブジ
ェクトデータo2、o3、・・・oNの基準時間を表す絶対時
間情報、基準クロックの精度の差を表す時間精度情報か
らなる同期制御データも多重化するものである。

【００１７】また、第３のデータ多重化方法は、画像デ
ータもしくはオーディオデータもしくはデジタルデータ
が多重化されたN個のオブジェクトデータo1、o2、o3、
・・・、oNを多重化して、１つのオブジェクトデータを
得る場合において、前記オブジェクトデータo1を基準と
して、前記オブジェクトデータo1またはオブジェクトデ
ータo2、o3、・・・、oNの多重間隔を変更するものであ
る。

【００１８】また、第４のデータ多重化方法は、画像デ
ータもしくはオーディオデータもしくはデジタルデータ
が多重化されたN個のオブジェクトデータo1、o2、o3、
・・・、oNを多重化して、１つのオブジェクトデータを
得る場合において、前記オブジェクトデータo2、o3、・
・・、oNの時間情報t2、t3、・・・、tNを前記オブジェ
クトデータo1の時間情報t1に書き換えるものである。

【００１９】

【発明の実施の形態】

（実施の形態１）以下、本発明の第１の実施例における
データ多重化方法をN=2の場合について、図面を参照し
ながら説明する。

【００２０】図１は本発明の第１の実施例におけるデー
タ多重化装置のブロック図であり、バッファ１４、１
５、１６、セレクタ１７、ＣＰＵ１８よりなる。図２は
オブジェクトデータの説明図、図３はＣＰＵ１８の動作
を示すフローチャートである。

【００２１】以上のように構成されたデータ多重化装置
におけるデータ多重化方法について、図１、２、３を用
いて説明する。

【００２２】オブジェクト符号化方法では、図２に示す
ようにオブジェクト単位で符号化を行なう。図２は２種
類のオブジェクト２１、２２で構成された１連の映像デ
ータの１枚の画像２３を示している。オブジェクト２１
は背景２１１、人物２１２、人物の声２１３、テーブル
２１４で構成され、オブジェクト２２は背景２２１、胴
体２２２、車輪２２３、２２４、物体のオーディオ２２
５、文字情報２２６で構成されている。圧縮符号化する
場合は、オブジェクトの最小単位、すなわち２１１、２
１２、２１３、２１４、２２１、２２２、２２３、２２
４、２２５、２２６をそれぞれ圧縮符号化する。

【００２３】オブジェクト２１、２２のような全く異な
るオブジェクト間の基準クロックは一致するとは限らな
い。基準クロックとは、何時何分という絶対時間とその
時間を刻むクロックの精度を表す。

【００２４】このような画像データ、オーディオデー
タ、デジタルデータを含むオブジェクトデータo1、o2
を、図３のフローチャートに従って多重化する。すなわ
ち、オブジェクトデータo1、o2をバッファ１４、１５に
読み込み、o1のＰＣＲ、ＰＴＳ、ＤＴＳで表される時間
情報t1を抽出し、このt1から基準クロックbsclk1を再生
する。次にo2から時間情報を持たないデータ部D2を抽出
し、そのデータ部D2を基準クロックbsclk1で新たに多重
化したo'2を作成し、バッファ１６に出力する。これに
より、o'2はo1と同じ基準クロックを持つこととなる。
そして、o1とo'2を多重化しo3を得る。

【００２５】以上のように、他方のオブジェクトの時間
情報を取り除き、基準とするオブジェクトの基準時間で
オブジェクトの多重化を行なうことで、基準クロックの
異なるオブジェクト間の基準クロックが統一され、オブ
ジェクト間の同期が可能となる。

【００２６】以下、以上のようにして得られた多重デー
タを、図４に示されるデータ再生装置で再生する。図４
は本発明における多重データ再生装置のブロック図で、
データ逆多重化部４１、制御部４４、画像デコーダ４
５、４６、オーディオデコーダ４７、４８から構成され
ている。図５はデータ逆多重化部４１のＣＰＵ４１２の
動作を示すフローチャート、図６は制御部４４のＣＰＵ
４４２の動作を示すフローチャートである。

【００２７】第１の実施例で多重化した多重化データを
蓄積メディア４２、または伝送路４３を通して逆多重化
部４１に入力したとする。逆多重化部４１ではＰＳＩを
抽出し、多重化されたストリームから所望のプログラム
に該当するＰＣＲ、画像、オーディオ、データを抜きだ
し、ＰＣＲ、デジタルデータは制御部４４に、その他の
データは各々のデコーダに送出する。ここで、画像デコ
ーダ４５、オーディオデコーダ４７はo1に対するデコー
ダ、画像デコーダ４６、オーディオデコーダ４８はo2に
対するデコーダとする。

【００２８】制御部４４は、ＰＣＲからデータ再生装置
のタイムベースであるＳＴＣを再生する。次に、画像デ
コーダ４５及びオーディオデコーダ４７からＰＴＳまた
はＤＴＳを抽出する。画像デコーダ４５からのＰＴＳま
たはＤＴＳがＳＴＣと一致した場合には、画像デコーダ
４５にデコード開始を通知し、オーディオデコーダ４７
からのオーディオのＤＴＳがＳＴＣと一致した場合には
オーディオデコーダ４７にデコード開始を通知する。同
様にして、画像デコーダ４６及びオーディオデコーダ４
８からＰＴＳまたはＤＴＳを抽出する。画像デコーダ４
６からのＰＴＳまたはＤＴＳがＳＴＣと一致した場合に
は、画像デコーダ４６にデコード開始を通知し、オーデ
ィオデコーダ４８からのオーディオのＤＴＳがＳＴＣと
一致した場合にはオーディオデコーダ４８にデコード開
始を通知する。

【００２９】以上のようにして、本発明の第１の実施例
によるデータ多重化方法による多重データは、本発明の
第１の実施例における多重データ再生装置を用いて、オ
ブジェクト間の同期を保ちながら再生、表示することが
可能である。

【００３０】なお、本発明第１の実施例ではN=2の場合
についてのみ説明したが、任意の数のオブジェクトデー
タの多重化についても同様にして多重化および再生が可
能である。

【００３１】（実施の形態２）以下、本発明の第２の実
施例におけるデータ多重化方法を、N=2の場合につい
て、図面を参照しながら説明する。

【００３２】第２の実施例では、図１の多重化装置を用
いるが多重化方法が第１の実施例と異なる。

【００３３】図７はＣＰＵ１８の動作を示すフローチャ
ートである。まず、o1、o2をバッファ１４、１５に読み
込み、o1の時間情報t1、o2の時間情報t2を抽出する。次
にこのt1、t2から各々の基準クロックbsclk1、bsclk2を
再生し、その絶対時間、クロック精度の差を計算する。
これら絶対時間、クロック精度の差を同期制御データと
して、o1、o2と共にbsclk1で多重化しo3を得る。

【００３４】以下、第２の実施例により多重化された多
重データを、図４に示されるデータ再生装置で再生する
が、第１の実施例における動作とは異なる。

【００３５】第１の実施例における多重データ再生装置
と異なる点は、逆多重化部４１から同期制御データを制
御部４４に出力すること、制御部４４において同期制御
データから抽出した絶対時間の差を用いてo2に対する各
デコーダのデコードタイミングにオッフセットをつける
こと、同期制御データから抽出したクロック精度の差か
らオブジェクト間の同期が再生時間の経過によりどの程
度の割合でずれるかがわかるため特殊再生を行なうこと
でこの同期のずれを吸収することが可能である。

【００３６】以上、第２の実施例によれば、第２の実施
例によって多重化されたストリームは同期再生すること
が可能となる。

【００３７】ここで、第２の実施例の多重データ再生装
置では、デジタルデータの再生は行なわなかったが、画
像、オーディオと同様にして、再生が可能である。

【００３８】また、第２の実施例では多重ストリームo3
はo1の基準クロックで多重化したためo1に同期したＰＣ
Ｒが唯一つ存在するが、異なる基準クロックからなるＰ
ＣＲを含んでいても、多重データ再生装置でどのオブジ
ェクトデータの時間情報から基準クロックを再生するか
の優先順位を付加して多重化することにより、多重デー
タ再生装置は、その優先順位に応じた基準クロックの再
生が可能である。

【００３９】また、本発明第２の実施例ではN=2の場合
についてのみ説明したが、任意の数のオブジェクトデー
タの多重化についても同様にして多重化および再生が可
能である。

【００４０】（実施の形態３）以下、本発明の第３の実
施例におけるデータ多重化方法をN=2の場合について、
図面を参照しながら説明する。

【００４１】第３の実施例では、図１の多重化装置を用
いるが多重化方法が第１、２の実施例と異なる。

【００４２】図８は第３の実施例におけるオブジェクト
データo1、o2の多重間隔の変化を表している。o1、o2は
それぞれ図８（ａ）（ｂ）で表されている。ここで、Au
dio８１１とAudio８２１、Video８１２とVideo８２２、
Data８１３とData８２３はそれぞれオーディオデータ、
画像データ、デジタルデータであり、各々同期表示され
るデータとする。

【００４３】以下、ＣＰＵ１８のo1を基準としたo2の多
重間隔の変更の動作を図１、８を用いて説明する。

【００４４】まず、o1、o2をバッファ１４、１５に読み
込む。基準をo1とした場合Audio８１１の到着までAudio
８２１の前に無効データを挿入する。次に、Video８１
２が到着したのでVideo８２２到着までの無効データを
削除する。同様にして、Data８１３の到着まで無効デー
タがData８２３の前に挿入される。以上の動作によりo2
は図８（ｃ）のようにo1に同期した多重間隔が変更され
たo'2となりバッファ１６に出力される。そして、o1とo
2の絶対時間の差を同期制御データとしてo1とo'2ととも
に多重化しo3を得る。

【００４５】以下、第３の実施例で得られた多重データ
を、図４で示される多重データ再生装置で再生するが、
第１、２の実施例における多重データ再生装置の動作と
は異なる。

【００４６】第２の実施例と異なる点は、制御部４４に
よる、時間精度情報の抽出、特殊再生処理、優先順位に
よる基準クロックの再生を行なわなくてよいことにあ
る。

【００４７】なお、第３の実施例におけるデータ多重化
方法では、o1を基準としてo2の多重の間隔を変更した
が、o2を基準としてo1の多重の間隔を変更しても同様な
効果が得られる。

【００４８】また、本発明第３の実施例ではN=2の場合
についてのみ説明したが、任意の数のオブジェクトデー
タの多重化についても同様にして多重化および再生が可
能である。

【００４９】また、第３の実施例におけるデータ多重化
方法では、o1を基準としてo2のみの多重の間隔を変更し
たが、o1の多重の間隔を変更しても同様な効果が得られ
る。

【００５０】ただし、この多重間隔の変更は、多重デー
タ再生装置がオーバーフローまたはアンダーフローをお
こさないように行なわなくてはならない。

【００５１】（実施の形態４）以下、本発明の第４の実
施例におけるデータ多重化方法をN=2の場合について、
図面を参照しながら説明する。

【００５２】第４の実施例では、図１の多重化装置を用
いるが多重化方法が第１、２、３の実施例と異なる。

【００５３】以下、ＣＰＵ１８による多重化の動作を図
１、９を用いて説明する。図９は第３の実施例における
オブジェクトデータo1、o2の多重の様子を表している。
o1、o2はそれぞれ図９（ａ）（ｂ）で表されている。こ
こで、Audio９１１とAudio９２１、Video９１２とVideo
９２２、Data９１３とData９２３はそれぞれオーディオ
データ、画像データ、デジタルデータであり、各々同期
表示されるデータとする。

【００５４】まずオブジェクトデータo1、o2をバッファ
１４、１５に読み込み、o1のＰＣＲ、ＰＴＳ、ＤＴＳで
表される時間情報t1を抽出し、o2の時間情報t2をt1に書
き換える。図９ではオブジェクトの時間情報としてＰＴ
ＳあるいはＤＴＳを用いている。これにより図９（ｂ）
は図９（ｃ）となる。図９（ａ）（ｃ）からわかるよう
にo1とo2では基準クロックの精度の差によりオブジェク
トデータ間の同期がとれていない。これを吸収するため
にウエイトフラグも多重化して、o'2として、バッファ
１６に出力する。ウエイトフラグとは、ある時間だけデ
コード処理を行なわない、もしくはデコードされたデー
タの出力を遅らせる効果をもつ。このウエイトフラグの
多重化により、図９（ｃ）は図９（ｄ）となる。そし
て、o1とo'2を多重化しo3を得る。

【００５５】以下、第４の実施例におけるデータ多重方
法により得られた多重データを図４で示される多重デー
タ再生装置で再生するが、第１、２、３の実施例での多
重データ再生装置の動作とは異なる。

【００５６】第１、２、３の実施例における多重データ
再生装置の動作と異なる点は、逆多重化部４１はウエイ
トフラグを検出した際には制御部４４にそれを通知する
こと、制御部４４においてウエイトフラグを検出した際
には、それに対応するデコーダにウエイト処理を施すこ
とである。図９（ｅ）はこのウエイトフラグにより、Vi
deo９２２、Data９２３の出力が遅れ、図９（ａ）に同
期することをイメージしたものである。

【００５７】以上のように、オブジェクトの時間情報を
書き換えること、ウエイトフラグを多重することによ
り、基準クロックの異なるオブジェクト間の絶対時間が
統一され、オブジェクト間の同期が可能となる。

【００５８】また、本発明第４の実施例ではN=2の場合
についてのみ説明したが、任意の数のオブジェクトの多
重化についても同様にして多重化および再生が可能であ
る。

【００５９】しかしながら、オブジェクトデータの符号
化条件が異なる場合には、オブジェクトデータの時間情
報の書き換えは容易ではない。

【００６０】

【発明の効果】以上のように本発明は、異なる基準クロ
ックをもつ複数のオブジェクトデータを多重化する際に
基準クロックの統一あるいは差を吸収するため、符号化
した装置に依存しない複数オブジェクトデータの同期再
生が可能となる。

【図面の簡単な説明】

【図１】本発明の第１から４の実施例におけるデータ多
重化装置のブロック図

【図２】オブジェクトデータの説明図

【図３】本発明の第１の実施例におけるデータ多重化方
法の説明図

【図４】本発明の第１から４の実施例におけるデータ再
生装置のブロック図

【図５】本発明の第１の実施例における多重化器１のＣ
ＰＵ１８の動作を示すフローチャート

【図６】本発明の第１の実施例における逆多重化部４１
のＣＰＵ４１２の動作を示すフローチャート

【図７】本発明の第２の実施例における多重化器１のＣ
ＰＵ１８の動作を示すフローチャート

【図８】本発明の第３の実施例におけるデータ多重化方
法の説明図

【図９】本発明の第４の実施例におけるデータ多重化方
法の説明図

【図１０】従来のＭＰＥＧ２データ多重化方法の説明図

【図１１】従来のＭＰＥＧ２データ多重化方法の説明図

【図１２】従来の多重データ復号装置のブロック図

【図１３】従来の多重データ復号装置の制御部１２２の
動作を示すフローチャート

【符号の説明】

１４バッファ１５バッファ１６バッファ１７セレクタ１８ＣＰＵ４１データ逆多重化部４２蓄積メディア４３伝送路４４制御部４５画像デコーダ４６オーディオデコーダ

Claims

【特許請求の範囲】

【請求項１】画像データもしくはオーディオデータも
しくはデジタルデータが多重化されたN個のオブジェク
トデータo1、o2、o3、・・・、oNを多重化して、１つの
オブジェクトデータを得る場合において、オブジェクト
データo2、o3、・・・、oNの画像データあるいはオーデ
ィオデータあるいはデジタルデータを抽出した後、前記
オブジェクトデータo2、o3、・・・、oNの画像データあ
るいはオーディオデータあるいはデジタルデータを、前
記オブジェクトデータo1の時間情報t1に基づいた基準ク
ロックで多重化することを特徴とするデータ多重化方
法。
【請求項２】画像データもしくはオーディオデータも
しくはデジタルデータが多重化されたN個のオブジェク
トデータo1、o2、o3、・・・、oNを多重化して、１つの
オブジェクトデータを得る場合において、前記オブジェ
クトデータo1とオブジェクトデータo2、o3、・・・oNの
基準時間を表す絶対時間情報、基準クロックの精度の差
を表す時間精度情報からなる同期制御データも多重化す
ることを特徴とするデータ多重化方法。
【請求項３】復号化装置がどのオブジェクトデータの
時間情報で基準クロックを再生するのかの優先順位を付
加して多重化することを特徴とする請求項２記載のデー
タ多重化方法。
【請求項４】画像データもしくはオーディオデータも
しくはデジタルデータが多重化されたN個のオブジェク
トデータo1、o2、o3、・・・、oNを多重化して、１つの
オブジェクトデータを得る場合において、前記オブジェ
クトデータo1を基準として、前記オブジェクトデータo1
またはオブジェクトデータo2、o3、・・・、oNの多重間
隔を変更することを特徴とするデータ多重方法。
【請求項５】前記オブジェクトデータo1と前記オブジ
ェクトデータo2、o3、・・・、oNの基準時間の関係を表
す絶対時間情報からなる同期制御データも多重化するこ
とを特徴とする請求項４記載のデータ多重化方法。
【請求項６】前記多重間隔の変更を無効データの挿入
もしくは無効データの削除で行なうことを特徴とする請
求項４または５記載のデータ多重化方法。
【請求項７】画像データもしくはオーディオデータも
しくはデジタルデータが多重化されたN個のオブジェク
トデータo1、o2、o3、・・・、oNを多重化して、１つの
オブジェクトデータを得る場合において、前記オブジェ
クトデータo2、o3、・・・、oNの時間情報t2、t3、・・
・、tNを前記オブジェクトデータo1の時間情報t1に書き
換えることを特徴とするデータ多重化方法。
【請求項８】前記オブジェクトデータo1と前記オブジ
ェクトデータo2、o3、・・・、oNの基準クロックの精度
の差を吸収するウエイトフラグも多重化することを特徴
とする請求項７に記載のデータ多重化方式。
【請求項９】請求項１〜８のいずれかに記載のデータ
多重化方式で多重化したデータを受信し、画像またはオ
ーディオまたはその他のデジタルデータを再生する多重
データ再生装置。
【請求項１０】請求項１〜８のいずれかに記載のデー
タ多重化方式で多重化したデータを受信し、オブジェク
トデータo1に含まれる画像データを画像の背景とし、前
記オブジェクトデータo1の時間情報t1を復号化装置の基
準クロックとして画像またはオーディオまたはその他の
デジタルデータを再生する多重データ再生装置。
【請求項１１】請求項３に記載のデータ多重化方式で
多重化したデータを受信し、クロックの優先順位に応じ
て基準クロックを再生し、画像またはオーディオまたは
その他のデジタルデータを再生する多重データ再生装
置。
【請求項１２】請求項１〜８のいずれかに記載のデー
タ多重化方式で多重化したデータを記録する記録媒体。
【請求項１３】請求項１〜８のいずれかに記載のデー
タ多重化方式で多重化したデータを伝送する伝送媒体。