JPH11513222A - 多重ビデオ対象画の表示時間スタンピング方法と同期化方法 - Google Patents

Abstract

(57)【要約】 圧縮データに挿入されたローカル時刻基準を符号化する方法が開示される。このローカル時刻基準は２つの部分で符号化される。第１の部分は参照時刻基準における特定の間隔を表すモジュロ時刻基準を有し、第２の部分は参照時刻に基づく相対的な時刻基準増分を有する。発生するかもしれない異なった符号化の順序および異なった表示の順序に備えて、２つの形態の時刻基準増分が使用される。さらに、ローカル時刻基準を備えた複数の圧縮ストリームを同期させるためのメカニズムが開示される。さらに、時刻基準オフセットメカニズムが使用され、複数の圧縮ストリームのより緻密な粒度を有する同期を可能にする。

Description

【発明の詳細な説明】 多重ビデオ対象画の表示時間スタンピング方法と同期化方法 技術分野 本発明は、独立して符号化された複数のオーディオビジュアル対象をプレゼン テーションのために同期させることが必要なディジタルオーディオビジュアルマ テリアルの符号化に有効である。本発明は、オーディオビジュアルマテリアルの 時間的サンプリングが同一でない場合に特に役立つものである。 背景技術 ＭＰＥＧ１およびＭＰＥＧ２において、入力ビデオは、規則的な時間間隔でサ ンプリングされた画像フレームからなる。これは、その入力ビデオのもっとも緻 密な時間解像度を表現する。図１は、画像フレームが規則的な間隔でサンプリン グされる一定のフレームレートによるビデオシーケンスを示す。ＭＰＥＧ１規格 およびＭＰＥＧ２規格を用いたビデオシーケンスの符号化表現においては、復号 化されたフレームの表示順序は参照時刻(temporal reference)によって表される 。このパラメータは、ビットストリームシンタックスのピクチャーヘッダーに記 述される。このパラメータの値は、表示順序を検査するときにそれぞれの復号化 されるフレームごとに１つだけインクリメントされる。 Ｈ．２６３規格においては、フレームをスキップしてもよく、したがって、可 変フレームレートビデオシーケンスを復号化することができる。しかしながら、 フレームのサンプリングは不変のままである。このように、ＭＰＥＧ１およびＭ ＰＥＧ２において用いられる時刻参照方法は依然として適切なものであり、１だ けインクリメントするのではなく（１＋入力フレームレートにおける非転送ピク チャー数）だけインクリメントするような修正が必要なだけである。 現在、多重ビデオ対象画においてビデオを独立した対象として符号化する研究 開発がなされている。これは、それぞれのビデオ対象の復号化と同期とにおける 新しい概念を表現するものである。これらの個々のビデオ対象画は、複数のソー スから発生してもよく、また、まったく異なるフレームレートを有してもよいこ とが期待されている。対象のあるものは、ほぼ連続的な時間的サンプリングレー トを有してもよい。これらのビデオ対象画は、組み合わせられ、表示される際に は、合成画像となる。したがって、この合成のためにはある種の同期が必要とな る。表示フレームレートは、どのビデオ対象画のフレームレートとも異なってい てもよい。図２は、互いに異なったフレームレートを有する２つのビデオ対象画 の例を示す。たとえ２つのビデオ対象画の間の共通のフレームレートを捜し出す ことができたとしても、必然的にそのフレームレートが合成処理装置の出力フレ ームレートと同じものになることはない。 以下、ビデオの領域における問題について述べるが、同様の本発明の原理は、 オーディオの領域にも拡張することができ、また、この２つを組み合わせた領域 にも拡張することができる。 この技術分野における現在の状況は、ビデオ対象画の同期に関する要求を満た していないことは上述したことから明らかである。また、この技術分野における 現在の状況は、異なったビデオ対象画が互いの倍数ではない異なったフレームレ ートを有する場合に、共通の参照時刻を提供しない。 第１の問題は、共通のローカル時刻基準メカニズムをそれぞれのビデオ対象画 にどのように提供するかである。この時刻基準は、非常に緻密な時間的粒度(tem poral granularity)を提供することができるとともに、ビデオ対象画の２つの連 続する時点(instance)の間に非常に長い間隔があり得ることにも対処することが できなければならない。 第２の問題は、異なったフレームレートを有するビデオ対象画を同 期させるためのメカニズムをどのようにして提供するかである。 発明の開示 上述の問題は、すべてのローカル時刻基準に対して使用される共通の時間解像 度を導入することによって解決することができる。広い範囲にわたる時間的粒度 を提供するために、ローカル時刻基準は２つの異なった部分に分割される。第１ の部分は、短い時刻基準を提供する緻密な粒度を有する時間解像度を含む。第２ の部分は、長い時刻基準を提供する粗な粒度を有する時間解像度を含む。短い時 刻基準は、それぞれのビデオ対象画に含まれ、ビデオ対象画の時点に参照時刻を 提供する。そして、この短い時刻基準が、すべてのビデオ対象画に共通の長い時 刻基準に同期させられる。この長い時刻基準は、すべての様々なビデオ対象画を 、マスタークロックによって提供される共通の時刻基準に同期させるのに使用さ れる。 本発明の第１の側面によれば、圧縮データにおけるオーディオビジュアルシー ケンスのローカル時刻基準を符号化する方法は、 時間的なサンプリングによってオーディオビジュアルシーケンスの時点を得る 段階と、 圧縮データの中に符号化されるべき前記時点のローカル時刻基準を判定する段 階と、 ローカル時刻基準において特定の間隔で均等に配置された一連の参照時刻の発 生を表すモジュロ時刻基準と、前記均等に配置された参照時刻に基づく相対的な 時刻基準増分とからなる２つの部分でもって前記ローカル時刻基準を符号化する 段階と、 前記特定の間隔が経過するたびにモジュロ時刻基準を圧縮データに挿入する段 階と、 時刻基準増分をオーディオビジュアルシーケンスの前記時点の圧縮データに挿 入する段階と、 を備える。 本発明の第２の側面によれば、圧縮データにおけるオーディオビジュアルシー ケンスのローカル時刻基準を符号化する方法は、 時間的なサンプリングによってオーディオビジュアルシーケンスの時点を得る 段階と、 圧縮データの中に符号化されるべき前記時点のローカル時刻基準を判定する段 階と、 将来のいかなる時点も参照することのない第１の圧縮方法と、将来再生される 時点を参照する第２の圧縮方法とからなる２つの方法の一方で前記時点を符号化 する段階と、 ローカル時刻基準において特定の間隔で均等に配置された一連の参照時刻の発 生を表すモジュロ時刻基準と時刻基準増分とからなる２つの部分でもって前記ロ ーカル時刻基準を符号化する段階と、 第１の圧縮方法を用いて圧縮された時点に対する時刻基準増分を、前記均等に 配置された参照時刻に基づく絶対値として符号化する段階と、 第２の圧縮方法を用いて圧縮された時点に対する時刻基準増分を、以前に前記 第１の圧縮方法を用いて圧縮された時点のローカル時刻基準の相対値として符号 化する段階と、 前記特定の間隔が経過するたびにモジュロ時刻基準を圧縮データに挿入する段 階と、 時刻基準増分を前記オーディオビジュアルシーケンスの前記時点の圧縮データ に挿入する段階と、 を備える。 本発明の第３の側面によれば、本発明の第１または第２の側面による方法は、 符号化されたローカル時刻基準情報をその中に含んだ複数の圧縮ビットストリー ムが多重化され、多重化するために、 時刻基準オフセットを符号化して多重化ビットストリームに挿入することによ って、個々の圧縮ビットストリームのローカル時刻基準を 共通時刻基準に同期させる段階と、 すべての圧縮ビットストリームがモジュロ時刻基準に到達してしまうまで、多 重化されるビットストリームに配置されるべき次の圧縮時点があるかどうかそれ ぞれの圧縮ビットストリームを検査する段階と、 共通モジュロ時刻基準を多重化されるビットストリームに挿入し、圧縮ビット ストリームのモジュロ時刻基準をスキップする段階と、 すべての圧縮ビットストリームが処理されるまで、最後の２つの段階を反復す る段階と、 をさらに備える。 本発明の第４の側面によれば、本発明の第１または第２の側面による方法は、 符号化されたローカル時刻基準情報をその中に含んだ複数の圧縮ビットストリー ムが多重化され、そして、多重分離され、多重分離するために、 個々の圧縮ビットストリームの時刻基準オフセットを復号化する段階と、 多重化ビットストリームにおいてモジュロ時刻基準が検出されるまで、次の圧 縮時点があるかどうか多重化ビットストリームを検査し、前記時点を適切な圧縮 ビットストリームに配置する段階と、 モジュロ時刻基準をそれぞれの圧縮ビットストリームに挿入する段階と、 多重化ビットストリームがすべて処理されるまで、最後の２つの段階を反復す る段階と、 をさらに備える。 本発明の第５の側面によれば、本発明の第１の側面による方法によって符号化 された圧縮データの時刻基準からオーディオビジュアルシーケンスのローカル時 刻基準を復号化する方法は、 時刻基準オフセットを考慮して参照時刻基準を初期化する段階と、 それぞれの復号化されたモジュロ時刻基準に対して特定の間隔だけ 参照時刻基準をインクリメントする段階と、 圧縮時点の時刻基準増分を復号化する段階と、 前記復号化された時刻基準増分の値を参照時刻基準に加算することによって、 前記時点の復号化時刻基準を決定する段階と、 を備える。 本発明の第６の側面によれば、本発明の第２の側面による方法によって符号化 された圧縮データの時刻基準からオーディオビジュアルシーケンスのローカル時 刻基準を復号化する方法は、 時刻基準オフセットを考慮して参照時刻基準を初期化する段階と、 それぞれの復号化されたモジュロ時刻基準に対して特定の間隔だけ参照時刻基 準をインクリメントする段階と、 圧縮時点の時刻基準増分を復号化する段階と、 第１の圧縮方法が時点を符号化するのに使用された場合には、時刻基準増分が 絶対であると判定し、第２の圧縮方法が時点を符号化するのに使用された場合に は、時刻基準増分が相対であると判定する段階と、 時刻基準増分が絶対であると判定した場合には、前記復号化された時刻基準増 分の値を参照時刻基準に加算することによって前記時点の復号化時刻基準を決定 する段階と、 時刻基準増分が相対であると判定した場合には、前記復号化された時刻基準増 分の値を第１の圧縮方法を用いて符号化された以前の時点の復号化時刻基準に加 算することによって前記時点の復号化時刻基準を決定する段階と、 を備える。 図面の簡単な説明 以下の詳細な説明と添付の図面とから本発明をより良く理解することができる 。 図１は、ビデオシーケンスのフレームが一定間隔でサンプリングさ れる従来技術による時間的なサンプリングを説明する図である。 図２は、ビデオ対象画の概念およびその互いの関係を説明する図である。ビデ オ対象画のサンプリングは不規則であってもよく、また、サンプリング周期は急 激に変化してもよい。 図３Ａは、ビデオ対象画の参照時刻がモジュロ時刻基準とＶＯＰ時刻増分とに よって表される本発明を説明する図である。この説明では、Ｉ−ＶＯＰおよびＰ −ＶＯＰだけが使用されている。 図３Ｂは、ビデオ対象画の参照時刻がモジュロ時刻基準とＶＯＰ時刻増分とに よって表される本発明を説明する図である。この説明では、Ｉ−ＶＯＰ、Ｐ−Ｖ ＯＰ、および、Ｂ−ＶＯＰが使用されている。 図４Ａは、Ｂ−ビデオ対象画のためにプレゼンテーション順序および符号化順 序が異なる場合に発生することがある曖昧さの例を説明する図である。 図４Ｂは、Ｂ−ビデオ対象画のためにプレゼンテーション順序および符号化順 序が異なる場合に発生することがある曖昧さの例を説明する図である。 図４Ｃは、Ｂ−ビデオ対象画のためにプレゼンテーション順序および符号化順 序が異なる場合に発生することがある曖昧さの例を説明する図である。 図４Ｄは、Ｂ−ビデオ対象画のためにプレゼンテーション順序および符号化順 序が異なる場合に発生することがある曖昧さの例を説明する図である。 図５Ａは、絶対時刻基準および相対時刻基準を用いることによって曖昧さを解 決することを説明する図である。 図５Ｂは、絶対時刻基準および相対時刻基準を用いることによって曖昧さを解 決することを説明する図である。 図６は、２つのＶＯＰの組み合わせと、ＶＯＰ時刻オフセットを用いることに よってそれらを共通時刻基準に同期させることとを説明す る図である。 図７は、時刻基準の符号化を説明するフローチャートである。 図８は、複数のビデオ対象画の多重化を説明するフローチャートである。 図９は、複数のビデオ対象画の多重分離を説明するフローチャートである。 図１０は、プレゼンテーションタイムスタンプの再生を説明するフローチャー トである。 図１１は、時刻基準を符号化するためのビットストリーム符号器の動作を説明 するブロック構成図である。 図１２は、時刻基準を復号化するためのビットストリーム復号器の動作を説明 するブロック構成図である。 図１３は、ビットストリームデータの形成を説明するタイムチャートである。 発明の好ましい実施例 本発明は２つの時刻表示形式を用いることにより動作する。その第１の時刻表 示形式は、ビデオ対象画に付加される短い時刻基準である。以下、この時刻基準 をＶＯＰ（Video Object Plane すなわちビデオ対象画）時刻増分と呼ぶ。この ＶＯＰ時刻増分は、復号化され互いに合成されるビデオ対象画のグループに付加 される長い時刻基準と関連してビデオ対象画に用いられるタイミングとして作用 する。この長い時刻基準をモジュロ時刻基準と呼ぶ。そして、これらのＶＯＰ時 刻増分とモジュロ時刻基準とが連係して使用され、ビデオ対象画を表示のための 最終的な合成シーケンスに合成するのに使用するための実際の時刻基準を決定す る。 ビットストリームを編集し、異なったソースからの異なったビデオ対象画を新 しいグループのビデオ対象画に合成するのを容易にするためには、共通時刻基準 から個々のビデオ対象画のローカル時刻基準ま での一定のオフセット値を提供する第３の成分が必要となる。以下では、このオ フセットはＶＯＰ時刻オフセットと呼ばれる。これは、異なった対象画がモジュ ロ時刻基準の間隔に等しい粒度で同期しなければならないことを防止する。この 成分は、一緒に多重化されるビデオ対象画が属するグループの中のそれぞれのビ デオ対象画に対して不変のものであるべきである。 まず最初に、モジュロ時刻基準について説明する。 モジュロ時刻基準は、ローカル時刻基準の粗な解像度を表現する。それは、Ｖ ＯＰ時刻増分のような値を有するものではない。実際には、それは、ＶＯＰ時刻 増分をビデオ対象画のローカル時刻基準に同期させるためのより重要な同期メカ ニズムである。それは符号化されたビットストリームにマーカーとして配置され 、それに続くビデオ対象画のＶＯＰ時刻増分がリセットされなければならないこ とを表し、また、ローカル時刻基準の参照は１つかまたはそれ以上のモジュロ時 刻基準の間隔の単位でインクリメントされなければならないことを表す。図３Ａ 、図３Ｂ、図４、図５、および、図６において、モジュロ時刻基準は、ビットス トリームヘッダーにおいて、ＶＯＰ時刻増分の前に挿入された連続する“１”と それに続く“０”で表される。連続する“１”の数は、ゼロかそれ以上である。 ビットストリームに挿入される“１”の数は、最後のＩ−ＶＯＰまたはＰ−ＶＯ Ｐから経過したモジュロ時刻基準の単位数に依存する。符号器および復号器では 、モジュロ時刻基準のカウンターは、“１”を検出するたびに１だけインクリメ ントされる。モジュロ時刻基準のカウンターは長さが有限であり、したがって、 実際のシステムでは、モジュロ時刻基準は、その最大値を越えた場合には０にリ セットされる。典型的なビデオシーケンスにおいては、ビデオ対象画はＶＯＰの グループを形成する。したがって、モジュロ時刻基準は、通常、このＶＯＰグル ープの開始点でリセットされる。 つぎに、ＶＯＰ時刻増分について説明する。 ＶＯＰ時刻増分は、ビデオ対象画のもっとも短い時間的サンプリングを利用す ることのできる単位によるものでなければならない。それは、対象画に用いられ る負の時刻基準であってもよい。したがって、それは、要求されるもっとも緻密 な時間解像度の粒度あるいは利用することのできるもっとも緻密な時間解像度の 粒度を表現する。 そして、ＶＯＰ時刻増分は、グローバル時刻基準の間隔／ローカル時刻基準の 解像度の比よりも大きいかまたは等しい有限長の数によって表されてもよい。図 ３Ａは、ＩおよびＰ−ビデオ対象画に用いられるＶＯＰ時刻増分およびモジュロ 時刻基準の参照の例を示す。絶対時刻基準が使用される。ＶＯＰ時刻増分は、モ ジュロ時刻基準が検出されるたびに毎回リセットされる。図３Ｂは、Ｉ、Ｐ、お よび、Ｂ−ビデオ対象画を用いたもう１つの例を示す。Ｂ−ビデオ対象画におい てモジュロ時刻基準が同じように繰り返されることを除けば動作は同じである。 もしＢ−ビデオ対象画においてモジュロ時刻基準が同じように繰り返されなけれ ば、復号化およびプレゼンテーションの順序の相違による曖昧さが発生する。こ のことは以下で詳述される。 ＶＯＰ時刻増分はプレゼンテーション時刻基準に対応するので、符号化の順序 がプレゼンテーションの順序と異なる場合に潜在的な問題が発生する。これは、 Ｂ−ビデオ対象画によって発生する。ＭＰＥＧ−１およびＭＰＥＧ−２のＢ−ピ クチャーと同じように、Ｂ−ビデオ対象画は、たとえそれらのプレゼンテーショ ン順序が参照Ｉ−ビデオ対象画および参照Ｐ−ビデオ対象画より前であったとし ても、それらの参照ビデオ対象画の後に符号化される。ＶＯＰ時刻増分は有限で ありかつモジュロ時刻基準に基づく相対的なものなので、モジュロ時刻基準が検 出された場合にはＶＯＰ時刻増分はリセットされる。しかしながら、Ｂ−ビデオ 対象画に対する符号化の順序は遅れたままである。図４は起こり得る曖昧さを示 す。いつＶＯＰ時刻増分がリセットされ るべきかを判定することはできない。実際に、図４Ａに示されるような符号化さ れるイベントのシーケンスが与えられた場合、それが、図４Ｂ、図４Ｃ、および 、図４Ｄのどのタイミング位置を表現しようとしているのかを知ることはできな い。この問題は、異なった符号化の順序とプレゼンテーションの順序とが混在す るすべての異なったタイプのビデオ対象画に共有される１つのモジュロ時刻基準 を使用するために起こるのである。符号化の順序に対してなすことができること はなにもない。なぜなら、この参照情報はＢ−ビデオ対象画が必要とするからで ある。また、異なった予測形態のそれぞれが、独自のモジュロ時刻基準を有する ことは好ましくない。 つぎに、ＶＯＰ時刻オフセットについて説明する。 上述したことに加えて、モジュロ時刻基準はすべてのビデオ対象画の間で共有 される。これは、異なったビデオ対象画間の同期がモジュロ時刻基準の間隔に等 しい粒度を有することを意味する。これは、異なったグループからのビデオ対象 画が組み合わせられてビデオ対象画の新しいグループを形成する場合には特に受 け入れることができない。図６は、互いにずれた２つの異なるローカル時刻基準 によって符号化された２つの異なるビデオ対象画の例を示す。このように、これ らのビデオ対象画が多重化される場合、ビデオ対象画の同期もまたずれたものと なる。個々のビデオ対象画のそれぞれにＶＯＰ時刻オフセットを持たせることに よってより緻密な粒度が達成される。このことは、ビデオ対象画が操作され多重 化される場合に、この値だけが変更されることを意味する。ＶＯＰ時刻増分を変 更する必要がないだけでなく、粗な粒度を有するタイミング差を用いることなく 異なったビデオ対象画を多重化することができる。図６は、この時刻基準オフセ ットの使用を説明する。 本発明の好ましい実施例は、個々のビデオ対象画ビットストリームのそれぞれ に用いられる時刻基準を符号化する方法と、異なったビデ オ対象画を多重化して共通の時刻基準にする方法と、多重化されたビットストリ ームを成分に多重分離する方法と、成分ビットストリームから時刻基準を再生す る方法とを含む。 つぎに、時刻基準の符号化を説明する。 時刻基準を符号化する実施例のフローチャートが図７に示される。符号器にお いては、ステップ１において、まずローカル時刻基準がローカル開始時刻に初期 化される。処理はステップ２に移り、そこで、符号器がローカル時刻基準の現在 の値を判定する。ステップ３において、得られたローカル時刻基準があらかじめ 符号化されたモジュロ時刻基準と比較され、その間隔がモジュロ時刻基準の間隔 を越えているかどうかを検査する。もしその間隔を越えていれば、制御はステッ プ４に移り、そこで、必要な数のモジュロ時刻基準がビットストリームに挿入さ れる。もしその間隔を越えていなければ、特別の処理は必要とされない。そして 、処理はステップ５に進み、そこで、ＶＯＰ時刻増分がビットストリームに挿入 される。つぎに、ステップ６において、対象画が符号化されてビットストリーム に挿入される。そして、符号器は、ステップ７において、符号化されるべきさら なる対象画があるかどうかを判定するための検査を行う。もし符号化されるべき 対象画があれば、処理はステップ２に戻り、そこで、ローカル時刻基準を得る。 もし符号化されるべき対象画がなければ、処理は終了する。 Ｉ／Ｐ−ビデオ対象画およびＢ−ビデオ対象画のそれぞれに対する絶対および 相対のＶＯＰ時刻増分を決定するために、以下の式が使用される。 ｔ_GTBn＝ｎ×ｔ_GTBI＋ｔ_GTB0 （ｎ＝０，１，２，３，・・） （１） ｔ_AVTI＝ｔ_ETBI/P−ｔ_GTBn （２） ｔ_RVTI＝ｔ_ETBB−ｔ_ETBI/p （３） ここで、 ｔ_GTBnは、ｎ番目の符号化されたモジュロ時刻基準によって表される符号器 時刻基準である。 ｔ_GTBIは、予め定められたモジュロ時刻基準の間隔である。 ｔ_GTB0は、符号器時刻基準の開始時刻である。 ｔ_AVTIは、ＩまたはＰ−ビデオ対象画に対する絶対ＶＯＰ時刻増分である。 ｔ_ETBI/Pは、ＩまたはＰ−ビデオ対象画の符号化の開始点での符号器時刻基 準である。 ｔ_RVTIは、Ｂ−ビデオ対象画に対する相対ＶＯＰ時刻増分である。 ｔ_ETBBは、Ｂ−ビデオ対象画の符号化の開始点での符号器時刻基準である。 つぎに、複数のビデオ対象画の多重化について説明する。 複数のビデオ対象画が１つに多重化される場合、多重化装置は、多重ビデオ対 象画のビットストリームを検査して同期だけでなく多重化の順序をも判定する。 これに含まれる動作が図８に示される。ステップ１１において、多重化されるべ きそれぞれのビデオ対象画に対するＶＯＰ時刻オフセットがビットストリームに 挿入される。つぎに、ステップ１２において、多重化されるべきビデオ対象画の すべてのビットストリームが検査され、すべてのビデオ対象画がそれらのそれぞ れのモジュロ時刻基準であるかどうかを判定する。もしそうであれば、処理はス テップ１３に進み、そこで、共通モジュロ時刻基準が、多重化されたビットスト リームに挿入される。もしそうでなければ、処理はステップ１４に進み、そこで 、次の符号化されたビデオ対象画が、多重化されたビットストリームに挿入され る。ステップ１５において、多重化されるべきビデオ対象画のビットストリーム が、多重化されるべきさらなるビデオ対象画があるかどうかを再度検査される。 もしあれば、制御は再びステップ１２に進む。もしなければ、この処理を終 了する。 つぎに、複数のビデオ対象画を含むビットストリームの多重分離について説明 する。 多重ビデオ対象画を含むビットストリームの多重分離が図９に示される。この 処理はステップ２１から始まり、そこで、ＶＯＰ時刻オフセットが復号化され、 同期に用いるために復号器に送られる。そして、ステップ２２において、多重化 されたビットストリームが検査され、モジュロ時刻基準が検出されたかどうかを 判定する。もしモジュロ時刻基準が検出されたならば、処理はステップ２３に進 み、そこで、モジュロ時刻基準がすべてのビデオ対象画ビットストリームに挿入 される。もしモジュロ時刻基準が検出されなければ、処理はステップ２４に進み 、そこで、次のビデオ対象画が検査されて適切なビデオ対象画ビットストリーム に挿入される。最後に、多重化されたビットストリームが再度検査され、多重分 離すべきさらなるビデオ対象画があるかどうかを判定する。もしあれば、処理は 再びステップ２２に進む。もしなければ、この処理は終了する。 つぎに、時刻基準の再生について説明する。 時刻基準を再生する実施例が図１０に示される。ローカル時刻基準を再生する とき、処理はステップ３１から始まり、そこで、多重分離装置によって復号化さ れたＶＯＰ時刻オフセットを考慮してローカル時刻基準が初期化される。そして 、処理はステップ３２に進み、そこで、ビットストリームを検査してモジュロ時 刻基準が復号化されたかどうかを判定する。もしモジュロ時刻基準が復号化され ていれば、処理はステップ３３に進み、そこで、ローカル時刻基準がモジュロ時 刻基準の増分だけインクリメントされる。そして、処理はステップ３７に進む。 もしモジュロ時刻基準が復号化されていなければ、処理はステップ３４に進み、 そこで、ビデオ対象画が検査され、それがＢ−ビデオ対象画かどうかが判定され る。もしＢ−ビデオ対象画であれば、 処理はステップ３５に進み、そこで、式（６）に基づいてＢ−ビデオ対象画の復 号化時刻基準が計算される。そして、処理はステップ３７に進む。もしステップ ３４の結果がＢ−ビデオ対象画でなければ、処理はステップ３６に進み、そこで 、式（５）に基づいて復号化時刻基準が計算される。そして、処理はステップ３ ７に進む。ステップ３７において、ビットストリームが検査され、復号化すべき さらなるビデオ対象画があるかどうかが判定される。もしあれば、処理は再びス テップ３２に進む。もしなければ、この処理は終了する。 ビデオ対象画のプレゼンテーションタイムスタンプを判定するために、以下の 式が使用される。 ｔ_GTBn＝ｎ×ｔ_GTBI＋ｔ_GTB0 （ｎ＝０，１，２，３，・・） （４） ｔ_DTBI/P＝ｔ_AVTI＋ｔ_GTBn （５） ｔ_DTBB＝ｔ_RVTI＋_tDTBI/P （６） ここで、 ｔ_GTBnは、ｎ番目の復号化されたモジュロ時刻基準によって表される復号化 時刻基準である。 ｔ_GTBIは、予め定められたモジュロ時刻基準の間隔である。 ｔ_GTB0は、復号化時刻基準の開始時刻である。 ｔ_DTBI/Pは、ＩまたはＰ−ビデオ対象画の復号化の開始点での復号化時刻基 準である。 ｔ_AVTIは、ＩまたはＰ−ビデオ対象画に対する復号化された絶対ＶＯＰ時刻 増分である。 ｔ_DTBBは、Ｂ−ビデオ対象画の復号化の開始点での復号化時刻基準である。 ｔ_RVTIは、Ｂ−ビデオ対象画に対する復号化された相対ＶＯＰ時刻増分であ る。 つぎに、ビットストリーム符号器の実施例について説明する。 図１１は、モジュロ時刻基準およびＶＯＰ時刻増分を符号化するためのビット ストリーム符号器の実施例を説明するブロック構成図である。この説明のために 、図３Ｂに示される例が使用される。双方向予測が使用されるので、符号化の順 序は、図３Ｂに示されるプレゼンテーションの順序とは異なる。符号化の順序は 、Ｂ−ＶＯＰよりも前に、Ｉ−ＶＯＰとそれに続くＰ−ＶＯＰから開始される。 これを以下の３つの段落で説明する。 処理はイニシャライザであるステップ４１から始まり、そこで、ビットストリ ーム符号器は、ローカル時刻基準レジスタを時刻符号の初期値に初期化すること から始める。これと同じ時刻符号の値がビットストリームの中に符号化される。 次のＩ−ＶＯＰの符号化の開始点において、時刻符号比較器であるステップ４２ が、Ｉ−ＶＯＰのプレゼンテーション時刻をローカル時刻基準レジスタと比較す る。その結果がモジュロ時刻基準符号器であるステップ４３に送られる。モジュ ロ時刻基準符号器は、経過したモジュロ時刻基準増分の数に等しい必要な数の“ １”をビットストリームに挿入する。そして、モジュロ時刻基準符号の終わりを 示すためにこれにシンボル“０”が続く。ローカル時刻基準レジスタが現在のモ ジュロ時刻基準に更新される。そして、処理は、ＶＯＰ時刻基準増分符号器であ るステップ４４に進み、そこで、Ｉ−ＶＯＰのプレゼンテーション時刻符号の残 りの部分が符号化される。 この処理が、Ｐ−ＶＯＰである次に符号化されるビデオ対象画に反復される。 時刻符号比較器であるステップ４２は、Ｐ−ＶＯＰのプレゼンテーション時刻を ローカル時刻基準レジスタと比較する。その結果がモジュロ時刻基準符号器であ るステップ４３に送られる。モジュロ時刻基準符号器は、経過したモジュロ時刻 基準増分の数に等しい必要な数の“１”を挿入する。そして、モジュロ時刻基準 符号の終わりを示すためにこれにシンボル“０”が続く。Ｂ−ＶＯＰ時刻基準レ ジ スタがローカル時刻基準レジスタの値にセットされ、ローカル時刻基準レジスタ は現在のモジュロ時刻基準に更新される。そして、処理はＶＯＰ時刻基準増分符 号器であるステップ４４に進み、そこで、Ｐ−ＶＯＰのプレゼンテーション時刻 符号の残りの部分が符号化される。 そして、この処理が、Ｂ−ＶＯＰである次に符号化されるビデオ対象画に反復 される。時刻符号比較器であるステップ４２は、Ｂ−ＶＯＰのプレゼンテーショ ン時刻をＢ−ＶＯＰ時刻基準レジスタと比較する。その結果がモジュロ時刻基準 符号器であるステップ４３に送られる。モジュロ時刻基準符号器は、経過したモ ジュロ時刻基準増分の数に等しい必要な数の“１”を挿入する。そして、モジュ ロ時刻基準符号の終わりを示すためにこれにシンボル“０”が続く。Ｂ−ＶＯＰ 時刻基準レジスタとローカル時刻基準レジスタのいずれもが、Ｂ−ＶＯＰの処理 の後では変更されない。そして、処理はＶＯＰ時刻基準増分符号器であるステッ プ４４に進み、そこで、Ｂ−ＶＯＰのプレゼンテーション時刻符号の残りの部分 が符号化される。 ローカル時刻基準レジスタは、次のＶＯＰグループの始まりを表す次のＩ−Ｖ ＯＰでリセットされる。 つぎに、ビットストリーム復号器の実施例について説明する。 図１２は、プレゼンテーションタイムスタンプを再生するためにモジュロ時刻 基準およびＶＯＰ時刻増分に用いられる復号器の実施例を説明するブロック構成 図である。符号器の実施例のときと同じように、図3Bに示される例が使用される 。復号化の順序は符号化の順序と同じであり、Ｂ−ＶＯＰよりも前に、Ｉ−ＶＯ Ｐとそれに続くＰ−ＶＯＰが復号化される。これが以下の段落で説明される。 処理はイニシャライザであるステップ５１から始まり、そこで、ローカル時刻 基準レジスタが、ビットストリームから復号化された時刻符号の値にセットされ る。そして、処理はモジュロ時刻基準復号器であるステップ５２に進み、そこで 、モジュロ時刻基準増分が復号化さ れる。復号化されるモジュロ時刻基準増分の総数は、シンボル“０”の前に復号 化される“１”の数によって与えられる。次に、ＶＯＰ時刻基準増分が、ＶＯＰ 時刻基準増分復号器であるステップ５３において復号化される。時刻基準計算器 であるステップ５４において、Ｉ−ＶＯＰのプレゼンテーション時刻が再生され る。復号化されたモジュロ時刻基準増分の合計値がローカル時刻基準レジスタに 加算される。そして、ＶＯＰ時刻基準増分が、ローカル時刻基準レジスタに加算 され、Ｉ−ＶＯＰのプレゼンテーション時刻が得られる。そして、処理はビデオ 対象画復号器であるステップ５５に進み、そこで、ビデオ対象画が復号化される 。 Ｐ−ＶＯＰに対しては、モジュロ時刻基準復号器であるステップ５２において 処理が反復され、そこで、モジュロ時刻基準増分が復号化される。復号化される モジュロ時刻基準増分の総数は、シンボル“０”の前に復号化される“１”の数 によって与えられる。次に、ＶＯＰ時刻基準増分が、ＶＯＰ時刻基準増分復号器 であるステップ５３において復号化される。時刻基準計算器であるステップ５４ において、Ｐ−ＶＯＰのプレゼンテーション時刻が再生される。Ｂ−ＶＯＰモジ ュロ時刻基準レジスタが、ローカル時刻基準レジスタの値にセットされる。復号 化されたモジュロ時刻基準増分の合計値がローカル時刻基準レジスタに加算され る。そして、ＶＯＰ時刻基準増分が、ローカル時刻基準レジスタに加算され、Ｐ −ＶＯＰのプレゼンテーション時刻が得られる。処理はビデオ対象画復号器に進 み、そこで、ビデオ対象画が復号化される。 Ｂ−ＶＯＰに対しては、モジュロ時刻基準復号器であるステップ５２において 処理が反復され、そこで、モジュロ時刻基準増分が復号化される。復号化される モジュロ時刻基準増分の総数は、シンボル“０”の前に復号化される“１”の数 によって与えられる。次に、ＶＯＰ時刻基準増分が、ＶＯＰ時刻基準増分復号器 であるステップ５３におい て復号化される。時刻基準計算器であるステップ５４において、Ｂ−ＶＯＰのプ レゼンテーション時刻が再生される。復号化されたモジュロ時刻基準増分の合計 値とＶＯＰ時刻基準増分とが、Ｂ−ＶＯＰ時刻基準レジスタに加算され、Ｂ−Ｖ ＯＰのプレゼンテーション時刻が得られる。Ｂ−ＶＯＰ時刻基準レジスタとロー カル時刻基準レジスタのいずれもが変更されないままである。そして、処理はビ デオ対象画復号器に進み、そこで、ビデオ対象画が復号化される。 ローカル時刻基準レジスタは、次のＶＯＰグループの始まりを表す次のＩ−Ｖ ＯＰでリセットされる。 つぎに、具体的な例を説明する。 図１３を参照すると、圧縮されたデータをビットストリームデータに符号化す るステップの例が示される。図１３の上側の行に示されるように、圧縮されたビ デオデータＶＯＰは、表示順に、Ｉ１、Ｂ１、Ｂ２、Ｐ１、Ｂ３、Ｐ２の順序で 一列に並べられ、ＧＯＰ（グループオブピクチャー）ヘッダーがＶＯＰグループ の開始点に挿入される。表示されるとともに、その表示が実行されるローカル時 刻が、ローカル時刻クロックを用いてそれぞれのＶＯＰに関して判定される。例 えば、第１のＶＯＰ（Ｉ１−ＶＯＰ）は、ビデオデータのまさに開始点からカウ ントされる１時２３分４５秒３５０ミリ秒（１：２３：４５：３５０）に表示さ れ、第２のＶＯＰ（Ｂ１−ＶＯＰ）は、１：２３：４５：７５０に表示され、ま た、第３のＶＯＰ（Ｂ２−ＶＯＰ）は、１：２３：４６：１５０に表示され、以 下も同様である。 ＶＯＰを符号化するためには、それぞれのＶＯＰに表示時刻データを挿入する ことが必要である。もし、時、分、秒、およびミリ秒を含む完全な形で時刻デー タを挿入するとすれば、それぞれのＶＯＰのヘッダー部分にかなりのデータ領域 が必要である。本発明の目的は、そのようなデータ領域を減少させることであり 、また、それぞれのＶＯＰに挿入されるべき時刻データを単純化することである 。 図１３の１番上の横列に示されるＶＯＰのそれぞれは、ミリ秒からなる表示時 刻データをＶＯＰ時刻増分領域に記憶する。また、１番上の横列にあるＶＯＰの それぞれは、一時的に、時、分、秒からなる表示時刻データも記憶する。ＧＯＰ ヘッダーは、第１のＶＯＰ（Ｉ１−ＶＯＰ）に用いられる時、分、秒からなる表 示データを記憶する。 図１３の２番目の横列に示されるように、ＶＯＰは、バッファー（図示せず） を用いて予め定められた時間だけ遅延させられる。双方向予測方式によれば、バ ッファーからＶＯＰが生成されるときにＶＯＰの順序が変わるので、双方向のＶ ＯＰすなわちＢ−ＶＯＰは、そのＢ−ＶＯＰが参照するＰ−ＶＯＰの後に位置す べきである。したがって、ＶＯＰは、Ｉ１、Ｐ１、Ｂ１、Ｂ２、Ｐ２、Ｂ３の順 序で一列に並べられる。 図１３の３番目の横列に示されるように、時刻Ｔ１において、すなわち、ＧＯ Ｐヘッダーがまさに符号化されるときに、ＧＯＰヘッダーに記憶された時、分、 秒のデータがそのままローカル時刻基準レジスタに記憶される。図１３に示され る例では、ローカル時刻基準レジスタは、１：２３：４５を記憶する。そして、 時刻Ｔ２よりも前において、ＧＯＰヘッダーに対応するビットストリームデータ が得られ、図１３の下側に示されるように時、分、秒のデータが挿入される。 そして、時刻Ｔ２において、第１のＶＯＰ（Ｉ１−ＶＯＰ）が取り込まれる。 時刻符号比較器が、ローカル時刻基準レジスタに記憶された時刻（時、分、秒） を第１のＶＯＰ（Ｉ１−ＶＯＰ）に一時的に記憶された時刻（時、分、秒）と比 較する。この例によれば、比較結果は同じとなる。したがって、比較器は、第１ のＶＯＰ（Ｉ１−ＶＯＰ）がローカル時刻基準レジスタに保持されている秒と同 じ秒において発生したことを表す“０”を生成する。比較器によって生成された “０”がそのまま第１のＶＯＰ（Ｉ１−ＶＯＰ）のモジュロ時刻基準領域に付与 される。それと同時に、第１のＶＯＰ（Ｉ１−ＶＯＰ）に一時的 に記憶された時、分、秒のデータは除去される。したがって、時刻Ｔ３よりも前 において、第１のＶＯＰ（Ｉ１−ＶＯＰ）に対応するビットストリームデータが 得られ、“０”がモジュロ時刻基準領域に挿入され、“３５０”がＶＯＰ時刻増 分領域に挿入される。 次に、時刻Ｔ３において、第２のＶＯＰ（Ｐ１−ＶＯＰ）が取り込まれる。時 刻符号比較器が、ローカル時刻基準レジスタに記憶された時刻（時、分、秒）を 第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶された時刻（時、分、秒）と比較 する。この例によれば、比較の結果は、第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的 に記憶された時刻は、ローカル時刻基準レジスタに記憶された時刻よりも１秒だ け大きいこととなる。したがって、比較器は、第２のＶＯＰ（Ｐ１−ＶＯＰ）が ローカル時刻基準レジスタに保持されている秒の次の１秒において発生したこと を表す“１０”を生成する。もし第２のＶＯＰ（Ｐ１−ＶＯＰ）が、ローカル時 刻基準レジスタに保持されている秒の次のさらにその次の秒において発生すれば 、比較器は“１１０”を生成する。 時刻Ｔ３よりも後において、Ｂ−ＶＯＰ時刻基準レジスタは、時刻Ｔ３の直前 にローカル時刻基準レジスタに保持されている時刻と等しい時刻がセットされる 。この例では、Ｂ−ＶＯＰ時刻基準レジスタには、１：２３：４５がセットされ る。また、時刻Ｔ３よりも後において、ローカル時刻基準レジスタは、第２のＶ ＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶されている時刻に等しい時刻にインクリメ ントされる。したがって、この例においては、ローカル時刻基準レジスタは、１ ：２３：４６にインクリメントされる。 比較器によって生成された結果として得られた“１０”がそのまま第２のＶＯ Ｐ（Ｐ１−ＶＯＰ）のモジュロ時刻基準領域に付与される。それと同時に、第２ のＶＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶された時、分、秒のデータが除去され る。したがって、時刻Ｔ４よりも前において、第２のＶＯＰ（Ｐ１−ＶＯＰ）に 対応するビットストリーム データが得られ、“１０”がモジュロ時刻基準領域に挿入され、“５５０”がＶ ＯＰ時刻増分領域に挿入される。 そして、時刻Ｔ４において、第３のＶＯＰ（Ｂ１−ＶＯＰ）が取り込まれる。 時刻符号比較器が、Ｂ−ＶＯＰ時刻基準レジスタに記憶された時刻（時、分、秒 ）を第３のＶＯＰ（Ｂ１−ＶＯＰ）に一時的に記憶された時刻（時、分、秒）と 比較する。この例によれば、比較の結果は同じとなる。したがって、比較器は、 第３のＶＯＰ（Ｂ１−ＶＯＰ）がＢ−ＶＯＰ時刻基準レジスタに保持されている 秒と同じ秒において発生したことを表す“０”を生成する。比較器によって生成 された結果として得られた“０”がそのまま第３のＶＯＰ（Ｂ１−ＶＯＰ）のモ ジュロ時刻基準領域に付与される。それと同時に、第１のＶＯＰ（Ｉ１−ＶＯＰ ）に一時的に記憶された時、分、秒のデータが除去される。したがって、時刻Ｔ ５よりも前において、第３のＶＯＰ（Ｂ１−ＶＯＰ）に対応するビットストリー ムデータが得られ、“０”がモジュロ時刻基準領域に挿入され、“７５０”がＶ ＯＰ時刻増分領域に挿入され。 そして、時刻Ｔ５において、第４のＶＯＰ（Ｂ２−ＶＯＰ）が取り込まれる。 時刻符号比較器が、Ｂ−ＶＯＰ時刻基準レジスタに記憶された時刻（時、分、秒 ）を第４のＶＯＰ（Ｂ２−ＶＯＰ）に一時的に記憶された時刻（時、分、秒）と 比較する。この例によれば、比較の結果は、第４のＶＯＰ（Ｂ２−ＶＯＰ）に一 時的に記憶された時刻がＢ−ＶＯＰ時刻基準レジスタに記憶された時刻よりも１ 秒だけ大きいことになる。したがって、比較器は、第４のＶＯＰ（Ｂ２−ＶＯＰ ）がＢ−ＶＯＰ時刻基準レジスタに保持されている秒の次の１秒において発生し たことを表す“１０”を生成する。 ＢタイプのＶＯＰを処理している間には、どのような結果を比較器が生成しよ うともそれに関係なく、ローカル時刻基準レジスタもＢ−ＶＯＰ時刻基準レジス タもインクリメントされることはない。 比較器によって生成された結果として得られた“１０”がそのまま第４のＶＯ Ｐ（Ｂ２−ＶＯＰ）のモジュロ時刻基準領域に付与される。それと同時に、第４ のＶＯＰ（Ｂ２−ＶＯＰ）に一時的に記憶された時、分、秒のデータが除去され る。したがって、時刻Ｔ６よりも前において、第４のＶＯＰ（Ｂ２−ＶＯＰ）に 対応するビットストリームデータが得られ、“１０”がモジュロ時刻基準領域に 挿入され、“１５０”がＶＯＰ時刻増分領域に挿入される。 そして、時刻Ｔ６において、第５のＶＯＰ（Ｐ２−ＶＯＰ）が取り込まれる。 時刻符号比較器が、ローカル時刻基準レジスタに記憶された時刻（時、分、秒） を第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶された時刻（時、分、秒）と比 較する。この例によれば、比較の結果は、第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時 的に記憶された時刻がローカル時刻基準レジスタに記憶された時刻よりも１秒だ け大きいことになる。したがって、比較器は、第５のＶＯＰ（Ｐ２−ＶＯＰ）が ローカル時刻基準レジスタに保持されている秒の次の１秒において発生したこと を表す“１０”を生成する。 時刻Ｔ６よりも後において、Ｂ−ＶＯＰ時刻基準レジスタは、時刻Ｔ６の直前 にローカル時刻基準レジスタに保持されている時刻と等しい時刻にインクリメン トされる。この例においては、Ｂ−ＶＯＰ時刻基準レジスタは、１：２３：４６ にインクリメントされる。さらに、時刻Ｔ６よりも後において、ローカル時刻基 準レジスタは、第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶された時刻と等し い時刻にインクリメントされる。したがって、この例では、ローカル時刻基準レ ジスタは、１：２３：４７にインクリメントされる。 比較器によって生成された結果として得られた“１０”がそのまま第５のＶＯ Ｐ（Ｐ２−ＶＯＰ）のモジュロ時刻基準領域に付与される。それと同時に、第５ のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶された時、分、秒のデータが除去され る。したがって、時刻Ｔ７よりも前に おいて、第５のＶＯＰ（Ｐ２−ＶＯＰ）に対応するビットストリームデータが得 られ、“１０”がモジュロ時刻基準領域に挿入され、“３５０”がＶＯＰ時刻増 分領域に挿入される。 その後、同様の処理が実行され、それ以降のＶＯＰに対するビットストリーム データが形成される。 このビットストリームデータを復号化するために、上述の処理とは逆の処理が 実行される。まず最初に、ＧＯＰヘッダーに保持される時刻（時、分、秒）が読 み込まれる。読み込まれた時刻は、ローカル時刻基準レジスタに記憶される。 ＩタイプまたはＰタイプのＶＯＰすなわちＢタイプ以外のＶＯＰを受けた場合 、モジュロ時刻基準領域に記憶されたデータが読み込まれる。もし読み込まれた データが“０”であれば、すなわち、０の前に１がなければ、ローカル時刻基準 レジスタは変更されることはない。また、Ｂ−ＶＯＰ時刻基準レジスタも変更さ れることはない。もし読み込まれたデータが“１０”であれば、ローカル時刻基 準レジスタに記憶された時刻が１秒だけインクリメントされる。もし読み込まれ たデータが“１１０”であれば、ローカル時刻基準レジスタに記憶された時刻が ２秒だけインクリメントされる。このように、インクリメントされるべき秒数は 、０の前に挿入された１の数によって決定される。また、読み込まれたデータが “１０”または“１１０”の場合には、メモリーであるＢ−ＶＯＰ時刻基準レジ スタは、ローカル時刻基準レジスタがインクリメント直前に保持していた時刻を コピーする。そして、ローカル時刻基準レジスタに保持された時刻（時、分、秒 ）がＶＯＰ時刻増分領域に保持された時刻（ミリ秒）と組み合わされ、Ｉタイプ またはＰタイプのＶＯＰが生成されるべき時刻が確定される。 ＢタイプのＶＯＰを受けた場合は、モジュロ時刻基準領域に記憶されたデータ が読み込まれる。もし読み込まれたデータが“０”であれば、Ｂ−ＶＯＰ時刻基 準レジスタに保持された時刻（時、分、秒）が ＶＯＰ時刻増分領域に保持された時刻（ミリ秒）と組み合わされ、ＢタイプのＶ ＯＰが生成されるべき時刻が確定される。もし読み込まれたデータが“１０”で あれば、Ｂ−ＶＯＰ時刻基準レジスタに保持された時刻（時、分、秒）は１秒が 加算され、この加算されて得られた時刻がＶＯＰ時刻増分領域に保持された時刻 （ミリ秒）と組み合わされ、ＢタイプのＶＯＰが生成されるべき時刻が確定され る。もし読み込まれたデータが“１１０”であれば、Ｂ−ＶＯＰ時刻基準レジス タに保持された時刻（時、分、秒）に２秒加算され、この加算されて得られた時 刻がＶＯＰ時刻増分領域に保持された時刻（ミリ秒）と組み合わされ、Ｂタイプ のＶＯＰが生成されるべき時刻が確定される。 本発明の効果は、異なった符号器によって符号化されたビデオ対象画を多重化 することができることである。さらに、本発明は、異なったソースから得られる 圧縮データを対象画に基づいて操作して新しいビットストリームを生成すること を容易にする。本発明は、オーディオビジュアル対象画を同期させる方法を提供 する。 このように本発明が説明されたが、上述されたものは様々な形態に変更するこ とができる。そのような変形は本発明の精神および範囲を逸脱するものではなく 、この分野に通常の知識を有する者には明白なように、そのような変更のすべて は請求の範囲に包含されるものである。

Claims (1)

1. 【特許請求の範囲】 １．圧縮データにおけるオーディオビジュアルシーケンスのローカル時刻基準を 符号化する方法であって、 時間的なサンプリングによってオーディオビジュアルシーケンスの時点を得る 段階と、 圧縮データの中に符号化されるべき前記時点のローカル時刻基準を決定する段 階と、 ローカル時刻基準において均等な時間間隔毎に付与された一連の参照時刻の発 生を表すモジュロ時刻基準と、前記均等な時間間隔内に付与された時刻基準増分 とからなる２つの部分により前記ローカル時刻基準を符号化する段階と、 前記時間間隔が経過する毎にモジュロ時刻基準を圧縮データに挿入する段階と 、 時刻基準増分をオーディオビジュアルシーケンスの前記時点の圧縮データに挿 入する段階を有することを特徴とする方法。 ２．圧縮データにおけるオーディオビジュアルシーケンスのローカル時刻基準を 符号化する方法であって、 時間的なサンプリングによってオーディオビジュアルシーケンスの時点を得る 段階と、 圧縮データの中に符号化されるべき前記時点のローカル時刻基準を判定する段 階と、 将来のいかなる時点も参照することのない第１の圧縮方法と、将来再生される 時点を参照する第２の圧縮方法とからなる２つの方法の一方で前記時点を符号化 する段階と、 ローカル時刻基準において特定の間隔で均等に配置された一連の参照時刻の発 生を表すモジュロ時刻基準と時刻基準増分とからなる２つの部分でもって前記ロ ーカル時刻基準を符号化する段階と、 第１の圧縮方法を用いて圧縮された時点に対する時刻基準増分を、前記均等に 配置された参照時刻に基づく絶対値として符号化する段階と、 第２の圧縮方法を用いて圧縮された時点に対する時刻基準増分を、以前に前記 第１の圧縮方法を用いて圧縮された時点のローカル時刻基準の関連した値として 符号化する段階と、 前記特定の間隔が経過するたびにモジュロ時刻基準を圧縮データに挿入する段 階と、 時刻基準増分を前記オーディオビジュアルシーケンスの前記時点の圧縮データ に挿入する段階とを備えた方法。 ３．符号化されたローカル時刻基準情報をその中に含んだ複数の圧縮ビットスト リームが多重化され、多重化するために、 時刻基準オフセットを符号化して多重化ビットストリームに挿入することによ って、個々の圧縮ビットストリームのローカル時刻基準を共通時刻基準に同期さ せる段階と、 すべての圧縮ビットストリームがモジュロ時刻基準に到達してしまうまで、多 重化されるビットストリームに配置されるべき次の圧縮時点があるかどうかそれ ぞれの圧縮ビットストリームを検査する段階と、 共通モジュロ時刻基準を多重化されるビットストリームに挿入し、圧縮ビット ストリームのモジュロ時刻基準をスキップする段階と、 すべての圧縮ビットストリームが処理されるまで、最後の２つの段階を反復す る段階と、 をさらに備えた請求項１または請求項２のいずれかに記載の方法。 ４．符号化されたローカル時刻基準情報をその中に含んだ複数の圧縮ビットスト リームが多重化され、そして、多重分離され、多重分離するために、 個々の圧縮ビットストリームの時刻基準オフセットを復号化する段階と、 多重化ビットストリームにおいてモジュロ時刻基準が検出されるまで、次の圧 縮時点があるかどうか多重化ビットストリームを検査し、前記時点を適切な圧縮 ビットストリームに配置する段階と、 モジュロ時刻基準をそれぞれの圧縮ビットストリームに挿入する段階と、 多重化ビットストリームがすべて処理されるまで、最後の２つの段階を反復す る段階と、 をさらに備えた請求項１または請求項２のいずれかに記載の方法。 ５．請求項１に記載の方法によって符号化された圧縮データの時刻基準からオー ディオビジュアルシーケンスのローカル時刻基準を復号化する方法であって、 時刻基準オフセットを考慮して参照時刻基準を初期化する段階と、 それぞれの復号化されたモジュロ時刻基準に対して特定の間隔だけ参照時刻基 準をインクリメントする段階と、 圧縮時点の時刻基準増分を復号化する段階と、 前記復号化された時刻基準増分の値を参照時刻基準に加算することによって、 前記時点の復号化時刻基準を決定する段階と、 を備えた方法。 ６．請求項２に記載の方法によって符号化された圧縮データの時刻基準からオー ディオビジュアルシーケンスのローカル時刻基準を復号化する方法であって、 時刻基準オフセットを考慮して参照時刻基準を初期化する段階と、 それぞれの復号化されたモジュロ時刻基準に対して特定の間隔だけ参照時刻基 準をインクリメントする段階と、 圧縮時点の時刻基準増分を復号化する段階と、 第１の圧縮方法が時点を符号化するのに使用された場合には、時刻基準増分が 絶対であると判定し、第２の圧縮方法が時点を符号化するのに使用された場合に は、時刻基準増分が相対であると判定する段階 と、 時刻基準増分が絶対であると判定した場合には、前記復号化された時刻基準増 分の値を参照時刻基準に加算することによって前記時点の復号化時刻基準を決定 する段階と、 時刻基準増分が相対であると判定した場合には、前記復号化された時刻基準増 分の値を第１の圧縮方法を用いて符号化された以前の時点の復号化時刻基準に加 算することによって前記時点の復号化時刻基準を決定する段階と、 を備えた方法。 ７．個々の圧縮ビットストリームそのものが多重化されたビットストリームであ る請求項３に記載の複数の圧縮ビットストリームを多重化する方法。 ８．ローカル時刻基準と、時刻基準増分と、時刻基準オフセットとは単位がミリ 秒であり、特定の間隔は１０００ミリ秒の期間を有する請求項１または請求項２ のいずれかに記載の時刻基準を符号化する方法。