JP3197264B2 - Ｖｏｐの時刻復号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、独立して符号化さ
れた複数のオーディオビジュアル対象をプレゼンテーシ
ョンのために同期させることが必要なディジタルオーデ
ィオビジュアルマテリアルの符号化に有効である。本発
明は、オーディオビジュアルマテリアルの時間的サンプ
リングが同一でない場合に特に役立つものである。

【０００２】

【従来の技術】ＭＰＥＧ１およびＭＰＥＧ２において、
入力ビデオは、規則的な時間間隔でサンプリングされた
画像フレームからなる。これは、その入力ビデオのもっ
とも緻密な時間解像度を表現する。図１は、画像フレー
ムが規則的な間隔でサンプリングされる一定のフレーム
レートによるビデオシーケンスを示す。ＭＰＥＧ１規格
およびＭＰＥＧ２規格を用いたビデオシーケンスの符号
化表現においては、復号化されたフレームの表示順序は
参照時刻(temporal reference)によって表される。この
パラメータは、ビットストリームシンタックスのピクチ
ャーヘッダーに記述される。このパラメータの値は、表
示順序を検査するときにそれぞれの復号化されるフレー
ムごとに１つだけインクリメントされる。

【０００３】Ｈ．２６３規格においては、フレームをス
キップしてもよく、したがって、可変フレームレートビ
デオシーケンスを復号化することができる。しかしなが
ら、フレームのサンプリングは不変のままである。この
ように、ＭＰＥＧ１およびＭＰＥＧ２において用いられ
る時刻参照方法は依然として適切なものであり、１だけ
インクリメントするのではなく（１＋入力フレームレー
トにおける非転送ピクチャー数）だけインクリメントす
るような修正が必要なだけである。

【０００４】現在、多重ビデオ対象画においてビデオを
独立した対象として符号化する研究開発がなされてい
る。これは、それぞれのビデオ対象の復号化と同期とに
おける新しい概念を表現するものである。これらの個々
のビデオ対象画は、複数のソースから発生してもよく、
また、まったく異なるフレームレートを有してもよいこ
とが期待されている。対象のあるものは、ほぼ連続的な
時間的サンプリングレートを有してもよい。これらのビ
デオ対象画は、組み合わせられ、表示される際には、合
成画像となる。したがって、この合成のためにはある種
の同期が必要となる。表示フレームレートは、どのビデ
オ対象画のフレームレートとも異なっていてもよい。図
２は、互いに異なったフレームレートを有する２つのビ
デオ対象画の例を示す。たとえ２つのビデオ対象画の間
の共通のフレームレートを捜し出すことができたとして
も、必然的にそのフレームレートが合成処理装置の出力
フレームレートと同じものになることはない。

【０００５】以下、ビデオの領域における問題について
述べるが、同様の本発明の原理は、オーディオの領域に
も拡張することができ、また、この２つを組み合わせた
領域にも拡張することができる。

【０００６】この技術分野における現在の状況は、ビデ
オ対象画の同期に関する要求を満たしていないことは上
述したことから明らかである。また、この技術分野にお
ける現在の状況は、異なったビデオ対象画が互いの倍数
ではない異なったフレームレートを有する場合に、共通
の参照時刻を提供しない。

【０００７】第１の問題は、共通のローカル時刻基準メ
カニズムをそれぞれのビデオ対象画にどのように提供す
るかである。この時刻基準は、非常に緻密な時間的粒度
(temporal granularity)を提供することができるととも
に、ビデオ対象画の２つの連続する時点(instance)の間
に非常に長い間隔があり得ることにも対処することがで
きなければならない。

【０００８】第２の問題は、異なったフレームレートを
有するビデオ対象画を同期させるためのメカニズムをど
のようにして提供するかである。

【０００９】

【発明が解決しようとする課題】上述の問題は、すべて
のローカル時刻基準に対して使用される共通の時間解像
度を導入することによって解決することができる。広い
範囲にわたる時間的粒度を提供するために、ローカル時
刻基準は２つの異なった部分に分割される。第１の部分
は、短い時刻基準を提供する緻密な粒度を有する時間解
像度を含む。第２の部分は、長い時刻基準を提供する粗
な粒度を有する時間解像度を含む。短い時刻基準は、そ
れぞれのビデオ対象画に含まれ、ビデオ対象画の時点に
参照時刻を提供する。そして、この短い時刻基準が、す
べてのビデオ対象画に共通の長い時刻基準に同期させら
れる。この長い時刻基準は、すべての様々なビデオ対象
画を、マスタークロックによって提供される共通の時刻
基準に同期させるのに使用される。

【００１０】

【課題を解決するための手段】本発明は、圧縮データに
含まれるVOPの時刻を復号化する方法であって、圧縮デ
ータは、１秒単位の時刻符号と、圧縮データ中のすべて
のVOPに１秒より細かい精度で時刻を表現するための時
刻基準増分とを含んでおり、圧縮データにおける最初の
復号化対象VOPについては、圧縮データの１秒単位の時
刻符号と最初の復号化対象VOPの時刻基準増分とを組み
合わせて最初の復号化対象VOPの時刻を復号化し、圧縮
データにおけるその他の復号化対象VOPについては、当
該復号化対象VOPより以前に復号化されたI-VOP（イント
ラ符号化されたVOP）またはP-VOP（予測符号化されたVO
P）の１秒単位の時刻を取得し、復号化対象VOPの前記時
刻基準増分を復号化し、復号化対象VOPより以前に復号
化されたI-VOPまたはP-VOPの１秒単位の時刻と復号化対
象VOPの時刻基準増分とを組み合わせて復号化対象VOPの
時刻を復号化することを特徴とするVOPの時刻復号化方
法である。時刻基準増分として１秒単位の時刻基準増分
と１秒未満の時刻基準増分を含んでもよい。

【００１１】

【発明の実施の形態】本発明は２つの時刻表示形式を用
いることにより動作する。その第１の時刻表示形式は、
ビデオ対象画に付加される短い時刻基準である。以下、
この時刻基準をＶＯＰ（Video Object Plane すなわち
ビデオ対象画）時刻増分と呼ぶ。このＶＯＰ時刻増分
は、復号化され互いに合成されるビデオ対象画のグルー
プに付加される長い時刻基準と関連してビデオ対象画に
用いられるタイミングとして作用する。この長い時刻基
準をモジュロ時刻基準と呼ぶ。そして、これらのＶＯＰ
時刻増分とモジュロ時刻基準とが連係して使用され、ビ
デオ対象画を表示のための最終的な合成シーケンスに合
成するのに使用するための実際の時刻基準を決定する。

【００１２】ビットストリームを編集し、異なったソー
スからの異なったビデオ対象画を新しいグループのビデ
オ対象画に合成するのを容易にするためには、共通時刻
基準から個々のビデオ対象画のローカル時刻基準までの
一定のオフセット値を提供する第３の成分が必要とな
る。以下では、このオフセットはＶＯＰ時刻オフセット
と呼ばれる。これは、異なった対象画がモジュロ時刻基
準の間隔に等しい粒度で同期しなければならないことを
防止する。この成分は、一緒に多重化されるビデオ対象
画が属するグループの中のそれぞれのビデオ対象画に対
して不変のものであるべきである。

【００１３】まず最初に、モジュロ時刻基準について説
明する。

【００１４】モジュロ時刻基準は、ローカル時刻基準の
粗な解像度を表現する。それは、ＶＯＰ時刻増分のよう
な値を有するものではない。実際には、それは、ＶＯＰ
時刻増分をビデオ対象画のローカル時刻基準に同期させ
るためのより重要な同期メカニズムである。それは符号
化されたビットストリームにマーカーとして配置され、
それに続くビデオ対象画のＶＯＰ時刻増分がリセットさ
れなければならないことを表し、また、ローカル時刻基
準の参照は１つかまたはそれ以上のモジュロ時刻基準の
間隔の単位でインクリメントされなければならないこと
を表す。図３、図４、図５ないし図１０、および、図１
１において、モジュロ時刻基準は、ビットストリームヘ
ッダーにおいて、ＶＯＰ時刻増分の前に挿入された連続
する“１”とそれに続く“０”で表される。連続する
“1”の数は、ゼロかそれ以上である。ビットストリー
ムに挿入される“１”の数は、最後のＩ−ＶＯＰまたは
Ｐ−ＶＯＰから経過したモジュロ時刻基準の単位数に依
存する。符号器および復号器では、モジュロ時刻基準の
カウンターは、“１”を検出するたびに１だけインクリ
メントされる。モジュロ時刻基準のカウンターは長さが
有限であり、したがって、実際のシステムでは、モジュ
ロ時刻基準は、その最大値を越えた場合には０にリセッ
トされる。典型的なビデオシーケンスにおいては、ビデ
オ対象画はＶＯＰのグループを形成する。したがって、
モジュロ時刻基準は、通常、このＶＯＰグループの開始
点でリセットされる。

【００１５】つぎに、ＶＯＰ時刻増分について説明す
る。

【００１６】ＶＯＰ時刻増分は、ビデオ対象画のもっと
も短い時間的サンプリングを利用することのできる単位
によるものでなければならない。それは、対象画に用い
られる負の時刻基準であってもよい。したがって、それ
は、要求されるもっとも緻密な時間解像度の粒度あるい
は利用することのできるもっとも緻密な時間解像度の粒
度を表現する。

【００１７】そして、ＶＯＰ時刻増分は、グローバル時
刻基準の間隔／ローカル時刻基準の解像度の比よりも大
きいかまたは等しい有限長の数によって表されてもよ
い。図３は、ＩおよびＰ−ビデオ対象画に用いられるＶ
ＯＰ時刻増分およびモジュロ時刻基準の参照の例を示
す。絶対時刻基準が使用される。ＶＯＰ時刻増分は、モ
ジュロ時刻基準が検出されるたびに毎回リセットされ
る。図４は、Ｉ、Ｐ、および、Ｂ−ビデオ対象画を用い
たもう１つの例を示す。Ｂ−ビデオ対象画においてモジ
ュロ時刻基準が同じように繰り返されることを除けば動
作は同じである。もしＢ−ビデオ対象画においてモジュ
ロ時刻基準が同じように繰り返されなければ、復号化お
よびプレゼンテーションの順序の相違による曖昧さが発
生する。このことは以下で詳述される。

【００１８】ＶＯＰ時刻増分はプレゼンテーション時刻
基準に対応するので、符号化の順序がプレゼンテーショ
ンの順序と異なる場合に潜在的な問題が発生する。これ
は、Ｂ−ビデオ対象画によって発生する。ＭＰＥＧ−１
およびＭＰＥＧ−２のＢ−ピクチャーと同じように、Ｂ
−ビデオ対象画は、たとえそれらのプレゼンテーション
順序が参照Ｉ−ビデオ対象画および参照Ｐ−ビデオ対象
画より前であったとしても、それらの参照ビデオ対象画
の後に符号化される。ＶＯＰ時刻増分は有限でありかつ
モジュロ時刻基準に基づく相対的なものなので、モジュ
ロ時刻基準が検出された場合にはＶＯＰ時刻増分はリセ
ットされる。しかしながら、Ｂ−ビデオ対象画に対する
符号化の順序は遅れたままである。図５ないし図８は起
こり得る曖昧さを示す。いつＶＯＰ時刻増分がリセット
されるべきかを判定することはできない。実際に、図５
に示されるような符号化されるイベントのシーケンスが
与えられた場合、それが、図６、図７、および、図８の
どのタイミング位置を表現しようとしているのかを知る
ことはできない。この問題は、異なった符号化の順序と
プレゼンテーションの順序とが混在するすべての異なっ
たタイプのビデオ対象画に共有される１つのモジュロ時
刻基準を使用するために起こるのである。符号化の順序
に対してなすことができることはなにもない。なぜな
ら、この参照情報はＢ−ビデオ対象画が必要とするから
である。また、異なった予測形態のそれぞれが、独自の
モジュロ時刻基準を有することは好ましくない。

【００１９】つぎに、ＶＯＰ時刻オフセットについて説
明する。

【００２０】上述したことに加えて、モジュロ時刻基準
はすべてのビデオ対象画の間で共有される。これは、異
なったビデオ対象画間の同期がモジュロ時刻基準の間隔
に等しい粒度を有することを意味する。これは、異なっ
たグループからのビデオ対象画が組み合わせられてビデ
オ対象画の新しいグループを形成する場合には特に受け
入れることができない。図１１は、互いにずれた２つの
異なるローカル時刻基準によって符号化された２つの異
なるビデオ対象画の例を示す。このように、これらのビ
デオ対象画が多重化される場合、ビデオ対象画の同期も
またずれたものとなる。個々のビデオ対象画のそれぞれ
にＶＯＰ時刻オフセットを持たせることによってより緻
密な粒度が達成される。このことは、ビデオ対象画が操
作され多重化される場合に、この値だけが変更されるこ
とを意味する。ＶＯＰ時刻増分を変更する必要がないだ
けでなく、粗な粒度を有するタイミング差を用いること
なく異なったビデオ対象画を多重化することができる。
図１１は、この時刻基準オフセットの使用を説明する。

【００２１】本発明の好ましい実施例は、個々のビデオ
対象画ビットストリームのそれぞれに用いられる時刻基
準を符号化する方法と、異なったビデオ対象画を多重化
して共通の時刻基準にする方法と、多重化されたビット
ストリームを成分に多重分離する方法と、成分ビットス
トリームから時刻基準を再生する方法とを含む。

【００２２】つぎに、時刻基準の符号化を説明する。

【００２３】時刻基準を符号化する実施例のフローチャ
ートが図１２に示される。符号器においては、ステップ
１において、まずローカル時刻基準がローカル開始時刻
に初期化される。処理はステップ２に移り、そこで、符
号器がローカル時刻基準の現在の値を判定する。ステッ
プ３において、得られたローカル時刻基準があらかじめ
符号化されたモジュロ時刻基準と比較され、その間隔が
モジュロ時刻基準の間隔を越えているかどうかを検査す
る。もしその間隔を越えていれば、制御はステップ４に
移り、そこで、必要な数のモジュロ時刻基準がビットス
トリームに挿入される。もしその間隔を越えていなけれ
ば、特別の処理は必要とされない。そして、処理はステ
ップ５に進み、そこで、ＶＯＰ時刻増分がビットストリ
ームに挿入される。つぎに、ステップ６において、対象
画が符号化されてビットストリームに挿入される。そし
て、符号器は、ステップ７において、符号化されるべき
さらなる対象画があるかどうかを判定するための検査を
行う。もし符号化されるべき対象画があれば、処理はス
テップ２に戻り、そこで、ローカル時刻基準を得る。も
し符号化されるべき対象画がなければ、処理は終了す
る。

【００２４】Ｉ／Ｐ−ビデオ対象画およびＢ−ビデオ対
象画のそれぞれに対する絶対および相対のＶＯＰ時刻増
分を決定するために、以下の式が使用される。 ｔ_GTBn＝ｎ×ｔ_GTBI＋ｔ_GTB0 （ｎ＝０，１，２，３，．．） （１） ｔ_AVTI＝ｔ_ETBI/P−ｔ_GTBn （２） ｔ_RVTI＝ｔ_ETBB−ｔ_ETBI/P （３） ここで、ｔ_GTBnは、ｎ番目の符号化されたモジュロ時刻
基準によって表される符号器時刻基準である。

【００２５】ｔ_GTBIは、予め定められたモジュロ時刻基
準の間隔である。

【００２６】ｔ_GTB0は、符号器時刻基準の開始時刻であ
る。

【００２７】ｔ_AVTIは、ＩまたはＰ−ビデオ対象画に対
する絶対ＶＯＰ時刻増分である。

【００２８】ｔ_ETBI/Pは、ＩまたはＰ−ビデオ対象画の
符号化の開始点での符号器時刻基準である。

【００２９】ｔ_RVTIは、Ｂ−ビデオ対象画に対する相対
ＶＯＰ時刻増分である。

【００３０】ｔ_ETBBは、Ｂ−ビデオ対象画の符号化の開
始点での符号器時刻基準である。つぎに、複数のビデオ
対象画の多重化について説明する。

【００３１】複数のビデオ対象画が１つに多重化される
場合、多重化装置は、多重ビデオ対象画のビットストリ
ームを検査して同期だけでなく多重化の順序をも判定す
る。これに含まれる動作が図１３に示される。ステップ
１１において、多重化されるべきそれぞれのビデオ対象
画に対するＶＯＰ時刻オフセットがビットストリームに
挿入される。つぎに、ステップ１２において、多重化さ
れるべきビデオ対象画のすべてのビットストリームが検
査され、すべてのビデオ対象画がそれらのそれぞれのモ
ジュロ時刻基準であるかどうかを判定する。もしそうで
あれば、処理はステップ１３に進み、そこで、共通モジ
ュロ時刻基準が、多重化されたビットストリームに挿入
される。もしそうでなければ、処理はステップ１４に進
み、そこで、次の符号化されたビデオ対象画が、多重化
されたビットストリームに挿入される。ステップ１５に
おいて、多重化されるべきビデオ対象画のビットストリ
ームが、多重化されるべきさらなるビデオ対象画がある
かどうかを再度検査される。もしあれば、制御は再びス
テップ１２に進む。もしなければ、この処理を終了す
る。

【００３２】つぎに、複数のビデオ対象画を含むビット
ストリームの多重分離について説明する。

【００３３】多重ビデオ対象画を含むビットストリーム
の多重分離が図１４に示される。この処理はステップ２
１から始まり、そこで、ＶＯＰ時刻オフセットが復号化
され、同期に用いるために復号器に送られる。そして、
ステップ２２において、多重化されたビットストリーム
が検査され、モジュロ時刻基準が検出されたかどうかを
判定する。もしモジュロ時刻基準が検出されたならば、
処理はステップ２３に進み、そこで、モジュロ時刻基準
がすべてのビデオ対象画ビットストリームに挿入され
る。もしモジュロ時刻基準が検出されなければ、処理は
ステップ２４に進み、そこで、次のビデオ対象画が検査
されて適切なビデオ対象画ビットストリームに挿入され
る。最後に、多重化されたビットストリームが再度検査
され、多重分離すべきさらなるビデオ対象画があるかど
うかを判定する。もしあれば、処理は再びステップ２２
に進む。もしなければ、この処理は終了する。

【００３４】つぎに、時刻基準の再生について説明す
る。

【００３５】時刻基準を再生する実施例が図１５に示さ
れる。ローカル時刻基準を再生するとき、処理はステッ
プ３１から始まり、そこで、多重分離装置によって復号
化されたＶＯＰ時刻オフセットを考慮してローカル時刻
基準が初期化される。そして、処理はステップ３２に進
み、そこで、ビットストリームを検査してモジュロ時刻
基準が復号化されたかどうかを判定する。もしモジュロ
時刻基準が復号化されていれば、処理はステップ３３に
進み、そこで、ローカル時刻基準がモジュロ時刻基準の
増分だけインクリメントされる。そして、処理はステッ
プ３７に進む。もしモジュロ時刻基準が復号化されてい
なければ、処理はステップ３４に進み、そこで、ビデオ
対象画が検査され、それがＢ−ビデオ対象画かどうかが
判定される。もしＢ−ビデオ対象画であれば、処理はス
テップ３５に進み、そこで、式（６）に基づいてＢ−ビ
デオ対象画の復号化時刻基準が計算される。そして、処
理はステップ３７に進む。もしステップ３４の結果がＢ
−ビデオ対象画でなければ、処理はステップ３６に進
み、そこで、式（５）に基づいて復号化時刻基準が計算
される。そして、処理はステップ３７に進む。ステップ
３７において、ビットストリームが検査され、復号化す
べきさらなるビデオ対象画があるかどうかが判定され
る。もしあれば、処理は再びステップ３２に進む。もし
なければ、この処理は終了する。

【００３６】ビデオ対象画のプレゼンテーションタイム
スタンプを判定するために、以下の式が使用される。 ｔ_GTBn ＝ｎ×ｔ_GTBI＋ｔ_GTB0 （ｎ＝０，１，２，３，．．） （４） ｔ_DTBI/P＝ｔ_AVTI＋ｔ_GTBn （５） ｔ_DTBB ＝ｔ_RVTI＋ｔ_DTBI/P （６） ここで、ｔ_GTBnは、ｎ番目の復号化されたモジュロ時刻
基準によって表される復号化時刻基準である。

【００３７】ｔ_GTBIは、予め定められたモジュロ時刻基
準の間隔である。

【００３８】ｔ_GTB0は、復号化時刻基準の開始時刻であ
る。

【００３９】ｔ_DTBI/Pは、ＩまたはＰ−ビデオ対象画の
復号化の開始点での復号化時刻基準である。

【００４０】ｔ_AVTIは、ＩまたはＰ−ビデオ対象画に対
する復号化された絶対ＶＯＰ時刻増分である。

【００４１】ｔ_DTBBは、Ｂ−ビデオ対象画の復号化の開
始点での復号化時刻基準である。

【００４２】ｔ_RVTIは、Ｂ−ビデオ対象画に対する復号
化された相対ＶＯＰ時刻増分である。

【００４３】つぎに、ビットストリーム符号器の実施例
について説明する。

【００４４】図１６は、モジュロ時刻基準およびＶＯＰ
時刻増分を符号化するためのビットストリーム符号器の
実施例を説明するブロック構成図である。この説明のた
めに、図４に示される例が使用される。双方向予測が使
用されるので、符号化の順序は、図４に示されるプレゼ
ンテーションの順序とは異なる。符号化の順序は、Ｂ−
ＶＯＰよりも前に、Ｉ−ＶＯＰとそれに続くＰ−ＶＯＰ
から開始される。これを以下の３つの段落で説明する。

【００４５】処理はイニシャライザであるステップ４１
から始まり、そこで、ビットストリーム符号器は、ロー
カル時刻基準レジスタを時刻符号の初期値に初期化する
ことから始める。これと同じ時刻符号の値がビットスト
リームの中に符号化される。次のＩ−ＶＯＰの符号化の
開始点において、時刻符号比較器であるステップ４２
が、Ｉ−ＶＯＰのプレゼンテーション時刻をローカル時
刻基準レジスタと比較する。その結果がモジュロ時刻基
準符号器であるステップ４３に送られる。モジュロ時刻
基準符号器は、経過したモジュロ時刻基準増分の数に等
しい必要な数の“１”をビットストリームに挿入する。
そして、モジュロ時刻基準符号の終わりを示すためにこ
れにシンボル“０”が続く。ローカル時刻基準レジスタ
が現在のモジュロ時刻基準に更新される。そして、処理
は、ＶＯＰ時刻基準増分符号器であるステップ４４に進
み、そこで、Ｉ−ＶＯＰのプレゼンテーション時刻符号
の残りの部分が符号化される。

【００４６】この処理が、Ｐ−ＶＯＰである次に符号化
されるビデオ対象画に反復される。時刻符号比較器であ
るステップ４２は、Ｐ−ＶＯＰのプレゼンテーション時
刻をローカル時刻基準レジスタと比較する。その結果が
モジュロ時刻基準符号器であるステップ４３に送られ
る。モジュロ時刻基準符号器は、経過したモジュロ時刻
基準増分の数に等しい必要な数の“１”を挿入する。そ
して、モジュロ時刻基準符号の終わりを示すためにこれ
にシンボル“０”が続く。Ｂ−ＶＯＰ時刻基準レジスタ
がローカル時刻基準レジスタの値にセットされ、ローカ
ル時刻基準レジスタは現在のモジュロ時刻基準に更新さ
れる。そして、処理はＶＯＰ時刻基準増分符号器である
ステップ４４に進み、そこで、Ｐ−ＶＯＰのプレゼンテ
ーション時刻符号の残りの部分が符号化される。

【００４７】そして、この処理が、Ｂ−ＶＯＰである次
に符号化されるビデオ対象画に反復される。時刻符号比
較器であるステップ４２は、Ｂ−ＶＯＰのプレゼンテー
ション時刻をＢ−ＶＯＰ時刻基準レジスタと比較する。
その結果がモジュロ時刻基準符号器であるステップ４３
に送られる。モジュロ時刻基準符号器は、経過したモジ
ュロ時刻基準増分の数に等しい必要な数の“１”を挿入
する。そして、モジュロ時刻基準符号の終わりを示すた
めにこれにシンボル“０”が続く。Ｂ−ＶＯＰ時刻基準
レジスタとローカル時刻基準レジスタのいずれもが、Ｂ
−ＶＯＰの処理の後では変更されない。そして、処理は
ＶＯＰ時刻基準増分符号器であるステップ４４に進み、
そこで、Ｂ−ＶＯＰのプレゼンテーション時刻符号の残
りの部分が符号化される。

【００４８】ローカル時刻基準レジスタは、次のＶＯＰ
グループの始まりを表す次のＩ−ＶＯＰでリセットされ
る。

【００４９】つぎに、ビットストリーム復号器の実施例
について説明する。

【００５０】図１７は、プレゼンテーションタイムスタ
ンプを再生するためにモジュロ時刻基準およびＶＯＰ時
刻増分に用いられる復号器の実施例を説明するブロック
構成図である。符号器の実施例のときと同じように、図
４に示される例が使用される。復号化の順序は符号化の
順序と同じであり、Ｂ−ＶＯＰよりも前に、Ｉ−ＶＯＰ
とそれに続くＰ−ＶＯＰが復号化される。これが以下の
段落で説明される。

【００５１】処理はイニシャライザであるステップ５１
から始まり、そこで、ローカル時刻基準レジスタが、ビ
ットストリームから復号化された時刻符号の値にセット
される。そして、処理はモジュロ時刻基準復号器である
ステップ５２に進み、そこで、モジュロ時刻基準増分が
復号化される。復号化されるモジュロ時刻基準増分の総
数は、シンボル“０”の前に復号化される“１”の数に
よって与えられる。次に、ＶＯＰ時刻基準増分が、ＶＯ
Ｐ時刻基準増分復号器であるステップ５３において復号
化される。時刻基準計算器であるステップ５４におい
て、Ｉ−ＶＯＰのプレゼンテーション時刻が再生され
る。復号化されたモジュロ時刻基準増分の合計値がロー
カル時刻基準レジスタに加算される。そして、ＶＯＰ時
刻基準増分が、ローカル時刻基準レジスタに加算され、
Ｉ−ＶＯＰのプレゼンテーション時刻が得られる。そし
て、処理はビデオ対象画復号器であるステップ５５に進
み、そこで、ビデオ対象画が復号化される。

【００５２】Ｐ−ＶＯＰに対しては、モジュロ時刻基準
復号器であるステップ５２において処理が反復され、そ
こで、モジュロ時刻基準増分が復号化される。復号化さ
れるモジュロ時刻基準増分の総数は、シンボル“０”の
前に復号化される“１”の数によって与えられる。次
に、ＶＯＰ時刻基準増分が、ＶＯＰ時刻基準増分復号器
であるステップ５３において復号化される。時刻基準計
算器であるステップ５４において、Ｐ−ＶＯＰのプレゼ
ンテーション時刻が再生される。Ｂ−ＶＯＰモジュロ時
刻基準レジスタが、ローカル時刻基準レジスタの値にセ
ットされる。復号化されたモジュロ時刻基準増分の合計
値がローカル時刻基準レジスタに加算される。そして、
ＶＯＰ時刻基準増分が、ローカル時刻基準レジスタに加
算され、Ｐ−ＶＯＰのプレゼンテーション時刻が得られ
る。処理はビデオ対象画復号器に進み、そこで、ビデオ
対象画が復号化される。

【００５３】Ｂ−ＶＯＰに対しては、モジュロ時刻基準
復号器であるステップ５２において処理が反復され、そ
こで、モジュロ時刻基準増分が復号化される。復号化さ
れるモジュロ時刻基準増分の総数は、シンボル“０”の
前に復号化される“１”の数によって与えられる。次
に、ＶＯＰ時刻基準増分が、ＶＯＰ時刻基準増分復号器
であるステップ５３において復号化される。時刻基準計
算器であるステップ５４において、Ｂ−ＶＯＰのプレゼ
ンテーション時刻が再生される。復号化されたモジュロ
時刻基準増分の合計値とＶＯＰ時刻基準増分とが、Ｂ−
ＶＯＰ時刻基準レジスタに加算され、Ｂ−ＶＯＰのプレ
ゼンテーション時刻が得られる。Ｂ−ＶＯＰ時刻基準レ
ジスタとローカル時刻基準レジスタのいずれもが変更さ
れないままである。そして、処理はビデオ対象画復号器
に進み、そこで、ビデオ対象画が復号化される。

【００５４】ローカル時刻基準レジスタは、次のＶＯＰ
グループの始まりを表す次のＩ−ＶＯＰでリセットされ
る。

【００５５】つぎに、具体的な例を説明する。

【００５６】図１８を参照すると、圧縮されたデータを
ビットストリームデータに符号化するステップの例が示
される。図１８の上側の行に示されるように、圧縮され
たビデオデータＶＯＰは、表示順に、Ｉ１、Ｂ１、Ｂ
２、Ｐ１、Ｂ３、Ｐ２の順序で一列に並べられ、ＧＯＰ
（グループオブピクチャー）ヘッダーがＶＯＰグループ
の開始点に挿入される。表示されるとともに、その表示
が実行されるローカル時刻が、ローカル時刻クロックを
用いてそれぞれのＶＯＰに関して判定される。例えば、
第１のＶＯＰ（Ｉ１−ＶＯＰ）は、ビデオデータのまさ
に開始点からカウントされる１時２３分４５秒３５０ミ
リ秒（１：２３：４５：３５０）に表示され、第２のＶ
ＯＰ（Ｂ１−ＶＯＰ）は、１：２３：４５：７５０に表
示され、また、第３のＶＯＰ（Ｂ２−ＶＯＰ）は、１：
２３：４６：１５０に表示され、以下も同様である。

【００５７】ＶＯＰを符号化するためには、それぞれの
ＶＯＰに表示時刻データを挿入することが必要である。
もし、時、分、秒、およびミリ秒を含む完全な形で時刻
データを挿入するとすれば、それぞれのＶＯＰのヘッダ
ー部分にかなりのデータ領域が必要である。本発明の目
的は、そのようなデータ領域を減少させることであり、
また、それぞれのＶＯＰに挿入されるべき時刻データを
単純化することである。

【００５８】図１８の１番上の横列に示されるＶＯＰの
それぞれは、ミリ秒からなる表示時刻データをＶＯＰ時
刻増分領域に記憶する。また、１番上の横列にあるＶＯ
Ｐのそれぞれは、一時的に、時、分、秒からなる表示時
刻データも記憶する。ＧＯＰヘッダーは、第１のＶＯＰ
（Ｉ１−ＶＯＰ）に用いられる時、分、秒からなる表示
データを記憶する。

【００５９】図１８の２番目の横列に示されるように、
ＶＯＰは、バッファー（図示せず）を用いて予め定めら
れた時間だけ遅延させられる。双方向予測方式によれ
ば、バッファーからＶＯＰが生成されるときにＶＯＰの
順序が変わるので、双方向のＶＯＰすなわちＢ−ＶＯＰ
は、そのＢ−ＶＯＰが参照するＰ−ＶＯＰの後に位置す
べきである。したがって、ＶＯＰは、Ｉ１、Ｐ１、Ｂ
１、Ｂ２、Ｐ２、Ｂ３の順序で一列に並べられる。

【００６０】図１８の３番目の横列に示されるように、
時刻Ｔ１において、すなわち、ＧＯＰヘッダーがまさに
符号化されるときに、ＧＯＰヘッダーに記憶された時、
分、秒のデータがそのままローカル時刻基準レジスタに
記憶される。図１８に示される例では、ローカル時刻基
準レジスタは、１：２３：４５を記憶する。そして、時
刻Ｔ２よりも前において、ＧＯＰヘッダーに対応するビ
ットストリームデータが得られ、図１８の下側に示され
るように時、分、秒のデータが挿入される。

【００６１】そして、時刻Ｔ２において、第１のＶＯＰ
（Ｉ１−ＶＯＰ）が取り込まれる。時刻符号比較器が、
ローカル時刻基準レジスタに記憶された時刻（時、分、
秒）を第１のＶＯＰ（Ｉ１−ＶＯＰ）に一時的に記憶さ
れた時刻（時、分、秒）と比較する。この例によれば、
比較結果は同じとなる。したがって、比較器は、第１の
ＶＯＰ（Ｉ１−ＶＯＰ）がローカル時刻基準レジスタに
保持されている秒と同じ秒において発生したことを表す
“０”を生成する。比較器によって生成された“０”が
そのまま第１のＶＯＰ（Ｉ１−ＶＯＰ）のモジュロ時刻
基準領域に付与される。それと同時に、第１のＶＯＰ
（Ｉ１−ＶＯＰ）に一時的に記憶された時、分、秒のデ
ータは除去される。したがって、時刻Ｔ３よりも前にお
いて、第１のＶＯＰ（Ｉ１−ＶＯＰ）に対応するビット
ストリームデータが得られ、“０”がモジュロ時刻基準
領域に挿入され、“３５０”がＶＯＰ時刻増分領域に挿
入される。

【００６２】次に、時刻Ｔ３において、第２のＶＯＰ
（Ｐ１−ＶＯＰ）が取り込まれる。時刻符号比較器が、
ローカル時刻基準レジスタに記憶された時刻（時、分、
秒）を第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶さ
れた時刻（時、分、秒）と比較する。この例によれば、
比較の結果は、第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的
に記憶された時刻は、ローカル時刻基準レジスタに記憶
された時刻よりも１秒だけ大きいこととなる。したがっ
て、比較器は、第２のＶＯＰ（Ｐ１−ＶＯＰ）がローカ
ル時刻基準レジスタに保持されている秒の次の１秒にお
いて発生したことを表す“１０”を生成する。もし第２
のＶＯＰ（Ｐ１−ＶＯＰ）が、ローカル時刻基準レジス
タに保持されている秒の次のさらにその次の秒において
発生すれば、比較器は“１１０”を生成する。

【００６３】時刻Ｔ３よりも後において、Ｂ−ＶＯＰ時
刻基準レジスタは、時刻Ｔ３の直前にローカル時刻基準
レジスタに保持されている時刻と等しい時刻がセットさ
れる。この例では、Ｂ−ＶＯＰ時刻基準レジスタには、
１：２３：４５がセットされる。また、時刻Ｔ３よりも
後において、ローカル時刻基準レジスタは、第２のＶＯ
Ｐ（Ｐ１−ＶＯＰ）に一時的に記憶されている時刻に等
しい時刻にインクリメントされる。したがって、この例
においては、ローカル時刻基準レジスタは、１：２３：
４６にインクリメントされる。

【００６４】比較器によって生成された結果として得ら
れた“１０”がそのまま第２のＶＯＰ（Ｐ１−ＶＯＰ）
のモジュロ時刻基準領域に付与される。それと同時に、
第２のＶＯＰ（Ｐ１−ＶＯＰ）に一時的に記憶された
時、分、秒のデータが除去される。したがって、時刻Ｔ
４よりも前において、第２のＶＯＰ（Ｐ１−ＶＯＰ）に
対応するビットストリームデータが得られ、“１０”が
モジュロ時刻基準領域に挿入され、“５５０”がＶＯＰ
時刻増分領域に挿入される。

【００６５】そして、時刻Ｔ４において、第３のＶＯＰ
（Ｂ１−ＶＯＰ）が取り込まれる。時刻符号比較器が、
Ｂ−ＶＯＰ時刻基準レジスタに記憶された時刻（時、
分、秒）を第３のＶＯＰ（Ｂ１−ＶＯＰ）に一時的に記
憶された時刻（時、分、秒）と比較する。この例によれ
ば、比較の結果は同じとなる。したがって、比較器は、
第３のＶＯＰ（Ｂ１−ＶＯＰ）がＢ−ＶＯＰ時刻基準レ
ジスタに保持されている秒と同じ秒において発生したこ
とを表す“０”を生成する。比較器によって生成された
結果として得られた“０”がそのまま第３のＶＯＰ（Ｂ
１−ＶＯＰ）のモジュロ時刻基準領域に付与される。そ
れと同時に、第１のＶＯＰ（Ｉ１−ＶＯＰ）に一時的に
記憶された時、分、秒のデータが除去される。したがっ
て、時刻Ｔ５よりも前において、第３のＶＯＰ（Ｂ１−
ＶＯＰ）に対応するビットストリームデータが得られ、
“０”がモジュロ時刻基準領域に挿入され、“７５０”
がＶＯＰ時刻増分領域に挿入され。

【００６６】そして、時刻Ｔ５において、第４のＶＯＰ
（Ｂ２−ＶＯＰ）が取り込まれる。時刻符号比較器が、
Ｂ−ＶＯＰ時刻基準レジスタに記憶された時刻（時、
分、秒）を第４のＶＯＰ（Ｂ２−ＶＯＰ）に一時的に記
憶された時刻（時、分、秒）と比較する。この例によれ
ば、比較の結果は、第４のＶＯＰ（Ｂ２−ＶＯＰ）に一
時的に記憶された時刻がＢ−ＶＯＰ時刻基準レジスタに
記憶された時刻よりも１秒だけ大きいことになる。した
がって、比較器は、第４のＶＯＰ（Ｂ２−ＶＯＰ）がＢ
−ＶＯＰ時刻基準レジスタに保持されている秒の次の１
秒において発生したことを表す“１０”を生成する。

【００６７】ＢタイプのＶＯＰを処理している間には、
どのような結果を比較器が生成しようともそれに関係な
く、ローカル時刻基準レジスタもＢ−ＶＯＰ時刻基準レ
ジスタもインクリメントされることはない。

【００６８】比較器によって生成された結果として得ら
れた“１０”がそのまま第４のＶＯＰ（Ｂ２−ＶＯＰ）
のモジュロ時刻基準領域に付与される。それと同時に、
第４のＶＯＰ（Ｂ２−ＶＯＰ）に一時的に記憶された
時、分、秒のデータが除去される。したがって、時刻Ｔ
６よりも前において、第４のＶＯＰ（Ｂ２−ＶＯＰ）に
対応するビットストリームデータが得られ、“１０”が
モジュロ時刻基準領域に挿入され、“１５０”がＶＯＰ
時刻増分領域に挿入される。

【００６９】そして、時刻Ｔ６において、第５のＶＯＰ
（Ｐ２−ＶＯＰ）が取り込まれる。時刻符号比較器が、
ローカル時刻基準レジスタに記憶された時刻（時、分、
秒）を第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶さ
れた時刻（時、分、秒）と比較する。この例によれば、
比較の結果は、第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的
に記憶された時刻がローカル時刻基準レジスタに記憶さ
れた時刻よりも１秒だけ大きいことになる。したがっ
て、比較器は、第５のＶＯＰ（Ｐ２−ＶＯＰ）がローカ
ル時刻基準レジスタに保持されている秒の次の１秒にお
いて発生したことを表す“１０”を生成する。

【００７０】時刻Ｔ６よりも後において、Ｂ−ＶＯＰ時
刻基準レジスタは、時刻Ｔ６の直前にローカル時刻基準
レジスタに保持されている時刻と等しい時刻にインクリ
メントされる。この例においては、Ｂ−ＶＯＰ時刻基準
レジスタは、１：２３：４６にインクリメントされる。
さらに、時刻Ｔ６よりも後において、ローカル時刻基準
レジスタは、第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に
記憶された時刻と等しい時刻にインクリメントされる。
したがって、この例では、ローカル時刻基準レジスタ
は、１：２３：４７にインクリメントされる。

【００７１】比較器によって生成された結果として得ら
れた“１０”がそのまま第５のＶＯＰ（Ｐ２−ＶＯＰ）
のモジュロ時刻基準領域に付与される。それと同時に、
第５のＶＯＰ（Ｐ２−ＶＯＰ）に一時的に記憶された
時、分、秒のデータが除去される。したがって、時刻Ｔ
７よりも前において、第５のＶＯＰ（Ｐ２−ＶＯＰ）に
対応するビットストリームデータが得られ、“１０”が
モジュロ時刻基準領域に挿入され、“３５０”がＶＯＰ
時刻増分領域に挿入される。

【００７２】その後、同様の処理が実行され、それ以降
のＶＯＰに対するビットストリームデータが形成され
る。

【００７３】このビットストリームデータを復号化する
ために、上述の処理とは逆の処理が実行される。まず最
初に、ＧＯＰヘッダーに保持される時刻（時、分、秒）
が読み込まれる。読み込まれた時刻は、ローカル時刻基
準レジスタに記憶される。

【００７４】ＩタイプまたはＰタイプのＶＯＰすなわち
Ｂタイプ以外のＶＯＰを受けた場合、モジュロ時刻基準
領域に記憶されたデータが読み込まれる。もし読み込ま
れたデータが“０”であれば、すなわち、０の前に１が
なければ、ローカル時刻基準レジスタは変更されること
はない。また、Ｂ−ＶＯＰ時刻基準レジスタも変更され
ることはない。もし読み込まれたデータが“１０”であ
れば、ローカル時刻基準レジスタに記憶された時刻が１
秒だけインクリメントされる。もし読み込まれたデータ
が“１１０”であれば、ローカル時刻基準レジスタに記
憶された時刻が２秒だけインクリメントされる。このよ
うに、インクリメントされるべき秒数は、０の前に挿入
された１の数によって決定される。また、読み込まれた
データが“１０”または“１１０”の場合には、メモリ
ーであるＢ−ＶＯＰ時刻基準レジスタは、ローカル時刻
基準レジスタがインクリメント直前に保持していた時刻
をコピーする。そして、ローカル時刻基準レジスタに保
持された時刻（時、分、秒）がＶＯＰ時刻増分領域に保
持された時刻（ミリ秒）と組み合わされ、Ｉタイプまた
はＰタイプのＶＯＰが生成されるべき時刻が確定され
る。

【００７５】ＢタイプのＶＯＰを受けた場合は、モジュ
ロ時刻基準領域に記憶されたデータが読み込まれる。も
し読み込まれたデータが“０”であれば、Ｂ−ＶＯＰ時
刻基準レジスタに保持された時刻（時、分、秒）がＶＯ
Ｐ時刻増分領域に保持された時刻（ミリ秒）と組み合わ
され、ＢタイプのＶＯＰが生成されるべき時刻が確定さ
れる。もし読み込まれたデータが“１０”であれば、Ｂ
−ＶＯＰ時刻基準レジスタに保持された時刻（時、分、
秒）は１秒が加算され、この加算されて得られた時刻が
ＶＯＰ時刻増分領域に保持された時刻（ミリ秒）と組み
合わされ、ＢタイプのＶＯＰが生成されるべき時刻が確
定される。もし読み込まれたデータが“１１０”であれ
ば、Ｂ−ＶＯＰ時刻基準レジスタに保持された時刻
（時、分、秒）に２秒加算され、この加算されて得られ
た時刻がＶＯＰ時刻増分領域に保持された時刻（ミリ
秒）と組み合わされ、ＢタイプのＶＯＰが生成されるべ
き時刻が確定される。

【００７６】本発明の効果は、異なった符号器によって
符号化されたビデオ対象画を多重化することができるこ
とである。さらに、本発明は、異なったソースから得ら
れる圧縮データを対象画に基づいて操作して新しいビッ
トストリームを生成することを容易にする。本発明は、
オーディオビジュアル対象画を同期させる方法を提供す
る。

【００７７】このように本発明が説明されたが、上述さ
れたものは様々な形態に変更することができる。そのよ
うな変形は本発明の精神および範囲を逸脱するものでは
なく、この分野に通常の知識を有する者には明白なよう
に、そのような変更のすべては請求の範囲に包含される
ものである。

【図面の簡単な説明】

【図１】ビデオシーケンスのフレームが一定間隔でサン
プリングされる従来技術による時間的なサンプリングを
説明する図である。

【図２】ビデオ対象画の概念およびその互いの関係を説
明する図である。ビデオ対象画のサンプリングは不規則
であってもよく、また、サンプリング周期は急激に変化
してもよい。

【図３】ビデオ対象画の参照時刻がモジュロ時刻基準と
ＶＯＰ時刻増分とによって表される本発明を説明する図
である。この説明では、Ｉ−ＶＯＰおよびＰ−ＶＯＰだ
けが使用されている。

【図４】ビデオ対象画の参照時刻がモジュロ時刻基準と
ＶＯＰ時刻増分とによって表される本発明を説明する図
である。この説明では、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ、およ
び、Ｂ−ＶＯＰが使用されている。

【図５】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。

【図６】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。

【図７】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。

【図８】Ｂ−ビデオ対象画のためにプレゼンテーション
順序および符号化順序が異なる場合に発生することがあ
る曖昧さの例を説明する図である。

【図９】絶対時刻基準および相対時刻基準を用いること
によって曖昧さを解決することを説明する図である。

【図１０】絶対時刻基準および相対時刻基準を用いるこ
とによって曖昧さを解決することを説明する図である。

【図１１】２つのＶＯＰの組み合わせと、ＶＯＰ時刻オ
フセットを用いることによってそれらを共通時刻基準に
同期させることとを説明する図である。

【図１２】時刻基準の符号化を説明するフローチャート
である。

【図１３】複数のビデオ対象画の多重化を説明するフロ
ーチャートである。

【図１４】複数のビデオ対象画の多重分離を説明するフ
ローチャートである。

【図１５】プレゼンテーションタイムスタンプの再生を
説明するフローチャートである。

【図１６】時刻基準を符号化するためのビットストリー
ム符号器の動作を説明するブロック構成図である。

【図１７】時刻基準を復号化するためのビットストリー
ム復号器の動作を説明するブロック構成図である。

【図１８】ビットストリームデータの形成を説明するタ
イムチャートである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 チャク ジュー・リー シンガポール449287シンガポール、ラグ ナ・パーク、マリン・パレード・ロード 15−13番、ブロック5000ディ (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 圧縮データに含まれるI-VOP（イントラ
   符号化されたVOP）またはP-VOP（予測符号化されたVO
   P）の時刻を復号化する方法であって、 前記圧縮データは、1秒単位の時刻符号と、前記圧縮デ
   ータ中のすべてのVOPに1秒より細かい精度で時刻を表現
   するための時刻基準増分とを含んでおり、 前記圧縮データにおける最初の復号化対象VOPについて
   は、前記圧縮データの前記１秒単位の時刻符号と前記最
   初の復号化対象VOPの時刻基準増分とを組み合わせて前
   記最初の復号化対象VOPの時刻を復号化し、前記圧縮データにおける前記最初の復号化対象VOP以外
   のVOPのうちI-VOPまたはP-VOP（以下、「その他の復号
   化対象VOP」という） については、当該その他の復号化
   対象VOPの直前に復号化されたI-VOPまたはP-VOPの１秒
   単位の時刻を取得し、 前記その他の復号化対象VOPの前記時刻基準増分を復号
   化し、 前記その他の復号化対象VOPの直前に復号化されたI-VOP
   またはP-VOPの１秒単位の時刻と前記その他の復号化対
   象VOPの時刻基準増分とを組み合わせて前記その他の復
   号化対象VOPの時刻を復号化することを特徴とするVOPの
   時刻復号化方法。
2. 【請求項２】 時刻基準増分として1秒単位の時刻基準
   増分と1秒未満の時刻基準増分を含むことを特徴とする
   請求項1記載のVOPの時刻基準復号化方法。