JP2872104B2

JP2872104B2 - タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法

Info

Publication number: JP2872104B2
Application number: JP11858296A
Authority: JP
Inventors: 孝之小林; 律彦永井; 隆二西塔; 英雄新井
Original assignee: GURAFUITSUKUSU KOMYUNIKEESHON RABORATORIIZU KK
Current assignee: GURAFUITSUKUSU KOMYUNIKEESHON RABORATORIIZU KK
Priority date: 1996-05-14
Filing date: 1996-05-14
Publication date: 1999-03-17
Anticipated expiration: 2016-05-14
Also published as: JPH09307891A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オーディオやビデ
オ等のデータを同期して多重化する動画像圧縮伸張伝送
システムおよび動画像圧縮伸張伝送方法に係わり、特に
ビデオ符号器で圧縮符号化されたビデオストリームに復
号再生時刻情報であるタイムスタンプを付加するタイム
スタンプ付加装置およびタイムスタンプ付加方法に関す
る。

【０００２】

【従来の技術】一般に、オーディオ信号およびビデオ信
号を多重伝送する動画像圧縮伸張伝送システムでは、オ
ーディオ、ビデオそれぞれの信号化処理部において両者
の同期を取り出力する必要がある。すなわち、画像と音
声が一致するように復号化処理部は出力を同期させなけ
ればならない。

【０００３】このように画像とオーディオの同期を可能
とするために、国際標準の符号化方式であるＭＰＥＧ２
（Moving Picture Experts Group Phase2）、ＭＰＥＧ
１（Moving Picture Experts Group Phase1）などで
は、タイムスタンプ（Time Stamp；以下ＴＳと記す。）
という出力タイミング情報を使っている。このＴＳに
は、プレゼンテーションタイムスタンプ（Presentation
Time Stamp；以下ＰＴＳと記す。）とデコーディング
タイムスタンプ（Decoding Time Stamp；以下ＤＴＳと
記す。）とがある。

【０００４】ＭＰＥＧシステムの復号器のＳＴＣ（Syst
em Time Clock）が、ＰＴＳに一致したときに、オーデ
ィオ信号あるいはビデオ信号を再生出力する。ＳＴＣ
は、ＭＰＥＧ２、ＭＰＥＧ１などで定義されているもの
で、基準となる時刻情報を与える。また、ＭＰＥＧで
は、ＩピクチャとＰピクチャはＢピクチャより先行して
符号化ストリームに送出されることによる復号順序およ
び再生出力順序の相違に対応して、ＤＴＳを設けてい
る。ＰＴＳとＤＴＳが一致する場合はＰＴＳのみをタイ
ムスタンプとして付加する。

【０００５】ＭＰＥＧ２（Moving Picture Experts Gro
up Phase2）では、ＰＥＳ（Paketized Elementary Stre
am）パケットのように複数のパケットを可変長の長さで
パケット化して、ビデオストリームにタイムスタンプを
付加する単位とする方式がある。一般に、オーディオ信
号が符号化されたデータ（以下、オーディオストリーム
と記す。）と、ビデオ信号が符号化されたデータ（以
下、ビデオストリームと記す。）とを、多重化したスト
リームをシステムストリームと呼ぶが、このシステムス
トリームには、オーディオ、ビデオそれぞれのＴＳが付
加される。

【０００６】なお、このＴＳは、オーディオおよびビデ
オ信号ともにアクセスユニットを基準として付加され
る。オーディオ信号のアクセスユニットの場合にはシン
クワード（オーディオストリーム内の一定ワード毎にあ
るコード）、ビデオ信号のアクセスユニットの場合には
ピクチャスタートコード（Picture Start Code。ビデオ
ストリーム内にあるピクチャの区分を示すコード）部分
を基準に付加される。

【０００７】また、ＤＴＳおよびＰＴＳのＴＳは、ＰＥ
Ｓパケットのヘッダ内に付加される。この場合、ＰＥＳ
パケットの実効パケットデータであるペイロード中に現
れるＰＥＳパケットのヘッダの後最初のアクセスユニッ
トを基にＰＴＳ、ＤＴＳ値が算出される。図１０は従来
の動画像圧縮伸張伝送システムの概略ブロック図を示
す。動画像圧縮伸張伝送システムは、大別して、送信
側、伝送側および受信側のシステムから構成されてい
る。

【０００８】図１０において、送信側では、入力オーデ
ィオ信号５０が、オーディオ符号化処理部５１に入力し
て符号化され、オーディオストリーム５２となりマルチ
プレクサ部５６へ出力される。また、入力ビデオ信号５
３は、ビデオ符号化処理部５４に入力して符号化され、
ビデオストリーム５５となりマルチプレクサ部５６へ出
力される。

【０００９】マルチプレクサ部５６に入力したオーディ
オストリーム５２とビデオストリーム５５は多重化さ
れ、システムストリーム６１となり伝送路６２へ出力さ
れる。さらに多重を行なう前記マルチプレクサ部５６の
説明をすると、マルチプレクサ部５６は、ＳＴＣ発生部
５７、オーディオパケッタイズ部５９、ビデオパケッタ
イズ部６０、スイッチ部１０５で構成されている。

【００１０】オーディオパケッタイズ部５９は入力した
オーディオストリーム５２を一定長に区切り、パケット
を形成し、データ１０３をスイッチ部１０５へ出力す
る。そして、スイッチ部１０５により選択され、システ
ムストリーム６１としてパッケト単位で多重される。こ
のとき、オーディオストリーム５２のパケッタイズされ
るデータ長の中にシンクワードがあれば、前記パケット
のヘッダ部分にＴＳを付加する。なお、このＴＳは、シ
ステムタイムブロック処理部５７のＳＴＣデータ５８を
基に求められる。

【００１１】一方、ビデオパケッタイズ部６０も、入力
したビデオストリーム５５を一定長に区切り、パケット
を形成し、データ１０４をスイッチ部１０５へ出力す
る。そして、スイッチ部１０５により選択され、システ
ムストリーム６１としてパケット単位で多重される。こ
のとき、ビデオストリーム５５のパケッタイズされるデ
ータ長の中に、ピクチャスタートコードがあれば、前記
パケットのヘッダ部分にＴＳを付加する。なお、このＴ
Ｓは、システムタイムブロック処理部５７のＳＴＣデー
タ５８を基に求めている。

【００１２】そして、さらに受信側でＳＴＣの再生が可
能なように、周期的にＳＴＣデータ５８は、スイッチ部
１０５により選択され、システムストリーム６１として
多重される。次に受信側では、伝送路６２を伝送されて
きたシステムストリーム６３が、デマルチプレクサ部６
４に入力して分離され、オーディオストリーム６７とオ
ーディオＴＳ１１２、ビデオストリーム７０とビデオＴ
Ｓ１１３、ＳＴＣデータ１１０となり出力される。

【００１３】更に、分離を行なう前記デマルチプレクサ
部６４の説明をすると、デマルチプレクサ部６４は、ス
イッチ部１０６、ＳＴＣ再生部１１１、オーディオパケ
ット解析部６５、ビデオパケット解析部６６で構成され
ている。デマルチプレクサ部６４において、入力された
システムストリーム６３から、スイッチ部１０６を使用
して、オーディオパケットデータ１０７をオーディオパ
ケット解析部６５へ、ビデオパケットデータ１０９をビ
デオパケット解析部６６へ、ＳＴＣデータ１０８をＳＴ
Ｃ再生部１１１へ出力する。

【００１４】オーディオパケット解析部６５は、入力し
たオーディオパケットデータ１０７を解析し、オーディ
オストリーム６７とオーディオＴＳ１１２とに分離して
オーディオ復号化処理部６８へ出力する。一方、ビデオ
パケット解析部６６は、入力したビデオパケットデータ
１０９を解析し、ビデオストリーム７０とビデオＴＳ１
１３とに分離してビデオ復号化処理部７１へ出力する。

【００１５】また、ＳＴＣ再生部１１１は、入力したＳ
ＴＣデータ１０８から、送信側のＳＴＣ発生部５７が出
力するＳＴＣデータ５８と常に同一の出力となるように
ＳＴＣデータ１１０を再生し、ビデオ復号化処理部７１
およびオーディオ復号化処理部６８へ出力する。オーデ
ィオ復号化処理部６８は、入力したオーディオストリー
ム６７を、オーディオＴＳ１１２とＳＴＣデータ１１０
とを参照して復号化し、ＴＳに従った時刻で、出力オー
ディオ信号６９を出力する。

【００１６】ビデオ復号化処理部７１は、入力したビデ
オストリーム７０を、ビデオＴＳ１１３とＳＴＣデータ
１１０とを参照して復号化し、ＴＳにしたがった時刻
で、出力ビデオ信号７２を出力する。つぎに、各復号化
処理部でのＴＳによる出力動作について、さらに具体的
に説明する。ＴＳによる出力動作は、オーディオ復号化
処理部６８とビデオ復号化処理部７１とで、オーディオ
とビデオのそれぞれのＴＳのＰＴＳの値とＳＴＣデータ
の値とが一致したときに、対応するデータ部分を出力す
ることで実現される。

【００１７】例えば、オーディオストリーム６７のある
シンクワードＡｎに対応するＰＴＳの値を、ＰＴＳ（Ａ
ｎ）とすれば、ＳＴＣデータ１１０の値がＰＴＳ（Ａ
ｎ）と同じになったときに、オーディオ復号化処理部６
８は、シンクワードＡｎ部分の復号化されたデータを出
力する。同様に、ビデオストリーム７０のあるピクチャ
スタートコードＶｎに対応するＰＴＳの値を、ＰＴＳ
（Ｖｎ）とすれば、ＳＴＣデータ１１０の値がＰＴＳ
（Ｖｎ）と同じになったときに、ビデオ復号化処理部７
１は、ピクチャスタートコードＶｎ部分の復号化された
データを出力する。

【００１８】ここで、図１０に示す動画像圧縮伸張伝送
システムにおいて、送信側のオーディオ符号化処理部５
１に入力オーディオ信号５０が入力されてから、受信側
のオーディオ復号化処理部６８より出力オーディオ信号
６９が出力されるまでの時間がｔａであるとする。同様
に、送信側のビデオ符号化処理部５４に入力ビデオ信号
５３が入力されてから、受信側のビデオ復号化処理部７
１より出力ビデオ信号７２が出力されるまでの時間がｔ
ｖであるとする。

【００１９】この場合、ビデオとオーディオの同期をと
るには、入力から出力までの時間をｔａ＝ｔｖとなるよ
うに、伝送処理系の時間を設定し、その時間を基にそれ
ぞれＰＴＳの時間を設定すれば良いことになる。つぎ
に、マルチプレクサ部５６を構成するオーディオパケッ
タイズ部５９とビデオパケッタイズ部６０とにおけるＴ
Ｓ算出を説明する。

【００２０】まず、前記オーディオ信号の入力から出力
までの時間ｔａのうち、マルチプレクサ５６に入力する
までの時間がｔａ１で、残りの時間がｔａ２であるとす
る。ここで、マルチプレクサ部５６に入力したオーディ
オストリーム５２のパケッタイズされるべきデータ長の
中に、あるシンクワードＡｎがあり、パケッタのヘッダ
部分にＴＳを付加するときのＳＴＣデータ５８の値がＳ
ＴＣ２（Ａｎ）であるとすれば、ＰＴＳ（Ａｎ）は、以
下のように求めることができる。

【００２１】ＰＴＳ（Ａｎ）＝ＳＴＣ２（Ａｎ）＋ｔａ２ビデオについても、前記ビデオ信号の入力から出力まで
の時間ｔｖのうち、マルチプレクサ部５６に入力される
までの時間がｔｖ１で、残りの時間がｔｖ２であるとす
る。ここで、マルチプレクサ部５６に入力したビデオス
トリーム５５のパケッタイズされるべきデータ長の中
に、あるピクチャスタートコードＶｎがあり、パケッタ
のヘッダ部分にＴＳを付加するときのＳＴＣデータ５８
の値がＳＴＣ２（Ｖｎ）であるとすれば、ＰＴＳ（Ｖ
ｎ）も、以下のように求めることができる。

【００２２】ＰＴＳ（Ｖｎ）＝ＳＴＣ２（Ｖｎ）＋ｔｖ２しかし、ビデオの場合、ビデオ符号化処理部５４におい
て可変長符号化されたり、ピクチャ単位の入れ替わりが
行われる。このため、ｔｖ１が符号化状況により変動す
る。したがって、ｔｖ２も変動してしまい、（ｔｖが固
定で、ｔｖ２＝ｔｖ−ｔｖ１であるため。）ＳＴＣ２
（Ｖｎ）に加算すべきｔｖ２を、あらかじめ設定するこ
とができないという問題があり、オーディオと同様に求
めることは不可能である。また、ビデオの場合、ピクチ
ャ単位の入れ替わりがあるために、ＤＴＳも求める必要
がある。

【００２３】ここで、ピクチャ単位の入れ替わりについ
て、図１１の概略図を使用して説明する。図１０では、
ピクチャ単位の入れ替わりに関する遅延時間は考慮され
ているが、その他の処理時間等は省略している。図１１
において、（ａ）は、ビデオ符号化処理部５４に入力す
る入力ビデオ信号５３、（ｂ）は、ビデオ符号化処理部
５４から出力されるビデオストリーム５５（あるいは、
ビデオパケット解析部６６から出力されるビデオストリ
ーム７０。）、（ｂ）は、ビデオ復号化処理部７１から
出力される出力ビデオ信号７２を示している。

【００２４】前記いずれの信号にも記載されている符号
Ｉ、Ｐ、Ｂは、ＭＰＥＧ２，ＭＰＥＧ１で定義されてい
るピクチャコーディングタイプ（Picture Coding Typ
e）を示している。また、図１１の例では、ＩまたはＰ
ピクチャのピクチャ間隔は３ピクチャであり、このＩま
たはＰピクチャのピクチャ間隔のことを、一般にＭ値と
呼んでいる（図１１の場合はＭ値＝３となる。）。な
お、各信号の上部の（）内に示す数値はテンポラルリフ
ァレンス（Temporal Reference）の値で、これは入力ビ
デオ信号５３におけるピクチャの順番を示している。

【００２５】ピクチャ単位の入れ替わりは、つぎのよう
に行なわれる。ビデオ符号化処理部５４において、
（ａ）に示す入力ビデオ信号５３は、Ｂピクチャのみ
を、後方のＩあるいはＰピクチャの後に、順次遅延し挿
入してピクチャの順番を入れ替え、（ｂ）に示すビデオ
ストリーム５５の状態とする。この入れ替わりの状態
は、ビデオストリーム７０でも変わらない。

【００２６】つぎに、ビデオ復号化処理部７１におい
て、逆にビデオストリーム７０のＩ、Ｐピクチャを後方
の連続するＢピクチャの後に順次遅延し挿入して、元の
順番に戻し、（ｃ）に示すビデオ出力信号７２のように
元の順番とする。このように、ビデオ復号化処理部７１
で順番を戻すことを、リオーダ（reorder）と呼んでい
る。

【００２７】つぎに、ビデオ復号化処理部７１でのリオ
ーダにおけるＰＴＳとＤＴＳの関係を図１２に示し、説
明する。ビデオ復号化処理部７１に入力したビデオスト
リーム７０は、まず、可変長符号化による時間軸上での
変動分を吸収するため、ビデオ復号化バッファ７３に記
憶された後、ビデオストリーム７４としてビデオ復号化
回路７５へ出力される。ビデオ復号化回路７５は、入力
したビデオストリーム７４を復号化し、データ７６とす
る。

【００２８】ここで、データ７６のＢピクチャ部分は、
そのまま出力ビデオ信号７２として出力される。一方、
データ７６のＩあるいはＰピクチャ部分は、ビデオリオ
ーダバッファ７７で遅延されデータ７８となり、ビデオ
出力信号７２として出力される。これを切り替え選択し
ているのがスイッチ部７９である。また、ビデオリオー
ダバッファ７７での遅延時間は、（Ｍ値×ピクチャ周
期）となる。このビデオ復号化処理部７１の手段でピク
チャ単位の順番を元に戻すことが可能となる。

【００２９】図１２において、ＰＴＳは、ビデオ復号化
処理部７１から出力する出力ビデオ信号７２の出力時間
を示すものであるが、ＤＴＳは、ビデオ復号化バッファ
７３から出力するビデオストリーム７４の出力が待つ時
間を示すものである。ＭＰＥＧ２、ＭＰＥＧ１では、Ｔ
Ｓの定義において、ビデオ復号化回路７５の処理時間は
ゼロと仮定している。したがって、Ｂピクチャの場合、
ＤＴＳ＝ＰＴＳとなる。

【００３０】したがって、Ｉ、Ｐピクチャ：ＰＴＳとＤＴＳが付加される。Ｂピクチャ：ＰＴＳだけが付加される。（ＤＴＳ＝ＰＴ
Ｓであるため）以上のように、ビデオに関するＴＳの付加は、オーディ
オに比べ複雑なものとなる。

【００３１】ここまでの説明で使用した、ピクチャスタ
ートコード、テンポラルリファレンス、ピクチャコーデ
ィングタイプが、図１０のビデオストリーム５５に付加
されている構成例を図１３に示す。これは、ＭＰＥＧに
おける例である。図１３に示すように、入力ビデオ信号
５３（図１０参照）の各フレームあるいは各フィールド
に対応する符号データ部分は、ピクチャレイヤ（Pictur
e layer）と呼ばれ、３２ビットの固有値であるピクチ
ャスタートコードで始まる。このコードに続き１０ビッ
トのテンポラルリファレンスがあり、さらに３ビットの
ピクチャコーディングタイプがある。

【００３２】また、その後に１６ビットのビデオ遅延時
間制御情報（Video Buffering Verifier Delay:vbv_del
ay）などのヘッダが付加されており、そのヘッダの後に
実際の符号データが続いている。なお、前記ビデオ遅延
時間制御情報は、可変長符号化された符号データ、つま
り部分的に可変レートの符号データを、その平均レート
としての一定レートで受信し、復号化するために必要な
ビデオ復号化処理部内のバッファ（図１２のビデオ復号
化バッファ７３）における遅延時間を示す情報である。
このビデオ遅延時間制御情報に従って、前記バッファの
読出し制御をすることで、バッファのアンダーフローや
オーバーフローの回避が可能になる。

【００３３】なお、このビデオ遅延時間制御情報は、ビ
デオ符号化処理部５４の内部で、生成して付加してい
る。このとき一般的には、受信側のビデオ復号化処理部
７１内の前記目的のためのバッファの容量と、各ピクチ
ャごとの圧縮された結果である符号量と、前記平均レー
トから、各ピクチャ単位に演算して生成している。ＭＰ
ＥＧ２では、前記ビデオ遅延時間制御情報をvbv_delay
と呼び、前記バッファをVBV バッファと呼ぶ。

【００３４】次に、従来のＴＳの演算方式について説明
する。図１４は、従来のタイムスタンプ付加装置の機能
ブロック図を表している。ビデオ符号化処理部５４は、
符号器５４ａ、符号器側ＶＢＶバッファ５４ｂおよび出
力部５４ｃから構成され、ビデオパケッタイズ部６０
は、パケットバッファ６０ａ、タイムスタンプ付加部６
０ｂ、タイムスタンプ演算部６０ｃおよびシステムクロ
ックバッファ６０ｄから構成される。

【００３５】入力ビデオ信号５３は可変長データなので
可変レートの伝送速度で入力される。通常、システムの
伝送路においては一定レートの伝送速度で伝送されるの
で、ビデオ符号化処理部５４とマルチプレクサ部５６と
の間の伝送路で伝送速度を一定レートとするために符号
器側ＶＢＶバッファ５４ｂが必要となる。また、入力ビ
デオ信号５３がビデオ符号化処理部５４へ入力する時の
ＳＴＣを使ってタイムスタンプ演算部６０ｃでタイムス
タンプを生成する。このとき、ビデオ信号は、信号処理
にある程度の処理時間（数十ｍｓｅｃ）を必要とし、Ｓ
ＴＣ値の演算に使用するまでの間前述のようなピクチャ
単位の入れ替わりがあり符号化処理遅延が大きいので、
それを緩衝するためにシステムタイムクロックバッファ
６０ｄを設けている。

【００３６】パケットバッファ６０ａは、タイムスタン
プを付加してパケットにしようとするデータを一時的に
保持して、タイムスタンプ付加部６０ｂへのデータ入力
とタイムスタンプ演算部６０ｃで生成されたタイムスタ
ンプの入力とを同期させてタイムスタンプを付加するタ
イミングをとるためのものである。そのため、パケット
バッファ６０ａからタイムスタンプ付加部６０ｂへのデ
ータ入力は一定レートとなる。このように、従来のタイ
ムスタンプ付加装置の構造および処理は複雑なものとな
る。

【００３７】

【発明が解決しようとする課題】従来の動画像圧縮伸張
伝送システムは、送信側のマルチプレクス部において、
ＳＴＣ（システムタイムクロック）の値をホールドし
て、ホールドしたＳＴＣをＴＳ（タイムスタンプ）の演
算に使用するまでに、数十ｍｓのオーダの遅延時間が生
ずるため、このシステムタイムクロックを保持するため
のバッファが必要であり、したがって、そのバッファ用
のメモリが余分に必要であった。

【００３８】また、このメモリのアクセスには、ピクチ
ャ単位の入れ替わりをも考慮した複雑なアクセスをしな
ければならず、また、国際標準の符号化方式であるＭＰ
ＥＧ２、ＭＰＥＧ１などでは、ＴＳに使用するＳＴＣの
ビット数は、３３ビットであるためメモリの数も多くな
り、加えて、前記メモリに対する書き込みと読み込みの
関係は非同期であるため、それらのタイミングの競合に
対する調整回路も必須となる等の諸問題があった。

【００３９】また、タイムスタンプ付加回路が複雑であ
るという問題があった。さらに、ビデオ符号化処理部５
４からマルチプレクサ部５６への出力、およびビデオパ
ケッタイズ部６０からスイッチ部１０５への出力を一定
レートでおこなわなければならないので、多重化処理を
効率的にできなかった。そこで、本発明は、ＳＴＣ（シ
ステムタイムクロック）の値をホールドすることなく、
ＳＣＲ（System Clock Reference：システム時刻基準参
照値）の時刻に従って一定計算されたＴＳを算出するこ
とにより、従来必要であった３３ビットというビット幅
の広いメモリや関連するアドレス発生部等と、書き込み
と読出しが同時発生した場合の調整回路も必要とせず、
さらにタイムスタンプ付加処理および処理回路を簡単に
処理できるタイムスタンプ付加装置を提供することを目
的とする。

【００４０】

【課題を解決するための手段】本発明は、上記課題を解
決するため、請求項１記載の発明は、ビデオ符号器で圧
縮符号化されたビデオストリームに復号再生時刻情報で
あるタイムスタンプを付加するとともに前記ビデオスト
リームを伝送システムに送出するタイムスタンプ付加装
置において、ビデオストリームに偽のタイムスタンプを
付加する偽タイムスタンプ付加手段と、該偽タイムスタ
ンプ付加手段から前記偽のタイムスタンプが付加された
ビデオストリームを入力し真のタイムスタンプが付加さ
れるまで一時的に保持するビデオストリーム保持手段
と、前記ビデオストリームに付加されている偽のタイム
スタンプを真のタイムスタンプに置換するタイムスタン
プ置換手段と、を備え、該タイムスタンプ置換手段が、
真のタイムスタンプを、前記ビデオストリーム中の画面
ヘッダ情報のうち先頭の画面ヘッダ情報がビデオ符号器
から出力されるときの時刻情報と、前記ビデオストリー
ム保持手段でのビデオストリームの保持時間情報と、伝
送システムでの処理の遅延時間情報と、ビデオ復号器で
の処理の遅延時間情報と、に基づいて算出するタイムス
タンプ算出手段を有することを特徴とする。

【００４１】請求項２記載の発明は、請求項１記載のタ
イムスタンプ付加装置において、前記タイムスタンプ置
換手段が、ビデオ符号器のシステム時刻基準参照値と伝
送システムのシステム時刻基準参照値とを一致させるシ
ステム時刻基準参照値一致手段と、前記ビデオストリー
ム保持手段から偽のタイムスタンプの位置情報を検出す
る偽タイムスタンプ位置検出手段と、前記ビデオストリ
ーム中の画面ヘッダ情報のうち先頭の画面ヘッダ情報が
ビデオ符号器から偽タイムスタンプ付加手段に入力され
るときのシステム時刻基準参照値を検出する先頭画面ヘ
ッダ情報検出手段と、を有し、該先頭画面ヘッダ情報検
出手段が前記先頭画面ヘッダ情報を検出したとき、偽の
タイムスタンプを真のタイムスタンプに置換することを
特徴とする。

【００４２】請求項３記載の発明は、請求項１記載のタ
イムスタンプ付加装置において、前記タイムスタンプを
付加されるビデオストリームが、ＭＰＥＧ２（Moving P
icture Experts Group Phase2）におけるＰＥＳ（Paket
ized Elementary Stream）パケットであることを特徴と
する。請求項４記載の発明は、請求項１記載のタイムス
タンプ付加装置において、前記画面ヘッダ情報が、シー
ケンス層、ＧＯＰ（Group of Pictures）層またはピク
チャ層のいづれかのヘッダであることを特徴とする。

【００４３】請求項５記載の発明は、請求項１記載のタ
イムスタンプ付加装置において、前記先頭画面情報ヘッ
ダ情報検出手段は、先頭の画面ヘッダ情報の先頭データ
の入力を検出して真のタイムスタンプ値に置換すること
を特徴とする。請求項６記載の発明は、請求項１記載の
タイムスタンプ付加装置において、前記伝送システムで
の処理の遅延時間情報が、多重化部および分離部での処
理の遅延時間情報であることを特徴とする。

【００４４】請求項７記載の発明は、請求項１記載のタ
イムスタンプ付加装置において、前記偽タイムスタンプ
付加手段は、タイムスタンプフラグをオフとするととも
にビデオストリーム中の真のタイムスタンプの位置にス
タッフィングバイトを満たした偽のタイムスタンプを付
加することを特徴とする。請求項８記載の発明は、請求
項１〜７のいずれかのタイムスタンプ付加装置を含む動
画像圧縮伸張伝送システムである。

【００４５】請求項９記載の発明は、上記課題を解決す
るため、ビデオ符号器で圧縮符号化されたビデオストリ
ームに復号再生時刻情報であるタイムスタンプを付加す
るとともに前記ビデオストリームを伝送するタイムスタ
ンプ付加方法であって、ビデオストリームに偽のタイム
スタンプを付加する偽タイムスタンプ付加工程と、前記
偽のタイムスタンプが付加されたビデオストリームを入
力し真のタイムスタンプが付加されるまで一時的に保持
するビデオストリーム保持工程と、前記ビデオストリー
ムに付加されている偽のタイムスタンプを真のタイムス
タンプに置換するタイムスタンプ置換工程と、を備え、
該タイムスタンプ置換工程が、真のタイムスタンプを、
前記ビデオストリーム中の画面ヘッダ情報のうち先頭の
画面ヘッダ情報がビデオ符号器から出力されるときの時
刻情報と、前記ビデオストリーム保持工程でのビデオス
トリームの保持時間情報と、伝送システムでの処理の遅
延時間情報と、ビデオ復号器の処理での遅延時間情報
と、に基づいて算出するタイムスタンプ算出工程を有す
ることを特徴とする。

【００４６】請求項１０記載の発明は、請求項９記載の
タイムスタンプ付加方法において、前記タイムスタンプ
置換工程が、ビデオ符号器のシステム時刻基準参照値と
伝送システムのシステム時刻基準参照値とを一致させる
システム時刻基準参照値一致工程と、偽のタイムスタン
プの位置情報を検出する偽タイムスタンプ位置検出工程
と、前記ビデオストリーム中の画面ヘッダ情報のうち先
頭の画面ヘッダ情報が入力されるときのシステム時刻基
準参照値を検出する先頭画面ヘッダ情報検出工程と、を
有し、前記先頭画面ヘッダ情報を検出したとき、偽のタ
イムスタンプを真のタイムスタンプに置換することを特
徴とする。

【００４７】請求項１１記載の発明は、請求項９記載の
タイムスタンプ付加方法において、前記タイムスタンプ
を付加されるビデオストリームが、ＭＰＥＧ２（Moving
Picture Experts Group）におけるＰＥＳ（Paketized
Elementary Stream）パケットであることを特徴とす
る。請求項１２記載の発明は、請求項９記載のタイムス
タンプ付加方法において、前記画面ヘッダ情報が、シー
ケンス層、ＧＯＰ（Group of Pictures）層またはピク
チャ層のいづれかのヘッダであることを特徴とする。

【００４８】請求項１３記載の発明は、請求項９記載の
タイムスタンプ付加方法において、前記先頭画面情報ヘ
ッダ情報検出工程は、先頭の画面ヘッダ情報の先頭デー
タの入力を検出して真のタイムスタンプ値に置換するこ
とを特徴とする。請求項１４記載の発明は、請求項９記
載のタイムスタンプ付加方法において、前記伝送システ
ムでの処理の遅延時間情報が、多重化部および分離部で
の処理の遅延時間情報であることを特徴とする。

【００４９】請求項１５記載の発明は、請求項９記載の
タイムスタンプ付加方法において、前記偽タイムスタン
プ付加工程は、タイムスタンプフラグをオフとするとと
もにスタッフィングバイトを満たした偽のタイムスタン
プを付加することを特徴とする。請求項１６記載の発明
は、請求項９〜１５のいずれかのタイムスタンプ付加方
法を含む動画像圧縮伸張伝送方法である。

【００５０】

【発明の実施の形態】始めに本発明の実施例の１つとし
て、以下の説明ではビデオストリームにタイムスタンプ
を付加する単位として、ＭＰＥＧ２（Moving Picture E
xperts GroupPhase2）におけるＰＥＳ（Paketized Elem
entary Stream）パケットとしている。なお、ＰＥＳパ
ケットに限らずビデオストリームにタイムスタンプを付
加する単位はパケットであってもよい。

【００５１】図１は本発明の実施例のタイムスタンプ付
加装置の周辺の機能ブロック図を表している。ビデオ符
号化処理部１０は、符号器１１と、ビデオストリームに
偽のタイムスタンプを付加する偽タイムスタンプ付加部
１２と、偽のタイムスタンプが付加されたビデオストリ
ームを入力し真のタイムスタンプが付加されるまで一時
的に保持する符号器側ＶＢＶバッファ１４と、前記ビデ
オストリームに付加されている偽のタイムスタンプを真
のタイムスタンプに置換するタイムスタンプ置換部１３
と、真のタイムスタンプが付加されたビデオストリー
ム、すなわちＰＥＳパケットをマルチプレクサ部２０に
出力する出力部１５と、を備えている。

【００５２】ビデオ符号化処理部１０に入力されるビデ
オ信号は、符号器１１で符号化される。本発明のタイム
スタンプ付加装置は、偽タイムスタンプ付加部１２、タ
イムスタンプ置換部１３および符号器側ＶＢＶバッファ
１４に関係しており、ビデオストリームは前記のタイム
スタンプ付加装置でタイムスタンプを付加される。以
下、偽タイムスタンプ付加部１２、タイムスタンプ置換
部１３および符号器側ＶＢＶバッファ１４の説明をす
る。

【００５３】まず、偽タイムスタンプ付加部１２の説明
をする。ここで偽のタイムスタンプは、タイムスタンプ
フラグをオフにし、真のタイムスタンプのストリーム
データ中の位置に、復号化時には意味のないダミーデー
タであるスタッフィングバイトを満たすことにより正規
のビットストリームとしたものである。偽タイムスタン
プ付加部１２は、この偽のタイムスタンプを、入力ビデ
オストリームの所定の場所に付加するものである。この
ようにして、偽タイムスタンプ付加部１２は、ビデオス
トリームを仮にパケット化するために、偽のタイムスタ
ンプを含むＰＥＳパケットヘッダを付加するのである。
ここで、ＰＥＳパケットヘッダは、正規のビットストリ
ームとなっている。

【００５４】なお、一般にＰＥＳパケットヘッダには、
図２のように、タイムスタンプであるＰＴＳおよびＤＴ
Ｓのほかに、ＰＥＳパケット長、重要なパケットとそう
でないものとの区別をおこなうプライオリティ・フラ
グ、データにスクランブル（データ列の組み替えなど）
をかけて守秘情報や商用システムなどに使うスクランブ
ル制御・フラグ、本来のビット・ストリームと異なった
ものになっていることを示すＤＳＭ（Digital Storage
Media）トリック・モード・フラグ、著作権の有無を示
すコピー・ライト、ＰＥＳ・ＣＲＣ（Cylic Redundancy
Check）・フラグ等の情報が含まれている。

【００５５】そして、偽タイムスタンプ付加部１２で偽
のタイムスタンプを付加されたＰＥＳパケットは、符号
器側ＶＢＶバッファ１４に入力される。その後、後述す
るように、この偽のタイムスタンプは、アクセスユニッ
ト（すなわちシーケンスヘッダ、ＧＯＰ（Group of Pic
tures）ヘッダまたはピクチャヘッダから始まり次のシ
ーケンスヘッダ、ＧＯＰ（Group of Pictures）ヘッ
ダ、ピクチャヘッダまたはシーケンスエンドコードまで
の１枚のピクチャを構成する符号化データ）のヘッダ
（以下、アクセスユニットヘッダと称す。）の先頭デー
タが入力されるとき、符号器側ＶＢＶバッファ１４中の
ストリームが正規のタイムスタンプ（以下、真のタイム
スタンプと称す。）に置換される。真のタイムスタンプ
に置換された後、所定のタイミングでＰＥＳパケットは
出力部１５に出力される。

【００５６】しかし、ＰＥＳパケットの最後尾のデータ
が偽タイムスタンプ付加部１２に入力するまでに、アク
セスユニット（すなわちシーケンスヘッダ、ＧＯＰ（Gr
oupof Pictures）ヘッダまたはピクチャヘッダから始ま
り次のシーケンスヘッダ、ＧＯＰ（Group of Picture
s）ヘッダ、ピクチャヘッダまたはシーケンスエンドコ
ードまでの１枚のピクチャを構成する符号化データ）の
ヘッダ（以下、アクセスユニットヘッダと称す。）の先
頭データが検出されない場合、すなわちＰＥＳパケット
にアクセスユニットヘッダが存在しない場合、ＰＥＳパ
ケットはＤＴＳおよびＰＴＳともスタッフィングバイト
で満たされた値のままで符号器側ＶＢＶバッファ１４か
ら出力される。したがって、このＰＥＳパケットは、復
号化時に無意味なデータなので復号化されない。

【００５７】次に、タイムスタンプ置換部１３の説明を
する。タイムスタンプ置換部１３は、真のタイムスタン
プを算出するとともに最初のアクセスユニットヘッダの
先頭データが入力されるとき、偽のタイムスタンプを真
のタイムスタンプに置換する。図３に示すように、タイ
ムスタンプ置換部１３は、ビデオ符号器側のシステム時
刻基準参照値（ＳＣＲ：System Clock Reference。以
下、ＳＣＲと称す。）とマルチプレクサ部のＳＣＲとを
一致させるシステム時刻基準参照値一致手段１３ａと、
ＰＥＳパケットが偽タイムスタンプ付加部１２から符号
器側ＶＢＶバッファ１４に出力されたとき、偽のタイム
スタンプの位置情報、すなわち偽のタイムスタンプが符
号器側ＶＢＶバッファ１４のメモリに記憶されているア
ドレスを検出する偽タイムスタンプ位置検出手段１３ｂ
と、ビデオストリーム中の最初のアクセスユニットヘッ
ダの先頭のデータが符号器１１から偽タイムスタンプ付
加部１２に入力されるときのＳＣＲを検出する先頭アク
セスユニットヘッダ検出手段１３ｃと、を有している。

【００５８】システム時刻基準参照値一致手段１３ａの
説明をおこなう。まず、ＳＣＲとは、ビデオとオーディ
オの復号器を含むＭＰＥＧシステム復号器においてＳＴ
Ｃの値を符号器側で意図した値にセット・校正するため
の情報である。ＳＣＲの代りにプログラム時刻基準参照
値（ＰＣＲ：Program Clock Reference）であってもよ
い。

【００５９】システム時刻基準参照値一致手段１３ａ
は、ビデオ符号化処理部１０の時刻とマルチプレクサ部
２０の時刻とを一致させるために時刻基準を一致させる
ためのものである。通常、同期信号により時刻基準が同
期される。従って、マルチプレクサ部２０からビデオ復
号化処理部４０までの伝送システムの遅延時間は一定値
なので、ビデオ符号化処理部１０の符号器とビデオ復号
化処理部４０の復号器においてＳＣＲの時刻基準が一致
するのである。

【００６０】また、上述のＳＣＲの時刻基準に関連して
述べると、ビデオとオーディオを同期させるためにはさ
らにその到着時刻の精度が要求される。すなわち、ビデ
オ復号化処理部４０の復号器では、伝送されたＳＣＲが
ビデオ復号化処理部４０側に到着した瞬間に示す値にＳ
ＴＣをロードしなければならない。ロードは、受信開始
時か、ロックが外れたときに行われる。ロックは、チャ
ンネルの切替え等に起因して外れる。図４は、ＳＣＲま
たはＰＣＲの伝送方式を表している。ＭＰＥＧ２ではＳ
ＣＲは６バイトで伝送されるが、その最終バイトが復号
器に到着した瞬間の時刻をそのＳＣＲで示している。図
５は、ＳＣＲまたはＰＣＲによる位相ロックループ（Ｐ
ＬＬ：Phase Locked Loop）の構成を示している。図５
のように復号器にＰＬＬを構成すると、ビデオ復号化処
理部４０側に到着した瞬間にＳＣＲが示す値をロードし
てＳＴＣを出力するので、符号器のＳＴＣと完全に一致
したＳＴＣを復号器でもつことができる。また、そのと
き図４のように、バイトストリーム上の時間と自然時間
は一致している。

【００６１】偽タイムスタンプ位置検出手段１３ｂは、
符号器側ＶＢＶバッファ１４から、偽のタイムスタンプ
が符号器側ＶＢＶバッファ１４のメモリに記憶されてい
るアドレスを検出して記憶しておくためのものである。
先頭アクセスユニットヘッダ検出手段１３ｃは、最初の
アクセスユニットヘッダの先頭データが符号器１１から
偽タイムスタンプ付加部１２に入力されるときのＳＣＲ
を検出し、２番目以降のアクセスユニットヘッダ入力は
無視するものである。このとき、先頭アクセスユニット
ヘッダ検出手段１３ｃが検出したＳＣＲを基に後述する
真のタイムスタンプが算出される。そして、偽タイムス
タンプ位置検出手段１３ｂが検出したアドレスに位置す
る偽のタイムスタンプを真のタイムスタンプに置換す
る。真のタイムスタンプに置換された後、タイムスタン
プフラグはオンにされ、スタッフィングバイトの代りに
ＤＴＳおよびＰＴＳのタイムスタンプが満たされる。こ
こで、図示されていないが、タイムスタンプ置換部１３
には、真のタイムスタンプを算出するタイムスタンプ算
出手段が含まれている。

【００６２】図６は、タイムスタンプ置換部１３が最初
のアクセスユニットヘッダの先頭データの入力を検出し
たとき、ビデオストリームデータ中のＰＥＳヘッダにあ
る偽のタイムスタンプを、真のタイムスタンプに置換す
るタイミングを示す。図６のように、最初のアクセスユ
ニットヘッダＡ１の先頭データの入力でタイムスタンプ
が置換され、２番目のアクセスユニットヘッダＡ２の入
力は無視される。また、アクセスユニットヘッダＡ３と
ＰＥＳヘッダＢが重なっているとき、その後のアクセス
ユニットヘッダＢ１の先頭データの入力により置換され
る。

【００６３】符号器側ＶＢＶバッファ１４は、可変長符
号化ストリームを固定レート、あるいは部分的に固定レ
ート伝送である可変レートの伝送形態を表すピースワイ
ズ固定レートで伝送するために一時的に保持する。ま
た、符号器側ＶＢＶバッファ１４は、偽のタイムスタン
プを真のタイムスタンプに置換するまでの間、ビデオス
トリームを入力し一時的に保持する。真のタイムスタン
プに置換された後、符号器側ＶＢＶバッファ１４に一時
的に保持されていたビデオストリームは出力部１５へ所
定のタイミングで出力される。

【００６４】ここで、従来のタイムスタンプ付加装置で
は図１４のように符号器側ＶＢＶバッファ５４ｂとパケ
ットバッファ６０ａとの２つバッファを別々に設けてい
たのに対して、本願発明のタイムスタンプ付加装置で
は、従来のタイムスタンプ付加装置の符号器側ＶＢＶバ
ッファ５４ｂとパケットバッファ６０ａとを共有して使
用するように構成されている。この場合、前述のタイム
スタンプの置換および出力部への出力の説明から分かる
ように、ただ単に一つのメモリで構成するのではなく、
機能的に一つのバッファメモリとして使用している。

【００６５】従って、タイムスタンプの演算およびタイ
ムスタンプの付加処理を簡単におこなうことができる。
また、システム時刻基準参照値の値に従ったタイムスタ
ンプを、ビデオストリームの入力順に遅延なく付加処理
をおこなうことができるので、ビデオ信号のビデオ符号
器への入力速度が可変レートの場合でも、マルチプレク
サ部への出力を可変レートでおこなうことができる。

【００６６】さらに、従来のタイムスタンプ付加装置の
システムタイムクロックバッファ６０ｄも不要となる。
このため、タイムスタンプを付加するためのメモリを少
なくすることができる。メモリに対する書き込みと読み
込みの関係が非同期であることによるタイミングの競合
に対する調整回路も不要となるので、タイムスタンプ付
加装置を簡単にすることができる。

【００６７】出力部１５は、ビデオＰＥＳパケットをマ
ルチプレクサ部２０へ所定のタイミングで出力するもの
である。オーディオＰＥＳパケットまたはその他のＰＥ
Ｓパケット（例えば、プライベートＰＥＳパケット等）
がある場合、ビデオＰＥＳパケットとマルチプレクサ部
２０で多重化するが、ビデオＰＥＳパケット単独の伝送
でもよい。

【００６８】復号器側ＶＢＶバッファは、可変長符号化
ストリームの復号タイミングを調節するためのバッファ
である。ビデオの場合、前述のように、アクセスユニッ
ト、すなわちピクチャ単位で一定タイミングで復号化す
るが、符号量はピクチャ単位で変動している。このよう
なストリームを固定ビットレートで伝送した場合、その
まま復号してしまうとタイミングが狂ってしまい、一定
のタイミングで復号化できない。そこで、復号器側ＶＢ
Ｖバッファにより、一定タイミングで復号し、映像を表
示することを可能としている。一方、ＶＢＶバッファに
保持されているビデオＰＥＳパケットは、復号器側ＶＢ
Ｖバッファで充満しているときは符号器側ＶＢＶバッフ
ァ１４で空となり、復号器側ＶＢＶバッファで空のとき
は符号器側ＶＢＶバッファ１４で充満する。したがっ
て、常に符号器側ＶＢＶバッファ１４および復号器側Ｖ
ＢＶバッファの遅延時間の和は一定となる。

【００６９】次に真のタイムスタンプの算出法を説明す
る。図７は、動画像圧縮伸張伝送システムのそれぞれの
処理系における遅延時間とＳＣＲの関係を表す図であ
る。便宜上、オーディオ信号およびその他の信号の処理
系は省略している。まず、図７に記載される記号の説明
をおこなう。

【００７０】Ｔ_F（Field-Frame Conversion Delay）
は、インタレース（飛越し）走査方式から符号化フレー
ムへの変換による遅延時間を示している。インタレース
走査方式では、１枚の画像フレームは通常、奇数ライン
の画像のみからなる第１フィールドと、偶数ラインの画
像のみからなる第２フィールドと、の２枚のフィールド
画像から構成されるため１枚の符号化フレームへの変換
によりその処理に一定の遅延が生じる。

【００７１】Ｔ_RE（Reordering Delay）は、前述のよう
にＢピクチャの符号化時での並び換えによる遅延時間を
表している。この遅延時間はＢピクチャのみに生じ、Ｉ
またはＰピクチャの周期分の一定遅延値となる。なお、
Ｉ、Ｐピクチャの遅延はない。Ｔ_E（Encoding Delay）
は、符号化の遅延時間を表している。システムを通して
一定値でない場合もあるが、換算することでＴＳの補正
値を得ることができるので、ここでは簡単に説明するた
めにシステムを通して一定としている。

【００７２】Ｔ１（Vbv_-1 Delay）は、符号器側ＶＢＶ
バッファ１４における遅延時間を表している。Ｔ２（MU
X Delay）は、マルチプレクサ部２０での多重化の遅延
時間を表している。このＴ２は時刻に従って変動する。
Ｔ３（DEMUX Delay）は、デマルチプレクサ部３０での
分離化の遅延時間を表している。前述の符号器側ＶＢＶ
バッファおよび復号器側ＶＢＶバッファと同様に、マル
チプレクサ部２０およびデマルチプレクサ部３０におい
てもその遅延時間の和を一定としている。したがって、
Ｔ２とＴ３の和は一定となる。

【００７３】Ｔ４（Vbv Delay）は、復号器側ＶＢＶバ
ッファにおける遅延時間を表している。Ｔ_RD（Reorderi
ng Delay）は、前述のようにＩ、Ｐピクチャの復号化時
での並び換えによる遅延時間を表している。なお、Ｂピ
クチャの遅延はない。Ｔ_RDとＴR_Eとの総和は、全てのピ
クチャにおいてＩまたはＰピクチャの周期分となり一定
の遅延値となる。

【００７４】また、図７には記載されていないものに、
ビデオ復号化処理部４０の復号化遅延時間（Decoding D
elay）があるが、理想状態を仮定し、また他の遅延時間
と比べて小さいことから０としている。また、ビデオ復
号化処理部４０でのフレーム−フィールド変換遅延時間
（Frame-Field Conversion Delay）は、ＰＴＳが、実際
に復号器から出力して表示するタイミングではなく、符
号化フレームを表示するタイミングを表すように規定さ
れているために除外されている。なお、本実施例では復
号化遅延時間を無視したが、考慮に入れても容易にタイ
ムスタンプを算出できるので、遅延時間の計算に加えて
もよい。

【００７５】次に、図７に記載される遅延時間とＳＣＲ
との関係について述べる。図７のように、ビデオ信号の
最初のアクセスユニットヘッダの先頭のデータが、ビデ
オ符号化処理部１０に入力するとき、ＳＣＲを０として
いる。なお、ＳＣＲは０でなくてもよく、単にマルチプ
レクサ部２０と時刻が一致すればよい。また、ＳＣＲを
初期化するタイミングは符号化開始前ならいつでもよ
い。

【００７６】次に、タイムスタンプ置換部１３の先頭ア
クセスユニットヘッダ検出手段１３ｃは、前述のように
ビデオストリーム中の最初のアクセスユニットヘッダの
先頭のデータが符号器１１から偽タイムスタンプ付加部
１２に出力されるときのＳＣＲを検出する。そして、先
頭アクセスユニットヘッダ検出手段１３ｃは、このとき
のＳＣＲをＴ_pとして記憶する。

【００７７】ここで、符号器側と復号器側のバッファの
遅延時間の和は時刻にかかわらず動画像圧縮伸張伝送シ
ステムを通して一定であることから、図７におけるＴ１
とＴ４との和は一定であることがわかる。また、Ｔ２と
Ｔ３は、それぞれ動画像圧縮伸張伝送システム固有の値
を有している。よって、Ｔ_l（＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ
４）は、時刻にかかわらず動画像圧縮伸張伝送システム
を通して一定である。

【００７８】Ｔ_l＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４＝ｃｏｎｓｔ．・・・・（Ｑ１）したがって、ビデオ復号化処理部４０の復号化の時刻管
理情報であるＤＴＳは、次式で表される。ＤＴＳ＝Ｔ_p＋Ｔ_l ・・・・（Ｑ２）なお、ここで変数はＴ_pのみである。

【００７９】また、Ｔ_RDは次式で表される。Ｔ_RD＝Ｍ値×（ピクチャ周期）・・・・（Ｑ３）したがって、ビデオ復号化処理部４０の再生出力の時刻
管理情報であるＰＴＳは、次式のようにＤＴＳに上式か
ら算出されるＴ_RDを加算すると求まる。ＰＴＳ＝ＤＴＳ＋Ｔ_RD ・・・・（Ｑ４）さらに、符号器側および復号器側のＶＢＶバッファサイ
ズをそれぞれＳＶＢＶＥ、ＳＶＢＶＤとすると、Ｔ１＋Ｔ４＝（ＶＢＶバッファサイズ）／伝送速度＝（ＳＶＢＶＥ＋ＳＶＢＶＤ）／伝送速度＝ｃｏｎｓｔ．・・・・（Ｑ５）ここで、式（Ｑ５）より、伝送速度が可変レートの場
合、それに応じてＶＢＶバッファサイズが変動すること
がわかる。また、Ｔ１は次式で表せる。

【００８０】Ｔ１＝（ＳＶＢＶＥ＋ＳＶＢＶＤ）／伝送速度−Ｔ４・・・・（Ｑ６）このように、タイムスタンプ置換部１３は、ＤＴＳを、
ビデオストリーム中の最初のアクセスユニットヘッダの
先頭のデータがビデオ符号器１１から出力されるときの
ＳＣＲ（＝Ｔ_p）と、符号器側ＶＢＶバッファ１４での
ビデオストリームの保持時間Ｔ１と、伝送システムでの
処理の一定遅延時間（Ｔ２＋Ｔ３）、すなわちマルチマ
ルチプレクサ部２０およびデマルチマルチプレクサ部３
０での処理の遅延時間の一定和と、ビデオ復号化処理部
４０のビデオ復号器側ＶＢＶバッファでのビデオストリ
ームの保持時間Ｔ４と、の加算値により算出することが
でき、ＰＴＳを上記から求まるＤＴＳと、ビデオ復号化
処理部４０のリオーダ遅延時間Ｔ_RDと、の加算値により
算出できる。

【００８１】このように、本発明のタイムスタンプ付加
装置によれば、ＳＴＣの値をホールドすることなく、Ｓ
ＣＲの時刻に従って一定計算されたＴＳを算出すること
により、符号器によってアクセスユニットの先頭が符号
化されるときのＳＣＲの値に従ってタイムスタンプを簡
単に付加することができる。このとき、符号器ではこの
符号化されたＴ１時間分だけビデオ符号器側ＶＢＶバッ
ファ１４に保持した後、マルチプレクサ部２０に出力す
ればよい。

【００８２】したがって、ビデオ信号のビデオ符号器１
１への入力速度が可変レートの場合でも、ビデオ符号器
側ＶＢＶバッファ１４から（（ＶＢＶバッファサイズ）
／伝送速度−Ｔ４）の時間を符号器で待ってから出力す
ることで、ＰＥＳパケットのマルチマルチプレクサ部２
０への出力速度を可変レートで出力することができる。

【００８３】図８は、上記のＰＥＳ生成過程をビデオス
トリームとＳＣＲの時刻に従って表した図である。図８
により、符号化開始時の最初のピクチャのＰＴＳを設定
すれば、次のピクチャ以降のＰＴＳ値は、最初のピクチ
ャのＰＴＳ値にＴ_Fだけ増分するだけで正しく設定され
ることがわかる。すなわち、図８のＢ１ピクチャに対す
る、ＰＴＳは図７に示すようにＴ_p＋Ｔ_E＋Ｔ_RDとして算
出されるが、Ｂ１ピクチャの次のピクチャであるＢ２ピ
クチャのＰＴＳは、Ｔ_p＋Ｔ_E＋Ｔ_RD＋Ｔ_Fとなり、Ｂ１
ピクチャのＰＴＳが設定されていれば、単にＴ_Fを増分
するだけでＰＴＳ値は正しく設定される。このように、
符号化開始時の最初のピクチャのＰＴＳを設定すれば、
以降のピクチャのＰＴＳ値はＴ_Fだけ増分するだけで順
次正しく設定される。

【００８４】図９は、上記で説明した本発明に係わるタ
イムスタンプ付加処理のフローチャートを示す図であ
る。

【００８５】

【発明の効果】請求項１および請求項９記載の発明によ
れば、システム時刻基準参照値の値に従ってタイムスタ
ンプ付加処理ができるので、タイムスタンプの演算およ
びタイムスタンプの付加処理を簡単におこなうことがで
きる。また、システムタイムクロックバッファが不要と
なるので、タイムスタンプを付加するためのメモリを少
なくすることができる。

【００８６】また、パケットバッファが不要となるの
で、タイムスタンプ処理回路を簡単にすることができ
る。さらに、システム時刻基準参照値の値に従ったタイ
ムスタンプを、ビデオストリームの入力順に遅延なく付
加処理をおこなうことができるので、ビデオ信号のビデ
オ符号器への入力速度が可変レートの場合でも、マルチ
プレクサ部への出力を可変レートでおこなうことができ
る。

【００８７】請求項２および請求項１０記載の発明によ
れば、ビデオ符号器と伝送システムのシステム時刻基準
参照値の時刻基準を一致させることができる。したがっ
て、復号化の高い時刻精度を得ることができる。また、
偽のタイムスタンプの位置情報を検出することができ、
ビデオストリーム中の画面ヘッダ情報のうち先頭の画面
ヘッダ情報がビデオ符号器から出力されるときのシステ
ム時刻基準参照値を検出することができるので、偽のタ
イムスタンプを真のタイムスタンプに容易に置換するこ
とができる。

【００８８】請求項３および請求項１１記載の発明によ
れば、より多様性のある動画像圧縮伸張伝送のタイムス
タンプ付加処理をおこなうことができる。請求項４およ
び請求項１２記載の発明によれば、復号化時に有効なデ
ータである一枚以上のピクチャデータを検出できるの
で、復号時に無意味なデータをビデオ復号化処理部復号
で破棄することができ、効率的なタイムスタンプ付加処
理をおこなうことができる。

【００８９】請求項５および請求項１３記載の発明によ
れば、復号化時に有効なデータが入力したとき、遅延な
くタイムスタンプ付加処理をおこなうことができる。請
求項６および請求項１４記載の発明によれば、多重化部
および分離部における各遅延時間の和を一定としている
ので、容易にタイムスタンプの算出およびタイムスタン
プの付加処理をおこなうことができる。

【００９０】請求項７および請求項１５記載の発明によ
れば、タイムスタンプフラグをオフとし、スタッフィン
グバイトを満たすことにより簡単にビデオストリームに
偽のタイムスタンプを付加することができ、しかも、ア
クセスユニットの先頭の入力とともにタイムスタンプフ
ラグをオンにして偽のタイムスタンプを真のタイムスタ
ンプに簡単に置き換えることができる。

【００９１】請求項８および請求項１６記載の発明によ
れば、上記請求項１〜７記載のタイムスタンプ付加装置
を含む動画像圧縮伸張伝送システム、または請求項９〜
１５記載のタイムスタンプ付加方法を含む動画像圧縮伸
張伝送システム方法を提供することができる。

【図面の簡単な説明】

【図１】本発明に係わるタイムスタンプ付加装置の機能
ブロック図である。

【図２】ＭＰＥＧ２のプログラムストリームのＰＥＳパ
ケット構造を示す図である。

【図３】タイムスタンプ置換部１３の構成および機能を
示す図である。

【図４】ＳＣＲまたはＰＣＲの伝送方式を示す図であ
る。

【図５】ＳＣＲまたはＰＣＲによる位相ロックループの
構成を示す図である。

【図６】ビデオストリームデータ中のＰＥＳヘッダにあ
る偽のタイムスタンプを真のタイムスタンプに置換する
タイミングを示す図である。

【図７】動画像圧縮伸張伝送システムのそれぞれの処理
系における遅延時間とＳＣＲの関係を示す図である。

【図８】タイムスタンプ付加過程を、ビデオストリーム
とＳＣＲの時刻に従って表した図である。

【図９】本発明に係わるタイムスタンプ付加処理のフロ
ーチャートを示す図である。

【図１０】動画像圧縮伸張伝送システムの機能ブロック
図である。

【図１１】ビデオ信号符号化処理におけるピクチャ単位
の入れ替わりを説明する図である。

【図１２】ビデオ復号化処理部の機能ブロック図であ
る。

【図１３】ビデオストリームの構成を説明する図であ
る。

【図１４】従来のタイムスタンプ付加装置の機能ブロッ
ク図である。

【符号の説明】

１０ビデオ符号化処理部１１符号器１２偽タイムスタンプ付加部１３タイムスタンプ置換部１４符号器側ＶＢＶバッファ１５出力部２０マルチプレクサ部３０デマルチプレクサ部４０ビデオ復号化処理部５０入力オーディオ信号５１オーディオ符号化処理部５３入力ビデオ信号５４ビデオ符号化処理部５４ａ符号器５４ｂ符号器側ＶＢＶバッファ５４ｃ出力部５６マルチプレクサ部５７システムタイムクロック発生部５９オーディオパケッタイズ部６０ビデオパケッタイズ部６０ａパケットバッファ６０ｂタイムスタンプ付加部６０ｃタイムスタンプ演算部６０ｄシステムタイムクロックバッファ６２伝送路６４デマルチプレクサ部６５オーディオパケット解析部６６ビデオパケット解析部６８オーディオ復号化処理部６９出力オーディオ信号７０ビデオストリーム７１ビデオ復号化処理部７２出力ビデオ信号７３ビデオ復号化バッファ７５ビデオ復号化回路７７ビデオリオーダバッファ７９スイッチ部１０５，１０６スイッチ部１１１システムタイムクロック再生部

───────────────────────────────────────────────────── フロントページの続き (72)発明者西塔隆二東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者新井英雄東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (56)参考文献テレビジョン学会編「総合マルチメディア選書ＭＰＥＧ」オーム社，1996年４月20日，ｐ．51−68 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68 H04N 7/025 - 7/088 H03M 7/30

Claims

(57)【特許請求の範囲】

【請求項１】ビデオ符号器で圧縮符号化されたビデオス
トリームに復号再生時刻情報であるタイムスタンプを付
加するとともに前記ビデオストリームを伝送システムに
送出するタイムスタンプ付加装置において、ビデオストリームに偽のタイムスタンプを付加する偽タ
イムスタンプ付加手段と、該偽タイムスタンプ付加手段から前記偽のタイムスタン
プが付加されたビデオストリームを入力し真のタイムス
タンプが付加されるまで一時的に保持するビデオストリ
ーム保持手段と、前記ビデオストリームに付加されている偽のタイムスタ
ンプを真のタイムスタンプに置換するタイムスタンプ置
換手段と、を備え、該タイムスタンプ置換手段が、真のタイムスタンプを、
前記ビデオストリーム中の画面ヘッダ情報のうち先頭の
画面ヘッダ情報がビデオ符号器で符号化されるときの時
刻情報と、前記ビデオストリーム保持手段でのビデオス
トリームの保持時間情報と、伝送システムでの処理の遅
延時間情報と、ビデオ復号器での処理の遅延時間情報
と、に基づいて算出するタイムスタンプ算出手段を有す
ることを特徴とするタイムスタンプ付加装置。
【請求項２】前記タイムスタンプ置換手段が、ビデオ符号器のシステム時刻基準参照値と伝送システム
のシステム時刻基準参照値とを一致させるシステム時刻
基準参照値一致手段と、前記ビデオストリーム保持手段から偽のタイムスタンプ
の位置情報を検出する偽タイムスタンプ位置検出手段
と、前記ビデオストリーム中の画面ヘッダ情報のうち先頭の
画面ヘッダ情報がビデオ符号器から偽タイムスタンプ付
加手段に入力されるときのシステム時刻基準参照値を検
出する先頭画面ヘッダ情報検出手段と、を有し、該先頭画面ヘッダ情報検出手段が前記先頭画面ヘッダ情
報を検出したとき、偽のタイムスタンプを真のタイムス
タンプに置換することを特徴とする請求項１記載のタイ
ムスタンプ付加装置。
【請求項３】前記タイムスタンプを付加されるビデオス
トリームが、ＭＰＥＧ２（Moving Picture Experts Gro
up Phase2）におけるＰＥＳ（Paketized Elementary St
ream）パケットであることを特徴とする請求項１記載の
タイムスタンプ付加装置。
【請求項４】前記画面ヘッダ情報が、シーケンス層、Ｇ
ＯＰ（Group of Pictures）層またはピクチャ層のいづ
れかのヘッダであることを特徴とする請求項１記載のタ
イムスタンプ付加装置。
【請求項５】前記先頭画面情報ヘッダ情報検出手段は、
先頭の画面ヘッダ情報の先頭データの入力を検出して真
のタイムスタンプ値に置換することを特徴とする請求項
１記載のタイムスタンプ付加装置。
【請求項６】前記伝送システムでの処理の遅延時間情報
が、多重化部および分離部での処理の遅延時間情報であ
ることを特徴とする請求項１記載のタイムスタンプ付加
装置。
【請求項７】前記偽タイムスタンプ付加手段は、タイム
スタンプフラグをオフとするとともにビデオストリーム
中の真のタイムスタンプの位置にスタッフィングバイト
を満たした偽のタイムスタンプを付加することを特徴と
する請求項１記載のタイムスタンプ付加装置。
【請求項８】請求項１〜７のいずれかのタイムスタンプ
付加装置を含む動画像圧縮伸張伝送システム。
【請求項９】ビデオ符号器で圧縮符号化されたビデオス
トリームに復号再生時刻情報であるタイムスタンプを付
加するとともに前記ビデオストリームを伝送するタイム
スタンプ付加方法であって、ビデオストリームに偽のタイムスタンプを付加する偽タ
イムスタンプ付加工程と、前記偽のタイムスタンプが付加されたビデオストリーム
を入力し真のタイムスタンプが付加されるまで一時的に
保持するビデオストリーム保持工程と、前記ビデオストリームに付加されている偽のタイムスタ
ンプを真のタイムスタンプに置換するタイムスタンプ置
換工程と、を備え、該タイムスタンプ置換工程が、真のタイムスタンプを、
前記ビデオストリーム中の画面ヘッダ情報のうち先頭の
画面ヘッダ情報がビデオ符号器から出力されるときの時
刻情報と、前記ビデオストリーム保持工程でのビデオス
トリームの保持時間情報と、伝送システムでの処理の遅
延時間情報と、ビデオ復号器の処理での遅延時間情報
と、に基づいて算出するタイムスタンプ算出工程を有す
ることを特徴とするタイムスタンプ付加方法。
【請求項１０】前記タイムスタンプ置換工程が、ビデオ符号器のシステム時刻基準参照値と伝送システム
のシステム時刻基準参照値とを一致させるシステム時刻
基準参照値一致工程と、前記偽のタイムスタンプの位置情報を検出する偽タイム
スタンプ位置検出工程と、前記ビデオストリーム中の画面ヘッダ情報のうち先頭の
画面ヘッダ情報が入力されるときのシステム時刻基準参
照値を検出する先頭画面ヘッダ情報検出工程と、を有
し、前記先頭画面ヘッダ情報を検出したとき、偽のタイムス
タンプを真のタイムスタンプに置換することを特徴とす
る請求項９記載のタイムスタンプ付加方法。
【請求項１１】前記タイムスタンプを付加されるビデオ
ストリームが、ＭＰＥＧ２（Moving Pictures Experts
Group）におけるＰＥＳ（Paketized Elementary Strea
m）パケットであることを特徴とする請求項９記載のタ
イムスタンプ付加方法。
【請求項１２】前記画面ヘッダ情報が、シーケンス層、
ＧＯＰ（Group of Pictures）層またはピクチャ層のい
づれかのヘッダであることを特徴とする請求項９記載の
タイムスタンプ付加方法。
【請求項１３】前記先頭画面情報ヘッダ情報検出工程
は、先頭の画面ヘッダ情報の先頭データの入力を検出し
て真のタイムスタンプ値に置換し、２番目以降の画面ヘ
ッダ情報の入力は無視することを特徴とする請求項９記
載のタイムスタンプ付加方法。
【請求項１４】前記伝送システムでの処理の遅延時間情
報が、多重化部および分離部での処理の遅延時間情報で
あることを特徴とする請求項９記載のタイムスタンプ付
加方法。
【請求項１５】前記偽タイムスタンプ付加工程が、タイ
ムスタンプフラグをオフとするとともにビデオストリー
ム中の真のタイムスタンプの位置にスタッフィングバイ
トを満たした偽のタイムスタンプを付加することを特徴
とする請求項９記載のタイムスタンプ付加方法。
【請求項１６】請求項９〜１５のいずれかのタイムスタ
ンプ付加方法を含む動画像圧縮伸張伝送方法。