JPH08205146A

JPH08205146A - 符号化伝送方式におけるタイムスタンプ値演算方法

Info

Publication number: JPH08205146A
Application number: JP944395A
Authority: JP
Inventors: Yuichi Onami; 雄一大波; Shigeru Komatsu; 茂小松; Takayuki Kobayashi; 孝之小林
Original assignee: GRAPHICS COMMUN LAB KK; Hitachi Denshi KK
Current assignee: GRAPHICS COMMUN LAB KK; Hitachi Denshi KK
Priority date: 1995-01-25
Filing date: 1995-01-25
Publication date: 1996-08-09
Anticipated expiration: 2020-05-11
Also published as: JP3644995B2

Abstract

(57)【要約】【目的】ビデオ符号化処理部が出力するビデオストリー
ム中のビデオ遅延時間制御情報を基にタイムスタンプ値
を算出することにより、従来必要であった３３ビットと
いうビット幅の広いメモリや関連するアドレス発生部等
と、書き込みと読み出しが同時発生した場合の調整回路
も必要としない、符号化伝送方式におけるタイムスタン
プ値の演算方法を提供する。【構成】少なくともビデオ信号を含む一つ以上の信号を
圧縮符号化し、圧縮符号化信号を所定のデータ長に分割
し、タイムスタンプ値等のヘッダを付加して一つのスト
リームに生成して伝送する符号化伝送方式において、ヘ
ッダ内に付加されるビデオ信号のタイムスタンプ値を、
ストリーム内に付加されるビデオ復号化処理部のバッフ
ァ遅延時間に相当するビデオ遅延時間制御情報に基づき
演算する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、オーディオ信号や、ビ
デオ信号を符号化伝送する場合に必要とするタイムスタ
ンプ値の演算方法に関するものである。

【０００２】

【従来の技術】一般に、オーディオ信号およびビデオ信
号を多重伝送する符号化伝送装置では、オーディオ、ビ
デオそれぞれの復号化処理部において両者の同期をとり
出力をする必要がある。これは、画像とオーディオの同
期をとること、例えば、ビデオの復号化処理部が、
「あ」という音を発生している人の顔を出力していると
き、オ−ディオの復号化処理部の出力は、「あ」という
音を出力している必要があるということである。このよ
うに画像とオーディオの同期を可能とするために、国際
標準の符号化方式であるＭＰＥＧ２（Moving Picture I
mage Coding Experts Group Phase2）、ＭＰＥＧ１など
では、タイムスタンプ（time stamp。以下、ＴＳと記
す。）という出力タイミング情報を使用することになっ
ている。

【０００３】このＴＳには、プレゼンテーションタイム
スタンプ（presentation time stamp 。以下、ＰＴＳと
記す。）とデコーディングタイムスタンプ（decoding t
imestamp 。以下、ＤＴＳと記す。）とがあり、基本的
には、ＰＴＳで指示された時間に従って、復号化処理を
したオーディオ信号あるいはビデオ信号を出力すれば、
同期が可能となる。一般に、オーディオ信号が符号化さ
れたデータ（以下、オーディオストリームと記す。）
と、ビデオ信号が符号化されたデータ（以下、ビデオス
トリームと記す。）とを、多重したストリームをシステ
ムストリームと呼ぶが、このシステムストリームには、
オーディオ、ビデオそれぞれのＴＳが付加される。な
お、このＴＳは、オーディオ信号の場合にはシンクワー
ド（オ−ディオストリーム内の一定ワードごとにあるコ
ード）、ビデオ信号の場合にはピクチャスタートコード
（picture start code。ビデオストリーム内にあるピク
チャの区切りを示すコード）部分を基準に付加される。

【０００４】ここで図２に、従来の符号化伝送装置の概
略ブロック図を示す。符号化伝送装置は、大別して、送
信側、伝送路、受信側で構成されている。図２におい
て、送信側では、入力オーディオ信号５０が、オーディ
オ符号化処理部５１に入力して符号化され、オーディオ
ストリーム５２となりマルチプレクサ部５６へ出力され
る。また、入力ビデオ信号５３は、ビデオ符号化処理部
５４に入力して符号化され、ビデオストリーム５５とな
りマルチプレクサ部５６へ出力される。マルチプレクサ
部５６に入力したオーディオストリーム５２とビデオス
トリーム５５は多重され、システムストリーム６１とな
り伝送路６２へ出力される。さらに、多重を行なう前記
マルチプレクサ部５６の説明をすると、マルチプレクサ
部５６は、システムタイムクロック（system time cloc
k 。以下、ＳＴＣと記す。）発生部５７、オーディオパ
ケッタイズ部５９、ビデオパケッタイズ部６０、スイッ
チ部１０５で構成されている。なお、ＳＴＣは、ＭＰＥ
Ｇ２、ＭＰＥＧ１などで定義されているもので、図２に
示すような信号処理系における共通の時計のようなもの
である。

【０００５】オーディオパケッタイズ部５９は、入力し
たオーディオストリーム５２を一定長に区切り、パケッ
トを形成し、データ１０３をスイッチ部１０５へ出力す
る。そして、スイッチ部１０５により選択され、システ
ムストリーム６１としてパケット単位で多重される。こ
のとき、オーディオストリーム５２のパケッタイズされ
るデータ長の中にシンクワードがあれば、前記パケット
のヘッダ部分にＴＳを付加する。なお、このＴＳは、Ｓ
ＴＣ発生部５７のＳＴＣデータ５８を基に求めている。
一方、ビデオパケッタイズ部６０も、入力したビデオス
トリーム５５を一定長に区切り、パケットを形成し、デ
ータ１０４をスイッチ部１０５へ出力する。そして、ス
イッチ部１０５により選択され、システムストリーム６
１としてパケット単位で多重される。このとき、ビデオ
ストリーム５５のパケッタイズされるデータ長の中に、
ピクチャスタートコードがあれば、前記パケットのヘッ
ダ部分にＴＳを付加する。なお、このＴＳは、ＳＴＣ発
生部５７のＳＴＣデータ５８を基に求めている。そし
て、さらに受信側でＳＴＣの再生が可能なように、周期
的にＳＴＣデータ５８は、スイッチ部１０５により選択
され、システムストリーム６１として多重される。

【０００６】つぎに受信側では、伝送路６２を伝送され
てきたシステムストリーム６３が、デマルチプレクサ部
６４に入力して分離され、オーディオストリーム６７と
オーディオＴＳ１１２、ビデオストリーム７０とビデオ
ＴＳ１１３、ＳＴＣデータ１１０となり出力される。さ
らに、分離を行なう前記デマルチプレクサ部６４の説明
をすると、デマルチプレクサ部６４は、スイッチ部１０
６、ＳＴＣ再生部１１１、オーディオパケット解析部６
５、ビデオパケット解析部６６で構成されている。デマ
ルチプレクサ部６４において、入力されたシステムスト
リーム６３から、スイッチ部１０６を使用して、オーデ
ィオパケットデータ１０７をオーディオパケット解析部
６５へ、ビデオパケットデータ１０９をビデオパケット
解析部６６へ、ＳＴＣデータ１０８をＳＴＣ再生部１１
１へ出力する。

【０００７】オーディオパケット解析部６５は、入力し
たオーディオパケットデータ１０７を解析し、オーディ
オストリーム６７とオーディオＴＳ１１２とに分離して
オーディオ復号化処理部６８へ出力する。一方、ビデオ
パケット解析部６６は、入力したビデオパケットデータ
１０９を解析し、ビデオストリーム７０とビデオＴＳ１
１３とに分離してビデオ復号化処理部７１へ出力する。
また、ＳＴＣ再生部１１１は、入力したＳＴＣデータ１
０８から、送信側のＳＴＣ発生部５７が出力するＳＴＣ
データ５８と常に同一の出力となるようにＳＴＣデータ
１１０を再生し、オーディオ復号化処理部６８およびビ
デオ復号化処理部７１へ出力する。オーディオ復号化処
理部６８は、入力したオーディオストリーム６７を、オ
ーディオＴＳ１１２とＳＴＣデータ１１０とを参照して
復号化し、ＴＳ値に従った時間で、出力オーディオ信号
６９を出力する。ビデオ復号化処理部７１は、入力した
ビデオストリーム７０を、ビデオＴＳ１１３とＳＴＣデ
ータ１１０とを参照して復号化し、ＴＳ値に従った時間
で、出力ビデオ信号７２を出力する。

【０００８】つぎに、各復号化処理部でのＴＳによる出
力動作について、さらに具体的に説明する。ＴＳによる
出力動作は、オーディオ復号化処理部６８とビデオ復号
化処理部７１とで、オーディオとビデオのそれぞれのＴ
ＳのＰＴＳの値とＳＴＣデータの値とが一致したとき
に、対応するデータ部分を出力することで実現される。
例えば、オーディオストリーム６７の或るシンクワード
Ａｎに対応するＰＴＳの値を、ＰＴＳ（Ａｎ）とすれ
ば、ＳＴＣデータ１１０の値がＰＴＳ（Ａｎ）と同じに
なったときに、オーディオ復号化処理部６８は、シンク
ワードＡｎ部分の復号化されたデータを出力する。同様
に、ビデオストリーム７０の或るピクチャスタートコー
ドＶｎに対応するＰＴＳの値を、ＰＴＳ（Ｖｎ）とすれ
ば、ＳＴＣデータ１１０の値がＰＴＳ（Ｖｎ）と同じに
なったときに、ビデオ復号化処理部７１は、ピクチャス
タートコードＶｎ部分の復号化されたデータを出力す
る。

【０００９】ここで、図２に示す符号化伝送装置におい
て、送信側のオーディオ符号化処理部５１に入力オーデ
ィオ信号５０が入力されてから、受信側のオーディオ復
号化処理部６８より出力オーディオ信号６９が出力され
るまでの時間がｔａであるとする。同様に、送信側のビ
デオ符号化処理部５４に入力ビデオ信号５３が入力され
てから、受信側のビデオ復号化処理部７１より出力ビデ
オ信号７２が出力されるまでの時間がｔｖであるとす
る。この場合、オーディオとビデオの同期をとるには、
入力から出力までの時間をｔａ＝ｔｖとなるように、伝
送処理系の時間を設定し、その時間を基にそれぞれのＰ
ＴＳの値を設定すれば良いことになる。

【００１０】つぎに、マルチプレクサ５６を構成するオ
ーディオパケッタイズ部５９とビデオパケッタイズ部６
０とにおけるＴＳ算出を説明する。まず、前記オーディ
オ信号の入力から出力までの時間ｔａのうち、マルチプ
レクサ部５６に入力されるまでの時間がｔａ₁ で、残り
の時間がｔａ₂ であるとする。ここで、マルチプレクサ
部５６に入力したオーディオストリーム５２のパケッタ
イズされるべきデータ長の中に、或るシンクワードＡｎ
があり、パケットのヘッダ部分にＴＳを付加するときの
ＳＴＣデータ５８の値がＳＴＣ２（Ａｎ）であるとすれ
ば、ＰＴＳ（Ａｎ）は、以下のように求めることができ
る。ＰＴＳ（Ａｎ）＝ＳＴＣ２（Ａｎ）＋ｔａ₂

【００１１】ビデオについても、前記ビデオ信号の入力
から出力までの時間ｔｖのうち、マルチプレクサ部５６
に入力されるまでの時間がｔｖ₁ で、残りの時間がｔｖ
₂ であるとする。ここで、マルチプレクサ部５６に入力
したビデオストリーム５５のパケッタイズされるべきデ
ータ長の中に、或るピクチャスタートコードＶｎがあ
り、パケットのヘッダ部分にＴＳを付加するときのＳＴ
Ｃデータ５８の値がＳＴＣ２（Ｖｎ）であるとすれば、
ＰＴＳ（Ｖｎ）も、下記のように求めることができるは
ずである。ＰＴＳ（Ｖｎ）＝ＳＴＣ２（Ｖｎ）＋ｔｖ₂

【００１２】しかし、ビデオの場合、ビデオ符号化処理
部５４において可変長符号化されたり、ピクチャ単位の
入れ替わりが行なわれる。このため、ｔｖ₁ が符号化状
況により変動する。したがって、ｔｖ₂ も変動してしま
い、（ｔｖが固定で、ｔｖ₂＝ｔｖ−ｔｖ₁ であるた
め。）ＳＴＣ２（Ｖｎ）に加算すべきｔｖ₂ を、あらか
じめ設定することができないという問題があり、オーデ
ィオと同様に求めることは不可能である。また、ビデオ
の場合、ピクチャ単位の入れ替わりがあるために、ＤＴ
Ｓも求める必要がある。ここで、ピクチャ単位の入れ替
わりについて、図３の概略図を使用して説明をする。図
３では、ピクチャ単位の入れ替わりに関する遅延時間は
考慮されているが、その他の処理時間等は省略してい
る。図３において、（ａ）は、ビデオ符号化処理部５４
に入力する入力ビデオ信号５３、（ｂ）は、ビデオ符号
化処理部５４から出力されるビデオストリーム５５（あ
るいは、ビデオパケット解析部６６から出力されるビデ
オストリーム７０。）、（ｃ）は、ビデオ復号化処理部
７１から出力される出力ビデオ信号７２を示している。

【００１３】前記いずれの信号にも記載されている符号
Ｉ、Ｐ、Ｂは、ＭＰＥＧ２、ＭＰＥＧ１で定義されてい
るピクチャコーディングタイプ（picture coding type
）を示しているまた、図３の例では、ＩあるいはＰピ
クチャのピクチャ間隔は３ピクチャ分であり、このＩあ
るいはＰピクチャのピクチャ間隔のことを、一般にＭ値
と呼んでいる（図３の場合、Ｍ値＝３となる。）。な
お、各信号の上部の（）内に示す数値はテンポラルリフ
ァレンス（temporal reference）の値で、これは、入力
ビデオ信号５３におけるピクチャの順番を示している。
ピクチャ単位の入れ替わりは、つぎのように行なわれ
る。ビデオ符号化処理部５４において、（ａ）に示す入
力ビデオ信号５３は、Ｂピクチャのみを、後方のＩある
いはＰピクチャの後に、順次遅延し挿入してピクチャの
順番を入れ替え、（ｂ）に示すビデオストリーム５５の
状態とする。この入れ替わりの状態は、ビデオストリー
ム７０でも変わらない。つぎに、ビデオ復号化処理部７
１において、逆にビデオストリーム７０のＩ、Ｐピクチ
ャを、後方の連続するＢピクチャの後に順次遅延し挿入
して、元の順番に戻し、（ｃ）に示すビデオ出力信号７
２のように元の順番とする。このように、ビデオ復号化
処理部７１で順番を戻すことを、リオーダ（reorder ）
と呼んでいる。

【００１４】つぎに、ビデオ復号化処理部７１でのリオ
ーダにおけるＰＴＳとＤＴＳの関係を図４に示し、説明
する。ビデオ復号化処理部７１に入力したビデオストリ
ーム７０は、まず、可変長符号化による時間軸上での変
動分を吸収するため、ビデオ復号化バッファ７３に記憶
された後、ビデオストリーム７４としてビデオ復号化回
路７５へ出力される。ビデオ復号化回路７５は、入力し
たビデオストリーム７４を復号化し、データ７６とす
る。ここで、データ７６のＢピクチャ部分は、そのまま
出力ビデオ信号７２として出力される。一方、データ７
６のＩあるいはＰピクチャ部分は、ビデオリオーダバッ
ファ７７で遅延されデータ７８となり、ビデオ出力信号
７２として出力される。これを切り替え選択しているの
がスイッチ部７９である。また、ビデオリオーダバッフ
ァ７７での遅延時間は、（Ｍ値×ピクチャ周期）とな
る。このビデオ復号化処理部７１の手段でピクチャ単位
の順番を元に戻すことが可能となる。

【００１５】図４において、ＰＴＳは、ビデオ復号化処
理部７１から出力する出力ビデオ信号７２の出力時間を
示すものであるが、ＤＴＳは、ビデオ復号化バッファ７
３から出力するビデオストリーム７４の出力が持つ時間
を示すものである。ＭＰＥＧ２、ＭＰＥＧ１では、ＴＳ
の定義において、ビデオ復号化回路７５の処理時間はゼ
ロと仮定している。従って、Ｂピクチャの場合、ＤＴＳ
＝ＰＴＳとなる。したがって、Ｉ、Ｐピクチャ：ＰＴＳとＤＴＳが付加される。Ｂピクチャ：ＰＴＳだけが付加される。（ＤＴＳ＝ＰＴ
Ｓであるため）以上のように、ビデオに関するＴＳの付加は、オーディ
オに比べ複雑なものとなる。

【００１６】ここまでの説明に使用した、ピクチャスタ
ートコード、テンポラルリファレンス、ピクチャコーデ
ィングタイプが、図２のビデオストリーム５５に付加さ
れている構成例を図６に示す。これは、ＭＰＥＧ２にお
ける例である。図６に示すように、入力ビデオ信号５３
（図２参照）の各フレームあるいは各フィールドに対応
する符号データ部分は、ピクチャレイヤ（picture laye
r ）と呼ばれ、３２ビットの固定値であるピクチャスタ
ートコードで始まる。このコードに続き１０ビットのテ
ンポラルリファレンスがあり、さらに３ビットのピクチ
ャコーディングタイプがある。また、その後に１６ビッ
トのビデオ遅延時間制御情報（video buffering verifi
er delay : vbv＿delay ）などのヘッダが付加されてお
り、そのヘッダの後に実際の符号データが続いている。

【００１７】なお、前記ビデオ遅延時間制御情報は、可
変長符号化された符号データ、つまり部分的に可変レー
トの符号データを、その平均レートとしての一定レート
で受信し、復号化するために必要なビデオ復号化処理部
内のバッファ（図４のビデオ復号化バッファ７３）にお
ける遅延時間を示す情報である。このビデオ遅延時間制
御情報に従って、前記バッファの読み出し制御をするこ
とで、バッファのアンダーフローやオーバーフローの回
避が可能になる。なお、このビデオ遅延時間制御情報
は、ビデオ符号化処理部５４の内部で、生成して付加し
ている。このとき一般的には、受信側のビデオ復号化処
理部７１内の前記目的のためのバッファの容量と、各ピ
クチャごとの圧縮された結果である符号量と、前記平均
レートから、各ピクチャ単位に演算して生成している。
ＭＰＥＧ２では、前記ビデオ遅延時間制御情報をvbv＿d
elayと呼び、前記バッファをVBV bufferと呼ぶ。

【００１８】一般にビデオ遅延時間制御情報は、図２の
一定レートのビデオストリーム５５を直接ビデオ復号化
処理部で復号するときには有効であるが、マルチプレク
サ部５６などで、さらにヘッダが付加され、前記一定レ
ートと異なるレートのストリームに変換されたり、時分
割多重のために、時間軸方向にシフトしたストリームに
変換された場合は、その変換内容に応じ正確さが失われ
る。したがって、多重化されたシステムストリームのレ
ベルでは、ＴＳがバッファのアンダーフローやオーバー
フローの回避機能も有する。つまり、ＴＳに従ってビデ
オ復号化処理部内のバッファ（図４のビデオ復号化バッ
ファ７３）の読み出し制御をすれば、バッファのアンダ
ーフローやオーバーフローの回避が保証されることにな
る。このようにＴＳ機能には、多重化される信号間の同
期機能のみでなく、バッファのアンダーフローやオーバ
ーフローの回避機能もある。このため、システムストリ
ームが単一の信号（例えばビデオのみ）の場合において
も、ＴＳは必要になる。

【００１９】ここで、従来技術におけるＴＳ値の演算方
式について説明する。従来技術においては、前述したよ
うに、ＳＴＣ２（Ｖｎ）を使用するのではなく、図２に
示すＳＴＣ１（Ｖｎ）を使用している。これは、ビデオ
ストリーム５５のピクチャスタートコード部分に対応す
る部分（つまり、各ピクチャの先頭データ）がビデオ符
号化処理部５４に入力された時間ＳＴＣ１（Ｖｎ）にｔ
ｖ時間を加算すれば、ＰＴＳ（Ｖｎ）が求まるからであ
る。しかし、ビデオ符号化処理部５４では、信号処理に
ある程度の処理時間（数十ｍｓｅｃ）を必要とするた
め、実際にＴＳ値の演算に使用するまでの間、メモリに
記憶させておく必要がある。さらに、ビデオ符号化処理
部５４では、前述のようなピクチャ単位の入れ替わりが
あるため、記憶させたＳＴＣ１（Ｖｎ）を使用する時に
も、それを考慮しなければならない。また、前記メモリ
の制御において、ビデオ符号化処理部５４のピクチャの
先頭データ（フレーム）単位の入力に依存して一定周期
に動作するライト制御部と、可変長符号化されたビデオ
ストリーム５５のピクチャスタートコードの入力に依存
して一定周期でない動作をするリード制御部とは、お互
いに非同期の関係であるため、リード、ライトタイミン
グの発生の競合を回避する手段が必ず必要である。この
ためにビデオパケッタイズ部６０は、処理が複雑なもの
となる。

【００２０】

【発明が解決しようとする課題】従来の符号化伝送装置
は、送信側のマルチプレクサ部において、ＳＴＣ（シス
テムタイムクロック）の値をホールドして、ホールドし
たＳＴＣをＴＳ（タイムスタンプ）値の演算に使用する
までに、数十ｍｓのオーダの遅延時間が生じるため、Ｓ
ＴＣ用のメモリが必要であった。さらに、このメモリの
アクセスには、ピクチャ単位の入れ替わりをも考慮した
複雑なアクセスをしなければならず、また、国際標準の
符号化方式であるＭＰＥＧ２、ＭＰＥＧ１などでは、Ｔ
Ｓに使用するＳＴＣのビット長は、３３ビットであるた
めメモリの数も多くなり、加えて、前記メモリに対する
ライトとリードの関係は非同期であるため、それらのタ
イミングの競合に対する調整回路も必須となる等の諸問
題があった。本発明は、前記問題を解決するため、ビデ
オ符号化処理部が出力するビデオストリーム中のビデオ
遅延時間制御情報（vbv＿delay）を基にＴＳ値を算出す
ることにより、従来必要であった３３ビットというビッ
ト幅の広いメモリや関連するアドレス発生部等と、書き
込みと読み出しが同時発生した場合の調整回路も必要と
しない、符号化伝送方式におけるＴＳ値の演算方法を提
供することを目的とする。

【００２１】

【課題を解決するための手段】前記目的を達成するた
め、本発明の符号化伝送方式におけるタイムスタンプ値
演算方法は、少なくともビデオ信号を含む一つ以上の信
号を圧縮符号化し、当該圧縮符号化信号を所定のデータ
長に分割し、タイムスタンプ値等のヘッダを付加して一
つのストリームに生成して伝送する符号化伝送方式にお
いて、前記ヘッダ内に付加される前記ビデオ信号のタイ
ムスタンプ値を、前記ストリーム内に付加されるビデオ
復号化処理部のバッファ遅延時間に相当するビデオ遅延
時間制御情報に基づき演算するものである。また、本発
明の符号化伝送方式におけるタイムスタンプ値演算方法
は、前記ヘッダ内に付加される前記ビデオ信号のタイム
スタンプ値を、前記圧縮符号化されたビデオ信号が前記
一つのストリームに生成される信号処理部に入力された
時間情報と、前記ビデオストリーム内に付加されるビデ
オ復号化処理部のバッファ遅延時間に相当するビデオ遅
延時間制御情報と、前記圧縮符号化信号の所定の分割デ
ータ長および前記ビデオ信号の符号化のモードに応じて
定まる固定の時間情報との加算により演算するものであ
る。また、本発明の符号化伝送方式におけるタイムスタ
ンプ値演算方法は、前記一つのストリームに生成される
信号として、少なくとも前記圧縮符号化されたビデオ信
号と圧縮符号化されたオーディオ信号とを含むものであ
る。

【００２２】

【作用】本発明の符号化伝送方式におけるタイムスタン
プ値演算方法は、少なくともビデオ信号を含む一つ以上
の信号を圧縮符号化し、当該圧縮符号化信号を所定のデ
ータ長に分割し、タイムスタンプ値等のヘッダを付加し
て一つのストリームに生成して伝送する符号化伝送方式
であって、前記ヘッダ内に付加される前記ビデオ信号の
タイムスタンプ値を、前記ストリーム内に付加されるビ
デオ復号化処理部のバッファ遅延時間に相当するビデオ
遅延時間制御情報に基づき演算する。また、本発明の符
号化伝送方式におけるタイムスタンプ値演算方法は、前
記ヘッダ内に付加される前記ビデオ信号のタイムスタン
プ値を、前記圧縮符号化されたビデオ信号が前記一つの
ストリームに生成される信号処理部に入力された時間情
報と、前記ビデオストリーム内に付加されるビデオ復号
化処理部のバッファ遅延時間に相当するビデオ遅延時間
制御情報と、前記圧縮符号化信号の所定の分割データ長
および前記ビデオ信号の符号化のモードに応じて定まる
固定の時間情報との加算により演算する。また、本発明
の符号化伝送方式におけるタイムスタンプ値演算方法
は、前記一つのストリームに生成される信号として、少
なくとも前記圧縮符号化されたビデオ信号と圧縮符号化
されたオーディオ信号とを含み使用する。

【００２３】

【実施例】本発明による符号化伝送装置を、図１を使用
し、図２を参照して説明する。図２は、従来の符号化伝
送装置の説明に使用したが、本発明による符号化伝送装
置と基本的に構成は同一である。図１は、図２に示す符
号化伝送装置を構成するマルチプレクサ部５６のビデオ
パケッタイズ部６０におけるＴＳ値の演算に関する部分
の構成を示している。ＳＴＣ発生部５７の出力であるＳ
ＴＣデータ５８は、ＴＳ演算部１１６に入力されてい
る。また、入力ビデオ信号５３がビデオ符号化処理部５
４（図２参照）において符号化されたデータであるビデ
オストリーム５５は、ピクチャスタートコード検出部８
６とピクチャコーディングタイプ検出部８７とビデオ遅
延時間制御情報（vbv＿delay）検出部１１５とに入力さ
れている。また、ピクチャスタートコード検出部８６に
は、ビデオ符号化処理部５４から出力されるビデオスト
リーム有効信号８２も入力されている。

【００２４】一方、ピクチャスタートコード検出部８６
の出力であるデータ８９、ピクチャコーディングタイプ
検出部８７の出力であるデータ９３、ビデオ遅延時間制
御情報検出部１１５の出力であるデータ１１７は、それ
ぞれＴＳ演算部１１６に入力されている。また、ピクチ
ャスタートコード検出部８６の出力であるデータ８９
は、ピクチャコーディングタイプ検出部８７とビデオ遅
延時間制御情報検出部１１５にも入力されている。さら
に、ＴＳ演算部１１６には、符号化のモードを示す情報
であるＭ値パラメータ９９と固定のオフセット遅延量の
情報である遅延パラメータ１００とが入力されている。
そして、ＴＳ演算部１１６からは、バッファ１０１へデ
ータ９７と制御信号９８とが出力されている。バッファ
１０１からは、データ１０４がスイッチ部１０５（図２
参照）へ出力されている。

【００２５】つぎに動作について説明する。本発明によ
る符号化伝送装置においては、ビデオ符号化処理部５４
から出力されるビデオストリーム５５のパケッタイズさ
れるべきデータ長の中にあるピクチャスタートコードが
マルチプレクサ部５６に入力された時間（図２における
ＳＴＣ２（Ｖｎ）の値）をＴＳ値の演算に使用する。た
だし、図２に示すｔｖ２が変動してしまうため、ビデオ
ストリーム５５を構成するビデオ遅延時間制御情報とい
う情報を利用する。つぎに、ビデオ遅延時間制御情報と
符号化伝送装置の処理時間との関係を図７に示す。図７
に示すｔｖは、入力ビデオ信号５３がビデオ符号化処理
部５４に入力されてから、ビデオ復号化処理部７１より
出力ビデオ信号７２として出力されるまでの時間とす
る。このｔｖのうち、入力ビデオ信号５３がビデオ符号
化処理部５４で処理されてマルチプレクサ部１１８に入
力されるまでの時間をｔｖ１、残りのビデオ復号化処理
部７１より出力されるまでの時間をｔｖ２とする。この
ｔｖ１、ｔｖ２の時間は前述したように変動する。

【００２６】ここで、ｔｖ２の時間を、さらにｔｖ３と
ｔｖ４とｔｖ５とに分割する。ｔｖ３は、マルチプレク
サ部１１８に入力されてから、ビデオ復号化処理部７１
に入力されるまでの時間、ｔｖ４は、ビデオ復号化処理
部７１内のビデオ復号化バッファ７３での遅延時間、ｔ
ｖ５は、ビデオ復号化処理部７１内のビデオリオーダバ
ッファ７７での遅延時間である。ビデオ遅延時間制御情
報は、ビデオ復号化処理部７１内のビデオ復号化バッフ
ァ７３での遅延時間であるｔｖ４に関するものであり、
ｔｖ２の時間の変動は、このビデオ復号化バッファ７３
での遅延時間の変動に相当する。つまり、ビデオ遅延時
間制御情報の変動である。他のｔｖ３、ｔｖ５は基本的
に固定値である。（従来技術について図４を使用して説
明したように、ｔｖ５に関しては、Ｂピクチャの場合は
ビデオリオーダバッファ７７を通過しないのでゼロであ
る。）したがって、このビデオ遅延時間制御情報を検出
し、その値を使用すれば、マルチプレクサ部１１８に入
力された時間（図７におけるＳＴＣ２（Ｖｎ）の値）に
より、ＴＳ値の演算が可能となる。

【００２７】ここで、図１の具体的動作について説明を
する。最初にピクチャスタートコード検出部８６は、入
力したビデオストリーム有効信号８２でビデオストリー
ム５５が有効となったことを認識し、有効なビデオスト
リーム５５内のピクチャスタートコードを検出する。ピ
クチャスタートコードを検出すると、データ８９をＴＳ
演算部１１６とピクチャコーディングタイプ検出部８７
とビデオ遅延時間制御情報検出部１１５へ出力する。ピ
クチャコーディングタイプ検出部８７とビデオ遅延時間
制御情報検出部１１５は、ピクチャスタートコードの検
出をきっかけに、それぞれその後にあるピクチャコーデ
ィングタイプとビデオ遅延時間制御情報を検出し、デー
タ９３、データ１１７としてＴＳ演算部１１６へ出力す
る。ＴＳ演算部１１６は、データ８９によるピクチャス
タートコードの検出をきっかけにＳＴＣ発生部５７から
のＳＴＣデータ５８をホールドし、データ９３、データ
１１７、Ｍ値パラメータ９９、遅延パラメータ１００に
より、ＴＳを演算する。

【００２８】まず、データ９３により、ピクチャコーデ
ィングタイプを判別し、ついで、それぞれのピクチャコ
ーディングタイプごとに、以下のようにＴＳを演算す
る。［ＩあるいはＰピクチャの場合］ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋デ
ータ１１７＋（Ｍ値パラメータ９９×ピクチャ周期）ＤＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋デ
ータ１１７［Ｂピクチャの場合］ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋デ
ータ１１７

【００２９】上式において、ＳＴＣデータ５８は、ピク
チャスタートコードの検出をきっかけにホールドした値
で、図７に示したＳＴＣ２（Ｖｎ）に相当し、遅延パラ
メータ１００は、図７に示すｔｖ３に相当する固定値で
あり、データ１１７は、ビデオ遅延時間制御情報の値で
図７に示すｔｖ４に相当する。また、（Ｍ値パラメータ
９９×ピクチャ周期）は、図７に示すビデオリオーダバ
ッファ７７による遅延時間（ｔｖ５）に相当する。通
常、符号化処理の初期値設定において、このＭ値とピク
チャ周期は固定値に設定されるため、この遅延時間は符
号化処理中、固定値である。なお、前述の式は、Ｂピク
チャを含むビデオストリームの場合であるが、Ｂピクチ
ャを含まない場合は、Ｉ、Ｐピクチャについてビデオリ
オーダ処理が不要となる。このため、ビデオ復号化処理
部７１内のビデオリオーダバッファ７７による遅延時間
を考慮する必要が無い（ＰＴＳ＝ＤＴＳとなるため）。

【００３０】したがって、この場合は、以下の式によっ
てＴＳを演算する。［ＩあるいはＰピクチャの場合］ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋デ
ータ１１７そして、演算されたＴＳ値は、データ９７として、制御
信号９８により、バッファ１０１に書き込まれる。その
後、ビデオパケットヘッダのＴＳの出力タイミングのと
きに、データ１０４として、バッファ１０１内に書き込
まれたＴＳ値が出力される。以上により、ピクチャスタ
ートコードがマルチプレクサ部１１８に入力された時点
のＳＴＣデータ５８をホールドして、ただちにＴＳ値の
演算に利用できるため、ＳＴＣ用のメモリを不要とする
ことができ、また、メモリ制御の複雑な回路も不要とす
ることができる。さらに、ビデオ符号化処理部とのイン
ターフェース信号も、より単純化することができる。

【００３１】以下、本発明のさらに詳細な実施例を図５
を使用して説明をする。まず、ＳＴＣ発生部５７の出力
であるＳＴＣデータ５８は、ＳＴＣホールド回路１２５
に入力される。また、ビデオ符号化処理部５４の出力で
あるビデオストリーム有効信号８２は、ピクチャスター
トコード検出回路１３８に入力される。同様に、ビデオ
符号化処理部５４の出力であるビデオストリーム５５
は、ピクチャスタートコード検出回路１３８と、ピクチ
ャコーディングタイプホールド回路１２６とビデオ遅延
時間制御情報ホールド回路１２７とに入力される。ピク
チャスタートコード検出回路１３８の出力であるデータ
８９は、ＳＴＣホールド回路１２５とピクチャコーディ
ングタイプホールド回路１２６とビデオ遅延時間制御情
報ホールド回路１２７と出力制御回路１３７とに入力さ
れる。

【００３２】図示していないＣＰＵからのＣＰＵバス１
２０は、レジスタ１２１とレジスタ１２２とに接続され
ている。ＳＴＣホールド回路１２５の出力であるデータ
１２９は、加算器１３３に入力される。レジスタ１２１
の出力であるデータ１２３とレジスタ１２２の出力であ
るデータ１２４は、セレクタ１２８に入力される。ピク
チャコーディングタイプホールド回路１２６の出力であ
るデータ９３は、セレクタ１２８と出力制御回路１３７
とに入力される。ビデオ遅延時間制御情報ホールド回路
１２７の出力であるデータ１１７は、加算器１３４に入
力される。また、セレクタ１２８の出力であるデータ１
３０も加算器１３４に入力される。加算器１３４の出力
であるデータ１３５は、加算器１３３に入力される。そ
の加算器１３３の出力であるデータ１３６は、出力制御
回路１３７に入力される。出力制御回路１３７からは、
データ９７と制御信号９８が出力される。

【００３３】以下、動作について説明をする。まず、最
初にＣＰＵバス１２０により、レジスタ１２１、１２２
にデータを設定する。レジスタ１２１には図７に示すｔ
ｖ３＋ｔｖ５の値を、また、レジスタ１２２にはｔｖ３
の値を設定する。これらは、いずれも固定値なのであら
かじめ設定が可能である。なお、ｔｖ５としては、（Ｍ
値×ピクチャ周期）を計算した値である。ついで、ピク
チャスタートコード検出回路１３８に入力されたビデオ
ストリーム有効信号８２により、ビデオストリーム５５
が有効となったことを認識し、ピクチャスタートコード
検出回路１３８においてビデオストリーム５５内にある
ピクチャスタートコードを検出し、その結果をデータ８
９としてＳＴＣホールド回路１２５と出力制御回路１３
７とピクチャコーディングタイプホールド回路１２６と
ビデオ遅延時間制御情報ホールド回路１２７とへ出力す
る。

【００３４】ＳＴＣホールド回路１２５は、デ−タ８９
によるピクチャスタートコードの検出タイミングに合わ
せて、ＳＴＣ発生部５７からのＳＴＣデータ５８の値を
ホールドする。同様に、ピクチャコーディングタイプホ
ールド回路１２６は、デ−タ８９によるピクチャスター
トコードの検出タイミングを基に、ピクチャスタートコ
ードの１０ビット後（図６参照）にあるピクチャコーデ
ィングタイプをホールドする。また、ビデオ遅延時間制
御情報ホールド回路１２７は、デ−タ８９によるピクチ
ャスタートコードの検出タイミングをもとに、ピクチャ
スタートコードの１３ビットあとにあるビデオ遅延時間
制御情報をホールドする。

【００３５】セレクタ１２８は、ピクチャコーディング
タイプホールド回路１２６の出力であるデータ９３によ
り、動作が規定される。まず、データ９３がＩあるいは
Ｐピクチャを示す場合は、始めに、レジスタ１２１の出
力であるデータ１２３をデータ１３０として出力し、つ
ぎに、レジスタ１２２の出力であるデータ１２４をデー
タ１３０として出力する。前記セレクタ１２８の動作に
従って、加算器１３３の出力であるデータ１３６の値
は、はじめにデータ１２９とデータ１２３とデータ１１
７を加算した値となる。これは、以下のようにＰＴＳの
値になる。ＰＴＳ＝データ１２９＋データ１２３＋データ１１７データ１２９：ピクチャスタートコードが入力された時
点のＳＴＣデータ５８の値データ１２３：図７に示すｔｖ３＋ｔｖ５の値データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間
制御情報）

【００３６】つぎのセレクタ１２８の動作では、加算器
１３３の出力であるデータ１３６の値は、データ１２９
とデータ１２４とデータ１１７を加算した値となる。こ
れは、以下のようにＤＴＳの値になる。ＤＴＳ＝データ１２９＋データ１２４＋データ１１７データ１２９：ピクチャスタートコードが入力された時
点のＳＴＣデータ５８の値データ１２４：図７に示すｔｖ３の値データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間
制御情報）そして、出力制御回路１３７は、ピクチャスタートコー
ド検出回路１３８からのデータ８９でＩ、Ｐピクチャ用
の出力モードとなり、データ９７としてデータ１３６と
して算出されたＰＴＳとＤＴＳとを出力する。同時にそ
れらを後段のＦＩＦＯに書き込むための制御信号９８を
出力する。

【００３７】つぎに、データ９３がＢピクチャを示す場
合を説明する。この場合セレクタ１２８は、レジスタ１
２２の出力であるデータ１２４だけをデータ１３０とす
る。これにより、加算器１３３の出力であるデータ１３
６の値は、データ１２９とデータ１２４とデータ１１７
を加算した値になる。これは、以下のようにＢピクチャ
の場合のＰＴＳの値になる。なぜなら、Ｂピクチャの場
合、図７に示すビデオリオーダバッファ７７の遅延時間
ｔｖ５がゼロになるためである。ＰＴＳ＝データ１２９＋データ１２４＋データ１１７データ１２９：ピクチャスタートコードが入力された時
点のＳＴＣデータ５８の値データ１２４：図７に示すおけるｔｖ３の値データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間
制御情報）

【００３８】そして、出力制御回路１３７は、ピクチャ
スタートコード検出回路１３８からのデータ８９でＢピ
クチャ用の出力モードとなり、データ９７としてデータ
１３６として算出されたＰＴＳだけを出力する。同時に
それらを後段のＦＩＦＯに書き込むための制御信号９８
を出力する。以上説明したように、ビデオストリーム中
に記述されたビデオ遅延時間制御情報（vbv＿delay）を
基にＴＳ値（タイムスタンプ値）を算出することによ
り、従来技術のようにＳＴＣ（システムタイムクロッ
ク）の値を蓄積しておくメモリを不要とすることができ
る。そのため、メモリ関係のアドレス発生部やアービト
レイション回路など複雑な回路も必要なくなり、回路規
模の縮小が可能となる。また、ビデオ符号化処理部との
インターフェース信号も本数を減らすことができる。な
お、ピクチャコーディングタイプが１程度のストリーム
では、ピクチャコーディングタイプ検出部８７を不要と
することができる。

【００３９】

【発明の効果】本発明によれば、ビデオ符号化処理部が
出力するビデオストリーム中に記述されたビデオ遅延時
間制御情報を基にＴＳ値を算出することにより、従来必
要であった３３ビットというビット幅の広いメモリや関
連するアドレス発生部等と、書き込みと読み出しが同時
発生した場合の調整回路も必要としない、符号化伝送方
式におけるＴＳ値の演算方法を提供することができる。

【図面の簡単な説明】

【図１】本発明による符号化伝送装置を構成するビデオ
パケッタイズ部のタイムスタンプ演算部分ブロック図。

【図２】符号化伝送装置のブロック図。

【図３】ビデオ信号符号化処理におけるピクチャ単位の
入れ替わり説明図。

【図４】ビデオ符号化処理部ブロック図。

【図５】本発明による符号化伝送装置を構成するビデオ
パケッタイズ部ブロック図。

【図６】ビデオストリームの構成説明図。

【図７】符号化伝送装置におけるビデオ遅延時間制御情
報と処理時間との関係説明図。

【符号の説明】

５１…オーディオ符号化処理部、５４…ビデオ符号化処
理部、５６、１１８…マルチプレクサ部、５７…システ
ムタイムクロック発生部、５９…オーディオパケッタイ
ズ部、６０…ビデオパケッタイズ部、６２…伝送路、６
４…デマルチプレクサ部、６５…オーディオパケット解
析部、６６…ビデオパケット解析部、６８…オーディオ
復号化処理部、７１…ビデオ復号化処理部、７３…ビデ
オ復号化バッファ、７５…ビデオ復号化回路、７７…ビ
デオリオーダバッファ、７９、１０５、１０６…スイッ
チ部、８６…ピクチャスタートコード検出部、８７…ピ
クチャコーディングタイプ検出部、１１６…タイムスタ
ンプ演算部、１０１…バッファ、１１１…システムタイ
ムクロック再生部、１１５…ビデオ遅延時間制御情報検
出部、１２０…ＣＰＵバス、１２１、１２２…レジス
タ、１２５…システムタイムクロックホールド回路、１
２６…ピクチャコーディングタイプホールド回路、１２
７…ビデオ遅延時間制御情報ホールド回路、１２８…セ
レクタ、１３３、１３４…加算器、１３７…出力制御回
路、１３８…ピクチャスタートコード検出回路。５０…
入力オーディオ信号、５２、６７…オーディオストリー
ム、５３…入力ビデオ信号、５５、７０、７４…ビデオ
ストリーム、５８…システムタイムクロックデータ、６
１、６３…システムストリーム、６９…出力オーディオ
信号、７２…出力ビデオ信号、７６、７８、８８、８
９、９３、９７、１０３、１０４、１１７、１２３、１
２４、１２９、１３０、１３５、１３６…データ、８２
…ビデオストリーム有効信号、９８…制御信号、９９…
Ｍ値パラメータ、１００…遅延パラメータ、１０７…オ
ーディオパケットデータ、１０８、１１０…システムタ
イムクロックデータ、１０９…ビデオパケットデータ、
１１２…オーディオタイムスタンプ、１１３…ビデオタ
イムスタンプ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者小松茂東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者小林孝之東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内

Claims

【特許請求の範囲】

【請求項１】少なくともビデオ信号を含む一つ以上の
信号を圧縮符号化し、当該圧縮符号化信号を所定のデー
タ長に分割し、タイムスタンプ値等のヘッダを付加して
一つのストリームに生成して伝送する符号化伝送方式に
おいて、前記ヘッダ内に付加される前記ビデオ信号のタイムスタ
ンプ値を、前記ストリーム内に付加されるビデオ復号化
処理部のバッファ遅延時間に相当するビデオ遅延時間制
御情報に基づき演算することを特徴とする符号化伝送方
式におけるタイムスタンプ値演算方法。
【請求項２】請求項１記載のものにおいて、前記ヘッ
ダ内に付加される前記ビデオ信号のタイムスタンプ値
を、前記圧縮符号化されたビデオ信号が前記一つのスト
リームに生成される信号処理部に入力された時間情報
と、前記ビデオストリーム内に付加されるビデオ復号化
処理部のバッファ遅延時間に相当するビデオ遅延時間制
御情報と、前記圧縮符号化信号の所定の分割データ長お
よび前記ビデオ信号の符号化のモードに応じて定まる固
定の時間情報との加算により演算することを特徴とする
符号化伝送方式におけるタイムスタンプ値演算方法。
【請求項３】請求項１または請求項２記載のものにお
いて、前記一つのストリームに生成される信号として、
少なくとも前記圧縮符号化されたビデオ信号と圧縮符号
化されたオーディオ信号とを含むことを特徴とする符号
化伝送方式におけるタイムスタンプ値演算方法。