JP3644995B2

JP3644995B2 - Time stamp value calculation method in coded transmission system

Info

Publication number: JP3644995B2
Application number: JP944395A
Authority: JP
Inventors: 雄一大波; 茂小松; 孝之小林
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 1995-01-25
Filing date: 1995-01-25
Publication date: 2005-05-11
Anticipated expiration: 2020-05-11
Also published as: JPH08205146A

Description

【０００１】
【産業上の利用分野】
本発明は、オーディオ信号や、ビデオ信号を符号化伝送する場合に必要とするタイムスタンプ値の演算方法に関するものである。
【０００２】
【従来の技術】
一般に、オーディオ信号およびビデオ信号を多重伝送する符号化伝送装置では、オーディオ、ビデオそれぞれの復号化処理部において両者の同期をとり出力をする必要がある。
これは、画像とオーディオの同期をとること、例えば、ビデオの復号化処理部が、「あ」という音を発生している人の顔を出力しているとき、オ−ディオの復号化処理部の出力は、「あ」という音を出力している必要があるということである。
このように画像とオーディオの同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ２（Moving Picture Image Coding Experts Group Phase2）、ＭＰＥＧ１などでは、タイムスタンプ（time stamp。以下、ＴＳと記す。）という出力タイミング情報を使用することになっている。
【０００３】
このＴＳには、プレゼンテーションタイムスタンプ（presentation time stamp 。以下、ＰＴＳと記す。）とデコーディングタイムスタンプ（decoding time stamp 。以下、ＤＴＳと記す。）とがあり、基本的には、ＰＴＳで指示された時間に従って、復号化処理をしたオーディオ信号あるいはビデオ信号を出力すれば、同期が可能となる。
一般に、オーディオ信号が符号化されたデータ（以下、オーディオストリームと記す。）と、ビデオ信号が符号化されたデータ（以下、ビデオストリームと記す。）とを、多重したストリームをシステムストリームと呼ぶが、このシステムストリームには、オーディオ、ビデオそれぞれのＴＳが付加される。
なお、このＴＳは、オーディオ信号の場合にはシンクワード（オ−ディオストリーム内の一定ワードごとにあるコード）、ビデオ信号の場合にはピクチャスタートコード（picture start code。ビデオストリーム内にあるピクチャの区切りを示すコード）部分を基準に付加される。
【０００４】
ここで図２に、従来の符号化伝送装置の概略ブロック図を示す。符号化伝送装置は、大別して、送信側、伝送路、受信側で構成されている。
図２において、送信側では、入力オーディオ信号５０が、オーディオ符号化処理部５１に入力して符号化され、オーディオストリーム５２となりマルチプレクサ部５６へ出力される。
また、入力ビデオ信号５３は、ビデオ符号化処理部５４に入力して符号化され、ビデオストリーム５５となりマルチプレクサ部５６へ出力される。
マルチプレクサ部５６に入力したオーディオストリーム５２とビデオストリーム５５は多重され、システムストリーム６１となり伝送路６２へ出力される。
さらに、多重を行なう前記マルチプレクサ部５６の説明をすると、マルチプレクサ部５６は、システムタイムクロック（system time clock 。以下、ＳＴＣと記す。）発生部５７、オーディオパケッタイズ部５９、ビデオパケッタイズ部６０、スイッチ部１０５で構成されている。なお、ＳＴＣは、ＭＰＥＧ２、ＭＰＥＧ１などで定義されているもので、図２に示すような信号処理系における共通の時計のようなものである。
【０００５】
オーディオパケッタイズ部５９は、入力したオーディオストリーム５２を一定長に区切り、パケットを形成し、データ１０３をスイッチ部１０５へ出力する。そして、スイッチ部１０５により選択され、システムストリーム６１としてパケット単位で多重される。このとき、オーディオストリーム５２のパケッタイズされるデータ長の中にシンクワードがあれば、前記パケットのヘッダ部分にＴＳを付加する。なお、このＴＳは、ＳＴＣ発生部５７のＳＴＣデータ５８を基に求めている。
一方、ビデオパケッタイズ部６０も、入力したビデオストリーム５５を一定長に区切り、パケットを形成し、データ１０４をスイッチ部１０５へ出力する。そして、スイッチ部１０５により選択され、システムストリーム６１としてパケット単位で多重される。このとき、ビデオストリーム５５のパケッタイズされるデータ長の中に、ピクチャスタートコードがあれば、前記パケットのヘッダ部分にＴＳを付加する。なお、このＴＳは、ＳＴＣ発生部５７のＳＴＣデータ５８を基に求めている。
そして、さらに受信側でＳＴＣの再生が可能なように、周期的にＳＴＣデータ５８は、スイッチ部１０５により選択され、システムストリーム６１として多重される。
【０００６】
つぎに受信側では、伝送路６２を伝送されてきたシステムストリーム６３が、デマルチプレクサ部６４に入力して分離され、オーディオストリーム６７とオーディオＴＳ１１２、ビデオストリーム７０とビデオＴＳ１１３、ＳＴＣデータ１１０となり出力される。
さらに、分離を行なう前記デマルチプレクサ部６４の説明をすると、デマルチプレクサ部６４は、スイッチ部１０６、ＳＴＣ再生部１１１、オーディオパケット解析部６５、ビデオパケット解析部６６で構成されている。
デマルチプレクサ部６４において、入力されたシステムストリーム６３から、スイッチ部１０６を使用して、オーディオパケットデータ１０７をオーディオパケット解析部６５へ、ビデオパケットデータ１０９をビデオパケット解析部６６へ、ＳＴＣデータ１０８をＳＴＣ再生部１１１へ出力する。
【０００７】
オーディオパケット解析部６５は、入力したオーディオパケットデータ１０７を解析し、オーディオストリーム６７とオーディオＴＳ１１２とに分離してオーディオ復号化処理部６８へ出力する。
一方、ビデオパケット解析部６６は、入力したビデオパケットデータ１０９を解析し、ビデオストリーム７０とビデオＴＳ１１３とに分離してビデオ復号化処理部７１へ出力する。
また、ＳＴＣ再生部１１１は、入力したＳＴＣデータ１０８から、送信側のＳＴＣ発生部５７が出力するＳＴＣデータ５８と常に同一の出力となるようにＳＴＣデータ１１０を再生し、オーディオ復号化処理部６８およびビデオ復号化処理部７１へ出力する。
オーディオ復号化処理部６８は、入力したオーディオストリーム６７を、オーディオＴＳ１１２とＳＴＣデータ１１０とを参照して復号化し、ＴＳ値に従った時間で、出力オーディオ信号６９を出力する。
ビデオ復号化処理部７１は、入力したビデオストリーム７０を、ビデオＴＳ１１３とＳＴＣデータ１１０とを参照して復号化し、ＴＳ値に従った時間で、出力ビデオ信号７２を出力する。
【０００８】
つぎに、各復号化処理部でのＴＳによる出力動作について、さらに具体的に説明する。
ＴＳによる出力動作は、オーディオ復号化処理部６８とビデオ復号化処理部７１とで、オーディオとビデオのそれぞれのＴＳのＰＴＳの値とＳＴＣデータの値とが一致したときに、対応するデータ部分を出力することで実現される。
例えば、オーディオストリーム６７の或るシンクワードＡｎに対応するＰＴＳの値を、ＰＴＳ（Ａｎ）とすれば、ＳＴＣデータ１１０の値がＰＴＳ（Ａｎ）と同じになったときに、オーディオ復号化処理部６８は、シンクワードＡｎ部分の復号化されたデータを出力する。
同様に、ビデオストリーム７０の或るピクチャスタートコードＶｎに対応するＰＴＳの値を、ＰＴＳ（Ｖｎ）とすれば、ＳＴＣデータ１１０の値がＰＴＳ（Ｖｎ）と同じになったときに、ビデオ復号化処理部７１は、ピクチャスタートコードＶｎ部分の復号化されたデータを出力する。
【０００９】
ここで、図２に示す符号化伝送装置において、送信側のオーディオ符号化処理部５１に入力オーディオ信号５０が入力されてから、受信側のオーディオ復号化処理部６８より出力オーディオ信号６９が出力されるまでの時間がｔａであるとする。
同様に、送信側のビデオ符号化処理部５４に入力ビデオ信号５３が入力されてから、受信側のビデオ復号化処理部７１より出力ビデオ信号７２が出力されるまでの時間がｔｖであるとする。
この場合、オーディオとビデオの同期をとるには、入力から出力までの時間をｔａ＝ｔｖとなるように、伝送処理系の時間を設定し、その時間を基にそれぞれのＰＴＳの値を設定すれば良いことになる。
【００１０】
つぎに、マルチプレクサ５６を構成するオーディオパケッタイズ部５９とビデオパケッタイズ部６０とにおけるＴＳ算出を説明する。
まず、前記オーディオ信号の入力から出力までの時間ｔａのうち、マルチプレクサ部５６に入力されるまでの時間がｔａ₁ で、残りの時間がｔａ₂ であるとする。
ここで、マルチプレクサ部５６に入力したオーディオストリーム５２のパケッタイズされるべきデータ長の中に、或るシンクワードＡｎがあり、パケットのヘッダ部分にＴＳを付加するときのＳＴＣデータ５８の値がＳＴＣ２（Ａｎ）であるとすれば、ＰＴＳ（Ａｎ）は、以下のように求めることができる。
ＰＴＳ（Ａｎ）＝ＳＴＣ２（Ａｎ）＋ｔａ₂
【００１１】
ビデオについても、前記ビデオ信号の入力から出力までの時間ｔｖのうち、マルチプレクサ部５６に入力されるまでの時間がｔｖ₁ で、残りの時間がｔｖ₂ であるとする。
ここで、マルチプレクサ部５６に入力したビデオストリーム５５のパケッタイズされるべきデータ長の中に、或るピクチャスタートコードＶｎがあり、パケットのヘッダ部分にＴＳを付加するときのＳＴＣデータ５８の値がＳＴＣ２（Ｖｎ）であるとすれば、ＰＴＳ（Ｖｎ）も、下記のように求めることができるはずである。
ＰＴＳ（Ｖｎ）＝ＳＴＣ２（Ｖｎ）＋ｔｖ₂
【００１２】
しかし、ビデオの場合、ビデオ符号化処理部５４において可変長符号化されたり、ピクチャ単位の入れ替わりが行なわれる。このため、ｔｖ₁ が符号化状況により変動する。したがって、ｔｖ₂ も変動してしまい、（ｔｖが固定で、ｔｖ₂ ＝ｔｖ−ｔｖ₁ であるため。）ＳＴＣ２（Ｖｎ）に加算すべきｔｖ₂ を、あらかじめ設定することができないという問題があり、オーディオと同様に求めることは不可能である。また、ビデオの場合、ピクチャ単位の入れ替わりがあるために、ＤＴＳも求める必要がある。
ここで、ピクチャ単位の入れ替わりについて、図３の概略図を使用して説明をする。
図３では、ピクチャ単位の入れ替わりに関する遅延時間は考慮されているが、その他の処理時間等は省略している。
図３において、（ａ）は、ビデオ符号化処理部５４に入力する入力ビデオ信号５３、（ｂ）は、ビデオ符号化処理部５４から出力されるビデオストリーム５５（あるいは、ビデオパケット解析部６６から出力されるビデオストリーム７０。）、（ｃ）は、ビデオ復号化処理部７１から出力される出力ビデオ信号７２を示している。
【００１３】
前記いずれの信号にも記載されている符号Ｉ、Ｐ、Ｂは、ＭＰＥＧ２、ＭＰＥＧ１で定義されているピクチャコーディングタイプ（picture coding type ）を示している
また、図３の例では、ＩあるいはＰピクチャのピクチャ間隔は３ピクチャ分であり、このＩあるいはＰピクチャのピクチャ間隔のことを、一般にＭ値と呼んでいる（図３の場合、Ｍ値＝３となる。）。なお、各信号の上部の（）内に示す数値はテンポラルリファレンス（temporal reference）の値で、これは、入力ビデオ信号５３におけるピクチャの順番を示している。
ピクチャ単位の入れ替わりは、つぎのように行なわれる。ビデオ符号化処理部５４において、（ａ）に示す入力ビデオ信号５３は、Ｂピクチャのみを、後方のＩあるいはＰピクチャの後に、順次遅延し挿入してピクチャの順番を入れ替え、（ｂ）に示すビデオストリーム５５の状態とする。この入れ替わりの状態は、ビデオストリーム７０でも変わらない。
つぎに、ビデオ復号化処理部７１において、逆にビデオストリーム７０のＩ、Ｐピクチャを、後方の連続するＢピクチャの後に順次遅延し挿入して、元の順番に戻し、（ｃ）に示すビデオ出力信号７２のように元の順番とする。このように、ビデオ復号化処理部７１で順番を戻すことを、リオーダ（reorder ）と呼んでいる。
【００１４】
つぎに、ビデオ復号化処理部７１でのリオーダにおけるＰＴＳとＤＴＳの関係を図４に示し、説明する。
ビデオ復号化処理部７１に入力したビデオストリーム７０は、まず、可変長符号化による時間軸上での変動分を吸収するため、ビデオ復号化バッファ７３に記憶された後、ビデオストリーム７４としてビデオ復号化回路７５へ出力される。ビデオ復号化回路７５は、入力したビデオストリーム７４を復号化し、データ７６とする。
ここで、データ７６のＢピクチャ部分は、そのまま出力ビデオ信号７２として出力される。一方、データ７６のＩあるいはＰピクチャ部分は、ビデオリオーダバッファ７７で遅延されデータ７８となり、ビデオ出力信号７２として出力される。これを切り替え選択しているのがスイッチ部７９である。
また、ビデオリオーダバッファ７７での遅延時間は、（Ｍ値×ピクチャ周期）となる。このビデオ復号化処理部７１の手段でピクチャ単位の順番を元に戻すことが可能となる。
【００１５】
図４において、ＰＴＳは、ビデオ復号化処理部７１から出力する出力ビデオ信号７２の出力時間を示すものであるが、ＤＴＳは、ビデオ復号化バッファ７３から出力するビデオストリーム７４の出力が持つ時間を示すものである。
ＭＰＥＧ２、ＭＰＥＧ１では、ＴＳの定義において、ビデオ復号化回路７５の処理時間はゼロと仮定している。従って、Ｂピクチャの場合、ＤＴＳ＝ＰＴＳとなる。
したがって、
Ｉ、Ｐピクチャ：ＰＴＳとＤＴＳが付加される。
Ｂピクチャ：ＰＴＳだけが付加される。（ＤＴＳ＝ＰＴＳであるため）
以上のように、ビデオに関するＴＳの付加は、オーディオに比べ複雑なものとなる。
【００１６】
ここまでの説明に使用した、ピクチャスタートコード、テンポラルリファレンス、ピクチャコーディングタイプが、図２のビデオストリーム５５に付加されている構成例を図６に示す。これは、ＭＰＥＧ２における例である。
図６に示すように、入力ビデオ信号５３（図２参照）の各フレームあるいは各フィールドに対応する符号データ部分は、ピクチャレイヤ（picture layer ）と呼ばれ、３２ビットの固定値であるピクチャスタートコードで始まる。このコードに続き１０ビットのテンポラルリファレンスがあり、さらに３ビットのピクチャコーディングタイプがある。
また、その後に１６ビットのビデオ遅延時間制御情報（video buffering verifier delay : vbv＿delay ）などのヘッダが付加されており、そのヘッダの後に実際の符号データが続いている。
【００１７】
なお、前記ビデオ遅延時間制御情報は、可変長符号化された符号データ、つまり部分的に可変レートの符号データを、その平均レートとしての一定レートで受信し、復号化するために必要なビデオ復号化処理部内のバッファ（図４のビデオ復号化バッファ７３）における遅延時間を示す情報である。このビデオ遅延時間制御情報に従って、前記バッファの読み出し制御をすることで、バッファのアンダーフローやオーバーフローの回避が可能になる。
なお、このビデオ遅延時間制御情報は、ビデオ符号化処理部５４の内部で、生成して付加している。このとき一般的には、受信側のビデオ復号化処理部７１内の前記目的のためのバッファの容量と、各ピクチャごとの圧縮された結果である符号量と、前記平均レートから、各ピクチャ単位に演算して生成している。
ＭＰＥＧ２では、前記ビデオ遅延時間制御情報をvbv＿delayと呼び、前記バッファをVBV bufferと呼ぶ。
【００１８】
一般にビデオ遅延時間制御情報は、図２の一定レートのビデオストリーム５５を直接ビデオ復号化処理部で復号するときには有効であるが、マルチプレクサ部５６などで、さらにヘッダが付加され、前記一定レートと異なるレートのストリームに変換されたり、時分割多重のために、時間軸方向にシフトしたストリームに変換された場合は、その変換内容に応じ正確さが失われる。
したがって、多重化されたシステムストリームのレベルでは、ＴＳがバッファのアンダーフローやオーバーフローの回避機能も有する。つまり、ＴＳに従ってビデオ復号化処理部内のバッファ（図４のビデオ復号化バッファ７３）の読み出し制御をすれば、バッファのアンダーフローやオーバーフローの回避が保証されることになる。
このようにＴＳ機能には、多重化される信号間の同期機能のみでなく、バッファのアンダーフローやオーバーフローの回避機能もある。このため、システムストリームが単一の信号（例えばビデオのみ）の場合においても、ＴＳは必要になる。
【００１９】
ここで、従来技術におけるＴＳ値の演算方式について説明する。
従来技術においては、前述したように、ＳＴＣ２（Ｖｎ）を使用するのではなく、図２に示すＳＴＣ１（Ｖｎ）を使用している。これは、ビデオストリーム５５のピクチャスタートコード部分に対応する部分（つまり、各ピクチャの先頭データ）がビデオ符号化処理部５４に入力された時間ＳＴＣ１（Ｖｎ）にｔｖ時間を加算すれば、ＰＴＳ（Ｖｎ）が求まるからである。
しかし、ビデオ符号化処理部５４では、信号処理にある程度の処理時間（数十ｍｓｅｃ）を必要とするため、実際にＴＳ値の演算に使用するまでの間、メモリに記憶させておく必要がある。さらに、ビデオ符号化処理部５４では、前述のようなピクチャ単位の入れ替わりがあるため、記憶させたＳＴＣ１（Ｖｎ）を使用する時にも、それを考慮しなければならない。
また、前記メモリの制御において、ビデオ符号化処理部５４のピクチャの先頭データ（フレーム）単位の入力に依存して一定周期に動作するライト制御部と、可変長符号化されたビデオストリーム５５のピクチャスタートコードの入力に依存して一定周期でない動作をするリード制御部とは、お互いに非同期の関係であるため、リード、ライトタイミングの発生の競合を回避する手段が必ず必要である。このためにビデオパケッタイズ部６０は、処理が複雑なものとなる。
【００２０】
【発明が解決しようとする課題】
従来の符号化伝送装置は、送信側のマルチプレクサ部において、ＳＴＣ（システムタイムクロック）の値をホールドして、ホールドしたＳＴＣをＴＳ（タイムスタンプ）値の演算に使用するまでに、数十ｍｓのオーダの遅延時間が生じるため、ＳＴＣ用のメモリが必要であった。
さらに、このメモリのアクセスには、ピクチャ単位の入れ替わりをも考慮した複雑なアクセスをしなければならず、また、国際標準の符号化方式であるＭＰＥＧ２、ＭＰＥＧ１などでは、ＴＳに使用するＳＴＣのビット長は、３３ビットであるためメモリの数も多くなり、加えて、前記メモリに対するライトとリードの関係は非同期であるため、それらのタイミングの競合に対する調整回路も必須となる等の諸問題があった。
本発明は、前記問題を解決するため、ビデオ符号化処理部が出力するビデオストリーム中のビデオ遅延時間制御情報（vbv＿delay）を基にＴＳ値を算出することにより、従来必要であった３３ビットというビット幅の広いメモリや関連するアドレス発生部等と、書き込みと読み出しが同時発生した場合の調整回路も必要としない、符号化伝送方式におけるＴＳ値の演算方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
前記目的を達成するため、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、少なくともビデオ信号を含む一つ以上の信号を圧縮符号化し、当該圧縮符号化信号を所定のデータ長に分割し、タイムスタンプ値等のヘッダを付加して一つのストリームに生成して伝送する符号化伝送方式において、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記ストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報に基づき演算するものである。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記圧縮符号化されたビデオ信号が前記一つのストリームに生成される信号処理部に入力された時間情報と、前記ビデオストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報と、前記圧縮符号化信号の所定の分割データ長および前記ビデオ信号の符号化のモードに応じて定まる固定の時間情報との加算により演算するものである。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記一つのストリームに生成される信号として、少なくとも前記圧縮符号化されたビデオ信号と圧縮符号化されたオーディオ信号とを含むものである。
【００２２】
【作用】
本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、少なくともビデオ信号を含む一つ以上の信号を圧縮符号化し、当該圧縮符号化信号を所定のデータ長に分割し、タイムスタンプ値等のヘッダを付加して一つのストリームに生成して伝送する符号化伝送方式であって、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記ストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報に基づき演算する。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記ヘッダ内に付加される前記ビデオ信号のタイムスタンプ値を、前記圧縮符号化されたビデオ信号が前記一つのストリームに生成される信号処理部に入力された時間情報と、前記ビデオストリーム内に付加されるビデオ復号化処理部のバッファ遅延時間に相当するビデオ遅延時間制御情報と、前記圧縮符号化信号の所定の分割データ長および前記ビデオ信号の符号化のモードに応じて定まる固定の時間情報との加算により演算する。
また、本発明の符号化伝送方式におけるタイムスタンプ値演算方法は、前記一つのストリームに生成される信号として、少なくとも前記圧縮符号化されたビデオ信号と圧縮符号化されたオーディオ信号とを含み使用する。
【００２３】
【実施例】
本発明による符号化伝送装置を、図１を使用し、図２を参照して説明する。図２は、従来の符号化伝送装置の説明に使用したが、本発明による符号化伝送装置と基本的に構成は同一である。
図１は、図２に示す符号化伝送装置を構成するマルチプレクサ部５６のビデオパケッタイズ部６０におけるＴＳ値の演算に関する部分の構成を示している。
ＳＴＣ発生部５７の出力であるＳＴＣデータ５８は、ＴＳ演算部１１６に入力されている。
また、入力ビデオ信号５３がビデオ符号化処理部５４（図２参照）において符号化されたデータであるビデオストリーム５５は、ピクチャスタートコード検出部８６とピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報（vbv＿delay）検出部１１５とに入力されている。
また、ピクチャスタートコード検出部８６には、ビデオ符号化処理部５４から出力されるビデオストリーム有効信号８２も入力されている。
【００２４】
一方、ピクチャスタートコード検出部８６の出力であるデータ８９、ピクチャコーディングタイプ検出部８７の出力であるデータ９３、ビデオ遅延時間制御情報検出部１１５の出力であるデータ１１７は、それぞれＴＳ演算部１１６に入力されている。また、ピクチャスタートコード検出部８６の出力であるデータ８９は、ピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報検出部１１５にも入力されている。
さらに、ＴＳ演算部１１６には、符号化のモードを示す情報であるＭ値パラメータ９９と固定のオフセット遅延量の情報である遅延パラメータ１００とが入力されている。そして、ＴＳ演算部１１６からは、バッファ１０１へデータ９７と制御信号９８とが出力されている。バッファ１０１からは、データ１０４がスイッチ部１０５（図２参照）へ出力されている。
【００２５】
つぎに動作について説明する。本発明による符号化伝送装置においては、ビデオ符号化処理部５４から出力されるビデオストリーム５５のパケッタイズされるべきデータ長の中にあるピクチャスタートコードがマルチプレクサ部５６に入力された時間（図２におけるＳＴＣ２（Ｖｎ）の値）をＴＳ値の演算に使用する。ただし、図２に示すｔｖ２が変動してしまうため、ビデオストリーム５５を構成するビデオ遅延時間制御情報という情報を利用する。
つぎに、ビデオ遅延時間制御情報と符号化伝送装置の処理時間との関係を図７に示す。図７に示すｔｖは、入力ビデオ信号５３がビデオ符号化処理部５４に入力されてから、ビデオ復号化処理部７１より出力ビデオ信号７２として出力されるまでの時間とする。
このｔｖのうち、入力ビデオ信号５３がビデオ符号化処理部５４で処理されてマルチプレクサ部１１８に入力されるまでの時間をｔｖ１、残りのビデオ復号化処理部７１より出力されるまでの時間をｔｖ２とする。このｔｖ１、ｔｖ２の時間は前述したように変動する。
【００２６】
ここで、ｔｖ２の時間を、さらにｔｖ３とｔｖ４とｔｖ５とに分割する。ｔｖ３は、マルチプレクサ部１１８に入力されてから、ビデオ復号化処理部７１に入力されるまでの時間、ｔｖ４は、ビデオ復号化処理部７１内のビデオ復号化バッファ７３での遅延時間、ｔｖ５は、ビデオ復号化処理部７１内のビデオリオーダバッファ７７での遅延時間である。
ビデオ遅延時間制御情報は、ビデオ復号化処理部７１内のビデオ復号化バッファ７３での遅延時間であるｔｖ４に関するものであり、ｔｖ２の時間の変動は、このビデオ復号化バッファ７３での遅延時間の変動に相当する。つまり、ビデオ遅延時間制御情報の変動である。他のｔｖ３、ｔｖ５は基本的に固定値である。（従来技術について図４を使用して説明したように、ｔｖ５に関しては、Ｂピクチャの場合はビデオリオーダバッファ７７を通過しないのでゼロである。）したがって、このビデオ遅延時間制御情報を検出し、その値を使用すれば、マルチプレクサ部１１８に入力された時間（図７におけるＳＴＣ２（Ｖｎ）の値）により、ＴＳ値の演算が可能となる。
【００２７】
ここで、図１の具体的動作について説明をする。最初にピクチャスタートコード検出部８６は、入力したビデオストリーム有効信号８２でビデオストリーム５５が有効となったことを認識し、有効なビデオストリーム５５内のピクチャスタートコードを検出する。ピクチャスタートコードを検出すると、データ８９をＴＳ演算部１１６とピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報検出部１１５へ出力する。
ピクチャコーディングタイプ検出部８７とビデオ遅延時間制御情報検出部１１５は、ピクチャスタートコードの検出をきっかけに、それぞれその後にあるピクチャコーディングタイプとビデオ遅延時間制御情報を検出し、データ９３、データ１１７としてＴＳ演算部１１６へ出力する。ＴＳ演算部１１６は、データ８９によるピクチャスタートコードの検出をきっかけにＳＴＣ発生部５７からのＳＴＣデータ５８をホールドし、データ９３、データ１１７、Ｍ値パラメータ９９、遅延パラメータ１００により、ＴＳを演算する。
【００２８】
まず、データ９３により、ピクチャコーディングタイプを判別し、ついで、それぞれのピクチャコーディングタイプごとに、以下のようにＴＳを演算する。
［ＩあるいはＰピクチャの場合］
ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
＋（Ｍ値パラメータ９９×ピクチャ周期）
ＤＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
［Ｂピクチャの場合］
ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
【００２９】
上式において、ＳＴＣデータ５８は、ピクチャスタートコードの検出をきっかけにホールドした値で、図７に示したＳＴＣ２（Ｖｎ）に相当し、遅延パラメータ１００は、図７に示すｔｖ３に相当する固定値であり、データ１１７は、ビデオ遅延時間制御情報の値で図７に示すｔｖ４に相当する。
また、（Ｍ値パラメータ９９×ピクチャ周期）は、図７に示すビデオリオーダバッファ７７による遅延時間（ｔｖ５）に相当する。
通常、符号化処理の初期値設定において、このＭ値とピクチャ周期は固定値に設定されるため、この遅延時間は符号化処理中、固定値である。
なお、前述の式は、Ｂピクチャを含むビデオストリームの場合であるが、Ｂピクチャを含まない場合は、Ｉ、Ｐピクチャについてビデオリオーダ処理が不要となる。
このため、ビデオ復号化処理部７１内のビデオリオーダバッファ７７による遅延時間を考慮する必要が無い（ＰＴＳ＝ＤＴＳとなるため）。
【００３０】
したがって、この場合は、以下の式によってＴＳを演算する。
［ＩあるいはＰピクチャの場合］
ＰＴＳ＝ＳＴＣデータ５８＋遅延パラメータ１００＋データ１１７
そして、演算されたＴＳ値は、データ９７として、制御信号９８により、バッファ１０１に書き込まれる。その後、ビデオパケットヘッダのＴＳの出力タイミングのときに、データ１０４として、バッファ１０１内に書き込まれたＴＳ値が出力される。
以上により、ピクチャスタートコードがマルチプレクサ部１１８に入力された時点のＳＴＣデータ５８をホールドして、ただちにＴＳ値の演算に利用できるため、ＳＴＣ用のメモリを不要とすることができ、また、メモリ制御の複雑な回路も不要とすることができる。さらに、ビデオ符号化処理部とのインターフェース信号も、より単純化することができる。
【００３１】
以下、本発明のさらに詳細な実施例を図５を使用して説明をする。
まず、ＳＴＣ発生部５７の出力であるＳＴＣデータ５８は、ＳＴＣホールド回路１２５に入力される。また、ビデオ符号化処理部５４の出力であるビデオストリーム有効信号８２は、ピクチャスタートコード検出回路１３８に入力される。同様に、ビデオ符号化処理部５４の出力であるビデオストリーム５５は、ピクチャスタートコード検出回路１３８と、ピクチャコーディングタイプホールド回路１２６とビデオ遅延時間制御情報ホールド回路１２７とに入力される。
ピクチャスタートコード検出回路１３８の出力であるデータ８９は、ＳＴＣホールド回路１２５とピクチャコーディングタイプホールド回路１２６とビデオ遅延時間制御情報ホールド回路１２７と出力制御回路１３７とに入力される。
【００３２】
図示していないＣＰＵからのＣＰＵバス１２０は、レジスタ１２１とレジスタ１２２とに接続されている。ＳＴＣホールド回路１２５の出力であるデータ１２９は、加算器１３３に入力される。レジスタ１２１の出力であるデータ１２３とレジスタ１２２の出力であるデータ１２４は、セレクタ１２８に入力される。
ピクチャコーディングタイプホールド回路１２６の出力であるデータ９３は、セレクタ１２８と出力制御回路１３７とに入力される。
ビデオ遅延時間制御情報ホールド回路１２７の出力であるデータ１１７は、加算器１３４に入力される。また、セレクタ１２８の出力であるデータ１３０も加算器１３４に入力される。
加算器１３４の出力であるデータ１３５は、加算器１３３に入力される。その加算器１３３の出力であるデータ１３６は、出力制御回路１３７に入力される。出力制御回路１３７からは、データ９７と制御信号９８が出力される。
【００３３】
以下、動作について説明をする。まず、最初にＣＰＵバス１２０により、レジスタ１２１、１２２にデータを設定する。レジスタ１２１には図７に示すｔｖ３＋ｔｖ５の値を、また、レジスタ１２２にはｔｖ３の値を設定する。これらは、いずれも固定値なのであらかじめ設定が可能である。なお、ｔｖ５としては、（Ｍ値×ピクチャ周期）を計算した値である。
ついで、ピクチャスタートコード検出回路１３８に入力されたビデオストリーム有効信号８２により、ビデオストリーム５５が有効となったことを認識し、ピクチャスタートコード検出回路１３８においてビデオストリーム５５内にあるピクチャスタートコードを検出し、その結果をデータ８９としてＳＴＣホールド回路１２５と出力制御回路１３７とピクチャコーディングタイプホールド回路１２６とビデオ遅延時間制御情報ホールド回路１２７とへ出力する。
【００３４】
ＳＴＣホールド回路１２５は、デ−タ８９によるピクチャスタートコードの検出タイミングに合わせて、ＳＴＣ発生部５７からのＳＴＣデータ５８の値をホールドする。同様に、ピクチャコーディングタイプホールド回路１２６は、デ−タ８９によるピクチャスタートコードの検出タイミングを基に、ピクチャスタートコードの１０ビット後（図６参照）にあるピクチャコーディングタイプをホールドする。
また、ビデオ遅延時間制御情報ホールド回路１２７は、デ−タ８９によるピクチャスタートコードの検出タイミングをもとに、ピクチャスタートコードの１３ビットあとにあるビデオ遅延時間制御情報をホールドする。
【００３５】
セレクタ１２８は、ピクチャコーディングタイプホールド回路１２６の出力であるデータ９３により、動作が規定される。まず、データ９３がＩあるいはＰピクチャを示す場合は、始めに、レジスタ１２１の出力であるデータ１２３をデータ１３０として出力し、つぎに、レジスタ１２２の出力であるデータ１２４をデータ１３０として出力する。
前記セレクタ１２８の動作に従って、加算器１３３の出力であるデータ１３６の値は、はじめにデータ１２９とデータ１２３とデータ１１７を加算した値となる。これは、以下のようにＰＴＳの値になる。
ＰＴＳ＝データ１２９＋データ１２３＋データ１１７
データ１２９：ピクチャスタートコードが入力された時点のＳＴＣデータ５８の値
データ１２３：図７に示すｔｖ３＋ｔｖ５の値
データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間制御情報）
【００３６】
つぎのセレクタ１２８の動作では、加算器１３３の出力であるデータ１３６の値は、データ１２９とデータ１２４とデータ１１７を加算した値となる。これは、以下のようにＤＴＳの値になる。
ＤＴＳ＝データ１２９＋データ１２４＋データ１１７
データ１２９：ピクチャスタートコードが入力された時点のＳＴＣデータ５８の値
データ１２４：図７に示すｔｖ３の値
データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間制御情報）
そして、出力制御回路１３７は、ピクチャスタートコード検出回路１３８からのデータ８９でＩ、Ｐピクチャ用の出力モードとなり、データ９７としてデータ１３６として算出されたＰＴＳとＤＴＳとを出力する。同時にそれらを後段のＦＩＦＯに書き込むための制御信号９８を出力する。
【００３７】
つぎに、データ９３がＢピクチャを示す場合を説明する。
この場合セレクタ１２８は、レジスタ１２２の出力であるデータ１２４だけをデータ１３０とする。これにより、加算器１３３の出力であるデータ１３６の値は、データ１２９とデータ１２４とデータ１１７を加算した値になる。これは、以下のようにＢピクチャの場合のＰＴＳの値になる。なぜなら、Ｂピクチャの場合、図７に示すビデオリオーダバッファ７７の遅延時間ｔｖ５がゼロになるためである。
ＰＴＳ＝データ１２９＋データ１２４＋データ１１７
データ１２９：ピクチャスタートコードが入力された時点のＳＴＣデータ５８の値
データ１２４：図７に示すおけるｔｖ３の値
データ１１７：図７に示すｔｖ４の値（ビデオ遅延時間制御情報）
【００３８】
そして、出力制御回路１３７は、ピクチャスタートコード検出回路１３８からのデータ８９でＢピクチャ用の出力モードとなり、データ９７としてデータ１３６として算出されたＰＴＳだけを出力する。同時にそれらを後段のＦＩＦＯに書き込むための制御信号９８を出力する。
以上説明したように、ビデオストリーム中に記述されたビデオ遅延時間制御情報（vbv＿delay）を基にＴＳ値（タイムスタンプ値）を算出することにより、従来技術のようにＳＴＣ（システムタイムクロック）の値を蓄積しておくメモリを不要とすることができる。
そのため、メモリ関係のアドレス発生部やアービトレイション回路など複雑な回路も必要なくなり、回路規模の縮小が可能となる。また、ビデオ符号化処理部とのインターフェース信号も本数を減らすことができる。
なお、ピクチャコーディングタイプが１程度のストリームでは、ピクチャコーディングタイプ検出部８７を不要とすることができる。
【００３９】
【発明の効果】
本発明によれば、ビデオ符号化処理部が出力するビデオストリーム中に記述されたビデオ遅延時間制御情報を基にＴＳ値を算出することにより、従来必要であった３３ビットというビット幅の広いメモリや関連するアドレス発生部等と、書き込みと読み出しが同時発生した場合の調整回路も必要としない、符号化伝送方式におけるＴＳ値の演算方法を提供することができる。
【図面の簡単な説明】
【図１】本発明による符号化伝送装置を構成するビデオパケッタイズ部のタイムスタンプ演算部分ブロック図。
【図２】符号化伝送装置のブロック図。
【図３】ビデオ信号符号化処理におけるピクチャ単位の入れ替わり説明図。
【図４】ビデオ符号化処理部ブロック図。
【図５】本発明による符号化伝送装置を構成するビデオパケッタイズ部ブロック図。
【図６】ビデオストリームの構成説明図。
【図７】符号化伝送装置におけるビデオ遅延時間制御情報と処理時間との関係説明図。
【符号の説明】
５１…オーディオ符号化処理部、５４…ビデオ符号化処理部、５６、１１８…マルチプレクサ部、５７…システムタイムクロック発生部、５９…オーディオパケッタイズ部、６０…ビデオパケッタイズ部、６２…伝送路、６４…デマルチプレクサ部、６５…オーディオパケット解析部、６６…ビデオパケット解析部、６８…オーディオ復号化処理部、７１…ビデオ復号化処理部、７３…ビデオ復号化バッファ、７５…ビデオ復号化回路、７７…ビデオリオーダバッファ、７９、１０５、１０６…スイッチ部、８６…ピクチャスタートコード検出部、８７…ピクチャコーディングタイプ検出部、１１６…タイムスタンプ演算部、１０１…バッファ、１１１…システムタイムクロック再生部、１１５…ビデオ遅延時間制御情報検出部、１２０…ＣＰＵバス、１２１、１２２…レジスタ、１２５…システムタイムクロックホールド回路、１２６…ピクチャコーディングタイプホールド回路、１２７…ビデオ遅延時間制御情報ホールド回路、１２８…セレクタ、１３３、１３４…加算器、１３７…出力制御回路、１３８…ピクチャスタートコード検出回路。
５０…入力オーディオ信号、５２、６７…オーディオストリーム、５３…入力ビデオ信号、５５、７０、７４…ビデオストリーム、５８…システムタイムクロックデータ、６１、６３…システムストリーム、６９…出力オーディオ信号、７２…出力ビデオ信号、７６、７８、８８、８９、９３、９７、１０３、１０４、１１７、１２３、１２４、１２９、１３０、１３５、１３６…データ、８２…ビデオストリーム有効信号、９８…制御信号、９９…Ｍ値パラメータ、１００…遅延パラメータ、１０７…オーディオパケットデータ、１０８、１１０…システムタイムクロックデータ、１０９…ビデオパケットデータ、１１２…オーディオタイムスタンプ、１１３…ビデオタイムスタンプ。[0001]
[Industrial application fields]
The present invention relates to a method for calculating a time stamp value required when an audio signal or a video signal is encoded and transmitted.
[0002]
[Prior art]
In general, in an encoding / transmission apparatus that multiplex-transmits an audio signal and a video signal, it is necessary to synchronize and output the audio and video decoding units.
This is because the image and audio are synchronized, for example, when the video decoding processing unit outputs the face of the person who is generating the sound of “A”, the audio decoding processing unit The output of means that it is necessary to output the sound of “a”.
In order to enable synchronization of images and audio in this way, a time stamp (hereinafter referred to as TS) is described in MPEG2 (Moving Picture Image Coding Experts Group Phase 2), MPEG1, etc., which are international standard encoding methods. ) Output timing information.
[0003]
This TS has a presentation time stamp (hereinafter referred to as PTS) and a decoding time stamp (hereinafter referred to as DTS), which are basically designated by the PTS. If the audio signal or video signal subjected to the decoding process is output according to the time, synchronization can be achieved.
Generally, a stream obtained by multiplexing data in which an audio signal is encoded (hereinafter referred to as an audio stream) and data in which a video signal is encoded (hereinafter referred to as a video stream) is referred to as a system stream. The audio and video TSs are added to the system stream.
Note that this TS is a sync word (a code for every fixed word in the audio stream) in the case of an audio signal, and a picture start code (picture start code in the case of a video signal). It is added based on the code) part indicating the break.
[0004]
Here, FIG. 2 shows a schematic block diagram of a conventional coding transmission apparatus. The encoding transmission apparatus is roughly divided into a transmission side, a transmission path, and a reception side.
In FIG. 2, on the transmission side, an input audio signal 50 is input to the audio encoding processing unit 51 to be encoded, becomes an audio stream 52, and is output to the multiplexer unit 56.
In addition, the input video signal 53 is input to the video encoding processing unit 54 and encoded, becomes a video stream 55, and is output to the multiplexer unit 56.
The audio stream 52 and the video stream 55 input to the multiplexer unit 56 are multiplexed to form a system stream 61 and output to the transmission path 62.
Further, the multiplexer unit 56 that performs multiplexing will be described. The multiplexer unit 56 includes a system time clock (hereinafter referred to as STC) generating unit 57, an audio packetizing unit 59, a video packetizing unit 60, The switch unit 105 is configured. The STC is defined by MPEG2, MPEG1, etc., and is a common clock in a signal processing system as shown in FIG.
[0005]
The audio packetizing unit 59 divides the input audio stream 52 into a predetermined length, forms a packet, and outputs the data 103 to the switch unit 105. Then, it is selected by the switch unit 105 and multiplexed as a system stream 61 in units of packets. At this time, if there is a sync word in the packetized data length of the audio stream 52, a TS is added to the header portion of the packet. This TS is obtained based on the STC data 58 of the STC generator 57.
On the other hand, the video packetizing unit 60 also divides the input video stream 55 into a certain length, forms packets, and outputs the data 104 to the switch unit 105. Then, it is selected by the switch unit 105 and multiplexed as a system stream 61 in units of packets. At this time, if a picture start code is included in the packetized data length of the video stream 55, a TS is added to the header portion of the packet. This TS is obtained based on the STC data 58 of the STC generator 57.
Then, the STC data 58 is periodically selected by the switch unit 105 and multiplexed as the system stream 61 so that the STC can be reproduced on the receiving side.
[0006]
Next, on the receiving side, the system stream 63 transmitted through the transmission path 62 is input to the demultiplexer unit 64 and separated, and output as an audio stream 67 and an audio TS 112, a video stream 70 and a video TS 113, and STC data 110. The
Further, the demultiplexer unit 64 that performs the separation will be described. The demultiplexer unit 64 includes a switch unit 106, an STC reproduction unit 111, an audio packet analysis unit 65, and a video packet analysis unit 66.
In the demultiplexer unit 64, the audio packet data 107 is sent to the audio packet analysis unit 65, the video packet data 109 is sent to the video packet analysis unit 66, and the STC data 108 is sent from the input system stream 63 using the switch unit 106. The data is output to the STC playback unit 111.
[0007]
The audio packet analysis unit 65 analyzes the input audio packet data 107, separates it into an audio stream 67 and an audio TS 112, and outputs it to the audio decoding processing unit 68.
On the other hand, the video packet analysis unit 66 analyzes the input video packet data 109, separates it into a video stream 70 and a video TS 113, and outputs them to the video decoding processing unit 71.
Also, the STC reproduction unit 111 reproduces the STC data 110 from the input STC data 108 so that the output is always the same as the STC data 58 output from the STC generation unit 57 on the transmission side, and the audio decoding processing unit 68. And output to the video decoding processing unit 71.
The audio decoding processing unit 68 decodes the input audio stream 67 with reference to the audio TS 112 and the STC data 110, and outputs an output audio signal 69 at a time according to the TS value.
The video decoding processing unit 71 decodes the input video stream 70 with reference to the video TS 113 and the STC data 110, and outputs an output video signal 72 at a time according to the TS value.
[0008]
Next, the output operation by the TS in each decoding processing unit will be described more specifically.
The output operation by the TS is such that when the audio decoding processing unit 68 and the video decoding processing unit 71 match the values of the PTS and STC data of the respective audio and video TSs, the corresponding data portion is stored. Realized by output.
For example, if the value of PTS corresponding to a certain sync word An of the audio stream 67 is PTS (An), the audio decoding processing unit when the value of the STC data 110 becomes the same as PTS (An). 68 outputs the decoded data of the sync word An portion.
Similarly, if the value of PTS corresponding to a certain picture start code Vn of the video stream 70 is PTS (Vn), video decoding is performed when the value of the STC data 110 becomes the same as PTS (Vn). The processing unit 71 outputs the decoded data of the picture start code Vn part.
[0009]
2, after the input audio signal 50 is input to the audio encoding processing unit 51 on the transmission side, the output audio signal 69 is output from the audio decoding processing unit 68 on the reception side. It is assumed that the time until the time is ta.
Similarly, it is assumed that the time from when the input video signal 53 is input to the video encoding processing unit 54 on the transmission side until the output video signal 72 is output from the video decoding processing unit 71 on the reception side is tv. .
In this case, in order to synchronize the audio and video, set the time of the transmission processing system so that the time from input to output is ta = tv, and set the value of each PTS based on that time. It will be good.
[0010]
Next, TS calculation in the audio packetizing unit 59 and the video packetizing unit 60 constituting the multiplexer 56 will be described.
First, of the time ta from input to output of the audio signal, the time ta until input to the multiplexer unit 56 is ta.₁ And the remaining time ta₂ Suppose that
Here, there is a sync word An in the data length to be packetized of the audio stream 52 input to the multiplexer unit 56, and the value of the STC data 58 when adding TS to the header portion of the packet is STC2 ( If it is An), PTS (An) can be obtained as follows.
PTS (An) = STC2 (An) + ta₂
[0011]
Also for video, the time tv from the input to the output of the video signal until the input to the multiplexer 56 is tv.₁ And the remaining time is tv₂ Suppose that
Here, there is a picture start code Vn in the data length to be packetized of the video stream 55 input to the multiplexer unit 56, and the value of the STC data 58 when adding TS to the header portion of the packet is STC2. If it is (Vn), PTS (Vn) should also be obtained as follows.
PTS (Vn) = STC2 (Vn) + tv₂
[0012]
However, in the case of video, the video encoding processing unit 54 performs variable-length encoding or replacement of picture units. For this reason, tv₁ Varies depending on the coding situation. Therefore, tv₂ Also fluctuate, (tv is fixed, tv₂ = Tv-tv₁ Because it is. ) Tv to be added to STC2 (Vn)₂ Cannot be set in advance, and cannot be obtained in the same manner as audio. In the case of video, since there is a change in units of pictures, it is also necessary to obtain DTS.
Here, the replacement in units of pictures will be described using the schematic diagram of FIG.
In FIG. 3, the delay time related to the replacement of the picture unit is taken into consideration, but other processing time and the like are omitted.
3A shows an input video signal 53 input to the video encoding processing unit 54, and FIG. 3B shows a video stream 55 output from the video encoding processing unit 54 (or from the video packet analysis unit 66). The output video stream 70.), (C) shows the output video signal 72 output from the video decoding processing unit 71.
[0013]
The codes I, P, and B described in any of the signals indicate picture coding types defined in MPEG2 and MPEG1.
In the example of FIG. 3, the picture interval of the I or P picture is 3 pictures, and this picture interval of the I or P picture is generally called an M value (in the case of FIG. 3, M value = 3). Note that the numerical values shown in parentheses at the top of each signal are temporal reference values, which indicate the order of pictures in the input video signal 53.
Replacement of picture units is performed as follows. In the video encoding processing unit 54, as for the input video signal 53 shown in (a), only the B picture is inserted after the rear I or P picture in a delayed manner to change the order of the pictures, and shown in (b). The state of the video stream 55 is assumed. This replacement state does not change even in the video stream 70.
Next, in the video decoding processing unit 71, on the contrary, the I and P pictures of the video stream 70 are sequentially delayed and inserted after the subsequent consecutive B pictures to return to the original order, and the video shown in (c). The original order is set like the output signal 72. Thus, returning the order in the video decoding processing unit 71 is called reorder.
[0014]
Next, the relationship between the PTS and the DTS in the reorder in the video decoding processing unit 71 is shown in FIG. 4 and will be described.
The video stream 70 input to the video decoding processing unit 71 is first stored in the video decoding buffer 73 and then video decoded as a video stream 74 in order to absorb fluctuations on the time axis due to variable length coding. Is output to the conversion circuit 75. The video decoding circuit 75 decodes the input video stream 74 into data 76.
Here, the B picture portion of the data 76 is output as the output video signal 72 as it is. On the other hand, the I or P picture portion of the data 76 is delayed by the video reorder buffer 77 to become data 78 and output as a video output signal 72. It is the switch unit 79 that selects this.
The delay time in the video reorder buffer 77 is (M value × picture cycle). This means of the video decoding processing unit 71 can restore the order of picture units.
[0015]
In FIG. 4, PTS indicates the output time of the output video signal 72 output from the video decoding processing unit 71, while DTS indicates the time that the output of the video stream 74 output from the video decoding buffer 73 has. It is shown.
In MPEG2 and MPEG1, in the definition of TS, the processing time of the video decoding circuit 75 is assumed to be zero. Therefore, in the case of a B picture, DTS = PTS.
Therefore,
I, P picture: PTS and DTS are added.
B picture: Only PTS is added. (Because DTS = PTS)
As described above, the addition of TS related to video is more complicated than audio.
[0016]
FIG. 6 shows a configuration example in which the picture start code, temporal reference, and picture coding type used in the description so far are added to the video stream 55 of FIG. This is an example in MPEG2.
As shown in FIG. 6, the code data portion corresponding to each frame or each field of the input video signal 53 (see FIG. 2) is called a picture layer and is a picture start code that is a fixed value of 32 bits. Begins with. This code is followed by a 10-bit temporal reference and a 3-bit picture coding type.
After that, a header such as 16-bit video delay time control information (video buffering verifier delay: vbv_delay) is added, and the actual code data follows the header.
[0017]
The video delay time control information includes video decoding necessary for receiving and decoding variable length encoded code data, that is, partially variable rate code data at a constant rate as an average rate. This is information indicating the delay time in the buffer (video decoding buffer 73 in FIG. 4) in the conversion processing unit. By controlling the reading of the buffer in accordance with the video delay time control information, it is possible to avoid buffer underflow and overflow.
The video delay time control information is generated and added inside the video encoding processing unit 54. At this time, in general, from the capacity of the buffer for the purpose in the video decoding processing unit 71 on the receiving side, the code amount which is the compressed result for each picture, and the average rate, each picture unit It is generated by calculating.
In MPEG2, the video delay time control information is called vbv_delay, and the buffer is called VBV buffer.
[0018]
In general, the video delay time control information is effective when the video stream 55 having a constant rate shown in FIG. 2 is directly decoded by the video decoding processing unit. However, a header is added by the multiplexer unit 56 or the like, and the video delay time control information is different from the constant rate. When converted into a stream of a rate or converted into a stream shifted in the time axis direction for time division multiplexing, the accuracy is lost depending on the content of the conversion.
Therefore, at the level of the multiplexed system stream, the TS also has a function of avoiding buffer underflow and overflow. That is, if the reading control of the buffer (video decoding buffer 73 in FIG. 4) in the video decoding processing unit is performed according to TS, it is guaranteed that the buffer underflow or overflow is avoided.
As described above, the TS function includes not only a synchronization function between multiplexed signals but also a function of avoiding buffer underflow and overflow. For this reason, TS is necessary even when the system stream is a single signal (for example, video only).
[0019]
Here, the TS value calculation method in the prior art will be described.
In the prior art, as described above, STC1 (Vn) shown in FIG. 2 is used instead of using STC2 (Vn). This is because if the portion corresponding to the picture start code portion of the video stream 55 (that is, the head data of each picture) is added to the time STC1 (Vn) input to the video encoding processing unit 54, the tv time is added. This is because Vn) is obtained.
However, since the video encoding processing unit 54 requires a certain amount of processing time (several tens of milliseconds) for signal processing, it must be stored in the memory until it is actually used for calculating the TS value. . Furthermore, since the video encoding processing unit 54 has the above-mentioned replacement of picture units, it must be taken into consideration when using the stored STC1 (Vn).
Further, in the memory control, the video encoding processing unit 54 has a write control unit that operates in a fixed cycle depending on the input of the head data (frame) unit of the picture, and the variable length encoded video stream 55 picture. Since the read control units that operate in a non-constant cycle depending on the input of the start code are in an asynchronous relationship with each other, a means for avoiding the competition of the generation of the read and write timings is always necessary. For this reason, the video packetizing unit 60 has a complicated process.
[0020]
[Problems to be solved by the invention]
In a conventional encoding transmission apparatus, a multiplexer unit on the transmission side holds an STC (system time clock) value and uses the held STC for calculating a TS (time stamp) value. Since an order delay time occurs, an STC memory is required.
Furthermore, this memory access requires complicated access that takes into account the change of picture units. In addition, in MPEG2 and MPEG1, which are international standard encoding schemes, bits of STC used for TS Since the length is 33 bits, the number of memories increases, and in addition, since the relationship between writing and reading to the memory is asynchronous, there are various problems such as the necessity of an adjustment circuit for the timing conflict. It was.
In order to solve the above problem, the present invention calculates the TS value based on the video delay time control information (vbv_delay) in the video stream output from the video encoding processing unit, which is 33 bits which has been conventionally required. It is an object of the present invention to provide a TS value calculation method in an encoded transmission system that does not require a memory having a wide bit width, an associated address generation unit, and an adjustment circuit when writing and reading occur simultaneously.
[0021]
[Means for Solving the Problems]
In order to achieve the above object, the time stamp value calculation method in the encoded transmission system of the present invention compresses and encodes one or more signals including at least a video signal, and divides the compressed encoded signal into a predetermined data length. In a coded transmission scheme in which a header such as a time stamp value is added to generate and transmit a single stream, the video signal to which the time stamp value of the video signal added in the header is added is added to the stream. The calculation is based on the video delay time control information corresponding to the buffer delay time of the decoding processing unit.
In the time stamp value calculation method in the coded transmission system of the present invention, the compression-coded video signal is generated in the one stream from the time stamp value of the video signal added in the header. Time information input to a signal processing unit, video delay time control information corresponding to a buffer delay time of a video decoding processing unit added to the video stream, a predetermined divided data length of the compressed encoded signal, and The calculation is performed by addition with fixed time information determined according to the video signal encoding mode.
The time stamp value calculation method in the coded transmission system of the present invention includes at least the compression-coded video signal and the compression-coded audio signal as signals generated in the one stream.
[0022]
[Action]
The time stamp value calculation method in the encoded transmission system of the present invention compresses and encodes one or more signals including at least a video signal, divides the compressed encoded signal into a predetermined data length, and a header such as a time stamp value Is added to the video transmission processing unit for generating and transmitting a single stream with the time stamp value of the video signal added in the header. Calculation is performed based on video delay time control information corresponding to the buffer delay time.
In the time stamp value calculation method in the coded transmission system of the present invention, the compression-coded video signal is generated in the one stream from the time stamp value of the video signal added in the header. Time information input to a signal processing unit, video delay time control information corresponding to a buffer delay time of a video decoding processing unit added to the video stream, a predetermined divided data length of the compressed encoded signal, and The calculation is performed by addition with fixed time information determined according to the video signal encoding mode.
Also, the time stamp value calculation method in the coded transmission system of the present invention uses at least the compression-coded video signal and the compression-coded audio signal as signals generated in the one stream. .
[0023]
【Example】
An encoding transmission apparatus according to the present invention will be described with reference to FIG. FIG. 2 is used to describe a conventional coded transmission apparatus, but basically has the same configuration as the coded transmission apparatus according to the present invention.
FIG. 1 shows the configuration of a part related to the calculation of the TS value in the video packetizing unit 60 of the multiplexer unit 56 constituting the encoding transmission apparatus shown in FIG.
The STC data 58 that is the output of the STC generation unit 57 is input to the TS calculation unit 116.
In addition, a video stream 55 that is data obtained by encoding the input video signal 53 in the video encoding processing unit 54 (see FIG. 2) includes a picture start code detection unit 86, a picture coding type detection unit 87, and video delay time control information. (Vbv_delay) is input to the detection unit 115.
In addition, the picture start code detection unit 86 also receives a video stream valid signal 82 output from the video encoding processing unit 54.
[0024]
On the other hand, the data 89 output from the picture start code detector 86, the data 93 output from the picture coding type detector 87, and the data 117 output from the video delay time control information detector 115 are respectively sent to the TS calculator 116. Have been entered. Further, the data 89 that is the output of the picture start code detector 86 is also input to the picture coding type detector 87 and the video delay time control information detector 115.
Further, the TS value calculation unit 116 receives an M-value parameter 99 that is information indicating a coding mode and a delay parameter 100 that is information about a fixed offset delay amount. The TS calculation unit 116 outputs data 97 and a control signal 98 to the buffer 101. Data 104 is output from the buffer 101 to the switch unit 105 (see FIG. 2).
[0025]
Next, the operation will be described. In the encoding transmission apparatus according to the present invention, the time when the picture start code within the data length to be packetized of the video stream 55 output from the video encoding processing unit 54 is input to the multiplexer unit 56 (in FIG. 2). STC2 (Vn) value) is used to calculate the TS value. However, since tv2 shown in FIG. 2 fluctuates, information called video delay time control information constituting the video stream 55 is used.
Next, FIG. 7 shows the relationship between the video delay time control information and the processing time of the encoding transmission apparatus. Tv shown in FIG. 7 is a time from when the input video signal 53 is input to the video encoding processing unit 54 to when it is output as the output video signal 72 from the video decoding processing unit 71.
Of these tvs, tv1 is the time until the input video signal 53 is processed by the video encoding processing unit 54 and is input to the multiplexer unit 118, and tv2 is the time until it is output from the remaining video decoding processing unit 71. And The times tv1 and tv2 vary as described above.
[0026]
Here, the time of tv2 is further divided into tv3, tv4, and tv5. tv3 is a time from when it is input to the multiplexer unit 118 until it is input to the video decoding processing unit 71, tv4 is a delay time in the video decoding buffer 73 in the video decoding processing unit 71, and tv5 is This is a delay time in the video reorder buffer 77 in the video decoding processing unit 71.
The video delay time control information relates to tv4 which is the delay time in the video decoding buffer 73 in the video decoding processing unit 71, and the variation in the time of tv2 is the delay time in the video decoding buffer 73. It corresponds to the fluctuation. That is, it is a change in video delay time control information. The other tv3 and tv5 are basically fixed values. (As described in the prior art with reference to FIG. 4, tv5 is zero because it does not pass through the video reorder buffer 77 in the case of a B picture.) Therefore, this video delay time control information is detected and If the value is used, the TS value can be calculated based on the time (the value of STC2 (Vn) in FIG. 7) input to the multiplexer unit 118.
[0027]
Here, the specific operation of FIG. 1 will be described. First, the picture start code detector 86 recognizes that the video stream 55 has become valid with the input video stream valid signal 82 and detects a picture start code in the valid video stream 55. When the picture start code is detected, the data 89 is output to the TS calculation unit 116, the picture coding type detection unit 87, and the video delay time control information detection unit 115.
The picture coding type detection unit 87 and the video delay time control information detection unit 115 detect the picture coding type and the video delay time control information after the detection of the picture start code, and TS as data 93 and data 117, respectively. It outputs to the calculation part 116. The TS calculation unit 116 holds the STC data 58 from the STC generation unit 57 triggered by the detection of the picture start code from the data 89, and calculates the TS using the data 93, the data 117, the M value parameter 99, and the delay parameter 100. .
[0028]
First, the picture coding type is determined from the data 93, and then TS is calculated for each picture coding type as follows.
[I or P picture]
PTS = STC data 58 + delay parameter 100 + data 117
+ (M value parameter 99 x picture period)
DTS = STC data 58 + delay parameter 100 + data 117
[B picture]
PTS = STC data 58 + delay parameter 100 + data 117
[0029]
In the above equation, the STC data 58 is a value held by the detection of the picture start code, and corresponds to STC2 (Vn) shown in FIG. 7, and the delay parameter 100 is a fixed value corresponding to tv3 shown in FIG. The data 117 is the value of the video delay time control information and corresponds to tv4 shown in FIG.
Further, (M value parameter 99 × picture cycle) corresponds to a delay time (tv5) by the video reorder buffer 77 shown in FIG.
Usually, in the initial value setting of the encoding process, the M value and the picture period are set to fixed values, and thus the delay time is a fixed value during the encoding process.
The above formula is for a video stream including a B picture. However, when the B picture is not included, video reorder processing is not required for I and P pictures.
For this reason, it is not necessary to consider the delay time due to the video reorder buffer 77 in the video decoding processing unit 71 (because PTS = DTS).
[0030]
Therefore, in this case, TS is calculated by the following equation.
[I or P picture]
PTS = STC data 58 + delay parameter 100 + data 117
The calculated TS value is written in the buffer 101 as data 97 by the control signal 98. Thereafter, the TS value written in the buffer 101 is output as the data 104 at the TS output timing of the video packet header.
As described above, since the STC data 58 at the time when the picture start code is input to the multiplexer unit 118 can be held and used immediately for the calculation of the TS value, the STC memory can be made unnecessary and the memory control can be performed. The complicated circuit can be eliminated. Furthermore, the interface signal with the video encoding processing unit can be further simplified.
[0031]
Hereinafter, a more detailed embodiment of the present invention will be described with reference to FIG.
First, STC data 58 that is an output of the STC generator 57 is input to the STC hold circuit 125. The video stream valid signal 82 that is the output of the video encoding processing unit 54 is input to the picture start code detection circuit 138. Similarly, the video stream 55 that is the output of the video encoding processing unit 54 is input to the picture start code detection circuit 138, the picture coding type hold circuit 126, and the video delay time control information hold circuit 127.
Data 89 that is the output of the picture start code detection circuit 138 is input to the STC hold circuit 125, the picture coding type hold circuit 126, the video delay time control information hold circuit 127, and the output control circuit 137.
[0032]
A CPU bus 120 from a CPU (not shown) is connected to the register 121 and the register 122. Data 129 which is the output of the STC hold circuit 125 is input to the adder 133. Data 123 that is the output of the register 121 and data 124 that is the output of the register 122 are input to the selector 128.
Data 93 that is the output of the picture coding type hold circuit 126 is input to the selector 128 and the output control circuit 137.
Data 117 that is the output of the video delay time control information hold circuit 127 is input to the adder 134. Further, the data 130 that is the output of the selector 128 is also input to the adder 134.
Data 135 that is the output of the adder 134 is input to the adder 133. Data 136 that is the output of the adder 133 is input to the output control circuit 137. Data 97 and a control signal 98 are output from the output control circuit 137.
[0033]
The operation will be described below. First, data is first set in the registers 121 and 122 by the CPU bus 120. The value of tv3 + tv5 shown in FIG. 7 is set in the register 121, and the value of tv3 is set in the register 122. Since these are all fixed values, they can be set in advance. Note that tv5 is a value obtained by calculating (M value × picture cycle).
Next, the video stream valid signal 82 inputted to the picture start code detection circuit 138 recognizes that the video stream 55 is valid, and the picture start code detection circuit 138 detects the picture start code in the video stream 55. The result is output as data 89 to the STC hold circuit 125, the output control circuit 137, the picture coding type hold circuit 126, and the video delay time control information hold circuit 127.
[0034]
The STC hold circuit 125 holds the value of the STC data 58 from the STC generator 57 in accordance with the detection timing of the picture start code by the data 89. Similarly, the picture coding type hold circuit 126 holds the picture coding type 10 bits after the picture start code (see FIG. 6) based on the detection timing of the picture start code by the data 89.
The video delay time control information hold circuit 127 holds the video delay time control information 13 bits after the picture start code based on the detection timing of the picture start code by the data 89.
[0035]
The operation of the selector 128 is defined by the data 93 that is the output of the picture coding type hold circuit 126. First, when the data 93 indicates an I or P picture, first, the data 123 output from the register 121 is output as the data 130, and then the data 124 output from the register 122 is output as the data 130.
According to the operation of the selector 128, the value of the data 136 that is the output of the adder 133 is a value obtained by adding the data 129, the data 123, and the data 117 first. This becomes the value of PTS as follows.
PTS = data 129 + data 123 + data 117
Data 129: Value of the STC data 58 when the picture start code is input
Data 123: Value of tv3 + tv5 shown in FIG.
Data 117: Value of tv4 shown in FIG. 7 (video delay time control information)
[0036]
In the next operation of the selector 128, the value of the data 136 that is the output of the adder 133 is a value obtained by adding the data 129, the data 124, and the data 117. This becomes the value of DTS as follows.
DTS = data 129 + data 124 + data 117
Data 129: Value of the STC data 58 when the picture start code is input
Data 124: Value of tv3 shown in FIG.
Data 117: Value of tv4 shown in FIG. 7 (video delay time control information)
Then, the output control circuit 137 enters the output mode for I and P pictures with the data 89 from the picture start code detection circuit 138 and outputs the PTS and DTS calculated as the data 136 as the data 97. At the same time, a control signal 98 for writing them to the FIFO in the subsequent stage is output.
[0037]
Next, a case where the data 93 indicates a B picture will be described.
In this case, the selector 128 sets only the data 124 output from the register 122 as the data 130. As a result, the value of the data 136 that is the output of the adder 133 is a value obtained by adding the data 129, the data 124, and the data 117. This is the PTS value for a B picture as follows. This is because the delay time tv5 of the video reorder buffer 77 shown in FIG.
PTS = data 129 + data 124 + data 117
Data 129: Value of the STC data 58 when the picture start code is input
Data 124: tv3 value shown in FIG.
Data 117: Value of tv4 shown in FIG. 7 (video delay time control information)
[0038]
Then, the output control circuit 137 enters the B picture output mode with the data 89 from the picture start code detection circuit 138, and outputs only the PTS calculated as the data 136 as the data 97. At the same time, a control signal 98 for writing them to the FIFO in the subsequent stage is output.
As described above, by calculating the TS value (time stamp value) based on the video delay time control information (vbv_delay) described in the video stream, the value of the STC (system time clock) as in the prior art. Can be made unnecessary.
Therefore, complicated circuits such as a memory-related address generation unit and an arbitration circuit are not required, and the circuit scale can be reduced. Also, the number of interface signals with the video encoding processing unit can be reduced.
It should be noted that the picture coding type detector 87 can be dispensed with for a stream having a picture coding type of about 1.
[0039]
【The invention's effect】
According to the present invention, by calculating the TS value based on the video delay time control information described in the video stream output from the video encoding processing unit, a memory having a wide bit width of 33 bits, which has conventionally been required. In addition, it is possible to provide a method for calculating a TS value in an encoded transmission method, which does not require an address generation unit, a related address generation unit, and an adjustment circuit when writing and reading occur simultaneously.
[Brief description of the drawings]
FIG. 1 is a block diagram of a time stamp calculation part of a video packetizing unit constituting an encoding transmission apparatus according to the present invention.
FIG. 2 is a block diagram of an encoded transmission device.
FIG. 3 is an explanatory diagram of replacement of picture units in video signal encoding processing.
FIG. 4 is a block diagram of a video encoding processing unit.
FIG. 5 is a block diagram of a video packetizing unit constituting an encoding transmission apparatus according to the present invention.
FIG. 6 is a diagram illustrating the configuration of a video stream.
FIG. 7 is a diagram illustrating the relationship between video delay time control information and processing time in an encoded transmission device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 51 ... Audio encoding process part, 54 ... Video encoding process part, 56, 118 ... Multiplexer part, 57 ... System time clock generation part, 59 ... Audio packetizing part, 60 ... Video packetizing part, 62 ... Transmission path, 64 ... Demultiplexer unit, 65 ... Audio packet analysis unit, 66 ... Video packet analysis unit, 68 ... Audio decoding processing unit, 71 ... Video decoding processing unit, 73 ... Video decoding buffer, 75 ... Video decoding circuit, 77 ... Video reorder buffer, 79, 105, 106 ... Switch unit, 86 ... Picture start code detection unit, 87 ... Picture coding type detection unit, 116 ... Time stamp calculation unit, 101 ... Buffer, 111 ... System time clock reproduction unit, 115: Video delay time control information detection unit, 120 ... C U bus, 121, 122 ... register, 125 ... system time clock hold circuit, 126 ... picture coding type hold circuit, 127 ... video delay time control information hold circuit, 128 ... selector, 133, 134 ... adder, 137 ... output control Circuit, 138... Picture start code detection circuit.
50 ... Input audio signal, 52, 67 ... Audio stream, 53 ... Input video signal, 55, 70, 74 ... Video stream, 58 ... System time clock data, 61, 63 ... System stream, 69 ... Output audio signal, 72 ... Output video signal, 76, 78, 88, 89, 93, 97, 103, 104, 117, 123, 124, 129, 130, 135, 136 ... data, 82 ... video stream valid signal, 98 ... control signal, 99 ... M value parameter, 100 ... delay parameter, 107 ... audio packet data, 108, 110 ... system time clock data, 109 ... video packet data, 112 ... audio time stamp, 113 ... video time stamp.

Claims

One or more signals including at least a video signal are compressed and encoded, and the compressed and encoded signal is divided into a predetermined data length, and a header such as a time stamp value is added to generate a single stream for transmission. In the transmission method,
A code that calculates a time stamp value of the video signal added in the header based on video delay time control information corresponding to a buffer delay time of a video decoding processing unit added in the stream. Time stamp value calculation method in a generalized transmission system.

2. The time information input to the signal processing unit in which the compression-coded video signal is generated in the one stream, as the time stamp value of the video signal added in the header. Video delay time control information corresponding to a buffer delay time of a video decoding processing unit added in the video stream, a predetermined divided data length of the compressed encoded signal, and a video signal encoding mode. A time stamp value calculation method in an encoded transmission system, wherein the time stamp value is calculated by addition with fixed time information determined accordingly.

3. The encoding according to claim 1, wherein the signal generated in the one stream includes at least the compression-encoded video signal and the compression-encoded audio signal. Time stamp value calculation method in the transmission method.