JPH09312656A

JPH09312656A - 伝送装置およびその方法

Info

Publication number: JPH09312656A
Application number: JP6810297A
Authority: JP
Inventors: Takeshi Oda; 剛小田; Tomoji Miyazawa; 智司宮澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-03-21
Filing date: 1997-03-21
Publication date: 1997-12-02

Abstract

(57)【要約】【課題】音声・映像データＭＰＥＧ２方式等により圧縮
符号化し、多重化してディジタル回線を介して伝送する
ために好適な装置および方法を提供する。【解決手段】ＭＰＥＧ２方式のＰＥＳパケットを伝送す
るトランスポートストリームを生成する際に、圧縮映像
データおよび圧縮音声データのデータ量を、ＭＰＥＧ２
方式のトランスポートパケットのデータ量（１８８バイ
ト）の整数倍として、音声・映像データのフレーム周期
の境界とトランスポートパケットの境界とを一致させ、
上記データ量を任意とした場合において、スケジューリ
ングの際に必要となるオフセット値の計算等を不要にす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＡＴＭ通信回線等
を介してディジタル音声・映像データを伝送する伝送装
置およびその方法に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】映画
等の動画の音声データおよび映像データ（音声・映像デ
ータ）を圧縮符号化するＭＰＥＧ(moving picture expe
rts group)２方式等の圧縮符号化方式が実用化されてい
る。また、音声データといった、データ量が非常に多い
データを伝送する方式として、非同期伝送モード（ＡＴ
Ｍ；asynchronous transfer mode）方式が提案されてお
り、ＡＴＭ方式等の高速ディジタル通信回線を介して、
ＭＰＥＧ２方式等により圧縮符号化された音声・映像デ
ータを伝送する方法が検討されている。

【０００３】ＡＴＭ方式の通信回線を介してＭＰＥＧ２
方式により圧縮符号化した音声・映像データ（圧縮音声
・映像データ）を伝送する場合、送信側の圧縮符号化装
置が、受信側のビデオＳＴＤバッファ（ＶＢＶ(video b
uffer verifier) バッファ）およびオーディオＳＴＤバ
ッファ（ＡＢＶ(audio buffer verifier) にオーバーフ
ローもアンダーフローも生じないように、発生する圧縮
音声・映像データのデータ量の制御（符号発生量制御
（レート制御））を行わなければならない。

【０００４】送信側の圧縮符号化装置は、受信側のＳＴ
Ｄバッファの残り容量を計算しながらレート制御を行う
必要がある。しかしながら、受信側のＳＴＤバッファの
残り容量の計算は複雑で困難である。また、送信側の圧
縮符号化のタイミングが悪いと、残り容量によっては受
信側のＳＴＤバッファにオーバーフローおよびアンダー
フロー（破綻）が生じる可能性がある。さらに、多重化
装置は、圧縮音声データおよび圧縮映像データの各エレ
メンタリストリームを所定のトランスポートストリーム
に各ＳＴＤバッファに破綻が生じないように多重化を行
う。その計画が不適当な場合には、圧縮符号化装置の生
成したエレメンタリストリームのレート制御が正しくて
も、各ＳＴＤバッファに破綻が生じてしまうことがあ
る。

【０００５】本発明は上述した問題点に鑑みてなされた
ものであり、送信側で音声・映像データをＭＰＥＧ２方
式等により圧縮符号化してＡＴＭ通信回線等の高速ディ
ジタル通信回線を介して伝送する際に、受信側のＳＴＤ
バッファの残り容量の計算を簡単で容易にしうる伝送装
置およびその方法を提供することを目的とする。また、
本発明は、送信側で音声・映像データをＭＰＥＧ２方式
等により圧縮符号化してＡＴＭ通信回線等の高速ディジ
タル通信回線を介して伝送しても、受信側のＳＴＤバッ
ファにオーバーフローおよびアンダーフロー等の破綻を
生じさせることがない伝送装置およびその方法を提供す
ることを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る第１の伝送装置は、音声データおよび
映像データまたはこれらのいずれか（音声・映像デー
タ）を多重化し、トランスポートパケット内に、多重化
した前記音声・映像データを収容して伝送する伝送装置
であって、映像フレーム周期内に伝送される前記音声・
映像データのデータ量は、前記トランスポートパケット
の整数倍である。

【０００７】好適には、前記トランスポートパケットの
サイズから、前記トランスポートパケットのヘッダのサ
イズだけを減算したサイズの整数倍の音声・映像データ
を、前記映像フレーム周期内に収容することを特徴とす
る。

【０００８】好適には、前記映像データを受け取る映像
バッファと、前記音声データを受け取る音声バッファ
と、前記映像バッファまたは前記音声バッファから、前
記映像データまたは前記音声データを選択的に取り出す
選択的取り出し手段と、取り出した前記音声データまた
は前記映像データを、前記トランスポートパケットのペ
イロードエリアに収容する収容手段と、映像フレーム周
期内に出力する前記音声・映像データのサイズが、前記
トランスポートパケットのサイズの整数倍になるよう
に、前記選択的取り出し手段と前記収容手段とを制御す
る制御手段とを有する。

【０００９】好適には、前記制御手段は、前記映像バッ
ファの空きサイズを検出し、検出した前記映像バッファ
の空きサイズに応じて、前記映像フレーム周期内に出力
する前記映像データのサイズを調節するように、前記選
択的取り出し手段と前記収容手段とを制御する。

【００１０】好適には、前記選択的取り出し手段と前記
収容手段とは、前記音声バッファからの前記音声データ
を、前記映像フレーム周期内の予め定められた期間のト
ランスポートパケットに収容するように、前記音声バッ
ファから前記音声データを取り出して、前記トランスポ
ートパケットに収容する。

【００１１】好適には、前記選択的取り出し手段と前記
収容手段とは、前記音声データが収容されていないトラ
ンスポートパケットのペイロードエリアに、前記映像デ
ータを収容するように、前記映像データと前記音声デー
タとを、前記映像バッファと前記音声バッファとから取
り出して、前記トランスポートパケットに収容する。

【００１２】また、本発明に係る第２の伝送装置は、映
像データをエンコードする映像エンコード手段と、音声
データをエンコードする音声エンコード手段と、エンコ
ードした前記映像データを受け取る映像バッファと、エ
ンコードした前記音声データを受け取る音声バッファ
と、前記映像バッファまたは前記音声バッファから、前
記映像データまたは前記音声データを選択的に取り出す
選択的取り出し手段と、取り出した前記映像データまた
は前記音声データを、トランスポートパケットのペイロ
ードエリアに収容する収容手段と、映像フレーム周期内
に出力する前記音声・映像データのサイズが、前記トラ
ンスポートパケットのサイズの整数倍になるように、前
記選択的取り出し手段と前記収容手段とを制御する制御
手段とを有する。

【００１３】本発明に係る伝送装置は例えば、ＭＰＥＧ
２方式により音声・映像データを圧縮符号化し、ＡＴＭ
通信回線を介して伝送する。本発明に係る伝送装置にお
いて、音声エンコード手段は、編集装置あるいはＶＴＲ
装置等の外部機器から入力される音声データを、ＭＰＥ
Ｇ２方式により圧縮符号化する。映像エンコード手段
は、入力される映像データを、例えば、ＭＰＥＧ２方式
により圧縮符号化する。

【００１４】音声バッファは、圧縮符号化された音声デ
ータを受け入れてバッファリングする。映像バッファ
は、圧縮符号化された映像データを受け入れてバッファ
リングする。

【００１５】選択的取り出し手段は、制御手段の制御に
従って、音声バッファおよび映像バッファそれぞれにバ
ッファリングされている音声データおよび映像データを
選択的に取り出す。収容手段は、制御手段の制御に従っ
て、選択的取り出し手段が取り出した音声データおよび
映像データを、トランスポートパケットのペイロードエ
リアに収容する。

【００１６】制御手段は、選択的取り出し手段および収
容手段を制御して、音声バッファおよび映像バッファそ
れぞれにバッファリングされた音声データ（圧縮音声デ
ータ）および映像データ（圧縮映像データ）を、例えば
ＭＰＥＧ２方式のトランスポートパケットのペイロード
エリアに収容させる。なお、制御手段は、圧縮音声デー
タおよび圧縮映像データを、同一のトランスポートパケ
ットのペイロードエリアには混在させず、圧縮音声デー
タおよび圧縮映像データのデータ量は、トランスポート
パケットのペイロードエリアに収容可能なデータ量〔例
えば（１８８バイト）−（トランスポートパケットヘッ
ダサイズ）〕の整数倍に限るように、選択的取り出し手
段および収容手段を制御する。

【００１７】また、本発明に係る伝送方法は、音声デー
タおよび映像データまたはこれらのいずれか（音声・映
像データ）を多重化し、トランスポートパケット内に、
多重化した前記音声・映像データを収容して伝送する伝
送方法であって、映像フレーム周期内に伝送される前記
音声・映像データのデータ量は、前記トランスポートパ
ケットの整数倍である。

【００１８】好適には、前記トランスポートパケットの
サイズから、前記トランスポートパケットのヘッダのサ
イズだけを減算したサイズの整数倍の音声・映像データ
を、前記映像フレーム周期内に収容することを特徴とす
る。

【００１９】好適には、前記映像データを受け取り、前
記音声データを受け取り、受け取った前記映像データま
たは前記音声データを選択的に取り出し、取り出した前
記音声データまたは前記映像データを、前記トランスポ
ートパケットのペイロードエリアに収容し、映像フレー
ム周期内に出力する前記音声・映像データのサイズが、
前記トランスポートパケットのサイズの整数倍になるよ
うに制御する。

【００２０】好適には、前記映像バッファの空きサイズ
を検出し、検出した前記映像バッファの空きサイズに応
じて、前記映像フレーム周期内に出力する前記映像デー
タのサイズを調節するように制御する。

【００２１】好適には、前記音声バッファからの前記音
声データを、前記映像フレーム周期内の予め定められた
期間のトランスポートパケットに収容するように、前記
音声バッファから前記音声データを取り出して、前記ト
ランスポートパケットに収容する。

【００２２】好適には、前記音声データが収容されてい
ないトランスポートパケットのペイロードエリアに、前
記映像データを収容するように、前記映像データと前記
音声データとを、前記映像バッファと前記音声バッファ
とから取り出して、前記トランスポートパケットに収容
する。

【００２３】

【発明の実施の形態】第１実施形態以下、本発明の第１の実施形態を説明する。図１は、本
発明に係る音声・映像データ送信装置１の構成を示す図
である。図２は、本発明に係る音声・映像データ受信装
置２の構成を示す図である。図１に示すように、音声・
映像データ送信装置１は、圧縮符号化部１０、多重化部
(multiplexer) １２および制御用コンピュータ１４から
構成される。圧縮符号化部１０は、映像データ圧縮符号
化器(video encoder) １００および音声データ圧縮符号
化器(audio encoder) １０２から構成される。

【００２４】多重化部１２は、映像バッファ(buffer)１
２０、音声バッファ１２２、スイッチ回路(swicher) １
２４、パケット化回路(packetizer)１２６およびスケジ
ューリング回路(scheduler) １２８から構成される。音
声・映像データ送信装置１は、これらの構成部分によ
り、入力される映画等の動画像の音声データおよび映像
データ（音声・映像データ）を、例えばＭＰＥＧ２方式
により圧縮符号化し、多重化してトランスポートストリ
ーム(transportstream)を生成し、例えば非同期伝送モ
ード（ＡＴＭ）方式の通信回線（ＡＴＭ通信回線）を介
して、音声・映像データ受信装置２（図２）に対して送
信する。

【００２５】図２に示すように、音声・映像データ受信
装置２は、例えばＡＴＭ通信回線を介して音声・映像デ
ータ送信装置１と接続されており、分離部(demultiplex
er)２０、ビデオＳＴＤバッファ２２０（実際には、ビ
デオＳＴＤバッファ(STD buffer)２２０を想定したＶＢ
Ｖバッファ）、映像伸長復号器(video decoder) ２２
２、遅延用メモリ(memory for delay)２２４、スイッチ
回路２２６、オーディオＳＴＤバッファ２２８（実際に
は、オーディオＳＴＤバッファ２２８を想定したＡＢＶ
バッファ）および音声伸長復号器(audio decoder) ２３
０から構成される。

【００２６】なお、以下、「ビデオＳＴＤバッファ２２
０」が、実際には「ビデオＳＴＤバッファ２２０を想定
したＶＢＶバッファ」を示す場合には、「ビデオＳＴＤ
バッファ２２０（ＶＢＶバッファ）」と記し、「オーデ
ィオＳＴＤバッファ２２８」が、実際には「オーディオ
ＳＴＤバッファ２２８を想定したＡＢＶバッファ」を示
す場合には、「オーディオＳＴＤバッファ２２８（ＡＢ
Ｖバッファ）」と記す。

【００２７】分離部２０は、パケット分離回路(depacke
tizer)２０２およびスイッチ回路２０４から構成され
る。音声・映像データ受信装置２は、これらの構成部分
により、音声・映像データ送信装置１（図１）からＡＴ
Ｍ通信回線を介して伝送されてくる圧縮された音声・映
像データを受信し、圧縮音声データと圧縮映像データと
に分離し、圧縮音声データと圧縮映像データとを伸長復
号し、音声データと映像データとを出力する。なお、以
下、説明の簡略化のために、音声・映像データ送信装置
１（図１）と音声・映像データ受信装置２（図２）との
間で、音声データおよび映像データ（音声・映像デー
タ）のみが伝送される場合について説明する。

【００２８】音声・映像データ送信装置１（図１）にお
いて、制御用コンピュータ(PC controller) １４は、例
えば制御用のコンピュータであって、音声・映像データ
送信装置１の各構成部分の動作を制御する。映像データ
圧縮符号化器１００は、編集装置あるいはＶＴＲ装置等
の外部の機器から入力される映像データを、例えばＭＰ
ＥＧ２方式により圧縮符号化し、圧縮映像データ(video
elementary stream) として映像バッファ１２０に対し
て出力する。また、映像データ圧縮符号化器１００は、
スケジューリング回路１２８に対して、入力される音声
・映像データの１フレーム期間ごとに、生成した圧縮映
像データのデータ量（ＡＵ(access unit) サイズ、１フ
レーム分の圧縮映像データのデータ量それぞれに相当す
る）を出力する。

【００２９】音声データ圧縮符号化器１０２は、外部機
器から入力される音声データを、映像データ圧縮符号化
器１００と同様に、例えばＭＰＥＧ２方式により圧縮符
号化し、圧縮音声データ(audio elementary stream) と
して音声バッファ１２２に対して出力する。また、音声
データ圧縮符号化器１０２は、スケジューリング回路１
２８に対して、入力される音声・映像データの１フレー
ム期間ごとに、生成した圧縮音声データのＡＵサイズ
（例えば、ＭＰＥＧ２方式においてはレイヤＩ，３４８
サンプル、レイヤＩＩ，１１５２サンプル、ただし、サ
ンプリング周波数に応じて圧縮音声データのＡＵサイズ
は変化する）を出力する。

【００３０】映像バッファ１２０は、映像データ圧縮符
号化器１００から入力された圧縮映像データをバッファ
リングしてスイッチ回路１２４の入力端子ａに対して出
力する。音声バッファ１２２は、音声データ圧縮符号化
器１０２から入力された圧縮音声データをバッファリン
グしてスイッチ回路１２４の入力端子ｂに対して出力す
る。

【００３１】スケジューリング回路１２８は、映像デー
タ圧縮符号化器１００および音声データ圧縮符号化器１
０２からそれぞれ入力されたＡＵサイズ情報に基づいて
所定の計算を行い、多重化のスケジューリングを行って
スイッチ回路１２４の入力端子と出力端子との間の接続
を制御する。また、スケジューリング回路１２８は、パ
ケット化回路１２６におけるＰＥＳ(packetized elemen
tary stream)パケット化処理を制御する。また、スケジ
ューリング回路１２８は、必要に応じて意味のないゼロ
データをペイロードエリアに収容したＭＰＥＧ２方式の
トランスポートパケット（パディングパケット）を生成
してスイッチ回路１２４に対して出力し、圧縮映像デー
タおよび圧縮音声データの代わりに出力させる。

【００３２】図３は、ＭＰＥＧ２方式のＰＥＳパケット
の構成を示す図である。図４は、ＭＰＥＧ２方式のトラ
ンスポートパケットの構成を示す図である。スイッチ回
路１２４は、スケジューリング回路１２８の制御に従っ
て、入力端子ａ，ｂにそれぞれ入力される圧縮映像デー
タまたは圧縮音声データを選択し、これらのデータを多
重化して多重化データストリームを生成し、出力端子か
らパケット化回路１２６に対して出力する。

【００３３】パケット化回路１２６は、スイッチ回路１
２４により多重化された圧縮映像データおよび圧縮音声
データをＰＥＳパケットヘッダ（図３）を付与すること
によりＰＥＳパケット化し、さらに、ＭＰＥＧ２方式の
トランスポートパケット（図４）のヘッダを付与するこ
とによりトランスポートパケットのペイロードエリアに
収容（トランスポートパケット化）してトランスポート
ストリームを生成し、ＡＴＭ通信回線を介して音声・映
像データ受信装置２（図２）に対して送信する。

【００３４】音声・映像データ受信装置２（図２）にお
いて、分離部２０のパケット分離回路２０２は、音声・
映像データ送信装置１からＡＴＭ通信回線を介して受信
したトランスポートストリームからトランスポートパケ
ットヘッダを分離し、さらに、パディングパケット(nul
l packet) を除去してＰＥＳパケットを再生し、さら
に、再生したＰＥＳパケットからＰＥＳパケットヘッダ
を除去して、スイッチ回路２０４の入力端子に対して出
力する。また、パケット分離回路２０２は、スイッチ回
路２０４の入力端子および出力端子の間の接続を制御す
る。

【００３５】スイッチ回路２０４は、パケット分離回路
２０２の制御に従って、出力端子ａからビデオＳＴＤバ
ッファ２２０（ＶＢＶバッファ）に対して圧縮映像デー
タを出力し、出力端子ｂからオーディオＳＴＤバッファ
２２８（ＡＢＶバッファ）に対して圧縮音声データを出
力して、圧縮映像データと圧縮音声データとを分離す
る。ビデオＳＴＤバッファ２２０（ＶＢＶバッファ）
は、スイッチ回路２０４から入力された圧縮映像データ
をバッファリングして映像伸長復号器２２２に対して供
給する。オーディオＳＴＤバッファ２２８（ＡＢＶバッ
ファ）は、スイッチ回路２０４から入力された圧縮音声
データをバッファリングして音声伸長復号器２３０に対
して供給する。

【００３６】映像伸長復号器２２２は、ビデオＳＴＤバ
ッファ２２０（ＶＢＶバッファ）から、所定のタイミン
グで１ＡＵ分の圧縮映像データを一時に読み出し、音声
・映像データ送信装置１の映像データ圧縮符号化器１０
０に対応するＭＰＥＧ２方式により伸長復号し、伸長復
号の結果として得られた映像データを遅延用メモリ２２
４およびスイッチ回路２２６の入力端子ｂに対して出力
する。また、映像伸長復号器２２２は、スイッチ回路２
２６の入力端子および出力端子の間の接続を制御する。

【００３７】遅延用メモリ２２４は、映像データ圧縮符
号化器１００において前／後方予測符号化のためにフレ
ームの順番を変更したフレームを元の順番（表示順）に
直すために、圧縮映像データのＰフレームを記憶し、ス
イッチ回路２２６の入力端子ａに対して出力する。スイ
ッチ回路２２６は、映像伸長復号器２２２から入力され
る映像データまたは遅延用メモリ２２４から出力される
映像データのいずれかを選択し、映像データの順番を表
示順に直す。音声伸長復号器２３０は、オーディオＳＴ
Ｄバッファ２２８（ＡＢＶバッファ）から、所定のタイ
ミングで１ＡＵ分の圧縮音声データを一時に読み出し、
音声・映像データ送信装置１の音声データ圧縮符号化器
１０２に対応するＭＰＥＧ２方式により伸長復号し、伸
長復号の結果として得られた音声データ(audio signal)
を、外部に対して出力する。

【００３８】以下、音声・映像データ送信装置１（図
１）および音声・映像データ受信装置２の動作を説明す
る。音声・映像データ送信装置１の映像データ圧縮符号
化器１００は、音声・映像データ受信装置２のビデオＳ
ＴＤバッファ２２０（ＶＢＶバッファ）にオーバーフロ
ーもアンダーフローも生じないように符号発生量制御
（レート制御）をしつつ、入力される映像データを圧縮
符号化し、音声データ圧縮符号化器１０２は入力される
音声データを圧縮符号化する。以下、図５を参照して映
像データ圧縮符号化器１００のレート制御を説明する。

【００３９】図５（Ａ），（Ｂ）はそれぞれ、図２に示
したビデオＳＴＤバッファ２２０およびオーディオＳＴ
Ｄバッファ２２８が理想的な動作をした場合の占有デー
タ量の推移を示す図である。なお、図５（Ａ），（Ｂ）
に示すグラフの横軸は時間を示し、縦軸はビデオＳＴＤ
バッファ２２０およびオーディオＳＴＤバッファ２２８
それぞれにおける圧縮映像データおよび圧縮音声データ
の占有データ量を示す。

【００４０】また、図５（Ａ），（Ｂ）の鋸歯状の実線
はビデオＳＴＤバッファ２２０およびオーディオＳＴＤ
バッファ２２８における占有データ量を示し、実線から
下は占有データ量、実線から上はビデオＳＴＤバッファ
２２０およびオーディオＳＴＤバッファ２２８の空き容
量（バッファ残量）を示している。さらに、図５
（Ａ），（Ｂ）に示す鋸歯状の実線の内、斜線の部分が
ビデオＳＴＤバッファ２２０およびオーディオＳＴＤバ
ッファ２２８へのデータが入力されている期間、垂直の
部分は、映像伸長復号器２２２および音声伸長復号器２
３０がそれぞれ、伸長復号処理のために、ビデオＳＴＤ
バッファ２２０およびオーディオＳＴＤバッファ２２８
からアクセスユニット（ＡＵ）を読み出すタイミングを
示している。

【００４１】図５（Ａ），（Ｂ）に示すように、ＭＰＥ
Ｇ２方式においては、理想的な動作として、映像伸長復
号器２２２および音声伸長復号器２３０が瞬時にビデオ
ＳＴＤバッファ２２０およびオーディオＳＴＤバッファ
２２８からアクセスユニット（ＡＵ）を読み出し、伸長
復号処理を行うことを規定しており、これらビデオＳＴ
Ｄバッファ２２０およびオーディオＳＴＤバッファ２２
８を想定した仮想バッファ（ＶＢＶバッファ，ＡＢＶバ
ッファ）を考慮に入れた多重化のスケジューリングが行
われる。オーディオＳＴＤバッファ２２８にバッファリ
ングされる圧縮音声データのＡＵサイズは固定であるの
で、図５（Ｂ）に示すように鋸歯状の実線に経時的な変
動は現れない。

【００４２】一方、ビデオＳＴＤバッファ２２０にバッ
ファリングされる圧縮映像データは、ＭＰＥＧ２方式に
よる圧縮符号化の原理的な理由からピクチャーごとにＡ
Ｕサイズが異なる。このため、ビデオＳＴＤバッファ２
２０の占有データ量は、ピクチャーごとに変動し、図５
（Ａ）に示す鋸歯状の実線の垂直部分の長さが変動す
る。また、圧縮映像データのＡＵサイズは、ピクチャー
コーディングタイプにより大きく異なる。つまり、その
圧縮映像データのピクチャーが、Ｉピクチャー(intra c
oded picture) であるか、Ｐピクチャー(predictive co
ded picture)であるか、あるいは、Ｂピクチャー(bi-di
rectionaly coded picture) であるかによりＡＵサイズ
は大きく異なる値になる。

【００４３】従って、音声・映像データ受信装置２のビ
デオＳＴＤバッファ２２０から圧縮映像データがオーバ
ーフローしないように、また、ビデオＳＴＤバッファ２
２０にバッファリングされている圧縮映像データが、映
像伸長復号器２２２からの読み出しの際にアンダフロー
しないように、音声・映像データ送信装置１の映像デー
タ圧縮符号化器１００は、図５（Ａ）に示すように、発
生する圧縮映像データのデータ量に対する制御、つま
り、レート制御を行いつつ、圧縮映像データを生成す
る。

【００４４】映像バッファ１２０は、映像データ圧縮符
号化器１００が生成した圧縮映像データをバッファリン
グし、音声バッファ１２２は、音声データ圧縮符号化器
１０２が生成した圧縮音声データをバッファリングす
る。スイッチ回路１２４は、スケジューリング回路１２
８の制御に従って、圧縮映像データおよび圧縮音声デー
タを多重化して、多重化データストリームを生成する。
ここで、理解を容易にするために、スイッチ回路１２４
を示したが、実際には、バッファ１２０，１２２の読み
出しを選択的に制御することにより多重化が行われる。
パケット化回路１２６は、多重化データストリームをＰ
ＥＳパケット化し、さらに、トランスポートパケット化
してトランスポートストリームを生成し、ＡＴＭ通信回
線に対して送信する。

【００４５】以下、図６を参照してスケジューリング回
路１２８によるスケジューリングを説明する。図６
（Ａ），（Ｂ）は、音声・映像データ送信装置１が多重
化して送信したトランスポートパケットから分離した圧
縮映像データおよび圧縮音声データをそれぞれバッファ
リングした場合のビデオＳＴＤバッファ２２０（ＶＢＶ
バッファ）およびオーディオＳＴＤバッファ２２８（Ａ
ＢＶバッファ）の占有データ量を示す図である。

【００４６】図５（Ａ），（Ｂ）においてと同様に、図
６においても、鋸歯状の実線の斜線の部分は、ビデオＳ
ＴＤバッファ２２０（ＶＢＶバッファ）およびオーディ
オＳＴＤバッファ２２８（ＡＢＶバッファ）それぞれに
圧縮映像データ（ビデオデータストリーム）および圧縮
音声データ（オーディオデータストリーム）が供給され
る範囲を示し、鋸歯状の実線の垂直になっている部分
は、ビデオＳＴＤバッファ２２０（ＶＢＶバッファ）お
よびオーディオＳＴＤバッファ２２８（ＡＢＶバッフ
ァ）それぞれから圧縮映像データおよび圧縮音声データ
のアクセスユニット（ＡＵ）が読み出されるタイミング
を示す。但し、図６においては、ビデオＳＴＤバッファ
２２０（ＶＢＶバッファ）に供給されるデータのビット
レート（供給ビットレート）として、圧縮映像データの
ビットレートと圧縮音声データのビットレートとを足し
合わせた値を示してある。

【００４７】ここで、ビデオＳＴＤバッファ２２０（Ｖ
ＢＶバッファ）に入力される圧縮映像データのビットレ
ートをＲｖとし、オーディオＳＴＤバッファ２２８（Ａ
ＢＶバッファ）に入力される圧縮音声データのビットレ
ートをＲａとし、これらのデータが多重化された多重デ
ータストリームのデータレート（多重ビットレート）を
Ｒｍとすると、これらの関係は、下に示す式１で表すこ
とができる。

【００４８】

【数１】Ｒｍ＝Ｒｖ＋Ｒａ …（１）

【００４９】但し、実際には多重ビットレートＲｍの値
は、下に示す式２に示すように、余裕ある大きい値に設
定される。

【００５０】

【数２】Ｒｍ＝Ｒｖ＋Ｒａ＋α …（２）

【００５１】図６において、実線の水平な部分は、ビデ
オＳＴＤバッファ２２０（ＶＢＶバッファ）およびオー
ディオＳＴＤバッファ２２８（ＡＢＶバッファ）それぞ
れへの圧縮映像データおよび圧縮音声データの入力が止
まっている期間を示す。図６に示すように、多重データ
ストリームからのビデオＳＴＤバッファ２２０（ＶＢＶ
バッファ）およびオーディオＳＴＤバッファ２２８（Ａ
ＢＶバッファ）に対する各エレメンタリストリーム（圧
縮映像データおよび圧縮音声データ）の供給は、スイッ
チ回路２０４の切替えにより交互に行われる。

【００５２】従って、エレンタリートリームが多重され
分離された場合のビデオＳＴＤバッファ２２０（ＶＢＶ
バッファ）およびオーディオＳＴＤバッファ２２８（Ａ
ＢＶバッファ）の占有データ量の推移と、映像データ圧
縮符号化器１００および音声データ圧縮符号化器１０２
で算出されるビデオＳＴＤバッファ２２０（ＶＢＶバッ
ファ）およびオーディオＳＴＤバッファ２２８（ＡＢＶ
バッファ）の占有データ量の推移と、実際のこれらの占
有データ量の推移は異なったものとなる。

【００５３】つまり、式１に示したように、映像データ
圧縮符号化器１００および音声データ圧縮符号化器１０
２が、多重ビットレートを、圧縮映像データのビットレ
ートと圧縮音声データのビットレートとを単純に加算し
た値に設定してレート制御を行っても、ビデオＳＴＤバ
ッファ２２０（ＶＢＶバッファ）およびオーディオＳＴ
Ｄバッファ２２８（ＡＢＶバッファ）の占有データ量が
オーバーフローおよびアンダフローの直前の値である場
合には、ビデオＳＴＤバッファ２２０（ＶＢＶバッフ
ァ）およびオーディオＳＴＤバッファ２２８（ＡＢＶバ
ッファ）に破綻が生じないことは保証されない。

【００５４】また、ＡＴＭ通信回線に対して送信する際
には、多重化データストリームに、さらにデータ量が、
ピクチャコーディングタイプによりＰＴＳ／ＤＴＳの付
与条件が異なることに起因して変動するＰＥＳヘッダや
トランスポートパケットヘッダ（ＰＣＲの付与による）
を付加し、また、トランスポートパケットヘッダとＰＥ
Ｓヘッダとのアラインメントのために、トランスポート
パケットヘッダのスタッフィングバイトエリアにスタッ
フィングバイト（１）を必要なバイト数だけ入れるた
め、パケット化回路１２６が出力するトランスポートス
トリームのビットレート（トランスポートレート）の値
は、圧縮映像データのビットレートと圧縮音声データの
ビットレートの単純な加算値よりも、ある程度余裕ある
大きな値としなければならない。

【００５５】このように、トランスポートレートの値
を、圧縮映像データのビットレートと圧縮音声データの
ビットレートの加算値よりも大きな値とした場合には、
圧縮映像データと圧縮音声データを、スイッチ回路１２
４により単純に切替えて接続するだけでなく、必要に応
じてパディングパケット（例えばオール０のパケット）
を挿入して、ビデオＳＴＤバッファ２２０（ＶＢＶバッ
ファ）およびオーディオＳＴＤバッファ２２８（ＡＢＶ
バッファ）へのデータ供給を調整する必要がある。スケ
ジューリング回路１２８は、このように、適宜多重化デ
ータストリームにパディングデータを挿入してスケジュ
ーリングを行う。

【００５６】以上のように圧縮符号化され、音声・映像
データ送信装置１からＡＴＭ通信回線を介して音声・映
像データ受信装置２（図２）に伝送された圧縮映像デー
タおよび圧縮音声データは、分離部２０のパケット分離
回路２０２により分離され、スイッチ回路２０４により
ビデオＳＴＤバッファ２２０（ＶＢＶバッファ）および
オーディオＳＴＤバッファ２２８（ＡＢＶバッファ）そ
れぞれにバッファリングされる。

【００５７】映像伸長復号器２２２および音声伸長復号
器２３０はそれぞれ、ビデオＳＴＤバッファ２２０（Ｖ
ＢＶバッファ）およびオーディオＳＴＤバッファ２２８
（ＡＢＶバッファ）から圧縮映像データおよび圧縮音声
データを読み出し、伸長復号する。遅延用メモリ２２４
およびスイッチ回路２２６は、必要に応じて映像伸長復
号器２２２が出力する映像データを遅延し、音声伸長復
号器２３０が出力する音声データとタイミングを合わせ
て出力する。

【００５８】以上、第１の実施形態において説明した音
声・映像データ送信装置１および音声・映像データ受信
装置２によれば、ＭＰＥＧ２方式により圧縮符号化した
映像データおよび音声データを、ＰＥＳパケットに多重
化し、さらに、トランスポートパケットに収容して伝送
することができる。従って、本発明に係る音声・映像デ
ータ送信装置１および音声・映像データ受信装置２は、
衛星通信回線、ケーブル（有線）通信回線あるいは地上
波通信回線を介したディジタル放送システムにおいて、
ＴＶプログラムの音声をサラウンド処理し、あるいは、
多カ国語対応とし、あるいは、字幕を多カ国語対応とす
るためのディジタルデータと、ＭＰＥＧ２等の圧縮符号
化方式により圧縮符号化した圧縮映像データおよび圧縮
音声データ（エレメンタリーストリーム）とを多重化し
たトランスポートストリームを生成し、伝送する用途に
好適である。なお、音声・映像データ送信装置１および
音声・映像データ受信装置２を接続する通信回線は、Ａ
ＴＭ通信回線に限らず、例えばＳＤＩ方式（ＳＭＰＴＥ
−２５９Ｍ）等の他の伝送方式の高速ディジタル通信回
線であってもよい。

【００５９】第２実施形態以下、本発明の第２の実施形態を説明する。図７は、式
２の定数αを充分に大きな値とし、音声・映像データ送
信装置１（図１）および音声・映像データ受信装置２
（図２）の間のトランスポートレートを充分に大きい値
に設定した場合のビデオＳＴＤバッファ２２０（ＶＢＶ
バッファ）の占有データ量を示す図であって、図７
（Ａ）は、音声・映像データ送信装置１（図１）の映像
データ圧縮符号化器１００における計算上の音声・映像
データ受信装置２（図２）のビデオＳＴＤバッファ２２
０（ＶＢＶバッファ）の占有データ量の推移を示し、図
７（Ｂ）は、スケジューリング回路１２８がスケジュー
リングを行った場合の実際のビデオＳＴＤバッファ２２
０（ＶＢＶバッファ）の占有データ量の推移を示す。

【００６０】映像データ圧縮符号化器１００および音声
データ圧縮符号化器１０２は、第１の実施形態において
と同様に、それぞれ入力される映像データおよび音声デ
ータを圧縮符号化する。ここで、図７（Ｂ）に示すよう
に、上述のようにトランスポートレートの値を充分に大
きい値とすると、ビデオＳＴＤバッファ２２０（ＶＢＶ
バッファ）に対する圧縮映像データの供給レートが高く
なるので、鋸歯状の実線（ビデオＳＴＤバッファ２２０
（ＶＢＶバッファ）の占有データ量）は供給開始後上昇
する。そのまま、映像データ圧縮符号化器１００が、圧
縮映像データの供給を停止しないと、時刻ｔ０でビデオ
ＳＴＤバッファ２２０（ＶＢＶバッファ）にオーバーフ
ローが生じる。

【００６１】従って、スケジューリング回路１２８は、
時刻ｔ０からデコード時刻ｔ１までデータ供給を停止す
る。つまり、スケジューリング回路１２８は、スイッチ
回路１２４を制御して、圧縮映像データを多重化させ
ず、スタッフィングバイトまたはパディングパケットを
多重化させたトランスポートストリームを生成させる。
なお、スタッフィング処理とは、トランスポートパケッ
ト内のデータ量の調整のために、オール１のデータをト
ランスポートパケットヘッダに挿入することである。一
方、パディング処理とは、トランスポートストリームの
データ量を調整するために、トランスポートパケットと
同等サイズのパケットを挿入することである。

【００６２】スケジューリング回路１２８は、時刻ｔ１
で、映像伸長復号器２２２がビデオＳＴＤバッファ２２
０（ＶＢＶバッファ）からアクセスユニット（ＡＵ）を
読み出し、ビデオＳＴＤバッファ２２０（ＶＢＶバッフ
ァ）の占有データ量が減少して空き容量が生じるので、
スイッチ回路１２４を制御し、圧縮映像データを多重化
したトランスポートストリームの生成を再開させる。ス
ケジューリング回路１２８は、このようなスケジューリ
ング動作を繰り返して、ビデオＳＴＤバッファ２２０
（ＶＢＶバッファ）の破綻を防ぐ。

【００６３】第２の実施形態において説明するスケジュ
ーリング回路１２８によるスケジューリングは、圧縮映
像データと圧縮音声データとを多重化する場合に、圧縮
音声データをバッファリングするオーディオＳＴＤバッ
ファ２２８（ＡＢＶバッファ）のバッファサイズ（容
量）が小さいことを考慮して、圧縮音声データを優先的
（先）に配置し、圧縮映像データを圧縮音声データを配
置した期間以外に配置する。音声データ圧縮符号化器１
０２が生成する圧縮音声データは、固定データレートで
あり、オーディオＳＴＤバッファ２２８（ＡＢＶバッフ
ァ）からは、一定の周期で一定のサイズのアクセスユニ
ット（ＡＵ）が音声伸長復号器２３０に読みだされる。

【００６４】したがって、圧縮音声データは、オーディ
オＳＴＤバッファ２２８（ＡＢＶバッファ）に破綻が乗
じない条件下で、トランスポートストリーム内の任意の
位置に配置されることができる。スケジューリング回路
１２８によるスケジューリングにおいて、圧縮音声デー
タをトランスポートストリームの予め決められた位置に
優先的に配置した後、圧縮映像データをトランスポート
ストリームの残りの位置に配置する。

【００６５】このような場合、スケジューリング回路１
２８は、ビデオＳＴＤバッファ２２０（ＶＢＶバッフ
ァ）の占有データ量を考慮して、映像伸長復号器２２２
および音声伸長復号器２３０の伸長復号処理の周期、つ
まり、音声・映像データ送信装置１に入力される音声・
映像データのビデオフレーム周期にスケジューリングを
行うことになる。

【００６６】図８（Ａ）〜（Ｅ）は、スケジューリング
回路１２８（図１）によるスケジューリングを示す図で
あって、（Ａ）は、トランスポートレートで決まる１フ
レーム期間の多重化スペースを示し、（Ｂ）は圧縮音声
データを配置した状態を示し、（Ｃ）は余った多重化ス
ペースにビデオＳＴＤバッファ２２０（ＶＢＶバッフ
ァ）等の監視等により計算された量のビデオデータを配
置した状態を示し、（Ｄ）は最終的に余った多重化スペ
ースをスタッフィングまたはパディングをして埋めた状
態を示し、（Ｅ）は、以上の動作の繰り返しにより生成
されたトランスポートストリームを示す。図９は、図８
（Ａ）〜（Ｅ）に示したトランスポートストリームと、
トランスポートパケットとの関係を示す。

【００６７】図１０（Ａ）〜（Ｃ）は、圧縮映像データ
および圧縮音声データのエレメンタリーストリームにＰ
ＥＳヘッダを付加し、多重化して、さらに、トランスポ
ートパケットヘッダを付加する処理を示す。なお、図１
０（Ｂ）の円Ａの部分はＭＥＰＧ２規定されたトランス
ポートパケットのヘッダとＰＥＳヘッダとのアラインの
ために、スタッフィングバイトを補充した部分を示す。

【００６８】なお、実際には、スタッフィングバイト
は、トランスポートヘッダのスタッフィングバイトエリ
アに挿入されるが、ここでは理解しやすいように、ヘッ
ダの後ろの空白部分として示してある。また、円Ｂの部
分はトランスポートレートが余ってトランスポートパケ
ットのペイロードに全くエレメンタリーストリームを収
容しないパディングパケットの部分を示す。

【００６９】以下、図８〜図１０を参照して、スケジュ
ーリング回路１２８によるスケジューリングの順序を説
明する。スケジューリング回路１２８は、図８（Ａ）に
示す何も多重化されていない多重化スペースに、まず、
図８（Ｂ）に示すように、圧縮音声データをペイロード
エリアに収容したトランスポートパケットを、フレーム
期間の内、予め決められた位置に配置するスケジューリ
ングを行う。

【００７０】次に、スケジューリング回路１２８は、図
８（Ｃ）に示すように、多重化スペースの内、圧縮音声
データを収容したトランスポートパケットを配置した位
置以外に、ペイロードエリアに圧縮映像データを収容し
たトランスポートパケットを配置するスケジューリング
を行う。なお、トランスポートパケットとトランスポー
トストリームとの関係は、図９に示す通りである。次
に、スケジューリング回路１２８は、図８（Ｄ）に示す
ように、圧縮映像データおよび圧縮音声データを収容し
たトランスポートパケットを配置した余りの多重化スペ
ースに、図１０（Ｂ）の円Ａ，Ｂ内それぞれに示したス
タッフィングおよびパディングを行うスケジューリング
を行う。

【００７１】スケジューリング回路１２８は、以上説明
したスケジューリングをビデオフレーム周期ごとに順
次、行い、このスケジューリングに従って、スイッチ回
路１２４を制御し、圧縮音声データおよび圧縮映像デー
タ等を多重化して図８（Ｅ）に示すトランスポートスト
リームになるように、圧縮映像データまたは圧縮音声デ
ータとを選択する。さらに、パケット化回路１２６は、
図１０（Ａ），（Ｃ）に示すように、圧縮映像データ
（ビデオエレメンタリストリーム）および圧縮音声デー
タ（オーディオエレメンタリストリーム）にＰＥＳヘッ
ダを付加し、図１０（Ｂ）に示すようにトランスポート
パケットヘッダを付加してＡＴＭ通信回線を介して音声
・映像データ受信装置２（図２）に対して送信する。

【００７２】ＡＴＭ通信回線を介してトランスポートス
トリームを受信した音声・映像データ受信装置２は、第
１の実施形態において説明したものと同様の動作を行
い、トランスポートストリームから圧縮映像データおよ
び圧縮音声データを分離し、さらに、これらのデータを
伸長復号して出力する。

【００７３】以上説明したように、圧縮音声データをペ
イロードエリアに収容したトランスポートパケットを、
ビデオフレーム周期ごとに、オーディオＳＴＤバッファ
２２８（ＡＢＶバッファ）に破綻が生じない条件下で予
め決められたタイミングでトランスポートストリームに
配置し、余りの部分に圧縮映像データを収容したトラン
スポートパケットを配置することにより、スケジューリ
ング回路１２８は、ビデオＳＴＤバッファ２２０（ＶＢ
Ｖバッファ）およびオーディオＳＴＤバッファ２２８
（ＡＢＶバッファ）に破綻を生じさせることなく、スケ
ジューリングを行うことができる。

【００７４】第３の実施形態以下、本発明の第３の実施形態を説明する。第２の実施
形態において説明したスケジューリングを行う場合に
は、スケジューリング回路１２８は、フレーム期間の長
さ、および、各フレーム期間においてトランスポートス
トリームに多重化して送信することができる圧縮映像デ
ータのデータ量（多重許容量）に基づいてスケジューリ
ング処理を行う必要がある。

【００７５】図１１は、音声・映像データ送信装置１
（図１）が音声・映像データ受信装置２（図２）に対し
て送信するトランスポートストリーム上のビデオフレー
ム周期の境界を示す図である。図１１に示すように、通
常任意のトランスポートレートが設定された場合、ビデ
オフレーム周期の境界とトランスポートパケットの境界
とは一致しない。従って、ビデオフレーム周期に多重で
きる圧縮映像データのデータ量を求めるには、図１１に
示すようにパケット番号とオフセットバイトのアドレス
を計算する必要がある。

【００７６】図１２は、ビデオフレーム周期の始めの部
分における有効な多重化スペースの条件を示す図であ
る。図１２（Ｃ）に示すように、あるビデオフレーム周
期の始めのビデオフレーム周期の境界上のトランスポー
トパケットが、そのビデオフレーム周期の前のビデオフ
レーム周期においてフレーム境界まで圧縮映像データお
よび圧縮音声データで埋められてない場合、そのトラン
スポートパケットは当該ビデオフレーム周期で使用する
ことができない。

【００７７】つまり、トランスポートパケットのペイロ
ードエリアの途中までパディングビット等が収容されて
いる場合には、同じトランスポートパケットのペイロー
ドエリアに圧縮音声データおよび圧縮映像データを収容
することはできない。また、トランスポートパケットの
ペイロードエリアの途中から圧縮音声データおよび圧縮
映像データを収容しようとすると、前のビデオフレーム
周期でどこまでオーディオやビデオのデータが入ってい
るかパケット番号とオフセットバイトのアドレスを計算
する必要が生じてしまう。

【００７８】このように、ビデオフレーム周期の境界と
トランスポートパケットの境界とが一致しない場合、オ
フセットバイトの計算や境界条件での判別計算が複雑化
し、これらの計算を実行するためのソフトウエア（プロ
グラム）のコーディング構成、あるいは、これらの計算
を実行するためのハードウエア構成が複雑になる。第３
の実施形態においては、音声・映像データのビデオフレ
ーム周期と、トランスポートパケットの境界とを一致
（アライン）させ、トランスポートパケットサイズ
〔（１８８バイト）−（トランスポートパケットヘッダ
サイズ）〕単位で圧縮映像データおよび圧縮音声データ
を多重化してトランスポートストリームを生成する方法
を説明する。

【００７９】図１３は、ビデオフレーム周期の境界と、
トランスポートパケットの境界とを一致させたトランス
ポートストリームを示す図である。つまり、図１３に示
すように、第３の実施形態においては、ビデオフレーム
周期の境界とトランスポートストリームに含まれるトラ
ンスポートパケットの境界を一致させ、音声・映像デー
タ送信装置１がビデオフレーム周期ごとに多重化し、Ａ
ＴＭ通信回線を介して音声・映像データ受信装置２に対
して伝送する圧縮映像データと圧縮音声データとのデー
タ量（多重化許容量）の和が、トランスポートパケット
のペイロードエリアに収容可能なデータ量の倍数に特化
されている。

【００８０】図１４は、１ビデオフレーム周期ごとにト
ランスポートパケットに多重化しうる圧縮映像データの
データ量を、トランスポートパケットのペイロードエリ
アの容量の倍数〔（１８８バイト）−（トランスポート
パケットヘッダサイズ）刻み〕に限定した場合のスケジ
ューリング回路１２８による多重化スケジューリング処
理を示すフローチャートである。図１４に示すように、
スケジューリング回路１２８は、ステップ１００（Ｓ１
００）において、ビデオフレーム周期ごとに多重化可能
な圧縮映像データのデータ量〔固定値、但し、（１８８
バイト）−（トランスポートパケットヘッダサイズ）の
倍数に限る〕を算出する。

【００８１】ステップ１０２（Ｓ１０２）において、ス
ケジューリング回路１２８は、フレーム境界のアドレス
の計算（パケット番号のみ）を行う。ステップ１０４
（Ｓ１０４）において、スケジューリング回路１２８
は、当該ビデオフレーム間（ビデオフレーム周期）にお
いてトランスポートストリームに多重化可能な圧縮映像
データのデータ量（多重許容量）を、図１４に示すフロ
ーの前のループにおいてトランスポートストリームに多
重化したオーディオデータ（圧縮音声データ）を、多重
許容量の前のループにおける初期値から差し引いて算出
する。

【００８２】ステップ１０６（Ｓ１０６）において、ス
ケジューリング回路１２８は、ビデオＳＴＤバッファ２
２０（ＶＢＶバッファ）の残り容量を（バッファ残量）
を算出する。ステップ１０８（Ｓ１０８）において、ス
ケジューリング回路１２８は、バッファ残量と、Ｓ１０
４の処理で求めた多重許容量とを比較して、当該ビデオ
フレーム周期における多重許容量の値を修正する。ステ
ップ１１０（Ｓ１１０）において、スケジューリング回
路１２８は、ＭＰＥＧ２方式の１秒ルールを考慮して、
当該フレームにおいてトランスポートストリームに多重
化する圧縮映像データのデータ量を、〔（１８８バイ
ト）−（トランスポートパケットヘッダサイズ）〕の刻
みで決定し、Ｓ１０２の処理に進む。ここで算出された
圧縮映像データの多重化許容量に基づいて、スケジュー
リング回路１２８は、スイッチ１２４およびパケット化
回路１２６を制御する。

【００８３】以上説明した第３の実施形態におけるスケ
ジューリング回路１２８の処理以外の音声・映像データ
送信装置１および音声・映像データ受信装置２の各構成
動作は、第１の実施形態および第２の実施形態に同じで
あり、第１の実施形態および第２の実施形態においてと
同様に、音声・映像データをＡＴＭ通信回線を介して伝
送することができる。

【００８４】図１５は、１ビデオフレーム周期ごとにト
ランスポートパケットに多重化しうる圧縮映像データの
データ量を任意に設定する場合のスケジューリング回路
１２８による多重化スケジューリング処理を示すフロー
チャートである。図１４と図１５とを比較して分かるよ
うに、第３の実施形態に示したスケジューリング方法に
よらない場合には、スケジューリング回路１２８は、図
１４のＳ１０２の処理に対応する図１５のＳ２００にお
いて、パケット番号の他、オフセットバイトの計算をす
る必要がある。

【００８５】また、スケジューリング回路１２８は、第
３の実施形態に示したスケジューリング方法による場合
は、図１４のＳ１００に示すように、全ての処理を通じ
て１回だけ、固定値の多重許容量を計算するだけでよい
のに対し、第３の実施形態に示したスケジューリング方
法によらない場合は、図１５のＳ２０２において、ビデ
オフレーム周期ごとに、変動値の多重許容量を計算する
必要がある。さらに、第３の実施形態に示したスケジュ
ーリング方法によらない場合は、図１５のＳ２０４の処
理、つまり、多重化データ（トランスポートストリー
ム）の最も後尾のバイトの位置、パケット番号およびオ
フセットバイトの計算が必要になる。

【００８６】なお、第３の実施形態に示したスケジュー
リング方法によらない場合は、実際には、図１５のＳ１
０４において、ビデオフレーム周期の境界がトランスポ
ートパケットのヘッダエリアにあるかどうかという判別
計算や、ビデオフレーム周期の始点の境界上のトランス
ポートパケットが、その境界バイトまでビデオやオーデ
ィオデータで埋まっているかどうかの判別計算などをす
る必要がある。

【００８７】このように、第３の実施形態に示したスケ
ジューリング回路１２８のスケジューリング方法によれ
ば、トランスポートパケットサイズ単位でスケジューリ
ングするため、ビデオフレーム周期の境界において、ス
ケジューリング回路１２８がバイト単位でアドレスを管
理する必要がなくなり、また、ビデオフレーム周期の始
点での境界条件の計算を省くことができ、さらに、ビデ
オフレーム周期ごとの圧縮映像データまたは圧縮音声デ
ータの最後バイトのアドレス計算を省くことができる。

【００８８】なお、スケジューリング回路１２８におけ
るスケジューング、つまり、音声・映像データのビデオ
フレーム周期とＡＴＭ通信回線の伝送レートの違いに起
因して、誤差が生じることがある。この誤差の蓄積を回
避する方法を説明する。ＡＴＭ通信回線の伝送レートを
Ｔ_RATEとすると、ビデオフレーム周期のデータ転送量ａ
は下に示す式３で表される。

【００８９】

【数３】ａ＝Ｔ_RATE／２９．９７ …（３）ただし、Ｔ_RATEの単位は（バイト／秒）、ａの単位はバ
イトである。

【００９０】この場合に、１ビデオフレーム周期中に転
送する平均トランスポートパケットの数Ｎは、下に示す
式４で表される。

【００９１】

【数４】Ｎ＝ａ／（１８８−Ｈ） …（４）ただし、Ｈはトランスポートパケットヘッダのバイト数
である。

【００９２】よって、１ビデオフレーム周期に生じる誤
差ｅは、下に示す式５で表される。

【００９３】

【数５】ｅ＝ａ×（１８８−Ｈ−Ｎ） …（５）ただし、ｅの単位はバイトである。

【００９４】式５に示した誤差ｅをビデオフレーム周期
ごとに累加算し、ｅの累加算値が１８８バイトを超えた
ビデオフレーム周期で、１個のバディングパケットを余
分に伝送するようにスケジューリングを行うようにスケ
ジューリング回路１２８の処理を変形することにより、
誤差ｅの蓄積を防ぐことができる。以上述べた誤差ｅの
蓄積を回避する処理のフローチャートを図１６に示す。

【００９５】なお、第３の実施形態に示したスケジュー
リング回路１２８のスケジューリング方法によれば、Ｍ
ＰＥＧ２トランスポートストリームの多重化方法を用い
て、スケジューリング回路１２８をパソコン等のコンピ
ュータベースのソフトウエアとして実現する場合のソフ
トウエアの構成を単純化することができる。また、スケ
ジューリング回路１２８を、ハードウエアで実現する場
合にも、その構成を単純化することができ、ハードウェ
アおよびソフトウェアいずれによりスケジューリング回
路１２８を構成した場合にも、開発期間を大幅に縮小可
能である。

【００９６】

【発明の効果】以上説明したように、本発明に係る伝送
装置およびその方法によれば、送信側で音声・映像デー
タをＭＰＥＧ２方式等により圧縮符号化してＡＴＭ通信
回線等の高速ディジタル通信回線を介して伝送する際
に、受信側のＳＴＤバッファの残り容量の計算を簡単で
容易にしうる。また、本発明に係る伝送装置およびその
方法によれば、送信側で音声・映像データをＭＰＥＧ２
方式等により圧縮符号化してＡＴＭ通信回線等の高速デ
ィジタル通信回線を介して伝送しても、受信側のＳＴＤ
バッファにオーバーフローおよびアンダーフロー等の破
綻を生じさせることがない。

【図面の簡単な説明】

【図１】本発明に係る音声・映像データ送信装置の構成
を示す図である。

【図２】本発明に係る音声・映像データ受信装置の構成
を示す図である。

【図３】ＭＰＥＧ２方式のＰＥＳパケットの構成を示す
図である。

【図４】ＭＰＥＧ２方式のトランスポートパケットの構
成を示す図である。

【図５】（Ａ），（Ｂ）はそれぞれ、図２に示したビデ
オＳＴＤバッファおよびオーディオＳＴＤバッファが理
想的な動作をした場合の占有データ量の推移を示す図で
ある。

【図６】（Ａ），（Ｂ）は、音声・映像データ送信装置
（図１）が多重化して送信したトランスポートパケット
から分離した圧縮映像データおよび圧縮音声データをそ
れぞれバッファリングした場合のビデオＳＴＤバッファ
およびオーディオＳＴＤバッファの占有データ量を示す
図である。

【図７】（Ａ）は、音声・映像データ送信装置（図１）
の映像データ圧縮符号化器における計算上の音声・映像
データ受信装置（図２）のビデオＳＴＤバッファの占有
データ量の推移を示し、（Ｂ）は、スケジューリング回
路がスケジューリングを行った場合の実際のビデオＳＴ
Ｄバッファの占有データ量の推移を示す図である。

【図８】（Ａ）〜（Ｅ）は、スケジューリング回路（図
１）によるスケジューリングを示す図である。

【図９】図８（Ａ）〜（Ｅ）に示したトランスポートス
トリームと、トランスポートパケットとの関係を示す図
である。

【図１０】（Ａ）〜（Ｃ）は、圧縮映像データおよび圧
縮音声データのエレメンタリーストリームにＰＥＳヘッ
ダを付加し、多重化して、さらに、トランスポートパケ
ットヘッダを付加する処理を示す図である。

【図１１】音声・映像データ送信装置（図１）が音声・
映像データ受信装置（図２）に対して送信するトランス
ポートストリーム上のビデオフレーム周期の境界を示す
図である。

【図１２】ビデオフレーム周期の始めの部分における有
効な多重化スペースの条件を示す図である。

【図１３】ビデオフレーム周期の境界と、トランスポー
トパケットの境界とを一致させたトランスポートストリ
ームを示す図である。

【図１４】１ビデオフレーム周期ごとにトランスポート
パケットに多重化しうる圧縮映像データのデータ量を、
トランスポートパケットのペイロードエリアの容量の倍
数〔（１８８バイト）−（トランスポートパケットヘッ
ダサイズ）刻み〕に限定した場合のスケジューリング回
路（図２）による多重化スケジューリング処理を示すフ
ローチャートである。

【図１５】１ビデオフレーム周期ごとにトランスポート
パケットに多重化しうる圧縮映像データのデータ量を任
意に設定する場合のスケジューリング回路（図２）によ
る多重化スケジューリング処理を示すフローチャートで
ある。

【図１６】ＡＴＭ通信回線と音声・映像データの差に起
因する誤差ｅの蓄積を回避する処理のフローチャートで
ある。

【符号の説明】

１…音声・映像データ送信装置、１０…圧縮符号化部、
１００…映像データ圧縮符号化器、１０２…音声データ
圧縮符号化器、１２…多重化部、１２０…映像バッフ
ァ、１２２…音声バッファ、１２４…スイッチ回路、１
２６…パケット化回路、１２８…スケジューリング回
路、２…音声・映像データ受信装置、２０…分離部、２
０２…パケット分離回路、２０４…スイッチ回路、２２
０…ビデオＳＴＤバッファ、２２４…遅延用メモリ、２
２６…スイッチ回路、２２８…オーディオＳＴＤバッフ
ァ、２３０…音声伸長復号器

Claims

【特許請求の範囲】

【請求項１】音声データおよび映像データまたはこれら
のいずれか（音声・映像データ）を多重化し、トランス
ポートパケット内に、多重化した前記音声・映像データ
を収容して伝送する伝送装置であって、映像フレーム周期内に伝送される前記音声・映像データ
のデータ量は、前記トランスポートパケットの整数倍で
ある伝送装置。
【請求項２】前記トランスポートパケットのサイズか
ら、前記トランスポートパケットのヘッダのサイズだけ
を減算したサイズの整数倍の音声・映像データを、前記
映像フレーム周期内に収容することを特徴とする請求項
１に記載の伝送装置。
【請求項３】前記映像データを受け取る映像バッファ
と、前記音声データを受け取る音声バッファと、前記映像バッファまたは前記音声バッファから、前記映
像データまたは前記音声データを選択的に取り出す選択
的取り出し手段と、取り出した前記音声データまたは前記映像データを、前
記トランスポートパケットのペイロードエリアに収容す
る収容手段と、映像フレーム周期内に出力する前記音声・映像データの
サイズが、前記トランスポートパケットのサイズの整数
倍になるように、前記選択的取り出し手段と前記収容手
段とを制御する制御手段とを有する請求項１に記載の伝
送装置。
【請求項４】前記制御手段は、前記映像バッファの空き
サイズを検出し、検出した前記映像バッファの空きサイ
ズに応じて、前記映像フレーム周期内に出力する前記映
像データのサイズを調節するように、前記選択的取り出
し手段と前記収容手段とを制御する請求項３に記載の伝
送装置。
【請求項５】前記選択的取り出し手段と前記収容手段と
は、前記音声バッファからの前記音声データを、前記映
像フレーム周期内の予め定められた期間のトランスポー
トパケットに収容するように、前記音声バッファから前
記音声データを取り出して、前記トランスポートパケッ
トに収容する請求項３に記載の伝送装置。
【請求項６】前記選択的取り出し手段と前記収容手段と
は、前記音声データが収容されていないトランスポート
パケットのペイロードエリアに、前記映像データを収容
するように、前記映像データと前記音声データとを、前
記映像バッファと前記音声バッファとから取り出して、
前記トランスポートパケットに収容する請求項５に記載
の伝送装置。
【請求項７】映像データをエンコードする映像エンコー
ド手段と、音声データをエンコードする音声エンコード手段と、エンコードした前記映像データを受け取る映像バッファ
と、エンコードした前記音声データを受け取る音声バッファ
と、前記映像バッファまたは前記音声バッファから、前記映
像データまたは前記音声データを選択的に取り出す選択
的取り出し手段と、取り出した前記映像データまたは前記音声データを、ト
ランスポートパケットのペイロードエリアに収容する収
容手段と、映像フレーム周期内に出力する前記音声・映像データの
サイズが、前記トランスポートパケットのサイズの整数
倍になるように、前記選択的取り出し手段と前記収容手
段とを制御する制御手段とを有する伝送装置。
【請求項８】音声データおよび映像データまたはこれら
のいずれか（音声・映像データ）を多重化し、トランス
ポートパケット内に、多重化した前記音声・映像データ
を収容して伝送する伝送方法であって、映像フレーム周期内に伝送される前記音声・映像データ
のデータ量は、前記トランスポートパケットの整数倍で
ある伝送方法。
【請求項９】前記トランスポートパケットのサイズか
ら、前記トランスポートパケットのヘッダのサイズだけ
を減算したサイズの整数倍の音声・映像データを、前記
映像フレーム周期内に収容することを特徴とする請求項
８に記載の伝送方法。
【請求項１０】前記映像データを受け取り、前記音声データを受け取り、受け取った前記映像データまたは前記音声データを選択
的に取り出し、取り出した前記音声データまたは前記映像データを、前
記トランスポートパケットのペイロードエリアに収容
し、映像フレーム周期内に出力する前記音声・映像データの
サイズが、前記トランスポートパケットのサイズの整数
倍になるように制御する請求項８に記載の伝送方法。
【請求項１１】前記映像バッファの空きサイズを検出
し、検出した前記映像バッファの空きサイズに応じて、
前記映像フレーム周期内に出力する前記映像データのサ
イズを調節するように制御する請求項１０に記載の伝送
方法。
【請求項１２】前記音声バッファからの前記音声データ
を、前記映像フレーム周期内の予め定められた期間のト
ランスポートパケットに収容するように、前記音声バッ
ファから前記音声データを取り出して、前記トランスポ
ートパケットに収容する請求項１０に記載の伝送方法。
【請求項１３】前記音声データが収容されていないトラ
ンスポートパケットのペイロードエリアに、前記映像デ
ータを収容するように、前記映像データと前記音声デー
タとを、前記映像バッファと前記音声バッファとから取
り出して、前記トランスポートパケットに収容する請求
項１２に記載の伝送方法。