JP3216503B2 - 多重化装置および多重化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばディジタ
ル化されたオーディオ、映像、その他データ等のマルチ
メディアデータを符号化して伝送または蓄積するための
多重を行う多重化装置に関するものであり、特に多チャ
ンネル番組の多重化装置に適用されるものである。具体
的な応用例としては、衛星や地上波、ケーブル、光ファ
イバを用いたディジタル放送システム、ビデオオンデマ
ンド（ＶＯＤ）、テレビ会議システムなどがある。

【０００２】

【従来の技術】

従来例１．図１１は例えば、服部、田中、浅野、浅井、
坂戸：「衛星利用放送品質コーデック」，三菱電機技
報，Ｖｏｌ．６７，Ｎｏ．７，ｐｐ．３３−３８（１９
９３）に示されたマルチメディア多重化装置の構成図で
ある。図１１において、１１０は映像信号１０１を情報
源符号化して映像符号化ビット列１０４を生成するビデ
オ符号化部、１１１はオーディオ信号１０２を情報源符
号化してオーディオ符号化ビット列１０５を生成するオ
ーディオ符号化部、１１２はデータ信号１０３に対して
種々の処理を行ってデータ符号化ビット列１０６を生成
するデータ符号化部、１００は映像符号化ビット列１０
４とオーディオ符号化ビット列１０５とデータ符号化ビ
ット列１０６を多重化して１つの多重化ビット列１０７
を生成する従来のメディア多重化部である。

【０００３】次に従来のマルチメディア多重化装置の動
作について説明する。映像信号１０１、オーディオ信号
１０２、データ信号１０３は、それぞれビデオ符号化部
１１０、オーディオ符号化部１１１、データ符号化部１
１２で情報源符号化され、映像符号化ビット列１０４、
オーディオ符号化ビット列１０５、データ符号化ビット
列１０６が生成される。メディア多重化部１００では、
映像符号化ビット列１１１、オーディオ符号化ビット列
１１２、データ符号化ビット列１１３を１つの多重化ビ
ット列１０７に多重化する。

【０００４】多重化は所定の多重化フレームを単位とし
て行われる。 図１２は、従来のメディア多重化部１０
０における多重方法に関する説明図であり、図におい
て、１２０は多重化ビット列を伝送するための多重化フ
レーム、１２１は多重化フレーム同期を確保するための
同期ビット、１２２は映像符号化ビット列１０４が収納
される映像スロット、１２３はオーディオ符号化ビット
列１０５が収納されるオーディオスロット、１２４はデ
ータ符号化ビット列１０６が収納されるデータスロット
である。

【０００５】各メディアの符号化データの多重化は予め
定められた繰り返し周波数をもつ多重化フレームを単位
として、従来のメディア多重部１００において予め定め
られた映像スロット１２２には映像符号化ビット列１０
４が、オーディオスロット１２３にはオーディオ符号化
ビット１０５が、データスロット１２４にはデータ符号
化ビット列１０６が収容されることにより時分割多重さ
れる。また、多重化フレーム１２０の受信側での同期を
確保する目的で多重化フレーム１２０の先頭ビットには
ユニークワードの同期ビット１２１が配置される。

【０００６】従来例２．また、別の従来例として、特開
平４−２１９０４１号公報に記載されたものを図１３に
示す。図１３において、１２５ａ〜１２５ｎは入力ポー
ト１２６ａ〜１２６ｎから入力されるパケットを蓄積す
るバッファ、１２７ａ〜１２７ｎはこの蓄積するバッフ
ァ１２５ａ〜１２５ｎに蓄積されている待ちパケット数
を計数するカウンタ、１２８はこのカウンタ１２７ａ〜
１２７ｎと接続され、その待ちパケット数とオフセット
値から送出ポートを決定する制限式ポーリング部、１２
９は上記カウンタ１２７ａ〜１２７ｎと接続され、その
待ちパケット数とオフセット値から送出ポートを決定す
る待ち行列長監視部、１３０は廃棄要求の最も厳しいメ
ディアが蓄積されるバッファ１２５に対応したカウンタ
１２７のカウント値と、その廃棄要求の最も厳しいメデ
ィアに対する待ちパケット数のしきい値との比較によ
り、制限式ポーリング部と待ち行列長監視部を切り替え
る制限切替部、１３１は上記バッファ１２５ａ〜１２５
ｎの中から、上記制限式ポーリング部１２８あるいは待
ち行列長監視部１２９からの制御に基づきひとつを選択
して出力するスイッチである。上記制限式ポーリング部
１２８、待ち行列長監視部１２９、制限切替部１３０に
より多重化制御装置１３２が構成されている。このよう
なマルチメディアパケット多重化装置においては、まず
入力ポート１２６ａ〜１２６ｎから入力されたパケット
が一旦バッファ１２５ａ〜１２５ｎに蓄積され、そのと
き該当するカウンタは値を１つあげる。

【０００７】制限切替部１３０は、廃棄要求の最も厳し
いメディアに対する待ちパケット数のしきい値と、廃棄
要求の最も厳しいメディアが蓄積されるバッファ１２５
に対応するカウンタ１２７の値とを比較し、待ちパケッ
ト数がしきい値以下の場合、制限式ポーリング部１２８
を用いる指示をし、しきい値以上の場合、待ち行列長監
視部１２９を用いる指示をする。

【０００８】制限式ポーリング部１２８は、各バッファ
１２５ａ〜１２５ｎを順次選択してスイッチ１３１に入
力し、１パケットずつ送出させる。ここで、制限式ポー
リング部１２８は各入力ポート１２６ａ〜１２６ｎに対
応して、遅延要求が高いメディア程小さい値を示すオフ
セット値を有し、各カウンタ１２７ａ〜１２７ｎの値が
それぞれのオフセット値以下の場合は待ちパケット数を
０とみなして、ポートの飛び越しを行う。これにより、
遅延に厳しいメディアのパケットが優先的に送出され
る。

【０００９】また、待ち行列長監視部１２９は待ちパケ
ット数に対し、廃棄要求の高いメディア程低いオフセッ
ト値を有し、待ちパケット数からこのオフセット値を引
いた値を論理的待ちパケット数とみなし、その論理的待
ちパケット数が最大のポートを選択する。これにより廃
棄に厳しいメディアのパケットが優先的に送出される。

【００１０】それぞれに、ポート選択後は１パケットず
つ多重化出力として送出され、選択されたポートのカウ
ンタの値を１つ下げる。以上の動作により、廃棄に厳し
いメディアのパケットの優先制御、および遅延に厳しい
メディアの優先制御が、それぞれ独立に行われる。

【００１１】

【発明が解決しようとする課題】上記従来例１に示した
マルチメディア多重化装置においては、各メディアの符
号化データが、それぞれ予め定められた固定的な割合で
時分割多重され、各メディアの符号化データは固定ビッ
トレートで多重されることになる。

【００１２】従って、時間的にビットレートが変化する
ような可変速度（ビットレート）符号化が行われた場
合、伝送フレーム中に各メディアの符号化データの最大
ビットレートに対応できる幅を有するスロットを全ての
メディアに対して確保しなければ完全なデータ伝送がで
きない。このようなスロットを用意した場合、多重化フ
レームのサイズが大きくなるため、受信側では多重化フ
レームの同期確保に長時間を要してしまったり、符号化
データが最大ビットレートに満たない場合には該当スロ
ットの残り部分にダミーデータを伝送することになるた
め伝送効率が低下し、さらに多重化後の多重化ビット列
においては各メディアに対して固定的な伝送速度しか与
えられないので、伝送したい符号化データの増減に対し
て柔軟に適応できず、多重化に伴う伝送遅延を生ずると
いう問題点があった。

【００１３】特に多重すべきメディア数が多い場合に
は、多重化フレームのサイズが大きくなるため、ビデ
オ、オーディオ、データ等からなる番組（プログラム）
を複数チャンネル集めて１つの多重化フレームに多重化
し、衛星や同軸ケーブルを用いて配送する多チャンネル
放送サービスにおいては、その多重化効率の低下や伝送
遅延は顕著なものとなる。

【００１４】さらに、映像、オーディオ、データを多重
化フレーム内の予め定められた固定的な位置に格納する
ことによって多重していたため、上述したような個々の
メディアのビットレートの変化に加え、個々のメディア
の有無等といった伝送データの内容の変化に柔軟に対応
して効率よく多重化することが困難であった。

【００１５】また上記従来例２に示したマルチメディア
パケット多重化装置においては、送出パケットを選択す
る基準としてバッファに蓄積されたパケットの数を用い
ているため、例えばメディアの種類により各入力ポート
から入ってくるパケットの大きさが異なる場合には、パ
ケットの数だけではバッファ容量の空き具合を多重化制
御装置が適切に検知できないので、バッファオーバフロ
ーのない適切な制御を行うためには入力するパケット１
つあたりの大きさ（特に最大量）を考慮して各バッファ
の容量の設定を個別に行わなければならず、また、上述
のように可変ビットレート符号化により単位時間に発生
するデータ量を変化させる場合に、バッファリングされ
ている個数でなく、データ量に応じて可変ビットレート
符号化の動作にフィードバックを行い多重化に伴う伝送
遅延を抑えるようにする制御ができないという問題があ
る。

【００１６】この発明は上記のような問題点を解決する
ためになされたものであり、多重化すべき個々のメディ
アの伝送速度の変化、個々のメディアの有無等に柔軟
に、かつ適切に対応して効率よい多重伝送を行うことが
可能になるとともに、多重化に伴う遅延時間を抑えるこ
とを目的とする。

【００１７】

【課題を解決するための手段】この発明に係わる多重化
装置は、各多重化バッファ手段における符号化データの
蓄積データ量に基づき、多重手段により多重して出力す
る上記符号化データを複数の多重化バッファ手段に蓄積
された符号化データから選択する多重制御手段を備えた
ものである。

【００１８】また、上記多重制御手段を、上記各多重化
バッファ手段の蓄積データ量のうち、最も大きな蓄積量
をもつ多重化バッファ手段に蓄積された符号化データか
ら優先的に多重化出力として選択するようにしたもので
ある。

【００１９】あるいは、上記多重制御手段を、上記各多
重化バッファ手段の蓄積データ量に重み付けを行う重み
付け手段を有し、この重み付け手段により重み付けされ
た蓄積データ量に基づき多重化出力の選択を行うように
したものである。

【００２０】また、無効データを発生する無効データ発
生手段を設けるとともに、上記多重制御手段を、上記各
多重化バッファ手段の蓄積データ量がいずれも所定の量
に満たない場合に上記無効データ発生手段の出力する無
効データを多重化出力として選択するようにしたもので
ある。

【００２１】また、伝送制御データを発生する伝送制御
データ発生手段と、伝送制御データを伝送する間隔を計
時する割り込みタイマ手段とを設け、割り込みタイマ手
段による計時結果に基づき伝送制御データ発生手段の出
力する伝送制御データを多重化出力として選択するよう
にしたものである。

【００２２】また、上記各多重化バッファ手段の蓄積デ
ータ量がいずれも所定の量に満たない場合に、上記伝送
制御データ発生手段の出力する伝送制御データを多重化
出力として選択し、上記割り込みタイマ手段を計時開始
状態に設定するようにしたものである。

【００２３】そして、上記各多重化バッファ手段の蓄積
データ量に基づき、入力される上記符号化データの発生
符号量の制御信号を出力する制御信号出力手段を上記多
重化バッファ手段に備えたものである。

【００２４】さらに、上記各多重化バッファ手段の蓄積
データ量に基づき、入力される上記符号化データの発生
符号量の制御信号を出力する制御信号出力手段を上記多
重制御手段に備えたものである。

【００２５】

【発明の実施の形態】

発明の実施の形態１.以下、この発明の多重化装置の実
施の形態を図について説明する。図１において、１０ａ
〜１０ｎは映像、オーディオ、データなどの各種メディ
ア情報２０ａ〜２０ｎの符号化を行うｎ個の符号化部、
１１ａ〜１１ｎはこの符号化部１０ａ〜１０ｎから出力
される符号化データ２１ａ〜２１ｎを蓄積するｎ個の多
重化バッファ手段としての多重化バッファ、１２はこの
多重化バッファ１１ａ〜１１ｎに蓄積された符号化デー
タを多重し、多重化ストリーム２４として出力する多重
手段としての多重部、１３は上記各多重化バッファ１１
ａ〜１１ｎにおける符号化データ２１ａ〜２１ｎの蓄積
データ量に基づき、上記多重部１３により多重して出力
する符号化データを上記複数の多重化バッファ１１ａ〜
１１ｎに蓄積された符号化データから選択する多重制御
手段としての多重制御部である。

【００２６】次に動作について説明する。種々のアプリ
ケーションに対応して映像、オーディオ、データなどの
各種メディア情報２０ａ〜２０ｎがそれぞれ個別に符号
化部１０ａ〜１０ｎに取り込まれ、情報源符号化の処理
がなされて符号化データ２１ａ〜２１ｎが生成される。
個々の符号化データ２１ａ〜２１ｎはそれぞれ多重化バ
ッファ１１ａ〜１１ｎに入力され多重化されるまで蓄積
される。

【００２７】多重部１２では、各多重化バッファ１１ａ
〜１１ｎから出力される符号化データ２２ａ〜２２ｎを
多重し、多重化ストリーム２４として出力する。ここで
各多重化バッファ１１ａ〜１１ｎは、符号化部１０ａ〜
１０ｎからの符号化データ２１ａ〜２１ｎを蓄積した
り、多重部１２へ蓄積していたデータを出力する毎に、
残りのデータ蓄積量を示すバッファ蓄積量２３ａ〜２３
ｎを出力する。

【００２８】多重制御部１３は、この各多重化バッファ
１１ａ〜１１ｎから入力されるバッファ蓄積量２３ａ〜
２３ｎに基づき多重する符号化データを１つ選択し、多
重化選択信号２５を出力する。

【００２９】多重部１２では入力される符号化データ２
２ａ〜２２ｎの内、多重化選択信号２５で示される符号
化データを次々に多重し、多重化ストリーム２４として
出力する。

【００３０】ここで、上記多重制御部１３において行わ
れる符号化データの選択の方法の一例について、図２を
用いて説明する。図２において、２７は上記各多重化バ
ッファ１１ａ〜１１ｎから入力されるバッファ蓄積量２
３ａ〜２３ｎを比較し、最も大きな蓄積量をもつ多重化
バッファに蓄積された符号化データを選択し、その番号
（以下ストリーム番号という）を示す多重化選択信号２
５を出力するバッファ蓄積量比較部である。

【００３１】次に動作について説明する。バッファ蓄積
量比較部２７では各多重化バッファ１１ａ〜１１ｎから
のバッファ蓄積量２３ａ〜２３ｎを比較し、その内で最
大の蓄積量をもつものを選択し、その対応するストリー
ム番号を多重化選択信号２５として出力する。

【００３２】例えば、ある時点でバッファ蓄積量２３ａ
が最も多いとすると、ストリーム番号ａが多重化選択信
号２５として出力される。これによりバッファ蓄積量が
一番多い多重化バッファ１１ａが選択され、この多重化
バッファ１１ａからの符号化データ２２ａが多重部１２
により多重出力されるとともに、多重化バッファ１１ａ
のデータ蓄積量は減少する。

【００３３】多重する符号化データの選択から多重まで
の動作を図３によりさらに詳細に説明する。図３では、
多重化される符号化ストリームの数を３つとし、多重化
バッファ１１ａ，１１ｂ，１１ｃのバッファ蓄積量の時
間の経過に伴う変化が示されている。すなわち、時刻ｔ
における多重化バッファ１１ａのバッファ蓄積量２３ａ
はＳａ（ｔ）で示されており、同様に、多重化バッファ
１１ｂ，１１ｃのバッファ蓄積量２３ｂ，２３ｃはそれ
ぞれＳｂ（ｔ），Ｓｃ（ｔ）で示されている。

【００３４】時刻ｔ１，ｔ２，．．は多重化されるタイ
ミングを示したもので、ここでは簡単のため、一定時間
間隔で多重化選択信号２５を選択し、その選択された多
重化選択信号２５の符号化データを多重化するものとす
る。

【００３５】また、ここではそれぞれの符号化データ２
１ａ，２１ｂ，２１ｃの情報発生速度は一定であると
し、さらに、符号化データ２１ａ，２１ｂ，２１ｃの情
報発生速度の和が多重化ストリーム２４の伝送速度と等
しいものとする。

【００３６】時刻ｔ１において、バッファ蓄積量比較部
３０ではそのときの各多重化バッファの蓄積量２３ａ，
２３ｂ，２３ｃを比較する。時刻ｔ１では、図３に示さ
れるように、Ｓｂ（ｔ１）＞Ｓａ（ｔ１）＞Ｓｃ（ｔ
１）であるため、ストリーム番号ｂが選択され、多重化
選択信号２５としてｂが出力される。

【００３７】多重部１２では多重化選択信号２５により
多重化バッファ１１ｂからｍビットを読み出して多重化
ストリーム２４に多重化する。ここでは簡単のため、多
重化バッファｂ１１ｂから瞬時に符号化データ２２ｂが
読み出されるものとする。従って、時刻ｔ１で蓄積量が
比較された次の時点では、多重化バッファ１１ｂの蓄積
量Ｓｂ（ｔ１）がｍビット減少する。

【００３８】実際にはこのｍビットは時刻ｔ１から次の
多重化タイミングの時刻ｔ２にかけて多重化ストリーム
２４として出力されるもので、多重化ストリーム２４の
伝送速度が一定（ＣＢＲ：Ｃｏｎｓｔａｎｔ Ｂｉｔ
Ｒａｔｅ）であるとすると、そのときの伝送速度は、 伝送速度［ビット／秒］＝ｍ［ビット］／（ｔ２−ｔ
１）［秒］ で与えられる。

【００３９】次に時刻ｔ２においては図３より、Ｓａ
（ｔ２）＞Ｓｂ（ｔ２）＞Ｓｃ（ｔ２）であるため、ス
トリーム番号ａが選択され、多重化選択信号２５として
ａが出力される。以降、同様に各時刻ｔ３，ｔ４，ｔ
５，ｔ６においてバッファ蓄積量の比較が行われ、多重
化選択信号２５としてｂ，ｃ，ｂ，ａが順次出力され、
これに従って各多重化バッファから符号化データが読み
出される。

【００４０】なお、多重化バッファ蓄積量が同一の場合
には、予め定められた優先度（例えば、ストリーム番号
の小さいものから高い優先度、あるいは符号化ストリー
ムの情報発生速度が遅いものから高い優先度）に基づき
符号化ストリーム番号を選択し、多重化選択信号２５を
出力する。

【００４１】また、図４は符号化部１０ａ〜１０ｎから
出力される符号化データ２１ａ〜２１ｎの例を示すもの
で、３５は固定長（ｍビット）から構成される固定長パ
ケット、３６はパケットの識別等を行う情報が含まれる
パケットヘッダ、３７は符号化データや制御情報などが
入れられるペイロードである。

【００４２】符号化部１０ａ〜１０ｎではそれぞれの符
号化データが固定長パケット３５のペイロード３７に収
容され、固定長パケット３５の形式で多重化バッファ１
１ａ〜１１ｎに入力される。その際のパケットヘッダ３
６には、ペイロード３７の内容が区別できるように各メ
ディアに対して固有のパケット識別番号が含まれてい
る。

【００４３】多重部１２では、ｍビットの固定長パケッ
ト３５単位に多重化を行い、多重化ストリーム２４を生
成する。受信側では多重化ストリーム２４をｍビットの
固定パケット長単位に分離を行い、各固定長パケット３
５のパケットヘッダ３６により各メディアの分離を行
う。

【００４４】以上の動作により、多重化バッファの蓄積
量に応じて多重する符号化データが選択され、多重出力
されるので、固定的な多重化パターンを予め定める必要
がなく、効率的な多重伝送が行える。

【００４５】また、バッファ蓄積量の多いものから選択
して多重化されるため、多重化バッファの必要容量を最
小限に収めることができると同時に多重化に伴う遅延時
間を短くすることができる。

【００４６】さらに、多重する符号化データの選択を、
多重化バッファの蓄積量により行っているので、多重化
バッファにおけるデータの蓄積量自体を反映した制御が
行える。

【００４７】例えば図３に示した実施形態にみられるよ
うに、１出力パケットｍビットとすると各多重化バッフ
ァに蓄積されるパケット数は０個か１個であり、図３と
同様の動作を従来のようにパケットの個数の比較を用い
る場合ではどの多重化バッファのデータを読み出せばよ
いかを判断できない。パケットの個数の比較で判断する
ためには多重化バッファの容量をもっと大きくしなけれ
ばならず、そのために多重に伴うデータ伝送の遅延が増
加してしまう。

【００４８】以上のように多重化バッファの蓄積量をビ
ット単位で把握し、ビット単位の蓄積量による制御を行
えば、多重化バッファにおけるパケットの数でなくデー
タの蓄積ビット量そのものを反映した細かな多重化制御
が可能となり、多重化バッファの容量を抑え、伝送遅延
を極力抑えることができる。

【００４９】なお、上記実施の形態では多重化ストリー
ム２４の伝送速度（ビットレート）が一定（ＣＢＲ：Ｃ
ｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）のものとして説明
したが、この発明は、多重化ストリーム２４における実
データの伝送速度が可変となるＶＢＲ（Ｖａｒｉａｂｌ
ｅ Ｂｉｔ Ｒａｔｅ）の場合でも適用が可能である。

【００５０】このＶＢＲの場合は通常、符号化部側も符
号化データの発生量が可変となり、この発生データ量が
変化するデータを伝送するために、ＶＢＲによる伝送が
適している。この際、多重化タイミングを固定とすると
多重化ビット数が可変となる。すなわち、図３で説明し
た上記実施の形態と同様に一定間隔で多重化タイミング
をとるとする場合は、多重化のために読み出すビット数
を可変するということである。

【００５１】すなわち、符号化部からの符号化データ発
生量が可変なので、各多重化バッファの蓄積量の増え方
が時間軸に対して一定の増え方ではなく、例えば一定間
隔のある区間で大量にデータが発生して蓄積量が急に増
えることがあるが、一定ビット数の読みだしでは多重化
バッファの容量を大きくする必要がある上、何度もその
ストリームが選択され、複数回分の間隔で伝送するので
そのストリームや他のストリームの伝送遅延を増やして
しまうことになるので、一度に読み出すビット数を多く
して（すなわち多重化ビット数を多くして）伝送遅延を
抑えるものである。

【００５２】この発明では蓄積量自体をみて多重化する
符号化データを選択しているので、蓄積量の増え方を把
握でき、また一度に読み出すビット数は各蓄積量に応じ
て決めればよく、このような動作は蓄積量自体を基準と
しているために可能となっている。

【００５３】また、ｍビット固定で多重化する時には多
重化タイミングが可能となる。すなわち、図３で説明し
た上記実施の形態では一定間隔で多重化タイミングをと
り、そのときの蓄積量の比較で多重化する符号化データ
を選択したが、ｍビット固定で多重化すると多重部の構
成を比較的に簡略にできるものの、ＶＢＲの場合、上述
の問題が生じる。このためにいずれかの多重化バッファ
が所定の蓄積量に達したときにその符号化データを選択
して多重化するようにする。この場合は多重化タイミン
グは可変になる。このような動作を細かいレベルで行う
ことも蓄積量の把握によって可能となる。

【００５４】また、図４で示したように各符号化部１０
ａ〜１０ｎでパケット化すると、その単位で多重するこ
とができ、多重部の構成を簡略にできるが、一方、多重
化バッファ、あるいは多重部で、各ストリームを示すヘ
ッダを各符号化データにつけるようにすれば、多重化バ
ッファから読み出される蓄積データの区切りを自由につ
けることができるので、上記ＶＢＲのような場合に対応
できる。

【００５５】例えば図３の多重化バッファ蓄積量におい
て、下限しきい値を決めておき、選択されたストリーム
についてはこの下限しきい値までを一度に多重化出力と
して読み出すようにすることもでき、各バッファ毎にこ
のしきい値を変えておけば、各ストリーム（メディア）
に対応した伝送が行える。

【００５６】なお、上記説明では、各多重化バッファ１
１ａ〜１１ｎから蓄積量２３ａ〜２３ｎを出力するもの
を示したが、蓄積量でなくバッファ残量を出力してもよ
いし、また、多重制御部１３に各多重化バッファ１１ａ
〜１１ｎの蓄積量を計数するカウンタを備え、各多重化
バッファ１１ａ〜１１ｎからは、入ってきたデータ量、
出力したデータ量を示す信号を逐次送出し、多重制御部
１３のカウンタで各バッファの蓄積量を把握して判断し
てもよく、要するに各多重化バッファ１１ａ〜１１ｎの
データ蓄積量が把握できればよい。

【００５７】発明の実施の形態２．上記実施形態１で
は、各多重化バッファ１１ａ〜１１ｎを平等に比較して
多重する符号化データを選択したが、特定のメディアの
符号化データを優先的に低遅延時間で多重化することも
あり、この際には、それ以外の符号化データに対するバ
ッファ蓄積量を実際の値よりも減じて多重制御部１３に
入力すればよい。

【００５８】また全体的に優先度をつける場合は各蓄積
量に重み付けを行い、重み付けされた蓄積量により選択
を行えばよく、その実施形態を図５にもとづき説明す
る。図５において、５０は重み付け係数テーブル、５１
は重み付け部、５２は比較部であり、図１と同一符号は
同一または相当のものを示す。

【００５９】次に動作について説明する。多重制御部１
３に入力されたバッファ蓄積量２３ａ〜２３ｎは、重み
付け係数テーブル５０から入力される重み付け係数５３
ａ〜５３ｎに従い、重み付け部５１にて重み付けが行わ
れる。

【００６０】重み付け係数５３ａ〜５３ｎの値は、例え
ば多重化に対する各メディア（ストリーム）の遅延許容
時間によって定められ、遅延許容時間が少ないメディア
に対して大きい重み付けが行われる。

【００６１】その結果、重み付け後のバッファ蓄積量５
４ａ〜５４ｎの比較が比較部５２で行われるとき、遅延
許容時間の少ないメディアが優先して選択され、その多
重化選択信号２５が出力される。一般にオーディオメデ
ィアは映像メディアに比べて設けられるバッファサイズ
が小さく、遅延許容時間が映像メディアよりも短い。従
って、オーディオメディアに対して大きな重み付けを行
い、多重化による遅延時間が少なくなるよう制御され
る。このようにして蓄積量という値を用い、細かな重み
付けを行い、優先制御が行われる。

【００６２】発明の実施の形態３．図６はこの発明の別
の実施の形態を示す構成図である。図６において、３０
は多重部、３１は無効データ発生部であり、図１と同一
符号は同一または相当のものを示す。

【００６３】次に動作について説明する。符号化データ
２２ａ〜２２ｎの情報発生速度の和が多重化ストリーム
３３の伝送速度より小さいとき、無効データ発生部３１
より無効（ヌル）データ３２が生成され、多重部３０に
て多重化ストリーム３３に多重化、多重化ストリーム３
３の伝送速度に速度整合がなされる。

【００６４】即ち、図３に示すような多重化タイミング
における多重化バッファ１１ａ，１１ｂ，１１ｃのバッ
ファ蓄積量２３ａ，２３ｂ，２３ｃがいずれもｍビット
に満たないときには、多重制御部１３において無効デー
タ３２を選択する多重化選択信号２５が出力され、多重
化がなされる。また、無効データ３２としてはデータの
ビット値が全て’１’または’０’とされる。

【００６５】発明の実施の形態４．図７はこの発明の別
の実施の形態を示す構成図である。図７において、４０
は伝送制御データ発生手段としての伝送制御データ発生
部、４１は割り込みタイマ手段としての割り込みタイマ
部、４２は多重部であり、図１と同一符号は同一または
相当のものを示す。

【００６６】次に動作について説明する。伝送制御デー
タ発生部４０では、送受信クロックの同期確保に必要な
送信クロックの同期情報や多重化ストリーム４５に含ま
れているメディア情報に対する制御情報や補助情報な
ど、周期的に送る必要がある伝送制御データ４３が生成
される。

【００６７】伝送制御データ４３の多重化ストリーム４
５への多重化は割り込みタイマ部４１から周期的に発生
する割り込み信号４４により行われる。すなわち、多重
部４２では割り込み信号４４が発生すると多重化選択信
号２５による符号化データ選択は無視されて制御データ
４３を選択して多重化ストリーム４５への多重化が行わ
れる。割り込み信号４４が発生すると割り込みタイマ部
４１のタイマが再度設定され、一定時間経過後に再び割
り込み信号４４が発生する。なお、無視された符号化デ
ータは蓄積量が減っていないので、次の多重化タイミン
グで選択されることになる。

【００６８】なお、この実施形態で示した伝送制御デー
タ発生手段、割り込みタイマ手段に上記実施の形態３で
示した無効データ発生手段を組み合わせてもよい。

【００６９】図８はこのような実施の形態における動作
を説明する説明図である。この図８では、図３同様に簡
単のために符号化ストリーム数を３つとし、各メディア
の情報発生速度および多重化周期を一定とする。

【００７０】多重化タイミングである時間ｔ０，ｔ１，
ｔ２においては、各メディア（多重化バッファ１０ａ、
１０ｂ、１０ｃ）の多重化バッファの蓄積量を比較し、
その中で最大の蓄積量を持つものが選択され、図３中に
示した様に多重化ストリームが生成される。ただし、各
メディアのバッファ蓄積量Ｓａ（ｔ3），Ｓｂ（ｔ3），
Ｓｃ（ｔ３）が多重化に必要なビット数に満たない場合
は、多重制御部１３からは無効を示す多重化選択信号２
５が出力され、無効データ４２が多重化される。

【００７１】図８では、時刻ｔ３において、各メディア
のバッファ蓄積量Ｓａ（ｔ3），Ｓｂ（ｔ3），Ｓｃ（ｔ
３）が多重化に必要なｍビットに満たないため、多重制
御部１３からは無効を示す多重化選択信号２５が出力さ
れ、無効データ４２が多重化される。次に、時刻ｔ５に
おいて多重化バッファ蓄積量の比較により、ストリーム
番号ｃが選択されるが、割り込み信号４４の発生により
多重部４２では伝送制御データ４３の選択を行い、多重
化が行われる。

【００７２】発明の実施の形態５．また、多重化バッフ
ァ１１ａ，１１ｂ，１１ｃのバッファ蓄積量２３ａ，２
３ｂ，２３ｃがいずれもｍビットに満たないときには、
割り込みタイマ部４１に入力された多重化選択信号２５
によりタイマ値に拘わらず割り込み信号４４が発生する
ようにすれば、無効データ４２の代わりに伝送制御デー
タ４３が多重化でき、多重化効率を高めることができ
る。伝送制御データ４３が多重化されたあと、割り込み
タイマ部４１のタイマが再度設定される。

【００７３】発明の実施の形態６．図９はこの発明の別
の実施の形態を示す構成図である。図９において、図１
と同一符号は同一または相当のものを示す。

【００７４】次に動作について説明する。図９におい
て、各多重化バッファ１１ａ〜１１ｎ内には、各多重化
バッファの容量から現在のバッファ蓄積量を差し引いて
バッファ残量２６ａ〜２６ｎを求め、これを上記符号化
データの発生符号量の制御信号としてそれぞれの符号化
部１０ａ〜１０ｎに出力する制御信号出力手段が設けら
れている。

【００７５】符号化部１０ａでは、バッファ残量２６ａ
の大小により符号化データ２１ａの情報発生速度を制御
する。即ち、バッファ残量２６ａが少ない場合には、符
号化データ２１ａの情報発生量を減少させ、逆にバッフ
ァ残量２６ａが大きい場合には、符号化データ２１ａの
情報発生量を増加させる。

【００７６】これにより、符号化データ２１ａの蓄積量
が多重化バッファ１１ａの容量をオーバフローすること
が防止できるほか、多重化バッファ１１ａの蓄積量を制
御することにより、多重化遅延を減少させることができ
る。ここでは、一例として、符号化部１０ａについて説
明したが、他の符号化部１０ｂ〜１０ｎに対しても同様
の動作が行われる。

【００７７】発明の実施の形態７．図１０はこの発明の
別の実施の形態を示す構成図である。図１０において、
８０ａ〜８０ｎは符号化部、８１は多重制御部であり、
図１と同一符号は同一または相当のものを示す。

【００７８】次に動作について説明する。図１０におい
て、各多重化バッファ１１ａ〜１１ｎからは現在のバッ
ファ蓄積量２３ａ〜２３ｎが多重制御部８１に入力され
る。多重制御部８１では、発明の実施の形態１で説明し
た様にバッファ蓄積量２３ａ〜２３ｎの大小により多重
化する符号化ストリームを選択し、多重化信号２５を多
重部１２に出力する。

【００７９】また、多重制御部８１には、バッファ蓄積
量２３ａ〜２３ｎから全体の蓄積量を求め、その大小に
応じて、符号化データの発生符号量の制御信号としての
符号化制御信号８２ａ〜８２ｎをそれぞれの符号化部８
０ａ〜８０ｎに出力する制御信号出力手段が設けられて
いる。

【００８０】例えば、全体の蓄積量が多い時は多重化装
置全体として多重化遅延が発生していることを示してい
るため、全体の符号化データ発生量を抑えるように制御
される。逆に、全体の蓄積量が少なく、無効データが多
く発生している時は多重化効率を高めるため、全体の符
号化データ発生量が増加するように制御される。

【００８１】これにより、多重化装置全体での多重化遅
延時間が低減できる他、多重化効率を向上させる効果が
ある。さらに多重化バッファ残量により符号化部の情報
発生量を制御するため、多重化ストリームの伝送速度に
適応的に追随でき、伝送帯域を有効に利用した常時効率
の良い多重が行われる。

【００８２】

【発明の効果】以上のように、この発明によれば各多重
化バッファ手段の蓄積データ量に基づいて符号化データ
を選択して多重化するので、多重化パターンを予め定め
る必要がなく、個々のメディアの伝送速度の変化に対し
て柔軟に対応し、伝送遅延を抑えることができる。

【００８３】また、蓄積データ量の多いものから選択し
て多重化することにより、多重化バッファ手段の必要容
量を最小限に収めることができると同時に多重化に伴う
遅延時間を短くすることができる。

【００８４】また、蓄積データ量に対して重み付けを行
うことにより、多重化によって発生する遅延時間の許容
量が少ない符号化データを優先的に多重化することがで
き、遅延時間を最小限に抑えることができる。

【００８５】また、無効データを挿入することにより生
成される多重化出力の速度を調節することができる。

【００８６】また、割り込みタイマ手段により、伝送制
御データを多重化バッファ手段のデータ蓄積量に拘わら
ず周期的に且つ優先的に多重することができる。

【００８７】また、無効データの代わりに伝送制御デー
タを送出することで、多重化効率が向上する。

【００８８】また、蓄積データ量に基づき、入力される
上記符号化データの発生符号量の制御信号を出力する制
御信号出力手段を多重化バッファ手段に設けることによ
り、符号化データの発生量を制御できるので、蓄積量が
多重化バッファ手段の容量をオーバフローすることが防
止でき、多重化バッファ蓄積量を抑えられ、多重化遅延
を減少させることができる。

【００８９】また、蓄積データ量に基づき、入力される
上記符号化データの発生符号量の制御信号を出力する制
御信号出力手段を多重制御手段に設けることにより、多
重化装置全体の遅延量より符号化部の情報発生量が制御
できるので、多重化装置全体での多重化遅延時間が低減
でき、多重化効率を向上させる効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態における多重化装置の構
成図である。

【図２】この発明の実施の形態における多重化装置の多
重制御部を示す構成図である。

【図３】この発明の実施の形態における多重化装置の動
作を示す説明図である。

【図４】この発明の実施の形態における固定長パケット
の構成例を示す説明図である。

【図５】この発明の実施の形態における多重化装置の多
重制御部を示す構成図である。

【図６】この発明の実施の形態における多重化装置の一
部を示す構成図である。

【図７】この発明の実施の形態における多重化装置の一
部を示す構成図である。

【図８】この発明の実施の形態における多重化装置の動
作を示す説明図である。

【図９】この発明の実施の形態における多重化装置の構
成図である。

【図１０】この発明の実施の形態における多重化装置の
構成図である。

【図１１】従来の多重化装置の例を示す構成図である。

【図１２】従来例の多重化装置における多重化フレーム
の構成を示す説明図である。

【図１３】従来例の別の多重化装置を示す構成図であ
る。

【符号の説明】

１０ａ〜１０ｎ 符号化部 １１ａ〜１１ｎ 多重化バッファ部 １２ 多重部 １３ 多重制御部 ２７ バッファ蓄積量比較部 ４０ 伝送制御データ発生部 ４１ 割り込みタイマ部 ４２ 多重部 ５０ 重み付け係数テーブル ５１ 重み付け部 ５２ 比較部 ８０ 符号化部 ８１ 多重制御部

フロントページの続き (56)参考文献 特開 昭52−38811（ＪＰ，Ａ) 特開 平２−280439（ＪＰ，Ａ) 特開 平４−219041（ＪＰ，Ａ) 電子情報通信学会論文誌，Ｖｏｌ．Ｊ 72−Ｂ−Ｉ，Ｎｏ．２，酒井善則，通信 端末におけるマルチメディアバースト多 重方式，ｐｐ．109−117 電子情報通信学会春季全国大会講演論 文集，Ｂ−613（1992−３−15），岡本 司他，ＡＴＭレイヤ品質監視のためのＯ ＡＭセル挿入法の検討，ｐ３−180 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04L 3/00 - 3/26 H04L 12/28

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 入力されるパケット形式の符号化データ
   を蓄積すると共に、その蓄積の際に上記符号化データの
   蓄積量をビット単位で把握して、把握したビット単位の
   符号化データ蓄積量を出力する複数の多重化バッファ手
   段と、 上記各多重化バッファ手段における上記ビット単位の符
   号化データ蓄積データ量に基づき、多重して出力する上
   記符号化データのパケットを上記複数の多重化バッファ
   手段に蓄積された符号化データのパケットから選択する
   多重制御手段と、上記多重制御手段の選択に基づき、上記各多重化バッフ
   ァ手段に蓄積された上記符号化データをパケット単位で
   読み出し 多重して出力する多重手段と、 を備えたことを特徴とする多重化装置。
2. 【請求項２】 上記多重制御手段は、上記各多重化バッ
   ファ手段における上記ビット単位の符号化データ蓄積デ
   ータ量のうち、最も大きな蓄積量をもつ多重化バッファ
   手段に蓄積された符号化データから優先的に多重化出力
   として選択することを特徴とする請求項１記載の多重化
   装置。
3. 【請求項３】 上記多重制御手段は、上記各多重化バッ
   ファ手段における上記ビット単位の符号化データ蓄積デ
   ータ量に重み付けを行う重み付け手段を有し、この重み
   付け手段により重み付けされたビット単位の符号化デー
   タ蓄積データ量に基づき多重化出力の選択を行うことを
   特徴とする請求項１記載の多重化装置。
4. 【請求項４】 無効データを発生する無効データ発生手
   段を設け、上記多重制御手段は、上記各多重化バッファ
   手段における上記ビット単位の符号化データ蓄積データ
   量がいずれも所定の量に満たない場合に、上記無効デー
   タ発生手段の出力する無効データを多重化出力として選
   択することを特徴とする請求項１ないし３いずれかに記
   載の多重化装置。
5. 【請求項５】 伝送制御データを発生する伝送制御デー
   タ発生手段と、上記伝送制御データを伝送する間隔を計
   時する割り込みタイマ手段とを備え、上記多重制御手段
   はこの割り込みタイマ手段による計時結果に基づき上記
   伝送制御データ発生手段の出力する伝送制御データを多
   重化出力として選択することを特徴とする請求項１ない
   し４いずれかに記載の多重化装置。
6. 【請求項６】 上記多重制御手段は、上記各多重化バッ
   ファ手段における上記ビット単位の符号化データ蓄積デ
   ータ量がいずれも所定の量に満たない場合に、上記伝送
   制御データ発生手段の出力する伝送制御データを多重化
   出力として選択し、上記割り込みタイマ手段を計時開始
   状態に設定することを特徴とする請求項５記載の多重化
   装置。
7. 【請求項７】 上記各多重化バッファ手段は、ビット単
   位の符号化データ蓄積データ量に基づき、入力される上
   記符号化データの発生符号量の制御信号を出力する制御
   信号出力手段を備えたことを特徴とする請求項１ないし
   ６いずれかに記載の多重化装置。
8. 【請求項８】 上記多重制御手段は、上記各多重化バッ
   ファ手段における上記ビット単位の符号化データ蓄積デ
   ータ量に基づき、入力される上記符号化データの発生符
   号量の制御信号を出力する制御信号出力手段を備えたこ
   とを特徴とする請求項１ないし６いずれかに記載の多重
   化装置。
9. 【請求項９】 複数のマルチメディアデータを符号化し
   た複数の符号化データのパケットを入力してそれぞれ蓄
   積し多重化する多重化方法において、 入力される上記複数の符号化データのパケットを蓄積す
   ると共に、その蓄積の際に上記複数の符号化データの蓄
   積量をそれぞれビット単位で把握し、この把握したそれ
   ぞれのビット単位の符号化データ蓄積量に基づいて、蓄
   積した符号化データのパケットから多重して出力する符
   号化データのパケットを選択し多重する 、ことを特徴とする多重化方法。