WO2006077621A1

WO2006077621A1 - 多重化装置及び受信装置

Info

Publication number: WO2006077621A1
Application number: PCT/JP2005/000520
Authority: WO
Inventors: Masayuki Baba; Yoshiaki Kato
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2005-01-18
Filing date: 2005-01-18
Publication date: 2006-07-27
Also published as: JPWO2006077621A1; US20070268927A1; JP4423301B2; US8369341B2

Abstract

　優先度比較を行うとともに任意の出力レートで多重化データを選択して出力する多重化装置及び多重化装置から出力されるデータを時系列に合成した後出力する受信装置を提供する。　多重化装置１は、優先度が付けされた符号化ユニットを入力して一時蓄積する多重化バッファ２、優先度と符号化ユニットのデータ量とに基づいて単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する多重化制御部４、多重化制御部からの制御に基づいて前記多重化バッファに蓄積された符号化ユニットから単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択し多重化して出力する多重化部３を備える。

Description

明細書

多重化装置及び受信装置

技術分野

[0001] この発明は、入力される符号ィ匕ユニットを優先度の高いもの力も選択し多重化して出力する多重化装置及び多重化装置から出力されるデータを時系列に合成した後出力する受信装置に関するものである。

背景技術

[0002] 従来の多重化装置は、多重化バッファにおける遅延時間に各メディア種別による重み付けをした値によって、多重化における優先度を決定し、優先度の高いバッファから選択多重を行って、た (例えば、特許文献 1参照)。

[0003] この従来の多重化装置では、メディア間の優先度しか考慮していないため、同一メディア内での符号ィ匕ユニット毎に優先度を変更することはできない。特に、メディア内で重要な部分とそうでな!/ヽ部分が存在する場合、符号ィ匕ユニット毎に優先度を付与できる機能が必要となる。

[0004] 一方、符号化ユニット単位に優先度を付与して、優先度がある最も高!ヽ符号化ュニットのみを送信するようにした多重化装置がある（例えば、特許文献 2参照)。

[0005] しかし、この多重化装置では、符号ィ匕ユニット毎に優先度が付与されるものの、同じタイミングの符号ィ匕ユニット間での比較で送信の可否が決まってしまうため、同じタイミングに複数の優先度が高いものが集まったときでも 1つの符号ィ匕ユニットしか出力することはできなぐ効果的な多重化制御のためには、符号化ユニットを多少遅延させても優先度の高、ものを出力する機能が必要となる。

[0006] 特許文献 1：特開 2000-209177号公報

特許文献 2：特開平 8— 279835号公報

発明の開示

発明が解決しょうとする課題

[0007] 従来の多重化装置は、符号化ユニット毎に優先度を付与するものの、同じタイミングの符号ィ匕ユニット間でのみ比較を行うため、その前後も含めた比較が行えず、長い時間で見た場合に優先度が高いものが選ばれるとは限らないという問題点があった。

[0008] さらに、従来の多重化装置では、 1タイミングで 1データ出力というような選択方法のため、 5タイミングで 3データ出力というような任意の出力レートで多重化データを選択することができな、と、う問題点があった。

[0009] この発明は前記のような問題点を解決するためになされたもので、同一メディア間で優先度比較を行うとともに、任意の出力レートで多重化データを選択して出力することができる多重化装置及び多重化装置力出力されるデータを時系列に合成した後出力する受信装置を提供することを目的とする。

課題を解決するための手段

[0010] この発明に係る多重化装置は、優先度が付けされた符号ィ匕ユニットを入力して一時蓄積する多重化バッファ手段と、前記優先度と前記符号化ユニットのデータ量とに基づ、て単位時間内に送信可能なデータ量分の符号ィ匕ユニットを優先度の高、ものから選択する多重化制御手段と、前記多重化制御手段からの制御に基づいて前記多重化バッファ手段に蓄積された符号ィ匕ユニットから単位時間内に送信可能なデータ量分の符号ィ匕ユニットを優先度の高いもの力選択し多重化して出力する多重化手段とを備えたものである。

[0011] また、この発明に係る受信装置は、複数の経路力もの符号ィ匕ユニットデータを受信する受信手段と、前記受信手段で受信した複数の符号化ユニットを本来の時刻順に並び替えて出力する合成出力手段とを備えたものである。

発明の効果

[0012] この発明によれば、優先度比較を行うとともに、任意の出力レートで多重化データを選択して出力することができる多重化装置を得ることができ、また多重化装置力出力されるデータを時系列に合成した後出力する受信装置を得ることができる。

図面の簡単な説明

[0013] [図 1]この発明の実施の形態 1に係る多重化装置の構成を示すブロック図、

[図 2]この発明の実施の形態 1に係る多重化制御方法の例を示すもので、入力データと出力データを示した図、

[図 3]この発明の実施の形態 2に係る多重化装置の構成を示すブロック図、 [図 4]この発明の実施の形態 2に係る多重化制御方法の例を示した図、 [図 5]この発明の実施の形態 3及び 4に係る多重化装置の構成を示すブロック図、 [図 6]この発明の実施の形態 3に係る多重化制御方法の例を示すもので、入力データと出力データを示した図、

[図 7]この発明の実施の形態 4に係る多重化制御方法の例を示すもので、入力データと出力データを示した図、

[図 8]この発明の実施の形態 5に係る多重化装置の構成を示すブロック図、

[図 9]この発明の実施の形態 5に係る多重化制御方法の例を示すもので、入力データ、主出力データ、補助出力データを示した図、

[図 10]この発明の実施の形態 6に係る受信装置の構成を示すブロック図である。

[図 11]この発明の実施の形態 6に係る受信装置の受信における合成処理の例を示した図である。

発明を実施するための最良の形態

[0014] 実施の形態 1.

図 1は、この発明の実施の形態 1に係る多重化装置の構成を示すブロック図である。図 1において、多重化装置 1は、外部からメディアデータを取得しそれを多重化してネットワーク 10へ出力する。多重化装置 1内の多重化バッファ 2は、外部から転送されたメディアデータを多重化前に一時的に蓄積する。多重化部 3は、多重化バッファ 2内の符号ィ匕されたメディアデータの中力多重化すべきデータを選択して多重化を行いネットワーク 10に出力する。多重化制御部 4は、多重化バッファ 2内のメディアデータの優先度に基づき多重化すべきデータを決定し、その指示を多重化部 3へ通知する。

[0015] 次に動作について説明する。まず、多重化装置 1は、外部からメディアデータ列を取得し、それを一時的に多重化バッファ 2に蓄積する。この時、メディアデータ列は、複数の符号ィ匕ユニットからなり、それぞれに多重化のための優先度が付与されている。多重化制御部 4は、ある単位時間周期で、多重化バッファ 2の中から単位時間に送信可能なデータ量分の符号ィ匕ユニットを優先度の高いものから選択する。そして、多重化制御部 4は、その情報を多重化部 3に通知する。多重化部 3では、多重化制御部 4から指示のあった符号ィ匕ユニットをネットワーク 10に出力する。この時、多重化バッファ 2内の選ばれな力つた符号ィ匕ユニットは廃棄される。

[0016] このようにしてある単位時間内に取得した符号ィ匕ユニットを優先度の高いものから出力レート分のデータ量を選び出しそれらを送信することで、優先度の高い符号ィ匕ユニットが送信できる。

[0017] 図 2は、実施の形態 1に係る多重化制御方法の例を示す入力データと出力データを示した図である。図 2に示す外部からの入力メディアデータ列は、符号ィ匕ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ 2にー且蓄積される。多重化制御部 4では、単位時間経過後（図では優先度が付された 7ユニット時間分）に多重化バッファ 3内の符号ィ匕ユニットの中から優先度の高いものを送信可能な情報量分だけ選択する。この図 2では、網掛けのかかつて、な、符号ィ匕ユニットが選択される。この情報を多重化制御部 4から多重化部 3 に通知し、多重化制御部 3では、図 2に示すように、選択された優先度 1と 2と 1のデータを出力する。この時、選択されな力つた優先度 3と 5と 6と 4のデータは廃棄される

[0018] その後、引き続き入力データを多重化バッファ 2に蓄積し、再び単位時間が経過したときに、多重化制御部 4は、優先度の高い符号ィ匕ユニットを送信可能なデータ量だけ選択し、多重化部 3に通知する。多重化部 3では、その情報を基にデータを送信する。

[0019] 以上のように、多重化装置 1では、単位時間内の全ての符号ィ匕ユニットの優先度を比較するようにしたため、単位時間内で優先度の高い符号ィ匕ユニットのみを出力することがでさる。

[0020] また、単位時間内に選択する符号ィ匕ユニットの総情報量を任意に設定できるようにしたので、所望の出力レートにあわせることができる。

[0021] 実施の形態 2.

上述した実施の形態 1では、入力するメディアデータは 1種類であった力この実施の形態 2では、複数種類のメディアデータを入力する例にっ、て示す。

[0022] 図 3は、この発明の実施の形態 2に係る多重化装置の構成を示すブロック図である。図 3において、多重化装置 1内にはメディアデータの種類別の複数の多重化バッファ 2a— 2cが備えられ、複数の多重化バッファ 2a— 2cは、外部力入力されるメディァデータを個別に蓄積する。多重化部 3は、多重化制御部 4からの制御に基づいて複数の多重化バッファ 2a— 2c内に蓄積された符号ィ匕ユニットから単位時間内に送信可能なデータ量分の符号ィ匕ユニットを優先度の高いものから選択して多重化を行いネットワーク 10に出力する。他の部分に関しては実施の形態 1と同様なので省略する。なお、多重化バッファの数は、図 3に示す構成では 3つとしているがいくつでも可能である。

[0023] 次に動作について説明する。 3種類のメディアデータがそれぞれ多重化バッファ 2a 一 2cに入力され、各多重化バッファ 2a— 2cで一時的に蓄積を行う。この時、メディアデータ列は、複数の符号ィ匕ユニットからなり、それぞれに多重化のための優先度が付与されている。多重化制御部 4は、ある単位時間周期で、多重化バッファ 2a— 2cの中から、単位時間に送信可能なデータ量分の符号ィ匕ユニットを優先度の高いものから選択する。そして、多重化制御部 4は、その情報を多重化部 3に通知する。多重化部 3では、多重化制御部 4から指示のあった符号ィ匕ユニットをネットワーク 10に出力する。この時、多重化バッファ 2内の選ばれな力つた符号ィ匕ユニットは廃棄される。

[0024] 図 4は、実施の形態 2に係る多重化制御方法の例を示した図である。図 4に示すように、外部からの 2種類の入力メディアデータ列 (オブジェクト 1、オブジェクト 2)は、符号ィ匕ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ 2a、 2bにー且蓄積される。多重化制御部 4では、単位時間経過後（図 4では 7ユニット時間分）に多重化バッファ 2aおよび 2b内の符号ィ匕ュ二ットの中から優先度の高いものを送信可能な情報量分だけ選択する。この時、優先度だけで送信する符号ィ匕ユニットを選択するため、選択されるオブジェクトに偏りが発生する可能性がある力こうすることで、より優先度の高いユニットを選択することができる。この情報を多重化制御部 4から多重化部 3に通知し、多重化制御部 3では、選択された優先度の高い符号ィ匕ユニットが次の単位時間で送信される。この時、選択されなカゝつた符号ィ匕ユニットは廃棄される。

[0025] 多重化部 3で送信する際、通信プロトコルに則り、通信用のヘッダ情報を付与したり、複数のメディアを多重するための多重化プロトコルを使用したりすることもある。例えば、 MPEG—2システム（ISO/IEC13818-l)に則って多重化を行うとすると、各ォブジェクトは、アクセスユニット単位に優先度が付与され、アクセスユニット毎に多重の可否が決定される。そして、選択されたアクセスユニットは PES (Packetized Elementarty Stream)化され TS (Transport Stream)化されて、他のオブジェクトと多重化して送信される。

[0026] このようにしてある単位時間内に取得した符号ィ匕ユニットを優先度の高いものから出力レート分のデータ量を選び出し、それらを送信することで、メディアの種類ゃ受信時刻に関わらず単に優先度の高い符号ィ匕ユニットのみが多重送信できる。

[0027] 以上のように、多重化装置 1では、複数の多重化バッファ設けたので、複数種類のメディアデータを多重出力することができる。

[0028] 実施の形態 3.

上述した実施の形態 1、 2では、単位時間内の多重化出力情報量を正確に制限していたが、この実施の形態 3では、多重化出力情報量を多少増減できるようにした例について示す。

[0029] 図 5は、この発明の実施の形態 3に係る多重化装置の構成を示すブロック図である。図 5に示す実施の形態 3に係る多重化装置 1は、図 3に示す実施の形態 2の構成に対し、多重化部 3の出力を一時的に蓄積する送信バッファ 5と、送出レートにあわせて送信バッファ 5内にある多重化データを送信する送信部 6とをさらに備えている。その他の部分に関しては図 3に示す実施の形態 2の構成と同様なのでその説明は省略する。

[0030] 次に動作について説明する。 3種類のメディアデータがそれぞれ多重化バッファ 2a 一 2cに入力され、各多重化バッファ 2a— 2cで一時的に蓄積を行う。この時、メディアデータ列は、複数の符号ィ匕ユニットからなり、それぞれに多重化のための優先度が付与されている。ある単位時間周期で多重化制御部 4は、多重化バッファ 2a— 2cの中から、単位時間に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する。そして、多重化制御部 4は、その情報を多重化部 3に通知する。多重化部 3では、多重化制御部 4から指示のあった符号ィ匕ユニットを送信バッファ 5に出力する。この時、多重化バッファ 2内の選ばれな力つた符号ィ匕ユニットは廃棄される。送信部 6では、送信バッファ 5内の符号化ユニットを送出レートにあわせてネットワーク 10へ送信する。

[0031] 多重化制御部 4では、単位時間送信可能なデータ量を認識する際に、送信バッファ 5に残量を用いる。多重化部 3が出力したデータ量と、送信部 6で実際に送信したデータ量の差異が、送信バッファ 5のノッファ残量にあらわれるため、多重化制御部 4では、送信バッファ 5のノッファ残量が送信部 6で単位時間に送信可能なデータ量となるように多重化バッファ 2から選択するデータ量を決定する。

[0032] 多重化制御部 4で送信する符号ィ匕ユニットを選択する際、各符号ィ匕ユニットの情報量はまちまちであるため、選択した符号ィ匕ユニットのデータ量の総計が必ずしも送信部 6で単位時間に送信可能なデータ量と一致しない。そのため、送信バッファ 5には、送信部 6で単位時間に送信可能なデータ量を超えるようなデータ量を蓄積しておくことで、送信部 6では常に安定したレートでデータ送信が行えると同時に、多重化制御部 4で選択する符号化ユニットの単位時間の総情報量を多少増減することが可能となる。

[0033] 図 6は、実施の形態 3に係る多重化制御方法の例を示す入力データと出力データを示した図である。図 6に示すように、外部力もの 2種類の入力メディアデータ列（ォブジェクト 1、オブジェクト 2)は、符号ィ匕ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは多重化バッファ 2a、 2bにー且蓄積される。多重化制御部 4では、単位時間経過後（図 6では 7ユニット時間分）に多重化バッファ 2aおよび 2b内の符号ィ匕ユニットの中力も優先度の高いものを送信可能な情報量分だけ選択する。図 6では、優先度が 1, 2、 3のものが選択され、送信部 6で出カレートを一定にして出力されている。この時、最後の優先度 1の符号ィ匕ユニットのように単位時間内に送信しきれなくても、次の単位時間で少し少なめにデータを選択することで、常に一定の出力レートで多重化を行うことが可能となる。

[0034] 以上のように、送信バッファ 5を設けたので、単位時間に選択する符号ィ匕ユニットの総情報量に揺らぎを持たせて選択することができる。

[0035] 送信部 6から一定のレートでデータを送信し続けるためには、送信バッファ 5には単位時間当たりの送信データ量分のデータが貯められている必要がある。多重化制御部 4で選択する符号ィ匕ユニットのデータ総量が多少増減できるように、送信バッファ 5 には、常に単位時間当たりの送信量以上のデータ、ここでは送信量の N倍のデータ（ N : lより大きい実数)を入れておき、多重化制御部 4では、送信バッファ 5の残量が単位時間送信量 X Nに近づくように制御を行う。

[0036] このように初期ノッファ残量を多くしておくことで、一時的に選択する符号ィ匕ユニットの総情報量が少なくなつても一定のレートでデータを送信し続けることが可能となる。例えば、ある優先度を閾値にして選ぶと所望のデータ総量より少し足りなくなり、その次の優先度までを閾値とすると所望のデータ総量をはるかに超えてしまうような状況が発生したとき、データ総量が少し足りなくなっても所望のデータ総量に近づけるようにすることができる。

[0037] 以上のように、送信バッファ残量が単位時間に送信可能な情報量の N倍に近づくように多重化制御部で制御するようにしたので、送信する符号化ユニットの総情報量が一時的に少なくなつてもアンダーフローの発生を防ぐことができる。

[0038] また、送信バッファ 5を設けることにより、多重化制御部 4で選択する単位時間当たりの符号ィ匕ユニットのデータ量の総計は多少増減が可能となった。一方、多重化制御部 4で選択する符号ィ匕ユニットの優先度の閾値 (選択される一番低い優先度）は、その単位時間に含まれる符号ィ匕ユニットに依存する。

[0039] そのため、優先度の閾値は単位時間毎に変化していく。常に安定して優先度の高いものを送信するためには、優先度の閾値はあまり変化しない方がよい。そこで、多重化制御部 4で符号ィ匕ユニットを選択する際に、優先度があまり変化しないようにする。その際、選択される符号ィ匕ユニットのデータ量の総量が多少増減しても、許容範囲とする。こうすることで優先度の閾値は安定する。

[0040] 以上のように、優先度の閾値を安定させるように多重化制御を行うようにしたので、安定して優先度の高い符号ィ匕ユニットのみを送信することができる。

[0041] 実施の形態 4.

上述した実施の形態 1、 2、 3では、単位時間毎に多重化制御を行ってきた力この実施の形態 4では、さらに短い周期で多重化制御を行う例について示す。 [0042] 本実施の形態 4に係る多重化装置は、図 5に示す実施の形態 3と基本的構成は同様なのでその説明を省略する。但し、本実施の形態 4において、多重化制御部 4は、送信バッファ 5のバッファ残量がある閾値に近づくように、優先度と符号ィ匕ユニットのデータ量を基に、優先度の高いものから多重化バッファ 2a— 2c内の単位時間内に受信した符号ィ匕ユニットを 1ZM(M: 1以上の整数)の単位時間毎に仮に選択し、単位時間内で最も古ヽ 1/M単位時間内に含まれる仮選択された符号ィ匕ユニットのみを送信バッファ 5に出力するようにする。

[0043] 次に動作について説明する。 3種類のメディアデータがそれぞれ多重化バッファ 2a 一 2cに入力され、各多重化バッファ 2で一時的に蓄積を行う。この時、メディアデータ列は、複数の符号ィ匕ユニットからなり、それぞれに多重化のための優先度が付与されている。多重化制御部 4は、ある単位時間の 1ZM周期で、多重化バッファ 2a— 2c の中から、単位時間に送信可能なデータ量分もしくは送信バッファ 5の閾値までのデータ量分の符号ィ匕ユニットを優先度の高いもの力も仮に選択する。そして、多重化制御部 4は、単位時間の中で最も古い 1ZM単位時間内に含まれてヽる仮選択された符号ィ匕ユニットを多重化部 3に通知する。多重化部 3では、多重化制御部 4から指示のあった符号ィ匕ユニットを送信バッファ 5に出力する。この時、多重化バッファ 2内の単位時間の中で最も古い 1ZM単位時間内の選ばれな力つた符号ィ匕ユニットは廃棄される。送信部 6では、送信バッファ 5内の符号ィ匕ユニットを送出レートにあわせてネットワーク 10へ送信する。

[0044] 図 7は、実施の形態 4に係る多重化制御方法の例を示す入力データと出力データを示した図である。図 7に示すように、外部力もの入力メディアデータ列は、符号化ュニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ 2にー且蓄積される。多重化制御部 4では、 1ZM単位時間毎（図では 1ユニット時間分）に、過去の単位時間（図では 7ユニット時間分）に受信した多重化バッファ 2内の符号ィ匕ユニットの中から優先度の高いものを送信可能な情報量分だけ仮選択する。図 7では、網掛けの力かっていない符号ィ匕ユニットが仮選択される。そして、最も古い 1ZM単位時間内で選ばれた符号ィ匕ユニットのみを多重化制御部 4から多重化部 3に通知し、多重化制御部 3では、選択された優先度 1のデータを出力する。この時、選択されな力つたデータ (今回はないが）は廃棄される。

[0045] さらに、 1ZM単位時間経過後、同様に過去の単位時間内の符号ィ匕ユニットから仮選択を行い、最古の 1ZM単位時間内の符号ィ匕ユニットに該当するものがあればそれを出力し、該当しなければ廃棄する（図 7Aでは優先度 3の符号ィ匕ユニット)。

[0046] このようにすることで、優先度の閾値が急激に変化するのを避け、徐々に変化するようになるため、安定した優先度多重制御が行える。

[0047] 以上のように、 1ZM単位時間毎に多重化制御を行うようにしたので、優先度の高 V、ものを安定して選択多重することができる。

[0048] また、この実施の形態 4では、通信状況等により、多重化時の単位時間や M値を動的に変更可能にする。ネットワークの混雑により、出力レートが制限されたり、ネットヮークでの遅延時間が変動した場合、それらの状況に最適な多重化のための単位時間や M値を動的に変更できるようにしておく。例えば、もし出力レートが小さくなつた場合、送信できる符号ィ匕ユニットは少なくなるため、より優先度の高い符号ィ匕ユニットを確実に選択できるように単位時間を大きくしたり、たまにしか送信しなくて、、ため Mの値を小さくして、多重化制御負荷を軽減することができる。なお、実施の形態 1一 3においても、多重化時の単位時間を動的に変更可能であり、上述したのと同様な効果を奏する。

[0049] 以上のように、多重化のための単位時間や Mの値を動的に変えるようにしたので、通信状況等に応じた最適な多重化制御を行うことができる。

[0050] 実施の形態 5.

上述した実施の形態 1一 4では、多重化制御で優先度が低!ヽと判断された符号ィ匕ユニットは廃棄していたが、この実施の形態 5では、優先度の低い符号化ユニットを補助伝送路で送信するようにした例につ、て示す。

[0051] 図 8は、この発明の実施の形態 5に係る多重化装置の構成を示すブロック図である。図 8に示す実施の形態 5に係る多重化装置は、図 5に示す実施の形態 3及び 4の構成に対し、多重化部 3で選択出力されな力つた多重化バッファ 2a— 2c内の符号ィ匕ュニットを送信する補助送信部 7をさらに備え、 2つのネットワーク 10と 11にデータの出力を行うようになされている。その他の部分に関しては実施の形態 3及び 4と同様なのでその説明は省略する。

[0052] 次に動作について説明する。優先多重化制御の動作に関しては実施の形態 3もしくは 4と同じなので省略する。多重化部 3で選択されな力つた多重化バッファ 2a— 2c 内の符号ィ匕ユニットは、補助送信部 7へ送られる。補助送信部 7ではそれらの符号化ユニットをネットワーク 11へ送信する。

[0053] なお、この例では、ネットワーク 10とネットワーク 11は異なるネットワークとして記されているが、同一のネットワークでも構わない。ただし、その場合、送信元のアドレスもしくは伝送プロトコルやそのパラメータなど力送信部 6から送られる場合と何らかの部分で異なって!/、ることが必要である。

[0054] 主となる伝送路であるネットワーク 10で送れるデータは、優先度の高いものを送り、優先度の低、データは補助的な伝送路であるネットワーク 11を使用して送信することができる。こうすることで、優先度の低いデータも補助的な伝送路を使用して送信することがでさる。

[0055] 図 9は、実施の形態 5に係る多重化制御方法の例を示した図である。外部からの 2 種類の入力メディアデータ列（オブジェクト 1、オブジェクト 2)は、符号化ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重ィ匕バッファ 2a、 2bにー且蓄積される。多重化制御部 4では、単位時間経過後（図では 7ユニット時間分）に多重化バッファ 2aおよび 2b内の符号ィ匕ユニットの中力も優先度の高いものを送信可能な情報量分だけ選択する。図 9では、優先度が 1, 2、 3のものが選択され、送信部 6で出力レートを一定にして出力されている。そして、選択されなかった優先度 4、 5、 6、 7の符号ィ匕ユニットは補助送信部 7から出力される。なお、この実施の形態 5は、実施の形態 3及び 4の他に実施の形態 1及び 2にも同様に実施できる。

[0056] 以上のように、廃棄される予定の符号化ユニットを、補助伝送路を用いて送信するようにしたので、優先度の低!、データも送信することができる。

[0057] なお、上述した実施の形態 1一 5に係る多重化装置において、多重化制御部 4は、各符号ィ匕ユニットに与えられた優先度に対して、メディア毎に重み付けを変えながら、各符号ィ匕ユニットの多重化のための優先度を算出し、この多重化のための優先度を用いて多重化制御を行うようにすることができる。

[0058] 実施の形態 6.

上述した実施の形態 1一 5では、送信側である多重化装置の動作について説明したが、この実施の形態 6では、受信装置に関する例を示す。

[0059] 図 10は、この発明の実施の形態 6に係る受信装置の構成を示すブロック図である。

図 10において、受信装置 20は、 2つのネットワーク 10と 11からデータを受信する。主となるネットワーク 10より受信部 21でデータを受信する。同様に、補助ネットワーク 11 より補助受信部 22でデータを受信する。合成出力部 23は、受信部 21と補助受信部 22から転送されたデータを時系列に合成した後に出力する。

[0060] 次に動作について説明する。優先度に従い選択されたデータは、ネットワーク 10を介して受信部 21で受信される。受信されたデータは直ちに合成出力部 23へ送られる。一方、優先度により選択されな力つたデータは、補助的なネットワークであるネットワーク 11を介して補助受信部 22で受信され、合成出力部 23へ送られる。合成出力部 23では、受信部 21および補助受信部 22より送られてくるデータを一緒にして符号化ユニットを本来の時間順に並べて出力する。

[0061] もし、補助受信部がない受信装置、もしくはネットワーク 11からデータを受信できない場合は、受信部 21からのデータのみを出力する。

[0062] このようにすることで、受信可能な全てのデータを時系列に出力でき、後続の復号器（図示せず)で時間順にメディアデータの復号が可能となる。

[0063] 以上のように、補助受信部を設けて廃棄される予定の符号ィ匕ユニットも受信できるようにしたので、優先度の低!、データも受信することができる。

[0064] 合成出力部 23で符号ィ匕ユニットを本来の時間順に並べる方法として、符号化ュ- ットに付属する時刻情報を使用することができる。この時刻情報は、符号化データ内に埋め込まれている場合も符号化データの外で伝送時に付与される場合もあるが、この時刻情報の古い順に、各符号ィ匕ユニットを並び替えれば、正確に符号ィ匕ユニット列は本来の時間順となる。

[0065] 以上のように、符号ィ匕ユニットに付属する時刻情報を用いるようにしたので、正確に符号ィ匕ユニットを時間順に並べることかできる。 [0066] 別の方法として、符号化ユニットに付随する順序情報を使用することも可能である。ここで順序情報とは、データの順序を示すためのインクリメントされる番号であり、符号化データ内に埋め込まれている場合も符号化データの外で伝送時に付与される場合もある。この順序番号の小さい順に符号ィヒユニットを並び替えれば、正確に符号化ユニット列は本来の時間順となる。

[0067] 以上のように、符号ィ匕ユニットに付属する順序情報を用いるようにしたので、正確に符号ィ匕ユニットを時間順に並べることかできる。

[0068] これまでは 1つのメディアの合成について説明してきた力次に、複数のメディアが同時に送られている場合を示す。例えば、実施の形態 5のように、複数のメディアを送信する多重化装置があった場合、受信装置 20の受信部 21および補助受信部 22 で受信するデータにも複数のメディアが存在する。これを合成出力部 23で時系列に並び替える。そして、時系列に並んだデータを今度はメディア毎に分類し、それぞれ出力する。このように、メディア毎に分類されたデータはそれぞれ復号することが可能となる。

[0069] 図 11は、実施の形態 6に係る受信装置の受信における合成処理の例を示した図である。主入力と補助入力の 2種類のデータを受信した時、メディア毎に各符号ィ匕ュ二ットに時刻情報もしくは順序情報が付与されて、る。図 11では、 01から 07までの順序情報が付与されて、る例を示して、る。

[0070] 合成出力部 23では、メディア種別（ここでは色分けされているが）毎に分け、さらにこれらを順序番号順に並べる。そして、定期的に符号化ユニットを出力すると図の出力のようになり、オブジェクト毎に時刻順に出力することができる。

[0071] 例えば、 MPEG— 2システム（ISO/IEC13818-1)に則って多重化を行うとすると、各オブジェクトは、 TSパケットの PIDや PESパケットの stream idにより識別され、 PESのタイムスタンプ (PTSや DTS)により時間順が認識できる。

[0072] 以上のように、合成出力部にメディア毎に分離する機能を付与したので、メディア毎に分離された符号ィ匕ユニット列を出力することかできる。

Claims

請求の範囲

[1] 優先度が付けされた符号ィ匕ユニットを入力して一時蓄積する多重化バッファ手段と前記優先度と前記符号化ユニットのデータ量とに基づいて単位時間内に送信可能なデータ量分の符号ィヒユニットを優先度の高いものから選択する多重化制御手段と前記多重化制御手段からの制御に基づいて前記多重化バッファ手段に蓄積された符号ィ匕ユニットから単位時間内に送信可能なデータ量分の符号ィ匕ユニットを優先度の高いものから選択し多重化して出力する多重化手段と

を備えた多重化装置。

[2] 請求項 1に記載の多重化装置において、

前記多重化バッファ手段は、優先度が付けされた符号ィ匕ユニットからなるデータ列を複数種類別々に蓄積する複数の多重化バッファ手段を有し、

前記多重化手段は、前記多重化制御手段からの制御に基づいて前記複数の多重ィ匕バッファ手段に蓄積された符号ィ匕ユニットから単位時間内に送信可能なデータ量分の符号ィ匕ユニットを優先度の高いものから選択し多重化して出力する

ことを特徴とする多重化装置。

[3] 請求項 2に記載の多重化装置において、

前記多重化部の出力を一時的に蓄積する送信バッファ手段と、

前記送信バッファ手段内にあるデータを任意のタイミングで送信する送信手段とをさらに備え、

前記多重化制御手段は、前記送信バッファ手段のバッファ残量が単位時間内に送信可能なデータ量より多くなるように、前記優先度と符号ィ匕ユニットのデータ量に基づ、て優先度の高、ものから符号ィ匕ユニットを選択する

ことを特徴とする多重化装置。

[4] 請求項 3に記載の多重化装置において、

前記多重化制御手段は、前記送信バッファ手段のバッファ残量が単位時間内に送信可能なデータ量の N倍 (N : 1より大きい実数）に近づくように、前記優先度と符号化ユニットのデータ量に基づ、て優先度の高!、ものから符号ィ匕ユニットを選択することを特徴とする多重化装置。

[5] 請求項 3に記載の多重化装置において、

前記多重化制御手段は、選択される符号化ユニットの最も低、優先度のレベルが安定するように、前記送信バッファ残量の閾値を上下させながら、前記優先度と符号化ユニットのデータ量に基づ、て優先度の高、ものから符号ィ匕ユニットを選択することを特徴とする多重化装置。

[6] 請求項 4に記載の多重化装置において、

[7] 請求項 2に記載の多重化装置において、

前記多重化制御手段は、前記送信バッファ手段のバッファ残量がある閾値に近づくように、前記優先度と符号化ユニットのデータ量に基づ、て優先度の高、ものから前記多重化バッファ手段内の単位時間内に受信した符号化ユニットを 1ZM(1以上の整数)の単位時間毎に仮に選択し、単位時間内で最も古い 1ZM単位時間内に含まれる仮選択された符号ィ匕ユニットのみを前記送信バッファ手段に出力することを特徴とする多重化装置。

[8] 請求項 7に記載の多重化装置において、

前記多重化制御手段は、前記 Mの値を動的に変動させる

ことを特徴とする多重化装置。

[9] 請求項 1から 8のいずれ力 1項に記載の多重化装置において、

前記多重化制御手段は、多重化時の前記単位時間を動的に変動させることを特徴とする多重化装置。

[10] 請求項 2から 8のいずれ力 1項に記載の多重化装置において、

前記多重化制御手段は、各符号ィ匕ユニットに与えられた優先度に対して、メディア毎に重み付けを変えながら、各符号ィ匕ユニットの多重化のための優先度を算出し、この多重化のための優先度を用いて多重化制御を行う

ことを特徴とする多重化装置。

[11] 請求項 1から 8のいずれ力 1項に記載の多重化装置において、

前記多重化手段で選択出力されなかった前記多重化バッファ手段内の符号化ュニットを送信する補助送信手段をさらに備えた

ことを特徴とする多重化装置。

[12] 複数の経路力の符号ィ匕ユニットデータを受信する受信手段と、

前記受信手段で受信した複数の符号化ユニットを本来の時刻順に並び替えて出力する合成出力手段と

を備えた受信装置。

[13] 請求項 12に記載の受信装置において、

前記合成出力手段は、符号ィ匕ユニットに付属する時刻情報に基づいて時間順に符号ィ匕ユニットを並べ替えて出力する

ことを特徴とする受信装置。

[14] 請求項 12に記載の受信装置において、

前記合成出力手段は、符号ィ匕ユニットが持つ順序情報に基づいて順序番号順に符号ィ匕ユニットを並べ替えて出力する

ことを特徴とする受信装置。

[15] 請求項 12から 14のいずれか 1項に記載の受信装置において、

前記合成出力手段は、複数の符号ィ匕ユニットをメディアデータ種別毎に分類して出力する

ことを特徴とする受信装置。