JP6278275B2 - 送信装置、受信装置、送信方法および受信方法 - Google Patents

Description

本願は、インターネット等のベストエフォートネットワークを介し、映像、音声等の複数の実時間ストリームを多重して送信する送信装置、受信装置、送信方法および受信方法に関する。

近年、インターネット等のベストエフォートネットワークを介し、映像、音声等の複数の実時間ストリームを端末装置間で送受信する、テレビ会議等のシステムが普及してきている。

ベストエフォートネットワーク（Best Effort Network)では、環境の変化に応じて利用可能帯域が変動するため、各実時間ストリームの符号量を動的に変化させる必要がある。特許文献１には、より複雑な実時間ストリームに対して多くの符号量を割り当てる方式が開示されている。

また、ベストエフォートネットワークでは、環境が悪化した場合にパケット損失が発生する。このため、ベストエフォートネットワークでは、FEC（Forward Error Correction）により生成した冗長符号パケットにより、あるいは、パケットの再送により、損失したパケットを回復させる方式が採られている。FECを用いる場合は、多くの符号量を割り当てる程、多くの冗長符号パケットを生成することができるので、パケットの回復強度を高めることができる。

特開平１１−１７７９４５号公報

ユーザには、重要な実時間ストリーム程、パケットの回復強度を高めたいとの要望がある。

しかしながら、特許文献１の技術では、ユーザの意思に依らず、各実時間ストリームの符号量が割り当てられているため、ユーザにとって重要な実時間ストリームが十分に保護されない場合がある。

本発明の目的は、インターネット等のベストエフォートネットワークを介して情報の伝送を行う場合、重要な情報を強く保護することである。

本発明の一態様に係る送信装置は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定する回復強度指示部と、前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、を有する構成を採る。

本発明の一態様に係る送信方法は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置の送信方法であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持するステップと、前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定するステップと、前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成するステップと、を有する方法を採る。

本発明では、限られたリソース（帯域）において、ネットワークの状況が悪化した場合でも、重要な情報を保護することができる。

本発明の実施の形態１に係る通信システムの構成の一例を示す図 本発明の実施の形態１に係る送信装置の構成を示すブロック図 本発明の実施の形態１に係る送信装置の品質制御情報保持部が保持する情報の一例を示す図 本発明の実施の形態１に係る受信装置の構成を示すブロック図 本発明の実施の形態１に係る冗長符号パケットの生成の一例を示す図 本発明の実施の形態１に係る冗長符号強度の計算の流れを示すフロー図 パケット損失率と仮FEC強度との関係の一例を示す図 データ量、仮FEC強度と冗長符号パケットを生成する方向との関係の一例を示す図 データ量、仮FEC強度と横方向サイズとの関係の一例を示す図 データ量、仮FEC強度と縦方向サイズとの関係の一例を示す図 本発明の実施の形態１に係る再送バッファ量の計算の流れを示すフロー図 本発明の実施の形態１の効果を説明する図 本発明の実施の形態２に係る送信装置の構成を示すブロック図 本発明の実施の形態２に係る受信装置の構成を示すブロック図 本発明の実施の形態３に係る通信システムの構成の一例を示す図 本発明の実施の形態３に係る送信装置の品質制御情報保持部が保持する情報の一例を示す図 本発明の実施の形態３の効果を説明する図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
＜システム構成＞
図１は、本発明の実施の形態１に係る通信システムの構成の一例を示した図である。図１に示す通信システム１００は、デュアルストリーミング（Dual-Streaming）により、独立した２つの映像を同時に送受信することができるシステムである。

図１に示すように、通信システム１００は、データ生成装置１０１、１０２と、送信装置１０３と、受信装置１０４と、再生装置１０５、１０６と、ネットワーク１０７と、から主に構成される。

データ生成装置１０１は、カメラで撮像した話者の映像およびマイクで集音した話者の音声をデータに変換し、映像、音声のデータの実時間ストリームを送信装置１０３に出力する。データ生成装置１０２は、メモリに保存された資料映像データの実時間ストリームを送信装置１０３に出力する。

送信装置１０３は、データ生成装置１０１、１０２から出力された実時間ストリームを符号化してパケットを構成し、ネットワーク１０７を介して、受信装置１０４にパケットをそれぞれ送信する。また、送信装置１０３は、受信装置１０４の要求に従って、パケットの再送を行う。

受信装置１０４は、送信装置１０３から受信したパケットを復号し、映像、音声の実時間ストリームを再生装置１０５、１０６にそれぞれ出力する。また、受信装置１０４は、ネットワーク１０７を介して送信装置１０３に伝送品質情報を送信する。伝送品質情報とは、ネットワークの状況を示す情報であって、受信装置１０４に受信された実時間ストリームのパケット損失率あるいは伝送遅延に関する情報である。なお、パケット損失率あるいは伝送遅延に関する情報は、RFC3550の受信者レポート（RR）で規定されているパケット損失率、あるいは、ジッタの情報であってもよい。また、パケット損失率あるいは伝送遅延に関する情報は、受信装置１０４で特定の統計期間に集計されたパケット損失率、あるいは、伝送遅延の統計情報であってもよい。伝送遅延に関する情報は、送信装置１０３から受信装置１０４の方向へパケットを伝送する片方向伝送遅延の情報、あるいは、送信装置１０３と受信装置１０４との間の往復遅延時間の情報であってもよい。すなわち、伝送遅延に関する情報は、片方向伝送遅延の最大値、最小値、平均値、分散であってもよいし、往復遅延のそれら統計情報であってもよい。

再生装置１０５、１０６は、それぞれ、受信装置１０４から入力した映像、音声の実時間ストリームを基に、映像・音声を再生する。

なお、通信システム１００では、ネットワーク１０７においてパケット損失が発生することがある。このような通信システム１００では、パケット損失が発生した実時間ストリームを受信装置１０４で回復させずに復号し、再生装置１０５、１０６で再生させると、映像の乱れや音飛びが発生する。そこで、本実施の形態では、パケット損失による映像の乱れや音飛びを発生させないための機能を、送信装置１０３、受信装置１０４に導入する。

＜送信装置の構成＞
図２は、本実施の形態に係る送信装置１０３の構成を示すブロック図である。送信装置１０３は、符号化部２０１、２０２と、品質制御情報保持部２０３と、回復強度指示部２０４と、冗長符号化部２０５、２０６と、遅延量指示部２０７と、再送制御部２０８、２０９と、多重部２１０と、無線部２１１と、から主に構成される。

符号化部２０１は、データ生成装置１０１から出力された映像や音声のデータの実時間ストリームを符号化し、符号化後の実時間ストリームのパケットを冗長符号化部２０５に出力する。一方、符号化部２０２は、データ生成装置１０２から出力された資料映像のデータの実時間ストリームを符号化し、符号化後の実時間ストリームのパケットを冗長符号化部２０６に出力する。なお、映像データの符号化方式には、H264、MPEG4等がある。また、音声データの符号化方式には、AAC、G.722等がある。

品質制御情報保持部２０３は、ユーザによって設定される各実時間ストリームの伝送品質を制御する情報（以下、「品質制御情報」という）を保持する。図３は、品質制御情報の一例を示す。品質制御情報は、基準となる実時間ストリーム（話者の音声の実時間ストリーム）に対する、他の実時間ストリームの遅延時間の許容範囲を示す同期パラメータ、および、各実時間ストリームの保護の強度を示す保護強度等が挙げられる。

回復強度指示部２０４は、受信装置１０４からの伝送品質情報および品質制御情報保持部２０３が保持する品質制御情報に基づいて冗長符号強度を設定する。そして、回復強度指示部２０４は、冗長符号化部２０５、２０６および多重部２１０に冗長符号強度を出力する。なお、回復強度指示部２０４が実施する制御の詳細については、後述する。

冗長符号化部２０５、２０６は、それぞれ、回復強度指示部２０４から出力された冗長符号強度に基づいて、符号化部２０１、２０２から出力されたパケットに対して、FECにより冗長符号パケットを生成する。そして、冗長符号化部２０５、２０６は、それぞれ、符号化部２０１、２０２から出力されたパケットおよび冗長符号パケットを、再送制御部２０８、２０９および多重部２１０に出力する。なお、冗長符号化部２０５、２０６が実施する冗長符号パケットの生成例については後述する。

遅延量指示部２０７は、受信装置１０４からの伝送品質情報および品質制御情報保持部２０３が保持する品質制御情報に基づいて、各実時間ストリームのパケットの再送上限回数を決定する。そして、遅延量指示部２０７は、再送上限回数を、再送制御部２０８、２０９および多重部２１０に出力する。なお、遅延量指示部２０７が実施する制御の詳細については、後述する。

再送制御部２０８、２０９は、それぞれ、遅延量指示部２０７が決定した再送上限回数に従ってパケットを一定期間蓄積し、受信装置１０４からの再送要求に従って再送パケットを多重部２１０に出力する。

多重部２１０は、冗長符号化部２０５、２０６から出力されたパケットあるいは再送制御部２０８、２０９から出力された再送パケットを入力する。さらに、多重部２１０は、回復強度指示部２０４から出力された冗長符号強度、および、遅延量指示部２０７から出力された再送上限回数を入力する。そして、多重部２１０は、入力したパケットあるいは再送パケット、冗長符号強度、および、再送上限回数を多重し、無線部２１１に出力する。

無線部２１１は、多重部２１０から出力されたデータに対して、アップコンバート、増幅等の無線処理を行い、無線信号を、ネットワーク１０７を介して受信装置１０４に送信する。また、無線部２１１は、受信装置１０４から受信した無線信号に対してダウンコンバート、増幅等の無線処理を行う。そして、無線部２１１は、受信した伝送品質情報を回復強度指示部２０４および遅延量指示部２０７に出力し、再送要求を再送制御部２０８、２０９に出力する。

＜受信装置の構成＞
図４は、本実施の形態に係る受信装置１０４の構成を示すブロック図である。受信装置１０４は、無線部３０１と、分離部３０２と、保持期間指示部３０３、３０４と、バッファ部３０５、３０６と、冗長符号復号部３０７、３０８と、復号部３０９、３１０と、伝送品質情報生成部３１１と、から主に構成される。

無線部３０１は、送信装置１０３から受信した無線信号に対してダウンコンバート、増幅等の無線処理を行い、ベースバンドの信号を分離部３０２に出力する。また、無線部３０１は、バッファ部３０５、３０６から出力された再送要求および伝送品質情報生成部３１１から出力された伝送品質情報に対して、アップコンバート、増幅等の無線処理を行う。そして、無線部３０１は、無線処理された無線信号を、ネットワーク１０７を介して送信装置１０３に送信する。

分離部３０２は、無線部３０１から出力された信号を分離し、パケットをバッファ部３０５、３０６に出力し、再送上限回数を保持期間指示部３０３、３０４に出力し、冗長符号強度を冗長符号復号部３０７、３０８に出力する。

保持期間指示部３０３、３０４は、それぞれ、送信装置１０３から送信された再送上限回数に基づいて、パケットを保持する時間をバッファ部３０５、３０６に指示する。

バッファ部３０５、３０６は、それぞれ、保持期間指示部３０３、３０４に指示された時間、送信装置１０３から送信された実時間ストリームのパケットを保持する。また、バッファ部３０５、３０６は、パケット損失が発生した場合、再送上限回数に達するまで、再送要求を、無線部３０１を介して送信装置１０３に送信する。

冗長符号復号部３０７、３０８は、それぞれ、送信装置１０３から送信された冗長符号強度に応じてFECブロックの数だけ実時間ストリームのパケットを蓄積する。そして、冗長符号復号部３０７、３０８は、それぞれ、冗長符号パケットを用いて、ネットワーク１０７で損失したパケットを回復させる処理を実行し、復号部３０９、３１０に回復後の実時間ストリームを出力する。

復号部３０９、３１０は、それぞれ、実時間ストリームを復号し、再生装置１０５、１０６に出力する。

伝送品質情報生成部３１１は、バッファ部３０５、３０６に受信された実時間ストリームのパケット損失率、あるいは、伝送遅延に関する情報である伝送品質情報を生成し、無線部３０１に出力する。

＜冗長符号パケットの生成例＞
次に、冗長符号化部２０５、２０６が生成する冗長符号パケットの一例について、図５を用いて説明する。

図５は、縦方向および横方向の両方向に冗長符号パケットを生成する例を示している。この例では、DATA1乃至DATA6の６つのデータパケットからなり、縦方向が２、横方向が３のFECブロックに対して、FEC1乃至FEC6の６つの冗長符号パケットが生成されている（FEC:100%）。

この場合、送信装置１０３は、DATA1乃至DATA6、および、FEC1乃至FEC6の１２のパケットを送信する。

また、図５では、通信路において、DATA2, DATA4, DATA5, DATA6, FEC2, FEC5の６つのパケットが損失した場合を示している。

この場合、受信装置１０４の冗長符号復号部３０７、３０８は、受信したパケットを用いて、損失したパケットを回復させる処理を行う。具体的には、冗長符号復号部３０７、３０８は、DATA1, DATA3, FEC1によりDATA2を、FEC3, FEC4, FEC6によりFEC5を、それぞれ回復させる。また、冗長符号復号部３０７、３０８は、DATA1, FEC3によりDATA4を、DATA2, FEC4によりDATA5を、DATA3, FEC5によりDATA6を、FEC1, FEC6によりFEC2を、それぞれ回復させる。

＜冗長符号強度の計算例＞
次に、送信装置１０３の回復強度指示部２０４の動作の詳細について、図６を用いて説明する。図６は、回復強度指示部２０４における冗長符号強度の計算の流れを示すフロー図である。

回復強度指示部２０４は、まず、最小FECブロックの数MinFBの初期値を決定する。例えば、最小FECブロックの数MinFBの初期値は「１」としてよい（ステップＳＴ５０１）。

次に、回復強度指示部２０４は、基準となる実時間ストリーム（iとする）を選択する（ステップＳＴ５０２）。基準となる実時間ストリームの選択方法としては、例えば、品質制御情報保持部２０３の同期パラメータの値が０のものを選択する方法が挙げられる。

次に、回復強度指示部２０４は、基準となる実時間ストリームiのFECブロックの数FB[i]と、冗長符号パケットの数PaR[i]を決定する（ステップＳＴ５０３）。具体的には、実時間ストリームiのFECブロックの数FB[i]と冗長符号パケットの数PaR[i]は、パケット損失率PLR[i]、冗長符号化を行う処理単位のデータ量D[i]および品質制御情報の保護強度ST[i]から決定する。ここで、データ量D[i]は、例えば、映像ストリームの場合、１ピクチャを構成するパケットのデータ量、あるいは、機器の特定の処理単位に収まるデータ量である。20ms単位で動作する装置において、10ms間隔で音声パケットを送信する場合、データ量D[i]は、２パケット分のデータ量となる。

次に、ステップＳＴ５０３の具体的な計算手順について説明する。まず、回復強度指示部２０４は、以下の式（１）により、保護強度ST[i]から回復率ReR[i]を決定する。なお、回復強度指示部２０４は、保護強度ST[i]と回復率ReR[i]とを対応付ける表を保持し、その表に基づいて回復率ReR[i]を決定してもよい。
ReR[i] ＝ 1-10^(-ST[i]*α)・・・式（１）

ここで、式（１）において、^は、べき乗を示す符号であり、αは正の定数である。例えば、ST[i]＝２、α＝1の場合、回復率ReR[i]＝1-10^(-2*1)＝0.99、つまり、回復率ReR[i]は、99%となる。

そして、回復強度指示部２０４は、シミュレーションによって得られたパケット損失率PLR[i]、データ量D[i]から、回復率ReR[i]を満たす冗長符号パケットの数PaR[i]とFECブロックの数FB[i]を求める。

具体的には、回復強度指示部２０４は、FECブロックの縦方向のサイズ、横方向のサイズを図７、図８、図９、図１０の表を用いて算出する。

まず、回復強度指示部２０４は、図７を用いてパケット損失率PLR[i]から仮FEC強度を算出する。

次に、回復強度指示部２０４は、図８を用いて、冗長符号パケットを生成する方向を決定する。図８において、VFECは縦方向のみ、LFECは横方向のみ、LVFECは縦方向および横方向の両方向を示す。

次に、回復強度指示部２０４は、図９、図１０を用いて、それぞれ横方向、縦方向のサイズFBx[i]、FBy[i]の情報を取得する。なお、図８、図９、図１０では、Y軸がデータ量D[i]、X軸が仮FEC強度をそれぞれ示す。例えば、データ量D[i]が「６」で仮FEC強度が「１００」の場合、図９から横方向サイズFBx[i]は、「３」となる。また、図１０から縦方向サイズFBy[i]は、「２」となる。

最後に、回復強度指示部２０４は、横方向サイズFBx[i]と縦方向サイズFBy[i]を乗算することによりFECブロックの数FB[i]を求める。先の例では、FECブロックの数FB[i]は「６」となる。

なお、図８、図９、図１０において、データ量D[i]が上限を超える場合には、データ量D[i]を分割して適用し、冗長符号パケットの数PaR[i]およびFECブロックの数FB[i]を決定する。ただし、FECブロックFB[i]は、最小FECブロックMinFBより小さくならないように選択する。

なお、データ量D[i]の上限は、低遅延伝送を必要とする場合には小さく設定され、高耐性を発揮する場合には大きく設定されるようにしてもよい。また、再送可能な場合、回復率ReR[i]が小さく設定された上で、この表が用いられてもよい。例えば、１回の再送が可能である場合、回復率ReR[i]は、1-10^-4から1-10^-2と設定されてもよい。

次に、回復強度指示部２０４は、受信装置１０４でFECブロックを構成するためにパケットを蓄積させて、遅延させるための量である蓄積遅延量BT[i]を計算する（ステップＳＴ５０４）。蓄積遅延量BT[i]は、FECブロックの数FB[i]、実時間ストリームの送信レートSR[i]およびパケットサイズS[i]から、蓄積遅延量BT[i]=(FB[i]*S[i])/SR[i]により計算される。

次に、回復強度指示部２０４は、基準となる実時間ストリームi以外の実時間ストリームjについて、ステップＳＴ５０５からＳＴ５１０を繰り返し実行する。

具体的には、まず、回復強度指示部２０４は、ステップＳＴ５０３と同様に、実時間ストリームjについて、FECブロックの数FB[j]と冗長符号パケットの数PaR[j]を計算する（ステップＳＴ５０６）。

次に、回復強度指示部２０４は、ステップＳＴ５０４と同様に実時間ストリームjについて蓄積遅延量BT[j]を計算する（ステップＳＴ５０７）。

次に、回復強度指示部２０４は、基準となる実時間ストリームの蓄積遅延量BT[i]に対する、実時間ストリームの蓄積遅延量BT[j]との差分（絶対値）を求める。そして、回復強度指示部２０４は、求めた差分が同期パラメータの差|Syt[j]-Sty[i]|の範囲内に収まるか否かを判定する（ステップＳＴ５０８）。例えば、図３において、基準となる話者音声の実時間ストリームと、話者映像の実時間ストリームとの同期パラメータの差は、10msである。この場合、回復強度指示部２０４は、実時間ストリームiの蓄積遅延量BT[i]と、実時間ストリームjの蓄積遅延量BT[j]との差分が、10ms以内に収まっているか否かを判定する。

次に、BT[i]とBT[j]の差分が同期パラメータの差の範囲に収まっている場合（ステップＳＴ５０８でＹＥＳ）、回復強度指示部２０４は、次の処理に遷移する（ステップＳＴ５１０）。一方、収まっていない場合（ステップＳＴ５０８でＮＯ）、回復強度指示部２０４は、ステップＳＴ５０９に進む。

ステップＳＴ５０９において、回復強度指示部２０４は、最小FECブロックの数を増やし、ステップＳＴ５０２に進む。

＜再送上限回数の計算例＞
次に、送信装置１０３の遅延量指示部２０７の動作の詳細について図１１を用いて説明する。図１１は、遅延量指示部２０７における再送上限回数の計算の流れを示すフロー図である。

まず、遅延量指示部２０７は、各実時間ストリームについて、品質制御情報の保護強度ST[i]、ST[j]に応じて、再送上限回数を一時的に設定する（ステップＳＴ６０１からＳＴ６０３）。例えば、図３において、資料映像の実時間ストリームの保護強度ST[j]が最強の「１０」であるため、遅延量指示部２０７は、再送上限回数を３回と設定する。

次に、遅延量指示部２０７は、送信装置１０３と受信装置１０４との間の往復遅延時間RTTに再送上限回数を乗算した値が、同期パラメータの差|Syt[j]-Sty[i]|の範囲内に収まるか否かを判定する（ステップＳＴ６０４）。

次に、往復遅延時間RTTに再送上限回数を乗算した値が同期パラメータの差の範囲に収まっている場合（ステップＳＴ６０４でＹＥＳ）、遅延量指示部２０７は、処理を終了する。一方、収まっていない場合（ステップＳＴ６０４でＮＯ）、遅延量指示部２０７は、再送上限回数を補正して処理を終了する（ステップＳＴ６０５）。

例えば、送信装置１０３と受信装置１０４との間の往復遅延時間RTTが100msの場合では、基準となる実時間ストリームに対する、資料映像の実時間ストリームの同期パラメータの差|Syt[i]-Syt[j]|が200msとなる。このため、往復遅延時間RTTが100msの場合では、再送上限回数を３回とすると、同期パラメータの差|Syt[j]-Sty[i]|の範囲を超えてしまう。そこで、遅延量指示部２０７は、往復遅延時間RTTに再送上限回数を乗算した値が同期パラメータの差の範囲に収まるように、資料映像の実時間ストリームの再送上限回数を２回に補正する。

＜保護効果＞
図１２は、本発明の実施の形態１の保護効果を説明する図である。図１２には、各実時間ストリーム７０１、７０２、７０３それぞれについて、冗長符号強度７０４、再送上限回数７０５が採用された場合の保護効果７０６が示されている。

本実施の形態において、資料映像７０３は、ユーザにとって会議の内容を理解するために非常に重要な情報である。したがって、図３において、資料映像７０３の実時間ストリームの保護強度は、最強の「１０」に設定されている。また、資料映像７０３の実時間ストリームは、話者音声７０２の実時間ストリームに対して、200msの遅延が許容されている。

本実施の形態では、図１２に示すように、これらの情報に従って、資料映像７０３の実時間ストリームの冗長符号強度を５０％に設定し、再送上限回数を２回に設定する。この結果、資料映像７０３の実時間ストリームは、完全に乱れず伝送される。

また、本実施の形態において、話者映像７０２は、ユーザにとってそれ程重要な情報ではない。ただし、話者映像７０２は、話者音声７０１と同期して送信される必要がある情報である。したがって、図３において、話者映像７０２の実時間ストリームの保護強度は、資料映像７０３よりも低い「２」に設定されている。また、話者映像７０２の実時間ストリームは、話者音声７０１の実時間ストリームに対して、10msの遅延が許容されている。

本実施の形態では、図１２に示すように、これらの情報に従って、話者映像の実時間ストリームの冗長符号強度を０％に設定し、再送上限回数を０回に設定する。この結果、話者映像７０２の実時間ストリームは、話者音声７０１の実時間ストリームと同期して送信される。なお、話者映像７０２の実時間ストリームは、割り当てられる符号量が少なく、再送が許容されないため乱れやすくなる。しかし、限られたリソース（帯域）において、本実施の形態では、重要ではない話者映像７０２の実時間ストリームの符号量を少なくすることにより、重要な他の実時間ストリームに符号量を多く割り当てることができる。

このように、本実施の形態では、インターネット等のベストエフォートネットワークを介して情報の伝送を行う場合、重要な情報に割り当てる符号量を多くし、重要な情報の再送上限回数を多くすることができる。これにより、本実施の形態では、重要な情報を強く保護することができる。また、本実施の形態では、複数の実時間ストリーム間の同期ずれ量も考慮しながら遅延時間を調整することができる。

なお、品質制御情報保持部２０３は、実時間ストリームの関連性に応じて、同期パラメータを設定してもよい。例えば、その一例は、カメラの映像の実時間ストリームとコンピュータ画面の映像の実時間ストリームとを切り替えて入力する場合である。このとき、カメラの映像の実時間ストリームを切り替えて入力する場合は、音声の実時間ストリームとの同期パラメータを近く設定するように動作させてもよい。

また、回復強度指示部２０４は、各実時間ストリームの伝送品質情報から利用可能な帯域を推定し、符号化部２０１，２０２から各実時間ストリームの複雑さに関する情報を取得する。この場合、回復強度指示部２０４は、各実時間ストリームの利用可能な帯域と各実時間ストリームの複雑さに関する情報を用いて、各実時間ストリームのFECブロックの数を決定してもよい。例えば、回復強度指示部２０４は、映像符号化時に量子化の量を決定するQPパラメータ（QP1,QP2）を利用して、複雑な映像により多くのFECブロックを、あるいは、より多くの冗長符号パケットを、割り当てるようにしてもよい。

（実施の形態２）
上記実施の形態１では、品質制御情報保持部、回復強度指示部および遅延量指示部を送信装置に配置する場合について説明した。実施の形態２では、これらを受信装置に配置する場合について説明する。

本実施の形態のシステム構成は、実施の形態１の説明に用いた図１に示したものと同一である。ただし、下記に示すように、本実施の形態では、送信装置、受信装置の内部構成が実施の形態１と異なる。

図１３は、本実施の形態に係る送信装置８０３の構成を示すブロック図である。なお、図１３において、図２と共通する構成要素には、図２と同一の符号を付し、詳細な説明を省略する。

図１３に示す送信装置８０３は、図２に示した送信装置１０３に対して、品質制御情報保持部２０３、回復強度指示部２０４および遅延量指示部２０７を削除する構成を採る。

冗長符号化部２０５、２０６は、それぞれ、受信装置８０４から指示された冗長符号強度に基づいて、符号化部２０１、２０２から出力されたパケットに対して、FECにより冗長符号パケットを生成する。

再送制御部２０８、２０９は、それぞれ、受信装置８０４が決定した再送上限回数に従ってパケットを一定期間蓄積し、受信装置８０４からの再送要求に従って再送パケットを多重部２１０に出力する。

図１４は、本実施の形態に係る受信装置８０４の構成を示すブロック図である。なお、図１４において、図４と共通する構成要素には、図４と同一の符号を付し、詳細な説明を省略する。

図１４に示す受信装置８０４は、図４に示した受信装置１０４に対して、品質制御情報保持部９０３、回復強度指示部９０４および遅延量指示部９０７を追加する構成を採る。

伝送品質情報生成部３１１は、伝送品質情報を生成し、回復強度指示部９０４および遅延量指示部９０７に出力する。

品質制御情報保持部９０３は、ユーザにより設定された品質制御情報を保持する。

回復強度指示部９０４は、伝送品質情報生成部３１１から出力された伝送品質情報および品質制御情報保持部９０３が保持する品質制御情報に基づいて、冗長符号強度を設定する。そして、復強度指示部９０４は、冗長符号復号部３０７、３０８および無線部３０１に冗長符号強度を出力する。

冗長符号復号部３０７、３０８は、それぞれ、回復強度指示部９０４から出力された冗長符号強度に応じてFECブロックの数だけ実時間ストリームのパケットを蓄積する。そして、冗長符号復号部３０７、３０８は、冗長符号パケットを用いて、ネットワーク１０７で損失したパケットを回復させる処理を実行する。

遅延量指示部９０７は、伝送品質情報生成部３１１から出力された伝送品質情報および品質制御情報保持部９０３が保持する品質制御情報に基づいて、各実時間ストリームのパケットの再送上限回数を決定する。そして、遅延量指示部９０７は、保持期間指示部３０３、３０４および無線部３０１に再送上限回数を出力する。

保持期間指示部３０３、３０４は、それぞれ、遅延量指示部９０７から出力された再送上限回数に基づいて、パケットの保持時間をバッファ部３０５、３０６に指示する。

無線部３０１は、バッファ部３０５、３０６から出力された再送要求、回復強度指示部９０４から出力された冗長符号強度を指示する情報および遅延量指示部９０７から出力された再送上限回数を入力する。無線部３０１は、入力した再送要求、冗長符号強度を指示する情報および再送上限回数に対して、アップコンバート、増幅等の無線処理を行い、無線信号を、ネットワーク１０７を介して送信装置８０３に送信する。

このように、本実施の形態では、受信装置側のユーザが、各実時間ストリームの品質を設定することができる。そして、本実施の形態では、実施の形態１と同様に、限られたリソース（帯域）において、重要な実時間ストリームに符号量を多く割り当てることができるので、ネットワークの状況が悪化した場合でも、重要な情報を保護することができる。また、本実施の形態では、実施の形態１と同様に、複数ストリーム間の同期ずれ量も考慮しながら遅延時間を調整することができる。

なお、本実施の形態では、回復強度指示部および遅延量指示部を送信装置に配置し、品質制御情報保持部を受信装置に配置することもできる。

また、実施の形態１、２で説明した構成要件は、いずれも双方向の通信を行う端末にも適用することができる。すなわち、実施の形態１、２では、それぞれの端末に送信装置の構成要件と受信装置の構成要件を導入し、双方の複数の実時間ストリームの伝送に対して同期ずれ量も考慮しながら遅延時間を調整することができる。このとき、実施の形態１、２では、実施の形態１の送信装置と実施の形態２の受信装置を一つの端末に導入する形態を採ることにより、品質制御情報保持部を片側の端末に配置することができる。

（実施の形態３）
実施の形態３では、複数の実時間ストリームを扱うことができる多地点伝送装置（ＭＣＵ：multi-point control unit）に、本発明を適用する場合について説明する。図１５は、本実施の形態に係る通信システムの構成の一例を示した図である。

データ生成装置１００１は、カメラで撮像した第１観戦者の映像およびマイクで集音した第１観戦者の音声をデータに変換し、映像、音声のデータの実時間ストリームを生成し、送受信装置１００３に出力する。データ生成装置１００２は、カメラで撮像した第２観戦者の映像およびマイクで集音した第２観戦者の音声をデータに変換し、映像、音声のデータの実時間ストリームを生成し、送受信装置１００４に出力する。

送受信装置１００３は、データ生成装置１００１から出力された実時間ストリームを符号化してパケットを構成し、ネットワーク１０１１を介してＭＣＵ１００６にパケットを送信する。また、送受信装置１００３は、ＭＣＵ１００６から受信したパケットを復号し、映像、音声の実時間ストリームを再生装置１００７、１００８に出力する。

送受信装置１００４は、データ生成装置１００２から出力された実時間ストリームを符号化してパケットを構成し、ネットワーク１０１１を介してＭＣＵ１００６にパケットを送信する。また、送受信装置１００４は、ＭＣＵ１００６から受信したパケットを復号し、映像、音声の実時間ストリームを再生装置１００９、１０１０に出力する。

送信装置１００５は、例えば、サッカーの試合の映像、音声をデータに変換し、映像、音声のデータの実時間ストリームを生成し、ネットワーク１０１１を介してＭＣＵ１００６に送信する。

ＭＣＵ１００６は、送受信装置１００３、送受信装置１００４および送信装置１００５から受信したパケットを復号し、第１観戦者および第２観戦者の映像データを分割画面で表示されるように合成する。そして、ＭＣＵ１００６は、合成した映像データの実時間ストリームを再び符号化してパケットを構成する。そして、ＭＣＵ１００６は、再び符号化したパケットを、ネットワーク１０１１を介して送受信装置１００３および送受信装置１００４にパケットを送信する。

再生装置１００７、１００９は、それぞれ、第１観戦者および第２観戦者の映像を分割画面で合成した映像の実時間ストリーム、および、第１観戦者および第２観戦者の音声の実時間ストリームを基に、映像・音声を再生する。再生装置１００８、１０１０は、それぞれ、サッカーの試合の映像、音声の実時間ストリームを基に、映像・音声を再生する。

このように、通信システム１０００は、観戦対象（サッカーの試合）の映像と音声を複数の地点で共有しながら、複数の観戦者の映像と音声をＭＣＵ１００６で合成し、再配信する。これにより、通信システム１０００は、観戦者同士の映像、音声と観戦対象の映像、音声を、ネットワーク１０１１を介して両方配信することができる。

このシステム構成において、ＭＣＵ１００６には、実施の形態１で説明した送信装置１０３の構成要件が導入されている。また、送受信装置１００３、１００４には、実施の形態１で説明した受信装置１０４の構成要件が導入されている。

ＭＣＵ１００６の品質制御情報保持部は、図１６に示す、ユーザによって設定された品質制御情報を保持する。図１６の例では、観戦者同士の映像（分割画面）については保護強度を弱く設定し（St=2）、観戦者同士の音声（Ｍｉｘ音声）の保護強度をやや強く設定している（St=5）。また、観戦対象の映像（サッカー映像）、音声（サッカー音声）の保護強度は、最強に設定している（St=10）。また、観戦者同士の映像（分割画面）と音声（Ｍｉｘ音声）の同期パラメータには、若干の同期ずれを許容するように設定される（Syt=10ms）。そして、観戦者同士の映像（分割画面）と観戦対象の映像（サッカー映像）、音声（サッカー音声）は、若干の同期ずれを許容する設定が行われている（Syt=200ms）。

図１７は、本発明の実施の形態１の効果を説明する図である。図１７には、各実時間ストリーム１２０１−１２０４それぞれについて、冗長符号強度１２０５、再送上限回数１２０６が採用された場合の保護効果１２０７が示されている。

本実施の形態では、図１７に示すように、観戦対象の映像（サッカー映像）、音声（サッカー音声）には強い保護が行われるので、これらの実時間ストリームは、完全に乱れず伝送される。

また、観戦者同士の映像（分割画面）と音声（Ｍｉｘ音声）は、違和感がない程度の遅延差で再生される。したがって、本実施の形態では、観戦者同士の映像（分割画面）を保護する冗長符号を減らすことにより、より重要な観戦対象の映像、音声の情報にリソース（帯域）を多く割り当てることができる。

このように、本実施の形態は、インターネット等のベストエフォートネットワークを介して情報の伝送を行う場合、観戦対象と歓声のずれに違和感を生じることはない。また、本実施の形態は、より重要な観戦対象をより強く保護しながら観戦者同士の反応の様子を共有することができる。

本実施の形態の送信装置は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定する回復強度指示部と、前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、を有する。

また、本実施の形態の送信装置は、前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定する遅延量指示部と、前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部と、をさらに有する。

また、本実施の形態の送信装置は、前記品質制御情報は、前記実時間ストリームの保護強度、前記実時間ストリームの種別、前記実時間ストリームの優先度、および、前記実時間ストリーム間の関連度の少なくとも一つを含む。

また、本実施の形態の受信装置は、パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、前記送信装置から、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定された冗長符号強度を受信する受信部と、前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、前記伝送品質情報を生成して前記送信装置に送信する伝送品質情報生成部と、を有する。

また、本実施の形態の受信装置は、前記受信部は、前記送信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した再送上限回数を受信し、前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、前記設定された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、前記再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、をさらに有する。

また、本実施の形態の受信装置は、パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、前記ネットワークの状況を示す伝送品質情報を生成する伝送品質情報生成部と、前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定し、前記送信装置に前記冗長符号強度を送信する回復強度指示部と、前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、を有する。

また、本実施の形態の受信装置は、前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定し、前記送信装置に前記再送上限回数を送信する遅延量指示部と、前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、前記保持期間指示部に指示された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、をさらに有する。

また、本実施の形態の受信装置は、前記品質制御情報は、前記実時間ストリームの保護強度、前記実時間ストリームの種別、前記実時間ストリームの優先度、および、前記実時間ストリーム間の関連度の少なくとも一つを含む。

また、本実施の形態の送信装置は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、前記受信装置が、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定した冗長符号強度を受信する受信部と、前記冗長符号強度に基づいて、前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、を有する。

また、本実施の形態の受信装置は、前記受信部は、前記受信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した再送上限回数を受信し、前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部、をさらに有する。

なお、上記各実施の形態では、品質制御情報として同期パラメータおよび保護強度を例として挙げたが、本発明はこれに限らない。例えば、各実施の形態では、実時間ストリームの種別、実時間ストリームの優先度、実時間ストリームの複雑度、実時間ストリーム間の関連度等、他の情報を用いることもできる。

２０１２年６月４日出願の特願２０１２−１２７３１９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、インターネット等のベストエフォートネットワークで、複数の実時間ストリームを伝送するシステムの送信装置に適用するに好適である。

１０１、１０２、１００１、１００２ データ生成装置
１０３、８０３、１００５ 送信装置
１０４、８０４ 受信装置
１０５、１０６、１００７、１００８、１００９、１０１０ 再生装置
２０１、２０２ 符号化部
２０３、９０３ 品質制御情報保持部
２０４、９０４ 回復強度指示部
２０５、２０６ 冗長符号化部
２０７、９０７ 遅延量指示部
２０８、２０９ 再送制御部
２１０ 多重部
２１１、３０１ 無線部
３０２ 分離部
３０３、３０４ 保持期間指示部
３０５、３０６ バッファ部
３０７、３０８ 冗長符号復号部
３０９、３１０ 復号部
３１１ 伝送品質情報生成部
１００３、１００４ 送受信装置
１００６ ＭＣＵ

Claims (8)

1. パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、
   ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、
   前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定する回復強度指示部と、
   前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、
   を有し、
   前記品質制御情報は、前記複数の実時間ストリームのうち１つを基準実時間ストリームとした場合、前記基準実時間ストリームに対する他の実時間ストリームの遅延時間の許容範囲を示す同期パラメータを含み、
   前記回復強度指示部は、
   前記伝送品質情報から、前記受信装置でＦＥＣ（Forward Error Correction）ブロックを構成するためにパケットを蓄積させて遅延させる量である蓄積遅延量を前記基準実時間ストリーム及び前記他の実時間ストリームについてそれぞれ求めるとともに、
   前記基準実時間ストリームの蓄積遅延量に対する前記他の実時間ストリームの蓄積遅延量との差分が前記同期パラメータの範囲に収まるか否かを判定し、収まっていないと判定された場合は前記ＦＥＣブロック数の最小値を増加させる、
   送信装置。
2. 前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定する遅延量指示部と、
   前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部と、
   をさらに有する請求項１記載の送信装置。
3. パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、
   ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、
   前記ネットワークの状況を示す伝送品質情報を生成する伝送品質情報生成部と、
   前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定し、前記送信装置に前記冗長符号強度を送信する回復強度指示部と、
   前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、
   を有し、
   前記品質制御情報は、前記複数の実時間ストリームのうち１つを基準実時間ストリームとした場合、前記基準実時間ストリームに対する他の実時間ストリームの遅延時間の許容範囲を示す同期パラメータを含み、
   前記回復強度指示部は、
   前記伝送品質情報から、当該受信装置でＦＥＣ（Forward Error Correction）ブロックを構成するためにパケットを蓄積させて遅延させる量である蓄積遅延量を前記基準実時間ストリーム及び前記他の実時間ストリームについてそれぞれ求めるとともに、
   前記基準実時間ストリームの蓄積遅延量に対する前記他の実時間ストリームの蓄積遅延量との差分が前記同期パラメータの範囲に収まるか否かを判定し、収まっていないと判定された場合は前記ＦＥＣブロック数の最小値を増加させる、
   受信装置。
4. 前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定し、前記送信装置に前記再送上限回数を送信する遅延量指示部と、
   前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、
   前記保持期間指示部に指示された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、
   をさらに有する請求項３記載の受信装置。
5. パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置の送信方法であって、
   ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持するステップと、
   前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定するステップと、
   前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成するステップと、
   を有し、
   前記品質制御情報は、前記複数の実時間ストリームのうち１つを基準実時間ストリームとした場合、前記基準実時間ストリームに対する他の実時間ストリームの遅延時間の許容範囲を示す同期パラメータを含み、
   前記冗長符号強度を設定するステップは、
   前記伝送品質情報から、前記受信装置でＦＥＣ（Forward Error Correction）ブロックを構成するためにパケットを蓄積させて遅延させる量である蓄積遅延量を前記基準実時間ストリーム及び前記他の実時間ストリームについてそれぞれ求めるとともに、
   前記基準実時間ストリームの蓄積遅延量に対する前記他の実時間ストリームの蓄積遅延量との差分が前記同期パラメータの範囲に収まるか否かを判定し、収まっていないと判定された場合は前記ＦＥＣブロック数の最小値を増加させる、
   送信方法。
6. 前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定するステップと、
   前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送するステップと、
   をさらに有する請求項５記載の送信方法。
7. パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置の受信方法であって、
   ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持するステップと、
   前記ネットワークの状況を示す伝送品質情報を生成するステップと、
   前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定し、前記送信装置に前記冗長符号強度を送信するステップと、
   前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行するステップと、
   を有し、
   前記品質制御情報は、前記複数の実時間ストリームのうち１つを基準実時間ストリームとした場合、前記基準実時間ストリームに対する他の実時間ストリームの遅延時間の許容範囲を示す同期パラメータを含み、
   前記冗長符号強度を設定および送信するステップは、
   前記伝送品質情報から、当該受信装置でＦＥＣ（Forward Error Correction）ブロックを構成するためにパケットを蓄積させて遅延させる量である蓄積遅延量を前記基準実時間ストリーム及び前記他の実時間ストリームについてそれぞれ求めるとともに、
   前記基準実時間ストリームの蓄積遅延量に対する前記他の実時間ストリームの蓄積遅延量との差分が前記同期パラメータの範囲に収まるか否かを判定し、収まっていないと判定された場合は前記ＦＥＣブロック数の最小値を増加させる、
   受信方法。
8. 前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定し、前記送信装置に前記再送上限回数を送信するステップと、
   前記再送上限回数に基づいて、パケットを保持する時間を設定するステップと、
   前記パケットを保持する時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するステップと、
   をさらに有する請求項７記載の受信方法。

Images