JP5117512B2

JP5117512B2 - 再送回数を動的に適合させる方法及び装置

Info

Publication number: JP5117512B2
Application number: JP2009550186A
Authority: JP
Inventors: ルイスロヨラ; ホラシオサンソン
Original assignee: スキルアップジャパン株式会社
Priority date: 2009-11-24
Filing date: 2009-11-24
Publication date: 2013-01-16
Anticipated expiration: 2029-11-24
Also published as: WO2011064810A1; JP2012504352A

Description

本発明は通信システムに関し、具体的には、ベストエフォート型通信システムにおけるリアルタイム（タイムセンシティブ）メディアデータの再送回数を動的に適合させる方法と、該方法を利用する装置に関する。

マルチメディアのリアルタイムストリーミングアプリケーションは指数的に進歩しているが、ＴＣＰ（Transport Control Protocol）やＵＤＰ（User Datagram Transport Protocol）といったこれらのアプリケーションにより生成されるトラフィックを処理するための現行のトランスポート・プロトコルには限界があり、現在のインターネットインフラストラクチャーに負荷がかかることが予想されている。

ＵＤＰは、パケットの到着に関するいかなる保証もフィードバックも無くデータパケットを送信し、アプリケーションが、データパケットロスを検出して処理しなければならない。さらにＵＤＰは、許容できないレベルの輻輳に至るまでインターネットに負荷をかける可能性のある、高ビットレートのマルチメディアトラフィックアプリケーションに対して、いかなるフロー制御又は輻輳制御機構も有していない。

ＴＣＰは、チャンネル障害や輻輳によって引き起こされたパケットロスの検出とその回復のための、フィードバック及び再送方法を有する。また、ＴＣＰは、輻輳制御及びフロー制御を提供するため、帯域負荷が高い状態でネットワークが落ちる危険性が低減される。ＴＣＰでは、送信機は送信前に昇順のシーケンスナンバーを各パケットに割り当て、受信機は当該シーケンスナンバーを利用して、どのパケットが失われたかをＮＡＣＫ（Negative Acknowledgements）により通知するか、または、どのパケットが受信されたかをＳＡＣＫ（Selective Acknowledgements）若しくは単にＡＣＫ（Acknowledgements）を利用して通知する。

送信機は、一旦どのデータパケットがロストしたかを認識すると、ロストパケットを受信機に再送することができる。仮に、再送されたパケットのいずれかがロストすれば、原則として、送信機は全パケットが最終送信先に到着するまで再送を繰り返す。再送の度に、少なくとも１回のエンドツーエンドの往復遅延時間（ＲＴＴ）分の累積遅延が、各後続のデータパケットに対して加えられることになる。これは、音声及びビデオのリアルタイムストリームのようなリアルタイムメディアにとって非常に有害であると考えられている。更に、リアルタイムアプリケーションには、各メディアデータパケットの有効期間を定める時間の制約がある。メディアパケットの有効期間を過ぎると、受信機にとってそのメディアパケットはもはや必要なくなるため、そのメディアパケットの送信又は再送はネットワークリソースの浪費となってしまう。そのようなリアルタイムメディアの典型的な例としては、各メディアパケットがビデオピクチャを有しているリアルタイムビデオストリームが挙げられる。あるピクチャの再生時間がすでに経過している場合、受信機にそのピクチャに関連するいかなるパケットを送信又は再送しても意味は無い。

信頼性のあるトランスポート・プロトコルによる意味の無い再送は、累積遅延の原因となり、リソースを浪費する可能性があるため、ビデオ及び音声ストリーミングのようなリアルタイムアプリケーションでは、実際には、UDPのような信頼性の低いトランスポート・プロトコルがよく用いられている。UDPは本質的に信頼性が低く、パケットロスが高いため、通信チャンネルの特性及び伝送されるストリームのプロパティによっては、受信機側における画像の品質を非常に悪くすることがある。例えば、輻輳の激しいネットワーク又はパケットロスが高いワイヤレス環境では、信頼性の低いトランスポート・プロトコルが、許容範囲のビデオ品質を受信機側で提供するのに充分なだけの、ストリームのビデオピクチャを配信できないことがある。

したがって、再送は、チャンネル障害及びネットワーク輻輳に起因するパケットロスの回復のために有効であるが、意味の無い再送は、累積遅延及びネットワークリソースの浪費につながり、リアルタイムメディアストリーミングアプリケーションの知覚品質を劣化させてしまう。

非リアルタイム性データに対する、再送に基づくパケットロスの回復方法については、多くの研究がなされ、特許されている。

例えば、メディアの階層化に基づくストリーミングメディアの再送方法が、マシュー・ポドルスキーらによって開示された（非特許文献１）。この文献において、ストリーミングメディアの信号は、その優先度に基づいてレイヤ分割され、各レイヤの再送はそれぞれの優先度に基づいて決定される。結果的に、この文献は、それぞれレイヤの失効時限に近づいても変更されない、すなわち、非時間依存性のポリシーが最良の送信ポリシーであると結論付けている。

また、アッシュフィグア・ティー・コニーらは、ＳＣＴＰ（Stream Control Transmission Protocol）を利用してデータパーティション化したＨ．２６４ビデオを送信した（非特許文献２）。この文献では、Ｈ．２６４ビデオの異なるデータパーティションについて異なる優先度又は信頼性レベルが設定される。結果的に、この文献は、ＳＣＴＰに基づいてデータパーティション化したＨ．２６４ビデオの送信することで、比較的良好な画像品質が得られることを明らかにした。

更には、アントニオス・アルギリオウらは、ＳＣＴＰを用いた、ビデオパケットの再送と、Ｒ−Ｄ最適化に続く帯域の分配と、受信機からのフィードバック報告の合理的な利用を開示した（非特許文献３）。

Matthew Podolsky, Martin Vetterli and Steven McCanne, Limited Retransmission Of Real-Time Layered Multimedia, 2nd IEEE Workshop on Multimedia Signal Processing, 1998 Ashfiqua T. Connie, Panos Nasiopoulos, Yaser P. Fallah and Victor C.M. Leung, SCTP-based transmission of data partitioned H.264 video, 4th International Workshop on Modeling Analysis and Simulation of Wireless and Mobile Systems, Vancouver, 2008 Antonios Argyriou, A Novel End-to-End Architecture for H.264 Video Streaming over the Internet, Journal of Telecommunication Systems, vol. 28, 2005

上述のように、かねてから、リアルタイムメディアの送信におけるパケットロスの回復が研究されてきた。しかし、いずれの研究も、メディアタイプと、使用中のネットワークチャンネルの状態変化とに応じて、リアルタイムメディアの再送回数を動的に適合させることは扱ってこなかった。

本発明の目的は、異なる特性を有するパケットに対して、再送回数を動的に適合させることができる装置及び方法を提供することである。

上記目的を達成するための、第１の観点に係る発明は、
ネットワークを経由して、異なる特性を有するリアルタイム性データのパケットを送信する送信装置で用いる再送方法であって、
前記各パケットの特性を分類するステップと、
分類した前記各特性に応じた、前記各パケットに対する再送制限回数を割り当てるステップと、
前記割り当てられた再送制限回数にしたがって、前記各パケットを再送するステップと
を含むことを特徴とする。

第２の観点に係る発明は、第１の観点に係る再送方法において、
前記ネットワークの状態を推定するステップを更に含み、
前記再送制限回数を割り当てるステップは、前記分類した前記各特性と、推定したネットワーク状態と、に基づいて前記各パケットに対して再送制限回数を割り当てることを特徴とする。

上記目的を達成するための、第３の観点に係る発明は、
ネットワークを経由して、異なる特性を有する複数のパケットを含むリアルタイム性データを送信する送信装置であって、
前記各パケットの特性を分類し、分類した各特性に応じて、前記各パケットに対して再送制限回数を割り当てる制御部と、
割り当てられた再送制限回数にしたがって、前記各パケットの再送を行う送信部と、
を含むことを特徴とする。

第４の観点に係る発明は、第３の観点に係る送信装置において、
前記制御部は、
前記ネットワークの状態を推定し、
前記分類した各特性と、推定したネットワークの状態と、に基づいて前記各パケットに対して再送制限回数を割り当てる
ことを特徴とする。

したがって、本発明によれば、各パケットに、パケットの特性に応じた再送制限回数を割り当てるので、異なる特性を有するパケットに対して再送回数を動的に適合させることができ、リアルタイムデータの効果的な再送が実現する。

本発明の一実施の形態に係る送信装置、及びネットワークを介してリアルタイムデータを受信する受信装置の機能ブロック図である。推定された帯域の範囲内における再送ポリシーの一例である。Ｈ．２６４ビデオコーデックのＩ、Ｐ、Ｂフレームが、ｍ回の再送の後に到着する確率を示す図である。一実施の形態に係る送信装置において実施される再送方法の一例を示す。

図１は本発明の一実施の形態に係る送信装置と、該送信装置とネットワークを介してリアルタイム性データの通信を行う受信装置とを含む機能ブロック図である。本発明の一実施の形態に係る送信装置１００は、ネットワークを介して、動画や音声のようなリアルタイム性のデータを受信装置１１０に送信するものである。送信装置１００の例としては、ネットワーク上のストリーミングサーバが挙げられ、受信装置１１０の例としてはネットワーク上のクライアントが挙げられる。通常、ストリーミングサーバは、リアルタイムマルチメディアデータパケットを少なくとも一つのマルチメディアクライアントに送信する。

送信装置１００は、データの送信を行う送信部１０１と、送信部１０１を制御する制御部１０２とを有する。制御部１０２は、メディアタイプにしたがってパケットを異なる優先度グループのクラスに分類する分類部１０３と、使用中のネットワークの状態を推定するネットワーク状態推定部１０４と、分類部１０３が分類した各パケットのクラスに基づいて、各フレームに再送制限回数を割り当てる再送制限回数割当部１０５とを有する。さらには、再送制限回数割当部１０５は、ネットワーク状態推定部１０４によって推定されたネットワーク状態にも基づいて、各パケットに対して再送制限回数を割り当てることが好ましい。送信部１０１は、再送制限回数割当部１０５が割り当てた再送制限回数にしたがって、各パケットを再送するものである。

フレーム特性の分類に加えて、分類部１０３が、各フレームの優先度も設定する。ここで、優先度は各メディアタイプ（例えば、エンコーディング形式）について、所定の値であっても良い。

ストリーミングアプリケーションによく用いられるリアルタイムデータの代表例としては、ＭＰＥＧ−４またはＨ．２６４／ＡＶＣのような、ＭＰＥＧビデオコーデックでエンコードされたビデオデータがある。ＭＰＥＧベースのエンコーダは、動き補償と称される圧縮技術のおかげで、高圧縮率を達成できる。動き補償を用いる場合には、ピクチャ間の類似したセクションはエンコードされてIフレーム（Intra frame）に一度保存される。そして、このＩフレームと後続するピクチャとの間で、類似したセクションの方向及び距離の変化を示す動きの差分（すなわち、動きベクトル)だけが、エンコードされて、Ｐフレーム（Predicted frame)またはＢフレーム（Bi-predicted frame）として保存される。

ＰフレームとＢフレームの違いは、Ｐフレームは、直前のＩまたはＰフレームを参照した動きベクトルだけを含むのに対して、Ｂフレームは、前後のＩまたはＰフレームを参照した動きベクトルを含む点にある。デコーダでは、Ｉフレームは自己完結型であり、デコードに必要な全ての情報がＩフレーム内に包含されている。そして、後続するＰフレーム及びＢフレームは、既にデコードされたＩ及びＰフレームと、動きベクトルを用いてデコードされる。

この動き補償技術のために、Ｉフレームは、通常、Ｐ及びＢフレームよりも大幅にサイズが大きく、デコーダにおいてより重要な役割を果たしている。例えば、Ｉフレームのロストによる画質の低下は、後続するＰフレーム及び前方のＢフレームにも影響を及ぼす。これらのフレームは、動き補償に関してロストしたＰフレームに依存しているからである。

したがって、Ｉ、Ｐ、Ｂフレームを有する、ＭＰＥＧ−４及びＨ．２６４／ＡＶＣによってエンコードされたビデオデータについては、分類部１０３は、Ｉ、Ｐ、Ｂの順に優先度を設定する。

分類部１０３は、数メガバイトに及ぶメッセージ（例えば、ピクチャ又はフレーム）の全データサイズを読みこみ、パケットに分割する。ここで、大きいメッセージは比較的多くのパケットに分割されるので、当然に、比較的小さいメッセージよりもロストする確率が高い。したがって、フレームのデータサイズは再送制限回数を設定する上で重要な要素である。

表１は、Ｈ．２６４／ＡＶＣデータについて、分類部１０３の分類による分類群及び優先度設定の一例を示す。メディアパケットが、３つのフレームＡ〜Ｃを含んだ場合において、分類部１０３は、フレームＡのフレーム特性をＩフレームとして分類し、その優先度を「高」に設定する。

ネットワーク状態推定部１０４は、使用中のネットワークの空き帯域、パケットエラー率、往復遅延時間（ＲＴＴ）、及びＭＴＵ（Maximum Transmission Unit）のような、ネットワーク状態を推定する。

たとえば、ネットワーク状態推定部１０４は、送信バッファ（図示しない）に格納された次のメッセージの送信時に利用可能な通信経路の空き帯域を推定する。この推定は、過去の数値の重み付き平均、又は数列的に過去の値を用いる他の統計的推定方法に基づくものでありうる。このような帯域推定は、送信バッファの挙動を観察することで実施され得る。輻輳制御をサポートしているトランスポート・プロトコル（ＴＣＰ又は信頼性の高いＳＣＴＰ）を用いる場合には、輻輳ウィンドウ及び往復遅延時間を追跡することにより帯域を推定することができる。

他の例では、ネットワーク状態推定部１０４は、ＳＣＴＰソケットＡＰＩ（Application Programming Interface）又はオペレーティングシステムカーネルＡＰＩの関数を利用して、各受信クライアントのネットワーク状態を監視する。このようにして、ネットワーク状態推定部１０４は、マルチメディアデータパケットを受信する各クライアントチャンネルについての、パケットロス率、往復遅延時間及びMTUサイズ等を把握する。

再送制限回数割当部１０５は、各メディアパケットに対して、各メディアタイプに対応した再送制限回数を割り当てる。さらに、再送制限回数割当部１０５は、各パケットに対して、分類部１０３によって設定された優先度に応じて再送制限回数を割り当てることができる。また、上述のように、分類部１０３は、パケットに分割されたメッセージ全体のデータサイズを読み取ることができる。したがって、再送制限回数割当部１０５は、分類部１０３によって分類された各フレームのデータサイズに応じて、各パケットに対して再送制限回数を割り当てることもできる。

再送制限回数割当部１０５は、ネットワーク状態推定部１０４によって推定された空き帯域の範囲内に再送するデータのサイズを抑えるように、再送制限回数を割り当てる。たとえば、Ｈ．２６４／ＡＶＣストリーミングにおいて、チャンネルが充分な空き帯域を有している場合、再送制限回数割当部１０５は、再送ポリシー｛３、２、１｝を選択する。この再送ポリシーでは、Iフレームのパケットは、最大３回まで再送され、Pフレームのパケットは最大２回、Bフレームのパケットは１回だけ再送される。このポリシーでは、全てのメディアタイプのメッセージについて、非常に高い信頼性でパケットを受信させることが可能である。これとは逆に、再送ポリシー｛２、２、−１｝では、IおよびPフレームのパケットについては比較的高い受信確率が保証されるが、Bフレーム由来のパケットは全て送信前に送信バッファから除去されてしまう。この考え方のポイントは、優先度の低い、Bフレーム由来のパケットを犠牲にして、受信機側における知覚品質により大きな影響を与えるI及びPフレーム由来のパケットに対して、より多くの空き領域を提供することにある。

図２は、推定された空き帯域と優先度とに基づいて、再送制限回数割当部１０５によって割り当てられた再送ポリシーの一例である。この場合、推定された空き帯域は、Ｉ、Ｐ、Ｂフレームについての最適な再送ポリシー｛３、２、１｝のためには充分ではないとする。したがって、再送制限回数割当部１０５が、最も重要性の低いメディアタイプ由来のパケットの再送を抑制する。その結果、Iフレーム由来のパケットは最大３回再送され、Pフレーム由来のパケットは、最大２回再送され、Bフレーム由来のパケットは再送されない。

再送制限回数割当部１０５は、例えば、パケットエラー率に基づく確率モデルを用いて再送制限回数を設定することができる。図３に示したＨ．２６４／ＡＶＣデータについての確率モデルは、以下の式から導き出される。

各I、P及びBフレームは、送信前に、ｎ個のＭＴＵサイズのパケットのセグメントに分割される。ｐは、エンドツーエンドパスの特徴的なパケットエラー率を示す。そして、I、P又はBフレームのｎ個のセグメントのどれかが受信機においてロストする確率は次式で示される。
L＝１−（１−ｐ）ⁿ

I、P又はBフレームの最初の送信の後には、ｎｐ個のセグメントがチャンネル障害によりロストすると予測される。全てのセグメントが再送される場合には、再送されたいずれかのセグメントが受信機に到達する確率は次式で示される。
Ｌ₁＝１−（１−ｐ）^np

同様にして、２回目の再送の後に、フレームのセグメントがｎｐ²個ロストすることが推定されるので、ロストしたセグメントの２回目の再送の後に、それらのセグメントのどれかがロストする確率は次式で示される。

したがって、Ｉ、Ｐ又はＢフレームの１つのセグメントが、ｍ回の再送の後に受信機に到達しない確率は次式で示される。

メモリーレスチャンネルを想定すると、個々のセグメントロスは再送ごとに独立である。したがって、ｍ＋１回再送されたＩ、Ｐ又はＢフレームうちの一つのセグメントがロストする確率は次式で示される。

また、ｍ＋１回の送信（すなわち、再送）の後に、Ｉ、Ｐ又はＢフレームの全てのセグメントの受信が成功する確率、すなわち、フレーム全体の受信成功確率は次式（１）で示される。

ＭＰＥＧ−４又はＨ．２６４／ＡＶＣ形式でエンコードされたビデオデータのＩ、Ｐ、Ｂフレームの送信成功確率を示す曲線を図３に示す。再送制限回数割当部１０５が、０〜３の範囲の様々な再送制限回数を異なるフレーム特性を有するパケットに割り当てたとする。図３に示した各曲線は、Ｉ＝０、Ｐ＝０、Ｂ＝０、Ｉ＝１、及びＰ＝１の場合のパケットエラー率と、ネットワーク抽象レイヤ（ＮＡＬ）の受信成功確率との関係を示す。この他の再送制限回数、例えば、Ｉ＝２又は３、Ｐ＝２又は３、Ｂ＝１、２、又は３、に対応する曲線は、図３でハッチをかけた領域内に集中分布する。

データ受信確率は、ＮＡＬユニットの受信確率を推定することで評価される。最悪の結果を示す曲線は、Ｉフレームについての再送制限回数をゼロ（Ｉ＝０）とした場合の曲線である。また、２番目に悪い結果を示す曲線は、Ｐフレームについての再送制限回数を零（Ｐ＝０）とした場合の曲線である。

ネットワーク状態推定部１０４によって推定されたネットワーク状態に基づいて、望ましい受信確率が動的に決定される。Ｈ．２６４ビデオの優れた画質を維持するために、望ましいIフレームのパケットの受信確率は１であり、すなわち、Iフレームのパケットはロストしないことが理想的である。他方、ＰまたはＢフレームのパケットは、使用中のネットワークの空き帯域によっては、ロストしても良い。使用中のチャンネルのパケットエラー率が０．０２よりも小さいときに、Ｂ及びＰフレームについての受信確率を０．８より高く設定した場合には、再送制限回数割当部１０５は、再送制限回数Ｂ＝０を割り当て、パケットエラー率が０．０７よりも低いときには、再送制限回数Ｐ＝１を割り当てることができる。このようにして、再送制限回数割当部１０５は、例えば、図３では閾値０．８のような、高い到着確率を保証するために必要な再送制限回数を動的に適合させる。

図４は、本発明の一実施の形態に係る送信装置１００で実施される再送方法の一例を示すフローチャートである。ここでは、ＭＰＥＧ４やＨ．２６４／ＡＶＣでエンコードされた動画データを送信するものとし、このデータはＩ、Ｐ、Ｂフレームを有する。送信装置１００と受信装置１１０との間のネットワークは、例えば、光ファイバ、銅線、無線などの様々なネットワークでありうる。

送信装置１００が動画データ送信を開始すると、制御部１０２は、送信するパケットを読み込む（ステップＳ４０１）。そして、分類部１０３は、メディアパケットを、異なる優先度クラス又はグループに分類する（ステップＳ４０２）。このとき、優先度やメッセージのデータサイズが分類部１０３によって分類されても良い。そして、ネットワーク状態推定部１０４は、ネットワーク状態を推定する（ステップＳ４０３）。ここで、ネットワーク状態とは、ネットワークの空き帯域の変動であっても良い。

そして、再送制限回数割当部１０５は、分類部１０３により分類されたクラスや、ネットワーク状態推定部１０４により推定された空き帯域に基づいて、パケットに対して再送制限回数を割り当てる（ステップS４０４）。このとき、再送制限回数割当部１０５は、各メッセージのサイズにも基づいて、再送制限回数を動的に調節することができる。サイズは、各フレームについてのセグメント数を示す、式（１）中の値ｎに対応する。既に述べた通り、ｎと、ｐ（使用中のエンドツーエンドパスのパケットエラー率）と、動的に決定されたフレーム全体の受信成功確率（値P_m）を用いて、式（１）を逆算することで、再送制限回数ｍが算出できる。言い換えれば、再送制限回数は、各パケットのクラス及び推定されたネットワーク状態に基づいて計算される。

そして、制御部１０２が、メディアパケットをトランスポートメッセージにカプセル化する（ステップＳ４０５）。送信部１０１が、パケットを送信する（ステップＳ４０６）。

制御部１０２は、送信したセグメントについてのＡＣＫが検出されるか否かを判定する（ステップＳ４０７）。ＡＣＫが検出された場合には、制御部１０２は対応するパケットの送信プロセスを終了する。これに対して、ＡＣＫが検出されなかった場合には、制御部１０２は、再送回数が再送制限回数割当部１０５により割り当てられた再送制限回数に達したか否かを判定する（ステップＳ４０８）。再送回数が再送制限回数割当部１０５により割り当てられた再送制限回数に達していた場合、制御部１０２は送信プロセスを終了する。他方、再送回数が再送制限回数割当部１０５により割り当てられた再送制限回数に達していなかった場合、制御部１０２は、ＡＣＫが検出されるか、再送制限回数に達するまでステップＳ４０８及びＳ４０９を繰り返してから、送信プロセスを終了する。

このように、本実施の形態に係る送信装置１００及び再送方法によれば、制御部１０２は、分類部１０３が各パケットのメディアタイプ又はクラスを分類するように制御し、その結果に基づいて、送信部１０１がデータを再送するように制御するので、データの特性に基づいて再送回数を調節できる。したがって、パケットロスを効果的に低減できる。更に、制御部１０２は、各メディアタイプの優先度に基づいて再送回数を調節できるので、再送効率を改善することができる。

更に、送信装置１００の制御部１０２は、ネットワーク状態推定部１０４がネットワーク状態を推定し、再送制限回数割当部１０５が、各パケットに対して、推定したネットワーク状態に基づいて再送制限回数を割り当てるように、制御するので、使用中のネットワークの空き帯域が効率的に活用でき、且つリアルタイムデータが効率的に送信できる。更に、データの受信が成功した場合には再送が行われないので、ネットワークの空き帯域が効率的に活用できる。このことは、ビデオ、音声、及びタイムドテキスト（timed text）のような、リアルタイムデータに特に有効である。これらのデータにおいては、パケットの到着遅延が、受信装置における知覚品質の改善せずに、ネットワーク輻輳、遅延、および帯域の浪費を助長させてしまうからである。

上述の実施形態は、ネットワーク状態推定部１０４が無くても実施可能である。したがって、比較的少ない構成要素およびステップによって、効率的な再送方法が実現できる。

本発明は上述の実施形態のみに制限されるものではなく、様々な変更又は修正が可能である。

例えば、Ｉ、Ｐ、Ｂフレームに基づいて再送制限回数を割り当てることに代えて、ＳＶＣレイヤの従属性に基づいて再送制限回数を割り当てることができる。この場合、N番目のレイヤのパケットがロストすれば、それ以降の全ての上位レイヤのパケットに悪影響を及ぼすので、下位レイヤには大きい再送制限回数が割り当てられる。Ｈ．２６４／ＳＶＣ形式では、一般的に、ビデオがいくつかの従属レイヤにエンコードされる。レイヤを追加または間引きすることによって、同じビデオについて、異なる空間的、時間的および画質的特徴する、様々なバージョンが得られる。最下位のレイヤ（ベース・レイヤ）は、最低限の品質を得るために必要であり、追加のレイヤを加えることで、フレームレート（時間スケーラビリティ）、解像度（空間スケーラビリティ）、及び画質（画質スケーラビリティー）のいずれか、又は全てを増加させることができる。

例えば、音声ストリームを、ベースレイヤ及び１又は複数のエンハンストレイヤ（enhanced layer）にエンコードするＭＰＥＧ−４ＢＳＡＣ（Bit Sliced Arithmetic Coding）のようなスケーラブルな音声コーデックも存在する。Ｈ．２６４／ＳＶＣと同様に、ユーザが受信するレイヤが多いほど、知覚される音質が良くなる。しかし、ネットワークリソースには限りがあるので、全てのレイヤを送信することは不可能である。そこで、各音声レイヤに対して、レイヤ間の相互依存性に基づいて再送回数を割り当てることができる。また、ハイビジョンビデオに対する要求が高まるにつれて、マルチチャンネル（５．１および７．１）の高品質音声に対する要求も増加してきている。このようなマルチチャンネルの音声信号は、いくつかの音声ストリーム（すなわち、左、右、中心、ＬＦＥ（law-frequency effect）、サブウーファー）から成る。これらの音声ストリームに対しても、全体的な音声品質に対する寄与、又は受信装置の性能（例えば、ステレオ出力のみを備える受信装置）に基づいて、優先度が割り当てることができる。

例えば、本発明に係る方法及び装置は、アプリケーションにおいて３つの異なる再送ポリシーを用いて各パケットの再送回数を制限できるようにする、ＰＲ−ＳＣＴＰ（partial reliable extension of the stream control transport protocol）を用いて実装可能である。タイムド・ポリシー（TTL）は、アプリケーションが、各メディアパケットについて有効期限を割り当てられるようにする。この有効期限を過ぎれば、パケットは必要ないとみなされ、再送は行われない。最大再送ポリシー（RTX）は、アプリケーションが各メディアパケットに対して再送制限回数を割り当てることを可能にする。この再送制限回数に到達した後には、再送は行われない。そして、バッファ・ポリシー（BUF）は、バッファ優先度を各メディアパケットに対して割り当てる。バッファ優先度は、受信装置側のバッファの空き容量に基づいて、各メディアパケットの再送を許容するか否か決定するものである。BUFは、処理能力の低く、記憶容量の少ない、スマートフォンやカーナビゲーションシステム、携帯用コンピュータなどの、携帯マルチメディア端末に特に有利である。

上述したような、ＰＲ−ＳＣＴＰを用いた装置及び方法では、ＰＲ−ＳＣＴＰを用いて空き帯域及びチャンネルのパケットロス統計が推定される。そして、当該推定結果と、各メディアパケットのサイズ、ビットレート、及び優先度と基づいて、再送ＰＲ−ＳＣＴＰポリシーが割り当てられる。例えば、送信するリアルタイムビデオストリームが、いずれかのＭＰＥＧベースの暗号化装置によって暗号化された場合、送信装置が、各ビデオピクチャに対して、最も高確率に到着するように、各ビデオピクチャのサイズ、チャンネルＭＴＵ、及び測定したエンドツーエンドパケットロス率に基づいて再送制限回数を割り当てることができる。

更に、ストリーミングサーバは、上述の再送ポリシーを組み合わせて用いることができる。例えば、送信装置がＰＲ−ＳＣＴＰのＴＴＬをＩフレームに割り当て、ＰおよびＢフレームの再送制限回数を制限することができる。

さらに、ＴＣＰ、ＵＤＰ、及びＤＣＣＰ（Datagram Congestion Control Protocol）に限らず、一般的なトランスポート・プロトコルも、ＰＲ−ＳＣＴＰと同様に拡張して、部分的信頼性（partial reliability）を提供することができる。そして、これらの拡張は、本発明の他の実施態様を提供しうる。さらには、上述の方法において、音声及びテキストのような他の種類のメディアに適した、新たな部分的信頼性ポリシーを用いることもでき、これにより、メディアプロパティやチャンネル特性等に基づいて再送ポリシーを動的に適合させることができる。

さらには、本発明に係る方法及び装置は、ＯＳＩ（Open Systems Interconnection）、ＩｒＤＡ（Infrared Data Association）及びブルートゥーススタックのような、通信プロトコルスタックに直接実装できる。この場合には、本方法及び装置は、ＰＲ−ＳＣＴＰと同様の機能性をもたらす、新たなトランスポート・プロトコルに直接実装される。本発明に従う方法及び装置は、この新しいトランスポート・プロトコルに用いられて、メディアプロパティ及び各時点でのチャンネル特性に応じて、再送ポリシーを動的に適合させて、送信される各メディアビデオ及び音声パケットの再送回数を制限できる。

Claims

複数のネットワークを経由して、異なる特性を有するリアルタイム性データのメッセージを構成するパケットを送信する送信装置で用いる再送方法であって、
前記各パケットの特性を分類するステップと、
前記複数のネットワークの状態を推定するステップと、
前記各パケットに対する再送制限回数を割り当てるステップと、
前記割り当てられた再送制限回数にしたがって、前記各パケットを再送するステップと、
を含み、
前記再送制限回数を割り当てるステップは、
推定した前記ネットワークの状態、および前記メッセージのサイズに基づいて、前記リアルタイム性データにかかる再送制限回数をパラメータとした受信成功確率を決定し、
決定した前記受信成功確率、および分類した前記各特性に対応する望ましい受信成功確率に基づいて、前記再送制限回数を動的に変更することを特徴とする、再送方法。
複数のネットワークを経由して、異なる特性を有するリアルタイム性データのメッセージを構成するパケットを送信する送信装置であって、
前記各パケットの特性を分類し、前記複数のネットワークの状態を推定し、前記各パケットに対して再送制限回数を割り当てる制御部と、
割り当てられた再送制限回数にしたがって、前記各パケットの再送を行う送信部と、を備え、
前記制御部は、
推定したネットワークの状態、および前記メッセージのサイズに基づいて、前記リアルタイム性データにかかる再送制限回数をパラメータとした受信成功確率を決定し、
決定した前記受信成功確率、および分類した前記各特性に対応する望ましい受信成功確率に基づいて、前記再送制限回数を動的に変更することを特徴とする、送信装置。