WO2008029710A1

WO2008029710A1 - Système de communication de données, appareil d'envoi de données, procédé d'envoi de données, appareil de réception de données et procédé de réception de données

Info

Publication number: WO2008029710A1
Application number: PCT/JP2007/066917
Authority: WO
Inventors: Eisaburo Itakura; Sei Sunahara; Yutaka Takahashi; Shoji Kasahara; Hiroyuki Masuyama; Yusuke Uchida
Original assignee: Sony Corporation; Kyoto University
Priority date: 2006-09-06
Filing date: 2007-08-30
Publication date: 2008-03-13
Also published as: CN101542957A; JP5016279B2; US20100091801A1; JP2008067016A; KR101385265B1; EP2061174B1; US8005028B2; CN101542957B; KR20090051064A; EP2061174A1; EP2061174A4

Description

明細書

データ通信システム、データ送信装置、データ送信方法、データ受信装置およびデータ受信方法

技術分野

[0001] 本発明は、送信側から受信側に無線チャネルを利用してデータパケットを送信するデータ通信システム、データ送信装置、データ送信方法、データ受信装置及びデータ受信方法に関する。詳しくは、この発明は、受信側から送信側に一定間隔でプロ一ブパケットを送信し、送信側ではプローブパケットの受信状況に応じて、受信側で損失されたデータパケットを予測して受信側に再送することにより、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能としたデータ通信システム等に関する。

本出願は、日本国にお!/、て 2006年 9月 6日に出願された日本特許出願番号 2006 — 242187号を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。

背景技術

[0002] 近年の ADSL(Asymmetric Digital Subscriber Line)や光ファイバ一といつたブロードバンド通信環境の普及、及び動画像のデジタル化の普及により、インターネットを介したテレビ会議システムや音声 ·動画のリアルタイム配信などの、実時間性が必要とされる通信サービスの利用が拡大している。また、利用が増加している無線においても、スループットの向上に伴い、ワイヤレスカメラに代表される実時間動画通信サービスが利用されるようになった。このような通信においては、ネットワーク上で発生するパケット損失を克服しつつ、実時間性を確保することが重要となる。

従来の有線環境における QoS(Quality of Service)制御の代表的な方法として、 FE C(Forward Error Correction)と ARQ(Automatic Repeat Request)X)、ある。 FECは、信データに冗長性を付加する技術であり、訂正能力の範囲内であれば、再送を行うことなく損失パケットを修復することができるため実時間性に優れている力、訂正能力を超えたパケット損失が発生した場合には、サービスの品質が著しく低下してしまう。一方、 ARQは、損失したパケットに対して再送要求を行う技術であり、損失パケット数にかかわらず修復が可能である力 S、再送回数によっては実時間性を確保することができず、同様に品質が低下する。

従来、両者の欠点を補う手法として、非特許文献 1 (田中啓之，高橋豊， "リアルタイム 'ノヽイブリツド FEC/ARQのモデル化と性能解析"：信学技報 IN2004— 22, pp. 13 - 18, Jun. 2004)等に記載されている、 FEC/ARQ併用方式がある。

発明の開示

発明が解決しょうとする課題

非特許文献 1等に記載される技術では、実時間性を確保しつつ、パケットの損失を修復すること力できる。しかし、パケット損失の多くがバーストロスであるような無線環境下では、 FECの効果が低減するために、 FEC/ARQ併用方式が効果的に機能しない問題がある。また、それを補うべき ARQによる再送要求も、バーストロスが終了した後にまとめて行われるため、許容遅延内に再送パケットが到達しない可能性があこの発明の目的は、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能とすることにある。

この発明の概念は、データ送信装置からデータ受信装置にデータパケットを送信するデータ通信システムである。このデータ通信システムにおいて、上記データ送信装置は、送信データに対して符号化処理を行い、該符号化された送信データを格納した上記データパケットを生成するエンコーダと、上記エンコーダで生成された上記データパケットを第 1の無線チャネルに送出するデータパケット送信部と、第 2の無線チャネル力再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第 1の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、上記第 2の無線チャネルからプローブパケットを受信するプローブパケット受信部と、上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第 1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第 1 の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を備える。また、上記データ受信装置は、上記第 1の無線チャネルから上記データパケットを受信するデータパケット受信部と、上記データパケット受信部で受信された上記データパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、上記データパケット受信部で受信された上記データパケットに、上記デコーダで上記受信データを得るために必要とする所定のデータパケットが不足してレ、るとき、該所定のデータパケットの再送を要求する再送要求信号を、上記第 2の無線チャネルに送出する再送要求制御部と、上記第 2の無線チャネルに一定間隔で上記プローブパケットを送出するプローブパケット送信部を備える。

そして、データ送信装置からデータ受信装置にデータパケットが送信される。送信側では、エンコーダにおいて、送信データに対して符号化処理が行われ、さらにパケット化処理により符号化された送信データが格納されたパケットデータが生成される。そして、送信側では、データパケット送信部において、データパケットが第 1の無線チャネルに送出される。

また、送信側では、再送制御部において、第 2の無線チャネルから再送要求信号が受信されるとき、この再送要求信号で要求される所定のデータパケットを第 1の無線チャネルに再送出するように、データパケット送信部の制御が行われる。この場合、データパケット送信部において、所定のデータパケットが第 1の無線チャネルに送出される。

また、送信側では、プローブパケット受信部において、プローブパケットが受信される。予測再送制御部においては、プローブパケットの受信状況に基づいて、データパケット送信部から第 1の無線チャネルに送出されたデータパケットのうち、受信側で損失したデータパケットが予測される。例えば、予測再送制御部においては、プローブパケット受信部で受信できな力たプローブパケットの送信期間に対応した期間にデータパケット送信部から第 1の無線チャネルに送出されたデータパケットが、損失したデータパケットと予測される。そして、予測再送制御部においては、損失したものと予測されるデータパケットを第 1の無線チャネルに再送出するように、データパケット送信部の制御が行われる。この場合、データパケット送信部において、受信側で損失したものと予測されたデータパケットが第 1の無線チャネルに送出される。上述したように、本発明に係るデータ通信システムは、再送要求がされたデータパケット及び受信側で損失したものと予測されるデータパケットがデータパケット送信部から第 1の無線チャネルに送出されるものであり、受信側におけるパケット損失を克服することができる。また、プローブパケットの受信状況に基づいて、受信側で損失したデータバケツトが予測され、受信側からの再送要求を待たずに、そのデータパケットがデータパケット送信部から第 1の無線チャネルに送出されるものであり、受信側における実時間十生を確保すること力 Sできる。

例えば、データパケット送信部は、第 1の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファを有しており、この送信バッファに蓄積されるデータパケットは、パケットの優先度の情報を持っている。データパケット送信部においては、例えば、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報に基づいて、送信バッファから所定のデータパケットが削除される。

例えば、送信バッファに蓄積されているデータパケットは、再送要求信号に基づいて再送される第 1の再送パケット、プローブパケットの受信状況に基づいた損失予測に基づいて再送される第 2の再送パケット、あるいは第 1の再送パケット及び第 2の再送パケット以外の通常パケットの!/、ずれであるかを示すパケット属性情報を、パケットの優先度を示す情報として持っている。また、例えば、送信バッファに蓄積されているデータパケットは、パケット属性情報とともに、少なくとも階層符号化におけるいずれの層（レイヤ）のパケットであるかを示す階層情報を、パケットの優先度を示す情報として持っている。

例えば、パケット属性情報及び階層等に基づいて重要度が求められ、重要度が最も低いデータパケット及び当該データパケットが属する層（レイヤ）のデータパケットが全て削除される。

上述したように、パケットデータ送信部では、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報に基づいて、送信バッファから所定のデータパケットが削除されるものであり、第 1の無線チャネルの限られた帯域でも、重要なデータパケットを優先的に受信側に届けることができる。受信側では、データパケット受信部において、第 1の無線チャネルからデータパケットが受信される。そして、受信側では、デコーダにおいて、受信されたデータパケットに格納されている符号化されているデータに対して復号化処理が行われて受信データが得られる。

また、受信側では、再送要求制御部において、データパケット受信部で受信されたデータパケットに、デコーダで受信データを得るために必要とする所定のデータパケットが不足しているか否かが判別される。そして、この再送要求制御部において、不足の所定のデータパケットの再送を要求する再送要求信号が第 2の無線チャネルに送出される。また、受信側では、第 2の無線チャネルに一定間隔でプローブパケットが送出される。

上述したように、デコーダで受信データを得るために必要とする所定のデータパケットの再送を要求する再送要求信号が第 2の無線チャネルに送出されるとともに、この第 2の無線チャネルに一定間隔でプローブパケットが送出されるものである。このため、上述したように、送信側では、再送要求がされたデータパケット及び受信側で損失したものと予測されるデータパケットをデータパケット送信部から第 1の無線チヤネルに送出でき、受信側におけるパケット損失を克服できる。また、送信側では、プローブパケットの受信状況に基づレ、て、受信側で損失したデータパケットが予測され、受信側からの再送要求を待たずに、そのデータパケットをデータパケット送信部から第 1の無線チャネルに送出でき、受信側における実時間性を確保することができる。以上のような本発明によれば、受信側から送信側に一定間隔でプローブパケットを送信し、送信側ではプローブパケットの受信状況に応じて、受信側で損失されたデータパケットを予測して受信側に再送するものであり、無線環境下において、パケット損失を克服しつつ、実時間性を良好に確保することができる。

本発明のさらに他の技術課題、本発明によって得られる具体的な利点は、以下において図面を参照して説明される実施の形態から一層明らかにされるであろう。図面の簡単な説明

[図 1]図 1は、実施の形態としてのデータ通信システムの構成を示すブロック図である [図 2]図 2は、データ送信装置のパケット送出端末及びデータ受信装置のパケット受信端末の詳細構成を示すブロック図である。

[図 3]図 3は、 JPEG2000の階層構造例を示す図である。

[図 4]図 4は、符号化データを格納するデータパケット (RTPパケット）の構成例を示す図である。

[図 5]図 5は、 NACK— RTCPパケットの構成例を示す図である。

[図 6]図 6は、プローブパケットの構成例を示す図である。

[図 7]図 7は、バーストロス検知、及び予測再送の例を示す図である。

[図 8]図 8は、予測再送制御部における予測再送の制御処理を示すフローチャートである。

発明を実施するための最良の形態

図 1は、実施の形態としての、データ通信システム 10の構成を示している。このデータ通信システム 10は、データ送信装置 100とデータ受信装置 200とを有している。データ送信装置 100は、パケット送出端末 110と、無線送信端末 120と、無線受信端末 130とを備えている。データ受信装置 200は、パケット受信端末 210と、無線受信端末 220と、無線送信端末 230とを備えている。

データ送信装置 100のパケット送出端末 110から無線送信端末 120へと渡されたデータパケットは、第 1の無線チャネル 310を利用して、データ受信装置 200の無線受信端末 220によって受信される。また、データ受信装置 200のパケット受信端末 2 10は、無線送信端末 230によって第 2の無線チャネル 320に、プローブパケットを送出する。データ送信装置 100のパケット送出端末 110は、無線受信端末 130によつてプローブパケットを受信し、その受信状況に応じて、第 2の無線チャネル 320のパケット損失状況を測定し、同程度のパケット損失が第 1の無線チャネル 310でも発生していることを予測し、データ受信装置 200のパケット受信端末 210からの再送要求を待たずに、再送パケットを送信する。

図 2は、データ送信装置 100のパケット送出端末 110及びデータ受信装置 200のパケット受信端末 210の詳細な構成を示している。最初に、パケット送出端末 110を説明する。このパケット送出端末 110は、ェンコ一ダ 111と、優先度処理部 112と、 FEC制御部 113と、再送用バッファ 114と、優先処理送信バッファ 115と、 ARQ制御部 116と、プローブ解析部 117と、予測再送制御部 118とを有している。

エンコーダ 111は送信データ（例えば、画像データある!/、は音声データ等のストリーム型データ）に対して符号化処理を行い、この符号化された送信データを格納したデータパケットを生成する。この実施の形態において、エンコーダ 111は、階層符号化処理を実行する。階層符号化が可能な圧縮 ·伸張方式としては、例えば JPEG20 00と MPEG4によるビデオストリームをあげることができる。

MPEG4は、スケーラブルに低いビットレートから高いビットレートまで配信することが可能である。また、ウェーブレット（Wavelet)変換をベースとする JPEG2000は、ゥエーブレット（Wavelet)変換の特徴を生かし、空間解像度をベースにパケット化することや、あるいは画質をベースに階層的にパケット化することが可能である。 JPEG20 00は、静止画だけでなく動画を扱える MotionJPEG2000 (Part3)規格により、階層化したデータを、ファイルフォーマットで保存することが可能である。上述の階層符号化処理の適用により、 1つのファイルデータから異なる能力の端末へ同時にデータ配信を実行することが可能となる。

また、階層符号化の例として DCT (Discrete Cosine Transform)ベースの技術を用いた構成も可能である。これは配信情報となる例えば画像データを DCT処理し、 DC T処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ配信を実行する方法である。エンコーダ 111は、上述の DCT処理、あるいは、ウェーブレット変換のような階層化の可能な符号化方式を実行する。

エンコーダ 111は、上述の階層符号化をあらかじめ設定されたプログレッシブ順序でのプログレッシブ符号化処理を実行する。すなわち、ウェーブレット変換等に対応する空間解像度によるプログレッシブ、あるいは SNR (Signal to Noise Ratio)、すなわち画質毎に設定した階層に対応するプログレッシブ、あるいはカラー成分 (RGBや YCbCr)毎の階層に対応するプログレッシブ等、様々なデータ階層に応じたプログレッシブ符号化処理を実行する。

プログレッシブ符号化とは、インターネットの画像配信等において多用される符号化処理であり、データ受信端末側で粗い画像データを先に出力し、順次、細かい画像を出力して表示することを可能とするものである。例えば、空間解像度によるプログレツシブ符号化の場合は、粗レ、画像に対応する低周波画像データの符号化データから精細な画像に対応する高周波画像データの符号化データを生成する。データの復号、表示を実行する端末では、低周波画像データの符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗!/、概略画像を表示することが可能となり、その後、高周波領域の符号化データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。

SNR (Signal to Noise Ratio)、すなわち画質によるプログレッシブの場合は、低 SN R (低画質）の符号化データから高 SNR (高画質）を区別して符号化する。カラー成分（RGBや YCbCr)によるプログレッシブの場合は、カラー成分（RGBや YCbCr)毎の符号化を実行する。

図 3は、 JPEG2000の階層構造例を示している。この例では、 SNRプログレッシブ順序で J2Kパケット化されているものとする。この例では、 3番以降のパケットが届かな力、つたとしてもレイヤ 0のパケットに損失はないことからレイヤ 0は再生することが可能であり、 5番までのパケットが届けばレイヤ 1までを再生することが可能になる。このように、 JPEG2000においては、全てのパケットが届かなくとも、再生可能なレイヤまでの画像を再生することができる。したがって、予測によってパケットを再送する場合には、レイヤの低いパケットに、より大きな優先度を与えることで、可能な限り画像のスキップを防ぐことが可能となる。

エンコーダ 111は、上述したように、符号化された送信データをペイロードとして格納したデータパケットを生成する。エンコーダ 111は、ペイロードデータに対して、例えば、 RTPヘッダを付加してパケット化する。図 4は、 RTPパケットの構成を示している。 RTPヘッダには、バージョン番号 (V)、パディング (P)、拡張ビットまたは拡張へッダ（X)の有無、送信元数（Counter)、マーカ情報（marker bit, M)、ペイロードタィプ（Payload type)、シーケンス番号、タイムスタンプ (TIMESTAMP)、同期ソース（送信元)識別子（SSRC)及び貢献ソース（送信元)識別子（CSRC)の各フィールドが設けられている。

データ受信側において、 RTPヘッダに付与されたタイムスタンプにより RTPパケットの展開時に処理時間の制御が実行され、リアルタイム画像、または、音声の再生制御が可能となる。なお、例えば、動画像データの符号化データを格納した RTPバケツトにおいては、 1つの画像フレームに属する複数の RTPパケットに共通のタイムスタンプが設定され、各フレームを構成する終端パケットには、終端であることを示す識別フラグが RTPヘッダに格納される。

図 2に戻って、優先度処理部 112は、エンコーダ 111で生成された各データバケツ HRTPパケット）のヘッダに、優先度の情報を付加する。例えば、優先度の情報は、当該データパケットが階層符号化におけるいずれの層（レイヤ）のパケットであるかを示す階層情報とされる。また、例えば、優先度の情報は、上述の階層情報の他に、当該データパケットが層内のいかなる位置付けのデータである力、（例えば、図 3の「Reso lutionsjなど）を示す層内情報を含むものとされる。

FEC制御部 113は、優先度処理部 112で優先度が付加された各データパケットに対して、複数個のデータパケットを 1つの FECブロックとして、リードソロモン（RS : Ree d-Solomon符号）、またはその他の誤り訂正符号を用いて冗長符号化する。例えば、 (n, k) RS符号を用いる場合、冗長符号化前の k個の元パケットから n— k個の冗長パケットを生成すること力 Sできる。なお、 n〉kである。

この場合、 1つの FECブロックにっき、データ送信装置 100から n個のパケットが送信される。データ受信装置 200においては、 n個のパケットのうち k個のパケットを受信できれば、 RS復号処理により k個の元パケットを復元することができる。

再送用バッファ 114は、優先度処理部 112で優先度が付加された各データパケットを、再送用のデータパケットとして、保存する。

ARQ制御部 116は、第 2の無線チャネル 320から無線受信端末 130を介して、再送要求信号としての NACK(Negative Acknowledge)— RTCPパケットが受信されるとき、この NACK— RTCPパケットで要求される所定のデータパケットを、再送用バッファ 114から読み出して、優先処理送信バッファ 115に送る。図 5は、 NACK-RTCP パケットの構成を示している。 NACK— RTCPパケットは、ヘッダ（HEAD)、フォーマット（FORMAT)、パケットタイプ、パケット長、送信同期ソース識別子（RTCP)、タィムスタンプ (TIMESTAMP)の情報に加えて、再送要求対象となるパケットの識別子としての再送指定シーケンス番号、さらに、各再送指定シーケンス番号に対応するデータとして、「再送回数」、「オプション」、「重複指定回数」が設定可能である。「再送回数」、「オプション」、「重複指定回数」は、必要に応じて付加される。

ARQ制御部 116は、再送用バッファ 114から優先処理送信バッファ 115に送るデータパケット（再送パケット）のヘッダに、 NACK— RTCPパケットにより再送要求されたデータパケットであることを示すパケット属性情報を付加する。このパケット属性情報は、優先度を示す情報を構成する。このパケット属性情報により、後述するように、 FEC制御部 113から優先処理送信バッファ 115に供給される通常のデータバケツト（通常パケット）の同一の階層のものと比べて、再送パケットの送信の重要度が高くされプローブ解析部 117は、第 2の無線チャネル 320から無線受信端末 130で受信されるプローブパケットの受信状況に基づいて、通信良好状態にある力、バーストロス状態にあるかを検知する。

プローブパケットは、データ受信装置 200から第 2の無線チャネル 320に一定間隔で送出されている。図 6は、プローブパケットの構成を示している。プローブパケットは、ヘッダ（HEAD)、フォーマット（FORMAT)、パケットタイプ、パケット長、送信同期ソース識別子（RTCP)の情報に加えて、プローブ情報として、シーケンス番号とタイムスタンプの情報を持っている。なお、受信側端末でプローブパケットを一定間隔で出力し、かつ受信側端末から送信側端末への伝播遅延が一定であれば、タイムスタンプ情報は必ずしも必要ではない。また、シーケンス番号も、同様に、必ずしも必要な情報ではない。

予測再送制御部 118は、プローブ解析部 117にお!/、てバーストロス状態が検知されるとき、データ送信装置 100から第 1の無線チャネル 310に送出されたデータパケットのうち、データ受信装置 200で損失したデータパケットを予測し、当該予測したデータパケットを、再送用バッファ 114から読み出し、優先処理送信バッファ 115に送る。このとき、予測再送制御部 118は、再送用バッファ 114から優先処理送信バッファ 1 15に送るデータパケット（再送パケット）のヘッダに、プローブパケットの受信状況で損失予測されたデータパケットであることを示すパケット属性情報を付加する。このパケット属性情報は、優先度を示す情報を構成する。このパケット属性情報により、後述するように、 FEC制御部 113から優先処理送信バッファ 115に供給される通常のデータパケット（通常パケット）の同一の階層のものと比べて、再送パケットの送信の重要度が高くされる。

ここで、プローブ解析部 117における受信側における損失の予測処理、及び予測再送制御部 118における再送処理の詳細について説明する。

プローブパケットの送信間隔を Tprobeとする。プローブ解析部 117は、バースト検知閾値 Θ Burstの間 NACK— RTCPパケット及びプローブパケットのいずれも受信しなければ、バーストロスが発生したと判断する。 Θ Burst (〉Tprobe)が小さすぎると、ランダムロスをバーストロスと誤検知する可能性が高くなり、逆に、 Θ Burstが大きすぎると、バーストロス検知が遅れることになる。プローブ解析部 117は、バーストロス検知中に、新たに NACK— RTCPパケットまたはプローブパケットを受信すると、バーストロス状態が終了したと判断する。

予測再送制御部 118は、プローブ解析部 117によりバーストロスが検知されると、検知したバーストロスで失われたと予測されるデータパケットを再送するように、再送用バッファ 114から再送すべきデータパケットを読み出し、優先処理送信バッファ 115 に ·ο。

予測再送制御部 118は、バースト検知閾値 Θ Burstによってバーストロスが検知された際、その検知時刻を tとして、時亥 ijt— RTT/2— Θ Burstから t— RTT/2の間に送信したパケットを再送するように制御する。ここで、 RTTは、往復伝播遅延（Round Trip Time)である。その後、プローブ解析部 117によりバーストロス検知が続いている限り、再送間隔 TRet毎に、その時刻を tとして、時亥 ijt RTT/2— TRetから t RTT/2の間に送信したパケットを再送するように制御する。

図 7は、バーストロス検知、及び予測再送の例を示している。図 7において、まず時刻 tlでプローブ解析部 117はバーストロスを検知する。その際、予測再送制御部 11 8は、対応する損失パケット群 PIを再送するように制御する。 TRet後の時刻 t2では、バーストロス検知がまだ終了していないので、予測再送制御部 118は、今度は、損失パケット群 P2を再送するように制御する。時刻 t3になると、受信側からの NACK— RT CPパケットまたはプローブパケットが到着するようになり、プローブ解析部 117は、バ一ストロス状態が終了したと判断する。

図 8のフローチャートは、予測再送制御部 118における予測再送の制御処理を示している。予測再送制御部 118は、このフローチャートの動作を所定の周期をもって実行する。

まず、予測再送制御部 118は、ステップ ST1で、処理を開始し、ステップ ST2で、プローブ解析部 117によりバーストロスが検知されたか否かを判定する。予測再送制御部 118は、バーストロスが検知されていないときは、ステップ ST13に進み、予測再送の制御処理を終了する。

予測再送制御部 118は、ステップ ST2でバーストロスが検知されているときは、ステップ ST3で、経過時間 Taを 0にリセットする。そして、予測再送制御部 118は、ステツプ ST4で、検知時刻を tとして、時亥 iJt— RTT/2— Θ Burstから t— RTT/2の間に送信したパケットを損失パケットと予測し、ステップ ST5で、再送用バッファ 114から損失予測パケットを読み出し、優先処理送信バッファ 115に出力する。次に、予測再送制御部 118は、ステップ ST6で、時間 TRetが経過したか否かを判定する。時間 TRetが経過していないとき、予測再送制御部 118は、ステップ ST7で、 NACKパケット（再送要求信号)を受信したか、またはプローブパケットを受信したかを判定する。いずれも受信していないとき、予測再送制御部 118は、ステップ ST6に戻る。

予測再送制御部 118は、ステップ ST6で、時間 TRetが経過したときは、ステップ ST 8で、経過時間 Taを 0にリセットする。そして、予測再送制御部 118は、ステップ ST9 で、時間 TRetの経過時点の時刻を tとして、時亥 iJt— RTT/2— TRetから t— RTT/2の間に送信したパケットを損失パケットと予測し、ステップ ST10で、再送用バッファ 114から損失予測パケットを読み出し、優先処理送信バッファ 115に出力する。そして、予測再送制御部 118は、ステップ ST6に戻る。

また、予測再送制御部 118は、ステップ ST7で NACKパケットまたはプローブパケットを受信したときは、ステップ ST11で、受信した時点の時刻を tとして、プローブパケットを受信した場合は時刻 t— RTT/2— Taから t— RTT/2の間に送信したパケットを損失パケットと予測し、ステップ ST12で、再送用バッファ 114から損失予測パケットを読み出し、優先処理送信バッファ 115に出力する。 NACKパケットを受信した場合は、時刻 t RTT/2 Taから NACKパケット内の情報が示す要求再送パケットを損失パケットとし、ステップ ST12で、再送用バッファ 114から損失予測パケットを読み出し、優先処理送信バッファ 115に出力する。そして、予測再送制御部 118は、ステップ S T13に進み、予測再送の制御処理を終了する。

また、図 2に戻って、優先処理送信バッファ 115は、 FEC制御部 113から出力される FECブロック毎のデータパケット及び冗長パケットと、 ARQ制御部 116及び予測再送制御部 118の制御により再送用バッファ 114から読み出されるデータパケットを一時的に蓄積し、優先度に基づいて、送信すべきパケットを取捨選択し、無線送信端末 120を介して、第 1の無線チャネル 310に送出する。この優先処理送信バッファ 11 5は、データパケット送信部を構成している。

優先処理送信バッファ 115におけるバッファ管理 (送信すべきパケットの取捨選択処理）について説明する。

上述した予測再送制御部 118の制御による予測再送を行うことで、一時的に優先処理送信バッファ 115にデータパケットが過剰に蓄積され、許容遅延内にパケットが受信端末に到達しない状況が発生する可能性がある。ここでは、効率的なパケット伝送に向け、パケットの重要度を定義し、バッファ内で相対的に重要度の低いパケットを削除するとレ、つたバッファ管理を行って!/、る。

まず、パケットの重要度 Pvalueを、次式で定義する。

Pvaiue = PLvalue^n)+P¾value(u) · · · (1;

ここで、 PLvalue(n)は、上述したように優先度処理部 112において各データパケットに付加される階層化符号に関する優先度情報に基づいて決定される重要度であり、例えばパケットのレイヤ番号 nが小さいほど大きな値を取る。 PSvalue(u)は、上述した優先度情報としてのパケット属性 uに基づいて決定される重要度であり、パケットの属性 uが通常パケット (u=0)、予測再送パケット (u=l)、 NACKに対する再送パケット (u=2) のいずれであるかによって値が決定される。後者の属性ほど画質への貢献度に対する帯域の利用率が低ぐ例えば後者の属性ほど大きな値を取る。

優先処理送信バッファ 115は、バッファチェック間隔 TBCheck毎に、バッファ内パケット数がバッファ閾値 Θ BPacketよりも大きい間、 Pvalueを基に、（1)送信バッファ内で最も小さレ、Pvalueを持つパケットを検索すること、（2)そのパケットが属するレイヤのパケットを全て送信バッファから削除すること、を繰り返す。

次に、パケット受信端末 210を図 2を用いて説明する。このパケット受信端末 210は、受信バッファ 211と、 FEC復号部 212と、デコーダ 214と、再送要求制御部 215と、プローブ送信部 216とを有している。

受信バッファ 211は、無線受信端末 220が第 1の無線チャネル 310から受信したデータパケットを保持する。 FEC復号部 212は、受信バッファ 211に保持されたパケットに損失があった場合に、復号化処理を行う。デコーダ 214は、損失がなぐあるいは損失があっても復号化処理によって、必要なパケットが再生時間内に揃ったとき、当該必要なパケットに対して復号化処理を行って受信データを得る。再送要求制御部 215は、 FEC復号部 212の復号化処理によっても、上述したデコーダ 214で受信データを得るために必要とする所定のデータパケットが不足しているとき、この所定のデータパケットの再送を要求する NACK— RTCPパケットを、無線送信端末 230を介して、第 2の無線チャネル 320に送出する。プローブ送信部 216は、一定間隔 Tpr obeで、上述したプローブパケットを、無線送信端末 230を介して、第 2の無線チヤネル 320に送出する。

図 2に示すパケット送出端末 110及びパケット受信端末 210の動作を説明する。送信データ（例えば、画像データあるいは音声データ等のストリーム型データ）が、パケット送出端末 110のエンコーダ 111に供給される。エンコーダ 111では、送信データに対して階層符号化処理が行われるとともに、符号化された送信データがペイ口ードとして格納されたデータパケット (RTPパケット）が生成される。

エンコーダ 111で生成されたデータパケットは、優先度処理部 112に供給される。優先度処理部 112では、エンコーダ 111で生成された各データパケット（RTPバケツト）のヘッダに、階層符号の階層に対応して優先度（レイヤ番号が小さいほど優先度は高くなる）が付加される。優先度の付加されたデータパケットは、再送用バッファ 11 4に供給されて保持されるとともに、 FEC制御部 113に供給される。

FEC制御部 113では、複数個のデータパケットが 1つの FECブロックとされ、 FEC ブロック毎にリードソロモン（RS： Reed-Solomon)符号等の誤り訂正符号が用いられて冗長符号化が行われる。この FEC制御部 113から出力される各 FECブロックのパケット（データパケット及び冗長パケット）は優先処理送信バッファ 115に供給される。また、パケット受信端末 210のプローブ送信部 216から、無線送信端末 230を介して、第 2の無線チャネル 320に、一定間隔で、プローブパケットが送出される。バケツト送出端末 110のプローブ解析部 117では、第 2の無線チャネル 320から無線受信端末 130で受信されるプローブパケットの受信状況に基づいて、通信良好状態にある力、、あるいはバーストロス状態にあるかが検知される。

予測再送制御部 118では、プローブ解析部 117にお!/、てバーストロス状態が検知されるとき、データ送信装置 100から第 1の無線チャネル 310に送出されたデータパケットのうち、データ受信装置 200で損失したデータパケットが予測される。そして、この予測再送制御部 118の制御により、当該予測されたデータパケットが再送用バッファ 114から読み出され、優先処理送信バッファ 115に送られる。この場合、再送用バッファ 114から優先処理送信バッファ 115に送るデータパケット（再送パケット）のへッダには、プローブパケットの受信状況で損失予測されたデータパケットであることを示すパケット属性情報 (優先度情報)が付加される。

また、 ARQ制御部 116では、第 2の無線チャネル 320から無線受信端末 130を介して、再送要求信号としての NACK(Negative Acknowledge)— RTCPパケットが受信されるとき、この ARQ制御部 116の制御により、この NACK— RTCPパケットで要求される所定のデータパケットが再送用バッファ 114から読み出され、優先処理送信バッファ 115に送られる。再送用バッファ 114から優先処理送信バッファ 115に送られるデータパケット（再送パケット）のヘッダには、 NACK— RTCPパケットにより再送要求されたデータパケットであることを示すパケット属性情報 (優先度情報）が付加され優先処理送信バッファ 115では、 FEC制御部 113力、ら出力される FECブロック毎のデータパケット及び冗長パケットと、 ARQ制御部 116及び予測再送制御部 118の制御により再送用バッファ 114から読み出されるデータパケットが一時的に蓄積され、優先度（階層に対応した優先度、パケット属性に対応した優先度）に基づいて求められた重要度により、送信すべきパケットが取捨選択される。そして、この優先処理送信バッファ 115から、当該送信すべきパケットが、無線送信装置 120を介して、第 1の無線チャネル 310に送出される。

パケット受信端末 210の受信バッファ 211には、無線受信端末 220により第 1の無線チャネル 310から受信されたデータパケットが保持される。？£じ復号部212では、受信バッファ 211に保持されたパケットに損失があった場合に、冗長パケットを用いて復号化処理が行われる。デコーダ 214では、損失がなぐあるいは損失があっても復号化処理によって、必要なパケットが再生時間内に揃ったとき、当該必要なバケツトに対して復号化処理が行われて、受信データ（例えば、画像データあるいは音声データ等のストリーム型データ）が得られる。

また、パケット受信端末 210の再送要求制御部 215では、 FEC復号部 212の復号化処理によっても、上述したデコーダ 214で受信データを得るために必要とする所定のデータパケットが不足しているとき、この所定のデータパケットの再送を要求する N ACK— RTCPパケットを、無線送信端末 230を介して、第 2の無線チャネル 320に送出することが行われる。

上述した実施の形態においては、パケット受信端末 210のデコーダ 214で受信データを得るために必要とする所定のデータパケットの再送を要求する NACK— RTC Pパケット（再送要求信号）が第 2の無線チャネル 320に送出されるとともに、パケット受信端末 210のプローブ送信部 216から第 2の無線チャネル 320に一定間隔でプローブパケットが送出される。

したがって、上述した実施の形態によれば、パケット送出端末 110において、再送要求がされたデータパケット及び受信側で損失したものと予測されるデータパケットを、優先処理送信バッファ 115から第 1の無線チャネル 310に送出でき、受信側におけるパケット損失を克服できる。また、上述した実施の形態によれば、パケット受信端末 210の予測再送制御部 118では、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットを予測でき、受信側からの NACK— RTCPパケット（再送要求信号)を待たずに、受信側で損失が予測されたデータパケットを、優先処理送信ノッファ 115から第 1の無線チャネル 310に送出でき、受信側における実時間性を確保できる。

また、上述した実施の形態においては、パケット送出端末 110の優先処理送信バッファ 115では、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報 (パケット属性情報、階層情報）に基づいて、所定のデータパケット、例えば送信バッファから重要度が最も低いデータパケット及び当該データパケットが属する層（レイヤ）のデータパケットが削除される。したがって、上述した実施の形態によれば、第 1の無線チャネル 310の限られた帯域でも、重要なデータパケットを優先的に受信側に届けることができる。

なお、上述した実施の形態におけるパケット送出端末 110及びパケット受信端末 2 10の各機能部は、ハードウェア及びソフトウェアのいずれによっても実現できる。ソフトウエアで実現する場合には、コンピュータが、 ROMまたはハードディスクに格納されて!/、るプログラムに基づ!/、て、各機能部の処理を実行する。

また、上述した実施の形態においては、 ARQ方式（自動再送方式)及び FEC方式 (前方誤り訂正符号化方式)を組み合わせたものを示したが、 ARQ方式のみを採用するデータ通信システムにも、この発明を同様に適用できる。

産業上の利用可能性

本発明は、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能としたものであり、送信側から受信側に、無線チャネルを利用して、画像データあるいは音声データ等のストリーム型データのデータパケットを送信する、データ通信システム等に適用できる。

Claims

請求の範囲

1.データ送信装置からデータ受信装置にデータパケットを送信するデータ通信システムであって、

上記データ送信装置は、

送信データに対して符号化処理を行い、該符号化された送信データを格納した上記データパケットを生成するエンコーダと、

上記エンコーダで生成された上記データパケットを第 1の無線チャネルに送出するデータパケット送信部と、第 2の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第 1の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、

上記第 2の無線チャネル力、らプローブパケットを受信するプローブパケット受信部と

上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第 1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第 1の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を備え、上記データ受信装置は、

上記第 1の無線チャネルから上記データパケットを受信するデータパケット受信部と上記データパケット受信部で受信された上記データパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、

上記データパケット受信部で受信された上記データパケットに、上記デコーダで上記受信データを得るために必要とする所定のデータパケットが不足しているとき、該所定のデータパケットの再送を要求する再送要求信号を、上記第 2の無線チャネルに送出する再送要求制御部と、

上記第 2の無線チャネルに一定間隔で上記プローブパケットを送出するプローブノケット送信部を備えることを特徴とするデータ通信システム。

[2] 2.送信データに対して符号化処理を行い、該符号化された送信データを格納したデータパケットを生成するエンコーダと、

上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第 1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第 1の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を備えることを特徴とするデータ送信装置。

[3] 3.上記データパケット送信部は、上記第 1の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファを有し、

上記送信バッファに蓄積される上記データパケットは、パケットの優先度の情報を持っており、

上記データパケット送信部は、上記送信バッファに蓄積されるデータパケットのパケット数が閾値より大き!/、とき、上記パケットの優先度の情報に基づ!/、て上記送信バッファから所定のデータパケットを削除する

ことを特徴とする請求の範囲第 2項に記載のデータ送信装置。

[4] 4.上記データパケットは、上記再送要求信号に基づいて再送される第 1の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第 2の再送パケット、あるいは該第 1の再送パケット及び該第 2の再送パケット以外の通常パケットの!/、ずれであるかを示すパケット属性情報を、上記パケットの優先度を示す情報として持つことを特徴とする請求の範囲第 3項に記載のデータ送信装置。

[5] 5.上記エンコーダは、上記送信データに対して階層符号化処理を実行し、

上記データパケットは、上記パケット属性情報とともに、少なくとも上記階層符号化におけるいずれの層のパケットであるかを示す階層情報を、上記パケットの優先度を示す情報として持つ

ことを特徴とする請求の範囲第 4項に記載のデータ送信装置。

[6] 6.上記予測再送制御部は、

上記プローブパケット受信部で受信できなかった上記プローブパケットの送信期間に対応した期間に上記データパケット送信部から上記第 1の無線チャネルに送出されたデータパケットを損失したものと予測する

[7] 7.送信データに対して符号化処理を行い、該符号化された送信データを格納したデータパケットを生成する符号化ステップと、

上記符号化ステップで生成された上記データパケットを第 1の無線チャネルに送出するデータパケット送信ステップと、

第 2の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第 1の無線チャネルに再送出するように、上記データパケット送信ステップを制御する再送制御ステップと、

上記第 2の無線チャネル力、らプローブパケットを受信するプローブパケット受信ステ上記プローブパケット受信ステップにおける上記プローブパケットの受信状況に基づき、上記データパケット送信ステップで上記第 1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第 1の無線チヤネルに再送出するように、上記データパケット送信ステップを制御する予測再送制御ステツプを備える

ことを特徴とするデータ送信方法。

8.第 1の無線チャネルからデータパケットを受信するデータパケット受信部と、上記データパケット受信部で受信された上記データパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、上記データパケット受信部で受信された上記データパケットに、上記デコーダで上記受信データを得るために必要とする所定のデータパケットが不足しているとき、該所定のデータパケットの再送を要求する再送要求信号を、第 2の無線チャネルに送出する再送要求制御部と、

上記第 2の無線チャネルに一定間隔でプローブパケットを送出するプローブバケツト送信部を備える

ことを特徴とするデータ受信装置。

9.第 1の無線チャネルからデータパケットを受信するデータパケット受信ステップと、上記データパケット受信ステップで受信された上記データパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得る復号化ステップと、

上記データパケット受信ステップで受信された上記データパケットに、上記復号化ステップで上記受信データを得るために必要とする所定のデータパケットが不足しているとき、該所定のデータパケットの再送を要求する再送要求信号を、第 2の無線チャネルに送出する再送要求制御ステップと、

上記第 2の無線チャネルに一定間隔でプローブパケットを送出するプローブバケツト送信ステップを備える

ことを特徴とするデータ受信方法。