JP5016279B2 - データ通信システム、データ送信装置およびデータ送信方法 - Google Patents

Description

この発明は、送信側から受信側に無線チャネルを利用してデータパケットを送信するデータ通信システム、データ送信装置およびデータ送信方法に関する。詳しくは、この発明は、受信側から送信側に一定間隔でプローブパケットを送信し、送信側ではプローブパケットの受信状況に応じて、受信側で損失されたデータパケットを予測して受信側に再送することにより、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能としたデータ通信システム等に係るものである。

近年のＡＤＳＬ(Asymmetric Digital Subscriber Line)や光ファイバーといったブロードバンド通信環境の普及、および動画像のデジタル化の普及により、インターネットを介したテレビ会議システムや音声・動画のリアルタイム配信などの、実時間性が必要とされる通信サービスの利用が拡大している。また、利用が増加している無線においても、スループットの向上に伴い、ワイヤレスカメラに代表される実時間動画通信サービスが利用されるようになった。このような通信においては、ネットワーク上で発生するパケット損失を克服しつつ、実時間性を確保することが重要となる。

従来の有線環境におけるＱｏＳ(Quality of Service)制御の代表的な方法として、ＦＥＣ(ForwardError Correction)とＡＲＱ(Automatic Repeat reQuest)がある。ＦＥＣは、通信データに冗長性を付加する技術であり、訂正能力の範囲内であれば、再送を行うことなく損失パケットを修復することができるため実時間性に優れているが、訂正能力を超えたパケット損失が発生した場合には、 サービスの品質が著しく低下してしまう。一方、ＡＲＱは、損失したパケットに対して再送要求を行う技術であり、損失パケット数にかかわらず修復が可能であるが、再送回数によっては実時間性を確保することができず、同様に品質が低下する。

従来、両者の欠点を補う手法として、非特許文献１等に記載されている、ＦＥＣ／ＡＲＱ併用方式がある。
田中啓之，高橋豊，"リアルタイム・ハイブリッドFEC/ARQ のモデル化と性能解析"信学技報，ＩＮ ２００４−２２，ｐｐ．１３−１８，Ｊｕｎ．２００４．

非特許文献１等に記載される技術では、実時間性を確保しつつ、パケットの損失を修復することができる。しかし、パケット損失の多くがバーストロスであるような無線環境下では、ＦＥＣの効果が低減するために、ＦＥＣ／ＡＲＱ併用方式が効果的に機能しない問題がある。また、それを補うべきＡＲＱによる再送要求も、バーストロスが終了した後にまとめて行われるため、許容遅延内に再送パケットが到達しない可能性がある。

この発明の目的は、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能とすることにある。

この発明の概念は、
データ受信装置と、上記データ受信装置にデータパケットを送信するデータ送信装置とからなり、
上記データ送信装置は、
送信データに対して符号化処理を行い、該符号化された送信データを格納する上記データパケットを生成するエンコーダと、
上記エンコーダで生成された上記データパケットを第１の無線チャネルに送出するデータパケット送信部と、
第２の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、
上記第２の無線チャネルからプローブパケットを受信するプローブパケット受信部と、
上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第１の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を含み、
上記データ受信装置は、
上記第１の無線チャネルから上記データパケットを受信するデータパケット受信部と、
受信されたデータパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、
受信されたデータパケットが上記デコーダで受信データを得るために必要とする所定のデータパケットを欠くとき、該所定のデータパケットの再送を要求する再送要求信号を、上記第２の無線チャネルに送出する再生要求制御部と、
上記第２の無線チャネルに一定間隔で上記プローブパケットを送出するプローブパケット送信部を含み、
上記データパケット送信部は、上記第１の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファをさらに含み、
上記送信バッファに蓄積される上記データパケットは、パケット優先度情報とパケット属性情報を持ち、
上記送信バッファに蓄積されているデータパケットのパケット数がバッファチェック間隔毎にチェックされ、
上記データパケット送信部は、上記送信バッファに蓄積されているデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除し、
上記パケット優先度情報は、符号化処理における優先度情報に基づいて決定された第１の重要度を、パケット属性情報に基づいて決定された第２の重要度に加えることで求められ、
上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第１の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第２の再送パケット、あるいは第１の再送パケットおよび第２の再送パケット以外の通常のパケットのいずれであるかを示す
データ通信システムにある。

データ送信装置からデータ受信装置にデータパケットが送信される。送信側では、エンコーダにおいて、送信データに対して符号化処理が行われ、さらにパケット化処理により符号化された送信データが格納されたパケットデータが生成される。そして、送信側では、データパケット送信部において、データパケットが第１の無線チャネルに送出される。

また、送信側では、再送制御部において、第２の無線チャネルから再送要求信号が受信されるとき、この再生要求信号で要求される所定のデータパケットを第１の無線チャネルに再送出するように、データパケット送信部の制御が行われる。この場合、データパケット送信部において、所定のデータパケットが第１の無線チャネルに送出される。

また、送信側では、プローブパケット受信部において、プローブパケットが受信される。予測再送制御部においては、プローブパケットの受信状況に基づいて、データパケット送信部から第１の無線チャネルに送出されたデータパケットのうち、受信側で損失したデータパケットが予測される。例えば、予測再送制御部においては、プローブパケット受信部で受信できなかったプローブパケットの送信期間に対応した期間にデータパケット送信部から第１の無線チャネルに送出されたデータパケットが、損失したデータパケットと予測される。そして、予測再送制御部においては、損失したものと予測されるデータパケットを第１の無線チャネルに再送出するように、データパケット送信部の制御が行われる。この場合、データパケット送信部において、受信側で損失したものと予測されたデータパケットが第１の無線チャネルに送出される。

上述したように、再送要求がされたデータパケットおよび受信側で損失したものと予測されるデータパケットがデータパケット送信部から第１の無線チャネルに送出されるものであり、受信側におけるパケット損失を克服できる。また、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットが予測され、受信側からの再送要求を待たずに、そのデータパケットがデータパケット送信部から第１の無線チャネルに送出されるものであり、受信側における実時間性を確保できる。

例えば、データパケット送信部は、第１の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファを有しており、この送信バッファに蓄積されるデータパケットは、パケットの優先度の情報を持っている。データパケット送信部においては、例えば、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報に基づいて、送信バッファから所定のデータパケットが削除される。

例えば、送信バッファに蓄積されているデータパケットは、再送要求信号に基づいて再送される第１の再送パケット、プローブパケットの受信状況に基づいた損失予測に基づいて再送される第２の再送パケット、あるいは第１の再送パケットおよび第２の再送パケット以外の通常パケットのいずれであるかを示すパケット属性情報を、パケットの優先度を示す情報として持っている。また、例えば、送信バッファに蓄積されているデータパケットは、パケット属性情報と共に、少なくとも階層符号化におけるいずれの層（レイヤ）のパケットであるかを示す階層情報を、パケットの優先度を示す情報として持っている。

例えば、パケット属性情報および階層等に基づいて重要度が求められ、重要度が最も低いデータパケットおよび当該データパケットが属する層（レイヤ）のデータパケットが全て削除される。

上述したように、パケットデータ送信部では、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報に基づいて、送信バッファから所定のデータパケットが削除されるものであり、第１の無線チャネルの限られた帯域でも、重要なデータパケットを優先的に受信側に届けることができる。

受信側では、データパケット受信部において、第１の無線チャネルからデータパケットが受信される。そして、受信側では、デコーダにおいて、受信されたデータパケットに格納されている符号化されているデータに対して復号化処理が行われて受信データが得られる。

また、受信側では、再送要求制御部において、データパケット受信部で受信されたデータパケットに、デコーダで受信データを得るために必要とする所定のデータパケットが不足しているか否かが判別される。そして、この再送要求制御部において、不足の所定のデータパケットの再送を要求する再送要求信号が第２の無線チャネルに送出される。また、受信側では、第２の無線チャネルに一定間隔でプローブパケットが送出される。

上述したように、デコーダで受信データを得るために必要とする所定のデータパケットの再送を要求する再送要求信号が第２の無線チャネルに送出されると共に、この第２の無線チャネルに一定間隔でプローブパケットが送出されるものである。そのため、上述したように、送信側では、再送要求がされたデータパケットおよび受信側で損失したものと予測されるデータパケットをデータパケット送信部から第１の無線チャネルに送出でき、受信側におけるパケット損失を克服できる。また、送信側では、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットが予測され、受信側からの再送要求を待たずに、そのデータパケットをデータパケット送信部から第１の無線チャネルに送出でき、受信側における実時間性を確保できる。

この発明によれば、受信側から送信側に一定間隔でプローブパケットを送信し、送信側ではプローブパケットの受信状況に応じて、受信側で損失されたデータパケットを予測して受信側に再送するものであり、無線環境下において、パケット損失を克服しつつ、実時間性を良好に確保できる。

図１は、実施の形態としての、データ通信システム１０の構成を示している。このデータ通信システム１０は、データ送信装置１００とデータ受信装置２００とを有している。
データ送信装置１００は、パケット送出端末１１０、無線送信端末１２０および無線受信端末１３０から構成されている。データ受信装置２００は、パケット受信端末２１０、無線受信端末２２０および無線送信端末２３０から構成されている。

データ送信装置１００のパケット送出端末１１０から無線送信端末１２０へと渡されたデータパケットは、第１の無線チャネル３１０を利用して、データ受信装置２００の無線受信端末２２０によって受信される。また、データ受信装置２００のパケット受信端末２１０は、無線送信端末２３０によって第２の無線チャネル３２０に、プローブパケットを送出する。データ送信装置１００のパケット送出端末１１０は、無線受信端末１３０によってプローブパケットを受信し、その受信状況に応じて、第２の無線チャネル３２０のパケット損失状況を測定し、同程度のパケット損失が第１の無線チャネル３１０でも発生していることを予測し、データ受信装置２００のパケット受信端末２１０からの再送要求を待たずに、再送パケットを送信する。

図２は、データ送信装置１００のパケット送出端末１１０およびデータ受信装置２００のパケット受信端末２１０の詳細構成を示している。

最初に、パケット送出端末１１０を説明する。このパケット送出端末１１０は、エンコーダ１１１と、優先度処理部１１２と、ＦＥＣ制御部１１３と、再送用バッファ１１４と、優先処理送信バッファ１１５と、ＡＲＱ制御部１１６と、プローブ解析部１１７と、予測再送制御部１１８とを有している。

エンコーダ１１１は送信データ（例えば、画像データあるいは音声データ等のストリーム型データ）に対して符号化処理を行い、この符号化された送信データを格納したデータパケットを生成する。この実施の形態において、エンコーダ１１１は、階層符号化処理を実行する。階層符号化が可能な圧縮・伸張方式としては、例えばＪＰＥＧ２０００とＭＰＥＧ４によるビデオストリームをあげることができる。

ＭＰＥＧ４は、スケーラブルに低いビットレートから高いビットレートまで配信することが可能である。また、ウェーブレット（Ｗａｖｅｌｅｔ）変換をベースとするＪＰＥＧ２０００は、ウェーブレット（Ｗａｖｅｌｅｔ）変換の特徴を生かし、空間解像度をベースにパケット化することや、あるいは画質をベースに階層的にパケット化することが可能である。ＪＰＥＧ２０００は、静止画だけでなく動画を扱えるＭｏｔｉｏｎＪＰＥＧ２０００（Ｐａｒｔ ３）規格により、階層化したデータを、ファイルフォーマットで保存することが可能である。上述の階層符号化処理の適用により、１つのファイルデータから異なる能力の端末へ同時にデータ配信を実行することが可能となる。

また、階層符号化の例としてＤＣＴ（Discrete Cosine Transform）ベースの技術を用いた構成も可能である。これは配信情報となる例えば画像データをＤＣＴ処理し、ＤＣＴ処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ配信を実行する方法である。エンコーダ１１１は、上述のＤＣＴ処理、あるいは、ウェーブレット変換のような階層化の可能な符号化方式を実行する。

エンコーダ１１１は、上述の階層符号化をあらかじめ設定されたプログレッシブ順序でのプログレッシブ符号化処理を実行する。すなわち、ウェーブレット変換等に対応する空間解像度によるプログレッシブ、あるいはＳＮＲ（Signal to Noise Ratio）、すなわち画質毎に設定した階層に対応するプログレッシブ、あるいはカラー成分（ＲＧＢやＹＣｂＣｒ）毎の階層に対応するプログレッシブ等、様々なデータ階層に応じたプログレッシブ符号化処理を実行する。

プログレッシプ符号化とは、インターネットの画像配信等において多用される符号化処理であり、データ受信端末側で粗い画像データを先に出力し、順次、細かい画像を出力して表示することを可能とするものである。例えば、空間解像度によるプログレッシブ符号化の場合は、粗い画像に対応する低周波画像データの符号化データから精細な画像に対応する高周波画像データの符号化データを生成する。データの復号、表示を実行する端末では、低周波画像データの符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗い概略画像を表示することが可能となり、その後、高周波領域の符号化データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。

ＳＮＲ（Signal to Noise Ratio）、すなわち画質によるプログレッシブの場合は、低ＳＮＲ（低画質）の符号化データから高ＳＮＲ（高画質）を区別して符号化する。カラー成分（ＲＧＢやＹＣｂＣｒ）によるプログレッシブの場合は、カラー成分（ＲＧＢやＹＣｂＣｒ）毎の符号化を実行する。

図３は、ＪＰＥＧ２０００の階層構造例を示している。この例では、ＳＮＲプログレッシブ順序でＪ２Ｋパケット化されているものとする。この例では、３番以降のパケットが届かなかったとしてもレイヤ０のパケットに損失は無いことからレイヤ０は再生することが可能であり、５番までのパケットが届けばレイヤ１までを再生することが可能になる。このように、ＪＰＥＧ２０００においては、全てのパケットが届かなくとも、再生可能なレイヤまでの画像を再生することができる。したがって、予測によってパケットを再送する場合には、レイヤの低いパケットに、より大きな優先度を与えることで、可能な限り画像のスキップを防ぐことが可能となる。

エンコーダ１１１は、上述したように、符号化された送信データをペイロードとして格納したデータパケットを生成する。エンコーダ１１１は、ペイロードデータに対して、例えば、ＲＴＰヘッダを付加してパケット化する。図４は、ＲＴＰパケットの構成を示している。ＲＴＰヘッダには、バージョン番号（ｖ）、パディング（Ｐ）、拡張ヘッダ（Ｘ）の有無、送信元数（Ｃｏｕｎｔｅｒ）、マーカ情報（ｍａｒｋｅｒｂｉｔ）、ペイロードタイプ（Ｐａｙｌｏａｄ ｔｙｐｅ）、シーケンス番号、タイムスタンプ、同期ソース（送信元）識別子（ＳＳＲＣ）および貢献ソース（送信元）識別子（ＣＳＲＣ）の各フィールドが設けられている。

データ受信側において、ＲＴＰヘッダに付与されたタイムスタンプによりＲＴＰパケットの展開時に処理時間の制御が実行され、リアルタイム画像、または、音声の再生制御が可能となる。なお、例えば、動画像データの符号化データを格納したＲＴＰパケットにおいては、１つの画像フレームに属する複数のＲＴＰパケットに共通のタイムスタンプが設定され、各フレームを構成する終端パケットには、終端であることを示す識別フラグがＲＴＰヘッダに格納される。

図２に戻って、優先度処理部１１２は、エンコーダ１１１で生成された各データパケット（ＲＴＰパケット）のヘッダに、優先度の情報を付加する。例えば、優先度の情報は、当該データパケットが階層符号化におけるいずれの層（レイヤ）のパケットであるかを示す階層情報とされる。また、例えば、優先度の情報は、上述の階層情報の他に、当該データパケットが層内のいかなる位置付けのデータであるか（例えば、図３の「Resolutions」など）を示す層内情報を含むものとされる。

ＦＥＣ制御部１１３は、優先度処理部１１２で優先度が付加された各データパケットに対して、複数個のデータパケットを１つのＦＥＣブロックとして、リードソロモン（ＲＳ：Reed-Solomon符号）、またはその他の誤り訂正符号を用いて冗長符号化する。例えば、（ｎ，ｋ）ＲＳ符号を用いる場合、冗長符号化前のｋ個の元パケットからｎ−ｋ個の冗長パケットを生成することができる。なお、ｎ＞ｋである。

この場合、１つのＦＥＣブロックにつき、データ送信装置１００からｎ個のパケットが送信される。データ受信装置２００においては、ｎ個のパケットのうちｋ個のパケットを受信できれば、ＲＳ復号処理によりｋ個の元パケットを復元することができる。

再送用バッファ１１４は、優先度処理部１１２で優先度が付加された各データパケットを、再送用のデータパケットとして、保存する。

ＡＲＱ制御部１１６は、第２の無線チャネル３２０から無線受信端末１３０を介して、再送要求信号としてのＮＡＣＫ(Negative Acknowledge)−ＲＴＣＰパケットが受信されるとき、このＮＡＣＫ−ＲＴＣＰパケットで要求される所定のデータパケットを、再送用バッファ１１４から読み出して、優先処理送信バッファ１１５に送る。図５は、ＮＡＣＫ−ＲＴＣＰパケットの構成を示している。ＮＡＣＫ−ＲＴＣＰパケットは、ヘッダ（ＨＥＡＤ）、フォーマット（ＦＯＲＭＡＴ）、パケットタイプ、パケット長、送信同期ソース識別子（ＲＴＣＰ）、タイムスタンプの情報に加えて、再送要求対象となるパケットの識別子としての再送指定シーケンス番号、さらに、各再送指定シーケンス番号に対応するデータとして、「再送回数」、「オプション」、「重複指定回数」が設定可能である。

ＡＲＱ制御部１１６は、再送用バッファ１１４から優先処理送信バッファ１１５に送るデータパケット（再送パケット）のヘッダに、ＮＡＣＫ−ＲＴＣＰパケットにより再送要求されたデータパケットであることを示すパケット属性情報を付加する。このパケット属性情報は、優先度を示す情報を構成する。このパケット属性情報により、後述するように、ＦＥＣ制御部１１３から優先処理送信バッファ１１５に供給される通常のデータパケット（通常パケット）の同一の階層のものと比べて、再送パケットの送信の重要度が高くされる。

プローブ解析部１１７は、第２の無線チャネル３２０から無線受信端末１３０で受信されるプローブパケットの受信状況に基づいて、通信良好状態にあるかバーストロス状態にあるかを検知する。

プローブパケットは、データ受信装置２００から第２の無線チャネル３２０に一定間隔で送出されている。図６は、プローブパケットの構成を示している。プローブパケットは、ヘッダ（ＨＥＡＤ）、フォーマット（ＦＯＲＭＡＴ）、パケットタイプ、パケット長、送信同期ソース識別子（ＲＴＣＰ）の情報に加えて、プローブ情報として、シーケンス番号とタイムスタンプの情報を持っている。なお、受信側端末でプローブパケットを一定間隔で出力し、かつ受信側端末から送信側端末への伝播遅延が一定であれば、タイムスタンプ情報は必ずしも必要ではない。シーケンス番号も、同様に、必ずしも必要な情報ではない。

予測再送制御部１１８は、プローブ解析部１１７においてバーストロス状態が検知されるとき、データ送信装置１００から第１の無線チャネル３１０に送出されたデータパケットのうち、受信データ装置２００で損失したデータパケットを予測し、当該予測したデータパケットを、再送用バッファ１１４から読み出し、優先処理送信バッファ１１５に送る。このとき、予測再送制御部１１８は、再送用バッファ１１４から優先処理送信バッファ１１５に送るデータパケット（再送パケット）のヘッダに、プローブパケットの受信状況で損失予測されたデータパケットであることを示すパケット属性情報を付加する。このパケット属性情報は、優先度を示す情報を構成する。このパケット属性情報により、後述するように、ＦＥＣ制御部１１３から優先送信バッファ１１５に供給される通常のデータパケット（通常パケット）の同一の階層のものと比べて、再送パケットの送信の重要度が高くされる。

ここで、プローブ解析部１１７における受信側における損失の予測処理、および予測再送制御部１１８における再送処理の詳細について説明する。

プローブパケットの送信間隔をＴprobeとする。プローブ解析部１１７は、バースト検知閾値θBurstの間ＮＡＣＫ−ＲＴＣＰパケットおよびプローブパケットのいずれも受信しなければ、バーストロスが発生したと判断する。θBurst （＞Ｔprobe）が小さすぎると、ランダムロスをバーストロスと誤検知する可能性が高くなり、逆に、θBurstが大きすぎると、バーストロス検知が遅れることになる。プローブ解析部１１７は、バーストロス検知中に、新たにＮＡＣＫ−ＲＴＣＰパケットまたはプローブパケットを受信すると、バーストロス状態が終了したと判断する。

予測再送制御部１１８は、プローブ解析部１１７によりバーストロスが検知されると、検知したバーストロスで失われたと予測されるデータパケットを再送するように、再送用バッファ１１４から再送すべきデータパケットを読み出し、優先処理送信バッファ１１５に送る。

予測再送制御部１１８は、バースト検知閾値θBurst によってバーストロスが検知された際、その検知時刻をt として、時刻t−RTT/2−θBurst からt− RTT/2の間に送信したパケットを再送するように制御する。 ここで、ＲＴＴは、往復伝播遅延（Round Trip Time）である。その後、プローブ解析部１１７によりバーストロス検知が続いている限り、再送間隔ＴRet毎に、その時刻をt として、時刻t−RTT/2−TRetからt−RTT/2の間に送信したパケットを再送するように制御する。

図７は、バーストロス検知、および予測再送の例を示している。図７において、まず時刻t1でプローブ解析部１１７はバーストロスを検知する。その際、予測再送制御部１１８は、対応する損失パケット群P1を再送するように制御する。ＴRet 後の時刻t2では、バーストロス検知がまだ終了していないので、予測再送制御部１１８は、今度は、損失パケット群P2を再送するように制御する。時刻t3になると、受信側からのＮＡＣＫ−ＲＴＣＰパケットまたはプローブパケットが到着するようになり、プローブ解析部１１７は、バーストロス状態が終了したと判断する。

図８のフローチャートは、予測再送制御部１１８における予測再送の制御処理を示している。予測再送制御部１１８は、このフローチャートの動作を所定の周期をもって実行する。

まず、予測再送制御部１１８は、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、プローブ解析部１１７によりバーストロスが検知されたか否かを判定する。予測再送制御部１１８は、バーストロスが検知されていないときは、ステップＳＴ１３に進み、予測再送の制御処理を終了する。

予測再送制御部１１８は、ステップＳＴ２でバーストロスが検知されているときは、ステップＳＴ３で、経過時間Ｔａを０にリセットする。そして、予測再送制御部１１８は、ステップＳＴ４で、検知時刻をt として、時刻t−RTT/2−θBurst からt−RTT/2の間に送信したパケットを損失パケットと予測し、ステップＳＴ５で、再送用バッファ１１４から損失予測パケットを読み出し、優先処理バッファ１１５に送る。

次に、予測再送制御部１１８は、ステップＳＴ６で、時間TRetが経過したか否かを判定する。時間TRetが経過していないとき、予測再送制御部１１８は、ステップＳＴ７で、ＮＡＣＫパケット（再送要求信号）を受信したか、またはプローブパケットを受信したかを判定する。いずれも受信していないとき、予測再送制御部１１８は、ステップＳＴ６に戻る。

予測再送制御部１１８は、ステップＳＴ６で、時間TRetが経過したときは、ステップＳＴ８で、経過時間Ｔａを０にリセットする。そして、予測再送制御部１１８は、ステップＳＴ９で、時間TRetの経過時点の時刻をt として、時刻t−RTT/2−TRet からt− RTT/2の間に送信したパケットを損失パケットと予測し、ステップＳＴ１０で、再送用バッファ１１４から損失予測パケットを読み出し、優先処理バッファ１１５に送る。そして、予測再送制御部１１８は、ステップＳＴ６に戻る。

また、予測再送制御部１１８は、ステップＳＴ７でＮＡＣＫパケットまたはプローブパケットを受信したときは、ステップＳＴ１１で、受信した時点の時刻をt として、プローブパケットを受信した場合は時刻t−RTT/2−Ta からt− RTT/2の間に送信したパケットを損失パケットと予測し、ステップＳＴ１2で、再送用バッファ１１４から損失予測パケットを読み出し、優先処理バッファ１１５に送る。ＮＡＣＫパケットを受信した場合は、時刻t−RTT/2−TaからＮＡＣＫパケット内の情報が示す要求再送パケットを損失パケットとし、ステップＳＴ１2で、再送用バッファ１１４から損失予測パケットを読み出し、優先処理バッファ１１５に送る。そして、予測再送制御部１１８は、ステップＳＴ１３に進み、予測再送の制御処理を終了する。

また、図２に戻って、優先処理送信バッファ１１５は、ＦＥＣ制御部１１３から出力されるＦＥＣブロック毎のデータパケットおよび冗長パケットと、ＡＲＱ制御部１１６および予測再送制御部１１８の制御により再送用バッファ１１４から読み出されるデータパケットを一時的に蓄積し、優先度に基づいて、送信すべきパケットを取捨選択し、無線送信端末１２０を介して、第１の無線チャネル３１０に送出する。この優先処理送信バッファ１１５は、データパケット送信部を構成している。

優先処理送信バッファ１１５におけるバッファ管理（送信すべきパケットの取捨選択処理）について説明する。

上述した予測再送制御部１１８の制御による予測再送を行うことで、一時的に優先処理送信バッファ１１５にデータパケットが過剰に蓄積され、許容遅延内にパケットが受信端末に到達しない状況が発生する可能性がある。ここでは、効率的なパケット伝送に向け、 パケットの重要度を定義し、 バッファ内で相対的に重要度の低いパケットを削除するといったバッファ管理を行っている。

まず、パケットの重要度Ｐvalue を、次式で定義する。

Ｐvalue ＝ＰＬvalue(n)+ＰＳvalue(u) ・・・（１）

ここで、PLVvalue(n)は、上述したように優先度処理部１１２において各データパケットに付加される階層化符号に関する優先度情報に基づいて決定される重要度であり、例えばパケットのレイヤ番号n が小さいほど大きな値を取る。ＰＳvalue(u)は、上述した優先度情報としてのパケット属性uに基づいて決定される重要度であり、パケットの属性uが通常パケット(u =0)、予測再送パケット(u =1)、NACKに対する再送パケット(u =2)のいずれであるかによって値が決定される。後者の属性ほど画質への貢献度に対する帯域の利用率が低く、例えば後者の属性ほど大きな値を取る。

優先処理送信バッファ１１５は、バッファチェック間隔ＴBCheck 毎に、 バッファ内パケット数がバッファ閾値θBPacket よりも大きい間、Ｐvalue を基に、（１） 送信バッファ内で最も小さいＰvalue を持つパケットを検索すること、（２）そのパケットが属するレイヤのパケットを全て送信バッファから削除すること、を繰り返す。

次に、パケット受信端末２１０を説明する。このパケット受信端末２１０は、受信バッファ２１１と、ＦＥＣ復号部２１２と、デコーダ２１４と、再送要求制御部２１５と、プローブ送信部２１６とを有している。

受信バッファ２１１は、無線受信端末２２０が第１の無線チャネル３１０から受信したデータパケットを保持する。ＦＥＣ復号部２１２は、受信バッファ２１１に保持されたパケットに損失があった場合に、復号化処理を行う。デコーダ２１４は、損失がなく、あるいは損失があっても復号化の処理によって、必要なパケットが再生時間内に揃ったとき、当該必要なパケットに対して復号化処理を行って受信データを得る。

再送要求制御部２１５は、ＦＥＣ復号部２１２の復号化処理によっても、上述したデコーダ２１４で受信データを得るために必要とする所定のデータパケットが不足しているとき、この所定のデータパケットの再送を要求するＮＡＣＫ−ＲＴＣＰパケットを、無線送信端末２３０を介して、第２の無線チャネル３２０に送出する。プローブ送信部２１６は、一定間隔Ｔprobeで、上述したプローブパケットを、無線送信端末２３０を介して、第２の無線チャネル３２０に送出する。

図２に示すパケット送出端末１１０およびパケット受信端末２１０の動作を説明する。

送信データ（例えば、画像データあるいは音声データ等のストリーム型データ）が、パケット送出端末１１０のエンコーダ１１１に供給される。エンコーダ１１１では、送信データに対して階層符号化処理が行われると共に、符号化された送信データがペイロードとして格納されたデータパケット（ＲＴＰパケット）が生成される。

エンコーダ１１１で生成されたデータパケットは、優先度処理部１１２に供給される。優先度処理部１１２では、エンコーダ１１１で生成された各データパケット（ＲＴＰパケット）のヘッダに、階層符号の階層に対応して優先度（レイヤ番号が小さいほど優先度は高くなる）が付加される。優先度の付加されたデータパケットは、再送用バッファ１１４に供給されて保持されると共に、ＦＥＣ制御部１１３に供給される。

ＦＥＣ制御部１１３では、複数個のデータパケットが１つのＦＥＣブロックとされ、ＦＥＣブロック毎にリードソロモン（ＲＳ：Reed-Solomon）符号等の誤り訂正符号が用いられて冗長符号化が行われる。このＦＥＣ制御部１１３から出力される各ＦＥＣブロックのパケット（データパケットおよび冗長パケット）は優先処理送信バッファ１１５に供給される。

また、パケット受信端末２１０のプローブ送信部２１０から、無線送信端末２３０を介して、第２の無線チャネル３２０に、一定間隔で、プローブパケットが送出される。データ送信端末１１０のプローブ解析部１１７では、第２の無線チャネル３２０から無線受信端末１３０で受信されるプローブパケットの受信状況に基づいて、通信良好状態にあるか、あるいはバーストロス状態にあるかが検知される。

プローブ再送制御部１１８では、プローブ解析部１１７においてバーストロス状態が検知されるとき、データ送信装置１００から第１の無線チャネル３１０に送出されたデータパケットのうち、受信データ装置２００で損失したデータパケットが予測される。そして、このプローブ再送制御部１１８の制御により、当該予測されたデータパケットが再送用バッファ１１４から読み出され、優先処理送信バッファ１１５に送られる。この場合、再送用バッファ１１４から優先処理送信バッファ１１５に送るデータパケット（再送パケット）のヘッダには、プローブパケットの受信状況で損失予測されたデータパケットであることを示すパケット属性情報（優先度情報）が付加される。

また、ＡＲＱ制御部１１６では、第２の無線チャネル３２０から無線受信端末１３０を介して、再送要求信号としてのＮＡＣＫ(Negative Acknowledge)−ＲＴＣＰパケットが受信されるとき、このＡＲＱ制御部１１６の制御により、このＮＡＣＫ−ＲＴＣＰパケットで要求される所定のデータパケットが再送用バッファ１１４から読み出され、優先処理送信バッファ１１５に送られる。再送用バッファ１１４から優先処理送信バッファ１１５に送られるデータパケット（再送パケット）のヘッダには、ＮＡＣＫ−ＲＴＣＰパケットにより再送要求されたデータパケットであることを示すパケット属性情報（優先度情報）が付加される。

優先処理送信バッファ１１５では、ＦＥＣ制御部１１３から出力されるＦＥＣブロック毎のデータパケットおよび冗長パケットと、ＡＲＱ制御部１１６および予測再送制御部１１８の制御により再送用バッファ１１４から読み出されるデータパケットが一時的に蓄積され、優先度（階層に対応した優先度、パケット属性に対応した優先度）に基づいて求められた重要度により、送信すべきパケットが取捨選択される。そして、この優先処理送信バッファ１１５から、当該送信すべきパケットが、無線送信装置１２０を介して、第１の無線チャネル３１０に送出される。

パケット受信端末２１０の受信バッファ２１１には、無線受信端末２２０により第１の無線チャネル３１０から受信されたデータパケットが保持される。ＦＥＣ復号部２１２では、受信バッファ２１１に保持されたパケットに損失があった場合に、冗長パケットを用いて復号化処理が行われる。デコーダ２１４では、損失がなく、あるいは損失があっても復号化の処理によって、必要なパケットが再生時間内に揃ったとき、当該必要なパケットに対して復号化処理が行われて、受信データ（例えば、画像データあるいは音声データ等のストリーム型データ）が得られる。

また、パケット受信端末２１０の再送要求制御部２１５では、ＦＥＣ復号部２１２の復号化処理によっても、上述したデコーダ２１４で受信データを得るために必要とする所定のデータパケットが不足しているとき、この所定のデータパケットの再送を要求するＮＡＣＫ−ＲＴＣＰパケットを、無線送信端末２３０を介して、第２の無線チャネル３２０に送出することが行われる。

上述した実施の形態においては、パケット受信端末２１０のデコーダ２１４で受信データを得るために必要とする所定のデータパケットの再送を要求するＮＡＣＫ−ＲＴＣＰパケット（再送要求信号）が第２の無線チャネル３２０に送出されると共に、パケット受信端末２１０のプローブ送信部２１６から第２の無線チャネル３２０に一定間隔でプローブパケットが送出される。

したがって、上述した実施の形態によれば、パケット送出端末１１０において、再送要求がされたデータパケットおよび受信側で損失したものと予測されるデータパケットを、優先処理送信バッファ１１５から第１の無線チャネル３１０に送出でき、受信側におけるパケット損失を克服できる。また、上述した実施の形態によれば、パケット受信端末２１０の予測再送制御部１１８では、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットを予測でき、受信側からのＮＡＣＫ−ＲＴＣＰパケット（再送要求信号）を待たずに、受信側で損失が予測されたデータパケットを、優先処理送信バッファ１１５から第１の無線チャネル３１０に送出でき、受信側における実時間性を確保できる。

また、上述実施の形態においては、パケット送出端末１１０の優先処理送信バッファ１１５では、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報（パケット属性情報、階層情報）に基づいて、所定のデータパケット、例えば送信バッファから重要度が最も低いデータパケットおよび当該データパケットが属する層（レイヤ）のデータパケットが削除される。したがって、上述した実施の形態によれば、第１の無線チャネル３１０の限られた帯域でも、重要なデータパケットを優先的に受信側に届けることができる。

なお、上述実施の形態におけるパケット送出端末１１０およびパケット受信端末２１０の各機能部は、ハードウェアおよびソフトウェアのいずれによっても実現できる。ソフトウェアで実現する場合には、コンピュータが、ＲＯＭまたはハードディスクに格納されているプログラムに基づいて、各機能部の処理を実行する。

また、上述実施の形態においては、ＡＲＱ方式（自動再送方式）およびＦＥＣ方式（前方誤り訂正符号化方式）を組み合わせたものを示したが、ＡＲＱ方式のみを採用するデータ通信システムにも、この発明を同様に適用できる。

この発明は、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能としたものであり、送信側から受信側に、無線チャネルを利用して、画像データあるいは音声データ等のストリーム型データのデータパケットを送信する、データ通信システム等に適用できる。

実施の形態としてのデータ通信システムの構成を示すブロック図である。 データ送信装置のパケット送出端末およびデータ受信装置のパケット受信端末の詳細構成を示すブロック図である。 ＪＰＥＧ２０００の階層構造例を示す図である。 符号化データを格納するデータパケット（ＲＴＰパケット）の構成例を示す図である。 ＮＡＣＫ−ＲＴＣＰパケットの構成例を示す図である。 プローブパケットの構成例を示す図である。 バーストロス検知、および予測再送の例を示す図である。 予測再送制御部における予測再送の制御処理を示すフローチャートである。

符号の説明

１０・・・データ通信システム、１００・・・データ送信装置、１１０・・・パケット送出装置、１１１・・・エンコーダ、１１２・・・優先度処理部、１１３・・・ＦＥＣ制御部、１１４・・・再送用バッファ、１１５・・・優先処理送信バッファ、１１６・・・ＡＲＱ制御部、１１７・・・プローブ解析部、１１８・・・予測再送制御部、１２０・・・無線送信端末、１３０・・・無線受信端末、２００・・・データ受信端末、２１０・・・パケット受信端末、２１１・・・受信バッファ、２１２・・・ＦＥＣ復号部、２１４・・・デコーダ、２１５・・・再送要求制御部、２１６・・・プローブ送信部、２２０・・・無線受信端末、２３０・・・無線送信端末、３１０・・・第１の無線チャネル、３２０・・・第２の無線チャネル

Claims (5)

1. データ受信装置と、上記データ受信装置にデータパケットを送信するデータ送信装置とからなり、
   上記データ送信装置は、
   送信データに対して符号化処理を行い、該符号化された送信データを格納する上記データパケットを生成するエンコーダと、
   上記エンコーダで生成された上記データパケットを第１の無線チャネルに送出するデータパケット送信部と、
   第２の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、
   上記第２の無線チャネルからプローブパケットを受信するプローブパケット受信部と、
   上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第１の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を含み、
   上記データ受信装置は、
   上記第１の無線チャネルから上記データパケットを受信するデータパケット受信部と、
   受信されたデータパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、
   受信されたデータパケットが上記デコーダで受信データを得るために必要とする所定のデータパケットを欠くとき、該所定のデータパケットの再送を要求する再送要求信号を、上記第２の無線チャネルに送出する再生要求制御部と、
   上記第２の無線チャネルに一定間隔で上記プローブパケットを送出するプローブパケット送信部を含み、
   上記データパケット送信部は、上記第１の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファをさらに含み、
   上記送信バッファに蓄積される上記データパケットは、パケット優先度情報とパケット属性情報を持ち、
   上記送信バッファに蓄積されているデータパケットのパケット数がバッファチェック間隔毎にチェックされ、
   上記データパケット送信部は、上記送信バッファに蓄積されているデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除し、
   上記パケット優先度情報は、符号化処理における優先度情報に基づいて決定された第１の重要度を、パケット属性情報に基づいて決定された第２の重要度に加えることで求められ、
   上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第１の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第２の再送パケット、あるいは第１の再送パケットおよび第２の再送パケット以外の通常のパケットのいずれであるかを示す
   データ通信システム。
2. 送信データに対して符号化処理を行い、該符号化された送信データを格納する上記データパケットを生成するエンコーダと、
   上記エンコーダで生成された上記データパケットを第１の無線チャネルに送出するデータパケット送信部と、
   第２の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、
   上記第２の無線チャネルからプローブパケットを受信するプローブパケット受信部と、
   上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第１の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を含み、
   上記データパケット送信部は、上記第１の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファをさらに含み、
   上記送信バッファに蓄積される上記データパケットは、パケット優先度情報とパケット属性情報を持ち、
   上記送信バッファに蓄積されているデータパケットのパケット数がバッファチェック間隔毎にチェックされ、
   上記データパケット送信部は、上記送信バッファに蓄積されているデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除し、
   上記パケット優先度情報は、符号化処理における優先度情報に基づいて決定された第１の重要度を、パケット属性情報に基づいて決定された第２の重要度に加えることで求められ、
   上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第１の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第２の再送パケット、あるいは第１の再送パケットおよび第２の再送パケット以外の通常のパケットのいずれであるかを示す
   データ送信装置。
3. 上記エンコーダは、上記送信データに対して階層符号化処理を実行し、
   上記データパケットは、上記パケット属性情報と共に、少なくとも上記階層符号化におけるいずれの層のパケットであるかを示す階層情報を、上記パケットの優先度を示す情報として持つ
   請求項２に記載のデータ送信装置。
4. 上記予測再送制御部は、
   上記プローブパケット受信部で受信できなかった上記プローブパケットの送信期間に対応した期間に上記データパケット送信部から上記第１の無線チャネルに送出されたデータパケットを損失したものと予測する
   請求項２に記載のデータ送信装置。
5. 送信データに対して符号化処理を行い、該符号化された送信データを格納したデータパケットを生成する符号化ステップと、
   上記符号化ステップで生成された上記データパケットを第１の無線チャネルに送出するデータパケット送信ステップと、
   第２の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信ステップを制御する再送制御ステップと、
   上記第２の無線チャネルからプローブパケットを受信するプローブパケット受信ステップと、
   上記プローブパケット受信ステップにおける上記プローブパケットの受信状況に基づき、上記データパケット送信ステップで上記第１の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第１の無線チャネルに再送出するように、上記データパケット送信ステップを制御する予測再送制御ステップを含み、
   上記データパケット送信ステップは、
   上記第１の無線チャネルに送出すべきデータパケットを送信バッファに一時的に蓄積するステップを含み、
   上記送信バッファに一時的に蓄積されるデータパケットはパケット優先度情報とパケット属性情報を持ち、
   上記データパケット送信ステップは、さらに、
   上記送信バッファに蓄積されたデータパケットのパケット数をバッファチェック間隔毎にチェックするステップと、
   上記送信バッファに蓄積されたデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除するステップと、
   符号化処理における優先度情報に基づいて決定された第１の重要度を、パケット属性情報に基づいて決定された第２の重要度に加えることで上記パケット優先度情報を求めるステップとを含み、
   上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第１の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第２の再送パケット、あるいは第１の再送パケットおよび第２の再送パケット以外の通常のパケットのいずれであるかを示す
   データ送信方法。
   

Images