JP4943502B2 - データパケットの損失を回復するための方法及び装置 - Google Patents

データパケットの損失を回復するための方法及び装置 Download PDF

Info

Publication number
JP4943502B2
JP4943502B2 JP2009507652A JP2009507652A JP4943502B2 JP 4943502 B2 JP4943502 B2 JP 4943502B2 JP 2009507652 A JP2009507652 A JP 2009507652A JP 2009507652 A JP2009507652 A JP 2009507652A JP 4943502 B2 JP4943502 B2 JP 4943502B2
Authority
JP
Japan
Prior art keywords
video
packet
data
multicast group
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009507652A
Other languages
English (en)
Other versions
JP2009535891A (ja
Inventor
リュー，ハン
ラマスワミー，クマール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009535891A publication Critical patent/JP2009535891A/ja
Application granted granted Critical
Publication of JP4943502B2 publication Critical patent/JP4943502B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/3761—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35 using code combining, i.e. using combining of codeword portions which may have been transmitted separately, e.g. Digital Fountain codes, Raptor codes or Luby Transform [LT] codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/02—Buffering or recovering information during reselection ; Modification of the traffic flow during hand-off
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1812—Hybrid protocols; Hybrid automatic repeat request [HARQ]
    • H04L1/1819—Hybrid protocols; Hybrid automatic repeat request [HARQ] with retransmission of additional or different redundancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H04L2001/0093—Point-to-multipoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Error Detection And Correction (AREA)

Description

本発明は無線ネットワークに関連し、特にスタガーキャスティング(staggercasting)使用するシームレスハンドオーバに関連する。
IPベース無線ネットワークにおける映像のマルチキャスト／ブロードキャストの場合、ビデオデータはUDP/IPパケットにカプセル化され、無線ネットワークを介して移動装置にマルチキャスト／ブロードキャストされる。IPベース無線ネットワークは、無線ローカルエリアネットワーク(WLAN)、セルラネットワーク、無線メトロポリタンエリアネットワーク(WMAN)及び地域無線ネットワーク(WRAN)等でもよい。移動装置が或るセルから別のセルへ移動する場合、移動装置に現在関連付けられている基地局(BS)／アクセスポイント(AP)から別のBS/APへ、移動装置はハンドオーバ／ハンドオフされる。この２つのBS/APは一般的には異なる周波数／チャネルで動作している。移動装置が動作周波数を新たなBS/APにおける別の周波数に変更する際、多くのパケットが失われるかもしれない。
一般に、ブロードキャスト信号は潜在的な総ての受信機に同時に送信される。マルチキャスト信号は、或るグループ中の総ての潜在的な受信機の内の選択された部分集合に同時に送信される。本願ではマルチキャストはブロードキャストを含むように使用される。即ち、マルチキャスト信号は、或るグループ中の総ての潜在的な受信機の内の選択された部分集合に送信され、その選択された部分集合は、潜在的な総ての受信機の集合全体を含んでもよい(即ち、この場合マルチキャストグループは受信機全体である。)。
無線システムでは、チャネル符号化が物理レイヤで使用され、マルチパスフェージング及び干渉からパケットを保護している。しかしながらチャネル符号化は、ハンドオーバ／ハンドオフの際のバースト的なパケット損失を復元することはできない。
従来法は、ブロードキャストシステムのロバスト性を改善するため、ATSCシステムにおいて、本来のデータに対して時間遅延させた／時間シフトさせたデータを重複的に伝送している(これは、スタガーキャスティング(staggercasting)と言及される。)。重複的な時間的にずれたストリームが送信される場合、その２つのストリーム間の時間差程度までならば、システムは信号損失に耐えることができる。他の従来法は、（厳密な本来のデータの代わりに）本来のデータの低ビットレートバージョンを用意し、ある時間遅延とともに反復的に送信する。この方法は冗長データに使用される帯域を削減する。しかしながら、何れの従来法も複合的な信号を送信し、データを希望する／必要とする何等かのクライアント／受信機の有無によらずそれらの信号を常に送信する。
更に別の従来法は、クロスパケット順方向誤り訂正(FEC)符号を使用し、ATSCシステムにおける同期外れに対処している。FEC符号はIPベース無線ネットワークにおける欠落パケットを復元する際にも使用されている。一般に、誤りのあるパケットはリンクレイヤで破棄される。FEC符号は、トランスポート及びアプリケーションレイヤにおけるデータパケットに適用され、抹消復号法(erasure decoding)が欠落パケットを復元するのに使用される。しかしながら、一般にFECパリティパケットはデータパケットとともに送信される。ハンドオフ／ハンドオーバの間、長期間のエラーバーストが生じるかもしれない。この長期間のエラーバーストは、データパケット及びパリティパケットの損失を招き、FECの訂正能力を越え、欠落データパケットを復元できなくなるおそれがある。
本発明が対処及び解決する問題は、IPベース無線ネットワークにおける高品質ビデオマルチキャスト／ブロードキャストを、ハンドオフ／ハンドオーバによるパケット損失から如何にして保護するかということである。
無線ネットワークの場合、移動装置は或る基地局／アクセスポイントから別の基地局／アクセスポイントへハンドオーバ／ハンドオフする。このハンドオーバ／ハンドオフ期間の間に伝送されたデータは、受信機／移動装置で欠落するかもしれない。本発明は、時間シフトと共にデータパケットを反復的に送信することで(スタガーキャスティングすることで)、失われたデータパケットを復元し、シームレスなハンドオフ／ハンドオーバを行う方法及び装置をもたらす。代替例も提供され、代替例は、本来のデータの低ビットレートバージョンをスタガーキャスティングすること、又はクロスパケット順方向誤り訂正符号により生成されたパリティデータをスタガーキャスティングすることを含む。
本願で説明されるシステムは、１つ以上のサーバ／送信部／送信機、無線基地局又はアクセスポイント、イーサーネットスイッチ及び受信機を含む。本願で説明される受信機は典型的には移動装置である。移動装置は、限定ではないが、移動電話、セルラ電話、移動端末、パーソナルディジタルアシスタント(PDA)及びラップトップを含む。
通常の／本来のデータ及び時間的にずれたデータは、様々なIPマルチキャストグループを用いて後方互換性のある方法で送信される。即ち、移動装置が本発明により提供される機能を備えていなかった場合でも、移動装置は通常のデータだけを受信できる（但し、パケット損失に対するシステム耐性は弱い。）。その移動装置では遅延した復元パケットは破棄される。これは従来の装置との後方互換性を達成する。
本来のデータパケットの損失を復元する方法及び装置が説明され、その方法及び装置は、データパケットの損失を検出すること、遅延マルチキャストグループに加わること、遅延データパケットを受信すること、及び遅延データパケットを使用して欠落している本来のデータパケットを復元することを行う。遅延データパケットは、本来のデータパケットのコピー、低ビットレートでエンコードされた本来のデータパケットのコピー又はパリティビットの何れかである。スタガーキャスティングを行う方法及び装置も説明され、その方法及び装置は、第１データシーケンスをエンコード及び圧縮すること、圧縮されエンコードされたデータシーケンスをパケット化してデータパケットを形成すること、データパケットを第１マルチキャストグループにマルチキャストすること、第２データシーケンスをエンコード及び圧縮すること、圧縮されエンコードされた第２データシーケンスをパケット化してデータパケットを形成すること、そのパケットを或るオフセット時間だけ遅らせて第２マルチキャストグループにマルチキャストすることを行う。パケットは、本来のデータパケットのコピー、低ビットレートでエンコードされた本来のデータパケットのコピー又はパリティビットの何れかである。
添付図面と共に以下の詳細な説明を読むことで本発明は最良に理解されるであろう。図面は、図面の簡単な説明で言及されている図面を含み、図中同様な番号は同様な要素を示す。
本発明は無線ネットワークでスタガーキャスティングを行い、ハンドオフ／ハンドオーバの際に欠落したデータパケットを復元することに関する。これは、時間シフト／時間遅延とともにデータを反復的に送信することで達成される。データパケットは、オリジナルの／ノーマルのデータパケットのコピーでもよいし、或いはオリジナルデータパケットの低ビットレートバージョンでもよい。更に本発明はクロスパケットFECコードで生成されたパリティデータをスタガーキャストする代替実施例ももたらす。本発明はビデオ符号化方法には依存しない。本発明を説明する一例として無線ネットワーク上のビデオマルチキャストが使用されるが、本発明は音声ストリームを伝送する際にも使用可能である。
図１を参照するに、本発明による一般的なネットワークシステムが示されている。複数の基地局／アクセスポイントAP1,AP2はカバレッジを増やすようにセルラネットワークを形成している。干渉を減らすため、隣接する無線基地局／アクセスポイントAP1,AP2は、異なる周波数キャリア／無線チャネルで動作する。少なくとも１つのビデオサーバ105は、高速イーサーネットLAN又は他の有線の高速ネットワークを介して、基地局(BS)又はアクセスポイント(AP)に接続されている。ビデオサーバ105は様々な要素を含み、特にビデオエンコーダ／トランスコーダ及びパケット化装置を含む。生のビデオマルチキャスト／ブロードキャストの場合、ビデオコンテンツはエンコード／トランスコードされ、パケット化され、その後に無線基地局／アクセスポイントAP1,AP2を介して多数の移動クライアント(110，115a，115b，120a，120b，125)にマルチキャストされる。プレコードビデオコンテンツもパケット化され、無線基地局／アクセスポイントを介して多数の移動クライアントにマルチキャストされる。
移動装置(例えば、115a，120b)が或るセルから別のセルへ移動すると、移動装置は、現在関連付けられている基地局(BS)／アクセスポイント(AP)から別のBS/APへハンドーバ／ハンドオフされる。移動装置(115a，120b)が新たなBS/APに関わるために動作周波数を変更すると、多くのパケットが失われてしまうかもしれない。パケット損失を復元し、シームレスハンドオーバを実現するため、本発明は、ある時間シフトとともに同じビデオコンテンツ(データパケット)を同報する(サイマルキャストする−simulcasting)。通常の(ノーマルの)ビデオパケットストリームは、IPマルチキャストグループ(通常のビデオマルチキャストグループ)で総ての基地局／アクセスポイントに送信される。更に、重複した時間的にずれた／シフトした／遅延したバージョンの通常ビデオパケットストリームが、別のIPマルチキャストグループ(遅延復元マルチキャストグループ)で総ての移動装置に送信される。この技法は、スタガーキャスティング(staggercasting)と言及される。通常のビデオストリーム及び時間シフトしたビデオストリームは、時間ダイバーシチ効果をもたらし、ハンドオーバ／ハンドオフの状況でシステムの堅牢性を改善する。システムは、時間シフトの期間に至るまでは、パケット損失に有効に対処できる。
移動装置が或るBS/APから隣接するBS/APへハンドオーバする際、誤りが検出された場合又はハンドオフ／ハンドオーバの状況が生じると直ぐに、通常のビデオマルチキャストグループ及び遅延したビデオマルチキャストグループの双方に参加／加入するリクエストを、移動装置は新たなBS/APに送信する。新たなBS/APは、通常のビデオパケットストリーム及び遅延ビデオパケットストリームの双方を無線リンクで送信／マルチキャストする。移動装置は双方のストリームを受信する。何等かのパケット又はビデオセグメント(数個のビデオフレーム又はフレーム群(GOF: Group Of Frames))が通常ビデオパケットストリームの中で欠落していたことを移動装置が検出すると、移動装置は時間遅延したビデオパケットストリームに切り替えて、本来のビデオパケットストリーム中の欠落しているパケット又はビデオセグメントを復元する。通常のビデオパケットストリーム及び遅延したビデオパケットストリーム間の時間シフトの持続時間／期間がハンドオフ期間より長ければ、欠落したビデオデータは回復可能である。通常のビデオパケットストリームの中で欠落しているパケットが復元された後、遅延したビデオマルチキャストグループを去る／脱退する／抜け出るリクエストを、移動装置はBS/APへ送信してよい。BS/APに付随する移動装置がマルチキャストグループのデータ(通常のビデオデータ又は遅延ビデオデータ)を希望しなくなった場合、即ちマルチキャストグループのメンバがいなくなった場合、BS/APはそのマルチキャストグループ宛に無線ネットワークでデータを送信せず、そのデータを破棄する。これは無線帯域の節約になる。インターネットマルチキャストマネジメントプロトコル(IGMP)又は他のプロトコルを使用して、移動装置はマルチキャストグループに加入又は脱退することをBS/APに要求する。代替実施例では、移動装置はマルチキャストグループに参加又は脱退するリクエストをイーサーネットスイッチに送信する。BS/APに関連するどの移動装置もマルチキャストグループに関するデータを希望しなくなった場合、イーサーネットスイッチはそのマルチキャストグループ宛のデータを以後BS/APに送信しない。
更に図１を参照するに、AP2によりサービス提供／サポートされているセルからAP1でサービス提供／サポートされているセルへ、移動装置115bが移動している。このように動作する場合、通常及び遅延ビデオマルチキャストグループへ参加／加入することを、移動装置(目下の例では115a−AP1でサポートされている)は、AP1に要求し、通常のビデオパケットストリーム(ストリーム１)及び遅延した／時間シフトしたバージョンのビデオパケットストリーム(ストリーム２)の双方を受信する。通常ビデオパケットストリームに誤りが検出された場合(何等かのパケット又はビデオセグメントが欠落していた場合)、移動装置は時間遅延したビデオパケットストリームに切り替え、元のビデオパケットストリームの失われているパケット又はビデオセグメントを復元する。通常ビデオパケットストリーム及び遅延ビデオパケットストリーム間の時間差の期間が、ハンドオフ期間より長ければ、失われたビデオデータは回復可能である。通常ビデオパケットストリーム中の欠落パケットが復元された後、移動装置115aは、遅延ビデオマルチキャストグループを去る／脱退する／抜け出るリクエストをBS/APへ送信してよい。
同様に、AP1によりサービス提供／サポートされているセルからAP2でサービス提供／サポートされているセルへ、移動装置120aが移動している。このように動作する場合、通常及び遅延ビデオマルチキャストグループへ参加／加入することを、移動装置(目下の例では120b−AP2でサポートされている)は、AP2に要求し、通常のビデオパケットストリーム(ストリーム１)及び遅延した／時間シフトしたバージョンのビデオパケットストリーム(ストリーム２)の双方を受信する。通常ビデオパケットストリームに誤りが検出された場合(何等かのパケット又はビデオセグメントが欠落していた場合)、移動装置は時間遅延したビデオパケットストリームに切り替え、元のビデオパケットストリームの失われているパケット又はビデオセグメントを復元する。通常ビデオパケットストリーム及び遅延ビデオパケットストリーム間の時間差の期間が、ハンドオフ期間より長ければ、失われたビデオデータは回復可能である。通常ビデオパケットストリーム中の欠落パケットが復元された後、移動装置120bは、遅延ビデオマルチキャストグループを去る／脱退する／抜け出るリクエストをBS/APへ送信してよい。
図２ａは、本発明原理によりIPベース無線ネットワークでビデオマルチキャストを行う際にスタガーキャスティングを行うビデオサーバ／送信側の動作フローを示す。そーすエンコーダ／トランスコーダは、ステップ205において、非圧縮ビデオデータシーケンスをエンコードする／圧縮する。可能なビデオ符号化フォーマットは、H.264、MPEG-2等を含む。圧縮されたビデオは、パケット化装置によりパケット化され、パケットヘッダが付加される(ステップ210)。リアルタイム伝送プロトコル(RTP)がビデオマルチキャストに使用される場合、パケットヘッダはRTPヘッダである。RTPデータパケットはUDPでカプセル化され、IPマルチキャストグループ(通常のビデオマルチキャストグループ)でマルチキャストされる(ステップ215)。これらのパケット化され圧縮されたビデオデータパケットのコピーは、オフセット時間Tdと共に格納される(ステップ220)。(通常の及び遅延した)ビデオデータはステップ215で送信／マルチキャストされる。遅延したバージョンのビデオパケットは、別のIPマルチキャストグループ(遅延復元マルチキャストグループ)に送信／マルチキャストされる。
図２ｂは、本発明原理によりIPベース無線ネットワークでビデオマルチキャストを行う際、スタガーキャスティングを行うビデオサーバ／送信側の概略図を示す。非圧縮ビデオシーケンスデータがビデオサーバ／送信側で受信される。ビデオサーバ／送信側は、少なくともビデオトランスコーダ／エンコーダ225a及びビデオパケット化装置225bを含む。ビデオトランスコーダ／エンコーダはビデオシーケンスデータを圧縮する。ビデオシーケンスデータはパケット化され、プロトコルスタック230及び遅延バッファ235の双方に送信される。プロトコルスタック230は少なくともUDP230a及びIP230bを含む。遅延バッファ235は、パケット化され圧縮されたビデオシーケンスデータのコピーをオフセット時間Tdの間格納する。遅延させられパケット化され圧縮されたビデオシーケンスデータは、オフセット時間Tdの後にプロトコルスタックに伝送される。パケット化され圧縮されたビデオシーケンスデータ(通常及び遅延データパケット)はイーサーネットインターフェース240に伝送され、イーサーネットインターフェースは通常の／オリジナルのビデオデータパケットを通常の／オリジナルのマルチキャストグループに送信／マルチキャストし、遅延最多ビデオパケットを遅延マルチキャストグループに送信／マルチキャストする。本願で説明される要素は、ハードウエア、ソフトウエア、ファームウエア又は何等かのそれらの組合せでもよく、例えばRISC、ASIC及び／又はFPGAを含む。
図３ａは、本発明原理によるIPベース無線ネットワークでビデオマルチキャストを行う移動受信機／装置の動作フローを示す。オリジナルの／通常のビデオパケット及び遅延したビデオパケットが、異なるマルチキャストグループから受信される(ステップ305)。通常のビデオパケット(ビデオシーケンスデータ)及び遅延したビデオパケット(ビデオシーケンスデータ)は、通常のビデオパケットストリーム及び遅延したビデオパケットストリームに分けられる(ステップ310)。ステップ315にて誤り検出及び訂正が実行される。受信したパケットシーケンス番号におけるギャップを判別することで、通常のビデオパケットストリームにパケットの欠落が生じているか否かを確認するようにして、誤り検出が実行される。通常のビデオパケットストリームはステップ320で格納される。通常のビデオパケットストリームでパケットの欠落が検出されると、その通常のビデオパケットストリーム中の欠落しているパケットに対応する遅延ビデオパケットストリーム中のパケットが選択され、遅延バッファ中の通常のビデオパケットストリームに挿入され、通常ビデオパケットストリーム内で欠落しているパケットを復元／訂正する。復元されたビデオパケットは非パケット化される。非パケット化されたビデオストリームはステップ330でデコードされる。
図３ｂは、本発明原理によりIPベース無線ネットワークでビデオマルチキャストを行う移動受信機／装置の概略図を示す。イーサーネット／WLANインターフェース335は、通常マルチキャストグループ及び遅延マルチキャストグループ双方からビデオシーケンスデータ(データパケット)を受信する。イーサーネット／WLANインターフェースは、通常の／本来のビデオシーケンスデータ(データパケット)及び遅延したビデオシーケンスデータ(データパケット)をプロトコルスタック340に伝送し、プロトコルスタックは少なくともUDPレイヤ340a及びIPレイヤ340bの処理部を含む。プロトコルスタック340は、受信したビデオシーケンスデータを通常ビデオパケットストリーム及び遅延ビデオパケットストリームに分離し、通常ビデオパケットストリーム及び遅延ビデオパケットストリームを、誤り検出訂正モジュール345に伝送する。誤り検出は誤り検出訂正モジュール345で実行され、受信したパケットシーケンス番号中のギャップ(飛び)を確認することで、通常ビデオパケットストリーム中でパケットが欠落しているか否かを判定する。通常ビデオパケットは所定の期間(オフセット時間)の間遅延バッファ350に格納される。パケット欠落が検出された場合、誤り検出訂正モジュール345は制御モジュール(図示せず)に通知する。制御モジュールは、遅延マルチキャストグループに参加するリクエストを(移動装置の代わりに)BS/APに送信する。通常ビデオパケットストリーム中の欠落しているパケットに対応する遅延ビデオパケットストリーム中のパケットは、それらが到着すると、遅延バッファ350内の通常ビデオパケットストリームに挿入される。復元されたビデオシーケンスデータは、非パケット化モジュール355に伝送され、非パケット化される。非パケット化されたビデオシーケンスデータは、ビデオデコーダ360に伝送される。ビデオデコーダ360は非パケット化された復元されたビデオをデコードする。その移動装置にとってハンドオフ／ハンドオーバの状況が存在していることを制御モジュールが把握し、誤り検出訂正モジュールが何等かのパケット損失を制御モジュールに通知する前に、制御モジュールが遅延マルチキャストグループに参加するリクエストをBS/APに送信することが可能である。その後、制御モジュールは、誤り検出訂正モジュール345から誤りの通知を受信した後で、重複的な参加リクエストを送信しなくてよい。
図４は、スタガーキャスティングを用いてパケット損失を復元する様子を示す。通常ビデオストリーム中のパケット４乃至８が、ハンドオフに起因して欠落している。移動装置はBS/APから(オフセット時間Tdだけ時間的にずれた)遅延ビデオストリームを要求する。遅延したビデオストリームが移動装置に到着すると、遅延ビデオストリーム中のパケット４乃至８が通常ビデオストリームに挿入される。
パケット損失が復元されると、誤り検出訂正モジュールは、遅延復元ストリームがもはや不要であることを制御モジュールに通知してもよい。制御モジュールは、遅延ビデオマルチキャストグループを去る／脱退する／抜け出るリクエストをBS/APに送信してもよい。移動装置が、遅延マルチキャストグループを後にする最後の移動装置であった場合、即ちどの移送装置も遅延マルチキャストグループのデータを希望しなくなる場合、BS/APはその遅延マルチキャストグループにデータを送信することを止める。シャドーイングや干渉のようなハンドオーバ以外の原因によるパケット損失を復元するために本発明が使用されてもよいことに留意を要する。
通常ビデオパケットストリーム及び遅延ビデオパケット復元ストリーム間の時間差(オフセット時間Td)は、設計パラメータである。時間差(時間シフト)は、ハンドオーバに起因するバースト状のパケット損失の長さに基づいて選択される。ハンドオーバによる損失の長さはTd未満になるべきである。時間シフトは、ハンドオーバの予想される又は平均的な期間でもよいし、或いはハンドオーバの最長期間でもよい。
代替実施例では、重複的なビデオパケットストリームを送信する代わりに、削減された解像度／フレームレート／品質のビデオを伴う低ビットレートバージョンの通常ビデオパケットストリームが、遅延ビデオマルチキャストグループで伝送される。この方法はオーバーヘッドを削減する。通常ビデオデータパケットがハンドオフ期間の間に欠落した場合、低品質バージョンのビデオが、欠落パケットを復元するために移動装置で使用され、ハンドオフ／ハンドオーバ状況におけるグレースフルデグラデーション(graceful degradation)を可能にする。
図５ａは、遅延復元IPマルチキャストグループの低品質ビデオを使用してIPベース無線ネットワークでビデオマルチキャストを行うビデオサーバ／送信側の動作フローを示す。ビデオシーケンスデータが受信され、符号化され／トランスコード去れ／圧縮される(ステップ505,510)。ステップ505では、ビデオシーケンスデータのエンコード／トランスコード／圧縮は低いビットレートでなされ、帯域を節約し、ハンドオフ／ハンドオーバパケットの欠落の生じた際、ビデオのグレースフルデグラデーションを行う点が異なる。ステップ510におけるビデオシーケンスデータのエンコード／トランスコード／圧縮は、ビデオデータを送信する際の通常の又は標準的なビットレートで行われる。エンコード／トランスコード／圧縮されたビデオシーケンスデータはステップ515及び520でパケット化される。この場合の相違も、ステップ515でのパケット化は低ビットレートビデオシーケンスデータで実行され、ステップ520でのパケット化は通常のビットレートビデオシーケンスデータで実行される。エンコード／トランスコード／圧縮されたパケット化された低ビットレートビデオシーケンスデータは、オフセット期間Tdの間格納される(ステップ525)。エンコード／トランスコード／圧縮されたパケット化された通常のビットレートのビデオシーケンスデータ(データパケット)及びエンコード／トランスコード／圧縮されたパケット化された遅延した(時間シフトされた)低ビットレートビデオシーケンスデータ(データパケット)は、ステップ530で送信／マルチキャストされる。遅延した低ビットレートバージョンのビデオパケットは、別のIPマルチキャストグループ(遅延復元マルチキャストグループ)に送信／マルチキャストされる。通常の／オリジナルのデータパケットは、通常の／オリジナルのマルチキャストグループに送信／マルチキャストされる。
図５ｂは、遅延復元IPマルチキャストグループの低品質ビデオを利用してIPベース無線ネットワークでビデオマルチキャストを行うビデオサーバ／送信側の概略図を示す。ビデオシーケンスデータが受信され、２つのソースエンコーダ／トランスコーダ535,540でエンコード／トランスコード／圧縮される。エンコーダ／トランスコーダ／圧縮部535は通常のビデオのためにあり、エンコーダ／トランスコーダ／圧縮部540は低品質(低ビットレート)復元ビデオのためにある。通常の圧縮されたビデオストリームはパケット化装置545により圧縮の後にパケット化され、そのパケットは、UDP/IPスタック560及びイーサーネットインターフェース565を介してIPマルチキャストグループ(通常ビデオマルチキャストグループ)で送信／マルチキャストされる。低品質(低ビットレート)ビデオは圧縮の後にパケット化装置550によってパケット化される。低品質(低ビットレート)パケットはオフセット時間Tdの間遅延バッファ555内に格納される。遅延させられた(時間シフトさせられた)低品質(低ビットレート)ビデオパケットは、UDP/IPスタック560及びイーサーネットインターフェース565を介して遅延の後に別のIPマルチキャストグループ(遅延復元マルチキャストグループ)に送信／マルチキャストされる。プロトコルスタックは少なくともUDPレイヤ560a及びIPレイヤ560bの処理部を含む。個々のエンコーダが高速に選択的に動作する１つのエンコーダで実現され、通常ビデオストリーム及び低品質復元ビデオストリーム双方をエンコードしてもよいことに、留意を要する。本願で説明される要素は、ハードウエア、ソフトウエア、ファームウエア又はそれらの何等かの組合せで実現されてもよく、例えばRISC、ASIC及び／又はFPGAを含む。
図６ａは、遅延復元IPマルチキャストグループの低品質ビデオを使用してIPベース無線ネットワークでビデオマルチキャストを行う移動受信機／装置の動作フローを示す。通常ビデオパケット及び遅延ビデオパケットは、ステップ605で異なるマルチキャストグループから受信される。通常ビデオパケット(ビデオシーケンス)及び／又は遅延ビデオパケット(ビデオシーケンスパケット)は、通常ビデオパケットストリーム及び遅延ビデオパケットストリームに分離される(ステップ610)。ステップ615では誤り検出が実行される。誤り検出が実行され、通常ビデオパケットストリームについて受信したパケットシーケンス番号のギャップを確認することで、通常ビデオパケットストリームでパケットが欠落しているか否かを判定する。圧縮されたビデオシーケンスの誤りの連鎖性に起因して、１つの伝送誤りがデコードされる複数の画像の誤りを招くおそれのあることに留意すべきである。更に誤り検出が行われ、遅延ビデオパケットストリームについて受信したパケットシーケンス番号のギャップを確認することで、遅延ビデオパケットストリームの中でパケットが欠落しているか否かを確認する。
通常のビデオパケットストリームはステップ620で非パケット化され、遅延ビデオパケットストリームはステップ625で非パケット化される。非パケット化された通常ビデオストリームはステップ630でデコードされ、非パケット化された遅延ビデオストリームはステップ635でデコードされる。デコードされた通常ビデオストリームのコピーはステップ640で格納され、デコードされた遅延ビデオストリームのコピーはステップ645で格納される。(通常又は遅延の)何れのストリームからデコードされた画像が表示されるかの選択がステップ650でなされる。通常画像が誤りなしにデコードされた場合、それが常に表示に選択される。通常ビデオストリームに誤りがあり、対応する遅延画像が誤りなしにデコードされていた場合、デコードされた遅延画像が表示に選択される。通常画像及び対応する遅延画像双方ともに誤りを伴ってデコードされていた場合、エラー隠蔽法(error concealment)のような別の技法が通常画像に使用可能であり、誤りの隠蔽された通常画像が表示に選択される。
図６ｂは、遅延復元IPマルチキャストグループの低品質ビデオを使用してIPベース無線ネットワークでビデオマルチキャストを行う移動受信機／装置の概略図を示す。通常ビデオパケット及び遅延ビデオパケットは、イーサーネット／WLANインターフェース655で異なるマルチキャストグループから受信される。通常ビデオパケット(ビデオシーケンスデータ)及び遅延ビデオパケット(ビデオシーケンスデータ)は、プロトコルスタック660において、通常ビデオパケットストリーム及び遅延ビデオパケットストリームに分離される。プロトコルスタックは少なくともUDPレイヤ660a及びIPレイヤ660bの処理部を含む。誤り検出モジュール665により誤り検出が実行され、通常ビデオパケットストリームについて受信したパケットシーケンス番号のギャップを確認することで、通常ビデオパケットストリームにパケットが欠落しているか否かを判定する。圧縮ビデオシーケンスの誤りの連鎖性に起因して、１つの伝送誤りが、デコードされた複数の画像に誤りをもたらすかもしれないことに留意すべきである。更に誤り検出が実行され、遅延ビデオパケットストリームについて受信したパケットシーケンス番号のギャップを確認することで、パケットが遅延ビデオストリームの中で欠落しているか否かを確認する。
通常ビデオパケットストリームは非パケット化装置670に伝送され、遅延ビデオパケットストリームは非パケット化装置675に伝送される。非パケット化装置670,675は、誤りの検出された通常ビデオストリーム及び誤りの検出された遅延ビデオストリームそれぞれを非パケット化する。非パケット化された誤りの検出された通常ビデオパケットストリームは通常ビデオデコーダ680に伝送され、非パケット化された遅延ビデオパケットストリームは遅延／復元ビデオデコーダ685に伝送される。デコーダ680,685は誤りの検出された非パケット化された通常ビデオストリーム及び誤りの検出された非パケット化された遅延ビデオストリームをそれぞれデコードする。デコードされた非パケット化された誤りの検出された通常ビデオストリームのコピーは通常ビデオバッファ690に格納され、デコードされた非パケット化された誤りの検出された遅延ビデオストリームのコピーは復元／遅延ビデオバッファ695に格納される。セレクタ697は、(通常又は遅延の)どのストリームからデコードされた画像を表示するかを決定する。通常ビデオデコーダは、通常ビデオストリーム内のフレームに誤りのあることを知っており、それをセレクタ697に通知する。遅延／復元ビデオデコーダは、遅延復元ビデオストリーム内のフレームに誤りのあることを知っており、それをセレクタ697に通知する。通常画像が誤りなしにデコードされていた場合、それが常に表示に選択される。通常ビデオストリームに誤りがあり、対応する復元画像が誤りなしにデコードされていた場合、デコードされた復元画像が表示に選択される。通常画像及び対応する復元画像双方ともに誤りを伴ってデコードされていた場合、エラー隠蔽法のような別の技法が通常画像に使用可能であり、誤りの隠蔽された通常画像が表示に選択される。個々のデコーダが高い処理速度で動作する１つのデコーダで実現され、通常ストリーム及び復元ストリーム双方をデコードしてもよいことに、留意を要する。本願で説明される要素は、ハードウエア、ソフトウエア、ファームウエア又はそれらの何等かの組合せで実現されてもよく、例えばRISC、ASIC及び／又はFPGAを含む。
図７は、本発明原理による遅延復元マルチキャストグループの低品質ビデオと共にパケット損失を復元する様子を示す。ハンドオフに起因して通常ビデオストリーム内でパケット損失が生じた場合、移動装置はBS/APからの遅延復元ビデオストリームを要求する。通常ストリーム及び遅延復元ストリーム双方からのビデオデータは、適切なデコーダを利用してデコードされる。通常ビデオストリームは通常ビデオバッファで十分に遅延させられ、対応する復元画像が復元ビデオバッファで利用可能になっている。通常ビデオストリーム中の画像１−４は誤りなしにデコードされ、それらは表示用に選択される。通常ビデオストリームの画像５−８において、パケット損失エラーが検出されている。しかしながら、復元ビデオストリーム中の対応する画像はパケット損失エラーを示しておらず、復元ビデオストリーム中の画像５−８が表示に選択される。
重複的なビデオストリーム又は低品質ビデオストリームを送信する代わりに代替実施例では、クロスパケット順方向誤り訂正コード(cross-packet FEC)により生成されたパリティパケットが、遅延復元IPマルチキャストグループに送信される。パリティパケットを生成するために、FECコードはビデオデータパケットに適用される。ビデオパケットストリーム及びパリティパケットストリームは、ある時間シフトとともに異なるIPマルチキャストグループにマルチキャストされ、即ち時間ダイバーシチを行うようにビデオストリーム及びパリティストリームを時間的にずらして送信する(スタガーキャストする)。
図８ａは、遅延復元IPマルチキャストグループのFECパリティパケットを使用して無線IPネットワークでビデオマルチキャストを行う送信機／サーバの動作フローを示す。非圧縮ビデオシーケンスデータが受信され、エンコード／トランスコード／圧縮される(ステップ805)。エンコード／トランスコード／圧縮されたビデオシーケンスデータは、パケット化され、パケットヘッダが付けられる(ステップ810)。パケット化されたエンコード／トランスコード／圧縮されたビデオシーケンスデータは、ステップ815でFEC法でエンコードされ、FECパリティパケットが生成される。FECコードはビデオパケットに適用され、パリティパケットを生成する。FEC情報を含むFECパケットにヘッダが付けられる。FEC符号化法に依存して、ビデオデータパケットに別のFEC関連ヘッダが付けられてもよい。ビデオデータパケットはその後にIPマルチキャストグループ(通常ビデオマルチキャストグループ)に送信／マルチキャストされる(ステップ825)。パリティパケットはオフセット時間Tdの間ステップ820で格納される。FECパリティパケットは、遅延／時間シフトTdの後に別のIPマルチキャストグループ(遅延／復元マルチキャストグループ)に送信／マルチキャストされる(ステップ825)。
図８ｂは、遅延復元IPマルチキャストグループのFECパリティパケットを使用して無線IPネットワークでビデオマルチキャストを行う送信機／サーバの概略図を示す。ビデオエンコーダ／トランスコーダ／コンプレッサ830は、非圧縮ビデオシーケンスデータを受信し、その非圧縮ビデオシーケンスデータをエンコード／トランスコード／圧縮する。エンコード／トランスコード／圧縮されたビデオシーケンスデータは、パケット化装置835に伝送され、パケット化装置はエンコード／トランスコード／圧縮されたビデオシーケンスデータをパケット化し、データパケットを形成し、パケットヘッダを付ける。パケット化されたエンコード／トランスコード／圧縮されたビデオシーケンスデータは、その後にFECエンコーダ840に伝送され、パリティパケットが形成される。FECエンコーダはパケット化装置の後であってプロトコルスタック850の前に用意されている。パリティパケットを生成するため、FECエンコーダはビデオパケットに適用される。FEC乗オフを含むFECパケットにヘッダが加えられる。FEC符号化法に依存して、FEC関連ヘッダがビデオデータパケットに加えられてもよい。ビデオデータパケットは、プロトコルスタック850及びイーサーネット／WLANインターフェース855を介してIPマルチキャストグループ(通常ビデオマルチキャストグループ)に送信／マルチキャストされる。プロトコルスタック850は少なくともUDPレイヤ850a及びIPレイヤ850bの処理部を含む。パリティパケットはオフセット時間Tdの間遅延バッファ845に格納される。FECパリティパケットは、プロトコルスタック850及びイーサーネット／WLANインターフェース855を介して遅延／時間シフトTdの後で別のIPマルチキャストグループ(遅延／復元マルチキャストグループ)に送信／マルチキャストされる。本願で説明される要素は、ハードウエア、ソフトウエア、ファームウエア又はそれらの何等かの組合せで実現されてもよく、例えばRISC、ASIC及び／又はFPGAを含む。
図９は、本発明原理によるクロスパケット符号化(cross packet encoding)の様子を示す。図９に示されているように、K個のビデオパケットがグループにまとめられ、そのパケットグループにリードソロモン(RS: Reed-Solomon)符号(N,K)が適用され、N-K個のパリティパケットを生成している。FEC情報を含むFECパケットにヘッダが付けられ、FEC情報はそのFECパケットがどのビデオパケットを保護しているかの情報を含む。FEC関連ヘッダは、FEC符号化法に依存してビデオパケットに付けられてもよい。ビデオデータパケットは、UDP/IPスタック及びイーサーネットインターフェースを介して、IPマルチキャストグループ(通常ビデオマルチキャストグループ)に送信される。その後パリティパケットはオフセット時間Tdの間遅延バッファに格納される。FECパリティパケットは、遅延／時間シフトTdの後に、UDP/IPスタック及びイーサーネットインターフェースを介して、別のIPマルチキャストグループ(遅延／復元マルチキャストグループ)に送信される。
図１０ａは、遅延／復元マルチキャストグループでFECパリティパケットを使用してIPベース無線ネットワークでビデオマルチキャストを行う移動受信機／装置の動作フローを示す。ビデオシーケンスを含む通常ビデオデータパケット及び遅延パリティパケットは、ステップ1005で異なるマルチキャストグループから受信される。それらはステップ1010でビデオパケット及びパリティパケットに分けられる。受信されたビデオデータパケットはステップ1015で格納される。誤りのあるビデオ及びパリティパケットは、リンクレイヤ(WLANインターフェース)で破棄される。FEC抹消復号法が実行される(ステップ1020)。欠落したビデオデータパケット又はパリティパケットの位置は、FEC抹消復号プロセスにより、パケットヘッダ中のシーケンス番号によって検出される。パリティパケット及び／又はビデオデータパケット中のFECヘッダは、FECブロック情報を特定するのに使用される。RS(N,K)に関し、(ビデオデータパケット又はパリティパケットによらず)FEC符号化ブロックにおけるNパケット中の任意のK個以上のパケットが適切に受信されている限り、FEC抹消復号プロセスは、オリジナルの(通常の)ビデオパケットを再構築可能である。FEC抹消復号プロセスはFEC符号化プロセスの逆プロセスであり、コードワードから成る各パケット中の１シンボルとともに複数パケットにわたって実行される。FEC抹消復号後のビデオデータパケットは、ステップ1025で非パケット化される。そして、非パケット化されたビデオデータパケットは、ビデオにデコードされ、表示用にデコードされた映像が生成される(ステップ1030)。
一実施例ではハーフレートRSコードが使用される。抹消復号と共にRSコードを使用する場合、各パリティパケットは符号化ブロック中のどの欠落パケットも復元可能である。ハーフレートRS(N,K)コード(N=2K)がK個のビデオパケットに適用される場合、Ｋ個のパリティパケットが生成される。ハーフレートRSコードの場合、ハンドオーバの際、ビデオデータパケットがたとえバースト的に完全に欠落したとしても、欠落したデータパケットは対応するパリティパケットだけから復元可能である。この意味において、ハーフレートRSコードにより生成されたパリティパケットストリームは、オリジナルの(通常の)ビデオパケットストリームに対する代替物となる。リードソロモン(R,S)符号と同様に、たのFEC符号を使用してパリティパケットを生成してもよいことに留意すべきである。
図１０ｂは、遅延／復元マルチキャストグループでFECパリティパケットを使用するIPベース無線ネットワークでビデオマルチキャストを行う移動受信機／装置の概略図を示す。通常ビデオデータパケット及び遅延パリティパケットは、WLAN/イーサーネットインターフェース1035で異なるマルチキャストグループから受信される。それらはプロトコルスタック1040によりビデオデータパケット及びパリティパケットに分割され、プロトコルスタックは、少なくともUDPレイヤ1040a及びIPレイヤ1040bの処理部を含む。受信したビデオデータパケットはバッファ1045で遅延させられる。誤りのあるビデオ及びパリティパケットは、リンクレイヤ(WLANインターフェース)により破棄される。FEC抹消復号モジュール1050は、パケット化装置及びUDPレイヤ処理部の間にある。欠落したビデオデータパケット又はパリティパケットの位置は、抹消復号に使用されるFEC抹消復号モジュール1050により、パケットヘッダ中のシーケンス番号から検出される。パリティパケット及び／又はビデオパケット中のFECヘッダは、FECブロック情報を特定するためにFEC抹消復号モジュール1050により使用される。RS(N,K)コードの場合、(ビデオデータパケット又はパリティパケットによらず)FEC符号化ブロックのNパケットの内任意のK個以上のパケットが適切に受信されている限り、FEC抹消復号モジュール1050は、オリジナルの(通常の)ビデオデータパケットを再構築可能である。FEC抹消復号はFEC符号化プロセスの逆プロセスであり、コードワードから成る各パケット中の１シンボルと共に複数パケットにわたって実行される。FEC抹消復号後のビデオデータパケットは非パケット化装置1055に伝送され、ビデオデータパケットを非パケット化する。そして、非パケット化されたビデオデータパケットはビデオデコーダモジュール1060に伝送される。本願で説明される要素は、ハードウエア、ソフトウエア、ファームウエア又はそれらの何等かの組合せで実現されてもよく、例えばRISC、ASIC及び／又はFPGAを含む。
移動装置からBS/APへのリターン無線チャネルが一切利用可能でない場合及び／又は簡易なシステム構築が望まれる場合、BS/APは通常ビデオストリーム及び遅延復元ストリームを無線ネットワークで常にマルチキャストで送信してもよい。移動受信機／装置はそれらの要求を行わずに双方のストリームを受信する。
別の実施例では、階層化された／スケーラブルなビデオ符号化を行うためにスタガーキャスティングを利用する。本発明を利用して、スケーラブルコーダ(scalable coder)のベースレイヤのみが時間的にずらされる。通常のベースレイヤビデオデータパケットは、上述したようにノーマルマルチキャストグループでマルチキャスト送信される。重複的なベースレイヤデータ又はクロスパケットFECエンコーダで生成されたパリティデータは、遅延マルチキャストグループで或る時間遅延と共にマルチキャスト送信される。通常のエンハンスメントレイヤデータパケットは、遅延なしに別のマルチキャストグループで送信される。従ってスタガーキャスティングを使用することに伴うオーバーヘッドは節約される。通常ビデオ(ベースレイヤ及びエンハンスメントレイヤ)が欠落した場合、遅延復元マルチキャストグループ中のパケットにより復元されたベースレイヤは、低品質のビデオを提供可能である。これはハンドオフの際のグレースフルデグラデーションを可能にする。
ハードウエア、ソフトウエア、ファームウエア、特定用途プロセッサ又はそれらの組合せを含む様々な形態で本発明は実現されてもよいことが、理解されるべきである。好ましくは本発明はハードウエア及びソフトウエアの組合せとして実現される。更に、ソフトウエアは、プログラム記憶装置で物理的に実現されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、何等かの適切なアーキテクチャを有する装置にアップロードされてもよいし、或いはその装置で実行されてもよい。好ましくは、その装置はコンピュータプラットフォームで実現され、コンピュータプラットフォームは例えば１つ以上の中央処理装置、ランダムアクセスメモリ(RAM)及び入力／出力(I/O)インターフェースのようなハードウエアを有する。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含んでもよい。本願で説明される様々なプロセス及び機能は、オペレーティングシステムで実行される一部のアプリケーションプログラム又は一部のマイクロ命令コード(又はそれらの組合せ)で実現されてもよい。更に、追加的なデータストレージ装置及び印刷装置のような他の様々な周辺装置がコンピュータプラットフォームに接続されてもよい。
添付図面に描かれているシステム構成要素及び方法ステップのいくつかは好ましくはソフトウエアで実現されるので、システム構成要素(プロセスステップ)間の実際の接続関係は、本発明がプログラムされる方法に依存して異なるかもしれないことが、更に理解されるべきである。本願で教示された内容の下で、本発明に関するこれら及び同様な実現手段又は構成例を、当業者は十分に理解できるであろう。
スタガーキャスティングを行うインターネットプロトコルベースの無線ネットワークのマルチキャストシステムの概略図。 本発明原理によりスタガーキャスティングを行うビデオサーバ／送信側の動作フローを示す図。 本発明原理によりスタガーキャスティングを行うビデオサーバ／送信側の概略図。 本発明原理によりスタガーキャスティングを行う移動受信機の動作フローを示す図。 本発明原理によりスタガーキャスティングを行う移動受信機の概略図。 本発明原理によるスタガーキャスティングを用いてパケット損失を復元する様子を示す図。 遅延復元マルチキャストグループの低品質ビデオを伴うビデオサーバ／送信側の本発明原理による動作フローを示す図。 遅延復元マルチキャストグループの低品質ビデオを伴うビデオサーバ／送信側の本発明原理による概略図。 遅延復元マルチキャストグループの低品質ビデオを伴う移動受信機の本発明原理による動作フローを示す図。 遅延復元マルチキャストグループの低品質ビデオを伴う移動受信機の本発明原理による概略図。 本発明原理による遅延復元マルチキャストグループの低品質ビデオと共にパケット損失を復元する様子を示す図。 遅延復元マルチキャストグループのクロスパケット順方向誤り訂正(FEC)符号により生成されたパリティパケットを伴う本発明原理によるビデオサーバ／エンコーダの動作例を示す図。 遅延復元マルチキャストグループのクロスパケット順方向誤り訂正(FEC)符号により生成されたパリティパケットを伴う本発明原理によるビデオサーバ／エンコーダの概略図。 本発明原理によるクロスパケット符号化の様子を示す図。 遅延復元マルチキャストグループのクロスパケットFEC符号により生成されたパリティパケットを伴う本発明原理による移動受信機の動作例を示す図。 遅延復元マルチキャストグループのクロスパケットFEC符号により生成されたパリティパケットを伴う本発明原理による移動受信機の概略図。

Claims (14)

  1. 移動装置がハンドオーバを行う場合にデータパケットの損失を回復するために該移動装置が実行する方法であって、
    第１及び第２のマルチキャストグループに加入することをハンドオーバ先のアクセスポイントに要求するステップと、
    前記第１のマルチキャストグループにマルチキャストされた第１のデータストリームと、前記第２のマルチキャストグループにマルチキャストされかつ前記第１のデータストリームよりも所定のオフセット時間だけ遅延している第２のデータストリームとを受信するステップと、
    前記第１のデータストリームにおけるデータパケットに損失が検出された場合に、回復用のデータパケットを前記第２のデータストリームから選択することで、データパケットの損失を回復するステップと、
    前記第２のマルチキャストグループから脱退することを前記ハンドオーバ先のアクセスポイントに要求するステップと
    を有する方法。
  2. 前記第２のデータストリームに含まれている前記回復用のデータパケットは、前記第１のデータストリームに含まれている前記データパケットのコピー及び低ビットレートで符号化された前記データパケットのコピーの何れかである、請求項１記載の方法。
  3. 前記第２のデータストリームに含まれている前記回復用のデータパケットは、パリティパケットである、請求項１記載の方法。
  4. 前記パリティパケットは、順方向誤り訂正符号化されたパリティパケットである、請求項３記載の方法。
  5. 前記アクセスポイントは基地局である、請求項１記載の方法。
  6. 前記所定のオフセット時間は、予想されるハンドオフ期間及び最大ハンドオフ期間の何れかより長い、請求項１記載の方法。
  7. 前記第１及び第２のマルチキャストグループへ加入するための要求が、基地局及びアクセスポイントの一方になされ、前記第２のマルチキャストグループから脱退するための要求も、前記基地局及び前記アクセスポイントの一方になされる、請求項１記載の方法。
  8. 前記第１及び第２のマルチキャストグループへ加入するための要求は、イーサーネットスイッチになされ、前記第２のマルチキャストグループから脱退するための要求も、前記イーサーネットスイッチになされる、請求項１記載の方法。
  9. ハンドオーバを行う場合にデータパケットの損失を回復する装置であって、
    第１及び第２のマルチキャストグループに加入することをハンドオーバ先のアクセスポイントに要求する手段と、
    前記第１のマルチキャストグループにマルチキャストされた第１のデータストリームと、前記第２のマルチキャストグループにマルチキャストされかつ前記第１のデータストリームよりも所定のオフセット時間だけ遅延している第２のデータストリームとを受信する手段と、
    前記第１のデータストリームにおけるデータパケットに損失が検出された場合に、回復用のデータパケットに対応するデータパケットを前記第２のデータストリームから選択することで、データパケットの損失を回復し、前記第２のマルチキャストグループから脱退することを前記ハンドオーバ先のアクセスポイントに要求する手段と
    を有する装置。
  10. 前記第２のデータストリームに含まれている前記回復用のデータパケットは、前記第１のデータストリームに含まれている前記データパケットのコピー及び低ビットレートで符号化された前記データパケットのコピーの何れかである、請求項９記載の装置。
  11. 前記第２のデータストリームに含まれている前記回復用のデータパケットは、パリティパケットである、請求項９記載の装置。
  12. 前記第１及び第２のマルチキャストグループへ加入するための要求は、基地局及びアクセスポイントの一方になされ、前記第２のマルチキャストグループから脱退するための要求も、前記基地局及び前記アクセスポイントの一方になされる、請求項９記載の装置。
  13. 前記第１及び第２のマルチキャストグループへ加入するための要求は、イーサーネットスイッチになされ、前記第２のマルチキャストグループから脱退するための要求も、前記イーサーネットスイッチになされる、請求項９記載の装置。
  14. 当該装置が移動装置である請求項９記載の装置。
JP2009507652A 2006-04-29 2006-04-29 データパケットの損失を回復するための方法及び装置 Active JP4943502B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/016298 WO2007130012A1 (en) 2006-04-29 2006-04-29 Seamless handover of multicast sessions in internet protocol based wireless networks using staggercasting

Publications (2)

Publication Number Publication Date
JP2009535891A JP2009535891A (ja) 2009-10-01
JP4943502B2 true JP4943502B2 (ja) 2012-05-30

Family

ID=38668024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009507652A Active JP4943502B2 (ja) 2006-04-29 2006-04-29 データパケットの損失を回復するための方法及び装置

Country Status (8)

Country Link
US (1) US8234547B2 (ja)
EP (2) EP2518910B1 (ja)
JP (1) JP4943502B2 (ja)
KR (2) KR101249569B1 (ja)
CN (1) CN101432991B (ja)
BR (1) BRPI0621618B1 (ja)
CA (1) CA2649667C (ja)
WO (1) WO2007130012A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8893207B2 (en) 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US9003461B2 (en) 2002-12-10 2015-04-07 Ol2, Inc. Streaming interactive video integrated with recorded video segments
US9032465B2 (en) * 2002-12-10 2015-05-12 Ol2, Inc. Method for multicasting views of real-time streaming interactive video
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8949922B2 (en) 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US8261168B2 (en) * 2007-09-17 2012-09-04 Lg Electronics Inc. Code combining soft handoff in wireless communication system
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8004963B2 (en) * 2008-02-27 2011-08-23 Audividi Inc. Apparatus and method for packet redundancy and recovery
JP5139907B2 (ja) * 2008-07-25 2013-02-06 株式会社日立製作所 通信システム、光多重終端装置及び輻輳制御方法
US20100027503A1 (en) * 2008-07-31 2010-02-04 Qualcomm Incorporated Method and apparatus for reducing data loss during handover in a wireless communication system
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US8520580B2 (en) * 2009-04-24 2013-08-27 Aruba Networks, Inc. Synchronization of mobile client multicast membership
US9723319B1 (en) 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US8352252B2 (en) * 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
DE102009050312B4 (de) * 2009-10-22 2015-01-22 Airbus Operations Gmbh Digitales Rundsendeverfahren
KR101640847B1 (ko) * 2009-11-12 2016-07-19 삼성전자주식회사 핸드오버 시 미디어 데이터 손실 감소 방법 및 장치
CN102118653B (zh) * 2009-12-31 2012-12-26 华为技术有限公司 保障网络电视直播业务的业务服务质量的方法和设备
GB2478122B (en) * 2010-02-24 2012-11-07 Ipwireless Inc Apparatus and methods for broadcast-unicast communication handover
US8843594B2 (en) 2010-03-26 2014-09-23 Dan Fiul Time shifted transcoded streaming (TSTS) system and method
CN102792709B (zh) * 2010-04-12 2015-09-16 上海贝尔股份有限公司 用于移动组播的方法及其设备
CN102907096A (zh) * 2010-05-10 2013-01-30 三星电子株式会社 用于发送和接收分层编码视频的方法和设备
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
US8457071B2 (en) * 2010-08-31 2013-06-04 Cisco Technology, Inc. Reducing latency and packet loss related to handoffs of mobile video traffic
KR102000618B1 (ko) 2010-09-13 2019-10-21 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
WO2012037170A1 (en) 2010-09-13 2012-03-22 Gaikai, Inc. Dual mode program execution and loading
US20120170618A1 (en) * 2011-01-04 2012-07-05 ABG Tag & Traq, LLC Ultra wideband time-delayed correlator
US8667374B2 (en) * 2011-11-21 2014-03-04 Ciena Corporation Video transmission systems and methods over carrier ethernet
WO2013111976A1 (ko) * 2012-01-25 2013-08-01 한국전자통신연구원 점진 열화 순방향 오류 정정 방법 및 이를 수행하는 장치
US9313086B2 (en) * 2012-02-17 2016-04-12 Intel Corporation Creating packet flows to reduce redundancy
JP5159973B1 (ja) * 2012-06-18 2013-03-13 株式会社プランネット・アソシエイツ 伝送パケットの配信方法
JP2014068295A (ja) * 2012-09-27 2014-04-17 Kddi Corp 無線環境に適したマルチキャストデータを配信する配信サーバ、システム及びプログラム
US9344461B2 (en) 2013-03-14 2016-05-17 Microsoft Technology Licensing, Llc Seamless session handover
US9794650B2 (en) 2013-04-05 2017-10-17 Media Global Links Co., Ltd. IP uncompressed video encoder and decoder
RU2527210C1 (ru) * 2013-06-14 2014-08-27 Общество с ограниченной ответственностью "Новые технологии презентаций" Способ и система для передачи данных от веб-сервера клиентским терминальным устройствам посредством локальной беспроводной коммуникационной сети
EP2819420A1 (en) 2013-06-25 2014-12-31 British Telecommunications public limited company Content distribution system and method
EP2819345A1 (en) * 2013-06-25 2014-12-31 British Telecommunications public limited company Content distribution system and method
EP2819364A1 (en) 2013-06-25 2014-12-31 British Telecommunications public limited company Content distribution system and method
EP2819419A1 (en) 2013-06-25 2014-12-31 British Telecommunications public limited company Content distribution system and method
US10933209B2 (en) * 2013-11-01 2021-03-02 Georama, Inc. System to process data related to user interactions with and user feedback of a product while user finds, perceives, or uses the product
CN103686196B (zh) * 2013-12-31 2017-03-01 北京中科大洋科技发展股份有限公司 一种保证视音频正常播出的无缝切换系统及方法
GB2526777B (en) * 2014-04-09 2021-02-17 Huawei Tech Co Ltd Constructing a reliable data stream
CN106664628B (zh) 2014-06-17 2020-06-16 华为技术有限公司 一种传输数据的方法和装置
WO2016009902A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 受信装置、受信方法およびコンピュータプログラム
US10298647B2 (en) * 2015-02-26 2019-05-21 Qualcomm Incorporated Delay compensation for broadcast adaptive bitrate streaming
KR20160128184A (ko) 2015-04-28 2016-11-07 삼성전자주식회사 무선 통신 시스템에서 그룹 통신 방법 및 장치
US11265595B2 (en) 2015-10-06 2022-03-01 Sony Interactive Entertainment Inc. Communication system, transmission apparatus, reception apparatus, communication system control method, and program
EP3182642A1 (en) 2015-12-18 2017-06-21 Thomson Licensing Method for controlling a wireless link in a local area network including a wireless bridge, respective wireless bridge, program storage medium and computer program
EP3185455A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for detecting packet loss in staggercasting
US10594661B1 (en) * 2017-06-13 2020-03-17 Parallels International Gmbh System and method for recovery of data packets transmitted over an unreliable network
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN109040827B (zh) * 2018-08-27 2021-07-13 Tcl移动通信科技（宁波）有限公司 一种视频文件的播放方法、存储介质及智能终端
JP2021057695A (ja) * 2019-09-27 2021-04-08 沖電気工業株式会社 処理装置、処理システム、処理プログラムおよび処理方法
WO2024059243A1 (en) * 2022-09-15 2024-03-21 E Scapes Network Llc Systems and methods for providing reliable multicast transmissions to multiple stream recipients over a wireless network

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278716B1 (en) * 1998-03-23 2001-08-21 University Of Massachusetts Multicast with proactive forward error correction
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6317462B1 (en) * 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
EP1919117B1 (en) * 1998-11-30 2014-10-15 Panasonic Corporation Packet retransmission control using priority information
US6980518B1 (en) * 2000-06-23 2005-12-27 International Business Machines Corporation Gossip-based reliable multicast message recovery system and method
US7224702B2 (en) * 2000-08-30 2007-05-29 The Chinese University Of Hong Kong System and method for error-control for multicast video distribution
US7042833B1 (en) * 2000-11-28 2006-05-09 Texas Instruments Incorporated Modem transmission over packet networks
US6807578B2 (en) * 2001-03-14 2004-10-19 International Business Machines Corporation Nack suppression for multicast protocols in mostly one-way networks
JP2003209576A (ja) 2002-01-15 2003-07-25 Matsushita Electric Ind Co Ltd マルチキャスト通信方法及びそのシステム
JP4116470B2 (ja) * 2002-03-06 2008-07-09 ヒューレット・パッカード・カンパニー メディア・ストリーミング配信システム
JP2006521722A (ja) 2003-01-28 2006-09-21 トムソン ライセンシング ロバスト・モードでのスタガキャスト
JP4217534B2 (ja) * 2003-05-20 2009-02-04 株式会社エヌ・ティ・ティ・ドコモ パケット送信装置、パケット受信装置、方法及びプログラム
US8804761B2 (en) * 2003-08-21 2014-08-12 Qualcomm Incorporated Methods for seamless delivery of broadcast and multicast content across cell borders and/or between different transmission schemes and related apparatus
US7447148B2 (en) * 2003-10-28 2008-11-04 Ntt Docomo, Inc. Method for supporting scalable and reliable multicast in TDMA/TDD systems using feedback suppression techniques
JP2006093812A (ja) * 2004-09-21 2006-04-06 Daiichikosho Co Ltd 高能率符号化された時系列情報をパケット化してリアルタイム・ストリーミング送信し受信再生する方法および装置

Also Published As

Publication number Publication date
CN101432991A (zh) 2009-05-13
KR101249569B1 (ko) 2013-04-01
WO2007130012A1 (en) 2007-11-15
KR20080111513A (ko) 2008-12-23
EP2013987B1 (en) 2012-12-26
BRPI0621618A2 (pt) 2011-12-13
EP2518910B1 (en) 2015-10-21
US20090319845A1 (en) 2009-12-24
EP2518910A1 (en) 2012-10-31
EP2013987A1 (en) 2009-01-14
CN101432991B (zh) 2013-01-30
CA2649667A1 (en) 2007-11-15
EP2013987A4 (en) 2011-12-21
KR20120098960A (ko) 2012-09-05
CA2649667C (en) 2014-08-26
JP2009535891A (ja) 2009-10-01
BRPI0621618B1 (pt) 2019-10-22
US8234547B2 (en) 2012-07-31
KR101249665B1 (ko) 2013-04-03

Similar Documents

Publication Publication Date Title
JP4943502B2 (ja) データパケットの損失を回復するための方法及び装置
US9608768B2 (en) Recovery from burst packet loss in internet protocol based wireless networks using staggercasting and cross-packet forward error correction
EP2912845B1 (en) Enhanced video streaming with application layer forward error correction
EP2806589B1 (en) Method for providing streaming service
JP5755213B2 (ja) スタガーキャスティング及びクロスパケット前方誤り訂正を用いたインターネットプロトコル型無線ネットワークでのバーストパケット損失からの回復
CA2791231C (en) Seamless handover of multicast sessions in internet protocol based wireless networks using staggercasting
Purandare et al. Impact of bit error on video transmission over wireless networks and error resiliency
Liu et al. A staggered FEC system for seamless handoff in wireless LANs: implementation experience and experimental study
Liu et al. A SYSTEM FOR ROBUST VIDEO MULTICAST OVER WIRELESS LANS

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120229

R150 Certificate of patent or registration of utility model

Ref document number: 4943502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250