JP6242824B2 - パケットロス検出を使用するビデオコーディング - Google Patents

パケットロス検出を使用するビデオコーディング Download PDF

Info

Publication number
JP6242824B2
JP6242824B2 JP2014558774A JP2014558774A JP6242824B2 JP 6242824 B2 JP6242824 B2 JP 6242824B2 JP 2014558774 A JP2014558774 A JP 2014558774A JP 2014558774 A JP2014558774 A JP 2014558774A JP 6242824 B2 JP6242824 B2 JP 6242824B2
Authority
JP
Japan
Prior art keywords
video
data
packet loss
packet
loss data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014558774A
Other languages
English (en)
Other versions
JP2015515768A5 (ja
JP2015515768A (ja
Inventor
ヴァナム ラーフル
ヴァナム ラーフル
リウ ウェイミン
リウ ウェイミン
ラパポート アヴィ
ラパポート アヴィ
リエンピン マー
リエンピン マー
アスバン エドゥアルド
アスバン エドゥアルド
ジーフォン チェン
ジーフォン チェン
レズニック ユーリー
レズニック ユーリー
ゼイラ アリエラ
ゼイラ アリエラ
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2015515768A publication Critical patent/JP2015515768A/ja
Publication of JP2015515768A5 publication Critical patent/JP2015515768A5/ja
Application granted granted Critical
Publication of JP6242824B2 publication Critical patent/JP6242824B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、パケットロス検出を使用するビデオコーディングの方法および装置に関する。
関連出願
本出願は、参照により全体が本明細書に組み込まれる、2012年2月24日に出願された米国仮特許出願第61/603,212号の非仮特許出願である。
近年、モバイル無線ビデオの需要が、着実に増加しており、著しく高いユーザデータレートを提供する新しいインフラストラクチャであるLTE/LTEアドバンストネットワークが用いられるようになると、その成長が増加することが予想される。現在の無線ネットワークは、容量が増加しており、スマートフォンは、今でもビデオを生成および表示することが可能であるが、これらの高度な無線通信ネットワークに渡ってビデオを実際に転送することが課題となっている。
米国特許仮出願第61/600,568号明細書
そこで、本発明は、パケットロス検出を使用するビデオコーディングの改善された方法および装置を提供することにある。
本明細書で説明される実施形態は、ビデオデータの符号化において無線パケットロスデータを使用するための方法を含む。一実施形態では、方法は、無線パケットロスデータを無線送信受信ユニット(WTRU)において受信するステップと、無線パケットロスデータからビデオパケットロスデータを生成するステップと、ビデオデータの符号化に使用するために、ビデオパケットロスデータをWTRU上で動作するビデオ符号化器アプリケーションに提供するステップとを含む。ビデオ符号化器は、ビデオパケットロスデータに応答して、エラー伝搬抑制プロセスを実行する。エラー伝搬抑制プロセスは、瞬時復号リフレッシュ(IDR)フレームを生成すること、またはイントラリフレッシュ(I)フレームを生成することのうちの1または複数を含む。いくつかの実施形態は、参照ピクチャ選択(RPS)方法、または参照ピクチャ組選択(RPSP)方法を使用するように特徴付けられる。
いくつかの実施形態では、無線パケットロスデータは、基地局によって、無線送信受信ユニット(WTRU)に提供される。無線パケットロスデータは、無線リンク制御(RLC)プロトコルレイヤにおいて生成され、RLCプロトコルレイヤは、確認型モードまたは非確認型モードで動作する。無線パケットロスデータは、NACKメッセージを含み、またはNACKメッセージから生成される。NACKメッセージは、アップリンク送信と同期している。いくつかの実施形態では、ビデオパケットロスデータは、パケットデータ収束プロトコル(PDCP)シーケンス番号、および/またはリアルタイムプロトコル(RTP)シーケンス番号、および/または無線リンク制御(RLC)シーケンス番号を使用するマッピングから生成される。ビデオパケットロスデータは、RLCパケットから、PDCPシーケンス番号へ、さらにRTPシーケンス番号へのマッピングを使用して生成される。ビデオパケット識別子は、ネットワークアブストラクションレイヤ(NAL)ユニットである。他の様々な実施形態は、本明細書で説明される方法を実施するように構成された、WTRUまたは基地局などの装置を含む。
より詳細な理解は、添付の図面を併用する、例として与えられた、以下の説明から得られる。
モバイルビデオ電話およびビデオストリーミングシステムの一例を示す図である。 例示的なプロトコルスタックおよび送信モデルを示す図である。 RLC、PDCP、IP、UDP、およびRTPヘッダを示すRLC PDUパケット構造を示す図である。 RLC AMモデルにおける基本動作/データフローを示す図である。 PDCPサブレイヤにおける基本動作およびデータフローを示す図である。 例示的なSDUからPDUへのマッピングを示す図である。 RLC、PDCP、およびアプリケーションレイヤからの情報にアクセスする、パケットロス検出方法の一実施形態のフローチャートである。 予測符号化構造を示す図である。 予測符号化構造を示す図である。 送信中に1つのPフレームが失われた、IPPP予測符号化構造を示す図である。 エラー伝搬の抑制のためのイントラリフレッシュ方法を示す図である。 エラー伝搬の抑制のための参照ピクチャ選択(RPS)方法を使用する一実施形態を示す図である。 エラー伝搬の抑制のための参照ピクチャ組選択(RSPS)方法を使用する一実施形態を示す図である。 第1の遅延の場合の、イントラリフレッシュと参照ピクチャ選択(RPS)との有効性の比較を示す図である。 第2の遅延の場合の、イントラリフレッシュと参照ピクチャ選択(RPS)との有効性の比較を示す図である。 RPSと組み合わされた早期フィードバックとイントラリフレッシュと組み合わされた遅期フィードバックとの有効性の比較を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 本発明の実施形態が実施されるモバイルビデオ電話システムの可能な構成を示す図である。 DPIベースのシグナリング手法を使用する一実施形態を示す図である。 DPIベースのシグナリング手法を使用する一実施形態を示す図である。 アプリケーション機能ベースの手法を使用する一実施形態を示す図である。 アプリケーション機能ベースの手法を使用する一実施形態を示す図である。 ローカルリンクにおけるRPSまたはRSPSと、リモートリンクにおけるトランスコーディングおよびRPSまたはRSPSとを使用する、モバイルビデオ電話システムを示す図である。 エラー制御のためにトランスコーディングおよびRPSまたはRSPSを使用する、モバイルビデオストリーミングシステムを示す図である。 1または複数の開示される実施形態が実施される例示的な通信システムのシステム図である。 図18Aに示された通信システム内で使用される例示的な無線送信/受信ユニット(WTRU)のシステム図である。 図18Aに示された通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図18Aに示された通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図18Aに示された通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。
本明細書では、無線ビデオ電話アプリケーションおよびビデオストリーミングアプリケーションにおいて、失われたパケットによって引き起こされるエラーを早期検出および隠蔽するための方法およびシステムが開示される。いくつかの実施形態では、ビデオ情報は、RTPパケットに収めて、またはパケットの送達が保証されない他の任意の標準化されたもしくは独自仕様のトランスポートプロトコルのパケットに収めて搬送される。早期パケットロス検出メカニズムは、ローカル無線リンク上でデータパケットの送信が成功しなかったときの状況を識別するための、(HARQを含む)MACおよび/またはRLCレイヤ再送メカニズムの分析を含む。エラー伝搬を防止するためのメカニズムは、ビデオ情報の適応符号化またはトランスコーディングを含み、後続ビデオフレームは、失われたパケットの影響を受けた先行フレームのいずれも参照することなく符号化される。符号化またはトランスコーディング操作において参照される先行フレームの使用は、予測および予測コーディングのためにそれらを使用することを含む。提案されるパケットロス検出および符号化またはトランスコーディングロジックは、ユーザ機器(モバイル端末デバイス)、基地局、またはバックホールネットワークサーバもしくはゲートウェイ内に存在する。ローカルリンクとリモートリンクに異なるQoSレベルを割り当てることなど、付加的なシステムレベル最適化技法も説明される。
RTPトランスポートおよびRTCPタイプフィードバックを用いて動作するモバイルビデオ電話およびビデオストリーミングシステムの一例が、図1に示されている。送信UE18から受信UE24へのビデオの送信には、いくつかの通信リンクが関与する。第1のリンクまたは「ローカル」リンクは、電話(UE)18と基地局(eNB)20との間の無線リンク15である。LTEなどの現代の無線システムでは、UEと基地局との間におけるパケットの送信遅延は、抑制され、リアルタイム/VOIPトラフィックの場合、通常は約90msである。パケットは、ローカルリンク15において、送信に成功することもあれば、または失われることもある。同様の遅延(および同様のパケットロスの可能性)は、「リモート」無線リンク26上での「リモート」eNB22からUE24へのパケットの送信においても生じる。2つのeNB20、22の間では、パケットは、eNB20からゲートウェイノード30に渡され、インターネット28を通して、別のゲートウェイノード32に渡され、その後、eNB22に渡される。
パケットが(例えば、ローカルリンク15において、インターネット28において、またはリモートネットワーク23を通るリモート無線リンク26において)失われた場合、このロスは、最終的に、ユーザBのアプリケーションによって気付かれ、RTCP受信機報告(RR)を用いて、ユーザAに返送される。実際には、そのようなエラー報告は、通常、定期的に送信されるが、頻度は低く、例えば、約600msないし1s間隔である。エラー通知が送信者(ユーザAのアプリケーション)に到達すると、復号器におけるエラー伝搬を停止させるために、イントラ(またはIDR)フレームを挿入するように、または他のコーデックレベルの手段を使用するように、それを使用してビデオ符号化器に指示することができる。しかしながら、パケットロスと受信機報告との間の遅延が長くなるほど、ビデオシーケンスのより多くのフレームがエラーの影響を受ける。実際には、ビデオ復号器は、通常、いわゆるエラー隠蔽(EC)技法を利用するが、最新の隠蔽を用いた場合でも、リフレッシュ前の1秒の遅延は、著しいおよび可視のアーチファクト(いわゆる、「ゴースト」)を引き起こすことができる。
本明細書で説明される実施形態では、パケットロスによって引き起こされるエラー伝搬が抑制される。実施形態は、ローカルリンク15において早期パケットロス検出機能および通知機能を提供し、かつ/またはエラー伝搬を停止させるために、参照ピクチャ選択(RPS)または参照ピクチャ組選択(RSPS)などの高度なビデオコーデックツールを使用する、方法およびシステムを含む。ローカルリンクにおいて使用されるそのような技法に関連するシグナリングは、図1において総称的に線16によって表され、本明細書で詳細に説明される。本明細書で説明されるように、エラー伝搬を防止するために、イントラリフレッシュ(IF)、参照ピクチャ選択(RPS)、および参照ピクチャ組選択(RSPS)を含む技法が使用される。LTEシステムにおけるパケットロスの早期検出も説明されるが、同様の技法は、WCDMA(登録商標)、LTEアドバンストなど、他の無線インフラストラクチャシステムにおいても実施される。
いくつかの実施形態では、ローカルリンクとリモートリンクとで異なるQoSモードを導入すること、およびリモートeNBにおいてトランスコーダおよびパケットロス検出ロジックを使用することなど、ビデオ会議システムの性能を高めるための技法が使用される。本明細書で説明される実施形態のいくつかに関する使用例として、RTSP/RTPタイプのビデオストリーミングアプリケーションが説明される。
早期パケットロス検出および対応するビデオパケットロスデータの識別が、ここで説明される。提示の便宜上、RTPトランスポートおよびLTEスタックを使用する実施形態に注目するが、代替実施形態は、他のトランスポートおよびリンクレイヤスタックも同様に含む。
ビデオデータの送信に関わるレイヤおよびプロトコルのスタックの一例が、図2に示されており、ネットワークアブストラクションレイヤ(NAL)202ユニット203内に最初にパッケージされたビデオデータは、リアルタイムトランスポートプロトコル(RTP)204などのトランスポートプロトコルを使用して搬送される。最も単純なケースでは、各NALユニット203は、単一のRTPパケット205のペイロード内に埋め込まれる。より一般的には、NALユニット203は、分割されて、複数のRTPパケット205として搬送され、または集約されて、単一のRTPパケット内の複数の数量として送信される。次に、RTPパケットが、UDPレイヤ206パケット207内に埋め込まれ、次に、UDPレイヤ206パケット207が、IPレイヤ208パケット209内に埋め込まれ、IPレイヤ208パケット209としてシステムを通して搬送される。アプリケーション222は、セッション関連情報、またはビットイグザクト形式で配信されなければならないタイプのデータを送信するためのTCP224も使用する。図2に示されるように、LTEデータプレーン240は、4つのサブレイヤ、すなわち、PDCP210、RLC212、MAC214、およびPHY216を含む。それらは、eノードBおよびUEの両方に存在する。
この実施形態では、以下のことも仮定される。
1.PHY/MACは、複数の無線ベアラまたは論理チャネルをサポートする。
2.ビデオトラフィックの各クラスは、それ自体の無線ベアラまたは論理チャネルを有する。
3.各ビデオ論理チャネルは、複数のビデオアプリケーションをサポートできる。
LTEでは、例えば、RLCサブレイヤ212が、MACレイヤ214との交換に基づいて、失われたパケットに気付く。上述されたエラー伝搬抑制技法を適用するには、失われたRLCレイヤパケット内に含まれる1または複数のフレームが決定されなければならない。したがって、それら失われたRLCレイヤ212パケット213内に含まれるNALレイヤ202またはアプリケーションレイヤ222の1または複数のパケットが決定されなければならない。したがって、RLCレイヤを含む上述の様々なレイヤにおけるパケットの内容は、互いに対応付けることができる。
失われた無線パケットおよび対応するビデオパケットロスを検出する方法は、図3に示されるように、より高位のレイヤからのデータを保護するために、PDCPが暗号化を適用する状況に対処する。ペイロード暗号化は、RLCサブレイヤ212において、上位レイヤのヘッダを解析することを不可能(および/または不適切)にする。失われたRTPパケット215を識別するため、いくつかの実施形態では、PDCPサブレイヤ210が、RTPパケット204をPDCPシーケンス番号にマッピングするテーブルを構築する。いくつかの実施形態では、これは、暗号化が実行される前に、PDCPレイヤ210において、ディープパケットインスペクションを使用して行われる。どのRTPパケットが失われたかを識別した後、失われたビデオNALユニット203へのマッピングが、アプリケーションレイヤ222、202において行われる。NALパケット203からRTPパケット205への1対1マッピングが存在する場合、マッピングは自明である。パケットのフラグメンテーションが存在する場合、マッピングは、例えば、テーブル検索を用いて達成される。
表1は、送信エラーおよびそれらがどのNALユニット203に影響を与えるかについての情報を獲得するために、異なるレイヤ/サブレイヤにおいて実行される動作を要約したものである。
表2には、様々なレイヤ/サブレイヤにおけるパケットのマッピングが要約されている。
本明細書では、各レイヤ/サブレイヤにおいて実行されるアクションについての付加的な詳細が説明される。
RLCサブレイヤでは、パケットロス検出およびPDCPシーケンス番号(SN)へのマッピングが実行される。LTEでは、以下で説明されるように、(3GPP TS36.322で定義されている)3つの動作モードがRLCレイヤにおいて存在する。
1.透過モード(TM)
−RLC SDUのセグメンテーションおよび再組み立て(SAR)を行わない
−RLCヘッダが追加されない
−送達保証なし
−音声に適する
2.非確認型モード(UM)
−RLC SDUのセグメンテーションおよび再組み立てを行う
−RLCヘッダが追加される
−送達保証なし
−ストリーミングトラフィックの搬送に適する
3.確認型モード(AM)
−RLC SDUのセグメンテーションおよび再組み立てを行う
−RLCヘッダが追加される
−信頼性の高い順序通りの配送サービス
−TCPトラフィックの搬送に適する
RLC AMモデルにおける基本動作/データフローが、図4に示されている。
ARQまたはHARQなどの再送プロトコルは、本発明によるフィードバック技法および誤り訂正技法と併用される場合、ビデオ送信に対しては逆効果である。したがって、一実施形態では、無線パケットロスインジケーションは、ARQ再送を起動することなく獲得される。RLCサブレイヤにおいてパケットロスを検出するための手法には、少なくとも以下のものが存在する。
1.AMモードを使用するが、RRCによって構成できるパラメータmaxRetxThreshold(ARQ再送の数)はゼロに設定される。ACK/NACK情報は以下から獲得される。
a.どのRLC PDUが正しく受信され、どのRLC PDUの受信が成功しなかったかを示す、ピアRLC受信機から受信される、RLCステータスPDU(これはLTE規格によってサポートされるが、遅延がより大きくなる)。
b.MAC送信機からのローカルに生成されたステータス(RLC PDUが対応するいずれのトランスポートブロックにおけるHARQ障害もRLC PDU全体のロスと見なされる)。この手法の利点は遅延が短くなることであるが、それはトランスポートブロックからRLC PDUへのマッピングを必要とし、マッピングは、セグメンテーションが原因で、通常は1対1ではない。
2.上で説明されたようなMAC送信機からのローカルに生成されたステータスと組み合わされたUMを使用する。
RLCパケットが送信に失敗すると、対応するPDCPパケットが識別される。PDCPからRLCへセグメンテーションが可能であり、そのため、マッピングは必ずしも1対1ではない。RLC SDUはPDCP PDUであるので、RLC ACK/NACKから、送信中に失われたPDCPパケットのPDCP SN(圧縮されたヘッダ内のシーケンス番号)を識別する。PDCPはそのデータSDUを暗号化するので、RLCサブレイヤは、RTPシーケンス番号の識別が可能でないことに留意されたい。
PDCPサブレイヤにおいて、失われたRTP/UDP/IPパケットが識別される。PDCPサブレイヤにおける基本動作およびデータフローが、図5に示されている。送信エラーが発生した場合、対応するPDCP PDUが、それらのシーケンス番号(SN)によって識別される。ペイロードデータのみが暗号化されるので、RLCサブレイヤは、PDCP SNを識別できるが、さらなる検査は可能ではない。したがって、PDCPサブレイヤが関与させられる。PDCP SDUは、IP、UDP、およびRTPヘッダを含む。IPアドレス、ポート番号、およびRTPシーケンス番号を抽出するために、ディープパケットインスペクションが実行される。PDCP PDU→RLC SDUマッピングは必ずしも1対1ではないことに留意されたい。送信が失敗した場合、対応するPDCP PDUを識別するために、いくつかの実施形態では、テーブル検索が使用される。RTP→UDP→IPマッピングは1対1である。したがって、RTPパケットからIPアドレスおよびポート番号を抽出することは簡単である。
アプリケーションレイヤ202または222では、失われたNALユニットが識別される。失敗したRTPパケットを識別した後、アプリケーションレイヤは、送信に失敗したNALパケットを識別するタスクを課される。NAL→RTPマッピングが1対1である場合、NALパケットの識別は簡単である。マッピングが1対1でない場合、やはり、テーブル検索などの方法が使用される。
例示的なテーブル検索技法の詳細が、本明細書で説明される。図6は、一般的なSDU→PDUマッピングを示し、ここではPDUのセグメンテーションまたはフラグメンテーションが存在し、(いくつかのマッピングは1対1であることが可能であるが)SDUからPDUへのマッピングが必ずしも1対1ではない。同様のマッピングは、アプリケーション、トランスポート、およびネットワークレイヤおよびサブレイヤの多くにも存在する。送信エラーを検出する際には、エラーPDUを対応するSDUにマッピングするための方法を考案することが必要である。誤ったSDUを識別する1つの簡単な方法は、テーブル検索によるものである。例えば、図6に示されるケースでは、以下に示すテーブルを構築できる。
このテーブルは、RLCセグメンタによって構築および維持される。それは、どのSDUがどのPDUにマッピングされるか、およびどのPDUがどのSDUにマッピングされるかを記録する。例えば、PDUjが送信に失敗したと見なされる場合、テーブル検索は、送信に失敗したSDUとして、SDUi−1、i、およびi+1を識別する。
セグメンテーションは、RLCサブレイヤ、およびNALパケットがRTPパケットにマッピングされるアプリケーションレイヤにおいて存在することが知られている。同様の方法が両方のレイヤにおいて使用できる。
1つのパケットロス検出手順の全体図が、図7に示されている。それは、RLC、PDCP、およびアプリケーション(ビデオ)レイヤからの情報を利用する。手順は、701において開始する。703において、手順は、LTEなど特定の無線ネットワークのプロトコルに従って、失われたRLCレイヤパケットがないかどうかをチェックする。705において、RLCレイヤパケットが失われたかどうかが決定される。失われていない場合、フローは707に進む。707において、プロセスは、失われたパケットがないかどうかのチェックを止めるように命令されたかどうかを調べるチェックを行う。例えば、そのような命令は、RLCパケット内に含まれるデータがもはやビデオデータではないと決定された場合に開始される。そのように命令された場合、プロセスは終了させられる(709)。それ以外の場合、フローは703に戻り、失われたパケットがないかどうかのチェックが継続する。
705において、特定のパケットが失われたと決定された場合、フローは711に進む。711において、失われたRLCレイヤパケットが、対応するPDCPレイヤSNにマッピングされる。次に、PDCP SNが、対応するRTPレイヤSN、IPアドレス、およびポート番号にマッピングされる(713)。IPアドレスはビデオデータが送信されているユーザを開示し、ポート番号はビデオデータが送信されているアプリケーションを開示する。次に、RTP SNは、対応するNALパケットにマッピングされる(715)。NALパケットは、失われたRLCパケット内に存在していた1または複数のフレームを識別する。その後、フローは703に戻る。
ビデオデータの紛失についてのそのような早期知識、および失われた特定のフレームについての知識を用いて、その後、UEのビデオ符号化器は、本明細書で詳細に説明される技法のいずれかを含む、復号器においてエラー伝搬を抑制するための、および/またはビデオデータを回復するための方策を実施できる。
標準的な予測構造が、ここで説明される。リアルタイムアプリケーションにおけるビデオ符号化構造は、瞬時復号リフレッシュ(IDR)フレーム801を含み、その後に後方予測フレーム(Pフレーム)が続く。この構造が、図8Aおよび図8Bに示されている。図8Aは、古典的な「IPPP」構造を示しており、すべてのPフレーム803が、先行フレームから予測され、それが、Iフレームの1つであるか、それともPフレームの1つであるかは関係がない。H.264などのより新しいビデオコーディング規格は、Pフレームが複数の先行フレームから予測されるように、複数の(例えば、H.264では16までの)参照フレームの使用を可能にし、それによって、予測構造に柔軟性を提供する。このコーディング規格が、図8Bに示されている。
符号化されたビデオの予測性は、チャネルエラーの場合に、それがロス伝搬の影響を受けやすくする。したがって、送信中に、Pフレーム803xなど、Pフレームの1つが失われた場合、Pフレーム803yなどの後続Pフレームは、図9に示されるように、(典型的には次のIフレームが受信されるまで)破損したものになる。本明細書で説明される、無線パケットロスおよびビデオパケットロスの早期検出、ならびに符号化器へのフィードバックが、エラー伝搬を抑制するために提供される。具体的には、特定のフレームの送信中にエラーが生じたことを示すフィードバックを受信すると、符号化器は、パケットロスフィードバックを受信した後、後続フレームを符号化する方法を変更できる。フィードバックは、肯定応答(ACK)または否定応答(NACK)を含み、ACKはフレーム/スライスが正しく受信されたことを示すために使用され、一方、NACKはフレーム/スライスが失われたことを示す。既存の先行技術システムでは、NACK/ACKフィードバックは、送信機にレポートとして送信される前に、受信機においてしばしば蓄積される。フィードバックレポートを送信する際に、遅延がしばしば生じる。
ビデオコーディングでは、フィードバックに基づいてエラー伝搬を防止するための2つの知られた方法、すなわち、イントラリフレッシュ(IR)および参照ピクチャ選択(RPS)が存在する。どちらの方法も、符号化器に待ち時間を追加せず、規格に準拠したビットストリームを生成する。これらの方法は、H.263およびH.264を含む多くの既存のビデオコーデックと連携して使用される。さらなる一実施形態では、H.264および複数の参照ピクチャを使用する将来のコーデックに固有の参照ピクチャ組選択(RSPS)が説明される。
図10Aに示される第1の実施形態では、イントラリフレッシュメカニズムが使用される。パケットロスフィードバックレポートは、MB/スライス/フレームレベルに基づいたACK/NACKを含むことができる。図10Aは、一例として、レポートがフレームレベル情報を含む場合のイントラリフレッシュを示している。復号器が、第kのフレーム803−kが失われたことを検出し、その趣旨のフィードバック情報を符号化器に送信すると仮定する。さらに、符号化器が、第(k+n)のフレーム803−k+nの後に、そのフィードバック情報を受信し、次のフレームをIフレームまたはIDRフレーム801xとして、それ以降のフレームをPフレームとして符号化すると仮定する。IDRフレームを使用することによって、過去のフレームは、将来のフレームを予測するために使用されず、それによって、誤ったフレーム803−kの後のn+1番目のフレームに相当するフレーム801xにおいて、エラー伝搬を終了させるが、ここで、nは、特に、誤ったフレームの送信からフレームが誤って受信された旨のフィードバックを符号化器が受信するまでの間の遅延を含む。イントラリフレッシュを使用することの難点は、Pフレームと比較してより多くのビットを消費するIDRフレームをそれが使用することである。
図10Bに示される第2の実施形態では、参照ピクチャ選択(RPS)方法が使用される。RPSでは、フィードバックレポートは、フレーム/スライスについてのACK/NACK情報を含む。先の例と同様に、復号器は第kのフレーム803−kが失われたことを検出した後、フィードバックを送信し、符号化器は、第(k+n)のフレームと第(k+n+1)のフレームとの間にそのフィードバックを受信する。フィードバックレポートに基づいて、符号化器は、過去に送信に成功したフレームのうちで最も新しいフレーム、例えば、フレーム803−k−1を見つけ、それを使用して次のフレーム803−k+n+1を予測する。
RPSは、エラー伝搬を止めるために、イントラ(IDR)フレームの代わりに、予測Pフレームを使用する。ほとんどのケースで、Pフレームは、Iフレームよりもはるかに僅かのビットしか使用せず、それが容量節約をもたらす。
さらなる実施形態では、IR手法とRPS手法の態様が組み合わされる。例えば、符号化器は、IDRモードおよびP予測モードの両方で次のフレームを符号化し、その後、どちらのフレームをチャネル上で送信すべきかを決定する。
図10Cに示されるさらなる実施形態では、参照ピクチャ組選択(RSPS)方法が使用される。この実施形態は、RPS方法の一般化であり、複数参照ピクチャ予測とともに使用することを可能にする。例えば、それは、H.264コーデックとともに使用できる。この技法は、本明細書では、参照ピクチャ組選択(RSPS)と呼ばれる。RSPS方法では、NACKフィードバックレポート、例えば、フレーム803−Kが失われたことを示す符号化器が送信するフレーム803−k+nとフレーム803−k+n+1との間に受信されたNACKレポートを受信した後、後続フレーム、例えば、フレーム803−k+n+2およびフレーム803−k+n+3は、過去に配送された破損していないフレームの任意の可能なサブセット、例えば、フレーム803−k−1、フレーム803−k−2、フレーム803−k−3を使用して予測される。H.264コーデック実施に基づいたものなど、いくつかの実施形態では、そのようなフレームサブセットはH.264の復号器参照ピクチャバッファ内に存在しなければならないという、さらなる制約が課される。
予測における柔軟性のため、RSPSは、より優れた予測をもたらし、それによって、IF方法およびRPS方法よりも優れたレート−歪み性能をもたらす。
いくつかの符号化技法では、各フレームは、スライスと呼ばれる多数の領域に空間的にさらに分割される。したがって、RSPS技法のいくつかの実施形態は、スライスレベルで動作する。言い換えると、それは、予測から除外されるフレームのサブセットにすぎない。そのようなサブセットは、失われたパケット/スライスについての情報、およびロス伝搬によって影響を受ける後続する空間的に整列したスライスの連鎖を分析することによって識別される。
上で説明された実施形態の有効性は、(LTEにおける従来型/VOIPサービス用として一般的な)10e−2のパケット誤り率を有するシミュレートされたチャネルを使用して、また符号化器における通知ならびにIR、RPS、およびRSPSメカニズムを使用して、テストされた。H.264規格準拠の符号化器を使用し、またメモリ管理制御操作(MMCO)命令を使用することによって、RPSおよびRSPS方法を実施した。実験用の入力ビデオストリームを生成するために、標準的なビデオテスト系列「Students」(CIF解像度、30fps)を、前方−後方方式でループさせた。結果は、通知遅延がそれぞれ3フレーム(90ms)および14フレーム(420ms)である、図11Aおよび図11Bに示されており、それらは、エラーフィードバックを全く使用しない場合(線1105aおよび線1105bを参照)と比較した、イントラリフレッシュ技法(線1101aおよび線1101bを参照)と参照ピクチャ選択(RPS)技法(線1103aおよび線1103bを参照)との有効性の比較を示している。テストは、H.264ビデオ符号化器を使用して符号化され、パケット誤り率が10e-2 のシステム上で送信される、標準的な「Students」テスト系列(CIF解像度、30fps)を使用して実行された。
これらの実験に基づいて、以下の観察が支持される。
1)どちらの技法も、フィードバックなしの符号化ビデオの送信と比較して、実質的な品質改善を提供し、4ないし6dBの利得が観察される。
2)RPS技法は、IRよりも効果的に思え、0.2ないし0.6dBのさらなる利得が観察される。
3)RPS技法は、通知遅延が小さいときのほうがより効果的であり、この実験では、遅延が3フレーム(90ms)の場合はIR技法と比較して、0.5ないし0.6dBのさらなる利得を観察するが、遅延が14フレーム(420ms)に増加すると、0.2ないし0.3dBのさらなる利得を観察するにすぎない。
4)フィードバック遅延も両技法の品質/有効性に影響し、遅延が短いほど両技法ともより効果的になる。
本明細書で説明される実施形態のいくつかは、2つの技法の組み合わせを使用し、2つの技法とは、(i)パケットロスをできるだけ早期に検出し、それがローカルリンクで起きた場合、それをアプリケーション/コーデックに直ちに通知すること、および(ii)失われたパケットによって引き起こされるエラーの伝搬を、RPS技法またはRSPS技法を使用することによって防止することである。イントラリフレッシュと組み合わされたRTCPフィードバックなど、従来の手法と比較した場合の、組み合わされた技法の使用による利得が、図12において分析されており、図12は、早期フィードバックと組み合わされたRPSと他の手法との有効性の比較を示している。図12のデータでは、パケットはローカルリンクで失われ、その確率は10e-2 であることを仮定している。線1201は、フィードバックがない場合のベースラインRSNRデータを表し、線1203は、遅延が3フレーム(90ms)である本発明のRPSとともに早期フィードバック技法を使用するシステムのデータを表し、線1205は、遅延が14フレーム(420ms)である本発明のRPSとともに早期フィードバック技法を使用するシステムのデータを表し、線1207は、遅延が33フレーム(約1秒)である本発明のRPSとともに早期フィードバック技法を使用するシステムのデータを表す。
RTCPフィードバック遅延が30msから420msの遅延に増加した場合、この実施形態の場合の利得改善は、約0.6ないし0.7dB利得が低下する。RTCPフィードバックがさらに1秒にまで増加した場合、PSNR低下は、30msの遅延と比較して、約1.0ないし1.2dBまで広がる。
上で説明された結果によって分かるように、本明細書で説明される方法およびシステムは、実際のシナリオにおいて、視覚品質のかなりの改善をもたらす。平均PSNRメトリックでは、改善は0.5ないし1dBの範囲内にある。知覚的に、改善は明らかであるが、それは、早期フィードバックが、復号器におけるエラー隠蔽ロジックの使用によって引き起こされる、ピクチャの「フリーズ」または徐々に増大する「ゴースト」などのアーチファクトを防止するからである。
ローカルリンクにおけるパケットロスについての情報を符号化器に提供するための数々の実施形態が説明され、それらは、パケットロスについての情報を符号化器に伝達するためのインターフェースを含む。一実施形態では、符号化器は、各フレームを符号化する前に、以下の情報を返す機能を呼び出し、その情報とは、(1)先に送信されたNALユニットがいずれも送信に成功したかどうか(またはいずれかが送信に成功しなかったかどうか)を識別するインジケータ、および(2)いくつかのNALユニットが送信に成功しなかった場合、最近失われたそれらのNALユニットのインデックスである。その後、符号化器は、RPSまたはRSPSを使用して、パケットロスによって影響を受ける最初のフレームよりも前に送信された1または複数のフレームから予測が行われるようにする。
一実施形態では、そのようなインターフェースは、KhronosのOpenMAX DLフレームワークの一部として提供される。代替実施形態では、RLCとアプリケーションレイヤとの間の1組の情報交換は、3GPP/LTEにおける規範的な拡張として標準化される。
さらなる実施形態では、ローカルリンクパケットロス通知を符号化器に伝達するために、RTCPにおけるカスタムメッセージ(例えば、APPタイプのメッセージ)が使用される。この通信プロセスは、既存のIETFプロトコルのフレームワーク内にカプセル化される。
モバイルビデオ電話における様々なアプリケーションが、図13Aないし図13Gに示されており、それらは、モバイルビデオ電話システムの7つの可能な構成を示している。ほとんどのシナリオが、2以上の無線リンクを含む。「ローカル」および「リモート」という用語は、ビデオ符号化器と問題のリンクとの間の距離を指すために使用される。
いくつかの実施形態では、本明細書で説明されるフィードバック方法およびロス伝搬防止方法は、「ローカルリンク」に適用される。いくつかの実施形態では、これらは、「リモートリンク」上でエラーの効果を抑制するための様々な方法と組み合わされる。これらの方法は、(i)リモートリンクとローカルリンクに異なるQoSレベルを設定すること、ならびに(ii)リモート基地局において、早期パケットロス検出およびRPSまたはRSPS技法と結合された、ビデオのトランスコーディングを使用することのうちの1または複数を含む。
異なるQoSレベルは、その内容が参照により本明細書に組み込まれる、2012年2月17日に出願された、「Video QOE Scheduling」と題する特許文献1において説明されるような、ネゴシエーションを通して決定および設定される。
リモートリンクにおいてより高いQoSを使用すると、ほとんどの送信エラーがローカルの/より脆弱なリンクにおいて発生するようになる傾向が生じ、それによって、より遠いリモートリンクにおいて失われるパケットを最少化するが、失われたパケットの送信とそのようなエラー情報の符号化器へのフィードバックとの間の遅延が長すぎて、エラー伝搬抑制技法が所望のピクチャ品質を提供することを可能にしない。
ローカルリンクとリモートリンクでのQoS差別化は、図13Aないし図13Gに示されるシナリオに関して説明され、ローカルリンクとリモートリンクに異なるQoSを割り当てることによってシステム性能を改善する可能性に近づく。
図13は、この例では送信を行っているノード1301の符号化器と、この例では受信/復号ノードであるリモートノード1303との間に、ただ1つの無線リンク1302(すなわち、ローカルアップリンク1302)しか存在しない、第1のシナリオを示している。図13Aの例におけるノード1301とノード1303との間のノード/要素は、基地局1305と、LTE/SAEネットワークインフラストラクチャ1307と、LTE/SAEネットワークとインターネットとの間のゲートウェイ1309と、インターネット1311とを含む。このシナリオは、無線ダウンリンクが存在しないので平凡である。
図13Bに示されるシナリオ2も、ただ1つの無線リンクしか有さず、ノード1301が受信/復号ノードであり、ノード1303が送信/符号化ノードであることを除いて、図13Aのシナリオ1と実質的に同じである。このシナリオでも、ただ1つの無線リンク1304しか存在しないが、それは受信機へのリモートダウンリンクである。ただ1つの無線リンクしか存在しないので、アップリンクとダウンリンクとの間の差別化は必要とされない(または適用可能ではない)。しかしながら、無線ダウンリンクはビデオ符号化器から遠く離れており、いかなるフィードバックメカニズムも過度な遅延を招くので、無線ダウンリンク1304のQoSレベルがパケットロスを最少化するのに十分な品質であることを保証することは依然として有益である。
図13Cに示されるシナリオ3では、送信ノード1301と受信ノード1313との間に、2つの無線リンク1306、1308が存在する。無線リンク1306、1308はともに、同じセル内に存在する。このケースでは、ダウンリンクはビデオ符号化器に近いので、フィードバック遅延は短く、アップリンクのために使用されるのと同じパケットロス検出方式およびビデオ符号化器適応方式が、ここでも同様に使用できる。
図13Dに示されるシナリオ4では、やはり、2つの無線リンクが、すなわち、(1)送信ノード1301と基地局1305との間のローカルアップリンク1310と、(2)基地局1315と受信ノード1317との間のリモートダウンリンク1312とが存在する。しかしながら、シナリオ4では、送信ノード1301と受信ノード1317は、同じLTE/SAEネットワーク1307の(それぞれ異なる基地局1305、1315によって表される)異なるセル内に配置される。無線ダウンリンクから送信ノード1301のビデオ符号化器までの遅延は、本発明によるフィードバックおよびエラー伝搬最小化の実用的な使用のためには長すぎるか、または長すぎない。
図13Eに示されるシナリオ5では、2つの無線リンクが、すなわち、(1)ノード1301と基地局1305との間の無線ローカルアップリンク1314と、(2)基地局1325と受信ノード1327との間の無線リモートダウンリンク1316とが存在し、それらは、異なるLTE/SAEネットワークに、すなわち、ネットワーク1307、1323に配置される。これら2つのネットワークは、インターネット1311と通るトンネル1319を介して、それぞれのゲートウェイ1309、1321を通して接続される。このシナリオでは、(ダウンリンク1316と送信ノード1301の符号化器との間の遅延が大きすぎるという)シナリオ4の場合と同じ理由で、フィードバックメカニズムを使用して、無線ダウンリンクにおけるパケットロスに対処するのは適切ではない。
図13Fに示されるシナリオ6は、2つのLTE/SAEネットワークの間にトンネルが存在しないことを除いて、図13Eに示されるシナリオ5とほとんど同じである。特に、2つの無線リンクが、すなわち、それぞれ異なるLTE/SAEネットワーク1307、1323に配置された、(1)ノード1301と基地局1305との間の無線ローカルアップリンク1318と、(2)基地局1325とノード1327との間の無線リモートダウンリンク1320とが存在する。カスタマイズされたトンネリングパケット形式は利用可能ではないので、無線ダウンリンク1320におけるQoS設定のために、LTE/SAEネットワーク1307とLTE/SAEネットワーク1323との間の追加的なシグナリングが必要とされる。
最後に、図13Gに示されるシナリオ7は、最も汎用的なシナリオである。ノード1301からアップロードされ、アップリンク1322を通り、基地局1305、第1のLTE/SAEネットワーク1307に到る各ビデオパケットには、2以上の宛先が存在する。宛先は、2以上のLTE/SAEネットワークに分散している。具体的には、この例では、(1)第1のネットワーク1307における基地局1357と第1の受信ノード1337との間の第1のダウンリンク1324と、(2)(適切なゲートウェイ1309、1337を介して、インターネット1311を通して、第1のネットワーク1307に接続された)別のLTE/SAEネットワーク1341における基地局1357とノード1359との間の第2のダウンリンク1326とが存在する。第2のネットワーク1341の異なるセル内のさらなる2つの受信ノード1349、1351は、別個の基地局1345を通して、また無線ダウンリンク1328、1330をそれぞれ通して、ビデオデータを受信する。最後に、(インターネット1311および適切なゲートウェイ1309、1339を介して第1のネットワーク1307と通信する)第3のネットワーク1343内のさらなる2つの受信機ノード1353、1355は、第3のネットワーク1343内の基地局1347を用いて、別のさらなる無線ダウンリンク1332、1334上でビデオデータを受信する。このシナリオでは、ビデオ符号化器(ノード1301)と様々な無線ダウンリンクの少なくとも大部分との間の大きな遅延に加えて、複数の無線ダウンリンクが存在し、それらは異なるパケットロス状態を経験するので、一般に、単一のビデオ符号化器を適応させることによって、パケットロスに対処することは可能ではない。
要約すると、無線ダウンリンクとビデオ符号化器との間の大きな遅延は、図13Dないし図13Gのシナリオ4ないし7に妥当する。例えば、図13Fのシナリオ6では、フィードバック遅延は、アップリンクの場合の90msとは対照的に、法外に長い、600msのオーダにあることができる。この問題を解決するために、一実施形態では、より高いQoSレベルが、リモートダウンリンク1320に対して使用され、それが、リモートダウンリンクにおいて、よりロバスト(robust)なARQメカニズムをもたらす。このように、パケットは、過度な遅延を招くことなく、より良く保護される。
LTEにおいて異なるQoSレベルを設定するための技法が、無線アップリンクと無線ダウンリンクとの間でそのようなQoS差別化を可能にする2つの例示的な実施形態に関して、今から説明される。各手法は、以下の3つの機能のうちのいずれかを含み(またはいずれも含まず)、3つの機能とは、(i)アップリンクのQoSレベルをネットワークが決定すること、(ii)パケットロス検出のためのフィードバックメカニズムがアップリンクおよびダウンリンクにおいて使用されるかどうかをネットワークが決定すること、ならびに(iii)ダウンリンクのQoSレベルをネットワークが決定することである。アップリンクの場合、一般に、フィードバックメカニズムが推奨される。
現行の3GPP仕様書は、9つのQoSレベル(QCI値)を定義している。各QoSレベルが、数々のアプリケーションに対して推奨される。3GPP仕様書の推奨に単純に従うと、アップリンクとダウンリンクにおいてアプリケーションが同じであるので、ダウンリンク上で送信されるビデオパケットは、アップリンク上のビデオパケットと同じQoSレベルを受け取る。
しかしながら、いくつかの実施形態は、現行の3GPP仕様書のPCC機能を利用して、アップリンクとダウンリンクとの間でのQoS差別化を可能にする。そのような一実施形態では、以下の手順が実行される。
1.ビデオアプリケーション(および場合によっては他のアプリケーション)の種類別に、どのQoSレベルがアップリンクトラフィックおよびダウンリンクトラフィックに対して使用されるべきかを指示するために、ネットワークオペレータが方針をネットワークにアップロードする。
2.ネットワークがビデオトラフィックフローを検出し、そのアプリケーション種類(ビデオストリーミング、ビデオ会議など)と、アップリンク/ダウンリンク方向とを決定する。
3.ネットワークが方針を参照し、検出されたビデオトラフィックフローにどのQoSレベルが適用されるべきかを決定する。
アプリケーション種類を決定するために、一実施形態は、ディープパケットインスペクション(DPI)を使用し、代替実施形態は、アプリケーション機能を使用し、その両方が、以下でさらに詳細に説明される。
図14Aおよび図14Bは、DPIベースの手法を使用する一実施形態のための信号フローおよび動作を示す図を含む。特定のステップばかりでなく、方法全体についても、多くの変形が可能であることが理解される。ネットワークオペレータによるPCRFへの方針のアップロードは、頻繁には発生しないので、示されていない。方針は、(1)加入カテゴリ別のアップリンクトラフィックおよびダウンリンクトラフィックの所望のQoSレベル、ならびに(2)フィードバックメカニズムを使用してパケットロスについての情報を提供できる条件についての情報を含む。これらの条件は、送信機UE(ビデオ符号化器)と無線ダウンリンクとの間の遅延に関係する。
1つの例示的なDPIベースの手法による信号フローおよび動作図を共同して含む、図14Aおよび図14Bをここで参照すると、送信UE1401がビデオパケットを送信する。ビデオパケットは、ローカルeNB1403を通り、ローカルネットワークのP−GW1409まで、ローカルLTEネットワークを横断する。これは、図の1−aに表されている。ローカルP−GW1409は、1−bに示されるように、インターネット1410を通して、リモートネットワークの対応するP−GW1413に、パケットを送信する。リモートネットワークのP−GW1413は、1−cに示されるように、リモートLTE/SAEネットワークを通して、ダウンリンク方向にパケットを転送する。
2−aに示されるように、P−GW1409またはアップリンクにおいて、SDFを検出するために、DPIが実行される。同様に、2−bに示されるように、ダウンリンクのP−GWにおいても、DPIが使用される。
その後、P−GW1409、および1413は各々、SDFに関連付けられたPCCルールを要求するメッセージ3−a、3−bを、それぞれ、PCRF1405、1419に送信する。PCCルールは、QoSレベル、SDFを拒否するかどうかなどを含む。
4−aおよび4−bに示されるように、PCRF1405、1419は、検出されたSDFのUEに関連付けられた加入情報を取得するために、それぞれのSPR1407、1417と交信する。
5−aおよび5−bに示されるように、SPR1407、1417は、加入情報を用いて応答する。
6−aおよび6−bに示されるように、PCRF1405、1419は、加入情報およびネットワークオペレータによってアップロードされた方針を使用して、それぞれのSDFのためのPCCルールを導出する。しかしながら、アップリンクとダウンリンクとでは所望のQoSレベルが異なるので、導出されたPCCルールは、2つのLTE/SAEネットワークで異なる。
7−aおよび7−bに示されるように、PCRF1405、1419は、それぞれのP−GW1409、1413に、PCCルールを送信する。
次に、送信UE1401と受信UE1423との間の通信のためにフィードバックメカニズムが利用されるかどうかが決定される。これは、図14Aおよび図14Bに示される、参照番号が8−1ないし9−aのステップの一部または全部を必要とする。特定の状況に応じて、これらのステップの必ずしもすべてが実行されるわけではない。
一実施形態では、単純に問題のシナリオを図13Aないし図13Gに示される7つのシナリオの1つに分類することによって、アップリンクおよび/またはダウンリンクにおいてフィードバックを利用すべきかどうかについての決定を行うことが可能であるが、これは、すべてのケースにおいて最適な動作をもたらすわけではない。例えば、図13Fに示されるシナリオ6では、UE1301がP−GW1309に近く、P−GW1309とP−GW1329との間の経路が短く、P−GW1329がUE1327に近く、したがって、ダウンリンクにおいてフィードバックを使用することが望ましい可能性も十分にある。したがって、図14Aおよび図14Bは、よりロバストな実施形態を示している。特に、この実施形態では、8−1に示されるように、アップリンクLTE/SAEネットワークのP−GW1409は、無線ダウンリンクのeNBのアドレス(例えば、IPアドレス)を要求する。この要求は、以下の情報、すなわち、(1)UE受信機1423のIPアドレスと、(2)メッセージ8−1を送信したP−GW1409のIPアドレスとを含む。
次に、ダウンリンクLTE/SAEネットワークのP−GW1413は、自身の加入サービス(図示されず)に要求を転送し、UE受信機1423(やはり図示されず)に現在サービスしているeNB1421のIPアドレスを応答として受信し、その後、要求を行ったP−GW1409に、IPアドレスを有する応答メッセージ8−2を送信する。
次に、アップリンクLTE/SAEネットワークにおいて、P−GW1409は、遅延テストパケットをダウンリンクネットワークのeNB1421に送信するように求める要求メッセージ8−3を、アップリンクeNB1403に送信する。このメッセージは、ダウンリンクネットワークのeNB1421のアドレスを含む。
応答して、eNB1403は、遅延テストパケット8−4をダウンリンクeNB1421に送信する。遅延テストパケットは、少なくとも、(1)自身のアドレスと、(2)ダウンリンクeNBのアドレスと、(3)タイムスタンプとを含む。テストパケットは、ICMPピングメッセージである。
ダウンリンクeNB1421は、ACK8−5を返信する。ACKメッセージは、以下の情報、すなわち、(1)アップリンクeNBのアドレスと、(2)ダウンリンクeNBのアドレスと、(3)ACKが生成された時のタイムスタンプと、(4)遅延テストパケットからコピーされたタイムスタンプとを含む。
次に、アップリンクeNB1403は、自身とダウンリンクeNB1421との間の遅延を計算し、報告メッセージ8−6をアップリンクP−GW1409に送信する。
アップリンクP−GW1409は、遅延報告の受信を確認するために、ACKメッセージ8−7をアップリンクeNB1403に返信する。報告は、以下の情報、すなわち、(1)アップリンクP−GWのアドレスと、(2)アップリンクeNBのアドレスと、(3)ダウンリンクeNBのアドレスとを含む。
その後、アップリンクP−GW1409は、アップリンクeNBから報告された遅延に基づいて、フィードバック遅延を評価し、フィードバック遅延をPCCルールと比較する。その後、それは、パケットロスを検出するためのフィードバックメカニズムがアップリンクおよび/またはダウンリンクに対して使用されるべきかどうかを決定する。
その後、アップリンクP−GW1409は、フィードバックメカニズムを使用すべきかどうかの決定を、メッセージ8−9でダウンリンクP−GW1413に通知する。メッセージ8−9は、以下の情報、すなわち、(1)アップリンクP−GWのアドレスと、(2)ダウンリンクP−GWのアドレスと、(3)アップリンクeNBのアドレスと、(4)ダウンリンクeNBのアドレスと、(5)UE送信機のアドレスと、(6)UE受信機のアドレスと、(7)アプリケーション種類と、(8)メッセージIDとを有する。
ダウンリンクP−GW1413は、ACK8−10を用いて応答し、ACK8−10は、メッセージ8−9に含まれるのと同じタイプの情報を含む。加えて、それは、自身のメッセージIDも含む。
2つのUEが同じLTE/SAEネットワーク内に存在する場合、メッセージ8.1、8.2、8.9、および8.10は使用されないことに留意されたい。
アップリンクP−GW1409およびダウンリンクP−GW1413は、それぞれの無線リンク上でパケットロスを検出するためのフィードバックメカニズムが使用可能にされたかどうかを示すメッセージ9−aおよび9−bを、それぞれ、送信eNB1401および受信eNB1423に送信する。
一実施形態では、アップリンクに対しては、フィードバックが常に使用可能にされる。他方、ダウンリンクに対しては、決定は、(ビデオ符号化器が配置される)送信機UE1401と問題の無線ダウンリンクとの間の実際の遅延に依存すべきである。
次に、各P−GW1409、1413は、EPSベアラの設定を開始し、PCRFから受信したPCCルールに基づいて、QoSレベルをEPSベアラに割り当てる。図14Aおよび図14Bでは、アップリンクネットワークおよびダウンリンクネットワークのためのこの一連のイベントは、それぞれ、参照番号10−aおよび10−bで表されている。
最後に、送信UE1401がビデオパケットを送信した場合、このビデオパケットは、LTE/SAEネットワークにおいて、新しいQoSレベルでサービスされる。図14Aおよび図14Bでは、これらのイベントは、それぞれ、参照番号11−aおよび11−bで表されている。
あるいは、アプリケーション機能ベースの手法が使用される。例えば、DPI方法では、暗号化の使用は、所望のQoSレベルを決定するために必要とされる情報をP−GWが通過ビデオパケットから獲得することをきわめて困難にする。アプリケーション機能ベースの手法では、P−GWは、データ(ビデオ)パケットを検査しない。代わりに、アプリケーション機能は、UEによって使用されるアプリケーションから必要な情報を抽出し、その情報をPCRFに渡す。例えば、アプリケーション機能は、IMSシステムにおいて使用されるP−CSCF(プロキシ−呼サービス制御機能)とすることができる。アプリケーションシグナリングは、SIPによって搬送される。SIP INVITEパケット(RFC3261)ペイロードは、セッション記述プロトコル(SDP)(RFC2327)パケットを含み、今度は、SDPパケットが、マルチメディアセッションによって使用されるパラメータを含む。
いくつかの実施形態では、アップリンクトラフィックおよびダウンリンクトラフィックのための所望のQoSレベル、およびパケットロス検出フィードバックメカニズムをトリガするための遅延閾値を記述するために、SDPパケットのアトリビュートが定義される。例えば、SDFシンタックス(RFC2327)によれば、
a=uplinkLoss:2e-3
a=downlinkLoss:1e-3
a=maxFeedbackDelay:2e-1
であり、上記の意味は、以下の通りである。
○許容可能なアップリンクパケットロスは、2×10-3
○許容可能なダウンリンクパケットロスは、1×10-3
○任意のパケットロス検出のための最大フィードバック遅延は、2×10-1秒、すなわち、200ms
アプリケーション機能ベースの手法の例示的な一実施形態によるシグナリングおよび動作が、図15Aおよび図15Bに示されている。多くの変形が可能である。
アップリンクUE1501は、アプリケーションパケットを送信し、アプリケーションパケットは、アップリンクUEによって定義されたアトリビュートを有する、上記説明されたSIP INVITEパケットとすることができる。このパケットは、両方のLTE/SAEネットワークを横断する。アップリンクネットワークおよびダウンリンクネットワークにおけるこれらのイベントは、それぞれ、参照番号21−aおよび21−bで表されている。
アップリンクネットワークおよびダウンリンクネットワークの各々におけるAF1505、1521は、アプリケーションパケットから、アプリケーション情報および可能ならばQoSパラメータを抽出する。これらのイベントは、それぞれ、参照番号22−aおよび22−bで表されている。
それぞれ、23−aおよび23−bに示されるように、AF1505、1521は、抽出されたアプリケーション情報およびQoS情報を、それぞれのPCRF1507、1519に送信する。
図14Aおよび図14BのDPIベースの実施形態の場合と同様に、24−aおよび24−bに示されるように、PCRF1507、1519は、それぞれのSPR1509、1517と交信して、検出されたSDFのUEに関連付けられた加入情報を取得し、25−aおよび25−bに示されるように、SPR1509、1517は、加入情報を用いて応答する。
次に、一例としてアップリンクネットワークを使用すると、QoSパラメータが指定されている場合、26−1−aに示されるように、PCRF1507は、そのSDFに適合するQoSレベル(例えば、QCI値)を見出し、メッセージ26−2−aをUE1501に送信して、それにQoS要求の結果を通知する。それ以外の場合、PCRFが、QoSレベルを導出する。
動作26−1−bによって示されるように、ダウンリンクメッセージでも同じことが行われ、PCRF1519は、適合するQoSレベルを見出し、メッセージ26−2−bをダウンリンクUE1525に送信して、それにQoS要求の結果を通知する。
メッセージ26−2−aおよび26−2−bは、以下の情報、すなわち、(1)UEのアドレスと、(2)SDFの識別子、例えば、宛先IPアドレス、送信元ポート番号、宛先ポート番号、プロトコル番号と、(3)QoS要求が承認されたかどうかと、(4)QoS要求が拒否された場合の、使用することが推奨されるQoSとを有する。
残りのシグナリングおよび動作27−a、27−b、28−1、28−2、28−3、28−4、28−5、28−6、28−7、28−8、29−a、29−b、30−a、30−b、31−a、および31−bは、基本的に、図14Aおよび図14Bの対応するシグナリングおよび動作と、すなわち、7−a、7−b、8−1、8−2、8−3、8−4、8−5、8−6、8−7、8−8、8−9−a、8−9−b、10−a、10−b、11−a、および11−bとそれぞれ同じである。
いくつかの実施形態では、リモート基地局におけるRPSまたはRSPS動作を含む、リモートリンクにおけるエラー伝搬を防止するためのトランスコーディングも使用される。そのような手法の一実施形態を示すシステム図が、図16に示されている。
図1に示されるシステムと同様に、図16に示されるシステムでは、第1のUE1618から第2のUE1624へのビデオの送信には、例えば、第1のUE1618とローカル基地局(eNB)1620との間の第1の「ローカル」無線リンク1615、eNB1620から第1のネットワークの無線ネットワークゲートウェイ1630へのリンク、およびインターネット1628を介する、無線ネットワークゲートウェイ1630からリモートネットワークのゲートウェイ1632へのリンク、ならびにそのリモートネットワークにおける、eNB1622へのリンク、および第2のユーザのUE1624への無線リンク1623上のリンクを含む、いくつかの通信リンクが関与する。
パケットロスの早期検出およびエラー伝搬抑制のための本明細書において上述された技法は、先に説明されたように、ローカル無線リンク1615において使用され、図16では総称的に線1626によって表されている。しかしながら、多くの場合、リモート無線リンク1623と送信元UE1618との間の送信遅延は長すぎて、単純にそれらの技法をリモートリンクに拡張することはできない。
そのような場合、主にローカル無線リンクに関して上で説明された技法に類似する早期パケットロス検出技法およびエラー伝搬抑制技法が、リモートリンク1623において適用される。しかしながら、これらの実施形態では、リモート基地局は、入力として受信したビデオパケットのトランスコーディングを実行し、符号化動作は、リモート基地局1622と受信UE1624との間で実行される。これらの動作は、図16では線1626によって表されている。
いくつかの実施形態では、リモート基地局1622におけるトランスコーディングは、パケットが失われた場合に限って起動される。パケットロスが生じない場合、基地局1622は、RTPパケットの着信シーケンスを、無線リンク1623上で、UE1624に単純に送信する。
その後、パケットロスが検出された場合、基地局は、トランスコーディングを開始することによって、ロス伝搬を防止する。一実施形態では、パケットロスが検出されると、基地局1622は、最後に送信が成功したフレームにRPSまたはRSPSを使用することによって、次のフレーム/パケットをトランスコードする。ゴーストを防止するために、失われたフレームに後続する(次のIDRフレームが受信されるまでの)フレームは、送信に成功した先行フレームを参照して、Pピクチャとしてトランスコードされる。このトランスコーディングプロセスにおいて、QPレベル、マクロブロックタイプ、および動きベクトルなどの、多くの符号化パラメータは、損なわれずに保つことができ、または決定プロセスを簡素化し、プロセスの複雑さを相対的に低く維持するための、良好な開始ポイントとして使用することができる。
ローカルリンク1615上でのRPS/RSPSと結合させれば、この技法は、無線リンクによって導入されるエラーに対抗するのに十分である。通信チェーンの無線部分における輻輳が原因でパケットが遅延する、または失われる場合に対処するために、依然として、グローバルRTCPフィードバックが使用される。
上で示されたように、早期パケットロス検出方法は、ビデオ電話アプリケーションにおける配送品質を高めるための補助的技法として使用される。それは、RTSP/RTPベースのストリーミングアプリケーションの性能を高めるための独立した技法としても使用される。1つのそのようなアーキテクチャが、図17に示されている。図17の例では、データは、ビデオカメラ1756などのソースノードにおいて生成される。データは、符号化器1754において符号化され、コンテンツデータネットワーク(CDN)1752にアップロードされる。ストリーミングサーバ1750は、CDN1752からデータを取得し、それをインターネット1728上でLTE/SAEネットワークのゲートウェイ1730にストリーム送信する。先に説明されたように、ゲートウェイ1730は、データをeNB1720などの基地局に送信し、基地局は、データを無線リンク1715上で受信UE1718に送信する。ビデオ会議アプリケーションまたはVoIPアプリケーションと同様に、RTSPストリーミングサーバは、ビデオデータをRTP上で送信する。さらに、そのようなデータは、リモート基地局1730と受信デバイス1718との間のダウンリンク上で失われることがある。図17に見ることができるように、RTCP上での従来のシグナリングは、複数のネットワークおよびセグメントを関与させ、かなりの遅延を招く。基地局1720と受信機1718との間における(線1718によって表される)トランスコーディング、パケットロス検出、およびRPSまたはRSPS機能の利用は、本明細書において上述されたように、パケットロスによって引き起こされるエラーの伝搬を抑制する。
多くの場合、基地局1720のトランスコーダは、それが扱うストリームまたはアプリケーションの種類について知っている必要すらない。それは、RTPおよびビデオコンテンツを検出するためにパケットヘッダを解析し、それの配送が成功したかどうかをチェックするだけである。配送が成功しなかった場合、それは、アプリケーションのデータのタイプを全く知る必要なしに、エラー伝搬を最小化するために、トランスコーディングを起動する。
ビデオ会議またはVoIPとは異なり、ストリーミングシステムは、遅延を許容でき、原理的に、RTCPまたは独自仕様のプロトコルを使用して、アプリケーションレベルのARQ(および付随する失われたパケットの再送)を実施できる。そのような再送を防止するために、トランスコーダは、追加的に、失われたパケットに対応するシーケンス番号を有する遅延したRTPパケットを生成し、それを送信する。そのようなパケットは、ペイロードを含まず、または透過型(全スキップモード)Pフレームを含む。
図18Aは、1または複数の開示される実施形態が実施される例示的な通信システム100の図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムである。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にする。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、およびシングルキャリアFDMA(SC−FDMA)など、1または複数のチャネルアクセス方法を利用する。
図18Aに示されるように、通信システム100は、無線送信/受信ユニット(WTRU)102a、102b、102c、102d、無線アクセスネットワーク(RAN)104、コアネットワーク106、公衆交換電話網(PSTN)108、インターネット110、および他のネットワーク112を含むが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスである。例を挙げると、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成され、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品などを含む。
通信システム100は、基地局114aおよび基地局114bも含む。基地局114a、114bの各々は、コアネットワーク106、インターネット110、および/またはネットワーク112などの1または複数の通信ネットワークへのアクセスを容易化するために、WTRU102a、102b、102c、102dの少なくとも1つと無線でインターフェースを取るように構成された、任意のタイプのデバイスである。例を挙げると、基地局114a、114bは、基地トランシーバ局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどである。基地局114a、114bは各々、単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことが理解されよう。
基地局114aは、RAN104の部分であり、RAN104は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含む。基地局114aおよび/または基地局114bは、セル(図示されず)と呼ばれることがある特定の地理的領域内で、無線信号を送信および/または受信するように構成される。セルは、さらにセルセクタに分割される。例えば、基地局114aに関連付けられたセルは、3つのセクタに分割される。したがって、一実施形態では、基地局114aは、送受信機を3つ、すなわち、セルのセクタ毎に1つずつ含む。別の実施形態では、基地局114aは、マルチ入力マルチ出力(MIMO)技術を利用し、したがって、セルのセクタ毎に複数の送受信機を利用する。
基地局114a、114bは、エアインターフェース116上で、WTRU102a、102b、102c、102dの1または複数と通信し、エアインターフェース116は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)である。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立される。
より具体的には、上で言及したように、通信システム100は、多元接続システムであり、CDMA、TDMA、FDMA、OFDMA、およびSC−FDMAなどの、1または複数のチャネルアクセス方式を利用する。例えば、RAN104内の基地局114a、およびWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインターフェース116を確立する、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施する。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含む。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含む。
別の実施形態では、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)を使用してエアインターフェース116を確立する、進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実施する。
他の実施形態では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.16(すなわち、マイクロ波アクセス用の世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM(登録商標))、GSMエボリューション用の高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施する。
図18Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであり、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を容易化するために、任意の適切なRATを利用する。一実施形態では、基地局114b、およびWTRU102c、102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立する。別の実施形態では、基地局114b、およびWTRU102c、102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立する。また別の実施形態では、基地局114b、およびWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立する。図18Aに示されるように、基地局114bは、インターネット110への直接的な接続を有する。したがって、基地局114bは、コアネットワーク106を介して、インターネット110にアクセスする必要がない。
RAN104は、コアネットワーク106と通信し、コアネットワーク106は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスをWTRU102a、102b、102c、102dの1または複数に提供するように構成された、任意のタイプのネットワークである。例えば、コアネットワーク106は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供し、かつ/またはユーザ認証など、高レベルのセキュリティ機能を実行する。図18Aには示されていないが、RAN104および/またはコアネットワーク106は、RAN104と同じRATまたは異なるRATを利用する他のRANと直接的または間接的に通信することが理解されよう。例えば、E−UTRA無線技術を利用するRAN104に接続されるのに加えて、コアネットワーク106は、GSM無線技術を利用する別のRAN(図示されず)とも通信する。
コアネットワーク106は、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするための、WTRU102a、102b、102c、102dのためのゲートウェイとしてもサービスする。PSTN108は、基本電話サービス(POTS)を提供する回路交換電話網を含む。インターネット110は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークとデバイスとからなるグローバルシステムを含む。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される有線または無線通信ネットワークを含む。例えば、ネットワーク112は、RAN104と同じRATまたは異なるRATを利用できる1または複数のRANに接続された、別のコアネットワークを含む。
通信システム100内のWTRU102a、102b、102c、102dのいくつかまたはすべては、マルチモード機能を含み、すなわち、WTRU102a、102b、102c、102dは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含む。例えば、図18Aに示されたWTRU102cは、セルラベースの無線技術を利用する基地局114aと通信するように、またIEEE802無線技術を利用する基地局114bと通信するように構成される。
図18Bは、例示的なWTRU102のシステム図である。図18Bに示されるように、WTRU102は、プロセッサ118と、送受信機120と、送信/受信要素122と、スピーカ/マイクロフォン124と、キーパッド126と、ディスプレイ/タッチパッド128と、着脱不能メモリ130と、着脱可能メモリ132と、電源134と、全地球測位システム(GPS)チップセット136と、他の周辺機器138とを含む。WTRU102は、一実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、状態機械などである。プロセッサ118は、信号符号化、データ処理、電力制御、入出力処理、および/またはWTRU102が無線環境で動作することを可能にする他の任意の機能を実行する。プロセッサ118は、送受信機120に結合され、送受信機120は、送信/受信要素122に結合される。図18Bは、プロセッサ118と送受信機120を別々のコンポーネントとして示しているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合されることが理解されよう。
送信/受信要素122は、エアインターフェース116上で、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成される。例えば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナである。別の実施形態では、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器である。また別の実施形態では、送信/受信要素122は、RF信号と光信号の両方を送信および受信するように構成される。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成されることが理解されよう。
加えて、図18Bでは、送信/受信要素122は単一の要素として示されているが、WTRU102は、任意の数の送信/受信要素122を含む。より具体的には、WTRU102は、MIMO技術を利用する。したがって、一実施形態では、WTRU102は、エアインターフェース116上で無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含む。
送受信機120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信された信号を復調するように構成される。上で言及したように、WTRU102は、マルチモード機能を有する。したがって、送受信機120は、WTRU102が、例えば、UTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための、複数の送受信機を含む。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合され、それらからユーザ入力データを受け取る。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力もする。加えて、プロセッサ118は、着脱不能メモリ130および/または着脱可能メモリ132など、任意のタイプの適切なメモリから情報を入手し、かつそれらにデータを記憶する。着脱不能メモリ130は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含む。着脱可能メモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含む。他の実施形態では、プロセッサ118は、WTRU102上に物理的に配置されたメモリではなく、サーバまたはホームコンピュータ(図示されず)などの上に配置されたメモリから情報を入手し、かつそれらにデータを記憶する。
プロセッサ118は、電源134から電力を受け取り、WTRU102内の他のコンポーネントへの電力の分配および/または制御を行うように構成される。電源134は、WTRU102に給電するための任意の適切なデバイスである。例えば、電源134は、1または複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含む。
プロセッサ118は、GPSチップセット136にも結合され、GPSチップセット136は、WTRU102の現在位置に関する位置情報(例えば、経度および緯度)を提供するように構成される。GPSチップセット136からの情報に加えて、またはその代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116上で位置情報を受け取り、かつ/または2つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定する。WTRU102は、一実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて、位置情報を獲得することが理解されよう。
プロセッサ118は、他の周辺機器138にさらに結合され、他の周辺機器138は、追加的な特徴、機能、および/または有線もしくは無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含む。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含む。
図18Cは、一実施形態による、RAN104およびコアネットワーク106のシステム図である。上述したように、RAN104は、UTRA無線技術を利用して、エアインターフェース116上でWTRU102a、102b、102cと通信する。RAN104は、コアネットワーク106とも通信する。図18Cに示されるように、RAN104は、ノードB140a、140b、140cを含み、ノードB140a、140b、140cは各々、エアインターフェース116上でWTRU102a、102b、102cと通信するための1または複数の送受信機を含む。ノードB140a、140b、140cは各々、RAN104内の特定のセル(図示されず)に関連付けられる。RAN104は、RNC142a、142bも含む。RAN104は、一実施形態との整合性を保ちながら、任意の数のノードBおよびRNCを含むことが理解される。
図18Cに示されるように、ノードB140a、140bは、RNC142aと通信する。加えて、ノードB140cは、RNC142bと通信する。ノードB140a、140b、140cは、Iubインターフェースを介して、それぞれのRNC142a、142bと通信する。RNC142a、142bは、Iurインターフェースを介して、互いに通信する。RNC142a、142bの各々は、それが接続されたそれぞれのノードB140a、140b、140cを制御するように構成される。加えて、RNC142a、142bの各々は、アウタループ電力制御、負荷制御、アドミッションコントロール、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化など、他の機能を実施またはサポートするように構成される。
図18Cに示されるコアネットワーク106は、メディアゲートウェイ(MGW)144、モバイル交換センタ(MSC)146、サービングGPRSサポートノード(SGSN)148、および/またはゲートウェイGPRSサポートノード(GGSN)150を含む。上記の要素の各々は、コアネットワーク106の部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営されることが理解される。
RAN104内のRNC142aは、IuCSインターフェースを介して、コアネットワーク106内のMSC146に接続される。MSC146は、MGW144に接続される。MSC146およびMGW144は、PSTN108などの回路交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易化する。
RAN104内のRNC142aは、IuPSインターフェースを介して、コアネットワーク106内のSGSN148にも接続される。SGSN148は、GGSN150に接続される。SGSN148およびGGSN150は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易化する。
上述したように、コアネットワーク106は、ネットワーク112にも接続され、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含む。
図18Dは、別の実施形態による、RAN104およびコアネットワーク106のシステム図である。上述したように、RAN104は、エアインターフェース116上でWTRU102a、102b、102cと通信するために、E−UTRA無線技術を利用する。RAN104は、コアネットワーク106とも通信する。
RAN104は、eノードB160a、160b、160cを含むが、RAN104は、一実施形態との整合性を保ちながら、任意の数のeノードBを含むことが理解される。eノードB160a、160b、160cは、各々が、エアインターフェース116上でWTRU102a、102b、102cと通信するための1または複数の送受信機を含む。一実施形態では、eノードB160a、160b、160cは、MIMO技術を実施する。したがって、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつWTRU102aから無線信号を受信する。
eノードB160a、160b、160cの各々は、特定のセル(図示されず)に関連付けられ、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成される。図18Dに示されるように、eノードB160a、160b、160cは、X2インターフェース上で互いに通信する。
図18Dに示されるコアネットワーク106は、モビリティ管理ゲートウェイ(MME)162、サービングゲートウェイ164、およびパケットデータネットワーク(PDN)ゲートウェイ166を含む。上記の要素の各々は、コアネットワーク106の部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営されることが理解される。
MME162は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続され、制御ノードとしての役割を果たす。例えば、MME162は、WTRU102a、102b、102cのユーザの認証、ベアラアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期接続中における特定のサービングゲートウェイの選択などを担う。MME162は、RAN104とGSMまたはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能も提供する。
サービングゲートウェイ164は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続される。サービングゲートウェイ164は、一般に、ユーザデータパケットのWTRU102a、102b、102cへの/からの経路選択および転送を行う。サービングゲートウェイ164は、eノードB間ハンドオーバ中におけるユーザプレーンのアンカリング(anchoring)、ダウンリンクデータがWTRU102a、102b、102cに利用可能な場合に行う一斉呼出のトリガ、WTRU102a、102b、102cのコンテキストの管理および記憶など、他の機能も実行する。
サービングゲートウェイ164は、PDNゲートウェイ166にも接続され、PDNゲートウェイ166は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易化する。
コアネットワーク106は、他のネットワークとの通信を容易化する。例えば、コアネットワーク106は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易化する。例えば、コアネットワーク106は、コアネットワーク106とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含み、またはIPゲートウェイと通信する。加えて、コアネットワーク106は、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供し、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含む。
図18Eは、別の実施形態による、RAN104およびコアネットワーク106のシステム図である。RAN104は、IEEE802.16無線技術を利用して、エアインターフェース116上でWTRU102a、102b、102cと通信する、アクセスサービスネットワーク(ASN)である。以下でさらに説明するように、WTRU102a、102b、102c、RAN104、およびコアネットワーク106の異なる機能エンティティ間の通信リンクは、参照点として定義される。
図18Eに示されるように、RAN104は、基地局170a、170b、170cと、ASNゲートウェイ172とを含むが、RAN104は、一実施形態との整合性を保ちながら、任意の数の基地局とASNゲートウェイとを含むことが理解される。基地局170a、170b、170cは、各々が、RAN104内の特定のセル(図示されず)に関連付けられ、各々が、エアインターフェース116上でWTRU102a、102b、102cと通信するための1または複数の送受信機を含む。一実施形態では、基地局170a、170b、170cは、MIMO技術を実施する。したがって、基地局170aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつWTRU102aから無線信号を受信する。基地局170a、170b、170cは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシ実施などの、モビリティ管理機能も提供する。ASNゲートウェイ172は、トラフィック集約ポイントとしてサービスし、ページング、加入者プロファイルのキャッシング、コアネットワーク106へのルーティングなどを担う。
WTRU102a、102b、102cとRAN104との間のエアインターフェース116は、IEEE802.16仕様を実施する、R1参照点として定義される。加えて、WTRU102a、102b、102cの各々は、コアネットワーク106との論理インターフェース(図示されず)を確立する。WTRU102a、102b、102cとコアネットワーク106との間の論理インターフェースは、R2参照点として定義され、R2参照点は、認証、認可、IPホスト構成管理、および/またはモビリティ管理のために使用される。
基地局170a、170b、170cの各々の間の通信リンクは、WTRUハンドオーバおよび基地局間でのデータの転送を容易化するためのプロトコルを含む、R8参照点として定義される。基地局170a、170b、170cとASNゲートウェイ172の間の通信リンクは、R6参照点として定義される。R6参照点は、WTRU102a、102b、102cの各々に関連するモビリティイベントに基づいたモビリティ管理を容易化するためのプロトコルを含む。
図18Eに示されるように、RAN104は、コアネットワーク106に接続される。RAN104とコアネットワーク106の間の通信リンクは、例えばデータ転送およびモビリティ管理機能を容易化するためのプロトコルを含む、R3参照点として定義される。コアネットワーク106は、モバイルIPホームエージェント(MIP−HA)174と、認証認可課金(AAA)サーバ176と、ゲートウェイ178とを含む。上記の要素の各々は、コアネットワーク106の部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営されることが理解される。
MIP−HA174は、IPアドレス管理を担い、WTRU102a、102b、102cが、異なるASNの間で、および/または異なるコアネットワーク106の間でローミングを行うことを可能にする。MIP−HA174は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易化する。AAAサーバ176は、ユーザ認証、およびユーザサービスのサポートを担う。ゲートウェイ178は、他のネットワークとの網間接続を容易化する。例えば、ゲートウェイ178は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易化する。加えて、ゲートウェイ178は、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供し、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含む。
図18Eには示されていないが、RAN104は、他のASNに接続され、およびコアネットワーク106は、他のコアネットワークに接続されることが理解される。RAN104と他のASNとの間の通信リンクは、R4参照点として定義され、R4参照点は、RAN104と他のASNの間で、WTRU102a、102b、102cのモビリティを調整するためのプロトコルを含む。コアネットワーク106と他のコアネットワークとの間の通信リンクは、R5参照として定義され、R5参照は、ホームコアネットワークと在圏コアネットワークとの間の網間接続を容易化するためのプロトコルを含む。
様々な頭字語、用語、および略語が、本明細書では使用され、それらは、以下のいくつかを含む。
ACK 肯定応答
AF アプリケーション機能
DPI ディープパケットインスペクション
AM 確認型モード
DPI ディープパケットインスペクション
IP インターネットプロトコル
Iフレーム イントラフレーム
IDRフレーム 瞬時復号リフレッシュフレーム
LTE ロングタームエボリューション、セルラシステムの規格
MAC 媒体アクセス制御、LTE PHYの上のサブレイヤ
MB マクロブロック
MMCO メモリ管理制御操作
NACK 否定応答
NAL ネットワークアブストラクションレイヤ、ビデオ符号化器出力のフォーマット
PDCP パケットデータ制御プロトコル、LTE RLCの上のサブレイヤ
PDU プロトコルデータユニット
Pフレーム 予測フレーム
P−GW PDNゲートウェイ
PHY LTEの物理レイヤ
PCC LTEにおけるポリシおよび課金制御
PCRF ポリシ課金およびルール機能
PCEF ポリシ課金実施機能
PDN パケットデータネットワーク(通常−P−GW上でLTEに接続される外部ネットワーク)
QCI QoSクラス識別子(9つの値、LTEにおいて定義される)
QoS サービス品質
RLC 無線リンク制御、LTE PDCPとMACとの間のサブレイヤ
RPS 参照ピクチャリフレッシュ
RTCP リアルタイム制御プロトコル
RTP リアルタイムトランスポートプロトコル、アプリケーションレイヤプロトコル
SAE システムアーキテクチャエボリューション
SDF サービスデータフロー
SDP セッション記述プロトコル
SDU サービスデータユニット
SIP セッション開始プロトコル
SN シーケンス番号
TCP 伝送制御プロトコル、トランスポートレイヤプロトコル
TM 透過モード
UDP ユーザデータグラムプロトコル、トランスポートレイヤプロトコル
UM 非確認型モード
実施形態
一実施形態では、ビデオデータをネットワーク上で送信する方法であって、無線パケットロスデータを無線送信受信ユニット(WTRU)において受信するステップと、無線パケットロスデータからビデオパケットロスデータを決定するステップと、ビデオデータの符号化に使用するために、ビデオパケットロスデータをWTRU上で動作するビデオ符号化器アプリケーションに提供するステップとを備えた方法が実施される。
この実施形態によれば、方法は、ビデオ符号化器が、ビデオパケットロスデータに応答して、エラー伝搬抑制プロセスを行うステップをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、瞬時復号リフレッシュフレームを生成することを含むことをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、イントラリフレッシュフレームを生成することを含むことをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、参照ピクチャ選択方法を使用して、符号化ビデオを生成することを含むことをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、参照ピクチャ組選択方法を使用して、符号化ビデオを生成することを含むことをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、パケットロスインジケーションデータに基づいて選択された1または複数の参照ピクチャを使用して、符号化ビデオを生成することを含むことをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、イントラリフレッシュフレームまたは瞬時復号リフレッシュフレームを生成することと、P予測符号化モードを使用して、符号化ビデオを生成することと、一方では、イントラリフレッシュフレームまたは瞬時復号リフレッシュフレーム、およびP予測符号化モードを使用した符号化ビデオの一方を、送信のために選択することとを含むことをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、基地局によって無線送信受信ユニット(WTRU)に提供されることをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、無線リンク制御(RLC)プロトコルレイヤにおいて生成されることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットが、リアルタイムプロトコル(RTP)を使用して転送されることをさらに備えた。
先行する実施形態の1または複数は、無線トランスポートプロトコルが、LTEであることをさらに備えた。
先行する実施形態の1または複数は、RLCレイヤが、確認型モードで動作することをさらに備えた。
先行する実施形態の1または複数は、ARQ再送の回数が、確認型モードではゼロに設定されることをさらに備えた。
先行する実施形態の1または複数は、maxRetxThresholdが、ゼロに設定されることをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、基地局から受信されたRLCステータスPDUから獲得されることをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、MAC送信機からローカルに生成されることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータが、PDCPパケットのヘッダ内のPDCPシーケンス番号を識別することによって決定されることをさらに備えた。
先行する実施形態の1または複数は、RLCレイヤは、非確認型モードで動作することをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、NACKメッセージを含むことをさらに備えた。
先行する実施形態の1または複数は、NACKメッセージが、アップリンク送信と同期していることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータが、パケットデータ収束プロトコル(PDCP)シーケンス番号を使用するマッピングから生成されることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータを決定するステップが、RLCのリアルタイムプロトコル(RTP)シーケンス番号からPDCP PDUシーケンス番号へのマッピングを使用するステップを含むことをさらに備えた。
先行する実施形態の1または複数は、マッピングが、テーブル検索プロセスを使用することを含むことをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータを決定するステップが、PDCP PDUシーケンス番号をIPアドレス、ポート番号、およびRTPシーケンス番号にマッピングするステップをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータを決定するステップが、PDCP PDUに対してディープパケットインスペクションを実行するステップをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、PDCP PDUシーケンス番号をIPアドレス、ポート番号、およびRTPシーケンス番号にマッピングするステップが、PDCP PDUシーケンス番号ルックアップテーブルを使用するステップを含むことをさらに備えた。
先行する実施形態の1または複数は、RTPシーケンス番号をNALパケット識別子にマッピングするステップをさらに備えた。
先行する実施形態の1または複数は、RTPシーケンス番号をNALパケット識別子にマッピングするステップが、NALパケット識別子ルックアップテーブルに対してRTPシーケンス番号を使用するステップを含むことをさらに備えた。
先行する実施形態の1または複数は、PDCP PDUシーケンス番号ルックアップテーブルが、RLCセグメンタを使用して構築されることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータを決定するステップが、RLCパケットからPDCPシーケンス番号に、さらにRTPシーケンス番号に、さらにNALにマッピングするステップを含むことをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータが、無線リンク制御(RLC)シーケンス番号からのマッピングを使用して、無線パケットロスデータから生成されることをさらに備えた。
先行する実施形態の1または複数は、方法が、WTRUとビデオデータの宛先との間にダウンリンク無線リンクおよびアップリンク無線リンクを少なくとも含むネットワーク環境において実施され、ダウンリンク無線リンクはアップリンク無線リンクよりもWTRUに近く配置され、無線パケットロスデータはダウンリンク無線リンクに関し、方法が、リモート無線リンクにおいてローカル無線リンクにおけるよりも高いQoSを実施するステップをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、方法が、リモート無線リンクのためのQoSレベルをネットワークが決定するステップであることをさらに備えた。
先行する実施形態の1または複数は、方法が、WTRUとアップリンク基地局との間のダウンリンク無線リンクと、ダウンリンク基地局とビデオデータの宛先受信機との間のアップリンク無線リンクとを少なくとも含むネットワーク環境において実施され、ダウンリンク無線リンクは、アップリンク無線リンクよりもWTRUに近く配置され、無線パケットロスデータは、ダウンリンク無線リンクに関し、方法が、ダウンリンク無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかをネットワークが決定するステップをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、リモート無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップが、WTRUとダウンリンク無線リンクとの間のデータ送信の遅延を決定するステップを含むことをさらに備えた。
先行する実施形態の1または複数は、ダウンリンク無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップが、ディープパケットインスペクション(DPI)を使用して、ビデオパケットデータのアプリケーション種類を決定するステップをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、ダウンリンク無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップが、WTRUがビデオパケットをネットワーク上で送信するステップと、ビデオパケットデータのサービスデータフロー(SDF)を検出して、ビデオパケットデータに対応するアプリケーション種類を決定するために、DPIを実行するステップと、アップリンク基地局が、遅延テストパケットをダウンリンク基地局に送信するステップと、ダウンリンク基地局が、遅延テストパケットの受信に応答して、ACKメッセージをアップリンク基地局に送信するステップと、アップリンク基地局が、アップリンク基地局とダウンリンク基地局との間の遅延を計算するステップと、アップリンク基地局が、遅延報告メッセージをネットワークゲートウェイに送信するステップと、ネットワークゲートウェイが、遅延報告メッセージに少なくとも一部は基づいて、リモート無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップと、ゲートウェイが、リモート無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを示すメッセージをダウンリンク基地局に送信するステップとを含むことをさらに備えた。
先行する実施形態の1または複数は、遅延テストパケットが、(1)アップリンク基地局のネットワークアドレスと、(2)ダウンリンクeNBのネットワークアドレスと、(3)タイムスタンプとを少なくとも含むことをさらに備えた。
先行する実施形態の1または複数は、ACKメッセージが、(1)アップリンク基地局のネットワークアドレスと、(2)ダウンリンク基地局のネットワークアドレスと、(3)ACKが生成された時のタイムスタンプと、(4)遅延テストパケットからのタイムスタンプのコピーとを含むことをさらに備えた。
先行する実施形態の1または複数は、ネットワーク内のゲートウェイが、遅延テストパケットをダウンリンク基地局に送信するようにアップリンク基地局に要求する要求メッセージをアップリンク基地局に送信するステップをさらに含み、アップリンク基地局による遅延テストパケットの送信は、ゲートウェイからの要求メッセージの受信に応答して実行されることをさらに備えた。
先行する実施形態の1または複数は、遅延テストパケットが、ICMPピングメッセージであることをさらに備えた。
先行する実施形態の1または複数は、ダウンリンク無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップが、アプリケーション機能プロセスを使用して、ビデオパケットデータのアプリケーション種類を決定するステップをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、ダウンリンク無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップが、WTRUが、アプリケーションパケットをネットワークを通して受信ノードに送信するステップと、ネットワーク内のアプリケーション機能(AF)が、アプリケーションパケットからアプリケーション情報を抽出するステップと、AFが、抽出されたアプリケーション情報をネットワーク内のポリシ課金およびルール機能(PCRF)に送信するステップと、PCRFが、ビデオデータに対応するアプリケーション種類を決定するステップと、ビデオデータの関数としてビデオデータのQoSパラメータを決定し、QoSパラメータをネットワーク内のゲートウェイに送信するステップと、アップリンク基地局が、遅延テストパケットをダウンリンク基地局に送信するステップと、ダウンリンク基地局が、遅延テストパケットの受信に応答して、ACKメッセージをアップリンク基地局に送信するステップと、アップリンク基地局が、アップリンク基地局とダウンリンク基地局との間の遅延を計算するステップと、アップリンク基地局が、遅延報告メッセージをネットワークゲートウェイに送信するステップと、ネットワークゲートウェイが、遅延報告およびPCRFから受信されたQoSパラメータに少なくとも一部は基づいて、リモート無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを決定するステップと、ゲートウェイが、リモート無線リンクに関する追加の無線パケットロスデータを生成すべきかどうかを示すメッセージをダウンリンク基地局に送信するステップとを含むことをさらに備えた。
先行する実施形態の1または複数は、アプリケーション機能が、P−CSCF(プロキシ−呼サービス制御機能)であることをさらに備えた。
先行する実施形態の1または複数は、アプリケーションパケットが、セッション開始プロトコル(SIP)INVITEパケットであることをさらに備えた。
先行する実施形態の1または複数は、少なくとも1つの特定種類のアプリケーションについて、アップリンクトラフィックおよびダウンリンクトラフィックのために使用されるQoSレベルを示すポリシを記憶するステップと、ネットワークが、ビデオ符号化器のアプリケーション種類を決定するステップと、ネットワークが、ポリシおよびビデオ符号化器のアプリケーション種類の関数として、ダウンリンク無線リンクのためのQoSレベルおよびアップリンク無線リンクのためのQoSレベルを設定するステップとをさらに備えた。
先行する実施形態の1または複数は、各アプリケーションについて、ダウンリンクQoSが、アップリンクQoSよりも高いことをさらに備えた。
先行する実施形態の1または複数は、少なくとも1つのアプリケーションが、ビデオ符号化器であることをさらに備えた。
先行する実施形態の1または複数は、方法が、WTRUとビデオデータの宛先受信機との間にダウンリンク無線リンクとアップリンク無線リンクとを少なくとも含むネットワーク環境において実施され、ダウンリンク無線リンクは、アップリンク無線リンクよりもWTRUに近く配置され、無線パケットロスデータは、ダウンリンク無線リンクに関し、方法が、無線パケットデータをダウンリンク無線リンク上で送信するステップと、ダウンリンク基地局において宛先ノードから無線パケットロスデータを受信するステップと、ダウンリンク基地局において受信された無線パケットロスデータからビデオパケットロスデータを決定するステップとをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、ビデオデータの符号化に使用するために、ダウンリンク基地局において受信されたビデオパケットロスデータをダウンリンク基地局内のトランスコーダに提供するステップと、ダウンリンク無線リンクを通じて宛先ノードに到る前に、ダウンリンク基地局においてビデオデータをトランスコードするステップとをさらに含むことをさらに備えた。
先行する実施形態の1または複数は、トランスコーダが、無線パケットロスデータに応答してトランスコードを実行することをさらに備えた。
先行する実施形態の1または複数は、トランスコーダが、ビデオパケットロスデータに応答して、ビデオデータに対してエラー伝搬抑制プロセスを行うことをさらに備えた。
別の実施形態では、WTRUが、ビデオデータをネットワーク上で送信するように構成されたプロセッサを含み、プロセッサが、無線パケットロスデータを受信することと、無線パケットロスデータからビデオパケットロスデータを決定することと、ビデオデータの符号化に使用するために、ビデオパケットロスデータをWTRU上で動作するビデオ符号化器アプリケーションに提供することとを行うようにさらに構成される。
先行する実施形態の1または複数は、ビデオ符号化器が、ビデオパケットロスデータに応答して、エラー伝搬抑制プロセスを行うように構成されることをさらに備えた。
先行する実施形態の1または複数は、エラー伝搬抑制プロセスが、(a)瞬時復号リフレッシュフレームを生成することと、(b)イントラリフレッシュフレームを生成することと、(c)参照ピクチャ選択方法を使用して、符号化ビデオを生成することと、(d)参照ピクチャ組選択方法を使用して、符号化ビデオを生成することと、(e)パケットロスインジケーションデータに基づいて選択された1または複数の参照ピクチャを使用して、符号化ビデオを生成することのうちの少なくとも1つを含むことをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、基地局から受信されることをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、無線リンク制御(RLC)プロトコルレイヤにあることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットが、リアルタイムプロトコル(RTP)にあることをさらに備えた。
先行する実施形態の1または複数は、RLCレイヤが、確認型モードで動作することをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、受信されたRLCステータスPDUから獲得されることをさらに備えた。
先行する実施形態の1または複数は、ビデオパケットロスデータが、PDCPパケットのヘッダ内のPDCPシーケンス番号を識別することによって決定されることをさらに備えた。
先行する実施形態の1または複数は、RLCレイヤが、非確認型モードで動作することをさらに備えた。
先行する実施形態の1または複数は、無線パケットロスデータが、NACKメッセージを含むことをさらに備えた。
先行する実施形態の1または複数は、NACKメッセージが、アップリンク送信と同期していることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、パケットデータ収束プロトコル(PDCP)シーケンス番号を使用するマッピングからビデオパケットロスデータを生成するようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、RLCのリアルタイムプロトコル(RTP)シーケンス番号からPDCP PDUシーケンス番号へのマッピングを使用して、ビデオパケットロスデータを生成するようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、マッピングが、テーブル検索プロセスを使用することを含むことをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、PDCP PDUシーケンス番号をIPアドレス、ポート番号、およびRTPシーケンス番号にマッピングすることによって、ビデオパケットロスデータを決定するように構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、PDCP PDUに対してディープパケットインスペクションを実行することによって、ビデオパケットロスデータを決定するようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、PDCP PDUシーケンス番号ルックアップテーブルを使用して、PDCP PDUシーケンス番号をIPアドレス、ポート番号、およびRTPシーケンス番号にマッピングするようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、RTPシーケンス番号をNALパケット識別子にマッピングするようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、RTPシーケンス番号をNALパケット識別子にマッピングするようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、RLCパケットからPDCPシーケンス番号に、さらにRTPシーケンス番号に、さらにNALにマッピングすることによって、ビデオパケットロスデータを決定するように構成されることをさらに備えた。
別の実施形態では、ネットワーク環境にある基地局が、プロセッサを含み、プロセッサが、入力された無線パケットデータをネットワークを介して受信することと、無線パケットデータを無線リンク上で宛先ノードに送信することと、宛先ノードから無線パケットロスデータを受信することと、無線パケットロスデータからアプリケーションレイヤパケットロスデータを決定することと、無線パケットデータ内のアプリケーションレイヤデータのトランスコードに使用するために、アプリケーションパケットロスデータを基地局内のトランスコーダに提供することとを行うように構成される。
先行する実施形態の1または複数は、アプリケーションレイヤデータが、ビデオデータであることをさらに備えた。
先行する実施形態の1または複数は、トランスコーダが、ダウンリンク無線リンクを通じて宛先ノードに送信する前に、無線パケットデータをアプリケーションレイヤデータにトランスコードして返すように構成されたことをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、無線パケットロスデータに応答して、トランスコーダにトランスコードを実行させるようにさらに構成されることをさらに備えた。
先行する実施形態の1または複数は、プロセッサが、無線パケットロスデータに応答して、トランスコーダにアプリケーションレイヤデータに対してエラー伝搬抑制プロセスを行わせるようにさらに構成されることをさらに備えた。
別の実施形態では、装置が、プロセッサによって実行されたときに、プロセッサに無線パケットロスデータをビデオ符号化器に提供させる命令を有するコンピュータ可読記憶媒体を備える。
別の実施形態では、装置が、プロセッサによって実行されたときに、プロセッサに、失われたビデオパケットのインジケーションに基づいて、ビデオデータを符号化させる命令を有するコンピュータ可読記憶媒体を備える。
結論
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用でき、または他の特徴および要素との任意の組み合わせで使用できることを当業者は理解されよう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェア、またはファームウェアで実施される。コンピュータ可読記憶媒体の例は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、およびCD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含むが、それらに限定されない。ソフトウェアと連携するプロセッサは、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータで使用するための無線周波送受信機を実施するために使用される。
本発明の範囲から逸脱することなく、上で説明された方法、装置、およびシステムの変形が可能である。適用できる多種多様な実施形態に鑑みて、説明された実施形態は、例示的なものにすぎず、以下の特許請求の範囲を限定するものと解釈されるべきではないことを理解されたい。
さらに、上で説明された実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを含む他のデバイスが言及されている。これらのデバイスは、少なくとも1つの中央処理装置(「CPU」)およびメモリを含む。コンピュータプログラミング分野の当業者の慣例によれば、言及される行為および動作または命令のシンボリック表現は、様々なCPUおよびメモリによって実行される。そのような行為および動作または命令は、「実行される」、「コンピュータで実行される」、または「CPUで実行される」と言われる。
当業者は、行為およびシンボリックに表現される動作または命令が、CPUによる電気信号の操作を含むことを理解されよう。電気システムは、データビットを表し、データビットは、結果として生じる電気信号の変換または減弱、およびメモリシステム内のメモリロケーションにおけるデータビットの維持を生じさせることができ、それによって、CPUの動作および信号の他の処理を再構成または別途変更する。データビットが維持されるメモリロケーションは、データビットに対応する、またはデータビットを表す、特定の電気的、磁気的、光学的、または有機的属性を有する物理ロケーションである。例示的な実施形態は、上で言及されたプラットフォームまたはCPUに限定されず、他のプラットフォームおよびCPUも、説明された方法をサポートすることを理解されたい。
データビットは、コンピュータ可読媒体上でも維持され、コンピュータ可読媒体は、磁気ディスク、光ディスク、およびCPUによって可読な他の任意の揮発性(例えば、ランダムアクセスメモリ(「RAM」))または不揮発性(リードオンリーメモリ(「ROM」))大容量記憶システムを含む。コンピュータ可読媒体は、協力する、または相互接続されたコンピュータ可読媒体を含み、それは、処理システム上に排他的に存在し、または処理システムに対してローカルまたはリモートの複数の相互接続された処理システム間に分散する。例示的な実施形態は、上で言及されたメモリに限定されず、他のプラットフォームおよびメモリも、説明された方法をサポートすることを理解されたい。
本出願の説明において使用される要素、行為、または命令は、明示的にそのように述べられない限り、本発明に必須または不可欠であると解釈されるべきではない。加えて、本明細書で使用される場合、冠詞「a」は、1つまたは複数のアイテムを含むことが意図されている。ただ1つのアイテムが意図される場合、「1」という語または類似の言葉が使用される。さらに、本明細書で使用される場合、複数のアイテムおよび/または複数のアイテムのカテゴリのリストが後続する「〜のいずれか」という文言は、アイテムおよび/またはアイテムのカテゴリ「のいずれか」、「のいずれかの組み合わせ」、「のいずれか複数」、および/または「の複数のいずれかの組み合わせ」を、個々に、または他のアイテムおよび/もしくは他のアイテムのカテゴリとともに含むことが意図されている。さらに、本明細書で使用される場合、「組」という語は、ゼロを含む任意の数のアイテムを含むことが意図される。さらに、本明細書で使用される場合、「数」という語は、ゼロを含む任意の数を含むことが意図される。
さらに、特許請求の範囲は、その旨が述べられない限り、説明された順序または要素に限定されるものとして読まれるべきではない。加えて、いずれの請求項においても「手段」という語の使用は、米国特許法第112条第6段落を行使することが意図され、「手段」という語を含まない請求項はいずれも、そのようには意図されない。

Claims (14)

  1. ネットワーク上でビデオデータを送信する方法であって、
    無線送信受信ユニット(WTRU)において無線パケットロスデータを受信するステップであって、前記無線パケットロスデータは、消失した無線パケットの識別を含む、ステップと、
    前記無線パケットロスデータからビデオフレームロスデータを判定するステップであって、前記ビデオフレームロスデータは、消失したビデオフレームの識別を含む、ステップと、
    ビデオデータを符号化する際に前記ビデオフレームロスデータを使用するステップと
    を備えたことを特徴とする方法。
  2. 前記ビデオフレームロスデータに応答して、エラー伝搬抑制プロセスを実行するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  3. 前記エラー伝搬抑制プロセスは、瞬時復号リフレッシュフレームを生成することを含むことを特徴とする請求項2に記載の方法。
  4. 前記エラー伝搬抑制プロセスは、イントラリフレッシュフレームを生成することを含むことを特徴とする請求項2に記載の方法。
  5. 前記エラー伝搬抑制プロセスは、参照ピクチャ選択方法を使用して符号化ビデオを生成することを含むことを特徴とする請求項2に記載の方法。
  6. 前記エラー伝搬抑制プロセスは、ピクチャの参照の組選択方法を使用して符号化ビデオを生成することを含むことを特徴とする請求項2に記載の方法。
  7. 前記エラー伝搬抑制プロセスは、前記ビデオフレームロスデータに基づいて選択された1つまたは複数の参照ピクチャを使用して符号化ビデオを生成することを含むことを特徴とする請求項2に記載の方法。
  8. 前記エラー伝搬抑制プロセスは、
    イントラリフレッシュフレームまたは瞬時復号リフレッシュフレームを生成することと、
    P予測符号化モードを使用して符号化ビデオフレームを生成することと、
    (1)前記イントラリフレッシュフレームまたは瞬時復号リフレッシュフレーム、および(2)送信に対してP予測符号化モードを使用した前記符号化ビデオフレーム、のうちの1つを選択することと
    を含むことを特徴とする請求項2に記載の方法。
  9. 前記無線パケットロスデータは、NACKメッセージを含むことを特徴とする請求項1に記載の方法。
  10. ネットワーク上でビデオデータを送信するように構成されたプロセッサを含むWTRUであって、前記プロセッサは、
    送信において消失した無線パケットを識別する無線パケットロスデータを受信し、
    前記無線パケットロスデータからビデオフレームロスデータを判定し、前記ビデオフレームロスデータは、消失したビデオフレームの識別を含み、および、
    ビデオデータを符号化する際の使用のために、前記WTRUで動作するビデオ符号器のアプリケーションに前記ビデオフレームロスデータを提供する
    ように構成されていることを特徴とするWTRU。
  11. 前記ビデオ符号器は、前記ビデオフレームロスデータに応答してエラー伝搬抑制プロセスを実行するようにさらに構成されていることを特徴とする請求項10に記載のWTRU。
  12. 前記エラー伝搬抑制プロセスは、
    (a)瞬時復号リフレッシュフレームを生成することと、
    (b)イントラリフレッシュフレームを生成することと、
    (c)参照ピクチャ選択方法を使用して符号化ビデオを生成することと、
    (d)ピクチャの参照の組選択方法を使用して符号化ビデオを生成することと
    のうちの少なくとも1つを含むことを特徴とする請求項11に記載のWTRU。
  13. 前記無線パケットロスデータは、NACKメッセージを含むことを特徴とする請求項10に記載のWTRU。
  14. 前記NACKメッセージは、アップリンク送信と同期することを特徴とする請求項13に記載のWTRU。
JP2014558774A 2012-02-24 2013-02-15 パケットロス検出を使用するビデオコーディング Expired - Fee Related JP6242824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261603212P 2012-02-24 2012-02-24
US61/603,212 2012-02-24
PCT/US2013/026353 WO2013126284A2 (en) 2012-02-24 2013-02-15 Video coding using packet loss detection

Publications (3)

Publication Number Publication Date
JP2015515768A JP2015515768A (ja) 2015-05-28
JP2015515768A5 JP2015515768A5 (ja) 2016-04-07
JP6242824B2 true JP6242824B2 (ja) 2017-12-06

Family

ID=47884498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014558774A Expired - Fee Related JP6242824B2 (ja) 2012-02-24 2013-02-15 パケットロス検出を使用するビデオコーディング

Country Status (7)

Country Link
US (1) US20150264359A1 (ja)
EP (1) EP2817968A2 (ja)
JP (1) JP6242824B2 (ja)
KR (1) KR20140126762A (ja)
CN (1) CN104137554A (ja)
TW (1) TWI590654B (ja)
WO (1) WO2013126284A2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807407B2 (en) * 2013-12-02 2017-10-31 Qualcomm Incorporated Reference picture selection
KR20160143725A (ko) * 2014-04-04 2016-12-14 브이아이디 스케일, 인크. 네트워크-기반 조기 패킷 손실 검출
TWI549496B (zh) * 2014-05-08 2016-09-11 宏碁股份有限公司 行動電子裝置以及視訊補償方法
US10193955B2 (en) * 2014-10-14 2019-01-29 Huawei Technologies Co., Ltd. System and method for video communication
US10158889B2 (en) * 2015-01-31 2018-12-18 Intel Corporation Replaying old packets for concealing video decoding errors and video decoding latency adjustment based on wireless link conditions
US10085173B2 (en) * 2015-02-06 2018-09-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and network entity for QoS control
GB2536059B (en) 2015-03-06 2017-03-01 Garrison Tech Ltd Secure control of insecure device
CN106489254B (zh) * 2015-06-24 2020-02-28 海能达通信股份有限公司 宽带集群系统中的业务接入控制方法、装置及集群终端
US10560358B2 (en) * 2015-08-11 2020-02-11 Lg Electronics Inc. Method for performing uplink packet delay measurements in a wireless communication system and a device therefor
US10313685B2 (en) 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10009401B2 (en) * 2015-09-23 2018-06-26 Qualcomm Incorporated Call continuity in high uplink interference state
GB2545010B (en) 2015-12-03 2018-01-03 Garrison Tech Ltd Secure boot device
US10097608B2 (en) * 2015-12-26 2018-10-09 Intel Corporation Technologies for wireless transmission of digital media
US10218520B2 (en) * 2016-06-14 2019-02-26 Ofinno Technologies, Llc Wireless device video floor control
US11445223B2 (en) 2016-09-09 2022-09-13 Microsoft Technology Licensing, Llc Loss detection for encoded video transmission
KR102115218B1 (ko) * 2016-09-19 2020-05-26 에스케이텔레콤 주식회사 기지국장치 및 단말장치와, QoS 제어방법
US20180184101A1 (en) * 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
CN108419275B (zh) * 2017-02-10 2022-01-14 华为技术有限公司 一种数据传输方法、通信设备、终端和基站
CN115119198A (zh) * 2017-03-19 2022-09-27 上海朗帛通信技术有限公司 一种用于下行传输的方法和装置
CN109756468B (zh) * 2017-11-07 2021-08-17 中兴通讯股份有限公司 一种数据包的修复方法、基站及计算机可读存储介质
CN108183768B (zh) * 2017-12-26 2019-08-20 广东欧珀移动通信有限公司 数据传输方法及相关设备
CN109995721B (zh) * 2017-12-29 2021-10-22 华为技术有限公司 业务请求处理方法、装置及通信系统
US11039309B2 (en) * 2018-02-15 2021-06-15 Huawei Technologies Co., Ltd. User plane security for disaggregated RAN nodes
JP7251935B2 (ja) * 2018-08-07 2023-04-04 シャープ株式会社 端末装置、基地局装置、方法、および、集積回路
JP2022500931A (ja) 2018-09-14 2022-01-04 華為技術有限公司Huawei Technologies Co., Ltd. ポイントクラウドコーディングにおける改善された属性レイヤとシグナリング
CN110166797B (zh) * 2019-05-17 2022-02-01 北京达佳互联信息技术有限公司 视频转码方法、装置、电子设备及存储介质
CN116489243A (zh) * 2020-04-30 2023-07-25 深圳硅基智控科技有限公司 基于信号强度接收数据包的通信装置
US11811541B2 (en) * 2020-09-08 2023-11-07 Qualcomm Incorporated Sending feedback at radio access network level
JP7264517B2 (ja) * 2021-03-12 2023-04-25 株式会社光電製作所 送信装置、受信装置、制御方法、およびプログラム
US20230291816A1 (en) * 2022-03-10 2023-09-14 Qualcomm Incorporated Protocol overhead reduction for packet data convergence protocol
CN117097894A (zh) * 2022-05-12 2023-11-21 大唐移动通信设备有限公司 数据流映射更新方法、装置及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237451A (ja) * 1993-02-10 1994-08-23 Hitachi Ltd 動画通信方式および端末装置
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
EP1725038A3 (en) * 2001-03-12 2009-08-26 Polycom, Inc. A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
JP2003032689A (ja) * 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
EP1603339A1 (en) * 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
JP4659838B2 (ja) * 2005-01-10 2011-03-30 株式会社エヌ・ティ・ティ・ドコモ 一連のフレームを予測的にコード化する装置
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
UA92508C2 (ru) * 2005-10-21 2010-11-10 Квелкомм Инкорпорейтед Коррекция ошибок видео, основана на информации обратной линии связи
CN102036070A (zh) * 2005-12-08 2011-04-27 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US20070169152A1 (en) * 2005-12-30 2007-07-19 Daniel Roodnick Data and wireless frame alignment for error reduction
FR2910211A1 (fr) * 2006-12-19 2008-06-20 Canon Kk Procedes et dispositifs pour re-synchroniser un flux video endommage.
AU2008204833A1 (en) * 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
WO2008126059A2 (en) * 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding

Also Published As

Publication number Publication date
KR20140126762A (ko) 2014-10-31
WO2013126284A3 (en) 2013-11-14
EP2817968A2 (en) 2014-12-31
TW201404121A (zh) 2014-01-16
WO2013126284A2 (en) 2013-08-29
US20150264359A1 (en) 2015-09-17
TWI590654B (zh) 2017-07-01
JP2015515768A (ja) 2015-05-28
CN104137554A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
JP6242824B2 (ja) パケットロス検出を使用するビデオコーディング
US11824664B2 (en) Early packet loss detection and feedback
JP6286588B2 (ja) ビデオアウェアの(video aware)ハイブリッド自動再送要求のための方法および装置
US9490948B2 (en) Method and apparatus for video aware bandwidth aggregation and/or management
US9985857B2 (en) Network-based early packet loss detection
TW201401881A (zh) 抗誤碼視訊編碼系統及方法
WO2014078744A2 (en) Systems and methods for implementing model-based qoe scheduling
US20240187650A1 (en) Video codec aware radio access network configuration and unequal error protection coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R150 Certificate of patent or registration of utility model

Ref document number: 6242824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees