JP4967020B2 - スケーラブル符号化におけるジッタバッファ低減のためのシステムおよび方法 - Google Patents

スケーラブル符号化におけるジッタバッファ低減のためのシステムおよび方法 Download PDF

Info

Publication number
JP4967020B2
JP4967020B2 JP2009520727A JP2009520727A JP4967020B2 JP 4967020 B2 JP4967020 B2 JP 4967020B2 JP 2009520727 A JP2009520727 A JP 2009520727A JP 2009520727 A JP2009520727 A JP 2009520727A JP 4967020 B2 JP4967020 B2 JP 4967020B2
Authority
JP
Japan
Prior art keywords
jitter
buffer
layer
jitter buffer
buffers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009520727A
Other languages
English (en)
Other versions
JP2009545204A (ja
Inventor
シヴァンラール，レハ
エレフゼリアディス，アレクサンドロス
シャピロ，オファー
Original Assignee
ヴィドヨ，インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィドヨ，インコーポレーテッド filed Critical ヴィドヨ，インコーポレーテッド
Publication of JP2009545204A publication Critical patent/JP2009545204A/ja
Application granted granted Critical
Publication of JP4967020B2 publication Critical patent/JP4967020B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64753—Control signals issued by the network directed to the server or the client directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Communication Control (AREA)

Description

関連出願の相互参照
本願は、2005年7月20日出願の米国仮特許出願第60/701,110号の利益を主張する。さらに、本願は、同時に出願された米国特許出願第[SVCSystem]号、[SVC]号および[base trunk]号に関する。前記の優先権および関連出願のすべてを、参照により本明細書に全体として組み込む。
本発明は、マルチメディアおよび遠隔通信技術に関する。詳しくは、本発明は音声および映像データ通信システムに関し、特に映像の符号化/復号化システムにおけるジッタバッファの使用に関する。
従来の電子通信ネットワーク(インターネットプロトコル(「IP」)ネットワークなど)を介して送信されたデータパケット/信号(音声信号および映像信号など)は、信号の整合性および品質を劣化させる望ましくない現象の影響を受けやすい。望ましくない現象としては、例えば、変動遅延(すなわち、各データパケットごとに異なる遅延が生じることであり、「ジッタ」としても知られる)、連続パケットの故障受信、およびパケット損失がある。
従来のストリーミングビデオ方式では、ネットワークデバイスは通常、ネットワークからマルチメディアパケットまたは映像パケットを受信し、これらのパケットをバッファに格納する。バッファは、故障パケットまたは遅延パケットが到着するのに十分な時間を割り当てる。次いでバッファは再生する一定の速度でマルチメディア/ビデオのデータをリリースまたは送り込むことができる。ある特定のデータフレームが2つ以上のパケットで届けられる場合、バッファは、各フレームのすべての部分が到着するのに十分な時間を割り当てなければならない。ジッタバッファの長さ/遅延は、IP通信システムにおける終端間遅延全体の大部分を占めることがある。
通常、ジッタバッファの長さ(すなわち遅延)は、フレームのほとんどすべてのフラグメントが、次のフレームが画面表示のために復号されるべきその前に到着するように、十分な時間を見込むように調整される。
スケーラブル符号化技術では、データ信号(例えば音声信号および/または映像データ信号)を多層形式で伝送するために符号化および圧縮することが可能である。対象となるデータ信号の情報の内容は、符号化された複数の層のすべての層に分配される。複数の層のそれぞれまたは層の組合せを、それぞれのビットストリーム内で伝送することができる。「ベース層」ビットストリームは、設計上、もとの音声信号および/または映像信号の所望の最低品質水準または基本品質水準の復元に十分な情報を、復号時に伝送することができる。他の「エンハンスメント層」ビットストリームは、もとの音声信号および/または映像信号の基本レベルの品質での再生をより良いものにするために使うことができる追加情報を伝送することができる。
スケーラブルオーディオ符号化(SAC)およびスケーラブルビデオ符号化(SVC)は、電子通信ネットワーク上で実施される音声会議システムおよび/またはテレビ会議システムに用いることができる。同時に出願された米国特許出願第[SVCSystem]号および[SVC]号は、例示的な音声会議および/またはテレビ会議用途の、音声および映像のスケーラブル符号化のためのシステムおよび方法を説明している。この参照した特許は、会議を行っているエンドポイント間のSAC層ビットストリームおよびSVC層ビットストリームの伝送を取り持つように設計された特定のIPベースのマルチポイント制御ユニット(MCU)、スケーラブルオーディオコンファレンシングサーバー(SACS)およびスケーラブルビデオコンファレンシングサーバー(SVSC)を説明している。
エンハンスメント層を生じさせるための他の方法はまた、以下のものを含むことに留意されたい。a)ベース層情報を使用せず、高品質信号を完全表記する方法で、「同報」としても知られる方法、またはb)表示そのものに関するサブセットは「ベース層」、残りの表示はエンハンスメントとみなされる、相関性は最低限であるが同様の品質の同じ信号を2つ以上表記する方法。この後者の方法は「多重記述符号化」としても知られている。簡略のため、本明細書ではこれらの方法をすべて、ベース層符号化およびエンハンスメント層符号化という。
次に、映像通信システムに用いられるジッタバッファの設計の改良について考察する。特に、スケーラブル符号化された映像ストリームを伝送する通信システムにおいて効果的なジッタバッファの設計に注目されたい。
スケーラブル符号化された映像ストリームを伝送する映像通信システムにおける、ジッタバッファの長さまたは遅延の低減のための、システムおよび方法を提供する。
本発明のシステムおよび方法は、一般に、受信機/エンドポイントに複数個のジッタバッファを配置して、受信したSVCストリームの2つ以上の層を別々にバッファに格納することを含む。さらに、この複数個のジッタバッファを、例えば、個々の層ストリームの異なる損失率に対応するように、異なる遅延設定で構成することができる。
本発明の例示的実施形態においては、SVCデータを受信するシステム(例えば受信端末またはエンドポイント)は、複数のジッタバッファを含み、そのそれぞれが、受信したSVCデータストリームの層のうちの1つをそれぞれバッファに格納するよう指定されている。これらのジッタバッファは、システム全体の遅延を低減する形で異なる長さ/遅延で構成されている。受信端末/エンドポイントはまた、バッファに格納された映像データストリームを層ごとに復号することができるデコーダを含む。このデコーダは、表示された映像の品質に対する影響を最小限にしながらシステムの遅延性能が向上する形で、エンハンスメント層の情報を選択的にドロップさせるように構成されている。
特に断りのない限り、図示する実施形態の同様の特徴、要素、部品または部分を示すために同じ参照番号および文字を複数の図面を通して使用する。さらに、以下、これらの図面を参照して本発明を詳細に説明するが、この説明は例示的実施形態に関して説明するものである。
映像通信システムにおける遅延を低減するように設計されたジッタバッファ構成が提供される。このジッタバッファ構成は、ベース層およびエンハンスメント層のスケーラブル符号化など、多層フォーマットに符号化された映像データストリームを受信する、映像受信端末または通信システムのエンドポイントで実施することができる。エンハンスメント層を生じさせる他の方法はまた、とりわけ、同報および多重記述符号化などを含むことに留意されたい。簡略のため、本明細書ではこれらの方法をすべて、ベース層およびエンハンスメント層符号化という。
このジッタバッファ構成は、複数の独立したジッタバッファを含み、そのそれぞれが、入力映像データストリームの特定の層(または特定の層の組合せ)のためのデータパケットをバッファに格納するよう指定される。このジッタバッファ構成はさらに、バッファに格納されたデータパケットを独立したジッタバッファごとに復号するように設計されたデコーダを含むか、あるいはそのようなデコーダに関連付けられる。
図1Aおよび図1Bは、受信端末またはエンドポイント(例えばそれぞれエンドポイント110および120)に組み込むことができる例示的ジッタバッファ/デコーダ構成100Aおよび100Bを示す。構成100Aおよび100Bはどちらも、(例えばベース層150Aおよびエンハンスメント層150Bから150Dのような)多層フォーマットにスケーラブルに符号化された映像データストリーム150を受信し、復号し、表示するように設計されている。どちらの構成も、入力映像データストリーム150の映像パケットを層ごとにバッファに格納するための複数のジッタバッファ130を含む。例えば、図のジッタバッファ130Aおよび130Bは、映像ストリームベース層150Aに対応するベースジッタバッファと、それぞれ映像ストリームエンハンスメント層150Bから150Dに対応するジッタバッファ1、2および3とを含む。構成100Aおよび100Bはどちらも、デコーダ140を含む。構成100Aでは、デコーダ140がジッタバッファ130Aに先行し、その結果、入力映像ストリーム層150AからDはバッファに格納される前に復号される。反対に、構成100Bでは、デコーダ140がジッタバッファ130Bに後続し、その結果、映像ストリーム層150AからDはバッファに格納され、その後、復号される。構成100Aおよび100Bの出力はマルチプレクサー(例えばMUX150)で多重化され、表示のために復元された映像ストリーム160を生成し得る。
さらに、エンドポイント110/120は、それぞれのバッファ内のベース層およびエンハンスメント層の映像ストリームパケットに異なるバッファリング時間、すなわち待ち時間を考慮する、適切なジッタバッファ管理アルゴリズムを含んでもよい。層によって待ち時間(すなわちジッタバッファの長さ/遅延)の配分を選択して、システムの全体的な遅延を最小限にすることができる。例えば、エンハンスメント層の許容エラー率(すなわち、遅延到着パケットが廃棄されたか、ジッタバッファによりドロップしたと考えられる率)が、ベース層に容認されるエラー率よりも高くなるように、ジッタバッファ/デコーダ構成100Aおよび100Bを構成することができる。この方式は、実際にはベース層パケットはエンハンスメント層パケットより小さい傾向があり、それ故にもともとジッタの影響を受けにくいことを認識し、かつベース層パケットはたいていの場合にはパケット損失およびジッタが起こりにくい良質のリンクまたはチャンネルを通して伝送されることを認識するものである。
ジッタバッファの長さ/遅延の値およびそれらの配分は、ネットワークの状態(例えば損失率またはトラヒック負荷)またはその他のどんな要因に応じても、動的に調整することができる。
本発明のジッタバッファ構成では、受信フレームに含まれるデータが表示または再生可能となる以前の全体的な通信システム遅延を大幅に低減することができる。このような低減された遅延は、すべての音声通信システムおよび映像通信システム、とりわけ、テレビ会議または音声通信用途などリアルタイムで動作するシステムにおいて望ましい品質特性である。
本発明のジッタバッファ構成により、有利には、別々にバッファに格納されたベース層およびエンハンスメント層を別々に復号することもできる。受信エンドポイント110/120は、他の層が到着するのを待たずに、ベース層およびエンハンスメント層のうちのいずれかの復号を始めることができる。この特徴により、デコーディングCPUまたはDSP(例えばデコーダ140)のアイドルタイムの量を低減または最小限にし、それにより全体的な稼働率を増やすことができる。この特徴により、複数のCPUまたはCPUコアの使用も容易になる。
本発明の例示的実施形態によれば、異なるジッタバッファを、映像ストリームのうちの異なる品質の層のそれぞれと関連付けることができる。ネットワーク状態に応じ、別個の値を異なるジッタバッファ遅延または長さに割り当てることができ、その結果、映像フレームに関連するベース層パケットは、関連するエンハンスメント層パケットの偶発的な損失を容認または許容しても、適時に受信する可能性が非常に高くなる。
あらためて図1Aおよび1Bに言及すると、構成100Aは、並列の入力映像ストリーム層150Aから150Bを復号するデコーダ140と、それぞれの復号された層ストリームをバッファに格納する複数のジッタバッファ130Aとを含む。構成100Bでは、デコーダ140は層の復号を行うが、この処理は相互依存している(すなわち、他の層を復号するためにある層が必要とされる)。どちらの構成でも、映像データの特定の層と関連するジッタバッファ用の動作パラメータと、映像データの他の層と関連するジッタバッファに用いられる動作パラメータとが異なってもよい。ジッタバッファ用の動作パラメータ(例えば遅延または長さの設定)は、ネットワーク状態に応じて、または特定の実施のための他の事柄に対処するために、適切に選択または調整することができる。
ジッタバッファの長さ/遅延の選択および割り当てのための処理手順の例を、本明細書では、スケーラブルビデオコーディングを使用した例示的ビデオシステムBと、スケーラブルビデオコーディングを使用しない対照的なビデオシステムAとを参照して説明する。システムAまたはシステムBはどちらも、複数の伝送されたデータパケット(例えば3つのパケット)が、所与の映像フレームに関連する情報すべてを取り込むことができる。システムAでは、その伝送されたパケットのすべてが、フレームを表示するために必要とされる。フレームに関連するパケットが、同程度だが無相関の到着可能性を有するとして、受信機が正しい表示を得る可能性Pは
P=(1-p)n
によって与えられ、式中、pは、そのフレームに関連する単一のパケットがあるジッタバッファ遅延dより遅れて到着する可能性であり、それより遅く到着したパケットはすべてロストしたとみなされ、nは、フレームを復元するために必要なパケットの数である。システムAでは、数字nはそのフレームに関連する伝送されたパケットの合計数である。対照的に、システムBでは、数字nは1(すなわちベース層)である。したがって、フレームがシステムBに正しく表示されるであろう可能性Pは、その一部(1-p)で、フレームがシステムAに正しく表示されるであろう可能性(1-p)nよりも大きい。
スケーラブルビデオコーディングを使用する、システムBのための適切なジッタバッファの長さ/遅延を選択するための設計手順では、可能性pは、ジッタの統計値が正規分布であるとの仮定の下で、ジッタバッファ遅延dの関数として誤差関数を用いて計算することができる。
図2は、1つから3つのパケットの1つの映像フレームに対する計算されたエラー率またはフレームドロップ率(1-P)の例を、ジッタの適切な測定により正規化された、ジッタバッファの長さ/遅延Dの関数として示すものである。このジッタの適切な測定は、ネットワークにおけるパケットの到着遅延の1つの標準偏差として定義される。図2からわかるように、上で定義したシステムAに対するジッタバッファ遅延Dを一方で約1標準偏差に設定するとき、システムBに対するジッタバッファ遅延Dを約1/3標準偏差に設定することによって、システムAとシステムB双方で類似したフレームドロップ率が得られる。この2つのシステムが類似したフレームドロップ率を得るのは、システムAが適切なフレームの復元と表示のために3つのパケットすべての受信を待たなければならないのに対し、エンハンスメント層のパケットの損失を許容するシステムBはベース層の受信のみを待つ必要があるだけだからである。したがって、システムAが30ミリ秒のジッタを示す場合、システムBではその遅延から約10ミリ秒を引いたものになる。
エンハンスメント層を受信せずにシステムBで映像フレームを再生および表示することは、「解像度低下率」に結びつけられる(すなわち、ベース層パケットは遅れずに到着するが、エンハンスメント層パケットは遅れて到着する場合である)。図2を参照すると、許容できるベース層ドロップ率が1％に設定されるとして、解像度低下率もせいぜい数パーセントポイントである。
本発明の他の例示的な実施形態では、ネットワーク状態に応じて、異なる長さ/遅延を、ベース層およびエンハンスメント層とそれぞれ関連する個々のジッタバッファに割り当てることができる。本明細書での説明を簡単にするために、例えば、ベース層フレームが1つのパケットに含まれ、エンハンスメント層フレームがすべて第2のパケットにフレームとして含まれるとする。そうすると、1つの対応するベース層ジッタバッファと、1つの対応するエンハンスメント層バッファが存在するだけとなる。この例では、ベース層からデータがドロップしないか、せいぜい無視できる量のデータしかドロップしないように(すなわち、ほとんどフレームドロップ率ゼロを達成するように)ベース層ジッタバッファの長さを構成することができ、その結果、解像度低下率のシステムパフォーマンスが満足できるものとなる。エンハンスメント層ジッタバッファのための長さ/遅延は、ベース層ジッタバッファのための長さ/遅延の2倍に設定することができる。
さらに、この例では、ベース層またはエンハンスメント層の1つのフレームが1つのパケットに含まれるので、フレームドロップ率はパケットドロップ率と同じである。図3は、ベース層とエンハンスメント層の異なる組合せのシナリオに対する、算出されたフレームドロップ率を(ベースジッタに対し正規化された)dの関数として示すグラフである。
図3からわかるように、約2.7の正規化されたジッタバッファの長さ/遅延の比は、1×10-4のベース層ドロップ率に相当する(例えば、1-3パケットフレーム構成では300秒ごとに1つのフレームがドロップする)。層化されていないシステム、またはジッタバッファの長さがベース層およびエンハンスメント層の両方に対して同じであるシステムで同じ低エラー率を得るためには、合計のジッタバッファの長さ/遅延は、本例ではベース層ジッタの2倍であるエンハンスメント層ジッタに対応するには少なくとも2倍でなければならないことになる。本発明の例示的実施形態は、映像表示にこの余分な2倍の遅れが導入されることを防止している。
以上、本発明の好ましいと考えられる実施形態を説明してきたが、当業者には理解されるように、発明の趣旨から外れることなく他のさらなる変更および修正を加えることができる。また、本発明の真の範囲に入るすべての変更および修正を特許請求することが企図されている。例えば、本発明のジッタバッファ構成は、本明細書ではマルチレイヤーフォーマットに符号化された映像データストリームに関して説明された。しかしながら、本発明のジッタバッファ構成を、マルチレイヤーフォーマットに符号化された音声データストリームにも実施できることが容易に理解されよう。
また、本発明によれば、このジッタバッファおよびデコーダ構成を、ハードウェアおよびソフトウェアの任意の適切な組合せを用いて実施することができることも理解されよう。前述のジッタバッファおよびデコーダ構成を実施し操作するためのソフトウェア(すなわち命令)は、ファームウェア、マイクロコントローラ、マイクロプロセッサー、集積回路、ASIC、オンラインダウンロード可能なメディアおよび他の使用可能のメディアを含むがこれらに限定されない、コンピュータ可読のメディアにおいて提供することができる。
AおよびBは、本発明の原理により設計されたジッタバッファの構成を含む、スケーラブルに符号化された映像データの受信機の例を示す構成図である。 本発明のジッタバッファの構成の利点を説明する、エラー率のグラフである。 本発明のジッタバッファの構成の利点を説明する、エラー率のグラフである。

Claims (11)

  1. 電子通信ネットワークにおける受信エンドポイント用ジッタバッファシステムであって、
    受信したスケーラブルに符号化されたデータストリームの特定の層をバッファに格納するように指定された、各々がある長さを有する複数個のジッタバッファと、
    前記受信したスケーラブルに符号化されたデータストリームを層ごとに復号するように構成された、前記複数個のジッタバッファに結合されたデコーダとを備え、
    前記ジッタバッファの長さが、ネットワーク状態に応じて動的に調整される、ジッタバッファシステム。
  2. 前記複数個のジッタバッファが前記デコーダに先行する、請求項1に記載のジッタバッファシステム。
  3. 前記複数個のジッタバッファが前記デコーダに後続し、前記デコーダの出力を層ごとにバッファに格納する、請求項1に記載のジッタバッファシステム。
  4. 前記複数のジッタバッファの長さが、受信されたストリーム層のジッタの統計的概算に基づく、請求項1に記載のジッタバッファシステム。
  5. 前記複数のジッタバッファのうちの１つのバッファの長さが、前記複数のジッタバッファのうちの他のバッファの長さの一部である、請求項1に記載のジッタバッファシステム。
  6. 電子通信ネットワークにおける受信エンドポイントでジッタバッファ遅延を管理するための方法であって、
    受信したスケーラブルに符号化されたデータストリームのある特定の層をバッファに格納するように各ジッタバッファが指定された、各々がある長さを有する複数個のジッタバッファを提供するステップと、
    前記受信したスケーラブルに符号化されたデータストリームを層ごとに復号するように構成されたデコーダを前記複数個のジッタバッファに結合するステップであって、前記ジッタバッファの長さが、ネットワーク状態に応じて動的に調整されるステップとを含む方法。
  7. 前記複数個のジッタバッファが前記結合されたデコーダに先行する、請求項6に記載の方法。
  8. 前記複数個のジッタバッファが前記結合されたデコーダに後続し、前記方法が、前記デコーダの出力を層ごとにバッファに格納するステップをさらに含む、請求項6に記載の方法。
  9. 受信されたストリーム層のジッタの統計的概算に基づき前記ジッタバッファに前記長さを割り当てるステップをさらに含む、請求項6に記載の方法。
  10. 前記複数のジッタバッファのうちの他のバッファに割り当てられた前記決められた長さの一部である、前記複数個のジッタバッファのうちの１つのバッファに決められた長さを割り当てるステップをさらに含む、請求項6に記載の方法。
  11. 請求項6から請求項10の少なくとも一項に記載の方法をコンピュータに実行させるためのプログラムが記録された、非一時的コンピュータ可読メディア。
JP2009520727A 2006-07-21 2006-07-21 スケーラブル符号化におけるジッタバッファ低減のためのシステムおよび方法 Expired - Fee Related JP4967020B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/028368 WO2008051181A1 (en) 2006-07-21 2006-07-21 System and method for jitter buffer reduction in scalable coding

Publications (2)

Publication Number Publication Date
JP2009545204A JP2009545204A (ja) 2009-12-17
JP4967020B2 true JP4967020B2 (ja) 2012-07-04

Family

ID=39325574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009520727A Expired - Fee Related JP4967020B2 (ja) 2006-07-21 2006-07-21 スケーラブル符号化におけるジッタバッファ低減のためのシステムおよび方法

Country Status (7)

Country Link
US (1) US20080159384A1 (ja)
EP (1) EP2044710A4 (ja)
JP (1) JP4967020B2 (ja)
CN (1) CN101366213A (ja)
AU (2) AU2006346224A1 (ja)
CA (1) CA2615352C (ja)
WO (1) WO2008051181A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773633B2 (en) * 2005-12-08 2010-08-10 Electronics And Telecommunications Research Institute Apparatus and method of processing bitstream of embedded codec which is received in units of packets
AU2007214423C1 (en) 2006-02-16 2012-03-01 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
EP2124447A1 (en) * 2008-05-21 2009-11-25 Telefonaktiebolaget LM Ericsson (publ) Mehod and device for graceful degradation for recording and playback of multimedia streams
US8503458B1 (en) * 2009-04-29 2013-08-06 Tellabs Operations, Inc. Methods and apparatus for characterizing adaptive clocking domains in multi-domain networks
US8428122B2 (en) 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
JP5443918B2 (ja) * 2009-09-18 2014-03-19 株式会社ソニー・コンピュータエンタテインメント 端末装置、音声出力方法および情報処理システム
GB2488159B (en) * 2011-02-18 2017-08-16 Advanced Risc Mach Ltd Parallel video decoding
GB201109519D0 (en) * 2011-06-07 2011-07-20 Nordic Semiconductor Asa Streamed radio communication
JP6313211B2 (ja) * 2011-10-25 2018-04-18 デイライト ソリューションズ、インコーポレイテッド 赤外撮像顕微鏡
US9001178B1 (en) 2012-01-27 2015-04-07 Google Inc. Multimedia conference broadcast system
US8908005B1 (en) 2012-01-27 2014-12-09 Google Inc. Multiway video broadcast system
US9258522B2 (en) 2013-03-15 2016-02-09 Stryker Corporation Privacy setting for medical communications systems
US9609339B2 (en) * 2013-04-08 2017-03-28 Arris Enterprises, Inc. Individual buffer management in video coding
EP2903289A1 (en) * 2014-01-31 2015-08-05 Thomson Licensing Receiver for layered real-time data stream and method of operating the same
EP3146724A1 (en) 2014-05-21 2017-03-29 ARRIS Enterprises LLC Signaling and selection for the enhancement of layers in scalable video
CA3083172C (en) 2014-05-21 2022-01-25 Arris Enterprises Llc Individual buffer management in transport of scalable video
WO2017058815A1 (en) 2015-09-29 2017-04-06 Dolby Laboratories Licensing Corporation Method and system for handling heterogeneous jitter
US10812401B2 (en) 2016-03-17 2020-10-20 Dolby Laboratories Licensing Corporation Jitter buffer apparatus and method
EP3220603B1 (en) 2016-03-17 2019-05-29 Dolby Laboratories Licensing Corporation Jitter buffer apparatus and method
US10904540B2 (en) * 2017-12-06 2021-01-26 Avago Technologies International Sales Pte. Limited Video decoder rate model and verification circuit

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
US5495291A (en) * 1994-07-22 1996-02-27 Hewlett-Packard Company Decompression system for compressed video data for providing uninterrupted decompressed video data output
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JPH10313315A (ja) * 1997-05-12 1998-11-24 Mitsubishi Electric Corp 音声セルゆらぎ吸収装置
JP3795183B2 (ja) * 1997-05-16 2006-07-12 日本放送協会 デジタル信号伝送方法、デジタル信号送信装置およびデジタル信号受信装置
JP4499204B2 (ja) * 1997-07-18 2010-07-07 ソニー株式会社 画像信号多重化装置および方法、並びに伝送媒体
US6434606B1 (en) * 1997-10-01 2002-08-13 3Com Corporation System for real time communication buffer management
US6842724B1 (en) * 1999-04-08 2005-01-11 Lucent Technologies Inc. Method and apparatus for reducing start-up delay in data packet-based network streaming applications
JP2000358243A (ja) * 1999-04-12 2000-12-26 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
JP2003115818A (ja) * 2001-10-04 2003-04-18 Nec Corp 階層多重化装置及び階層多重化方法
KR100436759B1 (ko) * 2001-10-16 2004-06-23 삼성전자주식회사 수신된 멀티미디어 데이터를 저장하는 버퍼의 용량을가변할 수 있는 멀티미디어 데이터 복원장치
US7483487B2 (en) * 2002-04-11 2009-01-27 Microsoft Corporation Streaming methods and systems

Also Published As

Publication number Publication date
US20080159384A1 (en) 2008-07-03
AU2006346224A1 (en) 2008-05-02
WO2008051181A1 (en) 2008-05-02
EP2044710A1 (en) 2009-04-08
JP2009545204A (ja) 2009-12-17
CN101366213A (zh) 2009-02-11
AU2010241332A1 (en) 2010-12-02
EP2044710A4 (en) 2012-10-10
CA2615352A1 (en) 2007-01-20
CA2615352C (en) 2013-02-12

Similar Documents

Publication Publication Date Title
JP4967020B2 (ja) スケーラブル符号化におけるジッタバッファ低減のためのシステムおよび方法
US20220030261A1 (en) System and Method for Synchronizing Timing Across Multiple Streams
US8094556B2 (en) Dynamic buffering and synchronization of related media streams in packet networks
JP4965059B2 (ja) ビデオストリームの切り替え
US20100226444A1 (en) System and method for facilitating video quality of live broadcast information over a shared packet based network
KR101458852B1 (ko) 멀티-홉 ｒｔｐ 스트림에서의 중요 패킷 손실 처리 시스템 및 방법
US20100226428A1 (en) Encoder and decoder configuration for addressing latency of communications over a packet based network
EP2011332B1 (en) Method for reducing channel change times in a digital video apparatus
US20080100694A1 (en) Distributed caching for multimedia conference calls
CN102217272A (zh) 产生数据流的编码器和方法
EP1585334A1 (en) Method and client for playing a video stream.
JP2015156706A (ja) ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
JP4696008B2 (ja) Ｉｐ送信装置およびｉｐ送信方法
JP2011530907A (ja) チャネル切替のためのメディアストリームの分離
JP2004289295A (ja) データ処理システム、データ処理装置及びデータ処理方法
CN112055165B (zh) 视频通信方法、装置、系统、服务器、客户端及存储介质
AU2013200416A1 (en) System and method for jitter buffer reduction in scalable coding
CA2657434A1 (en) Encoder and decoder configuration for addressing latency of communications over a packet based network
CN211670946U (zh) 一种实时音视频综合处理板卡
Wagner et al. Playback delay and buffering optimization in scalable video broadcasting
CA2657439A1 (en) System and method for facilitating video quality of live broadcast information over a shared packet based network
CN116634187A (zh) 基于合流发送机制的视频流处理方法、装置、设备和介质
KR20130007993A (ko) 프레임별 전송 시간 정보 할당을 이용한 상호 의존성 프레임을 가지는 미디어 스트림의 전송 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110901

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees