JP4690280B2 - メディアデータをストリーミングする方法、システム及びクライアント装置 - Google Patents

メディアデータをストリーミングする方法、システム及びクライアント装置 Download PDF

Info

Publication number
JP4690280B2
JP4690280B2 JP2006263162A JP2006263162A JP4690280B2 JP 4690280 B2 JP4690280 B2 JP 4690280B2 JP 2006263162 A JP2006263162 A JP 2006263162A JP 2006263162 A JP2006263162 A JP 2006263162A JP 4690280 B2 JP4690280 B2 JP 4690280B2
Authority
JP
Japan
Prior art keywords
client device
predecoder
decoder
server
buffering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006263162A
Other languages
English (en)
Other versions
JP2006345582A (ja
Inventor
ハンヌクセラ，ミスカ
バリス アクス，エムレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2006345582A publication Critical patent/JP2006345582A/ja
Application granted granted Critical
Publication of JP4690280B2 publication Critical patent/JP4690280B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9005—Buffering arrangements using dynamic buffer space allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9023—Buffering arrangements for implementing a jitter-buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)

Description

本発明は、一般的にはパケットベースのネットワークにおけるメディアのストリーミングに関する。更に具体的には、本発明は、符号化とパケット化に起因するパケットの遅延変動に関してストリーミングされたメディアの再生を改良するバッファリングメカニズムに関する。
例えば、IPベースのビデオ会議システムなどの会話型パケット交換マルチメディアシステムでは、普通、様々なタイプのメディアが別個のパケットによって伝送されている。更に、パケットは、典型的には、一定の伝送遅延を保証できず遅延がパケットごとに変動するベストエフォート型のネットワークプロトコル上で伝送される。この結果、同一のプレゼンテーション(再生)タイムスタンプを有するパケットが同時受信されず、2つのパケットの受信間隔がそれらのプレゼンテーション間隔(時間の観点での)と異なってしまうことになる。このため、マルチメディア端末では、様々なメディアタイプ間で再生の同期を維持すると共に、正しい再生速度を維持するために、典型的には、遅延変動を除去するべく受信データを短時間(例えば0.5秒未満)バッファリングしている。本明細書においては、このタイプのバッファを遅延ジッタバッファと呼ぶことにする。会話型パケット交換マルチメディアシステムでは、メディアデータの復号化の前及び/又は後でバッファリングを実行可能である。
遅延ジッタバッファリングは、ストリーミングシステムにも適用される。但し、ストリーミングは非会話型アプリケーションであるという事実により、必要な遅延ジッタバッファは会話型アプリケーションよりも格段に大きなものになる。ストリーミングプレーヤーがサーバーに対する接続を確立しマルチメディアストリームのダウンロードを要求すると、サーバーは所望のストリームの伝送を開始する。典型的には、プレーヤーは、ストリームの再生を直ちに開始せず、到来するデータを所定の期間だけ、典型的には数秒の間バッファリングする。本明細書では、このタイプのバッファリングを初期バッファリングと呼ぶことにする。この初期バッファリングにより、会話型アプリケーションで遅延ジッタバッファリングが提供されるのと同様のやり方で、伝送の遅延変動を除去する能力が提供される。更に、これにより、消失したプロトコルデータユニット(複数PDU)のリンク、トランスポート、及び/又はアプリケーションレイヤの再送を使用することも可能になる。消失PDUの再送が可能である間、バッファリングにより、バッファからのデータのプレーヤーによる復号化及び再生が可能になる。バッファリング期間が十分に長ければ、再送されたPDUが適時に受信され、スケジューリングされた時点で復号化及び再生される。
ストリーミングクライアントにおける初期バッファリングにより、会話型システムでは実現できない更なる利点が提供される。サーバーから送信されるメディアのデータレートの変動が許容されるのである。即ち、受信側のバッファがオーバーフロー又はアンダーフローしない限り、一時的に再生速度よりも高速で或いは低速でメディアパケットを送信してもよい。このデータレートの変動は、2つの原因によって発生する。変動の第1の原因は、ビデオなどのいくつかのメディアタイプで実現可能な圧縮効率がソースデータの内容に依存していることである。この結果、安定した品質を所望する場合、結果として圧縮されたビットストリームのビットレートが変動する。典型的には、安定した視聴覚品質は、変動する品質よりも本来的に心地よい。従って、初期バッファリングによれば、ビデオ会議システムなどの初期バッファリングを備えていないシステムと比較し、心地よい視聴覚品質を実現することができる。
一例としてビデオデータを詳細に見れば、ビデオシーケンスの異なるフレームを大きく異なるデータ量で表すことができる。これは、予測符号化法を使用した結果である。典型的には、ビデオ符号化規格には、少なくとも2つのタイプのフレームが規定されている。主なフレームタイプは、INTRAすなわちIフレームと、INTERすなわちPフレームである。INTRAフレームは、画像自体に含まれている情報に基づいて符号化され、Pフレームは、少なくとも1つのその他のフレーム、普通、そのビデオシーケンスで初期に発生するフレームを参照して符号化される。デジタルビデオシーケンスの連続フレーム間の大きな時間的冗長性のため、INTERフレームは、INTRAフレームを表すのに必要なものよりも格段に小さなデータ量で符号化することができる。従って、符号化ビデオシーケンスにおいてINTRAフレームが使用される頻度は相対的に小さい。
典型的には、符号化シーケンスは、INTRAフレームから始まっている(これは、INTERフレームの構築に参照可能な以前のフレームが存在しないためである)。INTRAフレームは、予測(INTER)フレームの連続によって累積及び伝播するエラーを補償するべく、シーケンス内に周期的に、例えば一定の間隔で挿入することができる。又、INTRAフレームは、連続フレームの画像コンテンツが非常に変化するので予測符号化によってデータを効果的に削減できない場合のシーンカットにおいても一般的に使用される。従って、典型的な符号化ビデオストリームは、一般的に、INTRA符号化フレームで始まって、時折INTRAフレームが散在するINTERフレームのシーケンスから構成されており、INTRAフレームを表すのに必要なデータ量は、INTER符号化フレームを表すのに必要なデータ量に比べて数倍、例えば5〜10倍も大きい。又、各INTERフレームを表すのに必要なデータ量も、その参照フレームとの類似性/差異のレベルと画像のディテールの量によって変化する。
これは、予測符号化ビデオシーケンスの再構築に必要な情報が伝送データパケットに均等に分布していないことを意味している。即ち、INTRAフレームに関連するデータを伝送するには、INTERフレームのデータ伝送に必要な数よりも多くのデータパケットが必要なのである。更に、連続するINTERフレームを表すのに必要なデータ量も画像のコンテンツによって変化するため、INTERフレームデータを伝送するのに必要なデータパケット数も変動する。
変動の第2の原因は、固定IPネットワークにおけるパケット損失がバーストで発生した場合に生じる。バーストエラーとハイピークのビットレート及びパケットレートを回避するべく、優れた設計のストリーミングサーバーでは、パケットの伝送を注意深くスケジューリングしており、パケットは、受信端で再生される速度では正確に送信されない。典型的には、ネットワークサーバーは、一定速度のパケット伝送を達成するべく実現されている。又、サーバーは、例えば、ネットワークが輻輳してきた場合にはパケット伝送速度を下げ、ネットワークの状況が許す場合には、速度を上げて、そのときのネットワークの状況に応じてパケット伝送速度を調整することができる。これは、典型的には、TCP(伝送制御プロトコル)で送信される確認応答メッセージのアドバタイジングされたウィンドウを調整することによって行われる。
特開平１０−２８５５９１号公報 特開平８−２３７６５０号公報 Egawa, R. Aydin Alatan, A. Akansu, A. N., Compressed domain MPEG-2 video editing with VBV requiring, Image Processing, 2000. Proceedings. 2000 International Conference on, ２０００年９月１３日、Volume 1, p. 1016 - 1019
このネットワークサーバーに組み込まれている特性を、前述のビデオ符号化システムと併せて考えれば、予測符号化ビデオシーケンスの再構築に必要な情報が伝送データパケットに不均等に分布しているばかりでなく、データパケット自体もサーバーから様々な速度で伝送されるということである。これは、ネットワークの伝送遅延が一定であったとしても、受信クライアント端末の復号器は、例えば、ビデオシーケンスの連続フレームの構築に必要な情報を受信する際に、遅延変動を受けるということを意味している。尚、クライアント端末という用語は、ハンドヘルド装置(PDA)や無線端末、並びにデスクトップ及びラップトップコンピュータやセットトップボックスなどのあらゆるエンドユーザー電子装置を意味していることに留意されたい。符号化、パケット化、及びサーバーからのパケット伝送に起因して発生するこの遅延変動は、「符号化」又は「サーバー固有」遅延変動と呼ぶことができる。これは、ネットワーク内部の伝送時間の変動によって発生する遅延ジッタとは無関係であって、これに追加されるものである。
従って、初期バッファリングによれば、前述の欠点、即ち、符号化又はサーバー固有の遅延変動とネットワーク伝送関連の遅延変動による伝送データレートの変動に適応することが可能になる。初期バッファリングは、安定した視聴覚品質の提供とネットワークの輻輳及びパケット損失の回避に有用である。
初期バッファリングは、受信メディアデータの復号化後にも実行可能である。但し、この場合、復号化したデータに対してバッファリングが実行されるため、バッファのサイズが相対的に大きくなるという欠点を有している。又、符号化、サーバー固有、及びネットワーク伝送の遅延変動の複合的な影響により、初期バッファリングの要件が増大する傾向がある。
更に、メディアデータの符号化と、符号化データをパケットにカプセル化してサーバーから送信するやり方のために、受信クライアント端末の復号器は、ネットワークによる伝送遅延が一定であったとしても、メディアデータの再構築に必要な情報を受信する際に、遅延変動を受けることになる。従って、後置復号器バッファは、復号化前のこの形態の遅延変動を吸収する手段を提供しない。
本発明の第1の態様によれば、符号化パケットを復号化する復号器を含むクライアント装置にネットワークを介してソースサーバーから複数のデータパケットを伝送することにより、メディアデータをストリーミングする方法が提供される。この方法は、復号器での復号化の前に、ソースサーバーから送信されたデータを受信するために設定された可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファがクライアント装置に含まれていることを特徴とし、前置復号器バッファの可変初期バッファリング時間と可変バッファサイズは、クライアント装置により改良再生性能に適応される。
本発明の第2の態様によれば、複数のデータパケットを伝送することによってメディアデータをストリーミングするシステムが提供され、このシステムは、メディアデータをホスティングするソースサーバーと、データパケットの伝送媒体として機能するネットワークと、メディアデータを再生する能力を有するクライアント装置と、を含み、クライアント装置は、ネットワークを介してソースサーバーから伝送されたパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、前置復号器バッファからのパケットを復号化する復号器と、クライアント装置により改良再生性能に前置復号器バッファの可変初期バッファリング時間と可変バッファサイズを動的に適応させる手段と、を含んでいる。
本発明の第3の態様によれば、ソースサーバーからネットワークを介して伝送された複数のデータパケットを受信するクライアント装置が提供され、このクライアント装置は、ネットワークを介してソースサーバーから伝送されたデータパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、前置復号器バッファからのデータパケットを復号化する復号器と、クライアント装置により改良再生性能に前置復号器バッファの可変初期バッファリング時間と可変バッファサイズを動的に適応させる手段と、を含んでいる。
本発明、並びにその更なる目的と利点は、以下の添付の図面との関連において本明細書の詳細な説明を参照することにより、最も良く理解することができる。
(アーキテクチャの概要)
本発明によれば、改良された受信側バッファリングを提供するべく、端末アーキテクチャ内に新しいバッファリングブロックが提供される。本明細書においては、このバッファリングブロックを前置復号器バッファと呼ぶことにする。
図1は、本発明の実施例による装置端末アーキテクチャにおける前置復号器バッファブロックの概略ブロック図を示している。「トランスポート復号器」100は、受信したデータパケット(例えばRTPデータパケット)の符号ストリームのカプセル化を解除する。「ソース復号器」120は、符号ストリームを再生可能な圧縮解除されたデータフォーマットに復号化する。「前置復号器バッファ」110は、トランスポート復号化とソース復号化間における一時記憶装置として機能する。複数タイプのデータで構成されるマルチメディアデータストリームの場合には、伝送するすべてのリアルタイムメディアタイプ間で共通前置復号器バッファを共有することが好適である。しかしながら、本発明の別の実施例においては、それぞれのメディアタイプごとに別個の前置復号器バッファが提供され、各メディアタイプ用の前置復号器バッファは、トランスポート復号器と、当該メディアタイプ用の個別のソース復号器の間に配置される。復号化処理は、クライアント装置のメモリに保存されているソフトウェアとして実装し、図1にその一部が示されているクライアント装置の動作を制御するMCU(主制御ユニット)の制御によってまたその制御下において実行することが好ましい。このMCUは、ソースサーバーから制御信号を受信し、ソースサーバーから受信した信号に従って初期バッファリング時間及びバッファサイズの適応を制御する。図1には、MCUによる様々なブロックの制御がMCUからそれぞれのブロックに対する制御の矢印によって示されている。
本発明の好適な実施例においては、ストリーミングクライアントの復号器の後に配置されている後置復号器バッファに加え、前置復号器バッファが提供される。ネットワーク伝送の遅延変動を吸収するべく、後置復号器バッファを提供することが好適である。さらに、この後置復号器バッファは、復号化関連の遅延変動も吸収することもできる。これは、複数のタイプのメディアデータを同時にストリーミングする場合に特に好適である。このような状況で後置復号器バッファを使用すれば、様々なメディア復号器によって生じる復号化の遅延変動を除去することができる。本発明の別の実施例においては、別個の復号器バッファが受信クライアントに更に提供される。この復号器バッファは、復号器と後置復号器バッファ間に配置され、復号化の際のメディアデータの一時記憶装置として提供される。複数のタイプのメディアデータを同時にストリーミングする状況では、それぞれのメディアタイプ用の個別のソース復号器ごとに別個の復号器バッファを提供することが好適である。
(バッファリングアルゴリズム)
ストリーミングクライアントで受信データをバッファリングすると共に、ネットワークに基づいたストリーミングサーバーからのストリームの符号化及びサービスを制御するべく、本実施例に従って動作するバッファリングアルゴリズムが提供される。このアルゴリズムは、本発明による前置復号器バッファがストリーミングクライアントに提供されていることを前提としている。
バッファリングアルゴリズムの動作に影響を与える主な要因が2つ存在している。即ち、初期バッファリング時間と最小前置復号器バッファサイズである。初期バッファリング時間とは、典型的には、最初のメディアデータパケットを受信する時刻とその最初のメディアサンプルを再生する時刻間の経過時間を意味している。最小前置復号器バッファサイズとは、典型的には、伝送遅延変動に対処するべく実行されるバッファリング以外に、ストリーミングクライアントが保存できるデータ量、例えばデータのバイト数に対応している。即ち、最小前置復号器バッファサイズは、遅延がゼロの信頼性の高い伝送ネットワークに対して規定されているのである。
このバッファリングアルゴリズムは、H.263アネックスB(仮想基準復号器)及びMPEG-4ビジュアルアネックスD(ビデオバッファリング検証装置)に記述されているアルゴリズムと類似している。これらのアルゴリズムは、ビデオコーデック用のバッファリング動作を規定している。尚、これらのアルゴリズムを適用可能なのはビデオのみであるため、これらのアルゴリズムにより、提案された前置復号器バッファリングアルゴリズムを置換することはできないことに留意されたい。さらに、H.263の仮想基準復号器は、初期バッファリング又はバッファへの複数(Bでない)フレームの保存をサポートしていない。又、提案された前置復号器バッファリングアルゴリズムは、前述のビデオバッファリングアルゴリズムと完全な互換性を有していることにも留意されたい。実際の実装においては、前置復号器バッファとビデオ復号器バッファを組み合わせることができる。
本発明の好適な実施例によれば、バッファリングアルゴリズムは、以下に規定する前置復号器バッファ要件に伝送データパケットストリームを準拠させる。
1.最初は、前置復号器バッファは空である。
2.受信すると、ほぼ即座にそれぞれの受信データパケットを前置復号器バッファに追加する。伝送プロトコルレベル(例えばRTPレイヤ)、或いはあらゆる下位レイヤにおけるすべてのプロトコルヘッダは除去する。
3.最初のパケットをバッファに追加する際にスタートする初期バッファリング時間と呼ばれる期間内には、データを前置復号器バッファから除去しない。
4.初期バッファリング時間が満了すると、再生タイマがスタートする。
5.再生タイマが当該データチャンク(data chunk)にスケジューリングされた再生時刻に到達すると、ほぼ即座にそのデータチャンクを前置復号器バッファから除去する。
6.データが、遅延がゼロの信頼性の高い伝送ネットワークによって伝送される場合には、前置復号器バッファサイズと呼ばれるあるレベルを前置復号器バッファの占有レベルが超過することは許されない。
上記の要件は、中間のポーズ要求がない動作について記述したものであることに留意されたい。新しい再生要求(例えば、ポーズ後のもの)のそれぞれが同じ要件に従うことになる。
更に、前述の要件は、遅延がゼロの信頼性の高い伝送ネットワークを有するという前提に基づいている。即ち、実際の実装においては、クライアント側の前置復号器バッファリングは、ネットワーク遅延ジッタバッファリングと組み合わせられる可能性が高い。この結果、ストリーミングクライアントの実際の前置復号器バッファサイズは、前述の最小前置復号器バッファサイズよりも大きくなり、実際の初期バッファリング時間も前述の初期バッファリング時間よりも長くなる可能性が高い。
(前置復号器バッファリング)
図2は、前置復号器バッファリングの効果を示す典型的なストリーミングシステムにおけるデータフローの例を示している。各バーは、メディアフレーム又はパケットを表しており、例えば、色の濃いバーは、ビデオデータパケット(例えばITU-T勧告H.263に従って符号化されたもの)であり、色の淡いバーは、オーディオデータパケット(例えば適応マルチレート(AMR)音声コーデックを使用して符号化されたもの)である。各バーの高さは、フレーム(又は、パケット)のサイズをバイト数で表している。そして、処理フローは上から下に実行され、時間は左から右に経過する。
この図2を詳細に参照すれば、まず、入力データを符号化する。この結果、ビデオストリームは、変動するフレームレートとフレームサイズを有し、オーディオストリームは、フレームレートは一定であるが、変動するフレームサイズを有することになる。次に、圧縮されたメディアストリームをパケットにカプセル化してネットワークに送信する。このカプセル化の際には、サーバーは、大きなビデオフレームは複数のパケットに分割し、いくつかの小さなオーディオフレームは1つのパケットに組み合わせる。サーバーは、パケットを一定の間隔で送信する。パケットサイズやその他の要因に関係なく、一定のネットワークの伝送遅延を前提としている。従って、受信したパケットの相対的なタイミングは、送信された際のものと同一である。受信したパケットは、前置復号器バッファ内に保存する。ある初期バッファリング時間の経過後にバッファからフレームを読み出すが、このフレーム除去速度は、フレーム再生速度と同一である。最大バッファ占有レベルにより、最小前置復号器バッファサイズが決定される。
(前置復号器バッファ特性のシグナリング)
ストリーミングクライアントにおける所定の最低バッファリング能力を確保するべく、あるデフォルトバッファ特性を規定する。前述のように、バッファ特性は、主に初期バッファリング時間と最小前置復号器バッファサイズという2つの要因によって規定することができる。初期バッファリング時間のデフォルト値は、例えば、約1秒であり、デフォルト最小前置復号器バッファサイズは約30720バイトである。これらの値は模範的なものに過ぎず、これらを変更し、当該時点でネットワークにおいて受ける特定タイプの遅延に適した性能を実現可能であることに留意されたい。推奨したこれらのデフォルト値は、一般化された環境における実際の実験に基づいたものであり、決して特定なものではないが、最も一般的に起こるパケット伝送のシナリオが考慮されている。所定のストリーミングシステムにおいて、デフォルト前置復号器初期バッファリング時間とデフォルト前置復号器バッファサイズを暗黙的に規定することも可能であることに留意されたい。即ち、ネットワーク内のソースサーバーとストリーミングクライアントが、あるデフォルト前置復号器バッファパラメータ(例えば前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズ)を前提とするようなやり方で動作するのである。別の実施例においては、前置復号器バッファパラメータの明示的なシグナリングを使用する。
ストリーミングクライアントがデフォルト前置復号器バッファリング能力をソースサーバーにシグナリングすると共に、デフォルト能力よりも要求の厳しいバッファリング能力を必要とするメディアストリームを受信できるよう、本発明では、リアルタイムストリーミングプロトコル(RTSP)のSET_PARAMETERメソッドに基づいたシグナリングを使用する。
一例として、クライアント端末装置は、次のパラメータのいずれか、又は両方を設定するようにサーバーに要求することができる。
1.InitialBufferingTimeInMSec(ミリ秒単位の初期バッファリング時間)
2.preDecoderBufferSizeInBytes(バイト単位の最小前置復号器バッファサイズ)
クライアント端末装置が、ストリーミングシステムにおいて規定されている或いは暗黙的に前提とされているデフォルト値よりも小さなパラメータ値をシグナリングすることは許されない。デフォルト値のうちの1つよりも小さな値を通知する要求を受信したサーバーは、「無効要求」をシグナリングする。一方、伝送された値が、規定された或いは暗黙的なデフォルト値以上の場合には、シグナリングされた値は、要求を受信するとほぼ即座に使用され、ソースサーバーは、前述のバッファリングアルゴリズムに従い、シグナリングされた値を使用して伝送パケットストリームを検証する。即ち、また以下に詳述するように、サーバーは、受信クライアントでほぼ正しく再生されるようなやり方で、パケットストリームを送信する。さらに具体的には、ソースサーバーは、受信クライアントの前置復号器バッファがオーバーフローせず、且つ受信クライアントにおけるスケジューリングされた再生時刻の再生にメディアデータのすべてのデータチャンク、例えばフレームが利用可能であることを確実とするようにしてパケットストリームを送信する。
本発明の好適実施例によれば、クライアント端末装置は、最初にネットワークサーバーと通信を確立しストリーミングする特定のメディアコンテンツを要求することによってサーバーとのストリーミングセッションの設定を開始する際に、デフォルト前置復号器バッファリングパラメータをサーバーにシグナリングする。前述のように、本発明によれば、クライアント端末装置は、デフォルト前置復号器バッファリング時間又は最小前置復号器バッファサイズのいずれか、或いは前記パラメータの両方を通知することができる。クライアント端末装置に後置復号器バッファが更に提供されている別の実施例においては、後置復号器バッファサイズをソースサーバーに通知することができる。ストリーミングシステムにおいて前置復号器バッファパラメータが暗黙的に規定されている本発明の実施例においては、クライアント装置による前置復号器バッファパラメータの初期シグナリングは、厳密には不要である。しかし、特定のクライアント装置が、ストリーミングシステムにおいて前提とされている暗黙的に規定されたデフォルト値よりも優れた前置復号器バッファリング能力を有している場合には、それらをサーバーにシグナリングすることができる。更に別の配置においては、ソースサーバーは、ストリーミングシステムに関連する能力サーバーから所定のクライアント装置の前置復号器バッファパラメータを読み出す。
次にサーバーは、クライアント端末装置に対して自身が提供できるメディアストリームの特性を通知する。当業者には周知のように、多くの実際のストリーミングシステムにおいては、同一のメディアコンテンツを表す複数の事前符号化されたメディアストリームがストリーミングサーバーに提供される。これら事前符号化されたストリームのそれぞれは、異なる符号化パラメータで符号化される。このような場合には、異なる特性及び/又は能力を有する複数の異なるクライアント端末装置に対して、且つ/或いは異なる特性(例えば利用可能な最大伝送ビットレートを有するネットワークを介して、メディアコンテンツをストリーミングすることができる。
本発明の好適実施例によれば、サーバーは、クライアント端末のデフォルト前置復号器初期バッファリング時間及び/又は最小前置復号器バッファサイズの通知を受信すると、ネットワークを介したシグナリングにより、クライアント端末に対して自身が提供できる様々な事前符号化メディアストリームについて通知する。例えば、要求されたメディアコンテンツに関連する異なった符号化のメディアストリームをサーバーが4つ有しており、クライアントがデフォルト前置復号器初期バッファリング時間とデフォルト前置復号器バッファサイズの両方を通知した場合には、サーバーは、4つの異なるメディアストリームの正しい(例えばポーズ-フリー)再生を確実なものとするのに必要な前置復号器初期バッファリング時間と前置復号器バッファサイズをシグナリングする。すると、クライアント端末は、それら4つの事前符号化メディアストリームの中から再生する1つを選択し、選択したメディストリームに対応する要件に従って前置復号器初期バッファリング時間と前置復号器バッファサイズを調整する。クライアント端末におけるこの調整は、クライアント端末のMCUによって制御することが好ましい。サーバーが、様々な符号化メディアストリームに必要な前置復号器初期バッファリング時間及び前置復号器バッファサイズのいずれかのみを通知した場合には、クライアント端末は、それに基づいてメディアストリームを選択し、前置復号器初期バッファリング時間又は前置復号器バッファサイズをしかるべく調整する。この場合、通知されなかった方のパラメータには、デフォルト値が割り当てられる。
次にクライアント端末は、メディアコンテンツのストリーミングダウンロードを開始するべく、メディアストリームの選択についてサーバーにシグナリングする。又、この段階では、現在クライアント端末において有効な前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズについてもサーバーに暗黙的に通知し、サーバーが前述のバッファリングアルゴリズムに従って伝送メディアストリームを正しく検証できるようにし、この結果、前置復号器バッファのオーバーフローが発生せず、且つメディアデータのすべてのデータチャンクが受信クライアントにおけるスケジューリングされた再生時刻での再生に利用できるようになる。
本発明による方法では、クライアント端末による前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズの調整を可能にすることにより、デフォルト前置復号器バッファパラメータを使用して正しく再生できないようなやり方で符号化されたメディストリームを端末で受信し正しく再生できるようにしている。
本発明の好適実施例によれば、クライアントの前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズは、新しいメディアストリームのストリーミングを開始する際に常に前述のプロセスに従って適応される。このプロセスの間に、新しいメディアストリームが、現在有効な前置復号器バッファリングパラメータを使用してクライアントにおいて正しく再生できると判定された場合は、調整は不要である。さらに、現在のストリーミングセッションの期間中、必要な前置復号器バッファパラメータの変更をサーバーがシグナリングした場合には、クライアントは、前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズを調整することができる。このような状況は、例えば、ストリーミングするメディアコンテンツの種々の連続するセクションの符号化が異なっており、ストリームの正しい再生を確実なものとするためにクライアントでの様々な前置復号器バッファリングが必要になる場合に発生する。
要約すれば、本発明は、前置復号器バッファをストリーミングクライアントの一部として考慮したものである。ストリーミングクライアントは、バッファリングアルゴリズムに従って動作し、そのアルゴリズムで、ストリーミングサーバーは、規定されたバッファリングアルゴリズムに送信データストリームが準拠していることを検証する。更に、本発明は、ストリーミングクライアントのバッファ能力を規定してストリーミングサーバーにシグナリングするメカニズムを提案している。このようにして、ストリーミングサーバーは、所定のストリーミングクライアントのバッファリング能力に関する情報を取得可能であり、受信側前置復号器バッファの限度内で、符号化データ/メディアの伝送速度の変動が許容される。サーバーのバッファリング検証装置を使用し、受信側のバッファリング能力に送信パケットストリームを準拠させることを確実にすることができることに留意されたい。これは、例えば、クライアントの前置復号器バッファのバッファリング能力を超過しないように、サーバーからのパケットの送信時点を調整することによって実行することができる。或いは、この代わりに、サーバーは、メディアデータの符号化及びパケット化の方法を調整することもできる。実際には、バッファリング検証装置は、サーバーのトランスポート符号器の後で動作するバッファであってよい。
以上、本発明について、特定の実施例を参照していくつかの観点で説明したが、当業者には、変形及び変更が明らかであろう。従って、添付の請求項は、限定的に解釈されるべきではなく、本明細書において開示した発明の主題から導出される変形や変更を包含するものと見なすべきである。
図1は本発明の実施例による装置端末アーキテクチャにおける前置復号器バッファブロックの概略ブロック図を示す図である。 図2は前置復号器バッファリングの効果を示す典型的なストリーミングシステムにおけるデータフローの例を示す図である。
符号の説明
１００ トランスポート復号器
１１０ 前置復号器バッファ
１２０ ソース復号器
ＭＣＵ 主制御ユニット

Claims (19)

  1. メディアデータを受信するためのクライアント装置であって、前記メディアデータが該クライアント装置においてデータパケットストリームとしてサーバーから受信され、該クライアント装置が非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファ（１１０）を含むクライアント装置において、
    前記メディアデータの前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうち少なくとも１つを示す情報を受信し、
    前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファ（１１０）の最小サイズに相当し、
    バッファリングアルゴリズムに従って前記前置復号器バッファ（１１０）に前記メディアデータをバッファリングするように構成され、前記バッファリングアルゴリズムの動作が、前記前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受ける
    ことを特徴とする、クライアント装置。
  2. 前記バッファリングアルゴリズムに従って前記の伝送されるデータパケットストリームを検証するために、前記サーバーが使用する前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を示すため、前記サーバーへシグナリングするように構成されることを特徴とする、請求項１に記載のクライアント装置。
  3. 前記クライアント装置の前記前置復号器バッファについてデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが規定されることを特徴とする、請求項１に記載のクライアント装置。
  4. 前記サーバーとのストリームセッションのセットアップに関連して前記サーバーに対して前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方をシグナリングするように構成されることを特徴とする、請求項３に記載のクライアント装置。
  5. 前記クライアント装置の前置復号器バッファリング能力が前記デフォルト値によって規定される能力を上回る場合、前記サーバーに対して前記前置復号器バッファリング能力をシグナリングするように構成されることを特徴とする、請求項３に記載のクライアント装置。
  6. 前記サーバーから受信した必要な前置復号器バッファサイズの指示に応答して、前記クライアント装置の前置復号器バッファサイズを調整するように構成されることを特徴とする、請求項１〜５のいずれか一項に記載のクライアント装置。
  7. 同一のメディアコンテントを表す複数の異なる事前符号化メディアストリームの各々を正確に再生するために必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方を示すシグナリングを前記サーバーから受信し、
    前記クライアント装置における再生のために前記複数の異なる事前符号化メディアストームのうち１つを選択し、かつ
    前記選択されたメディアストリームの要件に従って前記前置復号器初期バッファリング時間及び前記前置復号器バッファサイズを調整する、
    ように構成されることを特徴とする、請求項１〜６のいずれか一項に記載のクライアント装置。
  8. ストリーミングセッション中前記サーバーによってシグナリングされた必要な前置復号器バッファパラメータの変化に応答して前記前置復号器初期バッファリング時間及び前記前置復号器バッファサイズのうちいずれか一方またはその両方を調整するように構成されることを特徴とする、請求項１に記載のクライアント装置。
  9. 復号に関係する遅延の変動を吸収するために後置復号器バッファも備える請求項１〜８のいずれか一項に記載のクライアント装置。
  10. 無線端末、デスクトップコンピュータ、ラップトップコンピュータまたはセットトップボックスのうちの１つであることを特徴とする、請求項１に記載のクライアント装置。
  11. サーバーからデータパケットストリームとしてクライアント装置に受信されるメディアデータをバッファリングするための方法であって、前記クライアント装置が、非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファ（１１０）を含む方法において、
    前記クライアント装置が前記メディアデータの前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうち少なくとも１つを示す情報を受信するステップであって、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファ（１１０）の最小サイズに相当するステップと、
    バッファリングアルゴリズムに従って前記クライアント装置の前記前置復号器バッファ（１１０）に前記メディアデータをバッファリングするステップであって、前記バッファリングアルゴリズムの動作が、前記前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受けるステップと、
    を有することを特徴とする方法。
  12. 前記バッファリングアルゴリズムに従って前記の伝送されるデータパケットストリームを検証するために、前記前置復号器初期バッファリング時間及び前記最小前置復号器バッファサイズのうちいずれか一方またはその両方を示すため、前記クライアント装置から前記サーバーへシグナリングするステップ、
    を有することを特徴とする請求項１１に記載の方法。
  13. 前記クライアント装置の前記前置復号器バッファ用にデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズを規定するステップを有する請求項１１に記載の方法。
  14. 前記クライアント装置が、前記サーバーとのストリーミングセッションのセットアップに関連して前記サーバーに対して前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方をシグナリングすることを特徴とする、請求項１３に記載の方法。
  15. 前記クライアント装置が、該クライアント装置の前置復号器バッファリング能力が前記デフォルト値によって規定される能力を上回る場合、前記サーバーに対して前記前置復号器バッファリング能力をシグナリングすることを特徴とする、請求項１３に記載の方法。
  16. 前記クライアント装置が前記サーバーから受信した必要な前置復号器バッファサイズの指示に応答して、前記クライアント装置の前置復号器バッファサイズを調整することを特徴とする、請求項１３〜１５のいずれか一項に記載の方法。
  17. 前記サーバーに同一のメディアコンテントを表す複数の異なる事前符号化メディアストリームの正確な再生を保証するために必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方を示すため、前記サーバーからのシグナリングを前記クライアント装置で受信するステップと、
    前記クライアント装置において、前記複数の異なる事前符号化メディアストリームのうち一つを選択するステップと、
    前記の選択されたメディアストリームの要求条件によって、前記前置復号器初期バッファリング時間及び前記前置復号器バッファサイズを調整するステップと、
    を有することを特徴とする、請求項１３〜１６のいずれか一項に記載の方法。
  18. 前記クライアント装置が、ストリーミングセッション中前記サーバーによってシグナリングされた必要な前置復号器バッファパラメータの変化に応答して前記前置復号器初期バッファリング時間及び前記前置復号器バッファサイズのうちいずれか一方またはその両方を調整することを特徴とする、請求項１３に記載の方法。
  19. 前記クライアント装置が後置復号器バッファによって復号関係の遅延の変動を吸収することを特徴とする、請求項１１〜１８のいずれか一項に記載の方法。
JP2006263162A 2001-02-08 2006-09-27 メディアデータをストリーミングする方法、システム及びクライアント装置 Expired - Lifetime JP4690280B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20010239A FI118830B (fi) 2001-02-08 2001-02-08 Tietovirran toisto
FI20010239 2001-02-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002563340A Division JP2004525556A (ja) 2001-02-08 2002-02-08 ストリーミングされたメディアをバッファリングする方法及びシステム

Publications (2)

Publication Number Publication Date
JP2006345582A JP2006345582A (ja) 2006-12-21
JP4690280B2 true JP4690280B2 (ja) 2011-06-01

Family

ID=8560281

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002563340A Withdrawn JP2004525556A (ja) 2001-02-08 2002-02-08 ストリーミングされたメディアをバッファリングする方法及びシステム
JP2006263162A Expired - Lifetime JP4690280B2 (ja) 2001-02-08 2006-09-27 メディアデータをストリーミングする方法、システム及びクライアント装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002563340A Withdrawn JP2004525556A (ja) 2001-02-08 2002-02-08 ストリーミングされたメディアをバッファリングする方法及びシステム

Country Status (18)

Country Link
US (1) US7421508B2 (ja)
EP (3) EP1358542B1 (ja)
JP (2) JP2004525556A (ja)
KR (1) KR100629158B1 (ja)
CN (1) CN100504757C (ja)
AT (2) ATE438136T1 (ja)
AU (1) AU2002231829B2 (ja)
BR (1) BRPI0206630B1 (ja)
CA (1) CA2435936C (ja)
DE (2) DE60207381T2 (ja)
EE (1) EE04862B1 (ja)
FI (1) FI118830B (ja)
HU (1) HUP0302621A3 (ja)
MX (1) MXPA03007096A (ja)
RU (1) RU2302032C2 (ja)
SG (1) SG148844A1 (ja)
WO (1) WO2002063461A1 (ja)
ZA (1) ZA200306100B (ja)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
EP1446955A2 (en) * 2001-11-21 2004-08-18 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
JP2004015114A (ja) * 2002-06-03 2004-01-15 Funai Electric Co Ltd デジタル放送記録装置及びそれを備えたデジタル放送システム
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
JP2006500797A (ja) * 2002-07-16 2006-01-05 ノキア コーポレイション マルチメディアストリーミング時にパケット転送遅延の補償を可能にする方法
JPWO2004019521A1 (ja) * 2002-07-31 2005-12-15 シャープ株式会社 データ通信装置、その間欠通信方法、その方法を記載するプログラム、及びそのプログラムを記録する記録媒体
JP4546246B2 (ja) 2002-10-05 2010-09-15 デジタル ファウンテン， インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
KR100926711B1 (ko) 2003-02-07 2009-11-17 엘지전자 주식회사 멀티미디어 데이터 송수신 방법
EP1593047A4 (en) * 2003-02-13 2010-06-09 Nokia Corp METHOD OF SIGNALING STREAMING QUALITY ADAPTATION AND CONTROL MCHANISMS IN MULTIMEDIA STREAMING
CN1751518B (zh) * 2003-02-18 2010-12-01 诺基亚有限公司 图像编码方法
JP2006518127A (ja) * 2003-02-18 2006-08-03 ノキア コーポレイション ピクチャ復号化方法
US7353284B2 (en) 2003-06-13 2008-04-01 Apple Inc. Synchronized transmission of audio and video data from a computer to a client via an interface
KR100651566B1 (ko) * 2003-08-26 2006-11-28 삼성전자주식회사 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
CN100412832C (zh) * 2003-09-02 2008-08-20 竺红卫 一种基于优先级调度的非均匀多媒体流传输调度方法
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
KR101014233B1 (ko) * 2003-10-22 2011-02-14 엘지전자 주식회사 대화형 광디스크의 부가 오디오 파일 관리 및 재생방법
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) * 2004-02-18 2007-11-13 Nokia Corporation Data repair
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
CN103124182B (zh) 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
US9219729B2 (en) * 2004-05-19 2015-12-22 Philip Drope Multimedia network system with content importation, content exportation, and integrated content management
US9124907B2 (en) * 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US20060143678A1 (en) * 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
US7536469B2 (en) * 2004-12-10 2009-05-19 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
TWI401918B (zh) * 2005-02-03 2013-07-11 Nokia Corp 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
BRPI0610404A2 (pt) * 2005-04-07 2012-01-10 Nokia Corp método, sistema e dispositivo para armazenar pacotes de um fluxo de mìdia, dispositivo de comunicação sem fio, servidor, servidor de radiodifusão de multimìdia/serviço multipontos, dispositivo para receber os pacotes possuindo uma programação de transmissão e ao menos um quadro de transmissão, sinal associado a um fluxo de mìdia, produto de programa de computador
US7613112B2 (en) * 2005-06-28 2009-11-03 Nokia Corporation Optimizing playback startup time of bursty real-time streams
CN101305417B (zh) * 2005-11-07 2011-08-10 艾利森电话股份有限公司 移动电信网络中的方法和装置
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
CN101686107B (zh) * 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US7647276B2 (en) * 2006-05-11 2010-01-12 Cfph, Llc Methods and apparatus for electronic file use and management
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
FR2907990B1 (fr) * 2006-10-27 2009-04-17 Envivio France Entpr Uniperson Encodeur temps-reel contraint en debit et en delai,procede, produit programme d'ordinateur et moyen de stockage correspondants.
US7962637B2 (en) * 2006-11-03 2011-06-14 Apple Computer, Inc. Dynamic adjustments of video streams
US8069260B2 (en) * 2007-01-12 2011-11-29 Microsoft Corporation Dynamic buffer settings for media playback
US8914529B2 (en) * 2007-01-22 2014-12-16 Microsoft Corporation Dynamically adapting media content streaming and playback parameters for existing streaming and playback conditions
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
CN101647241A (zh) * 2007-03-27 2010-02-10 日本电气株式会社 移动通信系统、网络装置和分组顺序控制方法
US9148628B2 (en) * 2007-08-16 2015-09-29 Yahoo! Inc. Intelligent media buffering based on input focus proximity
EP2203836A4 (en) 2007-09-12 2014-11-05 Digital Fountain Inc GENERATING AND COMMUNICATING SOURCE IDENTIFICATION INFORMATION TO ENABLE RELIABLE COMMUNICATIONS
WO2009047713A2 (en) * 2007-10-11 2009-04-16 Nxp B.V. Method and system for controlling the admission of a storage means to a perpheral bus of a data reproduction system
RU2463643C2 (ru) * 2008-02-20 2012-10-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки отчета о состоянии буфера заполнения
US8126048B2 (en) * 2008-03-18 2012-02-28 Seiko Epson Corporation Recording streaming delta-encoded data
US8139923B2 (en) * 2008-03-19 2012-03-20 Seiko Epson Corporation Playback of recorded streaming delta-encoded data
EP2129130A1 (fr) * 2008-05-26 2009-12-02 THOMSON Licensing Procédé de transmission simplifié d'un flux de signaux entre un émetteur et un appareil électronique
US8379083B1 (en) * 2008-07-17 2013-02-19 Sprint Communications Company L.P. Simultaneous viewing and reliable recording of multimedia content over a network
JP5135147B2 (ja) * 2008-09-29 2013-01-30 富士フイルム株式会社 動画ファイル送信サーバおよびその動作制御方法
JP5077181B2 (ja) * 2008-10-14 2012-11-21 ソニー株式会社 情報受信装置、情報送信装置および情報通信システム
KR101019594B1 (ko) 2008-11-10 2011-03-07 주식회사 케이티 스트리밍 서비스의 버퍼링 시간을 조정하기 위한 시스템 및그 방법
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP5278059B2 (ja) * 2009-03-13 2013-09-04 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
US9357568B2 (en) * 2009-06-16 2016-05-31 Futurewei Technologies, Inc. System and method for adapting an application source rate to a load condition
US20100329355A1 (en) * 2009-06-30 2010-12-30 Nxp B.V System and method for configurable packet streaming
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
JP5482178B2 (ja) * 2009-12-16 2014-04-23 ソニー株式会社 送信装置および方法、並びに、受信装置および方法
CN102724705B (zh) 2009-12-25 2015-04-29 华为技术有限公司 一种报告缓存数据量的方法及装置
TWI400949B (zh) * 2010-04-06 2013-07-01 Hon Hai Prec Ind Co Ltd 媒體資料播放裝置及其重播方法
US8301794B2 (en) * 2010-04-16 2012-10-30 Microsoft Corporation Media content improved playback quality
US8532804B2 (en) * 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
KR101739272B1 (ko) 2011-01-18 2017-05-24 삼성전자주식회사 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
KR20120108564A (ko) * 2011-03-24 2012-10-05 삼성전자주식회사 데이터 처리 시스템 및 그 동작 방법
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
GB2495928B (en) 2011-10-25 2016-06-15 Skype Jitter buffer
GB2495929B (en) 2011-10-25 2014-09-03 Skype Jitter buffer
GB2520867B (en) 2011-10-25 2016-05-18 Skype Ltd Jitter buffer
MX356063B (es) 2011-11-18 2018-05-14 Sirius Xm Radio Inc Sistemas y metodos que implementan la transicion gradual, los intersticiales y otros efectos corriente abajo.
WO2013158804A1 (en) 2012-04-17 2013-10-24 Sirius Xm Radio Inc. Systems and methods for implementing efficient cross-fading between compressed audio streams
EP2608558A1 (en) * 2011-12-22 2013-06-26 Thomson Licensing System and method for adaptive streaming in a multipath environment
CA2866585C (en) 2012-03-06 2021-02-23 Sirius Xm Radio Inc. Systems and methods for audio attribute mapping
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
CN103476062B (zh) * 2012-06-06 2015-05-27 华为技术有限公司 一种数据流调度的方法、设备和系统
US9246970B2 (en) * 2014-02-14 2016-01-26 GM Global Technology Operations LLC System and method for compensating for delay and jitter
US10283091B2 (en) 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR102350504B1 (ko) * 2015-04-27 2022-01-14 삼성전자주식회사 통신 시스템에서 하향링크 전송률 제어를 위한 장치 및 방법
WO2020048617A1 (en) 2018-09-07 2020-03-12 Telefonaktiebolaget Lm Ericsson (Publ) Latency efficient streaming of video frames for machine vision over an ip network
JP7318123B2 (ja) 2019-10-14 2023-07-31 グーグル エルエルシー 適応的バッファを使用してビデオコンテンツをストリーミングするための方法、システム、および媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237650A (ja) * 1994-10-21 1996-09-13 At & T Corp データバッファの同期システム
JPH10271137A (ja) * 1997-01-03 1998-10-09 Ncr Internatl Inc バッファスペースを最小限とするために圧縮された情報を伝送する方法
JPH10285591A (ja) * 1997-04-02 1998-10-23 Hitachi Denshi Ltd 映像信号伝送方法およびその装置
JP2000228669A (ja) * 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
JP2002084339A (ja) * 2000-07-06 2002-03-22 Matsushita Electric Ind Co Ltd ストリーミング方法およびそれを実行するシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014265A (en) 1989-11-30 1991-05-07 At&T Bell Laboratories Method and apparatus for congestion control in a data network
EP0562221B1 (en) * 1992-03-27 1997-10-15 Alcatel Video decoder
JPH0652666A (ja) * 1992-07-31 1994-02-25 Matsushita Electric Ind Co Ltd マルチメディア再生装置
US5363097A (en) * 1992-09-14 1994-11-08 Industrial Technology Research Institute Direct sequential-bit variable length decoder
US5913031A (en) * 1994-12-02 1999-06-15 U.S. Philips Corporation Encoder system level buffer management
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
JP3060877B2 (ja) * 1995-02-20 2000-07-10 日本ビクター株式会社 マルチメディアシナリオ再生装置
US5808607A (en) * 1995-04-07 1998-09-15 International Business Machines Corporation Multi-node media server that provides video to a plurality of terminals from a single buffer when video requests are close in time
JPH09186966A (ja) * 1995-12-25 1997-07-15 Texas Instr Inc <Ti> ビデオ再生方法及び再生システム
US5790792A (en) * 1996-09-04 1998-08-04 Radiant Systems, Inc. Method and apparatus for transmitting multimedia data from and application logic server to interactive multimedia workstations
US5892980A (en) * 1997-02-28 1999-04-06 Comsys Communication And Signal Processing Ltd. System for dynamically changing the length of transmit and receive sample buffers utilizing previous responding to an interrupt in a communications system
US6175871B1 (en) * 1997-10-01 2001-01-16 3Com Corporation Method and apparatus for real time communication over packet networks
US6301258B1 (en) * 1997-12-04 2001-10-09 At&T Corp. Low-latency buffering for packet telephony
US6792615B1 (en) * 1999-05-19 2004-09-14 New Horizons Telecasting, Inc. Encapsulated, streaming media automation and distribution system
EP1146678B1 (en) 2000-04-14 2006-12-20 Alcatel An auto-adaptive jitter buffer
CA2312333A1 (en) * 2000-06-21 2001-12-21 Kimihiko E. Sato Multimedia compression, coding and transmission method and apparatus
US7310678B2 (en) * 2000-07-28 2007-12-18 Kasenna, Inc. System, server, and method for variable bit rate multimedia streaming
US6768499B2 (en) * 2000-12-06 2004-07-27 Microsoft Corporation Methods and systems for processing media content
US6823394B2 (en) * 2000-12-12 2004-11-23 Washington University Method of resource-efficient and scalable streaming media distribution for asynchronous receivers
US6842433B2 (en) * 2001-04-24 2005-01-11 Wideray Corporation System and method for communicating information from a computerized distributor to portable computing devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237650A (ja) * 1994-10-21 1996-09-13 At & T Corp データバッファの同期システム
JPH10271137A (ja) * 1997-01-03 1998-10-09 Ncr Internatl Inc バッファスペースを最小限とするために圧縮された情報を伝送する方法
JPH10285591A (ja) * 1997-04-02 1998-10-23 Hitachi Denshi Ltd 映像信号伝送方法およびその装置
JP2000228669A (ja) * 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
JP2002084339A (ja) * 2000-07-06 2002-03-22 Matsushita Electric Ind Co Ltd ストリーミング方法およびそれを実行するシステム

Also Published As

Publication number Publication date
JP2004525556A (ja) 2004-08-19
SG148844A1 (en) 2009-01-29
WO2002063461A1 (en) 2002-08-15
EP2159684A2 (en) 2010-03-03
EP2159684B1 (en) 2013-05-22
MXPA03007096A (es) 2003-11-18
DE60207381D1 (de) 2005-12-22
EP2159684A3 (en) 2010-03-10
EE200300316A (et) 2003-10-15
DE60207381T2 (de) 2006-08-24
FI118830B (fi) 2008-03-31
JP2006345582A (ja) 2006-12-21
KR20030071815A (ko) 2003-09-06
FI20010239A0 (fi) 2001-02-08
CA2435936A1 (en) 2002-08-15
CA2435936C (en) 2013-04-16
EE04862B1 (et) 2007-06-15
ATE310275T1 (de) 2005-12-15
CN1491381A (zh) 2004-04-21
RU2003127066A (ru) 2005-01-10
BR0206630A (pt) 2004-02-17
AU2002231829B2 (en) 2008-06-26
HUP0302621A3 (en) 2005-08-29
EP1358542A1 (en) 2003-11-05
US7421508B2 (en) 2008-09-02
US20020105951A1 (en) 2002-08-08
EP1605347A1 (en) 2005-12-14
RU2302032C2 (ru) 2007-06-27
BRPI0206630B1 (pt) 2016-11-29
ATE438136T1 (de) 2009-08-15
EP1358542B1 (en) 2005-11-16
KR100629158B1 (ko) 2006-09-27
HUP0302621A2 (hu) 2003-11-28
FI20010239A (fi) 2002-08-09
CN100504757C (zh) 2009-06-24
DE60233177D1 (de) 2009-09-10
ZA200306100B (en) 2004-09-06
EP1605347B1 (en) 2009-07-29

Similar Documents

Publication Publication Date Title
JP4690280B2 (ja) メディアデータをストリーミングする方法、システム及びクライアント装置
AU2002231829A1 (en) Method and system for buffering streamed data
US7652994B2 (en) Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
EP1514378B1 (en) Multimedia server with simple adaptation to dynamic network loss conditions
US8527649B2 (en) Multi-stream bit rate adaptation
US8218439B2 (en) Method and apparatus for adaptive buffering
US7668170B2 (en) Adaptive packet transmission with explicit deadline adjustment
US20130046902A1 (en) Procedure and device for transmission of multimedia digital data
US7111058B1 (en) Server and method for transmitting streaming media to client through a congested network
US10177899B2 (en) Adapting a jitter buffer
JP2007089137A (ja) ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト
EP2058968A1 (en) Method and apparatus for FEC encoding and decoding
JP4903435B2 (ja) メディア信号の送信方法と受信方法ならびに送受信方法及び装置
JP2023161219A (ja) 送信装置、受信装置及びそれらのプログラム
KR20100068780A (ko) 스트리밍 서비스에서 프리 디코더 버퍼의 오버플로우 방지 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090828

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110217

R150 Certificate of patent or registration of utility model

Ref document number: 4690280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term