TW202143741A - 用於網路串流媒體資料的資料之組塊之可用性之決定 - Google Patents

用於網路串流媒體資料的資料之組塊之可用性之決定 Download PDF

Info

Publication number
TW202143741A
TW202143741A TW110110932A TW110110932A TW202143741A TW 202143741 A TW202143741 A TW 202143741A TW 110110932 A TW110110932 A TW 110110932A TW 110110932 A TW110110932 A TW 110110932A TW 202143741 A TW202143741 A TW 202143741A
Authority
TW
Taiwan
Prior art keywords
segment
request
data
currently available
video
Prior art date
Application number
TW110110932A
Other languages
English (en)
Inventor
湯瑪士 史塔克漢莫
伊絲 歐茲圖克
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202143741A publication Critical patent/TW202143741A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26233Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving content or additional data duration or size, e.g. length of a movie, size of an executable file
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一種用於傳輸媒體資料的例示性裝置包括:被組態為儲存媒體資料的記憶體;以及一個或多個處理器,其在電路中實作並且被組態為:決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料;決定該增量時間值之倍數;使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量;向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊;以及將響應於該請求而接收之組塊的資料儲存在該記憶體中。

Description

用於網路串流媒體資料的資料之組塊之可用性之決定
本發明係關於對經編碼的視訊資料之儲存及傳輸。
數位視訊能力可以被併入到廣泛範圍的裝置中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型計算機或桌上型計算機、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲主控台、蜂巢式或衛星無線電電話、視訊電話會議裝置及類似者。數位視訊裝置實作視訊壓縮技術,諸如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分,先進視訊寫碼(AVC)、ITU-T H.265(也被稱為高效視訊寫碼(HEVC))定義的標準以及此類標準的擴展中描述之彼等技術,以更加高效地傳送及接收數位視訊資訊。
諸如音訊及視訊資料的媒體資料可以被分封化以進行傳送或儲存。媒體資料可以被組裝成符合各種標準(諸如國際標準化組織(ISO)的基本媒體檔案格式以及其擴展(諸如AVC))中之任一者的視訊檔案。
大體而言,本發明描述用於確保有分段之起點及資料之組塊可用(諸如在HTTP動態自適性串流(DASH)中,以及在一些實例中,用於低延遲DASH)的技術。在一些實例中,伺服器裝置及/或客戶端裝置可以決定服務之有效性(例如,作為兩個實例,媒體內容的視訊及/或音訊表示)以決定服務遵循DASH規格。作為一個實例,伺服器裝置及/或客戶端裝置可以執行DASH-IF符合性軟體,該符合性軟體對照規格中的承諾來測試服務供應之有效性。可以通過下載最少資料來進行對服務之有效性之決定。
在一些情況下,當存取服務之分段(例如,低延遲分塊分段)時,伺服器裝置及/或客戶端裝置(例如,經由符合性軟體)可能存取不存在的資料。本發明描述可以解決關於存取不存在的資料(諸如在DASH中)的問題的實例。作為一個實例,可以在媒體呈現中包括指示分段之起點及不同時間之組塊(chunks over time)可用的資訊。此外,客戶端裝置(例如,DASH客戶端)及/或伺服器裝置(例如,DASH伺服器)可以被組態為避免存取不存在的資料(例如,基於對DASH客戶端的關於允許什麼請求及禁止什麼請求以及當發生針對部分完整資源的請求時DASH伺服器的預期響應碼的要求)。以此方式,例示性技術提供了對技術問題的技術解決方案,其為DASH的改進提供了實際應用。
在一個實例中,一種傳輸媒體資料之方法包括:決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料;決定該增量時間值之倍數;使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量;以及向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊。
在另一實例中,一種用於傳輸媒體資料的裝置包括:被組態為儲存媒體資料的記憶體;以及一個或多個處理器,其在電路中實作並且被組態為:決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料;決定該增量時間值之倍數;使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量;向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊;以及將響應於該請求而接收的組塊之資料儲存在該記憶體中。
在另一實例中,一種計算機可讀儲存媒體具有儲存在其上的指令,該指令在被執行時使得處理器進行以下操作:決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料;決定該增量時間值之倍數;使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量;以及向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊。
在另一實例中,一種用於傳輸媒體資料的裝置包含:用於決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料的構件;用於決定該增量時間值之倍數的構件;用於使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量的構件;以及用於向伺服器裝置發送針對該分段之當前可用的該組塊的請求的構件,其中該請求忽略該分段之當前不可用的組塊。
在隨附圖式及以下描述中闡述一個或多個實例之細節。根據實施方式及圖式以及根據申請專利範圍,其他特徵、目的及優點將是顯而易見的。
本申請案主張2020年3月25日申請之美國臨時申請案第62/994,725號之權益,該申請案之全部內容特此以引用之方式併入。
大體而言,本發明描述用於決定分段之可用於取回的組塊的技術(諸如在HTTP動態自適性串流(DASH)中,以及在一些實例中,針對低延遲DASH)。具體地,這些技術可以允許在分段本身完全可用之前決定組塊何時可用。這些技術可以允許客戶端裝置在決定分段之組塊可用時請求這些組塊,而非在請求該分段之資料之前等待該分段被完全形成。以此方式,這些技術可以用於縮減在串流即時捕獲之媒體資料之脈絡中的延遲。即,一旦組塊為可用,客戶端裝置就可以請求分段之組塊(子部分),而非等待用於完全形成(例如,捕獲、編碼及封裝)分段的全部時間量。
具體地,伺服器裝置可以向客戶端裝置發送清單檔案(例如,DASH中的媒體呈現描述(MPD))。清單檔案可以通告清單檔案是否包括用於分段之重新同步元件的增量時間值(例如,@dT屬性)。當清單檔案包括增量時間值時,客戶端裝置可以使用增量時間值來決定分段之特定組塊何時為可用。具體地,清單檔案可以發信對於分段的標稱分段可用性開始時間(NSAST)。當清單檔案發信用於分段之重新同步元件的增量時間值時,客戶端裝置可以使用增量時間值來決定分段之在當前時間處當前現時可用的組塊之數量。
具體地,客戶端裝置可以決定第一組塊在對於分段所發信的NSAST為可用。然後,客戶端裝置可以基於自NSAST起業已經過的時間量來決定分段之後續組塊之可用性。對於自NSAST起業已經過的增量時間值之每一倍數,客戶端裝置可以決定該數量之組塊當前為可用。換言之,在時間NSAST + N*@dT處(其,N係整數倍數),客戶端裝置可以決定分段之第一組塊及N個額外組塊可用於取回。當分段不具有重新同步元件時,客戶端裝置可以使用針對整體分段的請求來簡單地請求分段,而非請求該分段的個別組塊。
此外,客戶端裝置可以從清單檔案決定表示兩個隨機存取點(例如,兩個重新同步元件)之間的最小資料大小的值,諸如@dImin值。客戶端裝置可以使用該值,以使用上文討論的倍數來決定分段之在當前時間處可用於取回的資料量。具體地,如果當前時間再次為NSAST+N*@dT,則客戶端裝置可以決定分段之(N+1)*@dImin資料為可用。因此,客戶端裝置可以構建HTTP部分GET請求,該HTTP部分GET請求指定定義包括N*@dImin資料的範圍的“range:”標頭。替代地,如果B表示分段之先前已經請求的最新位元組,則客戶端裝置可以構建指定包括(N+1)*@dImin-B資料的範圍的請求。
本發明之技術可以應用於符合根據以下各項中的任何一項封裝的視訊資料的視訊檔案:ISO基本媒體檔案格式、可調整視訊寫碼(SVC)檔案格式、先進視訊寫碼(AVC)檔案格式、第三代合作夥伴計畫(3GPP)檔案格式、及/或多視圖視訊寫碼(MVC)檔案格式、或其他類似的視訊檔案格式。
在HTTP(超文本傳輸協定)串流中,頻繁使用的操作包括HEAD、GET及部分GET。HEAD操作取回與給定的統一資源定位符(URL)或統一資源名稱(URN)相關聯的檔案之標頭,而不取回與URL或URN相關聯的酬載。GET操作取回與給定的URL或URN相關聯的整個檔案。部分GET操作接收作為輸入參數的位元組範圍,並且取回檔案之位元組之連續數量,其中位元組之數量對應於所接收的位元組範圍。因此,可以提供電影片段(fragment)以用於HTTP串流,因為部分GET操作可以取得一個或多個個別電影片段。在電影片段中,可以具有不同軌道(track)的若干軌道片段。在HTTP串流中,媒體呈現可為客戶端可存取的資料之結構化收集。客戶端可以請求並且下載媒體資料資訊以向用戶呈現串流服務。
在使用HTTP串流來對3GPP資料進行串流之實例中,針對多媒體內容之視訊及/或音訊資料可以具有多個表示。如下文所解釋,不同的表示可以對應於不同的寫碼特性(例如,視訊寫碼標準的不同設定檔或級別)、不同的寫碼標準或寫碼標準的擴展(諸如多視圖及/或可調整擴展)、或不同的位元率。如是表示之清單可以被定義在媒體呈現描述(MPD)資料結構中。媒體呈現可以對應於HTTP串流客戶端裝置可存取的資料之結構化收集。HTTP串流客戶端裝置可以請求並且下載媒體資料資訊以向客戶端裝置之用戶呈現串流服務。媒體呈現可以被描述在MPD資料結構中,MPD資料結構可以包括MPD之更新。
媒體呈現可以含有一個或多個時段之序列。每個時段可以延長直到下一時段之開始為止,或者直到媒體呈現之結束為止(在最後一個時段之情況下)。每個時段可以含有針對相同媒體內容的一個或多個表示。表示可為音訊、視訊、定時文本或其他如是資料的多個替代經編碼版本之一。表示可以在編碼類型(例如,對於視訊資料而言,位元率、解析度及/或編解碼器、以及對於音訊資料而言,位元率、語言及/或編解碼器)方面不同。術語表示可以用於指涉經編碼的音訊或視訊資料中的與多媒體內容之特定時段相對應並且以特定方式編碼之一區段。
特定時段之表示可以被指派給由MPD中的指示這些表示所屬的適應集的屬性指示的群組。同一適應集中的表示通常被認為係彼此的替代,因為客戶端裝置可以在這些表示之間動態且無縫地切換,例如以履行頻寬適應。例如,用於特定時段的視訊資料之每個表示可以被指派給相同的適應集,使得可以選擇這些表示中的任何表示進行解碼以呈現多媒體內容之用於對應時段的媒體資料,諸如視訊資料或音訊資料。在一些實例中,在一個時段內的媒體內容可以藉由來自群組0的任何一個表示(如果存在的話)或者來自每個非零群組的至多一個表示之組合來表示。用於時段的每個表示的時序資料可為相對於該時段之開始時間來表達的。
表示可以包括一個或多個分段。每個表示可以包括初始化分段,或者表示之每個分段可為自初始化的。當存在時,初始化分段可以含有用於存取表示的初始化資訊。通常,初始化分段不含有媒體資料。分段可以由識別碼唯一地引用,諸如統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別碼(URI)。MPD可以為每個分段提供識別碼。在一些實例中,MPD亦可以以range 屬性之形式提供位元組範圍,位元組範圍可以對應於用於在檔案內藉由URL、URN或URI可存取的分段的資料。
可以選擇不同的表示以用於實質上同時地取回不同類型的媒體資料。例如,客戶端裝置可以選擇要從其取回分段的音訊表示、視訊表示及定時文本表示。在一些實例中,客戶端裝置可以選擇特定的適應集以履行頻寬適應。即,客戶端裝置可以選擇包括視訊表示的適應集、包括音訊表示的適應集及/或包括定時文本的適應集。替代地,客戶端裝置可以為某些類型的媒體(例如,視訊)選擇適應集,而為其他類型的媒體(例如,音訊及/或定時文本)直接選擇表示。
圖1係繪示實作用於在網路上對媒體資料進行串流的技術的例示性系統10的方塊圖。在此實例中,系統10包括內容準備裝置20、伺服器裝置60及客戶端裝置40。客戶端裝置40及伺服器裝置60藉由可以包含網際網路的網路74通信地耦合。在一些實例中,內容準備裝置20及伺服器裝置60也可以藉由網路74或另一網路耦合,或者可以直接通信地耦合。在一些實例中,內容準備裝置20及伺服器裝置60可以包含相同的裝置。
在圖1之實例中,內容準備裝置20包含音訊源22及視訊源24。音訊源22可以包含例如麥克風,其產生表示被捕獲的要由音訊編碼器26編碼的音訊資料的電氣信號。替代地,音訊源22可以包含儲存先前記錄的音訊資料的儲存媒體、音訊資料生成器(諸如計算機化的合成器)、或任何其他音訊資料源。視訊源24可以包含產生要由視訊編碼器28編碼的視訊資料的攝影機、利用先前記錄的視訊資料而編碼的儲存媒體、視訊資料生成單元(諸如計算機圖形源)、或任何其他視訊資料源。在所有實例中,內容準備裝置20不一定通信地耦合到伺服器裝置60,而可以將多媒體內容儲存到由伺服器裝置60讀取的分離媒體。
原始音訊及視訊資料可以包含類比或數位資料。類比資料可以在被音訊編碼器26及/或視訊編碼器28編碼之前被數位化。音訊源22可以在講話參與者正在講話時從講話參與者獲得音訊資料,並且視訊源24可以同時獲得講話參與者之視訊資料。在其他實例中,音訊源22可以包括包含儲存的音訊資料的計算機可讀存儲媒體,而視訊源24可以包括包含儲存的視訊資料的計算機可讀存儲媒體。以此方式,在本發明中描述的技術可以被應用於實況的(live)、串流的、實時的(real-time)音訊及視訊資料或者被應用於被存檔的、預先記錄的音訊及視訊資料。
與視訊框相對應的音訊框通常係含有音訊資料的音訊框,音訊資料係與由視訊源24捕獲(或生成)的被含有在視訊框內的視訊資料同時地、由音訊源22捕獲(或生成)的。例如,當講話參與者通常通過講話產生音訊資料時,音訊源22捕獲音訊資料,而視訊源24同時(即,當音訊源22正在捕獲音訊資料時)捕獲講話參與者的視訊資料。因此,音訊框可以在時間上對應於一個或多個特定視訊框。相應地,對應於視訊框的音訊框通常對應於音訊資料及視訊資料係同時被捕獲,並且音訊框及視訊框分別包含同時被捕獲的該音訊資料及該視訊資料的情形。
在一些實例中,音訊編碼器26可以將表示用於每個經編碼的音訊框的音訊資料被記錄的時間的時間戳編碼在該經編碼的音訊框中,並且類似地,視訊編碼器28可以將表示用於每個經編碼的視訊框的視訊資料被記錄的時間的時間戳編碼在該經編碼的視訊框中。在如是實例中,音訊框對應於視訊框可以包括包含時間戳的音訊框及包含相同時間戳的視訊框。內容準備裝置20可以包括內部時鐘,其中音訊編碼器26及/或視訊編碼器28可以根據該內部時鐘來生成時間戳,或者音訊源22及視訊源24可以使用該內部時鐘將音訊資料及視訊資料分別與時間戳相關聯。
在一些實例中,音訊源22可以向音訊編碼器26發送與音訊資料被記錄的時間相對應的資料,而視訊源24可以向視訊編碼器28發送與視訊資料被記錄的時間相對應的資料。在一些實例中,音訊編碼器26可以將序列識別碼編碼到經編碼的音訊資料中,以指示經編碼的音訊資料的相對時間順序,但不一定指示音訊資料被記錄的絕對時間,並且類似地,視訊編碼器28也可以使用序列識別碼來指示經編碼的視訊資料的相對時間順序。類似地,在一些實例中,序列識別碼可以被映射或以其他方式與時間戳相關。
音訊編碼器26通常產生經編碼的音訊資料的串流,而視訊編碼器28產生經編碼的視訊資料的串流。每個個別的資料串流(無論係音訊或視訊)都可以被稱為基本串流。基本串流係表示的單一的、經數位寫碼的(可能被壓縮的)組件。例如,表示的經寫碼的視訊或音訊部分可為基本串流。在將基本串流封裝在視訊檔案內之前,可以將其轉換為分封化基本串流(PES)。在同一表示內,串流ID可以用於分辨屬於一個基本串流的PES封包與屬於另一基本串流的PES封包。基本串流的基礎資料單元係分封化基本串流(PES)封包。因此,經寫碼的視訊資料通常對應於基本視訊串流。類似地,音訊資料對應於一個或多個相應的基本串流。
許多視訊寫碼標準(諸如ITU-T H.264/AVC、以及高效視訊寫碼(HEVC)標準、以及即將到來的多功能視訊寫碼(VVC)標準)定義了用於無錯誤位元流的語法、語義及解碼程序,其中之任一者符合某個設定檔或級別。視訊寫碼標準通常不指定編碼器,但編碼器被賦予保證所生成的位元流對於解碼器來說符合標準的任務。在視訊寫碼標準之脈絡下,“設定檔”對應於適用於他們的演算法、特徵、或工具及約束之子集。例如,如由H.264標準所定義的,“設定檔”係由H.264標準所指定的整個位元流語法之子集。“級別”對應於與圖片之解析度、位元率及區塊處理率有關的解碼器資源消耗之限制,諸如例如,解碼器記憶體及計算。可以利用profile_idc(設定檔指示符)值來發信設定檔,而可以利用level_idc(級別指示符)值來發信級別。
VVC標準將“設定檔”定義為VVC之語法之指定子集,並且將“級別”定義為關於可以由VVC的語法元件及變數採用的值的約束集。在一些實例中,在VVC中,針對所有設定檔定義了相同的級別集,其中每個級別之定義之大多數方面在不同的設定檔之間係共同。在指定約束內,個別實作可以針對每個支援的設定檔支援不同級別。
例如,H.264標準認可,在由給定設定檔的語法施加的界限內,仍然可能需要編碼器及解碼器的性能的大幅變化,這取決於由位元流中的語法元件所採用的值,諸如經解碼的圖片之指定大小。H.264標準進一步認可,在許多應用中,實現能夠處理特定設定檔內的語法之所有假設用途的解碼器既不實用也不經濟。因此,H.264標準將“級別”定義為對在位元流中的語法元件之值施加的指定的約束集合。這些約束可能係對值的簡單限制。替代地,這些約束可以採取對值之算術組合的約束之形式(例如,圖片寬度乘以圖片高度乘以每秒解碼的圖片數量)。H.264標準進一步規定,個別實作針對每個支援的設定檔可以支援不同級別。
符合設定檔的解碼器通常支援在設定檔中定義的所有特徵。例如,作為寫碼特徵,B圖片寫碼在H.264/AVC之基準設定檔中不支援,但在H.264/AVC之其他設定檔中支援。符合級別的解碼器應當能夠對不需要超出在該級別中定義的限制的資源的任何位元流進行解碼。設定檔及級別之定義可以有助於可解讀性。例如,在視訊傳輸期間,可以為整個傳輸會談協商並且商定一對設定檔及級別定義。更具體地說,在H.264/AVC中,級別可以定義對以下各項的限制:需要被處理的巨集區塊數量、經解碼圖片緩衝器(DPB)大小、經寫碼圖片緩衝器(CPB)大小、垂直運動向量範圍、每兩個連續MB的運動向量的最大數量、以及B區塊是否可以具有少於8x8像素的子巨集區塊分割。以此方式,解碼器可以決定該解碼器是否能夠正確地解碼位元流。
上文係關於H.264/AVC來描述的。解碼器可以類似地決定解碼器是否能夠正確地解碼符合VVC或HEVC的位元流。
在圖1之實例中,內容準備裝置20之封裝單元30從視訊編碼器28接收包含經寫碼的視訊資料的基本串流,並且從音訊編碼器26接收包含經寫碼的音訊資料的基本串流。在一些實例中,視訊編碼器28及音訊編碼器26可以分別包括用於從經編碼的資料形成PES封包的分封器。在其他實例中,視訊編碼器28及音訊編碼器26可以分別與用於從經編碼的資料形成PES封包的相應的分封器進行介接。在其他實例中,封裝單元30可以包含用於從經編碼的音訊及視訊資料形成PES封包的分封器。
視訊編碼器28可以以各種方式對多媒體內容之視訊資料進行編碼,以產生多媒體內容之處於各種位元率並且具有各種特性(諸如像素解析度、框速率、符合各種寫碼標準、符合用於各種寫碼標準的各個設定檔及/或設定檔之級別、具有一個或多個視圖的表示(例如,用於二維或三維回放)或其他如是特性)的不同表示。如在本發明中使用的表示可以包含音訊資料、視訊資料、文本資料(例如,用於隱藏式字幕)或其他如是資料中之一者。表示可以包括基本串流,諸如音訊基本串流或視訊基本串流。每個PES封包可以包括識別該PES封包所屬的基本串流的stream_id。封裝單元30負責將基本串流組裝成各個表示之視訊檔案(例如,分段)。
封裝單元30從音訊編碼器26及視訊編碼器28接收用於表示之基本串流的PES封包,並且從PES封包形成對應的網路抽象層(NAL)單元。可以將經寫碼的視訊分段組織為NAL單元,這些NAL單元提供滿足諸如視訊電話、儲存、廣播或串流的應用的“網路友好”視訊表示。NAL單元可以被分類為視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL單元可以含有核心壓縮引擎,並且可以包括區塊、巨集區塊及/或切片級資料。其他NAL單元可為非VCL NAL單元。在一些實例中,在一個時間個例中通常被呈現為基本經寫碼圖片的經寫碼圖片可以被含有在存取單元中,存取單元可以包括一個或多個NAL單元。
除了別的以外,非VCL NAL單元可以包括參數集NAL單元及SEI NAL單元。參數集可以含有序列級標頭資訊(在序列參數集(SPS)中)及不頻繁變化的圖片級標頭資訊(在圖片參數集(PPS)中)。利用參數集(例如,PPS及SPS),不需要為每個序列或圖片重複不頻繁變化的資訊;因此可以提高寫碼效率。此外,使用參數集可以實現對重要標頭資訊之帶外傳輸,從而避免為了錯誤抗障性而對於冗餘傳輸的需求。在帶外傳輸實例中,可以在與其他NAL單元(諸如SEI NAL單元)不同的頻道上傳送參數集NAL單元。
補充增強資訊(SEI)可能含有對於從VCL NAL單元解碼經寫碼的圖片樣本而言不必要的資訊,但可能有助於與解碼、顯示、錯誤抗障性及其他目的有關的程序。SEI訊息可以被含有在非VCL NAL單元中。SEI訊息係一些標準規格之規範性部分,並且因此對於符合標準的解碼器實作而言並非總是強制的。SEI訊息可為序列級SEI訊息或圖片級SEI訊息。一些序列級資訊可以被含有在SEI訊息中,諸如在SVC實例中的可擴縮性資訊SEI訊息、以及在MVC中的視圖可擴縮性資訊SEI訊息。這些例示性SEI訊息可以傳遞關於例如操作點之提取及操作點之特性的資訊。另外,封裝單元30可以形成清單檔案,諸如描述表示之特性的媒體呈現描述符(MPD)。封裝單元30可以根據可延伸標記語言(XML)來將MPD格式化。
封裝單元30可以將用於多媒體內容之一個或多個表示的資料連同清單檔案(例如,MPD)提供給輸出介面32。輸出介面32可以包含網路介面、或用於寫入儲存媒體的介面(諸如通用序列匯流排(USB)介面、CD或DVD刻錄機或燒錄機、與磁性或快閃儲存媒體的介面、或用於儲存或傳送媒體資料的其他介面)。封裝單元30可以將多媒體內容之每一表示之資料提供給輸出介面32,輸出介面32可以經由網路傳輸或儲存媒體將資料發送給伺服器裝置60。在圖1之實例中,伺服器裝置60包括用於儲存各種多媒體內容64的儲存媒體62,每種多媒體內容包括相應的清單檔案66及一個或多個表示68A-68N(表示68)。在一些實例中,輸出介面32亦可以直接向網路74發送資料。
在一些實例中,表示68可以被分成適應集。即,表示68之各個子集可以包括相應的共同特性集,諸如編解碼器、設定檔及級別、解析度、視圖數量、用於分段的檔案格式、可以識別將與表示及/或要被解碼及例如由揚聲器呈現的音訊資料一起顯示的文本之語言或其他特性的文本類型資訊、可以描述針對適應集中的表示的場景之相機角度或現實世界相機視角的相機角度資訊、描述內容對於特定觀眾的適合性的評級資訊等。
清單檔案66可以包括指示與特定的適應集相對應的表示68之子集以及用於適應集的共同特性的資料。清單檔案66亦可以包括表示用於適應集中之個別表示的個別特性的資料,諸如位元率。以此方式,適應集可以提供簡化的網路頻寬適應。可以使用清單檔案66之適應集元件之子元件來指示在適應集中的表示。
根據本發明之技術,清單檔案66可以發信表示68之分段之標稱分段可用性開始時間(NSAST)。清單檔案66亦可以發信用於表示68之分段之重新同步元件的增量時間值。客戶端裝置40可以取回清單檔案66,並且使用NSAST及增量時間值來決定分段之組塊之可用性。具體地,客戶端裝置40之取回單元52可以例如決定分段之第N組塊在時間NSAST + (N-1)*@dT處為可用,其中@dT係所發信的增量時間值。因此,取回單元52可以在對應的時間處請求分段之組塊,以便儘量接近於組塊可用的時間來取回組塊,從而縮減與對分段之媒體資料進行串流相關聯的延遲。
伺服器裝置60包括請求處理單元70及網路介面72。在一些實例中,伺服器裝置60可以包括複數網路介面。此外,伺服器裝置60之任何或所有特徵可以在內容遞送網路之其他裝置上實現,諸如路由器、橋接器、代理裝置、交換機或其他裝置。在一些實例中,內容遞送網路之中間裝置可以對多媒體內容64之資料進行快取,並且包括實質上與伺服器裝置60的組件一致的組件。通常,網路介面72被組態為經由網路74發送及接收資料。
請求處理單元70被組態為從諸如客戶端裝置40的客戶端裝置接收對儲存媒體62之資料的網路請求。例如,請求處理單元70可以實作如在RFC 2616中(1999年6月,IETF,網路工作組,R. Fielding等人的“Hypertext Transfer Protocol – HTTP/1.1”)中描述的超文本傳輸協議(HTTP)版本1.1。即,請求處理單元70可以被組態為接收HTTP GET或部分GET請求,並且響應於該請求而提供多媒體內容64之資料。請求可以指定表示68之一之分段(例如,使用該分段之URL)。在一些實例中,請求亦可以指定分段之一個或多個位元組範圍,由此包含部分GET請求。請求處理單元70可以進一步被組態為對HTTP HEAD請求進行服務以提供表示68之一之分段之標頭資料。在任何情況下,請求處理單元70可以被組態為處理請求以將請求的資料提供給進行請求的裝置,諸如客戶端裝置40。
另外或替代地,請求處理單元70可以被組態為經由諸如eMBMS的廣播或多播協定來遞送媒體資料。內容準備裝置20可以以與所描述的實質相同的方式來創建DASH分段及/或子分段,但伺服器裝置60可以使用eMBMS或另一廣播或多播網路傳輸協定來遞送這些分段或子分段。例如,請求處理單元70可以被組態為從客戶端裝置40接收多播群組加入請求。即,伺服器裝置60可以向包括客戶端裝置40的客戶端裝置通告與多播群組相關聯的網際網路協定(IP)位址,該客戶端裝置與特定的媒體內容(例如,實況事件之廣播)相關聯。客戶端裝置40進而可以提交用於加入多播群組的請求。該請求可以在整個網路74(例如,組成網路74的路由器)中傳播,從而使路由器將去往與多播群組相關聯的IP位址的訊務引導到訂閱客戶端裝置(諸如客戶端裝置40)。
如在圖1之實例中所繪示,多媒體內容64包括清單檔案66,清單檔案66可以對應於媒體呈現描述(MPD)。清單檔案66可以含有對不同替代表示68(例如,具有不同品質的視訊服務)之描述,並且該描述可以包括例如表示68之編解碼器資訊、設定檔值、級別值、位元率及其他描述性特性。客戶端裝置40可以取回媒體呈現之MPD以決定如何存取表示68之分段。
具體地,取回單元52可以取回客戶端裝置40之組態資料(未示出)以決定視訊解碼器48之解碼能力及視訊輸出44之渲染能力。組態資料亦可以包括以下各項中的任何一項或全部:由客戶端裝置40之用戶選擇的語言偏好、與由客戶端裝置40之用戶設置的深度偏好相對應的一個或多個相機視角、及/或由客戶端裝置40之用戶選擇的評級偏好。取回單元52可以包含例如被組態為提交HTTP GET及部分GET請求的網頁瀏覽器或媒體客戶端。取回單元52可以對應於由客戶端裝置40的一個或多個處理器或處理單元(未示出)執行的軟體指令。在一些實例中,關於取回單元52描述的功能中之全部或部分功能可以用硬體、或者用硬體、軟體及/或韌體之組合來實作,其中可以提供必需的硬體來執行針對軟體或韌體的指令。
取回單元52可以將客戶端裝置40之解碼及渲染能力與由清單檔案66之資訊所指示的表示68之特性進行比較。取回單元52可以初始地取回清單檔案66之至少一部分以決定表示68之特性。例如,取回單元52可以請求清單檔案66之描述一個或多個適應集之特性的一部分。取回單元52可以選擇表示68之具有可以由客戶端裝置40之寫碼及渲染能力滿足的特性的子集(例如,適應集)。取回單元52然後可以決定用於在適應集中的表示的位元率,決定當前可用的網路帶寬量,並且從表示之一中取回具有網路頻寬可以滿足的位元率的分段。
通常,較高位元率的表示可以產生較高品質的視訊回放,而較低位元率的表示可以在可用網路頻寬減小時提供足夠品質的視訊回放。相應地,當可用網路頻寬相對高時,取回單元52可以從相對高位元率的表示中取回資料,而當可用網路頻寬低時,取回單元52可以從相對低位元率的表示中取回資料。以此方式,客戶端裝置40可以在網路74上對多媒體資料進行串流,同時亦適應於網路74之變動的網路頻寬可用性。
另外或替代地,取回單元52可以被組態為根據諸如eMBMS或IP多播的廣播或多播網路協定來接收資料。在如是實例中,取回單元52可以提交用於加入與特定的媒體內容相關聯的多播網路群組的請求。在加入多播群組之後,取回單元52可以接收該多播群組之資料,而無需向伺服器裝置60或內容準備裝置20發出進一步請求。當不再需要多播群組之資料時,取回單元52可以提交用於離開該多播群組的請求,例如,停止回放或者將頻道改變到不同的多播群組。
網路介面54可以接收所選擇的表示之分段之資料並且將其提供給取回單元52,取回單元52進而可以將分段提供給解封裝單元50。解封裝單元50可以將視訊檔案之元件解封裝為組成的PES串流,對PES串流進行解分封化以取回經編碼的資料,並且向音訊解碼器46或視訊解碼器48發送經編碼的資料,這取決於經編碼的資料係音訊流或視訊流的一部分(例如,如由該串流的PES封包標頭所指示的)。音訊解碼器46對經編碼的音訊資料進行解碼並且將經解碼的音訊資料發送到音訊輸出42,而視訊解碼器48對經編碼的視訊資料進行解碼並且將經解碼的視訊資料(其可以包括串流的複數視圖)發送到視訊輸出44。
視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、封裝單元30、取回單元52及解封裝單元50均可以在適用的情況下被實作為各種適當的處理電路中之任一者,諸如一個或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、現場可程式閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器28及視訊解碼器48中之每一者可以被包括在一個或多個編碼器或解碼器中,其中之任一者可以被整合為組合的視訊編碼器/解碼器(CODEC)之一部分。同樣,音訊編碼器26及音訊解碼器46中之每一者可以被包括在一個或多個編碼器或解碼器中,其中之任一者可以被整合為組合的CODEC之一部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、封裝單元30、取回單元52及/或解封裝單元50的器具可以包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢電話)。
客戶端裝置40、伺服器裝置60及/或內容準備裝置20可以被組態為根據本發明之技術進行操作。出於舉例之目的,本發明關於客戶端裝置40及伺服器裝置60描述這些技術。然而,應當理解內容準備裝置20可以被組態為履行這些技術,代替(或者除了)伺服器裝置60。
封裝單元30可以形成NAL單元,NAL單元包含識別該NAL單元所屬的程式的標頭以及酬載(例如,音訊資料、視訊資料、或描述NAL單元所對應的傳輸或程式串流的資料)。例如,在H.264/AVC中,NAL單元包括1位元組的標頭及可變大小之酬載。在其酬載中包括視訊資料的NAL單元可以包含各種粒度級別之視訊資料。例如,NAL單元可以包含視訊資料區塊、複數區塊、視訊資料之切片、或視訊資料之整個圖片。封裝單元30可以以基本串流之PES封包之形式從視訊編碼器28接收經編碼的視訊資料。封裝單元30可以將每個基本串流與對應的程式相關聯。
封裝單元30亦可以從複數NAL單元組裝存取單元。通常,存取單元可以包含一個或多個NAL單元,其用於表示視訊資料之框、以及與該框相對應的音訊資料(當如是音訊資料為可用)。存取單元通常包括用於一個輸出時間個例的所有NAL單元,例如,用於一個時間個例的所有音訊及視訊資料。例如,如果每個視圖具有20框每秒(fps)的框速率,則每個時間個例可以對應於0.05秒的時間區間。在該時間區間期間,可以同時渲染用於同一存取單元(同一時間個例)的所有視圖的特定框。在一個實例中,存取單元可以包含在一個時間個例中的經寫碼的圖片,其可以被呈現為基本經寫碼圖片。
相應地,存取單元可以包含共同時間個例的所有音訊及視訊框,例如,對應於時間X 的所有視圖。本發明亦將特定視圖的經編碼的圖片稱為“視圖組件”。即,視圖組件可以包含在特定時間處用於特定視圖的經編碼的圖片(或框)。相應地,存取單元可以被定義為包含共同時間個例的所有視圖組件。存取單元的解碼順序不一定需要與輸出或顯示順序相同。
媒體呈現可以包括媒體呈現描述(MPD),其可以含有不同替代表示(例如,具有不同品質的視訊服務)之描述,並且該描述可以包括例如編解碼器資訊、設定檔值及級別值。MPD係清單檔案之一實例,諸如清單檔案66。客戶端裝置40可以取回媒體呈現之MPD,以決定如何存取各個呈現之電影片段。電影片段可以位於視訊檔案之電影片段盒(box)(moof盒)中。
清單檔案66(其可以包含例如MPD)可以通告表示68之分段之可用性。即,MPD可以包括指示表示68之一之第一分段變得可用的經過時間的資訊、以及指示表示68內之分段的持續時間的資訊。以此方式,客戶端裝置40之取回單元52可以基於在特定分段之前的分段之開始時間以及持續時間來決定每個分段何時可用。
在封裝單元30已經基於所接收的資料將NAL單元及/或存取單元組裝為視訊檔案之後,封裝單元30將視訊檔案傳遞到輸出介面32以進行輸出。在一些實例中,封裝單元30可以將視訊檔案進行本地儲存或者經由輸出介面32將視訊檔案發送給遠端伺服器,而非將視訊檔案直接發送給客戶端裝置40。輸出介面32可以包含例如發射器、收發器、用於將資料寫入計算機可讀媒體的裝置(諸如例如,光學驅動器、磁性媒體驅動器(例如,軟碟機))、通用序列匯流排(USB)介面、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出到計算機可讀媒體,諸如例如,傳輸信號、磁性媒體、光學媒體、記憶體、隨身碟或其他計算機可讀媒體。
網路介面54可以經由網路74接收NAL單元或存取單元,並且經由取回單元52將NAL單元或存取單元提供給解封裝單元50。解封裝單元50可以將視訊檔案之元件解封裝為組成PES串流,將PES串流進行解分封以取回經編碼的資料,並且向音訊解碼器46或視訊解碼器48(取決於經編碼的資料係音訊串流或視訊串流之一部分,例如如由串流之PES封包標頭所指示)發送經編碼的資料。音訊解碼器46對經編碼的音訊資料進行解碼並且將經解碼的音訊資料發送到音訊輸出42,而視訊解碼器48對經編碼的視訊資料進行解碼並且將經解碼的視訊資料(其可以包括串流之複數視圖)發送到視訊輸出44。
以此方式,客戶端裝置40表示用於傳輸媒體資料的裝置之實例,該裝置包括:被組態為儲存媒體資料的記憶體;以及一個或多個處理器,其在電路中實作並且被組態為:決定用於媒體呈現的清單檔案包括表示用於媒體呈現之分段之重新同步元件的增量時間值的資料;決定增量時間值之倍數;使用增量時間值之倍數來決定分段之當前可用於取回的組塊之數量;向伺服器裝置發送針對分段之當前可用的組塊的請求,其中請求忽略分段之當前不可用的組塊;以及將響應於請求而接收的組塊之資料儲存在記憶體中。
圖2係更詳細地繪示出圖1之取回單元52之組件之例示性集合的方塊圖。在該實例中,取回單元52包括eMBMS中間軟體單元100、DASH客戶端110及媒體應用程式112。
在此實例中,eMBMS中間軟體單元100亦包括eMBMS接收單元106、快取104及代理伺服器單元102。在此實例中,eMBMS接收單元106被組態為經由eMBMS,例如,根據透過單向傳輸的檔案遞送(FLUTE)來接收資料,FLUTE係在2012年11月RFC 6726網路工作組T. Paila等人的“FLUTE—File Delivery over Unidirectional Transport”中描述,其可在tools.ietf.org/html/rfc6726處取得。即,eMBMS接收單元106可以經由廣播從例如伺服器裝置60接收檔案,伺服器裝置60可以充當廣播/多播服務中心(BM-SC)。
隨著eMBMS中間軟體單元100接收用於檔案的資料,eMBMS中間軟體單元可以將所接收的資料儲存在快取104中。快取104可以包含計算機可讀儲存媒體,諸如快閃記憶體、硬碟、RAM或任何其他適當的儲存媒體。
代理伺服器單元102可以充當用於DASH客戶端110的伺服器。例如,代理伺服器單元102可以向DASH客戶端110提供MPD檔案或其他清單檔案。代理伺服器單元102可以在MPD檔案中通告針對分段的可用性時間以及分段可以從其中被取回的超連結。這些超連結可以包括與客戶端裝置40相對應的本地主機位址前綴(例如,對於IPv4而言,為127.0.0.1)。以此方式,DASH客戶端110可以使用HTTP GET或部分GET請求從代理伺服器單元102請求分段。例如,對於可從連結http://127.0.0.1/rep1/seg3得到的分段,DASH客戶端110可以構建包括針對http://127.0.0.1/rep1/seg3的請求的HTTP GET請求,並且向代理伺服器單元102提交該請求。代理伺服器單元102可以響應於這樣的請求來從快取104取回所請求的資料,並且將該資料提供給DASH客戶端110。
圖3係繪示例示性多媒體內容120之元件的概念圖。多媒體內容120可以對應於多媒體內容64(圖1)或被儲存在儲存媒體62中的另一多媒體內容。在圖3之實例中,多媒體內容120包括媒體呈現描述(MPD)122及複數表示124A-124N(表示124)。表示124A包括可選的標頭資料126及分段128A-128N(分段128),而表示124N包括可選的標頭資料130及分段132A-132N(分段132)。為了方便起見,字母N用於指定表示124中的每個表示中的最後一個電影片段。在一些實例中,在表示124之間可以存在不同數量的電影片段。
MPD 122可以包含與表示124分開的資料結構。MPD 122可以對應於圖1之清單檔案66。同樣,表示124可以對應於圖1之表示68。通常,MPD 122可以包括通常描述表示124之特性的資料,諸如寫碼及渲染特性、適應集、MPD 122所對應的設定檔、文本類型資訊、相機角度資訊、評級資訊、特技模式資訊(例如,指示包括時間子序列的表示的資訊)、及/或用於取回遠端時段的資訊(例如,用於在回放期間將目標廣告插入到媒體內容中)。
標頭資料126(在存在時)可以描述分段128之特性,例如,隨機存取點(RAP,也被稱為串流存取點(SAP))之時間位置、分段128中之何者包括隨機存取點、至分段128內的隨機存取點的位元組偏移、分段128之統一資源定位符(URL)、或分段128之其他方面。標頭資料130(當存在時)可以描述分段132的類似特性。另外或替代地,如是特性可以被完全包括在MPD 122中。
分段128、132包括一個或多個經寫碼的視訊樣本,其中的每個經寫碼的視訊樣本可以包括視訊資料的框或切片。分段128之經寫碼的視訊樣本中之每一者可以具有類似的特性,例如,高度、寬度及頻寬要求。如是特性可以由MPD 122之資料來描述,雖然在圖3之實例中未繪示如是資料。MPD 122可以包括如由3GPP規格描述的特性,其中添加了在本發明中描述的所發信資訊中之任何或全部資訊。
分段128、132中之每一者可以與唯一的統一資源定位符(URL)相關聯。因此,分段128、132中之每一者可為可使用諸如DASH的串流網路協定來獨立取回。以此方式,諸如客戶端裝置40的目的地裝置可以使用HTTP GET請求來取回分段128或132。在一些實例中,客戶端裝置40可以使用HTTP部分GET請求來取回分段128或132之特定位元組範圍。
儘管在圖3中未示出,但分段128、182中的一些分段可以包括相應的資料組塊,其包括可以使用例如位元組範圍請求而請求的媒體資料。具體地,位元組範圍請求可為指定“range:”標頭的HTTP部分GET請求。根據本發明之技術,取回單元52(圖1)可以提交這樣的請求,該請求指定根據MPD 122指示在特定時間處可用的資料量的位元組範圍。即,MPD 122可以發信用於分段128、132的標稱分段可用性開始時間(NSAST)、以及用於分段128、132中之一個或多個分段之重新同步元件的增量時間值(例如,@dT屬性)、以及表示在兩個隨機存取點之間的最小資料大小的資料(例如,@dImin值)。取回單元52可以決定分段之N+1個組塊在時間NSAST+N*@dT處為可用,並且決定(N+1)*@dImin位元組之資料在時間NSAST+N*@dT處可用於被請求。
圖4係繪示例示性視訊檔案150之元件的方塊圖,視訊檔案150可以對應於表示之分段,諸如圖3之分段128、132之一。分段128、132中之每一者可以包括實質上符合在圖4之實例中繪示的資料之佈置的資料。視訊檔案150可以被認為係封裝分段。如上所述,根據ISO基本媒體檔案格式以及其擴展的視訊檔案將資料儲存在被稱為“盒”的一系列物件中。在圖4之實例中,視訊檔案150包括檔案類型(FTYP)盒152、電影(MOOV)盒154、分段索引(SIDX)盒162、電影片段(MOOF)盒164、以及電影片段隨機存取(MFRA)盒166。儘管圖4表示視訊檔案之實例,但應當理解,其他媒體檔案可以包括根據ISO基本媒體檔案格式以及其延伸而與視訊檔案150之資料類似地構造的其他類型之媒體資料(例如,音訊資料、定時文本資料等)。
檔案類型(FTYP)盒152通常描述用於視訊檔案150的檔案類型。檔案類型盒152可以包括識別描述用於視訊檔案150的最佳用途的規格的資料。檔案類型盒152可以替代地被放置在MOOV盒154、電影片段盒164及/或MFRA盒166之前。
在一些實例中,諸如視訊檔案150的分段可以在FTYP盒152之前包括MPD更新盒(未示出)。MPD更新盒可以包括指示與包括視訊檔案150的表示相對應的MPD要被更新的資訊,連同用於更新MPD的資訊。例如,MPD更新盒可以提供用於要用於更新MPD的資源的URI或URL。作為另一實例,MPD更新盒可以包括用於更新MPD的資料。在一些實例中,MPD更新盒可以緊跟在視訊檔案150之分段類型(STYP)盒(未顯示)之後,其中STYP盒可以定義用於視訊檔案150的分段類型。
在圖4之示例中,MOOV盒154包括電影標頭(MVHD)盒156、軌道(TRAK)盒158以及一個或多個電影延伸(MVEX)盒160。通常,MVHD盒156可以描述視訊檔案150之一般特性。例如,MVHD盒156可以包括描述視訊檔案150最初何時被創建、視訊檔案150最近何時被修改、用於視訊檔案150的時間尺度、用於視訊檔案150之回放的持續時間的資料、或者通常描述視訊檔案150的其他資料。
TRAK盒158可以包括用於視訊檔案150的軌道之資料。TRAK盒158可以包括描述與TRAK盒158相對應的軌道之特性的軌道標頭(TKHD)盒。在一些實例中,TRAK盒158可以包括經寫碼的視訊圖片,而在其他實例中,軌道的經寫碼的視訊圖片可以被包括在電影片段164中,電影片段164可以由TRAK盒158及/或sidx盒162之資料來引用。
在一些實例中,視訊檔案150可以包括多於一個軌道。因此,MOOV盒154可以包括一數量之TRAK盒,TRAK盒之數量等於視訊檔案150中的軌道之數量。TRAK盒158可以描述視訊檔案150之對應軌道之特性。例如,TRAK盒158可以描述用於對應軌道的時間及/或空間資訊。當封裝單元30(圖3)在諸如視訊檔案150的視訊檔案中包括參數集軌道時,類似於MOOV盒154的TRAK盒158之TRAK盒可以描述參數集軌道之特性。封裝單元30可以在描述參數集軌道的TRAK盒內發信序列級別SEI訊息在參數集軌道中之存在。
MVEX盒160可以描述對應的電影片段164之特性,例如,以發信除了被包括在MOOV盒154內的視訊資料(如果有的話)之外,視訊檔案150亦包括電影片段164。在串流視訊資料的脈絡下,經寫碼的視訊圖片可以被包括在電影片段164中,而非在MOOV盒154中。因此,所有經寫碼的視訊樣本可以被包括在電影片段164中,而非在MOOV盒154中。
MOOV盒154可以包括一數量之MVEX盒160,MVEX盒160之數量等於視訊檔案150中的電影片段164之數量。MVEX盒160中之每一者可以描述電影片段164中之一相應者之特性。例如,每個MVEX盒可以包括電影延伸標頭盒(MEHD)盒,其描述用於電影片段164中之一對應者的時間上的持續時間。
如上所述,封裝單元30可以將序列資料集儲存在不包括實際經寫碼的視訊資料的視訊樣本中。視訊樣本通常可以對應於存取單元,存取單元係在特定時間個例處的經寫碼的圖片之表示。在AVC的脈絡下,經寫碼的圖片包括含有要構建存取單元的所有像素的資訊的一個或多個VCL NAL單元及其他相關聯的非VCL NAL單元(諸如SEI消息)。相應地,封裝單元30可以在電影片段164之一中包括序列資料集,序列資料集可以包括序列級SEI訊息。封裝單元30可以進一步在MVEX盒160內的與電影片段164之一相對應的MVEX盒中將序列資料集及/或序列級SEI消息之存在發信為存在於電影片段164中之該電影片段中。
SIDX盒162係視訊檔案150之可選元件。即,符合3GPP檔案格式或其他如是檔案格式的視訊檔案不一定包括SIDX盒162。根據3GPP檔案格式之實例,SIDX盒可以用於識別分段(例如,被含有在視訊檔案150內的分段)之子分段。3GPP檔案格式將子分段定義為“具有對應媒體資料盒的一個或多個連序電影片段盒的自足集,並且含有由電影片段盒引用的資料的媒體資料盒必須跟隨在該電影片段盒之後並且在含有關於相同軌道的資訊的下一電影片段盒之前。”3GPP檔案格式亦指示SIDX盒“含有對由該盒所記載的(子)分段之子分段的引用序列。所引用的子分段在呈現時間上係連續。類似地,由分段索引盒所引用的位元組在分段內始終係連續。所引用的大小給出了在所引用的材料中的位元組數量之計數。”
SIDX盒162通常提供表示被包括在視訊檔案150中的分段之一個或多個子分段的資訊。例如,如是資訊可以包括子分段開始及/或結束的回放時間、針對子分段的位元組偏移、子分段是否包括流存取點(SAP)(例如,從其開始)、用於SAP的類型(例如,SAP係瞬時解碼器刷新(IDR)圖片、清潔隨機存取(CRA)圖片、斷鏈存取(BLA)圖片、或類似者)、SAP在子分段中之位置(依據回放時間及/或位元組偏移)等。
電影片段164可以包括一個或多個經寫碼的視訊圖片。在一些實例中,電影片段164可以包括一個或多個圖片組(GOP),其中的每個圖片組可以包括數個經寫碼的視訊圖片,例如,框或圖片。另外,如上所述,在一些實例中,電影片段164可以包括序列資料集。電影片段164中之每一者可以包括電影片段標頭盒(MFHD,在圖4中未示出)。MFHD盒可以描述對應電影片段之特性,諸如用於該電影片段的序列號。電影片段164可以按照序列號之順序被包括在視訊檔案150中。
MFRA盒166可以描述在視訊檔案150之電影片段164內的隨機存取點。這可以輔助履行特技模式,諸如對由視訊檔案150封裝的分段內的特定時間位置(即,回放時間)履行尋找。MFRA盒166通常係可選,並且在一些實例中不需要被包括在視訊檔案中。同樣,客戶端裝置(例如,客戶端裝置40)不一定需要引用MFRA盒166來正確地解碼及顯示視訊檔案150之視訊資料。MFRA盒166可以包括一數量之軌道片段隨機存取(TFRA)盒(未示出),TFRA盒之數量等於視訊檔案150之軌道數量,或者在一些實例中,等於視訊檔案150之媒體軌道(例如,非提示軌道)的數量。
在一些實例中,電影片段164可以包括一個或多個串流存取點(SAP),諸如IDR圖片。同樣,MFRA盒166可以提供對SAP在視訊檔案150內之位置之指示。相應地,視訊檔案150之時間子序列可以從視訊檔案150之SAP形成。時間子序列亦可以包括其他圖片,諸如依賴於SAP的P框及/或B框。可以將時間子序列之框及/或切片佈置在分段內,使得可以正確地解碼時間子序列之、依賴於該子序列之其他框/切片的框/切片。例如,在資料的階層佈置中,用於針對其他資料的預測的資料亦可以被包括在時間子序列中。
在一些實例中,DASH打包器(例如,取回單元52,諸如取回單元52的DASH客戶端110)接收關於服務之一般描述以及編碼器組態的資訊(例如,級別及設定檔資訊,作為一個實例)。如所描述的,音訊編碼器26及/或視訊編碼器28可以產生共同媒體應用格式(CMAF)組塊及片段,其可以形成相應多媒體內容64之一部分。
MPD打包器(例如,封裝單元30或伺服器裝置60的可能組件)將組塊映射到分段上,並且將其以增量方式提供給網路72。在一些實例中,分段並非作為整體遞送,而是隨著分段被生成而逐步遞送。
在MPD中可以存在信令(@availabilityTimeOffset及@availabilityComplete)。當低延遲DASH客戶端(例如,DASH客戶端110)進行計算時,低延遲DASH客戶端應當進行相同的計算,但當其第一組塊在來源上變得可用(由來自DASH清單(例如,清單66)的@availabilityTimeOffset參數發信)時請求下一分段。
隨著CDN(內容遞送網路(例如,伺服器裝置60))正以HTTP分塊傳輸編碼模式來遞送實況邊緣分段時,可以以一個或多個步驟將每個媒體分段添加到回放緩衝器中。@availabilityComplete向客戶端(例如,客戶端裝置40或DASH客戶端110)告知媒體分段在所計算的標稱分段可用性時間處在伺服器(例如,伺服器裝置60)上尚不可用。
可以在以下各項中找到額外的細節:DASH-IF草案CR,其可從https://dashif.org/docs/DASH-IF-IOP-CR-Low-Latency-Live-Community-Review.pdf得到;以及ETSI TS 103 285中的DVB-DASH,其可從https://www.etsi.org/deliver/etsi_ts/103200_103299/103285/01.02.01_60/ts_103285v010201p.pdf得到。亦可在以下項處得到進一步資訊:DVB-DASH BlueBook A168,“MPEG-DASH Profile for Transport of ISO BMFF Based DVB Services over IP Based Networks”,2019年2月,https://www.dvb.org/resources/public/standards/a168_dvb_mpeg-dash_feb_2019.pdf。
圖5係繪示可以履行本發明之技術的例示性低延遲架構200的概念圖。在此實例中,圖5繪示用於根據DASH-IF IOP來操作低延遲DASH服務的基本資訊流。低延遲架構200包括DASH打包器202、編碼器216、內容遞送網路(CDN)220、正規DASH客戶端230及低延遲DASH客戶端232。編碼器216通常可以對應於圖1之音訊編碼器26及視訊編碼器28中之任一者或兩者,而DASH打包器202可以對應於圖1之封裝單元30。
在此實例中,編碼器216對所接收的媒體資料進行編碼以形成CMAF標頭(CH)諸如CH 208、CMAF初始組塊206A、206B(CIC 206)及CMAF非初始組塊204A-204D(CNC 204)。編碼器216向DASH打包器202提供CH 208、CIC 206及CNC 204。DASH打包器202亦接收服務描述,其包括關於服務的一般描述及編碼器216的編碼器組態的資訊。
DASH打包器202使用服務描述、CH 208、CIC 206及CNC 204來形成媒體呈現描述(MPD)210及初始化分段212。DASH打包器202亦將CH 208、CIC 206及CNC 204產生映射到分段214A、214B(分段214)中,並且以增量方式將分段214提供給CDN 220。隨著分段214被生成,DASH打包器202可以以組塊之形式遞送分段214。CDN 220包括用於儲存MPD 210、IS 212及分段214的分段儲存器222。例如,響應於來自正規DASH客戶端230及低延遲DASH客戶端232的HTTP Get或部分Get請求,CDN 220向正規DASH客戶端230遞送完整分段,但向低延遲DASH客戶端232遞送個別組塊(例如,CH 208、CIC 206及CNC 204)。
圖6係繪示被分塊的分段分佈之實例的概念圖。在一些實例中,圖6之編碼器表示圖1之音訊編碼器26及/或視訊編碼器28;圖6之內容遞送網路(CDN)包括圖1之伺服器裝置60;並且圖6之播放器表示圖1之客戶端裝置40之至少一部分。
圖6描繪完整分段及被分塊的分段二者。在此實例中,分段240包括電影片段(MOOF)盒242及電影資料(MDAT)盒244。同樣在此實例中,被分塊的分段248包括多個MOOF片段242A-242B(MOOF盒242)及MDAT盒244A-244B(MDAT盒244)。因此,內容準備裝置20(圖1)可以準備被分塊的分段248以包括多個MOOF盒242及MDAT盒244。因此,圖6之播放器可以取回個別對之MOOF盒242及MDAT盒244,作為被分塊化的分段248之組塊。即,例如,MOOF盒242A及MDAT盒244A可以表示一個組塊,MOOF盒242B及MDAT盒244B可以表示另一個組塊,以此類推。
圖7係說明共同媒體應用格式(CMAF)組塊結構之實例的表格。在圖7之實例中,每個盒可以在開始具有類型以及大小。在這些盒外部可以沒有資料。在盒外部沒有資料的情況下使類型及大小在開始處可以允許找到新盒之起點。
關於低延遲DASH,在傳統技術中可能存在某些問題。如上所述,在一些實例中,DASH-IF符合性測試(例如,作為一個實例,由客戶端裝置40藉取回單元52履行的軟體測試)可以對照規格之承諾來測試所提供的服務之有效性(例如,測試服務是否符合規格,以便決定級別及設定檔資訊)。在一些實例中,實作測試使得僅需要下載最少資料。在如是測試期間,通常跳過媒體,並且僅下載檔案格式結構。這意味著MDAT盒通常不作為整體下載,僅下載其類型及大小。
藉由這樣做,符合性軟體可以在經調整的可用性開始時間處請求分段之初始位元組範圍,下載資料並且分析除了MDAT以外的所有盒中的資料,提取MDAT大小並且識別下一盒之起點,下載位元組範圍以請求下一組塊起點(STYP、MOOF、MDAT之起點),並且持續這樣做。在一些情形下,在進行測試時,所下載的資料不一致,從而導致不期望的問題。
下載資料的不一致性可能並非由於符合性軟體引起。例如,可能當存取低延遲被分塊的分段時,對不存在的資料進行存取。作為一個實例,尚未產生moof,並且不存在警告或任何404錯誤、不明確響應或對垃圾資料之可能取回。即,取回單元52可以按設計進行操作,但可能存取不存在的資料。在這種情況下,取回單元52可能取回垃圾資料,而非接收錯誤消息或存取不存在的資料之某個其他通知。
DASH低延遲規格可能不具有關於下一組塊在伺服器上可用的最新時間為何以及如果對不可用位元組範圍發佈請求將發生什麼(例如,這可能引起客戶端裝置未被組態來應對的意外響應)的資訊。在DASH低延遲規格中也不清楚在請求分段之各部分方面允許客戶端做什麼並且允許什麼HTTP請求以及響應將為何。對於HTTP/1.1,不清楚對不完整檔案的什麼請求被允許以及被報告的例如大小為何。可能存在其他如是問題,並且應當檢查最相關的資訊。
針對上述問題可能存在各種原因。例如,可以在經調整的分段可用性開始時間(ASAST)(其係標稱可用性開始時間NSAST-availabilityTimeOffset)處存取分段,並且分段之順序的第一組塊係可在NSAST處完全地存取。當在ASAST及NSAST之間利用HTTP請求來存取分段時,將完整地提供分段,直到單一請求中的分段結束為止。在傳統DASH中,一些客戶端裝置係在如下的假定下構建:當在ASAST及NSAST之間的時間處嘗試利用HTTP請求來存取分段時,響應於針對分段的單一請求,分段被逐步地產生及發送直到該分段結束為止。然而,情況並不盡然。例如,在DASH規格中實際上沒有承諾任何關於這個問題的任何內容。即,可能不存在關於分段被逐步地產生及被發送直到單一請求中的分段結束(諸如當在ASAST及NSAST之間利用HTTP請求來存取分段時)為止的限制。
本發明描述解決這些問題的例示性技術。例如,本發明描述用於向媒體呈現(例如,清單檔案)添加供應一些豐富資訊的實例,這些豐富資訊指示分段之起點及不同時間之組塊之可用性(例如,不僅承諾分段之起點之可用性,而且亦承諾不同時間之組塊之可用性)。本發明亦描述添加針對DASH客戶端(例如,DASH客戶端110)的關於允許什麼請求及禁止什麼請求的更多要求。本發明亦描述當發生對部分完整資源的請求時添加用於DASH伺服器(例如,伺服器裝置60)的預期響應碼。
在第4版的Amd.1中,MPEG引入了Resync元件。下文進一步提供了Resync元件信令及語義之概述。
在下文中,提出了對Resync的一些延伸,以解決該問題。作為一個實例,可能添加關於組塊在特定時間之後可用的信令,即,使用@dT屬性。該信令可為隱式(如果@availabilityComplete=FALSE被發信),或者係某種顯式的新信號。
承諾(例如,確保組塊係可用)係如下文。換言之,封裝單元30及/或請求處理單元70可以確保在NSAST處,第一組塊係可用的並且至少@dImin資料可以被存取,在NSAST+dT處,第二組塊係可用的並且至少2*@dImin資料可以被存取,在NSAST+2*dT處,第三組塊係可用的並且至少3*@dImin資料可以被存取,以及在NSAST+i*dT處,第(i+1)組塊係可用的並且至少(i+1)*@dImin資料可以被存取。
在一些實例中,對Resync客戶端行為的以下延伸可以解決該問題。如果不存在Resync並且@availabilityComplete=FALSE被發信,則預期客戶端(例如,DASH客戶端110)不利用位元組範圍請求來存取分段。客戶端(例如,DASH客戶端110)不應當預期任何媒體資料在NSAST之前在接收器處係可用的。
如果Resync元件係以@dT及@dImin呈現的,則可以允許客戶端裝置(例如,DASH客戶端110)存取在當前時間NOW處可用的位元組範圍請求。可以允許客戶端(例如,DASH客戶端110)存取在當前時間NOW處可用的組塊。不可以預期客戶端(例如,DASH客戶端110)利用尚未可用的位元組範圍請求來存取分段。
圖8係繪示分段之標誌及重新同步點之實例的概念圖。在分段中的重新同步點(諸如resync點252、258、262、266)可以被定義如下: a.           重新同步(Resync)點使得能夠在容器級別(例如,檔案格式盒級別)開始剖析及處理。 b.          已經為Resync Point指派以下特性: i.        其具有自分段之起點的位元組偏移或索引Index (例如,索引270),其指向重新同步點。 ii.        已經為其指派了在表示中的最早呈現時間Time ,即,當從重新同步指標開始處理時在表示中包括的任何樣本之最小呈現時間。 iii.        已經為其指派了類型Type (例如,由ISO/IEC 14496-12中的SAP類型定義的)。 iv.        已經為其指派關於在透過特定結構剖析分段時是否能夠檢測到重新同步點或者是否需要透過外部手段來發信resync點的布林標誌特性Marker 。 c.           從重新同步點開始處理分段、以及初始化分段中的資訊(如果有的話),允許容器剖析。是否以及如何存取所含有的及潛在加密的基本串流的能力係由重新同步存取點類型來指示的。
圖9係說明Resync Point元件及屬性名稱以及對應描述的表格。在一些實例中,藉由在用於每個媒體分段的重新同步索引分段中提供針對每個重新同步點的二進制映射,來發信resync點。這最容易用於在網路上完全可用的分段。在一些實例中,通過利用額外資訊來發信在媒體分段中的重新同步點之存在以及提供重新同步點之類型,從而發信resync點,其中該額外資訊允許依據位元組位置及呈現時間來輕易地定位Resync。
圖10係繪示resync索引之實例的概念圖。在此實例中,分段300包括resync 302、308、312及316、組塊304、310、314及318以及標誌306。在此實例中,索引320表示resync 302及組塊304。resync 302亦表示資料集,其包括resync索引330、resync點332、時間334、標誌336及類型338,而標誌306表示resync點342、時間344、標誌346及類型348。
圖11係繪示Resync Point之@dT屬性及@dI屬性之實例的概念圖。在此實例中,分段350包括串流存取點(SAP)1 352、356、360及364以及組塊354、358、362及366。分段370包括SAP 1 372、380、388及396、SAP 3 376、384及392以及組塊374、378、382、386、390、394及398。如圖11中所示,與在分段350中相比,在分段370中SAP更加頻繁。因此,與用於分段350的@dT及@dI相比,用於分段370的@dT及@dI更短。具體地,每個@dT及@dI表示媒體資料之一對SAP及組塊。因為分段370之@dT及@dI屬性較小,所以分段370可以支援相對於分段350而言縮減的延遲。
下文描述信令使用案例之實例。為了發信快速加入、向下切換或重新同步,存在至少一個表示,其中@bandwidth值係適應集中的最低值,並且其含有具有以下設定的Resync元件:@type值被設置為1或2,並且@dT被設置使得由表示之@timescale歸一化的值最多係所發信的目標延遲,並且應當小於所發信的目標延遲之一半。
可以將@marker設置為真(TRUE)。在表示級別上,@dT提供兩個隨機存取點之最大及標稱距離,@dImax提供在兩個隨機存取點之間的資料之最大大小,而如果未知的話,可以省略參數,@dImin提供在兩個隨機存取點之間的資料的最小大小,而如果未知的話,可以省略參數,並且@type被設置為1、2或3以指示隨機存取係可能。
下文描述客戶端實作(例如,DASH客戶端110)。對於重新同步情況,可以有低延遲串流及對服務的快速存取、廣播服務中的快速頻道獲取、在損失或緩衝器欠載運行之後的低延遲串流及重新同步、在低持續時間緩衝器情況下的快速向下切換、對時間的快速且高效尋找。
對於重新同步及重新啟動,可以有尋獲分段內的盒結構,尋獲適當的重新同步點(包括利用對於開始剖析及解碼所需要的所有相關資訊),尋獲被呈現的最早呈現時間,處理事件訊息(如果適用的話),獲得所有解密相關資訊(如果適用的話),以及在基本串流級別上開始解碼。
下文描述用於重新同步的盒結構。可以有不同的方式來在特定時間處重新同步盒結構。如果提供了分段索引,則可以在呈現時間及位元組偏移處進行重新同步。然而,分段索引通常對於動態服務不可用。
如果提供了重新同步點索引,則可以在呈現時間及位元組偏移處進行重新同步。這可以適用於正規實況服務,但不適用於低時延的情況。
如果分段之起點係可存取,則可以從開始下載分段並且對其進行剖析,直到找到合適的索引及時間為止。然而,如是下載可能需要不必要的頻寬或者可能不夠快。
重新同步資訊係由基礎協定提供,該協定例如提供針對每個重新同步點的索引,並且此資訊被傳遞給DASH客戶端。
如果分段的起點係不可用,則基於合適的模式尋獲重新同步點係可能。一旦尋獲,正規剖析就可以開始並且尋獲允許你進行處理的合適的盒結構(具體地,“emsg”、“prft”、“mdat”、“moof”及“mdat”)。
下文描述針對標誌的搜尋。在剖析分段之前,推薦僅下載分段之將包括重新同步點的一部分。為此目的,可以使用Resync@dT、Resync@dMax以及Resync@dMin中的資訊。如果設置了Resync@marker,則客戶端可以如下剖析位元組串流以尋獲下一重新同步點之索引。
在分段中尋獲“styp”位元組字串之發生,比如在位元組偏移B1處。如下對照隨機模擬進行驗證:將下一盒類型與任何預期盒類型(“styp”、“prft”、“emsg”、“moof”、“mdat”、“free”、“skip”)之列表進行比較。如果尋獲已知盒類型之一,則位元組偏移B1-4八位元組係重新同步點之索引。如果這並非前述的已知盒類型之一,則“styp”盒的這一發生被視為無效的重新同步點並且被忽略。從上面重新開始。
下文描述使用resync資訊。最早呈現時間可為重新同步點之時間。該最早呈現時間可以由 “tfdt”及電影片段標頭中的其他資訊之使用來指示。
對於重新同步點之類型,可能有若干選項。一種選項可為基於“moof”中的資訊的檢測。一種選項可為用於SAP類型的相容性品牌之使用。
如果CMAF如在ISO/IEC 23000-1中定義地處於使用中,則可以演繹出以下各項:“cmff”:指示SAP為1或2;“cmfl”:指示SAP為0;以及“cmfr”:指示SAP為1、2或3。一旦找到合適的時間及索引,就可以發起媒體管道的早期重新同步。
圖12係繪示用於履行本發明之技術的例示性方法的流程圖。圖12之方法可以由圖1之客戶端裝置40及伺服器裝置60來履行。歸屬於伺服器裝置的動作可以另外或替代地由圖1之內容準備裝置20來履行。在其他實例中,其他裝置可以被組態為根據本發明之技術來履行這些或其他功能。例如,圖5之低延遲DASH客戶端232、編碼器216、DASH打包器202及CDN 220可以被組態為履行本發明之技術。
最初,伺服器裝置60可以形成清單檔案,其包括用於分段之重新同步(resync)元件的@dT值(400)。替代地,在一些實例中,伺服器裝置60可以從內容準備裝置20接收清單檔案。清單檔案可為如上討論的媒體呈現描述(MPD)。
然後,客戶端裝置40可以從伺服器裝置60請求清單檔案(402)。客戶端裝置40可以剖析及處理清單檔案以決定分段可用性時間,諸如標稱分段可用性開始時間(NSAST)(404)。根據本發明之技術,NSAST值可以表示分段之順序的第一組塊可用的時間。
因此,客戶端裝置40然後可以決定當前時間(408)。假定當前時間在用於分段之組塊的NSAST處或之後,則客戶端裝置40可以使用當前時間、分段可用性時間及@dT值來形成針對分段之一個或多個組塊的請求,該一個或多個組塊可以包括順序的第一組塊(410)。具體地,如果當前時間係在NSAST之後但小於從NSAST開始的一個@dT值,則客戶端裝置40可以僅請求順序的第一組塊。如果當前時間係在從NSAST開始的一個@dT值與從NSAST開始的兩個@dT值之間,則客戶端裝置40可以決定分段之順序的第一組塊及順序的第二組塊兩者係可用,並且因此,客戶端裝置40可以形成指定第一組塊及第二組塊兩者的請求,或者如果已經請求了第一組塊,則僅請求第二組塊。
具體地,客戶端裝置40可以將請求形成為HTTP部分GET請求,HTTP部分GET請求指定分段之與要請求的組塊相對應的位元組範圍。例如,客戶端裝置40可以使用在清單檔案中發信的@dImin值之倍數來決定在特定時間處可用的資料量。具體地,在NSAST之後的N*@dT處,客戶端裝置40可以決定(N+1)*@dImin位元組之資料可用於取回。因此,客戶端裝置40可以根據該決定來指定位元組範圍。最終,客戶端裝置40可以向伺服器裝置60發送請求(412)。
然後,伺服器裝置60可以從客戶端裝置40接收請求(414)。伺服器裝置60可以向客戶端裝置40發送所請求的組塊(416)。然後,客戶端裝置40可以接收組塊(418),並且解碼及呈現組塊之媒體資料(420)。然後,客戶端裝置40可以再次決定新的當前時間(408)並且請求一個或多個新的可用組塊。
以此方式,圖1之方法表示一種方法之實例,該方法包括:決定用於媒體呈現的清單檔案包括表示用於媒體呈現之分段之重新同步元件的增量時間值的資料;決定增量時間值之倍數;使用增量時間值之倍數來決定分段之當前可用於取回的組塊之數量;以及向伺服器裝置發送針對分段之當前可用的組塊的請求,其中該請求忽略分段之當前不可用的組塊。
在一個或多個實例中,所描述的功能可以用硬體、軟體、韌體或其任何組合來實作。如果用軟體來實作,則該功能可以作為一個或多個指令或程式碼儲存在計算機可讀媒體上或者透過其進行傳送並且由基於硬體的處理單元執行。計算機可讀媒體可以包括計算機可讀儲存媒體,其對應於諸如資料儲存媒體的有形媒體,或者包括例如根據通信協定來促進計算機程式從一個地方轉送到另一個地方的任何媒體的通信媒體。以此方式,計算機可讀媒體通常可以對應於(1)非暫時性的有形計算機可讀儲存媒體、或者(2)諸如信號或載波的通信媒體。資料儲存媒體可為可以由一個或多個計算機或者一個或多個處理器存取以取回用於實作在本發明中描述的技術的指令、程式碼及/或資料結構的任何可用的媒體。計算機程式產品可以包括計算機可讀媒體。
通過舉例而非限制性之方式,如是計算機可讀存儲媒體可以包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁性儲存裝置、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程式碼以及能夠由計算機存取的任何其他媒體。又,任何連接被適當地稱為計算機可讀媒體。例如,如果使用同軸纜線、光纖纜線、雙絞線、數字用戶線路(DSL)或者無線技術(諸如紅外線、無線電及微波)從網站、伺服器或其他遠端源傳送指令,則同軸纜線、光纖纜線、雙絞線、DSL或者無線技術(諸如紅外線、無線電及微波)被包括在媒體之定義中。然而,應當理解,計算機可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而係替代地針對非暫時性的有形儲存媒體。如本文所使用的,磁碟及光碟包括緊湊光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟磁碟及藍光光碟,其中磁碟通常磁性地複製資料,而光碟則利用雷射來光學地複製資料。上述各項之組合也應當被包括在計算機可讀媒體之範圍內。
指令可以由一個或多個處理器來執行,諸如一個或多個數位信號處理器(DSP)、通用微處理器、特定應用積體電路(ASIC)、現場可程式閘陣列(FPGA)、或其他等效的整合或離散邏輯電路。因此,如本文所使用的術語“處理器”可以指涉前述結構中之任一者或者適於實作本文描述的技術的任何其他結構。另外,在一些態樣中,本文描述的功能可以在被組態用於編碼及解碼的專屬硬體及/或軟體模組內提供,或者被併入經組合的編解碼器中。又,該技術可以完全在一個或多個電路或邏輯元件中實作。
本發明之技術可以在多種多樣之裝置或器具中實作,包括無線手機、積體電路(IC)或一組IC(例如,晶片組)。在本發明中描述了各種組件、模組或單元以強調被組態以履行所揭露的技術的裝置的功能性方面,但不一定需要由不同的硬體單元來實現。確切而言,如上所述,各種單元可以被組合在編解碼器硬體單元中,或者由互操作的硬體單元之收集(包括如上所述的一個或多個處理器)結合適當的軟體及/或韌體來提供。
已經描述了各個實例。這些及其他實例在所附的申請專利範圍之範疇內。
10:系統 20:內容準備裝置 22:音訊源 24:視訊源 26:音訊編碼器 28:視訊編碼器 30:封裝單元 32:輸出介面 40:客戶端裝置 42:音訊輸出 44:視訊輸出 46:音訊解碼器 48:視訊解碼器 50:解封裝單元 52:取回單元 54:網路介面 60:伺服器裝置 62:儲存媒體 64:多媒體內容 66:清單檔案 68A-68N:表示 70:請求處理單元 72:網路介面 74:網路 100:eMBMS中間軟體單元 102:代理伺服器單元 104:快取 106:eMBMS接收單元 110:DASH客戶端 112:媒體應用程式 120:多媒體內容 122,210:媒體呈現描述(MPD) 124A-124N:表示 126,130:標頭資料 128A-128N,132A-132N,214A-214B,240,300,350,370:分段 150:視訊檔案 152:檔案類型(FTYP)盒 154:電影(MOOV)盒 156:電影標頭(MVHD)盒 158:軌道(TRAK)盒 160:電影延伸(MVEX)盒 162:分段索引(SIDX)盒 164,242:電影片段(MOOF)盒 166:電影片段隨機存取(MFRA)盒 200:低延遲架構 202:DASH打包器 204A-204D:CMAF非初始組塊(CNC) 206A,206B:CMAF初始組塊(CIC) 208:CMAF標頭(CH) 212:初始化分段(IS) 216:編碼器 220:內容遞送網路(CDN) 222:分段儲存器 230:正規DASH客戶端 232:低延遲DASH客戶端 242A-242B:MOOF片段 244,244A-244B:電影資料(MDAT)盒 248:被分塊的分段 252,258,262,266,302,308,312,316,332,342:重新同步(Resync)點 254,260,264,268,304,310,314,318,354,358,362,366,374,378,382,386,390,394,398:組塊 256,306,336,346:標誌 270,320:索引 330:Resync索引 334,344:時間 338,348:類型 352,356,360,364,372,380,388,396:串流存取點(SAP)1 376,384,392:SAP3 400:伺服器裝置形成清單 402:客戶端裝置取回清單檔案 404:客戶端裝置決定分段可用性時間 406:客戶端裝置決定@DT值 408:客戶端裝置決定當前時間 410:客戶端裝置形成針對分段之組塊的請求 412:客戶端裝置發送請求 414:伺服器裝置接收請求 416:伺服器裝置發送所請求的組塊 418:客戶端裝置接收組塊 420:客戶端裝置解碼及呈現組塊之資料
圖1係繪示根據本發明之技術實作用於在網路上對媒體資料進行串流的技術的例示性系統的方塊圖。
圖2係更詳細地繪示圖1之取回單元之組件之例示性集合的方塊圖。
圖3係繪示例示性多媒體內容之元件的概念圖。
圖4係繪示可以對應於表示之分段(segment)(諸如圖3之分段之一)的例示性視訊檔案之元件的方塊圖。
圖5係繪示可以履行本發明之技術的例示性低延遲架構的概念圖。
圖6係繪示被分塊的分段分佈之實例的概念圖。
圖7係說明共同媒體應用格式(CMAF)組塊結構之實例的表格。
圖8係繪示分段之標誌及重新同步點之實例的概念圖。
圖9係說明Resync Point元件及屬性名稱以及對應描述的表格。
圖10係繪示resync索引之實例的概念圖。
圖11係繪示Resync Point之@dT元件及@dI屬性之實例的概念圖。
圖12係繪示用於履行本發明之技術的例示性方法的流程圖。
400:伺服器裝置形成清單
402:客戶端裝置取回清單檔案
404:客戶端裝置決定分段可用性時間
406:客戶端裝置決定@DT值
408:客戶端裝置決定當前時間
410:客戶端裝置形成針對分段之組塊的請求
412:客戶端裝置發送請求
414:伺服器裝置接收請求
416:伺服器裝置發送所請求的組塊
418:客戶端裝置接收組塊
420:客戶端裝置解碼及呈現組塊之資料

Claims (40)

  1. 一種傳輸媒體資料之方法,該方法包含: 決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料; 決定該增量時間值之倍數; 使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量;以及 向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊。
  2. 如請求項1之方法,其中該清單檔案包含媒體呈現描述(MPD)。
  3. 如請求項1之方法,其中該增量時間值包含用於該分段的@dT屬性。
  4. 如請求項1之方法,進一步包含: 決定表示在兩個隨機存取點之間的最小資料大小的值;以及 將當前可用的資料量決定為等於該倍數乘以表示在兩個隨機存取點之間的該最小資料大小的該值。
  5. 如請求項4之方法,其中發送該請求包含:構建該請求以指定位元組範圍,其包括當前可用的該資料量。
  6. 如請求項4之方法,其中表示在兩個隨機存取點之間的該最小資料大小的該值包含@dImin值。
  7. 如請求項1之方法,其中發送該請求包含:構建該請求以指定用於該分段之當前可用的該組塊的資料及忽略用於該分段之當前不可用的該組塊的資料。
  8. 如請求項1之方法,其中決定該倍數包含: 決定在來自該清單檔案的用於該分段的標稱分段可用性開始時間(NSAST)與當前時間之間業已經過的時間量;以及 根據該時間量除以該增量時間值來決定該倍數。
  9. 如請求項1之方法,其中該分段包含第一分段,該方法進一步包含: 決定不存在用於該媒體呈現之第二分段的重新同步元件;以及 響應於決定不存在用於該第二分段的該重新同步元件,發送請求以在用於該第二分段的標稱分段可用性開始時間(NSAST)處或之後取回整個第二分段。
  10. 如請求項9之方法,其中發送該請求以取回該整個第二分段包含:將該第二請求構建為省略“range:”標頭的HTTP GET請求。
  11. 一種用於傳輸媒體資料的裝置,該裝置包含: 記憶體,其被組態為儲存媒體資料;以及 一個或多個處理器,其在電路中實作並且被組態為: 決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料; 決定該增量時間值之倍數; 使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量; 向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊;以及 將響應於該請求而接收的組塊之資料儲存在該記憶體中。
  12. 如請求項11之裝置,其中該清單檔案包含媒體呈現描述(MPD)。
  13. 如請求項11之裝置,其中該增量時間值包含用於該分段的@dT屬性。
  14. 如請求項11之裝置,其中該一個或多個處理器進一步被組態為: 決定表示在兩個隨機存取點之間的最小資料大小的值;以及 將當前可用的資料量決定為等於該倍數乘以表示在兩個隨機存取點之間的該最小資料大小的該值。
  15. 如請求項14之裝置,其中該一個或多個處理器被組態為:構建該請求以指定位元組範圍,其包括當前可用的該資料量。
  16. 如請求項14之裝置,其中表示在兩個隨機存取點之間的該最小資料大小的該值包含@dImin值。
  17. 如請求項11之裝置,其中該一個或多個處理器被組態為:構建該請求以指定用於該分段之當前可用的該組塊的資料及忽略用於該分段之當前不可用的該組塊的資料。
  18. 如請求項11之裝置,其中為了決定該倍數,該一個或多個處理器被組態為: 決定在當前時間與來自該清單檔案的用於該分段的標稱分段可用性開始時間(NSAST)之間業已經過的時間量;以及 決定該倍數等於該時間量除以該增量時間值。
  19. 如請求項11之裝置,其中該分段包含第一分段,並且其中該一個或多個處理器被組態為: 決定不存在用於該媒體呈現之第二分段的重新同步元件;以及 響應於決定不存在用於該第二分段的該重新同步元件,發送請求以在用於該第二分段的標稱分段可用性開始時間(NSAST)處或之後取回整個第二分段。
  20. 如請求項19之裝置,其中該一個或多個處理器被組態為:將該第二請求構建為省略“range:”標頭的HTTP GET請求。
  21. 一種具有儲存在其上的指令的計算機可讀儲存媒體,該指令在被執行時使得處理器進行以下操作: 決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料; 決定該增量時間值之倍數; 使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量;以及 向伺服器裝置發送針對該分段之當前可用的該組塊的請求,其中該請求忽略該分段之當前不可用的組塊。
  22. 如請求項21之計算機可讀儲存媒體,其中該清單檔案包含媒體呈現描述(MPD)。
  23. 如請求項21之計算機可讀儲存媒體,其中該增量時間值包含用於該分段的@dT屬性。
  24. 如請求項21之計算機可讀儲存媒體,進一步包含使得該處理器進行以下各項的指令: 決定表示在兩個隨機存取點之間的最小資料大小的值;以及 將當前可用的資料量決定為等於該倍數乘以表示在兩個隨機存取點之間的該最小資料大小的該值。
  25. 如請求項24之計算機可讀儲存媒體,其中使得該處理器發送該請求的該指令包含使得該處理器進行以下操作的指令:構建該請求以指定位元組範圍,其包括當前可用的該資料量。
  26. 如請求項24之計算機可讀儲存媒體,其中表示在兩個隨機存取點之間的該最小資料大小的該值包含@dImin值。
  27. 如請求項21之計算機可讀儲存媒體,其中使得該處理器發送該請求的該指令包含使得該處理器進行以下操作的指令:構建該請求以指定用於該分段之當前可用的該組塊的資料及忽略用於該分段之當前不可用的該組塊的資料。
  28. 如請求項21之計算機可讀儲存媒體,其中使得該處理器決定該倍數的該指令包含使得該處理器進行以下操作的指令: 決定在來自該清單檔案的用於該分段的標稱分段可用性開始時間(NSAST)與當前時間之間業已經過的時間量;以及 根據該時間量除以該增量時間值來決定該倍數。
  29. 如請求項21之計算機可讀儲存媒體,其中該分段包含第一分段,該計算機可讀儲存媒體進一步包含使得該處理器進行以下操作的指令: 決定不存在用於該媒體呈現之第二分段的重新同步元件;以及 響應於決定不存在用於該第二分段的該重新同步元件,發送請求以在用於該第二分段的標稱分段可用性開始時間(NSAST)處或之後取回整個第二分段。
  30. 如請求項29之計算機可讀儲存媒體,其中使得該處理器發送該請求以取回該整個第二分段的該指令包含使得該處理器進行以下操作的指令:將該第二請求構建為省略“range:”標頭的HTTP GET請求。
  31. 一種用於傳輸媒體資料的裝置,該裝置包含: 用於決定用於媒體呈現的清單檔案包括表示用於該媒體呈現之分段之重新同步元件的增量時間值的資料的構件; 用於決定該增量時間值之倍數的構件; 用於使用該增量時間值之該倍數來決定該分段之當前可用於取回的組塊之數量的構件;以及 用於向伺服器裝置發送針對該分段之當前可用的該組塊的請求的構件,其中該請求忽略該分段之當前不可用的組塊。
  32. 如請求項31之裝置,其中該清單檔案包含媒體呈現描述(MPD)。
  33. 如請求項31之裝置,其中該增量時間值包含用於該分段的@dT屬性。
  34. 如請求項31之裝置,進一步包含: 用於決定表示在兩個隨機存取點之間的最小資料大小的值的構件;以及 用於將當前可用的資料量決定為等於該倍數乘以表示在兩個隨機存取點之間的該最小資料大小的該值的構件。
  35. 如請求項34之裝置,其中該用於發送該請求的構件包含:用於構建該請求以指定位元組範圍的構件,該位元組範圍包含當前可用的該資料量。
  36. 如請求項34之裝置,其中表示在兩個隨機存取點之間的該最小資料大小的該值包含@dImin值。
  37. 如請求項31之裝置,其中該用於發送該請求的構件包含:用於構建該請求以指定用於該分段之當前可用的該組塊的資料及忽略用於該分段之當前不可用的該組塊的資料的構件。
  38. 如請求項31之裝置,其中該用於決定該倍數的構件包含: 用於決定在來自該清單檔案的用於該分段的標稱分段可用性開始時間(NSAST)與當前時間之間業已經過的時間量的構件;以及 用於根據該時間量除以該增量時間值來決定該倍數的構件。
  39. 如請求項31之裝置,其中該分段包含第一分段,該裝置進一步包含: 用於決定不存在用於該媒體呈現之第二分段的重新同步元件的構件;以及 用於響應於決定不存在用於該第二分段的該重新同步元件,發送請求以在用於該第二分段的標稱分段可用性開始時間(NSAST)處或之後取回整個第二分段的構件。
  40. 如請求項39之裝置,其中該用於發送該請求以取回該整個第二分段的構件包含:用於將該第二請求構建為省略“range:”標頭的HTTP GET請求的構件。
TW110110932A 2020-03-25 2021-03-25 用於網路串流媒體資料的資料之組塊之可用性之決定 TW202143741A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062994725P 2020-03-25 2020-03-25
US62/994,725 2020-03-25
US17/211,641 US20210306703A1 (en) 2020-03-25 2021-03-24 Determination of availability of chunks of data for network streaming media data
US17/211,641 2021-03-24

Publications (1)

Publication Number Publication Date
TW202143741A true TW202143741A (zh) 2021-11-16

Family

ID=77856750

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110932A TW202143741A (zh) 2020-03-25 2021-03-25 用於網路串流媒體資料的資料之組塊之可用性之決定

Country Status (7)

Country Link
US (1) US20210306703A1 (zh)
EP (1) EP4128809A1 (zh)
KR (1) KR20220157957A (zh)
CN (1) CN115244943B (zh)
BR (1) BR112022018261A2 (zh)
TW (1) TW202143741A (zh)
WO (1) WO2021195398A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820022B1 (en) * 2018-05-03 2020-10-27 Amazon Technologies, Inc. Low latency playback for chunked media segments

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380096B2 (en) * 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US20130246176A1 (en) * 2012-03-13 2013-09-19 American Express Travel Related Services Company, Inc. Systems and Methods Determining a Merchant Persona
US9118744B2 (en) * 2012-07-29 2015-08-25 Qualcomm Incorporated Replacing lost media data for network streaming
US9432426B2 (en) * 2013-02-04 2016-08-30 Qualcomm Incorporated Determining available media data for network streaming
US10454985B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated File format based streaming with dash formats based on LCT
US11617019B2 (en) * 2016-07-28 2023-03-28 Qualcomm Incorporated Retrieving and accessing segment chunks for media streaming
US20180103271A1 (en) * 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
US11647251B2 (en) * 2017-07-12 2023-05-09 Telefonaktiebolaget Lm Ericsson (Publ) Fast tune-in for low latency streaming

Also Published As

Publication number Publication date
US20210306703A1 (en) 2021-09-30
WO2021195398A1 (en) 2021-09-30
KR20220157957A (ko) 2022-11-29
CN115244943A (zh) 2022-10-25
BR112022018261A2 (pt) 2022-10-25
CN115244943B (zh) 2024-10-29
EP4128809A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
US11706502B2 (en) Segment types as delimiters and addressable resource identifiers
US11617019B2 (en) Retrieving and accessing segment chunks for media streaming
TW202037177A (zh) 用於串流媒體資料之服務描述
US11843840B2 (en) Random access at resync points of DASH segments
US20150312303A1 (en) Determining whether to use sidx information when streaming media data
TW201947938A (zh) 用於在一片段中之網路串流之媒體資料之發信丟失區段
TWI820227B (zh) 用於媒體資料之網路串流之初始化集合
TW202143741A (zh) 用於網路串流媒體資料的資料之組塊之可用性之決定
US20210099371A1 (en) Repair mechanism for adaptive bit rate multicast
TW202337225A (zh) 用於適應性流送的動態解析度改變提示