TW201725911A - 決定用於媒體傳輸的媒體傳遞事件位置 - Google Patents

決定用於媒體傳輸的媒體傳遞事件位置 Download PDF

Info

Publication number
TW201725911A
TW201725911A TW106100401A TW106100401A TW201725911A TW 201725911 A TW201725911 A TW 201725911A TW 106100401 A TW106100401 A TW 106100401A TW 106100401 A TW106100401 A TW 106100401A TW 201725911 A TW201725911 A TW 201725911A
Authority
TW
Taiwan
Prior art keywords
mdes
data
media
determining
mde
Prior art date
Application number
TW106100401A
Other languages
English (en)
Other versions
TWI740878B (zh
Inventor
高登肯特 渥克
湯瑪仕 史多克漢摩
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201725911A publication Critical patent/TW201725911A/zh
Application granted granted Critical
Publication of TWI740878B publication Critical patent/TWI740878B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

一種傳輸媒體資料的方法,包括由源設備的基於檔案的協定發送單元進行以下操作:從源設備的形成區段的分段器接收包括媒體資料的區段的資料串流,區段之每一者區段包括與唯一的統一資源定位符(URL)相關聯的對應可單獨取得的檔案;決定媒體傳遞事件(MDE)在媒體資料串流中的位置,其中MDE包括針對區段中的一個區段的至少一部分的資料;決定用於MDE的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將MDE發送給客戶端設備的時間;及根據源設備的實體層發送單元的可用傳遞時槽將MDE和表示傳輸時間要求的資料提供給該實體層發送單元。

Description

決定用於媒體傳輸的媒體傳遞事件位置
本案內容係關於媒體資料的傳輸。
數位音訊和視訊能力可以被併入到廣泛的設備中,包括數位電視、數位直接廣播系統、無線廣播系統、個人數位助理(PDAs)、膝上型或桌上型電腦、數位相機、數位記錄設備、數位媒體播放機、視訊遊戲設備、視訊遊戲控制台、蜂巢或衛星無線電話、視訊電話會議設備等等。
可以壓縮媒體資料(例如,音訊和視訊資料)以用於傳輸。壓縮通常包括對媒體資料的編碼。在已對媒體資料進行編碼之後,可以對視訊資料進行打包以用於傳輸或儲存。可以將媒體資料組裝成符合各種標準(例如,國際標準組織(ISO)基本媒體檔案格式(ISO BMFF)及其擴展,例如AVC)中的任何標準的媒體檔案。
可以使用各種技術經由電腦網路來傳輸媒體資料。例如,可以經由廣播協定或單播協定來傳遞媒體資料。在廣播協定中,伺服器設備向複數個訂閱客戶端設備發送媒體資料。在單播協定中,客戶端設備從伺服器設備請求媒體資料,並且伺服器設備回應於該請求而傳遞媒體資料。
概括地說,本案內容描述了與支援在例如經由ROUTE的媒體感知位元組範圍傳遞(ATSC Working Draft:Signaling,Delivery,Synchronization,and Error Protection,2015年11月20日)中使用的媒體傳遞事件(MDEs)和MMT(ISO/IEC:ISO/IEC 23008-1第2版,資訊技術—High efficiency coding and media delivery in heterogeneous environments—第1部分:MPEG media transport (MMT))或FLUTE(RFC 6726,其是ROUTE的適當子集)相關的技術。該等傳遞技術進一步可以使用廣播HTTP的動態適應性資料串流(DASH)。共用媒體應用格式(CMAFs),或者類似的區段或基於媒體感知位元組範圍的媒體傳遞方法。本案內容亦描述了用於決定偵測到的MDE的時間標籤的技術,以及用於在實體層處的適應性傳遞技術,該等技術考慮早期媒體傳遞相對於與媒體對準的實體層分框的影響。
在一個實例中,一種用於傳輸媒體資料的方法包括由源設備的基於檔案的協定發送單元進行以下操作:從該源設備的形成區段的分段器接收包括媒體資料的區段的資料串流,該等區段之每一者區段包括與唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的對應可單獨取得的檔案;決定媒體傳遞事件(MDEs)在該媒體資料串流中的位置,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料;決定用於該等MDE的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將該等MDE發送給客戶端設備的時間;及根據該源設備的實體層發送單元的可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元。
在另一個實例中,一種用於傳輸媒體資料的設備包括分段器,其被配置為:形成包括媒體資料的區段的資料串流,該等區段之每一者區段包括與唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的對應可單獨取得的檔案,例如ISO BMFF格式。該設備亦包括實體層發送單元,其被配置為:根據用於該等MDE的傳輸時間要求將媒體傳遞事件(MDEs)傳遞給客戶端設備,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料,其中該實體層發送單元被配置有用於接收要傳遞的資料的可用傳遞時槽。該設備進一步包括基於檔案的協定發送單元,其被配置為:從該分段器接收包括該媒體資料的區段的該資料串流;決定該等MDE在該媒體資料串流中的位置;決定用於該等MDE的該等傳輸時間要求中的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將該等MDE發送給該客戶端設備的時間;及根據該實體層發送單元的該等可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元。
在另一個實例中,一種用於傳輸媒體資料的設備包括分段器,其被配置為:形成包括媒體資料的區段的資料串流,該等區段之每一者區段包括與唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的對應可單獨取得的檔案。該設備亦包括實體層發送單元,其被配置為:根據用於該等MDE的傳輸時間要求將媒體傳遞事件(MDEs)傳遞給客戶端設備,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料,其中該實體層發送單元被配置有用於接收要傳遞的資料的可用傳遞時槽。該設備進一步包括:用於從該分段器接收包括媒體資料的區段的資料串流的構件;用於決定該等MDE在該媒體資料串流中的位置的構件;用於決定用於該等MDE的一或多個傳輸時間要求的構件,該一或多個傳輸時間要求表示要將該等MDE發送給該客戶端設備的時間;及用於根據該實體層發送單元的可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元的構件。
在另一個實例中,一種其上儲存有指令的電腦可讀取儲存媒體,當該等指令被執行時使得源設備的基於檔案的協定發送單元進行以下操作:從該源設備的形成區段的分段器接收包括媒體資料的區段的資料串流,該等區段之每一者區段包括與唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的對應可單獨取得的檔案;決定媒體傳遞事件(MDEs)在該媒體資料串流中的位置,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料;決定用於該等MDE的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將該等MDE發送給客戶端設備的時間;及根據該源設備的實體層發送單元的可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元。
在附圖和以下描述中闡述了一或多個實例的細節。經由本描述和附圖以及經由請求項,其他特徵、目標和優點將是顯而易見的。
概括地說,本案內容描述了與傳輸媒體資料相關的技術。本案內容的技術可以由伺服器設備或將媒體資料資料串流到客戶端設備的其他源設備來執行。具體而言,源設備可以包括分段器、基於檔案的協定發送單元,以及實體層發送單元。分段器可以與形成媒體資料的區段的單元相對應,其中區段符合例如HTTP的動態適應性資料串流(DASH)區段。例如,分段器可以將網路抽象層(NAL)單元封裝到對應的DASH區段中,其中區段均可以與唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯。基於檔案的協定發送單元可以被配置為:使用基於檔案的協定(例如,單向傳輸的檔案傳遞(FLUTE)或ROUTE)來發送資料。實體層發送單元可以在實體層例如使用乙太網路來發送媒體資料。
根據本案內容的技術,分段器可以以區段串流的形式將媒體資料的兩種區段提供給基於檔案的協定發送單元。因此,基於檔案的協定發送單元可以從分段器接收包括媒體資料的區段的資料串流。基於檔案的協定發送單元隨後可以決定媒體傳遞事件(MDEs)在媒體資料串流中的位置。在一個實例中,基於檔案的協定發送單元可以根據媒體資料串流來形成MDE。例如,基於檔案的協定發送單元可以決定串流的哪些部分要包括在特定的MDE中,使得該MDE包括對於媒體解碼器有用的資料(例如,能夠被媒體解碼器恰當地解碼的資料,假設較早的資料正確地傳遞)。
為了決定MDE的位置,基於檔案的協定發送單元可以使用模式匹配技術,其中基於檔案的協定發送單元被配置有用於串流中所包括的媒體資料的一或多個模式。此種模式可以表示例如以分層解碼順序對媒體資料的佈置。例如,可以根據某一數量的訊框內預測訊框(I訊框)、隨後是某一數量的單向訊框間預測訊框(P訊框)、隨後是(或者間隔開)某一數量的雙向訊框間預測訊框(B訊框)來佈置視訊資料。基於檔案的協定發送單元可以基於對I訊框、P訊框和B訊框的偵測來決定MDE的位置,並且例如決定MDE包括如下的視訊序列:舉一個實例,以第一I訊框開始,並且以最後B訊框結束,之後是後續的I訊框。此外,基於檔案的協定發送單元可以決定視訊MDE與區段的特定位元組範圍相對應,其中該位元組範圍在訊框邊界處結束。舉另一個實例,基於檔案的協定發送單元可以決定音訊MDE包括固定數量的音訊訊框。
舉另一個實例,為了決定MDE的位置(例如,以便形成MDE),可以根據規則來配置基於檔案的協定發送單元,其中規則定義各種類型的媒體資料(例如音訊資料、視訊資料及/或定時文字資料)在串流中的位置。規則可以定義例如各種類型的媒體資料在串流中的佈置,使得基於檔案的協定發送單元可以自類型的媒體資料之間進行區分並且將各類型的媒體資料分配給對應的MDE。
另外,基於檔案的協定發送單元亦可以決定用於MDE的一或多個傳遞時間要求(亦被稱為傳輸時間要求),其中傳輸時間要求表示要將MDE發送給客戶端設備的時間。例如,傳輸時間要求可以表示要將MDE發送給客戶端設備的最早及/或最遲時間。MDE可以具有最早時間要求(可以以該最早時間要求將MDE發送給客戶端設備)以便例如防止客戶端設備處的緩衝器溢出。MDE亦可以具有最遲時間要求(可以以該最遲時間要求將MDE發送給客戶端設備)以便例如防止客戶端設備處的緩衝器欠執行。
基於檔案的協定發送單元隨後可以將MDE連同表示傳輸時間要求的資料發送給實體層發送單元。具體而言,基於檔案的協定發送單元可以決定用於實體層發送單元的可用傳遞時槽,並且將MDE和傳輸時間要求資料發送給實體層發送單元,使得實體層發送單元能夠根據傳輸時間要求來傳遞MDE。
上文所論述的源設備可以被配置成根據HTTP資料串流協定(例如,DASH)來資料串流資料。在HTTP資料串流中,頻繁使用的操作包括HEAD、GET和部分GET。HEAD操作取得與給定的統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI)相關聯的檔案的標頭,而不取得與URL、URN或URI相關聯的有效負荷。GET操作取得與給定的URL、URN或URI相關聯的整個檔案。部分GET操作接收位元組範圍作為輸入參數並且取得連續位元組數量的檔案,其中位元組數量對應於所接收的位元組範圍。因此,可以提供電影區段以用於HTTP資料串流,如此因為部分GET操作可以取得一或多個單獨的電影區段。在電影區段中,可以存在不同軌道的若干個軌道區段。在HTTP資料串流中,媒體呈現可以是客戶端可存取的結構化資料集合。客戶端可以請求並下載媒體資料資訊,以向使用者提供資料串流服務。
在使用HTTP資料串流來資料串流3GPP資料的實例中,可能存在針對多媒體內容的視訊及/或音訊資料的多個表示(representation)。如下文說明的,不同的表示可以對應於不同的編碼特性(例如,不同的視訊編碼標準簡檔或層級)、不同的編碼標準或編碼標準的擴展(例如,多視圖及/或可縮放擴展)或者不同的位元速率。可以在媒體呈現描述(MPD)資料結構中定義此種表示的清單(manifest)。媒體呈現可以對應於HTTP資料串流客戶端設備可存取的結構化資料集合。HTTP資料串流客戶端設備可以請求並下載媒體資料資訊,以向客戶端設備的使用者提供資料串流服務。可以在MPD資料結構(其可以包括MPD的更新)中描述媒體呈現。
媒體呈現可以包含一或多個時段的序列。可以由MPD中的Period (時段) 元素來定義時段。每個時段可以具有MPD中的屬性start (開始) 。MPD可以包括針對每個時段的start 屬性和availableStartTime (可用開始時間) 屬性。對於實況服務,時段的start 屬性和MPD屬性availableStartTime的和可以以UTC格式來指定時段的可用時間,特別是針對相應時段之每一者表示的第一媒體區段。對於隨選服務,第一時段的start 屬性可以是0。對於任何其他時段,start 屬性可以指定相應時段的開始時間相對於第一時段的開始時間的時間偏移。每個時段可以擴展,直到下一時段的開始為止,或者在最後一個時段的情況下,直到媒體呈現的結束為止。時段開始時間可以是精確的。時段開始時間可以反映由於播放所有先前時段的媒體而產生的實際時序。
每個時段可以包含針對相同媒體內容的一或多個表示。表示可以是音訊或視訊資料的多個替代的經編碼版本中的一個版本。表示可以依據編碼類型(例如,位元速率、解析度,及/或針對視訊資料和位元速率的轉碼器、語言,及/或針對音訊資料的轉碼器)而不同。術語表示可以用於代表經編碼的音訊或視訊資料的對應於多媒體內容的特定時段並以特定方式編碼的部分。
特定時段的表示可以指派給MPD中的屬性(其指示表示所屬的適配集)所指示的群組。相同適配集中的表示通常被視為彼此的替代,因為客戶端設備可以動態地並且無瑕疵地在該等表示之間切換,例如,以便執行頻寬適配。例如,針對特定時段的視訊資料的每個表示可以指派給相同的適配集,使得表示中的任何表示可以被選擇用於解碼,以呈現針對相應時段的多媒體內容的媒體資料(例如,視訊資料或音訊資料)。一個時段內的媒體內容可以由來自群組0的一個表示(若存在)來表示,或者在一些實例中,由來自每個非零群組的最多一個表示的組合來表示。可以相對於時段的開始時間來表達針對時段的每個表示的時序資料。
表示可以包括一或多個區段。每個表示可以包括初始化區段,或者表示的每個區段可以是自初始化的。當存在初始化區段時,其可以包含用於存取表示的初始化資訊。通常,初始化區段不包含媒體資料。可以用識別符(例如,統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI))來唯一地引用區段。MPD可以提供針對每個區段的識別符。在一些實例中,MPD亦可以以range (範圍) 屬性的形式來提供位元組範圍,其可以與針對可由URL、URN或URI存取的檔案內的區段的資料相對應。
可以選擇不同的表示以用於大體上同時獲取不同類型的媒體資料。例如,客戶端設備可以選擇從中獲取區段的音訊表示、視訊表示以及定時文字表示。在一些實例中,客戶端設備可以選擇特定的適配集以用於執行頻寬適配。亦即,客戶端設備可以選擇包括視訊表示的適配集、包括音訊表示的適配集,及/或包括定時文字的適配集。或者,客戶端設備可以選擇針對某些類型的媒體(例如,視訊)的適配集,並且直接地選擇針對其他類型的媒體(例如,音訊及/或定時文字)的表示。
圖1是圖示實施用於經由網路來資料串流媒體資料的技術的示例性系統10的方塊圖。在該實例中,系統10包括內容準備設備20、伺服器設備60和客戶端設備40。客戶端設備40和伺服器設備60經由網路74(其可以包括網際網路)通訊地耦合。在一些實例中,內容準備設備20和伺服器設備60亦可以經由網路74或另一個網路耦合,或者可以直接通訊地耦合。在一些實例中,內容準備設備20和伺服器設備60可以包括相同的設備。
在圖1的實例中,內容準備設備20包括音訊源22和視訊源24。音訊源22可以包括例如麥克風,其中麥克風產生電信號,該等電信號表示所擷取的要由音訊編碼器26編碼的音訊資料。或者,音訊源22可以包括:儲存媒體,其儲存先前記錄的音訊資料;音訊資料產生器,例如電腦化的合成器;或者任何其他的音訊資料來源。視訊源24可以包括:視訊相機,其產生要由視訊編碼器28進行編碼的視訊資料;編碼有先前記錄的視訊資料的儲存媒體;視訊資料產生單元,例如電腦圖形源;或者任何其他的視訊資料來源。內容準備設備20不一定在所有的實例中皆通訊地耦合到伺服器設備60,但是可以將多媒體內容儲存到由伺服器設備60讀取的單獨媒體。
原始音訊和視訊資料可以包括類比或數位資料。可以在由音訊編碼器26及/或視訊編碼器28對類比資料進行編碼之前對其進行數位化。當說話參與者正在說話時,音訊源22可以從該說話參與者獲得音訊資料,並且視訊源24可以同時獲得該說話參與者的視訊資料。在其他實例中,音訊源22可以包括包含所儲存的音訊資料的電腦可讀取儲存媒體,並且視訊源24可以包括包含所儲存的視訊資料的電腦可讀取儲存媒體。以此方式,本案內容中所描述的技術可以應用於實況的、資料串流的、即時的音訊和視訊資料,或者應用於經存檔的、預先記錄的音訊和視訊資料。
與視訊訊框相對應的音訊訊框通常是包含音訊資料的音訊訊框,其中該音訊資料是由音訊源22與包含在視訊訊框內的由視訊源24擷取(或產生)的視訊資料同時擷取(或產生)的。例如,當說話參與者通常經由說話來產生音訊資料時,音訊源22擷取音訊資料,並且視訊源24同時(亦即,當音訊源22正在擷取音訊資料時)擷取說話參與者的視訊資料。因此,音訊訊框可以在時間上對應於一或多個特定的視訊訊框。因此,與視訊訊框相對應的音訊訊框通常對應於以下情形:在該情形中,同時擷取音訊資料和視訊資料,並且對於該情形,音訊訊框和視訊訊框分別包括同時擷取的音訊資料和視訊資料。
在一些實例中,音訊編碼器26可以將時間戳記編碼到每個經編碼的音訊訊框中,其中該時間戳記表示用於經編碼的音訊訊框的音訊資料被記錄的時間,並且類似地,視訊編碼器28可以將時間戳記編碼到每個經編碼的視訊訊框中,其中該時間戳記表示用於經編碼的視訊訊框的視訊資料被記錄的時間。在該等實例中,與視訊訊框相對應的音訊訊框可以包括:包括時間戳記的音訊訊框,以及包括相同時間戳記的視訊訊框。內容準備設備20可以包括內部時鐘,其中音訊編碼器26及/或視訊編碼器28可以根據該內部時鐘來產生時間戳記,或者音訊源22和視訊源24可以使用該內部時鐘來分別將音訊和視訊資料與時間戳記相關聯。
在一些實例中,音訊源22可以向音訊編碼器26發送與音訊資料被記錄的時間相對應的資料,並且視訊源24可以向視訊編碼器28發送與視訊資料被記錄的時間相對應的資料。在一些實例中,音訊編碼器26可以將序列識別符編碼到經編碼的音訊資料中,以指示經編碼的音訊資料的相對時間排序,而不必指示音訊資料被記錄的絕對時間,並且類似地,視訊編碼器28亦可以使用序列識別符來指示經編碼的視訊資料的相對時間排序。類似地,在一些實例中,序列識別符可以被映射或者以其他方式與時間戳記相關。
音訊編碼器26通常產生經編碼的音訊資料串流,而視訊編碼器28產生經編碼的視訊資料串流。每個單獨的資料串流(無論是音訊還是視訊)可以被稱為基本串流。基本串流是表示的單個的、經數位編碼(可能經壓縮)的分量。例如,表示的經編碼的視訊或音訊部分可以是基本串流。基本串流可以在被封裝到視訊檔案內之前轉換為打包的基本串流(PES)。在相同的表示內,可以使用串流ID來將屬於一個基本串流的PES封包與屬於其他基本流的PES封包進行區分。基本流的基本資料單元是打包的基本串流(PES)封包。因此,經編碼的視訊資料通常對應於基本視訊流。類似地,音訊資料對應於一或多個對應的基本串流。
在圖1的實例中,內容準備設備20的封裝單元30從視訊編碼器28接收包括經編碼的視訊資料的基本串流,並且從音訊編碼器26接收包括經編碼的音訊資料的基本串流。在一些實例中,視訊編碼器28和音訊編碼器26均可以包括封包器(packetizer)以用於根據經編碼的資料來形成PES封包。在其他實例中,視訊編碼器28和音訊編碼器26均可以與用於根據經編碼的資料來形成PES封包的對應封包器對接。在其他實例中,封裝單元30可以包括封包器,以用於根據經編碼的音訊和視訊資料來形成PES封包。
視訊編碼器28可以以各種方式來對多媒體內容的視訊資料進行編碼,以在各種位元速率下並且利用各種特性(例如,圖元解析度、畫面播放速率、對各種編碼標準的符合性、對用於各種編碼標準的各種簡檔及/或簡檔層級的符合性、具有一或多個視圖的表示(例如,針對二維或三維重播),或其他此類特性)來產生多媒體內容的不同表示。如本案內容中所使用的,表示可以包括以下各項中的一項:音訊資料、視訊資料、文字資料(例如,用於隱藏式字幕),或者其他此類資料。表示可以包括基本串流,例如音訊基本串流或視訊基本串流。每個PES封包可以包括stream_id(串流_id),其識別該PES封包所屬的基本串流。封裝單元30負責將基本串流組裝成各種表示的視訊檔案(例如,區段)。
封裝單元30從音訊編碼器26和視訊編碼器28接收用於表示的基本串流的PES封包,並且根據PES封包來形成相應的網路抽象層(NAL)單元。在H.264/AVC(高階視訊編碼)的實例中,將經編碼的視訊區段組織成NAL單元,其中NAL單元提供處理例如視訊電話、儲存、廣播或資料串流等應用的「網路友好的」視訊表示。NAL單元可以分類為視訊編碼層(VCL)NAL單元和非VCL NAL單元。VCL單元可以包含核心壓縮引擎並且可以包括區塊、巨集區塊及/或切片層級資料。其他NAL單元可以是非VCL NAL單元。在一些實例中,一個時間實例中的經編碼圖片(通常呈現為主要經編碼圖片)可以包含在存取單元中,其中存取單元可以包括一或多個NAL單元。
非VCL NAL單元可以包括參數集NAL單元和SEI NAL單元等等。參數集可以包含序列層級標頭資訊(在序列參數集(SPS)中)以及很少改變的圖片層級標頭資訊(在圖片參數集(PPS)中)。利用參數集(例如,PPS和SPS),不需要針對每個序列或圖片重複很少改變的資訊,因此可以提高編碼效率。此外,參數集的使用可以實現重要標頭資訊的帶外傳輸,從而避免了需要針對錯誤復原而進行冗餘傳輸。在帶外傳輸的實例中,可以在與其他NAL單元(例如,SEI NAL單元)不同的頻道上發送參數集NAL單元。
補充增強資訊(SEI)可以包含對於解碼來自VCL NAL單元的經編碼圖片取樣來說不是必要的但是可以輔助與解碼、顯示、錯誤恢復以及其他目的相關的程序的資訊。SEI訊息可以包含在非VCL NAL單元中。SEI訊息是一些標準規範的規範性部分,並且因此對於符合標準的解碼器實現方式來說並非總是強制的。SEI訊息可以是序列層級SEI訊息或圖片層級SEI訊息。一些序列層級資訊可以包含在SEI訊息中,例如,在SVC的實例中的可縮放資訊SEI訊息,以及在MVC中的視圖可縮放資訊SEI訊息。該等示例性的SEI訊息可以傳送關於例如操作點的提取和操作點的特性的資訊。另外,封裝單元30可以形成清單檔案,例如,對表示的特性進行描述的媒體呈現描述符(MPD)。封裝單元30可以根據可延伸標記語言(XML)來格式化MPD。
封裝單元30可以將用於多媒體內容的一或多個表示的資料連同清單檔案(例如,MPD)提供給輸出介面32。輸出介面32可以包括網路介面或者用於向儲存媒體寫入的介面,例如,通用序列匯流排(USB)介面、CD或DVD寫入器或燒錄器、到磁性或快閃儲存媒體的介面,或者用於儲存或發送媒體資料的其他介面。封裝單元30可以將多媒體內容的表示之每一者表示的資料提供給輸出介面32,其中輸出介面32可以經由網路傳輸或儲存媒體來將資料發送給伺服器設備60。在圖1的實例中,伺服器設備60包括儲存各種多媒體內容64的儲存媒體62,其中每個多媒體內容64包括對應的清單檔案66以及一或多個表示68A–68N(表示68)。在一些實例中,輸出介面32亦可以將資料直接發送給網路74。
在一些實例中,表示68可以被分離成適配集。亦即,表示68的各個子集可以包括對應的共同特性集合,例如,轉碼器、簡檔和層級、解析度、視圖數量、區段的檔案格式、文字類型資訊(其可以對要利用表示來顯示的文字及/或要由例如說話者解碼並呈現的音訊資料的語言或其他特性進行識別)、相機角度資訊(其可以描述針對適配集中的表示的場景的相機角度或真實世界相機視角)、描述針對特定觀眾的內容合適性的分級資訊等。
清單檔案66可以包括對與特定適配集相對應的表示68的子集以及針對適配集的共同特性進行指示的資料。清單檔案66亦可以包括對針對適配集的單獨表示的單獨特性(例如,位元速率)進行表示的資料。以此方式,適配集可以提供簡化的網路頻寬適配。可以使用清單檔案66的適配集元素的子元素來指示適配集中的表示。
伺服器設備60包括請求處理單元70和網路介面72。在一些實例中,伺服器設備60可以包括複數個網路介面。此外,可以在內容傳遞網路的其他設備(例如,路由器、橋接器、代理設備、交換機或其他設備)上實施伺服器設備60的特徵中的任何或所有特徵。在一些實例中,內容傳遞網路的中間設備可以快取記憶體多媒體內容64的資料,並且包括大體上符合伺服器設備60的元件的元件。通常,網路介面72被配置為經由網路74來發送和接收資料。
請求處理單元70被配置為從客戶端設備(例如,客戶端設備40)接收針對儲存媒體62的資料的網路請求。例如,請求處理單元70可以實施如RFC 2616,1999年6月,IETF,網路工作組,R.Fielding等人的「超文字傳輸協定– HTTP/1.1」中所描述的超文字傳輸協定(HTTP)版本1.1。亦即,請求處理單元70可以被配置為接收HTTP GET或部分GET請求並且回應於該請求而提供多媒體內容64的資料。請求可以指定表示68中的一個表示的區段(例如,使用該區段的URL或URI)。在一些實例中,請求亦可以指定區段的一或多個位元組範圍,因此包括部分GET請求。請求處理單元70進一步可以被配置為對HTTP HEAD請求進行服務,以提供表示68中的一個表示的區段的標頭資料。在任何情況下,請求處理單元70可以被配置為對請求進行處理,以向請求設備(例如,客戶端設備40)提供所請求的資料。
另外地或替代地,請求處理單元70可以被配置為經由廣播或多播協定(例如,eMBMS或DVB-T/T2)來傳遞媒體資料。內容準備設備20可以以與所描述的方式大體上相同的方式來建立DASH區段及/或子區段,但是伺服器設備60可以使用eMBMS、DVB- T/T2或另一個廣播或多播網路傳輸協定來傳遞該等區段或子區段。例如,請求處理單元70可以被配置為從客戶端設備40接收多播群組加入請求。亦即,伺服器設備60可以向與特定媒體內容(例如,實況事件的廣播)相關聯的客戶端設備(包括客戶端設備40)通告與多播群組相關聯的網際網路協定(IP)位址。客戶端設備40轉而可以提交加入多播群組的請求。可以在整個網路74(例如,構成網路74的路由器)上傳播該請求,使得促使路由器將以關聯於多播群組的IP位址為目的地的訊務導引到訂閱客戶端設備(例如,客戶端設備40)。
此外,伺服器設備60的網路介面72可以被配置為執行本案內容的技術。另外地或替代地,請求處理單元70和網路介面72可以被配置為執行本案內容的技術。出於說明的目的,假設網路介面72包括圖1中未顯式示出的子元件,例如下文更詳細論述的各個實例。例如,網路介面72可以包括發送機、排程器、分框器,以及激勵器放大器。另外,在該實例中,封裝單元30表示分段器的實例(亦即,形成媒體資料的區段的單元,其中區段表示與對應的URL/URI相關聯的單獨檔案)。具體而言,封裝單元30可以將MDE封裝在區段中,其中每個區段可以包括一或多個MDE。
根據本案內容的技術,封裝單元30可以向伺服器設備60提供媒體資料的區段串流,其中伺服器設備60最終將區段串流導引到網路介面72以用於傳輸至客戶端設備40。區段串流可以對應於表示,例如表示68中的一個表示。此外,封裝單元30可以向伺服器設備60提供表示針對區段中所包括的MDE的傳輸時間要求的資料,其中伺服器設備60再次最終將傳輸時間要求導引到網路介面72。例如,可以在清單檔案66內指定傳輸時間要求。傳輸時間要求通常指示要將MDE傳遞給客戶端設備40的最早及/或最遲時間。因此,網路介面72可以根據傳輸時間要求向客戶端設備40發送MDE(例如,區段或區段的位元組範圍)。例如,網路介面72可以傳遞MDE以使得MDE不早於最早傳輸時間及/或不遲於最遲傳輸時間抵達客戶端設備40處。
如圖1的實例中所示出的,多媒體內容64包括清單檔案66,其中清單檔案66可以對應於媒體呈現描述(MPD)。清單檔案66可以包含對不同的替代表示68(例如,具有不同品質的視訊服務)的描述,並且該描述可以包括例如轉碼器資訊、簡檔值、層級值、位元速率以及表示68的其他描述性特性。客戶端設備40可以獲取媒體呈現的MPD,以決定如何存取表示68的區段。
具體而言,獲取單元52可以獲取客戶端設備40的配置資料(未圖示),以決定視訊解碼器48的解碼能力和視訊輸出44的渲染能力。配置資料亦可以包括以下各項中的任何或所有項:客戶端設備40的使用者所選擇的語言偏好、與客戶端設備40的使用者所設置的深度偏好相對應的一或多個相機視角,及/或客戶端設備40的使用者所選擇的分級偏好。獲取單元52可以包括例如被配置為提交HTTP GET和部分GET請求的web瀏覽器或媒體客戶端。獲取單元52可以與客戶端設備40的一或多個處理器或處理單元(未圖示)所執行的軟體指令相對應。在一些實例中,可以在硬體,或者硬體、軟體,及/或韌體的組合中實施關於獲取單元52所描述的功能中的全部或部分功能,其中可以提供必要的硬體來執行針對軟體或韌體的指令。
獲取單元52可以將客戶端設備40的解碼和渲染能力與清單檔案66的資訊所指示的表示68的特性進行比較。獲取單元52可以初始地取得清單檔案66的至少一部分以決定表示68的特性。例如,獲取單元52可以請求清單檔案66的描述一或多個適配集的特性的部分。獲取單元52可以選擇表示68的子集(例如,適配集),該子集具有客戶端設備40的編碼和渲染能力能夠滿足的特性。獲取單元52隨後可以決定針對適配集中的表示的位元速率,決定當前可用的網路頻寬量,以及從表示(其具有網路頻寬能夠滿足的位元速率)中的一個表示中取得區段。
通常,較高位元速率的表示可以產生較高品質的視訊重播,而當可用的網路頻寬減小時,較低位元速率的表示可以提供足夠品質的視訊重播。因此,當可用的網路頻寬相對高時,獲取單元52可以從相對高的位元速率的表示中取得資料,而當可用的網路頻寬低時,獲取單元52可以從相對低的位元速率的表示中取得資料。以此方式,客戶端設備40可以經由網路74來資料串流多媒體資料,同時亦適應網路74的變化的網路頻寬可用性。
另外地或替代地,獲取單元52可以被配置為根據廣播或多播網路通訊協定(例如,eMBMS或IP多播)來接收資料。在該等實例中,獲取單元52可以提交加入與特定媒體內容相關聯的多播網路群組的請求。在加入多播群組之後,獲取單元52可以接收多播群組的資料而無需向伺服器設備60或內容準備設備20發出進一步的請求。當不再需要多播群組的資料時,獲取單元52可以提交離開多播群組的請求,例如,以便停止重播或將頻道改變到不同的多播群組。
網路介面54可以接收所選擇的表示的區段的資料並將其提供給獲取單元52,獲取單元52轉而可以將區段提供給解封裝單元50。解封裝單元50可以將視訊檔案的元素解封裝為組成PES串流,對PES串流進行解包以取得經編碼的資料,以及將經編碼的資料發送給音訊解碼器46或視訊解碼器48,此舉取決於經編碼的資料是音訊串流還是視訊串流的一部分(例如,如串流的PES封包標頭所指示的)。音訊解碼器46對經編碼的音訊資料進行解碼並將經解碼的音訊資料發送給音訊輸出42,而視訊解碼器48對經編碼的視訊資料進行解碼並將經解碼的視訊資料(其可以包括串流的複數個視圖)發送給視訊輸出44。
視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、封裝單元30、獲取單元52以及解封裝單元50均可以視適用情況實施為各種適當的處理電路中的任何處理電路,例如,一或多個微處理器、數位訊號處理器(DSPs)、特殊應用積體電路(ASICs)、現場可程式閘陣列(FPGAs)、個別邏輯電路、軟體、硬體、韌體或者其任何組合。視訊編碼器28和視訊解碼器48均可以包括在一或多個編碼器或解碼器中,其中任一項可以整合為組合的視訊編碼器/解碼器(CODEC)的一部分。同樣地,音訊編碼器26和音訊解碼器46均可以包括在一或多個編碼器或解碼器中,其中任一項可以整合為組合的CODEC的一部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、封裝單元30、獲取單元52及/或解封裝單元50的裝置可以包括積體電路、微處理器及/或無線通訊設備(例如,蜂巢式電話)。
客戶端設備40、伺服器設備60及/或內容準備設備20可以被配置為根據本案內容的技術來操作。出於舉例的目的,本案內容關於客戶端設備40和伺服器設備60來描述該等技術。但是,應當理解的是,作為伺服器設備60的替代(或者除伺服器設備60之外),內容準備設備20亦可以被配置為執行該等技術。
封裝單元30可以形成NAL單元,其包括識別NAL單元所屬的節目的標頭以及有效負荷,例如音訊資料、視訊資料或者描述NAL單元所對應的傳輸或節目串流的資料。例如,在H.264/AVC中,NAL單元包括1個位元組的標頭和變化大小的有效負荷。在其有效負荷中包括視訊資料的NAL單元可以包括各種細微性位準的視訊資料。例如,NAL單元可以包括視訊資料區塊、複數個區塊、視訊資料切片或者視訊資料的整個圖片。封裝單元30可以從視訊編碼器28接收具有基本串流的PES封包形式的經編碼的視訊資料。封裝單元30可以將每個基本串流與相應的節目相關聯。
封裝單元30亦可以根據複數個NAL單元來組裝存取單元。通常,存取單元可以包括用於表示視訊資料訊框的一或多個NAL單元,以及對應於該訊框的音訊資料(當該音訊資料可用時)。存取單元通常包括針對一個輸出時間實例的所有NAL單元,例如,針對一個時間實例的所有音訊和視訊資料。例如,若每個視圖具有每秒20訊框(fps)的畫面播放速率,則每個時間實例可以對應於0.05秒的時間間隔。在該時間間隔期間,可以同時渲染針對相同存取單元(相同時間實例)的所有視圖的特定訊框。在一個實例中,存取單元可以包括一個時間實例中的經編碼圖片,其可以被呈現為主要經編碼圖片。
因此,存取單元可以包括共用時間實例的所有音訊訊框和視訊訊框,例如對應於時間X的所有視圖。本案內容亦將特定視圖的經編碼圖片稱為「視圖分量」。亦即,視圖分量可以包括針對特定的時間處的特定視圖的經編碼圖片(或訊框)。因此,存取單元可以定義為包括共用時間實例的所有視圖分量。存取單元的解碼順序不必與輸出順序或顯示順序相同。
媒體呈現可以包括媒體呈現描述(MPD),其可以包含對不同的替代表示(例如,具有不同品質的視訊服務)的描述,並且該描述可以包括例如轉碼器資訊、簡檔值和層級值。MPD是清單檔案(例如,清單檔案66)的一個實例。客戶端設備40可以取得媒體呈現的MPD,以決定如何存取各種表示的電影區段。電影區段可以位於視訊檔案的電影區段盒(moof盒)中。
清單檔案66(其可以包括例如MPD)可以對表示68的區段的可用性進行通告。亦即,MPD可以包括對表示68中的一個表示的第一區段變為可用的掛鐘時間進行指示的資訊,以及對表示68內的區段的持續時間進行指示的資訊。以此方式,客戶端設備40的獲取單元52可以基於在特定區段之前的區段的開始時間以及持續時間來決定每個區段何時可用。
在封裝單元30已經基於接收到的資料將NAL單元及/或存取單元組裝成視訊檔案之後,封裝單元30將視訊檔案傳遞給輸出介面32以用於輸出。在一些實例中,封裝單元30可以本端地儲存視訊檔案或者經由輸出介面32將視訊檔案發送給遠端伺服器,而不是直接地將視訊檔案發送給客戶端設備40。輸出介面32可以包括例如發射器、收發機、用於向電腦可讀取媒體(例如,光學驅動器、磁性媒體驅動器(例如,軟碟機))寫入資料的設備、通用串列匯流排(USB)埠、網路介面或者其他輸出介面。輸出介面32將視訊檔案輸出到電腦可讀取媒體,例如傳輸信號、磁性媒體、光學媒體、記憶體、快閃驅動器或者其他電腦可讀取媒體。
網路介面54可以經由網路74來接收NAL單元或存取單元,並且經由獲取單元52將NAL單元或存取單元提供給解封裝單元50。解封裝單元50可以將視訊檔案的元素解封裝為組成PES串流(constituent PES stream),對PES串流進行解包以取得經編碼的資料,並且將經編碼的資料發送給音訊解碼器46或視訊解碼器48,此舉取決於經編碼的資料是音訊串流還是視訊串流的一部分(例如,如串流的PES封包標頭所指示的)。音訊解碼器46對經編碼的音訊資料進行解碼並將經解碼的音訊資料發送給音訊輸出42,而視訊解碼器48對經編碼的視訊資料進行解碼並將經解碼的視訊資料(其可以包括串流的複數個視圖)發送給視訊輸出44。
圖1的實例的某些元件可以被配置為執行本案內容的技術。例如,網路介面72及/或請求處理單元70可以被配置為獨立地或相結合地操作以執行本案內容的技術。
圖2是更詳細地圖示圖1的獲取單元52的示例性元件集合的方塊圖。在該實例中,獲取單元52包括eMBMS中介軟體單元100、DASH客戶端110,以及媒體應用112。
在該實例中,eMBMS中介軟體單元100亦包括eMBMS接收單元106、快取記憶體104,以及伺服器單元102。在該實例中,eMBMS接收單元106被配置為例如根據單向傳輸檔案傳遞(FLUTE)(在可從http://tools.ietf.org/html/rfc6726獲得的網路工作組,RFC 6726,2012年11月,T.Paila等人的「FLUTE-File Delivery over Unidirectional Transport」中描述的)、經由eMBMS來接收資料。亦即,eMBMS接收單元106可以從例如伺服器設備60(其可以充當BM-SC)經由廣播接收檔案。
eMBMS中介軟體單元100接收用於檔案的資料,eMBMS中介軟體單元可以將接收到的資料儲存在快取記憶體104中。快取記憶體104可以包括電腦可讀取儲存媒體,例如快閃記憶體、硬碟、RAM,或者任何其他適當的儲存媒體。
本端伺服器單元102可以充當用於DASH客戶端110的伺服器。例如,本端伺服器單元102可以向DASH客戶端110提供MPD檔案或其他清單檔案。本端伺服器單元102可以通告MPD檔案中區段的可用時間,以及能夠從中取得區段的超連結。該等超連結可以包括與客戶端設備40相對應的本端主機位址首碼(例如,針對IPv4的127.0.0.1)。以此方式,DASH客戶端110可以使用HTTP GET或部分GET請求從本端伺服器單元102請求區段。例如,對於可從連結http://127.0.0.1/rep1/seg3獲得的區段,DASH客戶端110可以建構包括針對http://127.0.0.1/rep1/seg3的請求的HTTP GET請求,並將該請求提交給本端伺服器單元102。回應於該等請求,本端伺服器單元102可以從快取記憶體104取得所請求的資料並將資料提供給DASH客戶端110。
圖3是圖示示例性多媒體內容120的元素的概念圖。多媒體內容120可以與多媒體內容64(圖1)或儲存在儲存媒體62中的另一個多媒體內容相對應。在圖3的實例中,多媒體內容120包括媒體呈現描述(MPD)122以及複數個表示124A–124N(表示124)。表示124A包括可選的標頭資料126和區段128A–128N(區段128),而表示124N包括可選的標頭資料130和區段132A–132N(區段132)。為了方便起見,使用字母N來標示表示124之每一者表示中的最後一個電影區段。在一些實例中,在表示124之間可能存在不同數量的電影區段。
MPD 122可以包括與表示124分離的資料結構。MPD 122可以對應於圖1的清單檔案66。同樣地,表示124可以對應於圖2的表示68。通常,MPD 122可以包括通常描述表示124的特性(例如,編碼和渲染特性、適配集、MPD 122所對應的簡檔、文字類型資訊、相機角度資訊、分級資訊、特技模式資訊(例如,對包括時間子序列的表示進行指示的資訊)及/或用於取得遠端時段的資訊(例如,用於在重播期間將目標廣告插入到媒體內容中))的資料。
標頭資料126(當存在時)可以描述區段128的特性,例如,隨機存取點(RAP,亦被稱為串流存取點(SAPs))的時間位置,區段128中的哪個區段包括隨機存取點,到區段128內的隨機存取點的位元組偏移,區段128的統一資源定位符(URLs)或URI,或者區段128的其他態樣。標頭資料130(當存在時)可以描述區段132的類似特性。另外地或替代地,該等特性可以完全地包括在MPD 122內。
區段128、124包括一或多個經編碼的視訊取樣,其中每個視訊取樣可以包括視訊資料訊框或切片。區段128的經編碼的視訊取樣之每一者視訊取樣可以具有類似的特性,例如,高度、寬度以及頻寬要求。可以由MPD 122的資料來描述該等特性,儘管圖3的實例中未圖示此種資料。MPD 122可以包括如由3GPP規範描述的特性,外加本案內容中所描述的用信號發送的資訊中的任何或所有資訊。
區段128、132之每一者區段可以與唯一的統一資源定位符(URL)或URI相關聯。因此,可以使用資料串流網路通訊協定(例如,DASH)來獨立地取得區段128、132之每一者區段。以此方式,目的地設備(例如,客戶端設備40)可以使用HTTP GET請求來取得區段128或132。在一些實例中,客戶端設備40可以使用HTTP部分GET請求來取得區段128或132的特定位元組範圍。
圖4是圖示可以與表示的區段(例如,圖3的區段114、124中的一個區段)相對應的示例性視訊檔案150的元素的方塊圖。儘管圖4的實例圖示視訊檔案,但應當理解,音訊檔案或其他檔案可以包括與視訊檔案150的資料類似的資料。區段128、132之每一者區段可以包括大體上符合圖4的實例中所示出的資料的佈置的資料。視訊檔案150可以被認為對區段進行封裝。如上文所描述的,根據ISO基本媒體檔案案格式及其擴展的視訊檔案將資料儲存在一系列物件中,被稱為「盒(box)」。在圖4的實例中,視訊檔案150包括檔案類型(FTYP)盒152、電影(MOOV)盒154、區段索引(sidx)盒162、電影區段(MOOF)盒164,以及電影區段隨機存取(MFRA)盒166。儘管圖4表示視訊檔案的實例,但應當理解,其他媒體檔案可以包括其他類型的媒體資料(例如,音訊資料、定時本文資料等等),該媒體資料根據ISO基本媒體檔案格式及其擴展、與視訊檔案150的資料類似地建構。
檔案類型(FTYP)盒152通常描述視訊檔案150的檔案類型。檔案類型盒152可以包括識別描述針對視訊檔案105的最佳使用的規範的資料。檔案類型盒152可以替代地位於MOOV盒154、電影區段盒164及/或MFRA盒166之前。
在一些實例中,區段(例如,視訊檔案150)可以在FTYP盒152之前包括MPD更新盒(未圖示)。MPD更新盒可以包括指示與包括要更新的視訊檔案150的表示相對應的MPD的資訊,連同用於對MPD進行更新的資訊。例如,MPD更新盒可以提供要用於對MPD進行更新的資源的URI或URL。舉另一個實例,MPD更新盒可以包括用於對MPD進行更新的資料。在一些實例中,MPD更新盒可以緊接在視訊檔案150的區段類型(STYP)盒(未圖示)之後,其中STYP盒可以定義視訊檔案150的區段類型。下文更詳細論述的圖7提供了關於MPD更新盒的另外資訊。
在圖4的實例中,MOOV盒154包括電影標頭(MVHD)盒156、軌道(TRAK)盒158,以及一或多個電影擴展(MVEX)盒160。通常,MVHD盒156可以描述視訊檔案150的一般特性。例如,MVHD盒156可以包括描述以下各項的資料:視訊檔案150何時被初始地建立、視訊檔案150何時被最後修改、視訊檔案150的時間刻度、視訊檔案150的重播持續時間,或者一般性描述視訊檔案150的其他資料。
TRAK盒158可以包括用於視訊檔案150的軌道的資料。TRAK盒158可以包括軌道標頭(TKHD)盒,其描述與TRAK盒158相對應的軌道的特性。在一些實例中,TRAK盒158可以包括經編碼的視訊圖片,而在其他實例中,軌道的經編碼的視訊圖片可以包括在電影區段164中,其中電影區段164可以由TRAK盒158及/或sidx盒162的資料引用。
在一些實例中,視訊檔案150可以包括多於一個軌道。因此,MOOV盒154可以包括與視訊檔案150中的軌道數量相等數量的TRAK盒。TRAK盒158可以描述視訊檔案150的相應軌道的特性。例如,TRAK盒158可以描述相應軌道的時間及/或空間資訊。當封裝單元30(圖3)包括視訊檔案(例如,視訊檔案150)中的參數集軌道時,與MOOV盒154的TRAK盒158類似的TRAK盒可以描述參數集軌道的特性。封裝單元30可以在描述參數集軌道的TRAK盒內的參數集軌道中用信號通知序列級SEI訊息的存在。
MVEX盒160可以描述相應的電影區段164的特性,以例如用信號通知除了包括在MOOV盒154內所包括的視訊資料(若有)之外,視訊檔案150亦包括電影區段164。在資料串流視訊資料的上下文中,經編碼的視訊圖片可以包括在電影區段164中而不是MOOV盒154中。因此,所有經編碼的視訊取樣可以包括在電影區段164中而不是MOOV盒154中。
MOOV盒154可以包括與視訊檔案150中的電影區段164的數量相等數量的MVEX盒160。MVEX盒160之每一者MVEX盒可以描述電影區段164中的相應一個電影區段的特性。例如,每個MVEX盒可以包括電影擴展標頭盒(MEHD)盒,該MEHD盒描述電影區段164中的相應一個電影區段在時間上的持續時間。
如上文提到的,封裝單元30可以在不包括實際經編碼的視訊資料的視訊取樣中儲存序列資料集。視訊取樣通常可以對應於存取單元,該存取單元是對在特定的時間實例處經編碼的圖片的表示。在AVC的上下文中,經編碼的圖片包括包含用於建構存取單元的所有圖元的資訊的一或多個VCL NAL單元,以及其他相關聯的非VCL NAL單元,例如SEI訊息。因此,封裝單元30可以在電影區段164中的一個電影區段中包括序列資料集,其可以包括序列級SEI訊息。封裝單元30進一步可以用信號通知序列資料集及/或序列級SEI訊息的存在,其存在於與一個電影區段164相對應的一個MVEX盒160內的一個電影區段164中。
SIDX盒162是視訊檔案150的可選元素。亦即,符合3GPP檔案格式或其他此類檔案格式的視訊檔案不必包括SIDX盒162。根據3GPP檔案格式的實例,SIDX盒可以用於識別區段(例如,包含在視訊檔案150內的區段)的子區段。3GPP檔案格式將子區段定義為「具有相應媒體資料盒的一或多個連續電影區段盒的自包含集合,並且包含由電影區段盒引用的資料的媒體資料盒必須在該電影區段盒之後並且在包含關於相同軌道的資訊的下一個電影區段盒之前」。3GPP檔案格式亦指示SIDX盒「包含對由該盒記錄的(子)區段的子區段的引用序列。被引用的子區段在呈現時間上是連續的。類似地,由區段索引盒所引用的位元組在區段內總是連續的。被引用的大小提供了所引用的材料中的位元組數量的計數。」
SIDX盒162通常提供表示視訊檔案150中所包括的區段的一或多個子區段的資訊。例如,此類資訊可以包括:子區段開始及/或結束的重播時間、子區段的位元組偏移、子區段是否包括(例如,開始於)串流存取點(SAP)、SAP的類型(例如,SAP是否是瞬態解碼器刷新(IDR)圖片、乾淨隨機存取(CRA)圖片、斷鏈存取(BLA)圖片等)、SAP在子區段中的位置(在重播時間及/或位元組偏移方面)等等。
電影區段164可以包括一或多個經編碼的視訊圖片。在一些實例中,電影區段164可以包括一或多個圖片群組(GOPs),其中每個GOP可以包括多個經編碼的視訊圖片,例如,訊框或圖片。另外,如上文所描述的,在一些實例中電影區段164可以包括序列資料集。電影區段164之每一者電影區段可以包括電影區段標頭盒(MFHD,圖4中未圖示)。MFHD盒可以描述相應的電影區段的特性,例如電影區段的序號。電影區段164可以按序號順序包括在視訊檔案150中。
MFRA盒166可以描述視訊檔案150的電影區段164內的隨機存取點。此舉可以協助執行特技模式,例如執行尋找由視訊檔案150所封裝的區段內的特定的時間位置(亦即,重播時間)。MFRA盒166通常是可選的並且在一些實例中不需要包括在視訊檔案中。類似地,客戶端設備(例如,客戶端設備40)不一定需要參考MFRA盒166來正確地解碼和顯示視訊檔案150的視訊資料。MFRA盒166可以包括與視訊檔案150的軌道數量,或者在一些實例中與視訊檔案150的媒體軌道(例如,無提示軌道)數量相等數量的軌道區段隨機存取(TFRA)盒(未圖示)。
在一些實例中,電影區段164可以包括一或多個串流存取點(SAPs),例如IDR圖片。類似地,MFRA盒166可以提供對SAP在視訊檔案150內的位置的指示。因此,可以根據視訊檔案150的SAP來形成視訊檔案150的時間子序列。時間子序列亦可以包括其他圖片,例如依賴於SAP的P訊框及/或B訊框。時間子序列的訊框及/或切片可以佈置在區段內,使得依賴於子序列的其他訊框/切片的時間子序列的訊框/切片可以被恰當地解碼。例如,在資料的分層佈置中,用於其他資料的預測的資料亦可以包括在時間子序列中。
圖5是圖示示例性的廣播DASH基礎設施系統180的方塊圖。系統180包括系統管理單元198、GOP持續時間媒體緩衝器182、媒體編碼器184、分段器186、發送機188、排程器190、分框器192,以及激勵器/放大器194。系統180以及因此系統180的該等元件之每一者元件可以包括在源設備中,例如圖1的伺服器設備60或圖1的內容準備設備20。再次,伺服器設備和內容準備設備可以在功能上整合到單個設備中。
在系統180的實例中,GOP持續時間媒體緩衝器182接收並緩衝要編碼的媒體資料。媒體編碼器184(其可以實際上表示複數個媒體編碼器,例如圖1的音訊編碼器26和圖1的視訊編碼器28)對媒體資料(例如,音訊資料、視訊資料及/或定時文字資料)進行編碼,將媒體資料封裝成網路抽象層(NAL)單元,並將處於NAL單元形式中經編碼的媒體資料202提供給分段器186。另外,媒體編碼器184將表示顯式MDE識別符200的資料發送給分段器186。
分段器186將接收到的NAL單元封裝成對應的區段。因此,通常,分段器186不提供指示MDE在區段內的位置的顯式資訊。然而,有效地,分段器186以區段內的位元組範圍的形式將MDE提供給發送機188(206)。此外,分段器186亦決定MDE的傳輸時間要求204,並將表示傳輸時間要求204的資料發送給發送機188。
發送機188表示根據本案內容的技術的基於檔案的協定發送單元的實例。在該實例中,發送機188根據ROUTE來發送接收到的區段的資料。在其他實例中,發送機188可以根據FLUTE或其他此類基於檔案的協定來發送接收到的區段的資料。根據本案內容的技術,發送機188將MDE資料(封裝在基於網路的資料單元內,例如IP、UDP、ROUTE、ALP等等)210和傳輸時間要求208二者發送給排程器190和分框器192。分框器192形成網路訊框,該網路訊框根據由排程器190決定的排程資料將網路資料封裝到激勵器/放大器194,其中網路訊框進一步包括對實體層資料傳遞事件(DDEs)的基頻描述212。激勵器/放大器194例如經由實體網路層、例如經由ATSC OTA廣播、乙太網路等等來主動地發送資料。
廣播系統(例如,高階電視系統委員會(ATSC)系統)可以支援在ROUTE或包括媒體感知位元組範圍的其他物件傳遞協定內使用利用MDE實施的媒體感知位元組範圍。對系統的單獨MDE的識別(定義)可能是要求的行為,使得系統能夠傳遞MDE。亦即,系統必須能夠決定什麼媒體感知位元組範圍表示MDE(或類似的資料物件)以便對MDE打包並以適當的時間標籤將其發送給排程器。
對MDE的示例性定義是對於接收媒體轉碼器而言有意義的媒體的媒體感知位元組範圍。由於轉碼器的訊框結構,MDE可以是或者可以不是術語取樣的ISO BMMF使用中的多個取樣。包含多個音訊取樣的高效率高級音訊編碼(HE-AAC)(ISO/IEC JTC1/SC29/WG11/N7016(2005年1月11日))中的音訊訊框本身是ISO BMFF上下文中的單個取樣。HEVC上下文中的ISO BMFF取樣可以是視訊資料的單個訊框。MDE可以包括單個或多個ISO BMFF取樣。由於在連續視訊訊框之間的相互依賴性而存在此種可能性。存在最小可能MDE,但是為了方便或其他目的,該等原子MDE(亦即,最小可能MDE)可以被聚合成較大的MDE。MDE通常不重疊。
圖5中系統180的可以首先感知MDE的元件是媒體編碼器184、分段器186以及發送機188。圖5中的功能實體是概念性的。級聯的此種邏輯建構是為了方便考慮系統而不是必需的。各功能可以在功能上整合到單個實體中,或者可能以不同方式在另外的或替代的單元之間進行細分。MDE形成的邏輯位置在媒體編碼器184、分段器186或發送機188的輸入部分的範圍內。
MDE的範圍和定義是根據被處理的媒體類型來定義的。例如,音訊可以被打包成單獨的區段或者被覆用在區段內,亦即,ISO BMFF檔案/物件。例如,MPEG DASH(國際標準ISO/IEC 23009-1第二版2014-05-01資訊技術—HTTP的動態適應性資料串流(DASH)第1部分:媒體呈現描述和區段格式)定義了經多工和未經多工的區段二者。此舉僅是配置的一個態樣。如上文圖5中所示出的,可以存在向各種功能提供配置的系統組態功能。
一些潛在地經配置態樣的實例係包括: ·  對於DASH o 區段持續時間 o 區段組成 亦即,特定的媒體物件中所包含的媒體類型 o 區段類型節奏 例如,特定的媒體區段是否包含串流存取點(SAP) ·  對於視訊編碼器 o GoP持續時間(特定的轉碼器命名針對此類結構不同) o GoP類型 例如,開啟還是關閉 o 訊框類型節奏 例如,I、B、B、P、B、B、P… o 畫面播放速率、解析度、漸進式相對於交錯等等。 o 經由模式匹配或根據允許的媒體結構的MDE邊界,例如 § 音訊訊框是原子MDE和ISO BMFF取樣 § 單獨的I(IDR)訊框是原子MDE § 視訊訊框的群組是原子MDE,如圖3中所圖示的 o 此種決定可以在編碼器中做出或已知或者由分段器來決定 ·  對於音訊編碼器 o 取樣速率 o 編碼工具的選擇 o 根據特定的轉碼器的音訊訊框建構的細節
就該等態樣是靜態配置而言,可以將相關聯的MDE定義提供作為靜態定義,亦即,分段器和或發送機已知編碼器的配置,因為其是靜態配置的設置集合。假設視訊執行視訊訊框類型的單個定義的節奏,則MDE邊界可以由配置來定義。關於特定視訊節奏及其原子MDE的實例,參見下文的圖7。應當注意,該圖圖示了視訊訊框的顯示順序。
圖6是圖示MDE的示例性高階組成的概念圖。
圖7是圖示示例性訊框類型節奏和相應定義的MDE的概念圖。具體而言,圖7圖示視訊訊框250–296。各個視訊訊框被標記為I、P或B,以表示該等訊框是訊框內預測(I),單向訊框間預測(P)還是雙向訊框間預測(B)。
圖7中所圖示的視訊訊框按照顯示順序來示出。假如按照傳遞順序來圖示圖,則訊框分組將在來自視訊編碼器的源串流中並且在ISO BMFF容器內顯示為連續的位元組範圍,亦即,DASH的媒體區段。
對於此種經定義的節奏的MDE邊界的識別可以經由表來完成,其中該表例如定義GoP的前N個視訊訊框為MDE 1,接下去的M個訊框為MDE 2等等,或者在轉碼器語法中辨識的特定的訊框類型節奏,例如,模式匹配。若訊框類型節奏在每個區段基礎上是靜態的,則使用表的方法是簡單和方便的。對於可能每個MDE以及每個轉碼器具有固定數量的音訊轉碼器訊框的音訊媒體類型而言,此舉潛在地是方便的方法。(此舉亦是平凡規則的實例。)可能包含對模式或規則的顯式描述的該等表可以被表達為XML。圖7圖示一些原子MDE可以被聚合以形成較大的MDE。此舉可以經由規則或模式匹配或者其組合來決定。該等方法可以實施在媒體編碼器內並作為顯式描述向前傳遞給分段器和發送機,例如ROUTE或MMT。
如上文簡要提到的,可以根據規則來形成配置表。此類規則的邏輯可以允許MDE(媒體感知位元組範圍)識別功能的操作是適應性的。例如若區段(ISO BMFF物件)是經多工的(亦即,包含多個媒體類型),則如此是方便的。分段器的MDE識別功能可以解析例如隱藏式字幕、音訊和視訊。此外,例如視訊訊框類型的節奏可以是適應性的。
從MDE的角度而言,視訊的適應性態樣的實例係包括: ·  視訊訊框類型節奏以賦能區段序列中開啟和關閉的GoP ·  每個區段或時段基礎上的視訊訊框計數和類型節奏 o 例如,24 fps廣告和30 fps內容交替 o 畫面播放速率的此種改變會導致視訊訊框類型節奏改變,並因此導致MDE節奏改變。
描述了用於支援區段內的MDE識別的技術,亦即,與支援位元組範圍感知協定(例如ROUTE或MMT)的相關聯的媒體轉碼器上下文相關的媒體感知位元組範圍。
用於支援此種MDE定義(亦即,媒體轉碼器感知位元組範圍)的技術的實例可以包括: ·  描述特定序列的表格方法,例如: o 視訊訊框類型 o 視訊訊框類型的序列 o 例如視訊或音訊訊框的數量 o 所描述的結構的組合 o 例如視訊訊框類型的特定序列的模式匹配 o 該等方法實施在媒體編碼器、分段器或發送機中 ·  基於規則的基於MDE的偵測 o 例如,HEVC轉碼器的特定配置可以允許訊框類型序列的該等邏輯建構: § 訊框序列(MDE)的開始滿足該第一條件集合。 § 訊框序列(MDE)的結束滿足第二條件集合。 § 訊框類型的序列滿足第三條件集合。 ·  所描述的模式和規則方法可以組合,例如: o 探索此模式 o 則應當應用此規則 ·  媒體編碼器可以具有帶有特定MDE建構的經定義的操作模式庫。 o 媒體編碼器即時地傳遞該操作模式,其中經編碼媒體傳遞給分段器 ·  有關基於XML或基於檔案規則的邏輯和基於模式的邏輯的實例,請參見附錄A。
每個MDE可以定義有最早及/或最遲傳輸時間。如此是為了排程器的益處,排程器的任務是將媒體指派給傳遞時槽,例如,在實體層上的ATSC 3.0中的特定FEC訊框。該等最早和最遲屬性可以由不同的態樣來約束,例如: ·  最早傳輸時間:此時間在字面上是可以輻射給定MDE(或區段)的第一位元的時刻。該最早輻射的位元包括所有相關的封裝協定。 ·  最遲傳輸時間:此時間在字面上是必須輻射MDE(或區段)的最後位元的最後時刻。該最後位元包括所有相關的封裝協定。
最早傳輸時間可以由系統組態來約束。例如,實體層訊框節奏可以具有在ATSC實體層時間(48b TAI秒,10b毫秒或可能的其他分數秒)的整個第二邊界上開始的訊框。該實體層訊框節奏可以或者可以不與媒體區段持續時間直接相關。例如,在作為替換廣告的廣告之前的整秒的結束之前,可能必須完整地傳遞節目的給定時段。例如,拖尾替換廣告直到至少下一整秒開始之前不應開始傳遞。對於遠離時段邊界的時間,最早傳輸時間可以是例如在先前的整秒中。
最遲傳輸時間可以與包含在標記的MDE內的最後解碼的媒體的解碼時間相關。應用於媒體區段級傳遞的標記可以由額定DASH/區段可用等時線來決定。最遲傳輸時間可以與滿足區段的傳遞期限一致。區段的最後MDE(媒體感知位元組範圍)的最遲傳輸時間要求可以與完整的區段相同。
圖8是表示系統時間的簡單視圖的概念圖。亦即,圖8圖示了系統時間的頂級視圖。對於區段級重播或基於位元組範圍的重播均是此種情況。對於MDE重播而言的一個不同之處在於靜態接收器延遲可以比區段重播顯著更短。站掛鐘時間可以經由實體層和支援協定傳遞給接收器。在同步之後的任何時刻的接收器掛鐘是當前站掛鐘時間減去當時從主導發射器到接收器的當前信號飛行時間。
圖9是表示系統300的方塊圖,其表示被配置有時間關係的發送基礎設施。亦即,圖9提供了時間延遲可以如何影響系統300的發送程序的概念表示。在該實例中,系統300包括GOP持續時間媒體緩衝器306、媒體編碼器308、分段器310、速率控制304、系統管理單元302、發送機312、排程器314,以及激勵器/放大器316。
在該實例中,GoP持續時間媒體緩衝器306儲存(亦即,緩衝)要被編碼的原始媒體資料。媒體編碼器308從GoP持續時間媒體緩衝器306取得要被編碼的媒體資料,對媒體資料進行編碼,以NAL單元形式來封裝經編碼的媒體資料,並將NAL單元320傳遞給分段器310。應當理解,經編碼的媒體資料亦包括MDE,例如,如圖7中所示出的。此外,如上文說明的,每個MDE可以具有傳輸時間要求,例如最早傳輸時間及/或最遲傳輸時間要求。
分段器310從媒體編碼器308接收NAL單元320,並將一或多個MDE(亦即,NAL單元中的一或多個)封裝在對應的區段中。再次,區段可以與關聯於對應URL的可獨立傳遞的檔案相對應,其中URL均可以唯一地識別相應的區段。MDE可以與區段的對應位元組範圍相對應。另外,分段器310可以決定每個MDE的傳輸時間要求,並將傳輸時間要求322和MDE(以區段的位元組範圍的形式)324二者傳遞給發送機312。
發送機312可以根據基於檔案的傳遞協定(例如,ROUTE)來操作。因此,發送機312可以用對應的基於網路的傳遞單元328(例如,封包或訊框)將區段的對應部分(例如,MDE)封裝到排程器314以供傳輸。另外,發送機312將傳輸時間要求326提供給排程器314,使得排程器314能夠根據傳輸時間要求將基於網路的傳遞單元傳遞給客戶端設備(圖9中未圖示)。更具體而言,排程器314形成對實體層資料傳遞事件(DDEs)的基頻描述330,並將對實體層DDE的基頻描述330傳遞給激勵器/放大器316。隨後,激勵器/放大器316在實體層處將資料例如發送給客戶端設備。
圖9亦表示由系統300在向客戶端設備發送媒體資料時所引入的各種延遲。例如,媒體資料被緩衝至媒體資料被排程用於傳輸之間的時間被稱為分析持續時間延遲332。分析持續時間延遲特別包括針對特定取樣的單次延遲334,其是媒體編碼器308對取樣進行編碼並將取樣封裝在NAL單元中以及將NAL單元提供給分段器310之間的時間,如圖9中所示出的。此外,具有用於傳輸的經排程資料與資料實際被發送之間的時間被稱為發射器和STL延遲336。
定義媒體資料的時間是考慮系統300的發送基礎設施的各種功能方塊在輻射時間之前多久必須進行操作以及在媒體在接收之後多久將被交遞到媒體解碼器的事情。該論述因此被劃分成輻射之前和接收之後。為什麼實際輻射時間是必要的?為了實現針對諸如個性化廣告插入的應用在源串流之間的潛在同步切換。限定媒體的傳輸的實際時間可以受約束。傳遞給接收器的時間被同步到實體層的自引導特徵的輻射時間。必須理解和控制特定的時段存在於實體層上的時間跨度。MDE或媒體區段被標記有允許輻射的時間範圍,因此在實際發射之前的所有程序在時間上通常偏移與特定的區塊或功能相關聯的恆定延遲。圖9圖示了發射基礎設施內的時域的合理組織。該劃分不是要求,僅是從概念的角度而言方便。以下是一些可能的時域及其合理的持續時間的列表。
發射器和演播室發射器鏈路(STL)延遲336:跨越該等區塊定義的延遲足夠長,使得剛開始傳遞給STL的給定實體層訊框可以在該時段過去時開始由發射器輸出。該延遲名義上包括至少實體層訊框持續時間、交錯器持續時間和SFN分配網路中的最長發送延遲。可以考慮使該延遲更短,例如,在子訊框基礎上。支援子訊框潛在地可能導致演播室發射器鏈路上的演播室上的增加的峰值速率,亦即,演播室發射器鏈路必須在至少子訊框持續時間內保持實體層的最大允許傳輸量。對全訊框實現方式的約束是在全訊框基礎上量測的峰值允許速率分配,其可以低於每個子訊框,但是若所有有效PLP具有相同的容量,則可以是相同的。
分析持續時間延遲332:排程器314的任務之一是以滿足其定義的時間時限、並且滿足每個當前實體層PLP定義的容量約束的形式向實體層指派媒體。為了實現這一點,排程器314應當分析至少實體層訊框的媒體的最長持續時間。若排程器314每個經過的實體層訊框時間沒有成功地排程至少一個實體層訊框時間的經編碼媒體,則排程器314可能最終失敗。此舉是累積任務。具有小於其媒體時間的持續時間的實體層訊框可以與表示更多媒體時間的實體層訊框偏移。
實體層訊框的持續時間可以短於最長媒體區段的持續時間或GoP持續時間。對於此種情況,限定性界限與至少最長媒體區段持續時間或GoP持續時間相關,GoP由多個媒體區段組成。排程器314可以確保最長持續時間媒體區段/GoP被成功排程。排程器314亦可以每個媒體秒產生至少一秒的經編碼媒體區段/GoP。如此處描述的,分析持續時間延遲332不是恆定的,因為排程器314在實際輻射時間上具有最遲輻射時間—最早輻射時間靈活性。
單次延遲334:假如輸入媒體直接在媒體編碼器308和分段器310上資料串流,則將存在對於給定配置是靜態的、從GoP的第一訊框的輸入到第一經解碼訊框的解碼時間的解碼延遲,如在得到的第一區段中所描述的。此舉是概念性的建構。
可能的情況是,媒體編碼器308(其可以表示多個編碼器)很可能每個媒體區段時間產生多於一個媒體時間的經編碼內容。實際約束很可能由編碼方案使用的「輪次」的數量來限定。在該上下文中,「輪次」是媒體編碼的一個實例。若媒體編碼器308能夠在一個編碼輪次上滿足所有目標,則要求將是每個經過的媒體區段時間至少一個媒體區段持續時間的媒體。在第一輪次取得期望的資料大小、使得排程器可以嘗試將輪次限制為二次編碼是相當具有挑戰性的。在二次編碼中,第一輪次可以提供對要編碼的媒體資料的複雜性的校準,並且第二輪次可以用於調整在第一輪次期間作出的決定以滿足實體層的容量。若初始的編碼輪次得到大體上與最終期望/要求的資料大小不同的資料大小,則可以執行第三輪次或對資料速率的其他調整。應當注意,排程器必須對要在包括所有封裝的實體層中傳遞的實際資料大小進行操作。
假設媒體即時地資料串流到媒體編碼器308,並且此舉是多次編碼方案,則潛在地需要全GoP延遲以在媒體編碼器之前擷取即時的資料串流媒體。在接收器處向經編碼的媒體提供的解碼時間必須反映基礎設施和接收器的完整延遲。預期該等延遲是基於媒體區段重播的。可以根據相對於區段級重播原本會發生的MDE RAP啟動點來計算MDE時間。
圖10是圖示具有交錯RAP位置的每個GOP的多個區段的概念圖。如圖10中所示出的交錯RAP區段時間(亦即,每個GoP的多個分析持續時間)可以減少在排程媒體之前所需的最小擷取時間,並且因此降低整體潛時。此舉具有有限的統計多工益處,因為如所示出的,給定實體層訊框的資料速率由單個RAP區段資料大小控制。媒體的時間標籤與媒體一起擷取。
如上文所描述的,發射延遲,或至輻射的延遲可以被表達為: 分析延遲持續時間 – 針對特定取樣的單次延遲 + 發射器和STL延遲(訊框時間 + 交錯器深度 + SFN分配)
圖11是圖示用於媒體重播的解碼時間的最小延遲的概念圖。亦即,圖11圖示了影響媒體區段和MDE重播的媒體解碼時間的最小延遲。媒體區段和MDE重播之間的一個區別在於,在區段級延遲的MDE重播的開始時間必須考慮最長堆疊延遲加上建議的呈現延遲,而MDE級重播是單獨設備靜態的實際延遲加上某個延遲以確保ROUTE緩衝器足夠滿。整體MDE延遲值可以小於區段時間。
整體的端到端區段解碼延遲可以被表達為: 分析延遲持續時間 – 針對特定取樣的單次延遲 + 發射器和STL延遲(訊框時間 + 交錯器深度 + SFN分配) + 飛行時間 + 至可用開始時間的延遲 + MPD@建議的呈現延遲 + 針對特定取樣的區段內延遲
整體的端到端MDE解碼延遲可以被表達為: 分析延遲持續時間 – 針對特定取樣的單次延遲 + 發射器和STL延遲(訊框時間 + 交錯器深度 + SFN分配) + 飛行時間 + ROUTE或類似的MMT接收器處的延遲抵達 + 資料串流位元組範圍推遲(hold-off)時間 + 針對特定取樣的區段內延遲
上文已論述了用於排程的時間中繼資料方法的某些細節。此處論述用於排程的時間中繼資料方法的進一步細節。用於MDE的時間中繼資料的構造可以基於由於區段開始而由所要求的最遲傳輸時間定義的錨點。MDE所要求的最遲時間按照在區段開始之後每個對應MDE的第一解碼時間的順序可以是線性的。最遲時間可以由當前要由在MDE中解碼的取樣相對於區段的第一經解碼取樣的解碼時間來約束,該第一經解碼取樣亦是區段的第一經解碼MDE。此種方法在解碼時間上是線性的,此舉僅是用於定義最遲傳輸時間中繼資料的一種方法。
存在要考慮的另外態樣,例如有可能前端載入的媒體元件,例如音訊和字幕。由於該等媒體元件相對於視訊是小的,但在沒有該等媒體元件的情況下完整呈現是不可能實現的,因此有可能最簡單的是在視訊RAP之前但在可能需要的中繼資料物件(例如,MPD和IS)之後發送該等媒體元件。亦即,通常,可以用於確保所有需要的小的資料物件首先傳遞的方法。
圖12是圖示可選的實體層同步和相關中繼資料的概念圖。實體層訊框與T-RAP的關係是關於最早傳輸的相關態樣。例如,考慮圖12的實例,圖示最早時間在額定實體訊框開始之前移動的自由度。如此會影響頻道改變時間,除非在所有層中存在開始中繼資料的完整序列。
實體層的設計也許能或也許不能如前述在GoP邊界上精確地渲染同步。同步位置的定義可以由實體層的數學方案(numerology)約束到其他位置。一種可行的方法是使用靠近GoP持續時間的位置。靠近可以是例如下一可用時間,亦即,在承載變換的先前訊務的額定邊界之前或之後。最小變換的時間刻度可以是1毫秒的刻度,而最大值可以是10毫秒的範圍。
排程功能可以名義上考慮固定的時間區塊,可能與如前述的媒體GoP持續時間或區段持續時間相關。對於更高效的GoP持續時間方案,可能可以排程所有媒體,並且可以使得一些顯著容量在(N)中可用以供下一個分析間隔(N+1)潛在使用。在此種狀況下,排程器可以嘗試用來自下一分析間隔(N+1)的媒體來填充(N)中的該容量。此舉可以經由時間中繼資料來實現,從而允許經由最早參數在較早的間隔中傳輸。一旦知道了進行中的間隔的已填充部分,實體層元件就可以插入可選的訊框同步元素,其被提供用於允許比利用準固定週期性分框可能的時間更早地獲取媒體服務,例如ATSC 3.0的引導程式和前序信號。
圖13圖示了包括與潛在系統事件相對應的步驟序列以實現對多層媒體資料的服務獲取的方法的一個實例。亦即,圖13是圖示獲取事件的示例性序列的流程圖。可以由本文所示出的各種設備和系統(例如,圖1的內容準備設備20和源設備60、圖5的系統180,或者圖9的系統300)來執行圖13的方法。出於舉例和說明的目的,關於圖5的系統180來說明圖13的方法。
系統180傳遞使得能夠開始線性或基於應用的線性服務(350)的資料序列。圖13圖示了接收器處的事件的典型序列以及系統(180)傳遞相關的中繼資料、其他物件,以及與服務接收的典型開始相關的媒體檔案的順序。服務的此種開始通常由頻道號輸入、頻道向上/向下鍵輸入,或者服務的引導選擇來啟動(350)。實體層的獲取由接收引導程式或系統同步模式(352)來開始。與實體層相關的系統中繼資料和另外的系統中繼資料的獲取經由前序信號或類似的實體層描述中繼資料接收(354)來完成。在識別了期望的PLP或其他實體層封包串流在波形中的位置之後,就接收到期望的封包串流,其包含ALP或其他類似封裝協定,包括封包串流ID(PLP IDs)到所包含的IP或其他類似封包串流ID或位址的映射(交叉引用)(356)。前序信號或類似物(354)包含識別系統中繼資料(LLS)的存在的標誌,其識別諸如系統時間、服務組成(SLT)、可能的告警資訊(AEAT)(358)等服務細節。在LLS(358)中可用的SLT包含SLS之每一者服務細節的位置(360)。攜帶服務的PLP亦可以包含可以包括執行時應用(362)的應用,其可以允許電視服務在基於瀏覽器的介面中操作。若存在,則應用可以在服務開始之前或之後啟動。一旦由相關的資料接收驅動的該等步驟完成,就可以根據對IS(364)和相關的媒體區段(366)的接收和解碼來啟動媒體重播。隨後可以開始線性或基於應用的線性服務(368)。
MDE的端到端的解碼延遲是比區段級解碼早的靜態時間。可以經由MPD中現有的中繼資料或者對MPD的重寫(其改變中繼資料的值以實現MDE的MPD重播)來達成該靜態偏移。可以根據經由MDE相對於從區段級將播放第一RAP的時間的第一RAP播放來決定偏移的值。
與MDE的排程相關的特徵可以包括: ·  使獲取時間最小化的媒體類型和中繼資料的時間組織。 o 提供具有較早最遲時間的較小的媒體資料類型,以確保完整傳遞並且作為相對於嘗試經由許多較小的經排程物件與其他媒體交錯的簡化。該方法得到在排程上的更大靈活性,亦即,具有更多時間緯度的一些較大物件而不是具有嚴格要求的許多較小物件。增加的排程靈活性通常得到在整體效率方面的優越成果。 o 假如針對音訊和必要的中繼資料期望更穩健的效能,則該等可以在更穩健的實體層管道中一起排程。 o 在共用傳遞管道中期望媒體類型的特定交錯的情況下,使用經多工的區段可以更簡單地實施。按照傳遞/解碼順序來提供經多工的媒體物件內部的取樣。 ·  用於經由可選的實體層同步位置的構件來保留快速獲取的方法。 o 在額定位置之前識別T-RAP傳遞,亦即,拖尾額定實體層同步或相關的額定分析間隔。 o 基於已滿足所有傳遞請求的當前排程週期進行適配,亦即,若已滿足在額定訊框實體層週期中最新的所有資料請求。 ·  利用發射器必須在已知的整秒和整毫秒上開始的規則,適應實體層訊框到與媒體GoP對準的分析間隔的非精確持續時間的構件。(同步模式按照定義將總是在偶數秒和毫秒上執行。)符號模式將始終保持從ATSC時間的秒和毫秒開始的整數個符號經過時間。(符號速率可以在配置資訊中指定的或從配置資訊中決定的預定義值之間改變。) o 將訊框同步指派到時間拖尾額定位置相對於分析間隔的最接近的可用符號位置。 o 將訊框同步指派到符號主導的額定分析間隔位置中最接近的可用位置。 o 相對於定義的分析間隔的任何其他基於規則的基於實體層同步的方案。 o 連結到媒體GoP或類似結構的定義的分析間隔。 ·  基於分析間隔、基於區段持續時間而不是GoP的可能的低潛時方法。 o 基於RAP區段的主速率管理。 o 調整拖尾非RAP區段以補償失敗的PSNR或其他品質度量。
概括地說,本案內容描述了可以單獨或以任意組合用於在檔案傳輸通訊協定(例如ROUTE或MMT)內識別MDE的位置、媒體感知位元組範圍的各種技術。該等技術可以基於對有效模式的顯式描述和匹配或者經由規則來決定有效模式。可以組合該等技術。對於組合的順序沒有限制。類似地,本案內容亦描述了時間態樣作為用於組織實體層同步和其他傳遞態樣的技術的論述的背景。該等技術可以實現在具有相對於與媒體相關的分析間隔的可變或精確同步位置的系統中的快速獲取。
圖14是根據本案內容的技術圖示另一個示例性方法的流程圖。圖14的方法被說明為由基於檔案的協定發送單元(例如,圖5的發送機188或者圖9的發送機312)來執行。出於說明的目的,關於圖9的發送機312來說明圖14的方法,但應當要理解,其他單元可以被配置為執行該方法或類似方法。如上文所論述的,發送機312表示基於檔案的協定發送單元的實例,例如,根據ROUTE協定或FLUTE協定或者其他基於檔案的傳輸協定來發送資料的單元。
初始地在圖14的實例中,發送機312接收包括一或多個MDE的一或多個區段(380)。例如,MDE可以與區段的可傳遞位元組範圍相對應。發送機312隨後決定MDE位置(382)。通常,發送機312不接收用信號通知MDE的位置的顯式資訊,而是替代地使用本案內容的技術中的一或多個技術來對區段的資料進行處理以決定MDE的位置。例如,發送機312可以執行模式匹配技術或者定義可以如何識別MDE的規則,如上文所論述的。發送機312因此可以使用模式匹配技術、規則或其他此類技術來識別區段內的MDE。
發送機312亦可以決定MDE的傳輸時間要求(384)。例如,發送機312可以分析與區段相對應的清單檔案的資料,並根據清單檔案來決定傳輸時間要求。清單檔案可以包括例如根據DASH的MPD。傳輸時間要求可以表示針對一或多個MDE的最早傳輸時間或最遲傳輸時間中的一者或二者,如上文所論述的。
最終,發送機312可以向實體層發送單元(例如,排程器314和激勵器/放大器316)提供MDE和表示MDE的傳輸時間要求的資料(386)。以此方式,排程器314可以根據傳輸時間要求來排程MDE的傳輸,使得激勵器/放大器316不早於最早傳輸時間及/或不遲於最遲傳輸時間來發送MDE的資料。
以此方式,圖14的方法表示包括由源設備的基於檔案的協定發送單元進行以下操作的方法的實例:從源設備的形成區段的分段器接收包括媒體資料的區段的資料串流,每個區段包括與唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的對應可單獨取得的檔案;決定媒體傳遞事件(MDEs)在媒體資料串流中的位置,其中MDE包括針對區段中的一個區段的至少一部分的資料;決定MDE的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將MDE發送給客戶端設備的時間;及根據源設備的實體層發送單元的可用傳遞時槽將MDE和表示傳輸時間要求的資料提供給該實體層發送單元。
在一或多個實例中,可以在硬體、軟體、韌體,或者其任意組合中實施所描述的功能。若用軟體來實施,則該等功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或者經由其傳輸,並且由基於硬體的處理單元來執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體,其對應於有形媒體(例如資料儲存媒體)或者通訊媒體,其中通訊媒體包括促進例如根據通訊協定將電腦程式從一個位置向另一個位置轉移的任何媒體。以此方式,電腦可讀取媒體通常可以對應於(1)非暫態的有形電腦可讀取儲存媒體或者(2)通訊媒體,例如信號或載波波形。資料儲存媒體可以是能夠由一或多個電腦或一或多個處理器存取以取得用於實施本案內容中所描述的技術的指令、代碼及/或資料結構的任何可用媒體。電腦程式產品可以包括電腦可讀取媒體。
舉例而言(但並非限制),此種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存設備,快閃記憶體,或者可用於儲存具有指令或資料結構形式的期望程式碼並且可以由電腦存取的任何其他媒體。此外,任何連接可以適當地稱為電腦可讀取媒體。例如,若使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電和微波之類的無線技術從網站、伺服器或者其他遠端源傳輸指令,則同軸電纜、光纖電纜、雙絞線、DSL或諸如紅外線、無線電和微波之類的無線技術包括在媒體的定義中。然而,應當要理解,電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號或者其他暫態媒體,而是替代地涉及非暫態有形儲存媒體。如本文所使用的,磁碟(disk)和光碟(disc)包括壓縮光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常磁性地再現資料,而光碟利用雷射來光學地再現資料。上文各項的組合亦應當包括在電腦可讀取媒體的範圍內。
指令可以由一或多個處理器執行,例如一或多個數位訊號處理器(DSPs)、通用微處理器、特殊應用積體電路(ASICs)、現場可程式邏輯陣列(FPGAs),或者其他等效的積體或個別邏輯電路。因此,如本文使用的,術語「處理器」可以代表前述結構中的任一個或適合用於實施本文所描述的技術的任何其他結構。另外,在一些態樣中,本文所描述的功能可以在被配置用於編碼和解碼的專用硬體及/或軟體模組內提供,或者被併入經組合的轉碼器中。此外,該等技術可以完全實施在一或多個電路或邏輯元件中。
可以用各種各樣的設備或裝置(包括無線手持裝置、積體電路(IC)或一組IC(例如,晶片組))來實施本案內容的技術。在本案內容中描述的各種元件、模組或單元是為了對被配置為執行所揭示的技術的設備的功能性態樣進行強調,而不一定要求由不同的硬體單元來實現。更確切地說,如上文所描述的,各種單元可以組合到轉碼器硬體單元中,或者由可交互動操作的硬體單元的集合(包括如上文所描述的一或多個處理器)結合適當的軟體及/或韌體來提供。
已經描述了各種實例。該等實例和其他實例落在所附請求項的範圍內。
10‧‧‧系統
20‧‧‧內容準備設備
22‧‧‧音訊源
24‧‧‧視訊源
26‧‧‧音訊編碼器
28‧‧‧視訊編碼器
30‧‧‧封裝單元
32‧‧‧輸出介面
40‧‧‧客戶端設備
42‧‧‧音訊輸出
44‧‧‧視訊輸出
46‧‧‧音訊解碼器
48‧‧‧視訊解碼器
50‧‧‧解封裝單元
52‧‧‧獲取單元
54‧‧‧網路介面
60‧‧‧伺服器設備
62‧‧‧儲存媒體
64‧‧‧多媒體內容
66‧‧‧清單檔案
68‧‧‧表示
68A‧‧‧表示
68N‧‧‧表示
70‧‧‧請求處理單元
72‧‧‧網路介面
74‧‧‧整個網路
100‧‧‧eMBMS中介軟體單元
102‧‧‧伺服器單元
104‧‧‧快取記憶體
106‧‧‧eMBMS接收單元
110‧‧‧DASH客戶端
112‧‧‧媒體應用
120‧‧‧多媒體內容
122‧‧‧媒體呈現描述(MPD)
124A‧‧‧表示
124N‧‧‧表示
126‧‧‧標頭資料
128A‧‧‧區段
128B‧‧‧區段
128N‧‧‧區段
130‧‧‧標頭資料
132A‧‧‧區段
132B‧‧‧區段
132N‧‧‧區段
150‧‧‧視訊檔案
152‧‧‧檔案類型(FTYP)盒
156‧‧‧電影標頭(MVHD)盒
158‧‧‧軌道(TRAK)盒
160‧‧‧電影擴展(MVEX)盒
162‧‧‧SIDX盒
164‧‧‧電影區段
166‧‧‧MFRA盒
180‧‧‧廣播DASH基礎設施系統
182‧‧‧GOP持續時間媒體緩衝器
184‧‧‧媒體編碼器
186‧‧‧分段器
188‧‧‧發送機
190‧‧‧排程器
192‧‧‧分框器
194‧‧‧激勵器/放大器
196‧‧‧速率控制
198‧‧‧系統管理單元
200‧‧‧顯式MDE識別符
202‧‧‧媒體資料
204‧‧‧傳輸時間要求
206‧‧‧步驟
208‧‧‧傳輸時間要求
210‧‧‧MDE資料
212‧‧‧基頻描述
250‧‧‧視訊訊框
252‧‧‧視訊訊框
254‧‧‧視訊訊框
256‧‧‧視訊訊框
258‧‧‧視訊訊框
260‧‧‧視訊訊框
262‧‧‧視訊訊框
264‧‧‧視訊訊框
266‧‧‧視訊訊框
268‧‧‧視訊訊框
270‧‧‧視訊訊框
272‧‧‧視訊訊框
274‧‧‧視訊訊框
276‧‧‧視訊訊框
278‧‧‧視訊訊框
280‧‧‧視訊訊框
282‧‧‧視訊訊框
284‧‧‧視訊訊框
286‧‧‧視訊訊框
288‧‧‧視訊訊框
290‧‧‧視訊訊框
292‧‧‧視訊訊框
294‧‧‧視訊訊框
296‧‧‧視訊訊框
302‧‧‧系統管理單元
304‧‧‧速率控制
306‧‧‧GOP持續時間媒體緩衝器
308‧‧‧媒體編碼器
310‧‧‧分段器
312‧‧‧發送機
314‧‧‧排程器
316‧‧‧激勵器/放大器
320‧‧‧NAL單元
322‧‧‧傳輸時間要求
324‧‧‧MDE
326‧‧‧傳輸時間要求
328‧‧‧基於網路的傳遞單元
330‧‧‧基頻描述
332‧‧‧分析持續時間延遲
334‧‧‧單次延遲
336‧‧‧發射器和STL延遲
350‧‧‧步驟
352‧‧‧步驟
354‧‧‧步驟
356‧‧‧步驟
358‧‧‧LLS
360‧‧‧位置
362‧‧‧步驟
364‧‧‧IS
366‧‧‧媒體區段
368‧‧‧線性服務
380‧‧‧步驟
382‧‧‧步驟
384‧‧‧步驟
386‧‧‧步驟
圖1是圖示實施經由網路資料串流媒體資料的技術的示例性系統的方塊圖。
圖2是更詳細地圖示圖1的獲取單元52的示例性元件集合的方塊圖。
圖3是圖示示例性多媒體內容的元素的概念圖。
圖4是圖示可以與表示的區段相對應的示例性視訊檔案的元素的方塊圖。
圖5是圖示示例性廣播HTTP的動態適應性資料串流(DASH)基礎設施系統的方塊圖。
圖6是圖示示例性MDE的高階組成的概念圖。
圖7是圖示示例性的訊框類型節奏(cadence)和相應定義的MDE的概念圖。
圖8是表示系統時間的簡單視圖的概念圖。
圖9是表示發送基礎設施中的時間關係的方塊圖。
圖10是圖示每個圖片群組(GOP)的具有交錯的隨機存取點(RAP)位置的多個區段的概念圖。
圖11是圖示用於媒體重播的解碼時間的最小延遲的概念圖。
圖12是圖示可選的實體層同步和相關中繼資料的概念圖。
圖13是圖示獲取事件的示例性序列的流程圖。
圖14是根據本案內容的技術圖示另一個示例性方法的流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
(請換頁單獨記載) 無
180‧‧‧廣播DASH基礎設施系統
182‧‧‧GOP持續時間媒體緩衝器
184‧‧‧媒體編碼器
186‧‧‧分段器
188‧‧‧發送機
190‧‧‧排程器
192‧‧‧分框器
194‧‧‧激勵器/放大器
196‧‧‧速率控制
198‧‧‧系統管理單元
200‧‧‧顯式MDE識別符
202‧‧‧媒體資料
204‧‧‧傳輸時間要求
206‧‧‧步驟
208‧‧‧傳輸時間要求
210‧‧‧MDE資料
212‧‧‧基頻描述

Claims (36)

  1. 一種傳輸媒體資料的方法,該方法包括由一源設備的一基於檔案的協定發送單元進行以下操作: 從該源設備的形成區段的一分段器接收包括媒體資料的區段的一資料串流,該等區段之每一者區段包括與一唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的一對應可單獨取得的檔案; 決定媒體傳遞事件(MDEs)在該媒體資料串流中的位置,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料; 決定用於該等MDE的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將該等MDE發送給一客戶端設備的時間;及 根據該源設備的一實體層發送單元的可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元。
  2. 如請求項1所述之方法,其中決定該等MDE的位置之步驟包括以下步驟:使用模式匹配來決定該等MDE的位置。
  3. 如請求項2所述之方法,其中該媒體資料包括視訊資料,並且其中使用模式匹配來決定該等MDE的該等位置之步驟包括以下步驟: 獲得定義該串流的視訊訊框的一節奏的資料,其中該所定義的節奏表示發送該等視訊訊框的類型的一順序,該等視訊訊框的該等類型包括訊框內預測視訊訊框和訊框間預測視訊訊框;及 基於該所定義的節奏來決定該等MDE中的至少一些MDE,使得該等MDE在對應的視訊訊框邊界之間。
  4. 如請求項2所述之方法,其中該媒體資料包括音訊資料,並且其中使用模式匹配來決定該等MDE的該等位置之步驟包括以下步驟: 決定該串流的一固定數量的音訊訊框以包括在該等MDE之每一者MDE中;及 決定該等MDE中的至少一些MDE以均包括來自該串流的該固定數量的音訊訊框。
  5. 如請求項1所述之方法,其中決定該等MDE的該等位置之步驟包括使用規則來決定該等MDE的該等位置,包括以下步驟: 接收表示一或多個規則的資料,該一或多個規則定義音訊訊框、視訊訊框以及定時文字實例中的一或多項; 基於該等規則來決定至少一個音訊訊框、視訊訊框或者定時文字實例的位置;及 基於該至少一個音訊訊框、視訊訊框或者定時文字實例的該等位置來決定該等MDE。
  6. 如請求項1所述之方法,其中決定該等MDE的該等位置之步驟包括以下步驟:基於用於該實體層發送單元的實體層同步的時序資訊來決定該等MDE的該等位置。
  7. 如請求項1所述之方法,其中決定該等MDE的該等位置之步驟包括以下步驟:對一提示軌道進行分析,該提示軌道包括表示該串流內可播放資料的位置的中繼資料。
  8. 如請求項1所述之方法,其中決定該等傳輸時間要求之步驟包括以下步驟:基於該源設備的一系統組態來決定用於該等MDE中的一個MDE的一最早傳輸時間。
  9. 如請求項1所述之方法,其中決定該等傳輸時間要求之步驟包括以下步驟:基於用於一區段的一區段可用時間來決定該等MDE中的一個MDE的一最遲傳輸時間,在該等MDE中的該一個MDE中包括針對該區段的資料,該方法進一步包括以下步驟:根據該資料串流的一清單檔案來決定區段可用時間。
  10. 一種用於傳輸媒體資料的源設備,該源設備包括: 一分段器,其被配置為:形成包括媒體資料的區段的一資料串流,該等區段之每一者區段包括與一唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的一對應可單獨取得的檔案; 一實體層發送單元,其被配置為:根據用於該等MDE的傳輸時間要求將媒體傳遞事件(MDEs)傳遞給一客戶端設備,其中該MDE包括針對該等區段中的一個區段的至少一部分的資料,其中該實體層發送單元被配置有用於接收要傳遞的資料的可用傳遞時槽;及 一基於檔案的協定發送單元,其被配置為: 從該分段器接收包括該媒體資料的區段的該資料串流; 決定該等MDE在該媒體資料串流中的位置; 決定用於該等MDE的該等傳輸時間要求中的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將該等MDE發送給該客戶端設備的時間;及 根據該實體層發送單元的該等可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元。
  11. 如請求項10所述之源設備,其中該基於檔案的協定發送單元被配置為:使用模式匹配來決定該等MDE的該等位置。
  12. 如請求項11所述之源設備,其中該媒體資料包括視訊資料,並且其中為了使用模式匹配來決定該等MDE的該等位置,該基於檔案的協定發送單元被配置為: 獲得定義該串流的視訊訊框的一節奏的資料,其中該所定義的節奏表示發送該等視訊訊框的類型的一順序,該等視訊訊框的類型包括訊框內預測視訊訊框和訊框間預測視訊訊框;及 基於該所定義的節奏來決定該等MDE中的至少一些MDE,使得該等MDE在對應的視訊訊框邊界之間。
  13. 如請求項11所述之源設備,其中該媒體資料包括音訊資料,並且其中為了使用模式匹配來決定該等MDE的該等位置,該基於檔案的協定發送單元被配置為: 決定該串流的一固定數量的音訊訊框以包括在該等MDE之每一者MDE中;及 決定該等MDE中的至少一些MDE以均包括來自該串流的該固定數量的音訊訊框。
  14. 如請求項10所述之源設備,其中該基於檔案的協定發送單元被配置為:使用規則來決定該等MDE的該等位置,並且其中為了使用該該等規則,該基於檔案的協定發送單元被配置為: 接收表示一或多個規則的資料,該一或多個規則定義音訊訊框、視訊訊框以及定時文字實例中的一或多項; 基於該等規則來決定至少一個音訊訊框、視訊訊框或者定時文字實例的位置;及 基於該至少一個音訊訊框、視訊訊框或者定時文字實例的該等位置來決定該等MDE。
  15. 如請求項10所述之源設備,其中該基於檔案的協定發送單元被配置為:基於用於該實體層發送單元的實體層同步的時序資訊來決定該等MDE的該等位置。
  16. 如請求項10所述之源設備,其中為了決定該等MDE的該等位置,該基於檔案的協定發送單元被配置為:對一提示軌道進行分析,該提示軌道包括表示該串流內可播放資料的位置的中繼資料。
  17. 如請求項10所述之源設備,其中為了決定該等傳輸時間要求,該基於檔案的協定發送單元被配置為:基於該源設備的一系統組態來決定用於該等MDE中的一個MDE的一最早傳輸時間。
  18. 如請求項10所述之源設備,其中為了決定該等傳輸時間要求,該基於檔案的協定發送單元被配置為:基於用於一區段的一區段可用時間來決定用於該等MDE中的一個MDE的一最遲傳輸時間,在該等MDE中的該一個MDE中包括針對該區段的資料,並且其中該基於檔案的協定發送單元進一步被配置為:根據該資料串流的一清單檔案來決定區段可用時間。
  19. 一種用於傳輸媒體資料的源設備,該源設備包括: 一分段器,其被配置為:形成包括媒體資料的區段的一資料串流,該等區段之每一者區段包括與一唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的一對應可單獨取得的檔案; 一實體層發送單元,其被配置為:根據用於媒體傳遞事件(MDE)的傳輸時間要求將該等MDE傳遞給一客戶端設備,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料,其中該實體層發送單元被配置有用於接收要傳遞的資料的可用傳遞時槽; 用於從該分段器接收包括媒體資料的區段的一資料串流的構件; 用於決定該等MDE在該媒體資料串流中的位置的構件; 用於決定用於該等MDE的一或多個傳輸時間要求的構件,該一或多個傳輸時間要求表示要將該等MDE發送給該客戶端設備的時間;及 用於根據該實體層發送單元的可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元的構件。
  20. 如請求項19所述之源設備,其中該用於決定該等MDE的該等位置的構件包括:用於使用模式匹配來決定該等MDE的該等位置的構件。
  21. 如請求項20所述之源設備,其中該媒體資料包括視訊資料,並且其中該用於使用模式匹配來決定該等MDE的該等位置的構件包括: 用於獲得定義該串流的視訊訊框的一節奏的資料的構件,其中該所定義的節奏表示發送該等視訊訊框的類型的一順序,該等視訊訊框的該等類型包括訊框內預測視訊訊框和訊框間預測視訊訊框;及 用於基於該所定義的節奏來決定該等MDE中的至少一些MDE,使得該等MDE在對應的視訊訊框邊界之間的構件。
  22. 如請求項20所述之源設備,其中該媒體資料包括音訊資料,並且其中該用於使用模式匹配來決定該等MDE的該等位置的構件包括: 用於決定該串流的一固定數量的音訊訊框以包括在該等MDE之每一者MDE中的構件;及 用於決定該等MDE中的至少一些MDE以均包括來自該串流的該固定數量的音訊訊框的構件。
  23. 如請求項19所述之源設備,其中該用於決定該等MDE的該等位置的構件包括:用於使用規則來決定該等MDE的該等位置的構件,包括: 用於接收表示一或多個規則的資料的構件,該一或多個規則定義音訊訊框、視訊訊框以及定時文字實例中的一或多項; 用於基於該等規則來決定至少一個音訊訊框、視訊訊框或者定時文字實例的位置的構件;及 用於基於該至少一個音訊訊框、視訊訊框或者定時文字實例的該等位置來決定該等MDE的構件。
  24. 如請求項19所述之源設備,其中該用於決定該等MDE的該等位置的構件包括:用於基於用於該實體層發送單元的實體層同步的時序資訊來決定該等MDE的該等位置的構件。
  25. 如請求項19所述之源設備,其中該用於決定該等MDE的該等位置的構件包括:用於對一提示軌道進行分析的構件,該提示軌道包括表示該串流內可播放資料的位置的中繼資料。
  26. 如請求項19所述之源設備,其中該用於決定該等傳輸時間要求的構件包括:用於基於該源設備的一系統組態來決定用於該等MDE中的一個MDE的一最早傳輸時間的構件。
  27. 如請求項19所述之源設備,其中該用於決定該等傳輸時間要求的構件包括:用於基於用於一區段的一區段可用時間來決定用於該等MDE中的一個MDE的一最遲傳輸時間的構件,在該等MDE中的該一個MDE中包括針對該區段的資料,該方法進一步包括:根據該資料串流的一清單檔案來決定區段可用時間。
  28. 一種其上儲存有指令的電腦可讀取儲存媒體,當該等指令被執行時使得一源設備的一基於檔案的協定發送單元進行以下操作: 從該源設備的形成區段的一分段器接收包括媒體資料的區段的一資料串流,該等區段之每一者區段包括與一唯一的統一資源定位符(URL)或統一資源識別符(URI)相關聯的一對應可單獨取得的檔案; 決定媒體傳遞事件(MDEs)在該媒體資料串流中的位置,其中該等MDE包括針對該等區段中的一個區段的至少一部分的資料; 決定用於該等MDE的一或多個傳輸時間要求,該一或多個傳輸時間要求表示要將該等MDE發送給一客戶端設備的時間;及 根據該源設備的一實體層發送單元的可用傳遞時槽將該等MDE和表示該等傳輸時間要求的資料提供給該實體層發送單元。
  29. 如請求項28所述之電腦可讀取儲存媒體,其中該用於使得處理器決定該等MDE的該等位置的指令包括:用於使得該處理器使用模式匹配來決定該等MDE的該等位置的指令。
  30. 如請求項29所述之電腦可讀取儲存媒體,其中該媒體資料包括視訊資料,並且其中該用於使得該處理器使用模式匹配來決定該等MDE的該等位置的指令包括用於使得該處理器進行以下操作的指令: 獲得定義該串流的視訊訊框的一節奏的資料,其中該所定義的節奏表示發送該視訊訊框的類型的一順序,該等視訊訊框的該等類型包括訊框內預測視訊訊框和訊框間預測視訊訊框;及 基於該所定義的節奏來決定該等MDE中的至少一些MDE,使得該等MDE在對應的視訊訊框邊界之間。
  31. 如請求項29所述之電腦可讀取儲存媒體,其中該媒體資料包括音訊資料,並且其中該用於使得該處理器使用模式匹配來決定該等MDE的該等位置的指令包括用於使得該處理器進行以下操作的指令: 決定該串流的一固定數量的音訊訊框以包括在該等MDE之每一者MDE中;及 決定該等MDE中的至少一些MDE以均包括來自該串流的該固定數量的音訊訊框。
  32. 如請求項28所述之電腦可讀取儲存媒體,其中該用於使得該處理器決定該等MDE的該等位置的指令包括:用於使得該處理器使用規則來決定該等MDE的該等位置的指令,包括用於使得該處理器進行以下操作的指令: 接收表示一或多個規則的資料,該一或多個規則定義音訊訊框、視訊訊框以及定時文字實例中的一或多項; 基於該等規則來決定至少一個音訊訊框、視訊訊框或者定時文字實例的位置;及 基於該至少一個音訊訊框、視訊訊框或者定時文字實例的該等位置來決定該等MDE。
  33. 如請求項28所述之電腦可讀取儲存媒體,其中該用於使得該處理器決定該等MDE的該等位置的指令包括:用於使得該處理器基於用於該實體層發送單元的實體層同步的時序資訊來決定該等MDE的該等位置的指令。
  34. 如請求項28所述之電腦可讀取儲存媒體,其中該等用於使得該處理器決定該等MDE的該等位置的指令包括:用於使得該處理器對一提示軌道進行分析的指令,該提示軌道包括表示該串流內可播放資料的位置的中繼資料。
  35. 如請求項28所述之電腦可讀取儲存媒體,其中該用於使得該處理器決定該等傳輸時間要求的指令包括:用於使得該處理器基於該源設備的一系統組態來決定用於該等MDE中的一個MDE的一最早傳輸時間的指令。
  36. 如請求項28所述之電腦可讀取儲存媒體,其中該用於使得該處理器決定該等傳輸時間要求的指令包括:用於使得該處理器基於用於一區段的一區段可用時間來決定用於該等MDE中的一個MDE的一最遲傳輸時間的指令,在該等MDE中的該一個MDE中包括針對該區段的資料,該方法進一步包括:根據該資料串流的一清單檔案來決定區段可用時間。
TW106100401A 2016-01-08 2017-01-06 決定用於媒體傳輸的媒體傳遞事件位置 TWI740878B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662276674P 2016-01-08 2016-01-08
US62/276,674 2016-01-08
US15/399,381 US10666961B2 (en) 2016-01-08 2017-01-05 Determining media delivery event locations for media transport
US15/399,381 2017-01-05

Publications (2)

Publication Number Publication Date
TW201725911A true TW201725911A (zh) 2017-07-16
TWI740878B TWI740878B (zh) 2021-10-01

Family

ID=57882176

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106100401A TWI740878B (zh) 2016-01-08 2017-01-06 決定用於媒體傳輸的媒體傳遞事件位置

Country Status (20)

Country Link
US (1) US10666961B2 (zh)
EP (1) EP3400712B1 (zh)
JP (1) JP6893930B2 (zh)
KR (1) KR20180101371A (zh)
CN (1) CN108432261B (zh)
AU (1) AU2017205187B2 (zh)
BR (1) BR112018013750A2 (zh)
CA (1) CA3007318C (zh)
CL (1) CL2018001833A1 (zh)
CO (1) CO2018006980A2 (zh)
ES (1) ES2864645T3 (zh)
HK (1) HK1257973A1 (zh)
HU (1) HUE052430T2 (zh)
MX (1) MX2018008372A (zh)
MY (1) MY192795A (zh)
RU (1) RU2718170C2 (zh)
SA (1) SA518391872B1 (zh)
SG (1) SG11201804448QA (zh)
TW (1) TWI740878B (zh)
WO (1) WO2017120482A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129358B2 (en) * 2016-01-15 2018-11-13 Verizon Digital Media Services Inc. Partitioned serialized caching and delivery of large files
WO2017152178A1 (en) * 2016-03-04 2017-09-08 Bladelogic, Inc. Provisioning of containers for virtualized applications
EP3481071B1 (en) * 2016-06-30 2022-07-27 Sony Semiconductor Solutions Corporation Reception device, transmission device, and data processing method
BR112019000571A2 (pt) * 2016-07-20 2019-07-02 Sony Corp dispositivo de recepção e método de processamento de dados.
TWI599218B (zh) * 2016-07-29 2017-09-11 元智大學 即時影音傳輸系統
US11412312B2 (en) * 2016-09-28 2022-08-09 Idomoo Ltd System and method for generating customizable encapsulated media files
US9872062B1 (en) * 2017-02-22 2018-01-16 Wyse Technology L.L.C. Enforcing synchronization by embedding audio within video frame data
US10904313B2 (en) * 2017-06-20 2021-01-26 Telefonaktiebolaget Lm Ericsson (Publ) Apparatuses, methods, computer programs, and computer program products for live uplink adaptive streaming
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
US10750220B2 (en) * 2018-04-06 2020-08-18 Enensys Technologies Method for generating a STL stream, local adapter and corresponding computer program
CN108737845B (zh) * 2018-05-22 2019-09-10 北京百度网讯科技有限公司 直播处理方法、装置、设备以及存储介质
US10652849B2 (en) * 2018-07-16 2020-05-12 Sinclair Broadcast Group, Inc. Using broadcast physical layer for one-way time transfer of universal coordinated time to receivers
CN109471736A (zh) * 2018-09-14 2019-03-15 叮联信息技术有限公司 事件信息不间断随机传递及实时共享方法
KR102643665B1 (ko) * 2018-09-17 2024-03-05 구글 엘엘씨 매니페스트리스 스트리밍 미디어 콘텐츠를 전달하기 위한 방법들, 시스템들, 및 매체들
KR102124194B1 (ko) * 2018-12-19 2020-06-23 포디리플레이코리아 주식회사 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
US10700798B1 (en) * 2019-03-01 2020-06-30 GM Global Technology Operations LLC System and method to receive and deliver audio content
US20210185381A1 (en) * 2019-12-11 2021-06-17 Sony Corporation Reducing latency during service change and improving robustness in advanced television systems committee (atsc) 3.0 system
CN113141514B (zh) * 2020-01-17 2022-07-22 北京达佳互联信息技术有限公司 媒体流传输方法、系统、装置、设备及存储介质
EP4162695A4 (en) * 2020-06-09 2023-08-02 Telefonaktiebolaget LM ERICSSON (PUBL) PROVISION OF SEMANTIC INFORMATION WITH ENCODED IMAGE DATA
RU203858U1 (ru) * 2020-08-05 2021-04-23 Общество с ограниченной ответственностью "Витрина ТВ" Устройство отображения и воспроизведения аудиовизуального контента
CN114598756B (zh) * 2020-12-01 2024-03-12 深圳Tcl数字技术有限公司 一种alp数据包的处理方法、存储介质及电子设备
US11882170B2 (en) * 2021-04-19 2024-01-23 Tencent America LLC Extended W3C media extensions for processing dash and CMAF inband events

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4392880B2 (ja) * 1998-06-29 2010-01-06 キヤノン株式会社 認証装置及びその制御方法並びに記憶媒体
US7146429B2 (en) * 2001-03-16 2006-12-05 The Aerospace Corporation Cooperative adaptive web caching routing and forwarding web content data requesting method
JP2007213772A (ja) * 2006-01-11 2007-08-23 Sony Corp 記録転送プログラム、記録転送装置及び記録転送方法
US20080037956A1 (en) 2006-06-30 2008-02-14 Scientific-Atlanta, Inc. Systems and Methods of Generating Encapsulated MPEG Program Streams
JP2008257592A (ja) * 2007-04-06 2008-10-23 Iwate Broadcasting Co Ltd クライアント端末、コンテンツ再生方法及びコンテンツ再生プログラム
JP4427567B2 (ja) * 2007-07-03 2010-03-10 株式会社東芝 無線通信装置及び無線通信方法
CA2709309C (en) 2007-12-13 2018-04-03 Highwinds Holdings, Inc. Content delivery network
CN101222509B (zh) * 2008-01-22 2011-10-26 中兴通讯股份有限公司 一种点对点网络的数据保护传输方法
CN101616009B (zh) * 2008-06-27 2011-07-06 中国移动通信集团公司 数据业务的传输方法及其设备
CN102308547B (zh) 2008-12-31 2014-11-19 苹果公司 通过非流化协议流化多媒体数据的方法
US9036092B2 (en) * 2013-06-24 2015-05-19 Broadcom Corporation Video channel change system
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
US9032451B2 (en) 2011-09-01 2015-05-12 The Directv Group, Inc. Method and system for using a second screen device for interacting with a set top box to enhance a user experience
US9591361B2 (en) 2011-09-07 2017-03-07 Qualcomm Incorporated Streaming of multimedia data from multiple sources
CN102769509B (zh) 2012-06-07 2015-10-21 华为技术有限公司 一种物理层信号的发送方法、装置及系统
GB2506911B (en) * 2012-10-12 2015-12-09 Canon Kk Method and correponding device for streaming video data
CN105052107B (zh) 2013-01-15 2019-04-12 华为技术有限公司 使用质量信息进行媒体内容自适应传输
US20160127756A1 (en) 2013-04-16 2016-05-05 Lg Electronics Inc. BROADCAST TRANSMITTING DEVICE, BROADCAST RECEIVING DEVICE, METHOD FOR OPERATING THE BROADCAST TRANSMITTING DEVICE, AND METHOD FOR OPERATING THE BROADCAST RECEIVING DEVICE(as amended)
CN104283849A (zh) * 2013-07-04 2015-01-14 深圳市天趣网络科技有限公司 弹窗数据推送、展示方法及装置、系统
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
CN105100015B (zh) 2014-05-16 2018-07-03 林琳 一种采集互联网访问数据的方法及装置
CN106464929B (zh) 2014-05-21 2019-11-01 Lg电子株式会社 广播信号发送/接收方法和装置
WO2016129973A1 (ko) 2015-02-15 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
SG11201804448QA (en) 2018-07-30
RU2718170C2 (ru) 2020-03-30
CA3007318A1 (en) 2017-07-13
HUE052430T2 (hu) 2021-04-28
CO2018006980A2 (es) 2018-07-19
EP3400712A1 (en) 2018-11-14
RU2018124449A (ru) 2020-02-10
JP6893930B2 (ja) 2021-06-23
KR20180101371A (ko) 2018-09-12
TWI740878B (zh) 2021-10-01
BR112018013750A2 (pt) 2018-12-11
CN108432261A (zh) 2018-08-21
US10666961B2 (en) 2020-05-26
CL2018001833A1 (es) 2018-10-12
JP2019506059A (ja) 2019-02-28
SA518391872B1 (ar) 2022-01-24
CN108432261B (zh) 2021-01-05
CA3007318C (en) 2023-08-15
HK1257973A1 (zh) 2019-11-01
MY192795A (en) 2022-09-09
AU2017205187B2 (en) 2020-09-10
EP3400712B1 (en) 2020-12-23
AU2017205187A1 (en) 2018-06-21
WO2017120482A1 (en) 2017-07-13
ES2864645T3 (es) 2021-10-14
MX2018008372A (es) 2018-09-21
RU2018124449A3 (zh) 2020-02-10
US20170201761A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
TWI740878B (zh) 決定用於媒體傳輸的媒體傳遞事件位置
US10454985B2 (en) File format based streaming with dash formats based on LCT
RU2558615C2 (ru) Обновление файла манифеста для сетевой потоковой передачи кодированных видеоданных
CN111837403B (zh) 处理用于以流传送媒体数据的交互性事件
US20180316740A1 (en) Deadline signaling for streaming of media data
TW201711431A (zh) 超級本文傳輸協定上動態自適應串流客戶經驗品質度量之中間軟體傳遞
TW201633759A (zh) 用於多媒體和檔案傳輸的傳輸介面
KR20150105381A (ko) Http 를 통한 동적 적응형 스트리밍 (dash) 을 위한 라이브 타이밍
WO2013036451A1 (en) Streaming of multimedia data from multiple sources
US20170331666A1 (en) Real-time control interface for broadcast object streaming
US11843840B2 (en) Random access at resync points of DASH segments
US20210306703A1 (en) Determination of availability of chunks of data for network streaming media data