TW201830974A - 對於用於串流媒體資料之預取支持之資料發信 - Google Patents

對於用於串流媒體資料之預取支持之資料發信 Download PDF

Info

Publication number
TW201830974A
TW201830974A TW107100745A TW107100745A TW201830974A TW 201830974 A TW201830974 A TW 201830974A TW 107100745 A TW107100745 A TW 107100745A TW 107100745 A TW107100745 A TW 107100745A TW 201830974 A TW201830974 A TW 201830974A
Authority
TW
Taiwan
Prior art keywords
media
data
information
dash
video
Prior art date
Application number
TW107100745A
Other languages
English (en)
Inventor
益魁 王
湯瑪士 史塔克漢莫
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201830974A publication Critical patent/TW201830974A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本發明提供一種媒體裝置,其預取很可能被擷取之媒體資料。一實例媒體裝置包括:一記憶體,其用於儲存媒體資料;及一或多個處理器,其實施於電路中且經組態以接收指示很可能藉由由各別複數個使用者操作的複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構之資訊,該資料結構包括媒體資料,及在接收來自該等使用者裝置的對於該媒體資料之請求之前擷取該資料結構之該媒體資料。該資訊可包括於例如一資訊清單檔案、一特定參數增強遞送(PED)訊息及/或與一視訊檔案之其他播放軌一起多工的該視訊檔案之一獨立播放軌中。

Description

對於用於串流媒體資料之預取支持之資料發信
本發明係關於經編碼媒體資料之傳送。
數位媒體能力可併入至廣泛範圍的裝置中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議裝置及類似者。數位視訊裝置實施視訊壓縮技術,諸如由ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4 Visual第10部分進階視訊寫碼(AVC)、ITU-T H.265(亦稱為高效率視訊寫碼(HEVC)及ISO/IEC 23008 -2)所定義之標準,及此等標準之擴展(諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC))中描述的彼等壓縮技術,以更有效地傳輸及接收數位視訊資訊。HEVC擴展包括其可調式寫碼擴展(亦即,可調式高效視訊寫碼,SHVC)及多視圖擴展(亦即,多視圖高效率視訊寫碼,MV-HEVC)。 在視訊資料已編碼之後,可將視訊資料封包化以用於傳輸或儲存。可以將視訊資料組譯成符合多種標準中之任一者的視訊檔案,該等標準諸如國際標準化組織(ISO)基本媒體檔案格式及其擴展,諸如AVC。
一般而言,本發明描述用於發信指示某一資料與其他資料相比更可能例如在串流或資料之其他傳送期間使用的資訊的技術。此資訊可用於藉由自適應串流系統中之用戶端裝置或用戶端與源伺服器之間的中間網路元件進行資料預取。具體而言,媒體裝置可使用本發明之技術以預取更可能被使用的資料。 在一個實例中,擷取媒體資料之方法包括:藉由媒體裝置接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料;及在接收來自使用者裝置的對於媒體資料之請求之前藉由媒體裝置擷取資料結構之媒體資料。 在另一實例中,用於擷取媒體資料的媒體裝置包括:記憶體,其用於儲存媒體資料;及一或多個處理器,其實施於電路中且經組態以接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料,並在接收來自使用者裝置的對於媒體資料之請求之前擷取資料結構的媒體資料。 在另一實例中,一種用於擷取媒體資料之媒體裝置包括:用於接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊的構件,該資料結構包括媒體資料;及用於在接收來自使用者裝置的對於媒體資料之請求之前擷取資料結構之媒體資料的構件。 在另一實例中,一種電腦可讀儲存媒體其上儲存有指令,該等指令當經執行時引起媒體裝置之處理器執行以下操作:接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料;及在接收來自使用者裝置的對於媒體資料之請求之前擷取資料結構的媒體資料。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自實施方式及圖式以及申請專利範圍而顯而易見。
相關申請案 本申請案主張2017年1月10日申請之美國臨時申請案第62 /444 , 730 號之權利,該申請案之全部內容以引用的方式併入本文中。 一般而言,本發明描述對於用於串流媒體資料之預取支持之資料發信的技術,諸如使用HTTP動態自適應串流(DASH)。DASH描述於例如第三代合作夥伴計劃;技術規範群組服務及系統態樣;透明端對端封包切換式串流服務(PSS);漸進式下載及HTTP動態自適應串流(3GP-DASH)(版本12)(2013年12月)中。DASH亦在資訊技術-HTTP動態自適應串流(DASH)-部分1:媒體呈現描述及區段格式,ISO/IEC 23009-1(2012年4月1日)中指定。 儘管出於解釋及示例之目的主要關於DASH來論述,但應理解此等技術可應用於其他串流技術。舉例而言,本發明之技術可結合蘋果HTTP實時串流(HLS)或常見媒體應用格式(CMAF)來執行。本發明之技術亦可結合微軟平滑串流來執行。 如下文更詳細地論述,串流媒體協定常常涉及自伺服器裝置傳輸資訊清單檔案至用戶端裝置,其中該資訊清單檔案描述對應媒體呈現之特性。舉例而言,在DASH中,媒體呈現描述(MPD)描述包括可切換表示之調適集合。表示中之每一者包括複數個區段,亦即,可個別擷取之檔案(其可與對應統一資源定位符(URL)相關聯)。 本發明之技術通常包括發信指示複數個資料結構中之哪一資料結構最可能被擷取(例如,藉由使用者裝置)的資訊,使得媒體裝置可預取資料結構之媒體資料。舉例而言,資料結構可為特定媒體呈現(例如,特定電影標題)、媒體呈現之特定調適集合、媒體呈現之表示,或甚至表示之區段之集合。資訊可形成在資訊清單檔案層級或在表示或調適集合層級(例如在MPD內)之資訊清單檔案之部分(諸如MPD)。另外或替代地,資訊可作為旁側資訊單獨地自資訊清單檔案發信,例如用於中間網路裝置,諸如媒體感知網路元件(MANE)或DASH感知網路元件(DANE)。 如上文所提及,DASH中之區段為可個別擷取檔案之實例。一般而言,此等檔案可根據ISO基本媒體檔案格式(ISOBMFF)或ISOBMFF之擴展而格式化。本發明之技術可應用於符合根據以下之任一者囊封之視訊資料的視訊檔案:ISO BMFF、可調式視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式及/或多視圖視訊寫碼(MVC)檔案格式或其他類似視訊檔案格式。 檔案格式標準包括ISO基本媒體檔案格式(ISOBMFF、ISO/IEC 14496-12),及自ISOBMFF導出的其他標準,包括MPEG-4檔案格式(ISO/IEC 14496-15)、3GPP檔案格式(3GPP TS 26.244)及用於視訊編解碼器之AVC及HEVC家族之檔案格式(ISO/IEC 14496-15)。ISO/IEC 14496-12及14496-15之版本的草案本文可分別在phenix.int-evry.fr/mpeg/doc_end_user/documents/111_Geneva/wg11/ w15177-v6-w15177.zip及wg11.sc29.org/doc_end_user/documents/ 115_Geneva/wg11/w16169-v2-w16169.zip處得到。ISOBMFF用作許多編解碼器囊封格式(諸如AVC檔案格式)以及用於許多多媒體容器格式(諸如MPEG-4檔案格式、3GPP檔案格式(3GP)及數位視訊廣播(DVB)檔案格式)之基礎。 除諸如音訊及視訊之連續媒體之外,諸如影像之靜態媒體以及後設資料可儲存於符合ISOBMFF之檔案中。根據ISOBMFF構造之檔案可用於許多目的,包括本端媒體檔案回放、漸進式下載遠端檔案、用於DASH之區段、用於待串流之內容的容器及其封包化指令及錄入所接收之即時媒體串流。 方塊為ISOBMFF中之基本語法結構,包括四字元寫碼方塊類型、方塊之位元組計數及有效負載。ISOBMFF檔案包括一序列方塊,且方塊可含有其他方塊。電影方塊(「moov」)含有用於存在於檔案中之連續媒體串流的後設資料,每一媒體串流在檔案中表示為播放軌。將用於播放軌之後設資料圍封於播放軌方塊(「trak」)中,而將播放軌之媒體內容圍封於媒體資料方塊(「mdat」)中或直接圍封於單獨檔案中。用於播放軌之媒體內容包括樣本之序列,諸如音訊或視訊存取單元。 ISOBMFF指定以下類型之播放軌:媒體播放軌,其含有基本媒體串流;提示播放軌,其包括媒體傳輸指令或表示接收之封包串流;及計時後設資料播放軌,其包含時間同步之後設資料。儘管最初針對儲存而設計,但ISOBMFF已證明用於串流(例如,用於漸進式下載或DASH)極有價值。為了串流目的,可使用在ISOBMFF中定義之電影片段。 每一播放軌之後設資料包括樣本描述項之清單,每一項提供在播放軌中使用之寫碼或封裝格式及對於處理彼格式需要之初始化資料。每一樣本與播放軌之樣本描述項中之一者相關聯。 ISOBMFF實現藉由各種機構指定樣本特定後設資料。樣本表方塊(「stbl」)內之特定方塊已經標準化以回應常見需求。舉例而言,同步樣本框(「stss」)用以列舉播放軌之隨機存取樣本。樣本分群機構實現根據四字元分群類型將樣本映射成共用指定為檔案中之樣本群組描述項之同一性質的樣本之群組。已在ISOBMFF中指定若干分群類型。 在HTTP串流中,諸如根據DASH,頻繁使用之操作包括HEAD、GET及部分GET。HEAD操作擷取與給定的統一資源定位符(URL)或統一資源名稱(URN)相關聯之檔案的標頭,但不擷取與URL或URN相關聯之有效負載。GET操作擷取與給定URL或URN相關聯之整個檔案。部分GET操作接收位元組範圍作為輸入參數且擷取檔案之連續數目個位元組,其中位元組之數目對應於所接收位元組範圍。因此,可提供電影片段以用於HTTP串流,此係因為部分GET操作可得到一或多個單獨的電影片段。在電影片段中,可能存在不同播放軌之若干播放軌片段。在HTTP串流中,媒體呈現可為用戶端可存取之資料之結構化集合。用戶端可請求且下載媒體資料資訊以向使用者呈現串流服務。 在DASH之實例中,可存在用於多媒體內容之視訊及/或音訊資料的多個表示。如下文所解釋,不同表示可對應於不同編碼特性(例如,視訊編碼標準之不同設定檔或層級)、不同編碼標準或編碼標準之擴展(諸如多視圖及/或可調式擴展)或不同位元速率。此等表示之資訊清單可在媒體呈現描述(MPD)資料結構中定義。媒體呈現可對應於HTTP串流用戶端裝置可存取之資料的結構化集合。HTTP串流用戶端裝置可請求且下載媒體資料資訊以向用戶端裝置之使用者呈現串流服務。媒體呈現可在MPD資料結構中描述,MPD資料結構可包括MPD之更新。 媒體呈現可含有一或多個週期之序列。每一週期可延長,直至下一週期開始為止,或在最後一個週期的狀況下,直至媒體呈現結束為止。每一週期可含有針對同一媒體內容之一或多個表示。表示可為音訊、視訊、計時文字或其他此類資料之數個替代性經編碼版本中之一者。表示可因編碼類型而異(例如,對於視訊資料,因位元速率、解析度及/或編碼解碼器而異,及對於音訊資料,因位元速率、語言及/或編解碼器而異)。術語表示可用以指代經編碼音訊或視訊資料的對應於多媒體內容之特定週期且以特定方式編碼之部分。 特定週期之表示可指派至由MPD中之屬性(其指示表示所屬之調適集合)指示之群組。同一調適集合中之表示通常被視為彼此之替代,此係因為用戶端裝置可在此等表示之間動態地且順暢地切換,例如執行寬頻調適。舉例而言,特定週期之視訊資料之每一表示可指派至同一調適集合,以使得可選擇該等表示中之任一者進行解碼以呈現對應週期之多媒體內容的媒體資料(諸如視訊資料或音訊資料)。在一些實例中,一個週期內之媒體內容可由來自群組0 (若存在)之一個表示來表示,或由來自每一非零群組的至多一個表示之組合來表示。週期之每一表示之計時資料可相對於該週期之開始時間來表達。 一表示可包括一或多個區段。每一表示可包括初始化區段,或表示之每一區段可自初始化。當存在時,初始化區段可含有用於存取表示之初始化資訊。大體而言,初始化區段不含有媒體資料。區段可由識別符唯一地參考,諸如統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI)。MPD可為每一區段提供識別符。在一些實例中,MPD亦可提供呈範圍屬性之形式的位元組範圍,該範圍屬性可對應於可由URL、URN或URI存取之檔案內之區段的資料。 可選擇不同表示以用於大體上同時擷取不同類型之媒體資料。舉例而言,用戶端裝置可選擇音訊表示、視訊表示及計時文字表示,自該等表示擷取區段。在一些實例中,用戶端裝置可選擇特定調適集合以用於執行頻寬調適。亦即,用戶端裝置可選擇包括視訊表示之調適集合、包括音訊表示之調適集合及/或包括計時文字之調適集合。替代地,用戶端裝置可選擇用於某些媒體類型(例如視訊)之調適集合,且直接選擇用於其他類型之媒體(例如音訊及/或計時文字)的表示。 DASH為用於HTTP(自適應)串流應用之標準。DASH主要指定媒體呈現描述(MPD)之格式、資訊清單檔案之實例,及媒體區段格式。MPD描述可在伺服器裝置上得到的媒體且在感興趣之特定媒體時間處讓DASH用戶端自主地下載媒體版本。 用於基於DASH之HTTP串流的典型程序包括以下步驟: 1. 用戶端裝置獲得串流內容(媒體呈現)之MPD,例如,電影。MPD包括關於串流內容的不同替代表示(例如,位元速率、視訊解析度、訊框速率、音訊語言)之資訊,以及HTTP資源(初始化區段及媒體區段)之URL。 2. 基於MPD中之資訊及用戶端之本端資訊(例如,網路頻寬、解碼/顯示能力及使用者偏好),用戶端每次請求所要表示、一個區段(或其部分)。 3. 當用戶端偵測到網路頻寬變化時,其請求具有較好匹配位元速率之不同表示之區段,理想地自以隨機存取點(RAP)開始的區段開始。 在HTTP串流「會話」期間,為對後向尋找過去位置或前向尋找未來位置(亦稱作特技模式)之使用者請求作出回應,用戶端裝置請求自接近於所要位置之區段及理想地以隨機存取點開始的區段開始的過去或未來區段。使用者亦可請求快速轉遞內容(特技模式之另一實例),其可藉由請求足以用於解碼僅經框內寫碼視訊圖像或視訊串流之僅時間子集的資料而實現。 ISO/IEC 23009-5指定伺服器及網路輔助DASH(SAND)。出於改良串流會話之效率之目的,藉由提供關於網路、伺服器、代理、快取記憶體、內容遞送網路(CDN)之即時操作特性以及DASH用戶端的效能及狀況的資訊,SAND引入在DASH用戶端裝置與網路元件之間或各種網路元件之間交換的訊息。 在SAND中,具有關於DASH之至少最小智能的網路元件被稱作DASH感知網路元件(DANE)。舉例而言,DANE可經組態以識別DASH格式化遞送物件(諸如MPD或DASH區段),且可優先排序、解析或甚至修改此等物件。DASH源伺服器亦被視為DANE。 SAND訊息指DASH用戶端、DANE及/或量度伺服器之間交換的訊息,以便增加DASH服務之接收或遞送,或將來自DASH用戶端之狀況或量度報告至DASH感知網路元件或量度伺服器。SAND訊息分類成如下四種類型: · 在DANE之間交換的參數增強遞送(PED)訊息, · 自DANE發送至DASH用戶端的參數增強接收(PER)訊息, · 自DASH用戶端發送至DANE之狀態訊息,及 · 自DASH用戶端發送至量度伺服器之量度訊息。 定義於SAND中之狀態訊息包括AnticipatedRequests SAND訊息,其允許DASH用戶端向DANE發佈其感興趣的區段之哪一特定集合。意圖係發信該DASH用戶端很可能迅速選擇及請求的表示中之區段之集合。當前,不存在定義於SAND中的PED訊息。 虛擬實境(VR)為虛擬地存在於藉由再現自然及/或合成影像及與浸入式使用者之運動相關的聲音而建立的非實體世界中的能力,從而允許使用者與彼世界交互。在再現裝置(諸如頭戴式顯示器(HMD))及VR視訊(常常亦稱作360度視訊)創建中的最新進展中,可提供顯著體驗品質。VR應用包括遊戲、訓練、教育、運動視訊、線上購物、夾帶等。 典型VR系統包括如下組件及步驟: · 攝影機套件,其通常包括在不同方向上指向之多個個別攝影機,該等方向可共同地涵蓋圍繞該攝影機套件之所有視點。 · 影像拼接,其中藉由多個個別攝影機拍攝的視訊圖像在時域中經同步並在空間域中拼接,以形成球體視訊,但映射至矩形格式,諸如等矩形(類似於世界地圖)或立方體映射。 · 映射矩形格式中之視訊係使用視訊編解碼器(例如,H.265/HEVC或H.264/AVC)來編碼/壓縮。 · 經壓縮視訊位元串流可儲存及/或囊封於媒體格式中且經由網路傳輸(可能涵蓋僅藉由使用者見到的區域之僅子集)至接收器裝置(亦即,用戶端裝置)。 · 接收器裝置接收可能以一格式囊封的視訊位元串流或其部分,且發送經解碼視訊信號或其部分至再現裝置(其可形成同一裝置之部分或獨立裝置)。 · 再現裝置可為例如頭戴式顯示器(HMD),其可追蹤頭部運動,且可甚至追蹤眼部運動,且再現視訊之對應部分,以使得浸入式體驗經遞送至使用者。 在撰寫本文時,全向媒體應用格式(OMAF)係藉由MPEG開發以定義實現全向媒體應用的媒體應用格式,聚焦於具有360度視訊及相關聯音訊之VR應用。OMAF指定可用於將球體或360度視訊轉換成二維矩形視訊,繼而如何使用ISO基本媒體檔案格式(ISOBMFF)儲存全向媒體及相關聯後設資料,及如何使用HTTP動態自適應串流(DASH)囊封、發信及串流全向媒體,及最終哪些視訊及音訊編解碼器以及媒體寫碼組態可用於壓縮及播放全向媒體信號的投影方法之清單。OMAF經規劃以變成ISO/IEC 23000-20,且其草案規範可自wg11.sc29.org/doc_end_user/documents/ 116_Chengdu/wg11/w16439.zip獲得。 存在串流媒體資料之合乎需要的使用狀況,涉及指示感興趣區或最感興趣區之資訊的產生、發信及使用。在MPEG提案m37819中,使用狀況係關於發信及使用導演之切割的資訊而論述,使得VR播放可包括甚至在使用者不轉動他的/她的頭部或經由其他使用者介面(UI)改變視埠時,顯示導演想要觀眾聚焦於的動態改變之視埠。可逐個場景地將全向視訊提供給此等視埠。 2017年5月8日申請之公開為美國專利公開案第2017/0339415號的美國申請案第15/589,782號(其以全文引用的方式併入本文中)描述用於產生關於來自由服務或內容提供者提供(例如經由當經由串流服務提供VR視訊內容時已由使用者請求/見到最多的哪些區之統計資料)之使用者統計資料的最感興趣區之資訊的技術,其中VR視訊圖像中之最感興趣區為在圖像之呈現時間處以統計方式最可能向使用者再現的區中之一者。臨時申請案第63/339,009號中亦揭示的係用於出於各種VR效能改良目的使用關於最感興趣區之資訊的技術,諸如藉由邊緣伺服器或用戶端在VR自適應串流中之資料預取,當VR視訊轉碼至例如不同編解碼器或投影映射時轉碼最佳化,藉由邊緣伺服器或快取進行的快取管理,及藉由VR視訊串流伺服器進行的內容管理。最感興趣區之發信亦已例如藉由使用視訊位元串流中之SEI訊息、媒體檔案中之檔案格式樣本群組或使用樣本群組的DASH媒體呈現描述(MPD)元素或屬性而揭示。 如美國專利公開案第2017/0344843號公開的2016年5月24日申請之美國申請案第14/491,805號(其以全文引用的方式併入本文中)描述用於VR視訊中之一或多個最感興趣區之進階發信的若干方法,其中方法包括如下: · 樣本群組(當包括於播放軌片段方塊中時)可記錄在跟隨含有播放軌中之樣本群組(分組類型之SampleToGroupBox及對應樣本群組描述方塊)的播放軌片段之後續播放軌片段中的樣本之資訊。 · 上文所提及之樣本群組的實例。 · 直接使用如HEVC中指定之圖像塊ID、如ISO/IEC 14496-15中所定義之groupID、如ISO/IEC 14496-12中所定義之播放軌ID或如ISO/IEC 23009-1所定義之DASH表示ID發信最感興趣區域。 VR/360-視訊中之感興趣區(ROI)可以至少兩種方式定義。第一實例方式係基於球體座標系統(例如,藉由定義360視訊之球體表面上之區)定義其。第二實例方式係基於2D圖像上之2D笛卡爾座標系統定義ROI。後者係在上文所標識美國臨時申請案第62/339,009及62/341,017號中使用之方式。 MPEG輸出文件N16440提及用於基於球體座標系統定義感興趣區的若干方法。特定言之,此等方法指定球體表面上之藉由四個大圓之四個區段圍封或藉由兩個大圓及兩個小圓之四個區段圍封的區,每一區段係在球體表面上之兩個點之間。本文中,圓、大圓及小圓定義如下: 平面與球體之相交區為圓(當相交區為點時除外)。此圓之所有點屬於球體之表面。球體之大圓(亦稱為大圓弧圓或黎曼圓)為球體與通過球體中心點之平面的相交區。球體之中心及大圓之中心始終共置。平面與球體之不滿足此條件且並非為點的任何其他相交區為小圓。 當VR/360視訊在頭戴式顯示器(HMD)或非HMD顯示器(諸如TV)上播放時,視埠向使用者再現。通常,視埠為平面上與球體相切(亦即,與球體在一個點處相交)的矩形區,其中視埠平面與使用者之檢視方向正交。視埠可藉由應用長方體投影(例如,如在ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11之聯合視訊探索小組,JVET-D1030,2016年10月第4次會議,J. Boyce, E. Alshina, A. Abbas, Y. Ye之「JVET common test conditions and evaluation procedures for 360° video」中所論述)而產生。 對應於視埠的球體上之區為藉由四個大圓之四個區段圍封的區。 VR視訊中之一或多個最感興趣區之雙發信的其他技術包括基於球體表面上之區發信一個區,及基於經解碼圖像上之區發信其他區。 可應用本發明之技術以解決例如在VR中及/或在媒體串流技術中可產生的與感興趣區之發信有關的某些問題。AnticipatedRequests SAND訊息可由DASH用戶端使用以向DANE發佈其對哪一特定集合有興趣,並發信DASH用戶端很可能迅速選擇並請求的表示中之區段的集合。此SAND訊息適合於其中DASH用戶端參與DASH串流會話且其基於用戶端之即時狀態及使用者行為外加可用於用戶端之其他相關資訊具有對哪些區段很可能希望向使用者再現的良好估計之情形。 包含導演之切割的VR視訊中之那些區或如經由對統計資料之分析所指示的其他最感興趣區的資訊可應用於整個VR視訊內容。除了用戶端之即時狀態及使用者行為之外,此資訊可由DASH用戶端使用,以判定哪些區在DASH串流會話期間包括於AnticipatedRequests SAND訊息中。此資訊(若存在則作為檔案格式後設資料)可直接由DASH用戶端存取。然而,此需要DASH用戶端解析檔案格式後設資料外加MPD,且亦可需要DASH用戶端在編碼VR視訊之前應用用於投影之幾何程序及用於產生圖像之逐區封裝。 另外,(包含導演切割之VR視訊中的那些區,或藉由統計資料指示之其他最感興趣區的)上述資訊亦可藉由DANE(源伺服器及/或快取或CDN元件)使用以預取包含導演之切割或最感興趣區的DASH表示之所有區段。歸因於其即時性質及其僅源自DASH用戶端之狀態訊息,AnticipatedRequests SAND訊息並不適合於傳達此資訊至DANE。 與用於傳達導演之切割或最感興趣區至DANE的習知設計相關聯之又一個問題在於可存在不同興趣層級或感興趣區之概率。 使用預期請求的又一個問題在於用戶端裝置需要支持SAND。然而,許多用戶端裝置不支持SAND。另外,預期請求通常僅解決對於單一用戶端之短期依附性,可能甚至與MANE或DANE建立用戶端之狀態。 另外,可存在不同興趣層級或內容層級上之不同內容的使用速率。舉例而言,與其他電影或標題相比,一些電影或標題更多由使用者消耗。當前DASH設計不提供此資訊之發信,此資訊亦可用於預取大多數消耗內容。 圖1為說明實施用於經由網路而串流媒體資料之技術之實例系統10的方塊圖。在此實例中,系統10包括內容準備裝置20、伺服器裝置60、媒體感知網路元件(MANE)76及用戶端裝置40。用戶端裝置40、MANE 76、內容準備裝置20及伺服器裝置60以通信方式藉由網路74耦接,網路74可包含網際網路。在一些實例中,內容準備裝置20及伺服器裝置60可包含相同裝置。 在圖1之實例中,內容準備裝置20包含音訊源22及視訊源24。音訊源22可包含(例如)麥克風,其產生表示待藉由音訊編碼器26編碼之所俘獲音訊資料的電信號。替代地,音訊源22可包含儲存媒體(其儲存先前記錄之音訊資料)、音訊資料產生器(諸如電腦化之合成器)或任何其他音訊資料源。視訊源24可包含:視訊攝影機,其產生待藉由視訊編碼器28編碼之視訊資料;儲存媒體,其編碼有先前記錄之視訊資料;視訊資料產生單元,諸如電腦圖形源;或任何其他視訊資料源。內容準備裝置20未必在所有實例中均以通信方式耦接至伺服器裝置60,而可將多媒體內容儲存至由伺服器裝置60讀取之單獨媒體。 原始音訊及視訊資料可包含類比或數位資料。類比資料在藉由音訊編碼器26及/或視訊編碼器28編碼之前可被數位化。音訊源22可在說話參與者正在說話時獲得來自說話參與者之音訊資料,且視訊源24可同時獲得說話參與者之視訊資料。在其他實例中,音訊源22可包含包含所儲存之音訊資料的電腦可讀儲存媒體,且視訊源24可包含包含所儲存之視訊資料的電腦可讀儲存媒體。以此方式,本發明中所描述之技術可應用於實況、串流、即時音訊及視訊資料或所存檔的、預先記錄的音訊及視訊資料。 對應於視訊訊框之音訊訊框通常為含有藉由音訊源22俘獲(或產生)之音訊資料的音訊訊框,音訊資料同時伴隨含於視訊訊框內的藉由視訊源24俘獲(或產生)之視訊資料。舉例而言,當說話參與者通常藉由說話而產生音訊資料時,音訊源22俘獲音訊資料,且視訊源24同時(亦即,在音訊源22正俘獲音訊資料的同時)俘獲說話參與者之視訊資料。因此,音訊訊框在時間上可對應於一或多個特定視訊訊框。因此,對應於視訊訊框之音訊訊框通常對應於同時俘獲到音訊資料及視訊資料且音訊訊框及視訊訊框分別包含同時俘獲到的音訊資料及視訊資料的情形。 在一些實例中,音訊編碼器26可對每一經編碼音訊訊框中表示記錄經編碼音訊訊框的音訊資料之時間的時戳進行編碼,且類似地,視訊編碼器28可對每一經編碼視訊訊框中表示記錄經編碼視訊訊框的視訊資料之時間的時戳進行編碼。在此等實例中,對應於視訊訊框之音訊訊框可包含:包含時戳之音訊訊框及包含相同時戳之視訊訊框。內容準備裝置20可包括內部時鐘時脈,音訊編碼器26及/或視訊編碼器28可根據該內部時鐘時脈產生時戳,或音訊源22及視訊源24可使用該內部時鐘時脈以分別使音訊資料及視訊資料與時戳相關聯。 在一些實例中,音訊源22可向音訊編碼器26發送對應於記錄音訊資料之時間的資料,且視訊源24可向視訊編碼器28發送對應於記錄視訊資料之時間的資料。在一些實例中,音訊編碼器26可對經編碼音訊資料中之序列識別符進行編碼以指示經編碼音訊資料之相對時間排序,但未必指示記錄音訊資料之絕對時間,且類似地,視訊編碼器28亦可使用序列識別符來指示經編碼視訊資料之相對時間排序。類似地,在一些實例中,序列識別符可映射或以其他方式與時戳相關。 音訊編碼器26通常產生經編碼音訊資料之串流,而視訊編碼器28產生經編碼視訊資料之串流。每一個別資料串流(不論音訊或視訊)可被稱作基本串流。基本串流為表示之單一的經數位寫碼(可能經壓縮)之分量。舉例而言,表示之經寫碼視訊或音訊部分可為基本串流。基本流可在被囊封於視訊檔案內之前被轉換成封包化基本串流(PES)。在相同表示內,可使用串流ID來區分屬於一個基本串流的PES封包與屬於其他基本串流的PES封包。基本串流之資料之基本單元為封包化基本串流(PES)封包。因此,經寫碼視訊資料通常對應於基本視訊串流。類似地,音訊資料對應於一或多個各別基本串流。 許多視訊寫碼標準(諸如ITU-T H.264/AVC及高效視訊寫碼(HEVC)標準)定義無誤差位元串流之語法、語義及解碼過程,該等無誤差位元串流中之任一者符合特定設定檔或層級。視訊寫碼標準通常並不指定編碼器,但編碼器具有保證所產生之位元串流對於解碼器而言係標準相容之任務。在視訊寫碼標準之上下文中,「設定檔」對應於演算法、特徵或工具及應用於演算法、特徵或工具之限制的子集。如(例如)H.264標準所定義,「設定檔」為由H.264標準指定的整個位元串流語法之子集。「層級」對應於解碼器資源消耗(諸如,解碼器記憶體及計算)之限制,該等限制係關於圖像解析度、位元速率及區塊處理速率。設定檔可用profile_idc (設定檔指示符)值傳信,而層級可用level_idc (層級指示符)值傳信。 舉例而言,H.264標準認為,在由給定設定檔之語法所強加的界限內,仍然可能需要編碼器及解碼器之效能有較大變化,此取決於位元串流中之語法元素(諸如,經解碼圖像之指定大小)所取的值。H.264標準進一步認為,在許多應用中,實施能夠處理特定設定檔內之語法之所有假設使用的解碼器既不實際又不經濟。因此,H.264標準將「層級」定義為強加於位元串流中之語法元素之值的約束之指定集合。此等約束可僅為對值的限制。替代地,此等約束可呈對值之算術組合(例如,圖像寬度乘以圖像高度乘以每秒解碼的圖像數目)之約束的形式。H.264標準進一步規定,個別實施對於每一所支持設定檔可支持不同層級。 符合設定檔之解碼器一般支持設定檔中所定義之所有特徵。舉例而言,作為寫碼特徵,B圖像寫碼在H.264/AVC之基線設定檔不被支持,但在H.264/AVC之其他設定檔中被支持。符合一層級之解碼器應能夠對不需要超出該層級中所定義之限制的資源之任何位元串流進行解碼。設定檔及層級之定義可對可解釋性有幫助。舉例而言,在視訊傳輸期間,可針對整個傳輸會話階段協商及同意一對設定檔定義及層級定義。更確切而言,在H.264/AVC中,層級可以定義需要處理的巨集區塊數目、經解碼圖像緩衝器(DPB)大小、經寫碼圖像緩衝器(CPB)大小、垂直運動向量範圍、每兩個連續MB之運動向量的最大數目及B區塊是否可以具有小於8x8像素的子巨集區塊分區的限制。以此方式,解碼器可判定解碼器是否能夠適當地對位元串流進行解碼。 在圖1之實例中,內容準備裝置20之囊封單元30自視訊編碼器28接收包含經寫碼視訊資料之基本串流且自音訊編碼器26接收包含經寫碼音訊資料之基本串流。在一些實例中,視訊編碼器28及音訊編碼器26可各自包括用於自經編碼資料形成PES封包之封包化器。在其他實例中,視訊編碼器28及音訊編碼器26可各自與用於自經編碼資料形成PES封包之各別封包化器介接。在另外其他實例中,囊封單元30可包括用於自經編碼音訊及視訊資料形成PES封包之封包化器。 視訊編碼器28可以多種方式對多媒體內容之視訊資料進行編碼,從而以各種位元速率且以各種特性產生多媒體內容之不同表示,該等特性諸如像素解析度、圖框速率、對各種寫碼標準之符合性、對各種寫碼標準之各種設定檔及/或設定檔層級之符合性、具有一或多個視圖之表示(例如,對於二維或三維播放)或其他此類特性。如本發明中所使用,表示可包含音訊資料、視訊資料、文字資料(例如,用於封閉字幕)或其他此類資料中之一者。表示可包括諸如音訊基本串流或視訊基本串流之基本串流。每一PES封包可包括stream_id,該stream_id 識別PES封包所屬之基本串流。囊封單元30負責將基本串流組譯成各種表示之視訊檔案(例如,區段)。 囊封單元30自音訊編碼器26及視訊編碼器28接收表示之基本串流的PES封包且自該等PES封包形成對應的網路抽象層(NAL)單元。寫碼視訊區段可經組織成NAL單元,其提供「網路友好」視訊表示定址應用程式,諸如視訊電話、儲存器、廣播或串流。NAL單元可分類為視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL單元可含有核心壓縮引擎,且可包括區塊、巨集區塊及/或圖塊層級資料。其他NAL單元可為非VCL NAL單元。在一些實例中,一個時間執行個體中之經寫碼圖像(通常呈現為初級經寫碼圖像)可包含於存取單元中,該存取單元可包括一或多個NAL單元。 非VCL NAL單元可尤其包括參數集NAL單元及SEI NAL單元。參數集可含有序列層級標頭資訊(在序列參數集(SPS)中)及不頻繁改變的圖像層級標頭資訊(在圖像參數集(PPS)中)。對於參數集(例如,PPS及SPS),不頻繁改變的資訊不需要關於每一序列或圖像重複,因此可改良寫碼效率。此外,使用參數集可實現重要標頭資訊之帶外傳輸,從而避免對於用於抗誤碼之冗餘傳輸的需要。在帶外傳輸實例中,參數集NAL單元可在與其他NAL單元(諸如,SEI NAL單元)不同之頻道上傳輸。 補充增強資訊(SEI)可含有對於對來自VCL NAL單元之經寫碼圖像樣本進行解碼並非必需的資訊,但可輔助與解碼、顯示、抗誤碼及其他目的相關的過程。SEI訊息可含於非VCL NAL單元中。SEI訊息為一些標準規範之標準化部分,且因此對於標準相容之解碼器實施並非始終係必選的。SEI訊息可為序列層級SEI訊息或圖像層級SEI訊息。某一序列層級資訊可含於SEI訊息中,諸如SVC之實例中的可縮放性資訊SEI訊息,及MVC中的視圖可縮放性資訊SEI訊息。此等實例SEI訊息可傳達關於例如操作點之提取及操作點之特性的資訊。另外,囊封單元30可形成資訊清單檔案,諸如描述表示之特徵的媒體呈現描述符(MPD)。囊封單元30可根據可延伸標示語言(XML)來格式化MPD。 囊封單元30可向輸出介面32提供多媒體內容之一或多個表示的資料以及資訊清單檔案(例如,MPD)。輸出介面32可包含網路介面或用於對儲存媒體進行寫入之介面,諸如通用串流匯流排(USB)介面、CD或DVD寫入器或燒錄器、至磁性或快閃儲存媒體之介面,或用於儲存或傳輸媒體資料之其他介面。囊封單元30可向輸出介面32提供多媒體內容之表示中之每一者的資料,該輸出介面可經由網路傳輸或儲存媒體向伺服器裝置60發送該資料。在圖1之實例中,伺服器裝置60包括儲存各種多媒體內容64之儲存媒體62,每一多媒體內容64包括各別資訊清單檔案66及一或多個表示68A至68N (表示68)。在一些實例中,輸出介面32亦可將資料直接發送至網路74。 在一些實例中,表示68可分成若干調適集合。亦即,表示68之各種子集可包括各別共同特性集合,諸如編解碼器、設定檔及層級、解析度、視圖數目、區段之檔案格式、可識別待與待解碼及呈現之表示及/或音訊資料(例如,由揚聲器發出)一起顯示的文字之語言或其他特性的文字類型資訊、可描述調適集合中之表示之場景的攝影機角度或真實世界攝影機視角的攝影機角度資訊、描述對於特定觀眾之內容適合性的分級資訊,或其類似資訊。 資訊清單檔案66可包括指示對應於特定調適集合之表示68之子集以及該等調適集合之共同特性的資料。資訊清單檔案66亦可包括表示調適集合之個別表示的個別特性(諸如位元速率)之資料。以此方式,調適集合可提供簡化的網路頻寬調適。調適集合中之表示可使用資訊清單檔案66之調適集合元素的子代元素來指示。 伺服器裝置60包括請求處理單元70及網路介面72。在一些實例中,伺服器裝置60可包括複數個網路介面。此外,伺服器裝置60之特徵中之任一者或全部可在內容遞送網路之其他裝置(諸如,路由器、橋接器、代理裝置、交換器或其他裝置)上實施。在一些實例中,內容遞送網路之中間裝置可快取多媒體內容64之資料,且包括大體上符合伺服器裝置60之彼等組件之組件。一般而言,網路介面72經組態以經由網路74來發送及接收資料。 請求處理單元70經組態以接收來自用戶端裝置(諸如,用戶端裝置40)之對儲存媒體62之資料的網路請求。舉例而言,請求處理單元70可實施超文字傳送協定(HTTP)版本1.1,如RFC 2616中R.Fielding等人於1999年6月在網路工作群組,IETF的「Hypertext Transfer Protocol - HTTP/1.1,」中所描述。亦即,請求處理單元70可經組態以接收HTTP GET或部分GET請求,且回應於該等請求而提供多媒體內容64之資料。請求可指定表示68中之一者的區段,例如使用區段之URL。在一些實例中,該等請求亦可指定區段之一或多個位元組範圍,因此包含部分GET請求。請求處理單元70可經進一步組態以服務於HTTP HEAD請求以提供表示68中之一者之區段的標頭資料。在任何情況下,請求處理單元70可經組態以處理該等請求以向請求裝置(諸如用戶端裝置40)提供所請求之資料。 另外地或替代性地,請求處理單元70可經組態以經由諸如eMBMS之廣播或多播協定而遞送媒體資料。內容準備裝置20可用與所描述大體上相同的方式產生DASH區段及/或子區段,但伺服器裝置60可使用eMBMS或另一廣播或多播網路傳送協定來遞送此等區段或子區段。舉例而言,請求處理單元70可經組態以自用戶端裝置40接收多播群組加入請求。亦即,伺服器裝置60可向用戶端裝置(包括用戶端裝置40)公告與多播群組相關聯之網際網路協定(IP)位址,其與特定媒體內容(例如,實況事件之廣播)相關聯。用戶端裝置40轉而可呈送加入多播群組之請求。此請求可遍及網路74 (例如,組成網路74之路由器)傳播,以使得致使該等路由器將去往與多播群組相關聯之IP位址的訊務導向至訂用的用戶端裝置(諸如用戶端裝置40)。 如圖1之實例中所說明,多媒體內容64包括資訊清單檔案66,該資訊清單檔案可對應於媒體呈現描述(MPD)。資訊清單檔案66可含有不同替代表示68 (例如,具有不同品質之視訊服務)的描述,且該描述可包括例如編解碼器資訊、設定檔值、層級值、位元速率及表示68之其他描述性特性。用戶端裝置40可擷取媒體呈現之MPD以判定如何存取表示68之區段。 具體而言,擷取單元52可擷取用戶端裝置40之組態資料(未展示)以判定視訊解碼器48之解碼能力及視訊輸出端44之再現能力。組態資料亦可包括由用戶端裝置40之使用者選擇的語言偏好中之任一者或全部、對應於由用戶端裝置40之使用者設定的深度偏好之一或多個攝影機視角及/或由用戶端裝置40之使用者選擇的分級偏好。舉例而言,擷取單元52可包含網頁瀏覽器或媒體用戶端,其經組態以提交HTTP GET及部分GET請求。擷取單元52可對應於由用戶端裝置40之一或多個處理器或處理單元(未展示)執行的軟體指令。在一些實例中,關於擷取單元52所描述的功能性之全部或部分可在硬體或硬體、軟體及/或韌體之組合中實施,其中可提供必需的硬體以執行軟體或韌體之指令。 擷取單元52可將用戶端裝置40之解碼及再現能力與由資訊清單檔案66之資訊所指示之表示68的特性進行比較。擷取單元52可最初擷取資訊清單檔案66之至少一部分以判定表示68之特性。舉例而言,擷取單元52可請求描述一或多個調適集合之特性的資訊清單檔案66之一部分。擷取單元52可選擇具有可滿足用戶端裝置40之寫碼及再現能力的特性的表示68之子集(例如調適集合)。擷取單元52可接著判定用於調適集合中之表示的位元速率,判定網路頻寬之當前可用量,且自具有網路頻寬可滿足之位元速率的表示中之一者擷取區段。 一般而言,較高位元速率表示可產生較高品質之視訊播放,而較低位元速率表示可在可用網路頻寬減少時提供足夠品質之視訊播放。因此,當可用網路頻寬相對高時,擷取單元52可自相對高位元速率之表示擷取資料,而當可用網路頻寬較低時,擷取單元52可自相對低位元速率之表示擷取資料。以此方式,用戶端裝置40可經由網路74來串流多媒體資料,同時亦適應網路74之改變的網路頻寬可用性。 另外或可替代地,擷取單元52可經組態以根據諸如eMBMS或IP多播之廣播或多播網路協定來接收資料。在此等實例中,擷取單元52可提交加入與特定媒體內容相關聯之多播網路群組的請求。在加入多播群組之後,擷取單元52可在沒有另外請求發出至伺服器裝置60或內容準備裝置20的情況下接收多播群組之資料。擷取單元52可提交當不再需要多播群組之資料時離開多播群組的請求,例如停止播放或將通道改變至不同多播群組。 網路介面54可接收經選定表示之區段的資料且將該資料提供至擷取單元52,擷取單元52又可將該等區段提供至解囊封單元50。解囊封單元50可將視訊檔案之元素解囊封成組成性PES串流,解封包化該等PES串流以擷取經編碼資料,且取決於經編碼資料為音訊串流抑或視訊串流之部分(例如,如由串流之PES封包標頭所指示)而將經編碼資料發送至音訊解碼器46或視訊解碼器48。音訊解碼器46解碼經編碼音訊資料,且將經解碼音訊資料發送至音訊輸出端42,而視訊解碼器48解碼經編碼視訊資料,且將經解碼視訊資料發送至視訊輸出端44,經解碼視訊資料可包括串流之複數個視圖。 視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、擷取單元52及解囊封單元50各自可實施為適用的多種合適之處理電路(諸如固定功能及/或可程式化處理電路)中之任一者,處理電路可包括一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器28及視訊解碼器48中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(CODEC)之部分。同樣地,音訊編碼器26及音訊解碼器46中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式CODEC之部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、擷取單元52及/或解囊封單元50的設備可包含積體電路、微處理器及/或無線通信裝置,諸如蜂巢式電話。 用戶端裝置40、伺服器裝置60及/或內容準備裝置20可經組態以根據本發明之技術操作。出於實例之目的,本發明關於用戶端裝置40及伺服器裝置60描述此等技術。然而,應理解,替代伺服器裝置60 (或除此之外),內容準備裝置20可經組態以執行此等技術。 囊封單元30可形成NAL單元,該等NAL單元包含識別NAL單元所屬之節目的標頭,以及有效負載,例如音訊資料、視訊資料或描述NAL單元對應於的傳送或節目串流的資料。舉例而言,在H.264/AVC中,NAL單元包括1位元組標頭及變化大小之有效負載。在有效負載中包括視訊資料之NAL單元可包含各種粒度層級之視訊資料。舉例而言,NAL單元可包含視訊資料區塊、複數個區塊、視訊資料之圖塊或視訊資料之整個圖像。囊封單元30可自視訊編碼器28接收呈基本流之PES封包之形式的經編碼視訊資料。囊封單元30可使每一基本串流與對應節目相關聯。 囊封單元30亦可組譯來自複數個NAL單元之存取單元。一般而言,存取單元可包含用於表示視訊資料之訊框以及對應於該訊框之音訊資料(當此音訊資料可用時)的一或多個NAL單元。存取單元通常包括一個輸出時間執行個體之所有NAL單元,例如,一個時間執行個體之所有音訊及視訊資料。舉例而言,若每一視圖具有20圖框每秒(fps)之圖框速率,則每一時間執行個體可對應於0.05秒之時間間隔。在此時間間隔期間,可同時再現相同存取單元(相同時間執行個體)之所有視圖的特定圖框。在一個實例中,存取單元可包含一個時間執行個體中之經寫碼圖像,其可呈現為初級經寫碼圖像。 因此,存取單元可包含共同時間執行個體之所有音訊訊框及視訊訊框,例如對應於時間X 之所有視圖。本發明亦將特定視圖之經編碼圖像稱為「視圖分量」。亦即,視圖分量可包含在特定時間針對特定視圖的經編碼圖像(或圖框)。因此,存取單元可被定義為包含共同時間執行個體之所有視圖分量。存取單元之解碼次序未必與輸出或顯示次序相同。 媒體呈現可包括媒體呈現描述(MPD),該媒體呈現描述可含有不同替代表示(例如,具有不同品質之視訊服務)的描述,且該描述可包括例如編解碼器資訊、設定檔值及層級值。MPD為資訊清單檔案(諸如資訊清單檔案66)之一個實例。用戶端裝置40可擷取媒體呈現之MPD以判定如何存取各種呈現之電影片段。電影片段可位於視訊檔案之電影片段方塊(moof方塊)中。 資訊清單檔案66 (其可包含(例如)MPD)可公告表示68之區段之可用性。亦即,MPD可包括指示表示68中之一者之第一區段變得可用時之掛鐘時間的資訊,以及指示表示68內之區段之持續時間的資訊。以此方式,用戶端裝置40之擷取單元52可基於開始時間以及在特定區段之前的區段之持續時間而判定每一區段何時可用。 在囊封單元30已基於所接收之資料將NAL單元及/或存取單元組譯成視訊檔案之後,囊封單元30將視訊檔案傳遞至輸出介面32以用於輸出。在一些實例中,囊封單元30可將視訊檔案儲存在本端,或經由輸出介面32而將視訊檔案發送至遠端伺服器,而非將視訊檔案直接發送至用戶端裝置40。輸出介面32可包含(例如)傳輸器、收發器、用於寫入資料至電腦可讀媒體之裝置(諸如光學驅動器、磁性媒體驅動器(例如軟碟機))、通用串列匯流排(USB)埠、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出至電腦可讀媒體,諸如傳輸信號、磁性媒體、光學媒體、記憶體、隨身碟或其他電腦可讀媒體。 網路介面54可經由網路74接收NAL單元或存取單元,且經由擷取單元52將NAL單元或存取單元提供至解囊封單元50。解囊封單元50可將視訊檔案之元素解囊封成組成性PES串流,解封包化該等PES串流以擷取經編碼資料,且取決於經編碼資料為音訊串流抑或視訊串流之部分(例如,如由串流之PES封包標頭所指示)而將經編碼資料發送至音訊解碼器46或視訊解碼器48。音訊解碼器46解碼經編碼音訊資料,且將經解碼音訊資料發送至音訊輸出端42,而視訊解碼器48解碼經編碼視訊資料,且將經解碼視訊資料發送至視訊輸出端44,經解碼視訊資料可包括串流之複數個視圖。 根據本發明之技術,媒體裝置(諸如用戶端裝置40)可接收關於什麼資料結構(例如表示、調適集合、媒體呈現、區段或其類似者)經預期比其他資料結構更為使用者感興趣的發信之資訊。媒體資料通常被稱作「內容」,但內容風行性可轉譯成藉由HTTP網路元件(諸如伺服器裝置60、用戶端裝置40、內容準備裝置20及其他裝置(諸如MANE或DANE))容易地處置之DASH遞送結構。若內容提供者(例如內容準備裝置20及/或伺服器裝置60)提供此資料,則此資訊可用於藉由自適應串流系統(諸如系統10)中之用戶端裝置與源伺服器裝置之間的用戶端裝置40或網路74內之中間網路元件(圖1之實例中未展示)進行資料預取。此資訊亦可用以例如在較佳資料鏈路上(例如在多播或廣播上)遞送被認為最相關的資料,而不太風行資料可僅在單播中自源伺服器(例如伺服器裝置60)提供。用戶端裝置40或網路74之中間網路裝置亦可預取預期為風行之較高品質資料,以便確保此資料可以良好品質用於許多使用者。此等技術中之一或多者可獨立地應用,或與其他技術組合而應用。 在一個實例中,伺服器裝置60提供指示儲存媒體62之不同內容當中的內容層級或資訊清單檔案層級(例如MPD層級)相關之消耗或請求速率的資訊清單檔案66中發信之MPD層級。舉例而言,指示可沒有單位,且較大值可指示被消耗/請求的表示(例如表示68中的一者)或媒體呈現之調適集合的較高似然性或機率。此資訊可由DANE使用以預取準備好很可能將迅速由用戶端裝置(諸如用戶端裝置40)請求的最熱之(例如最需要之)標題或其部分。 作為實例,伺服器裝置60可添加可選屬性@contentRequestRate至資訊清單檔案66(例如MPD),其可在表示、調適集合及/或MPD層級上經指派。當存在時,此屬性之值指示不同內容當中之內容層級或MPD層級相關消耗或請求速率。此屬性之值可為無單位。較大值可指示表示、調適集合、或媒體呈現將被消耗/請求的較高似然性。替代地,較低值可指示被消耗/請求的資料之較高似然性或機率。 因此,MANE、DANE或用戶端裝置40可使用此屬性之值以判定例如表示68中之每一者將被消耗的相關似然性,並預取具有被消耗/請求的最高似然性/機率之表示68中之一者的媒體資料。亦即,MANE/DANE/用戶端裝置40可預取對應媒體資料,原因在於MANE/DANE/用戶端裝置40可在沒有顯式請求的情況下例如自使用者(或在MANE/DANE之情況下,自用戶端裝置40或其他用戶端裝置)擷取媒體資料。 另外或替代地,伺服器裝置60可提供指示相同媒體呈現內之所有表示(例如表示68)當中的表示之時間/時間分段相關消耗或請求速率的調適集合及/或表示層級發信(例如,在資訊清單檔案66中,諸如MPD)。用戶端裝置40及/或MANE/DANE可使用此資訊以預取媒體準備好將很可能迅速藉由一些用戶端裝置(例如,用戶端裝置40)請求的呈現之最可能經請求片段。此等片段例如可涵蓋導演之VR/360視訊內容的切割表示。 在一個實例中,伺服器裝置60可發信表示層級RepRequestRate 元素,其可為資訊清單檔案66之可選元素。此元素可包含{@repRequestRate、@validTimeEnd}之兩個屬性對的陣列,其中@repRequestRate可指示相同媒體呈現內之相關消耗或請求速率(其同樣可為無單位的,且較大值可意謂如下文指定被消耗/請求的時間持續時間內之(子)區段的較高似然性),且@validTimeEnd可指示其中相關消耗或請求速率值@repRequestRate應用的時間持續時間之媒體時間線中之結束。時間持續時間之開始可為當前週期之開始或由@validTimeEnd之先前執行個體指示的時間。因此,用戶端裝置40或MANE/DANE可自具有經請求/消耗的最高機率之對應表示判定並預取對應時間內之一或多個區段。 另外或替代地,伺服器裝置60可將相同媒體呈現內之所有表示(例如表示68)當中的表示之相關消耗或請求速率的表示層級資訊發信為表示之整個時間持續時間的固定值,亦即非時間/時間分段。因此,用戶端裝置40(或MANE/DANE)可判定表示之整個持續時間的個別表示之相關消耗或請求速率。 另外或替代地,伺服器裝置60可在週期層級、調適集合層級、表示層級及/或子表示層級中之一或多者上發信相關消耗或請求速率。用戶端裝置40可經組態以判定較低層級發信之值(若其存在)覆寫任一較高層級發信。亦即,值可在DASH週期層級、DASH調適集合層級、DASH表示層級或DASH子表示層級中之兩者或大於兩者處發信,且DASH用戶端40可判定在較低層級處發信之值替代在較高層級處發信之值。替代地,較低值可指示被消耗/請求的資料之較高似然性或機率。 另外或替代地,伺服器裝置60可發信關於計時後設資料層級之資訊,其中伺服器裝置60可提供後設資料作為可藉由用戶端裝置40或MANE/DANE利用此資訊理解的獨立播放軌。後設資料播放軌可與相同表示中之某一媒體播放軌多工或獨佔地囊封於其自身表示中。 作為又一個實例,伺服器裝置60可發信可攜帶如上文針對媒體呈現所描述的相關消耗或請求速率資訊的新PED訊息。訊息體可僅攜帶相關消耗或請求速率資訊及識別資訊應用於之MPD的MPD ID,但不攜帶MPD之其他部分。替代地,PED訊息體可僅攜帶MPD自身,其含有相關消耗或請求速率資訊以及MPD之所有其他部分。當所有目的地存取MPD時可使用僅攜帶相關消耗或速率請求資訊的PED訊息,而當目的地中之至少一者不存取MPD時可使用攜帶MPD自身的PED訊息。 舉例而言,對於存取MPD自身之MANE/DANE,伺服器裝置60可建構PED訊息以包括用於更新相關消耗或請求速率的資訊,且該訊息可包括:@mpdId之值,其識別此訊息應用於的MPD;如上文所論述的@contentRequestRate之值;及{@repId、RepRequestRate }之陣列的值,其中@repId為表示ID,且RepRequestRate 為具有與上文所論述相同之語法及語義的元素。替代地,對於未存取MPD自身之MANE/DANE,PED訊息接著可含有具有經更新相關消耗或請求速率資訊的MPD自身。 以此方式,用戶端裝置40表示用於擷取媒體資料之媒體裝置之實例,該媒體裝置包括一或多個處理器,其經組態以接收指示很可能為使用者感興趣的複數個資料結構中之至少一個資料結構(該資料結構包括媒體資料)的資訊,且在接收來自使用者的對於媒體資料之請求之前擷取資料結構之媒體資料。在此實例中,用戶端裝置40可自伺服器裝置60擷取(亦即預取)媒體資料。 MANE 76通常表示可根據本發明之技術執行媒體資料之預取的媒體裝置。MANE 76可包括:記憶體,其經組態以例如儲存經擷取媒體資料;及一或多個處理器,其實施於電路中且經組態以執行本發明之技術。因此,MANE 76表示用於擷取媒體資料之媒體裝置的實例,該媒體裝置包括一或多個處理器,其經組態以接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構(該資料結構包括媒體資料)的資訊,並在接收來自使用者裝置的對於媒體資料之請求之前擷取資料結構之媒體資料。使用者裝置可包括用戶端裝置40。MANE 76可自例如伺服器裝置60擷取(亦即,預取)媒體資料。在一些實例中,MANE 76可為DASH感知網路元件(DANE)。另外,用戶端裝置40可自MANE 76而非自伺服器裝置60擷取媒體資料。因此,用戶端裝置40及MANE 76中之任一者或兩者可應用本發明之技術以預取可為使用者感興趣的特定媒體資料。 圖2為更詳細地說明圖1之擷取單元52之組件之實例集合的方塊圖。在此實例中,擷取單元52包括eMBMS中間軟體單元100、DASH用戶端110及媒體應用程式112。 在此實例中,eMBMS中間軟體單元100進一步包括eMBMS接收單元106、快取記憶體104及代理伺服器單元102。在此實例中,eMBMS接收單元106經組態以經由eMBMS接收資料,例如,根據T. Paila等人在「FLUTE-File Delivery over Unidirectional Transport」(網路工作群組,RFC 6726,2012年11月)中所描述的經由單向傳送之檔案遞送(FLUTE),可於http://tools.ietf.org/html/rfc6726獲得。亦即,eMBMS接收單元106可經由廣播而自(例如)伺服器裝置60 (其可充當BM-SC)接收檔案。 當eMBMS中間軟體單元100接收檔案之資料時,eMBMS中間軟體單元可將所接收之資料儲存於快取記憶體104中。快取記憶體104可包含電腦可讀儲存媒體,諸如快閃記憶體、硬碟、RAM或任何其他合適的儲存媒體。 代理伺服器單元102可充當DASH用戶端110之伺服器。舉例而言,代理伺服器單元102可將MPD檔案或其他資訊清單檔案提供至DASH用戶端110。代理伺服器單元102可公告MPD檔案中之區段的可用性時間,以及可擷取該等區段之超連結。此等超連結可包括對應於用戶端裝置40之本端主機位址首碼(例如,IPv4之127.0.0.1)。以此方式,DASH用戶端110可使用HTTP GET或部分GET請求向本端伺服器單元102請求區段。舉例而言,對於可自連結http://127.0.0.1/rep1/seg3獲得之區段,DASH用戶端110可建構包括針對http://127.0.0.1/rep1/seg3之請求的HTTP GET請求,且將請求提交至代理伺服器單元102。代理伺服器單元102可自快取記憶體104擷取所請求之資料且回應於此等請求而將資料提供至DASH用戶端110。DASH用戶端110遞送自代理伺服器單元102擷取之媒體資料至媒體應用程式112以用於播放。 根據本發明之技術的某些實例,eMBMS中間軟體單元100可接收最可能經由eMBMS(例如經由廣播/多播)呈現給使用者的媒體資料,而擷取單元52(參看圖1)(例如eMBMS中間軟體單元100或DASH用戶端110)可擷取不可能經由單播呈現給使用者的其他媒體資料。 圖3為說明實例多媒體內容120之元素的概念圖。多媒體內容120可對應於多媒體內容64 (圖1),或對應於儲存於儲存媒體62中之另一多媒體內容。在圖3之實例中,多媒體內容120包括媒體呈現描述(MPD) 122及複數個表示124A至124N (表示124)。表示124A包括可選標頭資料126及區段128A至128N (區段128),而表示124N包括可選標頭資料130及區段132A至132N (區段132)。為了方便起見,使用字母N來指定代表示124中之每一者中的最後一個電影片段。在一些實例中,表示124之間可存在不同數目之電影片段。 MPD 122可包含與表示124分隔之資料結構。MPD 122可對應於圖1之資清單檔案66。同樣,表示124可對應於圖2之表示68。一般而言,MPD 122可包括大體上描述表示124之特性的資料,諸如寫碼及再現特性、調適集合、MPD 122所對應之設定檔、文字類型資訊、攝影機角度資訊、分級資訊、特技模式資訊(例如,指示包括時間子序列之表示的資訊)及/或用於擷取遠端週期(例如,用於在播放期間將針對性廣告插入至媒體內容中)之資訊。 MPD 122通常發信關於各種層級處之各種資料結構的特性。舉例而言,MPD 122發信關於調適集合的特性,包括複數個表示、表示自身、表示內之區段的群組,及個別區段。MPD 122可經形成為可延伸標示語言(XML)文件,包括標籤之遞歸集合。因此,調適集合層級可使用調適集合標籤而形成,表示集合層級可使用調適集合內之表示標籤而形成,區段層級之群組可使用表示內之區段標籤之群組而形成,且區段層級可使用區段之群組內或表示內的區段標籤而形成。 根據本發明之技術,MPD 122可包括指示很可能係使用者感興趣的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料。舉例而言,資料結構可為媒體呈現、調適集合、表示,或表示之子段(例如一或多個區段或子區段之集合)。 如上文所論述,MPD 122可包括包括{@repRequestRate、@validTimeEnd}之兩個屬性對之陣列的RepRequestRate元素。在此實例中,@repRequestRate之無單位值可指示對應表示之相同媒體呈現內的相關消耗或請求速率,且@validTimeEnd之值可指示其中值@repRequestRate應用之時間持續時間的媒體時間線終止時間。 在一些實例中,MPD 122可包括表示在表示之整個時間持續時間中的相同媒體呈現內之所有表示當中的對應表示之相關消耗或請求速率的語法元素之值。語法元素可對應於DASH週期、DASH調適集合、DASH表示或DASH子表示中之一或多者的相同媒體呈現內之所有表示。 在一些實例中,MPD 122可包括表示來自相同媒體呈現內的所有調適集合當中之調適集合的資料之時間分段相關消耗或請求速率的資料。 標頭資料126 (當存在時)可描述區段128之特性,例如隨機存取點(RAP,其亦被稱作串流存取點(SAP))之時間位置、區段128中之哪一者包括隨機存取點、與區段128內之隨機存取點之位元組偏移、區段128之統一資源定位符(URL),或區段128之其他態樣。標頭資料130 (當存在時)可描述區段132之類似特性。另外或替代地,此等特性可完全包括於MPD 122內。 區段128、132包括一或多個經寫碼視訊樣本,其中之每一者可包括視訊資料之訊框或圖塊。區段128之經寫碼視訊樣本中之每一者可具有類似特性,例如,高度、寬度及頻寬要求。此類特性可藉由MPD 122之資料來描述,儘管此資料在圖3之實例中未說明。MPD 122可包括如3GPP規範所描述之特性,並且添加了本發明中所描述的發信資訊中之任一者或全部。 區段128、132中之每一者可與唯一的統一資源定位符(URL)相關聯。因此,區段128、132中之每一者可使用串流網路協定(諸如,DASH)來獨立地擷取。以此方式,諸如用戶端裝置40之目的地裝置可使用HTTP GET請求來擷取區段128或132。在一些實例中,用戶端裝置40可使用HTTP部分GET請求來擷取區段128或132之特定位元組範圍。 圖4為說明實例視訊檔案150之元素的方塊圖,該實例視訊檔案可對應於表示之區段,諸如圖3之區段128、132中之一者。區段128、132中之每一者可包括實質上符合圖4之實例中所說明之資料之配置的資料。視訊檔案150可稱為囊封一區段。如上所述,根據ISO基本媒體檔案格式及其擴展的視訊檔案將資料儲存於一系列物件(稱為「方塊」)中。在圖4之實例中,視訊檔案150包括檔案類型(FTYP)方塊152、電影(MOOV)方塊154、區段索引(sidx)方塊162、電影片段(MOOF)方塊164及電影片段隨機存取(MFRA)方塊166。儘管圖4表示視訊檔案之實例,但應理解,根據ISO基本媒體檔案格式及其擴展,其他媒體檔案可包括其他類型之媒體資料(例如,音訊資料、計時文本資料或其類似者),其在結構上類似於媒體檔案150之資料。 檔案類型(FTYP)方塊152通常描述視訊檔案150之檔案類型。檔案類型方塊152可包括識別描述視訊檔案150之最佳用途之規範的資料。在各種替代例中,檔案類型方塊152可緊接地置放在MOOV方塊154、電影片段方塊164或MFRA方塊166之前。 在一些實例中,區段(諸如,視訊檔案150)可包括在FTYP方塊152之前的MPD更新方塊(未展示)。MPD更新方塊可包括指示對應於包括視訊檔案150之表示之MPD待更新的資訊,以及用於更新MPD之資訊。舉例而言,MPD更新方塊可提供待用以更新MPD之資源的URI或URL。作為另一實例,MPD更新方塊可包括用於更新MPD之資料。在一些實例中,MPD更新方塊可緊接在視訊檔案150之區段類型(STYP)方塊(未圖示)之後,其中STYP方塊可定義視訊檔案150之區段類型。 在圖4之實例中,MOOV方塊154包括電影標頭(MVHD)方塊156、播放軌(TRAK)方塊158及一或多個電影延伸(MVEX)方塊160。一般而言,MVHD方塊156可描述視訊檔案150之一般特性。舉例而言,MVHD方塊156可包括描述視訊檔案150何時最初建立、視訊檔案150何時經最後修改、視訊檔案150之時間標度、視訊檔案150之播放持續時間的資料,或通常描述視訊檔案150之其他資料。 TRAK方塊158可包括視訊檔案150之播放軌的資料。TRAK方塊158可包括播放軌標頭(TKHD)方塊,其描述對應於TRAK方塊158之播放軌的特性。在一些實例中,TRAK方塊158可包括經寫碼視訊圖像,而在其他實例中,播放軌之經寫碼視訊圖像可包括於電影片段164中,該電影片段可由TRAK方塊158及/或sidx方塊162之資料參考。 根據本發明之技術,TRAK方塊158可包括指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料。舉例而言,TRAK方塊158可包括經多工複數個播放軌,該複數個播放軌包括電影片段164之媒體播放軌及具有在計時後設資料層級上發信之指定指示很可能被擷取的該複數個資料結構中之至少一個資料結構之資訊的語法元素的獨立播放軌。舉例而言,資料結構可包含電影片段164中之一或多者。在一些實例中,獨立播放軌可經形成為不包括任何媒體資料的表示,且與包括確實包括媒體資料之各別表示的其他播放軌多工。 在一些實例中,視訊檔案150可包括一個以上播放軌。相應地,MOOV方塊154可包括數個TRAK方塊,其等於視訊檔案150中之播放軌之數目。TRAK方塊158可描述視訊檔案150之對應播放軌之特性。舉例而言,TRAK方塊158可描述對應播放軌之時間及/或空間資訊。當囊封單元30 (圖3)包括視訊檔案(諸如,視訊檔案150)中之參數集播放軌時,類似於MOOV方塊154之TRAK方塊158的TRAK方塊可描述參數集播放軌之特性。囊封囊封單元30可在描述參數集播放軌之TRAK方塊內發信序列層級SEI訊息存在於參數集播放軌中。 MVEX方塊160可描述對應電影片段164之特性,例如,以發信視訊檔案150除包括於MOOV方塊154 (若存在)內之視訊資料之外亦包括電影片段164。在串流視訊資料之上下文中,經寫碼視訊圖像可包括於電影片段164中而非包括於MOOV方塊154中。因此,所有經寫碼視訊樣本可包括於電影片段164中,而非包括於MOOV方塊154中。 MOOV方塊154可包括數個MVEX方塊160,其等於視訊檔案150中之電影片段164之數目。MVEX方塊160中之每一者可描述電影片段164中之對應電影片段之特性。舉例而言,每一MVEX方塊可包括電影延伸標頭方塊(MEHD)方塊,其描述電影片段164中的對應電影片段之時間持續時間。 如上文關於圖1所提及,囊封單元30可儲存視訊樣本中之序列資料集,其並不包括實際經寫碼視訊資料。視訊樣本可大體上對應於存取單元,其為特定時間執行個體下之經寫碼圖像之表示。在AVC之情況下,經寫碼圖像包括一或多個VCL NAL單元,其含有用以構造存取單元之所有像素的資訊,及其他相關聯非VCL NAL單元(諸如SEI訊息)。相應地,囊封單元30可包括電影片段164中之一者中之序列資料集,其可包括序列層級SEI訊息。囊封單元30可進一步發信存在於電影片段164中之一者中的序列資料集及/或序列層級SEI訊息存在於對應於電影片段164中之一者的MVEX方塊160中之一者內。 SIDX方塊162為視訊檔案150之可選元素。意即,符合3GPP檔案格式或其他此等檔案格式之視訊檔案未必包括SIDX方塊162。根據3GPP檔案格式之實例,SIDX方塊可用以識別區段(例如,含於視訊檔案150內之區段)之子區段。3GPP檔案格式將子區段定義為「具有對應媒體資料方塊及含有藉由電影片段方塊參考之資料的媒體資料方塊的一或多個相連電影片段方塊之自含式集合必須跟在電影片段方塊之前,但在含有關於同一播放軌之資訊的下一個電影片段方塊之前」。3GPP檔案格式亦指示SIDX方塊「含有對由方塊記錄之(子)片段之子片段參考的序列。所參考的子區段在呈現時間上鄰接。類似地,由區段索引方塊參考之位元組始終在區段內連續。所參考大小給出所參考材料中之位元組之數目的計數」。 SIDX方塊162通常提供表示包括於視訊檔案150中之區段之一或多個子區段的資訊。舉例而言,此資訊可包括子片段開始及/或結束所在之播放時間、子片段之位元組偏移、子片段是否包括(例如,以)串流存取點(SAP)(開始)的指示、SAP之類型(例如,SAP係為瞬時解碼器再新(IDR)圖像、乾淨隨機存取(CRA)圖像、斷鏈存取(BLA)圖像抑或其類似者)、子區段中SAP(依據播放時間及/或位元組偏移)的位置及類似者。 電影片段164可包括一或多個經寫碼視訊圖像。在一些實例中,電影片段164可包括一或多個圖像群組(GOP),其中之每一者可包括數個經寫碼視訊圖像,例如圖框或圖像。另外,如上文所描述,在一些實例中,電影片段164可包括序列資料集。電影片段164中之每一者可包括電影片段標頭方塊(MFHD,圖4中未展示)。MFHD方塊可描述對應電影片段之特性,諸如電影片段之序號。電影片段164可按序號次序包括於視訊檔案150中。 MFRA方塊166可描述視訊檔案150之電影片段164內的隨機存取點。此可輔助執行特技模式,諸如執行對由視訊檔案150囊封之區段內之特定時間位置(亦即,播放時間)的尋找。在一些實例中,MFRA方塊166通常係可選的且無需包括於視訊檔案中。同樣,用戶端裝置(諸如用戶端裝置40)未必需要參考MFRA方塊166來對視訊檔案150之視訊資料進行正確解碼及顯示。MFRA方塊166可包括數個播放軌片段隨機存取(TFRA)方塊(未展示),其等於視訊檔案150之播放軌之數目,或在一些實例中等於視訊檔案150之媒體播放軌(例如,非暗示播放軌)之數目。 在一些實例中,電影片段164可包括一或多個串流存取點(SAP),諸如IDR圖像。同樣地,MFRA方塊166可提供對SAP在視訊檔案150內之位置的指示。因此,視訊檔案150之時間子序列可由視訊檔案150之SAP形成。時間子序列亦可包括其他圖像,諸如取決於SAP之P圖框及/或B圖框。時間子序列之圖框及/或圖塊可配置於區段內,以使得時間子序列的取決於子序列之其他圖框/圖塊之圖框/圖塊可被恰當地解碼。舉例而言,在資料之階層式配置中,用於其他資料之預測的資料亦可包括於時間子序列中。 圖5為說明用於執行本發明之技術的實例方法的流程圖。圖5之方法係關於圖1之伺服器裝置60、MANE 76及用戶端裝置40而解釋。然而,應理解此方法或類似方法可藉由例如除伺服器裝置60、MANE 76及用戶端裝置40外或其替代的其他裝置執行。舉例而言,歸因於MANE 76之預取技術可實際上藉由用戶端裝置40自身執行。作為另一實例,內容準備裝置20可執行歸因於伺服器裝置60之技術。在此實例中,用戶端裝置40表示複數個使用者裝置(例如使用者裝備(UE))中的一者,其可各自藉由各別不同使用者操作。 最初,在此實例中,伺服器裝置60發送指示很可能藉由複數個使用者(例如,諸如用戶端裝置40之用戶端裝置之使用者)擷取的媒體資料之資訊(200)。此資訊可指示一或多個標題(亦即,個別電影,亦稱作媒體呈現)、媒體呈現之調適集合、媒體呈現之表示、及/或區段、區段之群組或媒體呈現之子區段。如上文所論述,此資訊可包括於例如在MPD層級、調適集合層級、表示層級、區段層級或其類似者處的資訊清單檔案(諸如DASH MPD)中。另外或替代地,此資訊可包括於與視訊檔案之其他播放軌多工的播放軌中。另外或替代地,此資訊可包括於特定PED訊息(例如,該特定PED訊息特別地識別PED訊息應用於的MPD)、對應於MPD之媒體呈現的相關消耗或請求速率及/或指示媒體呈現之一或多個表示之相關消耗或請求速率的資料中。 在此實例中,MANE 76接收資訊(202)及使用資訊以判定很可能被擷取之媒體資料(204)。舉例而言,MANE 76可自MPD、特定PED訊息或媒體檔案之獨立播放軌提取資訊。MANE 76接著可請求很可能被擷取之媒體資料(206)。具體而言,MANE 76可預取很可能被擷取之媒體資料。亦即,在此實例中,MANE 76在該複數個用戶端裝置中之任一者(例如用戶端裝置40)請求媒體資料之前擷取很可能被擷取之媒體資料。換言之,MANE 76並不回應於來自用戶端裝置40(或其他用戶端裝置)之請求而使用指示媒體資料很可能被擷取的資訊來擷取媒體資料。 在此實例中,伺服器裝置60接收對於媒體資料之請求(208),及回應於該請求,發送經請求媒體資料至MANE 76(210)。MANE 76接收並快取例如在經組態為快取記憶體的MANE 76之記憶體中的媒體資料(212)。以此方式,MANE 76具有很可能在用戶端裝置實際上已請求媒體資料之前藉由用戶端裝置擷取的媒體資料。因此,MANE 76可伺服來自MANE 76之快取記憶體的對於媒體資料之請求,而非在接收到對於媒體資料之請求之後自伺服器裝置60擷取媒體資料。 具體而言,如圖5之實例中所示,用戶端裝置40請求很可能被擷取之媒體資料(214)。MANE 76自用戶端裝置40接收對於媒體資料之請求(216)。因為MANE 76預取媒體資料,所以MANE 76可發送經請求媒體資料至用戶端裝置40(218),而不在接收來自用戶端裝置40之請求之後自伺服器裝置60擷取媒體資料。用戶端裝置40接著可接收並呈現媒體資料(220)。以此方式,本發明之技術可減少對對於媒體資料之請求作出回應的潛時。以此方式減少潛時可改良使用者體驗,及亦減少藉由MANE 76所需要的處理。具體而言,藉由經由預取此類媒體資料快取很可能被擷取的媒體資料,MANE 76可確保此資料可供用於複數個使用者,且因此減少MANE 76必須自伺服器裝置60擷取媒體資料所花費時間量,以便伺服媒體資料至複數個使用者。 以此方式,圖5之方法表示一方法之實例,該方法包括:藉由媒體裝置接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料;及在接收來自使用者裝置的對媒體資料之請求之前藉由媒體裝置擷取資料結構之媒體資料。 如上文所論述,出於實例的目的,關於預取媒體資料之MANE 76,解釋圖5之方法。在其他實例中,用戶端裝置40可在以類似方式接收來自用戶端裝置40之使用者的請求之前例如自MANE 76或伺服器裝置60預取媒體資料。 圖6為說明用於執行本發明之技術的實例方法的流程圖。出於實例之目的關於圖1之伺服器MANE 76解釋圖6之方法。然而,應理解此或類似方法可藉由例如除MANE 76外或替代MANE 76的其他裝置執行。舉例而言,圖1之用戶端裝置40可執行此或類似方法。同樣,伺服器裝置60可執行在概念上類似於圖6中展示之方法(儘管互逆)的方法。亦即,圖6中,伺服器裝置60可發送指示為藉由MANE 76接收及擷取的資訊。 最初,MANE 76接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料(230)。MANE 76接著在接收來自使用者裝置的對於媒體資料之請求之前擷取資料結構之媒體資料(232)。亦即,MANE 76在最初不接收來自用戶端裝置的對於媒體資料之請求的情況下(亦即,不回應於對於來自用戶端裝置的媒體資料之任何請求)擷取媒體資料。以此方式,MANE 76可在媒體資料藉由用戶端裝置請求之前預取媒體資料,使得該媒體資料可在來自用戶端裝置之對於媒體資料的請求情況下供用於分佈至用戶端裝置。當藉由用戶端裝置(諸如用戶端裝置40(圖1))執行時,圖6之方法通常包括用戶端裝置40在接收來自用戶端裝置40之使用者的對於媒體資料之任何請求之前(亦即,不回應於來自使用者之對於媒體資料的請求)擷取媒體資料。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式,電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且,任何連接被恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術,自網站、伺服器或其他遠端源來傳輸指令,則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為關於非暫時性有形儲存媒體。如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟用雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。 可由一或多個處理器執行指令,該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文所描述之功能性可提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於多種裝置或設備中,包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣,但未必需要藉由不同硬體單元來實現。確切而言,如上文所描述,各種單元可組合於編解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合與適合之軟體及/或韌體一起組合來提供該等單元。 各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧系統
20‧‧‧內容準備裝置
22‧‧‧音訊源
24‧‧‧視訊源
26‧‧‧音訊編碼器
28‧‧‧視訊編碼器
30‧‧‧囊封單元
32‧‧‧輸出介面
40‧‧‧用戶端裝置
42‧‧‧音訊輸出端
44‧‧‧視訊輸出端
46‧‧‧音訊解碼器
48‧‧‧視訊解碼器
50‧‧‧解囊封單元
52‧‧‧擷取單元
54‧‧‧網路介面
60‧‧‧伺服器裝置
62‧‧‧儲存媒體
64‧‧‧多媒體內容
66‧‧‧資訊清單檔案
68A‧‧‧表示
68N‧‧‧表示
70‧‧‧請求處理單元
72‧‧‧網路介面
74‧‧‧網路
76‧‧‧媒體感知網路元件(MANE)
100‧‧‧eMBMS中間軟體單元
102‧‧‧代理伺服器單元
104‧‧‧快取記憶體
106‧‧‧eMBMS接收單元
110‧‧‧DASH用戶端
112‧‧‧媒體應用程式
120‧‧‧多媒體內容
122‧‧‧媒體呈現描述(MPD)
124A‧‧‧表示
124N‧‧‧表示
126‧‧‧標頭資料
128A‧‧‧區段
128B‧‧‧區段
128N‧‧‧區段
130‧‧‧標頭資料
132A‧‧‧區段
132B‧‧‧區段
132N‧‧‧區段
150‧‧‧視訊檔案
152‧‧‧檔案類型(FTYP)方塊
154‧‧‧電影(MOOV)方塊
156‧‧‧電影標頭(MVHD)方塊
158‧‧‧播放軌(TRAK)方塊
160‧‧‧電影延伸(MVEX)方塊
162‧‧‧區段索引(sidx)方塊
164‧‧‧電影片段(MOOF)方塊
166‧‧‧電影片段隨機存取(MFRA)方塊
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟
220‧‧‧步驟
230‧‧‧步驟
232‧‧‧步驟
圖1為說明實施用於經由網路而串流媒體資料之技術之實例系統的方塊圖。 圖2為更詳細地說明圖1之擷取單元之組件之實例集合的方塊圖。 圖3為說明實例多媒體內容之元素的概念圖。 圖4為說明可對應於表示之區段的實例視訊檔案之元素的方塊圖。 圖5為說明用於執行本發明之技術的實例方法的流程圖。 圖6為說明用於執行本發明之技術的實例方法的流程圖。

Claims (42)

  1. 一種擷取媒體資料之方法,該方法包含: 藉由一媒體裝置接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料;及 在接收來自該等使用者裝置的對於該媒體資料之請求之前藉由該媒體裝置擷取該資料結構之該媒體資料。
  2. 如請求項1之方法,其中該媒體裝置包含與一伺服器裝置及該複數個使用者裝置通信的一媒體感知網路元件(MANE)。
  3. 如請求項1之方法,其中該媒體裝置包含一HTTP動態自適應串流(DASH)感知網路元件(DANE)。
  4. 如請求項1之方法,其中該資料結構包含一HTTP動態自適應串流(DASH)表示、一DASH調適集合,或包括複數個相關DASH表示及對應於一特定電影標題之媒體呈現之一集合中的一者。
  5. 如請求項1之方法,其中接收該資訊包含接收該媒體資料之一資訊清單檔案中之該資訊。
  6. 如請求項5之方法,其中該資訊清單檔案包含一HTTP動態自適應串流(DASH)媒體呈現描述(MPD)。
  7. 如請求項1之方法,其中接收該資訊包含接收與該媒體資料之一資訊清單檔案分隔的一參數增強遞送(PED)訊息中之該資訊。
  8. 如請求項7之方法,其中該媒體裝置包含一媒體感知網路元件(MANE)或一DASH感知網路元件(DANE),該方法進一步包含自該PED訊息提取該資訊及使用該提取之資訊更新相關消耗或請求速率。
  9. 如請求項7之方法,其中該PED訊息包括識別該PED訊息應用於的一媒體呈現描述(MPD)之一@mpdId元素之一值、指示對應於該MPD的媒體資料之一相關消耗或請求速率的一@contentRequestRate元素之一值,及指示各別表示之相關消耗或請求速率的{@repId、RepRequestRate}語法元素之一陣列。
  10. 如請求項7之方法,其中該PED訊息包括該媒體資料之一DASH MPD。
  11. 如請求項1之方法,其中接收該資訊包含接收該等資料結構之一@contentRequestRate屬性之值、該@contentRequestRate屬性指示該等各別資料結構之消耗或請求速率。
  12. 如請求項11之方法,其中該@contentRequestRate屬性具有指示一對應資料結構之一內容層級或資訊清單檔案層級消耗或請求速率的一無單位值,且其中該@contentRequestRate屬性之一較高值指示該對應資料結構與具有較低@contentRequestRate屬性值之資料結構相比更可能被消耗或請求。
  13. 如請求項11之方法,其中該@contentRequestRate屬性具有指示一對應資料結構之一內容層級或資訊清單檔案層級消耗或請求速率的一無單位值,且其中該@contentRequestRate屬性之一較低值指示該對應資料結構與具有較高@contentRequestRate屬性值之資料結構相比更可能被消耗或請求。
  14. 如請求項1之方法,其中該資料結構包含一調適集合或一表示,且其中接收該資訊包含接收在一調適集合層級或一表示層級處之該資訊。
  15. 如請求項14之方法,其中該資訊指示該相同媒體呈現內之所有表示當中的一表示之時間分段相關消耗或一請求速率。
  16. 如請求項14之方法,其中該資訊包含包括{@repRequestRate、@validTimeEnd}之兩個屬性對之一陣列的一RepRequestRate元素,其中@repRequestRate之一無單位值指示一對應表示之該相同媒體呈現內的一相關消耗或請求速率,且其中@validTimeEnd之一值指示其中該值@repRequestRate應用的一時間持續時間之一媒體時間線終止時間。
  17. 如請求項14之方法,其中該資訊包含表示該相同媒體呈現內之所有表示當中的一對應表示的一整個時間持續期間的該表示之一相關消耗或請求速率的一值。
  18. 如請求項14之方法,其中該資訊包含表示對於一DASH週期、一DASH調適集合、一DASH表示或一DASH子表示中之一或多者的該相同媒體呈現內之所有表示當中的一對應表示之一相關消耗或請求速率的一語法元素之一值。
  19. 如請求項18之方法,其中該資訊包含在一DASH週期層級、一DASH調適集合層級、一DASH表示層級或一DASH子表示層級中之兩者或大於兩者處發信的語法元素之值,該方法進一步包含判定在較低層級處發信之值替代在較高層級處發信之值。
  20. 如請求項18之方法,其進一步包含判定表示該相關消耗或請求速率的該語法元素之一較高值指示該對應表示與具有該語法元素之較低值的表示相比更可能被擷取。
  21. 如請求項18之方法,其進一步包含判定表示該相關消耗或請求速率的該語法元素之一較低值指示該對應表示與具有該語法元素之較高值的表示相比更可能被擷取。
  22. 如請求項14之方法,其中接收該資訊包含自與一或多個媒體播放軌多工之一獨立播放軌接收在一計時後設資料層級上發信的語法元素之值。
  23. 如請求項22之方法,其中提取該等值包含自與一表示多工的該獨立播放軌提取該等值。
  24. 如請求項22之方法,其中提取該等值包含自囊封於不包括媒體資料的一表示中之該獨立播放軌提取該等值。
  25. 如請求項14之方法,其中該資訊指示來自該相同媒體呈現內之所有調適集合當中的一調適集合的資料之時間分段相關消耗或請求速率。
  26. 如請求項14之方法,其中接收在該調適集合或表示層級處之該資訊包含自一資訊清單檔案提取該資訊。
  27. 如請求項1之方法,其中擷取該媒體資料包含預取該媒體資料。
  28. 一種用於擷取媒體資料之媒體裝置,該媒體裝置包含: 一記憶體,其用於儲存媒體資料;及 一或多個處理器,其實施於電路中且經組態以: 接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料;及 在接收來自該等使用者裝置之對於該媒體資料之請求之前擷取該資料結構之該媒體資料。
  29. 如請求項28之媒體裝置,其中該資料結構包含一HTTP動態自適應串流(DASH)表示、一DASH調適集合,或包括對應於一特定電影標題之複數個相關DASH表示的媒體呈現之一集合中的一者。
  30. 如請求項28之媒體裝置,其中接收該資訊包含接收該媒體資料之一資訊清單檔案中之該資訊。
  31. 如請求項30之媒體裝置,其中該資訊清單檔案包含一HTTP動態自適應串流(DASH)媒體呈現描述(MPD)。
  32. 如請求項28之媒體裝置,其中接收該資訊包含接收與該媒體資料之一資訊清單檔案分隔的一參數增強遞送(PED)訊息中之該資訊。
  33. 如請求項32之媒體裝置,其中該媒體裝置包含一媒體感知網路元件(MANE)或一DASH感知網路元件(DANE),且其中該一或多個處理器經進一步組態以自該PED訊息提取該資訊並使用該提取之資訊更新相關消耗或請求速率。
  34. 如請求項32之媒體裝置,其中該PED訊息包括識別該PED訊息應用於的一媒體呈現描述(MPD)的一@mpdId元素之一值、指示對應於該MPD的媒體資料之一相關消耗或請求速率的一@contentRequestRate元素之一值,及指示各別表示之相關消耗或請求速率的{@repId、RepRequestRate}語法元素之一陣列。
  35. 如請求項28之媒體裝置,其中該資料結構包含一調適集合或一表示,且其中該一或多個處理器經組態以自一資訊清單檔案之一調適集合層級或一表示層級提取該資訊。
  36. 如請求項28之媒體裝置,其中該一或多個處理器經組態以預取該資料結構之該媒體資料。
  37. 如請求項28之媒體裝置,其進一步包含一顯示器,該顯示器經組態以顯示該媒體資料之一圖像。
  38. 如請求項28之媒體裝置,其中該媒體裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  39. 如請求項28之媒體裝置,其中該媒體裝置包含一媒體感知網路元件(MANE)。
  40. 如請求項28之媒體裝置,其中該媒體裝置包含一HTTP動態自適應串流(DASH)感知網路元件(DANE)。
  41. 一種用於擷取媒體資料之媒體裝置,該媒體裝置包含: 用於接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊的構件,該資料結構包括媒體資料;及 用於在接收來自該等使用者裝置之對於該媒體資料之請求之前擷取該資料結構之該媒體資料的構件。
  42. 一種電腦可讀儲存媒體,其具有存儲於其上的指令,該等指令當經執行時引起一媒體裝置之一處理器執行以下操作: 接收指示很可能藉由由各別複數個使用者操作之複數個使用者裝置擷取的複數個資料結構中之至少一個資料結構的資訊,該資料結構包括媒體資料;及 在接收來自該等使用者裝置之對於該媒體資料之請求之前擷取該資料結構之該媒體資料。
TW107100745A 2017-01-10 2018-01-09 對於用於串流媒體資料之預取支持之資料發信 TW201830974A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762444730P 2017-01-10 2017-01-10
US62/444,730 2017-01-10
US15/862,251 2018-01-04
US15/862,251 US11290755B2 (en) 2017-01-10 2018-01-04 Signaling data for prefetching support for streaming media data

Publications (1)

Publication Number Publication Date
TW201830974A true TW201830974A (zh) 2018-08-16

Family

ID=62783504

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100745A TW201830974A (zh) 2017-01-10 2018-01-09 對於用於串流媒體資料之預取支持之資料發信

Country Status (9)

Country Link
US (1) US11290755B2 (zh)
EP (1) EP3568991B1 (zh)
KR (1) KR102580982B1 (zh)
CN (1) CN110089122B (zh)
AU (1) AU2018207060A1 (zh)
BR (1) BR112019014070A2 (zh)
ES (1) ES2892329T3 (zh)
TW (1) TW201830974A (zh)
WO (1) WO2018132319A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016204815A1 (en) * 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video streaming using dynamic radio access network information
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10924822B2 (en) 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers
EP3750303B1 (en) * 2018-02-05 2024-04-03 Telefonaktiebolaget LM Ericsson (publ) A method, a user equipment and a computer program product for enabling a dynamic adaptive streaming over http, dash, player to fetch media segments from a network
US11050843B2 (en) * 2018-03-30 2021-06-29 Facebook, Inc. Systems and methods for prefetching content
JP7028811B2 (ja) * 2019-01-29 2022-03-02 Kddi株式会社 コンテンツ配信ネットワークの転送装置
GB2582014A (en) * 2019-03-08 2020-09-09 Canon Kk Method, device, and computer program for optimizing transmission of portions of encapsulated media content
US10979477B1 (en) * 2019-03-26 2021-04-13 Amazon Technologies, Inc. Time synchronization between live video streaming and live metadata
KR102638636B1 (ko) * 2019-03-26 2024-02-21 구글 엘엘씨 다수의 암호화 디지털 서명들을 사용한 콘텐츠 액세스와 콘텐츠 전달의 인가 분리
WO2021156194A1 (en) * 2020-02-04 2021-08-12 Dolby International Ab Method and device for adaptive playout of media content
US11546406B2 (en) 2020-04-13 2023-01-03 Tencent America LLC Media systems and methods including mixed event message tracks
US11394932B2 (en) 2020-06-03 2022-07-19 Honeywell International Inc. System and method for auto selecting a video for display on a mobile device based on the proximity of the mobile device relative to the video source
US11750815B2 (en) 2020-09-17 2023-09-05 Lemon, Inc. Versatile video coding track coding
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
US11910032B1 (en) * 2022-08-02 2024-02-20 Rovi Guides, Inc. Systems and methods for distributed media streaming

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090761B2 (en) 2002-07-12 2012-01-03 Hewlett-Packard Development Company, L.P. Storage and distribution of segmented media data
DE102005001286A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Übertragung von skalierbaren Daten
US20090183215A1 (en) 2008-01-16 2009-07-16 Qualcomm Incorporated Hybrid services: data, audio, and clipcast
CN101242430B (zh) 2008-02-22 2012-03-28 华中科技大学 对等网络点播系统中的定点数据预取方法
US8347340B2 (en) 2008-09-11 2013-01-01 Livetv, Llc Aircraft communications system with video file library and associated methods
WO2011139305A1 (en) * 2010-05-04 2011-11-10 Azuki Systems, Inc. Method and apparatus for carrier controlled dynamic rate adaptation and client playout rate reduction
CN101951395B (zh) 2010-08-30 2013-08-21 中国科学院声学研究所 一种基于访问预测的P2P VoD系统服务端的数据缓存策略
US9282354B2 (en) 2011-10-28 2016-03-08 Qualcomm Incorporated Method and apparatus to detect a demand for and to establish demand-based multimedia broadcast multicast service
US8903955B2 (en) * 2011-12-02 2014-12-02 Cisco Technology, Inc. Systems and methods for intelligent video delivery and cache management
US9804668B2 (en) * 2012-07-18 2017-10-31 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
US20140089467A1 (en) * 2012-09-27 2014-03-27 Andre Beck Content stream delivery using pre-loaded segments
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US20140223502A1 (en) * 2013-02-06 2014-08-07 General Instrument Corporation Method of Operating an IP Client
EP3399763A1 (en) * 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US20140365613A1 (en) * 2013-06-06 2014-12-11 Ericsson Television Inc. Defragmentation of adaptive streaming segment files in a content delivery network
EP3017605B1 (en) * 2013-07-03 2022-12-07 Koninklijke KPN N.V. Streaming of segmented content
EP2833640A1 (en) * 2013-08-02 2015-02-04 British Telecommunications public limited company Video caching
US9444856B2 (en) * 2013-09-25 2016-09-13 Ericsson Ab System and method for managing adjacent channels in an adaptive streaming environment
US10841353B2 (en) * 2013-11-01 2020-11-17 Ericsson Ab System and method for optimizing defragmentation of content in a content delivery network
WO2015197815A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
US9509742B2 (en) * 2014-10-29 2016-11-29 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
CN104486350B (zh) 2014-12-24 2017-11-10 电子科技大学 一种基于用户行为的网络内容加速方法
KR102379530B1 (ko) 2015-01-07 2022-03-29 삼성전자주식회사 통신 시스템에서 미디어 정보를 송수신하는 방법 및 장치
US10721505B2 (en) * 2015-01-21 2020-07-21 Lg Electronic Inc. Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method
CN104618506B (zh) 2015-02-24 2019-09-27 深圳梨享计算有限公司 一种众包的内容分发网络系统、方法与装置
US10375452B2 (en) * 2015-04-14 2019-08-06 Time Warner Cable Enterprises Llc Apparatus and methods for thumbnail generation
WO2016204815A1 (en) 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video streaming using dynamic radio access network information
US10193994B2 (en) 2015-06-18 2019-01-29 Qualcomm Incorporated Signaling cached segments for broadcast
US10096130B2 (en) * 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
US10225546B2 (en) 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US11184624B2 (en) 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10565463B2 (en) 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US10034033B2 (en) * 2016-07-28 2018-07-24 Cisco Technology, Inc. Predictive media distribution system
US20200053394A1 (en) * 2017-03-24 2020-02-13 Sony Corporation Content processing apparatus, content processing method, and program
US10062414B1 (en) * 2017-08-22 2018-08-28 Futurewei Technologies, Inc. Determining a future field of view (FOV) for a particular user viewing a 360 degree video stream in a network

Also Published As

Publication number Publication date
KR20190104147A (ko) 2019-09-06
AU2018207060A1 (en) 2019-06-13
ES2892329T3 (es) 2022-02-03
BR112019014070A2 (pt) 2020-02-04
KR102580982B1 (ko) 2023-09-20
CN110089122B (zh) 2021-12-10
EP3568991B1 (en) 2021-09-01
US20180199075A1 (en) 2018-07-12
EP3568991A1 (en) 2019-11-20
US11290755B2 (en) 2022-03-29
CN110089122A (zh) 2019-08-02
WO2018132319A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
TWI774744B (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
CN110089122B (zh) 用于检索媒体数据的方法、媒体装置及计算机可读存储媒体
CN109076229B (zh) 在图片中最感兴趣的区域
KR102342274B1 (ko) 이미지에서 가장 관심있는 영역의 진보된 시그널링
CN109076238B (zh) 通过http在动态自适应流式传输中用信号传送虚拟现实视频
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
JP6903688B2 (ja) サンプルエントリーおよびランダムアクセス
TW201743614A (zh) 樣本條目及隨機存取
CN110870323B (zh) 使用全向媒体格式处理媒体数据