TW202027512A - 用於媒體資料之網路串流之初始化集合 - Google Patents

用於媒體資料之網路串流之初始化集合 Download PDF

Info

Publication number
TW202027512A
TW202027512A TW108135928A TW108135928A TW202027512A TW 202027512 A TW202027512 A TW 202027512A TW 108135928 A TW108135928 A TW 108135928A TW 108135928 A TW108135928 A TW 108135928A TW 202027512 A TW202027512 A TW 202027512A
Authority
TW
Taiwan
Prior art keywords
media
media data
initialization
data
presented
Prior art date
Application number
TW108135928A
Other languages
English (en)
Other versions
TWI820227B (zh
Inventor
湯瑪士 史塔克漢莫
尼可 康德 隆
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202027512A publication Critical patent/TW202027512A/zh
Application granted granted Critical
Publication of TWI820227B publication Critical patent/TWI820227B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本發明提供一種用於擷取媒體資料之器件,該器件包括一記憶體,其經組態以儲存一媒體呈現之媒體資料;及一個或多個處理器,其實施於電路中且經組態以:擷取該媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合的資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;使用該初始化集合初始化該媒體呈現之該媒體資料的播放;擷取該媒體呈現之該媒體資料;及根據該經初始化之播放呈現該媒體資料。舉例而言,該等初始化參數可指定該媒體呈現之圖像之一最大寬度或一最大高度或該媒體呈現的一最大圖框速率。因此,該等處理器可處理小於或等於該最大寬度/高度之任何大小的圖像或等於或小於該最大圖框速率的媒體資料。

Description

用於媒體資料之網路串流之初始化集合
本發明係關於經編碼媒體資料之儲存及傳送。
數位視訊能力可併入至廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如描述於由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265 (亦稱作高效率視訊寫碼(HEVC))所定義的標準及此類標準之擴展中之彼等技術,從而更高效地傳輸及接收數位視訊資訊。
視訊壓縮技術執行空間預測及/或時間預測以減少或移除為視訊序列所固有之冗餘。對於基於區塊之視訊寫碼,可將視訊框或片段分割成巨集合區塊。可進一步分割每一巨集合區塊。使用相對於相鄰巨集合區塊之空間預測來編碼經框內寫碼(I)之圖框或片段中之巨集合區塊。經框間寫碼(P或B)圖框或片段中之巨集合區塊可使用相對於同一圖框或片段中之相鄰巨集合區塊的空間預測或相對於其他參考圖框之時間預測。
在視訊資料已編碼之後,可將視訊資料封包化以用於傳輸或儲存。可將視訊資料組譯成符合多種標準中之任一者的視訊檔案,該等標準諸如國際標準化組織(ISO)基本媒體檔案格式及其擴展,諸如AVC。
一般而言,本發明描述用於發信一媒體呈現之參數的技術。該等參數可包括於可識別初始化區段之初始化集合中。初始化集合可定義在在該媒體呈現的整個過程中不會被超過的參數。以此方式,一用戶端器件可擷取一次該初始化集合之資料,且使用該初始化集合之該資料初始化各種程序或環境(諸如解密、解碼及再現),而無需在播放用於該媒體呈現之媒體資料期間重複擷取初該始化集合且/或重新初始化此等程序或環境。以此方式,此等技術可改良媒體串流之場,此係因為此等技術可減少與該初始化相關聯之處理週期且藉此減少與呈現該媒體呈現之媒體資料相關聯的潛時。
在一個實例中,一種擷取媒體資料之方法包括:擷取一媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括媒體呈現整個過程中之初始化參數;使用該初始化集合初始化該媒體呈現之媒體資料的播放;擷取該媒體呈現之該媒體資料;以及根據該經初始化之播放呈現該媒體資料。
在另一實例中,一種用於擷取媒體資料之器件包括:一記憶體,其經組態以儲存一媒體呈現之媒體資料;及一個或多個處理器,其實施於電路中且經組態以:擷取該媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合的資料,該初始化集合包括媒體呈現整個過程中之初始化參數;使用該初始化集合初始化該媒體呈現之該媒體資料的播放;擷取該媒體呈現之該媒體資料;且根據該經初始化之播放呈現媒體資料。
在另一實例中,一種電腦可讀儲存媒體上儲存有在經執行時使得一處理器進行以下之指令:擷取一媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;使用該初始化集合初始化該媒體呈現之媒體資料的播放;擷取該媒體呈現之該媒體資料;且根據該經初始化之播放呈現該媒體資料。
在另一實例中,一種用於擷取媒體資料之器件包括:用於擷取一媒體呈現之一資訊清單檔案的構件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;用於使用該初始化集合初始化該媒體呈現之媒體資料之播放的構件;用於擷取該媒體呈現之該媒體資料的構件;及用於根據該經初始化之播放呈現該媒體資料之構件。
在另一實例中,一種發送媒體資料之方法包括:將一媒體呈現之一資訊清單檔案發送至一用戶端器件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;自該用戶端器件接收對該媒體呈現之媒體資料的一請求;以及將該所請求之媒體資料發送至該用戶端器件。
在另一實例中,一種用於發送媒體資料之器件包括:一記憶體,其用於儲存一媒體呈現之媒體資料;及一個或多個處理器,其實施於電路中且經組態以:將該媒體呈現之一資訊清單檔案發送至一用戶端器件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;自該用戶端器件接收對該媒體呈現之媒體資料的一請求;以及將該所請求之媒體資料發送至該用戶端器件。
在另一實例中,一種電腦可讀儲存媒體上儲存有在經執行時使得一處理器進行以下操作之指令:將一媒體呈現之一資訊清單檔案發送至一用戶端器件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;自該用戶端器件接收對該媒體呈現之媒體資料的一請求;且將該所請求之媒體資料發送至該用戶端器件。
在另一實例中,一種用於發送媒體資料之器件包括:用於將一媒體呈現之一資訊清單檔案發送至一用戶端器件的構件,該資訊清單檔案包括一初始化集合的資料,該初始化集合包括該媒體呈現整個過程中之初始化參數;用於自該用戶端器件接收對該媒體呈現之媒體資料的一請求之構件;及用於將該所請求的媒體資料發送至該用戶端器件之構件。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自描述及圖式以及申請專利範圍顯而易見。
本申請案主張2018年10月3日申請的美國臨時申請案第62/740,795 號之權益,該申請案之全部內容特此以引用之方式併入。
一般而言,本發明描述使用例如初始化集合傳輸初始化參數之技術。初始化集合可為一或多個媒體類型指定合適的初始化以用於媒體呈現。因此,媒體呈現之時段應包括在使用初始化集合初始化時可播放之至少一個調適集合。
本發明之技術可應用於符合根據以下各者中之任一者囊封之視訊資料的視訊檔案:ISO基本媒體檔案格式、可縮放視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式及/或多視圖視訊編碼(MVC)檔案格式或其他類似視訊檔案格式。
在HTTP串流中,頻繁使用之操作包括HEAD、GET及部分GET。HEAD操作擷取與給定的統一資源定位符(URL)或統一資源名稱(URN)相關聯之檔案的標頭,但不擷取與URL或URN相關聯之有效負載。GET操作擷取與給定URL或URN相關聯之整個檔案。部分GET操作接收位元組範圍作為輸入參數且擷取檔案之連續數目個位元組,其中位元組之數目對應於所接收位元組範圍。因此,可提供電影片段以用於HTTP串流,此係因為部分GET操作可得到一或多個單獨的電影片段。在電影片段中,能夠存在不同播放軌之若干播放軌片段。在HTTP串流中,媒體呈現可為用戶端可存取之資料的結構化合集合。用戶端可請求且下載媒體資料資訊以向使用者呈現串流服務。
在使用HTTP串流來串流3GPP資料之實例中,可能存在針對多媒體內容之視訊及/或音訊資料的多個表示。如下文所解釋,不同表示可對應於不同寫碼特性(例如,視訊寫碼標準之不同設定檔或層級)、不同寫碼標準或寫碼標準之擴展(諸如多視圖及/或可縮放擴展)或不同位元率。此類表示之資訊清單可在媒體呈現描述(MPD)資料結構中定義。媒體呈現可對應於HTTP串流用戶端器件可存取之資料的結構化合集合。HTTP串流用戶端器件可請求且下載媒體資料資訊以向用戶端器件之使用者呈現串流服務。媒體呈現可在MPD資料結構中描述,MPD資料結構可包括MPD之更新。
媒體呈現可含有一或多個時段之序列。每一時段可擴展直至下一時段開始為止,或在最末時段的情況下,直至媒體呈現結束為止。每一時段可含有同一媒體內容之一或多個表示。表示可為音訊、視訊、計時文字或其他此類資料之多個替代性經編碼版本中之一者。表示可因編碼類型而異(例如,對於視訊資料,因位元率、解析度及/或編解碼器而異,及對於音訊資料,因位元率、語言及/或編解碼器而異)。術語表示可用以指經編碼音訊或視訊資料的對應於多媒體內容之特定時段且以特定方式編碼之部分。
特定時段之表示可指派給由MPD中之屬性指示之群組,該屬性指示表示所屬之調適集合。相同調適集合中之表示通常被視為彼此之替代例,此係因為用戶端器件可在此等表示之間動態地且順暢地切換,例如以執行頻寬調適。舉例而言,特定時段之視訊資料之每一表示可指派給相同調適集合,以使得可選擇該等表示中之任一者進行解碼以呈現對應時段之多媒體內容的媒體資料(諸如視訊資料或音訊資料)。在一些實例中,一個時段內之媒體內容可由來自群組0 (若存在)之一個表示來表示,或由來自每一非零群組的至多一個表示之組合來表示。時段之每一表示之時序資料可相對於該時段之開始時間來表述。
表示可包括一或多個區段。每一表示可包括初始化區段,或表示之每一區段可自初始化。在存在時,初始化區段可含有用於存取表示之初始化資訊。一般而言,初始化區段不含有媒體資料。區段可由識別符唯一地參考,諸如統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI)。MPD可為每一區段提供識別符。在一些實例中,MPD亦可提供呈範圍屬性之形式的位元組範圍,該等範圍屬性可對應於可由URL、URN或URI存取之檔案內之區段的資料。
可選擇不同表示以用於大體上同時擷取不同類型之媒體資料。舉例而言,用戶端器件可選擇音訊表示、視訊表示及計時文字表示,自該等表示擷取區段。在一些實例中,用戶端器件可選擇特定調適集合以用於執行頻寬調適。亦即,用戶端器件可選擇包括視訊表示之調適集合、包括音訊表示之調適集合及/或包括計時文字之調適集合。替代地,用戶端器件可選擇用於特定類型媒體(例如視訊)之調適集合,且直接選擇用於其他類型之媒體(例如音訊及/或計時文字)的表示。
圖1為說明根據本發明之技術的實施用於經由網路串流傳輸媒體資料之技術之實例系統10的方塊圖。在此實例中,系統10包括內容準備器件20、伺服器器件60及用戶端器件40。用戶端器件40及伺服器器件60藉由網路74以通信方式耦接,該網路可包含網際網路。在一些實例中,內容準備器件20與伺服器器件60亦可藉由網路74或另一網路耦接,或可直接以通信方式耦接。在一些實例中,內容準備器件20及伺服器器件60可包含相同器件。
在圖1之實例中,內容準備器件20包含音訊源22及視訊源24。音訊源22可包含(例如)麥克風,其產生表示待藉由音訊編碼器26編碼之所俘獲音訊資料的電信號。或者,音訊源22可包含儲存媒體(其儲存先前記錄之音訊資料)、音訊資料產生器(諸如電腦化之合成器)或任何其他音訊資料源。視訊源24可包含:視訊攝影機,其產生待藉由視訊編碼器28編碼之視訊資料;儲存媒體,其編碼有先前記錄之視訊資料;視訊資料產生單元,諸如電腦圖形源;或任何其他視訊資料源。內容準備器件20未必在所有實例中均以通信方式耦接至伺服器器件60,而可將多媒體內容儲存至由伺服器器件60讀取之單獨媒體。
原始音訊及視訊資料可包含類比或數位資料。類比資料可在由音訊編碼器26及/或視訊編碼器28編碼前經數位化。音訊源22可在說話參與者正在說話時自說話參與者獲得音訊資料,且視訊源24可同時獲得該說話參與者之視訊資料。在其他實例中,音訊源22可包含含有所儲存之音訊資料的電腦可讀儲存媒體,且視訊源24可包含含有所儲存之視訊資料的電腦可讀儲存媒體。以此方式,本發明中所描述之技術可應用於即時、串流、即時音訊及視訊資料或所存檔的、預先記錄的音訊及視訊資料。
對應於視訊框之音訊框通常為含有藉由音訊源22俘獲(或產生)之音訊資料的音訊框,音訊資料同時伴隨含於視訊框內的藉由視訊源24俘獲(或產生)之視訊資料。舉例而言,當說話參與者通常藉由說話而產生音訊資料時,音訊源22俘獲音訊資料,且視訊源24同時,亦即在音訊源22正俘獲音訊資料的同時俘獲說話參與者之視訊資料。從而,音訊框在時間上可對應於一或多個特定視訊框。因此,對應於視訊框之音訊框大體上對應於同時俘獲到的音訊資料及視訊資料且音訊框及視訊框分別包含同時俘獲到的音訊資料及視訊資料的情形。
在一些實例中,音訊編碼器26可編碼每一經編碼音訊框中表示記錄經編碼音訊框之音訊資料之時間的時戳,且類似地,視訊編碼器28可編碼每一經編碼視訊框中表示記錄經編碼視訊框之視訊資料之時間的時戳。在此等實例中,對應於視訊框之音訊框可包含:包含時戳之音訊框及包含同一時戳之視訊框。內容準備器件20可包括內部時脈,音訊編碼器26及/或視訊編碼器28可根據該內部時脈產生時戳,或音訊源22及視訊源24可使用該內部時脈以分別使音訊資料及視訊資料與時戳相關聯。
在一些實例中,音訊源22可向音訊編碼器26發送對應於記錄音訊資料之時間的資料,且視訊源24可向視訊編碼器28發送對應於記錄視訊資料之時間的資料。在一些實例中,音訊編碼器26可對經編碼音訊資料中之序列識別符進行編碼以指示經編碼音訊資料之相對時間排序,但未必指示記錄音訊資料之絕對時間,且相似地,視訊編碼器28亦可使用序列識別符來指示經編碼視訊資料之相對時間排序。類似地,在一些實例中,序列識別符可映射或以其它方式與時戳相關。
音訊編碼器26通常產生經編碼音訊資料之串流,而視訊編碼器28產生經編碼視訊資料之串流每一個別資料串流(不論音訊或視訊)可被稱作基本串流。基本串流為表示之單個的經數位寫碼(可能經壓縮)之分量。舉例而言,表示之經寫碼視訊或音訊部分可為基本串流。基本流可在被囊封於視訊檔案內之前被轉換成封包化基本流(PES)。在相同表示內,可使用串流ID來區分屬於一個基本流的PES封包與屬於其它基本流的PES封包。基本串流之資料之基本單元為封包化基本串流(PES)封包。因此,經寫碼視訊資料大體對應於基本視訊串流。類似地,音訊資料對應於一或多個各別基本串流。
許多視訊寫碼標準(諸如,ITU-T H.264/AVC及即將來臨的高效視訊寫碼(HEVC)標準)定義無誤差位元串流之語法、語義及解碼程序,該等無誤差位元串流中之任一者符合特定設定檔或層級。視訊寫碼標準通常並不指明編碼器,但編碼器具有保證所產生之位元串流對於解碼器而言係標準相容之任務。在視訊寫碼標準之內容脈絡中,「設定檔」對應於演算法、特徵或工具及施加至演算法、特徵或工具之約束的子集合。如藉由例如H.264標準所定義,「設定檔」為由H.264標準指定的完整位元串流語法之子集合。「層級」對應於解碼器資源消耗,諸如(例如),解碼器記憶體及計算之限制,該等限制係關於圖像解析度、位元率及區塊處理速率。設定檔可用設定檔指示符(profile_idc)值傳信,而層級可用層級指示符(level_idc)值傳信。
舉例而言,H.264標準認為,在由給定設定檔之語法所強加的界限內,仍然可能要求編碼器及解碼器之效能有較大變化,此取決於位元串流中之語法元素(諸如,經解碼圖像之指定大小)所取的值。H.264標準進一步認為,在許多應用中,實施能夠處理特定設定檔內之語法之所有假設使用的解碼器既不實際又不經濟。因此,H.264標準將「層級」定義為強加於位元串流中之語法元素之值的約束之指定集合。此等約束可為對值的簡單限制。或者,此等約束條件可呈對值之算術組合(例如,圖像寬度乘以圖像高度乘以每秒解碼的圖像數目)之約束的形式。H.264標準進一步規定,個別實施對於每一所支援設定檔可支援不同層級。
符合設定檔之解碼器一般支援設定檔中所定義之所有特徵。舉例而言,作為寫碼特徵,B圖像寫碼在H.264/AVC之基線設定檔不被支援,但在H.264/AVC之其他設定檔中被支援。符合一層級之解碼器應能夠解碼不需要超出該層級中所定義之限制的資源之任何位元串流。設定檔及層級之定義可有助於解譯。舉例而言,在視訊傳輸期間,可針對整個傳輸工作階段協商及同意一對設定檔定義及層級定義。更確切地說,在H.264/AVC中,舉例來說,水平可以定義需要處理的宏塊數目、經解碼圖像緩衝器(DPB)大小、經寫碼圖像緩衝器(CPB)大小、垂直運動向量範圍、每兩個連續MB的運動向量的最大數目和B塊是否可以具有小於8x8像素的子宏塊分區的限制。以此方式,解碼器可判定解碼器是否能夠適當地對位元流進行解碼。
在圖1之實例中,內容準備器件20之囊封單元30自視訊編碼器28接收包含經寫碼視訊資料之基本串流且自音訊編碼器26包含經寫碼視訊資料之基本串流。在一些實例中,視訊編碼器28及音訊編碼器26可各自包括用於自經編碼資料形成PES封包之封包化器。在其他實例中,視訊編碼器28及音訊編碼器26可各自與用於自經編碼資料形成PES封包之各別封包化器介接。在另外其他實例中,囊封單元30可包括用於自經編碼音訊及視訊資料形成PES封包之封包化器。
視訊編碼器28可以多種方式對多媒體內容之視訊資料進行編碼,從而以各種位元率且以各種特性產生多媒體內容之不同表示,該等特性諸如像素解析度、圖框速率、對各種寫碼標準之符合性、對各種寫碼標準之各種設定檔及/或設定檔層級之符合性、具有一或多個視圖之表示(例如,對於二維或三維播放)或其他此類特性。如本發明中所使用,表示可包含音訊資料、視訊資料、文字資料(例如,用於封閉字幕)或其他此資料中之一者。表示可包括諸如音訊基本串流或視訊基本串流之基本串流。每一PES封包可包括stream_id,該stream_id 識別PES封包所屬之基本串流。囊封單元30負責將基本串流組譯成各種表示之視訊檔案(例如,區段)。
囊封單元30自音訊編碼器26及視訊編碼器28接收表示之基本串流的PES封包且自該等PES封包形成對應的網路抽象層(NAL)單元。編碼視訊區段可經組織成NAL單元,其提供「網路友好」視訊表示定址應用程式,諸如視訊電話、儲存器、廣播或串流。NAL單元可分類為視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL單元可含有核心壓縮引擎,且可包括區塊、巨集合區塊及/或圖塊層級資料。其他NAL單元可為非VCL NAL單元。在一些實例中,一個時間執行個體中之經寫碼圖像(通常呈現為初級經編碼圖像)可含於存取單元中,該存取單元可包括一或多個NAL單元。
非VCL NAL單元可尤其包括參數集合NAL單元及SEI NAL單元。參數集合可含有序列層級標頭資訊(在序列參數集合(SPS)中)及不頻繁改變的圖像層級標頭資訊(在圖像參數集合(PPS)中)。對於參數集合(例如,PPS及SPS),不頻繁改變的資訊不需要針對每一序列或圖像重複;因此,可改良寫碼效率。此外,使用參數集合可實現重要標頭資訊之頻帶外傳輸,從而避免需要冗餘傳輸以用於錯誤恢復。在頻帶外傳輸實例中,參數集合NAL單元可在與諸如SEI NAL單元之其他NAL單元不同之頻道上傳輸。
補充增強資訊(SEI)可含有對於對來自VCL NAL單元之經寫碼圖像樣本進行解碼並非必需的資訊,但可輔助與解碼、顯示、抗誤碼及其他目的相關的過程。SEI訊息可含於非VCL NAL單元中。SEI訊息為一些標準規範之標準化部分,且因此對於標準相容之解碼器實施並非始終係必選的。SEI訊息可為序列層級SEI訊息或圖像層級SEI訊息。某一序列層級資訊可含於SEI訊息中,諸如SVC之實例中的可縮放性資訊SEI訊息,及MVC中的視圖可縮放性資訊SEI訊息。此等實例SEI訊息可傳達關於(例如)操作點之提取及操作點之特性的資訊。另外,囊封單元30可形成資訊清單檔案,諸如描述表示之特性的媒體呈現描述符(MPD)。囊封單元30可根據可擴展標記語言(XML)來格式化MPD。
囊封單元30可向輸出介面32提供多媒體內容之一或多個表示的資料以及資訊清單檔案(例如,MPD)。輸出介面32可包含網路介面或用於對儲存媒體進行寫入之介面,諸如通用串列匯流排(USB)介面、CD或DVD寫入器或燒錄器、至磁性或快閃儲存媒體之介面,或用於儲存或傳輸媒體資料之其他介面。囊封單元30可將多媒體內容之表示中之每一者的資料提供至輸出介面32,該輸出介面可經由網路傳輸或儲存媒體將該資料發送至伺服器器件60。在圖1之實例中,伺服器器件60包括儲存各種多媒體內容64之儲存媒體62,每一多媒體內容包括各別資訊清單檔案66及一或多個表示68A至68N (表示68)。在一些實例中,輸出介面32亦可將資料直接發送至網路74。
在一些實例中,表示68可分成若干調適集合。亦即,表示68之各種子集合可包括各別共同特性集合,諸如編解碼器、設定檔及層級、解析度、視圖數目、區段之檔案格式、可識別待與待解碼及呈現之表示及/或音訊資料(例如,由揚聲器發出)一起顯示的文字之語言或其他特性的文字類型資訊、可描述對於調適集合中之表示之場景的攝影機角度或真實世界攝影機視角的攝影機角度資訊、描述對於特定觀眾之內容適合性的分級資訊,或其類似資訊。
資訊清單檔案66可包括指示對應於特定調適集合之表示68之子集合以及該等調適集合之共同特性的資料。資訊清單檔案66亦可包括表示調適集合之個別表示的個別特性(諸如位元率)之資料。以此方式,調適集合可提供簡化的網路頻寬調適。調適集合中之表示可使用資訊清單檔案66之調適集合元素的子代元素來指示。
伺服器器件60包括請求處理單元70及網路介面72。在一些實例中,伺服器器件60可包括複數個網路介面。此外,伺服器器件60之特徵中之任一者或全部可在內容遞送網路之其他器件(諸如,路由器、橋接器、代理器件、交換器或其他器件)上實施。在一些實例中,內容傳遞網路之中間器件可快取多媒體內容64之資料,且包括大體上符合伺服器器件60之組件的組件。一般而言,網路介面72經組態以經由網路74發送及接收資料。
請求處理單元70經組態以自諸如用戶端器件40之用戶端器件接收對儲存媒體62之資料的網路請求。舉例而言,請求處理單元70可實施超文字傳送協定(HTTP)版本1.1,如R.Fielding等人,網路工作組,IETF,1999年6月在RFC 2616,「Hypertext Transfer Protocol - HTTP/1.1」中所描述。亦即,請求處理單元70可經組態以接收HTTP GET或部分GET請求,且回應於該等請求而提供多媒體內容64之資料。請求可指明表示68中之一者的區段,例如使用區段之URL。在一些實例中,該等請求亦可指定區段之一或多個位元組範圍,因此包含部分GET請求。請求處理單元70可經進一步組態以服務於HTTP HEAD請求以提供表示68中之一者之區段的標頭資料。在任何情況下,請求處理單元70可經組態以處理請求以向諸如用戶端器件40之請求器件提供所請求之資料。
另外地或替代性地,請求處理單元70可經組態以經由諸如eMBMS之廣播或多播協定而遞送媒體資料。內容準備器件20可用與所描述大體上相同的方式產生DASH區段及/或子區段,但伺服器器件60可使用eMBMS或另一廣播或多播網路傳送協定來遞送此等區段或子區段。舉例而言,請求處理單元70可經組態以自用戶端器件40接收多播群組加入請求。亦即,伺服器器件60可向客戶端器件(包括用戶端器件40)廣告與多播群組相關聯之網際網路協定(IP)位址,其與特定媒體內容(例如,實況事件之廣播)相關聯。用戶端器件40轉而可提交加入多播群組之請求。此請求可遍及網路74,例如,構成網路74之路由器傳播,以使得該等路由器將去往與多播群組相關聯之IP位址的訊務導向訂用的用戶端器件,諸如用戶端器件40。
如圖1之實例中所說明,多媒體內容64包括資訊清單檔案66,該資訊清單檔案可對應於一媒體呈現描述(MPD)。資訊清單檔案66可含有不同替代表示68 (例如,具有不同品質之視訊服務)的描述,且該描述可包括(例如)編解碼器資訊、設定檔值、層級值、位元率及表示68之其他描述性特性。用戶端器件40可擷取媒體呈現之MPD以判定如何存取表示68之區段。
特定而言,擷取單元52可擷取用戶端器件40之組態資料(未展示)以判定視訊解碼器48之解碼能力及視訊輸出端44之再現能力。組態資料亦可包括由用戶端器件40之使用者選擇的語言偏好中之任一者或全部、對應於由用戶端器件40之使用者設定的深度偏好之一或多個攝影機視角及/或由用戶端器件40之使用者選擇的分級偏好。舉例而言,擷取單元52可包含網頁瀏覽器或媒體用戶端,其經組態以提交HTTP GET及部分GET請求。擷取單元52可對應於由用戶端器件40之一或多個處理器或處理單元(未展示)執行的軟體指令。在一些實例中,關於擷取單元52所描述的功能性之全部或部分可在硬體或硬體、軟體及/或韌體之組合中實施,其中可提供必需的硬體以執行軟體或韌體之指令。
擷取單元52可將用戶端器件40之解碼及再現能力與由資訊清單檔案66之資訊所指示的表示68之特性進行比較。擷取單元52可最初擷取清單檔案66之至少一部分以判定表示68之特性。舉例而言,擷取單元52可請求描述一或多個調適集合之特性的資訊清單檔案66之一部分。擷取單元52可選擇具有可由用戶端器件40之寫碼及再現能力滿足的特性之表示68之子集合(例如調適集合)。擷取單元52可接著判定用於調適集合中之表示的位元率,判定網路頻寬之當前可用量,且自具有藉由網路頻寬可滿足之位元率的表示中之一者的擷取區段。
一般而言,較高位元率表示可產生較高品質之視訊播放,而較低位元率表示可在可用網路頻寬減少時提供足夠品質之視訊播放。因此,當可用網路頻寬相對高時,擷取單元52可自相對高位元率之表示擷取資料,而當可用網路頻寬較低時,擷取單元52可自相對低位元率之表示擷取資料。以此方式,用戶端器件40可經由網路74串流多媒體資料,同時亦適應網路74之改變的網路頻寬可用性。
另外或替代地,擷取單元52可經組態以根據諸如eMBMS或IP多播之廣播或多播網路協定來接收資料。在此等實例中,擷取單元52可提交加入與特定媒體內容相關聯之多播網路群組的請求。在加入多播群組後,擷取單元52可接收多播群組之資料,而無發出至伺服器器件60或內容準備器件20之進一步請求。擷取單元52可提交當不再需要多播群組之資料時離開多播群組之請求,例如,以停止播放或將頻道改變至不同多播群組。
網路介面54可接收並提供選定表示之片段之資料至擷取單元52,該擷取單元又可將片段提供至解囊封單元50。解囊封單元50可將一視訊檔案之元素解囊封成構成之PES流,解封包化該等PES流以擷取經編碼資料,且將經編碼資料發送至音訊解碼器46或視訊解碼器48,此取決於經編碼資料為音訊抑或視訊流之部分,例如,如由該流之PES封包標頭指示。音訊解碼器46解碼經編碼音訊資料,且將經解碼音訊資料發送至音訊輸出端42,而視訊解碼器48解碼經編碼視訊資料,且將經解碼視訊資料發送至視訊輸出端44,經解碼視訊資料可包括串流之複數個視圖。
視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、擷取單元52及解囊封單元50各自可實施為適用的多種合適處理電路系統中之任一者,合適處理電路系統諸如一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器28及視訊解碼器48中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(CODEC)之部分。同樣地,音訊編碼器26及音訊解碼器46中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式CODEC之部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、擷取單元52及/或解囊封單元50的裝置可包含積體電路、微處理器及/或無線通信器件,諸如蜂巢式電話。
用戶端器件40、伺服器器件60及/或內容準備器件20可經組態以根據本發明之技術操作。出於實例之目的,本發明描述關於用戶端器件40及伺服器器件60之此等技術。然而,應理解,替代伺服器器件60 (或除了伺服器器件60之外),內容準備器件20可經組態以執行此等技術。
囊封單元30可形成NAL單元,該等NAL單元包含識別NAL所屬之程式的標頭,以及有效負載,例如音訊資料、視訊資料或描述NAL單元對應於的傳送或程式串流的資料。舉例而言,在H.264/AVC中,NAL單元包括1位元組標頭及具有不同大小之有效負載。在有效負載中包括視訊資料之NAL單元可包含各種粒度等級之視訊資料。舉例而言,NAL單元可包含視訊資料區塊、複數個區塊、視訊資料之片段或視訊資料之完整圖像。囊封單元30可自視訊編碼器28接收呈基本串流之PES封包之形式的經編碼視訊資料。囊封單元30可使每一基本串流與對應程序相關聯。
囊封單元30亦可組譯來自複數個NAL單元之存取單元。一般而言,存取單元可包含用於表示視訊資料之圖框以及對應於該圖框之音訊資料(當此音訊資料為可用時)的一或多個NAL單元。存取單元大體上包括用於一個輸出時間執行個體之所有NAL單元,例如,用於一時間執行個體之所有音訊及視訊資料。舉例而言,若每一視圖具有20圖框每秒(fps)之圖框速率,則隨後每一時間執行個體可對應於0.05秒之時間間隔。在此時間間隔期間,可同時再現相同存取單元(相同時間執行個體)之所有視圖的指定圖框。在一個實例中,存取單元可包含一個時間執行個體中之經寫碼圖像,其可呈現為初級經寫碼圖像。
因此,存取單元可包含共同時間執行個體之所有音訊框及視訊框,例如對應於時間X之所有視圖。本發明亦將特定視圖之經編碼圖像稱作「視圖分量」。亦即,視圖分量可包含在特定時間針對特定視圖的經編碼圖像(或圖框)。因此,存取單元可被定義為包含共同時間執行個體之所有視圖分量。存取單元之解碼次序未必與輸出或顯示次序相同。
媒體呈現可包括媒體呈現描述(MPD),該媒體呈現描述可含有不同替代表示(例如,具有不同品質之視訊服務)的描述,且該描述可包括例如編解碼器資訊、設定檔值及層級值。MPD為資訊清單檔案(諸如,資訊清單檔案66)之一個實例。用戶端器件40可擷取媒體呈現之MPD以判定如何存取各種呈現之電影片段。電影片段可位於視訊檔案之電影片段邏輯框(moof邏輯框)中。
資訊清單檔案66 (其可包含例如MPD)可廣告表示68之區段之可用性。亦即,MPD可包括指示表示68中之一者之第一區段變得可用時之掛鐘時間的資訊,以及指示表示68內之區段之持續時間的資訊。以此方式,用戶端器件40之擷取單元52可基於開始時間以及在特定區段之前的區段之持續時間而判定何時每一區段可獲得。
在囊封單元30已基於所接收之資料將NAL單元及/或存取單元組譯成視訊檔案之後,囊封單元30將視訊檔案傳遞至輸出介面32以供輸出。在一些實例中,囊封單元30可將視訊檔案儲存在本端,或經由輸出介面32而將視訊檔案發送至遠端伺服器,而非將視訊檔案直接發送至用戶端器件40。輸出介面32可包含(例如)傳輸器、收發器、用於將資料寫入至電腦可讀媒體之器件(諸如光碟機、磁性媒體驅動器(例如軟碟機))、通用串列匯流排(USB)埠、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出至電腦可讀媒體,諸如傳輸信號、磁性媒體、光學媒體、記憶體、隨身碟或其他電腦可讀媒體。
網路介面54可經由網路74接收NAL單元或存取單元,且經由擷取單元52將NAL單元或存取單元提供至解囊封單元50。解囊封單元50可將視訊檔案之元素解囊封成組成性PES串流,解封包化該等PES串流以擷取經編碼資料,且取決於經編碼資料是否為音訊串流抑或視訊串流之部分,例如,如由串流之PES封包標頭所指示,而將經編碼資料發送至音訊解碼器46或視訊解碼器48。音訊解碼器46解碼經編碼音訊資料,且將經解碼音訊資料發送至音訊輸出端42,而視訊解碼器48解碼經編碼視訊資料,且將經解碼視訊資料發送至視訊輸出端44,經解碼視訊資料可包括串流之複數個視圖。
內容準備器件20可在表示68及/或媒體呈現之調適集合之間判定媒體呈現(例如多媒體內容64)之各種最大或不變參數。舉例而言,內容準備器件20可跨表示68及/或調適集合判定用於媒體呈現之圖像的最大寬度及最大高度。作為另一實例,內容準備器件20可跨表示68及/或調適集合判定用於視訊之最大圖框速率。內容準備器件20可為每種類型之媒體資料(例如視訊、音訊、計時文字或類似者)建構初始化區段,以使得初始化區段之資料可用以根據經判定之最大值(寬度、高度、圖框速率等)初始化所有媒體呈現的表示68。
以此方式,用戶端器件40可使用一次初始化區段初始化媒體呈現之播放,且接著能夠在不重新初始化的情況下自任何調適集合之後執行任何表示之媒體資料的播放。
內容準備器件20可進一步發信識別資訊清單檔案66中之初始化區段的資料。舉例而言,內容準備器件20可建構資訊清單檔案66以包括發信各種初始化參數(例如最大寬度、最大高度、最大圖框速率等)以及初始化區段之統一資源定位符(URL)的初始化集合。
因此,用戶端器件40可能擷取資訊清單檔案66、判定初始化區段之方位、擷取初始化區段且接著初始化媒體呈現(例如多媒體內容64)之媒體資料的播放。用戶端器件40在不重新初始化的情況下擷取表示68中之任一者的媒體資料及執行媒體資料的播放。舉例而言,表示68A可具有具有指定最大寬度及最大高度及/或可具有最大圖框速率之圖像。表示68N可具有小於指定最大寬度及最大高度及/或可具有小於最大圖框速率之圖像。用戶端器件40可在第一播放時間擷取(且伺服器器件60及/或內容準備器件20可發送)表示68A的媒體資料且在第二不同播放時間擷取表示68N的媒體資料。然而,用戶端器件40可執行媒體資料之兩個集合(亦即自表示68A及表示68N兩者)的播放,而不執行重新初始化。
以此方式,用戶端器件40表示用於擷取媒體資料之器件之實例包括:記憶體,其經組態以儲存媒體呈現之媒體資料;及一個或多個處理器,其實施於電路中且經組態以:擷取媒體呈現之資訊清單檔案,資訊清單檔案包括用於初始化集合的資料,初始化集合包括媒體呈現整個過程中之初始化參數;使用初始化集合初始化媒體呈現之媒體資料的播放;擷取媒體呈現之媒體資料;及根據該經初始化之播放呈現媒體資料。
同樣地,內容準備器件20及伺服器器件60表示用於發送媒體資料之器件的實例包括:用於儲存媒體呈現之媒體資料的記憶體;及實施於電路中之一個或多個處理器且經組態以:將媒體呈現之資訊清單檔案發送至用戶端器件,資訊清單檔案包括用於初始化集合之資料,初始化集合包括媒體呈現整個過程中之初始化參數;自用戶端器件接收對媒體呈現之媒體資料的請求;及將所請求之媒體資料發送至用戶端器件。
圖2為更詳細地說明圖1之擷取單元52之實例組件集合之方塊圖。在此實例中,擷取單元52包括eMBMS中間軟體單元100、DASH用戶端110及媒體應用程式112。
在此實例中,eMBMS中間軟體單元100進一步包括eMBMS接收單元106、快取記憶體104及代理伺服器單元102。在此實例中,eMBMS接收單元106經組態以經由eMBMS例如根據T.Paila等人在「FLUTE-File Delivery over Unidirectional Transport」 (網路工作群組,RFC 6726,2012年11月,可於tools.ietf.org/html/rfc6726獲得)中所描述的經由單向傳送之檔案遞送(FLUTE)接收資料。亦即,eMBMS接收單元106可經由廣播自例如伺服器器件60接收檔案,該伺服器器件60可充當廣播/多播服務中心(BM-SC)。
當eMBMS中間軟體單元100接收用於檔案之資料時,eMBMS中間軟體單元可將接收之資料儲存於快取記憶體104中。快取記憶體104可包含電腦可讀儲存媒體,諸如,快閃記憶體、硬碟、RAM或任何其他合適之儲存媒體。
代理伺服單元102可充當用於DASH用戶端110之伺服器。舉例而言,代理伺服單元102可將MPD檔案或其他資訊清單檔案提供至DASH用戶端110。代理伺服單元102可廣告用於MPD檔案中之區段的可用性時間,以及可擷取區段之超鏈接。此等超鏈接可包括對應於用戶端器件40之本端主機位址首碼(例如,IPv4之127.0.0.1)。以此方式,DASH用戶端110可使用HTTP GET或部分GET請求自代理伺服器單位102請求片段。舉例而言,對於可自鏈接http://127.0.0.1/rep1/seg3獲得之片段,DASH用戶端110可建構包括對http://127.0.0.1/rep1/seg3之請求的HTTP GET請求,且將請求提交至代理伺服器單元102。代理伺服器單元102可自快取記憶體104擷取所請求之資料且回應於此類請求而將資料提供至DASH用戶端110。
圖3為說明實例多媒體內容120之元素的概念圖。多媒體內容120可對應於多媒體內容64 (圖1),或對應於儲存於儲存媒體62中之另一多媒體內容。在圖3之實例中,多媒體內容120包括媒體呈現描述(MPD) 122及複數個表示124A至124N (表示124)。表示124A包括可選標頭資料126及區段128A至128N (區段128),而表示124N包括可選標頭資料130及區段132A至132N (區段132)。為方便起見,使用字母N來指定表示124中之每一者中的最後一個電影片段。在一些實例中,表示124之間可存在不同數目之電影片段。
MPD 122可包含與表示124分開之資料結構。MPD 122可對應於圖1之資清單檔案66。同樣地,表示124可對應於圖1之表示68。一般而言,MPD 122可包括大體上描述表示124之特性的資料,諸如寫碼及再現特性、調適集合、MPD 122所對應之設定檔、文字類型資訊、攝影機角度資訊、分級資訊、特技模式資訊(例如,指示包括暫態子序列之表示的資訊)及/或用於擷取遠端時段(例如,用於在播放期間將針對性廣告插入至媒體內容中)之資訊。
標頭資料126 (若存在)可描述區段128之特性,例如,隨機存取點(RAP,其亦被稱作串流存取點(SAP))之時間位置、區段128中之哪一者包括隨機存取點、與區段128內之隨機存取點之位元組偏移、區段128之統一資源定位符(URL),或區段128之其他態樣。標頭資料130 (若存在)可描述區段132之相似特性。另外或替代地,此等特性可完全包括於MPD 122內。
區段128、132包括一或多個經寫碼視訊樣本,其中之每一者可包括視訊資料之圖框或圖塊。區段128之經寫碼視訊樣本中之每一者可具有類似特性,例如,高度、寬度及頻寬要求。此類特性可藉由MPD 122之資料來描述,儘管此資料在圖3之實例中未說明。MPD 122可包括如3GPP規範所描述之特性,並且添加了本發明中所描述的發信資訊中之任一者或全部。
區段128、132中之每一者可與唯一的統一資源定位符(URL)相關聯。因此,區段128、132中之每一者可使用串流傳輸網路協定(諸如DASH)來獨立地擷取。以此方式,諸如用戶端器件40之目的地器件可使用一HTTP GET請求來擷取區段128或132。在一些實例中,用戶端器件40可使用HTTP部分GET請求以擷取區段128或132之特定位元組範圍。
根據本發明之技術,MPD 122可包括初始化集合,如下文更詳細地論述。初始化集合可指定可以用於表示124中之任一者之初始化播放的初始化參數,亦即,區段128、132中之任一者的媒體資料。舉例而言,初始化集合可指定表示124(亦即,區段128、132)之圖像的最大寬度及最大高度。另外或替代地,作為另一實例,初始化集合可指定表示124之最大圖框速率。因此,表示124中之每一者可具有等於或低於最大圖框速率之圖框速率。同樣地,表示124中之每一者可包括具有小於或等於最大寬度及/或最大高度的圖像。
圖4為說明實例視訊檔案150之元素的方塊圖,實例視訊檔案可對應於表示之區段,諸如圖3的區段128、132中之一者。區段128、132中之每一者可包括大體上符合圖4之實例中所說明之資料之佈置的資料。視訊檔案150可稱為囊封區段。如上所述,根據ISO基本媒體檔案格式及其擴展的視訊檔案將資料儲存於一系列對象(稱為「邏輯框」)中。在圖4之實例中,視訊檔案150包括檔案類型(FTYP)邏輯框152、電影(MOOV)邏輯框154、區段索引(sidx)邏輯框162、電影片段(MOOF)邏輯框164及電影片段隨機存取(MFRA)邏輯框166。儘管圖4表示視訊檔案之實例,但應理解,根據ISO基本媒體檔案格式及其擴展,其他媒體檔案可包括其他類型之媒體資料(例如,音訊資料、計時文字資料或其類似者),其在結構上類似於媒體檔案150之資料。
檔案類型(FTYP)框152大體描述用於視訊檔案150之一檔案類型。檔案類型框152可包括識別描述用於視訊檔案150之最佳用途的規範之資料。檔案類型框152可替代地置放於MOOV框154、電影片段框164及/或MFRA框166前。
在一些實例中,諸如視訊檔案150之區段可包括在FTYP邏輯框152前之MPD更新邏輯框(未圖示)。MPD更新框可包括指示待更新對應於包括視訊檔案150之表示的MPD之資訊,連同用於更新該MPD之資訊。舉例而言,MPD更新邏輯框可提供待用以更新MPD之資源的URI或URL。作為另一實例,MPD更新邏輯框可包括用於更新MPD之資料。在一些實例中,MPD更新邏輯框可緊接在視訊檔案150之區段類型(STYP)邏輯框(未圖示)之後,其中STYP邏輯框可定義視訊檔案150之區段類型。
在圖4之實例中,MOOV邏輯框154包括電影標頭(MVHD)邏輯框156、播放軌(TRAK)邏輯框158及一或多個電影擴展(MVEX)邏輯框160。一般而言,MVHD邏輯框156可描述視訊檔案150之一般特性。舉例而言,MVHD邏輯框156可包括描述視訊檔案150何時最初創建、視訊檔案150何時經最後修改、視訊檔案150之時間標度、視訊檔案150之播放的持續時間之資料,或大體上描述視訊150之其他資料。
TRAK邏輯框158可包括用於視訊檔案150之播放軌之資料。TRAK邏輯框158可包括描述對應於TRAK邏輯框158之播放軌的特性之播放軌標頭(TKHD)邏輯框。在一些實例中,TRAK邏輯框158可包括經寫碼視訊圖像,而在其他實例中,該播放軌之經寫碼視訊圖像可包括於電影片段164中,電影片段可由TRAK邏輯框158及/或sidx邏輯框162之資料參考。
在一些實例中,視訊檔案150可包括一個以上播放軌。因此,MOOV邏輯框154可包括等於視訊檔案150中的播放軌之數目的多個TRAK邏輯框。TRAK邏輯框158可描述視訊檔案150之對應播放軌之特性。舉例而言,TRAK邏輯框158可描述用於對應播放軌之時間及/或空間資訊。當囊封單元30 (圖3)包括諸如視訊檔案150之視訊檔案中之參數集合播放軌時,類似於MOOV邏輯框154之TRAK邏輯框158的TRAK邏輯框可描述參數集合播放軌之特性。囊封單元30可在描述參數集合播放軌之TRAK邏輯框內發信序列層級SEI訊息存在於參數集合播放軌中。
MVEX邏輯框160可描述對應電影片段164之特性,例如,發信視訊檔案150除包括MOOV邏輯框154 (若存在)內之視訊資料之外亦包括電影片段164。在串流傳輸視訊資料之情況下,經寫碼視訊圖像可包括於電影片段164中,而非在MOOV邏輯框154中。因此,所有經寫碼視訊樣本可包括於電影片段164中,而非在MOOV邏輯框154中。
MOOV邏輯框154可包括等於視訊檔案150中的電影片段164之數目的數目個MVEX邏輯框160。MVEX邏輯框160中之每一者可描述電影片段164中之對應一者的特性。舉例而言,每一MVEX邏輯框可包括電影擴展標頭邏輯框(MEHD)邏輯框,其描述電影片段164中的對應一者之暫態持續時間。
如上文所指出,囊封單元30可儲存視訊樣本中之序列資料集合,其並不包括實際經寫碼視訊資料。視訊樣本可大體上對應於存取單元,其為特定時間執行個體下之經寫碼圖像之表示。在AVC之情形下,經寫碼圖像包括一或多個VCL NAL單元及其他相關聯非VCL NAL單元(諸如,SEI訊息),該等VCL NAL單元含有用以建構存取單元之所有像素的資訊。因此,囊封單元30可在電影片段164中之一者中包括序列資料集合,其可包括序列層級SEI訊息。囊封單元30可進一步發信序列資料集合及/或序列層級SEI訊息的存在,該序列資料集合及/或序列層級SEI訊息存在於在對應於電影片段164中之一者的MVEX邏輯框160中之一者內的電影片段164中之一者中。
SIDX邏輯框162為視訊檔案150之可選元素。亦即,符合3GPP檔案格式或其他此類檔案格式之視訊檔案未必包括SIDX邏輯框162。根據3GPP檔案格式之實例,SIDX邏輯框可用以識別區段(例如,含於視訊檔案150內之區段)之子區段。3GPP檔案格式將子區段定義為「具有對應媒體資料邏輯框之一或多個連續電影片段邏輯框的自含式集合,且含有由電影片段邏輯框引用之資料的媒體資料邏輯框必須跟在該電影片段邏輯框之後,並且在含有關於相同播放軌之資訊的下一個電影片段邏輯框之前」。3GPP檔案格式亦指示SIDX邏輯框「含有對藉由邏輯框記錄之(子)區段之子區段的參考序列。引用之子區段在呈現時間上係連續的。類似地,藉由區段索引邏輯框所引用之位元組在區段內始終係連續的。引用之大小給出引用之材料中對位元組之數目的計數」。
SIDX邏輯框162通常提供表示視訊檔案150中所包括之區段之一或多個子區段的資訊。舉例而言,此資訊可包括子區段開始及/或結束之播放時間、用於子區段之位元組偏移、子區段是否包括(例如始於)串流存取點(SAP)、用於SAP的類型(例如SAP是否為瞬時解碼器刷新(IDR)圖像、整潔隨機存取(CRA)圖像、斷鏈存取(BLA)圖像或其類似者)、子區段中之SAP的位置(依據播放時間及/或位元組偏移)及類似者。
電影片段164可包括一或多個經寫碼視訊圖像。在一些實例中,電影片段164可包括一或多個圖像群組(GOP),其中之每一者可包括多個經寫碼視訊圖像,例如圖框或圖像。另外,如上文所描述,在一些實例中,電影片段164可包括序列資料集合。電影片段164中之每一者可包括電影片段標頭邏輯框(MFHD,圖4中未展示)。MFHD邏輯框可描述對應電影片段之特性,諸如電影片段之序列號。電影片段164可按序號次序包括於視訊檔案150中。
MFRA邏輯框166可描述視訊檔案150之電影片段164內之隨機存取點。此可輔助執行特技模式,諸如執行對由視訊檔案150囊封之區段內之特定時間位置(亦即,播放時間)的搜尋。在一些實例中,MFRA邏輯框166通常為可選的且無需包括於視訊檔案中。同樣地,用戶端器件(諸如用戶端器件40)未必需要參考MFRA邏輯框166以對視訊檔案150之視訊資料進行正確解碼及顯示。MFRA邏輯框166可包括與視訊檔案150之播放軌之數目相等,或在一些實例中與視訊檔案150之媒體播放軌(例如,非暗示播放軌)之數目相等的多個播放軌片段隨機存取(TFRA)邏輯框(未圖示)。
在一些實例中,電影片段164可包括一或多個串流存取點(SAP),諸如IDR圖像。同樣地,MFRA邏輯框166可提供對SAP在視訊檔案150內之位置的指示。因此,視訊檔案150之時間子序列可由視訊檔案150之SAP形成。時間子序列亦可包括其他圖像,諸如取決於SAP之P圖框及/或B圖框。時間子序列之圖框及/或圖塊可配置於區段內,以使得取決於子序列之其他圖框/圖塊之時間子序列的圖框/圖塊可恰當地經解碼。舉例而言,在資料之階層式配置中,用於其他資料之預測的資料亦可包括於時間子序列中。
圖5為說明根據本發明之技術的實例DASH用戶端200的概念圖。圖5之DASH用戶端200可對應於圖1之擷取單元52或圖2的DASH用戶端110或包括於該擷取單元52或該DASH用戶端110內。在此實例中,DASH用戶端200包括選擇邏輯202、DASH存取引擎204及媒體引擎206A、206B。
如同其他組織,DASH行業網路論壇(DASH-IF)及消費者技術協會(CTA)網路應用視訊生態系統(CTA WAVE)已基於如圖5中所展示之模型論述媒體之一致播放的主題,其中DASH存取引擎204建立用於每一媒體類型之媒體播放軌緩衝器且在此環境中消耗各區段。舉例而言,媒體類型可包括音訊及視訊資料,且因此,媒體引擎206A可處理音訊資料,而媒體引擎206B可處理視訊資料。
重要之主題為在不妨礙播放體驗之情況下能夠跨程式邊界且針對廣告(ad)插入播放呈現。已觀測到兩個關鍵問題。若媒體可經由整個呈現(包括跨程式邊界)播放,則一個問題與能力發現相對應。另一問題對應於為各媒體類型初始化及建立播放軌緩衝器/媒體管線,其可用於持續播放整個呈現之一種類型的媒體。
DASH之Amd.5及TuC論述用以處理有關上述能力發現之第一個問題之若干選項。特定而言,選項包括使用早期可用時段及/或使用結合不同特徵之指定能力發信。
圖6為說明基於播放軌緩衝器之播放之實例的概念圖。
儘管遵循上文所論述之選項之解決方案可足以解決用於播放整個呈現之能力發現態樣,但仍不清楚DASH用戶端可否以足夠好的方式建立媒體之播放。
典型地,器件需要建立用於視訊媒體類型之至少一播放軌緩衝器/媒體管線及用於音訊媒體類型的另一播放軌緩衝器/媒體管線。亦可能需要建立用於諸如字幕(計時文字)之其他媒體類型之播放軌緩衝/媒體管線。器件可支持對各媒體類型建立多個源緩衝器。
建立此類源緩衝器之典型操作如下: ● 識別器件支持操控指定媒體類型以及MIME子參數之能力。 ● 若成功,則用相關特徵適當地初始化源緩衝器。 ● 為每一經建立之源緩衝器創建適當輸出環境 ○  對於視訊,匹配縱橫比之預定顯示窗及 ■ 藉由預設內容之大小(高度及寬度), ■ 或作為全螢幕模式(可能使用信箱) ■ 或HDMI輸出。 ○  對於音訊,使用揚聲器之輸出組態
作為實例,HTML-5媒體元素及媒體源擴展允許使用MediaSource.addSourceBuffer(類型)方法來添加源緩衝器。有關細節,請參見www.w3.org/TR/media-source/#dom-mediasource -addsourcebuffer。對於ISO BMFF位元組串流格式之情況,藉由使用MediaSource.appendBuffer(IS)將初始化區段(IS)附加至源緩衝器(SourceBuffer)來進一步初始化源緩衝器。完成初始化以使得可適當地完成呈現之剩餘部分的播放係相關的。應注意,可藉由使用MediaSource.appendBuffer(CH)將IS附加至SourceBuffer來更新/重新初始化源緩衝器。
本發明之技術可用以解決基於用於每一媒體類型之全局主初始化區段指定媒體管線之初始化的能力。
圖7為說明根據本發明之技術的用於DASH多播放軌媒體資料之實例內容模型的概念圖。在此實例中,內容220包括媒體類型視訊內容222、媒體類型音訊內容224、媒體類型字幕內容226及媒體類型應用程式內容228。此等媒體類型可佈置成各種內容類型,諸如媒體類型內容主集230、媒體類型內容替代物232A及媒體類型內容替代物232B。主集中之每一者及替代內容可包括選自一或多個對應目標版本調適集合234A至234C之內容,其包括各別經編碼之表示,諸如表示236A至236C。
為了支援內容原創者以一致方式提供內容,圖7根據DASH-IF IOPs v4.2在MPD之一個時段中提供用於DASH內容220之概念內容模型。在圖7之模型之擴展中,對於整體MPD,可選擇在一個時段內以及跨時段提供多個調適集合(調適集合234)之超集合的初始化集合。若選擇此初始化集合,則其允許跨時段邊界持續播放。
源器件(諸如圖1之內容準備器件20及/或伺服器器件60)及用戶端器件(諸如圖1之用戶端器件40及/或圖5之DASH用戶端200)可經組態以使用本發明之技術來使用允許跨時段邊界持續播放的初始化集合。特定而言,此等技術包括以下: 1. 能夠選擇包括整體媒體呈現之初始化區段的適當初始化集合之資訊清單檔案(例如MPD)層級發信。 2. 在所選擇之初始化集合內提供初始化區段,其准許對用於特定媒體類型(包括編解碼器、解密及再現環境)之媒體管線的初始化。 3. 提供MPD發信,其准許可基於所選擇之初始化集合之調適集合及表示的識別。 4. 以反向相容之方式提供此發信。
初始化集合可以兩個實例方式定義: 1. 作為所有參考調適集合之超集合。 2. 作為聚焦於媒體管線之純初始化建構。
DASH規格之MPD元素之語義可經更新以包括InitializationSet元素,如下表1中所展示: 1
元素或屬性名稱 使用 描述
MPD    承載媒體呈現之媒體呈現描述之根元素。
InitializationSet 0 ... N 為呈現之指定媒體類型指定合適的初始化。若存在,則媒體呈現之每一時段應包括至少一個可在藉由此初始化集合初始化時在其下可播放的調適集合。有關細節,請參見第5.3.X項。
圖例: 對於屬性:M=必選,O=可選,OD=在預設值情況下可選,CM=有條件地必選。 對於元素:<minOccurs>…<maxOccurs> (N=無界) 元素為粗體;屬性為非粗體且前面有@。
用於MPD(或其他資訊清單檔案)之初始化集合元素之語義可如下定義(其中所識別區段對應於DASH標準之區段):5.3.X 初始化集合 5.3. X.1 概述 初始化集合提供跨媒體呈現之媒體性質的共同集合。若在具有某些性質之MPD中提供初始化集合,則在每一時段中應存在至少一個具有相同性質之調適集合。可在媒體呈現開始時選擇初始化集合以便建立相關解密、解碼及再現環境。因此,初始化集合共享調適集合之參數,但僅在媒體呈現中調適集合可具有額外資訊,例如: -   可存在具有媒體類型音訊及@codecs參數但不具有@lang屬性的初始化集合。接著可存在具有相同媒體類型、相同@codecs參數之調適集合,但調適集合中之每一者定義一種語言。此確保音訊之播放係可能的,但可發生改變。 -   可存在具有媒體類型視訊、@maxWidth及@maxHeight參數以及@codecs參數之初始化集合。接著可存在具有相同媒體類型調適集合,但實際上編解碼器參數、寬度及高度均不同,但可在初始化集合限制條件內解碼及顯示。 若MPD具有多個時段,則每一媒體類型應存在至少一個初始化集合。 在InitializationSet 元素內之屬性及元素之語義提供於5.3.X.2之表5中。InitializationSet 元素之XML語法提供於5.3.X.3中。5.3. X.2 語義 5- AdaptationSet 元素之語義
元素或屬性名稱 使用 描述
InitializationSet    初始化集合描述
         @xlink:href O 指定對遠端元素實體之參考,該實體應恰好含有InitializationSet 類型之一個元素
         @xlink:actuate OD 預設: 'onRequest' 指定處理指令,其可為「onLoad」或「onRequest」二者中之一者。
         @id O 指定時段之範疇內之此調適集合的唯一識別符。屬性應為含有時段之範疇內之唯一的無符號整數值。 屬性不應存在於遠端元素實體中。 若不存在,則指定調適集合沒有識別符。
         CommonAttributesElements - 指定共同屬性及元素(來自基本類型RepresentationBaseType之屬性及元素)。有關細節,請參見5.3.7。
         @contentType O 指定此調適集合之媒體內容組件類型。應採用如IETF RFC 6838中第4項所定義之頂部層級內容類型「type」值的值。 若不存在,則可針對每一媒體組件定義媒體內容組件類型或其可為未知的。
         @par O 以藉由「: 」分隔開之兩個整數組成之字串形式指定視訊媒體組件類型之圖像縱橫比,例如,「16:9」。當此屬性存在時,及表示集合之屬性@width及@height亦存在時,若藉由此屬性所指定之圖像縱橫比應與藉由@width、@height及@sar之值指示的相同,亦即其應表述與(@width*sarx):(@height*sary)相同之比率,且sarx為@sar中之第一數目及sary為第二數目。 若不存在,則可針對每一媒體組件定義圖像縱橫比或其可為未知的。
         @maxWidth O 指定與此初始化集合相關聯之所有調適集合中之所有表示中的最大@width值。此值具有與@width屬性相同之單元。 若不存在,則該值為未知的。
         @maxHeight O 指定與此初始化集合相關聯之所有調適集合中之所有表示中的最大@height值。此值具有與@height屬性相同之單元。 若不存在,則該值為未知的。
         @maxFrameRate O 指定與此初始化集合相關聯之所有調適集合中之所有表示中的最大@framerate值。此值以與@frameRate屬性相同之格式進行編碼。 若不存在,則該值為未知的。
         @initialization O 指定URL初始化區段。
可存取性 0 … N 指定關於可存取性方案之資訊 有關更多細節,參考5.8.1及5.8.4.3。
作用 0 … N 指定關於作用標註方案之資訊 有關更多細節,請參考5.8.1及5.8.4.2。
分級 0 … N 指定關於分級方案之資訊。 有關更多細節,請參考5.8.1及5.8.4.4。
視點 0 … N 指定關於視點標註方案之資訊。 有關更多細節,請參考5.8.1及5.8.4.5。
圖例: 對於屬性:M=必選,O=可選,OD=在預設值情況下可選,CM=有條件地必選,F=固定。 對於元素:<minOccurs>...<maxOccurs> (N=無界) 應注意該等條件僅在不使用xlink:href之情況下固持。若使用鏈接,則所有屬性為「視情況選用的」且<minOccurs=0> 元素為粗體 的;屬性為非粗體的且前面有@,元素及屬性之清單係以斜體粗體 提及自已由此類型擴展之基本類型獲得的彼等者。
5.3. X.3 XML 語法
<!-- Adaptation Set --> <xs:complexType name="InitializationSetType">         <xs:complexContent>                 <xs:extension base="RepresentationBaseType">                         <xs:sequence>                                 <xs:element name="Accessibility" type="DescriptorType" minOccurs="0" maxOccurs="unbounded"/>                                 <xs:element name="Role" type="DescriptorType" minOccurs="0" maxOccurs="unbounded"/>                                 <xs:element name="Rating" type="DescriptorType" minOccurs="0" maxOccurs="unbounded"/>                                 <xs:element name="Viewpoint" type="DescriptorType" minOccurs="0" maxOccurs="unbounded"/>                                 <xs:element name="ContentComponent" type="ContentComponentType" minOccurs="0" maxOccurs="unbounded"/>                         </xs:sequence>                         <xs:attribute ref="xlink:href"/>                         <xs:attribute ref="xlink:actuate" default="onRequest"/>                         <xs:attribute name="id" type="xs:unsignedInt"/>                         <xs:attribute name="lang" type="xs:language"/>                         <xs:attribute name="contentType" type="IETF RFC6838ContentTypeType"/>                         <xs:attribute name="par" type="RatioType"/>                         <xs:attribute name="maxBandwidth" type="xs:unsignedInt"/>                         <xs:attribute name="maxWidth" type="xs:unsignedInt"/>                         <xs:attribute name="maxHeight" type="xs:unsignedInt"/>                         <xs:attribute name="maxFrameRate" type="FrameRateType"/>                 </xs:extension>         </xs:complexContent> </xs:complexType>
以下屬性可新增至MPD之調適集合元素:
元素或屬性名稱 使用 描述
AdaptationSet    調適集合描述
         @initializationSetRef O 指定初始化集合標識符之逗號分隔清單。調適集合包括於所有參考之初始化集合中。
藉由提供初始化集合,該DASH用戶端可選擇初始化包括DASH用戶端之器件的匹配能力且亦可藉由用所提供之初始化區段初始化來確保持續播放。本發明之技術亦可解決早期可用時段之論述且根據先行所提供之相關資訊提供新的能力機制。
圖8為說明根據本發明之技術的發送媒體資料之實例方法的流程圖。出於實例之目的,圖8之方法參考圖1之內容準備器件20及來解釋。然而,應理解,諸如圖1之伺服器器件60之其他器件可經組態以單獨或與其他器件結合執行此方法或類似方法。
初始地,內容準備器件20判定諸如多媒體內容64之媒體呈現的初始化參數(300)。初始化參數可用以初始化媒體呈現之任何調適集合及/或表示的媒體資料。舉例而言,初始化參數可指定圖像之最大寬度及最大高度及/或媒體呈現之最大圖框速率。初始化參數亦可指定媒體呈現之圖像的圖像縱橫比。
內容準備器件20可接著建構媒體呈現之初始化區段(302)。內容準備器件20可建構用於各種媒體類型(諸如音訊、視訊、計時文字(封閉字幕)或類似者)之初始化區段。內容準備器件20可根據上述經判定之初始化參數建構初始化區段。
內容準備器件20可進一步建構包括一或多個初始化集合之資訊清單檔案(諸如DASH MPD) (304)。初始化集合中之每一者可符合上述表1及5之初始化集合。如上文所展示,每一初始化集合可包括指定最大圖像寬度之@maxWidth元素、指定最大圖像高度之@maxHeight元素及指定最大圖框速率的@maxFrameRate元素。內容準備器件20可進一步指定初始化集合(例如,在各別@initialization元素中)中之初始化區段的URL。內容準備器件20可為每個調適集合建構一個初始化集合,且藉此根據每個媒體類型(例如音訊、視訊、計時文字或類似者)建構一或多個初始化集合。初始化集合可包括指定初始化集合(例如音訊、視訊、計時文字或類似者)之媒體類型的@contentType元素,如表5中所示。
內容準備器件20可接著將初始化集合發送至用戶端器件(306)。特定而言,內容準備器件20可將資訊清單檔案發送至用戶端器件,資訊清單檔案包括初始化集合。如圖1中所展示,內容準備器件20可將資訊清單檔案發送至伺服器器件60,該伺服器器件60可回應於來自用戶端器件40之對特定媒體呈現之資訊清單檔案的請求將資訊清單檔案發送至使用者端器件40。
內容準備器件20亦可自用戶端器件接收對媒體資料的請求(308)。或者,伺服器器件60可接收該等請求。回應於該等請求,內容準備器件20(或伺服器器件60)可將所請求之媒體資料發送至用戶端器件(310)。在一些實例中,用戶端器件(例如用戶端器件40)可針對相同類型之媒體內容自各種表示請求媒體資料。然而,用戶端器件40可僅請求該類型之媒體內容之初始化區段一次,此係因為初始化區段可用以初始化該類型之媒體呈現之所有媒體內容的播放。以此方式,本發明之技術可用以減少由內容準備器件20及/或伺服器器件60發送至用戶端器件40之大量初始化區段。以此方式,此等器件可避免處理對初始化區段之請求,且亦減小在接收對初始化區段之請求且將初始化區段發送至用戶端器件40時所用的網路頻寬。
以此方式,圖8之方法表示發送媒體資料之方法的實例包括:將媒體呈現之資訊清單檔案發送至用戶端器件,資訊清單檔案包括用於初始化集合之資料,初始化集合包括媒體呈現整個過程中之初始化參數;自用戶端器件接收對媒體呈現之媒體資料的請求;及將所請求之媒體資料發送至用戶端器件。
圖9為說明根據本發明之技術的擷取媒體資料之實例方法的流程圖。出於實例及解釋之目的,圖9之方法參考圖1之用戶端器件40來解釋。然而,其他器件可經組態以執行此方法或類似方法。舉例而言,圖5之DASH用戶端200可經組態以執行此方法。
初始地,用戶端器件40可擷取包括一或多個初始化集合之資訊清單檔案(330)。資訊清單檔案之初始化集合可指定初始化參數,諸如(例如)圖像之最大寬度及最大高度、圖像之圖像縱橫比率、最大圖框速率或類似者。初始化集合亦可指示對應初始化區段之URL。因此,用戶端器件40可擷取初始化集合中之每一者(且同樣地,媒體內容(例如,音訊、視訊、計時文字及類似者)類型中之每一者)的初始化區段(332)。
用戶端器件40可接著使用初始化集合及初始化區段以初始化媒體資料之播放(334)。此類初始化可用於解密、解碼及/或再現。舉例而言,用戶端器件40可根據最大高度、最大寬度及最大圖框速率初始化視訊解碼器及再現器。此類初始化可包括(例如快取記憶體104)在記憶體之緩衝器中分配緩衝空間以用於儲存擷取媒體資料及/或用於儲存中間媒體資料,例如,部分或完全經解碼的媒體資料。
用戶端器件40可接著例如藉由發出對媒體資料的HTTP GET或部分GET請求來請求媒體資料(336)。用戶端器件40可接著接收媒體資料(338)並播放媒體資料(340)。在一些實例中,用戶端器件40可擷取具有最大指定參數(例如,最大高度、最大寬度、最大圖框速率等)的媒體資料。在一些實例中,用戶端器件40可擷取具有小於最大指定參數之媒體資料。用戶端器件40可在第一播放時間擷取具有最大指定參數之媒體資料且在第二不同播放時間擷取具有小於最大指定參數之媒體資料。然而,因為原始初始化可用於播放媒體呈現之媒體資料中之任一者,由於初始化參數指定最大或不變參數,故用戶端器件40不需要重新初始化具有小於最大指定參數之媒體資料的播放。
以此方式,圖9之方法表示擷取媒體資料之方法的實例,該方法包括:擷取媒體呈現之資訊清單檔案,資訊清單檔案包括用於初始化集合之資料,初始化集合包括媒體呈現整個過程中之初始化參數;使用初始化集合初始化媒體呈現之媒體資料的播放;擷取媒體呈現之媒體資料;及根據該經初始化之播放呈現媒體資料。
在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或代碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,該通信媒體包括例如根據通信協定來促進電腦程式自一個位置傳送至另一位置的任何媒體。以此方式,電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如訊號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中描述之技術的指令、代碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉助於實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。另外,任何連接被恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(digital subscriber line;DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為關於非暫時性有形儲存媒體。如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令,該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此,如本文所用之術語「處理器」可指前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。另外,可在一或多個電路或邏輯元件中充分實施該等技術。
本發明之技術可實施於廣泛多種器件或裝置中,包括無線手持機、積體電路(IC)或IC集合(例如晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。確切而言,如上文所描述,各種單元可與合適的軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供,硬件單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10:系統 20:內容準備器件 22:音訊源 24:視訊源 26:音訊編碼器 28:視訊編碼器 30:囊封單元 32:輸出介面 40:用戶端器件 42:音訊輸出端 44:視訊輸出端 46:音訊解碼器 48:視訊解碼器 50:解囊封單元 52:擷取單元 54:網路介面 60:伺服器器件 62:儲存媒體 64:多媒體內容 66:資訊清單檔案 68A:表示 68N:表示 70:請求處理單元 72:網路介面 74:網路 100:eMBMS中間軟體單元 102:代理伺服器單元 104:快取記憶體 106:eMBMS接收單元 110:DASH用戶端 112:媒體應用程式 120:媒體內容 122:媒體呈現描述(MPD) 124A:表示 124N:表示 126:標頭資料 128A:區段 128B:區段 128N:區段 130:標頭資料 132A:區段 132B:區段 132N:區段 150:視訊檔案 152:檔案類型邏輯框 154:電影邏輯框 156:電影標頭邏輯框 158:播放軌邏輯框 160:電影擴展邏輯框 162:區段索引邏輯框 164:電影片段邏輯框 166:電影片段隨機存取邏輯框 200:DASH用戶端 202:選擇邏輯 204:DASH存取引擎 206A:媒體引擎 206B:媒體引擎 220:內容 222:媒體類型視訊內容 224:媒體類型音訊內容 226:媒體類型字幕內容 228:媒體類型應用程式內容 230:媒體類型內容主集 232A:媒體類型內容替代物 232B:媒體類型內容替代物 234A:目標版本調適集合/調適集合 234B:目標版本調適集合/調適集合 234C:目標版本調適集合/調適集合 236A:經編碼之表示 236B:經編碼之表示 236C:經編碼之表示 300:判定初始化參數 302:建構初始化區段 304:建構包括一或多個初始化集合之資訊清單檔案 306:將初始化集合發送至用戶端器件 308:自用戶端器件接收對媒體資料的請求 310:將所請求之媒體資料發送至用戶端器件 330:擷取包括一或多個初始化集合之資訊清單檔案 332:擷取初始化區段 334:初始化媒體資料之播放 336:請求媒體資料 338:接收媒體資料 340:播放媒體資料
圖1為說明根據本發明之技術的實施用於經由網路串流媒體資料之技術之實例系統的方塊圖。
圖2為說明擷取單元之組件之實例集合的方塊圖。
圖3為說明實例多媒體內容之元素的概念圖。
圖4為說明可對應於表示之區段的實例視訊檔案之元素的方塊圖。
圖5為說明根據本發明之技術的實例DASH用戶端的概念圖。
圖6為說明基於播放軌緩衝器之播放之實例的概念圖。
圖7為說明根據本發明之技術的DASH多播放軌媒體資料之實例內容模型的概念圖。
圖8為說明根據本發明之技術的發送媒體資料之實例方法的流程圖。
圖9為說明根據本發明之技術的擷取媒體資料之實例方法的流程圖。
220:內容
222:媒體類型視訊內容
224:媒體類型音訊內容
226:媒體類型字幕內容
228:媒體類型應用程式內容
230:媒體類型內容主集
232A:媒體類型內容替代物
232B:媒體類型內容替代物
234A:目標版本調適集合/調適集合
234B:目標版本調適集合/調適集合
234C:目標版本調適集合/調適集合
236A:經編碼之表示
236B:經編碼之表示
236C:經編碼之表示

Claims (39)

  1. 一種擷取媒體資料之方法,該方法包含: 擷取一媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 使用該初始化集合初始化該媒體呈現之媒體資料的播放; 擷取該媒體呈現之該媒體資料;以及 根據該該經初始化之播放呈現該媒體資料。
  2. 如請求項1之方法,其中該媒體呈現包括複數個時段,該等時段中之每一者包括具有包括可使用該初始化集合之該等初始化參數及該經初始化之播放呈現的媒體資料之一表示的一調適集合,該方法進一步包含判定包括可使用該等初始化參數及使用該資訊清單檔案之資料的該經初始化之播放呈現之該媒體資料的該等時段之該等表示。
  3. 如請求項2之方法,其中該資訊清單檔案包括一調適集合元件或一表示元件中之至少一者中的一初始化集合參考屬性,該初始化集合參考屬性指示可用於呈現該調適集合之該等表示的該媒體資料之該初始化集合。
  4. 如請求項1之方法,其中該初始化集合包括識別該媒體呈現之一或多種類型之媒體的初始化區段。
  5. 如請求項4之方法,其中識別該初始化區段之該資料包含該初始化區段的統一資源定位符(URL)。
  6. 如請求項4之方法,其中該一或多個媒體類型包含音訊、視訊或計時文字中之一或多者。
  7. 如請求項1之方法,其中該等初始化參數指定該媒體呈現之圖像之一最大寬度或該媒體呈現之該等圖像之一最大高度中的一或多者,且其中擷取該媒體資料包含: 在一第一播放時間擷取該媒體呈現的第一媒體資料,該第一媒體資料包括具有該最大寬度或該最大高度中之至少一者的圖像;以及 在一第二播放時間擷取該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括具有小於該最大寬度及該最大高度的圖像。
  8. 如請求項1之方法,其中該等初始化參數指定該媒體呈現之一最大圖框速率,且其中擷取該媒體資料包含: 在一第一播放時間擷取該媒體呈現的第一媒體資料,該第一媒體資料具有該最大圖框速率;以及 在一第二播放時間擷取該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料小於該最大圖框速率。
  9. 如請求項1之方法,其中初始化該播放包含初始化解密、解碼或再現中之至少一者。
  10. 如請求項1之方法,其中該資訊清單檔案包含HTTP上之動態自適應串流(DASH)的一媒體呈現描述(MPD)。
  11. 一種用於擷取媒體資料之器件,該器件包含: 一記憶體,其經組態以儲存一媒體呈現之媒體資料;及 一或多個處理器,其實施於電路中且經組態以: 擷取該媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 使用該初始化集合初始化該媒體呈現之該媒體資料的播放; 擷取該媒體呈現之該媒體資料;且 根據該經初始化之播放呈現該媒體資料。
  12. 如請求項11之器件,其中該媒體呈現包括複數個時段,該等時段中之每一者包括具有包括可使用該初始化集合之該等初始化參數及該經初始化之播放呈現的媒體資料之一表示的一調適集合,該方法進一步包含判定包括可使用該等初始化參數及使用該資訊清單檔案之資料的該經初始化之播放呈現之該媒體資料的該等時段之該等表示。
  13. 如請求項11之器件,其中該初始化集合包括該媒體呈現之一或多種類型之媒體之初始化區段的統一資源定位符(URL)。
  14. 如請求項之11器件,其中該等初始化參數指定該媒體呈現之圖像之一最大寬度或該媒體呈現之該等圖像的一最大高度中之一或多者,且其中為擷取該媒體資料,該一或多個處理器經組態以: 在一第一播放時間擷取該媒體呈現的第一媒體資料,該第一媒體資料包括具有該最大寬度或該最大高度中之至少一者的圖像;且 在一第二播放時間擷取該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括具有小於該最大寬度及該最大高度的圖像。
  15. 如請求項11之器件,其中該等初始化參數指定該媒體呈現之一最大圖框速率,且其中為擷取該媒體資料,該一或多個處理器經組態以: 在一第一播放時間擷取該媒體呈現的第一媒體資料,該第一媒體資料具有該最大圖框速率;且 在一第二播放時間擷取該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料小於該最大圖框速率。
  16. 一種電腦可讀儲存媒體,其上儲存有在經執行時使得一處理器進行以下操作之指令: 擷取一媒體呈現之一資訊清單檔案,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 使用該初始化集合初始化該媒體呈現之媒體資料的播放; 擷取該媒體呈現之該媒體資料;及 根據該經初始化之播放呈現該媒體資料。
  17. 如請求項16之電腦可讀儲存媒體,其中該媒體呈現包括複數個時段,該等時段中之每一者包括可使用該初始化集合之該等初始化參數及該經初始化之播放來呈現的媒體資料之具有一表示的一調適集合,該方法進一步包含判定包括可使用該等初始化參數及使用該資訊清單檔案之該等資料初始化播放來呈現的該媒體資料之該等時段的該等表示。
  18. 如請求項16之電腦可讀儲存媒體,其中該等初始化參數指定該媒體呈現之圖像之一最大寬度或該媒體呈現之該等圖像的一最大寬度中之一或多者,且其中使得該處理器擷取該媒體資料之該等指令包含使得該處理器進行以下操作的指令: 在一第一播放時間擷取該媒體呈現的第一媒體資料,該第一媒體資料包括具有該最大寬度或該最大高度中之至少一者的圖像;及 在一第二播放時間擷取該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括具有小於該最大寬度及該最大高度的圖像。
  19. 如請求項16之電腦可讀儲存媒體,其中該等初始化參數指定該媒體呈現之一最大圖框速率,且其中使得該處理器擷取媒體資料之該等指令包含使得處理器進行以下操作的指令: 在一第一播放時間擷取該媒體呈現的第一媒體資料,該第一媒體資料具有該最大圖框速率;及 在一第二播放時間擷取該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料小於該最大圖框速率。
  20. 一種用於擷取媒體資料之器件,該器件包含: 用於擷取一媒體呈現之一資訊清單檔案之構件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 用於使用該初始化集合初始化該媒體呈現之媒體資料的播放之構件; 用於擷取該媒體呈現之該媒體資料之構件;及 用於根據該經初始化之播放呈現該媒體資料之構件。
  21. 一種發送媒體資料之方法,該方法包含: 將一媒體呈現之一資訊清單檔案發送至一用戶端器件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 自該用戶端器件接收對該媒體呈現之媒體資料的一請求;以及 將該所請求之媒體資料發送至該用戶端器件。
  22. 如請求項21之方法,其中該媒體呈現包括複數個時段,該等時段中之每一者包括具有一表示的一調適集合,該表示包括可使用該初始化集合之該等初始化參數初始化及呈現的媒體資料。
  23. 如請求項22之方法,其中該資訊清單檔案包括在一調適集合元件或一表示元件中之至少一者中的一初始化集合參考屬性,該初始化集合參考屬性指示可以用於呈現該調適集合之該等表示的該媒體資料之該初始化集合。
  24. 如請求項21之方法,其中該初始化集合包括識別該媒體呈現之一或多種類型之媒體的初始化區段之資料。
  25. 如請求項24之方法,其中識別該等初始化區段之該資料包含該等初始化區段的統一資源定位符(URL)。
  26. 如請求項24之方法,其中該一或多個媒體類型包含音訊、視訊或計時文字中之一或多者。
  27. 如請求項21之方法,其中該等初始化參數指定該媒體呈現之圖像之一最大寬度或該媒體呈現之該等圖像的一最大高度中之一或多者,且其中發送該所請求的媒體資料包含: 在第一播放時間發送該媒體呈現的第一媒體資料,該第一媒體資料包括具有該最大寬度或該最大高度中之至少一者的圖像;以及 在一第二播放時間發送該媒體呈現之第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括具有小於該最大寬度及該最大高度的圖像。
  28. 如請求項21之方法,其中該等初始化參數指定該媒體呈現之一最大圖框速率,且其中發送該媒體資料包含: 在一第一播放時間發送該媒體呈現的第一媒體資料,該第一媒體資料具有該最大圖框速率;以及 在一第二播放時間發送該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括小於該最大圖框速率。
  29. 一種用於發送媒體資料之器件,該器件包含: 一記憶體,其用於儲存一媒體呈現之媒體資料;及 一或多個處理器,其實施於電路中且經組態以: 將該媒體呈現之一資訊清單檔案發送至一用戶端器件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 自該用戶端器件接收對該媒體呈現之媒體資料的一請求;且 將該所請求之媒體資料發送至該用戶端器件。
  30. 如請求項29之器件,其中該媒體呈現包括複數個時段,該等時段中之每一者包括具有一表示之一調適集合,該表示包括可使用該初始化集合之該等初始化參數初始化及呈現的媒體資料。
  31. 如請求項29之器件,其中該初始化集合包括該媒體呈現之一或多種類型之媒體之初始化區段的統一資源定位符(URL)。
  32. 如請求項29之器件,其中該等初始化參數指定該媒體呈現之圖像之一最大寬度或該媒體呈現之該等圖像的一最大高度中之一或多者,且其中為發送該所請求的媒體資料,該一或多個處理器經組態以: 在第一播放時間發送該媒體呈現的第一媒體資料,該第一媒體資料包括具有該最大寬度或該最大高度中之至少一者的圖像;且 在一第二播放時間發送該媒體呈現之第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括具有小於該最大寬度及該最大高度的圖像。
  33. 如請求項29之器件,其中該等初始化參數指定該媒體呈現之一最大圖框速率,且其中為發送該媒體資料,該一或多個處理器經組態以: 在一第一播放時間發送該媒體呈現的第一媒體資料,該第一媒體資料具有該最大圖框速率;且 在一第二播放時間發送該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括小於該最大圖框速率。
  34. 一種電腦可讀儲存媒體,其上儲存有在經執行時使得一處理器進行以下操作之指令: 將一媒體呈現之一資訊清單檔案發送至一用戶端器件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 自該用戶端器件接收對該媒體呈現之媒體資料的一請求;及 將該所請求之媒體資料發送至該用戶端器件。
  35. 如請求項34之電腦可讀儲存媒體,其中該媒體呈現包括複數個時段,該等時段中之每一者包括具有一表示之一調適集合,該表示包括可使用該初始化集合之該等初始化參數來初始化及呈現的媒體資料。
  36. 如請求項34之電腦可讀儲存媒體,其中該初始化集合包括該媒體呈現之一或多種類型之媒體之初始化區段的統一資源定位符(URL)。
  37. 如請求項34之電腦可讀儲存媒體,其中該等初始化參數指定該媒體呈現之圖像之一最大寬度或該媒體呈現之該等圖像的一最大高度中之一或多者,且其中使得該處理器發送該所請求的媒體資料之該等指令包含使得該處理器進行以下操作之指令: 在第一播放時間發送該媒體呈現的第一媒體資料,該第一媒體資料包括具有該最大寬度或該最大高度中之至少一者的圖像;及 在一第二播放時間發送該媒體呈現之第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括具有小於該最大寬度及該最大高度的圖像。
  38. 如請求項34之電腦可讀儲存媒體,其中該等初始化參數指定該媒體呈現之一最大圖框速率,且其中使得該處理器發送該媒體資料之該等指令包含使得該處理器進行以下操作之指令: 在一第一播放時間發送該媒體呈現的第一媒體資料,該第一媒體資料具有該最大圖框速率;及 在一第二播放時間發送該媒體呈現的第二媒體資料,該第二播放時間不同於該第一播放時間且該第二媒體資料不同於該第一媒體資料,且該第二媒體資料包括小於該最大圖框速率。
  39. 一種用於發送媒體資料之器件,該器件包含: 用於將一媒體呈現之一資訊清單檔案發送至一用戶端器件之構件,該資訊清單檔案包括一初始化集合之資料,該初始化集合包括該媒體呈現整個過程中之初始化參數; 用於自該用戶端器件接收對該媒體呈現之媒體資料的一請求之構件;及 用於將該所請求之媒體資料發送至該用戶端器件之構件。
TW108135928A 2018-10-03 2019-10-03 用於媒體資料之網路串流之初始化集合 TWI820227B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862740795P 2018-10-03 2018-10-03
US62/740,795 2018-10-03
US16/591,097 2019-10-02
US16/591,097 US11184665B2 (en) 2018-10-03 2019-10-02 Initialization set for network streaming of media data

Publications (2)

Publication Number Publication Date
TW202027512A true TW202027512A (zh) 2020-07-16
TWI820227B TWI820227B (zh) 2023-11-01

Family

ID=70051515

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108135928A TWI820227B (zh) 2018-10-03 2019-10-03 用於媒體資料之網路串流之初始化集合

Country Status (5)

Country Link
US (1) US11184665B2 (zh)
EP (1) EP3861759A1 (zh)
CN (1) CN112771876B (zh)
TW (1) TWI820227B (zh)
WO (1) WO2020072792A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116648918A (zh) * 2020-12-23 2023-08-25 抖音视界有限公司 视频解码器初始化信息
US11818189B2 (en) * 2021-01-06 2023-11-14 Tencent America LLC Method and apparatus for media streaming
CN118044207A (zh) * 2021-09-30 2024-05-14 抖音视界有限公司 用于视频流式传输的方法、装置和介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2140850C (en) 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
US6625656B2 (en) 1999-05-04 2003-09-23 Enounce, Incorporated Method and apparatus for continuous playback or distribution of information including audio-visual streamed multimedia
US7346005B1 (en) 2000-06-27 2008-03-18 Texas Instruments Incorporated Adaptive playout of digital packet audio with packet format independent jitter removal
US7711841B2 (en) 2006-02-28 2010-05-04 Sharp Laboratories Of America, Inc. Systems and methods for reducing the effects of variations on the playback of streaming media
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
EP2614653A4 (en) 2010-09-10 2015-04-15 Nokia Corp METHOD AND APPARATUS FOR ADAPTIVE CONTINUOUS DIFFUSION
US9485486B2 (en) 2011-01-12 2016-11-01 Sharp Kabushiki Kaisha Playback device, control method for playback device, generating device, control method for generating device, recording medium, data structure, control program, and recording medium recording the program
US9590814B2 (en) * 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US9042579B2 (en) 2012-05-15 2015-05-26 GM Global Technology Operations LLC Mitigating the effects of audio interruptions via adaptive automated fast audio playback
WO2014096463A1 (en) 2012-12-21 2014-06-26 Koninklijke Kpn N.V. Low-latency streaming
US9307508B2 (en) 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
GB2516112B (en) 2013-07-12 2016-10-26 Canon Kk Methods for providing media data, method for receiving media data and corresponding devices
EP3020208B1 (en) * 2013-07-12 2022-03-09 Canon Kabushiki Kaisha Adaptive data streaming with push messages control
US10902474B2 (en) 2014-03-24 2021-01-26 Qualcomm Incorporated Targeted advertisement insertion for streaming media data
WO2015156607A1 (ko) 2014-04-09 2015-10-15 엘지전자 주식회사 방송 신호 송/수신 처리 방법 및 장치
US9692800B2 (en) * 2014-06-11 2017-06-27 Google Inc. Enhanced streaming media playback
US10454985B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated File format based streaming with dash formats based on LCT
KR20180109890A (ko) 2016-02-12 2018-10-08 소니 주식회사 정보 처리 장치 및 정보 처리 방법
WO2017169890A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置および方法
CN117596232A (zh) * 2016-05-25 2024-02-23 中兴通讯股份有限公司 流媒体快速启动方法、装置和系统
US10432690B1 (en) * 2016-06-03 2019-10-01 Amazon Technologies, Inc. Manifest partitioning
US20200021867A1 (en) * 2017-03-22 2020-01-16 Lg Electronics Inc. Broadcast signal transmitting and receiving method and device
CN111434120A (zh) * 2017-10-02 2020-07-17 弗劳恩霍夫应用研究促进协会 高效的沉浸式流传输
KR20240033297A (ko) * 2018-09-17 2024-03-12 구글 엘엘씨 매니페스트리스 스트리밍 미디어 콘텐츠를 전달하기 위한 방법들, 시스템들, 및 매체들
US20200112753A1 (en) 2018-10-03 2020-04-09 Qualcomm Incorporated Service description for streaming media data

Also Published As

Publication number Publication date
WO2020072792A1 (en) 2020-04-09
CN112771876A (zh) 2021-05-07
TWI820227B (zh) 2023-11-01
US20200112761A1 (en) 2020-04-09
CN112771876B (zh) 2023-04-07
US11184665B2 (en) 2021-11-23
EP3861759A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
TWI774744B (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
US11706502B2 (en) Segment types as delimiters and addressable resource identifiers
TWI714602B (zh) 超級本文傳輸協定(http)上動態自適應串流(dash)客戶經驗品質度量之中間軟體傳遞
KR101558116B1 (ko) 코딩된 멀티미디어 데이터의 네트워크 스트리밍 동안의 표현들 사이의 전환
TW201810998A (zh) 在圖像中最感興趣之區域
TW201830974A (zh) 對於用於串流媒體資料之預取支持之資料發信
TW202037177A (zh) 用於串流媒體資料之服務描述
CN112154672B (zh) 一种检索媒体数据的方法、设备及可读存储介质
US20180176278A1 (en) Detecting and signaling new initialization segments during manifest-file-free media streaming
TW201909007A (zh) 使用用於檔案格式邏輯框之一通用描述符處理媒體資料
TW201742463A (zh) 樣本條目及隨機存取
TWI820227B (zh) 用於媒體資料之網路串流之初始化集合
TW201743614A (zh) 樣本條目及隨機存取
US11564018B2 (en) Random access at resync points of dash segments
TW202127897A (zh) 用於串流傳輸媒體資料的多解碼器介面
TWI700917B (zh) 使用全向媒體格式處理媒體資料
TW202143741A (zh) 用於網路串流媒體資料的資料之組塊之可用性之決定
TW202337225A (zh) 用於適應性流送的動態解析度改變提示
TW202243451A (zh) 經由即時傳輸協定傳輸經heif格式化的圖像
TW202032998A (zh) 用於經串流媒體資料之多個解碼器介面