TW201731295A - 有效率自適性串流化技術 - Google Patents

有效率自適性串流化技術 Download PDF

Info

Publication number
TW201731295A
TW201731295A TW106104881A TW106104881A TW201731295A TW 201731295 A TW201731295 A TW 201731295A TW 106104881 A TW106104881 A TW 106104881A TW 106104881 A TW106104881 A TW 106104881A TW 201731295 A TW201731295 A TW 201731295A
Authority
TW
Taiwan
Prior art keywords
video
stream
layer
media
spatial resolution
Prior art date
Application number
TW106104881A
Other languages
English (en)
Other versions
TWI670974B (zh
Inventor
羅伯特 史庫濱
雅構 夏契茲
湯瑪士 夏以爾
寇尼拉斯 黑爾吉
卡斯登 古寧貝格
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201731295A publication Critical patent/TW201731295A/zh
Application granted granted Critical
Publication of TWI670974B publication Critical patent/TWI670974B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本發明藉由以下操作使自適性串流化技術與開放式GOP結構之使用更有效率地結合：組配用於擷取一視訊之一裝置，使得該裝置在自一第一視訊串流切換至第二視訊串流之前排程一轉變階段，及/或根據自適性串流化協定組配用於輸出一視訊之一裝置，使得該裝置支援切換輸出呈一分層視訊串流或一增加之空間解析度串流之形式之視訊，該分層視訊串流具有一第二層，該第二層在無殘餘寫碼的情況下使用層間預測以該增加之空間解析度在其上編碼有該視訊。藉由以下操作使得諸如一視訊之一媒體內容可更有效地經由自適性串流化而串流化：允許該媒體內容以一從屬(第二)表示來表示，該從屬(第二)表示由時間片段之一第一集合及該第二表示的時間片段之一第二集合構成，該第一集合在其中編碼有取決於該媒體內容之一第一(參考)表示之時間上對應於時間片段之該第一集合的第一部分的該媒體內容，該第二集合在其中編碼有獨立於該第一表示的時間上對應於時間片段之該第二集合的第二部分的該媒體內容，使得該媒體內容自該第二表示之一成功重建構在無該第一表示之該等第二部分情況下進展。使由若干頻道構成之一媒體場景更有效率地串流化，對於每一頻道而言花費該各別頻道的在隨機存取點之一時間分佈上不同的表示之一集合。藉由此措施，一用戶端裝置可排程該等表示之間的切換從而最佳化快速調諧及低位元速率變化。

Description

有效率自適性串流化技術
發明領域 本申請案係關於諸如使用DASH之自適性串流化。
發明背景 使用自適性串流化，將一媒體資料串流以時間片段自伺服器提供至用戶端。取決於應用，伺服器可以不同位元速率將媒體給予至用戶端。即，針對媒體內容之不同版本的時間片段之序列可用於用戶端用於下載，且在媒體串流化期間，不同版本之間的切換係可行的。因此，由用戶端自伺服器擷取之時間片段之序列以交插方式包含源於第一版本之時間片段及源於另一版本之時間片段。然而，問題在一個時間片段意欲利用更有效率之開放式GOP結構從而編碼媒體內容情況下可出現，此係由於在此狀況下，參考圖像詳言之在解碼串流在其關聯隨機存取點處開始時錯過參考之前置圖像(例如，隨機存取跳過之前置圖像-HEVC中之RASL圖像)在此類情形下可被遺失。將閉合式GOP結構用於寫碼媒體內容並不引起此等問題，但以較低寫碼/壓縮效率告終。
在達成自適性串流化之改良上存在一般關注之其他態樣係關於串流化參數，諸如用於請求下一時間片段之發佈的自用戶端至伺服器之必要請求之頻率、平均調諧潛時(亦即，用戶端經啟用以獲得對某媒體內容之存取所用之平均時間，該潛時應被最小化)，及對位元速率峰值之避免，此係由於串流化媒體內容之此等位元速率峰值需要用戶端處之較大輸入緩衝器從而補償位元速率變化。
發明概要 因此，本發明之目標為提供達成上文概述之改良的自適性串流化概念。
此目標藉由獨立技術方案之標的物來達成。
根據關於本申請案之第一態樣之想法，自適性串流化技術藉由以下操作可結合使用開放式GOP結構之使用而更有效率地顯現：組配用於擷取視訊之裝置，使得該裝置在自第一視訊串流切換至第二視訊串流之前排程轉變階段。第二視訊串流藉由此措施可使用開放式GOP結構來編碼，此係由於轉變階段可提供足夠時間以在第一視訊串流之基礎上補償隨機存取從屬圖像諸如RASL圖像的錯過之參考圖像。
根據關於本申請案之第一態樣的第二想法，自適性串流化技術藉由以下操作可結合開放式GOP結構之使用來更有效率地顯現：組配用於根據自適性串流化協定輸出視訊之裝置，使得該裝置支援切換輸出呈分層視訊串流或增加之空間解析度度串流之形式的視訊，該分層視訊串流具有第二層，該第二層在無殘餘寫碼的情況下使用層間預測以增加之空間解析度在其上編碼有視訊。藉由此措施，用於取代諸如RASL圖像的隨機存取從屬圖像之前述錯過之參考圖像的資訊經顯現，從而在用戶端處易於可用。借助於使用在無殘餘寫碼的情況下寫碼之分層視訊使得用於隨機存取從屬圖像之參考圖像可用針對的第二串流可為使用層間預測寫碼之分層視訊的一層或甚至單一分層視訊串流，亦即，無層間預測的情況下寫碼的層。對於後一狀況，其意謂，層間預測僅用以使得針對隨機存取從屬圖像之參考圖像可用。
根據本申請案之第二態樣，藉由以下操作經由自適性串流化技術使得諸如視訊之媒體內容為可更有效率地串流化的：允許媒體內容以從屬(第二)表示來表示，該從屬(第二)表示由時間片段之第一集合及第二表示的時間片段之第二集合構成，該第一集合取決於媒體內容之第一(參考)表示的時間上對應於時間片段之第一集合的第一部分其中編碼有媒體內容，該第二表示獨立於第一表示的時間上對應於時間片段之第二集合的第二部分其中編碼有媒體內容，使得媒體內容自第二表示的成功重建構在無第一表示之第二部分情況下進展。
根據本申請案之第三態樣，使得由若干頻道構成之媒體場景為可更有效率地串流化的，從而對於每一頻道花費各別頻道之表示的一集合，該等表示在隨機存取點之時間分佈上不同。藉由此措施，一用戶端裝置可排程該等表示之間的切換從而用於最佳化快速調諧及低位元速率變化。
根據本申請案之第四態樣，自適性串流化品質藉由以下操作當在伺服器處給予之兩個表示或媒體串流之間進行轉變時增加：除第一媒體串流及第二媒體串流之外亦向用戶端給予輔助媒體串流，該輔助媒體串流取決於第一媒體串流及第二媒體串流而其中編碼有媒體內容。用戶端藉由衰落階段在自第一表示切換至第二表示時可使用輔助媒體串流衰落，在該衰落階段內，裝置擷取輔助媒體串流連同第一媒體串流及第二媒體串流並播放輔助媒體串流而非第二輔助串流。
較佳實施例之詳細說明 本申請案關於諸圖之描述以本申請案之第一態樣開始。此處，使得開放式GOP結構之使用依據視訊之關於不同空間解析度之表示之間的切換在減少之懲罰情況下使用自適性串流化協定可用於視訊串流化。
為了易於理解關於稍後描述之第一態樣之實施例，之前解釋開放式GOP結構。
開放式GOP結構在同一隨機存取週期性下相較於GOP結構允許視訊之更高效率壓縮。如圖1中所展示，當隨機存取用開放式GOP結構編碼之串流時，存在在圖1中標示為RASL之某些圖像，該等圖像並非經恰當地解碼，此係由於該等圖像之參考缺失且因此未經再生/輸出/展示。
圖1在指示圖像類型中使用HEVC命名法按輸出次序展示開放式GOP結構。隨機存取點此處為清潔隨機存取(CRA)圖像，且隨機存取跳過前置(RASL)圖像為不可展示給使用者之隨機存取從屬圖像，此係由於當在CRA圖像處進行隨機存取時，在左側展示於該圖處的參考P圖像缺失。
為了更易於顯現此描述，參考圖2，圖2在圖2之頂部展示視訊12之呈呈現時間次序的9個圖像10之序列。圖像10依據呈現時間次序編號為1至9。在圖2之底部處，圖2以解碼次序展示圖像10，該等圖像以該解碼次序編碼成資料串流。圖2之說明對使用說明於圖1中之開放式GOP結構將圖像10編碼成資料串流的狀況予以了說明。圖像10在圖2之下半部分中之編號展示，圖像10按時間重新配置，亦即，解碼次序與呈現時間次序偏離。
詳言之，圖2展示，按呈現時間次序之第五圖像10寫碼為隨機存取點圖像。即，呈現時間次序上之第五圖像或編號為5之圖像在不取決於具有另一呈現時間且按解碼次序在先之任何圖像而經寫碼。如圖2中所展示，編號為2至編號為4之圖像以藉由時間預測直接地或間接地參考編號為5之圖像(亦即，隨機存取點圖像)及另一圖像(此處即編號為1之圖像)的一方式來寫碼，該另一圖像依據呈現時間次序以及解碼次序兩者先於隨機存取點圖像。舉例而言，編號為3之圖像藉由時間預測直接地參考編號為5之圖像及編號為1之圖像。即，編號為3之圖像(例如)在編號為5及編號為1之圖像的基礎上借助於運動補償預測來進行時間預測。編號為4之圖像並不藉由時間預測直接地參考圖像1，而是間接地即經由編號為3之圖像參考圖像1。即，編號為2、3及4之圖像的集合具有共同點在於：1)其藉由時間預測直接地或間接地參考隨機存取點圖像，此處為編號為5之例示性圖像，及2)藉由時間預測直接地或間接地參考依據呈現時間次序及解碼次序先於直接地或間接地參考之隨機存取點圖像的參考圖像(在圖2中編號為1之例示性參考圖像)。此圖像集合在編號為5之隨機存取點圖像用於對視訊資料串流進行隨機存取情況下很可能被跳過，視訊10使用開放式GOP結構編碼成該視訊資料串流，此係由於針對編號為2、3及4之圖像之此集合的編號為1之參考圖像由於其按解碼次序位於編號為5之隨機存取點圖像上游而將缺失。
除將開放式GOP結構用於跳過諸如RASL圖像之圖像中之一些在進行隨機存取時例如在程式之間進行頻道切換期間為可接受的典型廣播情境外，開放式GOP結構展示為對於諸如DASH之自適性串流化有價值的，在該自適性串流化處，切換至具有不同品質之一個串流或另一串流在不跳過圖像情況下與諸如CRA之隨機存取點圖像對準地進行。只要解析度相同且串流經仔細地創作，便有可能的是串接或縫合具有不同品質之兩個串流，且獲得符合規範之位元串流，該位元串流自視訊寫碼解碼器規範之觀點可形成單一視訊序列。
後一情況關於圖3來說明，圖3在其上半部分展示視訊之兩個表示Q1及Q2，且詳言之其兩個連續時間片段Seg#1及Seg#2。在圖3之下半部分處，彼等時間片段經串接地說明，該等時間片段實際上藉由用戶端自伺服器擷取。如圖3中所說明，在圖3之實例中，用戶端選擇以自表示Q1擷取時間片段Seg#1且自表示Q2擷取後續時間片段Seg#2。換言之，圖3說明用戶端以品質Q1下載第一片段Seg#1繼之以以品質Q2下載第二時間片段Seg#2的實例。
如圖1及圖2情況下之狀況一般，圖3說明借助於箭頭展示之圖像之間的相依性，該等箭頭自經預測性地寫碼之圖像指向此處藉由時間預測藉由各別圖像參考之各別參考圖像。每一片段按解碼次序以CRA圖像亦即隨機存取點圖像開始，但按圖像展示為在圖3中排序所用之呈現時間次序，RASL圖像先於每一片段之此隨機存取點圖像。此情形之解釋上文關於圖2已進行了解釋。藉由自品質Q1切換至品質Q2，資料串流Q2之第二片段之RASL圖像的參考圖像並未遺失；在串流Q2內，串流Q2之第二片段之RASL圖像參考串流Q2之第一片段之圖像P，且在串流Q2之第二片段跟隨串流Q1之第一片段的經縫合資料串流內，此等RASL圖像提及品質Q1之第一片段之經時間上對準之低品質圖像P作為取代。圖3說明此參考圖像改變之效應。詳言之，圖3以陰影形式描繪表示Q2之圖像，而表示Q1之圖像在無陰影情況下描繪。在品質Q2之片段跟隨品質Q1之第一片段的經縫合或串接串流中，品質Q2之第二片段之RASL圖像在無陰影情況下在一半中描繪且在有陰影情況下在另一半中描繪，藉此指示解碼此等RASL圖像之結果並非解碼Q2或Q1之連續串流時之對應RASL圖像的結果。然而，除規範符合性外，若RASL圖像經恰當地創作，則關於Q2之品質降級並非顯著的。此可已用針對DASH之媒體呈現描述(MPD)中之屬性@mediaStreamStructure亦即在資訊清單檔案內傳信。
一問題在不同品質Q1及Q2並不具有相同解析度時出現，此係由於針對開放式GOP切換需要之參考圖像並不以恰當解析度存在。舉例而言，此意謂不可能在諸如HEVC之當前現有單層寫碼解碼器情況下隨著解析度改變而進行開放式GOP切換。對於此用途，可能使用諸如SHVC之分層寫碼解碼器。
在SHVC中，當將解碼程序自較低層向上切換至較高層時，RASL圖像自動地標記為非輸出圖像。RASL圖像可在將指定程序用於不可用參考圖像之後予以解碼。然而，解碼結果視覺上將被削弱，且說明書註釋到，由於此等圖像並不影響之後的非RASL圖像，因此RASL圖像在較低層圖像被輸出時之所有所得出現時刻可被丟棄。
隨後解釋之實施例通常遵循兩個選項。第一選項向使用者提供足夠資訊，使得針對在整個時間上使用層間預測(使所有層不變地存在)而將開放式GOP結構用於分層寫碼解碼器的狀況，具有較高品質之RASL圖像以最高品質展示而非以較低品質展示。然而，對於該狀況提供如下另一選項：歸因於較高壓縮效率期望具有獨立層位元串流，但仍將層間預測用於向上切換。
為了易於理解關於本申請案之第一態樣之各種實施例的以下更詳細描述，圖4展示用於使用自適性串流化協定將視訊輸出至用戶端的裝置。裝置在圖4中標示為輸出裝置且使用參考符號20來指示。輸出裝置20因此作為串流化伺服器起作用，且由裝置20使用之自適性串流化協定可為DASH或任何其他自適性串流化協定。裝置20可以硬體、韌體或軟體之形式來實施。當以硬體實施時，裝置20可(例如)為積體電路。若以韌體實施，則裝置20可為FPGA；且若以軟體實施，則裝置20可包含藉由適當電腦程式而規劃之一或多個程序。
裝置20可支援在至少以第一空間解析度操作視訊且以第二空間解析度輸出視訊之間進行切換。即，由輸出裝置20輸出至用戶端之串流22可表示一空間解析度下之視訊24或已編碼有該視訊，該空間解析度在時間上發生變化且(例如)在第一空間解析度與大於第一空間解析度之第二空間解析度之間切換。「空間解析度」(例如)以每圖像之樣本數來量測。舉例而言，圖4說明輸出裝置20在時間間隔26期間以第一空間解析度且在時間間隔28內以第二空間解析度自串流22輸出視訊24。在時間間隔26內，串流22表示視訊24之在第一空間解析度下的圖像30，且在時間間隔28內，串流22表示在第二空間解析度下的圖像30。在時間間隔26及28期間由圖像30俘獲之場景區段在僅圖像30對在時間間隔26及28之間不同之場景進行空間取樣所用之樣本間距情況下可為相同的，或其可展示同一場景的根據替代性實施例經不同地設定大小之區段，或其一組合。
輸出裝置20支援在以第一空間解析度輸出視訊24與以第二空間解析度輸出視訊之間進行切換的事實可(例如)在用戶端之能力方面表明自身以藉由向輸出裝置20請求特定表示而以不同空間解析度自輸出裝置20擷取視訊24，其實施例稍後予以描述。如稍後所解釋，輸出裝置20可(例如)為一方面儲存經恰當概念化之資料結構的儲存器32與另一方面資訊清單提供器34的組合。資訊清單提供器34可(例如)向用戶端提供資訊清單，該資訊清單描述關於用戶端可如何藉由各別請求存取儲存器32。如此做，用戶端在資訊清單基礎上於在其中已在第一空間解析度下編碼至視訊之時間片段與在其中已在第二空間解析度下編碼至視訊之時間片段之間做出選擇。此方面之詳情在下文予以陳述。
圖5說明關於輸出裝置20如何啟用開放式GOP結構的使用從而以增加之空間解析度表示並編碼視訊24之，同時仍然於在空間表示之間進行切換狀況下避免如關於圖2呈現之隨機存取從屬圖像的遺失。詳言之，圖5說明輸出裝置20在輸出呈分層視訊串流36之形式的視訊與增加之空間解析度視訊串流38之間及時地切換。關於此等串流之細節下文進一步詳細地描述。即，藉由輸出裝置20輸出之串流22在輸出串流22為分層視訊串流36之時間間隔26與輸出串流22為增加之空間解析度視訊串流38的時間階段28之間改變。舉例而言，在間隔26時間輸出之分層視訊串流36表示間隔26期間的視訊，且與增加之空間解析度視訊串流38串接或縫合，該增加之空間解析度視訊串流38表示在(例如)時間上之後續間隔28處的視訊或其中編碼有該視訊。
如圖5中所展示，分層視訊串流36包含以第一空間解析度編碼有視訊的第一層L1。在圖5中，視訊之圖像隨著其經編碼於層L1中藉由參考符號40標示。然而，層視訊串流36亦包含以第二空間解析度編碼有視訊的第二層L2。第二層L2之圖像使用參考符號42描繪於圖5中。然而，視訊24經寫碼於層L1及L2中之方式不同。如稍後將描述，例如，時間預測可用以將圖像40編碼至層L1中。舉例而言，可能使用閉合式GOP結構。然而，第二層之圖像42藉由層間增頻取樣但在無殘餘寫碼的情況下使用自第一層L1至第二層L2之層間預測編碼至層L2中。層間增頻取樣使用垂直箭頭44說明於圖5中，藉此說明每一圖像42在層L1之經時間對準之圖像40之基礎上經純粹層間預測。舉例而言，圖像42之整個圖像內容藉由增頻取樣自圖像40之對應部分來獲得。應強調的是，圖像42之此「寫碼」以極低位元速率成本達成，此係由於無殘餘資料必須經傳達用於層L2，且層間預測模式可(例如)以可行之最粗略力度針對圖像42傳信。
增加之空間解析度視訊串流38使用開放式GOP結構以第二空間解析度在其中編碼有視訊。即，視訊24之圖像46由於其經編碼成增加之空間解析度視訊串流38而具有第二空間解析度且在此等圖像之間存在諸如展示於圖2中之編號為5之圖像的隨機存取點圖像以及諸如圖2中編號為2、3及4之圖像的隨機存取從屬圖像。儘管圖5說明層L1、層L2及增加之空間解析度視訊串流38對於圖像中之每一者具有各別其他圖像中之對應的時間上對準之圖像的狀況，但應注意，此根據替代性實施例並非必須為該狀況。為了說明關於輸出裝置20之操作模式啟用開放式GOP結構之使用從而形成增加之空間解析度視訊串流38而無此串流之隨機存取從屬圖像之遺失的方式，輸出裝置20之描述應簡潔地間雜有展示於圖6中之對應用戶端裝置的描述。
圖6展示用於使用自適性串流化協定自諸如圖4之輸出裝置的伺服器擷取視訊的裝置。圖6之裝置標示為用戶端裝置50，且如關於輸出裝置20之狀況可以硬體、韌體或軟體實施。即，裝置50可為積體電路、經恰當地規劃之FPGA，或藉由適當電腦程式經恰當規劃之一或多個程序。用戶端裝置50支援在以第一空間解析度擷取視訊與以第二空間解析度擷取視訊之間進行切換。為此目的，用戶端裝置50自伺服器擷取時間片段之串流52，該等時間片段按時間片段自視訊之不同版本或以不同位元速率表示視訊之不同串流選出。舉例而言，串流52可為圖4及圖5之串流22，其中用戶端裝置50在經由分層視訊串流36擷取視訊與經由對應於高於分層視訊串流36之位元速率的增加之空間解析度視訊串流38擷取視訊之間進行切換。內部地，用戶端裝置50可包含請求器54，其對自伺服器請求(例如)前述資訊清單且將請求發送至伺服器從而提取由伺服器給予之串流的時間片段諸如串流36與38之時間片段負責，請求器54在串流36與38之間切換以便(例如)避免緩衝器溢流或欠流。舉例而言，用戶端裝置50亦包含用於緩衝藉由請求器54提取之入埠時間片段的緩衝器56，該等入埠時間片段在其藉由將該等經緩衝之時間片段轉遞至視訊解碼器經受解碼之前進行緩衝。視訊解碼器可為用戶端裝置50之部分，或可在該用戶端裝置50外部。圖6說明如在用戶端裝置50外部之視訊解碼器58。
因此，裝置50藉由請求以不同位元速率在其中編碼有視訊之不同串流之時間片段而自伺服器接收串流52，且將串流52輸出或轉遞至視訊解碼器58，藉此以變化之空間解析度擷取視訊。
如此做，裝置50經組配以在以第一空間解析度擷取視訊之第一部分與以第二解析度擷取視訊之第三部分之間的轉變階段中利用自第一空間解析度至第二空間解析度之增頻取樣來以第二空間解析度擷取視訊之在第一部分之後且先於第三部分的第二部分。
為了說明後一情況且關於裝置50啟用開放式GOP結構之使用從而在無隨機存取從屬圖像之遺失情況下以第二空間解析度將視訊編碼至串流52中之方式，參看圖7。如圖7說明，用戶端裝置50在第一時間部分60內以第一空間解析度擷取視訊24，且在第三時間部分62內以增加之第二空間解析度擷取視訊24。圖7藉由描繪視訊24之呈不同大小之圖像來說明此情形。即，在階段60之時間部分內，用戶端裝置50擷取在伺服器處且在第三時間部分62或階段內給予或經顯現可用於輸出的第一串流之時間片段，用戶端裝置50擷取在伺服器處給予或顯現為可用於下載的另一串流之時間片段。其間，亦即先前時間部分62與後續時間部分60之間存在第二時間部分64。在此時間部分內，用戶端裝置50借助於如藉由箭頭66所說明的自第一空間解析度至第二空間解析度的增頻取樣而獲得對第二增加之空間解析度之圖像的取代。藉由此措施，用戶端裝置50獲得對具有第二空間解析度之圖像的取代或補充估計68，亦即，取代圖像68。在此等取代圖像68當中，圖像中之一些可用作對視訊24在時間部分62內之隨機存取從屬圖像之隨機存取從屬圖像之參考圖像的取代。即，藉由用戶端裝置50在時間階段62期間下載之表示可使用開放式GOP結構編碼，且儘管如此可防止隨機存取從屬圖像遺失。
圖8說明用戶端裝置50的根據用戶端裝置50與輸出裝置20協作之實施例的操作模式，該輸出裝置20如關於圖5所描述給予串流36及38。即，串流52為類似於關於圖5解釋之串流22的串流。如圖8中所展示，用戶端裝置50在第二時間部分64期間藉由自輸出裝置20提取其時間片段而自輸出裝置擷取層視訊串流36的層1及層2(L1及L2)。用戶端裝置50將兩個層L1及L2提交至視訊解碼器58，其又在解碼第二層L2中進行增頻取樣66，此係由於第二層L2使用如上文所論述之層間預測44來寫碼。藉由此措施，視訊解碼器58用第二空間解析度之圖像填充內部經解碼圖像緩衝器，該等圖像可接著充當增加之空間解析度視訊串流38之隨機存取從屬圖像的參考圖像，用戶端裝置50藉由在後續時間部分62期間提取其對應時間片段而擷取該增加之空間解析度視訊串流38。在前述時間部分60中，用戶端裝置50又可僅提交第一層亦即在無第二層情況下對視訊解碼器58進行解碼。用戶端裝置50可在時間部分60期間擷取第二層，或不取決於(例如)輸出裝置20是否允許分層視訊串流36之獨立擷取或提取層L1及L2。
圖9說明增加之空間解析度視訊串流38亦可為具有第一層L1及第二層L2之分層視訊串流的狀況，其中具有第二空間解析度之圖像46不僅使用開放式GOP結構亦即使用空間預測寫碼，而且使用層間預測70來寫碼，該層間預測使用自串流38之層L1的圖像72增頻取樣至圖像46之第二解析度。然而，串流38接著亦將殘餘寫碼用於寫碼層L2之圖像42。換言之，在圖9之實例中，分層視訊串流36之層L2的圖像42在不採用時間冗餘情況下寫碼成資料串流36，而圖像46在採用層間及時間冗餘情況下亦即藉由移除層間及時間冗餘且使用殘餘預測來寫碼成串流38。此對應於在圖4之描述中提及之第一選項。根據替代性實施例，圖像46經編碼至串流38中作為分層視訊串流之層但無層間預測，亦即作為獨立層。寫碼至資料串流38中之圖像46之層索引可與分層視訊串流36中之L2的層索引相同。將接著引起之時間部分64與62之間的轉變說明於圖10中。圖10展示在時間部分64與62之間的接合點處到達裝置50之串流52之兩個連續片段，亦即，資料串流52中之第一片段攜載分層視訊串流36之層L1及L2，且第一片段之後的時間片段攜載串流38之經獨立寫碼的層L2。如可看出，藉由層間增頻取樣獲得的分層資料串流36之層L2的圖像充當串流38之後續片段之RASL圖像的參考圖像，該串流38之片段又在無層間預測的情況下進行寫碼。即，儘管串流38之獨立層L2之RASL圖像的參考圖像被需要以正確解析度存在於解碼器58之經解碼圖像緩衝器(DPB)中，但此歸因於上文所採用並描述之量測而並不妨礙不同空間解析度之間進行切換之可能性。
因此，關於以上實例，已描述了實施例，在該實施例處，諸如SHVC之分層寫碼解碼器已經使用以便允許在自適性串流化中使用開放式GOP結構從而編碼視訊之較高空間解析度表示。實施例產生並給予「輔助切換播放軌」以及此播放軌之存在及使用之資訊至使用者/用戶端。
如下文將更詳細地描述，時序資訊可自伺服器傳達至用戶端以便向用戶端通知關於自較低空間解析度切換至較高空間解析度表示之間的轉變階段64應係之長度。藉由此措施，向用戶端通知關於(例如)解碼囊封於「輔助切換播放軌」內之額外NAL單元之必要性，「輔助切換播放軌」應在於時間部分62期間切換至實際較高品質播放軌之前的某時間被解碼。因此，在考慮使用層間預測之分層寫碼解碼器之開放式GOP結構的狀況下，諸如展示於圖10中之彼等圖像的較高品質層RASL圖像可以視覺上吸引人之品質在顯著較低之減損情況下被解碼，且替代較低品質播放軌之對應圖像而被輸出。在將分層寫碼解碼器用於單層預測(所謂獨立層)之狀況下，用戶端應排程足夠時間用於解碼藉由圖像42表示之「輔助切換播放軌」、開始解碼以開放式GOP組態編碼之較高獨立層(諸如具有關聯RASL圖像之圖像46)之前的特定時間。
簡言之，回看圖6之描述，應注意，用戶端裝置50關於寫碼可用於伺服器處之擷取的串流或表示之方式為不可知的。因此，根據一實施例，輸出裝置或伺服器向用戶端裝置或用戶端通知如下必要性：排程關於視訊以第一空間解析度之擷取與視訊以第二空間解析度之擷取之間或在切換視訊串流38之前的第二時間部分64的轉變階段。取決於此信號化，用戶端裝置50可跳過或停止轉變階段。藉由此措施，在較高空間解析度表示(例如)以閉合式GOP結構正經寫碼的情況下於不同空間解析度表示下在同一伺服器處或另一伺服器處可用的另一視訊可在無在自較低空間解析度表示切換至較高空間解析度表示時之任何轉變階段情況下予以擷取。
在具體實例中，串流22及52分別以額外播放軌花費用於攜載分層視訊串流36之層L2的檔案格式分別可在伺服器20與用戶端或裝置50之間傳送。此播放軌可經標記為「切換播放軌/表示」。將指示標記為切換播放軌並非必須以該檔案格式含有，而是可含有於自伺服器發送至用戶端亦即自裝置20發送至裝置50之資訊清單中，諸如DASH中之MPD或各別視訊之初始片段。儘管可為伺服器及用戶端(亦即，裝置20及50)可將預設時間名稱用於針對時間部分64之轉變階段，使得(例如)關於轉變階段之資訊清單中之前述信號化於在具有預定長度之轉變階段之必要性或停止各別轉變階段之間切換的意義上僅對應二進位信號化，但替代地有可能的是伺服器向用戶端分別通知轉變階段之長度及時間部分64之長度。長度可藉由對在伺服器與用戶端之間達成協議之多個預定長度值中之一者編索引、視訊藉由自適性串流化協定可擷取所用之時間片段之長度及單位的指示或以時間單位計諸如以圖像次序計數之單位或類似者計來指示。舉例而言，自伺服器或裝置20發送至用戶端或裝置50之資訊清單或媒體呈現描述可具備時間部分64之長度類似於以切換時間移位或以numSwitchRepSegments的指示。
稍後，將展示如下情形：串流38可為包含補充增強資訊(SEI)之視訊串流，該視訊串流藉由提供關於自RASL圖像至參考圖形之最大距離之資訊而允許剛剛提及之轉變階段長度的導出，該RASL圖像提及各別參考圖像，其中此資訊被理解為承諾。在HEVC中，例如，圖像SEI之結構並不針對整個經寫碼視訊序列(CVS)確定範圍，且可因此在此方面並不足夠。因此，新類型之補充增強資訊SEI將為有利的。
伺服器之裝置20可因此自此補充增強資訊導出轉變時段64之長度，且因此經由資訊清單向用戶端或裝置50進行通知。
如自以上論述內容亦變得清楚，用戶端或裝置50可經組配以必然地應用關於時間部分64之轉變階段，藉此必然地播放切換播放軌或切換呈層L2之形式的表示，或轉變階段將為可選的，且將藉由伺服器或裝置20使用(例如)資訊清單中之前述信號化來切換。換言之，播放切換呈分層視訊串流36之層L2之形式的表示之播放軌可為可選或必選的。
至於分層視訊串流36之層1被關注，請注意，其可使用(例如) IDR圖像以閉合式GOP結構寫碼。藉由此措施，用戶端或用戶端裝置50可直接(亦即，無任何轉變情況下)自較高空間解析度亦即下載串流38切換至較低空間解析度亦即下載串流36之層L1。
圖11說明關於呈分層視訊串流36之層L2之形式之輔助切換播放軌經給予給用戶端之方式的具體實例。圖11說明可能儲存於輸出裝置20之儲存器32中的資料結構。資料結構使用參考符號18來指示且包含增加之空間解析度視訊串流38及分層視訊串流36。兩者按時間再分成時間片段序列。串流38之時間片段標示為301 … 38N ，且串流36之時間片段標示為361 … 36N 。經時間對準之時間片段38i 及36i 係關於視訊之對應時間部分或在其中編碼有該對應時間部分。根據圖11之實施例，分層視訊串流36之層L2並非為由用戶端可分離地擷取的。確切而言，層L2作為額外播放軌包括在相同片段36i 內，在該等相同片段36i 內，串流36之層L1被傳達。因此，在82處展示，用戶端或用戶端裝置50將在自伺服器或裝置20擷取呈資料串流38之形式的視訊之任何開始86之前排程轉變階段84。在轉變階段84內，串流22/52包含串流36之對應時間片段的序列。即，在轉變階段84期間，裝置50自分層視訊串流36之片段提取屬於轉變階段84之片段，藉此形成時間部分64。自時間86向前，裝置50自串流38之彼等片段之序列提取時間片段，直至自增加之空間解析度切換回至較低空間解析度。裝置50之操作模式在轉變階段84期間與之前時間之間的差異係如下。
如在圖11中可看出，在所展示之實施例中，用戶端裝置僅具有在提取分層視訊串流36之片段或增加之空間解析度視訊串流38之片段之間的選項。在切換至增加之空間解析度視訊串流38之前，用戶端裝置50排程轉變階段84。在轉變階段之前，用戶端裝置50僅轉遞分層視訊串流36之層L1以藉由視訊解碼器58解碼，而在轉變階段期間，用戶端裝置50將兩個層L1及L2轉遞至視訊解碼器58。在此時間84期間，視訊解碼器58重建構分層視訊串流之層L2的圖像42，該等圖像42接著充當自時間86向前自伺服器或裝置20擷取之增加之空間解析度視訊串流38的一或多個片段之隨機存取從屬圖像的參考圖像。圖11說明上文概述之如下可能性：用戶端裝置50回應於來自伺服器或輸出裝置20之對應信號化88而排程轉變階段84，該信號化88可(例如)包括在媒體呈現描述或資訊清單90中。若信號化88指示層L2在轉變階段84中將用作參考圖像取代貯器，則用戶端裝置50如之前所描述起作用。若否，則用戶端裝置50並不在開始擷取增加之空間解析度視訊串流38之時間片段的時間86之前排程轉變階段84，而是直接擴展僅使層L1經受由視訊解碼器58進行解碼的階段至如圖11之底部處說明的切換時間86。
圖11之後一實施例涉及將串流36之「輔助切換播放軌」 L2包括在分層視訊串流36內之片段內。在媒體呈現描述或資訊清單90中，此輔助切換播放軌將被指示為與藉由分層視訊串流36之層L1形成之表示分離的表示。舉例而言，資訊清單90將傳信針對視訊解碼器58之所需要解碼能力以解碼又取決於層L1之層L2，亦即，以解碼「輔助切換播放軌」；且指示視訊解碼器58之解碼能力以解碼僅分層視訊串流36之低解析度層L1。
以下具體信號化可用於資訊清單90內以便向用戶端裝置50傳信關於輔助切換播放軌L2之資訊，諸如指示輔助切換播放軌L2之存在的資訊88；且可並行地傳信轉變階段84之長度。另外，如剛剛概述，僅僅傳信關於L2之所需要能力。
表示之所需要能力當前用@mimeType屬性來傳信。將需要被定義之第一屬性為允許切換至給定表示，亦即，所需要「輔助播放軌」被包括在片段內。此屬性可被命名為(例如)@switchableTo。另外，應定義@switchingMimeType屬性，該@switchingMimeType屬性描述解碼「輔助交換播放軌」時需要之能力。最終，「輔助切換播放軌」需要被解碼之切換之前的時間需要經傳信，使得DASH用戶端可決定其是否可無縫地切換至較高解析度表示(@switchingTimeShift/@numSwitchRepSegments)。為了能夠切換至此較高解析度表示，需要使用者早於藉由(@switchingTimeShift/@numSwitchRepSegments)描述之時間自SAP隨機存取較低表示。具體傳信可參見如下：
關於圖11提出之描述的替代可為，在用戶端裝置50與輸出裝置20之間就如下情形達成協議：用戶端裝置50使輔助切換播放軌L2經受由視訊解碼器58進行的解碼。視訊解碼器58即將自動地具有對增加之空間解析度視訊串流38之隨機存取從屬圖像的參考圖像取代，限制條件為至增加之空間解析度視訊串流38之任何切換並不早於轉變階段84之自開始提取分層視訊串流36之區段序列起之長度發生。因此，甚至在需要用戶端裝置50使層L2必然地經受解碼之此狀況下，用戶端裝置50將在切換至增加之空間解析度資料串流38之前排程轉變階段84。因此，對關於圖11描述之一個實施例的替代性實施例為，替代地，另一實施例為向使用者傳信：為了能夠無縫地切換至另一表示n+1，不需要額外時間資訊，而是使用者必須一直自存在於區段n中之輔助播放軌中之第一AU解碼「輔助切換播放軌」。再者，在此狀況下，此替代性表示之mimeType對於使用者而言將為必要的以知曉其被需要以能夠解碼此播放軌。此外，使用者可自藉由@switchableTo屬性指出之表示導出輸出的解析度。為了能夠切換至此較高解析度表示，需要使用者自早於呈較高解析度之SAP的任何SAP隨機存取較低表示。
如上文所陳述，轉變階段84之長度可設定為預設值，使得不需要傳輸同一長度。舉例而言，藉由預設，轉變階段長度可為84一個片段之長度。即，至少就關注表示切換時刻亦即允許表示之間的切換之時間而言，時間寫碼間互依性可經受限以便不長於一個片段長度。使用轉變階段以便改良不同品質之間的切換之另一替代性實施例使用此預設設定且可經實施如下。詳言之，剛剛描述之實施例可用以在諸如DASH MPD之資訊清單檔案中向用戶端通知切換至較高品質層中之轉變階段的有利考慮事項。
舉例而言，補充性質描述符可標示為「urn:mpeg:dash:resolutionSwitching:2016」，且用以指示哪些表示允許在以在範圍1至3(包括)之範圍內之SAP類型開始之任何片段之開始處的無縫解析度切換。描述符在用於DASH中時可置放於調試集上或MPD階層中之表示層級。補充性質描述符之@value為如以下表中指定的具有兩個值之空格分離之清單：SupplementalProperty @值屬性解析度切換：2016
即，此實例展示，描述符對於諸如L1 之某一表示可指示哪些表示可用於被切換至，諸如L2 。無關於此描述符明確地指示此(等)表示，例如，描述符借助於其在MPD中之存在指示在切換至表示L2 之前提前完美之一個片段歸因於開放式GOP結構而足夠以具有潛在地先於切換點的所有時間參考。換言之，藉由預設，解析度切換描述符應不存在，除非具有在[TEPT ；TDEC )內之呈現時間的片段N中之所有存取點以一方式受到約束，使得其僅取決於片段N或片段N-1之存取單元。因此，若表示在此描述符存在之片段N處改變，則可能有必要的是在片段N-1期間解碼額外媒體串流，即在圖11中，不同於符合@codecs屬性之一個分層串流的分層串流之增強層以「切換所自」表示指示，其存在藉由switchingMimeType即圖11中之單層高品質串流之存在指示，以便能夠解碼先於「切換至」表示之片段N之第一SAP(亦即，在間隔[TEPT ，TDEC ))的所有存取單元。
圖12展示相較於圖11之實施例的替代性實施例，在該替代性實施例處，資料結構80具有分層視訊串流36之層L1及L2的分離之時間對準片段，即經時間對準之片段362 i 及361 i 。所有時間片段361 i 、362 i 及38i 係與不同位址相關聯，且因此為藉由用戶端裝置50可個別地提取的。此處，用戶端裝置50於先於轉變階段84的時間部分期間自輸出裝置20僅提取片段361 i 。在轉變階段84期間，用戶端裝置50對於視訊之每一時間片段i自輸出裝置20擷取時間片段361 i 及362 i 兩者，藉此將不僅層L1而且將層L2轉遞至視訊解碼器58。自時間86起，用戶端裝置50擷取或提取增加之空間解析度視訊串流38之時間片段38i 並將時間片段38i 轉遞至視訊解碼器58。再者，圖12說明資訊88可控制用戶端裝置50以應用或不應用轉變階段84。
即，圖12說明使用分離表示之實施例，該分離表示含有用於切換需要之額外資料，即分層視訊串流36之層L2內的資料。即，在圖12之實施例中，此資料並不包括於亦攜載基本層L1的相同片段內。
圖13說明對於後一實施例的如圖3中所展示之相同情形，然而，用戶端裝置擷取視訊之第一時間片段的兩個片段，即表示1之對應於分層視訊串流36之層L1的一者，及表示3之對應於分層視訊串流之層L2的對應時間片段。就資訊清單90及視訊在輸出裝置或伺服器20處之可用性的描述得到關注而言，可注意到以下內容。
在此狀況下，Rep3應包括@dependencyId=Rep1，且Rep2及Rep3應具有相同@mediaStreamStructureId。在此狀況下，Rep3將不需要額外@mimeType作為Rep3應已包括的表示。然而，此表示藉由例如參數@switchingRepresenation應標示為「僅意欲用於切換」。如對於先前狀況而言，時序資訊可被包括從而指示時序資訊被需要以解碼此表示以能夠切換至另一表示所自的向前之點，或其可以一方式受到約束，使得只要時序資訊先於Rep2中之切換點自Rep1中之SAP解碼，所有所需要參考便為可用的。
另一實施例由在最低解析度下具有僅閉合式GOP RAP(或切換點)及在較高解析度中具有僅開放式GOP RAP構成。此情形允許在所有可用RAP處無縫切換至最低品質。替代地，若更多解析度對於時刻3可用，則最低解析度具有僅閉合式GOP RAP，最高解析度具有僅開放式GOP RAP，且中間解析度表示具有兩者之混合物。向上切換在任何RAP之存在情況下有可能，但向下切換僅在存在閉合式GOP情況下有可能。在此狀況下，現有@switchingPeriod應經擴展以在upSwitching與downSwitching之間不同。
另一實施例係關於與過去最大量之圖像相關之資訊在視訊處的存在，RASL圖像可參考該等圖像用於預測。此資訊將被需要以導出在先前段落中之MPD處的所描之屬性。舉例而言，此資訊可以SEI之形式或在VUI自身中包括。 SEI： VUI：
在以上語法實例中，子層特定傳信得以例證，其中max_reference_poc_difference[i]指示RAD圖像與RAM圖像之間的最大差，例如，圖3之Q2中的TRAIL圖像與RASL圖像之間的最大差。在將語法元素包括於VUI中之狀況下，範圍可為SPS(亦即，圖像序列)之範圍，直至被下一有效SPS替換，且於在SEI中傳達語法元素之狀況下，範圍可為一圖像序列，直至被該分類之下一SEI亦即constrained_skipped_leading_picturesSEI訊息替換為止。即，在該範圍期間，視訊經寫碼成視訊串流，從而服從關於max_reference_poc_difference[i]之承諾。「子層」i在(例如)以下層之不同時間層之間不同：其中在使子層ID i減少情況下，增加數目個圖像被停止，使得歸因於自較高子層至較低子層之時間圖像相依性消失，max_reference_poc_difference[i]在i減少情況下單調地減少，或替代地換言之max_reference_poc_difference[i]≤max_reference_poc_difference[i+1]。然而，亦可想像到其他結構。然而，應注意，以上傳信僅理解為實例，且長度指示max_reference_poc_difference[i]之子層相依性可經停止，其中(例如)根本不支援時間可擴展性或僅傳信最高子層之max_reference_poc_difference。max_reference_poc_difference量測第一經參考結尾RASL與第一參考RASL之間的所關注時間差，例如，POC之數目亦即圖像之數目上的差。差或長度以呈現時間次序來量測。
因此，以上實施例揭露用於使用諸如DASH或另一自適性串流化協定之自適性串流化協定輸出視訊24至用戶端的裝置20，該裝置20支援在至少輸出呈分層視訊串流36之形式的視訊24與輸出呈增加之空間解析度視訊串流38之形式的視訊24之間進行切換。增加之空間解析度視訊串流38使用開放式GOP(圖像群組)結構亦即使用如在圖2中例示性地描繪之開放式GOP組態(亦即，圖像經分組成GOP之組態)中的時間預測來編碼，每一GOP各自包含藉由RAD(隨機存取從屬)圖像按解碼次序跟隨的RA(隨機存取)圖像，該RAD圖像按呈現/顯示次序先於RA圖像且參考RA圖像以及按解碼次序先於RA圖像之RAM(在隨機存取潛在地錯過之狀況下)參考圖像。增加之空間解析度視訊串流38以第二(增加之)空間解析度且以第二(增加之)品質或位元速率在其中編碼有視訊。對切換之支援為裝置20的提供串流36及38以供用戶端擷取連同向用戶端提供資訊清單的結果，該資訊清單向用戶端提供對應資訊。然而，原則上，實施例亦可在DASH2情況下亦即在自適性串流化協定情況下起作用，從而允許將串流片段伺服器驅動推動至用戶端。分層視訊串流36包含以第一空間解析度在其中編碼有視訊之第一層L1及第二層L2，該第二層L2以第二空間解析度及低於第二品質之第一品質且使用借助於層間增頻取樣但在無預測殘餘寫碼的情況下自第一層至第二層之層間預測(44)在其中編碼有視訊之圖像。如以上實例中所展示，第二層L2可僅使用借助於層間增頻取樣自第一層至第二層之層間預測(44)亦即在無預測殘餘擷取情況下且在無時間預測情況下在其中編碼有視訊之圖像，亦即，L2之圖像僅經寫碼為層L1之時間對應圖像的經增頻取樣版本。
由於裝置20關於視訊串流經給予用於在之間切換之準確方式可為不可知的，因此以上實施例亦揭露用於使用自適性串流化協定輸出視訊至用戶端的裝置20，該裝置支援在至少以下兩者之間進行切換：輸出呈第一視訊串流之形式之視訊，即在分離片段中傳輸層L1及L2之狀況下為L2及於在共同區段內傳輸L1及L2狀況下為36；及輸出呈第二視訊串流38之形式的視訊，其中裝置20經組配以向用戶端50通知在自擷取呈第一視訊串流之形式的視訊切換至擷取呈第二視訊串流38之形式的視訊之前排程轉變階段64的必要性。在如圖10及圖11中所展示使用共同片段之狀況下，輸出裝置向用戶端提供資訊清單，該資訊清單描述針對用戶端的呈第一視訊串流36之形式在第一空間解析度下及呈第二視訊串流38之形式在第二空間解析度下之視訊的可用性，且指示第二層L2在第一視訊串流之時間片段中的存在及第二層L2之用途：即，當在切換至第二視訊串流(38)之前的轉變階段期間自第一空間解析度切換至第二空間解析度時被播放。資訊清單將接著指示計算規則以分別計算用於提取第一視訊串流及第二視訊串流之時間片段的位址。在使用分離片段之狀況下，裝置20將視訊給予給用戶端以供另外以第三視訊串流之形式(即由層L1表示的串流)擷取。裝置20將向用戶端提供資訊清單，該資訊清單描述針對用戶端之以第三視訊串流L1之形式在第一空間解析度下且呈第二視訊串流38之形式在第二空間解析度下之視訊的一可用性。資訊清單接著指示，當自第一空間解析度切換至第二空間解析度時，亦即在自第三視訊串流切換至第一視訊串流且接著自第一視訊串流切換至第二視訊串流時，第一視訊串流之時間片段即L2在轉變階段64期間將與第三視訊串流L1之時間片段一起被擷取。資訊清單指示一計算規則以計算用於提取第一視訊串流、第二視訊串流及第三視訊串流之時間片段的位址。上文已指明，另外地，視訊可以額外第三空間解析度甚至高於第一空間解析度的解析度以另一視訊串流之形式給予至用戶端，其中然而有可能的是，第二視訊串流44替代地使用閉合式GOP結構及開放式GOP結構來寫碼。接著，裝置可經組配而給予視訊至用戶端從而另外以具有資訊清單之另一視訊串流之形式擷取，該資訊清單描述針對用戶端之呈另一視訊串流之形式在高於第一空間解析度及第二空間解析度之第三空間解析度下之視訊的可用性，其中在資訊清單中指示計算規則以又計算用於提取另一視訊串流之時間片段的位址，且裝置20可向用戶端分離地通知向下切換發生時刻從而自第三空間解析度切換至第二空間解析度以及向上切換發生時刻從而自第一視訊串流或第三視訊串流切換至第二視訊串流，此係由於可落於不同時刻。大體而言，例如，向下切換可僅在閉合式GOP結構隨機存取點處被允許，而向上切換第二視訊串流亦在開放式GOP結構之隨機存取點處被允許，即以上文概述之方式使用第一視訊串流L2並服從時間偏移或轉變階段長度被允許。裝置20在資訊清單中可指示，第一視訊串流L2及第二視訊串流可編接在一起以便饋送至一個解碼器。此情形在將向下切換約束至L1之閉合式GOP結構之狀況下對於將L1與串流38編接在一起亦可為真。
以上實施例接著亦可揭露用於使用諸如但非排他地DASH之自適性串流化協定擷取視訊24之裝置50，該裝置支援在至少擷取呈第一視訊串流36之形式的視訊與擷取呈第二視訊串流38之形式的視訊之間的切換。應注意，在替代性實施例中，例如若裝置50將經設計以內部地進行增頻取樣66，則裝置50可甚至能夠與僅對應於串流36之層L1的第一視訊串流一起起作用。使用自伺服器輸出至裝置50之分層視訊串流36的概念使裝置50卸下重擔且在亦借助於如上文所描述之另一分層視訊串流設計第二視訊串流38的狀況下使得串流36與38在自串流36切換至串流38之接合點處的容易串接成為可能，以使得增頻取樣66藉由可調式視訊解碼器進行。裝置50經組配以在自擷取呈第一視訊串流之形式的視訊切換至擷取呈第二視訊串流之形式的視訊之前排程轉變階段64。此情形提供足夠時間以使用增頻取樣66取代RAM圖像。
如上文所描述，增加之空間解析度(第二)視訊串流38可為另一分層視訊串流，其包含以第一空間解析度在其中編碼有視訊之另一第一層L1及另一第二層L2，該另一第二層L2使用開放式GOP結構中之時間預測且使用借助於層間增頻取樣並使用預測殘餘寫碼之自另一第一層L1至另一第二層L2之層間預測其中編碼有視訊。第一層及另一第一層可使編碼於其中之視訊以第一空間解析度同樣地寫碼，使得視訊以第一空間解析度於在編接點處編接在一起之分層視訊串流36及另一分層資料串流38之基礎上的重建構等於視訊在第一空間解析度下分別在分層視訊串流及另一分成資料串流中之任一者的基礎上的重建構。第一層及另一第一層以及另一第二層可使用開放式GOP結構來編碼。自串流38或增加之空間解析度切換回至串流36或層1以獲得減少之空間解析度將不存在問題，此係由於層L1將經不斷地解碼。
增加之空間解析度(第二)視訊串流38亦可為包含一另一第二層L2之一另一分層視訊串流，該另一第二層L2以該第二空間解析度使用開放式GOP結構中之時間預測且使用預測殘餘寫碼但在無層間預測的情況下在其中編碼有視訊。層L1此處根本可正在錯過。串流36之第一層L1可接著使用閉合式GOP結構亦即在不存在RAD圖像之GOP中使用時間間預測來編碼。自串流38或增加之空間解析度切換回至串流36或層L1以獲得減少之空間解析度將不存在問題，此係由於開放式GOP結構允許在切換之後立即播放而無需必須取代任何參考圖像。
串流36及38之第二層及另一第二層可使用共同層ID標記出，使得編接分層視訊串流與另一分層視訊串流產生包含具有共同層ID之層的經編接分層視訊串流，該層以第二空間解析度編碼有視訊。
裝置20可經組配以向用戶端50通知，用戶端應在自第一視訊串流36切換至增加之空間解析度(第二)視訊串流38之前排程轉變階段66，在該階段中，用戶端將至少關於RAM參考圖像利用分層視訊串流之第二層而導出視訊在第二空間解析度下的補充估計。轉變階段之長度可超出或等於成對之RAD圖像與經參考RAM參考圖像之間的最大距離。資訊可含有於資訊清單中。裝置可經組配以自諸如語法元素max_reference_poc_difference的增加之空間解析度視訊串流之SEI獲得導出轉變階段之長度。就此而言，以上描述內容亦揭露以一方式在其中編碼有一圖像序列之視訊串流，該方式係諸如實例說明於圖2中的使用開放式GOP結構中之時間預測之方式，即使得在圖像序列中存在至少一個RAD圖像的方式，該至少一個RAD圖像直接或間接地藉由時間預測參考圖像序列之按呈現時間次序的後續RA圖像及按呈現時間次序及解碼次序先於隨機存取點圖像的RAM參考圖像，其中視訊串流包含諸如max_reference_poc_difference之語法元素，從而指示至少一個隨機存取從屬圖像參考圖像與藉由至少一個隨機存取從屬圖像直接或間接地參考之參考圖像之間的最大時間距離。視訊串流可為分層視訊串流及圖像序列，即分層視訊串流之層中之一者的圖像。舉例而言，串流38可為此類視訊串流。將圖像序列對應地編碼為視訊串流之視訊編碼器可將語法元素插入至資料串流中。此編碼器以19說明性地描繪於圖2中。因此，語法元素為指示最大時間距離之資訊。該語法元素可以POC(圖像次序計數)或某其他合適單位量測距離。
串流36層L1及層L2可分別藉由用戶端20個別地擷取，或藉由裝置20個別地輸出。換言之，裝置20可支援在至少以下各者之間進行切換：藉由用戶端提取兩個層L1及L2之片段361 i 及362 i 而輸出包括兩個層L1及L2的呈分層視訊串流36之形式的視訊，輸出呈第二視訊串流38之形式的視訊，及輸出呈減小之空間解析度串流之形式的視訊，該減小之空間解析度串流以第一空間解析度在其中編碼有視訊。後一選項可對應於用戶端50擷取僅與串流36之層L1相關的片段。即，裝置50將經啟用而在分離地含有第一層L1及第二層L2之時間片段361 i 及362 i 中擷取分層視訊串流36，且裝置50可避免在轉變階段外部擷取含有第二層L2之時間片段362 i 連同關於層L1的片段361 i 。應注意，替代地，同樣地寫碼為串流36之層L1或甚至經不同地寫碼的傳遞減少之空間解析度視訊串流的分離片段可經提供從而又在裝置20處於以下載。
串流36之層L1及層L2可僅一起在共同片段36i 中分別由用戶端20可擷取或由裝置20輸出。裝置50將接著在含有第一層及第二層之時間片段中擷取分層視訊串流。裝置50可約束使第二層連同第一層一起經受解碼達在轉變階段期間的時間。在轉變階段外部，僅第一層L1在經擷取之串流36之片段內經受解碼，儘管L2又經傳達。
在另一/用戶端側，如上文所描述，裝置50可使第一視訊串流36及第二視訊串流38以縫合在一起之方式經受藉由(例如)可調式解碼器進行解碼，使得自第一視訊串流36解碼之圖像對於第二視訊串流38之RAD圖像形成藉由RAD圖像參考之RAM參考圖像的取代。
裝置20可將關於轉變階段之以(例如)片段單位或時間單位計之長度的資訊發送至裝置50，且裝置50可自裝置20獲得該資訊。另外或替代地，信號化可自裝置20發送至裝置50，且取決於信號化藉由裝置50停用排程或啟動排程。因此，裝置50將能夠自同一伺服器或不同伺服器擷取另一視訊連同在兩個視訊串流之間切換但在自一個視訊串流切換至另一視訊串流之前不排程轉變階段，此係由於其在經開放式GOP結構編碼之視訊串流情況下將有可能而無懲罰。資訊及/或信號化可含有於資訊清單中。
本申請案之接著描述實施例針對的態樣係關於如下態樣：使得能夠以一方式寫碼用於自適性串流化之從屬表示，以使得僅此從屬表示之時間片段的子集迫使藉由從屬表示參考之表示的時間上對應之片段被輸出至用戶端裝置/或由用戶端裝置擷取該等時間上對應之片段。在描述此等實施例之前，提供可自該等實施例產生之優點的簡要描述。
熟知的是，相較於對應於單層寫碼解碼器，現有可調式視訊寫碼技術跟隨有不可忽略之寫碼效率損失。同時，儘管可調式寫碼解碼器具有此缺點，但存在可調式寫碼解碼器提供使得其對於使用極具吸引力之一些能力的一些使用狀況。
舉例而言，可調式寫碼解碼器允許不相等之隨機存取以及未對準之隨機存取點(RAP)，相較於藉由對準之RAP給予相同功能性，後一情形允許位元速率在隨機存取點處的時間上之更好分佈。圖14說明其中對準之RAP展示於圖14之上半部分中且未對準之RAP展示於圖14之下半部分中的所描述問題。片段分佈上之關聯位元速率分別針對對準之RAP及未對準之RAP描繪於右手側。如圖14中可看出，在對準之RAP的狀況下，隨機存取圖像此處IDR圖像含有於表示Q1及Q2之時間對準之時間片段中，即，第一及第三片段中，使得自伺服器傳達至用戶端之串流的位元速率展示對應於視訊之此等時間片段的位元速率峰值。在未對準之RAP狀況下，情形為相對不嚴格的。此處，RAP (例如，IDR圖像)配置於時間片段內，該等時間片段在與表示Q1及Q2比較時並未經時間上對準。表示Q1之隨機存取點圖像含有於片段Seg#1及Seg#3內，而表示Q2之隨機存取圖像配置於時間片段Seg#2及Seg#4內。當將視訊內容以表示Q2自伺服器傳輸至用戶端時，自伺服器發送至用戶端之串流的位元速率之時間變化被減少。即，位元速率峰值相較於經對準之RAP狀況為較不顯著的。
然而，由於與較高層即圖14中Q2情況下之增強層相比較通常較低層即圖14之實例中Q1情況下之基本層中的較高數目個隨機存取點被需要以允許快速調諧，因此可調式串流相較於單一層狀況伴隨有合理地高之壓縮額外耗用，從而使得因此描述之圖14之下部部分處的解決方案為較不吸引人的。
因此將合乎需要的是給予內容，該內容允許分佈隨時間提供隨機存取必要之位元速率但避免壓縮額外耗用損失，尤其在基本層中具有頻繁RAP情況下的所描述狀況中。
圖15說明如顯現為可用於由用戶端在伺服器處擷取的媒體內容之有利實施例。如在迄今描述之其他實施例中，媒體內容假設為係視訊，但媒體內容可替代地為某事項，諸如音訊內容或類似者。媒體內容以第一位元速率及品質Q1以及第二位元速率及品質Q2可用。第二位元速率就如品質Q2相對於Q1一般相對於第一速率增加。表示Q1藉由基本層形成。基本層時間上經再分為八個時間上連續之片段。八個此等連續片段說明於圖15中。第一、第三、第五及第七片段含有此處呈IDR圖像之形式的隨機存取點，且因此允許調諧。第二表示Q2借助於以取決於基本層之方式寫碼的增強層來寫碼。增強層亦經時間上再分為時間片段，該等時間片段與表示Q1之時間片段在時間上對準。然而，在表示Q2之此等時間片段當中，僅子集以取決於基本層之時間上對應之時間片段的方式寫碼。舉例而言，表示Q2當中展示於圖15中之第三、第四、第七及第八片段以取決於表示Q2之個別先前片段但獨立於基本層之時間上共置之時間片段的方式寫碼。正關注擷取表示Q2處之媒體內容之用戶端因此除表示Q2之時間片段外並不需要下在基本層之所有時間片段，以便以品質Q2獲得媒體內容。確切而言，用戶端可停止表示Q2之第三、第四、第七及第八片段的擷取。
因此，根據本申請案之一實施例，自伺服器發送至用戶端之資訊清單或媒體呈現描述可經擴展以如圖15中所展示傳信分層寫碼與單層寫碼之混合物至用戶端，使得用戶端能夠跳過下載參考表示之不需要片段。
舉例而言，當前DASH規範將不同可調式層作為所謂表示處置。當前，DASH僅描述基於表示相當粗略地寫碼相依性。使用下文進一步描述之寫碼將誘發非必要基本層片段之大量不必要訊務，此係由於一些增強層片段在根據圖15編碼時以單層寫碼效能被達成且不應用框間預測之方式編碼。因此，根據本申請案之一實施例，例如，DASH中之語法元素@dependencyId可藉由額外屬性擴展，該等屬性允許傳信逐片段相依性以指示僅必要片段，使得使用者可避免下載非所要求基本層片段。關於圖15之實施例，用戶端將能夠自Q1及Q2下載片段#1、#2、#5及#6，而僅表示Q2之片段#3、#4、#7及#8被下載，亦即，增強層。
此資訊清單可被解譯使用之屬性的實例呈現於下表中。其含有@dependencyPattern，該@dependencyPattern向用戶端提供揀選罕見地被需要用於某增強層表示的彼等基本層片段之能力。
在圖15之實例中，例如，屬性將讀取如下： @dependencyPattern=4 1 2 其將意謂，具有索引1+4*n或2+4*n之任何片段被需要用於解碼。因此，並不具有此索引之所有其他片段可能不被下載，從而相較於使用僅@dependencyId改良經下載之位元速率。
除以更粗糙方式傳信片段之相依性或非相依性外，未經對準之RAP有助於隨著時間分佈位元速率。另一實施例由傳信關於針對不同表示之RAP之偏移組成。@rapOffset或@switchingOffset。
最終，描述所保存之輸貫量的屬性可被添加至MDP @savedBandwidth以修改所描述之@bandwidth屬性，從而意謂來自補充表示(亦即，給定表示取決於之表示)之非從屬片段不被下載之時間。
圖16展示針對對應輸出裝置或伺服器以及其關聯資料結構之實施例，該資料結構可顯現為可用以供用戶端下載。圖16之輸出裝置使用參考符號100說明，且可以上文關於圖4概述之方式以硬體、韌體或軟體實施。內部地，輸出裝置可類似於關於圖4描述之輸出裝置而建構，亦即，輸出裝置可包含儲存器102、資訊清單提供器104。如關於圖15所描述，輸出裝置100以變化之位元速率經由自適性串流化協定輸出媒體內容或允許媒體內容之下載。舉例而言，輸出裝置100將在分別與第一表示與第二表示相關聯之第一位元速率與第二位元速率之間的切換給予至用戶端。表示可對應於分層寫碼解碼器之層。在圖16中，對應於較高位元速率及較高品質之表示標示為Q2，而對應於較低位元速率及較低品質之表示標示為Q1。表示Q1因此為媒體串流之時間片段106的序列，該等時間片段分別表示視訊內容在個別品質Q1下之時間部分108之序列的對應時間部分。此等片段106中之一些可適合於媒體播放或調諧。即，其可獨立於表示Q1之任何先前區段經寫碼。表示Q1之其他片段可取決於時間上之先前片段。後面表示在圖16中以陰影展示。同樣，表示Q2亦可藉由資料串流之時間片段序列形成。此等片段在圖16中標示為110，且在其中分別編碼媒體內容之時間部分108中的各別一者。然而，片段110包括取決於表示Q1之時間上對準之片段106寫碼的片段，及獨立於表示Q1之時間上對應之片段106寫碼的片段。前面片段在圖16中以陰影展示。其他片段在16中以非陰影方式展示，且以取決於片段110之前述片段的方式將媒體內容的各別時間部分108編碼於其中。在取決於表示Q1之對應之時間上對準的片段106寫碼之彼等片段110當中，一些片段可獨立於具有品質Q2之任何前述片段110寫碼，該等片段在圖16之狀況下以交叉陰影展示，而其他片段取決於先前片段110。
輸出裝置100可將呈時間片段106及110之形式的資料結構儲存於儲存器102內。片段106及110中之每一者可具有與之相關聯之獨特位址，該獨特位址可在資訊清單基礎上計算，資訊清單提供器104將資訊清單提供至用戶端。資訊清單亦可包括表示Q1及Q2依據(例如)下載各別表示需要之位元速率及各別表示表示媒體內容所在之品質的描述。舉例而言，品質可對應於某表示對作為媒體內容之實例的視訊進行表示所處的空間解析度。
圖17展示可以硬體、韌體或軟體實施之用戶端裝置120，如其已關於圖6所描述。內部地，用戶端裝置可包含請求器122及緩衝器124。圖17之用戶端裝置120經組配以根據自適性串流化協定與輸出裝置100通訊以擷取或下載媒體內容。舉例而言，若用戶端裝置120尋求下載表示Q1處的媒體內容，則用戶端裝置120藉由請求器122自輸出裝置100依序請求表示Q1之片段106的序列。請求器122將(例如)在於資訊清單內傳信之對應片段範本之基礎上計算片段106之位址，輸出裝置100在藉由請求器122做出之對應請求之後便將資訊清單發送至用戶端裝置120。藉由緩衝器124進行緩衝，用戶端裝置120將片段106之因此所擷取序列轉遞至媒體解碼器，諸如在媒體內容為視訊之狀況下之視訊解碼器。
然而，在關注媒體內容之表示Q2的狀況下，用戶端裝置120關於表示Q2之獨立於表示Q1寫碼的彼等片段將跳過擷取表示Q1。即，用戶端裝置120將自輸出裝置100擷取或下載表示Q2之片段110的序列連同僅表示Q1的時間上與取決於表示Q1寫碼之片段110對準的彼等片段。用戶端裝置120將因此避免下載或擷取表示Q1的與展示於圖16中之未加陰影片段110時間上對準之彼等片段106。
如先前所描述，自輸出裝置100發送至用戶端裝置120之資訊清單可包含關於確定性週期方式之資訊，獨立於表示Q1寫碼之第二表示的片段110以該確定性週期方式與表示Q2之片段110時間交插，該等片段110取決於表示Q1而寫碼。另外，自裝置100發送至裝置120之資訊清單可包含一或多個片段範本，使得用戶端裝置120能夠在該一或多個片段範本基礎上計算片段106及110之唯一位址。使用片段範本及週期資訊，用戶端裝置120及請求器122分別經啟用以具體下載僅片段106及110中之所需要片段。資訊清單可指示由下載片段106及110當中僅剛剛提及之所需要片段產生之位元速率作為表示Q2的位元速率。替代地，輸出裝置100可視情況處置跳過表示Q1之片段106中的非需要片段，且在資訊清單內指示用於表示Q2之兩個位元速率：針對表示Q1之所有片段106外加片段110亦被下載之狀況的一個位元速率，及針對表示Q1之片段106當中的非所要片段外加片段110被跳過且不下載之狀況的另一位元速率。
根據替代實施例，片段110之檔案標頭中之訊息方框可經使用以便針對一或多個後續片段110就以下情形自輸出裝置100傳信至用戶端裝置120：一或多個後續片段110取決於表示Q1之時間上對應之片段且因此需要下載表示Q1之時間上對應之片段。藉由此措施，輸出裝置120將如下起作用：用戶端裝置120將檢測資訊清單且在開始時決定(例如)下載表示Q2，用戶端裝置120可沿著表示Q1之時間上對應之片段106開始直接下載表示Q2之第一片段。舉例而言，資訊清單可包含向用戶端裝置120通知訊息方框之存在的提示，該提示指示Q2之以下片段是否需要Q1之時間上對應之片段。用戶端裝置120將接著檢測此片段110內之訊息框，以便針對一或多個後續片段110直接檢查確認表示Q1之各別時間上對應之片段106是否亦必須被擷取/下載。所需要之片段106將藉由用戶端裝置120下載/擷取。以此方式，用戶端裝置120將檢測後續片段110之訊息方框以針對其他片段110檢查確認其他片段110是否需要表示Q1之各別時間上對應之片段106的擷取/下載。
因此，以上實施例揭露用於使用諸如但非排他地DASH之自適性串流化協定將媒體內容輸出至用戶端之裝置100。媒體內容並不約束至視訊，而是可替代地為音訊資料或其他媒體資料。裝置100支援以時間片段108為單位在至少第一表示Q1與取決於第一表示Q1在其中編碼有視訊之第二表示Q2之間的切換，其中裝置100向用戶端提供資訊，該資訊在以下兩者之間進行辨別：第二表示之時間片段110之第一(圖16中帶陰影)集合，該第二表示取決於第一表示之時間上對應於第一時間片段集合的第一部分亦即Q1之時間上對準至帶陰影片段110的片段106在其中編碼有媒體內容；時間片段110之第二(圖16中之無陰影)集合，第二表示Q2獨立於第一表示之時間上對應於時間片段之第二集合的第二部分亦即時間上與無陰影區段110對準的片段106其中編碼有媒體內容。因此，媒體內容自第二表示之成功重建構在無第一表示之第二部分情況下進展，亦即，重建構在無後面片段106的情況下為可行的。
上文已描述了用於使用自適性串流化協定擷取媒體內容之對應裝置120為經組配以在擷取第二表示時擷取第二表示之第一時間片段集合連同第一表示之第一部分，且擷取第二表示之第二時間片段集合而不擷取第一表示的第二部分，該裝置支援以時間片段為單位計在至少擷取媒體內容之第一表示與擷取媒體內容之第二表示之間進行切換。
計算規則可在兩個裝置100與120之間達成協議以供用戶端裝置120使用以在第一表示之分別位於第一部分與第二部分內之時間片段之位址之間進行辨別。其可自發送自裝置100之資訊清單導出計算規則，媒體內容自裝置100擷取到。因此，以上實施例亦揭露描述媒體內容之以用於自適性串流化協定中的資訊清單，該資訊清單描述媒體內容為以媒體內容之第一表示之形式及第二表示之形式可用，該第二表示取決於第一表示其中編碼有媒體內容，其中資訊清單包含在以下兩者之間進行辨別的資訊：第二表示之第一時間片段集合，該第二表示取決於第一表示之時間上對應於第一時間片段集合的第一部分其中編碼有媒體內容；及第二時間片段集合，第二表示獨立於第一表示之時間上對應於第二時間片段集合的第二部分其中編碼有媒體內容，使得媒體內容自第二表示之成功重建構在無第一表示之第二部分的情況下進展。
另外或替代地，諸如檔案方框內的在該第二表示之時間片段之第一集合及/或第二集合之預定時間片段中的提示可允許裝置120將該第二呈現之在該等預定時間片段之後的一或多個後續時間片段歸結為時間片段之第一集合及第二集合中的一者。表示媒體內容及經概念化用於使用自適性串流化協定將媒體內容串流化至用戶端的資料結構，該資料結構包含媒體內容之第一表示及取決於第一表示其中編碼有媒體內容之第二表示，其中資料結構包含資訊，該資訊在以下兩者之間進行辨別：第二表示之第一時間片段集合，第二表示取決於第一表示之時間上對應於第一時間片段集合的第一部分其中編碼有媒體內容；第二表示之第二時間片段集合，第二表示獨立於第一表示之時間上對應於第二時間片段集合的第二部分其中編碼有媒體內容，使得媒體內容自第二表示之成功重建構在無第一表示之第二部分的情況下進展。此處，媒體內容可包含第二表示之時間片段之第一及/或第二集合之預定時間片段中的資訊清單或提示。
在轉至本申請案之下一態樣之前，應注意，諸如視訊之媒體內容可以一方式提供至輸出裝置或伺服器，使得伺服器具備資訊，該資訊使得伺服器能夠導出表示間從屬寫碼時間片段與表示內寫碼時間片段的交錯，亦即，表示間從屬寫碼時間片段與表示內寫碼時間片段在串流Q2之時間片段序列中交替地出現的次序。換言之，分層視訊串流可以圖像序列以交替方式包含獨立於任何其他層寫碼亦即在無層間預測的情況下寫碼之圖像子序列與取決於諸如L1之另一層寫碼亦即使用層間預測寫碼的圖像子序列之方式其中編碼有對應於圖14中之Q1及Q2之層L1及L2中的視訊，且此分層視訊資料串流可包含關於此子序列交替之指示，使得輸出裝置可因此亦即藉由如下操作向用戶端通知：沿著時間且在層之間將分層視訊串流再分成時間片段以便(例如)在將分層視訊串流中之指示考慮在內或不考慮在內來獲得藉由16個矩形說明於圖14中的片段，及根據視訊串流中之指示將每一時間片段指定為表示間從屬片段或表示間寫碼時間片段。詳言之，僅包含或其中編碼有如分層視訊串流中所指示之層內寫碼圖像之遍次中之一者內的圖像之彼等時間片段將變成圖16中之無陰影時間片段，亦即，Q2之經表示內寫碼之片段，而分層視訊串流之層L2經時間再分至之所有其他片段依據圖16變成表示Q2之陰影片段。
換言之，具有在以上實施例中待於輸送層級指示之逐時間片段粒度之視訊表示的相依性資訊可僅經由旁側頻道資訊自編碼器或藉由剖析並分析完整之視訊位元串流(亦即，所有所指示之層相依性、參考圖像集合及層間預測隨時間之實際使用)來導出。方便的是提供用於編碼器的以易於可用之方式在視訊位元串流內直接傳達此資訊的構件。以下例示性語法允許此功能性作為SEI訊息。
對於給定層，層之對參考層之層間預測相依性針對SEI之範圍描述/保證/指示。範圍持續，直至SEI之下一出現(當num_AU=0時)或針對明確給定之量的存取單元持續(否則)。ilp_idc之值指示在SEI之範圍期間所表達之層之間是否不存在相依性。即，將指示某層i之所有後續圖像的SEI，直至該類型之關於此層i至分層視訊串流之寫碼獨佔地取決於那些層(j＜i)的下一SEI。圖像之此遍次接著使用以上命名形成圖像之遍次或子序列，且圖像之下一遍次或子序列將借助於下一SEI開始，該下一SEI可改變層i取決於的所參考層之集合。如使用圖16中之參考符號119說明的視訊編碼器可為分層視訊串流提供此資訊，且諸如裝置120之網路裝置可使用紅色該資訊並將每一SEI訊息應用於(例如)彼等圖像，該等圖像跨越自各別SEI訊息向前至下一SEI訊息的圖像序列。
接著描述之實施例關注本申請案之另一態樣，即一方面藉由頻道自身且另一方面藉由表示橫跨之空間中多頻道信號中分佈隨機存取點的態樣。如之前關於本申請案之其他態樣，描述內容以解釋基礎問題的介紹開始。
隨機存取點通常用於串流化系統中，此係由於其允許在針對實況服務或搜尋功能性之不同點處調諧成串流，且同時可用作在動態自適應串流會話中之切換點，在該動態自適應串流會話處，需要媒體位元速率適應於自網路量測之可用輸貫量。
使隨機存取點之頻率最佳化最終為寫碼效率與隨機存取能力之間的折中。又，RAP愈頻繁，則可愈靠近使用者在實況情境下可調諧的實況事件。
除寫碼效率外，在用戶端緩衝器保持為儘可能低之低延遲情境下，峰值位元速率不可真正由緩衝器吸收，且可致使使用者基於峰值位元速率使其操作點最佳化。同時，在DASH情境下，片段可能保持為儘可能小的(例如，GOP大小)，使得伺服器側延遲被減小。在此環境中，並非所有片段將以RAP開始編碼，從而導致具有大小隨時間之高可變性的片段：含有RAP之片段將遠大於並不含有RAP之片段。
使用者將接著必須選擇所要品質用於最差情境，亦即，對應於含有RAP之片段的最大片段。具有片段大小可變性之問題描繪於圖18中。圖18展示藉由某伺服器給予之四個表示對應於如在圖18之右側處以200描繪的一個場景之四個不同圖塊或部分的狀況。舉例而言，每一表示由沿著時間次序自左至右在圖18中配置的時間片段序列構成。含有RAP之片段描繪為3×3陣列。如圖18之底部處所展示，所有表示至用戶端之傳輸產生時變位元速率，位元速率峰值與含有RAP之時間片段相關聯，該等時間片段在圖18之實例中在表示1至4當中經時間上對準。
逐漸解碼再新(GDR)為如下技術：允許編碼器(例如)藉由針對圖像之不同空間區在不同時點處中斷預測而在時間上分佈寫碼預測(或位元串流中之圖像)之再新(重新啟動)。提供此功能性之簡單方式為使用圖塊編碼視訊且藉由分佈RAP或預測中斷(預測重設)圖像至不同(子)片段中來使用時間上分散之RAP。僅在伺服器側進行此操作將不允許具有同樣多的(「清潔的」-對於整個圖像)隨機存取點。因此，在表示(表示中之每一者係關於共同場景之另一頻道，諸如場景之對應區段)上時間上分佈含有RAP之片段並不非常令人滿意地解決位元速率峰值的問題，因為實際上藉由此措施，各種頻道之以前之「共同」或時間上對準之隨機存取點僅時間上抹掉，同時使整個場景或媒體內容的調諧速率按原樣。根據隨後描述之實施例，有可能減低位元速率峰值問題並減低用戶端需要的調諧時間。
藉由隨後解釋之實施例應用之解決方案首先關於圖19來解釋，圖19使用與圖18相同之實例作為媒體場景之多個頻道的實例，亦即，一場景之四個不同區段。在圖19之實例中，為每一頻道提供三個表示，即第一頻道之前三個表示對應於場景之右上區段，第二頻道之表示4至6係關於場景之右上區段，表示7至9對應於係關於場景之左下側區段的第三頻道，且表示10至12經花費用於係關於場景之右下區段的第四頻道。正關注擷取完整場景之用戶端因此需要擷取每一頻道之表示中的一者。對於每一頻道而言一個以上表示可用之事實向用戶端提供具體而言對於某時間片段訪問包括RAP之頻道之彼等表示諸如用於快速調諧或訪問表示達在各別時間片段具有一RAP的平均數目之機會，使得四個頻道之含有所下載RAP之時間片段的平均數目隨時間為大體上恆定的，藉此輔助保持時間位元速率變數從而將頻道之時間片段合理地低地自伺服器串流化至用戶端。
現可看出經下載之位元速率相較於先前狀況隨時間如何為更均質的。
MPD中之必要傳信： 第一實施例 -    RAP偏移或類似事項 o   如上所定義之@rapOffset或@switchingOffset o   其可用於如上文所描述之圖塊化使用狀況或在經分散之RAP/切換點情況下用於快速調諧。因此，每一表示之位元速率較小，但粒度與更頻繁之RAP/交換點相同。 § 傳信表示為等效表示。 第二實施例 -    對於調諧僅必要之經對準RAP-＞在偏移情況下向對準之RAP給予僅經分散之RAP Rep及額外「非充分」 Rep 第三實施例 -    峰值速率減小量測 o   描述@peakBitrateReduction之屬性。峰值位元速率可使用及@bandwidth導出。排程器將基於波峰位元速率之此導出來起作用。此屬性對於排程器而言有助於將實際分佈之速率考慮在內。此可有助於以高品質串流擴展時間。又對準之RAP可用於切換或隨機存取。
圖20展示可利用關於圖19概述之理念的輸出裝置或伺服器220。輸出裝置220可以硬體、韌體或軟體實施，如其已在上文關於圖4及圖16所描述。內部地，輸出裝置220可包含儲存器222及資訊清單提供器224。圖20之輸出裝置220係用於利用自適性串流化協定顯現由多個頻道構成之媒體場景從而可用於用戶端。對於每一頻道，輸出裝置220支援各別頻道在若干表示中之一者處的擷取或下載。在圖20中，每頻道僅兩個表示例示性地展示為具有例示性地為三個之數目個頻道。然而，頻道之數目可為大於1之任何數目，且每頻道之表示的數目可同樣為大於1之任一數目。對於每一頻道之每一表示，輸出裝置22給予片段序列的輸出或擷取。在圖20中，片段使用三個文數字標識來指明。第一個文數字指示頻道，第二個文數字指示表示，且第三個文數字使用大寫字母A、B、C … 時間上區分片段序列。所有此等片段為藉由各別請求藉由各別用戶端可各別擷取或下載的。即，每一片段包含其自己之唯一特位址。
輸出裝置220在資訊清單中描述可用媒體場景，即依據可用表示及與媒體場景之個別頻道的關聯來描述可用媒體場景。應注意，表示可取決於彼此或可為獨立的。頻道可對應於音訊頻道，其中媒體為音訊場景，或頻道可為全景場景的場景區段。個別表示為具有編碼於其中之關聯頻道之資料串流，(例如)各自具有經編碼於其中之關聯場景區段的視訊串流。屬於一個頻道之表示並不需要對應於不同位元速率或類似者。屬於一個頻道之表示可具有相同位元速率或相同品質。然而，輸出裝置220提供具有資訊之資訊清單，該資訊指示各種頻道之個別表示中之存取點的位置。該等存取點時間上不同於彼此地分佈。即，包含隨機存取點之時間片段在與屬於一個頻道之表示比較時在時間上經不同地定位/分佈。較佳地，隨機存取點以一方式分佈，使得包含隨機存取點之時間片段並不符合屬於一個頻道之表示之間的時間，或此符合對應於考慮一個頻道之此等表示內攜載隨機存取點之時間片段的數目及此頻道之表示之數目的最小值。舉例而言，隨機存取點之時間分佈係使得，在每一頻道之每一表示內，攜載時間片段之隨機存取點以自總體媒體場景之開始起之某偏移j每第i時間片段以一週期性方式配置。在一個頻道內，週期性i及/或偏移j可在各別頻道之表示當中發生變化。
適配於圖20之實施例的用戶端裝置可經構成並建構為展示於圖17中的一者，使得額外圖已停止。根據適配於圖20之實施例，用戶端裝置120請求資訊清單並自資訊清單導出屬於頻道之各種表示之隨機存取點的位置，該等頻道如上文所概述在與屬於一個頻道之表示比較時在時間上經不同地分佈，其中此情形對於所有頻道為真。用戶端裝置將接著針對當前時間片段之每一頻道選擇各別頻道之表示中的一者，且此選擇將取決於攜載隨機存取點之片段的位置而進行。如上文所概述，用戶端裝置120可(例如)對於快速調諧選擇允許快速調諧之某時間片段處每一頻道之彼等表示，且在媒體場景之下載期間對於每一時間片段選擇針對每一頻道之彼等表示，對於頻道，表示展示攜載片段之時間上發生較小變化的數目個隨機存取點。
因此，應注意到，根據第三態樣，裝置200可經組配用於使用諸如但非排他地DASH之自適性串流化協定將媒體場景之頻道輸出至用戶端。媒體場景可為圖像，且頻道可為其區段。替代地，媒體場景可為音訊場景，且頻道可為音訊頻道。裝置200可支援對於每一頻道在各別頻道之表示集合之間進行切換，該等表示在隨機存取點之時間分佈上不同。即，裝置200將此等表示給予給用戶端以供下載或以供提取。屬於不同頻道之表示可能獨立於彼此地相互寫碼。係關於同一頻道之表示可獨立於彼此地相互寫碼，或可取決於彼此。
在間歇地出現之時刻，頻道之集合之表示中的至少一者之隨機存取點可在時間上對準。舉例而言，參見第一、第8及第16片段處的表示#1、#4、#7及#10。用於使用自適性串流化協定擷取媒體場景之頻道的對應用戶端裝置120可經組配以對於每一頻道在各別頻道之該集合之表示之間進行切換。如此做，裝置120可經組配以對於每一頻道取決於頻道之該表示集合中隨機存取點之時間分佈而在各別頻道之該表示集合當中選擇待針對各別頻道同時擷取的表示。隨機存取點在各種表示內之時間分佈(即，時間位置)可在伺服器與用戶端之間達成協議。裝置120可經組配以自一伺服器擷取一資訊，該資訊揭露該等頻道之該表示集合中隨機存取點的時間分佈，該媒體場景自該伺服器擷取到。詳言之，資訊可經由發送自伺服器200之資訊清單輸送。替代地，資訊可經由在頻道之表示集合之預定時間片段中使用提示來傳達。預定片段可能為所有頻道在時間上間歇地發生之出現時刻處的所有表示之片段，使得無關於每一頻道之當前擷取之表示，用戶端獲得所含有之資訊。舉例而言，資訊可接著含有於格式檔案方框中。
應注意，伺服器220可向用戶端通知可達成之位元速率峰值減小。可達成之峰值位元速率減小可為藉由以下操作擷取媒體場景所獲得之峰值位元速率減小：取決於隨機存取點在頻道之集合之表示中的時間分佈對於每一頻道在各別頻道之集合的表示當中選擇同時將擷取用於各別頻道之表示，使得包含隨機存取點之所選擇之時間片段當中之時間片段的數目以最低可能方式在時間上發生變化。伺服器220可以不同方式向用戶端通知可達成之峰值位元速率減小：伺服器220可向用戶端通知1)在每頻道選擇一個表示的表示之一或多個預定表示集合下在下載媒體場景亦即所有頻道時必要的平均位元速率，2)與此等一或多個預定集合之下載相關聯之位元速率峰值，及3)在對於每一頻道以RAP數目變化避免方式在其表示之間進行切換時與媒體場景之下載相關聯的位元速率峰值。替代性方式同樣將為可行的。
以下描述內容關注本申請案之第四態樣。此態樣關注在用戶端與伺服器之間在自適性串流化情境中在不同表示之間進行切換。為了改良到達用戶端之媒體串流的品質，下文呈現之概念提議在自一個表示切換至另一表示時衰落階段的排程。
圖21例示性地展示此衰落階段可有利地得以應用之實例，其中圖21例示性地說明組合本申請案之衰落階段插入理念與上文關於關注本申請案之第一態樣的實施例概述之轉變階段插入的狀況。即，圖21說明在各別用戶端之請求之後如自伺服器傳輸至用戶端的兩個連續時間片段。圖21作為起始點說明性地描繪圖13之情形，在圖13處，用戶端自片段Seg#1中之第一表示切換至片段Seg#2中之表示2。為了補償表示2之RAD圖像之RAM圖像的遺失，用戶端在時間片段Seg#1期間除第一表示之對應時間片段外亦擷取呈分離時間片段之形式的輔助播放軌。在用戶端處播放之視訊將因此自在第一表示之基礎上重建構之圖像的序列轉變至第二表示之圖像。然而，此轉變可歸因於自表示1改變至表示2而導致降級之呈現品質，而在圖21之實例中，例如，另外經受第二表示之RASL圖像之參考圖像的補充估計。為了解決此缺陷，本申請案之第四態樣的實施例提議將係一資料串流之額外輔助播放軌290給予給用戶端，該資料串流使用層間預測亦即藉由分別在表示1及表示2之基礎上分離地導出之預測符的線性組合在表示1及表示2之基礎上進行雙向預測。換言之，額外輔助播放軌290利用層間預測亦即藉由對於額外輔助播放軌290之每一圖像進行以下操作在無殘餘寫碼的情況下寫碼：使用表示1之時間上對應之圖像的副本以及表示2之時間上對應的圖像之副本及對兩者進行求和、視情況使用數個加權(加權中之一者在階段292中減小且加權中之另一者增加)而預測各別圖像，使得兩個表示之間的衰落即自減少權重屬於之一個表示至增加權重屬於之一個表示發生。在圖21中，為了導出針對輔助播放軌290之資料串流之每一圖像的分離預測符，層間預測使用自輔助播放軌290之各別圖像分別垂直地導向至表示1及表示2之時間上對應之圖像的兩個虛線箭頭說明性地描繪。用戶端因此在衰落階段期間除關於第二表示之片段外亦提取輔助請求290及表示1之時間上對應的片段，且在此衰落階段292期間播放輔助播放軌290之重建構，以便接著在衰落階段之後僅以擷取並播放第二表示繼續。輔助播放軌290之圖像可(例如)以雙向預測形式寫碼為分別自第二表示之圖像與第一表示之圖像導出之預測符的線性組合。線性組合可在衰落階段期間以一方式在時間上改變兩個預測符之權重，使得第一表示之圖像愈來愈低地有貢獻於線性組合，而第二表示之圖像在衰落階段期間愈來愈多地有貢獻於線性組合。舉例而言，輔助播放軌290之圖像藉由第一因數×第一表示之時間上對應之圖像之層間預測副本加上第二因數×第二表示之時間上對應之圖像的層間複製版本的線性組合來形成，其中第一因數在衰落階段期間自1單調地減低至0，而第二因數在衰落階段期間自0單調地增加至1。此例示性地描繪於圖22中，從而分別展示第一因數及第二因數之時間變化的分離曲線，其中時間軸線處之波形括號說明衰落階段292。
圖23展示使用剛剛概述之第四態樣之另一實施例中的輸出裝置300。輸出裝置300可經實施，且可具有如關於本申請案之其他態樣之其他輸出裝置描述的可選內部結構。即，輸出裝置300如上文所概述可以硬體、韌體或軟體來實施，且可內部地由儲存器302及資訊清單提供器304構成。
圖23之輸出裝置300經組配以使用諸如但非排他地DASH之自適性串流化協定輸出諸如但非排他地視訊的媒體內容。裝置300將媒體內容給予給用戶端以供以至少以下之形式進行擷取：第一媒體串流306，其以第一品質編碼有媒體內容；第二媒體串流308，其以第二品質編碼有媒體內容；及輔助媒體串流310，其取決於第一媒體串流306及第二媒體串流308在其中編碼有媒體內容。因此，第一媒體串流306形成媒體內容之第一表示，且第二媒體串流308形成第二表示。第二表示可或可能並不取決於第一表示。媒體串流306至310分別描繪為一連串時間片段312，其中輔助媒體串流310之時間片段312為由用戶端自輸出裝置300自媒體串流306及308之時間片段312可分離地擷取的，但使用短劃線方框說明，輔助媒體串流310可替代地包括於第二媒體串流308之時間片段內，其中此選項說明於24中，或第一媒體串流306之時間片段內。資訊清單提供器304在各別用戶端請求之後輸出至用戶端的資訊清單例如將描述表示1及2，諸如解碼各別表示之必要解碼能力、其品質、其傳輸位元速率及類似者。另外，資訊清單將向用戶端提供用於計算用於提取時間片段312之位址的一或多個時間範本，該等位址一方面對於媒體串流306且另一方面對於媒體串流308之時間片段不同，其中輔助媒體串流310包括於此等時間片段中，或具有至用於提取串流306、308及310之時間片段的分裏位址之計算之結果的一或多個區段範本。
圖24之用戶端裝置320可以關於呈硬體、韌體或軟體之形式的實施且關於內容結構與如上文關於其他用戶端裝置描述之方式相同的方式實施，根據該內部結構，用戶端裝置320可視情況包含請求器322及緩衝器324。圖24之用戶端裝置經組配以使用諸如但非排他地DASH之自適性串流化協定自伺服器擷取諸如但非排他地視訊的媒體內容，且為此目的至少支援在自伺服器諸如圖23之輸出裝置擷取第一媒體串流或第二媒體串流之間進行切換。用戶端裝置經組配以在自擷取該第一媒體串流切換至擷取該第二媒體串流時排程一衰落階段292，在該衰落階段內，裝置320擷取輔助媒體串流與第一媒體串流及第二媒體串流，並播放輔助媒體串流而非第二媒體串流。舉例而言，圖24說明第二表示308獨立於第一表示使得用戶端裝置320在先於衰落階段之前的時間階段326期間僅自伺服器提取第一媒體串流306之片段或擷取該等片段，並使該等片段經受藉由各別解碼器進行之解碼。在衰落階段292期間，用戶端裝置320在衰落階段292內提取輔助媒體串流310之時間片段連同媒體串流306及308之時間上對應的時間片段，且使該等時間片段皆經受藉由對應解碼器進行之解碼，而於在衰落階段292之後的時間片段328中，用戶端裝置320避免在播放並自伺服器擷取第二媒體串流308情況下擷取輔助媒體串流310。若第二表示將為取決於第一表示之表示，則用戶端裝置320將在時間階段328期間擷取第二媒體串流308之時間片段連同媒體串流306之時間上對應的片段。
如上文已註解，上文關於本申請案之第一態樣描述的實施例以及關於本申請案之第四態樣描述之實施例可經組合。舉例而言，圖25展示如與伺服器互動之用戶端裝置320，該伺服器除第一表示306、第二表示308及輔助表示310外亦給予媒體內容(此處即視訊)以供以36之切換播放軌L2的形式擷取。用戶端裝置320因此經組配以在自表示1轉變至表示2時排程轉變階段84及衰落階段292兩者。在轉變階段84期間，用戶端裝置320將自伺服器擷取切換播放軌，即分層視訊串流36之第二層L2外加第一媒體串流306，該第一媒體串流將接著在分離時間片段或共同時間片段中對應於分層視訊串流36的層L1，其中接著如在轉變階段84期間進行一般轉變至用戶端裝置320將不播出36之切換播放軌L2的衰落階段，但如自輔助媒體串流310導出之輔助表示分別取決於媒體串流306及308而寫碼。
換言之，根據一實施例，疊加信號藉由係多個播放軌之經加權版本的輸出信號顯示；播放軌中之一些可在疊加之前經增頻取樣；一個此加權在指定點處在兩個播放軌之間切換；另一權重允許自一個播放軌逐漸轉變至另一播放軌。經疊加信號可藉由係兩個播放軌之經加權版本的輸出信號顯示； *播放軌中之一者含有處於較高品質(例如，較高解析度或至原始視訊之較高保真度)之視訊，潛在地亦含有在疊加之前受影響之寫碼偏移(例如，在使用開放式GOP編碼情況下)； *一個此加權允許自一個播放軌至另一播放軌之逐漸轉變 * 疊加在寫碼解碼器域外部被實現。
* 疊加遵循下圖在寫碼解碼器域內實現，其中指示為額外表示「經加權」之第三「層」經播放，從而特徵化自Rep 1及Rep 2之僅經加權預測(虛線橙色箭頭)。
甚至在不存在類似於(受偏移影響或不受偏移影響)開放式GOP寫碼之前置圖像情況下，方法允許(逐漸)層切換。
關於後面之實施例，應注意，替代性實施例涉及裝置300向用戶端提供後設資料，該後設資料當在第一媒體串流與第二媒體串流之間進行切換時控制用戶端處的衰落。舉例而言，後設資料可描述待用於衰落中之前述權重的增加/減少之強度。用戶端裝置120將自伺服器接收後設資料，且使用該後設資料控制當在第一媒體串流與第二媒體串流之間進行切換時的衰落。
關於以上描述內容，應注意，任何所展示之編碼器、解碼器或網路裝置可以硬體、韌體或軟體來體現或實施。當以硬體實施時，各別編碼器、解碼器或網路裝置可(例如)以特殊應用積體電路之形式來實施。若以韌體實施，則各別裝置可實施為場可規劃陣列，且若以軟體實施，則各別裝置可為處理器或經電腦程式化以進行所描述功能性。
儘管已在設備之上下文中描述了一些態樣，但顯然的是，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備(例如，微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。
本發明的經編碼資料串流或信號可儲存於數位儲存媒體上或可在諸如無線傳輸媒體之傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。只要已描述了一些資訊插入至資料串流中或編碼成資料串流，則此描述應同時被理解為所得資料串流包含各別資訊、旗標之語法元素或等之揭示內容。
取決於某些實施要求，本發明之實施例可以硬體或軟體實施。可使用數位儲存媒體來進行該實施，該媒體係例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠與可規劃電腦系統協作)以使得進行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，該等控制信號能夠與可規劃電腦系統協作，以使得進行本文中所描述之方法中之一者。
一般而言，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於進行該等方法中之一者。程式碼可(例如)儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上的用於進行本文中所描述之方法中的一者的電腦程式。
換言之，本發明方法之實施例因此為具有程式碼之電腦程式，當電腦程式於電腦上執行時，該程式碼用於進行本文中所描述之方法中的一者。
因此，本發明方法之另一實施例為包含上面記錄之用於進行本文中所描述之方法中之一者的電腦程式之資料載體(或數位儲存媒體，或電腦可讀媒體)。資料載體、數位儲存媒體或所記錄媒體通常係有形的及/或非瞬變的。
因此，本發明之方法之另一實施例為表示用於進行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可(例如)經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實施例包含經組配以或經調適以進行本文中所描述之方法中的一者之處理構件(例如，電腦或可規劃邏輯裝置)。
另一實施例包含上面已安裝有用於進行本文中所描述之方法中之一者的電腦程式之電腦。
根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於進行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。接收器可(例如)為電腦、行動裝置、記憶體裝置或其類似者。設備或系統可(例如)包含用於將電腦程式傳送至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以進行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便進行本文中所描述之方法中之一者。一般而言，該等方法較佳地由任一硬體設備進行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體予以實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體裝置與電腦的組合來進行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或以軟體進行。
上述實施例僅說明本發明之原理。應理解，本文中所描述之配置及細節的修改及變化對於熟習此項技術者將為顯而易見。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉助於本文中實施例之描述及解釋所呈現的特定細節限制。
10‧‧‧圖像/視訊
12、24‧‧‧視訊
19‧‧‧編碼器
20、100‧‧‧參考符號/輸出裝置
22‧‧‧輸出串流
26、28‧‧‧時間間隔
30、46、72、P‧‧‧圖像
32、102、222、302‧‧‧儲存器
34、104、224、304‧‧‧資訊清單提供器
36‧‧‧分層視訊串流
361~36N 、381~38N、106、312‧‧‧時間片段
362 i、361 i‧‧‧經時間對準之片段
38‧‧‧增加之空間解析度視訊串流
40、42‧‧‧參考符號/圖像
44‧‧‧垂直箭頭/層間預測
50、120、320‧‧‧用戶端裝置
52‧‧‧資料串流
54、122、322‧‧‧請求器
56、124、324‧‧‧緩衝器
58‧‧‧視訊解碼器
60‧‧‧第一時間部分
62‧‧‧第三時間部分
64‧‧‧第二時間部分
66‧‧‧箭頭/增頻取樣
68‧‧‧取代或補充估計/取代圖像
70‧‧‧層間預測
80‧‧‧資料結構
84‧‧‧轉變階段
86‧‧‧開始/時間
88‧‧‧信號化
90‧‧‧媒體呈現描述或資訊清單
108‧‧‧時間部分
110‧‧‧片段
112、119‧‧‧視訊編碼器
200‧‧‧裝置
220‧‧‧輸出裝置或伺服器
290‧‧‧額外輔助播放軌
292‧‧‧衰落階段
300‧‧‧輸出裝置
306‧‧‧第一媒體串流
308‧‧‧第二媒體串流
310‧‧‧輔助媒體串流
326、328‧‧‧時間階段
Q1、Q2‧‧‧表示/品質
L1‧‧‧第一層
L2‧‧‧第二層
有利實施為附屬技術方案之標的物。下文中關於諸圖來描述本申請案之較佳實施例，在諸圖中： 圖1展示說明視訊資料串流之圖，該視訊資料串流在其中使用開放式GOP結構編碼有視訊，其中圖1以呈現時間次序展示視訊資料串流之圖像； 圖2展示說明視訊資料串流之圖像之路徑且僅伺服器作為實例的示意圖，該視訊資料串流在其中使用開放式GOP結構以呈現時間次序且在下半部分處按解碼次序寫碼有圖像，其中開放式GOP結構對應於圖1之開放式GOP結構； 圖3展示說明兩個分離/獨立經寫碼視訊資料串流之示意圖，其在上半部分處經時間再分為片段用於自適性串流化且在下半分處再分成經縫合之資料串流從而以自較低品質至較高品質之轉處到達用戶端； 圖4展示根據關於本申請案之第一態樣之實施例的說明輸出裝置之示意圖； 圖5展示根據一實施例的說明由圖4之輸出裝置使用之分層視訊串流及增加之空間解析度視訊串流的示意圖； 圖6展示根據關於本申請案之第一態樣之實施例的說明用戶端裝置之示意圖； 圖7展示根據實施例的說明圖6之用戶端裝置的關於在自較低空間解析度切換至增加之空間解析度時插入轉變階段之操作模式的示意圖； 圖8展示說明在使用圖5之串流時如由圖6之用戶端裝置自伺服器獲得的入埠縫合視訊資料串流之示意圖； 圖9藉由展示增加之空間解析度視訊串流亦可為分層視訊串流而展示說明圖8之所使用串流的示意圖； 圖10展示一示意圖，該示意圖說明如在將經獨立寫碼層用於增加之空間解析度視訊資料串流且將攜載第一層及第二層兩者之片段用於分層視訊資料串流時由圖6之用戶端裝置接收的經編接視訊資料串流之編接點； 圖11展示根據實施例之說明經準備用於在伺服器側處進行自適性串流化之資料結構的示意圖，在該實施例處，分層視訊串流之片段包含共同片段內的第一層及第二層； 圖12展示根據對圖11之替代實施例的說明資料結構之示意圖，在該替代性實施例處，獨立片段用於分層視訊串流內之第一層及第二層； 圖13展示說明圖10之情形但此處將獨立片段用於分層視訊串流之第一層及第二層的示意圖； 圖14展示說明兩個表示之四個連續片段的示意圖，表示Q2取決於表示Q1，其中在上半部分中，展示攜載RAP之片段在時間上對準的實例，且在下半部分中說明片段未經對準之實例，其中在下載表示Q2處展示所得下載位元速率，藉此說明使用未對準之RAP之狀況下的較低位元速率峰值； 圖15展示一示意圖，從而說明表示Q2取決於表示Q1之狀況下的八個連續片段，其中以獨立於表示Q1之方式寫碼表示Q2之片段中的一些； 圖16展示說明可利用展示於圖15中之結構之輸出裝置的示意圖； 圖17展示說明可適配於圖16之輸出裝置的用戶端裝置之示意圖； 圖18展示一示意圖，從而說明共同特徵場景的每區段具有一個表示的狀況，該共同特徵場景具有該等表示中之時間上對準之RAP，其中展示下載完整場景中之所得位元速率峰值； 圖19展示一示意圖，從而說明改良之媒體場景結構，該媒體場景結構針對多頻道媒體場景之每一頻道具有經不同時間分佈之RAP的若干表示； 圖20展示說明輸出裝置之示意圖的示意圖； 圖21展示說明圖13之情形的示意圖，其中在伺服器處出於衰落目的另外給予輔助播放軌從而說明本申請案之第四態樣； 圖22說明一者在另一上方之兩個時間圖形，從而說明預測之線性組合之因數在根據實例之衰落階段期間在輔助播放軌內之第一表示及第二表示之基礎上的時間減低及增加，在該實例處，減低及增加線性地發生； 圖23展示根據關於本申請案之第四態樣之實施例的說明輸出裝置之示意圖； 圖24展示根據關於本申請案之第四態樣之實施例的說明用戶端裝置之示意圖；且 圖25展示一示意圖，從而說明相較於圖25經修改之用戶端裝置，其中用戶端裝置亦根據本申請案之第一態樣而操作。
22‧‧‧輸出串流
26、28‧‧‧時間間隔

Claims (115)

  1. 一種用於使用一自適性串流化協定輸出一視訊至一用戶端之裝置，該裝置支援至少以下各者之間的切換， 輸出呈一分層視訊串流之形式的該視訊；以及 輸出呈一增加之空間解析度視訊串流之形式的該視訊，該增加之空間解析度視訊串流使用一開放式GOP結構編碼且以一第二空間解析度且以一第二品質編碼有該視訊， 該分層視訊串流包含 一第一層，其以一第一空間解析度在其中編碼有該視訊，以及 一第二層，其以該第二空間解析度及低於該第二品質之一第一品質並使用借助於層間增頻取樣之自該第一層至該第二層的層間預測但在無預測殘餘寫碼的情況下在其中編碼有該視訊。
  2. 如請求項1之裝置，其中該增加之空間解析度視訊串流為一另一分層視訊串流，其包含 一另一第一層，其以該第一空間解析度在其中編碼有該視訊，以及 一另一第二層，其在該開放式GOP結構中使用時間預測且使用借助於層間增頻取樣之自該另一第一層至該另一第二層的層間預測並使用預測殘餘寫碼以該第二空間解析度在其中編碼有該視訊。
  3. 如請求項2之裝置，其中該第一層及該另一第一層使編碼於其中之該視訊同樣以該第一空間解析度寫碼，使得該視訊以該第一空間解析度在於一編接點處編接在一起之該分層視訊串流及該另一分層資料串流之基礎上的一重建構等於該視訊以該第一空間解析度分別在該分層視訊串流及該另一分層資料串流中之任一者基礎上的一重建構。
  4. 如請求項2或3之裝置，其中該第一層及該另一第一層以及該另一第二層使用一開放式GOP結構編碼。
  5. 如請求項1之裝置，其中該增加之空間解析度視訊串流為包含一另一第二層之一另一分層視訊串流，該另一第二層在該開放式GOP結構中使用時間預測且使用預測殘餘寫碼並在無層間預測的情況下以該第二空間解析度在其中編碼有該視訊。
  6. 3及5中任一項之裝置，其中該第一層使用一閉合式GOP結構來編碼。
  7. 如請求項2至6中任一項之裝置，其中該第二層及該另一第二層使用一共同層ID來標記出，使得編接該分層視訊串流與另一分層視訊串流產生一經編接之分層視訊串流，該經編接之分層視訊串流包含具有該共同層ID之一層，該層以該第二空間解析度在其中編碼有該視訊。
  8. 如請求項1之裝置，其中該增加之空間解析度視訊串流為一另一分層視訊串流，該另一分層視訊串流包含以該第二空間解析度在其中編碼有該視訊的一另一第二層，且該第二層及該另一第二層使用一共同層ID標記出，使得編接該分層視訊串流與該另一分層資料串流產生包含具該共同層ID之一層的一編接分層視訊串流，該層以該第二空間解析度在其中編碼有該視訊。
  9. 如前述請求項中任一項之裝置，其中該裝置經組配以向該用戶端通知該用戶端應在自該分層視訊串流至該增加之空間解析度視訊串流之一切換之前排程一轉變階段，在該轉變階段中，該用戶端將利用該分層視訊串流之該第二層而以該第二空間解析度導出該視訊之一補充估計。
  10. 如請求項9之裝置，其中該轉變階段之一長度超出或等於以下各者之間的一最大距離 一方面，該增加之空間解析度視訊串流之隨機存取從屬圖像，該等隨機存取從屬圖像藉由時間預測分別直接地或間接地參考該增加之空間解析度視訊串流之依據呈現時間次序的一後續隨機存取點圖像以及依據呈現時間次序及解碼次序先於該隨機存取點圖像的一參考圖像，以及 另一方面，該參考圖像，其由該等隨機存取從屬圖像直接地或間接地參考。
  11. 如請求項9或10之裝置，其中該裝置經組配以向該用戶端指示該轉變階段之以如下兩者計之該長度 該分層視訊串流及該增加之空間解析度視訊串流之時間片段為單位計，或 以時間單位計。
  12. 如前述請求項中任一項之裝置，其中該裝置經組配以向該用戶端提供如下一資訊清單 描述針對該用戶端之呈該分層視訊串流之形式以該第一空間解析度及呈該增加之空間解析度視訊串流之形式以該第二空間解析度之該視訊的一可用性，以及 指示該分層視訊串流之該第二層連同該分層視訊串流之該第一層在該分層視訊串流之時間片段中的一存在，及該第二層作為用於以該第二空間解析度導出該視訊之一補充估計以便自該分層視訊串流切換至該增加之空間解析度視訊串流之一構件的一用途； 指示一計算規則以計算用於提取該分層視訊串流及該增加之空間解析度視訊串流之時間片段的位址。
  13. 如請求項9至12中任一項之裝置，其中該伺服器經組配以將一資訊插入至該資訊清單中，該資訊指示該用戶端應在自該分層視訊至該增加之空間解析度視訊串流之一切換之前排程一轉變階段，在該轉變階段中，該用戶端將利用該第一串流之該第二層而以該第二空間解析度導出該視訊之一補充估計。
  14. 如請求項13之裝置，其中該裝置經組配以自該增加之空間解析度視訊串流之一SEI獲得、導出該轉變階段之一長度。
  15. 如請求項1至14中任一項之裝置，其中該裝置支援至少以下各者之間的切換， 輸出呈該分層視訊串流之形式的該視訊； 輸出呈該增加之空間解析度視訊串流之形式的該視訊；以及 輸出呈一減少之空間解析度串流之形式的該視訊，該減少之空間解析度串流以該第一空間解析度在其中編碼有該視訊。
  16. 如請求項15之裝置，其中該減少之空間解析度串流為 一單層視訊串流其，或 包含一又一第一層之一又一分層視訊串流，該又一第一層以該第一空間解析度在其中編碼有該視訊。
  17. 如請求項15之裝置，其中該減少之空間解析度串流為包含一又一第一層之一又一分層視訊串流， 其中該第一層及該又一第一層使編碼於其中之該視訊以該第一空間解析度同樣地寫碼，使得該視訊以該第一空間解析度於在一編接點處編接在一起之該分層視訊串流與該又一分層資料串流基礎上之一重建構等於該視訊以該第一空間解析度分別在該分層視訊串流及該又一分層資料串流中之任一者的基礎上之一重建構。
  18. 如請求項17之裝置，其中該又一第一層使用一閉合式GOP結構來編碼。
  19. 如請求項17或18之裝置，其中該裝置經組配以向該用戶端提供一資訊清單，該資訊清單描述針對該用戶端之在該伺服器處在該第一空間解析度及該第二空間解析度下之該視訊的一可用性，並指示一計算規則以計算用於提取該第一層、該第二層、該又一第一層及該增加之空間解析度視訊串流之時間片段的位址，該等位址對於第一層、該第二層及該增加之空間解析度視訊串流不同，但對於該又一第一層與該第一層為相同的。
  20. 如請求項15至19中任一項之裝置，其中該裝置經組配以向該用戶端提供一資訊清單，該資訊清單描述針對該用戶端之在該伺服器處以該第一空間解析度及該第二空間解析度下之該視訊的一可用性，並指示一計算規則以計算用於提取該增加之空間解析度視訊串流、該第一層、該第二層及該減少之空間解析度串流之時間片段的位址，該等位址對於該增加之空間解析度視訊串流、該第一層、該第二層及該減少之空間解析度串流不同。
  21. 一種用於使用一自適性串流化協定擷取一視訊之裝置，該裝置支援至少以下各者之間的切換， 擷取呈一第一視訊串流之形式的該視訊；以及 擷取呈一第二視訊串流之形式的該視訊， 其中該裝置經組配以在自擷取呈該第一視訊串流之形式的該視訊切換至擷取呈該第二視訊串流之形式之該視訊之前排程一轉變階段。
  22. 如請求項21之裝置，其中該第二視訊串流使用一開放式GOP結構編碼，且該裝置經組配而以編接在一起之一方式使該第一視訊串流及第二視訊串流經受解碼，從而使得自該第一視訊串流解碼之圖像對於該第二視訊串流之隨機存取從屬圖像形成一參考圖像之一取代，該等隨機存取從屬圖像藉由時間預測分別直接地或間接地參考該第二視訊串流之依據呈現時間次序之一後續隨機存取點圖像及依據呈現時間次序及解碼次序先於該隨機存取點圖像的該參考圖像。
  23. 如請求項21或22之裝置，其中該第一視訊串流為一分層視訊串流，其包含 一第一層，其以該第一空間解析度在其中編碼有該視訊，以及 一第二層，其以大於該第一空間解析度之一第二空間解析度且使用借助於層間增頻取樣之自該第一層至該第二層之層間預測但在無殘餘寫碼的情況下在其中編碼有該視訊。
  24. 如請求項23之裝置，其中該裝置經組配以在含有該第一層及該第二層之時間片段中擷取該分層視訊串流。
  25. 如請求項24之裝置，其中該裝置經組配以將使該第二層與該第一層一起經受解碼約束於在該轉變階段期間的一時間。
  26. 如請求項23之裝置，其中該裝置經組配以在分離地含有該第一層及該第二層之時間片段中擷取該分層視訊串流。
  27. 如請求項26之裝置，其中該裝置經組配以避免在該轉變階段外擷取含有該第二層之時間片段。
  28. 如請求項23至27中任一項之裝置，其中該第二視訊串流為包含一另一第二層之一另一分層視訊串流，該另一第二層在無層間預測的情況下以該第二空間解析度在其中編碼有該視訊， 其中該裝置經組配以在該轉變階段中提交該第一層及該第二層以由一可調式視訊解碼器解碼，且就在該轉變階段之後提交該另一分層視訊串流以由該可調式視訊解碼器解碼，使得該可調式視訊解碼器針對該另一分層視訊串流之該第二空間解析度之隨機存取從屬圖像自該分層視訊串流之該第二層獲得對一參考圖像之一取代，該等隨機存取從屬圖像分別直接地或間接地藉由時間預測參考該另一分層視訊串流之依據呈現時間次序的一後續隨機存取點圖像及依據呈現時間次序及解碼次序先於該隨機存取點圖像的該參考圖像。
  29. 如請求項28之裝置，其中該第一層使用一閉合式GOP結構來編碼， 其中該裝置經組配以在自擷取呈該第二視訊串流之形式的該視訊切換至擷取呈該第一視訊串流之形式之該視訊時， 立即連續地提交關於該視訊之一第一部分的該另一分層視訊串流之一部分至該可調式視訊解碼器以便以該第二空間解析度擷取該視訊之該第一部分，繼之以就在該第一部分之後提交關於該視訊之一第二部分的該分層視訊串流之一第二部分的該第一層，以便以該第一空間解析度擷取該視訊的該第二部分。
  30. 如請求項21至29中任一項之裝置，其經組配以自一伺服器獲得關於該轉變階段之一長度的一資訊，該視訊係自該伺服器擷取到。
  31. 如請求項21至29中任一項之裝置，其經組配以自一伺服器獲得一信號化且取決於該信號化去啟動該排程或啟動該排程，該視訊係自該伺服器擷取到。
  32. 如請求項30或31之裝置，其經組配以自該伺服器請求一資訊清單且自該資訊清單獲得關於該轉變階段之該長度或該信號化之該資訊，該資訊清單描述針對該用戶端之在該伺服器處呈該第一視訊串流之形式及呈該第二視訊串流之形式的該視訊之一可用性。
  33. 一種表示一視訊之資料結構，該資料結構經概念化以用於藉由在至少在一第一空間解析度下之擷取與在大於該第一空間解析度之一第二空間解析度下之擷取之間切換的一用戶端使用一自適性串流協定進行該視訊之一擷取，該資料結構包含 一增加之空間解析度視訊串流，其以該第二空間解析度且以一第二品質使用一開放式GOP結構在其中編碼有該視訊，以及 一分層視訊串流，其包含 一第一層，其以該第一空間解析度在其中編碼有該視訊，以及 一第二層，其以該第二空間解析度及相較於該第二品質減少之一第一品質且使用借助於層間增頻取樣之自該第一層至該第二層的層間預測但無殘餘寫碼的情況下在其中編碼有該視訊。
  34. 如請求項33之資料結構，其中該增加之空間解析度視訊串流為一另一分層視訊串流，其包含 一另一第一層，其以該第一空間解析度在其中編碼有該視訊，以及 一另一第二層，其使用借助於層間增頻取樣之自該另一第一層至另一第二層之層間預測且使用殘餘寫碼以該第二空間解析度在其中編碼有該視訊。
  35. 如請求項34之資料結構，其中該第一層及該另一第一層使編碼於其中之該視訊以該第一空間解析度同樣地寫碼，使得該視訊以該第一空間解析度在於一編接點處編接在一起之該分層視訊串流及該另一分層資料串流之基礎上的一重建構等於該視訊以該第一空間解析度分別在該第一串流及該第二串流中之任一者基礎上的一重建構。
  36. 如請求項34或35之資料結構，其中該第一層及該另一第一層以及該另一第二層使用一開放式GOP結構編碼。
  37. 如請求項33之資料結構，其中該增加之空間解析度視訊串流為包含一另一第二層之一另一分層視訊串流，該另一第二層在無層間預測的情況下以該第二空間解析度在其中編碼有該視訊。
  38. 如請求項34至37中任一項之資料結構，其中該第一層使用一閉合式GOP結構編碼。
  39. 如請求項35至38中任一項之資料結構，其中該第二層及該另一第二層使用一共同層ID來標記出，使得編接該分層視訊串流與另一分層視訊串流產生一經編接之分層視訊串流，該經編接之分層視訊串流包含具有該共同層ID之一層，該層以該第二空間解析度在其中編碼有該視訊。
  40. 如請求項33之資料結構，其中該增加之空間解析度視訊串流為一另一分層視訊串流，該另一分層視訊串流包含以該第二空間解析度在其中編碼有該視訊的一另一第二層，且該第二層及該另一第二層使用一共同層ID標記出，使得編接該分層視訊串流與該另一分層資料串流產生包含具該共同層ID之一層的一編接分層視訊串流，該層以該第二空間解析度在其中編碼有該視訊。
  41. 一種用於使用一自適性串流化協定輸出一視訊至一用戶端之裝置，該裝置經組配以將該視訊給予至該用戶端從而以至少以下各者之形式進行擷取， 一第一視訊串流；以及 一第二視訊串流， 其中該裝置經組配以向該用戶端通知在自擷取呈該第一視訊串流之形式的該視訊切換至擷取呈該第二視訊串流之形式的該視訊之前排程一轉變階段的必要性。
  42. 如請求項41之裝置，其中 該裝置經組配以向該用戶端提供如下一資訊清單 描述針對該用戶端之呈該第一視訊串流之形式在一第一空間解析度下及呈該第二視訊串流之形式在高於該第一空間解析度之一第二空間解析度下之該視訊的一可用性，以及 指示一第二層在該第一視訊串流之時間片段中的一存在及該第二層待在切換至該第二視訊串流之前在該轉變階段期間在自該第一空間解析度切換至該第二空間解析度時播放的一用途； 指示一計算規則以計算用於分別提取該第一視訊串流及該第二視訊串流之時間片段的位址。
  43. 如請求項41之裝置，其中該裝置經組配以將該視訊給予至該用戶端以另外以一第三視訊串流之形式擷取，以及 該裝置經組配以向該用戶端提供如下一資訊清單 描述針對該用戶端之呈一第三視訊串流之形式在一第一空間解析度下及呈該第二視訊串流之形式在高於該第一空間解析度之一第二空間解析度下之該視訊的一可用性，以及 指示該第一視訊串流之時間片段將在經由該第一視訊串流自該第三視訊串流切換至該第二視訊串流之間自該第一空間解析度切換至該第二空間解析度時連同該第三視訊串流之時間片段在該轉變階段期間被擷取； 指示一計算規則以計算用於提取該第一視訊串流、該第二視訊串流及該第三視訊串流之時間片段的位址。
  44. 如請求項42及43中任一項之裝置，其中該裝置經組配以將該視訊給予至該用戶端從而與該資訊清單一起另外以一另外視訊串流之形式擷取，該資訊清單描述針對該用戶端之呈該另一視訊串流之形式的以高於該第一空間解析度及該第二空間解析度之一第三空間解析度的該視訊之該可用性；且向該用戶端通知關於以下各者的資訊 用於自該第三空間解析度切換至該第二空間解析度之向下切換出現時刻，以及 用於自該第一視訊串流或該第三視訊串流切換至該第二視訊串流之向上切換出現時刻。
  45. 如請求項42至44中任一項之裝置，其中該裝置在該資訊清單中指示，該第一視訊串流及該第二視訊串流可經編接在一起以便被饋送至一個解碼器。
  46. 如請求項41至45中任一項之裝置，其中該裝置向該用戶端通知該轉變階段之一長度。
  47. 一種以在一圖像序列當中存在至少一個隨機存取從屬圖像之一方式在其中編碼有該圖像序列之視訊串流，該至少一個隨機存取從屬圖像直接地或間接地藉由時間預測參考該圖像序列之依據呈現時間次序之一後續隨機存取點圖像以及依據呈現時間次序及解碼次序先於該隨機存取點圖像的一參考圖像，其中該視訊串流包含 一語法元素，其指示該至少一個隨機存取從屬圖像與藉由該至少一個隨機存取從屬圖像直接地或間接地參考之該參考圖像之間的一最大時間距離。
  48. 一種視訊編碼器，其經組配以 以一圖像序列當中存在至少一個隨機存取從屬圖像之一方式將該圖像序列編碼成一視訊串流，該至少一個隨機存取從屬圖像直接地或間接地藉由時間預測參考該圖像序列之依據呈現時間次序之一後續隨機存取點圖像以及依據呈現時間次序及解碼次序先於該隨機存取點圖像的一參考圖像，以及 將一語法元素插入至該資料串流中，該語法元素指示該至少一個隨機存取從屬圖像參考圖像與藉由該至少一個隨機存取從屬圖像直接地或間接地參考之該參考圖像之間的一所保證之最大時間距離。
  49. 一種用於使用一自適性串流化協定輸出一媒體內容至一用戶端的裝置，該裝置支援在至少以下各者之間以時間片段為單位計之切換， 一第一表示， 一第二表示，在其中編碼有取決於該第一表示的該視訊， 其中該裝置向該用戶端提供一資訊，該資訊在以下各者之間進行辨別 該第二表示之一第一時間片段集合，在其中編碼有取決於該第一表示之時間上對應於該第一時間片段集合的第一部分的該媒體內容，以及 該第二表示之一第二時間片段集合，在其中編碼有獨立於該第一表示之時間上對應於該第二時間片段集合之第二部分的該媒體內容，使得該媒體內容自該第二表示之一重建構在無該第一表示之該等第二部分的情況下成功。
  50. 如請求項49之裝置，其經組配以向該用戶端提供一計算規則，可行的是使用該計算規則來辨別該第一表示之分別位於該等第一部分與該等第二部分內的時間片段之位址。
  51. 如請求項50之裝置，其經組配以將該計算規則插入至發送至該用戶端之一資訊清單中。
  52. 如請求項49至51中任一項之裝置，其經組配以使用在該第二表示之該第一時間片段集合及/或該第二時間片段集合之預定時間片段中的提示而將該第二表示之在該等預定時間片段之後的一或多個後續時間片段歸結為該第一時間片段集合及該第二時間片段集合中的一者。
  53. 如請求項49至52中任一項之裝置，其經組配以向該用戶端提供一資訊清單，該資訊清單包含關於以下各者之資訊 針對該第二表示的對應於該第一表示之該等第一部分及該等第二部分外加該第二表示之該等第一時間片段及該等第二時間片段之一傳輸的第一傳輸位元速率，以及 針對該第二表示的對應於該第一表示之該等第一部分外加該第二表示之該等第一時間片段及該等第二時間片段在無該第一表示之該等第二部分的情況下之一傳輸的第二傳輸位元速率。
  54. 一種用於使用一自適性串流化協定擷取一媒體內容之裝置，該裝置支援以時間片段為單位計至少以下各者之間的切換 擷取一第一表示， 擷取一第二表示，該第二表示在其中編碼有取決於該第一表示的該媒體內容， 其中該裝置經組配以在擷取該第二表示時， 擷取該第二表示之一第一時間片段集合連同該第一表示之第一部分，該第一時間片段集合在其中編碼有取決於該第一表示之時間上對應於該第二表示之一第一時間片段集合的該等第一部分的該媒體內容，以及 在無該第一表示之第二部分的情況下擷取該第二表示之一第二時間片段集合，該第二時間片段集合在其中編碼有獨立於該第一表示之時間上對應於該第二時間片段集合的該第二部分的該媒體內容。
  55. 如請求項54之裝置，其經組配以使用一計算規則來辨別該第一表示之分別位於該等第一部分與該等第二部分內之時間片段的位址。
  56. 如請求項55之裝置，其經組配以自發送自一伺服器之一資訊清單導出該計算規則，自該伺服器擷取到該媒體內容。
  57. 如請求項54至56中任一項之裝置，其經組配以使用在該第二表示之該第一時間片段集合及/或該第二時間片段集合之預定時間片段中的提示而將該第二表示之在該等預定時間片段之後的一或多個後續時間片段歸結為該第一時間片段集合及該第二時間片段集合中的一者。
  58. 如請求項57之裝置，其經組配以使用該等預定時間片段中的該等提示以便回應於發送自一伺服器之一資訊清單中之一信號化而將該第二表示之在該等預定時間片段之後的該一或多個後續時間片段歸結為該第一時間片段集合及該第二時間片段集合中的一者，自該伺服器擷取到該媒體內容。
  59. 一種描述一媒體內容之用於一自適性串流化協定中的資訊清單，該資訊清單將該媒體內容描述為以如下形式可用 該媒體內容之一第一表示， 一第二表示，該第二表示在其中編碼有取決於該第一表示的該媒體內容， 其中該資訊清單包含辨別以下各者之一資訊 該第二表示之一第一時間片段集合在其中編碼有取決於該第一表示之時間上對應於該第一時間片段集合的第一部分的該媒體內容，以及 該第二表示之一第二時間片段集合在其中編碼有獨立於該第一表示之時間上對應於該第二時間片段集合之第二部分的該媒體內容，使得該媒體內容自該第二表示之一重建構在無該第一表示之該等第二部分之情況下成功。
  60. 一種表示一媒體內容且經概念化用於使用一自適性串流化協定將該媒體內容串流化至該用戶端的資料結構，該資料結構包含 第一表示，在其中編碼有該媒體內容， 一第二表示，在其中編碼有取決於該第一表示的該媒體內容， 其中該資料結構包含辨別以下各者之一資訊 該第二表示之一第一時間片段集合在其中編碼有取決於該第一表示之時間上對應於該第一時間片段集合的第一部分的該媒體內容，以及 該第二表示之一第二時間片段集合在其中編碼有獨立於該第一表示之時間上對應於該第二時間片段集合之第二部分的該媒體內容，使得該媒體內容自該第二表示之一重建構在無該第一表示之該等第二部分的情況下成功。
  61. 一種使用自一第一層至一第二層之層間預測編碼有該第一層及該第二層中之一視訊的分層視訊串流， 其中該分層視訊串流包含資訊，該資訊指示該第二層之一圖像序列以一交替方式至獨立於該第一層寫碼之圖像子序列以及取決於該第一層寫碼之圖像子序列的一時間再分。
  62. 一種視訊編碼器，其經組配以 將一視訊編碼至一分層視訊串流中，使得該分層視訊串流使用自一第一層至一第二層之層間預測具有該第一層及該第二層，使得該第二層之一圖像序列包含獨立於該第一層寫碼之第一圖像子序列，該第二層之該圖像序列之第二子序列係在該等第一圖像子序列之間，以及 向該分層視訊串流提供資訊，該資訊指示該第二層之該圖像序列至獨立於該第一層寫碼之該等第一圖像子序列及該等第二圖像子序列的一時間再分。
  63. 一種網路裝置，其經組配以 接收一分層視訊串流，其使用自一第一層至一第二層之層間預測在該第一層及該第二層中編碼有一視訊，以及 自該分層視訊串流讀取資訊，該資訊指示該第二層之一圖像序列以一交替方式至獨立於該第一層寫碼之圖像子序列以及取決於該第一層寫碼之圖像子序列的一時間再分，以及 使用該資訊以使用一自適性串流化協定來串流化該視訊。
  64. 一種用於使用一自適性串流化協定輸出一媒體場景之頻道至一用戶端的裝置，該裝置支援對於每一頻道在該各別頻道之一表示集合之間的切換，該等表示在隨機存取點之一時間分佈上不同。
  65. 如請求項63之裝置，其中在間歇地發生之時刻，該等頻道之該表示集合中之至少一者的隨機存取點經時間對準。
  66. 如請求項63或64之裝置，其經組配以向該用戶端提供一資訊，該資訊揭露在該等頻道之該表示集合中的隨機存取點的該時間分佈。
  67. 如請求項65之裝置，其經組配以在一資訊清單內提供該資訊。
  68. 如請求項66之裝置，其經組配以使用在該等頻道之該等表示集合之預定時間片段中的提示而提供該資訊。
  69. 如請求項63至67中任一項之裝置，其經組配以向該用戶端通知一可達成之位元速率峰值減小,該位元速率峰值減小係藉由透過取決於在該等頻道之該表示集合中之隨機存取點的該時間分佈對於每一頻道在該各別頻道之該表示集合當中選擇對於該各別頻道當前擷取之一表示，使得該等所選擇時間區段當中包含一隨機存取點之一數目個時間片段以一最小可能方式在時間上發生變化而擷取該媒體場景實現。
  70. 一種用於使用一自適性串流化協定擷取一媒體場景之頻道的裝置，該裝置經組配以對於每一頻道在該各別頻道之一表示集合之間切換，該等表示在隨機存取點之一時間分佈上不同。
  71. 如請求項70之裝置，其經組配以對於每一頻道取決於在該等頻道之該表示集合中之隨機存取點的該時間分佈而在該各別頻道之該表示集合當中選擇待針對該各別頻道當前擷取的一表示。
  72. 如請求項70或71之裝置，其經組配以自一伺服器擷取一資訊，該資訊揭露隨機存取點在該等頻道之該表示集合中的該時間分佈，該媒體場景自該伺服器擷取到。
  73. 如請求項72之裝置，其經組配以自發送自該伺服器之一資訊清單擷取該資訊。
  74. 如請求項72之裝置，其經組配以使用該等頻道之該等表示集合之預定時間片段中的提示而擷取該資訊。
  75. 一種表示一媒體場景且經概念化用於使用一自適性串流化協定將該媒體場景之頻道串流化至一用戶端的資料結構，其中該資料結構對於每一頻道包含該各別頻道之一表示集合，該等表示在隨機存取點之一時間分佈上不同。
  76. 一種用於使用一自適性串流化協定輸出一媒體內容至一用戶端之裝置，該裝置將該媒體內容給予至該用戶端從而以至少以下形式擷取， 一第一媒體串流，其以一第一品質編碼有該媒體內容， 一第二媒體串流，其以一第二品質編碼有該媒體內容，以及 一輔助媒體串流，其編碼有取決於該第一媒體串流及該第二媒體串流的該媒體內容。
  77. 如請求項76之裝置，其中該裝置經組配以向該用戶端通知在自擷取該第一媒體串流切換至擷取該第二媒體串流時排程一衰落階段之一可能性，在該衰落階段內，該輔助媒體串流而非該第二媒體串流將被播放。
  78. 如請求項76或77之裝置，其中該裝置經組配以向該用戶端通知一衰落階段之一長度，該用戶端應在自擷取該第一媒體串流切換至擷取該第二媒體串流時排程該衰落階段，且在該衰落階段內，該輔助媒體串流而非該第二媒體串流將被播放。
  79. 如請求項76至78中任一項之裝置，其中該第一媒體串流、該第二媒體串流及該輔助媒體串流表示一分層媒體串流的分離層，其中該輔助媒體串流之該層藉由預測符之一線性組合來寫碼，該等預測符藉由層間預測自該第一媒體串流及該第二媒體串流之層分離地導出。
  80. 如請求項76至79中任一項之裝置，其中該第二媒體串流取決於該第一媒體串流而具有編碼於其中之該媒體內容。
  81. 如請求項76至79中任一項之裝置，其中該第二媒體串流獨立於該第一媒體串流而具有編碼於其中的該媒體內容。
  82. 如請求項76至81中任一項之裝置，其中該第三媒體串流可由該用戶端在與該第一媒體串流及該第二媒體串流之時間片段分離的時間片段中自該裝置擷取。
  83. 如請求項76至82中任一項之裝置，其中該裝置經組配以另外給予該媒體內容至該用戶端從而以如下形式擷取 一切換媒體串流，其編碼有取決於該第一媒體串流的該媒體內容。
  84. 如請求項83之裝置，其中該裝置經組配以向該用戶端通知在自擷取呈該第一媒體串流之形式的該視訊切換至擷取呈該第二媒體串流之形式之該視訊之前排程一轉變階段的必要性，該轉變階段先於該衰落階段。
  85. 一種用於使用一自適性串流化協定自一伺服器擷取一媒體內容之裝置，該裝置支援至少以下各者之間的切換， 擷取一第一媒體串流，其以一第一品質編碼有該媒體內容，以及 擷取一第二媒體串流，其以一第二品質編碼有該媒體內容， 其中該裝置經組配以在自擷取該第一媒體串流切換至擷取該第二媒體串流時排程一衰落階段，在該衰落階段內，該裝置擷取一輔助媒體串流連同該第一媒體串流及該第二媒體串流，該輔助媒體串流編碼有取決於該第一媒體串流及該第二媒體串流的該媒體內容；並播放該輔助媒體串流而非該第二輔助串流。
  86. 如請求項85之裝置，其中該裝置經組配以取決於來自該伺服器之一信號化啟動或去啟動在自擷取該第一媒體串流切換至擷取該第二媒體串流時該排程該衰落階段。
  87. 如請求項85或86之裝置，其中該裝置經組配以自該伺服器接收關於該衰落階段之一長度之一資訊，且因此設定該衰落階段之該長度。
  88. 如請求項85至87中任一項之裝置，其中該第一媒體串流、該第二媒體串流及該輔助媒體串流表示一分層媒體串流之分離層，其中該輔助媒體串流之該層藉由預測符之一線性組合來寫碼，該等預測符藉由層間預測自該第一媒體串流及該第二媒體串流之層分離地導出，其中該裝置經組配以在該衰落階段期間將該第一媒體串流、該第二媒體串流及該輔助媒體串流之該等層一起輸入至一媒體解碼器，其中在該衰落階段外部避免將該輔助媒體串流輸入至該媒體解碼器。
  89. 如請求項85至88中任一項之裝置，其中該第二媒體串流取決於該第一媒體串流具有編碼於其中之該媒體內容，其中該裝置經組配以在該衰落階段外部， 使該擷取該第二媒體串流伴隨有擷取該第一媒體串流，以及 在該擷取該第一媒體串流期間避免擷取該第二媒體串流。
  90. 如請求項85至89中任一項之裝置，其中該第二媒體串流獨立於該第一媒體串流具有編碼於其中之該媒體內容，其中該裝置經組配以在該衰落階段外部， 在該擷取該第二媒體串流期間避免擷取該第一媒體串流，以及 在該擷取該第一媒體串流期間避免擷取該第二媒體串流。
  91. 如請求項85至90中任一項之裝置，其經組配以在與該第一媒體串流及該第二媒體串流之時間片段分離且除該第一媒體串流及該第二媒體串流之時間片段外之時間片段中在該衰落階段期間擷取該第三媒體串流。
  92. 如請求項85至91中任一項之裝置，其中該裝置經組配以在自擷取該第一媒體串流切換至擷取該第二媒體串流之前在一轉變階段期間自該伺服器擷取一切換媒體串流外加該第一媒體串流，該切換媒體串流編碼有取決於該第一媒體串流的該媒體內容，且使用該切換媒體串流以對於該第二媒體串流之隨機存取從屬圖像產生一參考圖像之一取代，該等隨機存取從屬圖像分別直接地或間接地藉由時間預測參考該第二媒體串流之依據呈現時間次序的一後續隨機存取點圖像及該第二媒體串流之依據呈現時間次序及解碼次序先於該隨機存取點圖像的該參考圖像。
  93. 如請求項92之裝置，其中該裝置經組配以取決於發送自該伺服器之資訊而設定該轉變階段之一長度。
  94. 一種表示一媒體內容且經概念化用於使用一自適性串流化協定將該媒體內容串流化至一用戶端的資料結構，該資料結構包含 一第一媒體串流，其以一第一品質編碼有該媒體內容， 一第二媒體串流，其以一第二品質編碼有該媒體內容，以及 一輔助媒體串流，其編碼有取決於該第一表示及該第二表示的該媒體內容。
  95. 一種用於使用一自適性串流化協定輸出一媒體內容至一用戶端之裝置，該裝置將該媒體內容給予至該用戶端從而以至少以下形式擷取， 一第一媒體串流，其以一第一品質編碼有該媒體內容， 一第二媒體串流，其以一第二品質編碼有該媒體內容， 其中該裝置經組配以向該用戶端提供後設資料，該後設資料當在該第一媒體串流與該第二媒體串流之間切換時控制該用戶端處的一衰落。
  96. 一種用於使用一自適性串流化協定自一伺服器擷取一媒體內容之裝置，該裝置支援至少以下各者之間的切換， 擷取一第一媒體串流，其以一第一品質編碼有該媒體內容，以及 擷取一第二媒體串流，其以一第二品質編碼有該媒體內容， 其中該裝置經組配以自該伺服器接收後設資料，且當在該第一媒體串流與該第二媒體串流之間切換時使用該後設資料控制一衰落。
  97. 一種用於使用一自適性串流化協定輸出一視訊至一用戶端之方法，該方法包含在至少以下各者之間的切換， 輸出呈一分層視訊串流之形式的該視訊；以及 輸出呈一增加之空間解析度視訊串流之形式的該視訊，該增加之空間解析度視訊串流使用一開放式GOP結構編碼且以一第二空間解析度並以一第二品質編碼有該視訊， 該分層視訊串流包含 一第一層，其以一第一空間解析度編碼有該視訊，以及 一第二層，其以該第二空間解析度及低於該第二品質之一第一品質並使用借助於層間增頻取樣之自該第一層至該第二層的層間預測但在無預測殘餘寫碼的情況下編碼有該視訊。
  98. 一種用於使用一自適性串流化協定擷取一視訊之方法，該方法包含在至少以下各者之間的切換， 擷取呈一第一視訊串流之形式的該視訊；以及 擷取呈一第二視訊串流之形式的該視訊， 其中該裝置經組配以在自擷取呈該第一視訊串流之形式的該視訊切換至擷取呈該第二視訊串流之形式之該視訊之前排程一轉變階段。
  99. 一種儲存如請求項33至40及60及94中任一項之一資料結構的數位儲存媒體。
  100. 一種用於使用一自適性串流化協定輸出一視訊至一用戶端的方法，該方法包含 將該視訊給予至該用戶端從而以至少以下各者之形式進行擷取 一第一視訊串流；以及 一第二視訊串流，以及 向該用戶端通知在自擷取呈該第一視訊串流之形式的該視訊切換至擷取呈該第二視訊串流之形式之該視訊之前排程一轉變階段的必要性。
  101. 一種儲存如請求項47之一視訊串流的數位儲存媒體。
  102. 一種視訊編碼方法，其包含 以一圖像序列當中存在至少一個隨機存取從屬圖像之一方式將該圖像序列編碼成一視訊串流，該至少一個隨機存取從屬圖像直接地或間接地藉由時間預測參考該圖像序列之依據呈現時間次序之一後續隨機存取點圖像以及依據呈現時間次序及解碼次序先於該隨機存取點圖像的一參考圖像，以及 將一語法元素插入至該資料串流中，該語法元素指示該至少一個隨機存取從屬圖像參考圖像與藉由該至少一個隨機存取從屬圖像直接地或間接地參考之該參考圖像之間的一所保證之最大時間距離。
  103. 一種用於使用一自適性串流化協定輸出一媒體內容至一用戶端之方法，該方法包含 以時間片段之單位計在至少以下各者之間切換， 一第一表示， 一第二表示，其編碼有取決於該第一表示的該視訊， 向該用戶端提供在以下各者之間進行辨別的一資訊 該第二表示之一第一時間片段集合，在其中編碼有取決於該第一表示之時間上對應於該第一時間片段集合的第一部分的該媒體內容，以及 該第二表示之一第二時間片段集合，在其中編碼有獨立於該第一表示之時間上對應於該第二時間片段集合之第二部分的該媒體內容，使得該媒體內容自該第二表示之一重建構在無該第一表示之該等第二部分的情況下成功。
  104. 一種用於使用一自適性串流化協定擷取一媒體內容之方法，該方法包含 支援以時間片段之單位計在至少以下各者之間的切換， 擷取一第一表示， 擷取一第二表示，該第二表示在其中編碼有取決於該第一表示的該媒體內容， 在擷取該第二表示時， 擷取該第二表示之一第一時間片段集合連同該第一表示之第一部分，該第一時間片段集合在其中編碼有取決於該第一表示之時間上對應於該第二表示之一第一時間片段集合的該等第一部分的該媒體內容，以及 在無該第一表示之一第二部分的情況下擷取該第二表示之一第二時間片段集合，該第二時間片段集合在其中編碼有獨立於該第一表示之時間上對應於該第二時間片段集合的該第二部分的該媒體內容。
  105. 一種儲存如請求項59之一資訊清單的數位儲存媒體。
  106. 一種儲存如請求項61之一分層視訊串流的數位儲存媒體。
  107. 一種視訊編碼方法，其包含 將一視訊編碼成一分層視訊串流，使得該分層視訊串流使用自一第一層至一第二層之層間預測具有該第一層及該第二層，使得該第二層之一圖像序列包含獨立於該第一層寫碼之第一圖像子序列，該第二層之該圖像序列之第二子序列係在該等第一圖像子序列之間，以及 向該分層視訊串流提供資訊，該資訊指示該第二層之該圖像序列至獨立於該第一層寫碼之該等第一圖像子序列及該等第二圖像子序列的一時間再分。
  108. 一種網路裝置，其經組配以 接收一分層視訊串流，其使用自一第一層至一第二層之層間預測在該第一層及該第二層中編碼有一視訊，以及 自該分層視訊串流讀取資訊，該資訊指示該第二層之一圖像序列以一交替方式至獨立於該第一層寫碼之圖像子序列及取決於該第一層寫碼之圖像子序列的一時間再分，以及 使用該資訊以使用一自適性串流化協定來串流化該視訊。
  109. 一種用於使用一自適性串流化協定輸出一媒體場景之頻道至一用戶端之方法，該方法包含對於每一頻道在該各別頻道之一表示集合之間切換，該等表示在隨機存取點之一時間分佈上不同。
  110. 一種用於使用一自適性串流化協定擷取一媒體場景之頻道的方法，該方法包含對於每一頻道在該各別頻道之一表示集合之間切換，該等表示在隨機存取點之一時間分佈上不同。
  111. 一種用於使用一自適性串流化協定輸出一媒體內容至一用戶端之方法，該方法包含將該媒體內容給予至該用戶端從而以至少以下形式擷取， 一第一媒體串流，其以一第一品質編碼有該媒體內容， 一第二媒體串流，其以一第二品質編碼有該媒體內容，以及 一輔助媒體串流，其編碼有取決於該第一媒體串流及該第二媒體串流的該媒體內容。
  112. 一種用於使用一自適性串流化協定自一伺服器擷取一媒體內容之方法，該方法包含 在至少以下各者之間切換， 擷取一第一媒體串流，其以一第一品質編碼有該媒體內容，以及 擷取一第二媒體串流，其以一第二品質編碼有該媒體內容， 在自擷取該第一媒體串流切換至擷取該第二媒體串流時排程一衰落階段，在該衰落階段內，該裝置擷取一輔助媒體串流連同該第一媒體串流及該第二媒體串流，該輔助媒體串流編碼有取決於該第一媒體串流及該第二媒體串流的該媒體內容；並播放該輔助媒體串流而非第二輔助串流。
  113. 一種用於使用一自適性串流化協定輸出一媒體內容至一用戶端之方法，該方法包含 將該媒體內容給予至該用戶端從而以至少以下各者之形式進行擷取 一第一媒體串流，其以一第一品質編碼有該媒體內容， 一第二媒體串流，其以一第二品質編碼有該媒體內容， 向該用戶端提供後設資料，該後設資料當在該第一媒體串流與該第二媒體串流之間切換時控制該用戶端處之一衰落。
  114. 一種用於使用一自適性串流化協定自一伺服器擷取一媒體內容之方法，該方法包含 在至少以下各者之間切換， 擷取一第一媒體串流，其以一第一品質編碼有該媒體內容，以及 擷取一第二媒體串流，其以一第二品質編碼有該媒體內容， 自該伺服器接收後設資料且當在該第一媒體串流與該第二媒體串流之間切換時使用該後設資料控制一衰落。
  115. 一種具有一程式碼之電腦程式，該程式碼當在一電腦上執行時用於進行如請求項97至114中任一項之一方法。
TW106104881A 2016-02-16 2017-02-15 有效率自適性串流化技術 TWI670974B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16156015 2016-02-16
??16156015.6 2016-02-16

Publications (2)

Publication Number Publication Date
TW201731295A true TW201731295A (zh) 2017-09-01
TWI670974B TWI670974B (zh) 2019-09-01

Family

ID=55361405

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106104881A TWI670974B (zh) 2016-02-16 2017-02-15 有效率自適性串流化技術

Country Status (8)

Country Link
US (1) US10986383B2 (zh)
EP (1) EP3417625A1 (zh)
JP (2) JP7026627B2 (zh)
KR (1) KR102287703B1 (zh)
CN (1) CN109076252B (zh)
CA (1) CA3014370A1 (zh)
TW (1) TWI670974B (zh)
WO (1) WO2017140685A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989920A (zh) * 2018-02-20 2020-11-24 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264508B2 (en) 2011-08-19 2016-02-16 Time Warner Cable Enterprises Llc Apparatus and methods for reduced switching delays in a content distribution network
KR102177990B1 (ko) * 2014-05-02 2020-11-12 엘지전자 주식회사 압축기 및 스크롤 압축기
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
SE542242C2 (en) * 2017-09-04 2020-03-24 Divideon Ab Compression of segmented video
WO2019051608A1 (en) 2017-09-15 2019-03-21 Imagine Communications Corp. SYSTEMS AND METHODS FOR PRODUCING FRAGMENTED VIDEO CONTENT
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US10963697B2 (en) * 2018-06-05 2021-03-30 Philip Martin Meier Systems and methods for generating composite media using distributed networks
CN109218763A (zh) * 2018-11-12 2019-01-15 青岛海信传媒网络技术有限公司 一种流媒体视频切换的方法及智能电视
US11381867B2 (en) * 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
CN111836076B (zh) * 2019-04-18 2023-01-20 腾讯科技（深圳）有限公司 视频分辨率切换方法及装置、电子设备
CN111031385B (zh) * 2019-12-20 2022-03-08 北京爱奇艺科技有限公司 视频播放的方法及装置
CN114946192A (zh) 2020-01-15 2022-08-26 杜比国际公司 利用比特率切换自适应流式传输媒体内容
US11196795B2 (en) * 2020-03-25 2021-12-07 Arris Enterprises Llc Method and apparatus for predicting video decoding time
KR20220032938A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 전자 장치 및 그 동작 방법
EP4264948A2 (en) * 2020-12-21 2023-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. File parser, file generator, encoder, decoder, client, server, and methods using parameter sets for coded video sequences
CN113438512A (zh) * 2021-05-28 2021-09-24 福州市拾联信息科技有限公司 一种视频数据快速切换画质及低码流控制系统及其控制方法
CN114466227B (zh) * 2021-12-22 2023-08-04 天翼云科技有限公司 一种视频分析方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US20080022331A1 (en) * 2006-06-30 2008-01-24 Microsoft Corporation Multi-DVR Media Stream Transition
CN101742324A (zh) 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
US20130298170A1 (en) * 2009-06-12 2013-11-07 Cygnus Broadband, Inc. Video streaming quality of experience recovery using a video quality metric
CN108337521B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
EP2547062B1 (en) 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US9253233B2 (en) * 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
WO2013163224A1 (en) * 2012-04-24 2013-10-31 Vid Scale, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
US9161039B2 (en) 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
US9900629B2 (en) * 2013-03-13 2018-02-20 Apple Inc. Codec techniques for fast switching with intermediate sequence
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6149562B2 (ja) * 2013-07-12 2017-06-21 富士通株式会社 ストリーム配信システム、ストリーム作成装置、ストリーム配信方法およびストリーム作成方法
JP6094688B2 (ja) 2013-12-27 2017-03-15 ソニー株式会社 画像処理装置及び画像処理方法
ES2907602T3 (es) * 2014-12-31 2022-04-25 Nokia Technologies Oy Predicción entre capas para la codificación y decodificación de vídeo escalable

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989920A (zh) * 2018-02-20 2020-11-24 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码

Also Published As

Publication number Publication date
JP7483657B2 (ja) 2024-05-15
JP2021145343A (ja) 2021-09-24
CN109076252A (zh) 2018-12-21
CN109076252B (zh) 2022-07-01
US10986383B2 (en) 2021-04-20
CA3014370A1 (en) 2017-08-24
TWI670974B (zh) 2019-09-01
US20190014363A1 (en) 2019-01-10
KR102287703B1 (ko) 2021-08-10
EP3417625A1 (en) 2018-12-26
WO2017140685A1 (en) 2017-08-24
JP2019509672A (ja) 2019-04-04
KR20180113593A (ko) 2018-10-16
JP7026627B2 (ja) 2022-02-28

Similar Documents

Publication Publication Date Title
TWI670974B (zh) 有效率自適性串流化技術
JP7273766B2 (ja) ビデオストリーミングにおけるシーンセクションと関心領域の処理
US9900363B2 (en) Network streaming of coded video data
CN104221390B (zh) 用于处置低等待时间流送的增强型块请求流送系统
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
KR101703179B1 (ko) 미디어 스트리밍 동안 적응 세트들 간의 스위칭
KR101607225B1 (ko) 미디어 데이터의 네트워크 스트리밍
CN106209892B (zh) 使用可伸缩编码的增强型块请求流送
EP2752025A1 (en) Switch signaling methods providing improved switching between representations for adaptive http streaming
KR20130053444A (ko) 비디오 구성요소들을 멀티플렉싱하기 위한 데이터의 시그널링