TW201631969A - 用於高效率視頻寫碼擴展之運輸的操作點發信號 - Google Patents

用於高效率視頻寫碼擴展之運輸的操作點發信號 Download PDF

Info

Publication number
TW201631969A
TW201631969A TW105104378A TW105104378A TW201631969A TW 201631969 A TW201631969 A TW 201631969A TW 105104378 A TW105104378 A TW 105104378A TW 105104378 A TW105104378 A TW 105104378A TW 201631969 A TW201631969 A TW 201631969A
Authority
TW
Taiwan
Prior art keywords
descriptor
stream
syntax elements
basic
syntax
Prior art date
Application number
TW105104378A
Other languages
English (en)
Other versions
TWI663870B (zh
Inventor
伏努 亨利
陳盈
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201631969A publication Critical patent/TW201631969A/zh
Application granted granted Critical
Publication of TWI663870B publication Critical patent/TWI663870B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Communication Control (AREA)

Abstract

一第一描述符描述一操作點。第二描述符為一階層描述符或一階層擴展描述符。該第二描述符具有等於第二語法元素之一值的一階層分層索引值。該第一描述符中之一第一語法元素之一第一值指定：當由該第一描述符中之一第二語法元素指示之一基本串流不存在於一基本串流清單中時，應將該基本串流添加至該清單中；且當由該第二描述符中之一索引指示之一基本串流不存在於該清單中時，應將該基本串流添加至該清單。回應於判定該第一語法元素具有不同於該第一值的一第二值，當由該第二語法元素指示之該基本串流不存在於該清單中時，將該基本串流而非將由該第二描述符中之該索引指示的該基本串流添加至該清單中。

Description

用於高效率視頻寫碼擴展之運輸的操作點發信號
本申請案主張於2015年2月11日申請之美國臨時專利申請案第62/115,089號之權益，該臨時專利申請案之全部內容以引用之方式併入。
本發明係關於視頻寫碼，且更特定而言係關於經寫碼視頻資料之傳輸。
數位視頻能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視頻遊戲器件、視頻遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視頻電話會議器件、視頻串流器件及其類似者。數位視頻器件實施視頻寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視頻寫碼(AVC)定義之標準、高效率視頻寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視頻器件可藉由實施此等視頻寫碼技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視頻資訊。
視頻寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視頻序列中固有之冗餘。對於基於區塊之視頻寫碼，可將視頻圖塊(亦即，視頻圖框或視頻圖框之一部分)分割成視頻區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視頻區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視頻區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置於二維陣列中之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述可改良用於運輸之MPEG-2(移動圖像專家組)傳輸串流(TS)中之HEVC操作點描述符之設計的技術。經寫碼視頻資料之傳輸亦可被稱作經寫碼視頻資料之運輸。本發明之技術可用於傳輸視頻寫碼標準之擴展(例如，高效率視頻寫碼(HEVC)標準之擴展)的經寫碼視頻資料。此等擴展可包括多視圖擴展(例如，MV-HEVC)、可調式擴展(例如，SHVC)及三維擴展(例如，3D-HEVC)。然而，應理解，本發明之技術可與其他傳輸串流及/或其他視頻壓縮技術一起使用。
在一項態樣中，本發明描述一種處理視頻資料之方法，該方法 包含：接收包括第一描述符、第二描述符及複數個基本串流之傳輸串流，第一描述符為視頻資料之操作點的描述符，第二描述符為階層描述符或階層擴展描述符中之一者；解碼第一描述符中之第一語法元素及第二語法元素，其中：基本串流清單為傳輸串流中為操作點之部分之基本串流的清單，第二描述符具有等於第二語法元素之值的階層分層索引值，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，由第二語法元素指示之基本串流為複數個基本串流中之一者，且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，由第二描述符中之嵌入層索引指示之基本串流為複數個基本串流中之一者，且回應於判定第一語法元素具有不同於第一值的第二值，當由第二語法元素指示之基本串流不存在於基本串流清單中時，將該基本串流添加至基本串流清單中，但不將由第二描述符中之嵌入層索引指示的基本串流添加至基本串流清單中。
在另一態樣中，本發明描述一種處理視頻資料之方法，該方法包含：產生第一描述符，該第一描述符為視頻資料之操作點的描述符；產生第二描述符，該第二描述符為階層描述符或階層擴展描述符中之一者；其中產生第一描述符包含：將第一語法元素及第二語法元素包括於第一描述符中，其中：基本串流清單為係操作點之部分的基本串流之清單，第二描述符具有等於第二語法元素之值的階層分層索引值，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，且第一語法元素之第二值指定：當由第二語法元素指示之基本串流不存在於基 本串流清單中時，應將該基本串流但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中；及將第一描述符及第二描述符包括於傳輸串流中。
在另一態樣中，本發明描述一種用於處理視頻資料之器件，該器件包含：輸入介面，其經組態以接收包括傳輸串流之資訊，該傳輸串流包括第一描述符、第二描述符及複數個基本串流，該第一描述符為視頻資料之操作點的描述符，該第二描述符為階層描述符或階層擴展描述符中之一者；及一個或多個處理器，該一個或多個處理器經組態以：解碼第一描述符中之第一語法元素及第二語法元素，其中：基本串流清單為傳輸串流中為操作點之部分的基本串流之清單，第二描述符具有等於第二語法元素之值的階層分層索引值，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，由第二語法元素指示之基本串流為複數個基本串流中之一者，且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，由第二描述符中之嵌入層索引指示之基本串流為複數個基本串流中之一者，且回應於判定第一語法元素具有不同於第一值的第二值，當由第二語法元素指示之基本串流不存在於基本串流清單中時，將該基本串流添加至基本串流清單中，但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中。
在另一態樣中，本發明描述一種用於處理視頻資料之器件，該器件包含：一或多個處理器，其經組態以：產生第一描述符，該第一描述符為視頻資料之操作點的描述符；產生第二描述符，該第二描述符為階層描述符或階層擴展描述符中之一者；其中該一或多個處理器經組態作為產生第一描述符之部分，使得該一或多個處理器進行以下操作：將第一語法元素及第二語法元素包括於第一描述符中，其中： 基本串流清單為係操作點之部分之基本串流的清單，第二描述符具有等於第二語法元素之值的階層分層索引值，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，且第一語法元素之第二值指定：當由第二語法元素指示之基本串流不存在於基本串流清單中時，應將該基本串流但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中；及將第一描述符及第二描述符包括於傳輸串流中；及輸出介面，其經組態以輸出視頻資料之經編碼版本。
在另一態樣中，本發明描述一種用於處理視頻資料之器件，該器件包含：用於接收包括第一描述符、第二描述符及複數個基本串流之傳輸串流的構件，該第一描述符為視頻資料之操作點的描述符，該第二描述符為階層描述符或階層擴展描述符中之一者；用於解碼第一描述符中之第一語法元素及第二語法元素之構件，其中，基本串流清單為傳輸串流中為操作點之部分之基本串流的清單，第二描述符具有等於第二語法元素之值的階層分層索引值，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，由第二語法元素指示之基本串流為複數個基本串流中之一者，且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，由第二描述符中之嵌入層索引指示之基本串流為複數個基本串流中之一者；及用於回應於判定第一語法元素具有不同於第一值的第二值，當由第二語法元素指示之基本串流不存在於基本串流清單中時，將該基本串流添加至基本串流清單中，但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中的構 件。
在另一態樣中，本發明描述一種用於處理視頻資料之器件，該器件包含：用於產生第一描述符之構件，該第一描述符為視頻資料之操作點的描述符；用於產生第二描述符之構件，該第二描述符為階層描述符或階層擴展描述符中之一者；其中用於產生第一描述符之構件包含：用於將第一語法元素及第二語法元素包括於第一描述符中之構件，其中：基本串流清單為係操作點之部分之基本串流的清單，第二描述符具有等於第二語法元素之值的階層分層索引值，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，且第一語法元素之第二值指定當由第二語法元素指示之基本串流不存在於基本串流清單中時，應將該基本串流但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中；及用於將第一描述符及第二描述符包括於傳輸串流中之構件。
在再一態樣中，本發明描述一種包含儲存於其上之指令的電腦可讀資料儲存媒體，該等指令在經執行時使得用於處理視頻資料之器件執行以上段落及本發明中描述之方法。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自該描述及圖式以及申請專利範圍而顯而易見。
10‧‧‧視頻編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體/連結
17‧‧‧儲存器件
18‧‧‧視頻源
20‧‧‧視頻編碼器
21‧‧‧多工器
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧解多工器
30‧‧‧視頻解碼器
32‧‧‧顯示器件
33‧‧‧儲存器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
49‧‧‧視頻資料記憶體
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換單元
62‧‧‧求和器
64‧‧‧經解碼圖像緩衝器
69‧‧‧視頻資料記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧逆量化單元
78‧‧‧逆變換單元
80‧‧‧求和器
82‧‧‧經解碼圖像緩衝器
150‧‧‧區塊
152‧‧‧區塊
154‧‧‧區塊
156‧‧‧區塊
158‧‧‧區塊
200‧‧‧區塊
202‧‧‧區塊
204‧‧‧區塊
206‧‧‧區塊
208‧‧‧區塊
250‧‧‧區塊
252‧‧‧區塊
254‧‧‧區塊
256‧‧‧區塊
258‧‧‧區塊
260‧‧‧區塊
262‧‧‧區塊
264‧‧‧區塊
266‧‧‧區塊
300‧‧‧區塊
302‧‧‧區塊
304‧‧‧區塊
306‧‧‧區塊
308‧‧‧區塊
310‧‧‧區塊
312‧‧‧區塊
314‧‧‧區塊
316‧‧‧區塊
圖1為繪示可利用用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料之技術的實例視頻編碼及解碼系統之方塊圖。
圖2為繪示可實施用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料之技術的視頻編碼器之實例的方塊圖。
圖3為繪示可實施用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料之技術的視頻解碼器之實例的方塊圖。
圖4為繪示根據本發明之技術的產生傳輸串流之器件之實例操作的流程圖。
圖5為繪示根據本發明之技術的接收傳輸串流之器件之實例操作的流程圖。
圖6為繪示根據本發明之實例技術的用於產生傳輸串流之器件之實例操作的流程圖。
圖7為繪示根據本發明之實例技術的器件接收傳輸串流之實例操作的流程圖。
一般而言，本發明描述關於用於媒體資料之移動圖像專家組(MPEG)-2系統層級資料之技術。MPEG-2系統規格通常描述兩個或兩個以上資料串流一起經多工以形成單一資料串流之方式。本發明描述關於用於多層視頻資料之MPEG-2系統資料的技術。舉例而言，本發明描述潛在可改良MPEG-2傳輸串流(TS)中用於HEVC擴展之運輸的高效率視頻寫碼(HEVC)操作點描述符之設計的改變。然而，本發明之技術未必限於MPEG-2 TS或HEVC。
僅為易於描述，本發明之技術通常針對根據視頻寫碼標準之擴展(例如，HEVC之擴展，亦稱為ITU-T H.265)寫碼之視頻資料的運輸(例如，傳輸)來加以描述。此等擴展可包括多視圖、三維及/或可調式擴展。因此，本發明之技術可應用於多視圖HEVC(MV-HEVC)、三維HEVC(3D-HEVC)及可調式HEVC(SHVC)。
多層視頻資料(例如，多視圖視頻資料及/或具有多個可調式層之視頻資料)可包括經指定之操作點。一般而言，操作點描述多層視頻資料之完整層集合中之層子集(例如，視圖)。操作點亦可識別目標輸 出層，亦即，待輸出資料之層。在一些情況下，層之資料可包括於僅用作參考層之操作點中，且因此，此層將未被視為目標輸出層。參考層可為用於由另一層參考以供編碼及解碼之層。
通常藉由指定基本串流之參考在HEVC操作點描述符中傳信HEVC操作點，如下文更詳細地描述。然而，HEVC操作點描述符之一些設計允許目標操作點之基本串流清單包括層或基本串流兩次。又，在一些情況下，並非需要解碼之所有層皆在HEVC操作點描述符之一些設計中得以傳信，因為此等層之資訊可在其他處獲得。在一些實例中，由於並未傳信特定層，因此與該層相關聯之某些語法元素可能不能用於視頻解碼器。
本發明中描述之技術可解決上文所描述的問題中之一或多者。然而，該等技術解決上文所描述的該等問題非為必要的。舉例而言，本發明描述可確保基本串流/層不被多次包括於操作點之基本串流清單中之實例。本發明亦描述將包括與一層相關聯之語法元素的資訊包括在視頻解碼器接收之位元串流中的實例，即使彼層並未經明確傳信為在操作點之基本串流清單中。
圖1為繪示可利用用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料之技術的實例視頻編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括提供稍後待由目的地器件14解碼之經編碼視頻資料的源器件12。特定言之，源器件12經由電腦可讀媒體16將視頻資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話)、平板電腦、電視機、攝影機、顯示器件、數位媒體播放器、視頻遊戲控制台、視頻串流器件或類似者。在一些實例中，源器件12及目的地器件14可經裝備以用於無線通信。因此，在一些實例中，源器件12及目的地器件 14為無線通信器件。
在圖1之實例中，源器件12包括視頻源18、視頻編碼器20、多工器21及輸出介面22。在一些實例中，輸出介面22包括調變器/解調變器(數據機)及/或傳輸器。視頻源18可包括源，諸如視頻捕獲器件(例如，視頻攝影機)、含有先前所捕獲視頻之視頻檔案庫、自視頻內容提供者接收視頻之視頻饋入介面，及/或用於產生電腦圖形資料作為源視頻之的電腦圖形系統或此等源之組合。然而，本發明中所描述之技術一般可適用於視頻寫碼，且可應用於無線及/或有線應用。
視頻編碼器20可編碼經捕獲、預捕獲或電腦產生之視頻資料。源器件12可經由源器件12之輸出介面22將經編碼視頻資料直接傳輸至目的地器件14。經編碼視頻資料亦可(或替代地)儲存至儲存器件上以供目的地器件14或其他器件稍後存取，以用於解碼及/或播放。接著可藉由輸出介面22將經編碼視頻資訊輸出至電腦可讀媒體16上。
目的地器件14包括輸入介面28、解多工器29、視頻解碼器30及顯示器件32。在一些實例中，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由連結16接收經編碼視頻資料。經由連結16傳達或在儲存器件33上提供之經編碼視頻資料可包括由視頻編碼器20產生以供視頻解碼器(諸如，視頻解碼器30)用於解碼視頻資料的各種語法元素。此等語法元素可與在通信媒體上傳輸、儲存在儲存媒體上或儲存在檔案伺服器中的經編碼視頻資料包括在一起。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視頻資料。電腦可讀媒體16可包含能夠將經編碼視頻資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一項實例中，電腦可讀媒體16可包含使得源器件12能夠即時將經編碼視頻資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視頻資料，且將其傳輸至目的地器件14。通信媒體可包含任何 無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或可適用於促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。舉例而言，源器件12可包括經組態以儲存經編碼視頻資料之儲存器件。在一些實例中，可藉由輸入介面28自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視頻資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視頻的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視頻資料。檔案伺服器可為能夠儲存經編碼視頻資料且將彼經編碼視頻資料傳輸至目的地器件14之任何類型伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端碟機，或經組態以提供檔案之其他伺服器。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視頻資料。此可包括適用於存取儲存於檔案伺服器上之經編碼視頻資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL數據機、電纜數據機)或兩者之組合。經編碼視頻資料自儲存器件之傳輸可為串流傳輸、下載傳輸或其組合。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃磁碟機、緊密光碟、數位視頻光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源器件12接收經編碼視頻資料， 且(例如)經由網路傳輸將經編碼視頻資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟衝壓設施)之計算器件可自源器件12接收經編碼視頻資料且生產含有經編碼視頻資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視頻寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視頻傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視頻、儲存於資料儲存媒體上之數位視頻之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視頻傳輸，從而支援諸如視頻串流、視頻播放、視頻廣播及/或視頻電話之應用。
在圖1之實例中，根據本發明，源器件12之多工器21可經組態以將該等技術應用於傳輸根據視頻寫碼標準之擴展寫碼的視頻資料，而解多工器29可接收此資料以供處理且可將經處理之視頻資料轉遞至另一器件或組件(例如，視頻解碼器30)。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視頻源18(諸如，外部攝影機)接收視頻資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所繪示系統10僅為一項實例。可藉由任何數位視頻編碼及/或解碼器件執行用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料的技術。儘管本發明之技術一般由視頻編碼器件執行，但該等技術亦可由視頻編碼器/解碼器(通常被稱為「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視頻資料以供傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中，器件12、14可以實質上對稱的方式操作，使得器件12、14中之每一者包括視頻編碼及解碼組 件。因此，系統10可支援視頻器件12、14之間的單向或雙向視頻傳輸，以用於例如，視頻串流、視頻播放、視頻廣播或視頻電話。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視頻編碼器20定義之語法資訊，該語法資訊亦供視頻解碼器30使用，其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。
顯示器件32可與目的地器件14整合或可在目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件，且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。顯示器件32將經解碼視頻資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視頻編碼器20、多工器21、解多工器29及視頻解碼器30可各自實施為多種合適編碼器或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器執行硬體中之該等指令，以執行本發明之技術。視頻編碼器20及視頻解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編解碼器)之部分。
本發明通常可指代視頻編碼器20將某些資訊「傳信」或「傳輸」至另一器件，諸如，視頻解碼器30。術語「傳信」或「傳輸」通常可指代用於解碼經壓縮視頻資料之語法元素及/或其他資料的通信。此通信可即時地或近即時地發生。替代地，此通信可歷時時間跨度而發生，諸如此通信可在編碼時以經編碼位元串流將語法元素儲存 至電腦可讀儲存媒體，接著可在該等語法元素儲存至此媒體之後由解碼器件在任何時間擷取時發生。因此，雖然視頻解碼器30可被稱為「接收」某些資訊，但資訊之接收未必即時或近即時地發生且可在儲存後之某一時間處自媒體擷取資訊。
此外，儘管未在圖1中明確繪示，本發明中所描述之實例技術中之一些可藉由諸如媒體感知網路元件(MANE)之某些外部構件來實施。MANE可自視頻編碼器20接收視頻資料且傳信視頻解碼器30接收之位元串流。在一些實例中，MANE可接收並處理傳輸串流。因此，當本發明描述傳信時，此傳信有時可藉由視頻編碼器20或藉由某些外部構件(諸如，MANE)執行。
視頻編碼器20及視頻解碼器30可根據視頻寫碼標準操作。舉例而言，視頻編碼器20及視頻解碼器30可根據其他專有或行業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG-4第10部分進階視頻寫碼(AVC))或此等標準之擴展來操作。然而，本發明之技術不限於任何特定寫碼標準。視頻寫碼標準之其他實例包括MPEG-2及ITU-T H.263。ITU-T H.264/MPEG-4(AVC)標準由ITU-T視頻寫碼專家組(VCEG)與ISO/IEC移動圖像專家組(MPEG)一起制定作為被稱為聯合視頻小組(JVT)之集體合作夥伴的產品。在一些態樣中，本發明中所描述之技術可適用於大體符合H.264標準之器件。H.264標準描述於ITU-T研究小組之且所註日期為2005年3月之ITU-T推薦H.264(用於一般視聽服務之進階視頻寫碼)中，其在本文中可被稱作H.264標準或H.264規格或H.264/AVC標準或規格。聯合視頻小組(JVT)持續致力於H.264/MPEG-4 AVC之擴展。更大體而言，視頻寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視頻寫碼(SVC)及多視圖視頻 寫碼(MVC)擴展。
在另一實例中，視頻編碼器20及視頻解碼器30可使用另一視頻寫碼標準(諸如，高效率視頻寫碼(HEVC)標準，亦稱為H.265視頻寫碼標準)來編碼及解碼視頻資料。HEVC已由ITU-T視頻寫碼專家組(VCEG)及ISO/IEC移動圖像專家組(MPEG)的視頻寫碼聯合協作小組(JCT-VC)完成。最新HEVC草案規格在下文中被稱為HEVC WD。
另外，JCT-3V亦正在開發HEVC之多視圖擴展，亦即MV-HEVC。JCT-VC亦正在開發HEVC之可調式擴展，即SHVC。包括HEVC之規格、HEVC範圍擴展、SHVC及MV-HEVC的最新文件可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1013-v6.zip獲得。
在HEVC及其他視頻寫碼標準中，視頻序列通常包括一系列圖像。圖像亦可被稱為「圖框」。為產生圖像之經編碼表示，視頻編碼器20可產生一組寫碼樹型單元(CTU)。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱為「樹型區塊」或「最大寫碼單元」(LCU)。
為產生經寫碼CTU，視頻編碼器20可將CTU之寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。CU可為圖像之明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，該圖像具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列，以及用以對寫碼區塊之樣本進行寫碼的語法結構。視頻編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊可為應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊樣本進行預測的語法結構。視頻編碼器20可針對CU之每一PU的明度、Cb及Cr預測 區塊產生預測性明度區塊、Cb區塊及Cr區塊。視頻編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。
在視頻編碼器20產生CU之一或多個PU的預測性區塊之後，視頻編碼器20可產生CU之殘餘區塊。CU之殘餘區塊中之每一樣本可指示CU之PU之預測性區塊中的樣本與CU之寫碼區塊中的對應樣本之間的差。此外，視頻編碼器20可將CU之殘餘區塊分解為一或多個變換區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換的語法結構。視頻編碼器20可將一或多個變換應用至變換區塊以產生TU之係數區塊。在產生係數區塊之後，視頻編碼器20可量化該係數區塊。在視頻編碼器20量化係數區塊之後，視頻編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視頻編碼器20可對指示經量化變換係數之語法元素執行上下文自適應二進位算術寫碼(CABAC)。視頻編碼器20可在位元串流中輸出經熵編碼之語法元素。位元串流亦可包括未經熵編碼之語法元素。
位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元之序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭，且囊封原始位元組序列有效負載(RBSP)。RBSP可為含有囊封在NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP，等等。囊封視頻寫碼資料之RBSP(與參數集及SEI訊息之RBSP相反)的NAL單元可被稱為視頻寫碼層(VCL)NAL單元。
視頻解碼器30可接收由視頻編碼器20產生之位元串流。另外， 視頻解碼器30可自位元串流獲得語法元素。舉例而言，視頻解碼器30可剖析位元串流以解碼來自位元串流之語法元素。視頻解碼器30可至少部分地基於自位元串流獲得(例如，解碼)之語法元素來重建構視頻資料之圖像。重建構視頻資料之程序可通常與由視頻編碼器20執行之程序互逆。視頻解碼器30可藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視頻解碼器30可重建構圖像。
在多視圖寫碼中，可存在來自不同視點的同一場景之多個視圖。在多視圖寫碼之上下文中，術語「存取單元」可用以指代對應於同一時間例項之圖像的集合。因此，視頻資料可經概念化為隨時間出現之一系列存取單元。「視圖分量」可為單個存取單元中之視圖的經寫碼表示。在本發明中，「視圖」可指代與相同視圖識別符相關聯之視圖分量序列。在一些實例中，視圖分量可為紋理視圖分量(亦即，紋理圖像)或深度視圖分量(亦即，深度圖像)。
在MV-HEVC及SHVC中，視頻編碼器可產生包含一系列NAL單元之位元串流。位元串流之不同NAL單元可與位元串流之不同層相關聯。可將層定義為具有相同層識別符的VCL NAL單元及相關聯非VCL NAL單元之集合。層可等效於多視圖視頻寫碼中之視圖。在多視圖視頻寫碼中，層可含有具有不同時間例項之相同層的所有視圖分量。每一視圖分量可為在特定時間例項屬於特定視圖的視頻場景之經寫碼圖像。在多視圖或3維視頻寫碼之一些實例中，層可含有特定視圖之所有經寫碼深度圖像或特定視圖之經寫碼紋理圖像。在3D視頻寫碼之其他實例中，層可含有特定視圖之紋理視圖分量及深度視圖分量兩者。類似地，在可調式視頻寫碼之上下文中，層通常對應於具有不同於其他層中之經寫碼圖像之視頻特性的經寫碼圖像。此等視頻特性通 常包括空間解析度及品質等級(例如，信雜比)。在HEVC及其擴展中，可藉由將具有特定時間位準之圖像群組定義為一子層而在一個層內獲得時間可調性。
對於位元串流之每一各別層，可在不參考任何較高層中之資料的情況下解碼較低層中之資料。舉例而言，在可調式視頻寫碼中，可在不參考增強層中之資料的情況下解碼基本層中之資料。一般而言，NAL單元可僅囊封單一層之資料。因此，可自位元串流移除囊封位元串流之最高剩餘層之資料的NAL單元，而不影響位元串流之剩餘層中之資料的可解碼性。在多視圖寫碼中，較高層可包括額外視圖分量。在SHVC中，較高層可包括信雜比(SNR)增強資料、空間增強資料及/或時間增強資料。在MV-HEVC及SHVC中，若視頻解碼器可在不參考任何其他層之資料之情況下解碼層中的圖像，則該層可被稱為「基本層」。基本層可符合HEVC基本規格(例如，Rec.ITU-T H.265 | ISO/IEC 23008-2)。
在可調式視頻寫碼中，不同於基本層之層可被稱為「增強層」，且可提供增強自位元串流解碼之視頻資料之視覺品質的資訊。可調式視頻寫碼可增強空間解析度、信雜比(亦即，品質)或時間速率。在可調式視頻寫碼(例如，SHVC)中，「層表示」可為單個存取單元中的空間層之經寫碼表示。為易於解釋，本發明可將視圖分量及/或層表示稱作「視圖分量/層表示」或簡單地稱作「圖像」。
多視圖寫碼支援視圖間預測。視圖間預測類似於HEVC中所使用的框間預測，且可使用相同語法元素。然而，當視頻寫碼器對當前視頻單元(諸如，PU)執行視圖間預測時，視頻編碼器20可將與當前視頻單元處於同一存取單元中但處於不同視圖中的圖像用作參考圖像。相反，習知框間預測僅將不同存取單元中的圖像用作參考圖像。
在多視圖寫碼中，若視頻解碼器(例如，視頻解碼器30)可在不參 考任何其他視圖中之圖像的情況下解碼視圖中的圖像，則該視圖可被稱為「基本視圖」。當對非基本視圖中之一者中的圖像進行寫碼時，視頻寫碼器(諸如視頻編碼器20或視頻解碼器30)可在圖像與視頻寫碼器當前正寫碼的圖像處於不同視圖中但在同一時間例項(亦即，存取單元)內時將圖像添加至參考圖像清單中。類似於其他框間預測參考圖像，視頻寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。
舉例而言，NAL單元可包括標頭(亦即，NAL單元標頭)及有效負載(例如，RBSP)。NAL單元標頭可包括nuh_reserved_zero_6bits語法元素，該等語法元素亦可被稱為nuh_layer_id語法元素。具有指定不同值的nuh_layer_id語法元素的NAL單元屬於位元串流之不同「層」。因此，在多視圖寫碼、MV-HEVC、SVC或SHVC中，NAL單元之nuh_layer_id語法元素指定NAL單元之層識別符(亦即，層ID)。若NAL單元涉及多視圖寫碼、MV-HEVC或SHVC中之基本層，則NAL單元之nuh_layer_id語法元素等於0。可在不參考位元串流之任何其他層中之資料的情況下解碼位元串流之基本層中的資料。若NAL單元不涉及多視圖寫碼、MV-HEVC或SHVC中之基本層，則nuh_layer_id語法元素可具有非零值。在多視圖寫碼中，位元串流之不同層可對應於不同視圖。在SVC或SHVC中，不同於基本層之層可被稱為「增強層」，且可提供增強自位元串流解碼之視頻資料之視覺品質的資訊。
此外，可在不參考同一層內之其他圖像的情況下解碼層內的一些圖像。因此，可自位元串流移除囊封層的某些圖像之資料的NAL單元，而不影響該層中之其他圖像的可解碼性。移除囊封此等圖像的資料的NAL單元可降低位元串流的圖框速率。可在不參考層內之其他圖像的情況下解碼的層內之圖像的子集可在本文中被稱作「子層」或「時間子層」。因此，一種可調式尺寸為時間尺寸。
舉例而言，在時間可調性中，視頻資料之集合可支援多種圖框速率或播放速率，例如，15每秒框數(FPS)、30 FPS、60 FPS及120 FPS。給定之時間位準可包括在彼位準及更低位準處之所有圖像。舉例而言，繼續先前實例，時間位準0可對應於15 FPS，時間位準1可包括時間位準0之圖像以及在時間位準1處之圖像以支援30 FPS，時間位準2可包括時間位準0及1之圖像以及在時間位準2處之圖像以支援60 FPS，等等。
時間識別符或TemporalID可經傳信為表示特定圖像所屬的時間位準。舉例而言，NAL單元可包括temporal_id語法元素。NAL單元之temporal_id語法元素指定NAL單元之時間識別符。NAL單元之時間識別符識別與NAL單元相關聯之時間子層。因此，位元串流之每一時間子層可與不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元之時間識別符，則可在不參考由第二NAL單元囊封之資料的情況下解碼由第一NAL單元囊封之資料。
位元串流可與複數個操作點相關聯。在一些實例中，位元串流之每一操作點可與一組層識別符(亦即，一組nuh_reserved_zero_6bits值或nuh_layer_id值)及時間識別符相關聯。可將該組層識別符表示為OpLayerIdSet，且可將時間識別符表示為TemporalID。若NAL單元之層識別符在操作點之層識別符集合中且NAL單元之時間識別符小於或等於操作點之時間識別符，則NAL單元與操作點相關聯。因此，操作點可為藉由子位元串流擷取程序之操作而自另一位元串流產生的位元串流，其中此其他位元串流、目標最高TemporalId及目標層識別符清單作為子位元串流擷取程序的輸入。操作點可包括與操作點相關聯之每一NAL單元。在一些實例中，操作點不包括與操作點不相關聯的VCL NAL單元。
如上文所指出，操作點描述多層視頻資料之完整層集合中之層 子集(例如，視圖)。操作點亦可識別目標輸出層，亦即，待針對其輸出資料(例如，經解碼圖像)之層。在一些情況下，層之資料可包括於僅適用作參考層(例如，僅用於待顯示之層或視圖的層間或視圖間預測，其中並未顯示參考層或視圖)之操作點中，且因此，不將此層視為目標輸出層。
HEVC及其他視頻寫碼標準指定設定檔、層次和層級。設定檔、層次和層級指定對位元串流之限制且因此指定對解碼位元串流所需的能力的限制。設定檔、層次及層級亦可用以指示個別解碼器實施之間的互操作性點。每一設定檔指定視頻寫碼標準中存在的演算法特徵及工具之子集。因此，「設定檔」係由可適用的視頻寫碼標準指定的整個位元串流語法之子集。不需要視頻編碼器利用設定檔中支援的所有特徵。層次的每一層級可指定對語法元素及變數可具有之值的限制的集合。因此，「層級」對應於對解碼器資源消耗(諸如，解碼器記憶體及計算)之限制，其係關於圖像解析度、位元速率及區塊處理速率。儘管層次及層級定義之同一集合可與所有設定檔一起使用，但個別實施可支援不同層次，且在一層次內，一不同層級用於每一所支援之設定檔。對於任何給定設定檔，層次之層級可大體上對應於特定解碼器處理負載及記憶體能力。視頻解碼器之能力可依據對符合特定設定檔、層次及層級之約束的視頻串流進行解碼的能力加以指定。對於每一此設定檔，亦可表達針對彼設定檔所支援的層次及層級。一些視頻解碼器可能不能夠解碼特定設定檔、層次或層級。
本發明描述可改良用於運輸HEVC擴展位元串流之MPEG-2傳輸串流(TS)中之HEVC操作點描述符的技術。舉例而言，根據本發明之技術，多工器21及/或解多工器29可經組態以傳輸視頻資料(亦即，發送或接收視頻資料)，該視頻資料係根據視頻寫碼標準(諸如，HEVC)、視頻寫碼標準之擴展(例如，HEVC標準之擴展，諸如SHVC 或MV-HEVC)或其他尚未開發之視頻寫碼標準來寫碼。一般而言，多工器21可(例如，實質上根據MPEG-2系統及本發明之技術)囊封經編碼視頻資料以形成資料串流，而解多工器29可接收及解封經囊封資料(例如，根據視頻寫碼標準之擴展編碼的視頻資料)。
MPEG-2 TS之最新規格為2012年6月版本之ITU-T推薦H.222.0，其中提供對AVC及AVC擴展之支援。用於HEVC之MPEG-2 TS之修正亦已完善。最新文件(「Text of ISO/IEC 13818-1：2013/Final Draft Amendment 3-Transport of HEVC video over MPEG-2 Systems」)可自2013年7月之MPEG文件w13656中獲得。近來，用於運輸分層式HEVC之MPEG-2 TS(被稱為用於L-HEVC之MPEG-2 TS)的修正已經啟動。最新文件為「Text of ISO/IEC 13818-1：2013/DAM 3-Carriage of Layered HEVC」，以下稱作「DAM3」。術語「分層式HEVC」指代使用多個層之HEVC標準的擴展，諸如，SHVC、MV-HEVC及3D-HEVC。
MPEG-2系統規格描述經壓縮多媒體(視頻及音訊)資料串流可與其他資料一起經多工以形成適合於數位傳輸或儲存之單一資料串流的方式。MPEG-2系統規格描述基本串流，該基本串流為程式(有時亦拼寫為「程式(programme」)之單一、以數位方式寫碼之(可能經MPEG壓縮之)分量。舉例而言，程式之經寫碼視頻或音訊部分可為基本串流。基本串流首先經轉化成經封包化之基本串流(PES)，之後經多工為程式串流或傳輸串流。在同一程式內，stream_id語法元素用於區分屬於一個基本串流與另一基本串流之PES封包。每一PES封包可含有一或多個NAL單元，或NAL單元可被劃分在多個PES封包中。
在MPEG-2系統規格中，程式串流及傳輸串流係以不同應用為目標的兩種替代性多工。程式串流經偏壓以用於儲存及顯示來自數位儲存器服務之單一程式，且由於程式串流可易受錯誤影響，因此其預期 在無錯誤環境中使用。
程式串流包括屬於其之基本串流且通常含有具有可變長度封包之封包。在程式串流中，自起作用的基本串流導出之PES封包經組織成『包』。一包包括包標頭、可選系統標頭及按任何次序自起作用的基本串流中之任一者截取的任何數目之PES封包。系統標頭含有程式串流之特性的概述，諸如：其最大資料速率；起作用的視頻及音訊基本串流之數目；及其他時序資訊。視頻解碼器30可使用系統標頭中含有之資訊以判定視頻解碼器30是否能夠解碼程式串流。
傳輸串流意欲用於在潛在易錯頻道上之多個程式的同步遞送。傳輸串流為經設計用於諸如廣播之多程式應用的多工，以使得單一傳輸串流可容納多個獨立程式。傳輸串流包括一連串傳輸封包，且該等傳輸封包中之每一者的長度為188位元組。使用較短、固定長度之封包意謂著傳輸串流不如程式串流那樣易出錯。此外，藉由經由標準錯誤保護程序(諸如Reed-Solomon編碼)處理傳輸封包而容易地給予每一188位元組長之傳輸封包額外錯誤保護。傳輸串流之經改良容錯性意謂其具有繼續使用(例如)在廣播環境中發現之易錯頻道的更佳機會。可能看起來傳輸串流明顯地為具有其提高的容錯性及運輸多個同步程式之能力的兩個多工中之較佳者。然而，傳輸串流為比程式串流更複雜的多工，且因而更難建立及解多工。
傳輸封包之第一位元組在一些情況下為0×47之同步位元組。單一傳輸串流可運輸許多不同程式，該等程式中之每一者包含多個經封包化之基本串流。封包識別符(PID)欄位用於區分含有一個基本串流之資料的傳輸封包與運輸其他基本串流之資料的彼等封包。在一些情況下，PID為13位元。確保每一基本串流被授予唯一的PID值可為多工器21的責任。
儘管基於PID值，傳輸封包屬於哪一個基本串流係明顯的，但視 頻解碼器30可能需要知道哪些基本串流屬於哪一程式。因此，傳輸串流包含程式特定資訊(PSI)以明確指定程式與分量基本串流之間的關係。換言之，傳輸串流可包括含有PSI之傳輸封包。
PSI可包括程式關聯表(PAT)。程式關聯表包括傳輸串流中可用的所有程式之完整清單。在一些實例中，PAT始終具有PID值0。列出每一程式以及含有程式之程式映射表的傳輸封包之PID值。
此外，PSI可包括一或多個程式映射表(PMT)。傳輸串流中運輸之每一程式具有相關聯之PMT。PAT可指定含有程式之PMT之傳輸封包的PID值。程式之PMT給出關於程式及包含該程式之基本串流的細節。舉例而言，具有程式數目3之程式的PMT可指定程式含有具有PID值33、57及60之傳輸封包。在此實例中，具有等於33之PID值的傳輸封包可包括含有經編碼視頻資料之基本串流，具有等於57之PID值的傳輸封包可包括英文音訊資料，且具有等於60之PID值的傳輸封包可包括中文音訊資料。PMT可包括關於一個以上程式之細節。
程式之基本PMT可包括在MPEG-2系統規格內指定的許多描述符中之一些。此等描述符傳遞關於程式或其分量基本串流之其他資訊。描述符可包括視頻編碼參數、音訊編碼參數、語言識別、泛資訊及掃描資訊、條件性存取細節、版權資訊等等。若需要，廣播員或其他使用者可定義額外的專用描述符。
描述符與經編碼視頻資料分離。因此，諸如媒體感知網路元件(MANE)或視頻解碼器之器件可能夠使用描述符以對傳輸串流及程式串流執行多種功能，而不需解碼或以其他方式分析經編碼視頻資料。舉例而言，若使用HEVC編碼視頻資料，則器件不需要經組態以解碼經HEVC編碼的視頻資料以便使用描述符對傳輸串流或程式串流執行特定功能。舉例而言，器件可能夠將描述符用作程序之部分以判定將特定程式元素轉遞至目的地器件抑或解碼特定基本串流。
具有視頻相關分量基本串流之程式的描述符可包括一或多個階層描述符。階層描述符經設計以傳信不同基本串流之子位元串流之階層。階層描述符提供識別含有以階層方式寫碼之視頻、音訊及專用串流之分量之程式元素的資訊。專用串流可包括後設資料，諸如程式特定資訊之串流。一般而言，程式元素為資料或包括於程式中之基本串流(亦即，程式之分量基本串流)中之一者。在MPEG-2傳輸串流中，程式元素通常經封包化。在MPEG-2程式串流中，程式元素未經封包化。
在一些情況下，程式之每一各別層之每一各別時間子層可對應於程式之不同程式分量(例如，基本串流)。在其他情況下，程式之每一各別層對應於不同基本串流。此外，在一些情況下，兩個或兩個以上基本串流可對應於程式之同一層之不同時間子層，而單一基本串流可對應於同一程式之另一層的所有時間子層。如上文所指示，描述符可包括階層描述符。每一各別階層描述符提供關於對應程式分量(亦即，基本串流)之資訊。舉例而言，對應於特定基本串流之階層描述符可包括指定解碼特定基本串流之視頻資料需要的另一基本串流之語法元素。在一項實例中，對應於特定時間子層之基本串流的階層描述符可包括指定解碼特定時間子層需要的嵌入時間子層之語法元素。
嵌入時間子層可為「嵌入的」，意為成功解碼特定時間子層需要解碼嵌入時間子層。此外，階層描述符可包括指定對應於階層描述符之時間子層是否提供關於嵌入時間子層之時間可調性(例如，提高圖框速率)、是否提供關於嵌入時間子層之空間可調性(例如，提高圖像解析度)、是否提供關於嵌入時間子層之品質可調性(例如，增強信雜比品質或保真度)等之語法元素。
下表2-49指定如DAM3中所定義之階層描述符之語法。
表2-49-階層描述符
在表2-49中，hierarchy_layer_index為定義寫碼層階層之表中相關聯程式元素之唯一索引的6位元欄位。索引在單個程式定義內應為唯一的。對於符合Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄F中定義的一或多個設定檔之HEVC視頻串流之視頻子位元串流，此為程式元素索引，其以以下方式經指派：若同一HEVC存取單元之視頻子位元串流的相關聯相依層按hierarchy_layer_index之遞增次序重組，則該位元串流次序將為正確的。換言之，階層描述符之hierarchy_layer_index識別對應於階層描述符之程式元素(亦即，基本串流)。
此外，在表2-49中，hierarchy_ext_embedded_layer_index為定義在解碼與此hierarchy_descriptor相關聯之基本串流之前需要按解碼次序存取及存在的程式元素之hierarchy_layer_index的6位元欄位。若hierarchy_type值為15，則hierarchy_embedded_layer_index未經定義。換言之，階層描述符之hierarchy_embedded_layer_index識別對應於階層描述符之基本串流所取決於之基本串流。
除一或多個階層描述符外，在MPEG-2傳輸串流或程式串流中傳信之描述符可包括一個或多個階層擴展描述符。MPEG-2傳輸串流或 程式串流中之每一各別階層擴展描述符可對應於各別基本串流。每一階層擴展描述符可提供關於對應基本串流之額外資訊。如上文所指示，基本串流可對應於一或多個時間子層或可對應於作為整體之層。換言之，基本串流可包括一或多個時間子層之經編碼視頻資料或可對應於作為整體之層。因此，階層擴展描述符可對應於對應於一或多個時間子層之基本串流或可對應於作為整體之層。
當存在階層擴展描述符時，階層擴展描述符用於指定對應於基本串流之基本串流的相依性。舉例而言，對應於特定基本串流之階層擴展描述符可指示需要經解碼以成功地解碼對應於階層擴展描述符之基本串流的多個基本串流。相反地，階層描述符僅能夠指示成功地解碼對應於階層描述符之基本串流所需要的一個基本串流。下表2-103deciens指示階層擴展描述符之語法，如DAM3中指定的。
在表2-103deciens中，hierarchy_layer_index為定義寫碼層階層之表中相關聯程式元素之唯一索引的6位元欄位。索引在單一程式定義內應為唯一的。對於符合Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄G或H中所定義的一或多個設定檔之HEVC視頻串流之視頻子位元串流，此為程式元素索引，其以以下方式經指派：若同一存取單元之視 頻子位元串流之關聯相依層按hierarchy_layer_index之遞增次序重組，則該位元串流次序將為正確的。因此，階層擴展描述符之hierarchy_layer_index識別對應於階層擴展描述符之基本串流。
nuh_layer_id為指定與此HEVC_hierarchy_extension_descriptor()相關聯之基本串流中之NAL單元之最高nuh_layer_id的6位元欄位。
temporal_id為指定與此HEVC_hierarchy_extension_descriptor()相關聯之基本串流中之NAL單元之最高TemporalId的3位元欄位。
num_embedded_layers為指定在解碼與此HEVC_hierarchy_extension_descriptor()相關聯之基本串流之前需要按解碼次序存取及存在的直接相依程式元素之數目的6位元欄位。
hierarchy_ext_embedded_layer_index為定義在解碼與此hierarchy_extension_descriptor相關聯之基本串流之前需要按解碼次序存取及存在的程式元素之hierarchy_layer_index的6位元欄位。若hierarchy_type值為15，則此欄位未經定義。
除階層描述符及階層擴展描述符以外，傳輸串流可包括HEVC操作點描述符。藉由指定對應於操作點中之層之基本串流的參考，在HEVC操作點描述符中傳信HEVC操作點。如DAM3中所描述，HEVC操作點描述符提供指示一或多個HEVC操作點之設定檔及層級的方法。目的地器件14可使用包括於位元串流中之操作點描述符以選擇該等操作點中的一者來加以解碼，且最終向使用者呈現(例如，顯示)。目的地器件14可僅將所選擇之操作點之視圖發送至視頻解碼器30，而非在接收後即刻將所有視圖或層之資料傳遞至視頻解碼器30。舉例而言，目的地器件14可捨棄將不加以解碼之視圖的資料。另外或替代地，中間網路器件(例如，媒體感知網路元件(MANE))可捨棄並不對應於所請求之操作點之視圖或層的資料(例如，為了較佳利用頻寬)。目的地器件14可基於位元串流之操作點中之一者所支援的最高品質及 /或基於網路頻寬之可用量來選擇操作點。
下表2-103noniens指示如DAM3中所定義之HEVC操作點描述符之語法。
針於HEVC操作點描述符(亦即，HEVC操作點描述符之語法結構)，DAM3中之設計中可能存在一些問題。以下段落描述DAM3中定義之HEVC操作點描述符的當前設計中之問題中的兩個。
首先，如表2-103noniens中所展示，HEVC操作點描述符包括prepend_dependencies[i][j]語法元素。然而，在DAM3中，缺少等於0 之prepend_dependencies[i][j]之語義。此外，在DAM3之設計中，一基本串流(例如，對應於一層之一基本串流)可能包括在目標操作點之基本串流清單中兩次。一個以上內含物之問題可在以下情境中之任一者中發生：
1.當藉由傳信一層之ES_reference[i][j]值而將該層明確傳信為操作點之部分，且同時該層亦為具有等於1之prepend_dependencies[i][j]值的另一層之參考層時。
2.當一層為同一操作點中皆具有等於1之prepend_dependencies[i][j]的兩個不同層的參考層時。
DAM3之設計中針對HEVC操作點描述符之第二個問題可為，對於操作點而言，由於某些層(基本串流)可取決於其他且此資訊存在於其他處(例如，在階層描述符或階層擴展描述符中)，因此並非需要由視頻解碼器30解碼以用於HEVC操作點之所有層均需要經明確傳信。當語法元素prepend_dependencies[i][j]之值等於1時，可導出第j層所取決於之其他層，且因此並未針對第i HEVC操作點明確傳信該等層。然而，在HEVC操作點中，導出層並不存在於明確層之迴圈中(如由上表2-103noniens中之標記「<EMPHASIS>」及</EMPHASIS>」之間的文字所指示)。因此，儘管可藉由階層描述符及/或階層擴展描述符識別導出層之基本串流，但當前不存在知曉導出層之以下語法元素之值的方式：output_layer_flag[i][j]及ptl_ref-idx[i][j]。換言之，當對基本串流及若干層之參考並未經明確傳信而是經導出之操作點之層進行傳信時(當語法元素prepend_dependencies[i][j]之值為1時)，此等導出層遺失諸如層是否為輸出層及彼等導出層之設定檔、層次及層級之資訊。
分層式HEVC中之輸出操作點係基於輸出層集來加以定義。然而，分層式HEVC中之符合性定義可能要求知曉層是否為輸出層，且 每一必要層(亦即，為輸出層抑或為由操作點內之輸出層直接或間接指代之層，或為兩者之層)應與根據MV-HEVC/SHVC規格之一組設定檔、層次及層級(PTL)資訊相關聯。因此，知曉層是否為目標輸出層可為必要的。舉例而言，知曉output_layer_flag[i][j]語法元素之值可為必要的。然而，output_layer_flag[i][j]語法元素亦可能並未存在於導出層之位元串流中，此係由於封閉於上表2-103noniens中之標記「<EMPHASIS>」及「</EMPHASIS>」中的迴圈可僅適用於經明確傳信之層。
另外，藉由設計，分層式HEVC要求設定檔、層次及層級資訊針對每一必要層(亦即，為目標輸出層抑或解碼目標輸出層所需要之層)而存在。DAM3之設計遺失用於導出層之此資訊。此外，對於非必要層(亦即，並非必要層之層)，並未根據寫碼規格傳信PTL資訊，且因此，由於不存在待傳信之此等層之PTL資訊，故在傳輸串流運輸設計中始終針對非必要層傳信PTL將存在問題。
下文描述可解決上述問題之實例技術。然而，不應將下文描述之技術解決上述問題理解為必要條件。實例技術可藉由視頻編碼器20、多工器21、解多工器29、中間器件(例如，MANE)或另一器件應用為產生視頻解碼器30最終接收之位元串流之部分，或可藉由視頻解碼器30或另一器件應用為解碼用於產生待顯示之影像的視頻資料之部分。技術中之一些可獨立地應用，且其中之一些可組合地應用。此外，儘管本發明描述HEVC操作點描述符及以其他方式提及HEVC，但本發明之技術可適用於除HEVC以外之視頻寫碼標準。
根據本發明之第一技術，針對HEVC操作點中之每一基本串流(ES)/層傳信旗標以指示ES/層是否為必要層。在本發明中，對ES/層或層/ES之提及指代對應於層或層之時間子層的基本串流。因此，識別基本串流之資料可用於識別對應層，且反之亦然。舉例而言，視頻編 碼器20、多工器21或中間器件可在位元串流中針對操作點中之每一基本串流或層輸出(例如，傳信)指示基本串流或層是否為必要的之旗標(例如，下文所描述之necessary_layer_flag[i][k])。視頻解碼器30可接收此旗標並利用該旗標以解碼位元串流。換言之，視頻解碼器30可基於所接收之旗標解碼操作點。
根據本發明之第二技術，更新prepend_dependencies[i][j]之語義以闡明將僅當ES尚未存在於清單中時才會請求將該ES/層包括在操作點之基本串流清單中。舉例而言，添加等於0之prepend_dependencies[i][j]之語義，且闡明僅當層/基本串流尚未存在於清單中時才會將該層/基本串流包括於目標操作點之基本串流清單中。
因此，在一些實例中，諸如視頻編碼器20之器件產生第一描述符，諸如操作點描述符。另外，器件可產生第二描述符，諸如階層描述符或階層擴展描述符。作為產生第一描述符之部分，器件可將第一語法元素及第二語法元素包括於第一描述符中。在至少一些此類實例中，基本串流清單為係操作點之部分的基本串流之清單，且第二描述符具有等於第二語法元素之值的階層分層索引值。第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中；且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單。第一語法元素之第二值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流而非將由第二描述符中之嵌入層索引指示的基本串流添加至基本串流清單中。器件可將第一描述符及第二描述符包括於傳輸串流中。
在類似實例中，諸如視頻解碼器30之器件接收傳輸串流，該傳 輸串流包括第一描述符、第二描述符及複數個基本串流。第一描述符可為視頻資料之操作點的描述符。第二描述符可為階層描述符或階層擴展描述符中之一者。器件可解碼第一描述符中之第一語法元素及第二語法元素。在至少一些此類實例中，基本串流清單為傳輸串流中為操作點之部分的基本串流之清單，且第二描述符具有等於第二語法元素之值的階層分層索引值。此外，在此類實例中，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，由第二語法元素指示之基本串流為複數個基本串流中之一者；且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，由第二描述符中之嵌入層索引指示之基本串流為複數個基本串流中之一者。回應於判定第一語法元素具有不同於第一值的第二值，當由第二語法元素指示之一基本串流不存在於基本串流清單中時，器件可將該基本串流添加至基本串流清單中，而不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單。
根據本發明之第三技術，將限制添加至ES_reference[i][j]之值，以使得不會針對任何特定操作點明確傳信同一基本串流一次以上。換言之，其進一步建議施加不得針對任何特定操作點明確傳信同一基本串流一次以上之限制。舉例而言，視頻編碼器20或中間器件可經組態使得不會明確傳信同一基本串流一次以上。
此外，本發明描述解決上文所描述的第二個問題(亦即，不能夠判定導出層之某些語法元素之值的問題，諸如，遺失輸出層旗標之問題及PTL資訊問題)的若干實例技術。在用於解決第二個問題之一些此類技術中，提出保持操作點之導出層的功能性，針對該等導出層傳信遺失資訊，但不針對非必要層傳信PTL。
在用於解決第二個問題之第一實例技術中，移除prepend_dependencies[i][j]語法元素且始終明確傳信所有層。
在用於解決第二個問題之第二實例技術中，引入HEVC操作點描述符中之一個操作點之層的兩個迴圈。一個迴圈含有ES_reference[i][j]語法元素及明確地與基本串流之參考(ES_reference[i][j])相關聯之層之prepend_dependencies[i][j]語法元素。另一迴圈含有所有層之output_layer_flag[i][k]語法元素及ptl_ref_idx[i][k]語法元素。視頻編碼器20、多工器21、解多工器29、視頻解碼器30、中間器件及/或另一器件可實施此等實例迴圈以編碼或解碼HEVC操作點描述符。
在用於解決第二個問題之第二實例技術的一種情況下，器件可經組態以執行第一迴圈以產生或解碼HEVC操作點描述符中之第一語法元素(例如，ES_reference[i][j])之多個例項(例如，集合)。第一語法元素指示存在於識別操作點之基本串流之階層描述符或HEVC階層擴展描述符中的階層分層索引值。在第一迴圈中，器件亦產生或解碼第二個語法元素(例如，prepend_dependencies[i][j])之多個例項。第二語法元素指示基本串流將自哪些結構包括在操作點之基本串流清單中，作為第一迴圈之效能的部分。此外，在此實例中，器件可執行第二迴圈以產生或解碼指示操作點之哪一基本串流為輸出層之第三語法元素(例如，output_layer_flag[i][k])的多個例項。另外，在第二迴圈中，器件可產生或解碼指示用於判定操作點之基本串流之設定檔、層次或層級的索引之第四語法元素(例如，ptl_ref_idx[i][k])之多個例項。在一些情況下，器件可產生包括HEVC操作點描述符之傳輸串流或基於第一、第二、第三及第四語法元素中之一或多者解碼操作點。
在用於解決第二個問題之第三實例技術中，用於解決第二個問題之上述第二實例技術中之兩個迴圈可合併在一起，其中每一層之旗 標指示層經明確地傳信抑或經隱含地傳信。對於此實例，假定藉由由ES_reference[i][j]識別之階層描述符或階層擴展描述符導出之層闡述某一次序，以便在第二迴圈中經排序之層有可能將經明確傳信之層中之每一者映射至藉由第一迴圈中之資訊傳信或導出的層。
用於解決第二個問題之第四實例技術仍藉由prepend_dependencies[i][j]語法元素實現功能性，但當其應用時，藉由預設值推斷導出層是否為輸出層。舉例而言，當prepend_dependencies[i][j]等於1時，器件可推斷output_layer_flag[i][j]語法元素之值等於預設值。可針對當前操作點傳信此預設值(例如，0或1)。將導出層之設定檔、層次及層級設定成與先前已在不同操作點中明確傳信之同一層相同。
為了不傳信非必要層之PTL，本發明提出傳信HEVC操作點中之每一ES/層之旗標以指示ES/層是否為必要層。傳信使用原本保留之位元，因此，沒有引入額外負擔且傳信避免可另外需要指定之複雜導出程序。舉例而言，器件(例如，視頻編碼器20、多工器21、解多工器29、視頻解碼器30、中間器件或另一器件)可經組態以進行以下操作：判定操作點之基本串流或層；判定操作點中之每一基本串流或層之旗標(例如，下文所描述之necessary_layer_flag[i][k])，其中旗標指示各別基本串流或層是否為必要串流或層；及產生包括基本串流及各別旗標之位元串流。
圖2為繪示可實施用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料之技術的視頻編碼器20之實例的方塊圖。視頻資料可包括基本層之多個(例如，兩個或兩個以上)增強層，其中增強層可對應於不同可調性尺寸。
在圖2之實例中，視頻編碼器20包括視頻資料記憶體49、模式選擇單元40、經解碼圖像緩衝器(DPB)64、求和器50、變換處理單元 52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為重建構視頻區塊，視頻編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。
視頻資料記憶體49可儲存待藉由視頻編碼器20之組件編碼的視頻資料。可(例如)自視頻源18獲得儲存於視頻資料記憶體49中之視頻資料。DPB 64可為儲存用於藉由視頻編碼器20(例如)以框內或框間寫碼模式編碼視頻資料之參考視頻資料的參考圖像記憶體。視頻資料記憶體49及DPB 64可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視頻資料記憶體49及DPB 64可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視頻資料記憶體49可與視頻編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
在編碼程序期間，視頻編碼器20接收待編碼之視頻圖框或圖塊。可將該圖框或圖塊劃分成多個視頻區塊。運動估計單元42及運動補償單元44執行所接收之視頻區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行所接收之視頻區塊相對於與待編碼區塊相同之圖框或圖塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視頻編碼器20可執行多個寫碼遍次，(例如)以選擇用於視頻資料之每一區塊的適當寫碼模式。
此外，分割單元48可(例如)基於對先前寫碼遍次中之先前分割方案的評估而將視頻資料之區塊分割為子區塊。舉例而言，分割單元48可首先將圖框或圖塊分割成LCU，且基於率失真分析(例如，率失真最佳化)將該等LCU中之每一者分割成子CU。模式選擇單元40可進一 步產生指示將LCU分割為子CU的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於錯誤結果選擇框內或框間寫碼模式中之一者，且可將所得框內或框間預測區塊提供至求和器50以產生殘餘區塊資料及提供至求和器62以重建構用於參考圖框之經編碼區塊。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此類語法資訊)提供至熵編碼單元56。
由運動估計單元42執行之運動估計為產生估計視頻區塊之運動的運動向量之程序。運動估計單元42可藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視頻區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(RefPicList0)或第二參考圖像清單(RefPicList1)，該等清單中之每一者識別儲存於DPB 64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量來提取或產生預測性區塊。求和器50藉由自正經寫碼之當前視頻區塊的像素值減去預測性區塊之像素值而形成殘餘視頻區塊，從而形成像素差值，如下文所論述。模式選擇單元40亦可產生與視頻區塊及視頻圖塊相關聯之語法元素以供視頻解碼器30用於解碼視頻圖塊之視頻區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測的替代方案，框內預測單元46可對當前區塊進行框內預測，如上文所描述。在針對區塊選擇框內預測模式之後，框內預測單元46可將指示針對該區塊所選擇之框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示該所選擇框內預測模式之資訊。
視頻編碼器20可藉由自正經寫碼之原始視頻區塊減去來自模式選擇單元40之預測資料而形成殘餘視頻區塊。求和器50表示執行此減 法運算之組件或該等組件。變換處理單元52可將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視頻區塊。量化單元54可量化變換係數以進一步減小位元速率。在量化後，熵編碼單元56可熵編碼指示經量化變換係數之語法元素。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視頻解碼器30)或加以存檔以供稍後傳輸或擷取。
逆量化單元58及逆變換單元60分別應用逆量化及逆變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至DPB 64之圖框中之一者的預測性區塊來計算參考區塊。求和器62可將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊，以產生經重建構之視頻區塊以供儲存在DPB 64中。經重建構之視頻區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視頻圖框中之區塊進行框間寫碼。
在一些實例中，圖2之視頻編碼器20產生第一描述符，諸如操作點描述符。另外，視頻編碼器20可產生第二描述符，諸如階層描述符或階層擴展描述符。作為產生第一描述符之部分，視頻編碼器20可將第一語法元素及第二語法元素包括於第一描述符中。在至少一些此類實例中，基本串流清單為係操作點之部分的基本串流之清單，且第二描述符具有等於第二語法元素之值的階層分層索引值。第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中；且當由第二描 述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單。第一語法元素之第二值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流而非由第二描述符中之嵌入層索引指示的基本串流添加至基本串流清單中。視頻編碼器20可將第一描述符及第二描述符包括於傳輸串流中。
圖3為繪示可實施用於傳輸根據視頻寫碼標準之擴展寫碼之視頻資料之技術的視頻解碼器30之實例的方塊圖。在圖3之實例中，視頻解碼器30包括視頻資料記憶體69、熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、經解碼圖像緩衝器(DPB)82及求和器80。
視頻資料記憶體69可儲存待由視頻解碼器30之組件解碼之經編碼視頻資料，諸如經編碼視頻位元串流。可經由視頻資料之有線或無線網路通信或藉由存取實體資料儲存媒體(例如)自電腦可讀媒體16(例如，自諸如攝影機之本端視頻源)獲得儲存於視頻資料記憶體69中之經編碼視頻資料。視頻資料記憶體69可形成儲存來自經編碼視頻位元串流之經編碼視頻資料的經寫碼圖像緩衝器(CPB)。DPB 82可為儲存用於藉由視頻解碼器30(例如)以框內或框間寫碼模式解碼視頻資料之參考視頻資料的參考圖像記憶體。視頻資料記憶體69及DPB 82可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視頻資料記憶體69及DPB 82可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視頻資料記憶體69可與視頻解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視頻資料記憶體69可接收及儲存位元串流之經編碼視頻資料(例 如，NAL單元)。熵解碼單元70可自視頻資料記憶體69接收經編碼視頻資料(例如，NAL單元)，且可剖析NAL單元以解碼語法元素。在解碼程序期間，視頻解碼器30自視頻編碼器20接收表示經編碼視頻圖塊之視頻區塊及相關聯語法元素的經編碼視頻位元串流。視頻解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、框內預測模式指示符及其他語法元素。
框內預測單元74可基於經傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料來產生用於當前視頻圖塊之視頻區塊的預測資料。運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素產生當前視頻圖塊之視頻區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。運動補償單元72可使用預測資訊判定視頻區塊之預測資訊，且可產生正經解碼之當前視頻區塊的預測性區塊。
逆量化單元76可逆量化在位元串流中提供且由熵解碼單元70解碼之經量化變換係數。逆變換單元78可將逆變換(例如，逆DCT、逆整數變換或概念上類似的逆變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視頻區塊之預測性區塊之後，視頻解碼器30可藉由將來自逆變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊進行求和而形成經解碼視頻區塊。求和器80表示可執行此求和運算之組件或該等組件。接著將給定圖框或圖像中之經解碼視頻區塊儲存於DPB 82中，該DPB儲存用於後續運動補償之參考圖像。DPB 82亦儲存經解碼視頻以供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上。
在一些實例中，視頻解碼器30接收包括第一描述符、第二描述符及複數個基本串流之傳輸串流。第一描述符可為視頻資料之操作點 的描述符。第二描述符可為階層描述符或階層擴展描述符中之一者。視頻解碼器30可解碼第一描述符中之第一語法元素及第二語法元素。在至少一些此類實例中，基本串流清單為傳輸串流中為操作點之部分的基本串流之清單，且第二描述符具有等於第二語法元素之值的階層分層索引值。此外，在此類實例中，第一語法元素之第一值指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中，由第二語法元素指示之基本串流為複數個基本串流中之一者；且當由第二描述符中之嵌入層索引指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單，由第二描述符中之嵌入層索引指示之基本串流為複數個基本串流中之一者。回應於判定第一語法元素具有不同於第一值的第二值，當由第二語法元素指示之基本串流不存在於基本串流清單中時，視頻解碼器30可將該基本串流添加至基本串流清單中，但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中。
圖4為繪示根據本發明之技術的產生傳輸串流之器件之實例操作的流程圖。本發明之流程圖作為操作之實例而提供。根據本發明之技術的其他操作可包括更多、更少或不同動作，或可以不同次序或並行執行此類動作。在圖4之實例中，器件可為源器件12或用於處理視頻資料之另一類型之器件。圖4之操作可實施上文所描述之第二個問題(亦即，不能夠判定導出層之某些語法元素之值的問題)的解決方案。
在圖4之實例中，器件產生第一描述符(例如，HEVC操作點描述符)(150)。第一描述符為操作點之描述符。基本串流清單(例如，OperationPointESList[i])為傳輸串流中為操作點之部分的基本串流之清單。接收或處理串流之器件可藉由將基本串流添加至基本串流清單而產生基本串流清單。此外，器件產生第二描述符(152)。第二描述符為階層描述符或階層擴展描述符中之一者。器件可將第一描述符及 第二描述符包括於傳輸串流中(154)。舉例而言，器件可輸出表示傳輸串流中之第一描述符及第二描述符的一系列位元。
此外，在圖4之實例中，作為產生第一描述符之部分，器件將第一語法元素(例如，prepend_dependencies[i][j])包括於第一描述符中(156)。另外，作為產生第一描述符之部分，器件將第二語法元素(例如，ES_reference[i][j])包括於第二描述符中(158)。第二描述符具有等於第二語法元素之值的階層分層索引值(例如，hierarchy_layer_index)。當器件將語法元素包括於描述符中時，器件可以將值指示為描述符之部分(例如，作為資料結構之部分)的方式將語法元素之值儲存於記憶體中。
在圖4之實例中，第一語法元素之第一值(例如1)指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中。另外，第一語法元素之第一值指定：當由第二描述符中之嵌入層索引(例如，hierarchy_embedded_layer_index或hierarchy_ext_embedded_layer_index)指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單。第一語法元素之第二值指定：當由第二語法元素指示之基本串流不存在於基本串流清單中時，應將該基本串流而非由第二描述符中之嵌入層索引指示的基本串流添加至基本串流清單中。
圖5為繪示根據本發明之技術的接收傳輸串流之器件之實例操作的流程圖。在圖5之實例中，器件可為目的地器件14、MANE或用於處理視頻資料之另一類型之器件。圖5之操作可實施上文所描述之第二個問題(亦即，不能夠判定導出層之某些語法元素之值的問題)的解決方案。
在圖5之實例中，器件接收包括第一描述符(例如，HEVC操作點描述符)、第二描述符及複數個基本串流之傳輸串流(200)。第一描述 符為操作點之描述符。第二描述符為階層描述符或階層擴展描述符中之一者。在一些實例中，輸入介面28接收傳輸串流。
此外，器件可解碼第一描述符中之第一語法元素(例如，prepend_dependencies[i][j])(202)。換言之，器件可判定第一語法元素之值。解碼語法元素之實例方式可包括自一系列位元剖析語法元素、應用熵解碼演算法，或以其他方式導出語法元素之值。另外，器件可解碼第一描述符中之第二不同語法元素(例如，ES_reference[i][j])(204)。換言之，器件可(例如)藉由自第一描述符之位元剖析第二語法元素而判定第二語法元素之值。基本串流清單(例如，OperationPointESList[i])為傳輸串流中為操作點之部分的基本串流之清單。第二描述符具有等於第二語法元素之值的階層分層索引值(例如，hierarchy_layer_index)。
在圖5之實例中，第一語法元素之第一值(例如1)指定：當由第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中。由第二語法元素指示之基本串流可為由器件接收之複數個基本串流中之一者。另外，第一語法元素之第一值指定：當由第二描述符中之嵌入層索引(例如，hierarchy_embedded_layer_index或hierarchy_ext_embedded_layer_index)指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單。由第二描述符中之嵌入層索引指示之基本串流可為由器件接收的複數個基本串流中之一者。第一語法元素之第二值(例如0)指定：當由第二語法元素指示之基本串流不存在於基本串流清單中時，應將該基本串流而非由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中。
因此，在一些情況下，諸如在圖5之實例中，器件可判定第一語法元素具有第二值(206)。回應於判定第一語法元素具有第二值，當 由第二語法元素指示之基本串流不存在於基本串流清單中時，器件可將該基本串流添加至基本串流清單中，但不將由第二描述符中之嵌入層索引指示之基本串流添加至基本串流清單中(208)。舉例而言，器件可藉由以指示基本串流係在清單中之方式將基本串流之參考儲存於記憶體中之位置中(諸如，將基本串流之參考添加至連結清單或陣列中)而將基本串流添加至清單。
儘管未在圖5之實例中繪示，但器件可捨棄並不對應於操作點之層的資料。舉例而言，器件可捨棄對應於層之基本串流的傳輸封包，該等層並不對應於操作點。器件可將剩餘資料(例如，對應於操作點之層的基本串流之傳輸封包)轉遞至另一器件或視頻解碼器(諸如，視頻解碼器30)。
以下文字描述實施上文所描述之態樣的一些實例方式。就DAM3之變化而言描述實施細節。在此等實施之文字變化中，添加或修改由標記「<ins>」及「</ins>」圍封之文字(例如，<ins>所插入或所修改文字</ins>)，而經移除文字圍封於標記「<dlt>」及「</dlt>」(例如，<dlt>所刪除文字</dlt>)。
根據第一實例實施技術，表1及其語法元素針對用於解決上文所描述的第一個問題之第一、第二及第三實例及用於解決上文所描述的第二個問題之第二實例描述對DAM3之詳細修改
以下文字指示根據第一實例實施技術之對語義之修改。
num_ptl-此<dlt>8位元</dlt><ins>6位元</ins>欄位指定在此描述符中傳信之設定檔、層次及層級結構的數目。<ins>使OperationPointESList[i]為係第i HEVC操作點之部分的ES之清單。
</ins>
prepend_dependencies[i][j]-當設定成1時，此旗標<dlt>指示</dlt><ins>指定：當尚未存在於OperationPointESList[i]中時，應將由ES_reference[i][j]指示之ES添加至OperationPointESList[i]，且</ins><ins>當尚未存在於OperationPointESList[i]中時</ins>，應<ins>按其相關聯hierarchy_embedded_layer_index或 hierarchy_ext_embedded_layer_index之值的升序緊接</ins>在由ES_reference[i][j]傳信之ES之前將由階層描述符中之語法元素hierarchy_embedded_layer_index<ins>指示</ins>之</ins><dlt>彼</dlt>ES或由HEVC階層擴展描述符中之語法元素hierarchy_ext_embedded_layer_index<ins>指示</ins>之所有ES(其中階層分層索引值由以下語法元素ES_reference[i][j]<ins>指定)添加<dlt>至目標操作點之基本串流</dlt><ins>至OperationPointLayerList[i]中。當prepend_dependencies[i][j]之值等於0時，當尚未存在於OperationPointESList[i]中時，應僅將由ES_reference[i][j]指示之ES添加至OperationPointESList[i]中。當m小於n時，由ES_reference[i][m]指示之ES應先於(亦即，具有較小索引)由ES_reference[i][n]指示之ES置放於OperationPointESList[i]中。
</ins>
<ins>附註：OperationPointESList[i]中之ES之次序必須呈其hierarchy_layer_index值之升序。</ins>
ES_reference[i][j]-此6位元欄位指示存在於階層描述符或HEVC階層擴展描述符中之識別基本串流的階層分層索引值。<ins>由於m不等於n，故ES_reference[i][m]及ES_reference[i][n]之值應不相同。</ins>
<ins>在為第i HEVC操作點之部分的所有ES已包括於OperationPointESList[i]中之後(亦即，在剖析ES_reference[i][ES_count[i]-1]之後)，使NumESinOP[i]為OperationPointESList[i]中之ES的數目。
<ins>necessary_layer_flag[i][k]-當設定成『1』時，此旗標指示OperationPointESList[i]中之第k ES為第i操作點之必要層，如23008-2中所定義。此旗標等於『0』指示OperationPointESList[i]中之 第k ES並非第i操作點之必要層，如23008-2中所定義。</ins>
output_layer_flag[i]<ins>[k]</ins>-當設定成『1』時，此旗標指示<dlt>此描述符中定義之第i HEVC操作點之層</dlt><ins>OperationPointESList[i]中之</ins>第<ins>k ES</ins>為輸出層。另外，當設定成『0』時，其指示<dlt>此描述符中定義之第i HEVC操作點之層</dlt><ins>OperationPointESList[i]中之</ins>第<ins>k ES</ins>並非輸出層。<ins>當necessary_layer_flag[i][k]之值等於0時，應忽略output_layer_flag[i][k]之值。</ins>
ptl_ref_idx[i][k]-<dlt>8位元</dlt><ins>6位元</ins>欄位指示應用於<ins>OperationPointESList[i]中之</ins>第<ins>k ES</ins><dlt>此描述符中定義之第i HEVC操作點之層</dlt>之profile_tier_level_array之profile_tier_level_info[x]元素的索引x。<ins>當necessary_layer_flag[i][k]之值等於0時，應忽略ptl_ref_idx[i][k]之值。</ins>
圖6為繪示根據本發明之實例技術的用於產生傳輸串流之器件之實例操作的流程圖。舉例而言，圖6之操作可根據上文所論述之本發明之第一實例實施技術(亦即，上文關於表1所描述的技術)。圖6之操作可藉由源器件12或另一器件執行。圖6之操作可為圖4之操作的擴展版本。
在圖6之實例中，器件可產生一組第二描述符(250)。該組第二描述符中之每一各別第二描述符可為階層描述符或階層擴展描述符中之一者。該組第二描述符可包括關於圖4所描述之「第二描述符」。
另外，器件可產生第一描述符(例如，HEVC操作點描述符)(252)。作為產生第一描述符之部分，器件可將基本串流計數語法元素(例如，ES_count)包括於第一描述符中(254)。基本串流計數語法元素可指示基本串流之數目。
此外，作為產生第一描述符之部分，器件可將一組第一語法元素(例如，prepend_dependencies[i][j])包括於第一描述符中(256)。另外，作為產生第一描述符之部分，器件可將一組第二語法元素(例如，ES_reference[i][j])包括於第一描述符中(258)。該組第一語法元素中之第一語法元素的數目及該組第二語法元素中之第二語法元素的數目等於基本串流計數語法元素之值。該組第一語法元素可包括關於圖4所提及的「第一語法元素」。該組第二語法元素可包括關於圖4所提及的「第二語法元素」。
在一些實例中，該組第二語法元素受限以使得該組第二語法元素中無具有相同值的兩個第二語法元素。換言之，如上文DAM3之變化所指示，由於m不等於n，故ES_reference[i][m]及ES_reference[i][n]之值應不相同。
對於該組第一語法元素中之每一各別第一語法元素，該組第二語法元素中之各別第二語法元素對應於各別第一語法元素。舉例而言，具有相同i值及j值的第一語法元素及第二語法元素對應於彼此。該組第二描述符中之各別第二描述符具有等於各別第二語法元素之值的階層分層索引值(例如，hierarchy_layer_id)。
在圖6之實例中，各別第一語法元素之第一值(例如1)指定：當由各別第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中；且當由各別第二描述符中之嵌入層索引指示之一基本串流不存在於操作點之基本串流清單中時，應將該基本串流添加至基本串流清單。各別第一語法元素之第二值(例如0)指定：當由各別第二語法元素指示之各別基本串流不存在於基本串流清單中時，應將該各別基本串流而非由各別第二描述符中之嵌入層索引指示之各別基本串流添加至基本串流清單中。
此外，在圖6之實例中，器件可將一組必要層旗標語法元素(例 如，necessary_layer_flag[i][k])包括於第一描述符中(260)。該組必要層旗標語法元素中之每一各別語法元素可對應於基本串流清單中之各別基本串流。該組必要層旗標語法元素中之每一各別語法元素指示對應於該組必要層旗標語法元素中之各別語法元素的基本串流是否為必要層。可將必要層定義為與輸出層集相關聯之輸出操作點中之層，該層為輸出層集中之輸出層或輸出層集中之輸出層的參考層。
器件亦可將一組輸出層旗標語法元素(例如，output_layer_flag[i][k])包括於第一描述符中(262)。該組輸出語法元素中之每一各別語法元素可對應於基本串流清單中之各別基本串流。該組輸出層旗標語法元素中之每一各別語法元素可指示對應於該組輸出層旗標語法元素中之各別語法元素的基本串流是否為輸出層。
此外，器件可將一組PTL參考索引語法元素(例如，ptl_ref_idx[i][k])包括於第一描述符中(264)。該組PTL參考索引語法元素中之每一各別語法元素可對應於基本串流清單中之各別基本串流。該組PTL參考索引語法元素中之每一各別語法元素可指示用於判定對應於該組PTL參考索引語法元素中之各別語法元素的基本串流之設定檔、層次或層級的索引。
在圖6之實例中，器件可將第一描述符及第二描述符包括於傳輸串流中(266)。舉例而言，器件可產生含有第一描述符及第二描述符的一組傳輸封包。傳輸串流可進一步包括一或多個基本串流。在其他實例中，可省略圖6中之一或多個動作。
圖7為繪示根據本發明之實例技術的接收傳輸串流之器件之實例操作的流程圖。舉例而言，圖7之操作可與上文所論述的第一實例實施技術一致。圖7之操作可為圖5之操作的擴展版本。
在圖7之實例中，器件接收包括第一描述符(例如，HEVC操作點描述符)、一組第二描述符及複數個基本串流之傳輸串流(300)。該組 第二描述符可包括上文關於圖5提及之「第二描述符」。該組第二描述符中之每一各別第二描述符可為階層描述符或階層擴展描述符中之一者。
另外，在圖7之實例中，器件可解碼第一描述符中之基本串流計數語法元素(例如，ES_count，其在申請專利範圍中被稱為「第三語法元素」)。基本串流計數語法元素指示基本串流之數目。
此外，在圖7之實例中，器件可解碼第一描述符中之一組第一語法元素(例如，prepend_dependencies[i][j])(302)。此外，在圖7之實例中，器件可解碼第一描述符中之一組第二語法元素(例如，ES_reference[i][j])(304)。該組第一語法元素中之第一語法元素的數目及該組第二語法元素中之第二語法元素的數目等於第三語法元素之值。該組第一語法元素可包括關於圖5所提及的「第一語法元素」。該組第二語法元素可包括關於圖5所提及的「第二語法元素」。
在一些實例中，該組第二語法元素受限以使得該組第二語法元素中無具有相同值的兩個第二語法元素。換言之，如上文DAM3之變化所指示，由於m不等於n，故ES_reference[i][m]及ES_reference[i][n]之值應不相同。
對於該組第一語法元素中之每一各別第一語法元素，該組第二語法元素中之各別第二語法元素對應於各別第一語法元素。舉例而言，具有相同i值及j值的第一語法元素及第二語法元素對應於彼此。該組第二描述符中之各別第二描述符具有等於各別第二語法元素之值的階層分層索引值(例如，hierarchy_layer_id)。
在圖7之實例中，各別第一語法元素之第一值(例如1)指定：當由各別第二語法元素指示之一基本串流不存在於基本串流清單中時，應將該基本串流添加至基本串流清單中；且當由各別第二描述符中之嵌入層索引指示的一基本串流不存在於操作點之基本串流清單中時，應 將該基本串流添加至基本串流清單。由各別第二語法元素指示之基本串流可為複數個基本串流中之一者。各別第一語法元素之第二值(例如0)指定：當由各別第二語法元素指示之各別基本串流不存在於基本串流清單中時，應將該各別基本串流而非由各別第二描述符中之嵌入層索引指示的各別基本串流添加至基本串流清單中。由各別第二描述符中之嵌入層索引指示之基本串流可為複數個基本串流中之一者。
對於該組第一語法元素中之每一各別第一語法元素，將一或多個嵌入層索引之集合包括於各別第二描述符中。此外，在圖7之實例中，基於各別第一語法元素具有第一值，器件可按嵌入層索引集合之值的升序緊接在由各別第二語法元素指示之基本串流之前將由嵌入層索引集合指示的基本串流添加至基本串流清單中(308)。換言之，回應於判定各別第一語法元素具有第二值，當由各別第二語法元素指示之各別基本串流不存在於基本串流清單中時，器件可將該各別基本串流添加至基本串流清單中，但不將由各別第二描述符中之嵌入層索引指示的各別基本串流添加至基本串流清單中。
在圖7之實例中，器件可解碼第一描述符中之一組必要層旗標語法元素(例如，necessary_layer_flag[i][k])(310)。該組必要層旗標語法元素中之每一各別語法元素可對應於基本串流清單中之各別基本串流。該組必要層旗標語法元素中之每一各別語法元素可指示對應於該組必要層旗標語法元素中之各別語法元素的基本串流是否為必要層。如上文所描述，將必要層定義為與輸出層集相關聯之輸出操作點中之層，該層為輸出層集中之輸出層或輸出層集中之輸出層的參考層。
此外，在圖7之實例中，器件可解碼第一描述符中之一組輸出層旗標語法元素(例如，output_layer_flag[i][k])(312)。該組輸出層旗標語法元素中之每一各別語法元素可對應於基本串流清單中之各別基本串流。該組輸出層旗標語法元素中之每一各別語法元素指示對應於該 組輸出層旗標語法元素中之各別語法元素的基本串流是否為輸出層。
另外，器件可解碼第一描述符中之一組PTL參考索引語法元素(314)。該組PTL參考索引語法元素中之每一各別語法元素可對應於基本串流清單中之各別基本串流。該組PTL參考索引語法元素中之每一各別語法元素可指示用於判定對應於該組PTL參考索引語法元素中之各別語法元素的基本串流之設定檔、層次或層級的索引。
在圖7之實例中，器件可捨棄並非操作點之部分之層的資料(316)。換言之，器件可捨棄並不對應於操作點之層的資料。在其他實例中，可省略圖7中之一或多個動作。
根據第二實例實施技術，表2及其語法元素針對用於解決上文所描述的第二個問題之第三實例技術描述對DAM3之詳細修改。
以下文字指示根據第二實例實施技術之對語義之修改。
<ins>es_present_flag[i][j]指定ES_reference[i][j]及prepend_dependencies[i][j]是否針對第i操作點之第j層而存在。當es_present_flag[i][j]等於0時，在es_present_flag之值等於1且prepend_dependencies之值等於1的情況下，基於第i操作點中之經預先傳信之層的階層描述符或階層擴展描述符中之資訊導出ES_reference[i][j]之值。當es_present_flag[i][j]等於0時，導出prepend_dependencies[i][j]之值為0。es_present_flag[i][0]之值不應等於0。</ins>
prepend-dependencies[i][j]-當設定成1時，此旗標指示應在由ES_reference[i][j]傳信之ES<dlt>之前</dlt><ins>之後</ins>將由階層描述符中之語法元素hierarchy_embedded_layer_index傳信之ES、或由HEVC階層擴展描述符中之語法元素hierarchy_ext_embedded_layer_index傳信的所有ES添加至目標操作點之基本串流清單中，其中階層分層索引值由以下語法元素ES_reference[i][j]指定。
<ins>附註：在填入目標操作點之基本串流清單之後，其應按其hierarchy_layer_index值之升序重排序。</ins>
應注意，針對必要層之問題及針對將ES重複包括在用於HEVC操作之ES清單內之可能性的解決方案亦可應用於此替代方案。
根據第三實例實施技術，表3及其語法元素針對用於解決上文所描述的第二個問題之第四實例技術描述對DAM3之詳細修改。
以下文字指示根據第三實例實施技術之對語義之修改。
prepend-dependencies[i][j]--當設定成1時，此旗標指示應在由ES_reference[i][j]傳信的ES之前將由階層描述符中之語法元素hierarchy_embedded_layer_index傳信之ES、或由HEVC階層擴展描述符中之語法元素hierarchy_ext_embedded_layer_index傳信的所有ES添 加至目標操作點之基本串流之清單中，其中階層分層索引值由以下語法元素ES_reference[i][j]指定。
<ins>當prepend_dependencies[i][j]等於1時，針對由階層描述符中之語法元素hierarchy_embedded_layer_index傳信之每一基本串流esA、或由HEVC階層擴展描述符中之語法元素hierarchy_ext_embedded_layer_index傳信的所有基本串流，其中階層分層索引值由以下語法元素ES_reference[i][j]指定，以下適用：
˙若default_output_ref_layer[i]等於0，則與esA相關聯之層並非第i HEVC操作點之輸出層；否則，與esA相關聯之層為第i HEVC操作點之輸出層。
˙應存在具有在0至i-1之間的索引之亦含有esA的至少一個HEVC操作點opX。若針對opX存在一個以上候選者，則將使用具有最高索引之一者。適用於第i HEVC操作點中之esA的profile_tier_level_array之profile_tier_level_info[x]元素的索引為等於適用於opX中之esA的profile_tier_level_array之profile_tier_level_info[x]元素之索引的集合。</ins>
此外，為避免不必要併發症，可在操作點層級而非分層層級中傳信prepend_dependencies。針對必要層之問題及針對將ES重複包括在用於HEVC操作之ES清單中之可能性的解決方案亦可應用於此替代方案。
prepend_dependencies[i]-當設定成1時，此旗標指示應在由ES_reference[i][j]傳信的ES之前將由階層描述符中之語法元素hierarchy_embedded_layer_index傳信之ES、或由HEVC階層擴展描述符中之語法元素hierarchy_ext_embedded_layer_index傳信的所有ES添加至目標操作點之基本串流清單中，其中階層分層索引值由以下語法元素ES_reference[i][j]指定<ins>針對由第i操作點中之 ES_reference[i][j]指示的每一基本串流。</ins>
<ins>當prepend_dependencies[i]等於1時，針對由階層描述符中之語法元素hierarchy_embedded_layer_index傳信之每一基本串流esA、或由HEVC階層擴展描述符中之語法元素hierarchy_ext_embedded_layer_index傳信的所有基本串流，其中階層分層索引值由以下語法元素ES_reference[i][j]指定，以下適用：
˙若default_output_ref_layer[i]等於0，則與esA相關聯之層並非第i HEVC操作點之輸出層；否則，與esA相關聯之層為第i HEVC操作點之輸出層。
˙應存在具有在0至i-1之間的索引之亦含有esA的至少一個HEVC操作點opX。若針對opX存在一個以上候選者，則將使用具有最高索引之一者。適用於第i HEVC操作點中之esA的profile_tier_level_array之profile_tier_level_info[x]元素的索引為等於適用於opX中之esA的profile_tier_level_array之profile_tier_level_info[x]元素之索引的集合。</ins>
除了上文所描述的DAM3中之問題以外，當分層式HEVC位元串流含有一或多個輔助層時，不存在描述階層描述符或階層擴展描述符中之輔助增強的機制。輔助圖像為對主要圖像之解碼程序不具有規範性影響之圖像，且該圖像具有使得AuxId[nuh_layer_id]大於0之nuh_layer_id值。輔助層為含有輔助圖像之層。為解決此問題，建議將輔助階層類型之描述包括於表2-50中且將輔助增強之描述包括於表2-103中。
對於輔助層之處置，分層式HEVC在位元串流中支援輔助層的存在。輔助層可含有(例如)α頻道或深度表示。ISO/IEC 13818-1：201x/DAM 3 Carriage of Layered HEVC之當前文字不具有描述輔助層之機制。在具有特定串流類型(例如，0×1E，亦即，如ISO/IEC 23002-3中所定義之輔助視頻串流)之基本串流中運輸SHVC/MV-HEVC輔助層並非充分的解決方案，此係由於仍不存在描述此基本串流及其他基本串流之階層的方式，尤其在程式中與輔助層相關聯之串流。另外，當前L-HEVC緩衝器模型並不處置除了0×27~0×2A以外的串流類型，因此，此解決方案(使用特定串流類型)可需要進一步修改緩衝器模型。
為解決上述問題，本發明在下文中描述將輔助階層類型包括在表2-50中及將輔助增強包括在表2-103undeciens中。藉由此修改，不另外需要針對輔助層指派特定串流類型，不另外需要更新緩衝器模式，且可在具有在0×27~0×2A範圍內之串流類型的基本串流中運輸輔助層。
所提出之對表2-50之文字改變如下：
在表2-50中替換對於值8<ins>、10</ins>及15之描述如下：
所提出之對表2-103undeciens之文字改變：
以下段落提供本發明之額外實例。
在一些實例中，視頻解碼器30可經組態以：接收操作點之第一 語法元素(例如，prepend_dependencies[i][j])，其中語法元素之第一值指定：當由第二語法元素(例如，ES_reference[i][j])指示之一基本串流尚未存在於操作點清單(例如，OperationPointESList[i])中時，應將該基本串流添加至操作點清單中，且其中語法元素之第二值指定：當由第二語法元素指示之基本串流尚未存在於操作清單中時，應僅將該基本串流添加至操作點清單中；及基於所接收之第一語法元素解碼操作點。
在一些實例中，視頻解碼器30可經組態以：執行第一迴圈以解碼第一語法元素(例如，ES_reference[i][j])之多個例項，及/或解碼第二語法元素(例如，prepend_dependencies[i][j])之多個例項，該第一語法元素指示存在於識別操作點之基本串流的階層描述符或HEVC階層擴展描述符中之階層分層索引值，該第二語法元素指示來自哪些結構之基本串流將包括於操作點之基本串流清單中作為第一迴圈之效能的部分；執行第二迴圈以解碼第三語法元素(例如，output_layer_flag[i][k])之多個例項，及/或解碼第四語法元素(例如，ptl_ref_idx[i][k])之多個例項，該第三語法元素指示操作點之哪一基本串流為輸出層，該第四語法元素指示用於判定操作點之基本串流的設定檔、層次或層級之索引；及基於第一、第二、第三及第四語法元素中之一或多者解碼操作點。
在一些實例中，視頻編碼器20或中間器件(例如，MANE)可經組態以實施本發明中所描述之實例技術。舉例而言，視頻編碼器20或中間器件(或兩者之組合)可經組態以：判定操作點之基本串流或層；判定操作點中之每一基本串流或層之旗標(例如，下文所描述之necessary_layer_flag[i][k])，其中該旗標指示各別基本串流或層是否為必要串流或層；及產生包括基本串流及各別旗標之位元串流。
在一項實例中，視頻編碼器20或中間器件(或兩者之組合)可經組 態以：判定操作點之第一語法元素(例如，prepend_dependencies[i][j])，其中該語法元素之第一值指定：當由第二語法元素(例如，ES_reference[i][j])指示之一基本串流尚未存在於操作點清單(例如，OperationPointESList[i])中時，應將該基本串流添加至操作點清單中，且其中該語法元素之第二值指定：當由第二語法元素指示之基本串流尚未存在於操作清單中時，應僅將該基本串流添加操作點清單中；及產生包括操作點之資訊(包括所判定之第一語法元素)的位元串流。
在一項實例中，視頻編碼器20或中間器件(或兩者之組合)可經組態以：執行第一迴圈以判定第一語法元素(例如，ES_reference[i][j])之多個例項，及/或判定第二語法元素(例如，prepend_dependencies[i][j])之多個例項，該第一語法元素指示存在於識別操作點之基本串流的階層描述符或HEVC階層擴展描述符中之階層分層索引值，該第二語法元素指示來自哪些結構之基本串流將包括於操作點之基本串流清單中作為第一迴圈之效能的部分；執行第二迴圈以判定第三語法元素(例如，output_layer_flag[i][k])之多個例項，及/或判定第四語法元素(例如，ptl_ref_idx[i][k])之多個例項，該第三語法元素指示操作點之哪一基本串流為輸出層，該第四語法元素指示用於判定操作點之基本串流的設定檔、層次或層級之索引；及產生包括操作點之第一、第二、第三及第四語法元素中之一或多者的位元串流。應認識到，取決於實例，可以不同序列執行、可添加、合併或完全省略本文中所描述之技術中之任一者的某些動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆為必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處理器同時執行而非依序地執行。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任 何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體或通信媒體，包括(例如)根據通信協定促進電腦程式自一位置至另一位置之傳遞的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉助於實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整 合或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置加以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能性態樣，但未必需要由不同硬體單元來實現。相反地，如上所述，結合適合的軟體及/或韌體，各種單元可合併在編解碼器硬體單元中或由互操作硬體單元之集合提供，硬體單元包括如上文所描述之一或多個處理器。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
200‧‧‧區塊
202‧‧‧區塊
204‧‧‧區塊
206‧‧‧區塊
208‧‧‧區塊

Claims (26)

  1. 一種處理視頻資料之方法，該方法包含：接收包括一第一描述符、一第二描述符及複數個基本串流之一傳輸串流，該第一描述符為該視頻資料之一操作點的一描述符，該第二描述符為一階層描述符或一階層擴展描述符中之一者；解碼該第一描述符中之一第一語法元素及一第二語法元素，其中：一基本串流清單為該傳輸串流中為該操作點之部分之基本串流的一清單，該第二描述符具有等於該第二語法元素之一值的一階層分層索引值，該第一語法元素之一第一值指定：當由該第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該第二語法元素指示之該基本串流為該複數個基本串流中之一者，及當由該第二描述符中之一嵌入層索引指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該第二描述符中之該嵌入層索引指示之該基本串流為該複數個基本串流中之一者，及回應於判定該第一語法元素具有不同於該第一值之一第二值，當由該第二語法元素指示之該基本串流不存在於該基本串流清單中時，將該基本串流添加至該基本串流清單中，但不將由該第二描述符中之該嵌入層索引指示之該基本串流添加至該 基本串流清單中。
  2. 如請求項1之方法，其進一步包含：在該傳輸串流中接收一組第二描述符，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；解碼該第一描述符中之一第三語法元素，該第三語法元素指示基本串流之一數目；解碼該第一描述符中之一組第一語法元素；及解碼該第一描述符中之一組第二語法元素，其中：該組第一語法元素中之第一語法元素的該數目及該組第二語法元素中之第二語法元素的該數目等於該第三語法元素之一值，該組第一語法元素包括該第一語法元素，該組第二語法元素包括該第二語法元素，對於該組第一語法元素中之每一各別第一語法元素而言：該組第二語法元素中之一各別第二語法元素對應於該各別第一語法元素，該組第二描述符中之一各別第二描述符具有等於該各別第二語法元素之一值的一階層分層索引值，該各別第一語法元素之該第一值指定：當由該各別第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該各別第二語法元素指示之該基本串流為該複數個基本串流中之一者，及當由該各別第二描述符中之一嵌入層索引指示之一基本串流不存在於該操作點之該基本串流清單中時，應將 該基本串流添加至該基本串流清單中，由該各別第二描述符中之該嵌入層索引指示的該基本串流為該複數個基本串流中之一者，及回應於判定該各別第一語法元素具有該第二值，當由該各別第二語法元素指示之該各別基本串流不存在於該基本串流清單中時，將該各別基本串流添加至該基本串流清單中，但不將由該各別第二描述符中之該嵌入層索引指示之該各別基本串流添加至該基本串流清單中。
  3. 如請求項2之方法，其進一步包含：對於該組第一語法元素中之每一各別第一語法元素而言：一或多個嵌入層索引之一集合包括於該各別第二描述符中，及基於該各別第一語法元素具有該第一值，按該嵌入層索引集合之值的升序緊接在由該各別第二語法元素指示之該基本串流前將由該嵌入層索引集合指示的基本串流添加至該基本串流清單中。
  4. 如請求項1之方法，其進一步包含：解碼該第一描述符中之一組語法元素，該組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該組語法元素中之每一各別語法元素指示對應於該組語法元素中之該各別語法元素的該基本串流是否為一必要層，其中將一必要層定義為與一輸出層集相關聯之一輸出操作點中之一層，該層為該輸出層集中之一輸出層或該輸出層集中之一輸出層的一參考層。
  5. 如請求項1之方法，其進一步包含：解碼該第一描述符中之一第一組語法元素，該第一組語法元 素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第一組語法元素中之每一各別語法元素指示對應於該第一組語法元素中之該各別語法元素的該基本串流是否為一輸出層；及解碼該第一描述符中之一第二組語法元素，該第二組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第二組語法元素中之每一各別語法元素指示用於判定對應於該第二組語法元素中之該各別語法元素的該基本串流之一設定檔、層次或層級的一索引。
  6. 如請求項1之方法，其進一步包含：在該傳輸串流中接收一組第二描述符，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；及解碼該第一描述符中之一組第二語法元素，其中：該組第二語法元素包括該第二語法元素，該組第二語法元素中之每一各別第二語法元素指示存在於該組第二描述符中之一描述符中的一階層分層索引值，且該組第二語法元素受限，使得該組第二語法元素中無具有相同值之兩個第二語法元素。
  7. 如請求項1之方法，其進一步包含捨棄並非該操作點之部分的層之資料。
  8. 一種用於處理視頻資料之器件，該器件包含：一輸入介面，其經組態以接收包括一傳輸串流之資訊，該傳輸串流包括一第一描述符、一第二描述符及複數個基本串流，該第一描述符為該視頻資料之一操作點的一描述符，該第二描述符為一階層描述符或一階層擴展描述符中之一者；及 一或多個處理器，其經組態以：解碼該第一描述符中之一第一語法元素及一第二語法元素，其中：一基本串流清單為該傳輸串流中為該操作點之部分之基本串流的一清單，該第二描述符具有等於該第二語法元素之一值的一階層分層索引值，該第一語法元素之一第一值指定：當由該第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該第二語法元素指示之該基本串流為該複數個基本串流中之一者，及當由該第二描述符中之一嵌入層索引指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該第二描述符中之該嵌入層索引指示之該基本串流為該複數個基本串流中之一者，及回應於判定該第一語法元素具有不同於該第一值的一第二值，當由該第二語法元素指示之該基本串流不存在於該基本串流清單中時，將該基本串流添加至該基本串流清單中，但不將由該第二描述符中之該嵌入層索引指示之該基本串流添加至該基本串流清單中。
  9. 如請求項8之器件，其中該一或多個處理器經組態以：在該傳輸串流中接收一組第二描述符，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；解碼該第一描述符中之一第三語法元素，該第三語法元素指 示基本串流之一數目；解碼該第一描述符中之一組第一語法元素；及解碼該第一描述符中之一組第二語法元素，其中：該組第一語法元素中之第一語法元素的該數目及該組第二語法元素中之第二語法元素的該數目等於該第三語法元素之一值，該組第一語法元素包括該第一語法元素，該組第二語法元素包括該第二語法元素，對於該組第一語法元素中之每一各別第一語法元素而言：該組第二語法元素中之一各別第二語法元素對應於該各別第一語法元素，該組第二描述符中之一各別第二描述符具有等於該各別第二語法元素之一值的一階層分層索引值，該各別第一語法元素之該第一值指定：當由該各別第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該各別第二語法元素指示之該基本串流為該複數個基本串流中之一者，及當由該各別第二描述符中之一嵌入層索引指示之一基本串流不存在於該操作點之該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該各別第二描述符中之該嵌入層索引指示的該基本串流為該複數個基本串流中之一者，及回應於判定該各別第一語法元素具有該第二值，當由該各別第二語法元素指示之該各別基本串流不存在於該基本串流清單中時，將該各別基本串流添加至該基本串流清單中，但 不將由該各別第二描述符中之該嵌入層索引指示之該各別基本串流添加至該基本串流清單中。
  10. 如請求項9之器件，其中，對於該組第一語法元素中之每一各別第一語法元素而言，一或多個嵌入層索引之一集合包括於該各別第二描述符中，且基於該各別第一語法元素具有該第一值，該一或多個處理器經組態以使得該一或多個處理器按該嵌入層索引集合之值的升序緊接在由該各別第二語法元素指示之該基本串流前將由該嵌入層索引集合指示的基本串流添加至該基本串流清單中。
  11. 如請求項8之器件，其中該一或多個處理器經組態以：解碼該第一描述符中之一組語法元素，該組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該組語法元素中之每一各別語法元素指示對應於該組語法元素中之該各別語法元素的該基本串流是否為一必要層，其中將一必要層定義為與一輸出層集相關聯之一輸出操作點中之一層，該層為該輸出層集中之一輸出層或該輸出層集中之一輸出層的一參考層。
  12. 如請求項8之器件，其中該一或多個處理器經組態以：解碼該第一描述符中之一第一組語法元素，該第一組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第一組語法元素中之每一各別語法元素指示對應於該第一組語法元素中之該各別語法元素的該基本串流是否為一輸出層；及解碼該第一描述符中之一第二組語法元素，該第二組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第二組語法元素中之每一各別語法元素指示用於判 定對應於該第二組語法元素中之該各別語法元素的該基本串流之一設定檔、層次或層級的一索引。
  13. 如請求項8之器件，其中該一或多個處理器經組態以：在該傳輸串流中接收一組第二描述符，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；及解碼該第一描述符中之一組第二語法元素，其中：該組第二語法元素包括該第二語法元素，該組第二語法元素中之每一各別第二語法元素指示存在於該組第二描述符中之一描述符中的一階層分層索引值，且該組第二語法元素受限，使得該組第二語法元素中無具有相同值之兩個第二語法元素。
  14. 如請求項8之器件，其中該一或多個處理器經進一步組態以捨棄並非該操作點之部分的層之資料。
  15. 一種用於處理視頻資料之器件，該器件包含：用於接收包括一第一描述符、一第二描述符及複數個基本串流之一傳輸串流的構件，該第一描述符為該視頻資料之一操作點的一描述符，該第二描述符為一階層描述符或一階層擴展描述符中之一者；用於解碼該第一描述符中之一第一語法元素及一第二語法元素的構件，其中：一基本串流清單為該傳輸串流中為該操作點之部分之基本串流的一清單，該第二描述符具有等於該第二語法元素之一值的一階層分層索引值，該第一語法元素之一第一值指定： 當由該第二語法元素指示之一一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該第二語法元素指示之該基本串流為該複數個基本串流中之一者，及當由該第二描述符中之一嵌入層索引指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該第二描述符中之該嵌入層索引指示之該基本串流為該複數個基本串流中之一者，及用於回應於判定該第一語法元素具有不同於該第一值的一第二值，當由該第二語法元素指示之該基本串流不存在於該基本串流清單中時，將該基本串流添加至該基本串流清單中，但不將由該第二描述符中之該嵌入層索引指示之該基本串流添加至該基本串流清單中的構件。
  16. 如請求項15之器件，其進一步包含：用於在該傳輸串流中接收一組第二描述符之構件，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；用於解碼該第一描述符中之一第三語法元素的構件，該第三語法元素指示基本串流之一數目；用於解碼該第一描述符中之一組第一語法元素的構件；及用於解碼該第一描述符中之一組第二語法元素的構件，其中：該組第一語法元素中之第一語法元素的該數目及該組第二語法元素中之第二語法元素的該數目等於該第三語法元素之一值，該組第一語法元素包括該第一語法元素， 該組第二語法元素包括該第二語法元素，對於該組第一語法元素中之每一各別第一語法元素而言：該組第二語法元素中之一各別第二語法元素對應於該各別第一語法元素，該組第二描述符中之一各別第二描述符具有等於該各別第二語法元素之一值的一階層分層索引值，該各別第一語法元素之該第一值指定：當由該各別第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該各別第二語法元素指示之該基本串流為該複數個基本串流中之一者，及當由該各別第二描述符中之一嵌入層索引指示之一基本串流不存在於該操作點之該基本串流清單中時，應將該基本串流添加至該基本串流清單中，由該各別第二描述符中之該嵌入層索引指示的該基本串流為該複數個基本串流中之一者，及該器件包含用於回應於判定該各別第一語法元素具有該第二值，當由該各別第二語法元素指示之該基本串流不存在於該基本串流清單中時，將該各別基本串流添加至該基本串流清單中，但不將由該各別第二描述符中之該嵌入層索引指示之該各別基本串流添加至該基本串流清單中的構件。
  17. 如請求項16之器件，其進一步包含：對於該組第一語法元素中之每一各別第一語法元素而言：一或多個嵌入層索引之一集合包括在該各別第二描述符中，及 該器件包含用於基於該各別第一語法元素具有該第一值，按該嵌入層索引集合之值的升序緊接在由該各別第二語法元素指示之該基本串流前將由該嵌入層索引集合指示之基本串流添加至該基本串流清單中的構件。
  18. 如請求項15之器件，其進一步包含：用於解碼該第一描述符中之一組語法元素的構件，該組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該組語法元素中之每一各別語法元素指示對應於該組語法元素中之該各別語法元素的該基本串流是否為一必要層，其中將一必要層定義為與一輸出層集相關聯之一輸出操作點中之一層，該層為該輸出層集中之一輸出層或該輸出層集中之一輸出層的一參考層。
  19. 如請求項15之器件，其進一步包含：用於解碼該第一描述符中之一第一組語法元素的構件，該第一組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第一組語法元素中之每一各別語法元素指示對應於該第一組語法元素中之該各別語法元素的該基本串流是否為一輸出層；及用於解碼該第一描述符中之一第二組語法元素的構件，該第二組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第二組語法元素中之每一各別語法元素指示用於判定對應於該第二組語法元素中之該各別語法元素的該基本串流之一設定檔、層次或層級的一索引。
  20. 如請求項15之器件，其進一步包含：用於在該傳輸串流中接收一組第二描述符之構件，該組第二 描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；及用於解碼該第一描述符中之一組第二語法元素的構件，其中：該組第二語法元素包括該第二語法元素，該組第二語法元素中之每一各別第二語法元素指示存在於該組第二描述符中之一描述符中的一階層分層索引值，且該組第二語法元素受限，以使得該組第二語法元素中無具有相同值之兩個第二語法元素。
  21. 如請求項15之器件，其進一步包含用於捨棄並非該操作點之部分的層之資料的構件。
  22. 一種用於處理視頻資料之器件，該器件包含：一或多個處理器，其經組態以：產生一第一描述符，該第一描述符為該視頻資料之一操作點的一描述符；產生一第二描述符，該第二描述符為一階層描述符或一階層擴展描述符中之一者；其中該一或多個處理器經組態作為產生該第一描述符之部分，使得該一或多個處理器進行以下操作：將一第一語法元素及一第二語法元素包括於該第一描述符中，其中：一基本串流清單為係該操作點之部分的基本串流之一清單，該第二描述符具有等於該第二語法元素之一值的一階層分層索引值，該第一語法元素之一第一值指定： 當由該第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，及當由該第二描述符中之一嵌入層索引指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，及該第一語法元素之一第二值指定當由該第二語法元素指示之該基本串流不存在於該基本串流清單中時，應將該基本串流而非將由該第二描述符中之該嵌入層索引指示的該基本串流添加至該基本串流清單中；及將該第一描述符及該第二描述符包括於一傳輸串流中；及一輸出介面，其經組態以輸出該視頻資料之一經編碼版本。
  23. 如請求項22之器件，其中：該一或多個處理器經組態以產生一組第二描述符，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者；該一或多個處理器經組態作為產生該第一描述符之部分，使得該一或多個處理器進行以下操作：將一第三語法元素包括於該第一描述符中，該第三語法元素指示基本串流之一數目；將一組第一語法元素包括於該第一描述符中；及將一組第二語法元素包括於該第一描述符中，其中：該組第一語法元素中之第一語法元素的該數目及該組第二語法元素中之第二語法元素的該數目等於該第三語法元素之一值，該組第一語法元素包括該第一語法元素， 該組第二語法元素包括該第二語法元素，對於該組第一語法元素中之每一各別第一語法元素而言：該組第二語法元素中之一各別第二語法元素對應於該各別第一語法元素，該組第二描述符中之一各別第二描述符具有等於該各別第二語法元素之一值的一階層分層索引值，該各別第一語法元素之該第一值指定：當由該各別第二語法元素指示之一基本串流不存在於該基本串流清單中時，應將該基本串流添加至該基本串流清單中，及當由該各別第二描述符中之一嵌入層索引指示之一基本串流不存在於該操作點之該基本串流清單中時，應將該基本串流添加至該基本串流清單，及該各別第一語法元素之該第二值指定當由該各別第二語法元素指示之該各別基本串流不存在於該基本串流清單中時，應將該各別基本串流而非將由該各別第二描述符中之該嵌入層索引指示的該各別基本串流添加至該基本串流清單中。
  24. 如請求項23之器件，其中該一或多個處理器經組態作為產生該第一描述符之部分，使得該一或多個處理器進行以下操作：將一組語法元素包括於該第一描述符中，該組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該組語法元素中之每一各別語法元素指示對應於該組語法元素中之該各別語法元素的該基本串流是否為一必要層，其中將一必要層定義為與一輸出層集相關聯之一輸出操作點中之一層，該層為該輸出層集中之一輸出層或該輸出層集中之一輸出層的一參考層。
  25. 如請求項22之器件，其中該一或多個處理器經組態作為產生該第一描述符之部分，使得該一或多個處理器進行以下操作：將一第一組語法元素包括於該第一描述符中，該第一組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第一組語法元素中之每一各別語法元素指示對應於該第一組語法元素之該各別語法元素的該基本串流是否為一輸出層；及將一第二組語法元素包括於該第一描述符中，該第二組語法元素中之每一各別語法元素對應於該基本串流清單中之一各別基本串流，該第二組語法元素中之每一各別語法元素指示用於判定對應於該第二組語法元素中之該各別語法元素的該基本串流之一設定檔、層次或層級的一索引。
  26. 如請求項22之器件，其中：該一或多個處理器經進一步組態以將一組第二描述符包括於該傳輸串流中，該組第二描述符包括該第二描述符，該組第二描述符中之每一各別第二描述符為一階層描述符或一階層擴展描述符中之一者，及該一或多個處理器經組態作為產生該第一描述符之部分，使得該一或多個處理器進行以下操作：將一組第二語法元素包括於該第一描述符中，其中：該組第二語法元素包括該第二語法元素，該組第二語法元素中之每一各別第二語法元素指示存在於該組第二描述符中之一描述符中的一階層分層索引值，且該組第二語法元素受限，使得該組第二語法元素中無具有相同值之兩個第二語法元素。
TW105104378A 2015-02-11 2016-02-15 用於高效率視頻寫碼擴展之運輸的操作點發信號 TWI663870B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562115089P 2015-02-11 2015-02-11
US62/115,089 2015-02-11
US15/040,418 2016-02-10
US15/040,418 US9930378B2 (en) 2015-02-11 2016-02-10 Signaling of operation points for carriage of HEVC extensions

Publications (2)

Publication Number Publication Date
TW201631969A true TW201631969A (zh) 2016-09-01
TWI663870B TWI663870B (zh) 2019-06-21

Family

ID=56567244

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105104378A TWI663870B (zh) 2015-02-11 2016-02-15 用於高效率視頻寫碼擴展之運輸的操作點發信號

Country Status (12)

Country Link
US (1) US9930378B2 (zh)
EP (1) EP3257253B1 (zh)
JP (1) JP6442067B2 (zh)
KR (1) KR101906136B1 (zh)
CN (1) CN107251559B (zh)
AU (1) AU2016219228B2 (zh)
EA (1) EA034511B1 (zh)
ES (1) ES2711892T3 (zh)
HU (1) HUE041473T2 (zh)
TN (1) TN2017000312A1 (zh)
TW (1) TWI663870B (zh)
WO (1) WO2016130771A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2786812C (en) * 2010-01-18 2018-03-20 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for supporting playout of content
WO2022065875A1 (ko) * 2020-09-22 2022-03-31 엘지전자 주식회사 동작점 정보와 출력 계층 세트 정보를 시그널링하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일을 저장한 컴퓨터 판독 가능한 기록 매체

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7281018B1 (en) * 2004-05-26 2007-10-09 Microsoft Corporation Form template data source change
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
EP2654305A2 (en) * 2010-12-13 2013-10-23 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
PL3879831T3 (pl) * 2011-05-31 2024-07-29 Jvckenwood Corporation Urządzenie do kodowania ruchomego obrazu wizyjnego, sposób kodowania ruchomego obrazu wizyjnego i program do kodowania ruchomego obrazu wizyjnego, a także urządzenie do dekodowania ruchomego obrazu wizyjnego, sposób dekodowania ruchomego obrazu wizyjnego i program do dekodowania ruchomego obrazu wizyjnego
BR112013032333B1 (pt) * 2011-06-16 2022-07-26 Ge Video Compression, Llc Comutação de modo auxiliar para codificação por entropia
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US20130222537A1 (en) * 2012-02-29 2013-08-29 Qualcomm Incorporated Bitstream extraction in three-dimensional video
US9161039B2 (en) 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
WO2015179600A1 (en) * 2014-05-21 2015-11-26 Arris Enterprises, Inc. Signaling and selection for the enhancement of layers in scalable video

Also Published As

Publication number Publication date
KR20170115063A (ko) 2017-10-16
US20160234518A1 (en) 2016-08-11
CN107251559A (zh) 2017-10-13
EA034511B1 (ru) 2020-02-14
JP6442067B2 (ja) 2018-12-19
EP3257253B1 (en) 2018-11-28
WO2016130771A1 (en) 2016-08-18
JP2018509073A (ja) 2018-03-29
CN107251559B (zh) 2019-09-27
US9930378B2 (en) 2018-03-27
AU2016219228A1 (en) 2017-07-27
TWI663870B (zh) 2019-06-21
ES2711892T3 (es) 2019-05-08
EA201791482A1 (ru) 2018-01-31
EP3257253A1 (en) 2017-12-20
HUE041473T2 (hu) 2019-05-28
KR101906136B1 (ko) 2018-10-10
TN2017000312A1 (en) 2019-01-16
BR112017017281A2 (pt) 2018-04-17
AU2016219228B2 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
TWI692242B (zh) 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計
TWI651961B (zh) 於多層位元流檔案格式中操作點取樣群組之對齊
TWI520575B (zh) 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
TWI652940B (zh) 於視訊寫碼中用於基於子解碼圖像緩衝器（ｓｕｂ－ｄｐｂ）之解碼圖像緩衝器操作之傳信
EP3363204B1 (en) Support of random access and switching of layers and sub-layers in multi-layer video files
TWI565305B (zh) 用於處理視訊資料之方法、用於產生含有經編碼視訊資料之一檔案之方法、用於處理視訊資料之器件、用於產生含有經編碼視訊資料之一檔案之器件及非暫時性電腦可讀儲存媒體
TWI543593B (zh) 具有一固定長度寫碼之視訊參數集識別之補充增強資訊訊息
TW201705766A (zh) 於分層視訊檔案格式中之樣本條目及操作點發訊設計
JP2017514363A (ja) マルチレイヤビデオコーデックのための特定のｈｅｖｃ ｓｅｉメッセージの使用
TW201528819A (zh) 多層視訊檔案格式設計
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
TWI679880B (zh) 用於載送視訊寫碼延伸之傳輸串流
TWI663870B (zh) 用於高效率視頻寫碼擴展之運輸的操作點發信號
CN117223290A (zh) 用于基于eos样本组生成/接收媒体文件的方法和设备以及用于发送媒体文件的方法
OA18396A (en) Signaling of operation points for carriage of hevc extensions.
BR112017017281B1 (pt) Sinalização de pontos de operação para conduzir extensões de hevc