TW201620305A - 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計 - Google Patents

用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計 Download PDF

Info

Publication number
TW201620305A
TW201620305A TW104133911A TW104133911A TW201620305A TW 201620305 A TW201620305 A TW 201620305A TW 104133911 A TW104133911 A TW 104133911A TW 104133911 A TW104133911 A TW 104133911A TW 201620305 A TW201620305 A TW 201620305A
Authority
TW
Taiwan
Prior art keywords
parameter
hrd
stream
hevc
index
Prior art date
Application number
TW104133911A
Other languages
English (en)
Other versions
TWI692242B (zh
Inventor
伏努 亨利
王益魁
愛達許 克里許納 瑞瑪蘇布雷蒙尼恩
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201620305A publication Critical patent/TW201620305A/zh
Application granted granted Critical
Publication of TWI692242B publication Critical patent/TWI692242B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronizing For Television (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種視訊處理器件獲得包含複數個基本串流及一高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之一資料串流。該HEVC時序及HRD描述符包含指示一遞送排程之一索引的一目標排程索引語法元素。該視訊處理器件可基於參數之一集合識別一視訊參數集合(VPS)中之語法元素之一陣列中之一語法元素。參數之該集合可包含具有一值等於該目標排程索引語法元素之一值的一參數。該視訊處理器件可基於藉由該經識別語法元素指定的一索引將複數個HRD參數語法結構中之一特定HRD參數語法結構識別為適用於一特定基本串流。

Description

用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計
本申請案主張2014年10月15日申請的美國臨時申請案第62/064,414號之權益，其全部內容以引用的方式併入。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之延伸中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視 訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼框間編碼區塊，且殘餘資料指示經寫碼區塊與預測性區塊之間的差異。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘係數，接著可量化殘餘係數。
通常，本發明係關於用於HEVC延伸之承載之用於傳信假想參考解碼器(HRD)相關資訊之描述符之設計及MPEG-2傳輸串流(TS)之緩衝器模型之設計。如本文所描述，視訊處理器件可判定適用於運動圖像專家組(MPEG)-2資料串流中之基本串流之HRD參數之集合。
在一項態樣中，本發明描述處理視訊資料之方法，該方法包含：獲得包含複數個基本串流及高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之資料串流，其中HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素；基於參數之集合識別視訊參數集合(VPS)中之語法元素之陣列中之語法元素，其中：VPS包含複數個HRD參數語法結構，其中複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，語法元素陣列中之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引，及參數之集合包含具有值等於目標排程索引語法元素之值的參數；及基於藉由經識別語法元素指定之索引將複數個HRD參數 語法結構中之特定HRD參數語法結構識別為適用於為操作點之一部分之特定基本串流，複數個基本串流包括特定基本串流。
在另一態樣中，本發明描述處理視訊資料之方法，該方法包含：產生包括語法元素陣列及複數個假想參考解碼器(HRD)參數語法結構之視訊參數集合(VPS)，其中：複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，且語法元素之陣列中之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引；產生包含指示遞送排程之索引的目標排程索引語法元素的高效率視訊寫碼(HEVC)時序及HRD描述符；及產生包含複數個基本串流及高效率視訊寫碼(HEVC)時序及HRD描述符之資料串流，其中參數之集合識別指定適用於特定基本串流之特定HRD參數語法結構之索引的語法元素之陣列中之語法元素，特定HRD參數語法結構為複數個HRD參數語法結構中之一者，特定HRD參數語法結構為操作點之一部分，參數之集合包含具有值等於目標排程索引語法元素之值的參數。
在另一態樣中，本發明描述用於處理視訊資料之器件，該器件包含：經組態以儲存視訊資料之記憶體；及經組態以執行以下各者之一或多個處理器：獲得包含複數個基本串流及高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之資料串流，其中HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素，基本串流包含視訊資料之經編碼表示；基於參數之集合識別視訊參數集合(VPS)中之語法元素之陣列中之語法元素，其中：VPS包含複數個HRD參數語法結構，其中複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，語法元素之陣列中之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引，且參數之集合包含具有值等於目標排程索引語法元素之值的參 數；及基於藉由經識別語法元素指定的索引將複數個HRD參數語法結構中之特定HRD參數語法結構識別為適用於操作點之一部分之特定基本串流，複數個基本串流包括特定基本串流。
在另一態樣中，本發明描述用於處理視訊資料之器件，該器件包含：經組態以儲存視訊資料之記憶體；及經組態以執行以下各者之一或多個處理器：產生包括語法元素之陣列及複數個假想參考解碼器(HRD)參數語法結構之視訊參數集合(VPS)，其中：複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，且語法元素之陣列中之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引；產生包含指示遞送排程之索引的目標排程索引語法元素的高效率視訊寫碼(HEVC)時序及HRD描述符；及產生包含複數個基本串流及高效率視訊寫碼(HEVC)時序及HRD描述符之資料串流，複數個基本串流包含視訊資料之經編碼表示，其中參數之集合識別指定適用於特定基本串流之特定HRD參數語法結構之索引的語法元素之陣列中之語法元素，特定HRD參數語法結構為複數個HRD參數語法結構中之一者，特定HRD參數語法結構為操作點之一部分，參數之集合包含具有值等於目標排程索引語法元素之值的參數。
在另一態樣中，本發明描述用於處理視訊資料之器件，該器件包含：用於獲得包含複數個基本串流及高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之資料串流的構件，其中HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素；用於基於參數之集合識別視訊參數集合(VPS)中之語法元素陣列中之語法元素的構件，其中：VPS包含複數個HRD參數語法結構，其中複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，語法元素之陣列中之每一各別語法元素指定複數個HRD參數 語法結構中之HRD參數語法結構之索引，且參數之集合包含具有值等於目標排程索引語法元素之值的參數；及用於基於藉由經識別語法元素指定的索引將複數個HRD參數語法結構中之特定HRD參數語法結構識別為適用於為操作點之一部分之特定基本串流的構件，複數個基本串流包括特定基本串流。
在另一態樣中，本發明描述用於處理視訊資料之器件，該器件包含：用於產生包括語法元素陣列及複數個假想參考解碼器(HRD)參數語法結構之視訊參數集合(VPS)的構件，其中：複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，且語法元素之陣列中之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引；用於產生包含指示遞送排程之索引的目標排程索引語法元素的高效率視訊寫碼(HEVC)時序及HRD描述符的構件；及用於產生包含複數個基本串流及高效率視訊寫碼(HEVC)時序及HRD描述符之資料串流的構件，其中參數之集合識別指定適用於特定基本串流之特定HRD參數語法結構之索引的語法元素之陣列中之語法元素，特定HRD參數語法結構為複數個HRD參數語法結構中之一者，特定HRD參數語法結構為操作點之一部分，參數之集合包含具有值等於目標排程索引語法元素之值的參數。
在另一態樣中，本發明描述一種電腦可讀儲存媒體，其上儲存有當執行時使得器件之一或多個處理器執行以下操作的指令：獲得包含複數個基本串流及高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之資料串流，其中HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素；基於參數之集合識別視訊參數集合(VPS)中之語法元素陣列中之語法元素，其中：VPS包含複數個HRD參數語法結構，其中複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，語法元素之陣列中之每 一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引，且參數之集合包含具有值等於目標排程索引語法元素之值的參數；及基於藉由經識別語法元素指定的索引將複數個HRD參數語法結構中之特定HRD參數語法結構識別為適用於為操作點之一部分之特定基本串流，複數個基本串流包括特定基本串流。
在另一態樣中，本發明描述一種電腦可讀儲存媒體，其上儲存有當執行時使得器件之一或多個處理器執行以下操作的指令：產生包括語法元素陣列及複數個假想參考解碼器(HRD)參數語法結構之視訊參數集合(VPS)，其中：複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合，且語法元素之陣列中之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引；產生包含指示遞送排程之索引的目標排程索引語法元素的高效率視訊寫碼(HEVC)時序及HRD描述符；及產生包含複數個基本串流及高效率視訊寫碼(HEVC)時序及HRD描述符之資料串流，其中參數之集合識別指定適用於特定基本串流之特定HRD參數語法結構之索引的語法元素陣列中之語法元素，特定HRD參數語法結構為複數個HRD參數語法結構中之一者，特定HRD參數語法結構為操作點之一部分，參數之集合包含具有值等於目標排程索引語法元素之值的參數。
在隨附圖式及以下描述中闡明本發明之一或多項實例的細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
101‧‧‧視訊資料記憶體
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
250‧‧‧步驟
252‧‧‧步驟
254‧‧‧步驟
300‧‧‧步驟
302‧‧‧步驟
304‧‧‧步驟
306‧‧‧步驟
圖1為繪示可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為繪示用於位元串流分割特定之經寫碼圖像緩衝器(CPB)操作之傳輸系統目標解碼器(T-STD)模型延伸之概念圖。
圖3為繪示可實施本發明中所描述之技術之實例視訊編碼器的方 塊圖。
圖4為繪示可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖5為繪示根據本發明之技術的視訊編碼器之實例操作的流程圖。
圖6為繪示根據本發明之技術的視訊解碼器之實例操作的流程圖。
圖7為繪示根據本發明之技術的判定參數之值的視訊寫碼器之實例操作的流程圖。
特定視訊寫碼標準指定緩衝模型，該緩衝模型可被稱作假想參考解碼器(HRD)。HRD描述資料經緩衝以用於解碼之方式及經解碼資料經緩衝以用於輸出之方式。舉例而言，HRD描述經寫碼圖像緩衝器(「CPB」)、經解碼圖像緩衝器(「DPB」)及視訊解碼程序之操作。CPB為含有藉由HRD指定之解碼次序中之存取單元的先進先出緩衝器。DPB為保持(例如，儲存)經解碼圖像以用於藉由HRD指定的參考、輸出重定序或輸出延遲之緩衝器。可以數學方式指定CPB及DPB之特性。HRD可直接對時序、緩衝器大小及位元率施加約束。此外，HRD可間接對各種位元串流特性及統計施加約束。儘管HRD被稱為解碼器之某種類型，然視訊編碼器通常使用HRD來保證位元串流符合性，而視訊解碼器通常並不需要HRD。換言之，HRD通常用於測試位元串流。在高效率視訊寫碼(HEVC)中，視訊參數集合(VPS)含有HRD參數語法結構之集合。HRD參數語法結構中之每一者含有用於控制HRD之操作的HRD參數。
可擴展HEVC(SHVC)及多視圖HEVC(MV-HEVC)為用於可擴展視訊寫碼及多視圖視訊寫碼之HEVC之延伸。在SHVC及MV-HEVC 中，位元串流可包含複數個層。因此，SHVC及MV-HEVC可被共同地稱為「層化HEVC」或「L-HEVC」。在SHVC中，存在基層及一或多個增強層。增強層可增加在位元串流中經編碼的視訊資料之視覺品質及/或圖框速率。在MV-HEVC中，每一層可對應於不同視圖。每一層可與不同層識別符(例如，nuh_layer_id)相關聯。在SHVC及MV-HEVC中，可根據分割方案將位元串流之層分成「分割區」。因此，每一分割區可包含位元串流之一或多個層。此外，在SHVC及MV-HEVC中，每一分割區可指代VPS中之HRD參數語法結構中之一者。因此，當使用HRD測試分割區時，用於分割區之HRD參數語法結構含有的HRD參數可控制HRD之操作。
此外，可在不參考相同層內的其他圖像的情況下解碼層內的一些圖像。因此，可自位元串流移除封裝層之某些圖像之資料的網路抽象層(NAL)單元，而不影響層中其他圖像的可解碼性。移除封裝此等圖像之資料的NAL單元可能會降低位元串流的圖框速率。可在本文中將可在不參考層內其他圖像的情況下解碼的層內的圖像子集稱作「子層」或「時間子層」。NAL單元可包括temporal_id語法元素。NAL單元之temporal_id語法元素指定NAL單元之時間識別符。NAL單元之時間識別符識別與NAL單元相關聯之子層。因此，位元串流之每一子層可與不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元之時間識別符，則可在不參考由第二NAL單元封裝之資料的情況下解碼由第一NAL單元封裝的資料。
術語「HEVC子分割區」指代HEVC基本子分割區或HEVC增強子分割區。術語「HEVC基本子分割區」為符合HEVC標準且含有一或多個層之所有視訊編碼層(VCL)NAL單元之HEVC視訊子位元串流，該一或多個層達藉由目標層識別符清單包括等於0的nuh_layer_id值的目標HEVC操作點識別的目標最高TemporalId。子位元串流(例如， HEVC視訊子位元串流)為產生自不屬於目標集合、藉由目標最高TemporalId及目標層識別符清單判定的位元串流中之NAL單元經自位元串流移除之程序(例如，子位元串流提取程序)的位元串流，其中輸出子位元串流由屬於目標集合之位元串流中之NAL單元組成。術語「HEVC增強子分割區」指代一或多個HEVC層，或HEVC時間視訊子位元串流或其HEVC時間視訊子集，HEVC基本子分割區及零或多個其他HEVC子分割區之HEVC層聚合根據包括於此視訊子位元串流中之最高層及最高TemporalId之操作點之層清單產生有效的HEVC層化視訊串流。
MPEG-2系統規格描述經壓縮多媒體(視訊及音訊)資料串流可與其他資料一起經多工以形成適合於數位傳輸或儲存之單一資料串流的方式。MPEG-2系統規格定義基本串流之概念。具體言之，基本串流為程式之單個以數位方式寫碼(可能經MPEG壓縮)的分量。舉例而言，程式之經編碼視訊或音訊部分可為基本串流。此外，在用於HEVC延伸(例如，L-HEVC)之承載之MPEG-2系統規格之延伸中，每一各別HEVC子分割區對應於MPEG-2資料串流中之各別基本串流。L-HEVC視訊資料之非視訊寫碼層(VCL)網路抽象層(NAL)單元(諸如含有VPS之NAL單元)可對應於MPEG-2資料串流中之一或多個基本串流。
MPEG-2資料串流亦可包括傳達關於程式或程式之分量基本串流之資訊的描述符之集合。舉例而言，MPEG-2資料串流可包括對應於HEVC子分割區之每一各別基本串流，MPEG-2資料串流可包含用於HEVC子分割區之階層描述符。用於HEVC子分割區之階層描述符可包括定義寫碼層階層之表中之HEVC子分割區之唯一索引的階層分層索引。另外，描述符之集合可包括HEVC時序及HRD描述符。HEVC時序及HRD描述符可提供可適用的時序及HRD參數。
然而，在用於HEVC延伸之承載之HEVC標準或MPEG-2系統規格中不清楚的是哪一HRD參數語法結構適用於哪一HEVC子分割區。換言之，並未指定當使用HRD測試HEVC子分割區時判定使用哪一HRD參數語法結構之方式。判定哪一HRD參數語法結構適用於子分割區可有用的，因為當存在HRD資訊時，在HEVC位元串流中可存在一或多個HRD集合。此外，可能需要判定哪一HRD參數語法結構適用於子分割區，因為HRD集合中之每一者可含有MPEG-2緩衝器模型所需的資訊。
本發明描述用於判定可適用於HEVC子分割區之HRD參數語法結構的技術。舉例而言，如本文所描述，視訊解碼器可接收包含複數個基本串流及HEVC時序及HRD描述符之MPEG-2資料串流。基本串流可包含視訊資料之經編碼表示。在此實例中，HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素。此外，視訊解碼器可基於參數之集合識別VPS中之語法元素陣列中之語法元素。在此實例中，VPS包含複數個HRD參數語法結構。複數個HRD參數語法結構中之每一各別HRD參數語法結構包括HRD參數之各別集合。此外，在此實例中，語法元素陣列中之每一各別語法元素指定與複數個HRD參數語法結構當中的HRD參數語法結構相關聯之索引。參數之集合可包括具有值等於目標排程索引語法元素之值的參數。
此外，在一些實例中，參數之集合可包括第一、第二、第三、第四及第五參數。第一參數指定操作點之目標輸出層集合索引。第二參數指定操作點之目標分割方案索引。第三參數指定操作點之最高時間識別符。視訊解碼器可基於藉由經識別語法元素指定的索引將複數個HRD參數語法結構中之特定HRD參數語法結構識別為適用於為操作點之一部分之特定基本串流，複數個基本串流包括特定基本串流。
圖1為繪示可利用本發明之技術的實例視訊寫碼系統10之方塊 圖。如本文中所使用，術語「視訊寫碼器」通常指代視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」通常可指代視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生的經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。本發明可使用術語「視訊處理器件」來指代處理視訊資料之器件。源器件12及目的地器件14為視訊處理器件之實例。其他類型之視訊處理器件包括多工及解多工媒體資料(諸如MPEG-2資料串流)之器件。
源器件12及目的地器件14可包含各種各樣的器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如所謂的「智慧型」電話)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或類似物。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一項實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且可將經調變的視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括促進自源器件12至目的地器件14之通信 的路由器、交換器、基地台或其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在又一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或另一中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料及將經編碼視訊資料傳輸至目的地器件14的伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存在檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或兩者之組合。經編碼視訊資料自檔案伺服器的傳輸可為串流傳輸、下載傳輸或兩者的組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，該等應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、用於儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
繪示於圖1中的視訊寫碼系統10僅為實例，且本發明之技術可適 用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本端記憶體擷取、經由網路串流傳輸，或類似者。視訊編碼器件可編碼資料且將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取並解碼資料。在許多實例中，由彼此不通信但簡單地將資料編碼至記憶體及/或自記憶體擷取並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊捕獲器件、含有先前所捕獲之視訊資料的視訊封存檔、自視訊內容提供者接收視訊資料的視訊饋入介面及/或用於產生視訊資料的電腦圖形系統，或視訊資料之此等來源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼的視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存至儲存媒體上或檔案伺服器上，以在稍後供目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或在目的地器件14外部。通常，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任 何組合。若該等技術在軟體中經部分地實施，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器執行指令以執行本發明之技術。可將上述各者(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)的部分。
本發明通常可指代視訊編碼器20「信號傳遞」或「傳輸」某些資訊至另一器件，諸如，視訊解碼器30。術語「信號傳遞」或「傳輸」通常可指代用於解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時地或近乎即時地發生。替代地，可歷時一時間跨度而發生此通信，諸如此通信可在編碼時將經編碼位元串流中之語法元素儲存至電腦可讀儲存媒體時發現，該等語法元素隨後可在儲存至此媒體之後的任何時間由解碼器件進行擷取。
描述於本發明中之技術可以各種視訊寫碼標準使用，包括不與特定視訊寫碼標準相關的視訊寫碼技術。視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸。在一些實例中，視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如上文提及之HEVC標準)來操作。除基本HEVC標準之外，存在持續努力以產生用於HEVC之可擴展視訊寫碼、多視圖視訊寫碼及3D寫碼延伸。近來，稱為高效率視訊寫碼(HEVC)的新視訊寫碼標準之設計、稱為MV-HEVC的至HEVC之多視圖延伸及稱為SHVC的至HEVC之可擴展延伸已經藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)之針對視訊寫碼之聯合合 作小組(JCT-VC)定案。HEVC標準亦可被稱作Rec.ITU-T H.265 | ISO/IEC 23008-2。
ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11(日本劄幌之第18次會議，2014年6月30日至2014年7月9)之JCT-VC(JCTVC-R1013_v6)之題為「草案高效率視訊寫碼(HEVC)版本2、組合之格式範圍延伸(RExt)、可擴展性(SHVC)，及多視圖(MV-HEVC)延伸」之HEVC草案規範(下文中稱為「JCTVC-R1013」或「Rec.ITU-T H.265 | ISO/IEC 23008-2」)自http：//phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1013-v6.zip獲得。MV-HEVC併入為Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄G。SHVC併入為Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄H。
聯合合作小組針對ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11(日本劄幌之第9次會議，2014年7月3日至9日)之3D視訊寫碼延伸(JCT3V-I1002-v7)的題為「MV-HEVC草案文字9」之MV-HEVC草案規範(可被稱為「MV-HEVC草案文字9」)自http：//phenix.int-evry.fr/jct3v/doc_end_user/documents/9_Sapporo/wg11/JCT3V-I1002-v7.zip獲得。
ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11(日本劄幌之第18次會議，2014年6月30日至2014年7月9日)之JCT-VC(JCTVC-R1008v7)的題為「高效率視訊寫碼(HEVC)可擴展延伸草案7」之SHVC草案規範(可被稱作「SHVC草案文字7」)自http：//phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1008-v7.zip獲得。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括一或多個樣本陣列。舉例而言，圖像可包括三個樣本陣列，標示為SL、SCb及SCr。SL為亮度樣 本的二維陣列(亦即，區塊)。SCb為Cb色度樣本之二維陣列。SCr為Cr色度樣本之二維陣列。色度樣本在本文中亦可被稱作「色度」樣本。在其他情況下，圖像可為單色的且可僅包括亮度樣本陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可為亮度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC的其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按掃描次序(諸如，光柵掃描次序)連續排序的整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為圖像的亮度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，該圖像具有亮度樣本陣列、Cb樣本陣列及Cr樣本陣列，及用以對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用於對寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之亮度樣本之預測區塊、色度樣本之兩個對應預測區塊及用於對預測區塊樣本進行預測之語法結構。視訊編碼器20可針對CU之每一PU的亮度、Cb及Cr預測區塊產生預測性亮度、Cb及Cr區塊。在單色圖像或包含單獨色彩平面之圖像中，PU可包含單一預測區塊及用於對預測區塊進行預測的語法結構。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯的圖像之經解碼樣本產生PU之預測性區塊。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於除與PU相關聯之圖像以外的一或多個圖像之經解碼樣本產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測來產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單個運動向量(MV)。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性區塊(例如，預測性亮度、Cb及Cr區塊)之後，視訊編碼器20可產生CU之殘餘區塊。CU之殘餘區塊中之每一樣本指示CU之PU的預測性區塊中之樣本與CU之寫碼區塊中之對應樣本之間的差異。舉例而言，視訊編碼器20可產生CU之亮度殘餘區塊。CU之亮度殘餘區塊中之每一樣本指示CU之PU之預測性亮度區塊中的亮度樣本與CU之亮度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之PU之預測性Cb區塊中的Cb樣本與CU之Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之PU之預測性Cr區塊中的Cr樣本與CU之Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之殘餘區塊(例如，亮度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，亮度、Cb及Cr變換區塊)。變換區塊可為應用相同變換之樣本之矩形區塊。CU之變換單元(TU)可為亮度樣本之變換區塊、色度樣本之兩個對應的變換 區塊，及用於對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與亮度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之亮度變換區塊可為CU之亮度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單個變換區塊及用於對變換區塊之樣本進行變換的語法結構。
視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生TU之係數區塊。舉例而言，視訊編碼器20可將一或多個變換應用於TU之亮度變換區塊以產生TU之亮度係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生TU之Cr係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。
在產生係數區塊(例如，亮度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化通常指代對變換係數進行量化以可能減少用以表示變換係數的資料之量，從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出包括經熵編碼語法元素之位元串流。位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭，且封裝原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有封裝於 NAL單元內的整數數目個位元組的語法結構。在一些情況下，RBSP包含零個位元。
不同類型之NAL單元可封裝不同類型之RBSP。舉例而言，不同類型之NAL單元可封裝視訊參數集合(VPS)、序列參數集合(SPS)、圖像參數集合(PPS)、經寫碼圖塊、補充增強資訊(SEI)等的不同RBSP。舉例而言，第一類型之NAL單元可封裝PPS之RBSP，第二類型之NAL單元可封裝經寫碼圖塊之RBSP，第三類型之NAL單元可封裝補充增強資訊(SEI)之RBSP等。封裝視訊寫碼資料之RBSP(與參數集合及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。舉例而言，JCTVC-R1013定義術語VCL NAL單元為經寫碼圖塊片段NAL單元及NAL單元之子集的集合術語，該等NAL單元具有分類為JCTVC-R1013中之VCL NAL單元之nal_unit_type之保留值。SEI含有並非自VCL NAL單元解碼經寫碼圖像之樣本必需的資訊。
在圖1之實例中，視訊解碼器30接收藉由視訊編碼器20產生的位元串流。另外，視訊解碼器30可解析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之程序可大體上與藉由視訊編碼器20執行之程序互逆。舉例而言，視訊解碼器30可使用框內預測或框間預測來判定當前CU之PU之預測性區塊。另外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構當前CU之TU的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之相對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
如上文簡要地指出，NAL單元可封裝視訊參數集合(VPS)、序列參數集合(SPS)、圖像參數集合(PPS)之RBSP。VPS為包含適用於零或 多個全部經寫碼視訊序列(CVS)之語法元素的語法結構。SPS亦為包含適用於零或多個全部CVS之語法元素的語法結構。SPS可包括識別在SPS在作用中時在作用中的VPS之語法元素。因此，VPS之語法元素可比SPS之語法元素更一般化地適用。PPS係包含應用於零或多個經寫碼圖像之語法元素的語法結構。PPS可包括識別在PPS在作用中時在作用中之SPS的語法元素。圖塊之圖塊標頭可包括指示在圖塊正被寫碼時在作用中之PPS的語法元素。
在多視圖寫碼中，可存在來自不同視點的同一場景之多個視圖。在多視圖寫碼之上下文中，術語「存取單元」可用以指代對應於同一時間例項之圖像的集合。因此，視訊資料可經概念化為隨時間發生之一系列存取單元。「視圖分量」可為單個存取單元中之視圖的經寫碼表示。在本發明中，「視圖」可指代與相同視圖標識符相關聯之視圖分量序列。在一些實例中，視圖分量可為紋理視圖分量(亦即，紋理圖像)或深度視圖分量(亦即，深度圖像)。
在MV-HEVC及SHVC中，視訊編碼器可產生包含一系列NAL單元之位元串流。位元串流之不同NAL單元可與位元串流之不同層相關聯。可將層定義為具有相同層識別符的VCL NAL單元及相關聯之非VCL NAL單元的集合。層可等效於多視圖視訊寫碼中之視圖。在多視圖視訊寫碼中，層可含有具有不同時間例項之相同層的所有視圖分量。每一視圖分量可為在特定時間例項屬於特定視圖的視訊場景之經寫碼圖像。在多視圖或3維視訊寫碼之一些實例中，層可含有特定視圖之所有經寫碼深度圖像或特定視圖之經寫碼紋理圖像。在3D視訊寫碼之其他實例中，層可含有特定視圖之紋理視圖分量及深度視圖分量兩者。類似地，在可擴展視訊寫碼之上下文中，層通常對應於具有不同於其他層中之經寫碼圖像之視訊特性的經寫碼圖像。此等視訊特性通常包括空間解析度及品質等級(例如，信雜比)。在HEVC及其延 伸中，藉由將具有特定時間位準的圖像之群組定義為子層，可在一個層內獲得時間可擴展性。
對於位元串流之每一各別層，可在不參考任何較高層中之資料的情況下解碼較低層中之資料。舉例而言，在可擴展視訊寫碼中，可在不參考增強層中之資料的情況下解碼基礎層中之資料。通常，NAL單元可僅封裝單一層之資料。因此，可將封裝位元串流之最高剩餘層之資料的NAL單元自位元串流移除，而不影響位元串流之剩餘層中的資料之可解碼性。在多視圖寫碼中，較高層可包括額外視圖分量。在SHVC中，較高層可包括信雜比(SNR)增強資料、空間增強資料及/或時間增強資料。在MV-HEVC及SHVC中，若視訊解碼器可在不參考任何其他層之資料之情況下解碼層中的圖像，則該層可被稱作「基礎層」。基礎層可符合HEVC基礎規格(例如，Rec.ITU-T H.265 | ISO/IEC 23008-2)。
在可擴展視訊寫碼中，不同於基礎層之層可被稱作「增強層」，且可提供增強自位元串流解碼之視訊資料之視覺品質的資訊。可擴展視訊寫碼可增強空間解析率、信雜比(亦即，品質)或時間速率。在可擴展視訊寫碼(例如，SHVC)中，「層表示」可為單個存取單元中的空間層之經寫碼表示。為了易於解釋，本發明可將視圖分量及/或層表示稱作「視圖分量/層表示」或簡單地稱作「圖像」。
多視圖寫碼支援視圖間預測。視圖間預測類似於HEVC中所使用的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，PU)執行視圖間預測時，視訊編碼器20可將處於與當前視訊單元相同的存取單元中但處於不同視圖中的圖像用作參考圖像。對比而言，習知框間預測僅將不同存取單元中的圖像用作參考圖像。
在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可在不參考任一其他視圖中之圖像的情況下解碼視圖中的圖像，則該視圖可被 稱作「基礎視圖」。當對非基礎視圖中之一者中的圖像進行寫碼時，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可在圖像與視訊寫碼器當前正寫碼的圖像處於不同視圖中但在同一時間例項(亦即，存取單元)內時將圖像添加到參考圖像清單中。類似於其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。
舉例而言，NAL單元可包括標頭(亦即，NAL單元標頭)及有效負載(例如，RBSP)。NAL單元標頭可包括nuh_reserved_zero_6bits語法元素，該等nuh_reserved_zero_6bits語法元素亦可被稱作nuh_layer_id語法元素。具有指定不同值的nuh_layer_id語法元素的NAL單元屬於位元串流之不同「層」。因此，在多視圖寫碼、MV-HEVC、SVC或SHVC中，NAL單元之nuh_layer_id語法元素指定NAL單元之層標識符(亦即，層ID)。若NAL單元涉及多視圖寫碼、MV-HEVC或SHVC中之基礎層，則NAL單元之nuh_layer_id語法元素等於0。可在不參考位元串流之任何其他層中之資料的情況下解碼位元串流之基礎層中的資料。若NAL單元不涉及多視圖寫碼、MV-HEVC或SHVC中之基礎層，則nuh_layer_id語法元素可具有非零值。在多視圖寫碼中，位元串流之不同層可對應於不同視圖。在SVC或SHVC中，不同於基礎層之層可被稱作「增強層」，且可提供增強自位元串流解碼的視訊資料之視覺品質的資訊。
此外，可在不參考相同層內之其他圖像的情況下解碼層內的一些圖像。因此，可從位元串流移除封裝一層的某些圖像之資料的NAL單元而不影響該層中之其他圖像的可解碼性。移除封裝此等圖像之資料的NAL單元可降低位元串流的圖框速率。可在不參考層內之其他圖像的情況下解碼的層內圖像的子集可在本文中可被稱作「子層」或「時間子層」。
NAL單元可包括temporal_id語法元素。NAL單元之temporal_id語法元素指定NAL單元之時間識別符。NAL單元之時間識別符識別與NAL單元相關聯之時間子層。因此，位元串流之每一時間子層可與不同時間識別符相關聯。若第一NAL單元的時間識別符小於第二NAL單元的時間識別符，則可在不參考由第二NAL單元封裝之資料的情況下解碼由第一NAL單元封裝的資料。
位元串流可與複數個操作點相關聯。在一些實例中，位元串流之每一操作點可與層識別符之集合(亦即，nuh_reserved_zero_6bits值之集合)及時間識別符相關聯。可將層識別符之集合標示為OpLayerIdSet，且可將時間識別符標示為TemporalID。若NAL單元之層識別符在操作點之層識別符集合中，且NAL單元之時間識別符小於或等於操作點之時間識別符，則NAL單元與操作點相關聯。因此，操作點可為藉由子位元串流提取程序之操作而自另一位元串流產生的位元串流，其中另一位元串流、目標最高TemporalId及目標層識別符清單作為至子位元串流提取程序的輸入。亦可被稱作操作點表示之操作點可包括與操作點相關聯之每一NAL單元。在一些實例中，操作點不包括不與操作點相關聯的VCL NAL單元。
參數集合(諸如，VPS、SPS及PPS)可包括特定於至HEVC標準之延伸的延伸語法結構。舉例而言，參數集合可包括特定於SHVC、MV-HEVC等的延伸。延伸語法結構可包括適用於至HEVC標準之延伸的語法元素。下文表1展示SHVC草案文字7及MV-HEVC草案文字9中定義的VPS延伸之部分。
在以上表1的實例和本發明的其他語法表中，具有類型描述符ue(v)的語法元素可為使用左位元優先的第0階指數哥倫布(Exp-Golomb)寫碼而編碼的可變長度無符號整數。在表1及下表之實例中，具有u(n)形式(其中n為非負整數)的描述符的語法元素為具有長度n的無符號值。
表1中定義的VPS延伸之部分包括定義一或多個輸出層集合(OLS)之語法元素。輸出層集合為由VPS中指定的層集合中之一者之層組成的層之集合，其中層集合中之一或多個層經指示為輸出層。特定言之，layer_set_idx_for_ols_minus1[i]語法元素加1指定第i輸出層集合之索引。等於1之output_layer_flag[i][j]語法元素指定第iOLS中之第j層為輸出層。等於0之output_layer_flag[i][j]語法元素指定第iOLS中之第J層不為輸出層。
輸出層集合可具有一或多個分割方案。輸出層集合之分割方案將輸出層集中之層劃分成一或多個分割區。輸出層集合中之每一層恰好屬於分割方案中之一個分割區。
至少一些視訊寫碼標準指定視訊緩衝模型。在H.264/AVC及HEVC中，緩衝模型被稱作「假想參考解碼器」或「HRD」。在HEVC 草案規範中，HRD描述於附錄C中。HRD描述資料經緩衝以用於解碼之方式及經解碼資料經緩衝以用於輸出之方式。舉例而言，HRD描述經寫碼圖像緩衝器(「CPB」)、經解碼圖像緩衝器(「DPB」)及視訊解碼程序之操作。CPB為在由HRD指定之解碼次序中含有存取單元的先進先出緩衝器。DPB為保持經解碼圖像以用於藉由HRD指定的參考、輸出重定序或輸出延遲之緩衝器。以數學方式指定CPB及DPB之特性。HRD可直接對時序、緩衝器大小及位元速率施加約束。此外，HRD可間接對各種位元串流特性及統計施加約束。
在H.264/AVC及HEVC中，將位元串流符合性及解碼器符合性指定為HRD規格之部分。換言之，HRD模型指定判定位元串流是否符合標準之測試及判定解碼器是否符合標準之測試。儘管HRD被稱為解碼器之某種類型，然視訊編碼器通常使用HRD來保證位元串流符合性，而視訊解碼器通常並不需要HRD。
H.264/AVC及HEVC兩者皆指定兩種類型之位元流符合性或HRD符合性，亦即I型及II型。I型位元串流為僅含有用於位元串流中之所有存取單元之VCL NAL單元及填充資料NAL單元的NAL單元串流。在至少一些實例中，NAL單元串流為NAL單元之序列。II型位元串流為含有除用於位元串流中之所有存取單元之VCL NAL單元及填充資料NAL單元之外的以下各者中之至少一者的NAL單元串流：不同於填充資料NAL單元之額外非VCL NAL單元；及自NAL單元串流形成位元組串流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes及trailing_zero_8bits語法元素。
當器件執行判定位元串流是否符合視訊寫碼標準之位元串流符合性測試時，器件可選擇位元串流之操作點。器件可隨後判定適用於經選擇操作點之HRD參數之集合。器件可使用適用於經選擇操作點之HRD參數之集合來組態HRD之特性。更特定而言，器件可使用HRD參 數之可適用集合來組態HRD之特定組件之特性，諸如，假想串流排程程式(HSS)、CPB、解碼程序、DPB等。隨後，HSS可根據特定排程將位元串流之經寫碼視訊資料注入至HRD之CPB中。此外，器件可調用解碼CPB中之經寫碼視訊資料的解碼程序。解碼程序可將經解碼圖像輸出至DPB。隨著器件將資料移動穿過HRD，器件可判定特定集合之約束是否保持滿足條件。舉例而言，器件可判定當HRD解碼經選擇操作點時CPB或DPB中是否發生上溢或下溢情況。器件可以此方式選擇及處理位元串流之每一操作點。若無位元串流之操作點使得違反約束，則器件可判定位元串流符合視訊寫碼標準。
H.264/AVC及HEVC兩者指定兩個類型之解碼器符合性，即輸出時序解碼器符合性及輸出次序解碼器符合性。主張對特定設定檔、層次及層級之符合性的解碼器能夠成功地解碼符合諸如HEVC之視訊寫碼標準之位元串流符合性需求的所有位元串流。
當器件執行解碼器符合性測試以判定測試中之解碼器(DUT)是否符合視訊寫碼標準時，器件可為HRD及DUT兩者提供符合視訊寫碼標準之位元串流。HRD可以上文關於位元串流符合性測試而描述的方式來處理位元串流。若由DUT輸出之經解碼圖像之次序與由HRD輸出之經解碼圖像之次序相匹配，則器件可判定DUT符合視訊寫碼標準。此外，若DUT輸出經解碼圖像之時序與HRD輸出經解碼圖像之時序相匹配，則器件可判定DUT符合視訊寫碼標準。
在H.264/AVC及HEVC HRD模型中，解碼或CPB移除可基於存取單元(AU)。亦即，HRD經假定一次性解碼完整的存取單元及將完整的存取單元自CPB移除。此外，在H.264/AVC及HEVC HRD模型中，假定圖像解碼為瞬時的。視訊編碼器20可在圖像時序SEI訊息中信號傳遞解碼時間以開始解碼存取單元。在實際應用中，若符合的視訊解碼器嚴格遵循信號傳遞解碼時間來開始解碼存取單元，則輸出特定經 解碼圖像的最早可能時間等於彼特定圖像之解碼時間加上解碼彼特定圖像所需的時間。然而，在現實世界中，解碼圖像所需的時間可不等於零。
HRD參數可控制HRD之各種態樣。換言之，HRD可依賴於HRD參數。HRD參數可包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。視訊編碼器20可在VPS及/或SPS中指定的hrd_parameters( )語法結構中信號傳遞此等HRD參數。個別VPS及/或SPS可包括用於HRD參數之不同集合之多個hrd_parameters( )語法結構。在一些實例中，視訊編碼器20可在緩衝期SEI訊息或圖像時序SEI訊息中信號傳遞HRD參數。以下表2為HEVC中之hrd_parameters( )語法結構的實例語法。
在表2中，當HighestTid等於i時，cpb_cnt_minus1[i]加1指定CVS之位元串流中之替代的CPB規格之數目。cpb_cnt_minus1[i]的值在0到31(包含性)的範圍內。當不存在時，推斷cpb_cnt_minus1[i]之值等於0。
此外，VPS可包括視訊可用性資訊(VUI)語法結構。在Rec.ITU-T H.265 | ISO/IEC 23008-2中，VPS中之VUI語法結構標示為vps_vui( )。VPS VUI語法結構包括VUI位元串流HRD參數語法結構。在Rec.ITU-T H.265 | ISO/IEC 23008-2中，VPS中之VUI位元串流HRD參數語法結構標示為vps_vui_bsp_hrd_params( )。下文表3為Rec.ITU-T H.265 | ISO/IEC 23008-2中之vps_vui_bsp_hrd_params( )語法結構之語法表。
在上文表3中，當HighestTid等於t時，bsp_hrd_idx[h][i][t][j][k]指定VPS中之hrd_parameters( )語法結構之索引以用於為第h OLS之第i分割方案之第k位元串流分割區指定的第j遞送排程。如上文所指示，位元串流分割區為呈NAL單元串流或位元組串流形式的位元之序列，亦即根據將輸出層集中之層劃分為一或多個分割區之分割方案的位元串流之子集。bsp_hrd_idx[h][i][t][j][k]語法元素之長度為Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params))位元。bsp_hrd_idx[h][i][t][j][k]之值在0至vps_num_hrd_parameters+vps_num_add_hrd_params -1(包含性)之範圍內。當vps_num_hrd_parameters+vps_num_add_hrd_params等於1時，bsp_hrd_idx[h][i][t][j][k]之值推斷為等於0。
HEVC及其他視訊寫碼標準指定設定檔、層次和層級。設定檔、層次及層級指定對位元串流的限定且因此指定對解碼位元串流所需的能力的限制。設定檔、層次及層級亦可用以指示個別解碼器實施之間的互操作性點。每一設定檔指定由符合彼設定檔的所有視訊解碼器支援的算法特徵和限制的子集。不需要視訊編碼器利用設定檔中支援的所有特徵。
層次的每一層級可指定對語法元素及變數可具有之值的限制的集 合。層次及層級定義之同一集合可與所有設定檔一起使用，但個別實施可支援不同層次且支援一層次內用於每一所支援設定檔的不同層級。對於任何給定設定檔，層次的層級可大體上對應於特定解碼器處理負載及存儲器能力。視訊解碼器之能力可依據對符合特定設定檔、層次及層級之約束的視訊串流進行解碼的能力經指定。對於每一此類設定檔，亦可表達針對彼設定檔所支援的層次及層級。一些視訊解碼器可能不能夠解碼特定設定檔、層次或層級。
在HEVC中，設定檔、層次及層級可由語法結構profile_tier_level( )語法結構信號傳遞。profile_tier_level( )語法結構可包括於VPS及/或SPS中。profile_tier_level( )語法結構可包括general_profile_idc語法元素、general_tier_flag語法元素及general_level_idc語法元素。general_profile_idc語法元素可指示CVS所符合的設定檔。general_tier_flag語法元素可指示用於general_level_idc語法元素之解譯的層次上下文。general_level_idc語法元素可指示CVS所符合的層級。可保留此等語法元素之其他值。
視訊解碼器的能力可依據對符合設定檔、層次及層級之約束的視訊串流進行解碼的能力經指定。對於每一此類設定檔，亦可表達對於彼設定檔所支援的層次及層級。在一些實例中，視訊解碼器並不推斷HEVC中指定的值之間的general_profile_idc語法元素的保留值指示指定設定檔之間的中間能力。然而，視訊解碼器可推斷與HEVC中指定的值之間的general_tier_flag語法元素之特定值相關聯的general_level_idc語法元素之保留值指示層次的指定層級之間的中間能力。
MPEG-2系統規格描述經壓縮多媒體(視訊及音訊)資料串流可與其他資料一起經多工以形成適合於數位傳輸或儲存之單一資料串流的方式。MPEG-2 TS之最新規格為ITU-T建議H.222.0，2012年6月版本 (文中，「MPEG-2 TS」)，其中提供進階視訊寫碼(AVC)及AVC延伸之支援。近來，用於HEVC之MPEG-2 TS修正已經完善。最新文件為2013年7月之MPEG輸出文件N13656中之「ISO/IEC 13818-1：2013之文字/最終草案修正3-MPEG-2系統上HEVC視訊之輸送」(下文，「文件N13656」或「HEVC TS規格」)。
MPEG-2系統規格定義基本串流之概念。具體言之，基本串流為程式之單個以數位方式經寫碼(可能經MPEG壓縮)的分量。舉例而言，程式之經寫碼視訊或音訊部分可為基本串流。基本串流在經多工為程式串流或傳輸串流之前首先經轉化成經封包化基本串流(PES)。在同一程式中，可以使用stream_id來區分屬於一個基本串流的PES封包與另一者。
每一各別基本串流具有識別各別基本串流之串流類型的串流類型識別符。串流類型等於0×24之基本串流為HEVC視訊串流或HEVC時間視訊子位元串流或HEVC基礎子分割區。如文件N13656所定義，HEVC視訊串流為Rec.ITU-T H.265 | ISO/IEC 23008-2附錄B中指定的位元組串流。HEVC時間視訊子位元串流為包含TemporalID等於0之HEVC時間子層及TemporalID不等於0之零或多個HEVC時間子層的位元串流。如文件N13656中所定義，HEVC基礎子分割區為HEVC視訊子位元串流，其亦為如Rec.ITU-T H.265 | ISO/IEC 23008-2中指定之符合位元串流，該符合位元串流含有達藉由目標層識別符清單包括nuh_layer_id值等於0之目標HEVC操作點識別的目標最高TemporalId之一或多個層之所有VCL NAL單元及相關聯之非VCL NAL單元。
串流類型等於0×27之基本串流為包括符合ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄G中定義的一或多個設定檔之HEVC視訊串流之TemporalId 0的HEVC增強子分割區。如文件N13656中所定義，HEVC增強子分割區為一或多個HEVC層，或HEVC時間視訊子位元串 流或其HEVC時間視訊子集，HEVC基礎子分割區及零或多個其他HEVC子分割區之HEVC層聚合根據包括於此視訊子位元串流中之最高層及最高TemporalId之操作點之層清單產生有效的HEVC層化視訊串流。HEVC時間視訊子集包含一或多個HEVC時間子層。HEVC時間視訊子集不同於HEVC時間視訊子位元串流，因為HEVC時間視訊子集不必包括TemporalID等於0之HEVC時間子層。
如文件N13656中所定義，HEVC層聚合為按HEVC視訊序列之所有HEVC層分量之連續HEVC層分量聚合。如文件N13656中所定義，HEVC層分量為屬於HEVC子分割區之HEVC存取單元之VCL NAL單元及相關聯非VCL NAL單元。此外，如在文件N13656中所定義的，HEVC層分量聚合為所有HEVC層分量以同一輸出時間自藉由HEVC層清單指示之次序中的HEVC層清單中指示的所有HEVC子分割區之串聯，從而產生如Rec.ITU-T H.265|ISO/IEC 23008-2附錄F中定義的有效存取單元。
如MPEG-2 TS之上下文中所使用，術語「HEVC子分割區」指代HEVC基礎子分割區或HEVC增強子分割區。在SHVC及MV-HEVC的上下文中，同一概念可被稱作「分割區」。如HEVC TS規格中所定義，術語「HEVC基礎子分割區」為HEVC視訊子位元串流，其符合HEVC標準且含有達藉由目標層識別符清單包括等於0之nuh_layer_id值的目標HEVC操作點識別的目標最高TemporalId之一或多個層之所有VCL NAL單元。此外，如HEVC TS規格中所定義，術語「HEVC增強子分割區」指代一或多個HEVC層，或HEVC時間視訊子位元串流或其HEVC時間視訊子集，HEVC基礎子分割區及零或多個其他HEVC子分割區之HEVC層聚合根據包括於此視訊子位元串流中之最高層及最高TemporalId之操作點之層清單產生有效的HEVC層化視訊串流。
串流類型等於0×28之基本串流為符合ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄G中定義的一或多個設定檔之HEVC視訊串流之HEVC時間增強子分割區。如文件N13656中所定義，HEVC時間增強子分割區為與含有一或多個補充時間子層之相同HEVC視訊串流之另一HEVC增強子分割區相同的HEVC層集合中的HEVC時間視訊子集，如Rec.ITU-T H.265 | ISO/IEC 23008-2中指定。在本發明中，補充時間子層為提供時間(圖框速率)增強至主子分割區之HEVC時間增強子分割區。舉例而言，假定一層具有兩個時間子層(Tid 0及Tid 1)。在此實例中，在兩個基本串流(或兩個子分割區)中輸送兩個時間子層係可能的，其中Tid 0在主子分割區中，且Tid 1在時間增強子分割區中。
此外，串流類型等於0×29之基本串流為包括符合ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄H中定義的一或多個設定檔之HEVC視訊串流之TemporalId 0的HEVC增強子分割區。串流類型等於0×2A之基本串流為符合ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄H中定義的一或多個設定檔之HEVC視訊串流之HEVC時間增強子分割區。
如上文簡要地指示，MPEG-2系統規格定義程式串流及傳輸串流之概念。程式串流及傳輸串流為以不同應用程式為目標的兩個替代多工。程式串流經偏壓以用於儲存及顯示來自數位儲存服務之單個程式，且程式串流意欲在無錯誤環境中使用，因為其易於出錯。對比而言，傳輸串流欲用於在潛在易錯頻道上之多個程式的同步遞送。通常，傳輸串流為經設計用於諸如廣播之多程式應用以使得單一傳輸串流可容納多個獨立程式的多工。程式串流僅包含屬於其之基本串流且通常含有可變長度封包。
在程式串流中，將自起作用的基本串流導出的PES封包組織為『包(pack)』。一包包含包標頭、可選系統標頭及按任何次序自起作用的基本串流(亦即，程式串流之基本串流)中之任一者獲取的任何數目之PES封包。系統標頭含有程式串流之特性之概述，諸如：程式串流 之最大資料速率、程式串流之起作用的視訊及音訊基本串流之數目及其他時序資訊。解碼器(諸如解碼器30)可使用系統標頭中所包含之資訊來判定解碼器是否能夠解碼程式串流。
傳輸串流包含一連串傳輸封包。傳輸封包為一類PES封包。傳輸封包中之每一者長度為188位元組。傳輸串流中之短的、固定長度封包之使用意謂傳輸串流不像程式串流易出錯。此外，經由標準錯誤保護程序(諸如Reed Solomon編碼)處理傳輸封包可給予每一188位元組長的傳輸封包額外錯誤保護。傳輸串流之經改良的容錯性意謂傳輸串流具有倖存的易錯頻道(諸如在廣播環境下發現的彼等頻道)之較好機會。給定傳輸串流之增加的容錯性及在傳輸串流中承載多個同步程式的能力，似乎傳輸串流明顯為兩個多工(亦即，程式串流及傳輸串流)中之較佳者。然而，傳輸串流係與程式串流相比更複雜的多工且因而更難建立與解多工。
傳輸封包之第一位元組為0×47之同步位元組。單個傳輸串流可承載許多不同程式，每一者包含多個封裝化基本串流。另外，傳輸封包包括13位元封包識別符(PID)欄位。PID欄位用於區分含有一基本串流之資料的傳輸封包與承載其他基本串流之資料的傳輸封包。確保每一基本串流被授予唯一的PID值係多工器的職責。傳輸封包之最末位元組係連續性計數欄位。連續性計數欄位之值在屬於同一基本串流之連續傳輸封包之間遞增。連續性計數欄位之值的遞增使解碼器(諸如解碼器30)能夠偵測傳輸封包之丟失或獲得，及潛在地隱藏可以其他方式由傳輸封包之丟失或獲得引起的錯誤。
儘管可基於傳輸封包之PID值判定傳輸封包所屬的基本串流，然解碼器可能需要能夠判定哪一基本串流屬於哪一程式。因此，程式特定資訊明確地指定程式與分量基本串流之間的關係。舉例而言，程式特定資訊可指定程式及屬於程式之基本串流之間的關係。傳輸串流之 程式特定資訊可包括程式映射表(PMT)、程式關聯表(PAT)、條件性存取表及網路資訊表。
在傳輸串流中承載的每一程式與程式映射表相關聯。准許PMT包括一個以上程式。舉例而言，傳輸串流中承載的多個程式可與同一PMT相關聯。與程式相關聯之PMT給出關於程式及包含該程式之基本串流的細節。舉例而言，具有數目3之程式可含有具有PID 33之視訊、具有PID 57之英語音訊、具有PID 60之中文音訊。換言之，在此實例中，PMT可指定：其傳輸封包包括值等於33之PID欄位的基本串流含有數目(例如，program_number)等於3之程式之視訊；其傳輸封包包括值等於57之PID欄位的基本串流含有數目3之程式之英語音訊；及其傳輸封包包括值等於60之PID欄位的基本串流含有數目3之程式之中文音訊。
基本PMT可裝飾有在MPEG-2系統規格中指定的許多描述符中之一些。換言之，PMT可包括一或多個描述符。描述符傳遞關於程式或該程式之分量基本串流之其他資訊。描述符可包括視訊編碼參數、音訊編碼參數、語言識別資訊、光景比改變技術(pan-and-scan)資訊、條件存取細節、版權資訊等等。若需要，廣播員或其他使用者可定義額外的專用描述符。在視訊相關的分量基本串流中，亦可存在階層描述符。階層描述符提供識別含有以階層方式經寫碼的視訊、音訊及專用串流之分量之程式元素的資訊。專用串流可包括後設資料，諸如程式特定資訊之串流。通常，程式元素為資料或包括於程式中之基本串流(亦即，程式之分量基本串流)中之一者。在MPEG-2傳輸串流中，程式元素通常經封包化。在MPEG-2程式串流中，程式元素未經封包化。
程式串流之程式特定資訊可包括程式串流映射(PSM)。程式串流之PSM提供程式串流中之基本串流及基本串流與彼此之關係的描述。 當在傳輸串流中承載時，此結構不應被修改。當stream_id值為0×BC時，PSM表現為PES封包。
如上文所指示，傳輸串流之程式特定資訊可包括程式關聯表(PAT)。傳輸串流之PAT含有傳輸串流中可用的所有程式之完整清單。PAT始終具有PID值0。換言之，具有PID值等於0的傳輸封包含有PAT。PAT列出傳輸串流之每一各別程式連同含有與各別程式相關聯的程式映射表的傳輸封包之PID值。舉例而言，在上文所描述的實例PMT中，PAT可包括指定PMT(其指定程式數目3之基本串流)具有1001之PID的資訊，且可包括指定另一PMT具有1002之另一PID的資訊。換言之，在此實例中，PAT可指定其PID欄位具有值等於1001之傳輸封包含有程式數目3之PMT，且PAT可指定其PID欄位具有值等於1002之傳輸封包含有另一程式之PMT。
此外，如上文所指示，傳輸串流之程式特定資訊可包括網路資訊表(NIT)。傳輸串流之PAT中指定的程式數目零具有特殊含義。具體言之，程式數目0指向NIT。傳輸串流之NIT為可選的，且當存在時，NIT提供關於承載傳輸串流之實體網路的資訊。舉例而言，NIT可提供資訊，諸如頻道頻率、衛星轉頻器細節、調變特性、服務發起者、服務名稱及可用替代網路之細節。
如上文所指示，傳輸串流之程式特定資訊可包括條件存取表(CAT)。在一些實例中，若傳輸串流內之任何基本串流經加擾，則必定存在CAT。CAT提供使用中的加擾系統之細節且提供含有條件存取管理及權利資訊之傳輸封包之PID值。MPEG-2並不指定此資訊之格式。
如上文所指示，PMT可包括傳遞關於程式或程式之分量基本串流之資訊的一或多個描述符。PMT中之一或多個描述符可包括階層描述符。在MPEG-2傳輸串流(TS)中，階層描述符經設計以在不同基本串 流中信號傳遞子位元串流之階層。階層描述符提供資訊以識別含有經階層式寫碼視訊、音訊及專用串流之分量的程式元素，諸如L-HEVC中之層。下文表2-49展示階層描述符之語法。表2-49之後的段落描述階層描述符之欄位的語義。
temporal_scalability_flag-A 1位元旗標，其在設定為『0』時指示相關聯的程式元素增大由hierarchy_embedded_layer_index所參考之程式元素產生的位元串流之圖框速率。保留此旗標之『1』值。
spatial_scalability_flag-A 1位元旗標，其在設定為『0』時指示相關聯的程式元素增大由hierarchy_embedded_layer_index所參考之程式元素產生的位元串流之空間解析度。保留此旗標之『1』值。
quality_scalability_flag-A 1位元旗標，其在設定為『0』時指示相關聯的程式元件增大由hierarchy_embedded_layer_index所參考之程式元素產生的位元串流之SNR品質或保真度。保留此旗標之『1』值。
hierarchy_type-相關聯階層分層與其階層嵌入層之間的階層式關係在表2-50(下文展示)中定義。若可擴展性在一個以上維度中應用， 此欄位將被設定為值『8』(「組合可擴展性」)，且將相應地設定旗標temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag。對於MVC視訊子位元串流，此欄位將被設定為值『9』(「MVC視訊子位元串流」)，且旗標temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag將設定為『1』。對於MVC基礎視圖子位元串流，hierarchy_type欄位將被設定為值『15』，且旗標temporal_scalability_flag、spatial_scalability_flag及quality_scalability_flag將設定為『1』。
hierarchy_layer_index-hierarchy_layer_index為定義寫碼層階層之表中相關聯程式元素之唯一索引的6位元欄位。索引將為單個程式定義內獨特的。對於符合Rec.ITU-T H.264 | ISO/IEC 14496-10之附錄G中定義的一或多個設定檔之AVC視訊串流之視訊子位元串流，此為程式元素索引，其以以下方式經指派：若同一存取單元之視訊子位元串流之相關聯可擴展視訊寫碼相依性表示按hierarchy_layer_index之遞增次序重組，則該位元串流次序將為正確的。對於符合在Rec.ITU-T H.264 | ISO/IEC 14496-10之附錄H中定義之一或多個設定檔的AVC視訊串流之MVC視訊子位元串流，此索引為程式元素索引，其以以下方式經指派：若同一存取單元之MVC視訊子位元串流之相關聯MVC視圖分量子集按hierarchy_layer_index之遞增次序重組，則位元串流次序將為正確的。
tref_present_flag-A 1位元旗標，其在設定為『0』時指示TREF欄位可存在於相關聯基本串流中之PES封包標頭中。保留此旗標之值『1』。
hierarchy_embedded_layer_index-hierarchy_embedded_layer_index為6位元欄位，其定義需要存取且在解碼與此hierarchy_descriptor相關聯之基本串流之前存在於解碼次序中的程式元素之 hierarchy_layer_index。若hierarchy_type值為15，則hierarchy_embedded_layer_index欄位未經定義。
hierarchy_channel-hierarchy_channel為6位元欄位，其指示用於傳輸頻道之有序集合中之相關聯程式元素的所需頻道數目。最穩固的傳輸頻道藉由此欄位之相對於整體傳輸階層定義最低的值來定義。給定hierarchy_channel可同時經指派至若干程式元素。
下文表2-50描述階層描述符之hierarchy_type欄位之值的含義。
在L-HEVC TS草案中，設定檔、層次及層級資訊(被稱作PTL資訊)及操作點資訊在HEVC延伸描述符及HEVC操作點描述符中信號傳遞。兩個描述符之語法表展示於下表中：
最近，用於承載層化HEVC的MPEG-2 TS之修正已開始。最新文件為2014年7月之MPEG文件w14562中的「ISO/IEC 13818-1：2013之文字/PDAM 7之研究-層化HEVC之承載」(下文中，「L-HEVC TS草案」)。在L-HEVC TS草案中，電流緩衝器模型描述如下。當ITU-T Rec.H.222.0 | ISO/IEC 13818-1程式中存在stream_type值在0×27至0×2A範圍內之至少一個串流時，且當作用中HRD參數語法結構中之sub_pic_hrd_params_present_flag經設定等於1以便信號傳遞位元串流分割區特定的經寫碼圖像緩衝器(CPB)操作時，如描述於2.4.2中之傳輸系統目標解碼器(T-STD)模型得以延伸，如圖2中所繪示且如下指定。圖2為繪示用於位元串流分割區特定的CPB操作之T-STD模型延伸之概念圖。
以下額外標號用於描述T-STD延伸並繪示於圖2中。
t(i)指示傳輸串流之第i位元組進入系統目標解碼器之以秒為單位之時間
l為至stream_type 0×27或0×29(包括TemporalId 0)之所接收HEVC子分割區中之索引。藉由HEVC操作點描述符指示HEVC子分割區之次序(若存在)，否則藉由由階層描述符指示的相依性來給定次序。相同索引亦適用於對應HEVC時間增強子分割區。此處，l自與HEVC基礎子分割區相關聯的n開始，且進行至(n+m)，其中在下文中指定m。
m為stream_type 0×27或0×29之所接收HEVC子分割區之數目。
H1為stream_type 0×27或0×29之第l接收的HEVC子分割區之所接收HEVC對應時間增強子分割區之數目，其因階層描述符而與同一HEVC基礎子分割區相關聯。
ESl,k為所接收的基本串流，其含有stream_type 0×27或0×29之第l接收的HEVC子分割區之第k HEVC對應時間增強子分割區，或在k等於0時含有stream_type 0×27或0×29之第l HEVC子分割區。
ESn+m，Hm為所接收基本串流，其在所接收基本串流之集合中含有最高HEVC操作點之HEVC子分割區。
PIDn+m，Hm為識別ESn+m，Hm之封包識別符值。
j為對輸出HEVC存取單元的索引。
Cl(j)為stream_type 0×27或0×29之第l接收的HEVC子分割區或HEVC對應時間增強子分割區之第j HEVC層分量。
An(j)為HEVC完整時間表示之第j HEVC存取單元。
tdn(j)為系統目標解碼器中之An(j)之解碼時間。
若在附接至Cl(j)之PES標頭中可用，trl(j)為TREF值，否則為系統目標解碼器中之An(j)之解碼時間。
TBl,k為用於基本串流ESl,k之傳輸緩衝器。
TBSl,k為傳輸緩衝器TBl,k之大小，以位元組量測。
MBl,k為用於基本串流ESl,k之多工緩衝器。
MBSl,k為多工緩衝器MBl,k之大小，以位元組量測。
EBl為用於所接收HEVC時間視訊子位元串流ESl,0及所接收HEVC時間視訊子集ESl,1至ESl,H之基本串流緩衝器。附註X1-每一緩衝器EBl含有如ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄F中指定的一或多個分割區。
EBSl為基本串流緩衝器EBl之大小，以位元組量測。
Rxl,k為下文指定的自第k傳輸緩衝器TBl,k至第k多工緩衝器MBl,k之傳送速率。
Rbxl,k為下文指定的自第k多工緩衝器MBl,k至基本串流緩衝器EBl之傳送速率。附註X2-索引n(在使用的情況下)指示所接收基本串流及相關聯之緩衝器屬於某一HEVC基礎子分割區，從而將此等基本串流及相關聯緩衝器與其他基本串流及緩衝器進行區分，維持圖2及其他T-STD延伸中標號的一致性。
關於TBl,k、MBl,k、EBl緩衝器管理，以下各者皆應用：
˙針對每一所接收基本串流ESl,k存在一個傳輸緩衝器TBl,k，其中大小TBSl,k固定為512位元組。
˙針對每一所接收基本串流ESl,k存在一個多工緩衝器MBl,k，其中多工緩衝器MBl,k之大小MBSl,k受限如下：MBSn,k=BSmux+BSoh+CpbBrNalFactor×MaxCPB[層次，層級]-cpb_size(以位元組量測)
其中BSoh(封包額外負荷緩衝)及BSmux(額外多工緩衝)在文件N13656之條款2.17.2中指定；MaxCPB[層次，層級]及MaxBR[層次，層級]取自用於與ESl,k相關聯之HEVC操作點之層次及層級之HEVC之層次及層級規格；cpb_size取自如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄F中指定的子層HRD參數，該參數包括於與ESl,k相關聯之HEVC操作點中。
˙針對所接收基本串流ESl,0至ESlm,H1之集合中之H1+1基本串流存在一個基本串流緩衝器EBl，其具有總大小EBSl
EBSl=cpb_size(以位元組量測)
其中cpb_size取自如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄F中指定的子層HRD參數，該參數包括於與ESl,H相關聯之HEVC操作點中。
˙TBl,k至MBl,k之傳送應用如下：
˙當TBl,k中不存在資料時，則Rxl,k等於0。
˙反之，Rxl,k=bit_rate
其中bit_rate為至位元組串流格式之CPB中的資料流之CpbBrNalFactor/CpbBrVclFactor×BitRate[i]，且當子層HRD參數存在於ESl,k中之HEVC視訊子分割區之VPS中時，BitRate[i]如Rec.ITU- T H.265 | ISO/IEC 23008-2中所定義。
˙MBl,k至EBl之傳送應用如下：
˙若HEVC_timing_and_HRD_descriptor在hrd_management_valid_flag設定為『1』以用於HEVC視訊子位元串流的情況下存在，則自MBl,k至EBl之資料傳送將遵循如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄C中所定義的用於基本串流ESl,H之CPB中之資料到達的HRD定義的方案。
˙否則，洩漏方法將用於將資料如下文自MBl,k傳送至EBl：Rbxn,k=CpbBrNalFactor×MaxBR[層次，層級]
其中MaxBR[層次，層級]在Rec.ITU T H.265 | ISO/IEC 23008-2(表A.2)中之層次及層級規格中經定義以用於位元組串流格式，該層次及層級規格用於由重組(達)基本串流ESl,k中之相關聯HEVC層化視訊子位元串流產生之HEVC操作點的層次及層級。
若MBl,k中存在PES封包有效負載資料，且EBl未滿，則PES封包有效負載以等於Rbxl,k之速率自MBl,k傳送至EBl。若EBl已滿，資料不會自MBl,k移除。當資料之位元組自MBl,k傳送至EBl時，立即移除及捨棄MBl,k中之先於彼位元組的所有PES封包標頭位元組。當MBl,k中不存在PES封包有效負載資料時，無資料自MBl,k移除。進入MBl,k之所有資料離開。離開MBl,k之後，所有PES封包有效負載資料位元組立即進入EBl。
於2014年10月10日申請的美國臨時專利申請案62/062,681中描述的用於HEVC延伸之承載的MPEG-2 TS之設計係相關的。
除上文所指示之描述符外，描述符可包括一或多個HEVC時序及HRD描述符。HEVC時序及HRD描述符提供用於HEVC視訊串流、HEVC時間視訊子位元串流或HEVC時間視訊子集之時序及HRD參數。下文表2-110為用於HEVC時序及HRD描述符之語法表，如文件 N13656中定義。
在表2-110中，hrd_management_valid_flag為僅定義以供傳輸串流使用之1位元旗標。當HEVC時序及HRD描述符與HEVC視訊串流或傳輸串流中承載的HEVC最高時間子層表示相關聯時，則以下皆適用。若hrd_management_valid_flag設定為『1』，則如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄C中定義的緩衝期SEI及圖像時序SEI訊息將存在於相關聯的HEVC視訊串流或HEVC最高時間子層表示中。此等緩衝期SEI訊息將承載經寫碼nal_initial_cpb_removal_delay及nal_initial_cpb_removal_delay_offset值且可另外承載NAL HRD之nal_initial_alt_removal_delay及nal_initial_alt_cpb_removal_delay_offset值。若hrd_management_valid_flag設定為『1』，則如文件N13656之2.17.2中所定義的T-STD中之每一位元組自MBn至EBn之傳送或如文件N13656之2.17.3中所定義的T-STD中之自MBn,k至EBn之傳送將根據用於彼位元組至NAL HRD中之CPB中的遞送排程，如根據Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄C中指定的經寫碼nal_initial_cpb_removal_delay及nal_initial_cpb_removal_delay_offset或根據 SchedSelIdx等於cpb_cnt_minus1的經寫碼nal_initial_alt_cpb_removal_delay及nal_initial_alt_cpb_removal_delay_offset值所判定。當hrd_management_valid_flag設定為『0』時，洩漏方法將用於如文件N13656之2.17.2中所定義的T-STD中之MBn至EBn的傳送或如文件N13656之2.17.3中所定義的T-STD中之MBn,k至EBn之傳送。
因此，在N13656中指定的HEVC時序及HRD描述符之版本中，SchedSelIdx之值經設定等於cpb_cnt_minus1。在HRD操作中，假想串流排程程式根據藉由SchedSelIdx指示的遞送排程遞送測試位元串流。
如上文所提及，在當前HEVC時序及HRD描述符中，SchedSelIdx之值經設定等於cpb_cnt_minus1。然而，在HEVC規格中，存在不只一個cpb_cnt_minus1值(亦即，不只單個值)，而是值陣列，針對每一時間子層存在各別值。因此，至少不確定將使用該等值中之哪一者。此外，對於大於0之cpb_cnt_minus1之任何特定值，可存在多個遞送排程，不明確為何始終選擇(亦即，選定)最末遞送排程。最後，在SHVC/MV-HEVC HRD之最終設計中，用於特定輸出層集合之遞送排程為不同層之不同遞送排程之組合。
為克服此問題，本發明中提出SchedSelIdx值(亦即，排程選擇索引)明確地在HEVC時序及HRD描述符中信號傳遞。舉例而言，語法元素target_schedule_idx可在HEVC時序及HRD描述符中信號傳遞。在一個替代中，SchedSelIdx值在每一操作點之HEVC操作點描述符內信號傳遞。因此，在一項實例中，視訊處理器件(例如，源器件12、視訊編碼器20)明確地在HEVC時序及HRD描述符中或每一操作點之HEVC操作點描述符中信號傳遞排程選擇索引之值。類似地，在一項實例中，視訊解碼器30(或目的地器件14)可獲得明確地在以下各者中信號傳遞之排程選擇索引之值：HEVC時序及HRD描述符或每一操作點之HEVC操作點描述符。
在SHVC/MV-HEVC規格中，可存在一或多個HRD參數語法結構，且位元串流之每一分割區指代HRD參數語法結構中之一者。對於MPEG-2系統上之L-HEVC之承載，未明確指定當前可適用於每一HEVC子分割區之HRD參數。換言之，不明確哪些HRD參數適用於特定HEVC子分割區。適用於HEVC子分割區之HRD參數語法結構用於執行涉及HEVC子分割區之HRD操作。
為克服此問題，本發明提出用於分割區之可適用HRD參數經指派至HRD參數集合，藉由SHVC草案文字7或MV-HEVC草案文字9之vps_vui_bsp_hrd_params語法表(亦即，視訊參數集合視訊可用性位元串流分割區HRD參數語法表)中指定的語法元素bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx]指示該HRD參數集合之索引。此處，術語分割區使用於SHVC/MV-HEVC上下文中。舉例而言，視訊解碼器30可判定用於位元串流之分割區之可適用HRD參數經指派至具有藉由SHVC草案規範或MV-HEVC草案規範之視訊參數集合視訊可用性位元串流分割區HRD參數語法表中指定的語法元素指示之索引的HRD參數。同樣地，在SHVC草案規範或MV-HEVC草案規範之視訊參數集合視訊可用性位元串流分割區HRD參數語法表中，視訊處理器件可產生指示對指派至位元串流之分割區的可適用HRD參數之索引的語法元素，該分割區對應於可適用HRD參數。
因此，在一些實例中，視訊處理器件(諸如視訊編碼器20)可產生包括語法元素陣列(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])及複數個HRD參數語法結構(例如，hrd_parameters())之VPS。複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合。語法元素陣列之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法 結構之索引。
此外，視訊處理器件可產生包含指示遞送排程之索引之目標排程索引語法元素(例如，target_schedule_idx)的HEVC時序及HRD描述符。視訊處理器件可產生資料串流，諸如，MPEG-2資料串流，該資料串流包含複數個基本串流及HEVC時序及HRD描述符。參數之集合(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])識別指定被識別為適用於特定基本串流之特定HRD參數語法結構之索引的語法元素陣列中之語法元素。在此實例中，特定HRD參數語法結構為複數個HRD參數語法結構中之一者，且特定HRD參數語法結構為操作點之一部分。參數之集合可包括值等於目標排程索引語法元素之值的參數(例如，SchedSelCombIdx)。此外，在一些實例中，參數之集合包括其值經以圖7之實例中展示的方式來判定的第二參數(例如，partitionIdx)。另外，參數之集合可包括第三、第四及第五參數。第三參數(例如，TargetOlsIdx)指定操作點之目標輸出層集合索引。第四參數(例如，TargetPsIdx)指定操作點之目標分割方案索引，且第五參數(例如，HighestTid)指定操作點之最高時間識別符。
在類似實例中，視訊解碼器30可接收資料串流，諸如，MPEG-2資料串流，該資料串流包含複數個基本串流及HEVC時序及HRD描述符。HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素(例如，target_schedule_idx)。此外，視訊解碼器30可基於參數之集合識別VPS中之語法元素陣列中之語法元素。VPS包含複數個HRD參數語法結構(例如，hrd_parameters())。複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合。語法元素陣列之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引。參數之集合可包括值等於目標排程索引語法元 素之值的參數(例如，SchedSelCombIdx)。此外，在一些實例中，參數之集合包括其值經以圖7之實例中展示的方式來判定的第二參數(例如，partitionIdx)。另外，參數之集合可包括第三、第四及第五參數。第三參數(例如，TargetOlsIdx)指定操作點之目標輸出層集合索引。第四參數(例如，TargetPsIdx)指定操作點之目標分割方案索引，且第五參數(例如，HighestTid)指定操作點之最高時間識別符。此外，在此實例中，視訊解碼器30可基於藉由經識別語法元素指定之索引將複數個HRD參數語法結構中之特定HRD參數語法結構識別為適用於為操作點之一部分之特定基本串流。複數個基本串流包括特定基本串流。
在JCT-VC及JCT-3V組之劄幌會議中，同意設定檔、層次及層級(PTL)資訊與每一層相關聯，而非與每一輸出層集合或操作點相關聯。此決定歸因於以下兩個事實對L-HEVC TS草案中之緩衝器模型之設計有影響。第一，當前，基本串流為HEVC子分割區(例如，HEVC基礎子分割區、HEVC增強子分割區或HEVC時間增強子分割區)，且可在基本串流內傳輸的一或多個層。第二，緩衝器模型中之每一基本串流穿過傳輸緩衝器(TBn)、多工緩衝器(MBn)及基本串流緩衝器(EBn)。
當前，基於以下等式計算MBn之大小：MBS n,k =BS mux +BS oh +CpbBrNalFactor×MaxCPB[tier,level]-cpb_size(以位元組量測)
其中BSmux、BSoh及MaxCPB[層次，層級]取決於PTL資訊。在上文等式中，BSoh(封包額外負荷緩衝)及BSmux(額外多工緩衝)在文件N13656之條款2.17.2中指定。MaxCPB[層次，層級]及MaxBR[層次，層級]取自用於與ESl,k相關聯之HEVC操作點之ESl,k之層次及層級之HEVC的層次及層級規格。如Rec.ITU-T H.265 | ISO/IEC 23008-2之附 錄F中指定，cpb_size取自可適用hrd_parameters()內之用於與ESl,k相關聯之HEVC操作點之子層HRD參數。當基本串流具有一個以上層時，存在一個以上PTL資訊之集合可供使用。因此，不明確應自哪一PTL資訊集合計算或導出BSmux、BSoh及MaxCPB[層次，層級]之值。
為克服此問題，本發明提出約束(亦即，限定或要求)每一基本串流(亦即，HEVC子分割區)含有不超過一個層。舉例而言，視訊處理器件(例如，源器件12、視訊編碼器20)可產生包含一或多個基本串流的資料串流(例如，MPEG-2程式串流或傳輸串流)。在此實例中，資料串流經受一或多個基本串流中之每一者含有不超過一個層之約束條件。在類似實例中，視訊解碼器30可解碼包含一或多個基本串流之資料串流(例如，MPEG-2程式串流或傳輸串流)之視訊資料。在此實例中，資料串流經受一或多個基本串流中之每一者含有不超過一個層之約束條件。
如上文所描述，HEVC時序及HRD描述符提供時序及HRD參數。當前HEVC時序及HRD描述符並不指定當前HEVC時序及HRD描述符是程式層級描述符抑或程式元素層級描述符。以下兩者皆為可能的。第一，HEVC時序及HRD描述符可作為程式階層描述符信號傳遞。當HEVC時序及HRD描述符作為程式階層描述符以信號傳遞時，應存在HRD時序及HRD描述符作為HEVC時序及HRD描述符之此單一實例適用於stream_type 0×24、0×25、0×27~0×2A之所有基本串流的僅一個實例。第二，HEVC時序及HRD描述符可作為程式元素層級描述符信號傳遞。描述符僅適用於特定基本串流。此允許針對一些基本串流而存在HEVC時序及HRD描述符及針對一些其他基本串流而不存在該HEVC時序及HRD描述符的可能性。儘管該情形係可能的，似乎不存在此類更細粒度信號傳遞之優勢。
為克服此問題，本發明提出以下內容。當存在時，HEVC時序及 HRD描述符將作為程式層級描述符經信號傳遞。當存在時，針對ITU-T Rec.H.222.0 | ISO/IEC 13818-1將存在至多一個HEVC時序及HRD描述符。因此，在一些實例中，在符合ITU-T修正H.222.0標準之MPEG-2資料串流中，視訊處理器件(例如，源器件12、視訊編碼器20)產生作為程式層級描述符之HEVC時序及HRD描述符，其中需要在MPEG-2資料串流中存在至多一個HEVC時序及HRD描述符。在類似實例中，視訊解碼器30自符合ITU-T修正H.222.0標準的MPEG-2資料串流獲得作為程式層級描述符之HEVC時序及HRD描述符，其中需要(例如，在位元串流符合性之情況下時)在MPEG-2資料串流中存在至多一個HEVC時序及HRD描述符。
在文件N13656中之HEVC時序及HRD描述符之描述中，指定若hrd_management_valid_flag等於『1』，則緩衝期及圖像時序SEI訊息將存在於相關聯HEVC視訊串流或HEVC最高時間子層表示中。然而，N13656文件中不存在對彼等SEI訊息之存在的進一步描述。可能發生的一個問題為存在SEI訊息，但其僅可適用於HEVC操作點描述符中定義的一些操作點或甚至無操作點。如上文所提到，在HEVC時序及HRD描述符中指定hrd_management_valid_flag。
為避免以上問題，本發明提出應指定若hrd_management_valid_flag等於『1』，則適用於在HEVC操作點描述符中經信號傳遞的操作點中之每一者的緩衝期SEI訊息及圖像時序SEI訊息將存在於HEVC視訊串流中。
因此，為克服此問題，提出約束條件(亦即，限制或要求)，以使得若HEVC時序及HRD描述符之hrd_management_valid_flag等於『1』，則適用於在HEVC操作描述符中經信號傳遞之操作點中之每一者之緩衝期SEI訊息及圖像時序SEI訊息將存在於HEVC視訊串流中。因此，在一些實例中，視訊處理器件(例如，源器件12、視訊編碼器 20)產生程式串流或傳輸串流，該程式串流或傳輸串流經受約束條件，以使得若HEVC時序及HRD描述符之hrd_management_valid_flag等於『1』，則適用於在HEVC操作描述符中經信號傳遞之每一操作點的緩衝期SEI訊息及圖像時序SEI訊息將存在於HEVC視訊串流中。在一些實例中，視訊解碼器30(或目的地器件14)解碼程式串流或傳輸串流之視訊資料，該程式串流或傳輸串流經受約束條件，以使得若HEVC時序及HRD描述符之hrd_management_valid_flag等於1，則適用於在HEVC操作描述符中經信號傳遞的每一操作點之緩衝期SEI及圖像時序SEI訊息將存在於HEVC視訊串流中。
在JCTVC-R1013中，術語「解碼單元」在SubPicHrdFlag等於0時定義為存取單元，或否則定義為由存取單元中之一或多個VCL NAL單元及相關聯非VCL NAL單元組成的存取單元之子集。若在如JCTVC-R1013之條款C.1中指定的位元串流符合性測試中調用解碼程序，當所選hrd_parameters()語法結構中之sub_pic_hrd_params_present_flag等於1時，CPB經排程以在存取單元層級(在此情況下將變數SubPicHrdFlag設定為等於0)或子圖像層級(在此情況下將變數SubPicHrdFlag設定為等於1)處操作。另外，將SubPicHrdFlag設定為等於0，且CPB經排程以在分割單元層級處操作。另外，若並不在如JCTVC-R1013之條款C.1中指定的位元串流符合性測試中調用解碼程序，則SubPicHrdFlag經設定等於(SubPicHrdPreferredFlag && sub_pic_hrd_params_present_flag)。變數SubPicHrdPreferredFlag由外部方法指定，或當不由外部方法指定時，其經設定為等於0。
L-HEVC TS草案中之當前緩衝器模型並不支援超低延遲緩衝器模型。基於受限於存取單元層級的給定解碼時戳(DTS)自基本串流緩衝器(EB)移除以位元組為單位的資料，亦即，針對整個存取單元僅存在 DTS之一個值。由此，基於給定DTS自基本串流移除與給定存取單元相關聯的所有資料(亦即，所有位元組)。此方法意謂不支援預期在整個存取單元在CPB中可用之前自CPB移除資料的超低延遲模式。
為克服此問題，本發明提出以下各者：
˙提供MPEG-2系統中之解碼單元之定義。
˙對於含有視訊串流之每一程式，信號傳遞解碼單元之粒度之指示(例如，存取單元、存取單元內圖像之收集、圖像、圖塊、圖塊片段)。
˙屬於同一存取單元之每一PES封包可具有不同DTS；然而，屬於同一解碼單元之PES封包之DTS必定相同。
˙自基本串流緩衝器移除圖像係基於DTS值。
用於上述技術之替代解決方案可如下。當資料存在於視訊串流中時，自基本串流移除資料考慮到解碼單元資訊SEI訊息之存在。
如上文所指示，根據本發明之技術，對於含有視訊串流之每一程式，信號傳遞解碼單元之粒度之指示。因此，在一項實例中，視訊處理器件(例如，目的地器件14、視訊解碼器30)接收資料串流，且針對含有視訊串流的資料串流之每一程式，獲得解碼單元之粒度之指示。在類似實例中，視訊處理器件(例如，源器件12、視訊編碼器20)可產生針對含有視訊串流的資料串流之每一程式包括解碼單元之粒度之指示的資料串流。在此等實例中，解碼單元之粒度可為以下各者中之一者：存取單元、存取單元內之圖像之收集、圖像、圖塊或圖塊片段。
此外，如上文所指示，根據本發明之技術，屬於同一存取單元之每一PES封包可具有不同DTS，而屬於同一解碼單元之PES封包之DTS必定相同。因此，在至少一些該等實例中，屬於同一存取單元之每一PES封包可具有不同DTS，且需要屬於同一解碼單元之PES封包之DTS相同。
另外，如上文所指示，根據本發明之技術，自基本串流緩衝器移除圖像可基於DTS值。因此，在一個此類實例中，視訊解碼器可將資料儲存至緩衝器中且在資料之整個存取單元在緩衝器中可用之前自緩衝器移除資料。
本發明提出若干技術。此等技術中之一些可獨立地應用，且其中一些可組合地應用。
圖3為繪示可實施本發明之技術的實例視訊編碼器20之方塊圖。出於解釋之目的提供圖3，且不應將其視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。視訊編碼器20表示可經組態以執行本發明之技術之器件的實例。
在圖3之實例中，視訊編碼器20包括預測處理單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未展示)。在其他實例中，視訊編碼器20可包括較多、較少或不同功能組件。
視訊資料記憶體101可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體101中之視訊資料。經解碼圖像緩衝器116可為儲存用於由視訊編碼器20在編碼視訊資料(例如，以框內或框間寫碼模式)時使用之參考視訊資料的參考圖像記憶體。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或單獨記憶體器件來提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體101可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。
視訊編碼器20接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與圖像之相等大小的亮度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分，預測處理單位100可執行四分樹分割以將CTU之CTB劃分成逐漸更小的區塊。更小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個相等大小之子區塊，將該等子區塊中之一或多者分割成四個相等大小之子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割CU之一或多個PU中的與CU相關聯之寫碼區塊。因此，每一PU可與亮度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU的大小可指CU之亮度寫碼區塊的大小，且PU之大小可指PU的亮度預測區塊之大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生PU之預測性資料。PU之預測性資料可包括PU之預測性區塊及PU之運動資訊。取決於PU在I圖塊中、P圖塊中還是B圖塊中，框間預測處理單元120可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預 測。因此，若PU在I圖塊中，則框間預測處理單元120並不對PU執行框間預測。因此，對於在I模式中經編碼之區塊，經預測之區塊係使用空間預測自相同訊框內的先前經編碼之相鄰區塊形成。若PU在P圖塊中，則框間預測處理單元120可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中，則框間預測處理單元120可使用單向或雙向框間預測以產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生PU之預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊中、P圖塊及B圖塊中之PU執行框內預測。
為了對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本來產生PU之預測性區塊。假定針對PU、CU及CTU之自左至右、自上而下之編碼次序，相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個方向的框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
預測處理單元100可自由框間預測處理單元120針對PU產生的預測性資料或由框內預測處理單元126針對PU產生的預測性資料中選擇CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合之速率/失真量度而選擇CU之PU的預測性資料。所選預測性資料的預測性區塊在本文中可被稱作所選預測性區塊。
殘餘產生單元102可基於CU之寫碼區塊(例如，亮度、Cb及Cr寫碼區塊)及CU之PU的所選預測性區塊(例如，預測性亮度、Cb及Cr區塊)產生CU之殘餘區塊(例如，亮度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本 的值等於CU之寫碼區塊中的樣本與CU之PU的對應所選預測性區塊中的對應樣本之間的差。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與亮度變換區塊及兩個色度變換區塊相關聯。CU之TU的亮度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間，可將n位元變換係數捨入為m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可使得資訊丟失，因此經量化之變換係數可具有比原始變換係數低之精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100所產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可 重建構CU之寫碼區塊。
過濾器單元114可執行一或多個解區塊操作以減少寫碼區塊中之與CU相關聯的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構之寫碼區塊來對與CU位於相同圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作，以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生的經熵編碼之資料的位元串流。舉例而言，位元串流可包括表示CU之RQT的資料。
圖4為繪示經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。出於解釋之目的而提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖4之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160，及經解碼圖像緩衝器162。預測處 理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同功能組件。
視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。可經由視訊資料之有線或無線網絡通信或藉由存取實體資料儲存媒體(例如)從頻道16(例如，從諸如攝影機之本端視訊源)獲得儲存於視訊資料記憶體151中的視訊資料。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於藉由視訊解碼器30解碼視訊資料(例如，以框內或框間寫碼模式)時使用之參考視訊資料的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或單獨記憶體器件來提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。
CPB 151接收及儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)且解析NAL單元以獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素產生經解碼視訊資料。熵解碼單元150可執行大體上與熵編碼單元118之彼程序互逆的程序。
除自位元串流獲得語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為了對CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操 作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元154可對與TU相關聯之係數區塊進行反量化(亦即，解量化)。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度，且同樣地判定反量化單元154應用的反量化程度。亦即，可藉由調整在量化變換係數時使用的QP值來控制壓縮比，亦即，用於表示原始序列及經壓縮序列之位元數目之比率。壓縮比亦可取決於所應用的熵寫碼之方法。
在反量化單元154對係數區塊進行反量化之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若使用框內預測編碼PU，則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元166可基於自位元串流獲得的一或多個語法元素判定用於PU之框內預測模式。
若使用框間預測編碼PU，則熵解碼單元150可判定PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元164可基於一或多個參考區塊產生PU之預測性區塊(例如，預測性亮度、Cb及Cr區塊)。
重建構單元158可使用CU之TU之變換區塊(例如，亮度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如，亮度、Cb及Cr區塊)(亦即，可適用之框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，亮度、Cb及Cr寫碼區塊)。舉例而言，重建構單元158可增加變換區塊(例如，亮度、Cb及Cr變換區塊)之樣本至預測性區塊(例 如，亮度、Cb及Cr預測性區塊)之對應樣本來重建構CU之寫碼區塊(例如，亮度、Cb及Cr寫碼區塊)。
濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之區塊對其他CU之PU執行框內預測或框間預測操作。
應理解，本文所描述之所有技術可單獨地或以組合方式使用。應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外，在某些實例中，可(例如)經由多線程處理、中斷處理或多個處理器同時而非依序執行動作或事件。此外，雖然為了清晰起見，本發明之某些態樣被描述為藉由單一模組或單元執行，但應理解，本發明之技術可藉由與視訊寫碼器相關聯之單元或模組之組合來執行。
出於說明的目的，已經關於HEVC標準而描述本發明之某些態樣。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
上文所描述的技術可藉由視訊編碼器20(圖1及圖3)及/或視訊解碼器30(圖1及圖4)執行，其兩者通常可被稱作視訊寫碼器。同樣地，視訊編碼在適用時可指代視訊編碼或視訊解碼。
本發明之以下章節描述本發明中其他處描述的技術之實例實施。實施以上提議的建議文字展示如下。經移除文字展示為兩個方括號包圍斜體文字(例如，[[文字]])，而額外文字展示為下劃線文字。
5.1修改HEVC時序及HRD描述符
用以下內容替換當前L-HEVC TS草案之章節2.6.97之內容：對於HEVC視訊串流，HEVC時序及HRD描述符提供如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄C中所定義的可適用之時序及HRD參數。應存在HEVC時序及HRD描述符之至多一個實例且應包括於緊接著program_map區段中之program_info_length欄位的資料元素之群組中，除非HEVC視訊串流承載vps_timing_info_present_flag設定為『1』的VPS參數。
PMT中用於HEVC視訊串流或重組HEVC視訊串流之HEVC時序及HRD描述符的缺失信號傳遞T-STD中之洩漏方法之使用情況。但此使用情況亦可藉由HEVC時序及HRD描述符中之設定為『0』的hrd_management_valid_flag經信號傳遞。若可自包含於HEVC視訊串流或自視訊子位元串流重組之AVC視訊串流中的HRD參數判定至緩衝器EBl之傳送速率，則hrd_management_valid_flag設定為『1』之AVC時序及HRD描述符應包括於用於HEVC視訊串流或用於重組HEVC視訊串流中之PMT。(參見表2-103septiens)。
用以下內容替換當前L-HEVC TS草案之章節2.6.98之內容： hrd_management_valid_flag-此1位元旗標僅經定義以用於傳輸串流中。當HEVC時序及HRD描述符與HEVC視訊串流[[或與傳輸串流中承載的HEVC最高時間子層表示]]相關聯時，則以下內容適用。
若hrd_management_valid_flag等於『1』，則如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄C中所定義的緩衝期SEI及圖像時序SEI訊息應存在於相關聯之HEVC視訊串流[[或HEVC最高時間子層表示]]中，且在HEVC操作描述符中經信號傳遞的每一操作點應具有可適用緩衝期SEI及圖像時序SEI訊息。此等緩衝期SEI訊息應承載經寫碼nal_initial_cpb_removal_delay及nal_initial_cpb_removal_offset值且可另外承載NAL HRD之nal_initial_alt_removal_delay及nal_initial_alt_cpb_removal_offset值。若將hrd_management_valid_flag設定為『1』，則文件N13656之2.17.2中所定義之T-STD中之每一位元組自MBn至EBn的傳送或如文件N13656之2.17.3中所定義之T-STD中之自MBn,k至EBn的傳送或如文件N13656之2.17.4中所定義的T-STD中之每一位元組自MB n 至EB n 的傳送應根據用於彼位元組至NAL HRD中之CPB中的遞送排程，如根據如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄C中指定的等於target schedule idx之SchedSelIdx的經寫碼nal_initial_cpb_removal_delay及nal_initial_cpb_removal_offset或根據經寫碼nal_initial_alt_cpb_removal_delay及nal_initial_alt_cpb_removal_offset值判定。當將hrd_management_valid_flag設定為『0』時，洩漏方法應用於如2.17.[[3]]4中所定義的T-STD中之自MBn至EBn的傳送。
當存在HEVC timing and HRD descriptor，且hrd management valid flag之值等於1時，為操作點opA之一部分之基本串流esA的可適用HRD參數為HEVC視訊串流之作用中VPS中之第bsp hrd idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx]hrd parameters()語法結構，其中： - TargetOlsIdx 等於opA之target ols，-TargetPsIdx等於opA之target partitioning scheme，-HighestTid等於opA之max temporal id，-SchedSelCombIdx等於target schedule idx-partitionIdx等於經定義如下的idxA：令listA為stream type等於0×24、0×27或0×29之基本串流之清單，該清單根據存在於階層描述符或階層延伸描述符中之其階層分層索引值以遞升次序包含於opA中。若esA為listA之成員，則idxA為listA中之esA之索引，否則idxA為listA中之esB之索引，其中esA為esB之互補時間增強。
target schedule idx -此5位元欄位指示為SchedSelIdx指派的遞送排程之索引。 hrd_management_valid_flag之值等於0時，則不定義target_schedule_idx之含義。
picture_and_timing_info_present_flag-當此1位元旗標設定成『1』時指示用於精確映射至90kHz系統時鐘之90kHz_flag及參數包括於此描述符中。
90kHz_flag-當此1位元旗標設定成『1』時指示HEVC時間基準之頻率為90KHz。
N,K-對於HEVC視訊串流[[或HEVC最高時間子層表示]]，HEVC時間基準之頻率藉由VUI參數中之語法元素vui_time_scale來定義，如Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄E中所定義。HEVC time_scale與STC之間的關係應藉由此描述符中之參數N及K來定義如下。
time_scale=(N x system_clock_frequency)/K
若將90kHz_flag設定為『1』，則N等於1，且K等於300。若將90kHz_flag設定為『0』，則由經寫碼N及K欄位之值提供N及K之值。
附註-按PTS及DTS時戳之計算需要，此允許(例如)在PES標頭中無PTS或DTS經編碼之HEVC存取單元之解碼器中將以time_scale之單元表達的時間映射至90kHz單元。
num_units_in_tick-此32位元欄位恰好以與Rec.ITU-T H.265 | ISO/IEC 23008-2之附錄E中之VUI參數中之vui_num_units_in_tick欄位相同的方式經寫碼。此欄位提供的資訊應適用於與HEVC時序及HRD描述符相關聯之整個HEVC視訊串流[[或HEVC最高時間子層表示]]。
圖5為繪示根據本發明之技術的視訊編碼器之實例操作的流程圖。本發明之流程圖作為實例提供。在本發明之其他實例中，可存在更多、更少或不同動作，及/或可以不同次序或同時執行動作。
在圖5之實例中，視訊編碼器20產生包括語法元素陣列(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])及複數個HRD參數語法結構之VPS(200)。複數個HRD參數語法結構中之每一各別HRD參數語法結構(例如，hrd_parameters())包含HRD參數之各別集合。語法元素陣列之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引。
此外，在圖5之實例中，視訊編碼器20產生包含指示遞送排程之索引之目標排程索引語法元素(例如，target_schedule_idx)的HEVC時序及HRD描述符(202)。此外，視訊編碼器20可產生資料串流(例如，MPEG-2資料串流)，該資料串流包含複數個基本串流及HEVC時序及HRD描述符(204)。參數之集合識別指定被識別為適用於特定基本串流之特定HRD參數語法結構之索引的語法元素陣列中之語法元素。在此實例中，特定HRD參數語法結構為複數個HRD參數語法結構中之一者，且特定HRD參數語法結構為操作點之一部分。參數之集合可包括值等於目標排程索引語法元素之值的參數(例如， SchedSelCombIdx)。此外，在一些實例中，參數之集合包括其值以圖7之實例中展示的方式經判定的第二參數(例如，partitionIdx)。另外，參數之集合可包括第三、第四及第五參數。第三參數(例如，TargetOlsIdx)指定操作點之目標輸出層集合索引。第四參數(例如，TargetPsIdx)指定操作點之目標分割方案索引，且第五參數(例如，HighestTid)指定操作點之最高時間識別符。
圖6為繪示根據本發明之技術的視訊解碼器之實例操作的流程圖。在圖6之實例中，視訊解碼器30獲得包含複數個基本串流及HEVC時序及HRD描述符之資料串流(例如，MPEG-2資料串流)(250)。HEVC時序及HRD描述符包含指示遞送排程之索引的目標排程索引語法元素(例如，target_schedule_idx)。
此外，在圖6之實例中，視訊解碼器30基於參數之集合識別VPS中之語法元素陣列(例如，bsp_hrd_idx[TargetOlsIdx][TargetPsIdx][HighestTid][SchedSelCombIdx][partitionIdx])中之語法元素(252)。在圖6之實例中，VPS包括複數個HRD參數語法結構(例如，hrd_parameters())。複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之各別集合(例如，nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag等)。語法元素陣列之每一各別語法元素指定複數個HRD參數語法結構中之HRD參數語法結構之索引。參數之集合可包括值等於目標排程索引語法元素之值的參數(例如，SchedSelCombIdx)。此外，在一些實例中，參數之集合包括其值以圖7之實例中展示的方式經判定的第二參數(例如，partitionIdx)。另外，參數之集合可包括第三、第四及第五參數。第三參數(例如，TargetOlsIdx)指定操作點之目標輸出層集合索引。第四參數(例如，TargetPsIdx)指定操作點之目標分割方案索引，且第五參數(例如，HighestTid)指定操作點之最高時間識別符。
另外，在圖6之實例中，視訊解碼器30基於藉由經識別語法元素指定的索引將複數個HRD參數語法結構中之特定HRD參數語法結構識別為適用於為操作點之一部分的特定基本串流(254)。複數個基本串流包括特定基本串流。
圖7為繪示根據本發明之技術判定參數之值的視訊寫碼器之實例操作的流程圖。在圖7之實例中，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)判定具有等於0×24、0×27或0×29之串流類型且位於操作點中之複數個基本串流中之基本串流之清單(300)。如上文所指示，具有串流類型等於0×24之基本串流為HEVC視訊串流或HEVC時間視訊子位元串流或HEVC基礎子分割區。具有串流類型等於0×27之基本串流為HEVC增強子分割區，其包括符合ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄G中定義之一或多個設定檔的HEVC視訊串流之TemporalId 0。具有串流類型等於0×29之基本串流為HEVC增強子分割區，其包括符合ITU-T Rec.H.265 | ISO/IEC 23008-2之附錄H中定義之一或多個設定檔的HEVC視訊串流之TemporalId 0。
在圖7之實例中，清單根據清單中之基本串流之階層分層索引值為遞升次序。在視訊寫碼器為視訊編碼器的情況下，作為產生資料串流之一部分，視訊編碼器可針對複數個基本串流中之每一各別基本串流在資料串流中包括包含各別基本串流之階層分層索引值(例如，hierarchy_layer_index)之階層描述符或階層延伸描述符。在視訊寫碼器為視訊解碼器的情況下，作為獲得資料串流之一部分，視訊解碼器可針對複數個基本串流中之每一各別基本串流獲得包含各別基本串流之階層分層索引值的階層描述符或階層延伸描述符。
此外，在圖7之實例中，視訊寫碼器可判定特定基本串流是否為清單之成員(302)。若特定基本串流為清單之成員(302之「是」)，則視訊寫碼器可判定參數之值為清單中之特定基本串流之索引(304)。 若特定基本串流不為清單之成員(302之「否」)，則視訊寫碼器可判定參數之值為清單中之基本串流中之一者的索引(306)。特定基本串流為清單中之基本串流之補充時間增強。
儘管在上文描述技術的各種態樣之特定組合，但僅提供此等組合以說明本發明中所描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術的各種態樣之任何可設想組合。
在一或多項實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於有形媒體(諸如資料儲存媒體)；或通信媒體，其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)通信媒體，諸如信號或載波。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而， 應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為針對非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指前述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態以用於編碼及解碼之專用硬體和/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可充分實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元予以實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
250‧‧‧步驟
252‧‧‧步驟
254‧‧‧步驟

Claims (55)

  1. 一種處理視訊資料之方法，該方法包含：獲得包含複數個基本串流及一高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之一資料串流，其中該HEVC時序及HRD描述符包含指示一遞送排程之一索引的一目標排程索引語法元素；基於參數之一集合識別一視訊參數集合(VPS)中之語法元素之一陣列中之一語法元素，其中：該VPS包含複數個HRD參數語法結構，其中該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引，及參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數；及基於藉由該經識別語法元素指定之一索引將該複數個HRD參數語法結構中之一特定HRD參數語法結構識別為適用於為該操作點之一部分之一特定基本串流，該複數個基本串流包括該特定基本串流。
  2. 如請求項1之方法，其中該參數為一第一參數，參數之該集合包括一第二參數，且接收該資料串流包含針對該複數個基本串流中之每一各別基本串流接收包含該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；且該方法進一步包含： 判定具有串流類型等於0×24、0×27或0×29及位於該操作點中之該複數個基本串流中之基本串流之一清單，該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及判定該第二參數之一值，以使得：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  3. 如請求項2之方法，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  4. 如請求項1之方法，其中該資料串流為一程式串流或一傳輸串流且經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  5. 如請求項1之方法，其中該資料串流為一程式串流或傳輸串流且經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  6. 如請求項1之方法，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  7. 如請求項1之方法，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
  8. 一種處理視訊資料之方法，該方法包含：產生包括語法元素之一陣列及複數個假想參考解碼器(HRD)參數語法結構之一視訊參數集合(VPS)，其中：該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，且語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引；產生包含指示一遞送排程之一索引的一目標排程索引語法元素的一高效率視訊寫碼(HEVC)時序及HRD描述符；及產生包含複數個基本串流及該高效率視訊寫碼(HEVC)時序及HRD描述符之一資料串流，其中參數之一集合識別指定適用於該特定基本串流之一特定HRD參數語法結構之一索引的語法元素之該陣列中之一語法元素，該特定HRD參數語法結構為該複數個HRD參數語法結構中之一者，該特定HRD參數語法結構為一操作點之一部分，參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數。
  9. 如請求項8之方法，其中該參數為一第一參數，參數之該集合包括一第二參數，且產生該資料串流包含針對該複數個基本串流中之每一各別基本串流在該資料串流中包括包含該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；且該方法進一步包含：判定具有串流類型等於0×24、0×27或0×29及位於該操作點 中之該複數個基本串流中之基本串流之一清單，該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及判定該第二參數之一值，以使得：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  10. 如請求項9之方法，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  11. 如請求項8之方法，其中該資料串流經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  12. 如請求項8之方法，其中該資料串流經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  13. 如請求項8之方法，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  14. 如請求項8之方法，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
  15. 一種用於處理視訊資料之器件，該器件包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以進行以下操作：獲得包含複數個基本串流及一高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之一資料串流，其中該HEVC時序及HRD描述符包含指示一遞送排程之一索引的一目標排程索引語法元素，該等基本串流包含該視訊資料之經編碼表示；基於參數之一集合識別一視訊參數集合(VPS)中之語法元素之一陣列中之一語法元素，其中：該VPS包含複數個HRD參數語法結構，其中該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引，且參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數；及基於藉由該經識別語法元素指定的一索引將該複數個HRD參數語法結構中之一特定HRD參數語法結構識別為適用於為該操作點之一部分之一特定基本串流，該複數個基本串流包括該特定基本串流。
  16. 如請求項15之器件，其中該參數為一第一參數，參數之該集合包括一第二參數，且獲得該資料串流包含針對該複數個基本串流中之每一各別基本串流獲得包含用於該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；且 一或多個處理器，其經進一步組態以進行以下操作：判定具有串流類型等於0×24、0×27或0×29及位於該操作點中之該複數個基本串流中之基本串流之一清單，該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及判定該第二參數之一值，以使得：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  17. 如請求項16之器件，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  18. 如請求項15之器件，其中該資料串流為一程式串流或一傳輸串流且經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  19. 如請求項15之器件，其中該資料串流為一程式串流或傳輸串流且經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  20. 如請求項15之器件，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及 HRD描述符。
  21. 如請求項15之器件，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
  22. 一種用於處理視訊資料之器件，該器件包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以進行以下操作：產生包括語法元素之一陣列及複數個假想參考解碼器(HRD)參數語法結構之一視訊參數集合(VPS)，其中：該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，且語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引；產生包含指示一遞送排程之一索引的一目標排程索引語法元素的一高效率視訊寫碼(HEVC)時序及HRD描述符；及產生包含複數個基本串流及該高效率視訊寫碼(HEVC)時序及HRD描述符之一資料串流，該複數個基本串流包含該視訊資料之一經編碼表示，其中參數之一集合識別指定適用於該特定基本串流之一特定HRD參數語法結構之一索引的語法元素之該陣列中之一語法元素，該特定HRD參數語法結構為該複數個HRD參數語法結構中之一者，該特定HRD參數語法結構為一操作點之一部分，參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數。
  23. 如請求項22之器件，其中該參數為一第一參數，參數之該集合包括一第二參數，及該一或多個處理器經組態以進行以下操作： 針對該複數個基本串流之每一各別基本串流在該資料串流中包括包含該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；及判定具有串流類型等於0×24、0×27或0×29及位於該操作點中之該複數個基本串流中之基本串流之一清單，該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及判定該第二參數之一值，以使得：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  24. 如請求項23之器件，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  25. 如請求項22之器件，其中該資料串流經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  26. 如請求項22之器件，其中該資料串流經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  27. 如請求項22之器件，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  28. 如請求項22之器件，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
  29. 一種用於處理視訊資料之器件，該器件包含：用於獲得包含複數個基本串流及一高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之一資料串流的構件，其中該HEVC時序及HRD描述符包含指示一遞送排程之一索引的一目標排程索引語法元素；用於基於參數之一集合識別一視訊參數集合(VPS)中之語法元素之一陣列中之一語法元素的構件，其中：該VPS包含複數個HRD參數語法結構，其中該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引，且參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數；及用於基於藉由該經識別語法元素指定的一索引將該複數個HRD參數語法結構中之一特定HRD參數語法結構識別為適用於為該操作點之一部分之一特定基本串流的構件，該複數個基本串流包括該特定基本串流。
  30. 如請求項29之器件，其中：該參數為一第一參數，參數之該集合包括一第二參數，且該資料串流針對該複數個基本串流中之每一各別基本串流包含包含該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；且該器件進一步包含： 用於判定具有串流類型等於0×24、0×27或0×29及位於該操作點中之該複數個基本串流中之基本串流之一清單的構件，該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及用於判定該第二參數之一值以使得進行以下各者之構件：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  31. 如請求項30之器件，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  32. 如請求項29之器件，其中該資料串流為一程式串流或一傳輸串流且經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  33. 如請求項29之器件，其中該資料串流為一程式串流或傳輸串流且經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  34. 如請求項29之器件，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  35. 一種用於處理視訊資料之器件，該器件包含：用於產生包括語法元素之一陣列及複數個假想參考解碼器(HRD)參數語法結構之一視訊參數集合(VPS)的構件，其中：該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，且語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引；用於產生包含指示一遞送排程之一索引的一目標排程索引語法元素的一高效率視訊寫碼(HEVC)時序及HRD描述符的構件；及用於產生包含複數個基本串流及該高效率視訊寫碼(HEVC)時序及HRD描述符之一資料串流的構件，其中參數之一集合識別指定適用於該特定基本串流之一特定HRD參數語法結構之一索引的語法元素之該陣列中之一語法元素，該特定HRD參數語法結構為該複數個HRD參數語法結構中之一者，該特定HRD參數語法結構為一操作點之一部分，參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數。
  36. 如請求項35之器件，其中該參數為一第一參數，參數之該集合包括一第二參數，且該資料串流針對該複數個基本串流之每一各別基本串流包含包含該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；且該器件進一步包含：用於判定具有串流類型等於0×24、0×27或0×29及位於該操作點中之該複數個基本串流中之基本串流之一清單的構件， 該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及用於判定該第二參數之一值以使得進行以下各者之構件：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  37. 如請求項36之器件，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  38. 如請求項35之器件，其中該資料串流經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  39. 如請求項35之器件，其中該資料串流經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  40. 如請求項35之器件，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  41. 如請求項35之器件，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
  42. 一種電腦可讀儲存媒體，其上儲存有在經執行時使得一器件之 一或多個處理器進行以下操作的指令：獲得包含複數個基本串流及一高效率視訊寫碼(HEVC)時序及假想參考解碼器(HRD)描述符之一資料串流，其中該HEVC時序及HRD描述符包含指示一遞送排程之一索引的一目標排程索引語法元素；基於參數之一集合識別一視訊參數集合(VPS)中之語法元素之一陣列中之一語法元素，其中：該VPS包含複數個HRD參數語法結構，其中該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引，且參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數；及基於藉由該經識別語法元素指定的一索引將該複數個HRD參數語法結構中之一特定HRD參數語法結構識別為適用於為該操作點之一部分之一特定基本串流，該複數個基本串流包括該特定基本串流。
  43. 如請求項42之電腦可讀儲存媒體，其中該參數為一第一參數，參數之該集合包括一第二參數，且該資料串流針對該複數個基本串流之每一各別基本串流包含包含該各別基本串流之一階層分層索引值之一階層描述符或一階層延伸描述符；該等指令進一步組態該一或多個處理器以進行以下操作：判定具有串流類型等於0×24、0×27或0×29及位於該操作點中之該複數個基本串流中之基本串流之一清單，該清單根據 該清單中之該等基本串流之該階層分層索引值為遞升次序；及判定該第二參數之一值，以使得：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  44. 如請求項43之電腦可讀儲存媒體，其中參數之集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  45. 如請求項42之電腦可讀儲存媒體，其中該資料串流為一程式串流或一傳輸串流且經受該複數個基本串流中之每一者含有不超過一個層之一約束條件。
  46. 如請求項42之電腦可讀儲存媒體，其中該資料串流為一程式串流或傳輸串流且經受一約束條件，以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  47. 如請求項42之電腦可讀儲存媒體，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  48. 如請求項42之電腦可讀儲存媒體，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
  49. 一種電腦可讀儲存媒體，其上儲存有在經執行時使得一器件之一或多個處理器進行以下操作的指令：產生包括語法元素之一陣列及複數個假想參考解碼器(HRD)參數語法結構之一視訊參數集合(VPS)，其中：該複數個HRD參數語法結構中之每一各別HRD參數語法結構包含HRD參數之一各別集合，且語法元素之該陣列中之每一各別語法元素指定該複數個HRD參數語法結構中之一HRD參數語法結構之一索引；產生包含指示一遞送排程之一索引的一目標排程索引語法元素的一高效率視訊寫碼(HEVC)時序及HRD描述符；及產生包含複數個基本串流及該高效率視訊寫碼(HEVC)時序及HRD描述符之一資料串流，其中參數之一集合識別指定適用於該特定基本串流之一特定HRD參數語法結構之一索引的語法元素之該陣列中之一語法元素，該特定HRD參數語法結構為該複數個HRD參數語法結構中之一者，該特定HRD參數語法結構為一操作點之一部分，參數之該集合包含具有一值等於該目標排程索引語法元素之一值的一參數。
  50. 如請求項49之電腦可讀儲存媒體，其中該參數為一第一參數，參數之該集合包括一第二參數，且該資料串流針對該複數個基本串流之每一各別基本串流包含包含該各別基本串流之一階層分層索引值的一階層描述符或一階層延伸描述符；且其中該等指令進一步組態該一或多個處理器以進行以下操作：判定具有串流類型等於0×24、0×27或0×29及位於該操作點 中之該複數個基本串流中之基本串流之一清單，該清單根據該清單中之該等基本串流之該階層分層索引值為遞升次序；及判定該第二參數之一值，以使得：若該特定基本串流為該清單之一成員，則該第二參數之該值為該清單中之該特定基本串流之該索引，且若該特定基本串流不為該清單之一成員，則該第二參數之該值為該清單中之該等基本串流中之一者之該索引，其中該特定基本串流為該清單中之該基本串流之一補充時間增強。
  51. 如請求項50之電腦可讀儲存媒體，其中參數之該集合包括一第三、第四及第五參數，該第三參數指定一操作點之一目標輸出層集合索引，該第四參數指定該操作點之一目標分割方案索引，該第五參數指定該操作點之一最高時間識別符。
  52. 如請求項49之電腦可讀儲存媒體，其中該資料串流經受該複數個基本串流中之每一者含有不超過一個層的一約束條件。
  53. 如請求項49之電腦可讀儲存媒體，其中該資料串流經受一約束條件以使得若該HEVC時序及HRD描述符之一hrd_management_valid_flag等於1，則適用於在一HEVC操作描述符中信號傳遞之每一操作點之緩衝期補充增強資訊(SEI)訊息及圖像時序SEI訊息應存在於一HEVC視訊串流中。
  54. 如請求項49之電腦可讀儲存媒體，其中該HEVC時序及HRD描述符為一程式層級描述符，其中需要在該資料串流中存在至多一個HEVC時序及HRD描述符。
  55. 如請求項49之電腦可讀儲存媒體，其中該資料串流為一運動圖像專家組(MPEG)-2資料串流。
TW104133911A 2014-10-15 2015-10-15 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計 TWI692242B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462064414P 2014-10-15 2014-10-15
US62/064,414 2014-10-15
US14/883,256 2015-10-14
US14/883,256 US20160112724A1 (en) 2014-10-15 2015-10-14 Hrd descriptor and buffer model of data streams for carriage of hevc extensions

Publications (2)

Publication Number Publication Date
TW201620305A true TW201620305A (zh) 2016-06-01
TWI692242B TWI692242B (zh) 2020-04-21

Family

ID=54366510

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104133911A TWI692242B (zh) 2014-10-15 2015-10-15 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計

Country Status (10)

Country Link
US (2) US20160112724A1 (zh)
EP (1) EP3207710B1 (zh)
JP (1) JP6612338B2 (zh)
KR (1) KR102383621B1 (zh)
CN (1) CN107079176B (zh)
AU (1) AU2015332493B2 (zh)
CU (1) CU24676B1 (zh)
PE (1) PE20170758A1 (zh)
TW (1) TWI692242B (zh)
WO (1) WO2016061334A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112724A1 (en) 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions
JP6715467B2 (ja) * 2015-07-01 2020-07-01 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
GB201513316D0 (en) * 2015-07-29 2015-09-09 Flynn Thomas M P19-0 encoding engine
CN109076256A (zh) * 2016-04-12 2018-12-21 索尼公司 发送设备、发送方法、接收设备和接收方法
US11856231B2 (en) * 2019-05-30 2023-12-26 Sharp Kabushiki Kaisha Systems and methods for signaling hypothetical reference decoder parameters in video coding
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
EP4026328A4 (en) * 2019-09-24 2022-10-19 Huawei Technologies Co., Ltd. HRD COMPLIANCE TESTING ON AN OLS
WO2021134020A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on signaling of hypothetical reference decoder parameters in video bitstreams
EP4062640A4 (en) 2019-12-26 2023-01-11 ByteDance Inc. PROFILE, ROW AND LAYER INDICATION IN VIDEO CODING
CN114902566A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 参数集中的子图片信令
WO2021137597A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
CN117395441A (zh) 2020-01-09 2024-01-12 字节跳动有限公司 视频流中的填充数据单元的处理
KR20220162742A (ko) * 2020-03-30 2022-12-08 엘지전자 주식회사 Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US20230144793A1 (en) * 2020-03-30 2023-05-11 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling information about number of dpb parameters, and computer-readable recording medium storing bitstream
KR20220163403A (ko) 2020-03-30 2022-12-09 엘지전자 주식회사 Dpb 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
KR20220162740A (ko) * 2020-04-02 2022-12-08 엘지전자 주식회사 Dpb 관련 정보 및 ptl 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
EP4128775A4 (en) * 2020-04-26 2024-03-27 ByteDance Inc. CONDITIONAL SIGNALING OF SYNTAX ELEMENTS OF A VIDEO CODING
WO2021246841A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 레이어 정보 시그널링 기반 영상 코딩 장치 및 방법
KR20230025429A (ko) * 2020-06-06 2023-02-21 엘지전자 주식회사 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법
CN113225584B (zh) * 2021-03-24 2022-02-22 西安交通大学 一种基于编码和缓存的跨层联合的视频传输方法、系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930390A (en) 1996-03-28 1999-07-27 Intel Corporation Encoding/decoding signals using a remap table
US7343037B1 (en) * 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US10147202B2 (en) * 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
CN110336999B (zh) * 2013-12-18 2021-09-03 寰发股份有限公司 利用调色板编码的编码视频数据区块的方法和装置
US10055189B2 (en) * 2014-01-02 2018-08-21 Vid Scale, Inc. Two-dimensional palette coding for screen content coding
US10567804B2 (en) * 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
EP4044602A1 (en) * 2014-03-14 2022-08-17 Vid Scale, Inc. Palette coding for screen content coding
US10237557B2 (en) * 2014-06-20 2019-03-19 Hfi Innovation Inc. Method of run-length coding for palette predictor
US10306269B2 (en) 2014-10-10 2019-05-28 Qualcomm Incorporated Operation point for carriage of layered HEVC bitstream
US20160112724A1 (en) 2014-10-15 2016-04-21 Qualcomm Incorporated Hrd descriptor and buffer model of data streams for carriage of hevc extensions

Also Published As

Publication number Publication date
PE20170758A1 (es) 2017-07-04
KR20170072201A (ko) 2017-06-26
AU2015332493B2 (en) 2019-06-06
KR102383621B1 (ko) 2022-04-05
WO2016061334A1 (en) 2016-04-21
JP6612338B2 (ja) 2019-11-27
US10171842B2 (en) 2019-01-01
TWI692242B (zh) 2020-04-21
US20160112724A1 (en) 2016-04-21
CU20170051A7 (es) 2017-08-08
AU2015332493A1 (en) 2017-03-23
EP3207710B1 (en) 2021-07-14
BR112017007798A2 (pt) 2017-12-19
CN107079176B (zh) 2020-07-03
JP2017535184A (ja) 2017-11-24
CN107079176A (zh) 2017-08-18
EP3207710A1 (en) 2017-08-23
US20180255324A1 (en) 2018-09-06
CU24676B1 (es) 2023-09-07

Similar Documents

Publication Publication Date Title
TWI692242B (zh) 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計
RU2643463C2 (ru) Синтаксическая структура параметров гипотетического эталонного декодера
EP3363204B1 (en) Support of random access and switching of layers and sub-layers in multi-layer video files
US10567804B2 (en) Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
WO2015168591A1 (en) Method and device for decoding multi-layer video data by determining the capability of the decoder based on profile, tier and level associated with partition containing one or more layers
JP2018530967A (ja) マルチレイヤビットストリームファイルフォーマットにおける動作点サンプルグループの位置合わせ
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
TWI643491B (zh) 用於載送視訊寫碼延伸之傳輸串流
TW201340723A (zh) 用於三維視訊寫碼之網路抽象層單元標頭設計
JP6442067B2 (ja) Ｈｅｖｃ拡張の搬送のための動作点のシグナリング
BR112017007798B1 (pt) Design de descritor hrd e modelo de buffer de fluxo de dados para transporte de extensões hevc