TW201436536A - 對於視訊寫碼中巢狀補充增強資訊訊息之子位元流適用性 - Google Patents

對於視訊寫碼中巢狀補充增強資訊訊息之子位元流適用性 Download PDF

Info

Publication number
TW201436536A
TW201436536A TW102136398A TW102136398A TW201436536A TW 201436536 A TW201436536 A TW 201436536A TW 102136398 A TW102136398 A TW 102136398A TW 102136398 A TW102136398 A TW 102136398A TW 201436536 A TW201436536 A TW 201436536A
Authority
TW
Taiwan
Prior art keywords
bitstream
sei message
nal unit
syntax element
nested sei
Prior art date
Application number
TW102136398A
Other languages
English (en)
Other versions
TWI533674B (zh
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201436536A publication Critical patent/TW201436536A/zh
Application granted granted Critical
Publication of TWI533674B publication Critical patent/TWI533674B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一種器件至少部分基於由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一預設子位元流。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。當該巢狀SEI訊息適用於該預設子位元流時，該器件在對該預設子位元流之一操作中使用該巢狀SEI訊息。

Description

對於視訊寫碼中巢狀補充增強資訊訊息之子位元流適用性
本申請案主張2012年10月8日申請的美國臨時專利申請案第61/711,098號的權利，該申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如描述於以下各者中之彼等技術：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、目前在開發之高效率視訊寫碼(HEVC)標準，及此等標準之擴展。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可 將視訊切片(亦即，視訊圖框或視訊圖框之一部分)分割為視訊區塊。使用相對於相同圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)切片中的視訊區塊。圖像之經框間寫碼(P或B)切片中之視訊區塊可使用相對於相同圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量，及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘係數。可掃描最初配置成二維陣列的經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多之壓縮。
可藉由(例如)自多個視角編碼視圖而產生多視圖寫碼位元流。已開發利用多視圖寫碼態樣之一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左眼視圖及右眼視圖，以支援3D視訊。替代性地，一些3D視訊寫碼程序可應用所謂的多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元流可不僅含有紋理視圖分量，亦含有深度視圖分量。舉例而言，每一視圖可包含一紋理視圖分量及一深度視圖分量。
大體而言，本發明描述假想參考解碼器(HRD)參數之發信號，及視訊寫碼中之補充增強資訊(SEI)訊息之巢套。更具體而言，在由一SEI網路抽象層(NAL)單元囊封之一可調式巢套SEI訊息中，一種視訊編碼器可包括指示由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否 適用於一預設子位元流的一語法元素。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。此外，一種器件可至少部分基於該可調式巢套SEI訊息中之該語法元素，判定由該可調式巢套SEI訊息所囊封之該巢狀SEI訊息是否適用於該預設子位元流。當該巢狀SEI訊息適用於該預設子位元流時，該器件可在對該預設子位元流之一操作中使用該巢狀SEI訊息。
在一實例中，本發明描述一種處理視訊資料之方法。該方法包含至少部分基於由一SEI NAL單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。另外，該方法包含當該巢狀SEI訊息適用於該預設子位元流時，在對該預設子位元流之一操作中使用該巢狀SEI訊息。
在另一實例中，本發明描述一種器件，其包含經組態以至少部分基於由一SEI NAL單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一或多個處理器。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。該一或多個處理器經組態，使得當該巢狀SEI訊息適用於該預設子位元流時，該一或多個處理器在對該預設子位元流之一操作中使用該巢狀SEI訊息。
在另一實例中，本發明描述一種器件，其包含用於至少部分基於由一SEI NAL單元所囊封之一可調式巢套SEI訊息中的一語法元 素，判定由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的構件。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。該器件亦包含用於當該巢狀SEI訊息適用於該預設子位元流時，在對該預設子位元流之一操作中使用該巢狀SEI訊息的構件。
在另一實例中，本發明描述一種儲存指令之電腦可讀儲存媒體，當由一器件之一或多個處理器執行該等指令時，該等指令組態該器件以至少部分基於由一SEI NAL單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。當執行該等指令時，該等指令組態該器件，使得當該巢狀SEI訊息適用於該預設子位元流時，該器件在對該預設子位元流之一操作中使用該巢狀SEI訊息。
在另一實例中，本發明描述一種編碼視訊資料之方法。該方法包含在由一SEI NAL單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。該方法亦包含在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息。
在另一實例中，本發明描述一種視訊編碼器件，其包含經組態以在由一SEI NAL單元所囊封之一可調式巢套SEI訊息中，包括指示 由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素的一或多個處理器。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。該一或多個處理器亦經組態以在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息。
在另一實例中，本發明描述一種視訊編碼器件，其包含用於在由一SEI NAL單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素的構件。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。該視訊編碼器件亦包含用於在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息之構件。
在另一實例中，本發明描述一種儲存指令之電腦可讀儲存媒體，當由一視訊編碼器件執行該等指令時，該等指令組態該視訊編碼器件以在由一SEI NAL單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素。該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示。當執行該等指令時，該等指令亦組態該視訊編碼器件以在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息。
在隨附圖式及以下描述中闡述本發明之一或多個實例的細節。自該描述、圖式及申請專利範圍，其他特徵、目標及優勢將係顯而易見的。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。
圖4為說明根據本發明之一或多個技術的視訊編碼器之實例操作的流程圖。
圖5為說明根據本發明之一或多個技術的器件之實例操作的流程圖。
圖6為說明根據本發明之一或多個技術的視訊編碼器之實例操作的流程圖。
圖7為說明根據本發明之一或多個技術的器件之實例操作的流程圖。
圖8為說明根據本發明之一或多個技術的視訊編碼器之實例操作的流程圖。
圖9為說明根據本發明之一或多個技術的器件之實例操作的流程圖。
視訊編碼器可產生包括經編碼之視訊資料的位元流。因為位元流包括經編碼之視訊資料，所以在本文中位元流可被稱作經編碼之視訊位元流。位元流可包含一系列網路抽象層(NAL)單元。NAL單元可包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元可包括圖像之經寫碼切片。非VCL NAL單元可包括視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、補充增強資訊(SEI)或其他類型 之資料。VPS為可含有適用於零或多個全部經寫碼視訊序列之語法元素的語法結構。SPS為可含有適用於零或多個全部經寫碼視訊序列之語法元素的語法結構。單一VPS可適用於多個SPS。PPS為可含有適用於零或多個全部經寫碼圖像之語法元素的語法結構。單一SPS可適用於多個PPS。
諸如內容傳遞網路(CDN)器件、媒體感知網路元件(MANE)、視訊編碼器或視訊解碼器之器件可自位元流提取子位元流。器件可藉由自位元流移除某些NAL單元而執行子位元流提取程序。所得之子位元流包括位元流之剩餘未經移除之NAL單元。在一些實例中，自子位元流解碼之視訊資料可具有較低之圖框速率，及/或可表示比原始位元流少之視圖。
視訊寫碼標準可包括各種特徵以支援子位元流提取程序。舉例而言，可將位元流之視訊資料劃分成層之集合。對於該等層中之每一者，可無需參考任何較高層中之資料而解碼較低層中的資料。NAL單元僅囊封單一層之資料。因此，可自位元流移除囊封位元流之最高剩餘層之資料的NAL單元，而不會影響位元流之剩餘層中的資料之可譯碼性。在可調式視訊寫碼(SVC)中，較高層可包括增強資料，該增強資料改良較低層中之圖像的品質(品質可調性)、擴大較低層中之圖像的空間格式(空間可調性)或提高較低層中之圖像的時間速率(時間可調性)。在多視圖寫碼(MVC)及三維視訊(3DV)寫碼中，較高層可包括額外視圖。
每一NAL單元可包括標頭及有效負載。NAL單元之標頭可包括nuh_reserved_zero_6bits語法元素。若NAL單元與MVC、3DV寫碼或SVC中之基層相關，則NAL單元之nuh_reserved_zero_6bits語法元素等於0。可無需參考位元流之任何其他層中之資料而解碼位元流之基層中的資料。若NAL單元並不與MVC、3DV或SVC中之基層相關，則 nuh_reserved_zero_6bits語法元素可具有其他非零值。具體而言，若NAL單元並不與MVC、3DV或SVC中之基層相關，則NAL單元之nuh_reserved_zero_6bits語法元素指定識別與NAL單元相關聯之層的層識別符。
此外，可無需參考相同層內之其他圖像而解碼層內之一些圖像。因此，可自位元流移除囊封層之某些圖像之資料的NAL單元，而不會影響層中之其他圖像的可譯碼性。舉例而言，可無需參考具有奇數POC值之圖像而解碼具有偶數圖像次序計數(POC)值之圖像。移除囊封此等圖像之資料的NAL單元可減少位元流之圖框速率。可無需參考層內之其他圖像而解碼的層內之圖像的子集在本文中可被稱作「子層」或「時間子層」。
NAL單元可包括nuh_temporal_id_plus1語法元素。NAL單元之nuh_temporal_id_plus1語法元素可指定NAL單元之時間識別符。若第一NAL單元之時間識別符小於第二NAL單元之時間識別符，則可無需參考由第二NAL單元所囊封之資料而解碼由第一NAL單元所囊封之資料。
位元流之操作點各自與層識別符(亦即，nuh_reserved_zero_6bits值之集合)之集合及時間識別符相關聯。層識別符之集合可表示為OpLayerIdSet，且時間識別符可表示為TemporalID。若NAL單元之層識別符為操作點的層識別符之集合，且NAL單元之時間識別符小於或等於操作點之時間識別符，則NAL單元與操作點相關聯。操作點表示為與操作點相關聯之位元流子集(亦即，子位元流)。操作點之操作點表示可包括與操作點相關聯之每一NAL單元。操作點表示並不包括與操作點無關聯之VCL NAL單元。
外部源可指定用於操作點的目標層識別符之集合。舉例而言，內容傳遞網路(CDN)器件可指定目標層識別符之集合。在此實例中， CDN器件可使用目標層識別符之集合以識別操作點。CDN器件可接著提取操作點之操作點表示，及將操作點表示而非原始位元流轉遞至用戶端器件。提取操作點表示及將操作點表示轉遞至用戶端器件可減少位元流之位元速率。
此外，視訊寫碼標準指定視訊緩衝模型。視訊緩衝模型亦可被稱作「假想參考解碼器」或「HRD」。HRD描述如何緩衝資料以用於解碼及如何緩衝經解碼之資料以用於輸出。舉例而言，HRD描述視訊解碼器中之經寫碼圖像緩衝器(「CPB」)及經解碼圖像緩衝器(「DPB」)的操作。CPB為按由HRD指定之解碼次序含有存取單元的先進先出緩衝器。DPB為保存經解碼之圖像以用於由HRD指定之參考、輸出重排或輸出延遲的緩衝器。
視訊編碼器可用信號發出HRD參數之集合。HRD參數控制HRD之各種態樣。HRD參數可包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。可在VPS及/或SPS中所指定之hrd_parameters( )語法結構中寫碼此等HRD參數。亦可在緩衝週期SEI訊息或圖像時序SEI訊息中指定HRD參數。
如上文所解釋，操作點表示可具有相比原始位元流不同之圖框速率及/或位元速率。此係因為操作點表示可不包括原始位元流之一些圖像及/或一些資料。因此，當處理原始位元流時，若視訊解碼器將以特定速率自CPB及/或DPB移除資料，及當處理操作點表示時，若視訊解碼器將以相同速率自CPB及/或DPB移除資料，則視訊解碼器可自CPB及/或DPB移除過多或過少之資料。因此，視訊編碼器可針對不同操作點用信號發出HRD參數之不同集合。在新出現的高效率視訊寫碼(HEVC)標準中，視訊編碼器可用信號發出VPS中的HRD參數之集合，或視訊編碼器可用信號發出SPS中的HRD參數之集合。
視情況，HRD參數之集合包括對於所有時間子層共同的資訊之 集合。時間子層為由具有特定時間識別符之VCL NAL單元及相關聯之非VCL NAL單元組成之時間可調式位元流的時間可調式層。除共同資訊之集合之外，HRD參數之集合可包括特定於個別時間子層的語法元素之集合。因為共同資訊之集合對於HRD參數之多個集合而言係共同的，所以可不必在多個HRD參數之集合中用信號發出共同資訊之集合。在用於HEVC之一些建議中，當HRD參數之集合為VPS中的第一HRD參數之集合時，共同資訊可存在於HRD參數之集合中，或當HRD參數之集合與第一操作點相關聯時，共同資訊可存在於HRD參數之集合中。
然而，當VPS中存在多個HRD參數之集合時，可能需要具有用於HRD參數之集合的多個不同共同資訊之集合。當VPS中存在較大數目之HRD參數語法結構時，此情況可係尤其正確的。因此，不同於第一HRD參數語法結構，可能需要在HRD參數語法結構中具有共同資訊之集合。
本發明之技術提供允許針對任何HRD參數語法結構明確地用信號發出HRD參數語法結構之共同資訊的設計。換言之，本發明之技術可允許針對任何hrd_parameters()語法結構明確地用信號發出對於所有子層共同的資訊。此情況可改良寫碼效率。
因此，根據本發明之一或多個技術，諸如視訊解碼器或其他器件之器件可至少部分基於包括複數個HRD參數語法結構的VPS中之語法元素，判定VPS中之特定HRD參數語法結構是否包括對於位元流之每一子層而言係共同的HRD參數之集合。器件可解碼來自VPS的語法元素。一或多個HRD參數語法結構可在VPS中按寫碼次序先於特定HRD參數語法結構而發生。回應於判定特定HRD參數語法結構包括對於位元流之每一子層而言係共同之HRD參數的集合，器件可使用特定HRD參數語法結構(包括對於位元流之每一子層而言係共同之HRD參 數的集合)而執行操作。
此外，視訊編碼器可產生可調式巢套SEI訊息。可調式巢套SEI訊息含有一或多個SEI訊息。巢套於可調式巢套SEI訊息中之SEI訊息可包括HRD參數或與操作點相關聯之其他資訊。用於HEVC之一些建議並不允許一SEI訊息適用於多個操作點。此情況可降低位元速率效率，此係因為其可使得視訊編碼器用信號發出具有相同資訊之多個SEI訊息。因此，本發明之技術可允許一SEI訊息適用於多個操作點。舉例而言，可調式巢套SEI訊息可包括指定可適用於巢套於可調式巢套SEI訊息內之SEI訊息之多個操作點的語法元素。
另外，類似於其他類型之NAL單元，SEI NAL單元包括NAL單元標頭及NAL單元主體。SEI NAL單元之NAL單元主體可包括SEI訊息，諸如可調式巢套SEI訊息或另一類型之SEI訊息。類似於其他NAL單元，SEI NAL單元之NAL單元標頭可包括nuh_reserved_zero_6bits語法元素及nuh_temporal_id_plus1語法元素。然而，在用於HEVC之一些建議中，SEI NAL單元之NAL單元標頭的nuh_reserved_zero_6bits語法元素及/或nuh_temporal_id_plus1語法元素並不用於判定可適用於由SEI NAL單元囊封之SEI訊息(或多個SEI訊息)的操作點。然而，SEI NAL單元標頭之此等語法元素可經再使用，以便減少用信號發出之位元的數目。因此，根據本發明之技術，可在可調式巢套SEI訊息中用信號發出語法元素，以指示可適用於SEI NAL單元中之巢狀SEI訊息的操作點是否為由SEI NAL單元之NAL單元標頭中之層識別資訊所指示的操作點。SEI NAL單元之NAL單元標頭中之層識別資訊可包括NAL單元標頭之nuh_reserved_zero_6bits值及nuh_temporal_id_plus1值。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10的方塊圖。如本文中所使用，術語「視訊寫碼器」大體係指視訊編碼器及視 訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可大體係指視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦，或其類似者。
目的地器件14可經由頻道16而自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含能夠使得源器件12即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如無線通信協定)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取而存取儲存媒體。儲存媒體可包括多種本端存取之資料 儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另外實例中，頻道16可包括檔案伺服器或儲存由源器件12所產生之經編碼視訊資料的另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於檔案伺服器處或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料及將經編碼視訊資料傳輸至目的地器件14之類型的伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可通過標準資料連接(諸如，網際網路連接)存取經編碼視訊資料。資料連接之實例類型可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)、或適於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸，或兩者之組合。
本發明之技術並不限於無線應用或設定。技術可應用於支援諸如以下應用之多種多媒體應用中的視訊寫碼：空中電視廣播、有線電視傳輸、衛星電視傳輸、例如經由網際網路之串流視訊傳輸、用於儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播，及/或視訊電話之應用。
圖1僅為一實例且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，自經由網路或類似者而串流之區域記憶體擷取資料。視訊編碼器件可編碼資料及將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料及解碼資料。在許多實例中，由並不 彼此通信，但簡單地將資料編碼至記憶體及/或自記憶體擷取資料及解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20，及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊俘獲器件，含有先前所俘獲之視訊資料的視訊封存檔、用以自視訊內容提供者接收視訊資料的視訊饋入介面、及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上，以稍後供目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合在一起，或可在目的地器件14外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可各自實施為多種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。當部分地在軟體中實施技術時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將上述內容(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理 器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。
本發明可大體係指將某些資訊「發信號」至另一器件(諸如，視訊解碼器30)的視訊編碼器20。術語「發信號」可大體係指用於解碼經壓縮之視訊資料的語法元素及/或其他資料之傳達。可即時或接近即時地發生此傳達。替代性地，可歷時一時間跨度而發生此傳達，諸如當在編碼時間處，將經編碼位元流中之語法元素儲存至電腦可讀儲存媒體時，可發生此傳達，接著，在儲存於此媒體之後可由解碼器件在任何時間處擷取該等語法元素。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準而操作，視訊壓縮標準諸如ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之3DV擴展。在一些情況下，符合基於MVC之3DV的任何位元流始終含有遵照MVC設定檔(例如，立體聲高設定檔)的子位元流。此外，正持續努力以產生對H.264/AVC之三維視訊(3DV)寫碼擴展，亦即基於AVC之3DV。在其他實例中，視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual，及ITU-T H.264、ISO/IEC Visual而操作。
在其他實例中，視訊編碼器20及視訊解碼器30可根據目前由ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發之高效率視訊寫碼(HEVC)標準而操作。即將到來的HEVC標準之草案(其被稱作「HEVC工作草案8」)描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 8」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11 之視訊寫碼聯合合作小組(JCT-VC)，第10次會議，瑞典斯德哥爾摩，2012年7月，至2013年6月13日為止其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip獲得)中。即將到來的HEVC標準之另一草案(被稱作「HEVC工作草案9」)描述於Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 9」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)，第11次會議，中國上海，2012年10月，至2013年6月13日為止其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip獲得)中。此外，正持續努力以產生用於HEVC之SVC、MVC及3DV擴展。HEVC之3DV擴展可被稱作基於HEVC之3DV或HEVC-3DV。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括表示為SL、SCb及SCr的三個樣本陣列。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb色度樣本之二維陣列。SCr為Cr色度樣本之二維陣列。色度樣本亦可在本文中被稱作「色度」樣本。在其他情況下，圖像可係單色的，且可僅包括明度樣本之陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於寫碼該等寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。切片可包括在光柵掃描中連續定序的整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為具有明度樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊、Cb樣本陣列及Cr樣本陣列，及用於寫碼該等寫碼區塊之樣本的語法結構。視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊可為應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本的預測區塊、色度樣本的兩個對應預測區塊及用於預測該等預測區塊樣本之語法結構。視訊編碼器20可產生CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊之預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測，以產生PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本而產生PU之預測性區塊。
若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本，產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU之預測性區塊。當視訊編碼器20使用單向預測以產生PU之預測性區塊時，PU可具有單一運動向量。當視訊編碼器20使用雙向預測以產生PU之預測性區塊時，PU可具有兩個運動向量。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣 本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中的對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為應用相同變換之樣本的矩形區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用於變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊，及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量數量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化大體係指如下程序：將變換係數量化以可能地減少用以表示該等變換係數之資料的量，從而提供進一步之壓縮。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化之變換係數的語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數的語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元流中輸出經熵編碼之 語法元素。
視訊編碼器20可輸出包括經熵編碼之語法元素的位元流。位元流可包括形成經寫碼圖像及相關聯資料之表示的位元序列。位元流可包含網路抽象層(NAL)單元序列。NAL單元中之每一者包括NAL單元標頭，且囊封原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼的語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP；第二類型之NAL單元可囊封經寫碼切片之RBSP；第三類型之NAL單元可囊封SEI之RBSP等等。囊封視訊寫碼資料之RBSP(相反於參數集之RBSP及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20所產生之位元流。另外，視訊解碼器30可剖析位元流以解碼來自位元流之語法元素。視訊解碼器30可至少部分基於自位元流所解碼之語法元素而重建構視訊資料之圖像。重建構視訊資料的程序可大體上互逆於由視訊編碼器20執行之程序。舉例而言，視訊解碼器30可使用PU之運動向量以判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行反變換，以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在多視圖寫碼中，可存在來自不同視點之相同場景的多個視 圖。術語「存取單元」用於指對應於相同時間執行個體之圖像的集合。因此，視訊資料可經概念化為一系列隨時間推移之存取單元。「視圖分量」可為單一存取單元中之視圖的經寫碼表示。在本發明中，「視圖」可指與相同視圖識別符相關聯之視圖分量序列。
多視圖寫碼支援視圖間預測。視圖間預測類似於HEVC中所使用的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前視訊單元(諸如PU)執行視圖間預測時，視訊編碼器20可將處於與當前視訊單元相同的存取單元中但不同視圖中之圖像用作參考圖像。相對比地，習知之框間預測僅將不同存取單元中之圖像用作參考圖像。
在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可無需參考任何其他視圖中之圖像而解碼視圖中的圖像，則該視圖可被稱作「基礎視圖」。當寫碼非基礎視圖中之一者中的圖像時，若圖像處於與視訊寫碼器當前正寫碼之圖像相同的時間執行個體(亦即，存取單元)內但不同視圖中，則視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可將該圖像添加至參考圖像清單中。類似其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。
視訊寫碼標準指定視訊緩衝模型。在H.264/AVC及HEVC中，緩衝模型被稱作「假想參考解碼器」或「HRD」。在HEVC工作草案8中，HRD描述於Annex C中。
HRD描述應如何緩衝資料以用於解碼，及如何緩衝經解碼資料以用於輸出。舉例而言，HRD描述CPB之操作、經解碼圖像緩衝器(「DPB」)，及視訊解碼程序。CPB為按由HRD指定之解碼次序含有存取單元之先進先出緩衝器。DPB為保存經解碼圖像以用於由HRD指定之參考、輸出重排或輸出延遲的緩衝器。可以數學方法指定CPB及DPB之行為。HRD可直接地對時序、緩衝器尺寸及位元速率強加約 束。此外，HRD可間接地對各種位元流特性及統計強加約束。
在H.264/AVC及HEVC中，將位元流符合性及解碼器符合性指定為HRD規範的部分。換言之，HRD模型指定用以判定位元流是否遵循標準的測試，及用以判定解碼器是否遵循標準的測試。儘管將HRD稱為某種解碼器，但視訊編碼器通常使用HRD以確保位元流符合性，而視訊解碼器通常並不需要HRD。
H.264/AVC及HEVC兩者皆指定兩種類型之位元流符合性或HRD符合性，亦即I型及II型。I型位元流為僅含有用於位元流中之所有存取單元的VCL NAL單元及填充符資料NAL單元的NAL單元流。II型位元流為除了用於位元流中之所有存取單元的VCL NAL單元及填充符資料NAL單元之外，含有以下各者中之至少一者的NAL單元流：不同於填充符資料NAL單元之額外非VCL NAL單元；及自NAL單元流形成位元組流之所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes，及trailing_zero_8bits語法元素。
當器件執行判定位元流是否遵循視訊寫碼標準之位元流符合性測試時，器件可選擇位元流之操作點。接著，器件可判定可適用於所選擇的操作點之HRD參數的集合。器件可使用可適用於所選擇的操作點之HRD參數的集合，以組態HRD之行為。更特定而言，器件可使用HRD參數之可適用集合，以組態HRD之特定組份的行為，諸如假想流排程器(HSS)、CPB、解碼程序、DPB等等。隨後，根據特定排程，HSS可將位元流之經寫碼視訊資料注入HRD之CPB中。此外，器件可調用解碼CPB中之經寫碼視訊資料的解碼程序。解碼程序可將經解碼圖像輸出至DPB。在器件將資料移動通過HRD時，器件可判定是否仍然滿足特定約束集合。舉例而言，當HRD解碼所選擇的操作點之操作點表示時，器件可判定CPB或DPB中是否發生溢出或下溢條件。器件可以此方式選擇及處理位元流之每一操作點。若無導致違反約束的位 元流之操作點，則器件可判定位元流遵循視訊寫碼標準。
H.264/AVC及HEVC兩者皆指定兩種類型之解碼器符合性，亦即輸出時序解碼器符合性及輸出次序解碼器符合性。主張對於具體設定檔、層及層級之符合性的解碼器能夠成功地解碼遵循視訊寫碼標準(諸如，HEVC)之位元流符合性要求的所有位元流。在本發明中，「設定檔」可指位元流語法之子集。可在每一設定檔內指定「層」及「層級」。層之層級可為強加於位元流中之語法元素的值之約束的指定集合。此等約束可為對值之簡單限制。替代性地，該等約束可採取對值之算術組合(例如，圖像寬度乘以圖像高度乘以每秒解碼之圖像的數目)之約束的形式。通常，針對較低層指定之層級比針對較高層指定之層級經較多約束。
當器件執行解碼器符合性測試以判定受測解碼器(DUT)是否遵循視訊寫碼標準時，器件可將遵循視訊寫碼標準之位元流提供給HRD及DUT兩者。HRD可以上文所描述的關於位元流符合性測試之方式處理位元流。若由DUT輸出的經解碼圖像之次序匹配由HRD輸出的經解碼圖像之次序，則器件可判定DUT遵循視訊寫碼標準。此外，若DUT輸出經解碼圖像之時序匹配HRD輸出經解碼圖像之時序，則器件可判定DUT遵循視訊寫碼標準。
在H.264/AVC及HEVC HRD模型中，解碼或CPB移除可基於存取單元。亦即，假定HRD一次解碼全部存取單元及自CPB移除全部存取單元。此外，在H.264/AVC及HEVC HRD模型中，假定圖像解碼係瞬時的。視訊編碼器20可在圖像時序SEI訊息中用信號發出解碼時間以開始解碼存取單元。在實際應用中，若符合的視訊解碼器嚴格地遵循經用信號發出以開始解碼存取單元之解碼時間，則輸出特定經解碼圖像之最早可能時間等於彼特定圖像之解碼時間加上解碼彼特定圖像所需之時間。然而，在真實世界中，解碼圖像所需之時間不可能等於 零。
HRD參數可控制HRD之各種態樣。換言之，HRD可依賴HRD參數。HRD參數可包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。視訊編碼器20可在視訊參數集(VPS)及/或序列參數集(SPS)中指定之hrd_parameters()語法結構中用信號發出此等HRD參數。個別VPS及/或SPS可包括用於HRD參數之不同集合的多個hrd_parameters()語法結構。在一些實例中，視訊編碼器20可在緩衝週期SEI訊息或圖像時序SEI訊息中用信號發出HRD參數。
如上文所解釋，位元流之操作點與層識別符之集合(亦即，nuh_reserved_zero_6bits值之集合)及時間識別符相關聯。操作點表示可包括與操作點相關聯之每一NAL單元。操作點表示可具有相比原始位元流不同的圖框速率及/或位元速率。此情況係因為操作點表示可不包括原始位元流之一些圖像及/或原始位元流之一些資料。因此，當處理原始位元流時，若視訊解碼器30將以特定速率自CPB及/或DPB移除資料，且當處理操作點表示時，若視訊解碼器30將以相同速率自CPB及/或DPB移除資料，則視訊解碼器30可自CPB及/或DPB移除過多或過少之資料。因此，視訊編碼器20可針對不同操作點用信號發出HRD參數之不同集合。舉例而言，在VPS中，視訊編碼器20可包括多個hrd_parameters()語法結構，hrd_parameters()語法結構包括用於不同操作點之HRD參數。
在HEVC工作草案8中，視情況，HRD參數之集合包括對於所有時間子層共同的資訊之集合。換言之，HRD參數之集合可視情況包括可適用於包括任何時間子層之操作點的共同語法元素之集合。時間子層可為由具有TemporalId之特定值的VCL NAL單元及相關聯之非VCL NAL單元組成之時間可調式位元流的時間可調式層。除共同資訊之集合之外，HRD參數之集合可包括特定於個別時間子層的語法元素之集 合。舉例而言，hrd_parameters()語法結構可視情況包括對於所有子層共同，且始終包括具體子層之資訊的資訊之集合。因為共同資訊之集合對於HRD參數之多個集合而言係共同的，所以可不必在多個HRD參數之集合中用信號發出共同資訊之集合。實情為，在HEVC工作草案8中，當HRD參數之集合為VPS中的第一HRD參數之集合時，共同資訊可存在於HRD參數之集合中，或當HRD參數之集合與第一操作點索引相關聯時，共同資訊可存在於HRD參數之集合中。舉例而言，當hrd_parameters()語法結構為VPS中的第一hrd_parameters()語法結構時，抑或當hrd_parameters()語法結構與第一操作點索引相關聯時，HEVC工作草案8支援共同資訊的存在。
以下之表1為HEVC中之hrd_parameters()語法結構的實例語法結構。
在上文的表1之實例及本發明之其他語法表中，具有類型描述符ue(v)之語法元素可為使用0階指數哥倫布(Exp-Golomb)寫碼而編碼的長度可變之不帶正負號的整數，其中自左位元開始。在表1之實例及以下表中，具有u(n)(其中n為非負整數)之形式之描述符的語法元素為長度n之不帶正負號的值。
在表1之實例語法中，「if(commonInfPresentFlag){…}」區塊中的語法元素為HRD參數語法結構之共同資訊。換言之，HRD參數之集合的共同資訊可包括語法元素timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、sub_pic_cpb_params_present_flag、tick_divisor_minus2、du_cpb_removal_delay_length_minus1、bit_rate_scale、cpb_size_scale、initial_cpb_removal_delay_length_minusl、cpb_removal_delay_length_minus1，及dpb_output_delay_length_minus1。
此外，在表1之實例中，語法元素fixed_pic_rate_flag[i]、pic_duration_in_tc_minus1[i]、low_delay_hrd_flag[i]及cpb_cnt_minusl[i]可為具體子層HRD參數之集合。換言之，hrd_parameter()語法結構之此等語法元素可僅適用於包括具體子層的操作點。因此，除視情況包括之共同資訊之外，hrd_parameters()語法結構之HRD參數可包括特定於位元流之特定子層的具體子層HRD參數的集合。
當HighestTid等於i時，fixed_pic_rate_flag[i]語法元素可指示以具 體方式約束按輸出次序之任何兩連續圖像的HRD輸出時間之間的時間距離。HighestTid可為識別(例如，操作點之)最高時間子層的變數。當HighestTid等於i時，pic_duration_in_tc_minus1[i]語法元素可以時脈刻度指定經寫碼視訊序列中按輸出次序之任何連續圖像的HRD輸出時間之間的時間距離。當HighestTid等於i時，low_delay_hrd_flag[i]語法元素可指定HRD操作模式，如在HEVC工作草案8之Annex C中所指定。當HighestTid等於i時，cpb_cnt_minus1[i]語法元素可指定經寫碼視訊序列之位元流中的替代性CPB規範之數目，其中一替代性CPB規範係指具有特定CPB參數之集合的一特定CPB操作。
視訊編碼器20可使用SEI訊息以在位元流中包括正確解碼圖像之樣本值並不需要之後設資料。然而，視訊解碼器30或其他器件可將包括於SEI訊息中的後設資料用於各種其他目的。舉例而言，視訊解碼器30或另一器件可將SEI訊息中之後設資料用於圖像輸出時序、圖像顯示、損失偵測及錯誤隱藏。
視訊編碼器20可包括存取單元中之一或多個SEI NAL單元。換言之，任何數目個SEI NAL單元可與存取單元相關聯。此外，每一SEI NAL單元可含有一或多個SEI訊息。HEVC標準描述用於各種類型之SEI訊息的語法及語義。然而，HEVC標準並不描述SEI訊息之處置，此係因為SEI訊息並不影響規範解碼程序。HEVC標準中具有SEI訊息之一個原因係使得能夠在使用HEVC之不同系統中相同地解譯補充資料。使用HEVC之規範及系統可能需要視訊編碼器產生某些SEI訊息或可定義特定類型之所接收SEI訊息的具體處置。以下之表2列出HEVC中所指定之SEI訊息且簡略地描述其目的。
2012年9月24日申請的美國臨時專利申請案61/705,102描述用於用信號發出及選擇HRD參數的各種方法，包括用信號發出及選擇SEI訊息中之延遲資訊及時序資訊。Hannuksela等人之「AHG9：Operation points in VPS and nesting SEI」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG11之視訊寫碼聯合合作小組(JCT-VC)，第11次會議，中國上海，2012年十月10日至19日，文件第JCTVC-K0180v1號，至2013年6月13日為止其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K0180-v1.zip獲得)提供用於用信號發出HRD參數之另一方法以及用於巢套SEI訊息之機制。
現存之用於用信號發出HRD參數的技術存在若干問題或缺點。 舉例而言，現存之技術可不允許由多個操作點共用HRD參數之集合。然而，當操作點之數目較高時，對於嘗試確保位元流之符合性以針對每一操作點產生不同的HRD參數之集合的視訊編碼器20或另一單元而言，此情況可係有負擔的。實情為，可藉由確保每一操作點與HRD參數之集合相關聯，但HRD參數之特定集合可由多個操作點共用而確保位元流之符合性。本發明之一或多個技術可提供允許由多個操作點共用HRD參數之一集合的設計。換言之，HRD參數之單一集合可適用於多個操作點。此設計可允許嘗試確保位元流之符合性的視訊編碼器20或另一單元在複雜性與效能之間取捨。
在用信號發出HRD參數之現存技術的問題或缺點之另一實例中，當VPS中存在多個HRD參數之集合時，可能需要具有用於HRD參數之集合的共同資訊之多個不同集合。當VPS中存在較大數目個HRD參數語法結構時，此情況可係尤其正確的。因此，可能需要在不同於第一HRD參數語法結構之HRD參數語法結構中具有共同資訊之集合。舉例而言，當VPS中存在多個hrd_parameters()語法結構時，尤其當hrd_parameters()語法結構之總數目相對較高時，為提供提高之效能，不同於第一hrd_parameters()語法結構之共同資訊，或不同於第一操作點索引之共同資訊，可能需要具有用於hrd_parameters()語法結構的不同之共同資訊。
本發明之一或多個技術提供允許針對HRD參數之任何集合明確地用信號發出HRD參數之集合的共同資訊之設計。舉例而言，本發明之技術可允許針對任何hrd_parameters()語法結構明確地用信號發出對於所有子層共同之資訊。
以此方式，視訊編碼器20可在位元流中用信號發出包括複數個HRD參數語法結構的VPS，該複數個HRD參數語法結構各自包括HRD參數。對於複數個HRD參數語法結構中之每一各別HRD參數語法結 構，VPS進一步包括指示各別HRD參數語法結構之HRD參數在除特定於位元流之特定子層的具體子層HRD參數資訊之集合之外，是否包括HRD參數之共同集合的語法元素。HRD參數之共同集合對於位元流之所有子層而言係共同的。
類似地，視訊解碼器30或另一器件可自位元流解碼包括複數個HRD參數語法結構的VPS，該複數個HRD參數語法結構各自包括HRD參數。對於複數個HRD參數語法結構中之每一各別HRD參數語法結構，VPS可進一步包括指示各別HRD參數語法結構之HRD參數是否包括HRD參數之共同集合的語法元素。視訊解碼器30或其他器件可使用HRD參數語法結構中之至少一者的HRD參數而執行操作。
此外，用於巢套SEI訊息之現存方法可具有若干問題或缺點。舉例而言，用信號發出HRD參數之現存技術可不允許一SEI訊息適用於多個操作點。本發明之技術可提供允許一SEI訊息適用於多個操作點的設計。
詳言之，可調式巢套SEI訊息可包括指定適用於巢套於可調式巢套SEI訊息內之SEI訊息的多個操作點之語法元素。換言之，可調式巢套SEI訊息可提供用於使SEI訊息與位元流子集(例如，操作點表示)相關聯，或與具體層及子層相關聯的機制。
以此方式，視訊編碼器20可產生包括複數個語法元素的可調式巢套SEI訊息，該複數個語法元素識別由可調式巢套SEI訊息囊封之巢狀SEI訊息適用的複數個操作點。此外，視訊編碼器20可在位元流中用信號發出可調式巢套SEI訊息。
以此方式，在視訊寫碼程序中，視訊解碼器30或另一器件可自可調式巢套SEI訊息解碼識別由可調式巢套SEI訊息所囊封之巢狀SEI訊息適用的操作點之複數個語法元素。此外，視訊解碼器30或其他器件可至少部分基於巢狀SEI訊息之語法元素中之一或多者而執行操 作。
巢套SEI訊息之現存技術的問題或缺點之另一實例涉及如下事實：巢套SEI訊息之現存技術並不使用當前SEI NAL單元中的層識別符語法元素(例如，nuh_reserved_zero_6bits)之值，以判定適用於由當前SEI NAL單元囊封之可調式巢套SEI訊息的操作點。
本發明之技術提供用信號發出適用於SEI NAL單元中之巢狀SEI訊息的操作點是否為由SEI NAL單元之NAL單元標頭中的層識別資訊所指示之操作點的設計。SEI NAL單元之NAL單元標頭中的層識別資訊可包括NAL單元標頭的nuh_reserved_zero_6bits之值及nuh_temporal_id_plus1之值。換言之，本發明之技術可提供用於通過用信號發出巢狀SEI訊息是否適用於由包括於當前SEI NAL單元(亦即，含有可調式巢套SEI訊息的SEI NAL單元)之NAL單元標頭中之層識別資訊所識別的預設操作點，而使用當前SEI NAL單元之NAL單元標頭中的層識別資訊(例如，nuh_reserved_zero_6bits之值及nuh_temporal_id_plus1之值)的設計。
以此方式，在由SEI NAL單元囊封之可調式巢套SEI訊息中，視訊編碼器20可包括指示由可調式巢套SEI訊息囊封之巢狀SEI訊息是否適用於預設子位元流的語法元素。預設子位元流可為由SEI NAL單元之NAL單元標頭中所指定之層識別符及NAL單元標頭中所指定之時間識別符所定義的操作點之操作點表示。此外，視訊編碼器20可輸出包括可調式巢套SEI訊息的位元流。
類似地，諸如視訊解碼器30或另一器件之器件可至少部分基於由SEI NAL單元囊封之可調式巢套SEI訊息中的語法元素，判定由可調式巢套SEI訊息囊封之巢狀SEI訊息是否適用於預設子位元流。如上所述，預設子位元流可為由SEI NAL單元之NAL單元標頭中所指定之層識別符及NAL單元標頭中所指定之時間識別符所定義的操作點之操 作點表示。當巢狀SEI訊息適用於預設子位元流時，器件可在對預設子位元流之操作中使用巢狀SEI訊息。舉例而言，巢狀SEI訊息可包括一或多個HRD參數。在此實例中，器件可使用該一或多個HRD參數以執行判定預設子位元流是否遵循視訊寫碼標準(諸如，HEVC)的位元流符合性測試。替代性地，在此實例中，器件可使用該一或多個HRD參數以判定視訊解碼器30是否滿足解碼器符合性測試。
在用於巢套SEI訊息之現存方法的問題或缺點之另一實例中，顯式寫碼層識別符係低效的。本發明之技術可通過差分寫碼或使用旗標寫碼而提高顯式寫碼層識別符的效率。
圖2為說明可實施本發明之技術的實例視訊編碼器20之方塊圖。圖2係出於解釋之目的而提供，且不應將其視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括較多、較少或不同的功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像的切片中之每一CTU。CTU中之每一者可與相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小之區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100 可將與CTU相關聯之CTB分割成四個相等大小之子區塊、將子區塊中之一或多者分割成四個相等大小之子子區塊等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及2N×2N、2N×N、N×2N、N×N之對稱PU大小，或用於框間預測的類似大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
藉由對CU之每一PU執行框間預測，框間預測處理單元120可產生用於PU的預測性資料。用於PU的預測性資料可包括PU之預測性區塊及用於PU的運動資訊。取決於PU係在I切片中、P切片中抑或B切片中，框間預測處理單元120可針對CU之PU執行不同操作。在I切片中，所有PU經框內預測。因此，若PU係在I切片中，則框間預測處理單元120並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，使用自相同圖框內先前編碼之相鄰區塊的空間預測形成預測性區塊。
若PU係在P切片中，則運動估計單元122可在用於PU之參考區域的參考圖像之清單(例如，「RefPicList0」)中搜尋參考圖像。PU之參考區域可為參考圖像內，含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元122可產生指示含有PU之參考區域之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元122可產生指示PU之寫碼區塊與相關聯於參考區域之參考位置之間的空間 移位之運動向量。舉例而言，運動向量可為提供自當前圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元122可將參考索引及運動向量輸出為PU之運動資訊。基於由PU之運動向量所指示的參考位置處之實際樣本或內插樣本，運動補償單元124可產生PU之預測性區塊。
若PU係在B切片中，則運動估計單元122可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元122可搜尋RefPicList0之參考圖像或用於PU之參考區域的第二參考圖像清單(「RefPicList1」)。運動估計單元122可將指示含有參考區域之參考圖像的RefPicList0或RefPicList1中之位置的參考索引、指示PU之預測區塊與相關聯於參考區域之參考位置之間的空間移位之運動向量，及指示參考圖像係在RefPicList0中抑或RefPicList1中之一或多個預測方向指示符輸出為PU之運動資訊。運動補償單元124可至少部分基於由PU之運動向量所指示的參考區域處之實際樣本或內插樣本而產生PU之預測性區塊。
為針對PU執行雙向框間預測，運動估計單元122可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元122可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考索引。另外，運動估計單元122可產生指示與參考區域相關聯之參考位置與PU之預測區塊之間的空間位移之運動向量。PU之運動資訊可包括PU之參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量所指示的參考區域處之實際樣本或內插樣本而產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU的預測性資料。用於PU的預測性資料可包括用於PU的預測性區塊及各 種語法元素。框內預測處理單元126可對I切片中、P切片中及B切片中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式以產生用於PU的多個預測性資料之集合。框內預測處理單元126可基於相鄰PU之樣本而產生用於PU的預測性區塊。對於PU、CU及CTU，假定自左至右自上而下編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於PU之預測區塊的大小。
預測處理單元100可從由框間預測處理單元120所產生的用於PU之預測性資料中，或從由框內預測處理單元126所產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的位元率/失真量度而選擇用於CU之PU的預測性資料。所選擇之預測性資料的預測性區塊在本文中可被稱作所選擇之預測性區塊。
基於CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊，及CU之PU的所選擇的預測性明度區塊、預測性Cb區塊及預測性Cr區塊，殘餘產生單元102可產生CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU的對應所選擇之預測性區塊中之對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將CU之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個對應色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區域中之每一者相關聯的節 點。CU之TU可對應於RQT之葉節點。
藉由將一或多個變換應用至TU之變換區塊，變換處理單元104可產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104並不將變換應用至變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。基於與CU相關聯之量化參數(QP)值，量化單元106可量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用於與CU相關聯之係數區塊的量化程度。量化可使得資訊丟失，因此經量化之變換係數可具有比原始變換係數低之精度。
反量化單元108及反變換處理單元110可將反量化及反變換分別應用至係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100所產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後，儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊，以對與CU相同之 圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作，以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118所產生之經熵編碼資料的位元流。舉例而言，位元流可包括表示CU之RQT的資料。
如上文所指示，本發明之技術可提供允許針對VPS中之任何HRD參數語法結構明確地用信號發出HRD參數語法結構之共同資訊的設計。為使得能夠針對VPS中之任何HRD參數明確地用信號發出HRD參數語法結構之共同資訊，視訊編碼器20可產生遵循以下之表3中所展示之實例語法的VPS語法結構。
表3之斜體部分指示表3之語法與來自HEVC工作草案8之對應表之間的差異。此外，在表3之實例語法中，num_ops_minus1語法元素指定VPS中存在之operation_point()語法結構的數目。hrd_applicable_ops_minus1[i]語法元素指定第i hrd_parameters()語法結構適用之操作點的數目。hrd_op_idx[i][j]語法元素指定VPS中之第ihrd_parameters()語法結構適用的第j操作點。如上文所簡略提及，本發明之技術可允許由多個操作點共用HRD參數之一集合。hrd_applicable_ops_minus1[i]語法元素及hrd_op_idx[i][j]可用來指示HRD參數之集合適用的操作點。在並不允許多個操作點適用於HRD參數之單一集合的一些實例中，自表3省略hrd_applicable_ops_minus1[i]語法元素及hrd_op_idx[i][j]語法元素。
在表3之實例語法中，VPS可包括共同參數存在旗標之集合(亦即，語法元素)，在表3中表示為cprms_present_flag[i]。等於1之cprms_present_flag[i]語法元素指定對於所有子層共同之HRD參數存在於VPS中之第i hrd_parameters()語法結構中。等於0之cprms_present_flag[i]語法元素指定對於所有子層共同的HRD參數並不存在於VPS中之第i hrd_parameters()語法結構中，而係經導出而與VPS中之第(i-1)hrd_parameters()語法結構相同。
cprms_present_flag[0]可經推斷為等於1。亦即，器件可自動判定(亦即，推斷)VPS中的(按寫碼次序)第一hrd_parameters()語法結構包括對於所有子層共同的HRD參數。因此，在VPS中用信號發出之第一HRD參數語法結構包括HRD參數之共同集合。VPS中之一或多個後續HRD參數語法結構可包括HRD參數之不同共同集合。
如上文所簡略提及，本發明之技術可允許針對任何HRD參數語法結構明確地用信號發出HRD參數語法結構之共同資訊(亦即，對於子層中之每一者而言係共同的HRD參數)。表3之cprms_present_flag[i]語法元素可使得視訊解碼器30或另一器件能夠判定HRD參數語法結構中之哪些包括對於子層中之每一者而言係共同的HRD參數之集合。因此，雖然第一HRD參數語法結構可始終包括HRD參數之共同集合，但在VPS中用信號發出之一或多個HRD參數語法結構並不包括HRD參數之共同集合。器件可使用cprms_present_flag[i]語法元素以判定VPS之HRD參數語法結構中之哪些包括HRD參數的共同集合。
HRD參數語法結構(例如，hrd_parameters()語法結構)可包括具體子層HRD參數之集合，而不管HRD參數語法結構是否包括對於所有子層共同之HRD參數。當視訊解碼器30或另一器件判定特定HRD參數語法結構並不包括HRD參數之共同集合時，視訊解碼器30或另一器件可使用與先前HRD參數語法結構及特定HRD參數語法結構之具體子層HRD參數的集合相關聯之HRD參數的共同集合而執行操作。先前HRD參數語法結構可為按寫碼次序在特定HRD參數語法結構之前於VPS中用信號發出的HRD參數之集合。若先前HRD參數語法結構包括HRD參數之共同集合，則與先前HRD參數語法結構相關聯的HRD參數之共同集合為包括於先前HRD參數語法結構中的HRD參數之共同集合。若先前HRD參數語法結構並不包括HRD參數之共同集合，則器件可判定與先前HRD參數語法結構相關聯的HRD參數之共同集合為與按寫碼次序 先於按寫碼次序之先前HRD參數語法結構的HRD參數語法結構相關聯的HRD參數之共同集合。
如上文所提及，器件可使用HRD參數之共同集合及具體子層HRD參數而執行操作。在此操作期間，器件可根據HRD參數中之一或多者管理CPB之操作、解碼視訊資料，及根據HRD參數中之一或多者管理DPB中之經解碼圖像。在另一實例中，HRD參數之共同集合及具體子層HRD參數可用於執行位元流符合性測試或解碼器符合性測試。
此外，在一些實例中，可調式巢套SEI訊息提供用於使SEI訊息與位元流子集(例如，操作點表示)或與具體層及子層相關聯的機制。在一些此等實例中，可調式巢套SEI訊息可含有一或多個SEI訊息。含有於可調式巢套SEI訊息中之SEI訊息可被稱作巢狀SEI訊息。未含有於可調式巢套SEI訊息中之SEI訊息可被稱作非巢狀SEI訊息。在一些實例中，可調式巢套SEI訊息中之巢狀SEI訊息可包括HRD參數之集合。
在一些實例中，對於可巢套哪些類型之訊息存在若干限制。舉例而言，可不能在相同可調式巢套SEI訊息中巢套緩衝週期SEI訊息及任何其他類型之SEI訊息。緩衝週期SEI訊息可指示HRD操作的初始延遲。在另一實例中，可不能在相同可調式巢套SEI訊息中巢套圖像時序SEI訊息及任何其他類型之SEI訊息。圖像時序SEI訊息可指示HRD操作的圖像輸出時間及圖像/子圖像移除時間。在其他實例中，可在相同可調式巢套SEI訊息中巢套圖像時序SEI訊息及子圖像時序SEI訊息。子圖像時序SEI訊息可將CPB移除延遲資訊提供給與SEI訊息相關聯之經解碼單元。
如上文所指示，本發明之一或多個技術可允許一SEI訊息適用於多個操作點。此外，本發明之一或多個技術可使得視訊編碼器20能夠用信號發出適用於SEI NAL單元中之巢狀SEI訊息的操作點是否為由 SEI NAL單元之NAL單元標頭中之層識別資訊所指示的操作點。另外，本發明之一或多個技術可通過差分寫碼提高層識別符之顯式寫碼的效率。以下之表4中所展示之實例語法，及隨附語義可實施此等技術。
在表4之實例中，斜體部分可指示與HEVC工作草案8之差異。具體而言，在表4之實例語法中，等於0之bitstream_subset_flag語法元素指定巢套於可調式巢套SEI訊息中之SEI訊息適用於具體層及子層。等於1之bitstream_subset_flag語法元素指定巢套於可調式巢套SEI訊息中之SEI訊息適用於由HEVC工作草案8之子條款10.1的子位元流提取程序而產生的子位元流，該程序具有如以下所指定的，由可調式巢套SEI訊息之語法元素所指定的輸入。HEVC工作草案8之子條款10.1描 述用於自位元流提取子位元流(亦即，操作點表示)的操作。具體而言，HEVC工作草案8之子條款10.1提供藉由自位元流移除具有大於tIdTarget之時間識別符(例如，TemporalID)的所有NAL單元，或具有不處於targetDecLayerIdSet中之值的層識別符(例如，nuh_reserved_zero_6bits)之所有NAL單元而導出子位元流。tIdTarget及targetDecLayerIdSet為位元流提取程序的參數。在一些實例中，若巢狀SEI訊息為圖像緩衝SEI訊息、圖像時序SEI訊息或子圖像時序SEI訊息，則bitstream_subset_flag語法元素等於1。否則，在此等實例中，bitstream_subset_flag語法元素等於0。
此外，在表4之實例語法中，若bitstream_subset_flag語法元素等於1，則可調式巢套SEI訊息包括default_op_applicable_flag語法元素。等於1之default_op_applicable_flag語法元素指定巢狀SEI訊息(亦即，巢套於可調式巢套SEI訊息內之SEI訊息)適用於預設子位元流，該預設子位元流為HEVC工作草案8之子條款10.1的子位元流提取程序之輸出，該程序具有等於當前SEI NAL單元之時間識別符(TemporalId)的tIdTarget之輸入，及由處於0至當前SEI NAL單元之nuh_reserved_zero_6bits(包括0及nuh_reserved_zero_6bits)範圍內的nuh_reserved_zero_6bits之所有值組成的targetDecLayerIdSet之輸入。因此，預設子位元流可為藉由自位元流移除具有大於當前SEI NAL單元之時間識別符的時間識別符之所有NAL單元，或移除具有處於0至當前SEI NAL單元之層識別符(例如，nuh_reserved_zero_6bits)(包括0及nuh_reserved_zero_6bits)範圍內的層識別符之所有NAL單元而導出的位元流。舉例而言，預設子位元流可為位元流之子集，且預設子位元流可不包括具有大於由NAL單元標頭之層識別符語法元素所指示的層識別符之層識別符的位元流之VCL NAL單元，或具有大於由NAL單元標頭之時間層識別符語法元素(例如，nuh_temporal_id_plus1)所 指示的時間識別符之時間識別符的位元流之VCL NAL單元。等於0之default_op_applicable_flag語法元素指定巢狀SEI訊息並不適用於預設子位元流。
在表4之實例語法中，若bitstream_subset_flag語法元素等於1，則可調式巢套SEI訊息包括nesting_num_ops_minus1語法元素。nesting_num_ops_minus1語法元素加上1指定可調式巢套SEI訊息中的nesting_op_idx[i]語法元素之數目。因此，若nesting_num_ops_minus1語法元素加上1大於0，則nesting_num_ops_minus1語法元素可指示可調式巢套SEI訊息是否包括識別巢狀SEI訊息適用之多個操作點的複數個語法元素。以此方式，器件可自可調式巢套SEI訊息解碼指示巢狀SEI訊息適用之操作點的數目的語法元素(nesting_num_ops_minus1)。當nesting_num_ops_minus1語法元素不存在時，nesting_num_ops_minus1之值可經推斷為等於0。因此，若bitstream_subset_flag語法元素等於0，則可調式巢套SEI訊息不包括nesting_op_idx[i]語法元素。
等於0之nesting_op_flag語法元素指定由all_layers_flag語法元素，及(當存在時)nesting_layer_id_delta[i]語法元素(所有值i處於0至nesting_num_layers_minus1之範圍內(包括0及nesting_num_layers_minus1))指定nestingLayerIdSet[0]。nestingLayerIdSet[]語法元素為層識別符之陣列。等於1之nesting_op_flag語法元素指定由nesting_op_idx[i]語法元素指定nestingLayerIdSet[i]。當不存在時，推斷nesting_op_flag之值等於1。
nesting_max_temporal_id_plus1[i]語法元素指定變數maxTemporalId[i]。在表4之實例語法中，nesting_max_temporal_id_plus1[i]語法元素之值大於當前SEI NAL單元(亦即，含有可調式巢套SEI訊息之NAL單元)之nuh_temporal_id_plus1 語法元素的值。變數maxTemporalId[i]設定為等於nesting_max_temporal_id_plus1[i]-1。
nesting_op_idx[i]語法元素用於指定設定nestingLayerIdSet[i]。設定nestingLayerIdSet[i]可由op_layer_id[nesting_op_idx][i](其中i之所有值處於0至op_num_layer_id_values_minus1[nesting_op_idx]的範圍內(包括0及op_num_layer_id_values_minus1[nesting_op_idx]))組成。作用中VPS可指定op_layer_id[][]值及op_num_layer_values_minus1[]值。
此外，在表4之實例語法中，等於0之all_layers_flag語法元素指定設定nestingLayerIdSet[0]由nestingLayerId[i](所有值i處於0至nesting_num_layers_minus1的範圍內(包括0及nesting_num_layers_minus1))組成。以下描述變數nestingLayerId[i]。等於1之all_layers_flag語法元素指定設定nestingLayerIdSet由等於或大於當前SEI NAL單元之nuh_reserved_zero_6bits的，存在於當前存取單元中的nuh_reserved_zero_6bits之所有值組成。
nesting_num_layers_minus1語法元素加上1指定可調式巢套SEI訊息中之nesting_layer_id_delta[i]語法元素的數目。當i等於0時，nesting_layer_id_delta[i]語法元素指定包括於設定nestingLayerIdSet[0]中之第一(亦即，第0)nuh_reserved_zero_6bits值與當前SEI NAL單元之nuh_reserved_zero_6bits語法元素之間的差。當i大於0時，nesting_layer_id_delta[i]語法元素指定包括於設定nestingLayerIdSet[0]中之第i nuh_reserved_zero_6bits值與第(i-1)nuh_reserved_zero_6bits值之間的差。
可如下導出變數nestingLayerId[i]，其中nuh_reserved_zero_6bits係來自當前SEI NAL單元之NAL單元標頭。
nestingLayerId[0]=nuh_reserved_zero_6bits+nesting_layer_id_delta[0]
for(i=1；i<=nesting_num_layers_minus1；i++)
nestingLayerId[i]=nestingLayerId[i-1]+nesting_layer_id_delta[i]
設定nestingLayerIdSet[0]設定成由nestingLayerId[i](所有i值處於0至nesting_num_layers_minus1之範圍內(包括0及nesting_num_layers_minus1))組成。當bitstream_subset_flag語法元素等於0時，巢狀SEI訊息適用於具有包括於設定nestingLayerIdSet[0]中之nuh_reserved_zero_6bits的NAL單元，或具有等於當前SEI NAL單元之nuh_reserved_zero_6bits的NAL單元，且其中nuh_temporal_id_plus1處於當前SEI NAL單元之nuh_temporal_id_plus1至maxTemporalId[0]+1的範圍內(包括當前SEI NAL單元之nuh_temporal_id_plus1及maxTemporalId[0]+1)。當bitstream_subset_flag語法元素等於1時，巢狀SEI訊息適用於HEVC工作草案8之子條款10.1的子位元流提取程序之輸出，該程序具有等於maxTemporalId[i]之tIdTarget的輸入，及等於nestingLayerIdSet[i](每一i值處於0至nesting_num_ops_minus1的範圍內(包括0及nesting_num_ops_minus1))之targetDecLayerIdSet的輸入，且當default_op_applicable_flag語法元素等於1時，巢狀SEI訊息亦適用於預設子位元流。經提取之子位元流可由移除具有大於maxTemporalId[i]之時間識別符的所有NAL單元，或移除具有處於0至nesting_num_ops_minus1之範圍內的層識別符之所有NAL單元而產生。
以此方式，對於巢狀SEI訊息適用之複數個操作點中的至少一各別操作點，器件(例如，視訊編碼器20、視訊解碼器30，或諸如內容傳遞網路器件之另一器件)可自可調式巢套SEI訊息解碼第一語法元素(例如，nesting_max_temporal_id_plus1[i])及第二語法元素(例如，nesting_op_idx[i])。此外，器件可至少部分基於第一語法元素，判定各別操作點之最大時間識別符。器件可至少部分基於第二語法元素， 判定各別操作點之層識別符的集合。
在表4之實例中，nesting_zero_bit語法元素等於0。nesting_zero_bit語法元素可用來確保可調式巢套SEI訊息係位元組對準的。當可調式巢套SEI訊息中之位元的數目可由8整除時，可調式巢套SEI訊息可係位元組對準的。
此外，在表4之實例中，sei_message()語法結構包括SEI訊息。因此，器件可自可調式巢套SEI訊息解碼由可調式巢套SEI訊息所囊封的複數個巢狀SEI訊息。巢狀SEI訊息中之每一者可適用於由複數個語法元素(例如，nesting_max_temporal_id_plus1[i]、nesting_op_idx[i]等)所識別的所有操作點。
在替代性實例中，可調式巢套SEI訊息可遵循以下之表5的實例語法。在表5之實例語法中，根據本發明之一或多個技術，可調式巢套SEI訊息可通過使用寫碼旗標而提高層識別符之顯式寫碼的效率。
在表5之實例中，斜體部分展示與HEVC工作草案8的差異。如表5中所展示，bitstream_subset_flag語法元素、default_op_applicable_flag語法元素、nesting_num_ops_minus1語法元素、nesting_max_temporal_id_plus1語法元素、nesting_op_idx[i]語法元素及nesting_zero_bit語法元素可具有與上文關於表4所描述之語義相同的語義。
此外，在表5之實例中，變數minLayerId設定成等於nuh_reserved_zero_6bits+1，其中nuh_reserved_zero_6bits係來自當前SEI NAL單元之NAL單元標頭。等於0之nesting_op_flag語法元素指定由all_layers_flag語法元素及(當存在時)nesting_layer_id_included_flag[i](所有值i處於0至nesting_max_layer_id-minLayerId-1之範圍內(包括0及nesting_max_layer_id-minLayerId-1))指定設定nestingLayerIdSet[0]。等於1之nesting_op_flag語法元素指定由nesting_op_idx[i]語法元素指定設定nestingLayerIdSet[i]。當nesting_op_flag語法元素不存在時，推斷nesting_op_flag之值等於1。
在表5之實例中，等於0之all_layers_flag語法元素指定設定nestingLayerIdSet[0]由nestingLayerId[i](所有i值處於0至nesting_max_layer_id-minLayerId的範圍內(包括0及nesting_max_layer_id-minLayerId))組成。以下描述nestingLayerId[i]變數。在表5之實例中，等於1之all_layers_flag指定設定nestingLayerIdSet由大於或等於當前SEI NAL單元之nuh_reserved_zero_6bits語法元素的，存在於當前存取單元中之 nuh_reserved_zero_6bits的所有值組成。
此外，在表5之實例中，nesting_max_layer_id語法元素指定設定nestingLayerIdSet[0]中之nuh_reserved_zero_6bits的最大值。等於1之nesting_layer_id_included_flag[i]語法元素指定等於i+minLayerId的nuh_reserved_zero_6bits之值包括於設定nestingLayerIdSet[0]中。等於0之nesting_layer_id_included_flag[i]語法元素指定等於i+minLayerId的nuh_reserved_zero_6bits之值不包括於設定nestingLayerIdSet[0]中。
可如下導出變數nestingNumLayersMinus1及變數nestingLayerId[i](i處於0至nestingNumLayersMinus1的範圍內(包括0及nestingNumLayersMinus1))：for(i=0,j=0；i<nesting_max_layer_id；i++)
if(nesting_layer_id_incuded_flag[i])
nestingLayerId[j++]=I+minLayerId
nestingLayerId[j]=nesting_max_layer_id
nestingNumLayersMinus1=j
設定nestingLayerIdSet[0]可經設定成由nestingLayerId[i](所有i值處於0至nestingNumLayersMinus1的範圍內(包括0及nestingNumLayersMinus1))組成。
當bitstream_subset_flag語法元素等於0時，巢狀SEI訊息可適用於具有包括於設定nestingLayerIdSet[0]中之nuh_reserved_zero_6bits的NAL單元，或具有等於當前SEI NAL單元之nuh_reserved_zero_6bits語法元素的nuh_reserved_zero_6bits之NAL單元，且其中nuh_temporal_id_plus1處於自當前SEI NAL單元之nuh_temporal_id_plus1語法元素至maxTemporalId[0]+1的範圍內(包括當前SEI NAL單元之nuh_temporal_id_plus1語法元素及maxTemporalId[0]+1)。
當可調式巢套SEI訊息之bitstream_subset_flag語法元素等於1時，巢狀SEI訊息可適用於子條款10.1之子位元流提取程序的輸出，該程序具有等於maxTemporalId[i]之tIdTarget的輸入，及等於nestingLayerIdSet[i](每一i值處於0至nesting_num_ops_minus1的範圍內(包括0及nesting_num_ops_minus1))之targetDecLayerIdSet的輸入，且當default_op_applicable_flag等於1時，巢狀SEI訊息亦適用於預設子位元流。
圖3為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。圖3係出於解釋之目的而提供，且並不限制如本發明中所廣泛地例示及描述的技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同的功能組件。
經寫碼圖像緩衝器(CPB)151可接收及儲存位元流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元，並剖析NAL單元以解碼語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元流所提取的語法元素而產生經解碼視訊資料。
位元流之NAL單元可包括經寫碼切片NAL單元。作為解碼位元流之部分，熵解碼單元150可提取及熵解碼來自經寫碼切片NAL單元的語法元素。經寫碼切片中之每一者可包括切片標頭及切片資料。切片 標頭可含有關於切片之語法元素。切片標頭中之語法元素可包括識別與含有切片之圖像相關聯的PPS之語法元素。
除了自位元流解碼語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為對未經分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元154可反量化(亦即，解量化)與TU相關聯之係數區塊。反量化單元154可使用與TU之CU相關聯的QP值，以判定量化程度，及同樣，反量化單元154應用的反量化程度。亦即，可藉由調整當量化變換係數時所使用的QP之值而控制壓縮比，亦即用於表示原始序列與經壓縮之序列的位元之數目的比。壓縮比亦可取決於所利用之熵寫碼方法。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用至係數區塊，以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反K-L變換(KLT)、反旋轉變換、反定向變換或另一反變換應用至係數區塊。
若使用框內預測編碼PU，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可基於空間上相鄰之PU的預測區塊，使用框內預測模式以產生用於PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊。框內預測處理單元166可基於自位元流解碼之一或多個語法元素，判定用於PU的框內預測模式。
預測處理單元152可基於自位元流所提取的語法元素，建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若使用框間預測編碼PU，則熵解碼單元150可提取用於PU的運動 資訊。運動補償單元164可基於PU之運動資訊，判定用於PU的一或多個參考區域。運動補償單元164可基於用於PU之一或多個參考區塊處的樣本區塊，產生用於PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊。
重建構單元158可使用(如適用)與CU之TU相關聯的明度變換區塊、Cb變換區塊及Cr變換區塊，及CU之PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊(亦即，框內預測資料抑或框間預測資料)，以重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。舉例而言，重建構單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本添加至預測性明度區塊、預測性Cb區塊及預測性Cr區塊之對應樣本，以重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。
濾波器單元160可執行解區塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及展現於諸如圖1之顯示器件32的顯示器件上。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度區塊、Cb區塊及Cr區塊，對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元流提取大量明度係數區塊之變換係數層級；反量化變換係數層級；將變換應用至變換係數層級以產生變換區塊；至少部分基於變換區塊而產生寫碼區塊；及輸出寫碼區塊以用於顯示。
圖4為說明根據本發明之一或多個技術的視訊編碼器20之實例操作200的流程圖。在圖4之實例中，視訊編碼器20可產生包括複數個HRD參數語法結構之VPS，該複數個HRD參數語法結構各自包括HRD參數(202)。對於複數個HRD參數語法結構中之每一各別HRD參數語 法結構，VPS進一步包括指示各別HRD參數語法結構之HRD參數在除了特定於位元流之特定子層的具體子層HRD參數資訊之集合之外，是否包括HRD參數之共同集合的語法元素，其中HRD參數之共同集合對於位元流之所有子層而言係共同的。此外，視訊編碼器20可在位元流中用信號發出VPS(204)。
圖5為說明根據本發明之一或多個技術的器件之實例操作250的流程圖。可由視訊編碼器20、視訊解碼器30或另一器件執行操作250。如在圖5之實例中所說明，器件可自位元流解碼包括複數個HRD參數語法結構之VPS，該複數個HRD參數語法結構各自包括HRD參數(252)。對於複數個HRD參數語法結構中之每一各別HRD參數語法結構，VPS進一步包括指示各別HRD參數語法結構之HRD參數是否包括HRD參數的共同集合之語法元素。
此外，器件可使用HRD參數語法結構中之至少一者的HRD參數而執行操作(254)。在一些實例中，位元流可包含特定操作點之操作點表示，特定HRD參數語法結構可適用於特定操作點，且器件可使用特定HRD參數語法結構之HRD參數來執行操作。舉例而言，器件可使用HRD參數，以執行判定適用於HRD參數語法結構之操作點是否遵循視訊寫碼標準(諸如，HEVC)的位元流符合性測試。在另一實例中，器件可使用HRD參數以執行解碼器符合性測試。
HRD參數之共同集合對於位元流之所有子層而言可係共同的。在一些實例中，每一HRD參數語法結構之HRD參數包括特定於位元流之特定子層的具體子層HRD參數之集合。在一些實例中，具體子層HRD參數之集合中的每一者包括語法元素(例如，指示按輸出次序之任何兩個連續圖像的HRD輸出時間之間的時間距離的語法元素、指示經寫碼視訊序列之位元流中的替代性經寫碼圖像緩衝器規範之數目的語法元素)。在一些實例中，當器件判定特定HRD參數語法結構並不 包括HRD參數之共同集合時，器件可使用與先前HRD參數語法結構，及特定HRD參數語法結構之具體子層HRD參數的集合相關聯之HRD參數的共同集合來執行操作。
圖6為說明根據本發明之一或多個技術的視訊編碼器20之實例操作300的流程圖。如圖6之實例中所說明，視訊編碼器20可產生包括複數個語法元素之可調式巢套SEI訊息，該複數個語法元素識別由可調式巢套SEI訊息所囊封之巢狀SEI訊息適用的複數個操作點(302)。此外，視訊編碼器20可在位元流中用信號發出可調式巢套SEI訊息(304)。
圖7為說明根據本發明之一或多個技術的器件之實例操作350的流程圖。視訊編碼器20、視訊解碼器30或另一器件可執行操作350。如圖7之實例中所說明，器件可自可調式巢套SEI訊息解碼識別由可調式巢套SEI訊息所囊封之巢狀SEI訊息適用的複數個操作點之複數個語法元素(352)。在一些實例中，器件可自可調式巢套SEI訊息解碼指示可調式巢套SEI訊息是否包括識別操作點之複數個語法元素的語法元素(例如，nesting_num_ops_minus1)。
此外，器件可使用巢狀SEI訊息之一或多個語法元素，以執行關於巢狀SEI訊息適用的操作點中之任一者的操作(354)。舉例而言，器件可在判定巢狀SEI訊息適用的操作點中之任一者是否遵循視訊寫碼標準(諸如，HEVC)之位元流符合性測試中使用巢狀SEI訊息之語法元素。在另一實例中，器件可使用巢狀訊息之語法元素以執行解碼器符合性測試。
圖8為說明根據本發明之一或多個技術的視訊編碼器20之實例操作400的流程圖。如在圖8之實例中所說明，在由SEI NAL單元囊封之可調式巢套SEI訊息中，視訊編碼器20可包括指示由可調式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於預設子位元流的語法元素(例如， default_op_applicable_flag)(402)。預設子位元流為由SEI NAL單元之NAL單元標頭中所指定的層識別符，及NAL單元標頭中所指定之時間識別符所定義的操作點之操作點表示。NAL單元標頭中之第一語法元素(例如，nuh_reserved_zero_6bits)可指示層識別符，且NAL單元標頭中之第二語法元素(例如，nuh_reserved_temporal_id_plus1)可指示時間識別符。
在圖8之實例中，在可調式巢套SEI訊息中，視訊編碼器20可包括識別額外操作點之時間識別符，及額外操作點之最大層識別符的一或多個額外語法元素(404)。此外，視訊編碼器20可在位元流中用信號發出可調式巢套SEI訊息(406)。在一些實例中，指示由可調式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於預設子位元流的語法元素可被稱作第一語法元素，且視訊編碼器20可在可調式巢套SEI訊息中包括第二語法元素(例如，bitstream_subset_flag)。第二語法元素可指示由可調式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於自位元流所提取的子位元流，或巢狀SEI訊息是否適用於位元流之具體層及子層。當第二語法元素指示巢狀SEI訊息適用於自位元流所提取之子位元流時，視訊編碼器20可僅包括第一語法元素。
圖9為說明根據本發明之一或多個技術的器件之實例操作450的流程圖。視訊編碼器20、視訊解碼器30或另一器件可執行操作450。如在圖9之實例中所說明，器件可至少部分基於可調式巢套SEI訊息之第一語法元素(例如，bitstream_subset_flag)，判定由可調式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於自位元流所提取的子位元流(452)。回應於判定由可調式巢套SEI訊息所囊封之巢狀SEI訊息適用於自位元流所提取的子位元流(452之「是」)，器件可解碼可調式巢套SEI訊息中的預設操作點語法元素(例如，default_op_applicable_flag)(454)。預設操作點語法元素可指示由可調 式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於預設子位元流。
預設子位元流可為由SEI NAL單元之NAL單元標頭中所指定之層識別符，及NAL單元標頭中所指定之時間識別符所定義的操作點之操作點表示。在一些實例中，NAL單元標頭中之第一語法元素(例如，nuh_reserved_zero_6bits)指示層識別符，且NAL單元標頭中之第二語法元素(例如，nuh_reserved_temporal_id_plus1)指示時間識別符。預設子位元流可為位元流之子集，且預設子位元流並不包括位元流之如下VCL NAL單元：具有大於由NAL單元標頭之第一語法元素所指示之層識別符的層識別符，或具有大於由NAL單元標頭之第二語法元素所指示之時間識別符的時間識別符。
此外，器件可至少部分基於由SEI NAL單元所囊封之可調式巢套SEI訊息中的語法元素(例如，default_op_applicable_flag)，判定由可調式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於位元流之預設子位元流(456)。在一些實例中，可調式巢套SEI訊息囊封複數個巢狀SEI訊息。在此等實例中，器件可基於語法元素(例如，default_op_applicable_flag)，判定可調式巢套SEI訊息中的巢狀SEI訊息中之每一者是否適用於預設子位元流。
當巢狀SEI訊息適用於預設子位元流時(456之「是」)，器件可在對預設子位元流之操作中使用巢狀SEI訊息(458)。舉例而言，巢狀SEI訊息可包括HRD參數之集合。在此實例中，器件可在測試預設子位元流是否遵循視訊寫碼標準(諸如，HEVC)之操作中使用巢狀SEI訊息中之HRD參數。在另一實例中，器件可在解碼器符合性測試中使用巢狀SEI訊息中之HRD參數。在另一實例中，器件可在對預設子位元流之解碼操作中使用巢狀SEI訊息。在另一實例中，初始CPB移除延遲可用於導引系統以建立適當的初始端對端延遲，且當經由RTP輸送視訊時，DPB輸出時間可用於導出RTP時戳。
否則，當巢狀SEI訊息並不適用於預設子位元流(456之「否」)時，或當可調式巢套SEI訊息並不適用於自位元流所提取之子位元流(452之「否」)時，器件並不在對預設子位元流之操作中使用巢狀SEI訊息(460)。舉例而言，器件可基於可調式巢套SEI訊息中之一或多個額外語法元素(例如，nesting_max_temporal_id_plus1[i]、nesting_op_idx[i]等)，判定第二操作點之時間識別符及第二操作點之最大層識別符。在此實例中，器件可在對額外子位元流之操作中使用巢狀SEI訊息，額外子位元流為第二操作點之操作點表示。
在一或多個實例中，可以硬體、軟體、韌體或其任何組合來實施所描述之功能。若以軟體實施，則功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上，或經由電腦可讀媒體傳輸，及由基於硬體之處理單元執行。電腦可讀媒體可包括對應於諸如資料儲存媒體之有形媒體的電腦可讀儲存媒體，或通信媒體，通信媒體包括(例如)根據通信協定，促進將電腦程式自一位置傳送至另一位置的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構，以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制性，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙 絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體，而係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。上文各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置來實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。實情為，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合合適的軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。

Claims (46)

  1. 一種處理視訊資料之方法，該方法包含：至少部分基於由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及當該巢狀SEI訊息適用於該預設子位元流時，在對該預設子位元流之一操作中使用該巢狀SEI訊息。
  2. 如請求項1之方法，其中該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符。
  3. 如請求項2之方法，其中該預設子位元流為一經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  4. 如請求項1之方法，其中該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合。
  5. 如請求項4之方法，其中使用該巢狀SEI訊息包含在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數。
  6. 如請求項1之方法，其中使用該巢狀SEI訊息包含在對該預設子位元流之一解碼操作中使用該巢狀SEI訊息。
  7. 如請求項1之方法，其中：該可調式巢套SEI訊息囊封複數個巢狀SEI訊息，及判定該巢狀SEI訊息是否適用於該預設子位元流包含至少部分基於該語法元素，判定該等巢狀SEI訊息中之每一者是否適用於該預設子位元流。
  8. 如請求項1之方法，其中：該可調式巢套SEI訊息中之該語法元素為一第一語法元素，及該方法進一步包含至少部分基於該可調式巢套SEI訊息中指示由該可調式巢套SEI訊息所囊封之巢狀SEI訊息適用於自該經編碼視訊位元流所提取之一子位元流的一第二語法元素，判定該可調式巢套SEI訊息包括該第一語法元素。
  9. 如請求項1之方法，其中該方法進一步包含：基於該可調式巢套SEI訊息中之一或多個額外語法元素，判定一第二操作點之一時間識別符，及該第二操作點之一最大層識別符；及在對一額外子位元流之一操作中使用該巢狀SEI訊息，該額外子位元流為該第二操作點之一操作點表示。
  10. 一種包含一或多個處理器之器件，該等處理器經組態以：至少部分基於由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示； 及當該巢狀SEI訊息適用於該預設子位元流時，在對該預設子位元流之一操作中使用該巢狀SEI訊息。
  11. 如請求項10之器件，其中該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符。
  12. 如請求項11之器件，其中該預設子位元流為該經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  13. 如請求項10之器件，其中該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合。
  14. 如請求項13之器件，其中該一或多個處理器經組態以在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數。
  15. 如請求項10之器件，其中該一或多個處理器經組態以在對該預設子位元流之一解碼操作中使用該巢狀SEI訊息。
  16. 如請求項10之器件，其中：該可調式巢套SEI訊息囊封複數個巢狀SEI訊息，及該一或多個處理器經組態以至少部分基於該語法元素，判定該等巢狀SEI訊息中之每一者是否適用於該預設子位元流。
  17. 如請求項10之器件，其中：該可調式巢套SEI訊息中之該語法元素為一第一語法元素，及該一或多個處理器進一步經組態以至少部分基於該可調式巢 套SEI訊息中指示由該可調式巢套SEI訊息所囊封之巢狀SEI訊息適用於自該經編碼視訊位元流所提取之一子位元流的一第二語法元素，判定該可調式巢套SEI訊息包括該第一語法元素。
  18. 如請求項10之器件，其中該一或多個處理器進一步經組態以：基於該可調式巢套SEI訊息中之一或多個額外語法元素，判定一第二操作點之一時間識別符，及該第二操作點之一最大層識別符；及在對一額外子位元流之一操作中使用該巢狀SEI訊息，該額外子位元流為該第二操作點之一操作點表示。
  19. 一種器件，其包含：用於至少部分基於由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的構件，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及用於當該巢狀SEI訊息適用於該預設子位元流時，在對該預設子位元流之一操作中使用該巢狀SEI訊息的構件。
  20. 如請求項19之器件，其中：該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符，及該預設子位元流為一經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭 之該第二語法元素所指示之該時間識別符的時間識別符。
  21. 如請求項19之器件，其中：該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合，及該器件包含用於在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數的構件。
  22. 一種儲存指令之電腦可讀儲存媒體，當由一器件之一或多個處理器執行該等指令時，該等指令組態該器件以：至少部分基於由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中的一語法元素，判定由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及當該巢狀SEI訊息適用於該預設子位元流時，在對該預設子位元流之一操作中使用該巢狀SEI訊息。
  23. 如請求項22之電腦可讀儲存媒體，其中：該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符，及該預設子位元流為一經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  24. 如請求項22之電腦可讀儲存媒體，其中：該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合，及 該等指令進一步組態該器件以在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數。
  25. 一種編碼視訊資料之方法，該方法包含：在由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息。
  26. 如請求項25之方法，其中該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符。
  27. 如請求項26之方法，其中該預設子位元流為該經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  28. 如請求項25之方法，其中該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合。
  29. 如請求項28之方法，其進一步包含在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數。
  30. 如請求項25之方法，其中： 該可調式巢套SEI訊息囊封複數個巢狀SEI訊息，及該語法元素指示該等巢狀SEI訊息中之每一者是否適用於該預設子位元流。
  31. 如請求項25之方法，其中：該可調式巢套SEI訊息中之該語法元素為該可調式巢套SEI訊息中的一第一語法元素，該方法進一步包含在該可調式巢套SEI訊息中包括一第二語法元素，該第二語法元素指示由該可調式巢套SEI訊息所囊封之巢狀SEI訊息是否適用於自該經編碼視訊位元流所提取之一子位元流，或該等巢狀SEI訊息是否適用於該經編碼視訊位元流之具體層及子層，及當該第二語法元素指示該等巢狀SEI訊息適用於自該經編碼視訊位元流所提取之該子位元流時，該可調式巢套SEI訊息僅包括該第一語法元素。
  32. 如請求項25之方法，其中：由該SEI NAL單元之一NAL單元標頭之一或多個語法元素識別的該操作點為一第一操作點，及該方法進一步包含在該可調式巢套SEI訊息中包括識別一第二操作點之一時間識別符，及該第二操作點之一最大層識別符的一或多個額外語法元素。
  33. 一種包含一或多個處理器之視訊編碼器件，該等處理器經組態以：在由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素，其中該預設子位元流為由該SEI NAL單元之 一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息。
  34. 如請求項33之視訊編碼器件，其中該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符。
  35. 如請求項34之視訊編碼器件，其中該預設子位元流為該經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  36. 如請求項33之視訊編碼器件，其中該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合。
  37. 如請求項36之視訊編碼器件，其中該一或多個處理器進一步經組態以在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數。
  38. 如請求項33之視訊編碼器件，其中：該可調式巢套SEI訊息囊封複數個巢狀SEI訊息，及該語法元素指示該等巢狀SEI訊息中之每一者是否適用於該預設子位元流。
  39. 如請求項33之視訊編碼器件，其中：該可調式巢套SEI訊息中之該語法元素為該可調式巢套SEI訊息中的一第一語法元素，該一或多個處理器進一步經組態以在該可調式巢套SEI訊息中包括一第二語法元素，該第二語法元素指示由該可調式巢套SEI 訊息所囊封之巢狀SEI訊息是否適用於自該經編碼視訊位元流所提取之一子位元流，或該等巢狀SEI訊息是否適用於該經編碼視訊位元流之具體層及子層，及當該第二語法元素指示該等巢狀SEI訊息適用於自該經編碼視訊位元流所提取之該子位元流時，該可調式巢套SEI訊息僅包括該第一語法元素。
  40. 如請求項33之視訊編碼器件，其中：由該SEI NAL單元之一NAL單元標頭之一或多個語法元素識別的該操作點為一第一操作點，及該一或多個處理器進一步經組態以在該可調式巢套SEI訊息中包括識別一第二操作點之一時間識別符，及該第二操作點之一最大層識別符的一或多個額外語法元素。
  41. 一種視訊編碼器件，其包含：用於在由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素的構件，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及用於在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息的構件。
  42. 如請求項41之視訊編碼器件，其中：該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符，及該預設子位元流為一經編碼視訊位元流之一子集，且該預設 子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  43. 如請求項41之視訊編碼器件，其中：該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合，及該視訊編碼器件包含用於在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數的構件。
  44. 一種儲存指令之電腦可讀儲存媒體，當由一視訊編碼器件執行該等指令時，該等指令組態該視訊編碼器件以：在由一補充增強資訊(SEI)網路抽象層(NAL)單元所囊封之一可調式巢套SEI訊息中，包括指示由該可調式巢套SEI訊息所囊封之一巢狀SEI訊息是否適用於一經編碼視訊位元流之一預設子位元流的一語法元素，其中該預設子位元流為由該SEI NAL單元之一NAL單元標頭中所指定之一層識別符及該NAL單元標頭中所指定之一時間識別符所定義的一操作點之一操作點表示；及在該經編碼視訊位元流中用信號發出該可調式巢套SEI訊息。
  45. 如請求項44之電腦可讀儲存媒體，其中：該NAL單元標頭中之一第一語法元素指示該層識別符，且該NAL單元標頭中之一第二語法元素指示該時間識別符，及該預設子位元流為一經編碼視訊位元流之一子集，且該預設子位元流並不包括該經編碼視訊位元流之如下的視訊寫碼層(VCL)NAL單元：具有大於由該NAL單元標頭之該第一語法元素所指示之該層識別符的層識別符，或具有大於由該NAL單元標頭之該第二語法元素所指示之該時間識別符的時間識別符。
  46. 如請求項44之電腦可讀儲存媒體，其中：該巢狀SEI訊息包括假想參考解碼器(HRD)參數之一集合，及該等指令進一步組態該視訊編碼器件以在測試該預設子位元流是否遵循一視訊寫碼標準之一操作中使用該巢狀SEI訊息中之該等HRD參數。
TW102136398A 2012-10-08 2013-10-08 處理視訊資料及編碼視訊資料之方法，視訊處理器件，視訊編碼器件及其電腦可讀取儲存媒體 TWI533674B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261711098P 2012-10-08 2012-10-08
US13/954,758 US9154785B2 (en) 2012-10-08 2013-07-30 Sub-bitstream applicability to nested SEI messages in video coding

Publications (2)

Publication Number Publication Date
TW201436536A true TW201436536A (zh) 2014-09-16
TWI533674B TWI533674B (zh) 2016-05-11

Family

ID=50432659

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102136377A TWI565299B (zh) 2012-10-08 2013-10-08 假想參考解碼器參數之語法結構
TW102136398A TWI533674B (zh) 2012-10-08 2013-10-08 處理視訊資料及編碼視訊資料之方法，視訊處理器件，視訊編碼器件及其電腦可讀取儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102136377A TWI565299B (zh) 2012-10-08 2013-10-08 假想參考解碼器參數之語法結構

Country Status (30)

Country Link
US (3) US9154785B2 (zh)
EP (3) EP2904787B1 (zh)
JP (3) JP6013614B2 (zh)
KR (3) KR101697886B1 (zh)
CN (3) CN104685892B (zh)
AP (1) AP3952A (zh)
AR (2) AR093288A1 (zh)
AU (2) AU2013330284B2 (zh)
BR (2) BR112015007763B1 (zh)
CA (2) CA2885670C (zh)
CO (1) CO7350643A2 (zh)
DK (1) DK2904782T3 (zh)
EC (1) ECSP15018127A (zh)
ES (2) ES2663692T3 (zh)
HK (2) HK1207775A1 (zh)
HU (2) HUE038492T2 (zh)
IL (2) IL237949B (zh)
MA (1) MA37971B1 (zh)
MX (1) MX341437B (zh)
MY (2) MY168739A (zh)
PH (2) PH12015500625B1 (zh)
PT (1) PT2904782T (zh)
RU (2) RU2643463C2 (zh)
SA (1) SA515360254B1 (zh)
SG (2) SG11201501832UA (zh)
SI (1) SI2904782T1 (zh)
TW (2) TWI565299B (zh)
UA (2) UA116998C2 (zh)
WO (3) WO2014058600A1 (zh)
ZA (1) ZA201502498B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185992A (zh) * 2012-02-08 2014-12-03 汤姆逊许可公司 用于使用假设参考解码器的超低延迟模式的方法和装置
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9912941B2 (en) 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
WO2014059049A1 (en) 2012-10-09 2014-04-17 Rodriguez Arturo A Output management of prior decoded pictures at picture format transitions in bitstreams
CN104756500B (zh) * 2012-10-09 2018-07-17 思科技术公司 向经编码视频的子层提供共同参数集
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
WO2015056158A1 (en) * 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
EP3058747B1 (en) * 2013-10-15 2019-11-20 Nokia Technologies Oy Scalable video encoding and decoding using syntax element
KR101930896B1 (ko) * 2013-10-22 2018-12-19 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디코딩 장치 및 이미지 디코딩 방법
US9819948B2 (en) 2014-06-18 2017-11-14 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US10356415B2 (en) 2014-06-20 2019-07-16 Qualcomm Incorporated Systems and methods for constraining representation format parameters for a parameter set
US10432951B2 (en) * 2014-06-24 2019-10-01 Qualcomm Incorporated Conformance and inoperability improvements in multi-layer video coding
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US10397443B2 (en) * 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video
PT3523970T (pt) 2016-10-05 2022-10-07 Dolby Laboratories Licensing Corp Mensagens de informação de volume de cor de origem
US10728559B2 (en) * 2017-07-07 2020-07-28 Qualcomm Incorporated Precision of computation and signaling of dynamic range adjustment and color remapping information
WO2019065587A1 (en) * 2017-09-29 2019-04-04 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING INFORMATION ASSOCIATED WITH A CONSTITUTIVE IMAGE
WO2019156476A1 (ko) * 2018-02-07 2019-08-15 엘지전자 주식회사 비면허 대역을 지원하는 무선 통신 시스템에서 신호를 송신하는 방법 및 이를 지원하는 장치
CN109905715B (zh) * 2019-02-26 2021-07-06 北京世纪好未来教育科技有限公司 插入sei数据的码流转换方法及系统
WO2020241653A1 (en) * 2019-05-30 2020-12-03 Sharp Kabushiki Kaisha Systems and methods for signaling hypothetical reference decoder parameters in video coding
CN114080804A (zh) * 2019-06-19 2022-02-22 夏普株式会社 用于在视频编码中发送信号通知解码图片缓冲器信息的系统和方法
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
BR112021026353A2 (pt) * 2019-06-27 2022-02-08 Huawei Tech Co Ltd Decodificador de referência hipotético para v-pcc
CN115866259A (zh) 2019-07-05 2023-03-28 华为技术有限公司 使用标识符指示的视频译码码流提取
AU2020320295A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Scalable nesting SEI messages for specified layers
CN114845112B (zh) * 2019-09-24 2023-04-04 华为技术有限公司 后缀sei消息的可伸缩嵌套的方法、设备、介质、解码器和编码器
WO2021061391A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Hrd parameters for layer based conformance testing
EP4026050A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. IMAGE INFORMATION AND DECODE UNIT INFORMATION ON TIME SCALABILITY
CN114900697B (zh) * 2019-09-24 2023-04-11 华为技术有限公司 由编码器/解码器实现的方法、视频译码设备及计算机可读介质
CN114868399A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 条带类型和视频层的信令通知
KR20220120566A (ko) 2019-12-26 2022-08-30 바이트댄스 아이엔씨 비디오 비트스트림들에서의 가상 참조 디코더 파라미터들의 시그널링에 대한 제약들
WO2021134054A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in video coding
CN114946174A (zh) 2020-01-09 2022-08-26 字节跳动有限公司 层间参考图片的存在的信令通知
CR20230152A (es) 2020-05-22 2023-05-15 Ge Video Compression Llc Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video (divisional exp. n°2022-0589)
EP4140135A4 (en) 2020-05-22 2023-10-11 ByteDance Inc. TECHNIQUES FOR GENERATING A COMPLIANT OUTPUT BIT SUB-STREAM
CN117834916A (zh) 2020-05-22 2024-04-05 字节跳动有限公司 访问单元中图片信息的信令
AU2022271427B2 (en) * 2020-05-22 2024-01-18 Ge Video Compression, Llc Video encoder, video decoder, methods for encoding and decoding and video data stream for realizing advanced video coding concepts
CN117528004A (zh) * 2020-06-09 2024-02-06 字节跳动有限公司 多层视频比特流的子比特流提取
KR20230019850A (ko) 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 레벨 및 버퍼링 정보의 시그널링
JP2023529421A (ja) * 2020-06-09 2023-07-10 バイトダンス インコーポレイテッド 映像コーディングにおける補足強化情報の制約
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams
EP4266689A1 (en) * 2020-12-17 2023-10-25 LG Electronics Inc. Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
EP4324211A1 (en) * 2021-04-12 2024-02-21 Telefonaktiebolaget LM Ericsson (publ) Message referencing

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW262619B (en) 1995-06-06 1995-11-11 United Microelectronics Corp Shrinking device for code table of variable length decoder
JP4107962B2 (ja) * 2000-12-04 2008-06-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報信号をエラートレラント記録する記録装置
TWI259378B (en) 2004-02-26 2006-08-01 Cablesoft Tech Inc An automatic addressing control method for MSO CATV system
US8615038B2 (en) 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
CN1993733B (zh) 2005-04-19 2010-12-08 杜比国际公司 空间音频参数量化器、去量化器及参数量化、去量化方法
US20070086521A1 (en) * 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
JP4950206B2 (ja) 2005-10-11 2012-06-13 ノキア コーポレイション 効率的なスケーラブルストリーム適応のためのシステム及び方法
US8767818B2 (en) * 2006-01-11 2014-07-01 Nokia Corporation Backward-compatible aggregation of pictures in scalable video coding
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR101450921B1 (ko) * 2006-07-05 2014-10-15 톰슨 라이센싱 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치
US8699583B2 (en) 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
US7860147B2 (en) 2006-08-16 2010-12-28 Harris Corporation Method of communicating and associated transmitter using coded orthogonal frequency division multiplexing (COFDM)
WO2008046243A1 (en) 2006-10-16 2008-04-24 Thomson Licensing Method and device for encoding a data stream, method and device for decoding a data stream, video indexing system and image retrieval system
US20080089411A1 (en) 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US9179157B2 (en) * 2007-01-05 2015-11-03 Thomson Licensing Hypothetical reference decoder for scalable video coding
US20100074340A1 (en) 2007-01-08 2010-03-25 Thomson Licensing Methods and apparatus for video stream splicing
GB0700381D0 (en) * 2007-01-09 2007-02-14 Mitsubishi Electric Inf Tech Generalised Hypothetical Reference Decoder for Scalable Video Coding with Bitstream Rewriting
KR101741050B1 (ko) * 2007-04-17 2017-05-29 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
BRPI0810360A2 (pt) 2007-04-17 2019-05-14 Nokia Technologies Oy solução aquosa estável de aldeído e método de produção do mesmo
US20090003431A1 (en) * 2007-06-28 2009-01-01 Lihua Zhu Method for encoding video data in a scalable manner
US20100142613A1 (en) 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
EP2528343A1 (en) * 2007-04-18 2012-11-28 Thomson Licensing Coding system using supplemental sequence parameter set for scalable video coding or multi-view coding
CN101690229A (zh) 2007-06-26 2010-03-31 诺基亚公司 用于指示时间层切换点的系统和方法
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
FR2932050B1 (fr) 2008-06-03 2010-05-21 Canon Kk Procede et dispositif de transmission de donnees video
EP2314072B1 (en) 2008-07-16 2014-08-27 SISVEL International S.A. Track and track-subset grouping for multi view video decoding.
WO2010021665A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
EP2425626A2 (en) 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
EP2596633B1 (en) 2010-07-20 2016-11-23 Nokia Technologies Oy A media streaming apparatus
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
WO2013030458A1 (en) 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
US9591361B2 (en) 2011-09-07 2017-03-07 Qualcomm Incorporated Streaming of multimedia data from multiple sources
US9998726B2 (en) 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10021394B2 (en) 2012-09-24 2018-07-10 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding

Also Published As

Publication number Publication date
AP2015008363A0 (en) 2015-04-30
IL237948A (en) 2016-11-30
MY168739A (en) 2018-11-29
JP6013614B2 (ja) 2016-10-25
CN104685892B (zh) 2019-02-22
ECSP15018127A (es) 2015-12-31
KR101697886B1 (ko) 2017-01-18
WO2014058598A1 (en) 2014-04-17
TW201429256A (zh) 2014-07-16
CN104685891B (zh) 2018-07-20
EP2904784B1 (en) 2018-12-19
KR101719935B1 (ko) 2017-03-24
MX341437B (es) 2016-08-18
AP3952A (en) 2016-12-21
JP2015537420A (ja) 2015-12-24
EP2904782A1 (en) 2015-08-12
WO2014058599A1 (en) 2014-04-17
CA2885670A1 (en) 2014-04-17
BR112015007763A2 (pt) 2017-07-04
JP6077124B2 (ja) 2017-02-08
KR20150067319A (ko) 2015-06-17
HK1207775A1 (zh) 2016-02-05
PT2904782T (pt) 2018-04-23
AR094449A1 (es) 2015-08-05
KR20150056877A (ko) 2015-05-27
TWI565299B (zh) 2017-01-01
AU2013330284A1 (en) 2015-04-23
MA37971B1 (fr) 2016-10-31
US9380317B2 (en) 2016-06-28
PH12015500742B1 (en) 2015-05-25
ES2663692T3 (es) 2018-04-16
US20140098895A1 (en) 2014-04-10
EP2904784A1 (en) 2015-08-12
PH12015500625A1 (en) 2015-05-11
TWI533674B (zh) 2016-05-11
AU2013330372A1 (en) 2015-04-16
UA116998C2 (uk) 2018-06-11
MY172252A (en) 2019-11-20
IL237949B (en) 2019-10-31
EP2904782B1 (en) 2018-01-17
IL237949A0 (en) 2015-05-31
CA2885670C (en) 2017-07-18
JP2015532551A (ja) 2015-11-09
UA116363C2 (uk) 2018-03-12
US20140098896A1 (en) 2014-04-10
CN104685891A (zh) 2015-06-03
CA2885807C (en) 2018-04-03
BR112015007761B1 (pt) 2022-08-09
WO2014058600A1 (en) 2014-04-17
CA2885807A1 (en) 2014-04-17
PH12015500625B1 (en) 2015-05-11
SG11201501833PA (en) 2015-05-28
US9319703B2 (en) 2016-04-19
PH12015500742A1 (en) 2015-05-25
JP6062558B2 (ja) 2017-01-18
CN104685892A (zh) 2015-06-03
US20140098894A1 (en) 2014-04-10
ES2727814T3 (es) 2019-10-18
AU2013330284B2 (en) 2017-06-08
AR093288A1 (es) 2015-05-27
RU2015117520A (ru) 2016-11-27
SI2904782T1 (en) 2018-05-31
US9154785B2 (en) 2015-10-06
RU2015117436A (ru) 2016-11-27
JP2015536114A (ja) 2015-12-17
SG11201501832UA (en) 2015-05-28
DK2904782T3 (en) 2018-04-30
EP2904787A1 (en) 2015-08-12
CN104704842A (zh) 2015-06-10
BR112015007761A2 (pt) 2017-07-04
KR101677867B1 (ko) 2016-11-18
AU2013330372B2 (en) 2017-07-06
HUE038492T2 (hu) 2018-10-29
EP2904787B1 (en) 2019-02-27
MA37971A1 (fr) 2016-03-31
SA515360254B1 (ar) 2016-08-15
HK1209550A1 (zh) 2016-04-01
RU2643463C2 (ru) 2018-02-01
BR112015007763B1 (pt) 2022-08-02
KR20150067318A (ko) 2015-06-17
RU2633100C2 (ru) 2017-10-11
MX2015004383A (es) 2015-06-10
HUE043479T2 (hu) 2019-08-28
CN104704842B (zh) 2018-04-20
ZA201502498B (en) 2017-09-27
CO7350643A2 (es) 2015-08-10

Similar Documents

Publication Publication Date Title
TWI533674B (zh) 處理視訊資料及編碼視訊資料之方法，視訊處理器件，視訊編碼器件及其電腦可讀取儲存媒體
KR101776448B1 (ko) 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들
KR102384092B1 (ko) 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스
KR102054040B1 (ko) 멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원
TWI504238B (zh) 處理視訊資料之方法及器件，以及電腦可讀取儲存媒體
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理