TWI533671B - 用於處理視訊資料之方法、器件及電腦可讀資料儲存媒體 - Google Patents

用於處理視訊資料之方法、器件及電腦可讀資料儲存媒體 Download PDF

Info

Publication number
TWI533671B
TWI533671B TW102134375A TW102134375A TWI533671B TW I533671 B TWI533671 B TW I533671B TW 102134375 A TW102134375 A TW 102134375A TW 102134375 A TW102134375 A TW 102134375A TW I533671 B TWI533671 B TW I533671B
Authority
TW
Taiwan
Prior art keywords
hrd
video
operating point
bitstream
image
Prior art date
Application number
TW102134375A
Other languages
English (en)
Other versions
TW201424393A (zh
Inventor
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201424393A publication Critical patent/TW201424393A/zh
Application granted granted Critical
Publication of TWI533671B publication Critical patent/TWI533671B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

用於處理視訊資料之方法、器件及電腦可讀資料儲存媒體
本申請案主張2012年9月24日申請之美國臨時專利申請案第61/705,102號之權利，該申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼(亦即，視訊資料之編碼及/或解碼)。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發中的高效視訊寫碼(HEVC)標準，及此等標準之擴展中描述之彼等技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以 減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，現訊圖塊(亦即，視訊圖框或視訊圖框之一部分)可經分割成視訊區塊。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致針對待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘係數，可接著量化殘餘係數。可掃描最初配置成二維陣列之經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可藉由編碼(例如)來自多個視點之視圖來產生多視圖寫碼位元流。已開發出利用多視圖寫碼態樣的一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左眼及右眼視圖以支援3D視訊。替代性地，一些3D視訊寫碼程序可應用所謂多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元流可不僅含有紋理視圖分量，而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
一般而言，本發明描述在視訊寫碼中發信及選擇假想參考解碼器(HRD)參數。更具體而言，一種計算器件可自一視訊參數集(VPS)中的假想參考解碼器(HRD)參數之一集合及一序列參數集(SPS)中的 HRD參數之一集合中選擇適用於一位元流之一特定操作點的HRD參數之一集合。該計算器件至少部分基於適用於該特定操作點的HRD參數之該集合而對與該特定操作點相關聯之一位元流子集執行一HRD操作。
在一個實例中，本發明描述一種處理視訊資料之方法。該方法包含自一VPS中之HRD參數之一集合及一SPS中之HRD參數的一集合中選擇適用於一位元流之一特定操作點的HRD參數之一集合。該方法亦包含至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對與該特定操作點相關聯之一位元流子集執行一HRD操作。
在另一實例中，本發明描述一種包含一或多個處理器之器件，該一或多個處理器經組態以自一VPS中之HRD參數之一集合及一SPS中之HRD參數的一集合中選擇適用於一位元流之一特定操作點的HRD參數之一集合。該一或多個處理器亦經組態以至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對與該特定操作點相關聯之一位元流子集執行一HRD操作。
在另一實例中，本發明描述一種器件，該器件包含用於自一VPS中之HRD參數之一集合及一SPS中之HRD參數的一集合中選擇適用於一位元流之一特定操作點的HRD參數之一集合的構件。該器件亦包含用於至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對與該特定操作點相關聯之一位元流子集執行一HRD操作的構件。
在另一實例中，本發明描述一種上面儲存有指令之電腦可讀資料儲存媒體，該等指令在由一器件之一或多個處理器執行時組態該器件以自一VPS中之HRD參數之一集合及一SPS中之HRD參數的一集合中選擇適用於一位元流之一特定操作點的HRD參數之一集合。此外，該等指令在執行時組態該器件以至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對與該特定操作點相關聯之一位元流子集 執行一HRD操作。
在隨附圖式及以下描述中闡明了本發明之一或多個實例的細節。其他特徵、目標及優點將自該描述內容、圖式及申請專利範圍顯而易見。
10‧‧‧實例視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧通道
18‧‧‧視訊源
20‧‧‧視訊編碼器
21‧‧‧額外器件
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧實例視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器(CPB)
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧實例操作
250‧‧‧實例操作
300‧‧‧實例HRD操作
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4係根據本發明之一或多項技術的說明一器件之實例操作的流程圖。
圖5係根據本發明之一或多項技術的說明一器件之實例操作的流程圖。
圖6係根據本發明之一或多項技術的說明一器件之實例假想參考解碼器(HRD)操作的流程圖。
視訊編碼器可產生包括經編碼之視訊資料的位元流。位元流可包含一系列網路抽象層(NAL)單元。位元流之NAL單元可包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元可包括圖像的經寫碼圖塊。非VCL NAL單元可包括視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、補充增強資訊(SEI)或其他類型之資料。VPS係可含有語法元素之語法結構，該等語法元素應用至零或零個以上完整的經寫碼之視訊序列。SPS係可含有語法元素之語法結構，該等語法元素應用至零或零個以上完整的經寫碼之視訊序列。單一VPS 可適用於多個SPS。PPS係可含有語法元素之語法結構，該等語法元素應用至零或零個以上完整的經寫碼之圖像。單一SPS可適用於多個PPS。一般而言，可如由HEVC標準所定義而形成VPS、SPS及PPS之各種態樣。
諸如內容遞送網路(CDN)器件、媒體感知之網路元件(MANE)或視訊解碼器的器件可自位元流提取子位元流。器件可藉由自位元流移除某些NAL單元而執行子位元流提取程序。所得子位元流包括位元流之剩餘之未經移除NAL單元。作為實例，相較於原始位元流，自子位元流解碼之視訊資料可具有較低圖框速率及/或可表示較少的視圖。
視訊寫碼標準可包括各種特徵以支援子位元流提取程序。舉例而言，位元流之視訊資料可被劃分成層之集合。對於該等層中之每一者，可在不參考任何較高層中之資料的情況下解碼較低層中之資料。 個別NAL單元僅囊封單一層之資料。因此，可自位元流移除囊封位元流之最高剩餘層之資料的NAL單元而不影響位元流之剩餘較低層中的資料之可解碼性。在可調式視訊寫碼(SVC)中，較高層可包括增強資料，該等增強資料改良較低層中的圖像的品質(品質可調性)，放大較低層中的圖像的空間格式(空間可調性)，或增加較低層中的圖像的時間速率(時間可調性)。在多視圖寫碼(MVC)及三維視訊(3DV)寫碼中，較高層可包括額外視圖。
NAL單元可包括標頭及有效負載。NAL單元之標頭包括nuh_reserved_zero_6bits語法元素。若NAL單元係關於多視圖寫碼、3DV寫碼或SVC中之基底層，則NAL單元之nuh_reserved_zero_6bits語法元素等於0。可在不參考位元流之任何其他層中之資料的情況下解碼位元流之基底層中的資料。若NAL單元並非係關於多視圖寫碼、3DV或SVC中之基底層，則nuh_reserved_zero_6bits語法元素可具有非零值。具體而言，若NAL單元並非係關於多視圖寫碼、3DV或SVC中 之基底層，則NAL單元之nuh_reserved_zero_6bits語法元素指定NAL單元的層識別符。
此外，層內之一些圖像可在不參考同一層內之其他圖像的情況下經解碼。因此，可自位元流移除囊封層之某些圖像之資料的NAL單元而不影響層中其他圖像的可解碼性。舉例而言，可在不參考具有奇數圖像次序計數(POC)值之圖像的情況下解碼具有偶數POC值的圖像。移除囊封此等圖像之資料的NAL單元可減小位元流之圖框速率。本文中，層內之可在不參考層內之其他圖像的情況下經解碼的圖像子集可被稱作子層。
NAL單元可包括temporal_id語法元素。NAL單元之temporal_id語法元素指定NAL單元的時間識別符。若第一NAL單元之時間識別符小於第二NAL單元的時間識別符，則可在不參考由第二NAL單元囊封之資料的情況下解碼由第一NAL單元囊封之資料。
位元流之每一操作點係與層識別符之集合(亦即，nuh_reserved_zero_6bits值之集合)及時間識別符相關聯。層識別符之集合可表示為OpLayerIdSet，且時間識別符可表示為TemporalID。若NAL單元之層識別符係在操作點之層識別符集合中且NAL單元之時間識別符小於或等於操作點之時間識別符，則NAL單元係與操作點相關聯。操作點表示係一與操作點相關聯之位元流子集。操作點表示可包括與操作點相關聯的每一NAL單元。操作點表示不包括不與操作點相關聯的VCL NAL單元。
外部源可指定操作點之目標層識別符的集合。舉例而言，諸如CDN器件或MANE之器件可指定目標層識別符的集合。在此實例中，器件可使用目標層識別符的集合來識別操作點。器件可接著提取操作點之操作點表示，且將操作點表示而非原始位元流轉遞至用戶端器件。提取操作點表示及將操作點表示轉遞至用戶端器件可減小位元流 的位元速率。
此外，視訊寫碼標準指定視訊緩衝模型。視訊緩衝模型亦可被稱作「假想參考解碼器」或「HRD」。HRD描述資料如何經緩衝以供解碼且經解碼之資料如何經緩衝以供輸出。舉例而言，HRD描述視訊解碼器中的經寫碼圖像緩衝器(「CPB」)及經解碼圖像緩衝器(「DPB」)的操作。CPB係以由HRD指定之解碼次序含有存取單元的先進先出緩衝器。DPB係保持經解碼圖像以用於參考、輸出重排序或由HRD指定之輸出延遲的緩衝器。
視訊編碼器可發信HRD參數之集合。HRD參數控制HRD之各種態樣。HRD參數包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。此等HRD參數在指定於VPS及/或SPS中之hrd_paramaters( )語法結構中經寫碼。HRD參數亦可指定於緩衝週期補充增強資訊(SEI)訊息或圖像時序SEI訊息中。
如上文所解釋，操作點表示可具有不同於原始位元流的圖框速率及/或位元速率。此係因為操作點表示可能不包括原始位元流中之一些圖像及/或資料中的一些。因此，若視訊解碼器在處理原始位元流時將要以特定速率自CPB及/或DPB移除資料，且若視訊解碼器在處理操作點表示時將要以同一速率自CPB及/或DPB移除資料，則視訊解碼器可能自CPB及/或DPB移除過多或過少資料。因而，視訊編碼器可發信用於不同操作點之HRD參數的不同集合。在新興高效率視訊寫碼(HEVC)標準中，視訊編碼器可在VPS中發信HRD參數的集合，或視訊編碼器可在SPS中發信HRD參數的集合。稱作「HEVC工作草案8」之即將來臨之HEVC標準的草案描述於Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 8」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)，2012年7月瑞典斯德哥爾摩第10次會議)中，自2013年5月8日起 該工作草案可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip獲得。
在HEVC之一些版本中，僅將VPS中的HRD參數之數個集合選擇用於HRD操作。即，儘管HRD參數可提供於SPS中，但SPS中的HRD參數的集合並未被HEVC視訊解碼器選擇用於HRD操作。視訊解碼器總是剖析並解碼位元流的VPS。因此，視訊解碼器總是剖析並解碼VPS之HRD參數的集合。無論位元流是否包括非基底層NAL單元皆為如此。因此，若位元流包括非基底層NAL單元，則剖析並處置SPS中的HRD參數的集合可係對計算資源之浪費。此外，若HRD參數之集合存在於VPS中，則SPS中的HRD參數的集合可係被浪費之位元。
根據本發明之技術，視訊編碼器可產生包括適用於圖像序列的SPS之位元流。SPS包括HRD參數之集合。HRD參數之集合適用於位元流的具有與目標層識別符之集合匹配的層識別符集合之每一操作點。因此，SPS中的HRD參數之集合不被浪費，而是可用於HRD操作。舉例而言，器件可自VPS中之HRD參數之集合及SPS中之HRD參數的集合中選擇適用於特定操作點的HRD參數之集合。器件可至少部分基於適用於特定操作點之HRD參數的集合執行位元流一致性測試，該測試對於與特定操作點相關聯之位元流子集是否與視訊寫碼標準一致進行測試。
諸如視訊編碼器、視訊解碼器或另一類型之器件的器件(諸如，CDN器件或MANE)可對操作點之操作點表示執行位元流一致性測試。位元流一致性測試可驗證：操作點表示與諸如HEVC之視訊寫碼標準一致。如上文所提及，目標層識別符之集合及時間識別符可用以識別操作點。目標層識別符之集合可表示為「TargetDecLayerIdSet」。時間識別符可表示為 「TargetDecHighestTid」。有問題地，HEVC工作草案8並未指定在執行位元流一致性測試時如何設定TargetDecLayerIdSet或TargetDecHighestTid。
根據本發明之一或多項技術，器件可執行作為執行位元流一致性測試的部分的解碼程序。執行解碼程序包含執行位元流提取程序以自位元流解碼由層識別符之目標集合及目標最高時間識別符定義之操作點的操作點表示。層識別符之目標集合(亦即，TargetDecLayerIdSet)含有存在於操作點表示中之層識別符語法元素(例如，nuh_reserved_zero_6bits語法元素)的值。層識別符之目標集合係位元流之層識別符語法元素的值的子集。目標最高時間識別符(亦即，TargetDecHighestTid)等於存在於操作點表示中之最大時間識別符。目標最高時間識別符小於或等於存在於位元流中之最大時間識別符。執行解碼程序亦可包含解碼操作點表示的NAL單元。
在HEVC中，SPS可包括表示為sps_max_dec_pic_buffering[i]之語法元素的陣列，其中i在0至位元流中的時間層的最大數目的範圍內。當最高時間識別符(HighestTid)等於i時，sps_max_dec_pic_buffering[i]指示DPB的最大所要求大小。sps_max_dec_pic_buffering[i]指示依據圖像儲存緩衝器之單元的所要求大小。
此外，在HEVC中，SPS可包括表示為sps_max_num_reorder_pics[i]之語法元素的陣列，其中i在0至位元流中的時間層的最大數目的範圍內。sps_max_num_reorder_pics[i]指示在最高時間識別符(HighestTid)等於i時在解碼次序上先於任一圖像且在輸出次序上在該圖像之後的圖像之最大所允許數目。
在HEVC中，HRD參數之集合可包括表示為cpb_cnt_minus1[i]之語法元素的陣列，其中i在0至位元流中的時間層的最大數目的範圍內。cpb_cnt_minus1[i]指定當最高時間識別符(HighestTid)等於i時經 寫碼視訊序列之位元流中的替代性CPB規範的數目，其中一個替代性CPB規範指代具有CPB參數之特定集合的一個特定CPB操作。
在HEVC工作草案8中，在HRD操作、位元流一致性操作及級別限制中未恰當選擇sps_max_dec_pic_buffering[i]、sps_max_num_reorder_pics[i]及cpb_cnt_minus1[i]。此係至少部分因為HEVC工作草案8並未指定最高時間識別符(HighestTid)的意義。
根據本發明之一或多項技術，諸如視訊編碼器、視訊解碼器或另一器件的器件可判定與位元流之所選擇操作點相關聯之位元流子集的最高時間識別符。此外，器件可基於最高時間識別符自語法元素之陣列(例如，sps_max_dec_pic_buffering[ ]、sps_max_num_reorder_pics[ ]或cpb_cnt_minus1[ ])判定特定語法元素。器件可執行一使用特定語法元素來判定位元流與視訊寫碼標準的一致性或判定視訊解碼器與視訊寫碼標準的一致性的操作。
圖1為說明一可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文中所使用，術語「視訊寫碼器」泛指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可泛指視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼之視訊資料。因而，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因而，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可係視訊寫碼器件或視訊寫碼裝置的實例。
源器件12及目的地器件14可包含廣泛範圍之器件，該等器件包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」手機的電話手機、電視、攝影機、 顯示器件、數位媒體播放器、視訊遊戲主機、車載電腦或其類似者。
目的地器件14可經由通道16自源器件12接收經編碼視訊資料。通道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，通道16可包含使源器件12能夠將經編碼視訊資料即時直接地傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據諸如無線通信協定之通信標準調變經編碼視訊資料，且可將經調變之視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成諸如區域網路、廣域網路或全球網路(例如，網際網路)的基於封包之網路的部分。一或多個通信媒體可包括路由器、交換器、基地台或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，通道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料的其他合適數位儲存媒體。
在其他實例中，通道16可包括檔案伺服器，或儲存由源器件12產生之經編碼視訊資料的另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可係能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的一類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。在圖1之實例中，通道16包括額外器件21。在一些實例中，額外器件21係CDN器件、MANE或另一類型之器件。
目的地器件14可經由標準資料連接(諸如網際網路連接)而存取經編碼視訊資料。資料連接之實例類型可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、纜線數據機等)，或兩者之適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸，或兩者之組合。
本發明之技術不限於無線應用或設定。技術可應用至支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、編碼視訊資料以儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之視訊資料，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅係一實例，且本發明之技術可應用至不一定包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本端記憶體擷取，經由網路進行串流，或其類似者。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼該資料。在許多實例中，編碼及解碼由如下器件執行：其並不彼此通信，而是僅編碼至記憶體之資料及/或自記憶體擷取資料並解碼該資料。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機的視訊捕獲器件、含有先前捕獲之視訊資料的視訊存檔、自視訊內容提供者接收視訊資料的視訊饋入介面及/或用於產生視訊資料的電腦圖形系統，或此等視訊資料之源的組合。
視訊編碼器20可編碼來自視訊源18的視訊資料。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上以供目的地器件14稍後存取從而用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由通道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合，或可在目的地器件14外部。一般而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可各自實施為多種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若該等技術部分地以軟體實施，則一器件可將用於軟體之指令儲存於合適的穩定式電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。前述各項(包括硬體、軟體、軟體與硬體之組合等)中之任一者可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合編碼器/解碼器(編碼解碼器(CODEC))的部分。
本發明可大體上涉及視訊編碼器20將某資訊「發信」至另一器件(諸如視訊解碼器30或額外器件21)。術語「發信」可大體指代用以解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時或幾乎即時地發生。替代性地，此通信可在一段時間上發生，諸如可能當於編碼時在經編碼之位元流中將語法元素儲存至電腦可讀儲存 媒體時發生，該等語法元素在儲存至此媒體之後可接著由解碼器件在任何時間進行擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)(包括其可調式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及/或基於MVC之3DV擴展)的視訊壓縮標準操作。在一些個例中，與基於MVC之3DV一致的任何位元流總是含有符合MVC設定檔(例如，立體高設定檔)之子位元流。此外，正在努力產生H.264/AVC的三維視訊(3DV)寫碼擴展(即，基於AVC之3DV)。在其他實例中，視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264、ISO/IEC Visual操作。
在其他實例中，視訊編碼器20及視訊解碼器30可根據目前由ITU-T視訊寫碼專業團體(VCEG)與ISO/IEC動畫專業團體(MPEG)的關於視訊寫碼之聯合合作團隊(JCT-VC)開發的高效視訊寫碼(HEVC)標準來操作。稱作「HEVC工作草案9」之即將來臨之HEVC標準的草案描述於Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 9」(2012年10月中國上海，ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)的第11次會議)中，自2013年5月8日起該工作草案在http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip處可獲得。此外，正在努力產生HEVC的SVC、多視圖寫碼及3DV擴展。HEVC之3DV擴展可被稱作基於HEVC之3DV或3D-HEVC。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括表示為SL、SCb及SCr的三個樣本陣列。SL係明度樣本之二維陣列(亦即，區塊)。SCb係Cb色度樣 本之二維陣列。SCr係Cr色度樣本之二維陣列。本文中色度樣本亦可被稱作「色度(chroma)」樣本。在其他個例中，圖像可係單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)的集合。CTU中之每一者可係明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可係樣本之N×N區塊。CTU亦可稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可寬泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而，CTU不一定限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續地排序的整數數目個CTU。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四分樹分割以將寫碼樹型區塊劃分成寫碼區塊(因此名為「寫碼樹型單元」)。寫碼區塊係樣本之N×N區塊。CU可係具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之明度樣本之寫碼區塊及色度樣本的兩個對應寫碼區塊，以及用以對寫碼區塊之樣本進行寫碼的語法結構。視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可係樣本預測應用至之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可係明度樣本之預測區塊、圖像之色度樣本的兩個對應預測區塊，及用以預測該等預測區塊樣本的語法結構。視訊編碼器20可產生用於CU之每一PU的明度、Cb及Cr預測區塊的預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測以產生PU的預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU的預測性區塊。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU的預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU的預測性區塊。當視訊編碼器20使用單向預測來產生PU的預測性區塊時，PU可具有單一運動向量。當視訊編碼器20使用雙向預測來產生PU的預測性區塊時，PU可具有兩個運動向量。
在視訊編碼器20產生CU之一或多個PU的預測性明度、Cb及Cr區塊之後，視訊編碼器20可產生CU的明度殘餘區塊。CU之明度殘餘區塊的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。此外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之明度、Cb及Cr殘餘區塊分解成一或多個明度、Cb及Cr變換區塊。變換區塊可係同一變換應用至之樣本的矩形區塊。CU之變換單元(TU)可係明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可係與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可係CU之明度殘餘區塊的子區塊。Cb變換區塊可係CU之Cb殘餘區塊的子區塊。Cr變換區塊可係CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用至TU之明度變換區塊以產生TU的明度係數區塊。係數區塊可係變換係數之二維陣列。變換係數可係純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區 塊以產生TU的Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生TU的Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化一般指代如下程序：將變換係數量化以可能地減少用以表示該等變換係數之資料的量，從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼語法元素，從而指示經量化之變換係數。舉例而言，視訊編碼器20可對語法元素執行上下文自適應性二進位算術寫碼(CABAC)，從而指示經量化之變換係數。視訊編碼器20可在位元流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出一包括位元序列的位元流，該位元序列形成經寫碼圖像及相關聯資料的表示。位元流可包含網路抽象層(NAL)單元之序列。NAL單元可係含有隨後的資料類型的指示及在必要時穿插在仿真防止位元組中的含有呈原始位元組序列有效負載(RBSP)之形式的該資料的位元組之語法結構。亦即，NAL單元中之每一者可包括NAL單元標頭，且囊封RBSP。NAL單元標頭可包括一指示NAL單元類型碼的語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可係含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些個例中，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封SEI的RBSP，等等。囊封視訊寫碼資料之RBSP(而非參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生的位元流。此外，視訊解碼器30可剖析位元流以解碼來自位元流的語法元素。視訊解碼器 30可至少部分基於自位元流解碼之語法元素來重建構視訊資料的圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互反。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。此外，視訊解碼器30可反量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本加至當前CU之TU之變換區塊的對應樣本來重建構當前CU的寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在多視圖寫碼中，可存在同一場景的來自不同視點之多個視圖。術語「存取單元」用以指代對應於同一時間執行個體之圖像的集合。因此，視訊資料可概念化為隨時間發生之一系列存取單元。「視圖分量」可係單一存取單元中的視圖的經寫碼表示。在本發明中，「視圖」可指代與同一視圖識別符相關聯之視圖分量的序列。
多視圖寫碼支援視圖間預測。視圖間預測類似於用於H.264/AVC及HEVC中的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，PU)執行視圖間預測時，視訊編碼器20可使用與當前視訊單元在相同之存取單元中但在不同視圖中的圖像作為參考圖像。相對照地，習知框間預測僅使用不同存取單元中之圖像作為參考圖像。
在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可解碼視圖中之圖像而不參考任何其他視圖中之圖像，則視圖可被稱作「基本視圖」。當寫碼非基本視圖中之一者中的圖像時，若圖像係與視訊寫碼器當前正寫碼之圖像在不同視圖中但係與視訊寫碼器當前正寫碼之圖像在相同的時間執行個體(亦即，存取單元)內，則視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可將圖像加至參考圖像清單中。 類似於其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。
視訊寫碼標準指定視訊緩衝模型。在H.264/AVC及HEVC中，緩衝模型被稱作「假想參考解碼器」或「HRD」。在HEVC工作草案8中，HRD描述於附錄C中。
HRD描述資料如何經緩衝以供解碼且經解碼之資料如何經緩衝以供輸出。舉例而言，HRD描述經寫碼圖像緩衝器(「CPB」)、經解碼圖像緩衝器(「DPB」)及視訊解碼器的操作。CPB係以由HRD指定之解碼次序含有存取單元的先進先出緩衝器。DPB係保持經解碼圖像以用於參考、輸出重排序或HRD指定之輸出延遲的緩衝器。CPB及DPB之行為可被數學地指定。HRD可對時序、緩衝器大小及位元速率直接強加約束。此外，HRD可對各種位元流特性及統計資料間接強加約束。
在H.264/AVC及HEVC中，位元流一致性及解碼器一致性被指定作為HRD規範之部分。換言之，HRD模型指定了用以判定位元流是否與標準一致的測試，且指定用以判定解碼器是否與標準一致的測試。 儘管HRD被命名為某種類之解碼器，但視訊編碼器通常使用HRD以保證位元流一致性，而視訊解碼器通常不需要HRD。
H.264/AVC及HEVC兩者皆指定兩種類型之位元流或HRD一致性(即，類型I及類型II)。類型I位元流係僅含有位元流中的所有存取單元之VCL NAL單元及填充符資料NAL單元的NAL單元流。類型II位元流係除位元流中的所有存取單元之VCL NAL單元及填充符資料NAL單元外亦含有以下各者中之至少一者的NAL單元流：不同於填充符資料NAL單元之額外非VCL NAL單元；及自NAL單元流形成位元組流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes及trailing_zero_8bits語法元素。
當器件執行一判定位元流是否與視訊寫碼標準一致的位元流一致性測試時，器件可選擇位元流的操作點。器件可接著判定可適用於所選擇操作點的HRD參數之集合。器件可使用適用於所選擇操作點的HRD參數之集合來組態HRD的行為。更特定而言，器件可使用HRD參數之適用集合來組態HRD之特定組件(諸如，假想流排程器(HSS)、CPB、解碼程序、DPB等等)的行為。隨後，HSS可根據特定排程將位元流的經寫碼視訊資料注入至HRD之CPB中。
此外，器件可調用解碼CPB中的經寫碼視訊資料的解碼程序。解碼程序可將經解碼圖像輸出至DPB。隨著器件使資料移動通過HRD，器件可判定約束之特定集合是否仍被滿足。舉例而言，器件可判定在HRD正解碼所選擇操作點的操作點表示時溢位或欠位條件是否發生於CPB或DPB中。器件可以此方式選擇並處理位元流的每一操作點。若位元流之操作點皆不造成違反約束，則器件可判定位元流與視訊寫碼標準一致。
H.264/AVC及HEVC兩者皆指定兩種類型之解碼器一致性，即輸出時序解碼器一致性及輸出次序解碼器一致性。聲稱與特定設定檔、階層及級別之一致性的解碼器能夠成功地解碼與諸如HEVC之視訊寫碼標準之位元流一致性要求一致的所有位元流。在本發明中，「設定檔」可指代位元流語法之子集。可在每一設定檔內指定「階層」及「級別」。階層之級別可係強加於位元流中之語法元素之值的約束之指定集合。此等約束可為對值之簡單限制。替代性地，此等約束可採取對值之算術組合(例如，圖像寬度×圖像高度×每秒解碼之圖像之數目)之約束的形式。針對較低階層所指定之級別相較於針對較高階層指定之級別受到更多約束。
當器件執行解碼器一致性測試以判定受測解碼器(DUT)是否與視訊寫碼標準一致時，器件可將與視訊寫碼標準一致的位元流提供至 HRD及DUT兩者。HRD可以上文關於位元流一致性測試描述之方式處理位元流。若DUT輸出之經解碼圖像的次序與由HRD輸出之經解碼圖像的次序匹配，則器件可判定DUT與視訊寫碼標準一致。此外，若DUT輸出經解碼圖像之時序與HRD輸出經解碼圖像之時序匹配，則器件可判定DUT與視訊寫碼標準一致。
除位元流一致性測試及解碼器一致性測試外，器件可將HRD參數用於其他用途。舉例而言，初始CPB移除延遲可用以導引系統以設定適當初始端對端延遲，且當經由RTP輸送視訊資料位元流時，DPB輸出時間可用以導出即時協定(RTP)時戳。
在H.264/AVC及HEVC HRD模型中，解碼或CPB移除可係基於存取單元的。亦即，假定HRD同時解碼完整之存取單元，且自CPB移除完整存取單元。此外，在H.264/AVC及HEVC HRD模型中，假定圖像解碼係瞬時的。視訊編碼器20可在圖像時序SEI訊息中發信解碼時間以開始存取單元的解碼。在實際應用中，若一致之視訊解碼器嚴格地遵循經發信以開始存取單元之解碼的解碼時間，則輸出特定經解碼圖像之最早可能時間等於該特定圖像之解碼時間加上解碼該特定圖像所需要的時間。然而，在真實世界中，解碼圖像所需要之時間無法等於零。
HRD參數可控制HRD之各種態樣。換言之，HRD可依賴於HRD參數。HRD參數可包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。視訊編碼器20可在指定於視訊參數集(VPS)及/或序列參數集(SPS)中之hrd_parameters( )語法結構中發信此等HRD參數。個別VPS及/或SPS可包括針對HRD參數之不同集合的多個hrd_parameters( )語法結構。在一些實例中，視訊編碼器20可在緩衝週期SEI訊息或圖像時序SEI訊息中發信HRD參數。
如上文所解釋，位元流之操作點係與層識別符之集合(亦即， nuh_reserved_zero_6bits值之集合)及時間識別符相關聯。操作點表示可包括與操作點相關聯的每一NAL單元。操作點表示可具有不同於原始位元流的圖框速率及/或位元速率。此係因為操作點表示可能不包括原始位元流之一些圖像及/或資料中的一些。因此，若視訊解碼器30要在處理原始位元流時以特定速率自CPB及/或DPB移除資料，且若視訊解碼器30要在處理操作點表示時以同一速率自CPB及/或DPB移除資料，則視訊解碼器30可自CPB及/或DPB移除過多或過少資料。因而，視訊編碼器20可發信用於不同操作點之HRD參數的不同集合。舉例而言，視訊編碼器20可在VPS中包括多個hrd_parameters( )語法結構，該等語法結構包括用於不同操作點之HRD參數。
在HEVC工作草案8中，HRD參數之集合視需要包括對於所有子層係共同的資訊之集合。換言之，HRD參數之集合視需要可包括適用於包括任何時間子層之操作點的共同語法元素之集合。時間子層係時間可調式位元流的時間可調式層，該時間可調式位元流由具有TemporalId之特定值的VCL NAL單元及相關聯的非VCL NAL單元組成。除了共同資訊之集合外，HRD參數之集合可包括對於個別時間子層特定的語法元素之集合。舉例而言，hrd_parameters( )語法結構可視需要包括對於所有子層係共同的且總是包括子層特定資訊的資訊集合。因為共同資訊之集合對於HRD參數之多個集合係共同的，所以在HRD參數之多個集合中發信共同資訊的集合可係不必要的。確切而言，在HEVC工作草案8中，共同資訊在HRD參數之集合係VPS中的HRD參數的第一集合時可存在於HRD參數的該集合中，或共同資訊在HRD參數之集合係與第一操作點索引相關聯時可存在於HRD參數的該集合中。舉例而言，當hrd_parameters( )語法結構係VPS中之第一hrd_parameters( )語法結構時抑或當hrd_parameters( )語法結構係與第一操作點相關聯時，HEVC工作草案8支援共同資訊的存在。
以下表1係HEVC中的hrd_parameters( )語法結構的實例語法結構。
在以上表1之實例及本發明之其他語法表中，具有類型描述符ue(v)之語法元素可係使用自左側位元起之0階指數哥倫布(Exp-Golomb)寫碼而編碼的長度可變之無正負號整數。在表1的實例及以下數個表中，具有形式u(n)(其中n係非負整數)之描述符的語法元素係具有長度n之無正負號值。
在表1之實例語法中，「if(commonInfPresentFlag){…}」區塊中之語法元素係HRD參數集合的共同資訊。換言之，HRD參數之集合的共同資訊可包括語法元素timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、sub_pic_cpb_params_present_flag、tick_divisor_minus2、du_cpb_removal_delay_length_minus1、bit_rate_scale、cpb_size_scale、initial_cpb_removal_delay_length_minus1、cpb_removal_delay_length_minus1及dpb_output_delay_length_minus1。
此外，在表1之實例中，語法元素fixed_pic_rate_flag[i]、pic_duration_in_tc_minus1[i]、low_delay_hrd_flag[i]及cpb_cnt_minus1[i]可係子層特定HRD參數的集合。換言之，hrd_parameters( )語法結構之此等語法元素可僅適用於包括特定子層的操作點。因此，hrd_parameters( )語法結構之HRD參數除視需要包括之共同資訊外亦可包括對於位元流之特定子層特定的子層特定HRD參數的集合。
fixed_pic_rate_flag[i]語法元素可指示：在HighestTi等於i時，輸出次序上的任何兩個連續圖像的HRD輸出時間之間的時間距離以特定方式受到約束。HighestTid可係識別(例如，操作點的)最高時間子層的變數。pic_duration_in_tc_minus1[i]語法元素可指定在HighestTid等於i時經寫碼視訊序列中的按輸出次序的任何連續圖像之HRD輸出時間之間的以時脈刻度為單位的時間距離。low_delay_hrd_flag[i]語法元素可指定在HighestTid等於i時的HRD操作模式，如在HEVC工作草案8之附錄C中所指定。cpb_cnt_minus1[i]語法元素可指定在HighestTid等於i時經寫碼視訊序列之位元流中的替代性CPB規範的數目。
視訊編碼器20可使用SEI訊息以在位元流中包括不被要求用於圖 像之樣本值的正確解碼之後設資料。然而，視訊解碼器30或其他器件可將包括於SEI訊息中的後設資料用於各種其他用途。舉例而言，視訊解碼器30可將SEI訊息中之後設資料用於圖像輸出定時、圖像顯示、損失偵測及錯誤隱藏(error concealment)。
視訊編碼器20可在存取單元中包括一或多個SEI NAL單元。換言之，任何數目個SEI NAL單元可與一存取單元相關聯。此外，每一SEI NAL單元可含有一或多個SEI訊息。HEVC標準描述各種類型之SEI訊息的語法及語義。然而，HEVC標準並不描述對SEI訊息的處置，此係因為SEI訊息並不影響標準解碼程序。在HEVC標準中具有數個SEI訊息的一個原因係使得能夠在使用HEVC的不同系統中同等地解譯補充資料。使用HEVC之規範及系統可要求視訊編碼器產生某些SEI訊息，或可定義對特定類型之所接收SEI訊息的具體處置。以下表2列出在HEVC中指定之SEI訊息，且簡要地描述其用途。
用於發信HRD參數以及選擇HRD參數及其他參數的現有技術存在若干問題或缺點。舉例而言，在HEVC工作草案8中，僅VPS中的HRD參數集合被選擇用於HRD操作。亦即，儘管HRD參數可提供於SPS中，但SPS中的HRD參數集合並不被HEVC視訊解碼器選擇用於HRD操作。視訊解碼器總是剖析並解碼位元流的VPS。因此，視訊解碼器總是剖析並解碼VPS之HRD參數集合。
無論位元流是否包括非基底層NAL單元，此情形皆為真。舉例而言，僅寫碼於VPS中之hrd_parameters( )語法結構可被選擇用於HRD操作，且可能從不選擇SPS中可能存在之hrd_parameters( )語法結構。 此情形可要求對VPS之剖析及處置，即使在解碼並不含有大於0之nuh_reserved_zero_6bits的位元流(亦即，位元流僅含有HEVC之多視圖、3DV或SVC擴展中的基底層)時亦然。
因此，若位元流包括非基底層NAL單元，則剖析並處置SPS中的HRD參數的集合可係計算資源之浪費。此外，若HRD參數之集合存在於VPS中，則SPS中的HRD參數的集合可係浪費之位元。舉例而言，若hrd_parameters( )語法結構存在於SPS中，則語法結構之經寫碼位元可純粹係位元的浪費。
根據本發明之一或多項技術，視訊編碼器20可產生包括SPS之位元流，該SPS適用於圖像之序列。SPS包括HRD參數之集合。HRD參數之集合適用於位元流之具有與目標層識別符之集合匹配的層識別符之集合的每一操作點。因此，SPS中的HRD參數之集合不被浪費，而是可用於HRD操作。舉例而言，寫碼於SPS中之hrd_parameters( )語法結構所針對的操作點可被清楚地指定為(例如)在位元流中僅存在nuh_reserved_zero_6bits之一個值(亦即，多視圖、3DV或可調式視訊 寫碼擴展中之層ID)的該等操作點。
舉例而言，諸如視訊編碼器20或視訊解碼器30的器件可自視訊參數集中之HRD參數的集合及SPS中的HRD參數的集合中選擇適用於特定操作點的HRD參數之集合。在此實例中，器件可至少部分基於適用於特定操作點之HRD參數的集合執行位元流一致性測試，該測試對與特定操作點相關聯之位元流子集是否與視訊寫碼標準一致進行測試。位元流一致性測試可驗證：操作點表示與諸如HEVC之視訊寫碼標準一致。
在本發明中，操作點可由表示為OpLayerIdSet之nuh_reserved_zero_6bits值的集合及表示為OpTid的TemporalId值來識別。在OpTid及OpLayerIdSet作為輸入的情況下如HEVC工作草案8之子條款10.1中所指定而導出為子位元流提取程序之輸出的相關聯的位元流子集係可獨立解碼的。HEVC工作草案8之子條款10.1描述用於自位元流提取子位元流(亦即，操作點表示)的操作。具體而言，HEVC工作草案8之子條款10.1規定：藉由自位元流移除具有大於tIdTarget之時間識別符(例如，TemporalID)或並非targetDecLayerIdSet中之值的層識別符(例如，nuh_reserved_zero_6bits)的所有NAL單元來導出子位元流。tIdTarget及targetDecLayerIdSet係位元流提取程序的參數。
在用於發信HRD參數之現有技術的另一實例問題或缺點中，諸如視訊編碼器、視訊解碼器或另一類型之器件的器件可對操作點之操作點表示執行位元流一致性測試。如上文所提及，目標層識別符之集合及時間識別符可用以識別操作點。目標層識別符之集合可表示為「TargetDecLayerIdSet」。時間識別符可表示為「TargetDecHighestTid」。有問題地，HEVC工作草案8並不指定在執行位元流一致性測試時如何設定TargetDecLayerIdSet或TargetDecHighestTid。舉例而言，當為了位元流一致性測試調用解碼 程序時，語法元素之語義並未被清楚地指定，此係因為TargetDecLayerIdSet及TargetDecHighestTid的值未被恰當設定。
本發明之一或多項技術指示在執行位元流一致性測試時如何設定TargetDecLayerIdSet及TargetDecHighestTid。舉例而言，位元流(或操作點表示)之一般解碼程序經修改，使得若在位元流一致性測試中解碼位元流(或操作點表示)，則TargetDecLayerIdSet如HEVC標準之子條款C.1中所指定進行設定。類似地，位元流(或操作點表示)之一般解碼程序可經修改，使得若在位元流一致性測試中解碼位元流(或操作點表示)，則TargetDecHighestTid如HEVC工作草案8之子條款C.1中所指定進行設定。換言之，器件可判定含有存在於位元流子集中之每一層識別符的特定操作點之目標層識別符集合，且該特定操作點之層識別符集合係存在於位元流中之層識別符的子集。此外，器件可判定特定操作點之等於存在於位元流子集中之最大時間識別符的目標時間識別符，且特定操作點之目標時間識別符小於或等於存在於位元流中的最大時間識別符。
在HEVC工作草案8之子條款C.1中，TargetDecLayerIdSet被設定為targetOpLayerIdSet。targetOpLayerIdSet含有存在於受測操作點之操作點表示中之nuh_reserved_zero_6bits的值之集合。targetOpLayerIdSet係存在於受測位元流中之nuh_reserved_zero_6bits的值之子集。
此外，變數TargetDecHighestTid識別待解碼之最高時間子層。時間子層係時間可調式位元流的時間可調式層，該時間可調式位元流由具有TemporalId之特定值的VCL NAL單元及相關聯的非VCL NAL單元組成。在HEVC標準之子條款C.1中，TargetDecHighestTid被設定為targetOpTid。targetOpTid等於存在於受測操作點之操作點表示中的最大temporal_id，且小於或等於存在於受測位元流中的最大 temporal_id。因此，當為了位元流一致性測試調用解碼程序時，TargetDecLayerIdSet及TargetDecHighestTid的值被設定為存在於子位元流中之nuh_reserved_zero_6bits值的集合及最大TemporalId值，該子位元流對應於用於特定位元流一致性測試之受測操作點。
以此方式，器件(諸如視訊編碼器20、視訊解碼器30、額外器件21或另一器件)可根據本發明之一或多項技術執行解碼程序，作為執行位元流一致性測試的部分。執行解碼程序可包含執行位元流提取程序以自位元流提取由層識別符之目標集合及目標最高時間識別符定義之操作點的操作點表示。層識別符之目標集合(亦即，TargetDecLayerIdSet)含有存在於操作點表示中之層識別符語法元素(例如，nuh_reserved_zero_6bits語法元素)的值。層識別符之目標集合係位元流之層識別符語法元素值的子集。目標最高時間識別符(亦即，TargetDecHighestTid)等於存在於操作點表示中之最大時間識別符。目標最高時間識別符小於或等於存在於位元流中之最大時間識別符。執行解碼程序亦包含解碼操作點表示的NAL單元。
解碼程序並非總是作為執行位元流一致性測試的部分而執行。 確切而言，解碼程序可係用於解碼位元流之一般程序。當解碼程序並非作為位元流一致性測試之部分執行時，外部源可指定操作點的TargetDecLayerIdSet及TargetDecHighestTid。外部源可係位元流外之任何資訊源。舉例而言，CDN器件可基於特定視訊解碼器之組態而程式化地判定且指定TargetDecLayerIdSet及TargetDecHighestTid。執行解碼程序之器件可使用外部指定之TargetDecLayerIdSet及TargetDecHighestTid來自位元流提取操作點表示。執行解碼程序之器件可接著解碼所提取之操作點表示的NAL單元。
因此，當解碼程序並非作為位元流一致性測試之部分執行時，執行解碼程序之器件可自外部源接收層識別符之目標集合及目標最高 時間識別符。層識別符之目標集合含有存在於操作點表示中之層識別符語法元素的值。目標最高時間識別符等於存在於第二操作點表示中之最大時間識別符。此外，執行解碼程序之器件可執行位元流提取程序以自位元流提取操作點表示。執行解碼程序之器件可接著解碼操作點表示的NAL單元。
在其他個例中，外部源並不指定TargetDecLayerIdSet或TargetDecHighestTid。在此等個例中，解碼程序可對整個位元流執行。舉例而言，器件可執行位元流提取程序以自位元流提取操作點表示。在此實例中，0係存在於操作點表示中之層識別符語法元素(亦即，nuh_reserved_zero_6bits)的唯一值。此外，在此實例中，存在於位元流中之最大時間識別符等於存在於操作點表示中的最大時間識別符。在此實例中，執行解碼程序之器件可解碼操作點表示的NAL單元。
如上文所指示，SPS可包括表示為sps_max_dec_pic_buffering[i]之語法元素的陣列，其中i在0至位元流中的時間層的最大數目的範圍內。當最高時間識別符(HighestTid)等於i時，sps_max_dec_pic_buffering[i]指示DPB的最大所要求大小。sps_max_dec_pic_buffering[i]指示依據圖像儲存緩衝器之單元的所要求大小。此外，SPS可包括由sps_max_num_reorder_pics[i]表示之語法元素的陣列，其中i在0至位元流中的時間層的最大數目的範圍內。sps_max_num_reorder_pics[i]指示在最高時間識別符(HighestTid)等於i時在解碼次序上先於任何圖像且在輸出次序上在該圖像之後的圖像之最大所允許數目。此外，HRD參數之集合可包括表示為cpb_cnt_minus1[i]之語法元素的陣列，其中i在0至位元流中的時間層的最大數目的範圍內。cpb_cnt_minus1[i]指定在最高時間識別符(HighestTid)等於i時經寫碼視訊序列之位元流中之替代性CPB規範的 數目。
因為HEVC工作草案8並未指定最高時間識別符(HighestTid)的意義(HEVC工作草案8)，所以在HRD操作、位元流一致性操作及級別限制中未恰當選擇sps_max_dec_pic_buffering[i]、sps_max_num_reorder_pics[i]及cpb_cnt_minus1[i]。換言之，並未恰當選擇HRD操作、位元流一致性要求及級別限制中的參數sps_max_num_reorder_pics[i]、sps_max_dec_pic_buffering[i]及cpb_cnt_minus1[i]。
根據本發明之一或多項技術，sps_max_dec_pic_buffering[i]經定義，使得在TargetDecHighestTid等於i時sps_max_dec_pic_buffering[i]指示DPB的最大所要求大小。以上文所描述之方式來判定TargetDecHighestTid。此情形可與未定義HighestTid的HEVC工作草案8形成對比。sps_max_dec_pic_buffering[i]之值應係在0至MaxDpbSize(如在HEVC工作草案8之子條款A.4中所指定)之範圍內(包括0及MaxDpbSize)。當i大於0時，sps_max_dec_pic_buffering[i]將等於或大於sps_max_dec_pic_buffering[i-1]。針對i之每一值，sps_max_dec_pic_buffering[i]之值將小於或等於vps_max_dec_pic_buffering[i]。
類似地，根據本發明之一或多項技術，sps_max_num_reorder_pics[i]經定義，使得在TargetDecHighestTid等於i時，sps_max_num_reorder_pics[i]指示在解碼次序上先於任何圖像且在輸出次序上在該圖像之後的圖像的最大所允許數目。TargetDecHighestTid係以上文所描述之方式來判定。sps_max_num_reorder_pics[i]之值應係在0至sps_max_dec_pic_buffering[i]的範圍內(包括0及sps_max_dec_pic_buffering[i])。當i大於0時，sps_max_num_reorder_pics[i]將等於或大於sps_max_num_reorder_pics[i- 1]。針對i之每一值，sps_max_num_reorder_pics[i]之值將小於或等於vps_max_num_reorder_pics[i]。
此外，根據本發明之一或多項技術，cpb_cnt_minus1[i]可指定在TargetDecHighestTid等於i時經寫碼視訊序列之位元流中的替代性CPB規範的數目，其中i在0至位元流中的時間層之最大數目的範圍內。以上文所描述之方式來判定TargetDecHighestTid。cpb_cnt_minus1[i]之值係在0至31的範圍內(包括0及31)。當low_delay_hrd_flag[i]等於1時，cpb_cnt_minus1[i]等於0。當cpb_cnt_minus1[i]不存在時，cpb_cnt_minus1[i]被推斷為等於0。
因此，根據本發明之一或多項技術，器件可基於最高時間識別符判定來自語法元素之陣列中的特定語法元素。最高時間識別符經定義，使得最高時間識別符總是識別待解碼之最高時間層。因此，HRD操作、位元流一致性要求及級別限制中之sps_max_num_reorder_pics[i]、sps_max_dec_pic_buffering[i]及cpb_cnt_minus1[i]被始終如一地選擇，其中i等於TargetDecHighestTid之清楚指定的值。
以此方式，器件(此視訊編碼器20、視訊解碼器30、額外器件21或另一器件)可執行HRD操作以判定位元流與視訊寫碼標準之一致性或判定視訊解碼器與視訊寫碼標準的一致性。作為執行HRD操作之部分，器件可判定與位元流之所選擇操作點相關聯之位元流子集的最高時間識別符。此外，器件可基於最高時間識別符判定來自語法元素之陣列(例如，sps_max_num_reorder_pics[i]、sps_max_dec_pic_buffering[i]或cpb_cnt_minus1[i])的特定語法元素。此外，器件可在HRD操作中使用特定語法元素。
此外，在HEVC工作草案8中，VPS中的hrd_parameters( )語法結構中之每一者可係與operation_point_layer_ids( )語法結構相關聯，基 於該operation_point_layer_ids( )語法結構選擇hrd_parameters( )語法結構以用於HRD操作中。對應於每一所選擇hrd_parameters( )語法結構，在HRD操作中亦可需要緩衝週期SEI訊息與圖像時序SEI訊息的集合。然而，不存在使緩衝週期SEI訊息或圖像時序SEI訊息關聯至hrd_parameters( )語法結構的任何方式，其中該hrd_parameters( )語法結構的相關聯之operation_point_layer_ids( )語法結構包括nuh_reserved_zero_6bits的多個值(亦即，HEVC之多視圖、3DV或可調式視訊寫碼擴展中的多個層ID)。
對此問題之解決方案可係應用如H.264/AVC之附錄H中指定之多視圖寫碼可調式巢套SEI訊息或類似者。然而，多視圖寫碼可調式巢套SEI訊息或類似SEI訊息可具有以下不利之處。首先，由於H.264/AVC中之SEI NAL單元僅具有一位元組NAL單元標頭，因此不可能將攜載於HEVC SEI NAL單元之NAL單元標頭中之nuh_reserved_zero_6bits及temporal_id_plus1中的資訊用於緩衝週期或圖像時序SEI訊息與操作點之關聯。其次，每一巢套SEI訊息可僅與一個操作點相關聯。
本發明之一或多項技術可經由可攜載於緩衝週期SEI訊息、圖像時序SEI訊息或子圖像時序SEI訊息中的applicable_operation_points( )語法結構而提供清楚地指定緩衝週期SEI訊息、圖像時序SEI訊息或子圖像時序SEI訊息應用至之操作點的機制。該機制可允許使用攜載於SEL NAL單元之NAL單元標頭中之語法元素nuh_reserved_zero_6bits及temporal_id_plus1中的資訊，且可允許多個操作點共用在同一緩衝週期、圖像時序或子圖像時序SEI訊息中傳遞之資訊。
圖2為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。為了解釋之目的而提供圖2，且其不應被視為限制如在本發明中廣泛 例證且描述之技術。為了解釋，本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括較多、較少或不同功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與大小相等之明度寫碼樹型區塊(CTB)及圖像的對應CTB相關聯。作為編碼CTU的部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸變小之區塊。較小區塊可係CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個大小相等的子區塊，將該等子區塊中之一或多者分割成四個大小相等之子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在CU之一或多個PU之間分割與CU相關聯的寫碼區塊。如此，每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小的PU。CU之大小可指代CU之明度寫碼區塊的大小，且PU之大小可指代PU之明度預測區塊的大小。假定特定CU之大小係2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N的PU大小，及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似大小的對稱PU大小。視訊編碼器20及視訊解碼器30亦可 支援不對稱分割以獲得用於框間預測之2N×nU、2N×nD、nL×2N及nR×2N之PU大小。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。框間預測處理單元120可視PU在I圖塊、P圖塊抑或B圖塊中而對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU係在I圖塊中，則框間預測處理單元120並不對PU執行框間預測。因此，對於以I模式編碼之區塊，使用根據同一圖框內之先前編碼的相鄰區塊的空間預測來形成預測性區塊。
若PU係在P圖塊中，則運動估計單元122可在參考圖像之清單(例如，「RefPicList0」)中搜尋參考圖像以找到用於PU之參考區。用於PU之參考區可係參考圖像內的一區，該區含有最緊密地對應於PU之預測區塊的樣本區塊。運動估計單元122可產生參考索引，該參考索引指示含有用於PU之參考區的參考圖像在RefPicList0中的位置。此外，運動估計單元122可產生運動向量，該運動向量指示PU之預測區塊與關聯於參考區之參考位置之間的空間位移。舉例而言，運動向量可係二維向量，其提供自當前圖像中之座標至參考圖像中之座標的偏移。運動估計單元122可輸出參考索引及運動向量作為PU的運動資訊。運動補償單元124可基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
若PU係在B圖塊中，則運動估計單元122可執行對於PU之單向預測(uni-prediction)或雙向預測(bi-prediction)。為了執行對於PU之單向預測，運動估計單元122可搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)的參考圖像以找到用於PU之參考區。運動估計單元122可輸出以下各者作為PU之運動資訊：參考索引，其指示含有參考區的參考圖像在RefPicList0或RefPicList1中的位置；運動向量，其指 示PU之樣本區塊與關聯於參考區之參考位置之間的空間位移；及一或多個預測方向指示符，其指示參考圖像係在RefPicList0抑或RefPicList1中。運動補償單元124可至少部分基於由PU之運動向量指示的參考區處之實際或內插樣本來產生PU的預測性區塊。
為了執行對於PU之雙向框間預測，運動估計單元122可搜尋RefPicList0中的參考圖像以找到用於PU之參考區，且亦可搜尋RefPicList1中的參考圖像以找到用於PU之另一參考區。運動估計單元122可產生參考索引，該等參考索引指示含有參考區的參考圖像在RefPicList0及RefPicList1中的位置。此外，運動估計單元122可產生運動向量，其指示與參考區相關聯之參考位置與PU之樣本區塊之間的空間位移。PU之運動資訊可包括PU的參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量指示的參考區處之實際或內插樣本來產生PU的預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU的預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為了對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。為了使用框內預測模式以產生用於PU之預測性資料的集合，框內預測處理單元126可在與框內預測模式相關聯之方向上越過PU之樣本區塊擴展來自相鄰PU的樣本區塊的樣本。假定針對PU、CU及CTU之左至右、頂部至底部之編碼次序，則相鄰PU可係在該PU之上方、右上方、左上方或左側。框內預測處理單元126可使用各種數目個框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區的大小。
預測處理單元100可自由框間預測處理單元120產生之用於PU之預測性資料或由框內預測處理單元126產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的速率/失真量度來選擇用於CU之PU的預測性資料。本文中，所選擇之預測性資料的預測性區塊可被稱作所選擇預測性區塊。
殘餘產生單元102可基於CU之明度、Cb及Cr寫碼區塊以及CU之PU的所選擇之預測性明度、Cb及Cr區塊而產生CU的明度、Cb及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有一值，該值等於CU之寫碼區塊中之樣本與CU之PU之對應所選擇預測性區塊中的對應樣本之間的差。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度及色度變換區塊之大小及位置可能或可能並非基於CU之PU的預測區塊的大小及位置。稱作「殘餘四分樹」(RQT)之四分樹結構可包括與區中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個變換應用至TU之變換區塊而產生針對CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、方向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104並不將變換應用至變換區塊。在此等實例中，變換區塊可被當作變換係數區塊。
量化單元106可使係數區塊中之變換係數量化。該量化程序可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間n位元變換係數可被降值捨位至m位元變換係數，其中n大於 m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用至與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失，因此經量化之變換係數相較於原始變換係數可具有較低精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用至係數區塊以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構變換區塊。藉由以此方式重建構針對CU之每一TU的變換區塊，視訊編碼器20可重建構CU的寫碼區塊。
濾波單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的方塊效應假影。在濾波單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構之寫碼區塊。框間預測單元120可使用含有經重建構之寫碼區塊的參考圖像以執行對其他圖像之PU的框間預測。此外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊以對與CU在相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變數至變數(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數Golomb編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出一 包括由熵編碼單元118產生之熵編碼資料的位元流。舉例而言，位元流可包括表示CU之RQT的資料。
如本發明中其他地方所指示，視訊編碼器20可在位元流中發信VPS。在HEVC工作草案8中，參考並未定義之值HighestTid來定義VPS之特定語法元素(亦即，vps_max_dec_pic_buffering[i]、vps_max_num_reorder_pics[i]及vps_max_latency_increase[i])。根據本發明之一或多項技術，VPS之此等語法元素可參考值TargetDecHighestTid來定義，該值TargetDecHighestTid經定義，使得TargetDecHighestTid係如本發明中其他地方所描述。以下表3說明根據本發明之一或多項技術的VPS之語法。
表3及貫穿本發明的其他語法表或語義描述的斜體部分可指示與HEVC工作草案8的差異。根據本發明之一或多項技術，VPS之以下語 法元素的語義可如下作出改變。VPS之其他語法元素的語義可保持與HEVC工作草案8中之語義相同。
vps_max_dec_pic_buffering[i]指定在TargetDecHighestTid等於i時經解碼圖像緩衝器的以圖像儲存緩衝器為單位的所要求大小。vps_max_dec_pic_buffering[i]之值應係在0至MaxDpbSize(如在子條款A.4中所指定)之範圍內(包括0及MaxDpbSize)。當i大於0時，vps_max_dec_pic_buffering[i]將等於或大於vps_max_dec_pic_buffering[i-1]。
vps_max_num_reorder_pics[i]指示在TargetDecHighestTid等於i時在解碼次序上在任何圖像之前且在輸出次序上在該圖像之後的圖像之最大所允許數目。vps_max_num_reorder_pics[i]之值應係在0至vps_max_dec_pic_buffering[i]的範圍內(包括0及vps_max_dec_pic_buffering[i])。當i大於0時，vps_max_num_reorder_pics[i]將等於或大於vps_max_num_reorder_pics[i-1]。
如藉由將MaxLatencyPictures[i]設定為vps_max_num_reorder_pics[i]+vps_max_latency_increase[i]所指定，不等於0之vps_max_latency_increase[i]被用以計算MaxLatencyPictures[i]之值。當vps_max_latency_increase[i]不等於0時，MaxLatencyPictures[i]之值指定在TargetDecHighestTid等於i時在輸出次序上可先於經寫碼視訊序列中之任何圖像且在解碼次序上在該圖像之後的圖像之最大數目。當vps_max_latency_increase[i]等於0時，不表達對應限制。vps_max_latency_increase[i]之值應係在0至232-2的範圍內(包括0及232-2)。
如上文所展示，可參考TargetDecHighestTid來定義vps_max_dec_buffering[i]、vps_max_num_reorder_pics[i]及 vps_max_latency_increase[i]之語義。相對照地，HEVC工作草案8參考HighestTid來定義vps_max_dec_pic_buffering[i]、vps_max_num_reorder_pics[i]及vps_max_latency_increase[i]，其中未定義HighestTid。
如表3之實例語法中所展示，VPS包括數對operation_point_layer_ids( )語法結構及hrd_parameters( )語法結構。hrd_parameters( )語法結構包括指定HRD參數之集合的語法元素。operation_point_layer_ids( )語法結構包括識別操作點之集合的語法元素。hrd_parameters( )語法結構中指定之HRD參數之集合可適用於由對應operation_point_layer_ids( )語法結構中之語法元素識別的操作點。以下表4提供operation_point_layer_ids( )語法結構的實例語法。
HEVC工作草案8之章節7.4.4描述op_point語法結構的語義。根據本發明之一或多項技術，HEVC工作草案8之章節7.4.4可如下作出改變以提供表4之operation_point_layer_ids( )語法結構的語義。
operation_point_layer_ids(opIdx)語法結構指定了視訊參數集中之第opIdx個hrd_parameters( )語法結構應用至的操作點之OpLayerIdSet中所包括之nuh_reserved_zero_6bits值的集合。
op_num_layer_id_values_minus1[opIdx]加1指定了視訊參數集中之第opIdx個hrd_parameters( )語法結構應用至的操作點之OpLayerIdSet中所包括之nuh_reserved_zero_6bits值的數目。op_num_layer_id_values_minus1[opIdx]將小於或等於63。在與此規範一致之位元流中，op_num_layer_id_values_minus1[opIdx]將等於 0。儘管在此規範的此版本中要求op_num_layer_id_values_minus1[opIdx]之值等於0，但解碼器應允許其他值出現於op_num_layer_id_values_minus1[opIdx]語法中。
op_layer_id[opIdx][i]指定視訊參數集中之第opIdx個hrd_parameters( )語法結構應用至的操作點之OpLayerIdSet中所包括之nuh_reserved_zero_6bits的第i值。當i不等於j且i及j兩者皆在0至op_num_layer_id_values_minus1之範圍內(包括0及op_num_layer_id_values_minus1)時，op_layer_id[opIdx][i]之值不得等於op_layer_id[opIdx][j]。op_layer_id[0][0]被推斷為等於0。
如上文所指示，op_num_layer_id_values_minus1[opIdx]語法元素加1指定視訊參數集中之第opIdx個hrd_parameters( )語法結構應用至的操作點之OpLayerIdSet中所包括之nuh_reserved_zero_6bits值的數目。相對比地，HEVC工作草案8規定：op_num_layer_id_values_minus1[opIdx]語法元素加1指定包括於由opIdx識別之操作點中之nuh_reserved_zero_6bits值的數目。類似地，在表4之實例中，op_layer_id[opIdx][i]語法元素指定了視訊參數集中之第opIdx個hrd_parameters( )語法結構應用至的操作點之OpLayerIdSet中所包括之nuh_reserved_zero_6bits的第i值。相對照地，HEVC工作草案8規定：op_layer_id[opIdx][i]語法元素指定包括於由opIdx識別之操作點中之nuh_reserved_zero_6bits的第i值。
HEVC工作草案8之章節7.4.2.2描述SPS之語義。根據本發明之一或多項技術，可對HEVC工作草案8之章節7.4.2.2進行以下改變。SPS之其他語法元素的語義可與HEVC工作草案8中之語義相同：sps_max_dec_pic_buffering[i]指定在TargetDecHighestTid等於i時以圖像儲存緩衝器為單位的經解碼圖像緩衝器的最大所要求大小。sps_max_dec_pic_buffering[i]之值應係在0至MaxDpbSize(如在子條款 A.4中所指定)之範圍內(包括0及MaxDpbSize)。當i大於0時，sps_max_dec_pic_buffering[i]應等於或大於sps_max_dec_pic_buffering[i-1]。針對i之每一值，sps_max_dec_pic_buffering[i]之值應小於或等於vps_max_dec_pic_buffering[i]。
sps_max_num_reorder_pics[i]指示在TargetDecHighestTid等於i時在解碼次序上在任何圖像之前且在輸出次序上在該圖像之後的圖像之最大所允許數目。sps_max_num_reorder_pics[i]之值應係在0至sps_max_dec_pic_buffering[i](包括0及sps_max_dec_pic_buffering[i])的範圍內。當i大於0時，sps_max_num_reorder_pics[i]應等於或大於sps_max_num_reorder_pics[i-1]。針對i之每一值，sps_max_num_reorder_pics[i]之值應小於或等於vps_max_num_reorder_pics[i]。
如藉由將MaxLatencyPictures[i]設定為等於sps_max_num_reorder_pics[i]+sps_max_latency_increase[i]所指定，不等於0之sps_max_latency_increase[i]被用以計算MaxLatencyPictures[i]之值。當sps_max_latency_increase[i]不等於0時，MaxLatencyPictures[i]之值指定在TargetDecHighestTid等於i時在輸出次序上可先於經寫碼視訊序列中之任何圖像且在解碼次序上在該圖像之後的圖像之最大數目。當sps_max_latency_increase[i]等於0時，不表達對應限制。sps_max_latency_increase[i]之值應係在0至232-2的範圍內(包括0及232-2)。針對i之每一值，sps_max_latency_increase[i]之值應小於或等於vps_max_latency_increase[i]。
如上文所展示，依據TargetDecHighestTid來定義sps_max_dec_pic_buffering[i]、sps_max_num_reorder_pics[i]及sps_max_latency_increase[i]之語義。TargetDecHighestTid係如在本發 明中之其他地方所描述而判定。相對比地，HEVC工作草案8參考未經定義之HighestTid來定義sps_max_dec_pic_buffering[i]、sps_max_num_reorder_pics[i]及sps_max_latency_increase[i]的語義。
HEVC工作草案8之章節7.4.5.1描述一般圖塊標頭語義。根據本發明之一或多項技術，可對HEVC工作草案8之章節7.4.5.1進行以下改變。HEVC工作草案8之章節7.4.5.1的其他部分可保持為相同的。
no_output_of_prior_pics_flag指定在解碼IDR或BLA圖像之後如何處理經解碼圖像緩衝器中的先前解碼之圖像。參見附錄C。在當前圖像係CRA圖像或當前圖像係為位元流中之第一圖像的IDR或BLA圖像時，no_output_of_prior_pics_flag之值對解碼程序無影響。在當前圖像係並非位元流中之圖像的IDR或BLA圖像，且自作用中序列參數集導出之pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]的值不同於自針對前一圖像係作用中之序列參數集導出之pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]的值時，無論no_output_of_prior_pics_flag的實際值如何，解碼器可(但不應)推斷出等於1之no_output_of_prior_pics_flag。
如上文所展示，參考sps_max_dec_pic_buffering[TargetDecHighestTid]來定義no_output_of_prior_pics_flag之語義。TargetDecHighestTid係如在本發明中之其他地方所描述而判定。相對比地，HEVC工作草案8參考sps_max_dec_pic_buffering[HighestTid]來定義no_output_of_prior_pics_flags的語義，其中未定義HighestTid。
HEVC工作草案8之章節8.1描述一般解碼程序。根據本發明之一或多項技術，HEVC工作草案8之一般解碼程序可如下作出改變。
此程序之輸入係位元流，且輸出係經解碼圖像之清單。
指定待解碼之VCL NAL單元之nuh_reserved_zero_6bits的值之集 合的集合TargetDecLayerIdSet被指定如下：
- 若未指定於此規範中之某外部構件可用於設定TargetDecLayerIdSet，則藉由該外部構件來設定TargetDecLayerIdSet。
- 否則，若在如子條款C.1中指定之位元流一致性測試中調用解碼程序，則如子條款C.1中所指定地設定TargetDecLayerIdSet。
- 否則，TargetDecLayerIdSet僅含有nuh_reserved_zero_6bits的一個值，其等於0。
識別待解碼之最高時間子層的變數TargetDecHighestTid被指定如下：
- 若未指定於此規範中之某外部構件可用於設定TargetDecHighestTid，則藉由該外部構件來設定TargetDecHighestTid。
- 否則，若在如子條款C.1中指定之位元流一致性測試中調用解碼程序，則如子條款C.1中所指定地設定TargetDecHighestTid。
- 否則，將TargetDecHighestTid設定為sps_max_sub_layers_minus1。
以TargetDecHighestTid及TargetDecLayerIdSet為輸入來應用如子條款10.1中指定之子位元流提取程序，且將輸出指派給般稱作BitstreamToDecode的位元流。
以下情形適用於BitstreamToDecode中的每一經寫碼圖像(稱作當前圖像，其由變數CurrPic表示)。
取決於chroma_format_idc之值，當前圖像之樣本陣列的數目係如下。
- 若chroma_format_idc等於0，則當前圖像由1個樣本陣列SL組成。
- 否則(chroma_format_idc不等於0)，當前圖像由3個樣本陣列SL、SCb、SCr組成。
當前圖像之解碼程序採用來自條款7之語法元素及大寫字母變數作為輸入。當涉及解譯每一NAL單元及「位元流」或其部分(例如，經寫碼視訊序列中之每一語法元素的語義時，位元流或其部分意謂BitstreamToDecode或其部分。
解碼程序經指定，使得所有解碼器應產生數值上相同之結果。 產生相同於本文中所描述之程序之結果的任何解碼程序皆與此規範中之解碼程序要求一致。
在當前圖像係CRA圖像時，以下情形適用：
- 若此規範中未指定之某外部構件可用於將變數HandleCraAsBlaFlag設定為一值，則將HandleCraAsBlaFlag設定為由外部構件提供的值。
- 否則，將HandleCraAsBlaFlag之值設定為0。
在當前圖像係CRA圖像且HandleCraAsBlaFlag等於1時，在每一經寫碼圖塊NAL單元之剖析及解碼程序期間以下情形適用：
- 將nal_unit_type之值設定為BLA_W_LP。
- 將no_output_of_prior_pics_flag之值設定為1。
註釋1- 解碼器實施可選擇在設定不影響當前圖像及在解碼次序上的隨後圖像之解碼時(例如，當在需要時總是存在可用之圖像儲存緩衝器時)將no_output_of_prior_pics_flag的值設定為0。
此條款中提及之每一圖像係完整之經寫碼圖像。
取決於separate_colour_plane_flag之值，將解碼程序結構化如下。
- 若separate_colour_plane_flag等於0，則解碼程序被調用單一次，其中當前圖像為輸出。
- 否則(separate_colour_plane_flag等於1)，解碼程序被調用三次。至解碼程序之輸入係經寫碼圖像之具有colour_plane_id之相同值的所有NAL單元。具有colour_plane_id之特定值的NAL單元之解碼程序經指定，就如同僅有具colour_plane_id之該特定值的單色格式之經寫碼視訊序列將存在於該位元流中一般。三個解碼程序中之每一者的輸出被指派給當前圖像的3個樣本陣列，其中具等於0之colour_plane_id的NAL單元指派給SL，具有等於1之colour_plane_id的NAL單元指派給SCb，且具有等於2之colour_plane_id的NAL單元指派給SCr。
註釋1- 在separate_colour_plane_flag等於1且chroma_format_idc等於3時，變數ChromaArrayType被導出為0。在解碼程序中，此變數之值經評估，從而導致相同於chroma_format_idc等於0的單色圖像之操作的操作。
解碼程序針對當前圖像CurrPic如下操作：
1. NAL單元之解碼在子條款8.2中指定。
2. 子條款8.3中之程序指定使用圖塊層中之語法元素及以上語法元素的解碼程序：
- 在子條款8.3.1中導出與圖像次序計數相關之變數及功能(僅需要針對圖像之第一圖塊調用其)。
- 調用子條款8.3.2中的針對參考圖像集的解碼程序，其中參考圖像可標註為「不用於參考」或「用於長期參考」(僅需要針對圖像之第一圖塊調用其)。
- 在當前圖像係BLA圖像或係一為位元流中之第一圖像的CRA圖像時，調用指定於子條款8.3.3中之用於產生不可用的參考圖像的解碼程序(僅需要針對圖像之第一圖塊調用其)。
- PicOutputFlag被設定如下：
- 若當前圖像係TFD圖像且解碼次序上的先前之RAP圖像係BLA圖像或係一為位元流中之第一經寫碼圖像的CRA圖像，則PicOutputFlag被設定為等於0。
- 否則，PicOutputFlag被設定為等於pic_output_flag。
- 在每一P或B圖塊之解碼程序開始時，子條款8.3.4中指定之針對參考圖像清單建構的解碼程序經調用以用於導出參考圖像清單0(RefPicList0)，且在解碼B圖塊時調用該解碼程序以用於導出參考圖像清單1(RefPicList1)。
- 在已解碼了當前圖像之所有圖塊之後，將經解碼圖像標註為「用於短期參考」。
3. 子條款8.4、8.5、8.6及8.7中之程序指定使用寫碼樹型單元層中之語法元素及以上語法元素的解碼程序。
如本發明中其他地方所指示，在HEVC工作草案8中，當針對位元流一致性測試調用解碼程序時，因為TargetDecLayerIdSet及TargetDecHighestTid的值未經恰當設定，故語法元素之語義並未被清楚地指定。上文所展示的對一般解碼程序之修改可補救此問題。如上文所展示，當針對位元流一致性測試調用一般解碼程序時，TargetDecLayerIdSet及TargetDecHighestTid之值係如子條款C.1中所指定而設定。如下文所描述，子條款C.1之經修改版本可將TargetDecLayerIdSet設定為存在於對應於受測操作點之子位元流中的nuh_reserved_zero_6bits值之集合。子條款C.1之經修改版本可將TargetDecHighestTid設定為存在於對應於受測操作點之子位元流中的最大TemporalId值。
以此方式，諸如視訊解碼器30之器件可執行解碼程序，作為執行位元流一致性測試的部分。執行解碼程序可包含執行位元流提取程序以自位元流提取由層識別符之目標集合及目標最高時間識別符定義 之操作點的操作點表示。層識別符之目標集合可含有存在於操作點表示中之層識別符語法元素的值，層識別符之目標集合係位元流之層識別符語法元素的值之子集。目標最高時間識別符可等於存在於操作點表示中之最大時間識別符，目標最高時間識別符小於或等於存在於位元流中的最大時間識別符。此外，器件可解碼操作點表示之NAL單元。
如在以上對章節8.1之修改中所指示，解碼程序不必作為位元流一致性測試的部分而執行。在解碼程序並非作為位元流一致性測試之部分而執行的一些個例中，器件可執行位元流提取程序以自位元流提取操作點的操作點表示。在此狀況下，0可係存在於操作點表示中之層識別符語法元素(例如，nuh_reserved_zero_6bits)的唯一值，且存在於位元流中之最大時間識別符等於存在於操作點之操作點表示中的最大時間識別符。器件可解碼第二操作點之操作點表示的NAL單元。
替代性地，器件可自外部源接收層識別符之目標集合及目標最高時間識別符。層識別符之目標集合可含有存在於操作點之操作點表示中的層識別符語法元素的值，該操作點由層識別符之目標集合及目標最高時間識別符來定義。目標最高時間識別符可等於存在於操作點之操作點表示中的最大時間識別符。此外，器件可執行位元流提取程序以自位元流提取操作點之操作點表示。此外，器件可解碼操作點之操作點表示的NAL單元。
此外，根據本發明之一或多項技術，在HEVC工作草案8之子條款10.1中描述的子位元流提取程序可如下作出改變。
位元流一致性之要求係：包括於在此子條款中指定之程序之輸出中的tIdTarget等於在0至6之範圍內(包括0及6)之任何值且layerIdSetTarget僅含有值0的任何子位元流應與此規範一致。
註釋- 一致之位元流含有具有等於0之nuh_reserved_zero_6bits 及等於0之TemporalId的一或多個經寫碼圖塊NAL單元。
至此程序之輸入係變數tIdTarget及集合layerIdSetTarget。
此程序之輸出係子位元流。
藉由自位元流移除具有大於tIdTarget之TemporalId或並非在layerIdSetTarget中之值中的nuh_reserved_zero_6bits之所有NAL單元而導出子位元流。
在HEVC工作草案8之子條款10.1中，使用變數名稱targetDecLayerIdSet，其中上文使用layerIdSetTarget。使用layerIdSetTarget的上文展示之對HEVC工作草案之子條款10.1的改變可用來闡明：在用於子位元流提取程序中之層識別符的集合與targetDecLayerIdSet之間可存在差異，targetDecLayerIdSet如本發明中於其他地方所描述具有特定定義。
此外，根據本發明之一或多項技術，HEVC工作草案8之章節A.4.1的一般階層及級別規範可如下作出改變。在本發明中，「設定檔」可指代位元流語法之子集。可在每一設定檔內指定「階層」及「級別」。階層之級別可係強加於位元流中之語法元素之值的約束之指定集合。此等約束可為對值之簡單限制。
替代性地，約束可採用對值之算術組合(例如，圖像寬度×圖像高度×每秒解碼之圖像的數目)之約束的形式。針對較低階層所指定之級別相較於針對較高階層指定之級別受到更多約束。根據本發明之實例，HEVC工作草案8之「一般級別規範」章節(亦即，章節A.4.1)被重新加標題為「一般階層及級別規範」，且文字做如下改變。表A-1可保持與HEVC工作草案8中之者相同。
為了比較階層能力，相較於具有等於1之general_tier_flag的階層，具有等於0之general_tier_flag的階層應被視為較低階層。
為了比較級別能力，對於特定階層，較低級別具有較低之 general_level_idc值。
為了在此附錄中表達該等約束而指定以下內容。
- 使存取單元n係解碼次序上之第n個存取單元，其中第一存取單元係存取點0(亦即，第0個存取單元)。
- 使圖像n係存取單元n之經寫碼圖像或對應經解碼圖像。
- 使變數fR設定為1÷300。
與指定級別處之設定檔一致的位元流應服從針對如在附錄C中指定之每一位元流一致性測試的以下約束：
a)如子條款C.2.2中指定之存取單元n(其中n>0)自CPB的標稱移除時間對於圖像n-1之PicSizeInSamplesY的值滿足以下約束：tr,n(n)-tr(n-1)等於或大於Max(PicSizeInSamplesY÷MaxLumaSR,fR)，其中MaxLumaSR係在表A-1中指定之應用至圖像n-1的值。
b)如子條款C.3.2中指定之圖像自DPB之連續輸出時間之間的差對於圖像n之PicSizeInSamplesY的值滿足以下約束：△to,dpb(n)>=Max(PicSizeInSamplesY÷MaxLumaSR,fR)，其中MaxLumaSR係圖像n之在表A-1中指定的值，其限制條件為圖像n係經輸出的圖像且並非位元流之經輸出之最後圖像。
c)PicSizeInSamplesY<=MaxLumaPS，其中MaxLumaPS指定於表A-1中。
d)pic_width_in_luma_samples<=Sqrt(MaxLumaPS * 8)
e)pic_height_in_luma_samples<=Sqrt(MaxLumaPS * 8)
f)sps_max_dec_pic_buffering[TargetDecHighestTid]<=MaxDpbSize，其中如以下內容所指定而導出MaxDpbSize：若(PicSizeInSamplesY<=(MaxLumaPS>>2))
則MaxDpbSize=Min(4 * MaxDpbPicBuf,16)
否則若(PicSizeInSamplesY<=(MaxLumaPS>>1))
則MaxDpbSize=Min(2 * MaxDpbPicBuf,16)
否則若(PicSizeInSamplesY<=(MaxLumaPS<<1)/3)
則MaxDpbSize=Min((3 * MaxDpbPicBuf)>>1,16)
否則若(PicSizeInSamplesY<=((3 * MaxLumaPS)>>2))
則MaxDpbSize=Min((4 * MaxDpbPicBuf)/3,16)
否則
MaxDpbSize=MaxDpbPicBuf
其中MaxLumaPS指定於表A-1中，且MaxDpbPicBuf等於6。
表A-1指定針對每一階層之每一級別的限制。在子條款A.4.2中指定了表A-1之MinCR參數欄的使用。
位元流與之相一致之階層及級別應由語法元素general_tier_flag及general_level_idc指示如下。
- 根據表A-1中之階層約束規範，等於0之general_tier_flag指示與主階層之一致性，且等於1之general_tier_flag指示與高階層之一致性。對於級別4以下之級別，general_tier_flag應等於0(對應於表A-1中之標註有「-」的輸入項)。表A-1中之不同於MaxBR及MaxCPB的級別限制對於主階層及高階層兩者為共同的。
- general_level_idc應設定為等於表A-1中指定之級別數目之30倍的值。
如上文在項(f)中所指示，與指定級別處之設定檔一致的位元流服從sps_max_dec_pic_buffering[TargetDecHighestTid]<=MaxDpbSize的約束。可以在本發明中其他地方描述的方式來定義TargetDecHighestTid。相對比地，HEVC工作草案8對於項(f)指示：與指定級別處之設定檔一致的位元流服從sps_max_dec_pic_buffering[sps_max_temporal_layers_minus1]<=MaxDpbSize的約束。如本發明中其他地方所指示，可能未在級別限 制方面恰當選擇參數sps_max_dec_pic_buffering[i]。根據本發明之一或多項技術，用TargetDecHighestTid替換sps_max_temporal_layers_minus1來作為sps_max_dec_pic_buffering[i]的索引i可確保級別限制被始終如一地選擇，其中i等於TargetDecHighestTid的清楚指定之值。
以此方式，HRD之解碼程序可自SPS解碼語法元素之陣列(例如，sps_max_dec_pic_buffering[])，其中陣列中的語法元素中之每一者指示HRD之DPB的最大所要求大小。此外，當器件執行HRD操作時，器件可基於目標最高時間識別符(例如，TargetDecHighestTid)判定陣列中之特定語法元素(例如，sps_max_dec_pic_buffering[TargetDecHighestTid])。此外，當特定語法元素之值大於最大DPB大小(例如，MaxDpbSize)時，器件可判定位元流並不與視訊寫碼標準一致。
此外，根據本發明之一或多個實例技術，HEVC工作草案8之章節A.4.2可如下作出改變。HEVC工作草案8之章節A.4.2描述針對主設定檔之設定檔特定級別限制。表A-2可保持與HEVC工作草案8中之者相同。
與指定階層及級別處之主設定檔一致的位元流應服從如在附錄C中指定之對於位元流一致性測試的以下約束：
a)圖像中的圖塊之數目(其中dependent_slice_flag等於0或1)小於或等於MaxSlicesPerPicture，其中MaxSlicesPerPicture指定於表A-1中。
b)對於VCL HRD參數而言，對於SchedSelIdx的至少一值，BitRate[SchedSelIdx]<=cpbBrVclFactor * MaxBR且CpbSize[SchedSelIdx]<=cpbBrVclFactor * MaxCPB，其中cpbBrVclFactor指定於表A-2中，且BitRate[SchedSelIdx]及 CpbSize[SchedSelIdx]被給定如下。
- 若vcl_hrd_parameters_present_flag等於1，則使用如在子條款C.1中所指定而選擇之語法元素、分別藉由等式E-45及E-46來給出BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]。
- 否則(vcl_hrd_parameters_present_flag等於0)，如在子條款E.2.3中針對VCL HRD參數所指定而推斷出BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]。
在表A-1中分別以cpbBrVclFactor位元/s及cpbBrVclFactor位元為單位來指定MaxBR及MaxCPB。對於在0至cpb_cnt_minus1[TargetDecHighestTid]之範圍內(包括0及cpb_cnt_minus1[TargetDecHighestTid])的SchedSelIdx之至少一值，位元流應滿足此等條件。
c)對於NAL HRD參數而言，對於SchedSelIdx的至少一值，BitRate[SchedSelIdx]<=cpbBrNalFactor * MaxBR且CpbSize[SchedSelIdx]<=cpbBrNalFactor * MaxCPB，其中cpbBrNalFactor指定於表A-2中，且BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]被給定如下。
- 若nal_hrd_parameters_present_flag等於1，則使用如在子條款C.1中所指定而選擇之語法元素、分別藉由等式E-45及E-46來給出BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]。
- 否則(nal_hrd_parameters_present_flag等於0)，如在子條款E.2.3中針對NAL HRD參數所指定而推斷出BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]。
在表A-1中分別以cpbBrNalFactor位元/s及cpbBrNalFactor位元為單位指定MaxBR及MaxCPB。對於在0至cpb_cnt_minus1[TargetDecHighestTid]之範圍內(包括0及 cpb_cnt_minus1[TargetDecHighestTid])的SchedSelIdx之至少一值，位元流應滿足此等條件。
d)存取單元0之NumBytesInNALunit變數的總和對於圖像0之PicSizeInSamplesY的值小於或等於1.5 *(Max(PicSizeInSamplesY,fR * MaxLumaSR)+MaxLumaSR *(tr(0)-tr,n(0)))÷MinCR，其中MaxLumaPR及MinCR係在表A-1中指定之應用至圖像0的值。
e)存取單元n(其中n>0)之NumBytesInNALunit變數的總和小於或等於1.5 * MaxLumaSR *(tr(n)-tr(n-1))÷MinCR，其中MaxLumaSR及MinCR係在表A-1中指定之應用至圖像n的值。
f)對於級別5及較高級別，變數CtbSizeY應等於32或64。
g)NumPocTotalCurr之值應小於或等於8。
h)num_tile_columns_minus1之值應小於MaxTileCols，且num_tile_rows_minus1應小於MaxTileRows，其中MaxTileCols及MaxTileRows係如表A-1中所指定。
如本發明中其他地方所指示，可能未在級別限制方面恰當選擇參數cpb_cnt_minus1[i]。HEVC工作草案8指定：「對於在0至cpb_cnt_minus1之範圍內(包括0及cpb_cnt_minus1)的SchedSelIdx之至少一值，位元流應滿足此等條件……」。根據本發明之一或多項技術，指定TargetDecHighestTid作為cpb_cnt_minus1[i]的索引i可確保級別限制被始終如一地選擇，其中i等於TargetDecHighestTid的清楚指定之值。
此外，根據本發明之一或多項技術，HEVC工作草案8之附錄C中的一般子條款C.1可經修改。HEVC工作草案8之子條款C.1的圖C-1及C-2可保持與HEVC WD8中之者相同。HEVC工作草案8之子條款C.1的文字可做如下改變。
此附錄指定假想參考解碼器(HRD)及其檢查位元流與解碼器一致 性的用途。
兩種類型之位元流經受此規範之HRD一致性檢查。稱作類型I位元流的第一類型之位元流係僅含有位元流中之所有存取單元的VCL NAL單元及具有等於FD_NUT之nal_unit_type之NAL單元(填充符資料NAL單元)的NAL單元流。稱作類型II位元流的第二類型之位元流除位元流中的所有存取單元的VCL NAL單元及填充符資料NAL單元外亦含有以下內容中之至少一者：- 不同於填充符資料NAL單元的額外非VCL NAL單元，- 形成來自NAL單元流之位元組流的所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素(如附錄B中所指定)。
圖C-1展示由HRD檢查之位元流一致性點的類型。
HRD要求之非VCL NAL單元之語法元素(或語法元素中之一些的預設值)在附錄D及E條款7之語義子條款中指定。
使用兩個類型之HRD參數(NAL HRD參數及VCL HRD參數)。經由視訊參數集語法結構或經由如子條款E.1及E.2中指定之視訊可用性資訊來發信HRD參數，視訊可用性資訊係序列參數集語法結構的部分。
為了檢查位元流之一致性可需要多個測試。對於每一測試，以所列出之次序應用以下步驟：
1. 選擇表示為TargetOp的受測操作點。TargetOp由等於targetOpLayerIdSet之OpLayerIdSet及等於targetOpTid的OpTid來識別。targetOpLayerIdSet含有存在於與TargetOp相關聯之位元流子集中之nuh_reserved_zero_6bits的值之集合，且應係存在於受測位元流中之nuh_reserved_zero_6bits的值之子集。targetOpTid等於存在於與TargetOp相關聯之位元流子集中的最大TemporalId，且應小於或等於 存在於受測位元流中的greatestTemporalId。
2. TargetDecLayerIdSet設定為targetOpLayerIdSet，TargetDecHighestTid設定為targetOpTid，且BitstreamToDecode設定為如子條款10.1中所指定之子位元流提取程序的輸出，其中TargetDecHighestTid及TargetDecLayerIdSet係作為輸入。
3. 選擇適用於TargetOp的hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構。若TargetDecLayerIdSet僅含有值0，則選擇作用中序列參數集中之hrd_parameters( )語法結構。否則，選擇滿足以下條件的hrd_parameters( )語法結構：其係在作用中參數集中(或經由外部構件提供)且對於在0至op_num_layer_id_values_minus1[opIdx]之範圍內(包括0及op_num_layer_id_values_minus1[opIdx])的i，由op_layer_id[opIdx][i]指定的值之集合相同於TargetDecLayerIdSet。在所選擇hrd_parameters( )語法結構內，若BitstreamToDecode係類型I位元流，則選擇緊跟在條件「if(vcl_hrd_parameters_present_flag)」之後之sub_layer_hrd_parameters(TargetDecHighestTid)語法結構(在此狀況下，變數NalHrdModeFlag設定為等於0)，否則(BitstreamToDecode係類型II位元流)，選擇緊跟在條件「if(vcl_hrd_parameters_present_flag)」(在此狀況下，變數NalHrdModeFlag設定為等於0)抑或條件「if(nal_hrd_parameters_present_flag)」(在此狀況下，變數NalHrdModeFlag設定為等於1)之後的sub_layer_hrd_parameters(TargetDecHighestTid)語法結構，且在前一狀況下自BitstreamToDecode捨棄除填充符資料NAL單元外之所有非VCL NAL單元，且將結果指派至BitstreamToDecode。
4. 選擇與適用於TargetOp之緩衝週期SEI訊息相關聯的存取單元 作為HRD初始化點，且將其稱作存取單元0。
5. 選擇包括時序資訊之SEI訊息。選擇緩衝週期SEI訊息，該SEI訊息在存取單元0中經寫碼且應用至如由applicable_operation_points( )語法結構所指示的TargetOp。對於自存取單元0開始之BitstreamToDecode的每一存取單元，選擇係與存取單元相關聯且應用至如由applicable_operation_points( )語法結構指示之TargetOp的圖像時序SEI訊息，且在SubPicCpbFlag等於1且sub_pic_cpb_params_in_pic_timing_sei_flag等於0時，選擇係與存取單元中之解碼單元相關聯且應用至如由applicable_operation_points( )語法結構指示的TargetOp的子圖像時序SEI訊息。
6. 選擇SchedSelIdx之值。所選擇之SchedSelIdx應在0至cpb_cnt_minus1[TargetDecHighestTid]之範圍內(包括0及cpb_cnt_minus1[TargetDecHighestTid])，其中可在如上文所選擇之sub_layer_hrd_parameters(TargetDecHighestTid)語法結構中找到cpb_cnt_minus1[TargetDecHighestTid]。
7. 選擇初始CPB移除延遲及延遲偏移，且可自BitstreamToDecode捨棄與存取單元0相關聯的TFD存取單元。若存取單元0中之經寫碼圖像具有等於CRA_NUT或BLA_W_LP的nal_unit_type，且所選擇緩衝週期SEI訊息中的rap_cpb_params_present_flag等於1，則選擇由對應於NalHrdModeFlag之initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]表示的預設初始CPB移除延遲及延遲偏移(在此狀況下，變數DefaultInitCpbParamsFlag被設定為等於1)抑或由對應於NalHrdModeFlag之initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]表示的替代性初始 CPB移除延遲及延遲偏移(在此狀況下，變數DefaultInitCpbParamsFlag被設定為等於0)，且在後一狀況下自BitstreamToDecode捨棄與存取單元0相關聯之TFD存取單元，且將結果指派至BitstreamToDecode。否則，選擇預設初始CPB移除延遲及延遲偏移(在此狀況下，變數DefaultInitCpbParamsFlag被設定為等於1)。
所進行之位元流一致性測試的數目等於N1 * N2 * N3 *(N4 * 2+N5)，其中N1、N2、N3、N4及N5的值被指定如下。
- N1係受測位元流中所含有之操作點的數目。
- 若Bitstream ToDecode係類型I位元流，則N2等於1，否則(BitstreamToDecode係類型II位元流)，N2等於2。
- N3等於cpb_cnt_minus1[TargetDecHighestTid]+1。
- N4係與適用於BitstreamToDecode中之TargetOp的緩衝週期SEI訊息相關聯的存取單元之數目，其中此等存取單元中之每一者中的經寫碼圖像具有等於CRA_NUT或BLA_W_LP的nal_unit_type，且適用於TargetOp的相關聯緩衝週期SEI訊息具有等於1的rap_cpb_params_present_flag。
- N5係與適用於BitstreamToDecode中之TargetOp的緩衝週期SEI訊息相關聯的存取單元之數目，其中此等存取單元中之每一者中的經寫碼圖像具有不等於CRA_NUT及BLA_W_LP中之一者的nal_unit_type，或適用於TargetOp的相關聯緩衝週期SEI訊息具有等於0的rap_cpb_params_present_flag。
當BitstreamToDecode係類型II位元流時，若選擇緊跟在條件「if(vcl_hrd_parameters_present_flag)」之後的sub_layer_hrd_parameters(TargetDecHighestTid)語法結構，則測試在展示於圖C-1中之類型I一致性點處進行，且針對輸入位元速率及CPB 儲存僅計數VCL及填充符資料NAL單元；否則選擇緊跟在條件「if(nal_hrd_parameters_present_flag)」之後的(sub_layer_hrd_parameters(TargetDecHighestTid)語法結構，測試在展示於圖C-1中之類型II一致性點處進行，且針對輸入位元速率及CPB儲存計數(類型II NAL單元流的)所有NAL單元或(位元組流的)所有位元組。
註釋3- 對於VBR狀況(cbr_flag[SchedSelIdx]等於0)下之InitCpbRemovalDelay[SchedSelIdx]、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]的相同值，藉由展示於圖C-1中之類型II一致性點的SchedSelIdx之值建立的NAL HRD參數足以亦建立展示於圖C-1中之類型I一致性點的VCL HRD一致性。此係因為至類型I一致性點中之資料流係至類型II一致性點中之資料流的子集，且因為對於VBR狀況而言CPB被允許變為空的且保持為空直至下一圖像經排程以開始到達的時間為止。舉例而言，當使用指定於條款2至9中之解碼程序解碼與指定於附錄A中之設定檔中之一或多者一致的經寫碼視訊序列時，當對於類型II一致性點提供不僅屬於子條款A.4.2之項c)中為了設定檔一致性而對NAL HRD參數設定的界限內而且屬於子條款A.4.2之項b)中為了設定檔致一性而對VCL HRD參數設定的界限內的NAL HRD參數時，亦確保類型I一致性點之VCL HRD的一致性屬於子條款A.4.2的項b)之界限內。
在VCL NAL單元以及對應緩衝週期及圖像時序SEI訊息中涉及之所有視訊參數集、序列參數集及圖像參數集應在位元流中(藉由非VCL NAL單元)抑或藉由在此規範中未指定的其他構件以及時方式傳遞至HRD。
在附錄C、D及E中，當非VCL NAL單元(或該等NAL單元中之僅一些)藉由未由此規範指定的其他構件傳遞至解碼器(或至HRD)時，彼 等NAL單元之「存在」的規範亦被滿足。為了對位元進行計數，僅計數實際存在於位元流中之適當位元。
註釋1- 作為實例，藉由若編碼器決定在位元流中傳遞非VCL NAL單元則指示位元流中之兩個點(非VCL NAL單元將在該兩個點間存在於位元流中)，可達成透過不同於在位元流中之存在之手段傳遞之非VCL NAL單元與存在於位元流中之NAL單元的同步。
當透過不同於在位元流內之存在之某手段傳遞非VCL NAL單元之內容以供應用時，不要求非VCL NAL單元之內容的表示來使用與此規範中指定之語法相同的語法。
註釋2- 當在位元流內含有HRD資訊時，有可能僅基於位元流內所含有之資訊來驗證位元流與此子條款之要求的一致性。當HRD資訊並非存在於位元流中時，如對於所有「獨立」類型I位元流之狀況，可僅在藉由此規範中未指定之某其他手段供應了HRD資料時驗證一致性。
HRD含有經寫碼圖像緩衝器(CPB)、瞬時解碼程序、經解碼圖像緩衝器(DPB)及如圖C-2中所展示的輸出裁切。
對於每一位元流一致性測試，CPB大小(位元之數目)係如由等式E-46指定的CpbSize[SchedSelIdx]，其中SchedSelIdx及HRD參數係如此子條款中上文所指定而經選擇。DPB大小(圖像儲存緩衝器之數目)係sps_max_dec_pic_buffering[TargetDecHighestTid]。
變數SubPicCpbPreferredFlag由外部構件指定，抑或在未由外部構件指定時設定為0。
變數SubPicCpbFlag被導出如下：SubPicCpbFlag=SubPicCpbPreferredFlag && sub_pic_cpb_params_present_flag (C-1)
若SubPicCpbFlag等於0，則CPB於存取單元級別操作，且每一解 碼單元係存取單元。否則，CPB於子圖像級別操作，且每一解碼單元係存取單元之子集。
HRD如下操作。與根據指定之到達排程流入CPB中之解碼單元相關聯的資料係由HSS來遞送。在解碼單元之CPB移除時間藉由瞬時解碼程序瞬時地移除並解碼與每一解碼單元相關聯之資料。每一經解碼圖像被置放於DPB中。如子條款C.3.1或子條款C.5.2中所指定自DPB移除經解碼圖像。
在子條款C.2中指定了CPB的針對每一位元流一致性測試的操作。在條款2至9中指定了瞬時解碼器操作。在子條款C.3中指定了DPB的針對每一位元流一致性測試的操作。在子條款C.3.2及子條款C.5.2中指定了用於每一位元流一致性測試之輸出裁切。
與列舉之遞送排程之數目及其相關聯位元速率及緩衝器大小相關的HSS及HRD資訊被指定於子條款E.1.1、E.1.2、E.2.1及E.2.2中。如在子條款D.1.1及D.2.1中指定的緩衝週期SEI訊息所指定來初始化HRD。解碼單元自CPB之移除時序及解碼圖像自DPB之輸出時序被指定於如子條款D.1.2及D.2.1中所指定的圖像時序SEI訊息中。與特定解碼單元相關之所有時序資訊應在該解碼單元之CPB移除時間之前到達。
對位元流一致性之要求指定於子條款C.4中，且如子條款C.5中所指定，將HRD用以檢查解碼器的一致性。
註釋3- 雖然在假定用以產生位元流之所有圖像速率及時脈與在位元流中發信之值準確匹配的情況下保證一致性，但在真實系統中，此等圖像速率及時脈中之每一者可不同於經發信或指定之值。
此附錄中之所有算術以實值進行，使得不可傳播捨入誤差。舉例而言，恰在解碼單元之移除之前或之後的CPB中的位元數目不一定為整數。
變數tc被如下導出且被稱作時脈刻度(tick)：tc=num_units_in_tick÷time_scale (C-1)
變數tc_sub被如下導出且被稱作子圖像時脈刻度：tc_sub=tc÷(tick_divisor_minus2+2) (C-2)
在此附錄中為了表達約束而指定以下內容：
- 使存取單元n係解碼次序上之第n個存取單元，其中第一存取單元係存取單元0(亦即，第0個存取單元)。
- 使圖像n係存取單元n之經寫碼圖像或經解碼圖像。
- 使解碼單元m係解碼次序上之第m個解碼單元，其中第一解碼單元係解碼單元0。
上文對HEVC工作草案8之章節C.1的修改可闡明位元流一致性測試。如上文所指示，當為了HEVC工作草案8中之位元流一致性測試調用解碼程序時，因為TargetDecLayerIdSet及TargetDecHighestTid的值未被恰當設定，故語法元素之語義並未被清楚地指定。對章節C.1之修改闡明了TargetDecLayerIdSet及TargetDecHighestTid的定義。
如在上文對HEVC工作草案8之章節C.1之修改中所展示，器件可執行HRD操作(諸如，位元流一致性測試)，該HRD操作選擇操作點，判定操作點的層識別符之目標集合(TargetDecLayerIdSet)及最高時間識別符(TargetDecHighestTid)。此外，在HRD操作中，器件可選擇適用於操作點之HRD參數的集合，且使用HRD參數之所選擇集合來組態執行解碼程序的HRD。適用於特定操作點的HRD參數之集合可包括指定初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲、DPB大小等等的參數。HRD操作可包括執行解碼程序。
在一些實例中，器件可自VPS中的HRD參數(例如，hrd_parameters( )語法結構)之一或多個集合及SPS中之HRD參數的集合中選擇適用於操作點的HRD參數之集合。在一些實例中，當特定操 作點之層識別符集合含有存在於與SPS相關聯之經寫碼視訊序列中的所有層識別符之集合時，器件可判定SPS中之HRD參數的集合適用於該操作點。此外，在一些實例中，器件可回應於判定操作點之目標層識別符集合(例如，TargetDecLayerIdSet)僅含有值0而選擇SPS中的HRD參數的集合。在一些實例中，器件可回應於判定層識別符(例如，op_layer_id[ ][ ])之集合相同於操作點之目標層識別符集合(例如，TargetDecLayerIdSet)而選擇SPS中的HRD參數之集合。
此外，如在上文對HEVC工作草案8之章節C.1的修改及本發明之其他部分中所展示，器件可自SPS解碼語法元素之陣列(sps_max_dec_pic_buffering[ ])，該等語法元素各自指示HRD之DPB的最大所要求大小。器件可基於目標最高時間識別符而判定陣列中之特定語法元素(亦即，sps_max_dec_pic_buffering[TargetDecHighestTid])。如上文所指示，DPB中的圖像儲存緩衝器之數目由特定語法元素來指示(亦即，DPB大小(圖像儲存緩衝器的數目)係sps_max_dec_pic_buffering[TargetDecHighestTid])。
此外，解碼程序可解碼包括HRD參數之所選擇集合的HRD參數語法結構(hrd_parameters( ))。HRD參數之所選擇集合包括語法元素之陣列(cbp_cnt_minus1[])，該等語法元素各自指示位元流中之替代性CPB規範的數目。對HEVC工作草案8之章節C.1的修改闡明了當器件執行HRD操作時，器件可基於目標最高時間識別符(TargetDecHighestTid)來選擇陣列中的特定語法元素(cpb_cnt_minus1[TargetDecHighestTid])，且可在0至特定語法元素之值的範圍內選擇一排程器選擇索引(SchedSelIdx)。器件可至少部分基於該排程器選擇索引來判定HRD之CPB的初始CPB移除延遲。
HEVC工作草案8之章節C.2.1係關於為了位元流一致性自DPB移除圖像。根據本發明之一或多個實例技術，HEVC工作草案8之章節 C.2.1可如下作出改變：此子條款中之規範獨立地應用至DPB參數的如子條款C.1中所指定而選擇之每一集合。
在解碼當前圖像之前(但在剖析當前圖像之第一圖塊的圖塊標頭之後)自DPB移除圖像瞬時地發生於存取單元n(含有當前圖像)之第一解碼單元的CPB移除時間，且如下繼續進行。
調用如子條款8.3.2中指定之針對參考圖像集的解碼程序。
若當前圖像係IDR或BLA圖像，則以下情形適用：
1. 在IDR或BLA圖像並非經解碼之第一圖像且自作用中序列參數集導出之pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]的值分別不同於自針對前一圖像係作用中之序列參數集導出之pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]的值時，無論no_output_of_prior_pics_flag的實際值如何，HRD將no_output_of_prior_pics_flag推斷為等於1。
註釋- 就pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]之改變而言，解碼器實施應試圖比HRD更得體地處置圖像或DPB大小改變。
2. 當no_output_of_prior_pics_flag等於1或被推斷為等於1時，DPB中之所有圖像儲存緩衝器被清空而不輸出其含有之圖像，且DPB飽和度被設定為0。
自DPB中移除以下兩條件皆為真的所有圖像k：
- 圖像k被標註為「不用於參考」，
- 圖像k具有等於0之PicOutputFlag，或其DPB輸出時間小於或等於當前圖像n之第一解碼單元(表示為解碼單元m)的CPB移除時間；亦即，to,dpb(k)<=tr(m)
當自DPB移除一圖像時，DPB飽和度被遞減1。
如本發明中其他地方所指示，在HRD操作中可能未恰當選擇參數sps_max_dec_pic_buffering[i]。如上文所展示，HEVC工作草案8僅指示sps_max_dec_pic_buffering[i]而非sps_max_dec_pic_buffering[TargetDecHighestTid]。HEVC工作草案8並不指示在章節C.2.1中的索引i之語義。根據本發明之一或多項技術，將TargetDecHighestTid指定為sps_max_dec_pic_buffering[i]的索引i可確保在執行自DPB移除圖像之HRD操作時在sps_max_dec_pic_buffering[i]中使用等於TargetDecHighestTid之清楚指定之值的i。
如上文對HEVC工作草案8之章節C.2.1的修改中所展示，器件可自對於當前圖像在作用中之SPS解碼語法元素之第一陣列(sps_max_dec_pic_buffering[])，該等語法元素各自指示HRD之DPB的最大所要求大小。此外，器件可自對於前一圖像在作用中之SPS解碼語法元素之第二陣列(sps_max_dec_pic_buffering[])，該等語法元素各自指示HRD之DPB的最大所要求大小。器件可基於目標最高時間識別符(TargetDecHighestTid)判定第一陣列中之第一語法元素(sps_max_dec_pic_buffering[TargetDecHighestTid])。此外，器件可基於目標最高時間識別符判定第二陣列中之第二語法元素(sps_max_dec_pic_buffering[TargetDecHighestTid])。在當前圖像係瞬時解碼再新(IDR)圖像或斷鏈存取(BLA)圖像且第一語法元素之值不同於第二語法元素的值時，器件可推斷出第三語法元素(no_output_of_prior_pics_flag)的值而無關於由第三語法元素指示的值。第三語法元素可指定在解碼IDR圖像或BLA圖像之後如何處理DPB中的先前解碼之圖像。
IDR圖像可係每一圖塊區段具有等於IDR_W_LP或IDR_N_LP之 nal_unit_type的隨機存取點(RAP)圖像。IDR圖像僅含有I圖塊，且可係位元流中的在解碼次序上之第一圖像，或可出現於位元流中的稍後處。具有等於IDR_N_LP之nal_unit_type的IDR圖像並不具有存在於位元流中的相關聯前置圖像。前置圖像係一在輸出次序上先於相關聯RAP圖像的圖像。具有等於IDR_W_LP之nal_unit_type的IDR圖像並不具有存在於位元流中之相關聯的標記為捨棄(TFD)圖像，但可具有在位元流中之相關聯DLP圖像。
BLA圖像係每一圖塊片段具有等於BLA_W_TFD、BLA_W_DLP或BLA_N_LP之nal_unit_type的RAP圖像。具有等於BLA_W_TFD之nal_unit_type的BLA圖像可具有存在於位元流中之相關聯TFD圖像。具有等於BLA_N_LP之nal_unit_type的BLA圖像並不具有存在於位元流中之相關聯前置圖像。具有等於BLA_W_DLP之nal_unit_type的BLA圖像並不具有存在於位元流中之相關聯TFD圖像，但可具有在位元流中的相關聯DLP圖像。
HEVC工作草案8之章節C.3描述位元流一致性操作。根據本發明之一或多個實例技術，HEVC工作草案8之章節C.3可進行如下修改：與此規範一致之經寫碼資料的位元流應達到此子條款中指定之所有要求。
應根據在此附錄外的在此規範中指定之語法、語義及約束來建構位元流。
位元流中之第一經寫碼圖像應係RAP圖像，亦即IDR圖像、CRA圖像或BLA圖像。
對於經解碼之每一當前圖像，使變數maxPicOrderCnt及minPicOrderCnt分別設定為等於以下圖像之PicOrderCntVal值的最大值及最小值：
- 當前圖像。
- 具有等於0之TemporalId的按解碼次序的先前圖像。
- 當前圖像之參考圖像集中的短期參考圖像。
- 具有等於1之PicOutputFlag且tr(n)<tr(currPic)且to,dpb(n)>=tr(currPic)的所有圖像n，其中currPic係當前圖像。
應針對位元流一致性測試中的每一者而達到所有以下條件：
1. 對於與緩衝週期SEI訊息相關聯之每一存取單元n(其中n>0)，其中△tg,90(n)由下式指定
△tg,90(n)=90000 *(tr,n(n)-taf(n-1)) (C-18)
InitCpbRemovalDelay[SchedSelIdx]之值應受如下約束。
- 若cbr_flag[SchedSelIdx]等於0，則InitCpbRemovalDelay[SchedSelIdx]<=Ceil(△tg,90(n))(C-19)
- 否則(cbr_flag[SchedSelIdx]等於1)，Floor(△tg,90(n))<=InitCpbRemovalDelay[SchedSelIdx]<=Ceil(△tg,90(n)) (C-20)
註釋4- 在每一圖像之移除時間CPB中之位元的準確數目可取決於選擇哪一緩衝週期SEI訊息來初始化HRD。編碼器必須將此情形考慮在內以確保所有所指定之約束必須被服從而無關於選擇哪一緩衝週期SEI訊息來初始化HRD，此係由於可在緩衝週期SEI訊息之任一者處初始化HRD。
2. 將CPB溢位指定為CPB中的位元的總數大於CPB大小之條件。CPB應從不溢位。
3. 將CPB欠位指定為對於m之至少一值，解碼單元m之標稱CPB移除時間tr,n(m)小於解碼單元m之最終CPB到達時間taf(m)的條件。當low_delay_hrd_flag等於0時，CPB應從不欠位。
4. 當low_delay_hrd_flag等於1時，CPB欠位可發生於解碼單元m 處。在此狀況下，含有解碼單元m之存取單元n的最終CPB到達時間taf(n)應大於含有解碼單元m之存取單元n的標稱CPB移除時間tr,n(n)。
5. 圖像之自CPB的標稱移除時間(自解碼次序上之第二圖像開始)應滿足在子條款A.4.1至A.4.2中表達之對tr,n(n)及tr(n)的約束。
6. 對於經解碼之每一當前圖像，在調用如子條款C.3.1中指定的自DPB移除圖像的程序之後，包括經標註為「用於參考」或具有等於1之PicOutputFlag且to,dpb(n)>=tr(currPic)(其中currPic係當前圖像)之所有圖像n的DPB中的經解碼圖像之數目應小於或等於Max(0,sps_max_dec_pic_buffering[TargetDecHighestTid]-1)。
7. 所有參考圖像在需要用於預測時應存在於DPB中。具有等於1之OutputFlag的每一圖像在其DPB輸出時間處應存在於DPB中，除非該圖像在其輸出時間之前由指定於子條款C.3中之程序中的一者自DPB移除。
8. 對於經解碼之每一當前圖像，maxPicOrderCnt-minPicOrderCn之值應小於MaxPicOrderCntLsb/2。
9. 係圖像之輸出時間與在輸出次序上在該圖像之後且具有等於1之PicOutputFlag的第一圖像之輸出時間之間的差的如由等式C-17給出之△to,dpb(n)的值應滿足針對位元流中的使用在條款2至9中指定的解碼程序指定之設定檔、階層及級別的在子條款A.4.1中表達的約束。
如本發明中其他地方所指示，在位元流一致性操作中可能未恰當選擇參數sps_max_dec_pic_buffering[i]。在章節C.3之項6中，HEVC工作草案8指示「DPB中的經解碼圖像之數目……應小於或等於Min(0,sps_max_dec_pic_buffering[TemporalId]-1)」，其中未定義TemporalId。根據本發明之一或多項技術，將TargetDecHighestTid指定為sps_max_dec_pic_buffering[i]的索引i可確保在執行位元流一致性 操作時在sps_max_dec_pic_buffering[i]中使用等於TargetDecHighestTid之清楚指定之值的i。
當器件執行作為HRD操作之部分的解碼程序時，器件可自SPS解碼語法元素之陣列(sps_max_dec_pic_buffering[])，該等語法元素各自指示HRD之DPB的最大所要求大小。此外，作為執行HRD操作之部分，器件可基於目標最高時間識別符(TargetDecHighestTid)判定陣列中之特定語法元素。此外，如在上文對HEVC工作草案8之章節C.3的修改中所展示，器件可至少部分基於DPB中的經解碼圖像之數目是否小於或等於0與特定語法元素減去1之值的最大值而判定位元流是否與視訊寫碼標準一致。
HEVC工作草案8之章節C.4描述解碼器一致性。根據本發明之一或多個實例技術，HEVC工作草案8之章節C.4可做如下改變：與此規範一致之解碼器應達到此子條款中指定之所有要求。
聲稱與特定設定檔、階層及級別之一致性的解碼器應能夠以指定於附錄A中之方式成功解碼與指定於子條款C.4中之位元流一致性要求一致的所有位元流，其限制條件為VCL NAL單元以及適當緩衝週期及圖像時序SEI訊息中涉及之所有視訊參數集、序列參數集及圖像參數集被以即時方式在位元流中(藉由非VCL NAL單元)抑或藉由此規範中未指定之外部構件傳遞至解碼器。
當位元流含有數個具有指定為保留之值的語法元素且指定了解碼器應忽略該等語法元素之值或含有該等具有保留值之語法元素的NAL單元且位元流在其他方面與此規範一致時，一致之解碼器應以與解碼器將解碼一致之位元流的方式相同之方式解碼位元流，且如指定地忽略語法元素之值或含有該等具有保留值之語法元素的NAL單元。
存在可由解碼器聲稱之兩種類型之一致性：輸出時序一致性及輸出次序一致性。
為了檢查解碼器之一致性，藉由假想流排程器(HSS)將與所聲稱設定檔、階層及級別(如由子條款C.4所指定)一致的測試位元流遞送至HRD及受測解碼器(DUT)兩者。由HRD輸出之所有圖像亦應由DUT輸出，且對於HRD輸出之每一圖像，由DUT針對對應圖像輸出的所有樣本之值應等於由HRD輸出之樣本的值。
對於輸出時序解碼器一致性，HSS如上文所描述操作，具有僅選自位元速率及CPB大小對於所指定設定檔、階層及級別如附錄A中所指定地受到限制的SchedSelIdx之值的子集之遞送排程，或具有位元速率及CPB大小如附錄A中所指定地受到限制的如下文所指定的「經內插」遞送排程。將同一遞送排程用於HRD及DUT兩者。
當存在cpb_cnt_minus1[TargetDecHighestTid]大於0之HRD參數及緩衝週期SET訊息時，解碼器應能夠如下解碼如自使用被指定為具有峰值位元速率r、CPB大小c(r)及初始CPB移除延遲(f(r)÷r)之「內插」遞送排程操作的HSS遞送的位元流：α=(r-BitRate[SchedSelIdx-1])÷(BitRate[SchedSelIdx]-BitRate[SchedSelIdx-1])， (C-22)
c(r)=α * CpbSize[SchedSelIdx]+(1-α)* CpbSize[SchedSelIdx-1]， (C-23)
f(r)=α * InitCpbRemovalDelay[SchedSelIdx]* BitRate[SchedSelIdx]+(1-α)* InitCpbRemovalDelay[SchedSelIdx-1]* BitRate[SchedSelIdx-1] (C-24)
對於任何SchedSelIdx>0及r，使得BitRate[SchedSelIdx-1]<=r<=BitRate[SchedSelIdx]，使得r及c(r)係在如附錄A中對於所指定之設定檔、階層及級別之最大位元速率及緩衝器大小所指定的限制內。
註釋1- InitCpbRemovalDelay[SchedSelIdx]在緩衝週期之間可不 同，且必須被重新計算。
對於輸出時序解碼器一致性，使用如上文所描述之HRD，且直至固定延遲，圖像輸出之時序(相對於第一位元之遞送時間)對於HRD及DUT兩者為相同的。
對於輸出次序解碼器一致性，以下情形適用。
- HSS「按來自DUT之命令」將位元流BitstreamToDecode遞送至DUT，從而意謂HSS僅在DUT需要更多位元以繼續其處理時才遞送位元(以解碼次序)。
註釋2- 此情形意謂，對於此測試，DUT之經寫碼圖像緩衝器可小達最大解碼單元的大小。
- 使用如下文所描述之經修改HRD，且HSS藉由指定於位元流BitstreamToDecode中的排程中之一者將位元流遞送至HRD，使得位元速率及CPB大小如附錄A中所指定而受到限制。圖像輸出之次序對於HRD及DUT兩者應係相同的。
- 對於輸出次序解碼器一致性，CPB大小係如由等式E-46指定的CpbSize[SchedSelIdx]，其中SchedSelIdx及HRD參數係如上文在子條款C.1中所指定而經選擇。DPB大小係sps_max_dec_pic_buffering[TargetDecHighestTid]。用於HRD之自CPB的移除時間等於最終位元到達時間，且解碼係立即的。此HRD之DPB的操作係如子條款C.5.1至C.5.3中所描述。
如本發明中其他地方所指示，在解碼器一致性要求中可能未恰當選擇參數cpb_cnt_minus1[i]及sps_max_dec_pic_buffering[i]。舉例而言，HEVC工作草案8之章節C.4並未指定cpb_cnt_minus1之索引。根據本發明之一或多項技術，指定TargetDecHighestTid為cpb_cnt_minus1[i]及sps_max_dec_pic_buffering[i]的索引i可確保解碼器一致性操作被始終如一地執行，其中i等於TargetDecHighestTid的清 楚指定之值。
此外，HEVC工作草案8之章節C.4.2描述為了解碼器一致性自DPB移除圖像。根據本發明之一或多個實例技術，章節C.4.2之標題可自「自DPB移除圖像」改變至「自DPB輸出及移除圖像」。HEVC工作草案8之章節C.4.2的文字可做如下改變：在解碼當前圖像之前(但在剖析當前圖像之第一圖塊的圖塊標頭之後)自DPB輸出及移除圖像瞬時地發生於自CPB移除含有當前圖像的存取單元之第一解碼單元時，且如下繼續進行。
調用如子條款8.3.2中指定之針對參考圖像集的解碼程序。
- 若當前圖像係IDR或BLA圖像，則以下情形適用。
1. 在IDR或BLA圖像並非經解碼之第一圖像，且自作用中序列參數集導出之pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]的值分別不同於自針對前一圖像係作用中之序列參數集導出之pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]的值時，HRD將no_output_of_prior_pics_flag推斷為等於1而無關於no_output_of_prior_pics_flag的實際值。
註釋-就pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering[TargetDecHighestTid]之改變而言，解碼器實施應試圖比HRD更得體地處置圖像或DPB大小改變。
2. 當no_output_of_prior_pics_flag等於1或被推斷為等於1時，DPB中之所有圖像儲存緩衝器被清空而不輸出其含有之圖像。
3. 當no_output_of_prior_pics_flag不等於1且並未被推斷為等於1時，含有標註為「不需要用於輸出」及「未用於參考」之圖像的圖像儲存緩衝器被清空(無輸出)，且藉由重複地調用指定於子條款 C.5.2.1中的「提昇」程序來清空DPB中之所有非空圖像儲存緩衝器。
- 否則(當前圖像並非IDR或BLA圖像)，含有標註為「不需要用於輸出」及「不用於參考」之圖像的圖像儲存緩衝器被清空(無輸出)。當以下條件中之一或多者為真時，指定於子條款C.5.2.1中之「提昇」程序被重複調用，直至存在用以儲存當前經解碼圖像的空圖像儲存緩衝器。
1. DPB中標註為「需要用於輸出」之圖像的數目大於sps_max_num_reorder_pics[TargetDecHighestTid]。
2. DPB中之圖像的數目等於sps_max_dec_pic_buffering[TargetDecHighestTid]。
「提昇」程序
在以下狀況下調用「提昇」程序。
- 如子條款C.5.2中所指定，當前圖像係IDR或BLA圖像，且no_output_of_prior_pics_flag不等於1且不被推斷為等於1。
- 如子條款C.5.2中所指定，當前圖像並非IDR或BLA圖像，且DPB中標註為「需要用於輸出」之圖像的數目大於sps_max_num_reorder_pics[TargetDecHighestTid]。
- 如子條款C.5.2中所指定，當前圖像並非IDR或BLA圖像，且DPB中圖像的數目等於sps_max_dec_pic_buffering[TargetDecHighestTid]。
「提昇」程序由以下經排序之步驟組成：
1. 第一個輸出的圖像經選擇為DPB中標註為「需要用於輸出」之所有圖像中的具有PicOrderCntVal之最小值的圖像。
2. 使用指定於圖像之作用中序列參數集中的裁切矩形來裁切圖像，經裁切之圖像被輸出，且該圖像被標註為「不需要用於輸出」。
3. 若包括經裁切且輸出之圖像的圖像儲存緩衝器含有標註為「不用於參考」的圖像，則清空圖像儲存緩衝器。
如本發明中其他地方所指示，可能未在HRD操作(諸如，自DPB移除圖像)中恰當選擇參數sps_max_dec_pic_buffering[i]及sps_max_num_reorder_pics[i]。根據本發明之一或多項技術，將TargetDecHighestTid指定為sps_max_dec_pic_buffering[i]及sps_max_num_reorder_pics[i]的索引i可確保在執行自DPB移除圖像之HRD操作時在sps_max_dec_pic_buffering[i]及sps_max_num_reorder_pics[i]中使用等於TargetDecHighestTid之清楚指定之值的i。
當器件在HRD操作期間執行解碼程序時，器件可自SPS解碼語法元素之陣列(sps_max_dec_pic_buffering[])，該等語法元素各自指示HRD之DPB的最大所要求大小。此外，當器件執行HRD操作時，器件可基於目標最高時間識別符判定陣列中之特定語法元素(sps_max_dec_pic_buffering[TargetDecHighestTid])。此外，在當前圖像並非IDR圖像或BLA圖像且DPB中標註為需要用於輸出之圖像的數目大於特定語法元素之值時，器件可執行清空DPB之一或多個圖像儲存緩衝器的提昇程序。
類似地，當器件在HRD操作期間執行解碼程序時，器件可自SPS解碼語法元素之陣列(sps_max_dec_pic_buffering[])，該等語法元素各自指示HRD之DPB的最大所要求大小。此外，當器件執行HRD操作時，器件可基於目標最高時間識別符判定陣列中之特定語法元素(sps_max_dec_pic_buffering[TargetDecHighestTid])。此外，在當前圖像並非IDR圖像或BLA圖像且DPB中圖像的數目等於特定語法元素指示的數目時，器件可執行清空DPB之一或多個圖像儲存緩衝器的提昇程序。
此外，根據本發明之一或多項技術，applicable_operation_points( )語法結構及相關聯語義可被添加至 HEVC工作草案8。以下表5展示applicable_operation_points( )語法結構的實例語法。
展示於表5中之applicable_operation_point( )語法結構指定與此語法結構相關聯之SEI訊息應用至的操作點。與applicable_operation_point( )語法結構相關聯之SEI訊息(亦被稱作相關聯SEI訊息)係含有applicable_operation_point( )語法結構的SEI訊息。與applicable_operation_point( )語法結構相關聯之SEI訊息可係緩衝週期SEI訊息、圖像時序SEI訊息或子圖像時序SEI訊息。
預設操作點可被定義為由含有值0至nuh_reserved_zero_6bits(包括0及nuh_reserved_zero_6bits)之OpLayerIdSet識別的操作點，其中在含有相關聯SEI訊息之SEI NAL單元的NAL單元標頭中寫碼nuh_reserved_zero_6bits，且OpTid等於含有相關聯SEI訊息之SEI NAL單元的TemporalId值。替代性地，預設操作點可被定義為由僅含有SEI NAL單元之NAL單元標頭中之nuh_reserved_zero_6bits的OpLayerIdSet識別的操作點，該SEI NAL單元含有相關聯SEI訊息，且OpTid等於含有相關聯SEI訊息之SEI NAL單元的TemporalId值。替代性地，預設操作點可被定義為由僅含有值0之OpLayerIdSet識別的操作點，且OpTid等於含有相關聯SEI訊息之SEI NAL單元的TemporalId值。
若default_op_applicable_flag等於1，則相關聯SEI訊息應用至之操作點係預設操作點，且由如由operation_point_layer_ids(i)指定的OpLayerIdSet及等於op_temporal_id[i]之OpTid識別的num_applicable_ops_minus1操作點，其中i係在0至num_applicable_ops_minus1之範圍內(包括0及num_applicable_ops_minus1)。否則(default_op_applicable_flag等於0)，相關聯SEI訊息應用至之操作點可係由如由operation_point_layer_ids(i)指定的OpLayerIdSet及等於op_temporal_id[i]之OpTid識別之num_applicable_ops_minus1+1操作點，其中i係在0至num_applicable_ops_minus1+1之範圍內(包括0及num_applicable_ops_minus1+1)。
此外，在表5之實例語法中，num_applicable_ops_minus1語法元素加1指定相關聯SEI訊息應用至之操作點的數目。num_applicable_ops_minus1之值可係在0至63的範圍內(包括0及63)。在表5之實例中，等於1之default_op_applicable_flag語法元素指定相關聯SEI訊息應用至預設操作點。等於0之default_op_applicable_flag語法元素指定相關聯SEI訊息並不應用至預設操作點。op_temporal_id[i]語法元素指定在applicable_operation_point( )語法結構中明確發信的第i個OpTid值。op_temporal_id[i]之值可係在0至6的範圍內(包括0及6)。
如上文所指示，HEVC工作草案8不提供使緩衝週期SEI訊息或圖像時序SEI訊息關聯至hrd_parameters( )語法結構的任何方式，對於該hrd_parameters( )語法結構，相關聯之operation_point_layer_ids( )語法結構包括nuh_reserved_zero_6bits的多個值(亦即，HEVC之多視圖、3DV或可調式視訊寫碼擴展中的多個層ID)。包括applicable_operation_point( )語法結構可至少部分解決此問題。 applicable_operation_point( )語法結構可清楚地指定緩衝週期SEI訊息、圖像時序SEI訊息或子圖像時序SEI訊息應用至的操作點。此情形可允許使用攜載於SEL NAL單元之NAL單元標頭中之語法元素nuh_reserved_zero_6bits及temporal_id_plus1中的資訊，且可允許共用在同一緩衝週期、圖像時序或子圖像時序SEI訊息中傳遞之資訊以處理與多個操作點相關聯之視訊資料。
HEVC工作草案8之章節D.1.1描述緩衝週期SEI訊息的語法。根據本發明之一或多個實例技術，緩衝週期SEI訊息語法可如以下表6中所展示而改變。對緩衝週期SEI訊息語法的改變可使得緩衝週期SEI訊息能夠包括applicable_operation_points( )語法結構。
HEVC工作草案8之章節D.2.1描述緩衝週期SEI訊息之語法元素的語義。根據本發明之一或多項技術，buffering_period(payloadSize)語法結構之語義可做如下改變。未提及之彼等語法元素的語義係與HEVC工作草案8中之語義相同。
緩衝週期SEI訊息提供初始CPB移除延遲及初始CPB移除延遲偏移的資訊。
以下內容適用於緩衝週期SEI訊息語法及語義：
- 語法元素initial_cpb_removal_delay_length_minus1及sub_pic_cpb_params_present_flag以及變數NalHrdBpPresentFlag、VclHrdBpPresentFlag、CpbSize[SchedSelIdx]、BitRate[SchedSelIdx]及CpbCnt可見於或導出自在適用於緩衝週期SEI訊息應用至之操作點中之任一者的hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構中的語法元素中。
- 具有不同OpTid值tIdA及tIdB的緩衝週期SEI訊息應用至之任何兩個操作點指示：寫碼於適用於兩個操作點之hrd_parameters( )語法結構中的cpb_cnt_minus1[tIdA]及cpb_cnt_minus1[tIdB]的值係相同的。
- 具有不同OpLayerIdSet值layerIdSetA及layerIdSetB的緩衝週期SEI訊息應用至之任何兩個操作點指示：適用於兩個操作點之兩個hrd_parameters( )語法結構的分別的nal_hrd_parameters_present_flag及vcl_hrd_parameters_present_flag的值係相同的。
- 位元流(或其一部分)指代與緩衝週期SEI訊息應用至之操作點中的任一者相關聯的位元流子集(或其一部分)。
若NalHrdBpPresentFlag或VclHrdBpPresentFlag等於1，則適用於指定操作點之緩衝週期SEI訊息可存在於經寫碼視訊序列中的任何存取單元中，且適用於指定操作點之緩衝週期SEI訊息應存在於每一 RAP存取單元中，及與復原點SEI訊息相關聯的每一存取單元中。否則(NalHrdBpPresentFlag及VclHrdBpPresentFlag皆等於0)，經寫碼序列中之存取單元皆不應具有適用於所指定操作點的緩衝週期SEI訊息。
註釋-對於一些應用，緩衝週期SEI訊息的頻繁存在可係所要的。
當含有緩衝週期SEI訊息且具有等於0之nuh_reserved_zero_6bits的SEI NAL單元存在時，SEI NAL單元應在解碼次序上先於存取單元中的第一VCL NAL單元。
緩衝週期被指定為在解碼次序上連續之緩衝週期SEI訊息之兩個執行個體之間的存取單元之集合。
變數CpbCnt被導出為等於cpb_cnt_minus1[tId]+1，其中cpb_cnt_minus1[tId]被寫碼於適用於緩衝週期SEI訊息應用至且具有等於tId之OpTid的操作點中之任一者的hrd_parameters( )語法結構中。
seq_parameter_set_id指代作用中序列參數集。seq_parameter_set_id之值應等於由與緩衝週期SEI訊息相關聯之經寫碼圖像參考之圖像參數集中的seq_parameter_set_id之值。seq_parameter_set_id之值應係在0至31的範圍內(包括0及31)。
等於1之rap_cpb_params_present_flag指定initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]語法元素的存在。當不存在時，alt_cpb_params_present_flag之值被推斷為等於0。當相關聯圖像既非CRA圖像亦非BLA圖像時，alt_cpb_params_present_flag之值應等於0。
initial_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay[SchedSelIdx]分別指定第SchedSelIdx 個CPB之預設及替代性初始CPB移除延遲。語法元素具有由initial_cpb_removal_delay_length_minus1+1給出的以位元計之長度，且係以90kHz時脈為單位。語法元素之值不應等於0，且應小於或等於90000 *(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，其為CPB大小的以90kHz時脈為單位的時間當量。
initial_cpb_removal_delay_offset[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]分別指定第SchedSelIdx個CPB之預設及替代性初始CPB移除偏移。語法元素具有由initial_cpb_removal_delay_length_minus1+1給出的以位元計之長度，且係以90kHz時脈為單位。此等語法元素未由解碼器使用，且可僅需要用於附錄C中指定之遞送排程器(HSS)。
緩衝週期SEI訊息可包括HRD參數(例如，initial_cpb_removal_delay[SchedSelIdx]、initial_cpb_removal_delay_offset[SchedSelIdx]、initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx])。如上文所指示，HEVC工作草案8不提供使緩衝週期SEI訊息關聯至VPS中之hrd_parameters( )語法結構的任何方式，對於該hrd_parameters( )語法結構，相關聯之operation_point_layer_ids( )語法結構包括nuh_reserved_zero_6bits的多個值(亦即，HEVC之多視圖、3DV或可調式視訊寫碼擴展中的多個層ID)。因此，根據本發明之一或多項技術，緩衝週期SEI訊息中之applicable_operation_points( )語法元素指定緩衝週期SEI訊息應用至的操作點。
HEVC工作草案8之章節D.1.2指示圖像時序SEI訊息的語法。根據本發明之一或多項技術，圖像時序SEI訊息的語法可如以下表7中所展示而改變。對圖像時序SEI訊息語法的改變可使得圖像時序SEI訊息能 夠包括applicable_operation_points( )語法結構。
此外，圖像時序SEI訊息之語義可做如下改變。下文未提及之pic_timing(payloadSize)語法結構之彼等語法元素的語義可與HEVC工作草案8中之彼等語義相同。
圖像時序SEI訊息提供與SEI訊息相關聯之存取單元的CPB移除延遲及DPB輸出延遲之資訊。
以下內容應用於圖像時序SEI訊息語法及語義：
- 語法元素sub_pic_cpb_params_present_flag、cpb_removal_delay_length_minus1、dpb_output_delay_length_minus1及du_cpb_removal_delay_length_minus1以及變數CpbDpbDelaysPresentFlag可見於或導出自在適用於圖像時序SEI訊息應用至之操作點中之任一者的hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構中的語法元素中。
- 位元流(或其一部分)指代與圖像時序SEI訊息應用至之操作點中的任一者相關聯的位元流子集(或其一部分)。
註釋1- 圖像時序SEI訊息之語法取決於適用於圖像時序SEI訊息 應用至之操作點的hrd_parameters( )語法結構之內容。此等hrd_parameters( )語法結構係在對於與圖像時序SEI訊息相關聯之經寫碼圖像係作用中的視訊參數集及/或序列參數集中。當圖像時序SEI訊息係與為位元流中的第一存取單元的CRA存取單元、IDR存取單元，或BLA存取單元相關聯時，除非同一存取單元內之緩衝週期SEI訊息先於該圖像時序SEI訊息，否則視訊參數集及序列參數集之啟動(且對於並非位元流中之第一圖像的IDR或BLA圖像，判定經寫碼圖像係IDR圖像或BLA圖像)並不發生，直至解碼經寫碼圖像之第一經寫碼圖塊NAL單元為止。由於經寫碼圖像之經寫碼圖塊NAL單元在NAL單元次序上在圖像時序SEI訊息之後，因此可存在如下狀況：解碼器有必要儲存含有圖像時序SEI訊息的RBSP直至判定作用中視訊參數集及/或作用中序列參數集為止，且接著執行圖像時序SEI訊息的剖析。
圖像時序SEI訊息在位元流中之存在被指定如下。
- 若CpbDpbDelaysPresentFlag等於1，則適用於指定操作點之一個圖像時序SEI訊息應存在於經寫碼視訊序列的每一存取單元中。
- 否則(CpbDpbDelaysPresentFlag等於0)，適用於指定操作點之圖像時序SEI訊息皆不應存在於經寫碼視訊序列的任何存取單元中。
當含有圖像時序SEI訊息且具有等於0之nuh_reserved_zero_6bits的SEI NAL單元存在時，SEI NAL單元應在解碼次序上先於存取單元中的第一VCL NAL單元。
au_cpb_removal_delay_minus1加1在HRD以存取單元級別操作時指定在自CPB移除與前一存取單元中之最近緩衝週期SEI訊息相關聯的存取單元之後、在自緩衝器移除與圖像時序SEI訊息相關聯之存取單元資料之前要等待多少個時脈刻度。此值亦用以計算存取單元資料到達HSS之CPB的最早可能時間。語法元素係固定長度碼，其以位元計之長度由cpb_removal_delay_length_minus1+1給出。
註釋2- 判定語法元素au_cpb_removal_delay_minus1之長度(以位元計)的cpb_removal_delay_length_minus1之值係在對於與圖像時序SEI訊息相關聯之經寫碼圖像係作用中之視訊參數集或序列參數集中寫碼的cpb_removal_delay_length_minus1之值，儘管au_cpb_removal_delay_minus1加1指定相對於含有緩衝週期SEI訊息的前一存取單元之移除時間的時脈刻度之數目，該前一存取單元可係不同經寫碼視訊序列中的存取單元。
pic_dpb_output_delay被用以計算圖像之DPB輸出時間。其指定在自CPB移除存取單元中的最後一個解碼單元之後、在自DPB輸出經解碼圖像之前要等待多少個時脈刻度。
註釋3- 在圖像仍被標註為「用於短期參考」或「用於長期參考」時，並不在該圖像之輸出時間自DPB移除該圖像。
註釋4- 針對經解碼圖像僅指定一個pic_dpb_output_delay。
語法元素pic_dpb_output_delay之長度由dpb_output_delay_length_minus1+1以位元為單位給出。當sps_max_dec_pic_buffering[minTid]等於1時，pic_dpb_output_delay應等於0，其中minTid係圖像時序SEI訊息應用至之所有操作點的OpTid值中之最小值。
從自輸出時序一致之解碼器輸出之任何圖像之pic_dpb_output_delay導出的輸出時間應先於從解碼次序上的任何後續經寫碼視訊序列中的所有圖像之pic_dpb_output_delay導出的輸出時間。
由此語法元素之值建立的圖像輸出次序應係與由PicOrderCntVal之值建立之次序相同的次序。
對於未藉由「提昇」程序輸出之圖像，因為該等圖像在解碼次序上先於具有等於1或被推斷為等於1之no_output_of_prior_pics_flag 的IDR或BLA圖像，所以自pic_dpb_output_delay導出之輸出時間應隨著相對於同一經寫碼視訊序列內之所有圖像的PicOrderCntVal之值增加而增加。
等於1之du_common_cpb_removal_delay_flag指定存在語法元素du_common_cpb_removal_delay_minus1。等於0之du_common_cpb_removal_delay_flag指定不存在語法元素du_common_cpb_removal_delay_minus1。
du_common_cpb_removal_delay_minus1加1指定在自CPB移除解碼次序上的先前之解碼單元之後，在自CPB移除與圖像時序SEI訊息相關聯之存取單元中的每一解碼單元之前要等待多少個子圖像時脈刻度(參見子條款E.2.1)。如附錄C中所指定，此值亦用以計算解碼單元資料到達HSS之CPB的最早可能時間。語法元素係固定長度碼，其長度由du_cpb_removal_delay_length_minus1+1以位元為單位給出。
如上文所指示，HEVC工作草案8不提供使圖像時序SEI訊息關聯至VPS中之hrd_parameters( )語法結構的任何方式，對於該hrd_parameters( )語法結構，相關聯之operation_point_layer_ids( )語法結構包括nuh_reserved_zero_6bits的多個值(亦即，HEVC之多視圖、3DV或可調式視訊寫碼擴展中的多個層ID)。因此，根據本發明之一或多項技術，圖像時序SEI訊息中之applicable_operation_points( )語法元素指定緩衝週期SEI訊息應用至的操作點。
此外，根據本發明之一或多項技術，子圖像時序SEI訊息的語法可如以下表8中所展示而改變。對子圖像時序SEI訊息語法的改變可使得子圖像時序SEI訊息能夠包括applicable_operation_points( )語法結構。在HEVC工作草案8中，子圖像時序SEI訊息並不包括applicable_operation_points( )語法結構。
表8- 子圖像時序SEI訊息
HEVC工作草案8之章節D.2.2.2描述子圖像時序SEI訊息的語義。根據本發明之一或多項技術，HEVC工作草案8之章節D.2.2.2可進行如下修改：子圖像時序SEI訊息提供用於與SEI訊息相關聯之解碼單元的CPB移除延遲資訊。
以下內容適用於子圖像時序SEI訊息語法及語義：
- 語法元素sub_pic_cpb_params_present_flag及cpb_removal_delay_length_minus1以及變數CpbDpbDelaysPresentFlag可見於或導出自在適用於子圖像時序SEI訊息應用至之操作點中之任一者的hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構中的語法元素中。
- 位元流(或其一部分)指代與子圖像時序SEI訊息應用至之操作點中的任一者相關聯的位元流子集(或其一部分)。
子圖像時序SEI訊息在位元流中之存在被指定如下。
- 若CpbDpbDelaysPresentFlag等於1且sub_pic_cpb_params_present_flag等於1，則適用於指定操作點之一個子圖像時序SEI訊息可存在於經寫碼視訊序列中的每一解碼單元中。
- 否則(CpbDpbDelaysPresentFlag等於0或sub_pic_cpb_params_present_flag等於0)，適用於指定操作點之子圖像時序SEI訊息皆不應存在於經寫碼視訊序列中。
與子圖像時序SEI訊息相關聯之解碼單元在解碼次序上由含有子圖像時序SEI訊息之SEL NAL單元繼之以不含有子圖像時序SEI訊息的一或多個NAL單元(包括存取單元中之直至(但不包括)含有子圖像時序 SEI訊息之任何後續SEI NAL單元的所有後續NAL單元)組成。在每一解碼單元中應存在至少一VCL NAL單元。與VCL NAL單元相關聯之所有非VCL NAL單元應包括於同一解碼單元中。
du_spt_cpb_removal_delay_minus1加1指定在自CPB移除與前一存取單元中的最近緩衝週期SEI訊息相關聯之存取單元中之最後一個解碼單元之後、在自CPB移除與子圖像時序SEI訊息相關聯之解碼單元之前要等待多少個子圖像時脈刻度。如附錄C中所指定，此值亦用以計算解碼單元資料到達HSS之CPB的最早可能時間。語法元素由固定長度碼來表示，其長度由cpb_removal_delay_length_minus1+1以位元為單位給出。
註釋- 判定語法元素du_spt_cpb_removal_delay_minus1之長度(以位元為單位)的cpb_removal_delay_length_minus1之值係在對於含有與子圖像時序SEI訊息相關聯之解碼單元的存取單元係作用中之視訊參數集或序列參數集中寫碼的cpb_removal_delay_length_minus1之值，儘管du_spt_cpb_removal_delay_minus1加1指定了相對於含有緩衝週期SEI訊息的前一存取單元中之最後一個解碼單元之移除時間的子圖像時脈刻度之數目，該前一存取單元可係不同經寫碼視訊序列中的存取單元。
HEVC工作草案8之章節E.2.2描述HRD參數語義。根據本發明之一或多項技術，HEVC工作草案8之章節E.2.2可做如下改變。下文未提及之HRD參數之彼等語法元素的語義可與HEVC工作草案8中之彼等語義相同。
hrd_parameters( )語法結構提供用於HRD操作中的HRD參數。當hrd_parameters( )語法結構包括於視訊參數集中時，包括於語法結構應用至之操作點之OpLayerIdSet中的nuh_reserved_zero_6bits值之數字的集合由視訊參數集中之對應operation_point_layer_ids( )語法結構來 指定抑或被隱含地導出，如子條款7.4.4中所指定。當hrd_parameters( )語法結構包括於序列參數集中時，適用操作點係具有僅含有值0之OpLayerIdSet的所有操作點。替代性地，當hrd_parameters( )語法結構包括於序列參數集中時，適用操作點係具有相/同於TargetDecLayerIdSet之OpLayerIdSet的所有操作點。
位元流一致性之一要求係：對於經寫碼視訊序列(視訊參數集抑或序列參數集中)中之所有hrd_parameters( )語法結構，應不存在適用至同一操作點之一個以上hrd_parameters( )語法結構。替代性地，要求在視訊參數集中應不存在適用至同一操作點之一個以上hrd_parameters( )語法結構。替代性地，要求視訊參數集不應包括適用至具有僅含有值0之OpLayerIdSet之操作點的hrd_parameters( )語法結構。
du_cpb_removal_delay_length_minus1加1指定圖像時序SEI訊息之du_cpb_removal_delay_minus1[i]及du_common_cpb_removal_delay_minus1語法元素之以位元計的長度。
cpb_removal_delay_length_minus1加1指定圖像時序SEI訊息中的au_cpb_removal_delay_minus1語法元素及子圖像時序SEI訊息中的du_spt_cpb_removal_delay_minus1語法元素的以位元計之長度。當cpb_removal_delay_length_minus1語法元素不存在時，其被推斷為等於23。
dpb_output_delay_length_minus1加1指定圖像時序SEI訊息中的pic_dpb_output_delay語法元素之以位元計的長度。當dpb_output_delay_length_minus1語法元素不存在時，其被推斷為等於23。
等於1之fixed_pic_rate_flag[i]指示，在TargetDecHighestTid等於i時，輸出次序上的任何兩個連續圖像之HRD輸出時間之間的時間 距離受如下約束。等於0之fixed_pic_rate_flag[i]指示，無此等約束應用至輸出次序上的任何兩個連續圖像之HRD輸出時間之間的時間距離。
當fixed_pic_rate_flag[i]不存在時，其被推斷為等於0。
對於含有圖像n之經寫碼視訊序列，當TargetDecHighestTid等於i且fixed_pic_rate_flag[i]等於1時，如等式C-17中所指定之△to,dpb(n)之所計算值應等於tc *(pic_duration_in_tcs_minus1[i]+1)，其中當以下條件中之一或多者對於經指定用於等式C-17中的以下圖像nn為真時，tc係如等式C-1所指定(使用含有圖像n之經寫碼視訊序列的tc值)：
- 圖像nn係與圖像n在相同之經寫碼視訊序列中。
- 圖像nn係在不同經寫碼視訊序列中，且在含有圖像nn之經寫碼視訊序列中fixed_pic_rate_flag[i]等於1，num_units_in_tick÷time_scale之值對於兩個經寫碼視訊序列為相同的，且pic_duration_in_tc_minus1[i]之值對於兩個經寫碼視訊序列為相同的。
pic_duration_in_tc_minus1[i]加1指定在TargetDecHighestTid等於i時經寫碼視訊序列中按輸出次序的任何兩個連續圖像之HRD輸出時間之間的以時脈刻度為單位的時間距離。pic_duration_in_tc_minus1[i]之值應係在0至2047的範圍內(包括0及2047)。
如附錄C中所指定，當TargetDecHighestTid等於i時，low_delay_hrd_flag[i]指定HRD操作模式。當fixed_pic_rate_flag[i]等於1時，low_delay_hrd_flag[i]應等於0。
註釋3-當low_delay_hrd_flag[i]等於1時，准許歸因於由存取單元使用之位元的數目而違反標稱CPB移除時間的「大圖像」。預期到但不要求此等「大圖像」僅偶爾發生。
cpb_cnt_minus1[i]加1指定在TargetDecHighestTid等於i時經寫碼視訊序列之位元流中之替代性CPB規範的數目。cpb_cnt_minus1[i]之值應係在0至31的範圍內(包括0及31)。當low_delay_hrd_flag[i]等於1時，cpb_cnt_minus1[i]應等於0。當cpb_cnt_minus1[i]不存在時，其被推斷為等於0。
如在本發明中於其他地方所描述，在HEVC工作草案8中，僅VPS中之hrd_parameters( )語法結構可被選擇用於HRD操作，而從不選擇SPS中之hrd_parameters( )語法結構。上文展示之對hrd_parameters( )語法結構之語義的改變闡明：當hrd_parameters( )語法結構包括於SPS中時，hrd_parameters( )語法結構適用於之操作點可係具有相同於TargetDecLayerIdSet之OpLayerIdSet的所有操作點。如上文在經修改之一般解碼程序中所指示，若外部構件可用於設定TargetDecLayerIdSet，則TargetDecLayerIdSet可由外部構件指定。否則，若在位元流一致性測試中調用解碼程序，則TargetDecLayerIdSet可係受測操作點之層識別符的集合。否則，TargetDecLayerIdSet可僅含有一個層識別符(亦即，nuh_reserved_zero_6bits之僅一值)，其等於0。在一個實例中，外部構件可係API，該API係終端機實施之部分且提供設定TargetDecLayerIdSet之值的功能。在此實例中，終端機實施可包含解碼器實施及並非解碼器實施之部分的某些功能。
以此方式，器件(諸如視訊編碼器20、視訊解碼器30、額外器件21或另一器件)可自視訊參數集中的HRD參數之集合及SPS中的HRD參數的集合中選擇適用於特定操作點之HRD參數的集合。此外，器件可至少部分基於適用於特定操作點之HRD參數的集合執行位元流一致性測試，該測試對與特定操作點相關聯之位元流子集是否與視訊寫碼標準一致進行測試。
如上文所指示，HEVC工作草案8之章節E.2.2可經修改以指示在 hrd_parameters( )語法結構包括於序列參數集中時適用操作點係具有相同於TargetDecLayerIdSet之OpLayerIdSet的所有操作點。此外，如上文所描述，TargetDecLayerIdSet被設定為targetOpLayerIdSet，其含有存在於與TargetOp相關聯之位元流子集中的nuh_reserved_zero_6bits之值的集合。TargetOp係HRD操作中之受測操作點。此外，HRD操作(例如，位元流一致性測試及解碼器一致性測試)可調用一般解碼程序。
如上文所解釋，HEVC工作草案8之章節8.1可經修改以規定：在TargetDecHighestTid及TargetDecLayerIdSet作為輸入的情況下應用如子條款10.1中指定之子位元流提取程序，且將輸出指派給稱作BitstreamToDecode的位元流。因此，存在於BitstreamToDecode中之僅有的nuh_reserved_zero_6bits值係TestDecLayerIdSet中的nuh_reserved_zero_6bits的值(亦即，存在於與TargetOp相關聯之位元流子集中的nuh_reserved_zero_6bits之值的集合)。章節8.1進一步解釋，當涉及解譯每一NAL單元及「位元流」或其部分(例如，經寫碼視訊序列)中之每一語法元素的語義時，位元流或其部分意謂BitstreamToDecode或其部分。
因此，當解譯描述HRD參數之語義的章節(例如，HEVC工作草案8之章節E.2.2)時，術語「經寫碼視訊序列」意謂BitstreamToDecode之部分。TargetDecLayerIdSet等效於存在於BitstreamToDecode中的nuh_reserved_zero_6bits之所有值的集合。因而斷定，描述HRD參數之語義之章節中的片語「當hrd_parameters( )語法結構包括於序列參數集中時，適用操作點係具有相同於TargetDecLayerIdSet之OpLayerIdSet的所有操作點」等效於「當hrd_parameters( )語法結構包括於序列參數集中時，適用操作點係具有相同於存在於BitstreamToDecode中之nuh_reserved_zero_6bits之值的集合之 OpLayerIdSet的所有操作點」。
因為「經寫碼視訊序列」係BitstreamToDecode之部分，所以存在於經寫碼視訊序列中之nuh_reserved_zero_6bits的集合係存在於BitstreamToDecode中之nuh_reserved_zero_6bits之集合的子集。因此，片語「當hrd_parameters( )語法結構包括於序列參數集中時，適用操作點係具有相同於存在於BitstreamToDecode中之nuh_reserved_zero_6bits之值的集合之OpLayerIdSet的所有操作點」必然要求「當hrd_parameters( )語法結構包括於序列參數集中時，適用操作點係具有含有存在於經寫碼視訊序列中之nuh_reserved_zero_6bits之所有值的OpLayerIdSet之所有操作點」。換言之，若操作點之nuh_reserved_zero_6bits之集合相同於存在於BitstreamToDecode中之nuh_reserved_zero_6bits的集合，則操作點之nuh_reserved_zero_6bits的集合必然含有存在於BitstreamToDecode之經寫碼視訊序列中的所有nuh_reserved_zero_6bits值。在此片語中，「經寫碼視訊序列」可指代與特定SPS相關聯之經寫碼視訊序列。
當執行HRD操作時，器件可自指示於VPS中之hrd_parameters()語法結構及指示於SPS中之hrd_parameters()語法結構判定適用於TargetOp的hrd_parameters()語法結構。若TargetOp之層id集合與指定於VPS中之針對特定hrd_parameters()語法結構的層識別符的集合匹配，則VPS中之該特定hrd_parameters()語法結構適用於TargetOp。若TargetOp之層id集合(亦即，TargetDecHighestTid)(亦即，存在於BitstreamToDecode中之nuh_reserved_zero_6bits的集合)含有存在於SPS之經寫碼視訊序列中之所有nuh_reserved_zero_6bits(其係BitstreamToDecode中的nuh_reserved_zero_6bits之集合的子集)，則SPS中之hrd_parameters()語法結構可適用於TargetOp。因為TargetOp之nuh_reserved_zero_6bits的集合可必然含有存在於與SPS相關聯之經 寫碼視訊序列中的所有nuh_reserved_zero_6bits值，因此SPS中之hrd_parameters()語法結構可總是適用於TargetOp。然而，並非所有SPS具有hrd_parameters()語法結構。若SPS並不具有hrd_parameters()語法結構且存在於BitstreamToDecode中之nuh_reserved_zero_6bits的集合含有存在於SPS之經寫碼視訊序列中的所有nuh_reserved_zero_6bits，則應使用SPS之hrd_parameters()語法結構。 因為並非所有SPS皆具有hrd_parameters()語法結構，所以仍可選擇VPS。
此外，如上文在對HEVC工作草案8之章節E.2.2之修改中所展示，當器件執行位元流一致性測試時，視訊解碼器可在對於經寫碼視訊序列中的HRD參數之所有集合而言HRD參數之一個以上集合適用至同一操作點時判定位元流不與視訊寫碼標準一致。此外，當器件執行位元流一致性測試時，視訊解碼器可在VPS中的HRD參數之一個以上集合適用至同一操作點時判定位元流不與視訊寫碼標準一致。此外，當器件執行位元流解碼測試時，器件可在VPS包括適用至具有僅含有值0之層id集合之操作點的HRD參數之集合時判定位元流不與視訊寫碼標準一致。
圖3為說明經組態以實施本發明之技術的實例視訊解碼器30的方塊圖。圖3係為了解釋之目的而提供，且不限制如在本發明中廣泛例證且描述之技術。為了解釋，本發明在HEVC寫碼之內容脈絡中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同功能組件。
經寫碼圖像緩衝器(CPB)151可接收並儲存位元流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元且剖析NAL單元以解碼語法元素。熵解碼單元150可熵解碼NAL單元中的經熵編碼之語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波單元160可基於提取自位元流之語法元素而產生經解碼視訊資料。
位元流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元流之部分，熵解碼單元150可自經寫碼圖塊NAL單元提取語法元素並熵解碼該等語法元素。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中之語法元素可包括一識別與含有該圖塊的圖像相關聯之PPS的語法元素。
除了解碼來自位元流之語法元素外，視訊解碼器30亦可對非經分割CU執行重建構操作。為了對非經分割CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對於CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作的部分，反量化單元154可反量化(亦即，解量化)與TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度，且同樣地判定反量化單元154要應用的反量化程度。亦即，可藉由在量化變換係數時調整所使用之QP的值來控制壓縮比(亦即，用以表示初始序列之位元數目與經壓縮序列之位元數目的比率)。壓縮比亦可取決於所使用之熵寫碼的方法。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用至係數區塊以便產生與TU相關聯的殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維變換(Karhunen-Loeve transform，KLT)、反旋轉變換、反方 向變換或另一反變換應用至係數區塊。
若PU係使用框內預測來編碼，則框內預測處理單元166可執行框內預測以產生PU的預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間相鄰PU之預測區塊產生PU的預測性明度、Cb及Cr區塊。框內預測處理單元166可基於自位元流解碼之一或多個語法元素而判定PU的框內預測模式。
預測處理單元152可基於自位元流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測來編碼，則熵解碼單元150可提取針對PU之運動資訊。運動補償單元164可基於PU之運動資訊判定PU的一或多個參考區。運動補償單元164可基於PU之一或多個參考區塊處的樣本區塊產生針對PU的預測性明度、Cb及Cr區塊。
重建構單元158可使用與CU之TU相關聯的明度、Cb及Cr變換區塊以及CU之PU的預測性明度、Cb及Cr區塊(亦即，框內預測資料抑或框間預測資料，在適用時)來重建構CU的明度、Cb及Cr寫碼區塊。舉例而言，重建構單元158可將明度、Cb及Cr變換區塊之樣本加至預測性明度、Cb及Cr區塊的對應樣本以重建構CU的明度、Cb及Cr寫碼區塊。
濾波單元160可執行解區塊操作以減少與CU之明度、Cb及Cr寫碼區塊相關聯的方塊效應假影。視訊解碼器30可將CU之明度、Cb及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於隨後運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度、Cb及Cr區塊對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元流解碼有效明度係數區塊的變換係數級別，反量化變換係數級別，將變換應用至變換係 數級別以產生變換區塊，至少部分基於變換區塊產生寫碼區塊，且輸出寫碼區塊以供顯示。
圖4係根據本發明之一或多項技術的說明一器件之實例操作200的流程圖。操作200可由視訊編碼器20、視訊解碼器30、額外器件21或另一器件執行。如圖4之實例中所說明，器件可自VPS中之假想HRD參數(例如，hrd_parameters語法結構)之集合及SPS中的HRD參數之集合中選擇適用於位元流之特定操作點的HRD參數之集合(202)。此外，器件可至少部分基於適用於特定操作點的HRD參數之集合而對與特定操作點相關聯之位元流子集執行HRD操作(204)。舉例而言，器件可執行位元流一致性測試或解碼器一致性測試。
圖5係根據本發明之一或多項技術的說明一器件之實例操作250的流程圖。操作250可由視訊編碼器20、視訊解碼器30、額外器件21或另一器件執行。如圖5之實例中所說明，器件可執行一判定位元流是否與視訊寫碼標準一致的位元流一致性測試(252)。器件可執行作為執行位元流一致性測試的部分的解碼程序(254)。
如圖5之實例中所說明，當執行解碼程序時，器件可執行位元流提取程序以自位元流提取由層識別符之目標集合及目標最高時間識別符定義之操作點的操作點表示(256)。層識別符之目標集合可含有存在於操作點表示中之層識別符語法元素的值。層識別符之目標集合可係位元流之層識別符語法元素值的子集。目標最高時間識別符可等於存在於操作點表示中之最大時間識別符，目標最高時間識別符小於或等於存在於位元流中的最大時間識別符。此外，器件可解碼操作點表示之NAL單元(258)。
圖6係根據本發明之一或多項技術的說明一器件之實例HRD操作300的流程圖。HRD操作300可由視訊編碼器20、視訊解碼器30、額外器件21或另一器件執行。其他器件可包括一致性位元流檢查器，該檢 查器將位元流取作為輸入，且輸出該輸入位元流是否係一致之位元流的指示。在一些實例中，HRD操作300可判定位元流與視訊寫碼標準的一致性。在其他實例中，HRD操作300可判定解碼器與視訊寫碼標準的一致性。作為執行HRD操作300之部分，器件可判定與位元流之所選擇操作點相關聯之位元流子集的最高時間識別符(302)。此外，器件可基於最高時間識別符判定來自語法元素之陣列(例如，sps_max_num_reorder_pics[i]、sps_max_dec_pic_buffering[i]及cpb_cnt_minus1[i])的特定語法元素(304)。器件可在HRD操作中使用特定語法元素(306)。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)穩定式的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網 站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他瞬間媒體，而是替代地係針對非瞬間有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因而，本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全以一或多個電路或邏輯元件來實施。
本發明之技術可以廣泛之多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由結合合適軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
200‧‧‧實例操作

Claims (21)

  1. 一種處理視訊資料之方法，該方法包含：自一位元流中之一視訊參數集(VPS)中之假想參考解碼器(HRD)參數之一集合及該位元流中之一序列參數集(SPS)中之HRD參數的一集合中選擇HRD參數之一集合，作為適用於該位元流之一特定操作點的HRD參數之一集合，該位元流包含經編碼的視訊資料，其中選擇適用於該特定操作點的HRD參數之該集合包含在該特定操作點之一層識別符集合含有存在於將被解碼或在測試中之一位元流子集中之所有層識別符的一集合時判定該SPS中的HRD參數之該集合適用於該特定操作點；及至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對該位元流子集執行一HRD操作。
  2. 如請求項1之方法，其中適用於該特定操作點之HRD參數的該集合包括指定以下各者的參數：一初始寫碼圖像緩衝器(CPB)移除延遲、一CPB大小、一位元速率、一初始經解碼圖像緩衝器(DPB)輸出延遲及一DPB大小。
  3. 如請求項1之方法，其進一步包含：判定該特定操作點之含有存在於該位元流子集中之每一層識別符的一目標層識別符集合，其中該特定操作點之該目標層識別符集合係存在於該位元流中的層識別符之一子集，及判定該特定操作點之等於存在於該位元流子集中之一最大時間識別符的一目標時間識別符，其中該特定操作點之該目標時間識別符小於或等於存在於該位元流中的該最大時間識別符。
  4. 如請求項3之方法，其中選擇HRD參數之該集合包含回應於判定指定於該SPS中之層識別符的一集合相同於該特定操作點之該目 標層識別符集合而選擇該SPS中的HRD參數之該集合。
  5. 如請求項1之方法，其中執行該HRD操作包含執行一位元流一致性測試，該測試判定該位元流是否與一視訊寫碼標準一致。
  6. 如請求項5之方法，其中執行該位元流一致性測試包含在對於一經寫碼視訊序列中之HRD參數的所有集合而言HRD參數之一個以上集合應用至同一操作點時判定該位元流與該視訊寫碼標準不一致。
  7. 如請求項5之方法，其中執行該位元流一致性測試包含在該VPS中之HRD參數之一個以上集合應用至同一操作點時判定該位元流與該視訊寫碼標準不一致。
  8. 如請求項5之方法，其中執行該位元流一致性測試包含在該VPS包括應用至具有僅含有值0之層識別符集合的操作點的HRD參數之一集合時判定該位元流與該視訊寫碼標準不一致。
  9. 如請求項1之方法，其中該HRD操作判定該位元流與一視訊寫碼標準之一致性，或判定一視訊解碼器與該視訊寫碼標準之一致性。
  10. 一種用於處理視訊資料之視訊處理器件，該視訊處理器件包含：一儲存媒體，其儲存經編碼的視訊資料；及一或多個處理器，其經組態以：自一位元流中之一視訊參數集(VPS)中之假想參考解碼器(HRD)參數之一集合及該位元流中之一序列參數集(SPS)中之HRD參數的一集合中選擇HRD參數之一集合，作為適用於該位元流之一特定操作點的HRD參數之一集合，該位元流包含該經編碼的視訊資料，其中該一或多個處理器經組態以在該特定操作點之一層識別符集合含有存在於將被解碼或在測試中之一位 元流子集中之所有層識別符的一集合時判定該SPS中的HRD參數之該集合適用於該特定操作點；及至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對該位元流子集執行一HRD操作。
  11. 如請求項10之視訊處理器件，其中適用於該特定操作點之HRD參數的該集合包括指定以下各者的參數：一初始寫碼圖像緩衝器(CPB)移除延遲、一CPB大小、一位元速率、一初始經解碼圖像緩衝器(DPB)輸出延遲及一DPB大小。
  12. 如請求項10之視訊處理器件，其中該一或多個處理器經組態以：判定該特定操作點之含有存在於該位元流子集中之每一層識別符的一目標層識別符集合，其中該特定操作點之該目標層識別符集合係存在於該位元流中的層識別符之一子集，及判定該特定操作點之等於存在於該位元流子集中之一最大時間識別符的一目標時間識別符，其中該特定操作點之該目標時間識別符小於或等於存在於該位元流中的該最大時間識別符。
  13. 如請求項12之視訊處理器件，其中該一或多個處理器經組態以回應於判定指定於該SPS中之層識別符的一集合相同於該特定操作點之該目標層識別符集合而選擇該SPS中的HRD參數之該集合。
  14. 如請求項10之視訊處理器件，其中該一或多個處理器經組態以執行一位元流一致性測試，該測試判定該位元流是否與一視訊寫碼標準一致。
  15. 如請求項14之視訊處理器件，其中該一或多個處理器經組態以在對於一經寫碼視訊序列中之HRD參數的所有集合而言HRD參數之一個以上集合應用至同一操作點時判定該位元流與該視訊 寫碼標準不一致。
  16. 如請求項14之視訊處理器件，其中該一或多個處理器經組態以在該VPS中之HRD參數之一個以上集合應用至同一操作點時判定該位元流與該視訊寫碼標準不一致。
  17. 如請求項14之視訊處理器件，其中該一或多個處理器經組態以在該VPS包括應用至具有僅含有值O之層識別符集合的操作點的HRD參數之一集合時判定該位元流與該視訊寫碼標準不一致。
  18. 一種用於處理視訊資料之視訊處理器件，該視訊處理器件包含：用於自一位元流中之一視訊參數集(VPS)中之假想參考解碼器(HRD)參數之一集合及該位元流中之一序列參數集(SPS)中之HRD參數的一集合中選擇HRD參數之一集合，作為適用於該位元流之一特定操作點的HRD參數之一集合的構件，該位元流包含經編碼的視訊資料，其中該用於選擇的構件包含用於在該特定操作點之一層識別符集合含有存在於將被解碼或在測試中之一位元流子集中之所有層識別符的一集合時判定該SPS中的HRD參數之該集合適用於該特定操作點的構件；及用於至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對該位元流子集執行一HRD操作的構件。
  19. 如請求項18之視訊處理器件，其進一步包含：用於判定該特定操作點之含有存在於該位元流子集中之每一層識別符的一目標層識別符集合之構件，其中該特定操作點之該目標層識別符集合係存在於該位元流中的層識別符之一子集；用於判定該特定操作點之等於存在於該位元流子集中之一最大時間識別符的一目標時間識別符之構件，其中該特定操作點 之該目標時間識別符小於或等於存在於該位元流中的該最大時間識別符；及用於回應於判定指定於該SPS中之層識別符的一集合相同於該特定操作點之該目標層識別符集合而選擇該SPS中的HRD參數之該集合的構件。
  20. 一種上面儲存有指令之用於處理視訊資料之電腦可讀資料儲存媒體，該等指令在由一視訊處理器件之一或多個處理器執行時組態該視訊處理器件以：自一位元流中之一視訊參數集(VPS)中之假想參考解碼器(HRD)參數之一集合及該位元流中之一序列參數集(SPS)中之HRD參數的一集合中選擇HRD參數之一集合，作為適用於該位元流之一特定操作點的HRD參數之一集合，該位元流包含經編碼的視訊資料，其中該等指令組態該視訊處理器件以在該特定操作點之一層識別符集合含有存在於將被解碼或在測試中之一位元流子集中之所有層識別符的一集合時判定該SPS中的HRD參數之該集合適用於該特定操作點；及至少部分基於適用於該特定操作點的HRD參數之該所選擇集合而對該位元流子集執行一HRD操作。
  21. 如請求項20之電腦可讀資料儲存媒體，其中該等指令組態該視訊處理器件以：判定該特定操作點之含有存在於該位元流子集中之每一層識別符的一目標層識別符集合，其中該特定操作點之該目標層識別符集合係存在於該位元流中的層識別符之一子集；判定該特定操作點之等於存在於該位元流子集中之一最大時間識別符的一目標時間識別符，其中該特定操作點之該目標時間識別符小於或等於存在於該位元流中的該最大時間識別符；及 回應於判定指定於該VPS中之層識別符的一集合相同於該特定操作點之該目標層識別符集合而選擇該VPS中的HRD參數之該集合。
TW102134375A 2012-09-24 2013-09-24 用於處理視訊資料之方法、器件及電腦可讀資料儲存媒體 TWI533671B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261705102P 2012-09-24 2012-09-24
US13/918,041 US10021394B2 (en) 2012-09-24 2013-06-14 Hypothetical reference decoder parameters in video coding

Publications (2)

Publication Number Publication Date
TW201424393A TW201424393A (zh) 2014-06-16
TWI533671B true TWI533671B (zh) 2016-05-11

Family

ID=50338834

Family Applications (3)

Application Number Title Priority Date Filing Date
TW102134376A TWI504238B (zh) 2012-09-24 2013-09-24 處理視訊資料之方法及器件，以及電腦可讀取儲存媒體
TW102134381A TWI536809B (zh) 2012-09-24 2013-09-24 用於視訊寫碼中之假想參考解碼器參數之方法、器件及電腦可讀儲存媒體
TW102134375A TWI533671B (zh) 2012-09-24 2013-09-24 用於處理視訊資料之方法、器件及電腦可讀資料儲存媒體

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW102134376A TWI504238B (zh) 2012-09-24 2013-09-24 處理視訊資料之方法及器件，以及電腦可讀取儲存媒體
TW102134381A TWI536809B (zh) 2012-09-24 2013-09-24 用於視訊寫碼中之假想參考解碼器參數之方法、器件及電腦可讀儲存媒體

Country Status (24)

Country Link
US (3) US9351005B2 (zh)
EP (3) EP2898680B1 (zh)
JP (3) JP6258333B2 (zh)
KR (3) KR101706878B1 (zh)
CN (3) CN104662913B (zh)
AR (3) AR093284A1 (zh)
AU (3) AU2013318108B2 (zh)
BR (3) BR112015006451B1 (zh)
CA (3) CA2884280C (zh)
DK (1) DK2898680T3 (zh)
ES (1) ES2758503T3 (zh)
HK (3) HK1206525A1 (zh)
HU (1) HUE045592T2 (zh)
IL (3) IL237404A (zh)
MY (3) MY182240A (zh)
PH (3) PH12015500477A1 (zh)
PT (1) PT2898680T (zh)
RU (3) RU2613737C2 (zh)
SG (4) SG11201501416PA (zh)
SI (1) SI2898680T1 (zh)
TW (3) TWI504238B (zh)
UA (2) UA116996C2 (zh)
WO (3) WO2014047175A1 (zh)
ZA (2) ZA201502304B (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971656B2 (en) * 2009-12-10 2015-03-03 Sk Telecom Co., Ltd. Encoding/decoding method and apparatus using a tree structure
EP2813075A1 (en) * 2012-02-08 2014-12-17 Thomson Licensing Method and apparatus for using an ultra-low delay mode of a hypothetical reference decoder
JP6552197B2 (ja) 2012-07-06 2019-07-31 シャープ株式会社 サブピクチャ・ベースの仮想参照デコーダ・パラメータをシグナリングする方法
US9351005B2 (en) 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9479774B2 (en) 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US20140092961A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Signaling decoder picture buffer information
KR101729425B1 (ko) * 2012-09-28 2017-04-21 텔레폰악티에볼라겟엘엠에릭슨(펍) 비디오 시퀀스의 픽처의 디코딩 및 인코딩
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
KR102383006B1 (ko) 2013-04-07 2022-04-04 돌비 인터네셔널 에이비 출력 계층 세트들에서의 시그널링 변경
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
US20160227227A1 (en) * 2013-10-11 2016-08-04 Sharp Kabushiki Kaisha Color information and chromaticity signaling
WO2015053596A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
WO2015053597A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US20150103895A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. Electronic devices for signaling multiple initial buffering parameters
WO2015056179A1 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
US20170026655A1 (en) * 2014-01-02 2017-01-26 Sharp Kabushiki Kaisha Parameter set signaling
US10547834B2 (en) * 2014-01-08 2020-01-28 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
WO2015125489A1 (en) * 2014-02-24 2015-08-27 Sharp Kabushiki Kaisha Restrictions on signaling
US10250895B2 (en) * 2014-03-14 2019-04-02 Sharp Kabushiki Kaisha DPB capacity limits
US9794626B2 (en) * 2014-05-01 2017-10-17 Qualcomm Incorporated Partitioning schemes in multi-layer video coding
JP2017522792A (ja) * 2014-06-18 2017-08-10 シャープ株式会社 スライス・タイプおよびデコーダ適合性
US9918091B2 (en) 2014-06-20 2018-03-13 Qualcomm Incorporated Systems and methods for assigning a minimum value to a syntax structure in a parameter set
US10264286B2 (en) 2014-06-26 2019-04-16 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
WO2016098056A1 (en) * 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
SG11201706160UA (en) 2015-02-27 2017-09-28 Sonic Ip Inc Systems and methods for frame duplication and frame extension in live video encoding and streaming
US20160330453A1 (en) * 2015-05-05 2016-11-10 Cisco Technology, Inc. Parameter Set Header
US10003813B2 (en) * 2015-06-25 2018-06-19 Samsung Electronics Co., Ltd. Method and system for decoding by enabling optimal picture buffer management
KR102604196B1 (ko) * 2015-09-23 2023-11-21 애리스 인터내셔널 아이피 리미티드 전송 스트림들 내의 하이 다이내믹 레인지 및 와이드 컬러 가무트 콘텐츠의 시그널링
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
MX2021008000A (es) 2018-12-31 2021-10-22 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
CN111435989B (zh) * 2019-01-15 2023-11-17 华为技术有限公司 视频编码、解码方法、装置及计算机存储介质
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
WO2020232355A1 (en) * 2019-05-16 2020-11-19 Bytedance Inc. Intra block copy for screen content coding
US11303913B2 (en) * 2019-06-19 2022-04-12 Qualcomm Incorporated Decoded picture buffer indexing
US20220239949A1 (en) * 2019-06-20 2022-07-28 Nokia Technologies Oy An apparatus, a method and a computer program for video encoding and decoding
EP3977746A4 (en) * 2019-07-05 2022-08-03 Huawei Technologies Co., Ltd. BITSTREAM EXTRACTION FOR VIDEO CODING WITH SIGNALING IDENTIFIERS
WO2021049644A1 (ja) * 2019-09-11 2021-03-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN114762330A (zh) * 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
WO2021061390A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Sei message for single layer ols
BR112022005394A2 (pt) * 2019-09-24 2022-06-21 Huawei Tech Co Ltd Simplificação de dependência de mensagem sei em codificação de vídeo
EP4022929A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. ENCODER, DECODER SUPPORTING LOWER LAYER FRAMES
US20220394255A1 (en) * 2019-10-06 2022-12-08 Hyundai Motor Company Method and device for performing an inverse transform on transform coefficients of a current block
MX2022004141A (es) * 2019-10-07 2022-04-26 Huawei Tech Co Ltd Evitación de señalización redundante en flujos de bits de video multicapa.
CN110636372B (zh) * 2019-10-08 2022-02-25 未来电视有限公司 视频解码方法、视频播放装置、电子设备及存储介质
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
WO2021122365A1 (en) * 2019-12-19 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Output process disable indicator
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021134018A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Signaling of decoded picture buffer parameters in layered video
JP2023508680A (ja) 2019-12-27 2023-03-03 バイトダンス インコーポレイテッド ビデオコーディングにおけるサブピクチャシグナリング
WO2021142369A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Signalling of the wavefront parallel processing
JP2023514136A (ja) * 2020-02-21 2023-04-05 アリババ グループ ホウルディング リミテッド クロマ信号を処理するための方法
US11743503B2 (en) * 2020-05-14 2023-08-29 Qualcomm Incorporated Reference picture list constraints and signaling in video coding
WO2021235802A1 (ko) * 2020-05-18 2021-11-25 엘지전자 주식회사 픽처 출력 관련 정보 기반 영상 또는 비디오 코딩
KR20230015391A (ko) * 2020-05-22 2023-01-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브-비트스트림 추출에서 코딩된 비디오의 핸들링
US11523137B2 (en) * 2020-06-09 2022-12-06 FG Innovation Company Limited Device and method for decoding video data using general constraints information
CN115918067A (zh) 2020-06-12 2023-04-04 字节跳动有限公司 多层视频编解码的图片标头约束
US11729427B2 (en) * 2020-09-17 2023-08-15 Lemon Inc. Chroma format and bit depth indication in coded video
EP4047824A1 (en) * 2021-02-17 2022-08-24 STMicroelectronics Austria GmbH Method for managing communication between contactless devices, and corresponding system
US11930222B1 (en) * 2021-03-30 2024-03-12 Amazon Technologies, Inc. Encoding video for film grain synthesis
EP4138401A1 (en) * 2021-08-17 2023-02-22 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
WO2024049269A1 (ko) * 2022-09-03 2024-03-07 엘지전자 주식회사 Hrd 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US11695965B1 (en) 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1518403A4 (en) * 2002-07-02 2009-03-18 Conexant Systems Inc HYPOTHETIC REFERENCE DECODER FOR COMPRESSED PICTURES AND VIDEO
MY134659A (en) 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8615038B2 (en) 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
US20070086521A1 (en) 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
RU2406254C2 (ru) 2006-03-29 2010-12-10 Квэлкомм Инкорпорейтед Видеообработка с масштабируемостью
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
CA2858458C (en) 2006-10-16 2019-04-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
CN100530122C (zh) 2006-12-12 2009-08-19 中兴通讯股份有限公司 保证嵌入式系统中数据一致性的方法
MY162367A (en) 2007-01-05 2017-06-15 Thomson Licensing Hypothetical reference decoder for scalable video coding
WO2008127536A2 (en) 2007-04-12 2008-10-23 Thomson Licensing Methods and apparatus for video usability information (vui) for scalable video coding (svc)
KR101615967B1 (ko) 2007-04-17 2016-04-28 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
US20100142613A1 (en) 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
US20090003431A1 (en) * 2007-06-28 2009-01-01 Lihua Zhu Method for encoding video data in a scalable manner
SI3264780T1 (sl) 2007-04-18 2020-08-31 Dolby International Ab Kodirni sistemi, pri katerih se uporablja dodatni niz sekvenčnih parametrov za skalabilno kodiranje videa ali večpogledno kodiranje
US8396082B2 (en) * 2007-06-05 2013-03-12 Core Wireless Licensing S.A.R.L. Time-interleaved simulcast for tune-in reduction
US8059788B2 (en) 2007-06-27 2011-11-15 Avaya Inc. Telephone software testing system and method
JP5264919B2 (ja) 2007-10-05 2013-08-14 トムソン ライセンシング マルチビュービデオ（ｍｖｃ）符号化システム内にビデオユーザビリティ情報（ｖｕｉ）を取り込む方法及び装置
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
TWI473016B (zh) 2008-07-16 2015-02-11 Sisvel Internat S A 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體
EP2392138A4 (en) 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
US8767832B2 (en) 2009-03-10 2014-07-01 Mediatek Inc. Method and apparatus for processing a multimedia bitstream
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US8724710B2 (en) 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
EP2664151A4 (en) 2011-01-14 2016-01-20 Vidyo Inc HIGH-COATED SYNTAX FOR TIMELY SCALABILITY
US20120183077A1 (en) * 2011-01-14 2012-07-19 Danny Hong NAL Unit Header
US20130170561A1 (en) 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
CN103907347B (zh) 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20140003534A1 (en) 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
RU2612577C2 (ru) 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US9479774B2 (en) 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9351005B2 (en) 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9661341B2 (en) 2013-01-07 2017-05-23 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
US20140301477A1 (en) 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation

Also Published As

Publication number Publication date
PH12015500508A1 (en) 2015-04-27
US20140086303A1 (en) 2014-03-27
CN104662913B (zh) 2018-07-20
JP2015533052A (ja) 2015-11-16
KR101706878B1 (ko) 2017-02-14
SG10201702329SA (en) 2017-04-27
US9241158B2 (en) 2016-01-19
CN104641648B (zh) 2018-09-25
IL237405A0 (en) 2015-04-30
IL237453A (en) 2016-07-31
WO2014047175A1 (en) 2014-03-27
CA2884277C (en) 2017-07-04
AR093284A1 (es) 2015-05-27
TW201417584A (zh) 2014-05-01
KR20150063432A (ko) 2015-06-09
ZA201502639B (en) 2017-09-27
AU2013318108B2 (en) 2017-09-14
TWI536809B (zh) 2016-06-01
CA2884277A1 (en) 2014-03-27
MY170158A (en) 2019-07-09
CA2884278A1 (en) 2014-03-27
JP6258333B2 (ja) 2018-01-10
PH12015500478A1 (en) 2015-04-20
AU2013318190A1 (en) 2015-03-19
PH12015500477B1 (en) 2015-04-20
SG11201501416PA (en) 2015-05-28
RU2649297C2 (ru) 2018-03-30
ZA201502304B (en) 2017-11-29
BR112015006450A2 (pt) 2017-07-04
SG11201501414WA (en) 2015-05-28
CN104662913A (zh) 2015-05-27
AU2013318190B2 (en) 2017-07-13
HK1206525A1 (zh) 2016-01-08
PT2898680T (pt) 2019-12-02
AU2013318193A1 (en) 2015-03-19
HUE045592T2 (hu) 2020-01-28
BR112015006452B1 (pt) 2022-09-13
JP6009679B2 (ja) 2016-10-19
AU2013318108A1 (en) 2015-03-19
CN104662914A (zh) 2015-05-27
RU2015115522A (ru) 2016-11-20
IL237405B (en) 2018-06-28
UA113334C2 (xx) 2017-01-10
SI2898680T1 (sl) 2019-12-31
HK1207229A1 (zh) 2016-01-22
CA2884278C (en) 2017-10-17
US9351005B2 (en) 2016-05-24
RU2642359C2 (ru) 2018-01-24
JP6092397B2 (ja) 2017-03-08
EP2898678A1 (en) 2015-07-29
RU2613737C2 (ru) 2017-03-21
SG11201501421YA (en) 2015-04-29
CN104641648A (zh) 2015-05-20
RU2015115519A (ru) 2016-11-20
US20140086336A1 (en) 2014-03-27
MY181727A (en) 2021-01-05
KR20150063430A (ko) 2015-06-09
KR101669778B1 (ko) 2016-10-27
PH12015500508B1 (en) 2015-04-27
BR112015006450B1 (pt) 2022-09-13
IL237404A (en) 2017-01-31
AR093238A1 (es) 2015-05-27
TW201424393A (zh) 2014-06-16
RU2015115439A (ru) 2016-11-20
JP2015533053A (ja) 2015-11-16
EP2898679A1 (en) 2015-07-29
AR093285A1 (es) 2015-05-27
HK1206526A1 (zh) 2016-01-08
PH12015500477A1 (en) 2015-04-20
WO2014047183A1 (en) 2014-03-27
EP2898680B1 (en) 2019-08-21
BR112015006451A2 (pt) 2017-07-04
BR112015006451B1 (pt) 2022-09-13
DK2898680T3 (da) 2019-11-11
TW201429254A (zh) 2014-07-16
CA2884280C (en) 2019-11-26
IL237404A0 (en) 2015-04-30
CN104662914B (zh) 2018-04-20
MY182240A (en) 2021-01-18
US20140086331A1 (en) 2014-03-27
IL237453A0 (en) 2015-04-30
UA116996C2 (uk) 2018-06-11
TWI504238B (zh) 2015-10-11
US10021394B2 (en) 2018-07-10
AU2013318193B2 (en) 2017-06-01
EP2898680A1 (en) 2015-07-29
WO2014047178A1 (en) 2014-03-27
JP2015533054A (ja) 2015-11-16
ES2758503T3 (es) 2020-05-05
PH12015500478B1 (en) 2015-04-20
KR101965027B1 (ko) 2019-04-02
CA2884280A1 (en) 2014-03-27
KR20150063431A (ko) 2015-06-09
BR112015006452A2 (pt) 2017-07-04

Similar Documents

Publication Publication Date Title
TWI533671B (zh) 用於處理視訊資料之方法、器件及電腦可讀資料儲存媒體
TWI533674B (zh) 處理視訊資料及編碼視訊資料之方法，視訊處理器件，視訊編碼器件及其電腦可讀取儲存媒體
KR101776448B1 (ko) 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들
JP2015533053A5 (zh)