TW201424404A - 補充增強資訊訊息寫碼 - Google Patents

補充增強資訊訊息寫碼 Download PDF

Info

Publication number
TW201424404A
TW201424404A TW102131849A TW102131849A TW201424404A TW 201424404 A TW201424404 A TW 201424404A TW 102131849 A TW102131849 A TW 102131849A TW 102131849 A TW102131849 A TW 102131849A TW 201424404 A TW201424404 A TW 201424404A
Authority
TW
Taiwan
Prior art keywords
sei message
unit
decoding
video
sei
Prior art date
Application number
TW102131849A
Other languages
English (en)
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201424404A publication Critical patent/TW201424404A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

本發明描述用於用信號發出用於一存取單元之解碼單元之解碼單元識別符的技術。視訊解碼器基於該等解碼單元識別符而判定哪些網路抽象層(NAL)單元與哪些解碼單元相關聯。亦描述用於將補充增強資訊(SEI)訊息之一或多個複本包括於一存取單元中之技術。

Description

補充增強資訊訊息寫碼
本申請案主張2012年9月28日申請之美國臨時申請案第61/707,759號之權利，該美國臨時申請案之全部內容以引用之方式併入本文中。
本發明大體而言係關於處理視訊資料且，更特定言之，係關於可應用於一或多個視訊寫碼標準之技術。
可將數位視訊能力併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件、轉碼器、路由器或其他網路器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如以下各者中所描述之視訊壓縮技術：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第十部分(進階視訊寫碼(AVC))定義之標準、目前在開發中之高效率視訊寫碼(HEVC)標準、專屬標準、諸如VP8之開放式視訊壓縮格式，及此等標準、技術或格式之擴展。視訊器件可藉由實施此等視訊壓縮技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊切片(亦即，視訊圖框或視訊圖框之一部分)分割成多個視訊區塊，視訊區塊亦可被稱為樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)切片中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)切片中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱為圖框，且參考圖像可被稱為參考圖框。
空間或時間預測產生用於待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生接著可經量化之殘餘變換係數。可掃描最初配置成二維陣列的經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
大體而言，本發明描述用於處理一存取單元內之解碼單元之技術。一存取單元指代同一時間執行個體內之一或多個圖像之視訊資料。舉例而言，解碼一存取單元產生一或多個經解碼圖像，其中所有該等經解碼圖像係針對同一時間執行個體。
一存取單元包括一或多個解碼單元。如更詳細描述，在一些實例中，本發明中所描述之該等技術唯一地識別該存取單元內之該等解碼單元中之每一者。在一些實例中，該等技術允許將一訊息之一或多個複本嵌入於該存取單元內。
在一實例中，本發明描述一種用於解碼視訊資料之方法。該方法包含解碼用於一存取單元中之每一解碼單元之一唯一識別符。在此實例中，用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符。該方法亦包括基於用於該存取單元中之每一解碼單元之該唯一識別符而判定哪些網路存取層(NAL)單元與哪些解碼單元相關聯，及基於該判定而解碼該存取單元中之該等解碼單元中之每一者的該等NAL單元以重建構至少一圖像。
在另一實例中，本發明描述一種用於編碼視訊資料之方法。該方法包含判定用於一存取單元中之每一解碼單元之一唯一識別符。在此實例中，用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符。該方法亦包括判定哪些網路存取層(NAL)單元與該存取單元之哪些解碼單元相關聯，及產生對應解碼單元中之每一唯一識別符以供輸出，該唯一識別符指示哪些NAL單元與該存取單元之哪些解碼單元相關聯。
在另一實例中，本發明描述一種用於解碼視訊資料之器件。該器件包含一視訊解碼器，該視訊解碼器經組態以解碼用於一存取單元中之每一解碼單元之一唯一識別符。在此實例中，用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符。該視訊解碼器經組態以基於用於該存取單元中之每一解碼單元之該唯一識別符而判定哪些網路存取層(NAL)單元與哪些解碼單元相關聯，且基於該判定而解碼該存取單元中之該等解碼單元中之每一者的該等NAL單元以重建構至少一圖像。
在另一實例中，本發明描述一種用於編碼視訊資料之器件。該器件包含一視訊編碼器，該視訊編碼器經組態以判定用於一存取單元中之每一解碼單元之一唯一識別符。在此實例中，用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符。 該視訊編碼器經組態以判定哪些網路存取層(NAL)單元與該存取單元之哪些解碼單元相關聯，及產生對應解碼單元中之每一唯一識別符以供輸出，該唯一識別符指示哪些NAL單元與該存取單元之哪些解碼單元相關聯。
在另一實例中，本發明描述一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使得用於解碼視訊資料之一器件之一或多個處理器進行以下操作：解碼用於一存取單元中之每一解碼單元之一唯一識別符，其中用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符；基於用於該存取單元中之每一解碼單元之該唯一識別符而判定哪些網路存取層(NAL)單元與哪些解碼單元相關聯；及基於該判定而解碼該存取單元中之該等解碼單元中之每一者的該等NAL單元以重建構至少一圖像。
在另一實例中，本發明描述一種用於解碼視訊資料之器件，該器件包含：用於解碼用於一存取單元中之每一解碼單元之一唯一識別符的構件，其中用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符；用於基於用於該存取單元中之每一解碼單元之該唯一識別符而判定哪些網路存取層(NAL)單元與哪些解碼單元相關聯的構件；及用於基於該判定而解碼該存取單元中之該等解碼單元中之每一者的該等NAL單元以重建構至少一圖像的構件。
在另一實例中，本發明描述一種用於寫碼視訊資料之方法，該方法包含將一補充增強資訊(SEI)訊息寫碼於一存取單元中。在此實例中，該存取單元包括用於重建構至少一圖像之視訊資料，且該SEI訊息定義該視訊資料之一特性。該方法亦包括將該SEI訊息之一複本寫碼於該存取單元中。
在另一實例中，本發明描述一種用於寫碼視訊資料之器件，該器件包含一視訊寫碼器，該視訊寫碼器經組態以將一補充增強資訊 (SEI)訊息寫碼於一存取單元中。在此實例中，該存取單元包括用於重建構至少一圖像之視訊資料，且該SEI訊息定義該視訊資料之一特性。該視訊寫碼器亦經組態以將該SEI訊息之一複本寫碼於該存取單元中。
在另一實例中，本發明描述一種電腦可讀儲存媒體，其上儲存有指令，該等指令在由用於寫碼視訊資料之一器件之一或多個處理器執行時使得該一或多個處理器進行以下操作：將一補充增強資訊(SEI)訊息寫碼於一存取單元中。在此實例中，該存取單元包括用於重建構至少一圖像之視訊資料，且該SEI訊息定義該視訊資料之一特性。該等指令亦使得該一或多個處理器將該SEI訊息之一複本寫碼於該存取單元中。
在另一實例中，本發明描述一種用於寫碼視訊資料之器件，該器件包含用於將一補充增強資訊(SEI)訊息寫碼於一存取單元中之構件。在此實例中，該存取單元包括用於重建構至少一圖像之視訊資料，且該SEI訊息定義該視訊資料之一特性。該器件亦包括用於將該SEI訊息之一複本寫碼於該存取單元中之構件。
在附圖及以下描述中陳述一或多個實例之細節。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧網路實體
30‧‧‧視訊解碼器
31‧‧‧顯示器件
32‧‧‧儲存器件
34‧‧‧存取單元
36‧‧‧解碼單元
36A‧‧‧解碼單元
36B‧‧‧解碼單元
36C‧‧‧解碼單元
38A‧‧‧第一SEI NAL單元
38B‧‧‧第二SEI NAL單元
40A‧‧‧NAL單元
40B‧‧‧NAL單元
40C‧‧‧NAL單元
40D‧‧‧NAL單元
42‧‧‧第三SEI NAL單元
44A‧‧‧NAL單元
44B‧‧‧NAL單元
46A‧‧‧第四SEI NAL單元
46B‧‧‧第五SEI NAL單元
48A‧‧‧NAL單元
48B‧‧‧NAL單元
50‧‧‧存取單元
52‧‧‧解碼單元
52A‧‧‧解碼單元
52B‧‧‧解碼單元
52C‧‧‧解碼單元
54A‧‧‧切片NAL單元
54B‧‧‧切片NAL單元
56‧‧‧切片標頭
58‧‧‧切片本體
60‧‧‧切片標頭
62‧‧‧切片本體
64A‧‧‧切片NAL單元
64B‧‧‧切片NAL單元
64C‧‧‧切片NAL單元
66‧‧‧切片標頭
68‧‧‧切片本體
70‧‧‧切片標頭
72‧‧‧切片本體
74‧‧‧切片標頭
76‧‧‧切片本體
78A‧‧‧切片NAL單元
78B‧‧‧切片NAL單元
80‧‧‧切片標頭
82‧‧‧切片本體
84‧‧‧切片標頭
86‧‧‧切片本體
135‧‧‧分割單元
141‧‧‧預測處理單元
142‧‧‧運動估計單元
144‧‧‧運動補償單元
146‧‧‧框內預測單元
150‧‧‧求和器
152‧‧‧變換處理單元
154‧‧‧量化處理單元
156‧‧‧熵編碼單元
158‧‧‧反量化處理單元
160‧‧‧反變換處理單元
162‧‧‧求和器
163‧‧‧濾波器單元
164‧‧‧參考圖像記憶體
180‧‧‧熵解碼單元
181‧‧‧預測處理單元
182‧‧‧運動補償單元
184‧‧‧框內預測單元
186‧‧‧反量化處理單元
188‧‧‧反變換處理單元
190‧‧‧求和器
191‧‧‧濾波器單元
192‧‧‧參考圖像記憶體
194‧‧‧經寫碼圖像緩衝器(CPB)
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為說明根據本發明中所描述之技術的包括解碼單元識別符之存取單元之實例的概念圖。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器的方 塊圖。
圖5為說明根據本發明中所描述之一或多個實例的編碼視訊資料之實例的流程圖。
圖6為說明根據本發明中所描述之一或多個實例的解碼視訊資料之實例的流程圖。
圖7為說明根據本發明中所描述之一或多個實例的寫碼視訊資料之實例的流程圖。
本發明描述用於視訊寫碼中之錯誤彈性解碼單元發信號及關聯的各種方法。在多視圖寫碼或可調式視訊寫碼中，可針對一給定時間執行個體寫碼多個圖像或層。將同一時間執行個體之圖像寫碼於單一存取單元(AU)中。舉例而言，解碼一存取單元產生一圖像(針對不使用多視圖寫碼時)或同一時間執行個體之複數個圖像(針對多視圖寫碼)。
解碼單元(DU)大體上指代一存取單元之一子集或該存取單元之整體。舉例而言，若允許子圖像層級之操作，則解碼單元為存取單元之一子集，且存取單元包括複數個解碼單元。因為存取單元包括用於一或多個圖像之視訊資料，所以解碼單元層級之操作可被視為子圖像層級之操作。若不允許子圖像層級之操作，則解碼單元為存取單元之整體。
解碼單元包括一或多個網路抽象層(NAL)單元。舉例而言，解碼單元包括一或多個視訊寫碼層(VCL)NAL單元及相關聯的非VCL NAL單元。NAL單元之一實例為圖像之切片(亦即，囊封於NAL單元中之資料包括解碼圖像之切片所需之視訊資料)。NAL單元之另一實例為參數集。舉例而言，NAL單元可包括圖像參數集、序列參數集及參數集之其他實例之視訊資料。作為又一實例，NAL單元可包括用於判定 來自緩衝器(例如，經寫碼圖像緩衝器)之解碼單元的處理時間及移除時間之目的之額外資訊，諸如補充增強資訊(SEI)訊息。
在本發明中所描述之一些實例中，視訊編碼器產生用於存取單元內之每一解碼單元之識別符以供輸出並在一經寫碼位元串流中輸出(例如，用信號發出)該識別符。每一識別符(被稱為DU識別符)唯一地識別存取單元內之解碼單元。視訊解碼器自該經寫碼位元串流接收用於存取單元內之解碼單元之識別符。視訊解碼器基於該等解碼單元識別符而判定哪些NAL單元與哪些解碼單元相關聯。
以此方式，本發明中所描述之該等技術可確保NAL單元與正確的解碼單元相關聯。舉例而言，視訊編碼器有可能用信號發出指示每一解碼單元包括的NAL單元之數目之資訊(例如，輸出資訊)。不是利用解碼單元識別符，而是視訊解碼器可基於視訊解碼器接收NAL單元之次序及指示每一解碼單元包括的NAL單元之數目的用信號發出之資訊而判定NAL單元與解碼單元之關聯。
然而，在此狀況下，確保NAL單元與正確的解碼單元相關聯並非錯誤彈性的。舉例而言，若NAL單元在傳輸(例如，自視訊編碼器至視訊解碼器，自視訊編碼器至中間儲存器件，或自中間儲存器件至視訊解碼器)期間丟失，則視訊解碼器可能不能夠判定哪些NAL單元與哪些解碼單元相關聯。
作為關於確保NAL單元與正確的解碼單元相關聯之可能問題之另一實例，視訊編碼器可能有可能在兩種類型之訊息之間用信號發出與解碼單元相關聯之NAL單元。舉例而言，視訊編碼器可用信號發出特定類型之補充增強資訊(SEI)訊息之第一執行個體、繼之以用於一第一解碼單元之一或多個NAL單元、繼之以特定類型之SEI訊息之第二執行個體、繼之以一第二解碼單元之一或多個NAL單元等等。視訊解碼器可判定，在此類型之SEI訊息之第一執行個體之後及在此類型之 SEI訊息之第二執行個體之前接收到的每個NAL單元與第一解碼單元相關聯，在此類型之SEI訊息之第二執行個體之後及在此類型之SEI訊息之第三執行個體之前接收到的每個NAL單元與第二解碼單元相關聯，等等。
此類型之SEI訊息可包括關於編碼及解碼之適當時序的額外資訊。然而，因為此類型之SEI訊息之位置指示哪些NAL單元與哪些解碼單元相關聯，所以視訊編碼器可能不可能將此類型之SEI訊息之多個複本包括於解碼單元內。因此，即使此等SEI訊息中之一者在傳輸中丟失，視訊解碼器亦可能不能夠判定哪些NAL單元與哪些解碼單元相關聯，且可能不能夠判定由丟失之SEI訊息載運之額外資訊。
在本發明中所描述之該等技術中，視訊編碼器可產生指示哪些NAL單元與哪些解碼單元相關聯之資訊(例如，SEI訊息或切片標頭中之解碼單元識別符)以供輸出並輸出該資訊。以此方式，即使一NAL單元在傳輸中丟失，視訊解碼器亦可能能夠判定哪些NAL單元與哪些解碼單元相關聯。又，因為視訊解碼器可能無需依賴該等SEI訊息之位置來判定哪些NAL單元與哪些解碼單元相關聯，所以視訊編碼器可產生SEI訊息之一或多個複本以供輸出並在解碼單元中輸出SEI訊息之該一或多個複本。與上文所描述之一些其他技術相比較，此等技術可提供一種相當地更錯誤彈性之方式，視訊解碼器以此方式判定哪些NAL單元與哪些解碼單元相關聯。
此外，在上文所描述之其他技術中之一些技術中，禁止特定類型之SEI訊息重複(本發明中所描述之技術可解決之問題)。在一些狀況下，在此等其他技術中，不僅禁止特定SEI訊息類型重複，而且大體上限制SEI訊息在存取單元中之第一VCL NAL單元之後及在存取單元中之最後NAL單元之前在存取單元中重複。
舉例而言，在此等其他技術中之一些技術中，視訊解碼器將基 於SEI訊息之位置而判定存取單元之開頭。舉例而言，該等SEI訊息將位於存取單元之開頭處，且在判定視訊解碼器正處理一SEI訊息之後，視訊解碼器將判定視訊解碼器正處理一新存取單元。因此，存在將SEI訊息之多個複本包括於同一存取單元內之限制。
在易造成錯誤之環境中，以下情形可為有益的：包括SEI訊息之複本，使得在SEI訊息丟失之情況下，可得到SEI訊息之其他複本。在一些實例中，該等技術允許各種類型之SEI訊息在存取單元內重複，此情形進一步允許錯誤彈性。作為一實例，該等技術可針對所有SEI訊息指定以下各者：(1)SEI訊息中所載運之資訊應用於的應用範疇；(2)可存在SEI訊息之位置；及(3)對特定類型之SEI訊息之多個執行個體的內容的限制。
舉例而言，可將存取單元封包化成複數個封包(例如，即時輸送協定(RTP)封包)。每一封包通常包括一或多個NAL單元，但在一些狀況下，封包可包括NAL單元之子集。在易造成錯誤之環境中，一或多個封包可丟失，且在該等丟失之封包包括SEI訊息之情況下，SEI訊息可丟失。在本發明中所描述之該等技術中，視訊編碼器可產生SEI訊息之一或多個複本以供輸出並在存取單元中輸出(例如，用信號發出)SEI訊息之該一或多個複本。以此方式，即使包括SEI訊息中之一者之封包丟失，SEI訊息亦仍可以未丟失之封包中之複本的形式得到。
作為另一實例，視訊編碼器可編碼具有多個層之視訊位元串流，諸如在高效率視訊寫碼(HEVC)標準之多層擴展中。該多個層包括一基礎層及一或多個非基礎層。非基礎層可為空間或品質增強層、不同視圖之紋理、不同視圖之深度及其他此等實例。視訊編碼器可在不同通道中輸送不同層(例如，使用IETF RFC 6190(可公開地於http://tools.ietf.org/rfc/rfc6190.txt中得到)中類似地定義之多作業階段 傳輸(MST))。在本發明中所描述之該等技術中，視訊編碼器可將一SEI NAL單元包括於一存取單元內之兩個VCL NALU單元內，其中該SEI NAL單元包括SEI訊息，且在存取單元之第一VCL NAL單元之後。換言之，本發明中所描述的用於將SEI訊息包括於存取單元中之第一VCL NAL單元之後的該等技術亦可應用於多作業階段傳輸之實例。
在本發明中所描述之該等技術中，視訊解碼器未必需要依賴SEI訊息之位置來判定視訊解碼器正處理一新存取單元。舉例而言，視訊解碼器可依賴某一其他標頭資訊來判定正處理一新存取單元。因此，在本發明中所描述之該等技術中，視訊編碼器可產生SEI訊息以供輸出並在存取單元中輸出該SEI訊息及產生SEI訊息之一或多個複本以供輸出並在存取單元中輸出SEI訊息之該一或多個複本，且視訊解碼器可接收SEI訊息及SEI訊息之一或多個複本。因為視訊解碼器不必依賴SEI訊息來判定一新存取單元何時正被處理，所以視訊解碼器可經組態以處理同一存取單元內之SEI訊息之多個複本而不判定一新的不同存取單元正被處理。
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，其產生在稍後時間由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話、所謂的「智慧型」平板之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件，或其類似者。在一些狀況下，源器件12及目的地器件14可經配備用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的 任何類型之媒體或器件。在一實例中，鏈路16可包含通信媒體以使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據諸如無線通信協定之通信標準來調變經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路，或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台，或可用於促進自源器件12至目的地器件14之通信之任何其他設備。
或者，可將經編碼資料自輸出介面22輸出至儲存器件32。類似地，經編碼資料可由輸入介面自儲存器件32存取。儲存器件32可包括多種分散式或本端存取之資料儲存媒體(諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體)中之任一者。在另一實例中，儲存器件32可對應於可保持由源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載而自儲存器件32存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件32之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中 電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如以下各者之源：視訊俘獲器件(例如，視訊攝影機)、含有先前所俘獲之視訊之視訊封存、用以自視訊內容提供者接收視訊之視訊饋送介面，及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統，或此等源之組合。作為一實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之該等技術大體而言可應用於視訊寫碼，且可應用於無線及/或有線應用。
經俘獲、經預先俘獲或電腦產生之視訊可由視訊編碼器20來編碼。可將經編碼視訊資料經由源器件12之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件32上以便稍後由目的地器件14或其他器件存取以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件31。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或提供於儲存器件32上之經編碼視訊資料可包括由視訊編碼器20產生之多種語法元素，以供諸如視訊解碼器30之視訊解碼器在解碼視訊資料時使用。此等語法元素可包括於在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料中。
顯示器件31可與目的地器件14整合或在目的地器件14外部。在 一些實例中，目的地器件14可包括整合式顯示器件且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。大體而言，顯示器件31向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可形成為個別微處理器或積體電路(IC)或可為較大微處理器或IC之部分。在一些實例中，視訊編碼器20及視訊解碼器30可為無線通信器件之部分。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準而操作。視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)，包括標準之可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
另外，存在視訊編碼器20及視訊解碼器30可根據而操作的新視訊寫碼標準，即，由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發之高效率視訊寫碼(HEVC)標準。視訊編碼器20及視訊解碼器30可符合HEVC測試模型(HM)。HEVC標準之一新近草案(被稱為「HEVC工作草案8」或「WD8」)描述於Bross等人之「High efficiency video coding(HEVC)text specification draft 8」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)，第10次會議：Stockholm,SE，2012年7月11日至20日)的文件JCTVC-H1003中，該新近草案自2013年4月2日起可自http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip下載，其全部內容以引用之方式併入本文中。HEVC之較新工作草案(且在下文中被稱為「HEVC工作草案WD9」或「WD9」)可自 http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zip得到。
或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，替代地被稱為MPEG-4第十部分(進階視訊寫碼(AVC))之ITU-T H.264標準)或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263，以及諸如VP8之開放格式。
然而，本發明之技術不限於任何特定寫碼標準。舉例而言，視訊編碼器20及視訊解碼器30未必需要符合任何特定視訊寫碼標準。然而，即使本發明中所描述之該等技術可能未必符合特定標準，本發明中所描述之該等技術相對於各種標準而言亦可進一步輔助寫碼效率。又，本發明中所描述之該等技術可為未來標準之部分。為了易於理解，關於開發中之HEVC標準來描述該等技術，但該等技術不限於HEVC標準，且可擴展至特定標準未定義之其他視訊寫碼標準或視訊寫碼技術。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。在可適用之情況下，在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、積體電路(IC)之個體或部分、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適的 非暫時性電腦可讀儲存媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。換言之，當部分地以軟體實施時，軟體在基礎硬體組件上執行，該等指令使得硬體組件實施特定功能。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器，CODEC)之部分。
舉例而言，視訊編碼器20及視訊解碼器30可分別包括於諸如源器件12及目的地器件14之無線器件中。作為另一實例，器件可包括微處理器或積體電路。在一些實例中，諸如微處理器或積體電路之器件可包括視訊解碼器30，且另一器件可包括視訊編碼器20。
JCT-VC致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱為HEVC測試模型(HM)。HM假定根據(例如)ITU-T H.264/AVC的視訊寫碼器件相對於現有器件之若干額外能力。
大體而言，HM之工作模型描述：可將視訊圖框或圖像劃分成包括明度樣本及色度樣本兩者之一序列樹型區塊或最大寫碼單元(LCU)。樹型區塊可起到類似於H.264標準之巨集區塊之一些用途，但樹型區塊相對於巨集區塊而言具有許多差異。切片包括呈寫碼次序之若干連續樹型區塊。可將視訊圖框或圖像分割成一或多個切片。每一樹型區塊可根據四分樹而分裂成多個寫碼單元(CU)。舉例而言，作為四分樹之根節點，樹型區塊可分裂成四個子節點，且每一子節點又可為父節點且可分裂成另外四個子節點。作為四分樹之葉節點，最後的未分裂之子節點包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點及與該寫碼節點相關聯之多個預測單元(PU)及 變換單元(TU)。CU之大小對應於寫碼節點之大小且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在以下情形間不同：跳過CU，抑或CU經直接模式編碼、經框內預測模式編碼，抑或經框間預測模式編碼。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)根據四分樹的CU至一或多個TU之分割。TU之形狀可為正方形或非正方形。
HEVC標準允許根據TU之變換，該等變換對於不同CU可不同。通常基於針對經分割LCU定義之給定CU內之PU的大小來設定TU之大小，但可能並非始終為此狀況。TU通常與PU大小相同或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分為多個較小單元。RQT之葉節點可被稱為變換單元(TU)。可變換與TU相關聯之像素差值以產生可經量化之變換係數。
大體而言，PU包括與預測程序有關之資料。舉例而言，當PU經框內模式編碼(亦即，經框內預測編碼)時，PU可包括描述PU之框內預測模式之資料。作為另一實例，當PU經框間模式編碼(亦即，經框間預測編碼)時，PU可包括定義PU之運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或運動向量之參考圖像清單(例如，RefPiclList0或RefPicList1)。
大體而言，TU用於變換程序及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含像素差值，可使用UT將該等 像素差值變換成變換係數、量化該等變換係數且掃描該等變換係數以產生用於熵寫碼之串行化變換係數。本發明通常使用術語「視訊區塊」來指代CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」來指代包括一寫碼節點及多個PU及多個TU之樹型區塊(亦即，LCU或CU)。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體上包含一系列的視訊圖像中之一或多者。GOP可在GOP之標頭中、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像之數目的語法資料。圖像之每一切片可包括描述用於各別切片之編碼模式之切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行的框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行的框間預測。HM亦支援不對稱分割以按2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測。在不對稱分割中，CU之一方向未經分割，而另一方向分割成25%及75%。CU之對應於25%分割區之部分藉由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊依據垂直尺寸及水平尺寸之像素尺寸，例如，16×16像素或16乘16像素。大體而言，16×16區塊將在垂直方向上具有16個像素(y=16)，且在水平方向上具有16個像素(x=16)。同樣，N×N區塊大體上在垂直 方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上具有與垂直方向上之像素數目相同之數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行之框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含空間域(亦被稱為像素域)中之像素資料，且TU可包含在對殘餘視訊資料應用變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)之後的變換域中之係數。殘餘資料可對應於未經編碼圖像之像素之間的像素差及對應於PU之預測值。視訊編碼器20可形成包括CU之殘餘資料之TU，且接著變換該等TU以產生CU之變換係數。
在用以產生變換係數之任何變換之後，視訊編碼器20可執行變換係數之量化。量化大體上指代如下程序：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。該量化程序可減小與該等係數中之一些係數或所有係數相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義之掃描次序來掃描經量化之變換係數以產生可經熵編碼之串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描或可自複數個可能掃描中選擇一掃描。在掃描該等經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。VLC中之碼字可經建構以使得相對較短之碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(相較於(例如)針對待傳輸之每一符號使用等長度碼字而言)。機率判定可基於指派給符號之上下文。
視訊編碼器20產生定義將由視訊解碼器30藉以重建構圖像之方式的視訊資料，編碼該視訊資料(例如，產生以供輸出)，且在一經寫碼位元串流中將該視訊資料輸出(例如，用信號發出)至視訊解碼器30。視訊解碼器30接收來自經寫碼位元串流之經編碼視訊資料，解碼該視訊資料，且處理該視訊資料以重建構該等圖像。大體而言，視訊解碼器30實施與視訊編碼器20實施以編碼及產生視訊資料的技術互逆之技術。
舉例而言，視訊解碼器30使用與視訊編碼器20藉以編碼視訊資料之方式互逆的技術來解碼視訊資料。又，視訊解碼器30框內預測解碼或框間預測解碼該等圖像以重建構該等圖像。舉例而言，視訊解碼器30處理視訊資料以判定用於框間預測解碼之先前經解碼圖像，且判定用於框間預測解碼的先前經解碼圖像與當前圖像之間的殘餘。視訊解碼器30將該殘餘加至先前經解碼圖像以重建構當前圖像。類似地，視訊解碼器30處理視訊資料以判定當前圖像內之先前經解碼區塊，且判定用於框內預測解碼的當前圖像內之先前經解碼區塊與當前圖像內之當前區塊之間的殘餘。視訊解碼器30將該殘餘加至先前經解碼區塊以重建構當前圖像之當前區塊。
以此方式，視訊編碼器20輸出視訊解碼器30用來重建構圖像之視訊資料。在一些實例中，視訊編碼器20在存取單元中輸出視訊資 料。存取單元為包括同一時間執行個體內之一或多個圖像之視訊資料的概念單元。舉例而言，在可調式視訊寫碼中，視訊編碼器20產生一圖像之多個層的視訊資料。在此實例中，該圖像之存取單元包括所有該多個層之視訊資料。
作為另一實例，在多視圖視訊寫碼中，視訊編碼器20產生多個視圖之視訊資料，其中每一視圖包括多個圖像。在多視圖視訊寫碼中，每一視圖中之一圖像係在相同時間執行個體顯示。舉例而言，第一視圖中之第一圖像係在與第二視圖中之第一圖像、第三視圖中之第一圖像等相同之時間執行個體顯示。在此實例中，一存取單元包括在相同時間執行個體顯示之所有圖像之視訊資料。在不使用可調式視訊寫碼或多視圖視訊寫碼之實例中，一存取單元包括一圖像之視訊資料。
因此，大體而言，由視訊解碼器30進行的對一存取單元之解碼及處理產生一或多個圖像。若由視訊解碼器30進行的對一存取單元之解碼及處理產生一圖像，則存取單元之視訊資料可包括圖像之所有層之資訊(若利用可調式視訊寫碼)或包括僅一層之資訊(若未利用可調式視訊寫碼)。若由視訊解碼器30進行的對一存取單元之解碼及處理產生多個圖像，則針對多視圖視訊寫碼，存取單元之視訊資料可包括相同時間執行個體之所有圖像之資訊。
存取單元包括一或多個解碼單元。舉例而言，如上文所描述，存取單元可包括整個圖像之視訊資料。若不允許子圖像層級之操作，則存取單元僅包括一解碼單元。若允許子圖像層級之操作，則存取單元包括一或多個解碼單元。
舉例而言，視訊解碼器30包括經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)。CPB儲存自經寫碼位元串流接收之視訊資料且DPB儲存經重建構之圖像。如更詳細描述，視訊編碼器20產生描述 CPB之行為的資訊並輸出該資訊，諸如指示何時欲將解碼單元或存取單元自CPB移除之資訊。在一些實例中，視訊編碼器20編碼指示是否允許存取單元(例如，存取單元內之解碼單元中之每一者)之子圖像層級之操作的語法元素(例如，被稱為SubPicCpbFlag之旗標)，並輸出該語法元素。
若視訊解碼器30判定SubPicCpbFlag為0，則視訊解碼器30可判定不允許子圖像層級的存取單元之操作，且亦可判定存取單元包括一解碼單元。換言之，當SubPicCpbFlag為0時，解碼單元與存取單元相同。若視訊解碼器30判定SubPicCpbFlag為1，則視訊解碼器30可判定允許子圖像層級的存取單元之操作，且亦可判定存取單元包括一或多個解碼單元。
解碼單元包括一或多個網路抽象層(NAL)單元。NAL單元為含有跟隨之視訊資料之類型的指示及含有該視訊資料之位元組的語法結構。NAL單元之實例包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。作為一實例，VCL NAL單元可包括一圖像內之切片之視訊資料(例如，預測該等切片所需之資訊，諸如參考圖像清單索引、運動向量、框內預測模式等)或一特定NAL單元類型之NAL單元。作為一實例，非VCL NAL單元可包括視訊資料，諸如參數集(例如，圖像參數集、序列參數集等)之資訊或用於輔助視訊編碼或視訊解碼之補充資訊。
在本發明中，包括一或多個NAL單元之解碼單元可被視為與解碼單元相關聯或指派給解碼單元之一或多個NAL單元。換言之，與解碼單元相關聯或指派給解碼單元之一或多個NAL單元可被視為與包括此等一或多個NAL單元之解碼單元相同。
因此，本發明中所描述之該等技術可利用具有以下定義之以下術語。
解碼單元：存取單元(當SubPicCpbFlag等於0時)或存取單元之子集(當SubPicCpbFlag等於1時)，其由存取單元中之一或多個VCL NAL單元及相關聯的非VCL NAL單元組成。
相關聯的非VCL NAL單元：一VCL NAL單元之相關聯的非VCL NAL單元為非VCL NAL單元中之一者，該VCL NAL單元為該等非VCL NAL單元的相關聯的VCL NAL單元。換言之，非VCL NAL單元與VCL NAL單元相關聯，且該VCL NAL單元可被視為與該非VCL NAL單元相關聯(例如，VLC NAL單元與非VCL NAL單元之間的關聯係雙向的)。
相關聯的VLC NAL單元：非VCL NAL單元的在解碼次序上之最近的先前VCL NAL單元，其具有等於UNSPEC0、EOS_NUT、EOB_NUT、FD_NUT、在RSV_NVCL44至RSV_NVCL47之範圍中或在UNSPEC48至UNSPEC63之範圍中的nal_unit_type，或非VCL NAL單元的在解碼次序上之第一後續VCL NAL單元，其具有等於其他值之nal_unit_type。
如上文所描述，在一些實例中，視訊編碼器20編碼包括用於輔助視訊編碼或視訊解碼之補充資訊的NAL單元並輸出該等NAL單元。此補充資訊對視訊編碼器20及視訊解碼器30符合諸如HEVC視訊寫碼標準之視訊寫碼標準之要求而言並非必要的。因此，補充資訊之包括係可選的，但可為較佳的，因為此資訊輔助增加視訊編碼及視訊解碼之效率。
包括此補充資訊之NAL單元之一實例為補充增強資訊(SEI)NAL單元。SEI NAL單元之使用使得視訊編碼器20能夠將此後設資料包括於一經寫碼位元串流中，對輸出圖像之正確解碼不需要該後設資料，但該後設資料可用於各種其他用途(諸如，圖像輸出時序、顯示以及損失偵測及隱藏(例如，以輔助編碼及解碼))。視訊編碼器20可經組態 以將任何數目個SEI NAL單元包括於存取單元中，且每一SEI NAL單元可包括一或多個SEI訊息。
HEVC標準包括用於若干SEI訊息之語法及語義，但並未指定SEI訊息之處置，此係因為此等SEI訊息大體上不影響規範解碼程序。將SEI訊息包括於HEVC標準中的原因中之一者係確保各種類型之視訊解碼器(其一實例為視訊解碼器30)在符合HEVC標準之不同系統中完全相同地解譯SEI訊息。因此，符合HEVC標準之規範或系統可能需要視訊編碼器(諸如，視訊編碼器20)產生特定SEI訊息或可定義視訊解碼器(諸如，視訊解碼器30)對特定類型之所接收到的SEI訊息的特定處置。
以下表1列出HEVC標準中所指定之SEI訊息且簡要地描述該等SEI訊息之用途。應理解，僅出於說明之目的而關於HEVC標準描述該等SEI訊息。其他視訊寫碼標準(包括專屬視訊寫碼標準)可包括與表1中所描述或下文另外描述之彼等SEI訊息類似或不同的SEI訊息。此外，甚至基於非標準之視訊寫碼技術可依賴與表1中所描述或下文另外描述之彼等SEI訊息類似或不同的SEI訊息。本發明中所描述之該等技術可應用於所有此等狀況。
大體而言，SEI訊息可被視為定義視訊資料之特性。舉例而言，緩衝週期及圖像時序SEI訊息定義諸如初始延遲及圖像輸出時間或圖像/子圖像移除時間之視訊資料特性。作為額外實例，表1中之SEI訊息之用途提供由對應SEI訊息定義的視訊資料之特性之實例。
在一些實例中，視訊編碼器20可經組態以限制SEI訊息位於存取單元內之位置。舉例而言，在SEI訊息中，子圖像時序SEI訊息在解碼次序上可在存取單元中的含有SEI訊息之第一VCL NAL單元之後，但在解碼次序上可能不在存取單元中之最後VCL NAL單元之後。當對於含有SEI訊息之SEI NAL單元，nuh_reserved_zero_6bits等於0時，所有其他SEI訊息可在存取單元中之第一VCL NAL單元之前。
nuh_reserved_zero_6bits語法元素識別可調式視訊寫碼中之層或多視圖視訊寫碼中之視圖。舉例而言，nuh_reserved_zero_6bits語法元素對於可調式視訊寫碼器中之基礎層為0或對於多視圖視訊寫碼中之基礎視圖為0。用於其他層或視圖之nuh_reserved_zero_6bits語法元素為用以識別層或視圖之正整數值。在未使用可調式視訊寫碼或多視圖視訊寫碼之狀況下，假定nuh_reserved_zero_6bits為0。
如表1中所指示，各種SEI訊息(諸如，緩衝週期SEI訊息、圖像時序SEI訊息及子圖像時序SEI訊息)定義假想參考解碼器(HRD)中之延遲及移除時間。HRD係用以定義經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)之特性的模型。如上文所描述，CPB在解碼之前儲存來自位元串流之視訊資料(諸如，經編碼圖像)，且DPB儲存包括經解碼圖像之經解碼視訊資料。
大體而言，每一視訊寫碼標準包括針對視訊緩衝模型之規範。在AVC及HEVC中，緩衝模型被稱為假想參考解碼器(HRD)，其包括經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)兩者之緩衝模型，且CPB及DPB行為係以數學方式指定。HRD可將約束直接強加於不同時序、緩衝器大小及位元速率上，且可將約束間接地強加於位元串流特性及統計資料(statistics)上。HRD參數之完整集合包括五個基本參數：初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。
在AVC及HEVC中，將位元串流符合性及解碼器符合性指定為HRD規範之部分。應理解，儘管將HRD標記為一類型之解碼器，但在視訊編碼器20側通常需要HRD以保證位元串流符合性。在視訊解碼器30側可能不需要HRD。舉例而言，視訊編碼器20可用信號發出CPB及DPB之時序資訊及其他特性作為SEI訊息，且視訊解碼器30可基於該等用信號發出之SEI訊息而判定CPB及DPB之時序及特性。舉例而言，該等SEI訊息可指定兩種類型之位元串流或HRD符合性，即類型I及類型II。另外，該等SEI訊息可指定兩種類型之視訊解碼器30符合性：輸出時序解碼器符合性及輸出次序解碼器符合性。
在本發明中所描述之該等技術中，視訊編碼器20可指定視訊解碼器30之CPB可在存取單元層級抑或子存取單元層級(亦被稱為子圖像層級)操作。如上文所描述，視訊編碼器20編碼語法元素(例如， SubPicCpbFlag)並輸出(例如，用信號發出)該語法元素。若SubPicCpbFlag之值為0，則不允許子圖像層級之CPB操作。若SubPicCpbFlag之值為1，則允許子圖像層級之CPB操作。
該等SEI訊息可提供關於存取單元內之解碼單元的資訊。舉例而言，圖像時序SEI訊息(PT SEI訊息)包括num_nalus_in_du_minus1[i]語法元素。num_nalus_in_du_minus1[i]語法元素加上1指示第i個解碼單元內之NAL單元之數目。
在一些狀況下，視訊解碼器30可利用由視訊編碼器20輸出的來自num_nalus_in_du_minus1[i]語法元素之資訊來判定哪些NAL單元與哪些解碼單元相關聯/經指派給哪些解碼單元。作為一說明性實例，假定num_nalus_in_du_minus1[i]語法元素指示存取單元之第一解碼單元與三個NAL單元相關聯，存取單元之第二解碼單元與兩個NAL單元相關聯，且存取單元之第三解碼單元與兩個NAL單元相關聯。
在此實例中，視訊解碼器30基於CPB接收NAL單元之次序而判定哪些NAL單元與哪些解碼單元相關聯。舉例而言，視訊解碼器30判定：CPB接收之前三個NAL單元與第一解碼單元相關聯，CPB接收之接下來兩個NAL單元與第二解碼單元相關聯，且CPB接收之接下來兩個NAL單元與第三解碼單元相關聯。
然而，視訊解碼器30基於指示與每一解碼單元相關聯之NAL單元之數目並非錯誤彈性之語法元素而判定哪些NAL單元與哪些解碼單元相關聯。在易出現錯誤或有損耗之通信鏈路中，NAL單元中之一或多者可能丟失。舉例而言，若鏈路16係易出現錯誤或有損耗的，則NAL單元中之一或多者可能丟失。作為另一實例，若自輸出介面22至儲存器件32之鏈路或自輸出介面32至輸入介面28之鏈路係易造成錯誤或有損耗的，則NAL單元中之一或多者可能丟失。
當一NAL單元丟失時，除非已知連續NAL單元之損失之確切位置 及數目(視訊解碼器30可能不能夠判定此情形)，否則視訊解碼器30可能不能夠正確地判定哪些NAL單元與哪些解碼單元相關聯。舉例而言，假定：在先前實例中，第二NAL單元丟失。在此狀況下，視訊解碼器30判定前三個所接收到之NAL單元係針對第一解碼單元，此係因為num_nalus_in_du_minus1[i]語法元素指示第一解碼單元包括三個NAL單元。然而，在此狀況下，視訊編碼器20使第三個所接收到之NAL單元與第二解碼單元相關聯(第二NAL單元再次丟失)。因此，當視訊解碼器30應使第三個所接收到之NAL單元與第二解碼單元相關聯時，視訊解碼器30錯誤地使第三個所接收到之NAL單元與第一解碼單元相關聯。
在一些實例中，除num_nalus_in_du_minus1[i]語法元素外或代替num_nalus_in_du_minus1[i]語法元素，視訊解碼器30可基於該等SEI訊息之位置而判定哪些NAL單元與哪些解碼單元相關聯。作為一實例，視訊編碼器20可利用存取單元內的子圖像時序(SPT)SEI訊息之位置來指示哪些NAL單元與哪些解碼單元相關聯，且視訊解碼器30可利用存取單元內的子圖像時序SPT SEI訊息之位置來判定哪些NAL單元與哪些解碼單元相關聯。
舉例而言，SPT SEI訊息為與解碼單元相關聯之SEI NAL單元之部分。SPT SEI訊息可提供指示何時欲將一解碼單元自CPB移除之資訊。在一些實例中，在SEI NAL單元之後、直至下一SPT SEI訊息的不包括SPT SEI訊息之所有NAL單元被視為與該解碼單元相關聯。換言之，包夾於第一SPT SEI訊息與第二SPT SEI訊息之間的NAL單元及包括第一SPT SEI訊息之SEI NAL單元全部被視為與一解碼單元相關聯。
以此方式，在視訊解碼器30之CPB接收具有第一SPT SEI訊息之第一SEI NAL單元之後，視訊解碼器30可判定：第一SEI NAL單元及 直至具有下一SPT SEI訊息之下一SEI NAL單元(亦即，具有第二SPT SEI訊息之第二SEI NAL單元)的所有NAL單元與第一解碼單元相關聯。視訊解碼器30亦可判定：第二SEI NAL單元及直至具有下一SPT SEI訊息之下一SEI NAL單元(亦即，具有第三SPT SEI訊息之第三SEI NAL單元)的所有NAL單元與第二解碼單元相關聯，等等。
在一些狀況下，依賴SPT SEI訊息之位置來判定哪些NAL單元與哪些解碼單元相關聯亦可能並非錯誤彈性的。作為一實例，因為SPT SEI訊息之位置定義哪些NAL單元與一解碼單元相關聯，所以一SPT SEI訊息無法在一解碼單元內重複(亦即，在解碼次序上，在緊於SPT SEI訊息之後的NAL單元之後及在該解碼單元中之最後NAL單元之前)。舉例而言，假定一解碼單元包括四個NAL單元。在此實例中，第一SPT SEI訊息將在該四個NAL單元之前且第二SPT SEI訊息將在該四個NAL單元之後。若一SPT SEI訊息插入於該兩個SPT SEI訊息之中間，則視訊解碼器30將錯誤地判定前兩個NAL單元係針對第一解碼單元，且其次的兩個NAL單元係針對第二不同解碼單元。
然而，以下情形可為有益的：將一SPT SEI訊息之一或多個複本包括於一解碼單元內，使得可在另一複本丟失之情況下自該等複本中之一者恢復相關視訊資料。如上文所描述，SPT SEI訊息可包括指示何時欲將一解碼單元自CPB移除之資訊。舉例而言，在一易造成錯誤或有損耗之環境中，一SPT SEI訊息可能丟失，且該SPT SEI訊息內的指示何時欲將該解碼單元移除之資訊可能丟失。
舉例而言，如上文所描述，一存取單元包括一圖像之視訊資料，且一解碼單元為該存取單元之一子集(假定SubPicCpbFlag為1)。因此，在一些實例中，一解碼單元包括一圖像之一或多個切片之視訊資料(亦即，一圖像之子部分)。源器件12可在封包(例如，即時輸送協定(RTP)封包)中輸出一解碼單元之一或多個切片。若包括SPT SEI訊 息之封包丟失，則視訊解碼器30可能不能夠準確地判定用於解碼單元之其他封包之子圖像時序資訊(例如，自CPB之移除時間)。
若每一封包將包括SPT SEI訊息，則一封包之損失將不會影響解碼程序，此係因為視訊解碼器30可根據該等封包中之另一者中的SPT SEI訊息之複本來判定SPT SEI訊息之子圖像時序資訊。然而，在一些其他技術中，SPT SEI訊息可能不重複，此係由於視訊解碼器30使用SEI訊息之位置來判定哪些NAL單元與哪些解碼單元相關聯。換言之，禁止SPT SEI訊息在解碼單元中重複產生用於判定哪些NAL單元與哪些解碼單元相關聯之較少錯誤彈性方案。在一些實例中，本發明之技術可移除在解碼單元中重複SPT SEI訊息之禁止。
如下文更詳細描述，本發明描述允許視訊解碼器30以錯誤彈性方式判定哪些NAL單元與哪些解碼單元相關聯之實例技術。舉例而言，視訊編碼器20可產生用於解碼單元之識別符以供輸出並輸出該識別符。視訊解碼器30可利用此識別符來判定哪些NAL單元與哪些解碼單元相關聯，而非依賴指示與解碼單元相關聯之NAL單元之數目及接收NAL單元之次序的資訊，或而非依賴SPT SEI訊息之位置。解碼單元識別符之輸出及接收亦可允許SPT SEI訊息之多個複本，此情形進一步增加視訊解碼器30判定解碼單元自CPB之移除時間之能力的錯誤彈性。
上文描述了不允許SPT SEI訊息在解碼單元內重複之實例。在一些狀況下，亦可禁止各種其他類型之SEI訊息在解碼單元內重複。舉例而言，可能不允許並非SPT SEI訊息且包括SEI訊息之SEI NAL單元的nuh_reserved_zero_6bits等於0的任何SEI訊息在包括按解碼次序在第一VCL NAL單元之後且在最後NAL單元之前的SEI訊息之存取單元內重複。
舉例而言，在一些其他技術中，該等SEI訊息用以判定視訊解碼 器30正處理一新存取單元。換言之，SEI訊息在經寫碼位元串流中之位置指示一存取單元之開頭。若一SEI訊息在一存取單元內重複，則視訊解碼器30可錯誤地判定正處理一新存取單元。由於該等SEI訊息指示一新存取單元，因此在此等其他技術中，可禁止SEI訊息之複本。
類似於上文，若一存取單元包括在易造成錯誤環境中傳輸之多個切片，則以下情形可為有益的：將該等SEI訊息之複本包括於每一封包中，使得在一封包丟失之情況下，可自存取單元之其他封包中之一或多個恢復該等SEI訊息。如更詳細描述，本發明中所描述之該等技術可允許各種SEI訊息之多個複本在存取單元內重複。
舉例而言，視訊解碼器30不需要依賴SEI訊息來判定正處理新存取單元。實情為，視訊解碼器30可依賴某一其他標頭資訊來判定何時正處理一新存取單元。由於將SEI訊息之存在與指示正處理一新存取單元去耦，因此視訊編碼器20可將SEI訊息之多個複本包括於存取單元中，且視訊解碼器30可在不判定正處理一新存取單元之情況下處理同一存取單元內的SEI訊息之多個複本。
在本發明中所描述之該等技術中，視訊編碼器20可用信號發出每一解碼單元中之識別符(被稱為解碼單元識別符、DU識別符或DU ID)。DU識別符可為唯一地識別解碼單元之識別符。舉例而言，用於存取單元中之在解碼次序上之第一解碼單元的DU識別符可為0，用於存取單元中之在解碼次序上之第二解碼單元的DU識別符可為1，等等(亦即，用於第一解碼單元之DU識別符為0，且DU識別符之值針對每一後續解碼單元增加一)。唯一地識別具有解碼單元識別符之解碼單元的其他方式係可能的，且該等技術不應被視為限於使用於解碼次序上之每一解碼單元之DU識別符遞增。
可存在視訊編碼器20藉以用信號發出DU識別符之各種方式。舉 例而言，視訊編碼器20可在解碼單元之切片之切片標頭中及/或在SEI訊息(例如，SPT SEI訊息)中或以任何其他方式用信號發出DU識別符。在此狀況下，NAL單元與解碼單元之關聯係基於用信號發出之DU識別符。可能有可能亦將DU識別符包括於其他位置(諸如，NAL單元標頭)中。
若NAL單元係針對一或多個切片，則視訊解碼器30可根據切片標頭中之DU識別符判定NAL單元與哪個解碼單元相關聯。因此，即使存在NAL單元之損失，視訊解碼器30亦可能能夠基於DU識別符而判定哪個NAL單元與哪個解碼單元相關聯。
在SEI訊息包括DU識別符之實例中，可能有可能SEI訊息(例如，SPT SEI訊息)丟失，在該狀況下，DU識別符可能丟失。在一些實例中，視訊編碼器20可將SPT SEI訊息之複本包括於解碼單元內以將DU識別符丟失之機會最小化。舉例而言，如上文所描述，在一些狀況下，解碼單元內之SPT SEI訊息之位置可指示哪些NAL單元與解碼單元相關聯，此情形意謂可能不存在SPT SEI訊息之多個複本。在本發明中所描述之該等技術中，視訊解碼器30可利用DU識別符來判定哪些NAL單元與哪些解碼單元相關聯。因此，視訊解碼器30不需要依賴SPT SEI訊息之位置來判定哪些NAL單元與哪些解碼單元相關聯。此情形允許視訊編碼器20將SPT SEI訊息之多個複本包括於經寫碼位元串流內之一解碼單元內，此情形又減小在SPT SEI訊息之每一複本包括DU識別符之情況下，DU識別符將丟失的機率。
如上文所描述，在一些實例中，不允許SEI訊息在含有SEI訊息之存取單元中在解碼次序上之第一VCL NAL單元之後。在一些實例中，視訊編碼器20可允許所有SEI訊息在含有SEI訊息之存取單元中在解碼次序上之第一VCL NAL單元之後。然而，SEI訊息不可定位於存取單元中在解碼次序上之最後VCL NAL單元之後。
作為一實例，視訊編碼器20可將一SEI訊息包括於在解碼次序上之第一VCL NAL單元之前。視訊編碼器20可將SEI訊息之一複本包括於在存取單元中在解碼次序上之第一VCL NAL單元之後。在此實例中，視訊編碼器20可能不將SEI訊息之一複本包括於在存取單元中在解碼次序上之最後VCL NAL單元之後。
在視訊編碼器20允許各種類型之SEI訊息在解碼單元或存取單元中重複之實例中，視訊編碼器20可指定關於該等SEI訊息之額外資訊。作為一實例，視訊編碼器20可指定SEI訊息中所載運之資訊應用於的應用範疇。作為另一實例，視訊編碼器20可指定SEI訊息可存在於存取單元及/或解碼單元中之位置。作為又一實例，視訊編碼器20可設定對特定類型之SEI訊息的多個執行個體之內容的限制。
視訊解碼器30將SEI訊息之此資訊用於解碼NAL單元中之資料。在一些實例中，視訊解碼器30可經預先組態而具有SEI訊息之資訊(諸如，指示對特定類型之SEI訊息的多個執行個體之內容的限制之資訊)或經預先組態而具有SEI訊息可位於存取單元及/或解碼單元內之位置之資訊。在此等狀況下，視訊編碼器20可能不必指定SEI訊息可存在於之位置或用信號發出指示對特定類型之SEI訊息的多個執行個體之內容的任何限制之資訊。
如上文所描述，一存取單元包括至少一圖像之視訊資料。在一些實例中，該存取單元可包括多個層之視訊資料，且視訊編碼器20可編碼具有多個層之一視訊位元串流，諸如在高效率視訊寫碼(HEVC)標準之多層擴展中。
該多個層包括一基礎層及一或多個非基礎層。在一些實例中，基礎層可包括用於建構圖像之視訊資料，且非基礎層可為包括用於增強基礎層中之圖像之品質的視訊資料的空間或品質增強層。在一些實例中，(諸如)針對多視圖視訊寫碼，基礎層可包括特定視圖(例如，不 需要框間預測之任何其他視圖的基礎視圖)之圖像之視訊資料，且非基礎層可包括不同視圖之紋理、不同視圖之深度及其他此等實例。
在本發明中所描述之該等技術中，視訊編碼器20可在不同通道中輸送不同層(例如，使用IETF RFC 6190(可公開地於http://tools.ietf.org/rfc/rfc6190.txt中得到)中類似地定義之多作業階段傳輸(MST))。本發明中所描述之該等技術可擴展至將多作業階段傳輸用於編碼多層之實例。舉例而言，本發明中所描述的用於將SEI訊息包括於在存取單元中之第一VCL NAL單元之後的該等技術亦可應用於多作業階段傳輸之實例。作為一實例，視訊編碼器20可將SEI NAL單元包括於存取單元內之兩個連續VCL NAL單元之間，而不必將該等SEI NAL單元移動至存取單元之第一VCL NAL單元之前。
因為SEI NAL單元包括用於多作業階段傳輸技術之SEI訊息，所以視訊解碼器30可能能夠以更簡化之方式來實施解封包化程序。舉例而言，視訊解碼器30可能能夠解碼來自存取單元內的用於多作業階段傳輸技術之SEI訊息，而非自存取單元之開頭起的所有SEI訊息。因為SEI訊息之多個複本可在存取單元中得到，所以視訊解碼器30可能能夠以更有效率之方式將所接收到之封包解封包。
本發明之該等技術可彼此結合或單獨地應用。舉例而言，若視訊編碼器20包括一DU識別符，則視訊編碼器20未必需要在所有實例中包括SPT SEI訊息之多個複本，而可在一些實例中包括SPT SEI訊息之多個複本。作為另一實例，即使視訊編碼器20不包括DU識別符，視訊編碼器20亦可包括各種類型之SEI訊息之多個複本。作為又一實例，在視訊編碼器20包括DU識別符之實例中，視訊編碼器20未必需要包括除SPT SEI訊息以外的SEI訊息之多個複本。大體而言，本發明中所描述之該等技術在針對易造成錯誤環境(其中資訊可能在發信號中丟失)提供錯誤彈性方案中可為有利的。
如上文所描述，在一實例中，視訊編碼器20將DU識別符包括於切片標頭中。下文之表2提供用於視訊編碼器20可藉以將DU識別符包括於切片標頭中之方式及視訊解碼器30可藉以剖析切片標頭以判定DU識別符之方式的實例偽碼。
在此實例中，decoding_unit_id指代DU識別符且指定切片所屬之解碼單元之識別符。decoding_unit_id之值可在0至PicSizeInCtbsY-1之範圍內，包括0及PicSizeInCtbsY-1。PicSizeInCtbsY可指示圖像中之寫碼樹單元(CTU)之數目，其等於圖像之明度分量中的寫碼樹型區塊(CTB)之數目。
在視訊編碼器20將解碼單元識別符包括於切片標頭中之實例中，藉由DU識別符(例如，DU ID或duID)之一特定值識別之解碼單元可包括且可僅包括存取單元中的具有等於DU識別符之decoding_unit_id之所有經寫碼切片NAL單元及其相關聯之非VCL NAL單元。在一存取單元內，針對分別具有等於duIDa及duIDb(其中duIDa小於duIDb)之decoding_unit_id之任何兩個解碼單元(例如，解碼單元A及解碼單元B)，解碼單元A在解碼次序上可在解碼單元B之前。換言之，具有較小DU識別符之解碼單元在解碼次序上在具有較大DU識別符之解碼單元之前。此外，一解碼單元之NAL單元在解碼次序上可能不駐留於另一解碼單元之兩個NAL單元之間。換言之，在上述實 例中，解碼單元之NAL單元係連續的。
如上文所描述，在一些實例中，視訊編碼器20可將DU識別符包括於SEI訊息(例如，SPT SEI訊息)中，且SPT SEI訊息包括指示何時欲移除解碼單元之資訊。下文描述用於視訊編碼器20之將DU識別符包括於SEI訊息中之一些實例技術。為了避免混淆，在下文中，將子圖像時序(SPT)SEI訊息之名稱改變為解碼單元資訊SEI訊息。換言之，在一些實例中，視訊編碼器20輸出SEI訊息中之DU識別符且視訊解碼器30接收SEI訊息中之DU識別符，該SEI訊息亦包括指示解碼單元自CPB之移除時間的資訊。
下文之表3提供用於視訊編碼器20可藉以將DU識別符包括於SEI訊息中之方式及視訊解碼器30可藉以剖析SEI訊息以判定DU識別符之方式的實例偽碼。在下文中，將子圖像時序(SPT)SEI訊息之名稱改變為解碼單元資訊SEI訊息，且語法及語義可如下。其他部分與HEVC WD8中相同，其中用「解碼單元資訊SEI訊息」替換「子圖像時序SEI訊息」。解碼單元資訊SEI訊息可提供與SEI訊息相關聯之解碼單元之CPB移除時間(例如，CPB移除延遲資訊)。
在HEVC WD8中，子圖像時序(SPT)SEI訊息可類似於表3。然而，HEVC WD8之SPT SEI訊息並不包括decoding_unit_id語法元素，且僅包括du_cpb_removal_delay語法元素。在本發明中所描述之實例技術中之一些技術中，因為SEI訊息亦包括decoding_unit_id，所以將SPT SEI訊息重新命名為解碼單元資訊SEI訊息。
在一些實例中，視訊編碼器20產生語法元素以供輸出並輸出該 等語法元素，且視訊解碼器30接收指示解碼單元資訊SEI訊息在位元串流中之存在之語法元素。作為一實例，視訊編碼器20輸出CpbDpbDelaysPresentFlag及sub_pic_cpb_params_present_flag。若CpbDpbDelaysPresentFlag等於1且sub_pic_cpb_params_present_flag等於1，則視訊解碼器30可判定一或一個以上解碼單元資訊SEI訊息存在於經寫碼視訊序列中之每一解碼單元中(亦即，一或多個解碼單元資訊SEI訊息)。若CpbDpbDelaysPresentFlag等於0或sub_pic_cpb_params_present_flag等於0，則視訊解碼器30可判定無解碼單元資訊SEI訊息存在於經寫碼視訊序列之任何存取單元中。
根據本發明中所描述之一或多個實例，解碼單元資訊SEI訊息應用於之NAL單元(亦被稱為與解碼單元資訊SEI訊息相關聯之NAL單元)按解碼次序由以下各者組成：含有解碼單元資訊SEI訊息之SEI NAL單元，及存取單元中直至(但不包括)含有具有decoding_unit_id之不同值之解碼單元資訊SEI訊息的任何後續SEI NAL單元的所有後續NAL單元。在此等實例中，decoding_unit_id之定義可與上文關於表2所描述的decoding_unit_id之定義相同，但包括於SEI訊息(例如，解碼單元資訊SEI訊息)中。舉例而言，藉由DU識別符(例如，DU ID或duID)之一特定值識別的解碼單元可包括且可僅包括存取單元中與具有等於DU識別符之decoding_unit_id之所有解碼單元資訊SEI訊息相關聯的所有NAL單元。如上文，具有較小解碼單元識別符之解碼單元在解碼次序上比具有較大解碼單元識別符之解碼單元早。如上文，一解碼單元之NAL單元在解碼次序上可能不駐留於另一解碼單元之兩個NAL單元之間。
du_cpb_removal_delay可指定在視訊解碼器30自CPB移除與解碼單元資訊SEI訊息相關聯之解碼單元之前、在自CPB移除與先前存取單元中之最近緩衝週期SEI訊息相關聯的存取單元中之第一解碼單元 之後、視訊解碼器30將等待的子圖像時脈刻度之數目。此值亦可用以計算用於假想串流排程器(HSS)的解碼單元資料至CPB中之最早可能到達時間，如HEVC WD8之附錄C中所指定。
該語法元素可由一固定長度碼來表示，該固定長度碼之以位元計之長度係藉由cpb_removal_delay_length_minus1+1來給出。du_cpb_removal_delay可為模2(cpb_removal_delay_length_minus1+1)計數器之餘數。
在一些實例中，判定語法元素du_cpb_removal_delay之長度(以位元計)的cpb_removal_delay_length_minus1之值可為在對於與解碼單元資訊SEI訊息相關聯之經寫碼圖像而言係作用中的序列參數集中經寫碼之cpb_removal_delay_length_minus1之值。然而，du_cpb_removal_delay指定相對於含有緩衝週期SEI訊息之先前存取單元中的第一解碼單元之移除時間的子圖像時脈刻度之數目，該先前存取單元可為一不同的經寫碼視訊序列之一存取單元。
表3提供用於解碼單元資訊SEI訊息之一實例的實例偽碼，其中將SPT SEI訊息之名稱改變為解碼單元資訊SEI訊息，此係因為解碼單元資訊SEI訊息包括先前為SPT SEI訊息之部分的資訊且進一步包括用於與訊息相關聯之解碼單元之DU識別符。在一些實例中，可能潛在地存在對子圖像時序(SPT)SEI訊息之其他修改。
舉例而言，2012年9月24日申請之美國臨時申請案第61/705,119號(下文中為申請案'119)及2012年10月1日申請之美國臨時申請案第61/708,475號(下文中為申請案'475)(該等美國臨時申請案中之每一者之全部內容以引用的方式併入本文中)描述相對於HEVC WD8中所描述之SPT SEI訊息的對SPT SEI訊息之一些可能修改。申請案'119及申請案'475描述將一應用操作點語法結構包括於SPT SEI訊息中且將du_cpb_removal_delay語法元素改變為下文定義之 du_spt_cpb_removal_delay。
本發明中所描述之該等技術亦可應用於SPT SEI訊息自HEVC WD8改變為申請案'119及申請案'475中之SPT SEI訊息的實例。下文之表4提供用於視訊編碼器20可藉以用信號發出SEI訊息之替代實例中之DU識別符的方式及視訊解碼器30可藉以剖析SEI訊息以判定DU識別符之方式的實例偽碼。如同表3，為了避免混淆，將SPT SEI訊息之名稱改變為解碼單元資訊SEI訊息，此係因為除如申請案'119及申請案'475中所描述之SPT SEI訊息中之資訊之外，解碼單元資訊SEI訊息亦包括DU識別符。
等於1之sub_pic_cpb_params_in_pic_timing_sei_flag指定子圖像層級CPB移除延遲參數存在於圖像時序SEI訊息中且無子圖像時序SEI訊息存在。等於0之sub_pic_cpb_params_in_pic_timing_sei_flag指定子圖像層級CPB移除延遲參數存在於子圖像時序SEI訊息中且圖像時序SEI訊息並不包括子圖像層級CPB移除延遲參數。
如上文關於表3，解碼單元資訊SEI訊息提供用於與SEI訊息相關聯之解碼單元的CPB移除延遲資訊。以下內容可應用於解碼單元資訊SEI訊息語法及語義。
語法元素sub_pic_cpb_params_present_flag、sub_pic_cpb_params_in_pic_timing_sei_flag及cpb_removal_delay_length_minus1以及變數CpbDpbDelaysPresentFlag可見於以下語法元素中或自以下語法元素導出：可應用於解碼單元資訊SEI訊息應用於之操作點中之任 一者的hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構中可見之語法元素。位元串流(或其部分)指代與解碼單元資訊SEI訊息應用於之操作點中之任一者相關聯的位元串流子集(或其部分)。
類似於上文關於表3，視訊編碼器20輸出視訊解碼器30用來判定位元串流中之解碼單元SEI訊息之存在的CpbDpbDelaysPresentFlag及sub_pic_cpb_params_present_flag。在表4之實例中，若CpbDpbDelaysPresentFlag等於1且sub_pic_cpb_params_present_flag等於1，則視訊解碼器30可判定應用於指定操作點之一解碼單元資訊SEI訊息存在於經寫碼視訊序列中之每一解碼單元中。否則(例如，CpbDpbDelaysPresentFlag等於0或sub_pic_cpb_params_present_flag等於0)，視訊解碼器30可判定無可應用於指定操作點之解碼單元資訊SEI訊息存在於經寫碼視訊序列中。
類似於關於表3之描述，解碼單元資訊SEI訊息應用於之NAL單元(亦被稱為與解碼單元資訊SEI訊息相關聯之NAL單元)按解碼次序由以下各者組成：含有解碼單元資訊SEI訊息之SEI NAL單元，及存取單元中直至(但不包括)含有具有decoding_unit_id之不同值之解碼單元資訊SEI訊息的任何後續SEI NAL單元的所有後續NAL單元。decoding_unit_id之定義可與上文關於表3所描述之定義相同，且具較小DU識別符之解碼單元在解碼次序上比具有較大DU識別符之解碼單元早。在表4之實例中，du_spt_cpb_removal_delay可指定含有解碼單元資訊SEI訊息之當前存取單元中的解碼次序上之最後解碼單元及與解碼單元資訊SEI訊息相關聯之解碼單元自CPB之移除之間的持續時間，其以子圖像時脈刻度為單位(參見HEVC WD8之子條款E.2.1)。此值亦可用以計算用於假想序列排程器(HSS)的解碼單元資料至CPB中之最早可能到達時間，如HEVC WD8之附錄C中所指定。該語法元素可由一固定長度碼來表示，該固定長度碼之以位元計之長度係藉由 du_cpb_removal_delay_length_minus1+1來給出。當與解碼單元資訊SEI訊息相關聯之解碼單元係當前存取單元中之最後解碼單元時。du_spt_cpb_removal_delay之值可等於0。
或者，du_spt_cpb_removal_delay可指定含有解碼單元資訊SEI訊息之當前存取單元中的解碼次序上之下一個解碼單元及與解碼單元資訊SEI訊息相關聯之解碼單元自CPB之移除之間的持續時間，其以子圖像時脈刻度為單位(參見子條款E.2.1)。此值亦可用以計算用於HSS的解碼單元資料至CPB中之最早可能到達時間，如HEVC WD8之附錄C中所指定。該語法元素係由一固定長度碼來表示，該固定長度碼之以位元計之長度係藉由du_cpb_removal_delay_length_minus1+1來給出。當與解碼單元資訊SEI訊息相關聯之解碼單元係當前存取單元中之最後解碼單元時，du_spt_cpb_removal_delay之值可等於0。或者，無解碼單元資訊SEI訊息可與每一存取單元中之最後解碼單元相關聯。
上述實例描述用於用信號發出視訊解碼器30用來判定哪些NAL單元與哪些解碼單元相關聯的解碼單元識別符之技術。舉例而言，若切片標頭指示一解碼單元識別符，則視訊解碼器30可判定包括該切片之NAL單元與切片標頭中所指示之解碼單元相關聯。作為另一實例，若一SEI訊息(例如，解碼單元資訊SEI訊息)指示解碼單元識別符，則視訊解碼器30判定在該SEI訊息之後、直至包括具有不同於先前SEI訊息之解碼單元識別符之解碼單元識別符的解碼單元資訊SEI訊息之下一SEI NAL單元的所有NAL單元。此允許視訊編碼器20包括解碼單元資訊SEI訊息之多個複本，此又允許視訊解碼器30在其他解碼單元資訊SEI訊息中之一者在傳輸中丟失之狀況下根據複數個解碼單元資訊SEI訊息中之一者來判定解碼單元自CPB之移除時間。
在一些實例中，視訊編碼器20可產生各種類型之SEI訊息之多個 複本以供輸出並輸出該多個複本，且視訊解碼器30可接收該多個複本。如上文所描述，針對所有SEI訊息指定以下態樣：a)SEI訊息中所載運之資訊應用於的應用範疇；b)SEI訊息可存在之位置；及c)對特定類型之SEI訊息之多個執行個體的內容之限制。
假定以下慣例以用於描述應用範疇、訊息可存在之位置及對SEI訊息之多個執行個體之內容的限制。認為SEI訊息與含有SEI訊息之SEI NAL單元的NAL單元標頭中之nuh_reserved_zero_6bits之值相關聯。在下文中，「層ID」可與「nuh_reserved_zero_6bits」互換地使用，此係因為nuh_reserved_zero_6bits識別可調式視訊寫碼中之層。
如上文，縮寫AU代表存取單元。用於每一緩衝週期SEI訊息、圖像時序SEI訊息或子圖像時序SEI訊息之可應用操作點如申請案'119及申請案'475中所指定。操作點係藉由以下各者來識別：nuh_reserved_zero_6bits值之一集合(表示為OpLayerIdSet)，及時間識別值(TemporalId)值(表示為OpTid)，及作為子位元串流提取程序之輸出而導出的相關聯之位元串流子集(如HEVC WD8之子條款10.1中所指定)，其中OpTid及OpLayerIdSet作為可獨立解碼之輸入。
圖像之TemporalId值指示該等圖像是否可用於框間預測其他圖像。舉例而言，若第一圖像之TemporalId值大於第二圖像之TemporalId值，則第一圖像無法用於第二圖像之框間預測。以此方式，可移除(提取)具有最大TemporalId值之圖像而對視訊解碼無任何影響，此係因為該等圖像無法用於框間預測剩餘圖像中之任一者。類似地，可移除具有最大及次最大TemporalId值之圖像而對視訊解碼無任何影響，因為此等圖像無法用於框間預測剩餘圖像中之任一者，等等。雖然基於TemporalId值移除此等圖像可能不影響視訊解碼且改良頻寬利用(例如，歸因於圖像之移除)，但若此等圖像經移除，則可能存在對視訊之品質之負面影響。
子條款10.1中所指定之子位元串流提取程序描述對符合性之特定要求。作為一實例，將藉由該程序自一位元串流提取的具有在0至6之範圍中(包括0及6)之任何目標最高TemporalId值及僅包括等於零的nuh_reserved_zero_6bits之值之目標層識別符清單的任何子位元串流視為確認位元串流。
場景週期可包括且可僅包括自含有場景資訊SEI訊息之AU開始至在解碼次序上含有場景資訊SEI訊息之下一AU或經寫碼視訊序列之結尾(無論哪一者在解碼次序上較早)的所有AU。後濾波器週期可包括且可僅包括自含有後濾波器提示SEI訊息之AU開始至在解碼次序上含有後濾波器提示SEI訊息之下一AU或經寫碼視訊序列之結尾(無論哪一者在解碼次序上較早)的所有AU。
若子圖像時序SEI訊息並不包括解碼單元ID，則解碼單元可包括且可僅包括AU內的自含有子圖像時序SEI訊息之SEI NAL單元至含有子圖像時序SEI訊息之下一SEI NAL單元或AU之結尾(無論哪一者在解碼次序上較早)的NAL單元之一集合。否則，解碼單元可包括且可僅包括AU內的自含有子圖像時序SEI訊息之SEI NAL單元至含有具有解碼單元ID之不同值的子圖像時序SEI訊息之下一SEI NAL單元或AU之結尾(無論哪一者在解碼次序上較早)的NAL單元之一集合。
表5說明不同類型之SEI訊息，且說明不同類型之SEI訊息、存取單元之時間識別值及是否存在任何限制及對SEI訊息之限制之類型之間的關係。舉例而言，視訊編碼器20可判定SEI訊息之類型且可判定存取單元之時間識別值。基於時間識別值及SEI訊息之類型，視訊編碼器20可判定是否允許SEI訊息之存在。
作為一實例，假定SEI訊息類型為緩衝週期SEI訊息。在此實例中，若時間識別值不等於0，則視訊編碼器20可判定不允許緩衝週期SEI訊息之存在。作為另一實例，假定SEI訊息類型為圖像時序SEI訊息。在此實例中，不管時間識別值，視訊編碼器20皆可判定允許圖像時序SEI訊息之存在。
根據本發明中所描述之該等技術，視訊編碼器20及視訊解碼器30為經組態以實施本發明中所描述之一或多個實例技術之視訊寫碼器的實例。舉例而言，視訊編碼器20可用信號發出用於解碼單元之識別符(例如，編碼用於解碼單元之識別符且用信號發出該等識別符)，且視訊解碼器30可接收用於解碼單元之識別符(例如，接收用於解碼單 元之識別符並解碼該等識別符)。在此意義上，視訊寫碼器(諸如，視訊編碼器20及視訊解碼器30)可經組態以寫碼(例如，編碼或解碼)用於解碼單元之識別符。
視訊寫碼器可經組態以寫碼用於一存取單元中之每一解碼單元之一唯一識別符，以使得用於該存取單元中之一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符。在一些實例中，視訊寫碼器可基於用於解碼單元中之每一者之唯一識別符而使網路抽象層(NAL)單元與存取單元中之解碼單元相關聯。又，在一些實例中，視訊寫碼器可在解碼單元或存取單元內重複補充增強資訊(SEI)訊息。
為了寫碼每一DU，視訊寫碼器可寫碼用於第一DU之第一識別符，且寫碼用於第二不同DU之第二不同識別符。在此實例中，第二識別符可為第一識別符遞增1。
在一些實例中，視訊寫碼器可將用於每一解碼單元之唯一識別符寫碼於切片標頭中。在此等實例中，唯一識別符可識別切片所屬之解碼單元，且視訊寫碼器可判定包括該切片之NAL單元與由切片標頭中之解碼單元識別符識別的解碼單元相關聯。在一些實例中，視訊寫碼器可將用於解碼單元之唯一識別符寫碼於SEI訊息中。舉例而言，視訊寫碼器可將唯一識別符寫碼於SEI訊息(例如，解碼單元資訊SEI訊息)中，該SEI訊息亦包括關於何時欲將解碼單元自經寫碼圖像緩衝器(CPB)移除之資訊。用於解碼單元之唯一識別符可識別含有解碼單元資訊SEI訊息之解碼單元。
在一或多個實例技術中，視訊寫碼器可寫碼用於存取單元中之一第一解碼單元之一第一識別符，且寫碼用於存取單元中之一第二不同解碼單元之一第二不同識別符。在一些實例中，當該第一識別符之一值小於該第二識別符之一值時，該第一解碼單元在解碼次序上可在 該第二解碼單元之前。在一些實例中，視訊寫碼器可將用於每一解碼單元之唯一識別符作為解碼單元之索引按解碼次序寫入至存取單元中之所有解碼單元之清單中。
在一些例子中，視訊寫碼器可將一第一視訊寫碼層(VCL)網路抽象層(NAL)單元寫碼於一存取單元(AU)中。視訊寫碼器亦可寫碼按解碼次序在第一VLC NAL單元之後的補充增強資訊(SEI)訊息。在一些實例中，視訊寫碼器亦可寫碼SEI訊息，以使得SEI訊息在解碼次序上在AU中之最後VCL NAL單元之前。
圖2A及圖2B為說明根據本發明中所描述之技術的包括解碼單元識別符之存取單元之實例的概念圖。圖2A說明存取單元34且圖2B說明存取單元50。存取單元34及存取單元50包括解碼至少一圖像所需之視訊資料(例如，用於解碼同一時間執行個體之不同視圖之一圖像或多個圖像的一或多個層)。視訊編碼器20輸出存取單元34或存取單元50以作為視訊解碼器30經由鏈路16或儲存器件32接收之經寫碼位元串流之部分。
在圖2A及圖2B中，存取單元34及存取單元50包括複數個解碼單元，此意謂視訊編碼器20將存取單元34及存取單元50之SubPicCpbFlag輸出為1，以向視訊解碼器30指示：對於存取單元34及存取單元50，允許子圖像層級之操作。
在圖2A中，存取單元34包括解碼單元36A至36C(統稱為「解碼單元36」)。解碼單元36A包括第一SEI NAL單元38A及第二SEI NAL單元38B。SEI NAL單元38A及38B兩者包括SEI訊息(例如，解碼單元資訊SEI訊息)，該SEI訊息指示關於解碼單元36A之移除時間的資訊且亦包括用於解碼單元36A之解碼單元識別符。解碼單元36A亦包括NAL單元40A至40D。
解碼單元36B包括第三SEI NAL單元42，該第三SEI NAL單元42 包括SEI訊息，該SEI訊息指示關於解碼單元36B之移除時間的資訊且亦包括用於解碼單元36B之解碼單元識別符。用於解碼單元36B之解碼單元識別符不同於用於解碼單元36B之解碼單元識別符(例如，比用於解碼單元36A之解碼單元識別符大一)。解碼單元36B亦包括NAL單元44A及44B。
解碼單元36C包括第四SEI NAL單元46A及第五SEI NAL單元46B。SEI NAL單元46A及46B兩者包括SEI訊息(例如，解碼單元資訊SEI訊息)，該SEI訊息指示關於解碼單元36C之移除時間的資訊且亦包括用於解碼單元36C之解碼單元識別符。解碼單元36C亦包括NAL單元48A及48B。
30可基於解碼單元資訊SEI訊息而判定哪些NAL單元與哪些解碼單元相關聯。舉例而言，視訊解碼器30可判定SEI NAL單元38A及在SEI NAL單元38A之後的NAL單元(例如，NAL單元40A及40B)與解碼單元36A相關聯，此係因為SEI NAL單元38A之解碼單元資訊SEI訊息包括用於解碼單元36A之解碼單元識別符。接著，視訊解碼器30可判定SEI NAL單元38B亦為解碼單元36A之部分，此係因為SEI NAL單元38B之解碼單元資訊SEI訊息為SEI NAL單元38A之解碼單元資訊SEI訊息的複本(例如，包括相同移除時間資訊及相同解碼單元識別符)。在此實例中，視訊解碼器30可判定NAL單元40C及40D亦與解碼單元36A相關聯，此係因為此等NAL單元在SEI NAL單元38B之後且在具有解碼單元資訊SEI訊息之另一SEI NAL單元之前。
視訊解碼器30可判定SEI NAL單元42不屬於解碼單元36A，此係因為SEI NAL單元42之解碼單元資訊SEI訊息中之解碼單元識別符不同於SEI NAL單元38A及38B之解碼單元資訊SEI訊息中之解碼單元識別符。在此狀況下，視訊解碼器30可判定：SEI NAL單元42與另一解碼單元(例如，解碼單元36B)相關聯，且NAL單元44A及44B亦與解碼 單元36B相關聯，此係因為此等NAL單元在SEI NAL單元42之後且在具有包括一不同解碼單元識別符之一解碼單元資訊SEI訊息的另一SEI NAL單元之前。
視訊解碼器30可判定SEI NAL單元46A與一不同解碼單元(例如，解碼單元36C)相關聯，此係因為SEI NAL單元46A之解碼單元資訊SEI訊息中之解碼單元識別符不同於先前解碼單元識別符(例如，比先前解碼單元識別符大一)。視訊解碼器30判定NAL單元48A與解碼單元36C相關聯，此係因為NAL單元48A在SEI NAL單元46A之後且在包括解碼單元資訊SEI訊息之SEI NAL單元46B之前。
在此實例中，SEI NAL單元46B包括一解碼單元資訊SEI訊息，該訊息包括與SEI NAL單元46A之解碼單元資訊SEI訊息相同之解碼單元識別符(例如，解碼單元資訊SEI訊息為複本)。視訊解碼器30可接著判定NAL單元48B與解碼單元36C相關聯，此係因為NAL單元48B為存取單元34中之最後NAL單元。
在圖2A中，解碼單元資訊SEI訊息之實例包括上文關於表3及表4所描述之該等實例。又，在圖2A中，屬於一解碼單元之NAL單元係連續的(亦即，用於其他解碼單元之NAL單元未穿插有一解碼單元之NAL單元)。
在圖2A中，視訊編碼器20可產生用於對應解碼單元中之每一解碼單元之解碼單元識別符以供輸出並輸出該等解碼單元識別符。舉例而言，視訊編碼器20將該等解碼單元識別符包括於對應解碼單元36A中之SEI NAL單元38A及SEI NAL單元38B之解碼單元資訊SEI訊息中，且輸出該等解碼單元識別符作為SEI NAL單元38A及38B之解碼單元資訊SEI訊息之部分。視訊編碼器20將該等解碼單元識別符包括於對應解碼單元36B中之SEI NAL單元42之解碼單元資訊SEI訊息中，且將該等解碼單元識別符包括於對應解碼單元36C中之SEI NAL單元46A 及SEI NAL單元46B之解碼單元SEI訊息中。在此等實例中，視訊編碼器20輸出該等解碼單元識別符作為SEI NAL單元42、46A及46B之各別解碼單元SEI訊息之部分。
包括解碼單元SEI訊息允許視訊解碼器30基於該等解碼單元識別符而判定哪些NAL單元與哪些解碼單元相關聯，使得即使一NAL單元丟失，視訊解碼器30亦仍可判定哪些NAL單元與哪些解碼單元相關聯。舉例而言，假定NAL單元40C丟失。在此實例中，視訊解碼器30仍可判定NAL單元40D與解碼單元36A相關聯，此係因為NAL單元40D在SEI NAL單元38B(其解碼單元資訊SEI訊息指示用於解碼單元36A之解碼單元識別符)之後且在SEI NAL單元42(其解碼單元資訊SEI訊息指示用於解碼單元36B之解碼單元識別符)之前。此外，關於指示解碼單元識別符之解碼單元SEI訊息，視訊編碼器20可將解碼單元SEI訊息之多個複本包括於一解碼單元中。
如圖2B中所說明，存取單元50包括解碼單元52A至52C(統稱為「解碼單元52」)。解碼單元52A包括切片NAL單元54A及54B，解碼單元52B包括切片NAL單元64A至64C，且解碼單元52C包括切片NAL單元78A及78B。切片NAL單元中之每一者包括一切片標頭及一切片本體。切片標頭包括標頭資訊(其包括解碼單元識別符)，且切片本體包括用於解碼切片之視訊資料。
舉例而言，切片NAL單元54A包括切片標頭56及切片本體58，且切片NAL單元54B包括切片標頭60及切片本體62。在此實例中，切片NAL單元54A之切片標頭56及切片NAL單元54B之切片標頭60各自包括相同解碼單元識別符，視訊解碼器30利用該相同解碼單元識別符判定NAL單元54A及NAL單元54B與同一解碼單元(例如，解碼單元52A)相關聯。
片段切片NAL單元64A包括切片標頭66及切片本體68，切片NAL 單元64B包括切片標頭70及切片本體72，且切片NAL單元64C包括切片標頭74及切片本體76。在此實例中，切片NAL單元64A之切片標頭66、切片NAL單元64B之切片標頭70及切片NAL單元64C之切片標頭74各自包括相同解碼單元識別符，視訊解碼器30利用該相同解碼單元識別符判定NAL單元64A、NAL單元64B及NAL單元64C與同一解碼單元(例如，解碼單元52B)相關聯。
片段切片NAL單元78A包括切片標頭80及切片本體82，且切片NAL單元78B包括切片標頭84及切片本體86。在此實例中，切片NAL單元78A之切片標頭80及切片NAL單元78B之切片標頭84各自包括相同解碼單元識別符，視訊解碼器30利用該相同解碼單元識別符判定NAL單元78A及NAL單元78B與同一解碼單元(例如，解碼單元52C)相關聯。
在圖2B中，解碼單元資訊SEI訊息之實例包括上文關於表2所描述之該等實例。類似於圖2A，在圖2B中，屬於一解碼單元之NAL單元係連續的(亦即，用於其他解碼單元之NAL單元未穿插有一解碼單元之NAL單元)。
如所說明，視訊編碼器20將解碼單元識別符包括於用於對應解碼單元52A之切片標頭56及60中，且輸出該解碼單元識別符作為切片標頭56及60之部分。又，視訊編碼器20將解碼單元識別符包括於用於對應解碼單元52B之切片標頭66、70及74中，且輸出該解碼單元識別符作為切片標頭66、70及74之部分。類似地，視訊編碼器20將解碼單元識別符包括於用於對應解碼單元52C之切片標頭80及84中，且輸出該解碼單元識別符作為切片標頭80及84之部分。
在圖2B中所說明之實例中，視訊解碼器30無需依賴SPT SEI訊息之位置來判定哪個切片NAL單元與哪個解碼單元相關聯。實情為，視訊解碼器30利用切片NAL單元之切片標頭中所指示之解碼單元識別符 來判定哪個切片NAL單元與哪個解碼單元相關聯。在此狀況下，即使一切片NAL單元丟失(例如，切片NAL單元56B)，視訊解碼器30可能仍能夠基於切片標頭而判定哪個NAL單元與哪些解碼單元相關聯。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊之框內及框間寫碼(框內預測編碼或解碼及框間預測編碼或解碼)。框內寫碼依賴空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指代若干基於時間之壓縮模式中之任一者。
在圖3之實例中，視訊編碼器20包括分割單元135、預測處理單元141、濾波器單元163、參考圖像記憶體164(有時被稱為經解碼圖像緩衝器)、求和器150、變換處理單元152、量化處理單元154及熵編碼單元156。預測處理單元141包括運動估計單元142、運動補償單元144及框內預測單元146。對於視訊區塊重建構，視訊編碼器20亦包括反量化處理單元158、反變換處理單元160及求和器162。濾波器單元163可大體上表示一或多個迴圈濾波器，諸如解區塊濾波器、自適應性迴圈濾波器(ALF)及樣本自適應性偏移(SAO)濾波器。儘管在圖3中將濾波器單元163展示為迴圈內濾波器，但在其他組態中，濾波器單元163可實施為迴圈後濾波器，在該狀況下，在寫碼迴圈中可使用未經濾波之資料。
如圖3中所展示，視訊編碼器20接收視訊資料，且分割單元135將該資料分割成多個視訊區塊。此分割亦可包括分割成切片、影像塊或其他較大單元，以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼之視訊切片內之視訊區塊 的組件。切片可劃分成多個視訊區塊(且可能劃分成被稱為影像塊之視訊區塊之集合)。預測處理單元141可基於錯誤結果(例如，寫碼速率及失真程度)針對當前視訊區塊選擇複數個可能寫碼模式中之一者(諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)。預測處理單元141可將所得的經框內寫碼或經框間寫碼之區塊提供至求和器150以產生殘餘區塊資料，且提供至求和器162以重建構經編碼區塊以用作參考圖像。
預測處理單元141內之框內預測單元146可執行當前視訊區塊相對於與待寫碼之當前區塊相同的圖框或切片中之一或多個相鄰區塊的框內預測性寫碼，以提供空間壓縮。預測處理單元141內之運動估計單元142及運動補償單元144執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼，以提供時間壓縮。
運動估計單元142可經組態以根據視訊序列之預定型樣判定視訊切片之框間預測模式。預定型樣可將序列中之視訊切片指明為P切片、B切片或GPB切片。運動估計單元142及運動補償單元144可高度整合，但為概念目的而分別加以說明。由運動估計單元142執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為經發現在像素差方面緊密匹配待寫碼之視訊區塊之PU的區塊，像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體164中之參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元142可相對於全像素位置及分率像素位置執行運動搜尋且輸出具有分率像素精度之運動向 量。
運動估計單元142藉由比較經框間寫碼之切片中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置來計算PU之運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體164中之一或多個參考圖像。運動估計單元142將所計算之運動向量發送至熵編碼單元156及運動補償單元144。
由運動補償單元144執行之運動補償可涉及基於藉由運動估計判定之運動向量而提取或產生預測性區塊，從而可能執行至子像素精度之內插。在接收到當前視訊區塊之PU之運動向量後，運動補償單元144可將運動向量所指向之預測性區塊定位於參考圖像清單中之一者中。視訊編碼器20藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器150表示執行此減法運算之一或多個組件。運動補償單元144亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30在解碼視訊切片之視訊區塊時使用。
作為由運動估計單元142及運動補償單元144執行之框間預測的替代，框內預測單元146可框內預測當前區塊，如上文所描述。詳言之，框內預測單元146可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元146可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元146(或在一些實例中，模式選擇單元(未說明))可自所測試模式中選擇適當框內預測模式來使用。舉例而言，框內預測單元146可使用針對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且在所測試模式中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定 經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或錯誤)之量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測單元146可根據各種經編碼區塊之失真及速率計算比率以判定哪種框內預測模式展現區塊之最佳速率-失真值。
在任何情況下在任一狀況下，在選擇用於區塊之框內預測模式之後，框內預測單元146可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元156。熵編碼單元156可根據本發明之技術來編碼指示選定框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個修改之框內預測模式索引表(亦被稱為碼字映射表)、各種區塊之編碼上下文之定義，及用於上下文中之每一者的最大可能框內預測模式、框內預測模式索引表及修改之框內預測模式索引表之指示。
在預測處理單元141經由框間預測或框內預測產生用於當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元152。變換處理單元152使用變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)將殘餘視訊資料變換成殘餘變換係數。變換處理單元152可將殘餘視訊資料自像素域轉換至諸如頻域之變換域。
變換處理單元152可將所得變換係數發送至量化處理單元154。量化處理單元154量化該等變換係數以進一步減小位元速率。量化程序可減小與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化處理單元154可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元156可執行該掃描。
在量化之後，熵編碼單元156熵編碼經量化之變換係數。舉例而 言，熵編碼單元156可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元156進行之熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30，或將其封存以供稍後傳輸或由視訊解碼器30擷取。熵編碼單元156亦可熵編碼正經寫碼之當前視訊切片之運動向量及其他語法元素。
反量化處理單元158及反變換處理單元160分別應用反量化及反變換，以在像素域中重建構殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元144可藉由將殘餘區塊加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元144亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算子整數像素值以供在運動估計中使用。求和器162將經重建構之殘餘區塊加至由運動補償單元144產生的經運動補償之預測區塊以產生參考區塊以儲存於參考圖像記憶體164中。參考區塊可由運動估計單元142及運動補償單元144用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。
圖3之視訊編碼器20表示經組態以實施本文中所描述之技術中之一或多者的視訊編碼器之實例。舉例而言，預測處理單元141表示用於執行上文所描述之實例功能的一實例單元。預測處理單元141可產生NAL單元且使該等NAL單元與一存取單元之解碼單元相關聯。預測處理單元141可產生解碼單元識別符且將該等解碼單元識別符包括於一SEI NAL單元之解碼單元資訊SEI訊息中及/或將該等解碼單元識別符包括於切片NAL單元之切片之切片標頭中。熵編碼單元156可熵編碼該等解碼單元(例如，該等解碼單元內之NAL單元)。
在一些實例中，不同於預測處理單元141之單元可實施上文所描 述之該等實例。在一些實例中，預測處理單元141結合視訊編碼器20之一或多個其他單元可實施上文所描述之該等實例。在一些實例中，視訊編碼器20之一處理器或單元(圖3中未圖示)可單獨地或結合視訊編碼器20之其他單元實施上文所描述之該等實例。
圖4為說明可實施本發明之技術之實例視訊解碼器30的方塊圖。在圖4之實例中，視訊解碼器30包括熵解碼單元180、預測處理單元181、反量化處理單元186、反變換處理單元188、求和器190、濾波器單元191、參考圖像記憶體192(有時被稱為解碼圖像緩衝器(DBP))及經寫碼圖像緩衝器(CPB)194。預測處理單元181包括運動補償單元182及框內預測單元184。在一些實例中，視訊解碼器30可執行與關於來自圖3之視訊編碼器20所描述之編碼遍次大體上互逆之解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30可自網路實體29接收經編碼視訊位元串流。舉例而言，網路實體29可為伺服器、媒體感知網路元件(MANE)、視訊編輯器/剪接器，或經組態以實施上文所描述之技術中之一或多者之其他此器件。如上文所描述，本發明中所描述之技術中之一些技術可由網路實體29在網路29將經編碼視訊位元串流傳輸至視訊解碼器30之前實施。在一些視訊解碼系統中，網路實體29及視訊解碼器30可為單獨器件之部分，而在其他例子中，關於網路實體29所描述之功能性可由包含視訊解碼器30之同一器件執行。
經寫碼圖像緩衝器194接收來自網路實體29之經寫碼圖像。如本發明中所描述，經編碼位元串流中之語法元素之部分指示是否允許對CPB 194之子圖像層級存取。又，經編碼位元串流可包括定義用於CPB 194內之圖像之處理(例如，存取單元之解碼單元之移除時間)的資訊的SEI訊息。
視訊解碼器30之熵解碼單元180熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元180將運動向量及其他語法元素轉遞至預測處理單元181。視訊解碼器30可接收視訊切片層級及/或視訊區塊層級之語法元素。
當視訊切片經寫碼為經框內寫碼(I)切片時，預測處理單元181之框內預測單元184可基於用信號發出之框內預測模式及來自當前圖框或圖像之先前經解碼區塊之資料而產生用於當前視訊切片之視訊區塊之預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)切片時，預測處理單元181之運動補償單元182基於自熵解碼單元180接收之運動向量及其他語法元素而產生用於當前視訊切片之視訊區塊之預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體192中之參考圖像使用預設建構技術來建構參考圖框(圖像)清單(清單0及清單1)。
運動補償單元182藉由剖析運動向量及其他語法元素來判定用於當前視訊切片之視訊區塊之預測資訊，且使用該預測資訊產生用於正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元182使用所接收之語法元素中之一些語法元素判定用以寫碼視訊切片之視訊區塊之預測模式(例如，框內或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、用於切片之參考圖像清單中之一或多者的建構資訊、切片之每一經框間編碼視訊區塊之運動向量、切片之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元182亦可基於內插濾波器而執行內插。運動補償單元182可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算參考區塊之子整數像素之內插值。在此狀況下，運動補償 單元182可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化處理單元186反量化(亦即，解量化)提供於位元串流中且由熵解碼單元180解碼之經量化之變換係數。反量化程序可包括使用由視訊編碼器20針對視訊切片中之每一視訊區塊計算之量化參數來判定量化之程度及(同樣地)應應用的反量化之程度。反變換處理單元188將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便產生像素域中之殘餘區塊。
在運動補償單元182基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元188之殘餘區塊與由運動補償單元182產生之對應預測性區塊加總而形成經解碼視訊區塊。求和器190表示執行此加總運算之一或多個組件。在需要時，亦可使用迴圈濾波器(在寫碼迴圈中或在寫碼迴圈之後)來使像素轉變平滑或以其他方式改良視訊品質。濾波器單元191可表示一或多個迴圈濾波器，諸如解區塊濾波器、自適應性迴圈濾波器(ALF)及樣本自適應性偏移(SAO)濾波器。儘管在圖4中將濾波器單元191展示為迴圈內濾波器，但在其他組態中，濾波器單元191可實施為迴圈後濾波器。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體192中，參考圖像記憶體192儲存用於後續運動補償之參考圖像。參考圖像記憶體192亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1之顯示器件31)上。
圖4之視訊解碼器30表示經組態以實施本文中所描述之技術中之一或多者之視訊解碼器之實例。舉例而言，預測處理單元181表示用於執行上文所描述之實例功能的一實例單元。舉例而言，預測處理單元181可判定SubPicCpbFlag是否指示允許CPB 194中之子圖像層級操作。若允許子圖像層級操作，則預測處理單元181可判定哪些NAL單 元與一存取單元之哪些解碼單元相關聯。
舉例而言，預測處理單元181可判定一SEI NAL單元包括解碼單元資訊SEI訊息。根據解碼單元資訊SEI訊息，預測處理單元181可判定解碼單元自CPB 194之移除時間，及解碼單元識別符。預測處理單元181可判定：SEI NAL單元及在該SEI NAL單元之後、直至包括具有一不同解碼單元識別符之一解碼單元資訊SEI訊息之另一SEI NAL單元的所有NAL單元與由解碼單元之解碼單元資訊SEI訊息識別之解碼單元相關聯。
作為另一實例，預測處理單元181可判定一切片標頭之一切片包括一解碼單元識別符。預測處理單元181可基於解碼識別符而判定包括切片及其切片標頭之切片NAL單元與哪個解碼單元相關聯。
以此方式，即使一NAL單元在傳輸中丟失，預測處理單元181亦可能能夠判定其他(亦即，所接收到的且未丟失之)NAL單元與哪些解碼單元相關聯。在一些實例中，預測處理單元181可能能夠判定欲將解碼單元自CPB 194移除之時間，此係因為解碼單元內可存在解碼單元SEI訊息之多個複本。
在一些實例中，不同於預測處理單元181之單元可實施上文所描述之該等實例。在一些實例中，預測處理單元181結合視訊解碼器30之一或多個其他單元可實施上文所描述之該等實例。在一些實例中，視訊解碼器30之一處理器或單元(圖4中未圖示)可單獨地或結合視訊解碼器30之其他單元實施上文所描述之該等實例。
圖5為說明根據本發明中所描述之一或多個實例的編碼視訊資料之實例的流程圖。出於說明之目的，關於視訊解碼器20來描述圖5之實例。
視訊編碼器20判定用於存取單元中之每一解碼單元之一唯一識別符(200)。用於一解碼單元之一識別符不同於用於該存取單元中之 任何其他解碼單元之一識別符。舉例而言，視訊編碼器20判定用於該存取單元中之一第一解碼單元之一第一識別符，且判定用於該存取單元中之一第二不同解碼單元之一第二不同識別符。在此實例中，若該第一識別符之值小於該第二識別符之值，則該第一解碼單元在解碼次序上在該第二解碼單元之前。
視訊編碼器20判定哪些NAL單元與存取單元之哪些解碼單元相關聯(202)。舉例而言，解碼單元可各自表示圖像之部分之視訊資料，且NAL單元可表示解碼單元之部分。視訊編碼器20可判定解碼單元之視訊資料之哪些部分係由哪些NAL單元表示，且判定表示解碼單元之視訊資料之NAL單元與解碼單元相關聯。
視訊編碼器20產生對應解碼單元中之每一唯一識別符以供輸出，該唯一識別符指示哪些NAL單元與該存取單元之哪些解碼單元相關聯(204)。舉例而言，視訊編碼器20可經由熵編碼單元156來熵編碼用於解碼單元中之每一者的唯一識別符。在此等實例中，可將編碼視為產生以供輸出。此外，視訊編碼器20可輸出(例如，用信號發出)對應解碼單元中之每一唯一識別符以指示哪些NAL單元與存取單元之哪些解碼單元相關聯，以作為經寫碼位元串流之部分。
舉例而言，視訊編碼器20可將用於一第一解碼單元之一第一唯一識別符包括於一第一解碼單元資訊SEI訊息中，且在輸出該第一唯一識別符之後輸出與該第一解碼單元相關聯之所有NAL單元以作為該第一解碼單元資訊SEI訊息之部分。視訊編碼器20可將用於一第二解碼單元之一第二解碼單元識別符包括於一第二解碼單元SEI訊息中。在輸出與該第一解碼單元相關聯之所有NAL單元之後，視訊編碼器20可輸出該第二解碼單元SEI訊息中之該第二解碼單元識別符以作為輸出第二解碼單元之部分。作為另一實例，視訊編碼器20可將該等唯一識別符中之每一者包括於切片NAL單元之切片標頭中且輸出該等唯一 識別符中之每一者。
在一些實例中，作為解碼單元之部分，視訊編碼器20可輸出指示關於一解碼單元之一移除時間之資訊的一第一解碼單元SEI訊息。作為該解碼單元之部分，視訊編碼器20亦可輸出指示該解碼單元之該移除時間之資訊的一第二解碼單元SEI訊息。在一些狀況下，該第二解碼單元SEI訊息為該第一解碼單元SEI訊息之一複本。在一些實例中，視訊編碼器20可將一SEI訊息包括於存取單元中，且將該SEI訊息之一複本包括於存取單元中。視訊編碼器20可輸出包括該SEI訊息及該SEI訊息之該複本的存取單元。
圖6為說明根據本發明中所描述之一或多個實例的解碼視訊資料之實例的流程圖。出於說明之目的，關於視訊解碼器30來描述圖6之實例。
視訊解碼器30可解碼用於存取單元中之每一解碼單元之唯一識別符(206)。在此實例中，用於一解碼單元之一識別符不同於用於該存取單元中之任何其他解碼單元之一識別符。舉例而言，視訊解碼器30可解碼用於該存取單元中之一第一解碼單元之一第一識別符，且解碼用於該存取單元中之一第二不同解碼單元之一第二不同識別符。在此實例中，若該第一識別符之一值小於該第二識別符之一值，則該第一解碼單元在解碼次序上在該第二解碼單元之前。
視訊解碼器30可基於用於該存取單元中之每一解碼單元之該唯一識別符而判定哪些NAL單元與哪些解碼單元相關聯(208)。舉例而言，視訊解碼器30可解碼來自用於一第一解碼單元之一第一解碼單元資訊SEI訊息的一第一唯一識別符且解碼來自用於一第二解碼單元之一第二解碼單元SEI資訊的一第二唯一識別符。視訊解碼器30可判定：包括第一解碼單元資訊SEI訊息之第一SEI NAL單元及在該第一SEI NAL單元之後、直至包括第二解碼單元資訊SEI訊息之第二SEI NAL單元的所有NAL單元與第一解碼單元相關聯。作為另一實例，視訊解碼器30可解碼一切片NAL單元之一切片標頭中之該唯一識別符，且基於該切片標頭中之該唯一識別符而判定該切片NAL單元與哪一解碼單元相關聯。
視訊解碼器30可基於該判定而解碼NAL單元以重建構至少一圖像(210)。舉例而言，解碼與所有該等解碼單元相關聯之所有該等NAL單元之結果可為經解碼之存取單元。如上文所描述，解碼一存取單元產生至少一圖像(例如，在不使用多視圖視訊寫碼時，產生一圖像，及在使用多視圖視訊寫碼時，產生多個圖像)。
在一些實例中，視訊解碼器30可解碼指示關於一解碼單元之一移除時間之資訊的一第一解碼單元資訊SEI訊息。視訊解碼器30亦可解碼位於與該解碼單元相關聯之兩個NAL單元之間的一第二解碼單元資訊SEI訊息。在此實例中，該第二解碼單元資訊SEI訊息為該第一解碼單元資訊SEI訊息之一複本。在一些實例中，視訊解碼器30可解碼該存取單元中之一SEI訊息，且解碼該存取單元中之該SEI訊息之一複本。
圖7為說明根據本發明中所描述之一或多個實例的寫碼視訊資料之實例的流程圖。出於說明之目的，關於視訊寫碼器來描述該等技術。視訊寫碼器之實例包括視訊編碼器20及視訊解碼器30。舉例而言，當進行視訊編碼時，視訊寫碼器之實例為視訊編碼器20。當進行視訊解碼時，視訊寫碼器之實例為視訊解碼器30。
如圖7中所說明，視訊寫碼器經組態以將一補充增強資訊(SEI)訊息寫碼於一存取單元中(212)。如上文所描述，該存取單元包括用於重建構至少一圖像之視訊資料，且該SEI訊息定義該視訊資料之一特性(例如，諸如上文在表1及表5中所描述之彼等特性的特性)。在一些實例中，視訊寫碼器可將該SEI訊息寫碼於該存取單元中以用於多作 業階段傳輸。視訊寫碼器經組態以將該SEI訊息之一複本寫碼於該存取單元中(214)。在一些實例中，視訊寫碼器可將該SEI訊息之該複本寫碼於該存取單元中以用於該多作業階段傳輸。
舉例而言，視訊編碼器20可將在解碼次序上在一第一視訊寫碼層(VCL)網路抽象層(NAL)單元之前的SEI訊息包括於該存取單元中。視訊編碼器20可包括在解碼次序上在該第一VCL NAL單元之後及在解碼次序上在一最後VCL NAL單元之前的SEI訊息之複本。在此實例中，視訊編碼器20可編碼在該第一VCL NAL單元之前所包括的SEI訊息且編碼在該第一VCL NAL單元之後及在最後VCL NAL單元之前所包括的SEI訊息之複本。
作為另一實例，視訊解碼器30可解碼存取單元中在解碼次序上之第一VCL NAL單元且解碼存取單元中在解碼次序上之最後VCL NAL單元。在此實例中，視訊解碼器30可在解碼該第一VCL NAL單元之前解碼SEI訊息，且在解碼該第一VCL NAL單元之後及在解碼最後VCL NAL單元之前解碼SEI訊息之複本。
在一些實例中，視訊寫碼器可判定SEI訊息之類型。視訊寫碼器亦可判定存取單元之時間識別值。視訊寫碼器可基於存取單元之時間識別值及SEI訊息之類型而判定是否允許SEI訊息之存在。在此等實例中，視訊寫碼器可基於是否允許SEI訊息之存在之判定而寫碼SEI訊息。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以 此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
在另外其他實例中在再其他實例中，本發明預期一電腦可讀媒體，該電腦可讀媒體包含儲存於其上之資料結構，其中該資料結構包括與本發明一致地進行寫碼之經編碼位元串流。
以實例說明(但非限制)，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術 的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置來實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必需要藉由不同硬體單元來實現。實情為，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

Claims (20)

  1. 一種用於寫碼視訊資料之方法，該方法包含：將一補充增強資訊(SEI)訊息寫碼於一存取單元中，其中該存取單元包括視訊資料以用於重建構至少一圖像，且該SEI訊息定義該視訊資料之一特性；及將該SEI訊息之一複本寫碼於該存取單元中。
  2. 如請求項1之方法，其進一步包含：將該SEI訊息包括於該存取單元中在解碼次序上之一第一視訊寫碼層(VCL)網路抽象層(NAL)單元之前；及將該SEI訊息之該複本包括於該存取單元中在解碼次序上之該第一VCL NAL單元之後及在解碼次序上之一最後VCL NAL單元之前，其中寫碼該SEI訊息包含編碼在該第一VCL NAL單元之前所包括的該SEI訊息，且其中寫碼該SEI訊息之該複本包含編碼在該第一VCL NAL單元之後及在該最後VCL NAL單元之前所包括的該SEI訊息之該複本。
  3. 如請求項1之方法，其進一步包含：解碼該存取單元中在解碼次序上之一第一視訊寫碼層(VCL)網路抽象層(NAL)單元；及解碼該存取單元中在解碼次序上之一最後VCL NAL單元，其中寫碼該SEI訊息包含在解碼該第一VCL NAL單元之前解碼該SEI訊息，且其中寫碼該SEI訊息之該複本包含在解碼該第一VCL NAL單元之後及在解碼該最後VCL NAL單元之前解碼該SEI訊息之該複 本。
  4. 如請求項1之方法，其進一步包含：判定該SEI訊息之一類型；判定該存取單元之一時間識別值；及基於該存取單元之該時間識別值及SEI訊息之該類型而判定是否允許該SEI訊息之一存在，其中寫碼該SEI訊息包含基於是否允許該SEI訊息之該存在之該判定而寫碼該SEI訊息。
  5. 如請求項1之方法，其中該SEI訊息包含以下各者中之一者：一緩衝週期SEI訊息；一圖像時序SEI訊息；一標準螢幕矩形SEI訊息；一填充符有效負載SEI訊息；一使用者資料已註冊SEI訊息；一使用者資料未註冊SEI訊息；一復原點SEI訊息；一場景資訊SEI訊息；一全圖框快照SEI訊息；一漸進式改進區段開始SEI訊息；一漸進式改進區段結束SEI訊息；一膠捲粒紋特性SEI訊息；一解區塊濾波器顯示偏好SEI訊息；一後濾波器提示SEI訊息；一色調映射資訊SEI訊息；一圖框封裝配置SEI訊息；一顯示定向SEI訊息； 一圖像結構描述SEI訊息；一欄位指示SEI訊息；一經解碼圖像雜湊SEI訊息；一作用中參數集SEI訊息；及一子圖像時序SEI訊息。
  6. 如請求項1之方法，其中寫碼該SEI訊息包含針對一多作業階段傳輸將該SEI訊息寫碼於該存取單元中，且其中寫碼該SEI訊息之該複本包含針對該多作業階段傳輸將該SEI訊息之該複本寫碼於該存取單元中。
  7. 一種用於寫碼視訊資料之器件，該器件包含經組態以進行以下操作之一視訊寫碼器：將一補充增強資訊(SEI)訊息寫碼於一存取單元中，其中該存取單元包括視訊資料以用於重建構至少一圖像，且該SEI訊息定義該視訊資料之一特性；及將該SEI訊息之一複本寫碼於該存取單元中。
  8. 如請求項7之器件，其中該視訊寫碼器包含一視訊編碼器，且其中該視訊編碼器經組態以：將該SEI訊息包括於該存取單元中在解碼次序上之一第一視訊寫碼層(VCL)網路抽象層(NAL)單元之前；將該SEI訊息之該複本包括於該存取單元中在解碼次序上之該第一VCL NAL單元之後及在解碼次序上之一最後VCL NAL單元之前；編碼在該第一VCL NAL單元之前所包括的該SEI訊息；及編碼在該第一VCL NAL單元之後及在該最後VCL NAL單元之前所包括的該SEI訊息之該複本。
  9. 如請求項7之器件，其中該視訊寫碼器包含一視訊解碼器，且其 中該視訊解碼器經組態以：解碼該存取單元中在解碼次序上之一第一視訊寫碼層(VCL)網路抽象層(NAL)單元；解碼該存取單元中在解碼次序上之一最後VCL NAL單元；在解碼該第一VCL NAL單元之前解碼該SEI訊息；及在解碼該第一VCL NAL單元之後及在解碼該最後VCL NAL單元之前解碼該SEI訊息之該複本。
  10. 如請求項7之器件，其中該視訊寫碼器經組態以：判定該SEI訊息之一類型；判定該存取單元之一時間識別值；及基於該存取單元之該時間識別值及SEI訊息之該類型而判定是否允許該SEI訊息之一存在，且其中該視訊寫碼器經組態以基於是否允許該SEI訊息之該存在之該判定而寫碼該SEI訊息。
  11. 如請求項7之器件，其中該SEI訊息包含以下各者中之一者：一緩衝週期SEI訊息；一圖像時序SEI訊息；一標準螢幕矩形SEI訊息；一填充符有效負載SEI訊息；一使用者資料已註冊SEI訊息；一使用者資料未註冊SEI訊息；一復原點SEI訊息；一場景資訊SEI訊息；一全圖框快照SEI訊息；一漸進式改進區段開始SEI訊息；一漸進式改進區段結束SEI訊息； 一膠捲粒紋特性SEI訊息；一解區塊濾波器顯示偏好SEI訊息；一後濾波器提示SEI訊息；一色調映射資訊SEI訊息；一圖框封裝配置SEI訊息；一顯示定向SEI訊息；一圖像結構描述SEI訊息；一欄位指示SEI訊息；一經解碼圖像雜湊SEI訊息；一作用中參數集SEI訊息；及一子圖像時序SEI訊息。
  12. 如請求項7之器件，其中該視訊寫碼器經組態以針對一多作業階段傳輸將該SEI訊息寫碼於該存取單元中，且其中該視訊寫碼器經組態以針對該多作業階段傳輸將該SEI訊息之該複本寫碼於該存取單元中。
  13. 如請求項7之器件，其中該器件包含以下各者中之一者：一微處理器；一積體電路；及包括該視訊寫碼器之一無線通信器件。
  14. 一種電腦可讀儲存媒體，其上儲存有指令，該等指令在由用於寫碼視訊資料之一器件之一或多個處理器執行時使得該一或多個處理器進行以下操作：將一補充增強資訊(SEI)訊息寫碼於一存取單元中，其中該存取單元包括視訊資料以用於重建構至少一圖像，且該SEI訊息定義該視訊資料之一特性；及將該SEI訊息之一複本寫碼於該存取單元中。
  15. 如請求項14之電腦可讀儲存媒體，其進一步包含使得該一或多個處理器進行以下操作之指令：判定該SEI訊息之一類型；判定該存取單元之一時間識別值；及基於該存取單元之該時間識別值及SEI訊息之該類型而判定是否允許該SEI訊息之一存在，且其中使得該一或多個處理器寫碼該SEI訊息之該等指令包含使得該一或多個處理器基於是否允許該SEI訊息之該存在之該判定而寫碼該SEI訊息的指令。
  16. 如請求項14之電腦可讀儲存媒體，其中該SEI訊息包含以下各者中之一者：一緩衝週期SEI訊息；一圖像時序SEI訊息；一標準螢幕矩形SEI訊息；一填充符有效負載SEI訊息；一使用者資料已註冊SEI訊息；一使用者資料未註冊SEI訊息；一復原點SEI訊息；一場景資訊SEI訊息；一全圖框快照SEI訊息；一漸進式改進區段開始SEI訊息；一漸進式改進區段結束SEI訊息；一膠捲粒紋特性SEI訊息；一解區塊濾波器顯示偏好SEI訊息；一後濾波器提示SEI訊息；一色調映射資訊SEI訊息； 一圖框封裝配置SEI訊息；一顯示定向SEI訊息；一圖像結構描述SEI訊息；一欄位指示SEI訊息；一經解碼圖像雜湊SEI訊息；一作用中參數集SEI訊息；及一子圖像時序SEI訊息。
  17. 如請求項14之電腦可讀儲存媒體，其中使得該一或多個處理器寫碼該SEI訊息之該等指令包含使得該一或多個處理器針對一多作業階段傳輸將該SEI訊息寫碼於該存取單元中的指令，且其中使得該一或多個處理器寫碼該SEI訊息之該複本之該等指令包含使得該一或多個處理器針對該多作業階段傳輸將該SEI訊息之該複本寫碼於該存取單元中的指令。
  18. 一種用於寫碼視訊資料之器件，該器件包含：用於將一補充增強資訊(SEI)訊息寫碼於一存取單元中之構件，其中該存取單元包括視訊資料以用於重建構至少一圖像，且該SEI訊息定義該視訊資料之一特性；及用於將該SEI訊息之一複本寫碼於該存取單元中之構件。
  19. 如請求項18之器件，其進一步包含：用於將該SEI訊息包括於該存取單元中在解碼次序上之一第一視訊寫碼層(VCL)網路抽象層(NAL)單元之前的構件；及用於將該SEI訊息之該複本包括於該存取單元中在解碼次序上之該第一VCL NAL單元之後及在解碼次序上之一最後VCL NAL單元之前的構件，其中用於寫碼該SEI訊息之該構件包含用於編碼在該第一VCL NAL單元之前所包括的該SEI訊息的構件，且 其中用於寫碼該SEI訊息之該複本之該構件包含用於編碼在該第一VCL NAL單元之後及在該最後VCL NAL單元之前所包括的該SEI訊息之該複本的構件。
  20. 如請求項18之器件，其進一步包含：用於解碼該存取單元中在解碼次序上之一第一視訊寫碼層(VCL)網路抽象層(NAL)單元之構件；及用於解碼該存取單元中在解碼次序上之一最後VCL NAL單元之構件，其中用於寫碼該SEI訊息之該構件包含用於在解碼該第一VCL NAL單元之前解碼該SEI訊息之構件，且其中用於寫碼該SEI訊息之該複本之該構件包含用於在解碼該第一VCL NAL單元之後及在解碼該最後VCL NAL單元之前解碼該SEI訊息之該複本的構件。
TW102131849A 2012-09-28 2013-09-04 補充增強資訊訊息寫碼 TW201424404A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261707759P 2012-09-28 2012-09-28
US13/926,543 US9479782B2 (en) 2012-09-28 2013-06-25 Supplemental enhancement information message coding

Publications (1)

Publication Number Publication Date
TW201424404A true TW201424404A (zh) 2014-06-16

Family

ID=50385188

Family Applications (3)

Application Number Title Priority Date Filing Date
TW104142535A TWI569633B (zh) 2012-09-28 2013-09-04 補充增強資訊訊息寫碼
TW102131849A TW201424404A (zh) 2012-09-28 2013-09-04 補充增強資訊訊息寫碼
TW102131851A TWI556630B (zh) 2012-09-28 2013-09-04 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104142535A TWI569633B (zh) 2012-09-28 2013-09-04 補充增強資訊訊息寫碼

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102131851A TWI556630B (zh) 2012-09-28 2013-09-04 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體

Country Status (19)

Country Link
US (2) US9565452B2 (zh)
EP (2) EP2901678B1 (zh)
JP (2) JP6235026B2 (zh)
KR (2) KR101741342B1 (zh)
CN (2) CN104704841B (zh)
AR (1) AR094447A1 (zh)
AU (2) AU2013324246B2 (zh)
BR (2) BR112015006849B1 (zh)
CA (2) CA2884560C (zh)
HK (2) HK1207927A1 (zh)
IL (2) IL237770B (zh)
MY (2) MY194740A (zh)
PH (2) PH12015500509B1 (zh)
RU (2) RU2618942C2 (zh)
SG (2) SG11201501636WA (zh)
TW (3) TWI569633B (zh)
UA (2) UA117355C2 (zh)
WO (2) WO2014051893A1 (zh)
ZA (1) ZA201502307B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102295680B1 (ko) 2010-12-08 2021-08-31 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US20150003536A1 (en) * 2012-02-08 2015-01-01 Thomson Licensing Method and apparatus for using an ultra-low delay mode of a hypothetical reference decoder
WO2014002385A1 (ja) * 2012-06-25 2014-01-03 日本電気株式会社 映像符号化／復号装置、方法、プログラム
EP2870757A1 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Codec architecture for multiple layer video coding
US9565452B2 (en) 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
EP3614676B1 (en) 2013-07-15 2023-11-08 GE Video Compression, LLC Layer id signaling using extension mechanism
WO2015009693A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Layer based hrd buffer management for scalable hevc
EP3055998A1 (en) * 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
WO2015058395A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
WO2015131326A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
WO2015131325A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
US10645404B2 (en) * 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10063867B2 (en) * 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
CN105706450B (zh) * 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
US9819945B2 (en) * 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
EP3249912A4 (en) * 2015-01-23 2018-10-24 LG Electronics Inc. Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
KR102625573B1 (ko) 2018-02-14 2024-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형
BR112021012096A2 (pt) * 2018-12-20 2021-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Métodos para decodificar e codificar um fluxo contínuo de bits, portadora, e, aparelhos de decodificação e codificação para decodificar e codificar um fluxo contínuo de bits
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
US20200236377A1 (en) * 2019-01-22 2020-07-23 Tencent America LLC Method for tile group identification
CN109905715B (zh) * 2019-02-26 2021-07-06 北京世纪好未来教育科技有限公司 插入sei数据的码流转换方法及系统
JP7425204B2 (ja) 2019-12-26 2024-01-30 バイトダンス インコーポレイテッド ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約
JP7432735B2 (ja) 2019-12-26 2024-02-16 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイルティアレベルパラメータセット
JP7431330B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
EP4066387A4 (en) 2019-12-27 2023-02-15 ByteDance Inc. SUBPICTURE SIGNALING IN PARAMETER SETS
CN115280781A (zh) 2020-01-02 2022-11-01 Lg电子株式会社 图像解码方法及其装置
AU2020418309B2 (en) 2020-01-02 2024-04-04 Lg Electronics Inc. Image decoding method and apparatus for coding image information including picture header
WO2021137590A1 (ko) * 2020-01-02 2021-07-08 엘지전자 주식회사 Ph nal 유닛 코딩 관련 영상 디코딩 방법 및 그 장치
WO2021138652A1 (en) * 2020-01-04 2021-07-08 Bytedance Inc. Restrictions on inter prediction for subpicture
KR20220125235A (ko) 2020-01-09 2022-09-14 바이트댄스 아이엔씨 상이한 sei 메시지들의 디코딩 순서
WO2021193775A1 (ja) * 2020-03-27 2021-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11706428B2 (en) * 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
BR112022025044A2 (pt) 2020-06-09 2022-12-27 Bytedance Inc Contenções de conjunto de parâmetros de vídeo para extração de sub-bitstream de subimagem
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams
US11930222B1 (en) * 2021-03-30 2024-03-12 Amazon Technologies, Inc. Encoding video for film grain synthesis
JP2024514323A (ja) * 2021-04-12 2024-04-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） メッセージ参照
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
US8520733B2 (en) 2006-06-30 2013-08-27 Core Wireless Licensing S.A.R.L Video coding
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
WO2008018626A2 (en) * 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
CA2674710C (en) * 2007-01-09 2016-02-23 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
AU2008206744B2 (en) * 2007-01-18 2011-09-22 Nokia Technologies Oy Carriage of SEI messages in RTP payload format
EP2147558A2 (en) 2007-04-17 2010-01-27 Nokia Corporation Feedback based scalable video coding
US20080291999A1 (en) 2007-05-24 2008-11-27 Julien Lerouge Method and apparatus for video frame marking
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
US20110110436A1 (en) 2008-04-25 2011-05-12 Thomas Schierl Flexible Sub-Stream Referencing Within a Transport Data Stream
KR101242472B1 (ko) * 2008-07-16 2013-03-12 노키아 코포레이션 트랙 및 트랙 서브세트의 그룹화를 위한 방법 및 장치
TWI371214B (en) 2008-12-03 2012-08-21 Himax Media Solutions Inc Decoding testing device and decoding testing method
US20120106921A1 (en) * 2010-10-25 2012-05-03 Taiji Sasaki Encoding method, display apparatus, and decoding method
EP4250733A3 (en) * 2011-01-14 2023-12-27 Sun Patent Trust Image coding method, image decoding method, memory managing method, image coding apparatus, image decoding apparatus, memory managing apparatus, and image coding and decoding apparatus
EP2684294A4 (en) 2011-03-10 2014-08-20 Vidyo Inc RENDERING ORIENTATION DATA IN A VIDEO DATA BIT TRAIN
US20120236115A1 (en) 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
AU2013283173B2 (en) * 2012-06-29 2016-03-24 Ge Video Compression, Llc Video data stream concept
US9565452B2 (en) 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association

Also Published As

Publication number Publication date
BR112015006849A2 (pt) 2017-07-04
CN104685888A (zh) 2015-06-03
CN104704841B (zh) 2018-10-26
MY173902A (en) 2020-02-26
CA2884352A1 (en) 2014-04-03
ZA201502307B (en) 2017-05-31
KR20150063117A (ko) 2015-06-08
CA2884352C (en) 2019-01-08
CA2884560A1 (en) 2014-04-03
TW201611583A (zh) 2016-03-16
AU2013324246B2 (en) 2017-09-14
EP2901676A1 (en) 2015-08-05
SG11201501632SA (en) 2015-05-28
AU2013324245B2 (en) 2017-08-10
CA2884560C (en) 2019-05-14
KR101741342B1 (ko) 2017-05-29
JP2015534773A (ja) 2015-12-03
KR20150063116A (ko) 2015-06-08
JP6125643B2 (ja) 2017-05-10
UA114343C2 (uk) 2017-05-25
US20140092993A1 (en) 2014-04-03
CN104685888B (zh) 2018-02-06
SG11201501636WA (en) 2015-05-28
PH12015500645B1 (en) 2015-05-11
CN104704841A (zh) 2015-06-10
KR101762521B1 (ko) 2017-07-27
EP2901678B1 (en) 2024-05-15
JP6235026B2 (ja) 2017-11-22
JP2015534774A (ja) 2015-12-03
AU2013324245A1 (en) 2015-04-16
BR112015006849B1 (pt) 2022-08-02
AR094447A1 (es) 2015-08-05
WO2014051892A1 (en) 2014-04-03
PH12015500509A1 (en) 2015-04-27
TWI556630B (zh) 2016-11-01
TWI569633B (zh) 2017-02-01
PH12015500509B1 (en) 2015-04-27
US20140092994A1 (en) 2014-04-03
HK1208580A1 (zh) 2016-03-04
BR112015006856A2 (pt) 2017-07-04
IL237770A0 (en) 2015-05-31
IL237771A (en) 2017-09-28
US9565452B2 (en) 2017-02-07
WO2014051893A1 (en) 2014-04-03
RU2618942C2 (ru) 2017-05-11
EP2901678A1 (en) 2015-08-05
HK1207927A1 (zh) 2016-02-12
RU2015115894A (ru) 2016-11-20
UA117355C2 (uk) 2018-07-25
MY194740A (en) 2022-12-15
RU2015115896A (ru) 2016-11-20
BR112015006856B1 (pt) 2022-08-09
TW201424391A (zh) 2014-06-16
IL237770B (en) 2019-08-29
AU2013324246A1 (en) 2015-04-16
RU2628250C2 (ru) 2017-08-15
US9479782B2 (en) 2016-10-25
PH12015500645A1 (en) 2015-05-11

Similar Documents

Publication Publication Date Title
TWI569633B (zh) 補充增強資訊訊息寫碼
JP6510553B2 (ja) マルチレイヤビデオコーデックのための特定のｈｅｖｃ ｓｅｉメッセージの使用
KR102148546B1 (ko) 비디오 코딩을 위한 파라미터 세트들의 표시 및 활성화
TWI520575B (zh) 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
TWI523540B (zh) 在視訊寫碼中之訊框分離
TW202046739A (zh) 用於適應性迴圈濾波器變數之適應變數集合
TW201515446A (zh) 高效率視訊寫碼擴展中之目標輸出層之選擇
KR20150105373A (ko) 비디오 코딩에서 시간 스케일러빌리티 지원 하의 점진적 디코딩 리프레시
TW201406160A (zh) 在視訊寫碼中長期參考圖像之隨機存取及發信
TW201707447A (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體