TWI523492B - 在視訊寫碼中之非巢套式補充增強資訊訊息 - Google Patents

在視訊寫碼中之非巢套式補充增強資訊訊息 Download PDF

Info

Publication number
TWI523492B
TWI523492B TW103100514A TW103100514A TWI523492B TW I523492 B TWI523492 B TW I523492B TW 103100514 A TW103100514 A TW 103100514A TW 103100514 A TW103100514 A TW 103100514A TW I523492 B TWI523492 B TW I523492B
Authority
TW
Taiwan
Prior art keywords
sei message
nested
sei
video
image
Prior art date
Application number
TW103100514A
Other languages
English (en)
Other versions
TW201440487A (zh
Inventor
王益魁
陳盈
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201440487A publication Critical patent/TW201440487A/zh
Application granted granted Critical
Publication of TWI523492B publication Critical patent/TWI523492B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

在視訊寫碼中之非巢套式補充增強資訊訊息
本申請案主張2013年1月7日申請之美國臨時專利申請案第61/749,786號之權利，該申請案之全部內容被以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電傳會議器件、視訊串流器件及類似者。數位視訊器件實施視訊壓縮技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊片段(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊。 使用相關於在相同圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)片段中的視訊區塊。圖像之框間寫碼(P或B)片段中之視訊區塊可使用相關於在相同圖像中之相鄰區塊中之參考樣本的空間預測或相關於在其他參考圖像中之參考樣本的時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測導致用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼框間寫碼區塊，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘係數，可接著量化該等殘餘係數。可掃描一開始配置成二維陣列之經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可藉由編碼視圖(不同視角之圖)(例如，來自多個透視圖)來產生多視圖寫碼位元串流。已開發了使用多視圖寫碼態樣之一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左眼視圖及右眼視圖以支援3D視訊。替代地，一些3D視訊寫碼過程可應用所謂之多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元串流可不僅含有紋理視圖分量，且亦含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
一般而言，本發明描述非巢套式補充增強資訊(SEI)在視訊寫碼中之使用。非巢套式SEI訊息為可調式巢套式SEI訊息內不含有之SEI訊息。具體言之，本發明描述一種視訊處理器，該視訊處理器自包括視訊資料之經編碼表示的一位元串流獲得一非巢套式SEI訊息。此外，視訊處理器判定非巢套式SEI訊息適用於其中的該位元串流之一 層。該非巢套式SEI訊息適用於以下層：對於該等層而言，位元串流之視訊寫碼層(VCL)網路抽象層(NAL)單元具有等於囊封非巢套式SEI訊息之一SEI NAL單元之層識別符的層識別符。SEI NAL單元之時間識別符等於含有該SEI NAL單元的一存取單元之時間識別符。視訊處理器可部分地基於非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料。
在一個實例中，本發明描述一種處理視訊資料之方法，該方法包含：自包括該視訊資料之一經編碼表示的一位元串流獲得一非巢套式SEI訊息，該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內；判定該非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之VCL NAL單元具有等於囊封該非巢套式SEI訊息之一SEI NAL單元之一層識別符的層識別符，且其中該SEI NAL單元之一時間識別符等於含有該SEI NAL單元的一存取單元之一時間識別符；及部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料。
在另一實例中，本發明描述一種視訊處理器件，該視訊處理器件包含一或多個處理器，該一或多個處理器經組態以：自包括視訊資料之一經編碼表示的一位元串流獲得一非巢套式SEI訊息，該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內；判定該非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之VCL NAL單元具有等於囊封該非巢套式SEI訊息之一SEI NAL單元之一層識別符的層識別符，且其中該SEI NAL單元之一時間識別符等於一含有該SEI NAL單元的一存取單元之一時間識別符；及部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串 流之該層的視訊資料。
在另一實例中，本發明描述一種視訊處理器件，該視訊處理器件包含：用於自包括視訊資料之一經編碼表示的一位元串流獲得一非巢套式SEI訊息之構件，該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內；用於判定該非巢套式SEI訊息適用於其中的該位元串流之一層之構件，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之VCL NAL單元具有等於囊封該非巢套式SEI訊息之一SEI NAL單元之一層識別符的層識別符，且其中該SEI NAL單元之一時間識別符等於含有該SEI NAL單元的一存取單元之一時間識別符；及用於部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料之構件。
在另一實例中，本發明描述一種電腦可讀儲存媒體，該電腦可讀儲存媒體具有儲存於其上之指令，該等指令在執行時組態一視訊處理器件以：自包括視訊資料之一經編碼表示的一位元串流獲得一非巢套式SEI訊息，該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內；判定該非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之VCL NAL單元具有等於囊封該非巢套式SEI訊息之一SEI NAL單元之一層識別符的層識別符，且其中該SEI NAL單元之一時間識別符等於含有該SEI NAL單元的一存取單元之一時間識別符；及部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料。
本發明之一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述、該等圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧寫碼圖像緩衝器(CPB)
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧實例操作
250‧‧‧實例操作
圖1為說明可利用本發明中所描述之技術的一實例視訊寫碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術的一實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的一實例視訊解碼器之方塊圖。
圖4為說明根據本發明之一或多個技術的視訊處理器之一實例操作之方塊圖。
圖5為說明執行位元串流一致性測試之一部分的一實例操作之流程圖。
視訊編碼器可產生包括視訊資料之經編碼表示的一位元串流。該位元串流可包含一系列網路抽象層(NAL)單元。NAL單元可為含有該NAL單元中之資料之類型的指示及含有彼資料之位元組(呈在必要時穿插有仿真防止位元之原始位元組序列有效負載(RBSP)之形式)的一語法結構。NAL單元可包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元可包括圖像之經寫碼片段。非VCL NAL單元可囊封視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、一或多個補充增強資訊(SEI)訊息或其他類型之資料。
此外，位元串流之NAL單元可與位元串流之不同層相關聯。在可調式視訊寫碼(SVC)中，不同於基層之層可被稱作「增強層」且可包括改良視訊資料之播放品質的資料。在多視圖寫碼及三維視訊(3DV)寫碼中，該等層可包括與不同視圖相關聯之資料。位元串流之每一層與一不同層識別符相關聯。另外，NAL單元可包括時間識別符。操作點為位元串流之時間層之一子集。位元串流之每一操作點具有一組層 識別符(亦即，一組nuh_reserved_zero_6bits值)及一時間識別符。若NAL單元將該組層識別符中之一層識別符指定用於一操作點且該NAL單元之時間識別符小於或等於該操作點之時間識別符，則該NAL單元與該操作點相關聯。
如上文所指示，位元串流可包括囊封SEI訊息之NAL單元。本文中將囊封一或多個SEI訊息之NAL單元稱作SEI NAL單元。一個類型之SEI訊息為可調式巢套式SEI訊息。可調式巢套式SEI訊息為含有一或多個額外SEI訊息之一SEI訊息。本文中將可調式巢套式SEI訊息中不含有之SEI訊息稱作非巢套式SEI訊息。
某些類型之SEI訊息含有僅適用於特定操作點之資訊。舉例而言，緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元SEI訊息僅適用於特定操作點。因此，為了使用此等SEI訊息中之資訊，視訊處理器可判定哪些操作點適用於SEI訊息。其他類型之SEI訊息僅適用於特定層。因此，為了使用此等SEI訊息中之資訊，視訊處理器可判定哪些層適用於SEI訊息。
先前視訊寫碼規範未提供關於特定非巢套式SEI訊息所應用之操作點或層的清晰指示。結果，視訊解碼器可能不能夠使用此等非巢套式SEI訊息。因此，將此等非巢套式SEI訊息包括於位元串流中可能浪費位元。
根據本發明之一或多個技術，視訊處理器可判定非巢套式SEI訊息是緩衝圖像SEI訊息、圖像時序SEI訊息或是解碼單元SEI訊息。若非巢套式SEI訊息為此等三個類型之SEI訊息中之一者，則視訊處理器可判定適用於該非巢套式SEI訊息之一操作點。在一個實例中，適用於非巢套式SEI訊息之操作點之所有NAL單元的最高時間識別符等於囊封非巢套式SEI訊息之一SEI NAL單元的時間識別符。此外，在此實例中，適用於非巢套式SEI訊息之操作點之所有NAL單元的層識別 符之集合含有在0至囊封非巢套式SEI訊息之SEI NAL單元之層識別符的範圍中之所有整數值。
此外，根據本發明之一或多個技術，若非巢套式SEI訊息為不同於緩衝圖像SEI訊息、圖像時序SEI訊息或解碼單元SEI訊息之SEI訊息類型，則視訊寫碼器可判定非巢套式SEI訊息所適用之該位元串流之一層。具體言之，非巢套式SEI訊息可僅應用於以下層：對於該等層而言，位元串流之VCL NAL單元具有等於囊封非巢套式SEI訊息之一SEI NAL單元之層識別符的層識別符。以此方式，對於非巢套式SEI訊息之類型而言適用之操作點或層得以清晰地指定。
圖1為說明可利用本發明之技術的一實例視訊寫碼系統10之方塊圖。如本文中所使用，術語「視訊寫碼器」一般地指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般地指視訊編碼或視訊解碼。
如圖1中所示，視訊寫碼系統10包括一源器件12及一目的地器件14。源器件12產生經編碼視訊資料。因此，可將源器件12稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生之經編碼視訊資料。因此，可將目的地器件14稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」手機)、電視、相機、顯示器件、數位媒體播放器、視訊遊戲控制台、車內電腦或類似者。
目的地器件14可經由頻道16而自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一個實例中，頻道16可包含使源器件 12能夠即時直接將經編碼視訊資料傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且可將經調變之視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或全域網路(例如，網際網路))之部分。一或多個通信媒體可包括路由器、交換器、基地台或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的一儲存媒體。在此實例中，目的地器件14可(例如)經由碟存取或卡存取來存取該儲存媒體。該儲存媒體可包括多種本端存取之資料儲存媒體，諸如，Blu-ray光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料的其他合適之數位儲存媒體。
在再一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的一檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接式儲存(NAS)器件及本端碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、電纜數據機等)或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術並不限於無線應用或設定。可將該等技術應用於 支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)的視訊寫碼、用於儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅僅為一實例且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料經自本端記憶體擷取、經由網路串流或類似者。視訊編碼器件可編碼資料且將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料且解碼資料。在許多實例中，編碼及解碼由彼此不通信而僅編碼至記憶體之資料及/或自記憶體擷取資料且解碼資料之器件來執行。
在圖1之實例中，源器件12包括一視訊源18、一視訊編碼器20及一輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括視訊俘獲器件(例如，視訊攝影機)、含有先前俘獲之視訊資料的視訊檔案庫、自視訊內容提供者接收視訊資料之視訊饋入介面及/或用於產生視訊資料之電腦圖形系統或此等視訊資料源之組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存至儲存媒體或檔案伺服器上以供目的地器件14稍後存取，用於解碼及/或播放。
在圖1之實例中，目的地器件14包括一輸入介面28、一視訊解碼器30及一顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。視訊解碼器 30可解碼經編碼視訊資料。顯示器件32可顯示經解碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。顯示器件32可包含諸如以下各者之多種顯示器件：液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可經實施為諸如以下各者之多種合適電路中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若該等技術部分地以軟體實施，則一器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀儲存媒體中且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將前述(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。
本發明可大體關於視訊編碼器20將某些資訊「傳訊」至另一器件(諸如，視訊解碼器30)。術語「傳訊」可大體指語法元素及/或用以解碼經壓縮視訊資料之其他資料的傳遞。此傳遞可即時或接近即時地發生。交替地，此傳遞可在一時間跨度中發生，諸如，可在將經編碼位元串流中之語法元素儲存至電腦可讀儲存媒體(在編碼的時候)時發生，該等語法元素接著可由解碼器件在儲存至此媒體之後的任何時間擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如以下各者之視訊壓縮標準來操作：ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可調式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之3DV擴展)。在一些例子中，遵照H.264/AVC之基於MVC之3DV擴展的任何 位元串流始終含有符合H.264/AVC之MVC擴展的一子位元串流。此外，存在產生至H.264/AVC之三維視訊(3DV)寫碼擴展(即，基於AVC之3DV)的正在進行之努力。在其他實例中，視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual及ITU-T H.264、ISO/IEC Visual來操作。
在其他實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專業團體(VCEG)與ISO/IEC動畫專業團體(MPEG)之關於視訊寫碼之聯合合作團隊(JCT-VC)開發的高效率視訊寫碼(HEVC)來操作。即將來臨之HEVC標準之草案(被稱作「HEVC工作草案8」)描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 8」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)，第10次會議，瑞士斯德哥爾摩，2012年7月)中。即將來臨之HEVC標準之另一草案(被稱作「HEVC工作草案9」)描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)，第11次會議，中國上海，2012年10月)中。此外，存在產生用於HEVC之可調式視訊寫碼擴展、多視圖寫碼擴展及3DV擴展的正在進行之努力。可將HEVC之可調式視訊寫碼擴展稱作SHEVC。可將HEVC之3DV擴展稱作基於HEVC之3DV或HEVC-3DV。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。亦可將圖像稱作「圖框」。一圖像可包括三個樣本陣列(表示為SL、SCb及SCr)。SL為亮度樣本之二維陣列(亦即，區塊)。SCb為Cb彩度樣本之二維陣列。SCr為Cr彩度樣本之二維陣列。本文中亦可將彩度樣本稱作「色度」樣本。在其他例子中，圖像可為單色且可僅包括一陣列亮度樣本。
為了產生圖像之經編碼表示，視訊編碼器20可產生一組寫碼樹型單元(CTU)。該等CTU中之每一者可包含亮度樣本之一寫碼樹型區塊、色度樣本之兩個對應的寫碼樹型區塊及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個分開之彩色平面的圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。亦可將CTU稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而，CTU未必限於特定大小且可包括一或多個寫碼單元(CU)。一片段可包括以光柵掃描次序連續地排序之整數數目個CTU。
為了產生經寫碼CTU，視訊編碼器20可遞歸地對CTU之寫碼樹型區塊執行四分樹分割以將該等寫碼樹型區塊劃分成寫碼區塊(因此名稱為「寫碼樹型單元」)。寫碼區塊可為樣本之N×N區塊。CU可包含一圖像的亮度樣本之一寫碼區塊及色度樣本之兩個對應的寫碼區塊及用以寫碼該等寫碼區塊之樣本的語法結構，該圖像具有一亮度樣本陣列、一Cb樣本陣列及一Cr樣本陣列。在單色圖像或具有三個分開之彩色平面的圖像中，CU可包含一單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為對其應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含亮度樣本之一預測區塊、色度樣本之兩個對應的預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或具有三個分開之彩色平面的圖像中，PU可包含一單一預測區塊及用以預測該預測區塊之語法結構。視訊編碼器20可產生用於CU之每一PU之亮度、Cb及Cr預測區塊的預測性亮度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區 塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與該PU相關聯的圖像之經解碼樣本而產生該PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與該PU相關聯之圖像的一或多個圖像之經解碼樣本而產生該PU之預測性區塊。
在視訊編碼器20產生用於CU之一或多個PU的預測性亮度、Cb及Cr區塊之後，視訊編碼器20可產生該CU之亮度殘餘區塊。該CU之亮度殘餘區塊中之每一樣本指示在該CU之預測性亮度區塊中之一者中的亮度樣本與在該CU之原始亮度寫碼區塊中之對應的樣本之間的差。另外，視訊編碼器20可產生用於該CU之Cb殘餘區塊。該CU之Cb殘餘區塊中之每一樣本可指示在該CU之預測性Cb區塊中之一者中的Cb樣本與在該CU之原始Cb寫碼區塊中之對應的樣本之間的差。視訊編碼器20亦可產生用於該CU之Cr殘餘區塊。該CU之Cr殘餘區塊中之每一樣本可指示在該CU之預測性Cr區塊中之一者中的Cr樣本與在該CU之原始Cr寫碼區塊中之對應的樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之亮度、Cb及Cr殘餘區塊分解成一或多個亮度、Cb及Cr變換區塊。變換區塊為對其應用相同變換的樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含亮度樣本之一變換區塊、色度樣本之兩個對應的變換區塊及用以變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與一亮度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯。與TU相關聯之亮度變換區塊可為CU之亮度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個分開之彩色平面的圖像中，TU可包含一單一變換區塊及用以變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之亮度變換區塊以產 生用於該TU之亮度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於該TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於該TU之Cr係數區塊。
在產生係數區塊(例如，亮度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化通常指如下之過程：將變換係數量化以可能地減少用以表示該等變換係數的資料之量，從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化之變換係數的語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數的語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括一位元序列之一位元串流，該位元序列形成經寫碼圖像及相關聯之資料的表示。該位元串流可包含一連串網路抽象層(NAL)單元。NAL單元為含有該NAL單元中之資料之類型的指示及含有彼資料之位元組(呈在必要時穿插有仿真防止位元之原始位元組序列有效負載(RBSP)之形式)的一語法結構。NAL單元中之每一者包括一NAL單元標頭且囊封一RBSP。NAL單元標頭可包括指示NAL單元類型代碼之一語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型代碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的一語法結構。在一些例子中，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封用於經寫碼片段之RBSP，第三類型之NAL單元可囊封用於SEI之RBSP，等等。可將囊封用於視訊寫碼資料之RBSP(與用於參數集及SEI訊息之RBSP相反)的NAL單元稱作視訊寫碼層(VCL) NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素來重建構視訊資料之圖像。重建構視訊資料之過程可大體與由視訊編碼器20執行之過程互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將用於當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應的樣本來重建構當前CU之寫碼區塊。藉由重建構用於圖像之每一CU的寫碼區塊，視訊解碼器30可重建構該圖像。
在多視圖寫碼中，可存在來自不同視點的同一場景之多個視圖。術語「存取單元」用以指對應於同一時間事例之圖像集合。因此，可使視訊資料概念化為隨時間的過去而發生之一系列存取單元。「視圖分量」可為單一存取單元中的視圖之經寫碼表示。在本發明中，「視圖」可指與同一視圖識別符相關聯之一連串視圖分量。視圖分量之實例類型包括紋理視圖分量及深度視圖分量。
多視圖寫碼支援視圖間預測。視圖間預測類似於HEVC中所使用之框間預測且可使用相同之語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，PU)執行視圖間預測時，視訊編碼器20可將在與當前視訊單元相同之存取單元中但在不同視圖中的一圖像用作參考圖像。相比之下，習知框間預測僅將不同存取單元中之圖像用作參考圖像。
在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可在不參考任何其他視圖中之圖像的情況下解碼一視圖中之圖像，則可將該視圖稱作「基礎視圖」。當寫碼非基礎視圖中之一者中的一圖像時，若一圖像在與視訊寫碼器當前正寫碼之圖像不同之視圖中但在相同的時 間事例(亦即，存取單元)內，則一視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可將該圖像添加至一參考圖像清單中。與其他框間預測參考圖像一樣，視訊寫碼器可將一視圖間預測參考圖像插入於一參考圖像清單之任何位置處。
視訊寫碼標準指定視訊緩衝模型。在H.264/AVC及HEVC中，將一緩衝模型稱作一「假想參考解碼器」或「HRD」。在HEVC工作草案8中，HRD描述於附錄C中。
HRD描述將緩衝資料以用於解碼之方式及緩衝經解碼資料以用於輸出之方式。舉例而言，HRD描述一寫碼圖像緩衝器(「CPB」)、一解碼圖像緩衝器(「DPB」)及一視訊解碼程序之操作。CPB為含有按由HRD所指定之解碼次序之存取單元的一先進先出緩衝器。DPB為持有用於由HRD所指定之參考、輸出重新排序或輸出延遲之經解碼圖像的一緩衝器。可以數學方式指定CPB及DPB之行為。HRD可直接將約束強加於時序、緩衝器大小及位元速率。此外，HRD可間接地將約束強加於各種位元串流特性及統計資料。
在H.264/AVC及HEVC中，位元串流一致性及解碼器一致性被指定為HRD規範之部分。換言之，HRD模型指定判定位元串流是否遵照視訊寫碼規範的測試及判定解碼器是否遵照視訊寫碼規範的測試。雖然HRD被命名為某種解碼器，但視訊編碼器通常使用HRD來保證位元串流一致性，而視訊解碼器則通常無需HRD。
H.264/AVC與HEVC皆指定兩個類型之位元串流或HRD一致性，即，類型I及類型II。類型I位元串流為對於位元串流中之所有存取單元而言僅含有VCL NAL單元及填充符資料NAL單元的NAL單元串流。類型II位元串流為對於位元串流中之所有存取單元而言除VCL NAL單元及填充符資料NAL單元之外亦含有以下各者中之至少一者的NAL單元串流：不同於填充符資料NAL單元之額外非VCL NAL單 元；及自NAL單元串流形成位元組串流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes及trailing_zero_8bits語法元素。
當器件執行判定位元串流是否遵照視訊寫碼標準之位元串流一致性測試時，器件可選擇位元串流之一操作點。器件可接著判定適用於選定操作點之一組HRD參數。器件可使用適用於選定操作點之該組HRD參數來組態HRD之行為。更特定言之，器件可使用該組適用之HRD參數來組態HRD之特定分量(諸如，假想串流排程器(HSS)、CPB、解碼過程、DPB等等)之行為。隨後，HSS可根據一特定排程而將位元串流之經寫碼視訊資料注入至HRD之CPB內。
此外，作為執行位元串流一致性測試之部分，器件可調用解碼CPB中之經寫碼視訊資料的解碼過程。該解碼過程可將經解碼圖像輸出至DPB。當器件將資料移動穿過HRD時，器件可判定是否保持滿足一組特定約束。舉例而言，器件可判定當HRD解碼選定操作點之操作點表示時在CPB或DPB中發生溢出條件或是下溢條件。器件可以此方式選擇及處理位元串流之每一操作點。若無位元串流之操作點造成違反約束，則器件可判定位元串流遵照視訊寫碼標準。
H.264/AVC與HEVC皆指定兩個類型之解碼器一致性，即，輸出時序解碼器一致性及輸出次序解碼器一致性。主張與一具體設定檔、層及層級之一致性的解碼器能夠成功地解碼遵照視訊寫碼標準(諸如，HEVC)之位元串流一致性要求的所有位元串流。在本發明中，「設定檔」可指位元串流語法之一子集。「層」及「層級」可指定於每一設定檔內。層之層級可為強加於位元串流中之語法元素之值的一組指定之約束。此等約束可為對值之簡單限制。替代地，約束可呈對值之算術組合(例如，用每秒解碼之圖像之數目乘圖像高度乘圖像寬度)之約束的形式。通常，針對較低層所指定之層級比針對較高層所 指定之層級更受約束。
當器件執行解碼器一致性測試來判定測試中之解碼器(DUT)是否遵照視訊寫碼規範時，器件可將遵照視訊寫碼標準之位元串流提供至HRD及DUT兩者。HRD可以上文關於位元串流一致性測試所描述之方式來處理位元串流。若由DUT輸出的經解碼圖像之次序匹配由HRD輸出的經解碼圖像之次序，則器件可判定DUT遵照視訊寫碼標準。此外，若DUT輸出經解碼圖像所用的時序匹配HRD輸出經解碼圖像所用的時序，則器件可判定DUT遵照視訊寫碼標準。
在H.264/AVC及HEVC HRD模型中，解碼及/或CPB移除可基於存取單元。亦即，假定HRD一次解碼全部存取單元且自CPB移除全部存取單元。此外，在H.264/AVC及HEVC HRD模型中，假定圖像解碼為瞬時的。視訊編碼器20可在圖像時序SEI訊息中傳訊開始解碼存取單元之解碼時間。在實際應用中，若一致的視訊解碼器嚴格遵循經傳訊的開始解碼存取單元之解碼時間，則輸出一特定經解碼圖像之最早可能時間等於彼特定圖像之解碼時間加上對於解碼彼特定圖像所需之時間。然而，在現實世界中，對於解碼圖像所需之時間不能等於零。
HRD參數可控制HRD之各種態樣。換言之，HRD可依賴於HRD參數。HRD參數可包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲及DPB大小。視訊編碼器20可在視訊參數集(VPS)及/或序列參數集(SPS)中所指定之hrd_parameters( )語法結構中傳訊此等HRD參數。個別VPS及/或SPS可包括用於不同組HRD參數之多個hrd_parameters( )語法結構。在一些實例中，視訊編碼器20可在緩衝週期SEI訊息或圖像時序SEI訊息中傳訊HRD參數。
如上文所解釋，位元串流之操作點與一組層識別符(亦即，一組nuh_reserved_zero_6bits值)及一時間識別符相關聯。操作點表示可包括與操作點相關聯之每一NAL單元。操作點表示可具有與原始位元串 流不同之圖框速率及/或位元速率。此係因為操作點表示可能不包括原始位元串流之一些圖像及/或一些資料。因此，若在處理原始位元串流時視訊解碼器30將以特定速率自CPB及/或DPB移除資料及若在處理操作點表示時視訊解碼器30將以相同速率自CPB及/或DPB移除資料，則視訊解碼器30可自CPB及/或DPB移除過多或過少資料。因此，視訊編碼器20可針對不同操作點而傳訊不同組HRD參數。舉例而言，視訊編碼器20可將包括用於不同操作點之HRD參數的多個hrd_parameters( )語法結構包括於VPS中。
下表1為HEVC中之用於hrd_parameters( )語法結構之一實例語法。
在上表1及本發明之其他語法表的實例中，具有類型描述符ue(v)之語法元素可為使用0階指數哥倫布(Exp-Golomb)寫碼(其中首先為左位元)編碼之可變長度不帶正負號整數。在表1及下表之實例中，具有形式為u(n)(其中n為非負整數)之描述符的語法元素為長度為n之不帶正負號值。
H.264/AVC與HEVC兩者中所支援之SEI機制使視訊編碼器(例如，視訊編碼器20)能夠將此後設資料包括於位元串流中，該後設資料對於正確解碼輸出圖像之樣本值而言並非必需的，但可用於各種其他目的(諸如，圖像輸出時序、顯示以及損耗偵測及隱藏)。視訊編碼器20可使用SEI訊息將對於正確解碼圖像之樣本值而言並非必需之後設資料包括於位元串流中。然而，視訊解碼器30或其他器件可將SEI訊息中所包括之後設資料用於各種其他目的。舉例而言，視訊解碼器30或另一器件可將SEI訊息中之後設資料用於圖像輸出時序、圖像顯示、損耗偵測及錯誤隱藏。
視訊編碼器20可將一或多個SEI NAL單元包括於一存取單元中。換言之，任何數目個SEI NAL單元可與一存取單元相關聯。此外，每一SEI NAL單元可含有一或多個SEI訊息。亦即，視訊編碼器可將任何數目個SEI NAL單元包括於一存取單元中，且每一SEI NAL單元可含有一或多個SEI訊息。SEI NAL單元可包括一NAL單元標頭及一有效負載。SEI NAL單元之NAL單元標頭包括至少第一語法元素及第二語法元素。第一語法元素指定SEI NAL單元之層識別符。第二語法元素指定SEI NAL單元之時間識別符。
巢套式SEI訊息指可調式巢套式SEI訊息中所含有之SEI訊息。非 巢套式SEI訊息指可調式巢套式SEI訊息中不含有之SEI訊息。SEI NAL單元之有效負載可包含巢套式SEI訊息或非巢套式SEI訊息。
HEVC標準描述各種類型之SEI訊息的語法及語義。然而，HEVC標準不描述對SEI訊息之處置，因為SEI訊息不影響規範的解碼過程。在HEVC標準中具有SEI訊息的一個原因為實現在使用HEVC之不同系統中相同地解譯補充資料。使用HEVC之規範及系統可能需要視訊編碼器產生某些SEI訊息或可定義對特定類型的所接收之SEI訊息之具體處置。
下表2列出HEVC中所指定之SEI訊息且簡短地描述該等SEI訊息之用途。
在HEVC工作草案9中，HRD操作需要在緩衝週期SEI訊息、圖像 時序SEI訊息中且有時亦在解碼單元資訊SEI訊息中傳訊之參數。
此外，在HEVC工作草案9中，適用於巢套式SEI訊息之操作點、層或子層由可調式巢套式SEI訊息之語義指定。換言之，對於每一SEI訊息而言適用之存取單元(亦被稱作持久性範疇)由SEI訊息之語義指定，且對於巢套式SEI訊息而言適用之操作點或層或子層由可調式巢套式SEI訊息之語義指定，且在應用操作點或層或子層內。然而，在HEVC工作草案9中，不清楚哪些操作點、層或子層適用於非巢套式SEI訊息。因此，視訊解碼器可能不能夠使用非巢套式SEI訊息。舉例而言，緩衝SEI訊息、巢套式圖像時序SEI訊息及巢套式解碼單元資訊SEI訊息可含有HRD參數。為了易於解釋，本文中可將此等類型之SEI訊息稱作「HRD SEI訊息類型」。
在HEVC工作草案9中，僅屬於該等HRD SEI訊息類型之巢套式SEI訊息可用於HRD操作中。相比之下，屬於該等HRD SEI訊息類型之非巢套式SEI訊息可不用於HRD操作中。亦即，在HEVC工作草案9中，僅巢套式緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息可經選擇用於HRD操作中，而非巢套式緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息甚至當存在時仍從未經選擇用於HRD操作中。
本發明之技術提供允許每一類型之非巢套式SEI訊息指示適用於非巢套式SEI訊息之操作點、層或子層的設計。舉例而言，根據本發明之技術，清晰地指定了對於每一類型之非巢套式SEI訊息而言適用之操作點或層或子層且指定了在HRD操作中對非巢套式緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息之選擇及使用。
器件(諸如，視訊解碼器30)可判定非巢套式SEI訊息適用於其中的一或多個操作點、層或子層之一集合。器件可至少部分地基於非巢套式SEI訊息來修改一或多個HRD參數。該等HRD參數可控制視訊解 碼器30解碼操作點、層或子層的方式之各種態樣。當解碼視訊資料時，視訊解碼器30可使用經修改之HRD參數。
根據本發明之技術，僅當SEI訊息為巢套式SEI訊息時，該SEI訊息可適用於具有小於含有SEI訊息的SEI NAL單元之時間ID之時間ID的層。非巢套式SEI訊息不適用於具有小於含有非巢套式SEI訊息的SEI NAL單元之時間ID之時間ID的層。亦即，對於待應用於具有小於含有SEI訊息的SEI NAL單元之時間位準之時間位準(TemporalId)的層之SEI訊息而言，該SEI訊息必須經巢套。換言之，非巢套式SEI訊息不適用於具有較小TemporalId值之層。
此外，根據本發明之技術，可能需要含有屬於不同於HRD SEI訊息類型之SEI訊息類型(亦即，不同於緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元SEI訊息之SEI訊息類型)之非巢套式SEI訊息的SEI NAL單元具有與含有該SEI NAL單元之存取單元相同的時間ID。換言之，需要含有不同於緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息的任何當前指定類型之SEI訊息之非巢套式SEI訊息的SEI NAL單元具有與含有該SEI NAL單元的存取單元之TemporalId相同的TemporalId。
舉例而言，payloadType可指定SEI訊息之類型。此外，操作點由一組nuh_reserved_zero_6bits值(表示為OpLayerIdSet)及一TemporalId值(表示為OpTid)識別。若payloadType等於0(緩衝週期)、1(圖像時序)或130(解碼單元資訊)，則非巢套式SEI訊息適用於以下操作點：該操作點具有等於含有SEI訊息之SEI NAL單元之nuh_temporal_id_plus1減去1的OpTid且具有含有在0至含有SEI訊息之SEI NAL單元之nuh_reserved_zero_6bits(包括0及nuh_reserved_zero_6bits)之範圍中的所有整數值之OpLayerIdSet。nuh_temporal_id_plus1減去1指定SEI NAL單元之時間ID。 nuh_reserved_zero_6bits可指定層識別符。因此，非巢套式SEI訊息可適用於一操作點，該操作點具有等於SEI NAL單元之時間識別符的時間識別符且具有在自0至SEI NAL單元之層識別符之範圍中所含有的一組層識別符。
因此，在本發明之一些實例技術中，器件(諸如，視訊編碼器20、視訊解碼器30或另一器件)可自位元串流獲得一非巢套式SEI訊息，其中該非巢套式SEI訊息為指示HRD操作之初始延遲的緩衝週期SEI訊息、指示HRD操作之圖像輸出時間及圖像/子圖像移除時間的圖像時序SEI訊息或指示HRD操作之子圖像移除時間的解碼單元SEI訊息。此外，器件可判定適用於非巢套式SEI訊息之操作點。適用於非巢套式SEI訊息的操作點之所有NAL單元之最高時間識別符等於囊封該非巢套式SEI訊息的SEI NAL單元之時間識別符。適用於非巢套式SEI訊息的操作點之所有NAL單元的層識別符之集合含有在0至囊封非巢套式SEI訊息的SEI NAL單元之層識別符之值的範圍中之所有整數值。另外，器件可部分地基於第二非巢套式SEI訊息之一或多個語法元素的值來執行關於適用於第二非巢套式SEI訊息之操作點的HRD操作(例如，位元串流一致性測試、解碼器一致性測試等)。
否則，當payloadType等於2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134時，非巢套式SEI訊息可應用於一層，對於該層而言，VCL NAL單元具有等於含有SEI訊息的SEI NAL單元之nuh_reserved_zero_6bits的nuh_reserved_zero_6bits，且含有SEI訊息的SEI NAL單元之TemporalId應等於含有該SEI訊息的存取單元之TemporalId。
當payloadType等於2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134時，非巢套式SEI訊息為分別的以下各者中之一者：pan-scan(經比例改變及裁切)矩形SEI訊息，其包括與以 與輸出圖像之圖像縱橫比不同之圖像縱橫比顯示相關聯的資料；填充符有效負載SEI訊息，其包括用於調整位元速率以符合具體約束的資料；恢復點SEI訊息，其包括用於清除隨機存取或逐漸解碼再新之資訊；場景資訊SEI訊息，其包括與場景改變及轉變相關聯之資訊；圖像快照SEI訊息，其包括將相關聯之經解碼圖像標記為視訊內容之靜態影像快照的指示；漸進式改進區段開始SEI訊息，其包括與連續圖像之區段開始相關聯的資訊，該等連續圖像表示圖像而非移動場景之品質之漸進式改進；漸進式改進區段結束SEI訊息，其包括與連續圖像之區段結束相關聯的資訊；膠捲粒紋特性SEI訊息，其包括與合成膠捲粒紋效應相關聯之資訊；後濾波暗示SEI訊息，其包括與所建議之後濾波係數相關聯的資訊或用於後濾波設計之相關資訊；色調映射資訊SEI訊息，其包括與重映射至與在編碼中使用假定之色彩空間不同之另一色彩空間相關聯的資訊；圖框封裝配置SEI訊息，其包括與將立體視訊封裝至位元串流內相關聯的資訊；顯示定向SEI訊息，其包括指定在顯示輸出圖像時待應用於該等輸出圖像之翻轉及/或旋轉的資訊；圖像結構資訊SEI訊息，其包括描述位元串流之時間及框間預測結構的資訊；有效參數集SEI訊息，其包括關於有效參數集之資訊；時間子層零索引SEI訊息，其包括與偵測具有等於0之時間識別符的經寫碼圖像何時遺失相關聯的資訊；或區域再新資訊SEI訊息，其包括指示非巢套式SEI訊息所應用之片段區段是否屬於當前圖像之經再新區域的資訊。
以此方式，器件(諸如，視訊編碼器20、視訊解碼器30或另一器件)可自包括視訊資料之經編碼表示的位元串流獲得一非巢套式SEI訊息，該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內。此外，器件可判定非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，位元串流 之VCL NAL單元具有等於囊封該非巢套式SEI訊息的SEI NAL單元之層識別符之層識別符。SEI NAL單元之時間識別符等於含有該SEI NAL單元的一存取單元之一時間識別符。視訊寫碼器可部分地基於非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息適用於其中的該位元串流之該層之視訊資料。在一些實例中，處理非巢套式SEI訊息適用於其中的該位元串流之該層之視訊資料包含部分地基於非巢套式SEI訊息中之一或多個語法元素來解碼非巢套式SEI訊息適用於其中的該位元串流之該層之視訊資料。
圖2為說明可實施本發明之技術的一實例視訊編碼器20之方塊圖。圖2經提供係為了解釋之目的且不應將圖2視為限制如在本發明中廣泛地舉例說明及描述之技術。為了解釋之目的，本發明在HEVC寫碼之情況下描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括一預測處理單元100、一殘餘產生單元102、一變換處理單元104、一量化單元106、一反量化單元108、一反變換處理單元110、一重建構單元112、一濾波器單元114、一解碼圖像緩衝器116及一熵編碼單元118。預測處理單元100包括一框間預測處理單元120及一框內預測處理單元126。框間預測處理單元120包括一運動估計單元122及一運動補償單元124。在其他實例中，視訊編碼器20可包括更多、更少或不同之功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之片段中的每一CTU。該等CTU中之每一者可與大小相等之亮度寫碼樹型區塊(CTB)及圖像之對應的CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB分割成逐漸更小之區塊。該等較小之區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個大小相等之子區 塊、將該等子區塊中之一或多者分割成四個大小相等之子子區塊等等。
視訊編碼器20可編碼一CTU之CU以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在該CU之一或多個PU當中分割與該CU相關聯之寫碼區塊。因此，每一PU可與亮度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之亮度寫碼區塊的大小且PU之大小可指PU之亮度預測區塊的大小。假定一特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小(對於框內預測而言)及2N×2N、2N×N、N×2N、N×N或類似者之對稱PU大小(對於框間預測而言)。視訊編碼器20及視訊解碼器30亦可支援針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小(對於框間預測而言)的不對稱分割。
框間預測處理單元120可藉由對一CU之每一PU執行框間預測來產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。框間預測處理單元120可取決於CU之PU在I片段、P片段或是B片段中而針對該PU來執行不同操作。在I片段中，所有PU經框內預測。因此，若PU在I片段中，則框間預測處理單元120不對PU執行框間預測。
若PU在P片段中，則運動估計單元122可在參考圖像清單(例如，「RefPicList0」)中之參考圖像中搜尋PU之參考區域。PU之參考區域可為在參考圖像內含有最密切地對應於PU之預測區塊之樣本的區域。運動估計單元122可產生一參考索引，該參考索引指示在參考圖像之RefPicList0中含有PU之參考區域的位置。另外，運動估計單元122可產生一運動向量，該運動向量指示在PU之寫碼區塊與相關聯於參考區域之參考位置之間的空間位移。舉例而言，運動向量可為提供 自當前圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元122可輸出參考索引及運動向量，作為PU之運動資訊。運動補償單元124可基於在由PU之運動向量指示之參考位置處的實際或內插樣本而產生PU之預測性區塊。
若PU在B片段中，則運動估計單元122可針對該PU來執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元122可在RefPicList0或第二參考圖像清單(「RefPicList1」)之參考圖像中搜尋PU之參考區域。運動估計單元122可輸出以下各者作為PU之運動資訊：參考索引，其指示在參考圖像之RefPicList0或RefPicList1中含有參考區域之位置；運動向量，其指示在PU之預測區塊與相關聯於參考區域之參考位置之間的空間位移；及一或多個預測方向指示符，其指示參考圖像在RefPicList0或是RefPicList1中。運動補償單元124可至少部分地基於在由PU之運動向量指示之參考位置處的實際或內插樣本而產生PU之預測性區塊。
為針對PU執行雙向框間預測，運動估計單元122可在RefPicList0中之參考圖像中搜尋PU之參考區域且亦可在RefPicList1中之參考圖像中搜尋PU之另一參考區域。運動估計單元122可產生參考索引，該等參考索引指示在參考圖像之RefPicList0及RefPicList1中含有該等參考區域之位置。另外，運動估計單元122可產生運動向量，該等運動向量指示在與該等參考區域相關聯之參考位置與PU之預測區塊之間的空間位移。PU之運動資訊可包括參考索引及PU之運動向量。運動補償單元124可至少部分地基於在由PU之運動向量指示之參考位置處的實際或內插樣本而產生PU之預測性區塊。
框內預測處理單元126可藉由對一PU執行框內預測來產生用於該PU之預測性資料。用於PU之預測性資料可包括用於PU之預測性區塊及各種語法元素。框內預測處理單元126可對I片段、P片段及B片段中 之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之多組預測性區塊。當使用一特定框內預測模式來執行框內預測時，框內預測處理單元126可使用來自相鄰區塊之一組特定樣本產生用於PU之預測性區塊。假定用於PU、CU及CTU之自左至右、自頂至底編碼次序，相鄰PU可在PU之預測區塊的上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目個框內預測模式(例如，33個方向框內預測模式)。在一些實例中，框內預測模式之數目可取決於PU之預測區塊之大小。
預測處理單元100可自由框間預測處理單元120針對一CU之PU所產生的預測性資料或由框內預測處理單元126針對該等PU所產生之預測性資料當中選擇用於該等PU之預測性資料。在一些實例中，預測處理單元100基於該等組預測性資料之速率/失真量度來選擇用於CU之PU的預測性資料。本文中可將選定預測性資料之預測性區塊稱作選定預測性區塊。
殘餘產生單元102可基於一CU之亮度、Cb及Cr寫碼區塊及該CU之PU之選定預測性亮度、Cb及Cr區塊來產生該CU之亮度、Cb及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊使得該等殘餘區塊中之每一樣本具有等於在CU之寫碼區塊中之樣本與CU之PU之對應的選定預測性區塊中之對應的樣本之間的差之值。
變換處理單元104可執行四分樹分割以將一CU之殘餘區塊分割成與該CU之TU相關聯的變換區塊。因此，一TU可與一亮度變換區塊及兩個對應的色度變換區塊相關聯。一CU之TU之亮度及色度變換區塊的大小及位置可或可不基於該CU之PU之預測區塊的大小及位置。
變換處理單元104可藉由將一或多個變換應用於一CU之每一TU的變換區塊來產生用於該TU之變換係數區塊。變換處理單元104可將 各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將一離散餘弦變換(DCT)、一方向變換或一概念上類似之變換應用於一變換區塊。在一些實例中，變換處理單元104不將變換應用於一變換區塊。在此等實例中，可將變換區塊作為一變換係數區塊對待。
量化單元106可量化一係數區塊中之變換係數。量化程序可減小與變換係數中之一些或全部相關聯之位元深度。舉例而言，可在量化期間將一n位元變換係數捨去成一m位元變換係數，其中n大於m。量化單元106可基於與一CU相關聯之量化參數(QP)值來量化與該CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與一CU相關聯之QP值來調整應用於與該CU相關聯之係數區塊的量化之程度。量化可能帶來資訊之損失，因此經量化之變換係數可具有比原始精確度低的精確度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自該係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應的樣本以產生與TU相關聯之經重建構之變換區塊。藉由以此方式重建構用於一CU之每一TU的變換區塊，視訊編碼器20可重建構該CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後，解碼圖像緩衝器116可儲存該等經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊的參考圖像對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用解碼圖像緩衝器116中之經重建構之寫碼區塊對在與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變數至變數(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率間隔分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之經熵編碼資料的位元串流。
圖3為說明經組態以實施本發明之技術的一實例視訊解碼器30之方塊圖。圖3經提供係為了解釋之目的且圖3並非對如廣泛地在本發明中舉例說明及描述之技術的限制。為了解釋之目的，本發明在HEVC寫碼之情況下描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括一熵解碼單元150、一預測處理單元152、一反量化單元154、一反變換處理單元156、一重建構單元158、一濾波器單元160及一解碼圖像緩衝器162。預測處理單元152包括一運動補償單元164及一框內預測處理單元166。在其他實例中，視訊解碼器30可包括更多、更少或不同之功能組件。
寫碼圖像緩衝器(CPB)151可接收及儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元且剖析該等NAL單元以自位元串流獲得語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼片段NAL單元。作為解碼位元 串流之部分，熵解碼單元150可提取且熵解碼來自經寫碼片段NAL單元之語法元素。該等經寫碼片段中之每一者可包括一片段標頭及片段資料。片段標頭可含有係關於片段之語法元素。
除解碼來自位元串流之語法元素之外，視訊解碼器30亦可對CU執行解碼操作。藉由對CU執行解碼操作，視訊解碼器30可重建構CU之寫碼區塊。
作為對CU執行解碼操作之部分，反量化單元154可反量化(亦即，解量化)與CU之TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化之程度，及同樣地判定供反量化單元154應用的反量化之程度。亦即，可藉由調整在量化變換係數時所使用之QP值來控制壓縮比率(亦即，用以表示原始序列及被壓縮序列的位元之數目之比率)。壓縮比率亦可取決於所使用之熵寫碼方法。
在反量化單元154反量化一係數區塊之後，反變換處理單元156可將一或多個反變換應用於該係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維(Karhunen-Loeve)變換(KLT)、反旋轉變換、反方向變換或另一反變換應用於係數區塊。
若PU係使用框內預測編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用一框內預測模式以基於空間相鄰PU之預測區塊來產生用於PU之預測性亮度、Cb及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素來判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素來建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測編碼，則熵解碼單元150可獲得用於該PU之運動資訊。運動補償單元164可基於PU之運動資訊來判定用於PU之一 或多個參考區域。運動補償單元164可基於在用於PU之一或多個參考區塊處之樣本而產生用於PU之預測性亮度、Cb及Cr區塊。
重建構單元158可使用適用的來自與CU之TU相關聯的亮度、Cb及Cr變換區塊及CU之PU之預測性亮度、Cb及Cr區塊的殘餘值(亦即，框內預測資料或框間預測資料)重建構CU之亮度、Cb及Cr寫碼區塊。舉例而言，重建構單元158可將亮度、Cb及Cr變換區塊之樣本添加至預測性亮度、Cb及Cr區塊之對應的樣本以重建構CU之亮度、Cb及Cr寫碼區塊。
濾波器單元160可執行解區塊操作以減少與CU之亮度、Cb及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之亮度、Cb及Cr寫碼區塊儲存於解碼圖像緩衝器162中。解碼圖像緩衝器162可提供用於隨後運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上呈現的參考圖像。舉例而言，視訊解碼器30可基於解碼圖像緩衝器162中之亮度、Cb及Cr區塊來對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流提取有效亮度係數區塊之變換係數級別、反量化該等變換係數級別、將變換應用於該等變換係數級別以產生一變換區塊、至少部分地基於該變換區塊產生一寫碼區塊及輸出該寫碼區塊供顯示。
在一些實例中，視訊處理器(諸如，視訊編碼器20、視訊解碼器30或另一器件)可執行位元串流一致性測試以判定位元串流是否遵照視訊寫碼規範。可將此位元串流稱作BitstreamToDecode或待解碼之位元串流。BitstreamToDecode可與由視訊處理器接收之位元串流相同或為由視訊處理器接收之位元串流之子位元串流。HEVC工作草案9之子條款C.1描述HEVC之HRD及檢查位元串流及解碼器一致性的HRD之用途。具體言之，HEVC工作草案9之子條款C.1指定在位元串流一致性測試中所應用之一系列有序步驟。根據本發明之一或多個實例技 術，如下改變HEVC工作草案9之子條款C.1之描述此系列有序步驟的部分使得可選擇非巢套式緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息以供在HRD操作中使用：可需要多個測試以用於檢查位元串流之一致性，在下文中將該位元串流稱作測試中之位元串流。對於每一測試，以下步驟按所列出之次序適用：
1.選擇測試中之操作點(表示為TargetOp)。TargetOp之OpLayerIdSet含有存在於與TargetOp相關聯之位元串流子集中的nuh_reserved_zero_6bits值之集合，該集合為存在於測試中之位元串流中的nuh_reserved_zero_6bits值之一子集。TargetOp之OpTid等於存在於與TargetOp相關聯之位元串流子集中的最高TemporalId。
2.將TargetDecLayerIdSet設定至TargetOp之OpLayerIdSet，且將HighestTid設定至TargetOp之OpTid，且將BitstreamToDecode設定至與TargetOp相關聯之位元串流子集，亦即，如HEVC工作草案9之子條款10.1中所指定的子位元串流提取過程之輸出，其中測試中之位元串流、HighestTid及TargetDecLayerIdSet作為輸入。
3.選擇適用於TargetOp之hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構。若TargetDecLayerIdSet含有存在於測試中之位元串流中的所有nuh_reserved_zero_6bits值，則選擇在有效序列參數集中(或經由此說明書中未指定之外部構件所提供)的hrd_parameters( )語法結構。否則，選擇在有效視訊參數集中(或經由此說明書中未指定之某一外部構件所提供)的應用於TargetOp之hrd_parameters( )語法結構。在選定hrd_parameters( )語法結構內，若BitstreamToDecode為類型I位元串流，則選擇緊接在條件「if(vcl_hrd_parameters_present_flag)」後之sub_layer_hrd_parameters(HighestTid)語法結構且將變數 NalHrdModeFlag設定成等於0；否則(BitstreamToDecode為類型II位元串流)，選擇緊接在條件「if(vcl_hrd_parameters_present_flag)」(在此狀況下，將變數NalHrdModeFlag設定成等於0)或條件「if(nal_hrd_parameters_present_flag)」(在此狀況下，將變數NalHrdModeFlag設定成等於1)後的sub_layer_hrd_parameters(HighestTid)語法結構。當BitstreamToDecode為類型II位元串流且NalHrdModeFlag等於0時，將所有非VCL NAL單元(惟填充符資料NAL單元除外)自BitstreamToDecode拋棄，且將剩餘位元串流指派給BitstreamToDecode。
4.將與適用於TargetOp之緩衝週期SEI訊息(存在於可調式巢套式SEI訊息中之BitstreamToDecode中或可經由此說明書中未指定之外部構件而獲得)相關聯的存取單元選擇作為HRD初始化點且稱作存取單元0。
5.對於自存取單元0開始之在BitstreamToDecode中的每一存取單元而言，選擇與該存取單元相關聯且應用於TargetOp的緩衝週期SEI訊息(存在於可調式巢套式SEI訊息中之BitstreamToDecode中或可經由此說明書中未指定之外部構件而獲得)，選擇與該存取單元相關聯且應用於TargetOp的圖像時序SEI訊息(存在於可調式巢套式SEI訊息中之BitstreamToDecode中或可經由此說明書中未指定之外部構件而獲得)，且當SubPicCpbFlag等於1且sub_pic_cpb_params_in_pic_timing_sei_flag等於0時，選擇與該存取單元中之解碼單元相關聯且應用於TargetOp的解碼單元資訊SEI訊息(存在於可調式巢套式SEI訊息中之BitstreamToDecode中或可經由此說明書中未指定之外部構件而獲得)。
6.選擇SchedSelIdx之值。選定SchedSelIdx應在0至cpb_cnt_minus1[HighestTid](包括0及cpb_cnt_minus1[HighestTid])之 範圍中，其中cpb_cnt_minus1[HighestTid]發現於如上文所選擇之sub_layer_hrd_parameters(HighestTid)語法結構中。
7.當存取單元0中之經寫碼圖像具有等於CRA_NUT或BLA_W_LP之nal_unit_type且選定緩衝週期SEI訊息中之rap_cpb_params_present_flag等於1時，對於選擇初始CPB移除延遲及延遲偏移而言，以下各者中之任一者適用。
- 取決於如在以上步驟3下所指定之NalHrdModeFlag來選擇由initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_offset[SchedSelIdx]所表示之預設初始CPB移除延遲及延遲偏移，將變數DefaultInitCpbParamsFlag設定成等於1。
- 取決於如在以上步驟3下所指定之NalHrdModeFlag來選擇由initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_offset[SchedSelIdx]所表示之替代性初始CPB移除延遲及延遲偏移，將變數DefaultInitCpbParamsFlag設定成等於0，且將與存取單元0相關聯之RASL存取單元自BitstreamToDecode拋棄且仍將剩餘位元串流指派給BitstreamToDecode。
8.當選定hrd_parameters( )語法結構中之sub_pic_cpb_params_present_flag等於1時，CPB經排程以在存取單元級別(在該狀況下，將變數SubPicCpbFlag設定成等於0)或在子圖像級別(在該狀況下，將變數SubPicCpbFlag設定成等於1)操作。
以上文字之刪除線部分指示根據本發明之技術自HEVC工作草案9之子條款C.1移除的文字。如上文所指示，緩衝週期SEI訊息指示HRD操作之初始延遲。作為移除了刪除線部分之結果，視訊處理器可在步驟4中將與適用於TargetOp之緩衝週期SEI訊息相關聯的存取單元選擇作為HRD初始化點，而不管該緩衝週期SEI訊息是否在可調式巢套式SEI訊息中。TargetOp為BitstreamToDecode中之一組層識別符。 因此，當非巢套式緩衝週期SEI訊息適用於TargetOp時，視訊處理器可將與非巢套式緩衝週期SEI訊息相關聯的存取單元選擇作為HRD初始化點。視訊處理器可在選定存取單元處初始化HRD。亦可將HRD初始化點稱作存取單元0。HRD初始化點可為在HRD操作期間評估之第一存取單元。
類似地，在步驟5中，視訊處理器可選擇緩衝週期SEI訊息，而不管該緩衝週期SEI訊息是否在可調式巢套式SEI訊息中。此外，在步驟5中，視訊處理器可選擇圖像時序SEI訊息，而不管該圖像時序SEI訊息是否在可調式巢套式SEI訊息中。此外，在步驟5中，視訊處理器可選擇解碼單元資訊SEI訊息，而不管該解碼單元資訊SEI訊息是否在緩衝週期SEI訊息中。因此，視訊處理器可自位元串流獲得一非巢套式SEI訊息，其中該非巢套式SEI訊息為緩衝週期SEI訊息、圖像時序SEI訊息或解碼單元SEI訊息。此外，對於待解碼之位元串流中之每一各別存取單元而言，當非巢套式SEI訊息與該存取單元相關聯且非巢套式SEI訊息適用於待解碼之位元串流中之該組層識別符時，視訊處理器可選擇該非巢套式SEI訊息用於各別存取單元。視訊處理器可關於各別存取單元而在HRD操作中使用非巢套式SEI訊息之一或多個語法元素。
如上文所指示，一些類型之非巢套式SEI訊息(例如，緩衝週期SEI訊息、圖像時序SEI訊息、解碼單元資訊SEI訊息等)適用於特定操作點。此外，一些類型之非巢套式SEI訊息適用於特定層。根據本發明之一或多個技術，以下指定對於特定類型之非巢套式SEI訊息而言適用之操作點或層。
視訊處理器可自位元串流獲得非巢套式SEI訊息。另外，視訊處理器可基於非巢套式SEI訊息之一或多個語法元素來判定非巢套式SEI訊息之有效負載類型變數(例如，「payloadType」)。若非巢套式SEI訊 息之payloadType等於0(亦即，非巢套式SEI訊息為緩衝週期SEI訊息)，則非巢套式SEI訊息之payloadType等於1(亦即，非巢套式SEI訊息為圖像時序SEI訊息)，或非巢套式SEI訊息之payloadType等於130(亦即，非巢套式SEI訊息為解碼單元資訊SEI訊息)，非巢套式SEI訊息適用於以下操作點：該操作點具有等於含有非巢套式SEI訊息的SEI NAL單元之nuh_temporal_id_plus1減去1的OpTid且具有含有在0至含有SEI訊息的SEI NAL單元之nuh_reserved_zero_6bits(包括0及nuh_reserved_zero_6bits)之範圍中的所有整數值之OpLayerIdSet。否則，當非巢套式SEI訊息之payloadType等於2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134時，非巢套式SEI訊息適用於以下層，對於該層而言，VCL NAL單元具有等於含有SEI訊息的SEI NAL單元之nuh_reserved_zero_6bits的nuh_reserved_zero_6bits，且含有SEI訊息的SEI NAL單元之TemporalId應等於含有SEI訊息的存取單元之TemporalId。在一些實例中，當存在作為巢套式SEI訊息之緩衝週期SEI訊息、圖像時序SEI訊息或解碼單元資訊SEI訊息時，同一SEI訊息(具有同樣內容)未被同時複製為非巢套式SEI訊息。
根據本發明之其他實例技術，如下指定對於每一類型之非巢套式SEI訊息而言適用之操作點或層。若非巢套式SEI訊息之payloadType等於0(亦即，非巢套式SEI訊息為緩衝週期SEI訊息)，則非巢套式SEI訊息之payloadType等於1(亦即，非巢套式SEI訊息為圖像時序SEI訊息)，或非巢套式SEI訊息之payloadType等於130(亦即，非巢套式SEI訊息為解碼單元資訊SEI訊息)，非巢套式SEI訊息適用於以下操作點：該操作點具有等於含有非巢套式SEI訊息的SEI NAL單元之nuh_temporal_id_plus1減去1的OpTid且具有含有在0至含有SEI訊息的SEI NAL單元之nuh_reserved_zero_6bits(包括0及 nuh_reserved_zero_6bits)之範圍中的所有整數值之OpLayerIdSet。否則，當非巢套式SEI訊息之payloadType等於2、3、6、9、15、16、17、19、22、23、45、47、128、129、131、134時，非巢套式SEI訊息適用於以下層，對於該等層而言，VCL NAL單元具有大於或等於含有SEI訊息的SEI NAL單元之nuh_reserved_zero_6bits的nuh_reserved_zero_6bits，且含有SEI訊息的SEI NAL單元之TemporalId應等於含有SEI訊息的存取單元之TemporalId。對於與同一存取單元中含有SEI訊息之SEI NAL單元中的nuh_reserved_zero_6bits之不同值相關聯的相同類型之任何兩個非巢套式SEI訊息而言，與nuh_reserved_zero_6bits之較大值相關聯的非巢套式SEI訊息適用於以下層，對於該等層而言，VCL NAL單元具有大於或等於nuh_reserved_zero_6bits之較大值的nuh_reserved_zero_6bits。在一些實例中，當存在作為巢套式SEI訊息之緩衝週期SEI訊息、圖像時序SEI訊息或解碼單元資訊SEI訊息時，同一SEI訊息(具有同樣內容)將不被同時複製為非巢套式SEI訊息。
圖4為說明根據本發明之一或多個技術的視訊處理器件之一實例操作200之流程圖。在圖4之實例中，視訊處理器(諸如，視訊編碼器20、視訊解碼器30或另一器件)可自包括視訊資料之經編碼表示的位元串流獲得一非巢套式SEI訊息，該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內(202)。此外，視訊處理器可判定非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，位元串流之VCL NAL單元具有等於囊封非巢套式SEI訊息之SEI NAL單元之層識別符的層識別符(204)。SEI NAL單元之時間識別符等於含有該SEI NAL單元的一存取單元之一時間識別符。另外，視訊處理器可部分地基於非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流 之該層的視訊資料(206)。
圖5為說明執行位元串流一致性測試之一部分的一實例操作250之流程圖。在圖5之實例中，視訊處理器(例如，視訊編碼器20、視訊解碼器30或另一器件)可選擇測試中之操作點(亦即，「TargetOp」)(252)。TargetOp之層識別符集(亦即，「OpLayerIdSet」)可含有存在於與TargetOp相關聯之位元串流子集中的nuh_reserved_zero_6bits值之集合，該集合為存在於測試中之位元串流中的nuh_reserved_zero_6bits值之一子集。
此外，視訊處理器可設定TargetDecLayerIdSet、HighestTid及BitstreamToDecode(254)。在一些實例中，視訊處理器可將TargetDecLayerIdSet設定至TargetOp之OpLayerIdSet。此外，視訊處理器可將HighestTid設定至存在於與TargetOp相關聯之位元串流子集中的最高時間識別符。另外，視訊處理器可將BitstreamToDecode設定至與TargetOp相關聯之位元串流子集。
接下來，視訊處理器可選擇適用於TargetOp之hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構(256)。在一些實例中，若TargetDecLayerIdSet含有存在於測試中之位元串流中的所有nuh_reserved_zero_6bits值，則視訊處理器選擇在有效序列參數集中(或經由外部構件所提供)之hrd_parameters( )語法結構。否則，視訊處理器可選擇在有效視訊參數集中(或經由某一外部構件所提供)之適用於TargetOp的hrd_parameters( )語法結構。在選定hrd_parameters( )語法結構內，若BitstreamToDecode為類型I位元串流，則視訊處理器可選擇緊接在條件「if(vcl_hrd_parameters_present_flag)」後之sub_layer_hrd_parameters(HighestTid)語法結構，且視訊處理器可將變數NalHrdModeFlag設定成等於0。否則(亦即，BitstreamToDecode為類型II位元串流)，視訊處理器可選擇緊接在條件 「if(vcl_hrd_parameters_present_flag)」(在此狀況下，將變數NalHrdModeFlag設定成等於0)或條件「if(nal_hrd_parameters_present_flag)」(在此狀況下，將變數NalHrdModeFlag設定成等於1)後的sub_layer_hrd_parameters(HighestTid)語法結構。當BitstreamToDecode為類型II位元串流且NalHrdModeFlag等於0時，視訊處理器可將所有非VCL NAL單元(惟填充符資料NAL單元除外)自BitstreamToDecode拋棄，且視訊處理器可將剩餘位元串流指派給BitstreamToDecode。
此外，視訊處理器可將與適用於TargetOp之緩衝週期SEI訊息相關聯的存取單元選擇作為存取單元0(亦即，HRD初始化點)(258)。根據本發明之一或多個實例技術，視訊處理器可選擇緩衝週期SEI訊息，而不管該緩衝週期SEI訊息存在於可調式巢套式SEI訊息中之BitstreamToDecode中或是作為非巢套式緩衝週期SEI訊息存在於BitstreamToDecode中。
接下來，對於自存取單元0開始之在BitstreamToDecode中的每一存取單元而言，視訊處理器可選擇與該存取單元相關聯且適用於TargetOp的緩衝週期SEI訊息(260)。根據本發明之一或多個實例技術，視訊處理器可選擇緩衝週期SEI訊息，而不管該緩衝週期SEI訊息是存在於可調式巢套式SEI訊息中的BitstreamToDecode中或是作為非巢套式緩衝週期SEI訊息存在於BitstreamToDecode中。
另外，對於自存取單元0開始之在BitstreamToDecode中的每一存取單元而言，視訊處理器可選擇與該存取單元相關聯且適用於TargetOp的圖像時序SEI訊息(262)。根據本發明之一或多個實例技術，視訊處理器可選擇圖像時序SEI訊息，而不管該圖像時序SEI訊息存在於可調式巢套式SEI訊息中之BitstreamToDecode中或是作為非巢套式圖像時序SEI訊息存在於BitstreamToDecode中。
此外，對於自存取單元0開始之在BitstreamToDecode中的每一存取單元而言，當SubPicCpbFlag等於1且sub_pic_cpb_params_in_pic_timing_sei_flag等於0時，視訊處理器可選擇與該存取單元中之解碼單元相關聯且應用於TargetOp的解碼單元資訊SEI訊息(264)。根據本發明之一或多個實例技術，視訊處理器可選擇解碼單元資訊SEI訊息，而不管該等解碼單元資訊SEI訊息存在於可調式巢套式SEI訊息中之BitstreamToDecode中或是作為非巢套式解碼單元資訊SEI訊息存在於BitstreamToDecode中。SubPicCpbFlag為指示CPB是否經排程以在存取單元級別或子圖像級別操作的變數。sub_pic_cpb_params_in_pic_timing_sei_flag為指示子圖像CPB移除延遲參數是否存在於圖像時序SEI訊息中且解碼單元資訊SEI訊息是否可用的語法元素。
接下來，視訊處理器可選擇SchedSelIdx之值(266)。選定SchedSelIdx在0至cpb_cnt_minus1[HighestTid](包括0及cpb_cnt_minus1[HighestTid])之範圍中，其中cpb_cnt_minus1[HighestTid]被發現於如上文選定之sub_layer_hrd_parameters(HighestTid)語法結構中。cpb_cnt_minus1[ ]為hrd_parameters( )語法結構中的語法元素之陣列。當HighestTid等於i時，cpb_cnt_minus1[i]指示經寫碼視訊序列之位元串流中的替代性CPB規範之數目。
當存取單元0中之經寫碼圖像具有等於CRA_NUT或BLA_W_LP之nal_unit_type且選定緩衝週期SEI訊息中之rap_cpb_params_present_flag等於1時，視訊處理器可選擇初始CPB移除延遲及延遲偏移(268)。緩衝週期SEI訊息可包括initial_cpb_removal_delay[i]語法元素、initial_cpb_removal_offset[i]語法元素及rap_cpb_params_present_flag語法元素。 rap_cpb_params_present_flag語法元素指示initial_alt_cpb_removal_delay[i]及initial_alt_cpb_removal_offset[i]語法元素是否存在於緩衝週期SEI訊息中。initial_cpb_removal_delay[i]及initial_alt_cpb_removal_delay[i]分別指定針對第i個CPB之預設及替代性初始CPB移除延遲。initial_cpb_removal_offset[i]及initial_alt_cpb_removal_offset[i]分別指定針對第i個CPB之預設及替代性初始CPB移除偏移以指定經寫碼資料單元至CPB之初始遞送時間。
對於選擇初始CPB移除延遲及延遲偏移而言，下列中之任一者可適用。首先，視訊處理器可取決於如上文所指定之NalHrdModeFlag來選擇由initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_offset[SchedSelIdx]所表示之預設初始CPB移除延遲及延遲偏移，將變數DefaultInitCpbParamsFlag設定成等於1。第二，視訊處理器可取決於如上文所指定之NalHrdModeFlag來選擇由initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_offset[SchedSelIdx]所表示之替代性初始CPB移除延遲及延遲偏移，將變數DefaultInitCpbParamsFlag設定成等於0，且將與存取單元0相關聯之隨機存取跳過前緣(RASL)存取單元自BitstreamToDecode拋棄且仍將剩餘位元串流指派給BitstreamToDecode。
此外，當選定hrd_parameters( )語法結構中之sub_pic_cpb_params_present_flag等於1時，視訊處理器可排程CPB以在存取單元級別(在該狀況下，將變數SubPicCpbFlag設定成等於0)或在子圖像級別(在該狀況下，將變數SubPicCpbFlag設定成等於1)操作(270)。sub_pic_cpb_params_present_flag為hrd_parameters( )語法結構中之語法元素，其指示是否存在子圖像CPB移除延遲參數及CPB可在存取單元級別或是子圖像級別操作。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括促進電腦程式自一處至另一處之傳送(例如，根據通信協定)的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性之有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例且非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以以指令或資料結構之形式來儲存所要的程式碼且可由電腦存取之任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則將同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係有關非暫時性之有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如以下各者之一或多個處理器來執行指令：一或多個 數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指前述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內或併入於組合式編碼解碼器中。又，該等技術可充分地實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或一組IC(例如，晶片組)。本發明中描述了各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但各種組件、模組或單元未必需要藉由不同硬體單元來實現。相反，如上文所描述，各種單元可組合於編碼解碼器硬體單元中或由互操作之硬體單元之集合(包括如上文所描述之一或多個處理器)結合合適之軟體及/或韌體來提供。
已描述了各種實例。此等及其他實例在以下申請專利範圍之範疇內。
200‧‧‧實例操作

Claims (22)

  1. 一種處理視訊資料之方法，該方法包含：自包括該視訊資料之一經編碼表示的一位元串流獲得一非巢套式補充增強資訊(SEI)訊息，其中該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內，且該非巢套式SEI訊息非為一緩衝週期SEI訊息、一圖像時序SEI訊息或一解碼單元資訊SEI訊息；判定該非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之視訊寫碼層(VCL)網路抽象層(NAL)單元具有等於指定於囊封該非巢套式SEI訊息之一SEI NAL單元中之一層識別符的層識別符，且其中指定於該SEI NAL單元中之一時間識別符必須等於含有該SEI NAL單元的一存取單元之一時間識別符；及部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料。
  2. 如請求項1之方法，其中：該SEI NAL單元包括一NAL單元標頭及一有效負載，該SEI NAL單元之該NAL單元標頭包括至少一第一語法元素及一第二語法元素，該第一語法元素指定該SEI NAL單元之該層識別符，該第二語法元素指定該SEI NAL單元之該時間識別符，且該SEI NAL單元之該有效負載包括該非巢套式SEI訊息。
  3. 如請求項1之方法，其中該非巢套式SEI訊息為以下各者中之一者：一pan-scan矩形SEI訊息，其包括與以不同於輸出圖像之一圖 像縱橫比之一圖像縱橫比顯示相關聯的資料；一填充符有效負載SEI訊息，其包括用於調整一位元速率以符合特定約束之資料；一恢復點SEI訊息，其包括用於清除隨機存取或逐漸解碼再新之資訊；一場景資訊SEI訊息，其包括與場景改變及轉變相關聯之資訊；一圖像快照SEI訊息，其包括將一相關聯之經解碼圖像標記為視訊內容之一靜態影像快照的一指示；一漸進式改進區段開始SEI訊息，其包括與連續圖像之一區段之一開始相關聯的資訊，該等連續圖像表示一圖像而非一移動場景之品質之一漸進式改進；一漸進式改進區段結束SEI訊息，其包括與連續圖像之該區段之一結束相關聯的資訊；一膠捲粒紋特性SEI訊息，其包括與合成膠捲粒紋效應相關聯之資訊；一後濾波暗示SEI訊息，其包括與所建議之後濾波係數相關聯的資訊或用於後濾波設計之相關資訊；一色調映射資訊SEI訊息，其包括與重映射至不同於在編碼中使用或假定之色彩空間之另一色彩空間相關聯的資訊；一圖框封裝配置SEI訊息，其包括與將立體視訊封裝至該位元串流內相關聯的資訊；一顯示定向SEI訊息，其包括指定在顯示該等輸出圖像時待應用於該等輸出圖像之翻轉及/或旋轉的資訊；一圖像結構資訊SEI訊息，其包括描述該位元串流之時間及框間預測結構的資訊； 一有效參數集SEI訊息，其包括關於一有效參數集之資訊；一時間子層零索引SEI訊息，其包括與偵測具有等於0之時間識別符的經寫碼圖像何時遺失相關聯的資訊；或一區域再新資訊SEI訊息，其包括指示該非巢套式SEI訊息所應用之片段區段是否屬於一當前圖像之一經再新區域的資訊。
  4. 如請求項3之方法，其中該方法進一步包含基於該非巢套式SEI訊息之一或多個語法元素來判定用於該非巢套式SEI訊息之一有效負載類型變數，其中：用於該非巢套式SEI訊息之該有效負載類型變數指示該非巢套式SEI訊息之一有效負載類型；且用於該非巢套式SEI訊息之該有效負載類型變數等於2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134。
  5. 如請求項1之方法，其中：該非巢套式SEI訊息為一第一非巢套式SEI訊息；且該方法進一步包含：自該位元串流獲得一第二非巢套式緩衝週期SEI訊息，該第二非巢套式緩衝週期SEI訊息指示假想參考解碼器(HRD)操作之初始延遲，當該第二非巢套式緩衝週期SEI訊息適用於TargetOp時，選擇與該第二非巢套式緩衝週期SEI訊息相關聯之一存取單元作為一HRD初始化點，其中TargetOp為一待解碼之位元串流中的一組層識別符，該待解碼之位元串流為該位元串流或該位元串流之一子串流；及在該選定存取單元處初始化一HRD。
  6. 如請求項1之方法，其中： 該非巢套式SEI訊息為一第一非巢套式SEI訊息；及該方法進一步包含：自該位元串流獲得一第二非巢套式SEI訊息，該第二非巢套式SEI訊息為指示HRD操作之初始延遲的一緩衝週期SEI訊息、指示HRD操作之圖像輸出時間及圖像/子圖像移除時間的一圖像時序SEI訊息或指示HRD操作之子圖像移除時間的一解碼單元SEI訊息，且對於一待解碼之位元串流中之每一各別存取單元而言：當該非巢套式SEI訊息與該各別存取單元相關聯且該非巢套式SEI訊息適用於該待解碼之位元串流中之該組層識別符時，選擇該非巢套式SEI訊息用於該存取單元，其中該待解碼之位元串流為該位元串流或該位元串流之一子位元串流；及關於該各別存取單元而在一HRD操作中使用該非巢套式SEI訊息之一或多個語法元素。
  7. 如請求項1之方法，其中：該非巢套式SEI訊息為一第一非巢套式SEI訊息；及該方法進一步包含：自該位元串流獲得一第二非巢套式SEI訊息，該第二非巢套式SEI訊息為指示HRD操作之初始延遲的一緩衝週期SEI訊息、指示HRD操作之圖像輸出時間及圖像/子圖像移除時間的一圖像時序SEI訊息或指示HRD操作之子圖像移除時間的一解碼單元SEI訊息；判定適用於該第二非巢套式SEI訊息之一操作點，其中適用於該第二非巢套式SEI訊息之該操作點之所有NAL單元的一最高時間識別符等於囊封該第二非巢套式SEI 訊息的一SEI NAL單元之一時間識別符，且其中適用於該第二非巢套式SEI訊息之該操作點之所有該等NAL單元的層識別符之一集合含有在0至囊封該第二非巢套式SEI訊息之該SEI NAL單元之該層識別符的範圍中之所有整數值；及部分地基於該第二非巢套式SEI訊息之一或多個語法元素之值來關於適用於該第二非巢套式SEI訊息之該操作點執行一HRD操作。
  8. 一種視訊處理器件，其包含：一或多個資料儲存媒體，該一或多個資料儲存媒體經組態以儲存經編碼之視訊資料；及一或多個處理器，該一或多個處理器經組態以：自包括該經編碼之視訊資料的一位元串流獲得一非巢套式補充增強資訊(SEI)訊息，其中該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內，且該非巢套式SEI訊息非為一緩衝週期SEI訊息、一圖像時序SEI訊息或一解碼單元資訊SEI訊息；判定該非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之視訊寫碼層(VCL)網路抽象層(NAL)單元具有等於指定於囊封該非巢套式SEI訊息之一SEI NAL單元中之一層識別符的層識別符，且其中指定於該SEI NAL單元中之一時間識別符必須等於含有該SEI NAL單元的一存取單元之一時間識別符；及部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料。
  9. 如請求項8之視訊處理器件，其中： 該SEI NAL單元包括一NAL單元標頭及一有效負載，該SEI NAL單元之該NAL單元標頭包括至少一第一語法元素及一第二語法元素，該第一語法元素指定該SEI NAL單元之該層識別符，該第二語法元素指定該SEI NAL單元之該時間識別符，且該SEI NAL單元之該有效負載包括該非巢套式SEI訊息。
  10. 如請求項8之視訊處理器件，其中該非巢套式SEI訊息為以下各者中之一者：一pan-scan矩形SEI訊息，其包括與以不同於輸出圖像之一圖像縱橫比之一圖像縱橫比顯示相關聯的資料；一填充符有效負載SEI訊息，其包括用於調整一位元速率以符合特定約束之資料；一恢復點SEI訊息，其包括用於清除隨機存取或逐漸解碼再新之資訊；一場景資訊SEI訊息，其包括與場景改變及轉變相關聯之資訊；一圖像快照SEI訊息，其包括將一相關聯之經解碼圖像標記為視訊內容之一靜態影像快照的一指示；一漸進式改進區段開始SEI訊息，其包括與連續圖像之一區段之一開始相關聯的資訊，該等連續圖像表示一圖像而非一移動場景之品質之一漸進式改進；一漸進式改進區段結束SEI訊息，其包括與連續圖像之該區段之一結束相關聯的資訊；一膠捲粒紋特性SEI訊息，其包括與合成膠捲粒紋效應相關聯之資訊；一後濾波暗示SEI訊息，其包括與所建議之後濾波係數相關聯 的資訊或用於後濾波設計之相關資訊；一色調映射資訊SEI訊息，其包括不同於重映射至與在編碼中使用或假定之色彩空間之另一色彩空間相關聯的資訊；一圖框封裝配置SEI訊息，其包括與將立體視訊封裝至該位元串流內相關聯的資訊；一顯示定向SEI訊息，其包括指定在顯示該等輸出圖像時待應用於該等輸出圖像之翻轉及/或旋轉的資訊；一圖像結構資訊SEI訊息，其包括描述該位元串流之時間及框間預測結構的資訊；一有效參數集SEI訊息，其包括關於一有效參數集之資訊；一時間子層零索引SEI訊息，其包括與偵測具有等於0之時間識別符的經寫碼圖像何時遺失相關聯的資訊；或一區域再新資訊SEI訊息，其包括指示該非巢套式SEI訊息所應用之片段區段是否屬於一當前圖像之一經再新區域的資訊。
  11. 如請求項10之視訊處理器件，其中：該一或多個處理器經組態以基於該非巢套式SEI訊息之一或多個語法元素來判定用於該非巢套式SEI訊息之一有效負載類型變數，其中用於該非巢套式SEI訊息之該有效負載類型變數指示該非巢套式SEI訊息之一有效負載類型，且用於該非巢套式SEI訊息之該有效負載類型變數等於2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134。
  12. 如請求項8之視訊處理器件，其中：該非巢套式SEI訊息為一第一非巢套式SEI訊息；且該一或多個處理器另外經組態以：自該位元串流獲得一第二非巢套式緩衝週期SEI訊息，該第 二非巢套式緩衝週期SEI訊息指示假想參考解碼器(HRD)操作之初始延遲，當該第二非巢套式緩衝週期SEI訊息適用於TargetOp時，選擇與該非巢套式緩衝週期SEI訊息相關聯之一存取單元作為一HRD初始化點，其中TargetOp為一待解碼之位元串流中的一組層識別符，該待解碼之位元串流為該位元串流或該位元串流之一子串流；及在該選定存取單元處初始化一HRD。
  13. 如請求項8之視訊處理器件，其中：該非巢套式SEI訊息為一第一非巢套式SEI訊息；及該一或多個處理器另外經組態以：自該位元串流獲得一第二非巢套式SEI訊息，該第二非巢套式SEI訊息為指示HRD操作之初始延遲的一緩衝週期SEI訊息、指示HRD操作之圖像輸出時間及圖像/子圖像移除時間的一圖像時序SEI訊息或指示HRD操作之子圖像移除時間的一解碼單元SEI訊息，及對於一待解碼之位元串流中之每一各別存取單元而言：當該第二非巢套式SEI訊息與該各別存取單元相關聯且該第二非巢套式SEI訊息適用於該待解碼位元串流中之該組層識別符時，選擇該第二非巢套式SEI訊息用於該存取單元，其中該待解碼之位元串流為該位元串流或該位元串流之一子位元串流；及關於該各別存取單元而在一HRD操作中使用該第二非巢套式SEI訊息之一或多個語法元素。
  14. 如請求項8之視訊處理器件，其中：該非巢套式SEI訊息為一第一非巢套式SEI訊息；及 該一或多個處理器另外經組態以：自該位元串流獲得一第二非巢套式SEI訊息，該第二非巢套式SEI訊息為指示HRD操作之初始延遲的一緩衝週期SEI訊息、指示HRD操作之圖像輸出時間及圖像/子圖像移除時間的一圖像時序SEI訊息或指示HRD操作之子圖像移除時間的一解碼單元SEI訊息，及判定適用於該第二非巢套式SEI訊息之一操作點，其中適用於該第二非巢套式SEI訊息之該操作點之所有NAL單元的一最高時間識別符等於囊封該第二非巢套式SEI訊息的一SEI NAL單元之一時間識別符，且其中適用於該第二非巢套式SEI訊息之該操作點之所有該等NAL單元的層識別符之一集合含有在0至囊封該第二非巢套式SEI訊息之該SEI NAL單元之該層識別符的範圍中之所有整數值；及部分地基於該第二非巢套式SEI訊息之一或多個語法元素之值來關於適用於該第二非巢套式SEI訊息之該操作點執行一HRD操作。
  15. 如請求項8之視訊處理器件，其中該一或多個處理器經組態以部分地基於該非巢套式SEI訊息中之該一或多個語法元素來解碼該非巢套式SEI訊息所適用之該位元串流之該層的該視訊資料。
  16. 如請求項8之視訊處理器件，其中該器件包含以下至少一者：一積體電路；一微處理器；或一無線手機。
  17. 如請求項8之視訊處理器件，其進一步包含一顯示器，該顯示器經組態以顯示該經解碼之視訊資料。
  18. 如請求項8之視訊處理器件，其進一步包含一攝影機，該攝影機經組態以俘獲該視訊資料。
  19. 一種視訊處理器件，其包含：用於自包括視訊資料之一經編碼表示的一位元串流獲得一非巢套式補充增強資訊(SEI)訊息之構件，其中該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內，且該非巢套式SEI訊息非為一緩衝週期SEI訊息、一圖像時序SEI訊息或一解碼單元資訊SEI訊息；用於判定該非巢套式SEI訊息適用於其中的該位元串流之一層之構件，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之視訊寫碼層(VCL)網路抽象層(NAL)單元具有等於指定於囊封該非巢套式SEI訊息之一SEI NAL單元中之一層識別符的層識別符，且其中指定於該SEI NAL單元中之一時間識別符必須等於含有該SEI NAL單元的一存取單元之一時間識別符；及用於部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層之視訊資料之構件。
  20. 如請求項19之視訊處理器件，其中：該SEI NAL單元包括一NAL單元標頭及一有效負載，該SEI NAL單元之該NAL單元標頭包括至少一第一語法元素及一第二語法元素，該第一語法元素指定該SEI NAL單元之該層識別符，該第二語法元素指定該SEI NAL單元之該時間識別符，且該SEI NAL單元之該有效負載包括該非巢套式SEI訊息。
  21. 一種電腦可讀儲存媒體，其具有儲存於其上之指令，該等指令 在執行時組態一視訊處理器件以：自包括視訊資料之一經編碼表示的一位元串流獲得一非巢套式補充增強資訊(SEI)訊息，其中該非巢套式SEI訊息未巢套於該位元串流中之另一SEI訊息內，且該非巢套式SEI訊息非為一緩衝週期SEI訊息、一圖像時序SEI訊息或一解碼單元資訊SEI訊息；判定該非巢套式SEI訊息適用於其中的該位元串流之一層，其中該非巢套式SEI訊息適用於以下層：對於該等層而言，該位元串流之視訊寫碼層(VCL)網路抽象層(NAL)單元具有等於指定於囊封該非巢套式SEI訊息之一SEI NAL單元中之一層識別符的層識別符，且其中指定於該SEI NAL單元中之一時間識別符必須等於含有該SEI NAL單元的一存取單元之一時間識別符；及部分地基於該非巢套式SEI訊息中之一或多個語法元素來處理該非巢套式SEI訊息所適用之該位元串流之該層的視訊資料。
  22. 如請求項21之電腦可讀儲存媒體，其中：該SEI NAL單元包括一NAL單元標頭及一有效負載，該SEI NAL單元之該NAL單元標頭包括至少一第一語法元素及一第二語法元素，該第一語法元素指定該SEI NAL單元之該層識別符，該第二語法元素指定該SEI NAL單元之該時間識別符，且該SEI NAL單元之該有效負載包括該非巢套式SEI訊息。
TW103100514A 2013-01-07 2014-01-07 在視訊寫碼中之非巢套式補充增強資訊訊息 TWI523492B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361749786P 2013-01-07 2013-01-07
US14/036,873 US9521393B2 (en) 2013-01-07 2013-09-25 Non-nested SEI messages in video coding

Publications (2)

Publication Number Publication Date
TW201440487A TW201440487A (zh) 2014-10-16
TWI523492B true TWI523492B (zh) 2016-02-21

Family

ID=51060659

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103100514A TWI523492B (zh) 2013-01-07 2014-01-07 在視訊寫碼中之非巢套式補充增強資訊訊息

Country Status (8)

Country Link
US (1) US9521393B2 (zh)
EP (1) EP2941887A1 (zh)
JP (1) JP6235042B2 (zh)
KR (1) KR101776448B1 (zh)
CN (1) CN104919802B (zh)
BR (1) BR112015015802B1 (zh)
TW (1) TWI523492B (zh)
WO (1) WO2014107396A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
EP3058747B1 (en) * 2013-10-15 2019-11-20 Nokia Technologies Oy Scalable video encoding and decoding using syntax element
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US9819948B2 (en) * 2014-06-18 2017-11-14 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
CN111901599B (zh) * 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
EP3010231A1 (en) 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
US10536695B2 (en) 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
US10958989B2 (en) * 2016-02-25 2021-03-23 Synamedia Limited Framework for embedding data in encoded video
EP3226561A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10368099B2 (en) * 2016-08-09 2019-07-30 Qualcomm Incorporated Color remapping information SEI message signaling for display adaptation
GB2554667B (en) * 2016-09-30 2021-10-20 Apical Ltd Image processing
PT3523970T (pt) 2016-10-05 2022-10-07 Dolby Laboratories Licensing Corp Mensagens de informação de volume de cor de origem
US10999605B2 (en) 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
US10764575B2 (en) * 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
CN114402623B (zh) * 2019-04-19 2023-06-09 北京达佳互联信息技术有限公司 用于嵌入图像的补充增强信息消息
KR20210034536A (ko) * 2019-09-20 2021-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN114845112B (zh) * 2019-09-24 2023-04-04 华为技术有限公司 后缀sei消息的可伸缩嵌套的方法、设备、介质、解码器和编码器
WO2021061391A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Hrd parameters for layer based conformance testing
AU2020320295A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Scalable nesting SEI messages for specified layers
WO2021188810A1 (en) * 2020-03-20 2021-09-23 Bytedance Inc. Constraints on reference picture lists for subpictures
JP2023522224A (ja) 2020-04-20 2023-05-29 バイトダンス インコーポレイテッド 参照ピクチャリスト上の制約
JP2023526375A (ja) * 2020-05-22 2023-06-21 北京字節跳動網絡技術有限公司 サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ
EP4140135A4 (en) 2020-05-22 2023-10-11 ByteDance Inc. TECHNIQUES FOR GENERATING A COMPLIANT OUTPUT BIT SUB-STREAM
CR20230152A (es) 2020-05-22 2023-05-15 Ge Video Compression Llc Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video (divisional exp. n°2022-0589)
CN117834916A (zh) 2020-05-22 2024-04-05 字节跳动有限公司 访问单元中图片信息的信令
KR20230020428A (ko) 2020-06-09 2023-02-10 바이트댄스 아이엔씨 서브픽처 서브비트스트림 추출 프로세스에서 추가 향상 정보의 처리
JP2023529421A (ja) * 2020-06-09 2023-07-10 バイトダンス インコーポレイテッド 映像コーディングにおける補足強化情報の制約
KR20230019850A (ko) * 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 레벨 및 버퍼링 정보의 시그널링
CN117528004A (zh) * 2020-06-09 2024-02-06 字节跳动有限公司 多层视频比特流的子比特流提取
EP3972269A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture entity groups in video coding
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams
US11930222B1 (en) * 2021-03-30 2024-03-12 Amazon Technologies, Inc. Encoding video for film grain synthesis
EP4344477A4 (en) * 2021-06-28 2024-05-22 Beijing Bytedance Network Tech Co Ltd IMPROVED SIGNAGE FOR ADDITIONAL IMPROVEMENT INFORMATION
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148909A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
TWI392368B (zh) 2006-11-17 2013-04-01 Lg Electronics Inc 視訊訊號之解碼方法、解碼裝置及其電腦可讀取媒介
US8199796B2 (en) 2006-12-22 2012-06-12 Newport Media, Inc. Physical layer aware video encoding for mobile TV applications
US9179157B2 (en) 2007-01-05 2015-11-03 Thomson Licensing Hypothetical reference decoder for scalable video coding
MX2009007240A (es) 2007-01-08 2009-08-07 Nokia Corp Sistema y procedimiento para proporcionar y usar señalizacion predeterminada de puntos de interoperabilidad para flujos de medios transcodificados.
KR101741050B1 (ko) 2007-04-17 2017-05-29 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
BR122012021796A2 (pt) 2007-10-05 2015-08-04 Thomson Licensing Método para incorporar informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo de múltiplas visualizações (mvc)
TWI353792B (en) 2008-08-07 2011-12-01 Acer Inc Method, program for computer readable media, and p
US9357275B2 (en) 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
KR101678321B1 (ko) * 2012-07-02 2016-11-21 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
BR112015015802A2 (pt) 2017-07-11
KR20150104158A (ko) 2015-09-14
EP2941887A1 (en) 2015-11-11
US20140192149A1 (en) 2014-07-10
JP2016506695A (ja) 2016-03-03
JP6235042B2 (ja) 2017-11-22
CN104919802A (zh) 2015-09-16
US9521393B2 (en) 2016-12-13
CN104919802B (zh) 2018-10-12
BR112015015802B1 (pt) 2022-09-27
WO2014107396A1 (en) 2014-07-10
TW201440487A (zh) 2014-10-16
KR101776448B1 (ko) 2017-09-07

Similar Documents

Publication Publication Date Title
TWI523492B (zh) 在視訊寫碼中之非巢套式補充增強資訊訊息
TWI565299B (zh) 假想參考解碼器參數之語法結構
TWI504238B (zh) 處理視訊資料之方法及器件，以及電腦可讀取儲存媒體
KR102384092B1 (ko) 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스
KR102054040B1 (ko) 멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원
TWI533679B (zh) 在視訊寫碼中之參數集
TWI565305B (zh) 用於處理視訊資料之方法、用於產生含有經編碼視訊資料之一檔案之方法、用於處理視訊資料之器件、用於產生含有經編碼視訊資料之一檔案之器件及非暫時性電腦可讀儲存媒體
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
TW201507441A (zh) 假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性
TW201340723A (zh) 用於三維視訊寫碼之網路抽象層單元標頭設計
EP2820854A1 (en) Bitstream extraction in three-dimensional video