TWI647948B - 假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性 - Google Patents

假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性 Download PDF

Info

Publication number
TWI647948B
TWI647948B TW103119270A TW103119270A TWI647948B TW I647948 B TWI647948 B TW I647948B TW 103119270 A TW103119270 A TW 103119270A TW 103119270 A TW103119270 A TW 103119270A TW I647948 B TWI647948 B TW I647948B
Authority
TW
Taiwan
Prior art keywords
image
reference image
ras
access unit
equal
Prior art date
Application number
TW103119270A
Other languages
English (en)
Other versions
TW201507441A (zh
Inventor
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
王益魁
陳盈
克里序納坎斯 拉帕卡
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201507441A publication Critical patent/TW201507441A/zh
Application granted granted Critical
Publication of TWI647948B publication Critical patent/TWI647948B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種器件,其可基於一值而判定是否一框內隨機存取點(IRAP)存取單元之所有跨層隨機存取跳過(CL-RAS)圖像皆存在於一視訊資料位元串流中。另外,該器件可至少部分地基於自該視訊資料位元串流解碼之語法元素而重新建構該視訊資料之圖像。

Description

假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性
本申請案主張2013年6月3日申請之美國臨時專利申請案第61/830,512號之權利,該案之全部內容以引用方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(personal digital assistant,PDA)、膝上型或桌上型電腦、平板電腦、電子書讀取器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂「智慧型電話」、視訊電傳會議器件、視訊串流器件,及其類似者。數位視訊器件實施諸如以下各者之視訊壓縮技術:描述於由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(Advanced Video Coding,AVC))定義之標準、高效率視訊寫碼(High Efficiency Video Coding,HEVC)標準及此等標準之延伸中的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以縮 減或移除視訊序列中所固有之冗餘。對於以區塊為基礎之視訊寫碼,可將視訊截塊(亦即,視訊圖框或視訊圖框之一部分)分割成視訊區塊。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)截塊中之視訊區塊。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而引起殘餘係數,可接著量化該等殘餘係數。可掃描最初以二維陣列配置之經量化係數以便產生係數之一維向量,且可應用熵寫碼以達成甚至更多壓縮。
可藉由編碼視圖(例如,自多個視點)而產生多視圖寫碼位元串流。已開發使用多視圖寫碼態樣之一些三維(3D)視訊標準。舉例而言,不同視圖可傳輸左眼視圖及右眼視圖以支援3D視訊。替代地,一些3D視訊寫碼程序可應用所謂多視圖加深度寫碼。在多視圖加深度寫碼中,3D視訊位元串流可不僅含有紋理視圖分量,而且含有深度視圖分量。舉例而言,每一視圖可包含一紋理視圖分量及一深度視圖分量。
一般而言,本發明之一或多個技術定義對於一視訊寫碼程序在可未被正確地解碼之增強層圖像不存在於位元串流中時之額外一致性。此外,本發明之一或多個技術定義當解碼一初始框內隨機存取點 (IRAP)存取單元(AU)之一跨層隨機存取跳過(CL-RAS)圖像時且當指示CL-RAS圖像未經輸出時之用於不可用參考圖像之一完整解碼程序,且提供用於當CL-RAS圖像存在或不存在之兩種狀況之假設的參考解碼器(HRD)參數。
在一實例中,本發明描述一種解碼視訊資料之方法,該方法包含:基於一值判定是否一IRAP存取單元之所有CL-RAS圖像皆存在於一視訊資料位元串流中;及至少部分地基於自該視訊資料位元串流解碼之語法元素而重新建構該視訊資料之圖像。
在另一實例中,本發明描述一種處理視訊資料之方法,該方法包含:產生設定指定一IRAP存取單元之CL-RAS圖像是否存在於一位元串流中之一變數的一SEI訊息,該位元串流包括形成經寫碼圖像及相關聯資料之一表示之一位元序列;及將該SEI訊息包括於該位元串流中。
在另一實例中,本發明描述一種器件,其包含:一資料儲存媒體,其經組態以儲存視訊資料;及一或多個處理器,其經組態以:基於一值判定是否一IRAP存取單元之所有CL-RAS圖像皆存在於一視訊資料位元串流中;及至少部分地基於自該視訊資料位元串流解碼之語法元素而重新建構該視訊資料之圖像。
在另一實例中,本發明描述一種器件,其包含:一資料儲存媒體,其經組態以儲存視訊資料;及一或多個處理器,其經組態以:產生設定指定一IRAP存取單元之CL-RAS圖像是否存在於一位元串流中之一變數的一SEI訊息,該位元串流包括形成經寫碼圖像及相關聯資料之一表示之一位元序列;及將該SEI訊息包括於該位元串流中。
在另一實例中,本發明描述一種器件,其包含:用於基於一值判定是否一IRAP存取單元之所有CL-RAS圖像皆存在於一視訊資料位元串流中之構件;及用於至少部分地基於自該視訊資料位元串流解碼 之語法元素而重新建構該視訊資料之圖像之構件。
在另一實例中,本發明描述一種器件,其包含:用於產生設定指定一IRAP存取單元之CL-RAS圖像是否存在於一位元串流中之一變數的一SEI訊息之構件,該位元串流包括形成經寫碼圖像及相關聯資料之一表示之一位元序列;及用於將該SEI訊息包括於該位元串流中之構件。
在另一實例中,本發明描述一種電腦可讀資料儲存媒體,其具有儲存於其上之指令,該等指令在經執行時使得一器件進行以下操作:基於一值判定是否一IRAP存取單元之所有CL-RAS圖像皆存在於一視訊資料位元串流中;及至少部分地基於自該視訊資料位元串流解碼之語法元素而重新建構該視訊資料之圖像。
在另一實例中,本發明描述一種電腦可讀資料儲存媒體,其具有儲存於其上之指令,該等指令在經執行時使得一器件進行以下操作:產生設定指定一IRAP存取單元之CL-RAS圖像是否存在於一位元串流中之一變數的一SEI訊息,該位元串流包括形成經寫碼圖像及相關聯資料之一表示之一位元序列;及將該SEI訊息包括於該位元串流中。
在隨附圖式及下文之描述中闡述本發明之一或多個實例之細節。其他特徵、目標及優點將自該描述、該等圖式以及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重新建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器(CPB)
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重新建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
250A‧‧‧行
250B‧‧‧行
250C‧‧‧行
250D‧‧‧行
252A‧‧‧列
252B‧‧‧列
252C‧‧‧列
252D‧‧‧列
圖1為說明可利用本發明中所描述之技術之實例視訊寫碼系統的方塊圖。
圖2為說明清潔隨機存取(「Clean Random Access,CRA」)圖像及前置圖像的概念圖。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器的方 塊圖。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖C-1為說明用於假設的參考解碼器(「Hypothetical Reference Decoder,HRD」)一致性檢查之位元組串流及網路抽象層(「Network Abstraction Layer,NAL」)單元串流的概念圖。
圖C-2為說明實例HRD緩衝器模型的概念圖。
圖5為根據本發明之一或多個技術的說明CL-RAS圖像之概念圖。
圖6A為根據本發明之一或多個技術的說明視訊編碼器之實例操作的流程圖。
圖6B為根據本發明之一或多個技術的說明器件之實例操作的流程圖。
圖6C為根據本發明之一或多個技術的說明視訊解碼器之實例操作的流程圖。
一般而言,本發明描述用於多層視訊寫碼之技術。如本文所描述,視訊資料位元串流可包含形成經寫碼圖像及相關聯資料之表示的位元序列。該等圖像可屬於不同存取單元及層。屬於同一存取單元之圖像可具有同一輸出時間。屬於不同存取單元之圖像可具有不同輸出時間。在多視圖寫碼中,屬於不同層之圖像可屬於不同視圖。在可調式視訊寫碼中,屬於較高層之圖像可提供增強型視覺品質。
一些圖像為框內隨機存取點(IRAP)圖像。視訊寫碼器可在不參考以解碼次序在IRAP圖像之前出現的任何圖像的情況下解碼IRAP圖像。此外,圖像可包括跨層隨機存取跳過(cross-layer random access skipped,CL-RAS)圖像。在一些實例中,CL-RAS圖像為滿足以下準則中之一者之圖像。首先,圖像並非IRAP圖像,而是處於IRAP存取單 元中。其次,圖像並非IRAP圖像;圖像處於(以解碼次序)在IRAP存取單元之後的存取單元中;圖像處於在層切換IRAP存取單元之前的存取單元中;且圖像處於等於含有層切換IRAP存取單元中之IRAP圖像之層的層中。在一些例子中,因為CL-RAS圖像取決於在前一(或當前)IRAP存取單元之前出現的圖像,所以CL-RAS圖像不能被正確地解碼。在此等實例中,IRAP存取單元可為含有一或多個IRAP圖像之存取單元,且存取單元之基礎層中之圖像為IRAP圖像。此外,在此等實例中,層切換IRAP存取單元可為並非IRAP存取單元但含有至少一IRAP圖像的存取單元。可由於位元串流切換、位元串流內之隨機存取及/或在其他情形下出現CL-RAS圖像。
在一些例子中,器件(例如,具有媒體知識的網路元件(media aware network element,MANE))可自位元串流移除CL-RAS圖像。因為視訊解碼器將不能夠正確地解碼CL-RAS圖像,所以器件可自位元串流自由地移除CL-RAS圖像。有利地,自位元串流移除CL-RAS圖像可縮減位元串流中之資料量。然而,自位元串流移除CL-RAS圖像可導致視訊解碼器(例如,假設的參考解碼器(HRD))在不適當時間自視訊解碼器之經寫碼圖像緩衝器移除經寫碼圖像。舉例而言,視訊解碼器可以一特定速率自經寫碼圖像緩衝器移除經寫碼圖像。在此實例中,視訊解碼器可解碼自經寫碼圖像緩衝器移除之經寫碼圖像。此外,在此實例中,若位元串流不包括用於IRAP存取單元之CL-RAS圖像,則經寫碼圖像緩衝器可包括比視訊解碼器預期之經寫碼圖像少的經寫碼圖像。因此,在此實例中,視訊解碼器自經寫碼圖像緩衝器移除經寫碼圖像之速率可為大的,從而導致位元串流不一致。
因此,根據本發明之一或多個技術,視訊解碼器可基於一值判定IRAP存取單元之所有CL-RAS圖像是否存在於位元串流中。在一些實例中,視訊解碼器可至少部分地基於位元串流之補充增強資訊 (Supplemental Enhancement Information,SEI)訊息中之資料來設定該值。在其他實例中,解碼程序外部之機制可設定該值。此外,在一些實例中,視訊解碼器可在適當時使用不同HRD參數集,此取決於IRAP存取單元之所有CL-RAS圖像是否存在於位元串流中。HRD參數可包括控制視訊解碼器如何自經寫碼圖像緩衝器移除圖像之參數。以此方式,符合視訊寫碼標準之視訊解碼器可能夠解碼包括IRAP存取單元之所有CL-RAS圖像之位元串流及不包括IRAP存取單元之所有CL-RAS圖像之位元串流。
圖1為說明可利用本發明之技術之實例視訊寫碼系統10的方塊圖。如本文所使用,術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中,術語「視訊寫碼」或「寫碼」一般可指視訊編碼或視訊解碼。
如圖1所展示,視訊寫碼系統10包括一源器件12及一目的地器件14。源器件12產生經編碼視訊資料。因此,源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此,目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件,包括桌上型電腦、行動計算器件、筆記型(例如,膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦,或其類似者。
目的地器件14可自源器件12經由頻道16來接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一實例中,頻道16可包含使源器件12能夠將經編碼視訊資料直接即時地傳輸至目的地器件14之一或多個通 信媒體。在此實例中,源器件12可根據諸如無線通信協定之通信標準來調節經編碼視訊資料,且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體,諸如,射頻(radio frequency,RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成以封包為基礎之網路的部分,諸如,區域網路、廣域網路或全域網路(例如,網際網路)。一或多個通信媒體可包括路由器、交換器、基地台,或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中,頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中,目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本機存取式資料儲存媒體,諸如,藍光光碟、DVD、CD-ROM、快閃記憶體,或用於儲存經編碼視訊資料之其他合適數位儲存媒體。
在一另外實例中,頻道16可包括檔案伺服器或儲存由源器件12產生之經編碼視訊資料的另一中間儲存器件。在此實例中,目的地器件14可(例如,經由串流或下載)存取儲存於檔案伺服器或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的某類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、檔案傳送協定(file transfer protocol,FTP)伺服器、網路附接式儲存(network attached storage,NAS)器件,及本機磁碟機。
目的地器件14可經由諸如網際網路連接之標準資料連接而存取經編碼視訊資料。實例類型之資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機,等等),或此兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸,或此兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於視訊 寫碼以支援多種多媒體應用,諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如,經由網際網路)、供儲存於資料儲存媒體上之視訊資料之編碼、儲存於資料儲存媒體上之視訊資料之解碼,或其他應用。在一些實例中,視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅僅為一實例,且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如,視訊編碼或視訊解碼)。在其他實例中,自本機記憶體擷取資料,經由網路或其類似者來串流該資料。視訊編碼器件可編碼資料(例如,視訊資料)且將該資料儲存至記憶體,及/或視訊解碼器件可自記憶體擷取資料(例如,視訊資料)且解碼該資料。在許多實例中,編碼及解碼係藉由彼此不通信但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼該資料的器件來執行。
在圖1之實例中,源器件12包括一視訊源18、一視訊編碼器20,及一輸出介面22。在一些實例中,輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括視訊俘獲器件,例如,視訊攝影機;視訊封存檔,其含有經先前俘獲視訊資料;視訊饋送介面,其用以自視訊內容提供者接收視訊資料;及/或電腦圖形系統,其用於產生視訊資料;或此等視訊資料源之組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中,源器件12直接經由輸出介面22將經編碼視訊資料傳輸至目的地器件14。在其他實例中,亦可將經編碼視訊資料儲存至儲存媒體或檔案伺服器上,以供由目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中,目的地器件14包括一輸入介面28、一視訊解碼器30,及一顯示器件32。在一些實例中,輸入介面28包括接收器及/ 或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或在目的地器件14之外部。一般而言,顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件,諸如,液晶顯示器(liquid crystal display,LCD)、電漿顯示器、有機發光二極體(organic light emitting diode,OLED)顯示器,或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中任一者,諸如一或多個微處理器、數位信號處理器(digital signal processor,DSP)、特殊應用積體電路(application-specific integrated circuit,ASIC)、場可程式化閘陣列(field-programmable gate array,FPGA)、離散邏輯、硬體,或其任何組合。若部分地以軟體來實施技術,則一器件可將用於該軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中,且可使用一或多個處理器以硬體來執行該等指令以執行本發明之技術。前述各者中任一者(包括硬體、軟體、硬體及軟體之組合,等等)可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中,該一或多個編碼器或解碼器中任一者可被整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。
本發明大體上可涉及視訊編碼器20將某些資訊「傳信」至諸如視訊解碼器30之另一器件。術語「傳信」大體上可指語法元素及/或用以解碼經壓縮視訊資料之其他資料之傳達。可即時或近即時地發生此傳達。替代地,可在一時間跨度內發生此傳達,諸如可能在編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生此傳達,接著可由解碼器件在將該等語法元素儲存至此媒體之後的任何時間來擷取。
在一些實例中,視訊編碼器20及視訊解碼器30根據一視訊壓縮 標準而操作,該視訊壓縮標準諸如ISO/IEC MPEG-4視覺及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(Scalable Video Coding,SVC)延伸、多視圖視訊寫碼(Multiview Video Coding,MVC)延伸,及以MVC為基礎之3DV延伸。在一些例子中,符合以MVC為基礎之3DV之任何位元串流總是含有與MVC設定檔(例如,立體聲高設定檔)相符之子位元串流。此外,正在努力產生對H.264/AVC之三維視訊(3DV)寫碼延伸,即,以AVC為基礎之3DV。在其他實例中,視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺及ITU-T H.264、ISO/IEC視覺而操作。
在其他實例中,視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專業團體(Video Coding Experts Group,VCEG)及ISO/IEC動畫專業團體(Motion Picture Experts Group,MPEG)之視訊寫碼聯合合作團隊(Joint Collaboration Team on Video Coding,JCT-VC)開發的高效率視訊寫碼(High Efficiency Video Coding,HEVC)標準而操作。被稱作「HEVC工作草案10」或「HEVC WD10」之HEVC標準草案在Bross等人之「Editors' proposed corrections to HEVC version 1」(2013年4月,韓國仁川,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作團隊(JCT-VC)第13次會議)中得以描述。至少截至2014年5月30日,HEVC工作草案10可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wgll/JCTVC-M0432-v3.zip,該案之全部內容在此以引用方式併入。
此外,正在努力產生針對HEVC之可調式視訊寫碼延伸、多視圖寫碼延伸及3DV延伸。HEVC之3DV延伸可被稱作以HEVC為基礎之3DV、HEVC-3DV,或3D-HEVC。HEVC之多視圖延伸(即,MV-HEVC)亦正由3D視訊寫碼延伸開發聯合合作團隊(JCT-3V)開發。在下 文中被稱作「MV-HEVC WD4」之MV-HEVC近期工作草案(WD)在Tech等人之「MV-HEVC Draft Text 4」(2013年4月,韓國仁川,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作團隊(JCT-VC)第4次會議,文件號JCT3V-D1004_d0(在下文中為「JCT3V-D1004_d0」))中得以描述。至少截至2014年5月30日,JCT3V-D1004_d0可得自http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wgll/JCT3V-D1004-v1.zip,該案之全部內容以引用方式併入本文中。
HEVC之可調式延伸(即,SHVC)亦正由JCT-VC開發。SHVC近期工作草案(WD)在下文中被稱作SHVC WD2,且在Chen等人之「SHVC Working Draft 2」(2013年4月18日至26日,韓國仁川,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作團隊(JCT-VC)第13次會議,文件號JCTVC-M1008_v1(在下文中為「JCTVC-M1008_v1」))中得以描述。至少截至2014年5月30日,JCTVC-M1008_v1可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wgll/JCTVC-M1008-v1.zip。
在HEVC及其他視訊寫碼標準中,視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。一圖像可包括被表示為SL、SCb及SCr之三個樣本陣列。SL為二維亮度樣本陣列(亦即,區塊)。SCb為二維Cb彩度樣本陣列。SCr為二維Cr彩度樣本陣列。彩度樣本亦可在本文中被稱作「色度」樣本。在其他例子中,圖像可為單色且可僅包括亮度樣本陣列。
為了產生圖像之經編碼表示,視訊編碼器20可產生寫碼樹狀結構單元(coding tree unit,CTU)集合。該等CTU中每一者可包含(例如,可為)一亮度樣本寫碼樹狀結構區塊、兩個對應色度樣本寫碼樹狀結構區塊,及用以寫碼該等寫碼樹狀結構區塊之樣本之語法結構。在單色圖像或具有三個分離顏色平面之圖像中,CTU可包含單一寫碼樹狀 結構區塊及用以寫碼該寫碼樹狀結構區塊之樣本之語法結構。寫碼樹狀結構區塊可為N×N樣本區塊。CTU亦可被稱作「樹狀結構區塊」或「最大寫碼單元」(largest coding unit,LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而,CTU未必限於特定大小且可包括一或多個寫碼單元(coding unit,CU)。截塊可包括以掃描次序(例如,光柵掃描次序)連續地排序之整數個CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指一或多個樣本區塊及用以寫碼該一或多個樣本區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(transform unit,TU)、巨集區塊、巨集區塊分割區,等等。在一些上下文中,CTU、CU、PU等等之論述可與巨集區塊或巨集區塊分割區之論述互換。
為了產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹狀結構區塊遞歸式地執行四元樹狀結構分割,以將該等寫碼樹狀結構區塊劃分成若干寫碼區塊,因此,名稱為「寫碼樹狀結構單元」。寫碼區塊可為N×N樣本區塊。CU可包含(例如,可為)具有亮度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之一亮度樣本寫碼區塊及兩個對應色度樣本寫碼區塊,以及用以寫碼該等寫碼區塊之樣本之語法結構。在單色圖像或具有三個分離顏色平面之圖像中,CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本之語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為相同預測被應用之矩形(亦即,正方形或非正方形)樣本區塊。CU之預測單元(PU)可包含(例如,可為)圖像之一亮度樣本預測區塊、兩個對應色度樣本預測區塊,以及用以預測該等預測區塊樣本之語法結構。視訊編碼器20可產生用於CU之每一PU之亮度預測區塊、Cb預測區塊及Cr預測區塊的預測性亮度區塊、Cb區塊及Cr區塊。在 單色圖像或具有三個分離顏色平面之圖像中,PU可包含單一預測區塊及用以預測預測區塊樣本之語法結構。
視訊編碼器20可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊,則視訊編碼器20可基於與PU相關聯之圖像(亦即,含有PU之預測區塊之圖像)之經解碼樣本而產生PU之預測性區塊。
若視訊編碼器20使用框間預測以產生PU之預測性區塊,則視訊編碼器20可基於除了與PU相關聯之圖像以外之一或多個圖像的經解碼樣本而產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU之預測性區塊。當視訊編碼器20使用單向預測以產生用於PU之預測性區塊時,該PU可具有單一運動向量。當視訊編碼器20使用雙向預測以產生用於PU之預測性區塊時,該PU可具有兩個運動向量。
為了執行單向預測或雙向預測,視訊編碼器20可產生用於當前截塊之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。該等參考圖像清單中每一者可包括一或多個參考圖像。當使用單向預測時,視訊編碼器20可在RefPicList0及RefPicList1中之任一者或兩者中搜尋參考圖像以判定參考圖像內之參考位點。此外,當使用單向預測時,視訊編碼器20可至少部分地基於對應於參考位點之樣本而產生用於PU之預測性區塊(亦即,預測性樣本區塊)。此外,當使用單向預測時,視訊編碼器20可產生指示PU之預測區塊與參考位點之間的空間位移之單一運動向量。為了指示PU之預測區塊與參考位點之間的空間位移,運動向量可包括指定PU之預測區塊與參考位點之間的水平位移之水平分量,且可包括指定PU之預測區塊與參考位點之間的垂直位移之垂直分量。
當使用雙向預測以編碼PU時,視訊編碼器20可判定RefPicList0 中之參考圖像中之第一參考位點及RefPicList1中之參考圖像中之第二參考位點。視訊編碼器20可接著至少部分地基於對應於第一參考位點及第二參考位點之樣本而產生用於PU之預測性區塊。此外,當使用雙向預測以編碼PU時,視訊編碼器20可產生指示PU之預測區塊與第一參考位點之間的空間位移之第一運動向量,及指示PU之預測區塊與第二參考位點之間的空間位移之第二運動向量。
在視訊編碼器20產生用於CU之一或多個PU之預測性區塊(例如,亮度預測性區塊、Cb預測性區塊及Cr預測性區塊)之後,視訊編碼器20可產生用於該CU之一或多個殘餘區塊。舉例而言,視訊編碼器20可產生用於CU之亮度殘餘區塊。CU之亮度殘餘區塊中之每一樣本指示CU之預測性亮度區塊中之一者中之亮度樣本與CU之原始亮度寫碼區塊中之對應樣本之間的差。另外,視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中之Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外,視訊編碼器20可使用四元樹狀結構分割以將CU之殘餘區塊(例如,亮度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊)分解成一或多個變換區塊(例如,亮度變換區塊、Cb變換區塊及Cr變換區塊)。變換區塊可為相同變換被應用之矩形樣本區塊。CU之變換單元(TU)可包含(例如,可為)一亮度樣本變換區塊、兩個對應色度樣本變換區塊,及用以變換該等變換區塊樣本之語法結構。因此,CU之每一TU可具有一亮度變換區塊、一Cb變換區塊及一Cr變換區塊(亦即,與一亮度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯)。TU之(亦即,與TU相關聯之)亮度變換區塊可為CU之亮度殘餘區塊之子區塊。Cb變換區 塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個分離顏色平面之圖像中,TU可包含單一樣本變換區塊及用以變換變換區塊樣本之語法結構。
視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生用於該TU之係數區塊。係數區塊可為二維變換係數陣列。變換係數可為純量。舉例而言,視訊編碼器20可將一或多個變換應用於TU之亮度變換區塊以產生用於該TU之亮度係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於該TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於該TU之Cr係數區塊。
在產生一係數區塊(例如,亮度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化該係數區塊。量化大體上係指如下程序:其中量化變換係數以可能地縮減用以表示該等變換係數之資料的量,從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後,視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言,視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(Context-Adaptive Binary Arithmetic Coding,CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼語法元素。
視訊編碼器20可輸出包括經熵編碼語法元素之位元串流。位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元序列。位元串流可包含網路抽象層(NAL)單元序列。NAL單元中每一者可包括一NAL單元標頭且可囊封一原始位元組序列有效負載(raw byte sequence payload,RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定之NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數個位元組之語法結構。在一些例子中,RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言,第一類型之NAL單元可囊封用於圖像參數集(picture parameter set,PPS)之RBSP;第二類型之NAL單元可囊封用於經寫碼截塊之RBSP;第三類型之NAL單元可囊封用於補充增強資訊(SEI)之RBSP;等等。囊封用於視訊寫碼資料之RBSP(相對於用於參數集及SEI訊息之RBSP)之NAL單元可被稱作視訊寫碼層(video coding layer,VCL)NAL單元。在至少一些實例中,SEI含有自VCL NAL單元解碼經寫碼圖像之樣本並非必需的資訊。此外,在至少一些實例中,SEI RBSP可含有一或多個SEI訊息。SEI訊息可為含有SEI之訊息。
HEVC及其他視訊寫碼標準提供各種類型之參數集。舉例而言,視訊參數集(video parameter set,VPS)為包含應用於零或零個以上全部經寫碼視訊序列(coded video sequence,CVS)之語法元素之語法結構。序列參數集(sequence parameter set,SPS)可含有應用於CVS之所有截塊之資訊。SPS可包括識別在SPS為作用中時為作用中之VPS之語法元素。因此,VPS之語法元素相比於SPS之語法元素可大體上更適用。PPS為包含應用於零或零個以上經寫碼圖像之語法元素之語法結構。PPS可包括識別在PPS為作用中時為作用中之SPS之語法元素。截塊之截塊標頭可包括指示在截塊正被寫碼時為作用中之PPS之語法元素。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外,視訊解碼器30可剖析位元串流以自位元串流獲得(例如,解碼)語法元素。視訊解碼器30可至少部分地基於自位元串流獲得(例如,解碼)之語法元素而重新建構視訊資料之圖像。用以重新建構視訊資料之程序可與由視訊編碼器20執行之程序大體上互逆。舉例而言,視訊解碼器30可使用PU之運動向量以判定用於當前CU之PU之預測性區塊。另外,視訊解碼器30可反量化與當前CU之TU相關聯之變換係數區塊。視訊解碼器30可對變換係數區塊執行反變換以重新建構當前CU之 TU(亦即,與當前CU之TU相關聯)之變換區塊。視訊解碼器30可藉由將用於當前CU之PU之預測性區塊之樣本加至當前CU之TU之變換區塊之對應樣本來重新建構當前CU之寫碼區塊。藉由重新建構用於一圖像之每一CU之寫碼區塊,視訊解碼器30可重新建構該圖像。
當視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)開始處理當前圖像時,視訊寫碼器可判定用於當前圖像之五個參考圖像集(reference picture set,RPS)子集:RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetFoll、RefPicSetLtCurr,及RefPicSetLtFoll。用於當前圖像之此等五個RPS子集之聯合可在本文中被稱作用於當前圖像之RPS。RefPicSetStCurrBefore可包括以輸出次序在當前圖像之前出現且可用於由當前圖像參考的短期參考圖像。RefPicStCurrAfter可包括以輸出次序在當前圖像之後出現且可用於由當前圖像參考的短期參考圖像。RefPicSetStFoll可包括未用於由當前圖像參考的短期參考圖像。RefPicSetLtCurr可包括可用於由當前圖像參考的長期參考圖像。RefPicSetLtFoll可包括未用於由當前圖像參考的長期參考圖像。
HEVC及其他視訊寫碼標準提供若干不同截塊類型。此等截塊類型包括I截塊、P截塊,及B截塊。在I截塊中,僅允許框內預測。在P截塊中,允許框內預測及單向框間預測。在B截塊中,允許框內預測、單向框間預測及雙向框間預測。當視訊寫碼器開始寫碼圖像之截塊時,視訊寫碼器可初始化第一參考圖像清單(亦即,清單0)。此外,若當前截塊為B截塊,則視訊寫碼器可初始化第二參考圖像清單(亦即,清單1)。本發明可將清單0稱作「RefPicList0」且可將清單1稱作「RefPicList1」。
為了產生RefPicList0,視訊寫碼器(例如,視訊編碼器或視訊解碼器)可產生RefPicList0之初始版本。在RefPicList0之初始版本中,首 先列出RefPicSetStCurrBefore中之參考圖像,繼之以RefPicSetStCurrAfter中之參考圖像,繼之以RefPicSetLtCurr中之參考圖像(若可用)。在RefPicList0之初始版本中,具有較早輸出次序之短期圖像(亦即,RefPicSetStCurrBefore中之參考圖像)首先以至當前圖像之圖像次序計數(picture order count,POC)距離之升序被插入至RefPicList0中,接著具有較遲輸出次序之短期圖像(亦即,RefPicSetStCurrAfter中之參考圖像)以至當前圖像之POC距離之升序被插入至RefPicList0中,且最後長期圖像(亦即,RefPicSetLtCurr中之參考圖像)被插入於末端處。POC距離為針對圖像之POC值之間的差。POC為與每一圖像相關聯之變數,其指示相對於同一經寫碼視訊序列中之其他圖像之輸出次序位置的以輸出次序之關聯圖像之位置。
相似地,為了產生RefPicList1,視訊寫碼器可產生RefPicList1之初始版本。在RefPicList1之初始版本中,首先列出RefPicSetStCurrAfter中之參考圖像,繼之以RefPictSetStCurrBefore中之參考圖像,繼之以RefPicSetLtCurr中之參考圖像。在RefPicList1之初始版本中,具有較遲輸出次序之短期圖像(亦即,RefPicSetStCurrAfter中之參考圖像)首先以至當前圖像之POC距離之升序被插入至RefPicList1中,接著具有較早輸出次序之短期圖像(亦即,RefPicSetStCurrBefore中之參考圖像)以至當前圖像之POC距離之升序被插入至RefPicList1中,且最後長期圖像(亦即,RefPicSetLtCurr中之參考圖像)被插入於末端處。以此方式,參考圖像清單初始化基於如下三個RPS子集而產生預設清單0及清單1(若截塊為B截塊):RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetLtCurr。
在視訊寫碼器產生參考圖像清單(例如,RefPicList0或RefPicList1)之初始版本之後,視訊寫碼器可修改參考圖像清單中之參考圖像之次序。亦即,視訊寫碼器可執行參考圖像清單修改 (reference picture list modification,RPLM)程序以修改參考圖像清單中之參考圖像之次序。
在多視圖寫碼中,可存在同一場景自不同視點之多個視圖。術語「存取單元」可用以係指對應於同一時間執行個體之圖像集合。因此,視訊資料可被概念化為隨著時間推移出現的一系列存取單元。「視圖分量」可為單一存取單元中之視圖之經寫碼表示。在本發明中,「視圖」可指與同一視圖識別符相關聯的視圖分量序列。
多視圖寫碼支援視圖間預測。視圖間預測相似於用於HEVC中之框間預測,且可使用相同語法元素。然而,當視訊寫碼器對當前視訊單元(諸如,PU)執行視圖間預測時,視訊編碼器20可使用處於相同於當前視訊單元之存取單元中但處於不同視圖中的圖像作為參考圖像。相比而言,習知框間預測僅使用不同存取單元中之圖像作為參考圖像。
在多視圖寫碼中,若視訊解碼器(例如,視訊解碼器30)在不參考任何其他視圖中之圖像的情況下可解碼一視圖中之圖像,則該視圖可被稱作「基礎視圖」。當寫碼非基礎視圖中之一者中之圖像時,視訊寫碼器(諸如,視訊編碼器20或視訊解碼器30)可在一圖像處於不同視圖中但處於相同於視訊寫碼器當前正寫碼的圖像之時間執行個體(亦即,存取單元)內時將該圖像加至參考圖像清單中。與其他框間預測參考圖像類似,視訊寫碼器可將視圖間預測參考圖像插入於參考圖像清單之任何位置處。
NAL單元可包括標頭及有效負載。NAL單元之標頭可包括nuh_reserved_zero_6bits語法元素。在一些實例中,若NAL單元係關於多視圖寫碼、3DV寫碼或可調式視訊寫碼中之基礎層,則NAL單元之nuh_reserved_zero_6bits語法元素等於0。可在不參考一位元串流之任何其他層中之資料的情況下解碼該位元串流之基礎層中之資料。若 NAL單元並不與多視圖寫碼、3DV或可調式視訊寫碼中之基礎層有關,則nuh_reserved_zero_6bits語法元素可具有非零值。具體言之,若一NAL單元並不與多視圖寫碼、3DV或可調式視訊寫碼中之基礎層有關,則NAL單元之nuh_reserved_zero_6bits語法元素指定該NAL單元之層識別符。
此外,可在不參考一層內之其他圖像的情況下解碼該同一層內之一些圖像。因此,可在不影響一層中之其他圖像之可解碼性的情況下自位元串流移除囊封該層之某些圖像之資料的NAL單元。舉例而言,可在不參考具有奇數圖像次序計數(POC)值的圖像的情況下可解碼具有偶數POC值之圖像。移除囊封此等圖像之資料之NAL單元可縮減位元串流之圖框率。可在不參考一層內之其他圖像的情況下解碼的該層內之圖像之子集可在本文中被稱作子層。
NAL單元可包括temporal_id語法元素。NAL單元之temporal_id語法元素指定該NAL單元之時間識別符。若第一NAL單元之時間識別符小於同一層中之第二NAL單元之時間識別符,則可在不參考由第二NAL單元囊封之資料的情況下解碼由第一NAL單元囊封之資料。
位元串流之每一操作點係與一層識別符集合(亦即,nuh_layer_id值集合)及一時間識別符相關聯。層識別符集合可被表示為OpLayerIdSet且時間識別符可被表示為TemporalID。若一NAL單元之層識別符處於一操作點之層識別符集合中且該NAL單元之時間識別符小於或等於該操作點之時間識別符,則該NAL單元屬於該操作點。操作點為與OpLayerIdSet及時間識別符相關聯之位元串流子集。操作點可包括與操作點相關聯之每一NAL單元。操作點不包括與操作點不相關聯之VCL NAL單元。
至少一些視訊寫碼標準指定視訊緩衝模型。在H.264/AVC及HEVC中,緩衝模型被稱作「假設的參考解碼器」或「HRD」。在 HEVC工作草案10中,附件C中描述HRD。HRD描述如何緩衝資料以供解碼及如何緩衝經解碼資料以供輸出。舉例而言,HRD描述經寫碼圖像緩衝器(「coded picture buffer,CPB」)、經解碼圖像緩衝器(「decoded picture buffer,DPB」)及視訊解碼程序之操作。CPB為含有以由HRD指定之解碼次序之存取單元的先進先出緩衝器。DPB為保持經解碼圖像以用於由HRD指定之參考、輸出重新排序或輸出延遲的緩衝器。可數學地指定CPB及DPB之行為。HRD可直接地強加對時序、緩衝區大小及位元速率之約束。此外,HRD可間接地強加對各種位元串流特性及統計之約束。
在H.264/AVC及HEVC中,位元串流一致性及解碼器一致性經指定為HRD規範之部分。換言之,HRD模型指定用以判定位元串流是否符合標準之測試且指定用以判定解碼器是否符合標準之測試。儘管HRD被稱為某種類解碼器,但視訊編碼器通常使用HRD以保證位元串流一致性,而視訊解碼器通常無需HRD。
H.264/AVC及HEVC兩者指定兩種類型之位元串流或HRD一致性,即,類型I及類型II。類型I位元串流為NAL單元串流,其僅含有用於該位元串流中之所有存取單元之VCL NAL單元及填充符資料NAL單元。在至少一些實例中,NAL單元串流為NAL單元序列。類型II位元串流為除了含有用於該位元串流中之所有存取單元之VCL NAL單元及填充符資料NAL單元以外,亦含有以下各者中至少一者的NAL單元串流:除了填充符資料NAL單元以外之額外非VCL NAL單元;及所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes及trailing_zero_8bits語法元素,該等語法元素用NAL單元串流形成位元組串流。
當一器件執行判定位元串流是否符合視訊寫碼標準之位元串流一致性測試時,該器件可選擇該位元串流之一操作點。該器件可接著 判定適用於選定操作點之HRD參數集。該器件可使用適用於選定操作點之HRD參數集以組態HRD之行為。更特定言之,該器件可使用適用HRD參數集以組態HRD之特定組件之行為,該等特定組件諸如,假設的串流排程器(hypothetical stream scheduler,HSS)、CPB、解碼程序、DPB等等。隨後,HSS可根據一特定排程將位元串流之經寫碼視訊資料注入至HRD之CPB中。此外,器件可調用解碼CPB中之經寫碼視訊資料之解碼程序。解碼程序可將經解碼圖像輸出至DPB。在器件經由HRD移動資料時,該器件可判定是否保持滿足特定約束集合。舉例而言,器件可判定在HRD正解碼選定操作點之操作點的同時在CPB或DPB中是否發生溢位或下溢條件。器件可以此方式選擇並處理位元串流之每一操作點。若位元串流之操作點未造成違背約束,則器件可判定出該位元串流符合視訊寫碼標準。
H.264/AVC及HEVC兩者指定兩種類型之解碼器一致性,即,輸出時序解碼器一致性及輸出次序解碼器一致性。主張符合特定設定檔、階層及層級之解碼器能夠成功地解碼符合諸如HEVC之視訊寫碼標準之位元串流一致性要求的所有位元串流。在一些實例中,「設定檔」可指位元串流語法之子集。可在每一設定檔內指定「階層」及「層級」。階層之層級可為對位元串流中之語法元素之值強加的經指定約束集合。此等約束可為對值之簡單限制。替代地,該等約束可採取對值之算術組合(例如,圖像寬度×圖像高度×每秒所解碼圖像之數目)之約束的形式。通常,經指定用於較低階層之層級相比於經指定用於較高階層之層級更受約束。
當器件執行解碼器一致性測試以判定受測試解碼器(decoder under test,DUT)是否符合視訊寫碼標準時,器件可將符合視訊寫碼標準之位元串流提供至HRD及DUT兩者。HRD可以上文關於位元串流一致性測試所描述之方式處理位元串流。器件可判定出在由DUT輸出之 經解碼圖像之次序與由HRD輸出之經解碼圖像之次序匹配的情況下DUT符合視訊寫碼標準。此外,器件可判定出在DUT輸出經解碼圖像之時序與HRD輸出經解碼圖像之時序匹配的情況下DUT符合視訊寫碼標準。
在H.264/AVC模型及HEVC HRD模型中,解碼或CPB移除可以存取單元為基礎。亦即,假定HRD同時解碼完整存取單元且自CPB移除完整存取單元。此外,在H.264/AVC及HEVC HRD模型中,假定圖像解碼係瞬時的。視訊編碼器20可在圖像時序SEI訊息中傳信解碼時間以開始存取單元之解碼。在實務應用中,若符合之視訊解碼器嚴格地遵循傳信之解碼時間以開始存取單元之解碼,則用以輸出一特定經解碼圖像之最早可能時間等於彼特定圖像之解碼時間加解碼彼特定圖像所需要之時間。然而,在真實世界中,解碼圖像所需要之時間不能等於零。
HRD參數可控制HRD之各種態樣。換言之,HRD可依賴於HRD參數。HRD參數可包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲,及DPB大小。視訊編碼器20可在視訊參數集(VPS)及/或序列參數集(SPS)中指定之hrd_parameters( )語法結構中傳信此等HRD參數。個別VPS及/或SPS可包括用於不同HRD參數集之多個hrd_parameters( )語法結構。在一些實例中,視訊編碼器20可在緩衝週期SEI訊息或圖像時序SEI訊息中傳信HRD參數。
如上文所解釋,位元串流之操作點係與層識別符集合(亦即,nuh_reserved_zero_6bits值集合)及時間識別符相關聯。操作點可包括與操作點相關聯之每一NAL單元。操作點可具有不同於原始位元串流的圖框率及/或位元速率。此係因為操作點可不包括原始位元串流之一些圖像及/或一些資料。因此,若視訊解碼器30在處理原始位元串流時待在一特定速率下自CPB及/或DPB移除資料且若視訊解碼器30在 處理操作點時待在同一速率下自CPB及/或DPB移除資料,則視訊解碼器30可自CPB及/或DPB移除過多或過少資料。因此,視訊編碼器20可傳信用於不同操作點之不同HRD參數集。舉例而言,視訊編碼器20可在VPS中包括多個hrd_parameters( )語法結構,該等hrd_parameters( )語法結構包括用於不同操作點之HRD參數。
在HEVC工作草案10(亦被稱作WD10)中,HRD參數集視情況包括為所有時間子層所共有之資訊集合。換言之,HRD參數集可視情況包括適用於包括任何時間子層之操作點之共同語法元素集合。時間子層可為由具有特定TemporalId值之VCL NAL單元及相關聯非VCL NAL單元組成的時間可調式位元串流之時間可調式層。除了共同資訊集合以外,HRD參數集亦可包括特定用於個別時間子層表示之語法元素集合。舉例而言,hrd_parameters( )語法結構可視情況包括為所有子層表示所共有之資訊集合,且總是包括子層特定資訊。因為共同資訊集合係為多個HRD參數集所共有,所以可沒有必要在多個HRD參數集中傳信共同資訊集合。實情為,在HEVC工作草案10中,當HRD參數集為VPS中之第一HRD參數集時,共同資訊可存在於該HRD參數集中,或當HRD參數集係與第一操作點索引相關聯時,共同資訊可存在於該HRD參數集中。舉例而言,HEVC工作草案10(WD10)在hrd_parameters( )語法結構為VPS中之第一hrd_parameters( )語法結構時或在hrd_parameters( )語法結構係與第一操作點索引相關聯時支援共同資訊之存在。
下文之表1為用於HEVC中之hrd_parameters( )語法結構之實例語法結構。
在上文之表1之實例及本發明之其他語法表中,具有類型描述符ue(v)之語法元素可為可變長度無符號整數,其係使用0階指數葛洛姆(Exp-Golomb)寫碼予以編碼,其中左側位元首先被編碼。在表1之實例及以下表中,具有形式u(n)之描述符之語法元素(其中n為非負整數)為長度n之無符號值。
在表1之實例語法中,等於1之語法元素nal_hrd_parameters_present_flag指定NAL HRD參數(與類型II位元串流一致性有關)存在於hrd_parameters( )語法結構中。等於0之nal_hrd_parameters_present_flag指定NAL HRD參數不存在於hrd_parameters( )語法結構中。因此,NAL HRD參數為與類型II位元 串流一致性有關之HRD參數。等於1之語法元素nal_hrd_parameters_present_flag指定VCL HRD參數(與所有位元串流一致性有關)存在於hrd_parameters( )語法結構中。等於0之vcl_hrd_parameters_present_flag指定VCL HRD參數不存在於hrd_parameters( )語法結構中。因此,VCL HRD參數為與所有位元串流一致性有關之HRD參數。
在表1之實例語法中,「if(commonInfPresentFlag){...}」區塊中之語法元素為HRD參數集之共同資訊。換言之,HRD參數集之共同資訊可包括語法元素timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、sub_pic_cpb_params_present_flag、tick_divisor_minus2、du_cpb_removal_delay_length_minus1、bit_rate_scale、cpb_size_scale、initial_cpb_removal_delay_length_minus1、cpb_removal_delay_length_minus1,及dpb_output_delay_length_minus1。
此外,在表1之實例中,語法元素fixed_pic_rate_flag[i]、pic_duration_in_tc_minus1[i]、low_delay_hrd_flag[i]及cpb_cnt_minus1[i]可為子層特定HRD參數集。換言之,hrd_parameters()語法結構之此等語法元素可僅適用於包括特定子層表示之操作點。因此,hrd_parameters()語法結構之HRD參數可除了視情況包括之共同資訊以外亦包括特定用於位元串流之特定子層表示的子層特定HRD參數集。
fixed_pic_rate_flag[i]語法元素可指示當HighestTid等於i時,以輸出次序之任兩個連續圖像之HRD輸出時間之間的時間距離以一特定方式受約束。HighestTid可為識別(例如,操作點之)最高時間子層之變數。pic_duration_in_tc_minus1[i]語法元素可指定當HighestTid等於i時之以經寫碼視訊序列中之輸出次序之任何連續圖像之HRD輸出時間之間的時間距離(以時脈刻度計)。low_delay_hrd_flag[i]語法元素可指定 當HighestTid等於i時之HRD操作模式,如HEVC工作草案10之附件C中所指定。cpb_cnt_minus1[i]語法元素可指定當HighestTid等於i時經寫碼視訊序列之位元串流中之替代CPB規範之數目,其中一個替代CPB規範係指具有一特定CPB參數集之一個特定CPB操作。
視訊編碼器20可使用SEI訊息以在位元串流中包括圖像之樣本值之正確解碼並不需要的後設資料。然而,視訊解碼器30或其他器件出於各種其他目的可使用包括於SEI訊息中之後設資料。舉例而言,視訊解碼器30或另一器件可使用SEI訊息中之後設資料以用於圖像輸出時序、圖像顯示、損耗偵測及誤差隱蔽。
視訊編碼器20可在存取單元中包括一或多個SEI NAL單元。換言之,任何數目個SEI NAL單元可與一存取單元相關聯。此外,每一SEI NAL單元可含有一或多個SEI訊息。HEVC標準描述用於各種類型之SEI訊息之語法及語意。然而,因為SEI訊息不影響正常解碼程序,所以HEVC標準未描述SEI訊息之處置。在HEVC標準中具有SEI訊息之一個原因在於使能夠使用HEVC在不同系統中相等地解譯補充資料。使用HEVC之規範及系統可需要視訊編碼器產生某些SEI訊息或可定義特定類型之所接收SEI訊息之特定處置。下文之表2列出HEVC中指定之SEI訊息且簡要描述其目的。
在HEVC中,每一NAL單元包括指示該NAL單元之NAL單元類型之一語法元素(例如,nal_unit_type)。此外,在HEVC中,視訊解碼器30可基於NAL單元之NAL單元類型而將該NAL單元識別為與複數個圖像類型中之一者相關聯。此等圖像類型可包括瞬時解碼再新(Instantaneous Decoding Refresh,IDR)圖像、清潔隨機存取(Clean Random Access,CRA)圖像、時間子層存取(Temporal Sub-Layer Access,TSA)圖像、斷鏈存取(Broken Link Access,BLA)圖像,及不為IDR圖像、CRA圖像或TSA圖像之經寫碼圖像。
HEVC中之IDR圖像之定義可相似於H.264/AVC中之IDR圖像之定義。相似地,HEVC中之經寫碼圖像之定義可相似於H.264/AVC中之經寫碼圖像之定義。舉例而言,IDR圖像及經寫碼圖像可為自H.264/AVC規範繼承之圖像類型。IDR圖像可造成解碼程序將所有參考圖像標記為「不用於參考」。因為經標記為「不用於參考」之參考圖像可自儲存參考圖像之經解碼圖像緩衝器(DPB)予以移除,所以IDR圖像可清除DPB。可在並不自以解碼次序在一IDR圖像之前的任何圖像進行框間預測的情況下來解碼以解碼次序在該IDR圖像之後之所有經寫碼圖像。以解碼次序之每一經寫碼視訊序列之第一圖像為IDR圖像或BLA圖像,或CRA圖像,其亦為位元串流之第一圖像。當存取單元之經寫碼圖像為IDR圖像時,存取單元可被稱作IDR存取單 元。在一些實例中,經寫碼視訊序列為存取單元序列,其以解碼次序由IDR存取單元、繼之以不為IRAP存取單元(其中NoRaslOutputFlag等於1)的零個或零個以上存取單元(包括直至(但不包括)任何後續IDR存取單元的所有後續存取單元)組成。
CRA圖像類型及TSA圖像類型在HEVC中係新的且在H.264/AVC規範中不可用。CRA圖像類型促進自視訊序列中間的任何隨機存取點(RAP)開始之解碼。將CRA圖像插入於視訊序列中相比於將IDR圖像插入於同一視訊序列中可更有效率。隨機存取為在除了一位元串流之開始以外之一點處開始用於該位元串流之解碼程序之動作。在HEVC中,自CRA圖像開始之位元串流可為符合之位元串流。亦即,以CRA圖像開始之位元串流之部分可符合HEVC規範。TSA圖像可用以指示有效時間子層切換點。
在諸如廣播及串流之視訊應用程式中,使用者可在不同頻道之間切換且跳轉至視訊之特定部分。理想地,應在具有最小延遲量的情況下執行以此方式之頻道切換及跳轉。可藉由以規則時間間隔將隨機存取圖像包括於視訊位元串流中來實現頻道切換及跳轉。IDR圖像可在H.264/AVC及HEVC兩者中用作隨機存取圖像。換言之,H.264/AVC及HEVC兩者中指定之IDR圖像可用於隨機存取。然而,因為IDR圖像開始經寫碼視訊序列且可總是清潔DPB,所以以解碼次序在該IDR圖像之後的圖像不能夠將以解碼次序在該IDR圖像之前解碼的圖像用於參考。因此,依賴於IDR圖像以供隨機存取之位元串流可具有顯著較低寫碼效率(例如,低6%的寫碼效率)。為了改良寫碼效率,HEVC中之CRA圖像可允許以解碼次序在該CRA圖像之後但以輸出次序在該CRA圖像之前的圖像將在該CRA之前解碼的圖像用於參考。
圖2為說明CRA圖像及前置圖像的概念圖。亦即,圍繞CRA圖像之典型預測結構在圖2之實例中被展示。在圖2之實例中,每一平行四 邊形表示一圖像。每一各別平行四邊形內之數字指示由該各別平行四邊形表示之各別圖像之實例POC值。CRA圖像(亦即,圖2之實例中之具有POC值24的圖像)屬於一圖像群組(Group of Picture,GOP),該圖像群組(GOP)含有以解碼次序在該CRA圖像之後但以輸出次序在該CRA圖像之前的其他圖像(亦即,具有POC值17至23之圖像)。此等圖像(亦即,以解碼次序在CRA圖像之後但以輸出次序在CRA圖像之前的圖像)可被稱作CRA圖像之「前置圖像」。視訊解碼器30可在解碼自以解碼次序在當前CRA圖像之前出現的IDR圖像或CRA圖像開始的情況下正確地解碼當前CRA圖像之前置圖像。然而,視訊解碼器30可在發生自當前CRA圖像之隨機存取時不能夠正確地解碼當前CRA圖像之前置圖像。因此,視訊解碼器30可在自當前CRA圖像之隨機存取解碼期間捨棄當前CRA圖像之前置圖像。
當視訊解碼器30在解碼當前圖像時使用參考圖像之不正確解碼之部分時可發生誤差傳播。為了防止來自取決於解碼在何處開始而可能不可用的參考圖像之誤差傳播,GOP中之在CRA圖像之後的圖像皆不可將以解碼次序或輸出次序在CRA圖像之前的任何圖像(包括CRA圖像之前置圖像)用作參考。因此,在圖2之實例中,下一GOP中之以解碼次序及輸出次序兩者在CRA圖像之後的所有圖像不應將以解碼次序或輸出次序在CRA圖像之前的任何圖像用作參考。
復原點SEI訊息可用於H.264/AVC中而以相似於HEVC中之CRA圖像之方式提供隨機存取。換言之,H.264/AVC支援在使用復原點SEI訊息的情況下之相似隨機存取功能性。H.264/AVC解碼器實施可能或可能不支援復原點SEI訊息功能性。在HEVC中,以CRA圖像開始之位元串流被視為係符合的位元串流。當位元串流以CRA圖像開始時,該CRA圖像之前置圖像可指不可用參考圖像,且因此不可被正確地解碼。然而,HEVC指定開始CRA圖像之前置圖像不被輸出,因此名稱 為「清潔隨機存取」。為了建立位元串流一致性要求,HEVC可指定解碼程序以產生用於解碼非輸出前置圖像的不可用參考圖像。然而,符合的解碼器實施不必須遵循彼解碼程序,只要與自位元串流的開始執行解碼程序之情況相比可產生相等輸出即可。在HEVC中,符合的位元串流可根本不包括IDR圖像。
Wang等人之全部內容以引用方式併入本文中的「AHG9:On cross-layer alignments in HEVC 3DV and scalable extensions」(2013年4月,韓國仁川,ITU-T SG 16及ISO/IEC JTC1/SC 29/WG 11之視訊寫碼聯合合作團隊(JCT-VC)第13次會議,文件JCTVC-M0266_v2(在下文中為「JCTVC-M0266_v2」))提供一種用於定義用於跨層隨機存取跳過(CL-RAS)圖像之解碼程序之設計。至少截至2014年5月30日,JCTVC-M0266_v2可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wgll/JCTVC-M0266-v2.zip。
JCTVC-M0266_v2中之設計將IRAP存取單元(AU)定義為包括具有nuh_layer_id等於0的IRAP圖像之所有AU。圖像之nuh_layer_id值可指示該圖像所屬於之層。JCTVC-M0266_v2中之設計亦定義用以詳述自此IRAP存取單元開始之位元串流之解碼之程序的CL-RAS圖像及斷鏈IDR(BL-IDR)圖像。下文中再生一些相關定義。下文之定義之加下劃線部分指示不同於HEVC工作草案10中之對應定義之部分。
存取單元:根據一經指定分類規則彼此相關聯的NAL單元集合以解碼次序係連續的,且含有與同一輸出時間相關聯之所有經寫碼圖像
注意1--除了含有經寫碼圖像之VCL NAL單元以外,存取單元亦可含有非VCL NAL單元。
經寫碼視訊序列(CVS):以解碼次序由 初始IRAP存取單元 、繼之以不為 初始IRAP存取單元 之零個或零個以上存取單元(包括直至(但不 包括)為 初始IRAP存取單元 之任何後續存取單元的所有後續存取單元)組成的存取單元序列。
跨層隨機存取跳過(CL-RAS)圖像:每一VCL NAL單元具有等於CL_RAS_R或CL_RAS_N之nal_unit_type之經寫碼圖像
注意4--當NoClrasOutputFlag等於1時,CL-RAS圖像未經輸出且可未被正確地可解碼,此係因為CL-RAS圖像可含有對不存在於位元串流中之圖像之參考。CL-RAS圖像不用作用於非CL-RAS圖像之解碼程序之參考圖像。
初始框內隨機存取點(IRAP)存取單元:nuh_layer_id等於0的經寫碼圖像具有等於1之NoRaslOutputFlag之IRAP存取單元
瞬時解碼再新(IDR)圖像:每一VCL NAL單元具有等於IDR_W_RADL、IDR_N_LP、BL_IDR_W_RADL或BL_IDR_N_LP之nal_unit_type之IRAP圖像
框內隨機存取點(IRAP)存取單元:nuh_layer_id等於0經寫碼圖像IRAP圖像存取單元
在HEVC工作草案10中,隨機存取跳過前置(random access skipped leading,RASL)圖像為每一VCL NAL單元具有等於RASL_R或RASL_N之nal_unit_type的經寫碼圖像。所有RASL圖像為關聯BLA或CRA圖像之前置圖像。當關聯IRAP圖像具有等於1之NoRaslOutputFlag時,RASL圖像未經輸出且可未被正確地可解碼,此係因為RASL圖像可含有對不存在於位元串流中之圖像之參考。RASL圖像不用作用於非RASL圖像之解碼程序之參考圖像。當存在時,所有RASL圖像以解碼次序在同一關聯IRAP圖像之所有後端圖像之前。
亦即,在HEVC工作草案10中,針對每一IRAP圖像來定義變數NoRaslOutputFlag。當NoRaslOutputFlag等於1時,IRAP圖像開始新的經寫碼視訊序列,且關聯RASL圖像(當存在時)未經輸出。在JCTVC- M0266v2中,NoRaslOutputFlag之定義改變如下:當當前圖像為IRAP圖像時,以下情況適用:[應注意,NoRaslOutputFlag之此定義相同於JCT3V-C1004v4.zip中之定義,但移動至亦適用於nuh_layer_id大於0的IRAP圖像]。
-若具有特定nuh_layer_id之當前圖像為IDR圖像、BLA圖像、以解碼次序在位元串流中之具有彼特定nuh_layer_id之第一圖像或以解碼次序在序列NAL單元末端之後的具有彼特定nuh_layer_id之第一圖像,則變數NoRaslOutputFlag經設定為等於1。
-另外,若本說明書中未指定之一些外部方式可用以將變數HandleCraAsBlaFlag設定至用於當前圖像之值,則變數HandleCraAsBlaFlag經設定為等於由外部方式提供之該值,且變數NoRaslOutputFlag經設定為等於HandleCraAsBlaFlag。
-否則,變數HandleCraAsBlaFlag經設定為等於0且變數NoRaslOutputFlag經設定為等於0。
相似地,為了向解碼程序指示關聯CL-RAS圖像(當存在時)是否被輸出,可將另一變數NoClrasOutputFlag定義如下:當含有當前圖像之存取單元為初始IRAP存取單元時,以下情況適用:
-若當前圖像為BLA圖像、NoRaslOutputFlag等於1之CRA圖像或BL-IDR圖像,則NoClrasOutputFlag等於1。
-另外,若本說明書中未指定之一些外部方式可用以將變數NoClrasOutputFlag設定為等於一值,則變數NoClrasOutputFlag經設定為等於由外部方式提供之該值。
-否則,NoClrasOutputFlag等於0。
解碼程序可經定義為使得當解碼初始IRAP存取單元(AU)之CL-RAS圖像時且當NoClRasOutputFlag等於1時產生不可用參考圖像(相似 於在HEVC WD10中產生不可用參考圖像)。在一些實例中,位元串流不包括經寫碼CL-RAS圖像。然而,一些HRD操作可依賴於包括經寫碼CL-RAS圖像之位元串流。舉例而言,在如HEVC工作草案10之附件C中指定之HRD操作中,在導出CPB到達時間及移除時間時可需要考量含有RASL圖像之存取單元。因此,視訊解碼器可執行一程序以產生此等不可用參考圖像。視訊寫碼器可將所產生不可用參考圖像中之每一像素之每一樣本值設定至一最大值。舉例而言,如HEVC工作草案10之章節8.3.3.2中所描述:當調用此程序時,不可用圖像產生如下:
-用於圖像之樣本陣列SL中之每一元素之值經設定為等於1<<(BitDepthY-1)。
-用於圖像之樣本陣列SCb及SCr中之每一元素之值經設定為等於1<<(BitDepthC-1)。
-預測模式CuPredMode[x][y]經設定為等於MODE_INTRA(對於x=0..pic_width_in_luma_samples-1,y=0..pic_height_in_luma_samples-1)。
全部內容以引用方式併入的於2013年4月16日申請之美國臨時專利申請案61/812,225係關於本發明之一或多個技術。在基於HEVC延伸具有一個以上層之位元串流中,隨機存取點被定義為存取單元中之所有圖像為IRAP圖像的彼等存取單元。此情形強加對隨機存取能力之限定,且亦可需要在nuh_layer_id等於0的圖像為IRAP圖像的彼等存取單元處提供隨機存取能力。美國臨時專利申請案61/812,225定義與含有nuh_layer_id等於0的IRAP圖像之IRAP存取單元相關聯的CL-RAS圖像之概念。為了支援隨機存取能力,將有必要在解碼自nuh_layer_id等於0的圖像為IRAP圖像且存取單元中並非所有圖像皆為IRAP圖像的此AU開始時定義解碼器之行為。美國臨時專利申請案 61/812,225及JCTVC-M0266_v2提供與此情形有關之一些程序。
然而,現有設計(包括提供美國臨時專利申請案61/812,225及JCTVC-M0266_v2之彼等設計)係與一或多個問題相關聯。舉例而言,串流伺服器及媒體感知網路元件(media-aware network element,MANE)可在CL-RAS圖像未被正確地可解碼時(亦即,當NoClrasOutputFlag針對初始IRAP AU等於1時)決定不將此等CL-RAS圖像發送至接收器。為了使符合的解碼器能夠處置位元串流含有此等CL-RAS圖像或不含有此等CL-RAS圖像兩種狀況,需要將兩種狀況之位元串流定義為符合的位元串流且因此需要兩個HRD參數集。否則,僅一種狀況可被定義為符合的位元串流,且因此,需要符合的解碼器之增強以處置位元串流為不符合的位元串流之另一狀況。
在與美國臨時專利申請案61/812,225及JCTVC-M0266_v2相關聯之缺點之另一實例中,為了在解碼初始IRAP AU之CL-RAS圖像時且在NoClRasOutputFlag等於1時產生不可用參考圖像,不僅需要產生RPS子集RefPicSetStFoll及RefPicSetLtFoll,而且需要產生RPS子集RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetLtCurr。若針對RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetLtCurr子集未定義此程序,則不可執行CL-RAS圖像之解碼程序,此係因為在用於框間預測之彼等子集中不存在參考圖像(既不存在原始參考圖像,亦不存在所產生參考圖像)。
本發明定義NoClrasPicPresentFlag以指定是否存在與初始IRAP AU相關聯之CL-RAS圖像。因此,器件(例如,視訊解碼器或其他器件)可基於一值(例如,NoClRasPicPresentFlag)判定IRAP存取單元之所有CL-RAS圖像(亦即,與IRAP存取單元相關聯之所有CL-RAS圖像)是否存在於視訊資料位元串流中。NoClrasPicPresentFlag為可(例如)由外部方式或在SEI訊息中設定之變數。因此,在一些實例中,器件可 至少部分地基於視訊資料位元串流之SEI訊息中之資料來設定值(例如,NoClRasPicPresentFlag)。此外,在一些實例中,值(例如,NoClRasPicPresentFlag)可由用於視訊資料之解碼程序外部之機制(亦即,外部方式)設定。如本發明中之別處所描述,器件可至少部分地基於值(例如,NoClRasPicPresentFlag)來執行CPB操作。
在一些實例中,視訊編碼器20可產生包括形成經寫碼圖像及相關聯資料之表示之位元序列的位元串流。位元串流可包括供接收該位元串流之器件能夠導出指定框內隨機存取點(IRAP)存取單元之跨層隨機存取跳過(CL-RAS)圖像是否存在於該位元串流中之一值(例如,NoClRasPicPresentFlag)的語法元素。視訊編碼器20可輸出該位元串流。在一些實例中,視訊編碼器20(或諸如MANE之另一器件)可產生SEI訊息,該SEI訊息設定指定IRAP存取單元之CL-RAS圖像是否存在於包括形成經寫碼圖像及相關聯資料之表示之位元序列的位元串流中之變數。在一些實例中,器件可在位元串流中包括SEI訊息。
此外,本發明之一些技術定義位元串流之一致性,其中CL-RAS圖像與具有nuh_layer_id等於0且NoRaslOutputFlag等於1的IRAP圖像之初始IRAP存取單元相關聯。緩衝週期SEI訊息中之對應於在CL-RAS圖像不存在於一致性位元串流中時的CPB延遲偏移及DPB延遲偏移之語法元素被傳信。此外,本發明之一些技術定義緩衝週期SEI訊息中之對應於用以考量CL-RAS圖像之移除之替代CPB初始移除延遲值及偏移值之語法元素。另外,本發明之一些技術定義在CL-RAS圖像不存在於符合的位元串流中時使用新近定義之語法元素之CPB行為及DPB行為。
另外,本發明之一些技術定義當解碼初始IRAP AU中之CL-RAS圖像時且當NoClRasOutputFlag等於1時之用於不可用參考圖像之完整產生程序。舉例而言,當CL-RAS圖像未經輸出時(例如,當 NoClRasOutputFlag等於1時)且當當前圖像為初始IRAP存取單元中之CL-RAS圖像時,視訊解碼器(例如,視訊解碼器30)可產生用於CL-RAS圖像之不可用參考圖像。在一些實例中,IRAP存取單元為其中nuh_layer_id等於0的圖像為IRAP圖像的存取單元。初始IRAP存取單元可為其中nuh_layer_id等於0的IRAP圖像具有等於1之NoRaslOutputFlag之IRAP存取單元。
此外,本發明之一些技術定義用以傳信用於IRAP存取單元之替代位元速率及CPB大小參數之新跨層HRD參數SEI訊息。可在對應IRAP存取單元為初始IRAP存取單元(其中不存在關聯CL-RAS圖像)時使用此等參數。
圖3為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。圖3係出於解釋之目的而提供,且不應被視為限制如本發明中所廣泛地例示並描述之技術。出於解釋之目的,本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而,本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中,視訊編碼器20包括一預測處理單元100、一殘餘產生單元102、一變換處理單元104、一量化單元106、一反量化單元108、一反變換處理單元110、一重新建構單元112、一濾波器單元114、一經解碼圖像緩衝器116,及一熵編碼單元118。預測處理單元100包括一框間預測處理單元120及一框內預測處理單元126。框間預測處理單元120包括一運動估計單元122及一運動補償單元124。在其他實例中,視訊編碼器20可包括更多、更少或不同功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可在視訊資料之圖像之截塊中編碼每一CTU。CTU中每一者可與同等大小之亮度寫碼樹狀結構區塊(coding tree block,CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分,預測處理單元100可執行四元樹狀結構分割,以 將CTU之CTB劃分成逐漸較小區塊。較小區塊可為CU之寫碼區塊。舉例而言,預測處理單元100可將與CTU相關聯之CTB分割成四個同等大小之子區塊、將該等子區塊中之一或多者分割成四個同等大小之子子區塊,等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即,經寫碼CU)。作為編碼CU之部分,預測處理單元100可在CU之一或多個PU當中分割與CU相關聯之寫碼區塊。因此,每一PU可與一亮度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。CU之大小可指CU之亮度寫碼區塊之大小,且PU之大小可指PU之亮度預測區塊之大小。在假定特定CU之大小為2N×2N的情況下,視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小以用於框內預測,且支援2N×2N、2N×N、N×2N、N×N之對稱PU大小或相似大小以用於框間預測。視訊編碼器20及視訊解碼器30亦可支援2N×nU、2N×nD、nL×2N、及nR×2N之PU大小之不對稱分割以用於框間預測。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。框間預測處理單元120可對CU之PU執行不同操作,此取決於PU是處於I截塊、P截塊抑或B截塊中。在I截塊中,所有PU被框內預測。因此,若PU處於I截塊中,則框間預測處理單元120對PU不執行框間預測。因此,對於在I模式中編碼之區塊,使用自同一圖框內之經先前編碼相鄰區塊之空間預測來形成預測性區塊。
若PU處於P截塊中,則運動估計單元122可在參考圖像清單(例如,「RefPicList0」)中搜尋參考圖像以尋找用於PU之參考區。用於PU之參考區可為參考圖像內之含有最緊密對應於PU之樣本區塊的樣 本區塊之區。運動估計單元122可產生指示含有用於PU之參考區之參考圖像之RefPicList0中的位置之參考索引。另外,運動估計單元122可產生指示PU之寫碼區塊與相關聯於參考區之參考位點之間的空間位移之運動向量。舉例而言,運動向量可為提供自當前圖像中之座標至參考圖像中之座標之偏移的二維向量。運動估計單元122可輸出參考索引及運動向量作為PU之運動資訊。運動補償單元124可基於由PU之運動向量指示之參考位點處之實際或經內插樣本而產生PU之預測性區塊。
若PU處於B截塊中,則運動估計單元122可對PU執行單向預測或雙向預測。為了對PU執行單向預測,運動估計單元122可搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)之參考圖像以尋找用於PU之參考區。運動估計單元122可輸出如下各者作為PU之運動資訊:指示含有參考區之參考圖像之RefPicList0或RefPicList1中之位置的參考索引;指示PU之預測區塊與相關聯於參考區之參考位點之間的空間位移之運動向量;及指示參考圖像是處於RefPicList0中抑或RefPicList1中之一或多個預測方向指示符。運動補償單元124可至少部分地基於由PU之運動向量指示之參考區處之實際或經內插樣本而產生PU之預測性區塊。
為了對PU執行雙向框間預測,運動估計單元122可搜尋RefPicList0中之參考圖像以尋找用於PU之參考區,且亦可搜尋RefPicList1中之參考圖像以尋找用於PU之另一參考區。運動估計單元122可產生指示含有參考區之參考圖像之RefPicList0及RefPicList1中之位置的參考索引。另外,運動估計單元122可產生指示相關聯於參考區之參考位點與PU之預測區塊之間的空間位移之運動向量。PU之運動資訊可包括參考索引及PU之運動向量。運動補償單元124可至少部分地基於由PU之運動向量指示之參考區處之實際或經內插樣本而 產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括用於PU之預測性區塊以及各種語法元素。框內預測處理單元126可對I截塊、P截塊及B截塊中之PU執行框內預測。
為了對PU執行框內預測,框內預測處理單元126可使用多個框內預測模式以產生用於PU之多個預測性資料集合。相鄰PU可處於該PU上方、處於該PU右上方、處於該PU左上方或處於該PU左側(在假定用於PU、CU及CTU之自左至右、自上至下之編碼次序的情況下)。框內預測處理單元126可使用各種數目個框內預測模式,例如,33個定向框內預測模式。在一些實例中,框內預測模式之數目可取決於PU之預測區塊之大小。
預測處理單元100可自由用於CU之PU之框間預測處理單元120產生之預測性資料或由用於該等PU之框內預測處理單元126產生之預測性資料當中選擇用於該等PU之預測性資料。在一些實例中,預測處理單元100基於預測性資料集合之速率/失真量度來選擇用於CU之PU之預測性資料。選定預測性資料之預測性區塊可在本文中被稱作選定預測性區塊。
殘餘產生單元102可基於CU之寫碼區塊(例如,亮度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)及CU之PU之選定預測性區塊(例如,亮度預測性區塊、Cb預測性區塊及Cr預測性區塊)而產生CU之殘餘區塊(例如,亮度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊)。舉例而言,殘餘產生單元102可產生CU之殘餘區塊使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中之樣本與CU之PU之對應選定預測性區塊中之對應樣本之間的差之值。
變換處理單元104可執行四元樹狀結構分割以將CU之殘餘區塊分 割成CU之TU之變換區塊(亦即,與CU之TU相關聯之變換區塊)。因此,一TU可具有一亮度變換區塊及兩個對應色度變換區塊(亦即,與一亮度變換區塊及兩個對應色度變換區塊相關聯)。CU之TU之亮度及色度變換區塊之大小及位置可能或可能不基於該CU之PU之預測區塊之大小及位置。被稱為「殘餘四元樹狀結構」(residual quad-tree,RQT)之四元樹狀結構可包括與區中每一者相關聯之節點(例如,對應於區中每一者之節點)。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個變換應用於CU之每一TU之變換區塊而產生用於該TU之變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言,變換處理單元104可將離散餘弦變換(discrete cosine transform,DCT)、定向變換或概念上相似之變換應用於變換區塊。在一些實例中,變換處理單元104不將變換應用於變換區塊。在此等實例中,變換區塊可被視為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化程序可縮減與該等變換係數中之一些或全部相關聯之位元深度。舉例而言,可在量化期間將n位元變換係數降值捨位至m位元變換係數,其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與該CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用於與該CU相關聯之係數區塊的量化程度。量化可引入資訊之丟失;因此,經量化變換係數相比於原始變換係數可具有較低精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊,以自係數區塊重新建構殘餘區塊。重新建構單元112可將經重新建構殘餘區塊加至來自由預測處理單元100產生之一或多個預測性區塊之對應樣本,以產生與TU相關聯之經重新建構變換區 塊。藉由以此方式重新建構用於CU之每一TU之變換區塊,視訊編碼器20可重新建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以縮減與CU相關聯之寫碼區塊中之區塊效應假影。經解碼圖像緩衝器116可在濾波器單元114對經重新建構寫碼區塊執行一或多個解區塊操作之後儲存經重新建構寫碼區塊。框間預測處理單元120可使用含有經重新建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外,框內預測處理單元126可使用經解碼圖像緩衝器116中之經重新建構寫碼區塊以對與CU相同圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言,熵編碼單元118可自量化單元106接收係數區塊,且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言,熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(context-adaptive variable length coding,CAVLC)操作、CABAC操作、變數至變數(variable-to-variable,V2V)長度寫碼操作、以語法為基礎之上下文自適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding,SBAC)操作、機率區間分割熵(Probability Interval Partitioning Entropy,PIPE)寫碼操作、指數葛洛姆編碼操作,或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之經熵編碼資料之位元串流。舉例而言,位元串流可包括表示用於CU之RQT之資料。
在一些實例中,由圖3之視訊編碼器20產生之位元串流可包括供接收該位元串流之器件(例如,視訊解碼器30)能夠導出指定IRAP存取單元之CL-RAS圖像是否存在於該位元串流中之值的一或多個語法元素。舉例而言,由視訊編碼器20產生之緩衝週期SEI訊息可包括供接收位元串流之器件能夠導出指定IRAP存取單元之CL-RAS圖像是否存 在於位元串流中之值的一或多個語法元素。
圖4為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。圖4係出於解釋之目的而提供,且不限制如本發明中所廣泛地例示並描述之技術。出於解釋之目的,本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而,本發明之技術可適用於其他寫碼標準或方法。
在圖4之實例中,視訊解碼器30包括一熵解碼單元150、一預測處理單元152、一反量化單元154、一反變換處理單元156、一重新建構單元158、一濾波器單元160,及一經解碼圖像緩衝器162。預測處理單元152包括一運動補償單元164及一框內預測處理單元166。在其他實例中,視訊解碼器30可包括更多、更少或不同功能組件。
經寫碼圖像緩衝器(CPB)151可接收並儲存位元串流之經編碼視訊資料(例如,NAL單元)。熵解碼單元150可自CPB 151接收NAL單元,且可剖析NAL單元以獲得(例如,解碼)語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重新建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼截塊NAL單元。作為解碼位元串流之部分,熵解碼單元150可自經寫碼截塊NAL單元提取並熵解碼語法元素。經寫碼截塊中每一者可包括一截塊標頭及截塊資料。截塊標頭可含有與截塊有關之語法元素。截塊標頭中之語法元素可包括識別與含有截塊之圖像相關聯的PPS之語法元素。
根據本發明之一或多個技術,視訊解碼器30之一或多個組件(例如,熵解碼單元150)可判定一值(例如,NoClRasPicPresentFlag)。此外,根據本發明之一或多個技術,視訊解碼器30可基於該值判定IRAP存取單元之所有CL-RAS圖像是否存在於視訊資料位元串流中。 另外,器件可解碼視訊資料位元串流。
除了自位元串流獲得(例如,解碼)語法元素以外,視訊解碼器30亦可對CU執行重新建構操作。為了對CU執行重新建構操作,視訊解碼器30可對CU之每一TU執行重新建構操作。藉由對CU之每一TU執行重新建構操作,視訊解碼器30可重新建構CU之殘餘區塊。
作為對CU之TU執行重新建構操作之部分,反量化單元154可反量化(亦即,解量化)TU(例如,與TU相關聯)之係數區塊。反量化單元154可使用與TU之CU相關聯之QP值以判定量化程度,且同樣地判定供反量化單元154應用的反量化程度。亦即,可藉由調整當量化變換係數時所使用的QP之值來控制壓縮比(亦即,用以表示原始序列之位元數目與用以表示經壓縮序列之位元數目之比率)。壓縮比亦可取決於所使用之熵寫碼之方法。
在反量化單元154反量化係數區塊之後,反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言,反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維(Karhunen-Loeve)變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若使用框內預測來編碼PU,則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間上相鄰PU之預測區塊而產生用於PU之預測性亮度區塊、Cb區塊及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外,若使用框間預測來編碼PU,則熵解碼單元150可提取用於PU之運動資訊。運動補償單元164可基於PU之運動資訊來判定用於PU之一或 多個參考區。運動補償單元164可基於用於PU之一或多個參考區塊之樣本區塊而產生用於PU之預測性亮度區塊、Cb區塊及Cr區塊。
重新建構單元158可在適用時使用與CU之TU相關聯之變換區塊(例如,亮度變換區塊、Cb變換區塊及Cr變換區塊)及CU之PU之預測性區塊(例如,亮度預測性區塊、Cb預測性區塊及Cr預測性區塊)(亦即,框內預測資料或框間預測資料),以重新建構CU之寫碼區塊(例如,亮度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)。舉例而言,重新建構單元158可將變換區塊(例如,亮度變換區塊、Cb變換區塊及Cr變換區塊)之樣本加至預測性區塊(例如,亮度預測性區塊、Cb預測性區塊及Cr預測性區塊)之對應樣本以重新建構CU之寫碼區塊(例如,亮度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)。
濾波器單元160可執行解區塊操作以縮減與CU之寫碼區塊(例如,亮度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)相關聯之區塊效應假影。視訊解碼器30可將CU之寫碼區塊(例如,亮度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及呈現於顯示器件(諸如,圖1之顯示器件32)上。舉例而言,視訊解碼器30可基於經解碼圖像緩衝器162中之區塊(例如,亮度區塊、Cb區塊及Cr區塊)而對其他CU之PU執行框內預測操作或框間預測操作。以此方式,視訊解碼器30可自位元串流提取係數區塊之變換係數位準;反量化變換係數位準;將變換應用於變換係數位準以產生變換區塊;至少部分地基於變換區塊而產生一或多個寫碼區塊;及輸出一或多個寫碼區塊以用於顯示。
在本發明之技術之第一組實例中,定義與使用之CL-RAS圖像之一致性所需的語法、語意及解碼程序之修改係相對於JCTVC-M0266v2及美國臨時專利申請案61/812,225中所描述之特定程序予以 定義。在此實例中,針對HRD參數所引入之語法元素包括於緩衝週期SEI訊息中。
在本發明之技術之第一組實例中,可提供關聯CL-RAS圖像之以下定義:關聯CL-RAS圖像:用於初始IRAP AU之CL-RAS圖像,其中在layerSetLayerIdList中含有具有層ID值nuh_layer_id之CVS內之CL-RAS圖像,該等圖像在初始IRAP AU中之第一圖像之後且以解碼次序在具有層ID值nuh_layer_id之IRAP圖像之前。
此外,在本發明之技術之第一組實例中,可作出對HEVC工作草案10中所描述之一般解碼程序之以下改變。SHVC及MV-HEVC工作草案定義在相對於HEVC工作草案(例如,HEVC工作草案10)之改變方面的SHVC及MV-HEVC之一些部分。貫穿以下章節,用下劃線標記之段為由JCTVC-M0266v2引入之HEVC工作草案10之語法、語意及解碼程序之額外改變以實施SHVC及/或MV-HEVC。用粗斜體標記之段為由本發明引入之額外改變。用雙方括號標記之斜體字段係由本發明自HEVC工作草案10移除(或在SHVC或MV-HEVC工作草案中引入對HEVC工作草案10之改變)以實施SHVC、MV-HEVC或其他延伸。
8.1 一般解碼程序
至此程序之輸入為位元串流。此程序之輸出為經解碼圖像清單。
待解碼之NAL單元之以nuh_layer_id值之遞增次序指定nuh_layer_id值之清單的層識別符清單TargetDecLayerIdList經指定如下:
-若本說明書中未指定之一些外部方式可用以設定TargetDecLayerIdList,則TargetDecLayerIdList係由外部方式設定。
-另外,若在如子條項C.1中所指定之位元串流一致性測試中調 用解碼程序,則TargetDecLayerIdList經設定為如子條項C.1中所指定。
-否則,TargetDecLayerIdList僅含有等於0的一個nuh_layer_id值。
識別待解碼之最高時間子層之變數HighestTid經指定如下:
-若本說明書中未指定之一些外部方式可用以設定HighestTid,則HighestTid係由外部方式設定。
-另外,若在如子條項C.1中指定之位元串流一致性測試中調用解碼程序,則HighestTid經設定為如子條項C.1中所指定。
-否則,將HighestTid設定為等於sps_max_sub_layers_minus1。
如條項10中指定之子位元串流提取程序應用於位元串流(HighestTid及TargetDecLayerIdList作為輸入),且輸出被指派給被稱作BitstreamToDecode之位元串流。
此子條項之剩餘部分中指定之解碼程序應用於每一經寫碼圖像,其被稱作當前圖像且在BitstreamToDecode中由變數CurrPic表示。
取決於chroma_format_idc之值,當前圖像之樣本陣列之數目如下:
-若chroma_format_idc等於0,則當前圖像係由1個樣本陣列SL組成。
-否則(chroma_format_idc不等於0),當前圖像係由3個樣本陣列SL、SCb、SCr組成。
用於當前圖像之解碼程序將來自條項7之語法元素及大寫字母變數作為輸入。當解釋每一NAL單元中之每一語法元素之語意時,術語「位元串流」(或其部分,例如,位元串流之CVS)係指BitstreamToDecode(或其部分)。
解碼程序經指定成使得所有解碼器將產生數值相等之經裁剪經解碼圖像。產生與由本文所描述之程序產生之經裁剪經解碼圖像相等的經裁剪經解碼圖像(以正確輸出次序或輸出時序)之任何解碼程序符合本說明書之解碼程序要求。
當當前圖像為IRAP圖像時,以下情況適用:
-若具有特定nuh_layer_id之當前圖像為IDR圖像、BLA圖像、以解碼次序在位元串流中之具有彼特定nuh_layer_id之第一圖像或以解碼次序在序列NAL單元末端之後的具有彼特定nuh_layer_id之第一圖像,則變數NoRaslOutputFlag經設定為等於1。
-另外,若本說明書中未指定之一些外部方式可用以將變數HandleCraAsBlaFlag設定至用於當前圖像之值,則變數HandleCraAsBlaFlag經設定為等於由外部方式提供之該值,且變數NoRaslOutputFlag經設定為等於HandleCraAsBlaFlag。
-否則,變數HandleCraAsBlaFlag經設定為等於0且變數NoRaslOutputFlag經設定為等於0。
當含有當前圖像之存取單元為初始IRAP存取單元時,以下情況適用:
-若當前圖像為BLA圖像、NoRaslOutputFlag等於1之CRA圖像或BL-IDR圖像,則NoClrasOutputFlag等於1。
-另外,若本說明書中未指定之一些外部方式可用以將變數NoClrasOutputFlag設定為等於一值,則變數NoClrasOutputFlag經設定為等於由外部方式提供之該值。
-否則,NoClrasOutputFlag等於0。
當當前AU為初始IRAP AU時,NoClrasPicPresentFlag之值係由外部方式指定。NoClrasPicPresentFlag等於0指定與初始IRAP AU相關聯之所有CL-RAS圖像皆不存在於位元串流中。 NoClrasPicPresentFlag等於1指定與初始IRAP AU相關聯之所有CL-RAS圖像皆存在於位元串流中。
替代地,NoClRasPicPresentFlag可藉由作為位元串流之部分而存在的語法元素導出例如,藉由新NAL單元類型值導出,或經由VPS中之旗標導出,經由SEI訊息中(例如,緩衝週期SEI訊息中)之旗標導出。
當當前圖像具有等於0之nuh_layer_id時,調用子條項8.1.1中指定的用於nuh_layer_id等於0的經寫碼圖像之解碼程序。
位元串流一致性之要求為:遵循以下限定:若當前圖像為nuh_layer_id大於0的IRAP圖像,則對於具有層ID值directRefLayerId之當前層之每一直接參考層,在CVS中存在nuh_layer_id值等於directRefLayerId且解碼次序在當前圖像之前的至少一IRAP圖像。
因此,在至少一些實例中,視訊解碼器(或其他器件)可執行位元串流一致性測試以判定視訊資料位元串流是否符合視訊寫碼規範,其中位元串流一致性之要求為;若當前圖像為層識別符大於0的IRAP圖像,則對於當前層之每一直接參考層,在CVS中存在層識別符等於當前層之層識別符且解碼次序在當前圖像之前的至少一IRAP圖像。另外,器件(例如,視訊編碼器20或另一器件)可產生包括VPS之位元串流,該VPS包括供視訊解碼器能夠導出NoClRasPicPresentFlag之語法元素(例如,旗標)。
此外,根據本發明之技術之第一組實例,可作出對提供於HEVC工作草案10中之NAL單元標頭語意之以下改變。
F.7.4.2.2 NAL單元標頭語意
子條項7.4.2.2中之規範在以下修改及添加的情況下適用。
nal_unit_type指定NAL單元中所含有之RBSP資料結構之類型, 如表7-1中所指定。
語意未被指定的具有在UNSPEC48...UNSPEC63之範圍內(包括UNSPEC48與UNSPEC63)之nal_unit_type之NAL單元不應影響本說明書中所指定之解碼程序。
注意1--可使用如由應用程式判定之在UNSPEC48...UNSPEC63之範圍內的NAL單元類型。本說明書中未指定用於此等nal_unit_type值之解碼程序。因為不同應用程式可出於不同目的使用此等NAL單元類型,所以在設計產生具有此等nal_unit_type值之NAL單元之編碼器時及在設計解譯具有此等nal_unit_type值之NAL單元之內容之解碼器時必須特別仔細地實行。
出於除了判定位元串流之解碼單元中之資料之量(如附件C中所指定)以外的目的,解碼器應忽視使用nal_unit_type之經保留值之所有NAI單元的內容(自位元串流移除該等內容且捨棄該等內容)。
注意2--此要求允許進一步定義對本說明書之可相容延伸。
注意3--CRA圖像可具有存在於位元串流中之關聯RASL或RADL圖像。
注意4--nal_unit_type等於BLA_W_LP的BLA圖像可具有存在於位元串流中之關聯RASL或RADL圖像。nal_unit_type等於BLA_W_RADL的BLA圖像不具有存在於位元串流中之關聯RASL圖像,但可具有位元串流中之關聯RADL圖像。nal_unit_type等於BLA_N_LP的BLA圖像不具有存在於位元串流中之關聯前置圖像。
注意5--nal_unit_type等於IDR_N_LP或BL_IDR_N_LP的IDR圖像不具有存在於位元串流中之關聯前置圖像。nal_unit_type等於IDR_W_RADL或BL_IDR_W_RADL的IDR圖像不具有存在於位元串 流中之關聯RASL圖像,但可具有位元串流中之關聯RADL圖像。
注意6--子層非參考圖像不包括於具有同-TemporalId值之任何圖像之RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetLtCurr中任一者中,且可被捨棄,而不影響具有同一TemporalId值之其他圖像之可解碼性。
存取單元中之具有特定nuh_layer_id值之所有經寫碼截塊片段NAL單元應具有同一nal_unit_type值。圖像亦被稱作具有等於圖像之經寫碼截塊片段NAL單元之nal_unit_type的nal_unit_type。
若一圖像具有等於TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、CL_RAS_N、RSV_VCL_N12或RSV_VCL_N14之nal_unit_type,則該圖像為子層非參考圖像。否則,該圖像為子層參考圖像。
若當前存取單元為初始IRAP存取單元,則以下情況適用:
-若當前存取單元中之nuh_layer_id等於RefLayerId[LayerIdInVps[currLayerId]][j]的每一圖像為IRAP圖像(其中j在0至NumDirectRefLayers[LayerIdInVps[currLayerId]]-1的範圍內(包括0與NumDirectRefLayers[LayerIdInVps[currLayerId]]-1))且currLayerId為當前圖像之nuh_layer_id,則當前圖像應為nal_unit_type等於CL_RAS_R的IRAP圖像或CL-RAS圖像。
-否則,當前圖像應為nal_unit_type等於CL_RAS_R的CL-RAS圖像。
另外,以下情況適用:
-若與當前圖像同一層的以解碼次序之前一圖像為CL-RAS圖像,則當前圖像應為CL-RAS圖像或IRAP圖像。
-否則,當前圖像不應為CL-RAS圖像。
在每一層內,除了以解碼次序之位元串流中之第一圖像以外的 每一圖像被視為與以解碼次序之前一IRAP圖像相關聯。
當一圖像為前置圖像時,其應為RADL或RASL圖像。
當一圖像為後端圖像時,其不應為RADL或RASL圖像。
當一圖像為前置圖像時,其以解碼次序應在與同一IRAP圖像相關聯之所有後端圖像之前。
與nal_unit_type等於BLA_W_RADL或BLA_N_LP的BLA圖像相關聯的RASL圖像不應存在於位元串流中。
與IDR圖像相關聯的RASL圖像不應存在於位元串流中。
與nal_unit_type等於BLA_N_LP的BLA圖像相關聯的RADL圖像或與nal_unit_type等於IDR_N_LP或BL_IDR_N_LP的IDR圖像相關聯的RADL圖像不應存在於位元串流中。
注意7--有可能在一IRAP存取單元之位置處藉由捨棄該IRAP存取單元之前的所有存取單元來執行隨機存取(且正確地解碼IRAP圖像及以解碼次序之所有後續非RASL圖像),限制條件為:每一參數集在其需要被啟動時可用(在位元串流中可用或由本說明書中未指定之外部方式可用)。
PicOutputFlag等於1的以解碼次序在IRAP圖像之前的任何圖像應以輸出次序在該IRAP圖像之前且應以輸出次序在與該IRAP圖像相關聯之任何RADL圖像之前。
與CRA或BLA圖像相關聯之任何RASL圖像應以輸出次序在與該CRA或BLA圖像相關聯之任何RADL圖像之前。
與CRA圖像相關聯之任何RASL圖像應以輸出次序在以解碼次序在該CRA圖像之前的任何IRAP圖像之後。
當sps_temporal_id_nesting_flag等於1且TemporalId大於0時,nal_unit_type應等於TSA_R、TSA_N、RADL_R、RADL_N、RASL_R,或RASL_N。
nuh_layer_id指定層之識別符。
當nal_unit_type等於CL_RAS_R、CL_RAS_N、BL_IDR_W_RADL或BL_IDR_N_LP時,nuh_layer_id之值應大於0。
此外,在本發明之技術之第一組實例中,可作出對HEVC工作草案10之VPS、SPS及PPS啟動之以下改變。
F.7.4.2.4.2 VPS、SPS及PPS RBSP及其啟動之次序
子條項7.4.2.4.2中之規範在以下添加的情況下適用。
每一PPS RBSP最初被視為在解碼程序之操作開始時針對nuh_layer_id大於0的任何層皆並非作用中的。至多一個PPS RBSP被視為在解碼程序之操作期間之任何給定時刻針對每一非零nuh_layer_id值係作用中的,且用於一特定非零nuh_layer_id值之任何特定PPS RBSP之啟動會導致撤銷啟動用於彼非零nuh_layer_id值之先前作用中的PPS RBSP(若存在)。
當PPS RBSP(具有一特定pps_pic_parameter_set_id值)針對nuh_layer_id值並非作用中的且其係由經寫碼截塊片段NAL單元(使用等於pps_pic_parameter_set_id之slice_pic_parameter_set_id之值且具有彼nuh_layer_id值)參考時,其針對彼nuh_layer_id值被啟動。此PPS RBSP被稱為針對彼nuh_layer_id值之作用中層PPS RBSP直至藉由啟動用於同一層之另一PPS RBSP而撤銷啟動其為止。具有彼特定pps_pic_parameter_set_id值之PPS RBSP應在其啟動之前可用於解碼程序;包括於TemporalId小於或等於PPS NAL單元之TemporalId的至少一存取單元中或經由外部方式提供。含有針對等於nuhLayerIdA之nuh_layer_id而啟動的PPS RBSP之NAL單元之nuh_layer_id值應小於或等於nuhLayerIdA。同一PPS RBSP可為用於一個以上nuh_layer_id值之作用中層PPS。
含有用於經寫碼圖像之作用中層PPS RBSP的 pps_pic_parameter_set_id之值之任何PPS NAL單元應具有與用於該經寫碼圖像之作用中層PPS RBSP之內容相同的內容,除非其在該經寫碼圖像之最後VCL NAL單元之後且在另一經寫碼圖像之第一VCL NAL單元之前。
每一SPS RBSP最初被視為在解碼程序之操作開始時針對nuh_layer_id大於0的任何層皆並非作用中的。至多一個SPS RBSP被視為在解碼程序之操作期間之任何給定時刻針對每一非零nuh_layer_id值係作用中的,且用於一特定非零nuh_layer_id值之任何特定SPS RBSP之啟動會導致撤銷啟動用於彼非零nuh_layer_id值之先前作用中的SPS RBSP(若存在)。
當SPS RBSP(具有一特定sps_seq_parameter_set_id值)針對nuh_layer_id值已經並非作用中的且其係藉由針對彼nuh_layer_id值之PPS RBSP之啟動來參考(其中pps_seq_parameter_set_id等於sps_seq_parameter_set_id值)時,其係針對彼nuh_layer_id值來啟動。此SPS RBSP被稱為針對彼nuh_layer_id值之作用中層SPS RBSP,直至藉由啟動用於同一層之另一SPS RBSP而撤銷啟動其為止。具有彼特定sps_seq_parameter_set_id值之SPS RBSP應在其啟動之前可用於解碼程序,包括於TemporalId等於0的至少一存取單元中或經由外部方式提供。針對特定nuh_layer_id值之經啟動SPS RBSP應針對具有彼nuh_layer_id值的以解碼次序之圖像序列保持作用中的,該圖像序列自初始IRAP存取單元中或初始IRAP存取單元之後的含有具有nuh_layer_id值之圖像之第一存取單元中具有彼nuh_layer_id值之圖像開始(包括該圖像),直至初始IRAP存取單元中具有彼nuh_layer_id值之下一圖像(不包括該下一圖像)或CVS之末端(無論任何情況皆較早)為止。含有針對等於nuhLayerIdA之nuh_layer_id而啟動的SPS RBSP之NAL單元之nuh_layer_id值應小於或等於nuhLayerIdA。同一 SPS RBSP可為用於一個以上nuh_layer_id值之作用中層SPS。
含有用於作用中層SPS RBSP之sps_seq_parameter_set_id之值之任何SPS NAL單元應具有與作用中層SPS RBSP之內容相同的內容,除非其在需要使該作用中層SPS為作用中的最後經寫碼圖像之後及在啟動同一seq_parameter_set_id值之SPS之第一NAL單元之前。
在用於具有非零nuh_layer_id值之VCL NAL單元之解碼程序之操作期間,實際上考慮針對彼非零nuh_layer_id值之作用中層SPS之參數值及針對彼非零nuh_layer_id值之作用中層PPS RBSP。
在本發明之技術之第一組實例中,可作出對HEVC工作草案10之解碼程序之以下改變以用於開始具有大於0之nuh_layer_id之經寫碼圖像的解碼。
F.8.1.1 用於開始具有大於0之nuh_layer_id之經寫碼圖像之解碼的解碼程序
此子條項中所提及之每一圖像為一完整經寫碼圖像。
解碼程序針對當前圖像CurrPic操作如下:
1. 子條項4中指定NAL單元之解碼。
2. 子條項8.3中之程序指定使用截塊片段層中之語法元素及上述內容之以下解碼程序:
-子條項8.3.1中導出與圖像次序計數有關之變數及函數。此需要僅針對圖像之第一截塊片段予以調用。位元串流一致性之要求為:在同一CVS內具有一特定nuh_layer_id值之兩個圖像之PicOrderCnVal值之間的差針對任何nuh_layer_id值應相同。
-針對nuh_layer_id等於CurrPic之nuh_layer_id的圖像調用子條項8.3.2中之用於RPS之解碼程序,其中參考圖像可被標記為「不用於參考」或「用於長期參考」。此需要僅針對圖像之第一截塊片段予以調用。
-當NoClrasOutputFlag等於1且含有CurrPic之存取單元為初始IRAP存取單元時,調用章節5.7 中所指定之用於產生不可用參考圖像之解碼程序,其需要僅針對圖像之第一截塊片段予以調用。
此外,在本發明之技術之第一組實例中,可作出對HEVC工作草案10之解碼程序之以下改變以用於結束具有大於0之nuh_layer_id之經寫碼圖像的解碼。
F.8.1.1 用於結束具有大於0之nuh_layer_id之經寫碼圖像之解碼的解碼程序
PicOutputFlag經設定如下:
-若當前圖像為RASL圖像且關聯IRAP圖像之NoRaslOutputFlag等於1,則PicOutputFlag經設定為等於0。
-另外,若當前圖像為CL-RAS圖像且NoClrasOutputFlag等於1,則PicOutputFlag經設定為等於0。
-否則,PicOutputFlag經設定為等於pic_output_flag。
以下情況適用:
-經解碼圖像經標記為「用於短期參考」。
-當TemporalId等於HighestTid時,調用子條項F.8.1.2.1中指定的層間預測所不需要的用於子層非參考圖像之標記程序,其中等於nuh_layer_id之latestDecLayerId作為輸入。
另外,在本發明之技術之第一組實例中,可作出對HEVC工作草案10中之不可用參考圖像之產生之以下改變。
8.3.3.1 用於產生不可用參考圖像之一般解碼程序
當當前圖像為BLA圖像或為NoRaslOutputFlag等於1的CRA圖像時每經寫碼圖像調用此程序一次。
注意--此程序主要經指定僅用於RASL圖像之語法約束之規範。用於與具有等於1之NoRaslOutputFlag之IRAP圖像相關聯的RASL 圖像之解碼程序之整個規範係僅出於指定對此等RASL圖像之所允許語法內容之約束之目的而包括於本文中。在解碼程序期間,可忽視與具有等於1之NoRaslOutputFlag之IRAP圖像相關聯的任何RASL圖像,此係因為此等圖像未被指定用於輸出且對經指定用於輸出之任何其他圖像之解碼程序不具有影響。然而,在如附件C中所指定之HRD操作中,在導出CPB到達時間及移除時間時可需要考量RASL圖像。
當調用此程序時,以下情況適用:
-對於等於「無參考圖像」之每一RefPicSetStFoll[i](其中i在0至NumPocStFoll-1之範圍內(包括0與NumPocStFoll-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocStFoll[i]。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於短期參考」。
-RefPicSetStFoll[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於nuh_layer_id。
-對於等於「無參考圖像」之每一RefPicSetLtFoll[i](其中i在0至NumPocLtFoll-1之範圍內(包括0與NumPocLtFoll-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocLtFoll[i]。
-用於所產生圖像之slice_pic_order_cnt_lsb之值經推斷為等於(PocLtFoll[i]*(MaxPicOrderCntLsb-1))。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於長期參考」。
-RefPicSetLtFoll[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於nuh_layer_id。
此外,在本發明之技術之第一組實例中,HEVC工作草案10中之產生用於CL-RAS圖像之不可用參考圖像可改變如下。
當NoClrasOutputFlag等於1且當前圖像為初始IRAP存取單元中之CL-RAS圖像時每經寫碼圖像調用此程序一次。
注意--此程序主要經指定僅用於CL-RAS圖像之語法約束之規範。當NoClrasOutputFlag等於1時用於CL-RAS圖像之解碼程序之整個規範係僅出於指定對此等CL-RAS圖像之所允許語法內容之約束之目的而包括於本文中。在解碼程序期間,當NoClrasOutputFlag等於1時可忽視任何CL-RAS圖像,此係因為此等圖像未被指定用於輸出且對經指定用於輸出之任何其他圖像之解碼程序不具有影響。然而,在如附件C中所指定之HRD操作中,在導出CPB到達時間及移除時間時可需要考量CL-RAS圖像。
當調用此程序時,以下情況適用:
-對於等於「無參考圖像」之每一RefPicSetStCurrBefore[i](其中i在0至NumPocStCurrBefore-1之範圍內(包括0與NumPocStCurrBefore-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocStCurrBefore[i]。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於短期參考」。
-RefPicSetStCurrBefore[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於 nuh_layer_id。
-對於等於「無參考圖像」之每一RefPicSetStCurrAfter[i](其中i在0至NumPocStCurrAfter-1之範圍內(包括0與NumPocStCurrAfter-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocStCurrAfter[i]。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於短期參考」。
-RefPicSetStCurrAfter[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於nuh_layer_id。
-對於等於「無參考圖像」之每一RefPicSetStFoll[i](其中i在0至NumPocStFoll-1之範圍內(包括0與NumPocStFoll-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocStFoll[i]。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於短期參考」。
-RefPicSetStFoll[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於nuh_layer_id。
-對於等於「無參考圖像」之每一RefPicSetLtCurr[i](其中i在0至NumPocLtCurr-1之範圍內(包括0與NumPocLtCurr-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocLtCurr[i]。
-用於所產生圖像之slice_pic_order_cnt_lsb之值經推斷為等於(PocLtCurr[i]*(MaxPicOrderCntLsb-1))。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於長期參考」。
-RefPicSetLtCurr[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於nuh_layer_id。
-對於等於「無參考圖像」之每一RefPicSetLtFoll[i](其中i在0至NumPocLtFoll-1之範圍內(包括0與NumPocLtFoll-1)),產生一圖像,如子條項8.3.3.2中所指定且以下情況適用:
-用於所產生圖像之PicOrderCntVal之值經設定為等於PocLtFoll[i]。
-用於所產生圖像之slice_pic_order_cnt_lsb之值經推斷為等於(PocLtFoll[i]*(MaxPicOrderCntLsb-1))。
-用於所產生圖像之PicOutputFlag之值經設定為等於0。
-所產生圖像經標記為「用於長期參考」。
-RefPicSetLtFoll[i]經設定為所產生參考圖像。
-用於所產生圖像之nuh_layer_id之值經設定為等於nuh_layer_id。
因此,在一些實例中,視訊解碼器30可在解碼用於第一參考圖像子集、第二參考圖像子集、第三參考圖像子集、第四參考圖像子集及第五參考圖像子集之CL-RAS圖像時產生不可用參考圖像。第一參考圖像子集中之每一參考圖像(例如,RefPicSetStCurrBefore)為以輸出次序在當前圖像之前出現的短期參考圖像;第二參考圖像子集中之每一參考圖像(例如,RefPicSetStCurrAfter)為以輸出次序在當前圖像之後出現的短期參考圖像;第三參考圖像子集中之每一參考圖像(例 如,RefPicSetStFoll)為不用於當前圖像之框間預測的短期參考圖像;第四參考圖像子集中之每一參考圖像(例如,RefPicSetLtCurr)為可用於當前圖像之框間預測的長期參考圖像;且第五參考圖像子集中之每一參考圖像(例如,RefPicSetLtFoll)為不用於當前圖像之框間預測的長期參考圖像。
此外,在一些實例中,對於第一參考圖像子集之陣列中之每一各別位置(例如,RefPicSetStBefore[i]),視訊解碼器30可在該各別位置處之條目等於「無參考圖像」的情況下產生以下情況適用之參考圖像:用於所產生參考圖像之圖像次序計數(POC)值等於第一POC值集合(例如,PocStCurrBefore)中之各別位置處之POC值;用於所產生參考圖像之圖像輸出旗標經設定為等於0;所產生參考圖像經標記為用於短期參考;參考圖像子集之陣列中之各別位置經設定至所產生參考圖像;且用於所產生參考圖像之層識別符經設定至當前圖像之層識別符(例如,nuh_layer_id)。此外,對於第二參考圖像子集之陣列中之每一各別位置(例如,RefPicSetStCurrAfter[i]),若該各別位置處之條目等於「無參考圖像],則視訊寫碼器可產生以下情況適用之參考圖像:用於所產生參考圖像之POC值等於第二POC值集合(例如,PocStCurrAfter)中之各別位置處之POC值;用於所產生參考圖像之圖像輸出旗標經設定為等於0;所產生參考圖像經標記為用於短期參考;第二參考圖像子集之陣列中之各別位置經設定至所產生參考圖像;且用於所產生參考圖像之層識別符經設定至當前圖像之層識別符。另外,對於第三參考圖像子集之陣列中之每一各別位置(例如,RefPicSetStFoll[i]),若該各別位置處之條目等於「無參考圖像」,則視訊解碼器可產生以下情況適用之參考圖像:用於所產生參考圖像之POC值等於第三POC值集合(例如,PocStFoll)中之各別位置處之POC值;用於所產生參考圖像之圖像輸出旗標經設定為等於0;所產生參 考圖像經標記為用於短期參考;第三參考圖像子集之陣列中之各別位置經設定至所產生參考圖像;且用於所產生參考圖像之層識別符經設定至當前圖像之層識別符。此外,對於第四參考圖像子集之陣列中之每一各別位置(例如,RefPicSetLtCurr[i]),若該各別位置處之條目等於「無參考圖像」,則視訊解碼器可產生以下情況適用之參考圖像:用於所產生參考圖像之POC值等於第四POC值集合(例如,PocLtCurr)中之各別位置處之POC值;指定用於所產生圖像之POC值之最低有效位元之語法元素(例如,slice_pic_order_cnt_lsb)之值經推斷為等於第四POC值集合中之各別位置處之POC值與由指示允許POC值之最低有效位元具有的最大值之變數(例如,MaxPicOrderCntLsb)減1導致的一值之按位元「及」運算之結果;用於所產生參考圖像之圖像輸出旗標經設定為等於0;所產生參考圖像經標記為用於長期參考;第四參考圖像子集之陣列中之各別位置經設定至所產生參考圖像;且用於所產生參考圖像之層識別符經設定至當前圖像之層識別符。另外,對於第五參考圖像子集之陣列中之每一各別位置(例如,PocSetLtFoll[i]),若該各別位置處之條目等於「無參考圖像」,則視訊解碼器可產生以下情況適用之參考圖像:用於所產生參考圖像之POC值等於第五POC值集合(例如,PocLtFoll)中之各別位置處之POC值;指定用於所產生圖像之POC值之最低有效位元之語法元素(例如,slice_pic_order_cnt_lsb)之值經推斷為等於第五POC值集合中之各別位置處之POC值與由指示允許POC值之最低有效位元具有的最大值之變數(例如,MaxPicOrderCntLsb)減1導致的一值之按位元「及」運算之結果;用於所產生參考圖像之圖像輸出旗標經設定為等於0;所產生參考圖像經標記為用於長期參考;第五參考圖像子集之陣列中之各別位置經設定至所產生參考圖像;且用於所產生參考圖像之層識別符經設定至當前圖像之層識別符。
此外,在本發明之技術之第一組實例中,可作出對HEVC工作草案10之緩衝週期SEI訊息語法之以下改變。
替代地,在一些實例中, irap_cross_layer_cpb_params_present_flag之傳信並不取決於sub_pic_hrd_params_present_flag之值,且在緩衝週期SEI訊息中被獨立地傳信。
此外,根據本發明之技術之第一組實例,可作出對緩衝週期SEI訊息語意之以下改變。
等於1之irap_cross_layer_cpb_params_present_flag指定initial_alt_cross_layer_cpb_removal_delay[i]及initial_alt_cross_layer_cpb_removal_offset[i]語法元素之存在。當該等語法元素不存在時,irap_cross_layer_cpb_params_present_flag之值經推斷為等於0。當關聯圖像既不為CRA圖像亦不為BLA圖像時,irap_cross_layer_cpb_params_present_flag之值應等於0。
注意2--sub_pic_hrd_params_present_flag之值、irap_cpb_params_present_flag之值及irap_cross_layer_cpb_params_present_flag之值中的不超過一者可等於1。
cpb_cross_layer_delay_offset指定待用於導出在與相關聯於緩衝週期SEI訊息之IRAP存取單元相關聯的CL-RAS圖像單元不存在時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間之偏移。語法元素具有由au_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度。當語法元素不存在時,cpb_cross_layer_delay_offset之值經推斷為等於0。
dpb_cross_layer_delay_offset指定待用於導出在與相關聯於緩衝週期SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在時該IRAP存取單元之DPB輸出時間之偏移。語法元素具有由dpb_output_delay_length_minus1+1以位元為單位而給出之長度。當語法元素不存在時,dpb_cross_layer_delay_offset之值經推斷為等於0。
當當前圖像不為以解碼次序之位元串流中之第一圖像時,假設prevNonDiscardablePic為TemporalId等於0的以解碼次序之前一圖像,其不為RASL、RADL或子層非參考圖像。
nal_initial_cpb_removal_delay[i]及nal_initial_alt_cpb_removal_delay[i]分別指定當NAL HRD參數在使用中時針對第i CPB之預設初始CPB移除延遲及替代初始CPB移除延遲。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。語法元素之值應不等於0且應小於或等於90000*(CpbSize[i]÷BitRate[i]),CPB大小之時間當量以90kHz時脈為單位。
nal_initial_alt_cross_layer_cpb_removal_delay[i]指定當NAL HRD參數在使用中時針對第i CPB之替代初始CPB移除延遲。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。語法元素之值應不等於0且應小於或等於90000*(CpbSize[i]÷BitRate[i]),CPB大小之時間當量以90kHz時脈為單位。
nal_initial_cpb_removal_offset[i]及nal_initial_alt_cpb_removal_offset[i]分別指定當NAL HRD參數在使用中時針對第i CPB之預設初始CPB移除偏移及替代初始CPB移除偏移。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。
nal_initial_alt_cross_layer_cpb_removal_offset[i]指定當NAL HRD參數在使用中時針對第i CPB之替代初始CPB移除偏移。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。
遍及整個CVS,nal_initial_cpb_removal_delay[i]與 nal_initial_cpb_removal_offset[i]之和應針對每一i值恆定;nal_initial_alt_cpb_removal_delay[i]與nal_initial_alt_cpb_removal_offset[i]之和應針對每一i值恆定; 且nal_initial_alt_cross_layer_cpb_removal_delay[i]與nal_initial_alt_cross_layer_cpb_removal_offset[i]之和應針對每一i值恆定。
vcl_initial_cpb_removal_delay[i]及vcl_initial_alt_cpb_removal_delay[i]分別指定當VCL HRD參數在使用中時針對第i CPB之預設初始CPB移除延遲及替代初始CPB移除延遲。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。語法元素之值應不等於0且應小於或等於90000*(CpbSize[i]÷BitRate[i]),CPB大小之時間當量以90kHz時脈為單位。
vcl_initial_alt_cross_layer_cpb_removal_delay[i]分別指定當VCL HRD參數在使用中時針對第i CPB之替代初始CPB移除延遲。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。語法元素之值應不等於0且應小於或等於90000*(CpbSize[i]÷BitRate[i]),CPB大小之時間當量以90kHz時脈為單位。
vcl_initial_cpb_removal_Offset[i]及vcl_initial_alt_cpb_removal_offset[i]分別指定當VCL HRD參數在使用中時針對第i CPB之預設初始CPB移除偏移及替代初始CPB移除偏移。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為單位而給出之長度,且以90kHz時脈為單位。
vcl_initial_alt_cross_layer_cpb_removal_offset[i]分別指定當VCL HRD參數在使用中時針對第i CPB之替代初始CPB移除偏移。語法元素具有由initial_cpb_removal_delay_length_minus1+1以位元為 單位而給出之長度,且以90kHz時脈為單位。
遍及整個CVS,vcl_initial_cpb_removal_delay[i]與vcl_initial_cpb_removal_offset[i]之和應針對每一i值恆定;vcl_initial_alt_cpb_removal_delay[i]與vcl_initial_alt_cpb_removal_offset[i]之和應針對每一i值恆定; 且vcl_initial_alt_cross_layer_cpb_removal_delay[i]與vcl_initial_alt_cross_layer_cpb_removal_offset[i]之和應針對每一i值恆定。
注意4--編碼器被推薦在與CRA或BLA圖像(其關聯RASL圖像中之至少一者以解碼次序在其關聯RADL圖像中之一或多者之後)相關聯之緩衝週期SEI訊息中不包括等於1之irap_cpb_params_present_flag。
緩衝週期SEI訊息中之其餘語法元素之語意保持不變。
替代地,在hrd_parameters( )語法結構中傳信指定語法元素之長度(以位元為單位)之額外語法元素: cpb_cross_layer_delay_offset dpb_cross_layer_delay_offset、nal_initial_alt_cross_layer_cpb_removal_delay[i]、nal_initial_alt_cross_layer_cpb_removal_offset[i]、vcl_initial_alt_cross_layer_cpb_removal_delay[i],及vcl_initial_alt_cross_layer_cpb_removal_offset[i]。
因此,在一些實例中,視訊解碼器30可自經寫碼視訊位元串流之SEI訊息獲得第一語法元素(例如,irap_cross_layer_cpb_params_present_flag),該第一語法元素指定第二替代CPB移除延遲語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_delay)及第三替代CPB移除偏移語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_offset)是否存在於SEI訊息中。第二替代CPB移除延遲語法元素可指定當NAL HRD參數在使用中時針對CPB之替代初始CPB移除延遲。第三替代CPB移除偏移語法元素指定當NAL HRD參數在使用中時針對CPB之替代初始CPB移除偏移。另外,視訊解碼器30可自SEI訊息獲得指定偏移之CPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間。視訊解碼器30亦可自SEI訊息獲得指定偏移之經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時該等IRAP存取單元之DPB輸出時間。
相似地,在一些實例中,器件(例如,視訊編碼器20)產生包括第一語法元素(例如,irap_cross_layer_cpb_params_present_flag)之SEI訊息,該第一語法元素指定第二替代CPB移除延遲語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_delay)及第三替代CPB移除偏移語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_offset)是否存在於SEI訊息中。第二替代CPB移除延遲語法元素指定當NAL HRD參數在使用中時針對CPB之替代初始CPB移除延遲。第三替代CPB移除偏移語法元素指定當NAL HRD參數在使用中時針對CPB之替代初始CPB移除偏移。SEI訊息包括指定偏移之CPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間。SEI訊息包括指定偏移之DPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時該IRAP存取單元之DPB輸出時間。
此外,在一些實例中,視訊解碼器30可自經寫碼視訊位元串流 之SEI訊息獲得第一語法元素(例如,irap_cross_layer_cpb_params_present_flag),該第一語法元素指定第二替代CPB移除延遲語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_delay)及第三替代CPB移除偏移語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_offset)是否存在於SEI訊息中。第二替代CPB移除延遲語法元素可指定當VCL HRD參數在使用中時針對CPB之替代初始CPB移除延遲。第三替代CPB移除偏移語法元素指定當VCL HRD參數在使用中時針對CPB之替代初始CPB移除偏移。另外,視訊解碼器30可自SEI訊息獲得指定偏移之CPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間。視訊解碼器30亦可自SEI訊息獲得指定偏移之DPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時該等IRAP存取單元之DPB輸出時間。
相似地,在一些實例中,器件(例如,視訊編碼器20)產生包括第一語法元素(例如,irap_cross_layer_cpb_params_present_flag)之SEI訊息,該第一語法元素指定第二替代CPB移除延遲語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_delay)及第三替代CPB移除偏移語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_offset)是否存在於SEI訊息中。第二替代CPB移除延遲語法元素指定當VCL HRD參數在使用中時針對CPB之替代初始CPB移除延遲。第三替代CPB移除偏移語法元素指定當VCL HRD參數在使用中時針對CPB之替代初始CPB移除偏移。SEI訊息包括指定偏移之CPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相 關聯的CL-RAS圖像不存在於視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間。SEI訊息包括指定偏移之DPB跨層延遲偏移語法元素,該偏移待用於導出在與相關聯於SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於視訊資料位元串流中時該IRAP存取單元之DPB輸出時間。
此外,在本發明之技術之第一組實例中,可作出對HEVC工作草案10之附件C之以下改變。
此附件指定假設的參考解碼器(HRD)及其用以檢查位元串流及解碼器一致性之用途。
兩種類型之位元串流或位元串流子集經受針對本說明書之HRD一致性檢查。第一類型(被稱為類型I位元串流)為NAL單元串流,其僅含有用於該位元串流中之所有存取單元之VCL NAL單元及nal_unit_type等於FD_NUT(填充符資料NAL單元)之NAL單元。第二類型(亦被稱為類型II位元串流)除了含有用於該位元串流中之所有存取單元之VCL NAL單元及填充符資料NAL單元以外,亦含有以下各者中至少一者:-除了填充符資料NAL單元以外之額外非VCL NAL單元;-所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素,該等語法元素用NAL單元串流形成位元組串流(如附件B中所指定)。
圖C-1展示由HRD檢查之位元串流一致性點的類型。
HRD所需要的非VCL NAL單元之語法元素(或非VCL NAL單元之用於一些語法元素之預設值)經指定於條項7之語意子條項、附件D及E中。
使用兩種類型之HRD參數集(NAL HRD參數及VCL HRD參數)。HRD參數集係經由hrd_parameters( )語法結構予以傳信,該 hrd_parameters( )語法結構可為SPS語法結構或VPS語法結構之部分。
可需要多個測試以用於檢查位元串流之一致性,該位元串流被稱作受測試位元串流。對於每一測試,以下步驟以所列出之次序應用:
1. 選擇被表示為TargetOp之受測試操作點。TargetOp之層識別符清單OpLayerIdList係由存在於與TargetOp相關聯之位元串流子集中的以nuh_layer_id值之遞增次序之nuh_layer_id值之清單組成,其為存在於受測試位元串流中之nuh_layer_id值之子集。TargetOp之OpTid等於存在於與TargetOp相關聯之位元串流子集中之最高TemporalId。
2. TargetDecLayerIdList經設定為等於TargetOp之OpLayerIdList;HighestTid經設定為等於TargetOp之OpTid;且調用如條項10中所指定之子位元串流提取程序,其中受測試位元串流、HighestTid及TargetDecLayerIdList作為輸入,且將輸出指派給BitstreamToDecode。
3. 選擇適用於TargetOp之hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構。若TargetDecLayerIdList含有存在於受測試位元串流中之所有nuh_layer_id值,則選擇作用中SPS中(或經由本說明書中未指定之外部方式而提供)之hrd_parameters( )語法結構。否則,選擇應用於TargetOp之作用中VPS中(或經由本說明書中未指定之一些外部方式而提供)之hrd_parameters( )語法結構。在選定hrd_parameters( )語法結構內,若BitstreamToDecode為類型I位元串流,則選擇直接遵循條件「if(vcl_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構且變數NalHrdModeFlag經設定為等於0;否則(BitstreamToDecode為類型II位元串流),選擇直接遵循條件「if(vcl_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構(在此狀況下,變數 NalHrdModeFlag經設定為等於0)或直接遵循條件「if(nal_hrd_parameters_present_flag)」之sub_layer_hrd_Parameters(HighestTid)語法結構(在此狀況下,變數NalHrdModeFlag經設定為等於1)。當BitstreamToDecode為類型II位元串流且NalHrdModeFlag等於0時,自BitstreamToDecode捨棄除了填充符資料NAL單元以外之所有非VCL NAL單元以及用NAL單元串流形成位元組串流之所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素(如附件B中所指定)(當存在時),且將剩餘位元串流指派給BitstreamToDecode。
4. 選擇與適用於TargetOp之緩衝週期SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到)相關聯之存取單元作為HRD初始化點且將該存取單元稱作存取單元0。
5. 對於自存取單元0開始之BitstreamToDecode中之每一存取單元,選擇與存取單元相關聯且應用於TargetOp之緩衝週期SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到);選擇與存取單元相關聯且應用於TargetOp之圖像時序SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到);且當SubPicHrdFlag等於1且sub_pic_cpb_params_in_pic_timing_sei_flag等於0時,選擇與存取單元中之解碼單元相關聯且應用於TargetOp之解碼單元資訊SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到)。
6. 選擇SchedSelIdx之值。選定SchedSelIdx應在0至cpb_cnt_minus1[HighestTid]之範圍內(包括0與cpb_cnt_minus1[HighestTid]),其中在如上文所選擇之sub_layer_hrd_parameters(HighestTid)語法結構中找到cpb_cnt_minus1[HighestTid]。
7. 當存取單元0中之經寫碼圖像具有等於CRA_NUT或BLA_W_LP之nal_unit_type且選定緩衝週期SEI訊息中之irap_cpb_params_present_flag等於1時,以下情況中任一者應用於初始CPB移除延遲及延遲偏移之選擇:
-若NalHrdModeFlag等於1,則在選定緩衝週期SEI訊息中選擇分別由nal_initial_cpb_removal_delay[SchedSelIdx]及nal_initial_cpb_removal_offset[SchedSelIdx]表示之預設初始CPB移除延遲及延遲偏移。否則,在選定緩衝週期SEI訊息中選擇分別由vcl_initial_cpb_removal_delay[SchedSelIdx]及vcl_initial_cpb_removal_offset[SchedSelIdx]表示之預設初始CPB移除延遲及延遲偏移。變數DefaultInitCpbParamsFlag經設定為等於1。
-若NalHrdModeFlag等於1,則在選定緩衝週期SEI訊息中選擇分別由nal_initial_alt_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cpb_removal_offset[SchedSelIdx]表示之替代初始CPB移除延遲及延遲偏移。否則,在選定緩衝週期SEI訊息中選擇分別由vcl_initial_alt_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cpb_removal_offset[SchedSelIdx]表示之替代初始CPB移除延遲及延遲偏移。變數DefaultInitCpbParamsFlag經設定為等於0,且與存取單元0相關聯之RASL存取單元係自BitstreamToDecode捨棄且剩餘位元串流被指派給BitstreamToDecode。
-若NalHrdModeFlag等於1,則在選定緩衝週期SEI訊息中選擇分別由nal_initial_alt_cross_layer_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cross_layer_cpb_removal_offset[SchedSelIdx]表示之替代初始CPB移除延遲及延遲偏移,另外,在選定緩衝週期SEI訊息中選擇分別由vcl_initial_alt_cross_layer_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cross_layer_cpb_removal_offset[SchedSelIdx]表示 之替代初始CPB移除延遲及延遲偏移。變數DefaultInitCpbParamsFlag經設定為等於0,且與存取單元0相關聯之CL-RAS圖像係自BitstreamToDecode捨棄且剩餘位元串流被指派給BitstreamToDecode。
8. 當選定hrd_parameters( )語法結構中之sub_pic_hrd_params_present_flag等於1時,CPB經排程以在存取單元層級操作(在此狀況下,變數SubPicHrdFlag經設定為等於0)或在子圖像層級操作(在此狀況下,變數SubPicHrdFlag經設定為等於1)。
對於每一受測試操作點,待執行之位元串流一致性測試之數目等於n0*n1*(n2*2+n3)*n4,其中n0、n1、n2、n3及n4之值經指定如下:
-n0被導出如下:
-若BitstreamToDecode為類型I位元串流,則n0等於1。
-否則(BitstreamToDecode為類型II位元串流),n0等於2。
-n1等於cpb_cnt_minus1[HighestTid]+1。
-n2為BitstreamToDecode中之存取單元之數目,該等存取單元中每一者與適用於TargetOp之緩衝週期SEI訊息相關聯且對於該等存取單元中每一者,以下條件兩者為真:
-nal_unit_type等於用於VCL NAL單元之CRA_NUT或BLA_W_LP;
-適用於TargetOp之關聯緩衝週期SEI訊息具有等於1之irap_cpb_params_present_flag。
-n3為BitstreamToDecode中之存取單元之數目,該等存取單元中每一者與適用於TargetOp之緩衝週期SEI訊息相關聯且對於該等存取單元中每一者,以下條件中之一者或兩者為真:
-nal_unit_type既不等於用於VCL NAL單元之CRA_NUT亦不等 於用於VCL NAL單元之BLA_W_LP;
-適用於TargetOp之關聯緩衝週期SEI訊息具有等於0之irap_cpb_params_present_flag。
-n4被導出如下:
-若選定hrd_parameters( )語法結構中之sub_pic_hrd_params_present_flag等於0,則n4等於1;
-否則,n4等於2。
當BitstreamToDecode為類型II位元串流時,以下情況適用:
-若選擇直接遵循條件「if(vcl_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構,則在圖C-1所展示之類型I一致性點處進行測試,且僅計數VCL NAL單元及填充符資料NAL單元之輸入位元速率及CPB儲存。
-否則(選擇直接遵循條件「if(nal_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構),在圖C-1所展示之類型II一致性點處進行測試,且計數可為NAL單元串流或位元組串流的類型II位元串流之所有位元組之輸入位元速率及CPB儲存。
注意1--由用於圖C-1所展示之類型II一致性點之SchedSelIdx之值建立的NAL HRD參數亦足以針對用於VBR狀況(cbr_flag[SchedSelIdx]等於0)之同一InitCpbRemovalDelay[SchedSelIdx]值、同一BitRate[SchedSelIdx]值及同一CpbSize[SchedSelIdx]值來建立圖C-1所展示之類型I一致性點之VCL HRD一致性。此係因為至類型I一致性點中之資料流為至類型II一致性點中之資料流之子集,且因為對於VBR狀況,CPB被允許變空且保持空直至開始到達下一圖像被排程之時間為止。舉例而言,當使用條項2至10中所指定之解碼程序來解碼符合附件A中所指定之設定檔中之一或多者的CVS時,當針對類型II一致性點提供NAL HRD參數時(該等NAL HRD參數不僅屬於用 於子條項A.4.2之項目f中之設定檔一致性的NAL HRD參數之界限集合,而且屬於用於子條項A.4.2之項目e)中之設定檔一致性的VCL HRD參數之界限集合),用於類型I一致性點之VCL HRD之一致性亦被確信屬於子條項A.4.2之項目e)之界限。
VCL NAL單元中所提及之所有VPS、SPS及PPS以及對應緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息應以及時方式在位元串流中(藉由非VCL NAL單元)或藉由本說明書中未指定之其他方式輸送至HRD。
在附件C、D及E中,當含有VPS、SPS、PPS、緩衝週期SEI訊息、圖像時序SEI訊息或解碼單元資訊SEI訊息之非VCL NAL單元(或其僅僅一些)藉由本說明書中未指定之其他方式輸送至解碼器(或輸送至HRD)時,針對彼等NAL單元之「存在」之規範亦得以滿足。出於計數位元之目的,僅計數實際上存在於位元串流中之適當位元。
注意2--作為一實例,藉由除了存在於位元串流中以外之方式輸送之此非VCL NAL單元之同步(其中NAL單元存在於位元串流中)可藉由在位元串流中指示兩個點(在該兩個點之間,非VCL NAL單元將已存在於位元串流中)來達成(在編碼器決定將該非VCL NAL單元輸送於位元串流中的情況下)。
當此非VCL NAL單元之內容藉由除了存在於位元串流內以外之一些方式輸送以用於應用程式時,無需使該非VCL NAL單元之內容之表示使用與本說明書中所指定相同的語法。
注意3--當位元串流內含有HRD資訊時,有可能僅僅基於位元串流中所含有之資訊來驗證該位元串流與此子條項之要求之一致性。當HRD資訊不存在於位元串流中時(正如針對所有「單獨」類型I位元串流之狀況),可僅在HRD資料係由本說明書中未指定之一些其他方式供應時驗證一致性。
HRD含有經寫碼圖像緩衝器(CPB)、瞬時解碼程序、經解碼圖像緩衝器(DPB),及輸出裁剪,如圖C-2所展示。
對於每一位元串流一致性測試,CPB大小(位元之數目)為如子條項E.2.3中所指定之CpbSize[SchedSelIdx],其中在此子條項中在上文指定SchedSelIdx參數及HRD參數。DPB大小(圖像儲存緩衝器之數目)為sps_max_dec_pic_buffering_minus1[HighestTid]+1。
變數SubPicHrdPreferredFlag係由外部方式指定,或當未由外部方式指定時經設定為等於0。
當變數SubPicHrdFlag之值尚未藉由上文在此子條項中之步驟8設定時,其被導出如下:SubPicHrdFlag=SubPicHrdPreferredFlag && sub_pic_hrd_params_present_flag(C-1)
若SubPicHrdFlag等於0,則HRD在存取單元層級操作,且每一解碼單元為一存取單元。否則,HRD在子圖像層級操作,且每一解碼單元為一存取單元之一子集。
注意4--若HRD在存取單元層級操作,則每次自CPB移除為整個存取單元之解碼單元。否則(HRD在子圖像層級操作),每次自CPB移除為存取單元之子集之解碼單元。在兩種狀況下,雖然每次自DPB輸出整個經解碼圖像,但基於經不同導出之CPB移除時間及經不同傳信之DPB輸出延遲來導出圖像輸出時間。
以下情況經指定以用於表達此附件中之約束:
-每一存取單元被稱作存取單元n,其中數字n識別特定存取單元。根據上文之步驟4選擇存取單元0。n之值針對以解碼次序之每一後續存取單元遞增1。
-每一解碼單元被稱作解碼單元m,其中數字m識別特定解碼單元。存取單元0中之以解碼次序之第一解碼單元被稱作解碼單元0。m 之值針對以解碼次序之每一後續解碼單元遞增1。
注意5--解碼單元之編號係相對於存取單元0中之第一解碼單元。
-圖像n係指存取單元n之經寫碼圖像或經解碼圖像。
HRD操作如下:
-在解碼單元0處初始化HRD,其中CPB及DPB兩者經設定為空(DPB完整性經設定為等於0)。
注意6--在初始化之後,不藉由後續緩衝週期SEI訊息來再次初始化HRD。
-由HSS遞送與根據指定到達排程而流動至CPB中之解碼單元相關聯之資料。
-在解碼單元之CPB移除時間由瞬時解碼程序瞬時地移除及解碼與每一解碼單元相關聯之資料。
-每一經解碼圖像置放於DPB中。
-當經解碼圖像變得不再被需要用於框間預測參考且不再被需要用於輸出時,自DPB移除經解碼圖像。
對於每一位元串流一致性測試,子條項C.2中指定CPB之操作;子條項2至10中指定瞬時解碼器操作;子條項C.3中指定DPB之操作;且子條項C.3.3及子條項C.5.2.2中指定輸出裁剪。子條項E.1.2及E.2.2中指定關於枚舉型遞送排程之數目及枚舉型遞送排程之關聯位元速率及緩衝區大小的HSS及HRD資訊。初始化HRD,如子條項D.2.2及D.3.2中指定之緩衝週期SEI訊息所指定。使用圖像時序SEI訊息(子條項D.2.3及D.3.3中所指定)中之資訊或解碼單元資訊SEI訊息(子條項D.2.21及D.3.21中所指定)中之資訊來指定解碼單元自CPB之移除時序及經解碼圖像自DPB之輸出時序。應在特定解碼單元之CPB移除時間之前得到與該解碼單元有關之所有時序資訊。
子條項C.4中指定對位元串流一致性之要求,且HRD係用以檢查位元串流之一致性(如上文在此子條項中所指定)且用以檢查解碼器之一致性(如子條項C.5中所指定)。
注意7--雖然在假定用以產生位元串流之所有圖像速率及時脈與經傳信於位元串流中之值確切地匹配的情況下保證一致性,但在實際系統中,此等圖像速率及時脈中每一者可自經傳信值或經指定值變化。
用實值執行此附件中之所有算術,使得可不傳播捨位誤差。舉例而言,恰好在解碼單元之移除之前或之後的CPB中之位元之數目未必為整數。
變數ClockTick被導出如下且被稱為時脈刻度:ClockTick=vui_num_units_in_tick÷vui_time_scale(C-2)
變數ClockSubTick被導出如下且被稱為時脈子刻度:ClockSubTick=ClockTick÷(tick_divisor_minus2+2)(C-3)
C.2經寫碼圖像緩衝器(CPB)之操作 C.2.1 一般情況
此子條項中之規範獨立地應用於存在之每一CPB參數集且應用於圖C-1所展示之類型I一致性點及類型II一致性點兩者,且CPB參數集係如子條項C.1中所指定予以選擇。
C.2.2 經解碼單元到達之時序
若SubPicHrdFlag等於0,則變數subPicParamsFlag經設定為等於0,且調用此子條項之剩餘部分中所指定之程序(其中解碼單元被視為存取單元),以用於導出用於存取單元n之初始CPB到達時間及最終CPB到達時間。
否則(SubPicHrdFlag等於1),首先調用此子條項之剩餘部分中所指定之程序(其中變數subPicParamsFlag經設定為等於0且解碼單元被 視為存取單元),以用於導出用於存取單元n之初始CPB到達時間及最終CPB到達時間;且接著調用此子條項之剩餘部分中所指定之程序(其中subPicParamsFlag經設定為等於1且解碼單元被視為存取單元之子集),以用於導出用於存取單元n中之解碼單元之初始CPB到達時間及最終CPB到達時間。
變數InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]被導出如下:
-若以下條件中之一或多者為真,則InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_alt_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_alt_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cpb_removal_offset[SchedSelIdx]之值,其中緩衝週期SEI訊息語法元素係如子條項C.1中所指定予以選擇:
-存取單元0為使經寫碼圖像具有等於BLA_W_RADL或BLA_N_LP之nal_unit_type之BLA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1。
-存取單元0為使經寫碼圖像具有等於BLA_W_LP之nal_unit_type之BLA存取單元或為CRA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1,且以下條件中之一或多者為真:
-用於存取單元0之UseAltCpbParamsFlag等於1。
-DefaultInitCpbParamsFlag等於0。
-subPicParamsFlag之值等於1。
-否則若存取單元0為初始IRAP存取單元,則NoClRasPicPresentFlag之值等於1;且緩衝週期SEI訊息之irap_cross_layer_cpb_params_present_flag之值等於1;InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_alt_cross_layer_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cross_layer_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_alt_cross_layer_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cross_laye_cpb_removal_offset[SchedSelIdx]之值,其中含有語法元素之緩衝週期SEI訊息係如子條項C.1中所指定予以選擇。
-否則,InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_cpb_removal_delay[SchedSelIdx]及nal_initial_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_cpb_removal_delay[SchedSelIdx]及vcl_initial_cpb_removal_offset[SchedSelIdx]之值,其中緩衝週期SEI訊息語法元素係如子條項C.1中所指定予以選擇。
解碼單元m之第一位元開始進入CPB之時間被稱作初始到達時間initArrivalTime[m]。
解碼單元m之初始到達時間被導出如下:
-若解碼單元為解碼單元0(亦即,m=0),則initArrivalTime[0] =0,
-否則(解碼單元為解碼單元m,其中m>0),則以下情況適用:
-若cbr_flag[SchedSelIdx]等於1,則用於解碼單元m之最初到達時間等於解碼單元m-1之最終到達時間(其在下文中被導出),亦即:if(!subPicParamsFlag) initArrivalTime[m]=AuFinalArrivalTime[m-1](C-4)
else initArrivalTime[m]=DuFinalArrivalTime[m-1]
-否則(cbr_flag[SchedSelIdx]等於0),用於解碼單元m之最初到達時間被導出如下:if(!subPicParamsFlag) initArrivalTime[m]=Max(AuFinalArrivalTime[m-1],initArrivalEarliestTime[m])(C-5)
else initArrivalTime[m]=Max(DuFinalArrivalTime[m-1],initArrivalEarliestTime[m])
其中initArrivalEarliestTime[m]被導出如下:
-變數tmpNominalRemovalTime被導出如下:if(!subPicParamsFlag) tmpNominalRemovalTime=AuNominalRemovalTime[m](C-6)
else tmpNominalRemovalTime=DuNominalRemovalTime[m]
其中AuNominalRemovalTime[m]及DuNominalRemovalTime[m]分別為存取單元m及解碼單元m之標稱CPB移除時間,如子條項C.2.3中所指定。
-若解碼單元m不為後續緩衝週期之第一解碼單元,則initArrivalEarliestTime[m]被導出如下:initArrivalEarliestTime[m]=tmpNominalRemovalTime-(InitCpbRemovalDelay[SchedSelIdx]+InitCpbRemovalDelayOffset[SchedSelIdx])÷90000(C-7)
-否則(解碼單元m為後續緩衝週期之第一解碼單元),initArrivalEarliestTime[m]被導出如下:initArrivalEarliestTime[m]=tmpNominalRemovalTime-(InitCpbRemovalDelay[SchedSelIdx]÷90000)(C-8)
用於解碼單元m之最終到達時間被導出如下:if(!subPicParamsFlag) AuFinalArrivalTime[m]=initArrivalTime[m]+sizeInbits[m]÷BitRate[SchedSelIdx](C-9)
else DuFinalArrivalTime[m]=initArrivalTime[m]+sizeInbits[m]÷BitRate[SchedSelIdx]
其中sizeInbits[m]為解碼單元m之以位元為單位之大小,從而計數用於類型I一致性點之VCL NAL單元及填充符資料NAL單元之位元或用於類型II一致性點之類型II位元串流之所有位元,其中類型I一致性點及類型II一致性點係如圖C-1所展示。
SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之值被約束如下:
-若用於含有解碼單元m之存取單元之選定hrd_parameters( )語法結構之內容與用於前一存取單元之選定hrd_parameters( )語法結構之內容不同,則HSS自提供於用於含有解碼單元m之存取單元之選定 hrd_parameters( )語法結構中的SchedSelIdx值當中選擇SchedSelIdx之一值SchedSelIdx1,其導致用於含有解碼單元m之存取單元之BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]之值可不同於用於前一存取單元的SchedSelIdx之值SchedSelIdx0之BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]之值。
-否則,HSS繼續用前一SchedSelIdx值、前一BitRate[SchedSelIdx]值及前一CpbSize[SchedSelIdx]值進行操作。
當HSS選擇不同於前一存取單元之BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]之值的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]之值時,以下情況適用:
-變數BitRate[SchedSelIdx]在當前存取單元之初始CPB到達時間開始生效。
-變數CpbSize[SchedSelIdx]開始生效如下:
-若CpbSize[SchedSelIdx]之新值大於舊CPB大小,則其在當前存取單元之初始CPB到達時間開始生效。
-否則,CpbSize[SchedSelIdx]之新值在當前存取單元之CPB移除時間開始生效。
C.2.3 解碼單元移除之時序及解碼單元之解碼
變數InitCpbRemovalDelay[SchedSelIdx]、InitCpbRemovalDelayOffset[SchedSelIdx]、CpbDelayOffset及DpbDelayOffset被導出如下:
-若以下條件中之一或多者為真,則CpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素cpb_delay_offset之值;DpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素dpb_delay_offset之值;且InitCpbRemovalDelay[SchedSelIdx]及 InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_alt_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cpb_removal_offset[SchedSelIdx]之值;或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_alt_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cpb_removal_offset[SchedSelIdx]之值,其中含有語法元素之緩衝週期SEI訊息係如子條項C.1中所指定予以選擇:
-存取單元0為使經寫碼圖像具有等於BLA_W_RADL或BLA_N_LP之nal_unit_type之BLA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1。
-存取單元0為使經寫碼圖像具有等於BLA_W_LP之nal_unit_type之BLA存取單元或為CRA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1,且以下條件中之一或多者為真:
-用於存取單元0之UseAltCpbParamsFlag等於1。
-DefaultInitCpbParamsFlag等於0。
-否則若存取單元0為初始IRAP存取單元,則NoClRasPicPresentFlag之值等於1;且緩衝週期SEI訊息之irap_cross_layer_cpb_params_present_flag之值等於1;CpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素cpb_cross_layer_delay_offset之值;DpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素dpb_cross_layer_delay_offset之值;且InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素 nal_initial_alt_cross_layer_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cross_layer_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_alt_cross_layer_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cross_laye_cpb_removal_offset[SchedSelIdx]之值,其中含有語法元素之緩衝週期SEI訊息係如子條項C.1中所指定予以選擇。
否則,InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_cpb_removal_delay[SchedSelIdx]及nal_initial_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_cpb_removal_delay[SchedSelIdx]及vcl_initial_cpb_removal_offset[SchedSelIdx]之值,其中含有語法元素之緩衝週期SEI訊息係如子條項C.1中所指定予以選擇,CpbDelayOffset及DpbDelayOffset兩者皆經設定為等於0。
存取單元n自CPB之標稱移除時間經指定如下:
-若存取單元n為n等於0之存取單元(初始化HRD之存取單元),則該存取單元自CPB之標稱移除時間係藉由如下方程式指定:AuNominalRemovalTime[0]=InitCpbRemovalDelay[SchedSelIdx]÷90000(C-10)
-否則,以下情況適用:
-當存取單元n為不初始化HRD之緩衝週期之第一存取單元時,以下情況適用:存取單元n自CPB之標稱移除時間係由如下指定: if(!concatenationFlag){ baseTime=AuNominalRemovalTime[firstPicInPrevBuffPeriod] tmpCpbRemovalDelay=AuCpbRemovalDelayVal }else{ baseTime=AuNominalRemovalTime[prevNonDiscardablePic] tmpCpbRemovalDelay=Max((auCpbRemovalDelayDeltaMinus1+1),(C-11)
Ceil((InitCpbRemovalDelay[SchedSelIdx]÷90000+AuFinalArrivalTime[n-1]-AuNominalRemovalTime[n-1])÷ClockTick) }
AuNominalRemovalTime(n)=baseTime+ClockTick *(tmpCpbRemovalDelay-CpbDelayOffset)
其中AuNominalRemovalTime[firstPicInPrevBuffPeriod]為前一緩衝週期之第一存取單元之標稱移除時間;AuNominalRemovalTime[prevNonDiscardablePic]為不為RASL、RADL或子層非參考圖像的TemporalId等於0的以解碼次序之前一圖像之標稱移除時間;AuCpbRemovalDelayVal為根據與存取單元n相關聯的如子條項C.1中所指定予以選擇之圖像時序SEI訊息中之au_cpb_removal_delay_minus1而導出的AuCpbRemovalDelayVal之值;且concatenationFlag及auCpbRemovalDelayDeltaMinus1分別為與存取單元n相關聯的如子條項C.1中所指定予以選擇之緩衝週期SEI訊息中之語法元素concatenation_flag及au_cpb_removal_delay_delta_minus1之值。
在導出存取單元n之標稱CPB移除時間之後且在導出存取單元n之 DPB輸出時間之前,CpbDelayOffset及DpbDelayOffset之值被更新如下:
-若以下條件中之一或多者為真,則CpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素cpb_delay_offset之值;且DpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素dpb_delay_offset之值,其中含有語法元素之緩衝週期SEI訊息係如子條項C.1中所指定予以選擇:
-存取單元n為使經寫碼圖像具有等於BLA_W_RADL或BLA_N_LP之nal_unit_type之BLA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1。
-存取單元n為使經寫碼圖像具有等於BLA_W_LP之nal_unit_type之BLA存取單元或為CRA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1,且用於存取單元n之UseAltCpbParamsFlag等於1。
-否則若存取單元n為初始IRAP存取單元,則NoClrasPicPresentFlag之值等於1;且緩衝週期SEI訊息之irap_cross_layer_cpb_params_prssent_flag之值等於1;CpbDelayOffset經設定為等於緩衝週期SEI訊息語法元素cpb_cross_layer_delay_offset之值;且DpbDelayOffset經設定為等於緩衝週期SEI循序語法元素dpb_cross_layer_delay_offset之值,其中含有語法元素之緩衝週期SEI訊息係如子條項C.1中所指定予以選擇。
-否則,CpbDelayOffset及DpbDelayOffset兩者經設定為等於0。
-當存取單元n不為緩衝週期之第一存取單元時,存取單元n自CPB之標稱移除時間係由如下指定:AuNominalRemovalTime[n]=AuNominalRemovalTime[firstPicInCurrBuffPeriod]+ ClockTick *(AuCpbRemovalDelayVal-CpbDelayOffset)(C-12)
其中AuNominalRemovalTime[firstPicInCurrBuffPeriod]為當前緩衝週期之第一存取單元之標稱移除時間;且AuCpbRemovalDelayVal為根據與存取單元n相關聯的如子條項C.1中所指定予以選擇之圖像時序SEI訊息中之au_cpb_removal_delay_minus1而導出的AuCpbRemovalDelayVal之值。
當SubPicHrdFlag等於1時,以下情況適用:
-變數duCpbRemovalDelayInc被導出如下:
-若sub_pic_cpb_params_in_pic_timing_sei_flag等於0,則duCpbRemovalDelayInc經設定為等於與解碼單元m相關聯的如子條項C.1中所指定予以選擇之解碼單元資訊SEI訊息中之du_spt_cpb_removal_delay_increment之值。
-否則,若du_common_cpb_removal_delay_flag等於0,則duCpbRemovalDelayInc經設定為等於用於與存取單元n相關聯的如子條項C.1中所指定予以選擇之圖像時序SEI訊息中之解碼單元m之du_cpb_removal_delay_increment_minus1[i]+1之值,其中i之值針對含有解碼單元m之存取單元中之第一num_nalus_in_du_minus1[0]+1連續NAL單元為0;針對同一存取單元中之後續num_nalus_in_du_minus1[1]+1 NAL單元為1;針對同一存取單元中之後續num_nalus_in_du_minus1[2]+1 NAL單元為2:等等。
-否則,duCpbRemovalDelayInc經設定為等於與存取單元n相關聯的如子條項C.1中所指定予以選擇之圖像時序SEI訊息中之du_common_cpb_removal_delay_increment_minus1+1之值。
-解碼單元m自CPB之標稱移除時間經指定如下,其中AuNominalRemovalTime[n]為存取單元n之標稱移除時間:
-若解碼單元m為存取單元n中之最後解碼單元,則解碼單元m之 標稱移除時間DuNominalRemovalTime[m]經設定為等於AuNominalRemovalTime[n]。
-否則(解碼單元m不為存取單元n中之最後解碼單元),解碼單元m之標稱移除時間DuNominalRemovalTime[m]被導出如下:if(sub_pic_cpb_params_in_pic_timing_sei_flag)
DuNominalRemovalTime[m]=DuNominalRemovalTime[m+1]-ClockSubTick * duCpbRemovalDelayInc(C-13)
else DuNominalRemovalTime[m]=AuNominalRemovalTime(n)-ClockSubTick * duCpbRemovalDelayInc
若SubPicHrdFlag等於0,則存取單元n自CPB之移除時間經指定如下,其中AuFinalArrivalTime[n]及AuNominalRemovalTime[n]分別為存取單元n之最終CPB到達時間及標稱CPB移除時間:if(!low_delay_hrd_flag[HighestTid]||AuNominalRemovalTime[n]>=AuFinalArrivalTime[n])
AuCpbRemovalTime[n]=AuNominalRemovalTime[n] else(C-14)
AuCpbRemovalTime[n]=AuNominalRemovalTime[n]+ClockTick *
Ceil((AuFinalArrivalTime[n]-AuNominalRemovalTime[n])÷ClockTick)
注意1--當low_delay_hrd_flag[HighestTid]等於1且AuNominalRemovalTime[n]小於AuFinalArrivalTime[n]時,存取單元n之大小大到使得其防止在標稱移除時間之移除。
否則(SubPicHrdFlag等於1),解碼單元m自CPB之移除時間經指定如下: if(!low_delay_hrd_flag[HighestTid]||DuNominalRemovalTime[m]>=DuFinalArrivalTime[m])
DuCpbRemovalTime[m]=DuNominalRemovalTime[m] else(C-15)
DuCpbRemovalTime[m]=DuFinalArrivalTime[m]
注意2--當low_delay_hrd_flag[HighestTid]等於1且DuNominalRemovalTime[m]小於DuFinalArrivalTime[m]時,解碼單元m之大小大到使得其防止在標稱移除時間之移除。
若SubPicHrdFlag等於0,則在存取單元n之CPB移除時間,存取單元被瞬時地解碼。
否則(SubPicHrdFlag等於1),在解碼單元m之CPB移除時間,解碼單元被瞬時地解碼,且當解碼單元m為存取單元n之最後解碼單元時,以下情況適用:
-圖像n被視為被解碼。
-存取單元n之最終CPB到達時間(亦即,AuFinalArrivalTime[n])經設定為等於存取單元n中之最後解碼單元之最終CPB到達時間,亦即,DuFinalArrivalTime[m]。
-存取單元n之標稱CPB移除時間(亦即,AuNominalRemovalTime[n])經設定為等於存取單元n中之最後解碼單元之標稱CPB移除時間,亦即,DuNominalRemovalTime[m]。
-存取單元n之CPB移除時間(亦即,AuCpbRemovalTime[m])經設定為等於存取單元n中之最後解碼單元之CPB移除時間,亦即,DuCpbRemovalTime[m]。
如上文關於章節C.2.2之改變所描述,器件可部分地基於一值(例如,NoClRasPicPresentFlag)來執行CPB操作。此外,如上文關於章節C.2.2之改變所描述,當值指示並非與IRAP存取單元相關聯之所有CL- RAS圖像皆存在於視訊資料位元串流中且緩衝週期SEI訊息包括指定在緩衝週期SEI訊息中第二語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_delay)及第三語法元素(例如,nal_initial_alt_cross_layer_cpb_removal_offset)之存在之第一語法元素(例如,irap_cross_layer_cpb_params_present_flag)時,器件可將CPB移除延遲設定至由第二語法元素指定之替代移除延遲。另外,器件可將CPB移除偏移設定至由第三語法元素指定之替代移除偏移。
本發明之技術之第二組實例相似於本發明之技術之第一組實例。然而,在本發明之技術之第二組實例中,替代語法結構係用於HRD參數以處置CL-RAS圖像之一致性。在一些例子中,第一組實例及第二組實例之一或多個實例可一起使用或分離地使用。替代CPB移除偏移及DPB移除偏移被引入於圖像時序SEI訊息中,來代替引入於緩衝週期SEI訊息中。又,指定定義用於可在移除初始IRAP存取單元之關聯CL-RAS圖像時使用的IRAP存取單元之替代位元速率及CPB大小集合之額外SEI訊息。因此,在一些實例中,器件(例如,視訊編碼器20)可產生定義在移除初始IRAP存取單元之CL-RAS圖像時可使用的IRAP存取單元之CPB大小之SEI訊息。
在本發明之技術之第二組實例中,可作出對HEVC工作草案10之圖像時序SEI訊息語法之以下改變。
在一些實例中,在緩衝週期SEI訊息中獨立地傳信irap_cross_layer_cpb_params_present_flag之傳信。此外,在一些實例中,當sub_pic_hrd_params_present_flag等於1時亦在解碼單元(DU)層級傳信替代CPB參數及DPB參數,以用於含有CL-RAS圖像且具有等於1之sub_pic_hrd_params_present_flag之位元串流之子圖像HRD操作以針對CL-RAS圖像存在或不存在之兩種狀況適當地操作。DU為存取單元之子集(當SubPicHrdFlag等於0時,DU為整個AU)。
此外,根據本發明之技術之第二組實例,HEVC工作草案10之圖像時序SEI訊息語意可改變如下。在此實例中,圖像時序SEI訊息中之其餘語法元素之語意可保持不變。
等於1之irap_cross_layer_cpb_params_present_flag指定initial_alt_cross_layer_cpb_removal_delay[i]及initial_alt_cross_layer_cpb_removal_offset[i]語法元素之存在。當該等語法元素不存在時,irap_cross_layer_cpb_params_present_flag之值經推斷為等於0。當關聯圖像既不為CRA圖像亦不為BLA圖像時,irap_cross_layer_cpb_params_present_flag之值應等於0。
注意2--sub_pic_hrd_params_present_flag之值、irap_cpb_params_present_flag之值及irap_cross_layer_cpb_params_present_flag之值中的不超過一者可等於1。
au_cpb_removal_delay_minus1加1指定與圖像時序SEI訊息相關聯之存取單元之標稱CPB移除時間與含有緩衝週期SEI訊息之以解碼次序之前一存取單元之標稱CPB移除時間之間的時脈刻度之數目。此值亦用以演算存取單元資料至用於HSS之CPB中之最早可能到達時間。語法元素為以位元為單位之長度係由au_cpb_removal_delay_length_minus1+1給出之固定長度碼。
注意6--au_cpb_removal_delay_length_minus1之值判定語法元素au_cpb_removal_delay_minus1之長度(以位元為單位)為對於與圖像時序SEI訊息相關聯之經寫碼圖像係作用中的VPS或SPS中寫碼之au_cpb_removal_delay_length_minus1之值,但au_cpb_removal_delay_minus1指定相對於含有緩衝週期SEI訊息之前一存取單元之移除時間的時脈刻度之數目,該前一存取單元可為不同CVS之存取單元。
au_alt_cpb_removal_delay_minus1加1指定與圖像時序SEI訊息相關聯之存取單元之標稱CPB移除時間與含有緩衝週期SEI訊息之以解碼次序之前一存取單元之標稱CPB移除時間之間的時脈刻度之替代數目。此值亦用以演算存取單元資料至用於HSS之CPB中之最早可能到達時間。語法元素為以位元為單位之長度係由au_cpb_removal_delay_length_minus1+1給出之固定長度碼。
注意6--au_cpb_removal_delay_length_minus1之值判定語法元素au_cpb_removal_delay_minus1之長度(以位元為單位)為對於與圖像時序SEI訊息相關聯之經寫碼圖像係作用中的VPS或SPS中寫碼之au_cpb_removal_delay_length_minus1之值,但au_cpb_removal_delay_minus1指定相對於含有緩衝週期SEI訊息之前一存取單元之移除時間的時脈 刻度之數目,該前一存取單元可為不同CVS之存取單元。
變數UseAuCpbRemovalDelayMinus1被導出如下:
-若以下條件中任一者為真,則UseAuCpbRemovalDelayMinus1經設定為等於au_alt_cpb_removal_delay_minus1。
-以解碼次序之前一初始IRAP存取單元具有等於1之NoClRasPicPresentFlag,irap_cross_layer_cpb_params_present_flag等於1
-若當前AU為具有等於1之NoClRasPicPresentFlag之初始IRAP AU,且irap_cross_layer_cpb_params_present_flag等於1,
-否則,UseAuCpbRemovalDelayMinus1經設定為等於au_cpb_removal_delay_minus1。
當前圖像之變數AuCpbRemovalDelayMsb被導出如下:
-若當前圖像係與適用於圖像時序SEI訊息應用於之操作點中至少一者之緩衝週期SEI訊息相關聯,則AuCpbRemovalDelayMsb經設定為等於0。
-否則,以下情況適用:
-假設maxCpbRemovalDelay等於2au_cpb_removal_delay_length_minus1+1
-假設prevAuCpbRemovalDelayMinus1及prevAuCpbRemovalDelayMsb經設定為分別等於TemporalId等於0的不為RASL、RADL或子層非參考圖像且處於相同於當前圖像之緩衝週期內的以解碼次序之前一圖像之 UseAuCpbRemovalDelayMinus1 [[au_cpb_removal_delay_minus1]]及AuCpbRemovalDelayMsb。
-AuCpbRemovalDelayMsb被導出如下:if( UseAuCpbRemovalDelayMinus1 [[au_cpb_removal_delay_minus1]]<=prevAuCpbRemovalDelayMinus1)
AuCpbRemovalDelayMsb=prevAuCpbRemovalDelayMsb+ maxCpbRemovalDelay(D-1)
else AuCpbRemovalDelayMsb=prevAuCpbRemovalDelayMsb
變數AuCpbRemovalDelayVal被導出如下:AuCpbRemovalDelayVal=AuCpbRemovalDelayMsb+ UseAuCpbRemovalDelayMinus1 [[au_cpb_removal_delay_minus1]]+1(D-2)
AuCpbRemovalDelayVal之值應在1至232之範圍內(包括1與232)。在一個緩衝週期內,用於任何兩個存取單元之AuCpbRemovalDelayVal值應不相同。
pic_dpb_output_delay係用以計算當SubPicHrdFlag等於0時之圖像之DPB輸出時間。其指定在自DPB輸出經解碼圖像之前自CPB移除存取單元中之最後解碼單元之後要等待多少時脈刻度。
注意7--當一圖像仍經標記為「用於短期參考」或「用於長期參考」時在其輸出時間並不自DPB移除該圖像。
語法元素pic_dpb_output_delay之長度係由dpb_output_delay_length_minus1+1以位元為單位而給出。當sps_max_dec_pic_buffering_minus1[minTid]等於0時(其中minTid為圖像時序SEI訊息應用於之所有操作點之OpTid值的最小值),pic_dpb_output_delay應等於0。
pic_alt_dpb_output_delay為用以計算當SubPicHrdFlag等於0且自位元串流移除與以解碼次序之前一初始IRAP AU相關聯之CL-RAS圖像時的圖像之DPB輸出時間之替代值。其指定在自DPB輸出經解碼圖像之前自CPB移除存取單元中之最後解碼單元之後要等待多少時脈刻度。
語法元素pic_alt_dpb_output_delay之長度係由 dpb_output_delay_length_minus1+1以位元為單位而給出。當sps_max_dec_pic_buffering_minus1[minTid]等於0時(其中minTid為圖像時序SEI訊息應用於之所有操作點之OpTid值的最小值),pic_alt_dpb_output_delay應等於0。
自輸出時序符合的解碼器輸出之任何圖像之pic_dpb_output_delay或 pic_alt_dpb_output_delay 導出的輸出時間應在自以解碼次序之任何後續CVS中之所有圖像之pic_dpb_output_delay導出的輸出時間之前。
[[此語法元素]]pic_dpb_output_delay或pic_alt_dpb_output_delay 之值建立之圖像輸出次序應為與由PicOrderCntVal之值建立之次序相同的次序。
對於未藉由「提昇(bumping)」程序輸出之圖像,因為其以解碼次序在no_output_of_prior_pics_flag等於1或經推斷為等於1的NoRaslOutputFlag等於1之IRAP圖像之前,所以自pic_dpb_output_delay或 pic_alt_dpb_output_delay 導出之輸出時間應隨著PicOrderCntVal相對於同一CVS內之所有圖像之值增加而增加。
此外,在本發明之技術之第二組實例中,跨層HRD參數SEI訊息語法可被定義如下。
替代地,在一些實例中,排除applicable_poc_cnt[i][j][k]語法元素之跨層HRD端SEI訊息亦可與每一存取單元一起被發送,以表示 語法元素cross_layer_bit_rate_value_minus1[i][j][k]及cross_layer_cpb_size_value_minus1[i][j][k]適用於關聯存取單元。替代地,在一些實例中,在跨層HRD SEI訊息中不傳信cross_layer_cpb_size_value_minus1[i][j][k]。替代地,在一些實例中,在VPS中(在(例如)延伸部分中)傳信跨層位元速率及CPB大小。替代地,在一些實例中,跨層HRD參數SEI訊息亦可與HEVC版本1位元串流(亦即,符合HEVC工作草案10之位元串流)一起使用,其中額外位元速率參數及CPB大小參數適用於位元串流之一致性,其中RASL圖像與RADL圖像交錯,且自位元串流移除RASL圖像且關聯IRAP圖像具有NAL單元類型BLA_W_RADL。
根據本發明之技術之第二組實例,跨層HRD參數SEI訊息可具有以下語意。
此SEI訊息可且僅可與IRAP AU相關聯。
cross_layer_video_parameter_set_id指示由與SEI訊息相關聯的存取單元之VCL NAL單元所指之VPS之vps_video_parameter_set_id之值且應等於該值。cross_layer_video_parameter_set_id之值應在0至15之範圍內(包括0與15)。
變數CrossLayerCpbCnt[i][j]經設定為等於經傳信於VPS中之第i HRD參數集之cpb_cnt_minus1[j]+1。
applicable_poc_cnt[i][j][k]指定直至使cross_layer_bit_rate_value_minus1[i][j][k]及cross_layer_cpb_size_value_minus1[i][j][k]適用之存取單元。若在CVS中存在以解碼次序在當前存取單元(亦即,與當前SEI訊息相關聯之初始IRAP AU)之後的存取單元,且此存取單元含有nuh_layer_id等於0之圖像picA且具有等於當前存取單元中之圖像(其中nuh_layer_id等於0加applicable_poc_cnt之值)之PicOrderCntVal的 PicOrderCntVal,則圖像picA被稱作跨層再新點存取單元。另外,具有PicOrderCntVal大於當前圖像之PicOrderCntVal加recovery_poc_cnt之值且nuh_layer_id等於0之圖像的以解碼次序之第一存取單元被稱作跨層再新點存取單元。跨層再新點存取單元以解碼次序不應在當前存取單元之前。以解碼次序在跨層再新點存取單元之前之所有經解碼存取單元經指定以當與當前初始IRAP AU相關聯之NoClRasPicPresentFlag等於0時使用cross_layer_bit_rate_value_minus1[i][j][k]及cross_layer_cpb_size_value_minus1[i][j][k]。appiicable_poc_cnt之值應在-2 31 至2 31 -1之範圍內(包括-2 31 與2 31 -1)。
cross_layer_bit_rate_value_minus1[i][j][k](與bit_rate_scale一起)指定當第i CPB在存取單元層級操作時用於該CPB之最大輸入位元速率。cross_layer_bit_rate_value_minus1[i][j][k]應在0至2 32 -2之範圍內(包括0與2 32 -2)。對於任何k>0,cross_layer_bit_rate_value_minus1[i][j][k]應大於cross_layer_bit_rate_value_minus1[i][j][k-1]。
當SubPicHrdFlag等於0時,每秒以位元為單位之位元速率係由如下給出:CrossLayerBitRate[i]=(cross_layer_bit_rate_value_minus1[i][j][k]+1)* 2 (6+bit_rate_scale) (E-52)
當SubPicHrdFlag等於0且不存在cross_layer_bit_rate_value_minus1[i]語法元素時,BitRate[i]之值經推斷為等於用於VCL HRD參數之CpbBrVclFactor * MaxBR且等於用於NAL HRD參數之CpbBrNalFactor * MaxBR,其中MaxBR、CpbBrVclFactor及CpbBrNalFactor係在子條項A.4中予以指定。
cross_layer_cpb_size_value_minus1[i][j][k]係與 cross_layer_cpb_size_scale一起用以指定當第i CPB在存取單元層級操作時之該CPB大小。cross_layer_cpb_size_value_minus1[i][j][k]應在0至2 32 -2之範圍內(包括0與2 32 -2)。對於大於0之任何k,cross_layer_cpb_size_value_minus1[i][j][k]應小於或等於cross_layer_cpb_size_value_minus1[i][j][k-1]。
當SubPicHrdFlag等於0時,以位元為單位之CPB大小係由如下給出:CrossLayerCpbSize[i]=(cross_layer_cpb_size_value_minus1[i][j][k]+1)* 2 (4+cpb_size_scale) (E-53)
當SubPicHrdFlag等於0且不存在cross_layer_cpb_size_value_minus1[i]語法元素時,CpbSize[i]之值經推斷為等於用於VCL HRD參數之CpbBrVclFactor * MaxCPB且等於用於NAL HRD參數之CpbBrNalFactor * MaxCPB,其中MaxCPB、CpbBrVclFactor及CpbBrNalFactor係在子條項A.4中予以指定。
因此,在一些實例中,視訊解碼器30可自經寫碼視訊位元串流之SEI訊息獲得用於IRAP存取單元之替代位元速率參數及CPB大小參數。對於IRAP存取單元之每一各別IRAP存取單元,視訊解碼器30可在該各別IRAP存取單元為初始IRAP存取單元(其中不存在關聯CL-RAS圖像)時使用用於該各別IRAP存取單元之替代位元速率參數及CPB大小參數。此外,在一些實例中,器件(例如,視訊編碼器20)可產生包括指示直至使跨層位元速率值及跨層CPB大小值適用之存取單元之語法元素的SEI訊息。另外,在一些實例中,器件(例如,視訊編碼器20)可產生包括指定當CPB在存取單元層級操作時該CPB之最大輸入位元速率之語法元素的SEI訊息。
此外,在本發明之技術之第二組實例中,可作出對HEVC工作草案10之附件C章節C.1之以下改變。
C.1 一般情況
此附件指定假設的參考解碼器(HRD)及其用以檢查位元串流及解碼器一致性之用途。
兩種類型之位元串流或位元串流子集經受針對本說明書之HRD一致性檢查。第一類型(被稱為類型I位元串流)為NAL單元串流,其僅含有用於該位元串流中之所有存取單元之VCL NAL單元及nal_unit_type等於FD_NUT(填充符資料NAL單元)之NAL單元。第二類型(亦被稱為類型II位元串流)除了含有用於該位元串流中之所有存取單元之VCL NAL單元及填充符資料NAL單元以外,亦含有以下各者中至少一者:-除了填充符資料NAL單元以外之額外非VCL NAL單元;-所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素,該等語法元素用NAL單元串流形成位元組串流(如附件B中所指定)。
圖C-1展示由HRD檢查之位元串流一致性點的類型。
HRD所需要的非VCL NAL單元之語法元素(或非VCL NAL單元之用於一些語法元素之預設值)經指定於條項7之語意子條項、附件D及E中。
使用兩種類型之HRD參數集(NAL HRD參數及VCL HRD參數)。HRD參數集係經由hrd_parameters( )語法結構予以傳信,該hrd_parameters( )語法結構可為SPS語法結構或VPS語法結構之部分。
可需要多個測試以用於檢查位元串流之一致性,該位元串流被稱作受測試位元串流。對於每一測試,以下步驟以所列出之次序應用:
1. 選擇被表示為TargetOp之受測試操作點。TargetOp之層識別符清單OpLayerIdList係由存在於與TargetOp相關聯之位元串流子集中 的以nuh_layer_id值之遞增次序之nuh_layer_id值之清單組成,其為存在於受測試位元串流中之nuh_layer_id值之子集。TargetOp之OpTid等於存在於與TargetOp相關聯之位元串流子集中之最高TemporalId。
2. TargetDecLayerIdList經設定為等於TargetOp之OpLayerIdList;HighestTid經設定為等於TargetOp之OpTid;且調用如條項10中所指定之子位元串流提取程序,其中受測試位元串流、HighestTid及TargetDecLayerIdList作為輸入,且將輸出指派給BitstreamToDecode。
3. 選擇適用於TargetOp之hrd_parameters( )語法結構及sub_layer_hrd_parameters( )語法結構。若TargetDecLayerIdList含有存在於受測試位元串流中之所有nuh_layer_id值,則選擇作用中SPS中(或經由本說明書中未指定之外部方式而提供)之hrd_parameters( )語法結構。否則,選擇應用於TargetOp之作用中VPS中(或經由本說明書中未指定之一些外部方式而提供)之hrd_parameters( )語法結構。在選定hrd_parameters( )語法結構內,若BitstreamToDecode為類型I位元串流,則選擇直接遵循條件「if(vcl_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構且變數NalHrdModeFlag經設定為等於0;否則(BitstreamToDecode為類型II位元串流),選擇直接遵循條件「if(vcl_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構(在此狀況下,變數NalHrdModeFlag經設定為等於0)或直接遵循條件「if(nal_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構(在此狀況下,變數NalHrdModeFlag經設定為等於1)。當BitstreamToDecode為類型II位元串流且NalHrdModeFlag等於0時,自BitstreamToDecode捨棄除了填充符資料NAL單元以外之所有非VCL NAL單元以及用NAL單元串流形成位元組串流之所有 leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素(如附件B中所指定)(當存在時),且將剩餘位元串流指派給BitstreamToDecode。
4. 選擇與適用於TargetOp之緩衝週期SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到)相關聯之存取單元作為HRD初始化點且將該存取單元稱作存取單元0。
5. 對於自存取單元0開始之BitstreamToDecode中之每一存取單元,選擇與存取單元相關聯且應用於TargetOp之緩衝週期SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到);選擇與存取單元相關聯且應用於TargetOp之圖像時序SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到);且當SubPicHrdFlag等於1且sub_pic_cpb_params_in_pic_timing_sei_flag等於0時,選擇與存取單元中之解碼單元相關聯且應用於TargetOp之解碼單元資訊SEI訊息(存在於BitstreamToDecode中或經由本說明書中未指定之外部方式可得到)。
6. 選擇SchedSelIdx之值。選定SchedSelIdx應在0至cpb_cnt_minus1[HighestTid]之範圍內(包括0與cpb_cnt_minus1[HighestTid]),其中在如上文所選擇之sub_layer_hrd_parameters(HighestTid)語法結構中找到cpb_cnt_minus1[HighestTid]。
7. 當存取單元0中之經寫碼圖像具有等於CRA_NUT或BLA_W_LP之nal_unit_type且選定緩衝週期SEI訊息中之irap_cpb_params_present_flag等於1時,以下情況中任一者應用於初始CPB移除延遲及延遲偏移之選擇:
-若NalHrdModeFlag等於1,則在選定緩衝週期SEI訊息中選擇分別由nal_initial_cpb_removal_delay[SchedSelIdx]及 nal_initial_cpb_removal_offset[SchedSelIdx]表示之預設初始CPB移除延遲及延遲偏移。否則,在選定緩衝週期SEI訊息中選擇分別由vcl_initial_cpb_removal_delay[SchedSelIdx]及vcl_initial_cpb_removal_offset[SchedSelIdx]表示之預設初始CPB移除延遲及延遲偏移。變數DefaultInitCpbParamsFlag經設定為等於1。
-若NalHrdModeFlag等於1,則在選定緩衝週期SEI訊息中選擇分別由nal_initial_alt_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cpb_removal_offset[SchedSelIdx]表示之替代初始CPB移除延遲及延遲偏移。否則,在選定緩衝週期SEI訊息中選擇分別由vcl_initial_alt_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cpb_removal_offset[SchedSelIdx]表示之替代初始CPB移除延遲及延遲偏移。變數DefaultInitCpbParamsFlag經設定為等於0,且與存取單元0相關聯之RASL存取單元係自BitstreamToDecode捨棄且剩餘位元串流被指派給BitstreamToDecode。
8. 當NoClRasPicPresentFlag等於1且存取單元0係與跨層HRD參數SEI訊息相關聯時,BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之值經設定為分別等於CrossLayerBitRate[SchedSelIdx]及CrossLayerCpbSize[SchedSelIdx]。
9. 當選定hrd_parameters( )語法結構中之sub_pic_hrd_params_present_flag等於1時,CPB經排程以在存取單元層級操作(在此狀況下,變數SubPicHrdFlag經設定為等於0)或在子圖像層級操作(在此狀況下,變數SubPicHrdFlag經設定為等於1)。
對於每一受測試操作點,待執行之位元串流一致性測試之數目等於n0*n1*(n2*2+n3)*n4,其中n0、n1、n2、n3及n4之值經指定如下:
-n0被導出如下:
-若BitstreamToDecode為類型I位元串流,則n0等於1。
-否則(BitstreamToDecode為類型II位元串流),n0等於2。
-n1等於cpb_cnt_minus1[HighestTid]+1,
-n2為BitstreamToDecode中之存取單元之數目,該等存取單元中每一者與適用於TargetOp之緩衝週期SEI訊息相關聯且對於該等存取單元中每一者,以下條件兩者為真:
-nal_unit_type等於用於VCL NAL單元之CRA_NUT或BLA_W_LP;
-適用於TargetOp之關聯緩衝週期SEI訊息具有等於1之irap_cpb_params_present_flag。
-n3為BitstreamToDecode中之存取單元之數目,該等存取單元中每一者與適用於TargetOp之緩衝週期SEI訊息相關聯且對於該等存取單元中每一者,以下條件中之一者或兩者為真:
-nal_unit_type既不等於用於VCL NAL單元之CRA_NUT亦不等於用於VCL NAL單元之BLA_W_LP;
-適用於TargetOp之關聯緩衝週期SEI訊息具有等於0之irap_cpb_params_present_flag。
-N4被導出如下:
-若選定hrd_parameters( )語法結構中之sub_pic_hrd_params_present_flag等於0,則n4等於1;
-否則,n4等於2。
當BitstreamToDecode為類型II位元串流時,以下情況適用:
-若選擇直接遵循條件「if(vcl_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構,則在圖C-1所展示之類型I一致性點處進行測試,且僅計數VCL NAL單元及填充符資料NAL單元之輸入位元速率及CPB儲存。
-否則(選擇直接遵循條件「if(nal_hrd_parameters_present_flag)」之sub_layer_hrd_parameters(HighestTid)語法結構),在圖C-1所展示之類型II一致性點處進行測試,且計數可為NAL單元串流或位元組串流的類型II位元串流之所有位元組之輸入位元速率及CPB儲存。
注意1--由用於圖C-1所展示之類型II一致性點之SchedSelIdx之值建立的NAL HRD參數亦足以針對用於VBR狀況(cbr_flag[SchedSelIdx]等於0)之同一InitCpbRemovalDelay[SchedSelIdx]值、同一BitRate[SchedSelIdx] (或CrossLayerBitRate[SchedSelIdx](在適用時)) 值及同一CpbSize[SchedSelIdx] (或CrossLayerCpbSize[SchedSelIdx](在適用時)) 值來建立用於圖C-1所展示之類型I一致性點之VCL HRD一致性。此係因為至類型I一致性點中之資料流為至類型II一致性點中之資料流之子集,且因為對於VBR狀況,CPB被允許變空且保持空直至開始到達下一圖像被排程之時間為止。舉例而言,當使用條項2至10中所指定之解碼程序來解碼符合附件A中所指定之設定檔中之一或多者的CVS時,當針對類型II一致性點提供NAL HRD參數時(該等NAL HRD參數不僅屬於用於子條項A.4.2之項目f)中之設定檔一致性的NAL HRD參數之界限集合,而且屬於用於子條項A.4.2之項目e)中之設定檔一致性的VCL HRD參數之界限集合),用於類型I一致性點之VCL HRD之一致性亦被確信屬於子條項A.4.2之項目e)之界限。
VCL NAL單元中所提及之所有VPS、SPS及PPS以及對應緩衝週期SEI訊息、圖像時序SEI訊息及解碼單元資訊SEI訊息應以及時方式在位元串流中(藉由非VCL NAL單元)或藉由本說明書中未指定之其他方式輸送至HRD。
在附件C、D及E中,當含有VPS、SPS、PPS、緩衝週期SEI訊 息、圖像時序SEI訊息或解碼單元資訊SEI訊息之非VCL NAL單元(或其僅僅一些)藉由本說明書中未指定之其他方式輸送至解碼器(或輸送至HRD)時,針對彼等NAL單元之「存在」之規範亦得以滿足。出於計數位元之目的,僅計數實際上存在於位元串流中之適當位元。
注意2--作為一實例,藉由除了存在於位元串流中以外之方式輸送之此非VCL NAL單元之同步(其中NAL單元存在於位元串流中)可藉由在位元串流中指示兩個點(在該兩個點之間,非VCL NAL單元將已存在於位元串流中)來達成(在編碼器決定將該非VCL NAL單元輸送於位元串流中的情況下)。
當此非VCL NAL單元之內容藉由除了存在於位元串流內以外之一些方式輸送以用於應用程式時,無需使該非VCL NAL單元之內容之表示使用與本說明書中所指定相同的語法。
注意3--當位元串流內含有HRD資訊時,有可能僅僅基於位元串流中所含有之資訊來驗證該位元串流與此子條項之要求之一致性。當HRD資訊不存在於位元串流中時(正如針對所有「單獨」類型I位元串流之狀況),可僅在HRD資料係由本說明書中未指定之一些其他方式供應時驗證一致性。
HRD含有經寫碼圖像緩衝器(CPB)、瞬時解碼程序、經解碼圖像緩衝器(DPB),及輸出裁剪,如圖C-2所展示。
對於每一位元串流一致性測試,DPB大小(圖像儲存緩衝器之數目)為sps_max_dec_pic_buffering_minus1[HighestTid]+1。
變數SubPicHrdPreferredFlag係由外部方式指定,或當未由外部方式指定時經設定為等於0。
當變數SubPicHrdFlag之值尚未藉由上文在此子條項中之步驟8設定時,其被導出如下:SubPicHrdFlag=SubPicHrdPreferredFlag && sub_pic_hrd_params_present_flag(C-1)
若SubPicHrdFlag等於0,則HRD在存取單元層級操作,且每一解碼單元為一存取單元。否則,HRD在子圖像層級操作,且每一解碼單元為一存取單元之一子集。
注意4--若HRD在存取單元層級操作,則每次自CPB移除為整個存取單元之解碼單元。否則(HRD在子圖像層級操作),每次自CPB移除為存取單元之子集之解碼單元。在兩種狀況下,雖然每次自DPB輸出整個經解碼圖像,但基於經不同導出之CPB移除時間及經不同傳信之DPB輸出延遲來導出圖像輸出時間。
以下情況經指定以用於表達此附件中之約束:
-每一存取單元被稱作存取單元n,其中數字n識別特定存取單元。根據上文之步驟4選擇存取單元0。n之值針對以解碼次序之每一後續存取單元遞增1。
-每一解碼單元被稱作解碼單元m,其中數字m識別特定解碼單元。存取單元0中之以解碼次序之第一解碼單元被稱作解碼單元0。m之值針對以解碼次序之每一後續解碼單元遞增1。
注意5--解碼單元之編號係相對於存取單元0中之第一解碼單元。
-圖像n係指存取單元n之經寫碼圖像或經解碼圖像。
HRD操作如下:
-在解碼單元0處初始化HRD,其中CPB及DPB兩者經設定為空(DPB完整性經設定為等於0)。
注意6--在初始化之後,不藉由後續緩衝週期SEI訊息來再次初始化HRD。
-由HSS遞送與根據指定到達排程而流動至CPB中之解碼單元相關聯之資料。
-在解碼單元之CPB移除時間由瞬時解碼程序瞬時地移除及解碼與每一解碼單元相關聯之資料。
-每一經解碼圖像置放於DPB中。
-當經解碼圖像變得不再被需要用於框間預測參考且不再被需要用於輸出時,自DPB移除經解碼圖像。
對於每一位元串流一致性測試,子條項C.2中指定CPB之操作;子條項2至10中指定瞬時解碼器操作;子條項C.3中指定DPB之操作;且子條項C.3.3及子條項C.5.2.2中指定輸出裁剪。
子條項E.1.2及E.2.2中指定關於枚舉型遞送排程之數目及枚舉型遞送排程之關聯位元速率及緩衝區大小的HSS及HRD資訊。初始化HRD,如子條項D.2.2及D.3.2中指定之緩衝週期SEI訊息所指定。使用圖像時序SEI訊息(子條項D.2.3及D.3.3中所指定)中之資訊或解碼單元資訊SEI訊息(子條項D.2.21及D.3.21中所指定)中之資訊來指定解碼單元自CPB之移除時序及經解碼圖像自DPB之輸出時序。應在特定解碼單元之CPB移除時間之前得到與該解碼單元有關之所有時序資訊。
子條項C.4中指定對位元串流一致性之要求,且HRD係用以檢查位元串流之一致性(如上文在此子條項中所指定)且用以檢查解碼器之一致性(如子條項C.5中所指定)。
注意7--雖然在假定用以產生位元串流之所有圖像速率及時脈與經傳信於位元串流中之值確切地匹配的情況下保證一致性,但在實際系統中,此等圖像速率及時脈中每一者可自經傳信值或經指定值變化。
用實值執行此附件中之所有算術,使得可不傳播捨位誤差。舉例而言,恰好在解碼單元之移除之前或之後的CPB中之位元之數目未必為整數。
變數ClockTick被導出如下且被稱為時脈刻度: ClockTick=vui_num_units_in_tick÷vui_time_scale(C-2)
變數ClockSubTick被導出如下且被稱為時脈子刻度:ClockSubTick=ClockTick÷(tick_divisor_minus2+2)(C-3)
此外,在本發明之技術之第二組實例中,可作出對HEVC工作草案10之附件C章節C.2.2之以下改變。
C.2.2 經解碼單元到達之時序
若SubPicHrdFlag等於0,則變數subPicParamsFlag經設定為等於0,且調用此子條項之剩餘部分中所指定之程序(其中解碼單元被視為存取單元),以用於導出用於存取單元n之初始CPB到達時間及最終CPB到達時間。
否則(SubPicHrdFlag等於1),首先調用此子條項之剩餘部分中所指定之程序(其中變數subPicParamsFlag經設定為等於0且解碼單元被視為存取單元),以用於導出用於存取單元n之初始CPB到達時間及最終CPB到達時間;且接著調用此子條項之剩餘部分中所指定之程序(其中subPicParamsFlag經設定為等於1且解碼單元被視為存取單元之子集),以用於導出用於存取單元n中之解碼單元之初始CPB到達時間及最終CPB到達時間。
變數InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]被導出如下:
-若以下條件中之一或多者為真,則InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_alt_cpb_removal_delay[SchedSelIdx]及nal_initial_alt_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於 vcl_initial_alt_cpb_removal_delay[SchedSelIdx]及vcl_initial_alt_cpb_removal_offset[SchedSelIdx]之值,其中緩衝週期SEI訊息語法元素係如子條項C.1中所指定予以選擇:
-存取單元0為使經寫碼圖像具有等於BLA_W_RADL或BLA_N_LP之nal_unit_type之BLA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1。
-存取單元0為使經寫碼圖像具有等於BLA_W_LP之nal_unit_type之BLA存取單元或為CRA存取單元,且緩衝週期SEI訊息之irap_cpb_params_present_flag之值等於1,且以下條件中之一或多者為真:
-用於存取單元0之UseAltCpbParamsFlag等於1。
-DefaultInitCpbParamsFlag等於0。
-subPicParamsFlag之值等於1。
-否則,InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]經設定為當NalHrdModeFlag等於1時分別等於緩衝週期SEI訊息語法元素nal_initial_cpb_removal_delay[SchedSelIdx]及nal_initial_cpb_removal_offset[SchedSelIdx]之值,或經設定為當NalHrdModeFlag等於0時分別等於vcl_initial_cpb_removal_delay[SchedSelIdx]及vcl_initial_cpb_removal_offset[SchedSelIdx]之值,其中緩衝週期SEI訊息語法元素係如子條項C.1中所指定予以選擇。
解碼單元m之第一位元開始進入CPB之時間被稱作初始到達時間initArrivalTime[m]。
解碼單元m之初始到達時間被導出如下:
-若解碼單元為解碼單元0(亦即,m=0),則initArrivalTime[0]=0,
-否則(解碼單元為解碼單元m,其中m>0),則以下情況適用:
-若cbr_flag[SchedSelIdx]等於1,則用於解碼單元m之最初到達時間等於解碼單元m-1之最終到達時間(其在下文中被導出),亦即:if(!subPicParamsFlag) initArrivalTime[m]=AuFinalArrivalTime[m-1](C-4)
else initArrivalTime[m]=DuFinalArrivalTime[m-1]
-否則(cbr_flag[SchedSelIdx]等於0),用於解碼單元m之最初到達時間被導出如下:if(!subPicParamsFlag) initArrivalTime[m]=Max(AuFinalArrivalTime[m-1],initArrivalEarliestTime[m])(C-5)
else initArrivalTime[m]=Max(DuFinnlArrivalTime[m-1],initArrivalEarliestTime[m])
其中initArrivalEarliestTime[m]被導出如下:
-變數tmpNominalRemovalTime被導出如下:if(!subPicParamsFlag) tmpNominalRemovalTime=AuNominalRemovalTime[m](C-6)
else tmpNominalRemovalTime=DuNominalRemovalTime[m]
其中AuNominalRemovalTime[m]及DuNominalRemovalTime[m]分別為存取單元m及解碼單元m之標稱CPB移除時間,如子條項C.2.3中所指定。
-若解碼單元m不為後續緩衝週期之第一解碼單元,則 initArrivalEarliestTime[m]被導出如下:initArrivalEarliestTime[m]=tmpNominalRemovalTime-(InitCpbRemovalDelay[SchedSelIdx]+InitCpbRemovalDelayOffset[SchedSelIdx])÷90000(C-7)
-否則(解碼單元m為後續緩衝週期之第一解碼單元),initArrivalEarliestTime[m]被導出如下:initArrivalEarliestTime[m]=tmpNominalRemovalTime-(InitCpbRemovalDelay[SchedSelIdx]÷90000)(C-8)
用於解碼單元m之最終到達時間被導出如下:if(!subPicParamsFlag) AuFinalArrivalTime[m]=initArrivalTime[m]+sizeInbits[m]÷BitRate[SchedSelIdx](C-9)
else DuFinalArrivalTime[m]=initArrivalTime[m]+sizeInbits[m]÷BitRate[SchedSelIdx]
其中sizeInbits[m]為解碼單元m之以位元為單位之大小,從而計數用於類型I一致性點之VCL NAL單元及填充符資料NAL單元之位元或用於類型II一致性點之類型II位元串流之所有位元,其中類型I一致性點及類型II一致性點係如圖C-1所展示。
SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之值被約束如下:
-若用於含有解碼單元m之存取單元之選定hrd_parameters( )語法結構 (或跨層HRD參數SEI訊息(在適用時)) 之內容與用於前一存取單元之選定hrd_parameters( )語法結構之內容不同,則HSS自提供於用於含有解碼單元m之存取單元之選定hrd_parameters( )語法結構 (或跨層 HRD參數SEI訊息(在適用時)) 中的SchedSelIdx值當中選擇SchedSelIdx之一值SchedSelIdx1,其導致用於含有解碼單元m之存取單元之BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]之值可不同於用於前一存取單元的SchedSelIdx之值SchedSelIdx0之BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]之值。
-否則,HSS繼續用前一SchedSelIdx值、前一BitRate[SchedSelIdx]值及前一CpbSize[SchedSelIdx]值進行操作。
當HSS選擇不同於前一存取單元之BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]之值的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]之值時,以下情況適用:
-變數BitRate[SchedSelIdx]在當前存取單元之初始CPB到達時間開始生效。
-變數CpbSize[SchedSelIdx]開始生效如下:
-若CpbSize[SchedSelIdx]之新值大於舊CPB大小,則其在當前存取單元之初始CPB到達時間開始生效。
-否則,CpbSize[SchedSelIdx]之新值在當前存取單元之CPB移除時間開始生效。
此外,在本發明之技術之第二組實例中,可作出對HEVC工作草案10之附件C章節C.3.3之以下改變。該等改變可導致視訊解碼器30至少部分地基於指示是否IRAP存取單元之所有CL-RAS圖像皆存在於視訊資料位元串流中之值(例如,NoClRasPicPresentFlag)來執行圖像輸出程序。
C.3.3 圖像輸出
此子條項中所指定之程序在存取單元n之CPB移除時間AuCpbRemovalTime[n]瞬時地發生。
當圖像n具有等於1之PicOutputFlag時,其之DPB輸出時間DpbOutputTime[n]被導出如下,其中變數firstPicInBufferingPeriodFlag在存取單元n為緩衝週期之第一存取單元的情況下等於1,否則等於0:if(!SubPicHrdFlag){ DpbOutputTime[n]=AuCpbRemovalTime[n]+ClockTick * picDpbOutputDelay(C-16)
if(firstPicInBufferingPeriodFlag)
DpbOutputTime[n]-=ClockTick * DpbDelayOffset }else
DpbOutputTime[n]=AuCpbRemovalTime[n]+ClockSubTick * picSptDpbOutputDuDelay
其中[[picDpbOutputDelay為與存取單元n相關聯之圖像時序SEI訊息中之pic_dpb_output_delay之值,且]]picSptDpbOutputDuDelay為與存取單元n相關聯之解碼單元資訊SEI訊息中之pic_spt_dpb_output_du_delay之值(當存在時),或當不存在與存取單元n相關聯之解碼單元資訊SEI訊息或與存取單元n相關聯之解碼單元資訊SEI訊息中不存在pic_spt_dpb_output_du_delay時為與存取單元n相關聯之圖像時序SEI訊息中之pic_dpb_output_du_delay之值。
picDpbOutputDelay之值經設定如下:
-若以下條件中任一者為真,則picDpbOutputDelay經選擇為與存取單元n相關聯之圖像時序SEI訊息中之pic_alt_dpb_output_delay之值。
-以解碼次序之前一初始IRAP AU具有等於1之NoClRasPicPresentFlag,且irap_cross_layer_cpb_params_present_flag等於1。
-當前AU為具有等於1之NoClRasPicPresentFlag之初始IRAP AU,且irap_cross_layer_cpb_params_present_flag等於1。
-否則,picDpbOutputDelay為與存取單元n相關聯之圖像時序SEI訊息中之pic_alt_dpb_output_delay之值。
注意--當語法元素pic_spt_dpb_output_du_delay不存在於與存取單元n相關聯之任何解碼單元資訊SEI訊息中時,值經推斷為等於與存取單元n相關聯之圖像時序SEI訊息中之pic_dpb_output_du_delay。
當前圖像之輸出經指定如下:
-若PicOutputFlag等於1且DpbOutputTime[n]等於AuCpbRemovalTime[n],則輸出當前圖像。
-否則,若PicOutputFlag等於0,則不輸出當前圖像,但將把當前圖像儲存於DPB中,如子條項C.3.4中所指定。
-否則(PicOutputFlag等於1且DpbOutputTime[n]大於AuCpbRemovalTime[n]),稍後輸出當前圖像且將把當前圖像儲存於DPB中(如子條項C.3.4中所指定),且除非當前圖像被指示為不在DpbOutputTime[n]之前的時間藉由等於1之no_output_of_prior_pics_flag之解碼或推斷而輸出,否則在時間DpbOutputTime[n]輸出當前圖像。
當輸出時,使用用於圖像之作用中SPS中指定之一致性裁剪窗來裁剪圖像。
當圖像n為被輸出且不為被輸出之位元串流之最後圖像的圖像時變數DpbOutputInterval[n]之值被導出如下:DpbOutputInterval[n]=DpbOutputTime[nextPicInOutputOrder]-DpbOutputTime[n](C-17)
其中nextPicInOutputOrder為以輸出次序在圖像n之後且具有等於1之PicOutputFlag的圖像。
圖5為根據本發明之一或多個技術的說明CL-RAS圖像之概念圖。在圖5之實例中,每一正方形表示一不同圖像。此外,在圖5之實例中,正方形係以行250A至250D(集體地為「行250」)及列252A至252D(集體地為「列252」)之形式予以配置。行250中每一者對應於一不同存取單元(AU)。列252中每一者對應於一不同層。列252中之較高列取決於列252中之較低列。在圖5之實例中,成交叉影線正方形對應於非IRAP、非CL-RAS圖像。
如圖5之實例所展示,CL-RAS圖像可存在於IRAP存取單元(亦即,包括基礎層處之IRAP圖像之存取單元)中,諸如,對應於行250A之存取單元。此外,如圖5之實例所說明,CL-RAS圖像(例如,行250B及列252B中之CL-RAS圖像)可存在於以解碼次序在IRAP存取單元之後且以解碼次序在包括處於相同於CL-RAS圖像之層之IRAP圖像的層切換IRAP存取單元之前的存取單元中。在圖5之實例中,行250A對應於IRAP存取單元,且行250C對應於層切換IRAP存取單元。
在不同例子中,CL-RAS圖像之經寫碼表示可能或可能不包括於位元串流中。可需要使符合的解碼器能夠解碼包括CL-RAS圖像之位元串流及不包括CL-RAS圖像之位元串流。因此,根據本發明之一或多個技術,視訊解碼器或其他器件可基於一值(例如,NoClRasPicPresentFlag)來判定是否IRAP存取單元之所有CL-RAS圖像皆存在於視訊資料位元串流中。
圖6A為說明根據本發明之一或多個技術的視訊編碼器20之實例操作的流程圖。圖6A被呈現為一實例。根據本發明之技術之視訊編碼器之其他實例操作可包括更多、更少或不同動作。
在圖6A之實例中,視訊編碼器20可產生包括形成經寫碼圖像及相關聯資料之表示之位元序列的位元串流,其中該位元串流包括供接收該位元串流之器件能夠導出指定IRAP存取單元之CL-RAS圖像是否 存在於該位元串流中之一值的語法元素(300)。另外,視訊編碼器20可輸出該位元串流(302)。
圖6B為根據本發明之一或多個技術的說明器件之實例操作的流程圖。圖6B被呈現為一實例。根據本發明之技術之視訊解碼器之其他實例操作可包括更多、更少或不同動作。諸如視訊編碼器20、具有媒體知識的網路元件(MANE)或另一類型之器件之各種器件可執行圖6B之操作。該器件可能為或可能不為最初產生位元串流之器件。在圖6B之實例中,器件可產生設定指定IRAP存取單元之CL-RAS圖像是否存在於位元串流中之一變數的SEI訊息,該位元串流包括形成經寫碼圖像及相關聯資料之表示之位元序列(310)。該器件可將SEI訊息包括於位元串流中(312)。
圖6C為說明根據本發明之一或多個技術的視訊解碼器30之實例操作的流程圖。圖6C被呈現為一實例。根據本發明之技術之視訊解碼器之其他實例操作可包括更多、更少或不同動作。
在圖6C之實例中,視訊解碼器30可基於一值判定是否IRAP存取單元之所有CL-RAS圖像皆存在於視訊資料位元串流中(350)。另外,視訊解碼器30可至少部分地基於自視訊資料位元串流解碼之語法元素而重新建構視訊資料之圖像(352)。
以下段落提供本發明之實例。
實例1。 一種處理視訊資料之方法,該方法包含基於一值而判定是否與一框內隨機存取點(IRAP)存取單元相關聯之所有跨層隨機存取跳過(CL-RAS)圖像皆存在於一視訊資料位元串流中。
實例2。 如實例1之方法,其中該方法包含至少部分地基於該視訊資料位元串流之一補充增強資訊(SEI)訊息中之資料來設定該值。
實例3。 如實例1之方法,其中該值係藉由用於該視訊資料之 一解碼程序外部之一機制來設定。
實例4。 如實例3之方法,其中當一當前存取單元為一初始IRAP存取單元時,該值係藉由用於該視訊資料之該解碼程序外部之該機制設定。
實例5。 如實例1之方法,其中該方法包含至少部分地基於一視訊參數集(VPS)中之資料來設定該值。
實例6。 如實例1之方法,其進一步包含執行一位元串流一致性測試以判定該視訊資料位元串流是否符合一視訊寫碼規範,其中位元串流一致性之要求為:若一當前圖像為一層識別符大於0的一IRAP圖像,則對於一當前層之每一直接參考層,在一經寫碼視訊序列(CVS)中存在一層識別符等於該當前層之一層識別符且一解碼次序在該當前圖像之前的至少一IRAP圖像。
實例7。 如實例1之方法,其中針對一特定層id值之一經啟動序列參數集(SPS)原始位元組序列有效負載(RBSP)針對具有該特定層id值的以解碼次序之一圖像序列保持作用中的,該圖像序列自初始IRAP存取單元中或初始IRAP存取單元之後的含有具有nuh_layer_id值之圖像之第一存取單元中具有該特定層id值之圖像開始(包括該圖像),直至初始IRAP存取單元中之具有該特定層id值之下一圖像(不包括該下一圖像)或CVS之末端(無論任何情況皆較早)為止。
實例8。 如實例1之方法,其進一步包含當該值指示並非與一IRAP存取單元相關聯之所有CL-RAS圖像皆存在於該視訊資料位元串流中且一當前圖像為一初始IRAP存取單元中之一CL-RAS圖像時,產生用於該等CL-RAS圖像之不可用參考圖像。
實例9。 如實例1之方法,其進一步包含:自該經寫碼視訊位元串流之一SEI訊息獲得用於IRAP存取單元之替代位元速率參數及經寫碼圖像緩衝器(CPB)大小參數;且對於該等IRAP存取單元中之每一 各別IRAP存取單元,當該各別IRAP存取單元為不存在關聯CL-RAS圖像的一初始IRAP存取單元時使用用於該各別IRAP存取單元之該等替代位元速率參數及CPB大小參數。
實例10。 如實例1之方法,其進一步包含:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當網路抽象層(NAL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,且其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移;自該SEI訊息獲得,其中該替代CPB移除延遲語法元素指定當視訊寫碼層(VCL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲之另一集合,其中該另一替代CPB移除偏移語法元素指定當該等VCL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移;自該SEI訊息獲得指定一偏移之一CPB跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及自該SEI訊息獲得指定一偏移之一經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時該等IRAP存取單元之DPB輸出時間之一導出。
實例11。 如實例1之方法,其進一步包含:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當網路抽象層(NAL)假設的參考解 碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移。
實例12。 如實例1之方法,其進一步包含:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當視訊寫碼層(VCL)HRD參數在使用中時用於一CPB之一替代初始CPB移除延遲,其中該替代CPB移除偏移語法元素指定當該等VCL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移。
實例13。 如實例12之方法,其進一步包含部分地基於該CPB跨層延遲語法元素及該CPB跨層移除偏移語法元素而執行一位元串流一致性測試以判定該視訊寫碼位元串流是否符合一視訊寫碼標準。
實例14。 如實例1之方法,其進一步包含:自一SEI訊息獲得指定一偏移之一CPB跨層移除延遲語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及自該SEI訊息獲得指定一偏移之一經解碼圖像緩衝器(DPB)跨層移除偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時該等IRAP存取單元之DPB輸出時間之一導出。
實例15。 如實例14之方法,其進一步包含部分地基於該CPB跨層延遲語法元素及該CPB跨層移除偏移語法元素而執行一位元串流一致性測試以判定該視訊寫碼位元串流是否符合一視訊寫碼標準。
實例16。 如實例14之方法,其進一步包含當該值指示並非與該 IRAP存取單元相關聯之所有CL-RAS圖像皆存在於該視訊資料位元串流中時:設定等於該CPB跨層移除延遲偏移語法元素之一值之一CPB延遲偏移;及設定等於該DPB跨層移除延遲偏移語法元素之一值之一DPB延遲偏移。
實例17。 如實例1之方法,其進一步包含部分地基於該值而執行一CPB操作。
實例18。 如實例9之方法,其進一步包含自該視訊寫碼位元串流之一SEI訊息獲得指示直至使一跨層位元速率值及一跨層CPB大小值適用之一存取單元之一語法元素。
實例19。 如實例1之方法,其進一步包含自該視訊寫碼位元串流之一SEI訊息獲得指定當一CPB在一存取單元層級操作時之該CPB之一最大輸入位元速率的一語法元素。
實例20。 如實例1之方法,其進一步包含:自該視訊寫碼位元串流之一SEI訊息獲得一語法元素;及至少部分地基於該語法元素而判定當一CPB在一存取單元層級操作時之該CPB大小。
實例21。 如實例1之方法,其進一步包含至少部分地基於該值而執行一圖像輸出程序。
實例22。 一種方法,其包含實例1至21之方法中任一項。
實例23。 一種器件,其包含經組態以執行實例1至21中任一項之方法之一或多個處理器。
實例24。 一種器件,其包含用於執行實例1至21中任一項之方法之構件。
實例25。 一種電腦可讀資料儲存媒體,其具有儲存於其上之指令,該等指令在經執行時組態一器件以執行實例1至21中任一項之方法。
實例26。 一種編碼視訊資料之方法,該方法包含:產生一補充 增強資訊(SEI)訊息,該SEI訊息包括指定一替代經寫碼圖像緩衝器(CPB)移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當網路抽象層(NAL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數(且在一些實例中VCL HRD參數)在使用中時用於該CPB之一替代初始CPB移除偏移;其中該SEI訊息包括指定一偏移之一CPB跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的跨層隨機存取跳過(CL-RAS)圖像不存在於該視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;且其中該SEI訊息包括指定一偏移之一經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時該等IRAP存取單元之DPB輸出時間之一導出。
實例27。 如實例26之方法,其中該SEI訊息包括一IRAP跨層參數存在語法元素,該IRAP跨層參數存在語法元素指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中,其中該替代CPB移除延遲語法元素指定當網路抽象層(NAL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移。
實例28。 如實例26之方法,其中該SEI訊息包括指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當視訊寫碼層(VCL)HRD參數在使用中時用於一CPB之一替代初始CPB移除 延遲,其中該替代CPB移除偏移語法元素指定當該等VCL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移。
實例29。 如實例26之方法,其中該SEI訊息包括:指定一偏移之一CPB跨層移除延遲語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及指定一偏移之一經解碼圖像緩衝器(DPB)跨層移除偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時該等IRAP存取單元之DPB輸出時間之一導出。
實例30。 一種編碼視訊資料之方法,該方法包含產生一補充增強資訊(SEI)訊息,該SEI訊息包括指示直至使一跨層位元速率值及一跨層經寫碼圖像緩衝器CPB大小值適用之一存取單元之一語法元素。
實例31。 一種編碼視訊資料之方法,該方法包含產生一補充增強資訊(SEI)訊息,該SEI訊息包括指定當一CPB在一存取單元層級操作時該CPB之一最大輸入位元速率的一語法元素。
實例32。 一種器件,其包含經組態以執行實例26至31中任一項之方法之一或多個處理器。
實例33。 一種器件,其包含用於執行實例26至31中任一項之方法之構件。
實例34。 一種電腦可讀資料儲存媒體,其具有儲存於其上之指令,該等指令在經執行時組態一器件以執行實例26至31中任一項之方法。
在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且由 以硬體為基礎之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體;或通信媒體,其包括促進(例如)根據通信協定將電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又,任何連接被適當地稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(digital subscriber line,DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是替代地有關非暫時性有形儲存媒體。如本文所使用,磁碟及光碟包括緊密光碟(compact disc,CD)、雷射光碟、光學光碟、數位影音光碟(digital versatile disc,DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(digital signal processor,DSP)、通用微處理器、特殊應用積體電路(application specific integrated circuit,ASIC)、場可程式化閘陣列(field programmable gate array,FPGA)或其他等效整合式或離散邏輯電路之一或多個處理器來執行指令。因此,本文所使用之術語「處理器」可指前述結構或適於實施本文所描述之技術的任何其他結構中任一者。另外,在一些態樣中,可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。又,該等技術可被完全實施於一或多個電路或邏輯元件中。
本發明之技術可在廣泛多種器件或裝置中予以實施,該等器件或裝置包括無線手機、積體電路(integrated circuit,IC)或IC集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣,但未必要求藉由不同硬體單元來實現。更確切而言,如上文所描述,各種單元可組合於編碼解碼器硬體單元中或由交互操作之硬體單元的集合(包括如上文所描述之一或多個處理器)結合合適軟體及/或韌體來提供。
已描述各種實例。此等及其他實例連同此等實例之各種組合係在以下申請專利範圍之範疇內。

Claims (26)

  1. 一種由一視訊解碼器執行之解碼視訊資料之方法,該方法包含:產生多個不可用參考圖像且將該等不可用參考圖像包括在存在於一視訊資料位元串流之一初始框內隨機存取點(IRAP)存取單元中之一跨層隨機存取跳過(CL-RAS)圖像之第一參考圖像子集、第二參考圖像子集、第三參考圖像子集、第四參考圖像子集及第五參考圖像子集中,其中:該CL-RAS圖像係並非為一IRAP圖像之一圖像且在該初始IRAP存取單元中,其中該CL-RAS圖像含有不存在於該視訊資料位元串流中之多個圖像之多個參考且該CL-RAS圖像之一層識別符大於0,該第一參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之前出現的一短期參考圖像,該第二參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之後出現的一短期參考圖像,該第三參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一短期參考圖像,該第四參考圖像子集中之每一參考圖像為可用於該CL-RAS圖像之框間預測的一長期參考圖像,且該第五參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一長期參考圖像;及至少部分基於經產生之該等不可用參考圖像之一或多者解碼該CL-RAS圖像。
  2. 如請求項1之方法,其中該方法包含:至少部分地基於該視訊資料位元串流之一補充增強資訊(SEI)訊息中之資料來設定一值;及基於該值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中。
  3. 如請求項1之方法,其進一步包含:基於一值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中,其中該值係藉由用於該視訊資料之一解碼程序外部之一機制來設定。
  4. 如請求項1之方法,其進一步包含:基於一值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中;及部分地基於該值而執行一經寫碼圖像緩衝器(CPB)操作。
  5. 如請求項4之方法,其中執行該CPB操作包含:基於該值指示並非與該IRAP存取單元相關聯之所有CL-RAS圖像皆存在於該視訊資料位元串流中且一緩衝週期補充增強資訊(SEI)訊息包括指定一第二語法元素及一第三語法元素在該緩衝週期SEI訊息中之存在之一第一語法元素:將一CPB移除延遲設定至由該第二語法元素指定之一替代移除延遲;及將一CPB移除偏移設定至由該第三語法元素指定之一替代移除偏移。
  6. 如請求項1之方法,其中產生該等不可用參考圖像包含:對於該第一參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一圖像次序計數(POC)值等於一第一POC值集合中之該各別位置處之一POC值,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於短期參考,該第一參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之一層識別符;對於該第二參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第二POC值集合中之該各別位置處之一POC值,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於短期參考,該第二參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符;對於該第三參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第三POC值集合中之該各別位置處之一POC值,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於短期參考,該第三參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符;對於該第四參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第四POC值集合中之該各別位置處之一POC值,指定用於所產生之該圖像之一POC值之多個最低有效位元的一語法元素之一值經推斷為等於該第四POC值集合中之該各別位置處之該POC值與由指示允許該POC值之該等最低有效位元具有的最大值之一變數減1導致的一值之一按位元「及」運算之一結果,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於長期參考,該第四參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符;對於一第五參考圖像子集陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第五POC值集合中之該各別位置處之一POC值,指定用於所產生之該圖像之一POC值之多個最低有效位元的一語法元素之一值經推斷為等於該第五POC值集合中之該各別位置處之該POC值與由指示允許該POC值之該等最低有效位元具有的最大值之一變數減1導致的一值之一按位元「及」運算之一結果,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於長期參考,該第五參考圖像子集陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符。
  7. 如請求項1之方法,其進一步包含執行一位元串流一致性測試以判定該視訊資料位元串流是否符合一視訊寫碼規範,其中位元串流一致性之一要求為:若一當前圖像為一層識別符大於0的一IRAP圖像,則對於一當前層之每一直接參考層,在一經寫碼視訊序列(CVS)中存在一層識別符等於該當前層之一層識別符且一解碼次序在該當前圖像之前的至少一IRAP圖像。
  8. 如請求項1之方法,其進一步包含:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當多個網路抽象層(NAL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,且其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移;自該SEI訊息獲得指定一偏移之一CPB跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在與該SEI訊息相關聯之該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及自該SEI訊息獲得指定一偏移之一經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於在與該初始IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時與該SEI訊息相關聯之該等IRAP存取單元之DPB輸出時間之一導出。
  9. 如請求項1之方法,其進一步包含:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當多個視訊寫碼層(VCL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,且其中該替代CPB移除偏移語法元素指定當該等VCL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移;自該SEI訊息獲得指定一偏移之一CPB跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在與該SEI訊息相關聯之該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及自該SEI訊息獲得指定一偏移之一經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於在與該初始IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時與該SEI訊息相關聯之該等IRAP存取單元之DPB輸出時間之一導出。
  10. 如請求項1之方法,其進一步包含:基於一值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中;及至少部分地基於該值而執行一圖像輸出程序。
  11. 如請求項1之方法,其中該初始IRAP存取單元係含有一或多個IRAP圖像之一存取單元,在該初始IRAP存取單元中nuh_layer_id等於0之一經寫碼圖像具有NoRaslOutputFlag等於1,其中該初始IRAP存取單元之一基礎層中之一圖像係在一IRAP圖像中且並非該初始IRAP存取單元之所有圖像皆在IRAP圖像中。
  12. 一種器件,其包含:一非暫時性資料儲存媒體,其經組態以儲存視訊資料;及一或多個處理器,其經組態以:產生多個不可用參考圖像且將該等不可用參考圖像包括在存在於一視訊資料位元串流之一初始框內隨機存取點(IRAP)存取單元中之一跨層隨機存取跳過(CL-RAS)圖像之第一參考圖像子集、第二參考圖像子集、第三參考圖像子集、第四參考圖像子集及第五參考圖像子集中,其中:該CL-RAS圖像係並非為一IRAP圖像之一圖像但在該初始IRAP存取單元中,其中該CL-RAS圖像含有不存在於該視訊資料位元串流中之多個圖像之多個參考且該CL-RAS圖像之一層識別符大於0,該第一參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之前出現的一短期參考圖像,該第二參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之後出現的一短期參考圖像,該第三參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一短期參考圖像,該第四參考圖像子集中之每一參考圖像為可用於該CL-RAS圖像之框間預測的一長期參考圖像,且該第五參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一長期參考圖像;及至少部分基於經產生之該等不可用參考圖像之一或多者解碼該CL-RAS圖像。
  13. 如請求項12之器件,其中該一或多個處理器經組態以:至少部分地基於該視訊資料位元串流之一補充增強資訊(SEI)訊息中之資料來設定一值;及基於該值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中。
  14. 如請求項12之器件,其中該一或多個處理器經組態以基於一值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中,其中該值係由用於該視訊資料之一解碼程序外部之一機制來設定。
  15. 如請求項12之器件,其中該一或多個處理器經組態以:基於一值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中,及部分地基於該值而執行一經寫碼圖像緩衝器(CPB)操作。
  16. 如請求項15之器件,其中該一或多個處理器經組態以使得作為執行該CPB操作之部分,該一或多個處理器進行以下操作:在該值指示並非與該初始IRAP存取單元相關聯之所有CL-RAS圖像皆存在於該視訊資料位元串流中且一緩衝週期補充增強資訊(SEI)訊息包括指定一第二語法元素及一第三語法元素在該緩衝週期SEI訊息中之存在之一第一語法元素時:將一CPB移除延遲設定至由該第二語法元素指定之一替代移除延遲;及將一CPB移除偏移設定至由該第三語法元素指定之一替代移除偏移。
  17. 如請求項12之器件,其中該一或多個處理器經組態以使得:對於該第一參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則該一或多個處理器產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一圖像次序計數(POC)值等於一第一POC值集合中之該各別位置處之一POC值,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於短期參考,該第一參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之一層識別符;對於該第二參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則該一或多個處理器產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第二POC值集合中之該各別位置處之一POC值,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於短期參考,該第二參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符;對於該第三參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則該一或多個處理器產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第三POC值集合中之該各別位置處之一POC值,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於短期參考,該第三參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符;對於該第四參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則該一或多個處理器產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第四POC值集合中之該各別位置處之一POC值,指定用於所產生之該圖像之一POC值之多個最低有效位元的一語法元素之一值經推斷為等於該第四POC值集合中之該各別位置處之該POC值與由指示允許該POC值之該等最低有效位元具有的最大值之一變數減1導致的一值之一按位元「及」運算之一結果,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於長期參考,該第四參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符;對於該第五參考圖像子集之一陣列中之每一各別位置,若該各別位置處之一條目等於「無參考圖像」,則該一或多個處理器產生以下情況適用之一參考圖像:用於所產生之該參考圖像之一POC值等於一第五POC值集合中之該各別位置處之一POC值,指定用於所產生之該圖像之一POC值之多個最低有效位元的一語法元素之一值經推斷為等於該第五POC值集合中之該各別位置處之該POC值與由指示允許該POC值之該等最低有效位元具有的最大值之一變數減1導致的一值之一按位元「及」運算之一結果,用於所產生之該參考圖像之一圖像輸出旗標經設定為等於0,所產生之該參考圖像經標記為用於長期參考,該第五參考圖像子集之該陣列中之該各別位置經設定至所產生之該參考圖像,且用於所產生之該參考圖像之一層識別符經設定至該CL-RAS圖像之該層識別符。
  18. 如請求項12之器件,其中該一或多個處理器經組態以執行一位元串流一致性測試以判定該視訊資料位元串流是否符合一視訊寫碼規範,其中位元串流一致性之一要求為:若一當前圖像為一層識別符大於0的一IRAP圖像,則對於一當前層之每一直接參考層,在一經寫碼視訊序列(CVS)中存在一層識別符等於該當前層之一層識別符且一解碼次序在該當前圖像之前的至少一IRAP圖像。
  19. 如請求項12之器件,其中該一或多個處理器經組態以:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當多個網路抽象層(NAL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,且其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移;自該SEI訊息獲得指定一偏移之一CPB跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在與該SEI訊息相關聯之該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及自該SEI訊息獲得指定一偏移之一經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於在與該初始IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時與該SEI訊息相關聯之該等IRAP存取單元之DPB輸出時間之一導出。
  20. 如請求項12之器件,其中該一或多個處理器經組態以:自該經寫碼視訊位元串流之一SEI訊息獲得指定一替代CPB移除延遲語法元素及一替代CPB移除偏移語法元素是否存在於該SEI訊息中之一語法元素,其中該替代CPB移除延遲語法元素指定當多個視訊寫碼層(VCL)假設的參考解碼器(HRD)參數在使用中時用於一CPB之一替代初始CPB移除延遲,且其中該替代CPB移除偏移語法元素指定當該等NAL HRD參數在使用中時用於該CPB之一替代初始CPB移除偏移;自該SEI訊息獲得指定一偏移之一CPB跨層延遲偏移語法元素,該偏移待用於在與相關聯於該SEI訊息之一IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時以解碼次序在與該SEI訊息相關聯之該IRAP存取單元之後的存取單元之標稱CPB移除時間之一導出;及自該SEI訊息獲得指定一偏移之一經解碼圖像緩衝器(DPB)跨層延遲偏移語法元素,該偏移待用於在與該初始IRAP存取單元相關聯的CL-RAS圖像不存在於該視訊資料位元串流中時與該SEI訊息相關聯之該等IRAP存取單元之DPB輸出時間之一導出。
  21. 如請求項12之器件,其中該一或多個處理器經組態以:基於一值判定與該初始IRAP存取單元相關聯之所有CL-RAS圖像是否存在於該視訊資料位元串流中;及至少部分地基於該值而執行一圖像輸出程序。
  22. 如請求項12之器件,其中該初始IRAP存取單元係含有一或多個IRAP圖像之一存取單元,在該初始IRAP存取單元中nuh_layer_id等於0之一經寫碼圖像具有NoRaslOutputFlag等於1,其中該初始IRAP存取單元之一基礎層中之一圖像係在一IRAP圖像中且並非該初始IRAP存取單元之所有圖像皆在IRAP圖像中。
  23. 一種解碼視訊資料之器件,該器件包含:用於產生多個不可用參考圖像且將該等不可用參考圖像包括在存在於一視訊資料位元串流之一初始框內隨機存取點(IRAP)存取單元中之一跨層隨機存取跳過(CL-RAS)圖像之第一參考圖像子集、第二參考圖像子集、第三參考圖像子集、第四參考圖像子集及第五參考圖像子集中之構件,其中:該CL-RAS圖像係並非為一IRAP圖像之一圖像且在該初始IRAP存取單元中,其中該CL-RAS圖像含有不存在於該視訊資料位元串流中之多個圖像之多個參考且該CL-RAS圖像之一層識別符大於0,該第一參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之前出現的一短期參考圖像,該第二參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之後出現的一短期參考圖像,該第三參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一短期參考圖像,該第四參考圖像子集中之每一參考圖像為可用於該CL-RAS圖像之框間預測的一長期參考圖像,且該第五參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一長期參考圖像;及用於至少部分基於經產生之該等不可用參考圖像之一或多者解碼該CL-RAS圖像之構件。
  24. 如請求項23之器件,其中該初始IRAP存取單元係含有一或多個IRAP圖像之一存取單元,在該初始IRAP存取單元中nuh_layer_id等於0之一經寫碼圖像具有NoRaslOutputFlag等於1,其中該初始IRAP存取單元之一基礎層中之一圖像係在一IRAP圖像中且並非該初始IRAP存取單元之所有圖像皆在IRAP圖像中。
  25. 一種非暫時性電腦可讀資料儲存媒體,其具有多個指令儲存於其上,當執行該等指令時,使一器件:產生多個不可用參考圖像且將該等不可用參考圖像包括在存在於一視訊資料位元串流之一初始框內隨機存取點(IRAP)存取單元中之一跨層隨機存取跳過(CL-RAS)圖像之第一參考圖像子集、第二參考圖像子集、第三參考圖像子集、第四參考圖像子集及第五參考圖像子集中,其中:該CL-RAS圖像係並非為一IRAP圖像之一圖像但在該初始IRAP存取單元中,其中該CL-RAS圖像含有不存在於該視訊資料位元串流中之多個圖像之多個參考且該CL-RAS圖像之一層識別符大於0,該第一參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之前出現的一短期參考圖像,該第二參考圖像子集中之每一參考圖像為以輸出次序在該CL-RAS圖像之後出現的一短期參考圖像,該第三參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一短期參考圖像,該第四參考圖像子集中之每一參考圖像為可用於該CL-RAS圖像之框間預測的一長期參考圖像,且該第五參考圖像子集中之每一參考圖像為不用於該CL-RAS圖像之框間預測的一長期參考圖像;及至少部分基於經產生之該等不可用參考圖像之一或多者解碼該CL-RAS圖像。
  26. 如請求項25之非暫時性電腦可讀資料儲存媒體,其中該初始IRAP存取單元係含有一或多個IRAP圖像之一存取單元,在該初始IRAP存取單元中nuh_layer_id等於0之一經寫碼圖像具有NoRaslOutputFlag等於1,其中該初始IRAP存取單元之一基礎層中之一圖像係在一IRAP圖像中且並非該初始IRAP存取單元之所有圖像皆在IRAP圖像中。
TW103119270A 2013-06-03 2014-06-03 假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性 TWI647948B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361830512P 2013-06-03 2013-06-03
US61/830,512 2013-06-03
US14/293,829 2014-06-02
US14/293,829 US10003815B2 (en) 2013-06-03 2014-06-02 Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures

Publications (2)

Publication Number Publication Date
TW201507441A TW201507441A (zh) 2015-02-16
TWI647948B true TWI647948B (zh) 2019-01-11

Family

ID=51985090

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103119270A TWI647948B (zh) 2013-06-03 2014-06-03 假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性

Country Status (9)

Country Link
US (1) US10003815B2 (zh)
EP (1) EP3005705B1 (zh)
JP (1) JP6342483B2 (zh)
KR (1) KR101984355B1 (zh)
CN (1) CN105308971B (zh)
ES (1) ES2724925T3 (zh)
HU (1) HUE043178T2 (zh)
TW (1) TWI647948B (zh)
WO (1) WO2014197428A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US9596486B2 (en) 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
WO2015009693A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Layer based hrd buffer management for scalable hevc
US10070125B2 (en) 2013-07-31 2018-09-04 Nokia Technologies Oy Method and apparatus for video coding and decoding
WO2015052943A1 (en) * 2013-10-13 2015-04-16 Sharp Kabushiki Kaisha Signaling parameters in vps extension and dpb operation
CN105981387B (zh) * 2013-10-15 2019-09-27 诺基亚技术有限公司 用于处理视频的方法、装置和计算机可读存储介质
US20170171563A1 (en) * 2014-02-24 2017-06-15 Sharp Kabushiki Kaisha Restrictions on signaling
US10484711B2 (en) * 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
US10313487B2 (en) * 2015-03-27 2019-06-04 Qualcomm Incorporated Support of location services using a positioning protocol
US10834419B2 (en) * 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10368099B2 (en) * 2016-08-09 2019-07-30 Qualcomm Incorporated Color remapping information SEI message signaling for display adaptation
CN106713927B (zh) * 2016-11-14 2019-08-13 珠海格力电器股份有限公司 一种图像输出装置、方法及解码器
CN109803279B (zh) * 2017-11-16 2021-06-25 大唐移动通信设备有限公司 一种切片管理方法、基站及终端
CN112544082B (zh) * 2018-07-18 2023-12-15 寰发股份有限公司 一种视频编解码的帧间预测方法及装置
KR20210089131A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 위치 기반 인트라 예측
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
EP3871415A4 (en) 2018-12-07 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. CONTEXT-BASED INTRAPREDICTION
AU2020226566A1 (en) 2019-02-24 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
BR112021017426A2 (pt) * 2019-03-01 2022-01-18 Fraunhofer Ges Forschung Decodificador de referência hipotético
CN113557733A (zh) 2019-03-11 2021-10-26 华为技术有限公司 视频译码中的逐步解码刷新
PT3850847T (pt) 2019-03-11 2022-07-01 Dolby Laboratories Licensing Corp Sinalização de informações relacionadas com o ângulo de obturador
CN113678463A (zh) * 2019-03-11 2021-11-19 Vid拓展公司 用于子图片自适应分辨率变化的方法和装置
CN117880494A (zh) 2019-03-24 2024-04-12 北京字节跳动网络技术有限公司 用于帧内预测的参数推导的条件
US11457242B2 (en) * 2019-06-24 2022-09-27 Qualcomm Incorporated Gradual random access (GRA) signalling in video coding
WO2020263817A1 (en) * 2019-06-25 2020-12-30 Intel Corporation Sub-pictures and sub-picture sets with level derivation
CN114009051B (zh) * 2019-06-27 2023-07-18 华为技术有限公司 用于v-pcc的假设参考解码器
CN114073073B (zh) * 2019-07-08 2023-06-06 华为技术有限公司 一种支持混合nal单元的编解码方法和编解码器
CN114616826A (zh) * 2019-08-06 2022-06-10 Op方案有限责任公司 基于帧类型的自适应分辨率管理的隐式标识
US20220321884A1 (en) * 2019-08-09 2022-10-06 Hyundai Motor Company Method and apparatus for encoding and decoding video using sub-picture partitioning
JP2022532444A (ja) 2019-09-07 2022-07-14 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオデータを復号化する方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、デコーダ可読記憶媒体、およびコンピュータプログラム製品
EP4030764A4 (en) * 2019-09-11 2022-11-23 Panasonic Intellectual Property Corporation of America CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD
JP2022550320A (ja) * 2019-09-24 2022-12-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ符号化におけるseiメッセージ依存性の簡略化
CA3152464C (en) 2019-09-24 2024-05-14 Xiang Ma Methods and systems to signal inter-layer enabled syntax element in video coding
KR20220063260A (ko) * 2019-09-24 2022-05-17 후아웨이 테크놀러지 컴퍼니 리미티드 시간적 스케일러빌러티를 위한 픽처 타이밍 및 디코딩 단위 정보
CN117528101A (zh) * 2019-09-24 2024-02-06 华为技术有限公司 序列级hrd参数
WO2021125912A1 (ko) * 2019-12-20 2021-06-24 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
WO2021123166A1 (en) * 2019-12-20 2021-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video data stream, video encoder, apparatus and methods for a hypothetical reference decoder and for output layer sets
EP4085622A1 (en) * 2019-12-31 2022-11-09 Koninklijke KPN N.V. Partial output of a decoded picture buffer in video coding
JP7464742B2 (ja) 2020-03-21 2024-04-09 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリング
WO2021193671A1 (ja) * 2020-03-25 2021-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN115428454A (zh) * 2020-04-06 2022-12-02 字节跳动有限公司 使用参数集的视频编解码
EP4128794A4 (en) 2020-04-19 2023-12-27 Beijing Bytedance Network Technology Co., Ltd. RESIDUAL CODING WITH OMISSION OF TRANSFORM
US11451789B2 (en) * 2020-05-20 2022-09-20 Sharp Kabushiki Kaisha Systems and methods for signaling buffering period information in video coding
KR20230015382A (ko) 2020-05-22 2023-01-31 바이트댄스 아이엔씨 비디오 비트스트림 처리에서 픽처 유형들에 대한 제약들
BR122023020999A2 (pt) 2020-05-22 2024-02-27 Ge Video Compression, Llc Aparelho e método para receber fluxo de dados de vídeo, fluxo de dados de vídeo, codificador e decodificador de vídeo, e método para codificar um vídeo em um fluxo de dados de vídeo
WO2021246840A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법
CN115699773A (zh) * 2020-06-09 2023-02-03 字节跳动有限公司 在编解码视频中信令通知图片定时信息
US20230224483A1 (en) * 2020-06-09 2023-07-13 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
EP4154533A4 (en) 2020-06-20 2023-11-01 Beijing Bytedance Network Technology Co., Ltd. CROSS-LAYER PREDICTION WITH DIFFERENT CODING BLOCK SIZE
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
US20220109865A1 (en) * 2020-10-02 2022-04-07 Sharp Kabushiki Kaisha Systems and methods for signaling picture buffer information for intra random access point picture sub-bitstreams in video coding
US11695965B1 (en) * 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190872A1 (en) * 2004-02-14 2005-09-01 Samsung Electronics Co., Ltd. Transcoding system and method for maintaining timing parameters before and after performing transcoding process
US20080002776A1 (en) * 2004-04-30 2008-01-03 British Broadcasting Corporation (Bbc) Media Content and Enhancement Data Delivery
US20100020884A1 (en) * 2007-01-04 2010-01-28 Thomson Licensing Methods and Apparatus for Multi-View Information Conveyed in High Level Syntax
WO2010021665A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder
US20100195738A1 (en) * 2007-04-18 2010-08-05 Lihua Zhu Coding systems
US20130077678A1 (en) * 2011-09-23 2013-03-28 Ying Chen Reference picture list construction for video coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3852366B2 (ja) 2002-04-26 2006-11-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
EP1589768A1 (en) 2003-01-20 2005-10-26 Matsushita Electric Industrial Co., Ltd. Image encoding method
AU2006300881B2 (en) 2005-10-11 2011-03-17 Nokia Technologies Oy System and method for efficient scalable stream adaptation
JP2011501497A (ja) 2007-10-15 2011-01-06 ノキア コーポレイション マルチビュー映像コンテンツのための動きスキップおよびシングルループ符号化
US20100232520A1 (en) 2007-11-05 2010-09-16 Zhenyu Wu Scalable video coding method for fast channel change and increased error relilience
CN102106156B (zh) 2008-07-26 2013-06-19 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
US20110081133A1 (en) 2009-10-05 2011-04-07 Xuemin Chen Method and system for a fast channel change in 3d video
US9210430B2 (en) * 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
EP2866440B1 (en) * 2012-06-24 2018-08-08 Lg Electronics Inc. Image decoding method and apparatus using same
WO2014028838A1 (en) 2012-08-16 2014-02-20 Vid Scale, Inc. Slice based skip mode signaling for multiple layer video coding
US20140085415A1 (en) 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
CA2897152C (en) * 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US9596486B2 (en) * 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190872A1 (en) * 2004-02-14 2005-09-01 Samsung Electronics Co., Ltd. Transcoding system and method for maintaining timing parameters before and after performing transcoding process
US20080002776A1 (en) * 2004-04-30 2008-01-03 British Broadcasting Corporation (Bbc) Media Content and Enhancement Data Delivery
US20100020884A1 (en) * 2007-01-04 2010-01-28 Thomson Licensing Methods and Apparatus for Multi-View Information Conveyed in High Level Syntax
US20100195738A1 (en) * 2007-04-18 2010-08-05 Lihua Zhu Coding systems
WO2010021665A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder
US20130077678A1 (en) * 2011-09-23 2013-03-28 Ying Chen Reference picture list construction for video coding

Also Published As

Publication number Publication date
HUE043178T2 (hu) 2019-08-28
KR101984355B1 (ko) 2019-05-30
EP3005705B1 (en) 2019-02-06
CN105308971A (zh) 2016-02-03
KR20160016853A (ko) 2016-02-15
EP3005705A1 (en) 2016-04-13
US10003815B2 (en) 2018-06-19
TW201507441A (zh) 2015-02-16
JP2016526351A (ja) 2016-09-01
ES2724925T3 (es) 2019-09-17
US20140355692A1 (en) 2014-12-04
JP6342483B2 (ja) 2018-06-13
CN105308971B (zh) 2019-05-03
WO2014197428A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
TWI647948B (zh) 假設的參考解碼器模型及跨層隨機存取跳過圖像之一致性
KR101669778B1 (ko) 비디오 코딩에서의 가상 참조 디코더 파라미터들
KR102054040B1 (ko) 멀티-계층 비디오 코덱들에 대한 멀티-모드 추출의 지원
KR101776448B1 (ko) 비디오 코딩에 있어서의 비-네스팅된 sei 메시지들
KR101652208B1 (ko) 비디오 코딩에서의 비트스트림 속성들
JP6013614B2 (ja) 仮想参照デコーダパラメータシンタックス構造