TW201424392A - 具有改善隨機存取點圖像行爲之視訊寫碼 - Google Patents

具有改善隨機存取點圖像行爲之視訊寫碼 Download PDF

Info

Publication number
TW201424392A
TW201424392A TW102132484A TW102132484A TW201424392A TW 201424392 A TW201424392 A TW 201424392A TW 102132484 A TW102132484 A TW 102132484A TW 102132484 A TW102132484 A TW 102132484A TW 201424392 A TW201424392 A TW 201424392A
Authority
TW
Taiwan
Prior art keywords
image
images
cra
bla
cpb
Prior art date
Application number
TW102132484A
Other languages
English (en)
Other versions
TWI559774B (zh
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201424392A publication Critical patent/TW201424392A/zh
Application granted granted Critical
Publication of TWI559774B publication Critical patent/TWI559774B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明描述用於選擇經寫碼圖像緩衝器(CPB)參數之技術，該等經寫碼圖像緩衝器(CPB)參數用以定義一視訊寫碼器件的用於一視訊位元串流中的清潔隨機存取(CRA)圖像及斷鏈存取(BLA)圖像之一CPB。一視訊寫碼器件接收包括一或多個CRA圖像或BLA圖像之一位元串流，且亦接收一訊息，該訊息指示是否針對該等CRA圖像或BLA圖像中之至少一者使用CPB參數之一替代性集合。該訊息可接收自一外部構件，諸如，包括於一串流傳輸伺服器或網路實體中的一處理構件。該視訊寫碼器件基於該接收到之訊息設定一經定義以指示用於該等圖像中之給定一者的CPB參數之該集合的變數，且基於針對該等圖像中之該給定一者的該變數選擇用於該圖像之CPB參數之該集合。

Description

具有改善隨機存取點圖像行為之視訊寫碼
本申請案主張2012年9月20日申請之美國臨時申請案第61/703,695號之權利，該申請案之全部內容以引用之方式併入本文中。
本發明大體上係關於處理視訊資料，且更特定而言係關於用於視訊資料中的隨機存取圖像。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分「進階視訊寫碼(AVC)」所定義之標準、目前正在發展之高效視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘變換係數，可接著量化殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述在視訊寫碼中提供對包括清潔隨機存取(CRA)圖像及斷鏈存取(BLA)圖像之隨機存取點(RAP)圖像的改善之支援的技術。在一些狀況下，RAP圖像可替代性地被稱作框內隨機存取點(IRAP)圖像。詳言之，本發明描述用於選擇經寫碼圖像緩衝器(CPB)參數之技術，該等經寫碼圖像緩衝器(CPB)參數用以定義一視訊寫碼器件的針對一視訊位元串流中的CRA圖像或BLA圖像的一CPB。CPB參數之預設集合抑或替代性集合可用以定義CPB。若在應選擇替代性集合時使用了預設集合，則CPB可溢位。
在一個實例中，本發明係針對一種處理視訊資料之方法，該方法包含接收一表示複數個圖像之位元串流，該複數個圖像包括CRA圖像或BLA圖像中的一或多者；及接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用CPB參數之一替代性集合。該方法進一步包含基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數；及基於針對該圖像之該變數選擇用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合。
在另一實例中，本發明係針對一種用於處理視訊資料的視訊寫碼器件，該器件包含一經組態以儲存視訊資料的CPB；及一或多個處理器，該一或多個處理器經組態以接收一表示複數個圖像之位元串流，該複數個圖像包括CRA圖像或BLA圖像中的一或多者；接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用CPB參數之一替代性集合；基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數；及基於針對該圖像之該變數選擇用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合。
在其他實例中，本發明係針對一種用於處理視訊資料的視訊寫碼器件，該器件包含用於接收一表示複數個圖像之位元串流之構件，該複數個圖像包括CRA圖像或BLA圖像中的一或多者；用於接收一訊息之構件，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用CPB參數之一替代性集合；用於基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數的構件；及用於基於針對該圖像之該變數選擇用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的構件。
在額外實例中，本發明係針對一種包含用於處理視訊資料之指令的電腦可讀媒體，該等指令在執行時使得一或多個處理器接收一表示複數個圖像之位元串流，該複數個圖像包括CRA圖像或BLA圖像中的一或多者；接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用CPB參數之一替代性集合；基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數；及基於針對該圖像之該變數選擇用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合。
一或多個實例之細節闡述於以下隨附圖式及描述內容中。其他特徵、目標及優點將自該描述內容及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧網路實體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧經解碼圖像緩衝器(DPB)
66‧‧‧經寫碼圖像緩衝器(CPB)
68‧‧‧經寫碼圖像緩衝器(CPB)
70‧‧‧熵解碼單元
71‧‧‧預測處理單元
72‧‧‧運動補償單元
74‧‧‧框內預測處理單元
76‧‧‧反量化單元
78‧‧‧反變換處理單元
80‧‧‧求和器
82‧‧‧經解碼圖像緩衝器(DPB)
100‧‧‧實例目的地器件
102‧‧‧輸入介面
104‧‧‧串流排程器
106‧‧‧經寫碼圖像緩衝器(CPB)
108‧‧‧視訊解碼器
110‧‧‧經解碼圖像緩衝器(DPB)
112‧‧‧呈現單元
114‧‧‧輸出介面
200‧‧‧網路
202‧‧‧伺服器器件
204A‧‧‧路由器件
204B‧‧‧路由器件
206‧‧‧轉碼器件
208‧‧‧用戶端器件
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4係說明一經組態以根據假想參考解碼器(HRD)操作之實例目的地器件的方塊圖。
圖5係說明一基於變數選擇經寫碼圖像緩衝器(CPB)參數之集合的實例操作之流程圖，該變數指示用於位元串流中的特定隨機存取點(RAP)圖像的CPB參數之集合。
圖6係說明一基於變數設定特定RAP圖像之網路抽象層(NAL)單元類型的實例操作之流程圖，該變數指示用於該圖像之CPB參數的集合。
圖7係說明一基於針對圖像之NAL單元類型及變數選擇用於特定RAP圖像之CPB參數之集合的實例操作之流程圖，該變數指示用於該圖像之CPB參數的集合。
圖8係說明一基於變數選擇CPB參數之集合的實例操作之流程圖，該變數經定義以指示針對位元串流中的特定RAP圖像的網路抽象層(NAL)單元類型。
圖9係說明形成網路之部分的器件之實例集合的方塊圖。
本發明描述在視訊寫碼中提供對包括清潔隨機存取(CRA)圖像及斷鏈存取(BLA)圖像之隨機存取點(RAP)圖像的改善之支援的技術。在一些狀況下，RAP圖像可替代性地被稱作框內隨機存取點(IRAP)圖像。詳言之，本發明描述用於選擇經寫碼圖像緩衝器(CPB)參數之技術，該等經寫碼圖像緩衝器(CPB)參數用以定義視訊寫碼器件的用於一視訊位元串流中的CRA圖像及BLA圖像之CPB。假想參考解碼器(HRD)依賴於包括緩衝週期資訊及圖像時序資訊的HRD參數。緩衝週期資訊定義CPB參數，即初始CPB移除延遲及初始CPB移除延遲偏移。CPB參數之預設集合抑或替代性集合可用以基於用以初始化HRD的圖像之類型來定義CPB。若在應選擇替代性集合時使用預設集合，則視訊寫碼器件中符合HRD之CPB可溢位。
根據該等技術，視訊寫碼器件接收一表示複數個圖像之位元串流，該複數個圖像包括一或多個CRA圖像或BLA圖像；且亦接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之每一者使用CPB參數之替代性集合。該訊息可接收自一外部構件，諸如，包括於一串流傳輸伺服器中的處理構件、中間網路元件或另一網路實體。
視訊寫碼器件基於接收到之訊息設定一變數，該變數經定義以指示用於CRA圖像或BLA圖像中之給定一者的CPB參數之集合。視訊 寫碼器件接著基於針對CRA圖像或BLA圖像中之該給定一者的變數來選擇用於圖像之CPB參數之集合。將CPB參數之所選擇集合應用至包括於視訊編碼器或視訊解碼器中之CPB以確保CPB在視訊寫碼期間將不溢位。在一些狀況下，視訊寫碼器件可設定針對CRA圖像或BLA圖像中之給定一者的網路抽象層(NAL)單元類型。視訊寫碼器件可將針對圖像的NAL單元類型設定為所傳信的，或視訊寫碼器件可基於針對圖像之變數來設定NAL單元類型。視訊寫碼器件可基於針對圖像之NAL單元類型及變數來選擇用於給定圖像的CPB參數之集合。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括源器件12，該源器件12提供待由目的地器件14在稍後時間解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」手機之電話手機、所謂「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、數位遊戲主機、視訊串流器件，或其類似者。在一些狀況下，源器件12及目的地器件14可經配備以進行無線通信。
目的地器件14可接收待經由電腦可讀媒體16解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使得源器件12能夠將經編碼視訊資料即時地直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、 廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在其他實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之結合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等應用諸如：空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流傳輸(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介面連接，而非包括整合式顯示器件。
圖1之所說明的系統10僅為一個實例。本發明之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管通常該等技術由視訊編碼器件來執行，但該等技術亦可由通常稱作「編碼解碼器」之視訊編碼器/解碼器來執行。此外，亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅為此等寫碼器件之實例，在該等寫碼器件中，源器件12產生用於傳輸至目的地器件14之經寫碼視訊資料。在一些實例中，器件12、14可以實質上對稱之方式進行操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊存檔，及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或產生實況視訊、經封存視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，經俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20來編碼。經編碼視訊資訊可接著由輸出介面22輸出於電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，穩定式儲存媒體)，諸如，硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未展示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將該經編碼之視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料且產生含有該經編碼視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解成包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之亦由視訊解碼器30使用的語法資訊，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如目前在開發中的高效視訊寫碼(HEVC)標準之視訊編碼寫碼標準而操作，且可符合HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據諸如或者被稱作MPEG-4第10部分(進階視訊寫碼(AVC)之ITU-T H.264標準的其他專屬或工業標準或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。雖然未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符 合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準係由ITU-T視訊寫碼專業團體(VCEG)連同ISO/IEC動畫專業團體(MPEG)一起作為被稱為聯合視訊團隊(JVT)之集體夥伴關係之產物而制訂的。在一些態樣中，本發明中所描述之技術可應用於大體符合H.264標準之器件。H.264標準描述於由ITU-T研究團體在2005年3月發佈之ITU-T推薦H.264(用於一般視聽服務之進階視訊寫碼)中，其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊團隊(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，一器件可將用於軟體之指令儲存於合適的穩定式電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之經組合編碼器/解碼器(編碼解碼器(CODEC))的部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之被稱作HEVC測試模型(HM)的演進模型。HM假設了視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可被劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)的序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為 最大寫碼單元。圖塊包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖像分割成一或多個圖塊。可根據四分樹而將每一樹型區塊分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構對於每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四元樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，四元樹中之節點可包括分裂旗標，從而指示是否將對應於該節點之CU分裂成子CU。可遞歸地定義用於CU之語法元素，且用於CU之語法元素可視CU是否被分裂成子CU而定。若一CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，葉CU之四個子CU亦會被稱作葉CU。舉例而言，若一16×16大小之CU未經進一步分裂，則四個8×8子CU亦會被稱作葉CU，儘管該16×16 CU從未經分裂。
除了CU不具有大小區別之外，CU具有類似於H.264標準之巨集區塊之用途。舉例而言，樹型區塊可分裂成四個子節點(亦被稱作子CU)，且每一子節點又可為父節點並分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與一經寫碼位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義一最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之內容脈絡中之CU、PU或TU中的任一者，或在其他標準之內容脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方 形。CU之大小可在8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊的大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU可分割成非正方形之形狀。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，TU對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU的大小，但可能並非總是如此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生變換係數，其可經量化。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之全部或一部分之空間區域，且可包括用於擷取PU之參考樣本之資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定變換單元，如上文所論述。舉例 而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成其他子TU。當TU不進一步分裂時，其可被稱作葉TU。一般而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式來計算一葉CU的所有TU之預測值。對於框內寫碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，一PU可與同一CU之一對應葉TU共同定位。在一些實例中，一葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點通常對應於葉CU，而CU四分樹之根節點通常對應於樹型區塊(或LCU)。RQT之不分裂的TU被稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含視訊圖像中之一系列的一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像數目的語法資料。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM 亦支援用於以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割區之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」指代在水平方向上分割為頂部2N×0.5N PU及底部2N×1.5N PU之2N×2N CU。
在本發明中，「N×N」與「N乘N」可被互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在將例如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換的變換應用至殘餘視訊資料之後變換域中的係數。殘餘資料可對應於未經編碼之圖像的像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常指代如下程序：將變換係數量化以可能地減少用以表示該等係數之資料的量，從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。舉例而 言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼的串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可係關於(例如)符號之相鄰值是否為非零的。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。VLC中之碼字可經建構，使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可係基於指派給符號之上下文。
視訊編碼器20可進一步例如在圖框標頭、區塊標頭、圖塊標頭或GOP標頭中發送語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)至視訊解碼器30。GOP語法資料可描述各別GOP中的圖框之數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器或 解碼器電路中之任一者(在適用時)，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
視訊寫碼標準可包括視訊緩衝模型之規範。在AVC及HEVC中，緩衝模型被稱作假想參考解碼器(HRD)，其包括在視訊編碼器20及/或視訊解碼器30中所包括之經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)兩者的緩衝模型，且CPB及DPB行為被數學地指定。HRD直接對不同時序、緩衝器大小及位元率強加約束，且間接對位元串流特性及統計資料強加約束。HRD參數之完整集合包括五個基本參數：初始CPB移除延遲、CPB大小、位元率、初始DPB輸出延遲及DPB大小。在AVC及HEVC中，位元串流一致性及解碼器一致性被指定作為HRD規範之部分。儘管HRD係名為一類型之解碼器，但在編碼器側通常需要HRD以保證位元串流一致性(亦即，編碼器產生之位元串流與解碼器之要求的一致性)，而在解碼器側處通常不需要HRD。
在AVC及HEVC HRD模型中，解碼或CPB移除係基於存取單元的，且假設圖像解碼係瞬時的。在實際應用中，若一致之解碼器嚴格地遵循(例如)在圖像時序補充增強資訊(SEI)訊息中傳信的解碼時間而開始解碼存取單元，則輸出特定經解碼之圖像的最早可能時間等於該特定圖像之解碼時間加上解碼該特定圖像所需的時間。不同於AVC及HEVC HRD模型，在真實世界中解碼圖像所需要的時間不等於零。如本發明中所使用之術語「瞬時」及「瞬時地」可指代可在一或多個寫碼模型或任何一或多個寫碼模型之理想化態樣中被假定為瞬時的任何 持續時間，應理解此可不同於在實體或文字意義上的「瞬時」。舉例而言，為了本發明之目的，若功能或程序在執行該功能或程序之假想或理想化之最早可能時間的實際容限處或內發生，則功能或程序可被視作名義上「瞬時的」。在一些實例中，如本文中所使用之語法及變數名稱可根據其在HEVC模型內之含義來加以理解。
提供了實例假想參考解碼器(HRD)操作、經寫碼圖像緩衝器之實例操作、位元串流到達之實例時序、解碼單元移除之實例時序、解碼單元之實例解碼、經解碼圖像緩衝器之實例操作、圖像自經解碼圖像緩衝器的實例移除、實例圖像輸出及實例當前解碼圖像標記及儲存的以下描述，以說明視訊編碼器20及/或視訊解碼器30之實例，該視訊編碼器20及/或視訊解碼器30可經組態以除其他功能外尤其將視訊資料之一或多個解碼單元儲存於圖像緩衝器中，獲得一或多個解碼單元之各別緩衝器移除時間，根據解碼單元中之每一者的所獲得之緩衝器移除時間自圖像緩衝器移除解碼單元，及寫碼對應於經移除之解碼單元的視訊資料。在其他實例中，操作可被不同地定義或執行。以此方式，視訊編碼器20及/或視訊解碼器30可經組態以根據下文所描述之HRD操作的各種實例來操作。
可在緩衝週期補充增強資訊(SEI)訊息中之任一者處初始化HRD。在初始化之前，CPB可係空的。在初始化之後，HRD不可由後續緩衝週期SEI訊息再次初始化。與初始化CPB之緩衝週期SEI訊息相關聯的存取單元可被稱作存取單元0。經解碼之圖像緩衝器可含有圖像儲存緩衝器。圖像儲存緩衝器中之每一者可含有被標記為「用於參考」或被保持以供將來輸出的經解碼圖像。在初始化之前，DPB可係空的。
HRD(例如，視訊編碼器20及/或視訊解碼器30)可如下操作。假想串流排程器(HSS)可遞送與根據指定之到達排程流入CPB之解碼單 元相關聯的資料。在一個實例中，可在CPB移除時間藉由瞬時解碼程序瞬時地移除並解碼與每一解碼單元相關聯之資料。每一經解碼圖像可置放於DPB中。可在DPB輸出時間或經解碼圖像對於框間預測參考變得不再需要之時間中的較遲時間自DPB移除經解碼圖像。
HRD依賴於HRD參數，包括初始CPB移除延遲及初始CPB移除延遲偏移的CPB參數。在一些狀況下，可基於用以初始化HRD之圖像的類型來判定HRD參數。在隨機存取之狀況下，可藉由諸如清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像的隨機存取點(RAP)圖像來初始化HRD。在一些狀況下，RAP圖像可替代性地被稱作框內隨機存取點(IRAP)圖像。舉例而言，當藉由在位元串流中不具有亦被稱作標記為捨棄(TFD)圖像或隨機存取跳過前置(RASL)圖像的相關聯之非可解碼前置圖像的BLA圖像初始化HRD時，可使用CPB參數之替代性集合。否則，將CPB參數之預設集合用於HRD。若在應已選擇替代性集合時使用了CPB參數之預設集合，則CPB可溢位。
在一些實例中，給定CRA圖像或BLA圖像可具有在原始位元串流中的相關聯的TFD圖像，且TFD圖像可由外部構件自原始位元串流移除。外部構件可包含包括於串流傳輸伺服器、中間網路元件或另一網路實體中之處理構件。然而，外部構件可能不能改變給定CRA圖像或BLA圖像的所傳信之類型以反映相關聯的TFD圖像的移除。在此狀況下，可能基於CRA圖像或BLA圖像的在原始位元串流中所傳信的類型而選擇CPB參數之預設集合。此情形可導致CPB溢位，此係因為TFD圖像已被外部構件移除，使得圖像不再具有相關聯的TFD圖像，且應該將CPB參數之替代性集合用於HRD。
本發明描述用於選擇用以定義視訊編碼器20及/或視訊解碼器30的用於視訊位元串流中之CRA圖像或BLA圖像的CPB的CPB參數之技術。根據該等技術，視訊解碼器30接收一表示複數個圖像之位元串 流，該複數個圖像包括一或多個CRA圖像或BLA圖像；且亦接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之至少一者使用CPB參數之替代性集合。該訊息可接收自一外部構件，諸如，包括於一串流傳輸伺服器、中間網路元件或另一網路實體中的處理構件。
視訊解碼器30基於接收到之訊息而設定一經定義以指示用於CRA圖像或BLA圖像中之給定一者的CPB參數之集合的變數。視訊解碼器30接著基於針對CRA圖像或BLA圖像中之該給定一者之變數來選擇用於圖像的CPB參數之集合。在一些狀況下，視訊解碼器30可設定針對CRA圖像或BLA圖像中之給定一者的網路抽象層(NAL)單元類型，且可基於針對給定圖像之NAL單元類型及變數來選擇用於圖像的CPB參數之集合。
將CPB參數之所選擇集合應用至包括於視訊解碼器30中之CPB以確保CPB在視訊解碼期間將不溢位。視訊編碼器20可經組態以執行類似操作且將CPB參數之所選擇集合應用至包括於視訊編碼器20中的CPB，以確保包括於視訊編碼器20中之CPB在視訊編碼期間將不溢位，且包括於視訊解碼器30中的CPB在接收到由視訊編碼器20產生之經編碼位元串流時將不溢位。
圖2為說明可實施本發明中所描述之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。
如圖2中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視 訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、求和器50、變換處理單元52、量化單元54、熵編碼單元56、經解碼圖像緩衝器(DPB)64及經寫碼圖像緩衝器(CPB)66。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測處理單元46及分割單元48。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以濾波區塊邊界從而自經重建構之視訊移除方塊效應假影。若需要，則解區塊濾波器通常將對求和器62之輸出進行濾波。除解區塊濾波器外，亦可使用額外濾波器(迴路內或迴路後)。為了簡潔起見未展示此等濾波器，但若需要，此等濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測處理單元46可替代性地相對於與待寫碼之區塊在相同之圖框或圖塊中的一或多個相鄰區塊執行對接收到之視訊區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊的適當寫碼模式。
此外，分割單元48可基於在先前寫碼遍次中對先前分割方案之評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可最初將一圖框或圖塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如，基於錯誤結果)選擇寫碼模式(框內或 框間)中之一者，且將所得的經框內或框間寫碼之區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建構經編碼之區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此等語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念性目的而被分別說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之一視訊區塊之一PU相對於在一參考圖框(或其他經寫碼單元)內的一預測性區塊(其係相對於該當前圖框(或其他經寫碼單元)內的正被寫碼的當前區塊)之位移。預測性區塊為被發現在像素差方面緊密地匹配於待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度予以判定。在一些實例中，視訊編碼器20可計算儲存於DPB 64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且以分率像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼圖塊中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU的運動向量。參考圖像可係選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，前述清單中之每一者識別儲存於DPB 64中的一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及到基於由運動估計單元42判定之運動向量來提取或產生預測性區塊。再一次，在一些實例中，運動估計單元42及運動補償單元44可在功能上進行整合。在接收 到當前視訊區塊之PU之運動向量時，運動補償單元44可在參考圖像清單中之一者中找到運動向量所指向的預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值，從而形成像素差值來形成殘餘視訊區塊，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯的語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自經測試模式中選擇將使用的適當框內預測模式。
舉例而言，框內預測處理單元46可使用針對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值，且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與經編碼以產生該經編碼區塊的原始未經編碼區塊之間的失真(或錯誤)之量以及用以產生經編碼區塊之位元率(亦即，位元數目)。框內預測處理單元46可根據各個經編碼區塊之失真及速率計算比率，以判定哪一框內預測模式對於該區塊展現最佳速率-失真值。
在選擇區塊之框內預測模式之後，框內預測處理單元46可將指示區塊之所選擇框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在經傳 輸之位元串流中包括組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文之定義及將用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如頻域)。變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元率。該量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼之狀況下，上下文可係基於相鄰區塊。在由熵編碼單元56進行之熵寫碼之後，可或多或少臨時地在CPB 66中緩衝或儲存經編碼之位元串流，將經編碼之位元串流傳輸至另一器件 (例如，視訊解碼器30)或封存以供稍後傳輸或擷取。
反量化單元58及反變換處理單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至DPB 64之圖框中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算次整數像素值以供用於運動估計中。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生之經運動補償預測區塊，以產生經重建構之視訊區塊以供儲存於DPB 64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框中之區塊進行框間寫碼。
DPB 64可係資料儲存器件或可包括於資料儲存器件中，諸如能夠儲存資料之任何永久或揮發性記憶體，諸如同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)或靜態隨機存取記憶體(SRAM)。DPB 64可根據本發明中所描述之實例經寫碼圖像緩衝器及/或經解碼圖像緩衝器行為的任何組合來操作。舉例而言，視訊編碼器20可經組態以根據假想參考解碼器(HRD)操作。在此狀況下，包括於視訊編碼器20中之DPB 64可根據HRD之緩衝模型由包括CPB參數及DPB參數的HRD參數來定義。
類似地，CPB 66可係資料儲存器件或可包括於資料儲存器件中，諸如能夠儲存資料之任何永久或揮發性記憶體，諸如同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)或靜態隨機存取記憶體(SRAM)。儘管被展示為形成視訊編碼器20之部分，但在一些實例中，CPB 66可形成在視訊編碼器20外部之器件、單元或模組的部分。舉例而言，CPB 66可形成在視訊編碼器20外部之串流排程器單元(例如，遞送排程器或假想串流排程器(HSS))的部分。在視訊編碼器20經組態以根據HRD操作的狀況下，包括於視訊編 碼器20中之CPB 66可根據HRD之緩衝模型由包括初始CPB移除延遲及偏移之CPB參數的HRD參數來定義。
根據本發明之技術，視訊編碼器20可將CPB參數之預設集合抑或替代性集合應用至CPB 66，以確保CPB 66在視訊資料之編碼期間不溢位，且包括於視訊解碼器30中之CPB在接收到由視訊編碼器20產生之經編碼位元串流時不溢位。若在應選擇替代性集合時使用了預設集合，則包括於視訊編碼器20中之CPB 66或包括於視訊解碼器30中的CPB可溢位。適當CPB參數之選擇主要係當將諸如清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像之隨機存取點(RAP)圖像用以初始化HRD時的關注事項。因此，該等技術可在視訊寫碼中提供對RAP圖像的改善之支援。
視訊編碼器20可經組態以接收一表示複數個圖像之位元串流，該複數個圖像包括一或多個CRA圖像或BLA圖像；且亦接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之至少一者使用CPB參數之替代性集合。在一些狀況下，可在視訊編碼器20的解碼部分(亦即，反量化單元58及反變換處理單元60)處直接自視訊編碼器20之編碼部分(例如，熵編碼單元56或CPB 66)接收到位元串流。可自一外部構件，諸如，包括於一串流傳輸伺服器、中間網路元件或另一網路實體中的處理構件接收該訊息。
視訊編碼器20基於接收到之訊息設定一變數，該變數經定義以指示用於CRA圖像或BLA圖像中之給定一者的CPB參數之集合。視訊編碼器20接著基於針對圖像之變數來選擇用於CRA圖像或BLA圖像中之該給定一者的CPB參數之集合。視訊編碼器20將CPB參數之所選擇集合應用至包括於視訊編碼器20中的CPB 66，以確保CPB 66在視訊編碼期間將不溢位，且確保包括於視訊解碼器30中的CPB在接收到由視訊編碼器20產生之經編碼位元串流時將不溢位。在一些狀況下，視 訊編碼器20可設定針對CRA圖像或BLA圖像中之給定一者的網路抽象層(NAL)單元類型，且可基於針對圖像之NAL單元類型及變數來選擇用於給定圖像的CPB參數之集合。關於圖3之視訊解碼器30更詳細地描述用於RAP圖像之CPB參數選擇程序。
圖3為說明可實施本發明中所描述之技術之視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括：熵解碼單元70、包括運動補償單元72及框內預測處理單元74之預測處理單元71、反量化單元76、反變換處理單元78、求和器80、經寫碼圖像緩衝器(CPB)68及經解碼圖像緩衝器(DPB)82。在一些實例中，視訊解碼器30可執行與關於來自圖2之視訊編碼器20所描述之編碼遍次大體互逆的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收經編碼之視訊位元串流，該視訊位元串流表示經編碼視訊圖塊的視訊區塊及相關聯的語法元素。視訊解碼器30可自網路實體29接收經編碼之視訊位元串流。網路實體29可例如係串流傳輸伺服器、媒體感知網路元件(media-aware network element)(MANE)、視訊編輯器/接合器、中間網路元件，或經組態以實施上文所描述之技術中之一或多者的其他此類器件。網路實體29可包括經組態以執行本發明之技術的外部構件。如上文所描述，本發明中所描述之技術中的一些技術可在網路實體29將經編碼視訊位元串流傳輸至視訊解碼器30之前由網路實體29來實施。在一些視訊解碼系統中，網路實體29及視訊解碼器30可係分離器件之部分，而在其他個例中，關於網路實體29描述之功能性可由包含視訊解碼器30的同一器件來執行。
在熵解碼單元70進行熵解碼之前，可或多或少臨時地在CPB 68中緩衝或儲存位元串流。視訊解碼器30之熵解碼單元70接著熵解碼位元串流以產生經量化之係數、運動向量或框內預測模式指示符及其他 語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收視訊圖塊層級及/或視訊區塊層級的語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測處理單元74可基於經傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框被寫碼為框間寫碼(亦即，B或P)圖塊時，運動補償單元72基於接收自熵解碼單元70之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。可根據參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於DPB 82中之參考圖像使用預設建構技術建構參考圖框清單(清單0及清單1)。
運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊圖塊之視訊區塊之預測資訊，且使用該預測資訊以產生正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用接收到之語法元素中的一些來判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之參考圖像清單中之一或多者的建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊的框間預測狀態及其他資訊以解碼當前視訊圖塊中的視訊區塊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元76反量化(亦即，解量化)提供於位元串流中且由熵解碼單元70解碼的經量化變換係數。反量化程序可包括使用由視訊解碼 器30計算之用於視訊圖塊中的每一視訊區塊的量化參數QPY來判定應應用之量化程度及同樣地反量化程度。反變換處理單元78將例如反DCT、反整數變換或概念上類似之反變換程序的反變換應用至變換係數，以便產生像素域中的殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換單元78之殘餘區塊與由運動補償單元72產生的對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器以對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改善視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於DPB 82中，DPB 82儲存用於後續運動補償的參考圖像。DPB 82亦儲存經解碼之視訊供稍後呈現於諸如圖1之顯示器件32的顯示器件上。
DPB 82可係資料儲存器件或可包括於資料儲存器件中，諸如能夠儲存資料之任何永久或揮發性記憶體，諸如同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)或靜態隨機存取記憶體(SRAM)。DPB 82可根據本發明中所描述之實例經寫碼圖像緩衝器及/或經解碼圖像緩衝器行為的任何組合來操作。舉例而言，視訊解碼器30可經組態以根據假想參考解碼器(HRD)操作。在此狀況下，視訊解碼器30可解碼用以根據HRD之緩衝模型定義DPB 82的HRD參數(包括CPB參數及DPB參數)。
類似地，CPB 68可係資料儲存器件或可包括於資料儲存器件中，諸如能夠儲存資料之任何永久或揮發性記憶體，諸如同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)或靜態隨機存取記憶體(SRAM)。儘管被展示為形成視訊解碼器30之部 分，但在一些實例中，CPB 68可形成在視訊解碼器30外部之器件、單元或模組的部分。舉例而言，CPB 68可形成在視訊解碼器30外部之串流排程器單元(例如，遞送排程器或假想串流排程器(HSS))的部分。在視訊解碼器30經組態以根據HRD操作的狀況下，視訊解碼器30可解碼用以根據HRD之緩衝模型定義CPB 68的包括初始CPB移除延遲及偏移之CPB參數的HRD參數。
根據本發明之技術，視訊解碼器30可將CPB參數之預設集合抑或替代性集合應用至CPB 68，以確保CPB 68在視訊資料之解碼期間不溢位。若在應選擇替代性集合時使用了預設集合，則包括於經組態以根據HRD操作之視訊解碼器中的CPB 68可溢位。適當CPB參數之選擇主要係當將諸如清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像之隨機存取點(RAP)圖像用以初始化HRD時的關注事項。因此，該等技術可在視訊寫碼中提供對RAP圖像的改善之支援。
視訊解碼器30接收一表示複數個圖像之位元串流，該複數個圖像包括一或多個CRA圖像或BLA圖像；且亦接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之至少一者使用CPB參數之替代性集合。該訊息可接收自網路實體29或另一外部構件，諸如，包括於一串流傳輸伺服器或中間網路元件中的處理構件。
視訊解碼器30基於接收到之訊息設定一變數，該變數經定義以指示用於CRA圖像或BLA圖像中之給定一者的CPB參數之集合。視訊寫碼器件接著基於針對圖像之變數來選擇用於CRA圖像或BLA圖像中之該給定一者的CPB參數之集合。視訊解碼器30將CPB參數之所選擇集合應用至CPB 68以確保CPB 68在視訊解碼期間將不溢位。在一些狀況下，視訊解碼器30可設定針對CRA圖像或BLA圖像中之給定一者的網路抽象層(NAL)單元類型。視訊解碼器30可將圖像的NAL單元類型設定為所傳信的，或可基於針對圖像之變數來設定NAL單元類型。 視訊解碼器30可接著基於針對圖像之NAL單元類型及變數來選擇用於給定圖像的CPB參數之集合。
一般而言，本發明描述提供對RAP圖像之改善之支援的技術，該等技術包括選擇針對RAP圖像之HRD參數及將CRA圖像作為BLA圖像進行處置的改善之方法。如上文所描述，視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)(包括其可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)。此外，存在由ITU-T視訊寫碼專業團體(VCEG)及ISO/IEC動畫專業團體(MPEG)之關於視訊寫碼之聯合合作團隊(JCT-VC)開發的新視訊寫碼標準(亦即，高效視訊寫碼(HEVC))。HEVC之新近工作草案(WD)(下文稱作HEVC WD8)描述於2012年7月11日至20日瑞典斯德哥爾摩，ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)第10次會議的文獻JCTVC-J1003_d7，Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 8」中，自2012年9月20日起可在http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wgll/JCTVC-J1003-v8.zip處獲得該工作草案。
隨機存取指代自並非位元串流中之第一經寫碼圖像的經寫碼圖像開始對視訊位元串流之解碼。在諸如廣播及串流傳輸之許多視訊應用中需要對位元串流之隨機存取，(例如)供使用者在任何時間調諧至節目，在不同頻道之間切換，跳至視訊之指定部分，或切換至不同位元串流以進行位元率、圖框速率、空間解析度及其類似者的串流調適。此特徵係藉由以規則間隔將隨機存取圖像或隨機存取點插入至視訊位元串流中許多次來啟用。
位元串流接合指代兩個或兩個以上位元串流或其部分的串連。 舉例而言，第一位元串流可附加有第二位元串流，其中可能具有對位元串流中之一或兩者之一些修改以產生經接合位元串流。第二位元串流中之第一經寫碼圖像亦被稱作接合點。因此，在經接合位元串流中的接合點之後的圖像發源於第二位元串流，而在經接合位元串流中的接合點之前的圖像發源於第一位元串流。
位元串流之接合由位元串流接合器來執行。位元串流接合器常常為輕量級的，且相較於編碼器智慧程度低得多。舉例而言，位元串流接合器可能未配備有熵解碼及編碼能力。位元串流切換可用於自適應性串流傳輸環境中。在切換至之位元串流中之某圖像處的位元串流切換操作實際上係位元串流接合操作，其中接合點係位元串流切換點(亦即，來自切換至之位元串流的第一圖像)。
如AVC或HEVC中指定之瞬時解碼再新(IDR)圖像可用於隨機存取。然而，由於在解碼次序上在IDR圖像之後的圖像無法使用IDR圖像之前經解碼之圖像作為參考，因此依賴於IDR圖像來進行隨機存取的位元串流可具有顯著較低之寫碼效率。為了改善寫碼效率，在HEVC中引入了清潔隨機存取(CRA)圖像之概念，以允許在解碼次序上在CRA圖像之後但在輸出次序上在CRA圖像之前的圖像使用在CRA圖像之前解碼的圖像作為參考圖像。
在解碼次序上在CRA圖像之後但在輸出次序上在CRA圖像之前的圖像被稱作與CRA圖像相關聯之前置圖像或CRA圖像的前置圖像。若解碼自在當前CRA圖像之前的IDR或CRA圖像開始，則CRA圖像之前置圖像係可正確解碼的。當發生自當前CRA圖像之隨機存取時，CRA圖像之前置圖像可係非可解碼的。因此，前置圖像通常在隨機存取解碼期間被捨棄。為了防止自可能不可用(視解碼開始於何處)的參考圖像之錯誤傳播，在解碼次序及輸出次序上皆在CRA圖像之後的所有圖像不應使用在解碼次序抑或輸出次序上在CRA圖像之前的任何圖像 (包括前置圖像)作為參考圖像。
在引入CRA圖像之後，在HEVC中進一步引入了斷鏈存取(BLA)圖像之概念，且其係基於CRA圖像之概念。BLA圖像通常發源於在CRA圖像之位置處接合的位元串流，且在經接合之位元串流中，接合點CRA圖像被改變至BLA圖像。IDR圖像、CRA圖像及BLA圖像被統稱作隨機存取點(RAP)圖像或框內隨機存取點(IRAP)圖像。
BLA圖像與CRA圖像之間的主要差異之論述如下。對於CRA圖像，若解碼開始於一在解碼次序上在CRA圖像之前的RAP圖像，則相關聯的前置圖像係可正確解碼的；且當發生自CRA圖像之隨機存取時(亦即，當解碼開始於CRA圖像時，或換言之當CRA圖像係位元串流中之第一圖像時)，相關聯的前置圖像可係非可正確解碼的。對於BLA圖像，相關聯的前置圖像可在所有狀況下皆係非可解碼的，即使在解碼開始於在解碼次序上在BLA圖像之前的RAP圖像時亦然。
對於特定CRA或BLA圖像，即使在CRA或BLA圖像係位元串流中的第一圖像時，相關聯的前置圖像中之一些亦係可正確解碼的。此等前置圖像被稱作可解碼前置圖像(DLP)，且其他前置圖像被稱作非可解碼前置圖像(NLP)。在一些狀況下，DLP可替代性地被稱作隨機存取可解碼前置(RADL)圖像。在HEVC WD8中，NLP被稱作標記為捨棄(TED)圖像。在其他狀況下，NLP可替代性地被稱作隨機存取跳過前置(RASL)圖像。為了本發明之目的，可互換地使用術語「非可解碼前置圖像」、「TFD圖像」及「RASL圖像」。
在HEVC WD8中，在附錄C中指定了假想參考解碼器(HRD)。HRD依賴於HRD參數(其可在位元串流中提供於包括於視訊參數集(VPS)及/或序列參數集(SPS)中之hrd_parameters( )語法結構中)、緩衝週期補充增強資訊(SEI)訊息，及圖像時序SEI訊息。緩衝週期SEI訊息主要包括CPB參數，即初始經寫碼圖像緩衝器(CPB)移除延遲及初 始CPB移除延遲偏移。可提供CPB參數之兩個集合，其被稱為由語法元素initial_cpb_removal_delay[ ]及initial_cpb_removal_delay_offset[ ]傳信之預設集合；及由語法元素initial_alt_cpb_removal_delay[ ]及initial_alt_cpb_removal_delay_offset[ ]傳信的替代性集合。
當sub_pic_cpb_params_present_flag等於0且rap_cpb_params_present_flag等於1時，以下情形適用。當藉由在位元串流中並不具有相關聯的TFD圖像的BLA圖像初始化HRD時，視訊解碼器30使用CPB參數之替代性集合以定義CPB 68。並不具有相關聯的非可解碼前置圖像之BLA圖像具有一nal_unit_type，該nal_unit_type指示具有可解碼前置圖像之BLA圖像(例如，BLA_W_DLP)或指示無前置圖像的BLA圖像(例如，BLA_N_LP)。若替代地使用預設集合，則CPB可溢位。當藉由具有相關聯的TFD圖像之CRA圖像或BLA圖像初始化HRD時，視訊解碼器30使用CPB參數之預設集合來定義CPB 68。具有相關聯的TFD圖像之BLA圖像具有一指示具有非可解碼前置圖像之BLA圖像的nal_unit_type(例如，BLA_W_TFD)。此情形反映於HEVC WD8之子條款C.2.1中之以下文字中：變數InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]被設定如下。
- 若以下條件中之任一者為真，則InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]的值：- 存取單元0係經寫碼圖像具有等於BLA_W_DLP或BLA_N_LP之nal_unit_type的BLA存取單元，且相關聯的緩衝週期SEI訊息之rap_cpb_params_present_flag的值等於1； - SubPicCpbFlag等於1。
- 否則，InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]的值。
如自上文可看出，對於給定圖像選擇使用CPB參數之哪一集合可係基於圖像之nal_unit_type的值。
HEVC WD8亦包括在子條款8.1中之針對將CRA圖像作為BLA圖像進行處置的以下文字。
在當前圖像係CRA圖像時，以下情形適用。
- 若此規範中未指定之一些外部構件可用於將變數HandleCraAsBlaFlag設定為一值，則將HandleCraAsBlaFlag設定為由外部構件提供的值。
- 否則，將HandleCraAsBlaFlag之值設定為0。
當HandleCraAsBlaFlag等於1時，在每一經寫碼圖塊NAL單元之剖析及解碼程序期間以下情形適用：- 將nal_unit_type之值設定為BLA_W_TFD。
- 將no_output_of_prior_pics_flag之值設定為1。
在HEVC WD8中，CRA圖像在其經寫碼圖塊之NAL單元標頭中具有等於CRA_NUT的nal_unit_type，且其可具有相關聯的TFD圖像及DLP圖像。
以下問題係與用於選擇用於CRA圖像、BLA圖像及作為BLA圖像處置之CRA圖像的CPB參數之現有方法相關聯。第一問題係與選擇用於CRA圖像及BLA圖像之CPB參數相關聯。CRA圖像可具有相關聯的TFD圖像。當CRA圖像在原始位元串流中具有相關聯的TFD圖像，但相關聯的TFD圖像被串流傳輸伺服器或中間網路元件捨棄時，為了啟 用對CPB參數之適當集合(亦即，替代性集合)的選擇，網路實體29或另一外部構件必須在將CRA圖像發送至視訊解碼器30之前將CRA圖像改變至BLA圖像。然而，網路實體29可能不能進行此操作。在此等情形下，對初始CPB移除延遲及偏移之適當集合的選擇無法成功，此情形可導致CPB 68之溢位；抑或不能執行TFD圖像之捨棄，此情形導致頻寬之浪費或較低視訊品質。
第二問題係與將CRA圖像作為BLA圖像進行處置相關聯。CRA圖像可具有相關聯的TFD圖像。當CRA圖像具有在原始位元串流中的相關聯的TFD圖像，但相關聯的TFD圖像被網路實體29或另一外部構件(諸如，包括於串流傳輸伺服器或中間網路元件中的處理構件)捨棄時，外部構件指示將CRA圖像作為BLA圖像進行處置。如HEVC WD8中所指定，視訊解碼器30接著設定nal_unit_type之值以指示具有非可解碼前置圖像的BLA圖像(例如，BLA_W_TFD)，此情形導致使用CPB參數之預設集合，且因此CPB 68可溢位。
本發明之技術提供能夠消除或避免上文所描述之問題的改善之RAP圖像行為。根據該等技術，脫離視訊寫碼規範之範疇，定義變數，且變數之值可由網路實體29或另一外部構件(諸如，包括於串流傳輸伺服器、中間網路元件或另一網路實體中的處理構件)來設定。在一個實例中，變數可指定是否使用CPB參數之替代性集合，且當將CRA圖像作為BLA圖像進行處置時使用何NAL單元類型。在另一實例中，變數可指定待用於特定圖像之NAL單元類型值，自該NAL單元類型值可導出使用CPB參數之預設集合抑或替代性集合。
在以下章節中，更詳細地描述上述技術。下劃線可指示相對於HEVC WD8之添加，且可指示相對於HEVC WD8的刪除。
在一個實例中，視訊解碼器30接收一表示複數個圖像的位元串流，複數個圖像包括一或多個CRA圖像或BLA圖像。視訊解碼器30亦 自網路實體29接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之至少一者使用CPB參數之替代性集合。視訊解碼器30基於接收到之訊息設定一變數，該變數經定義以指示用於CRA圖像或BLA圖像中之給定一者的CPB參數之集合。視訊解碼器30接著基於針對圖像之變數來選擇用於CRA圖像或BLA圖像中之該給定一者的CPB參數之集合。
根據此實例，可針對每一BLA或CRA圖像而定義變數UseAltCpbParamsFlag。此變數之值由網路實體29或某其他外部構件設定為0或1。若此外部構件不可用，則視訊解碼器30可將變數之值設定為0。
在此狀況下，上文引用的HEVC WD8之子條款8.1中的文字可由以下內容替換：在當前圖像係具有等於BLA W TFD之nal unit type的BLA圖像或係CRA圖像時，以下情形適用。
- 若此規範中未指定之某外部構件可用於將變數UseAltCpbParamsFlag設定為一值，則將UseAltCpbParamsFlag設定為由外部構件提供的值。
- 否則，將UseAltCpbParamsFlag之值設定為0。
在當前圖像係CRA圖像時，以下情形適用。
- 若此規範中未指定之某外部構件可用於將變數HandleCraAsBlaFlag設定為一值，則將HandleCraAsBlaFlag設定為由外部構件提供的值。
- 否則，將HandleCraAsBlaFlag之值設定為0。
在當前圖像係CRA圖像且HandleCraAsBlaFlag等於1時，在針對每一經寫碼圖塊NAL單元之剖析及解碼程序期間，以下情形適用，且將CRA圖像視作BLA圖像並將CRA存取單元視作BLA存取單元： - 若UseAltCpbParamsFlag等於0，則將nal_unit_type之值設定為BLA_W_TFD。否則，將nal_unit_type之值設定為BLA_W_DLP。
- 將no_output_of_prior_pics_flag之值設定為1。
此外，上文引用的HEVC WD8之子條款C.2.1中的文字可由以下內容替換：變數InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]被設定如下。
- 若以下條件中之一者為真，則InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]的值：- 存取單元0係經寫碼圖像具有等於BLA_W_DLP或BLA_N_LP之nal_unit_type的BLA存取單元，且相關聯的緩衝週期SEI訊息之rap_cpb_params_present_flag的值等於1；- 存取單元0係經寫碼圖像具有等於BLA W TFD之nal unit type的BLA存取單元或係CRA存取單元，UseAltCpbParamsFlag等於1，且相關聯的緩衝週期SEI訊息之rap cpb params present flag的值等於1；- SubPicCpbFlag等於1。
- 否則，InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]的值。
網路實體29或經組態以設定UseAltCpbParamsFlag之值的另一外部構件可如下起作用。網路實體29可將訊息發送至視訊解碼器30或發 送至含有視訊解碼器30的接收器。訊息可指示，特定BLA或CRA圖像具有相關聯的TFD圖像但相關聯的TFD圖像被捨棄，且因此應使用CPB參數的替代性集合。在接收到此訊息時，視訊解碼器30可將針對特定BLA或CRA圖像之UseAltCpbParamsFlag的值設定為1。若特定BLA或CRA不具有TFD圖像，或其具有未被捨棄之TFD圖像，則不需要發送訊息，或發送一訊息以指導視訊解碼器30將針對特定BLA或CRA圖像之UseAltCpbParamsFlag的值設定為0。
在一些狀況下，視訊解碼器30可設定針對CRA圖像或BLA圖中之給定一者的網路抽象層(NAL)單元類型，且可基於針對圖像之NAL單元類型及變數來選擇用於給定圖像的CPB參數之集合。作為另一實例，並非使用指示一般CRA圖像的僅一個NAL單元類型(例如，CRA_NUT)，本發明之技術允許使用三個不同NAL單元類型，該等不同NAL單元類型分別指示具有非可解碼前置圖像之CRA圖像(例如，CRA_W_TFD)，指示具有可解碼前置圖像的CRA圖像(例如，CRA_W_DLP)，且指示無前置圖像的CRA圖像(例如，CRA_N_LP)。在此狀況下，如下文所展示改變了HEVC WD8中之表7-1及表下方之註釋。
註釋3-具有等於CRA_W_TFD之nal_unit_type的CRA圖像可具有在位元串流中存在之相關聯的TFD圖像或相關聯的DLP圖像或兩者。具有等於CRA_W_DLP之nal_unit_type的CRA圖像並不具有存在於位元串流中之相關聯的TFD圖像，但可具有在位元串流中的相關聯的DLP圖像。具有等於CRA_N_LP之nal_unit_type的CRA圖像並不具有存在於位元串流中之相關聯的前置圖像。
註釋4-具有等於BLA_W_TFD之nal_unit_type的BLA圖像可具有在位元串流中存在之相關聯的TFD圖像或相關聯的DLP圖像或兩者。具有等於BLA_W_DLP之nal_unit_type的BLA圖像並不具有存在於位元串流中之相關聯的TFD圖像，但可具有在位元串流中的相關聯的DLP圖像。具有等於BLA_N_LP之nal_unit_type的BLA圖像並不具有存在於位元串流中之相關聯的前置圖像。
註釋5-具有等於IDR_N_LP之nal_unit_type的IDR圖像並不具有存在於位元串流中之相關聯的前置圖像。具有等於IDR_W_DLP之 nal_unit_type的IDR圖像並不具有存在於位元串流中之相關聯的TFD圖像，但可具有在位元串流中之相關聯的DLP圖像。
此外，類似於上述第一實例，針對每一BLA或CRA圖像而定義變數UseAltCpbParamsFlag。此變數之值由網路實體29或另一外部構件設定為0或1。若此外部構件不可用，則視訊解碼器30可將變數之值設定為0。
在此狀況下，上文引用的HEVC WD8之子條款8.1中的文字可由以下內容替換：在當前圖像係具有等於BLA W TFD之nal unit type的BLA圖像或係具有等於CRA W TFD之nal unit type的CRA圖像時，以下情形適用。
- 若此規範中未指定之某外部構件可用於將變數UseAltCpbParamsFlag設定為一值，則將UseAltCpbParamsFlag設定為由外部構件提供的值。
- 否則，將UseAltCpbParamsFlag之值設定為0。
在當前圖像係CRA圖像時，以下情形適用。
- 若此規範中未指定之某外部構件可用於將變數HandleCraAsBlaFlag設定為一值，則將HandleCraAsBlaFlag設定為由外部構件提供的值。
- 否則，將HandleCraAsBlaFlag之值設定為0。
在當前圖像係CRA圖像且HandleCraAsBlaFlag等於1時，在針對每一經寫碼圖塊NAL單元之剖析及解碼程序期間，以下情形適用，且將CRA圖像視作BLA圖像並將CRA存取單元視作BLA存取單元：- 若nal_unit_type之值等於CRA_W_TFD，則將nal_unit_type之值設定為BLA_W_TFD。否則，若nal_unit_type之值等於CRA_W_DLP，則將nal_unit_type之值設定為BLA_W_DLP。否則，將 nal_unit_type之值設定為BLA_N_LP。
- 將no_output_of_prior_pics_flag之值設定為1。
此外，上文引用的HEVC WD8之子條款C.2.1中的文字可由以下內容替換：變數InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]被設定如下。
- 若以下條件中之一者為真，則InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]的值：- 存取單元0係經寫碼圖像具有等於BLA_W_DLP或BLA_N_LP之nal_unit_type的BLA存取單元，且相關聯的緩衝週期SEI訊息之rap_cpb_params_present_flag的值等於1；- 存取單元0係經寫碼圖像具有等於CRA W DLP或CRA N LP之nal unit type的CRA存取單元，且相關聯的緩衝週期SEI訊息之rap cpb params present flag的值等於1；- 存取單元0係經寫碼圖像具有等於BLA W TFD之nal unit type的BLA存取單元或係經寫碼圖像具有等於CRA W TFD之nal unit type的CRA存取單元，UseAltCpbParamsFlag等於1，且相關聯的緩衝週期SEI訊息之rap cpb params present flag的值等於1；- SubPicCpbFlag等於1。
- 否則，InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]的值。
網路實體29或經組態以設定UseAltCpbParamsFlag之值的另一外部構件可如下起作用。網路實體29可將訊息發送至視訊解碼器30或含有視訊解碼器30的接收器。訊息可指示，特定BLA或CRA圖像具有相關聯的TFD圖像但相關聯的TFD圖像被捨棄，且因此應使用CPB參數的替代性集合。在接收到此訊息時，視訊解碼器30可將針對特定BLA或CRA圖像之UseAltCpbParamsFlag的值設定為1。若特定BLA或CRA不具有TFD圖像，或其具有TFD圖像但未被捨棄，則不需要發送訊息，或發送一訊息以指導視訊解碼器30將針對特定BLA或CRA圖像之UseAltCpbParamsFlag的值設定為0。
在另一實例中，視訊解碼器30接收一表示複數個圖像之位元串流，該複數個圖像包括一或多個CRA圖像或BLA圖像；且亦自網路實體29接收一訊息，該訊息指示針對CRA圖像或BLA圖像中之至少一者的NAL單元類型。視訊解碼器30基於接收到之訊息設定一變數，該變數經定義以指示針對CRA圖像或BLA圖像中之給定一者的NAL單元類型。視訊解碼器30接著設定針對CRA圖像或BLA圖像中之給定一者的NAL單元類型，且基於NAL單元類型選擇用於給定圖像的CPB參數之集合。
根據此實例，可針對每一CRA或BLA圖像而定義變數UseThisNalUnitType。此變數之值由網路實體29或某其他外部構件來設定。若此外部構件不可用，則視訊解碼器30可將變數之值設定為CRA或BLA圖像的nal_unit_type。在一些實例中，此變數之可能值係CRA_NUT、BLA_W_TFD、BLA_W_DLP及BLA_N_LP。在其他實例中，此變數之可能值可包括經組態以指示一般CRA圖像、具有非可解碼前置圖像的BLA圖像、具有可解碼前置圖像之BLA圖像，及無前置圖像的BLA圖像的其他nal_unit_type。
在此狀況下，上文引用的HEVC WD8之子條款8.1中的文字可由 以下內容替換：在當前圖像係BLA或CRA圖像時，以下情形適用。
- 若此規範中未指定之某外部構件可用於將變數UseThisNalUnitType設定為一值，則將UseThisNalUnitType設定為由外部構件提供的值。對於具有等於BLA_N_LP之nal_unit_type的BLA圖像，外部構件可僅將UseThisNalUnitType設定為BLA_N_LP；對於具有等於BLA_W_DLP之nal_unit_type的BLA圖像，外部構件可僅將UseThisNalUnitType設定為BLA_W_DLP抑或BLA_N_LP；對於具有等於BLA_W_TFD之nal_unit_type的BLA圖像，外部構件可僅將UseThisNalUnitType設定為BLA_W_TFD、BLA_W_DLP及BLA_N_LP中的一者；對於BLA圖像，外部構件應從不設定UseThisNalUnitType來指示CRA圖像或任何其他圖像類型；對於CRA圖像，外部構件可將UseThisNalUnitType設定為CRA_NUT、BLA_W_TFD、BLA_W_DLP及BLA_N_LP中的一者而非任何其他值。
- 否則，將UseThisNalUnitType之值設定為當前圖像的nal_unit_type。
在當前圖像係CRA或BLA圖像時，在針對每一經寫碼圖塊NAL單元之剖析及解碼程序期間，以下情形適用： - 將nal_unit_type之值設定為UseThisNalUnitType，且根據等於UseThisNalUnitType的nal_unit_type之值將當前圖像或存取單元視作CRA或BLA圖像或存取單元。
- 若當前圖像在以上步驟之前係CRA圖像且已變為BLA圖像，則將no_output_of_prior_pics_flag之值設定為1。
上文引用的HEVC WD8之子條款C.2.1中的文字並不需要被改變。
作為另一實例，並非使用指示一般CRA圖像的僅一個NAL單元類 型(例如，CRA_NUT)，本發明之技術允許使用三個不同NAL單元類型，該等不同NAL單元類型分別指示具有非可解碼前置圖像之CRA圖像(例如，CRA_W_TFD)，指示具有可解碼前置圖像的CRA圖像(例如，CRA_W_DLP)，且指示無前置圖像的CRA圖像(例如，CRA_N_LP)。在此狀況下，如上文所描述地改變HEVC WD8中之表7-1及表下方之註釋。
此外，類似於上述第二實例，針對每一CRA或BLA圖像而定義變數UseThisNalUnitType。此變數之值由網路實體29或另一外部構件來設定。若此外部構件不可用，則視訊解碼器30可將變數之值設定為CRA或BLA圖像的nal_unit_type。在一些實例中，此變數之可能值係CRA_W_TFD、CRA_W_DLP、CRA_N_LP、BLA_W_TFD、BLA_W_DLP及BLA_N_LP。在其他實例中，此變數之可能值可包括其他nal_unit_type，該等nal_unit_type經組態以指示具有非可解碼前置圖像之CRA圖像、具有可解碼前置圖像之CRA圖像、無前置圖像之CRA圖像、具有非可解碼前置圖像的BLA圖像、具有可解碼前置圖像的BLA圖像，及無前置圖像的BLA圖像。
在此狀況下，上文引用的HEVC WD8之子條款8.1中的文字可由以下內容替換：在當前圖像係BLA或CRA圖像時，以下情形適用。
- 若此規範中未指定之某外部構件可用於將變數UseThisNalUnitType設定為一值，則將UseThisNalUnitType設定為由外部構件提供的值。
對於具有等於BLA_N_LP之nal_unit_type的BLA圖像，外部構件可僅將UseThisNalUnitType設定為BLA_N_LP；對於具有等於BLA_W_DLP之nal_unit_type的BLA圖像，外部構件可僅將UseThisNalUnitType設定為BLA_W_DLP抑或BLA_N_LP；對於具有等 於BLA_W_TFD之nal_unit_type的BLA圖像，外部構件可僅將UseThisNalUnitType設定為BLA_W_TFD、BLA_W_DLP及BLA_N_LP中的一者；對於BLA圖像，外部構件應從不設定UseThisNalUnitType來指示CRA圖像或任何其他圖像類型。
對於具有等於CRA_N_LP之nal_unit_type的CRA圖像，外部構件可僅將UseThisNalUnitType設定為CRA_N_LP或BLA_N_LP；對於具有等於CRA_W_DLP之nal_unit_type的CRA圖像，外部構件可僅將UseThisNalUnitType設定為CRA_W_DLP、CRA_N_LP、BLA_W_DLP或BLA_N_LP；對於具有等於CRA_W_TFD之nal_unit_type的CRA圖像，外部構件可僅將UseThisNalUnitType設定為CRA_W_TFD、CRA_W_DLP、CRA_N_LP、BLA_W_TFD、BLA_W_DLP或BLA_N_LP。
- 否則，將UseThisNalUnitType之值設定為當前圖像的nal_unit_type。
在當前圖像係CRA或BLA圖像時，在針對每一經寫碼圖塊NAL單元之剖析及解碼程序期間，以下情形適用： - 將nal_unit_type之值設定為UseThisNalUnitType，且根據等於UseThisNalUnitType的nal_unit_type之值將當前圖像或存取單元視作CRA或BLA圖像或存取單元。
- 若當前圖像在以上步驟之前係CRA圖像且已變為BLA圖像，則將no_output_of_prior_pics_flag之值設定為1。
此外，上文引用的HEVC WD8之子條款C.2.1中的文字可由以下內容替換：變數InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]被設定如下。
- 若以下條件中之一者為真，則 InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]的值：- 存取單元0係經寫碼圖像具有等於BLA_W_DLP或BLA_N_LP之nal_unit_type的BLA存取單元，且相關聯的緩衝週期SEI訊息之rap_cpb_params_present_flag的值等於1；- 存取單元0係經寫碼圖像具有等於CRA W DLP或CRA N LP之nal unit type的CRA存取單元，且相關聯的緩衝週期SEI訊息之rap cpb params present flag的值等於1；- SubPicCpbFlag等於1。
- 否則，InitCpbRemovalDelay[SchedSelIdx]及InitCpbRemovalDelayOffset[SchedSelIdx]分別被設定為相關聯的緩衝週期SEI訊息的對應initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]的值。
圖4係說明一經組態以根據假想參考解碼器(HRD)操作之實例目的地器件100的方塊圖。在此實例中，目的地器件100包括輸入介面102、串流排程器104、經寫碼圖像緩衝器(CPB)106、視訊解碼器108、經解碼圖像緩衝器(DPB)110、呈現單元112，及輸出介面114。目的地器件100可實質上對應於來自圖1之目的地器件14。輸入介面102可包含能夠接收視訊資料之經寫碼位元串流的任何輸入介面，且可實質上對應於來自圖1之輸入介面28。舉例而言，輸入介面102可包含接收器、數據機、諸如有線或無線介面之網路介面、記憶體或記憶體介面、用於自碟片讀取資料的碟機(諸如，光碟機介面或磁性媒體介面)或其他介面組件。
輸入介面102可接收包括視訊資料之經寫碼位元串流且將位元串 流提供至串流排程器104。串流排程器104自位元串流提取視訊資料單元(諸如，存取單元及/或解碼單元)，且將所提取之單元儲存至CPB 106。以此方式，串流排程器104表示假想串流排程器(HSS)的實例實施。CPB 106可實質上符合來自圖3之CPB 68，只不過如圖4中所展示，CPB 106與視訊解碼器108分離。在不同實例中，CPB 106可與視訊解碼器108分離，或經整合作為視訊解碼器108之部分。
視訊解碼器108包括DPB 110。視訊解碼器108可實質上符合來自圖1及圖3之視訊解碼器30。DPB 110可實質上符合來自圖3之DPB 82。因此，視訊解碼器108可解碼CPB 106之解碼單元。此外，視訊解碼器108可自DPB 110輸出經解碼之圖像。視訊解碼器108可將輸出圖像傳遞至呈現單元112。呈現單元112可裁切圖像，且接著將經裁切之圖像傳遞至輸出介面114。輸出介面114又可將經裁切之圖像提供至可實質上符合來自圖1之顯示器件32的顯示器件。
顯示器件可形成目的地器件100之部分，且可通信地耦接至目的地器件100。舉例而言，顯示器件可包含與目的地器件100整合之螢幕、觸控式螢幕、投影儀或其他顯示單元，或可包含諸如電視、監視器、投影儀、觸控式螢幕或通信地耦接至目的地器件100的其他器件的分離顯示器。通信耦接可包含諸如藉由同軸電纜、複合視訊電纜、色差視訊電纜、高清晰度多媒體介面(HDMI)電纜、射頻廣播，或其他有線或無線耦接進行之有線或無線耦接。
圖5係說明一基於變數選擇經寫碼圖像緩衝器(CPB)參數之集合的實例操作之流程圖，該變數指示用於位元串流中的特定隨機存取點(RAP)圖像的CPB參數之集合。關於來自圖3之包括CPB 68的視訊解碼器30來描述所說明之操作。在其他實例中，類似操作可由包括CPB 66之來自圖2之視訊編碼器20、包括CPB 106及視訊解碼器108之來自圖4的目的地器件100或包括具有經組態以根據HRD操作而操作的CPB 之視訊編碼器或視訊解碼器的其他器件來執行。
視訊解碼器30接收一包括一或多個CRA圖像或BLA圖像的位元串流(120)。連同位元串流，視訊解碼器30亦接收一訊息，該訊息指示是否針對CRA或BLA圖像中之特定一者使用CPB參數之替代性集合(122)。更具體而言，視訊解碼器30可自諸如網路實體29之外部構件接收訊息，該網路實體29能夠捨棄與特定圖像相關聯之TFD圖像，且亦能夠向視訊解碼器30通知TFD圖像已被捨棄。
舉例而言，當特定圖像在自視訊編碼器20輸出之原始位元串流中具有TFD圖像，且TFD圖像已被外部構件捨棄時，由視訊解碼器30接收到之訊息指示針對特定圖像使用CPB參數之替代性集合。作為另一實例，當特定圖像在自視訊編碼器20輸出之原始位元串流中不具有TFD圖像或特定圖像具有在原始位元串流中之TFD圖像且TFD圖像尚未被外部構件捨棄時，由視訊解碼器30接收到之訊息並不指示針對特定圖像使用CPB參數之替代性集合。在此狀況下，可基於圖像之NAL單元類型而將CPB參數之預設集合抑或替代性集合用於CRA圖像或BLA圖像中的一者。
視訊解碼器30基於接收到之訊息設定一變數(例如，UseAltCpbParamsFlag)，該變數經定義以指示用於特定圖像的CPB參數之集合(124)。舉例而言，當接收到之訊息指示用於特定圖像之CPB參數的替代性集合時，視訊解碼器30可將UseAltCpbParamsFlag設定為等於1。相反，當接收到之訊息並未明確指示用於特定圖像之CPB參數的替代性集合時，視訊解碼器30可將UseAltCpbParamsFlag設定為等於0。在一些狀況下，視訊解碼器30可不接收針對CRA圖像或BLA圖像中之至少一者的訊息。視訊解碼器30可接著將UseAltCpbParamsFlag設定為等於0。
視訊解碼器30接著設定針對特定圖像之NAL單元類型(126)。在 一些狀況下，視訊解碼器30可將針對特定圖像的NAL單元類型設定為如在位元串流中所傳信的。在其他狀況下，視訊解碼器30可至少部分基於針對圖像之變數來設定針對特定圖像的NAL單元類型。在下文關於圖6更詳細地描述NAL單元類型選擇操作。視訊解碼器30基於針對特定圖像之NAL單元類型及變數來選擇用於特定圖像之CPB參數的預設集合或替代性集合(128)。詳言之，視訊解碼器30在變數並未指示CPB參數之替代性集合時針對一或多個NAL單元類型選擇CPB參數之預設集合；且在變數指示CPB參數之替代性集合時且針對一或多個不同NAL單元類型針對一或多個NAL單元類型選擇CPB參數之替代性集合。在下文關於圖7更詳細地描述CPB參數集選擇操作。
圖6係說明一基於變數設定針對特定RAP圖像之網路抽象層(NAL)單元類型的實例操作之流程圖，該變數指示用於圖像的CPB參數之集合。關於來自圖3之包括CPB 68的視訊解碼器30來描述所說明之操作。在其他實例中，類似操作可由包括CPB 66之來自圖2之視訊編碼器20、包括CPB 106及視訊解碼器108之來自圖4的目的地器件100或包括具有經組態以根據HRD操作而操作的CPB之視訊編碼器或視訊解碼器的其他器件來執行。
視訊解碼器30接收一包括一或多個CRA圖像或BLA圖像的位元串流(150)。視訊解碼器30接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之特定一者使用CPB參數之替代性集合(152)。視訊解碼器30基於接收到之訊息設定一變數，該變數經定義以指示用於特定圖像的CPB參數之集合(154)。
當特定圖像係BLA圖像(156之否分支)時，視訊解碼器30將針對特定BLA圖像的NAL單元類型設定為如在位元串流中所傳信的(158)。當特定圖像係CRA圖像(156之是分支)時且當CRA圖像並未作為BLA圖像進行處置(160之否分支)時，視訊解碼器30亦將針對特定 CRA圖像的NAL單元類型設定為如在位元串流中傳信的(158)。
習知地，當將CRA圖像作為BLA圖像處置時，設定針對CRA圖像之NAL單元類型以指示具有非可解碼前置圖像的BLA圖像(例如，BLA_W_TFD)，此情形導致針對圖像選擇CPB參數之預設集合。在一些狀況下，圖像可能不具有相關聯的TFD圖像，且使用CPB參數之預設集合可導致CPB之溢位。根據本發明之技術，當特定圖像係CRA圖像(156之是分支)且CRA圖像被作為BLA圖像進行處置(160之是分支)時，視訊解碼器30基於針對特定CRA圖像之變數來設定針對特定圖像的NAL單元類型。
舉例而言，當變數並未明確指示CPB參數之替代性集合(162之否分支)時，視訊解碼器30設定針對特定圖像之NAL單元類型以指示具有非可解碼前置圖像之BLA圖像(例如，BLA_W_TFD)，此情形指示特定圖像具有相關聯的TFD圖像(164)。在此狀況下，將針對特定圖像適當地選擇CPB參數之預設集合。當變數指示CPB參數之替代性集合(162之是分支)時，視訊解碼器30設定針對特定圖像之NAL單元類型以指示具有可解碼前置圖像之BLA圖像(例如，BLA_W_DLP)，此情形指示特定圖像不具有相關聯的TFD圖像(166)。在此狀況下，將針對特定圖像適當地選擇CPB參數之替代性集合。以此方式，該等技術確保視訊解碼器之CPB將不會歸因於使用不適當CPB參數而溢位。
圖7係說明一基於針對圖像之NAL單元類型及變數選擇用於特定RAP圖像的CPB參數之集合的實例操作之流程圖，該變數指示用於圖像的CPB參數之集合。關於來自圖3之包括CPB 68的視訊解碼器30來描述所說明之操作。在其他實例中，類似操作可由包括CPB 66之來自圖2之視訊編碼器20、包括CPB 106及視訊解碼器108之來自圖4的目的地器件100或包括具有經組態以根據HRD操作而操作的CPB之視訊編碼器或視訊解碼器的其他器件來執行。
視訊解碼器30接收一包括一或多個CRA圖像或BLA圖像的位元串流(170)。視訊解碼器30接收一訊息，該訊息指示是否針對CRA圖像或BLA圖像中之特定一者使用CPB參數之替代性集合(172)。視訊解碼器30基於接收到之訊息設定一變數，該變數經定義以指示用於特定圖像的CPB參數之集合(174)。視訊解碼器30接著設定針對特定圖像之NAL單元類型(176)。如上文關於圖6所描述，視訊解碼器30可將特定圖像的NAL單元類型設定為如在位元串流中傳信的，或可基於針對圖像之變數來設定針對特定圖像之NAL單元類型。
當特定圖像係具有一指示具有可解碼前置圖像之BLA圖像(例如，BLA_W_DLP)或指示無前置圖像之BLA圖像(例如，BLA_N_LP)的NAL單元類型之BLA圖像時(該情形指示特定圖像不具有相關聯的TFD圖像)(178之是分支)，視訊解碼器30基於NAL單元類型來選擇用於特定圖像的CPB參數之替代性集合(180)。習知地，CPB參數之預設集合係用於具有相關聯的TFD圖像之任何CRA圖像或BLA圖像(例如，BLA_W_TFD)。然而，在一些狀況下，原始位元串流中的與特定圖像相關聯的TFD圖像可在位元串流到達視訊解碼器之前被捨棄。視訊解碼器接著即使在圖像不再具有相關聯的TFD圖像時亦基於NAL單元類型使用預設CPB參數，此情形可導致CPB的溢位。
根據本發明之技術，當特定圖像係具有一指示具有非可解碼前置圖像之BLA圖像的NAL單元類型(例如，BLA_W_TFD)的CRA圖像或BLA圖像(此情形指示特定圖像具有相關聯的TFD圖像)(182之是分支)時，視訊解碼器30基於針對特定圖像之變數來選擇用於特定圖像的CPB參數之集合。舉例而言，當變數並未明確指示CPB參數之替代性集合(184之否分支)時，視訊解碼器30基於變數選擇用於特定圖像之CPB參數的預設集合(186)。當變數指示CPB參數之替代性集合(184之是分支)時，視訊解碼器30基於變數選擇用於特定圖像的CPB參數 之替代性集合(188)。以此方式，該等技術確保視訊解碼器之CPB不會歸因於使用不適當CPB參數而溢位。
圖8係說明一基於變數選擇CPB參數之集合的實例操作之流程圖，該變數經定義以指示針對位元串流中的特定RAP圖像的網路抽象層(NAL)單元類型。關於來自圖3之包括CPB 68的視訊解碼器30來描述所說明之操作。在其他實例中，類似操作可由包括CPB 66之來自圖2之視訊編碼器20、包括CPB 106及視訊解碼器108之來自圖4的目的地器件100或包括具有經組態以根據HRD操作而操作的CPB之視訊編碼器或視訊解碼器的其他器件來執行。
視訊解碼器30接收一包括一或多個CRA圖像或BLA圖像的位元串流(190)。連同位元串流，視訊解碼器30亦接收一訊息，該訊息指示針對CRA或BLA圖像中之特定一者的NAL單元類型(192)。更具體而言，視訊解碼器30可自諸如網路實體29之外部構件接收訊息，該網路實體29能夠捨棄與特定圖像相關聯之TFD圖像，且亦能夠向視訊解碼器30通知TFD圖像已被捨棄。
舉例而言，當特定圖像具有在自視訊編碼器20輸出之原始位元串流中的TFD圖像，且TFD圖像已由外部構件捨棄時，由視訊解碼器30接收到之訊息可指示針對特定圖像之NAL單元類型，該NAL單元類型指示具有可解碼前置圖像之BLA圖像(例如，BLA_W_DLP)，或指示無前置圖像的BLA圖像(例如，BLA_N_LP)。作為另一實例，當特定圖像具有在原始位元串流中之TFD圖像且TFD圖像尚未被外部構件捨棄時，由視訊解碼器30接收到之訊息可指示針對CRA圖像或BLA圖像中之一者的NAL單元類型，該NAL單元類型指示具有非可解碼前置圖像之BLA圖像(例如，BLA_W_TFD)。
視訊解碼器30基於接收到之訊息設定一變數(例如，UseThisNalUnitType)，該變數經定義以指示針對特定圖像的NAL單元 類型(194)。舉例而言，視訊解碼器30可將UseThisNalUnitType設定為等於由針對特定圖像之所接收到之訊息指示的NAL單元類型。在一些狀況下，視訊解碼器30可不接收針對CRA圖像或BLA圖像中之至少一者的訊息。視訊解碼器30可接著將UseThisNalUnitType設定為等於在位元串流中針對特定圖像所傳信的NAL單元類型。視訊解碼器30基於變數設定針對特定圖像之NAL單元類型(196)。視訊解碼器30接著基於針對特定圖像之NAL單元類型來選擇用於特定圖像之CPB參數的預設集合或替代性集合(198)。
圖9係說明形成網路200之部分的器件之實例集合的方塊圖。在此實例中，網路200包括路由器件204A、204B(路由器件204)及轉碼器件206。路由器件204及轉碼器件206意欲表示可形成網路200之部分的少量器件。諸如交換器、集線器、閘道器、防火牆、橋接器及其他此類器件的其他網路器件亦可包括於網路200內。此外，可沿著伺服器器件202與用戶端器件208之間的網路路徑而提供額外網路器件。在一些實例中，伺服器器件202可對應於圖1之源器件12，而用戶端器件208可對應於圖1之目的地器件14。
一般而言，路由器件204實施一或多個路由協定以經由網路200交換網路資料。在一些實例中，路由器件204可經組態以執行代理或快取操作。因此，在一些實例中，路由器件204可被稱作代理器件。一般而言，路由器件204執行路由協定以發現經由網路200之路由。藉由執行此類路由協定，路由器件204B可發現自其自身經由路由器件204A至伺服器器件202的網路路由。
本發明之技術可由諸如路由器件204及轉碼器件206之網路器件來實施，但亦可由用戶端器件208來實施。以此方式，路由器件204、轉碼器件206及用戶端器件208表示經組態以執行本發明之技術(包括在本發明之[申請專利範圍]部分中敍述的技術)之器件的實例。此外， 圖1之器件及展示於圖2中之編碼器以及展示於圖3中的解碼器亦係可經組態以執行本發明之技術(包括在本發明之[申請專利範圍]部分中敍述的技術)的例示性器件。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可被添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)穩定式的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、 DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而係針對穩定式有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因而，本文中所使用之術語「處理器」可指代上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全以一或多個電路或邏輯元件來實施。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。

Claims (46)

  1. 一種處理視訊資料之方法，該方法包含：接收一表示複數個圖像之位元串流，該複數個圖像包括清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像中的一或多者；接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用經寫碼圖像緩衝器(CPB)參數之一替代性集合；基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數；及基於針對該等CRA圖像或該等BLA圖像中之該一者的該變數選擇用於該圖像之CPB參數之該集合。
  2. 如請求項1之方法，其進一步包含使用該等CRA圖像或該等BLA圖像中之該一者及相關聯的假想參考解碼器(HRD)參數來初始化一HRD，其中該等HRD參數包括用於該圖像的CPB參數之該所選擇集合。
  3. 如請求項1之方法，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數並不指示CPB參數之該替代性集合，且其中選擇CPB參數之該集合包含選擇用於該圖像的CPB參數之預設集合。
  4. 如請求項1之方法，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數指示CPB參數之 該替代性集合，且其中選擇CPB參數之該集合包含選擇用於該圖像的CPB參數之該替代性集合。
  5. 如請求項1之方法，其進一步包含針對該等CRA圖像或該等BLA圖像中之該一者設定一網路抽象層(NAL)單元類型，其中選擇CPB參數之該集合包含基於針對該等CRA圖像或該等BLA圖像中之該一者的該NAL單元類型及該變數來選擇用於該圖像之CPB參數之該集合。
  6. 如請求項5之方法，其中該等CRA圖像或該等BLA圖像中之該一者包含作為一BLA圖像處置的一CRA圖像，且其中設定該NAL單元類型包含基於針對作為該BLA圖像處置之該CRA圖像之該變數來設定針對該圖像的該NAL單元類型。
  7. 如請求項6之方法，其中設定針對作為該BLA圖像處置之該CRA圖像的該NAL單元類型包含：基於針對該圖像之指示CPB參數之該替代性集合的該變數，設定針對該圖像之該NAL單元類型以指示具有可解碼前置圖像的一BLA圖像；及基於針對該圖像之不指示CPB參數之該替代性集合的該變數，設定針對該圖像之該NAL單元類型以指示具有非可解碼前置圖像的一BLA圖像。
  8. 如請求項5之方法，其中該等CRA圖像或該等BLA圖像中之該一者包含一CRA圖像，且其中設定該NAL單元類型包含設定針對該CRA圖像的該NAL單元類型以指示如所傳信的一一般CRA圖像。
  9. 如請求項5之方法，其中該等CRA圖像或該等BLA圖像中之該一者包含一CRA圖像，且其中設定該NAL單元類型包含設定針對該CRA圖像的該NAL單元類型以指示如所傳信的具有非可解碼前置圖像之一CRA圖像、具有可解碼前置圖像之一CRA圖像或無前置 圖像之一CRA圖像中的一者。
  10. 如請求項1之方法，其中接收該訊息包含自一外部構件接收該訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  11. 如請求項10之方法，其中該等CRA圖像或該等BLA圖像中之該一者具有在一原始位元串流中的非可解碼前置圖像，且該等非可解碼前置圖像已被該外部構件捨棄，且其中該接收到之訊息指示針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  12. 如請求項10之方法，其中該等CRA圖像或該等BLA圖像中之該一者並不具有在一原始位元串流中的非可解碼前置圖像，或具有在該原始位元串流中之非可解碼前置圖像且該等非可解碼前置圖像尚未被該外部構件捨棄，且其中該接收到之訊息並不指示針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  13. 如請求項1之方法，其進一步包含：不接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之另一者使用CPB參數之該替代性集合；設定該變數以不指示用於該等CRA圖像或該等BLA圖像中之該另一者的CPB參數之該替代性集合；及基於針對該等CRA圖像或該等BLA圖像中之該另一者的該變數選擇用於該圖像之CPB參數之該集合。
  14. 如請求項1之方法，其中該等CPB參數包括初始CPB移除延遲及初始CPB移除延遲偏移。
  15. 如請求項1之方法，其進一步包含將用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該所選擇集合應用至包括於一 視訊解碼器件中之一CPB，以確保該CPB在解碼該視訊資料期間不溢位。
  16. 如請求項1之方法，其進一步包含將用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該所選擇集合應用至包括於一視訊編碼器件中之一第一CPB，以確保包括於該視訊編碼器件中之該第一CPB在編碼該視訊資料期間將不溢位，且確保包括於一視訊解碼器件中之一第二CPB在接收到由該視訊編碼器件產生之一經編碼位元串流時不溢位。
  17. 一種用於處理視訊資料之視訊寫碼器件，該器件包含：一經寫碼圖像緩衝器(CPB)，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：接收一表示複數個圖像之位元串流，該複數個圖像包括清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像中的一或多者；接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用CPB參數之一替代性集合；基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數；及基於針對該等CRA圖像或該等BLA圖像中之該一者的該變數選擇用於該圖像之CPB參數之該集合。
  18. 如請求項17之視訊寫碼器件，其中該等處理器經組態以使用該等CRA圖像或該等BLA圖像中之該一者及相關聯的假想參考解碼器(HRD)參數來初始化一HRD，其中該等HRD參數包括用於該圖像的CPB參數之該所選擇集合。
  19. 如請求項17之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數並不指 示CPB參數之該替代性集合，且其中該等處理器經組態以選擇用於該圖像的CPB參數之預設集合。
  20. 如請求項17之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數指示CPB參數之該替代性集合，且其中該等處理器經組態以選擇用於該圖像的CPB參數之該替代性集合。
  21. 如請求項17之視訊寫碼器件，其中該等處理器經組態以設定針對該等CRA圖像或該等BLA圖像中之該一者的一網路抽象層(NAL)單元類型，且基於針對該等CRA圖像或該等BLA圖像中之該一者的該NAL單元類型及該變數來選擇用於該圖像之CPB參數之該集合。
  22. 如請求項21之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含作為一BLA圖像處置的一CRA圖像，且其中該等處理器經組態以基於針對作為該BLA圖像處置之該CRA圖像的該變數來設定針對該圖像之該NAL單元類型。
  23. 如請求項22之視訊寫碼器件，其中：基於針對該圖像之指示CPB參數之該替代性集合的該變數，該等處理器經組態以設定針對作為該BLA圖像處置之該CRA圖像的該NAL單元類型以指示具有可解碼前置圖像的一BLA圖像；及基於針對該圖像之不指示CPB參數之該替代性集合的該變數，該等參數經組態以設定針對作為該BLA圖像處置之該CRA圖像的該NAL單元類型以指示具有非可解碼前置圖像的一BLA圖像。
  24. 如請求項21之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含一CRA圖像，且其中該等處理器經組態以設定針 對該CRA圖像的該NAL單元類型以指示如所傳信的一一般CRA圖像。
  25. 如請求項21之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含一CRA圖像，且其中該等處理器經組態以設定針對該CRA圖像的該NAL單元類型以指示如所傳信的具有非可解碼前置圖像之一CRA圖像、具有可解碼前置圖像之一CRA圖像或無前置圖像之一CRA圖像中的一者。
  26. 如請求項17之視訊寫碼器件，其中該等處理器經組態以自一外部構件接收該訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  27. 如請求項26之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者具有在一原始位元串流中的非可解碼前置圖像，且該等非可解碼前置圖像已被該外部構件捨棄，且其中該接收到之訊息指示針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  28. 如請求項26之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者並不具有在一原始位元串流中的非可解碼前置圖像，或具有在該原始位元串流中之非可解碼前置圖像且該等非可解碼前置圖像尚未被該外部構件捨棄，且其中該接收到之訊息並不指示針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  29. 如請求項17之視訊寫碼器件，其中該等處理器經組態以：不接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之另一者使用CPB參數之該替代性集合；設定該變數以不指示用於該等CRA圖像或該等BLA圖像中之該另一者的CPB參數之該替代性集合；及 基於針對該等CRA圖像或該等BLA圖像中之該另一者的該變數選擇用於該圖像之CPB參數之該集合。
  30. 如請求項17之視訊寫碼器件，其中該等CPB參數包括初始CPB移除延遲及初始CPB移除延遲偏移。
  31. 如請求項17之視訊寫碼器件，其中該等處理器經組態以將用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該所選擇集合應用至包括於一視訊解碼器件中之一CPB，以確保該CPB在解碼該視訊資料期間不溢位。
  32. 如請求項17之視訊寫碼器件，其中該等處理器經組態以將用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該所選擇集合應用至包括於一視訊編碼器件中之一第一CPB，以確保包括於該視訊編碼器件中之該第一CPB在編碼該視訊資料期間將不溢位，且確保包括於一視訊解碼器件中之一第二CPB在接收到由該視訊編碼器件產生之一經編碼位元串流時不溢位。
  33. 一種用於處理視訊資料之視訊寫碼器件，該器件包含：用於接收一表示複數個圖像之位元串流之構件，該複數個圖像包括清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像中的一或多者；用於接收一訊息之構件，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用經寫碼圖像緩衝器(CPB)參數之一替代性集合；用於基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數的構件；及用於基於針對該等CRA圖像或該等BLA圖像中之該一者的該變數選擇用於該圖像之CPB參數之該集合的構件。
  34. 如請求項33之視訊寫碼器件，其進一步包含用於使用該等CRA圖像或該等BLA圖像中之該一者及相關聯的假想參考解碼器(HRD)參數來初始化一HRD的構件，其中該等HRD參數包括用於該圖像的CPB參數之該所選擇集合。
  35. 如請求項33之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數並不指示CPB參數之該替代性集合，其進一步包含用於針對該圖像選擇CPB參數之預設集合的構件。
  36. 如請求項33之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數指示CPB參數之該替代性集合，其進一步包含用於針對該圖像選擇CPB參數之該替代性集合的構件。
  37. 如請求項33之視訊寫碼器件，其進一步包含用於設定針對該等CRA圖像或該等BLA圖像中之該一者的一網路抽象層(NAL)單元類型之構件，及用於基於針對該等CRA圖像或該等BLA圖像中之該一者的該NAL單元類型及該變數來選擇用於該圖像之CPB參數之該集合的構件。
  38. 如請求項37之視訊寫碼器件，其中該等CRA圖像或該等BLA圖像中之該一者包含作為一BLA圖像處置的一CRA圖像，其進一步包含用於基於針對作為該BLA圖像處置之該CRA圖像的該變數來設定針對該圖像之該NAL單元類型之構件。
  39. 如請求項33之視訊寫碼器件，其進一步包含用於自一外部構件 接收該訊息之構件，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之該一者使用CPB參數之該替代性集合。
  40. 如請求項33之視訊寫碼器件，其進一步包含用於將用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該所選擇集合應用至包括於一視訊解碼器件中之一CPB以確保該CPB在解碼該視訊資料期間不溢位的構件。
  41. 如請求項33之視訊寫碼器件，其進一步包含用於將用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該所選擇集合應用至包括於一視訊編碼器件中之一第一CPB以確保包括於該視訊編碼器件中之該第一CPB在編碼該視訊資料期間將不溢位且確保包括於一視訊解碼器件中之一第二CPB在接收到由該視訊編碼器件產生之一經編碼位元串流時不溢位的構件。
  42. 一種包含用於處理視訊資料之指令的電腦可讀媒體，該等指令在執行時使得一或多個處理器：接收一表示複數個圖像之位元串流，該複數個圖像包括清潔隨機存取(CRA)圖像或斷鏈存取(BLA)圖像中的一或多者；接收一訊息，該訊息指示是否針對該等CRA圖像或該等BLA圖像中之至少一者使用經寫碼圖像緩衝器(CPB)參數之一替代性集合；基於該接收到之訊息設定一經定義以指示用於該等CRA圖像或該等BLA圖像中之該一者的CPB參數之該集合的變數；及基於針對該等CRA圖像或該等BLA圖像中之該一者的該變數選擇用於該圖像之CPB參數之該集合。
  43. 如請求項42之電腦可讀媒體，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有 非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數並不指示CPB參數之該替代性集合，且其中該等指令使得該等處理器選擇用於該圖像的CPB參數之預設集合。
  44. 如請求項42之電腦可讀媒體，其中該等CRA圖像或該等BLA圖像中之該一者包含具有一網路抽象層(NAL)單元類型之一CRA圖像或一BLA圖像中的一者，該網路抽象層(NAL)單元類型指示具有非可解碼前置圖像的一BLA圖像，且針對該圖像之該變數指示CPB參數之該替代性集合，且其中該等指令使得該等處理器針對該圖像選擇CPB參數之該替代性集合。
  45. 如請求項42之電腦可讀媒體，其中該等指令使得該等處理器設定針對該等CRA圖像或該等BLA圖像中之該一者的一網路抽象層(NAL)單元類型，且基於針對該等CRA圖像或該等BLA圖像中之該一者的該NAL單元類型及該變數來選擇用於該圖像之CPB參數之該集合。
  46. 如請求項45之電腦可讀媒體，其中該等CRA圖像或該等BLA圖像中之該一者包含作為一BLA圖像處置的一CRA圖像，且其中該等指令使得該等處理器基於針對作為該BLA圖像處置之該CRA圖像的該變數來設定針對該圖像之該NAL單元類型。
TW102132484A 2012-09-20 2013-09-09 具有改善隨機存取點圖像行爲之視訊寫碼 TWI559774B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261703695P 2012-09-20 2012-09-20
US13/952,340 US9374583B2 (en) 2012-09-20 2013-07-26 Video coding with improved random access point picture behaviors

Publications (2)

Publication Number Publication Date
TW201424392A true TW201424392A (zh) 2014-06-16
TWI559774B TWI559774B (zh) 2016-11-21

Family

ID=50274437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102132484A TWI559774B (zh) 2012-09-20 2013-09-09 具有改善隨機存取點圖像行爲之視訊寫碼

Country Status (24)

Country Link
US (1) US9374583B2 (zh)
EP (1) EP2898677B1 (zh)
JP (1) JP6271558B2 (zh)
KR (1) KR101721344B1 (zh)
CN (1) CN104641637B (zh)
AR (1) AR093236A1 (zh)
AU (1) AU2013318467B2 (zh)
BR (1) BR112015006059B1 (zh)
CA (1) CA2883439C (zh)
DK (1) DK2898677T3 (zh)
ES (1) ES2684546T3 (zh)
HK (1) HK1205841A1 (zh)
HU (1) HUE039076T2 (zh)
IL (1) IL237365B (zh)
MY (1) MY181728A (zh)
PH (1) PH12015500517A1 (zh)
PT (1) PT2898677T (zh)
RU (1) RU2624100C2 (zh)
SG (1) SG11201501407TA (zh)
SI (1) SI2898677T1 (zh)
TW (1) TWI559774B (zh)
UA (1) UA117462C2 (zh)
WO (1) WO2014046850A1 (zh)
ZA (1) ZA201502302B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185992A (zh) * 2012-02-08 2014-12-03 汤姆逊许可公司 用于使用假设参考解码器的超低延迟模式的方法和装置
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10116576B2 (en) * 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
WO2020139829A1 (en) * 2018-12-27 2020-07-02 Futurewei Technologies, Inc. On intra random access point pictures and leading pictures in video coding
JP7346585B2 (ja) * 2019-03-01 2023-09-19 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想参照デコーダ
PL3939290T3 (pl) * 2019-04-03 2024-03-11 Huawei Technologies Co., Ltd. Kodowanie wideo z przeplotem z obrazami wiodącymi
US11695965B1 (en) * 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US8358665B2 (en) 2008-08-15 2013-01-22 Qualcomm Incorporated Method and apparatus for controlling the presentation of multimedia data from a multiplex signal between devices in a local area network
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US8665964B2 (en) 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US8861599B2 (en) * 2011-03-08 2014-10-14 Sony Corporation Context reduction for last transform position coding
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9026671B2 (en) 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
EP2732626A1 (en) 2011-07-15 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures

Also Published As

Publication number Publication date
BR112015006059B1 (pt) 2023-04-11
US9374583B2 (en) 2016-06-21
EP2898677A1 (en) 2015-07-29
SG11201501407TA (en) 2015-04-29
CA2883439A1 (en) 2014-03-27
AU2013318467A1 (en) 2015-03-19
KR20150060776A (ko) 2015-06-03
HK1205841A1 (zh) 2015-12-24
IL237365A0 (en) 2015-04-30
US20140079140A1 (en) 2014-03-20
EP2898677B1 (en) 2018-05-30
JP2015533048A (ja) 2015-11-16
KR101721344B1 (ko) 2017-03-29
PH12015500517B1 (en) 2015-04-27
CN104641637B (zh) 2019-04-02
CA2883439C (en) 2017-08-01
ZA201502302B (en) 2021-09-29
WO2014046850A1 (en) 2014-03-27
CN104641637A (zh) 2015-05-20
RU2624100C2 (ru) 2017-06-30
UA117462C2 (uk) 2018-08-10
IL237365B (en) 2018-05-31
BR112015006059A2 (pt) 2017-07-04
PT2898677T (pt) 2018-10-08
MY181728A (en) 2021-01-05
TWI559774B (zh) 2016-11-21
AR093236A1 (es) 2015-05-27
AU2013318467B2 (en) 2017-04-20
HUE039076T2 (hu) 2018-12-28
PH12015500517A1 (en) 2015-04-27
SI2898677T1 (en) 2018-08-31
DK2898677T3 (en) 2018-08-27
RU2015114441A (ru) 2016-11-10
ES2684546T3 (es) 2018-10-03
JP6271558B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
TWI559774B (zh) 具有改善隨機存取點圖像行爲之視訊寫碼
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
TWI520591B (zh) 視訊寫碼中之參數集合更新
DK2941869T3 (en) VIDEO BUFFERING OPERATIONS FOR DIRECT ACCESS IN VIDEO CODING
US10123030B2 (en) Streaming adaption based on clean random access (CRA) pictures
KR20170107448A (ko) 적응적 크로스 컴포넌트 잔차 예측
TWI558174B (zh) 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
TW201424403A (zh) 於視訊寫碼中發信用於操作點之層識別符
KR20160034321A (ko) 인트라 랜덤 액세스 포인트 픽처들의 개선된 교차-계층 정렬