TWI543621B - 用於視訊寫碼中之低延遲視訊緩衝之系統及方法 - Google Patents

Description

用於視訊寫碼中之低延遲視訊緩衝之系統及方法

本申請案主張2012年4月4日申請之美國臨時申請案第61/620,266號及2012年5月1日申請之美國臨時申請案第61/641,063號的權利，該等臨時申請案中每一者之全部內容係以引用方式併入本文中。

本發明係關於視訊寫碼。

數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、視訊電話會議器件，及其類似者。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual，及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)，包括其可縮放視訊寫碼(Scalable Video Coding,SVC)及多視圖視訊寫碼(Multiview Video Coding,MVC)延伸。另外，高效率視訊寫碼(High-Efficiency Video Coding,HEVC)為由ITU-T視訊寫碼專家團體(VCEG)及ISO/IEC運動圖像專家團體(MPEG)的研究視訊寫碼之聯合協作小組(JCT-VC)開發的視訊寫碼標準。被稱為「HEVC工作草稿6」或「HEVC WD6」的即將到來之HEVC標準之新近草稿被描述於Bross等人之文件JCTVC-H1003的「High efficiency video coding (HEVC)text specification draft 6」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的研究視訊寫碼之聯合協作小組(JCT-VC)，第8次會議：美國加利福尼亞聖荷西，2012年2月)中，至2012年5月1日為止，該文件可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip處下載。

視訊壓縮技術執行空間預測及/或時間預測以縮減或移除為視訊序列所固有之冗餘。對於以區塊為基礎之視訊寫碼，可將一視訊圖框或片段分割成若干巨集區塊。可進一步分割每一巨集區塊。使用關於相鄰巨集區塊之空間預測來編碼經框內寫碼(I)圖框或片段中之巨集區塊。經框間寫碼(P或B)圖框或片段中之巨集區塊可使用關於該同一圖框或片段中之相鄰巨集區塊的空間預測，或關於其他參考圖框之時間預測。

大體上，本發明描述用以以可互操作方式達成縮減編碼解碼器延遲之各種技術。在一實例中，此等技術可經由以一般子圖像為基礎之經寫碼圖像緩衝器(coded picture buffer,CPB)行為而達成。

在一實例中，一種寫碼視訊資料之方法包括將視訊資料之一或多個解碼單元儲存於一圖像緩衝器中。該方法進一步包括獲得用於該一或多個解碼單元之一各別緩衝器移除時間，其中獲得該各別緩衝器移除時間包含接收指示用於該等解碼單元中至少一者之該各別緩衝器移除時間的一各別傳信值。該方法進一步包括根據用於該等解碼單元中每一者之該所獲得緩衝器移除時間而自該圖像緩衝器移除該等解碼單元。該方法進一步包括寫碼對應於該等經移除解碼單元之視訊資料，其中寫碼該視訊資料包含解碼該等解碼單元中該至少一者。

在另一實例中，一種用於寫碼視訊資料之器件經組態以將視訊資料之一或多個解碼單元儲存於一圖像緩衝器中。該器件經進一步組 態以獲得用於該一或多個解碼單元之一各別緩衝器移除時間，其中獲得該各別緩衝器移除時間包含接收指示用於該等解碼單元中至少一者之該各別緩衝器移除時間的一各別傳信值。該器件經進一步組態以根據用於該等解碼單元中每一者之該所獲得緩衝器移除時間而自該圖像緩衝器移除該等解碼單元。該器件經進一步組態以寫碼對應於該等經移除解碼單元之視訊資料，其中寫碼該視訊資料包含解碼該等解碼單元中該至少一者。

在另一實例中，一種用於寫碼視訊資料之裝置包括用於將視訊資料之一或多個解碼單元儲存於一圖像緩衝器中的構件。該裝置進一步包括用於獲得用於該一或多個解碼單元之一各別緩衝器移除時間的構件，其中獲得該各別緩衝器移除時間包含接收指示用於該等解碼單元中至少一者之該各別緩衝器移除時間的一各別傳信值。該裝置進一步包括用於根據用於該等解碼單元中每一者之該所獲得緩衝器移除時間而自該圖像緩衝器移除該等解碼單元的構件。該裝置進一步包括用於寫碼對應於該等經移除解碼單元之視訊資料的構件，其中寫碼該視訊資料包含解碼該等解碼單元中該至少一者。

在另一實例中，一種電腦可讀儲存媒體包含儲存於其上之指令，該等指令在執行時使一處理器將視訊資料之一或多個解碼單元儲存於一圖像緩衝器中。該等指令進一步使一處理器獲得用於該一或多個解碼單元之一各別緩衝器移除時間，其中獲得該各別緩衝器移除時間包含接收指示用於該等解碼單元中至少一者之該各別緩衝器移除時間的一各別傳信值。該等指令進一步使一處理器根據用於該等解碼單元中每一者之該所獲得緩衝器移除時間而自該圖像緩衝器移除該等解碼單元。該等指令進一步使一處理器寫碼對應於該等經移除解碼單元之視訊資料，其中寫碼該視訊資料包含解碼該等解碼單元中該至少一者。

在另一實例中，一種方法包括根據複數個視訊可用性資訊(VUI)參數中至少一者來處理視訊資料。該複數個VUI參數包括一子圖像經寫碼圖像緩衝器(CPB)參數存在旗標(sub_pic_cpb_params_present_flag)，該子圖像CPB參數存在旗標指示子圖像CPB參數之一存在。該複數個VUI參數進一步包括一補充增強資訊(SEI)訊息，該SEI訊息包括以下各者中至少一者：指示在一到達時間與一移除時間之間針對一第SchedSelIdx個CPB之一延遲的一語法元素(initial_du_cpb_removal_delay)，其中該到達時間為與一存取單元中之一第一解碼單元相關聯的經寫碼資料之一第一位元在一經寫碼圖像緩衝器(CPB)中的到達時間，該存取單元係與一緩衝週期SEI訊息相關聯，且該移除時間為針對在假設參考解碼器(HRD)初始化之後的第一緩衝週期與該第一解碼單元相關聯之該經寫碼資料自該CPB的移除時間；及結合指示一CPB移除延遲(cpb_removal_delay)之一語法元素而指示一偏移的一語法元素(initial_du_cpb_removal_delay_offset)，該偏移係使該第SchedSelIdx個CPB指定該第一解碼單元至該CPB之一初始遞送時間。該複數個VUI參數進一步包括一SEI訊息，該SEI訊息包括：指示網路存取層(NAL)單元之一數目的至少一語法元素(num_nalus_in_du_minus1)，其中該數目為在與圖像時序SEI訊息相關聯的該存取單元之一對應第i解碼單元中的網路存取層(NAL)單元之數目；及指定時脈刻度(clock tick)之一數目的一語法元素(du_cpb_removal_delay)，其中該數目為在自該CPB移除該存取單元中與該圖像時序SEI訊息相關聯之該對應第i解碼單元之前於該存取單元中與一先前存取單元中之最近緩衝週期SEI訊息相關聯的該第一解碼單元自該CPB之移除之後將等待之時脈刻度之數目。

在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及該等圖式以及自申請專利範圍變得顯而 易見。

10‧‧‧視訊編碼及解碼系統

12‧‧‧來源器件

14‧‧‧目的地器件

16‧‧‧通信頻道

18‧‧‧視訊來源

20‧‧‧視訊編碼器

22‧‧‧調變器/解調變器(數據機)

24‧‧‧傳輸器

26‧‧‧接收器

28‧‧‧數據機

30‧‧‧視訊解碼器

32‧‧‧顯示器件

34‧‧‧儲存器件

40‧‧‧模式選擇單元

42‧‧‧運動估計單元

44‧‧‧運動補償單元

46‧‧‧框內預測單元

50‧‧‧求和器

52‧‧‧變換單元

54‧‧‧量化單元

56‧‧‧熵編碼單元

58‧‧‧反量化單元

60‧‧‧反變換單元

62‧‧‧求和器

64‧‧‧參考圖像記憶體

70‧‧‧熵解碼單元

72‧‧‧運動補償單元

74‧‧‧框內預測單元

76‧‧‧反量化單元

78‧‧‧反變換單元

80‧‧‧求和器

82‧‧‧參考圖像記憶體

90‧‧‧緩衝器

92‧‧‧經寫碼圖像緩衝器

94‧‧‧經寫碼圖像緩衝器

96‧‧‧緩衝器

100‧‧‧目的地器件

102‧‧‧輸入介面

104‧‧‧串流排程器

106‧‧‧經寫碼圖像緩衝器

108‧‧‧視訊解碼器

110‧‧‧經解碼圖像緩衝器

112‧‧‧呈現單元

114‧‧‧輸出介面

圖1為根據本發明之技術的說明可利用用於對視訊區塊之間的邊緣進行解區塊之技術之實例視訊編碼及解碼系統的方塊圖。

圖2為根據本發明之技術的說明可實施用於對視訊區塊之間的邊緣進行解區塊之技術之視訊編碼器之實例的方塊圖。

圖3為根據本發明之技術的說明解碼經編碼視訊序列之視訊解碼器之實例的方塊圖。

圖4為說明可實施本發明之技術中任一者或全部之實例目的地器件的方塊圖。

圖5為根據本發明之技術的說明包括根據所獲得緩衝器移除時間而自圖像緩衝器移除視訊資料之解碼單元之實例方法的流程圖。

圖6為根據本發明之技術的說明包括根據所獲得緩衝器移除時間而自圖像緩衝器移除視訊資料之解碼單元之另一實例方法的流程圖。

圖7為根據本發明之技術的說明處理視訊資料之另一實例方法的流程圖，該方法包括在提昇處理序(bumping process)中輸出經裁剪圖像。

視訊應用程式可包括本端播放、串流、廣播/多播及交談應用程式。交談應用程式可包括視訊電話及視訊會議，且亦被稱為低延遲應用程式。交談應用程式需要全部系統之相對低的端對端延遲，亦即，視訊圖框被俘獲時之時間與視訊圖框被顯示時之時間之間的延遲。通常，針對交談應用程式之可接受的端對端延遲應小於400毫秒(ms)，且大約150 ms之端對端延遲可被視為極好。每一處理步驟可促成整體端對端延遲，例如，俘獲延遲、預處理延遲、編碼延遲、傳輸延遲、接收緩衝延遲(針對去抖動)、解碼延遲、經解碼圖像輸出延遲、後處 理延遲，及顯示延遲。因此，通常，編碼解碼器延遲(編碼延遲、解碼延遲及經解碼圖像輸出延遲)在交談應用程式中應最小化。詳言之，寫碼結構應確保圖像之解碼次序與輸出次序完全相同，使得經解碼圖像輸出延遲等於零。

視訊寫碼標準可包括視訊緩衝模型之規範。在AVC及HEVC中，緩衝模型被稱為假設參考解碼器(HRD)，其包括經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)兩者之緩衝模型，且CPB行為及DPB行為係以數學方式指定。HRD對不同時序、緩衝器大小及位元速率直接強加約束，且對位元串流特性及統計間接強加約束。HRD參數之完整集合包括五個基本參數：初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲，及DPB大小。

在AVC及HEVC中，作為HRD規範之部分，指定位元串流一致性及解碼器一致性。儘管HRD被命名為一種類型之解碼器，但通常在編碼器側處需要HRD以保證位元串流一致性，而在解碼器側處通常不需要HRD。指定兩種類型之位元串流或HRD一致性，即，Type I及Type II。又，指定兩種類型之解碼器一致性：輸出時序解碼器一致性及輸出次序解碼器一致性。

在AVC及HEVC HRD模型中，解碼或CPB移除係以存取單元為基礎，且假定圖像解碼瞬時。在實務應用中，若一致解碼器嚴格地遵循(例如)在圖像時序補充增強資訊(SEI)訊息中傳信之解碼時間以開始存取單元之解碼，則輸出特定經解碼圖像之最早可能時間等於彼特定圖像之解碼時間加上解碼彼特定圖像所需要之時間。不同於AVC及HEVC HRD模型，在真實世界中解碼圖像所需要之時間不等於零。如貫穿本發明所使用之術語「瞬時」及「瞬時地」可指代可在一或多個寫碼模型或任何一或多個寫碼模型之理想化態樣中被假定為瞬時的任何持續時間，其中應理解，此情形可不同於在物理或文字意義上「瞬 時」。舉例而言，出於本發明之目的，若一函式或處理序發生於針對該待執行函式或處理序之假設或理想化最早可能時間之實務邊限時或內，則該函式或處理序可被視為標稱地「瞬時」。在一些實例中，如本文所使用之語法及變數名稱可根據其在HEVC模型內之含義加以理解。

以子圖像為基礎之CPB行為係在Kazui等人之「Enhancement on operation of coded picture buffer」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的研究視訊寫碼之聯合協作小組(JCT-VC)，第7次會議：日內瓦，CH 21-30，2011年11月，JCTVC-G188(可在http：//phenix.int-evry.fr/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G188-v2.zip處得到))中被提出，以便以可互操作方式達成一個以下圖像週期之寫碼延遲。可如下概述JCTVC-G188方法：可將一圖像均勻地劃分成M個樹區塊群組，亦即，該圖像之樹區塊光柵掃描中之第一M個樹區塊屬於第一樹區塊群組，該圖像之樹區塊光柵掃描中之第二M個樹區塊屬於第二樹區塊群組，等等。值M可在緩衝週期SEI訊息中被傳信。此值可用以導出每一樹區塊群組之CPB移除時間(亦即，解碼時間)。在此意義上，JCTVC-G188 CPB行為係以子圖像為基礎，其中每一子圖像為一樹區塊群組。在一些實例中，一子圖像可對應於一或多個片段、一或多個波(用於圖像之波前分割)，或一或多個影像塊(tile)。在JCTVC-G188之此方法中假定存取單元層級CPB移除時間照常被傳信(使用圖像時序SEI訊息)，且在每一存取單元內，用於樹區塊群組之CPB移除時間被假定為線性地或均勻地劃分自先前存取單元之CPB移除時間至當前存取單元之CPB移除時間的區間。

JCTVC-G188之此方法進一步暗示以下假定或位元串流要求：(1)在每一圖像內，每一樹區塊群組係以需要相同量之解碼時間的方式被 編碼(不僅在HRD模型中，而且針對真實世界解碼器)，其中第一樹區塊群組之經寫碼資料被視為包括在同一存取單元中且在第一VCL(視訊寫碼層)NAL(網路抽象層)單元之前的所有非VCL NAL單元；(2)在每一圖像內，用於每一樹區塊群組之位元的數目完全相同，其中第一樹區塊群組之經寫碼資料被視為包括在同一存取單元中且在第一VCL NAL單元之前的所有非VCL NAL單元。

用於指定以子圖像為基礎之CPB行為的現有方法係與至少以下問題相關聯：(1)用於經寫碼圖像中之每一樹區塊群組之經寫碼資料的量完全相同的要求難以用平衡的寫碼效能而達成(其中一圖像中具有更詳細紋理或運動活動之區域的樹區塊群組可使用更多位元)。(2)當一個以上樹區塊群組包括於一片段中時，可不存在容易的方式來分隔屬於不同樹區塊群組之樹區塊之經寫碼位元，及在編碼器側處分離地發送該等位元且自CPB分離地移除該等位元(亦即，分離地解碼該等位元)。

為了解決以上問題，本發明用各種替代例來描述用於支援以子圖像為基礎之CPB行為的一般設計。在一些實例中，本發明之以子圖像為基礎之CPB技術的特徵可包括以下技術之態樣：(1)每一子圖像可包括在解碼次序方面連續的經寫碼圖像之數個寫碼區塊。一寫碼區塊可完全相同於一樹區塊，或一樹區塊之一子集；(2)可照常執行子圖像之寫碼及位元至圖像中之不同子圖像的分配，而不假定或要求用相同量之位元來寫碼一個圖像中之每一子圖像(亦即，樹區塊群組)。因此，用於每一子圖像之CPB移除時間可在位元串流中被傳信，而非根據經傳信圖像層級CPB移除時間而導出；(3)當一個以上子圖像包括於一片段中時，可在每一子圖像結束時應用位元組對準，此與(例如)用於HEVC WD6中之影像塊的位元組對準形成對比。此外，每一子圖像(惟經寫碼圖像中之第一子圖像除外)之入口點可被傳信，此與(例如) 用於HEVC WD6中之影像塊的位元組對準形成對比。舉例而言，經接收傳信值可指示在視訊資料之較大集合(諸如，片段、影像塊或圖框)內的子圖像中至少一者之位元組對準。特徵(1)至(3)中每一者可被獨立地應用或結合其他特徵而應用。

在一實例中，可如下概述包括以子圖像為基礎之CPB行為的HRD操作：當傳信指示出以子圖像為基礎之CPB行為在使用中時(例如，經由等於1之語法元素sub_pic_cpb_flag之序列層級傳信)，CPB移除或解碼係基於子圖像，或等效地，係基於解碼單元，解碼單元可為存取單元或存取單元之子集。換言之，每當自CPB移除解碼單元(無論為存取單元抑或存取單元之子集)以供解碼時，就可自經傳信初始CPB移除延遲及針對解碼單元而傳信之CPB移除延遲導出解碼單元自CPB之移除時間。CPB反向溢位(underflow)被指定為如下條件：對於m之任何值，解碼單元m之標稱CPB移除時間t_r,n(m)小於解碼單元m之最終CPB移除時間t_af(m)。在一實例中，當語法元素low_delay_hrd_flag等於0時，要求CPB永不反向溢位。

在一實例中，DPB輸出及移除處理序可仍在圖像層級或存取單元層級處操作，亦即，每當自DPB輸出或移除整個經解碼圖像時。經解碼圖像自DPB之移除可在存取單元n(含有當前圖像)之第一解碼單元的CPB移除時間瞬時地發生。

圖1為說明可利用尤其用於以下操作之技術之實例視訊編碼及解碼系統10的方塊圖：將視訊資料之一或多個解碼單元儲存於圖像緩衝器中；獲得用於一或多個解碼單元之各別緩衝器移除時間；根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元；及寫碼對應於經移除解碼單元之視訊資料。

如圖1所示，系統10包括來源器件12，來源器件12經由通信頻道16而將經編碼視訊傳輸至目的地器件14。來源器件12及目的地器件14 可包含廣泛範圍之器件中任一者。在一些狀況下，來源器件12及目的地器件14可包含無線通信器件，諸如，無線手機、所謂的蜂巢式或衛星無線電電話，或可經由通信頻道16而傳達視訊資訊之任何無線器件，在此狀況下，通信頻道16係無線的。然而，本發明之技術未必限於無線應用程式或設定。舉例而言，此等技術可應用於空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路視訊傳輸、編碼至儲存媒體上之經編碼數位視訊，或其他情境。因此，通信頻道16可包含適合於經編碼視訊資料之傳輸或儲存的無線媒體、有線媒體或儲存媒體之任何組合。

或者，經編碼資料可自傳輸器24輸出至儲存器件34。相似地，經編碼資料可由接收器26自儲存器件34存取。儲存器件34可包括多種分散式或本端存取式資料儲存媒體中任一者，諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件34可對應於檔案伺服器、虛擬伺服器、資料中心、資料中心之冗餘網路，或可保持由來源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件34存取經儲存視訊資料。儲存器件34或其部分之檔案伺服器實施可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接式儲存(NAS)器件，或本端磁碟機。目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此連接可包括適合於存取儲存於遠端或非本端儲存器件34上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或此兩者之組合。經編碼視訊資料自儲存器件34之傳輸可為串流傳輸、下載傳輸，或此兩者之組合。

在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20、調變器/解調變器(數據機)22及傳輸器24。目的地器件14包括接收器26、數據機28、視訊解碼器30及顯示器件32。根據本發明，來源器件12之視訊編碼器20可經組態以應用尤其用於以下操作之技術：將視訊資料之一或多個解碼單元儲存於圖像緩衝器中；獲得用於一或多個解碼單元之各別緩衝器移除時間；根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元；及寫碼對應於經移除解碼單元之視訊資料。在其他實例中，來源器件及目的地器件可包括其他組件或配置。舉例而言，來源器件12可自外部視訊來源(諸如，外部相機)而非整合式視訊來源18接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件32。

圖1之所說明系統10僅僅為一實例。用於以下操作之技術可由任何數位視訊編碼及/或解碼器件執行：將視訊資料之一或多個解碼單元儲存於圖像緩衝器中；獲得用於一或多個解碼單元之各別緩衝器移除時間；根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元；及寫碼對應於經移除解碼單元之視訊資料。儘管本發明之技術通常係由視訊編碼器件執行，但該等技術亦可由通常被稱為「CODEC」之視訊編碼器/解碼器執行。此外，本發明之技術亦可由視訊預處理器執行。來源器件12及目的地器件14僅僅為此等寫碼器件之實例，其中來源器件12產生經寫碼視訊資料以供傳輸至目的地器件14。在一些實例中，器件12、14可以實質上對稱方式而，使得器件12、14中每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。

來源器件12之視訊來源18可包括諸如視訊攝影機之視訊俘獲器件、含有經先前俘獲視訊之視訊封存，及/或來自視訊內容提供者之 視訊饋送。作為一另外替代例，視訊來源18可產生以電腦圖形為基礎之資料作為來源視訊，或實況視訊、經封存視訊與經電腦產生視訊之組合。在一些狀況下，若視訊來源18為視訊攝影機，則來源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術大體上可適用於視訊寫碼，且可應用於無線及/或有線應用程式。在每一狀況下，經俘獲、經預俘獲或經電腦產生視訊可由視訊編碼器20編碼。經編碼視訊資訊接著可由數據機22根據通信標準而調變，且經由傳輸器24而傳輸至目的地器件14。數據機22可包括各種混頻器、濾波器、放大器，或經設計用於信號調變之其他組件。傳輸器24可包括經設計用於傳輸資料之電路，包括放大器、濾波器及一或多個天線。

目的地器件14之接收器26經由通信頻道16而接收資訊，且數據機28解調變該資訊。又，視訊編碼處理序可實施本文所描述之技術中的一或多者，尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。經由通信頻道16而傳達之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦可由視訊解碼器30使用，其包括描述巨集區塊、寫碼樹單元、片段及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。

在圖1之實例中，通信頻道16可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線，或無線媒體與有線媒體之任何組合。通信頻道16可形成以封包為基礎之網路的部分，諸如， 區域網路、廣域網路，或諸如網際網路之全域網路。通信頻道16通常表示用於將視訊資料自來源器件12傳輸至目的地器件14之任何合適通信媒體或不同通信媒體之集合，包括有線或無線媒體之任何合適組合。通信頻道16可包括路由器、交換器、基地台，或可用以促進自來源器件12至目的地器件14之通信的任何其他設備。在其他實例中，來源器件12可將經編碼資料儲存至儲存媒體上，諸如，儲存於儲存器件24中，而非傳輸該資料。同樣地，目的地器件14可經組態以自儲存器件24或另一儲存媒體或器件擷取經編碼資料。

視訊編碼器20及視訊解碼器30可根據諸如本文所描述之標準的視訊壓縮標準而操作。然而，本發明之技術不限於任何特定寫碼標準。儘管圖1中未圖示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與一音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或分離資料串流中之音訊及視訊兩者的編碼。適用時，MUX-DEMUX單元可遵守ITU H.223多工器協定，或諸如使用者資料報協定(UDP)之其他協定。

視訊編碼器20及視訊解碼器30可各自被實施為多種合適編碼器電路中任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、包括諸如編碼器或解碼器之視訊寫碼器件的無線通信器件、離散邏輯、軟體、硬體、韌體，或其任何組合。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可在各別相機、電腦、行動器件、用戶器件、廣播器件、機上盒、伺服器或其他器件中整合為組合式編碼器/解碼器(CODEC)之部分。

一視訊序列通常包括一系列視訊圖框。一圖像群組(GOP)通常包含一系列一或多個視訊圖框。GOP可包括在GOP之標頭中、在GOP之 一或多個圖框之標頭中或在別處的語法資料，該語法資料描述包括於GOP中之圖框的數目。每一圖框可包括描述用於各別圖框之編碼模式的圖框語法資料。視訊編碼器20通常對個別視訊圖框內之視訊區塊(亦被稱為寫碼單元(CU))進行操作，以便編碼視訊資料。視訊區塊可對應於最大寫碼單元(LCU)或LCU之分割區。視訊區塊可具有固定或變化大小，且其大小可根據指定寫碼標準而不同。每一視訊圖框可包括複數個片段。每一片段可包括複數個LCU，該等LCU可配置成若干分割區，亦被稱為子CU。LCU亦可被稱為寫碼樹單元。

作為一實例，ITU-T H.264標準支援以下各者：以各種區塊大小之框內預測，諸如，針對亮度分量之16乘16、8乘8或4乘4，及針對色度分量之8×8；以及以各種區塊大小之框間預測，諸如，針對亮度分量之16×16、16×8、8×16、8×8、8×4、4×8及4×4，及針對色度分量之對應縮放大小。在本發明中，「N×N」及「N乘N」可互換式地用以在垂直維度及水平維度方面指代區塊之像素維度，例如，16×16像素或16乘16像素。一般而言，16×16區塊將具有在垂直方向上之16個像素(y=16)，及在水平方向上之16個像素(x=16)。同樣地，N×N區塊通常具有在垂直方向上之N個像素及在水平方向上之N個像素，其中N表示非負整數值。區塊中之像素可以列及行而配置。此外，區塊未必需要在水平方向上及在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。

視訊區塊可包含在像素域中之像素資料區塊，或在變換域中之變換係數區塊，例如，在將諸如離散餘弦變換(DCT)、整數變換、小波變換或概念上相似變換之變換應用於表示經寫碼視訊區塊與預測性視訊區塊之間的像素差之殘餘視訊區塊資料之後。在一些狀況下，視訊區塊可包含在變換域中之經量化變換係數區塊。

較小視訊區塊可提供較好解析度，且可用於視訊圖框之包括高 細節層級的位置。一般而言，可將區塊及各種分割區(有時被稱為子區塊)視為視訊區塊。另外，可將一片段視為複數個視訊區塊，諸如，區塊及/或子區塊。每一片段可為一視訊圖框之可獨立解碼單元。或者，圖框自身可為可解碼單元，或圖框之其他部分可被定義為可解碼單元。術語「經寫碼單元」可指代視訊圖框之任何可獨立解碼單元，諸如，整個圖框或圖框之片段、亦被稱為經寫碼視訊序列之圖像群組(GOP)，或根據適用寫碼技術而定義之另一可獨立解碼單元。

在進行框內預測性或框間預測性寫碼以產生預測性資料及殘餘資料之後，且在進行任何變換(諸如，在H.264/AVC中使用之4×4或8×8整數變換，或離散餘弦變換DCT)以產生變換係數之後，可執行變換係數之量化。量化通常指代量化變換係數以可能地縮減用以表示該等係數之資料之量的處理序。量化處理序可縮減與係數中之一些或全部相關聯的位元深度。舉例而言，n位元值可在量化期間降值捨位至m位元值，其中n大於m。

HEVC將視訊資料區塊稱為寫碼單元(CU)，該CU可包括一或多個預測單元(PU)及/或一或多個變換單元(TU)。本發明亦可使用術語「區塊」以指代CU、PU或TU中任一者。位元串流內之語法資料可定義最大寫碼單元(LCU)，該LCU在像素之數目方面為最大寫碼單元。一般而言，CU具有與H.264之巨集區塊之目的相似的目的，惟CU不具有大小相異除外。因此，一CU可分隔成若干子CU。一般而言，在本發明中對CU之參考可指代圖像之最大寫碼單元，或LCU之子CU。一LCU可分隔成若干子CU，且每一子CU可進一步分隔成若干子CU。用於位元串流之語法資料可定義LCU可被分隔之最大次數，被稱為CU深度。因此，位元串流亦可定義最小寫碼單元(SCU)。

LCU可與四元樹資料結構相關聯。一般而言，四元樹資料結構包括每CU一個節點，其中根節點對應於LCU。若一CU分隔成四個子 CU，則對應於該CU之節點包括四個葉節點，該等葉節點中每一者對應於該等子CU中之一者。四元樹資料結構之每一節點可提供用於對應CU之語法資料。舉例而言，四元樹中之節點可包括分隔旗標，該分隔旗標指示對應於該節點之CU是否分隔成若干子CU。用於CU之語法元素可被遞歸地定義，且可取決於CU是否分隔成若干子CU。若CU未被進一步分隔，則其被稱為葉CU。在本發明中，葉CU之4個子CU亦將被稱為葉CU，但不存在原始葉CU之明確分隔。舉例而言，若以16×16大小之CU未被進一步分隔，則四個8×8子CU亦可被稱為葉CU，但16×16 CU尚未被分隔。

此外，葉CU之TU亦可與各別四元樹資料結構相關聯。亦即，葉CU可包括指示葉CU如何分隔成若干TU之四元樹。本發明將指示LCU如何被分割之四元樹稱為CU四元樹，且將指示葉CU如何分割成若干TU之四元樹稱為TU四元樹。TU四元樹之根節點通常對應於葉CU，而CU四元樹之根節點通常對應於LCU。TU四元樹之未被分隔的TU可被稱為葉TU。

葉CU可包括一或多個預測單元(PU)。一般而言，一PU表示對應CU之全部或一部分，且可包括用於擷取用於該PU之參考樣本的資料。舉例而言，當PU被框間模式編碼時，PU可包括定義用於PU之運動向量的資料。定義運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖框，及/或用於運動向量之參考清單(例如，清單0或清單1)。定義PU的用於葉CU之資料亦可描述(例如)CU成為一或多個PU之分割。取決於CU未被寫碼、被框內預測模式編碼抑或被框間預測模式編碼，分割模式可不同。對於框內寫碼，PU可被視為與下文所描述之葉變換單元相同。

一葉CU可包括一或多個變換單元(TU)。該等變換單元可使用一 TU四元樹結構予以指定，如上文所論述。亦即，分隔旗標可指示一葉CU是否分隔成四個變換單元。接著，每一變換單元可進一步分隔成4個子TU。當TU未被進一步分隔時，其可被稱為葉TU。一般而言，分隔旗標可指示出一葉TU分隔成若干正方形TU。為了指示出一TU分隔成若干非正方形TU，可包括其他語法資料，例如，指示出TU將根據非正方形四元樹變換(NSQT)而分割之語法資料。

通常，對於框內寫碼，屬於一葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式以計算葉CU之所有TU的預測值。對於框內寫碼，視訊編碼器可使用框內預測模式來計算每一葉TU之殘餘值，作為預測性值之對應於TU的部分與原始區塊之間的差。殘餘值可被變換、量化及掃描。對於框間寫碼，視訊編碼器可在PU層級處執行預測，且可計算用於每一PU之殘餘。對應於葉CU之殘餘值可被變換、量化及掃描。對於框間寫碼，葉TU可大於或小於PU。對於框內寫碼，PU可與對應葉TU並置。在一些實例中，葉TU之最大大小可為對應葉CU之大小。

一般而言，本發明使用術語CU及TU以分別指代葉CU及葉TU，除非另有提到。一般而言，本發明之技術係關於變換、量化、掃描及熵編碼CU之資料。作為一實例，本發明之技術包括選擇待使用之變換，以基於用以預測經框內預測區塊之框內預測模式來變換該區塊之殘餘值。本發明亦使用術語「方向性變換」或「經設計變換」以指代取決於框內預測模式方向之此變換。亦即，視訊編碼器可選擇方向性變換以應用於變換單元(TU)。如上文所提到，框內預測包括自一圖像之經先前寫碼CU及TU預測該同一圖像之當前CU的TU。更具體言之，視訊編碼器可使用特定框內預測模式來框內預測圖像之當前TU。

在量化之後，可(例如)根據內容自調適性可變長度寫碼 (CAVLC)、上下文自調適性二進位算術寫碼(CABAC)、機率區間分割熵寫碼(PIPE)或另一熵寫碼方法來執行經量化資料之熵寫碼。經組態用於熵寫碼之處理單元或另一處理單元可執行其他處理功能，諸如，經量化係數之零延行長度寫碼，及/或語法資訊之產生，諸如，經寫碼區塊型樣(CBP)值、巨集區塊類型、寫碼模式、用於經寫碼單元(諸如，圖框、片段、巨集區塊或序列)之最大巨集區塊大小，或其他語法資訊。

視訊編碼器20可經組態以執行反量化及反變換，以將待作為參考而用於預測後續區塊之經解碼區塊儲存於(例如)待在時間上預測之同一或相同圖框中。視訊編碼器20可(例如)在圖框標頭、區塊標頭、片段標頭或GOP標頭中進一步將諸如以區塊為基礎之語法資料、以圖框為基礎之語法資料及以GOP為基礎之語法資料的語法資料發送至視訊解碼器30。GOP語法資料可描述各別GOP中之圖框的數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。

適用時，視訊編碼器20及視訊解碼器30可各自被實施為多種合適編碼器或解碼器電路中任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體，或其任何組合。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之裝置可包含積體電路、微處理器，及/或無線通信器件，諸如，蜂巢式電話。

根據本發明之技術，視訊編碼器20及/或視訊解碼器30可經組態尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每 一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。

以下定義係關於實例視訊編碼器20及/或視訊解碼器30而提供，視訊編碼器20及/或視訊解碼器30經組態尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。

出於描述一實例集合之目的，可如下定義術語「解碼單元」：解碼單元：存取單元或存取單元之子集。若sub_pic_cpb_flag等於0，則解碼單元為存取單元；否則，解碼單元為存取單元之子集。當sub_pic_cpb_flag等於1時，存取單元中之第一解碼單元包括存取單元中之所有非VCL NAL單元，及同一存取單元中之第一VCL NAL單元，且存取單元中之每一其他解碼單元為並非存取單元中之第一經寫碼片段NAL單元的經寫碼片段NAL單元。

出於描述第二實例集合之目的，可如下定義術語「解碼單元」，其中術語「子圖像」之額外定義係如「解碼單元」之對應實例定義中所使用：解碼單元：存取單元或存取單元之子集。若sub_pic_cpb_flag等於0，則解碼單元為存取單元；否則，解碼單元為存取單元之子集。當sub_pic_cpb_flag等於1時，存取單元中之第一解碼單元包括存取單元中之所有非VCL NAL單元，及同一存取單元中之圖像之第一子圖像，且存取單元中之每一其他解碼單元為並非存取單元中之第一子圖像的子圖像。

子圖像：在解碼次序方面連續的經寫碼圖像之數個寫碼區塊。

在根據上文所提供之第二實例集合的定義中，當一個以上子圖 像包括於一片段中時，可在每一子圖像結束時應用位元組對準，此與(例如)用於HEVC WD6中之影像塊的位元組對準形成對比。此外，每一子圖像(惟經寫碼圖像中之第一子圖像除外)之入口點可被傳信。

在一些替代例中，當位元串流含有多個可縮放層或視圖時，解碼單元可被定義為層表示或視圖組件。在層表示或視圖組件之第一VCL NAL單元之前的所有非VCL單元亦屬於含有層表示或視圖組件之解碼單元。

提供實例假設參考解碼器(HRD)操作、經寫碼圖像緩衝器之實例操作、位元串流到達之實例時序、解碼單元移除之實例時序、解碼單元之實例解碼、經解碼圖像緩衝器之實例操作、圖像自經解碼圖像緩衝器之實例移除、實例圖像輸出以及實例當前經解碼圖像標記及儲存的以下描述以說明視訊編碼器20及/或視訊解碼器30之實例，視訊編碼器20及/或視訊解碼器30可經組態尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。在其他實例中，可不同地定義或執行該等操作。以此方式，視訊編碼器20及/或視訊解碼器30可經組態以根據下文所描述之HRD操作的各種實例而操作。

作為一實例，可如下概括地描述HRD操作：CPB大小(位元之數目)為CpbSize[SchedSelIdx]。用於時間層X之DPB大小(圖像儲存緩衝器之數目)針對在0至max_temporal_layers_minus1(包括在內)之範圍內的每一X為max_dec_pic_buffering[X]+1。在此實例中，HRD可操作如下：與根據指定到達排程而流動至CPB中之存取單元相關聯的資料可由假設串流排程器(HSS)(亦即，遞送排程器)遞送。與每一解碼單元相關聯之資料可藉由瞬時解碼處理序在CPB移除時間瞬時地移除及 解碼。每一經解碼圖像可置放於DPB中。在DPB輸出時間之較遲時間或經解碼圖像變得不再為框間預測參考所需要之時間，可自DPB移除經解碼圖像。

可用真實值來進行此等實例中之算術，使得不傳播捨位誤差。舉例而言，恰好在解碼單元之移除之前或之後的CPB中之位元的數目未必為整數。

變數t_c可被導出如下，且可被稱為時脈刻度：t_c=num_units_in_tick÷time_scale (C-1)

可指定以下內容以用於表達在對HEVC之實例附錄修改中的約束：使存取單元n為以解碼次序之第n存取單元，其中第一存取單元為存取單元0；使圖像n為存取單元n之經寫碼圖像或經解碼圖像；使解碼單元m為以解碼次序之第m解碼單元，其中第一解碼單元為解碼單元0。

如下描述用於操作經寫碼圖像緩衝器(CPB)之一些實例技術。根據一些視訊寫碼技術，可實施CPB操作之各種方法。HEVC WD6關於CPB操作之章節中的規範可由本發明修改，且可獨立地應用於所存在之每一CPB參數集合且應用於Type I一致性點及Type II一致性點兩者。

如下描述涉及位元串流到達之時序的一些實例。HRD可以緩衝週期補充增強資訊(SEI)訊息中任一者予以初始化。在初始化之前，CPB可空白。在初始化之後，HRD可不再次藉由後續緩衝週期SEI訊息初始化。

與初始化CPB之緩衝週期SEI訊息相關聯的存取單元可被稱為存取單元0。每一解碼單元可被稱為解碼單元m，其中數字m識別特定解 碼單元。存取單元0中以解碼次序之第一解碼單元可被稱為解碼單元0。m之值針對以解碼次序之每一後續解碼單元可遞增1。

解碼單元m之第一位元開始進入CPB的時間可被稱為初始到達時間t_ai(m)。可如下導出解碼單元之初始到達時間：若解碼單元為解碼單元0，則t_ai(0)=0，否則(解碼單元為解碼單元m，其中m>0)，以下內容可適用：若cbr_flag[SchedSelIdx]等於1，則用於解碼單元m之初始到達時間等於解碼單元m-1之最終到達時間(其在下文被導出)，亦即，t_ai(m)=t_af(m-1) (C-2)

否則(cbr_flag[SchedSelIdx]等於0)，用於解碼單元m之初始到達時間係藉由下式導出：t_ai(m)=Max(t_af(m-1),t_ai,earliest(m)) (C-3)

其中t_ai,earliest(m)被導出如下。

若解碼單元m並非後續緩衝週期之第一解碼單元，則t_ai,earliest(m)可被導出為：t_ai,earliest(m)=t_r,n(m)-(initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx])÷90000 (C-4)

其中tr,n(m)為如所指定的解碼單元m自CPB之標稱移除時間，且initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]指定於先前緩衝週期SEI訊息中；否則(解碼單元m為後續緩衝週期之第一解碼單元)，tai,earliest(m)可被導出為：t_ai,earliest(m)=t_r,n(m)-(initial_cpb_removal_delay[SchedSelIdx]÷90000) (C-5)

其中initial_cpb_removal_delay[SchedSelIdx]指定於與含有解碼單元m之存取單元相關聯的緩衝週期SEI訊息中。

用於解碼單元m之最終到達時間可藉由下式導出：t_af(m)=t_ai(m)+b(m)÷BitRate[SchedSelIdx] (C-6)

其中b(m)可為解碼單元m的以位元為單位之大小，其針對Type I一致性點而計數VCL NAL單元及填充物資料NAL單元之位元或針對Type II一致性點而計數Type II位元串流之所有位元。

在一些實例中，可如下約束SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之值：若用於含有解碼單元m之存取單元之作用中序列參數集合的內容與用於先前存取單元之作用中序列參數集合的內容不同，則HSS自提供於用於含有解碼單元m之存取單元之作用中序列參數集合中的SchedSelIdx之值當中選擇SchedSelIdx之值SchedSelIdx1，該值SchedSelIdx1針對含有解碼單元m之存取單元引起BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]之值可不同於針對在使用中用於先前存取單元之SchedSelIdx之值SchedSelIdx0的BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]之值。

否則，HSS繼續用SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之先前值而操作。

當HSS選擇不同於先前存取單元之值的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]之值時，以下內容在一些實例中可適用：變數BitRate[SchedSelIdx]在時間tai(m)開始生效

變數CpbSize[SchedSelIdx]開始生效如下：若CpbSize[SchedSelIdx]之新值超過舊CPB大小，則其在時間t_ai(m)開始生效，否則，CpbSize[SchedSelIdx]之新值在含有解碼單元m之存取單元之最後解碼單元的CPB移除時間開始生效。

當sub_pic_cpb_flag等於1時，存取單元n之初始CPB到達時間 t_ai(n)可設定至存取單元n中之第一解碼單元的初始CPB到達時間，且存取單元n之最終CPB到達時間t_af(n)可設定至存取單元n中之最後解碼單元的最終CPB到達時間。

如下描述涉及解碼單元移除之時序及解碼單元之解碼的一些實例。當解碼單元m為m等於0之解碼單元(初始化HRD的存取單元之第一解碼單元)時，解碼單元自CPB之標稱移除時間可藉由下式指定：t_r,n(0)=initial_cpb_removal_delay[SchedSelIdx]÷90000 (C-7)

當解碼單元m為並不初始化HRD的緩衝週期之第一存取單元之第一解碼單元時，解碼單元自CPB之標稱移除時間可藉由下式指定：t_r,n(m)=t_r,n(m_b)+t_c * cpb_removal_delay(m) (C-8)

其中t_r,n(m_b)為先前緩衝週期之第一解碼單元的標稱移除時間，且cpb_removal_delay(m)為在與含有解碼單元m之存取單元相關聯之圖像時序SEI訊息中所指定的用於解碼單元m之cpb_removal_delay[i]之值。

當解碼單元n為緩衝週期之第一解碼單元時，m_b可設定為在解碼單元n之移除時間t_r,n(m)等於m。並非緩衝週期之第一解碼單元的解碼單元m之標稱移除時間t_r,n(m)可藉由下式給出：t_r,n(m)=t_r,n(m_b)+t_c * cpb_removal_delay(m) (C-9)

其中t_r,n(m_b)為當前緩衝週期之第一解碼單元的標稱移除時間，且cpb_removal_delay(m)為在與含有解碼單元m之存取單元相關聯之圖像時序SEI訊息中所指定的用於解碼單元m之cpb_removal_delay[i]之值。

可如下指定解碼單元m之移除時間：若low_delay_hrd_flag等於0或tr,n(m)>=taf(m)，則解碼單元n之移除時間可藉由下式指定：t_r(m)=t_r,n(m) (C-10)

否則(low_delay_hrd_flag等於1且t_r,n(m)<t_af(m))，解碼單元m之移除時間係藉由下式指定：t_r(m)=t_r,n(m)+t_c * Ceil((t_af(m)-t_r,n(m))÷t_c) (C-11)

後一狀況指示出解碼單元m之大小b(m)係如此大以致於其防止在標稱移除時間之移除。

當sub_pic_cpb_flag等於1時，存取單元n之標稱CPB移除時間t_r,n(n)可設定至存取單元n中之最後解碼單元的正常CPB移除時間，存取單元n之CPB移除時間t_r(n)可設定至存取單元n中之最後解碼單元的CPB移除時間。

在一些實例中，在解碼單元m之CPB移除時間，該解碼單元可被瞬時地解碼。

如下描述經解碼圖像緩衝器(DPB)之操作的一些實例。該經解碼圖像緩衝器可含有圖像儲存緩衝器。該等圖像儲存緩衝器中每一者可含有一經解碼圖像，該經解碼圖像被標記為「用於參考」或經保持以供未來輸出。在初始化之前，DPB可空白(DPB充滿度設定至零)。本發明之技術之此等實例的以下步驟可以所列出序列而發生。

如下描述圖像自經解碼圖像緩衝器(DPB)之移除的一些實例。在一些實例中，在當前圖像之解碼之前(但在剖析當前圖像之第一片段的片段標頭之後)圖像自DPB之移除可在存取單元n(含有當前圖像)之第一解碼單元的CPB移除時間瞬時地發生，且可進行如下。

可調用如在HEVC WD6之子條款8.3.2中所指定的用於參考圖像集合之解碼處理序。若當前圖像為瞬時解碼器再新(IDR)圖像，則以下內容可適用：

1.當IDR圖像並非經解碼之第一IDR圖像(例如，當無先前圖像輸出旗標具有不等於1之值時)且自作用中序列參數集合導出之pic_width_in_luma_samples(例如，亮度樣本中之圖像寬度)或 pic_height_in_luma_samples或max_dec_pic_buffering的值分別不同於自針對先前圖像處於作用中之序列參數集合導出之pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值時，no_output_of_prior_pics_flag可推斷為等於1或藉由HRD設定為等於1，而不管no_output_of_prior_pics_flag之實際值。相比於關於pic_width_in_luma_samples或pic_height_in_luma_samples之改變的HRD，解碼器實施可更從容地處置圖像或DPB大小改變。

2.當no_output_of_prior_pics_flag等於1或設定為或推斷為等於1時，可使DPB中之所有圖像儲存緩衝器空白而無其所含有之圖像的輸出，且DPB充滿度可設定至0。

可自DPB移除DPB中之所有圖像k(對於該等圖像，所有以下條件成立)：圖像k被標記為「未用於參考」；圖像k具有等於0之PicOutputFlag，或其DPB輸出時間小於或等於當前圖像n之第一解碼單元(被表示為解碼單元m)的CPB移除時間；亦即，t_o,dpb(k)<=tr(m)

當自DPB移除圖像時，DPB充滿度可遞減1。

如下描述圖像輸出之一些實例。以下情形可在存取單元n(含有當前圖像)之最後解碼單元(被表示為解碼單元m)的CPB移除時間t_r(m)瞬時地發生。圖像n可在該圖像之最後解碼單元被解碼之後被視為經解碼。

變數maxPicOrderCnt(對於最大圖像次序計數(POC))可設定為等於當前圖像及DPB中當前被標記為「用於短期參考」或具有大於tr(m)之DPB輸出時間之所有圖像之PicOrderCntVal(對於圖像次序計數(POC)值)值的最大值。變數minPicOrderCnt(對於最小圖像次序計數(POC))可設定為等於當前圖像及DPB中當前被標記為「用於短期參 考」或具有大於tr(m)之DPB輸出時間之所有圖像之PicOrderCntVal的最小值。以下內容可為位元串流一致性之要求：maxPicOrderCnt-minPicOrderCnt之值應小於MaxPicOrderCntLsb/2。

當圖像n具有等於1之PicOutputFlag時，其DPB輸出時間t_o,dpb(n)可藉由下式導出：t_o,dpb(n)=t_r(m)+t_c * dpb_output_delay(n) (C-12)

其中dpb_output_delay(n)為在與存取單元n相關聯之圖像時序SEI訊息中所指定的dpb_output_delay之值。可如下指定當前圖像之輸出：若PicOutputFlag等於1且t_o,dpb(n)=tr(m)，則當前圖像被輸出；否則，若PicOutputFlag等於0，則當前圖像未被輸出，但可儲存於DPB中，如下文進一步所指定；否則(PicOutputFlag等於1且t_o,dpb(n)>tr(m))，當前圖像稍後被輸出且將儲存於DPB中(如下文進一步所指定)，且在時間t_o,dpb(n)被輸出，除非被指示不會藉由等於1之no_output_of_prior_pics_flag的解碼或推斷在t_o,dpb(n)之前的時間被輸出。

當被輸出時，當前或選定圖像可使用在作用中序列參數集合中所指定之裁剪矩形予以裁剪，藉此基於選定圖像(亦即，當前圖像)來產生經裁剪圖像。當圖像n為被輸出且並非被輸出之位元串流之最後圖像的圖像時，△t_o,dpb(n)之值被定義為：△t_o,dpb(n)=t_o,dpb(n_n)-t_o,dpb(n) (C-13)

其中n_n指示在輸出次序方面跟隨在圖像n之後且具有等於1之PicOutputFlag的圖像。下文進一步提供提昇處理序及裁剪處理序之另外細節。

如下描述涉及當前經解碼圖像標記及儲存之一些實例。以下情形可在存取單元n(含有當前圖像)之最後解碼單元的CPB移除時間t_r(m) 瞬時地發生。當前經解碼圖像可在DPB中儲存於空白圖像儲存緩衝器中，且DPB充滿度可遞增1。若當前圖像為參考圖像，則其可被標記為「用於參考」，否則，其可被標記為「未用於參考」。

用於CPB行為模式之傳信的以下實例語法及語義係關於實例視訊編碼器20及/或視訊解碼器30而提供，視訊編碼器20及/或視訊解碼器30經組態尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。

如下描述用於CPB行為模式之傳信的語法及語義之一些實例。可藉由添加子圖像CPB旗標sub_pic_cpb_flag來改變視訊可用性資訊(VUI)參數之語法，如下表1所示：

在此實例中，相對於習知HEVC，表1包括附加旗標「sub_pic_cpb_flag」。此子圖像CPB旗標「sub_pic_cpb_flag」可用以 傳信提供至寫碼圖像緩衝器(CPB)之視訊資料集合是否包括用於子圖像解碼之子圖像參數。存在可由旗標「sub_pic_cpb_flag」傳信之此等子圖像參數可包括緩衝器移除時間，其包括用於一或多個解碼單元中每一者之各別緩衝器移除時間(亦即，CPB移除時間)。sub_pic_cpb_flag之語義的一實例係如下。等於0之語法元素sub_pic_cpb_flag可指定出CPB在存取單元層級處操作。等於1之語法元素sub_pic_cpb_flag可指定出CPB在可處於存取單元或存取單元子集之層級的解碼單元層級處操作，該等子集可對應於子圖像。當sub_pic_cpb_flag不存在時，其值可設定至推斷為等於0，此情形可指示視訊資料不包括用於子圖像解碼之子圖像參數的預設狀態。

如下描述用於解碼單元之CPB移除時間之傳信的語法及語義之一些實例。緩衝週期SEI訊息之語法可如在HEVC WD6中保持不變，而語法元素initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx]之語義可改變如下。在此實例中，語法元素initial_cpb_removal_delay[SchedSelIdx]可指定在到達時間與移除時間之間針對第SchedSelIdx個CPB之延遲，其中該到達時間為與存取單元中之第一解碼單元相關聯的經寫碼資料之第一位元在CPB中的到達時間，該存取單元係與緩衝週期SEI訊息相關聯，且該移除時間為針對在HRD初始化之後的第一緩衝週期與同一解碼單元相關聯之經寫碼資料自CPB的移除時間。此語法元素可具有藉由initial_cpb_removal_delay_length_minus1+1給出的以位元為單位之長度。此情形可指代90 kHz時脈之單位。在此實例中，此語法元素initial_cpb_removal_delay[SchedSelIdx]可不等於0，且可不超過90000 *(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，以90 kHz時脈為單位之CPB大小的時間等效者。

在此實例中，語法元素initial_cpb_removal_delay_ offset[SchedSelIdx]可結合語法元素cpb_removal_delay而用於第SchedSelIdx個CPB以指定解碼單元至CPB之初始遞送時間。此外，語法元素initial_cpb_removal_delay_offset[SchedSelIdx]可以90 kHz時脈為單位。initial_cpb_removal_delay_offset[SchedSelIdx]語法元素可為固定長度碼，其以位元為單位之長度係藉由initial_cpb_removal_delay_length_minus1+1給出。此語法元素可不由解碼器使用，且可僅為在HEVC WD6之AnnexC中所指定的遞送排程器(HSS)所需要。

在一些實例中，圖像時序SEI訊息之語法及語義可如下表2所示而改變：

在表2之實例中，pic_timing SEI訊息包括附加num_decoding_units_minus1信號，及遍及數個解碼單元之for循環(for loop)，其在VUI參數之sub_pic_cpb_flag(例如，根據上表1)成立時傳信解碼單元自經寫碼圖像緩衝器之各別移除延遲。以此方式，pic_timing SEI訊息可包括指示當VUI參數指示出CPB在解碼單元層級處操作時直至自經寫碼圖像緩衝器移除複數個解碼單元中每一者而等待之時脈刻度之數目的資訊。解碼單元之移除延遲可為針對每一解碼單元之以有效負載或其他資料單位為單位的相同延遲。在其他實例中，不同移除延遲可應用於不同解碼單元。在位元之數目相對於針對適用時脈之位元處理速率的隱式時間轉換之情況下，可在位元之數目 方面表達移除延遲。

圖像時序SEI訊息之語法可取決於序列參數集合之內容，該序列參數集合針對與圖像時序SEI訊息相關聯之經寫碼圖像處於作用中。然而，除非在瞬時解碼再新(IDR)存取單元之圖像時序SEI訊息之前的是同一存取單元內之緩衝週期SEI訊息，否則關聯序列參數集合之啟動(及，對於並非位元串流中之第一圖像的IDR圖像，經寫碼圖像為IDR圖像之判定)可直至經寫碼圖像之第一經寫碼片段網路抽象層(NAL)單元的解碼才發生。由於經寫碼圖像之經寫碼片段NAL單元在NAL單元次序方面跟隨圖像時序SEI訊息，故可存在以下狀況：有必要使解碼器儲存含有圖像時序SEI訊息之原始位元組序列有效負載(RBSP)，直至判定序列參數集合之將針對經寫碼圖像處於作用中的參數，且接著執行圖像時序SEI訊息之剖析。解碼器可以連續解碼次序將視訊資料之一或多個解碼單元儲存於圖像緩衝器中。

在一實例中，可如下指定圖像時序SEI訊息在位元串流中之存在：若CpbDpbDelaysPresentFlag等於1，則一個圖像時序SEI訊息可存在於經寫碼視訊序列之每一存取單元中。否則，CpbDpbDelaysPresentFlag等於0，且沒有圖像時序SEI訊息可存在於經寫碼視訊序列之任何存取單元中。

在此實例中，語法元素num_decoding_units_minus1加上1可指定在存取單元中與圖像時序SEI訊息相關聯之解碼單元的數目。當sub_pic_cpb_flag等於0時，語法元素num_decoding_units_minus1可不存在，且值可設定為或推斷為0。

在此實例中，語法元素cpb_removal_delay[i]可指定在自CPB移除存取單元中與圖像時序SEI訊息相關聯之第i解碼單元之前於存取單元中與先前存取單元中之最近緩衝週期SEI訊息相關聯的第一解碼單元自該CPB之移除之後將等待之時脈刻度的數目。此值亦可用以計算解 碼單元資料到達用於HSS之CPB的最早可能時間。語法元素可為固定長度碼，其以位元為單位之長度係藉由cpb_removal_delay_length_minus1+1給出。cpb_removal_delay[i]可為模數2^{(cpb_removal_delay_lengrh_minus1+1)}計數器之餘數。

判定語法元素cpb_removal_delay[i]之長度(以位元為單位)的cpb_removal_delay_length_minus1之值可為在針對與圖像時序SEI訊息相關聯之經寫碼圖像處於作用中之序列參數集合中寫碼的cpb_removal_delay_length_minus1之值。然而，cpb_removal_delay[i]可指定相對於在含有緩衝週期SEI訊息之先前存取單元中的第一解碼單元之移除時間的時脈刻度之數目，該先前存取單元可為不同經寫碼視訊序列之存取單元。

在此實例中，語法元素dpb_output_delay可用以計算圖像之DPB輸出時間。語法元素dpb_output_delay可指定在自DPB輸出經解碼圖像之前於存取單元中之最後解碼單元自CPB之移除之後將等待之時脈刻度的數目。

當圖像仍被標記為「用於短期參考」或「用於長期參考」時，可不在該圖像之輸出時間自DPB移除該圖像。僅一個dpb_output_delay可針對一經解碼圖像被指定。語法元素dpb_output_delay之長度可藉由dpb_output_delay_length_minus1+1以位元為單位而給出。當max_dec_pic_buffering[max_temporal_layers_minus1]等於0時，dpb_output_delay可等於0。

自係自輸出時序一致解碼器輸出之任何圖像之dpb_output_delay導出的輸出時間可在自在以解碼次序之任何後續經寫碼視訊序列中所有圖像之dpb_output_delay導出的輸出時間前。藉由此語法元素之值建立的圖像輸出次序可為與藉由PicOrderCnt( )之值建立之次序相同的次序。對於因為在解碼次序方面在no_output_of_prior_pics_flag等於1 或推斷為等於1之IDR圖像之前而未藉由「提昇」處理序輸出的圖像，自dpb_output_delay導出之輸出時間可隨著相對於同一經寫碼視訊序列內之所有圖像的PicOrderCnt( )之值增加而增加。在一替代性實例中，可指定可被稱為解碼單元時序SEI訊息之新SEI訊息(各自係與一解碼單元相關聯)，以輸送針對關聯解碼單元之CPB移除延遲。

以此方式，藉由實施實例定義、實例HRD操作、經寫碼圖像緩衝器之實例操作、位元串流到達之實例時序、解碼單元移除之實例時序、解碼單元之實例解碼、經解碼圖像緩衝器之實例操作、圖像自經解碼圖像緩衝器之實例移除、實例圖像輸出以及實例當前經解碼圖像標記及儲存與用於CPB行為模式之傳信之實例語法及語義的任何組合，視訊編碼器20及/或視訊解碼器30可經組態尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。

作為上文所描述之技術的替代例，可如下定義解碼單元：「存取單元或存取單元之子集。若SubPicCpbFlag等於0，則解碼單元為存取單元。否則，解碼單元包括存取單元中之一或多個VCL NAL單元及關聯非VCL NAL單元。對於存取單元中之第一VCL NAL單元，關聯非VCL NAL單元為在存取單元中且在第一VCL NAL單元及緊隨第一非VCL NAL單元之填充物資料NAL單元(若有的話)之前的所有非VCL NAL單元。對於並非存取單元中之第一VCL NAL單元的VCL NAL單元，關聯非VCL NAL單元為緊隨非VCL NAL單元之填充物資料NAL單元(若有的話)」。

在此實例中，可如下概述假設參考解碼器(HRD)操作。CPB大小(位元之數目)為CpbSize[SchedSelIdx]。用於時間層X之DPB大小(圖像 儲存緩衝器之數目)針對在0至max_temporal_layers_minus1(包括在內)之範圍內的每一X可為max_dec_pic_buffering[X]+1。變數SubPicCpbPreferredFlag可用作子圖像經寫碼圖像緩衝器較佳旗標，且可藉由外部方式指定，或在未藉由外部方式指定時設定至0。分離子圖像經寫碼圖像參數存在旗標sub_pic_cpb_params_present_flag可用以傳信是否可得到寫碼一或多個存取單元之子集所需要的參數。單一子圖像經寫碼圖像緩衝器旗標SubPicCpbFlag可指示子圖像經寫碼圖像緩衝器較佳旗標及子圖像經寫碼圖像參數存在旗標兩者為正抑或設定至1。視訊寫碼器可使用此子圖像經寫碼圖像緩衝器旗標SubPicCpbFlag以判定隨著自CPB移除視訊資料而寫碼視訊資料之存取單元抑或寫碼視訊資料之一或多個存取單元的子集，諸如，子圖像。

可如下導出變數SubPicCpbFlag：SubPicCpbFlag=SubPicCpbPreferredFlag && sub_pic_cpb_params_present_flag (C-1)

若SubPicCpbFlag等於0，則CPB可在存取單元層級處操作，且每一解碼單元可為一存取單元。否則，CPB可在子圖像層級處操作，且每一解碼單元可為一存取單元之子集。

視訊解碼器30/108可藉由判定出子圖像經寫碼圖像緩衝器較佳旗標(例如，SubPicCpbPreferredFlag)具有值0或判定出子圖像經寫碼圖像緩衝器參數存在旗標(例如，sub_pic_cpb_params_present_flag)具有值0來判定出一或多個解碼單元包含存取單元。

HRD(例如，視訊編碼器20及/或視訊解碼器30)可操作如下。與根據指定到達排程而流動至CPB中之解碼單元相關聯的資料可由HSS遞送。在一實例中，與每一解碼單元相關聯之資料可藉由瞬時解碼處理序在CPB移除時間瞬時地移除及解碼。每一經解碼圖像可置放於 DPB中。在DPB輸出時間之較遲時間或經解碼圖像變得不再為框間預測參考所需要之時間，可自DPB移除經解碼圖像。

可用真實值來進行本發明所描述之算術運算，使得不傳播捨位誤差。舉例而言，恰好在解碼單元之移除之前或之後的CPB中之位元的數目可未必為整數。

變數t_c可被導出如下，且被稱為時脈刻度：t_c=num_units_in_tick÷time_scale (C-1)

可指定以下內容以用於表達在本發明之技術之此實例中的約束：使存取單元n為以解碼次序之第n存取單元，其中第一存取單元為存取單元0；使圖像n為存取單元n之經寫碼圖像或經解碼圖像；使解碼單元m為以解碼次序之第m解碼單元，其中第一解碼單元為解碼單元0。

可如下定義經寫碼圖像緩衝器(CPB)之操作。此實例中之規範可獨立地應用於所存在之每一CPB參數集合，且應用於Type I一致性點及Type II一致性點兩者。

關於位元串流到達之時序，HRD可以緩衝週期SEI訊息中任一者予以初始化。在初始化之前，CPB可空白。在初始化之後，HRD可不再次藉由後續緩衝週期SEI訊息初始化。

每一存取單元可被稱為一各別存取單元n，其中數字n識別特定存取單元。與初始化CPB之緩衝週期SEI訊息相關聯的存取單元可被稱為存取單元0。n之值針對以解碼次序之每一後續存取單元可遞增1。

每一解碼單元可分別被稱為解碼單元m，其中數字m識別特定解碼單元。存取單元0中以解碼次序之第一解碼單元可被稱為解碼單元 0。m之值針對以解碼次序之每一後續解碼單元可遞增1。

在此實例中，若變數SubPicCpbFlag等於0，則變數InitCpbRemovalDelay[SchedSelIdx]可設定至關聯緩衝週期SEI訊息之initial_cpb_removal_delay[SchedSelIdx]，且InitCpbRemovalDelayOffset[SchedSelIdx]可設定至關聯緩衝週期SEI訊息之initial_cpb_removal_delay_offset[SchedSelIdx]。否則，變數InitCpbRemovalDelay[SchedSelIdx]可設定至關聯緩衝週期SEI訊息之initial_du_cpb_removal_delay[SchedSelIdx]，且InitCpbRemovalDelayOffset[SchedSelIdx]可設定至關聯緩衝週期SEI訊息之initial_du_cpb_removal_delay_offset[SchedSelIdx]。

解碼單元n之第一位元開始進入CPB的時間可被稱為初始到達時間t_ai(m)。可如下導出解碼單元之初始到達時間：若解碼單元為解碼單元0，則t_ai(0)=0；否則(解碼單元為解碼單元m，其中m>0)，以下內容可適用：若cbr_flag[SchedSelIdx]等於1，則用於解碼單元m之初始到達時間可等於存取單元m-1之最終到達時間(其在下文被導出)，亦即，t_ai(m)=t_af(m-1) (C-2)

否則(cbr_flag[SchedSelIdx]等於0)，用於解碼單元m之初始到達時間可藉由下式導出：t_ai(m)=Max(t_af(m-1),t_ai,earliest(m)) (C-3)

其中t_ai,earliest(m)可被導出如下：若解碼單元n並非後續緩衝週期之第一解碼單元，則t_ai,earliest(m)可被導出為：t_ai,earliest(m)=t_r,n(m)-(InitCpbRemovalDelay[SchedSelIdx]+InitCpbRemovalDelayOffset[SchedSelIdx])÷90000 (C-4)

其中t_r,n(m)為解碼單元m自CPB之標稱移除時間； 否則(解碼單元m為後續緩衝週期之第一解碼單元)，t_ai,earliest(m)可被導出為：t_ai,earliest(m)=t_r,n(m)-(InitCpbRemovalDelay[SchedSelIdx]÷90000) (C-5)用於解碼單元m之最終到達時間t_af可藉由下式導出：t_af(m)=t_ai(m)+b(m)÷BitRate[SchedSelIdx] (C-6)

其中b(m)為解碼單元m的以位元為單位之大小，其針對Type I一致性點而計數VCL NAL單元及填充物資料NAL單元之位元或針對Type II一致性點而計數Type II位元串流之所有位元。

在一些實例中，可如下約束SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之值：若用於含有解碼單元m之存取單元之作用中序列參數集合的內容與用於先前存取單元之作用中序列參數集合的內容不同，則HSS可自提供於用於含有解碼單元m之存取單元之作用中序列參數集合中的SchedSelIdx之值當中選擇SchedSelIdx之值SchedSelIdx1，該值SchedSelIdx1針對含有解碼單元m之存取單元引起BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[schedSelIdx1]之值可不同於針對在使用中用於先前存取單元之SchedSelIdx之值SchedSelIdx0的BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]之值。

否則，HSS可繼續用SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]之先前值而操作。

當HSS選擇不同於先前存取單元之值的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]之值時，以下內容可適用：變數BitRate[SchedSelIdx]可在時間t_ai(m)開始生效；變數CpbSize[SchedSelIdx]可開始生效如下： 若CpbSize[SchedSelIdx]之新值超過舊CPB大小，則其可在時間t_ai(m)開始生效；否則，CpbSize[SchedSelIdx]之新值可在含有解碼單元m之存取單元之最後解碼單元的CPB移除時間開始生效。

當變數SubPicCpbFlag等於1時，存取單元n之初始CPB到達時間t_ai(n)可設定至存取單元n中之第一解碼單元的初始CPB到達時間，且存取單元n之最終CPB到達時間t_af(n)可設定至存取單元n中之最後解碼單元的最終CPB到達時間。當SubPicCpbFlag等於0時，每一解碼單元可為一存取單元，使得存取單元n之初始及最終CPB到達時間可為解碼單元m之初始及最終CPB到達時間。

以下論述提供針對解碼單元之解碼單元移除及解碼之時序的實例。若SubPicCpbFlag等於0，則變數CpbRemovalDelay(m)可設定至在與為解碼單元m之存取單元相關聯之圖像時序SEI訊息中所指定的cpb_removal_delay之值。否則，變數CpbRemovalDelay(m)可設定至在與含有解碼單元m之存取單元相關聯之圖像時序SEI訊息中所指定的用於解碼單元m之du_cpb_removal_delay[i]之值。

當解碼單元m為m等於0之解碼單元(初始化HRD的存取單元之第一解碼單元)時，該解碼單元自CPB之標稱移除時間可藉由下式指定：t_r,n(0)=InitCpbRemovalDelay[SchedSelIdx]÷90000 (C-7)

當解碼單元m為並不初始化HRD的緩衝週期之第一存取單元之第一解碼單元時，該解碼單元自CPB之標稱移除時間可藉由下式指定：t_r,n(m)=t_r,n(m_b)+t_c * CpbRemovalDelay(m) (C-8)

其中t_r,n(m_b)為先前緩衝週期之第一解碼單元的標稱移除時間。

當解碼單元m為緩衝週期之第一解碼單元時，m_b可設定為在解碼單元m之移除時間t_r,n(m)等於m。

並非緩衝週期之第一解碼單元的解碼單元m之標稱移除時間t_r,n(m)可藉由下式給出：t_r,n(m)=t_r,n(m_b)+t_c * CpbRemovalDelay(m) (C-9)

其中t_r,n(m_b)為當前緩衝週期之第一解碼單元的標稱移除時間。

可如下指定解碼單元m之移除時間：若low_delay_hrd_flag等於0或t_r,n(m)>=taf(m)，則解碼單元m之移除時間可藉由下式指定：t_r(m)=t_r,n(m) (C-10)

否則(low_delay_hrd_flag等於1且tr,n(m)<taf(m))，且解碼單元m之移除時間可藉由下式指定：t_r(m)=t_r,n(m)+t_c * Ceil((t_af(m)-t_r,n(m))÷t_c) (C-11)

在此實例中，後一狀況指示出解碼單元m之大小b(m)係如此大以致於其防止在標稱移除時間之移除。

當SubPicCpbFlag等於1時，存取單元n之標稱CPB移除時間t_r,n(n)可設定至存取單元n中之最後解碼單元的正常CPB移除時間；存取單元n之CPB移除時間t_r(n)可設定至存取單元n中之最後解碼單元的CPB移除時間。當SubPicCpbFlag等於0時，在此實例中，每一解碼單元m為一存取單元n，且因此，存取單元n之標稱CPB移除時間及CPB移除時間為解碼單元m之標稱CPB移除時間及CPB移除時間。在一些實例中，在解碼單元m之CPB移除時間，解碼單元可被瞬時地解碼。

在此實例中，經解碼圖像緩衝器(DPB)可操作如下。該經解碼圖像緩衝器可含有一或多個圖像儲存緩衝器。該等圖像儲存緩衝器中每一者可含有一經解碼圖像，該經解碼圖像被標記為「用於參考」或經保持以供未來輸出。在初始化之前，DPB可空白(DPB充滿度變數可設定至零)。此實例之以下步驟可以所列出序列而發生。

首先，可自DPB移除圖像。在當前圖像之解碼之前(但在剖析當 前圖像之第一片段的片段標頭之後)圖像自DPB之移除可在存取單元n(含有當前圖像)之第一解碼單元的CPB移除時間瞬時地發生，且可進行如下。可調用如在HEVC WD6之子條款8.3.2中所指定的用於參考圖像集合之解碼處理序。若當前圖像為IDR圖像，則以下內容可適用：當IDR圖像並非經解碼之第一IDR圖像且自作用中序列參數集合導出之pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值分別不同於自針對先前圖像處於作用中之序列參數集合導出之pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值時，no_output_of_prior_pics_flag(亦即，無先前圖像輸出旗標)可由HRD推斷為等於1，或由HRD設定至1以用於其自己的處理，而不管no_output_of_prior_pics_flag之實際值。相比於關於pic_width_in_luma_samples或pic_height_in_luma_samples之改變的HRD，解碼器實施可嘗試更從容地處置圖像或DPB大小改變。

當no_output_of_prior_pics_flag等於1或推斷為等於1時，可使DPB中之所有圖像儲存緩衝器空白而無其所含有之圖像的輸出，且DPB充滿度可設定至0。(下文進一步描述在no_output_of_prior_pics_flag具有不等於1之值時可執行的進一步處理)。可自DPB移除DPB中之所有圖像k(對於該等圖像，以下條件成立)：圖像k被標記為「未用於參考」；圖像k具有等於0之PicOutputFlag，或其DPB輸出時間小於或等於當前圖像n之第一解碼單元(被表示為解碼單元m)的CPB移除時間；亦即，t_o,dpb(k)<=t_r(m)。

當自DPB移除圖像時，DPB充滿度可遞減1。對於圖像輸出，以下情形可在存取單元n之CPB移除時間tr(n)瞬時地發生：圖像n可在該圖像之最後解碼單元被解碼之後被視為經解碼。

當圖像n具有等於1之PicOutputFlag時，其DPB輸出時間to,dpb(n)可藉由下式導出：t_o,dpb(n)=t_r(n)+t_c * dpb_output_delay(n) (C-12)

其中dpb_output_delay(n)為在與存取單元n相關聯之圖像時序SEI訊息中所指定的dpb_output_delay之值。

可如下指定當前圖像之輸出：若PicOutputFlag等於1且to,dpb(n)=tr(n)，則當前圖像可被輸出；否則，若PicOutputFlag等於0，則當前圖像可未被輸出，但可儲存於DPB中；否則(PicOutputFlag等於1且t_o,dpb(n)>tr(n))，當前圖像可稍後被輸出且可儲存於DPB中(如在如由本發明修改的HEVC WD6之子條款C.3.3中所指定)，且可在時間t_o,dpb(n)被輸出，除非被指示不會藉由等於1之no_output_of_prior_pics_flag的解碼或推斷在t_o,dpb(n)之前的時間被輸出。換言之，若無先前圖像輸出旗標不等於1，則當前圖像可儲存於DPB中且可稍後(例如，在時間t_o,dpb(n))被輸出。

當被輸出時，圖像可使用在作用中序列參數集合中所指定之裁剪矩形予以裁剪。

當圖像n為被輸出且並非被輸出之位元串流之最後圖像的圖像時，可如下定義DPB輸出時間區間△to,dpb(n)之值：△t_o,dpb(n)=t_o,dpb(n_n)-t_o,dpb(n) (C-13)

其中n_n可指示在輸出次序方面跟隨在圖像n之後且具有等於1之PicOutputFlag的圖像，使得DPB輸出時間區間△to,dpb(n)可被定義為在輸出次序方面在圖像n之後的後續圖像之DPB輸出時間與圖像n之DPB輸出時間之間的差。

對於當前經解碼圖像標記及儲存，以下情形可在存取單元n之 CPB移除時間tr(n)被瞬時地實施：當前經解碼圖像可在DPB中儲存於空白圖像儲存緩衝器中，且DPB充滿度可遞增1；若當前圖像為參考圖像，則其可被標記為「用於參考」，否則，其可被標記為「未用於參考」。

對於DPB之輸出次序的操作，經解碼圖像緩衝器可含有一或多個圖像儲存緩衝器。該等圖像儲存緩衝器中每一者可含有一經解碼圖像，該經解碼圖像被標記為「用於參考」或經保持以供未來輸出。在HRD初始化時，DPB可空白。以下步驟可以所列出次序而發生。

可如下自DPB移除圖像。在當前圖像之解碼之前(但在剖析當前圖像之第一片段的片段標頭之後)圖像自DPB之移除可在自CPB移除含有當前圖像之存取單元的第一解碼單元時被瞬時地實施，且可進行如下。

可調用如在如根據本發明而修改的HEVC WD6之子條款8.3.4.3中所指定的用於參考圖像集合之解碼處理序(如上文部分地所描述，且如下進一步所描述)。

若當前圖像為IDR圖像，則以下內容可適用：當IDR圖像並非經解碼之第一IDR圖像且自作用中序列參數集合所導出之pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值分別不同於自針對先前圖像處於作用中之序列參數集合導出之pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值時，no_output_of_prior_pics_flag可由HRD設定為或推斷為等於1，而不管no_output_of_prior_pics_flag之實際值。相比於HRD，解碼器實施可嘗試更從容地處置pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering之值的改變；當no_output_of_prior_pics_flag等於1或推斷為等於1時，可使 DPB中之所有圖像儲存緩衝器空白而無其所含有之圖像的輸出；否則，可使含有被標記為「無需用於輸出」及「未用於參考」之圖像的圖像儲存緩衝器空白(無輸出)。

當以下條件中任一者成立時，可重複地調用如藉由本發明而修改的HEVC WD6之子條款C.5.2.1中所指定的「提昇」處理序，直至存在空白圖像儲存緩衝器來儲存當前經解碼圖像：DPB中被標記為「需要用於輸出」之圖像的數目大於在當前時間層處之重新排序圖像的數目，亦即，num_reorder_pics[temporal_id]；或DPB中時間層識別符值temporal_id低於或等於當前圖像之時間層識別符值temporal_id之圖像的數目等於當前時間層之最大圖像緩衝值加上1，亦即，max_dec_pic_buffering[temporal_id]+1；或當當前圖像為IDR圖像時，對於該圖像，無先前圖像輸出旗標no_output_of_prior_pics_flag具有不等於1且未推斷為等於1之值。

可執行以下步驟：可使含有被標記為「無需用於輸出」及「未用於參考」之圖像的圖像儲存緩衝器空白(無輸出)；及可藉由重複地調用下文所指定之「提昇」處理序而使DPB中之所有非空白圖像儲存緩衝器空白。

因此，可在以下狀況中任一者下調用「提昇」處理序：當前圖像為IDR圖像且no_output_of_prior_pics_flag不等於1且未設定為或推斷為等於1，如在如藉由本發明而修改的HEVC WD6之子條款C.5.2中所指定；或DPB中被標記為「需要用於輸出」之圖像的數目大於在當前時間層處之重新排序圖像的數目，亦即，num_reorder_pics[temporal_id]，如在如藉由本發明而修改的HEVC WD6之子條款C.5.2中所指定；或DPB中temporal_id低於或等於當前圖像之時間層識別符值 temporal_id之圖像的數目等於當前時間層之最大圖像緩衝值加上1，亦即，max_dec_pic_buffering[temporal_id]+1，如在如藉由本發明而修改的HEVC WD6之子條款C.5.2中所指定。

「提昇」處理序可包括以下有序步驟：

1.可選擇首先用於輸出之圖像作為具有在DPB中被標記為「需要用於輸出」之所有圖像之PicOrderCntVal之最小值的圖像。

2.使用在用於圖像之作用中序列參數集合中所指定的裁剪矩形來裁剪圖像，可輸出經裁剪圖像，且可將該圖像標記為「無需用於輸出」。

3.若包括被裁剪及輸出之圖像的圖像儲存緩衝器含有被標記為「未用於參考」之圖像，則可使該圖像儲存緩衝器空白。

當自CPB移除含有當前圖像之存取單元n的最後解碼單元時，以下情形可針對圖像解碼、標記及儲存瞬時地發生。

當前圖像可在該圖像之最後解碼單元被解碼之後被視為經解碼。當前經解碼圖像可在DPB中儲存於空白圖像儲存緩衝器中，且以下內容可適用：若當前經解碼圖像具有等於1之PicOutputFlag，則其可被標記為「需要用於輸出」；否則(當前經解碼圖像具有等於0之PicOutputFlag)，其可被標記為「無需用於輸出」。

若當前經解碼圖像為參考圖像，則其可被標記為「用於參考」，否則(當前經解碼圖像為非參考圖像)，其可被標記為「未用於參考」。

因此，提昇處理序可包括：選擇DPB中具有圖像之最小圖像次序計數(POC)值且被標記為需要用於輸出的圖像作為選定圖像；如用於選定圖像之作用中序列參數集合中所指定而裁剪選定圖像，藉此基於 選定圖像來產生經裁剪圖像；輸出經裁剪圖像；及將選定圖像標記為無需用於輸出。

在使用下文所定義之語義的情況下，可使用語法元素以傳信CPB行為模式。VUI參數之語法及語義可改變為如下表3所示(在此實例中，現有語法元素之語義並未相對於HEVC WD6而改變)：

在表3之實例中，相對於習知HEVC，VUI參數包括附加旗標sub_pic_cpb_params_present_flag。可如下定義用於此旗標之語義：等於1之sub_pic_cpb_params_present_flag可指定出子圖像層級CPB移除延遲參數存在，且CPB可在存取單元層級或子圖像層級處操作。等於0之變數sub_pic_cpb_flag可指定出子圖像層級CPB移除延遲參數不存在，且CPB必須在存取單元層級處操作。當sub_pic_cpb_params_present_flag不存在時，其值可設定為或推斷為等於0。

在使用下文所描述之語義的情況下，亦可使用語法元素以傳信解碼單元之CPB移除時間。在此實例中，可(例如)根據表4之實例而在緩衝週期SEI訊息中傳信語法元素：

在表4之實例中，緩衝週期SEI訊息相對於習知HEVC包括附加條件，其進一步包括：當sub_pic_cpb_flag成立時，添加兩個語法元素initial_du_cpb_removal_delay[SchedSelIdx]及initial_du_cpb_removal_delay_offset[SchedSelIdx]。此條件及附加語法元素可添加於針對以下情形之條件中任一者或兩者內：當NalHrdBpPresentFlag成立時，及/或當VclHardBpPresentFlag成立時。

表5提供一替代性實例，其中定義不同SEI訊息以傳信用於子圖像層級CPB操作之初始CPB移除延遲及初始CPB移除延遲偏移：

在上表4之實例中，當NalHrdBpPresentFlag或 VclHrdBpPresentFlag等於1時，一緩衝週期SEI訊息可與位元串流中之任何存取單元相關聯，且一緩衝週期SEI訊息可與每一IDR存取單元、每一CRA存取單元及與一復原點SEI訊息相關聯之每一存取單元相關聯。對於一些應用，緩衝週期SEI訊息之頻繁存在可合乎需要。在一些實例中，在緩衝週期SEI訊息之以解碼次序的兩個執行個體之間，一緩衝週期可被指定為存取單元集合。

在上表4及5之實例中，變數seq_parameter_set_id可指定含有序列HRD屬性之序列參數集合。seq_parameter_set_id之值可等於由與緩衝週期SEI訊息相關聯之主要經寫碼圖像參考的圖像參數集合中之seq_parameter_set_id的值。在一些實例中，seq_parameter_set_id之值可在0至31(包括在內)之範圍內。

在上表4之實例中，initial_cpb_removal_delay[SchedSelIdx]可指定在到達時間與移除時間之間針對第SchedSelIdx個CPB之延遲，其中該到達時間為與存取單元相關聯之經寫碼資料之第一位元在CPB中的到達時間，該存取單元係與緩衝週期SEI訊息相關聯，且該移除時間為針對在HRD初始化之後的第一緩衝週期與同一存取單元相關聯之經寫碼資料自CPB的移除時間。此語法元素可具有藉由initial_cpb_removal_delay_length_minus1+1給出的以位元為單位之長度。在此實例中，其可以90 kHz時脈為單位。在此實例中，語法元素initial_cpb_removal_delay[SchedSelIdx]可不等於0，且在此實例中，可不超過90000 *(CpbSize[SchedSelIdx]□BitRate[SchedSelIdx])，以90 kHz時脈為單位之CPB大小的時間等效者。

在上表4之實例中，語法元素initial_cpb_removal_delay_offset[SchedSelIdx]可結合cpb_removal_delay而用於第SchedSelIdx個CPB以指定經寫碼存取單元至CPB之初始遞送時間。在此實例中，語法元素initial_cpb_removal_delay_offset[SchedSelIdx]可以90 kHz時脈 為單位。initial_cpb_removal_delay_offset[SchedSelIdx]語法元素可為固定長度碼，其以位元為單位之長度係藉由initial_cpb_removal_delay_length_minus1+1給出。此語法元素可不由解碼器使用，且可僅為在HEVC WD6之Annex C中所指定的遞送排程器(HSS)所需要。遍及整個經寫碼視訊序列，initial_cpb_removal_delay[SchedSelIdx]與initial_cpb_removal_delay_offset[SchedSelIdx]之總和針對SchedSelIdx之每一值可恆定。

在上表4及5之實例中，語法元素initial_du_cpb_removal_delay[SchedSelIdx]可指定在到達時間與移除時間之間針對第SchedSelIdx個CPB之延遲，其中該到達時間為與存取單元中之第一解碼單元相關聯之經寫碼資料之第一位元在CPB中的到達時間，該存取單元係與緩衝週期SEI訊息相關聯，且該移除時間為針對在HRD初始化之後的第一緩衝週期與同一解碼單元相關聯之經寫碼資料自CPB的移除時間。此語法元素可具有藉由initial_cpb_removal_delay_length_minus1+1給出的以位元為單位之長度。在此實例中，此語法元素可以90 kHz時脈為單位。在此實例中，語法元素initial_du_cpb_removal_delay[SchedSelIdx]可不等於0，且可不超過90000 *(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，以90 kHz時脈為單位之CPB大小的時間等效者。

在上表4及5之實例中，語法元素initial_du_cpb_removal_delay_offset[SchedSelIdx]可結合cpb_removal_delay而用於第SchedSelIdx個CPB以指定解碼單元至CPB之初始遞送時間。在此實例中，語法元素initial_cpb_removal_delay_offset[SchedSelIdx]可以90 kHz時脈為單位。initial_du_cpb_removal_delay_offset[SchedSelIdx]語法元素可為固定長度碼，其以位元為單位之長度係藉由initial_cpb_removal_delay_length_minus1+1給出。在此實例中，此語 法元素可不由解碼器使用，且可僅為在HEVC WD6之Annex C中所指定的遞送排程器(HSS)所需要。

遍及整個經寫碼視訊序列，initial_du_cpb_removal_delay[SchedSelIdx]與initial_du_cpb_removal_delay_offset[SchedSelIdx]之總和針對SchedSelIdx之每一值可恆定。

下表6提供實例圖像時序SEI訊息語法：

在此實例中，圖像時序SEI訊息包括針對sub_pic_cpb_flag之附加條件語句，該條件語句在成立時傳信num_decoding_units_minus1語法元素及for循環，該for循環針對解碼單元中每一者傳信對應numb_nalus_in_du_minus1及du_cpb_removal_delay。或者，NAL單元至每一解碼單元之映射可使用其他方式予以傳信，例如，藉由包括用於每一VCL NAL單元之解碼單元ID，例如，在NAL單元標頭、片段標頭或新SEI訊息中。用於每一非VCL NAL單元之解碼ID可與關聯VCL NAL單元相同。

在表6之實例中的圖像時序SEI訊息之語法可取決於針對與圖像時序SEI訊息相關聯之經寫碼圖像處於作用中之序列參數集合的內容。然而，除非在IDR存取單元之圖像時序SEI訊息之前的是同一存 取單元內之緩衝週期SEI訊息，否則關聯序列參數集合之啟動(及，對於並非位元串流中之第一圖像的IDR圖像，經寫碼圖像為IDR圖像之判定)可直至經寫碼圖像之第一經寫碼片段NAL單元的解碼才發生。由於經寫碼圖像之經寫碼片段NAL單元可在NAL單元次序方面跟隨圖像時序SEI訊息，故可存在以下狀況：解碼器儲存含有圖像時序SEI訊息之RBSP，直至判定序列參數之將針對經寫碼圖像處於作用中的參數，且接著執行圖像時序SEI訊息之剖析。

按照表6之實例，可如下指定圖像時序SEI訊息在位元串流中之存在。

若CpbDpbDelaysPresentFlag等於1，則一個圖像時序SEI訊息可存在於經寫碼視訊序列之每一存取單元中；否則(CpbDpbDelaysPresentFlag等於0)，沒有圖像時序SEI訊息需要存在於經寫碼視訊序列之任何存取單元中。

變數cpb_removal_delay可指定在自緩衝器移除與圖像時序SEI訊息相關聯之存取單元資料之前於與先前存取單元中之最近緩衝週期SEI訊息相關聯的存取單元自CPB之移除之後將等待之時脈刻度的數目(參見HEVC WD6之子條款E.2.1)。此值亦可用以計算存取單元資料進入用於HSS之CPB的最早可能時間，如在HEVC WD6之Annex C中所指定。該語法元素可為固定長度碼，其以位元為單位之長度係藉由cpb_removal_delay_length_minus1+1給出。cpb_removal_delay可為模數2(cpb_removal_delay_length_minus1+1)計數器之餘數。判定語法元素cpb_removal_delay之長度(以位元為單位)的cpb_removal_delay_length_minus1之值可為在針對與圖像時序SEI訊息相關聯之主要經寫碼圖像處於作用中之序列參數集合中寫碼的cpb_removal_delay_length_minus1之值。然而，cpb_removal_delay可指定相對於含有緩衝週期SEI訊息之先前存取單元之移除時間的時脈 刻度之數目，該先前存取單元可為不同經寫碼視訊序列之存取單元。

變數dpb_output_delay可用以計算圖像之DPB輸出時間。此變數可指定在自DPB輸出經解碼圖像之前於存取單元中之最後解碼單元自CPB之移除之後將等待之時脈刻度的數目(參見HEVC WD6之子條款C.2)。在此實例中，當圖像仍被標記為「用於短期參考」或「用於長期參考」時，可不在該圖像之輸出時間自DPB移除該圖像。在此實例中，僅一個dpb_output_delay變數可針對一經解碼圖像被指定。

語法元素dpb_output_delay之長度可藉由dpb_output_delay_length_minus1+1以位元為單位而給出。當max_dec_pic_buffering[max_temporal_layers_minus1]等於0時，dpb_output_delay亦可等於0。

自係自輸出時序一致解碼器(如在如藉由本發明而修改的HEVC WD6之子條款C.2中所指定)輸出之任何圖像之dpb_output_delay導出的輸出時間可在自在以解碼次序之任何後續經寫碼視訊序列中所有圖像之dpb_output_delay導出的輸出時間之前。

藉由此語法元素之值建立的圖像輸出次序可為與藉由PicOrderCnt( )之值(如藉由HEVC WD6之子條款C.5所指定)建立之次序相同的次序。

對於因為在解碼次序方面在no_output_of_prior_pics_flag等於1或設定為或推斷為等於1之IDR圖像之前而未藉由如藉由本發明而修改的HEVC WD6之子條款C.5的「提昇」處理序輸出的圖像，自dpb_output_delay導出之輸出時間可隨著相對於同一經寫碼視訊序列內之所有圖像的PicOrderCnt( )之值增加而增加。

變數num_decoding_units_minus1加上1可指定在存取單元中與圖像時序SEI訊息相關聯之解碼單元的數目。舉例而言，num_decoding_units_minus1之值可在0至X(包括在內)之範圍內。

變數num_nalus_in_du_minus1[i]加上1可指定在存取單元之第i解碼單元中與圖像時序SEI訊息相關聯之NAL單元的數目。舉例而言，num_nalus_in_du_minus1[i]之值可在0至X(包括在內)之範圍內。

存取單元之第一解碼單元可包括存取單元中以解碼次序之最初num_nalus_in_du_minus1[0]+1個接連NAL單元。存取單元之第i(其中i大於0)解碼單元可包括在解碼次序方面緊隨存取單元之先前解碼單元中之最後NAL單元的num_nalus_in_du_minus1[i]+1個接連NAL單元。舉例而言，在每一解碼單元中可存在至少一VCL NAL單元。

變數du_cpb_removal_delay[i]可指定在自CPB移除存取單元中與圖像時序SEI訊息相關聯之第i解碼單元之前於存取單元中與先前存取單元中之最近緩衝週期SEI訊息相關聯的第一解碼單元自CPB之移除之後將等待之時脈刻度的數目(參見HEVC WD6之子條款E.2.1)。此值亦可用以計算解碼單元資料進入用於HSS之CPB的最早可能時間，如在HEVC WD6之Annex C中所指定。該語法元素可為固定長度碼，其以位元為單位之長度可藉由cpb_removal_delay_length_minus1+1給出。du_cpb_removal_delay[i]可為模數2(cpb_removal_delay_length_minus1+1)計數器之餘數。判定語法元素du_cpb_removal_delay[i]之長度(以位元為單位)的cpb_removal_delay_length_minus1之值可為在針對與圖像時序SEI訊息相關聯之經寫碼圖像處於作用中之序列參數集合中寫碼的cpb_removal_delay_length_minus1之值。然而，du_cpb_removal_delay[i]指定相對於在含有緩衝週期SEI訊息之先前存取單元中的第一解碼單元之移除時間的時脈刻度之數目，該先前存取單元可為不同經寫碼視訊序列之存取單元。

圖2為說明可實施如本發明所描述之技術之視訊編碼器20之實例的方塊圖，該等技術尤其涉及：將視訊資料之一或多個解碼單元儲存 於圖像緩衝器中；獲得用於一或多個解碼單元之各別緩衝器移除時間；根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元；及寫碼對應於經移除解碼單元之視訊資料。視訊編碼器20可執行視訊圖框內之區塊的框內及框間寫碼，該等區塊包括寫碼單元(CU)，或CU之子CU。框內寫碼依賴於空間預測來縮減或移除給定視訊圖框內之視訊的空間冗餘。框間寫碼依賴於時間預測來縮減或移除視訊序列之鄰近圖框內之視訊的時間冗餘。框內模式(I模式)可指代若干以空間為基礎之壓縮模式中任一者，且諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指代若干以時間為基礎之壓縮模式中任一者。儘管圖2中描繪用於框間模式編碼之一些組件，但應理解，視訊編碼器20可進一步包括用於框內模式編碼之組件，諸如，框內預測單元46。圖2中出於簡要及清楚起見而未說明亦可被包括之額外組件。

如圖2所示，視訊編碼器20接收包括在待編碼視訊圖框內之當前視訊區塊的視訊區塊。在圖2之實例中，視訊編碼器20包括運動補償單元44、運動估計單元42、參考圖像記憶體64、求和器50、變換單元52、量化單元54、熵編碼單元56、緩衝器90及經寫碼圖像緩衝器92。對於視訊區塊重新建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。

在編碼處理序期間，視訊編碼器20接收待寫碼視訊圖框或片段。可將該圖框或片段劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼以提供時間壓縮。框內預測單元46亦可相對於與待寫碼區塊相同之圖框或片段中的一或多個相鄰區塊來執行經接收視訊區塊之框內預測性寫碼以提供空間壓縮。

模式選擇單元40可(例如)基於誤差結果來選擇寫碼模式(框內或 框間)中之一者，且可將所得經框內寫碼或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料且將所得經框內寫碼或經框間寫碼區塊提供至求和器62以重新建構經編碼區塊以用作參考圖框。

運動估計單元42與運動補償單元44可高度地整合，但出於概念上目的而被分離地說明。運動估計為產生運動向量之處理序，該等運動向量估計用於視訊區塊之運動。舉例而言，運動向量可指示在預測性參考圖框(或其他經寫碼單元)內之預測性區塊相對於在當前圖框(或其他經寫碼單元)內正被寫碼之當前區塊的位移。預測性區塊為在像素差方面被發現接近地匹配於待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度予以判定。運動向量亦可指示巨集區塊之分割區的位移。運動補償可涉及基於藉由運動估計而判定之運動向量來獲取或產生預測性區塊。如所提到，在一些實例中，運動估計單元42與運動補償單元44可功能上整合。

在框間寫碼之狀況下，運動估計單元42藉由比較經框間寫碼圖框之視訊區塊與參考圖像記憶體64中之參考圖框的視訊區塊來計算用於經框間寫碼圖框之視訊區塊的運動向量。運動補償單元44亦可內插參考圖框(例如，I圖框或P圖框)之次整數像素。作為一實例，可自兩個參考圖框清單預測運動向量：清單0，其包括顯示次序早於正被編碼之當前圖框之顯示次序的參考圖框；及清單1，其包括顯示次序遲於正被編碼之當前圖框之顯示次序的參考圖框。因此，可根據此兩個參考圖框清單來組織儲存於參考圖像記憶體64中之資料。

運動估計單元42比較來自參考圖像記憶體64之一或多個參考圖框的區塊與當前圖框(例如，P圖框或B圖框)之待編碼區塊。當參考圖像記憶體64中之參考圖框包括次整數像素之值時，由運動估計單元42計算之運動向量可指代參考圖框之次整數像素位置。運動估計單元42及/或運動補償單元44亦可經組態以在次整數像素位置之值未儲存於 參考圖像記憶體64中時計算儲存於參考圖像記憶體64中之參考圖框之次整數像素位置的值。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。藉由運動向量識別之參考圖框區塊可被稱為預測性區塊。

運動補償單元44可基於預測性區塊來計算預測資料。視訊編碼器20藉由自正被寫碼之原始視訊區塊減去由運動補償單元44提供之預測資料來形成殘餘視訊區塊。求和器50表示執行此減法運算之組件。變換單元52將諸如離散餘弦變換(DCT)或概念上相似變換之變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換單元52可執行其他變換，諸如，由H.264標準定義之變換，其概念上相似於DCT。作為其他實例，變換單元52可執行小波變換、整數變換、次頻帶變換，或其他類型之變換。變換單元52將該變換應用於殘餘區塊，從而產生殘餘變換係數區塊。該變換可將殘餘資訊自像素值域轉換至變換域，諸如，頻域。量化單元54量化殘餘變換係數以進一步縮減位元速率。量化處理序可縮減與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。

在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行內容自調適性可變長度寫碼(CAVLC)、上下文自調適性二進位算術寫碼(CABAC)、機率區間分割熵寫碼(PIPE)，或另一熵寫碼技術。在由熵編碼單元56進行之熵寫碼之後，經編碼視訊資料可或多或少地在時間上緩衝或儲存於經寫碼圖像緩衝器92中、傳輸至另一器件，及/或經封存以供稍後傳輸或擷取。在上下文自調適性二進位算術寫碼之狀況下，上下文可基於相鄰巨集區塊。

在一些狀況下，除了熵寫碼以外，視訊編碼器20之熵編碼單元56或另一單元可經組態以亦執行其他寫碼功能。舉例而言，熵編碼單元56可經組態以判定巨集區塊及分割區之經寫碼區塊型樣(CBP)值。 又，在一些狀況下，熵編碼單元56可執行最大寫碼單元(LCU)或LCU之子CU中之係數的延行長度寫碼。詳言之，熵編碼單元56可應用曲折掃描(zigzag scan)或其他掃描樣式以掃描LCU或分割區中之變換係數，且編碼為零之延行以供進一步壓縮。視訊編碼器20之熵編碼單元56及/或其他元件亦可自經編碼視訊資料形成解碼單元。舉例而言，該等解碼單元可為子圖像，諸如，一樹區塊序列、一或多個片段、一或多個波，及/或一或多個影像塊。視訊編碼器20之熵編碼單元56及/或其他元件亦可添加用於具有不同大小之子圖像的填補資料以達成位元組對準。熵編碼單元56亦可用適當語法元素來建構標頭資訊以供在經編碼視訊位元串流中傳輸。舉例而言，標頭資訊可包括指示解碼單元為存取單元抑或子存取單元之傳信資料。此傳信資料可包括傳信在HRD參數中傳信的子圖像經寫碼圖像緩衝器較佳旗標之值。舉例而言，視訊編碼器20之熵編碼單元56及/或其他元件亦可添加語法元素，諸如，緩衝週期SEI訊息、傳信VUI參數、指示針對各種子圖像之入口點的傳信資料，及/或用於解碼單元之緩衝器移除時間。

反量化單元58及反變換單元60分別應用反量化及反變換，以在像素域中重新建構殘餘區塊，例如，以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重新建構殘餘區塊，以計算供運動估計中使用之次整數像素值。求和器62將經重新建構殘餘區塊加至由運動補償單元44產生之經運動補償預測區塊，以產生供儲存於參考圖像記憶體64中之經重新建構視訊區塊。經重新建構視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。

參考圖像記憶體64可包括緩衝器90。緩衝器90可為或包括資料儲存器件或包括於資料儲存器件中，諸如，能夠儲存資料之任何永久 性或揮發性記憶體，諸如，同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)，或靜態隨機存取記憶體(SRAM)。緩衝器90可包括圖像緩衝器及/或經解碼圖像緩衝器，且可根據本發明所描述之實例經寫碼圖像緩衝器及/或經解碼圖像緩衝器行為的任何組合而操作。舉例而言，視訊編碼器20可使用緩衝器90來執行經解碼區塊型樣(DPB)管理，及/或根據本發明之技術來執行經寫碼圖像緩衝器92之經寫碼區塊型樣(CPB)管理。

經寫碼圖像緩衝器92可為或包括資料儲存器件或包括於資料儲存器件中，諸如，能夠儲存資料之任何永久性或揮發性記憶體，諸如，同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)，或靜態隨機存取記憶體(SRAM)。儘管經寫碼圖像緩衝器92被展示為形成視訊編碼器20之部分，但在一些實例中，經寫碼圖像緩衝器92可形成在視訊編碼器20外部之器件、單元或模組的部分。舉例而言，經寫碼圖像緩衝器92可形成在視訊編碼器20外部之串流排程器單元(或遞送排程器或假設串流排程器(HSS))的部分。視訊編碼器20可自經編碼視訊資料形成解碼單元，且將解碼單元提供至串流排程器單元。在一些實例中，視訊編碼器20可形成具有變化數目個位元或變化數目個區塊之解碼單元。串流排程器單元可實施本發明之技術以在可藉由所獲得(例如，經傳信)緩衝器移除時間指示之時間將解碼單元發送至視訊解碼器以供解碼，該等解碼單元包括子圖像，諸如，一樹區塊序列、一或多個片段、一或多個波，及/或一或多個影像塊。在一些實例中，視訊編碼器20可形成解碼單元，該等解碼單元各自用以包括在解碼次序方面連續地配置之數個寫碼區塊。串流排程器單元可進一步解囊封存取單元以提取包括解碼單元之一或多個網路抽象層(NAL)單元。同樣地，串流排程器單元可解囊封NAL單元以提取解碼單元。

根據如藉由本發明之技術而修改的假設參考解碼器(HRD)行為，視訊編碼器20可將存取單元儲存至經寫碼圖像緩衝器92及自經寫碼圖像緩衝器92移除存取單元。舉例而言，視訊編碼器20可應用HRD參數，該等參數包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲，及DPB大小，以及用於解碼單元之緩衝器移除時間，及用以傳信視訊資料之解碼單元為存取單元抑或存取單元子集的子圖像經寫碼圖像緩衝器較佳旗標之值。視訊編碼器20可在存取單元中形成傳信用於解碼單元之緩衝週期及緩衝器移除時間的SEI訊息。舉例而言，視訊編碼器20可提供視訊可用性資訊(VUI)參數，該等參數具有包括子圖像CPB旗標之語法，諸如在上表1之實例中。

解碼單元可包括共同圖像之子圖像，且視訊編碼器20可在用於存取單元之SEI訊息中包括用於共同圖像之子圖像中每一者的緩衝器移除時間。不同子圖像可用不同量之資料予以編碼，其中一些子圖像係以不同數目個位元或區塊予以編碼，且視訊編碼器20可形成用於共同圖像之子圖像中每一者的對應各別緩衝器移除時間。視訊編碼器20亦可編碼具有相同資料大小之子圖像的一些圖像。其他組件亦可執行上文歸於視訊編碼器20之功能中的一或多者。舉例而言，來源器件(諸如，圖1之來源器件12)之囊封單元亦可形成包括以上參數中任一者之SEI訊息。

因此，視訊編碼器20可規定：每一子圖像可包括經寫碼圖像之在解碼次序方面連續的數個寫碼區塊，且使得一寫碼區塊可完全相同於一樹區塊，或一樹區塊之子集。視訊編碼器20可規定：可執行子圖像之寫碼及位元至圖像中之不同子圖像的分配，而不要求一個圖像中之每一子圖像(亦即，樹區塊群組)用相同量之位元予以寫碼。視訊編碼器20可在位元串流中傳信用於每一子圖像之CPB移除時間，而非根據經傳信圖像層級CPB移除時間而導出CPB移除時間。視訊編碼器20 亦可在一片段中包括一個以上子圖像，且在每一子圖像結束時應用位元組對準。舉例而言，視訊編碼器20亦可用指示在視訊資料之較大集合(諸如，片段、影像塊或圖框)內之子圖像中至少一者的位元組對準的值來傳信每一子圖像之入口點。視訊編碼器20可根據本發明在不同實例中應用此等特徵中之任何一或多者。

圖2中針對參考圖像記憶體64、緩衝器90及經寫碼圖像緩衝器92而展示之位置係出於說明性目的。參考圖像記憶體64、緩衝器90及經寫碼圖像緩衝器92可位於單一儲存器件或任何數目個相異儲存器件中。該等儲存器件可包括揮發性及/或非揮發性電腦可讀媒體之任何組合。

以此方式，視訊編碼器20表示視訊寫碼器之實例，該視訊寫碼器經組態尤其以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。

圖3為說明解碼經編碼視訊序列之視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82、求和器80、經寫碼圖像緩衝器94及緩衝器96。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量來產生預測資料。

運動補償單元72可使用在位元串流中接收之運動向量以識別參考圖像記憶體82中之參考圖框中的預測區塊。框內預測單元74可使用在位元串流中接收之框內預測模式以自空間上鄰近區塊形成預測區塊。反量化單元76反量化(亦即，解量化)在位元串流中提供且由熵解 碼單元70解碼之經量化區塊係數。反量化處理序可包括習知處理序，例如，如由H.264解碼標準所定義。反量化處理序亦可包括針對每一巨集區塊使用由編碼器20計算之量化參數QP_Y以判定量化程度且同樣地判定應被應用之反量化程度。

反變換單元78將反變換(例如，反DCT、反整數變換，或概念上相似反變換處理序)應用於變換係數，以便在像素域中產生殘餘區塊。運動補償單元72產生經運動補償區塊，從而可能地基於內插濾波器來執行內插。用於待以次像素精度用於運動估計之內插濾波器的識別符可包括於語法元素中。運動補償單元72可在視訊區塊之編碼期間使用如由視訊編碼器20使用之內插濾波器以計算參考區塊之次整數像素的內插值。運動補償單元72可根據經接收語法資訊來判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器以產生預測性區塊。

運動補償單元72使用以下各者中之一些：用以判定用以編碼經編碼視訊序列之圖框之巨集區塊的大小的語法資訊；描述經編碼視訊序列之圖框之每一巨集區塊如何被分割的分割資訊；指示每一分割區如何被編碼之模式；用於每一經框間編碼巨集區塊或分割區之一或多個參考圖框(及參考圖框清單)；及用以解碼經編碼視訊序列之其他資訊。求和器80對殘餘區塊與由運動補償單元72或框內預測單元產生之對應預測區塊進行求和以形成經解碼區塊。

參考圖像記憶體82可包括緩衝器96。緩衝器96可為或包括資料儲存器件，諸如，能夠儲存資料之任何永久性或揮發性記憶體，諸如，同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)，或靜態隨機存取記憶體(SRAM)。緩衝器96可包括一或多個圖像緩衝器及/或一或多個經解碼圖像緩衝器，且可根據本發明所描述之實例經寫碼圖像緩衝器及/或經解碼圖像緩衝器行為的任何 組合而操作。舉例而言，視訊解碼器30可使用緩衝器96來執行DPB管理，及/或根據本發明之技術來執行經寫碼圖像緩衝器94之CPB管理。

經寫碼圖像緩衝器94可被實施為資料儲存器件，諸如，能夠儲存資料之任何永久性或揮發性記憶體，諸如，同步動態隨機存取記憶體(SDRAM)、嵌入式動態隨機存取記憶體(eDRAM)，或靜態隨機存取記憶體(SRAM)。經寫碼圖像緩衝器94可根據本文所揭示之實例經寫碼圖像緩衝器行為的任何組合而操作。

儘管經寫碼圖像緩衝器94被展示為形成視訊解碼器30之部分，但在一些實例中，經寫碼圖像緩衝器94可形成在視訊解碼器30外部之器件、單元或模組的部分。舉例而言，經寫碼圖像緩衝器94可形成在視訊解碼器30外部之串流排程器單元的部分。串流排程器單元可實施本發明之技術以在藉由所獲得(例如，經傳信)緩衝器移除時間指示之時間將解碼單元發送至視訊解碼器30以供解碼，該等解碼單元包括子圖像，諸如，一樹區塊序列、一或多個片段、一或多個波，及/或一或多個影像塊。串流排程器單元可進一步解囊封存取單元以提取包括解碼單元之一或多個網路抽象層(NAL)單元。同樣地，串流排程器單元可解囊封NAL單元以提取解碼單元。

根據如藉由本發明之技術而修改的假設參考解碼器(HRD)行為，視訊解碼器30可接收存取單元且將存取單元儲存至經寫碼圖像緩衝器94及自經寫碼圖像緩衝器94移除存取單元。舉例而言，視訊解碼器30可解碼及獲得HRD參數，該等參數包括初始CPB移除延遲、CPB大小、位元速率、初始DPB輸出延遲，及DPB大小，以及用於解碼單元之緩衝器移除時間，及傳信視訊資料之解碼單元為存取單元抑或存取單元子集的子圖像經寫碼圖像緩衝器較佳旗標之值。視訊解碼器30可在存取單元中解碼及獲得傳信用於解碼單元之緩衝週期及緩衝器移除 時間的SEI訊息。舉例而言，視訊解碼器30可解碼及獲得視訊可用性資訊(VUI)參數，該等參數具有包括子圖像CPB旗標之語法，諸如在上表1之實例中。

解碼單元可包括共同圖像之子圖像，且視訊解碼器30可在用於存取單元之SEI訊息中解碼及獲得用於共同圖像之子圖像中每一者的緩衝器移除時間。不同子圖像可用不同量之資料予以編碼，其中一些子圖像係以不同數目個位元或區塊予以編碼，且視訊解碼器30可解碼及獲得用於共同圖像之子圖像中每一者的對應各別緩衝器移除時間。視訊解碼器30亦可解碼及獲得具有相同資料大小之子圖像的一些圖像。

因此，視訊解碼器30可解碼及獲得子圖像，該等子圖像可包括經寫碼圖像之在解碼次序方面連續的數個寫碼區塊，且使得一寫碼區塊可完全相同於一樹區塊，或一樹區塊之子集。在一些實例中，視訊解碼器30可解碼及獲得用於位元串流中之每一子圖像的CPB移除時間，而非根據經傳信圖像層級CPB移除時間而導出CPB移除時間。視訊解碼器30亦可解碼及獲得一片段中之一個以上子圖像，且可接收指示針對每一解碼單元之開始點的位元組偏移資訊，以判定每一解碼單元在何處開始，且解碼及獲得關於在每一子圖像結束時提供位元組對準之額外非資料信號或填補信號的資訊。舉例而言，視訊解碼器30亦可用指示在視訊資料之較大集合(諸如，片段、影像塊或圖框)內之子圖像中至少一者的位元組對準的值來獲得每一子圖像之入口點。視訊解碼器30可根據本發明在不同實例中應用此等特徵中之任何一或多者。

圖3中針對參考圖像記憶體82、緩衝器96及經寫碼圖像緩衝器94而展示之位置係出於說明性目的。參考圖像記憶體82、緩衝器96及經寫碼圖像緩衝器94可位於單一儲存器件或任何數目個相異儲存器件 中。該等儲存器件可包括揮發性及/或非揮發性電腦可讀媒體之任何組合。

以此方式，視訊解碼器30表示視訊寫碼器之實例，該視訊寫碼器經組態以將視訊資料之一或多個解碼單元儲存於圖像緩衝器中、獲得用於一或多個解碼單元之各別緩衝器移除時間、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自圖像緩衝器移除解碼單元，且寫碼對應於經移除解碼單元之視訊資料。

圖4為說明可實施本發明之技術中任一者或全部之實例目的地器件100的方塊圖。在此實例中，目的地器件100包括輸入介面102、串流排程器104、經寫碼圖像緩衝器106、視訊解碼器108、經解碼圖像緩衝器110、呈現單元112及輸出介面114。目的地器件100可實質上對應於目的地器件14(圖1)。輸入介面102可包含能夠接收視訊資料之經寫碼位元串流的任何輸入介面。舉例而言，輸入介面102可包含如在圖1中之接收器26及/或數據機28、諸如有線或無線介面之網路介面、記憶體或記憶體介面、用於自光碟讀取資料之磁碟機(諸如，光碟機介面或磁性媒體介面)，或其他介面組件。

輸入介面102可接收包括視訊資料之經寫碼位元串流，且將該位元串流提供至串流排程器104。根據本發明之技術，串流排程器104自位元串流提取視訊資料之單元，諸如，存取單元及/或解碼單元，且將經提取單元儲存至經寫碼圖像緩衝器106。以此方式，串流排程器104表示如以上實例所論述的HSS之實例實施。經寫碼圖像緩衝器106可與經寫碼圖像緩衝器94(圖3)實質上一致，惟如下情形除外：如圖4所示，經寫碼圖像緩衝器106係與視訊解碼器108分離。在不同實例中，經寫碼圖像緩衝器106可與視訊解碼器108分離或被整合為視訊解碼器108之部分。

視訊解碼器108包括經解碼圖像緩衝器110。視訊解碼器108可與 圖1及圖3之視訊解碼器30實質上一致。經解碼圖像緩衝器110可與緩衝器96實質上一致。因此，視訊解碼器108可根據本發明之技術來解碼經寫碼圖像緩衝器106之解碼單元。

此外，視訊解碼器108可根據本發明之技術而自經解碼圖像緩衝器110輸出經解碼圖像，如上文所論述。視訊解碼器108可將經輸出圖像傳遞至呈現單元112。呈現單元112可根據本發明之技術來裁剪如上文所論述之圖像，接著將經裁剪圖像傳遞至輸出介面114。輸出介面114又可將經裁剪圖像提供至顯示器件，該顯示器件可與顯示器件32實質上一致。顯示器件可形成目的地器件100之部分，或可以通信方式耦接至目的地器件100。舉例而言，顯示器件可包含螢幕、觸控式螢幕、投影儀，或與目的地器件100整合之其他顯示單元，或可包含分離顯示器，諸如，電視、監視器、投影儀、觸控式螢幕，或以通信方式耦接至目的地器件100之其他器件。該通信耦接可包含有線或無線耦接，諸如，藉由同軸纜線、複合視訊纜線、組件視訊纜線、高清晰度多媒體介面(HDMI)纜線、射頻廣播，或其他有線或無線耦接。

圖5為根據本發明之技術的說明實例方法的流程圖，該方法包括(例如)藉由圖1或圖3之視訊解碼器30或圖4之視訊解碼器108(集體地為「視訊解碼器30/108」)根據所獲得緩衝器移除時間而自圖像緩衝器移除視訊資料之解碼單元。圖5之實例方法可被描述為由視訊解碼器30/108執行作為一實例，其中應理解，圖5之方法的任何一或多個態樣亦可由其他器件或組件執行或用其他器件或組件實施。在圖5之實例中，視訊解碼器30/108可將視訊資料之一或多個解碼單元儲存於圖像緩衝器中(202)。視訊解碼器30/108可獲得用於一或多個解碼單元之各別緩衝器移除時間，其中獲得該各別緩衝器移除時間包含接收指示用於該等解碼單元中至少一者之各別緩衝器移除時間的各別傳信值(204)。視訊解碼器30/108可根據用於解碼單元中每一者之所獲得緩衝 器移除時間而自圖像緩衝器移除解碼單元(206)。視訊解碼器30/108亦可寫碼對應於經移除解碼單元之視訊資料，其中寫碼該視訊資料包含解碼該等解碼單元中至少一者(208)。在其他實例中，視訊解碼器30/108及/或其他器件或元件亦可執行不同或額外功能。

圖6為根據本發明之技術的說明另一實例方法的流程圖，該方法在一些方面相似於圖5之方法，其包括(例如)藉由圖1或圖3之視訊解碼器30或圖4之視訊解碼器108(集體地為「視訊解碼器30/108」)根據所獲得緩衝器移除時間而自圖像緩衝器移除視訊資料之解碼單元。圖6之實例方法亦可被描述為由視訊解碼器30/108執行作為一實例，其中應理解，圖6之方法的任何一或多個態樣亦可由其他器件或組件執行或用其他器件或組件實施。在圖6之實例中，視訊解碼器30/108可將視訊資料之一或多個解碼單元儲存於經寫碼圖像緩衝器(CPB)中(402)、獲得用於一或多個解碼單元之各別緩衝器移除時間(404)、根據用於解碼單元中每一者之所獲得緩衝器移除時間而自CPB移除解碼單元(406)、判定CPB在存取單元層級抑或子圖像層級處操作(408)，且寫碼對應於經移除解碼單元之視訊資料(410)。若CPB在存取單元層級處操作，則寫碼視訊資料包括寫碼包含於解碼單元中之存取單元(412)。若CPB在子圖像層級處操作，則寫碼視訊資料包括寫碼包含於解碼單元中之存取單元子集(414)。

舉例而言，若視訊解碼器30/108判定出CPB在存取單元層級處操作，則視訊解碼器30/108可寫碼對應於經移除解碼單元之視訊資料的存取單元(412)。若視訊解碼器30/108判定出CPB在子圖像層級處操作，則視訊解碼器30/108可寫碼對應於經移除解碼單元之視訊資料的存取單元子集(414)。舉例而言，視訊解碼器30/108可藉由判定出子圖像經寫碼圖像緩衝器較佳旗標(例如，SubPicCpbPreferredFlag)為負或具有值0抑或判定出子圖像經寫碼圖像緩衝器參數存在旗標(例如， sub_pic_cpb_params_present_flag)為負或具有值0來判定出一或多個解碼單元包含存取單元。視訊解碼器30/108可藉由既判定出子圖像經寫碼圖像緩衝器較佳旗標(例如，SubPicCpbPreferredFlag)為正或具有值1又判定出子圖像經寫碼圖像緩衝器參數存在旗標(例如，sub_pic_cpb_params_present_flag)為正或具有值1來判定出一或多個解碼單元包含存取單元子集。視訊解碼器30/108亦可使用單一子圖像經寫碼圖像緩衝器旗標SubPicCpbFlag(其可設定至SubPicCpbPreferredFlag && sub_pic_cpb_params_present_flag)，以判定兩個基礎旗標是否為正且判定出視訊解碼器30/108可針對存取單元子集進行寫碼。

圖7為根據本發明之技術的說明處理視訊資料之另一實例方法的流程圖，該方法包括(例如)藉由圖1或圖3之視訊解碼器30或圖4之視訊解碼器108(集體地為「視訊解碼器30/108」)在提昇處理序中輸出經裁剪圖像。在圖7之實例中，若滿足某些條件中任一者，則視訊解碼器30/108可執行提昇處理序，如上文參考提昇處理序實例所描述。詳言之，若當前圖像為瞬時解碼再新(IDR)圖像(302)且無先前圖像輸出旗標具有不等於1之值(304)，其可包括若無先前圖像輸出旗標具有並未(例如)由HRD推斷為等於1或設定為等於1之值，則視訊解碼器30/108可執行提昇處理序。若在經解碼圖像緩衝器(DPB)中被標記為需要用於輸出之圖像的數目大於在當前時間層處之重新排序圖像的數目(306)，則視訊解碼器30/108亦可執行提昇處理序。若DPB中時間層識別符值低於或等於當前圖像之時間層識別符值的圖像之數目等於當前時間層之最大圖像緩衝值加上1(308)，則視訊解碼器30/108亦可執行提昇處理序。

若滿足指定條件(302及304，或306，或308)中任一者，則視訊解碼器30/108可如下執行提昇處理序。視訊解碼器30/108可選擇DPB中 具有圖像之最小圖像次序計數(POC)值且被標記為需要用於輸出的圖像作為選定圖像(312)。視訊解碼器30/108可如用於選定圖像之作用中序列參數集合中所指定而裁剪選定圖像，藉此基於選定圖像來產生經裁剪圖像(314)。視訊解碼器30/108可輸出經裁剪圖像(316)。視訊解碼器30/108可將選定圖像標記為無需用於輸出(318)。

在一或多個實例中，所描述功能可以硬體、軟體、韌體，或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且由以硬體為基礎之處理單元執行。電腦可讀媒體可包括對應於諸如資料儲存媒體之有形媒體的電腦可讀儲存媒體，或包括(例如)根據通信協定而促進電腦程式自一處傳送至另一處之任何媒體的通信媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關非暫時性有形儲存媒體。如 本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。

指令可由諸如以下各者之一或多個處理器執行：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效積體或離散邏輯電路。因此，如本文所使用，術語「處理器」可指代前述結構或適於實施本文所描述之技術的任何其他結構中任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，可將該等技術完全地實施於一或多個電路或邏輯元件中。

本發明之技術可實施於各種各樣之器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。各種組件、模組或單元被描述於本發明中以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元而實現。實情為，如上文所描述，各種單元可組合於編碼解碼器硬體單元中，或由包括如上文所描述之一或多個處理器的互操作性硬體單元集合結合合適軟體及/或韌體而提供。

已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

10‧‧‧視訊編碼及解碼系統

12‧‧‧來源器件

14‧‧‧目的地器件

16‧‧‧通信頻道

18‧‧‧視訊來源

20‧‧‧視訊編碼器

22‧‧‧調變器/解調變器(數據機)

24‧‧‧傳輸器

26‧‧‧接收器

28‧‧‧數據機

30‧‧‧視訊解碼器

32‧‧‧顯示器件

34‧‧‧儲存器件

Claims (84)

1. 一種解碼視訊資料之方法，該方法包含：將與該視訊資料之一存取單元相關聯之複數個解碼單元儲存於一圖像緩衝器中，該複數個解碼單元之每一解碼單元為該存取單元之一子集；獲得用於該複數個經儲存解碼單元之每一者之一各別緩衝器移除時間，其中獲得一各別經儲存解碼單元之該各別緩衝器移除時間包含接收指示用於該各別經儲存解碼單元之該各別緩衝器移除時間的各別傳信資訊；根據該等所獲得緩衝器移除時間而自該圖像緩衝器移除該複數個經儲存解碼單元；及寫碼對應於該複數個經移除解碼單元之該視訊資料，其中寫碼該視訊資料包含解碼該複數個經移除解碼單元。
2. 如請求項1之方法，其中將該複數個解碼單元儲存於該圖像緩衝器中包含以一連續解碼次序將該視訊資料之該複數個解碼單元儲存於該圖像緩衝器中。
3. 如請求項3之方法，其進一步包含在將該複數個經接收解碼單元儲存於該圖像緩衝器中之前以該連續解碼次序接收該視訊資料之該複數個解碼單元。
4. 如請求項1之方法，其中該圖像緩衝器為一經寫碼圖像緩衝器。
5. 如請求項4之方法，該方法進一步包含在自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第二解碼單元之前自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第一解碼單元，其中該第一解碼單元及該第二解碼單元包含該存取單元之各別子集。
6. 如請求項1之方法，其中指示該緩衝器移除時間的該各別傳信資訊進一步包含指示包括於該各別經儲存解碼單元中之網路抽象層(NAL)單元之一數目的一傳信值。
7. 如請求項1之方法，其中該複數個解碼單元包含一共同圖像之複數個子圖像，且其中接收指示該各別緩衝器移除時間的該各別傳信資訊包含接收指示用於該共同圖像之該等子圖像中每一者之該緩衝器移除時間的一各別傳信值。
8. 如請求項1之方法，其中該圖像緩衝器為一經寫碼圖像緩衝器(CPB)，且其中接收指示該緩衝器移除時間的該各別傳信資訊包含接收指示一存取單元層級處之一初始CPB移除延遲、該存取單元層級處之一初始CPB移除延遲偏移、一子圖像層級處之一初始CPB移除延遲或該子圖像層級處之一初始CPB移除延遲偏移的各別傳信資訊之一或多者。
9. 如請求項1之方法，其中指示該緩衝器移除時間的該各別傳信資訊包括於一圖像時序補充增強資訊(SEI)訊息中。
10. 如請求項1之方法，其中指示該緩衝器移除時間的該各別傳信資訊包括於一解碼單元時序補充增強資訊(SEI)訊息中。
11. 如請求項1之方法，其中根據該等所獲得各別緩衝器移除時間而自該圖像緩衝器移除該複數個經儲存解碼單元包含在自該至少一經儲存解碼單元儲存於該圖像緩衝器中以來已經過該至少一經儲存解碼單元之一各別所獲得緩衝器移除時間之後自該圖像緩衝器移除該複數個經儲存解碼單元中至少一經儲存解碼單元。
12. 如請求項1之方法，其中該複數個經儲存解碼單元之每一者包含一或多個各別子圖像。
13. 如請求項12之方法，其進一步包含接收指示在該視訊資料之一 較大集合內該一或多個各別子圖像之至少一子圖像之一位元組對準的一傳信值，該視訊資料之該較大集合包含該至少一子圖像。
14. 如請求項13之方法，其中該視訊資料之該較大集合包含一存取單元、一存取單元之一子集、一圖像、一圖框、一片段、一波，或一影像塊之至少一者。
15. 如請求項12之方法，其中該一或多個各別子圖像之每一子圖像對應於該視訊資料之一或多個區塊序列、一或多個片段、一或多個波、一或多個影像塊或一或多個網路抽象層(NAL)單元中至少一者。
16. 如請求項1之方法，其中獲得用於該複數個經儲存解碼單元中之一各別經儲存解碼單元的該各別緩衝器移除時間包含執行以下其中一者：基於包含該視訊資料之一序數第一解碼單元之該各別解碼單元，判定出該緩衝器移除時間包含在與包含該各別解碼單元之一存取單元相關聯之一緩衝週期補充增強資訊(SEI)訊息中指定的一經寫碼圖像緩衝器移除延遲值；或基於未包含該視訊資料之該序數第一解碼單元之該各別解碼單元，其中該各別解碼單元包含一序數第i解碼單元，其中i>0，判定出該緩衝器移除時間包含如在與包含該各別解碼單元之該存取單元相關聯之該圖像時序SEI訊息中指定的一解碼單元經寫碼圖像緩衝器移除延遲[i]。
17. 如請求項1之方法，其中獲得用於該複數個經儲存解碼單元中之一各別經儲存解碼單元的該各別緩衝器移除時間包含執行以下其中一者：基於包含該視訊資料之一存取單元的一序數第一解碼單元之 該各別解碼單元，判定出用於該解碼單元之一標稱移除時間包含一初始經寫碼圖像緩衝器移除延遲值除以90000；或基於未包含該存取單元之該序數第一解碼單元之該各別解碼單元，其中該解碼單元包含該存取單元之一序數第m解碼單元，其中m>0，判定出用於該解碼單元之一標稱移除時間包含一先前緩衝週期之一序數第一解碼單元的一標稱移除時間加上一時脈刻度乘與該序數第m解碼單元相關聯之一經寫碼圖像緩衝器移除延遲。
18. 如請求項1之方法，其中該複數個經儲存解碼單元中至少兩經儲存解碼單元包括不同數目個寫碼區塊，且其中寫碼對應於該複數個經移除解碼單元之該視訊資料包含寫碼該至少兩個經儲存解碼單元中之該不同數目個寫碼區塊。
19. 如請求項1之方法，其中該複數個經儲存解碼單元中至少兩經儲存解碼單元包括不同數目個位元，且其中寫碼對應於該複數個經移除解碼單元之該視訊資料包含寫碼該至少兩個經儲存解碼單元中之該不同數目個位元。
20. 一種用於解碼視訊資料之器件，該器件包含：經組態以儲存該視訊資料之至少一部分之一記憶體；及一視訊解碼器，該視訊寫碼器經組態以：將與該視訊資料之一存取單元相關聯之複數個解碼單元儲存於一圖像緩衝器中，該複數個解碼單元之每一解碼單元為該存取單元之一子集；獲得用於該複數個經儲存解碼單元之每一者之一各別緩衝器移除時間，其中為了獲得一各別經儲存解碼單元之該各別緩衝器移除時間，該視訊解碼器經組態以接收指示用於該各別經儲存解碼單元之該各別緩衝器移除時間的各別傳信資訊；根據該等所獲得緩衝器移除時間而自該圖像緩衝器移除該複 數個經儲存解碼單元；且寫碼對應於該複數個經移除解碼單元之該視訊資料，其中為了寫碼該視訊資料，該視訊解碼器經組態以解碼該複數個經移除解碼單元。
21. 如請求項20之器件，其中該視訊解碼器經進一步組態成以一連續解碼次序將該視訊資料之該複數個解碼單元儲存於該圖像緩衝器中。
22. 如請求項21之器件，其中該視訊解碼器經進一步組態以在將該複數個經接收解碼單元儲存於該圖像緩衝器中之前以該連續解碼次序接收該視訊資料之該複數個解碼單元。
23. 如請求項20之器件，其中該圖像緩衝器為一經寫碼圖像緩衝器。
24. 如請求項23之器件，其中該視訊解碼器經進一步組態以在自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第二解碼單元之前自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第一解碼單元，其中該第一解碼單元及該第二解碼單元包含該存取單元之各別子集。
25. 如請求項20之器件，其中指示該緩衝器移除時間的該各別傳信資訊進一步包含指示包括於該各別經儲存解碼單元中之網路抽象層(NAL)單元之一數目的一傳信值。
26. 如請求項20之器件，其中該複數個解碼單元包含一共同圖像之複數個子圖像，且其中該解碼器進一步經組態以接收指示用於該共同圖像之該等子圖像中每一者之該緩衝器移除時間的一各別傳信值。
27. 如請求項20之器件，其中該圖像緩衝器為一經寫碼圖像緩衝器(CPB)，且其中該解碼器進一步經組態以接收指示一存取單元層 級處之一初始CPB移除延遲、該存取單元層級處之一初始CPB移除延遲偏移、一子圖像層級處之一初始CPB移除延遲或該子圖像層級處之一初始CPB移除延遲偏移的各別傳信值之一或多者。
28. 如請求項20之器件，其中該解碼器進一步經組態以自一圖像時序補充增強資訊(SEI)訊息獲得指示該緩衝器移除時間的該各別傳信資訊。
29. 如請求項29之器件，其中該解碼器進一步經組態以自一補充增強資訊(SEI)訊息獲得指示該緩衝器移除時間的該各別傳信資訊。
30. 如請求項20之器件，其中，該視訊解碼器經進一步組態以在自該至少一經儲存解碼單元儲存於該圖像緩衝器中以來已經過該至少一經儲存解碼單元之一各別所獲得緩衝器移除時間之後自該圖像緩衝器移除該複數個解碼單元中至少一經儲存解碼單元。
31. 如請求項20之器件，其中該複數個經儲存解碼單元之每一者包含一或多個各別子圖像。
32. 如請求項31之器件，其中該視訊解碼器經進一步組態以接收指示在該視訊資料之一較大集合內該一或多個各別子圖像之至少一子圖像之一位元組對準的一傳信值，該視訊資料之該較大集合包含該至少一子圖像。
33. 如請求項32之器件，其中該視訊解碼器經進一步組態以接收該視訊資料之該較大集合為一存取單元、一存取單元之一子集、一圖像、一圖框、一片段、一波，或一影像塊之至少一者。
34. 如請求項31之器件，其中該視訊解碼器經組態以接收對應於一或多個視訊資料區塊序列、一或多個片段、一或多個波、一或多個影像塊或一或多個網路抽象層(NAL)單元中至少一者之該一 或多個子圖像之每一子圖像。
35. 如請求項20之器件，其中該視訊解碼器經進一步組態以：基於包含該視訊資料之一序數第一解碼單元之該各別解碼單元，判定出該緩衝器移除時間包含在與包含該各別解碼單元之一存取單元相關聯之一緩衝週期補充增強資訊(SEI)訊息中指定的一經寫碼圖像緩衝器移除延遲值；且基於未包含該視訊資料之該序數第一解碼單元之該各別解碼單元，其中該各別解碼單元包含一序數第i解碼單元，其中i>0，判定出該緩衝器移除時間包含如在與包含該各別解碼單元之該存取單元相關聯之該圖像時序SEI訊息中指定的一解碼單元經寫碼圖像緩衝器移除延遲[i]。
36. 如請求項20之器件，其中該視訊解碼器經進一步組態以：基於包含該視訊資料之一存取單元的一序數第一解碼單元之該各別解碼單元，判定出用於該解碼單元之一標稱移除時間包含一初始經寫碼圖像緩衝器移除延遲值除以90000；且基於未包含該存取單元之該序數第一解碼單元之該各別解碼單元，其中該解碼單元包含該存取單元之一序數第m解碼單元，其中m>0，判定出用於該解碼單元之一標稱移除時間包含一先前緩衝週期之一序數第一解碼單元的一標稱移除時間加上一時脈刻度乘與該序數第m解碼單元相關聯之一經寫碼圖像緩衝器移除延遲。
37. 如請求項20之器件，其中該複數個經儲存解碼單元中至少兩經儲存解碼單元包括不同數目個寫碼區塊，且其中該視訊解碼器進一步經組態以寫碼該至少兩個經儲存解碼單元中之該不同數目個寫碼區塊。
38. 如請求項20之器件，其中該複數個經儲存解碼單元中至少兩經 儲存解碼單元包括不同數目個位元，且其中該視訊解碼器經進一步組態以寫碼該至少兩個經儲存解碼單元中之該不同數目個位元。
39. 如請求項20之器件，其中該器件包含以下各者中至少一者：一或多個積體電路；一或多個微處理器；一或多個數位信號處理器(DSP)；一或多個場可程式化閘陣列(FPGA)；一桌上型電腦；一膝上型電腦；一平板電腦；一電話；一電視；一照相機；一顯示器件；一數位媒體播放器；一視訊遊戲主控台；一視訊遊戲器件；一視訊串流器件；或一無線通信器件。
40. 如請求項20之器件，其中該圖像緩衝器為一經寫碼圖像緩衝器，且其中該視訊解碼器經進一步組態以將一或多個經解碼圖像儲存於一經解碼圖像緩衝器中。
41. 如請求項20之器件，其中該圖像緩衝器為一經寫碼圖像緩衝器，且其中該視訊解碼器經進一步組態以將經寫碼視訊資料儲存於該經寫碼圖像緩衝器中。
42. 如請求項20之器件，其中該圖像緩衝器為一經寫碼圖像緩衝器，且該器件進一步包含一串流排程單元，該串流排程單元經組態以將經寫碼視訊資料儲存至該經寫碼圖像緩衝器。
43. 如請求項20之器件，其進一步包含一顯示器件，其經組態以輸出該視訊資料之至少一部分。
44. 一種用於解碼視訊資料之裝置，該裝置包含：用於將與該視訊資料之一存取單元相關聯之複數個解碼單元儲存於一圖像緩衝器中的構件，該複數個解碼單元之每一解碼單元為該存取單元之一子集；用於獲得用於該複數個經儲存解碼單元之每一者之一各別緩衝器移除時間的構件，其中用於獲得一各別經儲存解碼單元之該各別緩衝器移除時間的構件包含用於接收指示用於該各別經儲存解碼單元之該各別緩衝器移除時間的各別傳信資訊的構件；用於根據該等所獲得緩衝器移除時間而自該圖像緩衝器移除該複數個經儲存解碼單元的構件；及用於寫碼對應於該複數個經移除解碼單元之該視訊資料的構件，其中用於寫碼該視訊資料的構件包含用於解碼該複數個經移除解碼單元的構件。
45. 如請求項44之裝置，其中用於將該複數個解碼單元儲存於該圖像緩衝器中的構件進一步包含用於以一連續解碼次序將該視訊資料之該複數個解碼單元儲存於該圖像緩衝器中的構件。
46. 如請求項45之裝置，其進一步包含用於將該經接收複數個解碼單元儲存於該圖像緩衝器中之前以該連續解碼次序接收該視訊資料之該複數個解碼單元的構件。
47. 如請求項44之裝置，其中該圖像緩衝器為一經寫碼圖像緩衝 器。
48. 如請求項47之裝置，其進一步包含用於在自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第二解碼單元之前自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第一解碼單元的構件，其中該第一解碼單元及該第二解碼單元包含該存取單元之各別子集。
49. 如請求項44之裝置，其中指示該緩衝器移除時間的該各別傳信資訊進一步包含指示包括於該各別經儲存解碼單元中之網路抽象層(NAL)單元之一數目的一傳信值。
50. 如請求項44之裝置，其中該複數個解碼單元包含一共同圖像之複數個子圖像，且其中用於接收指示該各別緩衝器移除時間的該各別傳信值的構件包含用於接收指示用於該共同圖像之該等子圖像中每一者之該緩衝器移除時間的一各別傳信值的構件。
51. 如請求項44之裝置，其中該圖像緩衝器為一經寫碼圖像緩衝器(CPB)，且其中用於接收指示該緩衝器移除時間的該各別傳信值的該構件包含用於接收指示一存取單元層級處之一初始CPB移除延遲、該存取單元層級處之一初始CPB移除延遲偏移、一子圖像層級處之一初始CPB移除延遲或該子圖像層級處之一初始CPB移除延遲偏移的各別傳信資訊之一或多者的構件。
52. 如請求項44之裝置，其中指示該緩衝器移除時間的該各別傳信資訊包括於一圖像時序補充增強資訊(SEI)訊息中。
53. 如請求項44之裝置，其中指示該緩衝器移除時間的該各別傳信資訊包括於一解碼單元時序補充增強資訊(SEI)訊息中。
54. 如請求項44之裝置，其中用於根據該等各別所獲得緩衝器移除時間而自該圖像緩衝器移除該複數個經儲存解碼單元的該構件包含用於在自該至少一經儲存解碼單元儲存於該圖像緩衝器中 以來已經過該至少一經儲存解碼單元之一各別所獲得緩衝器移除時間之後自該圖像緩衝器移除該複數個經儲存解碼單元中至少一經儲存解碼單元的構件。
55. 如請求項44之裝置，其中該複數個經儲存解碼單元之每一者包含一或多個各別子圖像。
56. 如請求項55之裝置，其進一步包含用於接收指示在該視訊資料之一較大集合內該一或多個各別子圖像之至少一子圖像之一位元組對準的一傳信值的構件，該視訊資料之該較大集合包含該至少一子圖像。
57. 如請求項56之裝置，其中該視訊資料之該較大集合包含一存取單元、一存取單元之一子集、一圖像、一圖框、一片段、一波，或一影像塊之至少一者。
58. 如請求項55之裝置，其中該一或多個各別子圖像之每一子圖像對應於一或多個視訊資料區塊序列、一或多個片段、一或多個波、一或多個影像塊或一或多個網路抽象層(NAL)單元中至少一者。
59. 如請求項44之裝置，其中用於獲得用於該複數個經儲存解碼單元中之一各別經儲存解碼單元的該各別緩衝器移除時間的該構件包含用於執行以下其中一者的構件：用於以下操作之構件：基於包含該視訊資料之一序數第一解碼單元之該各別解碼單元，判定出該緩衝器移除時間包含在與包含該各別解碼單元之一存取單元相關聯之一緩衝週期補充增強資訊(SEI)訊息中指定的一經寫碼圖像緩衝器移除延遲值；或用於以下操作之構件：基於未包含該視訊資料之該序數第一解碼單元之該各別解碼單元，其中該各別解碼單元包含一序數第i解碼單元，其中i>0，判定出該緩衝器移除時間包含如在與包 含該各別解碼單元之該存取單元相關聯之該圖像時序SEI訊息中指定的一解碼單元經寫碼圖像緩衝器移除延遲[i]。
60. 如請求項44之裝置，其中用於獲得用於該複數個經儲存解碼單元中之一各別經儲存解碼單元的該各別緩衝器移除時間的該構件包含用於執行以下其中一者的構件：用於以下操作之構件：基於包含該視訊資料之一存取單元的一序數第一解碼單元之該各別解碼單元，判定出用於該解碼單元之一標稱移除時間包含一初始經寫碼圖像緩衝器移除延遲值除以90000；或用於以下操作之構件：基於未包含該存取單元之該序數第一解碼單元之該各別解碼單元，其中該解碼單元包含該存取單元之一序數第m解碼單元，其中m>0，判定出用於該解碼單元之一標稱移除時間包含一先前緩衝週期之一序數第一解碼單元的一標稱移除時間加上一時脈刻度乘與該序數第m解碼單元相關聯之一經寫碼圖像緩衝器移除延遲。
61. 如請求項44之裝置，其中該複數個經儲存解碼單元中至少兩經儲存解碼單元包括不同數目個寫碼區塊，且其中該用於寫碼對應於該複數個經移除解碼單元之該視訊資料的構件包含用於寫碼該至少兩個經儲存解碼單元中之該不同數目個寫碼區塊的構件。
62. 如請求項44之裝置，其中該複數個經儲存解碼單元中至少兩經儲存解碼單元包括不同數目個位元，且其中該用於寫碼對應於該複數個經移除解碼單元之該視訊資料的構件包含用於寫碼該至少兩個經儲存解碼單元中之該不同數目個位元的構件。
63. 如請求項44之裝置，其中該裝置包含以下各者中至少一者：一或多個積體電路； 一或多個微處理器；一或多個數位信號處理器(DSP)；一或多個場可程式化閘陣列(FPGA)；一桌上型電腦；一膝上型電腦；一平板電腦；一電話；一電視；一照相機；一顯示器件；一數位媒體播放器；一視訊遊戲主控台；一視訊遊戲器件；一視訊串流器件；或一無線通信器件。
64. 如請求項44之器件，其進一步包含用於輸出該視訊資料之至少一部分以顯示的構件。
65. 一種電腦程式產品，其包含一非暫態電腦可讀儲存媒體，該電腦可讀儲存媒體包含儲存於其上之指令，當該等指令在執行時使一視訊解碼器件之一或多個處理器：將與該視訊資料之一存取單元相關聯之複數個解碼單元儲存於一圖像緩衝器中，該等解碼單元為該等存取單元之多個子集；獲得用於該複數個經儲存解碼單元之每一者之一各別緩衝器移除時間，其中該等使該一或多個處理器獲得該各別緩衝器移除時間之指令包含使該一或多個處理器接收指示用於該各別經 儲存解碼單元之該各別緩衝器移除時間的各別傳信資訊之指令；根據該等所獲得緩衝器移除時間而自該圖像緩衝器移除該複數個經儲存解碼單元；且寫碼對應於該複數個經移除解碼單元之該視訊資料，其中該等使該一或多個處理器寫碼該視訊資料的指令包含使該一或多個處理器解碼該複數個經移除解碼單元的指令。
66. 如請求項65之電腦程式產品，其中該非暫態電腦可讀儲存媒體進一步包含當執行時使該一或多個處理器以一連續解碼次序將該視訊資料之該複數個解碼單元儲存於該圖像緩衝器中的指令。
67. 如請求項66之電腦程式產品，其中該非暫態電腦可讀儲存媒體進一步包含當執行時使該一或多個處理器在將該經接收一或多個解碼單元儲存於該圖像緩衝器中之前以該連續解碼次序接收該視訊資料之該複數個解碼單元的指令。
68. 如請求項65之電腦程式產品，其中該圖像緩衝器為一經寫碼圖像緩衝器。
69. 如請求項68之電腦程式產品，其中該非暫態電腦可讀儲存媒體進一步包含執行時使該一或多個處理器在自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第二解碼單元之前自該經寫碼圖像緩衝器移除該複數個經儲存解碼單元中之一第一解碼單元，其中該第一解碼單元及該第二解碼單元包含該存取單元之各別子集。
70. 如請求項65之電腦程式產品，其中指示該緩衝器移除時間的該各別傳信資訊包含指示包括於該各別經儲存解碼單元中之網路抽象層(NAL)單元之一數目的一傳信值。
71. 如請求項65之電腦程式產品，其中該複數個解碼單元包含一共同圖像之複數個子圖像，且其中該等使該一或多個處理器接收指示該各別緩衝器移除時間的該各別傳信資訊的指令包含當執行時使該一或多個處理器接收指示用於該共同圖像之該等子圖像中每一者之該緩衝器移除時間的一各別傳信值的指令。
72. 如請求項65之電腦程式產品，其中該圖像緩衝器為一經寫碼圖像緩衝器(CPB)，且其中使該一或多個處理器接收指示該緩衝器移除時間的該各別傳信資訊的該等指令包含當執行時使該一或多個處理器接收指示一存取單元層級處之一初始CPB移除延遲、該存取單元層級處之一初始CPB移除延遲偏移、一子圖像層級處之一初始CPB移除延遲或該子圖像層級處之一初始CPB移除延遲偏移之一或多者的各別傳信值的指令。
73. 如請求項65之電腦程式產品，其中指示該緩衝器移除時間的該各別傳信資訊包括於一圖像時序補充增強資訊(SEI)訊息中。
74. 如請求項65之電腦程式產品，其中指示該緩衝器移除時間的該各別傳信資訊包括於一解碼單元時序補充增強資訊(SEI)訊息中。
75. 如請求項65之電腦程式產品，其中該等使該一或多個處理器根據該等各別所獲得緩衝器移除時間而自該圖像緩衝器移除該複數個經儲存解碼單元的指令包含當執行時使該一或多個處理器在自該至少一經儲存解碼單元儲存於該圖像緩衝器中以來已經過該至少一經儲存解碼單元之一各別所獲得緩衝器移除時間之後自該圖像緩衝器移除該複數個經儲存解碼單元中至少一經儲存解碼單元之指令。
76. 如請求項65之電腦程式產品，其中該複數個經儲存解碼單元之每一者包含一或多個各別子圖像。
77. 如請求項76之電腦程式產品，其中該非暫態電腦可讀儲存媒體令進一步包含當執行時使該一或多個處理器接收指示在該視訊資料之一較大集合內該一或多個各別子圖像之至少一子圖像之一位元組對準的一傳信值的指令，該視訊資料之該較大集合包含該至少一子圖像。
78. 如請求項77之電腦程式產品，其中該視訊資料之該較大集合包含一存取單元、一存取單元之一子集、一圖像、一圖框、一片段、一波，或一影像塊之至少一者。
79. 如請求項76之電腦程式產品，其中該一或多個各別子圖像之每一子圖像對應於一或多個視訊資料區塊序列、一或多個片段、一或多個波、一或多個影像塊或一或多個網路抽象層(NAL)單元中至少一者。
80. 如請求項65之電腦程式產品，其中該等使該一或多個處理器獲得用於該複數個經儲存解碼單元中之一各別經儲存解碼單元的該各別緩衝器移除時間的指令包含當執行時使該一或多個處理器執行以下其中一者的指令：基於包含該視訊資料之一序數第一解碼單元之該各別解碼單元，判定出該緩衝器移除時間包含在與包含該各別解碼單元之一存取單元相關聯之一緩衝週期補充增強資訊(SEI)訊息中指定的一經寫碼圖像緩衝器移除延遲值；或基於未包含該視訊資料之該序數第一解碼單元之該各別解碼單元，其中該各別解碼單元包含一序數第i解碼單元，其中i>0，判定出該緩衝器移除時間包含如在與包含該各別解碼單元之該存取單元相關聯之該圖像時序SEI訊息中指定的一解碼單元經寫碼圖像緩衝器移除延遲[i]。
81. 如請求項65之電腦程式產品，其中該等使該一或多個處理器獲 得用於該複數個經儲存解碼單元中之一各別經儲存解碼單元的該各別緩衝器移除時間的指令包含當執行時使該一或多個處理器執行以下其中一者的指令：基於包含該視訊資料之一存取單元的一序數第一解碼單元之該各別解碼單元，判定出用於該解碼單元之一標稱移除時間包含一初始經寫碼圖像緩衝器移除延遲值除以90000；及基於未包含該存取單元之該序數第一解碼單元之該各別解碼單元，其中該解碼單元包含該存取單元之一序數第m解碼單元，其中m>0，判定出用於該解碼單元之一標稱移除時間包含一先前緩衝週期之一序數第一解碼單元的一標稱移除時間加上一時脈刻度乘與該序數第m解碼單元相關聯之一經寫碼圖像緩衝器移除延遲。
82. 如請求項65之電腦程式產品，其中該複數個解碼單元中至少兩經儲存解碼單元包括不同數目個寫碼區塊，且其中該等使該一或多個處理器寫碼對應於該複數個經移除解碼單元之該視訊資料的指令包含執行時使該一或多個處理器寫碼該至少兩個經儲存解碼單元中之該不同數目個寫碼區塊的指令。
83. 如請求項65之電腦程式產品，其中該複數個解碼單元中至少兩經儲存解碼單元包括不同數目個位元，且其中該等使該一或多個處理器寫碼對應於該複數個經移除解碼單元之該視訊資料的指令包含執行時使該一或多個處理器寫碼該至少兩個經儲存解碼單元中之該不同數目個位元的指令。
84. 一種處理視訊資料之方法，該方法包含：根據複數個視訊可用性資訊(VUI)參數中至少一者來處理視訊資料，該複數個VUI參數包括：一子圖像經寫碼圖像緩衝器(CPB)參數存在旗標 (sub_pic_cpb_params_present_flag)，其指示子圖像CPB參數之一存在；一補充增強資訊(SEI)訊息，其包括以下各者中至少一者：指示在一到達時間與一移除時間之間針對一第SchedSelIdx個CPB之一延遲的一語法元素(initial_du_cpb_removal_delay)，其中該到達時間為與一存取單元中之一第一解碼單元相關聯的經寫碼資料之一第一位元在一經寫碼圖像緩衝器(CPB)中的到達時間，該存取單元係與一緩衝週期SEI訊息相關聯，且該移除時間為針對在假設參考解碼器(HRD)初始化之後的第一緩衝週期與該第一解碼單元相關聯之該經寫碼資料自該CPB的移除時間；及結合指示一CPB移除延遲(cpb_removal_delay)之一語法元素而指示一偏移的一語法元素(initial_du_cpb_removal_delay_offset)，該偏移係使該第SchedSelIdx個CPB指定該第一解碼單元至該CPB之一初始遞送時間；及一SEI訊息，其包括：指示網路存取層(NAL)單元之一數目的至少一語法元素(num_nalus_in_du_minusl)，其中該數目為在與圖像時序SEI訊息相關聯的該存取單元之一對應第i解碼單元中的網路存取層(NAL)單元之數目；及指定時脈刻度之一數目的一語法元素(du_cpb_removal_delay)，其中該數目為在自該CPB移除該存取單元中與該圖像時序SEI訊息相關聯之該對應第i解碼單元之前於該存取單元中與一先前存取單元中之最近緩衝週期SEI訊息相關聯的該第一解碼單元自該CPB之移除之後將等待之時脈刻度之數目。