TW201440506A - 在視訊寫碼中之低延遲緩衝模型 - Google Patents

在視訊寫碼中之低延遲緩衝模型 Download PDF

Info

Publication number
TW201440506A
TW201440506A TW102147297A TW102147297A TW201440506A TW 201440506 A TW201440506 A TW 201440506A TW 102147297 A TW102147297 A TW 102147297A TW 102147297 A TW102147297 A TW 102147297A TW 201440506 A TW201440506 A TW 201440506A
Authority
TW
Taiwan
Prior art keywords
image
dpb output
dpb
sub
video
Prior art date
Application number
TW102147297A
Other languages
English (en)
Other versions
TWI530168B (zh
Inventor
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201440506A publication Critical patent/TW201440506A/zh
Application granted granted Critical
Publication of TWI530168B publication Critical patent/TWI530168B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭示用於在一視訊寫碼程序中之低延遲緩衝之技術。視訊解碼技術可包括：接收用於一經解碼圖像之一第一經解碼圖像緩衝器(DPB)輸出延遲及一第二DPB輸出延遲；在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。

Description

在視訊寫碼中之低延遲緩衝模型 相關申請案
本申請案主張2012年12月19日申請之美國臨時申請案第61/739,632號及2012年12月21日申請之美國臨時申請案第61/745,423號的權利，該兩個臨時申請案之全部內容係以引用方式併入本文中。
本發明係關於視訊寫碼，且更特定言之，係關於用於在視訊寫碼程序中之低延遲緩衝之技術。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(personal digital assistant,PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂「智慧型電話(smart phone)」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分之進階視訊寫碼(Advanced Video Coding,AVC)定義之標準、目前在開發中之高效率視訊寫碼(High Efficiency Video Coding,HEVC)標準及此等標準之延伸中描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除為視訊序列所固有之冗餘。對於以區塊為基礎之視訊寫碼，可將視訊截塊(亦即，視訊圖框或視訊圖框之部分)分割成視訊區塊，視訊區塊亦可被稱作樹狀結構區塊(treeblock)、寫碼單元(coding unit,CU)及/或寫碼節點(coding node)。圖像之經框內寫碼(I)截塊中之視訊區塊係使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測而編碼。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測，或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測利用預測性區塊。殘差資料表示原始待寫碼區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本區塊之運動向量及指示經寫碼區塊與預測性區塊之間的差之殘差資料而編碼。經框內寫碼區塊係根據框內寫碼模式及殘差資料而編碼。出於進一步壓縮起見，可將殘差資料自像素域變換至變換域，從而引起殘差變換係數，殘差變換係數接著可被量化。可掃描最初以二維陣列而配置之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多之壓縮。
大體上，本發明描述用於視訊寫碼之技術，且更特定言之，描述用於在視訊寫碼程序中之低延遲緩衝之技術。在一或多項實例中，本發明提議用於傳信經解碼圖像緩衝器(DPB)輸出延遲以在視訊解碼器正在子圖像層級處操作時予以使用以便改良視訊緩衝器延遲之技術。
在本發明之一項實例中，一種解碼視訊之方法包含：接收用於一經解碼圖像之一第一經解碼圖像緩衝器(DPB)輸出延遲及一第二 DPB輸出延遲；在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。
在本發明之另一實例中，一種編碼視訊之方法包含：在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下使用一第一DPB輸出延遲來判定一第一DPB輸出時間；在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間；及傳信該第一經解碼圖像緩衝器(DPB)輸出延遲及該第二DPB輸出延遲。
在本發明之另一實例中，一種經組態以解碼視訊資料之裝置包含一視訊解碼器，該視訊解碼器經組態以：接收用於一經解碼圖像之一第一DPB輸出延遲及一第二DPB輸出延遲；在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。
在本發明之另一實例中，一種經組態以編碼視訊資料之裝置包含一視訊編碼器，該視訊編碼器經組態以：在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下使用一第一DPB輸出延遲來判定一第一DPB輸出時間；在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間；及傳信該第一DPB輸出延遲及該第二DPB輸出延遲。
在本發明之另一實例中，一種經組態以解碼視訊資料之裝置包 含：用於接收用於一經解碼圖像之一第一DPB輸出延遲及一第二DPB輸出延遲的構件；用於在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間的構件；及用於在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間的構件。
在本發明之另一實例中，一種經組態以編碼視訊資料之裝置包含：用於在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下使用一第一DPB輸出延遲來判定一第一DPB輸出時間的構件；用於在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間的構件；用於傳信該第一DPB輸出延遲及該第二DPB輸出延遲的構件。
在另一實例中，本發明揭示一種電腦可讀儲存媒體，該電腦可讀儲存媒體儲存指令，該等指令在執行時使經組態以解碼視訊資料之一器件之一或多個處理器：接收用於一經解碼圖像之一第一DPB輸出延遲及一第二DPB輸出延遲；在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。
在另一實例中，本發明揭示一種電腦可讀儲存媒體，該電腦可讀儲存媒體儲存指令，該等指令在執行時使經組態以編碼視訊資料之一器件之一或多個處理器：在用於一視訊解碼器之一HRD設定指示在一圖像層級處之操作之狀況下使用一第一DPB輸出延遲來判定一第一DPB輸出時間；在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出 時間；及傳信該第一DPB輸出延遲及該第二DPB輸出延遲。
在隨附圖式及以下描述中闡述一或多項實例之細節。其他特徵、目標及優點將自該描述及該等圖式且自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧儲存器件
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
78‧‧‧經寫碼圖像緩衝器(CPB)
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧經解碼圖像緩衝器(DPB)
100‧‧‧假設串流排程器(HSS)
102‧‧‧經寫碼圖像緩衝器(CPB)
104‧‧‧解碼程序
106‧‧‧經解碼圖像緩衝器(DPB)
108‧‧‧輸出裁剪單元
圖1為說明可利用本發明所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明用於假設參考解碼器(HRD)之緩衝器模型的方塊圖。
圖3為說明可實施本發明所描述之技術之實例視訊編碼器的方塊圖。
圖4為說明可實施本發明所描述之技術之實例視訊解碼器的方塊圖。
圖5為展示根據本發明之技術之實例編碼方法的流程圖。
圖6為展示根據本發明之技術之實例解碼方法的流程圖。
本發明描述用以經由泛型的以子圖像為基礎之假設參考解碼器(HRD)模型而以可交互操作方式來達成縮減之編碼解碼器(寫碼器/解碼器)延遲的各種方法及技術，該模型包括以子圖像為基礎之經寫碼圖像緩衝器(coded picture buffer,CPB)操作及以子圖像時序為基礎之經解碼圖像緩衝器(DPB)操作兩者。
用以最小化CPB及/或DPB延遲時間之當前途徑展現以下缺點。經解碼圖像之輸出時間等於最後解碼單元(亦即，用於存取單元層級操作之存取單元自身)之解碼時間(亦即，CPB移除時間)加經傳信DPB輸出延遲。因此，通常使用用以縮減該延遲之兩種途徑。一種途徑係較早地使解碼時間移位。另一途徑係縮減經傳信DPB輸出延遲(相對於CPB移除時間)之值。然而，用於超低延遲緩衝模型之現有解決方案僅涉及以子圖像為基礎之CPB操作，且僅利用第一途徑以縮減延 遲。
鑒於此等缺點，本發明提議用於經由傳信及使用相對於CPB移除時間之經傳信DPB輸出延遲之縮減值而進一步縮減解碼延遲的技術。
圖1為說明可利用本發明所描述之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1所展示，系統10包括來源器件12，來源器件12產生待在稍後時間由目的地器件14解碼之經編碼視訊資料。來源器件12及目的地器件14可包含廣泛範圍之器件中任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂「智慧型」電話)、所謂「智慧型」鍵台(pad)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件，或其類似者。在一些狀況下，來源器件12及目的地器件14可經配備用於無線通信。
目的地器件14可經由鏈路16而接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14的任何類型之媒體或器件。在一項實例中，鏈路16可包含通信媒體以使來源器件12能夠將經編碼視訊資料直接地即時傳輸至目的地器件14。經編碼視訊資料係可根據諸如無線通信協定之通信標準而調變，且傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(radio frequency,RF)頻譜或一或多個實體傳輸線。通信媒體可形成以封包為基礎之網路(諸如，區域網路、廣域網路，或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自來源器件12至目的地器件14之通信之任何其他設備。
替代地，可將經編碼資料自輸出介面22輸出至儲存器件33。相似地，可藉由輸入介面而自儲存器件33存取經編碼資料。儲存器件33可包括多種分散式或本機存取式資料儲存媒體中任一者，諸如，硬 碟、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件33可對應於可保持由來源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件33存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，對於網站)、FTP伺服器、網路附接儲存(network attached storage,NAS)器件，或本機磁碟機(local disk drive)。目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料之無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)，或此兩者之組合。經編碼視訊資料自儲存器件33之傳輸可為串流傳輸、下載傳輸，或此兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在來源器件12中，視訊來源18可包括諸如以下各者之來源：視訊俘獲器件，例如，視訊攝影機；視訊封存檔，其含有經先前俘獲視訊；視訊饋送介面，其用以自視訊內容提供者接收視 訊；及/或電腦圖形系統，其用於產生電腦圖形資料作為來源視訊；或此等來源之組合。作為一項實例，若視訊來源18為視訊攝影機，則來源器件12及目的地器件14可形成所謂攝影機電話或視訊電話。然而，本發明所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
可由視訊編碼器20編碼經俘獲、經預俘獲或經電腦產生視訊。可經由來源器件12之輸出介面22而將經編碼視訊資料直接地傳輸至目的地器件14。又(或替代地)，可將經編碼視訊資料儲存至儲存器件33上以供目的地器件14或其他器件稍後存取，以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16而接收經編碼視訊資料。經由鏈路16而傳達或提供於儲存器件33上之經編碼視訊資料可包括由視訊編碼器20產生以供視訊解碼器(諸如，視訊解碼器30)用來解碼該視訊資料之多種語法元素。此等語法元素可與通信媒體上傳輸、儲存於儲存媒體上或儲存檔案伺服器之經編碼視訊資料一起被包括。
顯示器件32可與目的地器件14整合，或在目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件，且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中任一者，諸如，液晶顯示器(liquid crystal display,LCD)、電漿顯示器、有機發光二極體(organic light emitting diode,OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如目前在開發中之高效率視訊寫碼(HEVC)標準之視訊壓縮標準而操作，且可符合HEVC測試模型(HEVC Test Model,HM)。HEVC正由ITU-T視訊寫碼專業團體 (Video Coding Experts Group,VCEG)及ISO/IEC動畫專業團體(Motion Picture Experts Group,MPEG)之視訊寫碼聯合合作團隊(Joint Collaboration Team on Video Coding,JCT-VC)開發。自2013年7月5日時起，可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip得到HEVC之一個工作草案(Working Draft,WD)，其為Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」且在下文中被稱作HEVC WD9。HEVC WD9之全部內容係以引用方式併入本文中。
替代地，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(替代地被稱作MPEG-4第10部分之進階視訊寫碼(AVC)之其他專屬或工業標準或此等標準之延伸而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管圖1中未圖示，但在一些態樣中，視訊編碼器20及視訊解碼器30各自可與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或分離資料串流中之音訊及視訊兩者之編碼。適用時，在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(user datagram protocol,UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器電路系統中任一者，諸如，一或多個微處理器、數位信號處理器(digital signal processor,DSP)、特殊應用積體電路(application specific integrated circuit,ASIC)、場可程式化閘陣列(field programmable gate array,FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地以軟體來實施技術時，一器件可將用於該軟體之指令儲存於合適非 暫時性電腦可讀媒體中，且使用一或多個處理器而以硬體來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可被整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM推測視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述到視訊圖框或圖像可劃分成包括亮度樣本及色度樣本兩者之樹狀結構區塊或最大寫碼單元(largest coding unit,LCU)序列。樹狀結構區塊具有與H.264標準之巨集區塊相似之目的。截塊包括按寫碼次序之數個連續樹狀結構區塊。視訊圖框或圖像可分割成一或多個截塊。每一樹狀結構區塊可根據四元樹狀結構(quadtree)而分裂成若干寫碼單元(CU)。舉例而言，樹狀結構區塊(作為四元樹狀結構之根節點)可分裂成四個子節點，且每一子節點又可為一父節點且分裂成另外四個子節點。最終未分裂子節點(作為四元樹狀結構之葉節點)包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹狀結構區塊可被分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點，以及與寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小通常對應於寫碼節點之大小，且通常必須為正方形形狀。CU之大小的範圍可為自8×8像素直至具有64×64像素或更大之最大值的樹狀結構區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU成為一或多個 PU之分割。分割模式可在CU被跳過或直接模式編碼、被框內預測模式編碼抑或被框間預測模式編碼之間不同。PU可分割為非正方形形狀。與CU相關聯之語法資料亦可描述(例如)CU根據四元樹狀結構而成為一或多個TU之分割。TU可為正方形或非正方形形狀。
HEVC標準允許根據TU之變換，該等變換對於不同CU可不同。TU通常係基於針對經分割LCU所定義之給定CU內之PU的大小而定大小，但可不總是此狀況。TU通常具有與PU相同之大小，或小於PU。在一些實例中，可使用被稱為「殘差四元樹狀結構」(RQT)之四元樹狀結構而將對應於CU之殘差樣本再分成較小單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生變換係數，變換係數可被量化。
一般而言，PU包括與預測程序相關之資料。舉例而言，當PU被框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，當PU被框間模式編碼時，PU可包括定義用於PU之運動向量之資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精確度，或八分之一像素精確度)、運動向量所指向之參考圖像，及/或用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換程序及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可自由寫碼節點根據PU而識別之視訊區塊演算殘差值。接著，更新寫碼節點以參考殘差值而非原始視訊區塊。殘差值包含可使用TU中指定之變換及其他變換資訊而變換成變換係數、被量化且被掃描以產生序列化變換係數以供熵寫碼的像素差值。可再次更新寫碼節點以參考此等序列化變換係數。本發明通常使用術語「視訊區塊」以係指 CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」以係指包括寫碼節點以及PU及TU之樹狀結構區塊，亦即，LCU或CU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含該等視訊圖像中之一系列一或多個視訊圖像。GOP可在GOP之標頭中、在該等圖像中之一或多者之標頭中或在別處包括語法資料，語法資料描述包括於GOP中之數個圖像。圖像之每一截塊可包括描述用於各別截塊之編碼模式之截塊語法資料。視訊編碼器20通常對個別視訊截塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化大小，且其大小可根據所指定寫碼標準而不同。
作為一實例，HM以各種PU大小來支援預測。假定到特定CU之大小為2N×2N，則HM以2N×2N或N×N之PU大小來支援框內預測，且以2N×2N、2N×N、N×2N或N×N之對稱PU大小來支援框間預測。HM亦以2N×nU、2N×nD、nL×2N及nR×2N之PU大小來支援用於框間預測之不對稱分割。在不對稱分割中，CU之一個方向未被分割，而另一方向分割成25%及75%。對應於25%分割區的CU之部分係由「n」繼之以「向上」、「向下」、「左側」或「右側」之指示進行指示。因此，舉例而言，「2N×nU」係指水平地分割之2N×2N CU，其中2N×0.5N PU位於頂部上且2N×1.5N PU位於底部上。
在本發明中，「N×N」及「N乘N」可互換式地用以係指在垂直維度及水平維度方面的視訊區塊之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)且在水平方向上具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。區塊中之像素可按列及行而配置。此外，區塊未必需要在水 平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可演算由CU之TU指定之變換被應用的殘差資料。該殘差資料可對應於未經編碼圖像之像素與對應於CU之預測值之間的像素差。視訊編碼器20可形成用於CU之殘差資料，且接著變換該殘差資料以產生變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常係指如下程序：量化變換係數以可能地縮減用以表示該等係數之資料的量，從而提供進一步壓縮。量化程序可縮減與該等係數中之一些或全部相關聯之位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義掃描次序以掃描經量化變換係數，以產生可被熵編碼之序列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(context adaptive variable length coding,CAVLC)、上下文自適應性二進位算術寫碼(context adaptive binary arithmetic coding,CABAC)、以語法為基礎之上下文自適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding,SBAC)、機率區間分割熵(Probability Interval Partitioning Entropy,PIPE)寫碼或另一熵編碼方法而熵編碼一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用來解碼該視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸符號。上下文可關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸符號之可變長度 碼。可建構VLC中之碼字，使得相對較短碼對應於較可能符號，而較長碼對應於較不可能符號。以此方式，VLC之使用相比於(例如)針對每一待傳輸符號來使用等長度碼字可達成位元節省。機率判定可基於指派至符號之上下文。
可使用視訊編碼器20及視訊解碼器30之視訊應用程式可包括本機播放、串流、廣播/多播及交談應用程式。交談應用程式包括視訊電話及視訊會議。交談應用程式亦被稱作低延遲應用程式(low-delay application)，此在於：此等即時應用程式不容許顯著延遲。出於良好使用者體驗起見，交談應用程式需要全部系統之相對低端對端延遲，亦即，在來源器件處俘獲視訊圖框之時間與在目的地器件處顯示視訊圖框之時間之間的延遲。通常，用於交談應用程式之可接受端對端延遲應小於400ms。大約150ms之端對端延遲被認為極好。
交談應用程式之每一處理步驟可促成總端對端延遲。來自處理步驟之實例延遲包括俘獲延遲、預處理延遲、編碼延遲、傳輸延遲、接收緩衝延遲(對於去抖動)、解碼延遲、經解碼圖像輸出延遲、後處理延遲，及顯示延遲。通常，將使編碼解碼器延遲(編碼延遲、解碼延遲及經解碼圖像輸出延遲)在交談應用程式中最小化作為目標。詳言之，寫碼結構應確保圖像之解碼次序及輸出次序相同，使得經解碼圖像輸出延遲等於或接近於零。
視訊寫碼標準通常包括視訊緩衝模型之規格。在AVC及HEVC中，緩衝模型被稱作假設參考解碼器(HRD)，其包括經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)兩者之緩衝模型。CPB為含有經寫碼圖像以用於解碼之先進先出緩衝器。DPB為保持經解碼圖像以用於參考(例如，框間預測)、輸出重新排序、輸出延遲及最終顯示之緩衝器。CPB行為及DPB行為係由HRD數學地指定。HRD直接地強加對不同時序、緩衝器大小及位元率之約束，且間接地強加對位元串流特性 及統計之約束。完整HRD參數集合包括五個基本參數：初始CPB移除延遲、CPB大小、位元率、初始DPB輸出延遲，及DPB大小。
在AVC及HEVC中，將位元串流符合性及解碼器符合性指定為HRD規格之部分。儘管HRD被稱作解碼器，但通常亦在編碼器側處需要由HRD指定之一些技術以保證位元串流符合性，而通常在解碼器側處無需由HRD指定之一些技術。指定兩種類型之位元串流或HRD符合性，即，類型I及類型II。又，指定兩種類型之解碼器符合性(亦即，輸出時序解碼器符合性，及輸出次序解碼器符合性)。
類型I位元串流為網路抽象層(NAL)單元串流，其僅含有用於該位元串流中之所有存取單元之視訊寫碼層(VCL)NAL單元及nal_unit_type等於FD_NUT(填充符資料NAL單元(filler data NAL unit))之NAL單元。類型II位元串流除了含有用於該位元串流中之所有存取單元之VCL NAL單元及填充符資料NAL單元以外，亦含有以下各者中至少一者：除了填充符資料NAL單元以外之額外非VCL NAL單元、所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits語法元素，該等語法元素用NAL單元串流形成位元組串流。
圖2為說明用於假設參考解碼器(HRD)之緩衝器模型的方塊圖。HRD操作如下。由假設串流排程器(hypothetical stream scheduler,HSS)100遞送與根據所指定到達排程而流動至CPB 102中之解碼單元相關聯之資料。由HSS 100遞送之串流可為如上文所定義之類型I或類型II位元串流。在解碼單元之CPB移除時間由解碼程序104(例如，由視訊解碼器30)移除及解碼與每一解碼單元相關聯之資料。由視訊解碼器30執行解碼程序104。將由解碼程序104產生之每一經解碼圖像置放於DPB 106中。可在解碼程序104期間(例如，在框間預測期間)使用經解碼圖像作為參考圖像。當經解碼圖像變得不再被需要用於框間預 測參考且不再被需要用於輸出時，自DPB 106移除經解碼圖像。在一些實例中，可在顯示DPB 106中之經解碼圖像之前由輸出裁剪單元108裁剪該等經解碼圖像。輸出裁剪單元108可為視訊解碼器30之部分，或可為經組態以進一步處理視訊解碼器之輸出的外部處理器(例如，顯示處理器)之部分。
在AVC模型及HEVC HRD模型中，解碼或CPB移除係以存取單元(AU)為基礎，且假定到圖像解碼係瞬時的(例如，圖2中之解碼程序104被假定為瞬時的)。存取單元為網路抽象層(NAL)單元集合，且含有一個經寫碼圖像。在實務應用中，若合格解碼器嚴格地遵循(例如)由視訊編碼器20產生之圖像時序補充增強資訊(SEI)訊息中傳信之解碼時間以開始AU之解碼，則用以輸出特定經解碼圖像之最早可能時間等於彼特定圖像之解碼時間(亦即，一圖像開始被解碼之時間)加解碼彼特定圖像所需要之時間。在真實世界中解碼圖像所需要之時間不能等於零。
HEVC WD9包括支援以子圖像為基礎之CPB操作以實現縮減之編碼解碼器延遲，有時被稱作超低延遲。CPB可在AU層級(亦即，圖像層級)處操作抑或在子圖像層級(亦即，小於整個圖像)處操作，此取決於子圖像層級CPB操作是否受到解碼器偏好(其係可藉由HEVC規格中未指定之外部方式而指定)及是否存在子圖像CPB參數(在位元串流中或經由HEVC規格中未指定之外部方式)。當兩個條件皆真時，CPB在子圖像層級處操作(且在此狀況下，每一解碼單元被定義為一AU之一子集)。解碼單元(DU)為由解碼器操作之單元。否則，CPB在AU層級處操作(且在此狀況下，每一解碼單元被定義為一AU)。若語法元素SubPicCpbFlag等於0，則DU等於AU。否則，DU為AU之子集。
用於子圖像層級CPB參數之HEVC語法包括以下各者：- 以下語法位於序列參數集(sequence parameter set,SPS)之視 訊可用性資訊(video usability information,VUI)部分中
○是否存在子圖像層級CPB參數
○用於導出子刻度時脈之刻度除數
○CPB移除延遲長度
○在圖像時序SEI訊息中抑或在解碼單元資訊SEI訊息中傳信解碼單元CPB移除延遲值
○用於在子圖像層級處之CPB操作的CPB大小值之長度
- 以下語法位於緩衝週期SEI訊息中
○用於子圖像層級CPB操作之初始CPB移除延遲及延遲位移集合
- 以下語法位於圖像時序SEI訊息中
○存取單元中之解碼單元之數目
○每一解碼單元中之NAL單元之數目
○用於解碼單元之解碼單元CPB移除延遲值
- 以下語法位於圖像時序SEI訊息中
○每一解碼單元至存取單元中之解碼單元清單之索引
○用於每一解碼單元之解碼單元CPB移除延遲值
用以最小化CPB及/或DPB延遲時間之當前途徑展現以下缺點。經解碼圖像之輸出時間等於最後DU(亦即，用於AU層級操作之AU自身)之解碼時間(亦即，CPB移除時間)加經傳信DPB輸出延遲。因此，通常使用用以縮減該延遲之兩種途徑。一種途徑係較早地使解碼時間移位。另一途徑係縮減經傳信DPB輸出延遲(相對於CPB移除時間)之值。然而，用於超低延遲緩衝模型之現有解決方案僅涉及以子圖像為基礎之CPB操作，且僅利用第一途徑以縮減延遲。
鑒於此等缺點，本發明提議用於經由傳信及使用相對於CPB移除時間之經傳信DPB輸出延遲之縮減值而進一步縮減解碼延遲的技術。
具體言之，在本發明之一項實例中，由編碼器(例如)在圖像時序SEI訊息中傳信相對於每一AU之CPB移除時間之DPB輸出延遲的一個額外經傳信值。此額外經傳信DPB輸出延遲用來導出用於以子圖像為基礎之HRD操作之DPB輸出時間。在另一實例中，除了額外經傳信DPB輸出延遲以外，亦使用子刻度時脈而非刻度時脈來導出DPB輸出時間。
下文提供一些詳細實例。若未特定地提及，則以下實例之態樣可如HEVC WD9中所定義而操作。
根據本發明之一項實例，圖像時序SEI訊息之實例語法及語意如下。以粗體來展示由本發明變更或引入之語法元素。
在本發明之此實例中，粗體語法元素可操作如下。語法元素pic_dpb_output_du_delay用以計算當HRD在子圖像層級處操作時(亦即，當SubPicCpbFlag等於1時)的圖像之DPB輸出時間。語法元素 pic_dpb_output_du_delay指定在自DPB輸出經解碼圖像之前自CPB移除存取單元中之最後解碼單元之後要等待多少子時脈刻度。
在一項實例中，語法元素pic_dpb_output_du_delay之長度係由dpb_output_delay_length_minus1+1以位元為單位而給出。在另一實例中，語法元素pic_dpb_output_du_delay之長度係由另一語法元素之值加1以位元為單位而給出，其中(例如)該語法元素具有dpb_output_delay_length_du_minus1之名稱且在序列參數集之VUI部分中被傳信。
自輸出時序合格解碼器輸出之任何圖像之pic_dpb_output_du_delay導出的輸出時間應在自按解碼次序之任何後續經寫碼視訊序列中之所有圖像之pic_dpb_output_du_delay導出的輸出時間之前。在一項實例中，由此語法元素之值建立之圖像輸出次序應為與由如HEVC WD9中指定之語法元素PicOrderCntVal之值建立之次序相同的次序。語法元素PicOrderCntVal指示當前圖像之圖像次序計數(picture order count,POC)。POC值為與待自DPB輸出之每一圖像相關聯之變數，其指示按輸出次序之關聯圖像相對於同一經寫碼視訊序列中待自DPB輸出之其他圖像之輸出次序位置的位置。
對於未由「提昇(bumping)」程序(亦即，供自DPB移除圖像之程序)輸出之圖像，因為其按解碼次序在no_output_of_prior_pics_flag等於1或被推斷為等於1之瞬時解碼再新(instantaneous decoding refrosh,IDR)或斷鏈存取(broken link access,BLA)圖像之前，所以自pic_dpb_output_du_delay導出之輸出時間應隨著PicOrderCntVal相對於同一經寫碼視訊序列內之所有圖像之值增加而增加。語法元素no_output_of_prior_pics_flag指定如何在IDR或BLA圖像之解碼之後處理DPB中之經先前解碼圖像。若no_output_of_prior_pics_flag等於1或被推斷為1，則在解碼IDR或BLA圖像之後，將不輸出彼等經先前 解碼圖像，但將自經解碼圖像緩衝器(DPB)直接地清空/移除該等經先前解碼圖像。
在以下狀況下調用「提昇」程序。
- 當前圖像為IDR或BLA圖像，且no_output_of_prior_pics_flag不等於1且未被推斷為等於1。
- 當前圖像既不為IDR圖像又不為BLA圖像，且DPB中被標記為「被需要用於輸出」之圖像之數目大於被允許按解碼次序在任何圖像之前的圖像之最大數目(sps_max_num_reorder_pics[HighestTid])。
- 當前圖像既不為IDR圖像又不為BLA圖像，且DPB中之圖像之數目等於圖像儲存緩衝器單元中之DPB之最大所需大小(sps_max_dec_pic_buffering[HighestTid])。
「提昇」程序包括以下已排序步驟：
1.選擇首先用於輸出之圖像作為DPB中被標記為「被需要用於輸出」之所有圖像中的具有PicOrderCntVal之最小值之圖像。
2.使用用於該圖像之作用中序列參數集中指定之符合性裁剪窗來裁剪該圖像，輸出經裁剪圖像，且將該圖像標記為「未被需要用於輸出」。
3.若包括被裁剪及輸出之圖像之圖像儲存緩衝器含有被標記為「未用於參考」之圖像，則使圖像儲存緩衝器空白。亦即，若一圖像已被輸出用於顯示且不再被需要用於框間預測，則可「提昇」該圖像，亦即，自DPB移除該圖像。
對於經寫碼視訊序列中之任何兩個圖像，在子圖像層級HRD操作下導出的該兩個圖像之輸出時間之間的差應相同於在AU層級(亦即，圖像層級)HRD操作下導出之相同差。
一實例圖像輸出程序如下。在存取單元n之CPB移除時間tr(n)瞬時地發生以下情形。基於圖像n是否具有等於1之PicOutputFlag(亦 即，使用子圖像HRD)，其DPB輸出時間to,dpb(n)係由以下方程式導出：if(！SubPicCpbFlag)//亦即，HRD在AU層級處操作to,dpb(n)=tr(n)+tc*pic_dpb_output_delay(n)else//亦即，HRD在子圖像層級處操作to,dpb(n)=tr(n)+tc_sub*pic_dpb_output_du_delay(n)
其中pic_dpb_output_delay(n)及pic_dpb_output_du_delay(n)分別為與存取單元n相關聯之圖像時序SEI訊息中指定的pic_dpb_output_delay及pic_dpb_output_du_delay之值。變數tc被導出如下且被稱為時脈刻度：tc=num_units_in_tick÷time_scale
變數tc_sub被導出如下且被稱為子圖像時脈刻度：tc_sub=tc÷(tick_divisor_minus2+2)
根據本發明之一實例，當前圖像之輸出被指定如下：- 若PicOutputFlag等於1且to,dpb(n)=tr(n)，則輸出當前圖像。
- 否則，若PicOutputFlag等於0，則不輸出當前圖像，但將會將當前圖像儲存於DPB中，如由上文所概述之「提昇」程序所指定。
- 否則(PicOutputFlag等於1且to,dpb(n)>tr(n))，稍後輸出當前圖像且將會將當前圖像儲存於DPB中(如由「提昇」程序所指定)，且除非當前圖像被指示為不在to,dpb(n)之前的時間藉由等於1之no_output_of_prior_pics_flag之解碼或推斷而輸出，否則在時間to,dpb(n)輸出當前圖像。當輸出時，應使用作用中序列參數集中指定之符合性裁剪窗來裁剪圖像。
當圖像n為被輸出且不為被輸出之位元串流之最後圖像的圖像時，將△to,dpb(n)(亦即，圖像之間的DPB輸出時間)之值定義為：△to,dpb(n)=to,dpb(nn)-to,dpb(n)
其中nn指示按輸出次序在圖像n之後且具有等於1之PicOutputFlag的圖像。
圖3為說明可實施本發明所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以縮減或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干以空間為基礎之壓縮模式中任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干以時間為基礎之壓縮模式中任一者。
在圖3之實例中，視訊編碼器20包括預測處理單元41、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54，及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44，及框內預測處理單元46。出於視訊區塊重新建構起見，視訊編碼器20亦包括反量化單元58、反變換處理單元60，及求和器62。亦可包括解區塊濾波器(圖3中未圖示)以濾波區塊邊界，以自經重新建構視訊移除方塊效應假影(blockiness artifact)。視需要，解區塊濾波器通常將濾波求和器62之輸出。除瞭解區塊濾波器以外，亦可使用額外迴路濾波器(迴路內或迴路後)。
如圖3所展示，視訊編碼器20接收視訊資料，且預測處理單元41可將該資料分割成視訊區塊。此分割亦可包括分割成截塊、影像塊(tile)或其他較大單元，以及(例如)根據LCU及CU之四元樹狀結構之視訊區塊分割。視訊編碼器20通常說明編碼待編碼視訊截塊內之視訊區塊之組件。截塊可劃分成多個視訊區塊(且可能地劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼率及失真位準)而選擇用於當前視訊區塊之複數個可能寫碼模式中之一 者，諸如，複數個框內寫碼模式中之一者，或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘差區塊資料，且提供至求和器62以重新建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊相同之圖框或截塊中之一或多個相鄰區塊的框內預測性寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼，以提供時間壓縮。
運動估計單元42可經組態以根據用於視訊序列之預定型樣而判定用於視訊截塊之框間預測模式。該預定型樣可將該序列中之視訊截塊指明為P截塊、B截塊或GPB截塊。運動估計單元42及運動補償單元44可高度地整合，但出於概念目的而被分離地說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計用於視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為被發現在像素差方面接近地匹配於待寫碼視訊區塊之PU之區塊，像素差係可由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可演算用於儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於完全像素位置及分數像素位置之運動搜尋，且以分數像素精確度輸出運動向量。
運動估計單元42藉由比較經框間寫碼截塊中之視訊區塊之PU的位置與參考圖像之預測性區塊的位置而演算用於該PU之運動向量。 參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經演算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計判定之運動向量而提取或產生預測性區塊，從而可能地執行至子像素精確度之內插。在接收用於當前視訊區塊之PU之運動向量後，運動補償單元44即可在該等參考圖像清單中之一者中定位該運動向量所指向之預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值而形成像素差值來形成殘差視訊區塊。像素差值形成用於區塊之殘差資料，且可包括亮度差分量及色度差分量兩者。求和器50表示執行此減去運算之組件。運動補償單元44亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30用來解碼視訊截塊之視訊區塊。
作為如上文所描述的由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可框內預測當前區塊。詳言之，框內預測處理單元46可判定將用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在分離編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自經測試模式選擇將使用之適當框內預測模式。
舉例而言，框內預測處理單元46可使用用於各種經測試框內預測模式之速率-失真分析(rate-distortion analysis)來演算速率-失真值，且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊 之位元率(亦即，位元之數目)。框內預測處理單元46可自用於各種經編碼區塊之失真及速率演算比率，以判定哪一框內預測模式針對該區塊展現最佳速率-失真值。
在任何狀況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術而編碼指示選定框內預測模式之資訊。視訊編碼器20可在經傳輸位元串流中包括組態資料，組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)、編碼用於各種區塊之上下文之定義，以及將用於該等上下文中每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
在預測處理單元41經由框間預測抑或框內預測而產生用於當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘差視訊區塊。殘差區塊中之殘差視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上相似變換之變換而將殘差視訊資料變換成殘差變換係數。變換處理單元52可將殘差視訊資料自像素域轉換至變換域，諸如，頻域。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元率。量化程序可縮減與該等係數中之一些或全部相關聯之位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54接著可執行包括經量化變換係數之矩陣之掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、以語法為基礎之上下文自適 應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼，或另一熵編碼方法或技術。在由熵編碼單元56進行之熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30，或封存經編碼位元串流以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼用於正被寫碼之當前視訊截塊之運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以在像素域中重新建構殘差區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘差區塊加至參考圖像清單中之一者內之參考圖像中之一者的預測性區塊而演算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重新建構殘差區塊以演算次整數像素值以供運動估計中使用。求和器62將經重新建構殘差區塊加至由運動補償單元44產生之運動補償式預測區塊，以產生參考區塊以供儲存於參考圖像記憶體64(亦被稱為經解碼圖像緩衝器)中。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。
視訊編碼器20可經組態以實施本發明之技術。在一項實例中，視訊編碼器20可經組態以在用於視訊解碼器之HRD設定指示在圖像層級處之操作之狀況下使用第一DPB輸出延遲來判定第一DPB輸出時間、在用於視訊解碼器之HRD設定指示在子圖像層級處之操作之狀況下使用第二DPB輸出延遲來判定第二DPB輸出時間、在經編碼視訊位元串流中傳信第一DPB輸出延遲及第二DPB輸出延遲。下文將參看圖5來論述根據本發明之技術的視訊編碼器20之操作之另外實例。
圖4為說明可實施本發明所描述之技術之實例視訊解碼器30的方塊圖。在圖4之實例中，視訊解碼器30包括經寫碼圖像緩衝器(CPB)78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90，及經解碼圖像緩衝器(DPB)92。預測處理單 元81包括運動補償單元82及框內預測處理單元84。在一些實例中，視訊解碼器30可執行與關於來自圖3之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。
CPB 78儲存來自經編碼圖像位元串流之經寫碼圖像。在一項實例中，CPB 78為含有按解碼次序之存取單元(AU)之先進先出緩衝器。AU為根據所指定分類規則而彼此相關聯、按解碼次序連續且含有正好一個經寫碼圖像之網路抽象層(NAL)單元集合。解碼次序為圖像被解碼之次序，且可不同於圖像被顯示之次序(亦即，顯示次序)。CPB之操作可由假設參考解碼器(HRD)(諸如，根據本發明之技術而操作之HRD)指定。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級處接收語法元素。
當視訊截塊被寫碼為經框內寫碼(I)截塊時，預測處理單元81之框內預測處理單元84可基於經傳信框內預測模式及來自當前圖框或圖像之經先前解碼區塊之資料而產生用於當前視訊截塊之視訊區塊之預測資料。當視訊圖框被寫碼為經框間寫碼(亦即，B或P)截塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生用於當前視訊截塊之視訊區塊之預測性區塊。可自參考圖像清單中之一者內之參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於DPB 92中之參考圖像而使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素而判定用於 當前視訊截塊之視訊區塊之預測資訊，且使用該預測資訊以產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用經接收語法元素中之一些以判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊或P截塊)、用於截塊之參考圖像清單中之一或多者之建構資訊、用於截塊之每一經框間編碼視訊區塊之運動向量、用於截塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊之其他資訊。
運動補償單元82亦可基於內插濾波器而執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用之內插濾波器，以演算用於參考區塊之次整數像素之經內插值。在此狀況下，運動補償單元82可自經接收語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(亦即，解量化)位元串流中提供且由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20針對視訊截塊中之每一視訊區塊而演算之量化參數，以判定量化程度且同樣地判定應被應用之反量化程度。反變換處理單元88將反轉換(例如，反DCT、反整數變換或概念上相似反變換程序)應用於變換係數，以便在像素域中產生殘差區塊。
在運動補償單元82基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由求和來自反變換處理單元88之殘差區塊與由運動補償單元82產生之對應預測性區塊而形成經解碼視訊區塊。求和器90表示執行此求和運算之組件。視需要，亦可應用解區塊濾波器以濾波經解碼區塊，以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中 之經解碼視訊區塊儲存於DPB 92中，DPB 92儲存用於後續運動補償之參考圖像。DPB 92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上。類似於CPB 78，在一項實例中，DPB 92之操作可由HRD指定，如由本發明之技術所定義。
視訊解碼器30可經組態以實施本發明之技術。在一項實例中，視訊解碼器30可經組態以接收用於經解碼圖像之第一DPB輸出延遲及第二DPB輸出延遲、在用於視訊解碼器之HRD設定指示在圖像層級處之操作之狀況下針對經解碼圖像而使用第一DPB輸出延遲來判定第一DPB輸出時間，及在用於視訊解碼器之HRD設定指示在子圖像層級處之操作之狀況下針對經解碼圖像而使用第二DPB輸出延遲來判定第二DPB輸出時間。下文將參看圖6來論述根據本發明之技術的視訊解碼器30之操作之另外實例。
圖5為展示根據本發明之技術之實例編碼方法的流程圖。圖5之技術可由視訊編碼器20之一或多個結構實施。
在一項實例中，視訊編碼器20可經組態以在用於視訊解碼器之HRD設定指示在圖像層級處之操作之狀況下使用第一DPB輸出延遲來判定第一DPB輸出時間(500)，及在用於視訊解碼器之HRD設定指示在子圖像層級處之操作之狀況下使用第二DPB輸出延遲來判定第二DPB輸出時間(502)。視訊編碼器20可經進一步組態以在經編碼視訊位元串流中傳信第一DPB輸出延遲及第二DPB輸出延遲(504)。
視訊編碼器20可經進一步組態以傳信指示用於視訊解碼器之HRD設定處於圖像層級抑或處於子圖像層級之子圖像CPB旗標(506)，及基於子圖像CPB旗標而編碼視訊圖像(508)。
在本發明之一項實例中，判定第二DPB輸出時間包含將第二DPB輸出延遲乘以子圖像時脈刻度且將所得值加至CPB移除時間。在本發明之另一實例中，判定第一DPB輸出時間包含將第一DPB輸出延遲乘 以時脈刻度且將所得值加至CPB移除時間。
圖6為展示根據本發明之技術之實例解碼方法的流程圖。圖6之技術可由視訊解碼器30之一或多個結構實施。
在一項實例中，視訊解碼器30可經組態以接收指示用於視訊解碼器之HRD設定處於圖像層級抑或處於子圖像層級之子圖像CPB旗標(600)，及基於子圖像CPB旗標而解碼視訊圖像(602)。
視訊解碼器30可經進一步組態以接收用於經解碼圖像之第一DPB輸出延遲及第二DPB輸出延遲(604)，及在用於視訊解碼器之HRD設定指示在圖像層級處之操作之狀況下針對經解碼圖像而使用第一DPB輸出延遲來判定第一DPB輸出時間(606)，且在用於視訊解碼器之HRD設定指示在子圖像層級處之操作之狀況下針對經解碼圖像而使用第二DPB輸出延遲來判定第二DPB輸出時間(608)。
視訊解碼器30可經進一步組態以基於HRD設定而基於第一DPB輸出時間或第二DPB輸出時間自經解碼圖像緩衝器輸出圖像(610)。若子圖像CPB旗標指示出用於視訊解碼器之HRD設定指示在圖像層級處之操作，則使用第一DPB輸出時間，且若子圖像CPB旗標指示出用於視訊解碼器之HRD設定指示在子圖像層級處之操作，則使用第二DPB輸出時間。
在本發明之另一實例中，視訊解碼器30經組態以藉由將第二DPB輸出延遲乘以子圖像時脈刻度且將所得值加至CPB移除時間而判定第二DPB輸出時間。在本發明之另一實例中，視訊解碼器30經組態以藉由將第一DPB輸出延遲乘以時脈刻度且將所得值加至CPB移除時間而判定第一DPB輸出時間。
在一或多項實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸， 且由以硬體為基礎之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括促進(例如)根據通信協定而將電腦程式自一處傳送至另一處之任何媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(compact disc,CD)、雷射光碟、光學光碟、數位影音光碟(digital versatile disc,DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如以下各者之一或多個處理器執行指令：一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合式或離散邏輯電路系 統。因此，如本文所使用之術語「處理器」可指上述結構或適合於實施本文所描述之技術之任何其他結構中任一者。另外，在一些態樣中，本文所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於各種各樣之器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但其未必要求藉由不同硬體單元進行實現。實情為，如上文所描述，各種單元可組合於編碼解碼器硬體單元中，或由交互操作性硬體單元之集合(包括如上文所描述之一或多個處理器)結合合適軟體及/或韌體而提供。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (32)

  1. 一種解碼視訊之方法，該方法包含：接收用於一經解碼圖像之一第一經解碼圖像緩衝器(DPB)輸出延遲及一第二DPB輸出延遲；在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。
  2. 如請求項1之方法，其進一步包含：接收指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標；基於該子圖像CPB旗標而解碼視訊圖像；及基於該第一DPB輸出時間或該第二DPB輸出時間而自一經解碼圖像緩衝器輸出圖像，其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該圖像層級處之操作，則使用該第一DPB輸出時間，且其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該子圖像層級處之操作，則使用該第二DPB輸出時間。
  3. 如請求項1之方法，其中判定該第二DPB輸出時間包含將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間。
  4. 如請求項1之方法，其中判定該第一DPB輸出時間包含將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時 間。
  5. 一種編碼視訊之方法，該方法包含：在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下使用一第一經解碼圖像緩衝器(DPB)輸出延遲來判定一第一DPB輸出時間；在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間；及傳信該第一DPB輸出延遲及該第二DPB輸出延遲。
  6. 如請求項5之方法，其進一步包含：傳信指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標；及基於該子圖像CPB旗標而編碼視訊圖像。
  7. 如請求項5之方法，其中判定該第二DPB輸出時間包含將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間。
  8. 如請求項5之方法，其中判定該第一DPB輸出時間包含將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間。
  9. 一種經組態以解碼視訊資料之裝置，該裝置包含：一視訊解碼器，其經組態以：接收用於一經解碼圖像之一第一經解碼圖像緩衝器(DPB)輸出延遲及一第二DPB輸出延遲；在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第 一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。
  10. 如請求項9之裝置，其中該視訊解碼器經進一步組態以：接收指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標；基於該子圖像CPB旗標而解碼視訊圖像；及基於該第一DPB輸出時間或該第二DPB輸出時間而自一經解碼圖像緩衝器輸出圖像，其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該圖像層級處之操作，則使用該第一DPB輸出時間，且其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該子圖像層級處之操作，則使用該第二DPB輸出時間。
  11. 如請求項9之裝置，其中該視訊解碼器經組態以藉由將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間而判定該第二DPB輸出時間。
  12. 如請求項9之裝置，其中該視訊解碼器經組態以藉由將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間而判定該第一DPB輸出時間。
  13. 一種經組態以編碼視訊資料之裝置，該裝置包含：一視訊編碼器，其經組態以：在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下使用一第一經解碼圖像緩衝器(DPB)輸出延遲來判定一第一DPB輸出時間；在用於該視訊解碼器之該HRD設定指示在一子圖像層級處 之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間；及傳信該第一DPB輸出延遲及該第二DPB輸出延遲。
  14. 如請求項13之裝置，其中該視訊編碼器經進一步組態以：傳信指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標；及基於該子圖像CPB旗標而編碼視訊圖像。
  15. 如請求項13之裝置，其中該視訊編碼器經組態以藉由將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間而判定該第二DPB輸出時間。
  16. 如請求項13之裝置，其中該視訊編碼器經組態以藉由將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間而判定該第一DPB輸出時間。
  17. 一種經組態以解碼視訊資料之裝置，該裝置包含：用於接收用於一經解碼圖像之一第一經解碼圖像緩衝器(DPB)輸出延遲及一第二DPB輸出延遲的構件；用於在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間的構件；及用於在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間的構件。
  18. 如請求項17之裝置，其進一步包含：用於接收指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗 標的構件；用於基於該子圖像CPB旗標而解碼視訊圖像的構件；及用於基於該第一DPB輸出時間或該第二DPB輸出時間而自一經解碼圖像緩衝器輸出圖像的構件，其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該圖像層級處之操作，則使用該第一DPB輸出時間，且其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該子圖像層級處之操作，則使用該第二DPB輸出時間。
  19. 如請求項17之裝置，其中用於判定該第二DPB輸出時間的該構件包含用於將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間的構件。
  20. 如請求項17之裝置，其中用於判定該第一DPB輸出時間的該構件包含用於將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間的構件。
  21. 一種經組態以編碼視訊資料之裝置，該裝置包含：用於在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下使用一第一經解碼圖像緩衝器(DPB)輸出延遲來判定一第一DPB輸出時間的構件；用於在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間的構件；及用於傳信該第一DPB輸出延遲及該第二DPB輸出延遲的構件。
  22. 如請求項21之裝置，其進一步包含：用於傳信指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標的構件；及 用於基於該子圖像CPB旗標而編碼視訊圖像的構件。
  23. 如請求項21之裝置，其中用於判定該第二DPB輸出時間的該構件包含用於將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間的構件。
  24. 如請求項21之裝置，其中用於判定該第一DPB輸出時間的該構件包含用於將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間的構件。
  25. 一種電腦可讀儲存媒體，其儲存指令，該等指令在執行時使經組態以解碼視訊資料之一器件之一或多個處理器：接收用於一經解碼圖像之一第一經解碼圖像緩衝器(DPB)輸出延遲及一第二DPB輸出延遲；在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下針對該經解碼圖像而使用該第一DPB輸出延遲來判定一第一DPB輸出時間；及在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下針對該經解碼圖像而使用該第二DPB輸出延遲來判定一第二DPB輸出時間。
  26. 如請求項25之電腦可讀儲存媒體，其中該等指令進一步使該一或多個處理器：接收指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標；基於該子圖像CPB旗標而解碼視訊圖像；及基於該第一DPB輸出時間或該第二DPB輸出時間而自一經解碼圖像緩衝器輸出圖像，其中若該子圖像CPB旗標指示出用於該視訊解碼器之該HRD設定指示在該圖像層級處之操作，則使用該第一DPB輸出時間，且其中若該子圖像CPB旗標指示出用於該視 訊解碼器之該HRD設定指示在該子圖像層級處之操作，則使用該第二DPB輸出時間。
  27. 如請求項25之電腦可讀儲存媒體，其中該等指令使該一或多個處理器藉由將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間而判定該第二DPB輸出時間。
  28. 如請求項25之電腦可讀儲存媒體，其中該等指令使該一或多個處理器藉由將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間而判定該第一DPB輸出時間。
  29. 一種電腦可讀儲存媒體，其儲存指令，該等指令在執行時使經組態以編碼視訊資料之一器件之一或多個處理器：在用於一視訊解碼器之一假設參考解碼器(HRD)設定指示在一圖像層級處之操作之狀況下使用一第一經解碼圖像緩衝器(DPB)輸出延遲來判定一第一DPB輸出時間；在用於該視訊解碼器之該HRD設定指示在一子圖像層級處之操作之狀況下使用一第二DPB輸出延遲來判定一第二DPB輸出時間；及傳信該第一DPB輸出延遲及該第二DPB輸出延遲。
  30. 如請求項29之電腦可讀儲存媒體，其中該等指令進一步使該一或多個處理器：傳信指示用於該視訊解碼器之該HRD設定處於該圖像層級抑或處於該子圖像層級之一子圖像經寫碼圖像緩衝器(CPB)旗標；及基於該子圖像CPB旗標而編碼視訊圖像。
  31. 如請求項29之電腦可讀儲存媒體，其中該等指令使該一或多個處理器藉由將該第二DPB輸出延遲乘以一子圖像時脈刻度且將一所得值加至一CPB移除時間而判定該第二DPB輸出時間。
  32. 如請求項29之電腦可讀儲存媒體，其中該等指令使該一或多個處理器藉由將該第一DPB輸出延遲乘以一時脈刻度且將一所得值加至一CPB移除時間而判定該第一DPB輸出時間。
TW102147297A 2012-12-19 2013-12-19 在視訊寫碼中之低延遲緩衝模型 TWI530168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261739632P 2012-12-19 2012-12-19
US201261745423P 2012-12-21 2012-12-21
US14/036,615 US9374585B2 (en) 2012-12-19 2013-09-25 Low-delay buffering model in video coding

Publications (2)

Publication Number Publication Date
TW201440506A true TW201440506A (zh) 2014-10-16
TWI530168B TWI530168B (zh) 2016-04-11

Family

ID=50930858

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147297A TWI530168B (zh) 2012-12-19 2013-12-19 在視訊寫碼中之低延遲緩衝模型

Country Status (11)

Country Link
US (1) US9374585B2 (zh)
EP (1) EP2936818B1 (zh)
JP (2) JP6545623B2 (zh)
KR (1) KR101732294B1 (zh)
CN (1) CN104854870B (zh)
BR (1) BR112015014649B1 (zh)
DK (1) DK2936818T3 (zh)
ES (1) ES2765038T3 (zh)
HU (1) HUE047101T2 (zh)
TW (1) TWI530168B (zh)
WO (1) WO2014099489A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2813075A1 (en) * 2012-02-08 2014-12-17 Thomson Licensing Method and apparatus for using an ultra-low delay mode of a hypothetical reference decoder
KR101781774B1 (ko) * 2012-06-25 2017-09-25 닛본 덴끼 가부시끼가이샤 비디오 디코딩 장치, 방법 및 프로그램
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
KR102383006B1 (ko) 2013-04-07 2022-04-04 돌비 인터네셔널 에이비 출력 계층 세트들에서의 시그널링 변경
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
CN106921862A (zh) * 2014-04-22 2017-07-04 联发科技股份有限公司 多核解码器系统和视频解码方法
US10063867B2 (en) * 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
SG11201706160UA (en) 2015-02-27 2017-09-28 Sonic Ip Inc Systems and methods for frame duplication and frame extension in live video encoding and streaming
CN107770565A (zh) * 2016-08-15 2018-03-06 联发科技股份有限公司 低延迟视频编码的装置与方法
JP7346585B2 (ja) * 2019-03-01 2023-09-19 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想参照デコーダ
MX2021011016A (es) * 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
MX2021014687A (es) * 2019-09-23 2022-01-11 Electronics & Telecommunications Res Inst Metodo y dispositivo de codificacion/decodificacion de imagenes y medio de grabacion que almacena flujo de bits.
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021134018A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Signaling of decoded picture buffer parameters in layered video
JP2023508680A (ja) 2019-12-27 2023-03-03 バイトダンス インコーポレイテッド ビデオコーディングにおけるサブピクチャシグナリング
WO2021137598A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Dpb 관리 프로세스를 포함하는 영상 디코딩 방법 및 그 장치
WO2021142369A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Signalling of the wavefront parallel processing
CN115699746B (zh) * 2020-03-31 2023-10-20 Lg电子株式会社 图像编码/解码方法和发送比特流的方法
US20230156210A1 (en) * 2020-03-31 2023-05-18 Lg Electronics Inc. Image encoding/decoding method and apparatus based on picture split information and subpicture information, and recording medium storing bitstream
EP3972278A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture tracks in coded video
US11695965B1 (en) * 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2840589B2 (ja) * 1996-02-09 1998-12-24 富士通株式会社 データ圧縮装置及びデータ復元装置
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
US6539058B1 (en) * 1998-04-13 2003-03-25 Hitachi America, Ltd. Methods and apparatus for reducing drift due to averaging in reduced resolution video decoders
US6604158B1 (en) * 1999-03-11 2003-08-05 Realtime Data, Llc System and methods for accelerated data storage and retrieval
US7417568B2 (en) * 2000-10-03 2008-08-26 Realtime Data Llc System and method for data feed acceleration and encryption
US8692695B2 (en) * 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
US7296931B2 (en) * 2002-11-13 2007-11-20 Ntn Corporation Fluid lubricated bearing device
EP1518403A4 (en) * 2002-07-02 2009-03-18 Conexant Systems Inc HYPOTHETIC REFERENCE DECODER FOR COMPRESSED PICTURES AND VIDEO
US7532670B2 (en) * 2002-07-02 2009-05-12 Conexant Systems, Inc. Hypothetical reference decoder with low start-up delays for compressed image and video
EP1604528A2 (en) * 2002-09-17 2005-12-14 Ceperkovic, Vladimir Fast codec with high compression ratio and minimum required resources
JP2004173069A (ja) * 2002-11-21 2004-06-17 Canon Inc 画像データ記録装置及び記録方法
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8615038B2 (en) * 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
US8908577B2 (en) * 2005-12-02 2014-12-09 Qualcomm Incorporated Solving IP buffering delays in mobile multimedia applications with translayer optimization
JP2008167061A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 符号化装置及び符号化方法
MY162367A (en) * 2007-01-05 2017-06-15 Thomson Licensing Hypothetical reference decoder for scalable video coding
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
JP5264919B2 (ja) * 2007-10-05 2013-08-14 トムソン ライセンシング マルチビュービデオ（ｍｖｃ）符号化システム内にビデオユーザビリティ情報（ｖｕｉ）を取り込む方法及び装置
US20090109988A1 (en) 2007-10-26 2009-04-30 Chowdhary Musunuri Video Decoder with an Adjustable Video Clock
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8259794B2 (en) * 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization
US20100150230A1 (en) * 2008-12-17 2010-06-17 Apple Inc. Video coding system using sub-channels and constrained prediction references to protect against data transmission errors
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
KR20120027194A (ko) * 2009-04-21 2012-03-21 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
ES2703005T3 (es) * 2010-05-07 2019-03-06 Nippon Telegraph & Telephone Método de control de codificación de imágenes animadas, aparato de codificación de imágenes animadas y programa de codificación de imágenes animadas
RU2527740C2 (ru) 2010-05-12 2014-09-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ управления кодированием видео, устройство кодирования видео и программа кодирования видео
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
US10070126B2 (en) * 2011-06-28 2018-09-04 Hfi Innovation Inc. Method and apparatus of intra mode coding
SG10201408609SA (en) 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
US9892188B2 (en) * 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
US9565431B2 (en) * 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
JP2015526006A (ja) * 2012-06-29 2015-09-07 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ビデオ・データストリーム・コンセプト
US20140003534A1 (en) * 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
US9648322B2 (en) * 2012-07-10 2017-05-09 Qualcomm Incorporated Coding random access pictures for video coding
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US9451256B2 (en) * 2012-07-20 2016-09-20 Qualcomm Incorporated Reusing parameter sets for video coding
US9374583B2 (en) * 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
US9554146B2 (en) * 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US9351005B2 (en) * 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US20140192895A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Multi-resolution decoded picture buffer management for multi-layer video coding
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US9374581B2 (en) * 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
US9521393B2 (en) * 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US10554990B2 (en) * 2013-10-14 2020-02-04 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs

Also Published As

Publication number Publication date
ES2765038T3 (es) 2020-06-05
BR112015014649B1 (pt) 2023-02-07
HUE047101T2 (hu) 2020-04-28
TWI530168B (zh) 2016-04-11
CN104854870B (zh) 2018-12-04
DK2936818T3 (da) 2020-01-20
KR101732294B1 (ko) 2017-05-02
BR112015014649A2 (pt) 2017-07-11
US9374585B2 (en) 2016-06-21
EP2936818B1 (en) 2019-10-09
EP2936818A1 (en) 2015-10-28
KR20150099792A (ko) 2015-09-01
JP2016506159A (ja) 2016-02-25
WO2014099489A1 (en) 2014-06-26
JP6545623B2 (ja) 2019-07-17
JP2018110425A (ja) 2018-07-12
CN104854870A (zh) 2015-08-19
US20140169448A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
TWI530168B (zh) 在視訊寫碼中之低延遲緩衝模型
TWI530197B (zh) 於圖像及子圖像時序補充增強資訊訊息中發信之經寫碼圖像緩衝器移除時間
KR101788427B1 (ko) 비디오 코딩에서 비디오 타이밍을 위한 타이밍 정보 관계들로의 픽처 순서 카운트의 시그널링
DK2941869T3 (en) VIDEO BUFFERING OPERATIONS FOR DIRECT ACCESS IN VIDEO CODING
US10123030B2 (en) Streaming adaption based on clean random access (CRA) pictures
TWI559774B (zh) 具有改善隨機存取點圖像行爲之視訊寫碼