TW201946454A - 經解碼圖像緩衝器管理及動態範圍調整 - Google Patents

經解碼圖像緩衝器管理及動態範圍調整 Download PDF

Info

Publication number
TW201946454A
TW201946454A TW108113447A TW108113447A TW201946454A TW 201946454 A TW201946454 A TW 201946454A TW 108113447 A TW108113447 A TW 108113447A TW 108113447 A TW108113447 A TW 108113447A TW 201946454 A TW201946454 A TW 201946454A
Authority
TW
Taiwan
Prior art keywords
dra
image
reverse
video
domain
Prior art date
Application number
TW108113447A
Other languages
English (en)
Other versions
TWI793308B (zh
Inventor
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
丹姆裘 瑞斯諾斯基
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201946454A publication Critical patent/TW201946454A/zh
Application granted granted Critical
Publication of TWI793308B publication Critical patent/TWI793308B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述對一圖像執行一逆向動態範圍調整(DRA)作為自記憶體輸出該圖像之部分的實例。一種用於解碼視訊資料之器件包括：一記憶體，其經組態以將一圖像儲存於一DRA域中；及一處理器，其經組態以判定儲存於該記憶體中之該動態範圍調整(DRA)域中的該圖像將自該記憶體輸出，在判定該DRA域中之該圖像將輸出之後，執行輸出該DRA域中之該圖像的一程序，及在自該記憶體輸出該DRA域中之該圖像的該程序時，將逆向DRA應用於該圖像。

Description

經解碼圖像緩衝器管理及動態範圍調整
本發明係關於視訊編碼及視訊解碼。
數位視訊頻能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、高效率視訊寫碼(HEVC)標準、ITU-T H.265/高效率視訊寫碼(HEVC)及此等標準之擴展中描述的彼等視訊寫碼技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
本發明係關於具備高動態範圍(HDR)及寬色域(WCG)表示之視訊信號之寫碼的領域。更特定言之，本發明描述應用於某些色彩空間中之視訊資料以實現HDR及WCG視訊資料之更高效壓縮的發信及操作。本文中描述之技術可改良用於寫碼HDR及WCG視訊資料之基於混合變換的視訊寫碼系統(例如，利用包含框間及框內預測之基於區塊之視訊寫碼的視訊寫碼器)的壓縮效率。
視訊寫碼器(例如，視訊編碼器或視訊解碼器)經組態以執行「緩衝程序(bumping process)」以輸出(例如，用於顯示或進一步處理)當前儲存於經解碼圖像緩衝器(DPB)中之圖像。在一些實例中，視訊寫碼器經組態以基於時序參數輸出圖像。儲存於DPB中之圖像可儲存於映射域中(例如，在動態範圍調整(DRA))之後。映射域亦被稱作DRA域。在本發明中描述之一或多個實例中，視訊寫碼器可將逆向DRA應用於正移除之圖像(例如，作為緩衝程序之部分或基於時序參數)。以此方式，逆向DRA操作可整合至視訊寫碼器的操作中，而非在視訊寫碼器外部執行逆向DRA操作，由此促進更高效逆向DRA程序。此外，藉由應用逆向DRA，視訊寫碼器可能不需要將圖像儲存於DRA域及原始域兩者中或為框間預測執行自原始域至DRA域之運作中轉換。
在一個實例中，本發明描述一種解碼視訊資料的方法。方法包含判定儲存於記憶體中之動態範圍調整(DRA)域中之圖像將自記憶體輸出，在判定DRA域中之圖像將輸出之後，執行輸出DRA域中之圖像的程序，及在輸出DRA域中之圖像的程序時，將逆向DRA應用於圖像。
在一個實例中，本發明描述一種用於解碼視訊資料的器件。該器件包含：記憶體，其經組態以將圖像儲存於動態範圍調整(DRA)域中；及處理器，其經組態以判定儲存於該記憶體中之動態範圍調整(DRA)域中的圖像將自記憶體輸出，在判定DRA域中之圖像將輸出之後，執行輸出DRA域中之圖像的程序，及在自記憶體輸出DRA域中之圖像的程序時，將逆向DRA應用於圖像。
在一個實例中，本發明描述一種上面儲存有指令之電腦可讀儲存媒體，該指令在執行時使得用於解碼視訊資料之器件的一或多個處理器判定儲存於記憶體中之動態範圍調整(DRA)域中之圖像將自記憶體輸出，在判定DRA域中之圖像將輸出之後，執行輸出DRA域中之圖像的程序，及在輸出DRA域中之圖像的程序時，將逆向DRA應用於圖像。
在一個實例中，本發明描述一種用於解碼視訊資料的器件。器件包含用於判定儲存於記憶體中之動態範圍調整(DRA)域中之圖像將自記憶體輸出的構件，用於在判定DRA域中之圖像將輸出之後，執行輸出DRA域中之圖像的程序的構件，及用於在輸出DRA域中之圖像的程序時，將逆向DRA應用於圖像的構件。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2018年4月18日申請的美國臨時申請案第62/659,617號之權益，該申請案之全部內容以引用之方式併入。
在視訊編碼中，視訊編碼器編碼視訊資料以用於發信，且視訊解碼器執行互逆程序以解碼視訊資料。動態範圍調整(DRA)可應用於區塊/圖像中之視訊樣本，因此在「映射域」中產生樣本，該映射域為用於壓縮(例如，視訊編碼)之更高效表示。視訊寫碼(例如，編碼或解碼)可在映射域(例如，DRA域)中進行，因此該映射域中之圖像在框間預測期間為了參考目的固持於經解碼圖像緩衝器(DPB)中。框間預測為其中參考圖像中之區塊用於編碼當前圖像中之區塊的程序，且DPB儲存該等參考圖像。在一些實例中，參考圖像儲存於映射域中。
逆向DRA可在圖像輸出之前應用於DPB中之一些圖像以將樣本轉換至原始域。舉例而言，視訊解碼器可重建構映射域(例如，DRA域)中之視訊資料，且視訊解碼器或某一其他組件可執行逆向DRA程序以將映射域(例如，DRA域)中之圖像轉換回至原始域以供輸出用於顯示或進一步處理。
動態範圍調整為對視訊樣本執行之映射操作。動態範圍調整可應用於若干應用中之視訊樣本。待寫碼之視訊樣本視為原始域。在一些實例中，動態範圍調整應用於視訊以藉由將資料自原始域映射至映射域改良壓縮效率。此映射可被稱為正向映射，且編碼可在映射域中進行。逆向程序可在解碼器側上應用以將樣本轉換至原始域。
在一些實例中，DRA可用於將視訊轉換至更適合於顯示的域。舉例來說，在一些實例中，視訊可經捕捉且以適合於具有一個能力集合之顯示器的格式表示(例如，內容適合於在使用PQ (感知量化)轉移函數之HDR (高動態範圍)顯示器中顯示)。在解碼器側處使用之顯示器可能不具有此類能力(例如，僅可用伽馬轉移函數顯示SDR內容之顯示器)。在此類情況下，DRA可用於將視訊映射至更適合於第一顯示器的域。正向映射在此類情況下可為視情況選用的，且逆向映射可在解碼器側處執行。
本申請案中所揭示之技術可適用於使用映射於解碼器側上之某一形式的一或多個應用情境。將操作稱為逆向映射並不必然暗示將正向映射應用於原始視訊。對於特定顯示器，所捕捉之原始內容自身可為映射域，且逆向DRA映射之後的域可被視為本發明中描述之「原始域」。
如下文更詳細地描述，可能存在與處置解碼器側處之DRA相關操作相關聯的技術問題，例如增大的DPB大小或增加的計算複雜度或處理功率。本發明描述用以改良動態範圍調整及其與基於混合變換之視訊編解碼器的整合的若干技術，包括發信。作為一個實例，在解碼器側處，視訊解碼器或某一其他組件可在緩衝程序處或在將基於時序參數輸出圖像時將逆向DRA應用於圖像，順序地應用一致性裁剪窗。裁剪窗限定高度及寬度，且保持裁剪窗內的影像內容且丟棄剩餘部分(或基於裁剪窗之操作反之亦然)。以此方式，實例技術可為在解碼器側處執行DRA相關操作之技術問題的技術解決方案提供實際應用。
圖1為說明可執行本發明之技術的實例視訊編碼及解碼系統100的方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。大體而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經寫碼之視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如發信之資料。
如圖1中所示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示之經編碼視訊資料。特定言之，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可包括廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(即，膝上型）電腦、平板電腦、機上盒、諸如智慧型電話的電話手持機、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可被稱為無線通信器件。
在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用用於動態範圍調整之技術。由此，源器件102表示視訊編碼器件之實例，而目的地器件116表示視訊解碼器件之實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件116可與外部顯示器件介接，而非包括整合顯示器件。
如圖1中所示之系統100僅為一個實例。大體而言，任何數位視訊編碼及/或解碼器件可執行用於動態範圍調整之技術。源器件102及目的地器件116僅為源器件102產生經寫碼視訊資料以供傳輸至目的地器件116之此類寫碼器件的實例。本發明將「寫碼」器件稱為對資料執行寫碼(編碼及/或解碼)之器件。由此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，特定言之，分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，器件102、116可以實質上對稱的方式操作，使得器件102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊器件102、116之間的單向或雙向視訊傳輸，以用於例如視訊串流、視訊播放、視訊廣播或視訊電話。
大體而言，視訊源104表示視訊資料源(亦即，原始未經寫碼的視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)序列提供至視訊編碼器200，該視訊編碼器編碼圖像之資料。源器件102之視訊源104可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200編碼所捕捉、預捕捉或計算機產生的視訊資料。視訊編碼器200可將圖像之接收次序(有時稱作「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源器件102隨後可經由輸出介面108將經編碼視訊資料輸出至電腦可讀媒體110上以供由例如目的地器件116之輸入介面122接收及/或擷取。
源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或可替代地，記憶體106、120可儲存可分別由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或同等目的之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300的經編碼視訊資料。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝器，以例如儲存原始、經解碼及/或經編碼視訊資料。
電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102傳送至目的地器件116的任何類型之媒體或器件。在一個實例中，電腦可讀媒體110表示通信媒體使得源器件102能夠例如經由射頻網路或基於電腦之網路將經編碼視訊資料實時直接傳輸至目的地器件116。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變所接收之傳輸信號。通信媒體可包括任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源器件102至目的地器件116之通信的設備。
在一些實例中，源器件102可將經編碼資料自輸出介面108輸出至儲存器件112。類似地，目的地器件116可經由輸入介面122自儲存器件112存取經編碼資料。儲存器件112可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、Blu-ray™碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。
在一些實例中，源器件102可將經編碼視訊資料輸出至檔案伺服器114，或可儲存由源器件102產生之經編碼視訊的另一中間儲存器件。目的地器件116可經由串流或下載而自檔案伺服器114存取經儲存視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路器件或網路附接儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或適合於存取儲存於檔案伺服器114上之經編碼視訊資料的兩者的組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合操作。
輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如，乙太網卡)、根據各種IEEE 802.11標準中之任一者來操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包括無線組件之實例中，輸出介面108及輸入介面122可經組態以根據諸如4G、4G-LTE (長期演進)、進階LTE、5G等蜂巢式通信標準來轉移資料，諸如經編碼視訊資料。在輸出介面108包括無線傳輸器之一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11說明書、IEEE 802.15說明書(例如，ZigBee™)、Bluetooth™標準或類似者之其它無線標準來轉移資料，諸如經編碼視訊資料。在一些實例中，源器件102及/或目的地器件116可包括各別系統單晶片(SoC)器件。舉例而言，源器件102可包括SoC器件以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地器件116可包括SoC器件以執行歸於視訊解碼器300及/或輸入介面122之功能性。
本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。
目的地器件116之輸入介面122自電腦可讀媒體110 (例如，儲存器件112、檔案伺服器114或類似者)接收經編碼視訊位元串流。經編碼視訊位元串流電腦可讀媒體110可包括由視訊編碼器200定義之發信資訊，該發信資訊亦由視訊解碼器300使用，諸如具有描述視訊區塊或其他經寫碼單元(例如，圖塊、圖像、圖像組、序列或類似者)之特性及/或處理之值的語法元素。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示各種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
儘管圖1中未示出，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器200及視訊解碼器300各自可實施為各種合適編碼器及/或解碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。包括視訊編碼器200及/或視訊解碼器300之器件可包括積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
視訊編碼器200及視訊解碼器300可根據視訊寫碼標準操作，諸如ITU-T H.265，亦被稱作高效視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。替代地，視訊編碼器200及視訊解碼器300可根據其他專屬或工業標準操作，諸如聯合探索測試模型(JEM)或ITU-T H.266，其亦被稱作多功能視訊寫碼(VVC)。VVC標準之最新草案描述於2019年3月19日至27日於日內瓦的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家小組(JVET)第14次會議JVET-N1001-v2上，Bross等人的「Versatile Video Coding (草案5)」中(在下文中「VVC草案5」)。然而，本發明之技術不限於任何特定寫碼標準。
大體而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊寫碼。術語「區塊」通常係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本的二維矩陣。大體而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼明度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元(圖中未示)可執行此等轉換。
本發明大體可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括編碼或解碼區塊之資料的程序，例如預測及/或殘餘寫碼。經編碼視訊位元串流通常包括表示寫碼決策(例如寫碼模式)及圖像至區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及通常應理解為寫碼形成該圖像或區塊之語法元素的值。
HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。
作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據JEM或VVC來操作。根據JEM或VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹型單元(CTU)。視訊編碼器200可根據樹型結構分割CTU，諸如四分樹二元樹型(QTBT)結構或多類型樹型(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割的第一層級，及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。
在MTT分割結構中，區塊可使用四分樹(QT)分割、二進位樹(BT)分割及一或多種類型之三重樹(TT)分割來分割。三重樹分割為區塊分裂成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心劃分原始區塊情況下將區塊劃分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。
在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT或MTT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或多於兩個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。
視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割，或其他分割結構。為了解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。
本發明可能可互換地使用「N×N」及「N乘N」以指區塊(諸如CU或其他視訊區塊)在豎直及水平尺寸方面之樣本尺寸，例如16×16樣本或16乘16樣本。大體而言，16×16 CU在豎直方向上將具有16個樣本(y=16)且在水平方向上將具有16個樣本(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包括N×M個樣本，其中M未必等於N。
視訊編碼器200編碼CU之表示預測及/或殘餘資訊及其他資訊的視訊資料。預測資訊指示將如何對CU進行預測以便形成CU之預測區塊。殘餘資訊通常表示編碼前CU與預測區塊之樣本之間的逐樣本差。
為了預測CU，視訊編碼器200通常可經由框間預測或框內預測形成CU之預測區塊。框間預測通常係指自先前經寫碼圖像之資料預測CU，而框內預測通常係指自同一圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可執行運動搜尋以識別(例如，在CU與參考區塊之間的差方面)緊密匹配CU之參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。
為執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。JEM提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。大體而言，視訊編碼器200選擇描述當前區塊(例如，CU之區塊)之相鄰樣本的框內預測模式，自該框內預測模式預測當前區塊之樣本。此類樣本一般可與當前區塊在同一圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU。
視訊編碼器200編碼表示當前區塊之預測模式的資料。舉例而言，對於框間預測模式，視訊編碼器200可編碼表示使用多種可用框間預測模式中之哪一者以及對應模式之運動資訊的資料。舉例而言，對於單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來編碼仿射運動補償模式之運動向量。
在區塊之預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算該區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用次級變換，諸如模式依賴不可分次級變換(mode-dependent non-separable secondary transform；MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。
如上文所提及，在任何變換以產生變換係數後，視訊編碼器200可執行變換係數之量化。量化通常指變換係數經量化以可能減少用以表示變換係數的資料的量而提供進一步壓縮之程序。藉由執行量化程序，視訊編碼器200可減少與係數中之一些或所有相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值下捨入至m 位元值，其中n 大於m 。在一些實例中，為了執行量化，視訊編碼器200可執行待量化值之按位元右移位。
在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且隨後熵編碼向量之經量化變換係數。在其他實例中，視訊編碼器200可執行適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文自適應性二進位算術寫碼(CABAC)熵編碼一維向量。視訊編碼器200亦可熵編碼描述與經編碼視訊資料相關聯的後設資料之語法元素之值，以供由視訊解碼器300用於解碼視訊資料。
為執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能涉及(例如)符號之鄰近值是否為零值。機率判定可基於經指派至符號之上下文而進行。
視訊編碼器200可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中將語法資料(諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料)產生至視訊解碼器300。視訊解碼器300可同樣地解碼此類語法資料以判定如何解碼對應視訊資料。
以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像至區塊(例如，CU)之分割的語法元素及區塊之預測及/或殘餘資訊)的位元串流。最後，視訊解碼器300可接收位元串流並解碼經編碼視訊資料。
大體而言，視訊解碼器300執行與藉由視訊編碼器200執行之程序互逆的程序，以解碼位元串流之經編碼視訊資料。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但互逆的方式解碼位元串流之語法元素的值。語法元素可定義圖像至CTU之分割資訊及每一CTU根據對應分區結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如，CU)的預測及殘餘資訊。
殘餘資訊可由例如經量化變換係數表示。視訊解碼器300可逆量化及逆變換區塊之經量化變換係數，以再生區塊之殘餘區塊。視訊解碼器300使用經發信預測模式(框內或框間預測)及相關預測資訊(例如，框間預測之運動資訊)來形成區塊之預測區塊。視訊解碼器300隨後可(在逐樣本基礎上)使預測區塊與殘餘區塊組合以再生原始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。
根據本發明之技術，視訊編碼器200及/或視訊解碼器300可經組態以執行動態範圍調整(DRA)之操作。DRA可為應用於視訊樣本以將視訊樣本轉換至更適於壓縮之不同域(被稱作映射域或DRA域)的程序。僅為易於描述，關於視訊編碼器200及視訊解碼器300描述實例技術。然而，在一些實例中，視訊預處理器可執行DRA操作，且將結果輸出至視訊編碼器200以用於編碼。在一些實例中，視訊後處理器可自視訊解碼器300接收經解碼視訊資料且執行逆向DRA操作。逆向DRA操作將映射域中之視訊資料帶回至原始域，該原始域可為將顯示視訊資料(例如，HRD或WCG視訊)之域。實例技術可藉由處理電路執行，該處理電路之實例包括視訊預處理器、視訊編碼器200，或兩者在編碼器側上之組合、視訊後處理器、視訊解碼器300，或兩者在解碼器側上之組合。
然而，描述本發明中所描述之實例技術以使得視訊編碼器200及/或視訊解碼器300，且更特定言之，視訊解碼器300經組態以執行實例逆向DRA操作。藉由使視訊編碼器200及/或視訊解碼器300執行實例逆向DRA操作，本發明描述基於混合變換之視訊編解碼器之實例。舉例而言，視訊編碼器200及視訊解碼器300，除在「映射域」(亦被稱作DRA域)中編碼及解碼以外，視訊編碼器200及視訊解碼器300進一步經組態以執行逆向DRA操作以將DRA域視訊資料轉換至原始域中，以使得視訊後處理器不必執行此類操作。
使視訊解碼器300執行逆向DRA操作可能存在技術益處。舉例而言，藉由在視訊解碼器300內執行逆向DRA操作，視訊解碼器300可能不需要輸出縮放及偏移參數以用於對視訊後處理器執行逆向DRA操作，其可促使逆向DRA操作高效。舉例而言，在視訊解碼器300外部執行逆向DRA操作可能要求在儲存參數及稍後在後處理中擷取參數中浪費時間，而非在解碼程序中執行逆向DRA操作。
舉例而言，視訊解碼器300可接收圖像之經編碼視訊資料及包括該圖像之DRA參數的後設資料。在視訊後處理器執行逆向DRA操作之實例中，視訊解碼器300隨後可能需要確保後設資料與該圖像同步，此係因為視訊解碼器300可能需要輸出DRA域中之經解碼圖像且輸出彼圖像之後設資料以使得視訊後處理器可執行逆向DRA。若圖像與後設資料之間的同步丟失，則視訊後處理器可能不能夠恰當地執行逆向DRA。
此外，在一些實例中，視訊後處理器不一定直接耦接至視訊解碼器300但可為更遠下游的組件。作為一個實例，視訊後處理器可嵌入於顯示器件118中，且視訊解碼器300與顯示器件118之間可能存在多個組件。因此，在於視訊後處理器中執行逆向DRA之實例中，包括DRA參數之後設資料需要保持與圖像同步且穿過其中後設資料可相對於圖像非同步或丟失之多個不同組件。
因此，藉由在視訊解碼器300內執行逆向DRA，若包括DRA參數之後設資料變得與圖像非同步，則可能不存在負面影響。此外，DRA參數可能不必穿過多個組件，諸如在直至顯示器件118才執行逆向DRA之實例中。
在本發明中所描述之實例技術中，視訊編碼器200及視訊解碼器300可經組態以執行逆向DRA操作作為緩衝程序的一部分或作為基於時序參數輸出圖像之部分。經解碼圖像緩衝器(DPB)維持一組可用作框間預測之參考圖像的圖像或圖框。儲存於DPB中之圖像可儲存於DRA域中。
緩衝程序及基於時序參數輸出圖像之程序定義自DPB輸出且隨後移除圖像(例如，以使得新圖像可儲存於DPB中)之方式。在一或多個實例中，視訊編碼器200及視訊解碼器300可執行逆向DRA作為緩衝程序之部分或作為基於時序參數移除圖像之部分。舉例而言，視訊編碼器200及/或視訊解碼器300可判定儲存於DPB中之圖像將自DPB輸出。在判定圖像將輸出之後，視訊編碼器200及/或視訊解碼器300可執行輸出圖像之程序。在輸出圖像之程序時，視訊編碼器200及/或視訊解碼器300可將逆向DRA應用於圖像。
大體而言，在輸出圖像之程序時係指圖像可由視訊解碼器300外部之另一組件(例如，視訊後處理器)存取之前的例項。在一或多個實例中，在輸出圖像之程序時係指圖像自DPB輸出之一系列依序操作。在彼圖像標記為「為了參考目的未使用」時，該系列操作可能以選擇將輸出哪一圖像開始且以輸出且可能稍後移除所選圖像結束。在一些實例中，「在輸出圖像之程序時」執行之技術可後接識別將輸出哪一圖像，且在彼圖像經輸出之前(例如，在該圖像可由視訊解碼器300外部之另一組件存取之前)執行。
作為一個實例，視訊編碼器200及/或視訊解碼器300選擇將輸出哪一圖像(例如，基於緩衝程序或基於在圖像將輸出時之時序參數)，執行逆向DRA操作及圖像裁剪(或首先圖像裁剪且接著逆向DRA操作)及輸出圖像。隨後在圖像標記為「為了參考目的未使用」時清空儲存輸出圖像之DPB的圖像儲存緩衝器以自DPB移除圖像。在一些實例中，在輸出圖像之程序時，視訊編碼器200及/或視訊解碼器300可執行裁剪操作以移除圖像之部分。裁剪操作在一些實例中可為視情況選用之且在執行裁剪操作之實例中可在逆向DRA操作之前或之後進行。
在裁剪在逆向DRA操作之後進行的情況下，圖像在裁剪操作之後可能並不進一步處理或修改(但在一些實例中可用作參考圖像)直至圖像自DPB移除為止。在一些實例中，在輸出圖像之程序時，在裁剪在逆向DRA操作之前進行的情況下，圖像在逆向DRA操作之後可能並不進一步處理或修改(但在一些實例中可用作參考圖像)直至圖像自DPB移除為止。
因此，輸出程序包括選擇將輸出之圖像，輸出圖像且接著自DPB移除圖像。在選擇將輸出之圖像與輸出圖像之間可能存在裁剪操作。視訊編碼器200及/或視訊解碼器300可經組態以在輸出圖像之程序時執行逆向DRA操作，使得逆向DRA操作在選擇將輸出之圖像之後及在輸出圖像之前或移除圖像之前執行。裁剪操作可在逆向DRA操作之前或在逆向DRA操作之後執行。
應理解，視訊編碼器200可能不必將逆向DRA應用於圖像。在一些實例中，本發明中所描述之逆向DRA技術僅可適用於視訊解碼器300。然而，視訊編碼器200或許有可能執行實例技術。
如更詳細地描述，在本發明之其他部分中，緩衝程序之部分或基於時序參數移除亦可包括裁剪。在裁剪中，視訊編碼器200及/或視訊解碼器300可裁剪掉圖像之將並不顯示之部分。舉例而言，視訊編碼器200可定義裁剪窗且發信裁剪窗之大小(例如，高度及寬度)的資訊。視訊解碼器300裁剪掉圖像在裁剪窗外之部分。視訊編碼器200及/或視訊解碼器300可經組態以與將DRA應用於圖像之操作順序地執行裁剪。舉例而言，視訊編碼器200及/或視訊解碼器300可經組態以執行裁剪操作且接著應用逆向DRA。作為另一實例，視訊編碼器200及/或視訊解碼器300可經組態以應用逆向DRA且接著對結果執行裁剪。
本發明通常可指「發信」某些資訊，諸如語法元素。術語「發信」一般可指用於解碼經編碼視訊資料之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中發信語法元素的值。大體而言，發信係指在位元串流中產生值。如上文所提及，源器件102可實質上即時地將位元串流傳送至目的地器件116，或不即時傳送，諸如可在將語法元素儲存至儲存器件112以供目的地器件116稍後擷取時發生。
圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構130及對應寫碼樹型單元(CTU) 132之概念圖。實線表示四分樹分裂，且點線指示二元樹分裂。在二元樹之每一分裂(亦即，非葉)節點中，一個旗標經發信以指示使用哪一分裂類型(亦即，水平或豎直)，其中在此實例中，0指示水平分裂且1指示豎直分裂。對於四分樹分裂，不存在對於指示分裂類型之需要，此係由於四分樹節點將區塊水平地及豎直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器200可編碼，且視訊解碼器300可解碼用於QTBT結構130之區域樹層級(亦即實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器200可編碼，且視訊解碼器300可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。
大體而言，圖2B之CTU 132可與定義對應於在第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)，及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。
圖3為說明可執行本發明之技術的實例視訊編碼器200的方塊圖。為了解釋之目的提供圖3，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。為了解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之H.266視訊寫碼標準的視訊寫碼標準之上下文中描述視訊編碼器200。然而，本發明之技術不限於此等視訊寫碼標準，且大體可適用於視訊編碼及解碼。如下文將更詳細地解釋，視訊編碼器200可經組態以使用本發明之技術執行DRA操作。此外，在一些實例中，視訊預處理器可執行用於輸出至視訊編碼器200之實例操作。
在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元228。
視訊資料記憶體230可儲存待藉由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自(例如)視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以供用於藉由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體230及DPB 218可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。
在本發明中，對視訊資料記憶體230之參考不應解譯為限於在視訊編碼器200內部之記憶體(除非特定地如此描述)，或限於在視訊編碼器200外部之記憶體(除非特定地如此描述)。實情為，對視訊資料記憶體230之參考應理解為儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待編碼的當前區塊之視訊資料)的參考記憶體。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的臨時儲存。
圖3之各種單元經說明以輔助理解藉由視訊編碼器200執行的操作。單元可實施為固定功能電路、可程式化電路或其組合。固定功能電路指提供特定功能性且預設定可執行之操作的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊編碼器200可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標程式碼，或視訊編碼器200內之另一記憶體(未展示)可儲存此類指令。
視訊資料記憶體230經組態以儲存所接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內拷貝單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。
模式選擇單元202大體協調多個編碼遍次，以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇相比其他所測試組合具有更佳速率失真值的編碼參數之組合。
視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，並將一或多個CTU囊封於圖塊內。模式選擇單元202可根據樹狀結構分割圖像之CTU，諸如上文所描述之HEVC的QTBT結構或四分樹結構。如上文所描述，視訊編碼器200可用根據樹狀結構分割CTU來形成一或多個CU。此CU亦可大體被稱為「視訊區塊」或「區塊」。
大體而言，模式選擇單元202亦控制其組件(例如，運動估計單元222、運動補償單元224及框內預測單元226)以產生當前區塊(例如，當前CU，或在HEVC中，PU及TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如，儲存於DPB 218中之一或多個先前經寫碼圖像)中之一或多個緊密匹配的參考區塊。特定言之，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或其類似者，計算表示潛在參考區塊與當前區塊類似程度的值。運動估計單元222可使用當前區塊與所考慮之參考區塊之間的逐樣本差大體執行此等計算。運動估計單元222可識別具有由此等計算產生之最小值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。
運動估計單元222可形成一或多個運動向量(MV)，其關於當前圖像中之當前區塊的位置定義參考圖像中之參考區塊的位置。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言，對於單方向框間預測，運動估計單元222可提供單個運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224可接著使用運動向量產生預測區塊。舉例而言，運動補償單元224可使用運動向量擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於藉由各別運動向量識別之兩個參考區塊的資料，且例如經由逐樣本求平均值或經加權求平均值來組合所擷取之資料。
作為另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自鄰近當前區塊之樣本產生預測區塊。舉例而言，對於定向模式，框內預測單元226可在數學上大體組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算至當前區塊之相鄰樣本的平均值，且產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。
模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204自視訊資料記憶體230接收當前區塊之原始的未經寫碼版本，且自模式選擇單元202接收預測區塊之原始的未經寫碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義用於當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路形成殘餘產生單元204。
在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
在模式選擇單元未將CU進一步分割為PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N×2N、2N×N或N×2N之CU大小。
對於諸如區塊內拷貝模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯之各別單元產生用於正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而是產生指示基於所選擇調色板重建構區塊之方式的語法元素。在此等模式中，模式選擇單元202可將此等語法元素提供至熵編碼單元228以待編碼。
如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204隨後產生用於當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。
變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中被稱作「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可對殘餘區塊執行多個變換，例如初級變換及次級變換，諸如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘餘區塊。
量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化變換係數區塊之變換係數。視訊編碼器200 (例如，經由模式選擇單元202)可藉由調整與CU相關聯之QP值調整應用於與當前區塊相關聯之係數區塊的量化程度。量化可引入資訊之損耗，且因此，經量化變換係數可相比由變換處理單元206產生之原始變換係數具有較低精度。
逆量化單元210及逆變換處理單元212可將逆量化及逆變換分別應用於經量化變換係數區塊，以用變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊，產生對應於當前區塊之經重建構區塊(儘管可能具有一定程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。
濾波器單元216可對經重建區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應偽影。在一些實例中，可跳過濾波器單元216之操作。
視訊編碼器200將經重建區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波經重建區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建構區塊，以對當前圖像中之其他區塊進行框內預測。
大體而言，熵編碼單元228可熵編碼自視訊編碼器200之其他功能組件接收的語法元素。舉例而言，熵編碼單元228可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例，熵編碼單元228熵編碼來自模式選擇單元202的預測語法元素(例如，用於框間預測之運動資訊或用於框內預測之框內模式資訊)。熵編碼單元228可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元228可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法的上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數-哥倫布編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元228可在旁路模式中操作，其中語法元素未經熵編碼。
上文所描述之操作關於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度及色度分量。
在一些實例中，無需針對色度寫碼區塊重複關於明度寫碼區塊執行之操作。作為一個實例，無需重複識別明度寫碼區塊之運動向量(MV)及參考圖像的操作以用於識別色度區塊之MV及參考圖像 。實情為，明度寫碼區塊之MV可按比例縮放以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測程序可針對明度寫碼區塊及色度寫碼區塊係相同的。
視訊編碼器200表示經組態以編碼視訊資料之器件的實例，該器件包括經組態以儲存視訊資料之記憶體及在電路中實施且經組態以執行本發明中所描述之實例技術的一或多個處理單元。
舉例而言，視訊編碼器200包括耦接至DPB 218之圖像緩衝單元220。圖像緩衝單元220可經組態以執行儲存於DPB 218中之DRA域中之圖像的逆向DRA。在一些實例中，圖像緩衝單元220可經組態以對逆向DRA之結果或在執行逆向DRA之前執行裁剪操作(例如，在兩種情況下，裁剪操作與逆向DRA順序進行)。圖像緩衝單元220可針對視訊編碼器200視情況選用。舉例而言，視訊編碼器200可能並不經組態以執行逆向DRA技術或本發明中所描述之裁剪技術。然而，視訊編碼器200可經組態以產生視訊解碼器300執行逆向DRA及裁剪操作所需之資訊。
圖4為說明可執行本發明之技術的實例視訊解碼器300的方塊圖。為了解釋之目的而提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。如下文將更詳細地解釋，視訊解碼器300可經組態以使用本發明之技術執行DRA操作。此外，在一些實例中，視訊後處理器可基於自視訊解碼器300接收到之視訊資料執行實例操作。視訊後處理器及視訊解碼器300或兩者之組合為經組態以執行本發明中描述之一或多種實例技術之處理電路(例如，固定功能、可程式化或固定功能及可程式化之組合)的實例。
為了解釋之目的，本發明描述視訊解碼器300係根據JEM及HEVC之技術來描述的。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼器件執行。
在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB)314。預測處理單元304包括運動補償單元322及框內預測單元318。預測處理單元304可包括根據其他預測模式執行預測的額外單元。作為實例，預測處理單元304可包括調色板單元、區塊內拷貝單元(其可形成運動補償單元322之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。
CPB記憶體320可儲存待由視訊解碼器300之組件解碼的視訊資料，諸如經編碼視訊位元串流。可例如自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如，語法元素)的CPB。同樣，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的臨時資料。DPB 314大體儲存經解碼圖像，視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。CPB記憶體320及DPB 314可藉由同一記憶體器件或獨立記憶體器件提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。
另外或替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可用CPB 記憶體320儲存如上文所論述之資料。同樣，當視訊解碼器300之功能中的一些或全部實施於軟體中以藉由視訊解碼器300之處理電路執行時，記憶體120可儲存待由視訊解碼器300執行之指令。
圖4中所展示之各種單元經說明以輔助理解由視訊解碼器300執行的操作。單元可實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路係指提供特定功能性，且在可執行之操作上預設定的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在由在可程式化電路上執行之軟體進行視訊解碼器300之操作的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收及執行之軟體之指令(例如目標程式碼)。
熵解碼單元302可自CPB接收經編碼視訊資料，並熵解碼視訊資料以再生語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重建構單元310、及濾波器單元312可基於自位元串流提取之語法元素產生經解碼視訊資料。
大體而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可對每一區塊個別地執行重建構操作(其中當前正經重建構，即經解碼之區塊可被稱為「當前區塊」)。
熵解碼單元302可熵解碼定義經量化變換係數區塊之經量化變換係數的語法元素以及變換資訊，諸如量化參數(QP)及/或變換模式指示。逆量化單元306可使用與經量化變換係數區塊相關聯之QP來判定量化程度，且同樣判定逆量化程度供逆量化單元306應用。逆量化單元306可例如執行按位元左移操作以將經量化變換係數逆量化。逆量化單元306可由此形成包括變換係數之變換係數區塊。
在逆量化單元306形成變換係數區塊之後，逆變換處理單元308可將一或多個逆變換應用於變換係數區塊以產生與當前區塊相關聯之殘餘區塊。舉例而言，逆變換處理單元308可將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆定向變換或另一逆變換應用於係數區塊。
此外，預測處理單元304根據藉由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元322可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元322通常可以實質上類似於關於運動補償單元224 (圖3)所描述之方式的方式執行框間預測程序。
作為另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。此外，框內預測單元318通常可以實質上類似於關於框內預測單元226所描述之方式的方式執行框內預測過程(圖3)。框內預測單元318可將相鄰樣本之資料自DPB 314擷取至當前區塊。
重建構單元310可使用預測區塊及殘餘區塊重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。
濾波器單元312可對經重建區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以減少沿經重建區塊之邊緣的區塊效應偽影。濾波器單元312之操作不一定在所有實例中執行。
視訊解碼器300可將經重建區塊儲存於DPB 314中。如上文所論述，DPB 314可將參考資訊提供至預測處理單元304，諸如用於框內預測之當前圖像及用於後續運動補償之經先前解碼圖像的樣本。此外，視訊解碼器300可輸出來自DPB之經解碼圖像用於後續呈現於顯示器件上，諸如圖1之顯示器件118。
如所說明，視訊解碼器300包括圖像緩衝單元316。當圖像將自DPB 314輸出時，圖像經受緩衝程序。圖像緩衝單元316可經組態以執行緩衝程序。舉例而言，緩衝程序(亦被稱作輸出圖像之程序)可包括將逆向DRA應用於正輸出之圖像，且在一些實例中，裁剪程序。緩衝程序包括輸出圖像，及在一些實例中，當彼圖像不再為框間預測所需時，彼圖像自DPB 314之後續移除。
在一些實例中，圖像緩衝單元316可經組態以基於時序參數自DPB 314輸出圖像。舉例而言，視訊編碼器200可發信DbpOutputTime[]參數或視訊解碼器300可判定DbpOutputTime[]參數。DbpOutputTime[]參數為時序參數的實例。時序參數指示預期圖像將自DPB 314輸出之時間。圖像緩衝單元316可經組態以基於時序參數自DPB 314輸出圖像。
圖像緩衝單元316可經組態以將逆向DRA應用於圖像及應用裁剪程序(例如，其中逆向DRA及裁剪程序順序地應用)。在一些實例中，對於逆向DRA及裁剪程序之依序應用，圖像緩衝單元316可應用逆向DRA且接著應用裁剪程序。在一些實例中，對於逆向DRA及裁剪程序之依序應用，圖像緩衝單元316可應用裁剪程序且接著應用逆向DRA。執行逆向DRA及裁剪程序之實例方式在下文更詳細地描述
如上文所描述，視訊編碼器200可編碼DRA域中之視訊資料(例如，圖像)，其中原始域中之圖像經動態範圍調整(例如，藉由視訊預處理器)以在DRA域中產生更佳地適合於壓縮之圖像。因此，作為重建構視訊資料(例如，圖像)之部分，視訊解碼器300重建構DRA域中之圖像且將映射域中之圖像儲存於DPB 314中。
根據本發明中描述之一或多種實例技術，預測處理單元304 (或可能地某一其他單元)可經組態以判定儲存於DPB 314中之DRA域(例如，映射域)中的圖像將自DPB 314輸出。在判定DRA域中之圖像將輸出之後，圖像緩衝單元316可執行輸出DRA域中之圖像的程序。在自DPB輸出DRA域中之圖像的程序時，圖像緩衝單元316可將逆向DRA應用於圖像，且與逆向DRA之應用順序地，圖像緩衝單元316可將一致性裁剪窗應用於圖像以執行裁剪操作。
以此方式，視訊解碼器300表示視訊解碼器件之實例，該視訊解碼器件包括經組態以儲存視訊資料記憶體，及在電路中實施且經組態以執行本發明中描述之實例DRA操作的一或多個處理單元。
預期下一代視訊應用操作表示具有HDR及WCG之經擷取景物的視訊資料。所利用動態範圍及色域之參數為視訊內容之兩個獨立屬性，且為了數位電視及多媒體服務之目的，其規範由若干國際標準定義。舉例而言，ITU-R Rec. BT.709：「Parameter values for the HDTV standards for production and international programme exchange」及ITU-R Rec. BT.2020：「Parameter values for ultra-high definition television systems for production and international programme exchange」分別定義用於高清晰度電視(HDTV)及超高清晰度電視(UHDTV)之參數，諸如標準動態範圍(SDR)以擴展超出標準色域之色彩原色。Rec. BT.2100：「Image parameter values for high dynamic range television for use in production and international programme exchange」定義用於HDR電視用途之轉移函數及表示，包括支援廣色域表示之原色。亦存在其他標準開發組織(SDO)文獻，其指定其他系統中之動態範圍及色域屬性，例如DCI-P3色域經定義於SMPTE-231-2 (運動圖像及電視工程師協會)中且HDR之一些參數定義於SMPTE-2084中。在下文中提供視訊資料之動態範圍及色域的簡要描述。
動態範圍通常經定義為視訊信號之最大亮度與最小亮度(例如，明度)之間的比。亦可以「f光闌」為單位量測動態範圍，其中一個f光闌對應於信號動態範圍之加倍。在MPEG定義中，特徵化相對於多於16個f光闌之亮度變化的內容被稱作HDR內容。在一些術語中，10個f光闌與16個f光闌之間的位準被視為中間動態範圍，但在其他定義中被視為HDR。在本發明之一些實例中，HDR視訊內容可為相較於傳統使用之具備標準動態範圍之視訊內容(例如，如藉由ITU-R Rec.BT.709所指定之視訊內容)具有較高動態範圍的任何視訊內容。
人類視覺系統(HVS)能夠感知比SDR內容及HDR內容大很多的動態範圍。然而，HVS包括適應機構，其將HVS之動態範圍縮窄至所謂的同時範圍。同時範圍之寬度可取決於當前照明條件(例如，當前亮度)。儘管對由HDTV之SDR提供之動態範圍、UHDTV之經預期HDR及HVS動態範圍之觀測展示於圖5中。但精確範圍可基於每一個體及顯示器不同。
當前視訊應用及服務由ITU Rec.709調節且提供SDR，其通常支援每m2大約0.1燭光至100燭光(cd)之範圍的亮度(例如明度)(常常被稱作「尼特(nit)」)，從而導致小於10個f光闌。預期一些實例下代視訊服務將提供多達16個f光闌之動態範圍。儘管用於此等內容之詳細規格目前正在研發，但一些初始參數已於SMPTE-2084及ITU-R Rec.2020中予以指定。
除HDR以外，更逼真視訊體驗之另一態樣係色彩維度。色彩維度通常由色域定義。圖6為展示SDR色域(基於BT.709色彩原色之三角形400)及用於UHDTV之較廣色域(基於BT.2020色彩原色之三角形402)的概念圖。圖6亦描繪所謂的光譜軌跡(由舌片形狀之區域404定界)，從而表示天然色之界限。如圖6所說明，自BT.709 (三角形400)移動至BT.2020 (三角形402)，色彩原色旨在提供具有約多於70%之色彩的UHDTV服務。D65指定用於BT.709及/或BT.2020規範之實例白色。
用於DCI-P3、BT.709及BT.2020色彩空間之色域規範之實例展示於表1中。
表 1- 色域參數
如表1中可見，色域可由白點之X及Y值且由原色(例如，紅色(R)、綠色(G)及藍色(B))之x及y值定義。x及y值表示自色彩之色度(X及Z)及亮度(Y)導出之正規化值，如CIE 1931色彩空間所定義。CIE 1931色彩空間定義純色(例如，就波長而言)之間的連接及人眼如何感知此類色彩。
HDR/WCG視訊資料通常經獲取且以4:4:4色度格式儲存於每分量(偶數浮點)極高精度下及極寬色彩空間(例如，CIE XYZ)處。此表示以高精度為目標且在數學上幾乎無損。然而，用於儲存HDR/WCG視訊資料之此格式可包括大量冗餘且對於壓縮用途而言可能非最佳的。具有基於HVS之假設的較低精度格式可用於目前先進技術的視訊應用。
為了壓縮目的之視訊資料格式轉換程序之一個實例包括三個主要程序，如圖7中所示。
1. 用於動態範圍壓緊之非線性轉移函數(TF)
2. 至更緊密或穩固色彩空間之色彩轉換
3. 浮動至整數表示轉換(量化)
圖7之該等技術可由源器件102執行。線性RGB資料410可為HDR/WCG視訊資料且可以浮點表示儲存。可使用用於動態範圍壓緊之非線性轉移函數(TF) 412來壓緊線性RGB資料410。轉移函數412可使用任何數目個非線性轉移函數(例如，如SMPTE-2084中所定義之感知量化器(PQ) TF)壓緊線性RGB資料410。在一些實例中，色彩轉換程序414將經壓緊之資料轉換成更適合於藉由混合視訊編碼器(例如，視訊編碼器200)的壓縮的較緊密或穩固之色彩空間(例如，YUV或YCrCb色彩空間)。隨後使用浮動至整數表示量化單元416量化此資料以產生經轉換HDR'資料418 (例如，映射域資料或DRA域中之資料)。在此實例中，HDR之資料418呈整數表示。HDR'資料418現呈更適合於混合視訊編碼器(例如，應用其他混合視訊寫碼技術之HEVC的視訊編碼器200)的壓縮的格式。圖7中所描繪之程序的次序係作為一實例給出，且在其他應用中可改變。舉例而言，色彩轉換可先於TF過程。另外，例如空間次取樣之額外處理可應用於色彩分量。
解碼器側處之逆轉換描繪於圖8中。圖8之技術可藉由目的地器件116執行。經轉換HDR'資料420可使用混合視訊解碼器(例如，藉由應用HEVC或其他混合視訊寫碼技術之視訊解碼器300)經由解碼視訊資料在目的地器件116處獲得。接著可由逆量化單元422對HDR之資料420進行逆量化。接著可將逆色彩轉換程序424應用於經逆量化HDR之資料。逆色彩轉換程序424可為色彩轉換程序414之逆向。舉例而言，逆色彩轉換程序424可將HDR之資料自YCrCb格式轉換回至RGB格式。接下來，可將逆轉移函數426應用於資料以新增回藉由轉移函數412壓緊之動態範圍，從而重建線性RGB資料428。在一些實例中，執行逆轉換之實例操作可藉由執行視訊解碼器300及/或為該視訊解碼器之部分，諸如藉由緩衝單元316執行及/或為該緩衝單元之部分。
現將更詳細地論述圖7中所描繪之技術。一般而言，將轉移函數應用於資料(例如，HDR/WCG視訊資料)以壓緊資料之動態範圍，以使得由量化引起之錯誤在明度值範圍中在感知上(近似)均勻。此壓緊允許用較少位元來表示資料。在一個實例中，轉移函數可為一維(1D)非線性函數且可反映最終使用者顯示器之電光轉移函數(EOTF)之逆向，例如，如Rec.709中針對SDR所指定。在另一實例中，轉移函數可近似對亮度變換之HVS感知，例如，SMPTE-2084 (ST2084)中針對HDR所指定之PQ轉移函數。OETF之逆向程序為EOTF (電光轉移函數)，其將碼等級映射回至明度。圖9展示用作EOTF之非線性轉移函數之若干實例。該等轉移函數亦可單獨地應用於每一R、G及B分量。
ST2084之規範如下定義EOTF應用。將TF應用於正規化線性R、G、B值，此產生R'G'B'之非線性表示。ST2084藉由使NORM=10000定義標準化，其與10000尼特(cd/m2)之峰值亮度相關聯。
o R' = PQ_TF(max(0, min(R/NORM,1)) )
o G' = PQ_TF(max(0, min(G/NORM,1)) ) (1)
o B' = PQ_TF(max(0, min(B/NORM,1)) )
其中




在輸入值(線性色彩值)經正規化至範圍0…1之情況下，在圖10中觀測到PQ EOTF之正規化輸出值(非線性色彩值)。如自曲線所見，輸入信號之動力範圍之百分之1 (低照明)轉換成輸出信號之動力範圍之50%。
通常，EOTF經定義為具有浮點準確度之函數，因此若應用反向TF(所謂的OETF)，則無錯誤經引入至具有此非線性之信號。ST2084中所指定之逆向TF (OETF)經定義為inversePQ函數：
o R = 10000*inversePQ_TF(R')
o G = 10000*inversePQ_TF(G') (2)
o B = 10000*inversePQ_TF(B')
其中




藉由浮點準確度，依序應用EOTF及OETF提供無錯誤之完美的重建構。然而，對於串流或廣播服務，此表示並非最佳的。在以下章節中描述具有非線性R'G'B'資料之固定位元準確度的更緊密表示。
EOTF及OETF為當前非常活躍的研究之主題，且一些HDR視訊寫碼系統中所利用之TF可不同於ST2084。
在本發明之上下文中，術語「信號值」或「色彩值」可用於描述對應於影像元件的特定色彩分量(諸如，R、G、B或Y)之值的明度位準。信號值通常表示線性光階(明度值)。術語「碼層級」或「數位碼值」可指影像信號值之數位表示。通常，此數位表示表示非線性信號值。EOTF表示提供至顯示器件(例如，顯示器件118)之非線性信號值與由顯示器件產生之線性色彩值之間的關係。
RGB資料通常用作輸入色彩空間，此係因為RGB係通常藉由影像捕捉感測器產生之資料類型。然而，RGB色彩空間在其分量當中具有高冗餘且對於緊密表示而言並非最佳的。為達成更緊密且更穩固之表示，RGB分量通常經轉換(例如，執行色彩變換)至更適合於壓縮之更不相關色彩空間(例如，YCbCr)。YCbCr色彩空間分離不同的較不相關分量中的呈明度(Y)形式之亮度及色彩資訊(CrCb)。在此上下文中，穩固表示可指在以受限位元速率進行壓縮時特徵為較高階錯誤彈性之色彩空間。
對於現代視訊寫碼系統，通常使用之色彩空間為YCbCr，如ITU-R BT.709或ITU-R BT.709中所指定。BT.709標準中之YCbCr色彩空間指定自R'G'B'至Y'CbCr之以下轉換程序(非恆定明度表示)：
o Y' = 0.2126 * R' + 0.7152 * G' + 0.0722 * B'
o(3)
o
以上程序亦可使用避免Cb及Cr分量之除法的以下近似大致轉換來實施：
o Y' = 0.212600 * R' + 0.715200 * G' + 0.072200 * B'
o Cb = -0.114572 * R' - 0.385428 * G' + 0.500000 * B'
(4)
o Cr = 0.500000 * R' - 0.454153 * G' - 0.045847 * B'
ITU-R BT.2020標準指定自R'G'B'至Y'CbCr(非恆定明度表示)之以下轉換處理程序：
o Y' = 0.2627 * R' + 0.6780 * G' + 0.0593 * B'
o(5)
o
以上程序亦可使用避免Cb及Cr分量之除法的以下近似大致轉換來實施：
o Y' = 0.262700 * R' + 0.678000 * G' + 0.059300 * B'
o Cb = -0.139630 * R' - 0.360370 * G' + 0.500000 * B'
(6)
o Cr = 0.500000 * R' - 0.459786 * G' - 0.040214 * B'
應注意，兩個色彩空間皆保持標準化，因此，對於在0…1範圍內標準化之輸入值，所得值將映射至0…1之範圍。大體而言，藉由浮點準確度所實施之色彩變換提供完美的重建構，因此此程序無損。
上文所描述之處理階段通常實施於浮點準確度表示中，且因此可被視為無損。然而，對於大多數消費型電子裝置應用，此類型之準確度可被視為冗餘且昂貴的。對於此類服務，將目標色彩空間中之輸入資料轉換成目標位元深度固定點準確度。某些研究展示與PQ TF組合之10至12個位元準確度足以為16個f光闌之HDR資料提供低於恰好可辨差異(例如，需要改變以便可辨之失真的量)之失真。以10個位元準確度表示之資料可進一步藉由目前先進技術視訊寫碼解決方案之大部分寫碼。此轉換過程包括信號量化且為有損寫碼元件且為經引入至經轉換資料的不準確度源。
應用於目標色彩空間(在此實例中，YCbCr)中之碼字的此類量化之實例展示於下文中。將以浮點準確度表示之輸入值YCbCr轉換成Y值之固定位元深度BitDepthY及色度值(Cb、Cr)之固定位元深度BitDepthC之信號。
o
o(7)
o
其中
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
若x＜0，則Sign(x)=-1；若x=0，則Sign(x)=0；若x＞0，則Sign(x)=1
Floor( x ) 小於或等於x之最大整數
若x＞=0，則Abs(x)=x；若x＜0，則Abs(x)=-x
Clip1Y ( x ) = Clip3( 0, ( 1 ＜＜ BitDepthY ) - 1, x )
Clip1C ( x ) = Clip3( 0, ( 1 ＜＜ BitDepthC ) - 1, x )
若z＜x，則Clip3(x,y,z)=x；若z＞y，則Clip3(x,y,z)=y；否則Clip3(x,y,z)=z
動態範圍調整(DRA)程序在「Dynamic Range Adjustment SEI to enable High Dynamic Range video coding with Backward-Compatible Capability」, D. Rusanovskyy、A. K. Ramasubramonian、D. Bugdayci、S. Lee、J. Sole、M. Karczewicz, VCEG文獻COM16-C 1027-E, 2015年9月中提出。作者提議以針對輸入值x之非重疊動態範圍分區(範圍){Ri}之群組所定義的分段線性函數f(x)的形式實施DRA，其中i為範圍索引，其中範圍為0至N-1 (包括端點)，且其中N為用於定義DRA函數之範圍{Ri}之總數目。假定DRA之範圍由屬於範圍Ri (例如)的最小x值及最大x值定義，其中及分別表示範圍及之最小值。應用於視訊之Y色彩分量(明度)，DRA函數Sy經由應用於每一 之標度及偏移定義，因此。
在此情況下，對於任一Ri，及每一，輸出值X計算如下：
(8)
對於在解碼器處進行的用於明度分量Y之逆向DRA映射程序，DRA函數Sy由應用於每一的標度及偏移值之逆向定義。在此情況下，對於任一Ri，及每一，經重建構值x計算如下：
(9)
用於色度分量Cb及Cr之正向DRA映射程序定義如下。實例係藉由表示Cb色彩分量之樣本的項「u」給出，「u」屬於範圍Ri，，因此：
(10)
其中Offset 等於2(bitdepth-1) 表示雙極Cb、Cr信號偏移。
在解碼器處針對色度分量Cb及Cr進行的逆向DRA映射程序定義如下。實例係藉由表示再映射Cb色彩分量之樣本的U項給定，U項屬於範圍Ri，：
(11)
其中Offset 等於2(bitdepth-1) 表示雙極Cb、Cr信號偏移。
在JCTVC-W0101，A.K. Ramasubramonian, J. Sole, D. Rusanovskyy, D. Bugdayci, M. Karczewicz之「HDR CE2: Report on CE2.a-1 LCS」中提議明度驅動色度縮放(LCS)。此論文中，提出藉由採用與經處理色度樣本相關聯之亮度資訊調整色度資訊(例如Cb及Cr)的方法。類似地，對於VCEG文獻COM16-C 1027-E之DRA方法，JCTVC-W010，其提出針對色度樣本將縮放因數應用於Cb且應用於Cr。然而，代替針對方程式(3)及(4)中可藉由色度值u或v獲得之範圍集合以分段線性函數之形式定義DRA，LCS方法提出利用明度值Y導出用於色度樣本之縮放因數。在此情況下，色度樣本u (或v)之正向LCS映射如下進行：
(12)
在解碼器側處進行之逆向LCS程序定義如下：
(13)
更詳細地，對於位於(x,y)處之給定像素，色度樣本Cb(x,y)或Cr(x,y)以自藉由其明度值Y'(x,y)所存取之其LCS函數SCb (或SCr )導出的因數來縮放。
在色度樣本之正向LCS處，Cb (或Cr)值及其相關聯明度值Y'被視為至色度縮放函數SCb (或SCr ，)之輸入，且Cb或Cr如方程式9中所展示經轉換成Cb'及Cr'。在解碼器側處，應用逆向LCS，經重建構Cb'或Cr'如方程式(10)中所展示經轉換成Cb或Cr。

(14)

(15)
圖11展示LCS函數之實例，關於實例中之LCS函數，將具有較小明度值之像素之色度分量乘以較小縮放因數。
在實例中，本發明中描述之視訊樣本輸入至編碼器(例如，視訊編碼器200)；正向DRA，可能與LCS結合，可在編碼器(例如，視訊編碼器200)處應用以產生經映射樣本。應用正向DRA之前之視訊樣本稱為在「原始域」中；經映射樣本被稱作在「映射/DRA」域中。
類似地，剛好重建構之後的視訊樣本(假設逆向DRA並非重建構程序之部分)稱為在「映射/DRA」域中，且應用逆向DRA程序之後的視訊樣本稱為在原始域中。
現將論述視訊編解碼器之DRA樣本縮放與量化參數(QP)之間的關係。為調整編碼器處之壓縮比，基於區塊變換之視訊寫碼流程(諸如HEVC)利用純量量化器，其應用於區塊變換係數。
Xq = X/scalerQP
其中Xq為藉由施加自QP參數導出的縮放器scalerQP產生的變換係數X之經量化碼值。在大多數編解碼器中，經量化碼值將經估算為整數值(例如藉由舍入)。在一些編解碼器中，量化可為不僅取決於QP而且取決於編解碼器之其他參數的不同函數。
縮放器值scalerQP 用量化參數(QP)控制，其中QP與純量量化器之間的關係定義如下，其中k為已知的常數：
scalerQP= k*2^(QP/6) (16)
逆函數將應用於變換係數之純量量化器與HEVC的QP之間的關係定義如下：
QP = ln(scalerQP/k)*6 / ln(2); (17)
分別地，QP值之加性變化(例如deltaQP)將導致應用於變換係數之scalerQP值的倍增變化。DRA正有效地將scaleDRA 值應用於像素樣本值，並在考慮變換特性情況下，可與scalerQP值組合如下：
Xq = T(scaleDRA*x)/scaleQP
其中Xq為藉由經縮放x樣本值之變換T產生並以變換域中應用之scaleQP縮放的經量化變換係數。因此，在像素域中應用乘數scaleDRA導致縮放器量化器scaleQP之有效變化，縮放器量化器scaleQP係在變換域中應用。此隨後可在應用於資料之當前處理區塊的QP參數之加性變化中解譯：
dQP = log2(scaleDRA)*6; (18)
其中dQP為藉由HEVC藉由針對輸入資料部署DRA引入的近似QP偏移。
現將論述依賴於明度QP值之色度QP。目前先進技術視訊寫碼設計中之一些，諸如HEVC及較新者，可利用有效地應用於處理當前經寫碼區塊Cb之明度及色度QP值之間的預定義依賴性。此依賴性可用以達成明度與色度分量之間的最佳位元速率分配。
此依賴性的實例由HEVC規範之表8-10表示，其中應用於解碼色度樣本之QP值係自用於解碼明度樣本之QP值導出。其中基於對應明度樣本之QP值(例如應用於對應明度樣本所屬之區塊/TU的QP值)導出色度QP值之相關章節、色度QP偏移及HEVC規範之表8-10在下文再現：
當ChromaArrayType不等於0時，以下應用：
- 如下導出變數qPCb 及qPCr ：
- 若tu_residual_act_flag[xTbY][yTbY]等於0，則以下應用：
qPiCb = Clip3( -QpBdOffsetC , 57, QpY + pps_cb_qp_offset + slice_cb_qp_offset + CuQpOffsetCb ) (8-287)
qPiCr = Clip3( -QpBdOffsetC , 57, QpY + pps_cr_qp_offset + slice_cr_qp_offset + CuQpOffsetCr ) (8-288)
- 否則(tu_residual_act_flag[xTbY][yTbY]等於1)，以下適用：
qPiCb = Clip3( -QpBdOffsetC, 57, QpY + PpsActQpOffsetCb + slice_act_cb_qp_offset +
CuQpOffsetCb ) (8-289)
qPiCr = Clip3( -QpBdOffsetC, 57, QpY + PpsActQpOffsetCr + slice_act_cr_qp_offset +
CuQpOffsetCr ) (8-290)
- 若ChromaArrayType等於1，則變數qPCb 及qPCr 經分別設定為等於如在表8-10中基於等於qPiCb 及qPiCr 之索引qPi指定的QpC 之值。
- 否則，變數qPCb 及qPCr 基於等於qPiCb 及qPiCr 的索引qPi分別經設定等於Min( qPi, 51 )。
- Cb及Cr分量之色度量化參數Qp'Cb 及Qp'Cr 導出如下：
Qp'Cb = qPCb + QpBdOffsetC (8-291)
Qp'Cr = qPCr + QpBdOffsetC (8-292)
圖表 8-10- 隨等於 1 的 ChromaArrayType 之 qPi 而變化的 QpC 之規範
現將論述用於DRA之色度縮放因數之推導。
在採用運用DRA縮放的變換域及像素域兩者中之均勻純量量化的視訊寫碼系統中，應用於色度樣本(Sx)之標度DRA值的推導可取決於以下各者：
- SY ：相關聯明度樣本之明度標度值
- SCX ：自內容之色域導出的標度，其中CX在適當時代表Cb或Cr
- Scorr ：校正標度項，基於考慮變換寫碼及DRA縮放中之失配，例如以補償藉由HEVC之表8-10引入的依賴性
SX = fun(SY , SCX , Scorr )。
一個實例為定義如下之可分離函數：SX =f1(SY )*f2(SCX )*f3(Scorrr )
上文描述執行DRA操作之實例方式。下文描述輸出DRA域(例如，映射域)中之圖像的緩衝程序。
下文描述「緩衝操作」。該經解碼圖像緩衝器(DPB)維持一組在編解碼器之寫碼環路中可用作圖像間預測之參考的圖像/圖框。取決於寫碼狀態，一或多個圖像可輸出以供外部應用消耗或由外部應用讀取。取決於寫碼次序、DPB大小或其他條件，不再使用於寫碼環路中及由外部應用消耗之圖像可自DPB移除及/或經較新參考圖像替換。自DPB輸出圖像且潛在移除圖像之程序被稱作緩衝程序。針對HEVC定義之緩衝程序的實例在下文給出。下文，參考PicOrderCntVal或POC值。POC值指示圖像之輸出次序(例如，具有較高POC值之圖像比具有較小POC值之圖像稍晚輸出)。輸出次序(或顯示次序)無需與寫碼次序相同。舉例而言，在第二圖像之前輸出的第一圖像可在第二圖像之後經解碼。
C. 5.2.4 「緩衝」程序
「緩衝」程序由以下定序步驟組成：
1. 將首先用於輸出之圖像選擇為在DPB中經標記為「需要用於輸出」之所有圖像中具有最小PicOrderCntVal值之圖像。
2. 使用在用於該圖像之作用中SPS中指定的一致性裁剪窗裁剪圖像，輸出經裁剪圖像，且將該圖像標記為「不需要用於輸出」。
3. 當包括經裁剪及輸出之圖像的圖像儲存緩衝器含有標記為「為了參考目的未使用」之圖像時，清空圖像儲存緩衝器。
應注意--對於屬於相同CVS且由「緩衝程序」輸出之任何兩個圖像picA及picB，當picA比picB更早輸出時，picA之PicOrderCntVal的值小於picB之PicOrderCntVal的值。
上文，參考作用中序列參數集(SPS)中指定之「一致性裁剪窗」。HEVC標準之章節7.4.3.2.1定義通用序列參數集RBSP語義，且將一致性裁剪窗之實例定義為：該一致性裁剪窗含有具有自SubWidthC*conf_win_left_offset至pic_width_in_luma_samples- (SubWidthC*conf_win_right_offset+1)之水平圖像座標及自SubHeightC*conf_win_top_offset至pic_height_in_luma_samples- (SubHeightC*conf_win_bottom_offset+1)之豎直圖像座標(包括端點)的明度樣本。SubWidthC*(conf_win_left_offset+conf_win_right_offset)之值應小於pic_width_in_luma_samples，且SubHeightC* (conf_win_top_offset+conf_win_bottom_offset)之值應小於pic_height_in_luma_samples。當ChromaArrayType不等於0時，兩個色度陣列之對應指定樣本為具有圖像座標(x / SubWidthC, y / SubHeightC)之樣本，其中(x, y)為指定明度樣本之圖像座標。在一些實例中，一致性裁剪窗偏移參數僅在輸出處應用。在一些實例中，所有內部解碼程序應用於未經裁剪圖像大小。上文針對一致性裁剪窗所識別之變數為來自HEVC標準之實例變數。在一或多個非限制性實例中，變數之定義可與來自HEVC標準之定義相同，但對該等定義之某一修改係可能的。
動態範圍調整(DRA)可應用於區塊/圖像中之視訊樣本，因此在「映射域」中產生樣本，該映射域為用於壓縮之更高效表示。在一些實例中，視訊寫碼在映射域(例如，DRA域)中進行，因此為參考用於框間預測，映射域中之圖像可固持於DPB中。逆向DRA可在圖像輸出之前應用於DPB中之圖像以將樣本轉換至原始域。
舉例而言，對於框間預測，儲存於DPB 314中之圖像可處於DRA域中。此係因為儲存於DPB 314中之圖像係基於表示經編碼圖像之視訊資料重建構。經編碼圖像處於DRA域中，此係因為視訊編碼器200編碼DRA域中之圖像。
可能存在與在視訊解碼器300處執行逆向DRA之方式相關聯的技術問題。舉例而言，視訊解碼器300可經組態以將DRA域圖像轉換至原始域中(例如，藉由應用逆向DRA)。然而，當應用逆向DRA，諸如藉由儲存圖像或藉由將原始域中之圖像用作參考圖像時，可能存在某些技術問題。
在一個實例中，經解碼圖像緩衝器(DPB) 314含有映射/DRA域中之圖像以用於在寫碼環路中參考(例如，用於框間預測)。為了輸出之目的，單獨圖像緩衝器及/或DPB中之額外空間亦可用於將圖像儲存於原始域中(後逆向DRA)。在最壞情況下，此導致經解碼圖像緩衝器大小倍增(例如，DPB 314的大小倍增)。對於對記憶體要求敏感(例如額外記憶體要求可轉變為晶片/半導體上之更大面積)之實施，此增大之DPB大小要求可為昂貴的。
舉例而言，在一些實例中，DPB 314或許有可能將圖像儲存於DRA域中。另外，不同於圖4中所說明之實例，圖像緩衝單元316應用逆向DRA且將結果儲存回DPB 314中。在此實例中，DPB 314將圖像儲存於DRA域中且亦將相同圖像儲存於原始域中(例如，逆向DRA之結果)。此可導致DPB 314的大小倍增。隨後，在緩衝程序期間，視訊解碼器300可輸出原始域中之圖像以供進一步處理，諸如在標記為「為了參考目的未使用」時顯示圖像及/或刪除DRA域中之圖像。舉例而言，原始域中之圖像準備好輸出以供顯示，且DRA域中之圖像可用於框間預測。然而，在此情況下，存在具有相同圖像次數計數(POC)值之兩個圖像，其可導致緩衝程序之問題，此係因為兩個不同圖像係藉由相同POC值識別。
在一些實例中，或許有可能僅將原始域圖像儲存於DPB 314中，而非將DRA域圖像及原始域圖像皆儲存於DPB 314中。舉例而言，不同於圖4中所說明之實例，逆向DRA單元(圖中未示)可在DPB 314之前且對圖像執行逆向DRA以供儲存於DPB 314中。然而，此類技術可能存在技術劣勢。如上文所提及，對於框間預測，可能需要DRA域中之圖像而非原始域中之圖像。然而，在此情況下，DPB 314可將圖像儲存於原始域中。因此，DPB 314中之原始域圖像至DRA域的運作中轉換在DPB 314中之圖像(現儲存於原始域中)為框間預測所需時應為所需的。
亦即，在一個實例中，DPB 314含有原始域中之圖像，該原始域準備好輸出。為了在寫碼環路中(例如，框間預測)參考圖像之目的，「運作中」正向DRA映射在使用樣本之前應用，且逆向DRA映射在寫入樣本處應用於DPB 314 (例如，經由逆向DRA單元)作為寫碼之輸出。在一些寫碼架構中，可應用多個雙向DRA映射操作。此類多個操作可導致視訊解碼器300之更大計算複雜度或處理功率。
本發明描述用以改良動態範圍調整及其與基於混合變換之視訊編解碼器的整合的若干實例方法，包括發信。應理解，此等方法中之一或多者可獨立地或結合其他技術使用。
在一個實例中，與應用一致性裁剪窗順序地，視訊編碼器200或視訊解碼器300可在緩衝程序處或在由時序參數指示之時間處對圖像執行逆向動態範圍調整(DRA)。此外，時序參數指示預期圖像將輸出之時間。作為一個實例，視訊解碼器300可判定儲存於DPB 314中之DRA域中的圖像將自DPB 314輸出。作為一個實例，視訊解碼器300 (例如，經由預測處理單元304或某一其他電路)可判定DPB 314係滿的(例如，基於DPB 314大小)。可能存在視訊解碼器300判定儲存於DPB 314中之DRA域中的圖像將輸出在其他情況，諸如寫碼狀態、寫碼次序及其類似者。
在判定DRA域中之圖像將輸出之後，視訊解碼器300可執行自DPB 314輸出DRA域中之圖像的程序。舉例而言，回應於判定DRA域中之圖像將輸出，視訊解碼器300可輸出圖像。
在輸出DRA域中之圖像的程序時，視訊解碼器300可將逆向DRA應用於圖像。舉例而言，作為緩衝程序或基於時序參數之圖像輸出之部分，圖像緩衝單元316可將逆向DRA應用於圖像。在一或多個實例中，在輸出圖像之程序時係指導致圖像自DPB 314移除之一系列依序操作。在彼圖像標記為「為了參考目的未使用」時，該系列操作可能以選擇將輸出哪一圖像開始且以移除所選圖像結束。在一些實例中，「在輸出圖像之程序時」執行之技術可後接識別將輸出哪一圖像，且在彼圖像經移除之前執行。
作為一個實例，圖像緩衝單元316可判定將輸出哪一圖像(例如，標記為需要用於輸出)且輸出彼圖像並將該圖像標記為不需要用於輸出。視訊解碼器300隨後可將圖像標記為為了參考目的未使用(當彼圖像不再需要作為參考圖像時)，且DPB 314中之儲存該圖像之圖像緩衝器已清空。「在輸出圖像之程序時」執行的技術可在判定將輸出哪一圖像之間且在自DPB 314移除之前(例如，在DPB 314中之圖像緩衝器清空之前)執行或在圖像自儲存圖像之圖像緩衝器輸出之前執行。
與應用逆向DRA順序地，視訊解碼器300可將一致性裁剪窗應用於圖像。作為一個實例，在應用一致性裁剪窗之後的緩衝程序中，藉由視訊編碼器200或視訊解碼器300 (例如，藉由視訊編碼器200之圖像緩衝單元220或視訊解碼器300之圖像緩衝單元316）將逆向DRA映射應用於輸出圖像。作為一個實例，在應用一致性裁剪窗之前的緩衝程序中，藉由視訊編碼器200或視訊解碼器300 (例如，藉由視訊編碼器200之圖像緩衝單元220或視訊解碼器300之圖像緩衝單元316)將逆向DRA映射應用於輸出圖像。在又一實例中，逆向映射之應用可與一致性裁剪窗程序組合。
如更詳細地描述，視訊編碼器200及視訊解碼器300可經組態以基於一或多個DRA參數執行逆向DRA。視訊編碼器200可發信參數，且視訊解碼器300可接收DRA參數。在一些實例中，動態範圍調整(DRA)參數的一或多個集合可藉由視訊編碼器200發信以用於圖像，使得圖像中之兩個區塊可應用不同DRA映射。視訊解碼器300可經組態以接收及剖析此類參數。當調用此圖像之緩衝程序時或當時序參數指示將輸出該圖像時，應用對應於每一樣本/區塊之逆向DRA映射。
換言之，視訊解碼器300可接收指示圖像區塊之DRA參數的資訊。DRA參數之第一集合係用於圖像之第一區塊，且DRA參數之第二集合係用於圖像之第二區塊。DRA參數之第一集合中之一或多者的值可能與DRA參數之第二集合中之一或多者的值不同。為應用逆向DRA，視訊解碼器300 (例如，經由圖像緩衝單元316)可基於DRA參數之用於第一區塊之第一集合將逆向DRA應用於第一區塊，及基於DRA參數之用於第二區塊之第二集合將逆向DRA應用於第二區塊。
在以上實例中，兩個不同區塊描述為具有不同DRA參數(例如，逐塊基礎上之DRA參數)。在一些實例中，此處或許有可能為在逐區域基礎上之DRA參數，其中區域包括一或多個區塊(例如，圖塊或影像塊)。
在一些實例中，或許有可能判定在逐樣本基礎上之DRA參數，而非判定在逐區塊基礎或逐區域上之DRA參數。舉例而言，視訊解碼器300接收DRA參數(例如，用於DRA程序或逆向DRA程序之參數)的一或多個集合。在一些實例中，視訊解碼器300自用於DRA程序之DRA參數導出用於逆向DRA之DRA參數。視訊解碼器300在緩衝程序中或在時序參數指示將輸出該圖像時應用逆向DRA映射。如上文所描述，在一些實例中，經解碼圖像緩衝器(例如，DPB 314)在DRA應用於經編碼視訊時將圖像儲存於DRA映射域中。
上文所描述之一些方法可在編碼器(例如，視訊編碼器200)或解碼器(例如，視訊解碼器300)或兩者處應用。此等方法亦可應用於並不基於參考圖像集之DPB管理系統(例如AVC編解碼器)。
下文為上文所描述之一或多種技術可如何實施的一些實例。舉例而言，如上文所描述，視訊編碼器200及視訊解碼器300可經組態以應用逆向DRA。下文提供應用逆向DRA之一些實例方式。應用逆向DRA之實例技術描述為緩衝程序之部分。在下文中，加底線部分為添加至上文所描述之緩衝程序的彼等。
在實例1中，緩衝程序應用如下；變化藉由加底線而展示：
「緩衝」程序由以下定序步驟組成：
1. 將首先用於輸出之圖像選擇為在DPB中經標記為「需要用於輸出」之所有圖像中具有最小PicOrderCntVal值之圖像。
2.使 sY [ i ] 、 sCb [ i ] 、 sCr [ i ] 分別 為 與第 i DRA 分區之 Y 、 Cb 及 Cr 分量相關聯之逆向 DRA 標度 ， 且 oY [ i ] 、 oCb [ i ] 、 oCr [ i ] 為 分別與第 i DRA 分區之 Y 、 Cb 及 Cr 分量相關聯之逆向 DRA 偏移。
對於每一明度樣本 yi ， 逆向 DRA 映射明度樣本 yo 計算如下 ：
yo = sY [ k ] * y + oY [ k ],
其中明度樣本 y 屬於第 k DRA 分區。
對於每一 Cb 樣本 cbi ， 逆向 DRA 映射 Cb 樣本 cbo 計算如下 ：
cbo = sCb [ l ] * cbi + oCb [ l ],
其中對應於 cbi 之 明度樣本屬於第 l DRA 分區。
對於每一 Cr 樣本 cri ， 逆向 DRA 映射 Cr 樣本 cro 計算如下 ：
cro = sCr [ m ] * cri + oCr [ m ],
其中對應於 cri 之 明度樣本屬於第 m DRA 分區。
3. 使用在用於該圖像之作用中SPS中指定的一致性裁剪窗裁剪圖像，輸出經裁剪圖像，且將該圖像標記為「不需要用於輸出」。
4. 當包括經裁剪及輸出之圖像的圖像儲存緩衝器含有標記為「為了參考目的未使用」之圖像時，清空圖像儲存緩衝器。
應注意--對於屬於相同CVS且由「緩衝程序」輸出之任何兩個圖像picA及picB，當picA比picB更早輸出時，picA之PicOrderCntVal的值小於picB之PicOrderCntVal的值。
以上緩衝程序中之步驟2為實施逆向DRA程序之一個方法。應理解，本發明中所揭示之方法一般而言可適用於逆向DRA程序，包括其他實施。
在實例1中，sY (例如，明度縮放因數)、sCb (例如，第一色度縮放因數)及scr (例如，第二色度縮放因數)及oY (例如，明度偏移)、oCb (例如，第一色度偏移)及oCr (例如，第二色度偏移)為DRA參數之實例，視訊解碼器300基於藉由視訊編碼器200發信之資訊(例如，基於用於在編碼器側處執行DRA之DRA參數)或基於隱含技術判定該等DRA參數。為將逆向DRA應用於圖像，圖像緩衝單元316可經組態以用明度樣本(y)與明度縮放因數相乘且加上明度偏移以產生逆向DRA映射明度樣本(例如，yo )，用第一類型之色度樣本(例如，cbi )與第一色度縮放因數相乘且加上第一色度偏移以產生第一類型的逆向DRA映射色度樣本(例如，cbo )，及用第二類型之色度樣本(例如，cri )與第二色度縮放因數相乘且加上第二色度偏移以產生第二類型的逆向DRA映射色度樣本(例如，cro )。
在以上實例中，視訊解碼器300首先應用逆向DRA且接著執行裁剪。在一些實例中，視訊解碼器300可首先執行裁剪，且接著使用實例上文所描述的技術執行逆向DRA。
在實例2中，緩衝程序應用如下；變化藉由加底線而展示：
「緩衝」程序由以下定序步驟組成：
1. 將首先用於輸出之圖像選擇為在DPB中經標記為「需要用於輸出」之所有圖像中具有最小PicOrderCntVal值之圖像。
2. 使用一致性裁剪窗裁剪圖像，該經裁剪圖像使用實例 2 之 條款 X.X ( 下文 ) 中 指定之逆向映射程序再映射 ，再映射圖像經輸出，且該圖像標記為「不需要用於輸出」。
3. 當包括經裁剪、再映射及輸出之圖像的圖像儲存緩衝器含有標記為「為了參考目的未使用」之圖像時，清空圖像儲存緩衝器。
應注意--對於屬於相同CVS且由「緩衝程序」輸出之任何兩個圖像picA及picB，當picA比picB更早輸出時，picA之PicOrderCntVal的值小於picB之PicOrderCntVal的值。
實例2之條款X.X描述裁剪及映射程序且如下。至此程序之輸入為位於DPB中之圖像，即，樣本recPictureL 之陣列，及當ChromaArrayType不等於0時，符合由裁剪視訊參數指定之條件的陣列recPictureCb 及recPictureCr 。
此程序之輸出為藉由應用逆向DRA程序修改之樣本，即，陣列outPictureL ，及當ChromaArrayType不等於0時，陣列outPictureCb 及outPictureCr 。
1. 使sY [ i ]、sCb [ i ]、sCr [ i ]分別為與第i DRA分區之Y、Cb及Cr分量相關聯之逆向DRA標度，oY [ i ]、oCb [ i ]、oCr [ i ]為分別與第i DRA分區之Y、Cb及Cr分量相關聯之逆向DRA偏移。oY[ i ]、oCb[ i ]、oCr[ i ]之參數指定在縮放之前應用於樣本之DRA偏移。
對於每一明度樣本recPictureY ，逆向DRA映射明度樣本outPictureL 計算如下：
outPictureL = sY [ k ]*( recPictureY - oY[k]) + oY [ k ],
其中明度樣本y屬於第k DRA分區。
對於每一Cb樣本recPicturecb ，逆向DRA映射Cb樣本outPicturecb 計算如下：
outPicturecb = sCb [ l ] * (recPictureCb - oCb[k]) + oCb [ l ],
其中對應於cbi 之明度樣本屬於第l DRA分區。
對於每一Cr樣本recPicturecr ，逆向DRA映射Cr樣本outPicturecr 計算如下：
outPicturecr = sCr [ m ] * (recPictureCr - oCr[k]) + oCr [ m ],
其中對應於cri 之明度樣本屬於第m DRA分區。
在一個替代例中，oY[ i ]、oCb[ i ]、oCr[ i ]之值可分別不同於oY [ i ]、oCb [ i ]、oCr [ i ]之值。
在以上實例2中，首先裁剪圖像且接著應用逆向DRA。舉例而言，在實例2中，sY (例如，明度縮放因數)、sCb (例如，第一色度縮放因數)及scr (例如，第二色度縮放因數)、oY (例如，第一明度偏移)、oY (例如，第二明度偏移)、oCb (例如，第一色度偏移)、oCb (例如，第二色度偏移)、oCr (例如，第三色度偏移)及oCr (例如，第四色度偏移)為DRA參數之實例，視訊解碼器300基於藉由視訊編碼器200發信之資訊(例如，基於用於在編碼器側處執行DRA之DRA參數）判定該等DRA參數。下文包括視訊編碼器200可發信至視訊解碼器300之額外DRA參數之非限制性實例：範圍/分區(明度樣本值範圍所分裂成之分區)之數目；分區之端點；用於表示標度值之分數部分及整數部分的位元數目；用於表示偏移值之分數部分及整數部分之位元數目；等範圍旗標，其指示多個分區可共用相同標度值；色度標度值及色度偏移值，其可經發信但可在一些實例中經推斷。
為將逆向DRA應用於圖像，圖像緩衝單元316可經組態以自明度樣本減去第一明度偏移以產生初始明度偏移值(例如，(recPictureY - oY[k]為初始明度偏移值))。圖像緩衝單元316可用初始明度偏移值與明度縮放因數(例如，sY )相乘且加上第二明度偏移(例如，oY )以產生逆向DRA映射明度樣本。
圖像緩衝單元316可經組態以自第一類型之色度樣本減去第一色度偏移以產生第一類型的初始色度偏移值(例如，recPictureCb - oCb[k]為第一類型之初始色度偏移值)。圖像緩衝單元316可用第一類型之初始色度偏移值與第一色度縮放因數(例如，sCb )相乘且加上第二色度偏移(例如，oCb )以產生第一類型之逆向DRA映射色度樣本。
圖像緩衝單元316可經組態以自第二類型之色度樣本減去第三色度偏移以產生第二類型的初始色度偏移值(例如，recPictureCr - oCr[k]為第二類型之初始色度偏移值)。圖像緩衝單元316可用第二類型之初始色度偏移值與第二色度縮放因數(例如，sCr )相乘且加上第四色度偏移(例如，oCr )以產生第二類型之逆向DRA映射色度樣本。
在上文所描述的實例中，視訊解碼器300首先執行裁剪且接著應用逆向DRA。在視訊解碼器300首先執行逆向DRA之實例中，視訊解碼器300可類似於上文所描述但在裁剪之前執行實例技術。視訊解碼器300隨後可執行裁剪。
在實例2.1中，逆向DRA操作可使用查找表而非標度及偏移而應用。在一些實例中，DRA參數包括可用於導出查找表以將樣本自映射域(例如，DRA域)映射至原始域之發信參數。在如實例1中之情況下，為將逆向DRA應用於圖像，圖像緩衝單元316可經組態：針對圖像中之明度樣本，使用查找表獲得第一明度樣本且將該第一明度樣本用作原始域中之對應明度樣本；針對第一類型之色度樣本，使用查找表獲得第一色度樣本且將該第一色度樣本用作原始域中之對應色度樣本；針對第二類型之色度樣本，使用查找表獲得第二色度樣本且將該第二色度樣本用作原始域中之對應色度樣本。在其他情況下，查找表可用於獲得標度值以應用於樣本值。
在實例3中，緩衝程序應用如下；變化藉由加底線而展示：
「緩衝」程序由以下定序步驟組成：
1. 將首先用於輸出之圖像選擇為在DPB中經標記為「需要用於輸出」之所有圖像中具有最小PicOrderCntVal值之圖像。
2. 使用一致性裁剪窗裁剪圖像，該經裁剪圖像使用實例 3 之 條款 X.X ( 下文 ) 中 指定之逆向映射程序再映射 ，再映射圖像經輸出，且該圖像標記為「不需要用於輸出」。
3. 當包括經裁剪及輸出之圖像的圖像儲存緩衝器含有標記為「為了參考目的未使用」之圖像時，清空圖像儲存緩衝器。
應注意--對於屬於相同CVS且由「緩衝程序」輸出之任何兩個圖像picA及picB，當picA比picB更早輸出時，picA之PicOrderCntVal的值小於picB之PicOrderCntVal的值。
實例3之條款X.X描述裁剪及映射程序且如下。至此程序之輸入為位於DPB中之圖像，即，樣本recPictureL 之陣列，及當ChromaArrayType不等於0時，符合由裁剪視訊參數指定之條件的陣列recPictureCb 及recPictureCr 。
此程序之輸出為藉由應用逆向DRA程序修改之樣本，即，陣列outPictureL ，及當ChromaArrayType不等於0時，陣列outPictureCb 及outPictureCr 。
使sY [ i ][x,y]、sCb [ i ] [x,y]、sCr [ i ] [x,y]分別為與第i DRA分區之Y、Cb及Cr分量相關聯之逆向DRA標度，oY [ i ] [x,y]、oCb [ i ] [x,y]、oCr [ i ] [x,y]為分別與第i DRA分區之Y、Cb及Cr分量相關聯之逆向DRA偏移。oY[ i ] [x,y]、oCb[ i ] [x,y]、oCr[ i ] [x,y]之參數指定在縮放之前應用於樣本之DRA偏移。[x,y]為經計算為自當前圖像中之樣本的左上方(0,0)座標偏移之樣本的水平及豎直座標。
對於每一明度樣本[x,y]，逆向DRA映射明度樣本[x,y]計算如下：
outPictureL [x,y] = sY [ k ] [x,y]*( recPictureY [x,y]- oY[k] [x,y]) + oY [ k ] [x,y],
其中明度樣本y屬於第k DRA分區。
對於每一Cb樣本recPicturecb ，考慮經寫碼圖像之ChromaArrayType，相應地計算逆向DRA映射Cb樣本outPicturecb 。
實例3類似於實例2。然而，在實例3中，縮放及偏移參數針對不同樣本可不同或針對不同區塊或區域(例如，其中區域包括一或多個區塊)可不同。舉例而言，視訊解碼器300可經組態以基於DRA參數之用於第一區塊的第一集合將逆向DRA應用於圖像之第一區塊，且基於DRA參數之第二集合將逆向DRA應用於圖像之第二區塊(例如，針對兩個區塊可具有不同偏移及/或縮放因數)。
在以上實例中，視訊解碼器300可與執行裁剪順序地執行逆向DRA (例如，在應用逆向DRA之前或在應用逆向DRA之後應用一致性裁剪窗)。在一些實例中，在應用逆向DRA之前應用一致性裁剪窗可為有益的，此係因為存在對其應用逆向DRA之較少樣本。
然而，DRA參數可基於整個圖像在裁剪之前經定義，且因此對DRA參數之調整可能需要考慮裁剪。舉例而言，DRA參數可針對兩個區塊B1及B2經定義，其中區塊可基於區塊之邊界自圖像邊界之偏移值經定義。偏移值亦可作為DRA參數之部分經發信。
考慮大小為明度樣本之500×250個單元的圖像，其藉由裁剪圖像之左方及右方的10個樣本行及頂部及底部之5個樣本列裁剪至大小為480×250個樣本的圖像。使B1及B2藉由區塊之頂部、底部、左方及右方邊界自圖像之對應邊界的如下偏移定義：針對B1分別為100、50、100及300，且針對B2分別為150、0、300及100。在此實例中，B1為具有(100,100)處之左上方位置的大小100×100之區塊，且B2為具有（150,300）處之左上方位置的大小100×100之區塊。若逆向DRA在裁剪之後應用，則參數應在與經發信之彼等不同的樣本之窗上應用。對於經裁剪圖像，區塊B1現應分別具有偏移95、45、90及290，且區塊B2應具有偏移145、0、290、90。
在此實例中，由於區塊B2之部分經裁剪掉，區塊B2之高度不再為100。對於可能不具有將此類修改應用於DRA參數之能力的解碼器，在逆向DRA操作之後應用裁剪窗可為有益的。
圖12為說明解碼視訊資料之實例方法的流程圖。為了易於說明，實例技術描述為藉由視訊解碼器300解碼視訊資料之部分。在一些實例中，視訊編碼器200 (例如，經由圖像緩衝單元220)可經組態以執行類似操作。
視訊解碼器300可經組態以判定儲存於DPB 314中之動態範圍調整(DRA)域中的圖像將自DPB 314輸出(500)。舉例而言，視訊解碼器300可判定DPB 314係滿的，且圖像將移除以使得存在用以儲存下一圖像之空間。如上文所描述，DPB 314中之圖像為經解碼圖像且在自DPB 314輸出之前用作參考圖像(例如，用於框間預測)。在一些例子中，視訊解碼器可判定儲存於DPB 314中之DRA域中的圖像將在特定DpbOutputTime[] (例如，時序參數)處輸出，其中圖像經預期為如位元串流一致性參數所描述之輸出。
在判定DRA域中之圖像將輸出之後，視訊解碼器300可執行輸出DRA域中之圖像的程序(502)。舉例而言，圖像緩衝單元316可經組態以基於時序參數執行緩衝程序或圖像輸出。如上文所描述，在一個非限制性實例中，作為緩衝程序之部分，將輸出之圖像為在DPB 314中標記為「需要用於輸出」之所有圖像中具有最小PicOrderCntVal值(POC值)的圖像。圖像緩衝單元316可判定標記為需要用於輸出且具有最小POC值之圖像為待輸出之圖像且可執行緩衝程序以輸出圖像。在某一實例中，圖像緩衝單元316可基於時序參數判定圖像將輸出之時間且基於時序參數輸出圖像。
在自DPB 314輸出DRA域中之圖像的程序時，視訊解碼器300可將逆向DRA應用於圖像(504)。可能存在視訊解碼器300可將逆向DRA應用於圖像之各種方式。作為一個實例，圖像緩衝單元316可用明度樣本與明度縮放因數相乘且加上明度偏移以產生逆向DRA映射明度樣本，且針對圖像中之明度樣本重複此等操作。圖像緩衝單元316可用第一類型之色度樣本與第一色度縮放因數相乘且加上第一色度偏移以產生第一類型之逆向DRA映射色度樣本，且針對圖像中之第一類型的色度樣本重複此等操作。圖像緩衝單元316可用第二類型之色度樣本與第二色度縮放因數相乘且加上第二色度偏移以產生第二類型之逆向DRA映射色度樣本，且針對圖像中之第二圖像的色度樣本重複此等操作。
作為另一實例，為將逆向DRA應用於圖像，圖像緩衝單元316可自明度樣本減去第一明度偏移以產生初始明度偏移值，用初始明度偏移值與明度縮放因數相乘且加上第二明度偏移以產生逆向DRA映射明度樣本，及針對圖像中之明度樣本重複此等操作。圖像緩衝單元316可自第一類型之色度樣本減去第一色度偏移以產生第一類型之初始色度偏移值，用第一類型之初始色度偏移值與第一色度縮放因數相乘且加上第二色度偏移以產生第一類型之逆向DRA映射色度樣本，及針對圖像中之第一類型的色度樣本重複此等操作。圖像緩衝單元316可自第二類型之色度樣本減去第三色度偏移以產生第二類型之初始色度偏移值，用第二類型之初始色度偏移值與第二色度縮放因數相乘且加上第四色度偏移以產生第二類型之逆向DRA映射色度樣本，及針對第二類型的色度樣本重複此等操作。
在一些實例中，視訊解碼器300可判定用於圖像區塊之DRA參數。DRA參數之第一集合係用於圖像之第一區塊，且DRA參數之第二集合係用於圖像之第二區塊。DRA參數之第一集合中之一或多者的值可能不同於DRA參數之第二集合中之一或多者的值。在此類實例中，為應用逆向DRA，視訊解碼器300 (例如，經由圖像緩衝單元316)可基於DRA參數之用於第一區塊的第一集合將逆向DRA應用於第一區塊，且基於DRA參數之用於第二區塊的第二集合將逆向DRA應用於第二區塊。
在一些實例且不一定所有實例中，與應用逆向DRA順序地，視訊解碼器300可經組態以將一致性裁剪窗應用於圖像(506)。作為一個實例，與應用逆向DRA順序地，圖像緩衝單元316可在應用逆向DRA之前應用一致性裁剪窗。圖像緩衝單元316可將逆向DRA應用於來自一致性裁剪窗之輸出。作為一個實例，與應用逆向DRA順序地，圖像緩衝單元316可在應用逆向DRA之後應用一致性裁剪窗。圖像緩衝單元316可應用逆向DRA及自DPB 314輸出且執行一致性裁剪窗。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定來促進電腦程式自一處轉移至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例說明而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。在此實例中 此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在多種器件或裝置中實施，該等器件或裝置包括無線手持機、積體電路(IC)或IC之集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。相反地，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合在編解碼器硬體單元中或由互操作硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
100‧‧‧視訊編碼及解碼系統
102‧‧‧源器件
104‧‧‧視訊源
106‧‧‧記憶體
108‧‧‧輸出介面
116‧‧‧目的地器件
118‧‧‧顯示器件
120‧‧‧記憶體
122‧‧‧輸入介面
130‧‧‧四分樹二元樹結構
132‧‧‧寫碼樹型單元
200‧‧‧視訊編碼器
202‧‧‧模式選擇單元
204‧‧‧殘餘產生單元
206‧‧‧變換處理單元
208‧‧‧量化單元
210‧‧‧逆量化單元
212‧‧‧逆變換處理單元
214‧‧‧重建構單元
216‧‧‧濾波器單元
218‧‧‧經解碼圖像緩衝器
220‧‧‧圖像緩衝單元
222‧‧‧運動估計單元
224‧‧‧運動補償單元
226‧‧‧框內預測單元
228‧‧‧熵編碼單元
230‧‧‧視訊資料記憶體
300‧‧‧視訊解碼器
302‧‧‧熵解碼單元
304‧‧‧預測處理單元
306‧‧‧逆量化單元
308‧‧‧逆變換處理單元
310‧‧‧重建構單元
312‧‧‧濾波器單元
314‧‧‧經解碼圖像緩衝器
316‧‧‧圖像緩衝單元
318‧‧‧框內預測單元
320‧‧‧經寫碼圖像緩衝器記憶體
322‧‧‧運動補償單元
400‧‧‧三角形
402‧‧‧三角形
404‧‧‧區域
410‧‧‧線性RGB資料
412‧‧‧非線性轉移函數
414‧‧‧色彩轉換程序
416‧‧‧浮動至整數表示量化單元
418‧‧‧HDR之資料
420‧‧‧經轉換HDR之資料
422‧‧‧逆量化單元
424‧‧‧逆色彩轉換程序
426‧‧‧逆轉移函數
500‧‧‧區塊
502‧‧‧區塊
504‧‧‧區塊
506‧‧‧區塊
圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構及對應寫碼樹型單元(CTU)之概念圖。
圖3為說明可執行本發明之技術的實例視訊編碼器的方塊圖。
圖4為說明可執行本發明之技術的實例視訊解碼器的方塊圖。
圖5為說明HDR資料之概念的概念圖。
圖6為說明實例色域之概念圖。
圖7為說明HDR/WCG表示轉換之實例的流程圖。
圖8為說明HDR/WCG逆轉換之實例的流程圖。
圖9為說明用於自感知均勻的碼層級至線性明度之視訊資料轉換(包括SDR及HDR)之電光轉移函數(EOTF)之實例的概念圖。
圖10為說明PQ轉移函數之曲線圖。
圖11為明度驅動之色度縮放(LCS)函數之曲線圖。
圖12為說明解碼視訊資料之實例方法的流程圖。

Claims (28)

  1. 一種解碼視訊資料之方法，該方法包含： 判定儲存於一記憶體中之一動態範圍調整(DRA)域中之一圖像將自該記憶體輸出； 在判定該DRA域中之該圖像將輸出之後，執行輸出該DRA域中之該圖像的一程序；及 在輸出該DRA域中之該圖像的該程序時，將逆向DRA應用於該圖像。
  2. 如請求項1之方法，其進一步包含輸出該圖像以供顯示。
  3. 如請求項1之方法，其進一步包含，與該逆向DRA之該應用順序地，將一一致性裁剪窗應用於該圖像。
  4. 如請求項3之方法，其中，與應用該逆向DRA順序地，應用該一致性裁剪窗包含在應用該逆向DRA之前應用該一致性裁剪窗，且其中應用逆向DRA包含將逆向DRA應用於來自該一致性裁剪窗之輸出。
  5. 如請求項3之方法，其中，與應用該逆向DRA順序地，應用該一致性裁剪窗包含在應用該逆向DRA之後應用該一致性裁剪窗，且其中應用逆向DRA包含應用逆向DRA且輸出以用於執行該一致性裁剪窗。
  6. 如請求項1之方法，其進一步包含判定該圖像之區塊的DRA參數，其中該等DRA參數之一第一集合係用於該圖像之一第一區塊，且該等DRA參數之一第二集合係用於該圖像之一第二區塊，其中DRA參數之該第一集合中之一或多者的值不同於DRA參數之該第二集合中之一或多者的值，其中應用該逆向DRA包含： 基於DRA參數之用於該第一區塊的該第一集合將該逆向DRA應用於該第一區塊；及 基於DRA參數之用於該第二區塊的該第二集合將該逆向DRA應用於該第二區塊。
  7. 如請求項1之方法，其中儲存於該記憶體中之該圖像為經解碼且在自該記憶體輸出之前用作一參考圖像的一圖像。
  8. 如請求項1之方法，其中，在輸出該DRA域中之該圖像的該程序時，將逆向DRA應用於該圖像包含： 用一明度樣本與一明度縮放因素相乘且加上一明度偏移以產生一逆向DRA映射明度樣本； 用一第一類型之一色度樣本與一第一色度縮放因素相乘且加上一第一色度偏移以產生該第一類型之一逆向DRA映射色度樣本；及 用一第二類型之一色度樣本與一第二色度縮放因素相乘且加上一第二色度偏移以產生該第二類型的一逆向DRA映射色度樣本。
  9. 如請求項1之方法，其中，在輸出該DRA域中之該圖像的該程序時，將逆向DRA應用於該圖像包含： 自一明度樣本減去一第一明度偏移以產生一初始明度偏移值； 用該初始明度偏移值與一明度縮放因素相乘且加上一第二明度偏移以產生一逆向DRA映射明度樣本； 自一第一類型之一色度樣本減去一第一色度偏移以產生該第一類型之一初始色度偏移值； 用該第一類型之該初始色度偏移值與一第一色度縮放因素相乘且加上一第二色度偏移以產生該第一類型的一逆向DRA映射色度樣本； 自一第二類型之一色度樣本減去一第三色度偏移以產生該第二類型之一初始色度偏移值；及 用該第二類型之該初始色度偏移值與一第二色度縮放因素相乘且加上一第四色度偏移以產生該第二類型的一逆向DRA映射色度樣本。
  10. 如請求項1之方法，其中判定儲存於該記憶體中之該DRA域中之該圖像將自該記憶體輸出包含以下中的至少一者： 判定一緩衝程序將應用於自該記憶體輸出該DRA域中之該圖像；或 基於一時序參數判定該DRA域中之該圖像將自該記憶體輸出。
  11. 一種用於解碼視訊資料之器件，該器件包含： 一記憶體，其經組態以將一圖像儲存於一動態範圍調整(DRA)域中；及 一處理器，其經組態以： 判定儲存於該記憶體中之該動態範圍調整(DRA)域中之該圖像將自該記憶體輸出； 在判定該DRA域中之該圖像將輸出之後，執行輸出該DRA域中之該圖像的一程序；及 在自該記憶體輸出該DRA域中之該圖像的該程序時，將逆向DRA應用於該圖像。
  12. 如請求項11之器件，其中該處理器包含含有固定功能或可程式化電路中之至少一者的一視訊解碼器，且其中該記憶體包含該視訊解碼器之一經解碼圖像緩衝器(DPB)。
  13. 如請求項11之器件，其中該處理器經組態以輸出圖像以供顯示。
  14. 如請求項11之器件，其中該處理器經組態以，與該逆向DRA之該應用順序地，將一一致性裁剪窗應用於該圖像。
  15. 如請求項14之器件，其中，與應用該逆向DRA順序地，為應用該一致性裁剪窗，該處理器經組態以在應用該逆向DRA之前應用該一致性裁剪窗，且其中為應用逆向DRA，該處理器經組態以將逆向DRA應用於來自該一致性裁剪窗的輸出。
  16. 如請求項14之器件，其中，與應用該逆向DRA順序地，為應用該一致性裁剪窗，該處理器經組態以在應用該逆向DRA之後應用該一致性裁剪窗，且其中為應用逆向DRA，該處理器經組態以應用逆向DRA且輸出以用於執行該一致性裁剪窗。
  17. 如請求項11之器件，其中該處理器經組態以判定該圖像之區塊的DRA參數，其中該等DRA參數之一第一集合係用於該圖像之一第一區塊，且該等DRA參數之一第二集合係用於該圖像之一第二區塊，其中DRA參數之該第一集合中之一或多者的值不同於DRA參數之該第二集合中之一或多者的值，其中為應用該逆向DRA，該處理器經組態以： 基於DRA參數之用於該第一區塊之該第一集合將該逆向DRA應用於該第一區塊；及 基於DRA參數之用於該第二區塊的該第二集合將該逆向DRA應用於該第二區塊。
  18. 如請求項11之器件，其中儲存於該記憶體中之該圖像為經解碼且在自該記憶體輸出之前的一圖像。
  19. 如請求項11之器件，其中，在輸出該DRA域中之該圖像的該程序時，為將逆向DRA應用於該圖像，該處理器經組態以： 用一明度樣本與一明度縮放因素相乘且加上一明度偏移以產生一逆向DRA映射明度樣本； 用一第一類型之一色度樣本與一第一色度縮放因素相乘且加上一第一色度偏移以產生該第一類型之一逆向DRA映射色度樣本；及 用一第二類型之一色度樣本與一第二色度縮放因素相乘且加上一第二色度偏移以產生該第二類型的一逆向DRA映射色度樣本。
  20. 如請求項11之器件，其中，在輸出該DRA域中之該圖像的該程序時，為將逆向DRA應用於該圖像，該處理器經組態以： 自一明度樣本減去一第一明度偏移以產生一初始明度偏移值； 用該初始明度偏移值與一明度縮放因素相乘且加上一第二明度偏移以產生一逆向DRA映射明度樣本； 自一第一類型之一色度樣本減去一第一色度偏移以產生該第一類型之一初始色度偏移值； 用該第一類型之該初始色度偏移值與一第一色度縮放因素相乘且加上一第二色度偏移以產生該第一類型的一逆向DRA映射色度樣本； 自一第二類型之一色度樣本減去一第三色度偏移以產生該第二類型之一初始色度偏移值；及 用該第二類型之該初始色度偏移值與一第二色度縮放因素相乘且加上一第四色度偏移以產生該第二類型的一逆向DRA映射色度樣本。
  21. 如請求項11之器件，其進一步包含經組態以顯示該經輸出圖像之一顯示器。
  22. 如請求項11之器件，其中該器件包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
  23. 如請求項11之器件，其中為判定儲存於該記憶體中之該DRA域中的該圖像將自該記憶體輸出，該處理器經組態以進行以下各者中的至少一者： 判定一緩衝程序將應用於自該記憶體輸出該DRA域中之該圖像；或 基於一時序參數判定該DRA域中之該圖像將自該記憶體輸出。
  24. 一種其上儲存有指令之電腦可讀儲存媒體，該等指令在執行時使得用於解碼視訊資料之一器件的一或多個處理器進行以下操作： 判定儲存於一記憶體中之一動態範圍調整(DRA)域中之一圖像將自該記憶體輸出； 在判定該DRA域中之該圖像將輸出之後，執行輸出該DRA域中之該圖像的一程序；及 在輸出該DRA域中之該圖像的該程序時，將逆向DRA應用於該圖像。
  25. 如請求項24之電腦可讀儲存媒體，其進一步包含使得該一或多個處理器輸出該圖像以供顯示之指令。
  26. 如請求項24之電腦可讀儲存媒體，其進一步包含使得一或多個處理器與該逆向DRA之該應用順序地將一一致性裁剪窗應用於該圖像的指令。
  27. 如請求項26之電腦可讀儲存媒體，其中，與應用該逆向DRA順序地，使得該一或多個處理器應用該一致性裁剪窗之該等指令包含使得該一或多個處理器在應用該逆向DRA之前應用該一致性裁剪窗的指令，且其中使得該一或多個處理器應用逆向DRA之該等指令包含使得該一或多個處理器將逆向DRA應用於來自該一致性裁剪窗之輸出的指令。
  28. 如請求項26之電腦可讀儲存媒體，其中，與應用該逆向DRA順序地，使得該一或多個處理器應用該一致性裁剪窗之該等指令包含使得該一或多個處理器在應用該逆向DRA之後應用該一致性裁剪窗的指令，且其中使得該一或多個處理器應用逆向DRA之該等指令包含使得該一或多個處理器應用逆向DRA且輸出以用於執行該一致性裁剪窗的指令。
TW108113447A 2018-04-18 2019-04-17 經解碼圖像緩衝器管理及動態範圍調整 TWI793308B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862659617P 2018-04-18 2018-04-18
US62/659,617 2018-04-18
US16/385,469 US11303912B2 (en) 2018-04-18 2019-04-16 Decoded picture buffer management and dynamic range adjustment
US16/385,469 2019-04-16

Publications (2)

Publication Number Publication Date
TW201946454A true TW201946454A (zh) 2019-12-01
TWI793308B TWI793308B (zh) 2023-02-21

Family

ID=68236638

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108113447A TWI793308B (zh) 2018-04-18 2019-04-17 經解碼圖像緩衝器管理及動態範圍調整

Country Status (7)

Country Link
US (1) US11303912B2 (zh)
EP (1) EP3782370A1 (zh)
CN (1) CN112042202B (zh)
BR (1) BR112020021315A2 (zh)
SG (1) SG11202009221TA (zh)
TW (1) TWI793308B (zh)
WO (1) WO2019204437A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3935847A4 (en) * 2019-03-04 2022-12-07 Alibaba Group Holding Limited METHOD AND SYSTEM FOR PROCESSING VIDEO CONTENT
JP7256296B2 (ja) * 2019-05-08 2023-04-11 エルジー エレクトロニクス インコーポレイティド Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
KR20220152212A (ko) 2020-03-11 2022-11-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양자화 파라미터를 위한 높은 레벨의 비트스트림 신택스
WO2021244420A1 (en) 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Palette mode with local dual tree modetype definition
CN116708802A (zh) * 2020-06-24 2023-09-05 北京达佳互联信息技术有限公司 用于针对视频编解码的预测相关残差缩放的方法和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068396B1 (en) * 2000-11-21 2006-06-27 Eastman Kodak Company Method and apparatus for performing tone scale modifications on a sparsely sampled extended dynamic range digital image
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8761539B2 (en) * 2012-07-10 2014-06-24 Sharp Laboratories Of America, Inc. System for high ambient image enhancement
WO2015056179A1 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
WO2015082763A1 (en) 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
CN106464967B (zh) * 2014-05-15 2019-11-22 索尼公司 通信装置、通信方法和计算机可读存储介质
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10609395B2 (en) * 2015-07-28 2020-03-31 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
JP6609708B2 (ja) 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 高ダイナミックレンジ映像データの再形成および適応のためのシステムおよび方法
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
US10007990B2 (en) * 2015-12-24 2018-06-26 Intel Corporation Generating composite images using estimated blur kernel size
US20180198970A1 (en) * 2017-01-12 2018-07-12 Intel Corporation High dynamic range imaging using camera arrays
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
US10567777B2 (en) * 2017-03-16 2020-02-18 Intel Corporation Contrast optimization and local adaptation approach for high dynamic range compression

Also Published As

Publication number Publication date
TWI793308B (zh) 2023-02-21
US20190327477A1 (en) 2019-10-24
EP3782370A1 (en) 2021-02-24
BR112020021315A2 (pt) 2021-01-19
CN112042202B (zh) 2022-08-19
SG11202009221TA (en) 2020-11-27
US11303912B2 (en) 2022-04-12
WO2019204437A1 (en) 2019-10-24
CN112042202A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US20200288126A1 (en) Reshaping filter average calculation for video coding
TWI793308B (zh) 經解碼圖像緩衝器管理及動態範圍調整
TWI807008B (zh) 在視訊寫碼中之基於變換之量化及動態範圍調整尺度推導之協調
US11146823B2 (en) Signalling chroma quantization parameter (QP) mapping tables
US11277611B2 (en) Delta quantization parameter (QP) signaling in palette mode
US11533512B2 (en) Dynamic range adjustment parameter signaling and enablement of variable bit depth support
US11671600B2 (en) Signaling intensity dependent deblocking filtering for video coding
US20210281844A1 (en) Methods for quantization parameter control for video coding with joined pixel/transform based quantization
US11463737B2 (en) Signaling of dynamic range adjustment parameters for decoded picture buffer management and dynamic range
US20240098293A1 (en) Encoding high dynamic range video data
TW202415070A (zh) 編碼高動態範圍視頻資料