TW201931853A - 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 - Google Patents

具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 Download PDF

Info

Publication number
TW201931853A
TW201931853A TW107145974A TW107145974A TW201931853A TW 201931853 A TW201931853 A TW 201931853A TW 107145974 A TW107145974 A TW 107145974A TW 107145974 A TW107145974 A TW 107145974A TW 201931853 A TW201931853 A TW 201931853A
Authority
TW
Taiwan
Prior art keywords
block
hdr
wcg video
dra
video material
Prior art date
Application number
TW107145974A
Other languages
English (en)
Other versions
TWI800580B (zh
Inventor
丹姆裘 瑞斯諾斯基
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201931853A publication Critical patent/TW201931853A/zh
Application granted granted Critical
Publication of TWI800580B publication Critical patent/TWI800580B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本發明提供一種用於處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之裝置，其可經組態以：判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數；基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數；基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊；基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊；判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數；基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。

Description

具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)界定之標準、最近定案之高效視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊裝置可藉由實施此等視訊壓縮技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視訊區塊係使用關於同一圖像中之鄰近區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用關於同一圖像中之鄰近區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差異。經框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，隨後可量化殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
本發明之一或多個態樣係關於用高動態範圍(HDR)及廣色域(WCG)表示對視訊信號，例如視訊資料進行寫碼的領域。
根據一個實例，一種用於處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之方法包括：判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數；基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數；基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊；基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊；判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數；基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。
根據另一實例，一種用於處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之裝置包括：記憶體，其經組態以儲存視訊資料；及一或多個處理器，其耦接至該記憶體且經組態以：判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數；基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數；基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊；基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊；判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數；基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。
根據另一實例，一種電腦可讀媒體儲存在由一或多個處理器執行時使得該一或多個處理器進行以下操作的指令：判定用於該高動態範圍及/或廣色域(HDR/WCG)視訊資料之一區塊之經量化變換係數的一量化參數；基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數；基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊；基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊；判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數；基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。
根據另一實例，一種用於處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之設備包括：用於判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數的構件；用於基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數的構件；用於基於該等經解量化變換係數判定該HDR/WCG視訊資料之該區塊之一殘餘值區塊的構件；用於基於該殘餘值區塊判定該HDR/WCG視訊資料之該區塊的一經重建構區塊的構件；用於判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數的構件；用於基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數的構件；及用於使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA的構件。
在隨附圖式及以下描述中闡述本發明的一或多個實例之細節。其他特徵、目標及優勢將自實施方式、圖式及申請專利範圍顯而易見。
本申請案主張2017年12月19日申請之美國臨時申請案第62/607,887號之權益，該申請案之全部內容以引用之方式併入本文中。
本發明描述與使用高動態範圍(HDR)及廣色域(WCG)表示對視訊信號進行寫碼之領域相關之技術。更具體言之，本發明描述應用於某些色彩空間中之視訊資料以實現HDR及WCG視訊資料之更有效壓縮的傳信及操作。本發明之技術可改良用於對HDR及WCG視訊資料進行寫碼之混合型視訊寫碼系統之壓縮效率。
如將在下文更詳細地解釋，HDR視訊一般係指動態範圍大於標準動態範圍(SDR)視訊之動態範圍的視訊。WCG一般係指用可包括更鮮明色彩(諸如更紅之紅色、更綠之綠色、更藍之藍色等)的更寬色域表示的視訊。HDR及WCG均可使視訊看起來更逼真。雖然使視訊看起來更逼真，但HDR及WCG亦可增加與編碼及解碼視訊資料相關聯之複雜度。本發明之技術可幫助降低與編碼及解碼HDR及WCG視訊資料相關聯之複雜度，且更具體言之，可藉由協調在量化變換係數時於變換域中執行之量化與在執行動態範圍調整(DRA)時於像素域中執行之縮放及量化來降低與編碼及解碼HDR及WCG視訊資料相關聯之複雜度。
圖1為說明可處理HDR/WCG視訊資料且利用本發明中所描述之DRA技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括源裝置12，其提供稍後將由目的地裝置14解碼的經編碼視訊資料。特定言之，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型電腦(亦即，膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」平板、電視機、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或類似者。在一些情況下，源裝置12及目的地狀14可經裝備以用於無線通信。
目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含任何類型的能夠將經編碼視訊資料自源裝置12移動至目的地裝置14之媒體或裝置。在一個實例中，電腦可讀媒體16可包含使得源裝置12能夠即時將經編碼視訊資料直接傳輸至目的地裝置14之通信媒體。經編碼視訊資料可根據通信標準(諸如有線或無線通信協定)進行調變，且傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置12至目的地裝置14的通信之任何其他設備。
在其他實例中，電腦可讀媒體16可包括非暫時性儲存媒體，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可例如經由網路傳輸自源裝置12接收經編碼視訊資料且將經編碼視訊資料提供至目的地裝置14。類似地，諸如光碟衝壓設施之媒體生產設施之運算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
在一些實例中，經編碼資料可自輸出介面22輸出至儲存裝置。類似地，經編碼資料可藉由輸入介面自儲存裝置存取。儲存裝置可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視訊的另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、有線電視數據機等)或適用於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自儲存裝置之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面28、預處理單元19、視訊解碼器30及顯示裝置32。根據本發明，源裝置12之預處理單元19可經組態以實施本發明之技術，包括應用於某些色彩空間中之視訊資料以實現HDR及WCG視訊資料之更有效壓縮的傳信及相關操作。在一些實例中，預處理單元19可與視訊編碼器20分離。在其他實例中，預處理單元19可為視訊編碼器20之部分。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源18 (諸如，外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合式顯示裝置。
圖1之所說明系統10僅為一個實例。用於對HDR及WCG視訊資料進行處理及寫碼之技術可由任何數位視訊編碼及/或視訊解碼裝置執行。此外，本發明之技術亦可由視訊預處理器及/或視訊後處理器執行。視訊預處理器可為經組態以在編碼(例如，在HEVC或其他編碼)之前對視訊資料進行處理的任何裝置。視訊後處理器可為經組態以在解碼(例如，在HEVC或其他解碼)之後對視訊資料進行處理的任何裝置。源裝置12及目的地裝置14僅為源裝置12產生經寫碼視訊資料以供傳輸至目的地裝置14的此類寫碼裝置之實例。在一些實例中，裝置12、14可以實質上對稱之方式操作，使得裝置12、14中之每一者包括視訊編碼及解碼組件，以及視訊預處理器及視訊後處理器(例如，分別為預處理單元及後處理單元31)。因此，系統10可支援視訊裝置12、14之間的單向或雙向視訊傳輸以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。
源裝置12之視訊源18可包括視訊捕捉裝置，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可適用於視訊寫碼及視訊處理，一般而言，且可應用於無線及/或有線應用。在各種情況下，可由視訊編碼器20編碼所捕捉、經預先捕捉或電腦產生之視訊。經編碼視訊資訊隨後可藉由輸出介面22輸出至電腦可讀媒體16上。
目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20界定之語法資訊(其亦由視訊解碼器30使用)，該語法資訊包括描述區塊及其他經經寫碼單元(例如，圖像群組(GOP))之特徵及/或處理的語法元素。顯示裝置32向使用者顯示經解碼視訊資料，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器或編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分實施於軟體中時，裝置可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行該等指令，從而執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編碼解碼器(CODEC))的部分。
預處理單元19及後處理單元31可各自實施為多種合適的編碼器電路中之任一者，諸如一或多個微處理器、DSP、ASIC、FPGA、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分實施於軟體中時，裝置可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行該等指令，從而執行本發明之技術。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，最近定案之高效視訊寫碼(HEVC)標準)來操作，且可符合HEVC測試模型(HM)。視訊編碼器20及視訊解碼器30可另外根據HEVC擴展(諸如範圍擴展、多視圖擴展(MV-HEVC)，或已由視訊寫碼聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的3D視訊寫碼擴展開發聯合合作小組(JCT-3V)開發的可縮放擴展(SHVC))來操作。
視訊編碼器20及視訊解碼器30亦可根據其他專屬或行業標準(諸如ITU-T H.264標準，被替代地稱作ISO/IEC MPEG-4第10部分進階視訊寫碼(AVC))或此等標準之擴展(諸如可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)來操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263及ISO/IEC MPEG-4 Visual。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的未來視訊寫碼技術標準化的潛在需要。該等群組一起從事於之聯合合作工作中之此探索活動(被稱為聯合視訊探索小組(JVET))以評估所提出之壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面且開發了被稱作聯合探索模型(JEM)之參考軟體之若干不同版本。此等參考軟體之一個實例被稱為JEM 7且描述於J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce，「Algorithm Description of Joint Exploration Test Model 7」，JVET-G1001, 2017年7月13日至21日。
基於ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)之工作，被稱作通用視訊寫碼(VVC)標準的新視訊寫碼標準正由VCEG及MPEG之聯合視訊專家小組(JVET)開發。VVC之早期草案可在文件JVET-J1001「通用視訊寫碼(草案1)」中獲得且其演算法描述可在文件JVET-J1002「關於通用視訊寫碼及測試模型1 (VTM 1)之演算法描述(Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1))」中獲得。VVC之另一早期草案可在文件JVET-L1001「通用視訊寫碼(草案3)」中獲得且其演算法描述可在文件JVET-L1002「關於通用視訊寫碼及測試模型3 (VTM 3)之演算法描述(Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3))」中獲得。
本發明之技術可利用HEVC術語，以易於解釋。然而，不應假定本發明之技術受限於HEVC，而實際上，明確預期本發明之技術可實施於HEVC之後續標準及其擴展中。
在HEVC及其他視訊實例寫碼標準中，視訊序列可包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，標示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(亦即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色訊樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的且可僅包括明度樣本陣列。
視訊編碼器20可產生一組寫碼樹單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以對該等寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用於對該寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元(LCU)」。HEVC之CTU可大致類似於諸如H.264/AVC之其他視訊寫碼標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。
本發明可使用術語「視訊單元」或「視訊區塊」以指代樣本之一或多個區塊，及用於對一或多個樣本區塊之樣本進行寫碼的語法結構。視訊單元之實例類型可包括HEVC中之CTU、CU、PU、變換單元(TU)，或其他視訊寫碼標準中之巨集區塊、巨集區塊分割區等等。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，之後命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應的寫碼區塊，及用於對該等寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用以對該寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含圖像的明度樣本之預測區塊、圖像的色度樣本之兩個對應的預測區塊及用以對預測區塊樣本進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊，及用以對預測區塊樣本進行預測之語法結構。視訊編碼器20可針對CU之每一PU的明度、Cb及Cr預測區塊產生預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。框間預測可為單向框間預測(亦即，單向預測)或雙向框間預測(亦即，雙向預測)。為執行單向預測或雙向預測，視訊編碼器20可產生當前圖塊之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。
參考圖像清單中之每一者可包括一或多個參考圖像。當使用單向預測時，視訊編碼器20可搜尋RefPicList0及RefPicList1中之任一者或兩者中的參考圖像，以判定參考圖像內之參考位置。此外，當使用單向預測時，視訊編碼器20可至少部分基於對應於參考位置之樣本產生PU之預測性樣本區塊。此外，當使用單向預測時，視訊編碼器20可產生指示PU之預測區塊與參考位置之間的空間位移之單一運動向量。為了指示PU之預測區塊與參考位置之間的空間位移，運動向量可包括指定PU之預測區塊與參考位置之間的水平位移之水平分量且可包括指定PU之預測區塊與參考位置之間的垂直位移之垂直分量。
當使用雙向預測來編碼PU時，視訊編碼器20可判定RefPicList0中之參考圖像中的第一參考位置及RefPicList1中之參考圖像中的第二參考位置。視訊編碼器20隨後可至少部分基於對應於第一及第二參考位置的樣本而產生PU之預測性區塊。此外，當使用雙向預測編碼PU時，視訊編碼器20可產生指示PU之樣本區塊與第一參考位置之間的空間位移的第一運動，及指示PU之預測區塊與第二參考位置之間的空間位移的第二運動。
在視訊編碼器20產生CU之一或多個PU的預測性明度、Cb及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之明度、Cb及Cr殘餘區塊分解成一或多個明度、Cb及Cr變換區塊。變換區塊可為對其應用相同變換之樣本的矩形區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於TU之Cr係數區塊。
在JEM7中，可使用四分樹二元樹(QTBT)分割結構而非使用上文所描述之HEVC之四分樹分割結構。QTBT結構移除多個分割區類型之概念。亦即，QTBT結構移除CU、PU及TU概念之分離，且支援CU分割區形狀之更大可撓性。在QTBT區塊結構中，CU可具有正方形或矩形形狀。在一個實例中，CU為按四分樹結構之第一分割區。四分樹葉節點藉由二元樹結構進一步分割。
在一些實例中，存在兩種拆分類型：對稱水平拆分及對稱豎直拆分。二元樹葉節點被稱作CU，且該分段(亦即，CU)用於預測及變換處理而無需任何進一步分割。此意謂CU、PU及TU在QTBT寫碼區塊結構中具有相同區塊大小。在JEM中，CU有時由具有不同色彩分量之寫碼區塊(CB)組成。舉例而言，在4:2:0色度格式之P及B圖塊的情況下，一個CU含有一個明度CB及兩個色度CB，且有時由具有單一分量之CB組成。舉例而言，在I圖塊的情況下，一個CU含有僅一個明度CB或僅兩個色度CB。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化一般係指變換係數經量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之處理程序。此外，視訊編碼器20可對變換係數進行逆量化，且將逆變換應用於變換係數，以便重建構圖像之CU的TU之變換區塊。視訊編碼器20可使用CU之TU的經重建構變換區塊及CU之PU的預測性區塊來重建構CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊編碼器20可重建構圖像。視訊編碼器20可將經重建構圖像儲存於經解碼圖像緩衝器(DPB)中。視訊編碼器20可將DPB中之經重建構圖像用於框間預測及框內預測。
在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭，且囊封原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為囊封在NAL單元內的含有整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI )之RBSP等等。PPS為可含有適用於零或多個完整經寫碼圖像之語法元素的語法結構。囊封視訊寫碼資料之RBSP (與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。囊封經寫碼圖塊之NAL單元在本文中可被稱作經寫碼圖塊NAL單元。用於經寫碼圖塊之RBSP可包括圖塊標頭及圖塊資料。
視訊解碼器30可接收位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流解碼語法元素。視訊解碼器30可至少部分基於自位元串流解碼之語法元素重建構視訊資料之圖像。重建構視訊資料之處理程序可大體上與由視訊編碼器20執行之處理程序互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。視訊解碼器30可使用PU之一或多個運動向量產生PU之預測性區塊。
另外，視訊解碼器30可對與當前CU之TU相關聯的係數區塊進行逆量化。視訊解碼器30可對係數區塊執行逆變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性樣本區塊之樣本新增至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。視訊解碼器30可將經解碼圖像儲存於經解碼圖像緩衝器中以供輸出及/或供用於解碼其他圖像。
預期下一代視訊應用使用表示具有HDR及WCG之經捕捉景物的視訊資料來操作。所利用之動態範圍及色域之參數為視訊內容之兩個獨立屬性，且出於數位電視及多媒體服務之目的，其規格由若干國際標準界定。舉例而言，ITU-R Rec. 709界定諸如標準動態範圍及標準色域之用於HDTV的參數，且ITU-R Rec.2020指定UHDTV參數，諸如高動態範圍及廣色域。亦存在指定其他系統中之該等屬性的其他SDO文件，例如P3色域於SMPTE-231-2中經界定，且HDR之一些參數於STMPTE-2084中經界定。在下文中提供視訊資料之動態範圍及色域的簡要描述。
視訊編碼器20及視訊解碼器30，分別結合諸如預處理單元19及後處理單元31之其他組件，可實施動態範圍寫碼。動態範圍通常經界定為視訊信號之最小與最大亮度之間的比率。動態範圍亦依據「f光闌」量測，其中一個f光闌對應於該信號動態範圍之倍增。在MPEG之界定中，高動態範圍內容為以大於16個f光闌的亮度變化為特徵的此類內容。在一些術語中，10個f光闌與16個f光闌之間的層級被視為中間動態範圍，但在其他界定中可被視為HDR。同時，人類視覺系統能夠感知大得多之動態範圍且包括適應機制以使所謂的同步範圍變窄。
當前視訊應用及服務由ITU-R BT.709調節且提供SDR，其通常支援每m2大約0.1燭光至100燭光(cd)之範圍的亮度(或明度)(通常被稱作「尼特(nit)」)，從而導致小於10個f光闌。預期下一代視訊服務提供達16個f光闌之動態範圍，且儘管詳細規範目前尚處於開發中，但其一些初始參數已在SMPTE-2084及Rec.2020中經指定。
圖2展示人類視覺及顯示能力之實例。對由HDTV之SDR提供之動態範圍、UHDTV之經預期HDR及HVS動態範圍之觀測展示於圖2中。
圖3展示色域之實例。除HDR以外更逼真之視訊體驗之另一態樣為色彩維度，其習知地由色域界定。圖3展示SDR色域(基於BT.709紅色、綠色及藍色原色之三角形100)以及UHDTV之較寬色域(基於BT.2020紅色、綠色及藍色原色之三角形102)。圖3亦描繪所謂的頻譜軌跡(形狀104)，其表示天然色彩之界限。如藉由圖3所說明，自BT.709至BT.2020移動原色旨在提供具有多約70%色彩的UHDTV服務。D65為給定規範指定白色。
色域規範之實例展示於表1中。
表1 用於所選色彩空間之比色參數
視訊編碼器20及視訊解碼器30可執行HDR視訊資料之壓縮。HDR/WCG通常以每分量(甚至浮點)之極高精度獲取及儲存，具有4:4:4色度格式及極寬色彩空間(例如，XYZ)。此表示以高精確度為目標且在數學上(幾乎)無損。然而，此格式以大量冗餘為特徵且對於壓縮目的並非最佳。具有基於HVS之假定的較低精確度格式通常用於目前先進技術的視訊應用。出於壓縮目的之典型HDR視訊資料格式轉換由如圖4中所展示之三個主要要素組成：(1)用於動態範圍壓縮之非線性轉移函數(TF)，(2)至更緊密或穩固色彩空間之色彩轉換，及(3)浮點至整數表示轉換(量化)。
出於壓縮目的之視訊資料格式轉換處理程序之一個實例包括三個主要處理程序，如圖4中所展示。圖4之技術可由源裝置12執行。線性RGB資料110可為HDR/WCG視訊資料且可以浮點表示儲存。可使用用於動態範圍壓縮之非線性轉移函數(TF) 112來壓縮線性RGB資料110。轉移函數112可使用任何數目之非線性轉移函數(例如，如SMPTE-2084中所界定之PQ TF)來壓縮線性RGB資料110。在一些實例中，色彩轉換處理程序114將經壓縮資料轉換成較適用於由混合型視訊編碼器壓縮的更緊密或穩固之色彩空間(例如，YUV或YCrCb色彩空間)。隨後使用浮點至整數表示量化單元116對此資料進行量化以產生經轉換HDR之資料118。在此實例中，HDR之資料118呈整數表示。HDR之資料現呈較適用於由混合型視訊編碼器(例如應用HEVC技術之視訊編碼器20)來壓縮的格式。圖4中所描繪之處理程序的次序係作為實例給出，且在其他應用中可改變。舉例而言，色彩轉換可先於TF處理程序。另外，例如空間次取樣之額外處理可應用於色彩分量。
在解碼器(例如，視訊解碼器30)處之逆轉換描繪於圖5中。圖5之技術可由視訊解碼器30及/或後處理單元31在目的地裝置14處執行。經轉換HDR之資料120可在目的地裝置14處經由使用混合型視訊解碼器(例如，應用HEVC技術之視訊解碼器30)解碼視訊資料而獲得。HDR之資料120隨後可由逆量化單元122來進行逆量化。隨後可將逆向色彩轉換處理程序124應用於經逆量化HDR之資料。逆向色彩轉換處理程序124可為色彩轉換處理程序114之逆向。舉例而言，逆向色彩轉換處理程序124可將HDR之資料自YCrCb格式轉換回至RGB格式。接下來，可將逆轉移函數126應用於資料以新增回藉由轉移函數112壓縮之動態範圍，從而重建線性RGB資料128。
線性及浮點表示中之輸入RGB資料的高動態範圍藉由所利用之非線性轉移函數TF (例如，如SMPTE-2084中所界定之PQ TF)來壓縮，之後其經轉換成較適用於壓縮之目標色彩空間(例如，YCbCr)，且隨後經量化以達成整數表示。此等元素之次序係作為實例給出，且可在真實世界應用中改變，例如，色彩轉換可先於TF模組以及額外處理(例如空間次取樣)可應用於色彩分量。更詳細地描述此等三個分量。
視訊編碼器20及視訊解碼器30可利用轉移函數(TF)。將TF應用於資料以壓縮資料之動態範圍且使得可使用有限數目個位元表示資料。此函數通常為一維(1D)非線性函數，其反映終端使用者顯示器之電光轉移函數(EOTF)之逆向轉移函數，如Rec.709中之SDR所指定；或近似於對亮度變化之HVS感知，如HDR之SMPTE-2084中所指定的PQ TF。OETF之逆向處理程序為EOTF(電光轉移函數)，其將碼層級映射回至明度。圖6展示TF之若干實例。
ST2084之規範如下界定EOTF應用。將TF應用於正規化線性R、G、B值，此產生R'G'B'之非線性表示。ST2084藉由NORM=10000界定正規化，其與10000尼特(cd/m2)之峰值亮度相關聯。
o R' = PQ_TF(max(0, min(R/NORM,1)) )
o G' = PQ_TF(max(0, min(G/NORM,1)) ) (1)
o B' = PQ_TF(max(0, min(B/NORM,1)) )
其中




圖7展示PQ TF (ST2084 EOTF)之實例觀測。在輸入值(線性色彩值)經正規化至範圍0..1之情況下，在圖7中觀測PQ EOTF之正規化輸出值(非線性色彩值)。如自曲線可見，輸入信號之動力範圍之百分之1(低照明)轉換成輸出信號之動力範圍之50%。
通常，EOTF經界定為具有浮點準確度之函數，因此若應用逆向TF(所謂的OETF)，則無誤差經引入至具有此非線性之信號。ST2084中所指定之逆向TF (OETF)經界定為inversePQ函數：
o R = 10000*inversePQ_TF(R')
o G = 10000*inversePQ_TF(G') (2)
o B = 10000*inversePQ_TF(B')
其中




藉由浮點準確度，依序應用EOTF及OETF提供不具有誤差之完美重建構。然而，對於串流或廣播服務，此表示並非最佳的。在以下章節中描述具有非線性R'G'B'資料之固定位元準確度的更緊密表示。應注意，EOTF及OETF為當前非常活躍的研究之主題，且一些HDR視訊寫碼系統中所利用之TF可不同於ST2084。
視訊編碼器20及視訊解碼器30可經組態以實施色彩變換。RGB資料通常用作輸入，此係因為RGB資料係由影像捕捉感測器產生。然而，此色彩空間在組件當中具有高冗餘且對於緊密表示而言並非最佳的。為達成更緊密及更穩固之表示，RGB分量通常轉換呈更適用於壓縮(例如YCbCr)之更不相關的色彩空間。此色彩空間將呈明度形式之亮度及呈不同的不相關分量之色彩資訊分離。
對於現代視訊寫碼系統，通常使用之色彩空間為YCbCr，如ITU-R BT.709或ITU-R BT.709中所指定。BT.709標準中之YCbCr色彩空間指定自R'G'B'至Y'CbCr之以下轉換處理程序(非恆定明度表示)：
o Y' = 0.2126 * R' + 0.7152 * G' + 0.0722 * B'
o(3)
o
以上處理程序亦可使用避免Cb及Cr分量的除法的以下近似轉換來實施：
o Y' = 0.212600 * R' + 0.715200 * G' + 0.072200 * B'
o Cb = -0.114572 * R' - 0.385428 * G' + 0.500000 * B' (4)
o Cr = 0.500000 * R' - 0.454153 * G' - 0.045847 * B'
ITU-R BT.2020標準指定自R'G'B'至Y'CbCr(非恆定明度表示)之以下轉換處理程序：
o Y' = 0.2627 * R' + 0.6780 * G' + 0.0593 * B'
o(5)
o
以上處理程序亦可使用避免Cb及Cr分量的除法的以下近似轉換來實施：
o Y' = 0.262700 * R' + 0.678000 * G' + 0.059300 * B'
o Cb = -0.139630 * R' - 0.360370 * G' + 0.500000 * B' (6)
o Cr = 0.500000 * R' - 0.459786 * G' - 0.040214 * B'
應注意，兩個色彩空間皆保持正規化；因此，對於在0...1範圍內正規化之輸入值，所得值將映射至0...1之範圍。一般而言，藉由浮點準確度所實施之色彩變換提供完美的重建構，因此此處理程序無損。
視訊編碼器20及視訊解碼器30可實施量化/固定點轉換。上文所描述之處理階段通常以浮點準確度表示實施，因此可被視為無損。然而，對於大多數消費型電子裝置應用，此類型之準確度可被視為冗餘且昂貴的。對於此類應用，通常將目標色彩空間中之輸入資料轉換成目標位元深度固定點準確度。某些研究展示，10位元至12位元準確度結合PQ TF足以提供具有低於恰可辨差異之失真的16個f光闌之HDR資料。以10位元準確度表示之資料可藉由大部分目前先進技術視訊寫碼解決方案進一步進行寫碼。此轉換處理程序包括信號量化且為有損寫碼元素且為經引入至經轉換資料的不準確度之來源。
應用於目標色彩空間(在此實例中，YCbCr)中之碼字的此類量化之實例展示於下文中。將以浮點準確度表示之輸入值YCbCr轉換成Y值之固定位元深度BitDepthY及色度值(Cb、Cr)之固定位元深度BitDepthC之信號。
o
o(7)
o
其中
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
若x ＜ 0，則Sign ( x ) = -1，若x=0，則Sign ( x ) = 0，若x ＞ 0，則Sign ( x ) = 1
Floor( x ) 小於或等於x之最大整數
若x＞=0，則Abs( x ) = x，若x＜0，則Abs( x ) = -x
Clip1Y ( x ) = Clip3( 0, ( 1 ＜＜ BitDepthY ) - 1, x )
Clip1C ( x ) = Clip3( 0, ( 1 ＜＜ BitDepthC ) - 1, x )
若z＜x，則Clip3( x,y,z ) = x，若z＞y，則Clip3( x,y,z ) = y，否則Clip3( x,y,z ) = z
視訊編碼器20及視訊解碼器30可實施DRA。DRA最初在Dynamic Range Adjustment SEI to enable High Dynamic Range video coding with Backward-Compatible Capability, D. Rusanovskyy、A. K. Ramasubramonian、D. Bugdayci、S. Lee、J. Sole、M. Karczewicz, VCEG document COM16-C 1027-E, 2015年9月(下文之參考1)中提出。作者提出以針對輸入值x之非重疊動態範圍分割區(範圍){Ri}之群所界定的分段線性函數f(x)的形式實施DRA，其中i為範圍指數，其中範圍為0至N-1 (包括端點)，且其中N為用於界定DRA函數在範圍{Ri}之總數目。假定DRA之範圍由屬於範圍Ri的最小x值及最大x值界定(例如)，其中及分別表示範圍及之最小值。應用於視訊之Y色彩分量(明度)，DRA函數Sy經由應用於每一之比例及偏移界定，因此。
在此情況下，對於任一Ri，及每一，輸出值X計算如下：
(8)
對於在解碼器處進行的用於明度分量Y之逆向DRA映射處理程序，DRA函數Sy由應用於每一 的比例及偏移值之逆向界定。
在此情況下，對於任一Ri，及每一，經重建構值x計算如下：
(9)
用於色度分量Cb及Cr之正向DRA映射處理程序界定如下。實例係藉由表示Cb色彩分量之樣本的項「u」給出，「u」屬於範圍Ri，，因此：
(10)
其中等於2(bitdepth-1) 之Offset 表示雙極Cb、Cr信號偏移。
在解碼器處針對色度分量Cb及Cr進行的逆向DRA映射處理程序界定如下。實例係藉由表示經再映射Cb色彩分量之樣本的u項給出，u屬於範圍Ri， ：
(11)
其中等於2(bitdepth-1) 之Offset 表示雙極Cb、Cr信號偏移。
視訊編碼器20及視訊解碼器30亦可實施明度驅動色度縮放(LCS)。LCS最初在JCTVC-W0101 HDR CE2: Report on CE2.a-1 LCS, A.K. Ramasubramonian、J. Sole、D. Rusanovskyy、D. Bugdayci、M. Karczewicz (下文之參考2)中提出。在參考2中，提出藉由採用與經處理色度樣本相關聯之亮度資訊調整色度資訊(例如Cb及Cr)的技術。類似於參考1之DRA方法，其經提出以Cb之縮放因數及Cr之縮放因數應用於色度樣本。然而，代替針對方程式(3)及(4)中可藉由色度值u或v獲得之範圍集合以分段線性函數之形式界定DRA，LCS方法提出利用明度值Y導出用於色度樣本之縮放因數。在此情況下，色度樣本u (或v)之正向LCS映射如下進行：
(12)
在解碼器側處進行之逆向LCS處理程序界定如下：
(13)
更詳細地，對於位於(x,y)處之給定像素，色度樣本Cb(x,y)或Cr(x,y)以自藉由對應明度值Y'(x,y)所判定之LCS函數SCb (或SCr )導出的因數來縮放。
在色度樣本之正向LCS處，Cb (或Cr)值及相關聯明度值Y'被視為至色度縮放函數SCb (或SCr )之輸入，且Cb或Cr如方程式9中所展示經轉換成Cb'及Cr'。在解碼器側處，應用逆向LCS，經重建構Cb'或Cr'如方程式(10)中所展示經轉換成Cb或Cr。

(14)

(15)
圖8展示LCS函數之實例，關於實例中之LCS函數，將具有較小明度值之像素之色度分量乘以較小縮放因數。
現將論述DRA樣本縮放與量化參數之間的關係。為了調整壓縮比，視訊編碼器20利用基於區塊變換之視訊寫碼方案，諸如HEVC，其利用應用於變換係數之純量量化器。視訊編碼器20可基於量化參數(QP)控制純量量化器，其中QP與純量量化器之間的關係界定如下：
scaler= exp(QP / 6)*log(2.0)) (16)
逆函數如下界定HEVC中純量量化器與QP之間的關係：
QP = log2(scaler)*6; (17)
當實施DRA時，視訊編碼器20及視訊解碼器30有效地縮放像素資料且考慮變換特性，其可針對一大類信號經映射至應用於變換域中之純量。因此，界定以下關係：
dQP = log2(scaleDRA)*6; (18)
其中dQP為藉由HEVC (例如藉由針對輸入資料部署DRA)引入的近似QP偏移。
用於現代視訊寫碼系統中之非線性(例如應用轉移函數SMPTE 2084)及色彩表示(例如ITU-R BT.2020或BT.22100)中之一些可導致以在信號表示之動態範圍及色彩分量內的所感知失真或恰可辨差異(JND)臨限值之顯著變化為特徵的視訊資料表示。此可感知為經處理資料範圍內之不等信雜比。為解決此問題及線性化信號之動態範圍中之寫碼(量化)誤差分佈，提出參考1之DRA方法。
參考1提出在應用混合型基於變換之視訊寫碼方案H.265/HEVC之前應用DRA以達成ST 2084/BT.2020容器中之碼字重新分佈，如圖9中所展示。
藉由DRA達成之重新分佈以動力範圍內之感知失真(信雜比)之線性化為目標。為在解碼器側處補償此重新分佈，及將資料轉換成原始ST 2084/BT.2020表示，在視訊解碼之後將逆向DRA處理程序應用於資料。
此DRA方案之另一實例在Luma-driven chroma scaling (LCS) design in HDR in JCTVC-W0101 HDR CE2: Report on CE2.a-1 LCS, A.K. Ramasubramonian、J. Sole、D. Rusanovskyy、D. Bugdayci、M. Karczewicz (下文之參考2)中提出。
參考2提出藉由採用與經處理色度樣本相關聯之亮度資訊調整色度資訊(例如Cb及Cr)的技術。類似於參考1之DRA方法，其經提出以Cb之縮放因數及Cr之縮放因數應用於色度樣本。然而，代替針對方程式(3)及(4)中可藉由色度值u或v獲得之範圍集合以分段線性函數之形式界定DRA，LCS方法提出利用明度值Y導出用於色度樣本之縮放因數。
應用於藉由每樣本有限數目個位元(例如，10個位元)表示的視訊信號之DRA技術可按像素層級量化分類。與在變換域中部署基於區塊之純量量化的視訊寫碼(例如，H.265/HEVC)組合產生具有像素及變換域中之聯合信號量化的視訊寫碼系統。
一些視訊寫碼方案之設計可併有基於量化誤差之假定/估計而引入經寫碼信號的視訊寫碼工具、標準化決策制定邏輯及參數。在此等工具之實例當中，可列舉解碼器側處的H.265/HEVC解區塊濾波器(例如，HEVC第8.7.2項)及QP導出處理程序(例如，HEVC第8.6.1項1)。
在像素層級處應用DRA可引入無法正確估計之量化誤差，其可導致在解碼器處利用之決策邏輯為非最佳寫碼決策。作為一實例，HEVC規範之表8-10界定在QP導出期間於編碼器及解碼器兩者處利用之色度QP轉變，其可產生藉由不反映應用於當前色度區塊之樣本之像素量化/縮放的方程式8-259/8-260導出的QP指數。
本發明描述用於具有聯合像素/變換為基礎之量化之視訊寫碼之量化參數控制的技術。此等系統之實例為利用變換域中之量化的習知混合視訊寫碼及在前/後處理階段或在視訊寫碼之編碼循環內於像素域中執行縮放/量化的DRA之組合。
視訊編碼器20及視訊解碼器30可執行用於解碼器QP處置之DRA尺度補償。用於三個色彩分量之DRA尺度經調整以補償視訊編碼解碼器中之QP處置。
假定用於3個色彩分量(例如，Y、Cb、Cr)之DRA之參數經由以下變數界定：

(19a)
進行像素處理之DRA參數經由經寫碼位元串流傳信或在解碼器側自位元串流中所傳信之語法元素導出。該等DRA參數藉由考慮描述變換係數之量化之資訊來進一步調整。


(19b)
QPx表示由視訊編碼器20針對給定像素區塊進行及以位元串流傳信至視訊解碼器30或以旁側資訊之形式(例如以預列表資訊之形式)提供至視訊解碼器30的QP調整或操縱。此處理程序之輸出為將應用於經解碼樣本的經調整DRA參數。


(20)
視訊編碼器20及視訊解碼器30可調整QP資訊以反映應用於像素之DRA之影響。改變在解碼器側處做出之決策中所利用的QP資訊以反映應用於經解碼圖像之像素的DRA之影響。


(21)
QPx為由解碼器在不考慮藉由DRA處理對當前經處理像素實施之縮放的情況下導出的QP參數。
此處理程序之輸出為在解碼器側處之決策制定處理程序中所利用的經調整QP。在一些實例中，僅解碼演算法中之方法之子集將在決策制定處理程序中使用經調整QP。
將在下文描述本發明之所提出技術之實施之若干非限制性實例。
現將描述用於色度QP轉變表格之DRA尺度補償。在一些實例中，解碼器之參數之導出可基於自經位元串流之語法元素導出及藉由解碼器側處可用之旁側資訊進一步改變的本端QP資訊。
此處理之實例在HEVC規範中之第8.6.1項:
– 變數qPCb 及qPCr 分別經設定為等於如在表8-9中基於等於qPiCb 及qPiCr 之指數qPi指定的QpC 值，且qPiCb 及qPiCr 導出如下：
qPiCb = Clip3( -QpBdOffsetC , 57, QpY + pps_cb_qp_offset + slice_cb_qp_offset ) (8-257)
qPiCr = Clip3( -QpBdOffsetC , 57, QpY + pps_cr_qp_offset + slice_cr_qp_offset ) (8-258)
– 若ChromaArrayType等於1，則變數qPCb及qPCr分別經設定為等於如在表8-10中基於等於qPiCb及qPiCr之指數qPi指定的QpC 值。
– 否則，變數qPCb及qPCr分別基於等於qPiCb及qPiCr的指數qPi經設定等於Min(qPi, 51)。
– Cb及Cr分量之色度量化參數Qp'Cb 及Qp'Cr 導出如下：
Qp'Cb = qPCb + QpBdOffsetC (8-259)
Qp'Cr = qPCr + QpBdOffsetC (8-260)
表 8-9 - 作為 qPi 之 函數的 QpC 之規範
在此實例中，用於色度分量之DRA尺度參數可經改變以反映由此處理引入的QP轉變。以下實例係針對Cb分量給出，Cr分量之導出係類似的。
視訊解碼器30可藉由表8-10導出用於Cb分量之色度量化參數。QP資訊經估計：
estimateQP1 = qPcb + QpBdPffsetC
updatedQP1 = fun(Table8-10, estimateQP1) (22)
shiftQP1 = updatedQP1 - estimateQP1;
變數updatedQP1進一步用於解碼處理序，且shiftQP1提供關於對藉由表8-10引入之QP的影響之估計。
為了協調解碼器中藉由DRA及QP處置進行之像素層級量化，DRA縮放函數改變如下：
estimateQP2 = qPcb + QpBdPffsetC + scale2QP(DRACb) (23)
其中scale2QP (DRACb)進行自尺度至QP進行轉換，類似地展示於方程式18中
updatedQP2 = fun(Table8-10, estimateQP2) (24)
shiftQP2 = updatedQP2 - estimateQP2;
在一些實例中，尤其就跨分量DRA實施(例如，LCS)而言，方程式(23)將包括自Y分量之DRA尺度估計的QP偏移項及自用以產生Cb分量之DRA的色度尺度(addnDRACbScale)估計之額外QP偏移項。例如
estimateQP2 = qPcb + QpBdPffsetC + scale2QP(DRAY) + scale2QP(addnDRACbScale)
變數UpdatedQP2提供在DRA將經由變換域縮放進行之情況下的QP之估計，且shfitQP2提供對藉由表8-10引入之QP的影響之估計。
在某些情況下，估計之shiftQP1將不等於shiftQP2。為了補償此差異，DRA之尺度可如下隨乘數變化：
shiftScale = Qp2Scale(shiftQP2 - shiftQP1) (25)
DRACb' = shiftScale* DRACb
其中函數Qp2Scale將QP變數轉換成如方程式16中所展示之相關聯量化器尺度。
此處理程序之輸出為應用於經解碼樣本的經調整DRA尺度。
在一些實例中，尺度至QP轉換函數scale2QP之輸出(DRACb)及所得estimateQP2為非整數值。為了定址表8-10之要素，至表8-10之輸入及輸出QP值可如下經內插於整數條目之間：
qp1 = fun(Table8-10, (Int) estimateQP2;
qp2 = fun (Table8-10, (Int)( estimateQP2 + 1.0)); (26)
shiftQP2 = qp1 + (qp2 - qp1)*( estimateQP2 - (Int) estimateQP2);
在另外其他實例中，表8-10之條目(或類似列表資訊)可經由分析性函數界定或明確地於位元串流中傳信。
在另一實例中，shiftScale可如下經計算以補償表8-10 shiftQP1之影響：
shiftScale = Qp2Scale(shiftQP1)
在一些實例中，用於初始化方程式22及23之QP指數可經由位元串流傳信以便避免剖析及處理相依性。在一些實例中，視訊編碼器20可估計用於本文所描述之經提出技術的參數且經由位元串流將彼等參數傳信至視訊解碼器30 (後設資料、SEI訊息、VUI或SPS PPS或圖塊標頭等)。視訊解碼器30隨後接收來自位元串流之參數。在一些實例中，視訊編碼器20可導出所提出技術之參數。視訊解碼器30可根據輸入信號或根據與輸入信號相關聯之其他可用參數實施指定處理程序且執行相同導出。在一些實例中，視訊編碼器20可明確地將所提出技術之參數傳信至視訊解碼器30。在另一實例中，視訊編碼器20及視訊解碼器30可根據其他輸入信號參數(例如輸入色域及目標色彩容器(色彩原色)之參數導出該等參數。
圖10為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊圖塊內的視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中之任一者。
在圖10之實例中，視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54、熵編碼單元56。預測處理單元41包括運動估計單元(MEU) 42、運動補償單元(MCU) 44及框內預測處理單元46。對於視訊區塊重建構，視訊編碼器20亦包括逆量化單元58、逆變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB) 66。
如圖10中所展示，視訊編碼器20接收視訊資料且將所接收之視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體33中之視訊資料可例如自視訊源18獲得。DPB 66可為儲存供視訊編碼器20例如以框內或框間寫碼模式編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置的多種記憶體裝置中之任一者形成。視訊資料記憶體33及DPB 66可由同一記憶體裝置或單獨的記憶體裝置提供。在各種實例中，視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
分割單元35自視訊資料記憶體33擷取視訊資料且將視訊資料分割成視訊區塊。此分割亦可包括分割成圖塊、圖案塊或其他較大單元以及(例如)根據LCU及CU之四分樹結構分割的視訊區塊。視訊編碼器20大體上說明對待編碼視訊圖塊內之視訊區塊進行編碼的組件。圖塊可劃分成多個視訊區塊(且可能劃分成被稱作圖案塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真程度)為當前視訊區塊選擇複數個可能寫碼模式中之一者，諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊或B圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而分開說明。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼視訊區塊之PU的區塊，該像素差可由絕對差總和(sum of absolute difference；SAD)、平方差總和(sum of square difference；SSD)或其他差異度量判定。在一些實例中，視訊編碼器20可計算儲存於DPB 66中之參考圖像的子整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊之位置來計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於DPB 66中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行至子像素精確度之內插)判定之運動向量而提取或產生預測性區塊。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差形成用於區塊之殘餘資料，且可包括明度及色度差異分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
在預測處理單元41經由框內預測或框間預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54對變換係數進行量化以進一步降低位元速率。量化處理程序可減小與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54隨後可執行對包括經量化之變換係數之矩陣的掃描。在另一實例中，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56熵編碼之後，經編碼位元串流可傳輸至視訊解碼器30，或經存檔以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊的運動向量及其他語法元素。
逆量化單元58及逆變換處理單元60分別應用逆量化及逆變換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊新增至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構殘餘區塊，以計算用於運動估計之子整數像素值。求和器62將重建構殘餘區塊新增至藉由運動補償單元44產生之經運動補償預測區塊以產生經重建構區塊。
濾波器單元64對經重構區塊(例如，求和器62之輸出)進行濾波且將經濾波之經重構區塊儲存於DPB 66中以供用作參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。濾波器單元64意欲表示解區塊濾波器、樣本適應性偏移濾波器及適應性迴路濾波器或其他類型之濾波器中之一或多者。解區塊濾波器可(例如)將解區塊濾波應用於濾波器區塊邊界，以自經重建構視訊移除區塊效應假影。樣本適應性偏移濾波器可將偏移應用至經重建構像素值以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路內或迴路後)。
本發明中所描述之各種技術可由視訊編碼器20及/或預處理單元19單獨地或彼此組合地執行。舉例而言，視訊編碼器20及/或預處理單元19可經組態以處理HDR/WCG視訊資料。視訊編碼器20及/或預處理單元19可經組態以：判定用於HDR/WCG視訊資料之區塊之經量化變換係數的量化參數；基於經判定量化參數對經量化變換係數進行逆量化以判定經解量化變換係數；基於經解量化變換係數，判定HDR/WCG視訊資料之區塊的殘餘值區塊；基於殘餘值區塊，判定HDR/WCG視訊資料之區塊的經重建構區塊；判定用於HDR/WCG視訊資料之區塊的一或多個DRA參數；基於經判定量化參數調整一或多個DRA參數以判定一或多個經調整DRA參數；及使用一或多個經調整DRA參數對HDR/WCG視訊資料之經重建構區塊執行DRA。
視訊編碼器20及/或預處理單元19可另外或替代地經組態以：判定用於HDR/WCG視訊資料之區塊之經量化變換係數的量化參數；基於經判定量化參數對經量化變換係數進行量化以判定經量化變換係數；基於經判定量化參數判定用於HDR/WCG視訊資料之區塊的一或多個參數；及基於經判定量化參數調整一或多個DRA參數以判定一或多個經調整DRA參數。
圖11為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。圖11之視訊解碼器30可(例如)經組態以接收上文關於圖10之視訊編碼器20所描述的傳信。在圖11之實例中，視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90、濾波器單元92及DPB 94。預測處理單元81包括運動補償單元82及框內預測單元84。在一些實例中，視訊解碼器30可執行與關於來自圖10之視訊編碼器20所描述之編碼遍次互逆的解碼遍次。
在解碼處理程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼之視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體78中之視訊資料可(例如)經由鏈路16自儲存裝置26或自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。DPB 94可為儲存供視訊解碼器30用於例如以框內或框間寫碼模式解碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體78及DPB 94可由諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體裝置的多種記憶體裝置中之任一者形成。視訊資料記憶體78及DPB 94可由同一記憶體裝置或單獨的記憶體裝置提供。在各種實例中，視訊資料記憶體78可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元80對儲存於視訊資料記憶體78中之視訊資料進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級處接收語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於來自當前圖框或圖像之先前經解碼區塊的經傳信框內預測模式及資料來產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼圖塊(例如，B圖塊或P圖塊)時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素產生用於當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於DPB 94中之參考圖像使用預設建構技術來建構參考圖框清單，清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊產生用於正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收語法元素中之一些判定用於寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之參考圖像清單中之一或多者的建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元82可自所接收語法元素判定由視訊編碼器20所使用之內插濾波器且使用該等內插濾波器產生預測性區塊。
逆量化單元86對位元串流中所提供且由熵解碼單元80解碼之經量化變換係數進行逆量化，亦即解量化。逆量化處理程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊計算之量化參數，以判定量化程度及(同樣地)應該應用之逆量化程度。逆變換處理單元88將逆變換(例如，逆向DCT、逆向整數變換或概念上類似的逆變換處理程序)應用於變換係數，以便產生像素域中之殘餘區塊。
在預測處理單元使用例如框內或框間預測產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自逆變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊進行求和而形成經重建構視訊區塊。求和器90表示執行此求和運算之一或多個組件。
濾波器單元92使用例如解區塊濾波、SAO濾波、適應性迴路濾波或其他類型之濾波器中之一或多者對經重建構視訊區塊進行濾波。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視訊品質。給定圖框或圖像中之經解碼視訊區塊隨後儲存於DPB 94中，該DPB儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離，該額外記憶體儲存用於稍後呈現於顯示裝置(諸如圖1之顯示裝置32)上之經解碼視訊。
本發明中所描述之各種技術可由視訊解碼器30及/或後處理單元31單獨地或彼此組合地執行。舉例而言，視訊解碼器30及/或後處理單元31可經組態以處理HDR/WCG視訊資料。視訊解碼器30及/或後處理單元31可經組態以：判定用於HDR/WCG視訊資料之區塊之經量化變換係數的量化參數；基於經判定量化參數對經量化變換係數進行逆量化以判定經解量化變換係數；基於經解量化變換係數，判定HDR/WCG視訊資料之區塊的殘餘值區塊；基於殘餘值區塊，判定HDR/WCG視訊資料之區塊的經重建構區塊；判定用於HDR/WCG視訊資料之區塊的一或多個DRA參數；基於經判定量化參數調整一或多個DRA參數以判定一或多個經調整DRA參數；及使用一或多個經調整DRA參數對HDR/WCG視訊資料之經重建構區塊執行DRA。
圖12為說明根據本發明之技術的用於解碼視訊資料之視訊解碼器之實例操作的流程圖。舉例而言，關於圖12所描述之視訊解碼器可為用於輸出可顯示經解碼視訊之諸如視訊解碼器30的視訊解碼器，或可為實施於視訊編碼器，諸如視訊編碼器20之解碼迴路中的視訊解碼器，該解碼迴路包括預測處理單元41、逆量化單元58、逆變換處理單元60、濾波器單元64及DPB 66。圖12之技術中之一些可由與視訊解碼器分離之實體(諸如預處理單元19或後處理單元31)執行，但為簡單起見，圖12之所有技術將描述為由視訊解碼器執行。
視訊解碼器判定用於HDR/WCG視訊資料之區塊之經量化變換係數的量化參數(200)。視訊解碼器基於經判定量化參數對經量化變換係數進行逆量化以判定經解量化變換係數(210)。基於經解量化變換係數，視訊解碼器判定HDR/WCG視訊資料之區塊的殘餘值區塊(220)。基於殘餘值區塊，視訊解碼器判定HDR/WCG視訊資料之區塊的經重建構區塊(230)。視訊解碼器判定用於HDR/WCG視訊資料之區塊的一或多個DRA參數(240)。為了判定用於HDR/WCG視訊資料之區塊的一或多個DRA參數，視訊解碼器可接收對一或多個DRA參數之指示作為HDR/WCG視訊資料中之語法元素或可以其他方式導出一或多個DRA參數。
視訊解碼器基於經判定量化參數調整一或多個DRA參數以判定一或多個經調整DRA參數(250)。用於HDR/WCG視訊資料之區塊的一或多個DRA參數可包括用於HDR/WCG視訊資料之區塊之明度分量的縮放參數及用於HDR/WCG視訊資料之區塊之明度分量的偏移參數，且用於HDR/WCG視訊資料之區塊的一或多個經調整DRA參數可包括用於HDR/WCG視訊資料之區塊之明度分量的經調整縮放參數及用於HDR/WCG視訊資料之區塊之明度分量的經調整偏移參數。用於HDR/WCG視訊資料之區塊的一或多個DRA參數可包括用於HDR/WCG視訊資料之區塊之色度分量的縮放參數及用於HDR/WCG視訊資料之區塊之色度分量的偏移參數，且用於HDR/WCG視訊資料之區塊的一或多個經調整DRA參數可包括用於HDR/WCG視訊資料之區塊之色度分量的經調整縮放參數及用於HDR/WCG視訊資料之區塊之色度分量的經調整偏移參數。一或多個經調整DRA參數可包括用於HDR/WCG視訊資料之區塊之第一色度分量的經調整DRA參數及用於HDR/WCG視訊資料之區塊之第二色度分量的經調整DRA參數。一或多個經調整DRA參數可包括用於HDR/WCG視訊資料之區塊之明度分量的經調整DRA參數、用於HDR/WCG視訊資料之區塊之第一色度分量的經調整DRA參數及用於HDR/WCG視訊資料之區塊之第二色度分量的經調整DRA參數。
視訊解碼器使用一或多個經調整DRA參數對HDR/WCG視訊資料之經重建構區塊執行DRA (260)。視訊解碼器亦可輸出由執行DRA產生之經調整視訊資料。視訊解碼器可例如輸出經調整視訊資料以供顯示或可藉由儲存經調整視訊資料來輸出經調整視訊資料。視訊解碼器可儲存經調整視訊資料以供將來顯示或可儲存經調整視訊資料以供編碼或解碼視訊資料之將來區塊。
在一或多個實例中，所描述功能可實施於硬體、軟體、韌體或其任何組合中。若實施於軟體中，則該等功能可作為一或多個指令或程式碼儲存在電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括例如根據通信協定促進電腦程式自一處轉移至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之界定中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是實際上有關非暫時性有形儲存媒體。如本文所用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器執行。因此，如本文所用之術語「處理器」可指代前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供在經組態以用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必需要藉由不同硬體單元來實現。相反地，如上文所描述，各種單元可組合於編碼解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧預處理單元
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存裝置
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧後處理單元
32‧‧‧顯示裝置
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換處理單元
62‧‧‧求和器
64‧‧‧濾波器單元
66‧‧‧經解碼圖像緩衝器
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧逆量化單元
88‧‧‧逆變換處理單元
90‧‧‧求和器
92‧‧‧濾波器單元
94‧‧‧DPB
100‧‧‧三角形
102‧‧‧三角形
104‧‧‧形狀
110‧‧‧線性RGB資料
112‧‧‧非線性轉移函數
114‧‧‧色彩轉換處理程序
116‧‧‧浮點至整數表示量化單元
118‧‧‧經轉換HDR之資料
120‧‧‧經轉換HDR之資料
122‧‧‧逆量化單元
124‧‧‧逆向色彩轉換處理程序
126‧‧‧逆轉移函數
128‧‧‧線性RGB資料
200‧‧‧步驟
210‧‧‧步驟
220‧‧‧步驟
230‧‧‧步驟
240‧‧‧步驟
250‧‧‧步驟
260‧‧‧步驟
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統的方塊圖。
圖2為說明HDR資料之概念的概念圖。
圖3為說明實例色域之概念圖。
圖4為說明HDR/WCG表示轉換之實例的流程圖。
圖5為說明HDR/WCG逆轉換之實例的流程圖。
圖6為說明用於自感知均勻之碼層級至線性明度之視訊資料轉換(包括SDR及HDR)的電光轉移函數(EOTF)之實例的概念圖。
圖7展示PQ TF (ST2084 EOTF)之實例觀測。
圖8展示LCS函數之實例。
圖9展示具有DRA之視訊寫碼系統之實例。
圖10為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖11為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖12為說明根據本發明之技術的用於解碼視訊資料之視訊解碼器之實例操作的流程圖。

Claims (31)

  1. 一種處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之方法，該方法包含： 判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數； 基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數； 基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊； 基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊； 判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數； 基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及 使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。
  2. 如請求項1之方法，其中用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數包含用於該HDR/WCG視訊資料之該區塊之一明度分量的一縮放參數及用於該HDR/WCG視訊資料之該區塊之該明度分量的一偏移參數，且其中用於該HDR/WCG視訊資料之該區塊的該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之該明度分量的一經調整縮放參數及用於該HDR/WCG視訊資料之該區塊之該明度分量的一經調整偏移參數。
  3. 如請求項1之方法，其中用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數包含用於該HDR/WCG視訊資料之該區塊之一色度分量的一縮放參數及用於該HDR/WCG視訊資料之該區塊之該色度分量的一偏移參數，且其中用於該HDR/WCG視訊資料之該區塊的該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之該色度分量的一經調整縮放參數及用於該HDR/WCG視訊資料之該區塊之該色度分量的一經調整偏移參數。
  4. 如請求項1之方法，其中該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之一第一色度分量的一經調整DRA參數及用於該HDR/WCG視訊資料之該區塊之一第二色度分量的一經調整DRA參數。
  5. 如請求項1之方法，其中該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之一明度分量的一經調整DRA參數、用於該HDR/WCG視訊資料之該區塊之一第一色度分量的一經調整DRA參數及用於該HDR/WCG視訊資料之該區塊之一第二色度分量的一經調整DRA參數。
  6. 如請求項1之方法，其中判定用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數包含接收對該一或多個DRA參數之指示作為該HDR/WCG視訊資料中之語法元素。
  7. 如請求項1之方法，其中該HDR/WCG視訊資料之該經重建構區塊包含該經重建構區塊之一經濾波版本。
  8. 如請求項1之方法，其中判定用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數包含基於用於該HDR/WCG視訊資料之該區塊之一明度分量的一量化參數與用於該HDR/WCG視訊資料之該區塊之一色度分量的一量化參數之間的一相依性導出用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數中之至少一者。
  9. 如請求項8之方法，其中基於用於該HDR/WCG視訊資料之該區塊之該明度分量的該量化參數與用於該HDR/WCG視訊資料之該區塊之該色度分量的該量化參數之間的該相依性導出用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數中之該至少一者包含藉由執行QP至DRA尺度轉換導出該一或多個DRA參數中之該至少一者。
  10. 如請求項8之方法，其中基於用於該HDR/WCG視訊資料之該區塊之該明度分量的該量化參數與用於該HDR/WCG視訊資料之該區塊之該色度分量的該量化參數之間的該相依性導出用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數中之該至少一者包含藉由執行DRA比例至QP轉換導出該一或多個DRA參數中之該至少一者。
  11. 如請求項8之方法，其中用於該明度分量之該量化參數與用於該色度分量之該量化參數之間的該相依性係由一編碼解碼器界定。
  12. 如請求項8之方法，該方法進一步包含： 接收該HDR/WCG視訊資料中之語法元素，其中該語法元素之值界定用於該HDR/WCG視訊資料之該區塊之該明度分量的該量化參數與用於該HDR/WCG視訊資料之該區塊之該色度分量的該量化參數之間的該相依性。
  13. 如請求項8之方法，其中該解碼方法係作為一編碼處理程序之部分而執行的。
  14. 一種用於處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之裝置，該裝置包含： 一記憶體，其經組態以儲存視訊資料；及 一或多個處理器，其耦接至該記憶體且經組態以： 判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數； 基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數； 基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊； 基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊； 判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數； 基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及 使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。
  15. 如請求項14之裝置，其中用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數包含用於該HDR/WCG視訊資料之該區塊之一明度分量的一縮放參數及用於該HDR/WCG視訊資料之該區塊之該明度分量的一偏移參數，且其中用於該HDR/WCG視訊資料之該區塊的該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之該明度分量的一經調整縮放參數及用於該HDR/WCG視訊資料之該區塊之該明度分量的一經調整偏移參數。
  16. 如請求項14之裝置，其中用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數包含用於該HDR/WCG視訊資料之該區塊之一色度分量的一縮放參數及用於該HDR/WCG視訊資料之該區塊之該色度分量的一偏移參數，且其中用於該HDR/WCG視訊資料之該區塊的該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之該色度分量的一經調整縮放參數及用於該HDR/WCG視訊資料之該區塊之該色度分量的一經調整偏移參數。
  17. 如請求項14之裝置，其中該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之一第一色度分量的一經調整DRA參數及用於該HDR/WCG視訊資料之該區塊之一第二色度分量的一經調整DRA參數。
  18. 如請求項14之裝置，其中該一或多個經調整DRA參數包含用於該HDR/WCG視訊資料之該區塊之一明度分量的一經調整DRA參數、用於該HDR/WCG視訊資料之該區塊之一第一色度分量的一經調整DRA參數及用於該HDR/WCG視訊資料之該區塊之一第二色度分量的一經調整DRA參數。
  19. 如請求項14之裝置，其中為了判定用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數，該一或多個處理器經組態以接收對該一或多個DRA參數之指示作為該HDR/WCG視訊資料中之語法元素。
  20. 如請求項14之裝置，其中該HDR/WCG視訊資料之該經重建構區塊包含該經重建構區塊之一經濾波版本。
  21. 如請求項14之裝置，其中為了判定用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數，該一或多個處理器經組態以基於用於該HDR/WCG視訊資料之該區塊之一明度分量的一量化參數與用於該HDR/WCG視訊資料之該區塊之一色度分量的一量化參數之間的一相依性導出用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數中之至少一者。
  22. 如請求項21之裝置，其中為了基於用於該HDR/WCG視訊資料之該區塊之該明度分量的該量化參數與用於該HDR/WCG視訊資料之該區塊之該色度分量的該量化參數之間的該相依性導出用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數中之該至少一者，該一或多個處理器經組態以藉由執行QP至DRA比例轉換導出該一或多個DRA參數中之該至少一者。
  23. 如請求項21之裝置，其中為了基於用於該HDR/WCG視訊資料之該區塊之該明度分量的該量化參數與用於該HDR/WCG視訊資料之該區塊之該色度分量的該量化參數之間的該相依性導出用於該HDR/WCG視訊資料之該區塊的該一或多個DRA參數中之該至少一者，該一或多個處理器經組態以藉由執行DRA比例至QP轉換導出該一或多個DRA參數中之該至少一者。
  24. 如請求項21之裝置，其中用於該明度分量之該量化參數與用於該色度分量之該量化參數之間的該相依性係由一編碼解碼器界定。
  25. 如請求項21之裝置，其中該一或多個處理器經進一步組態以： 接收該HDR/WCG視訊資料中之語法元素，其中該語法元素之值界定用於該HDR/WCG視訊資料之該區塊之該明度分量的該量化參數與用於該HDR/WCG視訊資料之該區塊之該色度分量的該量化參數之間的該相依性。
  26. 如請求項14之裝置，其中該裝置包含一無線通信裝置，其進一步包含經組態以接收經編碼視訊資料之一接收器。
  27. 如請求項26之裝置，其中該無線通信裝置包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調包含該經編碼視訊資料之一信號。
  28. 如請求項14之裝置，其中該裝置包含一無線通信裝置，其進一步包含經組態以傳輸經編碼視訊資料之一傳輸器。
  29. 如請求項28之裝置，其中該無線通信裝置包含一電話手機，且其中該傳輸器經組態以根據一無線通信標準調變包含該經編碼視訊資料之一信號。
  30. 一種電腦可讀媒體，其儲存在由一或多個處理器執行時使該一或多個處理器進行以下操作之指令： 判定用於高動態範圍及/或廣色域(HDR/WCG)視訊資料之一區塊之經量化變換係數的一量化參數； 基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數； 基於該等經解量化變換係數，判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊； 基於該殘餘值區塊，判定該HDR/WCG視訊資料之該區塊的一經重建構區塊； 判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數； 基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數；及 使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA。
  31. 一種用於處理高動態範圍及/或廣色域(HDR/WCG)視訊資料之設備，該裝置包含： 用於判定用於該HDR/WCG視訊資料之一區塊之經量化變換係數的一量化參數的構件； 用於基於該經判定量化參數對該等經量化變換係數進行逆量化以判定經解量化變換係數的構件； 用於基於該等經解量化變換係數判定該HDR/WCG視訊資料之該區塊的一殘餘值區塊的構件； 用於基於該殘餘值區塊判定該HDR/WCG視訊資料之該區塊的一經重建構區塊的構件； 用於判定用於該HDR/WCG視訊資料之該區塊的一或多個動態範圍調整(DRA)參數的構件； 用於基於該經判定量化參數調整該一或多個DRA參數以判定一或多個經調整DRA參數的構件；及 用於使用該一或多個經調整DRA參數對該HDR/WCG視訊資料之該經重建構區塊執行DRA的構件。
TW107145974A 2017-12-19 2018-12-19 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 TWI800580B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762607887P 2017-12-19 2017-12-19
US62/607,887 2017-12-19
US16/224,320 US10681358B2 (en) 2017-12-19 2018-12-18 Quantization parameter control for video coding with joined pixel/transform based quantization
US16/224,320 2018-12-18

Publications (2)

Publication Number Publication Date
TW201931853A true TW201931853A (zh) 2019-08-01
TWI800580B TWI800580B (zh) 2023-05-01

Family

ID=66816609

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145974A TWI800580B (zh) 2017-12-19 2018-12-19 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制

Country Status (9)

Country Link
US (2) US10681358B2 (zh)
EP (1) EP3729806A1 (zh)
JP (1) JP7369124B2 (zh)
KR (1) KR20200099535A (zh)
CN (1) CN111480339B (zh)
BR (1) BR112020012101A2 (zh)
SG (1) SG11202004176SA (zh)
TW (1) TWI800580B (zh)
WO (1) WO2019126307A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821111B (zh) * 2022-01-20 2023-11-01 美商杜拜研究特許公司 多媒體應用之資料結構

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2975172C (en) * 2015-01-30 2023-04-04 Thomson Licensing A method and apparatus of encoding and decoding a color picture
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10681358B2 (en) 2017-12-19 2020-06-09 Qualcomm Incorporated Quantization parameter control for video coding with joined pixel/transform based quantization
JP2021518692A (ja) * 2018-03-30 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ビデオ符号化および復号化におけるクロマ量子化パラメータ調整
CA3039701A1 (en) * 2018-04-06 2019-10-06 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
EP3935847A4 (en) * 2019-03-04 2022-12-07 Alibaba Group Holding Limited METHOD AND SYSTEM FOR PROCESSING VIDEO CONTENT
WO2020246790A1 (ko) * 2019-06-03 2020-12-10 엘지전자 주식회사 맵핑된 루마 성분 및 스케일링된 크로마 성분 기반 비디오 또는 영상 코딩
CN111083475B (zh) * 2019-12-31 2022-04-01 上海富瀚微电子股份有限公司 量化变换系数管理装置及适用于hevc标准的编码器
US11558616B2 (en) * 2020-03-05 2023-01-17 Qualcomm Incorporated Methods for quantization parameter control for video coding with joined pixel/transform based quantization
US11375212B2 (en) * 2020-04-18 2022-06-28 Qualcomm Incorporated Flexible chroma processing for dynamic range adjustment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120307889A1 (en) * 2011-06-01 2012-12-06 Sharp Laboratories Of America, Inc. Video decoder with dynamic range adjustments
CN102333223A (zh) * 2011-10-25 2012-01-25 北京华兴宏视技术发展有限公司 视频数据编码方法、解码方法、编码系统和解码系统
RU2017112309A (ru) * 2014-09-12 2018-10-12 Вид Скейл, Инк. Межкомпонентная декорреляция для видеокодирования
US20160309154A1 (en) 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
KR20180074150A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치
US10681358B2 (en) 2017-12-19 2020-06-09 Qualcomm Incorporated Quantization parameter control for video coding with joined pixel/transform based quantization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821111B (zh) * 2022-01-20 2023-11-01 美商杜拜研究特許公司 多媒體應用之資料結構

Also Published As

Publication number Publication date
KR20200099535A (ko) 2020-08-24
US20200260092A1 (en) 2020-08-13
US11190779B2 (en) 2021-11-30
CN111480339B (zh) 2022-05-24
WO2019126307A1 (en) 2019-06-27
TWI800580B (zh) 2023-05-01
SG11202004176SA (en) 2020-07-29
US10681358B2 (en) 2020-06-09
JP7369124B2 (ja) 2023-10-25
JP2021507614A (ja) 2021-02-22
CN111480339A (zh) 2020-07-31
US20190191172A1 (en) 2019-06-20
BR112020012101A2 (pt) 2020-11-17
EP3729806A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
US10666957B2 (en) Processing high dynamic range and wide color gamut video data for video coding
TWI755363B (zh) 用於高動態範圍及廣色域視訊寫碼之補充增強資訊（ｓｅｉ）訊息
US10200690B2 (en) Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
TWI688259B (zh) 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移
US11190779B2 (en) Quantization parameter control for video coding with joined pixel/transform based quantization
TW201711470A (zh) 用於高動態範圍及廣色域視訊寫碼之自適應常數照度方法
US11190758B2 (en) Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation
TW201924336A (zh) 利用內容適應性空間變化量化之視訊寫碼
TW201921928A (zh) 在視訊寫碼中跨分量動態範圍調整之系統及方法
KR20170139016A (ko) 높은 동적 범위 및 넓은 색역 비디오 코딩에 대한 동적 범위 조정
TW201722154A (zh) 視訊寫碼中成分之範圍調整之固定點實施
TWI713354B (zh) 用於顯示器調適之色彩重映射資訊ｓｅｉ信息發信號
TWI765903B (zh) 用於循環樣本處理之視訊寫碼工具