TWI775925B

TWI775925B - 在視訊寫碼中跨分量動態範圍調整之系統及方法

Info

Publication number: TWI775925B
Application number: TW107129173A
Authority: TW
Inventors: 丹姆裘瑞斯諾斯基; 阿達許克里許納瑞瑪蘇布雷蒙尼安; 馬塔卡茲維克茲
Original assignee: 美商高通公司
Priority date: 2017-08-21
Filing date: 2018-08-21
Publication date: 2022-09-01
Also published as: EP3673652A1; BR112020003037A2; SG11202000296TA; US10778978B2; CN110999299B; KR102612652B1; CN110999299A; US20190068969A1; KR20200037272A; AU2018322042A1; WO2019040502A1; AU2018322042B2; TW201921928A

Abstract

本發明提供一種處理視訊資料之方法，該方法包括：接收視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數之一函數判定該視訊資料之色度分量的色度尺度參數；以及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。

Description

在視訊寫碼中跨分量動態範圍調整之系統及方法

本發明係關於視訊處理。

數位視訊頻能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階視訊寫碼(AVC)第10部分、ITU-T H.265、高效率視訊寫碼(HEVC)所界定的標準及此等標準之擴展中所描述的彼等技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。

空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。

可由色域來定義可以俘獲、寫碼及顯示之色值之總數目。色域係指器件可俘獲(例如，攝影機)或再現(例如，顯示器)之色彩之範圍。常常，色域在器件之間係不同的。針對視訊寫碼，可使用視訊資料之預定義色域，以使得視訊寫碼程序中之每一器件可經組態以在同一色域中處理像素值。某些色域係用比傳統上已用於視訊寫碼之色域大的色彩範圍進行定義。具有較大色彩範圍之此等色域可被稱作廣色域(WCG)。

視訊資料之另一態樣係動態範圍。動態範圍通常經定義為視訊信號之最大亮度與最小亮度(例如，明度)之間的比。認為過去所使用的常用視訊資料之動態範圍具有標準動態範圍(SDR)。視訊資料之其他實例規範定義具有較大的最大亮度與最小亮度之比的色彩資料。此視訊資料可描述為具有高動態範圍(HDR)。

本發明係關於具備高動態範圍(HDR)及廣色域(WCG)表示之視訊信號之寫碼之領域。更特定而言，在一些實例中，本發明描述應用於某些色彩空間中之視訊資料以實現HDR及WCG視訊資料之更高效壓縮的傳信及操作。舉例而言，根據一些實例，用於寫碼HDR及WCG視訊資料之混合式視訊寫碼系統的壓縮效率可得以改良。

本發明描述用於執行視訊資料之色度分量的跨分量動態範圍調整的實例技術及器件。在一個實例中，本發明描述導出用於視訊資料之明度分量之動態範圍調整的尺度參數。在一個實例中，可依據明度尺度參數導出用於色度分量之動態範圍調整的一或多個尺度參數。藉由使用明度尺度因子以導出色度分量之尺度參數，經解碼視訊資料中之視覺失真的量可得以減少。在其他實例中，可使用明度尺度因子、色度量化參數(QP)值及/或色彩容器參數(例如經定義用於色彩容器的轉移函數)中之一或多者的函數來導出用於色度分量之尺度因子。

本文中所描述之技術可結合根據視訊寫碼標準操作之視訊編碼解碼器一起使用。實例視訊寫碼標準可包括H.264/AVC (進階視訊寫碼)、H.265/HEVC (高效率視訊寫碼)、H.266/VVC (通用視訊寫碼)及經組態以編碼及解碼HDR及/或WCG內容之其他標準。

在本發明之一個實例中，一種處理視訊資料之方法包含：接收視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數之一函數判定該視訊資料之色度分量的色度尺度參數；及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。

在本發明之另一實例中，一種經組態以處理視訊資料之裝置包含經組態以儲存該視訊資料之一記憶體，及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：接收視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數之一函數判定該視訊資料之色度分量的色度尺度參數；及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。

在本發明之另一實例中，一種經組態以處理視訊資料之裝置包含：用於接收視訊資料的構件；用於判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數的構件；用於使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序的構件；用於使用該等明度尺度參數之一函數判定該視訊資料之色度分量的色度尺度參數的構件；及用於使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序的構件。

在另一實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時促使經組態以處理視訊資料之一器件的一或多個處理器執行以下操作：接收視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數之一函數判定該視訊資料之色度分量的色度尺度參數；及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。

在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。

本申請案主張2017年8月21日申請之美國臨時申請案第62/548,236號之權益，該臨時申請案之全部內容以引用之方式併入本文中。

本發明係關於對具有高動態範圍(HDR)及廣色域(WCG)表示之視訊資料的處理及/或寫碼。在一個實例中，本發明之技術包括用於依據明度分量之動態範圍調整參數判定視訊資料之色度分量的動態範圍調整參數的技術。本文中所描述之技術及器件可改良用於寫碼視訊資料(包括HDR及WCG視訊資料)的混合式視訊寫碼系統之壓縮效率並減少其失真。

圖1為說明可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括提供稍後將由目的地器件14解碼之經編碼視訊資料的源器件12。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件、廣播接收器器件或其類似者。在一些情況下，源器件12及目的地器件14可經裝備以用於無線通信。

目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如，有線或無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他裝備。

在其他實例中，電腦可讀媒體16可包括非暫時性儲存媒體，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可接收來自源器件12之經編碼視訊資料且例如經由網路傳輸提供該經編碼視訊資料至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。

在一些實例中，可自輸出介面22將經編碼資料輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、Blu-ray碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線通道(例如Wi-Fi連接)、有線連接(例如DSL、電纜數據機等)或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。

本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。

在圖1之實例中，源器件12包括視訊源18、視訊編碼單元21 (其包括視訊預處理器單元19及視訊編碼器20)以及輸出介面22。目的地器件14包括輸入介面28、視訊解碼單元29 (其包括視訊後處理器單元31及視訊解碼器30)以及顯示器件32。根據本發明，源器件12之視訊預處理器單元19及/或視訊編碼器20及目的地器件14之視訊後處理器單元31及/或視訊解碼器30可經組態以實施本發明之技術，包括對視訊之色度分量執行跨分量動態範圍調整以實現HDR及WCG視訊資料之較少失真地更高效壓縮。在一些實例中，視訊預處理器單元19可與視訊編碼器20分離。在其他實例中，視訊預處理器單元19可為視訊編碼器20之部分。同樣，在一些實例中，視訊後處理器單元31可與視訊解碼器30分離。在其他實例中，視訊後處理器單元31可為視訊解碼器30之部分。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合顯示器件。

圖1之所說明系統10僅係一個實例。用於處理HDR及WCG視訊資料之技術可由任何數位視訊編碼及/或視訊解碼器件來執行。此外，本發明之技術亦可由視訊預處理器及/或視訊後處理器(例如，視訊預處理器單元19及視訊後處理器單元31)執行。一般而言，視訊預處理器可為經組態以在編碼之前(例如，在HEVC編碼之前)對視訊資料進行處理的任何器件。一般而言，視訊後處理器可為經組態以在解碼之後(例如，在HEVC解碼之後)對視訊資料進行處理的任何器件。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14的此類寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件，以及視訊預處理器及視訊後處理器(例如，分別為視訊預處理器單元19及視訊後處理器單元31)。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。

源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術一般而言可適用於視訊寫碼及視訊處理，且可應用於無線及/或有線應用。在每一情況下，可由視訊編碼單元21對所俘獲、預先俘獲或電腦產生之視訊進行編碼。經編碼視訊資訊接著可由輸出介面22輸出至電腦可讀媒體16上。

目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，語法資訊亦由視訊解碼單元29使用，語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件32將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。

如所說明，視訊預處理器單元19自視訊源18接收視訊資料。視訊預處理器單元19可經組態以處理視訊資料以將其轉換成適合於藉由視訊編碼器20編碼的形式。舉例而言，視訊預處理器單元19可執行動態範圍壓縮(例如使用非線性轉移函數)、至更緊湊或穩固色彩空間之色彩轉換、動態範圍調整及/或浮點至整數表示轉換。視訊編碼器20可對由視訊預處理器單元19輸出之視訊資料執行視訊編碼。視訊解碼器30可執行視訊編碼器20之反向以解碼視訊資料，且視訊後處理器單元31可執行視訊預處理器單元19之操作的反向以將視訊資料轉換成適合於顯示器之形式。舉例而言，視訊後處理器單元31可執行整數至浮點轉換、自緊湊或穩固色彩空間之色彩轉換、反向動態範圍調整，及/或動態範圍壓縮之反向以產生適合於顯示器之視訊資料。

視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)之部分。

視訊預處理器單元19及視訊後處理器單元31可各自實施為多種合適之編碼器電路中之任一者，諸如一或多個微處理器、DSP、ASIC、FPGA、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。如上文所論述，視訊預處理器單元19及視訊後處理器單元31可分別地為與視訊編碼器20及視訊解碼器30分離之器件。在其他實例中，視訊預處理器單元19可與視訊編碼器20整合於單一器件中且視訊後處理器單元31可與視訊解碼器30整合於單一器件中。

在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準操作，該視訊壓縮標準諸如ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)、及/或ITU-T H.265 (亦稱作高效率視訊寫碼(HEVC)或其擴展)。在其他實例中，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如聯合探索測試模型(JEM))操作。然而，本發明之技術不限於任何特定寫碼標準。

HEVC標準由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合合作小組(JCT-VC)完成。HEVC工作草案規範(且在下文中被稱作HEVC WD)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip獲得。

最近，被稱作通用視訊寫碼(VVC)標準之新的視訊寫碼標準處於由VCEG及MPEG之聯合視訊專家小組(JVET)進行的開發中。VVC之早期草案可在文件JVET-J1001「通用視訊寫碼(草案1)」中獲得且其演算法描述可在文件JVET-J1002「用於通用視訊寫碼及測試模型1 (VTM1)之演算法描述」中獲得。

在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，指示為S_L 、S_Cb 及S_Cr 。S_L 為明度樣本之二維陣列(亦即，區塊)。S_Cb 為Cb色訊樣本之二維陣列。S_Cr 為Cr色訊樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。

視訊編碼器20可產生一組寫碼樹型單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他視訊寫碼標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。

本發明可使用術語「視訊單元」或「視訊區塊」來指樣本之一或多個區塊，及用於寫碼樣本之一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括HEVC中之CTU、CU、PU、變換單元(TU)，或其他視訊寫碼標準中之巨集區塊、巨集區塊分割區等。

為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含明度樣本之寫碼區塊及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊，以及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。

視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為經應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含圖像之明度樣本的預測區塊，圖像之色度樣本的兩個對應預測區塊，及用於對預測區塊樣本進行預測的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，PU可包含單一預測區塊，及用以對預測區塊樣本進行預測之語法結構。視訊編碼器20可產生CU之每一PU的明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。

作為另一實例，視訊編碼器20及視訊解碼器30可經組態以根據JEM/VVC操作。根據JEM/VVC，視訊寫碼器(諸如視訊編碼器20)將圖像分割成複數個寫碼樹型單元(CTU)。視訊編碼器20可根據樹狀結構(諸如四分樹二進位樹(QTBT)結構)分割CTU。JEM之QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。JEM之QTBT結構包括兩個層級：根據四分樹分割分割的第一層級，及根據二進位樹分割分割的第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。

在一些實例中，視訊編碼器20及視訊解碼器30可使用單一QTBT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器20及視訊解碼器30可使用兩個或大於兩個QTBT結構，諸如用於明度分量之一個QTBT結構及用於兩個色度分量之另一QTBT結構(或用於各別色度分量之兩個QTBT結構)。

視訊編碼器20及視訊解碼器30可經組態以使用根據HEVC之四分樹分割、根據JEM/VVC之QTBT分割，或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。

圖2A及圖2B為說明實例四分樹二進位樹(QTBT)結構130及對應寫碼樹型單元(CTU) 132之概念圖。實線表示四分樹分裂，且點線指示二進位樹分裂。在二進位樹之每一分裂(亦即，非葉)節點中，一個旗標經發信以指示使用哪一分裂類型(亦即，水平或垂直)，其中在此實例中，0指示水平分裂且1指示垂直分裂。對於四分樹分裂，不存在對於指示分裂類型之需要，此係由於四分樹節點將區塊水平地及垂直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器20可編碼，且視訊解碼器30可解碼用於QTBT結構130之區域樹層級(亦即實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器20可編碼，且視訊解碼器30可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及轉換資料)。

一般而言，圖2B之CTU 132可與定義對應於在第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二進位樹大小(MaxBTSize，表示最大允許二進位樹根節點大小)、最大二進位樹深度(MaxBTDepth，表示最大允許二進位樹深度)，及最小二進位樹大小(MinBTSize，表示最小允許二進位樹葉節點大小)。

對應於CTU之QTBT結構的根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四分樹分割來分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二進位樹根節點大小(MaxBTSize)，則其可藉由各別二進位樹進一步分割。一個節點之二進位樹分裂可重複，直至由分裂產生之節點達到最小允許之二進位樹葉節點大小(MinBTSize)，或最大允許之二進位樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二進位樹葉節點被稱作寫碼單元(CU)，其用於預測(例如圖像內或圖像間預測)及變換，而不更進一步分割。如上文所論述，CU亦可被稱作「視訊區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize(對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16(亦即，MinQTSize)至128×128(亦即，CTU大小)之大小。若葉四分樹節點為128×128，則其將不由二進位樹進一步分裂，此係由於大小超過MaxBTSize (亦即，在此實例中64×64)。否則，葉四分樹節點將藉由二進位樹進一步分割。因此，四分樹葉節點亦為二進位樹之根節點並具有為0之二進位樹深度。當二進位樹深度達到MaxBTDepth (在此實例中，4)時，不准許進一步分裂。當二進位樹節點具有等於MinBTSize (在此實例中，4)之寬度時，其意指不准許進一步水平分裂。類似地，具有等於MinBTSize之高度的二進位樹節點意指對於彼二進位樹節點不准許進一步垂直分裂。如上文所提及，二進位樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。

視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。

若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本，產生PU之預測性區塊。框間預測可為單向框間預測(亦即，單向預測)或雙向框間預測(亦即，雙向預測)。為執行單向預測或雙向預測，視訊編碼器20可產生當前圖塊之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。

參考圖像清單中之每一者可包括一或多個參考圖像。當使用單向預測時，視訊編碼器20可搜尋RefPicList0及RefPicList1中之任一者或兩者中的參考圖像，以判定參考圖像內之參考位置。此外，當使用單向預測時，視訊編碼器20可至少部分基於對應於參考位置之樣本產生PU之預測性樣本區塊。此外，當使用單向預測時，視訊編碼器20可產生指示PU之預測區塊與參考位置之間的空間位移之單一運動向量。為了指示PU之預測區塊與參考位置之間的空間位移，運動向量可包括指定PU之預測區塊與參考位置之間的水平位移之水平分量，且可包括指定PU之預測區塊與參考位置之間的垂直位移之垂直分量。

當使用雙向預測編碼PU時，視訊編碼器20可判定RefPicList0中之參考圖像中的第一參考位置，及RefPicList1中之參考圖像中的第二參考位置。視訊編碼器20可接著至少部分基於對應於第一及第二參考位置之樣本而產生PU之預測性區塊。此外，當使用雙向預測來編碼PU時，視訊編碼器20可產生指示PU之樣本區塊與第一參考位置之間的空間位移之第一運動向量，及指示PU之預測區塊與第二參考位置之間的空間位移之第二運動向量。

在一些實例中，JEM/VVC亦提供仿射運動補償模式，其可被認為框間預測模式。在仿射運動補償模式中，視訊編碼器20可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。

在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中的一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。

此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為其上應用相同變換之樣本的矩形區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換之語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，TU可包含單一變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。

視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。

在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。此外，視訊編碼器20可反量化變換係數，並將反變換應用於變換係數，以便重建構圖像之CU的TU之變換區塊。視訊編碼器20可使用CU之TU的經重建構變換區塊及CU之PU的預測性區塊來重建構CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊編碼器20可重建構圖像。視訊編碼器20可將經重建構圖像儲存於經解碼圖像緩衝器(DPB)中。視訊編碼器20可將DPB中之經重建構之圖像用於進行框間預測及框內預測。

在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元流中輸出經熵編碼之語法元素。

視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括一NAL單元標頭，且囊封一原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。

不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP等等。PPS為可含有適用於零或多個完整經寫碼圖像之語法元素的語法結構。囊封視訊寫碼資料之RBSP (與參數集合及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。囊封經寫碼圖塊之NAL單元在本文中可被稱作經寫碼圖塊NAL單元。用於經寫碼圖塊之RBSP可包括圖塊標頭及圖塊資料。

視訊解碼器30可接收位元流。此外，視訊解碼器30可剖析位元流以自位元流解碼語法元素。視訊解碼器30可至少部分基於自位元流解碼之語法元素重建構視訊資料之圖像。重建構視訊資料之程序可與由視訊編碼器20執行之程序大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。視訊解碼器30可使用PU之一或多個運動向量產生PU之預測性區塊。

此外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反向變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。視訊解碼器30可將經解碼圖像儲存於經解碼圖像緩衝器中，以用於輸出及/或用於在解碼其他圖像過程中使用。

預期下一代視訊應用操作表示具有HDR及WCG之經俘獲景物的視訊資料。所利用動態範圍及色域之參數為視訊內容之兩個獨立屬性，且出於數位電視及多媒體服務之目的的其規範由若干國際標準定義。舉例而言，ITU-R Rec. BT.709 「用於產生及國際程序交換之HDTV標準的參數值」定義用於HDTV (高清電視)之參數，諸如標準動態範圍(SDR)及標準色域。ITU-R Rec. BT.2020 「用於產生及國際程序交換之超高清電視系統的參數值」指定UHDTV (超高清電視)，諸如HDR及WCG (例如WCG定義延伸超出標準色域的色彩原色)。Rec. BT.2100 「供在產生及國際程序交換中使用的高動態範圍電視之影像參數值」定義轉移函數及用於HDR電視使用之表示，包括支援廣色域表示的原色。亦存在其他標準開發組織(SDO)文件，其指定其他系統中之動態範圍及色域屬性，例如，DCI-P3色域經定義於SMPTE-231-2 (動畫及電視工程師協會)中且HDR之一些參數經定義於SMPTE-2084中。下文提供用於視訊資料之動態範圍及色域之簡要描述。

動態範圍通常經定義為視訊信號之最大亮度與最小亮度(例如，明度)之間的比。亦可以「f光闌」為單位量測動態範圍，其中一個f光闌對應於信號動態範圍之加倍。在MPEG定義中，特徵化相對於多於16f光闌之亮度變化的內容被稱作HDR內容。在一些術語中，10個f光闌與16個f光闌之間的層級被視為中間動態範圍，但在其他定義中可被視為HDR。在本發明之一些實例中，HDR視訊內容可為相較於傳統使用之具有標準動態範圍之視訊內容(例如，如藉由ITU-R Rec.BT.709所指定之視訊內容)具有較高動態範圍的任何視訊內容。

人類視覺系統(HVS)能夠感知比SDR內容及HDR內容大很多的動態範圍。然而，HVS包括適應機構，其將HVS之動態範圍縮窄至所謂的同時範圍。同時範圍之寬度可取決於當前照明條件(例如，當前亮度)。由HDTV之SDR、UHDTV之預期HDR及HVS之動態範圍提供的動態範圍之可視化展示於圖3中，但精確範圍可基於每一個人及顯示器而改變。

一些實例視訊應用及服務由ITU Rec.709調節且提供SDR，其通常支援每m2大約0.1坎德拉至100坎德拉(cd)之範圍的亮度(或明度)(常常被稱作「尼特(nit)」)，從而導致小於10個f光闌。預期一些實例下代視訊服務將提供達至16 f光闌之動態範圍。儘管用於此等內容之詳細規範目前正在研發，但一些初始參數已於SMPTE-2084及ITU-R Rec.2020中予以指定。

除HDR以外，更逼真視訊體驗之另一態樣係色彩維度。色彩維度通常由色域定義。圖4為展示SDR色域(基於BT.709色彩原色之三角形100)及用於UHDTV之較廣色域(基於BT.2020色彩原色之三角形102)的概念圖。圖4亦描繪所謂的光譜軌跡(由舌片形狀之區域104定界)，從而表示天然色之界限。如圖4所說明，自BT.709 (三角形100)移動至BT.2020 (三角形102)，色彩原色旨在提供具有約多於70%之色彩的UHDTV服務。D65指定用於BT.709及/或BT.2020規範之實例白色。

用於DCI-P3、BT.709及BT.2020色彩空間之色域規範之實例展示於表1中。表 1 - 色域參數

如表1中可見，色域可由白點之X及Y值，及由原色(例如紅色(R)、綠色(G)及藍色(B))之x及y值界定。x及y值表示根據色彩之色度(X及Z)及亮度(Y)導出之正規化值，如由CIE 1931色彩空間所界定。CIE 1931色彩空間界定純色(例如，就波長而言)之間的連接及人眼如何感知此類色彩。

通常在每分量極高精度(甚至浮點)下(在4:4:4色度格式及極寬色彩空間(例如，CIE XYZ)之情況下)獲取及儲存HDR/WCG視訊資料。此表示以高精度為目標且在數學上幾乎無損。然而，用於儲存HDR/WCG視訊資料之此格式可包括大量冗餘且對於壓縮用途而言可能非最佳的。具有基於HVS之假定的較低精度格式通常用於目前先進技術的視訊應用。

出於壓縮目的之視訊資料格式轉換程序之一個實例包括三個主要程序，如圖5中所示。圖5之該等技術可由源器件12執行。線性RGB資料110可為HDR/WCG視訊資料且可儲存於浮點表示中。可使用用於動態範圍壓縮之非線性轉移函數(TF) 112來壓縮線性RGB資料110。轉移函數112可使用任何數目之非線性轉移函數(例如，如SMPTE-2084中所定義之PQ TF)來壓縮線性RGB資料110。在一些實例中，色彩轉換程序114將經壓縮之資料轉換成較適合於由混合型視訊編碼器壓縮的更緊湊或穩固之色彩空間(例如，YUV或YCrCb色彩空間)。接著使用浮點至整數表示量化單元116將此資料量化以產生經轉換HDR’資料118。在此實例中，HDR’資料118呈整數表示。現今HDR’資料呈較適合於由混合型視訊編碼器(例如應用H.264、HEVC或VVC技術之視訊編碼器20)來壓縮的格式。圖5中所描繪之程序的次序係作為一實例給出，且在其他應用中可改變。舉例而言，色彩轉換可先於TF程序。另外，例如空間子取樣之額外處理可應用於色彩分量。

在解碼器側處之反轉換描繪於圖6中。圖6之技術可由目的地器件14執行。經轉換HDR’資料120可在目的地器件14處經由使用混合型視訊解碼器(例如，應用H.264、HEVC或VVC技術之視訊解碼器30)解碼視訊資料而獲得。接著可由反量化單元122對HDR’資料120進行反量化。接著可將反色彩轉換程序124應用於該經反量化HDR’資料。反色彩轉換程序124可為色彩轉換程序114之反向。舉例而言，反色彩轉換程序124可將HDR’資料自YCrCb格式轉換回至RGB格式。接下來，可將反轉移函數126應用於資料以添加回由轉移函數112壓縮之動態範圍，從而重建線性RGB資料128。

現將更詳細地論述圖5中所描繪之技術。一般而言，將轉移函數應用於資料(例如，HDR/WCG視訊資料)以壓縮資料之動態範圍，以使得由量化引起之錯誤在明度值範圍中在感知上(近似)均勻。此壓縮允許用較少位元來表示資料。在一個實例中，轉移函數可為一維(1D)非線性函數且可反映最終使用者顯示器之電光轉移函數(EOTF)之反向，例如，如Rec.709中針對SDR所指定。在另一實例中，轉移函數可概算對亮度變化之HVS感知，例如，SMPTE-2084中針對HDR所指定之PQ轉移函數。OETF之反向程序為EOTF(電光轉移函數)，其將碼等級映射回至照度。圖7展示用作EOTF之非線性轉移函數之若干實例。該等轉移函數亦可單獨地應用於每一R、G及B分量。

SMPTE-2084之規範按以下所描述來定義EOTF應用。將轉移函數應用於正規化線性R、G、B值，此產生R'G'B'之非線性表示。SMPTE-2084藉由使NORM=10000界定正規化，其與10000尼特(坎德拉/平方米)之峰值亮度相關聯。 R' = PQ_TF(max(0, min(R/NORM,1)) ) G' = PQ_TF(max(0, min(G/NORM,1)) ) (1) B' = PQ_TF(max(0, min(B/NORM,1)) ) 其中PQ_TF(L)=((c₁ +c₂ L^(m₁ ))/(1+c₃ L^(m₁ ) ))^(m₂ ) m₁ =2610/4096×1/4=0.1593017578125 m₂ =2523/4096×128=78.84375 c₁ =c₃ -c₂ +1=3424/4096=0.8359375 c₂ =2413/4096×32=18.8515625 c₃ =2392/4096×32=18.6875

在輸入值(線性色彩值)經正規化至範圍0..1情況下，在圖8中可視PQ EOTF之經正規化輸出值(非線性色彩值)。如自曲線131看到，輸入信號之動態範圍的百分之1(低照明)經轉換成輸出信號之動態範圍的50%。

通常，EOTF經定義為具有浮點準確度之函數，因此若應用反向TF(所謂的OETF)，則無錯誤經引入至具有此非線性之信號。SMPTE-2084中所指定之反向TF (OETF)經定義為inversePQ函數： R = 10000*inversePQ_TF(R') G = 10000*inversePQ_TF(G') (2) B = 10000*inversePQ_TF(B') 其中

藉由浮點準確度，依序應用EOTF及OETF提供無錯誤之完美的重建構。然而，對於串流或廣播服務，此表示未必總是最佳的。在以下章節中描述具有非線性R'G'B'資料之固定位元準確度的更緊湊表示。

應注意，EOTF及OETF為當前非常活躍的研究之個體，且一些HDR視訊寫碼系統中所利用之TF可不同於SMPTE-2084。

在本發明之上下文中，術語「信號值」或「色彩值」可用於描述對應於影像元件的特定色彩分量(諸如，R、G、B或Y)之值的明度位準。信號值通常表示線性光層級(明度值)。術語「碼階」或「數位碼值」可指影像信號值之數位表示。通常，此數位表示表示非線性信號值。EOTF表示提供至顯示器件(例如，顯示器件32)之非線性信號值與由顯示器件產生之線性色彩值之間的關係。

RGB資料通常被用作輸入色彩空間，此係由於RGB係通常藉由影像俘獲感測器產生之資料類型。然而，RGB色彩空間在其分量當中具有高冗餘且對於緊湊表示而言並非最佳的。為達成更緊湊且更穩固之表示，RGB分量通常經轉換(例如，執行色彩變換)至更適合於壓縮之更不相關色彩空間(例如，YCbCr)。YCbCr色彩空間分離不同的相關較少分量中的呈明度(Y)形式之亮度及色彩資訊(CrCb)。在此上下文中，穩固表示可指在以受限位元速率進行壓縮時特徵為較高階錯誤彈性之色彩空間。

現代視訊寫碼系統通常使用YCbCr色彩空間，如ITU-R BT.709或ITU-R BT.709中所指定。BT.709標準中之YCbCr色彩空間指定自R'G'B'至Y'CbCr之以下轉換程序(非恆定明度表示)： Y' = 0.2126 * R' + 0.7152 * G' + 0.0722 * B'

(3)

以上程序亦可使用避免Cb及Cr分量之除法的以下概算轉換來實施： Y' = 0.212600 * R' + 0.715200 * G' + 0.072200 * B' Cb = -0.114572 * R' - 0.385428 * G' + 0.500000 * B' (4) Cr = 0.500000 * R' - 0.454153 * G' - 0.045847 * B'

ITU-R BT.2020標準指定自R'G'B'至Y'CbCr(非恆定明度表示)之以下轉換程序： Y' = 0.2627 * R' + 0.6780 * G' + 0.0593 * B'

(5)

以上程序亦可使用避免Cb及Cr分量之除法的以下概算轉換來實施： Y' = 0.262700 * R' + 0.678000 * G' + 0.059300 * B' Cb = -0.139630 * R' - 0.360370 * G' + 0.500000 * B' (6) Cr = 0.500000 * R' - 0.459786 * G' - 0.040214 * B'

應注意，兩個色彩空間均保持正規化。因此，對於在0..1範圍內經正規化之輸入值，所得值將映射至範圍0..1。一般而言，藉由浮點準確度所實施之色彩變換提供完美的重建構；因此此程序無損。

在色彩變換之後，仍然可以高位元深度(例如，浮點準確度)來表示目標色彩空間中之輸入資料。亦即，上文所描述之所有處理階段通常實施於浮點準確度表示中；因此其可被視為無損。然而，對於大多數消費型電子裝置應用，此類型之準確度可被視為冗餘且昂貴的。對於此類應用，將目標色彩空間中之輸入資料轉換成目標位元深度固定點準確度。可例如使用量化程序將高位元深度資料轉換為目標位元深度。

某些研究展示，10位元至12位元準確度結合PQ轉移足以提供具有低於恰可辨差異(JND)之失真的16f光闌之HDR資料。一般而言，JND係為了使差異可辨(例如，藉由HVS)而必須改變的某物(例如，視訊資料)之量。以10位元準確度表示之資料可進一步藉由大多數目前先進技術之視訊寫碼解決方案來寫碼。此轉換程序包括信號量化且為有損寫碼元件且為經引入至經轉換資料的不準確度源。

此量化之實例應用於目標色彩空間中之碼字。在此實例中，以下展示YCbCr色彩空間。將以浮點準確度表示之輸入值YCbCr轉換成Y值(明度)之固定位元深度BitDepthY及色度值(Cb、Cr)之固定位元深度BitDepthC之信號。

(7)

其中 Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 ) 若x＜0，則Sign(x)=-1；若x=0，則Sign(x)=0；若x＞0，則Sign(x)=1 Floor( x ) 小於或等於x之最大整數若x＞=0，則Abs(x)=x；若x＜0，則Abs(x)=-x Clip1_Y ( x ) = Clip3( 0, ( 1 ＜＜ BitDepth_Y ) - 1, x ) Clip1_C ( x ) = Clip3( 0, ( 1 ＜＜ BitDepth_C ) - 1, x ) 若z＜x，則Clip3(x,y,z)=x；若z＞y，則Clip3(x,y,z)=y；否則Clip3(x,y,z)=z

預期下一代HDR/WCG視訊應用將對以HDR及CG之不同參數俘獲的視訊資料進行操作。不同組態之實例可為具有高達1000尼特或高達10,000尼特之峰值亮度的HDR視訊內容之俘獲。不同色域之實例可包括BT.709、BT.2020以及SMPTE指定之P3或其他色域。

亦預期併有(或幾乎併有)所有其他當前使用之色域的單一色彩空間(例如，目標色彩容器)將在未來利用。此目標色彩容器之實例包括BT.2020及BT.2100。支援單一目標色彩容器將顯著簡化HDR/WCG系統之標準化、實施及部署，此係由於操作點之減小數目(例如，色彩容器、色彩空間、色彩轉換演算法等之數目)及/或所需演算法之減小數目應由解碼器(例如，視訊解碼器30)支援。

在此系統之一個實例中，經俘獲有不同於目標色彩容器(例如BT.2020)之天然色域(例如P3或BT.709)的內容可在處理之前(例如在藉由視訊編碼器20進行視訊編碼之前)轉換成目標容器。

在此轉換期間，藉由在P3或BT.709色域中俘獲的信號之每一分量(例如，RGB、YUV、YCrCb等)佔據的值範圍可在BT.2020表示中減少。由於資料係以浮點準確度表示，所以不存在損失；然而，當與色彩轉換及量化組合時，值範圍之收縮導致輸入資料之增加的量化錯誤。

另外，在現實世界寫碼系統中，利用減少之動態範圍對信號進行寫碼可導致經寫碼色度分量之準確度的顯著損失，且可由觀看者觀察為寫碼假影，例如，色彩失配及/或滲色。

另外，用於現代視訊寫碼系統中之非線性(例如藉由SMPTE-2084之轉移函數引入)及色彩表示(例如ITU-R BT.2020或BT.22100)中之一些可導致特徵化在信號表示之動態範圍及色彩分量內的所感知失真或恰可辨差異(JND)臨限值之顯著變化的視訊資料表示。此可稱為所感知失真。對於此類表示，在明度或色度值之動態範圍內應用均勻純量量化器的量化方案可引入量化錯誤，其中不同感知優點取決於經量化樣本之量值。對信號之此類影響可解釋為在經處理資料範圍內具有產生不相等訊號雜訊比之非一致量化的處理系統。

此類表示之實例為於非恆定明度(NCL) YCbCr色彩空間中表示之視訊信號，該色彩空間之色彩原色係在ITU-R Rec. BT.2020中，藉由SMPTE-2084轉移函數或在BT.2100中所定義。如上述表1中所說明，與在中間範圍值上使用的碼字量(例如，碼字之30%表示＜10尼特之線性光樣本，其中碼字之僅僅20%表示10與100尼特之間的線性光)相比較，此表示分配顯著更大碼字量用於信號之低強度值。結果，特徵為在資料之所有範圍中均勻量化的視訊寫碼系統(例如H.265/HEVC)將引入更嚴重寫碼假影至中間範圍及高強度樣本(信號之中等及亮區域)，而引入至低強度樣本(相同信號之暗區域)的失真可遠低於典型觀看環境(具有視訊之典型亮度等級)中之可辨差異臨限值。

此表示之另一實例為ITU-R BT.2020/BT.2100色彩表示之色度分量的有效動態範圍。此等容器支援比習知色彩容器(例如BT.709)大得多的色域。然而，在用於特定表示的有限位元深度(例如每樣本10個位元)之限制下，與原生容器(例如BT.709)之使用相比較，有限位元深度將有效地減少新格式中之習知內容(例如具有BT.709色域)表示的粒度。

在圖9A及圖9B中可視此情形，其中在xy色彩平面中描繪HDR序列之色彩。圖9A展示在原生BT.709色彩空間(三角形150)中俘獲的「Tibul」測試序列之色彩。然而，測試序列之色彩(展示為點)不佔據BT.709或BT.2020之全色色域。在圖9A及圖9B中，三角形152表示BT.2020色域。圖9B展示運用P3天然色域(三角形154)的「Bikes」HDR測試序列之色彩。如圖9B中可見，色彩不佔據xy色彩平面中之天然色域(三角形154)之完整範圍；因此若內容在其容器中表示，則某一顏色保真度將損失。

結果，與BT.709色彩容器中之信號相比較，特徵為在資料之所有範圍及色彩分量中均勻量化的視訊寫碼系統(例如H.265/HEVC)將引入更多視覺感知失真至BT.2020色彩容器中之信號之色度分量。

在某一色彩表示之動態範圍或色彩分量內的所感知失真或恰可辨差異(JND)臨限值之顯著變化的又一個實例為由動態範圍調整(DRA)或整形器之應用產生的色彩空間。在完整動態範圍內提供失真之均勻感知的目標下，DRA可應用於經分割成動態範圍分割區的視訊資料。然而，將DRA獨立應用於色彩分量可隨後將位元速率再分配自一個色彩分量引入至另一者(例如在明度分量上花費之較大位元預算可導致引入至色度分量之更嚴重失真，且反之亦然)。

已提議解決目前先進技術色彩表示(諸如BT.2020或BT.2100)中不均勻感知品質碼字分佈之問題的其他技術

2015年9月D. Rusanovskyy, A. K. Ramasubramonian, D. Bugdayci, S. Lee, J. Sole, M. Karczewicz之VCEG文件COM16-C 1027-E，「Dynamic Range Adjustment SEI to enable High Dynamic Range video coding with Backward-Compatible Capability」描述在應用混合式基於變換之視訊寫碼方案(例如H.265/HEVC)之前應用動態範圍調整(DRA)以達成SMPTE-2084/BT.2020色彩容器中之視訊資料中之碼字再分佈。

藉由應用DRA達成再分佈以動態範圍內的感知失真(例如信號雜訊比)之線性化為目標。為在解碼器側處補償此再分佈，及將資料轉換成原始ST 2084/BT.2020表示，在視訊解碼之後將反向DRA程序應用於資料。

在一個實例中，DRA可經實施為分段線性函數f(x)，其係針對輸入值x的未重疊動態範圍分割區(範圍){Ri}之群組而定義，其中i為範圍之索引。項i=0…N-1，其中N為用於定義DRA函數之範圍{Ri}之總數目。假定DRA之範圍由屬於範圍Ri (例如

)的最小x值及最大x值定義，其中

及

分別表示範圍

及

之最小值。當應用於視訊資料之Y (明度)色彩分量時，DRA函數Sy經由尺度

及偏移

值定義，尺度

及偏移

值應用於每一

，因此

。

在此情況下，對於任一Ri，及每一

，輸出值X計算如下：

(7)

對於在解碼器處進行的用於明度分量Y之反向DRA映射程序，DRA函數Sy由尺度

及偏移

值之逆定義，尺度

及偏移

值應用於每一

。

在此情況下，對於任一Ri，及每一

，經重建構值x計算如下：

(8)

用於色度分量Cb及Cr之轉遞DRA映射程序可如下所述地定義。運用指明Cb色彩分量之樣本的u項給定此實例，u項屬於範圍Ri，

，因此

：

(9) 其中等於2⁽ ^bitdepth ^- ¹ ⁾ 之Offset 指示雙極Cb、Cr信號偏移。

在解碼器處針對色度分量Cb及Cr實施的反向DRA映射程序可如下所述地定義。運用指明再映射Cb色彩分量之樣本的u項給定實例，u項屬於範圍Ri，

：

(10) 其中等於2⁽ ^bitdepth ^- ¹ ⁾ 之Offset指示雙極Cb、Cr信號偏移。

2015年9月J. Zhao, S.-H. Kim, A. Segall, K. Misra之VCEG文件COM16-C 1030-E之「Performance investigation of high dynamic range and wide color gamut video coding techniques」描述用以對準位元速率分配及應用於Y₂₀₂₀ (ST2084/BT2020)與Y₇₀₉ (BT1886/BT 2020)表示上的視訊寫碼之間的視覺感知失真的強度相依空間變化(基於區塊之)量化方案。觀察到為了維持相同層級之用於明度分量之量化，在Y₂₀₂₀ 及Y₇₀₉ 中之信號的量化可相差取決於明度之值，以使得： QP_ Y₂₀₂₀ = QP_Y₇₀₉ -f (Y₂₀₂₀ ) (11)

函數f (Y₂₀₂₀ )被認為對於在Y₂₀₂₀ 中之視訊的強度值(亮度等級)為線性，且該函數可概算為：f (Y₂₀₂₀ ) = max( 0.03* Y₂₀₂₀ - 3, 0 ) (12)

提議之在編碼階段引入的空間變化量化方案被認為能夠改良在ST 2084/BT.2020表示中之經寫碼視訊信號的視覺感知信號至量化雜訊比。用於色度分量之德耳塔QP應用及QP導出之機構實現自明度至色度分量之deltaQP傳播，因此允許根據引入至明度分量之位元速率增加對色度分量進行某一程度之補償。

A.K. Ramasubramonian, J. Sole, D. Rusanovskyy, D. Bugdayci, M. Karczewicz之「Luma-driven chroma scaling (LCS) design, HDR CE2: Report on CE2.a-1 LCS」JCTVC-W0101描述藉由採用與經處理色度樣本相關聯之亮度資訊調整色度資訊(例如Cb及Cr分量)的方法。類似於上述DRA方法，提議將尺度因子

應用於Cb色度樣本並將尺度因子

應用於Cr色度樣本。然而，替代將DRA函數定義為用於可藉由如方程式(9)及(10)中之色度值u或v存取的一組範圍{

}之分段線性函數

，實例LCS方法利用明度值Y導出色度樣本之尺度因子。在此情況下，色度樣本u (或v)之轉遞LCS映射經實施為：

(13)

在解碼器側處實施之反向LCS程序如下所述地定義為：

(14)

更詳細而言，對於位於(x,y)處之給定像素，色度樣本Cb(x,y)或Cr(x,y)係以自其LCS函數S_Cb 或S_Cr 導出的因子縮放，該因子藉由其對應明度值Y'(x,y)存取。

在用於色度樣本之轉遞LCS處，Cb(或Cr)值及相關聯明度值Y'被視為至色度尺度函數S_Cb (或S_Cr )之輸入且轉換為Cb'及Cr'，如方程式15中所示。在解碼器側處，應用反向LCS。經重建構Cb'或Cr'轉換成Cb或Cr，如其在方程式(16)中展示。

，

(15)

(16)

圖10展示LCS函數之實例，其中色度縮放因子為相關聯明度值之函數。在圖10的實例中，使用LCS函數153，具有明度之較小值的像素之色度分量係以較小縮放因子倍增。

本發明描述用以執行動態範圍調整(DRA)之技術、方法及裝置，包括用以藉由色域轉換補償引入至HDR信號表示之動態範圍變化的跨分量DRA。動態範圍調整可幫助阻止及/或減輕由色域轉換引起之任何失真，包括色彩失配、滲色等。在本發明之一或多個實例中，在編碼器側處量化(例如藉由源器件12之視訊預處理器單元19)之前及在在解碼器側處反量化(例如藉由目的地器件14之視訊後處理器單元31)之後，對目標色彩空間(例如，YCbCr)之每一色彩分量的值執行DRA。在其他實例中，本發明之DRA技術可在視訊編碼器20及視訊解碼器30內執行。

圖11為說明根據本發明之技術操作之實例HDR/WCG轉換裝置的方塊圖。在圖11中，實線指定資料流且虛線指定控制信號。本發明之技術可藉由源器件12之視訊預處理器單元19或藉由視訊編碼器20執行。如上文所論述，視訊預處理器單元19可為與視訊編碼器20分離之器件。在其他實例中，視訊預處理器單元19可與視訊編碼器20併入至同一器件中。

如圖11所示，RGB原生CG視訊資料200經輸入至視訊預處理器單元19。在藉由視訊預處理器單元19進行之視訊預處理之情況下，RGB原生CG視訊資料200係由輸入色彩容器定義。輸入色彩容器指定用以表示視訊資料200之一組色彩原色(例如，BT.709、BT.2020、BT、2100 P3等)。在本發明之一個實例中，視訊預處理器單元19可經組態以將RGB原生CB視訊資料200之色彩容器及色彩空間兩者轉換成HDR之資料216的目標色彩容器及目標色彩空間。與輸入色彩容器相同，目標色彩容器可指定用以表示HDR之資料216之一組或色彩原色。在本發明之一個實例中，RGB原生CB視訊資料200可為HDR/WCG視訊，且可具有BT.2020或P3色彩容器(或任一WCG)，且在RGB色彩空間中。在另一實例中，RGB原生CB視訊資料200可為SDR視訊，且可具有BT.709色彩容器。在一個實例中，HDR之資料216之目標色彩容器可能已經組態用於HDR/WCG視訊(例如BT.2020色彩容器)且可使用對於視訊編碼更為最佳之色彩空間(例如，YCrCb)。

在本發明之一個實例中，CG轉換器202可經組態以將RGB原生CG視訊資料200之色彩容器自輸入色彩容器(例如第一色彩容器)轉換至目標色彩容器(例如第二色彩容器)。作為一個實例，CG轉換器202可將RGB原生CG視訊資料200自BT.709色彩表示轉換至BT.2020色彩表示，其實例展示如下。

將RGB BT.709樣本(R₇₀₉ , G₇₀₉ , B₇₀₉ )轉換至RGB BT.2020樣本(R₂₀₂₀ , G₂₀₂₀ , B₂₀₂₀ )之程序可用兩步轉換來實施，該兩步轉換涉及首先轉換至XYZ表示，繼而使用適當轉換矩陣進行自XYZ至RGB BT.2020之轉換。 X = 0.412391 * R₇₀₉ + 0.357584 * G₇₀₉ + 0.180481 * B₇₀₉ Y = 0.212639 * R₇₀₉ + 0.715169 * G₇₀₉ + 0.072192 * B₇₀₉ (17) Z = 0.019331 * R₇₀₉ + 0.119195 * G₇₀₉ + 0.950532 * B₇₀₉

自XYZ至R₂₀₂₀ G₂₀₂₀ B₂₀₂₀ (BT.2020)之轉換： R₂₀₂₀ = clipRGB( 1.716651 * X - 0.355671 * Y - 0.253366 * Z ) G₂₀₂₀ = clipRGB( -0.666684 * X + 1.616481 * Y + 0.015768 * Z ) (18) B₂₀₂₀ = clipRGB( 0.017640 * X - 0.042771 * Y + 0.942103 * Z ) 類似地，單一步驟及推薦之方法如下： R₂₀₂₀ = clipRGB( 0.627404078626 * R₇₀₉ + 0.329282097415 * G₇₀₉ + 0.043313797587 * B₇₀₉ ) G2020 = clipRGB( 0.069097233123 * R709 + 0.919541035593 * G₇₀₉ + 0.011361189924 * B709 ) (7) B₂₀₂₀ = clipRGB( 0.016391587664 * R₇₀₉ + 0.088013255546 * G₇₀₉ + 0.895595009604 * B₇₀₉ )

CG轉換之後的所得視訊資料在圖11中展示為RGB目標CG視訊資料204。在本發明之其他實例中，輸入資料及輸出HDR之資料之色彩容器可相同。在此實例中，CG轉換器202不必對RGB原生CG視訊資料200執行任何轉換。

接下來，轉移函數單元206壓縮RGB目標CG視訊資料204之動態範圍。轉移函數單元206可經組態以應用轉移函數以壓縮動態範圍，其方式與上文參看圖5所論述的相同。色彩轉換單元208將RGB目標CG色彩資料204自輸入色彩容器之色彩空間(例如，RGB)轉換至目標色彩容器之色彩空間(例如，YCrCb)。如上文參看圖5所解釋，色彩轉換單元208將經壓縮資料轉換至更緊密或穩固之色彩空間(例如，YUV或YCrCb色彩空間)中，該色彩空間更適合於由混合式視訊編碼器(例如，視訊編碼器20)進行之壓縮。

調整單元210經組態以根據藉由DRA參數估計單元212導出的DRA參數執行色彩轉換視訊資料之動態範圍調整(DRA)。一般而言，在藉由CG轉換器202進行CG轉換及藉由轉移函數單元206進行動態範圍壓縮之後，所得視訊資料之實際色值可並不使用經分配用於特定目標色彩容器之色域的全部可用碼字(例如表示每一色彩之獨特位元序列)。亦即，在一些情況下，RGB原生CG視訊資料200自輸入色彩容器至輸出色彩容器之轉換可將視訊資料之色值(例如，Cr及Cb)過度壓縮，以使得所得經壓縮視訊資料並不高效地使用所有可能色彩表示。如上所解釋，在現實世界寫碼系統中，運用減少之色彩值範圍對信號進行寫碼可導致經寫碼色度分量之準確度的顯著損失，且將由觀看者觀察為寫碼假影，例如，色彩失配及/或滲色。

調整單元210可經組態以將DRA參數應用於視訊資料(例如，動態範圍壓縮及色彩轉換之後的RGB目標CG視訊資料204)之色彩分量(例如，YCrCb)，以充分利用可用於特定目標色彩容器之碼字。調整單元210可將DRA參數應用於像素層級之視訊資料(例如應用於像素之每一色彩分量)。一般而言，DRA參數定義將用以表示實際視訊資料之碼字擴展至儘可能多的可用於目標色彩容器之碼字的函數。

在本發明之一個實例中，DRA參數包括應用於視訊資料之色彩分量(例如明度(Y)及色度(Cr、Cb)色彩分量)的尺度及偏移值。偏移參數可用以使色彩分量之值以用於目標色彩容器之可用碼字之中心為中心。舉例而言，若目標色彩容器包括每一色彩分量1024個碼字，則偏移值可經選擇以使得中心碼字移動至碼字512(例如最中間碼字)。在其他實例中，偏移參數可用以提供輸入碼字至輸出碼字之較佳映射，以使得目標色彩容器中之總體表示在對抗寫碼假影時更有效。

在一個實例中，調整單元210如下所述地將DRA參數應用於目標色彩空間(例如，YCrCb)中之視訊資料： Y'' = scale1 *Y' + offset1 Cb'' = scale2 *Cb' + offset2 (19) Cr'' = scale3 *Cr' + offset3 其中信號分量Y'、Cb'及Cr'為由RGB至YCbCr轉換(方程式3中之實例)產生之信號。應注意，Y'、Cr'及Cr'亦可為由視訊解碼器30解碼之視訊信號。 Y’’、Cb’’及Cr’’為DRA參數已應用於每一色彩分量之後的視訊信號之色彩分量。

如在以上實例中可見，每一色彩分量與不同的尺度及偏移參數相關。舉例而言，scale1及offset1用於Y'分量，scale2及offset2用於Cb'分量，且scale3及offset3用於Cr'分量。應理解，此僅為實例。在其他實例中，相同的尺度值及偏移值可用於每個色彩分量。如將在下文更詳細地解釋，DRA參數導出單元312可經組態以依據經判定用於明度分量之尺度值判定色度分量(例如Cr、Cb)之尺度值。

在其他實例中，每一色彩分量可與多個尺度及偏移參數相關聯。舉例而言，Cr或Cb色彩分量之色度值之實際分佈對於碼字之不同分割區或範圍可能不同。作為一個實例，與低於中心碼字相比，可使用更多的高於中心碼字(例如，碼字512)之獨特碼字。在此實例中，調整單元210可經組態以針對高於中心碼字(例如，具有大於中心碼字之值)之色度值應用尺度及偏移參數之一個集合，且針對低於中心碼字(例如，具有小於中心碼字之值)之色度值應用尺度及偏移參數之一不同集合。

如在以上實例中可見，調整單元210將尺度及偏移DRA參數應用為線性函數。因而，調整單元210並非必需在藉由色彩轉換單元208進行之色彩轉換之後在目標色彩空間中應用DRA參數。此係因為色彩轉換本身係線性程序。因而，在其他實例中，調整單元210可在任一色彩轉換程序之前在原生色彩空間(例如RGB)中將DRA參數應用於視訊資料。在此實例中，色彩轉換單元208將在調整單元210應用DRA參數之後應用色彩轉換。

在本發明之另一實例中，調整單元210可如下所述地在目標色彩空間或原生色彩空間中應用DRA參數： Y'' = (scale1 *(Y' - offsetY) + offset1) + offsetY; Cb'' = scale2 *Cb' + offset2 (20) Cr'' = scale3 *Cr' + offset3 在此實例中，參數scale1、scale2、scale3、offset1、offset2及offset3具有如上所述之相同含義。參數offsetY為反映信號之亮度之參數，且可等於Y'之平均值。在其他實例中，類似於offsetY之偏移參數可應用於Cb'及Cr'分量，以更好地保留輸入表示及輸出表示中之中心值之映射。

在本發明之另一實例中，調整單元210可經組態以在除原生色彩空間或目標色彩空間以外的色彩空間中應用DRA參數。一般而言，調整單元210可經組態以如下所述地應用DRA參數： A' = scale1 *A + offset1; B' = scale2 *B + offset2 (21) C' = scale3 *C + offset3 其中信號分量A、B及C為不同於目標色彩空間之色彩空間(例如，RGB或中間色彩空間)中之信號分量。

在本發明之其他實例中，調整單元210經組態以將線性轉移函數應用於視訊以執行DRA。此轉移函數不同於由轉移函數單元206用以壓縮動態範圍之轉移函數。類似於如上文所定義之尺度及偏移項，藉由調整單元210應用之轉移函數可用於擴展色值至目標色彩容器中之可用碼字並以該等色值為中心。應用轉移函數以執行DRA之實例展示如下。 Y'' = TF2 (Y') Cb'' = TF2 (Cb') Cr'' = TF2 (Cr') 項TF2指定由調整單元210應用之轉移函數。在一些實例中，調整單元210可經組態以將不同轉移函數應用於分量中之每一者。

在本發明之另一實例中，調整單元210可經組態以在單一程序中與色彩轉換單元208之色彩轉換聯合地應用DRA參數。亦即，可組合調整單元210及色彩轉換單元208之線性函數。下面展示組合應用之實例，其中f1及f2為RGB至YCbCr矩陣及DRA縮放因子之組合。

；

在本發明之另一實例中，在應用DRA參數之後，調整單元210可經組態以執行裁剪程序以防止視訊資料具有在經指定用於特定目標色彩容器之碼字之範圍外部的值。在一些情況下，由調整單元210應用之尺度及偏移參數可使一些色彩分量值超過可允許碼字之範圍。在此情況下，調整單元210可經組態以將超過範圍之分量之值裁剪至範圍中之最大值。

由調整單元210應用之DRA參數可由DRA參數估計單元212判定。 DRA參數估計單元212用來更新DRA參數之頻率及時間例項係靈活的。舉例而言，DRA參數估計單元212可從時間層級上更新DRA參數。亦即，針對圖像群組(GOP)或單一圖像(圖框)可判定新DRA參數。在此實例中，RGB原生CG視訊資料200可為GOP或單一圖像。在其他實例中，DRA參數估計單元212可從空間層級上(例如，在圖塊方塊或區塊層級)更新DRA參數。在此上下文中，視訊資料區塊可為巨集區塊、編碼樹型單元(CTU)、寫碼單元或任何其他大小及形狀之區塊。區塊可為正方形、矩形或任何其他形狀。相應地，可使用DRA參數以達成更加高效的時間及空間預測及寫碼。

在本發明之一個實例中，DRA參數估計單元212可基於RGB原生CG視訊資料200之天然色域與目標色彩容器之色域的對應關係導出DRA參數。舉例而言，給定特定天然色域(例如，BT.709)及目標色彩容器之色域(例如，BT.2020)，DRA參數估計單元212可使用一組預定義規則來判定尺度值及偏移值。

在一些實例中，DRA參數估計單元212可經組態以藉由根據RGB原生CG視訊資料200中之色彩值之實際分佈(而非根據天然色域之預定義原色值)判定primeN中之原色座標來估計該等DRA參數。亦即，DRA參數估計單元212可經組態以分析存在於RGB原生CG視訊資料200中之實際色彩，且在上述函數中使用根據此分析判定之原色色彩及白點來計算DRA參數。可使用對上文所定義之一些參數之概算作為DRA以促進該計算。

在本發明之其他實例中，DRA參數估計單元212可經組態以不僅基於目標色彩容器之色域，而且基於目標色彩空間來判定該等DRA參數。分量值之值的實際分佈在色彩空間與色彩空間之間可不同。舉例而言，與具有非恆定明度之YCbCr色彩空間相比，對於具有恆定明度之YCbCr色彩空間而言，色度值分佈可不同。DRA參數估計單元212可使用不同色彩空間之色彩分佈來判定該等DRA參數。

在本發明之其他實例中，DRA參數估計單元212可經組態以導出DRA參數之值，以便將與預處理及/或編碼視訊資料相關聯之特定成本函數減至最小。作為一個實例，DRA參數估計單元212可經組態以估計最小化藉由量化單元214引入之量化錯誤的DRA參數。DRA參數估計單元212可藉由對已應用了DRA參數之不同集合之視訊資料執行量化錯誤測試而將此錯誤減至最小。在另一實例中，DRA參數估計單元212可經組態而以感知方式估計將由量化單元214引入之量化錯誤減至最小的DRA參數。DRA參數估計單元212可基於對已應用了DRA參數之不同集合之視訊資料的感知錯誤測試而將此錯誤減至最小。DRA參數估計單元212接著可選擇產生最少量化錯誤之DRA參數。

在另一實例中，DRA參數估計單元212可選擇將與由調整單元210執行之DRA及由視訊編碼器20執行之視訊編碼兩者相關聯之成本函數減至最小的DRA參數。舉例而言，DRA參數估計單元212可利用DRA參數之多個不同集合來執行DRA及對視訊資料進行編碼。DRA參數估計單元212接著可藉由形成由DRA及視訊編碼引起之位元速率以及由此等兩種有損程序引入之失真之加權總和來計算用於DRA參數之每一集合之成本函數。DRA參數估計單元212接著可選擇將成本函數減至最小的DRA參數集合。

在針對DRA參數估計之以上技術中之每一者中，DRA參數估計單元212可使用關於每一分量之資訊針對彼分量單獨地判定DRA參數。在其他實例中，DRA參數估計單元212可使用跨分量資訊來判定DRA參數。舉例而言，如將在下文更詳細地論述，針對明度(Y)分量導出的DRA參數(例如尺度)可用於導出色度分量(Cr及/或Cb)之DRA參數(例如尺度)。

除導出DRA參數外，DRA參數估計單元212亦可經組態以在經編碼位元流中發信DRA參數。DRA參數估計單元212可直接發信指示DRA參數之一或多個語法元素，或可經組態以將一或多個語法元素提供至視訊編碼器20以供於發信。參數之此等語法元素可在位元流中發信，以使得視訊解碼器30及/或視訊後處理器單元31可執行視訊預處理器單元19之程序的反向以在其原生色彩容器中重建構視訊資料。在下文論述用於發信DRA參數之實例技術。

在一個實例中，DRA參數估計單元212及/或視訊編碼器20可在作為後設資料之經編碼視訊位元流中、在補充增強資訊(SEI)訊息中、在視訊可用性資訊(VUI)中、在視訊參數集(VPS)中、在序列參數集(SPS)中、在圖像參數集中、在圖塊標頭中、在CTU標頭中或在適合於指示用於視訊資料(例如，GOP、圖像、區塊、巨集區塊、CTU等)之大小之DRA參數的任何其他語法結構中發信一或多個語法元素。

在一些實例中，該一或多個語法元素顯式地指示DRA參數。舉例而言，該一或多個語法元素可為用於DRA之各種尺度值及偏移值。在其他實例中，該一或多個語法元素可為至包括用於DRA之尺度值及偏移值之一查找表中之一或多個索引。在再一實例中，該一或多個語法元素可為至指定供DRA使用之線性轉移函數之一查找表之索引。

在其他實例中，並不顯式地發信DRA參數，而是視訊預處理器單元19/視訊編碼器20及視訊後處理器單元31/視訊解碼器30兩者經組態以使用相同預定義程序使用可自位元流辨別的視訊資料之相同資訊及/或特性導出DRA參數。

在調整單元210應用DRA參數之後，視訊預處理器單元19接著可使用量化單元214將視訊資料量化。量化單元214可以與上文參看圖5所描述之方式相同的方式操作。在量化之後，現在於HDR之資料216之目標原色之目標色彩空間及目標色域中對視訊資料進行調整。接著可將HDR之資料216發送至視訊編碼器20以供壓縮。

圖12為說明根據本發明之技術之實例HDR/WCG反向轉換裝置的方塊圖。如圖12所示，視訊後處理器單元31可經組態以應用由圖11之視訊預處理器單元19執行之技術之反向。在其他實例中，視訊後處理器單元31之技術可併入視訊解碼器30中且藉由視訊解碼器30執行。

在一個實例中，視訊解碼器30可經組態以解碼由視訊編碼器20編碼之視訊資料。接著將經解碼視訊資料(目標色彩容器中之HDR之資料316)轉遞至視訊後處理器單元31。反量化單元314對HDR之資料316執行反量化程序以反向由圖11之量化單元214執行之量化程序。

視訊解碼器30亦可經組態以解碼由圖11之DRA參數估計單元212產生之一或多個語法元素中之任一者且將該等語法元素發送至視訊後處理器單元31之DRA參數導出單元312。如上文所描述，DRA參數導出單元312可經組態以基於該一或多個語法元素判定DRA參數。在一些實例中，該一或多個語法元素顯式地指示DRA參數。在其他實例中，DRA參數導出單元312經組態以使用由圖11之DRA參數估計單元212使用的相同技術導出DRA參數。

將由DRA參數導出單元312導出之參數發送至反調整單元310。反調整單元310使用DRA參數執行由調整單元210執行之線性DRA調整之反向。反調整單元310可應用上文針對調整單元210所描述之調整技術中之任一者的反向。另外，如同調整單元210一樣，反調整單元310可在任何反色彩轉換之前或之後應用反向DRA。因而，反調整單元310可對目標色彩容器或原生色彩容器中之視訊資料應用DRA參數。在一些實例中，反調整單元310可經定位以在反量化單元314之前應用反調整。

反色彩轉換單元308將視訊資料自目標色彩空間(例如，YCbCr)轉換至原生色彩空間(例如，RGB)。反轉移函數306接著應用由轉移函數206應用之轉移函數之反向，以解壓縮視訊資料之動態範圍。在一些實例中，所得視訊資料(RGB目標CG 304)仍處於目標色域中，但現在處於原生動態範圍及原生色彩空間中。接下來，反CG轉換器302將RGB目標CG 304轉換至天然色域以重建構RGB原生CG 300。

在一些實例中，額外後處理技術可由視訊後處理器單元31採用。應用DRA可使視訊處於其實際天然色域外。由量化單元214及反量化單元314執行之量化步驟以及由調整單元210及反調整單元310執行之增頻取樣及降頻取樣技術可有助於原生色彩容器中之所得色值在天然色域外。當已知天然色域時(或如上所述，在發信情況下，實際最小內容原色)，則可將額外處理應用於RGB原生CG視訊資料304，以將色值(例如，RGB或Cb及Cr)變換回至預期色域中，如針對DRA的後處理。在其他實例中，此後處理可在量化之後或在DRA應用之後應用。

根據以下一或多個實例，本發明描述用於改良影像及視訊寫碼系統之壓縮效率的跨分量動態範圍調整(CC-DRA)之技術及器件，諸如H.264/AVC、H.265/HEVC或下一代編碼解碼器(例如VVC)。更特定言之，此描述用於藉由採用應用於明度分量的DRA函數之參數及/或經處理視訊信號之特性(例如，信號之局部亮度等級、轉移特性、色彩容器特性或天然色域)導出應用於色度分量(例如Cb及Cr)的CC-DRA之參數的技術及器件。

假定DRA函數

應用於Y分量且應用於色度分量(例如Cb、Cr)的CC-DRA函數藉由LCS函數

(或

)指定。以下技術中之一或多者可經獨立或以任何合適組合方式應用以導出CC-DRA及其LCS函數

(或

)之參數。

將關於視訊預處理器單元19描述以下實例。然而，應理解藉由視訊預處理器單元19執行的所有程序亦可在作為視訊編碼迴路之部分的視訊編碼器20內執行。視訊後處理器單元31可經組態以執行與視訊預處理器單元19相同的技術，但以互逆方式執行。詳言之，視訊後處理器單元31可經組態以與視訊預處理器單元19相同之方式判定用於色度分量之CC-DRA的參數。藉由視訊後處理器單元31執行的所有程序亦可在作為視訊解碼迴路之部分的視訊解碼器30內執行。

如上文參看圖11及圖12所描述，視訊預處理器單元19及視訊後處理器單元31可將DRA應用於視訊資料(例如YCbCr)之視訊分量的三個分量以達成表示以更高效藉由影像或視訊壓縮系統(例如視訊編碼器20及視訊解碼器30)來壓縮。視訊預處理器單元19可將DRA函數

應用於明度分量(Y)且可藉由LCS函數

(或

)將CC-DRA應用於色度分量(例如Cb、Cr)。

在本發明之一個實例中，視訊預處理器單元19可經組態以上文參看圖11所描述的方式導出視訊資料之明度分量的DRA參數(例如尺度及偏移)。視訊預處理器單元19亦可經組態以上文參看圖11所描述的方式導出色度分量之偏移參數。根據本發明之一個實例，視訊預處理器單元19可經組態以自應用於Y分量的DRA函數之參數導出LCS函數

或

之參數(例如尺度)，亦即

(或

)=fun(

)。亦即，視訊預處理器單元19可經組態以依據針對明度分量導出的DRA參數(例如尺度參數)判定色度分量之CC-DRA參數(例如尺度參數)。

在一些實例中，視訊預處理器單元19可經組態以將色度值之LCS函數的尺度因子設定為等於應用於色度分量(Y)之值的DRA函數

之尺度因子：

(22)

在此實例中，視訊預處理器單元19可再次使用針對明度值導出的尺度參數(

)以用作對應Cr值之尺度參數

及用作對應Cb值之尺度參數

。在此情況下，對應Cr及Cb值為具有明度值的相同像素之Cr及Cb值。

在本發明之另一實例中，視訊預處理器單元19可經組態以判定視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數。舉例而言，明度分量之碼字值的總範圍可在0與1023之間。視訊預處理器單元19可經組態以將明度分量之可能碼字值分成複數個範圍，且接著獨立地導出該等範圍中之每一者的DRA參數。在一些實例中，較低尺度值可用於較低強度明度值(例如較暗值)，而較高尺度值可用於較高強度明度值(例如較亮值)。明度碼字之總數目可分成任何數目個範圍，且該等範圍大小可係均勻的或可係不均勻的。

因此，在一些實例中，DRA函數S_y 係針對範圍之集合

而定義。在此實例中，視訊預處理器單元19可經組態以自當前Y所屬的範圍

之DRA尺度因子

的值導出LCS函數

或

之尺度因子：

，對於任何

(23) 其中Y為屬於範圍

之明度值。換言之，色度分量之尺度因子為取決於明度分量所屬範圍的色度分量之對應明度分量之尺度因子的函數。因而，視訊預處理器單元19可經組態以使用針對具有碼字值之第一範圍之明度分量判定的明度尺度參數之函數判定與具有碼字值之複數個範圍的碼字值之第一範圍的明度分量相關聯的色度分量之色度尺度參數。

然而，色度尺度值亦可在色度碼字值之範圍中導出，且導出色度尺度參數所針對的色度分量的碼字值之範圍可並不直接與導出明度尺度參數所針對的明度分量的碼字值之範圍重疊。舉例而言，色度碼字值之單一範圍可與明度碼字值之多個範圍重疊。在此實例中，用於導出色度分量尺度值的導出函數

可實施為零階概算(例如，針對明度尺度值之範圍

的所有尺度值之平均值)或為高階之概算(例如，內插、曲線擬合、低通濾波等)。

在一些實例中，視訊預處理器單元19可經組態以經由全域曲線擬合程序依據多個明度DRA尺度因子判定LCS函數

或

之色度尺度參數：

(24)

因此，視訊預處理器單元19可經組態以使用經判定用於具有碼字值之第一範圍及碼字值之第二範圍的明度分量的明度尺度參數之函數判定與具有碼字值之複數個範圍的碼字值之第一範圍及碼字值之至少一第二範圍的明度分量相關聯的色度分量之色度尺度參數。

在一些實例中，明度尺度參數在明度碼字值之特定範圍內恆定。因而，明度尺度參數可視為在明度碼字值之全部範圍內的不連續(例如逐步)函數。視訊預處理器單元19可經組態以將線性化程序應用於不連續函數以產生線性化明度尺度參數，而非使用不連續明度尺度參數來導出色度尺度參數。視訊預處理器單元19可經進一步組態以使用線性化明度尺度參數之函數判定視訊資料之色度分量的色度尺度參數。在一些實例中，線性化程序為線性內插程序、曲線擬合程序、平均程序或高階概算程序中之一或多者。

不管如何導出明度尺度參數及色度尺度參數，視訊預處理器單元19可經組態以使用明度尺度參數對明度分量執行動態範圍調整程序，並以上文參看圖11所描述的方式，使用色度尺度參數對視訊資料之色度分量執行動態範圍調整程序。

在本發明之另一實例中，視訊預處理器單元19可經組態以自應用於Y分量

的DRA函數之參數及編碼解碼器(例如視訊編碼器20)之量化參數(QP)(諸如量化參數(QP)、deltaQP、chromaQP偏移或指定編碼解碼器量化之粒度的其他參數)導出LCS函數

或

之參數(例如尺度參數)。deltaQP可指示用於一個區塊之QP與用於另一區塊之QP之間的差。chromaQP偏移可被添加至明度分量之QP以判定色度分量之QP。

因此，視訊預處理器單元19可經組態以使用明度尺度參數及用以解碼色度分量之量化參數的函數判定視訊資料之色度分量之色度尺度參數。

以下為實例：

(25)

在一些實例中，用於當前分量之寫碼QP與用於

或

函數之調整參數之間的對應關係可經列表顯示並用於調整概算函數fun 。

在一些實例中，一組函數

可作為旁側資訊提供至視訊解碼器30及/或視訊後處理器單元31且此等函數之間的選擇可藉由自位元流或自對寫碼參數(諸如QP、寫碼模式、經寫碼圖像之類型(I、B、P)、預測之可用性或寫碼模式)之解碼器側分析而導出函數識別(id)來進行。

的DRA函數之參數及經處理視訊資料之比色及所利用容器(例如天然色域及所利用色彩容器之色彩原色)的參數導出LCS函數

或

之DRA參數(例如尺度參數)。經處理視訊資料之比色 (色彩表示參數)及所利用容器的參數可為倍增因子a及b，其對於色度分量(Cr及Cb)中之每一者可係相同的或對於色度分量中之每一者可係獨立的。

(26)

在一些實例中，a及b參數可由單一倍增器參數定義，例如對於BT.2020色彩容器中表示之BT.709視訊內容，a=1.0698及b=2.1735。

在一些實例中，a及b參數可在經編碼位元流中傳輸。在其他實例中，a及b參數可藉由視訊預處理器單元19/視訊編碼器20及視訊後處理器單元31/視訊解碼器30兩者導出。另外，視訊預處理器單元19可經組態以判定在色度分量碼字之多個範圍內的a及b參數。亦即，a及b參數可對於所有色度分量為單一值或值之陣列(例如對於色度分量碼字之範圍)。

在其他實例中，視訊預處理器單元19可經組態以自比色參數(例如色彩容器及天然色域之原色及白點座標)導出a及b參數。

在其他實例中，視訊預處理器單元19可經組態以依據明度值Y及/或色度樣本值判定a及b參數。

在其他實例中，視訊預處理器單元19可經組態以使用其他色彩空間特性(諸如非線性(例如變換函數)或所利用色彩空間)導出及/或列表顯示並存取a及b參數值。以下為實例：

(27)

實例轉移特性可為BT.709、BT.2100及/或(PQ)/BT.2100(HLG)之轉移函數。視訊預處理器單元19可經組態以發信一transform_characteristics id語法元素，其值指定所利用非線性(例如變換函數)。

在一些實例中，用於LCS導出之比色參數可自所傳輸位元流導出，或可在解碼器側處自視訊內容之樣本值導出。在一些實例中，參數

及

或導出函數之類型可經由位元流發信或作為旁側資訊提供至解碼器並運用在位元流中發信之id參數來識別。

如上文所描述上述技術中之每一者可以任何組合方式使用。舉例而言，在一個實施中，視訊預處理器單元19可經組態以使用明度尺度參數、用以解碼色度分量之量化參數及自視訊資料之色度分量之特性導出的色彩表示參數之函數判定視訊資料之色度分量的色度尺度參數。在此實例中，視訊預處理器單元19亦可經組態以線性化明度尺度參數。

在本發明之另一實例中，視訊預處理器單元19可經組態以將LCS函數

或

之參數(例如尺度參數)導出為應用於Y分量

之DRA函數與經指定用於當前色彩分量之DRA函數的疊加，如方程式(3)及(4)中所定義。自方程式(3)及(4)導出的尺度參數可被認為初始色度尺度參數：

以下為實例：

(28)

因而，在本發明之一個實例中，視訊預處理器單元19可經組態以判定視訊資料之色度分量之初始色度尺度參數，及使用明度尺度參數及初始色度尺度參數之函數判定視訊資料之色度分量的色度尺度參數。

以下為上文所描述技術之實施的若干非限制性實例之描述。

假定Y分量係運用由分段線性函數

定義之DRA處理為一組不重疊範圍{Ri}，其中Y為經處理明度樣本且i為Ri分割id。DRA函數Ri之子範圍係由屬於範圍(例如，[yi,yi+1 -1])之最小值及最大值界定，其中i指示由DRA組成的範圍之索引，yi項指示i範圍之起始值，且N為所利用子範圍之總數目。尺度值

及偏移值

獨立地針對每一Ri而界定且應用於具有屬於子範圍[yi、yi+1 -1]之值的所有Y樣本。

在一些實例中，反DRA函數可在解碼器側處實施，如上文在方程式(2)及圖12中所示。圖13展示應用於輸入明度分量Y(輸入碼字)的DRA映射函數183及當無DRA被實施時的「無DRA」函數181之實例。

在一些實例中，用於色度尺度因子之LCS函數S_Cb 或S_Cr 可藉由將LCS函數值設定為等於應用於值Y的DRA函數S_y 之尺度因子而定義，如方程式(22)中所示。

由於DRA函數Sy係對於子範圍i之所有Y樣本運用相等之尺度來定義，所以導出之LCS特徵為不連續函數(例如階梯函數)特性，圖14之曲線191中展示。在一些實例中，視訊預處理器單元19可藉由用於明度之DRA函數的尺度因子之線性化導出LCS函數S_Cb 或S_Cr (展示為圖14中的曲線193)。 S_Cb (Y) = S_Cr (Y) = fun(S_y (Y)) (29)

在一些實例中，線性化fun(S_y (y))可藉由在相鄰分割區i及i+1內的尺度參數之局部概算而實施如下。對於i=0..N-2，導出相鄰子範圍之大小： Di = (yi+1 - 1 - yi) (30) Di+1 = (yi+2 - 1 - yi+1)

將用於LCS函數之概算子範圍Rci 定義為經移位至DRA函數之子範圍Ri 的一半範圍： Yci = yi + Di/2 (31) Yc+1 = yi+1 + Di+1 / 2

視訊預處理器單元19可將用於Y = Yci .. Yc+1 -1之LCS尺度因子導出為相鄰子範圍之DRA尺度因子之線性內插： localScale = (Yci+1 - Yci) / (Yci+1 - Yci) Scb(Y) = Scr(Y) = Sy(Yci) + (Y - Yci) * localScale (32)

另外，此線性化LCS函數之實例經展示為圖14中之曲線193。

在另一實例中，視訊預處理器單元19可自應用於Y分量Scy的DRA函數之參數及編碼解碼器之量化參數(諸如QP、deltaQP及/或chromaQP參數)導出LCS函數S_Cb 或S_Cr 之參數。

對與用於寫碼當前圖像/圖塊或變換區塊的量化參數(例如QP)成比例之LCS參數{lcs_param1、lcs_param2、lcs_param3}之調整可用於自明度DRA縮放函數Sy的LCS之概算，及其不連續函數性質之移除。

舉例而言，在方程式(33)中展示的用於範圍[Yci…Yci+1]之色度尺度函數的內插可經由依據QP調整的S型函數來進行。下文展示實例。

對於值Y = Yci .. Yc+1 -1，S型函數可用於相鄰範圍之尺度之間的內插： Scb(Y) = lcs_param1 + lcs_param2./ ( 1.0 + exp(-lcs_param3*Y)) (33)

在又一實例中，適應性平滑不連續函數或其概算可用於內插。

運用此方法，經控制平滑度可在相鄰子範圍之尺度之間的差異情況下引入至LCS函數之不連續函數。一組平滑函數可作為旁側資訊經提供至解碼器側(例如視訊解碼器30及/或視訊後處理器單元31)，且函數id之選擇可在位元流中發信。替代地，平滑函數可在位元流中發信。

平滑函數之導出亦可呈QP與平滑函數之參數或函數id之間的關係形式列表顯示，如下所示。

圖15展示用以提供不連續函數之經控制平滑度至在兩個相鄰子範圍之邊界處的Scb(或Cr)的一組S型函數之使用的實例。

運用方程式(33)導出LCS函數之應用控制平滑度函數的實例經展示為圖16中的曲線195(經平滑DRA尺度)。曲線197展示原始DRA尺度且曲線199展示線性化DRA尺度。可在lcs_param1(i)=0、lcs_param2(i)=Sci+1-Sci及lcs_param3(i)=0.1情況下產生曲線195 (經平滑DRA曲線)。

在一些實例中，LCS函數Scb(或Scr)可更適於如方程式(26)中所示的比色特性。

經由原色色彩之座標定義目標容器primeT及天然色域primeN之特性：primeT=(xRc、yRc；xGc、yGc；xBc、yBc)、primeN=(xRn、yRn；xGn、yGn；xBn、yBn)，及白點座標whiteP=(xW、yW)。某一色彩之實例係在表1中給定。在此情況下， rdT = sqrt((primeT(1,1) - whiteP(1,1))^2 + (primeN(1,2) - whiteP(1,2))^2) gdT = sqrt((primeT(2,1) - whiteP(1,1))^2 + (primeN(2,2) - whiteP(1,2))^2) bdT = sqrt((primeT(3,1) - whiteP(1,1))^2 + (primeN(3,2) - whiteP(1,2))^2) rdN = sqrt((primeN(1,1) - whiteP(1,1))^2 + (primeN(1,2) - whiteP(1,2))^2) gdN = sqrt((primeN(2,1) - whiteP(1,1))^2 + (primeN(2,2) - whiteP(1,2))^2) bdN = sqrt((primeN(3,1) - whiteP(1,1))^2 + (primeN(3,2) - whiteP(1,2))^2) a = sqrt ( (bdT/bdN)^2) b= sqrt ( (rdT/rdN)^2 + (gdT/gdN)^2 )

在另一實例中，阿法及貝他倍增器之值可自調整經寫碼視訊之色彩容器的編碼解碼器之量化方案的QP類參數導出： a = 2.^(deltaCbQP./6 - 1) b = 2.^(deltaCrQP./6 - 1) 其中deltaCrQP/deltaCbQP為對編碼解碼器之QP設定的調整以滿足色彩容器之特性。

在一些實例中，上文所描述技術之參數可在編碼器側(例如視訊編碼器20及/或視訊預處理器單元19)估計並經由位元流(後設資料、SEI訊息、VUI或SPS/PPS或圖塊標頭等)發信。視訊解碼器30及/或視訊後處理器單元31接收來自位元流之參數。

在一些實例中，上文所描述技術之參數係在視訊編碼器20/視訊預處理器單元19及視訊解碼器30/視訊後處理器單元31兩者處經由指定程序自輸入信號或自與輸入信號及處理流程相關聯之其他可用參數來導出。

在一些實例中，上文所描述技術之參數經顯式地發信且對於在視訊解碼器30/視訊後處理器單元31處執行DRA係足夠的。在另外其他實例中，上文所描述技術之參數係自其他輸入信號參數(例如，輸入色域及目標色彩容器(色彩原色)之參數)導出。

圖17為說明可實施本發明之技術的視訊編碼器20之實例的方塊圖。如上文所描述，DRA技術可藉由在視訊編碼器20之編碼迴路外部或在視訊編碼器20之編碼迴路內的視訊預處理器單元19執行(例如，在預測之前)。視訊編碼器20可執行目標色彩容器中已由視訊預處理器單元19處理之視訊圖塊內之視訊區塊的框內及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。

如圖17中所示，視訊編碼器20接收待編碼視訊圖框內的當前視訊區塊。在圖17之實例中，視訊編碼器20包括模式選擇單元40、視訊資料記憶體41、經解碼圖像緩衝器64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測處理單元46及分割單元48。用於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解塊濾波器(圖17中未展示)以對區塊邊界進行濾波以自重建構之視訊移除區塊效應假影。若需要，解塊濾波器將通常濾波求和器62之輸出。除瞭解塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此等濾波器，但若需要，此等濾波器可濾波求和器50之輸出(作為循環濾波器)。

視訊資料記憶體41可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體41中之視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器64可為儲存參考視訊資料以供視訊編碼器20在例如以框內或框間寫碼模式編碼視訊資料時使用的參考圖像記憶體。視訊資料記憶體41及經解碼圖像緩衝器64可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)（包括同步DRAM(SDRAM)）、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或獨立記憶體器件提供視訊資料記憶體41及經解碼圖像緩衝器64。在各種實例中，視訊資料記憶體41可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。

在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測處理單元46可替代地執行所接收視訊區塊相對於在與待寫碼之區塊相同的圖框或圖塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊之適當寫碼模式。

此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48最初可將一圖框或圖塊分割成多個LCU，且基於速率-失真分析(例如，位元率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割成子CU之四分樹及/或QTBT資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。

模式選擇單元40可(例如)基於錯誤結果而選擇寫碼模式(框內或框間)中之一者，且將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編碼單元56。

運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖像(或其他經寫碼單元)內的預測性區塊相對於在該當前圖像(或其他經寫碼單元)內正經寫碼的當前區塊的位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定。在一些實例中，視訊編碼器20可計算儲存於經解碼圖像緩衝器64中的參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。

運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，其中的每一者識別儲存於經解碼圖像緩衝器64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。

由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。

如上文所描述，作為藉由運動估計單元42及運動補償單元44執行的框間預測之替代方案，框內預測處理單元46可框內預測當前區塊。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46 (或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。

舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或錯誤)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可自根據各種經編碼區塊之失真及位元率計算比率以判定哪一框內預測模式展現區塊之最佳位元率-失真值。

在選擇用於區塊之框內預測模式後，框內預測處理單元46可將指示用於區塊之選定框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。

視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。變換可將殘餘資訊自像素值域轉換為變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。

量化單元54量化變換係數以進一步減小位元速率。量化程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。

在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於鄰近區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)，或加以存檔以供稍後傳輸或擷取。

反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊例如以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至經解碼圖像緩衝器64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構之殘餘區塊以計算用於在運動估計中使用之子整數像素值。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生經重建構之視訊區塊以用於儲存於經解碼圖像緩衝器64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。

圖18為說明可實施本發明之技術的視訊解碼器30之實例的方塊圖。如上文所描述，反DRA技術可藉由在視訊解碼器30之解碼迴路外部或在視訊解碼器30之解碼迴路內的視訊後處理器單元31執行(例如在濾波之後及在經解碼圖像緩衝器82之前)。在圖18之實例中，視訊解碼器30包括熵解碼單元70、視訊資料記憶體71、運動補償單元72、框內預測處理單元74、反量化單元76、反變換處理單元78、經解碼圖像緩衝器82及求和器80。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20(圖17)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測處理單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。

視訊資料記憶體71可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元流。可經由視訊資料之有線或無線網路通信，或藉由存取實體資料儲存媒體，例如自電腦可讀媒體16 (例如，自局部視訊源，諸如攝影機)獲得儲存於視訊資料記憶體71中之視訊資料。視訊資料記憶體71可形成儲存來自經編碼視訊位元流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器82可為儲存參考視訊資料以供視訊解碼器30在例如以框內或框間寫碼模式解碼視訊資料時使用的參考圖像記憶體。視訊資料記憶體71及經解碼圖像緩衝器82可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體71及經解碼圖像緩衝器82。在各種實例中，視訊資料記憶體71可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。

在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯之語法元素的經編碼視訊位元流。視訊解碼器30之熵解碼單元70對位元流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。

當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測處理單元74可基於經傳信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即B或P)圖塊時，運動補償單元72基於自熵解碼單元70接收到之運動向量及其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於經解碼圖像緩衝器82中之參考圖像使用預設建構技術建構參考圖像清單(清單0及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊產生用於正解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用所接收語法元素中之一些以判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。

運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。

反量化單元76反量化(或解量化)位元流中所提供，並由熵解碼單元70解碼的經量化之變換係數。反量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QP_Y 以判定應進行應用的量化程度及(同樣地)反量化程度。反變換處理單元78將反變換(例如，反DCT、反整數變換或概念上類似的反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。

在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由將來自反變換處理單元78之殘餘區塊與由運動補償單元72產生之對應的預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之該或該等組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於經解碼圖像緩衝器82中，經解碼圖像緩衝器82儲存用於後續運動補償之參考圖像。經解碼圖像緩衝器82亦儲存經解碼視訊，以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。

圖19為展示本發明之一個實例視訊處理技術的流程圖。如上文所描述，圖19之技術可藉由視訊預處理器單元19及/或視訊編碼器20執行。在本發明之一個實例中，視訊預處理器單元19及/或視訊編碼器20可經組態以接收視訊資料(1900)，判定視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數(1902)，及使用明度尺度參數對明度分量執行動態範圍調整程序(1904)。視訊預處理器單元19及/或視訊編碼器20可經進一步組態以使用明度尺度參數之函數判定視訊資料之色度分量的色度尺度參數(1906)，及使用色度尺度參數對視訊資料之色度分量執行動態範圍調整程序(1908)。視訊編碼器20接著可經組態以編碼視訊資料(1910)。

在一個實例中，為判定色度尺度參數，視訊預處理器單元19及/或視訊編碼器20經進一步組態以使用經判定用於具有碼字值之第一範圍的明度分量的明度尺度參數之函數判定與具有碼字值之複數個範圍的碼字值之第一範圍之明度分量相關聯的色度分量之色度尺度參數。

在另一實例中，為判定色度尺度參數，視訊預處理器單元19及/或視訊編碼器20經進一步組態以使用經判定用於具有碼字值之第一範圍及碼字值之第二範圍的明度分量的明度尺度參數之函數判定與具有碼字值之複數個範圍的碼字值之第一範圍及碼字值之第二範圍的明度分量相關聯的色度分量之色度尺度參數。

在另一實例中，用於明度分量之碼字值的複數個範圍中之每一者的明度尺度參數由不連續函數表示，且視訊預處理器單元19及/或視訊編碼器20經進一步組態以將線性化程序應用於不連續函數以產生線性化明度尺度參數，及使用線性化明度尺度參數之函數判定視訊資料之色度分量的色度尺度參數。在一個實例中，線性化程序為線性內插程序、曲線擬合程序、平均程序或高階概算程序中之一或多者。

在另一實例中，為判定色度尺度參數，視訊預處理器單元19及/或視訊編碼器20經進一步組態以使用明度尺度參數及用以解碼色度分量的量化參數之函數判定視訊資料之色度分量的色度尺度參數。

在另一實例中，為判定色度尺度參數，視訊預處理器單元19及/或視訊編碼器20經進一步組態以使用明度尺度參數、用以解碼色度分量之量化參數及源自視訊資料之色度分量的特性之色彩表示參數之函數判定視訊資料之色度分量的色度尺度參數。在一個實例中，色彩表示包括與色彩容器/視訊資料相關聯的轉移函數。

在另一實例中，視訊預處理器單元19及/或視訊編碼器20經進一步組態以判定視訊資料之色度分量的初始色度尺度參數，其中為判定色度尺度參數，視訊預處理器單元19及/或視訊編碼器20經進一步組態以使用明度尺度參數及初始色度尺度參數之函數判定視訊資料之色度分量的色度尺度參數。

在另一實例中，視訊預處理器單元19及/或視訊編碼器20判定明度分量之明度偏移參數，使用明度尺度參數及明度偏移參數對明度分量執行動態範圍調整程序，判定色度分量之色度偏移參數，及使用色度尺度參數及色度偏移參數對視訊資料之色度分量執行動態範圍調整程序。

圖20為展示本發明之另一實例視訊處理技術的流程圖。如上文所描述，圖20之技術可藉由視訊後處理器單元31及/或視訊解碼器30執行。在本發明之一個實例中，視訊解碼器30可經組態以解碼視訊資料(2000)且視訊後處理器單元31及/或視訊解碼器30可經組態以接收視訊資料(2002)。視訊後處理器單元31及/或視訊解碼器30可經進一步組態以判定用於視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數(2004)，及使用明度尺度參數對明度分量執行反向動態範圍調整程序(2006)。視訊後處理器單元31及/或視訊解碼器30可經進一步組態以使用明度尺度參數之函數判定視訊資料之色度分量的色度尺度參數(2008)，及使用色度尺度參數對視訊資料之色度分量執行反向動態範圍調整程序(2010)。

在一個實例中，為判定色度尺度參數，視訊後處理器單元31及/或視訊解碼器30經進一步組態以使用經判定用於具有碼字值之第一範圍的明度分量的明度尺度參數之函數判定與具有碼字值之複數個範圍的碼字值之第一範圍之明度分量相關聯的色度分量之色度尺度參數。

在另一實例中，為判定色度尺度參數，視訊後處理器單元31及/或視訊解碼器30經進一步組態以使用經判定用於具有碼字值之第一範圍及碼字值之第二範圍的明度分量的明度尺度參數之函數判定與具有碼字值之複數個範圍的碼字值之第一範圍及碼字值之第二範圍的明度分量相關聯的色度分量之色度尺度參數。

在另一實例中，用於明度分量之碼字值的複數個範圍中之每一者的明度尺度參數由不連續函數表示，且視訊後處理器單元31及/或視訊解碼器30經進一步組態以將線性化程序應用於不連續函數以產生線性化明度尺度參數，及使用線性化明度尺度參數之函數判定視訊資料之色度分量的色度尺度參數。在一個實例中，線性化程序為線性內插程序、曲線擬合程序、平均程序或高階概算程序中之一或多者。

在另一實例中，為判定色度尺度參數，視訊後處理器單元31及/或視訊解碼器30經進一步組態以使用明度尺度參數及用以解碼色度分量的量化參數之函數判定視訊資料之色度分量的色度尺度參數。

在另一實例中，為判定色度尺度參數，視訊後處理器單元31及/或視訊解碼器30經進一步組態以使用明度尺度參數、用以解碼色度分量之量化參數及源自視訊資料之色度分量的特性之色彩表示參數之函數判定視訊資料之色度分量的色度尺度參數。在一個實例中，色彩表示參數包括與色彩容器/視訊資料相關聯的轉移函數。

在另一實例中，視訊後處理器單元31及/或視訊解碼器30經進一步組態以判定視訊資料之色度分量的初始色度尺度參數，其中為判定色度尺度參數，視訊後處理器單元31及/或視訊解碼器30經進一步組態以使用明度尺度參數及初始色度尺度參數之函數判定視訊資料之色度分量的色度尺度參數。

在另一實例中，視訊後處理器單元31及/或視訊解碼器30判定明度分量之明度偏移參數，使用明度尺度參數及明度偏移參數對明度分量執行反向動態範圍調整程序，判定色度分量之色度偏移參數，及使用色度尺度參數及色度偏移參數對視訊資料之色度分量執行反向動態範圍調整程序。

已出於說明之目的關於HEVC、HEVC之擴展、JEM及VVC標準描述本發明之特定態樣。然而，本發明中描述之技術可能適用於其他視訊寫碼程序，包括在開發中或尚未開發的其他標準或專屬視訊寫碼程序。

如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。

應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。

在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。

可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編碼解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。

本發明之技術可實施於多種器件或裝置中，該等器件或裝置包括包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體而提供各種單元。

各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。

10‧‧‧系統12‧‧‧源器件14‧‧‧目的地器件16‧‧‧電腦可讀媒體18‧‧‧視訊源19‧‧‧視訊預處理器單元20‧‧‧視訊編碼器21‧‧‧視訊編碼單元22‧‧‧輸出介面28‧‧‧輸入介面29‧‧‧視訊解碼單元30‧‧‧視訊解碼器31‧‧‧視訊後處理器單元32‧‧‧顯示器件40‧‧‧模式選擇單元41‧‧‧視訊資料記憶體42‧‧‧運動估計單元44‧‧‧運動補償單元46‧‧‧框內預測處理單元48‧‧‧分割單元50‧‧‧求和器52‧‧‧變換處理單元54‧‧‧量化單元56‧‧‧熵編碼單元58‧‧‧反量化單元60‧‧‧反變換處理單元62‧‧‧求和器64‧‧‧經解碼圖像緩衝器70‧‧‧熵解碼單元71‧‧‧視訊資料記憶體72‧‧‧運動補償單元74‧‧‧框內預測處理單元76‧‧‧反量化單元78‧‧‧反變換處理單元80‧‧‧求和器82‧‧‧經解碼圖像緩衝器100‧‧‧三角形102‧‧‧三角形104‧‧‧舌片形狀之區域110‧‧‧線性RGB資料112‧‧‧轉移函數114‧‧‧色彩轉換程序116‧‧‧量化單元118‧‧‧HDR之資料120‧‧‧HDR之資料122‧‧‧反量化單元124‧‧‧反色彩轉換程序126‧‧‧反轉移函數128‧‧‧線性RGB資料130‧‧‧四分樹二進位樹(QTBT)結構131‧‧‧曲線132‧‧‧對應寫碼樹型單元(CTU)150‧‧‧三角形152‧‧‧三角形153‧‧‧LCS函數154‧‧‧三角形181‧‧‧「無DRA」函數183‧‧‧DRA映射函數191‧‧‧曲線193‧‧‧曲線195‧‧‧曲線197‧‧‧曲線199‧‧‧曲線200‧‧‧RGB原生CG視訊資料202‧‧‧CG轉換器204‧‧‧RGB目標CG視訊資料206‧‧‧轉移函數單元208‧‧‧色彩轉換單元210‧‧‧調整單元212‧‧‧DRA參數估計單元214‧‧‧量化單元216‧‧‧HDR之資料300‧‧‧RGB原生CG302‧‧‧反CG轉換器304‧‧‧RGB目標CG306‧‧‧反轉移函數308‧‧‧反色彩轉換單元310‧‧‧反調整單元312‧‧‧DRA參數導出單元314‧‧‧反量化單元316‧‧‧HDR之資料

圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統的方塊圖。

圖2A及圖2B為說明實例四分樹二進位樹(QTBT)結構及對應寫碼樹型單元(CTU)之概念圖。

圖3為說明HDR資料之概念的概念圖。

圖4為說明實例色域之概念圖。

圖5為說明HDR/WCG表示轉換之實例的流程圖。

圖6為說明HDR/WCG反轉換之實例的流程圖。

圖7為說明用於自感知均勻的碼階至線性明度之視訊資料轉換(包括SDR及HDR)之電光轉移函數(EOTF)之實例的概念圖。

圖8為說明EOTF之實例輸出曲線的概念圖。

圖9A及圖9B為說明在兩個實例色域中之色彩分佈之可視化的概念圖。

圖10為明度驅動之色度縮放(LCS)函數之曲線。

圖11為說明根據本發明之技術操作之實例HDR/WCG轉換裝置的方塊圖。

圖12為說明根據本發明之技術之實例HDR/WCG反向轉換裝置的方塊圖。

圖13展示動態範圍調整(DRA)映射函數之實例。

圖14展示DRA縮放參數之線性化的實例。

圖15展示一組S型函數之實例。

圖16展示DRA縮放參數之平滑的實例。

圖17為說明可實施本發明之技術的視訊編碼器之實例的方塊圖。

圖18為說明可實施本發明之技術的視訊解碼器之實例的方塊圖。

圖19為展示本發明之一個實例視訊處理技術的流程圖。

圖20為展示本發明之另一實例視訊處理技術的流程圖。

19‧‧‧視訊預處理器單元

20‧‧‧視訊編碼器

200‧‧‧RGB原生CG視訊資料

202‧‧‧CG轉換器

204‧‧‧RGB目標CG視訊資料

206‧‧‧轉移函數單元

208‧‧‧色彩轉換單元

210‧‧‧調整單元

212‧‧‧DRA參數估計單元

214‧‧‧量化單元

216‧‧‧HDR之資料

Claims

一種處理視訊資料之方法，該方法包含：接收視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數及用以寫碼該視訊資料之色度分量之一量化參數之一函數判定該等色度分量的色度尺度參數；以及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。
如請求項1之方法，其中判定該等色度尺度參數包含：使用經判定用於具有碼字值之一第一範圍及用以寫碼該等色度分量之該量化參數的該等明度分量的該等明度尺度參數之一函數判定與具有碼字值之該複數個範圍中碼字值之該第一範圍之明度分量相關聯的色度分量之色度尺度參數。
如請求項1之方法，其中判定該等色度尺度參數包含：使用經判定用於具有碼字值之一第一範圍及碼字值之一第二範圍及用以寫碼該等色度分量之該量化參數的該等明度分量的該等明度尺度參數之一函數判定與具有碼字值之該複數個範圍中碼字值之該第一範圍及碼字值之該第二範圍的明度分量相關聯的色度分量之色度尺度參數。
如請求項1之方法，其中用於該等明度分量之碼字值之該複數個範圍中之每一者的該等明度尺度參數由一不連續函數表示，該方法進一步包含：將一線性化程序應用於該不連續函數以產生線性化明度尺度參數；及使用該等線性化明度尺度參數及用以寫碼該等色度分量之該量化參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。
如請求項4之方法，其中該線性化程序為一線性內插程序、一曲線擬合程序、一平均程序、一低通濾波程序或一高階概算程序中之一或多者。
如請求項1之方法，其中判定該等色度尺度參數進一步包含：使用該等明度尺度參數、用以寫碼該等色度分量之該量化參數及自該視訊資料之該色度分量的特性導出的一色彩表示參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。
如請求項6之方法，其中該色彩表示參數包括與該視訊資料相關聯的一轉移函數。
如請求項1之方法，其進一步包含：判定該視訊資料之該等色度分量的初始色度尺度參數，其中判定該等色度尺度參數包含使用該等明度尺度參數、用以寫碼該等色度分量之該量化參數及該等初始色度尺度參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。
如請求項1之方法，其進一步包含：判定該等明度分量之明度偏移參數；使用該等明度尺度參數及該等明度偏移參數對該等明度分量執行該動態範圍調整程序；判定該等色度分量之色度偏移參數；以及使用該等色度尺度參數及該等色度偏移參數對該視訊資料之該等色度分量執行該動態範圍調整程序。
如請求項1之方法，其進一步包含：在對該等明度分量執行該動態範圍調整程序之後及在對該等色度分量執行該動態範圍調整程序之後編碼該視訊資料；以及輸出該經編碼視訊資料。
如請求項1之方法，其中該動態範圍調整程序為一反動態範圍調整程序，該方法進一步包含：在對該等明度分量執行該反動態範圍調整程序之前及在對該等色度分量執行該反動態範圍調整程序之前解碼該視訊資料；以及顯示經輸出經解碼視訊資料。
一種經組態以處理視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其與該記憶體通信，該一或多個處理器經組態以：接收該視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數及用以寫碼該視訊資料之色度分量之一量化參數之一函數判定該等色度分量的色度尺度參數；以及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。
如請求項12之裝置，其中為判定該等色度尺度參數，該一或多個處理器經進一步組態以：使用經判定用於具有碼字值之一第一範圍及用以寫碼該等色度分量之該量化參數的該等明度分量的該等明度尺度參數之一函數判定與具有碼字值之該複數個範圍中碼字值之該第一範圍之明度分量相關聯的色度分量之色度尺度參數。
如請求項12之裝置，其中為判定該等色度尺度參數，該一或多個處理器經進一步組態以：使用經判定用於具有碼字值之一第一範圍及碼字值之一第二範圍及用以寫碼該等色度分量之該量化參數的該等明度分量的該等明度尺度參數之一函數判定與具有碼字值之該複數個範圍中碼字值之該第一範圍及碼字值之該第二範圍的明度分量相關聯的色度分量之色度尺度參數。
如請求項12之裝置，其中該等明度分量之碼字值之該複數個範圍中之每一者的該等明度尺度參數由一不連續函數表示，且其中該一或多個處理器經進一步組態以：將一線性化程序應用於該不連續函數以產生線性化明度尺度參數；及使用該等線性化明度尺度參數及用以寫碼該等色度分量之該量化參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。
如請求項15之裝置，其中該線性化程序為一線性內插程序、一曲線擬合程序、一平均程序、一低通濾波程序或一高階概算程序中之一或多者。
如請求項12之裝置，其中為進一步判定該等色度尺度參數，該一或多個處理器經進一步組態以：使用該等明度尺度參數、用以寫碼該等色度分量之該量化參數及自該視訊資料之該色度分量的特性導出的一色彩表示參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。
如請求項17之裝置，其中該色彩表示參數包括與該視訊資料相關聯之一轉移函數。
如請求項12之裝置，其中該一或多個處理器經進一步組態以：判定該視訊資料之該等色度分量的初始色度尺度參數，其中為判定該等色度尺度參數，該一或多個處理器經進一步組態以使用該等明度尺度參數、用以寫碼該等色度分量之該量化參數及該等初始色度尺度參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。
如請求項12之裝置，其中該一或多個處理器經進一步組態以：判定該等明度分量之明度偏移參數；使用該等明度尺度參數及該等明度偏移參數對該等明度分量執行該動態範圍調整程序；判定該等色度分量之色度偏移參數；以及使用該等色度尺度參數及該等色度偏移參數對該視訊資料之該等色度分量執行該動態範圍調整程序。
如請求項12之裝置，其中該一或多個處理器經進一步組態以：在對該等明度分量執行該動態範圍調整程序之後及在對該等色度分量執行該動態範圍調整程序之後編碼該視訊資料；以及輸出該經編碼視訊資料。
如請求項21之裝置，其進一步包含：一攝影機，其經組態以俘獲該視訊資料。
如請求項12之裝置，其中該動態範圍調整程序為一反動態範圍調整程序，其中該一或多個處理器經進一步組態以：在對該等明度分量執行該反動態範圍調整程序之前及在對該等色度分量執行該反動態範圍調整程序之前解碼該視訊資料。
如請求項23之裝置，其進一步包含：一顯示器，其經組態以在對該等明度分量執行該反動態範圍調整程序之後及在對該等色度分量執行該反動態範圍調整程序之後顯示該視訊資料。
一種經組態以處理視訊資料之裝置，該裝置包含：用於接收視訊資料之構件；用於判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數之構件；用於使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序之構件；用於使用該等明度尺度參數及用以寫碼該視訊資料之色度分量之一量化參數之一函數判定該等色度分量的色度尺度參數之構件；以及用於使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序之構件。
如請求項25之裝置，其中該等明度分量之碼字值的該複數個範圍中之每一者的該等明度尺度參數由一不連續函數表示，該裝置其進一步包含：用於將一線性化程序應用於該不連續函數以產生線性化明度尺度參數之構件；及用於使用該等線性化明度尺度參數及用以寫碼該等色度分量之該量化參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數之構件。
一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時促使經組態以處理視訊資料之一器件之一或多個處理器執行以下操作：接收該視訊資料；判定該視訊資料之明度分量的碼字值之複數個範圍中之每一者的明度尺度參數；使用該等明度尺度參數對該等明度分量執行一動態範圍調整程序；使用該等明度尺度參數及用以寫碼該視訊資料之色度分量之一量化參數之一函數判定該等色度分量的色度尺度參數；以及使用該等色度尺度參數對該視訊資料之該等色度分量執行一動態範圍調整程序。
如請求項27之非暫時性電腦可讀儲存媒體，其中該等明度分量之碼字值的該複數個範圍中之每一者的該等明度尺度參數由一不連續函數表示，且其中該等指令進一步促使該一或多個處理器執行以下操作：將一線性化程序應用於該不連續函數以產生線性化明度尺度參數；及使用該等線性化明度尺度參數及用以寫碼該等色度分量之該量化參數之一函數判定該視訊資料之該等色度分量的該等色度尺度參數。