TW202041007A

TW202041007A - 用於視頻編解碼的量化矩陣計算和表示的方法和裝置

Info

Publication number: TW202041007A
Application number: TW109109952A
Authority: TW
Inventors: 賴貞延; 莊子德; 陳慶曄; 徐志瑋; 黃毓文; 歐萊娜邱巴赫
Original assignee: 聯發科技股份有限公司
Priority date: 2019-03-25
Filing date: 2020-03-25
Publication date: 2020-11-01
Also published as: EP3925217A1; TWI759705B; CN116886931A; US20220094936A1; US11582454B2; CN113796074A; EP3925217A4; WO2020192633A1

Abstract

公開了用於視頻編碼的方法和裝置。對於當前塊，當前塊的變換塊的最大側與64相對應。從8×8基本縮放矩陣的元素推導縮放矩陣，其中， 8×8基本縮放矩陣的右下4×4區域中的元素被跳過，或者不用信號通知，或者設置為零。根據另一種方法，僅具有第一顏色分量的當前塊屬於第一顏色格式的當前圖片。針對當前塊的第一顏色分量，在視頻編碼器側用信號通知第一縮放矩陣，或者在視頻解碼器側解析第一縮放矩陣。另一方面，針對當前塊的第二顏色分量或第三顏色分量，禁止在視頻編碼器側用信號通知任何第二縮放矩陣，或者禁止在視頻解碼器側解析任何第二縮放矩陣。

Description

用於視頻編解碼的量化矩陣計算和表示的方法和裝置

本發明涉及用於視頻編碼的變換係數編碼。尤其是，本發明公開了量化矩陣推導和表示。

自我調整幀內/幀間視頻編碼已經廣泛用於各種視頻編碼標準（諸如，MPEG-2、AVC（高級視頻編碼）和HEVC（高效視頻編碼））中。在自我調整幀內/幀間視頻編碼中，通過幀內/幀間預測器預測輸入信號以生成預測殘差。殘差通常通過二維變換進行處理並被量化。然後對經量化的變換係數進行編碼。高效視頻編碼（HEVC）標準是在ITU-T視頻編碼專家組（VCEG）和ISO/IEC運動圖像專家組（MPEG）標準化組織（並且特別是與被稱為視頻編碼聯合協作小組（JCT-VC）的合作夥伴）的聯合視頻專案下開發的。在HEVC中，一個切片（slice）被劃分成多個編碼樹單元（CTU）。在主設定檔（profile）中，CTU的最小和最大大小由序列參數集（SPS）中的語法元素指定。所允許的CTU大小可以是8×8、16×16、32×32或64×64。對於各個切片，根據光柵掃描連續處理切片內的CTU。

CTU進一步被劃分成多個編碼單元（CU），以適應各種本地特徵。通過四叉樹或四叉樹（QT）劃分，CTU可以被進一步劃分成多個編碼單元（CU）。QT劃分將大小為4N×4N的塊分割成4個大小相等的2N×2N子塊。CTU可以是單個CU（即，不分割），或者可以被分割成相等大小的四個較小單元，所述四個較小單元與編碼樹的節點相對應。如果單元是編碼樹的葉節點，則單元變成CU。否則，可以重複四叉樹分割處理，直到節點的大小達到SPS（序列參數集）中指定的允許的最小CU大小為止。

根據HEVC，可以將各個CU劃分成一個或更多個預測單元（PU）。與CU結合，PU用作共用預測資訊的基本代表塊。在各個PU內部，應用相同的預測處理，並且基於PU將相關資訊發送到解碼器。可以根據PU分割類型將CU分割成一個、兩個或四個PU。HEVC定義了用於將CU分割成PU的八種形狀，包括2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N和nR×2N劃分類型。與CU不同，PU僅能根據HEVC分割一次。

在通過基於PU分割類型的預測處理來獲得殘差塊後，可以根據類似於針對CU的編碼樹的另一四叉樹結構將CU的預測殘差劃分成變換單元（TU）。TU是具有殘差或變換係數以應用整數變換和量化的基本代表塊。對於各個TU，應用具有與TU相同大小的一個整數變換以獲得殘差係數。這些係數在基於TU的量化之後被發送到解碼器。

第1圖例示了示例性自我調整幀間/幀內視頻編碼系統，該系統併入了變換和量化以處理預測殘差。對於幀間預測，運動估計（ME）/運動補償（MC）112用於基於來自另一圖片或多個圖片的視頻資料來提供預測資料。開關114選擇幀內預測110或幀間預測資料，並且所選擇的預測資料被供應至加法器116以形成預測誤差（也稱為殘差）。預測誤差然後由變換（T）118處理，隨後由量化（Q）120處理。然後，經變換且經量化的殘差由熵編碼器122編碼，以被包括在與壓縮視頻資料相對應的視頻位元流中。然後，將與變換係數相關聯的位元流與諸如運動、編碼模式以及與圖像區域相關聯的其它資訊的邊資訊（side information）打包在一起。邊資訊也可以通過熵編碼來壓縮以減少所需的頻寬。因此，如第1圖所示，與邊資訊相關聯的資料被提供給熵編碼器122。當使用幀間預測模式時，也必須在編碼器端重構一個參考圖片或多個參考圖片。因此，通過逆量化（IQ）124和逆變換（IT）126處理經變換且經量化的殘差以恢復殘差。然後在重構（REC）128處將殘差加回到預測資料136以重構視頻資料。經重構的視頻資料可以被存儲在參考圖片緩衝器134中並用於其它幀的預測。

如第1圖所示，輸入視頻資料在編碼系統中經歷了一系列處理。由於一系列處理，所以來自REC 128的經重構的視頻資料可能遭受各種損害。因此，在將經重構的視頻資料存儲在參考圖片緩衝器134中之前，經常將環路濾波器130應用於經重構的視頻資料，以提高視頻品質。例如，在高效視頻編碼（HEVC）標準中已經使用了去塊濾波器（DF）和樣本自我調整偏移（SAO）。環路濾波器還可以包括ALF（自我調整環路濾波器）。可能必須將環路濾波器資訊併入位元流中，以使解碼器可以正確恢復所需資訊。因此，環路濾波器資訊被提供給熵編碼器122以併入位元流中。在第1圖中，在將經重構的樣本存儲在參考圖片緩衝器134中之前，將環路濾波器130應用於經重構的視頻。第1圖中的系統旨在例示典型視頻編碼器的示例性結構。它可以與高效視頻編碼（HEVC）系統或H.264相對應。

第2圖例示了用於第1圖中的編碼器系統的對應視頻解碼器的系統框圖。由於編碼器還包含用於重構視頻資料的本地解碼器，因此除了熵解碼器210之外，在編碼器中已經使用了一些解碼器部件。此外，解碼器側僅需要運動補償220。開關146選擇幀內預測或幀間預測，並且所選擇的預測資料被供應給重構（REC）128以與所恢復的殘差組合。除了對壓縮殘差執行熵解碼之外，熵解碼210還負責邊資訊的熵解碼，並將該邊資訊提供給相應塊。例如，將幀內模式資訊提供給幀內預測110，將幀間模式資訊提供給運動補償220，將環路濾波器資訊提供給環路濾波器130，並將殘差提供給逆量化124。殘差由IQ 124、IT 126和隨後的重構處理來處理，以重構視頻資料。再一次地，來自REC 128的經重構的視頻資料經歷如第2圖所示的包括IQ 124和IT 126的一系列處理，並且經受編碼偽影（coding artefact）。環路濾波器130進一步處理經重構的視頻資料。

量化矩陣（QM）已經用於各種視頻編碼標準中。例如，量化矩陣用於第1圖中的量化120和第2圖中的逆量化124。基於塊的混合視頻編碼方案（其暗示對殘差信號進行變換編碼）可以使用頻率相關縮放（frequency dependent scaling）來控制量化失真跨變換單元（TU）中的不同頻率的分佈。為了實現跨空間頻率在感知上均勻的量化，量化矩陣可以被設計為根據跨與變換係數相關聯的各個頻率通道的相關頻率範圍的感知靈敏度，對該各個頻率通道進行加權。因此，與高頻係數相比，將以更精細的量化步長對變換塊中的低頻係數進行量化。可以採用對應的量化矩陣來在解碼器處對經去量化的變換係數進行逆加權。

量化矩陣已經成功地用於視頻編碼標準（諸如，H.264/AVC和H.265/HEVC（高效視頻編碼））中，這允許提高視頻內容的主觀品質。由於量化矩陣的有效性，所以量化矩陣已經被廣泛用於眾多視頻編碼產品中。

HEVC規範包括大小為4×4、8×8、16×16和32×32的四個整數逆變換矩陣。這些變換矩陣是大小相同的DCT-2矩陣的整數近似，旨在保留DCT（離散余弦變換）係數結構。指定了附加的4×4 DST（離散正弦變換）矩陣，該附加的4×4 DST矩陣被應用於幀內預測4×4塊的殘差。為了區別於DST，將四個DCT稱為HEVC核心變換。

公開了用於視頻編碼的方法和裝置。根據本發明，接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且所述當前塊的所述變換塊的最大側與64相對應。從8×8基本縮放矩陣的元素推導縮放矩陣，其中，所述8×8基本縮放矩陣的右下4×4區域中的元素被跳過，或者不用信號通知，或者設置為零。根據所述縮放矩陣將量化處理應用於所述輸入資料，以在所述視頻編碼器側生成經編碼經量化的變換塊，或者根據所述縮放矩陣將逆量化處理應用於所述輸入資料，以在所述視頻解碼器側生成經解碼的變換塊。

在一個實施方式中，當所述視頻編碼器側的所述經編碼經量化的變換塊或所述視頻解碼器側的所述經解碼的變換塊的大小是64×64時，所述變換塊具有32×32個非零值元素。在另一實施方式中，當所述視頻編碼器側的所述經編碼經量化的變換塊或所述視頻解碼器側的所述經解碼的變換塊的大小是64×N或N×64（N是小於64的整數）時，所述變換塊具有32×N或N×32個非零值元素。

根據另一種方法，接收與僅具有第一顏色分量的當前塊相關的輸入資料，所述當前塊屬於第一顏色格式的當前圖片，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且所述當前塊對應於與所述第一顏色格式相關聯的所述第一顏色分量。針對所述當前塊的所述第一顏色分量，在所述視頻編碼器側用信號通知第一縮放矩陣，或者在所述視頻解碼器側解析所述第一縮放矩陣。另一方面，針對所述當前塊中缺少的第二顏色分量或第三顏色分量，禁止在所述視頻編碼器側用信號通知任何第二縮放矩陣，或者禁止在所述視頻解碼器側解析任何第二縮放矩陣。根據所述第一縮放矩陣將量化處理應用於所述輸入資料，以在所述視頻編碼器側生成經編碼經量化的變換塊，或者根據所述第一縮放矩陣將逆量化處理應用於所述輸入資料，以在所述視頻解碼器側生成經解碼的變換塊。

在一個實施方式中，在位元流中用信號通知標誌，以指示針對所述第二顏色分量或所述第三顏色分量，所述在所述視頻編碼器側用信號通知任何第二縮放矩陣或者所述在所述視頻解碼器側解析任何第二縮放矩陣是允許的（enabled）還是禁止的（disabled）。可以在所述位元流的自我調整參數集（APS）中用信號通知所述標誌，其中，所述APS具有與縮放清單資料相對應的類型。

在另一實施方式中，當未在所述視頻編碼器側用信號通知第二縮放矩陣或未在所述視頻解碼器側解析第一縮放矩陣時，推斷預定義的第二縮放矩陣。此外，根據語法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta來確定被推斷的所述預定義的縮放矩陣。如果未接收到所述語法元素scaling_list_copy_mode_flag和所述scaling_list_pred_id_delta的值，則可以在所述視頻解碼器側推斷出語法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta的所述值。

在一個實施方式中，所述第一顏色格式是400顏色格式，並且所述第一顏色分量是亮度分量。在另一實施方式中，所述第二顏色分量或所述第三顏色分量包括色度分量。在另一實施方式中，所述第一縮放矩陣可以供400顏色格式的另一從屬視頻層參考。在又一實施方式中，通過與所述當前圖片相關聯的顏色格式索引來指示所述當前圖片是否是所述400顏色格式。

以下描述是執行本發明的最佳構想模式。進行該描述是出於例示本發明的一般原理的目的，並且不應被認為是限制性意義。本發明的範圍最好通過參照所附權利要求書來確定。在本發明中，用於VVC中的視頻編碼的新的量化矩陣表示方法如下。

默認量化矩陣表示

量化矩陣正被評估以在新興的新視頻編碼標準（稱為VVC（通用視頻編碼））中採用，該新視頻編碼標準作為下一代視頻編碼標準和H.265/HEVC的後繼標準。在本公開中，量化矩陣也稱為縮放矩陣。

當啟用頻率相關縮放時，大小為4×4和8×8的量化矩陣具有如第3圖所示的預設值。如第3圖所示，4×4矩陣310用於幀內模式和幀間模式中的亮度分量和色度分量，8×8矩陣320用於幀內模式中的亮度分量和色度分量，並且8×8矩陣330用於幀間模式中的亮度分量和色度分量。

例如，對於不同大小和不同類型的變換塊，支持以下20種量化矩陣： • 亮度：幀內4×4、幀間4×4、幀內8×8、幀間8×8、幀內16×16、幀間16×16、幀內32×32、幀間32×32 • Cb：幀內4×4、幀間4×4、幀內8×8、幀間8×8、幀內16×16、幀間16×16 • Cr：幀內4×4、幀間4×4、幀內8×8、幀間8×8、幀內16×16、幀間16×16

為了減少存儲量化矩陣所需的記憶體，使用8×8矩陣來生成16×16量化矩陣和32×32量化矩陣。通過使用複製進行上採樣來從相同類型的默認8×8量化矩陣獲得用於大小為16×16和32×32的變換塊的默認量化矩陣。該過程在第4圖中示出：圖中的點填充塊412指示將8×8量化矩陣410中的量化矩陣條目複製到16×16量化矩陣420中的2×2區域422中以及複製到32×32量化矩陣430中的4×4區域432中。

自我調整多核心變換

與HEVC相比，正在開發的新標準VVC（通用視頻編碼器）支援更多劃分形狀。提出了所謂的多類型樹（MTT）劃分，其中，除了HEVC中支援的四叉樹（QT）結構之外，還添加了二元分割和三元分割。第5圖示出了VVC中所有受支持的分割，所述分割包括四叉分割510、垂直二元分割520、水準二元分割530、垂直中心側三元分割540和水準中心側三元分割550。

在MTT中，樹結構分別針對I切片中的亮度和色度進行編碼，並同時應用於P切片和B切片中的亮度和色度二者（對色度的某些最小大小約束除外）。這意味著在I切片中，亮度CTB具有其MTT結構化的塊劃分，並且兩個色度CTB可以具有另一MTT結構化的塊劃分。此外，為了提高較高解析度視頻的編碼增益，可以將三元（TT）分割和二元（BT）分割遞迴地應用於128×128亮度/64×64色度編碼樹塊（CTB）。此外，TU的最大支持大小增加到64×64亮度/32×32色度。

在VTM（VVC測試模型）中，自我調整多重變換（AMT）方案用於幀間編碼塊和幀內編碼塊兩者的殘差編碼。除HEVC中的當前變換之外，還將從DCT/DST系列中選擇的多個變換應用於殘差塊。最近，已經引入了DST-7、DCT-8和DST-1的變換矩陣。表1示出了所選DST/DCT的基函數。表1：用於N點輸入的DCT/DST的變換基函數

變換類型	基函數
DCT-8
DST-1
DST-7

AMT應用於寬度和高度均小於或等於64的CU，並且是否應用AMT由CU級標誌控制。當CU級標誌等於0時，在CU中應用DCT-2以對殘差進行編碼。對於啟用AMT的CU內的亮度編碼塊，用信號通知兩個附加標誌以標識要使用的水準變換和垂直變換。與HEVC中一樣，在VTM中，可以利用變換跳過模式來對塊的殘差進行編碼。為避免語法編碼的冗餘，當CU級AMT標誌不等於零時，不用信號通知變換跳過標誌。

對於幀內殘差編碼，由於不同幀內預測模式的不同殘差統計，因此使用模式相關的變換候選選擇處理。表2示出了三個已定義的變換子集的一個實施方式。可以基於幀內預測模式來選擇變換子集。表2：三個預定義變換候選集

變換集	變換候選
0	DST-7, DCT-8
1	DST-7, DST-1
2	DST-7, DCT-8

利用子集概念，首先使用CU級AMT標誌等於1的CU的幀內預測模式基於表2來標識變換子集。此後，對於水準變換和垂直變換中的每一者，可以選擇已標識的變換子集中的兩個變換候選中的一個變換候選並利用標誌顯式地用信號通知。

在幀間預測殘差的情況下，只有一個變換集（該變換集由DST-7和DCT-8組成）可以用於所有幀間模式以及水準變換和垂直變換兩者。

此外，已知DCT-8與DST-7具有以下關係：

式（1）中的

和

是用於DCT-8和DST-7的逆變換矩陣，並且i和j分別是行索引和列索引。在式（1）中，J_N 是沿其反對角線由1表示的矩陣，並且矩陣D_N 在其對角線上在1與-1之間交替。因此，通過直接在DST7計算之前和之後進行符號改變和重新排序，可以從DST7推導DCT8。因此，在該實現中，DST7重複用於DCT8。符號改變和混排（shuffling）不會給DST7增加任何附加開銷，使得DCT8的計算複雜度與DST7的計算複雜度相同。這避免了在DCT8和DST-1中使用任何附加記憶體。

由於VVC支援更多的塊大小和AMT，因此VTM需要更高效的量化矩陣表示方法。

根據本發明，首先定義大小為M×N的默認量化矩陣並與指定的係數一起存儲在M×N變換單元的各個位置處，其中，M和N可以是介於2到64之間的任何偶數。在一個實施方式中，可以存在三個量化/縮放矩陣：一個量化/縮放矩陣大小為M=N=4（用於大小為4×4的殘差塊、幀內預測和幀間預測兩者），並且兩個量化/縮放矩陣大小為M=N=8（一個量化/縮放矩陣用於幀內預測，並且另一量化/縮放矩陣用於幀間預測）。作為示例，第3圖中的對應矩陣（310、320和330）可以用作默認量化矩陣。在另一實施方式中，僅可以定義用於幀內預測的默認矩陣（例如，對於大小為4×4和8×8），同時可以從用於幀內預測的對應矩陣獲得用於幀間預測的量化矩陣。

在另一實施方式中，定義並存儲預設M×N量化矩陣，所述默認M×N量化矩陣用於推導用於2^p ×2^k 變換單元的預設2^p ×2^k 量化矩陣，其中，p和k可以取介於1到6之間的任何值。例如，k=p=4、k=p=5或k=p=6，這將給出大小16×16、32×32和64×64。

在定義並存儲預設量化矩陣之後，一種方法（例如，係數映射和插值（稱為係數映射和插值步驟）包括使用重複和基於線性插值的上採樣的簡單零階插值方法）從默認M×N量化矩陣生成用於2^p ×2^k （例如，4×4、4×8、8×4、8×8、4×16、16×4、4×32、32×4、8×16、16×8、16×16、8×32、32×8、16×32、32×16、32×32、16×64、64×16、32×64、64×32、64×64）變換塊的默認量化矩陣。

以下流程圖示出了用於定義塊大小與2^p ×2^k 相對應的矩陣的三個可能實施方式。在一個實施方式中，例如在第6圖中，對於步驟1（610），首先，通過應用係數映射和插值步驟，從預設矩陣（例如，8×8）生成多個方陣（例如，16×16、32×32、64×64）。在步驟2（620）中，通過分別對行和列中的每第M1/2^p 和第N1/2^k 個元素進行子採樣來從最接近的方形量化矩陣生成矩形矩陣。在步驟615確定寬度為M1且高度為N1的最小大小的方陣，該寬度和高度均大於或等於目標矩形矩陣的對應寬度和高度。例如，M1和N1可以等於M。因此，最接近的方形量化矩陣是M×M。在其它示例中，M1可以不等於N1，如果在M1和N1當中最小大小是M，則最接近的方陣是M×M。在第7圖中，對於步驟1（710），通過應用係數映射和插值步驟來從預設矩陣（例如，8×8）生成方陣（例如，16×16、32×32、64×64）。在步驟2（720）中，通過應用係數映射和插值步驟以分別對行或列中的元素上採樣2^p /M和2^k /N次來從最接近的方形量化矩陣生成矩形矩陣。在步驟715確定寬度為M1或高度為N1的最小大小的方陣，該寬度或高度大於或等於目標矩形矩陣的對應寬度或高度。在第8圖中，對於步驟1（810），通過應用係數映射和插值步驟，以2^p /M或2^k /N的因數對默認矩陣（例如，8×8）的行或列進行上採樣。在步驟2（820）中，通過應用係數映射和插值步驟，以2^k /N或2^p /M的因數對來自步驟1 810的矩陣的列或行進行上採樣。

在又一實施方式中，對於低頻係數，可以以小間隔對M×N矩陣進行上採樣，並且對於高頻係數，以大間隔對M×N矩陣進行上採樣。

第9圖示出了一個示例。在第9圖中，對於步驟1（910），通過應用係數映射和插值步驟，以t>2^p /M的因數（對於給定的M1>M）或以r>2^k /N的因數（對於給定的M2>M）對基本縮放矩陣（例如，8×8）的行或列進行上採樣。在步驟2（920）中，通過應用係數映射和插值步驟，以r1>2^k /N的因數（對於給定的M2>M）或以t1>2^p /M的因數（對於給定的M1>M）對來自步驟1 910的矩陣的列或行進行上採樣。在步驟915中確定t和t1以及r和r1的值，其中，這些值必須使得上採樣仍將導致大小為2^p /M×2^k /N的矩陣。

作為一個示例，用於幀內亮度、幀內Cb、幀內Cr的8×8量化矩陣（基本縮放矩陣）可以用於獲得用於16×16變換單元的16×16量化矩陣幀間亮度、幀間Cb、幀間Cr。為了獲得第一量化矩陣，在水準方向和垂直方向上應用因數為2的上採樣。這將導致以下16×16量化矩陣：

作為另一示例，用於幀內亮度、幀內Cb、幀內Cr的8×8量化矩陣（基本縮放矩陣）可以用於獲得用於8×16變換塊的8×16量化矩陣。為了獲得第二量化矩陣，上採樣將僅應用於列。這將導致以下8×16量化矩陣：

在一個實施方式中，根據本發明的方法可以使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等來從預設M×N量化矩陣生成用於通過應用AMT而獲得的不同變換塊的量化矩陣。

在另一實施方式中，根據本發明的方法可以使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等來從預設M×N量化矩陣生成用於幀內變換塊的量化矩陣。

在又一實施方式中，根據本發明的方法可以使用如下方法：用信號通知用於通過應用AMT而獲得的不同變換塊的默認量化矩陣。

定制量化矩陣表示

在一個實施方式中，定義在各個位置中具有指定係數的用戶定義的M×N量化矩陣並利用無損熵編碼將其發送至M×N變換單元。M和N可以是介於2到64之間的任何偶數。

在一個實施方式中，未針對（例如，YUV 4:4:4或YCbCr 4:4:4格式）或420格式的序列的某一顏色分量定義（或發送）大小為M×N的用戶定義的量化矩陣。在一個實施方式中，未針對444或420顏色格式的序列的色度分量定義2×2用戶定義的縮放矩陣。另外，針對400顏色格式（即，僅一個顏色分量），未定義或未用信號通知2×2使用者定義的縮放矩陣。

在另一實施方式中，定義並發送大小為M×N（其中，M和N是介於2到64之間的任何偶數）的用戶定義的大小較小的量化矩陣，所述量化矩陣用於推導用於2^p ×2^k 變換單元的2^p ×2^k 量化矩陣，其中，p和k可以取介於1到6之間的任何值。

在另一實施方式中，公開了如下方法：使用係數映射和插值（該係數映射和插值包括通過圖元重複和基於線性插值的上採樣的簡單零階插值）在不發送任何比特的情況下從M×N量化矩陣生成用於2^p ×2^k （p！=k）（例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32）變換塊的縮放矩陣。

在該實施方式中，例如，在解碼器側，用信號通知並接收多個大小的基本縮放矩陣。選擇基本縮放矩陣中的一個基本縮放矩陣（至少不大於變換塊）。為了生成用於M×N變換塊的目標縮放矩陣，首先，可以將上述上採樣方法應用於基本縮放矩陣以生成M×M矩陣。然後，通過將M×M縮放矩陣子採樣到作為目標縮放矩陣的M×N或N×M縮放矩陣來從M×M縮放矩陣推導目標縮放矩陣。例如，如果接收到的變換塊大小為32×8，則選擇8×8基本縮放矩陣。然後，通過使用圖元重複或線性插值，從8×8基本縮放矩陣生成32×32縮放矩陣。然後，將子採樣應用於32×32縮放矩陣，以生成32×8縮放矩陣。子採樣的方法可以變化，例如，一種子採樣方法可以包括分別取M×M縮放矩陣中的列和行中的每第M/2^p 和第M/2^k 個係數，其中，M等於2^p ，並且N等於2^k 。該實施方式與在第6圖中將M1和N1設置為M相對應。

在又一實施方式中，公開了如下方法：使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等在不發送任何附加比特的情況下從預設M×N量化矩陣生成用於通過應用AMT而獲得的不同變換塊的用戶定義的量化矩陣。

在又一實施方式中，公開了如下方法：使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等在不發送任何附加比特的情況下從用於幀內變換塊的默認M×N量化矩陣生成用於所獲得的幀間變換塊的用戶定義的量化矩陣。

用於生成較小大小的 M×N 量化矩陣的方法

公開了用於從較大的2^p ×2^k 矩陣生成用於M×N變換單元的較小大小的M×N量化矩陣的方法，其中，M和N可以是介於2到64之間的任何偶數，其中，p和k可以取介於1到6之間的任何值。

在一個實施方式中，該方法總是保持DC係數並且以固定間隔對M×N矩陣進行子採樣。

在另一實施方式中，該方法總是保持DC係數，並且在低頻係數中以小間隔對M×N矩陣進行子採樣，並且在高頻係數中以大間隔對M×N矩陣進行子採樣。

在又一實施方式中，該方法總是保持DC係數以及M×N矩陣的低頻部分，該低頻部分具有與目標較小大小矩陣相同的大小。

用於推導較大大小的 2^p ×2^k 量化矩陣的方法

公開了用於推導較大大小的2p×2k量化矩陣的方法，其中，p和k可以取介於1到6之間的任何值。2^p ×2^k 量化矩陣與通過上文針對較小大小的M×N量化矩陣描述的不同子採樣方法生成的較小大小的M×N量化矩陣相對應，其中，M和N可以是介於2到64之間的任何偶數。

在一個實施方式中，上採樣方法使用固定間隔插值和/或重複。在p！=k（即，非方形變換）的情況下，水準方向和垂直方向上的插值係數的數量分別等於2^p /M和2^k /N，其中，（2^p 和M）以及（2^k 和N）分別與目標矩陣和用信號通知的矩陣中的行數和列數相對應。

在另一實施方式中，對於低頻係數，上採樣方法使用較小的間隔插值和/或重複，並且對於高頻係數，上採樣方法使用較大的間隔插值和/或重複。

在又一實施方式中，較小大小的M×N矩陣（M和N是介於2到64之間的任何偶數）被用作較大大小的2^p ×2^k （p和k是介於1到6之間的任何值）量化矩陣的低頻部分，並且基於固定模式生成高頻係數。在一個實施方式中，可以從低頻部分的末端開始，並隨著頻率的增加以固定的數增加系數值。

用於推導與 M×N 變換單元相對應的 M×N 量化矩陣的方法

對於從用於幀內預測的對應矩陣定義用於幀間預測的矩陣的情況，公開了用於推導與M×N變換單元相對應的M×N量化矩陣的方法（M和N是介於2到64之間的任何數）。

在一個實施方式中，可以根據變換單元的大小來獲得用於幀間預測變換塊的不同量化矩陣。換句話說，通過將諸如對應係數的線性組合、矩陣乘法、線性/非線性回歸等方法應用於用於幀內塊的矩陣的對應元素，來從用於幀內預測的對應量化矩陣定義用於幀間預測的所有矩陣。

在另一實施方式中，通過將諸如對應係數的線性組合、矩陣乘法、線性/非線性回歸等方法應用於用於幀內塊的矩陣的對應元素，來從用於幀內預測的對應量化矩陣獲得用於幀間預測變換塊的僅特定量化矩陣。通過應用上文公開的默認量化矩陣表示，可以從用於幀間變換塊的對應方形量化矩陣獲得用於幀間變換塊的所有矩形矩陣。

用於推導與用於 AMT 的 M×N 變換單元相對應的 M×N 量化矩陣的方法

對於將AMT應用於殘差信號（例如，根據不同預測模式）的情況，提出了用於推導與M×N變換單元（M和N是介於2到64之間的任何偶數）相對應的M×N量化矩陣的方法。在這種情況下，可以根據變換類型來應用不同量化/縮放矩陣，使得與變換之後的能量壓縮相（energy compaction）匹配。

在一個實施方式中，可以獨立於應用於殘差塊的AMT中的變換類型，根據預測模式（即，幀間預測或幀內預測）來定義不同縮放矩陣。

在另一實施方式中，對於小於K的塊大小，可以獲得分離的矩陣，其中K可以取從4到32的任何值。對於所有剩餘變換塊大小，獨立於應用於殘差塊的變換，使用相同的量化矩陣。

在又一實施方式中，對於亮度分量和色度分量，獨立於應用於殘差塊的AMT中的變換類型，獲得不同縮放矩陣。

在另一實施方式中，AMT中允許的變換是DST-1、DST-7和DCT-8，並且可以針對各個變換（包括DCT-2）定義不同縮放/量化矩陣。縮放/量化矩陣可以在水準和垂直變換步驟之後應用。

在另一實施方式中，所允許的變換包括DST-1、DST-7和DCT-8，並且可以基於這些變換之間的關係對於DCT-2、DST-1、DST-7和DCT-8變換的所有組合計算不同縮放矩陣。

在又一實施方式中，對於變換（例如，DCT-2、DST-1、DST-7和DCT-8）的基本集僅定義了幾個縮放矩陣，並且可以通過線性組合、矩陣乘法、置換、符號改變、翻轉或基本縮放矩陣的這些變換的任何組合來定義用於基本變換的組合結果的縮放矩陣。

在另一實施方式中，可以針對基本變換的子集（例如，DCT-2或者DCT-2和DST-7）定義並用信號通知縮放矩陣，並且可以通過線性組合、矩陣乘法、置換、符號改變、翻轉或基本縮放矩陣的這些變換的任何組合來定義用於剩餘變換（例如，用於DST-7、DST-1和DCT-8，或者用於DST-1和DCT-8）的縮放矩陣。在一個示例中，推導處理取決於所定義的變換類型與目標變換類型之間的關係。在另一示例中，推導處理取決於所定義的變換係數與目標變換係數之間的關係。

可以使用上述縮放矩陣推導方法的任何組合。

預設量化矩陣選擇的選項

公開了如下方案：為使用者提供選項以在預設量化矩陣或用戶定義的量化矩陣之間進行決策，或在不應用任何量化的情況下使用殘差編碼（例如，PCM變換/量化旁路模式）。

縮放矩陣生成時應用的歸零處理

在一個實施方式中，如果應用歸零，則使用M×N縮放矩陣集來量化大小大於M×N的TU。換句話說，將行編號大於P的所有縮放矩陣條目設置為零，並將列編號大於Q的所有縮放矩陣條目設置為零。P和Q均可以小於CU寬度和CU高度、僅P小於CU寬度、或者僅Q小於CU高度。例如，如果將歸零應用於行大於32並且列大於32的CU，則使用32×32縮放矩陣集來量化64×64 TU。在另一示例中，如果將歸零應用於列大於32的CU，則使用32×4縮放矩陣集來量化64×4 TU。在另一實施方式中，使用M×N縮放矩陣集來量化M×N TU。縮放矩陣中第P行和第Q列之外的值分配為零。P和Q均可以小於M和N、僅P小於M、或者僅Q小於N。例如，利用64×64縮放矩陣對64×64 TU進行量化。然而，32×32之外的範圍中的值將設置為零。換句話說，在量化處理時，32×32之外的範圍將被歸零。在另一示例中，利用64×4縮放矩陣對64×4 TU進行量化。然而，在縮放矩陣中，左上32×4之外的範圍中的值被歸零。換句話說，在量化處理時，32×4之外的範圍將被歸零。

在另一實施方式中，公開了如下方法：使用係數上採樣、係數映射和插值（例如，通過圖元重複和基於線性插值的上採樣的簡單零階插值）來在不發送任何比特的情況下從較小的M×N（例如，4×4、8×8）量化矩陣生成用於p!=k的2^p ×2^k （例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32）和p=k的2^p ×2^k （例如，16×16、32×32、64×64）變換塊的量化矩陣。當應用歸零時，需要對較少數量的較小M×N量化矩陣進行解碼。例如，64×64 TU需要64×64縮放矩陣進行量化。可以通過上採樣從8×8量化矩陣生成64×64縮放矩陣。當將歸零應用於64×64 TU時，只需用信號通知4×4量化矩陣即可生成64×64縮放矩陣，因為64×64縮放矩陣中的32×32之外的範圍將始終為零。因此，對於64×64 TU縮放矩陣，僅需要用信號通知4×4矩陣。在一個示例中，僅64×64 TU縮放矩陣是從4×4矩陣推導的。對於64×N或M×64 TU縮放矩陣，所述64×N或M×64 TU縮放矩陣是從32×N或M×32 TU縮放矩陣上採樣的。

在又一實施方式中，在對較小的M×N量化矩陣進行解碼後，當對第P行和第Q列應用歸零時，將M×N量化矩陣上採樣至P×Q。例如，64×64 TU需要64×64縮放矩陣進行量化。通過上採樣從8×8量化矩陣生成64×64縮放矩陣。當對64×64 TU的第32行和第32列應用歸零時，8×8量化矩陣被上採樣至32×32，並且第32行或第32列之外的範圍將被零填充。因此，對於用於32×32 TU和64×64 TU兩者的縮放矩陣，用信號通知8×8矩陣。對於64×64 TU縮放矩陣，使用8×8矩陣並將其上採樣至64×64矩陣。左上32×32之外的縮放矩陣值全部歸零。在一個示例中，僅64×64縮放矩陣是從8×8矩陣推導的。對於64×N或M×64縮放矩陣，64×64縮放矩陣是從32×N或M×32縮放矩陣上採樣的。

用於多重變換集（ MTS ）的默認量化矩陣

當應用多重變換集（MTS）時，還應用針對左上16×16區域之外的變換係數的係數歸零。如果共用用於默認變換（例如，DCT-2變換）的縮放矩陣和MTS，則可以應用相同的縮放矩陣信令（signaling）和上採樣處理。然而，如果用於默認的縮放矩陣和MTS可以不同，則應用不同縮放矩陣信令或不同上採樣處理。在一個示例中，對於32×32 TU，如果應用MTS，則左上16×16區域之外的係數被歸零。因此，具有MTS的32×32 TU僅需要16×16縮放矩陣。在一個實施方式中，用信號通知M×N矩陣（例如，8×8矩陣）。M×N的大小可以與32×32預設變換TU的用信號通知的矩陣大小相同。該M×N矩陣被上採樣成用於具有MTS的該32×32 TU的16×16矩陣。在另一實施方式中，用信號通知M×N矩陣（例如，4×4矩陣）。M×N的大小可以小於32×32預設變換TU的用信號通知的矩陣大小。該M×N矩陣被上採樣成用於具有MTS的該32×32 TU的16×16矩陣。

在另一實施方式中，可以跳過用信號通知的矩陣（例如，8×8矩陣）中的右下區域（例如，4×4），以在一些情況下用信號通知何時應用歸零。例如，對於32×32 TU，如果應用MTS，則左上16×16區域之外的係數被歸零。因此，從不使用基本縮放矩陣右下4×4區域中的元素，使得無需在位元流中用信號通知所述元素。在另一實施方式中，用信號通知M×N矩陣（例如，4×4矩陣）。M×N的大小可以小於用於32×32預設變換TU的用信號通知的矩陣大小。該M×N矩陣被上採樣成用於具有MTS的該32×32 TU的16×16矩陣。

縮放矩陣生成的變型例

在另一實施方式中，即使當應用係數歸零時，仍然生成大小與TU相同的基本縮放矩陣。例如，對於64×64 TU，即使應用係數歸零，也只有左上32×32個係數有意義，仍然生成64×64基本縮放矩陣。該64×64基本縮放矩陣可以用於生成M×64或64×N的縮放矩陣。在一個示例中，在所生成的縮放矩陣中，歸零係數帶的條目值可以為零。

在另一示例中，對於M大於N的M×N或N×M縮放矩陣，其是從M×M矩陣推導的並且下採樣至M×N或N×M矩陣。在另一示例中，對於M大於N的M×N或N×M縮放矩陣，其是從N×N矩陣推導的並且上採樣至M×N或N×M矩陣。

在一個實施方式中，根據32×32 TU的縮放矩陣對64×64、64×N、M×64 TU的縮放矩陣進行上採樣和下採樣。64×64縮放矩陣不需要語法。例如，用戶定義的縮放矩陣僅包含4×4、8×8、16×16和32×32。

在另一實施方式中，當應用係數歸零時，不用信號通知基本縮放矩陣中的與歸零區域相對應的元素。例如，對於應用了係數歸零的64×64 TU，僅左上32×32個係數有意義。然後，僅用信號通知基本縮放矩陣中的左上4×4個元素。在另一示例中，支持矩形縮放矩陣（例如，64×32、16×64等）。在這種情況下，從不使用基本縮放矩陣的右下4×4區域中的元素，並且從不需要用信號通知這些元素的原始值，或者可以在位元流中將右下4×4區域中的這些元素設置為零。在一個實施方式中，上文提到的歸零過程被應用於444或420格式的序列的某一顏色分量的信令量化矩陣。在一個實施方式中，將上文提到的歸零過程應用於信令8×8縮放矩陣，該信令8×8縮放矩陣用於定義某一顏色分量的TB的M×N（例如，64×64、64×32、64×16、64×N，N×64等）縮放矩陣，其中，高頻部分被歸零。

在一個實施方式中，對於定義的M×N縮放矩陣，將具有歸零的相同信令方法應用於如下縮放矩陣，該縮放矩陣用於444或420顏色格式的序列的色度分量。換句話說，對於亮度，僅用信號通知三個4×4矩陣（即，左上、右上和左下），並且對於用於定義分別具有歸零的對應M×N亮度和色度縮放矩陣的每個8×8色度縮放矩陣，僅用信號通知三個4×4矩陣（即，左上、右上和左下）。在另一實施方式中，如果使用400顏色格式（即，僅一個顏色分量），則禁用用於色度分量（或第二顏色分量/第三顏色分量）的縮放矩陣信令。

在一個實施方式中，幀內塊複製模式使用在幀間模式中使用的縮放矩陣。

在另一實施方式中，幀內塊複製模式使用在幀內模式中使用的縮放矩陣。

在另一實施方式中，幀內塊複製模式具有另一縮放矩陣集，該縮放矩陣集與在幀間模式和幀內模式中使用的縮放矩陣集不同。

量化矩陣信令

與縮放矩陣相關的資訊可以在序列參數集（SPS）中用信號通知，並在圖片參數集（PPS）中被進一步更新。可以通過使用SPS中的語法元素scaling_list_enabled_flag來啟用頻率相關縮放。當啟用該標誌時，SPS和PPS中的附加標誌控制使用預設量化矩陣還是使用非默認量化矩陣。

也可以在序列參數集（SPS）或圖片參數集（PPS）的位元流中可選地發送非默認量化矩陣。

在JVET-P2001（J. Bross等人，“Versatile Video Coding (Draft 7)”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組(JVET),第16次會議: Geneva, CH, 1–11 Oct. 2019, 文件: JVET-P2001）中，與量化矩陣相關的語法如下表3所示。表3.縮放清單資料語法

scaling_list_data( ) {	描述符
scaling_matrix_for_lfnst_disabled_flag	u(1)
for( id = 0; id > 28; id ++ )
matrixSize = (id > 2 ) ? 2 : ( ( id > 8 ) ? 4 : 8 )
scaling_list_copy_mode_flag [ id ]	u(1)
if( !scaling_list_copy_mode_flag[ id ] )
scaling_list_pred_mode_flag [ id ]	u(1)
if( ( scaling_list_copy_mode_flag[ id ] \| \| scaling_list_pred_mode_flag [ id ] ) && id != 0 && id != 2 && id != 8 )
scaling_list_pred_id_delta [ id ]	ue(v)
if( !scaling_list_copy_mode_flag[ id ] ) {
nextCoef = 0
if( id > 13 ) {
scaling_list_dc_coef [ id − 14 ]	se(v)
nextCoef += scaling_list_dc_coef[ id − 14 ]
}
for( i = 0; i > matrixSize * matrixSize; i++ ) {
x = DiagScanOrder[ 3 ][ 3 ][ i ][ 0 ]
y = DiagScanOrder[ 3 ][ 3 ][ i ][ 1 ]
if( !( id > 25 && x >= 4 && y >= 4 ) ) {
scaling_list_delta_coef [ id ][ i ]	se(v)
nextCoef += scaling_list_delta_coef[ id ][ i ]
}
ScalingList[ id ][ i ] = nextCoef
}
}
}
}

如表4所示，一維縮放矩陣ID用於如下指示用於編碼變換塊的對應縮放矩陣。表4.一維縮放矩陣ID

用於彩色視頻資料的量化矩陣信令

為了提高色度分量的編碼效率，如果當前色度格式是單色的，則本發明中的信令方法建議跳過用於VVC中的視頻編碼的色度量化矩陣信令。在一個實施方式中，在APS類型（例如，aps_type）等於縮放列表（例如，SCALING_LIST）的各個APS中用信號通知語法。如下表所指定的，語法（例如，aps_chroma_format_idc）指定相對於亮度採樣的色度採樣。如表5所示，語法表中包括aps_chroma_format_idc。表6示出了與aps_chroma_format_idc相關聯的對應色度格式索引（即，chroma_format_idc）。位元流一致性要求aps_chroma_format_idc的值應與如表6所示的chroma_format_idc相同。表5.建議的縮放清單資料語法

scaling_list_data( ) {	描述符
scaling_matrix_for_lfnst_disabled_flag	u(1)
aps_chroma_format_idc	ue(v)
for( id = 0; id > 28; id ++ )
matrixSize = (id > 2 ) ? 2 : ( ( id > 8 ) ? 4 : 8 )
scaling_list_copy_mode_flag [ id ]	u(1)
if( !scaling_list_copy_mode_flag[ id ] )
scaling_list_pred_mode_flag[ id ]	u(1)
if( ( scaling_list_copy_mode_flag[ id ] \| \| scaling_list_pred_mode_flag [ id ] ) && id != 0 && id != 2 && id != 8 )
scaling_list_pred_id_delta [ id ]	ue(v)
if( !scaling_list_copy_mode_flag[ id ] ) {
nextCoef = 0
if( id > 13 ) {
scaling_list_dc_coef [ id − 14 ]	se(v)
nextCoef += scaling_list_dc_coef[ id − 14 ]
}
for( i = 0; i > matrixSize * matrixSize; i++ ) {
x = DiagScanOrder[ 3 ][ 3 ][ i ][ 0 ]
y = DiagScanOrder[ 3 ][ 3 ][ i ][ 1 ]
if( !( id > 25 && x >= 4 && y >= 4 ) ) {
scaling_list_delta_coef [ id ][ i ]	se(v)
nextCoef += scaling_list_delta_coef[ id ][ i ]
}
ScalingList[ id ][ i ] = nextCoef
}
}
}
}

表6. chroma_format_idc的映射

在一個實施方式中，如果當前色度格式是單色，則對於信令來說，可以跳過用於色度分量的所有縮放矩陣。

在一個實施方式中，如果aps_chroma_format_idc等於0，則僅可以用信號通知ID滿足以下條件的縮放矩陣： ScalingMatrixID％3 == 2 || ScalingMatrixID == 27。

在另一實施方式中，上式可以重寫為： ScalingMatrixID％3 == 2 || ScalingMatrixID> 25。

在又一實施方式中，該式可以是： ScalingMatrixID％3 == 2 || ScalingMatrixID> = 26。

在上式中，ScalingMatrixID與表4中定義的一維縮放矩陣ID相對應。在一個實施方式中，aps_chroma_format_idc等於0的縮放矩陣APS僅可以供不包括色度分量（例如，aps_chroma_format_idc == 0或chroma_format_idc == 0）的其它從屬視頻層參考。

在一個實施方式中，aps_chroma_format_idc等於0的縮放矩陣APS無法供具有色度分量（例如，chroma_format_idc!=0）的其它視頻層參考。

在一個實施方式中，包括色度縮放列表的層的縮放矩陣APS無法供不具有色度分量（例如，chroma_format_idc==0）的其它視頻層參考。

在一個實施方式中，如果aps_chroma_format_idc或APS不包括色度縮放列表，則其無法供具有色度分量（例如，chroma_format_idc != 0）的其它視頻層參考。

在一個實施方式中，如果APS的aps_chroma_format_idc小於或等於從屬視頻層的chroma_format_idc，則縮放矩陣APS可以供其它從屬視頻層參考。例如，如果APS的aps_chroma_format_idc等於0，則從屬視頻層的chroma_format_idc可以是任何值。在另一示例中，如果APS的aps_chroma_format_idc等於1，則從屬層的chroma_format_idc可以是1、2或3。

在一個實施方式中，當未用信號通知用於色度的縮放矩陣時，推斷縮放矩陣的預定值，這等同於禁用用戶定義的縮放矩陣的情況。在另一實施方式中，通過推斷語法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta的值來實現推斷預定義值。

在一個實施方式中，如表7所示，在aps_type等於SCALING_LIST的各個APS中用信號通知語法aps_chroma_param_present_flag，以指示是否用信號通知用於色度的縮放矩陣，如下表所示。aps_chroma_param_present_flag等於1指定APS中存在用於色度的縮放矩陣。aps_chroma_param_present_flag等於0指定APS中不存在用於色度的縮放矩陣。如果chroma_format_idc等於0，則位元流一致性要求aps_chroma_param_present_flag的值應等於0。表7.建議的縮放清單資料語法

scaling_list_data( ) {	描述符
scaling_matrix_for_lfnst_disabled_flag	u(1)
aps_chroma_param_present_flag	u(1)
for( id = 0; id > 28; id ++ ) {
if (aps_chroma_param_present_flag \|\| (id % 3 ==2 \|\| id ==27)) {
matrixSize = (id > 2 ) ? 2 : ( ( id > 8 ) ? 4 : 8 )
scaling_list_copy_mode_flag [ id ]	u(1)
if( !scaling_list_copy_mode_flag[ id ] )
scaling_list_pred_mode_flag [ id ]	u(1)
if( ( scaling_list_copy_mode_flag[ id ] \| \| scaling_list_pred_mode_flag [ id ] ) && id != 0 && id != 2 && id != 8 )
scaling_list_pred_id_delta [ id ]	ue(v)
if( !scaling_list_copy_mode_flag[ id ] ) {
nextCoef = 0
if( id > 13 ) {
scaling_list_dc_coef[ id − 14 ]	se(v)
nextCoef += scaling_list_dc_coef[ id − 14 ]
}
for( i = 0; i > matrixSize * matrixSize; i++ ) {
x = DiagScanOrder[ 3 ][ 3 ][ i ][ 0 ]
y = DiagScanOrder[ 3 ][ 3 ][ i ][ 1 ]
if( !( id > 25 && x >= 4 && y >= 4 ) ) {
scaling_list_delta_coef [ id ][ i ]	se(v)
nextCoef += scaling_list_delta_coef[ id ][ i ]
}
ScalingList[ id ][ i ] = nextCoef
}
}
}
}
}

上述實施方式中的“if條件：（aps_chroma_param_present_flag ||（id％3 == 2 || id == 27））”可以替換為：（aps_chroma_param_present_flag ||（id％3 == 2 || id> 25））或（aps_chroma_param_present_flag ||（id％3 == 2 || id> = 26））。

在一個實施方式中，aps_chroma_param_present_flag等於0的縮放矩陣APS僅可以供不包括色度分量（例如，aps_chroma_param_present_flag ==0或chroma_format_idc==0）的其它從屬視頻層參考。

在一個實施方式中，aps_chroma_param_present_flag等於0的縮放矩陣APS無法供具有色度分量（例如，chroma_format_idc!=0）的其它視頻層參考。

在一個實施方式中，以上方法也可以應用於aps_type等於LMCS、SCALING_LIST和ALF的APS。

在另一實施方式中，幀內塊複製模式中使用的縮放矩陣中的一些縮放矩陣與幀間模式中使用的縮放矩陣相同，並且其它縮放矩陣與在幀內模式中使用的縮放矩陣相同。選擇可以是隱式選擇（例如，取決於大小、量化參數、圖塊組類型），或者可以是顯式選擇（例如，在序列級、圖片級、圖塊組級、圖塊級或塊級用信號通知選擇）。

可以以編碼器和/或解碼器的各種硬體實現、軟體實現或其組合來實現上文提出的方法中的任何方法。例如，本發明的實施方式可以是集成到視頻壓縮晶片中的一個或更多個電路或集成到視頻壓縮軟體中以執行本文所述處理的程式碼。例如，所提出的方法中的任何方法可以實現為耦接至編碼器的量化模組和逆量化模組的電路，並且可以實現為耦接至解碼器的逆量化模組的電路。在一個實施方式中，所提出的方法中的任何方法可以在編碼器的量化模組和逆量化模組中實現，並且可以在解碼器的逆量化模組中實現。

語法設計

在本發明中，公開了用於本發明的信令的語法集，其中該語法可以在SPS（序列參數集RBSP語法）、PPS（圖片參數集RBSP語法）、切片、圖塊、CTU和CU報頭中用信令通知，以將量化矩陣用信號通知給解碼器。

在一個實施方式中，在SPS中使用序列級“seq_quant_matrix_present_flag ”來用信號通知整個序列是否將使用量化矩陣。在一個實施方式中，如果“seq_quant_matrix_present_flag ”為真，則針對各個變換大小和各個通道（Y、U、V）檢查另一語法“seq_quant_matrix_present_idx ”，以確定指定的變換大小和各個通道是否將使用量化矩陣。在一個實施方式中，如果“seq_quant_matrix_present_idx ”為真，則檢查另一語法“use_default_seq_quant_matrix ”以確定是否將使用默認量化矩陣。在一個實施方式中，如果用信號通知“use_default_seq_quant_matrix ”，則將使用默認量化矩陣。在這種情況下，從記憶體中讀取默認量化矩陣，並且將從默認量化矩陣隱式地生成其餘方形量化矩陣、矩形量化矩陣、較大的量化矩陣和針對所有AMT情況的量化矩陣。在一個實施方式中，如果“use_default_seq_quant_matrix ”為假，則通過諸如基於預測的熵編碼的編碼方法來顯式地生成序列級量化矩陣。

在另一實施方式中，在PPS中使用圖片級語法“pic_quant_matrix_present_flag ”以用信號通知當前圖片是否將使用量化矩陣。然後可以在PPS級、切片級、圖塊級、CTU級或CU級中添加以下語法。在一個實施方式中，如果“pic_quant_matrix_present_flag ”為真，則針對各個預測模式、變換、變換大小和各個通道（Y、U、V）檢查另一語法“pic_quant_matrix_present_idx ”，以確定指定的預測模式、變換、變換大小和各個通道是否將使用量化矩陣。在一個實施方式中，如果“pic_quant_matrix_present_idx ”為真，則檢查另一語法“use_seq_quant_matrix_flag ”以確定是否將使用序列級量化矩陣。在一個實施方式中，如果“pic_quant_matrix_present_idx ”不為真，則針對某些預測模式和小的變換大小，通過諸如基於預測的熵編碼的編碼方法顯式地生成量化矩陣。在一個實施方式中，針對矩形和較大的變換大小，檢查語法“use_implicit_quant_matrix ”。如果為真，則通過諸如內容中的建議方法的方法隱式地生成量化矩陣。否則，通過諸如基於預測的熵編碼的編碼方法顯式地生成量化矩陣。

視頻編碼器必須遵循上述語法設計以生成合法的位元流，並且視頻解碼器僅在解析處理符合上述語法設計的情況下才能夠正確地對位元流進行解碼。當在位元流中跳過語法時，編碼器和解碼器應將語法值設置為推斷值，以確保編碼結果和解碼結果匹配。

第10圖例示了根據本發明實施方式的示例性編解碼系統使用縮放矩陣推導的流程圖。流程圖中所示的步驟可以被實現為能夠在編碼器側的一個或更多個處理器（例如，一個或更多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體（諸如，被佈置成執行流程圖中的步驟的一個或更多個電子裝置或處理器）來實現。根據該方法，在步驟1010中接收與當前圖片中的當前塊相關的輸入資料，其中，輸入資料與當前塊在視頻編碼器側的變換塊相對應，並且輸入資料與當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且其中，當前塊的變換塊的最大側與64相對應。在步驟1020中，從8×8基本縮放矩陣的元素推導縮放矩陣，其中， 8×8基本縮放矩陣的右下4×4區域中的元素被跳過，或者不用信號通知，或者設置為零。在步驟1030中，根據縮放矩陣將量化處理應用於輸入資料，以在視頻編碼器側生成經編碼經量化的變換塊，或者根據縮放矩陣將逆量化處理應用於輸入資料，以在視頻解碼器側生成經解碼的變換塊。

第11圖例示了根據本發明實施方式的示例性編碼系統使用縮放矩陣推導方法的流程圖。根據該方法，在步驟1110中，接收與僅具有第一顏色分量的當前塊相關的輸入資料，該當前塊屬於第一顏色格式的當前圖片，其中，輸入資料與當前塊在視頻編碼器側的變換塊相對應，並且輸入資料與當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且其中，該當前塊對應於與第一顏色格式相關聯的第一顏色分量。在步驟1120中，針對當前塊的第一顏色分量，在視頻編碼器側用信號通知第一縮放矩陣，或者在視頻解碼器側解析第一縮放矩陣。在步驟1130中，針對當前塊中缺少的第二顏色分量或第三顏色分量，禁止在視頻編碼器側用信號通知任何第二縮放矩陣，或者禁止在視頻解碼器側解析任何第二縮放矩陣。在步驟1140中，根據第一縮放矩陣將量化處理應用於輸入資料，以在視頻編碼器側生成經編碼經量化的變換塊，或者根據第一縮放矩陣將逆量化處理應用於輸入資料，以在視頻解碼器側生成經解碼的變換塊。

所示的流程圖旨在例示根據本發明的視頻編碼的示例。本領域技術人員可以在不脫離本發明的精神的情況下修改各個步驟、重新佈置步驟、分割步驟或組合步驟以實踐本發明。在本公開中，已經使用特定的語法和語義來例示實現本發明的實施方式的示例。技術人員可以在不脫離本發明的精神的情況下通過利用等效的語法和語義替換所述語法和語義來實踐本發明。

呈現以上描述是為了使得本領域普通技術人員能夠如在特定應用及其要求的背景下所提供的來實踐本發明。對所描述的實施方式的多種修改對於本領域技術人員將是顯而易見的，並且本文中定義的一般原理可以應用於其它實施方式。因此，本發明並不旨在限於所示出和所描述的特定實施方式，而是被賦予與本文所公開的原理和新穎特徵相一致的最廣範圍。在以上詳細描述中，例示了各種具體細節以便提供對本發明的透徹理解。然而，本領域技術人員將理解本發明是可以實踐的。

如上所述的本發明的實施方式可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施方式可以是集成到視頻壓縮晶片中的一個或更多個電路或集成到視頻壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施方式還可以是要在數位訊號處理器（DSP）上執行以執行本文描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（FPGA）執行的許多功能。這些處理器可以被配置成通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的具體任務。可以以不同的程式設計語言和不同的格式或樣式來開發軟體代碼或固件代碼。也可以針對不同的目標平臺編譯軟體代碼。然而，不同的代碼格式、軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其它手段將不脫離本發明的精神和範圍。

在不脫離本發明的精神或基本特徵的情況下，本發明可以以其它特定形式實施。所描述的示例在所有方面僅應被認為是例示性的而非限制性的。因此，本發明的範圍由所附權利要求而不是前述描述來指示。落入權利要求等同含義和範圍內的所有改變均應包含在其範圍內。

110:幀內預測 112:運動估計（ME）/運動補償（MC） 114:開關 116:加法器 118:變換（T） 120:量化（Q） 122:熵編碼器 124:逆量化（IQ） 126:逆變換（IT） 128:重構（REC） 136:預測資料 134:參考圖片緩衝器 130:環路濾波器 210:熵解碼器 220:運動補償 310、320、330:矩陣 412:點填充塊 410、420、430:量化矩陣 422、432:區域 510:四叉分割 520:垂直二元分割 530:水準二元分割 540:垂直中心側三元分割 550:水準中心側三元分割 610-620、710-720、810-820、910-920、1010-1030、1110-110:步驟

第1圖例示了視頻編碼器的示例性框圖，其中，視頻編碼器併入了幀內/幀間預測、變換和量化處理。第2圖例示了視頻解碼器的示例性框圖，其中，視頻解碼器併入了幀內/幀間預測、逆變換和去量化處理。第3圖例示了4×4和8×8基於共用的基本縮放矩陣的示例，所述基本縮放矩陣用於推導用於幀內編碼模式和幀間編碼模式中的亮度分量和色度分量的更大的縮放矩陣。第4圖例示了通過使用複製進行上採樣來從相同類型的基於共用的8×8量化矩陣推導用於大小為16×16和32×32的變換塊的量化矩陣的示例。第5圖例示了VVC中受支持的分割的示例，所述分割包括四叉分割、垂直二元分割、水準二元分割、垂直中心側三元分割和水準中心側三元分割。第6圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的一個示例。第7圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的另一示例。第8圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的又一示例。第9圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的又一示例。第10圖例示了根據本發明實施方式的示例性編碼系統使用縮放矩陣推導方法的流程圖。第11圖例示了根據本發明實施方式的示例性編碼系統使用另一縮放矩陣推導方法的流程圖。

1010-1030:步驟

Claims

一種視頻編解碼的方法，所述方法包括：接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且其中，所述當前塊的所述變換塊的最大側與64相對應；從8×8基本縮放矩陣的元素推導縮放矩陣，其中，跳過所述8×8基本縮放矩陣的右下4×4區域中的元素；以及根據所述縮放矩陣將量化處理應用於所述輸入資料，以在所述視頻編碼器側生成經編碼經量化的變換塊，或者根據所述縮放矩陣將逆量化處理應用於所述輸入資料，以在所述視頻解碼器側生成經解碼的變換塊。
如請求項1所述的方法，其中，當所述視頻編碼器側的所述經編碼經量化的變換塊或所述視頻解碼器側的所述經解碼的變換塊的大小是64×64時，所述變換塊具有32×32個非零值元素。
如請求項1所述的方法，其中，當所述視頻編碼器側的所述經編碼經量化的變換塊或所述視頻解碼器側的所述經解碼的變換塊的大小是64×N或N×64時，所述變換塊具有32×N或N×32個非零值元素，並且其中，N是小於64的整數。
一種視頻編解碼的裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被佈置成：接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且其中，所述當前塊的所述變換塊的最大側與64相對應；從8×8基本縮放矩陣的元素推導縮放矩陣，其中，跳過所述8×8基本縮放矩陣的右下4×4區域中的元素；以及根據所述縮放矩陣將量化處理應用於所述輸入資料，以在所述視頻編碼器側生成經編碼經量化的變換塊，或者根據所述縮放矩陣將逆量化處理應用於所述輸入資料，以在所述視頻解碼器側生成經解碼的變換塊。
一種視頻編碼的方法，所述方法包括以下步驟：接收與僅具有第一顏色分量的當前塊相關的輸入資料，所述當前塊屬於第一顏色格式的當前圖片，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且其中，所述當前塊對應於與所述第一顏色格式相關聯的所述第一顏色分量；針對所述當前塊的所述第一顏色分量，在所述視頻編碼器側用信號通知第一縮放矩陣，或者在所述視頻解碼器側解析所述第一縮放矩陣；針對所述當前塊中缺少的第二顏色分量或第三顏色分量，禁止在所述視頻編碼器側用信號通知任何第二縮放矩陣，或者禁止在所述視頻解碼器側解析任何第二縮放矩陣；以及根據所述第一縮放矩陣將量化處理應用於所述輸入資料，以在所述視頻編碼器側生成經編碼經量化的變換塊，或者根據所述第一縮放矩陣將逆量化處理應用於所述輸入資料，以在所述視頻解碼器側生成經解碼的變換塊。
如請求項5所述的方法，其中，在位元流中用信號通知標誌，以指示針對所述第二顏色分量或所述第三顏色分量，所述在所述視頻編碼器側用信號通知任何第二縮放矩陣或者所述在所述視頻解碼器側解析任何第二縮放矩陣是允許的還是禁止的。
如請求項6所述的方法，其中，在所述位元流的自我調整參數集APS中用信號通知所述標誌，並且其中，所述APS具有與縮放清單資料相對應的類型。
如請求項5所述的方法，其中，當未在所述視頻編碼器側用信號通知一個第二縮放矩陣或未在所述視頻解碼器側解析一個第二縮放矩陣時第一縮放矩陣，推斷預定義的第二縮放矩陣。
如請求項8所述的方法，其中，根據語法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta來確定是否推斷出所述預定義的第二縮放矩陣。
如請求項9所述的方法，其中，如果未接收到所述語法元素scaling_list_copy_mode_flag和所述scaling_list_pred_id_delta的值，則在所述視頻解碼器側推斷出所述語法元素scaling_list_copy_mode_flag和scaling_list_pred_id_delta的所述值。
如請求項5所述的方法，其中，所述第一顏色格式是400顏色格式，並且所述第一顏色分量是亮度分量。
如請求項5所述的方法，其中，所述第一縮放矩陣供400顏色格式的另一從屬視頻層參考。
如請求項5所述的方法，其中，通過與所述當前圖片相關聯的顏色格式索引來指示所述當前圖片是否為400顏色格式。
如請求項5所述的方法，其中，所述第二顏色分量或所述第三顏色分量包括色度分量。
一種視頻編碼裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被佈置成：接收與僅具有第一顏色分量的當前塊相關的輸入資料，所述當前塊屬於第一顏色格式的當前圖片，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且其中，所述當前塊對應於與所述第一顏色格式相關聯的所述第一顏色分量；針對所述當前塊的所述第一顏色分量，在所述視頻編碼器側用信號通知第一縮放矩陣，或者在所述視頻解碼器側解析所述第一縮放矩陣；針對所述當前塊中缺少的第二顏色分量或第三顏色分量，禁止在所述視頻編碼器側用信號通知任何第二縮放矩陣，或者禁止在所述視頻解碼器側解析任何第二縮放矩陣；以及根據所述第一縮放矩陣將量化處理應用於所述輸入資料，以在所述視頻編碼器側生成經編碼經量化的變換塊，或者根據所述第一縮放矩陣將逆量化處理應用於所述輸入資料，以在所述視頻解碼器側生成經解碼的變換塊。