TW202412525A

TW202412525A - 視訊編解碼系統中混合預測的方法和裝置

Info

Publication number: TW202412525A
Application number: TW112126747A
Authority: TW
Inventors: 江嫚書; 蕭裕霖; 徐志瑋
Original assignee: 聯發科技股份有限公司
Priority date: 2022-07-22
Filing date: 2023-07-18
Publication date: 2024-03-16
Also published as: WO2024017188A1

Abstract

GPM 和 SGPM 的共享候選列表。根據該方法，確定共享幀內候選列表。如果選擇GPM：根據第一目標分區將當前塊劃分為兩個GPM區域，從共享幀內候選列表導出用於GPM幀內預測的第一假設，並使用包括幀內預測的第一假設的第一資訊確定混合預測子。如果選擇SGPM：根據第二目標分區將當前塊劃分為兩個SGPM區域，從共享幀內候選列表導出一個或多個幀內預測的第二假設，並且使用包括幀內預測的一個或多個第二假設的第二信息來確定混合預測子。透過使用包含混合預測子的預測資料來對當前塊進行編碼或解碼。

Description

視訊編解碼系統中混合預測的方法和裝置

本發明涉及視訊編解碼系統。具體地，本發明涉及使用用於幾何分區模式 (Geometric Partitioning Mode，GPM)幀內預測和SGPM(空間GPM)的效率共享候選列表的混合預測子。

通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編解碼標準。該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術-沉浸式媒體的編碼表示 - 第 3 部分：通用視頻編碼，2021 年 2 月發布。VVC 是在其前身 HEVC（High Efficiency Video Coding）基礎上，通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括 3 維（3D）視頻信號。

第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測110，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視頻資料。重建的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重建視頻資料可能會受到各種損害。因此，環路濾波器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。

如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換 118 和量化 120 之外，因為解碼器只需要逆量化 124 和逆變換 126。代替熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC 152）而無需運動估計。

根據 VVC，類似於 HEVC，輸入圖片被劃分為稱為 CTU (編碼樹單元）的非重疊方形塊區域。每個 CTU 都可以劃分為一個或多個較小尺寸的編碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。

VVC標準合併了各種新的編解碼工具以進一步提高超過HEVC標準的編碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。

幀間預測概述

根據 JVET-T2002 第 3.4 節，（Jianle Chen 等人，“通用視頻編碼和測試模型 11 (VTM 11) 的算法描述”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 的聯合視頻專家組 (JVET) , 第20次會議，電話會議，2020年10月7–16日，檔案: JVET-T2002), 針對每一幀間預測CU，運動參數包含運動向量、參考圖片索引以及參考圖片列表使用標識，以及需要的額外信息 VVC 的新編碼功能用於幀間預測樣本生成。可以以顯式或隱式方式用信號通知運動參數。當 CU 以跳過（skip）模式編碼時，CU 與一個 PU相關聯並且沒有顯著的殘差係數，沒有編碼的運動向量增量或參考圖片索引。指定合併模式，當前 CU 的運動參數是從相鄰 CU 獲得的，包括空間和時間候選，以及 VVC 中引入的附加調度。合併模式可以應用於任何幀間預測的 CU，而不僅僅是跳過模式。合併模式的替代方案是運動參數的顯式傳輸，其中運動向量、每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標識以及其他所需信息按每個 CU 顯式發送。除了 HEVC 中的幀間編碼功能外，VVC 還包括許多新的和改進的幀間預測編解碼工具，如下所列： – 擴展合併預測（Extended merge prediction） – 與 MVD (MMVD) 的合併模式（Merge mode with MVD (MMVD)） – 對稱 MVD (SMVD) 信令（Symmetric MVD (SMVD) signalling） – 仿射運動補償預測（Affine motion compensated prediction） – 基於子塊的時間運動向量預測 (SbTMVP)（Subblock-based temporal motion vector prediction (SbTMVP)） – 自適應運動向量分辨率 (AMVR)（Adaptive motion vector resolution (AMVR)） – 運動場存儲：1/16 亮度樣本 MV 存儲和 8x8 運動場壓縮 – CU級權重雙向預測（BCW）（Bi-prediction with CU-level weight (BCW)） – 雙向光流 (BDOF)（Bi-directional optical flow (BDOF)） – 解碼器側運動向量細化 (DMVR)（Decoder side motion vector refinement (DMVR)） – 幾何分區模式 (GPM) Geometric partitioning mode (GPM) – 組合幀間和幀內預測 (CIIP)（Combined inter and intra prediction (CIIP)）

下面的描述提供了在 VVC 中指定的那些幀間預測方法的細節。

擴展合併預測

在VVC中，合併候選列表是通過依次包括以下五類候選來構建的： 1) 來自空間相鄰 CU 的空間 MVP 2) 來自並置 CU 的時間 MVP 3) 來自 FIFO 表的基於歷史的 MVP 4) 成對平均 MVP 5)零MV。

合併列表的大小在序列參數集（SPS)報頭中用信號通知並且合併列表的最大允許大小是6。對於在合併模式中編碼的每個CU，使用截斷一元二值化對最佳合併候選的索引進行編碼（TU）。合併索引的第一個二進制字符串（以下簡稱為bin）使用上下文編碼，旁路編碼用於其餘 bin。

本環節提供了每個類別的合併候選的推導過程。與在 HEVC 中所做的一樣，VVC 還支持為一定大小的區域內的所有 CU 並行推導合併候選列表（或稱為合併候選列表）。

空間候選推導

除了交換前兩個合併候選的位置之外，VVC中空間合併候選的導出與HEVC中的相同。在位於第2圖所示位置的候選中選擇當前CU 210的最多四個合併候選（B ₀、A ₀、B ₁和A ₁）。導出的順序是B ₀、A ₀、B ₁、A ₁和B ₂。位置 B ₂僅在位置 B ₀、A ₀、B ₁、A ₁的一個或多個相鄰 CU 不可用（例如，屬於另一個切片或瓦片）或被幀內編碼時才被考慮。添加位置A ₁的候選後，對剩餘候選的添加進行冗餘校驗，保證具有相同運動信息的候選被排除在列表之外，從而提高編碼效率。為了降低計算複雜度，在提到的冗餘檢查中並未考慮所有可能的候選對。相反，僅考慮第3圖中用箭頭鏈接的對，並且僅當用於冗餘檢查的相應候選不具有相同運動信息時才將候選添加到列表中。

時間候選推導

在該步驟中，僅將一個候選添加到列表中。具體地，在針對當前CU 410的該時間合併候選的推導中，基於屬於如第4圖所示的並置參考圖片（collocated reference picture）的并置CU 420推導縮放運動向量（scaled motion vector）。用於推導并置 CU的參考圖片列表（reference picture list）和參考圖片的索引（reference index）在切片標頭中明確以信號發送。如第4圖中的虛線所示，獲得時間合併候選的縮放運動向量 430，其使用 POC（圖片順序計數，Picture Order Count）距離 tb 和 td 從并置 CU 的運動向量 440 縮放，其中tb定義為當前圖片的參考圖片與當前圖片的POC差，td定義為并置（co-located）圖片的參考圖片與并置圖片的POC差。時間合併候選的參考圖片索引設置為等於零。

時間候選的位置在候選 C ₀和 C ₁之間選擇，如第5圖所示。如果位置 C ₀的 CU 不可用、被幀內編碼或在當前 CTU 行之外，則使用位置 C ₁。否則，位置 C ₀用於推導時間合併候選。

基於歷史的合併候選推導

基於歷史的MVP(HMVP)合併候選被添加到空間MVP和TMVP之後的合併列表。在該方法中，先前編碼塊的運動信息存儲在表中並用作當前CU的MVP。在編碼/解碼過程中維護具有多個 HMVP 候選的表。當遇到新的 CTU 行時，該表將被重置（清空）。每當存在非子塊幀間編碼 CU 時，相關聯的運動信息將作為新的 HMVP 候選添加到表的最後一個條目。

HMVP表大小S被設置為6，這指示最多5個基於歷史的MVP(HMVP)候選可以被添加到表中。當向表中插入新的運動候選時，使用受約束的先進先出（FIFO）規則，其中首先應用冗餘檢查以查找表中是否存在相同的HMVP。如果找到，相同的HMVP被從表中移除並且之後的所有HMVP候選被向前移動，並且相同的HMVP被插入到表的最後條目。

HMVP候選可以用於合併候選列表構建過程。依次檢查表中最新的幾個HMVP候選，並在TMVP候選之後插入到候選列表中。冗餘檢查應用於 HMVP 候選至空間或時間合併候選。

為了減少冗餘校驗操作的數量，引入以下簡化： 1. 表中的最後兩個條目分別針對 A ₁和 B ₁空間候選進行冗餘檢查。 2.一旦可用合併候選的總數達到最大允許合併候選的數量-1，HMVP的合併候選列表構造過程終止。

成對平均合併候選推導

通過使用前兩個合併候選對現有合併候選列表中的預定義候選對進行平均來生成成對平均候選。第一個合併候選定義為 p0Cand，第二個合併候選可以分別定義為 p1Cand。根據p0Cand和p1Cand的運動向量的可用性分別針對每個參考列表計算平均運動向量。如果兩個運動向量在一個列表中都可用，則即使這兩個運動向量指向不同的參考圖片，也對其進行平均，並將其參考圖片設置為 p0C 和 p0C 之一；如果只有一個運動向量可用，則直接使用一個；如果沒有可用的運動向量，則保持此列表無效。此外，如果 p0Cand 和 p1Cand 的半像素插值濾波器索引不同，則將其設置為 0。

當添加成對平均合併候選後合併列表未滿時，將零個MVP插入最後直到遇到最大合併候選數。

具有 MVD 的合併模式 (MMVD)

除了其中隱式導出的運動信息被直接用於當前CU的預測樣本生成的合併模式之外，在VVC中引入了具有運動向量差(MMVD)的合併模式。在發送常規合併標識後立即發出 MMVD 標識，以指定 MMVD 模式是否用於 CU。

在MMVD中，在選擇了合併候選（本發明中被稱爲基本合并候選）之後，通過用信號發送的MVD信息對其進行進一步細化。進一步的信息包括合併候選標識、用於指定運動幅度的索引和用於指示運動方向的索引。在 MMVD 模式下，合併列表中的前兩個候選中的一個被選擇用作 MV 基礎。發出 MMVD 候選標識以指定在第一和第二合併候選之間使用哪一個。

距離索引指定運動幅度信息並且指示從L0參考塊610和L1參考塊620的起點（612和622)的預定義偏移。如第6圖所示，偏移被添加到起始 MV 的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量的關係在表 1 中指定。表 1 – 距離索引與預定義偏移量的關係

距離索引	0	1	2	3	4	5	6	7
偏移(以亮度樣本為單位)	1/4	1/2	1	2	4	8	16	32

方向指數表示 MVD 相對於起始點的方向。方向索引可以表示如表2所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的信息而變化。當起始 MV 是非預測 MV 或雙預測 MV，兩個列表都指向當前圖片的同一側（即兩個參考的 POC 均大於當前圖片的 POC，或均小於當前圖片的 POC），表 2 中的符號指定添加到起始 MV 的 MV 偏移量的符號。當起始 MV 是雙向預測 MV，兩個 MV 指向當前圖片的不同側（即一個參考的 POC 大於當前圖片的 POC，另一個參考的 POC 小於當前圖片的 POC），並且列表0（可簡稱為list 0或L0）中POC的差異大於列表1（可簡稱為list 1或L1）中的POC，表2中的符號指定添加到起始MV的列表0的MV分量的MV偏移量的符號和列表1的MV的符號有相反的值。否則，如果列表1中的POC之差大於列表0，則表2中的符號指定添加到起始MV的列表1 MV分量的MV偏移量的符號與列表0MV的符號具有相反的值。

MVD是根據每個方向上的POC的差異來縮放的。如果兩個列表中 POC 的差異相同，則不需要縮放。否則，如果列表 0 中的 POC 差異大於列表 1 中的差異，則通過將 L0 的 POC 差異定義為 td 並將 L1 的 POC 差異定義為 tb 來縮放列表 1 的 MVD，如第5圖所示。如果 L1 的 POC 差異大於 L0，則列表 0 的 MVD 以相同的方式縮放。如果起始 MV 是單向預測的，則將 MVD 添加到可用 MV。表 2 – 方向索引指定的 MV 偏移符號

方向索引	00	01	10	11
X軸	+	−	N/A	N/A
Y軸	N/A	N/A	+	−

仿射運動 補償預測

在HEVC中，僅平移運動模型被應用於運動補償預測（MCP)。而在現實世界中，有很多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在 VVC 中，應用基於塊的仿射變換運動補償預測。如圖所示。在第7A-B圖中，塊710的仿射運動域由第7A圖中的兩個控制點(4參數)的運動信息或第7B圖中的三個控制點運動向量(6參數)描述。

對於4參數仿射運動模型，塊中樣本位置(x，y)處的運動向量被導出為： (1)

對於6參數仿射運動模型，塊中樣本位置(x，y)處的運動向量被導出為： (2)

其中(mv _0x，mv _0y)為左上角控制點的運動向量，(mv _1x，mv _1y)為右上角控制點的運動向量，(mv _2x，mv _2y)為底部-左角控制點的運動向量。

為了簡化運動補償預測，應用基於塊的仿射變換預測。為了導出每個 4×4 亮度子塊的運動向量，每個子塊的中心樣本的運動向量，如第8圖所示，根據上述等式計算，並四捨五入到 1/16 分數精度。然後，應用運動補償插值濾波器以生成具有導出的運動向量的每個子塊的預測。色度分量的子塊大小也設置為 4×4。4×4 色度子塊的 MV 計算為並置 8x8 亮度區域中左上角和右下角亮度子塊的 MV 的平均值。

對於平移運動幀間預測，也有兩種仿射運動幀間預測模式：仿射合併模式和仿射AMVP模式。

仿射合併 預測 (AF_MERGE)

AF_MERGE模式可以應用於寬度和高度都大於或等於8的CU。在該模式下，基於空間相鄰CU的運動信息生成當前CU的CPMV(控制點MV)。最多可以有五個 CPMVP（CPMV 預測）候選，並且用信號發送一個索引以指示要用於當前 CU 的那個。下面三種類型的CPVM候選被用來構成仿射合併候選列表： – 從相鄰 CU 的 CPMV 推斷出的繼承仿射合併候選 – 使用相鄰 CU 的平移 MV 派生的構造仿射合併候選 CPMVP – 零MV

在VVC中，最多有兩個繼承的仿射候選，它們來自相鄰塊的仿射運動模型，一個來自左相鄰CU，一個來自上方相鄰CU。候選塊與第2圖所示相同。對於左預測子，掃描順序為A ₀-＞A ₁，對於上預測子，掃描順序為B0-＞B1-＞B2。僅選擇每一方的第一個繼承候選。在兩個繼承的候選之間不執行修剪檢查(pruning check)。識別相鄰的仿射 CU 時，其控制點運動向量用於導出當前 CU 的仿射合併列表中的 CPMVP 候選。如第9圖所示，如果當前塊910的左下相鄰塊A以仿射模式編碼，則獲得CU 920的左上角、右上角和包含塊 A的左下角的運動向量v ₂、v ₃和v ₄。當塊A採用4參數仿射模型編碼時，根據v ₂、v ₃計算當前CU的兩個CPMV（即v ₀和v ₁）。在塊A採用6參數仿射模型編碼的情況下，根據v ₂、v ₃、v ₄計算當前CU的三個CPMV。

構造仿射候選是指通過結合每個控制點的相鄰平移運動信息來構造候選。如第10圖所示，控制點的運動信息是從當前塊 1010 的指定空間鄰居和時間鄰居導出的。CPMV _k（k=1、2、3、4）表示第 k 個控制點。對於 CPMV ₁，檢查 B2-＞B3-＞A2 塊並使用第一個可用塊的 MV。對於 CPMV ₂，檢查 B1-＞B0 塊，對於 CPMV ₃，檢查 A1-＞A0 塊。如果 TMVP 可用，則將其用作 CPMV ₄。

在獲得四個控制點的 MV 後，基於運動信息構建仿射合併候選。以下控制點MV的組合用於按順序構建： {CPMV ₁, CPMV ₂, CPMV ₃}, {CPMV ₁, CPMV ₂, CPMV ₄}, {CPMV ₁, CPMV ₃, CPMV ₄}, {CPMV ₂, CPMV ₃, CPMV ₄}, { CPMV ₁, CPMV ₂}, { CPMV ₁, CPMV ₃}

3個CPMV的組合構造了6參數仿射合併候選並且2個CPMV的組合構造了4參數仿射合併候選。為了避免運動縮放過程，如果控制點的參考索引不同，則丟棄控制點MV的相關組合。

檢查繼承的仿射合併候选和構造的仿射合併候選後，如果列表仍未滿，則將零個MV插入到列表的末尾。

仿射 AMVP 預測

仿射 AMVP 模式可以應用於寬度和高度都大於或等於 16 的 CU。CU 級的仿射標識在位元流中用信號發送以指示是否使用仿射 AMVP 模式，然後另一個標識用信號發送以指示是使用 4 參數仿射還是 6 參數仿射。在這種模式下，當前 CU 的 CPMV 與其預測變量 CPMVP 的差異在位元流中用信號表示。仿射AVMP候選列表大小為2，由以下四種CPVM候選依次生成： – 從相鄰 CU 的 CPMV 推斷出的繼承仿射 AMVP 候選 – 構建的仿射 AMVP 候選 CPMVP 使用相鄰 CU 的平移 MV 導出 – 來自相鄰 CU 的平移 MV – 零MV

繼承仿射AMVP候選的檢查順序與繼承仿射合併候選的檢查順序相同。唯一的區別是，對於 AVMP 候選，僅考慮與當前塊具有相同參考圖片的仿射 CU。將繼承的仿射運動預測插入候選列表時，不應用裁剪過程。

構造的 AMVP 候選是從第10圖中所示的指定空間鄰居導出的。使用與仿射合併候選構造中相同的檢查順序。此外，還檢查相鄰塊的參考圖片索引。在檢查順序中，使用幀間編碼並具有與當前 CU 中相同的參考圖片的第一個塊。當當前CU使用4參數仿射模式編碼，並且和都可用時，將它們作為一個候選添加到仿射AMVP列表中。當當前 CU 使用 6 參數仿射模式編碼，並且所有三個 CPMV 都可用時，它們將作為一個候選添加到仿射 AMVP 列表中。否則，將構建的 AMVP 候選設置為不可用。

如果插入有效繼承的仿射AMVP候选和構造的AMVP候選後，仿射AMVP候選列表的數量仍然小於2，則會添加 , 與作為平移MV以便在可用時預測當前 CU 的所有控制點 MV。最後，如果仿射 AMVP 列表仍未滿，則使用零 MV 來填充它。

仿射運動 信息存儲

在 VVC 中，仿射 CU 的 CPMV 存儲在單獨的緩衝區中。存儲的 CPMV 僅用於在仿射合併模式和仿射 AMVP 模式下為最近編碼的 CU 生成繼承的 CPMVP。從 CPMV 導出的子塊 MV 用於運動補償、平移 MV 的合併/ AMVP 列表的 MV 導出和去塊。

為了避免額外的 CPMV 的圖片行緩衝區，從上述 CTU 的 CU 繼承的仿射運動資料被區別對待，以從正常的相鄰 CU 繼承。如果用於仿射運動資料繼承的候選 CU 在上述 CTU 行中，則行緩衝區中的左下和右下子塊 MV 而不是 CPMV 用於仿射 MVP 推導。這樣，CPMV 僅存儲在本地緩衝區中。如果候選 CU 是 6 參數仿射編碼，則仿射模型退化為 4 參數模型。如第11圖所示，沿著頂部 CTU 邊界，CU 的左下和右下子塊運動向量用於底部 CTU 中 CU 的仿射繼承。在第11圖中，線1110和線1112表示原點(0，0)在左上角的圖片的x和y坐標。圖例1120顯示了各種運動向量的含義，其中箭頭1122表示局部緩衝區中用於仿射繼承的CPMV，箭頭1124表示用於局部緩衝區中的MC/合并/跳過MVP/去塊/TMVP和仿射的子塊向量行緩衝器中的繼承，箭頭1126代表MC/合并/跳過MVP/去塊/TMVP的子塊向量。

自適應運動向量分辨率 (AMVR)

在 HEVC 中，當切片標頭中的 use_integer_mv_flag 等於 0 時，（CU 的運動向量和預測運動向量之間的）運動向量差（MVD)以四分之一亮度樣本為單位用信號發送。在VVC中，引入了CU級自適應運動向量分辨率（AMVR）方案。AMVR 允許 CU 的 MVD 以不同的精度進行編碼。根據當前 CU 的模式（普通 AMVP 模式或仿射 AVMP 模式），當前 CU 的 MVD 可以自適應地選擇如下： – 正常 AMVP 模式：四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本。 – 仿射 AMVP 模式：四分之一亮度樣本、整數亮度樣本或 1/16 亮度樣本。

如果當前CU具有至少一個非零MVD分量，則有條件地用信號通知CU級MVD分辨率指示。如果所有 MVD 分量（即，參考列表 L0 和參考列表 L1 的水平和垂直 MVD）均為零，則推斷出四分之一亮度樣本 MVD 分辨率。

對於具有至少一個非零MVD分量的CU，用信號發送第一標識以指示四分之一亮度樣本MVD精度是否用於CU。如果第一個標識為 0，則不需要進一步的信號傳輸，並且四分之一亮度樣本 MVD 精度用於當前 CU。否則，發出第二個標識以指示將半亮度樣本或其他 MVD 精度（整數或四亮度樣本）用於正常的 AMVP CU。在半亮度樣本的情況下，半亮度樣本位置使用 6 抽頭插值濾波器而不是默認的 8 抽頭插值濾波器。否則，用信號發送第三個標識以指示是將整數亮度樣本還是四亮度樣本 MVD 精度用於正常 AMVP CU。在仿射 AMVP CU 的情況下，第二個標識用於指示是否使用整數亮度樣本或 1/16 亮度樣本 MVD 精度。為了確保重建的 MV 具有預期的精度（四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本），CU 的運動向量預測因子將四捨五入為相同的、與 MVD 相加之前的 MVD 精度。運動向量預測值向零舍入（即，負運動向量預測值向正無窮大捨入，正運動向量預測值向負無窮大捨入）。

編碼器使用RD檢查確定當前CU的運動向量分辨率。為了避免總是對每個 MVD 分辨率執行四次 CU 級 RD 檢查，除四分之一亮度樣本之外的 MVD 精度的 RD 檢查僅在 VTM11 中有條件地調用。對於正常的 AVMP 模式，首先計算四分之一亮度樣本 MVD 精度和整數亮度樣本 MV 精度的 RD 成本。然後，將整數亮度樣本MVD精度的RD成本與四分之一亮度樣本MVD精度的RD成本進行比較，以決定是否有必要進一步檢查四亮度樣本MVD精度的RD成本。當四分之一亮度樣本 MVD 精度的 RD 成本遠小於整數亮度樣本 MVD 精度的 RD 成本時，將跳過四亮度樣本 MVD 精度的 RD 檢查。然後，如果整數亮度樣本 MVD 精度的 RD 成本明顯大於先前測試的 MVD 精度的最佳 RD 成本，則跳過半亮度樣本 MVD 精度的檢查。對於仿射AMVP模式，如果在檢查仿射合併/跳過模式、合併/跳過模式、四分之一亮度樣本MVD精度正常的AMVP模式和四分之一亮度樣本MVD精度的率失真成本後未選擇仿射幀間模式、仿射 AMVP 模式，則不檢查 1/16 亮度樣本 MV 精度和 1 像素 MV 精度仿射幀間模式。此外，在四分之一亮度樣本MV精度仿射幀間模式中獲得的仿射參數被用作1/16亮度樣本和四分之一亮度樣本MV精度仿射幀間模式的起始搜索點。

組合幀間和幀內預測 (CIIP)

在VVC中，當CU以合併模式編碼時，如果CU包含至少64個亮度（luma）樣本（即CU寬度乘以CU高度等於或大於64），並且如果CU寬度和CU高度都小於 128 個亮度樣本，一個額外的標識被發送以指示組合幀間/幀內預測 (CIIP) 模式是否應用於當前 CU。正如其名稱所示，CIIP 預測將幀間預測信號與幀內預測信號組合在一起。 CIIP 模式中的幀間預測信號是使用應用於常規合併模式的相同幀間預測過程導出的；並且幀內預測信號是在具有平面模式的常規幀內預測過程之後導出的。然後，使用權重平均組合幀內和幀間預測信號，其中權重值 wt根據當前CU 1210的頂部和左側相鄰塊（如第12圖所示）的編碼模式計算如下： – 如果頂部鄰居可用且幀內編碼，則將 isIntraTop 設置為 1，否則將 isIntraTop 設置為 0； – 如果左鄰居可用且幀內編碼，則將isIntraLeft設置為1，否則將isIntraLeft設置為0； – 如果(isIntraLeft + isIntraTop)等於2，則 wt設置為3； – 否則，如果 (isIntraLeft + isIntraTop) 等於 1，則 wt設置為 2； – 否則，將 wt設置為 1。

CIIP預測形成如下： (4)

幾何分區模式 ( Geometric Partitioning Mode,GPM)

在 VVC 中，支援幾何分區模式 (GPM) 進行幀間預測，如 JVET-W2002（Adrian Browne 等人，通用視訊編碼和測試模型 14 (VTM 14) 的演算法描述，ITU-T/ISO/ IEC 聯合視頻探索小組(JVET)，第23 次會議，透過電話會議，2021 年7 月7-16 日，文件：文件JVET-M2002）。使用CU級標誌作為合併模式來以訊號通知幾何分區模式，其他合併模式包括常規合併模式、MMVD模式、CIIP模式和子區塊合併模式。對於每個可能的 CU 大小，幾何分區區模式總共支援 64 個分區區，，其中 m,n ∈{3⋯6} 不包括 8x64 和 64x8。GPM模式可以應用於跳過或合併具有在上述限制內的大小並且具有至少兩種常規合併模式的CU。

使用此模式時，CU被幾何定位的直線以一定角度分區成兩個部分。在VVC中，GPM總共使用了20個角度和4個偏移距離，較早草案中的24個角度減少了。分區線的位置是根據特定分區的角度和偏移參數以數學方式得出的。在VVC中，共有64個分區，如第13圖所示，其中分區依角度分組，虛線表示冗餘分區。 CU 中幾何分區的每個部分都使用自己的運動進行幀間預測；每個分區只允許單預測，即每個部分有一個運動向量和一個參考索引。在第13圖中，每一線對應於一個分區的邊界。分區根據其角度進行分組。例如，分區組1310由三個垂直GPM分區(即，90°)組成。分區組1320由與垂直方向具有小角度的四個傾斜GPM分區組成。而且，分區組1330由與組1310的那些類似的三個垂直GPM分區組成，但是具有相反的方向(即，270°)。應用單預測運動約束以確保每個CU僅需要兩個運動補償預測，與傳統的雙向預測相同。使用稍後描述的過程導出每個分區的單預測運動。

如果幾何分區區模式用於當前CU，則進一步以訊號傳送指示幾何分區的所選的分區模式（角度和偏移）的幾何分區索引以及兩個合併索引（每個分區區一個）。最大 GPM 候選大小的數量在 SPS（序列參數集）中明確表示，並指定 GPM 合併索引的語法二值化。在預測幾何分區的每個部分之後，使用稍後描述的過程使用具有自適應權重的混合處理來調整沿著幾何分區邊緣的樣本值。這是整個 CU 的預測訊號，與其他預測模式一樣，變換和量化過程將應用於整個 CU。最後，使用稍後描述的程序來儲存使用幾何分區模式預測的CU的運動場。

單向預測候選列表構建

單預測候選者列表直接從根據擴展合併預測過程構造的合併候選者列表導出。將n表示為幾何單預測候選列表中單預測運動的索引。將第n個擴展合併候選(X=0或1，即LX=L0或L1)的LX運動向量作為第n個單向預測運動向量，其中X等於n的奇偶性幾何分區模式。這些運動向量在第14圖中以「x」標記。如果第n個擴展合併候選者的對應LX運動向量不存在，則使用相同候選者的L(1-X)運動向量作為替代幾何分區模式的單向預測運動向量。

沿著幾何分區邊緣混合

在使用其自身的運動預測幾何分區的每個部分之後，將混合應用於兩個預測訊號以導出幾何分區邊緣周圍的樣本。CU 每個位置的混合權重是根據各個位置與分區邊緣之間的距離得出的。

兩個整數混合矩陣（ W ₀ 和 W ₁ ）用於 GPM 混合過程。GPM混合矩陣中的權重包含值範圍[0, 8]並且是基於從樣本位置到GPM分區邊界1540的位移而導出的，如第15圖所示。

具體而言，權重由具有位移和兩個閾值的離散斜坡函數給出，如第16圖所示，其中斜坡的兩個端點（即-τ和τ）對應於第15圖中的線1542和1544。

這裡，閾值τ定義了GPM混合區域的寬度，並被選為VVC中的固定值。換句話說，如JVET-Z0137（Han Gao等，“Non-EE2：GPM 的自適應混合”，ITU-T SG 16 WP 3 和ISO/IEC JTC 1/SC 29 聯合視訊專家小組(JVET)，第26 次會議，透過電話會議，2022 年4 月20-29 日，JVET-Z0137），對於所有不同的內容，混合強度或混合區域寬度 θ 是固定的。

混合掩模(blending mask)中的權重值可以透過斜坡函數(ramp function)給出： (4)

在當前ECM (VVC)設計中，固定的像素，斜坡函數可以量化為: (5)

位置到分區邊界的距離為： (6) (7) (8) (9)

其中 i,j 是幾何分區的角度和偏移的索引，其取決於用訊號通知的幾何分區索引。和的符號取決於角度索引 i。

第17圖示出了根據ECM 4.0的GPM混合的示例（Muhammed Coban等人，“增強型壓縮模型4（ECM 4）的算法描述”，ITU-T SG 16 WP的聯合視頻專家組（JVET） 3 和ISO/IEC JTC 1/SC 29，第26 次會議，透過電話會議，2022 年4 月20-29 日，JVET-Y2025）。在第17圖中，分區邊界每側的混合區域的大小以θ表示。幾何分區各部分的權重計算如下： (10) (11) (12)

partIdx 取決於角度索引 i。第15圖中示出了權重的一個範例，其中針對GPM索引i指示了角度φ _i 1510和偏移量ρ _i 1520，並且點1530對應於塊的中心。線1540對應GPM分區邊界。

幾何分區模式的運動場存儲

來自幾何分區的第一部分的Mv1、來自幾何分區的第二部分的Mv2以及Mv1和Mv2的組合MV被儲存在幾何分區模式編碼的CU的運動場中。

運動場中每個單獨位置的儲存運動向量類型確定為： (13)

其中motionIdx等於d(4x+2,4y+2)，它是根據方程式(6)重新計算的。partIdx 取決於角度索引 i。

如果sType等於0或1，則Mv0或Mv1儲存在對應的運動欄位中，否則如果sType等於2，則儲存來自Mv0和Mv2的組合MV。組合 Mv 使用下列過程產生： 1) 如果Mv1和Mv2來自不同的參考圖片列表（一個來自L0，另一個來自L1），則簡單地組合Mv1和Mv2以形成雙向預測運動向量。 2) 否則，如果Mv1和Mv2來自同一列表，則僅儲存單向預測運動Mv2。

具有 67 種幀內預測 模式的幀內模式編碼

為了捕獲自然視頻中呈現的任意邊緣方向，VVC中的方向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新方向模式在第7圖中被描繪為虛線箭頭、平面和DC模式保持不變。這些更密集的方向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。

在VVC中，針對非正方形塊，幾種傳統的角度幀內預測模式被自適應地替換為廣角(wide-angle)幀內預測模式。

在HEVC中，每個幀內編碼塊具有正方形形狀並且其每條邊的長度是2的冪。因此，不需要除法運算來使用DC模式生成幀內預測子。在VVC中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免DC預測的除法操作，只有較長的邊用於計算非方形塊的平均值。

為了保持最可能模式(MPM)列表生成的複雜度較低，通過考慮兩個可用的相鄰幀內模式，使用具有6個MPM的幀內模式編碼方法。構建MPM列表考慮以下三個方面： – 默認幀內模式 – 相鄰幀內模式 – 導出的幀內模式。

統一的6-MPM列表用於幀內塊，而不管是否應用MRL和ISP編解碼工具。MPM列表是基於左側和上方相鄰塊的幀內模式構建的。假設左邊的模式記為Left，上方塊的模式記為Above，則統一的MPM列表構造如下： – 當相鄰塊不可用時，其幀內模式默認設置為平面。 – 如果Left和Above兩種模式都是非角度模式： – MPM 列表 à{平面, DC, V, H, V − 4, V + 4} – 如果Left和Above模式之一是角度模式，另一個是非角度模式： – 將模式Max設置為Left和Above中的較大模式 –MPM列表à{平面, Max, DC, Max − 1, Max + 1, Max − 2} – 如果Left和Above都是有角度的並且它們不同： – 將模式Max設置為Left和Above中的較大模式 – 如果模式Left和Above的差異在2到62的範圍內，包括 •MPM列表à{平面, Left, Above, DC, Max − 1, Max + 1} - 否則 •MPM列表à{平面, Left, Above, DC, Max − 2, Max + 2} – 如果 Left 和 Above 都是有角度的並且它們是相同的： –MPM列表à{平面, Left, Left − 1, Left + 1, DC, Left − 2}

此外，MPM索引碼字的第一個二進制碼（bin）是CABAC上下文編碼的。總共使用了三個上下文，對應於當前幀內塊是啟用MRL、啟用ISP還是正常幀內塊。

在6 MPM列表生成過程中，修剪用於去除重複的模式，使得只有獨特的模式可以被包括到MPM列表中。對於61種非MPM模式的熵編碼，使用截斷二進制代碼(Truncated Binary Code， TBC)。

非方形塊的廣角幀內預測

常規角度幀內預測方向被定義為順時針方向從45度到-135度。在VVC中，幾種傳統的角度幀內預測模式被自適應地替換為非方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發出信號，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，幀內模式編碼方式不變。

為了支持這些預測方向，分別如第19A圖和第19B圖所示定義了長度為2W+1的頂部參考和長度為2H+1的左側參考。

廣角方向模式中替換模式的數量取決於塊的縱橫比。替換的幀內預測模式如表 3 所示。表 3 – 被廣角模式取代的幀內預測模式

縱橫比	替代的幀内預測模式
W / H == 16	模式 12, 13,14,15
W / H == 8	模式 12, 13
W / H == 4	模式 2,3,4,5,6,7,8,9,10,11
W / H == 2	模式 2,3,4,5,6,7,
W / H == 1	無
W / H == 1/2	模式 61,62,63,64,65,66
W / H == 1/4	模式 57,58,59,60,61,62,63,64,65,66
W / H == 1/8	模式 55, 56
W / H == 1/16	模式 53, 54, 55, 56

在VVC中，支持4:2:2、4:4:4以及4:2:0色度格式。4:2:2 色度格式的色度導出模式(derived mode，DM)推導表最初是從HEVC移植的，將條目數從35擴展到67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支持-135°以下和45°以上的預測角度，亮度幀內預測模式從2到5映射到2。因此，4:2:2色度格式的色度DM推導表更新方式是替換映射表條目的一些值，以更精確地轉換色度塊的預測角度。

解碼器端幀內模式推導 (DIMD)

當應用DIMD時，兩個幀內模式從重建的相鄰樣本中導出，並且這兩個預測與平面模式預測結合，權重從梯度中導出。DIMD模式用作替代預測模式，並始終在高複雜度RDO模式下進行檢查。

為了隱式導出塊的幀內預測模式，在編碼器和解碼器側都執行紋理梯度分析(texture gradient analysis)。此過程從具有65個條目的空梯度直方圖(HoG)開始，對應於65個角度模式。這些條目的幅度在紋理梯度分析期間確定。

在第一步中，DIMD從當前塊的左側和上方分別選取一個T=3列和行的模板（template）。該區域用作基於梯度的幀內預測模式推導的參考。

在第二步中，水平和垂直Sobel濾波器應用於所有3×3窗口位置，以模板中線的像素為中心。在每個窗口位置，索貝爾濾波器計算純水平和垂直方向的強度分別為和。然後，窗口的紋理角度計算為： (14)

可以轉換為 65 種角度幀內預測模式之一。一旦當前窗口的幀內預測模式索引被導出為idx，其在HoG[idx]中的條目的幅度通過添加更新： (15)

第20A-C圖顯示了在對模板中的所有像素位置應用上述操作之後計算的HoG的示例。第20A圖圖示了為當前塊2010選擇的模板2020的示例。模板2020包括當前塊上方的T行和當前塊左側的T列。對於當前塊的幀內預測，當前塊上方和左側的區域2030對應於重構區域，而塊下方和右側的區域2040對應於不可用區域。第20B圖圖示了T＝3的示例並且HoG是針對中間行中的像素2060和中間列中的像素2062計算的。例如，對於像素2052，使用3x3窗口2050。第20C圖圖示了對於如從等式(1)確定的角度幀內預測模式，基於等式(2)計算的幅度(Ampl)的示例。

一旦計算出HoG，就選擇具有兩個最高直方圖條的索引作為塊的兩個隱式導出的幀內預測模式，並進一步與平面模式組合作為DIMD模式的預測。預測融合被應用為上述三個預測變量的加權平均。為此，平面的權重固定為21/64（~1/3）。剩餘的43/64(~2/3)權重然後在兩個HoG IPM之間共享，與它們的HoG條的幅度成比例。第21圖說明了混合過程的示例。如第21圖所示，根據具有直方圖條2110的兩個最高條的索引選擇兩個幀內模式（M1 2112和M2 2114）。三個預測子（Pred1 2140、Pred22142和Pred32144）用於形成混合預測。三個預測子對應於將M1、M2和平面幀內模式（分別為2120、2122和2124）應用到參考像素2130以形成相應的預測子。三個預測變量由相應的加權因子（ω1, ω2與ω3）2150加權。使用加法器2152對加權預測變量求和以生成混合預測變量2160。

此外，將兩個隱式導出的幀內模式包含在MPM列表中，以便在構造MPM列表之前執行DIMD過程。DIMD塊的主要導出幀內模式與塊一起存儲，並用於相鄰塊的MPM列表構造。

基於模板的幀內模式推導（ TIMD)

基於模板的幀內模式推導（TIMD)模式在編碼器和解碼器處使用相鄰模板隱式地推導CU的幀內預測模式，而不是將幀內預測模式發信號通知給解碼器。如第22圖所示，使用每個候選模式的模板的參考樣本（2220和2222）生成當前塊2210的模板的預測樣本（2212和2214）。成本被計算為模板的預測樣本和重建樣本之間的SATD（絕對轉換差異之和）。選擇成本最小的幀內預測模式作為DIMD模式並用於CU的幀內預測。候選模式可以是如VVC中的67種幀內預測模式或擴展到131種幀內預測模式。通常，MPM可以提供線索來指示CU的方向信息。因此，為了減少幀內模式搜索空間並利用CU的特性，可以從MPM列表中隱式導出幀內預測模式。

對於MPM中的每個幀內預測模式，計算模板的預測和重建樣本之間的SATD。選擇具有最小SATD的前兩種幀內預測模式作為TIMD模式。這兩種TIMD模式在應用PDPC過程後與權重融合，這種加權的幀內預測用於對當前CU進行編碼。位置相關幀內預測組合(Position dependent intra prediction combination， PDPC)包含在TIMD模式的推導中。

將兩種選擇模式的成本與閾值進行比較，在測試中，成本因子2應用如下： costMode2＜2* costMode1。

其中costMode2為模式2成本，costMode1為模式1成本。

如果該條件為真，則應用融合，否則僅使用模式1。模式的權重(weight)根據其SATD成本計算如下： weight1 = costMode2/(costMode1+ costMode2) weight2 = 1 - weight1。

內部子分區 (ISP)

幀內子分區 (ISP) 根據區塊大小將亮度幀內預測區塊垂直或水平劃分為 2 或 4 個子分區。例如，ISP 的最小區塊大小為 4x8（或 8x4）。如果區塊大小大於4x8（或8x4），則對應的區塊將被分區為4個子分區區。值得注意的是，M×128（M≤64）和 128×N（N≤64）ISP 區塊可能會對 64×64 VDPU（虛擬解碼器管道單元）產生潛在問題。例如，單一樹情況下的M×128 CU具有M×128亮度TB和兩個對應的M/2×64色度TB。如果CU使用ISP，則亮度TB將被劃分為4個M×32 TB（只能水平分區），每個TB小於64×64塊。然而，在目前的ISP設計中，色度塊並沒有被劃分。因此，兩個色度分量的大小都會大於 32×32 區塊。類似地，使用 ISP 的 128×N CU 也可以創造類似的情況。因此，這兩種情況對於 64×64 解碼器管道來說是一個問題。因此，可以使用 ISP 的 CU 大小限制為最大 64×64。第23A圖和第23B圖示出了兩種可能性的範例。所有子分區都滿足至少有16個樣本的條件。

在ISP中，不允許1xN和2xN子塊預測依賴編碼塊的先前解碼的1xN和2xN子塊的重構值，使得子塊的最小預測寬度變為四個樣本。例如，使用垂直分區的 ISP 編碼的 8xN (N ＞ 4) 編碼區塊被劃分為兩個預測區域（每個預測區域大小為 4xN）和四個大小為 2xN 的變換。此外，使用具有垂直分區的 ISP 編碼的 4xN 編碼區塊是使用完整的 4xN 區塊進行預測的；四個變換均使用 1xN。儘管允許 1xN 和 2xN 的變換大小，但可以斷言 4xN 區域中的這些區塊的變換可以並行執行。例如，當4xN預測區域包含4個1xN變換時，水平方向上沒有變換；垂直方向上的變換可以作為垂直方向上的單一4xN變換來執行。類似地，當4xN預測區域包含兩個2xN變換區塊時，兩個2xN區塊在每個方向（水平和垂直）上的變換操作可以並行進行。因此，與處理 4x4 常規編碼幀內區塊相比，處理這些較小的區塊不會增加任何延遲。表 4

塊大小	係數組大小




所有其他可能情況

對於每個子分區，透過將殘差訊號與預測訊號相加來獲得重構樣本。這裡，透過諸如熵解碼、逆量化和逆變換等處理來產生殘差訊號。因此，每個子分區的重構樣本值可用於產生下一個子分區的預測，並且每個子分區被連續處理。另外，第一個要處理的子分區是包含CU左上角樣本的子分區，然後繼續向下（水平分區）或向右（垂直分區）。結果，用於產生子分區預測訊號的參考樣本僅位於線的左側和上方。所有子分區共享相同的幀內模式。以下是ISP與其他編碼工具互動的總結。 – 多參考線（MRL）：如果區塊的 MRL 索引不為 0，則 ISP 編碼模式將被推斷為 0，因此 ISP 模式資訊將不會傳送到解碼器。 – 熵編碼係數組大小：熵編碼子塊的大小已被修改，以便在所有可能的情況下它們都有16 個樣本，如表4 所示。請注意，新的大小僅影響ISP 產生的區塊，其中維度之一少於 4 個樣本。在所有其他情況下，係數組保持 4×4 維度。 – CBF編碼：假設至少有一個子分區具有非零CBF。因此，如果 n 是子分區的數量，且前 n-1 個子分區產生了 0 CBF，則第 n 個子分區的 CBF 推斷為 1。 – 變換大小限制：所有長度大於16點的ISP變換都使用DCT-II。 – MTS標誌：如果CU使用ISP編碼模式，則MTS CU標誌將被設定為0，並且不會被傳送到解碼器。因此，編碼器不會對每個產生的子分區的不同可用變換執行 RD 測試。相反，ISP 模式的變換選擇將是固定的，並根據幀內模式、處理順序和所使用的塊大小進行選擇。因此，不需要信令。例如，令和分別為w×h子分區選擇的水平和垂直變換，其中w是寬度，h是高度。然後根據以下規則選擇變換： n 如果w=1或h=1，則分別沒有水平或垂直變換。 n 若w≥4且w≤16，則 = DST-VII，否則， = DCT-II n 若h≥4且h≤16，則 = DST-VII，否則， = DCT-II

在 ISP 模式下，允許所有 67 種內部模式。如果相應的寬度和高度至少為 4 個樣本長，則也應用 PDPC。此外，參考樣本濾波過程（參考平滑）和幀內插值濾波器選擇的條件不再存在，ISP模式下的分數位置插值始終採用三次（DCT-IF）濾波器。

多假設預測 (MHP)

在多假設幀間預測模式 (JVET-M0425) 中，除了傳統的雙預測信號之外，還發出一個或多個附加運動補償預測信號。最終的整體預測信號是通過樣本權重疊加獲得的。利用雙預測信號和第一附加幀間預測信號/假設，得到的結果預測信號如下： (16)

根據以下映射（表 5），權重因子 α 由新語法元素 add_hyp_weight_idx指定：表 5. 將 α 映射到 add_hyp_weight_idx

add_hyp_weight_idx
0	1/4
1	-1/8

與上文類似，可以使用一個以上的附加預測信號。得到的整體預測信號與每個附加預測信號一起迭代累積。 (17)

作為最後的 (即，具有最大索引n的 )獲得所得的整體預測信號。例如，最多可以使用兩個額外的預測信號（即，n 限制為 2）。

每個附加預測假設的運動參數可以通過指定參考索引、運動向量預測值索引和運動向量差來顯式地用信號發送，或者通過指定合併索引來隱式地用信號發送。一個單獨的多假設合併標識區分這兩種信號模式。

對於幀間 AMVP 模式，只有在雙向預測模式下選擇 BCW 中的非等權重時才應用 MHP。 VVC 的 MHP 的詳細信息可以在 JVET-W2025 中找到（Muhammed Coban 等人，「增強壓縮模型 2（ECM 2）的算法描述」，ITU-T SG 16 WP 3 的聯合視頻專家組（JVET）和 ISO/IEC JTC 1/SC 29，第 23 次會議，電話會議，2021 年 7 月 7-16 日，文件：JVET-W2025）。

GPM 擴展

GPM模式的幾種變體(JVET-W0097(Zhipin Deng等人，“AEE2相關：EE2-3.3、EE2-3.4和EE2-3.5的組合”，ITU的聯合視頻專家組(JVET)) - T SG 16 WP 3 和ISO/IEC JTC 1/SC 29，第23 次會議，透過電話會議，2021 年7 月7-16 日，文件：JVET-W0097）和JVET-Y0065（Yoshitaka Kidani 等人，「 EE2- 3.1：具有幀間和幀內預測的GPM (JVET-X0166)”，ITU-T SG 16 WP 3 和ISO/IEC JTC 1/SC 29 聯合視訊專家小組(JVET)，第25 次會議，透過電話會議，1 月12 日至21 日2022，文獻：JVET-Y0065))已經被提出來提高VVC中GPM模式的編碼效率。此方法納入勘探實驗（EE2）進行進一步評估，其主要技術面描述如下：

EE2-3.3 關於具有 MMVD 的 GPM (GPM-MMVD):1)將額外的MVD加入現有的GPM合併候選； 2) MVD以與VVC中MMVD相同的方式用訊號發送，即，一個距離索引加一個方向索引； 3)用訊號通知兩個標誌來分別控制是否將MMVD應用於每個GPM分區。

EE2-3.4-3.5 關於具有模板匹配的 GPM (GPM-TM):1)透過基於當前CU的左和上相鄰樣本細化GPM MV，將模板匹配擴展到GPM模式；2) 根據GPM分區方向選擇模板樣本；3)用訊號通知一個單一標誌來共同控制是否將模板匹配應用於兩個GPM分區的MV。

JVET-W0097提出EE2-3.3、EE2-3.4和EE2-3.5的組合以進一步提高GPM模式的編碼效率。具體來說，在所提出的組合中，EE2-3.3、EE2-3.4和EE2-3.5中的現有設計保持不變，同時進一步應用以下修改來協調兩種編解碼工具： 1) GPM-MMVD和GPM-TM僅對一個GPM CU啟用。這是透過先用訊號發送 GPM-MMVD 語法來完成的。當兩個GPM-MMVD控制標誌都等於假時（即，對於兩個GPM分區禁用GPM-MMVD），用訊號通知GPM-TM標誌以指示是否將模板匹配套用至兩個GPM分區。否則(至少一個GPM-MMVD標誌等於真)，GPM-TM標誌的值推論為假。 2) EE2-3.3和EE2-3.4-3.5中的GPM合併候選列表生成方法以EE2-3.4-3.5中的MV剪枝方案的方式直接組合（其中MV剪枝閾值根據當前CU大小進行調整） ) 用於替換EE2-3.3 中所應用的預設MV 剪枝方案；另外，如在EE2-3.4-3.5中，新增多個零MV直到GPM候選列表被完全填滿。

在JVET-Y0065中，在具有幀間和幀內預測的GPM（或稱為GPM幀內）中，透過對每個GPM分離區域的幀間預測樣本和幀內預測樣本進行加權來生成最終預測樣本。幀間(inter)預測樣本是透過與目前ECM中的GPM相同的方案來導出的，而幀內預測樣本是透過幀內預測模式（IPM）候選列表和從編碼器用訊號通知的索引來導出的。IPM候選列表大小預先定義為3。可用的IPM候選是相對於GPM區塊邊界的平行角模式（平行模式）、相對於GPM區塊邊界的垂直角模式（垂直模式）以及平面模式：如圖所示。分別參見第24A-C圖。此外，如第24圖D所示的具有幀內(intra)和幀內預測的GPM在所提出的方法中受到限制，以減少IPM的信令開銷並避免增加硬體解碼器上的幀內預測電路的尺寸。此外，在GPM混合區域引入直接運動向量和IPM存儲，以進一步提高編碼效能。

空間 GPM

與幀間GPM類似，空間GPM(SGPM)由一種分區模式和兩種相關聯的幀內預測模式組成。如果這些模式直接在位元流中以訊號通知，如第25A圖所示，則將產生顯著的開銷位元。為了在位元流中更有效地表達必要的分區和預測訊息，採用候選列表並且僅在位元流中以訊號通知候選索引。列表中的每個候選可以匯出一種分區模式和兩種幀內預測模式的組合，如第25B圖所示。

模板用於產生該候選列表。模板的形狀如第26圖所示。對於一種分區模式和兩種幀內預測模式的每種可能的組合，使用擴展到模板的分區權重來產生模板的預測，如第26圖所示。組合在模板按其預測和重建之間SATD 的升序排列。候選列表的長度設定為等於16，這些候選被視為當前塊的最可能的SGPM組合。編碼器和解碼器都基於模板建立相同的候選列表。

為了降低建構候選列表的複雜度，可能的分區模式的數量和可能的幀內預測模式的數量都被修剪。在下面的測試中，使用了64種分區模式中的26種，並且僅使用了67種幀內預測模式中的MPM。

近來，已經公開了更多加速SGPM的編碼時間並提高SGPM的增益的方案，並且一些細節可以在JVET-AA0118 (Fan Wang等人，“EE2-1.4：空間GPM”)中找到。 ” ，ITU-T SG 16 WP 3 和ISO/IEC JTC 1/SC 29 聯合視訊專家小組(JVET)，第27 次會議，透過電話會議，2022 年7 月13-22 日，文件：JVET-AA0118）。

編碼快速演算法

在JVET-Z0124(Fan Wang等人，“Non-EE2:Spatial GPM”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29的聯合視訊專家組(JVET)中，第26次會議，透過電話會議，2022 年4 月20-29 日，文件：JVET-Z0124），對大小為16 的候選人列表中的每個候選人進行完整的RDO 處理。在EE2-1.4 測試中，使用SAD/SATD 成本來過濾全面 RDO 之前的候選。特別是，如果候選的 SAD/SATD 成本大於閾值，則該候選將不會進入完全 RDO。此閾值是當前塊的最佳 SAD/SATD 成本乘以一個比率。每個區塊的 SGPM 完整 RDO 的最大數量限制為 8 個。

候選列表導出的簡化

在JVET-Z0124中，當推導候選列表時，對於一種分區模式和兩種幀內預測模式的每種可能的組合，利用擴展到模板的分區權重來產生針對模板的預測，以及模板的預測和重構之間的SATD被用作排序的標準。在EE2-1.4測試中，模板中沒有使用GPM混合過程，而是使用SAD作為排序的標準。模板中的權重為1或0。對於每個MPM，計算並保存每個分區模式的兩個部分的兩個SAD。為了得到一種組合的SAD，只需將兩個對應的SAD相加即可。

GPM 分區模式的基於模板匹配的重新排序

在針對GPM分區模式的基於模板匹配的重排序中，給定當前GPM塊的運動信息，計算GPM分區模式的相應TM成本值。然後，所有GPM分區模式根據TM成本值以升序重新排序。不是發送 GPM 分區模式，而是用訊號發送使用 Golomb-Rice 程式碼來指示的確切的 GPM 分區模式位於重新排序列表中的位置的索引。

GPM分區模式的重新排序方法是在生成編碼單元中的兩個GPM分區各自的參考模板之後執行的兩步驟過程，如下: l 將GPM分區邊緣擴展到兩個GPM分區的參考模板中，產生64個參考模板併計算64個參考模板中每一個的各自的TM成本； l 根據GPM 分區模式的TM 成本值以升序重新排序，並將最佳的32 個分區模式標記為可用分區模式。

模板(2730和2732)上的邊緣2720從當前CU 2710的邊緣延伸，如第27圖所示，但在跨越邊緣的模板區域中不使用GPM混合處理。使用 TM 成本進行升序重新排序後，將發出索引訊號。

GPM和SGPM使用類似的處理並且已經顯示出編解碼性能的改進，期望開發統一的方法來簡化過程和/或進一步改進編碼性能。

公開了一種用於視訊編解碼的方法和裝置。根據該方法，在編碼器側接收與當前塊相關聯的像素資料，或在解碼器側接收與要解碼的當前塊相關聯的編碼資料，其中使用包括第一編解碼工具的編解碼工具對當前塊進行編碼和第二個編解碼工具。確定共享幀內候選列表。響應於為當前塊選擇第一編解碼工具：根據第一目標分區將當前塊劃分為兩個區域，從共享幀內候選列表導出幀內預測的一個第一假設，並使用包括幀內預測的所述第一假設的第一資訊確定混合預測子。響應於為當前塊選擇第二編解碼工具：根據第二目標分區將當前塊劃分為兩個區域，從共享幀內候選列表導出多於一個的幀內預測第二假設，以及使用包括所述多於一個的幀內預測的第二假設的第二資訊來確定混合預測子。透過使用包含混合預測子的預測資料來對當前塊進行編碼或解碼。

在一個實施例中，共用幀內候選列表包括幀內MPM(最可能模式)或幀內MPM的子集。在另一實施例中，共用幀內候選列表包括67個幀內預測模式的任何子集。在另一實施例中，共用幀內候選列表包括根據任何預定義模板區域匯出的一個或多個DIMD（解碼器側幀內模式匯出）模式。在另一實施例中，共用幀內候選列表包括根據任何預先定義模板區域匯出的一個或多個TIMD（基於模板的幀內模式匯出）模式。

在一個實施例中，針對不同的區塊大小確定不同的共用幀內候選列表。

在一個實施例中，對共用幀內候選列表的候選應用重新排序過程。在一個實施例中，根據與共用幀內候選列表的候選相關聯的模板匹配成本對共用幀內候選列表的候選進行重新排序。在一個實施例中，向具有最小模板匹配成本的候選分配最短碼字。在一個實施例中，使用第一編解碼工具和第二編解碼工具之間的統一訊號，其中以訊號傳送或解析聯合索引以指示從重新排序的共用幀內候選列表中選擇的候選。舉一個與SGPM設計統一的例子，重排序後，僅將模板匹配成本較小的前K個候選保留在列表中用於信令，其中K是小於或等於所有可能的數量的預定義正數候選。

在一個實施例中，統一混合處理被應用於第一編解碼工具和第二編解碼工具。

在一個實施例中，共用幀內候選列表的每個候選包括分區模式和幀內預測模式。在另一實施例中，共用幀內候選列表的每個候選包括分區模式、運動候選/資訊和幀內預測模式。在又一實施例中，共享幀內候選列表的每個候選包括運動候選/資訊和幀內預測模式。在又一實施例中，共享幀內候選列表的每個候選包括分區模式和運動候選/資訊。

很容易理解，本發明的組件，如本文附圖中一般描述和圖示的，可以以多種不同的配置佈置和設計。因此，如附圖中所表示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。在整個說明書中對「一個實施例」、「一實施例」或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在整個說明書的各個地方出現的短語「在一個實施例中」或「在一實施例中」不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個具體細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未示出或未示出眾所周知的結構或操作。詳細描述以避免模糊本發明的方面。通過參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的設備和方法的某些選定實施例。

為了提高視訊編解碼效率，將一種或多種預測假設與現有的一種或多種預測假設混合用於實現更好的預測準確度。在一個實施例中，預測的假設意味著根據具有預定義方向（列表0或列表1）的運動的預測。在另一實施例中，預測的假設是指從運動候選(例如，合併候選或AMVP候選)產生的預測。在另一實施例中，預測的假設意味著根據具有預定義方向（列表0或列表1）的運動的預測或雙向預測。在另一實施例中，預測的假設意味著根據幀內候選或運動候選進行預測。在另一個實施例中，預測的假設意味著來自幀內候選的預測。在另一實施例中，混合預測工具是指（但不限於）如下列出的任一個或多個工具或所列出的工具的任意組合。 - 混合預測工具包括雙向預測運動候選，其可以是合併候選和/或AMVP候選。 -混合預測工具包括GPM、GPM擴展的一種或多種變體、和/或空間GPM。

由於多於一種的預測假設被用於當前塊，因此需要混合過程來形成當前塊的最終預測。

在本發明中，提出了自適應混合過程來改進混合預測中使用的加權方案。下面以GPM作為混合工具為例。在下文中，所提出的自適應混合過程還可以應用於一個或多個提到的混合預測工具和/或提到的混合預測工具的任何組合。

在第一方面，定義分區線(例如GPM分區邊界)以將當前塊2810劃分成兩個預測區域(第28圖所示)。靠近分區線的區域(例如，θ1線2832到分區線2820以及分區線2820到-θ2線2830)被定義為混合區域。在混合區域內，多個（例如，2、first_hyp_pred 和 secondary_hyp_pred）預測假設與加權相結合（參考 W0[ x ][ y ]）。混合區域外：位於第一預測區域的樣本，第二預測假設的權重為零，第一個預測假設的權重為N；位於第二預測區域的樣本，第一個預測假設的權重為零，第二預測假設的權重為N。提出了幾個實施例： l 在一個實施例中，Final_pred[ x ][ y ] = ( first_hyp_pred [ x ][ y ] * W0[ x ][ y ] + second_hyp_pred [ x ][ y ] * ( N – W0[ x ][ y ] ) + offset1 ) ＞＞ shift1 o (x,y)是當前塊中的樣本位置。 o 對於當前塊中位於 (x, y) 的樣本，W0[ x ][ y ] 是first_hyp_pred 的權重，(N – W0[ x ][ y ] ) 是 secondary_hyp_pred 的權重。 l 在另一實施例中，N被預先定義為固定正整數（例如8、16、32或64)或由區塊級、SPS級、PPS級、APS級、PH級，和/或SH級語法指定。 l 在另一個實施例中，offset1和shift1根據N和/或BitDepth來決定。以 N = 8 為例， o shift1 = Max( 5, 17 − BitDepth ) o offset1 = 1 ＜＜ ( shift1 − 1 ) l 在另一實施例中，如果樣本(x，y)位於第二預測區域(即，距離(x，y)小於或等於-theta2)，則W0[x][y]定義為0。(或W0[x][y] 是在混合區域的推導之後定義的，其結果等於 0 或接近 0。） l 在另一實施例中，如果樣本(x，y)位於第一預測區域(即，距離(x，y)大於或等於theta1)，則W0[x][y]定義為N。(或W0 [ x][y] 是在混合區域的推導之後定義的，其結果等於 N 或接近 N 的值。） l 在另一實施例中，a1等於0意味著在第一預測區域內沒有混合。即，在第一預測區域中W0[x][y]被定義為N。 l 在另一實施例中，a2等於0意味著在第二預測區域內沒有混合。即，在第二預測區域中W0[x][y]被定義為0。 l 在另一實施例中，如果樣本(x，y)位於混合區域(即距離(x，y)大於-theta2且小於theta1)，則根據距離theta1定義W0[x][y]和/或 θ2。例如，W0[x][y]是根據現有的GPM權重推導（例如VVC方法）透過將theta（在GPM權重推導中使用）設定為建議的theta1或theta2來定義的。 o 在另一個子實施例中，如果樣本(x，y)位於第一預測區域內的混合區域(即，距離(x，y)大於0且小於theta1)，則W0[x][y]根據距離和theta1定義。例如，W0[x][y]被定義為(N*( distance (x,y)+theta1))/(2*theta1)或可以透過量化來簡化。例如，量化後，W0[x][y] 定義為 ((distance’(x, y) + 16*theta1 + offset2) ＞＞ shift2)，並裁切為 [0, N]。 n GPM 介紹部分的 distance ' 可以是 wIdxL n offset2 = theta1＞＞1 n shift2 = log2(theta1) 再例如，量化後，W0[x][y] 定義為 ((distance’(x, y) + 16*theta1 + offset3) ＞＞ shift3)，並裁切為 [0, N]。 n GPM 介紹部分的 distance' 可以是 wIdxL n Offset3 可以是 N 右移 1。Shift3 可以是 log2(N)。以N等於8為例。 Offset3 將為 4，shift3 將為 3。 o 在另一個子實施例中，如果樣本(x，y)位於第二預測區域內的混合區域(即，距離(x，y)小於0且大於-theta2)，則定義W0[x][y]根據距離和theta2定義。例如，W0[x][y]被定義為(N*( distance (x,y)+theta2))/(2*theta2)或可以透過量化來簡化。例如，量化後，W0[x][y] 定義為 ((distance’(x, y) + 16*theta2 + offset2) ＞＞ shift2)，並裁切為 [0, N]。 n GPM 介紹部分的 distance' 可以是 wIdxL n offset2 = theta2＞＞1 n shift2 = log2(theta2) 再例如，量化後，W0[x][y] 定義為 ((distance’(x, y) + 16*theta2 + offset3) ＞＞ shift3)，並裁切為 [0, N]。 n GPM 介紹部分的 distance' 可以是 wIdxL n Offset3 可以是 N 右移 1。Shift3 可以是 log2(N)。以N等於32為例。 Offset3 將為 16，shift3 將為 5。 o 在另一個子實施例中，如果樣本(x，y)位於分區線上的混合區域(即，distance (x，y)等於0)，則W0[x][y]被定義為“「樣本」 (x,y)在第一預測區域內的混合區域” 的情況、“樣本(x,y)在第二預測區域內的混合區域”的情況，任何提出的實施例，或定義為相等權重(N ＞＞1)。

在第二方面中，提出如下幾個實施例來確定theta1和theta2的值。

在一個實施例中，theta1被預先定義為固定值(例如0、1/2、1/4、1、2、4或8)或由區塊級、SPS級、PPS級、APS級、PH級和/或SH 級語法指定。本實施例適用於theta 2。

在另一實施例中，theta1是從包括至少一個候選值的候選集中選擇的。本實施例適用於theta 2。

在一個子實施例中，候選集合包括{0、1/2、1/4、1、2、4或8}中的至少一個或上述值的任意組合。

在另一子實施例中，候選集合包括{a/b，a，b*a}中的至少一個或上述值的任意組合，其中a和b設定為正整數，例如a＝2和b = 4 。

在另一子實施例中，候選集合隨著塊寬度、塊高度和/或塊面積而變化。例如，當當前區塊的短邊等於或小於預定義閾值時，僅將較小的值包含在候選集合中；否則，候選集中僅包含較大的值。

在另一個實施例中，theta1可以與theta2相同或不同。允許不同的theta1和theta2值（允許不對稱的theta1和theta2）的好處是，不同視訊序列的最佳混合品質可能需要用於第一預測區域和第二預測區域的不同混合區域。例如，如果第一預測區域的面積較小，則theta1應該小於theta2。或者反過來，如果第一預測區域的面積較大，則theta1應該小於theta2。

在一個子實施例中，theta1和theta2分別具有它們自己的候選集(例如theta1_set和theta2_set)。例如，theta1_set和theta2_set的候選數量（即候選數量=候選集中的候選數量）可以不同。又例如，一個候選集是另一個候選集的子集。又例如，theta1_set和theta2_set的候選數量是相同的。

在另一個子實施例中，theta1和theta2共享單一候選集。例如，theta1 和 theta2 是相同的。又例如，theta1和theta2可以相同或不同。

在另一實施例中，候選集合的候選數量被定義為固定值（例如3或5)或由區塊層級、SPS級、PPS級、APS級、PH級、和/或SH 層級語法指定。

在另一個實施例中，theta1和theta2的選擇取決於明確訊號。

在一個子實施例中，在區塊級、SPS級、PPS級、APS級、PH級和/或SH級語法處以訊號發送兩個單獨的語法分別指示theta1和theta2。例如，theta1和theta2分別從包括{0,1,2,4,8}的候選集中選擇。發出索引（例如，index_theta1，範圍從 0 到 4）以從候選集中選擇一個值，並且發出索引（例如，index_theta2，範圍從 0 到 4）以從候選集中選擇一個值。

在一個子實施例中，在區塊級、SPS級、PPS級、APS級、PH級和/或SH級語法處用訊號發送語法以指示theta1和theta2的組合。 - theta1和theta 2是從包括{0,1,2,4,8}的候選集中選擇的。theta1和theta2的候選組合，表示為(theta1,theta2)，可以是 o (0, 0), (0, 1), (0, 2), (0, 4), (0, 8), (1, 0), (1, 1), (1, 2), ( 1 , 4), (1, 8), (2, 0), (2, 1), (2, 2), (2, 4), (2, 8), (4, 0), (4, 1 ), (4, 2), (4, 4), (4, 8), (8, 0), (8, 1), (8, 2), (8, 4), (8, 8) 。 (可以透過本發明中提出的其他方法來減少候選組合的數量。) - 用訊號通知索引（範圍從0到候選組合的數量-1）。 o 以一種方式，可以用截斷的一元編碼來用訊號通知索引。 o 以另一種方式，索引可以是上下文編碼的。 o 以另一種方式，候選組合以其模板成本按升序排序以形成重新排序的列表。 (模板成本測量可以參考本發明中與隱式推導規則相關的部分。)訊號指示的索引是指所使用的組合在重新排序的列表中的位置。編碼器和解碼器都基於模板建立相同的重新排序列表。 n 具有最小模板成本的候選組合使用所有候選組合中最短的碼字。

在另一個實施例中，theta1和theta2的選擇取決於隱式推導。

在一個子實施例中，模板匹配被用作隱式推導規則： - 步驟1：使用模板（或當前塊的相鄰區域，在當前塊之前編碼或解碼）來測量theta1和theta2的每個候選組合的成本。例如，從包括{0,1,2,4,8}的候選集中選擇theta1和theta2。 theta1和theta2的候選組合，表示為(theta1,theta2)，可以是 o (0, 0), (0, 1), (0, 2), (0, 4), (0, 8), (1, 0), (1, 1), (1, 2), ( 1 , 4), (1, 8), (2, 0), (2, 1), (2, 2), (2, 4), (2, 8), (4, 0), (4, 1 ), (4, 2), (4, 4), (4, 8), (8, 0), (8, 1), (8, 2), (8, 4), (8, 8) 。 (可以透過本發明中提出的其他方法來減少候選組合的數量。) - 步驟2：對於每個候選組合，根據模板的「預測」和重建之間的失真來計算模板成本。 o 透過將 GPM 與混合（即使用候選組合）應用於模板來產生「預測」。如第29圖所示，分區線延伸至模板。 o 失真可以是 SATD、SAD、MSE、SSE 或任何失真測量方程式/度量。 - 步驟3：theta1和theta2透過具有最小模板成本的組合隱含設定。

在另一實施例中，GPM變化/擴展可以是任何幀間或幀內模式，其 - 將當前塊分區成兩個具有分區方向的區域（即分區模式） - 分別透過不同的預測模式產生多個預測假設 o 預測模式是指運動候選、從一個或多個運動候選導出的運動資訊、幀內預測模式… - 組合預測的多個假設，形成當前塊的預測 o 與基於樣本的加權相結合。也就是說，每個樣本都會得到自己的權重 o 對於靠近分區方向的樣本，每個預測假設的組合權重不為零。也就是說，分區方向附近的預測樣本是基於一種預測模式的預測樣本和基於另一種預測模式的預測樣本的組合。

在一個子實施例中，GPM變化/擴展是指GPM-MMVD、GPM-TM、GPM-幀内或SGPM。

在另一個子實施例中，GPM變化/擴展是指GPM-幀内或SGPM。

在另一個實施例中，對於利用GPM和/或GPM變體/擴展中的任一個進行編碼的區塊，聯合索引用於指示「分區模式和用於多個預測假設的一個或多個預測模式」的組合、「來自分區模式的子集和用於多個預測假設的一個或多個預測模式」的組合或「用於多個預測假設的多於一種預測模式」的組合。

在一個子實施例中，使用SGPM對區塊進行編解碼。例如，該組合包括分區模式和兩個幀內預測模式。又例如，該組合包括兩種幀內預測模式。

在另一個子實施例中，區塊是用GPM-幀内編碼的。例如，該組合包括分區模式、運動候選/資訊和幀內預測模式。又例如，該組合包括運動候選/資訊和幀內預測模式。又例如，該組合包括分區模式和幀內預測模式。又例如，該組合包括分區模式和運動候選/資訊。

在另一個子實施例中，根據基於模板匹配的方法對組合列表進行重新排序。例如，根據基於模板匹配的方法對包含分區模式、運動候選/資訊和幀內預測模式的組合列表進行重新排序。又例如，根據基於模板匹配的方法對包括運動候選/資訊和幀內預測模式的組合列表進行重新排序，並且針對組合列表和用信號通知的分區模式確定模板匹配成本。又例如，根據基於模板匹配的方法對包括分區模式和幀內預測模式的組合列表進行重新排序，並且針對組合列表和用信號通知的運動候選/信息確定模板匹配成本。又例如，根據基於模板匹配的方法對包括分區模式和運動候選/信息的組合列表進行重新排序，並且針對組合列表和用信號通知的幀內預測模式確定模板匹配成本。

在另一個子實施例中，在位元流中以訊號通知/解析聯合索引。例如，聯合索引是用截斷的一元碼字來編碼的。以下範例顯示了最短碼字的組合範例。 o 在一個範例中，當使用GPM-幀内對區塊進行編解碼時，與最短碼字的組合包含預先定義模式。 n 預先定義模式可以是合併索引等於M的運動候選/資訊，其中M可以是正整數，例如0、1、…、或(合併候選者列表的大小-1)。 n 預先定義模式可以是幀內預測模式，例如平面、DC、水平、垂直、平行模式和垂直模式之一。 n 預先定義模式可以是垂直方向、水平方向或對角線方向的分區模式。 o 再例如，預先定義規則取決於區塊寬度、高度、面積、相鄰模式資訊。

在另一子實施例中，聯合索引指示來自組合列表的組合。例如，組合列表中的順序暗示了組合的訊號優先順序。也就是說，組合列表中第一位置的組合是用所有組合中最短的碼字來發送訊號通知/解析的。又例如，組合列表中第一個位置的組合是預先定義的。 o 以一種方式，當當前區塊是GPM-intra或SGPM時，在組合列表中的第一個位置預先定義平面、DC、水平、垂直、平行模式和垂直模式之一。 o 換句話說，預定義規則取決於區塊寬度、高度、面積、相鄰模式資訊。

又例如，用來指示組合列表中的第一位置處的組合的語法是利用一個或多個上下文來編碼的。 o 在一種方式中，上下文選擇取決於區塊寬度、高度、面積、相鄰模式資訊。 o 以另一種方式，一個或多個使用的上下文不被組合列表中的剩餘組合重複使用。

又例如，用於指示組合列表中的非第一位置處的組合的語法不使用上下文進行編碼。

在另一子實施例中，聯合索引指示來自根據基於模板匹配的方法的重新排序的組合列表的組合。例如，重新排序的組合列表中的順序暗示了組合的訊號優先順序。也就是說，組合列表中第一位置的組合是用所有組合中最短的碼字來發送訊號通知/解析的。又例如，用於指示組合列表中第一位置處的組合的語法是用一個或多個上下文來編碼的。 o 在一種方式中，上下文選擇取決於區塊寬度、高度、面積、相鄰模式資訊。 o 以另一種方式，一個或多個使用的上下文不被組合列表中的剩餘組合重複使用。

在另一個實施例中，對於使用GPM和/或GPM變體/擴展中的任一個進行編碼的區塊，使用索引來指示根據基於模板匹配的方法的預測模式的重新排序列表，其中模板匹配成本透過另一用訊號通知的索引來計算預測模式、以訊號通知的分區模式和另一個預測模式的列表中的預測模式，以指示另一預測模式的列表。

在另一個子實施例中，區塊是用GPM-intra編碼的。例如，預測模式列表包含一種或多種幀內預測模式，並且根據基於模板匹配的方法對列表進行重新排序，其中針對幀內預測模式列表中的幀內預測模式計算模板匹配成本，用信號通知的分區模式，以及幀間預測模式，其中幀間預測模式由訊號通知的索引確定以指示幀間預測模式的列表。

在另一個實施例中，建議統一GPM模式(例如GPM和/或不同的GPM變體/擴展)之間的設計。好處是，透過統一設計，電路可以由 GPM 和/或不同的 GPM 變體/擴展重複使用。

在另一個子實施例中，統一設計是指混合設計（例如，自適應混合過程）。例如，可以統一自適應混合過程中使用的候選集。 o 一方面，集合中的候選者是統一的。 n 對於統一，第一統一 GPM 模式的候選與第二統一 GPM 模式的候選的子集相同。 o 換句話說，集合中候選的數量是統一的。 n 對於統一，第一統一 GPM 模式的候選數量與第二統一 GPM 模式的候選數量相同。

又例如，可以統一從自適應混合過程中使用的候選集中挑選一個候選的選擇規則。 o 在一種方式中，第一統一GPM模式的選擇規則與第二統一GPM模式的候選的選擇規則相同。 o 以另一種方式，選擇規則取決於位元流中的訊號/解析。 o 換句話說，選擇規則取決於塊寬度、塊高度、塊面積或相鄰模式資訊。

在另一個子實施例中，統一設計是指候選列表的產生（例如，用於獲得預測假設的預測模式）。例如，候選列表用於產生GPM-Intra的幀內預測的假設以及產生SGPM的幀內預測的一個或多個假設。 o 在一種方式中，候選列表是IPM候選列表。 o 以另一種方式，候選列表是在正常幀內模式(例如，具有67種幀內預測模式的幀內模式編解碼或來自67種幀內預測模式的任何擴展，例如131種幀內預測模式)中使用的MPM列表或MPM列表的任何子集。 n 此子集可以是正常幀內模式中使用的MPM 列表中的前N 個候選，其中N 可以是任何正整數，例如1、2、3、4、5、6、... 或( size_of_MPM_list-1)。 o 另一種方式，候選列表包括相鄰模式資訊(例如相鄰幀內預測模式)，其中相鄰區塊可以是以下一種或多種，如第30圖所示。 n 左相鄰區塊（L）或與當前塊的左邊界相鄰的任何區塊 n 在相鄰區塊 (A) 或與當前塊的上述邊界相鄰的任何區塊 n 左下方相鄰區塊 (BL) n 右上方相鄰區塊 (AR) n 左上方相鄰區塊 (AL) o 以另一種方式，候選列表包括一個或多個DIMD幀內預測模式（即，具有兩個最高的直方圖條） o 以另一種方式，候選列表包括DC、HOR和VER中的一個或多個。

又例如，候選列表中的順序暗示候選的訊號發送或解析的優先權順序。也就是說，列表中第一個位置的候選會用所有候選中最短的碼字來發送訊號通知/解析。又例如，候選列表中位於第一位置的候選是預先定義的。 o 以一種方式，當當前區塊是GPM-intra或SGPM時，在候選列表中的第一個位置預先定義平面、DC、水平、垂直、平行模式和垂直模式之一。 o 換句話說，預定義規則取決於區塊寬度、高度、面積、相鄰模式資訊。

又例如，用來指示候選列表中第一位置處的候選的語法是利用一個或多個上下文來編碼的。 o 在一種方式中，上下文選擇取決於塊寬度、高度、面積、相鄰模式資訊。 o 以另一種方式，一個或多個使用的上下文不會被候選列表中的剩餘候選重複使用。

又例如，用於指示候選列表中的非第一位置處的候選的語法不使用上下文進行編解碼。

本發明所提出的方法可以與多個混合工具統一。例如，所提出的用於GPM、GPM擴展和/或空間GPM的方法是統一的。

在一個實施例中，本發明所提出的方法只能應用於所有候選分區線中的一些預定義分區線。

本發明所提出的方法可以依據隱式規則（例如塊寬度、高度或面積）或依據顯式規則（例如關於塊(block)、圖塊(tile)、片（slice）、圖片、SPS、或 PPS 等級的語法）。例如，當區塊面積大於閾值時，應用所提出的方法。又例如，當較長塊邊大於或等於閾值（例如2）乘以較短塊邊時，應用所提出的方法。

本發明中的術語「區塊」可以指TU/TB、CU/CB、PU/PB、預定義區域或CTU/CTB。

本發明中的AMVP類似於JVET-T2002 (VVC工具描述）中的「AMVP」。AMVP 運動來自語法「merge flag」等於 false 的運動候選（例如，VVC 中的general_merge_flag 等於 false）。

可以應用本發明中所提出的方法的任何組合。

任何前述提出的具有用於GPM幀內預測和SGPM的共享候選者列表的混合預測方法可以在編碼器和/或解碼器中實現。例如，所提出的具有用於GPM幀內預測和SGPM的共享候選者列表的任何混合預測方法可以在幀內/幀間編碼模組(第1A圖中的幀內預測150和/或幀間預測112)、編碼器、解碼器的幀內預測模組(第1B圖中的幀內預測150)和/或運動補償模組(第1B圖中的MC 152)中實現。或者，任何所提出的方法可以實現為耦合到編碼器的幀內/幀間編碼模組和/或運動補償模組、解碼器的合併候選導出模組的電路。

第31圖示出了根據本發明的實施例的利用用於GPM幀內預測和SGPM的共享候選者列表的示例性視頻編碼系統的流程圖。流程圖中所示的步驟可以實作為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟3110中，在編碼器側接收與當前塊相關聯的像素資料或在解碼器側接收與要解碼的當前塊相關聯的已編碼資料，其中對當前塊進行編碼使用包括第一編解碼工具和第二編解碼工具的多個編解碼工具之一。在步驟3120中確定共用幀內候選列表。在步驟3130中檢查當前塊是在第一編解碼工具模式還是第二編解碼工具模式中編碼。如果當前塊是在第一編解碼工具模式中編碼，則步驟3140至3144執行。如果當前塊是在第二編解碼工具中編碼的，則執行步驟3150至3154。在步驟3140中，根據第一目標分區將當前塊劃分為兩個區域。在步驟3142中，從共享幀內候選列表導出幀內預測的第一假設。在步驟3144中，使用包含幀內預測的所述第一假設的第一資訊來確定混合預測子。在步驟3150中，根據第二目標分區將當前塊劃分為兩個區域。在步驟3152中，從共享幀內候選列表導出幀內預測多於一個的第二假設。在步驟3154中，使用包含所述幀內預測的多於一個的第二假設的第二資訊來確定混合預測子。在步驟3160中，透過使用包含混合預測子的預測資料來對當前塊進行編碼或解碼。

所示流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或者集成到視頻壓縮軟件中的程序代碼以執行這裡描述的處理。本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟件代碼。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附權利要求而不是由前述描述來指示。落入權利要求等同物的含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環路濾波器 124:反量化（IQ） 126:反變換（IT） 128:重建(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 150:幀內預測 152:運動補償 210、410:當前CU 420:并置CU 430、440:運動向量 610: L0參考塊 620:L1參考塊 612、622:起點 710:塊 910、1010、1410、2010、2210、2810:當前塊 1110、1112:線 1122、1124、1126:箭頭 1120:圖例 1210、2710:當前CU 1310、1320、1330:分區組 1510:角度φ _i 1520:偏移量ρ _i 1530:塊的中心 1540GPM:分區邊界 1542、1544:線 2020:模板 2030、2040:區域 2060、2062、2052:像素 2050:窗口 2152:加法器 2120、2122、2124:幀內模式 2112:M1 2114:M2 2140:Pred1 2142:Pred2 2144:Pred3 2110:直方圖條 2130:參考像素 2150:加權因子（ω1,ω2與ω3） 2160:混合預測變量 2220、2222:參考樣本 2212、2214:預測樣本 2720:邊緣 2730、2732、2910:模板 2832:θ1線 2820:分區線 2830:-θ2線 3110-3160:步驟

第1A圖示出了結合循環處理的示例性自適應幀間/幀內視訊編碼系統。第1B圖示出了第1A圖中的編碼器的對應解碼器。第2圖示出了用於導出VVC的空間合併候選者的相鄰區塊。第3圖說明了VVC中冗餘校驗所考慮的可能候選對。第4圖示出了時間候選導出的範例，其中根據POC（圖片順序計數）距離導出縮放的運動向量。第5圖示出了在候選C0和C1之間選擇的時間候選的位置。第6圖示出了根據MVD合併模式(MMVD)在水平和垂直方向上與起始MV的距離偏移。第7A圖示出了由兩個控制點的運動資訊（4參數）所描述的塊的仿射運動場的範例。第7B圖示出了由三個控制點運動向量（6參數）的運動資訊所描述的塊的仿射運動場的範例。第8圖示出了基於塊的仿射變換預測的範例，其中每個4×4亮度子塊的運動向量是從控制點MV導出的。第9圖示出了基於相鄰區塊的控制點MV導出繼承仿射候選的範例。第10圖示出了透過組合來自空間鄰居和時間的每個控制點的平移運動資訊來建構仿射候選者的範例。第11圖示出了用於運動資訊繼承的仿射運動資訊儲存的範例。第12圖示出了根據頂部和左側相鄰區塊的編碼模式的組合幀間和幀內預測（CIIP）的權重值推導的範例。第13圖示出了VVC標準中使用的64個分區的範例，其中分區根據它們的角度進行分組，並且虛線表示冗餘分區。第14圖示出了幾何分區模式的單預測MV選擇的範例。第15圖示出了使用幾何劃分模式的彎曲權重的範例。第16圖示出了根據邊界周圍混合區域的離散斜坡函數的GPM混合過程的範例。第17圖示出了ECM 4.0中的GPM混合的GPM混合過程的範例。第18圖示出了VVC視訊編碼標準所採用的幀內預測模式。第19A-B圖示出了寬度大於高度的塊(第19A圖)和高度大於寬度的塊(第19B圖)的廣角幀內預測的範例。第20A圖顯示了當前塊選擇的模板的範例，其中模板包括當前塊上方的T行和當前塊左側的T列。第20B圖顯示了T=3的範例，並且針對中間行中的像素和中間列中的像素計算HoG（梯度直方圖）。第20C圖示出了角度幀內預測模式的幅度（ampl）的範例。第21圖示出了混合過程的範例，其中根據具有直方圖條的兩個最高條的索引來選擇兩個角度幀內模式（M1和M2）。第22圖顯示了基於模板的幀內模式導出（TIMD）模式的範例，其中TIMD在編碼器和解碼器兩者處使用相鄰模板隱含地導出CU的幀內預測模式。第23A圖示出了幀內子分區(ISP)的範例，其中區塊被水平或垂直地劃分成兩個子塊。第23B圖示出了幀內子分區(ISP)的範例，其中區塊被水平或垂直地劃分成四個子區塊。第24A-C圖示出了可用IPM候選的範例：相對於GPM塊邊界的平行角模式（平行模式，第24A圖）、相對於GPM塊邊界的垂直角模式（垂直模式，第24B圖）以及平面模式(第24C圖)。第24D圖示出了具有幀內和幀內預測的GPM的範例，其中幀內預測被限制以減少IPM的信令開銷和硬體解碼器成本。第25A圖顯示了在使用簡化方法之前用於空間GPM(SGPM)的語法編碼。第25B圖示出了空間GPM(SGPM)的簡化語法編碼的範例。第26圖示出了空間GPM(SGPM)的模板的範例。第27圖示出了模板上的邊緣從當前CU的模板延伸的範例，但在跨邊緣的模板區域中沒有使用GPM混合處理。第28圖示出了根據本發明的一個實施例的對於兩個混合區域具有單獨混合大小的自適應混合的範例。第29圖示出了根據本發明的一個實施例的基於模板和擴展混合區域來確定與各個混合尺寸相關聯的成本的範例。第30圖例示了用於候選列表的鄰近模式資訊的範例。第31圖示出了根據本發明的實施例的利用用於GPM幀內預測和SGPM的共享候選者列表的示例性視訊編碼系統的流程圖。

3110-3160:步驟

Claims

一種視訊編解碼方法，該方法包括：在編碼器側接收與當前塊相關的像素資料或在解碼器側接收與所述當前塊相關的待解碼的已編碼資料，其中，使用包括第一編解碼工具和第二編解碼工具的多個編解碼工具之一對所述當前塊進行編解碼；確定共享的幀内候選列表；響應於為所述當前塊選擇第一編解碼工具：根據第一目標分區將所述當前塊劃分為兩個區域；從所述共享幀內候選列表導出幀內預測的第一假設；以及使用包括所述幀內預測的第一假設的第一資訊來確定混合預測子；響應於為所述當前塊選擇第二編解碼工具：根據第二目標分區將所述當前塊劃分為兩個區域；從所述共享幀內候選列表導出幀內預測的多於一個的第二假設；以及使用包含所述幀內預測的多於一個的第二假設的第二資訊來確定混合預測子；以及透過使用包含混合預測子的預測資料來對所述當前塊進行編碼或解碼。
如請求項1所述的方法，其中所述共享幀內候選列表包括幀內最可能模式（MPM）或所述幀內MPM的子集。
如請求項1所述的方法，其中所述共享幀內候選列表包括67個幀內預測模式的任何子集。
如請求項1所述的方法，其中所述共享幀內候選列表包括根據任何預定義模板區域導出的一個或多個解碼器側幀內模式導出（DIMD）模式。
如請求項1所述的方法，其中所述共享幀內候選列表包括根據任何預定義模板區域導出的一個或多個基於模板的幀內模式導出（TIMD）模式。
如請求項1所述的方法，其中針對不同的塊大小確定不同的共享幀內候選列表。
如請求項1所述的方法，其中對所述共享幀內候選列表的候選應用重新排序過程。
如請求項7所述的方法，其中根據與所述共享幀內候選列表的候選相關聯的模板匹配成本對所述共享幀內候選列表的候選進行重新排序。
如請求項8所述的方法，其中向具有最小模板匹配成本的候選分配最短碼字。
如請求項8所述的方法，其中所述第一編解碼工具和所述第二編解碼工具使用統一信令，其中用信號發送或解析聯合索引以指示從重新排序的共享幀內候選列表中選擇的候選。
如請求項1所述的方法，其中，對所述第一編解碼工具和所述第二編解碼工具應用統一混合處理。
如請求項1所述的方法，其中所述共享幀內候選列表的每個候選包括分區模式和幀內預測模式。
如請求項1所述的方法，其中所述共享幀內候選列表的每個候選包括分區模式、運動候選/資訊和幀內預測模式。
如請求項1所述的方法，其中所述共享幀內候選列表的每個候選包括運動候選/資訊和幀內預測模式。
如請求項1所述的方法，其中所述共享幀內候選列表的每個候選包括分區模式和運動候選/資訊。
一種用於視訊編碼的設備，該設備包括一個或多個電子裝置或處理器，被佈置為：在編碼器側接收與當前塊相關的像素資料或在解碼器側接收與所述當前塊相關的待解碼的已編碼資料，其中，使用包括第一編解碼工具和第二編解碼工具的多個編解碼工具之一對所述當前塊進行編解碼；確定共享的幀内候選列表；響應於為所述當前塊選擇第一編解碼工具：根據第一目標分區將所述當前塊劃分為兩個區域；從共享幀內候選列表導出幀內預測的第一假設；以及使用包括所述幀內預測的第一假設的第一資訊來確定混合預測子；響應於為所述當前塊選擇第二編解碼工具：根據第二目標分區將所述當前塊劃分為兩個區域；從共享的幀內候選列表中導出幀內預測的多於一個的第二假設；以及使用包含所述幀內預測的多於一個的第二假設的第二資訊來確定混合預測子；以及透過使用包含所述混合預測子的預測資料來對所述當前塊進行編碼或解碼。