TWI830558B

TWI830558B - 視頻編解碼系統中多重假設預測的方法和裝置

Info

Publication number: TWI830558B
Application number: TW111150370A
Authority: TW
Inventors: 江嫚書; 徐志瑋
Original assignee: 聯發科技股份有限公司
Priority date: 2021-12-29
Filing date: 2022-12-28
Publication date: 2024-01-21
Also published as: US20230209060A1; CN116366836A; TW202327360A

Abstract

公開了一種用於預測編解碼的方法和裝置。根據該方法，確定組合預測成員，其中每個組合預測成員包括使用從權重集中選擇的目標權重的第一預測候選和第二預測候選的權重和。確定與組合預測成員相關聯的邊界匹配成本，其中，針對具有目標權重的組合預測成員，通過使用基於具有目標權重的組合預測成員的當前塊的預測樣本和當前塊的相鄰重建樣本來確定每個邊界匹配成本。然後使用基於至少一個邊界匹配成本決定的最終組合預測來編碼或解碼當前塊。

Description

視頻編解碼系統中多重假設預測的方法和裝置

本發明涉及視頻編解碼系統。特別地，本發明涉及多重假設的預測編解碼。

通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編解碼標準。該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術-沉浸式媒體的編碼表示 - 第 3 部分：通用視頻編碼，2021 年 2 月發布。VVC 是在其前身 HEVC（High Efficiency Video Coding）基礎上，通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括 3 維（3D）視頻信號。

第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測110，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視頻資料。重建的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重建視頻資料可能會受到各種損害。因此，環路濾波器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。

如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換 118 和量化 120 之外，因為解碼器只需要逆量化 124 和逆變換 126。代替熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC 152）而無需運動估計。

根據 VVC，類似於 HEVC，輸入圖片被劃分為稱為 CTU (編碼樹單元）的非重疊方形塊區域。每個 CTU 都可以劃分為一個或多個較小尺寸的編碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。

VVC標準合併了各種新的編碼工具以進一步提高超過HEVC標準的編碼效率。在各種新的編碼工具中，與本發明相關的一些編碼工具綜述如下。

幀間預測概述

根據 JVET-T2002 第 3.4 節，（Jianle Chen 等人，“通用視頻編碼和測試模型 11 (VTM 11) 的算法描述”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 的聯合視頻專家組 (JVET) , 第20次會議，電話會議，2020年10月7–16日，檔案: JVET-T2002), 針對每一幀間預測CU，運動參數包含運動向量、參考圖片索引以及參考圖片列表使用標識，以及需要的額外信息 VVC 的新編碼功能用於幀間預測樣本生成。可以以顯式或隱式方式用信號通知運動參數。當 CU 以跳過（skip）模式編碼時，CU 與一個 PU相關聯並且沒有顯著的殘差係數，沒有編碼的運動向量增量或參考圖片索引。指定合併模式，當前 CU 的運動參數是從相鄰 CU 獲得的，包括空間和時間候選，以及 VVC 中引入的附加調度。合併模式可以應用於任何幀間預測的 CU，而不僅僅是跳過模式。合併模式的替代方案是運動參數的顯式傳輸，其中運動向量、每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標識以及其他所需信息按每個 CU 顯式發送。除了 HEVC 中的幀間編碼功能外，VVC 還包括許多新的和改進的幀間預測編碼工具，如下所列： – 擴展合併預測（Extended merge prediction） – 與 MVD (MMVD) 的合併模式（Merge mode with MVD (MMVD)） – 對稱 MVD (SMVD) 信令（Symmetric MVD (SMVD) signalling） – 仿射運動補償預測（Affine motion compensated prediction） – 基於子塊的時間運動向量預測 (SbTMVP)（Subblock-based temporal motion vector prediction (SbTMVP)） – 自適應運動向量分辨率 (AMVR)（Adaptive motion vector resolution (AMVR)） – 運動場存儲：1/16 亮度樣本 MV 存儲和 8x8 運動場壓縮 – CU級權重雙向預測（BCW）（Bi-prediction with CU-level weight (BCW)） – 雙向光流 (BDOF)（Bi-directional optical flow (BDOF)） – 解碼器側運動向量細化 (DMVR)（Decoder side motion vector refinement (DMVR)） – 幾何分區模式 (GPM) Geometric partitioning mode (GPM) – 組合幀間和幀內預測 (CIIP)（Combined inter and intra prediction (CIIP)）

下面的描述提供了在 VVC 中指定的那些幀間預測方法的細節。

擴展合併預測

在VVC中，合併候選列表是通過依次包括以下五類候選來構建的： 1) 來自空間相鄰 CU 的空間 MVP 2) 來自並置 CU 的時間 MVP 3) 來自 FIFO 表的基於歷史的 MVP 4) 成對平均 MVP 5）零MV。

合併列表的大小在序列參數集（SPS)報頭中用信號通知並且合併列表的最大允許大小是6。對於在合併模式中編碼的每個CU，使用截斷一元二值化對最佳合併候選的索引進行編碼（TU）。合併索引的第一個二進制字符串（以下簡稱為bin）使用上下文編碼，旁路編碼用於其餘 bin。

本環節提供了每個類別的合併候選的推導過程。與在 HEVC 中所做的一樣，VVC 還支持為一定大小的區域內的所有 CU 並行推導合併候選列表（或稱為合併候選列表）。

空間候選推導

除了交換前兩個合併候選的位置之外，VVC中空間合併候選的導出與HEVC中的相同。在位於第2圖所示位置的候選中選擇當前CU 210的最多四個合併候選（B ₀、A ₀、B ₁和A ₁）。導出的順序是B ₀、A ₀、B ₁、A ₁和B ₂。位置 B ₂僅在位置 B ₀、A ₀、B ₁、A ₁的一個或多個相鄰 CU 不可用（例如，屬於另一個切片或瓦片）或被幀內編碼時才被考慮。添加位置A ₁的候選後，對剩餘候選的添加進行冗餘校驗，保證具有相同運動信息的候選被排除在列表之外，從而提高編碼效率。為了降低計算複雜度，在提到的冗餘檢查中並未考慮所有可能的候選對。相反，僅考慮第3圖中用箭頭鏈接的對，並且僅當用於冗餘檢查的相應候選不具有相同運動信息時才將候選添加到列表中。

時間候選推導

在該步驟中，僅將一個候選添加到列表中。具體地，在針對當前CU 410的該時間合併候選的推導中，基於屬於如第4圖所示的並置參考圖片（collocated reference picture）的并置CU 420推導縮放運動向量（scaled motion vector）。用於推導并置 CU的參考圖片列表（reference picture list）和參考圖片的索引（reference index）在切片標頭中明確以信號發送。如第4圖中的虛線所示，獲得時間合併候選的縮放運動向量 430，其使用 POC（圖片順序計數，Picture Order Count）距離 tb 和 td 從并置 CU 的運動向量 440 縮放，其中tb定義為當前圖片的參考圖片與當前圖片的POC差，td定義為并置（co-located）圖片的參考圖片與并置圖片的POC差。時間合併候選的參考圖片索引設置為等於零。

時間候選的位置在候選 C ₀和 C ₁之間選擇，如第5圖所示。如果位置 C ₀的 CU 不可用、被幀內編碼或在當前 CTU 行之外，則使用位置 C ₁。否則，位置 C ₀用於推導時間合併候選。

基於歷史的合併候選推導

基於歷史的MVP(HMVP)合併候選被添加到空間MVP和TMVP之後的合併列表。在該方法中，先前編碼塊的運動信息存儲在表中並用作當前CU的MVP。在編碼/解碼過程中維護具有多個 HMVP 候選的表。當遇到新的 CTU 行時，該表將被重置（清空）。每當存在非子塊幀間編碼 CU 時，相關聯的運動信息將作為新的 HMVP 候選添加到表的最後一個條目。

HMVP表大小S被設置為6，這指示最多5個基於歷史的MVP(HMVP)候選可以被添加到表中。當向表中插入新的運動候選時，使用受約束的先進先出（FIFO）規則，其中首先應用冗餘檢查以查找表中是否存在相同的HMVP。如果找到，相同的HMVP被從表中移除並且之後的所有HMVP候選被向前移動，並且相同的HMVP被插入到表的最後條目。

HMVP候選可以用於合併候選列表構建過程。依次檢查表中最新的幾個HMVP候選，並在TMVP候選之後插入到候選列表中。冗餘檢查應用於 HMVP 候選至空間或時間合併候選。

為了減少冗餘校驗操作的數量，引入以下簡化： 1. 表中的最後兩個條目分別針對 A ₁和 B ₁空間候選進行冗餘檢查。 2.一旦可用合併候選的總數達到最大允許合併候選的數量-1，HMVP的合併候選列表構造過程終止。

成對平均合併候選推導

通過使用前兩個合併候選對現有合併候選列表中的預定義候選對進行平均來生成成對平均候選。第一個合併候選定義為 p0Cand，第二個合併候選可以分別定義為 p1Cand。根據p0Cand和p1Cand的運動向量的可用性分別針對每個參考列表計算平均運動向量。如果兩個運動向量在一個列表中都可用，則即使這兩個運動向量指向不同的參考圖片，也對其進行平均，並將其參考圖片設置為 p0C 和 p0C 之一；如果只有一個運動向量可用，則直接使用一個；如果沒有可用的運動向量，則保持此列表無效。此外，如果 p0Cand 和 p1Cand 的半像素插值濾波器索引不同，則將其設置為 0。

當添加成對平均合併候選後合併列表未滿時，將零個MVP插入最後直到遇到最大合併候選數。

合併估計區域

合併估計區域（MER)允許獨立推導同一合併估計區域（MER)中的CU的合併候選列表。在當前CU的合併候選列表的生成中不包括與當前CU在相同MER內的候選塊。此外，僅當 (xCb + cbWidth) ＞＞ Log2ParMrgLevel 大於 xCb ＞＞ Log2ParMrgLevel 和 ( yCb + cbHeight ) ＞＞ Log2ParMrgLevel 大於 ( yCb ＞＞ Log2ParMrgLevel )，其中 ( xCb, yCb ) 是圖片中當前 CU 的左上角亮度樣本位置， ( cbWidth, cbHeight ) 是 CU 大小。 MER 大小在編碼器端選擇，並在序列參數集 (SPS) 中作為 log2_parallel_merge_level_minus2 發出信號。

具有 MVD 的合併模式 (MMVD)

除了其中隱式導出的運動信息被直接用於當前CU的預測樣本生成的合併模式之外，在VVC中引入了具有運動向量差(MMVD)的合併模式。在發送常規合併標識後立即發出 MMVD 標識，以指定 MMVD 模式是否用於 CU。

在MMVD中，在選擇了合併候選之後，通過用信號發送的MVD信息對其進行進一步細化。進一步的信息包括合併候選標識、用於指定運動幅度的索引和用於指示運動方向的索引。在 MMVD 模式下，合併列表中的前兩個候選中的一個被選擇用作 MV 基礎。發出 MMVD 候選標識以指定在第一和第二合併候選之間使用哪一個。

距離索引指定運動幅度信息並且指示從L0參考塊610和L1參考塊620的起點（612和622)的預定義偏移。如第6圖所示，偏移被添加到起始 MV 的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量的關係在表 1 中指定。表 1 – 距離索引與預定義偏移量的關係

距離索引	0	1	2	3	4	5	6	7
偏移(以亮度樣本為單位)	1/4	1/2	1	2	4	8	16	32

方向指數表示 MVD 相對於起始點的方向。方向索引可以表示如表2所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的信息而變化。當起始 MV 是非預測 MV 或雙預測 MV，兩個列表都指向當前圖片的同一側（即兩個參考的 POC 均大於當前圖片的 POC，或均小於當前圖片的 POC），表 2 中的符號指定添加到起始 MV 的 MV 偏移量的符號。當起始 MV 是雙向預測 MV，兩個 MV 指向當前圖片的不同側（即一個參考的 POC 大於當前圖片的 POC，另一個參考的 POC 小於當前圖片的 POC），並且列表0（可簡稱為list 0或L0）中POC的差異大於列表1（可簡稱為list 1或L1）中的POC，表2中的符號指定添加到起始MV的列表0的MV分量的MV偏移量的符號和列表1的MV的符號有相反的值。否則，如果列表1中的POC之差大於列表0，則表2中的符號指定添加到起始MV的列表1 MV分量的MV偏移量的符號與列表0MV的符號具有相反的值。

MVD是根據每個方向上的POC的差異來縮放的。如果兩個列表中 POC 的差異相同，則不需要縮放。否則，如果列表 0 中的 POC 差異大於列表 1 中的差異，則通過將 L0 的 POC 差異定義為 td 並將 L1 的 POC 差異定義為 tb 來縮放列表 1 的 MVD，如第5圖所示。如果 L1 的 POC 差異大於 L0，則列表 0 的 MVD 以相同的方式縮放。如果起始 MV 是單向預測的，則將 MVD 添加到可用 MV。表 2 – 方向索引指定的 MV 偏移符號

方向索引	00	01	10	11
X軸	+	−	N/A	N/A
Y軸	N/A	N/A	+	−

仿射運動 補償預測

在HEVC中，僅平移運動模型被應用於運動補償預測（MCP)。而在現實世界中，有很多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在 VVC 中，應用基於塊的仿射變換運動補償預測。如圖所示。在第7A-B圖中，塊710的仿射運動域由第7A圖中的兩個控制點(4參數)的運動信息或第7B圖中的三個控制點運動向量(6參數)描述。

對於4參數仿射運動模型，塊中樣本位置(x，y)處的運動向量被導出為： (1)

對於6參數仿射運動模型，塊中樣本位置(x，y)處的運動向量被導出為： (2)

其中(mv _0x，mv _0y)為左上角控制點的運動向量，(mv _1x，mv _1y)為右上角控制點的運動向量，(mv _2x，mv _2y)為底部-左角控制點的運動向量。

為了簡化運動補償預測，應用基於塊的仿射變換預測。為了導出每個 4×4 亮度子塊的運動向量，每個子塊的中心樣本的運動向量，如第8圖所示，根據上述等式計算，並四捨五入到 1/16 分數精度。然後，應用運動補償插值濾波器以生成具有導出的運動向量的每個子塊的預測。色度分量的子塊大小也設置為 4×4。 4×4 色度子塊的 MV 計算為並置 8x8 亮度區域中左上角和右下角亮度子塊的 MV 的平均值。

對於平移運動幀間預測，也有兩種仿射運動幀間預測模式：仿射合併模式和仿射AMVP模式。

仿射合併 預測 (AF_MERGE)

AF_MERGE模式可以應用於寬度和高度都大於或等於8的CU。在該模式下，基於空間相鄰CU的運動信息生成當前CU的CPMV(控制點MV)。最多可以有五個 CPMVP（CPMV 預測）候選，並且用信號發送一個索引以指示要用於當前 CU 的那個。下面三種類型的CPVM候選被用來構成仿射合併候選列表： – 從相鄰 CU 的 CPMV 推斷出的繼承仿射合併候選 – 使用相鄰 CU 的平移 MV 派生的構造仿射合併候選 CPMVP – 零MV

在VVC中，最多有兩個繼承的仿射候選，它們來自相鄰塊的仿射運動模型，一個來自左相鄰CU，一個來自上方相鄰CU。候選塊與第2圖所示相同。對於左預測子，掃描順序為A ₀-＞A ₁，對於上預測子，掃描順序為B0-＞B1-＞B2。僅選擇每一方的第一個繼承候選。在兩個繼承的候選之間不執行修剪檢查(pruning check)。識別相鄰的仿射 CU 時，其控制點運動向量用於導出當前 CU 的仿射合併列表中的 CPMVP 候選。如第9圖所示，如果當前塊910的左下相鄰塊A以仿射模式編碼，則獲得CU 920的左上角、右上角和包含塊 A的左下角的運動向量v ₂、v ₃和v ₄。當塊A採用4參數仿射模型編碼時，根據v ₂、v ₃計算當前CU的兩個CPMV（即v ₀和v ₁）。在塊A採用6參數仿射模型編碼的情況下，根據v ₂、v ₃、v ₄計算當前CU的三個CPMV。

構造仿射候選是指通過結合每個控制點的相鄰平移運動信息來構造候選。如第10圖所示，控制點的運動信息是從當前塊 1010 的指定空間鄰居和時間鄰居導出的。CPMV _k（k=1、2、3、4）表示第 k 個控制點。對於 CPMV ₁，檢查 B2-＞B3-＞A2 塊並使用第一個可用塊的 MV。對於 CPMV ₂，檢查 B1-＞B0 塊，對於 CPMV ₃，檢查 A1-＞A0 塊。如果 TMVP 可用，則將其用作 CPMV ₄。

在獲得四個控制點的 MV 後，基於運動信息構建仿射合併候選。以下控制點MV的組合用於按順序構建： {CPMV ₁, CPMV ₂, CPMV ₃}, {CPMV ₁, CPMV ₂, CPMV ₄}, {CPMV ₁, CPMV ₃, CPMV ₄}, {CPMV ₂, CPMV ₃, CPMV ₄}, { CPMV ₁, CPMV ₂}, { CPMV ₁, CPMV ₃}

3個CPMV的組合構造了6參數仿射合併候選並且2個CPMV的組合構造了4參數仿射合併候選。為了避免運動縮放過程，如果控制點的參考索引不同，則丟棄控制點MV的相關組合。

檢查繼承的仿射合併候选和構造的仿射合併候選後，如果列表仍未滿，則將零個MV插入到列表的末尾。

仿射 AMVP 預測

仿射 AMVP 模式可以應用於寬度和高度都大於或等於 16 的 CU。CU 級的仿射標識在位元流中用信號發送以指示是否使用仿射 AMVP 模式，然後另一個標識用信號發送以指示是使用 4 參數仿射還是 6 參數仿射。在這種模式下，當前 CU 的 CPMV 與其預測變量 CPMVP 的差異在位元流中用信號表示。仿射AVMP候選列表大小為2，由以下四種CPVM候選依次生成： – 從相鄰 CU 的 CPMV 推斷出的繼承仿射 AMVP 候選 – 構建的仿射 AMVP 候選 CPMVP 使用相鄰 CU 的平移 MV 導出 – 來自相鄰 CU 的平移 MV – 零MV

繼承仿射AMVP候選的檢查順序與繼承仿射合併候選的檢查順序相同。唯一的區別是，對於 AVMP 候選，僅考慮與當前塊具有相同參考圖片的仿射 CU。將繼承的仿射運動預測插入候選列表時，不應用裁剪過程。

構造的 AMVP 候選是從第10圖中所示的指定空間鄰居導出的。使用與仿射合併候選構造中相同的檢查順序。此外，還檢查相鄰塊的參考圖片索引。在檢查順序中，使用幀間編碼並具有與當前 CU 中相同的參考圖片的第一個塊。當當前CU使用4參數仿射模式編碼，並且和都可用時，將它們作為一個候選添加到仿射AMVP列表中。當當前 CU 使用 6 參數仿射模式編碼，並且所有三個 CPMV 都可用時，它們將作為一個候選添加到仿射 AMVP 列表中。否則，將構建的 AMVP 候選設置為不可用。

如果插入有效繼承的仿射AMVP候选和構造的AMVP候選後，仿射AMVP候選列表的數量仍然小於2，則會添加 , 與作為平移MV以便在可用時預測當前 CU 的所有控制點 MV。最後，如果仿射 AMVP 列表仍未滿，則使用零 MV 來填充它。

仿射運動 信息存儲

在 VVC 中，仿射 CU 的 CPMV 存儲在單獨的緩衝區中。存儲的 CPMV 僅用於在仿射合併模式和仿射 AMVP 模式下為最近編碼的 CU 生成繼承的 CPMVP。從 CPMV 導出的子塊 MV 用於運動補償、平移 MV 的合併/ AMVP 列表的 MV 導出和去塊。

為了避免額外的 CPMV 的圖片行緩衝區，從上述 CTU 的 CU 繼承的仿射運動資料被區別對待，以從正常的相鄰 CU 繼承。如果用於仿射運動資料繼承的候選 CU 在上述 CTU 行中，則行緩衝區中的左下和右下子塊 MV 而不是 CPMV 用於仿射 MVP 推導。這樣，CPMV 僅存儲在本地緩衝區中。如果候選 CU 是 6 參數仿射編碼，則仿射模型退化為 4 參數模型。如第11圖所示，沿著頂部 CTU 邊界，CU 的左下和右下子塊運動向量用於底部 CTU 中 CU 的仿射繼承。在第11圖中，第1110行和第1112行表示原點(0，0)在左上角的圖片的x和y坐標。圖例1120顯示了各種運動向量的含義，其中箭頭1122表示局部緩衝區中用於仿射繼承的CPMV，箭頭1124表示用於局部緩衝區中的MC/合并/跳過MVP/去塊/TMVP和仿射的子塊向量行緩衝器中的繼承，箭頭1126代表MC/合并/跳過MVP/去塊/TMVP的子塊向量。

自適應運動向量分辨率 (AMVR)

在 HEVC 中，當切片標頭中的 use_integer_mv_flag 等於 0 時，（CU 的運動向量和預測運動向量之間的）運動向量差（MVD)以四分之一亮度樣本為單位用信號發送。在VVC中，引入了CU級自適應運動向量分辨率（AMVR）方案。 AMVR 允許 CU 的 MVD 以不同的精度進行編碼。根據當前 CU 的模式（普通 AMVP 模式或仿射 AVMP 模式），當前 CU 的 MVD 可以自適應地選擇如下： – 正常 AMVP 模式：四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本。 – 仿射 AMVP 模式：四分之一亮度樣本、整數亮度樣本或 1/16 亮度樣本。

如果當前CU具有至少一個非零MVD分量，則有條件地用信號通知CU級MVD分辨率指示。如果所有 MVD 分量（即，參考列表 L0 和參考列表 L1 的水平和垂直 MVD）均為零，則推斷出四分之一亮度樣本 MVD 分辨率。

對於具有至少一個非零MVD分量的CU，用信號發送第一標識以指示四分之一亮度樣本MVD精度是否用於CU。如果第一個標識為 0，則不需要進一步的信號傳輸，並且四分之一亮度樣本 MVD 精度用於當前 CU。否則，發出第二個標識以指示將半亮度樣本或其他 MVD 精度（整數或四亮度樣本）用於正常的 AMVP CU。在半亮度樣本的情況下，半亮度樣本位置使用 6 抽頭插值濾波器而不是默認的 8 抽頭插值濾波器。否則，用信號發送第三個標識以指示是將整數亮度樣本還是四亮度樣本 MVD 精度用於正常 AMVP CU。在仿射 AMVP CU 的情況下，第二個標識用於指示是否使用整數亮度樣本或 1/16 亮度樣本 MVD 精度。為了確保重建的 MV 具有預期的精度（四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本），CU 的運動向量預測因子將四捨五入為相同的、與 MVD 相加之前的 MVD 精度。運動向量預測值向零舍入（即，負運動向量預測值向正無窮大捨入，正運動向量預測值向負無窮大捨入）。

編碼器使用RD檢查確定當前CU的運動向量分辨率。為了避免總是對每個 MVD 分辨率執行四次 CU 級 RD 檢查，除四分之一亮度樣本之外的 MVD 精度的 RD 檢查僅在 VTM11 中有條件地調用。對於正常的 AVMP 模式，首先計算四分之一亮度樣本 MVD 精度和整數亮度樣本 MV 精度的 RD 成本。然後，將整數亮度樣本MVD精度的RD成本與四分之一亮度樣本MVD精度的RD成本進行比較，以決定是否有必要進一步檢查四亮度樣本MVD精度的RD成本。當四分之一亮度樣本 MVD 精度的 RD 成本遠小於整數亮度樣本 MVD 精度的 RD 成本時，將跳過四亮度樣本 MVD 精度的 RD 檢查。然後，如果整數亮度樣本 MVD 精度的 RD 成本明顯大於先前測試的 MVD 精度的最佳 RD 成本，則跳過半亮度樣本 MVD 精度的檢查。對於仿射AMVP模式，如果在檢查仿射合併/跳過模式、合併/跳過模式、四分之一亮度樣本MVD精度正常的AMVP模式和四分之一亮度樣本MVD精度的率失真成本後未選擇仿射幀間模式、仿射 AMVP 模式，則不檢查 1/16 亮度樣本 MV 精度和 1 像素 MV 精度仿射幀間模式。此外，在四分之一亮度樣本MV精度仿射幀間模式中獲得的仿射參數被用作1/16亮度樣本和四分之一亮度樣本MV精度仿射幀間模式的起始搜索點。

具有 CU 級權重的雙向預測 (BCW)

在HEVC中，雙預測信號是通過對從兩個不同參考圖片和/或使用兩個不同運動向量獲得的兩個預測信號進行平均而生成的。在 VVC 中，雙預測模式被擴展到簡單的平均之外，以允許對兩個預測信號進行加權平均。

(3)

加權平均雙向預測允許五個權重，wϵ{-2,3,4,5,10}。對於每個雙向預測的 CU，權重 w 由以下兩種方式之一確定：1）對於非合併 CU，權重索引在運動向量差異之後發出信號； 2）對於合併CU，權重索引是根據合併候選索引從相鄰塊中推斷出來的。 BCW 僅適用於具有 256 個或更多亮度樣本的 CU（即，CU 寬度乘以 CU 高度大於或等於 256）。對於低延遲圖片，使用所有 5 個權重。對於非低延遲圖片，僅使用 3 個權重 (w ϵ {3,4,5})。在編碼器處，應用快速搜索算法來查找權重索引，而不會顯著增加編碼器的複雜性。這些算法總結如下。詳細信息在 VTM軟體和文件 JVET-L0646 中公開（Yu-Chi Su 等人，“CE4 相關：廣義雙向預測改進結合了 JVET-L0197 和 JVET-L0296”，聯合視頻專家組（ JVET) of ITU-T SG 16 WP 3 與 ISO/IEC JTC 1/SC 29, 第十二次會議：澳門，2018年10月3-12，檔案: JVET-L0646)。 – 當與 AMVR 結合時，如果當前圖片是低延遲圖片，則僅針對 1 像素和 4 像素運動向量精度有條件地檢查不等權重。 – 當與仿射相結合時，當且僅當選擇仿射模式作為當前最佳模式時，才會對不等權重執行仿射 ME。 – 當雙向預測中的兩個參考圖片相同時，僅有條件地檢查不相等的權重。 – 當滿足某些條件時不搜索不等權重，這取決於當前圖片與其參考圖片之間的 POC 距離、編碼 QP 和時間級別。

BCW 權重索引使用一個上下文編碼的bin和旁路編碼的bin進行編碼。第一個上下文編碼的bin指示是否使用相等的權重；如果使用了不等權重，則使用旁路編碼向附加箱(box)信號，以指示使用了哪個不等權重。

權重預測 (WP) 是一種受 H.264/AVC 和 HEVC 標準支持的編碼工具，可有效地對具有衰落的視頻內容進行編碼。對 WP 的支持也被添加到 VVC 標準中。WP允許為每個參考圖片列表 L0 和 L1 中的每個參考圖片發送權重參數（權重和偏移）。然後，在運動補償期間，應用相應參考圖片的權重和偏移。 WP 和 BCW 專為不同類型的視頻內容而設計。為了避免 WP 和 BCW 之間的交互，這會使 VVC 解碼器設計複雜化，如果 CU 使用 WP，則不通知 BCW 權重索引，並且權重 w 被推斷為 4（即應用相等的權重）。對於合併 CU，權重索引是根據合併候選索引從相鄰塊中推斷出來的。這可以應用於普通合併模式和繼承仿射合併模式。對於構造的仿射合併模式，仿射運動信息是基於最多3個塊的運動信息構造的。使用構造的仿射合併模式的 CU 的 BCW 索引被簡單地設置為等於第一個控制點 MV 的 BCW 索引。

在 VVC 中，CIIP 和 BCW 不能聯合申請一個 CU。當一個CU使用CIIP模式編碼時，當前CU的BCW索引設置為2，即對於相等權重w=4。相等權重暗示 BCW 指數的默認值。

組合幀間和幀內預測 (CIIP)

在VVC中，當CU以合併模式編碼時，如果CU包含至少64個亮度（luma）樣本（即CU寬度乘以CU高度等於或大於64），並且如果CU寬度和CU高度都小於 128 個亮度樣本，一個額外的標識被發送以指示組合幀間/幀內預測 (CIIP) 模式是否應用於當前 CU。正如其名稱所示，CIIP 預測將幀間預測信號與幀內預測信號組合在一起。 CIIP 模式中的幀間預測信號是使用應用於常規合併模式的相同幀間預測過程導出的；並且幀內預測信號是在具有平面模式的常規幀內預測過程之後導出的。然後，使用權重平均組合幀內和幀間預測信號，其中權重值 wt根據當前CU 1210的頂部和左側相鄰塊（如第12圖所示）的編碼模式計算如下： – 如果頂部鄰居可用且幀內編碼，則將 isIntraTop 設置為 1，否則將 isIntraTop 設置為 0； – 如果左鄰居可用且幀內編碼，則將isIntraLeft設置為1，否則將isIntraLeft設置為0； – 如果(isIntraLeft + isIntraTop)等於2，則 wt設置為3； – 否則，如果 (isIntraLeft + isIntraTop) 等於 1，則 wt設置為 2； – 否則，將 wt設置為 1。

CIIP預測形成如下： (4)

CCLM （跨組件線性模型）

CCLM 模式（有時縮寫為 LM 模式）背後的主要思想是彩色圖片的顏色分量（例如 Y/Cb/Cr、YUV 和 RGB）之間通常存在某種相關性。這些顏色在本公開中可以稱為第一顏色、第二顏色和第三顏色。 CCLM 技術通過線性模型從並置的重建亮度樣本預測塊的色度分量來利用相關性，線性模型的參數源自與塊相鄰的已重建亮度和色度樣本。

在 VVC 中，CCLM 模式通過從重建的亮度樣本中預測色度樣本來利用通道間依賴性。該預測是使用以下形式的線性模型進行的 . (5)

這裡，表示 CU 中的預測色度樣本，而表示同一 CU 的重建亮度樣本，這些樣本針對非 4： 4:4 彩色格式的情況進行了下採樣。模型參數 a 和 b 是基於編碼器和解碼器端重建的相鄰亮度和色度樣本導出的，沒有顯式信令。

VVC 中指定了三種 CCLM 模式，即 CCLM_LT、CCLM_L 和 CCLM_T。這三種模式在用於模型參數推導的參考樣本的位置方面有所不同。僅來自頂部邊界的樣本涉及 CCLM_T 模式，僅來自左邊界的樣本涉及 CCLM_L 模式。在 CCLM_LT 模式下，使用來自頂部邊界和左側邊界的樣本。

總體而言，CCLM模式的預測過程包括三個步驟： 1) 亮度塊及其相鄰重建樣本的下採樣以匹配相應色度塊的大小， 2）基於重建的相鄰樣本的模型參數推導，以及 3)應用模型方程(1)生成色度幀內預測樣本。

亮度分量的下採樣：為了匹配 4:2:0 或 4:2:2 彩色格式視頻序列的色度樣本位置，可以對亮度樣本應用兩種類型的下採樣濾波器，它們都具有水平和垂直方向上的 2 比 1 下採樣率。這兩個濾波器分別對應於「類型-0（type-0）」和「類型-2（type-2）」4:2:0 色度格式內容，分別由 . (6)

基於 SPS 級標識信息，二維 6 階（即 f ₂ ）或 5 階（即 f ₁ ）濾波器應用於當前塊內的亮度樣本及其相鄰亮度樣本。 SPS-級指的是序列參數集級別（Sequence Parameter Set level）。如果當前塊的上方行是 CTU 邊界，則會發生異常。在這種情況下，一維濾波器應用於上述相鄰亮度樣本，以避免在 CTU 邊界上方使用多個亮度隊列。

模型參數推導過程：來自等式 (5) 的模型參數a和b 基於編碼器和解碼器端重建的相鄰亮度和色度樣本導出，以避免需要任何信令開銷。在最初採用的 CCLM 模式版本中，線性最小均方誤差 (LMMSE) 估計器用於參數的推導。然而，在最終設計中，只涉及四個樣本以降低計算複雜度。第13圖顯示了 M×N 色度塊 1310、相應的 2M×2N 亮度塊 1320 及其「類型 0」內容的相鄰樣本（顯示為實心圓和三角形）的相對樣本位置。

在第13圖的示例中，顯示了在 CCLM_LT 模式中使用的四個樣本，它們用三角形標記。它們位於上邊界M/4和M∙3/4的位置，以及左邊界N/4和N∙3/4的位置。在CCLM_T和CCLM_L模式下，上邊界和左邊界被擴展到(M+N)個樣本的大小，用於模型參數推導的四個樣本位於(M+N)/8、(M+ N)∙3/8、(M+N)∙5/8 和 (M + N)∙7/8。

一旦選擇了四個樣本，就使用四個比較操作來確定其中兩個最小和兩個最大的亮度樣本值。令表示兩個最大亮度樣本值的平均值，令表示兩個最小亮度樣本值的平均值。類似地，讓和表示相應色度樣本值的平均值。然後，根據以下等式獲得線性模型參數： . (7)

在這個等式中，計算參數 a 的除法運算是通過查找表實現的。為了減少存儲該表所需的內存， diff值，即最大值和最小值之間的差值，以及參數a用指數表示法表示。這裡， diff的值用 4 位有效部分和指數近似。因此， diff的表僅包含 16 個元素。這樣做的好處是既降低了計算的複雜性，又減少了存儲表所需的內存大小。

MMLM 概覽

顧名思義，原始的 CCLM 模式採用一個線性模型來預測整個 CU 的亮度樣本的色度樣本，而在 MMLM（多模型 CCLM）中，可以有兩個模型。在MMLM中，將當前塊的相鄰亮度樣本和相鄰色度樣本分為兩組，每組作為訓練集推導線性模型（即針對特定組推導特定的α和β）。此外，當前亮度塊的樣本也基於與相鄰亮度樣本的分類相同的規則進行分類。 o 閾值（ Threshold）為相鄰重建亮度樣本的平均值。 Rec′L[x,y] ＜= Threshold 的相鄰樣本被分類為第 1 組；而 Rec′L[x,y] ＞ Threshold的相鄰樣本被分類為第 2 組。 o 相應地，色度的預測是使用線性模型獲得的：

色度幀內模式 編碼

對於色度幀內模式編碼，總共允許8種幀內模式用於色度幀內模式編碼。這些模式包括五種傳統幀內模式和三種跨組件線性模型模式（CCLM、LM_A 和 LM_L）。色度模式信令和推導過程如表 3 所示。色度模式編碼直接取決於相應亮度塊的幀內預測模式。由於在I切片中啟用了用於亮度和色度分量的單獨塊劃分結構，所以一個色度塊可以對應於多個亮度塊。因此，對於色度（Chroma）導出 (DM，derived mode)模式，直接繼承覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式。表 3. 啟用 CCLM 時從亮度模式推導色度預測模式

色度預測模式	相應亮度幀内預測模式
0	50	18	1	X ( 0 ＜= X ＜= 66 )
0	66	0	0	0	0
1	50	66	50	50	50
2	18	18	66	18	18
3	1	1	1	66	1
4	0	50	18	1	X
5	81	81	81	81	81
6	82	82	82	82	82
7	83	83	83	83	83

如表4所示，無論sps_cclm_enabled_flag的值如何，都使用單個二值化表。表 4. 色度預測模式統一二值化表

intra_chroma_pred_mode值	Bin 串
4	00
0	0100
1	0101
2	0110
3	0111
5	10
6	110
7	111

第一個 bin 表示它是常規模式（即 0）還是 LM 模式（即 1）。如果它是 LM 模式，則下一個 bin 指示它是 LM_CHROMA（即 0）還是不是（即 1）。如果不是 LM_CHROMA，則下一個 bin 指示它是 LM_L（即 0）還是 LM_A（即 1）。對於這種情況，當 sps_cclm_enabled_flag 為 0 時，可以在熵編碼之前忽略對應 intra_chroma_pred_mode 的二值化表的第一個 bin。或者，換句話說，第一個 bin 被推斷為 0，因此未被編碼。此單個二值化表用於 sps_cclm_enabled_flag 等於 0 和 1 的情況。前兩個 bin 使用其自己的上下文模型進行上下文編碼，其餘 bin 進行旁路編碼。

多假設預測 (MHP)

在多假設幀間預測模式 (JVET-M0425) 中，除了傳統的雙預測信號之外，還發出一個或多個附加運動補償預測信號。最終的整體預測信號是通過樣本權重疊加獲得的。利用雙預測信號和第一附加幀間預測信號/假設，得到的結果預測信號如下： (8)

根據以下映射（表 5），權重因子 α 由新語法元素 add_hyp_weight_idx 指定：表 5. 將 α 映射到 add_hyp_weight_idx

add_hyp_weight_idx
0	1/4
1	-1/8

與上文類似，可以使用一個以上的附加預測信號。得到的整體預測信號與每個附加預測信號一起迭代累積。 (9)

作為最後的 (即，具有最大索引n的 )獲得所得的整體預測信號。例如，最多可以使用兩個額外的預測信號（即，n 限制為 2）。

每個附加預測假設的運動參數可以通過指定參考索引、運動向量預測值索引和運動向量差來顯式地用信號發送，或者通過指定合併索引來隱式地用信號發送。一個單獨的多假設合併標識區分這兩種信號模式。

對於幀間 AMVP 模式，只有在雙向預測模式下選擇 BCW 中的非等權重時才應用 MHP。 VVC 的 MHP 的詳細信息可以在 JVET-W2025 中找到（Muhammed Coban 等人，「增強壓縮模型 2（ECM 2）的算法描述」，ITU-T SG 16 WP 3 的聯合視頻專家組（JVET）和 ISO/IEC JTC 1/SC 29，第 23 次會議，電話會議，2021 年 7 月 7-16 日，文件：JVET-W2025）。

MHP 和 BDOF 的組合是可能的，但是 BDOF 僅應用於預測信號的雙預測信號部分（即，普通的前兩個假設）。

公開了一種用於預測編解碼的方法和裝置。根據該方法，接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側與待解碼的當前塊相關聯的編碼資料。確定組合預測成員，其中每個組合預測成員包括來自使用從權重集選擇的目標權重的預測候選組的第一預測候选和第二預測候選的權重和。確定與組合預測成員相關聯的邊界匹配成本，其中，針對具有目標權重的組合預測成員，通過使用基於具有目標權重的組合預測成員的當前塊的預測樣本和當前塊的相鄰重建樣本來確定每個邊界匹配成本。然後使用基於至少一個邊界匹配成本決定的最終組合預測來編碼或解碼當前塊。

在一個實施例中，根據與具有目標權重的組合預測成員關聯的邊界匹配成本來分配權重索引的權重值，其中邊界匹配成本較小分配較小的權重值，較大的邊界匹配成本分配較大的權重值。

在一個實施例中，與最終組合預測相關聯的權重索引在編碼器側和解碼器側隱含地確定。隱式確定的權重索引對應於具有導致最小邊界匹配成本的目標權重的組合預測成員。

在一個實施例中，第一預測候选和第二預測候選來自預測候選組，並且當前塊的預測候選組包括第一雙預測候选和第二雙預測候選，並且第一預測候選對應於第一雙向預測候選，第二預測候選對應於第二雙向預測候選。

在一個實施例中，第一預測候選對應於現有預測並且第二預測候選來自包括一個或多個預測假設的預測候選組。在一個實施例中，所述一個或多個預測假設包括至少兩個預測假設，並且通過將第一預測候選設置為先前的最終組合預測並將第二預測候選設置為預測候選組下一個預測假設來更新最終組合預測。在一個實施例中，從權重集中選擇的目標權重是根據邊界匹配成本隱含地確定的。

在一個實施例中，當前塊的預測樣本對應於當前塊的預測塊的子集。例如，當前塊的預測塊的子集可以包括預測塊的上方行n1行和左側列m1列，並且當前塊的相鄰重構樣本包括當前塊上方的n2行和左側的m2列，其中n1、m1、n2和m2為大於或等於0的整數。在一個例子中，n1和m1等於2，n2和m2等於2。在另一個例子中，n1和m1等於 2，並且 n2 和 m2 等於 1。在一個實施例中，用於 n1、m1、n2 和 m2 的一個或多個句法在 CU、CB、PU、PB、TU、TB、CTU、CTB、切片級別、圖片級別、SPS（序列參數集）級別、PPS（圖片參數集）級別或其組合處用信號發送或解析。

根據另一種方法，接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或與在解碼器側待解碼的當前塊相關聯的編碼資料。確定與現有預測相關聯的預測成員，其中每個預測成員對應於現有預測和來自一組組合預測候選的一個目標組合預測候選的一個權重和，並且其中每個組合預測候選對應於一個目標運動向量與一個目標權重的組合，該目標權重是用於組合現有預測和所述一個目標組合預測候選的，所述一個目標運動候選來自一組m個運動候選並且所述一個目標權重來自一組n個權重，m和n是正整數。確定與預測成員相關聯的邊界匹配成本，其中針對所述每個預測成員的每個邊界匹配成本是通過基於所述每個預測成員的當前塊的預測樣本和當前塊的相鄰重構樣本來確定的。使用基於至少一個邊界匹配成本決定的最終預測來編碼或解碼當前塊。

很容易理解，本發明的組件，如本文附圖中一般描述和圖示的，可以以多種不同的配置佈置和設計。因此，如附圖中所表示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。在整個說明書中對「一個實施例」、「一實施例」或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在整個說明書的各個地方出現的短語「在一個實施例中」或「在一實施例中」不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個具體細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未示出或未示出眾所周知的結構或操作。詳細描述以避免模糊本發明的方面。通過參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的設備和方法的某些選定實施例。

隨著視頻編解碼的改進，開發了更多的編解碼工具。然而，新編解碼工具的編碼增益不是相加的。可能的原因是 - 考慮到語法開銷，並非所有新的編解碼模式都可以成為塊的候選模式。 - 隨著塊的候選模式的增加，需要更長的碼字來指示來自多個候選模式的編解碼模式。

以合併模式為例。與 HEVC 相比，建議將新的合併候選（例如成對平均合併候選、HMVP 合併候選等）添加到合併候選列表中。如前所述，最佳合併候選的索引被編碼/解碼以指示為當前塊選擇的合併候選。然而， - 合併候選列表中的合併候選數量限制為預先定義的數量，因此並非所有合併候選都可以添加到合併候選列表中。 - 如果合併候選列表中合併候選的數量增加，則最佳合併候選索引的碼字長度變長。

因此，提出了一種方案來自適應地重新排序候選模式。一般規則如下所示。 - 計算每個候選模式的成本，可以（但不限於）合併候選模式和/或可以擴展到任何其他工具的候選模式 - 接下來，根據成本決定這些候選模式的優先順序。 o 在一個實施例中，那些具有較小成本的候選模式獲得較高的優先級。 o 在另一個實施例中，那些具有較小成本的候選模式獲得較低的優先級。 - 接下來，候選模式根據優先順序重新排序。 o 值較小的索引表示優先級較高的候選模式。 o 換句話說，索引是指重新排序後的候選模式。 ●最初，索引的值是指候選模式的索引。 ●應用建議的重新排序方案後，索引的值指的是候選模式的重新排序索引。

在另一個實施例中，對於具有較高優先級的那些候選模式，較短的碼字被用於編碼/解碼。在另一個實施例中，對於優先級最高的候選模式，隱式設置為當前塊的編碼模式。在本發明中，確定優先順序的方案包括邊界匹配。對於每個候選模式，計算邊界匹配成本。優先順序取決於這些候選模式的邊界匹配成本。

候選模式的邊界匹配成本

候選模式的邊界匹配成本是指從候選模式生成的當前預測（第14圖中顯示為粗框的當前塊1410內的預測樣本）和相鄰重建（一個或多個相鄰塊內的重建樣本）之間的不連續性測量（包括頂部邊界匹配和/或左邊界匹配）。舉例來説，候選模式的邊界匹配成本代表當前預測與相鄰重構之間的不連續性。上邊界匹配是指當前頂部預測樣本與相鄰頂部重構樣本1420之間的比較，左邊界匹配是指當前左預測樣本與相鄰左重構樣本1430之間的比較。

在一個實施例中，使用當前預測的預定義子集來計算邊界匹配成本。使用當前塊內上邊界的n1行和/或當前塊內左邊界的m1列，其中n1和m1為大於或等於0的整數。此外，使用頂部相鄰重建的n2行和/或左相鄰重建的 m2 列，其中 n2 和 m2 是大於或等於 0 的整數。

這裡是計算n1＝2、m1＝2、n2＝2和m2＝2的邊界匹配成本的示例。

在上述等式中，權重(a、b、c、d、e、f、g、h、i、j、k、l)可以是任意正整數，例如a = 2、b = 1、 c = 1，d = 2，e = 1，f = 1，g = 2，h = 1，i = 1，j = 2，k = 1，l = 1。

這是計算n1＝2、m1＝2、n2＝1和m2＝1的邊界匹配成本的另一個例子。

在上述等式中，權重(a, b, c, g, h, i)可以是任意正整數，例如a = 2、b = 1、c = 1、g = 2、h = 1 、i = 1。

這是計算n1＝2、m1＝1、n2＝2和m2＝2的邊界匹配成本的另一個例子。

在上述等式中，權重(d, e, f, j, k, l)可以是任意正整數，例如d = 2、e = 1、f = 1、 j = 2、k = 1、l = 1。

這是計算n1＝1、m1＝1、n2＝1和m2＝1的邊界匹配成本的另一個例子。

在上述等式中，權重(a, c, g, i)可以是任意正整數，例如a = 1、c = 1、g = 1、i = 1。

這是計算n1＝2、m1＝1、n2＝2和m2＝1的邊界匹配成本的另一個例子。

在上述等式中，權重(a, b, c, d, e, f, g, i)可以是任意正整數，例如a = 2、b = 1、c = 1、d = 2、e = 1、f = 1、g = 1、i = 1。

這是計算n1＝1、m1＝2、n2＝1和m2＝2的邊界匹配成本的另一個例子。

在上述等式中，權重(a, c, g, h, i, j, k, l)可以是任意正整數，例如a = 1、c = 1、g = 2、h = 1、i = 1、j = 2、k = 1、l = 1。

以下用於n1和m1的示例也可以應用於n2和m2。

再例如，nl可以是任何正整數，例如1、2、3、4等。

又例如，m1可以是任何正整數，例如1、2、3、4等。

又例如，n1和/或m1隨塊寬度、高度或面積而變化。 – 根據一個示例，對於較大的塊（例如面積＞閾值），使用較大的 m1。 o 閾值 = 64、128 或 256。 o 當面積＞閾值時，m1 增加到 2。（最初，m1 為 1。） o 當面積＞閾值時，m1 增加到 4。（最初，m1 為 1 或 2。） – 根據另一個示例，對於更高的塊（例如高度＞閾值 * 寬度），使用更大的 m1 和/或使用更小的 n1。 o 閾值 = 1、2 或 4。 o 當高度＞閾值*寬度時，m1 增加到 2。（原來 m1 是 1。） o 當高度＞閾值*寬度時，m1 增加到 4。（原來 m1 是 1 或 2。） – 根據另一個例子，對於更大的塊（例如面積＞閾值），使用更大的 n1。 o 閾值 = 64、128 或 256。 o 當面積＞閾值時，n1 增加到 2。（最初，n1 為 1。） o 當面積＞閾值時，n1 增加到 4。（最初，n1 為 1 或 2。） – 根據另一個示例，對於更寬的塊（例如寬度＞閾值 * 高度），使用更大的 n1 和/或使用更小的 m1。 o 閾值 = 1、2 或 4。 o 當寬度＞閾值*高度時，n1 增加到 2。（原來 n1 是 1。） o 當寬度＞閾值*高度時，n1 增加到 4。（原來 n1 是 1 或 2。）

對於另一個例子，nl和/或ml可以在標準中定義或者取決於來自CU/CB、PU/PB、TU/TB、CTU/CTB、切片級別、圖片級別、SPS（序列參數集）級別和/或 PPS（圖片參數集）級別的語法的信令/解析。

在另一實施例中，當當前塊位於CTU行內的頂部邊界時，不使用頂部邊界匹配和/或僅使用左邊界匹配。（不使用跨 CTU 行的相鄰重建樣本。）

在另一實施例中，當當前塊位於CTU內的左邊界時，不使用左邊界匹配和/或僅使用上邊界匹配。

在另一個實施例中，當當前塊較高時（例如高度＞閾值*寬度），僅使用左邊界匹配。

在另一個實施例中，當當前塊更寬時（例如寬度＞閾值*高度），僅使用頂部邊界匹配。

在另一實施例中，左上相鄰重建樣本可用於邊界匹配。例如，邊界匹配成本加上以下項： .

合併候選作為候選模式

所提出的方案可用於重新排序合併候選。本來，最佳合併候選的索引是指合併候選在合併候選列表中的順序。對於所提出的方案，最佳合併候選的索引（index_best_merge）是指基於邊界匹配成本的優先級順序。

例如，假設合併候選列表由{cand0, cand1, cand2, cand3, cand4, cand5}組成。這些預測候選在本公開中被稱為預測候選組。 – 原案： o index_best_merge 0 指的是cand0 o index_best_merge 1 指的是cand1 o index_best_merge 2 指的是cand2 o …… – 建議的： o 計算每個合併候選的邊界匹配成本 {cost_cand0, cost_cand1, cost_cand2, …} ● cost_cand0 是 cand0 的邊界匹配成本 ● cost_cand1 是 cand1 的邊界匹配成本 ● cost_cand2 是 cand2 的邊界匹配成本 ●…… o 根據邊界匹配成本重新排序 {cand0, cand1, cand2, …} § 在一個例子中， · ● 如果 cost_cand0 ＞ cost_cand1 ＞ cost_cand2 ＞ cost_cand3 ＞ cost_cand4 ＞ cost_cand5，則重新排序的合併候選形成為 {cand5, cand4, cand3, cand2, cand1, cand0}。 o 重新排序後， ▪ index_best_merge 0 指的是 cand5（具有最小成本的合併候選用最短的碼字發出信號。） ▪ index_best_merge 1 指的是cand4 ▪ index_best_merge 2 指的是cand3 ▪…… ▪否則，如果 cost_cand0 ＜ cost_cand1 ＜ cost_cand2 ＜ cost_cand3 ＜ cost_cand4 ＜ cost_cand5，則合併候選的順序與原始順序保持一致。 § ▪在另一個例子中， · 如果 cost_cand0 ＜ cost_cand1 ＜ cost_cand2 ＜ cost_cand3 ＜ cost_cand4 ＜ cost_cand5，則重新排序的合併候選形成為 {cand5, cand4, cand3, cand2, cand1, cand0}。 o 重新排序後， ▪ index_best_merge 0 指的是 cand5（具有最大成本的合併候選用最短的碼字發出信號。） ▪ index_best_merge 1 指的是cand4 ▪ index_best_merge 2 指的是cand3 ▪…… ▪否則，如果cost_cand0 ＞ cost_cand1 ＞ cost_cand2 ＞ cost_cand3 ＞ cost_cand4 ＞ cost_cand5，合併候選的順序與原來的保持一致。

在另一個實施例中，具有較小值的index_best_merge被編碼為較短的碼字長度。例如，index_best_merge 是用截斷的一元碼字編碼的。

在另一個實施例中，重新排序被應用於合併候選列表的子集。 - 例如子集指的是原來的前n個候選cand0，cand1，cand2。那麼index_best_merge 0/1/2指的是基於邊界匹配的優先順序，index_best_merge 3/4/5指的是原來的cand3、cand4和cand5。 - 再比如，子集指的是原來的最後n個候選cand3，cand4，cand5。那麼index_best_merge 3/4/5指的是基於邊界匹配的優先順序，index_best_merge 0/1/2指的是原來的cand0、cand1和cand2。 - 又例如，子集指的是空間合併候選。

在另一個實施例中，最佳合併候選被推斷為所有合併候選中具有最小邊界匹配成本的合併候選。因此，index_best_merge 不需要由編碼器/解碼器發出信號/解析，可以推斷為 0。

在另一個實施例中，最佳合併候選被推斷為所有合併候選中具有最大邊界匹配成本的合併候選。因此，index_best_merge 不需要由編碼器/解碼器發出信號/解析，可以推斷為 0。

在另一實施例中，本節中的合併候選是指包括以下一個或多個候選的合併候選： 1) 來自空間相鄰 CU 的空間 MVP 2) 來自並置 CU 的時間 MVP 3) 來自 FIFO 表的基於歷史的 MVP 4) 成對平均 MVP 5）零MV。

在另一個實施例中，該部分中的合併候選是指CIIP的合併候選。當前塊內的預測樣本是根據 CIIP 過程生成的。

在另一個實施例中，本節中的合併候選是指子塊合併候選的合併候選，例如仿射合併候選。當前塊內的預測樣本是根據仿射過程生成的。

BCW 作為候選模式

所提出的方案可用於對BCW候選重新排序以改進bcw_idx的句法。這兩個雙向預測候選在本公開中被稱為預測候選組。下面是VVC標準中BCW的語法表。

if( sps_bcw_enabled_flag && inter_pred_idc[ x0 ][ y0 ] = = PRED_BI && luma_weight_l0_flag[ ref_idx_l0 [ x0 ][ y0 ] ] = = 0 && luma_weight_l1_flag[ ref_idx_l1 [ x0 ][ y0 ] ] = = 0 && chroma_weight_l0_flag[ ref_idx_l0 [ x0 ][ y0 ] ] = = 0 && chroma_weight_l1_flag[ ref_idx_l1 [ x0 ][ y0 ] ] = = 0 && cbWidth * cbHeight ＞= 256 )
bcw_idx[ x0 ][ y0 ]	ae(v)

bcw_idx[x0][y0]指定具有CU權重的雙向預測的權重索引。數組索引 x0, y0 指定所考慮的編碼塊的左上角亮度樣本相對於圖片的左上角亮度樣本的位置 (x0, y0)。

BCW作為候選模式的示例如下所示： - 計算每個 BCW 候選權重的邊界匹配成本 - 在一個實施例中，在根據成本重新排序之後， o bcw_idx等於0表示BCW候選權重最小，bcw_idx等於4表示BCW候選權重最大。 o 在另一種方式中，bcw_idx 是隱含的，並且使用 BCW 候選權重（具有最小成本）。 - 在另一個實施例中，在根據成本重新排序之後， o bcw_idx等於0表示BCW候選權重最大，bcw_idx等於4表示BCW候選權重最小。 o 在另一種方式中，bcw_idx 是隱式的，並且使用 BCW 候選權重（具有最大成本）。

在BCW作為候選模式的實施例中，針對用於選擇最終組合預測的一組可能權重評估邊界匹配成本。與每個組合 BCW 預測相關聯的預測（即，選定的權重）被稱為組合預測成員。組合預測成員的總數對應於權重的總數。 bcw_idx 被信號化/解析或隱式引用以用於最終組合預測。有序的邊界匹配成本應該導致 bcw_idx 的更有效表示，即更低的位元率。

MHP 作為候選模式

對於應用了 MHP 的塊，一個或多個預測假設（即，預測信號）與現有的預測假設組合以形成當前塊的最終（結果）預測。換句話說，最終預測是用預測信號的每個附加假設迭代累積的。累積的例子如下所示。

得到的預測信號作為最後的 (即，索引n最大的 )。是當前塊的第一個（現有）預測。在 MHP 作為候選模式的情況下，最初將現有預測和預測假設的權重和形成為組合預測。當存在兩個或多個預測假設時（即，n ＞ 1），當前組合預測被形成為先前組合預測和下一個預測假設的權重和。例如，如果將 MHP 應用於合併候選，則由現有合併索引指示。附加預測表示為 h，並將通過權重 α 與先前累積的預測進一步組合。

因此，對於預測的每個附加假設，權重索引被發送/解析以指示權重和/或對於預測的每個假設，幀間索引被發送/解析以指示運動候選（用於生成該假設的預測樣本 )。MHP 的語法開銷在某些情況下會成為一個問題。例如，當預測的附加假設數量增加時，MHP 的語法開銷會變大。又如，當預測的每個附加假設的候選權重個數增加時，MHP 的語法開銷會變大。因此，為了使 MHP 權重的信號和/或運動候選的信號更有效，需要提出的重新排序方案。

在一個實施例中，為每個額外的預測假設計算每個 MHP 候選權重的邊界匹配成本。對於具有預測假設的兩個候選權重的情況，建議過程的示例如下所示： – 步驟0：對於預測的附加假設，計算cost_w0和cost_w1分別作為第一和第二候選權重的成本。 – 步驟 1：對於預測假設，候選權重根據成本重新排序。 o 在一個子實施例中，具有較小成本的候選權重獲得較高的優先級。 ●如果cost_w0 ＞ cost_w1，權重索引0指的是w1，權重索引1指的是w0。 ●否則，不使用重新排序，權重索引 0 和 1 指的是原始的 w0 和 w1。 o 在另一個子實施例中，具有較大成本的候選權重獲得較高的優先級。 ●如果 cost_w0 ＜ cost_w1，則權重索引 0 指代 w1，權重索引 1 指代 w0。 ●否則，不使用重新排序，權重索引 0 和 1 指的是原始的 w0 和 w1。 o 在另一個子實施例中，將成本最小的候選權重用於當前的附加預測假設。在這種情況下推斷當前附加預測假設的權重指數。 o 在另一個子實施例中，每個假設或假設的任何子集的權重是根據成本隱式設置的。權重可以是成本的縮放值或成本的乘法逆的縮放值。例如，如果成本等於 2，則成本的乘法倒數等於 1/2。 o 在另一個子實施例中，將代價最大的候選權重用於當前的附加預測假設。在這種情況下推斷當前附加預測假設的權重指數。 o 對每個額外的預測假設重複步驟 0 和 1，並獲得每個額外的預測假設的每個權重索引的含義。

在另一個實施例中，為每個MHP運動候選計算邊界匹配成本。下面的子實施例以MHP為合併方式為例。 MHP 可以應用於其他幀間模式，例如幀間 AMVP 和/或仿射，並且當使用幀間 AMVP 或仿射時，以下示例中的「合併」將替換為該幀間模式的命名。

在一個子實施例中，計算每個運動候選的邊界匹配成本。例如，候選模式包括cand0到cand4。最初，索引 0（較短的碼字）指的是 cand0，索引 4（較長的碼字）指的是 cand4。使用所提出的方法，索引的含義遵循優先級。如果優先順序（基於邊界匹配成本）指定 cand4 具有最高優先級，則索引 0 映射到 cand4。

在另一個子實施例中，計算每個運動候選的邊界匹配成本。例如，候選模式包括cand0到cand4。最初，索引 0（較短的碼字）指的是 cand0，索引 4（較長的碼字）指的是 cand4。使用所提出的方法，索引的含義遵循優先級。如果優先級順序（基於邊界匹配成本）指定 cand4 具有最高優先級，則不發送/解析索引，並且將所選運動候選推斷為具有最高優先級的運動候選。

在另一個子實施例中，對於每個假設，運動候選的當前預測（用於計算邊界匹配成本）是由該運動候選產生的運動補償結果。

結合上述兩個子實施例的示例如下所示。例如，如果加法假設的數量等於2，則使用具有較高優先級的前三個運動候選來形成當前MHP塊的結果預測。又例如，如果添加假設的個數等於2，則保留現有假設，使用優先級較高的兩個運動候選來形成附加假設的預測，得到的預測由現有的假設和附加假設形成。

在另一個子實施例中，運動候選的當前預測（用於計算邊界匹配成本）是組合預測（即，來自運動候選的預測和現有預測（p ₀)的權重平均）。權重由信號/解析的權重索引指示。

在另一個子實施例中，對於每個假設，運動候選的當前預測（用於計算邊界匹配成本）是組合預測（來自運動候選的預測和先前累積的預測的權重平均）。權重由信號/解析的權重索引指示。第15圖中示出了示例，其中預測p ₀1510對應於現有假設，預測h ₁1520和預測h ₂1530對應於附加假設。當應用所提出的方法對 h2 的運動候選信號重新排序時，h ₂有 4 個運動候選（包括 cand0 到 cand3）。 – candn 的成本計算為 p0 預測、h1 預測和 candn 預測的權重平均值 – 那是， o 對於 h ₂，候選 0 的當前預測 =（p ₀預測、h ₁預測、候選 0 的預測）的權重平均值 o 對於 h ₂，候選 1 的當前預測 =（p ₀預測、h ₁預測、候選 1 的預測）的權重平均值 o ……

當應用所提出的方法來重新排序h _l的運動候選的信令並且h _l有4個運動候選（包括cand0到cand3)時， o 對於 h ₁，候選 0 的當前預測 =（p ₀的預測，候選 0 的預測）的權重平均值 o 對於 h ₁，候選 1 的當前預測 =（p ₀的預測，候選 1 的預測）的權重平均值 o ……

在另一個實施例中，為每個預測假設的每個MHP組合(運動候选和權重)計算邊界匹配成本。以下子實施例以合併模式的MHP為例，MHP可以應用於其他幀間模式，例如幀間AMVP和/或仿射。當使用幀間 AMVP 或仿射時，以下示例中的「合併」將替換為該幀間模式的命名。

在一個子實施例中，一個組合是指運動候选和權重。如果有 m 個運動候选和每個運動候選的 n 個權重，則組合數為 m*n。

在另一個子實施例中，組合的當前預測（用於計算邊界匹配成本）是組合預測（來自運動候選的預測和現有預測（p ₀)的權重平均）。該方法聯合確定合併索引和表示預測附加假設的權重。例如，具有最高優先級的組合是選擇的MHP組合。不需要發信號/解析合併索引和權重來指示額外的預測假設。在另一個示例中，用信號發送/解析聯合索引以確定MHP組合。本子實施例中可以固定添加假設的個數。

在另一個實施例中，為每個MHP運動候選計算邊界匹配成本。下面以合併模式的MHP為例，MHP可以應用於其他幀間模式，例如幀間AMVP和/或仿射。當使用幀間 AMVP 或仿射時，下文中的「合併」將替換為該幀間模式的命名。因此， – 推斷合併索引（用於指示每個假設的運動候選）。 o 例如，根據合併候選列表中合併候選的順序　為假設 0 合併 cand0，為假設 1 合併 cand1，... o 再比如，取決於成本。　首先使用成本較小的合併候選。 o 再比如，根據預定義的合併候選數　如果假設數為4，則使用合併候選列表中的4個合併候選作為每個假設的運動候選 ✓ 使用前 4 個合併候選，或者 ✓ 使用合併候選列表中的任意 4 個合併候選。 – 權重（用於組合預測假設）根據成本是隱含的。 – MHP 預測由 (權重0)*( 假設0) + (權重1)*( 假設1) + (權重2)*( 假設2)+...

在一個子實施例中，使用固定數量的預測假設。換句話說，混合固定數量的假設並使用匹配成本隱式地推導權重。

在另一個子實施例中，具有較高優先級的運動候選（或假設）的權重大於具有較低優先級的運動候選的權重。

在另一個子實施例中，運動候選的當前預測（用於計算邊界匹配成本）是由該運動候選產生的運動補償結果。

在另一個子實施例中，合併候選列表中的前n個運動候選用於生成預測的假設。使用此提議的方法，不會為 MHP 發出合併索引信號。

在另一個子實施例中，合併候選列表中的所有運動候選被用於生成預測的假設。權重可以決定運動候選是否有用。如果其權重為零，則實際上不使用該運動候選。使用此提議的方法，不會為 MHP 發出合併索引信號。

在另一個子實施例中，具有較高優先級的運動候選的權重大於具有較低優先級的運動候選的權重。

例如，權重遵循不同運動候選的成本比率。如果有兩個運動候選且 cost_cand0 = 2* cost_cand1，則 weight_cand0 = 2 * weight_cand1 或 weight_cand0 = 1/2 * weight_cand1。

對於另一個例子，每個運動候選的成本首先被歸一化到區間[MIN_VALUE，MAX_VALUE]。 MAX_VALUE 是預定義的，例如預測假設的數量。 MIN_VALUE是預定義的，例如0。例如，(MAX_VALUE-歸一化代價)可以是運動候選的權重或者歸一化代價可以是運動候選的權重。

對於另一個示例，權重是成本的縮放值或成本的乘法逆的縮放值。例如，如果成本等於 2，則成本的乘法倒數等於 1/2。 - 縮放值表示縮放因子 * 原始值。 - 如果比例因子 = 1，則無比例。

在另一個子實施例中，權重和合併索引對於所提出的方法是隱含的。

該方法的當前預測的生成可以參考本發明中提出的任何其他方法。

在另一個實施例中，所提出的方案被應用於所有附加預測假設的子集。換句話說，對所有附加預測假設的子集重複上述步驟0和1。例如，只有與現有預測假設相結合的第一個附加預測假設的候選權重才用所提出的方案重新排序。

在一個子實施例中，該子集是在標準中預定義的。

在另一個子實施例中，子集取決於當前塊的寬度、高度或面積。例如，對於塊面積大於（或小於）閾值的塊，該子集包括更多的預測假設。

在另一個子實施例中，來自子集的重新排序結果可以被重新用於剩餘的附加預測假設。例如， - 基於第一個預測假設的重新排序結果，權重索引 0 和 1 分別指代 w1 和 w0。 - 對於以下預測假設，權重索引 0 和 1 也分別指代 w1 和 w0。

在另一個實施例中，所提出的方案被應用於所有候選權重的子集以用於額外的預測假設。換句話說，對於附加預測假設的所有候選權重的子集，重複上述步驟 0 和 1。以候選權重數（對於預測的附加假設）等於4為例。 - 對於額外的預測假設，只有前兩個（或最後一個）候選權重使用建議的方案重新排序。

在一個子實施例中，該子集是在標準中預定義的。

在另一個子實施例中，子集取決於當前塊的寬度、高度或面積。例如，對於塊面積大於（或小於）閾值的塊，該子集包括更多的候選權重。

在另一實施例中，預測假設可以是來自單預測或雙預測運動補償結果的預測信號。

可以統一針對不同工具（不限於以下示例中的那些工具）所提出的重新排序方案。例如，為 MHP、LM、BCW、MMVD 和/或合併候選提出的重新排序方案與計算邊界匹配成本的相同規則統一。

可以根據隱式規則（例如塊寬度、高度或面積）或根據顯式規則（例如關於塊、切片、圖片、SPS或PPS級別的句法）啟用和/或禁用本發明中提出的方法 ). 例如，當塊區域小於閾值時，應用建議的重新排序。

本發明中的術語「塊」可以指代TU/TB、CU/CB、PU/PB或CTU/CTB。

本發明中的術語「LM」可以被視為一種CCLM/MMLM模式或CCLM的任何其他擴展/變體(例如本發明中提出的CCLM擴展/變體)。

本發明中提出的方法(用於CCLM)可以用於任何其他LM模式。

可以應用本發明中提出的方法的任何組合。

任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器的幀內/幀間編碼模塊（例如第1A圖中的幀間預測112）、運動補償模塊（例如第1B圖中的 MC 152）、合併解碼器的候選推導模塊。或者，所提出的方法中的任何一個都可以實現為耦合到編碼器的幀內/幀間編碼模塊和/或運動補償模塊、解碼器的合併候選推導模塊的電路。

第16圖圖示了根據本發明實施例的利用多個預測假設的示例性視頻編解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程序代碼。流程圖中所示的步驟也可以基於硬件來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1610中接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側待解碼的與當前塊相關聯的編碼資料。在步驟1620中確定組合預測成員，其中每個組合預測成員包括使用從權重集中選擇的目標權重的第一預測候选和第二預測候選的權重和。在步驟1630中確定與組合預測成員相關聯的邊界匹配成本，其中通過使用基於具有目標權重的組合預測成員的當前塊的預測樣本和相鄰重建樣本，為具有目標權重的組合預測成員確定每個邊界匹配成本。在步驟1640中使用基於至少一個邊界匹配成本決定的最終組合預測對當前塊進行編碼或解碼。

第17圖圖示了根據本發明實施例的利用多個預測假設的另一個示例性視頻編碼系統的流程圖。根據該方法，在步驟1710中接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側待解碼的與當前塊相關聯的編碼資料。在步驟1720中確定與現有預測相關聯的預測成員，其中每個預測成員對應於現有預測和來自一組組合預測候選的一個目標組合預測候選的一個權重和，並且其中每個組合預測候選對應於一個目標運動候选和一個目標權重的組合，用於組合現有預測和所述一個目標組合預測候選，所述一個目標運動候選來自一組m個運動候選並且所述一個目標權重來自一組n個權重，並且m、n為正整數。在步驟1730中確定與預測成員相關聯的邊界匹配成本，其中對於所述每個預測成員的每個邊界匹配成本是通過使用基於所述每個預測成員的當前塊的預測樣本和當前塊的相鄰重構樣本來確定的。在步驟1740中使用基於至少一個邊界匹配成本決定的最終預測對當前塊進行編碼或解碼。

所示流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或者集成到視頻壓縮軟件中的程序代碼以執行這裡描述的處理。本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟件代碼。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附權利要求而不是由前述描述來指示。落入權利要求等同物的含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環路濾波器 124:反量化（IQ） 126:反變換（IT） 128:重建(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 150:幀內預測 152:運動補償 210、410:當前CU 420:並置CU 430、440:運動向量 1510、1520、1530:預測 610:L0參考塊 620:L1參考塊 612、622:起點 710:塊 910、1010、1410:當前塊 1110、1112:行 1122、1124、1126:箭頭 1120:圖例 1210:當前CU 1310:色度塊 1320:亮度塊 1420:頂部重構樣本 1430:左重構樣本 1510、1520、1530:預測 1610-1640、1710-1740:步驟

第1A圖圖示了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。第1B圖圖示了第1A圖中的編碼器的相應解碼器。第2圖圖示了用於導出VVC的空間合併候選的相鄰塊。第3圖圖示了考慮用於VVC中的冗餘校驗的可能候選對。第4圖圖示了時間候選推導的示例，其中根據POC（圖片順序計數）距離推導縮放的運動向量。第5圖圖示了在候選C0和C1之間選擇的時間候選的位置。第6圖圖示了根據具有MVD的合併模式(MMVD)在水平和垂直方向上距起始MV的距離偏移。第7A圖示出了由兩個控制點(4參數)的運動信息描述的塊的仿射運動場的示例。第7B圖圖示了由三個控制點運動向量(6參數)的運動信息描述的塊的仿射運動場的示例。第8圖圖示了基於塊的仿射變換預測的示例，其中每個4×4亮度子塊的運動向量是從控制點MV導出的。第9圖圖示了基於相鄰塊的控制點MV推導繼承仿射候選的示例。第10圖示出了通過組合來自空間鄰居和時間的每個控制點的平移運動信息來構建仿射候選的示例。第11圖圖示了用於運動信息繼承的仿射運動信息存儲的示例。第12圖圖示了根據頂部和左側相鄰塊的編碼模式的用於組合幀間和幀內預測(CIIP)的權重值推導的示例。第13圖圖示了使用相鄰色度樣本和相鄰亮度樣本的CCLM(交叉分量線性模型)的模型參數推導的示例。第14圖圖示了用於導出候選模式的邊界匹配成本的邊界樣本和相鄰樣本的示例。第15圖示出了示例性多重預測假設，其中多重預測假設包括現有假設以及預測h1和預測h2的兩個假設。第16圖圖示了根據本發明實施例的利用多個預測假設的示例性視頻編碼系統的流程圖。第17圖圖示了根據本發明實施例的利用多個預測假設的另一個示例性視頻編碼系統的流程圖。

1610-1640:步驟

Claims

一種預測編解碼方法，該方法包括：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側與當前待解碼塊相關聯的編碼資料；確定組合預測成員，其中每個組合預測成員包括使用從權重集中選擇的目標權重的第一預測候选和第二預測候選的權重和；確定與該組合預測成員相關聯的邊界匹配成本，其中，通過使用基於具有該目標權重的組合預測成員的該當前塊的預測樣本、以及該當前塊的相鄰重建樣本，為具有該目標權重的該組合預測成員確定每個邊界匹配成本；以及使用基於至少一個邊界匹配成本決定的最終組合預測對該當前塊進行編碼或解碼；其中與最終組合預測相關聯的索引在編碼器側在位元流中用信號發送或在解碼器側從位元流解析，或與最終組合預測相關聯的索引是在編碼器側或解碼器側隱式確定的。
如請求項1所述的方法，其中，權重索引用於指示從該權重集中選擇的該目標權重。
如請求項2所述的方法，其中，根據與具有目標權重的組合預測成員相關聯的邊界匹配成本來分配權重索引的權重值，並且其中，對於較小的邊界匹配成本，分配較小的權重值，並且對較大的邊界匹配成本分配較大的權重值。
如請求項1所述的方法，其中隱式確定的權重索引對應於具有導致最小邊界匹配成本的目標權重的組合預測成員。
如請求項1所述的方法，其中，該第一預測候选和該第二預測候選來自預測候選組，並且該當前塊的預測候選組包括第一雙向預測候选和第二雙向預測候選，並且其中，該第一預測候選對應於該第一雙向預測候選，該第二預測候選對應於該第二雙向預測候選。
如請求項1所述的方法，其中，該第一預測候選對應於現有預測，並且該第二預測候選來自包括一個或多個預測假設的預測候選組。
如請求項6所述的方法，其中所述一個或多個預測假設包括至少兩個預測假設，並且通過將該第一預測候選設置為先前的最終組合預測並將該第二預測候選設置為預測候選組中的下一個預測假設。
如請求項7所述的方法，其中，根據邊界匹配成本隱含地確定從權重集中選擇的目標權重。
如請求項1所述的方法，其中，該當前塊的預測樣本對應於當前塊的預測塊的子集。
如請求項9所述的方法，其中該當前塊的預測塊的子集包括預測塊的n1個上方行和m1個左側行，並且該當前塊的相鄰重構樣本包括當前塊上方的n2行和m2個當前塊左側的行，其中n1、m1、n2和m2為大於等於0的整數。
如請求項10所述的方法，其中n1和m1等於2，並且n2和m2等於2。
如請求項10所述的方法，其中n1和m1等於2，並且n2和m2等於1。
如請求項10所述的方法，其中在CU、CB、PU、PB、TU、TB、CTU、CTB、片級、圖片級、序列參數集(SPS)級別、圖片參數集(PPS)級別或它們的組合用信號通知或解析用於n1、m1、n2和m2的一個或多個句法。
一種用於預測編解碼的裝置，該裝置包括一個或多個電子設備或處理器，被佈置成：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側與當前待解碼塊相關聯的編碼資料；確定組合預測成員，其中每個組合預測成員包括使用從權重集中選擇的目標權重的第一預測候选和第二預測候選的權重和；確定與該組合預測成員相關聯的邊界匹配成本，其中，通過使用基於具有目標權重的組合預測成員的當前塊的預測樣本以及該當前塊的相鄰重建樣本，為具有該目標權重的該組合預測成員確定每個邊界匹配成本；和使用基於至少一個邊界匹配成本決定的最終組合預測來編碼或解碼該當前塊；其中與最終組合預測相關聯的權重索引在編碼器側在位元流中用信號發送或在解碼器側從位元流解析，或與最終組合預測相關聯的權重索引是在編碼器側或解碼器側隱式確定的。
一種預測編解碼方法，該方法包括：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側與當前待解碼塊相關聯的編碼資料；確定與現有預測相關聯的預測成員，其中每個預測成員對應於現有預測和來自一組組合預測候選的一個目標組合預測候選的一個加權和，並且其中每個組合預測候選對應於一個目標運動候選以及目標權重的組合，用於組合該現有預測和所述一個目標組合預測候選，所述一個目標運動候選來自一組m個運動候選並且所述一個目標權重來自一組n個權重，並且m和n是正的整數；確定與預測成員相關聯的邊界匹配成本，其中對於所述每個預測成員，每個邊界匹配成本是通過使用基於所述每個預測成員的當前塊的預測樣本和當前塊的相鄰重建樣本來確定的；和使用基於至少一個邊界匹配成本決定的最終預測對該當前塊進行編碼或解碼；其中與最終組合預測相關聯的索引在編碼器側在位元流中用信號發送或在解碼器側從位元流解析，或與最終組合預測相關聯的索引是在編碼器側或解碼器側隱式確定的。
如請求項15所述的方法，其中與所述一個目標運動候选和最終預測的所述一個目標權重相關聯的聯合權重和運動候選索引在編碼器側的位元流中用信號發送或者在解碼器側從位元流解析。
如請求項15所述的方法，其中隱式地確定與所述最終預測的所述一個目標運動候选和所述一個目標權重相關聯的聯合權重和運動候選索引。