TWI821103B

TWI821103B - 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置

Info

Publication number: TWI821103B
Application number: TW112101020A
Authority: TW
Inventors: 陳俊嘉; 歐萊娜邱巴赫; 徐志瑋; 莊子德; 陳慶曄; 黃毓文
Original assignee: 聯發科技股份有限公司
Priority date: 2022-01-10
Filing date: 2023-01-10
Publication date: 2023-11-01
Also published as: TW202337215A; WO2023131347A1

Abstract

公開了一種用於視訊編解碼的方法和裝置。根據該方法，確定一組MC（運動補償）候選，每個MC候選包括用於對當前塊的邊界圖元進行編解碼的預測樣本。該組MC候選包括一候選，其中該候選對應於根據當前塊的第一運動資訊生成的第一預測圖元和根據當前塊的鄰域邊界塊的第二運動資訊生成的第二預測圖元的加權和。分別確定與MC候選集相關聯的邊界匹配成本。根據邊界匹配成本從該組MC候選中確定最終候選。使用最終候選對當前塊進行編碼或解碼。

Description

在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置

本發明涉及視訊編解碼系統。更具體地，本發明涉及一種在視訊編解碼系統中使用邊界匹配的重疊塊運動補償（Overlapped Block Motion Compensation，簡寫為OBMC）編解碼工具。

通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準（MPEG）。該標準已作為 ISO 標準發佈：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021 年 2 月發佈。通過基於其前身HEVC（High Efficiency Video coding），添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括 3 維（3D）視訊訊號，發展出VVC。

第1A圖說明了包含迴圈處理的示例性適應性幀間/幀內（adaptive Inter/Intra）視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片（在後文中也稱為畫面）中先前編解碼的視訊資料導出的（derived）。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差（residual）。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊（side information）（例如與幀內預測和幀間預測相關聯的運動和解碼模式）以及其他資訊（例如與應用於底層圖像區域（underlying image area）的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊品質。例如，可以使用去塊濾波器（deblocking filter，簡寫為DF）、樣本適應性偏移（Sample Adaptive Offset，簡寫為SAO）和適應性環路濾波器（Adaptive Loop Filter，簡寫為ALF）。可能需要將環路濾波器資訊合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重建樣本被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼（HEVC）系統、VP8、VP9、H.264或VVC。

如第1B圖所示，除了變換 118 和量化 120 之外，解碼器可以使用與編碼器相似或相同的功能塊，因為解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和需要的編解碼資訊（例如ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償（MC 152）而無需運動估計。

根據 VVC，與 HEVC 類似，輸入圖片被劃分（partition）為稱為 CTU（編解碼樹單元）的非重疊方形塊區域。每個 CTU 可以劃分為一個或多個更小的編解碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測處理的單元，例如幀間預測、幀內預測等。

VVC標準結合了各種新的編解碼工具，以進一步在HEVC標準基礎上提高編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。

使用樹結構劃分 CTU

在 HEVC 中，CTU 通過使用表示為編解碼樹的四叉樹 (quaternary-tree，簡寫為QT) 結構被分成 CU 以適應各種局部特徵。使用圖片間（inter-picture）（時間）(temporal)還是圖片內（intra-picture ）（空間）(spatial)預測對圖片區域進行編解碼的決定是在葉 CU 級別做出的。每個葉CU可以根據PU分割類型（splitting type）進一步分割成一個、兩個或四個PU。在一個 PU 內部，應用相同的預測過程，並將相關資訊以 PU 為基礎傳輸到解碼器。在通過應用基於 PU 分割類型的預測過程獲得殘差塊後，可以根據類似於 CU 的編解碼樹的另一種四叉樹結構將葉 CU 劃分為變換單元 (TU)。 HEVC結構的關鍵特徵之一是它具有多個分區概念，包括CU、PU和TU。

在VVC中，使用二元和三元分割分段結構（binary and ternary splits segmentation structure）的具有嵌套多類型樹（nested multi-type tree）的四叉樹取代了多劃分單元類型的概念，即它去除了CU、PU和TU概念的分離(separation)(除了對於具有對於最大變換長度來說尺寸太大的CU)，並且支持更靈活(flexibility)的 CU 分區形狀。在解碼樹結構中，CU可以是正方形或長方形。一個編解碼樹單元（CTU）首先被一個四叉樹（又名四元樹（quadtree））結構劃分。然後四叉樹葉節點可以進一步劃分為多類型樹結構。如第2圖所示，多類型樹結構中有四種分割類型，垂直二元分割（SPLIT_BT_VER 210）、水平二元分割（SPLIT_BT_HOR 220）、垂直三元分割（SPLIT_TT_VER 230）、水平三元分割（SPLIT_TT_HOR 240）。多類型樹葉節點稱為編解碼單元（CU），除非 CU 對於最大變換長度來說太大，否則此分段用於預測和變換處理，而無需進一步劃分。這意味著，在大多數情況下，CU、PU 和 TU 在具有嵌套多類型樹塊結構的四叉樹中具有相同的塊大小。當支持的最大變換長度小於 CU 顏色分量的寬度或高度時會發生例外（exception）。

第3圖說明了嵌套多類型樹編解碼樹結構的四叉樹中劃分分割資訊的發信（signaling）機制。編解碼樹單元（CTU）被視為四叉樹的根，並首先由四叉樹結構劃分。每個四元樹葉節點（當足夠大以允許它時）然後由多類型樹結構進一步劃分。在多類型樹結構中，發信第一標誌(mtt_split_cu_flag)以指示節點是否被進一步劃分；當一個節點被進一步劃分時，發信第二標誌（mtt_split_cu_vertical_flag）以指示分割方向，然後發信第三標誌（mtt_split_cu_binary_flag）以指示分割是二元分割還是三元分割。根據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推導出CU的多類型樹分割模式（MttSplitMode），如表1所示。表 1 – 基於多類型樹句法元素（syntax element）的 MttSplitMode 推導

MttSplitMode	mtt_split_cu_vertical_flag	mtt_split_cu_binary_flag
SPLIT_TT_HOR	0	0
SPLIT_BT_HOR	0	1
SPLIT_TT_VER	1	0
SPLIT_BT_VER	1	1

第4圖顯示了利用四叉樹和嵌套的多類型樹編解碼塊結構將一個 CTU 分成多個 CU，其中粗體塊邊緣表示四叉樹劃分，其餘邊緣表示多類型樹劃分。具有嵌套多類型樹劃分的四叉樹提供了由 CU 組成的內容適應性編解碼樹結構。 CU 的大小可以與 CTU 一樣大，也可以以亮度（luma）樣本為單位小至 4×4。對於 4:2:0 色度（chroma）格式，最大色度 CB 大小為 64×64，最小大小色度 CB 由 16 個色度樣本組成。

在VVC中，支持的最大亮度變換大小為64×64，支持的最大色度變換大小為32×32。當 CB 的寬度或高度大於最大變換寬度或高度時，CB 會自動在水平和/或垂直方向上拆分以滿足該方向上的變換大小限制。

以下參數由用於具有嵌套多類型樹編解碼樹方案的四叉樹的SPS句法元素定義和指定。 CTU大小（CTU size）：四叉樹的根節點大小 MinQTSize：允許的最小四叉樹葉節點大小 MaxBtSize：允許的最大二叉樹根節點大小 MaxTtSize：允許的最大三叉樹根節點大小 MaxMttDepth：從四叉樹葉分割出的多類型樹的允許的最大層次深度（hierarchy depth） MinBtSize：允許的最小二叉樹葉節點大小 MinTtSize：允許的最小三叉樹葉節點大小

在具有嵌套（nested）多類型樹編解碼樹結構的四叉樹的一個示例中，CTU大小設置為128×128亮度樣本和4:2:0色度樣本的兩個對應的64×64塊，MinQTSize設置為 16×16，MaxBtSize 設置為 128×128，MaxTtSize 設置為 64×64，MinBtSize 和 MinTtSize（寬度和高度）設置為 4×4，MaxMttDepth 設置為 4。四叉樹劃分首先應用於 CTU 以生成四叉樹葉節點。四叉樹葉節點的大小可以從 16×16（即 MinQTSize）到 128×128（即 CTU 大小）。如果葉QT節點為128×128，由於大小超過了MaxBtSize和MaxTtSize（即64×64），二叉樹將不再進一步分割。否則，葉 qdtree 節點可能會被多類型樹進一步劃分。因此，四叉樹葉節點也是多類型樹的根節點，其多類型樹深度（mttDepth）為0。當多類型樹深度達到MaxMttDepth（即4）時，不再考慮進一步分割。當多類型樹節點的寬度等於MinBtSize且小於或等於2 * MinTtSize時，不再考慮進一步水平分割。類似地，當多類型樹節點的高度等於MinBtSize且小於或等於2 * MinTtSize時，不考慮進一步的垂直分割。

為了在 VVC 硬體解碼器中允許 64×64 亮度塊和 32×32 色度管線設計（pipelining design），當亮度編解碼塊的寬度或高度大於 64 時，禁止 TT 拆分，如第5圖所示。其中塊 500 對應於 128x128 亮度 CU。可以使用垂直二進位劃分（510）或水平二進位劃分（520）來拆分CU。將塊拆分成4個CU，每個CU大小為64x64，CU可以進一步使用包括TT在內的分區進行拆分。例如，左上角的 64x64 CU 使用垂直三元拆分（vertical ternary splitting） (530) 或水平三元拆分（horizontal ternary splitting）(540) 進行劃分。當色度編解碼塊的寬度或高度大於 32 時，也禁止 TT 拆分。

在VVC中，編解碼樹方案支持亮度和色度具有單獨的塊樹結構（block tree structure）的能力。對於 P 和 B 切片，一個 CTU 中的亮度和色度 CTB 必須共用相同的編解碼樹結構。然而，對於 I 切片，亮度和色度可以具有單獨的塊樹結構。當應用分離塊樹模式（separate block tree mode）時，亮度CTB被一個編解碼樹結構劃分成CU，色度CTB被另一個編解碼樹結構劃分成色度CU。這意味著 I 切片中的 CU 可能由亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，而 P 或 B 切片中的 CU 總是由所有三個顏色分量的編解碼塊組成，除非視訊是單色（monochrome）的。

圖片邊界上的 CU 拆分

如在 HEVC 中所做的那樣，當樹節點塊的一部分超出圖片邊界的底部或右側時，樹節點塊被強制拆分，直到每個編解碼的 CU 的所有樣本都位於圖片邊界內。 VVC 中應用了以下拆分規則： – 如果樹節點塊的任何部分超出了底部或右側圖片邊界（right picture boundaries），並且由於塊大小限制不允許QT、BT和TT拆分，則該塊被強制使用QT拆分方式拆分。 – 否則，如果樹節點塊的一部分超過了底部以及右側圖片邊界， • 如果塊是一個QT節點，並且塊的大小大於最小QT大小，則塊被強制使用QT拆分模式進行拆分。 • 否則，塊被強制以SPLIT_BT_HOR模式拆分 – 否則，如果樹節點塊的一部分超出了底部圖片邊界（bottom picture boundaries）， • 如果塊是QT節點，且塊大小大於最小QT大小，且塊大小大於最大BT大小，則強制使用QT拆分方式拆分塊。 • 否則，如果該塊為QT節點，且塊大小大於最小QT大小且塊大小小於或等於最大BT大小，則該塊被強制使用QT拆分模式或 SPLIT_BT_HOR 模式拆分。 • 否則（該塊為BTT節點或塊大小小於或等於最小QT大小），強制以SPLIT_BT_HOR模式拆分塊。 – 否則，如果樹節點塊的一部分超出了圖片右側邊界， • 如果塊是QT節點，且塊大小大於最小QT大小，且塊大小大於最大BT大小，則強制使用QT拆分方式拆分塊。 • 否則，如果該塊為QT節點，且塊大小大於最小QT大小且塊大小小於或等於最大BT大小，則該塊被強制使用QT拆分模式或 SPLIT_BT_VER 模式拆分。 • 否則（該塊為BTT節點或塊大小小於或等於最小QT大小），強制以SPLIT_BT_VER模式拆分塊。

冗餘CU（Redundant CU）拆分的限制

具有嵌套多類型樹編解碼塊結構的四叉樹提供了高度靈活的塊劃分結構。由於支援多類型樹的拆分類型，不同的拆分模式（splitting pattern）可能會導致相同的編解碼塊結構。在 VVC 中，其中一些冗餘拆分模式是不允許的。

第6圖說明了二叉樹分割和三叉樹分割的冗餘分割模式。如第6圖所示，一個方向上的兩層連續二叉樹分割（垂直 610 和水平 630）可能具有與三元樹分割（垂直 620 和水平 640）後利用中央劃分的二叉樹分割相同的塊結構。在這種情況下，語法（syntax）阻止了三元樹分割的中央分區的二叉樹分割（在給定方向上）。此限制適用於所有圖片中的 CU。

當如上所述禁止分割時，相應語法元素的發信被修改以解決被禁止的情況。例如，當識別出第6圖中的任一情況（即，對於中央劃分（central partition）的 CU 禁止二進位元分割），語法元素 mtt_split_cu_binary_flag（指定分割是二進位分割還是三分分割）未被發信，而是被解碼器推斷為等於 0 。

虛擬管線資料單元（Virtual Pipeline Data Unit，簡寫為VPDU）

虛擬管線資料單元(VPDU)被定義為畫面中的非重疊單元。在硬體解碼器中，連續的 VPDU 由多個管線級同時處理。在大多數管線級，VPDU 大小與緩衝區大小大致成正比，因此保持 VPDU 大小較小很重要。在大多數硬體解碼器中，VPDU 大小可以設置為最大變換塊 (transform block，簡寫為TB) 大小。然而，在 VVC 中，三叉樹 (TT) 和二叉樹 (BT)劃分可能會導致 VPDU 大小增加。

為了將 VPDU 大小保持為 64x64 亮度樣本，在 VTM 中應用以下規範劃分限制（具有語法信令修改），如第7圖所示： – 對於寬度或高度等於128或寬度和高度都等於 128 的 CU，不允許進行 TT 拆分（如第7圖中的“X”所示）。 – 對於 N ≤ 64（即寬度等於 128 且高度小於 128）的 128xN CU，不允許水平 BT。

對於N≤64(即高度等於128且寬度小於128)的Nx128CU，不允許垂直BT。在第7圖中，亮度塊大小為 128x128。虛線表示塊大小為 64x64。根據上述限制，不允許劃分的例子用“X”表示，如第7圖中的各種例子（710-780）所示。

幀內色度（Intra Chroma）劃分和預測限制（Prediction Restriction）

在典型的硬體視訊轉碼器和解碼器中，由於鄰域幀內塊(neighboring intra block)之間的樣本處理資料依賴性，當圖片具有更多小幀內塊（small intra block）時處理輸送量下降。幀內塊的預測子生成需要來自鄰域塊的頂部和左側邊界重建樣本。因此，必須逐塊順序地處理幀內預測。

在HEVC中，最小的幀內CU是8x8亮度樣本。最小幀內CU的亮度分量可以進一步分割為4個4x4亮度幀內預測單元（Pus），但最小幀內CU的色度分量不能進一步分割。因此，當處理 4x4 色度幀內塊或 4x4 亮度幀內塊時，會出現最壞情況的硬體處理輸送量。在 VVC 中，為了提高最壞情況下的輸送量，通過限制色度幀內 CB （chroma intra CB）的劃分，不允許小於 16 個色度樣本（大小 2x2、4x2 和 2x4）的色度內 CB 和寬度小於 4 個色度樣本（大小 2xN）的色度內 CB。

在單個編解碼樹中，最小色度幀內預測單元(smallest chroma intra prediction unit ，簡寫為SCIPU)被定義為色度塊大小大於或等於16個色度樣本並且具有至少一個小於64亮度樣本的子亮度塊的編解碼樹節點，或者其色度塊大小不是 2xN，並且至少有一個子亮度塊 4xN亮度樣本的編碼樹節點。要求在每個 SCIPU 中，所有 CB 都是幀間（inter）的，或者所有的 CB 都是非幀間（non-inter）的，即幀內（intra）或幀內塊複製（intra block copy，簡寫為IBC）。在非幀間SCIPU的情況下，還要求非幀間SCIPU的色度不應該被進一步分割並且SCIPU的亮度被允許進一步分割。這樣，大小小於 16 個色度樣本或大小為 2xN 的小色度幀內 CB 被移除。此外，在非幀間 SCIPU 的情況下不應用色度縮放。在這裡，不發信額外的語法，並且SCIPU是否是非幀間的可以通過SCIPU中的第一個亮度CB的預測模式來導出。如果當前切片是I切片（I-slice），或者當前SCIPU在進一步分割一次後有4x4 亮度劃分，則推斷SCIPU的類型為非幀間（因為VVC不允許幀間 4x4）；否則，在解析 SCIPU 中的 CU 之前，通過一個標誌指示SCIPU 的類型（幀間或非幀間）。

對於圖片內（intra picture）中的雙樹（dual tree），通過分別針對 4xN 和 8xN 色度劃分禁用垂直二元和垂直三元分割來移除 2xN 幀內色度塊。大小為 2x2、4x2 和 2x4 的小色度塊也通過劃分限制被刪除。

另外，通過考慮圖片寬度和高度是max(8，MinCbSizeY)的倍數，考慮對圖片尺寸的限制以避免圖片角處的2x2/2x4/4x2/2xN幀內色度塊。

具有 67 種幀內預測模式的幀內模式編解碼

為了捕獲自然視訊中呈現的任意邊緣方向（arbitrary edge direction），VVC 中的定向幀內模式（directional intra mode）的數量從 HEVC 中使用的 33 個擴展到 65 個。第8圖中也示出了HEVC中沒有的新定向模式，而平面（planar）和DC模式保持不變。這些更密集的定向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。

在VVC中，針對非方形塊，幾種傳統的角度幀內預測模式被適應性地替換為廣角幀內預測模式。

在HEVC中，每個幀內編解碼塊具有正方形形狀並且其每條邊的長度是2的冪。因此，不需要除法操作（division operation）來使用DC模式生成幀內預測子（intra-predictor）。在 VVC 中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免 DC 預測的除法操作，只有較長的邊用於計算非方形塊的平均值。

為了保持最可能模式（most probable mode，簡寫為MPM）列表生成的複雜性較低，通過考慮兩個可用的鄰域幀內模式，使用具有 6 個 MPM 的幀內模式編解碼方法。構建MPM列表考慮以下三個方面： – 預設幀內模式 – 鄰域幀內模式 – 導出的幀內模式。

統一的（unified）6-MPM列表用於幀內塊，而不管是否應用MRL和ISP編解碼工具。 MPM 列表是基於左側和上方鄰域塊的幀內模式構建的。假設左側的模式記為Left，上方塊的模式記為Above，則統一的MPM列表構造如下： – 當鄰域塊不可用時，其幀內模式預設設置為Planar。 – 如果 Left 和 Above 兩種模式都是非角度模式（non-angular mode）： – MPM 列表 à {Planar, DC, V, H, V − 4, V + 4} – 如果 Left 和 Above 模式之一是角度模式（angular mode），另一個是非角度模式： – 將模式 Max 設置為 Left 和 Above 中的較大模式 – MPM 列表à {Planar, Max, DC, Max − 1, Max + 1, Max − 2} – 如果 Left 和 Above 都是有角度的並且它們不同： – 將模式 Max 設置為 Left 和 Above 中的較大模式 – 如果模式 Left 和 Above 的差異在 2 到 62 的範圍內，包括2和62 • MPM 列表à {Planar, Left, Above, DC, Max − 1, Max + 1} – 否則 • MPM 列表à {Planar, Left, Above, DC, Max − 2, Max + 2} – 如果 Left 和 Above 都是有角度的並且它們是相同的： – MPM 列表à {Planar, Left, Left − 1, Left + 1, DC, Left − 2}

此外，MPM索引碼字的第一個位元子（bin）是CABAC上下文編解碼的。總共使用了三個上下文，對應於當前幀內塊是啟用 MRL、啟用 ISP 還是正常幀內塊。

在6 MPM列表生成過程中，修剪（pruning）用於去除重複的模式，使得只有獨特的模式可以被包括到MPM列表中。對於 61 種非 MPM 模式的熵編解碼，使用截斷的二進位編解碼 (Truncated Binary Code，簡寫為TBC)。

非正方形塊的廣角幀內預測

常規角度幀內預測方向被定義為順時針方向從45度到-135度。在 VVC 中，幾種傳統的角度幀內預測模式被適應性地替換為非方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發信，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，且幀內模式編解碼方法不變。

為了支持這些預測方向，長度為 2W+1 的頂部參考和長度為 2H+1 的左側參考分別如第9A圖和第9B圖被定義。

廣角方向模式中替換模式的數量取決於塊的縱橫比。替換的幀內預測模式如表 2 所示。表2 – 廣角模式替換的幀內預測模式

縱橫比	替換的幀內預測模式
W / H == 16	模式 12, 13,14,15
W / H == 8	模式 12, 13
W / H == 4	模式 2,3,4,5,6,7,8,9,10,11
W / H == 2	模式 2,3,4,5,6,7,
W / H == 1	無
W / H == 1/2	模式 61,62,63,64,65,66
W / H == 1/4	模式57,58,59,60,61,62,63,64,65,66
W / H == 1/8	模式55, 56
W / H == 1/16	模式53, 54, 55, 56

如第10圖所示，在廣角幀內預測的情況下，兩個垂直相鄰的預測樣本（樣本1010和1012）可能使用兩個不相鄰的參考樣本（樣本1020和1022）。因此，將低通參考樣本濾波器和邊平滑（side smoothing）應用於廣角預測，以減少增加的間隙 Δpα 的負面影響。如果廣角模式表示非分數偏移。廣角模式中有8個模式滿足這個條件，分別是[-14, -12, -10, -6, 72, 76, 78, 80]。當通過這些模式預測塊時，直接複製參考緩衝區中的樣本而不應用任何插值。通過此修改，需要平滑的樣本數量減少了。此外，它對齊（align）了傳統預測模式和廣角模式中非分數模式的設計。

在VVC中，支持4:2:2和4:4:4以及4:2:0色度格式。 4:2:2 色度格式的色度導出模式 (derived mode，簡寫為DM) 導出表最初是從 HEVC 移植的，將條目數從 35 擴展到 67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支援−135∘以下和45∘以上的預測角度，從2到5的亮度幀內預測模式映射到2。因此，用於4:2:2色度格式的色度DM推導表透過替換映射表(mapping table)條目的一些值來更新，以更精確地轉換色度塊的預測角度。

模式相關幀內平滑（ Mode Dependent Intra Smoothing ，簡寫為 MDIS)

四抽頭（Four-tap）幀內插值濾波器被用來提高定向幀內預測精度（directional intra prediction accuracy）。在 HEVC 中，雙抽頭線性插值濾波器已用於在定向預測模式（即不包括平面和 DC 預測子）中生成幀內預測塊。在 VVC 中，簡化的 6 位 4 抽頭高斯插值濾波器僅用於定向幀內模式。非定向幀內預測過程未修改。 4 抽頭濾波器的選擇是根據提供非分數位移的定向幀內預測模式的 MDIS 條件執行的，即除以下模式外的所有定向模式：2、HOR_IDX、DIA_IDX、VER_IDX、66。

根據幀內預測模式，執行以下參考樣本處理： – 定向幀內預測模式分為以下幾組之一： – 垂直或水平模式（HOR_IDX、VER_IDX）， – 表示45∘倍數的角度的對角線模式（2、DIA_IDX、VDIA_IDX）， – 剩餘的定向模式； – 如果定向幀內預測模式屬於 A 組，則不對參考樣本應用濾波器來生成預測樣本； – 否則，如果模式屬於 B 組，則可以將 [1, 2, 1] 參考樣本濾波器（取決於 MDIS 條件）應用於參考樣本，以根據所選的方向進一步將這些濾波的值複製到幀內預測子中，但不應用插值濾波器； – 否則，如果模式被分類為屬於 C 組，則僅將幀內參考樣本插值濾波器應用於參考樣本以生成預測樣本，該預測樣本根據所選方向落入參考樣本之間的小數或整數位置（不執行參考樣本濾波）。

交叉分量線性模型 (Cross-Component Linear Model ，簡寫為 CCLM) 預測

為了減少交叉分量冗餘，在VVC中使用交叉分量線性模型(CCLM)預測模式，其中通過使用線性模型基於相同CU的重建的亮度樣本來預測色度樣本如下： (1) 其中表示 CU 中預測的色度樣本，表示同一 CU 的下採樣的重建的亮度樣本（downsampled reconstructed luma sample）。

CCLM 參數（α 和 β）由最多四個鄰域色度樣本及其相應的下採樣的亮度樣本導出。假設當前色度塊維度為W×H，則W'和H'設置為 – 當應用LM模式時，W’ = W, H’ = H; – 當應用LM-A模式時，W’ =W + H; – 當應用LM-L模式時，H’ = H + W;

上述鄰域位置記為S[0，-1]…S[W'-1，-1]，左鄰域位置記為S[-1，0]…S[-1，H ' - 1 ]。然後選擇四個樣本作為 – 當應用LM模式，且上方和左側鄰域樣本可用時，S[W’ / 4, −1 ], S[ 3 * W’ / 4, −1 ], S[ −1, H’ / 4 ], S[ −1, 3 * H’ / 4 ]; – 當應用LM-A模式，且僅上方鄰域樣本可用時，S[ W’ / 8, −1 ], S[ 3 * W’ / 8, −1 ], S[ 5 * W’ / 8, −1 ], S[ 7 * W’ / 8, −1 ] ; – 當應用LM-L模式，且僅左側鄰域樣本可用時，S[ −1, H’ / 8 ], S[ −1, 3 * H’ / 8 ], S[ −1, 5 * H’ / 8 ], S[ −1, 7 * H’ / 8 ];

所選位置處的四個鄰域亮度樣本被下採樣（down-sampled）並比較四次以找到兩個較小的值： x ⁰ _A 和 x ¹ _A ，以及兩個較大的值： x ⁰ _B 和 x ¹ _B 。它們對應的色度樣本值表示為 y ⁰ _A , y ¹ _A , y ⁰ _B 和 y ¹ _B 。 x _A , x _B , y _A 和 y _B 導出為： Xa=(x0A + x1A +1)＞＞1; Xb=(x0B + x1B +1)＞＞1; Ya=(y0A + y1A +1)＞＞1; Yb=(y0B + y1B +1)＞＞1 (2)

最後，根據以下等式獲得線性模型參數α和β。 (3) (4)

第11圖顯示了CCLM模式中涉及的當前塊的樣本以及左側和上方樣本的位置示例。第11圖顯示了N×N色度塊1110、相應的2N×2N亮度塊1120及其鄰域樣本（顯示為實心圓）的相對樣本位置。

計算參數 α 的除法運算是通過查閱資料表實現的。為了減少存儲表所需的記憶體，diff值（最大值和最小值之間的差）和參數α用指數標記法表示。例如，diff 由一個 4 位元有效部分（significant part）和一個指數來近似。因此，對於 16 個有效數值(significand values)，1/diff 的表被簡化為 16 個元素(elements)，如下所示： DivTable [ ] = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 } (5)

這將具有降低計算複雜性以及存儲所需表格所需的記憶體大小的益處。

上方範本（above template）和左側範本（left template）可以一起用於計算線性模型係數外，它們還可以可選地用於其他2種LM模式，稱為LM_A和LM_L模式。

在LM_A模式下，僅使用上方範本計算線性模型係數。為了獲得更多樣本，將上方範本擴展為 (W+H)。在 LM_L 模式下，只使用左側範本計算線性模型係數。為了獲得更多樣本，將左側範本擴展為 (H+W)。

對於非正方形塊，將上方範本擴展為W+W，將左側範本擴展為H+H。

為了匹配4:2:0視訊序列的色度樣本位置，將兩種類型的下採樣濾波器應用於亮度樣本以在水平和垂直方向上實現2比1的下採樣比率。下採樣濾波器的選擇由 SPS 級別標誌指定。兩個下採樣濾波器如下，分別對應“type-0”和“type-2”內容。 (6) (7)

注意，當上方輔助線（upper reference line）在CTU邊界處時，僅使用一條亮度線（幀內預測中的通用線緩衝器）來製作下採樣的亮度樣本。

該參數計算作為解碼過程的一部分執行，而不僅僅是作為編碼器搜索操作。因此，沒有語法用於將 α 和 β 值傳送給解碼器。

對於色度幀內模式編解碼，色度幀內模式編解碼總共允許8種幀內模式。這些模式包括五種傳統幀內模式和三種跨分量線性模型模式（CCLM、LM_A 和 LM_L）。色度模式信令和推導過程如表 3 所示。色度模式編解碼直接取決於相應亮度塊的幀內預測模式。由於在I切片中啟用了用於亮度和色度分量的單獨塊劃分結構，所以一個色度塊可以對應於多個亮度塊。因此，對於色度 DM模式，直接繼承覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式。表 ‑3 – 當啟用cclm時從亮度模式導出色度預測模式

色度預測模式	對應的亮度幀內預測模式
0	50	18	1	X ( 0 ＜= X ＜= 66 )
0	66	0	0	0	0
1	50	66	50	50	50
2	18	18	66	18	18
3	1	1	1	66	1
4	0	50	18	1	X
5	81	81	81	81	81
6	82	82	82	82	82
7	83	83	83	83	83

如表4所示，無論sps_cclm_enabled_flag的值如何，都使用單個二值化表。表 4–用於色度预测模式的统一二值化表

intra_chroma_pred_mode的值	二進位字元串（Bin string）
4	00
0	0100
1	0101
2	0110
3	0111
5	10
6	110
7	111

在表 4 中，第一個位元子表示它是常規 (0) 還是 LM 模式 (1)。如果是LM模式，則下一個位元子表示是否為LM_CHROMA(0)。如果不是LM_CHROMA，則下一個位元子表示是LM_L（0）還是LM_A（1）。對於這種情況，當 sps_cclm_enabled_flag 為 0 時，對應 intra_chroma_pred_mode 的二值化表的第一個位元子可以在熵編解碼之前被丟棄。或者，換句話說，第一個位元子被推斷為 0，因此未被編解碼。此單個二值化表用於 sps_cclm_enabled_flag 等於 0 和 1 的情況。表 4 中的前兩個位元子使用其自己的上下文模型進行上下文編進而碼，其餘位元子進行旁路編解碼。

此外，為了減少雙樹中的亮度-色度延遲，當64x64亮度編解碼樹節點不分割(並且64x64 CU不使用ISP)或使用QT劃分時，32x32 / 32x16色度編解碼樹節點中的色度CU允許通過以下方式使用 CCLM： – 如果32x32色度節點不分割或使用QT分割劃分，則32x32節點中的所有色度CU都可以使用CCLM – 如果32x32色度節點採用水平BT劃分，32x16子節點不分割或使用垂直 BT分割，則32x16色度節點中的所有色度 CU都可以使用CCLM。

在所有其他亮度和色度編解碼樹分割條件下，CCLM不允許用於色度CU。

位置相關（ Position Dependent ）幀內預測組合

在VVC中，DC、平面和若干角度模式的幀內預測結果通過位置相關幀內預測組合（position dependent intra prediction combination ，簡寫為PDPC)方法進一步修改。 PDPC 是一種幀內預測方法，它調用未濾波的邊界參考樣本和 HEVC 樣式的幀內預測搭配濾波的邊界參考樣本的組合。 PDPC應用於以下幀內模式而無需信令（without signaling）：平面、DC、水平、垂直、左下角模式及其八個相鄰角度模式（angular mode）、右上角模式及其八個相鄰角度模式。

使用幀內預測模式（DC、平面、角度）和參考樣本的線性組合根據如下的等式（8）預測預測樣本pred(x’,y’)： pred( x’, y’)=( wL× R ₋ _{1
,y’}+ wT× R _x’, ₋ ₁− wTL× R ₋ _{1
,} ₋ ₁+(64 − wL− wT+ wTL)× pred( x’, y’) + 32 )＞＞6 (8) 其中 R _x, ₋ ₁, R ₋ _{1
,y}分別表示位於當前樣本(x, y)上方和左側邊界的參考樣本， R ₋ _{1
,} ₋ ₁表示位於當前塊左上角的參考樣本。

如果 PDPC 應用於 DC、平面、水平和垂直幀內模式，則不需要額外的邊界濾波器，如在 HEVC DC 模式邊界濾波器或水平/垂直模式邊緣濾波器的情況下所需要的。 DC 和平面模式的 PDPC 過程是相同的，並且避免了削波操作。對於角度模式，調整 PDPC 比例因數，這樣就不需要範圍檢查，並且刪除啟用 PDPC 的角度條件（使用＞=0 的比例（scale ＞=0））。此外，在所有角度模式情況下，PDPC 權重均基於 32。 PDPC 權重取決於預測模式，如表 5 所示。PDPC 應用於寬度和高度均大於或等於 4 的塊。表 5 – 依據預測模式的PDPC權重的示例

預測模式	wT	wL	wTL
對角線右上角（Diagonal top-right）	16 ＞＞ ( ( y’＜＜1 ) ＞＞ shift)	16 ＞＞ ( ( x’＜＜1 ) ＞＞ shift)	0
對角線左下角（Diagonal bottom-left）	16 ＞＞ ( ( y’＜＜1 ) ＞＞ shift)	16 ＞＞ ( ( x’＜＜1 ) ＞＞ shift)	0
相鄰對角線右上角	32 ＞＞ ( ( y’＜＜1 ) ＞＞ shift)	0	0
相鄰對角線左下角	0	32 ＞＞ ( ( x’＜＜1 ) ＞＞ shift)	0

第12A-D圖說明了應用於各種預測模式的 PDPC 的參考樣本( R _x, ₋ ₁, R ₋ _{1
,y}和 R ₋ _{1
,} ₋ ₁)的定義，其中第12A圖對應於對角線右上角模式，第12B圖對應於對角線左下角模式，第12C圖對應於相鄰對角線右上角模式，第12D圖對應於相鄰對角線左下角模式。預測樣本 pred(x’, y’)位於預測塊內的 (x', y') 處。例如，參考樣本 R _x, ₋ ₁的座標 x 由下式給出：x = x' + y' + 1，參考樣本 R ₋ _{1
,y}的座標 y 類似地由下式給出：y = x ' + y' + 1 用於對角(diagonal)模式。對於其它角度模式，參考樣本 R _x, ₋ ₁和 R ₋ _{1
,y}可以位於分數樣本位置。在這種情況下，使用最近的整數樣本位置的樣本值。

多輔助線（ Multiple Reference Line ，簡寫為 MRL ）幀內預測

多輔助線（MRL)幀內預測使用更多輔助線用於幀內預測。第13圖描述了 4 條輔助線的示例，其中片段（segment） A 和 F 的樣本不是從重建的鄰域樣本中提取的，而是分別用片段 B 和 E 中最接近的樣本填充的。 HEVC 畫面內預測使用最近的輔助線（即輔助線 0）。在 MRL 中，使用了 2 條附加線（輔助線1和輔助線3）。

所選輔助線的索引（mrl_idx)被發信並用於生成幀內預測子。對於大於0的輔助線idx，僅在MPM列表中包括額外的輔助線模式並且僅發信mpm索引而不發信剩餘模式。輔助線索引在幀內預測模式之前發信，並且在發信非零輔助線索引的情況下，平面模式被排除在幀內預測模式之外。

MRL對於CTU內的塊的第一行被禁用以防止使用當前CTU行之外的擴展參考樣本。此外，當使用附加線時，PDPC（Position-Dependent Prediction Combinatio，位置相關預測組合）將被禁用。對於 MRL 模式，非零輔助線索引的 DC 幀內預測模式中 DC 值的推導與輔助線索引 0 的推導對齊。MRL 需要存儲 CTU的 3 個鄰域的亮度輔助線以生成預測。交叉分量線性模型 (CCLM) 工具還需要 3 條鄰域的亮度輔助線用於其下採樣濾波器。MRL 的定義與 CCLM 一致去使用相同 3 行，以減少解碼器的存儲要求。

具有CU級別權重的雙向預測(Bi-prediction with CU-level weight，簡寫為BCW)

在HEVC中，通過對從兩個不同的參考圖片獲得的兩個預測信號求平均和/或使用兩個不同的運動向量來生成雙向預測信號。在 VVC 中，雙向預測模式被擴展到簡單的平均之外，以允許對兩個預測信號進行加權平均。 (9)

加權平均雙向預測允許五個權重，w∈{-2,3,4,5,10}。對於每個雙向預測的 CU，權重 w 由以下兩種方式之一確定：1）對於非合併 CU，權重索引在運動向量差異之後發信； 2）對於合併CU，權重索引是根據合併候選索引從鄰域塊中推斷出來的。 BCW 僅適用於具有 256 個或更多亮度樣本的 CU（即，CU 寬度乘以 CU 高度大於或等於 256）。對於低延遲圖片，使用所有 5 個權重。對於非低延遲圖片，僅使用 3 個權重 (w ∈{3,4,5})。 – 在編碼器處，應用快速搜索演算法來查找權重索引，而不會顯著增加編碼器的複雜性。這些演算法總結如下。有關更多詳細資訊，請參閱 VTM 軟體和文件JVET-L0646（Yu-Chi Su 等人，“CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296”， ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 聯合視訊專家團隊（JVET），第 12 次會議：中國澳門，2018 年 10 月 3-12 日，文件：JVET-L0646）。當與 AMVR 結合時，如果當前圖片是低延遲圖片，則僅針對 1 圖元和 4 圖元運動向量精度有條件地檢查不等權重。 – 當與仿射相結合時，當且僅當仿射模式被選為當前最佳模式時，才會對不等權重（unequal weight）執行仿射ME。 – 當雙向預測中的兩個參考圖片相同時，僅有條件地檢查不等權重。 – 當滿足某些條件時不搜索不等權重，這取決於當前圖片與其參考圖片之間的 POC 距離、編解碼 QP 和時間級別。

BCW 權重指數使用一個上下文編解碼的位元子和旁路編解碼的位元子進行編解碼。第一個上下文編碼的位元元子指示是否使用相等的權重；如果使用不等權重，則使用旁路編解碼發信額外的位元子，以指示使用了哪個不等權重。

加權預測（weighted prediction，簡寫為WP)是H.264/AVC和HEVC標準支援的編解碼工具，用於有效編解碼具有衰落的視訊內容。對 WP 的支援也被添加到 VVC 標準中。 WP 允許為每個參考圖片清單 L0 和 L1 中的每個參考圖片發送加權參數（權重和偏移）。然後，在運動補償期間，應用相應參考圖片的權重和偏移。 WP 和 BCW依不同類型的視訊內容而設計。為了避免 WP 和 BCW 之間的相互作用（這會使 VVC 解碼器設計複雜化），如果 CU 使用 WP，則 BCW 權重索引不被發信，並且 w 被推斷為 4（即應用相等的權重）。對於合併 CU，權重索引是根據合併候選索引從鄰域塊中推斷出來的。這可以應用於普通合併模式和繼承的仿射合併模式。對於構造的仿射合併模式，仿射運動資訊是基於最多3個塊的運動資訊構造的。使用構造的仿射合併模式的 CU 的 BCW 索引被簡單地設置為等於第一個控制點 MV 的 BCW 索引。

在VVC中，CIIP和BCW不能一起應用於一CU。當CU採用CIIP模式編解碼時，當前CU的BCW索引設置為2，例如，權重相等。

ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)目前正在探索下一代視訊編解碼標準。增強壓縮模型 2 (Enhanced Compression Model 2，簡寫為ECM 2) 中採用了一些有前途的新編解碼工具（M. Coban 等人，“Algorithm description of Enhanced Compression Model 2 (ECM 2)”， ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)，第 23 次會議，通過電話會議，2021 年 7 月 7 日至 16 日，文件JVET-W2025）以進一步改進 VVC。採用的新工具已在參考軟體 ECM-2.0 中實現（ECM 參考軟體 ECM-2.0）。特別地，已經開發了一種用於聯合預測殘差變換塊中變換係數級別的符號集合的新方法（JVET-D0031，Felix Henry 等人，“Residual Coefficient Sign Prediction”， ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)，第 4 次會議：中國成都，2016 年 10 月 15-21 日，文件 JVET-D0031）。在 ECM 2 中，為了得出殘差變換塊的最佳符號預測假設，將成本函式定義為跨塊邊界的不連續性度量，如第14圖所示，其中塊 1410 對應於變換塊，圓圈 1420 和 1422 對應於鄰域塊樣本，圓圈 1430 和 1432 對應於與塊 1410 的符號(sign)候選相關聯的重建樣本。成本函數被定義為上方行和左側列的殘差域中的絕對二階導數之和，如下所示： (10)

上式中，R為重建鄰域，P為當前塊的預測，r為殘差假設。變換塊中每個符號預測假設(hypothesis)的允許的最大預測符號個數 N _sp在序列參數集 (SPS) 中發信，並且在 ECM-2.0 中被限制為小於或等於 8。為所有假設測量成本函數，並選擇具有最小成本的假設作為係數符號的預測子（predictor）。僅允許將來自變換塊中左上角 4x4 變換子塊區域（具有最低頻率係數）的係數符號包含在假設中。根據左上角 4x4 子塊上的光柵掃描順序收集和編解碼前 N _sp個（first N _sp ）非零係數（如果可用）的符號。對於那些預測的係數，代替係數符號，指示預測的符號是否等於所選假設的符號預測位元元子被發信。這個符號預測位元元子是上下文編解碼的，其中所選上下文是從係數是否為 DC 中導出的。上下文針對塊內塊（intra block）和塊間塊(inter block)以及亮度和色度分量是分開的。對於那些沒有符號預測的其他係數，相應的符號在旁路模式下由CABAC編解碼。

色度殘差聯合編碼

VVC支援色度殘差聯合編解碼(joint codingof chroma residual，簡寫為JCCR)工具，其中色度殘差被聯合編解碼。 JCCR 模式的使用（啟動）由 TU 級標誌 tu_joint_cbcr_residual_flag 指示，所選模式由色度 CBF 隱式指示。如果 TU 的一個或兩個色度 CBF 等於 1，則存在標誌 tu_joint_cbcr_residual_flag。在 PPS（圖片參數集）和切片報頭中，發信色度 QP 偏移值用於 JCCR 模式，以區別於為常規色度殘差編解碼模式發信的通常的色度 QP 偏移值。這些色度 QP 偏移值用於導出使用 JCCR 模式編解碼的某些塊的色度 QP 值。 JCCR 模式有 3 個子模式。當相應的 JCCR 子模式（表1中的子模式 2）在 TU 中處於活動狀態時，此色度 QP 偏移量會在該 TU 的量化和解碼期間添加到應用的亮度導出的色度 QP 。對於其他 JCCR 子模式（表6中的子模式 1 和 3），色度 QP 的導出方式與傳統 Cb 或 Cr 塊相同。傳輸的變換塊的色度殘差（resCb 和 resCr）的重建過程展示在表1中。當JCCR模式被啟動時，發信一個單一的聯合色度殘差塊（表1中 resJointC[x][y]），Cb的殘差塊（resCb）和Cr的殘差塊 (resCr)是考慮諸如tu_cbf_cb、tu_cbf_cr和CSign之類的資訊而導出的，CSign是切片報頭中指定的符號值。

在編碼器側，聯合色度分量的導出如下所述。根據模式（在上表中列出），resJointC{1,2} 由編碼器生成，如下所示： – 如果模式對於2 (單個殘差，重建 Cb = C, Cr = CSign * C), 聯合殘差的確定如下 resJointC[ x ][ y ] = ( resCb[ x ][ y ] + CSign * resCr[ x ][ y ] ) / 2 – 否則，如果模式等於1 (單個殘差，重建 Cb = C, Cr = (CSign * C) / 2), 聯合殘差的確定如下 resJointC[ x ][ y ] = ( 4 * resCb[ x ][ y ] + 2 * CSign * resCr[ x ][ y ] ) / 5 – 否則 (模式等於3，即, 單個殘差，重建Cr = C, Cb = (CSign * C) / 2), 聯合殘差的確定如下 resJointC[ x ][ y ] = ( 4 * resCr[ x ][ y ] + 2 * CSign * resCb[ x ][ y ] ) / 5 表 6. 重建色度殘差。 值 CSign 是一個符號值（ +1 或 -1 ），在切片報頭中指定， resJointC[ ][ ] 是傳輸的殘差。

tu_cbf_cb	tu_cbf_cr	Cb和Cr殘差的重建	模式
1	0	resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = ( CSign * resJointC[ x ][ y ] ) ＞＞ 1	1
1	1	resCb[ x ][ y ] = resJointC[ x ][ y ] resCr[ x ][ y ] = CSign * resJointC[ x ][ y ]	2
0	1	resCb[ x ][ y ] = ( CSign * resJointC[ x ][ y ] ) ＞＞ 1 resCr[ x ][ y ] = resJointC[ x ][ y ]	3

上述三種聯合色度編解碼子模式僅在I切片中被支援。在 P 和 B 切片中，僅支援模式 2。因此，在 P 和 B 切片中，語法元素 tu_joint_cbcr_residual_flag 僅在兩個色度 cbfs 均為 1 時才存在。

JCCR 模式可以與色度變換跳過 (transform skip，簡寫為TS) 模式組合（TS 模式的更多細節可以在 JVET-T2002 的 Section 3.9.3中找到）。為了加快編碼器決策，JCCR變換選擇取決於Cb和Cr分量的獨立編解碼是選擇DCT-2還是TS作為最佳變換，以及獨立色度編解碼中是否存在非零係數。具體來說，如果一個色度分量選擇DCT-2（或TS）而另一個分量全為零，或者兩個色度分量都選擇DCT-2（或TS），那麼在JCCR編碼中只會考慮DCT-2（或TS）。否則，如果一個分量選擇 DCT-2 而另一個分量選擇 TS，那麼 DCT-2 和 TS 都將在 JCCR編碼中考慮。

公開了一種用於視訊編解碼的方法和設備。根據該方法，接收與當前塊相關聯的輸入資料，其中，輸入資料包括在編碼器側用於待編碼的當前塊的圖元資料或在解碼器側與待解碼的當前塊相關聯的預測殘差資料。確定一組MC(運動補償)候選，其中每個MC候選包括用於編解碼當前塊的邊界圖元的預測的樣本，其中該組MC候選包括一候選，並且其中該候選對應於根據當前塊的第一運動資訊生成的第一預測圖元和根據當前塊的鄰域邊界塊的第二運動資訊生成的第二預測圖元的加權和。確定與該組MC候選相關聯的邊界匹配成本，其中，藉由對該組MC候選中的每一個目標候選，通過使用根據該每一目標候選確定的該當前塊的重建或預測的樣本以及該當前塊的一個或多個鄰域塊的鄰域重建的樣本，來確定每個邊界匹配成本。根據邊界匹配成本從 MC 候選集中確定最終候選。使用最終候選對當前塊進行編碼或解碼。

在一個實施例中，當前塊對應於包圍當前塊的CU (Coding Unit)的最頂部邊界中的子塊，並且當前塊的鄰域邊界塊對應於當前塊之上的上方鄰域塊。在另一個實施例中，當前塊對應於包圍當前塊的CU(Coding Unit)的最左邊界中的子塊，當前塊的鄰域邊界塊對應於當前塊左側的左鄰域塊。

在一個實施例中，該組MC候選還包括對應於第一預測的圖元的另一候選。在另一個實施例中，該組MC候選還包括對應於第二預測的圖元的又一候選。在又一個實施例中，MC候選集合還包括對應於第一預測的圖元的另一候选和對應於第二預測的圖元的又一候選。

在一個實施例中，該組MC候選包括對應於加權和的多個權重的多個第一MC候選。在另一個實施例中，該組MC候選包括對應於當前塊的邊界圖元的不同線數(number of lines)的多個第一MC候選。在又一個實施例中，該組MC候選包括多個第一MC候選，對應於加權和的多個權重和當前塊的邊界圖元的不同線數。

容易理解的是，如本文附圖中大體描述和圖示的本發明的元件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。貫穿本說明書對“一實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一實施例中”或“在一個實施例中”不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、元件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作詳細描述以避免模糊本發明的方面。參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數位表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。

在當前新興的國際視訊標準的發展過程中，提出了越來越多的編解碼模式。通常，需要發信選定的編解碼模式，以便解碼可以使用相同的編碼模式。隨著編解碼模式的增加，需要更多的資料來表示與編解碼模式相關的語法元素。因此，需要開發技術來減少甚至消除發信相關語法元素所需的資料。用於ECM2.0中使用的變換係數的聯合符號編解碼的邊界匹配（boundary matching）技術說明了一種技術，即編碼器和解碼器都可以根據鄰域資料進行相同的成本評估，以選擇最小成本函數（smallest cost function）的符號組合（sign combination）。在本發明中，使用塊邊界匹配（block boundary matching）方法來提高性能。

邊界平滑度測量的附加角度

與僅包括垂直（用於頂部）或水平（用於左側）方向匹配（direction matching）（例如 ECM 內的殘差符號預測）的傳統邊界匹配演算法相比，在所提出的方法中，邊界匹配標準不僅包括垂直（對於頂部邊緣）和/或水平（對於左邊緣），還有一些其他角度。如第15圖所示，傳統的邊界匹配1510是垂直比較圖元；所提出的邊界匹配方法可以在對角線方向（在右上方向1520或左上方向1530的角度）上比較圖元。對於其他角度，可以使用濾波器（例如FIR 濾波器）對圖元的小數位置進行插值（例如，如果角度指向的對應位置不是圖元的整數位置）

匹配過程的角度可以被明確地發信或隱式地導出（在解碼過程中）。

在一個實施例中，平滑度匹配角度（smoothness matching angle）可以在CU/PU/CTU基礎上明確地發信，它也可以由鄰域CU預測（例如，發信左側或頂部鄰域CU的平滑度匹配角度和細節角度（detail angle）差異。）

在另一個實施例中，可以隱含地決定平滑度匹配角度。在一個實施例中，該角度由幀內（intra-mode）模式決定（例如，在VVC中，幀內編解碼模式有各種角度，幀內模式指定的角度可以重新用作邊界平滑度匹配角度）。在另一個實施例中，可以通過對當前L形（當前L形是當前CU周圍的L形圖元區域）的上下文分析來決定角度，例如角度分析（使用角度濾波器）或一些角度濾波器的角度長條圖。

在另一個實施例中，角度可以部分地發信，部分地隱含地決定。在一個示例中，編碼器可以發送一個粗略角度（coarse angle）並且解碼器導出一個精細角度（fine-angle）。粗略角度和導出的精細角度可以組合在一起形成最終角度。在另一示例中，編碼器可以發送一個精細角度，而解碼器導出一個粗略角度。

角度確定後，邊界匹配可以根據角度進行平滑匹配（沿方向比較圖元）或梯度值匹配（沿方向比較梯度值）。

計算差異期間的值削波

在一些情況下，(當前CU周圍的鄰域圖元的)L形可以是另一個物件(與當前CU的物件不同)。在這種情況下，邊界平滑度匹配可能會造成損失。為了解決這個風險，提出了一種新方法。該方法在計算邊界平滑度匹配時，會對樣本匹配差值（sample matching difference）進行裁剪。

在一個實施例中，限幅閾值可以是固定的。在另一個實施例中，限幅閾值可以在CTU級或圖片級或序列級中發信。在又一實施例中，限幅閾值可以通過當前L形和當前預測子的上下文分析或長條圖分析來隱含地決定。在又一個實施例中，可以根據原始視訊比特深度或轉碼器中的內部比特深度來隱式地決定剪切閾值。

基於運動向量相似性的邊界選擇

可以隱式地執行邊界選擇。以下是隱式邊界選擇的一些示例。

在一些情況下，鄰域圖元可能與當前CU具有不連續性（例如，鄰域CU位於另一個物件中）。在這種情況下，邊界匹配方法可能會造成損失。因此，需要一種方法來決定是否信任鄰域圖元。

在這個提出的方法中，在一個實施例中，如果該邊（頂部或左側）的鄰域 MV 的 MV 與當前 CU MV 差異較大，則該邊將被排除在邊界匹配之外。用於相似性（或差異性）比較的 MV 可以是圖元級（假設鄰域區域和當前 CU 區域具有圖元級 MV）、子塊級（假設鄰域區域和當前 CU 區域具有子塊級 MV）或 CU（塊）級。

根據該方法的一個示例在第16圖中示出，其中塊1610對應於當前CU，塊1620對應於左側鄰域子塊並且塊1630對應於頂部鄰域子塊。左側鄰域子塊的運動向量標記為 1622 和 1624。頂部鄰域子塊的運動向量標記為 1632、1634、1636 和 1638。左側當前塊的運動向量標記為 1611 和 1612。當前塊靠近頂部的運動向量被標記為1612、1614、1616和1618。如第16圖所示，當前塊的運動向量類似於左側鄰域子塊的運動向量並且當前塊的運動向量與頂部鄰域子塊的運動向量非常不同。因此，只有左邊界圖元被包括在邊界匹配計算中。

在另一個實施例中，解碼器可以參考相應的參考圖元（參考圖片1720中由當前CU 1710的當前MV 1712指向的圖元1730)和參考圖片中的相應的L形區域1740，如第17圖所示。如果頂部或左側的相應L形圖元1740與參考塊1730非常不同，則它可以隱含地放棄（即，不使用）當前CU的相應側。例如，如果頂邊對應的L形圖元與參考塊差異很大，則當前塊將不會使用當前L形的頂部圖元進行匹配。

當啟用 JCCR 時，同時考慮 Cb 和 Cr 塊邊界

在ECM 2.0中，有一種符號預測方法(通過邊界匹配)的編解碼工具，在JCCR情況下，邊界匹配只應用於一個固定的顏色分量(例如固定比較Cb的邊界匹配) )。

在該方法中，當針對JCCR情況通過邊界匹配對殘差進行符號預測時，建議同時考慮Cb和Cr塊邊界。

在一個實施例中，Cb圖元和Cr圖元都是邊界匹配的，並且總失真（total distortion）被用來決定殘差符號位元（residual sign bit）。

在另一個實施例中，對Cb邊界匹配結果和Cr邊界匹配結果進行加權以確定剩餘符號位元。

在另一個實施例中，編碼器可以發送信號以通知解碼器選擇Cb邊界匹配或Cr邊界匹配。

在另一個實施例中，Cb邊界匹配和Cr邊界匹配的加權（匹配成本的加權和）取決於JCCR模式。例如，如果在某種JCCR模式下，Cb比Cr更重要，那麼Cb邊界匹配在加權求和中將更重要。

在另一個子實施例中，它取決於當前預測子和鄰域重建圖元之間的差異。例如，如果 Cb 的當前預測子與鄰域重建圖元之間的差異遠大於 Cr 的當前預測子與鄰域重建圖元之間的差異，則它對 Cb 邊界匹配具有更高的權重（或者，在另一個示例中，跳過 Cr 邊界匹配）。

僅基於水平邊界的檢查或子採樣

在該方法中，為了降低邊界匹配的複雜度，邊界匹配可以僅基於水平邊界。在可以通過邊界匹配隱式選擇具有N個不同變換核的多變換核的情況下，解碼器將生成N個不同版本的逆變換並加回到預測子以進行N個不同版本的重建。然後，解碼器將使用內核來實現最小的邊界匹配成本。因此，無需與多內核選擇相關的額外信令即可實現編解碼增益。在解碼器處，通常首先執行垂直逆變換，然後進行水平逆變換。根據本發明，對於邊界匹配僅執行水平邊界檢查。理論上，我們只需要生成最左邊的一列樣本進行水平逆變換。因此，邊界匹配計算的複雜度大大降低。

另一種節省多核選擇複雜度的方法是對匹配樣本進行子採樣。因此，根據本實施例不需要生成所有逆變換樣本。

L 型 (L-Shape) 的增強

在該方法中，為了提高邊界匹配方法的編解碼增益，改進當前的L形圖元，提出如下一些實施例。

根據一個實施例，建議對邊界圖元進行降噪以獲得更好的邊界匹配品質。邊界匹配過程將在降噪處理之後應用。

在另一個實施例中，提出進行一些MH(multi-hypothesi，多假設)混合(例如使用兩個其他MH塊的L形來稍微調整當前的L形)，例如，它將使用一個或多個 MV 並從參考圖片（MV 指向）中取出相應的 L 形圖元進行一些混合，得到的 L 形圖元將更好地進行邊界匹配。

用於匹配的選擇性邊界區域

該提議方法的主要目的是避免不正確的邊界圖元用於匹配，此外，該方法是基於區域的（不使用整個頂部邊緣或左側邊緣，而是僅使用頂部或左側鄰域圖元的部分區域）。

在一個實施例中，如果對於某些區域，鄰域 MV (例如，子塊單元）與當前 MV 有很大不同，則將放棄該區域的邊界圖元用於匹配。

在另一個實施例中，可以使用基於分割的方法對L形區域進行分析。換句話說，本實施例將根據L形的物件(object)形狀來分割和判斷鄰域的L形。然後，它可以通過排除邊界匹配的相應區域來避免來自不同物件的邊界匹配。

用於計算平滑度的適應性線數

在該提議的方法中，適應性地改變用於邊界平滑度計算的線的數量。在一個示例中，它可以根據一些尺寸條件、內容條件等使用或多或少的鄰域邊界線來計算邊界平滑度。邊界平滑度計算可以對應於圖元平滑度、梯度平滑度或角度平滑度。

在一個實施例中，對於更大的CU，它將使用更多的線來進行邊界匹配。

在另一個實施例中，對於較小的CU，它將使用較少的線來進行邊界匹配。

在又一個實施例中，對於窄CU，它將使用更多線用於更短的邊緣以進行邊界匹配。對於低紋理 CU，它將使用更多線。

在又一個實施例中，對於其中頂部和/或左側鄰域圖元具有高度紋理的圖元周圍的高紋理（high-texture）CU，它將使用較少的線用於邊界匹配。

BCW 加權選擇與僅預測子隱式選擇（ Predictor-only Implicit Selection ）或語法重新排序

邊界匹配也可以應用於BCW加權選擇以節省BCW加權語法位元元元元元速率。例如，我們可以在解碼器端生成具有不同 BCW 加權假設的預測子，將不同的加權假設結果添加到殘差中，以製作不同假設版本的重建塊。然後將邊界匹配應用於那些不同版本的重建塊，以便在解碼器側選擇BCW 加權決策最佳的一個。

除了上述方法之外，下面還公開了基於邊界匹配的BCW加權語法保存的其他實施例。

在一個實施例中，BCW加權值根據不同版本的重建塊的匹配成本來排序。然後使用編碼器發送的重新排序的索引從排序的權重值列表中選擇最終的 BCW 權重值。

在另一個實施例中，我們不向殘差添加不同版本的預測子。相反，對應於不同權重值假設的不同版本的預測子直接與鄰域 L 形狀的重建鄰域圖元進行比較，以確定解碼器導出的權重的最小值。

重疊塊運動補償 （ OBMC ）

在 ECM 中，當應用 OBMC 時，CU 的頂部和左側邊界樣本使用鄰域塊的運動資訊和加權的預測進行細化，如 JVET-L0101（Zhi-Yi Lin 等人，“CE10.2.1: OBMC”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 的聯合視訊專家組 (JVET)，第 12 次會議：中國澳門，2018 年 10 月 3-12 日，文件：JVET-L0101)、JVET -U0100（Yao-Jen Chang 等人，“Compression efficiency methods beyond VVC”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 聯合視訊專家組 (JVET)，第 21 次會議，電話會議，2021 年 1 月 6-15 日，文件：JVET-U0100)、JVET-K0258（Chun-Chia Chen 等，“CE10-related: OBMC complexity reduction and parallel blending”， ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29聯合視訊專家組 (JVET)，第 11 次會議：盧布爾雅那，SI，2018 年 7 月 10-18 日，文件：JVET-K0258）。 OBMC 樣本混合操作針對頂部/左側 CU 邊界處的每個頂部/左側塊（頂部 4×4 列的頂部方向 OBMC，以及左側 4×4 欄的左側方向 OBMC）進行處理。將使用當前 CU MV 的原始 MC 結果（表示為 Pixel1）和使用鄰域 CU MV 的附加 MC 結果（表示為 Pixel2）混合以獲得新的預測結果（表示為 NewPixel）。

對於亮度塊，混合圖元列/欄（rows/column）數為4，對應的權重因子為：

對於色度塊，混合圖元列/欄數為1，對應的權重因子為：

基於模板匹配的 OBMC （ Template Matching based OBMC ）

最近，針對新興的國際編解碼標準提出了一種基於模板匹配的 OBMC 方案（JVET-Y0076）。如第18圖所示，對於頂部CU邊界處大小為4×4的每個頂部塊，上述模板大小等於4×1。在第18圖中，框1810對應於CU。如果N個相鄰塊具有相同的運動資訊，則上述模板大小被擴大到4N×1，因為可以一次處理MC操作，這與ECM-OBMC中的方式相同。對於左 CU 邊界處大小為 4×4 的每個左塊，左模板大小等於 1×4 或 1×4N。第19圖例示了當前塊及其鄰域塊的示例。在第19圖中，框1910對應於CU。

對於每一個4×4的頂部塊（top block）（或N個4×4 塊組），邊界樣本的預測子按照以下步驟推導： ―以塊A為當前塊及其上方鄰域塊AboveNeighbour_A為例。左塊的操作以相同的方式進行。 ―首先，根據以下三類運動資訊，通過SAD在模板的重建樣本及由MC過程導出的與其對應的參考樣本之間測量三個模板匹配成本（Cost1，Cost2，Cost3）： i. Cost1是根據A的運動資訊計算出來的。 ii. Cost2是根據AboveNeighbour_A的運動資訊計算出來的。 iii. Cost3是根據A和AboveNeighbour_A的運動資訊的加權的預測計算得到的，加權因子分別為3/4和1/4。 ―其次，從三種方法中選擇一種，通過比較Cost1、Cost2和Cost 3來計算邊界樣本的最終預測結果。

使用當前塊的運動資訊的原始 MC 結果表示為 Pixel1，使用鄰域塊的運動資訊的 MC 結果表示為 Pixel2。最終預測結果表示為 NewPixel。 •如果 Cost1 最小，則。 •如果 Cost2 最小，則使用混合模式 1（blending mode 1）。對於亮度塊，混合圖元（blending pixel）列（row）數為4。 ― ― ― ― 對於色度塊，混合圖元列數為 1。 ― •如果Cost3 最小，則使用混合模式2。對於亮度塊，混合圖元列數為 2。 ― ― 對於色度塊，混合圖元列/欄（column）數為 1。 ―

用於 OBMC 的 基於模板匹配的方法（ Boundary-Matching based Method for OBMC ）

在本發明中，我們建議使用邊界匹配（即，將假設的預測子與L-鄰域邊界圖元匹配或將重構的圖元與L-鄰域邊界圖元匹配）。 L鄰域邊界圖元是指CU頂部邊界上方的鄰域圖元和/或CU左邊界左側的鄰域圖元。 L鄰域邊界圖元可對應於CU頂部邊界上方的一列和/或CU左邊界左側的一欄。然而，根據本發明可以使用更多的列或欄。邊界匹配（例如，ECM2.0 中採用的邊界匹配）是跨塊邊界的不連續性度量（discontinuity measure），如第14圖和等式(10)所示。然而，本發明不限於邊界處的特定列數或欄數。此外，本發明不受特定公式或特定參數(例如等式(10))的限制。

對於最頂部(top-most)的子塊（例如，第19圖中的子塊 A、B、C 和 D）或最左側的子塊（例如，第19圖中的子塊 A、E、F 和 G），它生成預測子的不同假設版本，通過使用鄰域 MV 執行運動補償（MC），使用原始 MV 執行 MC，或使用根據鄰域 MV 的假設版本和根據（當前子塊的）當前 MV 的假設版本的加權平均。可以將不同版本的假設預測子與 L 鄰域重建的圖元進行比較，以獲得邊界匹配成本。最好的假設預測子可以作為最終的決策模式。在另一個實施例中，代替假設預測子，我們可以使用重構的樣本（即預測子+殘差）來計算邊界匹配成本。

如上所述的用於OBMC的基於邊界匹配的方法可以在編碼器側或解碼器側實現。例如，在編碼器端，所需的處理可以作為如第1A圖所示的幀間預測單元（Inter-Pred. unit）112的一部分來實現。然而，編碼器也可以使用額外的處理單元來實現所需的處理。對於解碼器側，所需的處理可以如第1B圖所示的MC單元152的一部分來實現。然而，解碼器也可以使用額外的處理單元來實現所需的處理。幀間預測單元112 和 MC 152雖顯示為單獨的處理單元，但它們可能對應於存儲在媒體（例如硬盤或閃存）上的可執行軟體或韌體代碼，用於 CPU（中央處理單元）或可編程設備（例如 DSP（數位信號）處理器）或 FPGA（現場可編程門陣列））。

例如，我們可以有3種模式，一種是關閉模式（off-mode）（即沒有OBMC），一種是鄰域強模式（neighbour-strong mode）（即OBMC對鄰域塊有強依賴），一種是鄰域弱模式（即，OBMC 對鄰域塊的依賴性較弱）。對於每種模式，生成一個假設 MV。例如，我們可以將當前的 MV 用於關閉模式；將僅使用鄰域 MV 用於鄰域強模式；將使用鄰域 MV 和當前 MV 的加權求和用於鄰域弱模式。對於每種模式，都會有相應的 OBMC 混合模式。例如，對於鄰域強模式，我們可以將傳統 OBMC 過程的所有 4 條線混合。根據傳統的 OBMC 過程，對於當前 CU 內最左側或最上方的子塊，它會生成 2 個 MC 結果：一個來自當前 MV，另一個來自鄰域 MV。然後將 2 個 MC 結果混合在一起。對於弱鄰域模式，因為鄰域 MV 不是那麼值得信賴，我們只混合 2 條線。

通常，我們使用邊界平滑度匹配來進行 OBMC 的子塊模式選擇。得到邊界匹配結果之後，我們可以選擇一種模式，選擇的模式會有相應的過程來生成最終的預測子。

在一個實施例中，假設預測子（即，用於邊界匹配的不同候選的假設預測子）被用作最終預測子。

在另一個實施例中，所決定的模式將具有不同的OBMC過程參數（例如混合線、混合權重等）。

本發明還公開了生成不同假設預測子的各種方式。在一個實施例中，它使用當前 MV 和鄰域 MV 來生成不同的假設。在另一個實施例中，它採用（assume）當前 MV 和/或鄰域 MV 周圍的多個搜索位置來生成假設。在又一個實施例中，它使用鄰域MV的不同粒度（例如CU級、子塊級、圖元級）來生成當前子塊的假設預測子。在又一個實施例中，它對多個鄰域子塊的MV進行平均（或加權平均）以生成當前子塊的假設。

上述邊界匹配過程可以基於當前塊的預測子和重建的鄰域樣本。在另一個實施例中，邊界匹配過程可以基於當前塊的“預測子+殘差”和重建的鄰域樣本。

任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在解碼器的幀內(例如第1B圖中的幀內150)/幀間編解碼模組、運動補償模組(例如第1B圖中的MC 152)、合併候選推導中實現。或者，所提出的任何方法都可以實現為耦合到編碼器的幀內(例如第1A圖中的幀內110)/幀間編解碼模組和/或編碼器的運動補償模組(例如第1B圖中的MC 112)、合併候選推導模組的電路。

第20圖示出了根據本發明實施例的利用基於邊界匹配的OBMC(重疊塊運動補償)的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟2010中接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的圖元資料或在解碼器側待解碼的與當前塊相關聯的編碼資料。在步驟2020中確定一組MC(運動補償)候選，其中每個MC候選包括用於對當前塊的邊界圖元進行編解碼的預測的樣本，其中該組MC候選包括某一候選，並且其中某一候選對應於根據當前塊的第一運動資訊生成的第一預測圖元和根據當前塊的鄰域邊界塊的第二運動資訊生成的第二預測圖元之加權和。在步驟2030中確定與該組MC候選相關聯的邊界匹配成本，其中，藉由對該組MC候選中的每一個目標候選，通過使用(1)根據該每一目標候選確定的該當前塊的重建或預測的樣本以及(2)該當前塊的一個或多個鄰域塊的鄰域重建的樣本，來確定每個邊界匹配成本。在步驟2040中基於邊界匹配成本從MC候選集合中確定最終候選。在步驟2050中使用最終候選對當前塊進行編碼或解碼。

所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式碼以執行這裡描述的處理。本發明的實施例還可以是要在數位訊號處理器(DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或風格來開發。也可以為不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測

112:幀間預測

114:開關

116:加法器

118:變換

120:量化

122:熵編碼器

130:環路濾波器

124:逆量化

126:逆變換

128:重建

134:參考圖片緩衝器

136:預測資料

140:熵解碼器

150:幀內預測

152:MC

210~240:分割類型

500:塊

510:垂直二進位劃分

520:水平二進位劃分

530:垂直三元拆分

540:水平三元拆分

610、630:二叉樹分割

620、640:三元樹分割

710~780:劃分示例

1010、1012、1020、1022、1420、1422、1430、1432:樣本

1110、1120、1410、1610、1620、1630:塊

1510:垂直比較圖元

1520、1530:對角線方向比較圖元

1611~1618、1622~1624、1632~1638、1712:運動矢量

1710、1810、1910:CU

1720:圖片

1730:圖元

1740:L形區域

2010~2050:步驟

第1A圖說明了包含迴圈處理的示例性適應性幀間/幀內視訊編解碼系統。第1B圖圖示了第1A圖中的編碼器的相應解碼器。第2圖示出了對應於垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)的多類型樹結構的示例。第3圖示出了具有嵌套多類型樹編解碼樹結構的四叉樹中的劃分分割資訊的信令機制的示例。第4圖示出了CTU被劃分為具有四叉樹和嵌套多類型樹編解碼塊結構的多個CU的示例，其中粗體塊邊緣表示四叉樹劃分而其餘邊緣表示多類型樹劃分。第5圖顯示了當亮度編解碼塊的寬度或高度大於64時禁止TT分割的示例。第6圖示出了二叉樹分割和三叉樹分割的冗餘分割模式的示例。第7圖顯示了當亮度編解碼塊的寬度或高度大於64時禁止TT分割的一些例子。第8圖顯示了VVC視訊編解碼標準採用的幀內預測模式。第9A-B圖圖示了寬度大於高度的塊（第9A圖）和高度大於寬度的塊（第9B圖）的廣角幀內預測的示例。第10圖圖示了在廣角幀內預測的情況下使用兩個不相鄰參考樣本的兩個垂直相鄰預測樣本的示例。第11圖示出了CCLM模式中涉及的當前塊的樣本和左側及上方樣本位置示例。第12A-D圖圖示了應用於各種預測模式的PDPC的參考樣本定義的示例，其中第12A圖對應於對角右上模式，第12B圖對應於對角左下模式，第12C圖對應於相鄰對角線右上模式，第12D圖對應於相鄰對角線左下模式。第13圖示出了多輔助線(MRL)幀內預測使用更多輔助線進行幀內預測的示例。第14圖示出了邊界匹配成本計算中涉及的邊界圖元的示例。第15圖示出了根據本發明的一個實施例的方向性邊界匹配的例子，包括除了水平和垂直方向之外的角度方向。第16圖示出了根據本發明的一個實施例的基於當前塊與一個或多個鄰域塊之間的運動向量的相似性/差異性來選擇性地排除頂部或左側區域以用於邊界匹配計算的示例。第17圖示出了根據本發明的一個實施例的通過對參考塊及其L形鄰域區域的上下文分析來選擇性地排除頂部或左側區域以用於邊界匹配計算的另一示例。第18圖說明了基於模板匹配的 OBMC 的示例，其中對於頂部 CU 邊界處大小為 4×4 的每個頂部塊，上述模板大小等於 4×1。第19圖圖示了用於基於模板匹配的OBMC的當前塊及其鄰域塊的示例。第20圖圖示了根據本發明的實施例的利用基於邊界匹配的OBMC（重疊塊運動補償）的示例性視訊編解碼系統的流程圖。

2010~2050：步驟

Claims

一種視訊編解碼方法，該方法包括：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側與待解碼的該當前塊相關聯的預測殘差；確定一組運動補償候選，其中每個運動補償候選包括用於對該當前塊的邊界圖元進行編解碼的預測的樣本，其中該組運動補償候選包括一候選，並且其中該候選對應於根據該當前塊的第一運動資訊生成的第一預測圖元和根據該當前塊的鄰域邊界塊的第二運動資訊生成的第二預測圖元之加權和；確定與該組運動補償候選相關聯的邊界匹配成本，其中，藉由對該組運動補償候選中的每一個目標候選，通過使用根據該每一目標候選確定的該當前塊的重建或預測的樣本以及該當前塊的一個或多個鄰域塊的鄰域重建的樣本，來確定每個邊界匹配成本；基於該邊界匹配成本從該組運動補償候選中確定最終候選；以及使用該最終候選對該當前塊進行編碼或解碼。
如請求項1所述之方法，其中，該當前塊對應於圍繞該當前塊的編解碼單元的最頂部邊界中的子塊，並且該當前塊的該鄰域邊界塊對應於在該當前塊上方的鄰域塊。
如請求項1所述之方法，其中，該當前塊對應於圍繞該當前塊的CU(編解碼單元)的最左邊界中的子塊，並且該當前塊的該鄰域邊界塊對應於該當前塊左側的左鄰域塊。
如請求項1所述之方法，其中該組運動補償候選還包括對應於該第一預測圖元的另一候選。
如請求項1所述之方法，其中該組運動補償候選還包括對應於該第二預測圖元的又一候選。
如請求項1所述之方法，其中，該組運動補償候選還包括對應於該第一預測圖元的第二候选和對應於該第二預測圖元的又一候選。
如請求項1所述之方法，其中，該組運動補償候選包括對應於該加權和的多個權重的多個第一運動補償候選。
如請求項1所述之方法，其中，該組運動補償候選包括對應於該當前塊的該邊界圖元的不同線數的多個第一運動補償候選。
如請求項1所述之方法，其中，該組運動補償候選包括多個第一運動補償候選，對應於該加權和的多個權重和該當前塊的該邊界圖元的不同線數。
一種視訊編解碼裝置，該裝置包括一個或多個電子設備或處理器，用於：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的圖元資料或解碼器側與待解碼的該當前塊相關聯的預測殘差；確定一組運動補償候選，其中每個運動補償候選包括用於對該當前塊的邊界圖元進行編解碼的預測的樣本，其中該組運動補償候選包括一候選，並且其中該候選對應於根據該當前塊的第一運動資訊生成的第一預測圖元和根據該當前塊的鄰域邊界塊的第二運動資訊生成的第二預測圖元之加權和；確定與該組運動補償候選相關聯的邊界匹配成本，其中，藉由對該組運動補償候選中的每一個目標候選，通過使用根據該每一目標候選確定的該當前塊的重建或預測的樣本以及該當前塊的一個或多個鄰域塊的鄰域重建的樣本，來確定每個邊界匹配成本；基於該邊界匹配成本從該組運動補償候選中確定最終候選；以及使用該最終候選對該當前塊進行編碼或解碼。