TW202329695A - 使用模板匹配細化候選選擇 - Google Patents

使用模板匹配細化候選選擇 Download PDF

Info

Publication number
TW202329695A
TW202329695A TW111131308A TW111131308A TW202329695A TW 202329695 A TW202329695 A TW 202329695A TW 111131308 A TW111131308 A TW 111131308A TW 111131308 A TW111131308 A TW 111131308A TW 202329695 A TW202329695 A TW 202329695A
Authority
TW
Taiwan
Prior art keywords
codec
candidate
template
modes
mode
Prior art date
Application number
TW111131308A
Other languages
English (en)
Inventor
歐萊娜 邱巴赫
陳俊嘉
江嫚書
莊子德
陳慶曄
徐志瑋
黃毓文
Original Assignee
新加坡商聯發科技（新加坡）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商聯發科技（新加坡）私人有限公司 filed Critical 新加坡商聯發科技（新加坡）私人有限公司
Publication of TW202329695A publication Critical patent/TW202329695A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種視訊編解碼系統，該系統使用模板匹配 (TM) 來改進編解碼模式的傳訊。 該系統接收要編碼或解碼的資料作為視訊的當前圖片的當前塊。 系統將與當前塊相鄰的一組像素識別為當前模板。 系統在多個候選編解碼模式中識別出每個候選編解碼模式的參考模板。 系統根據當前模板與候選編解碼模式的參考模板的匹配，為每個候選編解碼模式計算模板匹配（TM）成本。 系統根據計算出的TM成本，從多個候選編解碼模式中選擇一個候選編解碼模式。 系統採用選定的候選編碼模式重構當前塊或將當前塊編碼為位元流。

Description

使用模板匹配細化候選選擇
本公開涉及視訊編解碼。特別地，本公開涉及預測候選選擇（prediction candidate selection）的方法。
除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的先前技術，並且不因包含在本節中而被承認為先前技術。
高效視訊編解碼(HEVC)是由視訊編解碼聯合協作組(JCT-VC)制定的國際視訊編解碼標準。 HEVC 基於混合的基於塊的運動補償類 DCT 變換編碼（hybrid block-based motion-compensated DCT-like transform coding）架構。壓縮的基本單位，稱為編解碼單位 (CU)，是一個 2Nx2N 的方形像素塊，每個 CU 可以遞歸地拆分（split）成四個更小的 CU，直到達到預定義的最小尺寸。每個 CU 包含一個或多個預測單元 (PU)。
為了提高HEVC中運動向量(MV)編解碼的編解碼效率，HEVC具有跳過（Skip）和合併（Merge）模式。 Skip 和 Merge 模式從空間相鄰的塊（空間候選）或時間上的同位塊（co-located block）（時間候選）獲取運動資訊。當PU為Skip或Merge模式時，沒有運動資訊被編解碼，而只有所選候選的索引被編解碼。對於 Skip 模式，殘差信號被強制為零而不被編解碼。在 HEVC 中，如果特定塊以 Skip 或 Merge模式被編碼，則傳訊候選索引以指示候選集中的哪個候選用於合併。每個合併的預測單元 (PU) 重新使用所選候選的 MV、預測方向和參考圖片索引。
以下概述僅是說明性的，並不旨在以任何方式進行限制。即，提供以下概述以介紹本文描述的新穎的和非顯而易見的技術的概念、亮點、好處和優點。在下面的詳細描述中進一步描述了選擇的而不是所有的實施方式。因此，以下概述不旨在識別要求保護的主題的基本特徵，也不旨在用於確定要求保護的主題的範圍。
一些實施例提供了使用模板匹配（template matching，簡寫為TM)來改進編解碼模式的傳訊的視訊編解碼系統。該系統接收要作為視訊的當前圖片的當前塊編碼或解碼的資料。系統將與當前塊相鄰的一組像素識別為當前模板。系統在多個候選編解碼模式中識別出每個候選編解碼模式的參考模板。系統根據當前模板與候選編解碼模式的參考模板的匹配，為每個候選編解碼模式計算模板匹配成本。系統根據計算出的TM成本，從多個候選編解碼模式中選擇一個候選編解碼模式。系統採用選定的候選編解碼模式重構當前塊或將當前塊編碼為位元流。
在一些實施例中，多個候選編解碼模式對應於多個不同的分區（partition）模式，每個分區模式將當前塊分區為兩個或更多個分區。每個分區具有對應的當前模板和參考模板，參考模板由與該分區相關聯的運動向量標識。在一些實施例中，多種不同的分區模式包括一種或多種對當前塊進行垂直分區的分區模式和一種或多種對當前塊進行水平分區的分區模式。在一些實施例中，多種不同的分區模式包括將當前塊對稱地分區或分成大小相等的分區的分區模式和將當前塊非對稱地分區或分成不同大小的分區的分區模式。在一些實施例中，多種不同的分區模式包括將當前塊分區為兩個分區的分區模式和將當前塊分區為兩個以上分區的分區模式。
對於候選編解碼模式對應不同分區模式的一些實施例，基於當前模板和通過候選編解碼模式從當前塊創建的多個分區的參考模板計算候選編解碼模式的TM成本。在一些實施例中，不同分區模式的TM成本是基於在位元流中傳訊的或可從位元流中的句法元素導出的同一組運動向量差(MVD)來計算的。在一些實施例中，分區的方向未在位元流中傳訊，使得解碼器執行TM以基於哪個方向具有較低的TM成本來確定分區的方向。
在一些實施例中，多個候選編解碼模式對應於多個參考圖片索引（refIdx)，其標識參考圖片列表中的參考圖片以用於生成對當前塊進行編碼的預測。在一些實施例中，視訊編碼器基於為多個候選編解碼模式計算的TM成本對參考圖片索引重新排序。視訊編碼器可以傳訊用於標識參考圖片的重新排序的參考圖片索引。
在一些實施例中，多個候選編解碼模式對應於不同的雙向加權索引（BCW索引），其識別在當前塊的雙向預測中利用兩個運動向量獲得的預測樣本的不同加權選項。視訊編碼器可以基於為多個候選編解碼模式計算的TM成本重新排序雙向加權索引。視訊編碼器可以傳訊重新排序的雙向加權索引，用於識別兩個運動向量的加權選項。
[0001] [0002] [0003] [0004] [0005] [0006] [0007] [0008] [0009] [0010] [0011] [0012] [0013] [0014] [0015] [0016] [0017] [0018] [0019] [0020]
在下面的詳細描述中，通過示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、派生和/或擴展都在本公開的保護範圍內。在一些情況下，可以在相對較高的水平上描述與本文公開的一個或多個示例實現有關的眾所周知的方法、過程、組件和/或電路而不詳細說明，以避免不必要地模糊本公開的教導的方面。 I. 模板匹配（Template Matching）
模板匹配(TM)是一種解碼器側MV推導方法，用於通過找到當前圖片中的模板與參考圖片中的塊之間的最接近匹配來細化（refine）當前CU的運動資訊。 CU或塊的模板一般指鄰近CU頂部和/或左側的一組特定像素。
第1圖圖示了在初始MV周圍的搜索區域上執行的模板匹配。視訊編解碼器(編碼器或解碼器)通過使用模板匹配在當前CU或PU 100的初始MV 110周圍搜索以找到更好的MV 120。在示例中，搜索在[–8，+8]像素搜索範圍150內進行。在示例中，初始MV 110用於識別參考圖片中的初始參考模板115。搜索更好的 MV 是為了找到另一個 MV，該 MV 識別更好地匹配（例如，通過絕對差之和或 SAD）當前 CU 的當前模板 105 的另一個參考模板 125。
在AMVP模式中，基於模板匹配誤差確定MVP候選，以選取當前塊和參考塊模板之間的差異達到最小的那個，然後僅針對該特定MVP候選執行TM MV細化。 TM 通過使用迭代菱形搜索從全像素（full-pel） MVD 精度（或 4 像素（4-pel） AMVR 模式的 4 像素 MVD 精度）為起點的[–8, +8] 像素搜索範圍優化此 MVP 候選對象。 可以通過使用具有全像素 MVD 精度（或 4 像素用於 4 像素 AMVR 模式）的交叉搜索（cross search）進一步細化 AMVP 候選，然後根據 AMVR 模式依次使用1/2像素和四分之一像素。 下面的表 1 是 AMVR 和合併模式的搜索型樣（search pattern）列表：
表 1:
搜索型樣 AMVR 模式 合併模式
4 像素 全像素 1/2 像素 1/4 像素 AltIF =0 AltIF =1
4像素菱形 v
4像素交叉 v
全像素菱形 v v v v v
全像素交叉 v v v v v
1/2像素交叉 v v v v
1/4像素交叉 v v
1/8像素交叉 v
該搜索過程確保MVP候選在TM過程之後保持與AMVR模式所指示的相同的MV精度。
在合併模式中，類似的搜索方法被應用於由合併索引指示的合併候選。 如表 1 所示，TM 可以一直執行到 1/8 像素 MVD 精度或跳過小於1/2像素 MVD 精度(比1/2像素更為精細的MVD 精度)的那些精度，這取決於是否根據合併的運動資訊使用替代插值濾波器(alternative interpolation filter)（該替代插值濾波器可以當 AMVR 為1/2像素模式時被使用）。 當啟用 TM 模式時，模板匹配可以作為一個獨立的過程或基於塊和基於子塊的雙邊匹配 (BM) 方法之間的額外 MV 細化過程工作，具體取決於 BM 是否可以根據其啟用條件檢查啟用。當為 CU 同時啟用 BM 和 TM 時，TM 的搜索過程將停止在1/2像素 MVD 精度，並且使用與 DMVR 中相同的基於模型的 MVD 推導方法進一步細化生成的 MV。 II. 塊分區模式（Block Partitioning Modes）
在 HEVC 和 VVC 中，圖片被分區為非重疊的正方形編解碼樹單元（CTU)。一個CTU包含一個亮度編解碼樹塊（CTB）和兩個色度CTB。每個 CTU 可以被視為一個整體或進一步使用四叉樹 (QT) 和嵌套多類型樹 (MTT)分區為多個編解碼單元 (CU)。 CU分區對應編解碼樹葉子節點。一個CU在一棵樹（用於亮度和色度的一個編解碼樹）中包含一個亮度編解碼塊（CB）和兩個色度CB。一個CU在對偶樹（dual tree）中包含一個亮度CB或兩個色度CB，即色度分離樹（chroma separate tree，簡寫為CST）（CST =＞ 一個用於亮度的編解碼樹和另一個用於色度的編解碼樹）。除了一些CU模式或尺寸外，CU也被用作預測和變換的基本單位。最大亮度變換大小為 64 或 32。當當前變換塊 (TB) 的大小在寬度或高度上大於最大變換大小時，推斷 TB 在水平或垂直方向上進一步均勻分割。最大亮度變換大小為 64。128x128 亮度 CB 有四個 64x64 亮度 TB。
第2圖圖示了多類型樹(MTT)拆分的不同類型，包括垂直二叉樹(VBT)拆分、水平二叉樹(HBT)拆分、垂直三叉樹(VTT)拆分和水平三叉樹(HTT)拆分。從概念上講，從 CTU 開始，每個編解碼樹節點都可以通過 QT 拆分或四個 MTT 拆分之一進一步拆分。如果 QT 拆分應用於父節點，則允許對其父節點的子節點進行 QT、BT 和 TT 拆分（如果 BT、TT 或 QT 應用於父節點，則為兩個、三個或四個子節點）。一旦將 MTT 拆分應用於父節點，將對其所有後代節點禁用QT 拆分（MTT 深度 ＞ 0），並且後代節點僅允許 BT 和 TT。
在一些實施例中，視訊解碼器支持額外的不對稱二叉樹拆分模式，也稱為ABT（asymmetric binary tree）或UBT（unsymmetric binary tree）模式。這 4 種不對稱拆分模式或 UBT 被添加到 VVC 的 MTT 結構中，以允許新的拆分配置。第3圖示出了一些實施例中的四種不對稱二叉樹拆分模式。
如圖所示，有四種UBT模式：UBT-H1、UBT-H2、UBT-V1和UBT-V2。 UBT-H1 和 UBT-H2 將一個維度（dimension）為 W×H 的 CU 分成兩個維度分別為 {W×H/4, W×3H/4} 和 {W×3H/4, W×H/4} 的子 CU。 UBT-V1 和 UBT-V2 將一個維度為 W×H 的 CU 分成兩個維度分別為 {W/4×H, 3W/4×H} 和 {3W/4×H, W/4×H} 的子 CU。對於 UBT 模式，CU 或 TU 的寬度或高度可能是非二元數（non-dyadic number）（不是 N^2 的形式）。在一些實施例中，在被UBT模式分割的CU中禁用一些編解碼工具（例如，ISP、MIP和SBT）。在一些實施例中，6點（6-point）、12點、24點和48點變換/逆變換用於對具有非二元維度的殘差塊進行編碼。
在一些實施例中，視頻解碼器支持額外的不對稱四叉樹拆分模式，稱為UQT（unsymmetric quaternary tree）。第4圖示出了一些實施例中的四種不對稱四叉樹拆分模式。 如圖所示，有四種 UQT 模式：UQT-H1、UQT-H2、UQT-V1 和 UQT-V2。 UQT-H1 和 UQT-H2 將一個維度為 W×H 的 CU 分成四個維度分別為 {W×H/8, W×H/2, W×H/4, W×H/8} 和 {W ×H/8，W×H/4，W×H/2，W×H/8}的CU。 UQT-V1 和 UQT-V2 將一個維度為 W×H 的 CU 分成四個維度分別為 {W/8×H, W/2×H, W/4×H, W/8×H} 和 {W /8×H，W/4×H，W/2×H，W/8×H}的子CU。 III. 使用模板匹配評估和選擇分區
本公開的一些實施例提供了使用模板匹配(TM)評估編解碼CU的不同分區模式的方法，從而選擇產生最佳TM結果的分區模式來編解碼CU。在一些實施例中，測試HBT和VBT分區模式並且基於TM結果選擇一個方向。在一些實施例中，HBT和VBT用相同的MV進行測試，並且基於最小的TM成本來選擇兩種分區模式或分區方向之一。在一些實施例中，兩個初始MV被編解碼。根據兩個初始MV和允許的分割（HBT或VBT），視訊解碼器得到TM結果（根據左/右和上/下分割及其對應的模板）來識別具有較小的成本的分割模式作為基於 TM 的細化。
第5A-B圖概念性地說明使用模板匹配來評估用於編解碼CU 500的兩種不同分區模式。CU 500將通過VBT模式被編解碼為分為分區511和512的兩個分區(如第5A圖中所示)，或通過HBT模式被編解碼為分成分區521和522的兩個分區(如第5B圖所示)。
參考第5A圖，當使用TM評估VBT時，兩個MV 551和552用於識別L形參考模板561和562以匹配分區511和512的當前模板（模板571和572）。如第5B圖所示，當使用TM評估HBT時，使用同兩個MV 551和552來識別L形參考模板561和562以匹配分區521和522的當前模板（模板581和582）。視訊解碼器可以選擇HBT或VBT來基於哪種模式具有最小的TM成本來分區CU 500。
在一些實施例中，對於CU被分區成兩個分區（分區1和分區2，例如，CU 500的分區511和512)的BT分區模式，兩個運動向量差（MVD)被傳訊或導出對於兩個分區。執行 TM 以測試每種分區模式，並根據 TM 結果選擇最佳模式。
在一些實施例中，測試由HBT和VBT創建的分區（由TM評估，如第5 A-B圖的示例中），並且基於TM的結果選擇一個方向或分區模式（VBT或HBT）。在一些實施例中，HBT、VBT、UBT-H1、UBT-H2、UBT-V1和UBT-V2被評估並且基於TM的結果選擇一個方向和/或一種分區模式。在一些實施例中，TM用於以類似方式評估TT和/或UQT下的分區模式。
第6A-B圖說明兩個MV被用來評估TM下的不同BT分區模式。第6A圖說明了由TM評估的幾種可能的BT分區模式，包括（a）VBT，（b）HBT，（c）UBT-V1，（d）UBT-H1，（e）UBT-V2，（f）UBT-H2。如圖所示，相同的兩個MV 601和602被應用於BT分區模式(a)-(f)中的每一個。換句話說，兩個MV 601和602用於為每個BT分區模式的兩個分區識別兩個參考模板。執行 TM 以測試每種分區模式，並根據 TM 結果選擇最佳模式。
在一些實施例中，可以存在針對基於相同的兩個MVD的不同分區模式獲得的不同MV。在第6A圖的例子中，不同的分區模式被示為使用相同的兩個MV。在一些實施例中，基於本發明的TM結果，(a)可以選自第6A圖中的(a)至(f)或第6A圖中的(a)至(f)的任何子集。然而，在一些實施例中，不同的分區模式可以使用不同的MVP。因此，雖然最終的 MV 是基於相同的 MVD 計算的，但不同分區模式的不同 MVP 可能會導致不同的 MV。第6B圖說明使用不同MV的不同分區模式。所示出的不同分區模式包括（g）VBT、（h）HBT、（i）UBT-V1、（j）UBT-H1、（k）UBT-V2、（l）UBT-H2。例如，對於 (g) VBT 與 (h) HBT 的情況，VBT 的左分區（例如，分區 611）和 HBT 的頂部​​分區（例如，分區 621）可能具有不同的運動向量預測值（motion vector predictor，簡寫為MVP）候選，因為不同的可用相鄰塊可能會導致不同的 MVP。因此，即使將相同的 MVD 添加到相應的 MVP 中，對於不同的分區模式，生成的 MV 也會不同。無論如何，編碼器和解碼器將選擇具有最低 TM 成本的分區模式。在一些其他實施例中，(g)至(l)顯示了在本發明的TM結果下選擇的BT分區模式及其對應的MV的不同示例。
在一些實施例中，每個子塊或分區的模板的定義可以根據分區的位置而變化。例如，在第6 A(a) 圖中，對於左側子塊611，來自左側和/或上方的樣本（以粗線標記）被用作其模板；而對於右子塊612，僅來自上面的樣本（以虛線標記）可以用作其模板。再例如，在第6 A(b) 圖中，頂部子塊621可以使用來自上方和左側的樣本（以粗線標記）作為其模板；並且底部子塊622可以組合來自頂部子塊621上方的行的樣本和來自當前子塊622的左側的樣本（用虛線標記）作為其模板。 （因此，在此示例中，子塊 621 上方的樣本用作子塊 621 和 622 的模板。）
在一些實施例中，不將分區方向傳訊給解碼器（這從位元流句法（syntax）中消除了BT/ABT標誌）。在一些實施例中，如果基於TM的方法僅應用於BT，則分區類型(BT/TT)仍然被傳訊，儘管分割的方向不被傳訊。在一些實施例中，基於TM的方法被擴展到BT和TT。在一些實施例中，基於TM的方法被擴展到UQT。
在一些實施例中，提供了TM分區方向模式。具體來說，TM 用於根據哪個分區方向在編碼器和解碼器上均具有較低的 TM 成本來選擇分區方向。根據 TM 分區模式，兩個或多個 MVD 和標識 CU 內有兩個或多個分區的標誌被發送給解碼器（直接或隱式），但分區方向（水平/垂直）由解碼器（基於 TM）。確定在一些實施例中，提供了多個 TM 分區方向模式（例如，TM_BT 和 TM_TT），根據這些模式，將兩個（在 BT 的情況下）或三個（在 TT 的情況下）MVD 連同一個標誌發送給解碼器，該標誌指示解碼器在 CU 內是否有兩個或三個分區，但分區方向（水平/垂直）在解碼器處（基於 TM）定義。
在一些實施例中，僅允許在幀間模式中使用TM。在一些實施例中，僅在幀間模式中允許使用TM來定義分區方向。在一些實施例中，僅在幀間模式和IBC中允許使用TM來定義分區方向。 IV. 使用模板匹配通過索引重新排序改進傳訊
參考幀索引（refIdx)是用於指示參考圖片列表（list0或list1)中的參考圖片的索引。在一些實施例中，可以基於TM成本來改進refIdx的傳訊。例如，視訊編解碼器（編碼器或解碼器）可以為每個參考圖片列表中的每個參考圖片（即每個 refIdx）計算 TM 成本，然後基於計算出的 TM 成本重新排序每個參考列表中參考圖片的索引（refIdx）。視訊編碼器可以傳訊重新排序的refIdx索引给視訊解碼器。視訊解碼器還基於TM成本對參考列表中的refIdx進行重新排序，因此視訊解碼器可以對重新排序的refIdx進行解碼並獲得refIdx的最終值（或重新排序前的真實值）。
在一些實施例中，參考圖片列表（列表0和/或列表1)基於TM成本重新排序（例如，當前L形模板和參考L形模板之間的比較）。指示具有較小TM成本的參考圖片的refIdx被認為優於指示具有較大TM成本的參考圖片的refIdx。這樣一個較小的 TM 成本 refIdx 被移動到參考列表的前面。在一些實施例中，list0和/或list1元素基於TM成本被重新排序，並且解碼器可以接收指示list0或list1基於當前CU（或圖片/切片/GOP/序列）的TM（重新排序列表指示符）被重新排序的標誌，並且，在這種情況下，TM 成本首先用於重新排序參考列表 (list0/1)，然後從重新排序的參考列表中取出候選。
第7圖概念性地說明使用TM成本來重新排序參考圖片索引。如圖所示，當前CU 700具有MV 705。CU 700頂部和左側的樣本用作當前CU 700的L形當前模板710。MV 705用於參考參考圖片 721-724（refIdx 分別 = 0、1、2 和 3） 中的 L形參考模板711-714。這些 L 形參考模板 711-714 中的每一個都與當前模板 710 匹配以確定相應的參考圖片索引refIdx。然後根據確定的 TM 成本重新排序參考圖片索引。在示例中，refIdx=0 的參考圖片重新排序為 1，refIdx=1 的參考圖片重新排序為 3，refIdx=2 的參考圖片重新排序為 2。refIdx=3 的參考圖片重新排序為0， 因為它具有最低的 TM 成本。
在一些實施例中，沒有refIdx被傳訊給解碼器，並且TM重新排序的參考列表中的refIdx = 0被用於參考。在一些實施例中，視訊解碼器可以選擇一組參考圖片進行重新排序，並且可以明確發送它們的索引（refIdx）。換言之，不是所有索引，而是僅參考列表中的參考圖片的子集的索引（refIdx）由TM重新排序並明確地傳訊。
具有 CU 級加權的雙向預測或 BCW 是一種編解碼模式或編解碼工具，它允許在雙向預測中對 L0 預測和 L1 預測使用不同的加權。 雙向預測是用傳訊用於編解碼單元的一個加權參數 w生成的： (Eq. 1)
P 0表示由L0 MV(或L0預測)預測的像素值。 P 1表示由 L1 MV（或 L1 預測）預測的像素值。 P bi-pred是 P 0和 P 1根據加權參數 w 的加權平均值。對於低延遲圖片，即具有小圖片順序計數的參考圖片，w 的可能值或選項/候選包括 {-2、3、4、5、10}。對於非低延遲圖片，w 的可能值或選項包括 {3, 4, 5}。 w 的每個選項都分配了一個索引（BCW 索引）。所選加權參數的 BCW 索引是針對幀間（預測）模式明確發信的。對於合併模式，BCW索引繼承自選定的合併候選或設置為默認值，表示加權相等。在一些實施例中，SPS標誌用於指示BCW模式是啟用還是禁用（sps_bcw_enabled_flag）。
在一些實施例中，TM成本用於改進BCW索引傳訊。具體來說，BCW 索引根據各個加權參數選項 (w) 的 TM 成本重新排序，因此具有最佳 TM 成本的 BCW 索引被放置在列表的開頭，並且利用最小索引成本編解碼（例如，在位元流中用最少數量位元傳訊。）
第8圖從概念上說明了使用 TM 成本對 BCW 索引進行重新排序。如圖所示，當前 CU 800 具有 L0 MV 806 和 L1 MV 807。L0 MV 806 用於識​​別 L0 參考圖片中的 L 形參考模板 811，而 L1 MV 807 用於識別L1 參考圖片中的L形參考模板 812。對於每個 BCW 索引（和相應的加權參數 w），視訊編解碼器根據等式（1）計算當前 CU 的雙向預測，與等式 (1) 不同的部份是P 0和P 1被替換成去使用參考模板811和812。每個BCW索引的雙向預測結果與當前CU 800的L形當前模板810匹配，以產生該BCW索引的TM成本。然後根據 TM 成本重新排序 BCW 索引。在示例中，BCW 索引 0 重新排序為 1，BCW 索引 1 重新排序為 3，BCW 索引 2 重新排序為 2。BCW 索引 3 重新排序為 0，因為它具有最低的 TM 成本。
在一些實施例中，並非所有BCW索引都包括在重新排序過程中。例如，視訊編解碼器可能只對前兩個（或三個）BCW 索引應用 TM 和重新排序，其餘三個（或兩個）BCW 索引根據其原始順序傳訊。
在一些實施例中，可以存在多個不同的BCW集（例如，具有用於低延遲圖片和/或用於非低延遲圖片的不同BCW加權候選的附加集）。不同的BCW集合使用TM進行比較，使得在TM執行時，應用的BCW集合可以不同，視訊編解碼器可以根據TM成本從不同的BCW集合中選擇一個BCW集合。
在一些實施例中，參考圖片（refIdx)和/或BCW的重新排序可以根據CU大小/CU形狀隱含地打開/關閉。例如，如果當前 CU 的大小小於（或大於）某個閾值大小，則視訊編解碼器可以關閉 refIdx 和/或 BCW 索引的重新排序。在一些實施例中，切片級別（或圖片/圖塊/序列/報頭級別）中的標誌被傳訊以指示基於TM成本的（refIdx或BCW索引的）重新排序被打開/關閉。
模板匹配也可以用於改進用於其他編解碼工具或編解碼模式的傳訊，例如LIC模式和CIIP模式。局部照明補償 (Local Illumination Compensation，簡寫為LIC) 基於照明變化的線性模型，使用比例因子（scaling factor） a 和偏移量 b。並且它為每個幀間模式編解碼的編解碼單元（CU）自適應地啟用或禁用。當 LIC 應用於 CU 時，採用最小平方差（least square error）法通過使用當前 CU 的相鄰樣本及其對應的參考樣本來推導參數 a 和 b。更具體地，使用CU的二次採樣相鄰樣本和參考圖片中的對應樣本（由當前CU或子CU的運動資訊標識）。 LIC 參數被分別導出並應用於每個預測方向。當一個CU是合併模式編解碼時，LIC標誌是從相鄰的塊中復製過來的，類似於合併下的運動資訊複製；否則，向 CU 發送 LIC 標誌以指示 LIC 是否適用。
在一些實施例中，當CU以合併模式編解碼時，如果CU包含至少64個亮度樣本（即CU寬度乘以CU高度等於或大於64），並且如果CU寬度和CU高度都少於 128 個亮度樣本，可以傳訊附加標誌以指示組合幀間/幀內預測 (CIIP) 模式是否應用於當前 CU。 CIIP預測將幀間預測信號與幀內預測信號組合。 CIIP 模式中的幀間預測信號P inter是使用應用於常規合併模式的相同幀間預測過程導出的；並且幀內預測信號P intra是在具有平面模式的常規幀內預測過程之後導出的。然後，使用加權平均組合幀內和幀間預測信號，其中加權值根據頂部和左側相鄰塊的編解碼模式計算如下： - 如果頂部相鄰可用且幀內編解碼，則將isIntraTop設置為1，否則將isIntraTop設置為0； - 如果左側相鄰可用且幀內編編碼，則將isIntraLeft設置為1，否則將isIntraLeft設置為0； - 如果(isIntraLeft + isIntraTop)等於2，則wt設置為3； - 否則，如果 (isIntraLeft + isIntraTop) 等於 1，則 wt 設置為 2； - 否則，將 wt 設置為 1。 CIIP預測如下：
 
V. 示例的視訊編碼器
第9圖示出了可以使用TM成本來細化候選編解碼模式的選擇的示例視訊編碼器900。如圖所示，視訊編碼器 900 從視訊源 905 接收輸入視訊信號並將該信號編碼為位元流 995。視訊編碼器 900 具有用於對來自視訊源 905 的信號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組910、量化模組911、逆量化模組914、逆變換模組915、圖片內估計模組920、幀內預測模組925、運動補償模組930、運動估計模組935、環路濾波器 945、重構圖片緩衝器 950、MV 緩衝器 965、MV 預測模組 975 和熵編碼器 990。運動補償模組 930 和運動估計模組 935 是幀間預測模組 940 的一部分。
在一些實施例中，模組910-990是由計算設備或電子設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組910-990是由電子裝置的一個或多個集體電路(IC)實現的硬體電路模組。儘管模組910-990被示為單獨的模組，但是一些模組可以組合成單個模組。
視訊源905提供原始視訊信號，該原始視訊信號在沒有壓縮的情況下呈現每個視訊幀的像素資料。減法器 908 計算視訊源 905 的原始視訊像素資料與來自運動補償模組 930 或幀內預測模組 925 的預測的像素資料 913 之間的差異。變換模組 910 將差異（或殘差像素資料或殘差信號908)轉換成變換係數(例如，通過執行離散餘弦變換，或DCT)。量化模組911將變換係數量化為量化的資料（或量化的係數）912，其由熵編碼器990編碼為位元流995。
逆量化模組914對量化的資料(或量化的係數)912進行逆量化以獲得變換係數，逆變換模組915對變換係數進行逆變換以產生重構的殘差919。將重構的殘差919與預測的像素資料913相加，一起生成重構的像素資料917。在一些實施例中，重構的像素資料917被臨時存儲在行緩衝器（未示出）中用於幀內預測和空間MV預測。重構的像素由環路濾波器945濾波並存儲在重構圖片緩衝器950中。在一些實施例中，重構圖片緩衝器950是視訊編碼器900外部的記憶體。在一些實施例中，重構圖片緩衝器950是視訊編碼器900的內部記憶體。
圖片內估計模組920基於重構的像素資料917執行幀內預測以產生幀內預測資料。幀內預測資料被提供給熵編碼器990以被編碼成位元流995。幀內預測資料也被幀內預測模組925用來產生預測的像素資料913。
運動估計模組935通過產生MV以參考存儲在重構圖片緩衝器950中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供給運動補償模組930以產生預測的像素資料。
視訊編碼器900不是在位元流中編碼完整的實際MV，而是使用MV預測來生成預測的MV，並且用於運動補償的MV與預測的MV之間的差異被編碼為殘差運動資料並存儲在位元流 995中。
MV預測模組975基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，生成預測的MV。 MV預測模組975從MV緩衝器965中擷取來自先前視訊幀的參考MV。視訊編碼器900將為當前視訊幀生成的MV存儲在MV緩衝器965中作為用於生成預測的MV的參考MV。
MV預測模組975使用參考MV來創建預測的MV。預測的 MV 可以通過空間 MV 預測或時間 MV 預測來計算。熵編碼器990將當前幀的預測的MV和運動補償MV(MC MV)之間的差異(殘差運動資料)編碼到位元流995中。
熵編碼器990通過使用諸如上下文自適應二進制算術編解碼(CABAC)或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流995中。熵編碼器 990 將各種報頭元素、標誌連同量化的變換係數 912 和殘差運動資料作為句法元素編碼到位元流 995 中。位元流 995 又存儲在存儲設備中或通過諸如網路的通信媒介傳輸到解碼器。
環路濾波器945對重構的像素資料917執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移（SAO）。在一些實施例中，濾波操作包括自適應環路濾波（ALF）。
第10圖圖示了基於TM成本實現候選編解碼模式選擇的視訊編碼器900的部分。具體地，該圖說明了視訊編碼器900的幀間預測模組940的組件。如圖所示，候選識別模組1010向幀間預測模組940提供候選編解碼模式指示符。這些可能的候選編解碼模式可以對應到各種分區模式（BT、TT、UBT、UQT、BCW 等）、不同的雙向加權選項（BCW 索引）或不同的參考圖片索引（refIdx）。
基於候選編解碼模式指示符，模板識別模組1020從MV緩衝器965中選擇運動向量並且從重構圖片緩衝器950中擷取（retrieve）相鄰樣本作為L形模板。例如，對於BT分區模式的候選編解碼模式，模板識別模組1020可以擷取當前塊的相鄰像素作為當前塊的兩個分區的兩個當前模板，並使用兩個運動向量來擷取兩個L 形像素集作為兩個參考模板。作為另一個示例，對於作為BCW加權選項的候選編解碼模式，模板識別模組1020可以基於L0 MV和L1 MV擷取兩個參考模板。
模板識別模組1020將當前指示的編解碼模式的參考模板和當前模板提供給TM成本計算器1030，TM成本計算器1030執行匹配以產生所指示的候選編解碼模式的TM成本模式。 TM成本計算器1030可以基於所指示的候選編解碼模式（例如，對於BCW）不同地加權參考模板。
計算出的 TM 成本被提供給候選選擇模組 1040，該模組可以使用 TM 成本來選擇最低成本的候選編解碼模式來對當前塊進行編碼。在一些實施例中，候選選擇模組1040可以基於計算的TM成本將重新排序的索引分配給候選編解碼模式。所選擇的編解碼模式被指示給運動補償模組930以完成對當前塊的編碼的預測。所選擇的編解碼模式也被提供給熵編碼器990以在位元流中傳訊。所選擇的編解碼模式可以通過使用編解碼模式對應的重新排序的索引來傳訊，以減少傳輸的位元數。
第11圖概念性地圖示了在對像素塊進行編碼時使用TM成本來細化對候選編解碼模式的選擇的過程1100。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）實現編碼器900，通過執行存儲在計算機可讀介質中的指令來執行過程1100。在一些實施例中，實現編碼器900的電子裝置執行過程1100。
編碼器（在塊1110)接收要被編碼為視訊的當前圖片中的當前像素塊的資料。編碼器（在塊1120）將與當前塊相鄰的一組像素識別作為當前模板。
編碼器（在塊1130) 識別多個候選編解碼模式中的每個候選編解碼模式的參考模板。在一些實施例中，多個候選編解碼模式對應於多個不同的分區模式，每個分區模式將當前塊分區為兩個或多個分區。每個分區具有對應的當前模板和參考模板，參考模板由與該分區相關聯的運動向量標識。在一些實施例中，多種不同的分區模式包括一種或多種垂直分區當前塊的分區模式(例如VBT、VTT、UBT-V、UQT-V)和一種或多種水平分區當前塊的分區模式(例如HBT、HTT、UBT-H、UQT-H）。在一些實施例中，多種不同的分區模式包括將當前塊對稱地分區或分成大小相等的分區(例如，BT)的分區模式和將當前塊非對稱地分區或分成不同大小的分區(例如，TT、UBT、UQT)的分區模式。在一些實施例中，多種不同的分區模式包括將當前塊分區為兩個分區的分區模式(例如BT)和將當前塊分區為兩個以上分區的分區模式(例如TT、QT)。使用TM成本對對應於不同分區模式的候選編解碼模式進行重新排序參考上文第2圖~第6圖的描述。
編碼器（在塊1140）基於當前模板與候選編解碼模式的參考模板的匹配計算每個候選編解碼模式的TM成本。對於候選編解碼模式對應不同分區模式的一些實施例，候選編解碼模式的TM成本是基於當前模板和多個分區的參考模板來計算的，其中從當前塊創建的多個分區是藉由候選編解碼模式而得出。在一些實施例中，不同分區模式的TM成本是基於同一組MVD（在位元流中傳訊或從位元流中的句法元素導出的）來計算的。
編碼器（在塊1150）基於計算的TM成本從多個候選編解碼模式中選擇候選編解碼模式。編碼器（在塊1160）通過使用選擇的候選編解碼模式將當前塊編碼到位元流中。在一些實施例中，分區的方向未在位元流中傳訊，使得解碼器執行TM以基於哪個方向具有較低的TM成本來確定分區的方向。
在一些實施例中，多個候選編解碼模式對應於多個參考圖片索引（refIdx)，其標識參考圖片列表中的參考圖片以用於生成對當前塊進行編碼的預測。在一些實施例中，視訊編碼器基於為多個候選編解碼模式計算的TM成本對參考圖片索引重新排序。視訊編碼器可以傳訊用於標識參考圖片的重新排序的參考圖片索引。參考前文第7圖，描述了使用TM成本來重新排序對應於參考圖片索引的候選編解碼模式。
在一些實施例中，多個候選編解碼模式對應於不同的雙向加權索引（BCW索引），其識別當前塊的雙向預測中的兩個運動向量的不同加權選項。視訊編碼器可以基於為多個候選編解碼模式計算的TM成本重新排序雙向加權索引。視訊編碼器可以傳訊重新排序的雙向加權索引，用於識別兩個運動向量的加權選項。使用 TM 成本對對應於 BCW 索引的候選編解碼模式進行重新排序可以參考上文第8圖的描述。 VI. 示例的視訊解碼器
在一些實施例中，編碼器可以傳訊（或生成）位元流中的一個或多個句法元素，使得解碼器可以從位元流解析所述一個或多個句法元素。
第12圖圖示了可以使用TM成本來細化候選編解碼模式的選擇的示例視訊解碼器1200。如圖所示，視訊解碼器1200是圖像解碼或視訊解碼電路，其接收位元流1295並將位元流的內容解碼成視訊幀的像素資料以供顯示。視訊解碼器1200具有用於解碼位元流1295的若干組件或模組，包括選自逆量化模組1211、逆變換模組1210、幀內預測模組1225、運動補償模組1230、環路濾波器1245、解碼圖片緩衝器1250、MV緩衝器1265、MV預測模組1275和解析器1290的一些組件。運動補償模組1230是幀間預測模組1240的一部分。
在一些實施例中，模組1210-1290是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1210-1290是由電子裝置的一個或多個IC實現的硬體電路模組。儘管模組1210-1290被圖示為單獨的模組，但是一些模組可以組合成單個模組。
解析器1290(或熵解碼器)接收位元流1295並根據由視訊編解碼或圖像編解碼標准定義的句法執行初始解析。解析的句法元素包括各種報頭元素、標誌以及量化的資料（或量化的係數）1212。​​解析器1290通過使用諸如上下文自適應二進制算法（CABAC）或霍夫曼編解碼的熵編解碼技術解析出各種句法元素。
逆量化模組1211對量化的資料(或量化的係數)1212進行去量化以獲得變換係數，並且逆變換模組1210對變換係數1216執行逆變換以產生重構的殘差信號1219。重構的殘差信號1219與來自幀內預測模組1225或運動補償模組1230的預測像素資料1213相加以產生解碼的像素資料1217。解碼的像素資料由環路濾波器1245濾波並存儲在解碼圖片緩衝器1250中。在一些實施例中，解碼圖片緩衝器1250是視訊解碼器1200外部的存儲組件。在一些實施例中，解碼圖片緩衝器1250是視訊解碼器1200內部的組件。
幀內預測模組1225從位元流1295接收幀內預測資料，並據此從解碼圖片緩衝器1250中存儲的解碼的像素資料1217產生預測的像素資料1213。在一些實施例中，解碼的像素資料1217也存儲在行緩衝器（未示出）中用於圖片內預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器1250的內容用於顯示。顯示設備1255或者擷取解碼圖片緩衝器1250的內容以直接顯示，或者擷取解碼圖片緩衝器的內容到顯示緩衝器。在一些實施例中，顯示設備通過像素傳輸從解碼圖片緩衝器1250接收像素值。
運動補償模組1230根據運動補償MV (MC MV)從存儲在解碼圖片緩衝器1250中的解碼的像素資料1217產生預測的像素資料1213。通過將從位元流1295接收的殘差運動資料與從MV預測模組1275接收的預測MV相加來解碼這些運動補償MV。
MV預測模組1275基於為解碼先前視訊幀而生成的參考MV生成預測的MV，例如，用於執行運動補償的運動補償MV。 MV預測模組1275從MV緩衝器1265中擷取先前視訊幀的參考MV。視訊解碼器1200將為解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1265中作為用於產生預測的MV的參考MV。
環路濾波器1245對解碼的像素資料1217執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移（SAO）。在一些實施例中，濾波操作包括自適應環路濾波（ALF）。
第13圖圖示了基於TM成本實現候選編解碼模式選擇的視訊解碼器1200的部分。具體地，該圖圖示了視訊解碼器1200的幀間預測模組1240的組件。如圖所示，候選識別模組1310向幀間預測模組1240提供候選編解碼模式指示符。這些可能的候選編解碼模式可以對應於各種分區模式（BT、TT、UBT、UQT、BCW 等）、不同的雙向加權選項（BCW 索引）或不同的參考圖片索引（refIdx）。
基於候選編解碼模式指示符，模板識別模組1320從MV緩衝器1265中選擇運動向量並且從解碼圖片緩衝器1250中擷取相鄰樣本作為L形模板。例如，對於BT分割模式的候選編解碼模式，模板識別模組1320可以擷取當前塊的相鄰像素作為當前塊的兩個分區的兩個當前模板，並使用兩個運動向量來擷取兩個L形像素集作為兩個參考模板。在另一示例中，對於作為BCW加權選項的候選編解碼模式，模板識別模組1320可以基於L0 MV和L1 MV擷取兩個參考模板。
模板識別模組1320將當前指示的編解碼模式的參考模板和當前模板提供給TM成本計算器1330，TM成本計算器1330執行匹配以產生所指示的候選編解碼模式的TM成本。 TM成本計算器1330可以基於所指示的候選編解碼模式(例如，對於BCW)不同地加權參考模板。
計算出的 TM 成本被提供給候選選擇模組 1340，該模組可以基於計算出的 TM 成本將重新排序的索引分配給候選編解碼模式。候選選擇模組1340可以從熵解碼器1290接收所選擇的編碼模式的傳訊，該傳訊可以使用基於TM成本的重新排序的索引（以便減少傳輸的位元數）。所選擇的編解碼模式被指示給運動補償模組1230以完成用於當前塊的解碼的預測。
第14圖概念性地圖示了在解碼像素塊時使用TM成本來細化對候選編解碼模式的選擇的過程1400。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）實現解碼器1200，通過執行存儲在計算機可讀介質中的指令來執行過程1400。在一些實施例中，實現解碼器1200的電子裝置執行過程1400。
解碼器(在塊1410)接收資料(例如，來自位元流)以被解碼為視訊的當前圖片中的當前像素塊。解碼器（在塊1120）將與當前塊相鄰的一組像素識別作為當前模板。
解碼器（在塊1430) 識別多個候選編解碼模式中的每個候選編解碼模式的參考模板。在一些實施例中，多個候選編解碼模式對應於多個不同的分區模式，每個分區模式將當前塊分區為兩個或多個分區。每個分區具有對應的當前模板和參考模板，參考模板由與該分區相關聯的運動向量標識。在一些實施例中，多種不同的分區模式包括一種或多種垂直分區當前塊的分區模式(例如VBT、VTT、UBT-V、UQT-V)和一種或多種水平分區當前塊的分區模式(例如HBT、HTT、UBT-H、UQT-H）。在一些實施例中，多種不同的分區模式包括將當前塊對稱地分區或分成大小相等的分區(例如，BT)的分區模式和將當前塊非對稱地分區或分成不同大小的分區(例如，TT、UBT、UQT)的分區模式。在一些實施例中，多種不同的分區模式包括將當前塊分區為兩個分區的分區模式(例如BT)和將當前塊分區為兩個以上分區的分區模式(例如TT、QT)。使用TM成本對對應於不同分區模式的候選編解碼模式進行重新排序參考上文第2圖~第6圖的描述。
解碼器（在塊1440）基於當前模板與候選編解碼模式的參考模板的匹配計算每個候選編解碼模式的TM成本。對於不同的候選編解碼模式對應不同的分區模式的一些實施例，候選編解碼模式的TM成本是基於當前模板和藉由候選編解碼模式自當前塊創建的多個分區的參考模板來計算的。在一些實施例中，不同分區模式的TM成本是基於同一組MVD（在位元流中傳訊或從位元流中的句法元素導出的）來計算的。
解碼器(在塊1450)基於計算的TM成本從多個候選編解碼模式中選擇候選編解碼模式。解碼器（在塊1460）通過使用選擇的候選編解碼模式重構當前塊。在一些實施例中，分區的方向未在位元流中傳訊，使得解碼器執行TM以基於哪個方向具有較低的TM成本來確定分區的方向。
在一些實施例中，多個候選編解碼模式對應於多個參考圖片索引（refIdx)，其識別參考圖片列表中的參考圖片以生成用於解碼當前塊的預測。在一些實施例中，視訊解碼器基於為多個候選編解碼模式計算的TM成本對參考圖片索引重新排序。視訊解碼器可以接收用於識別參考圖片的重新排序的參考圖片索引。參考前文第7圖，描述了使用TM成本來重新排序對應於參考圖片索引的候選編解碼模式。
在一些實施例中，多個候選編解碼模式對應於不同的雙向加權索引（BCW索引），其識別當前塊的雙向預測中的兩個運動向量的不同加權選項。視訊解碼器可以基於為多個候選編解碼模式計算的TM成本重新排序雙向加權索引。視訊解碼器可以接收訊重新排序的雙向加權索引，用於識別兩個運動向量的加權選項。使用 TM 成本對對應於 BCW 索引的候選編解碼模式進行重新排序可以參考上文第8圖的描述。
許多上述特徵和應用被實現為軟體過程，這些軟體過程被指定為記錄在計算機可讀存儲介質（也稱為計算機可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器核心或其他處理單元）執行時，它們會導致處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於 CD-ROM、閃存驅動器、隨機存取記憶體 (RAM) 晶片、硬盤驅動器、可擦除可程式化只讀記憶體 (EPROM)、電可擦除可程式化只讀記憶體 (EEPROM) ）等。計算機可讀介質不包括無線或通過有線連接傳遞的載波和電子信號。
在本說明書中，術語“軟體”意味著包括駐留在只讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以作為較大程式的子部分來實現，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以被實現為單獨的程式。最後，一起實現這裡描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施例中，當軟體程式被安裝以在一個或多個電子系統上運行時，定義了一個或多個執行和執行軟體程式的操作的特定機器實現。
第15圖概念性地圖示了實現本公開的一些實施例的電子系統1500。電子系統1500可以是計算機(例如台式計算機、個人計算機、平板計算機等)、電話、PDA或任何其他種類的電子設備。這樣的電子系統包括各種類型的計算機可讀介質和用於各種其他類型的計算機可讀介質的介面。電子系統1500包括匯流排1505、處理單元1510、圖形處理單元(GPU)1515、系統記憶體1520、網路1525、只讀記憶體1530、永久存儲設備1535、輸入設備1540 , 和輸出設備 1545。
匯流排 1505 共同表示通信連接電子系統 1500 的眾多內部設備的所有系統、外圍設備和晶片組匯流排。例如，匯流排 1505 通信連接處理單元 1510 與 GPU 1515、只讀記憶體1530、系統記憶體1520和永久存儲設備1535。
從這些不同的記憶體單元，處理單元1510擷取要執行的指令和要處理的資料以便執行本公開的過程。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到 GPU 1515 並由其執行。GPU 1515 可以卸載各種計算或補充由處理單元 1510 提供的圖像處理。
只讀記憶體(ROM)1530存儲由處理單元1510和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存儲設備1535是讀寫存儲設備。該設備是即使在電子系統1500關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量存儲設備（例如磁盤或光碟及其相應的磁盤驅動器）作為永久存儲設備1535。
其他實施例使用可移動存儲設備(例如軟盤、閃存設備等，及其對應的磁盤驅動器)作為永久存儲設備。與永久存儲設備1535一樣，系統記憶體1520是讀寫存儲設備。然而，與存儲設備1535不同，系統記憶體1520是易失性讀寫記憶體，例如隨機存取記憶體。系統記憶體1520存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的過程存儲在系統記憶體1520、永久存儲設備1535和/或只讀記憶體1530中。例如，各種記憶體單元包括用於處理多媒體剪輯的指令與一些實施例。從這些不同的記憶體單元，處理單元1510擷取要執行的指令和要處理的資料以便執行一些實施例的過程。
匯流排 1505 還連接到輸入和輸出設備 1540 和 1545。輸入設備 1540 使用戶能夠向電子系統傳送資訊和選擇命令。輸入設備 1540 包括字母數位鍵盤和定點設備（也稱為“滑鼠控制設備”）、相機（例如，網路攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備 1545 顯示由電子系統生成的圖像或否則輸出資料。輸出設備1545包括打印機和顯示設備，例如陰極射線管(CRT)或液晶顯示器(LCD)，以及揚聲器或類似的音頻輸出設備。一些實施例包括同時用作輸入和輸出設備的設備，例如觸摸屏。
最後，如第15圖所示，匯流排1505還通過網路適配器(未示出)將電子系統1500耦合到網路1525。以這種方式，計算機可以是計算機網路的一部分（例如局域網（“LAN”）、廣域網（“WAN”）或內聯網，或網路網。例如電子系統1500的任何或所有組件可結合本公開使用。
一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將計算機程式指令存儲在機器可讀或計算機可讀介質（或者稱為計算機可讀存儲介質、機器可讀介質或機器可讀存儲介質）中。此類計算機可讀介質的一些示例包括 RAM、ROM、只讀光碟 (CD-ROM)、可記錄光碟 (CD-R)、可重寫光碟 (CD-RW)、只讀數位多功能光碟（例如, DVD-ROM, 雙層 DVD-ROM)、各種可刻錄/可重寫 DVD (例如, DVD-RAM, DVD-RW, DVD+RW, 等等), 閃存(例如, SD 卡, mini-SD卡、微型 SD 卡等）、磁性和/或固態硬盤驅動器、只讀和可刻錄 Blu-Ray® 光碟、超密度光碟、任何其他光學或磁性介質以及軟盤。計算機可讀介質可以存儲可由至少一個處理單元執行並且包括用於執行各種操作的指令集的計算機程式。計算機程式或計算機代碼的示例包括機器代碼，例如由編譯器生成的機器代碼，以及包括由計算機、電子組件或使用解釋器的微處理器執行的高級代碼的文件。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用是由一個或多個集體電路執行的，例如專用集體電路（ASIC)或現場可程式化門陣列 (FPGA)。在一些實施例中，這樣的集體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式化邏輯設備(PLD)、ROM或RAM設備中的軟體。
如在本說明書和本申請的任何申請專利範圍中所使用的，術語“計算機”、“服務器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於說明書的目的，術語顯示或顯示表示在電子設備上顯示。如本說明書和本申請的任何申請專利範圍中所使用，術語“計算機可讀介質”、“計算機可讀存儲介質”和“機器可讀介質”完全限於以可讀形式存儲資訊的有形實體對象。這些術語不包括任何無線信號、有線下載信號和任何其他臨時信號。
雖然本公開已經參考許多具體細節進行了描述，但是所屬領域具有通常知識者將認識到，在不脫離本公開的精神的情況下，本公開可以以其他具體形式實施。此外，多個附圖(包括第11圖和第14圖)概念性地說明了過程。這些過程的特定操作可能不會按照所示和描述的確切順序執行。具體操作可以不在一個連續的系列操作中執行，並且可以在不同的實施例中執行不同的具體操作。此外，該過程可以使用多個子過程或作為更大的宏過程的一部分來實現。因此，所屬領域具有通常知識者將理解本公開不受前述說明性細節的限制，而是由所附申請專利範圍限定。
本文描述的主題有時說明不同的組件包含在不同的其他組件內或與不同的其他組件連接。應當理解，這樣描繪的架構僅僅是示例，並且實際上可以實現實現相同功能的許多其他架構。從概念上講，實現相同功能的組件的任何佈置都被有效地“關聯”，從而實現了所需的功能。因此，此處組合以實現特定功能的任何兩個組件可以被視為彼此“相關聯”以使得實現期望的功能，而不管架構或中間組件如何。同樣，如此關聯的任何兩個組件也可被視為彼此“可操作地連接”或“可操作地耦合”以實現期望的功能，並且能夠如此關聯的任何兩個組件也可被視為“可操作地連接”耦合”，彼此實現所需的功能。可操作地耦合的具體示例包括但不限於實體上可配合和/或實體上交互的組件和/或無線上可交互和/或無線上交互的組件和/或邏輯上交互和/或邏輯上可交互的組件。
此外，關於本文中基本上任何復數和/或單數術語的使用，所屬領域具有通常知識者可以根據上下文從復數翻譯成單數和/或從單數翻譯成複數和/或申請。為了清楚起見，可以在本文中明確地闡述各種單數/複數排列。
此外，所屬領域具有通常知識者將理解，一般而言，本文使用的術語，尤其是所附申請專利範圍中使用的術語，例如所附申請專利範圍的主體，通常意在作為“開放”術語，例如， “包括”一詞應解釋為“包括但不限於”，“有”一詞應解釋為“至少有”，“包括”一詞應解釋為“包括但不限於”，等。所屬領域具有通常知識者將進一步理解，如果意圖引入特定數量的申請專利範圍陳述，則該意圖將在申請專利範圍中明確地陳述，並且在沒有該陳述的情況下不存在該意圖。例如，為了幫助理解，以下所附申請專利範圍可能包含使用介紹性短語“至少一個”和“一個或多個”來介紹申請專利範圍的敘述。然而，使用此類短語不應被解釋為暗示通過不定冠詞“a”或“an”引入的申請專利範圍將包含此類引入的申請專利範圍的任何特定申請專利範圍限制為僅包含一個此類陳述的實現，即使當同一申請專利範圍包括介紹性短語“一個或多個”或“至少一個”和不定冠詞如“一個(a)”或“一個(an)”，例如，“一個(a)”和/或“一個(an)”應解釋為“至少”一個或“一個或多個”;這同樣適用於使用定冠詞來引入索賠陳述。此外，即使明確引用了引入的申請專利範圍記載的具體數目，所屬領域具有通常知識者將認識到，這種記載應被解釋為至少表示引用的數目，例如，“兩次引用（recitation）”，而不包含其他修飾語，表示至少兩次引用，或者兩次或更多次引用。此外，在那些約定類似於“A、B 和 C 等中的至少一個”的情況下，一般來說，這樣的結構意在所屬領域具有通常知識者會理解約定的意義上，例如，“具有A、B和C中的至少一個的系統”將包括但不限於這樣的系統單獨有 A，單獨有 B，單獨有 C，A 和 B 在一起，A 和 C 在一起，B 和 C 在一起，和/或 A、B 和 C 在一起，等等。在那些類似於“至少一個” 被使用的約定的情況下，通常這樣的結構意在所屬領域具有通常知識者理解約定的意義上，例如，“具有A、B或C中的至少一個的系統”將包括但不限於系統具有單獨的 A、單獨的 B、單獨的 C、A 和 B 在一起、A 和 C 在一起、B 和 C 在一起和/或 A、B 和 C 在一起等。所屬領域具有通常知識者將進一步理解實際上無論是在說明書、申請專利範圍書還是附圖中，任何出現兩個或更多替代術語的分離詞和/或短語都應該被理解為考慮包括一個術語、一個術語或兩個術語的可能性。例如，短語“A 或 B”將被理解為包括“A”或“B”或“A 和 B”的可能性。
從上文中可以理解，為了說明的目的，本文已經描述了本公開的各種實施方式，並且各種在不脫離本公開的範圍和精神的情況下可以進行修改。 因此，本文公開的各種實施方式並非旨在限制，真正的範圍和精神由所附申請專利範圍指示。
100：當前PU 105、571、572、581、582、710、810：當前模板 110、120、551、552、601、602、705、806、807：MV 115、125、561、562、711-714、811、812：參考模板 150：搜索範圍 511、512、521、522、611、612、621、622：分區 500、700、800：CU 721-724：參考圖片 900：視訊編碼器 905：視訊源 995、1295：位元流 910：變換模組 911：量化模組 912、1212：量化的係數 913：預測的像素資料 914、1211：逆量化模組 915、1210：逆變換模組 916、1216：變換係數 917：重構的像素資料 919：殘差 920：圖片內估計模組 925、1225：幀內預測模組 930、1230：運動補償模組 935：運動估計模組 940、1240：幀間預測模組 945、1245：環路濾波器 950：重構圖片緩衝器 965、1265：MV 緩衝器 975、1275：MV 預測模組 990：熵編碼器 1010、1310：候選識別模組 1020、1320：模板識別模組 1030、1330：TM成本計算器 1040、1340：候選選擇模組 1100、1400：過程 1110~1160、1410~1460：塊 1200：視訊解碼器 1250：解碼圖片緩衝器 1290：解析器 1213：預測像素資料 1217：解碼的像素資料 1500：電子系統 1505：匯流排 1510：處理單元 1515：圖形處理單元 1520：系統記憶體 1525：網路 1530：只讀記憶體 1535：永久存儲設備 1540：輸入設備 1545：輸出設備
附圖用於提供對本公開的進一步理解，並被併入並構成本公開的一部分。附圖圖示了本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為為了清楚地說明本公開的概念，一些組件可能被示出為與實際實施中的尺寸不成比例。 第1圖圖示了在初始運動向量周圍的搜索區域上執行的模板匹配。 第2圖說明了不同類型的多類型樹拆分。 第3圖示出了一些實施例中的四種不對稱或非對稱二叉樹拆分模式。 第4圖示出了一些實施例中的四種不對稱或非對稱四叉樹拆分模式。 第5A-B圖概念性地說明了使用模板匹配來評估編解碼編解碼單元的兩種不同分區模式。 第6A-B圖說明兩個MV被用來評估模板匹配(TM)下的不同二叉樹分區模式。 第7圖概念性地說明使用TM成本來重新排序參考圖片索引。 第8圖 在概念上說明了使用 TM 成本對具有 CU 級別加權 (BCW) 索引的雙向預測進行重新排序。 第9圖解說了可以使用TM成本來改進對候選編解碼模式的選擇的示例視訊編碼器。 第10圖圖示了基於TM成本實現候選編解碼模式選擇的視訊編碼器的部分。 第11圖概念性地說明了在對像素塊進行編碼時使用TM成本來改進對候選編解碼模式的選擇的過程。 第12圖圖示了可以使用TM成本來細化對候選編解碼模式的選擇的示例視訊解碼器。 第13圖圖示了基於TM成本實施候選編解碼模式選擇的視訊解碼器的部分。 第14圖概念性地圖示了在解碼像素塊時使用TM成本來改進對候選編解碼模式的選擇的過程。 第15圖概念性地圖示了實現本公開的一些實施例的電子系統。
1400:過程
1410~1460:塊

Claims (12)

  1. 一種視訊編解碼方法，包括： 接收待編碼或解碼的資料作為視訊的當前圖片的當前塊 ； 將與該當前塊相鄰的一組像素識別為當前模板； 識別多個候選編解碼模式中每個候選編解碼模式的參考模板； 基於該當前模板與該候選編解碼模式的該參考模板的匹配 ，為每個候選編解碼模式計算模板匹配成本； 根據計算出的該模板匹配成本，從該多個候選編解碼模式中選擇一個候選編解碼模式；以及 使用選定的該候選編解碼模式重構該當前塊或將該當前塊編碼成位元流。
  2. 如請求項1所述之視訊編解碼方法，其中，該多個候選編解碼模式對應於多個不同的分區模式，分別將該當前塊分區為多個分區，每個分區具有對應的當前模板和由與該分區相關聯的運動向量標識的參考模板，其中候選編解碼模式的該模板匹配成本是基於該當前模板和該多個分區的該多個參考模板計算的，從該當前塊創建的這些分區由該候選編碼模式而得出。
  3. 如請求項2所述之視訊編解碼方法，其中不同分割模式的模板匹配成本是基於同一組運動向量差計算的。
  4. 如請求項2所述之視訊編解碼方法，其中，該多種不同的分區模式包括對該當前塊進行垂直分區的分區模式和對當前塊進行水平分區的分區模式。
  5. 如請求項2所述之視訊編解碼方法，其中，該多種不同的分區模式包括對稱分區該當前塊的分區模式和非對稱分區該當前塊的分區模式。
  6. 如請求項2所述之視訊編解碼方法，其中，該多種不同的分區模式包括將該當前塊分為兩個分區的分區模式和將該當前塊分為兩個以上分區的分區模式。
  7. 如請求項2所述之視訊編解碼方法，其中，不將該分區的方向傳訊給視訊解碼器。
  8. 如請求項1所述之視訊編解碼方法，其中，該多個候選編解碼模式對應於多個參考圖像索引，該多個參考圖像索引標識參考圖像列表中的參考圖像以生成對該當前塊進行編碼或解碼的預測。
  9. 如請求項8所述之視訊編解碼方法，還包括基於為該多個候選編解碼模式計算的多個模板匹配成本對該多個參考圖片索引重新排序，並且傳訊或接收重新排序的參考圖片索引以識別參考圖片。
  10. 如請求項1所述之視訊編解碼方法，其中，該多個候選編解碼模式對應於多個雙向加權索引，該多個雙向加權索引標識該當前塊的雙向預測中兩個運動向量的不同加權選項。
  11. 如請求項10所述之視訊編解碼方法，還包括基於為該多個候選編解碼模式計算的多個模板匹配成本對該多個雙向加權索引重新排序，並且傳訊或接收重新排序的雙向加權索引以識別用於該兩個運動向量的加權選項。
  12. 一種電子裝置，包括： 視訊解碼器或編碼器電路，配置為執行操作，包括： 接收待編碼或解碼的資料作為視訊的當前圖片的當前塊 ； 將與該當前塊相鄰的一組像素識別為當前模板； 識別多個候選編解碼模式中每個候選編解碼模式的參考模板； 基於該當前模板與該候選編解碼模式的該參考模板的匹配 ，為每個候選編解碼模式計算模板匹配成本； 根據計算出的該模板匹配成本，從該多個候選編解碼模式中選擇一個候選編解碼模式；以及 使用選定的該候選編解碼模式重構該當前塊或將該當前塊編碼成位元流。
TW111131308A 2021-08-19 2022-08-19 使用模板匹配細化候選選擇 TW202329695A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163234730P 2021-08-19 2021-08-19
US63/234,730 2021-08-19
WOPCT/CN2022/113391 2022-08-18
PCT/CN2022/113391 WO2023020589A1 (en) 2021-08-19 2022-08-18 Using template matching for refining candidate selection

Publications (1)

Publication Number Publication Date
TW202329695A true TW202329695A (zh) 2023-07-16

Family

ID=85239549

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111131308A TW202329695A (zh) 2021-08-19 2022-08-19 使用模板匹配細化候選選擇
TW111131307A TW202329691A (zh) 2021-08-19 2022-08-19 影像編解碼系統中基於模板匹配之移動向量細化

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW111131307A TW202329691A (zh) 2021-08-19 2022-08-19 影像編解碼系統中基於模板匹配之移動向量細化

Country Status (5)

Country Link
US (1) US20240357082A1 (zh)
EP (1) EP4388744A1 (zh)
CN (2) CN117882377A (zh)
TW (2) TW202329695A (zh)
WO (2) WO2023020588A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240121399A1 (en) * 2022-09-30 2024-04-11 Qualcomm Incorporated Decoder-side control point motion vector refinement for affine inter-prediction in video coding
WO2024182145A1 (en) * 2023-03-02 2024-09-06 Qualcomm Incorporated Template matching patterns and fusion for template matching related video coding
WO2024187048A1 (en) * 2023-03-07 2024-09-12 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices on intra template matching prediction
WO2024199502A1 (en) * 2023-03-31 2024-10-03 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0910477A2 (pt) * 2008-04-11 2015-09-29 Thomson Licensing método e equipamento para predição de equiparação de gabarito (tmp) na codificação e decodificação de vídeo
US20190028731A1 (en) * 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
EP3443746B1 (en) * 2016-05-17 2021-07-21 ARRIS Enterprises LLC Template matching for jvet intra prediction
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
WO2019234668A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Sub-block dmvr
CN110662076B (zh) * 2018-06-29 2022-10-04 北京字节跳动网络技术有限公司 子块的边界增强
WO2020084475A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector

Also Published As

Publication number Publication date
CN117882377A (zh) 2024-04-12
CN117837145A (zh) 2024-04-05
TW202329691A (zh) 2023-07-16
EP4388744A1 (en) 2024-06-26
WO2023020589A1 (en) 2023-02-23
US20240357082A1 (en) 2024-10-24
WO2023020588A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US11178414B2 (en) Classification for multiple merge tools
US20220248064A1 (en) Signaling for illumination compensation
US11758193B2 (en) Signaling high-level information in video and image coding
US11297348B2 (en) Implicit transform settings for coding a block of pixels
US11245922B2 (en) Shared candidate list
WO2019029560A1 (en) INTRA FUSION PREDICTION
TW202329695A (zh) 使用模板匹配細化候選選擇
CN113141783A (zh) 用于多重假设的帧内预测
US11284077B2 (en) Signaling of subpicture structures
WO2020103946A1 (en) Signaling for multi-reference line prediction and multi-hypothesis prediction
US20210176475A1 (en) Specifying Layout In Video Pictures
CN113853795A (zh) 发信运动向量差值推导
US11785214B2 (en) Specifying video picture information
WO2023020446A1 (en) Candidate reordering and motion vector refinement for geometric partitioning mode
WO2023236916A1 (en) Updating motion attributes of merge candidates
WO2023174426A1 (en) Geometric partitioning mode and merge candidate reordering
WO2024027700A1 (en) Joint indexing of geometric partitioning mode in video coding
WO2024152957A1 (en) Multiple block vectors for intra template matching prediction
WO2023197998A1 (en) Extended block partition types for video coding
WO2023208131A1 (en) Efficient geometric partitioning mode video coding
WO2023198105A1 (en) Region-based implicit intra mode derivation and prediction
WO2024222399A1 (en) Refinement for merge mode motion vector difference
WO2023020444A1 (en) Candidate reordering for merge mode with motion vector difference
WO2023217140A1 (en) Threshold of similarity for candidate list
TW202325025A (zh) 具有編碼參數的局部照明補償