TW202329691A - 影像編解碼系統中基於模板匹配之移動向量細化 - Google Patents

影像編解碼系統中基於模板匹配之移動向量細化 Download PDF

Info

Publication number
TW202329691A
TW202329691A TW111131307A TW111131307A TW202329691A TW 202329691 A TW202329691 A TW 202329691A TW 111131307 A TW111131307 A TW 111131307A TW 111131307 A TW111131307 A TW 111131307A TW 202329691 A TW202329691 A TW 202329691A
Authority
TW
Taiwan
Prior art keywords
block
cpmv
current
template
affine
Prior art date
Application number
TW111131307A
Other languages
English (en)
Inventor
歐萊娜 邱巴赫
陳俊嘉
江嫚書
莊子德
陳慶曄
徐志瑋
黃毓文
Original Assignee
新加坡商聯發科技（新加坡）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商聯發科技（新加坡）私人有限公司 filed Critical 新加坡商聯發科技（新加坡）私人有限公司
Publication of TW202329691A publication Critical patent/TW202329691A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊編碼器或視訊解碼器可以執行操作以根據仿射模式或表示附加假設(hypothesis)移動向量的附加預測信號來確定初始移動向量(MV)，例如控制點移動向量(CPMV)候選，用於視訊流當前幀中的當前子塊； 確定當前幀中與當前子塊關聯的當前模板； 在參考幀的搜索區域內檢索參考模板； 並基於優化測量(optimization measurement)計算參考模板和當前模板之間的差異。 執行的附加操作可以包括在搜索區域內針對不同的參考模板重複檢索和計算差異，直到找到細化MV，例如細化的CPMV或細化的附加假設移動向量，以根據優化測量最小化差異。

Description

影像編解碼系統中基於模板匹配之移動向量細化
所描述的公開涉及用於視訊編解碼系統中的視訊處理方法和裝置的運動補償（motion compensation），包括用於視訊編碼和解碼系統中的運動補償的基於模板匹配（template matching）的移動向量（motion vector，簡寫為MV）細化。
數位視訊系統已在各種設備和多媒體系統中得到應用，例如智慧手機、數位電視、數位相機和其他設備。數位視訊系統的技術通常受各種編解碼標準的約束，例如 H.261、MPEG-1、MPEG-2、H.263、MPEG-4 和高級視訊編解碼 (AVC)/H.264。高效視訊編解碼 (HEVC) 是由視訊編解碼聯合協作小組 (JCT-VC) 小組基於基於混合塊的運動補償變換編解碼架構開發的標準。 HEVC 標準提高了其先前標準 AVC 的視訊壓縮性能，以滿足對更高圖像解析度、更高幀速率和更好視訊質量的需求。此外，通用視訊編解碼 (VVC)，也稱爲 H.266，是 HEVC 的繼承者。 VVC 是一種視訊壓縮標準，具有改進的壓縮性能並支持非常廣泛的應用。然而，隨著對高質量和高性能數位視訊系統的需求不斷增加，需要在當前標準（例如 VVC 和 HEVC）上改進視頻編解碼（例如視訊編碼和解碼）。與通用視訊編解碼算法和規範相關的公開內容可從 Signal Processing Society 網站 (https://signalprocessingsociety.org/sites/default/files/uploads/community_involvement/docs/ICME2020_MMSPTC_VideoSlides_Versatile_Video_Coding.pdf) 獲得，其通過引用整體併入本文。
以下公開提供了許多不同的實施例或示例，用於實現所提供主題的不同特徵。 下面描述組件和布置的具體示例以使本公開明了。 當然，這些僅僅是示例並且不旨在進行限制。 例如，在下面的描述中在第二特徵上形成第一特徵可以包括第一和第二特徵直接接觸形成的實施例，並且還可以包括在第一和第二特徵之間形成附加特徵，使得第一和第二特徵可以不直接接觸的實施例。 此外，本公開可以在各種示例中重複參考數字和/或字母。 這種重複本身並不規定所討論的各種實施例和/或配置之間的關係。
本發明的一些方面涉及在視訊編解碼系統中的視訊編碼器或視訊解碼器中實施的裝置和方法。在視訊編碼器或視訊解碼器中實現的方法可以包括根據仿射模式確定視訊流的當前幀中的當前子塊或塊的控制點移動向量(CPMV)候選；確定當前幀中與當前子塊關聯的當前模板；檢索參考幀中搜索區域內的仿射移動向量場（affine motion vector field）生成的參考模板；以及基於優化測量計算參考模板和當前模板之間的差異。此外，該方法還可以包括針對搜索區域內的不同參考模板重複（iterate）檢索和計算差異，直到根據優化測量找到細化CPMV以最小化差異。優化測量可以是絕對差之和（SAD）測量或平方差之和（SSD）測量。該方法還可以包括使用細化CPMV對當前子塊應用運動補償以對當前子塊進行編碼或解碼。
本發明的一些方面涉及一種視訊解碼器，該視訊解碼器包括用於在視訊解碼器中進行運動補償的裝置。該裝置可以包括被配置爲執行與模板匹配相關的運動補償操作的一個或多個電子設備或處理器。在一些實施例中，一個或多個電子設備或處理器可以被配置爲接收與包括多個子塊的當前幀中的當前塊相關聯的輸入視訊資料，其中該視訊資料包括根據仿射模式用於當前幀中當前塊的當前子塊控制點移動向量（CPMV）候選；確定當前幀中與當前子塊關聯的當前模板；檢索參考幀中搜索區域內的仿射移動向量場生成的參考模板；並基於優化測量計算參考模板和當前模板之間的差異。此外，一個或多個電子設備或處理器可以被配置爲重複檢索和計算搜索區域內的不同參考模板的差異，直到根據優化測量找到細化CPMV以最小化差異。此外，一個或多個電子設備或處理器可以被配置爲使用細化CPMV對當前子塊應用運動補償以解碼當前子塊。 本發明的一些方面涉及一種視訊解碼器，該視訊解碼器包括用於視訊解碼器中的運動補償(MC)的裝置。該裝置可以包括被配置爲執行與模板匹配相關的運動補償操作的一個或多個電子設備或處理器。在一些實施例中，一個或多個電子設備或處理器可以被配置爲確定表示當前子塊的初始預測P 1的常規預測信號；確定表示當前子塊的附加假設預測h (n+1)的附加預測信號。之後，一個或多個電子設備或處理器可以被配置爲對移動向量MV( 執行基於模板匹配的細化過程，直到依據優化測量找到附加假設預測的最佳細化 = ，其中該移動向量MV( 用於獲取與當前子塊相關聯的當前模板的參考幀中的搜索區域內的附加假設預測 。此外，一個或多個電子設備或處理器可以被配置爲通過基於加權的叠加因子 應用至少一個預測信號的樣本加權叠加（sample-wise weighted superposition）來獲得一個整體預測信號 ，該至少一個預測信號由用於推導附加假設預測的MV的最佳細化 = 獲得。
視訊編碼/解碼
在視訊編解碼系統中，包括多個幀的視訊序列可以以各種形式從視訊編解碼系統的源設備傳輸到目標設備。爲了提高通信效率，並不是每一幀都傳輸。例如，可以首先發送參考幀，但可以不完全發送當前幀。相反，源設備的視訊編碼器可以找到參考幀和當前幀之間的冗餘資訊，進一步編碼和傳輸指示當前幀和參考幀之間的差異的視訊資料。在一些實施例中，可以將當前幀拆分爲多個塊，其中一個塊可以進一步拆分爲多個子塊。在一些實施例中，塊或子塊可以是編解碼樹單元(CTU)或編解碼單元(CU)。可以被稱爲預測信號的傳輸的視訊資料可以包括移動向量(MV)以指示當前幀和參考幀之間的塊或子塊級別的差異。在一些實施例中，視訊編碼器可以執行預測操作以在當前幀內（幀內預測）或當前幀與參考幀之間（幀間預測）找到冗餘資訊，並將資訊壓縮成由包括MV的視訊資料表示的指示差異的預測信號。在接收端，目標設備的視訊解碼器可以執行包括預測在內的操作，以基於參考幀和接收到的預測信號重構當前幀，例如，包括指示當前幀和參考幀的塊或子塊之間差異的MV的視訊資料。
在一些實施例中，包括在預測信號或視訊資料中的MV可以指示當前幀和參考幀之間在塊或子塊級別上的差異。然而，在塊或子塊級別找到當前幀和參考幀之間的確切差異可能成本很高。在一些實施例中，MV候選可以是指示當前幀和參考幀之間的塊或子塊級別的差異的近似值的初始MV。 MV候選或初始MV可由源設備的視訊編碼器生成和傳輸，而目標設備的視訊解碼器可執行操作以細化初始MV或MV候選以導出（後文亦稱為推導）MV本身，或細化MV（refinement MV），指示當前幀和參考幀在塊或子塊級別的差異。
可以基於運動模型指定MV或MV候選，該運動模型可以包括平移運動模型、仿射運動模型或一些其他運動模型。例如，高效視訊編解碼(HEVC)中傳統的基於塊的運動補償的運動模型是平移運動模型。在平移運動模型中，單向預測（uni-prediction）信號中包含的一個MV可能足以指定當前幀的子塊與參考幀的子塊之間的差異，這些差異是由一些綫性方式的剛性運動（rigid movement）引起的。在一些實施例中，也可以使用關於雙向預測（bi-prediction）信號中包括的兩個參考幀的兩個MV。然而，在現實世界中，除了剛性或綫性運動之外，還可以有多種運動。在多功能視訊編解碼 (VVC) 中，可以應用基於塊的 4 參數和 6 參數仿射運動模型，其中 2 或 3 個 MV 可用於指定各種運動，例如當前幀相對於一個參考的旋轉或縮放。例如，基於塊的 4 參數仿射運動模型可以指定運動，例如相對於一個參考幀的旋轉和縮放，而除了相對於一個參考幀的旋轉和縮放，基於塊的 6 參數仿射運動模型可以指定運動，例如縱橫比（aspect ratio）、剪切（shearing）。在仿射運動模型中，MV可以指控制點移動向量(CPMV)，其中CPMV是子塊或塊的各個控制點處的MV。例如，一個子塊在仿射運動模型中可以有2個或3個CPMV，其中每個CPMV也可以稱爲一個MV，因爲每個CPMV都是某個特定位置或控制點的MV。本文中與 MV 相關的描述可適用於 CPMV，反之亦然。
在MV可以指CPMV的仿射運動模型下，視訊編解碼系統可以在各種操作模式下操作，例如仿射間模式（affine inter mode）、仿射合並模式(affine merge mode)、高級移動向量預測（AMVP）模式或一些其他仿射模式。諸如仿射間模式或仿射合並模式的操作模式可以指定如何生成或發送CPMV或CPMV候選。當視訊編解碼系統在仿射間模式下操作時，可以生成子塊的CPMV或CPMV候選並將其從源設備直接發信到目標設備。仿射間模式可以應用於寬度和高度都大於或等於 16 的 CU。在一些實施例中，視訊編解碼系統可以在仿射合並模式下操作，其中子塊的 CPMV 或 CPMV 候選不是由源設備生成且直接從源設備發信到目標設備，而是由視訊編解碼系統的目標設備的視訊解碼器根據子塊的空間或並置相鄰塊的運動資訊生成。
在一些實施例中，無論運動模型是否是平移運動模型、仿射運動模型，多個MV（例如傳統單向預測中的多於一個MV或傳統雙向預測信號中的多於兩個MV）都可以用於指示當前幀和參考幀在塊或子塊級別的差異。這種可用於獲得多假設預測（multiple hypothesis prediction） 的多個MV可用於提高視訊解碼器解碼的子塊的準確性。當使用多假設預測 時，視訊解碼器可以應用綫性和迭代公式 =(1-α i) + α i 來導出與傳統的解碼方法相比具有改善的精度的最終的預測子，其中传统的解码方法僅在單向預測信號中使用一個 MV，或者僅在雙向預測信號中使用兩個 MV。
在一些實施例中，當目標設備的視訊解碼器從源設備的視訊編碼器接收的預測信號中包括MV候選時，目標設備的視訊解碼器可以執行細化操作以基於MV候選導出細化MV（refinement MV），以指示當前幀和參考幀之間的塊或子塊級別的實際差異（real difference）。
在一些實施例中，可以通過各種技術導出細化MV。例如，可以應用模板匹配 (TM) 過程來爲 MV 候選找到細化 MV。應用TM過程時，可以先找到當前幀中當前子塊的當前模板，在參考幀處生成參考模板，基於優化測量計算參考模板與當前模板的差值。該過程可以在參考幀的搜索區域內針對不同的參考模板進行重複（iterate），並根據優化測量找到細化MV以最小化參考模板與當前模板之間的差異。在一些實施例中，當MV候選是在仿射間模式或仿射合並模式中在仿射運動模型下操作的視訊編解碼系統的CPMV候選時，細化MV可以是細化CPMV。
當 MV 候選是 CPMV 時，可以應用 TM 過程來推導細化 CPMV。在推導細化CPMV時，可以基於包括各種子塊的MV或子塊的像素的仿射MV場（MV field）來生成參考模板。因此，細化CPMV是基於基於仿射MV場生成的參考模板導出的，該參考模板不同於爲諸如平移運動模型的其他運動模型生成的參考模板。
在一些實施例中，當一個或多個附加假設預測 用於根據綫性迭代公式 =(1-α i) + α i ，産生預測信號 =(1-α n+1) + α n+1 時，一個或多個附加假設預測子 可以被藉由使用附加假設移動向量的TM細化執行的MC獲得的預測子（表示為 =MC(TM( ）取代，其中該附加假設移動向量用於獲得預測子 MV( ))，其中 是藉由使用基於模板匹配導出的MV執行的MC獲得的預測子，模板匹配應用於用於導出預測子 的移動向量MV( ) ，並且預測信號可以使用相同的公式使用細化 取代 ,來獲得，例如， =(1-α n+1) + α n+1 。
第1-3圖示出了根據本公開的一些方面的用於對參考幀的搜索區域執行模板匹配以找到用於運動補償的初始MV的細化的示例視訊編解碼系統100。如第1圖所示，視訊編解碼系統100可以包括源設備101內的視訊編碼器113和通過通信信道121耦合到源設備101的目的地設備103內的視訊解碼器133。源設備101也可以稱爲視訊發射器或發送器或發送器，而目的地設備103也可稱爲視訊接收器或所屬領域具有通常知識者已知的其他類似術語。
視訊編碼器113的一些實施例在第2圖中，視訊解碼器133的一些實施例在第3圖中示出。視訊編解碼系統100可以包括其他組件，例如第1圖中未示出的預處理、後處理組件。在一些實施例中，源設備101和目的地設備103可以以基本對稱的方式操作，使得源設備101和目的地設備103中的每一個都包括視訊編碼和解碼組件。因此，視訊編解碼系統100可以支持源設備101和目的地設備103之間的單向或雙向視訊傳輸，例如，用於視訊流傳輸、視訊回放、視訊廣播或視訊電話。
在一些實施例中，通信信道121可以包括任何無綫或有綫通信介質，例如射頻(RF)頻譜或一條或多條實體傳輸綫，或無綫和有綫介質的任何組合。通信信道121可以形成基於分組的網路的一部分，例如局域網(LAN)、廣域網(WAN)或全球網路，例如因特網，包括一個或多個網路的互連。通信信道121通常可以代表任何合適的通信媒體，或不同通信媒體的集合，用於將視訊資料從源設備101傳輸到目的地設備103。通信信道121可以包括路由器、交換機、基站或可以是用於促進從源設備101到目的地設備103的通信的任何其他設備。在一些其他實施例中，源設備101可以將視訊資料存儲在任何類型的存儲介質中。目的設備103可以通過任何類型的存儲介質接收視訊資料，本發明對此不做限定。
在一些實施例中，源設備101和目的地設備103可以包括通信設備，例如蜂窩電話(例如，智慧電話)、個人數位助理(PDA)、手持設備、膝上型電腦、台式機、無繩電話、無綫本地環路站、無綫傳感器、平板電腦、攝像頭、視訊監控攝像頭、遊戲設備、上網本、超極本、醫療裝置或設備、生物識別傳感器或設備、可穿戴設備（智慧手錶、智慧服裝、智慧眼鏡、智慧腕帶、智慧首飾（如智慧戒指或智慧手環）、娛樂設備（例如，音樂或視訊設備或衛星收音機）、車載部件、智慧電錶、工業製造設備、全球定位系統設備、物聯網 (IoT) 設備、機器類型通信 (machine-type communication，簡寫為MTC) 設備、演進或增强型機器類型通信 (enhanced machine-type communication，簡寫為eMTC) 設備或配置爲通過無綫或有綫進行通信的任何其他適合的設備等。例如，MTC和eMTC設備可以包括機器人、無人機、位置標簽等。
在一些實施例中，源設備101可以包括視訊源111、視訊編碼器113和一個或多個處理器117或其他設備。源設備101的視訊源111可以包括視訊捕獲設備，例如攝像機、包含先前捕獲的視訊的視訊檔案（video archive）、或來自視訊內容提供方的視訊饋送（video feed）。在一些實施例中，視訊源111可以生成基於計算機圖形的資料作爲源視訊，或實時視訊、存檔的視訊和計算機生成的視訊的組合。因此，視訊源111可以生成包括一個或多個幀的視訊序列，例如可以是參考幀的幀151和可以是當前幀的幀153。在當前的描述中，幀可以被稱爲圖片。
在一些實施例中，目的地設備103可以包括視訊解碼器133、顯示設備131和一個或多個處理器137或其他設備。視訊解碼器133可以重構幀151或幀153並且在顯示設備131上顯示這樣的幀。在一些實施例中，顯示設備131可以包括多種顯示設備中的任何一種，例如陰極射綫管、液晶顯示器(LCD)、等離子顯示器、有機發光二極管 (OLED) 顯示器或其他類型的顯示設備。
視訊編碼器113和視訊解碼器133可以根據一些視訊編解碼標準設計，例如MPEG-4、高級視訊編解碼(AVC)、高效視訊編碼(HEVC)、通用視訊編解碼(VVC)標準或其他視訊編解碼標準。這裡描述的技術不限於任何特定的編解碼標準。視訊編碼器113和視訊解碼器133可以實現爲一個或多個微處理器、數位信號處理器(DSP)、專用積體電路(ASIC)、現場可程式化門陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器113和視訊解碼器133可以被包括在一個或多個編碼器或解碼器中，或者集成爲相應移動設備、訂戶（subscriber）設備、廣播設備、服務器等中的組合編碼器/解碼器(combined encoder/decoder，簡寫為CODEC)的一部分。
在一些實施例中，視訊編碼器113可以負責將來自視訊源111的視訊序列轉換成壓縮的位元流表示，例如適合傳輸或存儲的視訊流105。例如，視訊流105可以從包括幀151和幀153的視訊序列生成，通過通信信道121從視訊編碼器113傳輸到視訊解碼器133。
在一些實施例中，視訊編碼器113可以執行各種操作，這些操作可以分爲幾個子過程：預測、變換、量化和熵編碼，每個子過程負責壓縮由視訊源111捕獲的視訊序列並將其編碼爲例如視訊流 105的位元流。預測操作可以由預測組件 119 執行，預測組件 119 在當前圖片或幀（幀內預測）或視訊序列中的相鄰圖片或幀（幀間預測）中找到冗餘資訊，並將資訊壓縮成包括在視訊流 105 中的預測信號。幀不能使用預測來壓縮的部分形成了殘差信號，殘差信號也包括在視訊流 105 中。視訊編碼器 113 還可以包括其他部分，例如變換分量、量化和熵編解碼組件，更多細節在第2圖中示出。
預測組件119可以包括用於執行運動補償(MC)組件115的移動向量(MV)的基於模板匹配(TM)的細化。基於預測組件119，在不傳輸當前幀153的情况下，僅參考幀151以及幀151和幀153之間的幀間差異可以在視訊流105中傳輸，以提高源設備101和目的設備103之間的通信效率。在一些實施例中，視訊流105可以包括多個幀，例如幀151，其為參考幀。視訊流105還可以包括由TM MC組件115生成的視訊資料155，其可以包括MV 165，用於由視訊解碼器133基於參考幀151和視訊資料155來重構幀153。如第1圖所示，在發送幀153的資訊(例如包括MV 165的視訊資料155)之前發送幀151。
視訊解碼器133可以執行視訊編碼器131的逆功能以從壓縮的視訊流105重構視訊序列。解碼過程可以包括熵解碼、去量化、逆變換和預測操作，更多細節在第3圖中示出。 預測操作可以由預測組件139執行，預測組件139可以包括TM MC組件135。已經使用幀內或幀間預測方法被壓縮的包括幀151和幀153的視訊序列的部分可以通過組合在視訊流105中接收的預測和殘差信號來重構。例如，視訊解碼器133可以使用TM MC組件135和預測組件139來基於參考幀151和包括由視訊流105傳輸的MV 165的視訊資料155來重構幀153。
視訊編碼器113和視訊解碼器133可以在子塊或塊的基礎上執行編碼或解碼，其中視訊序列的圖片或幀可以被分成非重叠的編解碼塊以進行編碼或解碼。編解碼塊可以簡稱爲塊。詳細地，幀，例如第1圖中的幀153，可以包括多個塊，例如塊161。一個塊，例如塊161，可以包括多個子塊，例如子塊163。一個塊可以以各種方式實現。塊可以是編解碼樹單元（CTU）、宏塊（例如，16x16 樣本）或其他塊。 CTU 的大小可以不同（例如，16x16、32x32、64x64、128x128 或 256x256）。一個 CTU 塊可以分爲不同類型和大小的塊。每個塊的大小由 CTU 內的圖片資訊决定。包含許多小細節的塊通常被分成較小的子塊以保留精細的細節，而在細節較少的位置，例如，白墻或藍天，子塊可以更大。塊和子塊之間的關係可以用四叉樹資料結構來表示，其中CTU是編碼單元（CU）的根。每個 CU 包含用於每個顔色分量的塊，如果一個 CU包含三個顏色分量的塊，即一個塊用於亮度 (Y)、一個塊用於彩色藍色 (Cb 或 U) 和一個塊用於彩色紅色 (Cr 或 V)。亮度塊的位置用於導出相應色度塊的位置，色度分量的一些潜在偏差取决於色度二次采樣設置。例如，ITU-T H.264 標準支持各種塊大小的幀內預測，​​例如 用於亮度分量的16 x 16、8 x 8 或 4 x 4，用於色度分量的8×8，ITU-T H.264 標準也支持各種塊大小的幀間預測，例如用於亮度分量的 16 x 16、16 x 8、8 x 16、8 x 8、8 x 4、4 x 8 和 4 x 4，以及用於色度分量的相應的縮放大小。塊可以具有固定或變化的大小，並且可以根據指定的編解碼標準在大小上有所不同。
一個 CTU可以包含一個 CU 或根據四叉樹劃分結構遞歸地拆分爲四個較小的 CU，最多直到達到預定義的最小 CU 大小。預測决策可以由視訊編碼器113的第1圖中的預測組件119或視訊解碼器133的預測組件139在CU級別做出，其中每個CU使用圖片間預測或圖片內預測來編碼。一旦CU分層樹的拆分完成，每個CU根據PU分區類型進一步拆分爲一個或多個預測單元（PU）用於預測。 PU 用作共享預測資訊的基本代表塊，因爲相同的預測過程應用於 PU 中的所有像素。預測資訊在PU基礎上從視訊編碼器113傳送到視訊解碼器133。在一些實施例中，可以使用任何當前視訊編解碼標準來應用涉及CTU、CU、PU的不同過程。
在一些實施例中，幀間預測中的運動估計爲一個或兩個參考幀中的當前塊識別一個（單向預測）或兩個（雙向預測）最佳參考塊，並且幀間預測中的運動補償根據一個或兩個移動向量 (MV) 定位該一個或兩個最佳參考塊。當前塊與相應預測子之間的差異稱爲預測殘差。視訊編碼器113或視訊解碼器133可包括未示出的子塊分割模塊或MV推導模塊。
在一些實施例中，可以基於各種運動模型生成MV，例如平移運動模型、用於在圖像平面中平移、縮放或旋轉的4參數仿射運動模型、6參數仿射運動模型，對於所屬領域具有通常知識者來說，所有這些都是已知的。
第2圖示意了視訊編碼器113的示例系統框圖。幀內預測210可基於當前圖片的重構的視訊資料提供幀內預測子。幀間預測212執行運動估計(ME)和運動補償(MC)以基於來自其他圖片的視訊資料提供幀間預測子或預測信號。幀內預測210可以做出與預測圖片的塊中的像素值相關的預測，該像素值和同一圖片的相鄰的、先前編碼的塊中的參考樣本有關。在幀內預測中，從同一幀內的重構的像素預測樣本，目的是减少由預測變換編解碼器的變換（例如，熵編碼器 232）和熵編解碼（例如，熵編碼器 232）部分編解碼的殘差錯誤。幀間預測212可以根據對應的子塊MV確定每個子塊的預測子或預測信號。根據一些實施例，每個子塊的預測子或預測信號被限制在主要參考塊（primary reference block）內。選擇器214可以選擇幀內預測210或幀間預測212以將選擇的預測子提供給加法器216以形成預測誤差，也稱爲預測殘差。幀內預測210或幀間預測212或兩者都可以包括在第1圖所示的預測組件119中。
當前塊的預測殘差由變換（T）218和量化（Q）220進一步處理。變換和量化的殘差信號然後由熵編碼器232編碼以形成視訊流105。視訊流105可以進一步與輔助資訊（side information）一同打包（packed）。當前塊的變換和量化的殘差信號可以由逆量化（IQ）222和逆變換（IT）224處理以恢復預測殘差。通過在重構（REC）226處將預測殘差加回到選定的預測子來産生重構的視訊資料。重構的視訊資料可以存儲在參考圖片緩衝器230中並且用於其他圖片的預測。從 REC 226 恢復的重構的視訊資料可能會因編碼處理而受到各種損害；因此，可以在存儲在參考圖片緩衝器230中之前將環路處理濾波器228應用於重構的視訊資料，以進一步提高圖片質量。
第3圖示出了用於解碼從視訊編碼器113接收的視訊流105的對應視訊解碼器133的示例系統框圖。視訊流105是視訊解碼器133的輸入並且由熵解碼器340解碼以解析和恢復變換和量化的殘差信號和其他系統資訊。視訊解碼器 133 的解碼過程類似於視訊編碼器 113 處的重構迴路（reconstruction loop），除了視訊解碼器 133 僅需要幀間預測 344 中的運動補償預測。每個塊由幀內預測 342 或幀間預測 344 解碼。開關 346 根據解碼的模式資訊選擇來自幀內預測342的幀內預測子或來自幀間預測344的幀間預測子。幀內預測342或幀間預測344或兩者都可以包括在第1圖所示的預測組件139中。幀間預測344基於子塊MV對當前塊執行子塊運動補償編碼工具。藉由逆量化（IQ）350和逆變換（IT）352恢復與每個塊相關聯的變換和量化的殘差信號。恢復的殘差信號通過在REC 348中加回預測子以産生重構的視訊。重構的視訊由環路處理濾波器(Filter) 354進一步處理以生成最終解碼視訊。如果當前解碼的圖片是解碼順序中後面的圖片的參考圖片，則當前解碼的圖片的重構視訊也存儲在參考圖片緩衝器356中。
在一些實施例中，自適應移動向量解析度(adaptive motion vector resolution，簡寫為AMVR)可以支持各種移動向量解析度，包括四分之一亮度樣本、整數亮度樣本和四亮度樣本，以减少移動向量差(MVD)的輔助資訊。例如，平移模式支持的亮度 MV 解析度可能包括：1/4 樣本、半樣本、整數樣本、4 樣本；仿射模式支持的亮度 MV 解析度可能包括：四分之一樣本、1/16 樣本、整數樣本。在序列參數集 (SPS) 級別和 CU 級別中發信的標志用於指示是否啓用 AMVR 以及爲當前 CU 選擇哪種移動向量解析度。對於以高級移動向量預測（AMVP）模式編解碼的塊，通過單向預測或雙向預測生成一個或兩個移動向量，並且産生一個或一組移動向量預測子（MVP）。選擇與相應的 MV 相比具有最小移動向量差 (MVD) 的最佳 MVP 以進行高效編解碼。啓用 AMVR 後，MV 和 MVP 都會根據選定的移動向量解析度進行調整，並且 MVD 將對齊到相同的解析度。
在一些實施例中，第1圖中的MV 165可以基於運動模型來指定，運動模型可以包括平移運動模型、仿射運動模型或一些其他運動模型。在平移運動模型中，單向預測信號中包含的一個 MV，例如 MV 165，可能足以指定當前幀的子塊與參考幀的子塊之間由綫性方式的某種剛性運動引起的差異。在一些實施例中，也可以使用關於雙向預測信號中包括的兩個參考幀的兩個MV。
視訊源111中的對象可能並不總是以綫性方式移動並且經常旋轉、縮放和組合不同類型的運動。其中一些運動可以用仿射變換呈現。仿射變換是一種幾何變換，它保留了視訊中的綫條和平行度。這些運動包括放大/縮小、旋轉、透視運動和其他不規則運動。仿射預測可以基於仿射運動模型，從而在平移運動模型中擴展傳統的MV以提供更多的自由度。仿射運動模型可以包括基於塊的 4 參數和 6 參數仿射運動模型，其中 2 或 3 個 MV 可用於指定當前幀相對於一個參考幀的各種運動，例如旋轉或縮放。在一些實施例中，在仿射運動模型中，MV 165可以是控制點移動向量(control point motion vector，簡寫為CPMV)，其中CPMV是在子塊或塊的各個控制點處的MV，如第4A-4B 圖所示。
第4A-4B圖示出了根據本公開的一些方面的根據仿射模式的視訊流的幀中的子塊405的示例CPMV。在一些實施例中，視訊流的幀中的子塊405可以是視訊流105的幀153中的子塊163的示例。
第4A圖示出了兩個CPMV，在控制點401處的 和在控制點403處的 ，它們是位於4參數仿射運動模型的控制點處的MV。基於兩個 CPMV 和 的仿射變換可以表示如下。兩個CPMV 和 可以表示從子塊405通過旋轉獲得的子塊411，或者從子塊405通過旋轉以及縮放獲得的子塊421。
第4B圖示出了三個CPMV，在控制點401處的 ，在控制點403處的 ，在控制點407處的 ，它們是位於6參數仿射運動模型的控制點的MV。 基於三個CPMV 、 的仿射變換可以用下面的公式表示。 三個CPMV 、 可以表示通過一般的仿射變換從子塊405獲得的子塊431。
在MV可以指CPMV的仿射運動模型下，視訊編解碼系統可以在各種操作模式下操作，例如仿射間模式、仿射合並模式、高級移動向量預測（AMVP）模式或一些其他仿射模式。諸如仿射間模式或仿射合並模式的操作模式可以指定如何生成或發送CPMV或CPMV候選。當視訊編解碼系統在仿射間模式下操作時，可以生成子塊的CPMV或CPMV候選並將其從源設備直接發信到目標設備。在一些實施例中，視訊編解碼系統可以在仿射合並模式下操作，其中子塊的CPMV或CPMV候選不是由源設備生成且從源設備直接發信到目的地設備，而是由視訊編解碼系統的目的設備的視訊解碼器自子塊的空間和時間相鄰塊的運動資訊獲得。
在一些實施例中，當在仿射間模式中從源設備生成或發送CPMV候選時，目標設備可以接收CPMV候選並對CPMV候選執行細化。在一些實施例中，當編解碼系統在仿射合並模式下操作時，目的設備可以從子塊的空間或時間相鄰塊的運動資訊生成CPMV候選。此外，目標設備的視訊解碼器可以對 CPMV 候選執行細化。在 4 參數仿射運動模型中，可以有 2 個 CPMV 候選，而在 6 參數仿射運動模型中，可以有 3 個 CPMV 候選。目的設備的視訊解碼器可以針對4參數仿射運動模型的2個CPMV候選或6參數仿射運動模型的3個CPMV候選中的每個CPMV候選執行細化。
先前在 JVET-J0021 中提出的模板匹配 (TM) 是一種解碼器 MV 推導方法，通過在當前圖片中的模板（即當前 CU 的頂部和/或左側相鄰塊）和參考圖片中的塊之間找到最接近的匹配來細化當前 CU 的運動資訊。然而，在之前的工作中，TM 並未應用於 4 參數仿射運動模型或 6 參數仿射運動模型的 CPMV 候選。本文的實施例呈現將TM過程應用於4參數仿射運動模型或6參數仿射運動模型的CPMV候選的技術。
在本申請的基於TM的仿射CPMV細化的一個實施例中，當進行CPMV細化時建議在仿射模式下使用TM。因此，無需傳輸 CPMV MVD。由於在仿射模式下有更多的 MVD，這可能更有益。在一個實施例中，在仿射合並中 TM 用於細化 CPMV 並使 MV 預測子更好/更精確。
在一個實施例中，如果使用仿射間（affine-inter）TM來進行CPMV細化，這允許避免傳遞MVD。
在一個實施例中，在仿射 MMVD 的情况下，仿射合並和 TM 組合在一起以找到細化的 CPMV。
在一個實施例中，爲了使預測更佳，可以附加地發信附加的類MMVD的固定調整（MMVD-like fixed adjustment）。
在一個實施例中，對 CPMV 進行 L 模板搜索（L-template search）的流程如下：對於每個 CPMV 候選 -＞ 生成仿射 MV 場 爲仿射 MV 場的參考子 PU 檢索相鄰像素的 L 形模板 使用來自參考像素的相鄰像素的 L 形和相鄰像素的當前 L 形去計算 SAD 或 SSD 。我們可以對各種 CPMV 候選重複之前的搜索過程。請注意，因爲 CPMV 可能有 2 個 MV（4 參數仿射模型）或 3 個 MV（6 參數仿射模型），所以我們可以逐一搜索 2 個 MV 或 3 個 MV。在另一個實施例中，我們可以發送部分 CPMV 並對另一個 CPMV 進行細化，例如，在 3MV 仿射模式下，我們可以發送 2 個 MV，剩下的 1 個 MV 可以在解碼器端得到。
另一種 CPMV 細化方法可用於雙向仿射模式。在一個實施例中，我們可以將列表 0 仿射預測子與列表 1 仿射預測子進行比較，並且在調整 CPMV 時，我們可以再次比較列表 0 預測子和列表 1 預測子，直到我們找到最小差異。
由於必須對TM執行大量搜索並且必須加載參考圖片的大區域來執行TM，因此本發明的一個實施例將TM與多假設預測相結合。這允許提高編解碼性能並减少解碼器的ME搜索錯誤。也就是說，不僅使用了TM過程中的最佳結果，而且還使用了最好的N個結果來生成最終預測，其中N大於1。在另一個實施例中，將TM過程中的最佳結果進一步與由初始 MV 生成的預測子結合。
在一個實施例中，建議在執行多個預測子之間的混合(blending)時應用雙邊濾波(bi-lateral filtering)或預定義權重。
第5圖示出了根據一些方面的在參考幀151的搜索區域564上執行的模板匹配，以找到移動向量165（其可以是初始MV或MV候選）的細化，用於子塊163的運動補償的示例。
在一些實施例中，MV 165可以是子塊163的控制點移動向量(CPMV)候選，根據仿射模式，例如，仿射間模式或仿射合並模式，子塊163可以是視訊流105的當前幀153中的當前塊的當前子塊。基於模板匹配(TM)的MC過程，例如第6圖中所示的過程670，可以由 TM MC 115 或 TM MC 135 對一個或多個 CPMV 候選執行。對 TM MC 115（來自第1圖）的描述可以適用於 TM MC 135（來自第1圖）。在一些實施例中，在細化處理之後，可以通過TM處理基於當前幀中的當前子塊的當前模板和參考幀中的參考模板來找到CPMV候選的細化，其中參考模板可以由仿射移動向量場生成。
在一些實施例中，可以有兩種方式來生成參考模板。首先，在計算 CPMV 之後，可以計算仿射移動向量場（例如，每個 4x4 子塊的移動向量）。使用每個 4x4 子塊的 MV，可以計算參考子塊，並且可以從爲每個頂部和左側 4x4 子塊獲得的模板構建參考模板。在一些實施例中，因爲模板是從塊上方和/或左側的樣本構建的，所以可能僅需要位於塊的頂部和/或左側邊界的那些子塊來構建參考模板。其次，在計算了 CPMV 之後，可以計算出整個塊的一個 MV，例如，這個塊中心的 MV。此外，可以使用一個MV來計算一個參考塊。此外，使用一個參考塊上方和/或左側的樣本，可以構建參考模板。
在一些實施例中，可以有兩種細化方法，也可以與上述兩種構建參考模板的方法相結合。首先，2 或 3 個（取决於仿射模型）CPMV 可以同時和/或使用相同的值進行細化。因此，可以同時更新所有的CPMV。基於更新的CPMV，可以計算每個4x4子塊的新MV（或塊中心位置的新MV）以獲得對應的參考模板。通過以相同值更新所有CPMV，仍然可以獲得不同的參考模板。在優化測量方面提供當前模板和參考模板之間的最佳擬合（best fit）的更新可以被選爲細化。其次，CPMV 可以相互獨立地更新。例如，可以更新第一CPMV。之後，基於更新的第一 CPMV 和未更新的第二（以及如果可用，第三 CPMV），重新計算每個 4x4 子塊的 MV（或重新計算塊中心位置的 MV）以獲得相應的參考模板。作爲第一CPMV的更新以在優化測量方面提供當前模板和參考模板之間的最佳擬合的偏移量可作為第一CPMV的細化。對於第二CPMV細化，可以使用未更新的第一CPMV或更新的第一CPMV來獲得第二CPMV的細化。對於第三CPMV(如果有的話)，對第三CPMV進行細化可以類似於第二CPMV的細化。在一個實施例中，將基於TM的細化應用於塊的MV(例如塊的中心位置的MV)，然後基於該細化的移動向量獲得更新的CPMV和/或子塊MV。
在一些实施例中，在仿射模式的情况下，对于基于TM的细化，可以调整CPMV以获得对应的参考模板。 CPMV 是为编解码块定义的，这些编解码块使用仿射模式（仿射 AMVP 或仿射合并模式）进行编解码。基于 2 或 3 个 CPMV，对于编解码块的每个 4x4 子块，可以基于 用於4 或 6參數仿射運動模型的公式定义单独的运动向量（例如，在每个 4x4 子块的位置 (2, 2) 处）。CPMV 可以以不同的方式更新。在一些实施例中，可以向CPMV添加相同的偏移以改变段落[0048]中所示的两个CPMV 和 的 的值。在一些其他实施例中，可以使用如第[0049]段中描述的6参数仿射模型，然后将更新三个CPMV的全部或子集（ ）。在一些实施例中，仅更新 和 的值（意味着仅更新表示仿射模型的平移运动的基本MV（base MV））。在一些其他实施例中，可以更新( )的一个參數、參數子集或所有参数。在一些实施例中，诸如[-1到1]或[-2到3]的搜索范围可以定义为具有用于调整每个系数的各种步长。此外，可以基于新调整的系数进行不同的调整以计算新的MV，其可以是针对每个4x4子块或针对一个位置（例如块的中间位置）的MV。根据更新后的 MV，可以得到对应的参考模板，并计算当前模板与参考模板之间的差異。
在一些實施例中，當使用一個或多個額外假設移動向量來產生額外假設預測信號 （用於根據線性迭代公式 =(1-α i) + α i 獲得預測 ， =(1-α n+1) + α n+1 ）時，一個或多個附加假設預測 可以替換為細化的假設預測 =MC(TM(MV(( ))，其中 是基於運動補償 (MC) 去獲得預測的細化的假設(在進行該運動補償時使用的運動向量會經過模板匹配TM處理)，相同的公式可以用於獲得預測信號，該公式使用細化 =MC(TM(MV(( ))取代 。
第6圖示出了可以由TM MC 115或TM MC 135執行的基於模板匹配的MC過程670。
在一些實施例中，在操作671，TM MC 115可以根據仿射模式確定視訊流105的當前幀153中的當前子塊163的CPMV候選，其可以是MV 165。在操作673，TM MC 115可以確定與當前幀153中的當前子塊163相關聯的當前模板562。在操作675，TM MC 115可以檢索由參考幀151中搜索區域564內的仿射移動向量場生成的參考模板566。然而，可以設想參考模板566可以以其他方式確定。在操作677，TM MC 115可以進一步基於優化測量(例如，SAD或SSD)計算參考模板566和當前模板562之間的差異。在操作678，TM MC 115可以確定在搜索區域564內是否存在不同的參考模板，已計算出或尚未計算其與當前模板562的差異。如果 TM MC 115 確定在搜索區域 564 內有不同的參考模板，其與當前模板 562 的差異尚未計算，TM MC 115 可以循環回到操作 675 和操作 677，重複檢索不同的參考模板操作，計算搜索區域564內的不同的參考模板與當前模板562之間的差異的操作。相對於所有參考模板當前模板562是固定的。因此，TM MC 115可以在搜索區域564內重複以遍歷搜索區域564內的所有參考模板，併計算不同參考模板與固定的當前模板562之間的差異。
此外，在操作678，當不能找到更多不同的參考模板時，通過選擇當前子塊163和根據優化測量最小化差異的參考模板之間的MV來找到細化CPMV。之後，在 679，TM ​​MC 115 可以使用細化 CPMV 對當前子塊 163 應用運動補償以對當前子塊 163 進行編碼或解碼。
在一些實施例中，與當前子塊163或參考模板566相關聯的當前模板562可以包括L形模板，該L形模板包括在當前子塊163上方和左側的相鄰像素，如第5圖所示。 類似地，參考模板566可以包括L形模板，該L形模板包括上方和左側的相鄰像素。然而，可以使用模板562的其他形狀，這對於所屬領域具有通常知識者來說是顯而易見的。例如，當前模板 562 可以包括在子塊 163 的拐角處與當前模板 562 的上方和左側相鄰的像素 567。在這種情況下，參考模板將需要以同樣的方法做出修正。
在一些實施例中，優化測量可以包括絕對差和(SAD)測量或平方差和(SSD)測量。在一些實施例中，參考幀151中的搜索區域564可以包括參考幀151的[-8，+8]像素範圍。然而，可以使用具有不同大小的搜索區域，這對於所屬領域具有通常知識者來說是顯而易見的。
在一些實施例中，MV 165可以是子塊163的第一CPMV候選，子塊163可以是視訊流105的當前幀153中的當前塊的當前子塊。此外，根據仿射模式，例如，4參數仿射模型，視訊流105還可以包括當前子塊163的第二CPMV候選，或另外的用於6參數仿射模型的第三CPMV候選。對於第二和/或第三 CPMV 候選，每個 CPMV 候選的基於 TM 的細化可以獨立地執行。另外和替代地，可以考慮應用於先前CPMV的細化過程的結果來執行下一個CPMV候選中的每一個的基於TM的細化。在另一個實施例中，所有兩個（或三個，在6參數仿射模型的情況下）CPMV候選可以一起被細化。細化可以直接應用於 CPMV 或一個 MV（例如塊的中心位置的 MV），然後基於該細化的移動向量獲得更新的 CPMV 和/或子塊 MV。 TM MC 115可以檢索由參考幀151中的搜索區域564內的仿射移動向量場生成的第二參考模板，並基於優化測量計算第二參考模板與當前模板562之間的差異。此外，TM MC 115 可以迭代地執行，如第6圖所示，針對搜索區域164內的不同參考模板的檢索和計算操作直到根據優化測量找到第二細化CPMV以最小化差異。 TM MC 115可以使用第二細化CPMV對當前子塊163進一步應用運動補償以編碼或解碼當前子塊163。第一細化CPMV或第二細化CPMV可以是當前子塊基於 4 參數仿射模型或 6 參數仿射模型的CPMV。
在一些實施例中，TM MC 115可以基於當前子塊的CPMV執行運動補償，而無需從視訊編碼器113傳輸移動向量差(MVD)。在一些情況下，可以基於 6 參數仿射模型對當前子塊163進行編解碼。在這種情況下，TM MC 115 可以從視訊編碼器 113 接收附加輔助資訊，用於視訊解碼器 133 的運動補償。
在一些實施例中，當處於仿射模式時，TM MC 115或TM MC 135可以應用TM來執行CPMV細化以提高MV精度/準確度。在仿射間模式中，TM MC 115 可以使用 TM 來導出 CPMV 細化並降低發信的MVD 的幅度。在另一個實施例中，可以針對CPMV的子集發送一些細化CPMV，並且可以應用基於TM的細化來細化剩餘的CPMV候選。在一些實施例中，對於6參數仿射模式，可以發送2個MVD來定義CPMV，並且TM MC 135可以在解碼器側使用TM細化1個CPMV候選。在一些實施例中，待細化的CPMV的順序/數量是預先定義的，在另一個實施例中，待細化的CPMV的數量/順序在編碼器和/或解碼器處顯式或隱式定義。對於仿射合併模式，TM MC 135 可以使用 TM 來細化 CPMV 候選（類似於仿射 MMVD，但無需編解碼 MVD）。在另一個實施例中，可以發信額外的輔助資訊（例如，類似 MMVD 的固定調整）以進一步改進結果。
在一些實施例中，上述執行L-模板搜索用於CPMV候選的細化的流程可以概括如下：對於CPMV候選，TM MC 135可以生成仿射MV字段。基於仿射MV字段，TM MC 135可以檢索由仿射MV字段生成的參考子塊（例如，子PU）的L形參考模板。之後，TM MC 135可以計算來自參考幀153的L形參考模板與當前子塊163的L形當前模板162之間的差(例如，使用優化測量SAD或SSD)。 TM MC 135可以在參考幀151中的搜索區域564內執行基於TM的細化過程，直到找到最佳結果參考模板，其中最佳結果參考模板可以提供當前L形模板之間的最小SAD或SSD。此外，TM MC 135 可以對多個（在仿射的情況下為 2 個或 3 個）CPMV 候選一一應用上述算法。如前所述，可以對所有 CPMV 一起進行細化，也可以單獨進行細化，或者依序考慮先前細化的 CPMV，或者從一個 MV（例如塊中心位置的 MV）中獲得每個 CPMV 。
第7圖和第8圖示出了對用於獲得多假設預測 (multiple hypothesis prediction，簡寫為MHP)的移動向量執行的基於模板匹配的MC過程890，其可以由視訊解碼器133的TM MC 135執行。 在MHP中，除了由MV 165表示的傳統單向預測或雙向預測信號之外，還可以發信一個或多個附加預測。根據線性迭代公式 =(1-α i) + α i ，通過樣本加權疊加得到最終的整體預測信號 =(1-α n+1) + α n+1 。
如第7圖所示，視訊流105可以包括MV 165，其可以用於獲得通過AMVP或合併獲得的傳統預測信號 。此外，視訊流105還可以包括由MV 768獲得的額外假設預測信號 ，並且可以包括由MV 769獲得的額外假設預測信號 。在一些實施例中，可以只有一個額外的假設預測信號。
假設 P 是“傳統”預測，h 是附加假設，多假設預測的公式如下： =(1-α n+1) + α n+1 。例如， =(1-α 3) + α 3 ，其中 是MV 165獲得的常規單向預測或雙向預測信號，第一個假設 是第一個附加幀間預測信號/假設。在一些實施例中，對於α i（其中i＝3、4、…n+1）的一些可能選擇可以是1/4、-1/8，或者對於所屬領域具有通常知識者來說顯而易見的一些其他選擇。
第8圖示出了使用用於獲得多假設預測 以反映上述計算的移動向量執行的基於模板匹配的MC過程890。 MC過程890可由TM MC 135執行，TM MC 135可由一個或多個電子設備或處理器137實現。
在操作891，TM MC 135可以確定表示當前子塊163的初始預測 的常規預測信號，其中預測信號可以通過MV 165獲得，其被示為單向預測。當使用雙向預測信號時，可以使用另一個 MV 來表示 。
在操作893，可以執行TM MC 135以使用用於確定當前子塊163的附加預測信號 的細化的MV來獲得預測信號，其中附加假設預測 可以用MV 769來表示。 在操作895，TM MC 135可以藉由在與當前子塊163相關的當前模板562的參考幀151中的搜索區域564內應用基於模板匹配的細化處理，使用獲得的MV執行運動補償，直到根據優化測量找到用於獲得附加假設預測 的MV的細化或最佳細化。在一些實施例中，優化測量可包括SAD測量或SSD測量。基於模板匹配的細化過程的細節類似於第4-6圖中所示的過程670。
在操作897，TM MC 135通過基於加權的叠加因子 應用至少一個預測的樣本加權叠加來導出一個整體預測信號 ，該至少一個預測通過對用於推導附加假設預測 = 的MV應用TM細化獲得的MV計算得到。在一些實施例中，可以基於樣本加權叠加公式 = (1- ) + 導出整體預測樣本 ，其中 是附加假設預測的TM細化的MV基於優化處理獲取的預測信號。
在一些實施例中，為了導出整體預測信號，TM MC 135可以被配置為進一步基於應用雙邊濾波或預定義權重來導出用於獲得整體預測信號的細化的MV。
在一些實施例中，TM MC 135可以被配置為確定由用於獲得當前子塊的附加假設預測 的其他附加假設移動向量確定的其他附加預測信號；在參考幀中的搜索區域內針對與當前子塊相關聯的當前模板執行基於模板匹配的細化過程，直到根據優化測量找到另一個附加假設移動向量 的最佳細化;並且通過基於加權的叠加因子 應用至少一個預測信號的樣本加權叠加來獲得一個整體預測信號 ，該至少一個預測信號由用於推導附加假設預測 = 的移動向量 的最佳細化 得出，並且另一預測信號 使用移動向量 獲得。
在一些實施例中，當應用TM細化時，具有最小成本的MV被選擇為當前子塊163的最終預測子。為了提高編解碼效率，當生成MHP的最終預測時，TM MC 135可以使用TM 細化過程中具有最佳優化結果的MV獲得的多個預測信號。在另一個實施例中，MHP的最終預測可以通過將使用在TM細化過程之後作為最佳結果獲得的MV定義的MC結​​果與由初始MV生成的預測子組合來獲得。在執行多個預測子之間的混合時，可以額外使用雙邊濾波或預定義權重。
例如，可以使用一個或多個計算機系統，例如第9圖中所示的計算機系統900來實現各個方面。計算機系統900可以是能夠執行本文所述功能的任何計算機，例如第1-3圖和第7圖中所示的視訊編碼器113、源設備101、視訊解碼器133和目的地設備103，用於第6圖和第8圖所示的過程670和890中描述的操作。計算機系統900包括一個或多個處理器(也稱為中央處理單元，或CPU)，例如處理器904。處理器904連接到通信基礎設施906(例如，匯流排)。計算機系統900還包括通過用戶輸入/輸出介面902與通信基礎設施906通信的用戶輸入/輸出設備903，例如監視器、鍵盤、定點設備等。計算機系統900還包括主記憶體或第一記憶體908，例如隨機存取記憶體(RAM)。主記憶體908可以包括一級或多級高速緩存。主記憶體908在其中存儲了控制邏輯(例如，計算機軟體)和/或資料。
計算機系統900還可以包括一個或多個輔助存儲設備或記憶體910。輔助記憶體910可以包括例如硬盤驅動器912和/或可移動存儲設備或驅動器914。可移動存儲驅動器914可以是軟盤驅動器、磁帶驅動器、光盤驅動器、光存儲設備、磁帶備份設備和/或任何其他存儲設備/驅動器。
可移動存儲驅動器914可以與可移動存儲單元918交互。可移動存儲單元918包括其上存儲有計算機軟體（控制邏輯）和/或資料的計算機可用或可讀存儲設備。可移動存儲單元918可以是軟盤、磁帶、光碟、DVD、光存儲碟和/任何其他計算機資料存儲設備。可移動存儲驅動器914以眾所周知的方式從可移動存儲單元918讀取和/或寫入到可移動存儲單元918。
根據一些方面，輔助記憶體910可以包括用於允許計算機程式和/或其他指令和/或資料被計算機系統900訪問的其他裝置、工具或其他方法。這樣的裝置、工具或其他方法可以包括例如可移動存儲單元922和介面920。可移動存儲單元922和介面920的示例可以包括程式盒（program cartridge）和盒介面（cartridge interface）(例如在視訊遊戲設備中發現的)、可移動存儲晶片(例如EPROM)或 PROM) 和相關的插座、記憶棒和 USB 端口、存儲卡和相關的存儲卡插槽、和/或任何其他可移動存儲單元和相關的介面。
在一些示例中，主記憶體908、可移動存儲單元918、可移動存儲單元922可以存儲指令，當由處理器904執行時，使處理器904執行用於第1-3圖和第7圖中的視訊編碼器113、源設備101、視訊解碼器133和目的地設備103的操作，以及用於第6圖-和第8圖所示的過程670和890中描述的操作。
計算機系統900還可以包括通信或網路介面924。通信介面924使計算機系統900能夠與遠程設備、遠程網路、遠程實體等的任何組合(單獨地和共同地由附圖標記928表示)進行通信和交互。例如，通信介面924可以允許計算機系統900通過通信路徑926與遠程設備928通信，通信路徑926可以是有線和/或無線的，並且可以包括LAN、WAN、互聯網等的任何組合。控制邏輯和/或資料可以經由通信路徑926傳輸到計算機系統900和從計算機系統900傳輸。通信介面924的操作可以由無線控制器和/或蜂窩控制器執行。蜂窩控制器可以是單獨的控制器以根據不同的無線通信技術管理通信。前述方面中的操作可以在多種配置和體系結構中實現。因此，前述方面中的部分或全部操作可以以硬體、軟體或兩者的方式執行。在一些方面，有形的、非暫時性的裝置或製品包括其上存儲有控制邏輯（軟體）的有形的、非暫時性的計算機可用或可讀介質，在本文中也稱為計算機程式產品或程式存儲設備。這包括但不限於計算機系統900、主記憶體908、輔助記憶體910和可移動存儲單元918和922，以及體現上述任意組合的有形製品。這樣的控制邏輯在由一個或多個資料處理設備(例如計算機系統900)執行時，使這樣的資料處理設備如本文所述那樣操作。
基於包含在本公開中的教導，對於所屬領域具有通常知識者來說，如何使用不同於第9圖所示的資料處理設備、計算機系統和/或計算機體系結構來製作和使用本公開的各方面將是顯而易見的。特別地，各方面可以使用不同於本文描述的那些的軟體、硬體和/或操作系統實現來操作。
應當理解，詳細描述部分而不是總結和摘要部分旨在用於解釋申請專利範圍。概述和摘要部分可以闡述如發明人所設想的本公開的一個或多個但不是全部的示例性方面，因此不旨在以任何方式限製本公開或所附申請專利範圍。
儘管本文已經參照示例性領域和應用的示例性方面描述了本公開，但是應當理解，本公開不限於此。其他方面和對其的修改是可能的，並且在本公開的範圍和精神內。例如，並且在不限製本段的一般性的情況下，各方面不限於圖中所示和/或在此描述的軟體、硬體、韌體和/或實體。此外，本發明（無論是否在本文中明確描述）對本文描述的示例之外的領域和應用具有重要的實用性。
在此借助說明特定功能及其關係的實現的功能構建塊描述了各方面。為了描述的方便，這裡已經任意定義了這些功能構建塊的邊界。只要適當地執行指定的功能和關係（或其等價物），就可以定義替代邊界。此外，替代方面可以使用與本文描述的那些不同的順序來執行功能塊、步驟、操作、方法等。
此處對“一個實施例”、“一實施例”、“示例實施例”或類似短語的引用表明，所描述的實施例可以包括特定特徵、結構或特性，但每個實施例不一定都包括特定特徵，結構或特徵。此外，這些短語不一定指相同的實施例。此外，當結合實施例描述特定特徵、結構或特性時，所屬領域具有通常知識者可以將這種特徵、結構或特性併入其他方面，無論是否在此明確提及或描述。
本公開的廣度和範圍不應受任何上述示例性方面的限制，而應僅根據所附申請專利範圍及其等同物來定義。
對於一個或多個實施例或示例，在一個或多個前述附圖中闡述的組件中的至少一個可以被配置為執行如下示例部分中闡述的一個或多個操作、技術、過程和/或方法。例如，與上文結合一幅或多幅前述附圖描述的線程設備、路由器、網路元件等相關聯的電路可以被配置為根據下面在示例中闡述的示例中的一個或多個進行操作部分。
100：視訊編解碼系統 101：源設備 105：視訊流 111：視訊源 113：視訊編碼器 115、135：TM MC組件 117、137、904：處理器 119、139：預測組件 121：通信信道 103：目的設備 133：視訊解碼器 151、153：幀 155：視訊資料 161：塊 163、405、411、421、431：子塊 165、768、769：MV 210、342：幀內預測 212、344：幀間預測 214、346：選擇器 216：加法器 218：變換 220：量化 222、350：逆量化 224、352：逆變換 226、348：REC 228、354環：路處理濾波器 230、356：參考圖片緩衝器 232：熵編碼器 340：熵解碼器 401、407：控制點 562：當前模板 564：搜索區域 566：參考模板 567：像素 670、890：過程 671~679、891~897：操作 900：計算機系統 902：用戶輸入/輸出介面 903：用戶輸入/輸出設備 906：通信基礎設施 908：主記憶體 910：第二記憶體 912：硬碟 914：可移動存儲驅動器 918、922：可移動存儲單元 920：介面 924：通信介面 928：遠程設備、遠程網路、遠程實體
本文並形成說明書一部分的附圖說明了本公開，並且與描述一起進一步用於解釋本公開的原理並使所屬領域具有通常知識者能够做出並使用該披露。 第1-3圖示出了根據本公開的一些方面的用於對參考幀的搜索區域執行模板匹配以找到用於運動補償的初始移動向量的細化的示例視訊編解碼系統。 第4A-4B圖示出了根據本公開的一些方面的根據仿射模式的視訊流的幀中的子塊的示例控制點移動向量(CPMV)。 第5-6圖示出了根據本公開的一些方面的在參考幀的搜索區域上執行以找到用於運動補償的初始移動向量的細化的示例模板匹配過程。 第7-8圖示出了根據本公開的一些方面的在參考幀的搜索區域上執行以找到用於運動補償的移動向量的細化的另一示例模板匹配過程。 第9圖是用於實現本文提供的本公開的一些方面或其部分的示例計算機系統。 參考附圖描述了本公開。在附圖中，通常，相同的參考編號表示相同或功能相似的元件。此外，一般來說，參考編號的最左邊的一個或多個數字標識第一次出現參考編號的附圖。
670:過程
671~679:操作

Claims (22)

  1. 一種在視訊編碼器或視訊解碼器中實現的方法，該方法包括： 根據仿射模式確定當前幀中當前子塊的控制點移動向量(CPMV)候選； 確定該當前幀中與該當前子塊關聯​​的當前模板； 檢索參考幀中搜索區域內的仿射移動向量場生成的參考模板； 基於優化測量計算該參考模板和該當前模板之間的差異； 在該搜索區域內重複檢索和計算不同參考模板的差異，直到根據該優化測量找到最小化該差異的細化CPMV；以及 使用該細化CPMV對該當前子塊應用運動補償以對該當前子塊進行編碼或解碼。
  2. 如請求項1所述之方法，其中，該優化測量包括絕對差和(SAD)測量或平方差和(SSD)測量。
  3. 如請求項1所述之方法，其中，該參考幀中的該搜索區域包括該參考幀的[-8，+8]像素範圍。
  4. 如請求項1所述之方法，其中，該仿射模式包括仿射間模式或仿射合併模式。
  5. 如請求項1所述之方法，其中，與該當前子塊相關聯的該當前模板包括包括在該當前子塊上方和/或左側的相鄰像素的模板。
  6. 如請求項1所述之方法，其中，該CPMV候選是第一CPMV候選，並且該方法還包括： 根據該仿射模式確定該當前子塊的第二CPMV候選； 檢索該參考幀中該搜索區域內的該仿射移動向量場生成的第二參考模板； 基於該優化測量計算該第二參考模板與該當前模板之間的差異； 在該搜索區域內重複檢索和計算不同參考模板的差異，直到根據該優化測量找到最小化該差異的第二細化CPMV；以及 使用該第二細化CPMV對該當前子塊應用運動補償以對該當前子塊進行編碼或解碼。
  7. 如請求項6所述之方法，其中，該第一細化CPMV或該第二細化CPMV是基於4參數仿射模型或6參數仿射模型的該當前子塊的CPMV。
  8. 一種用於視訊解碼器中的運動補償的裝置，該裝置包括一個或多個電子設備或處理器，被配置為： 接收與包括多個子塊的當前幀中的當前塊相關聯的輸入視訊資料，其中該視訊資料包括根據仿射模式該當前幀中該當前塊的當前子塊的控制點移動向量(CPMV)候選； 確定與該當前幀中該當前子塊關聯​​的當前模板； 檢索參考幀中搜索區域內的仿射移動向量場生成的參考模板； 基於優化測量計算該參考模板和該當前模板之間的差異； 在該搜索區域內重複檢索和計算不同參考模板的差異，直到根據該優化測量找到細化CPMV以最小化該差異；以及 使用該細化 CPMV 對該當前子塊應用運動補償以解碼該當前子塊。
  9. 如請求項8所述之裝置，其中該優化測量包括絕對差和(SAD)測量或平方差和(SSD)測量；以及 該參考幀中的該搜索區域包括該參考幀的 [–8, +8] 像素範圍。
  10. 如請求項8所述之裝置，其中，該仿射模式包括仿射間模式或仿射合併模式。
  11. 如請求項8所述之裝置，其中，與該當前子塊相關聯的該當前模板包括包含該當前子塊上方和左側的相鄰像素的模板。
  12. 如請求項8所述之裝置，其中，該CPMV候選是第一CPMV候選，並且該一個或多個電子設備或處理器被配置為： 根據該仿射模式確定該當前子塊的第二CPMV候選； 檢索該參考幀中該搜索區域內的該仿射移動向量場生成的第二參考模板； 基於該優化測量計算該第二參考模板與該當前模板之間的差異； 在該搜索區域內重複檢索和計算不同參考模板的差異，直到根據該優化測量找到第二細化CPMV以最小化該差異；以及 使用該第二細化CPMV對該當前子塊應用運動補償以解碼該當前子塊。
  13. 如請求項12所述之裝置，其中該第一細化CPMV或該第二細化CPMV是基於4參數仿射模型或6參數仿射模型的該當前子塊的CPMV。
  14. 如請求項8所述之裝置，其中該仿射模式包括仿射間模式，並且該一個或多個電子設備或處理器被配置為基於該當前子塊的該CPMV執行運動補償，而無需從視訊編碼器傳輸移動向量差(MVD)。
  15. 如請求項14所述之裝置，其中該仿射模式包括該仿射間模式，並且該當前子塊的該CPMV基於6參數仿射模型。
  16. 如請求項8所述之裝置，其中該一個或多個電子設備或處理器被配置為： 從視訊編碼器接收附加輔助資訊，用於該視訊解碼器的運動補償。
  17. 一種用於視訊解碼器中的運動補償的裝置，該裝置包括一個或多個電子設備或處理器，被配置為： 確定代表當前子塊的初始預測 的第一預測信號； 確定代表該當前子塊的附加假設預測 的附加預測信號； 對移動向量 MV( 執行基於模板匹配的細化過程，直到根據優化測量找到該附加假設預測的最佳細化 =MC(TM(MV(( )) ，其中該移動向量MV( 用於獲得與該當前子關聯的當前模板的參考幀中的搜索區域內的該附加假設預測 ；以及 通過對至少該額外假設預測的最佳細化 = 基於加權疊加因子 應用樣本加權疊加，獲得整體預測信號 。
  18. 如請求項17所述之裝置，其中，該第一預測信號包括單向預測信號或雙向預測信號。
  19. 如請求項17所述之裝置，其中，該整體預測信號 是基於樣本加權疊加公式 = (1- ) + 導出的，其中 是基於用於該附加假設預測的該MV 的該最佳細化得到的。
  20. 如請求項17所述之裝置，其中為了導出該整體預測信號，該一個或多個電子設備或處理器被配置為進一步基於應用雙邊濾波或預定義權重來導出該整體預測信號。
  21. 如請求項17所述之裝置，其中，該一個或多個電子設備或處理器被配置為： 確定代表該當前子塊的附加假設預測 的附加預測信號； 對移動向量MV( 執行基於該模板匹配的細化過程，直到根據該優化測量找到該另一個附加假設移動向量 的最佳細化，該移動向量MV( 用於獲得與該當前子塊相關聯的該當前模板的該參考幀中的該搜索區域內的該附加假設預測 ；以及 通過對至少該額外假設預測的最佳細化 基於加權疊加因子 應用樣本加權疊加，獲得整體預測信號 ，其中初始預測 基於 得到。
  22. 如請求項17所述之裝置，其中，該優化測量包括絕對差和(SAD)測量或平方差和(SSD)測量； 其中，該參考幀中的該搜索區域包括該參考幀的[–8, +8]像素範圍；以及 與該當前子塊關聯​​的該當前模板包括包含該當前子塊上方和左側相鄰像素的模板。
TW111131307A 2021-08-19 2022-08-19 影像編解碼系統中基於模板匹配之移動向量細化 TW202329691A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163234730P 2021-08-19 2021-08-19
US63/234,730 2021-08-19
WOPCT/CN2022/113388 2022-08-18
PCT/CN2022/113388 WO2023020588A1 (en) 2021-08-19 2022-08-18 Template matching based motion vector refinement in video coding system

Publications (1)

Publication Number Publication Date
TW202329691A true TW202329691A (zh) 2023-07-16

Family

ID=85239549

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111131308A TW202329695A (zh) 2021-08-19 2022-08-19 使用模板匹配細化候選選擇
TW111131307A TW202329691A (zh) 2021-08-19 2022-08-19 影像編解碼系統中基於模板匹配之移動向量細化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111131308A TW202329695A (zh) 2021-08-19 2022-08-19 使用模板匹配細化候選選擇

Country Status (3)

Country Link
CN (2) CN117837145A (zh)
TW (2) TW202329695A (zh)
WO (2) WO2023020588A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240121399A1 (en) * 2022-09-30 2024-04-11 Qualcomm Incorporated Decoder-side control point motion vector refinement for affine inter-prediction in video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5452584B2 (ja) * 2008-04-11 2014-03-26 トムソン ライセンシング ビデオ符号化及び復号化におけるテンプレート・マッチング予測（ｔｍｐ）のための方法及び装置
US20190028731A1 (en) * 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
EP3443746B1 (en) * 2016-05-17 2021-07-21 ARRIS Enterprises LLC Template matching for jvet intra prediction
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
WO2019234676A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Mv precision refine
CN110662076B (zh) * 2018-06-29 2022-10-04 北京字节跳动网络技术有限公司 子块的边界增强
CN111083489B (zh) * 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化

Also Published As

Publication number Publication date
TW202329695A (zh) 2023-07-16
CN117882377A (zh) 2024-04-12
WO2023020588A1 (en) 2023-02-23
CN117837145A (zh) 2024-04-05
WO2023020589A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
TWI696384B (zh) 在視頻寫碼中用於仿射運動模型之運動向量預測
TWI714565B (zh) 視訊寫碼中運動向量推導
CN114009040B (zh) 编码器、解码器及对应方法
TW201924350A (zh) 視訊寫碼中之仿射運動向量預測
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
US11758151B2 (en) Template matching in video coding
CN114845102A (zh) 光流修正的提前终止
US11936877B2 (en) Template matching based affine prediction for video coding
US11889109B2 (en) Optical flow based video inter prediction
WO2019154424A1 (zh) 视频解码方法、视频解码器以及电子设备
US20230007238A1 (en) Using unrefined motion vectors for performing decoder-side motion vector derivation
US20230117308A1 (en) Decoder side motion derivation using spatial correlation
CN112740663B (zh) 图像预测方法、装置以及相应的编码器和解码器
TW202329691A (zh) 影像編解碼系統中基於模板匹配之移動向量細化
US20230094825A1 (en) Motion vector difference sign prediction for video coding
US20220248047A1 (en) Model-based motion vector difference derivation and template matching prediction for video coding
TW201941612A (zh) 對進階時間運動向量預測之改良
US20220201315A1 (en) Multi-pass decoder-side motion vector refinement
CN116636213A (zh) 视频译码中的模板匹配
US20240129481A1 (en) Regression-based decoder side affine motion derivation for video coding
US20240121399A1 (en) Decoder-side control point motion vector refinement for affine inter-prediction in video coding
US20230089741A1 (en) Adaptive bilateral matching for decoder side motion vector refinement for video coding
TW202232956A (zh) 視訊譯碼中的範本匹配
JP2023554236A (ja) マルチパスデコーダ側動きベクトル改良